WO2012114791A1 - ジェスチャー操作システム - Google Patents

ジェスチャー操作システム Download PDF

Info

Publication number
WO2012114791A1
WO2012114791A1 PCT/JP2012/050921 JP2012050921W WO2012114791A1 WO 2012114791 A1 WO2012114791 A1 WO 2012114791A1 JP 2012050921 W JP2012050921 W JP 2012050921W WO 2012114791 A1 WO2012114791 A1 WO 2012114791A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
human
detection unit
display screen
computer
Prior art date
Application number
PCT/JP2012/050921
Other languages
English (en)
French (fr)
Inventor
善裕 梶木
雄馬 松田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011-038082 external-priority
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2012114791A1 publication Critical patent/WO2012114791A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

 ジェスチャー操作システムは、GUI表示画面を出力するコンピュータと、前記コンピュータのGUI表示画面のジェスチャーによる操作を支援する操作支援装置とを備える。前記操作支援装置は、人間の特定部位の位置と前記人間の特定部位の動きによって指定された前記GUI表示画面に対する指示位置と、前記人間の特定部位の近傍の筋肉の緊張状態の変化とに基づいて、前記コンピュータのGUI表示画面に対するジェスチャー操作の内容を検知するジェスチャー検知部と、前記ジェスチャー検知部が検知したジェスチャー操作の内容に応じた処理を前記コンピュータに実行させるためのデータを、前記コンピュータへ出力するデータ出力部とを有する。

Description

ジェスチャー操作システム
 本発明は、ジェスチャー操作システムに関する。特に、本発明は、コンピュータのGUI(Graphical User Interface)表示画面をジェスチャーによって操作するジェスチャー操作システムに関する。
 GUIを備えたソフトウェアは、マウス、トラックボール、ジョイスティック等の入力装置を用いて操作される。例えば、マウスの操作には、GUI表示画面上の操作すべき位置へマウスポインタを移動させてからボタンをクリックする操作や、ボタンを押下したままマウスポインタを移動させる操作等がある。タッチスクリーンを利用したシステムの場合には、指や専用のペンで画面に触れることで、コンピュータの操作を行うことができる。
 特許文献1には、タッチパネルの一種であるマルチタッチセンシングデバイスを搭載した機器が記載されている。特許文献2には、マルチタッチセンシングデバイスを用いて複雑な操作ジェスチャーを入力する技術が記載されている。これら技術により、タッチスクリーンを用いた入力システムは、様々な動作を直感的に分かり易く操作できるようになり、産業上極めて有用となっている。
 ところが、壁やスクリーンに投影する場合には、タッチスクリーンの操作を行うことができないことがある。そのような場合、プレゼンテーションの講演者は、マウスやトラックボールやジョイスティック等の入力装置を用いることがある。しかしながら、マウスやトラックボールやジョイスティック等の入力装置は、タッチスクリーンと比較して、直感的に操作することができない。
 このような問題を解決するための新たな技術として、タッチパネルと同等の直感的な操作を提供する様々な技術が考案されている。例えば、特許文献3には、レーザープロジェクタにおいてもタッチパネルと同等の操作を提供することを目指したバーチャルタッチセンサの技術が開示されている。この技術は、投影するレーザ光のスクリーンからの反射をモニタすることによって、人間の手等の障害物を検知して障害物の位置情報と経時変化を算出する。ボタンに相当する表示位置に障害物が長く留まったらボタンを押下したこととみなす。
 非接触にて人間の動きを入力する技術として、以下の第1および第2の技術が知られている。第1の技術は、人間の体にマーカーを取り付けて、そのマーカーを目印にして、カメラにて撮影した映像から人間の動きを検出する技術である。第2の技術は、人間の体にデータグローブ等のセンサを装着してモーションキャプチャする技術である。このような技術は、家庭用のゲーム機等で既に実用化されている。
特表2008-532185号公報 特表2009-525538号公報 特開2009-123006号公報
 プロジェクタは、プレゼンテーションのために利用されることが多い。プレゼンテーションの手法として、プロジェクタを用いて視覚的な情報を提示しながら説明する手法が、聴衆の印象に残り易く効果的であると言われている。更に、プレゼンテーションは、プロジェクタにて静的な情報を提示するだけでなく、内容に合わせてインタラクティブに映像を変化させることがより効果的である。そのため、近年のプレゼンテーションは、プレゼンテーション用のソフトウェアを用いてインタラクティブに行われることが多い。
 プレゼンテーションの講演者は、プレゼンテーションの内容に合わせてインタラクティブに映像を変化させるために、プレゼンテーション用ソフトウェアのGUIを自ら操作することがある。一方、プレゼンテーションの講演者は、聴衆の印象に残る効果的なプレゼンテーションの手法として、身振り手振りによるジェスチャーを加えることが多い。このようなプレゼンテーションの手法は、政治家の大衆に対するプレゼンテーションや、企業活動における重要なプレゼンテーションや、学校教育等の場面で特に重視されている。
 しかしながら、マウスやトラックボール、ジョイスティック等の入力装置を利用する場合には、その操作がジェスチャーの妨げとなってしまい、ジェスチャーの効果が低下してしまう。
 例えば、特許文献2に記載の技術は、表示された映像を手で触るジェスチャーによって、タップ、ドラッグ、フリック等の直感的な操作ができる。このため、その操作が聴衆に対しても直感的で講演内容に関する身振り手振りによるジェスチャーの一環となり、インタラクティブなプレゼンテーションを行うことができる。しかしながら、この技術は、タッチパネルが使用できない環境において利用することができない。
 特許文献3に記載の技術によっては、GUIのボタンに相当する表示位置に手や体が長く留まっていると、GUIのボタンを押下したとみなされてしまう。そのため、この技術を利用した場合には、GUIのボタンに相当する表示位置において、講演内容に関する身振り手振りによるジェスチャーを行うことができない。
 モーションキャプチャ技術によっては、タッチパネルが使用できない環境においても人間の特定部位の位置や動きから、GUI表示画面に対する指示位置をポインティングすることができる。しかしながら、モーションキャプチャ技術によっては、タッチセンシティブデバイスにおけるタッチ状態と非タッチ状態を区別することが難しい。タッチセンシティブデバイスに相当する直感的な操作を行うには、人間の特定部位の位置や動きを検出するだけでなく、タッチ状態と非タッチ状態の時間間隔を検知してタップやダブルタップ等の操作ジェスチャーを判別したり、タッチ状態のままで指示位置を移動する動作を検知してドラッグ、フリック等の操作ジェスチャーを判別したりしなければならない。
 このように、これら既知の技術によっては、GUI表示画面に対する操作を行いつつ、その操作とは無関係の身振り手振りによるジェスチャーを行うことが非常に困難である。そのため、インタラクティブなプレゼンテーションの効果を損なうという問題がある。
 本発明の実施態様に係るジェスチャー操作システムは、GUI(Graphical User Interface)表示画面を出力するコンピュータと、前記コンピュータのGUI表示画面のジェスチャーによる操作を支援する操作支援装置とを備える。前記操作支援装置は、人間の特定部位の位置とその前記人間の特定部位の動きによって指定された前記GUI表示画面に対する指示位置と、前記人間の特定部位の近傍の筋肉の緊張状態の変化とに基づいて、前記コンピュータのGUI表示画面に対するジェスチャー操作の内容を検知するジェスチャー検知部と、前記ジェスチャー検知部が検知したジェスチャー操作の内容に応じた処理を前記コンピュータに実行させるためのデータを、前記コンピュータへ出力するデータ出力部とを有する。
 上記の記載は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションもまた、発明となり得る。
 以上の説明から明らかなように、この発明においては、コンピュータのGUI表示画面に対するジェスチャー操作を、既知の技術と比較して、より精確に検知することができる。
本発明の第1の実施形態に係るジェスチャー操作システムの利用環境の一例を示す図である。 図1に示すCPUのブロック構成の一例を示す図である。 図1に示すCPUの動作フローの一例を示す図である。 本発明の第2の実施形態に係るジェスチャー操作システムの操作支援装置のCPUのブロック構成の例を示す図である。 図4に示すCPUの動作フローの一例を示す図である。 本発明の第3の実施形態に係るジェスチャー操作システムの利用環境の一例を示す図である。 図6に示す操作支援装置のブロック構成の一例を示す図である。 図6に示す操作支援装置の動作フローの一例を示す図である。
 以下、本発明の実施の形態を説明するが、以下の実施形態は、本発明を限定しない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明に必須であるとは限らない。
 (第1の実施形態)
 図1は、本発明の第1の実施形態に係るジェスチャー操作システムの利用環境の一例を示す。ジェスチャー操作システムは、コンピュータのGUI表示画面をジェスチャーによって操作するためのシステムである。プレゼンテーションの講演者は、プレゼンテーションを行いながら、コンピュータのGUI表示画面をジェスチャーによって操作する。
 本実施形態に係るジェスチャー操作システムは、操作支援装置100、コンピュータ200、マーカー300、電極パッド400、及び信号増幅器500を備える。電極パッド400は、本実施形態における「筋電位測定部」の一例であってよい。
 操作支援装置100は、コンピュータ200のGUI表示画面のジェスチャーによる操作を支援する。より具体的に説明すると、操作支援装置100は、CPU(Central Processing Unit)110、液晶プロジェクタ130、デジタルビデオカメラ140、及び受信機150を具備している。デジタルカメラ140は、本実施形態における「撮影手段」の一例であってよい。
 CPU110は、操作支援装置100を構成する部品の一つである。CPU110は、液晶プロジェクタ130、デジタルビデオカメラ140、及び受信機150の制御やデータの計算、加工を行う手段である。より具体的に説明すると、CPU110は、液晶プロジェクタ130、デジタルビデオカメラ140、及び受信機150と電気的に接続されている。また、CPU110は、コンピュータ200と通信可能に接続されている。CPU110は、コンピュータ200からGUI表示画面データを受信すると、そのデータを液晶プロジェクタ130へ出力する。また、CPU110は、デジタルビデオカメラ140から出力された映像データの入力を受け付けて、受信機150から出力されたデータの入力を受け付けると、それらデータに基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する。そして、CPU110は、そのジェスチャー操作の内容に応じた処理をコンピュータ200に実行させるためのデータを、コンピュータ200へ出力する。
 液晶プロジェクタ130は、液晶パネルを利用してスクリーンSに画像を投影して表示する手段である。より具体的に説明すると、液晶プロジェクタ130は、CPU110と電気的に接続されている。液晶プロジェクタ130は、CPU110から出力されたコンピュータ200のGUI表示画面データの入力を受け付ける。そして、液晶プロジェクタ130は、そのデータによって示されるコンピュータ200のGUI表示画面をスクリーンSに投影する。
 デジタルビデオカメラ140は、捕らえた映像をデジタルデータに変換する手段である。より具体的に説明すると、デジタルビデオカメラ140は、CPU110と電気的に接続されている。デジタルビデオカメラ140は、スクリーンSが入る領域を撮像領域として、捕らえた映像をデジタルデータに変換して、その映像データをCPU110へ出力する。
 受信機150は、無線によってデータを受信する手段である。より具体的に説明すると、受信機150は、CPU110と電気的に接続されている。また、受信機150は、信号増幅器500と無線通信可能に接続されている。受信機150は、信号増幅器500からデータを受信すると、そのデータをCPU110へ出力する。
 コンピュータ200は、プログラムに従って演算を行う機械である。より具体的に説明すると、コンピュータ200は、操作支援装置100と通信可能に接続されている。コンピュータ200は、GUI表示画面データを操作支援装置100へ出力する。コンピュータ200は、操作支援装置100から出力された、講演者Hのジェスチャー操作の内容に応じた処理を実行するためのデータの入力を受け付けると、講演者Hのジェスチャー操作の内容に応じた処理を実行する。
 マーカー300は、講演者Hの手先に装着されている。マーカー300は、講演者Hの手先の位置とその動きを検出するための目印となる。講演者Hの手先は、本実施形態における「人間の特定部位」の一例であってよい。
 電極パッド400は、講演者Hのマーカー300が装着されている方の腕に装着されている。より具体的に説明すると、電極パッド400は、信号増幅器500と電気的に接続されている。電極パッド400は、講演者Hが腕に力を入れた場合に皮膚の表面に生じる僅かな筋電位の変化を検出する。そして、電極パッド400は、検出した筋電位の変化に応じた電気信号を信号増幅器500へ出力する。講演者Hのマーカー300が装着されている方の腕は、この発明における「人間の特定部位の近傍」の一例であってよい。
 信号増幅器500は、講演者Hの腰に装着されている。より具体的に説明すると、信号増幅器500は、電極パッド400と電気的に接続されている。また、信号増幅器500は、操作支援装置100と無線通信可能に接続されている。信号増幅器500は、電極パッド400から出力された筋電位の変化に応じた電気信号の入力を受け付けると、その電気信号を増幅させる。そして、信号増幅器500は、増幅させた電気信号による筋電位を示すデータを操作支援装置100へ送信する。
 図2は、CPU110のブロック構成の一例を示す。CPU110は、GUI表示画面データ入力受付部111、GUI表示画面データ出力部112、映像データ入力受付部113、マーカー検出部114、指示位置算出部115、筋電位データ受信部116、緊張状態検出部117、ジェスチャー検知部118、及びデータ出力部119を有する。以下に、各構成要素の機能及び動作を説明する。
 GUI表示画面データ入力受付部111は、コンピュータ200からGUI表示画面データの入力を受け付ける。
 GUI表示画面データ出力部112は、GUI表示画面データ入力受付部111が入力を受け付けたコンピュータ200のGUI表示画面データを液晶プロジェクタ130へ出力する。
 映像データ入力受付部113は、デジタルカメラ140によって撮影された映像データの入力を受け付ける。
 マーカー検出部114は、講演者Hを撮影した映像に映っているマーカー300の位置とその動きを検出する。例えば、マーカー検出部114は、映像データ入力受付部113が入力を受け付けた映像データの映像に映っているマーカー300の位置とその動きを検出する。
 指示位置算出部115は、講演者Hの手先の位置とその動きに基づいて、講演者Hの手先の位置とその動きによって指定されたGUI表示画面に対する指示位置を算出する。例えば、指示位置算出部115は、マーカー検出部114が検出したマーカー300の位置とその動きに基づいて、講演者Hの手先の位置とその動きによって指定されたGUI表示画面に対する指示位置を算出する。
 筋電位データ受信部116は、電極パッド400によって測定された講演者Hの腕の筋肉の筋電位を示すデータを受信する。
 緊張状態検出部117は、講演者Hの腕の筋肉の緊張状態の変化を検出する。例えば、緊張状態検出部117は、筋電位データ受信部116が受信したデータによって示される筋電位の変化に基づいて、講演者Hの腕の筋肉の緊張状態の変化を検出する。
 ジェスチャー検知部118は、講演者Hの手先の位置とその動きによって指定されたGUI表示画面に対する指示位置と、講演者Hの腕の筋肉の緊張状態の変化とに基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する。例えば、ジェスチャー検知部118は、指示位置算出部115が算出した指示位置と、講演者Hの腕の筋肉の緊張状態の変化とに基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する。また、例えば、ジェスチャー検知部118は、講演者Hの手先の位置とその動きによって指定されたGUI表示画面に対する指示位置と、緊張状態検出部117が検出した講演者Hの腕の筋肉の緊張状態の変化とに基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する。
 データ出力部119は、ジェスチャー検知部118が検知したジェスチャー操作の内容に応じた処理をコンピュータ200に実行させるためのデータを、コンピュータ200へ出力する。例えば、データ出力部119は、ジェスチャー検知部118が検知したジェスチャー操作の内容に応じた処理をコンピュータ200に実行させるためのデータとして、そのジェスチャー操作の内容がタッチスクリーンに対して行われた場合に、タッチスクリーンから出力される信号と同じ信号を示すデータを、コンピュータ200へ出力する。
 図3は、CPU110の動作フローの一例を示す。この動作フローの説明においては、図1及び図2を共に参照する。
 映像データ入力受付部113は、デジタルカメラ140によって撮影された映像データの入力を受け付ける(S101)。マーカー検出部114は、映像データ入力受付部113が入力を受け付けた映像データの映像に映っているマーカー300の位置とその動きを検出する(S102)。指示位置算出部115は、マーカー検出部114が検出したマーカー300の位置とその動きに基づいて、講演者Hの手先の位置とその動きによって指定されたGUI表示画面に対する指示位置を算出する(S103)。例えば、指示位置算出部115は、マーカー300の位置や動きから、画面上の対応する位置を幾何変換により求めて、GUI表示画面に対する指示位置を算出する。
 一方、筋電位データ受信部116は、電極パッド400によって測定された講演者Hの腕の筋肉の筋電位を示すデータを受信する(S104)。緊張状態検出部117は、筋電位データ受信部116が受信したデータによって示される筋電位の変化に基づいて、講演者Hの腕の筋肉の緊張状態の変化を検出する(S105)。例えば、緊張状態検出部117は、予め設定されたしきい値を筋電位が超えた場合に、筋肉が緊張状態になったと判定する。
 そして、ジェスチャー検知部118は、指示位置算出部115が算出した指示位置と、緊張状態検出部117が検出した講演者Hの腕の筋肉の緊張状態の変化とに基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する(S106)。例えば、ジェスチャー検知部118は、講演者Hの手先の位置とその動きを、コンピュータ200が出力した映像に対するポインティングとみなし、講演者Hの腕の筋肉の緊張状態をタッチセンシティブデバイスにおけるタッチ状態とみなして、タッチパネルを用いた場合と同様の方法にてこれらの講演者Hの動作を解析し、講演者Hが意図したタップ、ダブルタップ、ドラッグ、フリック等の操作ジェスチャーを検知する。
 そして、データ出力部119は、ジェスチャー検知部118が検知したジェスチャー操作の内容に応じた処理をコンピュータ200に実行させるためのデータを、コンピュータ200へ出力する(S208)。
 このようにして、コンピュータ200は、ジェスチャー操作の内容に応じた処理を実行する。
 データ出力部119は、ジェスチャー検知部118が検知したジェスチャー操作の内容に応じた処理をコンピュータ200に実行させるためのデータとして、そのジェスチャー操作の内容がタッチスクリーンに対して行われた場合に、タッチスクリーンから出力される信号と同じ信号を示すデータを、コンピュータ200へ出力することもできる。
 このような構成とすることで、タッチセンシティブデバイスによるインターフェイスを具備しているコンピュータ200に対しても、本発明の実施形態を容易に適用することができる。
 本実施形態では講演者Hの手先を特定部位としたが、これに限られない。特定部位として、頭や足等、他の部位を用いても構わない。
 本実施形態ではデジタルビデオカメラ140とマーカー300により指示位置を検出できるようにしたが、この構成に限られない。モーションキャプチャに用いられている様々な技術にて指示位置を検出するようにしてもよい。具体的には、赤外線を照射して赤外線反射マーカーの位置を検出することで位置検出の精度を高めてもよい。また、デジタルビデオカメラ140と異なる方向から方眼状のパターンを照射して講演者Hの体に投影されたパターンの幾何的な歪から奥行き方向の位置や動きを検出してもよい。
 本実施形態では講演者Hの腕の筋肉の緊張状態を検出したが、これに限られない。上述した特定部位の近傍に力を入れると連動して緊張する筋肉であれば、何処を用いても構わない。また、本実施形態では筋電位から筋肉の緊張状態を検出したが、これに限られない。発汗、発熱、硬さ、血流変化、微小な筋肉の動き、分泌される化学物質等、他の方法により筋肉の緊張状態を検出しても構わない。
 講演者Hの手先の位置や動きを検出するだけでなく、講演者Hの指の動きも検出して、複数の指の間の距離を求めてもよい。この構成により、ピンチアウト、ピンチインと呼ばれる拡大・縮小のジェスチャーに必要な操作ジェスチャー等、マルチタッチに相当する操作ジェスチャーを検知することも可能である。この複数の指によるマルチタッチ相当の操作は、両手の手先の間の距離により入力してもよい。
 本実施形態ではジェスチャー検知をコンピュータ200とは別の装置にて行ったが、この構成に限られない。特定部位の位置や動きと、筋肉の緊張状態をコンピュータ200に入力して、コンピュータ200の内部にてジェスチャー検知を行ってもよい。
 以上のように、本実施形態に記した技術を用いると、液晶プロジェクタ130でスクリーンに投影する場合等、タッチパネルを使用できない環境においても、タッチパネルと同等の直感的な操作を実現する環境を提供できる。
 (第2の実施形態)
 次に、本発明の第2の実施形態に係るジェスチャー操作システムについて説明する。第2の実施形態は、第1の実施形態と比較して、CPUが手のひら検知部をさらに備える。
 図4は、本発明の第2の実施形態に係るジェスチャー操作システムの操作支援装置100のCPU110のブロック構成の例を示す。本実施形態のCPU110は、GUI表示画面データ入力受付部111、GUI表示画面データ出力部112、映像データ入力受付部113、マーカー検出部114、指示位置算出部115、筋電位データ受信部116、緊張状態検出部117、ジェスチャー検知部118、データ出力部119、及び手のひら検知部120を有する。以下に、各構成要素の機能及び動作を説明する。
 図2に示す第1の実施形態のCPU110及び図4に示す第2の実施形態のCPU110の構成要素のうち、同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。
 手のひら検知部120は、講演者Hの特定部位を手先とした場合に、講演者Hの手のひらの向きを検知する。例えば、手のひら検知部120は、講演者Hを撮影した映像に映っている講演者Hの手のひらの向きを検知する。
 図5は、図4に示すCPU110の動作フローの一例を示す。この動作フローの説明においては、図1から図4を共に参照する。図4に示す動作フローのステップS201~S205の処理は、図3に示す動作フローのステップS101~S105の処理と同様の処理であるので、その詳細な説明を省略する。図4に示す動作フローのステップS208の処理は、図3に示す動作フローのステップS107の処理と同様の処理であるので、その詳細な説明を省略する。
 本実施形態の場合、手先に装着したマーカー300の位置を検出する動作32と並行して、手のひら検知部120は、講演者Hを撮影した映像に映っている講演者Hの手のひらの向きを検知する(S206)。
 ジェスチャー検知部118は、手のひら検知部120が検知した講演者Hの手のひらの向きに更に基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する(S207)。例えば、ジェスチャー検知部118は、講演者Hの腕の筋肉の緊張状態と、手のひらがスクリーンSの方向を向いている状態の論理和を、タッチセンシティブデバイスにおけるタッチ状態とみなす動作を行う。このような動作を加えることで、手のひらが他の方向へ向いた状態で筋肉の緊張を検出した場合を、非タッチ状態として操作ジェスチャーから排除でき、操作を意図しない筋肉の緊張による誤動作を防止できるという効果が加わる。
 (第3の実施形態)
 図6は、本発明の第3の実施形態に係るジェスチャー操作システムの利用環境の一例を示す。本実施形態においては、コンピュータ200のGUI表示画面がディスプレイ700に表示されており、講演者Hがディスプレイ700の前に座ってそのGUI表示画面を見ている。
 本実施形態のジェスチャー操作システムは、コンピュータ200、操作支援装置600、ディスプレイ700、及び2台のデジタルビデオカメラ800a、b(以下、デジタルビデオカメラ800と総称する。)を備える。デジタルビデオカメラ800は、本実施形態における「撮影部」の一例であってよい。
 操作支援装置600は、コンピュータ200のGUI表示画面のジェスチャーによる操作を支援する。より具体的に説明すると、操作支援装置600は、コンピュータ200、及び各デジタルビデオカメラ800と電気的に接続されている。操作支援装置600は、各デジタルビデオカメラ800から出力された映像データの入力を受け付けると、その映像データに基づいて、コンピュータ200のGUI表示画面に対するジェスチャー操作の内容を検知する。そして、操作支援装置600は、そのジェスチャー操作の内容に応じた処理をコンピュータ200に実行させるためのデータを、コンピュータ200へ出力する。
 ディスプレイ700は、文字や図形を表示する装置である。より具体的に説明すると、ディスプレイ700は、コンピュータ200と電気的に接続されている。ディスプレイ700は、コンピュータ200から出力されたGUI表示画面データの入力を受け付けると、そのGUI表示画面を表示する。
 デジタルビデオカメラ800は、捕らえた映像をデジタルデータに変換する手段である。より具体的に説明すると、デジタルビデオカメラ800は、操作支援装置600と電気的に接続されている。デジタルビデオカメラ800は、捕らえた映像をデジタルデータに変換して、その映像データを操作支援装置600へ出力する。
 図7は、操作支援装置600のブロック構成の一例を示す。操作支援装置600は、映像データ入力受付部113、顔検出部614、指示位置算出部615、眉検出部616、緊張状態検出部617、ジェスチャー検知部118、及びデータ出力部119を有する。以下に、各構成要素の機能及び動作を説明する。
 図2に示す第1の実施形態のCPU110及び図7に示す第3の実施形態の操作支援装置600の構成要素のうち、同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。
 顔検出部614は、講演者Hの顔の向きとその向きの変化を検出する。例えば、顔検出部614は、講演者Hを撮影した映像に映っている講演者Hの顔の向きとその向きの変化を検出する。
 指示位置算出部615は、顔検出部614が検出した講演者Hの顔の向きとその向きの変化に基づいて、講演者Hの顔の向きとその向きの変化によって指定されたGUI表示画面に対する指示位置を算出する。
 眉検出部616は、講演者Hの眉の動きを検出する。例えば、眉検出部616は、講演者Hを撮影した映像に映っている講演者Hの眉の動きを検出する。
 緊張状態検出部617は、眉検出部616が検出した眉の動きに基づいて、講演者Hの筋肉の緊張状態の変化を検出する。
 図8は、操作支援装置600の動作フローの一例を示す。この動作フローの説明においては、図1から図7を共に参照する。この動作フローのステップS306、S307の処理は、図3に示す動作フローのステップS106、S107の処理と同様の処理であるので、その詳細な説明を省略する。
 映像データ入力受付部113は、デジタルビデオカメラ800によって撮影された映像データの入力を受け付ける(S301)。そして、顔検出部614は、講演者Hを撮影した映像に映っている講演者Hの顔の向きとその向きの変化を検出する(S302)。2台のデジタルビデオカメラ800a、bは、講演者Hの顔を2方向から撮影している。顔検出部614は、2方向から撮影した映像を解析して、講演者Hの顔の向きや、その向きの変化を検出する。指示位置算出部615は、顔検出部614が検出した講演者Hの顔の向きとその向きの変化に基づいて、講演者Hの顔の向きとその向きの変化によって指定されたGUI表示画面に対する指示位置を算出する(S303)。例えば、指示位置算出部615は、講演者Hの顔の向いている方向に延長した直線とディスプレイ700の画面の交点を求め、この交点を講演者Hが操作を行おうとしている映像上の指示位置として検出する。
 講演者Hが画面上で操作したいオブジェクトを注視する場合、眉の筋肉を緊張させて睨む動作を行うことが、直感的で自然な動作である。そこで、眉検出部616は、講演者Hを撮影した映像に映っている講演者Hの眉の動きを検出する(S304)。緊張状態検出部617は、眉検出部616が検出した眉の動きに基づいて、講演者Hの筋肉の緊張状態の変化を検出する(S305)。例えば、緊張状態検出部617は、眉の動きの距離や角度の変化等から、眉の筋肉の緊張を検出する。
 更に、操作支援装置600にてタッチセンシティブデバイスの動作のエミュレーションを行って、コンピュータ200のオペレーティングシステムのタッチセンシティブデバイスによるインターフェイスに対して入力する構成とすることもできる。
 本実施形態では、顔の向きにより指示位置を求めたが、これに限られない。眼球の向きから視線と画面が交差する交点を求めて、これを指示位置として用いてもよい。
 以上のように、本実施形態の場合、講演者Hが画面上の操作したいオブジェクトを睨んで顔の向きを変えるだけで、GUIを備えたソフトウェアの操作ができる。このため、講演者Hが自由に歩き回れない場合や、他の作業にて手を空けられない場合や、身体的な障害がある場合等でも、直感的で自然な操作を提供することができる。
 以上説明したように、本発明の実施形態に係る入力システムは、人間の特定部位の位置や動きを検出するにあたり、人間の特定部位の位置や動きを検出する。更に、人間の特定部位の位置や向きから、スクリーンやディスプレイに表示している画面上の対応する位置を幾何変換により求めて、映像に対する指示位置を算出する。ここまでは、既知のモーションキャプチャ技術と同様の動作であってもよい。
 しかし、本発明の実施形態に係る入力システムは、特定部位の近傍の筋肉の緊張を検出する。このため、既知のモーションキャプチャ技術のように人間の特定部位の位置や動きを検出するだけでなく、映像上の指示位置をタップするか否かというタップ状態と非タップ状態の区別を同時に入力することができる。
 タップ状態と非タップ状態の区別を入力するには、通常のスイッチを講演者に操作させる方法でも入力することができる。しかしながら、インタラクティブなプレゼンテーション等の用途の場合、講演者が講演中にスイッチの操作を行うことは不自然な動作となる。この動作により、プレゼンテーションの効果を損なうという重大な問題を引き起こす。これに対し、本発明の実施形態による映像上の位置を指示する特定部位の近傍の筋肉の緊張を検出する方法の場合、講演者がポインティングする特定部位の近傍に力を入れるという極めて自然な動作によって、タップ状態を入力することができる。このため、インタラクティブなプレゼンテーションにおけるプレゼンテーション効果を全く損なわない。
 特定部位の近傍の筋肉の緊張の検出は、局部的な体温や発汗状態を測定することでも実現できる。しかしながら、筋電位を用いると、講演者が特定部位に力を入れてから検出できるまでの応答速度が速く、また、力の入れ具合も検出できる。このため、後述のジェスチャー検知の精度を高めることができる。
 また、監視する人間の特定部位を手先とすると、GUI表示画面上の指示位置に表示されたオブジェクトを手先で操作するという、極めて自然な操作を実現できる。GUI表示画面上のオブジェクトを操作する場合は、手のひらをオブジェクトの方向に向けるのが自然である。このため、手先の位置の検出と同時に手のひらの向きを検知すると、GUI表示画面上のオブジェクトを操作したい場合と、操作とは無関係の身振り手振りによるジェスチャーを、容易に区別することができる。そこで、本発明の実施形態では、手のひらをオブジェクトの方向に向けて、手先の近傍の筋肉の緊張を検出した場合のみ、タップ状態と判別している。この構成により、操作とは無関係の身振り手振りによるジェスチャーの際に手先の近傍につい力が入った場合でも、容易に非タップ状態と判別して操作から除外することができる。
 本発明の実施形態に係る入力システムでは、指示位置情報と緊張状態情報から、タップ、ダブルタップ、ドラッグ、フリック等の操作ジェスチャーを検知する。
 ここで、既知のタッチスクリーンにて実際に映像上のオブジェクトをジェスチャー操作する場合、スクリーン上をタッチした位置や動かしたい方向・距離・速度は、実際に操作したい映像上のオブジェクトの位置や動かしたい方向・距離・速度と、幾何学的にほぼ等しい関係にある。一方で、液晶プロジェクタ130からスクリーンに投影された映像をジェスチャーにて操作する場合、講演者がスクリーンに触れるような位置で映像上のオブジェクトを操作するとは限らない。このため、指示位置の検出や操作ジェスチャーの検知にあたっては、監視する人間の特定部位の実空間上の位置と、映像上のオブジェクトの位置や、操作したいジェスチャーとの関係を、補正する必要がある。
 実験を行った結果、以下の方法により、自然な指示位置の検出が可能なことがわかった。すなわち、予め観測する特定部位の位置と、スクリーンに投影する映像上の指示する位置の幾何的な関係を表す補正情報を入力する。この補正情報を用いて幾何変換により人間の特定部位の実空間上の位置から投影しているGUI表示画面に対する指示位置を算出する指示位置算出アルゴリズムを用いる。これは、タッチパネルやバーチャルリアリティ分野においても、用いられている方法である。
 しかし、更に実験を行った結果、ドラッグ、フリック等の指示位置を動かす操作ジェスチャーの場合、人間の動きが制約されているため、上述したような幾何変換では、意図した方向・距離・速度でオブジェクトを動かすことが困難な場合があることがわかった。具体的には、特にスクリーンが巨大な場合、人間の腕の長さに制約があるため、直線的な動きを指示するつもりでも、手先の軌跡は肩を中心とした円弧を描く傾向が高いことや、人間の移動可能範囲に制約がある。このため、スクリーンの隅々までオブジェクトを動かすことが困難な場合がある。
 そこで、本発明の実施形態に係る入力システムにおいては、指示位置の検出の際には幾何変換による補正を行うが、タップとドラッグの区別や、ドラッグとフリックの区別や、ドラッグする方向・距離・速度は、幾何変換による補正を行わず、人間の特定部位の実空間上の動きと、筋肉の緊張状態から操作ジェスチャーを検知するジェスチャー検知アルゴリズムを用いることもできる。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2011年2月24日に出願された日本出願特願2011-038082を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明の実施形態は、インタラクティブなプレゼンテーションに用いる入力システムとして利用できるだけに限られない。本発明の実施形態は、ゲームやアミューズメントも含んだバーチャルリアリティシステムに対する入力システムとしてや、医療や工事現場等の他の作業で手が放せない場合にハンズフリーでコンピュータを操作する入力システムとしてや、病や障害等により既知の入力システムが使えない人々が機器を操作する場合の入力システム等、様々な産業においても利用できる。
100 操作支援装置
110 CPU
111 GUI表示画面データ入力受付部
112 GUI表示画面データ出力部
113 映像データ入力受付部
114 マーカー検出部
115 指示位置算出部
116 筋電位データ受信部
117 緊張状態検出部
118 ジェスチャー検知部
119 データ出力部
120 手のひら検知部
130 液晶プロジェクタ
140 デジタルビデオカメラ
150 受信機
200 コンピュータ
300 マーカー
400 電極パッド
500 信号増幅器
600 操作支援装置
614 顔検出部
615 指示位置算出部
616 眉検出部
617 緊張状態検出部
618 ジェスチャー検知部
700 ディスプレイ
800 デジタルビデオカメラ
H 講演者
S スクリーン

Claims (10)

  1.  GUI(Graphical User Interface)表示画面を出力するコンピュータと、
     前記コンピュータのGUI表示画面のジェスチャーによる操作を支援する操作支援装置と
    を備え、
     前記操作支援装置は、
     人間の特定部位の位置と前記人間の特定部位の動きによって指定された前記GUI表示画面に対する指示位置と、前記人間の特定部位の近傍の筋肉の緊張状態の変化とに基づいて、前記コンピュータのGUI表示画面に対するジェスチャー操作の内容を検知するジェスチャー検知部と、
     前記ジェスチャー検知部が検知したジェスチャー操作の内容に応じた処理を前記コンピュータに実行させるためのデータを、前記コンピュータへ出力するデータ出力部と
    を有するジェスチャー操作システム。
  2.  前記操作支援装置は、
     前記人間の特定部位の位置と前記人間の特定部位の動きに基づいて、前記人間の特定部位の位置と前記人間の特定部位の動きによって指定された前記GUI表示画面に対する指示位置を算出する指示位置算出部
    を更に有し、
     前記ジェスチャー検知部は、前記指示位置算出部が算出した指示位置と、前記人間の筋肉の緊張状態の変化とに基づいて、前記コンピュータのGUI表示画面に対するジェスチャー操作の内容を検知する
    請求項1に記載のジェスチャー操作システム。
  3.  前記操作支援装置は、
     前記人間を撮影した映像に映っている前記マーカーの位置と前記マーカーの動きを検出するマーカー検出部
    を更に有し、
     前記指示位置算出部は、前記マーカー検出部が検出した前記マーカーの位置と前記マーカーの動きに基づいて、前記人間の特定部位の位置と前記人間の特定部位の動きによって指定された前記GUI表示画面に対する指示位置を算出する
    請求項2に記載のジェスチャー操作システム。
  4.  前記操作支援装置は、
     撮影部によって撮影された映像データの入力を受け付ける映像データ入力受付部
    を更に有し、
     前記マーカー検出部は、前記映像データ入力受付部が入力を受け付けた映像データの映像に映っている前記マーカーの位置と前記マーカーの動きを検出する
    請求項3に記載のジェスチャー操作システム。
  5.  前記操作支援装置は、
     前記人間の筋肉の緊張状態の変化を検出する緊張状態検出部
    を更に有し、
     前記ジェスチャー検知部は、人間の特定部位の位置と前記人間の特定部位の動きによって指定された前記GUI表示画面に対する指示位置と、前記緊張状態検出部が検出した前記人間の筋肉の緊張状態の変化とに基づいて、前記コンピュータのGUI表示画面に対するジェスチャー操作の内容を検知する
    請求項1から4のいずれか一項に記載のジェスチャー操作システム。
  6.  前記操作支援装置は、
     筋電位測定部によって測定された前記人間の筋肉の筋電位を示すデータを受信する筋電位データ受信部
    を更に有し、
     前記緊張状態検出部は、前記筋電位データ受信部が受信したデータによって示される筋電位の変化に基づいて、前記人間の筋肉の緊張状態の変化を検出する
    請求項5に記載のジェスチャー操作システム。
  7.  前記操作支援装置は、
     前記人間の特定部位を手先とした場合に、前記人間の手のひらの向きを検知する手のひら検知部
    を更に有し、
     前記ジェスチャー検知部は、前記手のひら検知部が検知した前記人間の手のひらの向きに更に基づいて、前記コンピュータのGUI表示画面に対するジェスチャー操作の内容を検知する
    請求項1から6のいずれか一項に記載のジェスチャー操作システム。
  8.  前記操作支援装置は、
     前記人間の顔の向きと前記人間の顔の向きの変化を検出する顔検出部
    を更に有し、
     前記指示位置算出部は、前記顔検出部が検出した前記人間の顔の向きと前記人間の顔の向きの変化に基づいて、前記人間の顔の向きと前記人間の顔の向きの変化によって指定された前記GUI表示画面に対する指示位置を算出する
    請求項2から7のいずれか一項に記載のジェスチャー操作システム。
  9.  前記操作支援装置は、
     前記人間の眉の動きを検出する眉検出部
    を更に有し、
     前記緊張状態検出部は、前記眉検出部が検出した眉の動きに基づいて、前記人間の筋肉の緊張状態の変化を検出する
    請求項5から8のいずれか一項に記載のジェスチャー操作システム。
  10.  前記データ出力部は、前記ジェスチャー検知部が検知したジェスチャー操作の内容に応じた処理を前記コンピュータに実行させるためのデータとして、前記ジェスチャー操作の内容がタッチスクリーンに対して成された場合に、タッチスクリーンから出力される信号と同じ信号を示すデータを、前記コンピュータへ出力する
    請求項1から9のいずれか一項に記載のジェスチャー操作システム。
PCT/JP2012/050921 2011-02-24 2012-01-18 ジェスチャー操作システム WO2012114791A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-038082 2011-02-24
JP2011038082 2011-02-24

Publications (1)

Publication Number Publication Date
WO2012114791A1 true WO2012114791A1 (ja) 2012-08-30

Family

ID=46720580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050921 WO2012114791A1 (ja) 2011-02-24 2012-01-18 ジェスチャー操作システム

Country Status (1)

Country Link
WO (1) WO2012114791A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014097112A (ja) * 2012-11-13 2014-05-29 Takashi Yoshimine 操作装置及び操作方法
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
JP2007241833A (ja) * 2006-03-10 2007-09-20 Kagoshima Univ 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP2009282650A (ja) * 2008-05-21 2009-12-03 Hitachi Ltd インタフェース装置及び入力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
JP2007241833A (ja) * 2006-03-10 2007-09-20 Kagoshima Univ 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP2009282650A (ja) * 2008-05-21 2009-12-03 Hitachi Ltd インタフェース装置及び入力方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014097112A (ja) * 2012-11-13 2014-05-29 Takashi Yoshimine 操作装置及び操作方法
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality

Similar Documents

Publication Publication Date Title
JP6348211B2 (ja) コンピュータ装置の遠隔制御
US20190238755A1 (en) Method and apparatus for push interaction
US10444908B2 (en) Virtual touchpads for wearable and portable devices
US8976140B2 (en) Touch input processor, information processor, and touch input control method
US9395821B2 (en) Systems and techniques for user interface control
TWI658396B (zh) 介面控制方法和電子裝置
KR20100095987A (ko) 터치 패널 입력 장치, 방법 및 이를 이용한 모바일 기기
WO2011026389A1 (zh) 触摸控制方法、处理装置及处理系统
CN103823630A (zh) 一种虚拟鼠标
JP6364790B2 (ja) ポインティングデバイス
TWI354223B (ja)
WO2012114791A1 (ja) ジェスチャー操作システム
KR101588021B1 (ko) 헤드 마우스
KR101337429B1 (ko) 입력 장치
TW200941307A (en) Extended cursor generating method and device
Chakraborty et al. Interactive Touch Screen Using Augmented Reality
JP2013238963A (ja) インタラクティブ表示装置
TWI414991B (zh) The method of implementing multi-touch and its system
TWI603226B (zh) 體感偵測器之手勢辨識方法
JP6289655B2 (ja) 画面操作装置及び画面操作方法
JP2013020333A (ja) 表示入力装置
JP2012203497A (ja) 表示一体型座標入力装置及び仮想キーボード機能の起動方法
KR20140021166A (ko) 2차원 가상 터치 장치
JP2010015603A (ja) 表示装置
Kang et al. Improvement of smartphone interface using an AR marker

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12749878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct app. not ent. europ. phase

Ref document number: 12749878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: JP