JPWO2018079301A1 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
JPWO2018079301A1
JPWO2018079301A1 JP2018547559A JP2018547559A JPWO2018079301A1 JP WO2018079301 A1 JPWO2018079301 A1 JP WO2018079301A1 JP 2018547559 A JP2018547559 A JP 2018547559A JP 2018547559 A JP2018547559 A JP 2018547559A JP WO2018079301 A1 JPWO2018079301 A1 JP WO2018079301A1
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
sensor
trigger operation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018547559A
Other languages
English (en)
Other versions
JP7135859B2 (ja
Inventor
高橋　慧
高橋　　慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018079301A1 publication Critical patent/JPWO2018079301A1/ja
Application granted granted Critical
Publication of JP7135859B2 publication Critical patent/JP7135859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

情報処理装置の情報処理部は、第１のセンサ情報が入力されると前記第１のセンサ情報の種類に応じたトリガ操作を検出する。また、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。また、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する。この情報処理装置によれば、ユーザに負担を掛けることなく操作入力を多様化させることが可能になる。

Description

本技術は、ヒューマンインターフェイスの操作性向上に関する。
従来の操作入力に用いるヒューマンインターフェイスとしては、ボタンやタッチパネルが主流である。
特許文献１には、ボタンを使わない電子機器の制御について記載があり、近接センサが反応して初めて、静電スイッチを使ったタッチデバイスによるセンシングが開始することが開示されている。
特開２０１６−０１８４３２号公報
しかしながら、ボタンやタッチデバイスによる複雑な操作は、特に小型機器では使いづらい場合があり、より簡単なヒューマンインターフェイスが望まれている。
以上のような事情に鑑み、本技術の目的は、ユーザに負担を掛けることなく操作入力を多様化させることが可能な情報処理装置を提供することにある。
上記目的を達成する本技術の一側面は、制御部を具備する情報処理装置である。
上記制御部は、第１のセンサ情報の種類に応じたトリガ操作を検出する。
また、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。
また、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する。
上記情報処理装置によれば、ジェスチャ操作一つにつき操作入力が一つに制限されず、複数の操作ができるようになるため、ユーザに負担をかけることなく操作入力を多様化させることが可能になる。
上記制御部は、上記トリガ操作の検出後、所定の時間内に入力される上記第２のセンサ情報に基づいて、上記ジェスチャ操作の認識をしてもよい。
上記情報処理装置によれば、意図せずトリガが発火してしまったような場合でも、誤った操作入力が行われないという効果がもたらされる。
上記制御部は、上記第１のセンサ情報が入力された際、上記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、検出した上記単発的トリガ操作又は上記連続的トリガ操作と、認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定してもよい。
上記情報処理装置によれば、トリガ操作一つに対して単発的トリガ操作と連続的トリガ操作の２種類が設定でき、操作入力のバリエーションが広がる。
上記制御部は、上記連続的トリガ操作を検出した場合、上記操作入力により入力される情報に、検出した上記連続的トリガ操作の時間の長さに応じた値を含めてもよい。
その場合、上記制御部は、上記連続的トリガ操作の時間長さの終点を、上記第１のセンサ情報の入力が終わった時点としてもよい。
その場合、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記第１のセンサ情報の入力が始まった時点としてもよい。
あるいは、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記連続的トリガ操作が検出された時点としてもよい。
あるいは、上記制御部は、上記連続的トリガ操作の時間の長さの起点を、上記ジェスチャ操作が認識された時点としてもよい。
上記情報処理装置は、上記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されてもよい。
その場合、上記センサは、前記ユーザの手による操作を検出可能な位置に設置されてもよい。
その場合、上記センサの設置される位置は、上記筐体を装着した状態におけるユーザの視野外となる位置であるよう構成してもよい。
上記情報処理装置によれば、ヘッドマウントディスプレイなどウェアラブルデバイス、ウェアラブルコンピュータの操作入力インターフェイスを提供することができる。
上記情報処理装置は、上記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、上記第１の電力モードは、上記第２の電力モードよりも電力消費量が少ないモードとしてもよい。
その場合、上記制御部は、上記情報処理装置が上記第１の電力モードにあるときに上記トリガ操作を検出すると、上記情報処理装置の電力消費モードを上記第２の電力モードに切り替えるよう構成してもよい。
上記情報処理装置によれば、トリガ操作をより電力消費の大きい動作モードへの切り替えのトリガとしても用いるよう構成することができ、装置の電力消費を抑えることが可能になる。
また、本技術の別の一側面は、次のステップを有する情報処理方法である。
第１のセンサ情報の種類に応じたトリガ操作を検出するステップ。
操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップ。
検出した上記トリガ操作と認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定するステップ
また、本技術の別の一側面は、コンピュータに、以下のステップを実行させるプログラムである。
第１のセンサ情報の種類に応じたトリガ操作を検出するステップ。
操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップ。
検出した上記トリガ操作と認識した上記ジェスチャ操作との組み合わせに基づいて、上記操作入力を決定するステップ。
以上のように、本技術によれば、ユーザに負担を掛けることなく操作入力を多様化させることが可能な情報処理装置を提供することが可能になる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
本発明の一実施形態の概要を説明するための図である。 上記実施形態に係る情報処理装置の外観構成例を示す図である。 上記実施形態に係る情報処理装置の内部構成例を示すブロック図である。 上記実施形態に係る情報処理装置の内部構成の別の一例を示す図である。 上記実施形態に係る情報処理装置の内部構成の別の一例を示す図である。 上記実施形態に係る情報処理装置の処理の流れを示すフローチャート（その１）である。 上記実施形態に係る情報処理装置の処理の流れを示すフローチャート（その２）である。 上記実施形態に係る情報処理装置の処理を説明するためのタイミングチャート（その１）である。 上記実施形態に係る情報処理装置の処理を説明するためのタイミングチャート（その２）である。 上記実施形態の変形例の外観構成例を示す図である。
以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本技術の一実施形態による情報処理装置の概要
２．構成
２−１．外観構成
２−２．内部構成
３．動作
４．まとめ
５．変形例
６．付記
＜１．本技術の一実施形態による情報処理装置の概要＞
本実施形態に係る情報処理装置１はウェアラブルデバイスを含む。本実施形態のウェアラブルデバイスとしては、後述するセンサ群が搭載可能なスペースを確保できるものである限り、特に限定するものではないが、ヘッドフォンやヘッドマウントディスプレイが一例として挙げられる。そのほか、リストバンド型のウェアラブルデバイスやジャケット等着衣型のウェアラブルデバイス等にも適用可能である。以下の説明においては、本実施形態のウェアラブルデバイスとしてヘッドフォンを採用する。また、ヘッドフォン以外にもイヤホン型でもよい。
本実施形態に係る情報処理装置１はユーザの操作入力を受け付けるユーザインターフェイスを含む。ユーザの操作入力をどのような用途に用いるかについて一切限定はない。ニュースの読み上げアプリケーションでもよい。以下の説明においては、音楽コンテンツを再生する音楽プレーヤーを操作するために用いる例を示す。
図１に本実施形態の概要を説明するための図を示す。本実施形態に係る情報処理装置１はユーザの動きを認識するジェスチャ認識機能を有する。ただし、ユーザがトリガ操作を行い、それを情報処理装置１が検出した場合にジェスチャ認識が行われる。本実施形態においてトリガ操作には複数あるが、複数のトリガ操作検出を実現する１つの方法は、各トリガ操作に対応するセンサを１つずつ用意することである。情報処理装置１はその種類に応じたトリガ操作と、ジェスチャ認識の種類とに応じて、ジェスチャ認識の解釈を行う。
なお、本実施形態において「解釈する」とは、一連のトリガ操作とジェスチャ操作による操作入力を情報処理装置１への処理コマンドに置き換えるよう決定することを言う。
図１には、３種類の「うなずく」「右を向いて首を戻す」「左を向いて首を戻す」というジェスチャ操作例が示されている。本実施形態では、これら３種類のジェスチャ操作が行われる前に行われたトリガ操作に応じて、それぞれのジェスチャ操作の解釈を変える。例えば、図１（ａ）は第１のトリガ操作を行った場合、（ｂ）は第２のトリガ操作を行った場合とする。
同じ「うなずく」というジェスチャ操作を行った場合でも、第１のトリガ操作が先にあれば情報処理装置１は、そのジェスチャ操作を音楽プレーヤーの「再生／停止」と解釈する（図１（ａ））。一方で、第２のトリガ操作が先にあれば情報処理装置１は、その同じジェスチャ操作を「音楽アルバム選択」と解釈する。右を向くジェスチャ操作、左を向くジェスチャ操作に対しても同様の情報処理を行う。
トリガ操作の具体例に限定はないが、例えば、近接センサによりトリガ操作を検出する場合は、ヘッドフォンの左右にそれぞれ近接センサを設置する。ユーザが左のヘッドフォン近傍に手をかざした場合は、第１のトリガ操作（図１（ａ））、右のヘッドフォン近傍に手をかざした場合は、第２のトリガ操作（図１（ｂ））を検知する。
ユーザが左右両方の近接センサを反応させた場合は第３のトリガ操作を検知することとする。第３のトリガ操作に対しても、それぞれのジェスチャ操作に対応する操作入力のセットを設定する（図１（ｃ））。
うなずいたり右を向いたりというジェスチャは、誰もが覚えられる簡単なジェスチャである。その反面、日常的な動きであるからすべてが情報処理装置１への操作入力と解釈されるとユーザの意図しない入力になる。ところが、本実施形態ではジェスチャ認識に先立つトリガ操作を検知して初めて、ジェスチャ認識を行うので、ユーザの意図しない入力を防止できる。さらに、図１に示したように、トリガ操作の種類に応じて同じジェスチャで情報処理装置１に入力可能な操作入力のバリエーションは多様化する。したがって本実施形態によれば、ユーザに負担を掛けることなく操作入力を多様化させることができる。
以上、本実施形態の概要を述べた。以下、外部構成と内部構成を示し、情報処理装置１内で実行される情報処理の流れの詳細について開示する。
＜２−１．外観構成＞
図２は本実施形態に係る情報処理装置１の外観構成例を示す図であり、図３は内部構成例を示すブロック図である。
図２に示すように本実施形態に係る情報処理装置１は、ハードウェア構成の面では例えば、ヘッドフォン２と携帯端末３を含む構成とすることができる。ヘッドフォン２はセンサ群１０を有する。図２に示すハードウェア構成例のほかにも、センサ群１０が設置されるユーザに装着可能な筐体２０を有するデバイスであれば、イヤホン型、リストバンド形、ジャケット型など、どのような形態でもよい。また、このようなデバイスをウェアラブルデバイスと呼ぶ。なお、「筐体」は箱型をしていることを含意する場合があるが、ここでは単に外装を具備することを意味し、形状については限定しない。
ヘッドフォン２と携帯端末３は、それぞれ無線通信部１９、無線通信部３９を有し、相互に通信可能であるが、その具体的通信態様について制限はない。有線通信でもよい。本実施形態では、各無線通信部はアンテナ及び無線通信回路を含んで構成され、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信規格に沿った通信を行い、センサ群１０の検知情報が携帯端末３へ渡される。携帯端末３は、例えばスマートフォンが利用できる。
図２に示すセンサ群１０には、右近接センサ１１Ｒ、左近接センサ１１Ｌ、動きセンサ１２、ノイズキャンセラ用のマイクロフォン１３が含まれる。その他に、マイクを短絡するように接続されたスイッチ（不図示）をセンサ群１０を構成するセンサの一つとして用いてもよい。
右近接センサ１１Ｒと左近接センサ１１Ｌは、赤外線方式でもその他の方式でもよい。右近接センサ１１Ｒと左近接センサ１１Ｌは、センシングしている間中、検知信号を出力し続ける。近接センサ１１Ｒと左近接センサ１１Ｌは、ユーザのトリガ操作の検出に用いる。
動きセンサ１２は、３軸加速度と３軸角速度を検出するモーションセンサである。動きセンサ１２は、ユーザのジェスチャ操作の認識に用いる。トリガ操作の認識に用いてもよい。
ノイズキャンセラ用のマイクロフォン１３は、ヘッドフォン２の周囲の音を集音し、逆位相の音を出力してノイズを軽減するノイズキャンセル技術において、周囲の音を集音するマイクである。ユーザがノイズキャンセラ用のマイクロフォン１３を指などで軽くタップした場合に、当該操作をトリガ操作として検出してもよい。
本実施形態では、トリガ操作を検出するために必要なセンサ情報を第１のセンサ情報、ジェスチャ操作を認識するために必要なセンサ情報を第２のセンサ情報と呼ぶ。センサ情報とは、これらセンサ群１０を構成する少なくともいずれか１つ以上がセンシングに伴い発信するセンサ信号の束である。第１のセンサ情報と第２のセンサ情報は重複するものがあってもよい。
以下の説明では、右近接センサ１１Ｒと左近接センサ１１Ｌの少なくともどちらかによるセンサ情報を第１のセンサ情報とする。また、動きセンサ１２によるセンサ情報を第２のセンサ情報とする。ただしこれは説明のための一例であって、例えば、動きセンサ１２によるセンサ情報が第１のセンサ情報の一部又は全部を兼ねてもよい。
＜２−２．内部構成＞
図３に示すように本実施形態に係る情報処理装置１は、図２に示した構成に加えて、携帯端末３が情報処理部３１を内蔵する構成である。情報処理部３１は、携帯端末３の演算処理装置の少なくとも一つであればよく、例えば、中央演算処理装置（ＣＰＵ：Central Processing Unit）やＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on Chip）で構成されてもよい。１以上の演算処理デバイスが組み合わさって情報処理部３１を構成するように設計してもよい。
情報処理部３１は、ＲＡＭ２１（２２）などのメモリに読み込まれたソフトウェアプログラムを実行し、トリガ検出部３２、ジェスチャ認識部３３、操作入力信号生成部３４を有するように構成される。以下、各部の働きを述べる。
トリガ検出部３２は、第１のセンサ情報が入力されると、その入力された第１のセンサ情報の種類に応じたトリガ操作を検出する。例えば、第１のセンサ情報が、右近接センサ１１Ｒのセンシングを表す信号である場合、「ユーザが右手を挙げてヘッドフォン２の右側にかざす」トリガ操作を検出する。あるいは、第１のセンサ情報が、左近接センサ１１Ｌのセンシングを表す信号である場合、「ユーザが左手を挙げてヘッドフォン２の左側にかざす」トリガ操作を検出する。
限定するものではないが、一例を挙げると、第１のセンサ情報を２進数５桁のデジタルデータとして表すこととした場合、右近接センサ１１Ｒのセンシングは（００００１）、左近接センサ１１Ｌのセンシングは（０００１０）、両近接センサが反応したら（０００１１）などと表すことができる。トリガ検出部３２は、それぞれのデジタルデータに応じたトリガ操作を検出する。
ジェスチャ認識部３３は、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識する。ジェスチャ操作は、ウェアラブルデバイスの性格や利用可能なセンサの種類に応じてあらかじめ規定される。本実施形態においては、ウェアラブルデバイスとしてヘッドフォンを採用し、動きセンサ１２をジェスチャ認識に利用するので、あらかじめ規定するジェスチャ操作としては例えば、「うなずき」、首の「右振り」「左振り」などとする。
ジェスチャ認識部３３は、トリガ検出部３２によるトリガ操作の検出の後所定の時間内に入力された第２のセンサ情報に基づいて、ジェスチャ認識を行う。トリガ検出部３２によるトリガ操作の検出があって始めて、情報処理部３１に第２のセンサ情報が送信されるよう構成してもよい。あるいは、トリガ検出部３２によるトリガ操作の検出があるまで、動きセンサ１２が作動しない、ないし、省電力モードでの作動するように構成してもよい。ジェスチャ認識部３３は、タイムアウトの時間が経過するまで、ジェスチャ操作の認識を続ける。
操作入力信号生成部３４は、トリガ検出部３２が検出したトリガ操作と、ジェスチャ認識部３３が認識したジェスチャ操作との組み合わせにより、ユーザがそのジェスチャ操作により入力しようとしている操作入力を解釈する。これは、図１を参照しながら説明したとおり、トリガ操作とジェスチャ操作との組み合わせにより、ユーザの操作入力の意図を解釈する。操作入力信号生成部３４は不図示のルックアップテーブルを参照して、操作入力を解釈する。
操作入力信号生成部３４は、解釈の結果、得られたコマンドを信号として生成する。生成した信号は操作入力信号として後段に出力する。
以上、本実施形態の構成例について述べた。なお、情報処理装置１の内部構成については、図３示した例だけに限定されず、図３の構成では携帯端末３に含まれる構成要素の一部又は全部がウェアラブルデバイス側に含まれてもよい。図４と図５にそのような場合の内部構成を示す。
図４は本実施形態の変形例であり、トリガ操作とジェスチャ認識をウェアラブルデバイス側で実行するタイプの変形例である。本変形例では携帯端末３がＣＰＵ３８とＲＡＭ２２を有し、ＲＡＭ２２に読み込まれたソフトウェアプログラムをＣＰＵ３８が実行し、操作入力信号生成部３４が生成される。センサ群１０が出力するセンサの出力値（センサ情報）を携帯端末３に無線通信する必要がないため、バッテリ節約になる場合がある。
図５も本実施形態の変形例であり、操作入力信号生成まですべてをウェアラブルデバイス側で実行するタイプの変形例である。この情報処理装置１においては、携帯端末３は構成要素としては不要である。本技術に関わる情報処理がすべてウェアラブルデバイスで完結するよう構成することも図５に示すように、可能である。
＜３．動作＞
図６と図７は本実施形態に係る情報処理装置１の処理の流れを示すフローチャートである。図８と図９は本実施形態に係る情報処理装置１の処理の流れを説明するために参照するタイミングチャートである。以下、これらの図面を参照しながら説明する。
情報処理装置１は、トリガ検出部３２により第１のセンサ情報が検出されるまで待機する（ＳＴ１００）。この状態のとき、ジェスチャ認識部３３や動きセンサ１２は、省電力モードなど電力消費量の少ない第１の電力消費モードで機能が制限されていてもよい。
第１のセンサ情報が入力されると、トリガ検出部３２はトリガ操作を検出する（ＳＴ１００，Ｙｅｓ）。トリガ検出部３２は、入力された第１のセンサ情報の種類に応じて、トリガ操作の種類を判別し、その種類を情報処理部３１に備わるレジスタなどに記憶する（ＳＴ１０１）。トリガ操作の種類はＳＴ１０５で参照される。
第１のセンサ情報としては、右近接センサ１１Ｒのセンシング情報、左近接センサ１１Ｌのセンシング情報、マイクロフォン１３のタップ時にマイクロフォン１３が発信する情報など、複数の種類がある。それぞれの種類に応じたトリガ操作の種類がここでは検出される。例えば、右近接センサ１１Ｒのセンシング情報には右手をかざすトリガ操作、左近接センサ１１Ｌのセンシング情報には左手をかざすトリガ操作、両方の近接センサのセンシング情報には両手をかざすトリガ操作、マイクロフォン１３のタップ時にマイクロフォン１３が発信する情報にはタップするトリガ操作が検出される。
次に、第１のセンサ情報が検出され続けているか否かが判定される（ＳＴ１０２）。この判定は、操作入力信号生成部３４が行う。例えば、ＳＴ１００で右近接センサ１１Ｒがセンシング情報を送信した場合、そのセンシング情報が入力され続けているか否かを判定する。操作入力信号生成部３４は、所定の閾値を越えてセンシング情報が入力され続けているか否かを判定して、トリガ操作の継続性があるか否かを判定する。
所定の時間内に第１のセンサ情報の入力が立ち上がり、かつ、立ち下がった場合、トリガ操作の継続性はないと判断される（ＳＴ１０２，Ｎｏ）。次に、情報処理部３１はジェスチャ操作検出に用いるセンサを起動する（ＳＴ１０３）。本実施形態においては、動きセンサ１２を起動する。ジェスチャ操作検出に用いるセンサの起動後の情報処理装置１の動作モードを通常動作モード（第２の電力消費モード）と呼び、省電力モードから通常動作モードへの切り替えとしてもよい。情報処理部３１がこの切り替えを実行することとしてもよい。
次に、ジェスチャ認識部３３は、タイムアウトとなる所定の時間までの間、入力される可能性のある第２のセンサ情報を待ち受ける（ＳＴ１０４）。所定の時間内に動きセンサ１２のセンシング情報（第２のセンサ情報の一例）から、ユーザのジェスチャ操作が認識できなかった場合（ＳＴ１０４，Ｎｏ）、処理は終了する。
所定の時間内に動きセンサ１２のセンシング情報（第２のセンサ情報の一例）から、ユーザのジェスチャ操作が認識できた場合（ＳＴ１０４，Ｙｅｓ）、操作入力信号生成部３４はＳＴ１０１以来記憶中のトリガ操作の種類と、ＳＴ１０４で認識したジェスチャ操作との組み合わせにより、ＳＴ１０４で認識したジェスチャ操作でユーザがしようとしている操作入力が何であるかを解釈する（ＳＴ１０５）。
ＳＴ１０５の処理により、図１を参照しながら説明したように、同じジェスチャ操作が「ズームイン」のコマンド（操作入力の一例）になったり、「音量を下げる」コマンド（操作入力の一例）になったり、「前のページに戻る」コマンド（操作入力の一例）になったりする。
次に、情報処理部３１もしくは携帯端末３が、ＳＴ１０５で解釈した操作入力を実行する（ＳＴ１０６）。操作入力の内容によっては、ヘッドフォン２又は情報処理装置１全体が実行してもよい。
ＳＴ１０４のタイムアウトについて図８を参照して説明する。図８のタイミングチャートにおいて、各センサ情報の上段はセンサ情報の入力あり、下段はセンサ情報の入力なしを表す。横軸は時間である。
図８（ａ）に示すように、第１のセンサ情報の入力が存在して、トリガ操作が検出されると、ジェスチャ認識部３３はタイムアウトまでの所定の時間を設定する。図８中では、所定の時間の起点が、第１のセンサ情報の検出終わりの時点に合わせているが、検出始まりの時点にあわせてもよい。
図８（ｂ）に示すように、所定の時間内に第２のセンサ情報の入力がなかった場合、ジェスチャ認識部３３は、ジェスチャ操作やユーザの操作入力がないと判断する。したがって、トリガ操作がユーザの意図しないものであった場合であっても、情報処理装置１による誤入力を抑制することができる。
また、図８中、破線で示されているように、第２のセンサ情報の入力の有無はトリガ操作の検出から所定の時間内だけ、判断される。したがって、ユーザは操作入力を行う際、明示的にトリガ操作を行ってからジェスチャ操作を行う必要がある。この構成によっても情報処理装置１による誤入力を抑制することができる。
さらに、第２のセンサ情報の入力が存在した場合（図８（ａ））でも、これがジェスチャ操作であるか否かの認識がジェスチャ認識部３３によりなされる。
ＳＴ１０２でトリガ操作の継続性があると判断された場合の処理の詳細について、図７を参照して説明する。この場合の処理で図６と同等の処理については、同じ符号を振って、説明を省略する。
図７に示すように、ＳＴ１０６での操作入力の実行は、トリガ操作が終了するまで（ＳＴ１０７，Ｙｅｓ）、継続される。例えば、トリガ操作が右近接センサ１１Ｒの反応を伴う右手をかざす操作であったとしたら、右手がかざされている間中、トリガ操作の種類とジェスチャ操作との組み合わせにより解釈された操作入力を継続する。
トリガ操作の継続性について図９を参照して説明する。図９のタイミングチャートは図８のタイミングチャートと同じく、各センサ情報の上段はセンサ情報の入力あり、下段はセンサ情報の入力なしを表す。横軸は時間である。
図６のＳＴ１０２におけるトリガ操作の継続性の判断は、図９中に示す所定の閾値を用いて判断される。操作入力信号生成部３４は、第１のセンサ情報の入力が立ち上がった時点を起点にして、トリガ操作の継続性を判断する所定の閾値を超えて、第１のセンサ情報の入力が継続するか否かを基準にしてトリガ操作の継続性を判断する。図９（ａ）のように超えない場合は、トリガ操作が単発のトリガ操作であると判断する。図９（ｂ）や（ｃ）のように超える場合は、トリガ操作が継続性のあるトリガ操作、連続的トリガ操作であると判断する。
第１のセンサ情報を出力するセンサデバイスが同一であっても、トリガ操作の継続性の有無によって、第１のセンサ情報の種類は異なるものと扱う。例えば、同じ右近接センサ１１Ｒが出力するセンサ情報であっても、単発的トリガ操作と、連続的トリガ操作とでは異なる種類のセンサ情報として扱う。
そのため、図６又は図７のＳＴ１０５における操作入力の解釈（処理コマンドの決定）においては、同一のジェスチャ操作に対して、単発的トリガ操作と、連続的トリガ操作とでは異なる操作入力の解釈を割り当てることができる。
以上で、同一のジェスチャ入力に対して、トリガ操作を検出するデバイスごと、又は、それらデバイスの組み合わせごとに異なる種類の操作入力を行う方法を説明した。また、トリガ操作についても単発的トリガ操作と連続的トリガ操作とで操作入力を異ならせる方法も説明した。次に、連続的トリガ操作を使って、操作入力に連続値を含める方法について、以下、説明する。
音楽プレーヤーをアプリケーションにする場合、以上に述べた操作入力のみでは音楽プレーヤーに求められるユーザインターフェイスすべてをカバーすることはできない。例えば、ボリュームの調整、アルバム送り、連続する曲のスキップ、シャッフル再生の切り替えなど、さまざまな操作が必要となる。また、ボリュームの調整は連続値を指定できることが望ましい。
ボタン操作のみでは、例えばボタン長押しにより連続値の指定が可能にはなるが、ウェアラブルデバイスのように入力に利用できるヒューマンインターフェイスに制約がある場合、問題となる。ボタンを持たないウェアラブルデバイス場合、ジェスチャ操作で入力することが考えられるが、ジェスチャ操作で連続値を指定するのは難しい。これは、ユーザによって自然な感覚が異なっていることに起因する。
そこで本実施形態では、連続値を必要とする操作入力において、連続的トリガ操作を検出した場合、検出したその連続的トリガ操作の時間の長さに応じた値を、その連続値として用いる。連続的トリガ操作の時間の長さは、以下に述べるように抽出する。
図９（ｂ）と（ｃ）を参照する。連続的トリガ操作の時間の長さの終期、終点は、連続的トリガ操作が終了した時点とするとよい。つまり、第１のセンサ情報の入力が途絶えた時点などに設定する。例えば、手をかざして近接センサを反応させた上でうなずくなどのジェスチャ操作をする場合、手をかざし続けるのを止めた時点が連続的トリガ操作の終了時点となる。
連続的トリガ操作の時間の長さの起点については、限定するものではないが、例えば、第１のセンサ情報の入力が開始されたとき、トリガ操作に継続性があると判断された時点、ジェスチャ操作が認識された時点、以上の３つのパターンがある。いずれのパターンを選択してもよい。
操作入力信号生成部３４は、解釈した操作入力に基づいてコマンドを生成して、後段の処理ブロックに渡すが、上述のような方法で連続的トリガ操作から連続値を抽出した場合、当該連続値又はこれに応じた値を引数としたコマンドを生成する。連続値に応じた値とは、例えば、比例関係にある値、何らかの基準により量子化した値、所定の関数（例えば、シグモイド関数など）により算出される値などがある。操作入力する対象に合わせて、連続値に応じた値を導き出す方法は所望のものを選ぶことができる。
＜４．まとめ＞
上述の実施形態はユーザに負担をかけることなく複雑な操作入力を可能にすることに主眼がある。ウェアラブルデバイスは軽さや小型化が追求されるため搭載可能なヒューマンインターフェイスもボタン程度のものとなる場合がある。しかしながら、ボタンのみでは複雑な操作ができない。
そこで例えば、近接センサのセンシングをボタンの押下検知の代替に使用することが考えられるが、この場合はユーザの意図しない入力が増える可能性がある。静電スイッチを使ったタッチデバイスにはある程度の面積を持った領域が必要で、ウェアラブルデバイスのヒューマンインターフェイスとして重要な小型化が不可能になるおそれがある。
従来の特許文献１では、いわゆる「タッチジェスチャ」を操作入力に用いているが、ユーザが記憶できる「タッチジェスチャ」の種類には限界があり、操作入力のバリエーションも増やしにくいという問題点があった。このような従来技術の課題があったところ、以上に述べた本実施形態によると、ジェスチャ操作一つにつき操作入力が一つに制限されず、複数の操作ができるようになる。つまり、本実施形態によるとユーザに負担を掛けることなく操作入力を多様化させることができる。
また、図８を参照して説明したように、タイムアウトまでの時間までにジェスチャ認識がない場合は、操作入力に係る処理コマンドを決定しない本実施形態の構成によれば、意図せずトリガが発火してしまったような場合でも、ユーザの意図しない入力を防止することができ、誤った操作入力が行われない。
また、本実施形態においては、上記第１のセンサ情報が入力された際、上記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出する。そして、検出した上記単発的トリガ操作又は上記連続的トリガ操作と、認識した上記ジェスチャ操作との組み合わせにより、上記操作入力を解釈する。そのため、トリガ操作一つに対して単発的トリガ操作と連続的トリガ操作の２種類が設定でき、操作入力のバリエーションが広がる。
また、本実施形態においては、上記連続的トリガ操作を検出した場合、上記操作入力により入力される情報に、検出した上記連続的トリガ操作の時間の長さに応じた値を含める。これにより、各個人によってそれぞれ異なるジェスチャ操作の、個人差を吸収してロバストに認識しつつ、手をかざして近接センサを反応させている状態から、手を離して反応を止めるという簡単な操作で、連続値を利用する操作入力を行うことが可能になる。
＜５．変形例＞
さらに、本実施形態は、以下に述べるように変形して実施が可能である。
例えば、ウェアラブルデバイスとして上記実施形態ではヘッドフォン２を示したが、これに限定されない。例えば、ウェアラブルデバイスの他の例としては、ヘッドセットや肩に乗せるネックバンドタイプの端末がある。上述の実施形態はこのような機器に変形して実施可能である。
さらに上記実施形態では、ヘッドマウントディスプレイに適用することも可能である。図１０は、本技術をヘッドマウントディスプレイに対して実施した場合の変形実施形態における情報処理装置１の外観構成例を示す図である。
図１０に示すように、本変形例においてはユーザの身体に装着可能に構成された筐体２０として、メガネ型ヘッドマウントディスプレイ２ａが採用される。メガネ型ヘッドマウントディスプレイ２ａは、静電方式のタッチデバイス１４を具備する。
タッチデバイス１４の設置位置に限定はないが、メガネ型ヘッドマウントディスプレイ２ａがユーザに装着されたとき、ユーザの手による操作を検出可能な位置でもよい。例えば、図１０に示すようにメガネ型ヘッドマウントディスプレイ２ａを装着したユーザのこめかみの辺りタッチデバイス１４が配置されるように構成する。
タッチデバイス１４は、図２で示した構成例において近接センサ１１Ｒと左近接センサ１１Ｌが提供する機能と類似する機能を本変形例において提供する。すなわち、タッチデバイス１４は、トリガ操作検出に必要な第１のセンサ情報をセンシングにより生成し、情報処理装置１に入力する。
タッチデバイス１４は、ユーザの指の接触の検出が、シングルポイントのみならずマルチポイントで可能なタイプであってもよい。マルチポイントタイプは、１以上の接触点を感知可能なタッチデバイス１４である。この場合、例えば、１本の指でタッチした場合と、２本の指でタッチした場合とで、異なるトリガ操作とすることができる。その他にも、タッチデバイス１４が感知した接触点の数に応じて、トリガ検出部３２が異なる種類のトリガ操作を検出するよう構成してもよい。
タッチデバイス１４の配設箇所は、こめかみの辺りに限定されず、ユーザの手による操作が検出可能となるように、ユーザの手が物理的に届く範囲内であればよい。さらに、タッチデバイス１４は、筐体２０を装着している状態のユーザの視野の外に配設されてもよい。筐体２０を装着している状態のユーザが直接視認できない場所にタッチデバイス１４が配設されても、本技術が適用された本変形例によると、視覚に頼らずユーザのトリガ操作、ジェスチャ操作で情報処理装置１への操作入力が可能になる。
ヘッドマウントディスプレイにおいては、ヴァーチャルリアリティコンテンツの視聴中であっても、ユーザがシステムに何らかの入力を行いたいというニーズがある。リモコンを使わずに入力を行う場合、本変形例のように、メガネ型ヘッドマウントディスプレイ２ａの一部（タッチデバイス１４）をタップして、その後ジェスチャ操作を行うことで、ユーザがシステムに入力を行うことが可能になる。なお、メガネ型ヘッドマウントディスプレイ２ａは透過型のディスプレイを有していてもよいし、非透過型のディスプレイを有していてもよい。
＜６．付記＞
本明細書に開示される技術的思想の一部は、下記（１）〜（１１）のように記載されうる。
（１）
第１のセンサ情報の種類に応じたトリガ操作を検出し、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する制御部
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記トリガ操作の検出後、所定の時間内に入力される前記第２のセンサ情報に基づいて、前記ジェスチャ操作の認識をする
情報処理装置。
（３）
上記（１）又は（２）に記載の情報処理装置であって、
前記制御部は、
前記第１のセンサ情報が入力された際、前記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、
検出した前記単発的トリガ操作又は前記連続的トリガ操作と、認識した前記ジェスチャ操作との組み合わせにより、前記操作入力を決定する
情報処理装置。
（４）
上記（３）に記載の情報処理装置であって、
前記制御部は、前記連続的トリガ操作を検出した場合、前記操作入力により入力される情報に、検出した前記連続的トリガ操作の時間の長さに応じた値を含める
情報処理装置。
（５）
上記（４）に記載の情報処理装置であって、
前記制御部は、前記連続的トリガ操作の時間長さの終点を、前記第１のセンサ情報の入力が終わった時点とする
情報処理装置。
（６）
上記（４）又は（５）に記載の情報処理装置であって、
前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記第１のセンサ情報の入力が始まった時点とする
情報処理装置。
（７）
上記（４）又は（５）に記載の情報処理装置であって、
前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記連続的トリガ操作が検出された時点とする
情報処理装置。
（８）
上記（４）又は（５）に記載の情報処理装置であって、
前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記ジェスチャ操作が認識された時点とする
情報処理装置。
（９）
上記（１）から（８）のいずれかに記載の情報処理装置であって、
前記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されており、
前記センサは、前記ユーザの手による操作を検出可能な位置に設置される
情報処理装置。
（１０）
上記（９）に記載の情報処理装置であって、
前記センサの設置される前記位置は、前記筐体を装着した状態における前記ユーザの視野外となる位置である
情報処理装置。
（１１）
上記（９）又は（１０）のいずれかに記載の情報処理装置であって、
前記第１のセンサ情報は、１箇所以上の接触点を感知可能なタッチセンサの感知情報であり、
前記制御部は、前記タッチセンサが感知した接触点の数に応じた前記トリガ操作を検出する
情報処理装置。
（１２）
上記（１）から（１１）のいずれかに記載の情報処理装置であって、
前記情報処理装置は、前記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、
前記制御部は、前記情報処理装置が前記第１の電力モードにあるときに前記トリガ操作を検出すると、前記情報処理装置の電力消費モードを前記第２の電力モードに切り替え、
前記第１の電力モードは、前記第２の電力モードよりも電力消費量が少ない
情報処理装置。
（１３）
第１のセンサ情報の種類に応じたトリガ操作を検出し、
操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、
検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する
情報処理方法。
（１４）
コンピュータに、
第１のセンサ情報の種類に応じたトリガ操作を検出するステップと、
操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップと、
検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定するステップと
を実行させる
プログラム。
１…情報処理装置
２…ヘッドフォン
２ａ…メガネ型ヘッドマウントディスプレイ
３…携帯端末
１１Ｒ…右近接センサ
１１Ｌ…左近接センサ
１２…動きセンサ
１３…マイクロフォン
１４…タッチデバイス
１９…無線通信部
２０…筐体
２１，２２…ＲＡＭ
３１…情報処理部（ＳｏＣ／ＣＰＵ）
３２…トリガ検出部
３３…ジェスチャ認識部
３４…操作入力信号生成部
３８…ＣＰＵ
３９…無線通信部

Claims (14)

  1. 第１のセンサ情報の種類に応じたトリガ操作を検出し、操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する制御部
    を具備する情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記制御部は、前記トリガ操作の検出後、所定の時間内に入力される前記第２のセンサ情報に基づいて、前記ジェスチャ操作の認識をする
    情報処理装置。
  3. 請求項１に記載の情報処理装置であって、
    前記制御部は、
    前記第１のセンサ情報が入力された際、前記第１のセンサ情報が入力され続けている時間の長さが所定の閾値より短い場合に単発的トリガ操作、長い場合に連続的トリガ操作を検出し、
    検出した前記単発的トリガ操作又は前記連続的トリガ操作と、認識した前記ジェスチャ操作との組み合わせにより、前記操作入力を決定する
    情報処理装置。
  4. 請求項３に記載の情報処理装置であって、
    前記制御部は、前記連続的トリガ操作を検出した場合、前記操作入力により入力される情報に、検出した前記連続的トリガ操作の時間の長さに応じた値を含める
    情報処理装置。
  5. 請求項４に記載の情報処理装置であって、
    前記制御部は、前記連続的トリガ操作の時間長さの終点を、前記第１のセンサ情報の入力が終わった時点とする
    情報処理装置。
  6. 請求項４に記載の情報処理装置であって、
    前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記第１のセンサ情報の入力が始まった時点とする
    情報処理装置。
  7. 請求項４に記載の情報処理装置であって、
    前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記連続的トリガ操作が検出された時点とする
    情報処理装置。
  8. 請求項４に記載の情報処理装置であって、
    前記制御部は、前記連続的トリガ操作の時間の長さの起点を、前記ジェスチャ操作が認識された時点とする
    情報処理装置。
  9. 請求項１に記載の情報処理装置であって、
    前記第１のセンサ情報を出力するセンサはユーザの身体に装着可能に構成された筐体に設置されており、
    前記センサは、前記ユーザの手による操作を検出可能な位置に設置される
    情報処理装置。
  10. 請求項９に記載の情報処理装置であって、
    前記センサの設置される前記位置は、前記筐体を装着した状態における前記ユーザの視野外となる位置である
    情報処理装置。
  11. 請求項９に記載の情報処理装置であって、
    前記第１のセンサ情報は、１箇所以上の接触点を感知可能なタッチセンサの感知情報であり、
    前記制御部は、前記タッチセンサが感知した接触点の数に応じた前記トリガ操作を検出する
    情報処理装置。
  12. 請求項１に記載の情報処理装置であって、
    前記情報処理装置は、前記情報処理装置の電力消費モードとして第１の電力モードと第２の電力モードを有し、
    前記制御部は、前記情報処理装置が前記第１の電力モードにあるときに前記トリガ操作を検出すると、前記情報処理装置の電力消費モードを前記第２の電力モードに切り替え、
    前記第１の電力モードは、前記第２の電力モードよりも電力消費量が少ない
    情報処理装置。
  13. 第１のセンサ情報の種類に応じたトリガ操作を検出し、
    操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識し、
    検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定する
    情報処理方法。
  14. コンピュータに、
    第１のセンサ情報の種類に応じたトリガ操作を検出するステップと、
    操作入力としてユーザにより行われるジェスチャ操作を第２のセンサ情報に基づいて認識するステップと、
    検出した前記トリガ操作と認識した前記ジェスチャ操作との組み合わせに基づいて、前記操作入力を決定するステップと
    を実行させる
    プログラム。
JP2018547559A 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム Active JP7135859B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016208919 2016-10-25
JP2016208919 2016-10-25
PCT/JP2017/037127 WO2018079301A1 (ja) 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018079301A1 true JPWO2018079301A1 (ja) 2019-09-12
JP7135859B2 JP7135859B2 (ja) 2022-09-13

Family

ID=62024813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547559A Active JP7135859B2 (ja) 2016-10-25 2017-10-13 情報処理装置、方法及びプログラム

Country Status (6)

Country Link
US (2) US10712831B2 (ja)
JP (1) JP7135859B2 (ja)
KR (1) KR20190068543A (ja)
CN (1) CN109891364B (ja)
DE (1) DE112017005377T5 (ja)
WO (1) WO2018079301A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141699A (ko) 2019-06-11 2020-12-21 주식회사 신영 보강 부재
CN115484524A (zh) * 2021-06-16 2022-12-16 开酷科技股份有限公司 具有手势辨识功能的耳机装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227638A (ja) * 2010-04-19 2011-11-10 Panasonic Corp 手書き入力装置、手書き入力方法及び手書き入力プログラム
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
JP2016149587A (ja) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 ヘッドマウントディスプレイ、およびその制御方法と制御プログラム
JP2016173698A (ja) * 2015-03-17 2016-09-29 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8418993B2 (en) * 2010-02-02 2013-04-16 Chung-Chia Chen System and method of touch free automatic faucet
JP5379036B2 (ja) * 2010-02-09 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、その制御方法、プログラム、及び情報記憶媒体
JP2011170856A (ja) * 2010-02-22 2011-09-01 Ailive Inc 複数の検出ストリームを用いたモーション認識用システム及び方法
DE102011090162B4 (de) * 2011-12-30 2022-05-05 Robert Bosch Gmbh Alarmvorrichtung für ein Pilotenheadset
EP2821888B1 (en) * 2013-07-01 2019-06-12 BlackBerry Limited Gesture detection using ambient light sensors
JP2016018432A (ja) 2014-07-09 2016-02-01 ローム株式会社 ユーザインタフェイス装置
JP2016139174A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227638A (ja) * 2010-04-19 2011-11-10 Panasonic Corp 手書き入力装置、手書き入力方法及び手書き入力プログラム
WO2015060856A1 (en) * 2013-10-24 2015-04-30 Bodhi Technology Ventures Llc Wristband device input using wrist movement
JP2016149587A (ja) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 ヘッドマウントディスプレイ、およびその制御方法と制御プログラム
JP2016173698A (ja) * 2015-03-17 2016-09-29 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム

Also Published As

Publication number Publication date
WO2018079301A1 (ja) 2018-05-03
US20190204933A1 (en) 2019-07-04
DE112017005377T5 (de) 2019-08-01
US20200341557A1 (en) 2020-10-29
US10712831B2 (en) 2020-07-14
CN109891364B (zh) 2022-05-03
KR20190068543A (ko) 2019-06-18
CN109891364A (zh) 2019-06-14
JP7135859B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
JP6566081B2 (ja) 端末装置、端末装置の制御方法およびプログラム
EP3089018B1 (en) Method, apparatus, and device for information processing
JP5610644B2 (ja) 入力装置、入力支援方法及びプログラム
US20160299570A1 (en) Wristband device input using wrist movement
JP2015187877A (ja) 携帯型情報処理端末
WO2014144015A2 (en) Computing interface system
TWI643091B (zh) 用以提供關於計算系統指令手勢之視覺回授的機制
EP3113014B1 (en) Mobile terminal and method for controlling the same
CN109067965A (zh) 翻译方法、翻译装置、可穿戴装置及存储介质
JP5461735B2 (ja) 入力装置、入力支援方法及びプログラム
WO2018079301A1 (ja) 情報処理装置、方法及びプログラム
CN107015743A (zh) 一种悬浮按键控制方法及终端
WO2016049842A1 (zh) 一种便携或可穿戴智能设备的混合交互方法
JP6332262B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR20160039961A (ko) 사용자의 움직임을 인식하는 모션 인터페이스 디바이스
CN111176422B (zh) 智能穿戴设备及其操作方法、计算机可读存储介质
WO2023275957A1 (ja) 情報処理システム、情報処理端末、および想起操作認識方法
CN107329574A (zh) 用于电子设备的输入方法和系统
JP2010250708A (ja) 手袋型携帯端末
TWM622556U (zh) 基於觸控戒指之智慧手錶操作系統
JP2014021893A (ja) 情報処理装置、操作信号生成方法、およびプログラム
TWI352930B (ja)
AU2013403419A1 (en) Wristband device input using wrist movement

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7135859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151