JPWO2015141328A1 - 情報処理装置、制御方法、およびプログラム - Google Patents

情報処理装置、制御方法、およびプログラム Download PDF

Info

Publication number
JPWO2015141328A1
JPWO2015141328A1 JP2016508591A JP2016508591A JPWO2015141328A1 JP WO2015141328 A1 JPWO2015141328 A1 JP WO2015141328A1 JP 2016508591 A JP2016508591 A JP 2016508591A JP 2016508591 A JP2016508591 A JP 2016508591A JP WO2015141328 A1 JPWO2015141328 A1 JP WO2015141328A1
Authority
JP
Japan
Prior art keywords
state
arm
information processing
processing apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016508591A
Other languages
English (en)
Inventor
宏之 水沼
宏之 水沼
祐平 滝
祐平 滝
翼 塚原
翼 塚原
山野　郁男
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015141328A1 publication Critical patent/JPWO2015141328A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G04—HOROLOGY
    • G04B—MECHANICALLY-DRIVEN CLOCKS OR WATCHES; MECHANICAL PARTS OF CLOCKS OR WATCHES IN GENERAL; TIME PIECES USING THE POSITION OF THE SUN, MOON OR STARS
    • G04B37/00—Cases
    • G04B37/14—Suspending devices, supports or stands for time-pieces insofar as they form part of the case
    • G04B37/1486—Arrangements for fixing to a bracelet
    • G—PHYSICS
    • G04—HOROLOGY
    • G04B—MECHANICALLY-DRIVEN CLOCKS OR WATCHES; MECHANICAL PARTS OF CLOCKS OR WATCHES IN GENERAL; TIME PIECES USING THE POSITION OF THE SUN, MOON OR STARS
    • G04B47/00—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece
    • G04B47/06—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece with attached measuring instruments, e.g. pedometer, barometer, thermometer or compass
    • G—PHYSICS
    • G04—HOROLOGY
    • G04D—APPARATUS OR TOOLS SPECIALLY DESIGNED FOR MAKING OR MAINTAINING CLOCKS OR WATCHES
    • G04D99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G17/00—Structural details; Housings
    • G04G17/08—Housings
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/04—Input or output devices integrated in time-pieces using radio waves
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/06—Input or output devices integrated in time-pieces using voice
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G9/00—Visual time or date indication means
    • G04G9/0064—Visual time or date indication means in which functions not related to time can be displayed
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G99/00—Subject matter not provided for in other groups of this subclass
    • G04G99/006—Electronic time-pieces using a microcomputer, e.g. for multi-function clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報処理装置が左右いずれの腕に装着されているかを判断した上で腕の状態を認識することが可能な情報処理装置、制御方法、およびプログラムを提供する。【解決手段】ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、腕の状態を認識する認識部と、認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、を備え、前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置。【選択図】図３

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。
昨今、腕時計のように腕に装着する形態のモバイル端末（以下、「腕輪型端末」とも称する）が普及しつつある。
腕時計端末に対する操作入力は、主に端末上に設けられたタッチパネルから行われる。また、腕時計端末に関し、例えば下記特許文献１では、腕時計端末が手首に装着されている際に、「握る」や「放す」等のジェスチャを認識してコマンドとして入力することができる技術が開示されている。
特開２００２−３５８１４９号公報
しかしながら、腕時計型端末が小さいために、タッチパネルからの操作入力が困難な場合があった。また、腕時計型端末は腕に装着されるので、手で把持できるスマートフォンに比べてタッチパネル操作が不安定になっていた。
さらに、腕時計型端末は腕に装着されるので、タッチパネル操作をする際にはもう一方の腕を使わざるをえなくなり、タッチパネル操作に両腕が必要になる。したがって、もう一方の腕がふさがっている状況では、腕時計型端末の操作ができなかった。
また、上記従来技術では、「握る」や「放す」等のジェスチャでコマンドを入力することについて開示されているが、いずれも操作目的（利用目的）と連動する腕の状態を認識することについては言及されていない。例えば、腕時計端末を用いて表示画面を見たり、通話を行ったり、撮影を行ったりする際、腕時計端末を装着した腕の状態がそれぞれ異なるが、このような状態の違いに応じて直感的に操作入力を行うことができれば、腕時計端末の利便性がさらに向上する。また、このような腕の状態を認識するために用いられるモーションセンサ等の検出値は、腕時計端末がユーザの右腕または左腕のいずれに装着されているかによって異なるが、従来技術では、腕時計端末が左右いずれの腕に装着されているかは考慮されていなかった。
そこで、本開示では、情報処理装置が左右いずれの腕に装着されているかを判断した上で腕の状態を認識することが可能な情報処理装置、制御方法、およびプログラムを提案する。
本開示によれば、ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、腕の状態を認識する認識部と、認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、を備え、前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置を提案する。
本開示によれば、ユーザの右腕または左腕のいずれに装着されているかを判断することと、判断結果に応じて、腕の状態を認識する際に用いるパラメータの設定を切り替えて、腕の状態を認識することと、認識された前記腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行うこと、を含む、制御方法を提案する。
本開示によれば、コンピュータを、ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、腕の状態を認識する認識部と、認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、として機能させ、前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、プログラムを提案する。
以上説明したように本開示によれば、情報処理装置が左右いずれの腕に装着されているかを判断した上で腕の状態を認識することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
情報処理装置の外観構成を示す図である。 情報処理装置の装着状態を説明する図である。 本実施形態による情報処理装置の基本構成を示すブロック図である。 加速度センサを用いた場合の左右の腕の判断について説明する図である。 状態１〜状態３について説明する図である。 状態１〜状態３の遷移を示す状態遷移図である。 状態１〜状態３における各デバイスの制御一覧を示す図である。 状態１〜状態３における各デバイスの他の制御一覧を示す図である。 状態１、状態２、状態４について説明する図である。 状態１、状態２、状態４の遷移を示す状態遷移図である。 状態１、状態２、状態４における各デバイスの制御一覧を示す図である。 状態１、状態２、状態４における各デバイスの他の制御一覧を示す図である。 腕の回転例について説明する図である。 状態１、状態２、状態５について説明する図である。 比較例による情報処理装置の表示画面の一例を示す図である。 本実施形態による左腕装着時における表示画面の一例を示す図である。 本実施形態による右腕装着時における表示画面の一例を示す図である。 タッチセンサの検出可能領域について説明する図である。 本実施形態による左腕装着時におけるズーム操作領域の割り当てについて説明する図である。 本実施形態による右腕装着時における表示画面の一例を示す図である。 状態１、状態２、状態６について説明する図である。 状態１、状態２、状態６の遷移を示す状態遷移図である。 状態１、状態２、状態６における各デバイスの制御一覧を示す図である。 状態１、状態２、状態６における各デバイスの他の制御一覧を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．基本構成
３．状態に応じたデバイス制御例
３−１．状態１、状態２、状態３におけるデバイス制御例
３−２．状態１、状態２、状態４におけるデバイス制御例
３−３．右腕装着時（状態５）のデバイス制御例
３−４．状態６におけるデバイス制御例
４．まとめ
＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
まず、本開示の一実施形態による情報処理装置の概要について図１および図２を参照して説明する。図１は、情報処理装置の外観構成を示す図であって、図２は、情報処理装置の装着状態を説明する図である。
図１および図２に示すように、本実施形態による情報処理装置１０は、ユーザの腕２００や手首に装着されるウェアラブル端末であって、腕時計／腕輪型端末とも称される。このような情報処理装置１０において、ユーザは、情報処理装置１０をカバンやポケットから取り出す行為をせずに、表示画面に表示された情報の確認や操作を即座に行うことが出来る。
また、情報処理装置１０は、外周面に、表示部及び操作部の機能を有するタッチパネルディスプレイ（以下、タッチパネルとも称する）１２と、スピーカ１５ａ、１５ｂと、マイクロフォン（以下、マイクとも称する）１６ａ、１６ｂと、が設けられる。
タッチパネル１２は、ユーザがタッチ操作しやすいように、例えば情報処理装置１０の全周のうちの一部の領域に設けられている。ただし、これに限定されず、タッチパネル１２は、情報処理装置１０の全周に設けられても良い。
タッチパネル１２の表示部の機能は、例えば液晶ディスプレイや有機ＥＬディスプレイ等により実現され、表示画面に文字、画像その他の情報を表示する。文字、画像、その他の情報の表示は、後述する主制御部１１のデバイス制御部１１２によって制御される。
また、タッチパネル１２の操作部の機能は、例えば表示画面に重畳され、ユーザによる接触位置を検知する操作面により実現され、操作面は、ユーザの腕の外周方向に沿った曲面となっている。また、操作面は、曲率が異なる複数の部分を含んでもよい。
腕時計型端末の情報処理装置１０において様々な機能を実現するためには、タッチパネル１２の面積を大きくすることが望ましいが、ユーザの腕の上下にはみ出すような大きなタッチパネルを配置すると、腕時計型端末の装着性や操作性が低下する。このため、タッチパネル１２は、図２に示すように、腕２００に沿うような形で幅の狭い曲面となっている。
ユーザは、図２に示すように、腕２００に装着した情報処理装置１０のタッチパネル１２による表示画面を見ながら、表示画面に重畳して設けられた操作面にタッチ操作を行う。
スピーカ１５ａ、１５ｂは、音声出力機能を有し、図１および図２に示すように、情報処理装置１０の外周面において、タッチパネル１２の近傍に設けられる表側スピーカと、対向する半周側とに設けられる裏側スピーカとにより実現される。
マイク１６ａ、１６ｂは、収音機能を有し、図１および図２に示すように、情報処理装置１０の外周面において、タッチパネル１２の近傍に設けられる表側マイクと、対向する半周側とに設けられる裏側マイクとにより実現される。
なお、図１、図２に示すスピーカ１５ａ、１５ｂと、マイク１６ａ、１６ｂとの設置個数および位置は一例であって、本実施形態はこれに限定されず、例えばアレイスピーカ、アレイマイクを腕輪の端部に沿って設けてもよい。
（背景）
ここで、図２に示すように、一方の腕２００に装着された情報処理装置１０のタッチパネル１２から操作入力を行う際は、もう一方の腕を使うため、両腕を使用する必要があった。したがって、腕の動きを検知することによるジェスチャ入力が可能となれば、情報処理装置１０を装着した片方の腕２００を動かすだけで操作入力を行うことができ、情報処理装置１０の利便性が向上する。
また、情報処理装置１０を用いて表示画面を見たり、通話を行ったり、撮影を行ったりする際、情報処理装置１０を装着した腕２００の状態がそれぞれ異なるが、このような状態の違いに応じて直感的に操作入力を行うことができれば、情報処理装置１０の利便性がさらに向上する。
さらに、このような腕２００の状態（動き）を認識するために用いられるモーションセンサ等の検出値は、情報処理装置１０がユーザの右腕または左腕のいずれに装着されているかによって異なる。
そこで、本実施形態では、情報処理装置１０が左右いずれの腕に装着されているかを判断した上で腕の状態を認識し、認識した腕の状態に基づいて情報処理装置１０の各デバイスを制御することが可能になる情報処理装置１０を提案する。
以上、本開示の一実施形態による情報処理装置１０の概要について説明した。続いて、本開示による情報処理装置１０の基本構成について図３を参照して説明する。
＜＜２．基本構成＞＞
図３は、本実施形態による情報処理装置１０の基本構成を示すブロック図である。図１０に示すように、情報処理装置１０は、主制御部１１、タッチパネルディスプレイ１２、モーションセンサ１３、記憶部１４、スピーカ１５、マイク１６、および通信部１７を有する。
（主制御部）
主制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、情報処理装置１０の各構成を制御する。
また、本実施形態による主制御部１１は、判断部１１０、認識部１１１、およびデバイス制御部１１２として機能する。判断部１１０は、情報処理装置１０が、ユーザの右腕または左腕のいずれに装着されているかを判断する。具体的には、例えば判断部１１０は、モーションセンサ１３から出力された検出値に基づいて、情報処理装置１０が、ユーザの右腕または左腕のいずれに装着されているかを判断することができる。
ここで、図４を参照して判断部１１０による左右の腕の判断について説明する。図４は、加速度センサを用いた場合の左右の腕の判断について説明する図である。ここでは、情報処理装置１０に設けられるモーションセンサ１３の一例として加速度センサが用いられる。加速度センサの向きは、例えば図４に示すように、装着者に対して表示画面が正位置になるよう情報処理装置１０が手首に装着され、さらに腕を下げた状態において、右腕装着時はＸ軸方向の加速度が負に、左腕装着時はＸ軸方向の加速度が正になるよう設置される。
かかる加速度センサの向きが既知である場合、判断部１１０は、腕を下げた状態における加速度センサの検出値に基づき、Ｘ軸方向の加速度が負の場合は右腕に装着されていると判断し、Ｘ軸方向の加速度が正の場合は左腕に装着されていると判断することができる。
判断部１１０は、判断結果を認識部１１１に出力する。なお判断部１１０は、モーションセンサ１３からの検出値に基づいて自動的に左右の腕を判断する他、機械学習またはユーザ入力により左右の腕を判断することも可能である。例えば、加速度センサの向きが既知でない場合、判断部１１０は、モーションセンサ１３（一例として加速度センサ）から継続的に出力される検出値をサンプリングしてパターンを抽出し、教師データ（右腕・左腕の動き（状態）のパターン）とマッチングして機械学習を行い、左右いずれの腕に装着されているか判断する。また、判断部１１０は、ユーザがタッチパネル１２から左右いずれの腕に装着したかを示す情報を入力、またはマイク１６から音声入力した場合、当該入力された情報にしたがって、左右いずれの腕に装着されているか判断する。
認識部１１１は、情報処理装置１０が装着された腕２００の状態を認識する機能を有する。具体的には、例えば認識部１１１は、モーションセンサ１３から出力された検出値に基づいて、腕の状態（動き）を認識することができる。また、認識部１１１は、腕の状態を認識する際に用いるパラメータの設定を、判断部１１０による判断結果に応じて切り替えることで、複雑な動きであっても、より正確に腕の状態を認識することができる。例えば認識部１１１は、情報処理装置１０が左右いずれの腕に装着されているかによって、モーションセンサ１３の一例である加速度センサから出力される検出値の正負が異なるので、左右いずれの腕に装着されているかに応じてパラメータの正負を切り替えることで、より正確に腕の状態を認識することができる。なお認識部１１１により認識される腕の状態のバリエーションに関しては、後述する「３．状態に応じたデバイス制御例」において具体的に説明する。また、認識部１１１は、認識結果をデバイス制御部１１２に送出する。
デバイス制御部１１２は、認識部１１１により認識された腕の状態に基づいて、情報処理装置１０に設けられた各種デバイスに対して所定の制御を行う機能を有する。例えばデバイス制御部１１２は、タッチパネル１２の表示部、操作部、モーションセンサ１３、スピーカ１５、およびマイク１６といった各種デバイスのＯＮ／ＯＦＦや、設定の変更等を行う。後述する「３．状態に応じたデバイス制御例」で説明するように、認識部１１１により認識される腕の状態に基づいて、多種の機能を有する腕時計型端末である情報処理装置１０の利用目的（ユーザコンテキスト）が推定されるので、デバイス制御部１１２は、推定される利用目的に応じたデバイス制御を行う。具体的には、デバイス制御部１１２は、例えば推定された利用目的に必要なデバイスをＯＮしたり、要否に応じて出力／入力デバイスの性能レートの設定を変更したり、不要なデバイスをＯＦＦしたりする。
これにより、タッチパネル１２から改めて操作入力を行うことなく、ユーザは腕２００を動かすだけで、利用目的に応じたデバイス制御を実行させることができる。すなわち、情報処理装置１０を用いて表示画面を見る、通話する、撮影する、といった利用目的に応じて異なる腕の動きを認識し、当該動きをジェスチャコマンドとして認識することで、ユーザによるより自然な動きのみで、自動的に各種デバイスのＯＮ／ＯＦＦが制御され得る。
（タッチパネルディスプレイ）
タッチパネルディスプレイ１２は、上述したように、表示部および操作部（例えばタッチセンサ）の機能を有する。
（モーションセンサ）
モーションセンサ１３は、情報処理装置１０が装着された腕２００の状態（動き）を検知するセンサであって、例えば加速度センサ、ジャイロセンサ、または地磁気センサ等の空間的な動きや角度を検出するデバイスにより実現される。また、モーションセンサ１３は、複数種類のセンサが組み合わせられたものであってもよい。
なおスマートフォンのように近接センサで自身の物理的な状態を判別する方法を腕時計端末に用いた場合、例えば図５を参照して後述する状態３のように、情報処理装置１０を耳元に構えた状態を近接センサで認識するためには、情報処理装置１０を耳元に極力近づけなければならない。しかし、このような動きは不自然であって、ユーザへの身体的な負担がかかる。そこで本実施形態では、モーションセンサを用いて腕の状態を認識することで、無理な体勢を取ることなく自然な動きで状態が認識され得る。
（通信部）
通信部１７は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１７は、ユーザが所持するスマートフォンと接続してデータの送受信を行ってもよいし、ネットワークを介して所定のサーバと接続してデータの送受信を行ってもよい。また、通信部１７は、携帯電話網またはインターネット網を介して、音声信号の送受信を行ってもよい。
（記憶部）
記憶部１４は、主制御部１１が各種処理を実行するためのプログラム等を記憶する。例えば、記憶部１４は、デバイス制御部１１２が、認識された状態に応じて行う各種デバイスに対する所定の制御内容に関するデータを格納する。
（スピーカ）
スピーカ１５は、音声（オーディオ信号）を出力する機能を有する。例えば、スピーカ１５は、アラーム等によりユーザへの通知を行ったり、通話中は受話音声を出力したりする。
（マイク）
マイク１６は、音声（オーディオ信号）を入力する機能を有する。例えば、マイク１６は、ユーザによる音声入力を受付けたり、通話中はユーザの発話音声を収音したりする。
以上、本実施形態による情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０による、状態に応じたデバイス制御例について、複数の具体例を挙げて説明する。
＜＜３．状態に応じたデバイス制御例＞＞
＜３−１．状態１、状態２、状態３におけるデバイス制御例＞
まず、状態１〜状態３におけるデバイス制御例について、図５〜図８を参照して説明する。図５は、状態１〜状態３について説明する図である。図５左に示す状態１は、情報処理装置１０が装着された腕（手）を下げた状態を示し、図５中央に示す状態２は、腕（手）を身体の前面下部に構えた状態（情報処理装置１０の表示画面を閲覧するために腕を上げた状態）を示し、状態３は、腕（手）を耳元に構えた状態（裏側スピーカ１５ｂと裏側マイク１６ｂ（手首内側）を顔の付近に持っていき通話を行っている状態）を示す。
情報処理装置１０の認識部１１１は、このような状態１〜状態３を、情報処理装置１０に設けられたモーションセンサ１３からの検出値に基づいて認識することが可能である。
図６は、状態１〜状態３の遷移を示す状態遷移図である。図６に示すように、腕を下げた状態１（Ｄ１）から腕を上げた状態２（Ｄ２）と、腕を下げた状態１（Ｄ１）から腕を耳元に構えた状態３（Ｄ３）と、腕を上げた状態２（Ｄ２）から腕を耳元に構えた状態３（Ｄ３）は、互いに遷移可能である。
情報処理装置１０の認識部１１１は、モーションセンサ１３からの検出値に基づいて、現在の状態を認識し、認識結果をデバイス制御部１１２に出力する。また、状態１〜状態３は、図６に示すように遷移可能であるので、認識部１１１は、モーションセンサ１３から継続的に出力される検出値に基づいて、現在の状態をリアルタイムで認識することができる。
そして、認識された状態に応じて、デバイス制御部１１２は、各デバイスに対して所定の制御を行う。デバイス制御部１１２は、各状態において利用が想定されないデバイスの機能をＯＦＦすることで消費電力を節約し、また、利用が想定されるデバイスの機能を、別途のＯＮ操作（例えばタッチパネル１２からの明示的な操作）がなくともＯＮにすることで、必要な時に必要なデバイスの機能を発揮させることができる。
ここで、各状態に応じたデバイス制御例について図７を参照して説明する。図７は、状態１〜状態３における各デバイスの制御一覧を示す図である。ここでは、各デバイスの例として、タッチパネル１２に含まれる操作部に相当する「タッチセンサ」と、モーションセンサ１３を実現する「加速度センサ」および「ジャイロセンサ」と、タッチパネル１２に含まれる表示部に相当する「ディスプレイ」と、が挙げられる。さらに、スピーカ１５ｂに相当する「裏側スピーカ」と、スピーカ１５ａに相当する「表側スピーカ」と、マイク１６ａ、１６ｂに相当する「マイク」と、が含まれる。
（３−１−１．状態１におけるデバイス制御）
図７に示すように、例えば腕を下げた状態１ではタッチ操作が行われることがないと想定されるのでタッチセンサがＯＦＦに制御される。また、モーションセンサ１３が複数のセンサ（例えば加速度センサおよびジャイロセンサ）を含む場合、一方のセンサがＯＮにされ、他方のセンサがＯＦＦにされる。ＯＮにされたセンサに対しては、さらにサンプリングレートを低く制御することで、消費電力を節約することができる。サンプリングレートの低さは、状態１から状態２、または状態３への変化が検知できる程度であればよい。なお、図７に示す例では、ジャイロセンサの方が、消費電力が大きいため、ジャイロセンサをＯＦＦにして加速度センサをＯＮにしているが、本実施形態はこれに限定されず、逆の制御であってもよい。
また、状態１では、ディスプレイが閲覧されることがないと想定されるのでディスプレイがＯＦＦに制御される。若しくは、時計のみなどの簡易表示に制御される。また、ユーザは閲覧していないと想定されるので、リフレッシュレート（画面の更新頻度）が低く制御される。このように、利用されていない場合のディスプレイの消費電力が節約される。
また、状態１は、通話通知やメール通知の待機状態とも言えるので、通話やメールを受信した際にユーザに通知する必要があるため、表側スピーカ１５ａまたは裏側スピーカ１５ｂの少なくともいずれかがＯＮに制御される。また、ユーザへの通知を目的とするので、出力が高く（音声が大きく）制御される。なお、通話通知やメール通知は振動によって行われてもよく、その場合はいずれのスピーカもＯＦＦに制御され、振動部（不図示）がＯＮに制御される。また、状態１はマイクの利用は想定されないので、ＯＦＦに制御される。
（３−１−２．状態２におけるデバイス制御）
続いて、上記状態１において通話やメールの通知があると、ユーザは腕を身体の前方に上げて情報処理装置１０の表示画面を自身に向けて閲覧できる状態２に構える。このとき、認識部１１１は、状態１から状態２の遷移を認識し、認識結果をデバイス制御部１１２に出力する。デバイス制御部１１２は、状態２に遷移したことに応じて、各デバイスに対して所定の制御を行う。
具体的には、図７に示すように、腕を身体の前に挙げた状態２では、タッチ操作が行われることが想定されるので、タッチセンサがＯＮに制御される。また、モーションセンサ１３の制御は、状態１と同様であって、複数のセンサを含む場合は一方のセンサがＯＮにされ、他方のセンサがＯＦＦにされる。ＯＮにされたセンサに対しては、さらにサンプリングレートを低く制御することで消費電力を節約する。サンプリングレートの低さは、状態２から状態１、または状態３への変化が検知できる程度であればよい。
また、状態２では、ディスプレイが閲覧されると想定されるのでディスプレイがＯＮに制御される。また、ユーザが閲覧していると想定されるので、リフレッシュレート（画面の更新頻度）が高く制御される。ディスプレイには、例えばメール送信者名、メールタイトル、または通話発信者名、発信番号等が表示される。
また、状態２は、状態３から遷移して通話が継続中である場合も想定されるので、表側スピーカ１５ａがＯＮに制御され、出力が高く（音声が大きく）制御される。これにより情報処理装置１０が状態３の耳元から離れた場合にもユーザは通話を継続することができる。
また、通話が継続中である場合はマイクの利用も想定されるので、状態２では、ＯＮに制御される。若しくは、ディスプレイでメール送信者または通話発信者を確認したユーザが音声入力により応答する場合も想定されるので、状態２においてマイクはＯＮに制御される。この際、マイクはユーザの顔から離れた距離にあるので、マイクの感度は高く制御される。
（３−１−３．状態３におけるデバイス制御）
次に、上記状態２において通話の発信者を確認し、当該通話に応答する場合、そのまま腕を上げて、手首内側を顔の付近に持っていき、手を耳元に構える状態３（図５参照）に遷移する。このとき、認識部１１１は、状態２から状態３の遷移を認識し、認識結果をデバイス制御部１１２に出力する。デバイス制御部１１２は、状態３に遷移したことに応じて、各デバイスに対して所定の制御を行う。
具体的には、図７に示すように、手を耳元に構えた状態３では、タッチ操作が行われることがないと想定されるので、状態１と同様にタッチセンサがＯＦＦに制御される。また、モーションセンサ１３の制御は、状態１と同様であって、複数のセンサを含む場合は一方のセンサがＯＮにされ、他方のセンサがＯＦＦにされる。ＯＮにされたセンサに対しては、さらにサンプリングレートを低く制御することで消費電力を節約する。サンプリングレートの低さは、状態３から状態１、または状態２への変化が検知できる程度であればよい。
また、状態３では、ディスプレイが閲覧されることがないと想定されるので、状態１と同様にディスプレイがＯＦＦに制御される。若しくは、時計のみなどの簡易表示に制御される。また、ユーザは閲覧していないと想定されるので、リフレッシュレート（画面の更新頻度）が低く制御される。
また、状態２から状態３への遷移は、通話に応答したジェスチャであるので、顔側に向けられた手首内側に位置する裏側スピーカ１５ｂがＯＮに制御され、耳に近いために出力が低く（音声が小さく）制御される。また、デバイス制御部１１２は、受話音声を裏側スピーカ１５ｂから出力するよう制御する。これにより、状態２から状態３に遷移させるという、通話を行うために必要な動作が、通話に応答するジェスチャコマンドとして同時に認識されるので、ユーザはタッチ操作等を行うことなく通話を開始することができる。
また、通話に応答した状態である状態３では、マイクがＯＮに制御され、顔との距離が近いために感度は低く制御される。デバイス制御部１１２は、マイクで収音したユーザの発話音声を、通信部１７を介して通話相手の情報処理端末に送信するよう制御する。
以上、状態１〜状態３のデバイス制御について説明した。なお、通話通知があって状態２に遷移した後、ユーザがディスプレイを確認し、腕を下げて状態１に遷移した場合、ユーザが通話に応答しないというジェスチャコマンドとして認識される。この場合、デバイス制御部１１２は、例えば「ただいま電話に出ることはできません」といったメッセージを通話相手の情報処理端末に対して流し、通信を終了する。
また、状態３に遷移して通話に応答した後、通話中に状態２に遷移した場合、ユーザが通話を継続しながらディスプレイを確認したいことが想定されるので、デバイス制御部１１２は、スピーカ出力を大きくすると共に、ディスプレイおよびタッチセンサをＯＮに制御する。また、デバイス制御部１１２は、マイクの感度を上げて、顔から離れていてもユーザの発話音声を収音できるようにする。
ディスプレイの情報を確認し終えて、ユーザが手を耳元に構える状態３に戻ると、デバイス制御部１１２は、再度ディスプレイをＯＦＦに制御し、また、スピーカ出力を小さくする。
そして、状態３から状態１に遷移すると、通話終了のジェスチャコマンドと認識し、デバイス制御部１１２は、通話を終了するよう制御する。
このように、本実施形態によれば、ユーザはユーザコンテキストに応じた行動を実行するだけで、各デバイスの制御が最適化され、他の操作（例えば画面のタップ操作、ハードウェアキーの操作等）をする必要がなく、操作性・利便性が向上する。ユーザコンテキストに応じた行動とは、例えば通話／メール通知があった場合に確認のためにタッチパネル１２を見る動作や、通話したい際に情報処理装置１０を耳元に構える動作等である。
なお、図７に示すデバイス制御は一例であって、本実施形態はこれに限定されず、例えばモーションセンサが１つであって、また、スピーカが１つであってもよい。この場合、各状態に応じたデバイス制御は例えば図８に示す通り行われる。図８は、状態１〜状態３における各デバイスの他の制御一覧を示す図である。
図８では、モーションセンサが１つの場合、状態１〜状態３の全てにおいて、ＯＮに制御され、また、サンプリングレートは低く設定される。
また、スピーカが１つの場合、状態１においてはＯＮに制御され、また、出力が高く設定される。状態２においてはＯＦＦに制御される。状態３においてはＯＮに制御され、また、出力が低く設定される。スピーカが１つの場合におけるスピーカの設置位置については特に限定しない。
＜３−２．状態１、状態２、状態４におけるデバイス制御例＞
次に、状態２における他のジェスチャ入力について図９〜図１２を参照して説明する。図９は、状態１、状態２、状態４について説明する図である。図９左に示す状態１と、図９中央に示す状態２は、図５を参照して説明した状態１および状態２と同様である。
図９右に示す状態４は、腕（手）を身体の前面下部に構えた状態（情報処理装置１０の表示画面を閲覧するために腕を上げた状態）で腕を回転する状態を示す。
情報処理装置１０の認識部１１１は、このような状態１、状態２、状態４を、情報処理装置１０に設けられたモーションセンサ１３からの検出値に基づいて認識することが可能である。
図１０は、状態１、状態２、状態４の遷移を示す状態遷移図である。図１０に示すように、腕を下げた状態１（Ｄ１）から身体の前面に腕を上げた状態２（Ｄ２）と、身体の前面に腕を上げた状態２（Ｄ２）から身体の前面で腕を回転させる状態４（Ｄ４）は、互いに遷移可能である。
状態４は状態２から遷移するため、状態２でユーザが情報処理装置１０の表示画面を閲覧している際に、次の画面や前の画面を閲覧したいというユーザコンテキストが発生した際のアクションであると想定される。そこで、本実施形態では、腕の回転状態（手前または奥への回転）に応じて、タッチパネル１２の画面遷移を行うよう制御する。
図１１は、状態１、状態２、状態４における各デバイスの制御一覧を示す図である。状態１における各デバイスの制御は、図７を参照して上述したので、ここでの説明は省略する。
状態２における各デバイスの制御のうち、モーションセンサに対する制御は図７に示す例と異なり、サンプリングデータが高く設定される。本実施形態では、状態２から状態４に遷移する可能性があり、腕の回転といった複雑な動きを正確に検知する必要があるので、状態２に遷移した時点でモーションセンサの検知レベルが上げられる。なお、この場合、加速度センサのサンプリングレートは低く設定したままで、ジャイロセンサをＯＮに制御してもよい。また、状態２における他のデバイスに対する制御は、図７に示す例と同様である。
状態４では、図１１に示すように、腕の回転動作（手前または奥への回転）が「戻る」または「進む」動作として受け付けられ、デバイス制御部１１２は、直前の画面に戻る、または次の画面に進むようディプレイを制御する。なお、ディスプレイ以外のデバイス（具体的にはタッチセンサ、モーションセンサ、スピーカ、マイク）に対しては状態２における制御が維持される。
このように、本実施形態によれば、ユーザはタッチパネルからの操作入力を行うことなく、情報処理装置１０が装着された腕を回転するだけでディスプレイの画面遷移を行うことが可能である。
（補足１）
なお、図１１に示すデバイス制御は一例であって、本実施形態はこれに限定されず、例えばモーションセンサが１つであって、また、スピーカが１つであってもよい。この場合、各状態に応じたデバイス制御は例えば図１２に示す通り行われる。図１２は、状態１、状態２、状態４における各デバイスの他の制御一覧を示す図である。
図１２に示すように、状態４では、図１１に示す場合と同様に、腕の回転動作（手前または奥への回転）が「戻る」または「進む」動作として受け付けられ、デバイス制御部１１２は、直前の画面に戻る、または次の画面に進むようディプレイを制御する。また、ディスプレイ以外のデバイス（具体的にはタッチセンサ、モーションセンサ、スピーカ、マイク）に対しては状態２における制御が維持される。
（補足２）
また、腕の回転に応じて異なるユーザコンテキストが認識されてもよい。以下、図１３を参照して説明する。
図１３は、腕の回転例について説明する図である。図１３上に示すように、腕を大きく手前または奥に移動させる動作は、図９右に示す状態４における腕の回転であって、デバイス制御部１１２は画面遷移を行う。
一方、図１３下に示すように、腕（手首）をねじる動作も認識部１１１により認識され得る。この場合、デバイス制御部１１２は、例えば腕の捻じり方向および度合いに応じてスピーカの出力を制御することで、ボリュームコントロールを実現できる。例えば状態３から状態２に遷移した場合、ユーザは通話を継続しながらディスプレイを確認しているためスピーカの出力が高く制御されるが、時間や場所に応じて当該スピーカの出力（音量の大きさ）を調整したい場合が想定されるためである。
＜３−３．右腕装着時（状態５）のデバイス制御例＞
続いて、装着された腕の左右に応じたデバイス制御例について、図１４〜図２０を参照して説明する。図１４は、状態１、状態２、状態５について説明する図である。図１４左に示す状態１と、図１４中央に示す状態２は、図５を参照して説明した状態１および状態２と同様であって、いずれも左腕に情報処理装置１０が装着されている。
一方、図１４右に示す状態５は、右腕に情報処理装置１０が装着された状態であって、右腕を身体の前面下部に構えた状態（情報処理装置１０の表示画面を閲覧するために右腕を上げた状態）を示す。
左右いずれの腕に情報処理装置１０を装着するかは人によって異なるが、例えばタッチパネル１２からの操作を考慮すると、利き手と反対の腕に情報処理装置１０を装着し、利き手でタッチパネル１２の操作をすることが想定される。
この場合、例えば右利きの人が左腕に情報処理装置１０を装着し、図１４に示す状態２において右手でタッチパネル１２を操作する場合、装着された腕を考慮しない従来の表示制御では以下のような問題が生じる。
図１５は、比較例による情報処理装置１００の表示画面の一例を示す図である。図１５に示すように、腕時計型端末である情報処理装置１００を左腕に装着して右手で操作する際、コマンド系が画面の左に表示されていると、タッチパネルの面積が小さい（腕に沿うような形で幅の狭い曲面となっている）ために、操作している右手で画面が隠れて見えなくなってしまう。
そこで、本実施形態では、情報処理装置１０が左右いずれの腕に装着されたかに応じて（状態２／状態５）、ディスプレイに対する制御を異ならせることが可能である。以下、図１６および図１７を参照して具体的に説明する。
図１６は、本実施形態による左腕装着時における表示画面の一例を示す図である。図１６に示すように、腕時計型端末である情報処理装置１０が左腕に装着していると判断された場合（図１４に示す状態２）、コマンド系を画面（タッチパネル１２）の右に表示するよう制御することで、ユーザが右手でコマンド系をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
図１７は、本実施形態による右腕装着時における表示画面の一例を示す図である。図１７に示すように、腕時計型端末である情報処理装置１０が右腕に装着していると判断された場合（図１４に示す状態５）、コマンド系を画面（タッチパネル１２）の左に表示するよう制御することで、ユーザが左手でコマンド系をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
以上説明したように、本実施形態では、左右いずれの腕に装着されているかに応じて表示内容の切り替えを行うことで、情報処理装置１０の利便性をさらに向上させることができる。なお、状態２において左右いずれの腕に装着されているかに応じて異ならせるデバイス制御は、上述したディスプレイに対する制御に限定されない。例えば、タッチセンサに対する制御を左右で切り替えてもよい。以下、図１８〜図２０を参照して具体的に説明する。
（タッチセンサの左右切替制御）
図１８は、タッチセンサの検出可能領域について説明する図である。図１８に示すように、本実施形態による情報処理装置１０は、地図等の画面が表示されるタッチパネルディスプレイ１２の領域外もタッチセンサの操作可能領域２０とする構成であってもよい。この場合、ユーザは、画面領域外を使って地図等の画面に対するズーム操作を行うことができる。すなわち、情報処理装置１０の主制御部１１は、画面領域の左右にタッチ検出領域を設け、この領域に対する操作を画面のズームの操作に割り当てる。
ここで、腕時計型端末である情報処理装置１０は、腕への装着による携帯性を考慮して画面領域が小さいため、ピンチイン・アウトのような複数指による操作には不向きであるので、図１６に示すようなコマンドボタンによりズーム操作を実現する方法が適する。しかし、コマンドボタンにより表示画面の一部が隠れてしまうといった問題も生じるので、画面領域の左右にタッチ検出領域を設けることで、さらにズーム操作に適した操作方法を提供することができる。例えば画面領域外を上下にドラッグすることで、ズームイン／アウトを行うことができる。
この時、図１５に示す比較例を用いて説明した上記操作の場合と同様に、操作する手が画面と重なる問題を回避する必要がある。そこで、本実施形態では、情報処理装置１０が左右いずれの腕に装着されているかに応じて、画面領域外の左右いずれのタッチ検出領域にズーム操作に割り当てるかを制御する。以下、図１９および図２０を参照して具体的に説明する。
図１９は、本実施形態による左腕装着時におけるズーム操作領域の割り当てについて説明する図である。図１９に示すように、腕時計型端末である情報処理装置１０が左腕に装着していると判断された場合（図１４に示す状態２）、右側画面領域外２２を、ズーム操作を検出する領域に割り当てるようタッチセンサを制御する。これにより、ユーザが右手で左側画面領域外をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
図２０は、本実施形態による右腕装着時における表示画面の一例を示す図である。図２０に示すように、腕時計型端末である情報処理装置１０が右腕に装着していると判断された場合（図１４に示す状態５）、左側画面領域外２４を、ズーム操作を検出する領域に割り当てるようタッチセンサを制御する。これにより、ユーザが左手で右側画面領域外をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
以上説明したように、本実施形態では、左右いずれの腕に装着されているかに応じて特定の操作の検出領域を切り替えることで、情報処理装置１０の利便性をさらに向上させることができる。なお、本実施形態による情報処理装置１０は、ズーム操作に割り当てた画面領域外と反対側の画面外領域を、操作頻度が相対的に（ズーム操作より）低い所定の操作に割り当ててもよい。
例えば情報処理装置１０のデバイス制御部１１２は、ズーム操作に割り当てた画面領域外と反対側の画面外領域を、画面の回転操作に割り当てるよう制御してもよい。例えば画面領域外を上下にドラッグすることで、時計回り／反時計回りに画面を回転させることができる。このように、画面を隠さずに操作できる側の画面外領域に、操作頻度が相対的に高い操作の検出を割当て、逆側に操作頻度が相対的に低い操作の検出を割り当てることで、快適な操作を提供することが可能である。
＜３−４．状態６におけるデバイス制御例＞
次に、情報処理装置１０がカメラ機能を有している場合に、カメラを構えた状態６におけるデバイス制御例について図２１〜図２４を参照して説明する。本実施形態による情報処理装置１０の構成は、図１〜図３に示す例に限定されず、例えば撮像部（以下、カメラと称す）をさらに有する場合も想定される。
カメラは、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。本実施形態によるカメラは静止画／動画の撮像が可能である。
撮像レンズの設置位置は特に図示しないが、例えば情報処理装置１０の外周面において、スピーカ１５ａとマイク１６ａとの間に設けられ、図２に示すように腕２００に情報処理装置１０が装着された際に小指側（腕の外側）が撮像方向とされてもよい。この場合、カメラを利用する際は、ユーザは図２１の状態６で示すように、情報処理装置１０が装着された腕を身体の前に上げて、腕の外側（小指側）を被写体に向けて（撮像レンズを被写体に向けて）構える。
情報処理装置１０の認識部１１１は、このような状態６を、情報処理装置１０に設けられたモーションセンサ１３からの検出値に基づいて認識することが可能である。
図２２は、状態１、状態２、状態６の遷移を示す状態遷移図である。図２２に示すように、腕を下げた状態１（Ｄ１）から腕を上げた状態２（Ｄ２）と、腕を下げた状態１（Ｄ１）からカメラを構えた状態６（Ｄ６）と、腕を上げた状態２（Ｄ２）からカメラを構えた状態６（Ｄ６）は、互いに遷移可能である。
情報処理装置１０の認識部１１１は、モーションセンサ１３からの検出値に基づいて、現在の状態を認識し、認識結果をデバイス制御部１１２に出力する。また、状態１、状態２、状態６は、図２２に示すように遷移可能であるので、認識部１１１は、モーションセンサ１３から継続的に出力される検出値に基づいて、現在の状態をリアルタイムで認識することができる。
そして、認識された状態に応じて、デバイス制御部１１２は、各デバイスに対して所定の制御を行う。デバイス制御部１１２は、各状態において利用が想定されないデバイスの機能をＯＦＦすることで消費電力を節約し、また、利用が想定されるデバイスの機能を、別途のＯＮ操作（例えばタッチパネル１２からの明示的な操作）がなくともＯＮにすることで、必要な時に必要なデバイスの機能を発揮させることができる。
図２３は、状態１、状態２、状態６における各デバイスの制御一覧を示す図である。図２３に示すように、制御対象のデバイスには、新たにカメラが追加される。
図２３に示すように、腕を下げた状態１では、カメラの利用は想定されないのでカメラはＯＦＦに制御される。
また、腕を身体の前で水平にする状態２では、ディスプレイの閲覧が行われるので、カメラの利用は想定されず、ＯＦＦに制御される。また、モーションセンサに対しては、ジャイロセンサがＯＮに制御される。本実施形態では、状態２から状態６に遷移する可能性があり、カメラを構えるといった複雑な動きを正確に検知する必要があるので、状態２に遷移した時点でモーションセンサの検知レベルが上げられる。なお、この場合、ジャイロセンサはＯＦＦのままで、加速度センサのサンプリングレートを高く設定してもよい。
カメラを構えた状態３では、カメラの利用が想定されるのでカメラがＯＮに制御される（カメラが起動される）。また、マイクに対しては、動画撮影時にはＯＮに制御して感度を高く設定する。一方、静止画撮影時にはマイクによる収音は不要なので、マイクはＯＦＦに制御される。なお静止画撮影および動画撮影の切り替えは、状態６においてさらに腕を振るといった動作の認識に応じて行われてもよい。
また、状態３では、タッチセンサ、ディスプレイ、スピーカ（裏側スピーカ、表側スピーカ）の利用は想定されないのでＯＦＦに制御される。
（補足）
図２３に示すデバイス制御は一例であって、本実施形態はこれに限定されず、例えばモーションセンサが１つであって、また、スピーカが１つであってもよい。この場合、各状態に応じたデバイス制御は例えば図２４に示す通り行われる。図２４は、状態１、状態２、状態６における各デバイスの他の制御一覧を示す図である。
図２４に示す状態６では、図２３に示す場合と同様に、カメラの利用が想定されるのでカメラがＯＮに制御される（カメラが起動される）。また、マイクに対しても同様に、動画撮影時にはＯＮに制御して感度を高く設定する。一方、静止画撮影時にはマイクによる収音は不要なので、マイクはＯＦＦに制御される。
また、モーションセンサが１つのため、状態２では、より複雑な動き（カメラを構えるという状態６への遷移）を正確に検知するために、サンプリングレートが高く設定される。
＜＜５．まとめ＞＞
以上説明したように、本開示の実施形態による腕時計型端末の情報処理装置１０は、左右いずれの腕に装着されているかを判断した上で腕の状態を認識し、認識した腕の状態に基づいて情報処理装置１０の各デバイスを制御することができる。
また、腕時計型端末では小型のバッテリーしか搭載することができず、消費電力を常にセーブする必要があるところ、本実施形態による情報処理装置１０は、認識した腕の状態に応じたユーザコンテキストに従って不要なデバイスをＯＦＦに制御するので、消費電力を節約することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した状態１〜状態６のうち、どの組み合わせの遷移であってもよい。また、各状態とデバイス制御の関係は一例であって、本実施形態によるデバイス制御部１１２は、認識された状態に対応付けられるユーザコンテキスト（ディスプレイを見る、電話をする、メールをする、音楽を聴く等）を満足させる制御であればよい。
また、図９の状態４で示す腕を回転する動作、また、図１３下に示す腕を捻る動作に応じたデバイス制御は、上述した画面遷移（直前の画面に戻る／次の画面に進む）やボリュームコントロールに限定されない。例えば、ホーム画面への遷移、Notification画面の呼び出し、特定アプリケーションの起動（カメラ、電話、地図（ナビゲーション））、通信履歴の表示（電話、メール、ＳＮＳ）等の制御であってもよい。
また、判断部１１０は、情報処理装置１０が左右いずれの腕に装着されているかを判断することに加えて、モーションセンサの検出値に基づき、情報処理装置１０のタッチパネル１２（画面）の向き、すなわち上下を判断することも可能である。これにより、デバイス制御部１１２は、ディプレイをＯＮ制御する際に表示画面を正方向で表示することが可能である。また、上下判断に応じて認識部１１１による状態認識の際に用いるパラメータを切り替えることで、腕の状態をより正確に認識することができる。
また、本開示による左右判定、パラメータ変更、およびデバイス制御の技術は、左右いずれかのレンズ部分に相当する表示部を有するメガネ型ＨＭＤ（情報処理装置１０の一例）にも応用可能である。例えば、左右いずれの眼前にメガネ型ＨＭＤが装着されているかを判断した上で、ジェスチャを認識する際に用いるパラメータの設定が切り替えられる。また、左右いずれの眼前にメガネ型ＨＭＤが装着されているかを判断した上で、レンズ部分に相当する表示部の表示内容が制御される（例えばコマンド系を左右いずれの側に表示させるか等の制御）。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
腕の状態を認識する認識部と、
認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
を備え、
前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置。
（２）
前記情報処理装置は、腕時計型デバイスである、前記（１）に記載の情報処理装置。
（３）
前記制御部は、認識された腕の状態に対応するユーザコンテキストに応じて各デバイスの制御を行う、前記（１）または（２）に記載の情報処理装置。
（４）
前記判断部は、腕の動きを検出するモーションセンサにより取得された値に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記判断部は、腕の動きを検出するモーションセンサにより取得された値を用いた機械学習により、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（６）
前記判断部は、ユーザ入力に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（７）
前記認識部は、前記判断部による判断結果に応じて、前記パラメータの正負を切り替える、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
情報処理装置に設けられるデバイスは、表示部、操作部、モーションセンサ、スピーカ、マイクロフォン、および撮像部の少なくともいずれかである、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
ユーザの右腕または左腕のいずれに装着されているかを判断することと、
判断結果に応じて、腕の状態を認識する際に用いるパラメータの設定を切り替えて、腕の状態を認識することと、
認識された前記腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行うこと、
を含む、制御方法。
（１０）
コンピュータを、
ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
腕の状態を認識する認識部と、
認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
として機能させ、
前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、プログラム。
１０ 情報処理装置
１１ 主制御部
１１０ 判断部
１１１ 認識部
１１２ デバイス制御部
１２ タッチパネルディスプレイ
１３ モーションセンサ
１４ 記憶部
１５、１５ａ、１５ｂ スピーカ
１６、１６ａ、１６ｂ マイクロフォン
１７ 通信部

Claims (10)

  1. ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
    腕の状態を認識する認識部と、
    認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
    を備え、
    前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置。
  2. 前記情報処理装置は、腕時計型デバイスである、請求項１に記載の情報処理装置。
  3. 前記制御部は、認識された腕の状態に対応するユーザコンテキストに応じて各デバイスの制御を行う、請求項１に記載の情報処理装置。
  4. 前記判断部は、腕の動きを検出するモーションセンサにより取得された値に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、請求項１に記載の情報処理装置。
  5. 前記判断部は、腕の動きを検出するモーションセンサにより取得された値を用いた機械学習により、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、請求項１に記載の情報処理装置。
  6. 前記判断部は、ユーザ入力に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、請求項１に記載の情報処理装置。
  7. 前記認識部は、前記判断部による判断結果に応じて、前記パラメータの正負を切り替える、請求項１に記載の情報処理装置。
  8. 情報処理装置に設けられるデバイスは、表示部、操作部、モーションセンサ、スピーカ、マイクロフォン、および撮像部の少なくともいずれかである、請求項１に記載の情報処理装置。
  9. ユーザの右腕または左腕のいずれに装着されているかを判断することと、
    判断結果に応じて、腕の状態を認識する際に用いるパラメータの設定を切り替えて、腕の状態を認識することと、
    認識された前記腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行うこと、
    を含む、制御方法。
  10. コンピュータを、
    ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
    腕の状態を認識する認識部と、
    認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
    として機能させ、
    前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、プログラム。
JP2016508591A 2014-03-18 2015-02-09 情報処理装置、制御方法、およびプログラム Pending JPWO2015141328A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014055052 2014-03-18
JP2014055052 2014-03-18
PCT/JP2015/053564 WO2015141328A1 (ja) 2014-03-18 2015-02-09 情報処理装置、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2015141328A1 true JPWO2015141328A1 (ja) 2017-04-06

Family

ID=54144308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508591A Pending JPWO2015141328A1 (ja) 2014-03-18 2015-02-09 情報処理装置、制御方法、およびプログラム

Country Status (6)

Country Link
US (4) US10345761B2 (ja)
EP (1) EP3121687A4 (ja)
JP (1) JPWO2015141328A1 (ja)
KR (1) KR102269526B1 (ja)
CN (1) CN106068488A (ja)
WO (1) WO2015141328A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244856B1 (ko) * 2014-04-22 2021-04-27 삼성전자 주식회사 웨어러블 장치와의 사용자 인터랙션을 제공하는 방법 및 이를 수행하는 웨어러블 장치
WO2016035571A1 (ja) * 2014-09-04 2016-03-10 ソニー株式会社 情報表示装置及びその情報表示方法、プログラム、並びに、通信システム
KR102273591B1 (ko) * 2014-09-29 2021-07-06 현대엠엔소프트 주식회사 네비게이션 정보를 표시하는 웨어러블 단말기 및 네비게이션 장치 및 그 표시 방법
JP6459684B2 (ja) * 2015-03-23 2019-01-30 カシオ計算機株式会社 情報出力装置、情報出力方法及びプログラム
KR20160121318A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 전자 장치 및 전자 장치의 사용자 인터페이스 제공 방법
JP6561782B2 (ja) * 2015-11-06 2019-08-21 富士通コネクテッドテクノロジーズ株式会社 電子機器及び表示制御プログラム
TWI585555B (zh) 2015-11-06 2017-06-01 Princo Corp Watch, wear device, emergency method and quick dial law
CN105955479B (zh) * 2016-04-29 2019-11-26 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN106020445A (zh) * 2016-05-05 2016-10-12 广东小天才科技有限公司 一种自动识别左右手佩戴的方法及穿戴设备
JP2018147031A (ja) * 2017-03-01 2018-09-20 株式会社メガチップス 動作解析装置、情報受付システムおよび入力受付方法
EP3732549B1 (en) * 2017-12-29 2022-06-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for predicting a motion of an object and method for generating a virtual reality view
JP2019175159A (ja) 2018-03-28 2019-10-10 カシオ計算機株式会社 電子機器、音声入力感度制御方法、及び音声入力感度制御プログラム
CN114253405A (zh) * 2020-09-22 2022-03-29 Oppo（重庆）智能科技有限公司 佩戴检测方法、装置、可穿戴设备及存储介质
JP2022153776A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 装着型画像表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061176A (ja) * 2011-09-12 2013-04-04 Seiko Epson Corp 腕装着型の電子機器およびその制御方法
EP2698686A2 (en) * 2012-07-27 2014-02-19 LG Electronics Inc. Wrist-wearable terminal and control method thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358149A (ja) 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP3471775B2 (ja) 2001-08-27 2003-12-02 ヤマハメタニクス株式会社 マイクホルダ
JP2009147761A (ja) * 2007-12-14 2009-07-02 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
US8781791B2 (en) * 2010-09-30 2014-07-15 Fitbit, Inc. Touchscreen with dynamically-defined areas having different scanning modes
US9002420B2 (en) * 2011-01-19 2015-04-07 Ram Pattikonda Watch having an interface to a mobile communications device
US9367085B2 (en) * 2012-01-26 2016-06-14 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof taking into account which limb possesses the electronic device
US8947382B2 (en) * 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US9229838B2 (en) * 2012-07-09 2016-01-05 International Business Machines Corporation Modeling and evaluating application performance in a new environment
KR102087137B1 (ko) * 2013-03-15 2020-03-10 엘지전자 주식회사 제어 장치 및 그것의 제어 방법
KR102043145B1 (ko) * 2012-07-27 2019-11-11 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20140337621A1 (en) * 2013-05-07 2014-11-13 Serguei Nakhimov Wearable communication device, security complex and user interface
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
CN103442129A (zh) * 2013-08-09 2013-12-11 宇龙计算机通信科技(深圳)有限公司 智能手表与移动终端的交互方法及系统
US10146416B2 (en) * 2014-01-29 2018-12-04 Ingenious.Ventures, LLC Systems and methods for sensory interface
US20170003765A1 (en) * 2014-01-31 2017-01-05 Apple Inc. Automatic orientation of a device
WO2015122879A1 (en) * 2014-02-11 2015-08-20 Bodhi Technology Ventures Llc Detecting the limb wearing a wearable electronic device
US20160034980A1 (en) * 2014-07-31 2016-02-04 iCracked Inc. Method and system to evaluate the condition of client equipment and accurately assess the price and extent of repairs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061176A (ja) * 2011-09-12 2013-04-04 Seiko Epson Corp 腕装着型の電子機器およびその制御方法
EP2698686A2 (en) * 2012-07-27 2014-02-19 LG Electronics Inc. Wrist-wearable terminal and control method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
間野 裕行 HIROYUKI MANO: "ユビキタスセンサとウェアラブルセンサによるユビキタスホーム内での行動判別と映像検索 Action Classific", 電子情報通信学会技術研究報告 ＶＯＬ．１０６ ＮＯ．６０８ IEICE TECHNICAL REPORT, vol. 第106巻 第608号, JPN6018043895, 12 March 2007 (2007-03-12), JP, pages 5 - 70 *

Also Published As

Publication number Publication date
EP3121687A4 (en) 2017-11-01
WO2015141328A1 (ja) 2015-09-24
US10466654B2 (en) 2019-11-05
CN106068488A (zh) 2016-11-02
KR102269526B1 (ko) 2021-06-25
KR20160133414A (ko) 2016-11-22
US20170052512A1 (en) 2017-02-23
US10345761B2 (en) 2019-07-09
US20210247723A1 (en) 2021-08-12
US10996635B2 (en) 2021-05-04
EP3121687A1 (en) 2017-01-25
US20200026245A1 (en) 2020-01-23
US20190265654A1 (en) 2019-08-29
US11340560B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
US11340560B2 (en) Information processing apparatus, control method, and program
KR102102647B1 (ko) 무선 리시버 및 그 제어 방법
KR101959609B1 (ko) 손목 착용 장치의 경사에 적어도 부분적으로 기초하는 동작의 수행
CN109831636B (zh) 互动视频控制方法、终端及计算机可读存储介质
US20150187357A1 (en) Natural input based virtual ui system for mobile devices
KR20150144668A (ko) 이동 단말기 및 그 제어 방법
EP2667339A1 (en) Mobile terminal and control method thereof
KR20150045257A (ko) 웨어러블 디바이스 및 그 제어 방법
TWI590640B (zh) 通話方法及其電子裝置
CN110764730A (zh) 播放音频数据的方法和装置
EP3340026B1 (en) Watch-type mobile terminal
JP2016139947A (ja) 携帯端末
WO2019062611A1 (zh) 消息处理方法、消息查看方法和终端
JP2016062600A (ja) 移動端末機及びその制御方法
CN108391007A (zh) 一种应用程序的音量设置方法及移动终端
JP5929698B2 (ja) 通信システムおよびプログラム
JP6587918B2 (ja) 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
JP6591167B2 (ja) 電子機器
JP2016009441A (ja) 携帯電子機器、携帯電子機器の制御方法およびプログラム
JP2019118134A (ja) 情報処理装置、通信制御方法およびコンピュータプログラム
JP6897693B2 (ja) 携帯情報端末、携帯情報端末制御方法、プログラム
CN114257680B (zh) 来电显示的方法、用户设备、存储介质及电子设备
JP2019082823A (ja) 電子機器
JP2016192136A (ja) 表示制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190507

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522