JP6415592B2 - ウェアラブル装置 - Google Patents

Description

本出願は、ユーザの身体の特定部位に装着可能なウェアラブル装置に関する。

上記のウェアラブル装置として、近年、腕時計を模した着用式電子デバイスであって、ユーザの左右の腕の内の一方の腕の手首に取り付け、他方の腕に対応した手又は指の動作によって、操作可能な着用式電子デバイスがある。例えば、着用式電子デバイスにタッチ・センシティブ領域を設け、他方の指をタッチ・センシティブ領域に接触させることにより所定の操作を行えることが記載されている（特許文献１）。

特開２０１４−１０２８３８号公報

特許文献１に記載の着用式電子デバイスにおいては、左右の腕の内、該着用式電子デバイスが取り付けられた方の腕に対応する手又は指の動作による入力の態様が限られており、従って、より多様な操作が可能となることが望まれている。

本発明の目的は、多様な操作を可能とするウェアラブル装置を提供することにある。

態様の一つに係るウェアラブル装置は、ユーザの左右の上肢の内、一方の上肢に取り付けられるウェアラブル装置であって、画像を表示する表示部と、前記一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、前記検出された筋活動に基づいて前記一方の上肢の身体動作を検出し、前記身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備える。

態様の一つに係るウェアラブル装置は、ユーザの身体に装着されるウェアラブル装置であって、画像を表示する表示部と、前記ウェアラブル装置に接触不可能な身体部位の動作を検出し、前記検出された身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備える。

図１Ａは、実施形態に係るウェアラブル装置の概略構成の一例を示す図である。 図１Ｂは、実施形態に係るウェアラブル装置の概略構成の一例を示す図である。 図２は、実施形態に係るウェアラブル装置の機能ブロックの一例を示す図である。 図３は、制御部によって検出される身体動作の種類を例示した図である。 図４Ａは、表示部の表示動作の一態様の一例を示す図である。 図４Ｂは、表示部の表示動作の一態様の一例を示す図である。 図５Ａは、表示部の表示動作の他の態様の一例を示す図である。 図５Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図６Ａは、表示部の表示動作の他の態様の一例を示す図である。 図６Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図７Ａは、表示部の表示動作の他の態様の一例を示す図である。 図７Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図８Ａは、表示部の表示動作の他の態様の一例を示す図である。 図８Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図８Ｃは、表示部の表示動作の他の態様の一例を示す図である。 図８Ｄは、表示部の表示動作の他の態様の一例を示す図である。 図９Ａは、表示部の表示動作の他の態様の一例を示す図である。 図９Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図９Ｃは、表示部の表示動作の他の態様の一例を示す図である。 図９Ｄは、表示部の表示動作の他の態様の一例を示す図である。 図１０Ａは、表示部の表示動作の他の態様の一例を示す図である。 図１０Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図１０Ｃは、表示部の表示動作の他の態様の一例を示す図である。 図１０Ｄは、表示部の表示動作の他の態様の一例を示す図である。 図１１Ａは、表示部の表示動作の他の態様の一例を示す図である。 図１１Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図１２Ａは、表示部の表示動作の他の態様の一例を示す図である。 図１２Ｂは、表示部の表示動作の他の態様の一例を示す図である。 図１３は、筋活動検出部が筋音検出部である場合のウェアラブル装置の機能ブロックの一例を示す図である。 図１４は、身体動作を特徴づける各要素をまとめた表の一例を示す図である。

以下、本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の説明により本発明が限定されるものではない。以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

図１Ａは、実施形態に係るウェアラブル装置１の概略構成の一例を示す図である。図１Ｂは、実施形態に係るウェアラブル装置の概略構成の一例を示す図である。図１Ａ及び図１Ｂでは、ウェアラブル装置１がユーザの左右の上肢の内、一方の上肢に装着されている様子が示されている。本明細書において、上肢とは、ヒトの腕、手及び指を意味し、上腕、前腕、手及び指を含めているものとする。本実施形態において、一例として、図１Ａ、図１Ｂに示すように、ウェアラブル装置１は、ユーザの左側の上肢における前腕である左前腕に装着されているものとして説明する。図１Ａは、手の甲側を示している。図１Ｂは、手のひら側を示している。

ウェアラブル装置１は、例えば、リストバンド型又は腕時計型である。ウェアラブル装置１は、ユーザの上肢に着脱可能に装着されている。ウェアラブル装置１は、例えば、柔軟性と伸縮性を有する素材で大半の部分が形成されている。これにより、ウェアラブル装置１は、ユーザの上肢に対して密着する。

ウェアラブル装置１は、該ウェアラブル装置１におけるユーザが視認できる位置に表示部２０を備える。表示部２０は、ウェアラブル装置１の外側に配置されている。表示部２０は、ユーザの一方の上肢における腕に沿って配置されている。

表示部２０は、ユーザの前腕における手の甲側に対応する部分と前腕における手のひら側に対応する部分とに表示領域を有している。表示部２０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示部２０は、曲面形状部分を有した曲面ディスプレイ又は可撓性を有したフレキシブルディスプレイであっても良い。

次に、図２を用いて、実施形態に係るウェアラブル装置１の機能について説明する。図２は、実施形態に係るウェアラブル装置１の機能ブロックの一例を示す図である。図２に示すように、実施形態に係るウェアラブル装置１は、表示部２０、接触操作部３０、通信部４０、近接センサ５０、傾きセンサ６０、筋活動検出部７０、記憶部８０、制御部９０を備える。

表示部２０は、制御部９０による制御に基づいて映像又は画像を表示する。

接触操作部３０は、ユーザの操作による入力を検出する。接触操作部３０は、例えば、ウェアラブル装置１に設けられる単一又は複数のボタンである。接触操作部３０は、ボタンが押下された際に所定の信号を制御部９０へ出力する。接触操作部３０は、例えば、ウェアラブル装置１に設けられて、接触を検出するタッチセンサであっても良い。タッチセンサは、例えば、表示部２０と重畳されて設けられても良い。この場合、接触操作部３０は、ユーザの指が触れた表示面上の位置を入力位置として検出し、検出した入力位置に応じた信号を制御部９０へ出力する。タッチセンサには、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式を含む各種方式のタッチパネルが用いられ得る。

接触操作部３０がタッチセンサである場合、ユーザは、表示面に指を触れることにより各種のタッチ操作を行う。タッチ操作の種類としては、例えば、表示面に指を接触させた後、短時間のうちに指を離す操作（タップ操作）、表示面を指で任意の方向に弾く操作（フリック操作）、及び、表示面に指を接触させたまま任意の方向へ移動させる操作（スライド操作）が挙げられる。

通信部４０は、アンテナとＲＦ回路部とを備える。通信部４０は、制御部９０による制御に基づいて、外部装置と、例えば、情報通信又は電話通信を含む通信を行うことで各種情報を送受信する。通信部４０は、無線で通信を行う場合には、例えば、通信距離が数ｃｍ〜１ｍ又は数ｍ〜数十ｍの近距離無線通信の通信方式を採用しても良い。近距離無線通信には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、赤外線通信、可視光通信、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）が用いられ得る。例えば、ウェアラブル装置１を用いて鉄道駅の改札機と通信することにより改札機を通過したい場合には、通信部４０は、通信方式としてＮＦＣを利用すれば良い。このとき、改札機に備えられた情報読み取り部に対して、上肢に装着されたウェアラブル装置１をかざすことで、通信部４０は、改札機とウェアラブル装置１との通信を行うようにすれば良い。

通信部４０は、公衆回線ネットワークを介して通信を行うための通信方式を含む他の通信方式を採用しても良い。公衆回線ネットワークを介して通信を行うための通信方式には、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）が用いられ得る。通信部４０は、有線で通信を行うようにしても良い。

近接センサ５０は、ウェアラブル装置１に物体が近接したことを検出する。近接センサ５０には、例えば、発光素子である赤外ＬＥＤと受光素子であるフォトダイオードとの組み合わせを用いることができる。近接センサ５０は、フォトダイオードの出力の変化から、近接センサ５０に近接する物体、例えば、ユーザの他方の上肢における指の距離を算出する。具体的には、赤外ＬＥＤが赤外線を発光し、近接センサ５０は、指などで反射した赤外線を受光する。例えば、近接センサ５０がユーザの指から遠い場合には、赤外ＬＥＤが発光した赤外線はフォトダイオードによって受光されない。例えば、近接センサ５０がユーザの指に近接している場合には、赤外ＬＥＤが発光した赤外線は指に反射してフォトダイオードによって受光される。このように、フォトダイオードは近接センサ５０がユーザの指に近接している場合とそうでない場合とで赤外線の受光量が変化する。近接センサ５０は、フォトダイオードによって受光した赤外線の受光量を制御部９０に出力する。その受光量に基づいて、制御部９０は、物体の近接を検出する。近接センサ５０は、赤外線型のものに限らず、例えば、静電容量型のものが用いられても良い。

傾きセンサ６０は、例えば、表示部２０の表示面の水平面に対する傾きを検出する。傾きセンサ６０は、例えば、半導体式の３軸の加速度センサである。加速度センサは、表示部２０の表示面に対する３軸(Ｘ，Ｙ，Ｚ)の加速度データを制御部９０に出力する。表示部２０の表示面の一端向をＸ軸方向、表示面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向をＺ軸方向とする。Ｘ軸及びＹ軸を含むＸ，Ｙ平面は、表示面と平行である。表示部２０の表示面のＸ軸方向、Ｙ軸方向、Ｚ軸方向は、ウェアラブル装置１のＸ軸方向、Ｙ軸方向、Ｚ軸方向と一致する。

筋活動検出部７０は、ユーザの皮膚に接触して、ユーザの上肢の筋活動を検出する。筋活動検出部７０は、筋肉が収縮したときに身体表面に生じる電位を筋活動として検出する筋電位検出部７１である。筋電位検出部７１は、ユーザの皮膚に接触して、ユーザの身体動作によって皮膚の表面に生じる筋電位信号を検出する。筋電位検出部７１は、検出した筋電位信号を制御部９０へ出力する。筋電位検出部７１は、ウェアラブル装置１の内周面に複数設けられる。

複数の筋電位検出部７１（７１１、７１２、・・・７１ｎ）は、それぞれ、複数の筋電電極７１１（７１１_１、７１１_２、・・・７１１_ｎ）、複数のフィルタ部７１２（７１２_１、７１２_２、・・・７１２_ｎ）、複数の増幅部７１３（７１３_１、７１３_２、・・・７１３_ｎ）、及び複数のＡ／Ｄ変換部７１４（７１４_１、７１４_２、・・・７１４_ｎ）を、有する。

筋電電極７１１は、ウェアラブル装置１がユーザの上肢に装着された際に、ユーザの皮膚に当接する。筋電電極７１１は、ユーザの皮膚表面に生じる表面電位を筋電位信号として検出する。

フィルタ部７１２は、例えば、通過帯域が数１０Ｈｚ〜１．５ｋＨｚのバンドパスフィルタが用いられ得る。フィルタ部７１２は、筋電電極７１１の分極電圧、電源の雑音、高周波雑音などを除去する。フィルタ部７１２は、筋電電極７１１から出力された筋電位信号から上記の雑音等を除去し、通過可能な信号を増幅部７１３へ出力する。

増幅部７１３は、フィルタ部７１２から出力される筋電位信号を、信号解析可能なレベルまで増幅する。増幅された筋電位信号は、Ａ／Ｄ変換部７１４へ出力される。

Ａ／Ｄ変換部７１４は、増幅部７１３から出力されたアナログ信号の筋電位信号をデジタル信号に変換する。Ａ／Ｄ変換部７１４により変換されたデジタル信号は、制御部９０に出力される。

筋活動検出部７０としての筋電位検出部７１は、上記の構成に加えて積分部を備えていても良い。積分部は、フィルタ部７１２によりフィルタリングされた筋電位信号又は増幅部７１３により増幅された筋電位信号を全波整流回路によって整流した後、平滑化フィルタによって平滑化することによって積分する。積分部は、積分した筋電位信号である積分筋電位信号をＡ／Ｄ変換部７１４に出力する。

記憶部８０は、例えば、不揮発性の記憶デバイス又は読み書き可能な記憶デバイスを含む記憶デバイスである。不揮発性の記憶デバイスには、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む不揮発性半導体メモリ又はハードディスク装置が用いられ得る。読み書き可能な記憶デバイスには、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられ得る。記憶部８０は、各種プログラムを記憶する。記憶部８０は、後述する筋電位データの周波数特性と各種の身体動作とが別個に対応付けられた複数の身体動作検出パターンを記憶している。記憶部８０は、複数の身体動作検出パターンのそれぞれに対応付けられた表示動作パターンを記憶している。

制御部９０は、例えば、少なくとも一つのマイクロプロセッサユニット（ＭＰＵ：Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成される。制御部９０は、ソフトウェアで指示された手順にしたがって上述したウェアラブル装置１に各種の処理を実行する。制御部９０は、オペレーティングシステムプログラム又はアプリケーションのプログラムを含む各種プログラムから命令コードを順次読み込んで処理を実行する。このように、制御部９０は、各部の動作を制御する。制御部９０は、各部に必要なデータ、例えば、表示部２０に映像又は画像を表示させるための制御信号又は画像信号を出力する。

制御部９０は、近接センサ５０のフォトダイオードの出力の変化から、ウェアラブル装置１に近接する物体、例えば、ユーザの他方の上肢における指の距離を算出する。制御部９０は、近接センサ５０のフォトダイオードによって受光した赤外線の受光量に基づいて、物体の近接を検出する。

制御部９０は、傾きセンサ６０の３軸の加速度データの変化を検出することで、表示部２０の表示面又はウェアラブル装置１の動きを判断する。制御部９０は、加速度センサが検出する重力加速度に対して三角関数を用いることで、表示部２０の表示面又はウェアラブル装置１の水平面に対する傾斜角を算出する。制御部９０は、表示部２０の表示面又はウェアラブル装置１の水平面に対する傾斜角が変化すると、そのときの傾斜角に基づいて表示部２０に所定の表示動作を実行させる。

制御部９０は、筋活動検出部７０としての筋電位検出部７１から出力される筋電位データを解析し、ユーザの身体動作を検出する。

制御部９０は、デジタル化された筋電位データである筋電位信号をサンプリングし、サンプリングされた筋電位データをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ、高速フーリエ変換）又はウェーブレット変換を含む各種方法によって周波数変換する。制御部９０は、周波数変換された周波数データに基づいて、周波数スペクトルを解析することによって得られる周波数特性からユーザの身体動作の種類を検出する。

一般的に、筋電位データの周波数特性は、ヒトの身体動作の種類に依って相異する。したがって、予め、筋電位データの周波数特性と身体動作の種類とを対応付けて記憶しておけば、制御部９０は、筋電位データから導出された周波数データに基づいて、ユーザが行った身体動作を推定する。従って、制御部９０は、記憶部８０に記憶された身体動作検出パターンを参照して、筋電位データの周波数特性から、ユーザが行った身体動作の種類を検出する。身体動作の推定には、例えばニューラルネットを用いれば良い。

制御部９０は、記憶部８０に記憶された表示動作パターンを参照し、検出された身体動作に対応付けられた表示動作を表示部２０に実行させるよう制御する。

制御部９０は、上記の構成を有することにより、筋活動検出部７０の筋電位検出部７１で検出された筋電位によって検出した筋活動に基づいてユーザの上肢の身体動作を検出し、該身体動作に基づいて、表示部２０に所定の表示動作を実行させる。

制御部９０は、上記の積分部から出力された積分筋電位信号に基づいて、例えば、積分平均値（ＩＥＭＧ：Ｉｎｔｅｇｒａｔｅｄ ＥｌｅｃｔｒｏＭｙｏＧｒａｐｈｙ）に基づいて筋張力を検出する。積分筋電位信号と筋張力とは大略比例の関係を呈する。制御部９０は、検出した筋張力が所定の閾値を超えたか否かに基づいてユーザによって所定の身体動作、例えば、後述する握り動作又は力動作が実際に行われたか否かを判断するようにしても良い。

筋電位データから身体動作を検出するための指標としては、上記に例示した周波数スペクトル又は積分平均値の他にも、例えば、平均周波数（ＭＰＦ：Ｍｅａｎ Ｐｏｗｅｒ Ｆｒｅｑｕｅｎｃｙ）、中心周波数、実効値（ＲＭＳ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）又は周波数分布の標準偏差（ＳＤＦＤ：Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ ｏｆ Ｆｒｅｑｕｅｎｃｙ Ｄｉｓｔｒｉｂｕｔｉｏｎ）を含む各種指標を用いても良い。

ヒトの上肢の動作を司る筋肉は、上肢において別個に配置されている。例えば、上肢における前腕、手、又は指の各種の動作を司る筋肉は、前腕部分において別個に配置されている。そのため、制御部９０は、手、又は指の各種の動作を司る筋肉の動きによって生じる筋電位の信号又は筋電位の分布を十分な解像度で計測できれば、前腕、手、又は指の動作を推定可能になる。

例えば、制御部９０は、第２〜５指である示指、中指、薬指、小指の動作を司る前腕部分の筋肉である深指屈筋、浅指屈筋、又は総指伸筋における各指の動作に対応する部位の筋電位を測定することで各指の動作を推定する。深指屈筋は特に第２〜５指の第１関節の曲げ動作を、浅指屈筋は特に第２〜５指の第２関節の曲げ動作を、総指伸筋は特に第２〜５指の伸展動作を、それぞれ司っている。さらに、制御部９０は、第１指である母指又は親指の動作を司る前腕部の筋肉である長母指屈筋の筋電位も測定することで第１〜５指の全ての動作を推定する。従って、例えば、第１〜５指の動作を推定するために、上記の深指屈筋、浅指屈筋、総指伸筋、長母指屈筋の４箇所のそれぞれの直上に筋電電極７１１が配置されると良い。この場合ウェアラブル装置１は、４個の筋電電極７１１に対応する４個の筋電位検出部７１を備えていれば良い。筋電電極７１１を接触させる身体の箇所は、上記の筋肉の他にも、検出すべき動作を司る筋肉の筋電位を検出可能な位置に配置されるようにすれば良い。例えば、ウェアラブル装置１に複数の筋電電極７１１を設け、最適な筋電位検出位置を絞り込む方法を採っても良い。筋電電極の数は、ウェアラブル装置１の内面側に配置可能な数とする。このような方法の他にも、上肢の各指、手又は腕の身体動作の種類を推定可能な従来のあらゆる手法が適用されて良い。

次に、制御部９０によって検出される身体動作の種類について説明する。図３は、制御部９０によって検出される身体動作の種類を例示したものである。実施形態に係るウェアラブル装置１が検出する上肢の身体動作の主体を、例えば、指、手又は前腕に分類することにする。

まず、指の動作として、第１〜５指の各指の曲げ動作（パターン１）、各指の伸展動作（パターン２）、第１指と第２〜５指の何れかの指とのつまみ動作（パターン３）、手の握り動作（パターン４）、手の開き動作（パターン５）を例示して説明する。パターン１〜５に示される指の身体動作を司る筋肉については前述した通りである。制御部９０は、それらの筋肉の動きに起因して生じる筋電位を検出することで、パターン１〜５の身体動作を検出する。

「各指の曲げ動作（パターン１）」は、例えば、第２〜４指の何れかの指における第３関節である指先から３番目の関節又は指の付け根の関節が曲げられる身体動作が含まれる。「各指の曲げ動作（パターン１）」は、例えば、第２〜４指の何れかの指における第１関節である指先から１番目の関節と第２関節である指先から２番目の関節とが共に曲げられる身体動作が含まれる。「各指の曲げ動作（パターン１）」は、例えば、第２〜４指の何れかの指における第１〜３関節の何れもが曲げられる身体動作が含まれる。「各指の曲げ動作（パターン１）」は、第１〜５指の内の複数の指を同時に曲げる動作も含まれる。

「各指の曲げ動作（パターン１）」は、例えば、第２指において、第２指の付け根の関節を支点として、左右方向へ移動させる身体動作も含まれる。左右方向とは、第３指に近づいたり、遠ざかったりする方向である。

「各指の伸展動作（パターン２）」は、各指の曲げ動作（パターン１）と相反する動作である。「各指の伸展動作（パターン２）」は、例えば、第２〜４指の何れかの指において、該指の第１〜３関節の何れもが曲げられていない状態をその「指が伸展している状態」としても良い。「各指の伸展動作（パターン２）」は、「指が伸展している状態」を取るための身体動作を含む。

所定角度より大きく、指の各関節が曲げられている状態を「指が曲げられている状態」とし、所定角度より小さく指の各関節が曲げられている場合は「指が伸展している状態」としても良い。この場合、所定角度は適宜設定されて良い。指の各関節の曲げ角度を推定する手法としては、例えば、特開２０１０−１２５２８７に開示されている手法を用いても良い。

「第１指と第２〜５指の何れかの指とのつまみ動作（パターン３）」において、該身体動作に基づいて検出される筋電位信号の特徴は、単に指を曲げる動作に基づいて検出される筋電位信号の特徴とは区別される。この身体動作は、ユーザの意図した動作によるものである。このため、この身体動作は、例えば、ユーザが不意に指を曲げてしまった場合などに身体動作として誤検出されてしまう問題を生じさせずに済む。これにより、「第１指と第２〜５指の何れかの指とのつまみ動作（パターン３）」は、身体動作による操作の種類として割り当てるのに適している。

より詳しくは、「第１指と第２〜５指の何れかの指とでつまむ」動作を行った際、第１指と第２〜５指の何れかの指とは互いに力を及ぼす。このため、ユーザは、動作を行ったことを知覚することができ、実際に入力を行ったことを認識しやすい。

「手の握り動作（パターン４）」は、例えば、拳を作る動作である。「手の握り動作（パターン４）」は、各指の曲げ動作（パターン１）において、第１〜５指の全ての指を曲げる身体動作である。従って、各指の曲げ動作（パターン１）と一部重複する部分があるが、以後の表示態様の説明を容易にするため、別のパターンとして分類しておく。この身体動作を司る筋肉は、前述した指の動作を司る筋肉と同様である。このため、制御部９０は、それらの筋肉の動きに起因して生じる筋電位を検出することで、手の握り動作を検出する。

「手の開き動作（パターン５）」は、手の握り動作（パターン４）と相反する動作である。「手の開き動作（パターン５）」は、例えば、第１〜５指の各関節が曲げられていない状態を取るための身体動作である。各指の伸展動作（パターン２）と一部重複する部分があるが、以後の表示態様の説明を容易にするため、別のパターンとして分類しておく。

所定角度より大きく、第１〜５指の各関節が曲げられている場合に「手が握られている状態」とし、所定角度より小さく第１〜５指の各関節が曲げられている場合は「手が開かれている状態」としても良い。この場合、所定角度は適宜設定されて良い。

次に、手の動作として、手の掌屈動作（パターン６）、手の背屈動作（パターン７）、手首の橈屈（パターン８）、手首の尺屈（パターン９）を例示して説明する。

「手の掌屈動作（パターン６）」は、手首を手のひら側に曲げる身体動作である。この身体動作を司る筋肉は、例えば、橈側手根屈筋、長掌筋又は尺側手根屈筋を含む筋肉が挙げられる。制御部９０は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の掌屈動作を検出する。

「手の背屈動作（パターン７）」は、手首を手の甲側に曲げる身体動作である。「手の背屈動作（パターン７）」は、手の掌屈動作（パターン６）と相反する動作である。この身体動作を司る筋肉は、例えば、長橈側手根伸筋、短橈側手根伸筋又は尺側手根伸筋を含む筋肉が挙げられる。このため、制御部９０は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の背屈動作を検出する。

「手首の橈屈（パターン８）」は、前腕を構成する橈骨のある側である母指側に手首の関節を曲げる身体動作である。例えば、左側の上肢にウェアラブル装置１が装着され、左前腕における手の甲側が上になり、手のひら側が下となっている場合において、手首の橈屈とは、手首を右側に曲げることと同じである。この身体動作を司る筋肉は、例えば、長橈側手根伸筋又は短橈側手根伸筋を含む筋肉が挙げられる。このため、制御部９０は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の橈屈動作を検出する。

「手首の尺屈（パターン９）」は、前腕を構成する尺骨のある側（小指側）に手首の関節を曲げる身体動作である。「手首の尺屈（パターン９）」は、手首の橈屈（パターン８）と相反する身体動作である。例えば、左側の上肢にウェアラブル装置１が装着され、左前腕における手の甲側が上になり、手のひら側が下となっている場合において、手首の尺屈とは、手首を左側に曲げることと同じである。この身体動作を司る筋肉は、例えば、尺側手根屈筋又は尺側手根伸筋を含む筋肉が挙げられる。このため、制御部９０は、これらの筋肉の何れかの動きに起因して生じる筋電位を検出することで、手の橈屈動作を検出する。

次に、前腕の動作として、前腕の回内動作（パターン１０）、前腕の回外動作（パターン１１）を例示して説明する。

「前腕の回内動作（パターン１０）」は、手の甲がユーザの顔側を向くように、前腕を回旋させる身体動作である。「前腕の回内動作（パターン１０）」は、例えば、左側の上肢の場合、左前腕の左肘と左手首とを結ぶ仮想線を軸として該左前腕を時計回りに旋回させる動作である。制御部９０は、この身体動作を司る筋肉の動きに起因して生じる筋電位又は筋張力を検出することで、前腕の回内動作を検出する。制御部９０は、例えば、左側の上肢において、時計回りの回転量が所定値より大きい場合、回内動作がなされたものと判定しても良い。前腕の回転動作における回転量は、身体動作に基づく筋電位データの周波数特性又は筋張力の変化に基づいて算出すればよい。

「前腕の回外動作（パターン１１）」は、手のひらがユーザの顔側を向くように、前腕を回旋させる身体動作である。「前腕の回外動作（パターン１１）」は、前腕の回内動作（パターン１０）と相反する身体動作である。「前腕の回外動作（パターン１１）」は、例えば、左側の上肢の場合、左前腕を軸として該左前腕を反時計回りに旋回させる動作である。制御部９０は、この身体動作を司る筋肉の動きに起因して生じる筋電位を検出することで、前腕の回外動作を検出する。制御部９０は、例えば、左側の上肢において、反時計回りの回転量が所定値より大きい場合、回外動作がなされたものと判定しても良い。

以上、各身体動作の種類を例示した。各身体動作の内の一の身体動作がなされた後の上肢の状態において、該状態を維持するために生じる筋活動と、該状態から一の身体動作を継続して行う、又は再度行うときに生じる筋活動と、が検出され得る。

身体動作がなされた後の上肢の状態を維持するために生じる筋活動としては、例えば、手の握り動作（パターン４）がなされた後に、第１〜５指が曲げられた状態である手が握られた状態を維持しておくために生じる筋活動である。以後このような筋活動を状態維持筋活動と称する。

一の身体動作がなされた後の上肢の状態から、一の身体動作を継続して行う、又は再度行うときに生じる筋活動としては、例えば、手の握り動作（パターン４）がなされて手が握られた状態となった後に、さらに手の握り動作を行おうとユーザが意図して力を入れる際に生じる筋活動である。この場合、ユーザは、手が握られた状態を維持する状態維持筋活動よりも強く力を入れて手を握る。このような筋活動によっては、身体の変位である上肢の位置・形状の変化が生じない。以後このような筋活動を不変位筋活動と称する。

状態維持筋活動は、ユーザが操作を行うために意図して動作した際に生じるものではない。このため、制御部９０が状態維持筋活動を検出した場合には、該検出に基づいて所定の動作を実行させないようにしても良い。不変位筋活動は、上記のようにユーザが操作を行うために意図して動作した際に生じるものである。このため、制御部９０が不変位筋活動を検出した場合には、該検出に基づいて所定の動作を実行させるようにしても良い。従って、不変位筋活動を生じる動作は、実施形態における「身体動作（単に動作と称する場合もある）」の一つとして「力動作」と称する。

状態維持筋活動と不変位筋活動とを区別して検出するために、制御部９０は、例えば、筋活動検出部７０によって検出される筋張力が所定の閾値より小さい場合には、身体動作により生じる筋活動が状態維持筋活動であると判定しても良い。制御部９０は、例えば、筋活動検出部７０によって検出される筋張力が所定の閾値より大きい場合には、身体動作により生じる筋活動が不変位筋活動である、又は、身体動作が力動作であると判定しても良い。さらに、制御部９０は、力動作については、次のように判定してもよい。まず、制御部９０は、上記複数のパターンの内の一のパターンの身体動作を検出するとともに、該身体動作の種類に基づいて身体動作後の上肢の位置・形状を含む上肢の状態を推定する。そして、制御部９０は、次の身体動作を検出したときに、該状態からは上肢の状態の変化を伴わない身体動作であると判定された場合には、この身体動作が力動作であると判定するようにしても良い。

上記の各パターンにおける身体動作においては、該身体動作がなされる起点となる上肢の状態は、ヒトの身体的特徴から不可能となる場合を除いては、どのような状態であっても良い。例えば、手の掌屈動作（パターン６）を検出する場合に、手首が手のひら側にも手の甲側にも曲げられていない状態を「中立位」とし、（１）手首が手の甲側に所定角度だけ曲げられた状態を起点として、中立位へ遷移する動作、（２）中立位から、手首が手のひら側に所定角度だけ曲げられた状態に遷移する動作、（３）手首が手の甲側に所定角度だけ曲げられた状態を起点として、手首が手のひら側に所定角度だけ曲げられた状態に遷移する動作、を掌屈動作がなされたものと検出しても良い。身体動作がなされる起点となる上肢の状態、又は、身体動作がなされる直前における上肢の状態の違いによって、該身体動作の検出を有効とするか否かを判定しても良い。例えば、上記のように手の掌屈動作（パターン６）を検出する場合には、上記（１）の場合は掌屈動作としての検出を無効にし、上記（２）、（３）の場合は掌屈動作としての検出を有効にする等、適宜定義されて良い。上記（１）、（２）及び（３）のような、起点が異なる身体動作を区別するためには、例えば、身体動作に基づく筋電位データの周波数特性の違い、筋張力の違い、又は筋張力の変化時間の違いに基づいて区別すれば良い。

「中立位」は、身体動作の種類によって適宜定義されて良い。中立位とは異なる上肢の状態から、中立位に遷移する身体動作をパターン１２として設定しても良い。

制御部９０は、上記パターン１〜１１の身体動作の内の複数を組み合わせた身体動作も検出する。

次に、ユーザの身体動作に基づいた所定動作として、表示部２０に所定の表示動作を実行させる際の態様について説明する。図４Ａは、表示部２０の表示動作の一態様の一例を示す図である。図４Ｂは、表示部の表示動作の一態様の一例を示す図である。図４Ａ、図４Ｂに示すように、例えば、ウェアラブル装置１は、ユーザの一方の上肢である左側の上肢に装着されている。図４Ａにおいて、紙面手前側には、ユーザの前腕における橈骨側の側部が描かれている。表示部２０は、ユーザの前腕の側部に沿った部分にも表示領域を有している。図４Ａの状態は、例えば、手が開いた状態において、該状態を維持するための状態維持筋活動が制御部９０によって検出されているが、他の筋活動は検出されていない。従って、筋活動の検出に基づく所定の動作は実行されていない。図４Ａの状態は、例えば、事前の身体動作として手の開き動作が行われたが、その後、手が開いた状態を維持するための状態維持筋活動が検出されず、他の身体動作も検出されていない。このとき、ユーザは意図して力を入れていない。従って、筋活動の検出に基づく所定の動作は実行されていない。従って、表示部２０には特に画像が表示されていない。

このような状態で、ユーザが前腕の回内動作を行うと、図４Ｂに示すように、表示部２０は、所定画像として、例えば、現在の時刻を示す情報が含まれた画像２０１を表示する。図４Ｂにおいて、前腕の回内動作が行われた後の状態として、紙面手前側には、ユーザの前腕における上側の前腕において手の甲と共に視認される部分が描かれている。図４Ｂにおいて、所定画像２０１は、表示部２０の表示領域において、前腕における上側に沿った部分に対応した箇所に表示されている。

一態様では、ユーザが前腕の回内動作を行うことによって生じる筋電位を筋電位検出部７１が検出する。そして、制御部９０は、その筋電位に基づいて実際に「前腕の回内動作（パターン１０）」がなされたことを検出する。そして、制御部９０は、「前腕の回内動作（パターン１０）」がなされたことに基づいて、表示部２０に、所定画像２０１を表示する表示動作を実行させるよう制御する。

制御部９０は、検出した所定の身体動作に基づいて、ウェアラブル装置１の起動を実行し、例えば、ウェアラブル装置１が別途備えるスピーカによって所定の音を放音させたり、ウェアラブル装置１が別途備える振動装置によって所定の振動をさせたり、ウェアラブル装置１が別途備える点灯装置を所定態様で点灯させることにより、ウェアラブル装置１が起動したことをユーザに報知するようにしても良い。

以上のように、実施形態に係るウェアラブル装置１は、ユーザの左右の上肢の内、一方の上肢に取り付けられる。ウェアラブル装置１は、筋電位検出部７１によって筋電位を検出し、検出された筋電位に基づいて、制御部９０が一方の上肢の身体動作を検出し、検出した身体動作に基づいて、表示部２０に所定の表示動作を実行させるものである。このような構成により、ウェアラブル装置１は、左右の上肢の内の一方の上肢に取り付けられたウェアラブル装置１に対して、該一方の上肢の動作に基づいて操作が可能となる。これにより、ウェアラブル装置１は、従来のウェアラブル装置と比較して、より多様な操作を可能とすることができる。

ウェアラブル装置１は、ウェアラブル装置１に対する接触操作を要することなく、操作を行うことができる。このため、ウェアラブル装置１は、接触操作によってウェアラブル装置１を汚すことを抑制でき、腕時計型のアクセサリーとしての美観性を保つことができる。

例えば、ユーザの前腕に腕時計が装着され、前腕における外側に文字盤が配されている場合に、ユーザが文字盤を見ようと前腕を回内させることは、ごく自然な身体動作である。これに対し、図４Ａ、図４Ｂに示すウェアラブル装置１では、制御部９０が一方の上肢における前腕の回内動作を身体動作として検出し、該身体動作の検出に基づいて所定画像を表示する構成を有する。このような構成により、ウェアラブル装置１が表示する画像をユーザが見ようとする自然な身体動作である前腕の回内動作に伴って、ユーザにとって有用な画像を表示させることができる。このため、ウェアラブル装置１は、ユーザが求める画像を見るためにわざわざ余分な操作又は動作を行わずに済むので、操作性を向上することができる。

回内動作は、前述のように、手の甲がユーザの顔側を向くように前腕を回旋させる身体動作である。これにより、回内動作を行った後はユーザにとって、前腕における外側が視認しやすい状態となる。このため、ウェアラブル装置１は、図４Ｂに示すように、回内動作に伴った表示動作として、所定画像２０１を表示する際は、表示部２０における前腕の外側に沿った部分の前腕における手の甲に沿った部分の表示領域に該所定画像２０１を表示する構成としても良い。

一態様では、ウェアラブル装置１が、前腕の回内動作に基づいて表示動作を実行させる構成を示したが、これに限られず、前腕の回外動作に基づいて表示動作を実行させる構成であっても良い。ウェアラブル装置１は、前腕の回内動作と回外動作とを含む回転動作に基づいて表示動作を実行させる構成であって良い。回外動作は、前述のように、手のひらがユーザの顔側を向くように前腕を回旋させる身体動作である。これにより、回外動作を行った後はユーザにとって、前腕における内側の前腕において手のひらと共に視認される部分が視認しやすい状態となる。このため、ウェアラブル装置１は、回外動作に伴った表示動作として所定画像を表示する際は、表示部２０における前腕の内側に沿った部分の前腕における手のひらに沿った部分の表示領域に該所定画像を表示する構成としても良い。

上記の例では、図４Ａにおいて、手が開いた状態を維持するための状態維持筋活動が検出され、他の筋活動は検出されていない、又は、状態維持筋活動すらも検出されていない状態を示したがこれに限定されない。図４Ａにおいて、所定の表示動作を実行させるための他の身体動作が行われている状態であっても良い。他の身体動作に続いて、図４Ｂの状態に遷移するような身体動作を連続して検出された場合であっても、これに基づく表示動作を実行させるようにしても良い。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図５Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図５Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。図５Ａ、図５Ｂでは、ウェアラブル装置１が装着されたユーザの身体部分を示すとともに、ウェアラブル装置１の表示部２０の表示内容を別途、拡大して模式的に示している。

図５Ａに示すように、ウェアラブル装置１は、例えば、ユーザの一方の上肢に装着されている。このとき、ユーザの一方の上肢における手は、開いた状態にある。この状態は、一態様と同様に、手が開いた状態を維持するための状態維持筋活動が検出され、他の筋活動は検出されていない状態であっても良いし、又は、状態維持筋活動すらも検出されていない状態であっても良い。以後の他の態様についても、所定の身体動作に基づく表示動作の制御について説明するが、身体動作が検出される前の状態は、特記が無い限りは、上記と同様であるものとする。図５Ａにおいて、表示部２０は、前腕における上側に対応する表示領域に所定画像を表示している。この表示領域には、図５Ａに示すように、例えば、所定画像として他のユーザが所有する携帯端末を含む機器からメッセージを受信した旨である着信を報知するための画像である第１画像２０２が表示されている。メッセージの受信は、通信部４０による情報通信によりなされる。第１画像２０２を表示することで、ユーザは、着信があったことを把握する。

ユーザが第１画像２０２を視認した後に、手を開いた状態から図５Ｂに示すように、手を握った状態に移し、手を握る身体動作を行うと、表示部２０には、第１画像２０２の代わりに第２画像２０３が表示される。第２画像２０３は、第１画像２０２に関連付けられる画像である。第２画像２０３は、例えば、着信したメッセージの内容を示している。

このとき、ユーザが手を握る動作を行うことによって生じる筋電位を筋電位検出部７１が検出する。そして、制御部９０は、その筋電位に基づいて実際に「手の握り動作（パターン４）」がなされたことを検出する。そして、制御部９０は、「手の握り動作（パターン４）」がなされたことに基づいて、表示部２０に、第１画像２０２の表示から第２画像２０３の表示に遷移する表示動作を実行させるよう制御する。

他の態様では、ユーザの身体動作を検出することに基づいて、第１画像２０２の表示から第２画像２０３の表示へと遷移させる例を示したがこれに限らない。例えば、一態様と同様に、ユーザの身体動作を検出することに基づいて、例えば、スリープ状態を含む何も表示されていない状態から、その状態を解除し、例えば、第１画像２０２又は第２画像２０３を含む所定画像を表示させた状態へと遷移させるようにしても良い。

以上のように、他の態様におけるウェアラブル装置１は、一態様と同様に、ユーザの左右の上肢の内、一方の上肢に取り付けられる。ウェアラブル装置１は、筋電位検出部７１によって筋電位を検出し、検出された筋電位に基づいて、制御部９０が一方の上肢の身体動作を検出し、検出した身体動作に基づいて、表示部２０に所定の表示動作を実行させるものである。このような構成により、ウェアラブル装置１は、左右の上肢の内の一方の上肢に取り付けられたウェアラブル装置１に対して、該一方の上肢の動作に基づいて操作が可能となる。これにより、ウェアラブル装置１は、従来のウェアラブル装置と比較して、より多様な操作を可能とすることができる。

他の態様におけるウェアラブル装置１では、制御部９０が一方の上肢における手の動作を、身体動作として検出する構成を有する。このような構成により、ウェアラブル装置１は、ウェアラブル装置１が装着された前腕を動かすことなく、手の身体動作によって表示部２０に所定の表示動作を実行させることができる。このため、ウェアラブル装置１は、身体動作時に表示部２０の位置が動くことなく、ユーザは表示部２０の表示動作が起こったことを視認しながら操作を行うことができる。このように、ウェアラブル装置１は、ユーザの操作性を向上することができる。

他の態様におけるウェアラブル装置１は、手の身体動作として、握り動作を検出したことに基づいて、表示部２０に所定の表示動作を実行させるものとしたが、これに限らない。ウェアラブル装置１は、例えば、手の開き動作を検出したことに基づいて、表示部２０に所定の表示動作を実行させるものとしても良い。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図６Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図６Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。図６Ａ及び図６Ｂにおいても、図５Ａ及び図５Ｂと同様、ウェアラブル装置１が装着されたユーザの身体部分を示すとともに、ウェアラブル装置１の表示部２０の表示内容を別途、拡大して模式的に示している。

図６Ａに示すように、ウェアラブル装置１は、例えば、ユーザの一方の上肢に装着されている。このとき、ユーザの一方の上肢における手は、握られた状態にある。ユーザの一方の上肢における手は、第１〜５指の何れもが曲げられた状態である。表示部２０は、前腕おける外側に対応する表示領域に所定画像を表示している。この表示領域には、上述の態様と同様に、例えば、所定画像として着信を報知するための画像である第１画像２０２が表示されている。

ユーザが第１画像２０２を視認した後に、第１〜５指の何れもが曲げられた状態から図６Ｂに示すように、第２指を伸展させた状態に移し、第２指の伸展動作を行うと、表示部２０には、第１画像２０２の代わりに第２画像２０３が表示される。第２画像２０３は、第１画像２０２に関連付けられる画像である。第２画像２０３は、例えば、着信したメッセージの内容を示している。

このとき、ユーザが第２指を伸展させる動作を行うことによって生じる筋電位を筋電位検出部７１が検出する。そして、制御部９０は、その筋電位に基づいて実際に「第２指の伸展動作（パターン２）」がなされたことを検出する。そして、制御部９０は、「第２指の伸展動作（パターン２）」がなされたことに基づいて、表示部２０に、第１画像２０２の表示から第２画像２０３の表示に遷移する表示動作を実行させるよう制御する。

以上のように、他の態様におけるウェアラブル装置１は、上述の態様と同様に、左右の上肢の内の一方の上肢に取り付けられたウェアラブル装置１に対して、該一方の上肢の動作に基づいて操作が可能となる。これにより、ウェアラブル装置１は、従来のウェアラブル装置と比較して、より多様な操作を可能とすることができる。

他の態様におけるウェアラブル装置１では、制御部９０が一方の上肢における指の動作を、身体動作として検出する構成を有する。このような構成により、ウェアラブル装置１は、ウェアラブル装置１が装着された前腕を動かすことなく、指の身体動作によって表示部２０に所定の表示動作を実行させることができる。このため、ウェアラブル装置１は、身体動作時に表示部２０の位置が動くことなく、ユーザに表示部２０の表示動作が起こったこと視認させながら操作を実行させることができる。このように、ウェアラブル装置１は、ユーザの操作性を向上することができる。

他の態様におけるウェアラブル装置１は、手の身体動作として、指の伸展動作を検出したことに基づいて、表示部２０に所定の表示動作を実行させるものとしたが、これに限らない。ウェアラブル装置１は、例えば、指の曲げ動作を検出したことに基づいて、表示部２０に所定の表示動作を実行させるものとしても良い。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図７Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図７Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。他の態様は、上述の態様と同様、身体動作として前腕の回転動作を検出することにより、表示部２０に所定の表示動作を実行させるものである。

図７Ａは、ユーザの一方の上肢の前腕における外側が示されている。図７Ｂは、ユーザの一方の上肢の前腕における内側が示されている。表示部２０は、前腕の外側部分に沿って配置される第１表示領域２２と前腕の内側部分に沿って配置される第２表示領域２３とを有する。表示部２０は、それぞれの表示領域に異なる画像を表示する。図７Ａに示すように、手の甲側の第１表示領域２２には、例えば、現在の時刻を示す情報が含まれた画像２０４が表示されている。図７Ｂに示すように、手のひら側の第２表示領域２３には、例えば、各種アプリケーションを実行するための各アイコンが表示された所謂ホーム画面である画像２０５が表示されている。

一般的に、前腕における内側を正視している状態では、前腕における外側を正視することは不可能である。前腕における外側を正視している状態では、前腕における手の内側を正視することは不可能である。従って、前腕における外側に対応した第１表示領域２２と前腕における内側に対応した第２表示領域２３とを同時に正視することも不可能である。そのため、第１表示領域２２と第２表示領域２３の内、ユーザが視認している一方の表示領域に所定画像を表示することができれば、ユーザが視認していない他の表示領域に画像を表示することに依る電力の無駄な消費を抑えることができる。ユーザが第１表示領域２２と第２表示領域２３の内の何れを視認しているか、又は、視認しやすい状態にあるかは、例えば、前述したように、回内動作が行われたか、又は、回外動作が行われたかによって判断する。

ウェアラブル装置１は、制御部９０が回内動作を検出した場合、図７Ａに示されるように、前腕における外側が視認され易い状態にあるものとして第１表示領域２２に所定画像を表示する構成を有していて良い。ウェアラブル装置１は、制御部９０が回外動作を検出した場合、図７Ｂに示されるように、前腕における内側が視認され易い状態にあるものとして第２表示領域２３に所定画像を表示する構成を有していて良い。

以上のように、他の態様におけるウェアラブル装置１は、制御部９０が回内動作を検出したことに基づいて、ユーザが視認している一方の表示領域に所定画像を表示することができる。このように、ウェアラブル装置１は、ユーザの操作性を向上することができる。しかも、ウェアラブル装置１は、ユーザが視認している一方の表示領域に所定画像を表示し、ユーザが視認していない他の表示領域には画像を非表示とすることができる。このため、ウェアラブル装置１は、電力の無駄な消費を抑えることができる。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図８Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図８Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。図８Ｃは、表示部２０の表示動作の他の態様の一例を示す図である。図８Ｄは、表示部２０の表示動作の他の態様の一例を示す図である。図８Ａにおいて、ウェアラブル装置１が装着された一方の上肢における前腕の側部が示されている。この前腕の側部は、一方の上肢における母指側である。表示部２０において、前腕の側部に沿って配置された第３表示領域２４が示されている。第３表示領域２４は、前腕における外側に対応した第１表示領域２２と前腕における内側に対応した手のひら側の第２表示領域２３との間に配置された領域である。図８Ａにおいて、第３表示領域２４には、複数の表示画像候補２０６〜２０８が表示されている。

図８Ａに示すような、前腕の側部に沿って配置された第３表示領域２４が視認される状態は、例えば、図７Ａに示されるような、前腕における外側に対応した第１表示領域２２が視認され易い状態から回外動作を行い、図７Ｂに示されるような、前腕における内側に対応した第２表示領域２３が視認され易い状態に遷移する途中で、該回外動作を中止した場合に取り得る。図８Ａに示すような状態は、図７Ｂに示されるような、前腕における内側に対応した第２表示領域２３が視認され易い状態から回内動作を行い、図７Ａに示されるような、前腕における外側に対応した第１表示領域２２が視認され易い状態に遷移する途中で、該回内動作を中止した場合に取り得る。

そこで、制御部９０は、前腕の回転動作を検出するときに、その回転量を算出し、回転量が所定値より小さい場合には、図８Ａに示すような、前腕の側部に沿って配置された第３表示領域２４が視認される状態となっているものと判定する。そして、このように判定されると、制御部９０は、第１表示領域２２又は第２表示領域２３に替えて、第３表示領域２４に所定画像を表示するよう表示部２０を制御する。

以上のように、他の態様におけるウェアラブル装置１は、このような構成とすることで、前腕における外側、内側ではなく、前腕の側部が視認されていると見なされるときには、該側部に沿って配置された表示領域に画像を表示することができる。このため、ユーザは表示を見易くするためにわざわざ身体を動かす必要がなくて済む。このように、ウェアラブル装置１は、ユーザの操作性を向上することができる。

再度図８Ａから図８Ｄを参照すると、図８Ａにおいて、第３表示領域２４には、複数の表示画像候補２０６〜２０８が表示されている。表示画像候補２０６〜２０８は、ユーザによる所定操作によって、何れかが選択できるようになっている。例えば、図８Ａにおいては、表示画像候補２０６〜２０８の内、真中に配置されて表示されている表示画像候補２０７が選択された状態となっている。

例えば、図８Ｂに示すように、ユーザが手の身体動作として、掌屈動作を行うと、表示部２０による表示動作の態様が図８Ｃに示す状態に遷移する。図８Ｂにおける掌屈動作は、前述したように手首を手のひら側に曲げる身体動作である。該掌屈動作は、図８Ｂにおいて矢印で示すように、右方向に手首を曲げる動作である。図８Ａにおいて最も右側に表示された表示画像候補２０８は、右方向に手首を曲げる動作に伴って、図８Ｃにおいて表示されなくなる。図８Ａにおいて真中に表示された表示画像候補２０７及び最も左側に表示された表示画像候補２０６は、右方向に手首を曲げる動作に伴って、図８Ｃに示すようにそれぞれ右隣に移動して表示される。そして、真中に移動して表示された表示画像候補２０６は、最も右側に移動した表示画像候補２０７に替わって、選択されている状態に遷移する。図８Ａにおいて表示画像候補２０６が表示されていた最も左側の領域には、図８Ｃにおいては新たな表示画像候補２０９が表示される。

このように、他の態様におけるウェアラブル装置１は、表示部２０に複数の表示画像候補が表示されている場合に、制御部９０が所定の身体動作を検出すると、該身体動作に基づいて複数の表示画像候補の何れかを選択可能とし、身体動作の動作方向と同じ方向に複数の表示画像候補のそれぞれを移動して表示させる構成とした。このため、ウェアラブル装置１は、ユーザの自然な身体動作によって表示画像候補の選択を実現できる。このように、ウェアラブル装置１は、ユーザの操作性を向上することができる。

ウェアラブル装置１は、制御部９０が検出する身体動作の動作回数に基づいて、表示画像候補の移動の態様を変更するようにしても良い。ウェアラブル装置１は、例えば、図８Ａ及び図８Ｂに示されるように、制御部９０が掌屈動作を１回検出すると、複数の表示画像候補が１画像分だけ隣に移動する。ウェアラブル装置１は、例えば、制御部９０が掌屈動作を複数回検出すると、複数の表示画像候補が複数画像分だけ隣に移動するようにしても良い。

再度図８Ａから図８Ｄを参照すると、ウェアラブル装置１は、右方向に手首を曲げる動作である掌屈動作に伴って、複数の表示画像候補のそれぞれを右隣に移動させている。ウェアラブル装置１は、掌屈動作と相反する動作である左方向に手首を曲げる動作である背屈動作を行った場合には、複数の表示画像候補のそれぞれを左隣に移動させるようにしても良い。このように、ウェアラブル装置１は、掌屈動作と背屈動作によって、複数の表示画像候補のそれぞれを相反する方向に移動させるようにしても良い。

ウェアラブル装置１は、図８Ｃにおいて、表示画像候補２０６、例えば他のユーザとのメッセージのやり取りを表示するための画面が真中に表示され、選択されている状態である。ウェアラブル装置１は、制御部９０が前腕の回内動作を検出すると、図８Ｄに示すように、他の表示画像候補の表示が消え、表示画像候補２０６が表示され選択決定される。回内動作を行うと、前述したように前腕における外側が視認されやすくなる。回内動作を行うと、前腕における外側に沿って配置される第１表示領域２２が視認されやすくなる。このため、表示画像候補２０６の選択表示は図８Ｄに示すように第１表示領域２２に表示するようにしても良い。

他の態様におけるウェアラブル装置１は、回内動作を行うことにより、第１表示領域２２に表示画像候補２０６を選択表示する構成を例示したが、この構成に限らない。例えば、ウェアラブル装置１は、図８Ｃの状態から制御部９０が回外動作を検出すると、第２表示領域２３に表示画像候補２０６を選択表示する構成としても良い。

他の態様において、ウェアラブル装置１は、第１動作となる掌屈動作に伴って、複数の表示画像候補のそれぞれを右隣に移動させ、掌屈動作と相反する第２動作となる背屈動作に伴って、複数の表示画像候補のそれぞれを左隣に移動させて表示する構成を示した。ウェアラブル装置１は、掌屈動作又は背屈動作の動作回数を算出してカウントし、動作回数に基づいて、表示画像候補の移動の回数を変更する構成を示した。このような場合、ユーザは１回目の第１動作を行った後、続いて２回目の第１動作を行おうとしたときに、再度第１動作を行える状態とするために、第１動作と相反する第２動作を一度行わなければならなくなる。他の態様において、ユーザは１回目の掌屈動作を行った後、続いて２回目の掌屈動作を行おうとしたときに、再度掌屈動作を行える状態とするために背屈動作を一度行わなければならなくなる。このような場合、ユーザは、掌屈動作を複数回行うことによって、表示画像候補を所定方向へ複数回移動させたいのにも関わらず、掌屈動作を複数行うために相反する背屈動作を行なってしまい、表示画像候補がユーザの求める方向とは逆の方向に移動してしまうことになる。

制御部９０は、再度第１動作を行える状態とするために行う、第１動作と相反する第２動作の動作検出を無効とするために、次のような手段を取り得る。

一の手段として、制御部９０は、第１動作を検出してから所定時間以内に検出された第２動作に対しては動作検出を無効にするようにしても良い。制御部９０は、第１動作を検出してから所定時間以内に検出された第２動作に対しては、第２動作に基づく表示部２０による表示動作の実行を無効にするようにしても良い。他の態様において、制御部９０は、例えば、掌屈動作を検出してから所定時間以内に検出された背屈動作に対しては動作検出を無効にするようにしても良い。制御部９０は、例えば、掌屈動作を検出してから所定時間以内に検出された背屈動作に対しては、該第２動作に基づく表示部２０による表示動作の実行を無効にするようにしても良い。所定時間は、例えば０．１秒に設定される。

別の手段として、第１動作が行われた状態と、第２動作が行われた状態と、の間の状態を「中間位」として検出し、１回目の第１動作が検出され、第１動作が行われた状態から「中間位」に遷移するような動作に対しては、制御部９０は、第２動作となる検出を無効にしても良い。第１動作が行われた状態を起点として、第１動作と相反する第２動作が行われた状態へ遷移するような動作に対しては、制御部９０は、第２動作となる検出を有効にしても良い。制御部９０は、身体動作を検出する直前の身体の状態に基づいて、表示動作の内容を異ならせても良い。他の態様において、前述したように、手首が手のひら側にも手の甲側にも曲げられていない状態を「中立位（中間位）」とし、１回目の掌屈動作が検出され、手首が手のひら側に所定角度だけ曲げられた状態となった場合、制御部９０は、該状態から「中立位」に遷移するような動作に対して、背屈動作の検出を無効にしても良い。制御部９０は、手首が手のひら側に所定角度だけ曲げられた状態を起点として、手首が手の甲側に所定角度だけ曲げられた状態へ遷移するような動作に対して、背屈動作としての検出を有効にしても良い。

さらに別の手段として、制御部９０は、第１動作を検出してから第２動作を検出するまでの第１時間と、第１動作を検出してから第２動作を検出するまでの第２時間と、を算出し、第１時間と第２時間に基づいて第１動作と第２動作の内の一方のカウントを有効にするようにしても良い。他の態様において、制御部９０は、例えば、掌屈動作を検出してから背屈動作を検出するまでの第１時間と、背屈動作を検出してから掌屈動作を検出するまでの第２時間と、を算出し、第１時間と第２時間に基づいて掌屈動作と背屈動作の内の一方のカウントを有効にするようにしても良い。

例えば、第１時間が第２時間よりも短い場合には、ユーザが次の動作として、掌屈動作を直ぐにでも行いたい状態であると捉えられる。このため、制御部９０は、掌屈動作のカウントを有効にするようにしても良い。逆に第２時間が第１時間よりも短い場合には、ユーザが次の動作として、背屈動作を直ぐにでも行いたい状態であると捉えられる。このため、制御部９０は、背屈動作のカウントを有効にするようにしても良い。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図９Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図９Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。図９Ｃは、表示部２０の表示動作の他の態様の一例を示す図である。図９Ｄは、表示部２０の表示動作の他の態様の一例を示す図である。他の態様において、ウェアラブル装置１は、接触操作部３０としてのタッチセンサが表示部２０に重畳されて配置されている。ウェアラブル装置１は、表示部２０に表示された画面に対して接触操作可能になっている。図９Ａでは、前腕に装着されたウェアラブル装置１の表示部２０に表示された画像に対して、他方の上肢である右側の上肢によって接触操作可能である状態が示されている。

図９Ａでは、ユーザの一方の上肢における手は第１〜５指の何れもが曲げられた状態である。表示部２０の表示領域２１には、例えば、他のユーザとのメッセージのやり取りを表示するための画面２１０が表示されている。制御部９０が身体動作の内の第１身体動作として、例えば「第２指の伸展動作（パターン２）」を検出すると、表示部２０は、図９Ｂに示すように、第１の接触操作受付画面として文字入力画面２１１を表示する。第１の接触操作受付画面としての文字入力画面２１１は、仮名文字入力を行うための画面である。

次に、図９Ｂに示す状態で、制御部９０が身体動作の内の第２身体動作として、例えば「第３指の伸展動作（パターン２）」を検出すると、表示部２０は、図９Ｃに示すように、第２の接触操作受付画面として文字入力画面２１２を表示する。第２の接触操作受付画面としての文字入力画面２１２は、英字入力を行うための画面である。

図９Ｂに示す状態から図９Ｃに示す状態へ遷移するときに、図９Ｂに示す状態において第２指を伸展させていた状態を維持しつつ、第３指の伸展動作が行われる例が示されているが、これに限られない。ウェアラブル装置１は、例えば、図９Ｂに示す状態から図９Ｃに示す状態へ遷移するときに、第２指を伸展させていた状態を解除して第２指を曲げつつ、第３指を伸展させる場合も該身体動作の検出も有効としても良い。

ウェアラブル装置１は、第１身体動作が検出されてから他の身体動作が検出されるまでは第１の接触操作受付画面を表示し続け、第２身体動作が検出されてから他の身体動作が検出されるまでは第２の接触操作受付画面を表示し続けるようにしても良い。

次に、図９Ｃでは、表示領域２１にユーザによって入力された「○○さんからＴＥＬ」が表示され、次の文字入力を受け付ける旨のアンダーバーが併せて表示されている状態が示されている。制御部９０が身体動作の内の第３身体動作として「手の握り動作（パターン４）」を検出すると、表示部２０は、図９Ｄに示すように、文字入力を完了し、アンダーバーの表示が消去された状態に表示を遷移する。

例えば、ウェアラブル装置１が接触操作部３０を備えていると、該接触操作部３０に対して、ウェアラブル装置１が装着された方の上肢における指で接触操作を行うことは困難である。従って、接触操作部３０に対しては、ウェアラブル装置１が装着された方の上肢とは反対側の他方の上肢によって操作されるのが通常である。

これに対し、他の態様におけるウェアラブル装置１は、接触操作の検出とは異なって、ウェアラブル装置１が装着された方の上肢の身体動作により生じる筋電位に基づいて所定の操作を検出する構成とした。このため、ウェアラブル装置１は、該上肢の指の動作に基づいた操作が可能となる。これにより、ウェアラブル装置１は、筋電位に基づいた操作検出を行わない従来の場合と比較して、より多様な操作を実現することができる。

他の態様において、第１身体動作として「第２指の伸展動作」を、第２身体動作として「第３指の伸展動作」を、それぞれ行う例が示されているが、それぞれの動作を行うための指は、第１〜第５指の何れであっても良い。それぞれの動作は、指の伸展動作に限らず、指が伸展されている状態において指を曲げる動作としても良い。それぞれの動作は、第１指と第２〜５指の何れかとのつまみ動作としても良い。それぞれの動作は、指の動作に限らず、手の動作又は前腕の動作において、それぞれ別個に検出可能な動作を適用しても良い。

ヒトの身体組織的な特徴によれば、第１〜第５指の身体動作を司る筋肉は前述したように同一である。特に、小指を動作させるために筋肉へ伝達される信号と薬指を動作させるために筋肉へ伝達される信号とを分離することは難しい。このため、小指と薬指とが同時に曲がってしまう、又は伸展してしまうことは多くあり得る。

従って、上記の第１動作を一の指の動作とし、上記の第２動作を一方の上肢における他の指の動作とする場合には、第１動作と第２動作のそれぞれに小指と薬指のそれぞれを割り当てないようにしても良い。一の指が小指又は薬指である場合は、他の指には薬指と小指以外の指を割り当てるようにしても良い。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図１０Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図１０Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。図１０Ｃは、表示部２０の表示動作の他の態様の一例を示す図である。図１０Ｄは、表示部２０の表示動作の他の態様の一例を示す図である。図１０Ａに示すように、ウェアラブル装置１は、ユーザの一方の上肢に装着されており、何れの指も曲げられた状態である。表示部２０における表示領域２１の全体には、日時に関する情報を含んだ画像２１３が表示されている。表示領域２１における左辺近傍の端部領域に画像２１４が画像２１３に重畳されて表示されている。表示領域２１における上辺近傍の端部領域に画像２１５が画像２１３に重畳されて表示されている。表示領域２１における左上の角部に画像２１６が画像２１３に重畳されて表示されている。

第２〜５指の内の一つの指として例えば第２指の伸展動作が行われたことを制御部９０が検出すると、図１０Ｂに示すように、表示領域２１における左辺近傍の端部領域に表示されている画像２１４が、第２指が伸展する方向である右方向に拡大されて表示される。拡大表示された画像２１４は、例えば、音楽再生アプリケーションに関する操作項目を含んだ画像である。拡大表示された画像２１４は、ウェアラブル装置１が装着された側の上肢とは反対側の他方の上肢による接触操作を含む操作により操作可能である。拡大表示される前の画像２１４には、例えば、現在再生中の楽曲名を含む、拡大表示された後の画像２１４に表示される情報量よりも少ない量の情報を表示していても良い。

制御部９０は、第２指の伸展動作を検出するとともに、第２指の伸展量又は曲がり量に基づいて、画像２１４の拡大率を変更するようにしても良い。例えば、制御部９０は、第２指がより伸展するに従って、又は、曲がり量が減少するに従って、画像２１４をより拡大して表示するようにしても良い。指の曲がり量とは、例えば、指の各関節の曲がり角度である。

図１０Ｂに示すように、画像２１４が拡大表示された状態で、第２指の曲げ動作が行われたことを制御部９０が検出すると、図１０Ａの状態に戻るようにしても良い。

次に、図１０Ａに示す状態で、第１指の伸展動作が行われたことを制御部９０が検出すると、図１０Ｃに示すように、表示領域２１における下辺近傍の端部領域に表示されている画像２１５が、第１指が伸展する方向である下方向に拡大されて表示される。拡大表示された画像２１５は、例えば、健康管理アプリケーションに関する各種情報を含んだ画像である。拡大表示された画像２１５は、ウェアラブル装置１が装着された側の上肢とは反対側の他方の上肢による接触操作を含む操作により操作可能である。拡大表示される前の画像２１５には、例えば、歩数を含む、拡大表示された後の画像２１５に表示される情報量よりも少ない量の情報を表示していても良い。

制御部９０は、第１指の伸展動作を検出するとともに、第１指の伸展量又は曲がり量に基づいて、画像２１５の拡大率を変更するようにしても良い。制御部９０は、例えば、第１指がより伸展するに従って、又は、曲がり量が減少するに従って、画像２１５をより拡大して表示するようにしても良い。

図１０Ｃに示すように、画像２１５が拡大表示された状態で、第１指の曲げ動作が行われたことを制御部９０が検出すると、図１０Ａの状態に戻るようにしても良い。

図１０Ｂに示すように、第２指が伸展された状態から、第１指の伸展動作が行われたことを制御部９０が検出すると、図１０Ｃに示すように画像２１５を拡大表示するようにしても良い。このとき、画像２１５は、画像２１４に重畳されて表示される。

次に、図１０Ａに示す状態で、第２〜５指の内の一つの指、例えば第２指の伸展動作と第１指の伸展動作とが同時に行われたことを制御部９０が検出すると、図１０Ｄに示すように、表示領域２１における左上の角部に表示されている画像２１６が、第２指が伸展する方向である右方向と第１指が伸展する方向である下方向に拡大されて表示される。拡大表示された画像２１６は、例えば、各種アプリケーションを実行可能な複数のアイコンが表示された所謂ホーム画面である。

以上のように、他の態様におけるウェアラブル装置１は、伸展動作を行う指の違いによって表示させる画像を異ならせている。このように、ウェアラブル装置１は、身体動作を行う指の違いによって表示させる画像を異ならせている。このような構成により、ウェアラブル装置１は、ウェアラブル装置１が装着された一方の上肢の身体動作によって、ユーザがより多くの情報を確認することができる。

図１０Ａに示すように、指の伸展動作を行っていない状態においては、画像２１４〜２１６を表示させることなく、指の伸展動作を検出したときに、画像２１４〜２１６の何れかが新たに挿入されるように表示されても良い。このとき、身体動作の方向である指の伸展方向と画像２１４〜２１６の挿入される方向が一致するようにしても良い。指の伸展量に基づいて画像２１４〜２１６の挿入される大きさを変更するようにしても良い。

次に、ユーザの身体動作に基づいて、表示部２０に所定の表示動作を実行させる際の他の態様について説明する。図１１Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図１１Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。図１１Ａ、図１１Ｂにおいては、ウェアラブル装置１の表示部２０における手の甲側の表示領域２１に表示される表示内容を別途、拡大して模式的に示している。

他の態様においては、所定の身体動作として、例えば、指の身体動作である曲げ動作と伸展動作と、手の身体動作である掌屈動作と背屈動作とによってスクロール操作を行う例を示している。スクロール操作は、表示領域内で収まりきらない表示内容がある場合に、部分的な表示内容だけを表示し、必要に応じて表示内容を移動させる操作である。

図１１Ａ及び図１１Ｂに示すように、表示領域２１には、例えば、ウェブブラウザアプリケーションを実行したときに閲覧可能な各種情報が表示されている。表示領域２１における右辺に沿ってスクロールバーが表示されている。スクロールバーは、全表示内容の内のどの部分の表示内容が表示されているかを示すバーである。

図１１Ａ及び図１１Ｂに示すように、例えば、ウェアラブル装置１が装着された一方の上肢における手の動作、例えば掌屈動作と、指の動作、例えば曲げ動作との少なくとも一方を所定の身体動作として検出すると、該身体動作に基づいてスクロール操作が実行される。このとき、制御部９０は、例えば指の曲がり量又は手首の曲がり量を算出し、算出した曲がり量に基づいてスクロールさせる量である画像の移動量を変更するようにしても良い。ウェアラブル装置１において、制御部９０は、一方の上肢の身体動作に伴う身体の変位量を算出し、表示部２０の表示動作として、算出した変位量に基づいて表示内容を変更する構成であっても良い。ウェアラブル装置１は、このような構成により、一の身体動作で多様な操作を可能とする。

図１１Ａに示すように、ウェアラブル装置１は、例えば、掌屈動作を行うことなく指の曲げ動作が行われたことを制御部９０が検出すると、表示内容を第１の移動量だけスクロールさせる。図１１Ｂに示すように、ウェアラブル装置１は、例えば、掌屈動作を伴って指の曲げ動作が行われたことを制御部９０が検出すると、表示内容を第１の移動量よりも大きな第２の移動量だけスクロールさせる。ウェアラブル装置１は、例えば、掌屈動作を行うことなく指の曲げ動作が行われたことを制御部９０が検出すると、表示内容を第１の移動速度でスクロールさせる。図１１Ｂに示すように、ウェアラブル装置１は、例えば、掌屈動作を伴って指の曲げ動作を行うと、表示内容を第１の移動速度よりも速い第２の移動速度でスクロールさせる構成であっても良い。

以上のように、他の態様におけるウェアラブル装置１は、制御部９０が手の動作と指の動作の内の一方を検出した場合に、表示部２０に第１の表示動作を実行させ、制御部９０が手の動作と指の動作の双方を検出した場合に、表示部２０に第２の表示動作を実行させる構成を有する。この構成によって、他の態様におけるウェアラブル装置１は、複数の身体動作のそれぞれを組み合わせた動作に対して、それぞれ単体の身体動作に基づく表示動作とは異なる表示動作を割り当てることができる。これにより、ウェアラブル装置１は、より多様な操作を実現することができる。

前述のように、他の態様におけるウェアラブル装置１は、第２の表示動作である手の動作と指の動作の内の双方の検出に基づく動作により所定画像を移動させる第２の移動量の方が、第１の表示動作である手の動作と指の動作の内の一方の検出に基づく動作により所定画像を移動させる第１の移動量よりも大きくしても良い。これによって、より大きな身体動作を行うことで、より大きな移動量だけ所定画像をスクロールできる。このため、ウェアラブル装置１は、ユーザにとって使い勝手を良くすることができる。

同様に、他の態様におけるウェアラブル装置１は、第２の表示動作である手の動作と指の動作の内の双方の検出に基づく動作により所定画像を移動させる第２の移動速度の方が、第１の表示動作である手の動作と指の動作の内の一方の検出に基づく動作により所定画像を移動させる第１の移動速度よりも速くしても良い。これによって、より大きな身体動作を行うことで、より早い移動速度で所定画像をスクロールできる。このため、ウェアラブル装置１は、ユーザにとって使い勝手を良くすることができる。

上記の例では、手の掌屈動作と指の曲げ動作とを所定の身体動作として制御部９０が検出する場合を示したが、手の背屈動作と指の伸展動作も同様に制御部９０が検出するものとして良い。この場合、手の背屈動作と指の伸展動作によるスクロールの方向は、手の掌屈動作と指の曲げ動作の場合と逆方向とすれば良い。例えば、指の曲げ動作又は手の掌屈動作を伴った指の曲げ動作により所定画像をスクロールしている最中に、指の伸展動作又は手の背屈動作を伴った指の伸展動作を制御部９０が検出すると、スクロールを途中で停止するようにしても良い。

上記の例では、身体動作における身体の変位量に基づいて、表示内容をスクロールさせる量を変更する構成を示したが、これに限定されない。ウェアラブル装置１は、例えば、音楽再生アプリケーションの起動中に表示される音量変更バー、動作再生アプリケーションの起動中に、データの再生箇所を示すために表示されるシークバーを含む所定のパラメータの変更を可能とするオブジェクトを表示し、身体動作に基づいて、所定のパラメータを変更する構成としても良い。ウェアラブル装置１は、例えば、音楽再生アプリケーションの起動中に、指の身体動作によって音量変更バーを操作する。例えば、指を伸展させたときには、その伸展量又は変位量に基づいて音量を上げるようにし、一方で、指を曲げたときには、その曲がり量又は変位量に基づいて音量を下げるようにしても良い。

上肢の指が曲げられている状態では、音量変更操作を行うために一度、指の伸展動作を行わざるを得なくなる。この場合、ユーザが意図していないのに、勝手に音量が上がってしまい、不快な思いをすることになりかねない。このような状況に鑑みて、他の態様におけるウェアラブル装置１においては、例えば指が完全に曲がった状態と、指が完全に伸展した状態と、の間の所定状態を中間状態として検出し、身体動作による指の曲げ状態が一度、中間状態となったことを契機として、指の身体動作に伴う変位量である曲がり量又は伸展量の算出を開始するようにしても良い。ウェアラブル装置１において、制御部９０は、第１動作が行われた状態と、該第１動作と相反する第２動作が行われた状態と、の間の所定の中間状態を検出し、身体動作によって身体の状態が中間状態となったことを契機として身体の変位量の算出を開始する構成であっても良い。ウェアラブル装置１は、このような構成により、上肢の指が曲げられている状態から、音量調整操作を行うために一度、指の伸展動作を行わざるを得なくなっても、指の曲がり状態が中間状態になるまでは音量変更を行わないようにすることができる。これにより、ウェアラブル装置１は、例えば、不当に音量が変更されることによってユーザが不快な思いをしてしまう事態を回避することができる。

他の態様において、ウェアラブル装置１は、上記の中間状態を基準状態として、該基準状態から身体が変位した量を身体動作による身体の変位量として算出するようにして良い。上記の例では、制御部９０は指の曲がり量の変化を検出し、中間状態における指の曲がり量に対して変化した量を身体の変位量として算出すれば良い。

身体動作に伴う身体の変位量、例えば、指の曲がり量は、例えば、特開２０１０−１２５２８７に開示されている指の関節角度の推定手法を用いることで算出可能である。

図１１Ａ及び図１１Ｂに示す態様において、ウェアラブル装置１では、身体動作に基づいてパラメータを変更する構成を示したが、これに限定されない。他の態様について以下で説明する。図１２Ａは、表示部２０の表示動作の他の態様の一例を示す図である。図１２Ｂは、表示部２０の表示動作の他の態様の一例を示す図である。

図１２Ａでは、表示部２０の表示領域２１に各種アプリケーションを実行するための各アイコンが表示された所謂ホーム画面である画像２１８が表示されている。ウェアラブル装置１が装着された一方の上肢における手は握られた状態である。所定の身体動作として手の開き動作を検出すると、図１２Ｂに示すように画像２１８は拡大表示される。

このとき、制御部９０は、手が握られた状態から手が開かれた状態に遷移するときの手の開き量である変位量を算出し、算出した変位量に基づいて画像２１８の拡大率を変更して表示内容を変更するようにしても良い。制御部９０は、手が開いた状態から手が握られた状態に遷移したことを検出した場合には、各指が曲げられる量に応じて画像２１８を縮小するようにしても良い。

以上のように、他の態様におけるウェアラブル装置１は、ユーザの一方の上肢における身体動作に基づいて、所定画像を拡大表示する構成を有する。このような構成により、ウェアラブル装置１は、例えばユーザの他方の上肢における接触操作を行う際に、所定画像中の所望のオブジェクトに接触し易くすることができる。

画像が拡大表示されると元の画像の一部の表示内容が表示され、他の表示内容が表示されなくなる。表示されなくなった他の表示内容は、例えば、スクロール操作を行うことにより移動させて表示されるようにしても良い。この場合、手の開き動作及び握り動作又は指の伸展動作及び曲げ動作によって、画像の拡大、縮小を行えるようにしているため、スクロールを行うための身体動作としては、手首の曲げ動作として掌屈、背屈、橈屈又は尺屈を適用しても良い。

以上、実施形態を諸図面に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は実施形態の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、又は分割したりすることが可能である。

制御部９０は、一方の上肢における力動作を検出し、力動作が検出されてから所定時間内に身体動作が検出された場合には該身体動作の検出を有効にし、力動作が検出されてから所定時間外に身体動作が検出された場合には該身体動作の検出を無効にする構成としても良い。

上記で説明した「力動作」は、通常、ユーザが意図しない動作によっては行われ難い。「力動作」は、ユーザが意図して行わないとウェアラブル装置１によって検出され難い。従って、ユーザの上肢の身体動作により所定の操作を行う上で、実際に操作として受け付けるための条件として、ユーザが意図して行う身体動作を要求するようにした。このため、ウェアラブル装置１は、ユーザが意図していない動作によって誤操作されてしまうことを防ぐことができる。「力動作」の替わりに、ユーザが意図して行わないと検出され難い他の身体動作を適用しても良い。このような身体動作としては、例えば、第１指と第２指から第５指のいずれかの指とのつまみ動作（パターン３）のような、つまみ動作が適用されて良い。

指の伸展動作により所定動作を実行させたい、又は、所定操作を行いたい場合に、単に指が伸展されたことを検出するのではなく、指をはじく動作を伴って指が伸展動作された場合に、該動作を伸展動作として検出するようにしても良い。「指をはじく動作」とは、例えば、第２〜５指の内の所定の指が曲げられた状態で、該所定の指を伸展させようと力を入れつつ、第１指で外側から抑えつけることによりその伸展動作を抑制した状態を作り、この状態から第１指を離すことで、所定の指を勢いよく外側に伸展させる動作が挙げられる。所定の指が第１指によって抑えられるときに、所定の指と第１指とが互いに及ぼし合い、拮抗する力に基づく筋活動を筋活動検出部７０及び制御部９０が検出することで「指をはじく動作」として検出することが可能である。このように、実施形態に係るウェアラブル装置１において、制御部９０は、一方の上肢における他の物体と拮抗する拮抗動作を検出し、身体動作が、拮抗動作が検出されてから所定時間内に検出された場合には所定の表示動作の実行を有効にし、身体動作が、拮抗動作が検出されてから所定時間内に検出されなかった場合には所定の表示動作の実行を無効にする構成としても良い。

実施形態では、筋活動検出部７０が筋電位検出部７１である場合を示してきた。筋活動検出部７０は、筋電位検出部７１の替わりに、筋肉が収縮するときに生じる微細振動を筋活動として検出する筋音検出部７２であっても良い。微細振動は、筋線維の収縮による側方への拡大変形である。微細振動は、該変形により発生する一種の圧波が筋音信号として検出される。図１３は、筋活動検出部７０が筋音検出部７２である場合のウェアラブル装置の機能ブロックの一例を示す図である。図１３に示す、表示部２０、接触操作部３０、通信部４０、近接センサ５０、傾きセンサ６０、記憶部８０については、図２に示す機能ブロックの場合と同様であるので、説明を省略する。

筋活動検出部７０は、筋音検出部７２である。筋音検出部７２は、加速度センサ７２１と信号処理部７２２とを有する。

加速度センサ７２１は、ユーザの一方の上肢に接触する位置に設けられる。加速度センサ７２１は、ユーザの身体動作に応じた信号を検出する。加速度センサ７２１は、１つの３軸加速度センサと、３つの１軸加速度センサと、を備える。加速度センサ７２１は、上記信号として、上肢の身体運動に起因する加速度信号と筋音信号とを含んだ信号を検出する。加速度信号は、３軸加速度センサのＸ，Ｙ，Ｚ軸から取得される。筋音信号は、３軸加速度センサのＺ軸と１軸加速度センサ３つの計４チャネルから取得される。加速度センサ７２１は、検出した加速度信号と筋音信号とを含む信号を信号分離部７２２へ出力する。

信号分離部７２２は、加速度センサ７２１によって検出された信号から筋音信号を分離する。筋肉の収縮時に生じる筋音信号に含まれる周波数成分は５〜１００Ｈｚである。このため、信号分離部７２２は、例えば、５〜１５０Ｈｚのフィルタを用いて筋音信号を分離すれば良い。分離された筋音信号は、整流、平滑化又は正規化を含む適切な処理が施されることで特徴パターンベクトルとして取得される。制御部９０は、例えばニューラルネットを利用することによって、特徴パターンベクトルから身体動作の種類を推定する。

制御部９０は、筋音信号から特徴パターンベクトルを取得して身体動作の推定を行うのではなく、加速度信号から特徴パターンベクトルを取得して身体動作の推定を行うようにしても良い。このとき、信号分離部７２２は、加速度センサ７２１が検出した信号から加速度信号を分離するために、例えば１〜３Ｈｚのフィルタを用いて分離すれば良い。

加速度信号から身体動作の推定を行う場合、筋音信号からは身体動作時の筋張力を検出するようにしても良い。このとき、検出された筋張力が所定の閾値を超えたことを契機に前述の力動作を検出するようにしても良い。

上記のように、筋音検出部７２においても筋電位検出部７１と同様にして、ユーザの身体動作の種類を推定可能である。このため、制御部９０は、図３における各種パターンの動作を別個に検出することも可能である。従って、ウェアラブル装置１は、ユーザの身体動作に基づいて上記種々の表示制御を実行させることが可能である。

筋音検出部７２は、上記の加速度センサに限定されず、例えば、コンデンサマイクロフォン又は圧電素子を用いた圧力センサ等他の機器を用いても良い。

筋活動検出部７０は、筋電検出と筋音検出の双方を行い、双方で得られた情報の相関に基づいて、筋活動の情報をより精度高く取得するようにしても良い。

実施形態では、ウェアラブル装置１がユーザの前腕における手首近傍に装着されるリストバンド型又は腕時計型のものである例を示したが、ウェアラブル装置１の形態はこれに限定されない。例えば、ウェアラブル装置１は、ユーザの前腕における肘近傍に装着されるアームバンド型のものであっても良い。例えば、ウェアラブル装置１は、指の身体動作を検出したい場合には、ユーザの示指から小指までの４指の付け根近傍にて、手の甲と手の平を取り囲むように装着可能な環状のものであっても良い。このような形状とした場合、例えば、筋活動検出部７０としての筋電位検出部７１は、例えば、母指内転筋、短母指屈筋、小指対立筋、短小指屈筋及び小指外転筋を含む各指の動作を司る手のひら近傍の筋肉に接触可能なように、ウェアラブル装置１に設ければ良い。

上述の態様では、身体動作による身体の変位量に基づいて表示内容を変更する構成を示したが、これに限定されない。例えば、制御部９０は、一方の上肢の身体動作の動作回数を算出し、動作回数に基づいて表示内容を変更する構成としても良い。

例えば、身体動作を検出する直前の指の状態に基づいて、該身体動作による表示動作の表示内容を変更するようにしても良い。例えば、図１１Ｂに示した例において、身体動作を検出する直前の指の状態が第１〜５指の内の一つの指が伸展している状態で掌屈動作を検出すると所定画像を第１の移動量で移動させ、一方で、身体動作を検出する直前の指の状態が第１〜５指の内の二つの指が伸展している状態で掌屈動作を検出すると所定画像を第１の移動量よりも大きな第２の移動量で移動させるようにしても良い。このとき、身体動作を検出する直前の指の状態において、伸展している指の数が多い程、掌屈動作の検出に基づく所定画像の移動量を大きく又は移動速度速くしても良い。

図１４に示す、身体動作を特徴づける各要素をまとめた表から、各カテゴリの一覧の内のそれぞれを、ヒトの身体的特徴上、不可能な身体動作とならないように組み合わせた動作に対して、それぞれ異なる表示動作を対応付けても良い。図１４に示す身体動作を特徴づける各要素をまとめた表は、指の動作と手の動作と前腕の回転動作との少なくともいずれかを含む身体動作と、身体動作を検出する直前の身体の状態とを組み合わせている。まず、指の身体動作に関する大カテゴリ１００内において、小カテゴリ１０１〜１０３のそれぞれにおける各要素が選択され、組み合わさることで指動作の特徴が決定される。小カテゴリ１０２には各要素が示されていないが、動作する指の組み合わせもが要素として選択されることを意味している。次に、手の身体動作に関する大カテゴリ３００内において、小カテゴリ３０１、３０２のそれぞれにおける各要素が選択され、組み合わさることで手又は手首動作の特徴が決定される。次に、前腕の身体動作に関する大カテゴリ４００内において、小カテゴリ４０１、４０２のそれぞれにおける各要素が選択され、組み合わさることで前腕動作の特徴が決定される。そして、大カテゴリ１００〜４００のそれぞれで特徴づけられた指動作、手動作、前腕動作のそれぞれを同時に又は順番は不同で順次行うことによってなされた身体動作に対して、それぞれ異なった身体動作として検出し、該検出に基づいて、異なる表示動作を実行させるようにしても良い。

実施形態では、接触操作部３０によって、ウェアラブル装置１が装着された一方の上肢とは反対の他方の上肢による操作を受け付ける構成を示したが、操作を受け付ける機能部はこれに限定されない。例えば、近接センサ５０が、ユーザの他方の上肢における指が近づいたこと又は遠ざかったことを検出したことを契機として、表示部２０による所定の表示動作を実行させるようにしても良い。

実施形態と同様に、接触操作部３０によって他方の上肢による操作を受け付ける構成を有する場合、例えば、近接センサ５０が、他方の上肢における指が接触操作部３０に近接していることを検出すると、表示部２０が表示する画像の左右方向と腕の長手方向とが一致するように、画像の表示方向を変更するようにしても良い。

例えば、左上肢の前腕に装着されたウェアラブル装置１の接触操作部３０であるタッチセンサに対して右上肢の指で操作する場合には、ヒトの身体的な特徴上、左前腕の長手方向と右腕の指の伸びる方向とが概ね交差する。このため、画像の左右方向と腕の長手方向とが一致、言い換えると画像の上下方向と左前腕の短手方向である橈骨と尺骨とが並ぶ方向とが一致するように表示させることで、画像の上下方向と操作する右手の指の伸びる方向とが一致する。これにより、ウェアラブル装置１は、操作性を向上することができる。

実施形態と同様に、接触操作部３０によって他方の上肢による操作を受け付ける構成を有する場合、接触操作部３０が他方の上肢における指の接触を受け付けると、該接触した部分の形状を検出し、その形状から指が延びている方向である付け根と指先とを通る方向を推定し、該方向と画像の上下方向とが一致するように、該画像の表示方向を変更するようにしても良い。

実施形態で例示した、ウェアラブル装置１と鉄道駅の改札機とを通信させることにより改札機を通過したい場合において、上肢の前腕に取り付けられたウェアラブル装置１を改札機の情報読み取り部にかざす際、所定の身体動作を検出したことを契機に改札機との通信を許可するようにしても良い。例えば、改札機の情報読み取り部に対して、ウェアラブル装置１を横からかざす際は、前腕における外側をかざすこと及び前腕をかざす際に手が情報読み取り部にぶつからないように手を掌屈させることが想定される。従って、上記所定の身体動作として手の掌屈動作を検出したことを契機に改札機との通信を許可するようにしても良い。

改札機の例の他に、例えば電子マネーによる電子決済を行いたい場合において、前腕にウェアラブル装置１を装着し、決済を行うための情報読み取り装置に対して、ウェアラブル装置１をかざす場合も今後想定される。このような場合、情報読み取り装置に対して、ウェアラブル装置１を上からかざす際は、前腕における内側をかざすこと及び前腕をかざす際に手が情報読み取り部にぶつからないように手を背屈させることが想定される。従って、上記所定の身体動作として手の背屈動作を検出したことを契機に情報読み取り装置との通信を許可するようにしても良い。

筋活動検出部７０がユーザの身体動作を検出したときに、傾きセンサ６０がウェアラブル装置１の変動を検出している場合には、制御部９０によって表示部２０の表示動作の実行させる制御を無効にし、筋活動検出部７０がユーザの身体動作を検出したときに、傾きセンサ６０がウェアラブル装置１の変動を検出していない場合には、制御部９０によって表示部２０の表示動作の実行させる制御を有効にするようにしても良い。

表示部２０の表示面が水平面に対して所定角度より大きく傾いている状態を傾きセンサ６０が検出している場合には、身体動作による表示動作の実行制御を無効にし、表示部２０の表示面が水平面に対して所定角度より小さく傾いている状態を傾きセンサ６０が検出している場合には、身体動作による表示動作の実行制御を有効にするようにしても良い。

実施形態に係るウェアラブル装置１は、画像を表示する表示部２０と、前記装着される部位を除いて、ウェアラブル装置１に接触不可能な身体部位の動作を検出する検出部７０と、検出された身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部９０と、を備えるものとしても規定されても良い。

１ ウェアラブル装置
２０ 表示部
３０ 接触操作部
４０ 通信部
７０ 筋活動検出部
８０ 記憶部
９０ 制御部

Claims (4)

1. ユーザの左右の上肢の内、一方の上肢に取り付けられるウェアラブル装置であって、
   画像を表示する表示部と、
   前記一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、
   前記検出された筋活動に基づいて前記一方の上肢の身体動作を検出し、
   前記身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備え、
   前記制御部は、
   前記一方の上肢における手の動作と指の動作の双方を、前記身体動作として検出可能であり、
   前記手と前記指の一方の第１方向への変位動作を検出した場合に、所定画像を第１の移動量だけ移動させる第１の表示動作を実行させ、
   前記手と前記指の双方の前記第１方向への変位動作を検出した場合に、所定画像を第２の移動量だけ移動させる第２の表示動作を実行させる
   ウェアラブル装置。
2. 前記第２の移動量は、前記第１の移動量よりも大きい
   請求項１に記載のウェアラブル装置。
3. ユーザの左右の上肢の内、一方の上肢に取り付けられるウェアラブル装置であって、
   画像を表示する表示部と、
   前記一方の上肢に接触して該上肢の筋活動を検出する筋活動検出部と、
   前記検出された筋活動に基づいて前記一方の上肢の身体動作を検出し、
   前記身体動作に基づいて、前記表示部に所定の表示動作を実行させる制御部と、を備え、
   前記制御部は、
   前記一方の上肢における手の動作と指の動作の双方を、前記身体動作として検出可能であり、
   前記手と前記指の一方の第１方向への変位動作を検出した場合に、所定画像を第１の移動速度で移動させる第１の表示動作を実行させ、
   前記手と前記指の双方の前記第１方向への変位動作を検出した場合に、所定画像を第２の移動速度で移動させる第２の表示動作を実行させる
   ウェアラブル装置。
4. 前記第２の移動速度は、前記第１の移動速度よりも速い
   請求項３に記載のウェアラブル装置。

Images