JP6524320B2 - メガネ型ウエアラブル端末およびこの端末を用いる方法 - Google Patents

Description

この発明の実施形態は、メガネ型ウエアラブル端末に関する。

メガネ型ウエアラブル端末の一形態として、眼電位を検出するアイウエアが知られている（特許文献１）。このアイウエアでは、メガネのノーズパッド部分とアイフレーム間のブリッジ（ユーザの眉間の前にくる部分）に検出電極を設けて、ユーザの眼動にともなう眼電位の変化を検出している。ユーザの眼動の種類（上下左右動や瞬きなど）によって眼電位の変化の仕方が変わる。このことを利用して、アイウエアを装着したユーザは、眼動の種類に応じた情報入力を行うことができる。

特開２０１３−２４４３７０号公報

特許文献１のアイウエアでは、一般的なメガネではユーザに接触しないブリッジ部分に、ユーザに接触する電極がある。（特許文献１の段落００１９に、ユーザに対する電極の接触位置の説明がある。この段落では、第３の電極１５６が図２の位置４５６に接触する旨が記載されている。）このアイウエアでは、ノーズパッド部分以外の顔面上に電極との接触部分があるため、通常のメガネとは装着感が多少異なり、人によっては違和感を持つ可能性がある。

また、特許文献１のアイウエアでは情報入力が眼動に基づくものに限定されるため、眼の疲労も考慮すると、連続入力できる情報量（または情報項目の数）や入力可能な情報の種類は制限される。

この発明の実施形態により解決しようとする課題の１つは、種々な情報入力ができるメガネ型ウエアラブル端末を提供することである。

一実施の形態に係るメガネ型ウエアラブル端末は、ユーザの頭部に装着される本体と、前記本体に設けられ、複数の項目を含む項目リストを表示する表示部と、前記本体の外側表面に設けられ、ユーザの指の動きを検出し、検出結果に応じて第１情報を入力する第１センサと、前記本体に設けられ、前記ユーザの眼動を検出し、検出結果に応じて第２情報を入力する第２センサと、前記第１センサにより入力された前記第１情報に応じて前記表示部の表示内容を変更させる第１処理を実行する第１処理部と、前記第２センサにより入力された前記第２情報に応じて前記表示部で表示されている前記項目リストの中の項目を選択する第２処理を実行する第２処理部と、を具備する。

ジェスチャー検出部を用いた情報入力（情報入力Ａ）と眼動検出部を用いた情報入力（情報入力Ｂ）との組合せによって、入力可能な情報の種類を増やすことができるため、種々な情報入力が可能なメガネ型ウエアラブル端末を提供できる。

また、眼動だけに頼った情報入力ではなく、ジェスチャーも情報入力に利用（併用）できるので、ユーザの眼の疲労を軽減できる。

一実施の形態に係るメガネ型ウエアラブル端末であって、ジェスチャー検出用静電容量センサの電極（１４０〜１４４）の配置例を示す図。 ジェスチャーに応じた静電容量（Ch）の変化からどのようにして検出電圧信号（Vrxbuf）が得られるのかを説明する図。 他の実施の形態に係るメガネ型ウエアラブル端末であって、ジェスチャー検出用静電容量センサの電極（１４０〜１４４、１４０＊〜１４４＊）の配置例と、ノーズパッド部に設けられた眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）の配置例を示す図。 さらに他の実施の形態に係るメガネ型ウエアラブル端末であって、ジェスチャー検出用静電容量センサの電極（１４０〜１４４、１４０＊〜１４４＊）の配置の別例を示す図。 ノーズパッド部に設けられる眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）の種々な例を説明する図。 ノーズパッド部に設けられる眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）からどのように検出信号を取り出すのかの一例を説明する図。 種々な実施の形態に係るメガネ型ウエアラブル端末に取り付け可能な情報処理部（プロセッサ１１ａ、不揮発性メモリ１１ｂ、メインメモリ１１ｃ、通信処理部１１ｄなどを含む集積回路）１１と、その周辺デバイス（ディスプレイ１２、カメラ１３、ジェスチャー検出部１４、眼動厳守粒１５、電源ＢＡＴなど）との関係を説明する図。 正面から上方への眼動と、図６に示す３つのアナログ／デジタルコンバータ（ＡＤＣ）から得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１とＣｈ２の平均レベルＣｈ１＋２）との関係を例示する眼電図（ＥＯＧ）。 正面から下方への眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１＋２）との関係を例示する眼電図。 左から右への眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１＋２）との関係を例示する眼電図。 視線が正面を向いているときに、瞬き（両目）を５秒間隔で５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 視線が正面を向いているときに、１秒の眼瞑り（両目）と４秒の眼開き（両目）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 視線が正面を向いているときに、両目の瞬きを５回反復した直後に左目のウインク（左側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 視線が正面を向いているときに、両目の瞬きを５回反復した直後に右目のウインク（右側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 ジェスチャーによる情報入力（情報入力Ａ）と眼動による情報入力（情報入力Ｂ）との組合せによってどのような処理が行われるのかの一例を説明するフローチャート。

以下、図面を参照しながら種々な実施形態を説明する。図１は、一実施の形態に係るメガネ型ウエアラブル端末１００の概観を示す。この例では、右アイフレーム（右リム）１０１と左アイフレーム（左リム）１０２がブリッジ１０３連結されている。左右アイフレーム１０２、１０１およびブリッジ１０３は、導電性を持つ部材、例えば軽量金属（アルミ合金、チタンなど）で構成できる。左アイフレーム１０２の左外側は左ヒンジ１０４を介して左テンプルバー１０６に繋がり、左テンプルバー１０６の先端に左モダン（左イヤーパッド）１０８が設けられている。同様に、右アイフレーム１０１の右外側は右ヒンジ１０５を介して右テンプルバー１０７に繋がり、右テンプルバー１０７の先端に右モダン（右イヤーパッド）１０９が設けられている。

右ヒンジ１０５付近のアイフレーム１０１の一部（または右テンプルバー１０７内）には、情報処理部１１（数ミリ角の集積回路）が埋め込まれている。この情報処理部１１は、マイクロコンピュータ、メモリ、通信処理部などを集積したＬＳＩにより構成される（情報処理部１１の詳細については、図７を参照して後述する）。

図１では示していないが、リチウムイオン電池などの小型電池（図３のＢＡＴ相当）が、例えば左ヒンジ１０４付近の左テンプルバー１０６内（あるいはモダン１０８または１０９内）に埋め込まれ、メガネ型ウエアラブル端末１００の動作に必要な電源となっている。

左ヒンジ１０４寄りの左アイフレーム１０２端部には、左カメラ１３Ｌが取り付けられ、右ヒンジ１０５寄りの右アイフレーム１０１端部には、右カメラ１３Ｒが取り付けられている。これらのカメラは、超小型のＣＣＤイメージセンサを用いて構成できる。

これらのカメラ（１３Ｌ、１３Ｒ）は、ステレオカメラを構成するものでもよい。あるいはこれらのカメラの位置に赤外線カメラ（１３Ｒ）とレーザー（１３Ｌ）を配置し、赤外線カメラ＋レーザーによる距離センサを構成してもよい。この距離センサは、超音波を集音する小型半導体マイク（１３Ｒ）と超音波を放射する小型圧電スピーカー（１３Ｌ）などで構成することもできる。

なお、左右カメラ１３Ｌ／１３Ｒの代わりに、あるいは左右カメラ１３Ｌ／１３Ｒに加えて、ブリッジ１０３部分に図示しない中央カメラを設ける実施形態も考えられる。逆に、カメラを全く装備しない実施形態もあり得る（これらのカメラは、図７ではカメラ１３として示されている）。

左アイフレーム１０２には左ディスプレイ１２Ｌがはめ込まれ、右アイフレーム１０１には右ディスプレイ１２Ｒがはめ込まれている。このディスプレイは、左右のアイフレームの少なくとも一方に設けられ、フィルム液晶などを用いて構成できる。具体的には、偏光板を用いないポリマー分散型液晶（ＰＤＬＣ）を採用したフィルム液晶表示デバイスを用いて、左右のディスプレイ１２Ｌ、１２Ｒの一方または両方を構成できる（このディスプレイは、図７ではディスプレイ１２として示されている）。なお、右アイフレーム１０１だけにディスプレイ１２Ｒを設けるように構成した場合は、左アイフレーム１０２には透明プラスチック板をはめ込むだけでよい。

ブリッジ１０３は送信電極１４０に繋がっており、この送信電極１４０はアイフレーム１０１（および１０２）に電気的かつ機械的に繋がっている。右アイフレーム１０１の周囲には４つの受信電極１４１〜１４４が設けられている。具体的には、右アイフレーム１０１の上側に、図示しない誘電体層を介して（つまり送信電極から絶縁されて）、北側受信電極（上側電極）１４１が設けられる。同様に、右アイフレーム１０１の下側に南側受信電極（下側電極）１４２が設けられ、その右側に西側受信電極（右側電極）１４３が設けられ、その左側に東側受信電極（左側電極）１４４が設けられている。（概略的に言って、送信電極１４０に繋がる金属製ブリッジ１０３が金属製アイフレーム１０１全体と電気的に繋がっており、電極１４１〜１４４が誘電体絶縁層を介してアイフレーム１０１の４個所と向き合っている、という構造。）これらの電極１４０〜１４４は互いに電気的に分離され、絶縁された配線材（図示せず）を介して、情報処理部１１に接続されている。電極１４０〜１４４は、静電容量センサとして用いられ、図７のジェスチャー検出部１４の構成要素となっている。

なお、図１では分かりやすくするために電極１４１〜１４４が目立つような描き方となっている。しかし、実際の製品では、これらの電極は、アイフレーム内部に埋め込むなどの方策により、外観上は目立たないようにできる。

また、図１では静電容量センサの電極（１４１〜１４４）が右アイフレーム１０１側だけに設けられているが、同様な電極（１４１＊〜１４４＊）を、図３の実施形態のように、左アイフレーム１０２側に設けることもできる。別の言い方をすると、静電容量センサの電極（１４１〜１４４／１４１＊〜１４４＊）は、右アイフレーム１０１側および／または左アイフレーム１０２側に配置することができる。この電極配置に対応して、表示ディスプレイ（１２Ｒおよび／または１２Ｌ）を、右アイフレーム１０１側および／または左アイフレーム１０２側に配置することができる。

左右のアイフレーム１０２、１０１の間であって、ブリッジ１０３の下側には、ノーズパッド部が設けられる。このノーズパッド部は、左ノーズパッド１５０Ｌと右ノーズパッド１５０Ｒのペアで構成される。図１では図示していないが、右ノーズパッド１５０Ｒには右ノーズパッド電極１５１ａ，１５１ｂが設けられ、左ノーズパッド１５０Ｌには左ノーズパッド電極１５２ａ，１５２ｂが設けられている（図３〜図６参照）。

これらの電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは互いに電気的に分離され、絶縁された配線材（図示せず）を介して、３つのＡＤコンバータ（図６のＡＤＣ１５１０、１５２０、１５１２）に接続される。これらのＡＤＣからの出力は、左右アイフレームに隣接するユーザの眼の動きに応じて異なる信号波形を持ち、ユーザの眼動に応じて内容が異なるデジタルデータとして、図７の情報処理部１１に供給される。電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、視線検出センサとして用いられ、３つのＡＤコンバータとともに図１１の眼動検出部１５の構成要素となっている。

図１のメガネ型ウエアラブル端末１００は、左右のノーズパッド（１５０Ｌ、１５０Ｒ）と左右のテンプルバー（１０６、１０７）と左右のモダン（１０８、１０９）によって、図示しないユーザの頭部に固定される。図１の実施形態では、ユーザの頭部（または顔面）に直接触れるのは、左右のノーズパッド（１５０Ｌ、１５０Ｒ）と左右のテンプルバー（１０６、１０７）と左右のモダン（１０８、１０９）だけでよいが、ＡＤＣ（図３、図４、図６）とユーザのボディとの間の電圧合わせなどのために、それら（ノーズパッド、テンプルバー、モダン）以外の部分がユーザに触れる実施形態があってもよい。

図２は、ジェスチャー（例えばユーザの手または指の動き）に応じた静電容量（Ch）の変化からどのようにして検出電圧信号（Vrxbuf）が得られるのかを説明する図である。ここでは、図１のメガネ型ウエアラブル端末１００を装着したユーザのボディを接地電位（ＧＮＤ）とする。人体は電気的導体であるから、ユーザの手や指も接地電位（ＧＮＤ）にあるとみなす。（以下は、ジェスチャーに伴う検出信号がどのようにして得られるのかの概略説明とし、電極１４１〜１４４が左右のアイフレームの一方だけにあるシンプルな場合で説明する。）
いま、受信電極（１４１〜１４４の１つ;例えば１４１）が送信電極１４０とＧＮＤ（例えばユーザの手あるいは指）の間に挟まれており、送信電極１４０と受信電極１４１との間の静電容量をCrxtxとする。また、送信電極１４０とＧＮＤとの間の静電容量をCtxgとし、受信電極１４１とＧＮＤとの間の静電容量をCrxgとし、検出しようとするジェスチャーを行うユーザの手や指（ＧＮＤ）と受信電極との間の静電容量をChとする（Chはユーザのジェスチャーに応じて変化する）。ユーザの手などによる静電容量Chを加味すると、受信電極１４１とＧＮＤとの間の総合的な静電容量は、Crxg + Chとなる。ここで、送信電極１４０とＧＮＤとの間に電圧Vtxの高周波電圧を加えると、受信電極１４１から得られる信号電圧は、
Vrxbuf = Vtx x {(Crxtx)/(Crxtx + Crxg + Ch)} …（１）
となる。

各受信電極１４１〜１４４で電極容量（Crxtx, Crxg）が異なり、かつ、ユーザのジェスチャーに対応して変化する容量（Ch）も各受信電極１４１〜１４４で異なる。そのため、受信電極１４１〜１４４から得られる個別の電圧信号（Vrxbuf1〜Vrxbuf4）の大きさは受信電極毎に異なる。しかし、それらの電圧信号（Vrxbuf1〜Vrxbuf4）を求める式は（１）で与えられる。

４つの受信電極１４１〜１４４からは、ユーザのジェスチャーに応じて個別に変化する４つの電圧信号（Vrxbuf1〜Vrxbuf4）が得られる。これらの電圧信号の変化の仕方は、ユーザのジェスチャー対応している（例えば４つの電圧信号をバーグラフで表すと、４つのバーの高さは、互いにばらばらに、しかしユーザのジェスチャーに応じたパターンで、変化する）。例えば手や指を、上下左右に振る、時計回りあるいは反時計回りに回す、受信電極に近づけたり受信電極から遠ざけたりするといったことに対応して、４つの電圧信号（Vrxbuf1〜Vrxbuf4）が変化する。このことから、ユーザのジェスチャーパターン（手や指の上下動、回転など）と４つの電圧信号（Vrxbuf1〜Vrxbuf4）の変化パターンとの対応関係を事前に調べておけば、ユーザのジェスチャーを識別して検出することができる。これにより、例えば指を下（南側）から上（北側）へ跳ね上げるジェスチャーを、画面を下から上へスクロールさせる、という命令に変換できる。

なお、式（１）の関係を利用した３Ｄジェスチャーセンサは、Microchip Technology Inc.のMGC3130（Single-Zone 3D Tracking and Gesture Controller）として製品化されている（MGC3130の詳細なデータシートはWebから得ることができる）。式（１）の関係を利用した３Ｄジェスチャーセンサは、原理的には公知技術である。しかし、３Ｄジェスチャーセンサと眼動センサを組合せ、さらには画像ＩＭ１／ＩＭ２（図３などを参照）によるＡＲ表示を利用可能にした実施形態は、新規である。（ＡＲは拡張現実：Augmented Realityの略で、例えばメガネ越しに見える現実の世界に情報を付加させるテクノロジーを指す。）
図３は、他の実施の形態に係るメガネ型ウエアラブル端末であって、ジェスチャー検出用静電容量センサの電極（１４０〜１４４、１４１＊〜１４４＊）の配置例と、ノーズパッド部に設けられた眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）の配置例を示す。図３の例では、図１で大き目に図示した受信電極１４１〜１４４と同様な機能を持つ受信電極（１４１〜１４４、１４１＊〜１４４＊）が、アイフレーム１０１および１０２の周辺に目立たないように配置されている。（図３の受信電極１４１〜１４４と受信電極１４１＊〜１４４＊は、誇張すれば図１の電極１４１〜１４４のような位置関係で、左右対称に配置される。）
図３において、右側の受信電極１４１〜１４４は、互いに絶縁されており、図示しない電気的絶縁体（例えばプラスチック、または小型キャパシタでよく用いられるポリプロピレンフィルムなど）を介して、送信電極１４０に繋がるフレーム１０１の金属部分と、向き合うように配置されている。同様に、左側の受信電極１４１＊〜１４４＊は、互いに絶縁され、図示しない電気的絶縁体を介して、送信電極１４０に繋がるフレーム１０２の金属部分と、向き合うように配置される。

図３の右ノーズパッド１５０Ｒの上下には右ノーズパッド電極１５１ａ，１５１ｂが設けられ、左ノーズパッド１５０Ｌの上下には左ノーズパッド電極１５２ａ，１５２ｂが設けられている。右ノーズパッド電極１５１ａ，１５１ｂの出力はＡＤＣ１５１０に与えられ、左ノーズパッド電極１５２ａ，１５２ｂの出力はＡＤＣ１５２０に与えられ、左右ノーズパッドの下側電極１５１ｂ，１５２ｂ（または上側電極１５１ａ，１５２ａ）の出力はＡＤＣ１５１２に与えられる。

ＡＤＣ１５１０からは、ユーザの右側上下眼動に対応して変化するＣｈ１信号が得られる。ＡＤＣ１５２０からは、ユーザの左側上下眼動に対応して変化するＣｈ２信号が得られる。ＡＤＣ１５１２からは、ユーザの左右眼動に対応して変化するＣｈ０信号が得られる。左右両眼の上下動については、ＡＤＣ１５１０およびＡＤＣ１５２０の出力の平均に対応するＣｈ1+2信号で評価できる。（Ｃｈ０，Ｃｈ１，Ｃｈ２，Ｃｈ1+2の信号波形と眼動との関係については、図８〜図１４を参照して後述する。）
図３の右ディスプレイ１２Ｒのフィルム液晶には、例えばテンキー（数字、演算子、Enter、他）、アルファベットなどのアイコン群を含む右表示画像ＩＭ１を表示でき、左ディスプレイ１２Ｌのフィルム液晶には、例えば任意の文字列やアイコンなどを含む左表示画像ＩＭ２を表示できる（ディスプレイ１２Ｌ、１２Ｒの表示内容は、何でも良い）。右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示されるテンキーやアルファベットは、数字や文字を入力する際に利用できる。右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示される文字列やアイコンは、特定の情報項目を探したり、目的の項目の選択／決定をする際に利用できる。

表示画像ＩＭ１、ＩＭ２は、メガネをとおして見える現実の世界に数字や文字などの情報を付加させる拡張現実（ＡＲ：Augmented Reality）を提供する手段として、利用できる。表示画像ＩＭ１の内容と表示画像ＩＭ２は、実施形態に応じて、同じ内容（ＩＭ１＝ＩＭ２）としても、異なる内容（ＩＭ１≠ＩＭ２）としてもよい。また、表示画像ＩＭ１（またはＩＭ２）の表示は、右ディスプレイ１２Ｒおよび／または左ディスプレイ１２で行うことができる。ＡＲ表示の内容を、メガネ越しに見える現実世界に重なる（奥行きを伴った）３Ｄ画像としたいときは、ＩＭ１とＩＭ２を左右別々の３Ｄ用画像とすることができる。

また、ディスプレイ（１２Ｒ、１２Ｌ）が左右に存在する場合、例えば輻輳角を調整して、左右の表示画像（ＩＭ１、ＩＭ２）の映像を左右で逆方向にずらすこともできる。これにより、現実世界で見える対象物とＡＲ表示を交互に見る場合の目の負担を減らすことが考えられる。しかし、通常は、左右のディスプレイ（１２Ｒ、１２Ｌ）で同じ内容の画像を表示する。

ディスプレイ１２Ｌ、１２Ｒでの表示制御は、右テンプルバー１０７に埋め込まれた情報処理部１１で行うことができる。（ディスプレイで文字やアイコンなどを表示する技術は周知。）情報制御部１１その他の動作に必要な電源は、左テンプルバー１０６に埋め込まれた電池ＢＡＴから得ることができる。

なお、図３の実施形態に対応する試作品をデザイナーや設計者が装着してみて重量バランスが悪いと感じる可能性がある。その主因が左テンプルバー１０６内のＢＡＴにあるならば、右テンプルバー１０７内に左テンプルバー１０６内のＢＡＴに見合った「おもり」を入れておくことができる。

図３の例のように左右両方にセンサ電極（１４１〜１４４と１４１＊〜１４４＊）があるが情報処理部１１は片側にしかない場合は、フレーム１０２，１０１の内側に極小の４芯フラットケーブル（図示せず）を目立たないように這わせて、左側電極１４１＊〜１４４＊を右側の情報処理部１１に接続することが考えられる。同様に、フレーム１０１の内側に極小フラットケーブル（図示せず）を目立たないように這わせて、右側電極１４１〜１４４を右側の情報処理部１１に接続することができる。ノーズパッド電極（１５１ａ，１５１ｂ、１５２ａ，１５２ｂ）を情報処理部１１へ接続することにも、同様な極小フラットケーブルを利用できる。

左右両方に２組のジェスチャー検出用静電容量センサ電極（１４０〜１４４、１４１＊〜１４４＊）を設けると、静電容量センサの受信電極数は左右で合計８個となる。すると、左右の手（あるいは２本以上の指）の３Ｄジェスチャーに対応して個別に変化する８種類の検出信号（Vrxbuf）が得られる。これらの検出信号の変化の組合せで情報入力Ａ（図７）を作り出すことができる。この情報入力Ａを用いて、多種多様なジェスチャーの検出が可能になる（例えば幾つかの手話パターンを検出することが考えられる）。

また、左右両方に２組のジェスチャー検出用静電容量センサ電極（１４０〜１４４、１４１＊〜１４４＊）を設けることにより、検出可能なジェスチャー（特に水平方向のジェスチャー）の可動範囲が増える。例えば図３の実施形態において、ジェスチャーの区間を５つ（右アイフレーム１０１の右端、右アイフレーム１０１の中央、ブリッジ１０３の中央、左アイフレーム１０２の中央、左アイフレーム１０２の左端）に分けて考えて見る。この場合、例えば右手の指のジェスチャー可動範囲は、右アイフレーム右端〜右アイフレーム中央の範囲と、右アイフレーム右端〜ブリッジ中央の範囲と、右アイフレーム右端〜左アイフレーム中央の範囲と、右アイフレーム右端〜左アイフレーム左端（または左アイフレーム左端のさらに外側）の範囲のいずれでもよくなる。

上記５つの可動範囲の何処でジェスチャーが行われたかは、静電容量センサの８つの受信電極からの８つの信号レベルの変化状態から判定できる。（例えば右アイフレーム右端〜左アイフレーム左端の間で大きく指を左右に振れば、８つの電極信号レベルは全て個別に変化する。）このように可動範囲を判別可能に区切ると、同じようなパターンのジェスチャーでも、どの範囲で行われたジェスチャーなのかを区別できるようになる。すると、複数の可動範囲の何処でジェスチャーが行われたのかの判定結果を利用することができ、情報入力Ａにより入力できるコマンドの種類を（可動範囲の判別をしない場合と比べて）、大幅に増やすことができる。

なお、図３（または図１）の実施形態は、右アイフレーム１０１側の電極１４１〜１４４により、右前方の３Ｄ空間（ユーザが表示画像ＩＭ１を見ている先の空間）で右利きのユーザが右手（右手の指先）による３Ｄジェスチャーをした場合を検出するように構成されている。さらに、図３の実施形態のように、左アイフレーム１０２側に（左表示画像ＩＭ２を取り囲むように）ジェスチャー検出用静電容量センサの電極１４１＊〜１４４＊を設けることで、右前方の３Ｄ空間における左手の３Ｄジェスチャーを検出することができ、左利きユーザに対する操作性を改善できる。

もし、左利きユーザ専用とするなら、ジェスチャー検出用静電容量センサは左アイフレーム１０２側の電極１４１＊〜１４４＊だけでもよく、ジェスチャー操作に係る表示画像はＩＭ２だけとすることもできる。このように、右アイフレーム１０１側の電極１４１〜１４４および表示画像ＩＭ１を省略した実施形態も可能である。（表示画像ＩＭ２の表示内容は、表示画像ＩＭ１で表示しようとしていた表示内容と同じでも異なるものでもよい。）
図４は、さらに他の実施の形態に係るメガネ型ウエアラブル端末を示す。ここでは、ジェスチャー検出用静電容量センサ１４の電極（１４０〜１４４）が、右テンプルバー１０７側に設けられ、ジェスチャー検出用静電容量センサ１４＊の左側電極（１４０＊〜１４４＊）が、左テンプルバー１０６側に設けられている。右テンプルバー１０７に接するユーザの右顔面、および左テンプルバー１０６に接するユーザの左顔面が、ＧＮＤとなる。このＧＮＤから電気的に絶縁される形で静電容量センサ１４の電極１４０〜１４４が形成されたプラスチックタブ１４Ｔが、右テンプルバー１０７に取り付けられる。同様に、ＧＮＤから電気的に絶縁される形で、静電容量センサ１４＊の電極１４０＊〜１４４＊が形成されたプラスチックタブ１４Ｔ＊が左テンプルバー１０６に取り付けられる。

テンプルバーへのタブの取り付けには、次の方法が考えられる。すなわち、タブ１４Ｔ（または１４Ｔ＊）をテンプルバー１０７（または１０６）に取り外しできないよう機械的に固定する方法と、スナップロックタイプの多接点コネクタなどを利用して、テンプルバー１０７（または１０６）に設けたコネクタ受け部分（図示せず）にタブ１４Ｔ（または１４Ｔ＊）のコネクタを着脱自在に装着する方法が考えられる。タブとテンプルバーとを着脱自在に結合するコネクタ部分には、コネクト後の機械的強度を考慮した機構設計をした上で、マイクロＵＳＢあるいはマイクロＨＤＭＩ（登録商標）のような接点構造を利用できる。

図４の実施形態では、情報処理部１１およびそれと同機能の情報処理部１１＊が、右テンプルバー１０７内および左テンプルバー１０６内に設けられている。さらに、電池ＢＡＴが右モダン１０９の肉厚部内に取り付けられ、電池ＢＡＴ＊が左モダン１０８の肉厚部内に取り付けられるようになっている。

図４の実施形態では、左右のテンプルバー１０６、１０７の一部がユーザの左右耳たぶの裏側（図示せず）に乗る形でユーザの頭部に装着される。その場合、ユーザの耳たぶ裏側の上端を支点と考えると、ＢＡＴおよびＢＡＴ＊の重さにより、支点の前方（アイフレーム１０１、１０２のある側）とその後方（モダン１０９、１０８のある側）との重量バランスが改善される。さらに、ＢＡＴおよびＢＡＴ＊が左右に配置されるため、ユーザの左右両眼の中心からみて、メガネ型ウエアラブル端末１００の左右重量バランスもよくなる。

なお、図４のように、２つの情報処理部１１、１１＊を左右のテンプルバー１０７、１０６にそれぞれ設ける構造、および／または２つの電池ＢＡＴ、ＢＡＴ＊を左右のモダン１０９、１０８にそれぞれ設ける構造は、図示しないが、図３の実施形態にも適用できる。

図４の実施形態では、プラスチックタブ１４Ｔ（あるいは１４Ｔ＊）の付近で手や指を前後上下に動かしたり、横顔付近で手や指を回転させたり、手や指を顔に近づけたり離したりする動作が、代表的なユーザのジェスチャーとなる。

図５の（ａ）〜（ｅ）は、ノーズパッド部（１５０Ｌ、１５０Ｒ）に設けられる眼動検出用のノーズパッド電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）の種々な例を示す。図５（ａ）は、左右のノーズパッドに設けられる４つのノーズパッド電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂが、左右上下で対象に配置された例を示す。

図５（ｂ）は、左右のノーズパッドに設けられる４つのノーズパッド電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂが、左右は対象であるが上下で非対称となっている例を示す。ノーズパッド部（１５０Ｌ、１５０Ｒ）には、左右のアイフレームの自重で下に押し付けられる力が働く。すると下側ノーズパッド電極（１５１ｂ，１５２ｂ）については小さな面積でもユーザの鼻の皮膚面と十分に接触できるが、上側ノーズパッド電極（１５１ａ，１５２ａ）についてはユーザの鼻の皮膚面との接触が悪くなる可能性がある。左右アイフレームの自重でノーズパッド部（１５０Ｌ、１５０Ｒ）が下方へ押し付けられることにより上側ノーズパッド電極（１５１ａ，１５２ａ）の接触が悪くなろうとしても、図５（ｂ）のように上側ノーズパッド電極（１５１ａ，１５２ａ）の面積を大きくしておけば、上側ノーズパッド電極（１５１ａ，１５２ａ）の接触悪化を抑えることができる。

図５（ｃ）は、左右のノーズパッドに設けられる４つのノーズパッド電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂが、左右上下とも非対称となっている例を示す。図５（ｃ）の配置は図５（ｂ）のノーズパッドの一方（ここでは１５０Ｒ）を１８０°回転させることで得られる。ユーザの鼻の皮膚状態や姿勢、あるいはめがねの実装状態によっては、図５（ｂ）よりも図５（ｃ）の方が左右のノーズパッド電極の接触がよくなる可能性がある。そのような場合は、左右のノーズパッド部（１５０Ｌ、１５０Ｒ）を回転可能に軸支して、図５（ｂ）の配置および図５（ｃ）の配置のいずれもユーザが選択可能にしておくことができる。

図５（ａ）〜（ｃ）の電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、例えば所定形状に成型された絶縁体／誘電体（セラミック、プラスチック、ゴムなど）のノーズパッド部材上に、所定の電極パターンを金属蒸着するか、導電性塗料を印刷するか、電極片を貼り付けることで、得られる。これらの電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、ノーズパッド部材の表面と面一でもよいし、ノーズパッド部材の表面から盛り上がっていてもよい。

図５（ｄ）、（ｅ）の例では、左右のノーズパッド１５０Ｌ、１５０Ｒの所定箇所に孔を開け、その孔に小さな金属リングを嵌め込んで、４つのノーズパッド電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂを取り付けている。ここではリング状のノーズパッド電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂを例示しているが、それはあくまで一例である。隅角を丸めた多角形電極でもよいし、文字Ｃのように一部が切り取られた形状でもよい。

図６は、ノーズパッド部に設けられる眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）からどのように検出信号を取り出すのかの一例を説明する図である。右ノーズパッド１５０Ｒの上電極１５１ａと下電極１５１ｂとの間の電位差は、ＡＤＣ１５１０で高入力インピーダンス受けし、時間とともに変化し得る上下電極間のＣｈ１電位差を、デジタルデータとして取り出す。左ノーズパッド１５０Ｌの上電極１５２ａと下電極１５２ｂとの間の電位差は、ＡＤＣ１５２０で高入力インピーダンス受けし、時間とともに変化し得る上下電極間のＣｈ２電位差を、デジタルデータとして取り出す。

さらに、左ノーズパッド１５０Ｌの下電極１５２ｂと右ノーズパッド１５０Ｒの下電極１５１ｂとの間の電位差をＡＤＣ１５１２で高入力インピーダンス受けし、時間とともに変化し得る左右電極間のＣｈ０電位差をデジタルデータとして取り出す。（なお、左ノーズパッド１５０Ｌの上電極１５２ａと右ノーズパッド１５０Ｒの上電極１５１ａとの間の電位差をＡＤＣ１５１２で高入力インピーダンス受けし、時間とともに変化し得る左右電極間のＣｈ０電位差をデジタルデータとして取り出すようにしても良い。）
なお、図６のＡＤＣ１５１０、１５２０、１５１２には、動作電圧Ｖｄｄ＝３．３Ｖで分解能２４ビットのＡＤＣを用いることができる。その場合、検出信号レベルの重みは３．３Ｖ÷（２の２４乗）≒２００ｎＶとなる。図８〜図１４の検出信号レベルにおいて、Ｃｈ１、Ｃｈ２の振幅値が約１０００のときには、ＡＤＣからの検出信号レベルは、電圧換算で約２００μＶとなる。

図６の眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある：
＜眼球運動（眼動）の種類＞
（01）補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。

（02）随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。

（03）衝撃性眼球運動（サッケード）
物を見ようとして注視点を変えるときに発生する眼球運動（検出し易い）。

（04）滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動（検出し難い）。

＜眼球の移動範囲（一般的な成人の場合）＞
（11）水平方向
左方向: 50°以下
右方向: 50°以下
（12）垂直方向
下方向: 50°以下
上方向: 30°以下
（自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。（閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。）
（13）その他
輻輳角: 20°以下
図７は、種々な実施の形態に係るメガネ型ウエアラブル端末に取り付け可能な情報処理部１１と、その周辺デバイスとの関係を説明する図である。図7の例では、情報処理部１１は、プロセッサ１１ａ、不揮発性メモリ１１ｂ、メインメモリ１１ｃ、通信処理部１１ｄなどで構成されている。プロセッサ１１ａは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ１１ｂに格納しておくことができる。プログラムを実行する際のワークエリアはメインメモリ１１ｃが提供する。

プロセッサ１１ａで何をするかは、通信処理部１１ｄを介して、図示しない外部サーバ（またはパーソナルコンピュータ）から、指令することができる。通信処理部１１ｄでは、ZigBee（登録商標）、Bluetooth（登録商標）、Wi-Fi（登録商標）などの既存通信方式を利用できる。プロセッサ１１ａでの処理結果は、通信処理部１１ｄを介して、外部サーバなどへ送ることができる。

情報処理部１１のシステムバスには、ディスプレイ１２（図１、図３、図４では１２Ｌと１２Ｒ）、カメラ１３（図１では１３Ｌと１３Ｒ）、ジェスチャー検出部１４、眼動検出部１５が接続されている。図７の各デバイス（１１〜１５）は、バッテリＢＡＴにより給電される。

図７のジェスチャー検出部１４は、静電容量センサを構成する電極１４０〜１４４と、前述した４つの電圧信号（Vrxbuf1〜Vrxbuf4）の変化パターンに基づくデータをプロセッサ１１ａ側に出力する回路を含んでいる。プロセッサ１１ａは、４つの電圧信号（Vrxbuf1〜Vrxbuf4）の変化パターン（例えば指先を下から上へ跳ね上げる動きに対応）から、ユーザのジェスチャーに対応する指令（例えば図３のディスプレイ１２Ｌに表示された画像ＩＭ２内の文字列を下から上へスクロールさせる指令）を解釈し、ディスプレイ１２において下から上へのスクロールを実行する。この指令は、ジェスチャー検出部１４を用いた情報入力Ａの一例である。

図７の眼動検出部１５は、視線検出センサを構成する４つの眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）と、これらの電極から眼動に対応したデジタル信号を取り出す３つのＡＤＣ（１５１０、１５２０、１５１２）と、これらＡＤＣからの出力データ（図８〜図１４の検出信号波形に対応したデータ）をプロセッサ１１ａ側に出力する回路を含んでいる。プロセッサ１１ａは、ユーザの種々な眼動（上下動、左右動、瞬き、眼瞑りなど）から、その眼動の種類に対応する指令を解釈し、その指令を実行する。

眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し（コンピュータマウスのワンクリックに類似）、連続した複数回の瞬きあるいはウインクなら選択された情報項目に対する処理の実行を開始させる（コンピュータマウスのダブルクリックに類似）指令がある。この指令は、眼動検出部１５を用いた情報入力Ｂの一例である。

次に、ユーザの視線方向の検出方法（推定方法）を説明する。図８は、正面から上方への眼動と、図６のＡＤＣ（１５１０、１５２０、１５１２）から得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１とＣｈ２の平均レベルＣｈ１＋２）との関係を例示する眼電図（Electro-oculogram：ＥＯＧ）である。眼動検出は、図中の破線枠内の検出信号波形に基づいて行う。検出の基準は、ユーザが真正面を見ており眼動がない場合とする（この場合は図８の破線枠の左外側の状態に対応する。図６に示す３つのＡＤＣからの出力信号波形Ｃｈ０〜Ｃｈ２は、瞬きなしで真正面を見ている区間では、略平坦で時間経過に伴う変化は殆どない）。

ユーザの左右両眼の視線が正面を向いた状態で、両眼の視線を瞬時に上へ動かし、視線を上に向けた状態を１秒維持し、そのあと瞬時に視線を正面に戻す。これを５回繰り返したときの検出信号レベルの変化が、図８に例示されている。

図９は、図８と同様な眼動検出を、視線が正面から下向きに動く場合について、例示している。図８および図９の波形変化から、視線が正面を向いている場合を基準として、視線が上にあるのか下にあるのかを、検出できる。

図１０は、左から右への眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１＋２）との関係を例示する眼電図である。左から右への眼動があると、Ｃｈ０の検出信号波形の経時変化が、右肩上がりになる（図示しないが、右から左への眼動があると、Ｃｈ０の検出信号波形の経時変化は、右肩下がりになる）。このようなＣｈ０の波形変化から、視線が正面を向いている場合を基準として、視線が右にあるのか左にあるのかを、検出できる。

図８〜図１０の検出結果を総合すれば、視線が正面を向いている場合を基準として、視線が上下左右のどちらを向いているのかが分かる。

図１１は、視線が正面を向いているときに、瞬き（両目）を５秒間隔で５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。両目の瞬きは、Ｃｈ１およびＣｈ２に表れるパルスにより検出できる。ユーザが無意識に行う瞬きは周期性がないことが多い。そのため、図１１に示すように一定間隔の複数パルスを検出することにより、ユーザの意図的な瞬きを検知できる。（一般論であるが、「まばたき」動作の時間は100msec〜150msec、「まばたき」で視界が遮られる時間は約300msec程度である。）
図１２は、視線が正面を向いているときに、１秒の眼瞑り（両目）と４秒の眼開き（両目）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。両目の眼瞑りは、Ｃｈ１およびＣｈ２に表れる幅広パルスにより検出できる（意図的に眼を瞑っている時間は瞬きで眼を閉じる時間よりも長いため、検出されるパルス幅が広くなる）。図１２に例示されるようなＣｈ１およびＣｈ２の幅広パルスを検出することにより、ユーザの意図的な眼瞑りを検知できる。

なお、図示しないが、ユーザが右目だけ瞑ったときはＣｈ１に振幅の大きな幅広パルスが表れ、ユーザが左目だけ瞑ったときはＣｈ２に振幅の大きな幅広パルスが表れる。このことから、左右別々に眼瞑りを検出することもできる。

図１３は、視線が正面を向いているときに、両目の瞬きを５回反復した直後に左目のウインク（左側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。

図６に例示されるように、Ｃｈ０のＡＤＣ１５１２の位置は、左右両目の眼球中心線より下方にオフセットしている。このオフセットのため、両目同時の瞬きでは、図６のＡＤＣ１５１２の＋入力と−入力の双方に負方向の電位変化が現れる。その際、＋入力と−入力の双方の電位変化（量と方向）が略同じとすれば、その変化は殆どキャンセルされ、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルの値は、略一定となる（図１３の左側破線内のＣｈ０レベル参照）。一方、片目（左目）の瞬きでは、ＡＤＣ１５１２の−入力側は電位変化が殆どなく、ＡＤＣ１５１２の＋入力側に比較的大きめの負方向電位変化が現れる。そうすると、ＡＤＣ１５１２の＋入力と−入力の間における電位変化のキャンセル量は小さくなり、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルには、負方向に小さなパルス（信号レベルの小波）が表れる（図１３の右側破線内のＣｈ０レベル参照）。この信号レベルの小波（負方向のパルス）の極性から、左目のウインクがなされたことを検出できる（Ｃｈ０を利用した左ウインク検出の一例）。

なお、ユーザの顔の歪みや皮膚の状態等でＡＤＣ１５１２の＋入力と−入力の電位変化が均等にならない場合は、メガネ型ウエアラブル端末１００をユーザが装着し両目同時に瞬きしたときのＣｈ０ＡＤＣの出力が最小（＋入力成分と−入力成分との間のキャンセル量が最大）となるようなキャリブレーションを、事前に行っておけばよい。

また、両目瞬きが行われた時の検出信号Ｃｈ１／Ｃｈ２のピーク比SL1a/SL2aを基準とすると、左眼ウインクが行われたときのピーク比SL1b/SL2bは変化する（SL1b/SL2bはSL1a/SL2aとイコールでない）。このことからも、左ウインクを検出できる。

図１４は、視線が正面を向いているときに、両目の瞬きを５回反復した直後に右目のウインク（右側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。

前述したように、図６のＡＤＣ１５１２の位置が左右両目の眼球中心線より下方にオフセットしているため、両目同時の瞬きではＡＤＣ１５１２の＋入力と−入力の双方に負方向の電位変化が現れる。しかし、＋入力と−入力における同様な電位変化は殆どキャンセルされ、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルの値は、略一定となる（図１４の左側破線内のＣｈ０レベル参照）。一方、片目（右目）の瞬きでは、ＡＤＣ１５１２の＋入力側は電位変化が殆どなく、ＡＤＣ１５１２の−入力側に比較的大きめの負方向電位変化が現れる。そうすると、ＡＤＣ１５１２の−入力と＋入力の間における電位変化のキャンセル量は小さくなり、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルには、正方向に小さなパルス（信号レベルの小波）が表れる（図１４の右側破線内のＣｈ０レベル参照）。この信号レベルの小波（正方向のパルス）の極性から、右目のウインクがなされたことを検出できる（Ｃｈ０を利用した右ウインク検出の一例）。

また、両目瞬きが行われた時の検出信号Ｃｈ１／Ｃｈ２のピーク比SR1a/SR2aを基準とすると、右眼ウインクが行われたときのピーク比SR1b/SR2bは変化する（SR1b/SR2bはSR1a/SR2aとイコールでない）。また、左ウインク時のピーク比SL1b/SL2bは右ウインク時のピーク比SR1b/SR2bと異なった値を持つ（どの程度異なるのかは実験で確認できる）。

このことから、右ウインクとは別に、左ウインクを検出できる（Ｃｈ１とＣｈ２を利用した左右ウインク検出の一例）。

左右のウインク検出にＣｈ０を利用するのかＣｈ１／Ｃｈ２を利用するのかは、機器設計者が適宜決めればよい。Ｃｈ０〜Ｃｈ２を利用した左右のウインク検出結果は、操作コマンドとして利用できる。

図１５は、例えば図３のメガネ型ウエアラブル端末を用いる場合において、ジェスチャーによる情報入力（情報入力Ａ）と眼動による情報入力（情報入力Ｂ）との組合せによってどのような処理が行われるのかの一例を説明するフローチャートである。

例えば、図７の構成を持つ情報処理部１１を備えた図３のメガネ型ウエアラブル端末１００が、図示しないサーバに無線で繋がっているものとする。

サーバから端末１００へ、例えばＷｉ−Ｆｉを介して複数の物品に関する物品リストが送られると、その物品リストの情報が図７のメモリ１１ｃに記憶される。プロセッサ１１ａで走るプログラムは、記憶した物品リストに含まれる複数物品の情報のうち、少なくとも一部の物品情報の画像ＩＭ１（またはＩＭ２）を、右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示する（図１５のＳＴ１０）。この画像表示は、デフォルトでは右ディスプレイ１２Ｒで行う。しかし、ジェスチャーを行う指が右ディスプレイ表示の先に動いて見えるのを嫌うユーザがいる可能性を考慮し、ユーザの好みにより（オプションで）、右手の指が見え難い左ディスプレイ１２Ｌで画像表示を行うこともできる。

端末１００を装着したユーザは、表示されたリストの中に現在必要とする物品情報（物品名称やそのＩＤコードなど）が表示されていないときは、ジェスチャー検出部１４の電極（１４１〜１４４）が配置された右アイフレーム１２Ｒの前で、例えば右手の人差し指を下から上へ跳ね上げるように動かす。すると、この動きの種類（ジェスチャーの１つ）が判定され（ＳＴ１２）、その動きに対応した情報入力Ａがジェスチャー検出部１４で生成される（ＳＴ１４）。この情報入力Ａは、図７のシステムバスを介して、プロセッサ１１ａに送られる。すると、プロセッサ１１ａで走るプログラムは、右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示された画像ＩＭ１（またはＩＭ２）内の物品情報を、下から上へスクロールさせる（ＳＴ１６）。指を下から上へ動かすジェスチャーを繰り返せば、画像ＩＭ１（またはＩＭ２）内の物品情報を最後までスクロールアップできる。

最後までスクロールしても所望の物品情報が見つからないときは、例えば右手の人差し指を上から下へ振り下ろすように動かす。すると、この動きの種類 (ジェスチャーの別の１つ）が判定され（ＳＴ１２）、その動きに対応した情報入力Ａがジェスチャー検出部１４で生成される（ＳＴ１４）。この情報入力Ａがプロセッサ１１ａに送られると、右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示された画像ＩＭ１（またはＩＭ２）内の物品情報は、上から下へスクロールする（ＳＴ１６）。指を上から下へ動かすジェスチャーを繰り返せば、画像ＩＭ１（またはＩＭ２）内の物品情報を最後までスクロールダウンできる。

画像ＩＭ１（またはＩＭ２）内に複数の物品リストが同時に表示されている場合、どの物品リストをユーザが見ているかは、眼動検出部１５の視線検出センサで検出できる。いま、説明を分かりやすくするため、画像ＩＭ１（またはＩＭ２）内で、上、中、下の３行分の物品情報が表示されている場合を想定して説明する。

ユーザの視線が正面を向いたまま静止しているときは、図６の３つのＡＤＣ出力（Ｃｈ０〜Ｃｈ２）の信号波形は全て横ばいで略平坦になっている。そのときは、画像ＩＭ１（またはＩＭ２）内で中央に表示された物品情報に、ユーザの視線が向いていると判定する（あるいは、ユーザは中央列の物品情報を見ているものと推定する）。

ユーザの視線が正面から上向きに動いたときは、図６の２つのＡＤＣ出力（Ｃｈ１〜Ｃｈ２）の信号波形に上向きのパルス（図８）が生じる。そのときは、画像ＩＭ１（またはＩＭ２）内で中央より上に表示された物品情報に、ユーザの視線が向いていると判定する（あるいは、ユーザは上列の物品情報を見ているものと推定する）。

ユーザの視線が正面から下向きに動いたときは、図６の２つのＡＤＣ出力（Ｃｈ１〜Ｃｈ２）の信号波形に下向きのパルス（図９）が生じる。そのときは、画像ＩＭ１（またはＩＭ２）内で中央より下に表示された物品情報に、ユーザの視線が向いていると判定する（あるいは、ユーザは下列の物品情報を見ているものと推定する）。

例えばユーザの視線が正面を向いているときに、短時間（０．５〜１．０秒ほど）両目を瞑ると、図８とは異なる波形の上向きパルス（図１２）が生じる。そのときは、画像ＩＭ１（またはＩＭ２）内で中央に表示された物品情報を、ユーザが選択したと判定する（コンピュータマウスによるワンクリックに類似）。同様に、ユーザの視線が上を向いているときに両目を瞑ると上列の物品情報が選択されたものと判定し、ユーザの視線が下を向いているときに両目を瞑ると下列の物品情報が選択されたものと判定する。

物品情報の選択がなされたあと、例えばユーザの視線が正面を向いているときに、瞬間的（０．２〜０．３秒ほど）に両目で瞬きが複数回なされると、複数の鋭いパルス（図１１）が生じる。そのときは、画像ＩＭ１（またはＩＭ２）内で中央に表示された物品情報の選択を、ユーザが決定したと判定する（コンピュータマウスによるダブルクリックに類似）。同様に、ユーザの視線が上を向いているときに両目で複数回瞬きをすると上列の物品情報の選択が決定されたものと判定し、ユーザの視線が下を向いているときに両目で複数回瞬きをすると下列の物品情報の選択が決定されたものと判定する。

物品情報の選択がなされたあと、左眼でウインク（図１３）がなされると、そのウインクに対応した動作を行うことができる。例えばユーザの視線が正面を向いているときに、左眼でウインクすることで、画像ＩＭ１（またはＩＭ２）内で中央に表示された物品情報の文字列にあるカーソル（図示せず）を左に移動させることができる。逆に、右眼でウインクすることで、画像ＩＭ１（またはＩＭ２）内で中央に表示された物品情報の文字列にあるカーソル（図示せず）を右に移動させることができる。

以上のように、眼動検出部１５の視線検出センサから得られる種々な信号波形の組合せによって、ユーザの視線方向を含めて、ユーザの眼動（上下左右動、眼瞑り、瞬き、ウインクなど）を判定できる（ＳＴ２２）。

ユーザの視線方向を含めてユーザの眼動が判定されると（ＳＴ２２）、その判定結果に対応した情報入力Ｂが眼動検出部１５で生成される（ＳＴ２４）。この情報入力Ｂがプロセッサ１１ａに送られると、プロセッサ１１ａは、情報入力Ｂに対応した処理を実行する（ＳＴ２６）。例えば、プロセッサ１１ａは、選択された物品情報に該当する物品（図示せず）をユーザが倉庫の格納棚から取り出したものと判断し、メモリ１１ｃに記憶されている物品リストを修正する。そして、修正後のリストを、図示しないサーバへ、Ｗｉ−Ｆｉを介して通知する（ＳＴ２６）。あるいは、例えば図３の右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示された画像ＩＭ１（またはＩＭ２）内のテンキーを用いて、選択した物品情報に対して所望の数値コード等を付加できる（ＳＴ２６）。

図１５の処理は、情報入力Ａに基づく処理および情報入力Ｂに基づく処理の一方が行われている間は、反復される（ＳＴ２８ノー）。情報入力Ａに基づく処理および情報入力Ｂに基づく処理が何れも終了すれば図１５の処理は修了する（ＳＴ２８イエス）。

図１５の処理ＳＴ１２〜ＳＴ１６（情報入力Ａの処理）はユーザのジェスチャー（例えば手や指の動き）により行われ、処理ＳＴ２２〜ＳＴ２６（情報入力Ｂの処理）はユーザの眼動により行われる。情報入力Ａの処理と情報入力Ｂの処理は互いに協同関係にあっても、ユーザが行う操作としては独立している。そのため、眼動だけで情報入力する場合のように眼の疲労蓄積は少ない。その一方で、手が塞がっていてジェスチャー入力ができない場面では眼動を用いた情報入力ができる。

また、実施形態のメガネ型ウエアラブル端末１００は手で触れずに操作できるため、手先が汚れている状態でも端末１００を汚すことなく情報入力などを行うことができる。

なお、ユーザが電極１４１〜１４４のいずれかに（清潔な指先で）タッチできるような構成も可能である。その場合は、静電容量センサ１４をタッチパッドのようなポインティングデバイスとして利用できる（図１５のＳＴ１２〜ＳＴ１６の変形例）。例えば図３の構成において、ディスプレイ１２Ｒにテンキーおよびカーソルを表示し、静電容量センサ１４の電極１４１〜１４４のいずれかに指先でタッチしてカーソル移動を行うことができる。そして、視線検出センサ１５で検出した「眼瞑り」、「瞬き」、あるいは「（左右の）ウインク」をコマンド化して、カーソル位置の数値（または文字）を選択しあるいはその入力を決定（Enter）することができる。このように、ジェスチャー以外の方法を利用しても、静電容量センサ１４からの情報入力Ａと視線検出センサ１５からの情報入力Ｂを組み合わせることができ、種々な情報入力が可能になる。

上述した組合せ情報入力（情報入力Ａと情報入力Ｂの組合せ）の操作では、カメラ撮影画像の画像処理やマイクで捉えた音声の認識処理が不要である。そのため周囲が暗くて正しい画像処理ができなくても、あるいは周囲の騒音が大きくて音声入力を正確に判別できなくても、特定の物体に触ることなく種々な情報入力ができる。換言すると、周囲の明暗に関係なく、また周囲の騒音にも関係なく、種々な情報入力ができる。

また、実施形態のメガネ型ウエアラブル端末では、ユーザに直接接触する複数の眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）の設置場所を、ノーズパッド部分（１５０Ｌ、１５０Ｒ）のみにしている（ジェスチャー検出部の電極１４０〜１４４はユーザに直接接触しない構成としている）。ノーズパッドは普通のメガネにも存在するもので、普段メガネをかけている人にとって、実施形態のメガネ型ウエアラブル端末は違和感なく装着できる。（通常のメガネではユーザに接触しない部分、例えば左右のアイフレーム間のブリッジ部分にユーザの眉間に接するような検出電極を設けると、人によっては違和感を持ったり、うっとうしく感じたりする可能性がある。しかし、検出電極が通常メガネでもユーザに接触する部分（ノーズパッド部分あるいはテンプルバー部分）に絞られている実施形態のメガネ型ウエアラブル端末では、装着しても違和感を持ちにくい。）
＜出願当初請求項の内容と実施形態との対応関係例＞
［１］一実施の形態に係るメガネ型ウエアラブル端末（図１、図３、図４の１００）は、左右両眼の位置に配置される左右アイフレーム部分（１０２、１０１）および鼻の位置に配置されるノーズパッド部分（１５０Ｌ、１５０Ｒ）を持つ。このメガネ型ウエアラブル端末は、左右アイフレーム部分の少なくとも一方に配置されるディスプレイ部（１２Ｌ、１２Ｒ）と、ユーザの動きを示すジェスチャーを検出するジェスチャー検出部（図７の１４）と、ユーザの眼動を検出する眼動検出部（図７の１５）を備えている。

このメガネ型ウエアラブル端末を用いた情報入力は、前記ジェスチャー検出部により検出される前記ジェスチャーに対応した第１の情報入力（情報入力Ａ）と、前記眼動検出部により検出される前記眼動に対応した第２の情報入力（情報入力Ｂ）との組合せにより、行うことができる。

［２］前記ジェスチャー検出部（図３の１４）は複数電極（１４１〜１４４、１４１＊〜１４４＊）からなる静電容量センサを具備し、前記複数電極が前記左右アイフレーム部分（１０２、１０１）の少なくとも一方に配置される。

［３］前記メガネ型ウエアラブル端末（図４の１００）は前記左右アイフレーム部分（１０２、１０１）それぞれの側端部に繋がる左右テンプルバー（１０６、１０７）を持つ。前記ジェスチャー検出部（図４の１４）は複数電極（図４の１４１〜１４４、１４１＊〜１４４＊）からなる静電容量センサが形成されたタブ（１４、１４Ｔ）を１以上具備し、前記タブが前記左右テンプルバー（１０６、１０７）の少なくとも一方に配置される。

［４］前記ジェスチャー検出部（１４）は、複数の電極（送信電極１４０と上下左右の受信電極１４１〜１４４）からなる静電容量センサを備える。これらの電極により形成される複数の静電容量（図２のCrxtx、Crxg）および前記ユーザのジェスチャー（例えばユーザの指先の動き）に伴い変化する静電容量（Ch）の関数（Vtx*Crxtx/(Crxtx+Crxg+Ch)）として、複数の電極信号（Vrxbuf；４つの受信電極それぞれからの電極信号Vrxbuf1〜Vrxbuf4）が、ジェスチャー検出部（１４）から得られる。これらの複数の電極信号に基づいて、前記ジェスチャー（例えば指先を下から上へ動かす）に対応する前記第１の情報入力（情報入力Ａ）を生成できる。

［５］前記眼動検出部（１５）は、前記ノーズパッド部分（１５０Ｌ、１５０Ｒ）に複数の眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）を備えることができる。これらの眼動検出電極により検出した前記ユーザの眼動の検出信号波形（例えば図１１のＣｈ１，Ｃｈ２のパルス）と、前記ユーザの眼動（例えば瞬き）との間の対応関係に基づいて、前記第２の情報入力（情報入力Ｂ）を生成できる。

［６］前記複数の眼動検出電極は、左右両側に上下電極（図６の１５１ａ，１５１ｂと１５２ａ，１５２ｂ）を含む。少なくとも１組の前記上下電極（１５１ａ，１５１ｂおよび／または１５２ａ，１５２ｂ）からの検出信号波形（Ｃｈ１および／またはＣｈ２のＡＤＣ出力）の変化から、上下方向の眼動（図８、図９）、瞬き（図１１）、眼瞑り（図１２）、または左右のウインク（図１３、図１４）をそれぞれ検出できる。また、前記左右両側の上下電極のうち、右側の上下電極の１つ（例えば１５１ｂ）および左側の上下電極の１つ（例えば１５２ｂ）からの検出信号波形（Ｃｈ０のＡＤＣ出力）の変化から、左右方向の眼動（図１０）を検出できる。

前記上下方向の眼動（図８、図９）および／または前記左右方向の眼動（図１０）の検出結果に基づいて、ユーザの視線方向を判定できる。また、前記瞬き（図１１）、眼瞑り（図１２）、またはウインク（図１３、図１４）の検出結果に基づいて、ユーザの視線方向に関係した前記第２の情報入力（例えばユーザが見ている特定の文字列またはアイコンを選択する情報入力Ｂ）を生成できる。

［７］前記複数の眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）は、前記ノーズパッド部分（１５０Ｌ、１５０Ｒ）に設けられておれば、それで事足りる。例えばメガネのブリッジ１０３の部分に、ユーザの眉間に接する別の電極を設ける必要はない。眼動検出電極は、通常のメガネにあるノーズパッドにのみに設ければよいので、普段メガネをかけている人には違和感がない。

［８］前記ノーズパッド部分（１５０Ｌ、１５０Ｒ）は、セラミック、プラスチック、ゴムなどの、電気的な絶縁体（誘電体）を用いて形成できる。前記複数の眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）は、前記ノーズパッド部分（１５０Ｌ、１５０Ｒ）上で互いに離れて設けられる（図５に例示されるような、金属片貼り付け、金属蒸着、導体印刷、金属リング装着など）。

［９］前記ディスプレイ部（１２）は、前記アイフレーム部分（１０２、１０１）に納まる表示デバイス（１２Ｌ，１２Ｒ）を備える。この表示デバイスは、アイフレームの形状に合わせてカッティングされた、透明板またはユーザに合わせた度付きレンズに、フィルム液晶を貼り付けるなどして、構成できる。

前記ジェスチャーに対応した前記第１の情報入力（情報入力Ａ）により、前記表示デバイスに表示された情報項目に対してスクロールあるいはポインティングなどを行うことができる。

［１０］［９］に加えて、前記眼動に対応した前記第２の情報入力（情報入力Ｂ）により、前記表示デバイスに表示された情報項目に対する選択あるいは決定を行うことができる。

［１１］一実施の形態に係る方法（図１５）は、左右両眼の位置に配置される左右アイフレーム部分および鼻の位置に配置されるノーズパッド部分を持ち、前記左右アイフレーム部分の少なくとも一方に配置されるディスプレイ部と、ユーザの動きを示すジェスチャーを検出するジェスチャー検出部と、ユーザの眼動を検出する眼動検出部を備えたメガネ型ウエアラブル端末を用いる。

この方法において、前記ジェスチャー検出部により検出された動きに対応して第１の情報入力（情報入力Ａ）を生成する（ＳＴ１４）。また、前記眼動検出部により検出された眼動に対応して第２の情報入力（情報入力Ｂ）を生成する（ＳＴ２４）。前記第１の情報入力（情報入力Ａ）と前記第２の情報入力（情報入力Ｂ）の組合せにより、所定の処理が実行される（ＳＴ１６，ＳＴ２６）。

［１２］他の実施形態に係る方法では、左右両眼の位置に配置される左右アイフレーム部分および鼻の位置に配置されるノーズパッド部分を持ち、前記左右アイフレーム部分の少なくとも一方に配置されるディスプレイ部と、ユーザの動きを検出する検出部（静電容量センサをタッチパッドとして利用）と、ユーザの眼動を検出する眼動検出部を備えたメガネ型ウエアラブル端末を用いる。

この方法において、前記検出部により検出された前記ユーザの動きに対応して第１の情報入力（情報入力Ａ）を生成し、前記眼動検出部により検出された眼動に対応して第２の情報入力（情報入力Ｂ）を生成する。前記第１の情報入力（情報入力Ａ）と前記第２の情報入力（情報入力Ｂ）の組合せにより、所定の処理が実行される。

この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

例えば、実施形態ではメガネ型ウエアラブル端末として一般的なメガネフレーム形状を持つ端末を例示した。しかし、一般的なメガネフレーム以外の形状・構造を持つものでも、本願発明を実施することも可能である。具体例を挙げれば、スキーやスノーボードのライダーが使用するゴーグルのような、有害な紫外線を防いだり、悪天候下でも視界を確保するための形状・構造を持つメガネ型ウエアラブル端末に、ジェスチャー検出部や眼動検出部を設けることができる。あるいは、例えば図３のようなメガネ型ウエアラブル端末を覆うような形で、ゴーグルを併用することもできる。また、メガネの任意の部分、例えばブリッジ部分に、何らかの部材または電極（ユーザの眉間に接するか接しないかは問わない）を設けても、本願の請求項に記載された構成を含む限り、それは本願発明の範囲内である。

これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、開示された複数の実施形態のうちのある実施形態の一部あるいは全部と、開示された複数の実施形態のうちの別の実施形態の一部あるいは全部を、組み合わせることも、発明の範囲や要旨に含まれる。

１００…メガネ型ウエアラブル端末；１０１…右アイフレーム（右リム）；１０２…左アイフレーム（左リム）；１０３…ブリッジ；１０４…左ヒンジ；１０５…右ヒンジ；１０６…左テンプルバー；１０７…右テンプルバー；１０８…左モダン（左イヤーパッド）；１０９…右モダン（右イヤーパッド）；１１…情報処理部（プロセッサ１１ａ、不揮発性メモリ１１ｂ、メインメモリ１１ｃ、通信処理部１１ｄなどを含む集積回路）；ＢＡＴ…電源（リチウムイオン電池など）；１２…ディスプレイ部（右ディスプレイ１２Ｒと左ディスプレイ１２Ｌ：フィルム液晶など）；ＩＭ１…右表示画像（テンキー、アルファベット、文字列、アイコンなど）；ＩＭ２…左表示画像（テンキー、アルファベット、文字列、アイコンなど）；１３…カメラ（右カメラ１３Ｒと左カメラ１３Ｌ、またはブリッジ１０３部分に取り付けられた図示しないセンターカメラ）；１４…ジェスチャー検出部（静電容量センサ）；１４Ｔ…プラスチックタブ（静電容量センサ）；１４０…送信電極；１４１…北側受信電極（上側電極）；１４２…南側受信電極（下側電極）；１４３…西側受信電極（右側電極）；１４４…東側受信電極（左側電極）；１５…眼動検出部（視線検出センサ）；１５０…ノーズパッド部（右ノーズパッド１５０Ｒと左ノーズパッド１５０Ｌ）；１５１ａ，１５１ｂ…右ノーズパッド電極；１５２ａ，１５２ｂ…左ノーズパッド電極；１５１０…右側（Ｃｈ１）ＡＤコンバータ；１５１０…左右間（Ｃｈ０）ＡＤコンバータ；１５２０…左側（Ｃｈ２）ＡＤコンバータ。

Claims (10)

1. ユーザの頭部に装着される本体と、
   前記本体に設けられ、複数の項目を含む項目リストを表示する表示部と、
   前記本体の外側表面に設けられ、ユーザの指の動きを検出し、検出結果に応じて第１情報を入力する第１センサと、
   前記本体に設けられ、前記ユーザの眼動を検出し、検出結果に応じて第２情報を入力する第２センサと、
   前記第１センサにより入力された前記第１情報に応じて前記表示部の表示内容を変更させる第１処理を実行する第１処理部と、
   前記第１処理部により前記表示部の表示内容が変更された後に前記第２センサにより入力された前記第２情報に応じて前記表示部で表示されている前記項目リストの中の項目を選択する第２処理を実行する第２処理部と、
   を具備するメガネ型ウエアラブル端末。
2. 前記眼動は上下動、左右動、瞬き又は眼瞑りを含む請求項１記載のメガネ型ウエアラブル端末。
3. 前記第１処理は前記表示部の表示内容をスクロールすることを含む請求項１記載のメガネ型ウエアラブル端末。
4. 前記第２処理は前記ユーザの視線上の項目を選択することを含む請求項１記載のメガネ型ウエアラブル端末。
5. 前記第２処理部は、
   前記項目の選択後に前記第２センサにより入力された第２情報に応じて前記項目の選択を決定する第３処理と、
   前記選択の決定後に前記第２センサにより入力された第２情報に応じて前記項目に関する第４処理を実行する請求項１記載のメガネ型ウエアラブル端末。
6. ユーザの頭部に装着される本体と、
   前記本体に設けられ、複数の項目を含む項目リストを表示する表示部と、
   前記本体の外側表面に設けられ、ユーザの指の動きを検出し、検出結果に応じて第１情報を入力する第１センサと、
   前記本体に設けられ、前記ユーザの眼動を検出し、検出結果に応じて第２情報を入力する第２センサと、
   を具備するメガネ型ウエアラブル端末を用いる方法であって、
   前記第１センサにより入力された前記第１情報に応じて前記表示部の表示内容を変更させる第１処理を実行することと、
   前記第１処理が実行された後に前記第２センサにより入力された前記第２情報に応じて前記表示部で表示されている前記項目リストの中の項目を選択する第２処理を実行することと、
   を具備する方法。
7. 前記眼動は上下動、左右動、瞬き又は眼瞑りを含む請求項６記載の方法。
8. 前記第１処理は前記表示部の表示内容をスクロールすることを含む請求項６記載の方法。
9. 前記第２処理は前記ユーザの視線上の項目を選択することを含む請求項６記載の方法。
10. 前記項目の選択後に前記第２センサにより入力された第２情報に応じて前記項目の選択を決定する第３処理を実行することと、
    前記選択の決定後に前記第２センサにより入力された第２情報に応じて前記項目に関する第４処理を実行することと、をさらに具備する請求項６記載の方法。

Images