JP6398870B2 - ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 - Google Patents

Description

本発明は、身に付けることができるウェアラブル電子機器に関し、特に、所定のジェスチャーを認識できるウェアラブル電子機器に関する。そして、本発明は、ウェアラブル電子機器のジェスチャー検知方法に関する。

近年、急速に発達した例えばスマートフォン（多機能型携帯電話機）等の携帯端末装置では、一般に、タッチパネルが備えられ、ユーザは、例えば所望の画像を表示させたり、情報を入力したりする等のために、その必要な入力操作を、前記タッチパネルを用いて行っている。しかしながら、例えば、ユーザの手が濡れていたり、汚れていたりする場合等のように、前記タッチパネルにタッチせずに前記入力操作を行いたい場合がある。このため、意思伝達手段の１つの身振りや手振りであるジェスチャーによって前記入力操作を行うことができる機器が研究、開発されており、例えば、特許文献１に開示された技術がある。

この特許文献１に開示された移動コンピューティングデバイスは、赤外線（ＩＲ）発光ダイオード（ＬＥＤ）とＩＲ近接センサとを備える、３次元のユーザの動きに関連するデータを取得するように構成されているセンサシステムと、前記センサシステムに通信可能に結合され、前記センサシステムにより取得された前記３次元のユーザの動きに関連するデータの明瞭度と、前記３次元のユーザの動きに関する正しい入力ジェスチャー識別の確率とを示す、前記デバイスのプロパティを識別し、前記デバイスのプロパティに基づいて、前記センサシステムの前記ＩＲ ＬＥＤまたは前記ＩＲ近接センサのうちの少なくとも１つの電力消費を規制するように構成されているセンサ制御装置モジュールとを具備する。

特表２０１３−５３４００９号公報

ところで、前記特許文献１に開示された前記センサシステムは、ジェスチャーを行う指示体（前記特許文献１ではユーザ）が近接センサの検知領域に存在していることを前提に、ＩＲ近接センサによって３次元のユーザの動きに関連するデータ、すなわち、ジェスチャーを取得している。このため、前記特許文献１に開示された前記センサシステムは、前記指示体ではない他の物体が前記近接センサの検知領域内で動いても、ジェスチャーとして検知し、誤検知してしまう。

一方、カメラで画像を生成してこの画像からジェスチャーを検知する技術は、前記検知領域に相当する撮像領域の内で動く物体が指示体であるか否かを画像から判定できるため、上記誤検知を低減できる。しかしながら、この技術は、画像からジェスチャーを検知するためにその画像処理を実施しなければならず、ジェスチャーを検知するための前記画像処理の情報処理が複雑で煩雑であるため、その情報処理量が多くなり、消費電力も増大してしまう。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、画像からジェスチャーを検知する技術に較べて消費電力を低減しつつ、指示体ではない物体の動きによるジェスチャーの誤検知を低減できるウェアラブル電子機器、および、前記ウェアラブル電子機器のジェスチャー検知方法を提供することである。

本発明のウェアラブル電子機器は、検知領域内でのジェスチャーを検知するジェスチャー検知部と、前記検知領域内の物体の有無に応じた信号を出力する物体検出部と、前記検知領域を含む領域を撮像領域として画像を生成する撮像部と、前記物体検出部の出力に基づいて前記物体の存否を検出して前記物体の存在を検出した場合に、非動作状態にある前記撮像部を起動して前記撮像部に画像を生成させ、前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出して前記指示体の存在を検出した場合に、前記ジェスチャー検知部に前記指示体による前記ジェスチャーを検知させる制御部とを備え、前記ジェスチャー検知部は、前記撮像部で撮像された画像を用いることなく指示体によるジェスチャーを検知することを特徴とする。

また、本発明のウェアラブル電子機器のジェスチャー検知方法は、生体における所定の部位に装着部材によって装着されるウェアラブル電子機器のジェスチャー検知方法であって、ジェスチャーの検知領域内の物体の有無に応じた信号を出力する物体検出部の出力に基づいて前記物体の存否を検出し、前記物体の存在を検出した場合に、前記検知領域を含む領域を撮像領域として画像を生成する撮像部を非動作状態から起動して画像を生成させ、前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出し、前記指示体の存在を検出した場合に、前記検知領域内での前記ジェスチャーを検知するジェスチャー検知部に前記指示体による前記ジェスチャーを検知させ、前記ジェスチャーを検知させる場合では、前記撮像部で撮像された画像を用いることなく指示体によるジェスチャーを検知させることを特徴とする。

本発明にかかるウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法は、画像からジェスチャーを検知する技術に較べて消費電力を低減しつつ、指示体ではない物体の動きによるジェスチャーの誤検知を低減できる。

実施形態におけるウェアラブル電子機器の構造的な構成を示す斜視図である。 実施形態におけるウェアラブル電子機器の構造的な構成を示す正面図である。 実施形態におけるウェアラブル電子機器の構造的な構成を示す上面図である。 実施形態のウェアラブル電子機器におけるディスプレイユニットの構成を示す概略断面図である。 実施形態におけるウェアラブル電子機器の電気的な構成を示すブロック図である。 実施形態のウェアラブル電子機器におけるセンサ部の一例としての近接センサの構成を示す図である。 実施形態のウェアラブル電子機器を装着した場合の正面図である。 実施形態のウェアラブル電子機器を装着した場合の側面図および部分上面図である。 シースルー型の画像表示部を通してユーザが視認する像の一例を示す図である。 実施形態のウェアラブル電子機器におけるセンサ部の一例としての近接センサの出力の一例を示す図である。 ジェスチャーの検知に関し、実施形態のウェアラブル電子機器の動作（メインルーチン）を示すフローチャートである。 実施形態のウェアラブル電子機器の前記動作（メインルーチン）における指示体の存否の判定処理（サブルーチン）を示すフローチャートである。 実施形態のウェアラブル電子機器の前記動作（メインルーチン）におけるジェスチャー検知処理（サブルーチン）を示すフローチャートである。 実施形態のウェアラブル電子機器における指示体の存否の判定処理を説明するための図である。

一態様にかかるウェアラブル電子機器は、検知領域内でのジェスチャーを検知するジェスチャー検知部と、前記検知領域内の物体の有無に応じた信号を出力する物体検出部と、前記検知領域を含む領域を撮像領域として画像を生成する撮像部と、前記物体検出部の出力に基づいて前記物体の存否を検出して前記物体の存在を検出した場合に、非動作状態にある前記撮像部を起動して前記撮像部に画像を生成させる第１制御部と、前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出して前記指示体の存在を検出した場合に、前記ジェスチャー検知部に前記指示体による前記ジェスチャーを検知させる第２制御部とを備えることを特徴とする。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー検知部は、２次元マトリクス状に配列された複数の焦電素子を備えるパッシブ型センサを備えて構成される。好ましくは、上述のウェアラブル電子機器において、前記ジェスチャー検知部は、赤外光を照射する赤外線光源と、２次元マトリクス状に配列された複数の焦電素子とを備えるアクティブ型センサを備えて構成される。

このようなウェアラブル電子機器は、撮像部の画像からジェスチャーを検知せずに、ジェスチャー検知部でジェスチャーを検知するので、画像からジェスチャーを検知する技術に較べて情報処理量が少なく消費電力を低減できる。上記ウェアラブル電子機器は、物体検出部の出力に基づいて物体の存否を検出して前記物体の存在を検出した場合に、非動作状態の撮像部を起動させるので、一層、省電力化できる。そして、上記ウェアラブル電子機器は、この撮像部で撮像された画像に基づいて指示体の存否を検出するので、指示体ではない物体の動きによるジェスチャーの誤検知を低減できる。さらに、上記ウェアラブル電子機器は、前記指示体の存在を検出した場合に、前記ジェスチャー検知部に前記ジェスチャーを検知させるので、さらに省電力化できる。

また、他の一態様では、上述のウェアラブル電子機器において、前記第２制御部は、前記撮像部で撮像された画像から、前記指示体を特徴付ける特徴量を抽出し、抽出された特徴量が予め定めた条件に合致するか否かを判定することで、前記検知領域内における前記指示体の存否を検出することを特徴とする。好ましくは、上述のウェアラブル電子機器において、前記特徴量は、指示体の色、指示体の輪郭形状、指示体上の形状パターンおよび指示体に付されたマーカーのうちの少なくとも１つである。

このようなウェアラブル電子機器は、指示体の特徴量で前記指示体の存否を検出するので、指示体の一部の画像からでも指示体の存否を検出できる。特に、前記特徴量が指示体の色である場合には、色を判定する情報処理（色判定情報処理）は、輪郭形状を判定する情報処理（輪郭形状判定情報処理）や、形状パターンを判定する情報処理（形状パターン判定情報処理）に較べて簡易に判定できるので、情報処理量が少なくて済む。

また、他の一態様では、上述のウェアラブル電子機器において、前記第２制御部は、前記撮像部で撮像された画像から、前記指示体を特徴付ける、互いに異なる種類の複数の特徴量を抽出し、抽出された前記複数の特徴量が予め定めた条件に合致する場合には検出結果として前記検知領域内に前記指示体が存在すると判定し、合致しない場合には前記検出結果として前記検知領域内に前記指示体が存在しないと判定することを特徴とする。

このようなウェアラブル電子機器は、特徴量の複数種類で前記指示体の存否を検出するので、より精度良く指示体の存否を検出できる。

また、他の一態様では、これら上述のウェアラブル電子機器において、前記物体検出部は、前記ジェスチャー検知部を兼ねることを特徴とする。

このようなウェアラブル電子機器は、物体検出部がジェスチャー検知部を兼ねるので、部品数を低減でき、小型化できる。

また、他の一態様では、これら上述のウェアラブル電子機器において、前記ジェスチャー検知部は、２次元マトリクス状に配列された複数の焦電素子を備えるセンサ部と、前記センサ部の出力に基づいて前記ジェスチャーを求めるジェスチャー処理部とを備え、前記物体検出部は、前記センサ部における前記複数の焦電素子のうちの少なくとも１つであることを特徴とする。好ましくは、上述のウェアラブル電子機器において、前記センサ部は、パッシブ型またはアクティブ型である。

これによれば、ジェスチャー検知部の焦電素子を物体検出部に流用したウェアラブル電子機器を提供できる。

また、他の一態様では、これら上述のウェアラブル電子機器において、前記第１制御部は、前記第２制御部が前記センサ部の出力をサンプリングする第２サンプリング周期よりも長い第１サンプリング周期で、前記センサ部の出力をサンプリングすることを特徴とする。

このようなウェアラブル電子機器は、物体の存否の検出には、ジェスチャーを検知する場合の第２サンプリング周期よりも長周期の第１サンプリング周期でセンサ部の出力をサンプリングして処理するので、物体の存否の検出とジェスチャーの検知とを同じサンプリング周期で実行する場合に比べて省電力化できる。

また、他の一態様では、これら上述のウェアラブル電子機器において、頭部に装着するための頭部装着部材をさらに備えることを特徴とする。

これによれば、例えばヘッドマウントディスプレイ等のような、頭部に装着されるウェアラブル電子機器を提供できる。

そして、他の一態様にかかるウェアラブル電子機器のジェスチャー検知方法は、生体における所定の部位に装着部材によって装着されるウェアラブル電子機器のジェスチャー検知方法であって、ジェスチャーの検知領域内の物体の有無に応じた信号を出力する物体検出部の出力に基づいて前記物体の存否を検出し、前記物体の存在を検出した場合に、前記検知領域を含む領域を撮像領域として画像を生成する撮像部を非動作状態から起動して画像を生成させ、前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出し、前記指示体の存在を検出した場合に、前記検知領域内での前記ジェスチャーを検知するジェスチャー検知部に前記指示体による前記ジェスチャーを検知させることを特徴とする。好ましくは、上述のウェアラブル電子機器のジェスチャー検知方法において、前記撮像部で撮像された画像から、前記指示体を特徴付ける特徴量を抽出し、抽出された特徴量が予め定めた条件に合致するか否かを判定することで、前記検知領域内における前記指示体の存否を検出する。好ましくは、上述のウェアラブル電子機器のジェスチャー検知方法において、前記ジェスチャー検知部を兼ねる前記物体検出部の出力を、第１サンプリング周期でサンプリングして前記物体の存否を検出し、前記指示体の存在を検出した場合に、前記物体検出部の出力を、前記第１サンプリング周期よりも短い第２サンプリング周期でサンプリングして前記検知領域内での前記ジェスチャーを検知する。

このようなウェアラブル電子機器のジェスチャー検知方法は、撮像部の画像からジェスチャーを検知せずに、ジェスチャー検知部でジェスチャーを検知するので、画像からジェスチャーを検知する技術に較べて情報処理量が少なく消費電力を低減できる。上記ジェスチャー検知方法は、物体検出部の出力に基づいて物体の存否を検出して前記物体の存在を検出した場合に、非動作状態の撮像部を起動させるので、一層、省電力化できる。そして、上記ジェスチャー検知方法は、この撮像部で撮像された画像に基づいて指示体の存否を検出するので、指示体ではない物体の動きによるジェスチャーの誤検知を低減できる。さらに、上記ジェスチャー検知方法は、前記指示体の存在を検出した場合に、ジェスチャー検知部を動作させて前記ジェスチャー検知部に前記ジェスチャーを検知させるので、さらに省電力化できる。

以下、本発明にかかるより具体的な実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

本実施形態におけるウェアラブル電子機器は、身に付けることができ、所定のジェスチャーを検知できる電子機器であり、検知領域内でのジェスチャーを検知するジェスチャー検知部と、前記検知領域内の物体の有無に応じた信号を出力する物体検出部と、前記検知領域を含む領域を撮像領域として画像を生成する撮像部と、前記物体検出部の出力に基づいて前記物体の存否を検出して前記物体の存在を検出した場合に、非動作状態にある前記撮像部を起動して前記撮像部に画像を生成させる第１制御部と、前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出して前記指示体の存在を検出した場合に、前記ジェスチャー検知部に前記指示体による前記ジェスチャーを検知させる第２制御部とを備える。このようなウェアラブル電子機器は、任意の用途の電子機器であって良いが、ここでは、一例として、頭部に装着するための頭部装着部材をさらに備えた、いわゆるヘッドマウントディスプレイ（ＨＭＤ）である場合について、より具体的に、以下に、説明する。

図１は、実施形態におけるウェアラブル電子機器の構造的な構成を示す斜視図である。図２は、実施形態におけるウェアラブル電子機器の構造的な構成を示す正面図である。図３は、実施形態におけるウェアラブル電子機器の構造的な構成を示す上面図である。図４は、実施形態のウェアラブル電子機器におけるディスプレイユニットの構成を示す概略断面図である。図５は、実施形態におけるウェアラブル電子機器の電気的な構成を示すブロック図である。図６は、実施形態のウェアラブル電子機器におけるセンサ部の一例としての近接センサの構成を示す図である。以下、ＨＭＤ１００の右側および左側とは、ＨＭＤ１００を装着したユーザにとっての右側および左側をいうものとする。

まず、ＨＭＤ１００の構造的な構成について説明する。図１ないし図３に示すように、本実施形態におけるＨＭＤ１００は、頭部に装着するための頭部装着部材の一例であるフレーム１０１を備える。上方から見て略コ字状であるフレーム１０１は、２つの眼鏡レンズ１０２を取り付ける前方部１０１ａと、前方部１０１ａの両端から後方へと延在する側部１０１ｂ、１０１ｃとを備える。フレーム１０１に取り付けられた２つの眼鏡レンズ１０２は、屈折力（光学的パワー、焦点距離の逆数）を有して良く、また、有しなくて良い。

右側（ユーザーの利き目等に応じて左側でもよい）の眼鏡レンズ１０２の上部において、円筒状の主本体部１０３がフレーム１０１の前方部１０１ａに固定されている。主本体部１０３にはディスプレイユニット１０４が設けられている。主本体部１０３内には、後述する制御処理部１２１からの指示に基づいてディスプレイユニット１０４の表示制御を司る表示制御部１０４ＤＲ（後述する図５を参照）が配置されている。なお、必要に応じて両眼の前にそれぞれディスプレイユニットが配置されてもよい。

図４において、ディスプレイユニット１０４は、画像形成部１０４Ａと画像表示部１０４Ｂとを備えて構成される。画像形成部１０４Ａは、主本体部１０３内に組み込まれており、光源１０４ａと、一方向拡散板１０４ｂと、集光レンズ１０４ｃと、表示素子１０４ｄとを備える。一方、いわゆるシースルー型の表示部材である画像表示部１０４Ｂは、主本体部１０３から下方に向かい、片方の眼鏡レンズ１０２（図１参照）に平行に延在するように配置された全体的に板状であって、接眼プリズム１０４ｆと、偏向プリズム１０４ｇと、ホログラム光学素子１０４ｈとを有している。

光源１０４ａは、表示素子１０４ｄを照明する機能を有し、例えば光強度のピーク波長および光強度半値の波長幅で４６２±１２ｎｍ（青色光（Ｂ光））、５２５±１７ｎｍ（緑色光（Ｇ光））、６３５±１１ｎｍ（赤色光（Ｒ光））となる３つの波長帯域の光を発するＲＧＢ一体型の発光ダイオード（ＬＥＤ）で構成されている。

表示素子１０４ｄは、光源１０４ａからの出射光を画像データに応じて変調して画像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成される。なお、表示素子１０４ｄは、反射型であってもよい。

接眼プリズム１０４ｆは、基端面ＰＬ１を介して入射する表示素子１０４ｄからの画像光を、相対する平行な内側面ＰＬ２と外側面ＰＬ３とで全反射させ、ホログラム光学素子１０４ｈを介してユーザの瞳に導く一方、外光を透過させてユーザの瞳に導くものであり、偏向プリズム１０４ｇとともに、例えばアクリル系樹脂で形成されている。この接眼プリズム１０４ｆと偏向プリズム１０４ｇとは、内側面ＰＬ２および外側面ＰＬ３に対して傾斜した傾斜面ＰＬ４、ＰＬ５でホログラム光学素子１０４ｈを挟み、接着剤で接合される。

偏向プリズム１０４ｇは、接眼プリズム１０４ｆに接合されて、接眼プリズム１０４ｆと一体となって略平行平板となるものである。なお、ディスプレイユニット１０４とユーザの瞳の間に眼鏡レンズ１０２（図１参照）を装着すると、通常眼鏡を使用しているユーザでも画像を観察することが可能である。

ホログラム光学素子１０４ｈは、表示素子１０４ｄから出射される画像光（３原色に対応した波長の光）を回折反射して瞳孔Ｂに導き、表示素子１０４ｄに表示される画像を拡大してユーザの瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１０４ｈは、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長は、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。

このような構成のディスプレイユニット１０４では、光源１０４ａから出射された光は、一方向拡散板１０４ｂにて拡散され、集光レンズ１０４ｃにて集光されて表示素子１０４ｄに入射する。表示素子１０４ｄに入射した光は、表示制御部１０４ＤＲから入力された画像データに基づいて画素ごとに変調され、画像光として出射される。これにより、表示素子１０４ｄには、カラー画像が表示される。表示素子１０４ｄからの画像光は、接眼プリズム１０４ｆの内部にその基端面ＰＬ１から入射し、内側面ＰＬ２と外側面ＰＬ３で複数回全反射されて、ホログラム光学素子１０４ｈに入射する。ホログラム光学素子１０４ｈに入射した光は、そこで反射され、内側面ＰＬ２を透過して瞳孔Ｂに達する。瞳孔Ｂの位置では、ユーザは、表示素子１０４ｄに表示された画像の拡大虚像を観察することができ、画像表示部１０４Ｂに形成される画面として視認することができる。

一方、接眼プリズム１０４ｆ、偏向プリズム１０４ｇおよびホログラム光学素子１０４ｈは、外光をほとんど全て透過させるので、ユーザはこれらを介して外界像（実像）を観察できる。したがって、表示素子１０４ｄに表示された画像の虚像は、外界像の一部に重なって観察されることになる。このようにして、ＨＭＤ１００のユーザは、ホログラム光学素子１０４ｈを介して、表示素子１０４ｄから提供される画像と外界像とを同時に観察できる。なお、ディスプレイユニット１０４が非表示状態の場合、画像表示部１０４Ｂは、素通しとなり、外界像のみを観察できる。なお、本実施形態では、光源と液晶表示素子と光学系とを組み合わせてディスプレイユニットが構成されているが、光源と液晶表示素子の組合せに代え、自発光型の表示素子（例えば、有機ＥＬ表示素子）が用いられても良い。また、光源と液晶表示素子と光学系の組合せに代えて、非発光状態で透過性を有する透過型有機ＥＬ表示パネルが用いられてもよい。

図１ないし図３に戻って、主本体部１０３の正面には、フレーム１０１の中央寄りに配置されたセンサ部１０５（例えば近接センサ１０５Ａ等）と、側部寄りに配置された撮像部１０６（例えばカメラ１０６Ａ等）のレンズ１０６ａと、これらセンサ部１０５とレンズ１０６ａとの間に配置された照度センサ１０７とが、前方を向くようにして設けられている。したがって、この図１ないし図３に示す例では、センサ部１０５の測定方向、撮像部１０６の光軸および照度センサ１０７の測定方向とは、互いに同じ方向となっている。

ここで、センサ部１０５の測定方向、撮像部１０６の光軸および照度センサ１０７の測定方向が互いに同じ方向であるとは、近接センサ１０５Ａの検知範囲の中心軸、カメラ１０６Ａの光軸および照度センサ１０７の測定範囲の中心軸が平行である場合だけでなく、３つの軸が若干交差していても、上記３つの軸が平行である場合と類似した傾向の出力が三者から得られるような位置関係でこれらが配置されている場合も含まれる。

フレーム１０１の右側の側部１０１ｂには、右副本体部１０８−Ｒが取り付けられ、フレーム１０１の左側の側部１０１ｃには、左副本体部１０８−Ｌが取り付けられている。右副本体部１０８−Ｒおよび左副本体部１０８−Ｌは、細長い板形状を有しており、それぞれ内側に細長い突起１０８ａ−Ｒ、１０８ａ−Ｌを有している。この細長い突起１０８ａ−Ｒをフレーム１０１の側部１０１ｂの長孔１０１ｄに係合させることで、右副本体部１０８−Ｒは、位置決めされた状態でフレーム１０１に取り付けられ、細長い突起１０８ａ−Ｌをフレーム１０１の側部１０１ｃの長孔１０１ｅに係合させることで、左副本体部１０８−Ｌは、位置決めされた状態でフレーム１０１に取り付けられる。

右副本体部１０８−Ｒ内には、地磁気センサ１０９（図５参照）と、ジャイロおよび加速度センサ１１０（図５参照）とが配置されている。左副本体部１０８−Ｌ内には、スピーカ（またはイヤホン）１１１Ａおよびマイク１１１Ｂ（図５参照）が配置されている。主本体部１０３と右副本体部１０８−Ｒとは、配線ＨＳで信号伝達可能に接続されており、主本体部１０３と左副本体部１０８−Ｌとは、不図示の配線で信号伝達可能に接続されている。図３に簡略図示するように、右副本体部１０８−Ｒは、その後端から延在するコードＣＤを介して制御ユニットＣＴＵに接続されている。なお、入力される音声に応じてマイク１１１Ｂから生成される出力信号に基づいて、音声によって操作されるように、ＨＭＤ１００が構成されてもよい。また、主本体部１０３と左副本体部１０８とは、無線接続されるように構成されてもよい。

次に、ＨＭＤ１００の電気的な構成について説明する。図５において、ＨＭＤ１００は、制御ユニットＣＴＵと、撮像部１０６と、地磁気センサ１０９と、ジャイロおよび加速度センサ１１０と、センサ部１０５と、マイク１１１Ｂと、照度センサ１０７と、画像形成部１０４Ａと、表示制御部１０４ＤＲと、スピーカ１１１Ａとを備える。制御ユニットＣＴＵは、制御処理部１２１と、操作部１２２と、ＧＰＳ受信部１２３と、通信部１２４と、記憶部１２５と、バッテリ１２６と、電源回路１２７とを備える。

撮像部１０６は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、所定の撮像領域ＣＡ（図７（Ｂ）参照）の画像を生成する装置である。撮像部１０６は、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、前記イメージセンサの出力に対し公知の画像処理を施して画像（画像データ）を生成するデジタルシグナルプロセッサ（ＤＳＰ）等を備えるカメラ１０６Ａ等である。前記結像光学系は、１または複数のレンズを備えて構成され、その１つとして前記レンズ１０６ａを含む。撮像部１０６は、前記生成した撮像領域ＣＡの画像データを制御処理部１２１へ出力する。

地磁気センサ１０９は、制御処理部１２１に接続され、地球磁気を測定することで、ＨＭＤ１００における前方の方位を測定する回路である。地磁気センサ１０９は、前記測定した方位を制御処理部１２１へ出力する。

ジャイロおよび加速度センサ１１０は、制御処理部１２１に接続され、ＨＭＤ１００の姿勢に応じた、Ｘ軸回りのロールの角速度、Ｙ軸回りのピッチの角速度、Ｚ軸回りのヨーの角速度、Ｘ方向の加速度、Ｙ方向の加速度およびＺ方向の加速度それぞれを測定する回路である。ジャイロおよび加速度センサ１１０は、前記測定した各角速度および各加速度を制御処理部１２１へ出力する。なお、ジャイロおよび加速度センサ１１０は、これらを一体化した６軸センサであってもよい。

センサ部１０５は、制御処理部１２１に接続され、ジェスチャーを行う指示体の動きを測定するための回路である。前記指示体は、例えば、生体における所定の部位（例えば手や手指等）であって良く、また例えば、ユーザの手で把持した棒状の部材（例えばペンや指し棒等）、ユーザの指や腕に装着部材で装着された棒状の部材等である。センサ部１０５は、その出力を制御処理部１２１へ出力する。より具体的には、センサ部１０５は、例えば、近接センサ１０５Ａである。

本明細書において、「近接センサ」とは、物体、例えば人体の一部（手や指など）がユーザの眼前に近接していることを検知するために、近接センサの検出面前方の近接範囲にある検出領域内に存在しているか否かを検出して信号を出力するものをいう。近接範囲は、操作者の特性や好みに応じて適宜に設定すればよいが、例えば、近接センサの検出面からの距離が２００ｍｍ以内の範囲とすることができる。近接センサからの距離が２００ｍｍ以内であれば、ユーザが腕を曲げた状態で、手のひらや指をユーザの視野内に入れたり出したりできるため、手や指を使ったジェスチャーによって容易に操作を行うことができ、また、ユーザ以外の人体や家具等を誤って検出する虞が少なくなる。

近接センサには、パッシブ型とアクティブ型とがある。パッシブ型の近接センサは、物体が近接した際に物体から放射される不可視光や電磁波を検出する検出部を有する。パッシブ型の近接センサとして、接近した人体から放射される赤外線等の不可視光を検出する焦電センサや、接近した人体との間の静電容量変化を検出する静電容量センサ等がある。アクティブ型の近接センサは、不可視光や音波の投射部と、物体に反射して戻った不可視光や音波を受ける検出部とを有する。アクティブ型の近接センサとしては、赤外線を投射して物体で反射された赤外線を受光する赤外線センサや、レーザ光を投射して物体で反射されたレーザ光を受光するレーザセンサや、超音波を投射して物体で反射された超音波を受け取る超音波センサ等がある。なお、パッシブ型の近接センサは、物体に向けてエネルギーを投射する必要がないので、低消費電力性に優れている。アクティブ型の近接センサは、検知の確実性を向上させ易く、例えば、ユーザが、赤外光などの人体から放射される検出光を透過しない手袋をしているような場合でも、ユーザの手の動きを検出できる。複数種類の近接センサが組み合わされても良い。

本実施形態では、近接センサ１０５Ａとして、２次元マトリクス状に配列された複数の焦電素子を備えた焦電センサが用いられている。図６において、近接センサ１０５Ａは、２行２列に配列された４個の焦電素子ＲＡ、ＲＢ、ＲＣ、ＲＤを備えて構成され、人体から放射される赤外光等の不可視光を検出光として受光し、それに対応した信号が各焦電素子ＲＡ〜ＲＤそれぞれから出力される。各焦電素子ＲＡ〜ＲＤの各出力は、近接センサ１０５Ａの受光面から物体までの距離に応じて強度が変化し、距離が近いほど強度が大きくなる。近接センサ１０５Ａは、各焦電素子ＲＡ〜ＲＤの各出力を制御処理部１２１へ出力する。

そして、本実施形態では、この近接センサ１０５Ａと後述のジェスチャー処理部１２１２とから、所定の検知領域内でのジェスチャーを検知するジェスチャー検知部の一例が構成されている。また、本実施形態では、前記検知領域内に物体を検出すると信号を出力する物体検出部は、前記ジェスチャー検知部と兼用されている。より具体的には、本実施形態では、近接センサ１０５Ａにおける複数の焦電素子ＲＡ〜ＲＤのうちの少なくとも１つは、前記物体検出部の一例として用いられている。

マイク１１１Ｂは、制御処理部１２１に接続され、音の音響振動を電気信号に変換する回路である。マイク１１１Ｂは、前記変換した、外部の音を表す前記電気信号を制御処理部１２１へ出力する。

照度センサ１０７は、制御処理部１２１に接続され、照度を測定する回路である。照度センサ１０７は、前記測定した照度を制御処理部１２１へ出力する。照度センサ１０７は、例えば、光電変換することで入射光の光強度に応じた大きさの電流を出力するホトダイオード、および、前記ホトダイオードの電流値を電圧値へ変換するＩ−Ｖ変換回路等の、その周辺回路を備えて構成される。

表示制御部１０４ＤＲは、制御処理部１２１に接続され、制御処理部１２１の制御に従って画像形成部１０４Ａを制御することで、画像形成部１０４Ａに画像を形成させる回路である。画像形成部１０４Ａは、上述した通りである。

スピーカ１１１Ａは、制御処理部１２１に接続され、制御処理部１２１の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。

操作部１２２は、制御処理部１２１に接続され、例えば電源のオンオフ等の、予め設定された所定の指示をＨＭＤ１００に入力する機器であり、例えば、所定の機能を割り付けられた１または複数のスイッチ等である。

ＧＰＳ受信部１２３は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、地球上の現在位置を測定するための衛星測位システムによって、当該ＨＤＭ１００の位置を測定する装置であり、その測位結果（緯度Ｘ、経度Ｙ、高度Ｚ）を制御処理部１２１へ出力する。なお、ＧＰＳ受信部１２３は、ＤＧＳＰ（Ｄｉｆｆｅｒｅｎｔｉａｌ ＧＳＰ）等の誤差を補正する補正機能を持ったＧＰＳであっても良い。

通信部１２４は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。

また、通信部１２４は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えばサーバ装置等の外部装置との間で通信しても良い（イーサネットは登録商標）。このような通信部１２４は、制御処理部１２１から入力された転送すべきデータを収容した通信信号を、前記通信ネットワークで用いられる通信プロトコルに従って生成し、この生成した通信信号を前記通信ネットワークを介して外部装置へ送信する。通信部１２４は、前記通信ネットワークを介して外部装置から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部１２１が処理可能な形式のデータに変換して制御処理部１２１へ出力する。通信部１２４は、例えば、無線ＬＡＮの規格の一つであるＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）規格で通信信号を送受信する、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎに対応したＷｉ−Ｆｉ Ｍｏｄｕｌｅ（通信カード）等を備えて構成される。

バッテリ１２６は、電力を蓄積し、前記電力を供給する電池である。バッテリ１２６は、一次電池であってよく、また、二次電池であってよい。電源回路１２７は、バッテリ１２６から供給された電力を、電力を必要とする、当該ＨＭＤ１００の各部へ各部に応じた電圧で供給する回路である。

記憶部１２５は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該ＨＭＤ１００の各部を当該各部の機能に応じて制御する制御プログラムや、前記物体検出部（本実施形態では焦電素子ＲＡ〜ＲＤのうちの少なくとも１つ）の出力に基づいて物体の存否を検出して前記物体の存在を検出した場合に、非動作状態の撮像部１０６を動作させて撮像部１０６に画像を生成させる制御プログラムや、撮像部１０６で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出して前記指示体の存在を検出した場合に、非動作状態の前記ジェスチャー検知部を動作させて前記ジェスチャー検知部に前記指示体による前記ジェスチャーを検知させる制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、例えば前記指示体を特徴付ける特徴量や、センサ部１０５の出力をサンプリングする第１および第２サンプリング周期等の、ＨＭＤ１００を制御する上で必要なデータが含まれる。記憶部１２５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部１２５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部１２１のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

制御処理部１２１は、ＨＭＤ１００の各部を当該各部の機能に応じてそれぞれ制御し、前記検知領域内でのジェスチャーを検知し、この検知したジェスチャーに応じた処理を実行するものである。制御処理部１２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路等を備えて構成される。制御処理部１２１には、制御処理プログラムが実行されることによって、制御部１２１１、ジェスチャー処理部１２１２および検知結果利用部１２１３が機能的に構成される。なお、制御部１２１１、ジェスチャー処理部１２１２および検知結果利用部１２１３の一部または全てをハードウェアで構成してもよい。

制御部１２１１は、ＨＭＤ１００の各部を当該各部の機能に応じてそれぞれ制御するものである。制御部１２１１は、前記物体検出部（本実施形態では近接センサ１０５Ａの出力における焦電素子ＲＡ〜ＲＤのうちの少なくとも１つ）の出力に基づいて物体の存否を検出して前記物体の存在を検出した場合に、非動作状態の撮像部１０６を動作させて撮像部１０６に画像を生成させる。制御部１２１１は、撮像部１０６で撮像された画像に基づいて指示体の存否を検出して前記指示体の存在を検出した場合に、ジェスチャー検知動作について非動作状態にある前記ジェスチャー検知部を動作させて前記ジェスチャー検知部に前記指示体による前記ジェスチャーを検知させる。より具体的には、制御部１２１１は、撮像部１０６で撮像された画像に基づいて指示体の存否を検出して前記指示体の存在を検出した場合に、ジェスチャー検知動作について非動作状態にあるジェスチャー処理部１２１２を動作させてジェスチャー処理部１２１２に前記指示体による前記ジェスチャーを検知させる。制御部１２１１は、例えば撮像部１０６の給電をオフ（停止）にすることによって撮像部１０６を非動作状態とし、撮像部１０６の給電をオン（実行）にすることによって撮像部１０６を動作状態とする。また例えば、制御部１２１１は、撮像部１０６をスリープ状態にすることによって撮像部１０６を非動作状態とし、撮像部１０６をアクティブ状態にすることによって撮像部１０６を動作状態とする。制御部１２１１は、例えばジェスチャー処理部１２１２の給電をオフ（停止）にすることによってジェスチャー処理部１２１２を非動作状態とし、ジェスチャー処理部１２１２の給電をオン（実行）にすることによってジェスチャー処理部１２１２を動作状態とする。この場合、ジェスチャー処理部１２１２は、制御部１２１１や検知結果利用部１２１３が機能的に構成される第１回路とは別体の第２回路に機能的に構成される。また例えば、制御部１２１１は、ジェスチャー処理部１２１２をスリープ状態にすることによってジェスチャー処理部１２１２を非動作状態とし、ジェスチャー処理部１２１２をアクティブ状態にすることによってジェスチャー処理部１２１２を動作状態とする。なお、後述するように、本実施形態においては、ジェスチャー検知部は、ジェスチャー処理部１２１２と近接センサ１０５Ａとで構成され、近接センサ１０５Ａは、常時動作状態にある。したがって、ジェスチャー検知部は、その一部が動作しているが、ジェスチャー検知動作は、行わない状態（ジェスチャー検知動作について非動作状態という）をとり得る。

そして、制御部１２１１は、前記物体の存否を検出する場合では、ジェスチャー処理部１２１２にジェスチャーを検知させる場合に近接センサ１０５Ａの出力をサンプリングする第２サンプリング周期よりも長い第１サンプリング周期で、前記近接センサ１０５Ａの出力をサンプリングする。前記第１サンプリング周期は、例えば１００ｍｓ、２００ｍｓおよび３００ｍｓ等であり、前記第２サンプリング周期は、例えば１０ｍｓ、２０ｍおよび３０ｍｓ等である。

また、前記指示体の存否の検出では、制御部１２１１は、撮像部１０６で撮像された画像から、前記指示体を特徴付ける所定の特徴量を抽出し、抽出された特徴量が予め定めた条件に合致するか否かを判定することで、前記検知領域内における前記指示体の存否を検出する。前記特徴量は、指示体の色、指示体の輪郭形状、指示体上の形状パターンおよび指示体に付されたマーカーのうちの少なくとも１つである。前記特徴量が指示体の色である場合には、例えば、この指示体の色が記憶部１２５に記憶され、制御部１２１１は、撮像部１０６で撮像された画像から、前記指示体の色として記憶部１２５に記憶された色を持つ領域を検出し、この領域の存否によって指示体の存否を判定する。前記特徴量が指示体の輪郭形状である場合には、例えば、この指示体の輪郭形状が記憶部１２５に記憶され、制御部１２１１は、撮像部１０６で撮像された画像から、前記指示体の輪郭形状として記憶部１２５に記憶された輪郭形状を持つ領域をパターンマッチングによって検出し、この領域の存否によって指示体の存否を判定する。前記特徴量が指示体上の形状パターンである場合には、例えば、この形状パターンが記憶部１２５に記憶され、制御部１２１１は、撮像部１０６で撮像された画像から、前記指示体上の形状パターンとして記憶部１２５に記憶された形状パターンを持つ領域をパターンマッチングによって検出し、この領域の存否によって指示体の存否を判定する。前記特徴量がマーカーである場合であって前記マーカーがその色によって特徴付けられている場合には、制御部１２１１は、上述の特徴量が指示体の色の場合と同様の処理によってマーカーの存否を検出して指示体の存否を検出する。あるいは、前記特徴量がマーカーである場合であって前記マーカーがその形状によって特徴付けられている場合には、制御部１２１１は、上述の特徴量が輪郭形状や形状パターンの場合と同様の処理によってマーカーの存否を検出して指示体の存否を検出する。このような特徴量の判定では、色を判定する情報処理（色判定情報処理）は、輪郭形状を判定する情報処理（輪郭形状判定情報処理）や、形状パターンを判定する情報処理（形状パターン判定情報処理）に較べて簡易に判定できるので、情報処理量が少なくて済む。

そして、本実施形態では、互いに異なる種類の複数の特徴量を用いており、制御部１２１１は、撮像部１０６で撮像された画像から、前記複数の特徴量それぞれを抽出して予め定めた条件に合致するか否かを判定する。より具体的には、前記複数の特徴量を含む領域を全て存在する場合には検出結果として前記検知領域内に前記指示体が存在すると判定し、前記複数の特徴量を含む領域のいずれかが無い場合には前記検出結果として前記検知領域内に前記指示体が存在しないと判定する。さらに具体的には、本実施形態では、前記特徴量は、指示体の色および指示体上の形状パターンであり、制御部１２１１は、カメラ１０６Ａで撮像された画像から、前記指示体の色として記憶部１２５に記憶された色を持つ第１領域を検出し、この第１領域を検出した場合に、さらに、この第１領域に対し、前記指示体上の形状パターンとして記憶部１２５に記憶された形状パターンを持つ第２領域をパターンマッチングによって検出し、この第２領域を検出した場合に前記指示体が存在していると判定し、前記第１および第２領域のうちのいずれかが存在しない場合に前記指示体が存在しないと判定する。

ジェスチャー処理部１２１２は、センサ部１０５の出力に基づいて前記指示体によるジェスチャーを求めるものである。より具体的には、本実施形態では、ジェスチャー処理部１２１２は、近接センサ１０５Ａにおける複数の検知素子としての複数の焦電素子、本実施形態では４個の焦電素子ＲＡ〜ＲＤの各出力に基づいて、例えば手や手指の動きによる、予め設定された所定のジェスチャーを判定するものである。ジェスチャー処理部１２１２は、その判定結果（検知結果）を検知結果利用部１２１３へ通知する。

検知結果利用部１２１３は、ジェスチャー処理部１２１２の判定結果に基づいて所定の処理を実行するものである。例えば、ジェスチャー処理部１２１２の判定結果がいわゆる「フリック」である場合には、検知結果利用部１２１３は、表示制御部１０４ＤＲの表示制御によって画像形成部１０４Ａに形成されている第１画像から第２画像へとページめくりを行うように表示を変更する。また例えば、ジェスチャー処理部１２１２の判定結果がいわゆる「スライド」である場合には、検知結果利用部１２１３は、表示制御部１０４ＤＲの表示制御によって画像形成部１０４Ａに形成されている画像を移動するように表示を変更する。

まず、ＨＭＤ１００における、ジェスチャーを検知する基本動作について説明する。図７は、実施形態のウェアラブル電子機器を装着した場合の正面図である。図７（Ｂ）には、図７（Ａ）に示す正面図に加えて近接センサ１０５Ａの検出領域ＳＡ（前記ジェスチャー検知部の前記検知領域の一例）とカメラ１０６Ａの撮像領域ＣＡとの関係が示されている。図８は、実施形態のウェアラブル電子機器を装着した場合の側面図および部分上面図である。図８には、ユーザＵＳの手ＨＤも図示されている。図８（Ａ）は、側面図であり、図８（Ｂ）は、部分上面図である。図９は、シースルー型の画像表示部を通してユーザが視認する像の一例を示す図である。図１０は、実施形態のウェアラブル電子機器におけるセンサ部の一例としての近接センサの出力の一例を示す図である。図１０（Ａ）は、焦電素子ＲＡの出力を示し、図１０（Ｂ）は、焦電素子ＲＢの出力を示し、図１０（Ｃ）は、焦電素子ＲＣの出力を示し、図１０（Ｄ）は、焦電素子ＲＤの出力を示す。図１０の各図の横軸は、時間であり、それらの縦軸は、強度（出力レベル）である。ここで、ジェスチャー操作とは、少なくともユーザＵＳの手ＨＤや指が近接センサ１０５Ａの検出領域ＳＡ内に進入または離間する動作であり、近接センサ１０５Ａを介してＨＭＤ１００の制御処理部１２１のジェスチャー処理部１２１２が検知できるものである。

図９に示すように、画像表示部１０４Ｂの画面１０４ｉは、画像表示部１０４Ｂに対向するユーザの眼の有効視野ＥＶに重なるように（ここでは、有効視野ＥＶ内に位置するように）配置される。近接センサ１０５Ａの検出領域ＳＡは、画像表示部１０４Ｂに対向するユーザの眼の視野内にある。好ましくは、検出領域ＳＡは、ユーザの眼の安定注視野またはその内側の視野内（水平約９０°以内、垂直約７０°以内）に位置し、さらに好ましくは、安定注視野よりも内側に位置する、有効視野ＥＶまたはその内側の視野内（水平約３０°以内、垂直約２０°以内）に重なるように位置するように、近接センサ１０５Ａの配置と向きを調整して設置するとよい。近接センサ１０５Ａの検出領域ＳＡは、前記ジェスチャー検知部の前記検知領域の一例である。

図９には、検出領域ＳＡが画面１０４ｉに重なっている例が示されている。このように、ユーザＵＳが頭部装着部材であるフレーム１０１を頭部に装着した状態で、ユーザＵＳの眼の視野内に近接センサ１０５Ａの検出領域ＳＡが位置するように設定することで、画面１０４ｉを通して手ＨＤを観察しつつ、眼の移動を伴うことなく、近接センサ１０５Ａの検出領域ＳＡへの手の進入と退避とを確実に視認できる。特に、近接センサ１０５Ａの検出領域ＳＡを安定注視野またはその内側の視野内とすることで、ユーザが画面を観察していても検出領域ＳＡを認識しつつ、確実にジェスチャー操作を行うことができる。また、近接センサ１０５Ａの検出領域ＳＡを有効視野ＥＶまたはその内側の視野内とすることで、さらに確実にジェスチャー操作を行うことができる。検出領域ＳＡが画面１０４ｉに重なるようにすれば、さらに確実にジェスチャー操作を行うことができる。なお、本実施形態のように、近接センサ１０５Ａが複数の焦電素子ＲＡ〜ＲＤを有する場合は、複数の焦電素子ＲＡ〜ＲＤの受光領域全体を一つの受光部とみて、その受光部の最大検出範囲を検出領域とみなすものとする。図９のように、近接センサ１０５Ａの検出領域ＳＡが画面１０４ｉに重なるように設定されている場合は、検出領域ＳＡを示す画像を画面１０４ｉに表示する（例えば、領域ＳＡの範囲を実線で表示する）と、ユーザは、検出領域ＳＡを確実に認識できるので、ジェスチャーによる操作をより確実に行うことができる。

また、図７（Ｂ）に示すように、近接センサ１０５Ａの検出領域ＳＡを含むようにカメラ１０６Ａの撮像領域ＣＡが設定される。すなわち、近接センサ１０５Ａとカメラ１０６Ａの検出領域ＳＡとは、検出領域ＳＡが撮像領域ＣＡに含まれるように、フレーム１０１の主本体部１０３に配設されている。したがって、撮像部１０６は、前記ジェスチャー検知部の検知領域を含む領域を撮像領域として画像を生成するものである。

次に、ジェスチャーの検出の基本原理について説明する。なお、以下においては、ユーザＵＳの手ＨＤによってジェスチャーを行うものとして説明するが、指やその他の部位であってもよく、不可視光を放射できる材料からなる指示具をユーザＵＳが用いてジェスチャーを行ってもよい。

上述したように、近接センサ１０５Ａは、２行２列に並べられた４個の焦電素子ＲＡ〜ＲＤを有する（図６参照）。したがって、ユーザＵＳが、左右上下いずれの方向から手ＨＤをＨＭＤ１００の前方に近づけた場合、各焦電素子ＲＡ〜ＲＤで検出する信号の出力タイミングが異なる。

例えば、図８および図９を参照して、ユーザＵＳがＨＭＤ１００の前方で右方から左方に向かって手ＨＤを移動させたジェスチャーの場合、手ＨＤから放射された不可視光が近接センサ１０５に入射する。この場合に、最初に不可視光を受光するのは、焦電素子ＲＡ、ＲＣである。したがって、図１０に示すように、まず、焦電素子ＲＡ、ＲＣの信号が立ち上がり、遅れて焦電素子ＲＢ、ＲＤの信号が立ち上がる。そして、この後、焦電素子ＲＡ、ＲＣの信号が立ち下がって、遅れて焦電素子ＲＢ、ＲＤの信号が立ち下がる（図略）。この信号のタイミングをジェスチャー処理部１２１２が検出し、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを右から左へと移動させたジェスチャーを行ったと判定する。

同様に、焦電素子ＲＢ、ＲＤの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＣの信号が立ち上がり、その後、焦電素子ＲＢ、ＲＤの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＣの信号が立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを左から右へと移動させたジェスチャーを行ったと判定する。

また同様に、焦電素子ＲＡ、ＲＢの信号が立ち上がり、遅れて焦電素子ＲＣ、ＲＤの信号が立ち上がり、その後、焦電素子ＲＡ、ＲＢの信号が立ち下がって、遅れて焦電素子ＲＣ、ＲＤの信号が立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを上から下へと移動させたジェスチャーを行ったと判定する。

また同様に、焦電素子ＲＣ、ＲＤの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＢの信号が立ち上がり、その後、焦電素子ＲＣ、ＲＤの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＢの信号が立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを下から上へと移動させたジェスチャーを行ったと判定する。

また同様に、焦電素子ＲＡの信号が立ち上がり、遅れて焦電素子ＲＢ、ＲＣの信号が立ち上がり、さらに遅れて焦電素子ＲＤが立ち上がり、その後、焦電素子ＲＡの信号が立ち下がって、遅れて焦電素子ＲＢ、ＲＣの信号が立ち下がって、さらに遅れて焦電素子ＲＤが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを右上から左下へと移動させたジェスチャーを行ったと判定する。

また同様に、焦電素子ＲＢの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＤの信号が立ち上がり、さらに遅れて焦電素子ＲＣが立ち上がり、その後、焦電素子ＲＢの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＤの信号が立ち下がって、さらに遅れて焦電素子ＲＣが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを左上から右下へと移動させたジェスチャーを行ったと判定する。

また同様に、焦電素子ＲＤの信号が立ち上がり、遅れて焦電素子ＲＢ、ＲＣの信号が立ち上がり、さらに遅れて焦電素子ＲＡが立ち上がり、その後、焦電素子ＲＤの信号が立ち下がって、遅れて焦電素子ＲＢ、ＲＣの信号が立ち下がって、さらに遅れて焦電素子ＲＡが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを左下から右上へと移動させたジェスチャーを行ったと判定する。

また同様に、焦電素子ＲＣの信号が立ち上がり、遅れて焦電素子ＲＡ、ＲＤの信号が立ち上がり、さらに遅れて焦電素子ＲＢが立ち上がり、その後、焦電素子ＲＣの信号が立ち下がって、遅れて焦電素子ＲＡ、ＲＤの信号が立ち下がって、さらに遅れて焦電素子ＲＢが立ち下がる場合、ジェスチャー処理部１２１２は、ユーザＵＳが手ＨＤを右下から左上へと移動させたジェスチャーを行ったと判定する。

次に、上述した基本原理に基づく本実施形態におけるジェスチャーの検出について説明する。図１１は、ジェスチャーの検知に関し、実施形態のウェアラブル電子機器の動作（メインルーチン）を示すフローチャートである。図１２は、実施形態のウェアラブル電子機器の前記動作（メインルーチン）における指示体の存否の判定処理（サブルーチン）を示すフローチャートである。図１３は、実施形態のウェアラブル電子機器の前記動作（メインルーチン）におけるジェスチャー検知処理（サブルーチン）を示すフローチャートである。図１４は、実施形態のウェアラブル電子機器における指示体の存否の判定処理を説明するための図である。図１４（Ａ）は、指示体の一例である手ＨＤの全体を示す全体画像であり、図１４（Ｂ）は、前記全体画像のうち、手ＨＤの一部を拡大した一部拡大画像である。

このようなＨＭＤ１００では、センサ部１０５の一例である近接センサ１０５Ａの検出領域ＳＡに、指示体の一例である手ＨＤが存在していれば、上述の基本原理によってジェスチャー処理部１２１２は、手ＨＤによるジェスチャーを検知できる。しかしながら、近接センサ１０５Ａは、検出領域ＳＡ内に存在する物体が指示体であるか否かを判別していないので、上述の基本原理のみに基づく処理だけでは、前記指示体ではない他の物体が近接センサ１０５Ａの検出領域ＳＡ内で動いても、ジェスチャー処理部１２１２は、前記指示体ではない他の物体の動きをジェスチャーとして検知し、誤検知してしまう。

そこで、本実施形態では、ＨＭＤ１００は、次のように動作している。このようなＨＭＤ１００では、ユーザによって図略の電源スイッチがオンされると、制御処理部１２１は、必要な各部の初期化を実行し、制御処理プログラムの実行によって、制御処理部１２１には、制御部１２１１、ジェスチャー処理部１２１２および検知結果利用部１２１３が機能的に構成される。

そして、図１１において、ＨＭＤ１００は、制御部１２１１によって初期状態で起動する（Ｓ１１）。この初期状態では、撮像部１０６の一例であるカメラ１０６Ａは、非動作状態であり、センサ部１０５の一例である近接センサ１０５Ａは、動作状態であり、そして、ジェスチャー処理部１２１２は、非動作状態である。したがって、一例として近接センサ１０５Ａおよびジェスチャー処理部１２１２から構成されるジェスチャー検知部は、初期状態では、近接センサ１０５Ａのみが動作状態にある半オン状態（換言すれば、ジェスチャー処理部１２１２のみが非動作状態にある半オフ状態）、つまり、ジェスチャー検知動作について不動作状態となる。

次に、制御部１２１１は、第１サンプリング周期で近接センサ１０５Ａの出力をサンプリングし、このサンプリングした近接センサ１０５Ａの出力に基づいて物体の存否（物体を検出したか否か）を判定する（Ｓ１２）。近接センサ１０５Ａの検出領域ＳＡに物体が存在しない場合には、近接センサ１０５Ａは、有意な信号レベルで信号を出力しないので、制御部１２１１は、近接センサ１０５Ａから信号が出力されているか否かによって、物体の存否を判定できる。例えば、制御部１２１１は、近接センサ１０５Ａから信号が出力されている場合には物体が存在していると判定し、近接センサ１０５Ａから信号が出力されていない場合には物体が存在していないと判定する。より具体的には、制御部１２１１は、近接センサ１０５Ａの出力が予め設定された閾値以上であるか否かによって、物体の存否を判定し、制御部１２１１は、近接センサ１０５Ａの出力が前記閾値以上である場合には物体が存在していると判定し、近接センサ１０５Ａの出力が前記閾値未満である場合には物体が存在していないと判定する。前記閾値は、ノイズによる誤判定を回避するための値である。ここで、近接センサ１０５Ａの出力は、焦電素子ＲＡ〜ＲＤの各出力のうちの少なくとも１つであって良い。近接センサ１０５Ａの出力が焦電素子ＲＡ〜ＲＤの各出力のうちの複数である場合には、制御部１２１１は、複数の各出力のうちの少なくとも１つが前記閾値以上である場合には物体が存在していると判定し、複数の各出力のうちの全てが前記閾値未満である場合には物体が存在していないと判定する。前記判定の結果、物体が存在していない場合（Ｎｏ）には、制御部１２１１は、処理を処理Ｓ１２へ戻し、次のサンプリングタイミングで処理Ｓ１２を実行し、物体が存在している場合（Ｙｅｓ）には、制御部１２１１は、次の処理Ｓ１３を実行する。

処理Ｓ１３では、制御部１２１１は、撮像部１０６（カメラ１０６Ａ）を動作状態に切り換え、撮像部１０６（カメラ１０６Ａ）によって撮像領域ＣＡの画像を生成し、取得する。なお、上述したように、ジェスチャーを行う指示体であるか否かを判断できるような最低限の画像情報を取得する場合は、撮像部１０６に求められる負担を軽減できるので、不動作状態にある撮像部１０６の起動に要する時間も短時間で済む。したがって、ユーザがジェスチャーのために近接センサ１０５Ａの前で一方向に手を振った場合に、撮像部１０６の撮像範囲を手が通過するまでの間に、撮像部１０６を起動し必要な情報が得られるような撮像を完了することは十分可能である。

次に、制御部１２１１は、近接センサ１０５Ａの出力に基づいて検出された物体が指示体であるか否かを判定する指示体の存否の判定処理を実行する（Ｓ１４）。

この指示体の存否の判定処理を図１２を用いて以下に説明する。図１２において、制御部１２１１は、撮像部１０６（カメラ１０６Ａ）で取得された画像に、指示体の色の領域があるか否かを判定する。より具体的には、制御部１２１１は、撮像部１０６（カメラ１０６Ａ）で取得された画像から、指示体の色として記憶部１２５に記憶された色を持つ領域を検出し、この領域の存否によって指示体の色の領域の存否を判定する。この判定の結果、指示体の色の領域が無い場合（Ｎｏ）には、制御部１２１１は、初期状態に戻し（Ｓ２４）、図１１の処理Ｓ１２を実行する（Ｓ２５）。すなわち、処理Ｓ１２で検出した物体は、指示体ではないと判定され、制御部１２１１は、初期状態に戻し（Ｓ２４）、次のサンプリングタイミングで図１１の処理Ｓ１２を実行する（Ｓ２５）。一方、前記判定の結果、指示体の色の領域がある場合（Ｙｅｓ）には、制御部１２１１は、次の処理Ｓ２２を実行する。

処理Ｓ２２では、制御部１２１１は、処理Ｓ２１で検出した指示体の色の領域で、指示体の形状パターンがあるか否かを判定する。より具体的には、制御部１２１１は、処理Ｓ２１で検出した指示体の色の領域から、指示体上の形状パターンとして記憶部１２５に記憶された形状パターンを持つ領域をパターンマッチングによって検出し、この領域の存否によって前記形状パターンの存否を判定する。例えば、手ＨＤの肌色が指示体の色として予め記憶部１２５に記憶され、手指の節部分の形状が前記指示体上の形状パターンとして予め記憶部１２５に記憶され、まず、処理Ｓ２１によって、図１４（Ａ）に示すように、撮像部１０６（カメラ１０６Ａ）で取得された画像から、手ＨＤの肌色の領域が検出され、次に処理Ｓ２２で、図１４（Ｂ）に示すように、この肌色の領域から、手指の節部分の形状に相当する形状パターンが例えばパターンマッチングによって検出される。また例えば、指示体が黒色を除く色の星形（★）のマーカーを付した黒色の棒体である場合には、黒色が指示体の色として予め記憶部１２５に記憶され、星形（★）が前記指示体上の形状として予め記憶部１２５に記憶され、まず、処理Ｓ２１によって、撮像部１０６（カメラ１０６Ａ）で取得された画像から、黒色の領域が検出され、次に処理Ｓ２２で、この黒色の領域から、星形が例えばパターンマッチングによって検出される。この判定の結果、指示体の形状パターンが無い場合（Ｎｏ）には、制御部１２１１は、初期状態に戻し（Ｓ２４）、図１１の処理Ｓ１２を実行する（Ｓ２５）。すなわち、処理Ｓ１２で検出した物体は、指示体ではないと判定され、制御部１２１１は、初期状態に戻し（Ｓ２４）、次のサンプリングタイミングで図１１の処理Ｓ１２を実行する（Ｓ２５）。一方、前記判定の結果、指示体の形状パターンがある場合（Ｙｅｓ）には、制御部１２１１は、処理Ｓ１４の処理としてこの図１２に示す指示体の存否の判定処理を実行している場合には、次の処理Ｓ１５を実行する（Ｓ２３）。すなわち、処理Ｓ１２で検出した物体は、指示体であると判定され、制御部１２１１は、次の処理Ｓ１５を実行する（Ｓ２３）。なお、この処理Ｓ２３において、制御部１２１１は、後述の処理Ｓ３３の処理としてこの図１２に示す指示体の存否の判定処理を実行している場合には、次の処理Ｓ３４を実行する。

指示体における１個の特徴量だけを用いて処理Ｓ２１だけで指示体の存否が判定されても良いが、本実施形態では、指示体における２個の特徴量を用いて処理Ｓ２１および処理Ｓ２２の２段階で指示体の存否が判定されている。したがって、指示体の存否がより精度良く判定できる。なお、さらに判定精度を向上させる観点から、さらに他の種類の特徴量が用いられても良い。

図１１に戻って、処理Ｓ１５では、制御部１２１１は、センサ部１０５（近接センサ１０５Ａ）の出力をサンプリングするサンプリング周期を第１サンプリング周期から第２サンプリング周期（第２サンプリング周期＜第１サンプリング周期）に切り換え、ジェスチャー処理部１２１２を動作状態に切り換える。

次に、制御部１２１１は、撮像部１０６（カメラ１０６Ａ）を非動作状態に切り換える（Ｓ１６）。

次に、制御部１２１１は、ジェスチャーを検知するジェスチャー検知処理を実行する（Ｓ１７）。

このジェスチャーの検知処理を図１３を用いて以下に説明する。図１３において、制御部１２１１は、機能的にタイマーを制御処理部１２１に形成し、このタイマーをリセットしてスタートさせる。このタイマーは、この図１３に示すジェスチャーの検知処理を実行する時間長を設定するためのものであり、後述するように、このタイマーのタイムアップにより、図１３に示すジェスチャーの検知処理の実行が自動的に終了する。

次に、制御部１２１１は、上述した処理Ｓ１３と同様に、撮像部１０６（カメラ１０６Ａ）を動作状態に切り換え、撮像部１０６（カメラ１０６Ａ）によって撮像領域ＣＡの画像を生成し、取得する（Ｓ３２）。

次に、制御部１２１１は、上述した処理Ｓ１４と同様に、この処理Ｓ３２で取得した画像に対し、指示体の存否の判定処理を実行する（Ｓ３３）。指示体の存否の判定処理は、図１２を用いて説明した上述の通りであるので、ここでは、その説明を省略する。なお、この処理Ｓ３３での指示体の存否の判定処理では、上述したように、１回、指示体の存否の判定処理が実行されているので、処理Ｓ２２が省略され、処理Ｓ２１のみが実行されても良い。すなわち、処理Ｓ２１の実行の結果、指示体の色の領域がある場合（Ｙｅｓ）には、制御部１２１１は、処理Ｓ２２をスキップして（飛ばして）、処理Ｓ２３を実行する。

次に、制御部１２１１は、上述した処理Ｓ１６と同様に、撮像部１０６（カメラ１０６Ａ）を非動作状態に切り換える。

次に、制御部１２１１は、第２サンプリング周期のサンプリングタイミングで近接センサ１０５Ａの出力（各集電素子ＲＡ〜ＲＤの各出力）を取得する（Ｓ３５）。

次に、制御部１２１１は、ジェスチャー処理部１２１２によって、近接センサ１０５Ａにおける複数の焦電素子ＲＡ〜ＲＤの各出力の立ち上がりタイミングやその立ち下がりタイミングを判定する（Ｓ３６）。

次に、制御部１２１１は、ジェスチャー処理部１２１２によって、ジェスチャーを決定できるか否かを判定する（Ｓ３７）。上述したように、ジェスチャーは、近接センサ１０５Ａにおける焦電素子ＲＡ〜ＲＤそれぞれから出力される各信号の、時系列に並ぶ各立ち上がりタイミングおよび各立ち下がりタイミングに基づいて判定されるので、１回の処理の実行では、ジェスチャーは、判定できない。このため、ジェスチャー処理部１２１２は、今回の処理で、今回の処理結果と、例えば前回の処理結果や前々回の処理結果等の過去の複数の処理結果と合わせることで、ジェスチャーを決定できるか否かを判定している。

この判定の結果、ジェスチャーを決定できない場合（Ｎｏ）には、制御部１２１１は、処理を処理Ｓ３５に戻す。一方、前記判定の結果、ジェスチャーを決定できる場合（Ｙｅｓ）には、制御部１２１１は、ジェスチャー処理部１２１２によって、この決定したジェスチャーを検知結果利用部１２１３へ通知する。このジェスチャー処理部１２１２から通知を受けると、検知結果利用部１２１３は、ジェスチャー処理部１２１２の判定結果に基づいて所定の処理を実行する。例えば、ジェスチャー処理部１２１２の判定結果がいわゆる「フリック」である場合には、検知結果利用部１２１３は、表示制御部１０４ＤＲの表示制御によって画像形成部１０４Ａに形成されている第１画像から第２画像へとページめくりを行うように表示を変更する。

次に、制御部１２１１は、前記タイマーがタイムアップしたか否かを判定する（Ｓ３９）。この判定の結果、前記タイマーがタイムアップしていない場合（Ｎｏ）には、制御部１２１１は、処理を処理Ｓ３２に戻し、一方、前記判定の結果、前記タイマーがタイムアップしている場合（Ｙｅｓ）には、制御部１２１１は、次の処理Ｓ１８を実行する（Ｓ４０）。

図１１に戻って、処理Ｓ１８では、制御部１２１１は、初期状態に戻し、処理を処理Ｓ１２に戻す。なお、センサ部１０５の出力を第２サンプリング周期でサンプリングし始めたときから、一定時間（例えば、数十秒）経過するまでは、第１サンプリング周期に戻さず第２サンプリング周期でのサンプリングを継続するようにしてもよい。このようにすれば、ユーザの操作性を向上させることができる。また、電源オン直後ではなく、カメラ１０６Ａ用のアプリケーションプログラムを実行することにより、カメラ１０６Ａを通常の画像撮影に用いている場合は、その状態でのカメラ１０６Ａの撮影データを利用して指示体の存否の判定に使うこともできる。なお、この場合は、ユーザの意思でカメラ１０６Ａを動作させているので、指示体の存否が判明しても直ちに非動作状態にするのではなく、アプリケーションプログラムの終了まで、撮像部１０６を動作状態に保つことが好ましい。

以上説明したように、本実施形態におけるウェアラブル電子機器の一例としてのＨＭＤ１００およびこれに実装されたジェスチャー検知方法は、撮像部１０６（本実施形態ではカメラ１０５Ａ）の画像からジェスチャーを検知せずに、ジェスチャー検知部（本実施形態では近接センサ１０５Ａおよびジェスチャー処理部１２１２）でジェスチャーを検知するので、画像からジェスチャーを検知する技術に較べて情報処理量が少なく消費電力を低減できる。上記ＨＭＤ１００およびジェスチャー検知方法は、物体検出部（本実施形態では近接センサ１０５Ａ）の出力に基づいて物体の存否を検出して前記物体の存在を検出した場合に、非動作状態の撮像部１０６を動作させるので、一層、省電力化できる。そして、上記ＨＭＤ１００およびジェスチャー検知方法は、この撮像部１０６で撮像された画像に基づいて指示体の存否を検出するので、指示体ではない物体の動きによるジェスチャーの誤検知を低減できる。さらに、上記ＨＭＤ１００およびジェスチャー検知方法は、前記指示体の存在を検出した場合に、非動作状態のジェスチャー検知部を動作させて前記ジェスチャー検知部に前記ジェスチャーを検知させるので、さらに省電力化できる。

また、上記ＨＭＤ１００およびジェスチャー検知方法は、前記指示体の特徴量で前記指示体の存否を検出するので、指示体の一部の画像からでも指示体の存否を検出できる。

また、上記ＨＭＤ１００およびジェスチャー検知方法は、特徴量の複数種類で前記指示体の存否を検出するので、より精度良く指示体の存否を検出できる。

また、上記ＨＭＤ１００およびジェスチャー検知方法は、前記物体検出部が前記ジェスチャー検知部と兼用されるので、部品数を低減でき、小型化できる。本実施形態では、前記ジェスチャー検知部の焦電素子ＲＡ〜ＲＤを前記物体検出部に流用したＨＭＤ１００が提供される。

また、上記ＨＭＤ１００およびジェスチャー検知方法は、物体の存否の検出には、ジェスチャーを検知する場合の第２サンプリング周期よりも長周期の第１サンプリング周期でセンサ部の出力をサンプリングして処理するので、物体の存否の検出とジェスチャーの検知とを同じサンプリング周期で実行する場合に比べて省電力化できる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

ＲＡ〜ＲＤ 焦電素子
１００ ヘッドマウントディスプレイ
１０５ センサ部
１０５Ａ 近接センサ
１０６ 撮像部
１０６Ａ カメラ
１２１ 制御処理部
１２１１ 制御部
１２１２ ジェスチャー処理部
１２１３ 検知結果利用部

Claims (10)

1. 検知領域内でのジェスチャーを検知するジェスチャー検知部と、
   前記検知領域内の物体の有無に応じた信号を出力する物体検出部と、
   前記検知領域を含む領域を撮像領域として画像を生成する撮像部と、
   前記物体検出部の出力に基づいて前記物体の存否を検出して前記物体の存在を検出した場合に、非動作状態にある前記撮像部を起動して前記撮像部に画像を生成させ、前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出して前記指示体の存在を検出した場合に、前記ジェスチャー検知部に前記指示体による前記ジェスチャーを検知させる制御部とを備え、
   前記ジェスチャー検知部は、前記撮像部で撮像された画像を用いることなく指示体によるジェスチャーを検知すること
   を特徴とするウェアラブル電子機器。
2. 前記制御部は、前記撮像部で撮像された画像から、前記指示体を特徴付ける特徴量を抽出し、抽出された特徴量が予め定めた条件に合致するか否かを判定することで、前記検知領域内における前記指示体の存否を検出すること
   を特徴とする請求項１に記載のウェアラブル電子機器。
3. 前記制御部は、前記撮像部で撮像された画像から、前記指示体を特徴付ける、互いに異なる種類の複数の特徴量を抽出し、抽出された前記複数の特徴量が予め定めた条件に合致する場合には検出結果として前記検知領域内に前記指示体が存在すると判定し、合致しない場合には前記検出結果として前記検知領域内に前記指示体が存在しないと判定すること
   を特徴とする請求項２に記載のウェアラブル電子機器。
4. 前記物体検出部は、前記ジェスチャー検知部を兼ねること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載のウェアラブル電子機器。
5. 前記ジェスチャー検知部は、２次元マトリクス状に配列された複数の検知素子を備えるセンサ部と、前記センサ部の出力に基づいて前記ジェスチャーを求めるジェスチャー処理部とを備え、
   前記物体検出部は、前記センサ部における前記複数の検知素子のうちの少なくとも１つであること
   を特徴とする請求項４に記載のウェアラブル電子機器。
6. 前記制御部は、前記ジェスチャーを検知するために前記センサ部の出力をサンプリングする第２サンプリング周期よりも長い第１サンプリング周期で、前記物体の存否を検出するために前記センサ部の出力をサンプリングすること
   を特徴とする請求項５に記載のウェアラブル電子機器。
7. 頭部に装着するための頭部装着部材をさらに備えること
   を特徴とする請求項１ないし請求項６のいずれか１項に記載のウェアラブル電子機器。
8. 生体における所定の部位に装着部材によって装着されるウェアラブル電子機器のジェスチャー検知方法であって、
   ジェスチャーの検知領域内の物体の有無に応じた信号を出力する物体検出部の出力に基づいて前記物体の存否を検出し、
   前記物体の存在を検出した場合に、前記検知領域を含む領域を撮像領域として画像を生成する撮像部を非動作状態から起動して画像を生成させ、
   前記撮像部で撮像された画像に基づいてジェスチャーを行うための指示体の存否を検出し、
   前記指示体の存在を検出した場合に、前記検知領域内での前記ジェスチャーを検知するジェスチャー検知部に前記指示体による前記ジェスチャーを検知させ、
   前記ジェスチャーを検知させる場合では、前記撮像部で撮像された画像を用いることなく指示体によるジェスチャーを検知させること
   を特徴とするウェアラブル電子機器のジェスチャー検知方法。
9. 前記撮像部で撮像された画像から、前記指示体を特徴付ける特徴量を抽出し、抽出された特徴量が予め定めた条件に合致するか否かを判定することで、前記検知領域内における前記指示体の存否を検出すること
   を特徴とする請求項８に記載のウェアラブル電子機器のジェスチャー検知方法。
10. 前記ジェスチャー検知部を兼ねる前記物体検出部の出力を、第１サンプリング周期でサンプリングして前記物体の存否を検出し、前記指示体の存在を検出した場合に、前記物体検出部の出力を、前記第１サンプリング周期よりも短い第２サンプリング周期でサンプリングして前記検知領域内での前記ジェスチャーを検知すること
    を特徴とする請求項９に記載のウェアラブル電子機器のジェスチャー検知方法。

Images