WO2015129588A1 - ジェスチャ入力システム - Google Patents

Abstract

　高い汎用性と、利便性を備えたジェスチャ入力システムを提供することを課題とする。　ジェスチャ入力システムであって、ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースと、検出したジェスチャ動作を、ジェスチャ入力情報に変換するジェスチャ入力装置と、前記ジェスチャ入力情報及び前記指示情報データベースを用いて、前記指示情報を導出する照合手段と、前記照合手段によって導出された指示情報に基づいて処理を行なう中継装置と、を有することを特徴とする。

Description

ジェスチャ入力システム

　本発明は、ジェスチャによる入力を検出し、対象への入力を行う為のジェスチャ入力システムに関するものである。

　近年、ウェアラブルコンピュータやウェアラブルデバイスといった、身に着けて利用する電子機器の開発が進んでいる。例えば腕時計型のコンピュータや、眼鏡型のコンピュータなどが有る。ユーザが常に身に着けている特性から、体調管理やライフログの記録など、これまでにない新たな機能を提供するものとして注目を集めている。

　また、既存の入力デバイスに代わる新たな入力方法として、ユーザの動きや姿勢を検出することで入力を行う、ジェスチャ検出による入力方法が注目されている。

　特許文献１には、ジャイロセンサを用いて手書き文字の検出を行う為の、手の指又は手に装着する装着体に関する技術が記載されている。この装着体を身に着けた状態で、空中や面上に文字を書き込むことで、手の角度変化を検出し、手書きの文字をコンピュータ上に出力することが可能である。この技術によって、キーボード等の入力装置によらない、新たな文字入力を行うことが可能となった。

特開２００１－２３６１７４号公報

　特許文献１に記載の技術は、手書きで文字を入力するための入力デバイスに関する技術であるが、文字入力の効率に関しては既存の入力デバイスに劣ってしまう。そのため、身体に装着して利用する利点を十分に生かし切れたものではない。

　また、検出した角速度の情報など、ジェスチャ入力に関する情報をそのまま出力しており、汎用性がない。更に、ジェスチャ入力に関する情報を受け取ったコンピュータなどは、受け取った情報を解析するための手段を備えている必要がある。

　本発明は、上記のような実状に鑑みてなされたものであり、高い汎用性と、利便性を備えたジェスチャ入力システムを提供することを課題とする。

　上記課題を解決するために、本発明はジェスチャ入力システムであって、ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースと、検出したジェスチャ動作を、ジェスチャ入力情報に変換するジェスチャ入力装置と、前記ジェスチャ入力情報及び前記指示情報データベースを用いて、前記指示情報を導出する照合手段と、前記照合手段によって導出された指示情報に基づいて処理を行なう中継装置と、を有することを特徴とする。

　このような構成とすることで、様々な対象を、方向指示やつまみを回すような単純な動作によるコマンド入力や、文字入力、といったジェスチャ入力によって直観的に操作することができる。ジェスチャ入力を用いて対象に命令を出力する場合、ユーザの行うべき動作と処理結果は、ユーザ自身が前もって記憶しておく必要があり、複雑な動作が入力に要求されることは好ましくない。

　またジェスチャ入力を行う入力者は、紙にペンで文字を書く際のように、自分の動作の軌跡に関するフィードバックを得ることができない。方向指示やつまみを回すような、単純かつ直観的なコマンド入力によって対象に入力できることにより、極めて容易に操作を行うことが可能である。

　本発明の好ましい形態では、前記ジェスチャ入力情報は、入力されたジェスチャの軌跡に関する一組の座標情報を有すること、を特徴とする。

　本発明の好ましい形態では、前記照合手段によるマッチングは、前記座標情報に基づいて導出された各座標点の位置関係により特定される特徴量データを用いて行われること、を特徴とする。
　座標点の位置関係を特徴量としてデータ化することにより、マッチング対象となるデータ間の認識に寄与しない余計な情報を省くことができるため、マッチングを高精度に行うことが可能である。

　また、機械学習アルゴリズムを用いて指示情報データベース内のマッチング対象となるデータを更新することで、それぞれのジェスチャ入力者の癖をマッチングに反映させることが可能である。特に、複数の入力ジェスチャデータから算出する特徴量データの、平均値や特徴量空間内での識別境界面を決める重みベクトルなどの代表値を利用するタイプの逐次学習（Sequential learning）アルゴリズムを用いることで、識別情報データベースに蓄積するデータ量を少量に抑えたままマッチング精度を高めることができる。

　本発明の好ましい形態では、前記中継装置は、指示情報に基づいて対象に信号の出力を行うことを特徴とする。
　このような構成とすることで、中継装置を経由して対象への出力を行うことが可能となり、ジェスチャ入力装置自体に複数種類の出力装置を備えていなくても、多様な対象への入力を行うことができる。また、対象を選択する第１のジェスチャを入力し、その次に具体的な処理内容を示す第２のジェスチャ入力を行うことで、対象を切り替えながら出力を行うことができる。

　対象の切り替えを行わずに、ジェスチャの違いのみで複数の対象を操作する場合、概念的に同じ指示情報であっても、異なったジェスチャを使用する必要が生じる。テレビやオーディオ機器といった操作対象は、「音量を上げる」という同じ概念の動作を有するが、操作対象としては別個であるため、異なったジェスチャで入力を行い、出力対象を区別する必要が生じる。加えて、ジェスチャの種類が多くなってしまうため、ユーザ自身がより多くのジェスチャを記憶する必要が生じ、ジェスチャ数の増大に伴ってジェスチャ自体が複雑化してしまう。複数の操作対象を切り替え可能であることにより、複数の操作対象がある場合にも直観的かつ容易にジェスチャ入力を行うことができる。

　本発明の好ましい形態では、前記中継装置は、ジェスチャ動作に関する入力を受け付け、前記ジェスチャ動作に関する入力に基づいて導出したジェスチャ情報及び、指示情報を関連付けて前記指示情報データベースに記録する書換手段を有することを特徴とする。
　このような構成とすることで、個々のユーザのくせに合わせてジェスチャ情報の内容を修正したり、新たなジェスチャの追加や、対象の変更、追加等を容易に行うことができ、汎用性の高いジェスチャ入力システムを構成することができる。また、特定のジェスチャを入力することで、予め設定した特定の文字列を出力するように構成することができ、パスワードの入力などをジェスチャ入力で代用することが可能である。その際、ジェスチャ入力装置固有のＩＤと同時に暗号化文字列を出力することにより、よりセキュリティ性の高い入力システムを構築することが可能である。

　本発明の好ましい形態では、前記ジェスチャ入力装置は、少なくともジャイロセンサを用いて、入力されたジェスチャを検出することを特徴とする。

　本発明の好ましい形態では、前記中継装置は、前記指示情報に基づいて出力を行う際に、前記中継装置の位置情報を付加して出力を行う位置情報付加手段を有すること、を特徴とする。
　このような構成とすることで、前もって対象を選択するジェスチャを行うことなく、ジェスチャ入力者の位置によって対象を推定することが可能である。決済を行う際に位置情報を用いずに入力する場合、第１のジェスチャ入力を行うことで中継装置を決済処理状態に移行させ、決済の対象となる店舗を指定する第２のジェスチャ入力を行い、第３のジェスチャ入力によって決済内容を入力する必要がある。しかし、決済の度に店舗を指定することは大変煩雑である。また多数ある決済処理の対象となる店舗を識別するためのジェスチャを構築することは困難である。位置情報を併せて出力可能であることにより、その位置情報を基に決済対象となる店舗を推定し、効率的に処理を行なうことが可能である。

　本発明の好ましい形態では、前記ジェスチャ入力装置は、指に装着されることを特徴とする。
　このような構成とすることで、ユーザが日常生活で行う身振り手振りや、指で文字を書く動作を高精度に検出することができる。そのため、日常的な動作に基づいて、ジェスチャ動作を構築し提供することが可能となる。それにより、ユーザは入力のためのジェスチャ動作と、その入力結果である処理内容と、の関連性を直観的に理解可能なジェスチャを構築することができる。例えば、オーディオ機器などの操作に際して、つまみを右に回す動作は、「音量を上げる」という処理を直観的に想起させる。日常生活で行う動作をジェスチャ入力に取り入れることにより、ユーザは、目的の処理内容から直観的に行うべきジェスチャ動作を導出し、対象へ指示することが可能となる。

　また、腕時計型や眼鏡型のウェアブルデバイスは、その重量から腕や耳への負担が大きく、長時間装着することは困難である。ウェアブルデバイスを外した状態のまま、置き忘れてしまう恐れもある。加えて、外見的にも異質であり、装着した状態を維持するのは困難である。本発明のように指に装着することにより、長時間装着することが可能であり、外見的な問題も抑えることができる。

　本発明の好ましい形態では、前記照合手段において、指示情報データベースからジェスチャ入力情報に対応するジェスチャ情報が導出されなかった場合に、ネットワークを通じて接続された第２の指示情報データベースを用いて照合を行う第２照合手段を有すること、を特徴とする。
　このような構成とすることで、指示情報データベースに記録されていないジェスチャ入力情報についても、マッチングを行うことが可能である。

　本発明はジェスチャ入力装置であって、ジェスチャ動作の検出を行い、前記ジェスチャ動作の軌跡に関する一組の座標情報を備えた、ジェスチャ入力情報を導出することを特徴とする。

　本発明の好ましい形態では、少なくとも、ジャイロセンサを用いて前記ジェスチャ動作を検出すること、を特徴とする。

　本発明の好ましい形態では、前記ジェスチャ入力装置は、ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースを備え、前記ジェスチャ入力情報及び前記指示情報データベースを用いて、前記指示情報を導出する照合手段を有すること、を特徴とする。
　ジェスチャ入力装置内でジェスチャ入力情報のマッチングを行うことによって、伝送に係るデータ量を抑えながら、様々な対象へ入力を行うことが可能である。そのため、出力時の消費電力を大幅に抑えながら、汎用性の高いシステムを提供することができる。

　本発明は中継装置であって、処理の内容を示す指示情報に基づいて、対象に出力を行なうことを特徴とする。

　本発明の好ましい形態では、前記中継装置は、前記指示情報に基づいて出力を行う際に、位置情報を付加する位置情報付加手段を有すること、を特徴とする。

　　本発明の好ましい形態では、前記中継装置は、ジェスチャの軌跡に関する一組の座標情報を備えたジェスチャ入力情報を受け取り、ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースを用いて照合を行い、対応する前記指示情報を導出する照合手段を有すること、を特徴とする。

　本発明の好ましい形態では、前記中継装置は、前記指示情報データベースを備えることを特徴とする。

　本発明は、関連付けて記録された、ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び処理の内容を示す指示情報に基づいて、ジェスチャ動作に基づく動作命令を行う為のジェスチャ入力方法であって、入力されたジェスチャ動作を、ジェスチャ入力情報に変換するステップと、変換されたジェスチャ入力情報及び、前記ジェスチャ情報を用いて対応する前記指示情報を導出するステップと、導出された前記指示情報に基づいて動作命令の出力を行なうステップと、を有することを特徴とする。

　本発明は、ジェスチャ動作を検出するステップと、検出したジェスチャ動作を、該ジェスチャの軌跡に関する一組の座標情報を有するジェスチャ入力情報に変換するステップと、をコンピュータに行わせるためのジェスチャ入力装置プログラムである。

　本発明は、処理の内容を示す指示情報の内容に基づいて、対象に出力を行なうステップをコンピュータに行わせるための中継装置プログラムである。

　本発明は、検出したジェスチャ入力を変換することで得られたジェスチャ入力情報と、予め記録されたジェスチャ情報と、のマッチングを行う際に用いるマッチングデータであって、ジェスチャ入力を数値化した特徴量データと、入力されたジェスチャに対応する処理を、対象に行わせるための指示データと、が対応付けられており、前記特徴量データは、ジェスチャ入力の際に任意の時間間隔で導出した複数の座標点を、座標点の数が任意の数になるよう規格化し、ある座標点を中心として分割した任意の領域数の等間隔領域において各領域内にある中心座標点以外の座標点の数を、各座標点が中心の場合について求め、前記座標点を取得した時間に沿って並べていること、を特徴とする。

本発明は、高い汎用性と、利便性を備えたジェスチャ入力システムを提供することが可能である。

本発明の実施形態１に係るジェスチャ入力システムの概要を示す図である。 本発明の実施形態１に係るジェスチャ入力装置の機能ブロック図である。 本発明の実施形態１に係る中継装置の機能ブロック図である。 本発明の実施形態１に係るデータテーブルの構成例である。 本発明の実施形態１に係る特徴量の導出に関する概念図である。 本発明の実施形態１に係るＰ１の特徴量データを示す図である。 本発明の実施形態１に係るジェスチャ入力の特徴量データを示す図である。 本発明の実施形態１に係るジェスチャ入力を検出する際の処理フローである。 本発明の実施形態１に係る中継装置を介した出力の処理フローである。 本発明の実施形態２に係るジェスチャ入力システムの概要を示す図である。 本発明の実施形態２に係るウェブサーバの機能ブロック図である。 本発明の実施形態２に係る決済時の処理フローである。 本発明の実施形態２に係るデータテーブルの構成例である。 本発明の実施形態２に係る注文時の処理フローである。 本発明の実施形態３に係るジェスチャ入力システムの概要を示す図である。 本発明の実施形態３に係る表示装置を示す図である。 本発明の実施形態３に係る処理フローである。 本発明の実施形態４に係る処理フローである。 本発明の実施形態５に係るジェスチャ入力システムの概要を示す図である。 本発明の実施形態５に係る処理フローである。 本発明の実施形態６の第１の実施例に係るジェスチャ入力システムにおける機能ブロック図である。 本発明の実施形態６の第１の実施例に係る処理フローである。 本発明の実施形態６の第２の実施例に係るジェスチャ入力システムにおける機能ブロック図である。 本発明の実施形態６の第２の実施例に係る処理フローである。

　以下、本発明の実施形態について図１ないし図２２を参照して説明する。以下実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

＜実施形態１＞
　図１～７を用いて、中継装置を介して操作対象への命令を行う為のジェスチャ入力システムについて説明する。

１．１．ジェスチャ入力システム
　図１に示すように、ジェスチャ入力システムは、ジェスチャ入力装置１と、中継装置２と、操作対象３と、を備える。ジェスチャ入力装置１によってジェスチャ入力を検出し、中継装置２を介してジェスチャ入力に対応する出力を行うことにより、操作対象３を操作することができる。

１．２．ジェスチャ入力装置
　図２に示すように、ジェスチャ入力装置１は、ジェスチャ入力部１０と、補助入力部１４と、通信部１５と、を備える。このジェスチャ入力装置１によって、コマンド入力や文字入力等のジェスチャ入力を検出することができる。

　コマンド入力とは、方向指示などの指さしや、つまみを回すような回転の動作など、日常生活やコミュニケーションに際して用いられる動作による入力を示す。文字入力とは、文字、数字、記号、図形等、による入力を示す。

　本実施形態におけるジェスチャ入力装置１は、指輪型の形状をしており、ユーザは人差し指にジェスチャ入力装置１を装着してジェスチャ入力を行う。人差し指にジェスチャ入力装置１を装着することにより、ユーザが人差し指を用いて日常的に行っているコマンド入力や文字入力といった動作を、ジェスチャ動作として高精度に検出することができる。

　そのため、ユーザが日常的に行う動作を模したジェスチャ入力を構築することが可能である。特にコマンド入力はそれぞれの動作に意味合いを備えており、その意味合いに沿ったジェスチャを設定しておくことで、対象への命令を直観的に導出することが可能である。それにより、入力結果のフィードバックを得ることができないジェスチャ入力において、直観的に入力を行うことができる。

　また、指１本で操作対象３の操作が可能であり、入力の際に動作を目視にて確認する必要がないことにより、車の運転や歩行中など他の作業を行っている際にも容易かつ安全に入力を行うことができる。例えば自動車の運転中に、車載の音響機器の操作やカーナビの操作、携帯端末への電話着信やメール処理などを前方から目を離すことなく、ハンドルから手を放すことなく、極めて安全に行うことができる。

　また、人差し指にジェスチャ入力装置１を装着することで、親指による補助的な作業を、片手のみで追加的に行うことが可能となる。補助的な入力は、補助入力部１４等を用いて行われる。例えば、物理ボタンやタッチセンサ、タッチディスプレイへの入力、ジェスチャ入力装置１を叩くことによる振動の入力、親指の指紋の入力等の追加的な入力を利用できる。ジェスチャ入力装置１の外周表面に複数の入出力部分がある場合には、親指でジェスチャ入力装置１を回転させ、利用する入出力部分を正面側まで回転移動することも可能である。

　ジェスチャ入力部１０は、入力特定手段１１と、照合手段１２と、指示情報データベース１３と、を備える。ジェスチャ入力装置１は、ジェスチャ入力部１０によって、ジェスチャの動作であるジェスチャ入力を検出し、指示情報データベース１３に記録されたジェスチャ情報とのマッチングを行うことによって、それに対応した指示情報を導出する。必ずしも指示情報まで導出して出力を行う必要はなく、必要に応じて出力するジェスチャ入力に関する情報を変更可能であるのが好ましい。

　入力特定手段１１は、ジェスチャ入力の検出と、検出されたデータの変換を行う。ジェスチャ入力の検出は、ジャイロセンサや加速度センサ等の計器を用いておこなわれる。検出されたジェスチャ入力は、その軌跡に関する一組の座標情報を備えたジェスチャ入力情報として取得される。本実施形態においてはマッチングの際の精度向上の為に、前記ジェスチャ入力情報が特徴量データに変換される。前述の計器によって検出された角度変化や速度変化の情報、そこから算出した座標情報、座標点の数を規格数に規格化した座標情報、等を用いてマッチングを行っても構わない。

　照合手段１２は、検出したジェスチャ入力情報の特徴量データと、指示情報データベース１３に記録されたジェスチャ情報の特徴量データと、をマッチングする。このマッチングによって、検出したジェスチャ入力に最も近いジェスチャ情報が導出され、前記ジェスチャ情報と関連付けられた指示情報が導き出される。

　指示情報データベース１３に記録された各ジェスチャ入力の特徴量データには、マッチングを行う際の閾値が設定されており、閾値を超えた場合には類似でないと判断される。マッチングの方法は、DP(Dynamic Programming)、SVM(Support Vector Machine)、隠れマルコフモデル、ニューラルネットワーク、ベイジアンネットワーク、を用いたマッチング方法、カーネル法を用いて特徴量データへの明示的な変換を介さずにマッチングを行う方法、その他機械学習を用いる方法等がある。

　ここに記載された以外のマッチング方法を用いても構わない。また、マッチングは必ずしも行う必要はなく、必要に応じて、検出された角度変化や速度変化の情報、それらから算出した座標情報、座標点の数を規格数に規格化した座標情報等を出力しても構わない。マッチングにおいて必ずしも特徴量データを比較する必要はなく、前記角度変化の情報や速度変化の情報、前記座標情報、前記規格化した座標情報、などを用いてマッチングを行っても構わない。

　照合手段１２を用いて照合を行わず、ジェスチャ入力の検出結果を直接操作対象３へ出力する場合、それぞれの操作対象３は自身でマッチングを行い、命令内容を導出する手段を備えている必要がある。ジェスチャ入力装置１内で指示情報まで導出することによって、伝送に係るデータ量を抑えながら、様々な操作対象への入力が可能な汎用性の高いジェスチャ入力装置１を構成することが可能である。

　指示情報データベース１３は、ジェスチャ情報の特徴量データと、そのジェスチャ情報に対応した指示情報と、を関連付けて記憶している。照合部１２でのマッチングは、ここに記録された情報を基に行われ、検出したジェスチャ入力情報に対応した指示情報が導出される。指示情報データベース１３に、必ずしも特徴量データが記憶されている必要はなく、前記座標情報や前記規格化した座標情報と対応する形で記録されていても構わない。

　指示情報は、操作対象３へ入力を行うように中継装置２に対して指示を行う間接的な命令であってもよいし、操作対象３の操作信号をジェスチャ入力装置１の通信部１５から出力するための直接的な命令であっても構わない。

　図４には、操作対象３に処理命令を行うように、中継装置２に対して指示を行う構成とした際のデータテーブルの例を示す。図４（ａ）には、指示情報データベース１３において、指示情報としてのジェスチャＩＤと、ジェスチャ入力を特定するためのジェスチャ情報としての特徴量データと、を記録したジェスチャ情報テーブルの例を示す。図４（ｂ）には、中継装置２の処理情報データベース２３において、指示情報としてのジェスチャＩＤと、具体的な処理命令と、を記録した処理情報データテーブルの例を示す。

　前記ジェスチャ情報テーブルの内容に基づいて前記ジェスチャＩＤを受け取った中継装置２は、前記処理情報データテーブルに記録されたジェスチャＩＤに基づいて、具体的な処理内容を復号する。指示情報データベース１３に特徴量と命令が関連付けて記憶され、ジェスチャ入力装置１から操作対象３へ直接命令を出力するように構成しても構わない。

　補助入力部１４は、ジェスチャ入力部１０に対して角度センサや加速度センサ等の計器以外を用いて入力を行う際に用いられる。ジェスチャ入力部１０等で、ジャイロセンサ等の消費電力の大きな計器を用いる場合、必要に応じでそれら計器を起動可能であることによって、電池容量の限られた小型な箇体において効率的にジェスチャ入力等を行うことが可能である。補助入力部１４は、必ずしもジェスチャ入力装置１に設けられている必要はない。

　補助入力部１４である物理ボタンやタッチセンサから入力を受けた際や、基準値以上の加速度が加速度センサによって検出された際等に、それら計器を起動するような起動手段を備えているのが好ましい。また、ジェスチャ入力装置に設けられた補助入力部１４から入力を受けた際や、一定時間入力が無かった際に、それら計器を停止するための停止手段を更に備えているのが好ましい。

　通信部１５は、出力手段１６と、受信手段１７と、を備える。通信の方法は、BLUETOOTH（登録商標）やUWB（Ultra Wide Band）、赤外線通信、BAN（body area network）、インターネット通信、ローカルエリアネットワーク等を用いた無線通信によって行われる。有線によって接続された状態で通信を行っても構わない。

　出力手段１６は、ジェスチャ入力部１０によって導出された指示情報を、中継装置２に出力する。ジェスチャ入力装置１から操作対象３に、直接的な指示の信号を出力するように構成しても構わない。ジェスチャ入力システムの汎用性とジェスチャ入力装置１の省電力性を高めるために、中継装置２を経由して指示信号を出力するのが好ましい。また、必要に応じて、検出された角度変化や速度変化の情報、それらから算出した座標情報、座標点の数を規格数に規格化した座標情報等を出力しても構わない。

　受信手段１７は、中継装置２からのマッチングのモード切替指示や、照合手段１２でのマッチングの成否情報等を受けとる。その結果をユーザに対して通知する通知手段を更に備えていてもよい。ジェスチャによって入力を行う場合、ジェスチャ入力の軌跡を目視によって確認することが出来ないため、命令の結果である対象の変化や出力を見て、入力の成否を判断する他ない。そのため、入力の成否をバイブレーションやLED、静電気等によって視覚や触覚、聴覚等に通知することで、容易にジェスチャ入力の結果をユーザにフィードバックすることができる。この通知手段は、中継装置２に備えられ、ユーザの視覚や触覚、聴覚等に訴える形で行われても構わない。

　また中継装置２から、直近のジェスチャ入力に対応して今回行うジェスチャの入力モードの切り替えを行うようにしてもよい。入力モードとは、例えばコマンド入力のデータベースのみに対してマッチングを行うコマンド入力モードや、文字入力のデータベースのみに対してマッチングを行う文字入力モード、腕を動かすことにより生じる加速度を検出するための加速度入力モードなどである。このようにジェスチャの入力モードを切り替えることにより、参照するデータベース内のデータ量を少なくすることができ、素早く効率的なマッチングを行うことが可能である。入力モードの切り替えは、前の出力に応じて変更したり、対象への入力の成否等により切り替えるようにしてもよい。

１．３．中継装置
　図３に示すように、中継装置２は、処理部２０と、実行部２４と、書換部２７と、を備えている。中継装置２は、ジェスチャ入力装置１から指示情報が入力された際に、それに応答した処理を行なうことでジェスチャ入力装置１の消費電力を低廉化しながら、複雑な処理を達成することを可能とする。中継装置２は、携帯端末や携帯情報端末、コンピュータ等によって構成される。

　中継装置２は、ジェスチャ入力装置１から指示情報の入力が行われ、操作対象３への出力が行われるまでの中継処理をする装置であって、複数台の装置により構成されていても構わない。例えば、近距離無線通信を介してジェスチャ入力装置１から入力を受ける中継装置ａと、その中継装置ａからインターネット通信を介して入力を受け取り、操作対象３にインターネット通信を介して出力を行う中継装置ｂと、を備えた中継装置２であっても構わない。

　処理部２０は、指示情報受信手段２１と、処理導出手段２２と、処理情報データベース２３と、を備える。ジェスチャ入力装置１から受け取った指示情報（ジェスチャＩＤ）に対応した処理内容を導出することで、前記処理内容に基づいた様々な処理が、実行部２４で行われる。

　指示情報受信手段２１は、ジェスチャ入力装置１から出力された指示情報の受け取りを行う。通信の方法は、BLUETOOTH（登録商標）やUWB（Ultra Wide Band）、赤外線通信、BAN（body area network）、インターネット通信、ローカルエリアネットワーク等を用いた無線通信によって行われる。有線によって接続された状態で通信を行っても構わない。

　処理導出手段２２は、入力された指示情報を基に、処理情報データベース２３に記載された処理を導出し、その内容を実行部２４に出力する。

　処理情報データベース２３は、図４（ｂ）～（ｅ）に記載の処理情報データテーブルに示すように、入力された指示情報とそれに対応した処理が関連付けて記憶されている。この処理を実行部２４に出力することで、具体的な処理が成される。具体的な処理とは、例えば図４（ｂ）のような操作対象３を決定する処理や、図４（ｃ）、図４（ｄ）、図４（ｅ）のような操作対象３に指示の信号を出力する処理などである。

　また、入力された指示情報に基づいて、ジェスチャ入力装置１に、次のジェスチャ入力に際して入力モードの切り替え指示を出力するようにしてもよい。処理情報データベース２３は、中継装置２に備えられていてもよいし、ネットワークを通じて参照可能に構成されていてもよい。

　中継装置２を介して図４（ｂ）の様な第１のジェスチャ入力を行い、操作対象の機器を選択後に第２のジェスチャ入力を行うことで、図４（ｃ）、図４（ｄ）に示すように、同様のジェスチャを用いて概念的に共通した処理を達成することができる。図４（ｃ）はオーディオ３２機器の操作に関する処理内容データテーブルの記載例であり、図４（ｄ）はテレビ３１の操作に関する処理内容データテーブルの記載例である。

　これらを比較してみると、「音量を上げる」、「音量を下げる」といった共通の処理を同じジェスチャ（ジェスチャＩＤ：１００１、１００２）で行うことができ、「次の曲へ進む」、「チャンネル次へ進める」といった共通した概念の処理も同じジェスチャ（ジェスチャＩＤ：１００３）を行うことにより達成することが可能である。操作対象機器の選択は、必ずしも第１のジェスチャ入力を用いて行う必要はなく、中継装置２に備えられたキーボードやタッチパネル、音声入力部などの入力インターフェースから入力された情報に基づいて選択されても構わない。また、一度のジェスチャ入力により操作対象機器の選択と操作対象機器への命令を同時に実行しても、勿論構わない。

　実行部２４は、信号出力手段２５と、対象切替手段２６と、を備える。実行部２４は、処理部２０から受け取った処理を実行する。

　信号出力手段２５は、処理部２０から信号を出力する処理が要求された際に、操作対象３へ指示信号の出力を行う。指示信号の通信方法は、BLUETOOTH（登録商標）や赤外線、インターネット通信、ローカルエリアネットワーク等を用いた無線通信によって行われる。有線によって接続された状態で通信を行っても構わない。例えば信号出力部２５が赤外線による無線通信を行うことが可能であれば、既存のテレビやオーディオ機器など、赤外線による無線通信が可能な対象に入力を行うことができる。

　対象切替手段２６は、操作対象３が複数ある場合に、操作する対象を決定する処理を行なう。出力対象を指定する要求は、操作の信号を出力する指示内容の出力の要求と合わせてジェスチャ入力装置１から伝送されてもよいし、出力対象を指定する第１ジェスチャ入力に基づいて中継装置２を該出力対象へ出力可能な状態にし、具体的な処理を含んだ第２のジェスチャ入力基づいて、信号出力手段２５から指示信号の出力を行うようにしてもよい。また、対象へ入力を行うためのアプリケーションを起動するものであってもよい。

　書換部２７は、ジェスチャ入力装置１の指示情報データベース１３の内容の変更を行う。処理情報データベース２３の内容も合わせて変更可能であってもよい。新たなジェスチャの追加や、指示情報と関連付けられたジェスチャ入力の特徴量データ等を、各々のユーザのくせなどに合わせて変更することができ、より操作性の高いジェスチャ入力装置１を構成することが可能である。書換部２７は、必ずしも中継装置２に設けられている必要はない。

１．４．操作対象
　操作対象３は、ジェスチャ入力装置１や中継装置２等から入力された処理を実行する、操作可能な電気機械器具である。BLUETOOTH（登録商標）やUWB（Ultra Wide Band）、赤外線通信、BAN（body area network）、インターネット通信、ローカルエリアネットワーク等を用いた無線通信等、又は有線によってそれら何れかと通信可能である。

１．５．ジェスチャ入力の検出
　次いで、本実施形態におけるジェスチャ入力の検出方法について説明する。ここで説明する検出方法は一例であって、これ以外の方法を用いて検出を行っても構わない。「ａ」の文字入力を行った場合を、図５Ａ～Ｃ、図６を参照しながら説明する。

　ユーザが行ったジェスチャ入力は、角度センサや加速度センサなどの計器によって検出される。角度センサを用いて検出を行うと、任意の時間間隔で角速度が検出され、検出された角速度を用いて各サンプリング点における座標点が導出される。角速度からの座標点の導出は、角速度から指の向きの変化量を算出し、指の付け根から指先へ向かう方向ベクトルの変位に変換することで行う。

　次に、座標点の数の規格化を行う。任意の時間間隔でジェスチャ入力をサンプリングしているため、得られる座標点の数は総入力時間によって変化する。そのため、得られた座標点の数を増減させて、指示情報データベース１３に記録されたジェスチャ入力の座標点の数（規格数）に合わせる必要がある。座標点の数の規格化は、点列を結ぶ曲線を折れ線近似して座標点を減少させたり、点間を補完して座標点を増加させたりすることにより調節される。本例では規格数を１８とする。これによって、図５Ａに示すように、「ａ」の書き順に沿って座標点Ｐ１～Ｐ１８が定義される。

１．６．特徴量データへの変換
　次に、本実施形態における座標情報から特徴量データへの変換について説明する。ここで説明する変換方法は一例であって、これ以外の方法を用いても構わない。

　座標点Ｐ１を中心とした任意の数（本例では８）の等間隔領域Ｄを定義する。図５Ａには、Ｐ１を中心とした等間隔領域Ｄ１～Ｄ８を定義した際の概念図を示す。またＬは、ジェスチャ入力の軌跡を示す。中心の座標点（Ｐ１）以外の、それら領域Ｄ１～Ｄ８内に分布する座標点Ｐ２～Ｐ１８の数をカウントし、Ｐ１における特徴量データとする。図５Ｂは、Ｐ１における特徴量データを示す図である。

　同様に他の座標点Ｐ２～Ｐ１８においても特徴量データを作成し、それらを座標点の入力時間に沿って並べた１８×８の特徴量データによって、入力されたジェスチャの軌跡が表される。図５Ｃは、「ａ」というジェスチャ入力の特徴量を表す１８×８の数値データ例を示す。

　勿論ここに記載された以外の数値データ化の方法を用いても構わないし、数値データへの変換を行わずに、座標点そのものや計器による測定データそのものを用いてマッチング等を行うようにしても構わない。

１．７．指示情報の導出
　次に、図６を参照して、ジェスチャ入力装置１におけるジェスチャの入力から指示情報の導出までの流れを説明する。

　ジェスチャ入力を行う際に、まず、ジェスチャ入力装置１に対して特定の入力を行い、入力開始の宣言を行う（Ｓ１）。例えば指を前に突き出し一定の加速度をジェスチャ入力装置１に与える動作や、補助入力部１４への入力等によって入力の開始が宣言される。入力開始の宣言は、ここに記載した以外の方法で行っても構わない。

　Ｓ１で入力の開始が宣言されたなら、ジェスチャ入力を行う（Ｓ２）。ジェスチャ入力が完了したなら、入力終了の宣言を行う（Ｓ３）。これにより一組の座標情報を備えたジェスチャ入力情報が検出される。この入力終了の宣言は、例えば指を前に突き出し一定の加速度を与える動作や、補助入力部１４への入力、一定時間停止した状態を維持すること、等によって行われる。この宣言は、ここに記載した以外の方法で行っても構わない。

　Ｓ２で検出した前記座標情報は、任意の時間間隔で検出されているため、入力の総時間によって数が異なってくる。そのため、座標点の数を増減し、規格化を行う（Ｓ４）。Ｓ４で規格化された座標情報に関して、座標点ごとの特徴量データを導出する（Ｓ５）。Ｓ５で導出された座標点ごとの特徴量データを、各座標点をサンプリングした時間で並べることで、ジェスチャ入力の特徴量データが導出される（Ｓ６）。

　Ｓ７では、Ｓ６で導出されたジェスチャ入力情報の特徴量データを、指示情報データベース１３に記録された特徴量データとマッチングし、類似か否かを判定する。ここで行うマッチングには、DP(Dynamic Programming)、SVM(Support Vector Machine)、隠れマルコフモデル、ニューラルネットワーク、ベイジアンネットワーク、を用いたマッチング方法、カーネル法を用いて特徴量データへの明示的な変換を介さずにマッチングを行う方法、その他機械学習を用いる方法などがある。ここに記載された以外のマッチング方法を用いても構わない。

　マッチング（Ｓ７）の結果、類似と判断されるジェスチャが導出された場合（Ｓ８でＹ）、出力される指示情報が確定する（Ｓ１０）。類似と判断されるジェスチャが導出されなかった場合（Ｓ８でＮ）、ジェスチャ入力が失敗したことが、ジェスチャ入力装置１の有するバイブレーションやＬＥＤの発光等によってジェスチャ入力者に通知され、再入力が指示される（Ｓ９）。再入力が指示されたなら、Ｓ１に進んで入力をやり直す。

１．８．操作対象への入力
　次に、図７を参照して、中継装置２を介した対象への処理の入力について説明する。

　ジェスチャ入力部１０は、待機時の消費電力を抑える目的で通常は休止状態になっている。そのため、まず、ユーザはジェスチャ入力部１０の起動を行う（Ｓ１１）。起動は、ジェスチャ入力装置１本体に設けた物理ボタンやタッチセンサから入力を行なったり、指を前に突き出す等の動作を行って基準値以上の加速度を入力したりすることで行われる。ここに記載した以外の起動方法を備えていても構わない。

　Ｓ１１でジェスチャ入力部１０が起動したなら、中継装置２に対して操作対象３を宣言するための第１のジェスチャ入力を行う（Ｓ１２）。出力する指示情報が決定したなら、操作対象３を選択するための第１の指示情報として中継装置２に出力する（Ｓ１３）。本実施形態では、オーディオ機器３２に命令を行うものとする。

　第１の指示情報が入力されたなら、中継装置２は、オーディオ機器３２の操作モードに移行したり、オーディオ機器３２を操作するためのアプリケーションを起動したり等して（Ｓ１７）、オーディオ機器３２に対する具体的な命令を示す第２の指示情報の入力を待つ。この際、ジェスチャ入力装置１に入力モードの指定を行ってもよい。例えば、オーディオ機器３２に対しては、コマンド入力のみで指示を行うように構成しても構わない。入力モードの指定を行うことによって、第２のジェスチャ入力をマッチングする際に、参照するジェスチャの数を限定することができるため、効率的にマッチングを行うことができる。

　ジェスチャ入力装置１において第１の指示情報の出力（Ｓ１３）が完了したなら、次いでオーディオ機器３２に対する具体的な命令と対応付けられた第２のジェスチャ入力を行う（Ｓ１４）。出力する指示情報が導出されたなら、第２の指示情報として中継装置２に出力する（Ｓ１５）。第２の指示情報が出力されたなら、ジェスチャ入力装置１は計器等を休止状態にする（Ｓ１６）。第３以降のジェスチャ入力を行い、第１のジェスチャ入力で指定したオーディオ機器３２に対して連続的に操作を行うようにしても構わない。例えば、次にジェスチャ入力部１０を起動する際に、Ｓ１１で入力した起動方法と異なる起動方法を行うことで、第２のジェスチャを入力した対象に対して、再度ジェスチャ入力を行える様にしてもよい。

　第２の指示情報が入力されたなら、中継装置２は、入力された指示情報と対応する処理内容を処理内容データベース２３から導出し、Ｓ１７で決定した対象であるオーディオ機器３２に処理の信号を出力する（Ｓ１８）。オーディオ機器３２は、受信した信号に基づいて処理を実行する（Ｓ１９）。

　本実施形態によると、様々な操作対象を、方向指示やつまみを回すような、単純なコマンド入力、文字入力によって直観的に操作することができる。ジェスチャ入力の入力者は、紙にペンで文字を書く際のように、自分の動作の軌跡に関するフィードバックを得ることができない。方向指示やつまみを回すような、単純かつ直観的なコマンド入力によって操作対象を操作できることにより、極めて容易に操作を行うことが可能である。

　また、ジェスチャ入力装置内で指示情報まで導出して出力を行うことによって、マッチングの精度を高めながら、様々な操作対象へ対応した入力信号を送信することが可能である。そのため、汎用性の高いシステムを提供することができる。

　また、中継装置を経由して操作対象への出力を行うことにより、複数の対象を選択しながら同様のジェスチャで操作することが可能であり、概念の似通った命令に関して、共通の操作で入力を行うことが可能となる。加えて、人差し指にジェスチャ入力装置を装着することにより、ユーザが日常生活で行う身振り手振りや、指で文字を書く動作を高精度に検出することができる。そのため、日常的な動作でジェスチャ入力を構築することができ、ユーザは入力のための動作と指示情報との関連性を直観的に理解することが可能できる。このような構成とすることで、極めて効率的にジェスチャ入力を行うことができる。

＜実施形態２＞
　図８～１２を用いて、ジェスチャ入力と位置情報を組み合わせて処理を行う為のジェスチャ入力システムについて説明する。なお、上述した実施形態１と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。

２．１．ジェスチャ入力及び位置情報を用いた決済システム
　図８に示すように、本実施形態に係るジェスチャ入力システムは、ジェスチャ入力装置１と、中継装置２と、店舗装置４と、ウェブサーバ５と、を備える。これらにより、前もって対象を選択するジェスチャを行うことなく、ウェブ上のサーバを介した様々な処理を行なうことが可能となる。中継装置２が位置情報を検知することにより、ジェスチャ入力者の位置情報を加味した処理を行なうことが可能である。まず、ジェスチャを用いて決済を行う例を説明する。

２．２．中継装置
　本実施形態における中継装置２は、携帯情報端末と、携帯情報端末上で実行されているアプリケーションと、を有する。この携帯情報端末は、少なくとも近距離無線通信及びモバイルデータ通信による通信が可能であり、それらを用いて情報のやり取りを行う。実施形態２において、前記アプリケーションが携帯情報端末上で起動しているものとする。また、予めジェスチャ入力者は携帯情報端末等を用いて、氏名やクレジットカード情報、ユーザＩＤ等の決済を行う為に必要な決済情報をウェブサーバ５に記録している。

　中継装置２はジェスチャ入力によって出力の許可が行われた際に、前記アプリケーションを用いて位置情報発信装置４１から受け取った位置情報と、ジェスチャ入力者のユーザＩＤ等であるユーザ情報と、をウェブサーバ５に出力する。ウェブサーバ５は、この位置情報を用いて決済対象を導出し、ユーザＩＤを用いてジェスチャ入力者を導出する。

２．３．店舗装置
　店舗装置４は、位置情報発信装置４１と、店舗端末４２と、を備える。店舗装置４は、決済を行う店舗に設置されている。

　位置情報発信装置４１は、中継装置２と無線通信を介して通信可能な装置であり、中継装置２の所在地を示す位置情報を、中継装置２へ提供するためのものである。位置情報とは、経度・緯度を検出等することで求められる絶対的位置情報や、位置情報発信装置４１の近辺にあることでその所在地を推定するための相対的な位置情報である。位置情報の提供は、位置情報発信装置４１周辺に出力される近距離無線通信によって該位置情報発信装置４１のＩＤを発行する方法、位置情報発信装置４１に登録された絶対的位置情報を出力する方法、位置情報発信装置４１から出力される近距離無線通信の電波強度を用いて中継装置２の位置情報を導出する方法、等である。

　中継装置２の位置座標は、箇体に備えられたGPS（Global Positioning System）受信機等を用いて取得することが可能である。しかし、GPS受信機によって取得された位置は実際の位置と大きくずれることもあり、安定的に正確な位置を導出することができない。また、屋内等通信ができない場所では位置を取得することができない。RFID（Radio Frequency Identification）やBLUETOOTH（登録商標）等の近距離無線通信を用いて位置情報を検出することにより、より正確な位置を検出することが可能となる。

　店舗端末４２は、ウェブサーバ５からの出力を表示するための店舗に設置された端末である。これにより、店舗において決済の承認や、決済結果の確認等を行うことが可能となる。この店舗端末４２は必ずしも設ける必要はない。

２．４．ウェブサーバ
　図９に示すように、ウェブサーバ５は、サーバ装置５１と、決済データベース５５とを備える。サーバ装置５１は、認証手段５２と、決済手段５３と、通知手段５４と、を有し、中継装置２及び店舗端末４２とネットワークを通じて通信可能である。ウェブサーバ５は、あらかじめ決済データベース５５に記録された情報と、中継装置２から入力された情報と、を基に決済を行う。

　認証手段５２は、中継装置２から取得した位置情報を用いて、その位置情報に対応した店舗端末４２に決済の通知を行い、決済の承諾を要求する。そして、店舗端末４２で決済の承認が行われることにより決済が行われる。

　決済手段５３は、認証手段５２から受けた決済の承認と、中継装置２から入力されたユーザ情報と、決済データベース５５の情報と、を基に決済を行う。中継装置２から入力されたユーザ情報を用いて決済データベース５５に記録されたユーザの決済情報を導出し、決済を行う。

　通知手段５４は、決済手段５３によって決済が完了した際に、その結果を中継装置２や店舗端末４２に出力する。この決済結果の通知は必ずしも行われる必要はない。

　決済データベース５５は、ジェスチャ入力者の決済情報等を記録したユーザ情報テーブル、店舗の位置情報や決済情報を記録した店舗情報テーブル等を有している。

２．５．ジェスチャ入力による決済
　図１０を参照しながら、ジェスチャ入力による決済の方法について説明する。

　ジェスチャ入力装置１及び中継装置２を備えた購入者は、店舗において決済を開始するために位置情報発信装置４１及び店舗端末４２の設置された個所に移動する。位置情報発信装置４１は、近距離無線通信の通信圏内に入った中継装置２に、装置ＩＤを受け渡す（Ｓ２１）。

　この装置ＩＤは限られた範囲である近距離無線通信の通信圏内でしか受け取ることができず、この装置ＩＤを受け取ったジェスチャ入力者は、位置情報発信装置４１の極めて近くにいることが推定されるため、装置ＩＤに基づいて一意に導出される店舗にいることがわかる。装置ＩＤ以外にも、位置座標を受け渡すようにしても構わない。

　ジェスチャ入力者に対して、支払金額が提示される。提示された金額を確認したジェスチャ入力者は、ユーザ情報及びＳ２１で受け取った位置情報の出力を許可するため「決済許可」ジェスチャを入力する。例えば、「チェックマーク」のジェスチャである。このジェスチャ入力は、ジェスチャ入力装置１の照合手段１２によってマッチングされ、導出された「決済許可」の指示情報が中継装置２まで出力される（Ｓ２２）。また、支払金額は、ウェブサーバ５の決済データベースに出力され、決済の際に利用される。出力許可の入力は必ずしも指示情報に変換され、中継装置２に出力される必要はない。

　Ｓ２２で指示情報を受けとった中継装置２は、Ｓ２１で位置情報発信装置４１から受け取った装置ＩＤと、中継装置２で起動しているアプリケーションに記録されたユーザ情報と、決済の実行命令と、をウェブサーバ５に出力する（Ｓ２３）。

　ウェブサーバ５は、受けとった装置ＩＤを用いて店舗情報テーブルを検索し、決済が行われる店舗を特定する。決済店舗が導出されたなら、店舗端末４２に対して決済処理の最終確認を行うため、ユーザ情報を出力して決済の承認を求める（Ｓ２４）。

　店舗端末４２には、Ｓ２３でウェブサーバ５に出力したジェスチャ入力者のユーザ情報が表示される。ジェスチャ入力者は、自身のユーザ情報を選択し、決済の承認を行う。このユーザの選択や決済の最終的な承認は店舗側の操作で行われても構わない。決済の承認がされたなら、ウェブサーバ５に対して処理の許諾がなされる（Ｓ２５）。ここで決済の承認と共に、決済金額を出力するように構成しても構わない。

　Ｓ２５で決済の承認が行われることにより、ジェスチャ入力者があらかじめ入力した決済情報及び店舗情報、支払金額の情報を用いて決済が行われる。決済が完了したなら、その結果を中継装置２と、店舗端末４２に出力する（Ｓ２６）。

２．６．ジェスチャ入力及び位置情報を用いた注文システム
　次いで、ジェスチャを用いて注文を行う例について説明する。

　決済データベース５５は、ジェスチャ入力者の決済情報等を記録したユーザ情報テーブル、店舗の位置情報や決済情報を記録した店舗情報テーブルに加え、ジェスチャ入力に対応した処理内容を記録した処理内容テーブルと、商品テーブルと、を有している。図１１（ａ）は、処理内容テーブルの記載例を示す。図１１（ｂ）は，商品テーブルの記載例を示す。このように、位置情報を組み合わせることによって同様のジェスチャであっても別個の入力として識別して、注文を行うことが可能である。これらテーブルの構成や内容は、本実施形態における一例である。

２．７．ジェスチャ入力による注文
　図１２を参照しながら、ジェスチャ入力装置１を用いた注文方法について説明する。

　ジェスチャ入力装置１及び中継装置２を備えた購入者は、店舗へと向かう。位置情報発信装置４１は、近距離無線通信の通信圏内に入った中継装置２に、装置ＩＤを受け渡す（Ｓ１２１）。

　ジェスチャ入力者は、商品等を注文するためジェスチャ入力を行う（Ｓ１２２）。入力されるジェスチャは、例えば金額や、商品名、商品番号を示すものである。例えばメニュー表には商品名と金額、ジェスチャを表す図が記載されており、このメニュー表を見ながらジェスチャを入力する。ジェスチャの座標データや特徴量データの形で中継装置２へ出力しても構わないし、マッチングを行って指示情報として出力をしても構わない。本実施形態では特徴量データを中継装置２に出力する。

　Ｓ１２２で中継装置２までジェスチャの特徴量データが入力されたなら、中継装置２は、Ｓ１２１で位置情報発信装置４１から受け取った装置ＩＤと、Ｓ１２２で入力されたジェスチャの特徴量データと、ユーザ情報と、を合わせてウェブサーバ５に出力する（Ｓ１２３）。ウェブサーバ５は、受けとった装置ＩＤを用いて注文が行われている店舗を特定し、特徴量データを用いてその店舗における注文内容を導出する。

　ウェブサーバ５によって注文内容が導出されたなら、店舗にある店舗端末４２に対して処理内容を出力し、内容の承認を受ける（Ｓ１２４）。店舗側は、この処理内容を確認することで、商品の在庫がない場合等には、ジェスチャ入力者のリクエストを拒否することが可能である。この確認作業は必ずしも行われる必要はない。また、店舗端末４２などから商品の在庫情報や営業時間情報等をウェブサーバに記録しておくことで、確認作業を省略することも可能である。

　命令内容を店舗端末４２で確認し、その処理が承認されたなら、ウェブサーバ５に対して処理の許諾を行う（Ｓ１２５）。Ｓ１２５で処理の許諾が行われることにより、ウェブサーバ５内で決済が行われる。この決済は、ジェスチャ入力者があらかじめ入力した決済情報と商品テーブル価格情報、店舗情報等を用いて行われる。決済が完了したなら、結果をジェスチャ入力者の中継装置２と、店舗端末４２に出力する（Ｓ１２６）。

　本実施形態によると、コマンド入力、文字入力などのジェスチャ入力よる入力でウェブ上のサーバでの処理を行うことが可能である。位置情報発信装置４１によって装置ＩＤや位置座標といった位置情報を、ジェスチャ入力に関する情報と併せて出力することにより、複数の店舗がある場合でも、同様のジェスチャを用いて処理を行なうことが可能である。複数の店舗を、店舗を指定するジェスチャで識別することは煩雑であり、さらに無数にある店舗を指定するためのジェスチャをそれぞれが異なるように構成することは極めて困難である。位置情報により対象となる店舗を指定することが可能であるため、直観的かつ汎用的なジェスチャによる処理システムを提供することが可能である。

　また、ユーザは現金を支払ったり、紙にペンでサインを書いたり、携帯情報端末を操作したりすることなく、決済などの処理を行なうことが可能である。また、店舗側においても、座席ごとの注文の確認作業や、会計作業を行う必要がなくなる。そのため、効率的にサービスを提供することが可能である。

＜実施形態３＞
　図１３～１５を用いて、ジェスチャ入力と位置情報とを組み合わせて情報取得を行う為のジェスチャ入力システムについて説明する。なお、上述した実施形態１、実施形態２と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。

３．１．ジェスチャ入力による情報取得
　図１３に示すように、本実施形態に係るジェスチャ入力システムは、ジェスチャ入力装置１と、中継装置２と、ウェブサーバ５と、表示装置６と、を備える。このような構成とすることで、ジェスチャ入力装置を用いて情報を取得することが可能である。ここで情報とは、店舗で使うクーポンなどのチケットやウェブサイトのＵＲＬ、メールアドレス、ニュース情報、等である。

３．２．表示装置
　図１４には、街頭などに掲示する表示装置６の例を示す。表示装置６は、位置情報発信装置４２と、ジェスチャ表示部６１と、を備えた掲示物であって、ポスターや電子掲示板等である。ジェスチャ入力者は、街頭に設置された表示装置６を基にジェスチャ入力を行い、指定の店舗で利用可能な割引チケット等を取得することが可能である。位置情報発信装置４２は、必ずしも表示装置に装着されている必要はない。

　ジェスチャ表示部６１は、ジェスチャ入力者に任意のジェスチャを実行させるための、ジェスチャの軌跡が記載されている。ジェスチャ入力者は、この軌跡をなぞる等することによって、規定のジェスチャを入力することが可能である。

３．３．ジェスチャ入力による情報取得方法
　図１５を参照しながら、ジェスチャ入力を用いた情報取得の方法について説明する。

　ジェスチャ入力装置１及び中継装置２を備えた購入者は、表示装置６に接近する。表示装置６に備えられた位置情報発信装置４１は、近距離無線通信の通信圏内に入った中継装置２に、装置ＩＤを受け渡す（Ｓ３１）。この装置ＩＤは限られた範囲である近距離無線通信の通信圏内でしか受け取ることができない。そのため、位置情報発信装置４１の極めて近くにジェスチャ入力者がいることとなり、位置情報とみなすことが可能である。位置情報発信装置４１から中継装置２に装置ＩＤを受け渡す以外にも、中継装置２が自身に備わったGPS（Global Positioning System）受信機から緯度経度情報を取得するようにしても構わない。また、中継装置２が位置情報発信装置４１からの近距離無線通信の電波強度等を用いて位置情報発信装置４１との距離を計測し、GPS（Global Positioning System）受信機からの緯度経度情報と合わせて用いても構わない。

　ジェスチャ入力者は、ジェスチャ入力を行う（Ｓ３２）。入力されるジェスチャは、表示装置６に備えられたジェスチャ表示部６１をなぞるようして、誰しもが容易に再現可能に成されている。ここでのジェスチャ入力の情報は、ジェスチャの特徴量データの形までジェスチャ入力装置１内で変換を行い中継装置２へ出力しても構わないし、指示情報データベース１３の情報を基に指示情報として出力をしても構わない。本実施形態では、特徴量データをそのまま中継装置２まで出力する。

　Ｓ３２で中継装置２までジェスチャの特徴量データが入力されたなら、中継装置２は、Ｓ３１で位置情報発信装置４１から受け取った位置情報と、Ｓ３２で入力されたジェスチャの特徴量データと、を合わせてウェブサーバ５に出力する（Ｓ３３）。ウェブサーバ５は、受けとった位置情報及び特徴量データを用いて命令内容の導出を行う。

　特徴量データのみをウェブサーバ５が受け取る場合、表示装置６ごとにジェスチャ入力の特徴量が出力されるウェブサーバを変えたり、ジェスチャ入力自体を他の表示装置６と異なるように構成する必要が生じる。位置情報を、ジェスチャ入力の特徴量データ又は指示情報と組み合わせて出力することにより、各表示装置６でジェスチャが同じであった場合でも、それらを別個の情報として識別することが可能である。即ち、位置情報とジェスチャ入力の情報との組み合わせが正しければ、対象の出力を行うことが可能である。

　ここで、ウェブサーバ５が中継装置２から受け取る位置情報は、位置情報発信装置４１の装置ＩＤ以外に、位置情報発信装置４１の緯度経度情報や、中継装置２の緯度経度情報等でも構わない。受け取った位置情報が装置ＩＤの場合、ウェブサーバ５は、当該装置ＩＤとジェスチャ入力情報との組み合わせに対応した対象の出力を行うことが可能である。受け取った位置情報が緯度経度情報の場合、ウェブサーバ５は、当該緯度経度周辺の位置に関連付けられた複数の対象の中からジェスチャ入力情報が一致する複数の対象の出力を行うことで、目的の対象を出力することが可能である。

　命令内容の導出が完了したなら、導出された情報をジェスチャ入力者の中継装置２に出力する（Ｓ３４）。これにより、ジェスチャ入力者は、クーポン情報を取得することが可能である。

　本実施形態によると、コマンド入力、文字入力などのジェスチャ入力よる入力でウェブ上のサーバでの処理を行うことが可能である。位置情報発信装置４１によって装置ＩＤや位置座標といった位置情報を、ジェスチャ入力に関する情報と併せて出力することにより、複数個所にて、同様のジェスチャを用いて処理を進めることが可能である。これにより、直観的かつ汎用的なジェスチャによる処理システムを提供することが可能である。

　また、既存のバーコードなどを用いた情報取得方法に代わる新規な情報取得方法を提供することが可能である。バーコードによる情報取得方法は、文字を直接打ち込む等の作業を軽減することを可能とする。しかし、ポスターなどの表示物にバーコードを設けることで、そのデザイン性を損なうことが懸念される。また、バーコードを設けた表示物は、バーコードを携帯情報端末等で撮像する必要があるため、撮影が可能な個所に表示物が設置されていることが必要である。ジェスチャによる情報取得方法を用いることにより、極めてデザイン性が高く、設置表示を行う個所にも限定されない表示装置を設けることが可能である。

＜実施形態４＞
　図１６を用いて、ジェスチャ入力システムにおける指示情報データベース１３の編集について説明する。なお、上述した実施形態１～３と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。

４．１．指示情報データベースの編集
　指示情報データベース１３の編集は、中継装置２の書換部２７又はその他ジェスチャ入力装置１と通信可能なコンピュータによって行われる。中継装置２又はその他ジェスチャ入力装置１と通信可能なコンピュータは、タッチパネルやマウスなどの入力デバイスが設けられており、ジェスチャの描写を行うことが可能である。また、ジェスチャ入力装置１を前記入力デバイスとして用い、ジェスチャの描写を行っても構わない。

　中継装置２の書換部２７又はその他ジェスチャ入力装置１と通信可能なコンピュータによって、ジェスチャの編集を行う為のソフトウェアが起動され、ジェスチャの編集が可能となっている。本実施例において、指示情報データベース１３のデータテーブルは図４（ａ）のように、ジェスチャＩＤを用いて記載されている。

　図１６には、ジェスチャ編集のフローチャートを示す。まずジェスチャ編集用のソフトウェア上で、既存のジェスチャを編集もしくは新規ジェスチャの登録が選択される（Ｓ４１）。既存のジェスチャの編集が指定されたなら（Ｓ４１でＹ）、編集を行うジェスチャＩＤが選択される（Ｓ４２）。ジェスチャを新規作成する場合には、ジェスチャＩＤを作成する（Ｓ４３）ジェスチャＩＤを新規作成する場合には、処理情報データベース２３にも別途新たなジェスチャＩＤに対応した命令を追加しておく必要がある。

　対象となるジェスチャＩＤが指定されたなら、ジェスチャの描写を行う。描写されたジェスチャは、ジェスチャ入力装置１におけるジェスチャ入力の検出と同様に、任意の時間間隔で座標をサンプリングされ、座標データに変換される（Ｓ４５）。

　変換された座標データは、Ｓ４２で選択されたジェスチャＩＤと共にジェスチャ入力装置１に出力される（Ｓ４６）。ここでの入力された座標データの変換は、ジェスチャ入力装置１で既定の記録方式に変換される。入力された座標データをそのまま記録するように構成しても勿論構わない。本実施形態では、入力された座標点をジェスチャ入力部１０が処理することで、ジェスチャ入力装置１を用いてジェスチャ入力を行った際のように、既定のジェスチャ入力データに変換される。その後、指示情報データベース１３の内容が更新され（Ｓ４７）、ジェスチャの編集作業が完了する。

　本実施形態によると、ジェスチャ入力を行う際に用いられるジェスチャ入力を、容易に編集することが可能である。これにより、ジェスチャの入力者の癖などを加味したより汎用性の高いジェスチャ入力システムを提供することが可能である。文字入力などの際、書き順によって文字が認識できない場合などが有りうるが、入力に関するジェスチャを容易に編集可能であることにより、個々の入力者の嗜好に沿ったジェスチャ入力システムを構築することができる。

　また、特定のジェスチャを入力することで、特定の文字列を出力するように構成することができるため、パスワードの入力などをジェスチャ入力で代用することが可能である。その際、ジェスチャ入力装置固有のＩＤと同時に暗号化文字列を出力することにより、よりセキュリティ性の高い入力システムを構築することが可能である。

＜実施形態５＞
　図１７、図１８を用いて、認証を行う為のジェスチャ入力システムについて説明する。なお、上述した実施形態１～４と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。

５．１．ジェスチャ入力による認証
　本実施例では、ジェスチャ入力に際して入力された情報のセキュリティ性を高める方法に関して説明する。

　図１７に示すように、本実施形態におけるジェスチャ入力システムは、ジェスチャ入力装置１と、中継装置２と、ウェブサーバ５と、を備える。中継装置２とウェブサーバ５が通信を行う際などに、ジェスチャ入力を用いることでセキュリティ性を高めた通信を行うことができる。

　図１８は、認証キーの有効化を、ジェスチャ入力を用いて行う際のフローチャートである。中継装置２では認証キーの利用を求める処理が要求されており、認証キーの有効化をするためのジェスチャ入力を行う（Ｓ５１）。入力されたジェスチャは、予め指示情報データベース１３に記録されたジェスチャとマッチングされ、一致するか否かが判別される（Ｓ５２）。ジェスチャが不一致であった場合（Ｓ５２でＮ）、再度、認証用のジェスチャを入力する。

　ジェスチャが一致する場合には（Ｓ５２でＹ）、認証キーの有効化が行われる（Ｓ５３）。認証キーがＳ５３で有効化されたなら、中継装置２において、その認証キーを用いて暗号化や電子署名の利用等が行われる（Ｓ５４）。

　本実施形態によると、ジェスチャ入力を用いてセキュリティ性の高い通信を行うことが可能となる。指輪状の入力デバイスは、頻繁に身体から取り外すものではなく、セキュリティ性を高めるために極めて有効な入力装置である。
＜実施形態６＞
　図１９～図２２を用いて、ジェスチャ入力システムの別の実施形態について説明する。なお、上述した実施形態１～５と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。

６．１．ジェスチャ入力システム
　本実施形態では、実施形態１にて説明を行ったジェスチャ入力システムの別の実施形態に関して説明する。

　本実施形態におけるジェスチャ入力システムは、ジェスチャ入力装置１から中継装置２に対して、直接ジェスチャ入力情報（若しくは特徴量データ）を出力する。実施形態１のジェスチャ入力システムとの相違点は、図１９に示すように、ジェスチャ入力情報と、指示情報データベース１３内に記録されたジェスチャ情報と、のマッチングを中継端末２において行う点である。また、さらに別の実施形態として、図２０に示すように、ウェブサーバ５において前記マッチングを行う点である。

６．２．中継端末でマッチングを行う場合
　図１９に示すように、本実施形態における第１の実施例では、ジェスチャ入力装置１によって検出されたジェスチャ入力情報と、指示情報データベース１３内に記録されたジェスチャ情報と、のマッチングを中継端末２において行う。

　実施形態１においてジェスチャ入力装置１に備えられていた照合手段１２及び指示情報データベース１３は、中継装置２に設けられている。中継装置２は、指示情報データベース１３と、処理情報データベース２３と、を別個に備えている必要はない。

　図２０に示すように、ジェスチャ入力装置１を用いてジェスチャ入力が検出されると、入力特定手段１１によってジェスチャ入力情報が導出される（Ｓ６１）。導出されたジェスチャ入力情報は、出力手段１６によって中継装置２に出力される（Ｓ６２）。

　ここで、ジェスチャ入力情報の有する座標情報の座標点数を規格化したものを出力している。規格化していない座標情報を有するジェスチャ入力情報を出力しても構わないし、ジェスチャ入力情報を特徴量データに変換し、中継装置２に出力するように構成しても構わない。

　ジェスチャ入力情報を受け取った中継装置２は、照合手段１２及び指示情報データベース１３を用いてジェスチャ情報とのマッチングを行い、対応する指示情報を導出する（Ｓ６３）。次に、処理導出手段２２及び処理情報データベース２３を用いて、導出された指示情報に基づく処理を導出する（Ｓ６４）。処理が導出されたなら、装置自身で処理を実行したり、対象へ出力を行ったりなどして処理を実行する（Ｓ６５）。

　ここで、入力されたジェスチャ入力情報を、特徴量データに変化する処理を行なってからマッチングを行っても構わない。また、処理導出手段２２を経て指示情報から処理内容を導出したが、ジェスチャ情報（座標情報や特徴量データ等）と、処理内容と、を直接対応させてデータベースに記録しておき、マッチング後に処理を実行するようにしてもよい。

６．３．ウェブサーバでマッチングを行う場合
　図２１に示すように、本実施形態における第２の実施例では、ジェスチャ入力情報と、指示情報データベース１３内に記録されたジェスチャ情報と、のマッチングをウェブサーバ５において行う。

　実施形態１においてジェスチャ入力装置１に備えられていた照合手段１２及び指示情報データベース１３は、ウェブサーバ５に設けられている。また、中継装置２は、ジェスチャ入力装置１から入力されたジェスチャ入力情報を、インターネットを介してウェブサーバ５に出力するジェスチャ出力手段２８を備えている。また、処理導出手段２２は、インターネットを通じてウェブサーバ５から入力された指示情報と、処理情報データベース２３と、を用いて処理内容を導出する。

　図２２に示すように、ジェスチャ入力端末１を用いてジェスチャが入力されると、入力特定手段１１によってジェスチャ入力情報が導出される（Ｓ７１）。導出されたジェスチャ入力情報は、出力手段１６によって中継装置２に出力される（Ｓ７２）。

　中継装置２は、受け取ったジェスチャ入力情報を、ジェスチャ出力手段２８を用いてウェブサーバ５に出力する（Ｓ７３）。ジェスチャ入力情報を受け取ったウェブサーバ５は、照合手段１２及び指示情報データベース１３を用いてジェスチャ入力のマッチングを行い、対応する指示情報を導出する（Ｓ７４）。

　指示情報が導出されたなら、中継装置２に前記指示情報を出力する（Ｓ７５）。指示情報を受け取った中継装置２は、処理導出手段２２及び処理情報データベース２３を用いて、導出された指示情報に基づく処理を導出する（Ｓ７６）。処理が導出されたなら、装置自身で処理を実行したり、対象へ出力を行ったりなどして処理を実行する（Ｓ７７）。

　ここで、中継装置２は、ジェスチャ入力装置１から受け取ったジェスチャ入力情報を、特徴量データに変換してからウェブサーバ５に出力する構成にしても構わない。また、ウェブサーバ５は、中継装置２から受け取ったジェスチャ入力情報を、特徴量データに変換してから照合手段１２によるマッチングを行うように構成しても構わない。更に、中継装置２が照合手段１２を備えており、ウェブサーバ５では指示情報データベース１３の参照のみを行うように構成しても構わない。

　本実施形態によると、実施形態１の構成例に限らず、様々な構成でジェスチャ入力システムを提供することが可能である。

　本発明を用いることで、指輪型の入力デバイス、及びその入力方法を用いたシステムを提供することができる。汎用性の高い入力デバイスであるため、身の回りの処理の多くを指輪型入力デバイスによる処理に置き換え、指先ひとつで行うことができる。

１　ジェスチャ入力装置
１０　ジェスチャ入力部
１１　入力特定手段
１２　照合手段
１３　指示情報データベース
１４　補助入力部
１５　通信部
１６　出力手段
１７　受信手段
２　中継装置
２０　処理部
２１　指示情報受信手段
２２　処理導出手段
２３　処理情報データベース
２４　実行部
２５　信号出力手段
２６　対象切替手段
２７　書換部
２８　ジェスチャ出力手段
３　操作対象
３１　テレビ
３２　オーディオ機器
４　店舗装置
４１　位置情報発信装置
４２　店舗端末
５　ウェブサーバ
５１　サーバ装置
５２　認証手段
５３　決済手段
５４　通知手段
５５　決済データベース
６　表示装置
６１　ジェスチャ表示部
Ｌ　ジェスチャ軌跡
Ｐ１～Ｐ１８　座標点
Ｄ１～Ｄ８　等間隔領域

 

Claims (21)

1. 　ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースと、
   　検出したジェスチャ動作を、ジェスチャ入力情報に変換するジェスチャ入力装置と、
   　前記ジェスチャ入力情報及び前記指示情報データベースを用いて、前記指示情報を導出する照合手段と、
   　前記照合手段によって導出された指示情報に基づいて処理を行なう中継装置と、を有することを特徴とするジェスチャ入力システム。
2. 　前記ジェスチャ入力情報は、入力されたジェスチャの軌跡に関する一組の座標情報を有すること、を特徴とする請求項１に記載のジェスチャ入力システム。
3. 　前記照合手段によるマッチングは、前記座法情報に基づいて導出された各座標点の位置関係により特定される特徴量データを用いて行われること、を特徴とする請求項２に記載のジェスチャ入力システム。
4. 　前記中継装置は、指示情報に基づいて対象に信号の出力を行うことを特徴とする請求項１～３の何れかに記載のジェスチャ入力システム。
5. 　前記中継装置は、ジェスチャ動作に関する入力を受け付け、
   　前記ジェスチャ動作に関する入力に基づいて導出したジェスチャ情報及び、指示情報を関連付けて前記指示情報データベースに記録する書換手段を有することを特徴とする請求項１～４の何れかに記載のジェスチャ入力システム。
6. 　前記ジェスチャ入力装置は、少なくともジャイロセンサを用いて、入力されたジェスチャを検出することを特徴とする請求項１～５の何れかに記載のジェスチャ入力システム。
7. 　前記中継装置は、前記指示情報に基づいて出力を行う際に、
   　前記中継装置の位置情報を付加して出力を行う位置情報付加手段を有すること、を特徴とする請求項１～６の何れかに記載のジェスチャ入力システム。
8. 　前記ジェスチャ入力装置は、指に装着されることを特徴とする請求項１～７の何れかに記載のジェスチャ入力システム。
9. 　前記照合手段において、指示情報データベースからジェスチャ入力情報に対応するジェスチャ情報が導出されなかった場合に、
   　ネットワークを通じて接続された第２の指示情報データベースを用いて照合を行う第２照合手段を有すること、を特徴とする請求項１～８の何れかに記載のジェスチャ情報入力システム。
10. 　ジェスチャ動作の検出を行い、前記ジェスチャ動作の軌跡に関する一組の座標情報を備えた、ジェスチャ入力情報を導出することを特徴とするジェスチャ入力装置。
11. 　少なくとも、ジャイロセンサを用いて前記ジェスチャ動作を検出すること、を特徴とする請求項１０に記載のジェスチャ入力装置。
12. 　指に装着されること、を特徴とする請求項１０又は請求項１１に記載のジェスチャ入力装置。
13. 　ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースを備え、
    　前記ジェスチャ入力情報及び前記指示情報データベースを用いて、前記指示情報を導出する照合手段を有すること、を特徴とする請求項１０～１２の何れかに記載のジェスチャ入力装置。
14. 　処理の内容を示す指示情報に基づいて、対象に出力を行なうことを特徴とする中継装置。
15. 　前記指示情報に基づいて出力を行う際に、位置情報を付加する位置情報付加手段を有すること、を特徴とする請求項１４に記載の中継装置。
16. 　ジェスチャの軌跡に関する一組の座標情報を備えたジェスチャ入力情報を受け取り、
    　ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び、処理の内容を示す指示情報を関連付けて記録した指示情報データベースを用いて照合を行い、対応する前記指示情報を導出する照合手段を有すること、を特徴とする請求項１４又は請求項１５に記載の中継装置。
17. 　前記指示情報データベースを備えることを特徴とする請求項１６に記載の中継装置。
18. 　関連付けて記録された、ジェスチャ入力情報とマッチングを行う為のジェスチャ情報及び処理の内容を示す指示情報に基づいて、ジェスチャ動作に基づく動作命令を行う為のジェスチャ入力方法であって、
    　入力されたジェスチャ動作を、ジェスチャ入力情報に変換するステップと、
    　変換されたジェスチャ入力情報及び、前記ジェスチャ情報を用いて対応する前記指示情報を導出するステップと、
    　導出された前記指示情報に基づいて動作命令の出力を行なうステップと、を有することを特徴とするジェスチャ入力方法。
19. 　ジェスチャ動作を検出するステップと、
    　検出したジェスチャ動作を、該ジェスチャの軌跡に関する一組の座標情報を有するジェスチャ入力情報に変換するステップと、をコンピュータに行わせるためのジェスチャ入力装置プログラム。
20. 　処理の内容を示す指示情報の内容に基づいて、対象に出力を行なうステップをコンピュータに行わせるための中継装置プログラム。
21. 　検出したジェスチャ入力を変換することで得られたジェスチャ入力情報と、予め記録されたジェスチャ情報と、のマッチングを行う際に用いるマッチングデータであって、
    　ジェスチャ入力を数値化した特徴量データと、
    　入力されたジェスチャに対応する処理を、対象に行わせるための指示データと、が対応付けられており、
    　前記特徴量データは、ジェスチャ入力の際に任意の時間間隔で導出した複数の座標点を、座標点の数が任意の数になるよう規格化し、
    　ある座標点を中心として分割した任意の領域数の等間隔領域において各領域内にある中心座標点以外の座標点の数を、各座標点が中心の場合について求め、前記座標点を取得した時間に沿って並べたものであること、を特徴とするマッチングデータ。
    
     

Images