JP6249919B2 - 操作入力装置 - Google Patents

操作入力装置 Download PDF

Info

Publication number
JP6249919B2
JP6249919B2 JP2014205580A JP2014205580A JP6249919B2 JP 6249919 B2 JP6249919 B2 JP 6249919B2 JP 2014205580 A JP2014205580 A JP 2014205580A JP 2014205580 A JP2014205580 A JP 2014205580A JP 6249919 B2 JP6249919 B2 JP 6249919B2
Authority
JP
Japan
Prior art keywords
gesture
input
data
motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014205580A
Other languages
English (en)
Other versions
JP2016076061A (ja
Inventor
一弘 田中
一弘 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014205580A priority Critical patent/JP6249919B2/ja
Publication of JP2016076061A publication Critical patent/JP2016076061A/ja
Application granted granted Critical
Publication of JP6249919B2 publication Critical patent/JP6249919B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作入力装置に関し、特に操作者が行ったジェスチャを認識し、当該ジェスチャに対応付けられた操作情報を生成する操作入力装置に関する。生成される操作情報は、例えば制御対象機器に対する制御のための情報であり、制御のための情報は、操作入力装置から制御対象機器に例えば無線で送信される。
家電製品の多機能化に対応するため、家電製品の制御のためのリモコンに多数のボタンを設けた場合、所望の機能を実現するボタンを見つけるのに時間がかかるという問題が生じるようになっている。
また、機能によっては、リモコンを使ってメニュー画面から数回の選択処理を行わなければ当該機能の利用ができないという問題もある。
上記の問題を解決するために、リモコンを使わない操作入力方法の開発が行われている。その一つとして挙げられるのがジェスチャ入力である。ジェスチャ入力ではカメラやセンサを利用して操作者のジェスチャを認識し、その認識結果と対応付けられた操作情報（機器の動作を指示するためのコマンド、ＧＵＩ画面操作のための情報など）を判定し、機器を制御する。
ジェスチャ入力には大きく分けて２つの方法がある。１つは操作者のジェスチャをカメラで撮像することで画像を取得し、画像処理によってジェスチャを認識する方法である。この方法では、操作者は何も持たなくてもジェスチャ入力が可能だというメリットがある。しかし、画像処理は環境変化などのノイズに弱いこと、認識が難しいことがデメリットとして挙げられる。さらに、特別なカメラやセンサを利用しない限り、奥行き情報の取得が難しく、操作入力のためのジェスチャとして利用し得る動きのパターンが制限されるという問題がある。
他の方法は、情報端末を例えば手で握って動かし、情報端末に搭載された動きセンサで動きを検出し、動きの時系列データを取得し、当該時系列データを分析することでジェスチャ入力を行う方法である。この方法では、動きセンサを搭載した情報端末が必要となるが、近年ではスマートフォンが普及しているため、スマートフォンにジェスチャ入力用のプログラムをインストールすることで容易に操作入力装置として利用することができる。そのため、動きセンサを搭載した情報端末を利用したジェスチャ認識の方が、上記のカメラを用いたジェスチャ認識よりも適用がし易い場合がある。
なお、スマートフォン以外でも、動きセンサを搭載した情報端末、例えば、タブレット端末、携帯ゲーム機などもスマートフォンと同様に操作入力装置として利用可能である。
上記のように操作入力装置として利用可能な情報端末は、他の機能も持つものであるので、上記他の機能のために利用している状態と、操作入力装置として利用している状態との切替えをどのように行うかと言う問題が生じる。例えば情報端末を他の機能で利用している最中に、テレビ受像機の操作に利用しようとする場合、上記他の機能の実行のためのプログラム、或いは他の機能で鑑賞していたコンテンツを閉じ、ジェスチャ入力用のプログラムを立ち上げ、ジェスチャ入力した後、利用を中断したプログラムによる処理或いはコンテンツの再生を再開するという手順を踏まなければならず、処理が面倒である。
この問題を解決する１つの方法として、ジェスチャ入力用プログラムのバックグラウンドでの常駐化が挙げられる。これにより、ユーザはプログラムやコンテンツの利用を中断することなくジェスチャにより所望の制御を行うことが可能となる。
しかし、常駐化することで新たな問題が生じる。例えば、ジェスチャ入力専用のプログラムを起動してジェスチャ入力をする場合、ジェスチャ入力開始のボタンを配置しておき、ボタン押下時にジェスチャ入力開始、ボタン解放時にジェスチャ入力終了とすれば、容易にジェスチャの開始及び終了を認識することができる。しかし、情報端末を他の機能で利用している場合、ジェスチャ入力専用の画面が使えない状態となっていることがあり、何らかの方法でジェスチャの開始及び終了を端末に認識させる必要がある。
例えば、特許文献１に開示された方法では、制御対象機器、例えばテレビ受像機にセンサを設け、ユーザが近付いたことをセンサで検出したらカメラの電源を入れてジェスチャ認識を開始する。一方、ユーザが制御対象機器から離れたらカメラの電源を切りジェスチャ認識を終了する。
また、特許文献２ではイメージセンサによって制御器を撮像して、その軌跡情報から加速度を検出する。そして、当該加速度が概ね０の静止状態を脱した時点を始点、静止状態に戻った時点を終点とし、この区間を切り出してジェスチャとする。
特開２０１３−１９６０４７号公報（段落００１５〜００２３） 特開２００４−１７８４６９号公報（請求項４）
しかしながら、特許文献１の構成では、ユーザが制御対象機器に近付いたら直ちにジェスチャ入力を開始するとは限らず、特許文献１の構成では、ユーザがジェスチャ入力を開始する前から、操作入力装置はジェスチャ認識処理という負荷の高い処理を継続しなければならない。一定時間ジェスチャ入力がなければジェスチャ認識処理を終了するという仕組みを導入したとしても、操作入力装置にはしばらくの間、高負荷がかかることになる。
また、特許文献２では、画像処理による識別が困難であるという問題、及びジェスチャが２次元に制限されるという問題がある。また、加速度の０からの変化で始点を検出し、加速度の０への変化で終点を検出しているが、このような検出方法ではジェスチャ入力を意図していない動作がジェスチャと誤認識されて誤動作を起こす恐れがある。
本発明の一つの態様の操作入力装置は、
操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
それぞれ操作情報の生成のために行われる複数のジェスチャの基準となる複数の基準ジェスチャデータを記憶する基準ジェスチャ記憶部と、
当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記基準ジェスチャ記憶部に記憶されている前記基準ジェスチャデータとを比較することでジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する前記操作情報を出力するジェスチャ認識部とを有し、
前記動き判定部は、
前記動きセンサから出力される動きデータを予め定められた第１の長さの期間に亘り観察することで、前記ジェスチャ入力の開始を検出し、
前記動きセンサから出力される動きデータを予め定められた第２の長さの期間に亘り観察することで、前記ジェスチャ入力の終了を検出し、
前記入力ジェスチャデータ生成部は、前記ジェスチャ入力の開始の検出よりも、前記第１の長さの期間だけ前の時点から、前記ジェスチャ入力の終了の検出よりも、前記第２の長さの期間だけ前の時点までに、前記動きセンサから出力された動きデータの時系列を前記入力ジェスチャデータとして出力する
ことを特徴とするものである。
本発明の他の態様の操作入力装置は、
操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
それぞれ操作情報の生成のために行われる複数のジェスチャの基準となる複数の基準ジェスチャデータを記憶する基準ジェスチャ記憶部と、
当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記基準ジェスチャ記憶部に記憶されている前記基準ジェスチャデータとを比較することでジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する前記操作情報を出力するジェスチャ認識部と
を有し、
前記動き判定部は、
前記動きセンサから出力される動きデータで表される動きが予め定められた第１の閾値よりも大きい状態が予め定められた第２の閾値以上の時間続いたときにジェスチャが開始したと判定し、
前記動きセンサから出力される動きデータで表される動きが予め定められた第３の閾値以下の状態が予め定められた第４の閾値以上の時間続いたときにジェスチャが終了したと判定する
ことを特徴とするものである。
本発明の他の態様の操作入力装置は、
操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
それぞれ制御用操作情報の生成のために行われる複数の制御用ジェスチャの基準となる複数の制御用基準ジェスチャデータを記憶する制御用基準ジェスチャ記憶部と、
それぞれ１又は２以上の開始用操作情報の生成のために行われる開始用ジェスチャの基準となる１又は２以上の開始用基準ジェスチャデータを記憶する開始用基準ジェスチャ記憶部と、
当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記開始用基準ジェスチャ記憶部に記憶されている前記１又は２以上の開始用基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、前記入力ジェスチャデータが前記１又は２以上の開始用基準ジェスチャデータのいずれかに合致すると判断したときに、前記制御用ジェスチャの受付が可能な状態にする開始用ジェスチャ認識部と、
前記制御用ジェスチャの受付が可能な状態において、前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記制御用基準ジェスチャ記憶部に記憶されている前記複数の基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する制御用操作情報を出力する制御用ジェスチャ認識部と、
前記制御用操作情報を制御対象機器に送信する通信部と、
複数組の制御用基準ジェスチャデータを記憶する基準ジェスチャ候補記憶部と、
前記基準ジェスチャ候補記憶部に記憶されている複数組の基準ジェスチャ候補データのいずれかを用いて、前記制御用基準ジェスチャ記憶部に記憶されている前記制御用基準ジェスチャデータを書換える書換え制御部とを有し、
前記制御用基準ジェスチャ記憶部が、前記制御用基準ジェスチャデータとともに、各制御用基準ジェスチャデータに対応付けられた制御用操作情報を記憶し、
前記基準ジェスチャ候補記憶部は、前記基準ジェスチャ候補データとともに、各基準ジェスチャ候補データに対応付けられた制御用操作情報を記憶しており、
前記書換え制御部は、前記制御用基準ジェスチャ記憶部に記憶されている前記制御用基準ジェスチャデータの書換えの際に、各制御用基準ジェスチャデータに対応付けられた制御用操作情報を併せて書換え、
前記開始用基準ジェスチャデータが、操作者となる可能性のある複数のユーザに対して個別に設定された複数の開始用基準ジェスチャデータを含み、
前記開始用ジェスチャ認識部は、入力された前記開始用ジェスチャからジェスチャ入力を行ったユーザを特定し、
前記書換え制御部は、前記基準ジェスチャ候補記憶部に記憶されている前記複数組の基準ジェスチャ候補データ及び制御用操作情報の対のうち、前記特定されたユーザに対応する組を選択して、前記制御用基準ジェスチャ記憶部に記憶させる
ことを特徴とするものである。
本発明のさらに他の操作入力装置は、
操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
それぞれ第１乃至第Ｎ（Ｎは２以上の整数）の入力モードに対応し、それぞれの入力モードでそれぞれ制御用操作情報の生成のために行われる複数の制御用ジェスチャの基準となる複数の制御用基準ジェスチャデータを記憶する第１乃至第Ｎの制御用基準ジェスチャ記憶部と、
それぞれ前記第１乃至第Ｎの入力モードを選択するためのモード選択用操作情報の生成のために行われる複数のモード選択用ジェスチャの基準となる第１乃至第Ｎのモード選択用基準ジェスチャデータを記憶するモード選択用基準ジェスチャ記憶部と、
当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記モード選択用基準ジェスチャ記憶部に記憶されている前記第１乃至第Ｎのモード選択用基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、入力されたジェスチャにより選択された入力モードを特定するモード選択用ジェスチャ認識部と、
前記第１乃至第Ｎの制御用基準ジェスチャ記憶部のうち、前記モード選択用ジェスチャ認識部で特定された入力モードに対応する制御用基準ジェスチャ記憶部を選択する選択スイッチと、
前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記選択スイッチにより選択された制御用基準ジェスチャ記憶部に記憶されている前記複数の基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応付けられている制御用操作情報を出力する制御用ジェスチャ認識部とを有し、
前記第１乃至第Ｎの入力モードが、制御対象機器の動作を指示するモードと、ＧＵＩ操作により、前記制御対象機器の表示部に表示されるカーソルを移動するモードと、ＧＵＩ操作により、前記制御対象機器に文字を入力するモードとを含む
ことを特徴とするものである。
本発明によれば、動きセンサを用いてジェスチャ認識を行うので、ジェスチャ認識が容易であり、また、３次元の動きを含むジェスチャであっても認識が可能であり、さらに、ジェスチャ始点及び終点の検出が自動的に行えるので、ジェスチャ認識のための処理負荷を軽減し、誤動作を低減することが可能である。
本発明の実施の形態１の操作入力装置を、制御対象機器とともに示すブロック図である。 実施の形態１の始点判別の処理の手順を示すフローチャートである。 実施の形態１の終点判別の処理の手順を示すフローチャートである。 制御対象機器がテレビ受像機である場合の基準ジェスチャとデータの対応付けの例を示す図である。 実施の形態１の操作入力装置における処理の手順を示すフローチャートである。 実施の形態１の操作入力装置の変形例を示すブロック図である。 本発明の実施の形態２の操作入力装置を示すブロック図である。 （ａ）〜（ｄ）は、動きデータ連結部による連結処理を示す図である。 実施の形態２の操作入力装置における処理の手順を示すフローチャートである。 実施の形態２の始点判別の処理の手順を示すフローチャートである。 本発明の実施の形態３の操作入力装置を示すブロック図である。 実施の形態３の操作入力装置における処理の手順を示すフローチャートである。 本発明の実施の形態４の操作入力装置を示すブロック図である。 実施の形態４の操作入力装置における処理の手順を示すフローチャートである。 実施の形態４の操作入力装置の変形例を示すブロック図である。 実施の形態４の操作入力装置の他の変形例を示すブロック図である。 本発明の実施の形態５の操作入力装置を示すブロック図である。 動作指示用ジェスチャの一例である。 カーソル移動用ジェスチャの一例である。 文字用ジェスチャの一例である。 実施の形態５において制御対象機器としてテレビ受像機のブラウザに適用した使用例である。 実施の形態５の操作入力装置における処理の手順を示すフローチャートである。 実施の形態４の操作入力装置の変形例を示すブロック図である。 図２３の操作入力装置における処理の手順を示すフローチャートである。
実施の形態１．
図１は本発明の実施の形態１の操作入力装置２ａを制御対象機器３とともに示す。操作入力装置２ａは、ジェスチャ入力端末とも呼びうるものである。
操作入力装置２ａは、操作者が行うジェスチャ（符号１で示す）によって動かされ、その動きからジェスチャを認識し、認識の結果に基づいて操作情報を生成して制御対象機器３に送ることで、制御対象機器３を制御するものである。
図示の操作入力装置２ａは、動きセンサ１０２と、動き判定部１０４ａと、閾値記憶部１０６と、入力ジェスチャデータ生成部１１０ａと、制御用ジェスチャ認識部１２０ａと、制御用基準ジェスチャ記憶部１３０と、通信部１４０とを有する。
本実施の形態の入力ジェスチャデータ生成部１１０ａは、動きデータ蓄積部１１２ａにより構成されている。
制御対象機器３は、通信部３１０と機器制御部３２０とを備える。
動きセンサ１０２は、操作入力装置２ａの動きを感知して動きデータＤ１０２を出力する。
閾値記憶部１０６は、閾値Ａ１ｔｈ、Ａ２ｔｈ、Ｃ１ｔｈ、及びＣ２ｔｈを表すデータを記憶する。
動き判定部１０４ａは、動きセンサ１０２から出力された動きデータＤ１０２と、閾値記憶部１０６に記憶されている閾値Ａ１ｔｈ、Ａ２ｔｈ、Ｃ１ｔｈ、及びＣ２ｔｈから、ジェスチャ入力の開始及び終了を検出する。
例えば、動き判定部１０４ａは、動きセンサ１０２から出力される動きデータＤ１０２を予め定められた第１の長さ（Ｃ１ｔｈ）の期間に亘り観察することで、ジェスチャ入力の開始を検出し、動きセンサ１０２から出力される動きデータを予め定められた第２の長さ（Ｃ２ｔｈ）の期間に亘り観察することで、ジェスチャ入力の終了を検出する。
動き判定部１０４ａは、ジェスチャ入力の開始を検出してから、終了を検出するまでの期間に動きセンサ１０２から出力される動きデータを、動きデータ蓄積部１１２ａに供給する。
動き判定部１０４ａはまた、ジェスチャ入力の開始を検出するとそのことを示す信号Ｄ１０４Ｓを動きデータ蓄積部１１２ａに供給し、ジェスチャ入力の終了を検出するとそのことを示す信号Ｄ１０４Ｔを動きデータ蓄積部１１２ａに供給する。
動きデータ蓄積部１１２ａは、信号Ｄ１０４Ｓが供給されてから信号Ｄ１０４Ｔが供給されるまでの間、動き判定部１０４ａから供給される動きデータＤ１０２を蓄積する。
動きデータ蓄積部１１２ａは、動き判定部１０４ａからジェスチャ入力の終了を示す信号Ｄ１０４Ｔが出力されると、蓄積した動きデータを出力し、その後、蓄積した動きデータを破棄する。
このような処理を行う結果、動きデータ蓄積部１１２ａは、動き判定部１０４ａでの検出の結果に基づき、ジェスチャ入力が開始されてから終了するまでの期間に動きセンサ１０２から出力された動きデータの時系列（時系列データ）を生成して出力する。
動きデータ蓄積部１１２ａから出力された動きデータの時系列は、入力ジェスチャデータとして制御用ジェスチャ認識部１２０ａに供給される。
制御用基準ジェスチャ記憶部１３０は、複数の基準ジェスチャデータを記憶している。複数の基準ジェスチャデータはそれぞれ操作入力装置２ａを用いて行われる、制御対象機器３に対する制御のための操作情報に対応付けられた（紐付けられた）ジェスチャの基準乃至標準を表すものである。即ち、各基準ジェスチャデータは、対応する操作情報を生じさせるための模範的或いは標準的なジェスチャが行われたときに動きセンサ１０２から出力される動きデータの時系列、言い換えると、当該操作情報の生成のために行われるジェスチャの標準的な動きパターンを表す動きデータの時系列から成る。
制御用ジェスチャ認識部１２０ａは、動きデータ蓄積部１１２ａから供給された入力ジェスチャデータＤ１１０と、制御用基準ジェスチャ記憶部１３０に記憶されている複数の基準ジェスチャデータとを比較することでジェスチャ認識を行って、入力されたジェスチャを特定する。
例えば、ジェスチャ認識部１２０ａは、記憶されている複数の基準ジェスチャデータのうちで、入力ジェスチャデータＤ１１０との類似度が予め定められた閾値Ｓｇｔｈ以上でかつ最も高いものを特定することで、入力されたジェスチャを特定する。ここで、入力ジェスチャデータと基準ジェスチャデータの類似度は、入力ジェスチャデータを構成する動きデータの時系列と、基準ジェスチャデータを構成する動きデータの時系列との類似度によって評価される。
通信部１４０は、ジェスチャ認識部１２０ａから出力された操作情報Ｄ１２０を制御対象機器３に送信する。
このように、操作入力装置２ａは、操作者によるジェスチャ１に対して、予め当該ジェスチャに対応付けられた操作情報Ｄ１２０を制御対象機器３に送ることで、制御対象機器３を制御する。
制御対象機器３は例えば、テレビ受像機、エアコンなどの家電製品、或いはモニター、プロジェクターなどの表示装置であり、操作入力装置２ａはこれらの制御のために、例えばリモコンの代用として利用可能なものである。
操作入力装置２ａは例えばスマートフォンにジェスチャ入力用のプログラムをインストールすることで実現することが可能であり、その場合、動き判定部１０４ａ、及びジェスチャ認識部１２０ａの処理は、プログラムされたコンピュータにより実行され、閾値記憶部１０６、基準ジェスチャ記憶部１３０、及び動きデータ蓄積部１１２ａは、コンピュータのメモリ及び該メモリに対するアクセスのためのアクセス制御部で構成される。
以下、各部の動作をより詳しく説明する。
動きセンサ１０２は、操作入力装置２ａの動きを検出し、検出した動きを示すデータ（動きデータ）Ｄ１０２を出力する。動きセンサ１０２は例えばＡ／Ｄ変換部（図示しない）を内蔵しており、内部で発生される動きを示すアナログ信号をサンプリングし、Ａ／Ｄ変換し、動きデータＤ１０２を出力する。動きデータＤ１０２は、動き判定部１０４ａに供給される。
動きデータＤ１０２は動きセンサ１０２の種類によって異なる。例えば、加速度を表すデータ、角速度を表すデータが挙げられる。また、加速度と角速度を複合した複合データであっても良く、それらのデータを加工処理することで生成される加工データであっても良い。以下では、動きセンサ１０２から出力されるデータは３軸加速度ベクトルを表すデータであるものとして説明する。加速度ベクトルを表すデータを以下では単に「加速度データ」と言う。
加速度を表すアナログ信号は動きセンサ１０２の図示しないＡ／Ｄ変換部で、例えば周期的に、即ち一定時間ごとにサンプリングされ、Ａ／Ｄ変換され、加速度データとして出力される。
動き判定部１０４ａは動きセンサ１０２から入力された加速度データと閾値記憶部１０６からの４つの閾値Ａ１ｔｈ、Ａ２ｔｈ、Ｃ１ｔｈ、及びＣ２ｔｈを用いてジェスチャの始点及び終点を検出する。
操作入力装置２ａの加速度の大きさ(絶対値)をＡａ、加速度の大きさＡａが閾値Ａ１ｔｈを連続で超えた回数（連続回数）をＣ１、加速度の大きさＡａが閾値Ａ２ｔｈを連続で下回った回数（連続回数）をＣ２とし、閾値Ａ１ｔｈは、始点判別の際に用いる加速度の大きさＡａに対する閾値（予め定められた値）であり、閾値Ｃ１ｔｈは、連続回数Ｃ１に対する閾値（予め定められた値）であり、閾値Ａ２ｔｈは、終点判別の際に用いる加速度の大きさＡａに対する閾値（予め定められた値）であり、閾値Ｃ２ｔｈは、連続回数Ｃ２に対する閾値（予め定められた値）であるとして、動き判定部１０４ａによる始点及び終点の判別方法について説明する。
なお、連続回数Ｃ１、Ｃ２はそれぞれ図示しないカウンタにより計数され、カウンタのカウント値として得られるものであるので、以下では「カウント値」と言うこともある。
図２に動き判定部１０４ａによる始点判別のための処理の手順を示す。
ステップＳＴ１１ではカウント値Ｃ１をゼロにリセットする。
ステップＳＴ１２では入力された加速度（絶対値）Ａａが閾値Ａ１ｔｈより大きいか否かを判定する。加速度Ａａが閾値Ａ１ｔｈより大きければステップＳＴ１３に進む。一方、加速度Ａａが閾値Ａ１ｔｈ以下の場合、ステップＳＴ１１に戻り、再度カウント値Ｃ１をゼロにリセットしてステップＳＴ１２に進む。
ステップＳＴ１３ではカウント値Ｃ１に１を加算し、次にステップＳＴ１４に進む。
ステップＳＴ１４ではカウント値Ｃ１が閾値Ｃ１ｔｈ以上であるか否かを判定する。カウント値Ｃ１が閾値Ｃ１ｔｈ以上である場合、その時点がジェスチャ入力の始点であると判断する（ＳＴ１５）。
上記の処理により、加速度Ａａが閾値Ａ１ｔｈを超えた回数Ｃ１が、予め定められた回数Ｃ１ｔｈ以上となったときにジェスチャ入力の始点であるとの判断がなされる。
上記の処理において閾値Ａ１ｔｈ、及びＣ１ｔｈは誤認識（始点でないのに誤って始点と判断すること）を防ぐために十分に大きく、かつ認識失敗（始点であるのに始点を見過ごすこと）を防ぐために十分に小さく設定する必要がある。
動きセンサ１０２の感度やサンプリング間隔によるが、一例としてはＡ１ｔｈ＝１５〜２５、Ｃ１ｔｈ＝１５〜２５程度に設定すればよい。
閾値Ａ１ｔｈ、及びＣ１ｔｈを適切に定めることにより、操作入力装置２ａに、ジェスチャ入力を意図しない動きが加わった場合と、ジェスチャ入力を意図した動きが開始された場合とを正しく区別することができる。
図３に動き判定部１０４ａによる終点判別のための処理の手順を示す。
ステップＳＴ２１ではカウント値Ｃ２をゼロにリセットする。
ステップＳＴ２２では入力された加速度（絶対値）Ａａが閾値Ａ２ｔｈ以下か否かを判定する。加速度Ａａが閾値Ａ２ｔｈ以下であればステップＳＴ２３に進む。一方、加速度Ａａが閾値Ａ２ｔｈより大きい場合、ステップＳＴ２１に戻り、再度カウント値Ｃ２をゼロにリセットしてステップＳＴ２２に進む。
ステップＳＴ２３ではカウント値Ｃ２に１を加算し、次にステップＳＴ２４に進む。
ステップＳＴ２４ではカウント値Ｃ２が閾値Ｃ２ｔｈ以上であるか否かを判定する。カウント値Ｃ２が閾値Ｃ２ｔｈ以上である場合、その時点がジェスチャ入力の終点であると判断する（ＳＴ２５）。
上記の処理により、加速度Ａａが閾値Ａ２ｔｈ以下である回数Ｃ２が、予め定められた回数Ｃ２ｔｈ以上となったときにジェスチャ入力の終点であるとの判断がなされる。
上記の処理において閾値Ａ２ｔｈ、及びＣ２ｔｈは誤認識（終点でないのに誤って終点と判断すること）動作を防ぐために十分に大きく、かつ認識失敗（終点であるのに終点を見過ごすこと）を防ぐために十分に小さく設定する必要がある。
動きセンサ１０２の感度やサンプリング間隔によるが、一例としてはＡ２ｔｈ＝１５〜２５、Ｃ２ｔｈ＝１５〜２５程度に設定すればよい。
閾値Ａ２ｔｈ、及びＣ２ｔｈを適切に定めることにより、操作入力装置２ａに、動きに中断のあるジェスチャが入力された場合と、真にジェスチャ入力が終了された場合とを正しく区別することができる。
閾値Ａ１ｔｈ、Ａ２ｔｈ、Ｃ１ｔｈ、及びＣ２ｔｈは、固定値でもよいが、操作入力装置２ａ自体を用いて操作者(操作を行うユーザ）が好みの動きパターンに設定できるようにしてもよい。
動き判定部１０４ａは、上記の始点検出から終点検出までの区間中の加速度データＤ１０２を動きデータ蓄積部１１２ａに送り、これとともに、終点検出時には加速度入力終了を示す制御信号Ｄ１０４Ｔを動きデータ蓄積部１１２ａに送る。
動き判定部１０４ａは、始点検出時、もしくは終点検出時、もしくはその両方の時点で文字のポップアップ表示、音声ガイダンス、バイブレーションなどで、ジェスチャ入力が操作入力装置２ａに認識されたことを知らせるようにしてもよい。これにより、操作者はジェスチャ入力が意図した通りに認識されたか否かを確認することができる。
例えば、操作入力装置２ａがスマートフォンで構成される場合、その表示部でポップアップ表示を行い、その音声出力部（スピーカ）で音声ガイダンスを行い、或いはそのバイブレーション発生部でバイブレーションの発生を行う。
例えば、ポップアップ表示を行う場合、動き判定部１０４ａは、始点検出を知らせる信号Ｄ１０４Ｓ、及び／又は終点検出を知らせる信号Ｄ１０４Ｔを表示制御部１５２（図１に点線で示す）に送り、表示制御部１５２がこれらの信号Ｄ１０４Ｓ、Ｄ１０４Ｔに応じて、始点検出を示すポップアップ表示、終点検出を示すポップアップ表示を表示部１５４（図１に点線で示す）に行わせるようにしても良い。
上記のように、動きデータ蓄積部１１２ａは信号Ｄ１０４Ｓが発せられてから、信号Ｄ１０４Ｔが発せられるまで、即ち動き判定部１０４ａでジェスチャ開始と判定されてからジェスチャ終了と判定されるまで、動きセンサ１０２から出力され、動き判定部１０４ａを介して入力される加速度データを蓄積する。ジェスチャ終了と判定されると、その時点で蓄積していた加速度データの時系列を入力ジェスチャデータＤ１１０としてジェスチャ認識部１２０ａに出力し、その後蓄積していた加速度データを破棄する。
基準ジェスチャ記憶部１３０は、複数の基準ジェスチャデータを記憶している。
複数の基準ジェスチャデータは、それぞれ異なる操作情報に対応付けられたジェスチャの基準を表すものである。制御対象機器３がテレビ受像機である場合に用いられる機器の動作を指示するための操作情報（コマンド）の幾つかの例と、それに対応付けられたジェスチャを図４に示す。
図４の例では、アラビア数字の「２」を描く動き（ジェスチャ）は、「チャンネル２の選択」を指示するコマンドと対応付けられ、右方向への直線的な動き（ジェスチャ）は、チャンネル番号のアップ（より大きな数値への変更）を指示するコマンドと対応付けられ、左方向への直線的な動き（ジェスチャ）は、チャンネル番号のダウン（より小さな数値への変更）を指示するコマンドと対応付けられている。
基準ジェスチャデータは、これらの動き（ジェスチャ）が模範的乃至標準的に行われた場合に得られる加速度データの時系列もの、即ち当該操作情報の生成のために行われるジェスチャの標準的な動きパターンを表す動きデータの時系列であり、予め定義され、基準ジェスチャ記憶部１３０に記憶されている。
ジェスチャ認識部１２０ａは動きデータ蓄積部１１２ａから加速度データの時系列（入力ジェスチャデータ）を受け取ると、基準ジェスチャデータと比較することで、ジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する操作情報を出力する。即ち、入力ジェスチャデータに対する類似度が予め定められた閾値Ｓｇｔｈ以上で、かつ最も高い基準ジェスチャデータ、従って、これにより表されている基準ジェスチャを特定し、当該基準ジェスチャに対応付けられた操作情報を出力する。
即ち、基準ジェスチャデータのうちに、入力ジェスチャデータに対する類似度が予め定められた閾値Ｓｇｔｈ以上のものが一つのときには、当該基準ジェスチャデータを入力ジェスチャデータに合致すると判定し、基準ジェスチャデータのうちに、入力ジェスチャデータに対する類似度が予め定められた閾値Ｓｇｔｈ以上のものが２つ以上あるときは、その中で最も類似度が高いものを入力ジェスチャデータに合致する基準ジェスチャデータと判定する。
ここで基準ジェスチャに対応付けられた操作情報には、上に例を挙げた、機器の動作を指示するためのコマンドのほかに、ＧＵＩ操作のための情報が含まれ、ＧＵＩ操作のための情報には、例えばカーソル移動情報、文字入力情報が含まれる。
入力ジェスチャデータと基準ジェスチャデータの類似度（どれだけ似ているかを測る指標）もしくは相違度（どれだけ異なるかを測る指標）を測る方法は例えばＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）を用いたパターンマッチング（弾性マッチング）など種々の方法を適用できる。なお、類似度が高ければ相違度は低く、類似度が低ければ相違度は高いと換言できるので、以下では類似度の高低でジェスチャの認識を行う例を示す。
なお以下では、「入力ジェスチャデータ」及び「基準ジェスチャデータ」を単に「入力ジェスチャ」及び「基準ジェスチャ」と言うこともある。
通信部１４０はジェスチャ認識部１２０ａから送られてくる認識結果に対応する操作情報Ｄ１２０を制御対象機器３に送信する。
制御対象機器３では、通信部１４０から送られた操作情報Ｄ１２０に基づいて制御を行う。即ち制御対象機器３では、通信部１４０からの操作情報Ｄ１２０を通信部３１０で受信し、機器制御部３２０では、通信部３１０で受信した操作情報Ｄ１２０に応じた処理、例えばテレビ受像機における、チャンネルの変更を行う。
このようにして、入力ジェスチャに対応する制御が行われる。
上記した各部の処理の手順を、以下に、図５のフローチャートを参照して説明する。
まずステップＳＴ１０１で、動き判定部１０４ａが、ジェスチャの始点判別、即ちジェスチャの始点が検出されたか否かの判定を行う。この判定は、図２に示すように行われる。ステップＳＴ１０１の処理は、始点が検出されるまで繰り返される。始点が検出されたら、ステップＳＴ１０２に進む。
ステップＳＴ１０２では、動きデータ蓄積部１１２ａが、動きセンサ１０２から周期的に、即ち一定時間毎に出力され、動き判定部１０４ａを介して入力される加速度データを蓄積する。この蓄積の結果、加速度データの時系列が生成される。
次にステップＳＴ１０３で、動き判定部１０４ａが、ジェスチャの終点判別、即ち終点が検出されたか否かの判定を行う。この判定は、図３に示すように行われる。ステップＳＴ１０３の処理は終点が検出されるまで繰り返される。終点が検出されたら、そのことを示す信号Ｄ１０４Ｔを出力し（図３のＳＴ２５）、ステップＳＴ１０４に進む。
次のステップＳＴ１０４では、ステップＳＴ１０２で生成された加速度データの時系列が入力ジェスチャデータとしてジェスチャ認識部１２０ａに供給され、ジェスチャ認識部１２０ａがジェスチャ認識を行う。このジェスチャ認識では、入力ジェスチャデータと複数の基準ジェスチャデータを比較し、入力ジェスチャデータに合致する基準ジェスチャデータ（従って、これにより表される基準ジェスチャ）を特定し、対応する操作情報を出力する。
次にステップＳＴ１０５で、通信部１４０が、入力ジェスチャデータに合致すると判定された基準ジェスチャデータに対応する操作情報Ｄ１２０を制御対象機器３に送る。
これにより処理が終了する。
なお、上記の説明では、基準ジェスチャデータのうちで、入力ジェスチャデータに対する類似度が予め定められた閾値以上で、かつ最も高いものを入力ジェスチャデータに合致するものと判定しているが、入力ジェスチャデータに対する類似度が予め定められた閾値以上であるとの条件を満たすか否かを判断せず、単に入力ジェスチャデータに類似度が最も高い基準ジェスチャデータを、入力ジェスチャデータに合致する基準ジェスチャデータと判定することとしても良い。
また、基準ジェスチャは操作入力装置２ａ自体を用いて操作者が好みの動きパターンに設定できるようにおいてもよい。
その場合、予め定義され、記憶されている複数の基準ジェスチャのいずれかを各操作情報のために選択する（割り当てる）こととしても良く、操作者が好みのパターンで操作入力装置２ａを動かし、その前又は後に上記の動きを基準ジェスチャとして登録する処理を行うこととしても良い。
そのためには例えば図６に示すように、書換え制御部１３５を設け、操作者による登録処理を要求する制御信号ＷＥに応じて、入力ジェスチャデータＤ１１０を基準ジェスチャデータとして基準ジェスチャ記憶部１３０に書き込むこととすれば良い。
このようにして基準ジェスチャを設定した場合、操作者自身の入力したジェスチャが基準ジェスチャとなることから、当該操作者にとっての使い勝手が良くなり、また認識率が向上する。
さらにまた、基準ジェスチャと操作情報との対応関係を自由に変更することができるようにしておいてもよい。これにより、操作者が使いやすい形にカスタマイズすることが可能になる。
また、上記の例では、動きセンサ１０２から出力された動きデータＤ１０２が動き判定部１０４ａを介して動きデータ蓄積部１１２ａに供給されているが、動き判定部１０４ａを介さずに動きデータ蓄積部１１２ａに供給されるようにしても良い。この場合、例えば、動き判定部１０４ａが、ジェスチャ入力の開始を検出したことを示す信号Ｄ１０４Ｓ及びジェスチャ入力の終了を検出したことを示す信号Ｄ１０４Ｔを出力し、動きデータ蓄積部１１２ａが、信号Ｄ１０４Ｓの出力に応じて動きデータＤ１０２の蓄積を開始し、信号Ｄ１０４Ｔの出力に応じて動きデータＤ１０２の蓄積を終了し、蓄積したデータを動きデータの時系列(入力ジェスチャデータ)としてジェスチャ認識部１２０ａに出力し、その後蓄積データを破棄するようにしても良い。
本実施の形態では、画像処理によるジェスチャ認識は難しいという問題、及びジェスチャが２次元に制限される問題を解決することが可能であり、また、ジェスチャ入力の開始及び終了を簡単に検出することができるので、ジェスチャ認識のための処理負荷の軽減や誤動作の低減が可能である。
実施の形態２．
実施の形態１の操作入力装置２ａでは、動き判定部１０４ａにおいて、加速度の大きさに対する閾値Ａ１ｔｈと加速度の大きさＡａが閾値Ａ１ｔｈを連続して超える回数に対する閾値Ｃ１ｔｈを利用することによってジェスチャの誤認識を避けることができる。
一方で、閾値Ｃ１ｔｈの回数分、加速度の入力を判定に使用するため、先頭部分に特徴のあるジェスチャが適切に認識できないという問題がある。本実施の形態は、先頭部分に特徴のあるジェスチャについても適切な認識が行い得るようにしたものである。
図７は本発明の実施の形態２の操作入力装置２ｂを示す。図１の制御対象機器３は省略されている。
図７で図１と同じ符号は同様の要素を示す。図７の操作入力装置２ｂは図１の操作入力装置２ａと概して同じであるが、入力ジェスチャデータ生成部１１０ａの代わりに、入力ジェスチャデータ生成部１１０ｂが設けられている。
入力ジェスチャデータ生成部１１０ｂは、動き判定部１０４ｂによるジェスチャ入力の開始の検出よりも、第１の長さ（Ｃ１ｔｈ）の期間だけ前の時点から、ジェスチャ入力の終了の検出よりも、第２の長さ（Ｃ２ｔｈ）の期間だけ前の時点までに、動きセンサ１０２から出力された動きデータを抽出して、動きデータの時系列を生成する。
入力ジェスチャデータ生成部１１０ｂは、主動きデータ蓄積部１１２ｂと、先頭動きデータ蓄積部１１４と、動きデータ連結部１１６とを有する。
動き判定部１０４ｂは、図１の動き判定部１０４ａと同様に、動きセンサ１０２から入力された加速度データと閾値記憶部１０６からの４つの閾値Ａ１ｔｈ、Ａ２ｔｈ、Ｃ１ｔｈ、及びＣ２ｔｈを用いてジェスチャの始点及び終点を判別し、始点を示す信号Ｄ１０４Ｓ、終点を示す信号Ｄ１０４Ｔを出力する。
動き判定部１０４ｂはさらに、加速度（絶対値）Ａａが閾値Ａ１ｔｈよりも大きいか否かを示す信号Ｄ１０４Ａを出力する。
主動きデータ蓄積部１１２ｂは、動きデータ蓄積部１１２ａと同様に、動き判定部１０４ｂからのジェスチャ入力の開始の検出の信号Ｄ１０４Ｓ及び終了の検出の信号Ｄ１０４Ｔを受けて、動き判定部１０４ｂによるジェスチャの始点の検出から終点の検出までの区間に、動きセンサ１０２から出力される加速度データＤ１０２を蓄積する。具体的には、動き判定部１０４ｂから信号Ｄ１０４Ｓが入力されたときに、蓄積を開始し、信号Ｄ１０４Ｔが入力されたときに、蓄積を終了する。
そして蓄積したデータを、動きデータ連結部１１６に出力し、その後、蓄積したデータを破棄する。この場合、直ちに破棄することとしても良く、次に信号Ｄ１０４Ｓが入力されたときに破棄するようにしても良い。
先頭動きデータ蓄積部１１４は、加速度Ａａが閾値Ａ１ｔｈよりも大きいか否かを示す信号Ｄ１０４Ａを受け、動き判定部１０４ｂからジェスチャ入力の開始の検出の信号Ｄ１０４Ｓを受けて、動き判定部１０４ｂによるジェスチャ入力の開始の検出よりも第１の長さＣ１ｔｈの期間前の時点から、当該ジェスチャ入力の開始の検出までの期間に、動きセンサ１０２から出力された動きデータを蓄積する。具体的には.信号Ｄ１０４Ａが、加速度Ａａが閾値Ａ１ｔｈよりも大きいことを示すときに、動きセンサ１０２から出力される加速度データを常に蓄積し、信号Ｄ１０４Ａが、加速度Ａａが閾値Ａ１ｔｈ以下であることを示す度に、蓄積したデータを破棄（クリア）し、信号Ｄ１０４Ｓが入力されると蓄積を終了し、信号Ｄ１０４Ｔが入力されると、蓄積したデータを先頭データとして動きデータ連結部１１６に出力する。
先頭動きデータ蓄積部１１４は、蓄積データを動きデータ連結部１１６に出力した後、蓄積データを破棄する。（直ちに破棄することとしても良く、次に、加速度Ａａが閾値Ａ１ｔｈ以下であることを示す信号Ｄ１０４Ａが入力されたときに破棄するようにしても良い。）
主動きデータ蓄積部１１２ｂは動きデータ蓄積部１１２ａと同じものであるが、先頭動きデータ蓄積部１１４との区別のため、名称を変え、さらに符号を変えてある。
動きデータ連結部１１６は、主動きデータ蓄積部１１２ｂから出力された蓄積動きデータ（主動きデータ）Ｄ１１２ｂと、先頭動きデータ蓄積部１１４から出力された蓄積動きデータ（先頭動きデータ）Ｄ１１４と、閾値Ｃ２ｔｈを示すデータを受け、主動きデータ蓄積部１１２ｂから出力された主動きデータＤ１１２ｂ（図８（ｂ））と、先頭動きデータ蓄積部１１４から出力された先頭動きデータＤ１１４（図８（ｃ））とを連結することで、上記の動きデータの時系列を生成する。この場合、図８（ｄ）に示すように、先頭動きデータ蓄積部１１４から出力された先頭動きデータＤ１１４を先に配置し、主動きデータ蓄積部１１２ｂから出力された主動きデータＤ１１２ｂを後ろに配置し、そのうち、最後の閾値Ｃ２ｔｈに相当する分を除去する。
連結後の蓄積データＤ１１０は、ジェスチャに対応する動きデータの時系列を構成するものであり、入力ジェスチャデータとしてジェスチャ認識部１２０ａに供給される。
実施の形態１では、上記のように、始点検出から終点検出までの期間に動きセンサ１０２から出力された動きデータがジェスチャに対応する動きデータの時系列Ｄ１１０としてジェスチャ認識部１２０ａに供給されるのに対して、実施の形態２では、始点検出よりも閾値Ｃ１ｔｈに相当する時間だけ前の時点から、終点検出よりも閾値Ｃ２ｔｈに相当する時間だけ前の時点までの期間に動きセンサ１０２から出力された動きデータがジェスチャに対応する動きデータの時系列Ｄ１１０としてジェスチャ認識部１２０ａに供給される。
このようにする理由を、図８（ａ）〜（ｄ）を参照して説明する。
入力された加速度がジェスチャの一部か否かを判断するため、即ち、始点判別及び終点判別のために一定の長さの期間（Ｃ１ｔｈ、及びＣ２ｔｈに相当）に亘る加速度データの蓄積が必要である。そのため、図８（ａ）及び（ｂ）に示されるように、実際のジェスチャ入力の開始に対して、動き判定部１０４ｂによるジェスチャ入力の始点の検出は閾値Ｃ１ｔｈに相当する時間だけ遅れ、実際のジェスチャ入力の終了に対して、動き判定部１０４ｂによるジェスチャ入力の始点の検出は閾値Ｃ２ｔｈに相当する時間だけ遅れる。その結果、主動きデータ蓄積部１１２ｂに蓄積されるデータには、実際のジェスチャ入力の先頭の閾値Ｃ１ｔｈに相当する回数分（以下単に「Ｃ１ｔｈ分」という）が欠け、主動きデータ蓄積部１１２ｂに蓄積されるデータのうち、末尾の閾値Ｃ２ｔｈに相当する回数分（以下単に「Ｃ２ｔｈ分」という）は、実際のジェスチャ入力とは異なるものである。
そこで、動きデータ連結部１１６は主動きデータ蓄積部１１２ｂから取得した加速度データ（「主加速度データ」という）Ｄ１１２ｂの前に、図８（ｃ）に示される、先頭動きデータ蓄積部１１４で取得した加速度データ（「先頭加速度データ」という）Ｄ１１４を結合する。先頭加速度データＤ１１４は、Ｃ１ｔｈ分の加速度データの時系列であるから主加速度データＤ１１２ｂから欠けたＣ１ｔｈ分の加速度を過不足なく補うことができる。一方、主加速度データＤ１１２ｂの末尾のＣ２ｔｈ分は余分である。そこで、主加速度データＤ１１２ｂの末尾のＣ２ｔｈ分のデータを破棄する。その結果、図８（ｄ）に示す連結データＤ１４が生成される。この連結データは、先頭加速度データＤ１１４を前に配置し、主加速度データＤ１１２ｂを後に配置し、Ｃ２ｔｈ分を除去したものである。
以下、上記の処理の手順を図９のフローチャートを参照して説明する。
図９で図５と同じ符号は同内容の処理を示す。図９に示す手順は、図５と概して同じであるが、図５の始点検出のステップＳＴ１０１の代わりに、ステップＳＴ２０１が行われ、さらに加速度データ連結のステップＳＴ２０４が付加されている
図１０に図９の始点検出のステップＳＴ２０１の詳細を示す。
図１０で図２と同じ符号は同内容のステップを示す。
図１０の処理は、図２の処理と概して同じであるが、ステップＳＴ３３及びステップＳＴ３４が付加されている。
ステップＳＴ３４は、ステップＳＴ１２でＹＥＳの場合、即ち入力加速度Ａａが閾値Ａ１ｔｈよりも大きいときに、動き判定部１０４ｂ及び先頭動きデータ蓄積部１１４で実行されるものであり、このステップにおいて、動き判定部１０４ｂが先頭動きデータ蓄積部１１４に加速度のデータを送り、先頭動きデータ蓄積部１１４は送られた加速度データを記憶する。
ステップＳＴ３３は、ステップＳＴ１２でＮＯの場合、即ち加速度（絶対値）Ａａが閾値Ａ１ｔｈ以下である場合に、動き判定部１０４ｂ及び先頭動きデータ蓄積部１１４で実行されるものであり、このステップにおいて、動き判定部１０４ｂが、先頭動きデータ蓄積部１１４に制御信号Ｄ１０４Ａ＝０（「Ａａ≦Ａ１ｔｈ」を示す）を送り、この制御信号に応じて、先頭動きデータ蓄積部１１４が、内部に蓄積している加速度データの時系列を全て破棄する。
ステップＳＴ３３及びＳＴ３４の処理を行う結果、始点検出よりも閾値Ｃ１ｔｈに相当する時間だけ前の時点から、始点検出までの期間に動きセンサ１０２から出力され、動き判定部１０４ｂを介して先頭動きデータ蓄積部１１４に供給された動きデータが先頭動きデータ蓄積部１１４に蓄積される。
図９に戻り、ステップＳＴ２０４では、動きデータ連結部１１６が、先頭動きデータ蓄積部１１４に蓄積された先頭加速度データと主動きデータ蓄積部１１２ｂに蓄積された加速度データとを連結して連結データを生成する。この処理は図８（ａ）〜（ｄ）を参照して説明した通りである。
上記の例では、動きセンサ１０２から出力された動きデータＤ１０２が動き判定部１０４ｂを介して主動きデータ蓄積部１１２ｂ及び先頭動きデータ蓄積部１１４に供給されているが、動き判定部１０４ｂを介さずに（直接）、主動きデータ蓄積部１１２ｂ及び先頭動きデータ蓄積部１１４へ供給されるようにしても良い。
その場合、例えば、動き判定部１０４ｂは、信号Ｄ１０４Ｓ、Ｄ１０４Ｔ、Ｄ１０４Ａを出力し、主動きデータ蓄積部１１２ｂは、信号Ｄ１０４Ｓに応じて蓄積を開始し、信号Ｄ１０４Ｔに応じて蓄積を終了し、蓄積データを動きデータ連結部１１６に出力する。
先頭動きデータ蓄積部１１４は、信号Ｄ１０４ＡがＡａ＞Ａ１ｔｈを示すときは蓄積し、信号Ｄ１０４ＡがＡａ≦Ａ１ｔｈを示すときは、蓄積したデータを破棄し、蓄積したデータを、例えば信号Ｄ１０４Ｔに応じて動きデータ連結部１１６に出力する。
上記の例では、主動きデータ蓄積部１１２ｂがジェスチャ始点検出から終点検出までの加速度データＤ１１２ｂを出力し、動きデータ連結部１１６が、加速度データＤ１１２ｂのうちの、末尾のＣ２ｔｈ分を除去しているが、そのようにする代わりに、主動きデータ蓄積部１１２ｂがジェスチャ始点検出から終点検出までの加速度データのうち、閾値Ｃ２ｔｈ分を除去したものを出力することとしても良い。この場合、例えば、主動きデータ蓄積部１１２ｂは閾値Ｃ２ｔｈを示すデータを受けて、蓄積データのうち、末尾のＣ２ｔｈに相当する分を除去する。
本実施の形態によれば、加速度データ判定によって得られたジェスチャの時間的なずれを修正乃至補償し、適切な時刻の加速度データを入力ジェスチャとして取得することによって、先頭部分に特徴のあるジェスチャに対しても適切な認識を行うことができる。
実施の形態３．
図１１は本発明の実施の形態３の操作入力装置２ｃを示す。
実施の形態３は、基準ジェスチャデータを学習により更新する点で実施の形態２と異なる。
図１１の操作入力装置２ｃは、図７の操作入力装置２ｂと概して同じであり、図１１において図７と同じ符号は同様の要素を示す。図１１の操作入力装置２ｃが図７の操作入力装置２ｂと異なるのは、制御用ジェスチャ認識部１２０ａの代わりに、制御用ジェスチャ認識部１２０ｃを備えること、及び学習制御部１６０が付加されていることである。
ジェスチャ認識部１２０ｃは、入力ジェスチャデータ生成部１１０ｂから入力ジェスチャデータを取得し、基準ジェスチャデータと比較することでジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する操作情報Ｄ１２０を通信部１４０に送る点で、実施の形態１のジェスチャ認識部１２０ａと同じである。
ジェスチャ認識部１２０ｃは、上記の処理に加え、入力ジェスチャデータが複数の基準ジェスチャデータのいずれかと合致すると判定したときは、そのことを示す合致信号Ｄ１２０ｍを出力し、さらに、入力ジェスチャデータＤ１１０と、当該入力ジェスチャデータＤ１１０に合致すると判定された基準ジェスチャデータ（最類似基準ジェスチャデータ）Ｔｍｘを出力する。出力された信号Ｄ１２０ｍ並びに入力ジェスチャデータＤ１１０及び最類似基準ジェスチャデータＴｍｘは学習制御部１６０に供給される。
学習制御部１６０は、ジェスチャ認識部１２０ｃから供給された信号Ｄ１２０ｍ並びにデータＤ１１０及びＴｍｘに基づいて基準ジェスチャ記憶部１３０に記憶されている基準ジェスチャデータの更新を行う。但し、最後にジェスチャ認識部１２０ｃでの認識が行われてから、予め定められた時間が経過するまで更新を保留する。具体的には、学習制御部１６０は、ジェスチャ認識部１２０ｃでジェスチャ認識が行われたときに、当該ジェスチャ認識の対象となった入力ジェスチャデータＤ１１０と、当該入力ジェスチャデータに合致すると判定された基準ジェスチャデータＴｍｘを取得し、その時点（これらのジェスチャデータを取得した時点、従って、ジェスチャ認識が行われた時点）から予め定められた時間Ｔｕの計測を始める。時間の計測は例えば学習制御部１６０内に設けられたタイマ（図示しない）によって行われる。そして、時間Ｔｕ経過後に学習のための更新処理を行い、基準ジェスチャ記憶部１３０に記憶されている、上記の最類似基準ジェスチャデータＴｍｘを更新する。
一方、一定時間Ｔｕが経過する前にジェスチャ認識部１２０ｃで次のジェスチャ認識が行われ、新たな信号Ｄ１２０ｍ並びにデータＤ１１０及びＴｍｘがジェスチャ認識部１２０ｃから送られてきた場合は、更新を行わず、時間の計測をリセットし、時間の計測をやり直す。
上記の「一定時間」は、認識の結果、或いは認識の結果に基づく操作情報の送信（従って、それに基づく制御対象機器３の制御）から、操作者が新たなジェスチャ入力を行うまでの時間に若干の余裕を加えた時間に設定される。
学習は、例えばサンプル値同士の加重平均によって行っても良い。例えばＤＰを用いたマッチング（弾性マッチング）では、ジェスチャ認識の際に入力ジェスチャデータのサンプル値と基準ジェスチャデータのサンプル値が対応付けられるため、これを利用することができる。最類似基準ジェスチャデータのｉ番目のサンプル値（加速度）と入力ジェスチャデータのｊ番目のサンプル値（加速度）が対応付けられている場合、式（１）のように加重平均を得ることができる。なお、最類似基準ジェスチャデータのｉ番目のサンプル値をａｉ、入力ジェスチャデータのｊ番目のサンプル値をｂｊ、学習後の最類似基準ジェスチャデータのサンプル値をａ’ｉ、最類似基準ジェスチャデータに対する重みをｗ（但し、１＞ｗ＞０）とする。
ａ’ｉ＝ａｉ×ｗ＋ｂｊ×（１−ｗ） …（１）
このようにして得られた学習後の最類似基準ジェスチャデータのサンプル値（加速度）ａ’ｉは、それ以降学習前の値ａｉの代わりに用いられる。
上記の例では加重平均により学習後の値を求めることとしたが、他の方法で学習後の値を求めることとしても良い。
以下に、上記の処理を図１２のフローチャートを参照して説明する。
図１２で、図９と同じ符号は同様のステップを示す。
ステップＳＴ３０２では、新たなジェスチャが入力されないまま一定時間（予め定められた猶予時間）Ｔｕが経過したか否かの判定を行う。ここで一定時間Ｔｕとしては、合致信号Ｄ１２０ｍ並びに最類似基準ジェスチャデータＴｍｘ及び入力ジェスチャデータＤ１１０が学習制御部１６０に入力されてからの経過時間が計測される。
「新たなジェスチャの入力」があったか否かの判定においては、ジェスチャ認識部１２０ｃから新たな合致信号Ｄ１２０ｍ並びに最類似基準ジェスチャデータＴｍｘ及び入力ジェスチャデータＤ１１０が学習制御部１６０に入力されたら新たなジェスチャ入力があったと判断する。
時間Ｔｕ内に新たなジェスチャ入力がない場合は、ステップＳＴ３０４に進む。
ステップＳＴ３０４では、直前に入力された入力ジェスチャデータと最類似基準ジェスチャデータをもとに学習、即ち基準ジェスチャデータの更新を行う。これにより基準ジェスチャ記憶部１３０に記憶された基準ジェスチャデータに対して、操作者の癖を反映した更新が行われる。
一方、時間Ｔｕ内に新たなジェスチャ入力があった場合には、ステップＳＴ３０４の更新処理を行わず、そのまま操作入力受付の処理を終了する。この場合には、新たなジェスチャ入力に対して別途図１２に示す処理が行われる。
上記のような学習（基準ジェスチャデータの更新）を繰り返すことで、基準ジェスチャデータが次第に操作者に癖に対応したものに変わっていき、当該操作者によるジェスチャに対する認識率が次第に向上する。
なお、上記の例では、一定時間Ｔｕとして、合致信号Ｄ１２０ｍ並びに最類似基準ジェスチャデータＴｍｘ及び入力ジェスチャデータＤ１１０が学習制御部１６０に入力されてからの経過時間を計測しているが、ステップＳＴ１０４のジェスチャ認識完了、又はステップＳＴ１０５のデータ送信完了からの時間を計ることとしても良い。
また「新たなジェスチャの入力」があったか否かの判定においては、ジェスチャ認識部１２０ｃから新たな合致信号Ｄ１２０ｍ並びに最類似基準ジェスチャデータＴｍｘ及び入力ジェスチャデータＤ１１０が学習制御部１６０に入力されたら新たなジェスチャ入力があったと判断しているが、代わりに、動き判定部１０４ｂで、ステップＳＴ２０１の始点検出処理が行われたら、新たなジェスチャの入力があったと判断しても良く、動き判定部１０４ｂ、入力ジェスチャデータ生成部１１０ｂ、ジェスチャ認識部１２０ｃ及び通信部１４０でステップＳＴ２０１からステップＳＴ１０５までの処理が行われたときに、新たなジェスチャの入力があったと判断しても良い。
前者の場合には、動き判定部１０４ｂから始点検出が完了したことを示す信号が学習制御部１６０に入力され、後者の場合には、動き判定部１０４ｂ、入力ジェスチャデータ生成部１１０ｂ、ジェスチャ認識部１２０ｃ、及び通信部１４０からそれぞれの処理が完了したことを示す信号が学習制御部１６０に入力され、学習制御部１６０ではこれらの信号に基づき、さらに内部のタイマのカウント値に基づき、ステップＳＴ３０２の判定を行う。
時間Ｔｕ以内に新たなジェスチャ入力があったか否かによって基準ジェスチャデータの更新を行うか否かを決めるのは以下の理由による。
操作入力のためのジェスチャは、いつも正しく（標準的なジェスチャに近い形で）行われるとは限らず、意図したのとは異なる基準ジェスチャに類似すると判断され、意図したのとは異なる制御（制御対象機器３の動作、画面上でのカーソルの移動など）が行われることがある。その場合には、操作者はジェスチャをやり直すことが多い。
そこで、一旦ジェスチャ入力が終わってから一定時間Ｔｕが経過する前に、再度ジェスチャ入力があったときは、操作者の意図とは異なる制御が行われたと推定し、その場合の入力ジェスチャは、意図した制御に対応付けられるべきではなく、従って当該制御に対応付けられた基準ジェスチャデータの更新（学習）に利用されるべきではないと判断する。
一方、一旦ジェスチャ入力が終わってから一定時間Ｔｕ以内に新たなジェスチャ入力がなかったときは、操作者はジェスチャ入力の結果に満足したこと、即ち、入力ジェスチャによって意図した制御が行われなかったこと、従って当該制御に対応付けられた基準ジェスチャと類似すると判断されたと推定することができ、この場合には、このときの入力ジェスチャと基準ジェスチャとに基づいて基準ジェスチャの更新を行う。
本実施の形態によれば、基準ジェスチャを手動で更新する煩わしさを生じさせることなく、操作者に合わせた基準ジェスチャの更新を行うことができる。
実施の形態４．
図１３は本発明の実施の形態４の操作入力装置２ｄを示す。
本実施の形態は、本来のジェスチャ入力（制御用ジェスチャ入力）に先立って開始用ジェスチャを入力する点で実施の形態２と異なる。
開始用ジェスチャは、制御用ジェスチャ入力が開始されることを知らせるため、或いは操作者が操作入力を行う権限を有することを証明するため、或いはまた操作者の特定のために行われるものである。
開始用ジェスチャは、それ自体制御対象機器３の制御のための操作情報を生成するものではなく、制御対象機器３の制御のための操作情報の生成に先立って、操作入力装置２ｄに対する制御のために行われるものであり、開始用ジェスチャによって生成される操作情報は、操作入力装置２ｄの制御に用いられる。
図１３の操作入力装置２ｄは、図７の操作入力装置２ｂと概して同じであり、図１３において図７と同じ符号は、同様の要素を示す。図１３の操作入力装置２ｄが図７の操作入力装置２ｂと異なるのは、開始用ジェスチャ認識部１７０、開始用基準ジェスチャ記憶部１８０、及び選択スイッチ１９０が設けられている点である。
選択スイッチ１９０は、開始用ジェスチャ認識部１７０から出力される受付許可信号Ｄ１７０Ｓに応じて、その状態が切り替わる。操作入力装置２ｄの動作開始時は、受付許可信号Ｄ１７０ＳがＬｏｗであり、このときは、選択スイッチ１９０は、入力ジェスチャデータ生成部１１０ｂの出力Ｄ１１０を、開始用ジェスチャ認識部１７０に供給する状態にある。受付許可信号Ｄ１７０ＳがＨｉｇｈになると、選択スイッチ１９０は、入力ジェスチャデータ生成部１１０ｂの出力を、制御用ジェスチャ認識部１２０ａに供給する状態に移行する。
開始用基準ジェスチャ記憶部１８０は、それぞれ一つ又は２以上の開始用ジェスチャを表す開始用基準ジェスチャデータを記憶している。
開始用ジェスチャ認識部１７０は、入力ジェスチャデータ生成部１１０ｂから選択スイッチ１９０を介して入力ジェスチャデータＤ１１０が供給されると、これを、開始用基準ジェスチャ記憶部１８０に記憶されている開始用基準ジェスチャデータと比較することで、ジェスチャ認識を行う。
開始用ジェスチャ認識部１７０は入力ジェスチャデータＤ１１０が開始用基準ジェスチャデータのいずれかに合致する（類似度が予め定められた閾値Ｓｓｔｈ以上である）と判断した場合、その後予め定められた時間（受付時間）が経過するまでの間、受付許可信号Ｄ１７０Ｓを出力し（受付許可信号Ｄ１７０ＳをＨｉｇｈにし）、これにより制御用ジェスチャの入力（制御用ジェスチャに応じた操作信号の生成）が可能な状態にする。受付時間の計時は例えば開始用ジェスチャ認識部１７０に内蔵のタイマ１７２によって行われる。例えば受付時間の計時の開始時に、タイマ１７２のカウント値ｔが規定の初期値Ｔｉに設定され、その後カウントダウンが行われる。
入力ジェスチャデータＤ１１０が開始用基準ジェスチャデータＴ１８０のいずれにも合致しない（類似度が予め定められた閾値Ｓｓｔｈよりも小さい）と判断された場合、開始用ジェスチャ認識部１７０は受付許可信号Ｄ１７０Ｓを出力しない（Ｌｏｗのままとする）。この結果、選択スイッチ１９０の接続先は、開始用ジェスチャ認識部１７０に維持される。
選択スイッチ１９０は、上記のように、操作入力装置２ｄの動作の開始時には、入力ジェスチャデータ生成部１１０ｂの出力を開始用ジェスチャ認識部１７０に供給する状態にあるが、受付許可信号Ｄ１７０ＳがＨｉｇｈになると、入力ジェスチャデータ生成部１１０ｂの出力を制御用ジェスチャ認識部１２０ａに供給する状態に移行する。
選択スイッチ１９０は、受付許可信号Ｄ１７０ＳがＬｏｗに戻ると、元の状態、即ち、入力ジェスチャデータ生成部１１０ｂの出力を開始用ジェスチャ認識部１７０に供給する状態に移行する。
受付時間は、本来のジェスチャ入力に要する時間に若干の余裕を加えた長さ、例えば５秒から１０秒程度に設定される。
選択スイッチ１９０の接続先が制御用ジェスチャ認識部１２０ａである間は、制御用ジェスチャ認識部１２０ａは、実施の形態２の制御用ジェスチャ認識部１２０ａと同様にジェスチャ（開始用ジェスチャの入力に引き続いて行われる、本来の操作入力のためのジェスチャ、即ち制御用ジェスチャ）を認識し、認識の結果に応じた操作情報Ｄ１２０を出力する。
但し、認識の際に、制御用ジェスチャ認識部１２０ａは、受付許可信号Ｄ１７０Ｓを参照し、該信号Ｄ１７０ＳがＨｉｇｈであることを条件として、ジェスチャ認識を行う。
操作入力装置２ｄが上記のように動作をするので、操作者は、開始用ジェスチャに引き続いて本来のジェスチャ（制御用のジェスチャ）を行うことで、制御対象機器３に所望の処理を行わせることができる。
上記した処理を図１４のフローチャートを参照して説明する。
図１４の処理は、図９の処理と概して同じであるが以下の点で異なる。即ち、本来のジェスチャの認識（制御用ジェスチャの認識）の処理ＳＴ２０１〜ＳＴ１０５に先立って、開始用ジェスチャ認識の処理（ＳＴ２０１Ｋ〜ＳＴ１０４Ｋ）が行われること、及び後述のステップＳＴ４０２及びＳＴ４０４が追加されていることである。
図１４で図９と同じ符号は同内容の処理を示す。
ステップＳＴ２０１Ｋ、ＳＴ１０２Ｋ、ＳＴ１０３Ｋ、及びＳＴ２０４Ｋは、それぞれステップＳＴ２０１、ＳＴ１０２、ＳＴ１０３、及びＳＴ２０４と同内容であるが、開始用ジェスチャの認識の一環として行われる。
即ちまず、ステップＳＴ２０１Ｋでは、動き判定部１０４ｂが、開始用ジェスチャの始点判別、即ち開始用ジェスチャの始点が検出されたか否かの判定を行う。この判定は、図２に示すように行われる。ステップＳＴ２０１Ｋの処理は、始点が検出されるまで繰り返される。始点が検出されたら、ステップＳＴ１０２Ｋに進む。
ステップＳＴ１０２Ｋでは、主動きデータ蓄積部１１２ｂが動きセンサ１０２から周期的に、即ち一定時間毎に出力され、動き判定部１０４ｂを介して入力された加速度データを蓄積する。この蓄積の結果、加速度データの時系列が生成される。
次にステップＳＴ１０３Ｋで、動き判定部１０４ｂが、ジェスチャの終点判別、即ち終点が検出されたか否かの判定を行う。この判定は、図３に示すように行われる。ステップＳＴ１０３Ｋの処理は終点が検出されるまで繰り返される。終点が検出されたら、そのことを示す信号Ｄ１０４Ｔを出力し（図３のＳＴ２５）、ステップＳＴ２０４Ｋに進む。
次のステップＳＴ２０４Ｋでは、入力ジェスチャデータ生成部１１０ｂが、先頭動きデータ蓄積部１１４に蓄積された先頭加速度データと主動きデータ蓄積部１１２ｂに蓄積された主加速度データとを連結して連結データを生成する。この処理は図８（ａ）〜（ｄ）を参照して説明した通りである。
以上のようにして入力ジェスチャデータが生成されると、次にステップＳＴ１０４Ｋに進む。
ステップＳＴ１０４Ｋは、ステップＳＴ１０４と同様であるが、このステップＳＴ１０４Ｋでは、開始用ジェスチャ認識部１７０が、開始用ジェスチャ認識を行う。この開始用ジェスチャ認識では、開始用基準ジェスチャ記憶部１８０に記憶されている開始用基準ジェスチャデータで表される開始用基準ジェスチャと類似しているか否かの判定、即ち、取得された入力ジェスチャが予め記憶されている１又は２以上の開始用基準ジェスチャのいずれかに類似しているか（類似度が規定の閾値Ｓｓｔｈ以上か）否かの判定が行われる。入力ジェスチャデータが複数の開始用基準ジェスチャデータに類似する場合には、類似度が最も高い開始用ジェスチャデータを特定する。
入力ジェスチャが開始用ジェスチャであると判定されなかった場合（いずれの開始用基準ジェスチャデータとも類似していないと判定された場合）、ステップＳＴ２０１Ｋに戻る。
入力ジェスチャが開始用ジェスチャであると判定した場合、開始用ジェスチャ認識部１７０は、ステップＳＴ４０２に進み、内蔵のタイマ１７２のカウント値ｔを規定の初期値Ｔｉに設定する。タイマ１７２のカウント値ｔは時間の経過とともに減少して最後はゼロとなる。タイマ１７２のカウント値ｔは、ジェスチャ入力が受付けられる残りの時間を表す。
ステップＳＴ４０２に続いて行われるステップＳＴ２０１からＳＴ２０４までの処理で、開始用ジェスチャに引き続いて行われる本来のジェスチャを表す入力ジェスチャデータを取得する。これらの処理は実施の形態２で説明したのと同様である。
ステップＳＴ２０４の次に、ステップＳＴ４０４に進む。
ステップＳＴ４０４では、制御用ジェスチャ認識部１２０ａが、ステップＳＴ４０２での処理から規定時間Ｔｉが経過したか否かの判定、即ち制御用ジェスチャ認識部１２０ａが、受付許可信号Ｄ１７０ＳがＨｉｇｈか否かの判定（なおも受付時間中であるか否かの判定）を行い、Ｈｉｇｈであれば（受付時間が経過していなければ）、ステップＳＴ１０４に進み、受付許可信号がＬｏｗであれば（受付時間が終わっていれば）、ステップＳＴ２０１Ｋに戻る。
このような処理をする結果、開始用ジェスチャの入力（確認）から、規定の受付時間Ｔｉ内に完了しなかった「ジェスチャ」は、開始用ジェスチャに引き続いて行われた本来のジェスチャではないと判断し、受付けないことになる。
この場合、操作者はジェスチャの入力を初めからやり直す（最初に開始用ジェスチャの入力を行い、次に本来のジェスチャの入力を行う）ことになる。
なお、入力ジェスチャデータ生成部１１０ｂで、受付許可信号Ｄ１７０Ｓを参照し、Ｌｏｗである場合には、入力ジェスチャデータの生成或いは出力をしないこととしても良い。例えば入力ジェスチャデータ生成部１１０ｂ内の動きデータ連結部１１６で、受付許可信号Ｄ１７０Ｓを参照し、Ｌｏｗである場合には、データの連結を行わないこととしても良い。
また、残り時間ｔが０になる前に制御用ジェスチャ認識部１２０ａにおいて入力ジェスチャデータが制御用基準ジェスチャと合致すると判断された場合、タイマ１７２のカウント値ｔを初期値Ｔｉに設定しなおして連続してジェスチャ入力できるようにしてもよい。
このような処理のためには、制御用ジェスチャ認識部１２０ａを、実施の形態３の制御用ジェスチャ認識部１２０ｃと同様に、入力ジェスチャデータＤ１１０が複数の制御用基準ジェスチャデータのいずれかと合致すると判定したときは、そのことを示す合致信号Ｄ１２０ｍを出力するように構成し、合致信号Ｄ１２０ｍに応じて、タイマ１７２のカウント値ｔを初期値Ｔｉに設定しなおすこととすれば良い。
こうすることで、開始用ジェスチャ認識部１７０は、合致信号Ｄ１２０ｍを受けると、そのときから、予め定められた時間が経過するまで受付許可信号の出力を続けることになる。
開始用ジェスチャは、特にそれがジェスチャ入力の権限があることを示すために行われるものである場合には、開始用ジェスチャは、複雑で誤認識しにくい動きであることが好ましい。
また、複数のユーザが操作者となって操作を行う可能性がある場合には、ユーザ毎に（従って操作者毎に）異なる開始用ジェスチャを設定することができるようにしても良い。そうすることで、ユーザ毎に好みのジェスチャを開始用ジェスチャとすることができる。また操作入力を行っているユーザを特定することができ、ユーザ毎に使用可能な機能を制限する場合、或いは、ユーザ毎に、制御用ジェスチャと操作情報との対応関係を異なるものとする場合に、ユーザ特定の結果を利用することもできる。
開始用ジェスチャは例えばユーザＩＤを表すものであっても良い。
開始用ジェスチャの設定に当たっては、予め定義され、記憶されている複数の基準ジェスチャのいずれかを開始用ジェスチャとして選択することとしても良く、ユーザが好みのパターンで操作入力装置２ｄを動かし、その前又は後に上記の動きを開始用ジェスチャとして登録する処理を行うこととしても良い。
後者の方法で開始用ジェスチャを設定した場合、ユーザ自身の入力したジェスチャが開始用ジェスチャとなることから、当該ユーザにとって使い勝手が良くなり、また認識率が向上する。
操作をしているユーザに応じて、ジェスチャと操作情報の対応付けを変える場合には、図１５に示すように、それぞれ個々のユーザに対応し、基準ジェスチャデータと対応する制御用操作情報を記憶する制御用基準ジェスチャ記憶部１３０ａ、１３０ｂ、１３０ｃ（３個として図示する）を設け、特定されたユーザに対応する制御用基準ジェスチャ記憶部をスイッチ１３２で選択して、制御用ジェスチャ認識部１２０ａに接続するようにしても良く、図１６に示すように、基準ジェスチャ候補記憶部２０２に、複数組の基準ジェスチャ候補データと制御用操作情報の対を記憶させておき、書換え制御部２０４が、特定されたユーザに応じて、対応する組の基準ジェスチャ候補データと制御用操作情報の対を制御用基準ジェスチャ記憶部１３０に書き込むこととしても良い。
図１５のスイッチ１３２及び図１６の書換え制御部２０４は、例えば開始用ジェスチャ認識部１７０によるユーザの特定の結果を示す信号Ｄ１７０Ｕに応じて制御されるようにすれば良い。
なお、開始用ジェスチャの数を少なくすることで、入力ジェスチャデータとの比較に用いられる開始用基準ジェスチャデータの数が減るため認識処理が簡単に行われ、誤認識が減る。
入力ジェスチャデータと開始用ジェスチャデータの類似度の算出は、制御用ジェスチャ認識部１２０ａと同様の方法で行うようにしても良く、また開始用ジェスチャデータの数が少ないことを考慮して認識精度が高い方法（従って、負荷が大きい方法）で行うこととしても良い。
本実施の形態によれば、本来のジェスチャに先立って開始用ジェスチャを入力させることとしたので、操作入力を意図しない動きが加わった場合に、ジェスチャ入力と誤って認識される可能性を低くすることができる。また、操作を行う権限を有しない人による操作入力を防ぐこともできる。さらにまた、ユーザ毎に、制御用ジェスチャと制御用操作情報との対応関係を異なるものとする場合に、開始用ジェスチャの認識結果を利用することもできる。
実施の形態５．
図１７は本発明の実施の形態５の操作入力装置２ｅを示す。実施の形態５は、入力モードを切替える機能を有する点で実施の形態２と異なる。
以下では、切替えにより選択可能な入力モードが、動作指示モード、カーソル移動モード、及び文字入力モードの３つであるとして説明する。
本実施の形態の操作入力装置２ｅは、図７の操作入力装置２ｂと概して同じであり、図１７において図７と同じ符号は同様の要素を示す。図１７の操作入力装置２ｅが図７の操作入力装置２ｂと異なるのは、モード選択用ジェスチャ認識部２１０、モード選択用基準ジェスチャ記憶部２２０、開閉スイッチ２３２、選択スイッチ２３４、動作指示用基準ジェスチャ記憶部２４０、移動用基準ジェスチャ記憶部２５０、及び文字用基準ジェスチャ記憶部２６０を備えている点である。
動作指示用基準ジェスチャ記憶部２４０、移動用基準ジェスチャ記憶部２５０、及び文字用基準ジェスチャ記憶部２６０は、制御用基準ジェスチャ記憶部と総称され、これらに記憶されている基準ジェスチャデータは、制御用ジェスチャ認識部１２０ａで参照される。
入力モードを切替える機能を有することで、同じジェスチャを複数の異なる制御に対応付けることができる。
モード選択用基準ジェスチャ記憶部２２０は３つのモード選択用基準ジェスチャデータＴ２１を、各モード選択用基準ジェスチャモードに対応付けられた入力モードを表す情報とともに記憶している。３つのモード選択用基準ジェスチャデータは、それぞれ３つの入力モードの選択のためのものである。
動作指示用基準ジェスチャ記憶部２４０は、動作指示モードで各操作情報の生成のために行われる複数のジェスチャ（動作指示用ジェスチャ）の各々の標準的な動きパターンを表す動きデータの時系列を動作指示用基準ジェスチャデータＴ２４０として記憶している。
移動用基準ジェスチャ記憶部２５０は、カーソル移動モードで各操作情報の生成のために行われる複数のジェスチャ（移動用ジェスチャ）の各々の標準的な動きパターンを表す動きデータの時系列をカーソル移動用基準ジェスチャデータＴ２５０として記憶している。
文字用基準ジェスチャ記憶部２６０は、文字入力モードで各操作情報の生成のために行われる複数のジェスチャ（文字用ジェスチャ）の各々の標準的な動きパターンを表す動きデータの時系列を文字用基準ジェスチャデータＴ２６０として記憶している。
基準ジェスチャ記憶部２４０、２５０、及び２６０の各々には、各基準ジェスチャデータとともに当該基準ジェスチャデータに対応付けられた制御用操作情報が記憶されている。
動作指示用ジェスチャは、制御対象機器３に対する種々の動作の指示（コマンド）に対応付けられており、各動作指示用ジェスチャは、個々の動作、例えばテレビ受像機におけるチャンネル番号の増加方向への変更の指示、減少方向への変更の指示に対応付けられている。
移動用ジェスチャは、制御対象機器３の表示部を用いたＧＵＩ操作におけるカーソルの移動のためのものであり、各移動用ジェスチャは、移動の方向に対応付けられている。
文字用ジェスチャは、制御対象機器３の表示部を用いたＧＵＩ操作における文字入力のためのものであり、各文字用ジェスチャは、文字コードに対応付けられている。
動作指示用ジェスチャの例を図１８に、移動用ジェスチャの例を図１９に、文字用ジェスチャの例を図２０に示す。
例えば数字の「２」を描くジェスチャは、動作指示モードでは、「チャンネル２を選択する」制御に対応付けられており、文字入力モードでは、数字の「２」に対応付けられている。また、「→」（右への移動）は、動作指示モードでは、「チャンネルＵＰ」に対応付けられており、カーソル移動モードでは、「右へ移動」に対応付けられている。
このように、同じジェスチャを、異なる入力モードで異なる操作情報に割り当てることができる。
モード選択用ジェスチャ認識部２１０は入力ジェスチャデータ生成部１１０ｂから入力ジェスチャデータを取得し、モード選択用基準ジェスチャデータＴ２１と比較することでジェスチャ認識を行う。このジェスチャ認識においては、入力ジェスチャデータがモード選択用基準ジェスチャデータのうちの一つに対し類似度が閾値Ｓｍｔｈ以上であれば、当該モード選択用基準ジェスチャデータに合致すると判定し、入力ジェスチャデータが２以上のモード選択用基準ジェスチャデータに対し類似度が閾値Ｓｍｔｈ以上である場合には、そのうちの最も類似度が高いモード選択用基準ジェスチャデータに合致すると判定する。
モード選択用ジェスチャ認識部２１０は、入力ジェスチャデータがいずれかの基準ジェスチャデータ合致すると判定した場合、合致すると判定されたモード選択用基準ジェスチャデータに対応する入力モードを表すモード情報Ｄ２１０Ｍを出力し、当該入力モードにおいて入力される制御用ジェスチャのための基準ジェスチャデータを記憶している基準ジェスチャ記憶部（２４０、２５０、２６０のうちのいずれか）を選択させる。
例えば、動作指示モードの選択を示すモード選択用基準ジェスチャデータに合致すると判断されたときは、動作指示用基準ジェスチャ記憶部２４０を選択し、カーソル移動モードの選択を示すモード選択用基準ジェスチャデータに合致すると判断されたときは、移動用基準ジェスチャ記憶部２５０を選択し、文字入力モードの選択を示すモード選択用基準ジェスチャデータに合致すると判断されたときは、文字用基準ジェスチャ記憶部２６０を選択する。
なお、現に選択している入力モードと同じ入力モードを選択するジェスチャが入力された場合には、選択スイッチ２３４を、同じ基準ジェスチャ記憶部を選択した状態に維持する。
モード選択用ジェスチャ認識部２１０はまた、入力ジェスチャデータがモード選択用基準ジェスチャデータのいずれかに合致すると判定した場合、開閉制御信号Ｄ２１０Ｃを第１の状態、例えばＬｏｗにして、開閉スイッチ２３２を開状態にして、当該入力ジェスチャデータ（モード選択用ジェスチャを表すもの）が制御用ジェスチャ認識部１２０ａに入力されないようにする。
一方、モード選択用ジェスチャ認識部２１０は、入力ジェスチャデータがモード選択用基準ジェスチャデータのいずれとも合致しないと判定した場合、開閉制御信号Ｄ２１０Ｃを第２の状態、例えばＨｉｇｈにすることにより、開閉スイッチ２３２を閉状態にして入力ジェスチャデータを制御用ジェスチャ認識部１２０ａに供給する。
本実施の形態でテレビ受像機のブラウザを制御する例を図２１に示す。まず、カーソル移動モードに切替えて下方への移動「↓」から成るジェスチャでカーソルを検索窓に合わせる。次に動作指示モードに切替え、「選択／決定」を表す、円を描くジェスチャで、当該検索窓を選択する。その後、文字入力モードに切替えて数字の「１」、「２」、「３」などを入力する。最後にもう一度動作指示モードに戻り、「決定」の動作指示コマンドを送る。以上により、操作入力装置２ｅを使ってテレビ受像機のブラウザで数字を簡単に検索することができる。
上記の処理を図２２のフローチャートを参照して説明する。図２２で図９と同じ符号は同様のステップを示す。
モード選択用ジェスチャ判定ステップＳＴ５０２では、制御用ジェスチャ認識ステップＳＴ１０４に先行してモード選択用ジェスチャ認識を行う。即ち、入力ジェスチャデータとモード選択用基準ジェスチャデータとの類似度を算出し、類似度が予め定められた閾値Ｓｍｔｈ以上で、かつ最も高いモード選択用基準ジェスチャ（最類似モード選択用基準ジェスチャ）を探す。このとき類似度が閾値Ｓｍｔｈ以上であるモード選択用基準ジェスチャデータがない場合には、いずれのモード選択用基準ジェスチャとは類似しないと判定し、制御用ジェスチャ認識を行う。一方、いずれかのモード選択用基準ジェスチャデータに対する類似度が閾値Ｓｍｔｈ以上の場合、最類似モード選択用基準ジェスチャに対応するモードＤ２１０Ｍにより、選択スイッチ２３４を制御して、制御用ジェスチャ認識部１２０ａによる制御用基準ジェスチャデータの参照先を切替える。
動作指示モード判定ステップＳＴ５０４では最類似モード選択用基準ジェスチャに対応するモード情報Ｄ２１０Ｍが動作指示モードを示すか否かの判定が行われ、動作指示モードであれば（ＳＴ５０４でＹＥＳ）ステップＳＴ５０６に進み、選択スイッチ２３４で動作指示用基準ジェスチャ記憶部２４０を選択し、動作指示用基準ジェスチャデータをそれ以降の基準ジェスチャデータとする。
ステップＳＴ５０４の判定で動作指示モードでないと判断された場合（ＳＴ５０４でＮＯ）、ステップＳＴ５０８に進み、カーソル移動モードか否かの判定が行われる。
モード情報Ｄ２１０Ｍがカーソル移動モードを示せば（ＳＴ５０８でＹＥＳ）、ステップＳＴ５１０に進み、選択スイッチ２３４で移動用基準ジェスチャ記憶部２５０を選択し、移動用基準ジェスチャデータを、それ以降の基準ジェスチャデータとする。
ステップＳＴ５０８の判定でカーソル移動モードでないと判断された場合（ＳＴ５０８でＮＯ）、ステップＳＴ５１２に進み、選択スイッチ２３４で文字用基準ジェスチャ記憶部２６０を選択し、文字用基準ジェスチャデータをそれ以降の基準ジェスチャデータとする。
選択された記憶部（２４０、２５０、２６０のいずれか）に記憶されている基準ジェスチャデータが、それ以降の入力ジェスチャデータとの比較に用いられる。
但し、それ以降も、入力ジェスチャデータがモード選択用基準ジェスチャデータに合致する場合には、モード選択用基準ジェスチャデータが比較に用いられ、制御用基準ジェスチャデータは用いられない。
なお、モード選択用基準ジェスチャ記憶部２２０に記憶されるモード選択用基準ジェスチャとしては、他の基準ジェスチャと同様、操作入力装置２ｅ自体を用いてユーザが好みのジェスチャ（動きパターン）に設定できるようにおいてもよい。
その場合、予め定義され、記憶されている複数の基準ジェスチャのいずれかをモード選択用基準ジェスチャとして選択することとしても良く、ユーザが好みのパターンで操作入力装置２ｅを動かし、その前又は後に上記の動きをモード選択用基準ジェスチャとして登録する処理を行うこととしても良い。
後者の方法でモード選択用基準ジェスチャを設定した場合、ユーザ自身が入力した（行った）ジェスチャがモード選択用基準ジェスチャ（動きパターン）となることから、当該ユーザにとって使い勝手が良くなり、また認識率が向上する。
上記の例では、選択可能な入力モードが、動作指示モード、カーソル移動モード、文字入力モードの３つであるものとする。但し、選択可能な入力モードの数は「２」であっても良く「４」以上であっても良い。モードの数をＮ（２以上の整数）であるとすると、モード選択用基準ジェスチャ記憶部は、Ｎ個のモード選択用基準ジェスチャデータを記憶し、Ｎ個の制御用基準ジェスチャ記憶部を設けることになる。
なお、図２１を参照して種々のジェスチャを順次入力して所望の処理を実現する例を説明したが、例えば頻繁に利用される複数のジェスチャの組合せで行われる処理に対してショートカット用ジェスチャを定義しておき、当該一つのショート用ジェスチャに応じて上記の複数のジェスチャの組合せで行われる処理を実行することとしても良い。
例えば、図２１を参照して説明した例において、「カーソル移動モードに切替えてカーソルを検索窓に合わせ、次に動作指示モードに切替え、検索窓を選択する。」処理に対応するショートカット用ジェスチャを定義しておくこととしても良い。この場合、上記のショートカット用ジェスチャを行った後に、文字入力モードに切り替え、文字入力を開始することができる。
このような処理を行う場合の操作入力装置２ｆの構成を図２３に示す。
図示の例の操作入力装置２ｆは、図１７の操作入力装置２ｅと概して同じであるが、ショートカット用ジェスチャ認識部２７０及びショートカット用基準ジェスチャ記憶部２８０が付加されている点で異なる。
入力ジェスチャデータ生成部１１０ｂから出力される入力ジェスチャデータはモード選択用ジェスチャ認識部２１０のみならず、ショートカット用ジェスチャ認識部２７０にも供給される。
ショートカット用ジェスチャ認識部２７０は、入力ジェスチャデータをショートカット用基準ジェスチャ記憶部２８０に記憶されているショートカット用基準ジェスチャデータと比較し、合致していれば（類似度が予め定められた閾値以上であれば）、ショートカット用ジェスチャであると認識し、操作入力装置２ｆの各部に対応する処理を行わせる。そのためにショートカット用ジェスチャ認識部２７０から操作入力装置２ｆ内の各部に制御信号が供給されるが、その図示を省略する。
モード選択用ジェスチャ認識部２１０は、ショートカット用ジェスチャ認識部２７０において、入力ジェスチャデータがショートカット用ジェスチャデータに合致しないとの判定結果Ｄ２７０ｆを受け、モード選択用ジェスチャデータの認識を行う。
図２４は、図２３の操作入力装置の処理を示す。
図２４は、図２２と概して同じであるが、ステップＳＴ５２２及びＳＴ５２４が付加されている。
ステップＳＴ５２２では、ショートカット用ジェスチャ認識部２７０が、入力ジェスチャデータに対してショートカット用ジェスチャ認識を行う。
ステップＳＴ５２２で、入力ジェスチャデータがショートカット用ジェスチャデータに合致すると判定されたときは（ＳＴ５２２でＹＥＳ）、次にステップＳＴ５２４でショートカット用ジェスチャに応じて処理を行う。
ステップＳＴ５２２で、入力ジェスチャデータがショートカット用ジェスチャデータに合致しないと判定されたときは（ＳＴ５２２でＮＯ）、次にステップＳＴ５０２に進む。
本実施の形態によれば、入力モードの切替えを行うことで、同じジェスチャを異なる操作情報に対応付けることができ、従って、ジェスチャによって入力し得る操作情報の種類の数を大幅に増やすことができる。
上記した各実施の形態の特徴を互いに組合せることも可能である。例えば、実施の形態３で説明した学習機能を実施の形態４の開始用ジェスチャ、実施の形態５の入力モード選択用ジェスチャに適用することも可能である。
また、実施の形態４の開始用ジェスチャ、実施の形態５のモード選択用ジェスチャ及び実施の形態５のショートカット用ジェスチャのうちの２以上を利用可能な構成とすることも可能である。
従って、以下の特許請求の範囲において単に「ジェスチャ」と記載されているときは、制御用ジェスチャ、開始用ジェスチャ、モード選択用ジェスチャ、及びショートカット用ジェスチャのすべてを含み、或いはいずれか任意のものを指すと解すべきである。
また、各実施の形態について説明した変形は他の実施の形態でも適用可能である。例えば、実施の形態１で図６を参照して説明した変形は、実施の形態２〜４でも適用可能である。同様に、実施の形態４で、図１５及び図１６を参照して説明した変形は、実施の形態１〜３、５にも適用可能である。同様に、実施の形態５について図２１を参照して説明した変形は、実施の形態１〜４にも適用可能である。
さらに、複数の変形を組合せることも可能である。例えば、図６を参照して説明した書換え機能と、実施の形態４で図１５又は図１５を参照して説明した書換え機能の双方を備える構成としても良い。
以上本発明を操作入力装置として説明したが、操作入力装置で実施される操作入力方法も本発明の一部を成す。また、操作入力装置及び操作入力方法は少なくとも部分的にソフトウェアにより、即ちプログラムされたコンピュータにより実現可能であり、コンピュータに操作入力装置の各部の機能、或いは操作入力方法の各ステップの処理を実行させるプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体も本発明の一部を成す。
１ ジェスチャ、 ２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ 操作入力装置、 ３ 制御対象機器、 １０２ 動きセンサ、 １０４ａ、１０４ｂ 動き判定部、 １０６ 閾値記憶部、 １１０ａ、１１０ｂ 入力ジェスチャデータ生成部、 １１２ａ 動きデータ蓄積部、 １１２ｂ 主動きデータ蓄積部、 １１４ 先頭動きデータ蓄積部、 １１６ 動きデータ連結部、 １２０ａ 制御用ジェスチャ認識部、 １２０ｃ 制御用ジェスチャ認識部、 １３０ 制御用基準ジェスチャ記憶部、 １３５ 書換え制御部、 １４０ 通信部、 １６０ 学習制御部、 １７０ 開始用ジェスチャ認識部、 １８０ 開始用基準ジェスチャ記憶部、 １９０ 選択スイッチ、 ２１０ モード選択用ジェスチャ認識部、 ２２０ モード選択用基準ジェスチャ記憶部、 ２３２ 開閉スイッチ、 ２３４ 選択スイッチ、 ２４０ 動作指示用基準ジェスチャ記憶部、 ２５０ 移動用基準ジェスチャ記憶部、 ２６０ 文字用基準ジェスチャ記憶部、 ２７０ ショートカット用ジェスチャ認識部、 ２８０ ショートカット用基準ジェスチャ記憶部、 ３１０ 通信部、 ３２０ 機器制御部。

Claims (15)

  1. 操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
    それぞれ操作情報の生成のために行われる複数のジェスチャの基準となる複数の基準ジェスチャデータを記憶する基準ジェスチャ記憶部と、
    当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
    前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
    前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
    前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記基準ジェスチャ記憶部に記憶されている前記基準ジェスチャデータとを比較することでジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する前記操作情報を出力するジェスチャ認識部と
    を有し、
    前記動き判定部は、
    前記動きセンサから出力される動きデータを予め定められた第１の長さの期間に亘り観察することで、前記ジェスチャ入力の開始を検出し、
    前記動きセンサから出力される動きデータを予め定められた第２の長さの期間に亘り観察することで、前記ジェスチャ入力の終了を検出し、
    前記入力ジェスチャデータ生成部は、前記ジェスチャ入力の開始の検出よりも、前記第１の長さの期間だけ前の時点から、前記ジェスチャ入力の終了の検出よりも、前記第２の長さの期間だけ前の時点までに、前記動きセンサから出力された動きデータの時系列を前記入力ジェスチャデータとして出力する
    ことを特徴とする操作入力装置。
  2. 前記入力ジェスチャデータ生成部は、
    主動きデータ蓄積部と、先頭動きデータ蓄積部と、動きデータ連結部とを有し、
    前記動き判定部は、
    前記ジェスチャ入力の開始が検出されてから当該ジェスチャ入力の終了が検出されるまでの期間に前記動きセンサから出力された動きデータを前記主動きデータ蓄積部に主動きデータとして蓄積させ、前記ジェスチャ入力の開始の検出よりも前記第１の長さの期間前の時点から、当該ジェスチャ入力の開始の検出までの期間に、前記動きセンサから出力された動きデータを先頭動きデータとして前記先頭動きデータ蓄積部に蓄積させ、前記動きデータ連結部は、前記主動きデータ蓄積部に蓄積された前記主動きデータと、前記先頭動きデータ蓄積部に蓄積された前記先頭動きデータとを連結することで、前記動きデータの時系列を生成し、前記入力ジェスチャデータとして出力する
    ことを特徴とする請求項１に記載の操作入力装置。
  3. 前記動き判定部は、
    前記動きセンサから出力される動きデータで表される動きが予め定められた第１の閾値よりも大きい状態が予め定められた第２の閾値以上の時間続いたときにジェスチャが開始したと判定し、
    前記動きセンサから出力される動きデータで表される動きが予め定められた第３の閾値以下の状態が予め定められた第４の閾値以上の時間続いたときにジェスチャが終了したと判定する
    ことを特徴とする請求項１又は２に記載の操作入力装置。
  4. 操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
    それぞれ操作情報の生成のために行われる複数のジェスチャの基準となる複数の基準ジェスチャデータを記憶する基準ジェスチャ記憶部と、
    当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
    前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
    前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
    前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記基準ジェスチャ記憶部に記憶されている前記基準ジェスチャデータとを比較することでジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する前記操作情報を出力するジェスチャ認識部と
    を有し、
    前記動き判定部は、
    前記動きセンサから出力される動きデータで表される動きが予め定められた第１の閾値よりも大きい状態が予め定められた第２の閾値以上の時間続いたときにジェスチャが開始したと判定し、
    前記動きセンサから出力される動きデータで表される動きが予め定められた第３の閾値以下の状態が予め定められた第４の閾値以上の時間続いたときにジェスチャが終了したと判定する
    ことを特徴とする操作入力装置。
  5. 前記複数のジェスチャが制御対象機器に対する制御のためのジェスチャを含み、
    前記ジェスチャ認識部が、前記特定されたジェスチャに対応する前記操作情報を出力し、
    前記ジェスチャ認識部により出力された前記操作情報を、前記制御対象機器に送信する通信部をさらに有する
    ことを特徴とする請求項１から４のいずれか一項に記載の操作入力装置。
  6. 前記基準ジェスチャ記憶部が、前記基準ジェスチャデータとともに、各基準ジェスチャデータに対応する前記操作情報を記憶しており、
    前記ジェスチャ認識部が、前記特定されたジェスチャに対応する前記操作情報を前記基準ジェスチャ記憶部から読み出して出力する
    ことを特徴とする請求項５に記載の操作入力装置。
  7. 前記ジェスチャ認識部は、前記予め記憶されている前記複数の基準ジェスチャデータのうちで、前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータとの類似度が予め定められた閾値以上でかつ最も高いものを特定することで、前記入力されたジェスチャを特定することを特徴とする請求項１から６のいずれか一項に記載の操作入力装置。
  8. 前記動き判定部は、前記ジェスチャ入力の開始を検出したとき、又は前記ジェスチャ入力の終了を検出したときに、そのことを、文字のポップアップ表示、音声ガイダンス、又はバイブレーションで、操作者に知らせることを特徴とする請求項１から７のいずれか一項に記載の操作入力装置。
  9. 前記ジェスチャ認識部でジェスチャ認識が行われたときに、当該ジェスチャ認識の結果に基づいて、前記基準ジェスチャ記憶部に記憶されている基準ジェスチャデータの更新を行う学習制御部をさらに備えることを特徴とする請求項１から８のいずれか一項に記載の操作入力装置。
  10. 前記学習制御部は、前記ジェスチャ認識部でジェスチャ認識が行われてから、予め定められた時間が経過するまで、前記基準ジェスチャデータの更新を保留することを特徴とする請求項９に記載の操作入力装置。
  11. 前記入力ジェスチャデータ生成部で生成された入力ジェスチャデータを用いて、前記基準ジェスチャ記憶部に記憶されている前記基準ジェスチャデータを書換える書換え制御部をさらに有することを特徴とする請求項１から１０のいずれか一項に記載の操作入力装置。
  12. 操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
    それぞれ制御用操作情報の生成のために行われる複数の制御用ジェスチャの基準となる複数の制御用基準ジェスチャデータを記憶する制御用基準ジェスチャ記憶部と、
    それぞれ１又は２以上の開始用操作情報の生成のために行われる開始用ジェスチャの基準となる１又は２以上の開始用基準ジェスチャデータを記憶する開始用基準ジェスチャ記憶部と、
    当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
    前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
    前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
    前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記開始用基準ジェスチャ記憶部に記憶されている前記１又は２以上の開始用基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、前記入力ジェスチャデータが前記１又は２以上の開始用基準ジェスチャデータのいずれかに合致すると判断したときに、前記制御用ジェスチャの受付が可能な状態にする開始用ジェスチャ認識部と、
    前記制御用ジェスチャの受付が可能な状態において、前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記制御用基準ジェスチャ記憶部に記憶されている前記複数の基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応する制御用操作情報を出力する制御用ジェスチャ認識部と、
    前記制御用操作情報を制御対象機器に送信する通信部と、
    複数組の制御用基準ジェスチャデータを記憶する基準ジェスチャ候補記憶部と、
    前記基準ジェスチャ候補記憶部に記憶されている複数組の基準ジェスチャ候補データのいずれかを用いて、前記制御用基準ジェスチャ記憶部に記憶されている前記制御用基準ジェスチャデータを書換える書換え制御部とを有し、
    前記制御用基準ジェスチャ記憶部が、前記制御用基準ジェスチャデータとともに、各制御用基準ジェスチャデータに対応付けられた制御用操作情報を記憶し、
    前記基準ジェスチャ候補記憶部は、前記基準ジェスチャ候補データとともに、各基準ジェスチャ候補データに対応付けられた制御用操作情報を記憶しており、
    前記書換え制御部は、前記制御用基準ジェスチャ記憶部に記憶されている前記制御用基準ジェスチャデータの書換えの際に、各制御用基準ジェスチャデータに対応付けられた制御用操作情報を併せて書換え、
    前記開始用基準ジェスチャデータが、操作者となる可能性のある複数のユーザに対して個別に設定された複数の開始用基準ジェスチャデータを含み、
    前記開始用ジェスチャ認識部は、入力された前記開始用ジェスチャからジェスチャ入力を行ったユーザを特定し、
    前記書換え制御部は、前記基準ジェスチャ候補記憶部に記憶されている前記複数組の基準ジェスチャ候補データ及び制御用操作情報の対のうち、前記特定されたユーザに対応する組を選択して、前記制御用基準ジェスチャ記憶部に記憶させる
    ことを特徴とする操作入力装置。
  13. 前記開始用ジェスチャ認識部は、前記入力ジェスチャデータが前記１又は２以上の開始用基準ジェスチャデータのいずれかと合致すると判断してから、予め定められた時間が経過するまで、前記制御用ジェスチャの受付が可能な状態を維持することを特徴とする請求項１２に記載の操作入力装置。
  14. 前記制御用ジェスチャ認識部は、入力ジェスチャデータが前記複数の制御用基準ジェスチャデータのいずれかと合致すると判定したときは、そのことを示す合致信号を出力し、
    前記開始用ジェスチャ認識部は、前記合致信号を受けると、そのときから、前記予め定められた時間が経過するまで前記制御用ジェスチャの受付が可能な状態を維持する
    ことを特徴とする請求項１３に記載の操作入力装置。
  15. 操作者が行うジェスチャによって動かされ、その動きから前記ジェスチャを認識する操作入力装置であって、
    それぞれ第１乃至第Ｎ（Ｎは２以上の整数）の入力モードに対応し、それぞれの入力モードでそれぞれ制御用操作情報の生成のために行われる複数の制御用ジェスチャの基準となる複数の制御用基準ジェスチャデータを記憶する第１乃至第Ｎの制御用基準ジェスチャ記憶部と、
    それぞれ前記第１乃至第Ｎの入力モードを選択するためのモード選択用操作情報の生成のために行われる複数のモード選択用ジェスチャの基準となる第１乃至第Ｎのモード選択用基準ジェスチャデータを記憶するモード選択用基準ジェスチャ記憶部と、
    当該操作入力装置の動きを感知して動きデータを出力する動きセンサと、
    前記動きセンサから出力された動きデータと予め定められた閾値とから、ジェスチャ入力の開始及び終了を検出する動き判定部と、
    前記動き判定部での検出の結果に基づき、前記ジェスチャ入力が開始されてから終了するまでの期間に前記動きセンサから出力された動きデータの時系列を生成し、入力ジェスチャデータとして出力する入力ジェスチャデータ生成部と、
    前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記モード選択用基準ジェスチャ記憶部に記憶されている前記第１乃至第Ｎのモード選択用基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、入力されたジェスチャにより選択された入力モードを特定するモード選択用ジェスチャ認識部と、
    前記第１乃至第Ｎの制御用基準ジェスチャ記憶部のうち、前記モード選択用ジェスチャ認識部で特定された入力モードに対応する制御用基準ジェスチャ記憶部を選択する選択スイッチと、
    前記入力ジェスチャデータ生成部から出力された入力ジェスチャデータと、前記選択スイッチにより選択された制御用基準ジェスチャ記憶部に記憶されている前記複数の基準ジェスチャデータとを比較することで、ジェスチャ認識を行って、入力されたジェスチャを特定し、特定されたジェスチャに対応付けられている制御用操作情報を出力する制御用ジェスチャ認識部と
    を有し、
    前記第１乃至第Ｎの入力モードが、制御対象機器の動作を指示するモードと、ＧＵＩ操作により、前記制御対象機器の表示部に表示されるカーソルを移動するモードと、ＧＵＩ操作により、前記制御対象機器に文字を入力するモードとを含む
    ことを特徴とする操作入力装置。
JP2014205580A 2014-10-06 2014-10-06 操作入力装置 Expired - Fee Related JP6249919B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014205580A JP6249919B2 (ja) 2014-10-06 2014-10-06 操作入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205580A JP6249919B2 (ja) 2014-10-06 2014-10-06 操作入力装置

Publications (2)

Publication Number Publication Date
JP2016076061A JP2016076061A (ja) 2016-05-12
JP6249919B2 true JP6249919B2 (ja) 2017-12-20

Family

ID=55949924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205580A Expired - Fee Related JP6249919B2 (ja) 2014-10-06 2014-10-06 操作入力装置

Country Status (1)

Country Link
JP (1) JP6249919B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
WO2018092674A1 (ja) * 2016-11-18 2018-05-24 コニカミノルタ株式会社 表示装置及びジェスチャー入力方法
JP7171230B2 (ja) * 2018-05-11 2022-11-15 株式会社東海理化電機製作所 操作判定装置、操作判定学習システム及び操作判定学習方法
WO2020022254A1 (ja) * 2018-07-24 2020-01-30 株式会社ｔｉｗａｋｉ 操作指示制御装置及びその方法
JP2020021473A (ja) * 2018-07-24 2020-02-06 株式会社ｔｉｗａｋｉ 操作指示制御装置及びその方法
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN118444784A (zh) 2019-07-26 2024-08-06 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
EP3936980B1 (en) 2019-08-30 2024-07-10 Google LLC Input methods for mobile devices
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US20210103337A1 (en) * 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US9134800B2 (en) * 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP2013254251A (ja) * 2012-06-05 2013-12-19 Nec System Technologies Ltd ヘッドマウントディスプレイ装置、制御方法、及びプログラム
JP2014048936A (ja) * 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP2014109866A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 機器操作装置及びプログラム
JP5987666B2 (ja) * 2012-12-05 2016-09-07 富士ゼロックス株式会社 操作制御プログラム及び情報処理装置
JP5783385B2 (ja) * 2013-02-27 2015-09-24 カシオ計算機株式会社 データ処理装置及びプログラム
JP2014170280A (ja) * 2013-03-01 2014-09-18 Nec Casio Mobile Communications Ltd 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2016076061A (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
JP6249919B2 (ja) 操作入力装置
KR102181588B1 (ko) 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
KR101690118B1 (ko) 전자 기기의 알람 시계를 제어하는 방법 및 전자 기기
US10156909B2 (en) Gesture recognition device, gesture recognition method, and information processing device
US9268524B2 (en) Information processing apparatus, information processing method, and computer readable medium
TWI467418B (zh) 效率高的姿勢處理方法及電腦程式產品
JP5636888B2 (ja) 情報処理装置、プログラムおよびコマンド生成方法
US20170287472A1 (en) Speech recognition apparatus and speech recognition method
KR20100132868A (ko) 목표 예측 인터페이스 제공 장치 및 그 방법
KR20140014129A (ko) 멀티모달 및 제스처 제어를 위한 방법 및 시스템
CN103097979A (zh) 用于传感器使能的用户界面的自动化控制
US10770077B2 (en) Electronic device and method
KR20140095998A (ko) 원격 제어 시스템 및 장치
JP2019503139A5 (ja)
CN105446468A (zh) 操控模式的切换方法及装置
KR20100052372A (ko) 모션 센서 기반의 사용자 동작 인식 방법 및 이를 이용한 단말기
KR101379191B1 (ko) 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법
US20140297257A1 (en) Motion sensor-based portable automatic interpretation apparatus and control method thereof
KR101269107B1 (ko) 카메라를 이용한 손동작 인식 방법 및 장치
JP2013210875A (ja) 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
CN115097928A (zh) 手势控制方法及装置、电子设备、存储介质
JP2019057237A (ja) 歩数計測装置、歩数計測方法及びプログラム
KR101545702B1 (ko) 감지 데이터에 기반하여 동작하는 휴대 단말 및 그 동작 방법
JP5343876B2 (ja) 電子機器、電子機器の制御方法及びコンピュータプログラム
KR102393774B1 (ko) 음성 인식 장치 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171121

R150 Certificate of patent or registration of utility model

Ref document number: 6249919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees