JP4684745B2 - ユーザインタフェース装置及びユーザインタフェース方法 - Google Patents

Description

この発明は、ユーザの操作軌跡を解析して、その操作軌跡に対応するジェスチャーを特定し、そのジェスチャーに割り付けられているコマンドを呼び出すユーザインタフェース装置及びユーザインタフェース方法に関するものである。

従来のユーザインタフェース装置は、例えば、ユーザが指でタッチパネルに触れると、その触れられた位置の座標を入力する座標入力手段と、その座標入力手段により入力された座標の軌跡を認識する軌跡認識手段と、その軌跡認識手段により認識された軌跡を画面に表示する軌跡表示手段と、その軌跡認識手段により認識された軌跡に対応するジェスチャーを特定し、そのジェスチャーに割り付けられているコマンドを実行するコマンド実行手段とを備えている。
したがって、ユーザが予め記憶されているジェスチャーをタッチパネルに描けば、そのジェスチャーに割り付けられているコマンドを実行することができる（例えば、特許文献１参照）。

特開２００１−２０２１７４号公報（段落番号［０００６］から［０００７］、図４）

従来のユーザインタフェース装置は以上のように構成されているので、ユーザが予め記憶されているジェスチャーをタッチパネルに描けば、そのジェスチャーに割り付けられているコマンドを実行することができる。しかし、そのジェスチャーを正確に覚えていない場合、そのジェスチャーを正確に描くことができず、そのジェスチャーに割り付けられているコマンドを実行することができないことがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、ジェスチャーを正確に覚えていない場合でも、そのジェスチャーに割り付けられているコマンドを呼び出すことができるユーザインタフェース装置及びユーザインタフェース方法を得ることを目的とする。

この発明に係るユーザインタフェース装置は、所定のコマンドが割り付けられているジェスチャーを記憶するとともに、そのジェスチャーを誘導する案内軌跡を記憶する記憶手段と、軌跡入力デバイスに対するユーザの操作軌跡を解析する軌跡解析手段と、軌跡解析手段がユーザの操作軌跡を解析する毎に、記憶手段に記憶されているジェスチャーの中から、その操作軌跡に基づき１以上のジェスチャーを検索するジェスチャー検索手段と、記憶手段からジェスチャー検索手段により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡を表示する一方、ジェスチャー検索手段により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、表示している当該ジェスチャーの案内軌跡を消去する案内軌跡表示手段と、ジェスチャー検索手段により検索されたジェスチャーが１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出すコマンド呼出手段とを備え、ジェスチャー検索手段は、軌跡解析手段により解析された操作軌跡と記憶手段に記憶されているジェスチャーを比較して、記憶手段に記憶されているジェスチャーの中から、その操作軌跡との誤差が許容範囲内のジェスチャーを検索し、案内軌跡表示手段は、ユーザの操作軌跡が、ジェスチャー検索手段により検索されたジェスチャーの案内軌跡全体の所定の割合以上であるかを判定し、所定の割合以上であれば記憶手段から該案内軌跡全体を呼び出すものである。

以上のように、この発明によれば、所定のコマンドが割り付けられているジェスチャーを記憶するとともに、そのジェスチャーを誘導する案内軌跡を記憶する記憶手段と、軌跡入力デバイスに対するユーザの操作軌跡を解析する軌跡解析手段と、軌跡解析手段がユーザの操作軌跡を解析する毎に、記憶手段に記憶されているジェスチャーの中から、その操作軌跡に基づき１以上のジェスチャーを検索するジェスチャー検索手段と、記憶手段からジェスチャー検索手段により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡を表示する一方、ジェスチャー検索手段により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、表示している当該ジェスチャーの案内軌跡を消去する案内軌跡表示手段と、ジェスチャー検索手段により検索されたジェスチャーが１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出すコマンド呼出手段とを備え、ジェスチャー検索手段は、軌跡解析手段により解析された操作軌跡と記憶手段に記憶されているジェスチャーを比較して、記憶手段に記憶されているジェスチャーの中から、その操作軌跡との誤差が許容範囲内のジェスチャーを検索し、案内軌跡表示手段は、ユーザの操作軌跡が、ジェスチャー検索手段により検索されたジェスチャーの案内軌跡全体の所定の割合以上であるかを判定し、所定の割合以上であれば記憶手段から該案内軌跡全体を呼び出すように構成したので、ジェスチャーを正確に覚えていない場合でも、そのジェスチャーに割り付けられているコマンドを呼び出すことができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるユーザインタフェース装置を示す構成図であり、図において、ジェスチャー記憶部１は所定のコマンドが割り付けられているジェスチャー（ジェスチャーは、複数の特徴ベクトルから構成されている）の他、そのジェスチャーを誘導する案内軌跡などを記憶しているメモリである。なお、ジェスチャー記憶部１は記憶手段を構成している。
座標入力部２はタッチパネル８の背面に設置され、例えばユーザが指でタッチパネル８に触れると、その触れられた位置の座標を入力する処理を実施するポインティングデバイスである。
ここでは、ユーザが指でタッチパネル８に触れると、座標入力部２がその触れられた位置の座標を入力するものについて示しているが、例えば、赤外線検知やマウスなど、座標位置を取得することが可能なデバイスであればよく、タッチパネル８以外のデバイスを用いて座標を入力するようにしてもよい。
座標格納部３は座標入力部２により入力された座標を格納するメモリである。
軌跡解析部４は例えばマイコンなどが実装されている半導体集積回路から構成され、座標格納部３により格納された座標に基づいてタッチパネル８に対するユーザの操作軌跡を解析する解析処理を逐次実施する。
なお、座標入力部２、座標格納部３及び軌跡解析部４から軌跡解析手段が構成されている。

ジェスチャー検索部５は例えばマイコンなどが実装されている半導体集積回路から構成され、軌跡解析部４がユーザの操作軌跡を解析する毎に、ジェスチャー記憶部１に記憶されているジェスチャーの中から、軌跡解析部４により解析された操作軌跡に合致する１以上のジェスチャーを検索する処理を実施する。なお、ジェスチャー検索部５はジェスチャー検索手段を構成している。
軌跡表示部６は例えば３Ｄグラフィックスアクセラレータなどを搭載し、タッチパネル８の表示内容を制御する機能を有しており、ジェスチャー記憶部１からジェスチャー検索部５により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡をタッチパネル８に表示する一方、ジェスチャー検索部５により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、そのタッチパネル８に表示されている当該ジェスチャーの案内軌跡を消去する処理を実施する。なお、軌跡表示部６は案内軌跡表示手段を構成している。

コマンド呼出部７は例えばマイコンなどが実装されている半導体集積回路から構成され、ジェスチャー検索部５により検索されたジェスチャーが１つに絞られ、かつ、ジェスチャー記憶部１の最後の特徴ベクトルであると、そのジェスチャーに割り付けられているコマンドの呼び出し処理を実施する。なお、コマンド呼出部７はコマンド呼出手段を構成している。
タッチパネル８はユーザの操作軌跡を入力する軌跡入力デバイスであると同時に、その操作軌跡や案内軌跡を表示する表示デバイスを兼ねている。
図２はこの発明の実施の形態１によるユーザインタフェース方法を示すフローチャートであり、図３はタッチパネルに表示される操作軌跡や案内軌跡を示す説明図である。

図１の例では、ユーザインタフェース装置の構成要素である軌跡解析部４、ジェスチャー検索部５、軌跡表示部６及びコマンド呼出部７が専用のハードウェアで構成されているものについて示しているが、ユーザインタフェース装置がコンピュータの一部を担う場合、あらかじめ、軌跡解析部４、ジェスチャー検索部５、軌跡表示部６及びコマンド呼出部７の処理内容が記述されているプログラムをコンピュータのメモリに記憶し、そのコンピュータのＣＰＵがメモリに記憶されているプログラムを実行するようにしてもよい。

次に動作について説明する。
ジェスチャー記憶部１には、図４に示すように、所定のコマンドが割り付けられているジェスチャー（ジェスチャーは、複数の特徴ベクトルから構成されている）の他、そのジェスチャーを誘導する案内軌跡などが予め登録されている。
座標入力部２は、ジェスチャー記憶部１により記憶されている案内軌跡の木構造の階層を表すレベル（ｉ）が“１”に設定されると（ステップＳＴ１）、定期的に入力信号の確認処理（例えば、ユーザが指でタッチパネル８に触れているか否かを確認する処理）を実施する（ステップＳＴ２）。
座標入力部２は、ユーザが指でタッチパネル８に触れていることを確認すると、その触れられた位置の座標（Ｘ，Ｙ）を入力して、その座標（Ｘ，Ｙ）を座標格納部３に格納する（ステップＳＴ３、ＳＴ４）。
なお、座標入力部２は、ユーザが指を移動すると、移動後の位置の座標も入力するが、座標の入力処理は一定時間毎に実施するので、座標入力部２により入力される位置は点列になる。
ただし、ユーザが異なる座標を触る毎に（ユーザが指を移動する毎）、新たな座標を入力するようにしてもよい。この場合には、座標入力部２により入力される位置は連続的になる。

軌跡解析部４は、座標入力部２が座標（Ｘ，Ｙ）を座標格納部３に格納すると、その座標格納部３により格納されている複数の座標（Ｘ，Ｙ）に基づいて、タッチパネル８に対するユーザの操作軌跡を解析する解析処理を逐次実施する。
即ち、軌跡解析部４は、座標入力部２が新たな座標（Ｘ，Ｙ）を座標格納部３に格納する毎に、新たな座標（Ｘ，Ｙ）と一定時間前に格納された座標（Ｘ，Ｙ）から速度ベクトルを計算する（ステップＳＴ５、ＳＴ６）。
なお、ユーザの操作軌跡の解析処理は、このように速度ベクトルを計算する方法に限定するものではなく、例えば、特開平６−１２４９３号公報に開示されている方法を使用してもよい。

ジェスチャー検索部５は、軌跡解析部４がユーザの操作軌跡を解析する毎に、ジェスチャー記憶部１に記憶されているジェスチャーの中から、軌跡解析部４により解析された操作軌跡に合致するジェスチャーを検索する処理を実施する。
即ち、ジェスチャー検索部５は、ジェスチャー記憶部１に記憶されているレベル（ｉ）における全ての特徴ベクトルと、軌跡解析部４により計算された速度ベクトルとを比較して、その速度ベクトルと一致するレベル（ｉ）の特徴ベクトルを検索する。例えば、レベル（ｉ）の各特徴ベクトルと速度ベクトルのＤＰマッチングを実施して、ベクトル間の距離を計算し、ベクトル間の距離が予め設定されている基準距離（誤差の許容範囲を示す閾値）より小さいレベル（ｉ）の特徴ベクトルを検索する。

軌跡表示部６は、ジェスチャー検索部５により速度ベクトルと一致するレベル（ｉ）の特徴ベクトルが検索されない場合（ステップＳＴ７）、現在、タッチパネル８に表示されている全ての案内軌跡を消去して（ステップＳＴ８）、エラー画面をタッチパネル８に表示する（ステップＳＴ９）。または、メニュー画面をタッチパネル８に表示する。
また、軌跡表示部６は、ジェスチャー検索部５により速度ベクトルと一致するレベル（ｉ）の特徴ベクトルが検索された場合（ステップＳＴ７）、その特徴ベクトルを案内軌跡としてタッチパネル８に表示する（ステップＳＴ１０）。
例えば、ユーザが図３（ａ）のように案内軌跡が未表示の状態から右方向に線を描くと、“→”の特徴ベクトルが選択されるので（図４のレベル（１）を参照）、図３（ｂ）に示すように、“→”の特徴ベクトルを案内軌跡としてタッチパネル８に表示する。
ただし、ジェスチャー検索部５により速度ベクトルと一致するレベル（ｉ）の特徴ベクトルが複数検索された場合、その速度ベクトルに最も近い特徴ベクトルを選択し（ベクトル間の距離が最も小さい特徴ベクトルを選択する）、その特徴ベクトルを案内軌跡としてタッチパネル８に表示する。

軌跡表示部６は、後述するステップＳＴ１３の処理において、複数の案内軌跡がタッチパネル８に表示されているとき、その後のユーザの操作によって、その操作軌跡と一致しなくなった案内軌跡が存在する場合、ユーザの操作軌跡と一致しなくなった案内軌跡を消去する処理を実施する（ステップＳＴ１１）。
例えば、図３（ｃ）に示すように、レベル（ｉ）がレベル（３）まで進むことにより、斜め右上を示す特徴ベクトルと、“→”の特徴ベクトルとが案内軌跡として表示されているとき、ユーザが斜め右上方向に線を描くと、“→”の案内軌跡はユーザの操作軌跡と一致しなくなるので、図３（ｄ）に示すように、“→”の案内軌跡を消去する。
逆に、ユーザが右方向に線を描くと、斜め右上を示す案内軌跡はユーザの操作軌跡と一致しなくなるので、図３（ｅ）に示すように、斜め右上を示す案内軌跡を消去する。

軌跡表示部６は、ジェスチャー検索部５により検索されたレベル（ｉ）の特徴ベクトルが、最後のレベルの特徴ベクトルであるか否かを判定する（ステップＳＴ１２）。
即ち、そのレベル（ｉ）の特徴ベクトルに続くレベル（ｉ＋１）の特徴ベクトルが存在するか否かを判定する。
例えば、レベル（ｉ）がレベル（２）であるとき、“→”の特徴ベクトルが検索されていれば、レベル（３）において、斜め右上を示す特徴ベクトルと“→”の特徴ベクトルが存在するので、最後のレベルの特徴ベクトルではないと判定するが、レベル（ｉ）がレベル（４）であるとき、“→”の特徴ベクトルが検索されていれば、レベル（５）には特徴ベクトルが存在しないので、最後のレベルの特徴ベクトルであると判定する。

軌跡表示部６は、ジェスチャー検索部５により検索されたレベル（ｉ）の特徴ベクトルが、最後のレベルの特徴ベクトルではないと判定すると、次のレベルであるレベル（ｉ＋１）の特徴ベクトルを案内軌跡としてタッチパネル８に表示する（ステップＳＴ１３）。
例えば、図３（ｄ）に示すように、レベル（ｉ）がレベル（４）まで進むことにより、“→”の案内軌跡が消去されて、斜め右上を示す案内軌跡のみが表示されている場合、次のレベルであるレベル（ｉ＋１）の特徴ベクトル、即ち、レベル（５）の特徴ベクトルは、“↑”の特徴ベクトルと斜め右上を示す特徴ベクトルであるので、図３（ｆ）に示すように、“↑”の特徴ベクトルを案内軌跡としてタッチパネル８に表示するとともに、斜め右上を示す特徴ベクトルを案内軌跡としてタッチパネル８に表示する。
以後、案内軌跡の木構造の階層を表すレベル（ｉ）に“１”を加算したのち（ステップＳＴ１４）、ステップＳＴ２〜ＳＴ１３の処理を繰り返し実行する。

コマンド呼出部７は、軌跡表示部６によりレベル（ｉ）の特徴ベクトルが最後のレベルの特徴ベクトルであると判定されると、その特徴ベクトルに対応するコマンドを呼び出す処理を実施する（ステップＳＴ１５）。
例えば、レベル（４）において、“→”の特徴ベクトルが最後のレベルの特徴ベクトルであると判定されると、画像をスライドするコマンドＣＭＤ−２を呼び出して、そのコマンドＣＭＤ−２を実行する。

この実施の形態１によれば、軌跡解析部４がユーザの操作軌跡を解析する毎に、ジェスチャー記憶部１に記憶されているジェスチャーの中から、その操作軌跡に合致する１以上のジェスチャーを検索するジェスチャー検索部５と、ジェスチャー記憶部１からジェスチャー検索部５により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡をタッチパネル８に表示する一方、そのジェスチャー検索部５により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、そのタッチパネル８に表示されている当該ジェスチャーの案内軌跡を消去する軌跡表示部６とを設け、そのジェスチャー検索部５により検索されたジェスチャーが１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出すように構成したので、ジェスチャーを正確に覚えていない場合でも、そのジェスチャーに割り付けられているコマンドを呼び出すことができる効果を奏する。

また、この実施の形態１によれば、軌跡解析部４により解析された操作軌跡とジェスチャー記憶部１に記憶されているジェスチャーを比較して、ジェスチャー記憶部１に記憶されているジェスチャーの中から、その操作軌跡との誤差が許容範囲内のジェスチャーを検索するように構成したので、ユーザが正確に軌跡を描かなくても、ある程度、類似している軌跡を描ければ、ジェスチャーの案内軌跡を表示することができる効果を奏する。

なお、この実施の形態１では、ジェスチャー検索部５により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡をタッチパネル８に表示するものについて示したが、その案内軌跡の代わりに、操作メニューなどを表示して、正確な操作を促すようにしてもよい。

実施の形態２．
上記実施の形態１では、ユーザが操作軌跡を連続的に描くことを想定しているが、ユーザが所望のコマンドに対応するジェスチャーを描き終える途中で、ユーザがタッチパネル８から指を離してもよい。
即ち、ユーザが所望のコマンドに対応するジェスチャーを描き終える途中で、ユーザがタッチパネル８から指を離しても、座標格納部３に格納されている座標（指を離す前の操作軌跡に係る座標）が一定期間（例えば、３０秒）保持されるようにしているので、指を離してから一定期間経過して、座標格納部３に格納されている座標が消去される前に、ユーザがタッチパネル８に再度触れれば、軌跡解析部４が指を離す前後の入力座標からユーザの操作軌跡を解析する。

このように、この実施の形態２によれば、ユーザがタッチパネル８から指を離しても、座標格納部３が指を離す前の操作軌跡を保持するように構成したので、例えば、ジェスチャーの案内軌跡がユーザの指で隠れている領域に表示されたことにより確認することができないような場合には、一旦、指をタッチパネル８から離して、ジェスチャーの案内軌跡を確認してから入力操作を再開することができる効果を奏する。

実施の形態３．
図５はこの発明の実施の形態３によるユーザインタフェース装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ジェスチャー検索部１１は例えばマイコンなどが実装されている半導体集積回路から構成され、ジェスチャー記憶部１に記憶されているジェスチャーの中から、軌跡解析部４により解析された操作軌跡に合致するジェスチャーを検索する処理を実施する。即ち、軌跡解析部４により解析された操作軌跡とジェスチャー記憶部１に記憶されているジェスチャーを比較して、ジェスチャー記憶部１に記憶されているジェスチャーの中で、その操作軌跡と最も類似しているジェスチャーを検索する処理を実施する。なお、ジェスチャー検索部１１はジェスチャー検索手段を構成している。

コマンド実行部１２はジェスチャー検索部１１により検索されたジェスチャーに割り付けられているコマンドを呼び出し、軌跡解析部４により逐次解析される操作軌跡に応じて当該コマンドを実行する処理を実施する。なお、コマンド実行部１２はコマンド実行手段を構成している。
図６及び図７はこの発明の実施の形態３によるユーザインタフェース方法を示すフローチャートであり、図８はタッチパネルに表示される操作軌跡や案内軌跡を示す説明図である。

図５の例では、ユーザインタフェース装置の構成要素である軌跡解析部４、ジェスチャー検索部１１、軌跡表示部６及びコマンド実行部１２が専用のハードウェアで構成されているものについて示しているが、ユーザインタフェース装置がコンピュータの一部を担う場合、あらかじめ、軌跡解析部４、ジェスチャー検索部１１、軌跡表示部６及びコマンド実行部１２の処理内容が記述されているプログラムをコンピュータのメモリに記憶し、そのコンピュータのＣＰＵがメモリに記憶されているプログラムを実行するようにしてもよい。

次に動作について説明する。
座標入力部２は、ジェスチャー記憶部１により記憶されている案内軌跡の木構造の階層を表すレベル（ｉ）が“１”に設定されると（ステップＳＴ１）、上記実施の形態１と同様に、定期的に入力信号の確認処理（例えば、ユーザが指でタッチパネル８に触れているか否かを確認する処理）を実施する（ステップＳＴ２）。
座標入力部２は、ユーザが指でタッチパネル８に触れていることを確認すると、その触れられた位置の座標（Ｘ，Ｙ）を入力して、その座標（Ｘ，Ｙ）を座標格納部３に格納する（ステップＳＴ３、ＳＴ４）。
なお、座標入力部２は、ユーザが指を移動すると、移動後の位置の座標も入力するが、座標の入力処理は一定時間毎に実施するので、座標入力部２により入力される位置は点列になる。
ただし、ユーザが異なる座標を触る毎に（ユーザが指を移動する毎）、新たな座標を入力するようにしてもよい。この場合には、座標入力部２により入力される位置は連続的になる。

軌跡解析部４は、座標入力部２が座標（Ｘ，Ｙ）を座標格納部３に格納すると、上記実施の形態１と同様に、その座標格納部３により格納されている複数の座標（Ｘ，Ｙ）に基づいて、タッチパネル８に対するユーザの操作軌跡を解析する解析処理を逐次実施する。
即ち、軌跡解析部４は、座標入力部２が新たな座標（Ｘ，Ｙ）を座標格納部３に格納する毎に、新たな座標（Ｘ，Ｙ）と一定時間前に格納された座標（Ｘ，Ｙ）から速度ベクトルを計算する（ステップＳＴ５、ＳＴ６）。

ジェスチャー検索部１１は、軌跡解析部４がユーザの操作軌跡を解析する毎に、ジェスチャー記憶部１に記憶されているジェスチャーの中から、軌跡解析部４により解析された操作軌跡に合致するジェスチャーを検索する処理を実施する。
即ち、ジェスチャー検索部１１は、ジェスチャー記憶部１に記憶されているレベル（ｉ）における全ての特徴ベクトルと、軌跡解析部４により計算された速度ベクトルとを比較して、その速度ベクトルと一致するレベル（ｉ）の特徴ベクトルを検索する。例えば、各特徴ベクトルと速度ベクトルのＤＰマッチングを実施して、ベクトル間の距離を計算し、ベクトル間の距離が予め設定されている基準距離（誤差の許容範囲を示す閾値）より小さいレベル（ｉ）の特徴ベクトルを検索する。

軌跡表示部６は、ジェスチャー検索部１１により速度ベクトルと一致するレベル（ｉ）の特徴ベクトルが検索されない場合（ステップＳＴ７）、上記実施の形態１と同様に、現在、タッチパネル８に表示されている全ての案内軌跡を消去して（ステップＳＴ８）、エラー画面をタッチパネル８に表示する（ステップＳＴ９）。または、メニュー画面をタッチパネル８に表示する。
また、軌跡表示部６は、ジェスチャー検索部５により速度ベクトルと一致するレベル（ｉ）の特徴ベクトルが検索された場合（ステップＳＴ７）、上記実施の形態１と同様に、その特徴ベクトルを案内軌跡としてタッチパネル８に表示する（ステップＳＴ１０）。

軌跡表示部６は、後述するステップＳＴ１３の処理において、複数の案内軌跡がタッチパネル８に表示されているとき、その後のユーザの操作によって、その操作軌跡と一致しなくなった案内軌跡が存在する場合、上記実施の形態１と同様に、ユーザの操作軌跡と一致しなくなった案内軌跡を消去する処理を実施する（ステップＳＴ１１）。

軌跡表示部６は、ジェスチャー検索部１１により検索されたレベル（ｉ）が、一連の木構造全体のＸ％を越えているか否かを判定する（ステップＳＴ２１）。
例えば、画像をズームするコマンドＣＭＤ−３−１を実行するために、図８に示すように、ユーザが円を描く場合、円を１００％描かなくても、例えば、半円ぐらい描けば、他のコマンドに該当する可能性が排除される。図４の例では、レベル（ｉ）がレベル（５）ぐらいまで進めば、他のコマンドに該当する可能性が排除されて、コマンドＣＭＤ−３−１の実行を希望していることを推定することができる。

軌跡表示部６は、ジェスチャー検索部１１により検索されたレベル（ｉ）が、一連の木構造全体のＸ％を越えていない場合、上記実施の形態１と同様に、次のレベルであるレベル（ｉ＋１）の特徴ベクトルを案内軌跡としてタッチパネル８に表示する（ステップＳＴ１３）。
以後、案内軌跡の木構造の階層を表すレベル（ｉ）に“１”を加算したのち（ステップＳＴ１４）、ステップＳＴ２〜ＳＴ１３の処理を繰り返し実行する。

軌跡表示部６は、ジェスチャー検索部１１により検索されたレベル（ｉ）が、一連の木構造全体のＸ％を越えている場合、ジェスチャー記憶部１からレベル（ｉ）の特徴ベクトルを含む一連の木構造全体の案内軌跡を呼び出し（ステップＳＴ２２、ＳＴ３１）、その案内軌跡をタッチパネル８に表示する（ステップＳＴ３２）。

座標入力部２は、軌跡表示部６が案内軌跡をタッチパネル８に表示すると、定期的に入力信号の確認処理（例えば、ユーザが指でタッチパネル８に触れているか否かを確認する処理）を実施する（ステップＳＴ３３）。
座標入力部２は、ユーザが指でタッチパネル８に触れていることを確認すると、その触れられた位置の座標（Ｘ，Ｙ）を入力して、その座標（Ｘ，Ｙ）を座標格納部３に格納する（ステップＳＴ３４、ＳＴ３５）。

軌跡解析部４は、座標入力部２が座標（Ｘ，Ｙ）を座標格納部３に格納すると、その座標格納部３により格納されている複数の座標（Ｘ，Ｙ）に基づいて、タッチパネル８に対するユーザの操作軌跡を解析する解析処理を逐次実施する。
即ち、軌跡解析部４は、座標入力部２が新たな座標（Ｘ，Ｙ）を座標格納部３に格納する毎に、新たな座標（Ｘ，Ｙ）と一定時間前に格納された座標（Ｘ，Ｙ）から速度ベクトルを計算する（ステップＳＴ３５、ＳＴ３６）。

軌跡表示部６は、軌跡解析部４が速度ベクトルを計算すると、その速度ベクトルと軌跡表示部６により表示されている案内軌跡の特徴ベクトルが一致しているか否かを判定する（ステップＳＴ３８）。
軌跡表示部６は、軌跡解析部４により計算された速度ベクトルと軌跡表示部６により表示されている案内軌跡の特徴ベクトルが一致しない場合、現在、タッチパネル８に表示されている案内軌跡を消去して（ステップＳＴ３９）、エラー画面をタッチパネル８に表示する（ステップＳＴ４０）。または、メニュー画面をタッチパネル８に表示する。

コマンド実行部１２は、軌跡解析部４により計算された速度ベクトルと軌跡表示部６により表示されている案内軌跡の特徴ベクトルが一致する場合、軌跡表示部６により表示されている案内軌跡を構成している特徴ベクトルの中から、軌跡解析部４により計算された速度ベクトルと一致する特徴ベクトルを抽出する（ステップＳＴ４１）。
そして、コマンド実行部１２は、その速度ベクトルと一致する特徴ベクトルの方向に対応するコマンド（例えば、右方向ならば、背景画像を拡大するコマンド、左方向ならば、背景画像を縮小するコマンド）を呼び出して実行する（ステップＳＴ４２）。
以後、ステップＳＴ３３〜ＳＴ４２の処理を繰り返し実行する。

以上で明らかなように、この実施の形態３によれば、ジェスチャー記憶部１に記憶されているジェスチャーの中から、軌跡解析部４により解析された操作軌跡に合致するジェスチャーを検索するジェスチャー検索部１１と、ジェスチャー記憶部１からジェスチャー検索部１１により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡をタッチパネル８に表示する軌跡表示部６とを設け、そのジェスチャー検索部１１により検索されたジェスチャーに割り付けられているコマンドを呼び出し、軌跡解析部４により逐次解析される操作軌跡に応じて当該コマンドを実行するように構成したので、ジェスチャーを正確に覚えていない場合でも、そのジェスチャーに割り付けられているコマンドを呼び出して実行することができる効果を奏する。

また、この実施の形態３によれば、軌跡解析部４により解析された操作軌跡とジェスチャー記憶部１に記憶されているジェスチャーを比較して、ジェスチャー記憶部１に記憶されているジェスチャーの中で、その操作軌跡と最も類似しているジェスチャーを検索するように構成したので、ユーザが正確に軌跡を描かなくても、ある程度、類似している軌跡を描ければ、ジェスチャーの案内軌跡を表示することができる効果を奏する。

実施の形態４．
上記実施の形態３では、ユーザが操作軌跡を描いて、ジェスチャーの案内軌跡が表示されたのち、ユーザがタッチパネル８から指を離すことなく、引き続き、案内軌跡に沿って操作軌跡を描くことを想定しているが、ジェスチャーの案内軌跡が表示されたのち、ユーザがタッチパネル８から指を離してもよい。
即ち、ジェスチャーの案内軌跡が表示されたのち、ユーザがタッチパネル８から指を離しても、軌跡表示部６がジェスチャーの案内軌跡の表示を維持するようにしてもよい。（図８（ｇ）を参照）。
したがって、ユーザがジェスチャーの案内軌跡に再度触れれば、その後のユーザの操作軌跡に応じてコマンドを実行することができるようになる。
なお、図８の例では、ジェスチャーの案内軌跡が表示されている以外の領域に触れれば、ジェスチャーの案内軌跡が消去される（図８（ｈ）を参照）。

このように、この実施の形態４によれば、ユーザがタッチパネル８から指を離しても、軌跡表示部６がジェスチャーの案内軌跡の表示を維持するように構成したので、例えば、ジェスチャーの案内軌跡がユーザの指で隠れている領域に表示されたことにより確認することができないような場合には、一旦、指をタッチパネル８から離して、ジェスチャーの案内軌跡を確認してから入力操作を再開することができる効果を奏する。

この発明の実施の形態１によるユーザインタフェース装置を示す構成図である。 この発明の実施の形態１によるユーザインタフェース方法を示すフローチャートである。 タッチパネルに表示される操作軌跡や案内軌跡を示す説明図である。 ジェスチャー記憶部の記憶内容を示す説明図である。 この発明の実施の形態３によるユーザインタフェース装置を示す構成図である。 この発明の実施の形態３によるユーザインタフェース方法を示すフローチャートである。 この発明の実施の形態３によるユーザインタフェース方法を示すフローチャートである。 タッチパネルに表示される操作軌跡や案内軌跡を示す説明図である。

符号の説明

１ ジェスチャー記憶部（記憶手段）、２ 座標入力部（軌跡解析手段）、３ 座標格納部（軌跡解析手段）、４ 軌跡解析部（軌跡解析手段）、５ ジェスチャー検索部（ジェスチャー検索手段）、６ 軌跡表示部（案内軌跡表示手段）、７ コマンド呼出部（コマンド呼出手段）、８ タッチパネル（軌跡入力デバイス）、１１ ジェスチャー検索部（ジェスチャー検索手段）、１２ コマンド実行部（コマンド実行手段）。

Claims (6)

1. 所定のコマンドが割り付けられているジェスチャーを記憶するとともに、そのジェスチャーを誘導する案内軌跡を記憶する記憶手段と、
   軌跡入力デバイスに対するユーザの操作軌跡を解析する軌跡解析手段と、
   上記軌跡解析手段がユーザの操作軌跡を解析する毎に、上記記憶手段に記憶されているジェスチャーの中から、その操作軌跡に基づき１以上のジェスチャーを検索するジェスチャー検索手段と、
   上記記憶手段から上記ジェスチャー検索手段により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡を表示する一方、上記ジェスチャー検索手段により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、表示している当該ジェスチャーの案内軌跡を消去する案内軌跡表示手段と、
   上記ジェスチャー検索手段により検索されたジェスチャーが１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出すコマンド呼出手段とを備え、
   上記ジェスチャー検索手段は、上記軌跡解析手段により解析された操作軌跡と上記記憶手段に記憶されているジェスチャーを比較して、上記記憶手段に記憶されているジェスチャーの中から、その操作軌跡との誤差が許容範囲内のジェスチャーを検索し、
   上記案内軌跡表示手段は、上記ユーザの操作軌跡が、上記ジェスチャー検索手段により検索されたジェスチャーの案内軌跡全体の所定の割合以上であるかを判定し、所定の割合以上であれば上記記憶手段から該案内軌跡全体を呼び出すことを特徴とするユーザインタフェース装置。
2. 軌跡解析手段は、ユーザが軌跡入力デバイスから指を離しても、指を離す前の操作軌跡を保持することを特徴とする請求項１記載のユーザインタフェース装置。
3. 所定のコマンドが割り付けられているジェスチャーを記憶するとともに、そのジェスチャーを誘導する案内軌跡を記憶する記憶手段と、
   軌跡入力デバイスに対するユーザの操作軌跡を解析する軌跡解析手段と、
   上記記憶手段に記憶されているジェスチャーの中から、上記軌跡解析手段により解析された操作軌跡に基づきジェスチャーを検索するジェスチャー検索手段と、
   上記記憶手段から上記ジェスチャー検索手段により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡を表示する案内軌跡表示手段と、
   上記ジェスチャー検索手段により検索されたジェスチャーに割り付けられているコマンドを呼び出し、上記軌跡解析手段により解析される操作軌跡に応じて当該コマンドを実行するコマンド実行手段とを備え、
   上記ジェスチャー検索手段は、上記軌跡解析手段により解析された操作軌跡と上記記憶手段に記憶されているジェスチャーを比較して、上記記憶手段に記憶されているジェスチャーの中で、その操作軌跡と最も類似しているジェスチャーを検索し、
   上記案内軌跡表示手段は、上記ユーザの操作軌跡が、上記ジェスチャー検索手段により検索されたジェスチャーの案内軌跡全体の所定の割合以上であるかを判定し、所定の割合以上であれば上記記憶手段から該案内軌跡全体を呼び出すことを特徴とするユーザインタフェース装置。
4. 案内軌跡表示手段は、ユーザが軌跡入力デバイスから指を離しても、指を離す前に表示した案内軌跡の表示を維持することを特徴とする請求項３記載のユーザインタフェース装置。
5. 軌跡入力デバイスに対するユーザの操作軌跡を解析する解析処理を実施し、ユーザの操作軌跡を解析する毎に、予め記憶されているジェスチャーの中から、その操作軌跡との誤差が許容範囲内の１以上のジェスチャーを検索して、そのジェスチャーの案内軌跡を表示し、上記ユーザの操作軌跡が、上記検索されたジェスチャーの案内軌跡全体の所定の割合以上である場合は、該案内軌跡全体を表示するとともに、一方、前回検索したジェスチャーがユーザの操作軌跡と合致しなくなると、表示している当該ジェスチャーの案内軌跡を消去し、そのジェスチャーの検索数が１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出すユーザインタフェース方法。
6. 軌跡入力デバイスに対するユーザの操作軌跡を解析する解析処理を実施し、予め記憶されているジェスチャーの中から、その操作軌跡と最も類似しているジェスチャーを検索して、そのジェスチャーの案内軌跡を表示し、上記ユーザの操作軌跡が、上記検索されたジェスチャーの案内軌跡全体の所定の割合以上である場合は、該案内軌跡全体を表示するとともに、そのジェスチャーに割り付けられているコマンドを呼び出し、その解析処理により解析される操作軌跡に応じて当該コマンドを実行するユーザインタフェース方法。

Images