JP4031255B2 - ジェスチャコマンド入力装置 - Google Patents
ジェスチャコマンド入力装置 Download PDFInfo
- Publication number
- JP4031255B2 JP4031255B2 JP2002034864A JP2002034864A JP4031255B2 JP 4031255 B2 JP4031255 B2 JP 4031255B2 JP 2002034864 A JP2002034864 A JP 2002034864A JP 2002034864 A JP2002034864 A JP 2002034864A JP 4031255 B2 JP4031255 B2 JP 4031255B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- gesture
- input
- command
- gesture command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ジェスチャコマンド入力装置に関し、詳細には、ユーザ認識、ユーザ認証技術と組み合わせてユーザ切り換えを行って、操作性・利便性を向上させるコンピュータのユーザインターフェイスとして利用するジェスチャコマンド入力装置に関する。
【０００２】
【従来の技術】
従来、コンピュータのユーザインタフェースの新しい方法として、マウスでメニューを指したり、キーボードからコマンドを打ち込む代わりに、「ジェスチャ」と呼ばれるペンやマウスなどの入力装置で描いた軌跡に対してパターン認識を行い、予め定義されたジェスチャのパターンが現れた時に、対応するコマンドを実行させるペンＯＳ（Operating System）やペンシステムなどのジェスチャ認識方法がある（特開平３−７１３２２号公報等参照）。
【０００３】
特に、従来、個人がジェスチャコマンドを設定して、ジェスチャコマンドの使用を簡単にする技術として、多量の学習データを与えず、利用者が設定したジェスチャを認識できるジェスチャ認識方法が提案されている（特開平６−１２４９３号公報参照）。
【０００４】
また、従来、ポインティングディバイスによって入力されたジェスチャイメージに対応した処理を実行する機能を備えた装置における前記ジェスチャイメージ登録方法にあって、入力された１つの任意のジェスチャイメージに任意に選択した処理を割り付けて登録するジェスチャイメージ登録方法が提案されている（特開平８−１３７６１１号公報参照）。
【０００５】
すなわち、この従来技術は、ユーザが登録した任意のジェスチャイメージに１個以上の複数の機能や単語を登録している。
【０００６】
さらに、従来、ユーザ認識技術として、人の顔画像の特徴点によりマッチングを行う顔画像認識、音声の周波数特性により人物を特定する声紋認識、画像処理を用いて、指紋から人物を特定する指紋認識、音声信号処理と、言語処理を組み合わせた音声認識、個人情報を記憶したコンパクトなカードを認証に用いるカード認証等の技術が提案されている。
【０００７】
このようなジェスチャコマンド認識技術は、例えば、大画面を利用した会議アプリケーション、または、画像等のオブジェクトを大量に扱うようなアプリケーション等では、所望の操作を行うことが可能な技術として利用されている。
【０００８】
また、タッチパネル等を利用して情報端末の操作を行うような場合にも、ジェスチャコマンドが用いられている。
【０００９】
さらに、標準の設定ではジェスチャコマンドは存在しないが、ポインティングデバイスのドライバと連動させ、ジェスチャコマンド入力を可能にしたり、個人が自由にジェスチャコマンドを登録できるユーティリティーソフトが存在しており、このような分野では、上記従来技術が活用されている。
【００１０】
【発明が解決しようとする課題】
しかしながら、このような従来のジェスチャコマンド認識技術にあっては、ジェスチャコマンドを用いてアプリケーション上で任意の操作を行う場合、アプリケーション毎にコマンドを覚えさせる必要があり、かつ、操作上同じ意味を持つコマンドがアプリケーション毎に異なっている場合もある。このようなことはユーザを混乱させ、学習に多くの時間を要することとなり、利便性を大きく損ねるという問題があった。
【００１１】
また、従来のジェスチャコマンド認識技術にあっては、アプリケーションソフトのバージョンの違いによりジェスチャコマンドが異なっていたり、所望のジェスチャコマンドが存在しなかったり、あるいは、使用する情報端末によっては、他人が異なったジェスチャコマンドの設定を行っている場合にも同様の現象が発生し、利用性が悪いという問題があった。
【００１２】
さらに、ジェスチャコマンドを利用した操作においては、アプリケーションの指定するジェスチャコマンドがユーザにとって操作しにくいと感じる場合には、自分の操作しやすいジェスチャコマンドを登録して、どのような場所においても常に使いたいという要求も生じるが、従来のジェスチャコマンド認識技術にあっては、このような問題について検討されていない。
【００１３】
そこで、請求項１記載の発明は、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するに際して、入力手段に対してジェスチャ入力を行うユーザを、ユーザ認識手段が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザが入力手段から入力したジェスチャをコマンドに変換することにより、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにするとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識し、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１４】
請求項２記載の発明は、記憶手段に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶手段から検索して、当該アプリケーション固有のコマンドに変換することにより、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行え、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１５】
請求項３記載の発明は、記憶手段に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて入力手段から入力されたジェスチャをコマンドに変換することにより、アプリケーション毎にジェスチャコマンドを自動的に切り換え、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１６】
請求項４記載の発明は、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知することにより、誤操作を防ぐとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なえるようにし、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１７】
請求項５記載の発明は、記憶手段に登録されているユーザ固有のジェスチャコマンドまたは共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて入力されたジェスチャをコマンドに変換することにより、多数のユーザが頻繁にユーザを切り換えてジェスチャ入力を行う場合やアプリケーション固有のジェスチャコマンドで行った方が操作しやすい場合等にジェスチャコマンドを簡単かつ速やかに切り換え、操作の混乱を防止して、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１８】
請求項６記載の発明は、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段で選択されたユーザに基づいてジェスチャコマンド変換処理を行うことにより、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１９】
請求項７記載の発明は、記憶手段に、ユーザの顔の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの顔の画像を撮像して、記憶手段に記録されているユーザの顔の画像と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２０】
請求項８記載の発明は、記憶手段に、ユーザの指紋の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの指紋の画像を撮像して、記憶手段に記録されているユーザの指紋の画像と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２１】
請求項９記載の発明は、記憶手段に、ユーザの眼球の虹彩の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの眼球の虹彩の画像を撮像して、記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２２】
請求項１０記載の発明は、記憶手段に、ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの音声による暗号を取得して、記憶手段に記録されているユーザの音声による暗号と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２３】
請求項１１記載の発明は、記憶手段に、ユーザの声紋とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの声紋を取得して、記憶手段に記録されているユーザの声紋と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２４】
請求項１２記載の発明は、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した記録媒体を装着すると、読取手段を介して当該記憶媒体から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換することにより、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにするとともに、どのような場所でも自己のジェスチャコマンドを利用できるようにし、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２５】
【課題を解決するための手段】
請求項１記載の発明は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第一の記憶手段を有する情報処理装置とネットワークを介して接続されており、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置において、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第二の記憶手段と、前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手段と、前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手段が認識すると、前記第二の記憶手段において当該認識されたユーザに対応したユーザ固有のジェスチャコマンドがあるか検索し、前記第二の記憶手段に前記ジェスチャコマンドがないと、前記第一の記憶手段において前記ジェスチャコマンドを検索し、前記第一の記憶手段に前記ジェスチャコマンドがあると、前記第一の記憶手段から前記第二の記憶手段に前記ジェスチャコマンドを転送して記憶させ、前記第二の記憶手段に転送された前記ジェスチャコマンドに基づき、前記当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手段と、を備えることにより、上記目的を達成している。
【００２６】
上記構成によれば、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するに際して、入力手段に対してジェスチャ入力を行うユーザを、ユーザ認識手段が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザが入力手段から入力したジェスチャをコマンドに変換するので、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにすることができるとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識することができ、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性を向上させることができる。
【００２７】
この場合、例えば、請求項２に記載するように、前記第一又は第二の記憶手段は、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録可能であり、前記制御手段は、前記入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを前記第一又は第二の記憶手段から検索して、当該アプリケーション固有のコマンドに変換することであってもよい。
【００２８】
上記構成によれば、記憶手段に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶手段から検索して、当該アプリケーション固有のコマンドに変換するので、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行うことができ、より一層利用性を向上させることができる。
【００２９】
また、例えば、請求項３に記載するように、前記第一又は第二の記憶手段は、アプリケーションソフト毎にユーザ固有のジェスチャコマンドが登録可能であり、前記制御手段は、前記認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して前記第一又は第二の記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて前記入力手段から入力されたジェスチャを前記コマンドに変換するものであってもよい。
【００３０】
上記構成によれば、記憶手段に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて入力手段から入力されたジェスチャをコマンドに変換するので、アプリケーション毎にジェスチャコマンドを自動的に切り換えることができ、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性を向上させることができる。
【００３１】
さらに、例えば、請求項４に記載するように、前記制御手段は、前記入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するものであってもよい。
【００３２】
上記構成によれば、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するので、誤操作を防ぐことができるとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なうことができ、より一層利用性を向上させることができる。
【００３３】
また、例えば、請求項５に記載するように、前記ジェスチャコマンド入力装置は、前記第一又は第二の記憶手段に登録されているユーザ固有のジェスチャコマンドまたは前記共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段を備え、前記制御手段は、当該ジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて前記入力されたジェスチャを前記コマンドに変換するであってもよい。
【００３４】
上記構成によれば、記憶手段に登録されているユーザ固有のジェスチャコマンドまたは共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて入力されたジェスチャをコマンドに変換するので、多数のユーザが頻繁にユーザを切り換えてジェスチャ入力を行う場合やアプリケーション固有のジェスチャコマンドで行った方が操作しやすい場合等にジェスチャコマンドを簡単かつ速やかに切り換えることができ、操作の混乱を防止して、より一層利用性を向上させることができる。
【００３５】
さらに、例えば、請求項６に記載するように、前記ジェスチャコマンド入力装置は、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段を備え、前記制御手段は、当該ユーザ選択手段で選択されたユーザに基づいて前記ジェスチャコマンド変換処理を行うものであってもよい。
【００３６】
上記構成によれば、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段で選択されたユーザに基づいてジェスチャコマンド変換処理を行うので、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００３７】
また、例えば、請求項７に記載するように、前記第二の記憶手段は、前記ユーザの顔の画像と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、前記入力手段からジェスチャコマンドの入力を行う前記ユーザの顔の画像を撮像して、前記第二の記憶手段に記録されているユーザの顔の画像と照らし合わせて、前記ユーザを認識するものであってもよい。
【００３８】
上記構成によれば、記憶手段に、ユーザの顔の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの顔の画像を撮像して、記憶手段に記録されているユーザの顔の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００３９】
さらに、例えば、請求項８に記載するように、前記第二の記憶手段は、前記ユーザの指紋の画像と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、前記入力手段からジェスチャコマンドの入力を行う前記ユーザの指紋の画像を撮像して、前記第二の記憶手段に記録されているユーザの指紋の画像と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４０】
上記構成によれば、記憶手段に、ユーザの指紋の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの指紋の画像を撮像して、記憶手段に記録されているユーザの指紋の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４１】
また、例えば、請求項９に記載するように、前記第二の記憶手段は、前記ユーザの眼球の虹彩の画像と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、前記入力手段からジェスチャコマンドの入力を行う前記ユーザの眼球の虹彩の画像を撮像して、前記第二の記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４２】
上記構成によれば、記憶手段に、ユーザの眼球の虹彩の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの眼球の虹彩の画像を撮像して、記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４３】
さらに、例えば、請求項１０に記載するように、前記第二の記憶手段は、前記ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備え、前記入力手段からジェスチャの入力を行うユーザの音声による前記暗号を取得して、前記第二の記憶手段に記録されているユーザの音声による暗号と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４４】
上記構成によれば、記憶手段に、ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの音声による暗号を取得して、記憶手段に記録されているユーザの音声による暗号と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４５】
また、例えば、請求項１１に記載するように、前記第二の記憶手段は、前記ユーザの声紋と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備え、前記入力手段からジェスチャの入力を行う前記ユーザの声紋を取得して、前記第二の記憶手段に記録されているユーザの声紋と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４６】
上記構成によれば、記憶手段に、ユーザの声紋とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの声紋を取得して、記憶手段に記録されているユーザの声紋と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４７】
さらに、例えば、請求項１２に記載するように、前記ジェスチャコマンド入力装置は、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段を備え、ジェスチャ入力を行うユーザが、自己を認識させる情報と前記ジェスチャコマンドを記録した記録媒体を前記読取手段に装着すると、前記制御手段が、前記読取手段を介して当該記憶媒体から前記情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて前記入力手段から入力されるジェスチャをコマンドに変換するものであってもよい。
請求項１３記載の発明は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第一の記憶手段を有する情報処理装置とネットワークを介して接続されており、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置によるジェスチャコマンド入力方法において、前記ジェスチャコマンド入力装置は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第二の記憶手段を有し、前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手順と、前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手順が認識すると、前記第二の記憶手段において当該認識されたユーザに対応したユーザ固有のジェスチャコマンドがあるか検索し、前記第二の記憶手段に前記ジェスチャコマンドがないと、前記第一の記憶手段において前記ジェスチャコマンドを検索し、前記第一の記憶手段に前記ジェスチャコマンドがあると、前記第一の記憶手段から前記第二の記憶手段に前記ジェスチャコマンドを転送して記憶させ、前記第二の記憶手段に転送された前記ジェスチャコマンドに基づき、前記当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手順と、を備えることにより、上記目的を達成している。
【００４８】
上記構成によれば、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した記録媒体を装着すると、読取手段を介して当該記憶媒体から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換するので、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにすることができるとともに、どのような場所でも自己のジェスチャコマンドを利用することができ、より一層利用性を向上させることができる。
【００４９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を添付図面に基づいて詳細に説明する。なお、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００５０】
図１〜図５は、本発明のジェスチャコマンド入力装置の第１の実施の形態を示す図であり、本実施の形態は、請求項１に対応するものである。
【００５１】
図１は、本発明のジェスチャコマンド入力装置の第１の実施の形態を適用したジェスチャコマンド入力装置１のシステムブロック構成図である。
【００５２】
図１において、ジェスチャコマンド入力装置１は、ジェスチャ入力部２、制御部３、情報処理部４、表示画面部５、記憶部６及びユーザ特定部７等を備えている。
【００５３】
ジェスチャ入力部（入力手段）２は、情報機器に付属のマウス、表示画面部５に接続されたタッチパネル、あるいは、光学式ポインタや専用の入力ペンデバイス等の座標を音波、赤外線、電磁波等によって読み取る入力装置であり、ユーザがジェスチャコマンド入力及び加筆等を行う。
【００５４】
記憶部（記憶手段）６は、ハードディスク等で構成され、ＯＳ（Operating System）や本実施の形態のジェスチャコマンド入力処理プログラム及び必要なデータが予め格納されている。特に、記憶部６は、ジェスチャ入力部２から入力されたジェスチャコマンドが各ユーザ毎に登録されて、記憶する。
【００５５】
ユーザ特定部（ユーザ認識手段）７は、ユーザ情報を情報処理部４に対して入力するための装置であり、後述するように、ユーザを区別する機能を有したカード等の記憶メディアを読み取る装置を有してユーザ情報を取得して情報処理部４に出力し、または、情報処理部４が、音声入力装置または画像処理装置を有し音声処理、画像処理を行ってユーザを特定してユーザ情報を情報処理部４に出力する。
【００５６】
情報処理部（制御手段）４は、パーソナルコンピュータ等の情報処理装置であり、本実施の形態のジェスチャコマンド入力処理プログラムと必要なデータが導入されることで、ジェスチャコマンド入力処理を実行する。情報処理部４は、ユーザ特定部７からのユーザ情報の信号処理、記憶部６に記録されたデータを参照してユーザを認識して特定するユーザ特定処理及び特定されたユーザのジェスチャコマンド情報を参照しながらジェスチャ入力部２から送られてきたジェスチャコマンドをアプリケーションのコマンドに変換するコマンド変換処理等のジェスチャコマンド入力処理を実行する。
【００５７】
このジェスチャコマンド入力装置１は、記憶部６に格納されているジェスチャコマンドソフトウェアにより図２に示す機能ブロックが構築され、この機能ブロックでは、入力ジェスチャコマンド１１、コマンド変換処理ソフト１２、ユーザ特定情報１３、ジェスチャデータベース１４、コマンド１５を有して、ジェスチャコマンド入力装置１に格納されてジェスチャコマンドを利用するアプリケーション１６及びアプリケーションコマンド情報１７を備えている。
【００５８】
図２において、ジェスチャコマンド入力装置１は、図１のジェスチャ入力部２から入力されたジェスチャコマンド１１は、情報処理部４上で実行されるコマンド変換処理ソフト１２に渡され、ユーザ特定部７と情報処理部４及び記憶部６を利用して認識されたユーザ情報１３が、関連付けられたジェスチャデータベース１４とともに、コマンド変換処理ソフト１２で参照される。
【００５９】
ジェスチャコマンド入力装置１は、以下の方法でユーザを特定する。すなわち、ジェスチャコマンド入力装置１は、コマンド変換処理ソフト１２で、アプリケーション１６で使用可能なコマンドに関する情報を、アプリケーションコマンド情報１７として一時記憶して参照し、入力されたジェスチャコマンド１１に対して、認識されたユーザ情報１３に相当するユーザ個人のジェスチャコマンドデータベース１４から対応するジェスチャコマンドを認識する。ジェスチャコマンド入力装置１は、コマンド変換処理ソフト１２で認識されたコマンドが、使用しているアプリケーション１６でどのコマンドに相当するかを、アプリケーションコマンド情報１７をコマンド変換処理ソフト１２が、参照して調べて、ユーザの入力ジェスチャコマンド１１をアプリケーション固有のコマンド１５に変換し、アプリケーション１６に渡す。
【００６０】
次に、本実施の形態の作用を説明する。本実施の形態のジェスチャコマンド入力装置１は、予め記憶部６に各ユーザ毎に当該ユーザがジェスチャ入力部２から入力したジェスチャコマンドが登録されており、例えば、ユーザＡに対して、図３（ａ）に示す削除コマンドＡＳとコピーコマンドＡＣが登録されており、ユーザＢに対して、図４（ａ）に示す削除コマンドＢＳとコピーコマンドＢＣが登録されている。なお、図３及び図４では、ジェスチャコマンドの対象オブジェクトに対する大きさ、筆記速度に関しては簡単のため省略してあり、また、分かりやすくするために、ジェスチャの一つの動作を線で表し、書き順を丸印で囲んだ数字で示している。
【００６１】
図３及び図４において、オブジェクトを削除する削除コマンドＡＳと削除コマンドＢＳを比較してみると、ユーザＡは、×印の形状のジェスチャコマンドを記憶部６に登録しており、一方ユーザＢは、英字「Ｄ」の形状をしたジェスチャコマンドを記憶部６に登録している。
【００６２】
このようなジェスチャコマンドが記憶部６に登録されている場合に、ユーザＡが、図３（ａ）の×印状のコマンド入力をジェスチャ入力部２から使用中のアプリケーション１６上のあるオブジェクトに対して行う場合、ユーザ特定部７によって、ユーザＡであることが認識され、ジェスチャ入力部２から図３（ａ）の×印を入力すると、情報処理部４が入力されたジェスチャコマンドが削除コマンドＡＳであることを、記憶部６にユーザＡに対応して記憶されているジェスチャコマンドから認識して、指定されたオブジェクトを削除する。
【００６３】
次に、アプリケーションの操作をユーザＢが行う場合、ユーザ特定部７がユーザＢであることを認識すると、ジェスチャコマンド入力装置１は、ユーザＢによるジェスチャコマンドの入力を可能な状態とする。ユーザＢが、例えば、図４（ａ）のＤ字状のジェスチャコマンドをジェスチャ入力部２からあるオブジェクトに対して行うと、情報処理部４が入力されたジェスチャコマンドが削除コマンドＢＳであることを、記憶部６にユーザＢに対応して記憶されているジェスチャコマンドから認識して、指定されたオブジェクトを削除する。
【００６４】
そして、ジェスチャコマンド入力装置１は、操作者がユーザＢであることを認識している状態で、ユーザＡの削除コマンドＡＳである×印のジェスチャコマンドがジェスチャ入力部２から入力されると、情報処理部４が、当該オブジェクトの削除を行わず、当該入力されたジェスチャコマンドに対応するジェスチャコマンドが記憶部６に登録されていないときには、入力されたジェスチャコマンドの認識に失敗することとなり、もしこのジェスチャが記憶部６に他のオブジェクト操作を行うジェスチャコマンドとして登録されていると、そのジェスチャコマンド入力を実行することになる。
【００６５】
このように、本実施の形態のジェスチャコマンド入力装置１は、ユーザの身体の一部または専用の指示媒体を用いて、ジェスチャ入力部２に対して行われたジェスチャ入力をコマンドに変換するに際して、ジェスチャ入力部２に対してジェスチャ入力を行うユーザを、ユーザ特定部７が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶部６の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザがジェスチャ入力部２から入力したジェスチャをコマンドに変換している。
【００６６】
したがって、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにすることができるとともに、ジェスチャ入力部２に、どのユーザがジェスチャ入力を行っているかを認識することができ、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性を向上させることができる。
【００６７】
なお、上記実施の形態においては、ジェスチャコマンド入力装置１が、その記憶部６に予めユーザ毎のジェスチャコマンドを記憶しているが、ユーザ毎のジェスチャコマンドは、ジェスチャコマンド入力装置１の内部の記憶部６に記憶するものに限るものではなく、例えば、ジェスチャコマンド入力装置１がネットワークに接続され、当該ネットワークに接続されている記憶装置や他の情報処理装置（パーソナルコンピュータ等）の記憶部に記憶されていてもよい。
【００６８】
この場合、ジェスチャコマンド入力装置１は、図５に示すように、ジェスチャコマンドの取得処理を行う。
【００６９】
すなわち、ジェスチャコマンド入力装置１は、ユーザが認識されると（ステップＳ１０１）、ジェスチャコマンド入力装置１のローカルな記憶装置（記憶部６）上に当該認識したユーザのジェスチャコマンドデータがあるか検索し（ステップＳ１０２）、ローカルな記録装置（記憶部６）に当該ユーザのジェスチャコマンドデータがあるかチェックする（ステップＳ１０３）。
【００７０】
ステップＳ１０３で、ローカルな記録装置（記憶部６）に当該ユーザのジェスチャコマンドデータがあると、ジェスチャコマンド入力装置１は、設定によってはユーザ名を通知し（ステップＳ１０７）、当該ユーザのジェスチャ入力モードを開始して（ステップＳ１０８）、ユーザ認識に成功してユーザ認識処理を終了する。このとき、ユーザ認識は成功したという戻り値が返される。
【００７１】
ステップＳ１０３で、ローカルな記録装置（記憶部６）に当該ユーザのジェスチャコマンドデータがないと、ジェスチャコマンド入力装置１は、ジェスチャコマンド入力装置１の接続されているネットワークに接続されている情報端末装置の記憶装置上に、当該ユーザのジェスチャコマンドデータがあるか検索し（ステップＳ１０４）、当該ネットワークに接続された記録装置に当該ユーザのジェスチャコマンドデータがあるかチェックする（ステップＳ１０５）。
【００７２】
ステップＳ１０５で、当該ネットワークに接続された記録装置に当該ユーザのジェスチャコマンドデータがあると、当該ネットワークに接続された記憶装置上の当該ユーザのジェスチャコマンドデータをローカルな記憶装置（記憶部６）に転送して記憶し（ステップＳ１０６）、次回以降何度もネットワークを検索する手間を省いて、設定によってはユーザ名を通知し（ステップＳ１０７）、当該ユーザのジェスチャ入力モードを開始して（ステップＳ１０８）、ユーザ認識に成功してユーザ認識処理を終了する。このとき、ユーザ認識は成功したという戻り値が返される。
【００７３】
ステップＳ１０５で、ネットワークに接続された記録装置に当該ユーザのジェスチャコマンドデータがないときには、ジェスチャコマンド入力装置１は、ジェスチャコマンド情報（ユーザ情報）が得られなかったことを、音声または画面表示等によって通知し（ステップＳ１０９）、ユーザ切り換えを、特にどのユーザ個人のジェスチャコマンド入力も行わない「デフォルト」の設定に戻して（ステップＳ１１０）、ユーザ認識処理を終了する。このとき、ユーザ認識に失敗したという戻り値が返される。
【００７４】
図６及び図７は、本発明のジェスチャコマンド入力装置の第２の実施の形態を示す図であり、本実施の形態は、請求項２に対応するものである。
【００７５】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【００７６】
本実施の形態のジェスチャコマンド入力装置１は、アプリケーションに依存せずに、共通に使えるジェスチャコマンド（共通ジェスチャコマンド）を記憶部６またはネットワーク上の情報処理装置の記憶装置に登録し、当該共通ジェスチャコマンドをアプリケーションに関連づけて使用可能とする。
【００７７】
すなわち、ジェスチャコマンド入力装置１の記憶部６等には、例えば、図６に示すように、指定した対象を削除するための削除コマンドＫＳと、指定された対象をクリップボードに貼り付けるためのコピージェスチャコマンドＫＣが登録されており、それぞれのジェスチャコマンドＫＳ、ＫＣに対して、対応するメニュー名及びショートカットキー割り当てが関連付けて記録されている。
【００７８】
そして、ジェスチャコマンド入力装置１は、共通ジェスチャコマンドを以下のようにして各アプリケーションに対して、例えば、共通ジェスチャコマンドに登録されたショートカットキー割り当てを優先して、対応するアプリケーションのコマンドと照らし合わせる方法で、対応するアプリケーションのコマンドとして変換する。
【００７９】
すなわち、ジェスチャコマンド入力装置１は、図７に示すように、共通ジェスチャコマンドが入力されると（ステップＳ２０１）、当該共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあるか検索する（ステップＳ２０２）。
【００８０】
ステップＳ２０２で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあると、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ２０３）、そのジェスチャコマンドが入力されたことが、図２のコマンド変換処理ソフト１２に通知される（戻り値として成功を通知）して（ステップＳ２０４）、処理を終了する。
【００８１】
ステップＳ２０２で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものが見つからなかったときには、ジェスチャコマンド入力装置１は、当該共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３とアプリケーションに登録されているコマンド名データＤ４で一致するものがあるかどうか検索する（ステップＳ２０５）。
【００８２】
ステップＳ２０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあると、ジェスチャコマンド入力装置１は、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ２０３）、そのジェスチャコマンドが入力されたことが、図２のコマンド変換処理ソフト１２に通知される（戻り値として成功を通知）して（ステップＳ２０４）、処理を終了する。
【００８３】
ステップＳ２０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがないと、ジェスチャコマンド入力装置１は、入力された共通ジェスチャコマンドが無効であることを、図２のコマンド変換処理ソフト１２に通知して（ステップＳ２０６）、処理を終了する。
【００８４】
このように、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、ジェスチャ入力部２から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶部６またはネットワーク上の情報処理装置の記憶装置から検索して、当該アプリケーション固有のコマンドに変換している。
【００８５】
したがって、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行うことができ、より一層利用性を向上させることができる。
【００８６】
なお、上記説明では、共通ジェスチャコマンドに対応して登録されたコマンドショートカットをメニュー名に優先して検索しているが、メニュー名をコマンドショートカットに優先して検索してもよい。
【００８７】
すなわち、図８に示すように、ジェスチャコマンド入力装置１は、共通ジェスチャコマンドが入力されると（ステップＳ３０１）、当該共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３とアプリケーションに登録されているコマンド名データＤ４で一致するものがあるかどうか検索する（ステップＳ３０２）。
【００８８】
ステップＳ３０２で、共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３が、アプリケーションに登録されているコマンド名データＤ４と一致するものがあると、ジェスチャコマンド入力装置１は、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ３０３）、そのジェスチャコマンドが入力されたことを、図２のコマンド変換処理ソフト１２に通知（戻り値として成功を通知）して（ステップＳ３０４）、処理を終了する。
【００８９】
ステップＳ３０２で、共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３が、アプリケーションに登録されているコマンド名データＤ４と一致するものがないと、ジェスチャコマンド入力装置１は、当該共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあるか検索する（ステップＳ３０５）。
【００９０】
ステップＳ３０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあると、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ３０３）、そのジェスチャコマンドが入力されたことを、図２のコマンド変換処理ソフト１２に通知（戻り値として成功を通知）して（ステップＳ３０４）、処理を終了する。
【００９１】
ステップＳ３０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものが見つからなかったときには、ジェスチャコマンド入力装置１は、入力された共通ジェスチャコマンドが無効であることを、図２のコマンド変換処理ソフト１２に通知して（ステップＳ３０６）、処理を終了する。
【００９２】
図９〜図１１は、本発明のジェスチャコマンド入力装置の第３の実施の形態を示す図であり、本実施の形態は、請求項３に対応するものである。
【００９３】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【００９４】
本実施の形態のジェスチャコマンド入力装置１は、アプリケーション毎に異なるジェスチャコマンドを記憶部６またはネットワーク上の情報処理装置の記憶装置に登録するとともに、アプリケーションに依存せずに、共通に使えるジェスチャコマンド（共通ジェスチャコマンド）を記憶部６またはネットワーク上の情報処理装置の記憶装置に登録し、アプリケーションソフトを使用中に当該使用中のアプリケーションを自動認識して、当該アプリケーションに対して登録されているジェスチャコマンドに切り換えて、利用性を向上させている。
【００９５】
本実施の形態のジェスチャコマンド入力装置１は、例えば、図９に示すように、アプリケーションＡに対応して、×印の削除コマンドＡＳと、複数のオブジェクトのグループ化のコマンドであるグループ化コマンドＡＧと、が記憶部６またはネットワーク上の情報処理装置の記憶装置に登録されており、また、図１０に示すように、アプリケーションＢに対応して、複数のオブジェクトのグループ化のコマンドであるグループ化コマンドＢＧが登録されており、さらに、図１１に示すように、あるユーザが、独自の共通ジェスチャコマンドとして、「Ｄ」字を描く削除コマンドＫＳと、「Ｇ」字を描く複数オブジェクトのグループ化のコマンドであるグループ化コマンドＫＧと、が記憶部６またはネットワーク上の情報処理装置の記憶装置に登録している。
【００９６】
いま、例えば、アプリケーションＡが、例えば、文字手書き認識機能を搭載したアプリケーションであるとし、アプリケーションＢが、頻繁にグループ化を行うアプリケーションであるとする。
【００９７】
そして、本実施の形態のジェスチャコマンド入力装置１は、あるユーザが、使用するアプリケーションで行う内容によって、あるいは、その他の理由により、共通ジェスチャコマンドを使うよりも、そのアプリケーションケーンで使用する場合のみ、他のジェスチャコマンドで入力した方が、操作性が向上する場合がある。このような場合に、例えば、文字手書き認識機能を搭載したアプリケーションＡでジェスチャコマンド入力を行う場合、図１１に示したように、共通ジェスチャコマンドが文字の形をしていると、アプリケーションが手書き入力モードからジェスチャコマンド入力モードに切り換わっていない場合に、モードが切り換わっていないことに気付かずにジェスチャコマンド入力を行うと、ジェスチャコマンドの認識を行わずに、間違って文字が入力されたりすることが起こりうる。
【００９８】
ところが、本実施の形態のジェスチャコマンド入力装置１は、アプリケーションソフトを使用中に使用中のアプリケーションを自動認識して、当該アプリケーションに対して登録されているジェスチャコマンドに切り換える。
【００９９】
すなわち、ジェスチャコマンド入力装置１は、例えば、アプリケーションＡが使用されていると、当該使用中のアプリケーションがアプリケーションＡであることを自動認識し、ジェスチャコマンドの入力方法をアプリケーションＡ用の入力方法に切り換える。
【０１００】
例えば、共通ジェスチャコマンドでは、図１１に示したように、削除コマンドＫＳやグループ化コマンドＫＧは、「Ｄ」や「Ｇ」の字を描くようになっているが、アプリケーションＡ用のジェスチャコマンドは、図９に示したように、文字を描くようには構成されていない。
【０１０１】
したがって、ジェスチャコマンド入力装置１は、使用中のアプリケーションが文字手書き認識機能を有している場合にも、ジェスチャコマンドを正確に認識し、利用性が向上する。
【０１０２】
また、例えば、使用中のアプリケーションが、頻繁にグループ化を行うアプリケーションＢであると、アプリケーションＢでジェスチャコマンド入力を行う場合、グループ化コマンドだけを単純なものにしたい場合、図１１に示したように、共通ジェスチャコマンドでは、グループ化コマンドＫＧが「Ｄ」の字を描くようになっているが、アプリケーションＢ用のジェスチャコマンドは、図１０に示したように、グループ化コマンドＢＧが単純化されている。
【０１０３】
したがって、ジェスチャコマンド入力装置１は、使用中のアプリケーションがグループ化を頻繁に行うアプリケーションＢであるときには、単純化されたグループ化コマンドＢＧを使用して、コマンド入力を行うことができ、利用性が向上する。
【０１０４】
このように、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶部６またはネットワーク上の情報処理装置の記憶装置に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいてジェスチャ入力部２から入力されたジェスチャをコマンドに変換している。
【０１０５】
したがって、アプリケーション毎にジェスチャコマンドを自動的に切り換えることができ、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性を向上させることができる。
【０１０６】
図１２〜図１５は、本発明のジェスチャコマンド入力装置の第４の実施の形態を示す図であり、本実施の形態は、請求項４に対応するものである。
【０１０７】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１０８】
本実施の形態のジェスチャコマンド入力装置１は、入力されたジェスチャコマンドに対して、アプリケーション側に対応するコマンドが見つからなかった場合のエラー処理を音声出力または表示出力で行うものである。
【０１０９】
本実施の形態のジェスチャコマンド入力装置１は、図１２に示すように、サラウンドドライバ２１と音声出力部２２を備えている。
【０１１０】
音声出力部２２は、例えば、スピーカ等であり、サラウンドドライバ２１は、音声出力部２２に音声信号を出力して、音声出力部２２に当該音声信号を音声に変換させて出力させる。
【０１１１】
ジェスチャコマンド入力装置１は、コマンドが見つからなかった場合、問い合わせ先であるアプリケーションコマンド情報１７から対応するコマンドが見つからなかったという通知がコマンド変換処理ソフト１２に伝えられ、コマンド変換処理ソフト１２は、サウンドドライバ２１に対して、ジェスチャコマンドが失敗したことを通知させる警告音または通知音声と、現在認識しているユーザ名を通知する音声を発生させるための通知信号を送る。サウンドドライバ２１は、コマンド変換処理ソフト１２から通知信号が入力されると、音声信号を発生して、音声出力部２２に出力し、音声出力部２２は、当該音声信号を音声に変換して出力する。
【０１１２】
したがって、ユーザは、ジェスチャコマンド入力に失敗したことを知ることができるだけでなく、現在認識されているユーザが、使用している本人と一致しているかどうかを知ることができる。
【０１１３】
また、ジェスチャコマンド入力装置１は、エラー出力を表示出力する場合には、図１３に示すように、ビデオドライバ２３を備えており、コマンド変換処理ソフト１２が通知する認識中のユーザ名等の情報に基づいて、ビデオドライバ２３が表示画面部５に情報を表示させる。
【０１１４】
例えば、いま、ユーザが認識されてアプリケーションが立ち上がっているときには、図１４に示すように、表示画面部５の表示画面５ａには、アプリケーション（アプリケーションαβγ）の仮想画面３０が表示されるとともに、表示画面５ａに向かって左上隅のユーザダイアログ部３１には、認識されているユーザ名「○○○」が表示されて、ユーザの指定したジェスチャコマンド入力モードであることが示されている。
【０１１５】
ところが、ジェスチャコマンド入力装置１は、コマンドが見つからなかった場合、特に、ユーザが認識されていないか、または、ユーザ認識に失敗すると、その旨の通知が、問い合わせ先であるアプリケーションコマンド情報１７からコマンド変換処理ソフト１２に伝えられ、コマンド変換処理ソフト１２は、アプリケーションの指定するジェスチャ入力モードに切り換えるとともに、ビデオドライバ２３に対して、エラーを通知する通知信号を送る。
【０１１６】
ビデオドライバ２３は、コマンド変換処理ソフト１２から通知信号が入力されると、ビデを信号を生成して、例えば、ユーザが認識されていないか、または、ユーザ認識に失敗した場合には、図１５に示すように、表示画面部５の表示画面５ａのユーザダイアログ部３１に、「デフォルト」と表示させる。
【０１１７】
このように、本実施の形態のジェスチャコマンド入力装置１は、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するので、誤操作を防ぐことができるとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なうことができ、より一層利用性を向上させることができる。
【０１１８】
図１６は、本発明のジェスチャコマンド入力装置の第５の実施の形態を示す図であり、本実施の形態は、請求項５に対応するものである。
【０１１９】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１２０】
本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に登録されているユーザ毎のユーザ固有のジェスチャコマンドと入力対象のアプリケーション規定のジェスチャコマンドをジェスチャコマンド選択手段で容易に切り換えて使用するところにその特徴がある。
【０１２１】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、ユーザ毎のユーザ固有のジェスチャコマンドと、各アプリケーション規定のジェスチャコマンドと、が登録されており、ジェスチャコマンドの選択手段として、図１６に示すようなダイアログ４０を表示画面部５の表示画面に表示する。
【０１２２】
なお、図１６では、ダイアログ（ジェスチャコマンド選択手段）４０は、ユーザ固有のジェスチャコマンドとアプリケーション規定通りのジェスチャコマンドのいずれを入力に使用するジェスチャコマンドとして利用するかを選択するとともに、ジェスチャ入力をオフにするかを選択可能なダイアログとなっており、ユーザ固有のジェスチャコマンドであるユーザジェスチャが選択（レ点で表示）されており、マウスカーソルがアプリケーション規定のジェスチャコマンドであるアプリケーションジェスチャの位置にあることを示している。
【０１２３】
したがって、大画面の周りに大人数のユーザが集まって、ジェスチャコマンドを利用して、活発な電子会議を行う場合のように、大人数で頻繁にユーザの切り換えを行い、操作に混乱が発生しがちな場合やアプリケーション固有のジェスチャコマンドで行った方がかえって操作しやすい場合などに、利用するジェスチャコマンドを容易に切り換えることができ、利用性を向上させることができる。
【０１２４】
図１７及び図１８は、本発明のジェスチャコマンド入力装置の第６の実施の形態を示す図であり、本実施の形態は、請求項６に対応するものである。
【０１２５】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１２６】
本実施の形態のジェスチャコマンド入力装置１は、予め登録されているユーザからジェスチャコマンドを利用するユーザをユーザ選択手段で容易に選択するところにその特徴がある。
【０１２７】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、ユーザ毎のユーザ固有のジェスチャコマンドと、各アプリケーション規定のジェスチャコマンドと、が登録されており、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段として、図１６に示すようなユーザ選択ダイアログ４１を表示画面部５の表示画面に表示する。
【０１２８】
なお、図１７では、ユーザ選択ダイアログ４１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、ユーザ固有のジェスチャコマンドの登録されているユーザのユーザ名、図１７では、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」及びデフォルトの各ユーザ名が表示されており、ユーザ「ＡＡＡ」が選択（レ点で表示）されており、マウスカーソルがユーザ名「ＢＢＢ」の位置にあることを示している。そして、このユーザ選択ダイアログ４１に表示されているユーザ名をマウス等のポインティングディバイス等で選択することで、ジェスチャコマンドを利用するユーザを簡単に切り換えることができる。
【０１２９】
ジェスチャコマンド入力装置１は、表示画面５にユーザ選択ダイアログ４１を呼び出すための他のアイコンを表示させて、当該アイコンを操作することでユーザ選択ダイアログ４１を表示させたり、また、ジェスチャコマンドによってユーザ選択ダイアログ４１を表示させたり、あるいは、音声によってユーザ選択ダイアログ４１を表示させることができる。
【０１３０】
そして、本実施の形態のジェスチャコマンド入力装置１は、図１８に示すように、情報処理部４が、ユーザ認識部５１、ユーザ選択ダイアログ部５２、コマンド変換処理ソフト／アプリケーション部５３を備え、記憶部６が、登録ユーザ記憶部５４と図２に示したジェスチャデータベース１４を備えている。
【０１３１】
ジェスチャコマンド入力装置１は、ユーザ特定部７で特定されたユーザの認識を、情報処理部４のユーザ認識部５１で認識して、このユーザ認識部５１の認識したユーザ情報を記憶部６の登録ユーザ記憶部５４に一時格納する。
【０１３２】
ジェスチャコマンド入力装置１は、記憶部６の登録ユーザ記憶部５４に一時格納したユーザ名を、情報処理部４のユーザ選択ダイアログ部５２が、表示画面部５に上記ユーザ選択ダイアログ４１として表示させて、ユーザ選択ダイアログ４１で選択可能とする。
【０１３３】
ユーザは、このユーザ選択ダイアログ４１に表示されている自己のユーザ名を選択することで、ジェスチャコマンドを自己の利用可能なモードに切り換えることができ、ユーザの切り換えを行うたびにユーザ認識を行うことなく、簡単かつ速やかにユーザの切り換えを行うことができる。
【０１３４】
そして、ジェスチャコマンド入力装置１は、ユーザ選択ダイアログ４１でユーザの選択が行われると、情報処理部４が、記憶部６のジェスチャに関するデータベースであるジェスチャデータベース１４から当該選択されたユーザに対応して登録されているジェスチャコマンド情報を検索して、コマンド変換処理ソフト／アプリケーション部５３に渡して、アプリケーションで当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１３５】
このように、本実施の形態のジェスチャコマンド入力装置１は、ジェスチャコマンドを利用するユーザを選択するユーザ選択ダイアログ４１で選択されたユーザに基づいてジェスチャコマンド変換処理を行っている。
【０１３６】
したがって、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０１３７】
図１９は、本発明のジェスチャコマンド入力装置の第７の実施の形態を示す図であり、本実施の形態は、請求項７〜請求項９に対応するものである。
【０１３８】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１３９】
本実施の形態のジェスチャコマンド入力装置１は、ユーザの顔の画像に基づいて、予め登録されているユーザからジェスチャコマンドを利用するユーザを認識するところにその特徴がある。
【０１４０】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、図１９に示すように、ユーザ特定部７として、撮像装置６１を備えており、また、情報処理部４に、画像信号処理部６２、コマンド変換処理ソフト／アプリケーション部６３を備え、記憶部６にジェスチャコマンドデータベース１４（図２参照）を備えている。
【０１４１】
撮像装置６１は、例えば、画像撮像素子として、ＣＣＤ（Charge Coupled Device ）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor ）等の撮像素子アレイを備えた静止画像撮像カメラで構成されており、ジェスチャコマンド入力を行う情報処理部４またはその近傍に取り付けられている。
【０１４２】
撮像装置６１は、情報処理部４、すなわち、ジェスチャコマンド入力装置１の近くにいるユーザの顔の画像を撮像して、当該撮像したユーザの顔の画像を情報処理部４の画像信号処理部６２に出力する。
【０１４３】
画像信号処理部（画像処理手段）６２は、撮像装置６１から入力されるユーザの顔の画像の画像処理を行って、予め記憶部６のジェスチャデータベース１４にジェスチャコマンド情報とともに保存されているユーザの顔画像に関する情報とのマッチング処理を行って、ユーザの特定を行う。画像信号処理部６２は、このユーザを特定する画像信号処理で、特徴点抽出や相関関数演算等を行って、最終的に一致するユーザを判断し、ユーザを特定すると、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に渡す。
【０１４４】
コマンド変換処理ソフト／アプリケーション部６３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１４５】
したがって、複数のユーザが、撮像装置６１の撮像範囲に移動する以外、特に煩雑な操作を行うことなく、ユーザ認識を行うことができ、利用性を向上させることができる。
【０１４６】
なお、上記説明では、撮像装置６１でユーザの顔の画像を撮像して、ユーザの切り換えを行っているが、撮像するのは、ユーザの顔に限るものではなく、例えば、ユーザの指紋の撮像を行って、ユーザの切り換えを行ってもよい。
【０１４７】
この場合、撮像装置６１は、情報処理部４またはその近傍に取り付けられている場合に限るものではなく、例えば、情報処理部４のポインティングディバイスであるマウスの一部やタッチパネル入力専用のタッチパネルペンに取り付けられ、これらのマウスやタッチパネルペンの撮像装置６１を情報処理部４に接続してもよい。この指紋を撮像する撮像装置６１は、一般に用いられている指紋認識装置を、内部に大幅な変更を加えることなく、利用することができる。
【０１４８】
そして、指紋でユーザ認識を行う場合、ジェスチャコマンド入力を行うユーザは、撮像装置６１で自分の指紋の画像を取り込む。
【０１４９】
撮像装置６１は、ジェスチャコマンド入力を行うユーザの指紋の画像を撮像して、当該撮像したユーザの指紋の画像を情報処理部４の画像信号処理部６２に出力する。
【０１５０】
画像信号処理部６２は、撮像装置６１から入力されるユーザの指紋の画像の画像処理を行って、予め記憶部６のジェスチャデータベース１４にジェスチャコマンド情報とともに保存されているユーザの指紋画像に関する情報とのマッチング処理を行って、ユーザの特定を行う。画像信号処理部６２は、このユーザを特定する画像信号処理で、特徴点抽出や相関関数演算等を行って、最終的に一致するユーザを判断し、ユーザを特定すると、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に渡す。
【０１５１】
コマンド変換処理ソフト／アプリケーション部６３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１５２】
このように、各人異なる特徴を持つ指紋を利用してユーザの認識を行うと、指紋の形状がほとんど時間変化を起こさないため、認識率及び認識速度を向上させることができるとともに、撮像装置６１、ひいては、ジェスチャコマンド入力装置１を小型化することができる。
【０１５３】
また、撮像装置６１で撮像するのは、ユーザの顔や指紋に限るものではなく、例えば、ユーザの眼球の虹彩の撮像を行って、ユーザの切り換えを行ってもよい。
【０１５４】
この場合、撮像装置６１は、情報処理部４またはその近傍に取り付けられており、情報処理部４、すなわち、ジェスチャコマンド入力装置１の近くにいるユーザの眼球の虹彩を撮像して、当該撮像したユーザの眼球の虹彩の画像を情報処理部４の画像信号処理部６２に出力する。
【０１５５】
画像信号処理部６２は、撮像装置６１から入力されるユーザの眼球の虹彩の画像の画像処理を行って、予め記憶部６のジェスチャデータベース１４にジェスチャコマンド情報とともに保存されているユーザの眼球の虹彩画像に関する情報とのマッチング処理を行って、ユーザの特定を行う。画像信号処理部６２は、このユーザを特定する画像信号処理で、特徴点抽出や相関関数演算等を行って、最終的に一致するユーザを判断し、ユーザを特定すると、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に渡す。
【０１５６】
コマンド変換処理ソフト／アプリケーション部５３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１５７】
このように、各人異なる特徴を持つ眼球の虹彩を利用してユーザの認識を行うと、指紋の形状がほとんど時間変化を起こさないため、認識率及び認識速度を向上させることができるとともに、撮像装置６１、ひいては、ジェスチャコマンド入力装置１を小型化することができる。
【０１５８】
図２０は、本発明のジェスチャコマンド入力装置の第８の実施の形態を示す図であり、本実施の形態は、請求項１０及び請求項１１に対応するものである。
【０１５９】
なお、本実施の形態は、上記第１の実施の形態及び上記第７の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態及び第７の実施の形態で用いた符号をそのまま用いて説明する。
【０１６０】
本実施の形態のジェスチャコマンド入力装置１は、ユーザによる当該ユーザの名前、任意のキーワードまたはキーフレーズ等の暗号の音声に基づいて、予め登録されているユーザからジェスチャコマンドを利用するユーザを認識するところにその特徴がある。
【０１６１】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、図２０に示すように、ユーザ特定部７として、集音装置７１を備えており、また、情報処理部４に、音声信号処理部７２、コマンド変換処理ソフト／アプリケーション部６３を備え、記憶部６にジェスチャコマンドデータベース１４（図２参照）を備えている。
【０１６２】
集音装置（音声入力手段）７１は、一般に用いられているマイクロフォンで構成されており、ジェスチャコマンド入力を行う情報処理部４またはその近傍に取り付けられており、あるいは、情報処理部４のポインティングディバイスであるマウスの一部やタッチパネル入力用のタッチパネルペンに取り付けられており、情報処理部４と接続されている。そして、この集音装置７１は、一般に用いられているマイクロフォンを、大幅な変更を加えることなく、集音装置７１の一部として組み込んで利用することができる。
【０１６３】
ユーザは、集音装置７１に向かって、自分の名前、任意のキーワードまたはキーフレーズをジェスチャコマンド開始の合図として発声し、集音装置７１は、この名前、キーワードまたはキーフレーズ等の暗号を取り込んで情報処理部４の音声信号処理部７２に出力する。
【０１６４】
記憶部６のジェスチャデータベース１４には、各ユーザ毎に、ユーザの名前、任意のキーワードまたはキーフレーズ等の暗号がジェスチャコマンド情報とともに予め登録されている。
【０１６５】
音声信号処理部（音声処理手段）７２は、集音装置７１から入力される名前、キーワードまたはキーフレーズ等の暗号の音声信号を認識し、当該音声認識した内容とジェスチャデータベース１４に予め格納されているユーザ毎のユーザの名前、任意のキーワードまたはキーフレーズ等の暗号を比較して、ユーザを特定し、特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に通知する。
【０１６６】
コマンド変換処理ソフト／アプリケーション部６３は、音声信号処理部７２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１６７】
したがって、複数のユーザが、名前、キーワードまたはキーフレーズ等の暗号を集音装置７１に向かって発声するだけで、特に煩雑な操作を行うことなく、ユーザ認識を行うことができ、利用性を向上させることができるとともに、ジェスチャコマンド入力装置１を小型化することができる。
【０１６８】
なお、上記説明では、ユーザの発声する名前、キーワードまたはキーフレーズ等の暗号に基づいて、ユーザを認識しているが、ユーザの発声する声の声紋に基づいて、ユーザを認識してもよい。
【０１６９】
この場合、記憶部６のジェスチャデータベース１４には、各ユーザ毎に、当該ユーザの声紋情報がジェスチャコマンド情報とともに予め登録されている。
【０１７０】
ユーザは、集音装置７１に向かって、ユーザを特定するために、任意の内容の言葉、記号等の任意の音声を発声し、集音装置７１は、この任意の音声を取り込んで情報処理部４の音声信号処理部７２に出力する。
【０１７１】
そして、情報処理部４の音声信号処理部７２は、集音装置７１から入力される任意の音声信号の音声信号処理を行って、音声信号の周波数特徴を声紋情報として抽出し、当該抽出した声紋情報とジェスチャデータベース１４に予め格納されているユーザ毎の当該ユーザの声紋情報を比較して、ユーザを特定する。音声信号処理部７２は、このユーザを特定する音声信号処理で、特徴点抽出や相関関数演算等を行って、最終的に声紋情報の一致するユーザを判断して特定し、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に通知する。
【０１７２】
コマンド変換処理ソフト／アプリケーション部５３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１７３】
このように、ユーザが、任意の音声を発するだけで、面倒な操作を行うことなく、ユーザの切り換えを行うことができるとともに、ジェスチャコマンド入力装置１を小型化することができる。
【０１７４】
図２１は、本発明のジェスチャコマンド入力装置の第９の実施の形態を示す図であり、本実施の形態は、請求項１２に対応するものである。
【０１７５】
なお、本実施の形態は、上記第１の実施の形態及び上記第７の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態及び第７の実施の形態で用いた符号をそのまま用いて説明する。
【０１７６】
本実施の形態のジェスチャコマンド入力装置１は、ジェスチャコマンド情報（ジェスチャコマンドデータ）を固定の記憶部６に格納するだけでなく、ジェスチャコマンド情報を可搬性を有する携帯型記録媒体に格納して、必要なときにジェスチャコマンド入力装置１に読み取らせて利用するものである。
【０１７７】
この場合、ジェスチャコマンド入力装置１は、図２１に示すように、情報処理装置４に、ユーザに対応してジェスチャコマンド情報８０の格納されている携帯型記録媒体８１を読取装置８２を介して接続し、携帯型記録媒体８１に格納されているユーザに対応するジェスチャコマンド情報８０を情報処理装置４に読み込ませる。
【０１７８】
この携帯型記録媒体８１には、各ユーザが自分のジェスチャコマンド情報８０を登録し、当該携帯型記録媒体８１を読取装置８２に接続または装着して、情報処理装置４に読み取らせる。
【０１７９】
この携帯型記録媒体８１は、磁気、光、または、電気を利用してデータの読み書きを行うことが可能な携帯性を有する記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Compact Disc Recordable ）、ＣＤ−ＲＷ（Compact Disc Rewritable ）、ＤＶＤ−ＯＭＲ（Digital Video Disk Read Only Memory ）、ＤＶＤ−Ｒ（Digital Video Disk Recordable ）、ＤＶＤ＋ＲＷ（Digital Video Disk Rewritable ）等の光ディスク、コンパクトフラッシュメモリ（登録商標）、メモリスティック、ＰＣＭＣＩＡ（PC Memory Card International Association）カードメモリ、ＰＣＭＣＩＡカード型ハードディスク、フロッピーディスク（登録商標）、Ｚｉｐ、ＭＯ（光磁気ディスク）、ＭＤ（Mini Disc ）、テープ、ＤＡＴ（Digital Audio Tape）、ＤＣＣ（Digital Compact Cassette）、磁気カード、ＩＣカード等を用いることができる。もちろん、これらの携帯型記録媒体８１のうち、ＩＣカード等のように、読取装置８２に挿入することなく、翳すだけで読み取りが可能なものがある。これら携帯型記録媒体８１は、いずれのものを用いてもよいが、できるだけ高速な読み込みが可能であるものを用いることが望ましい。
【０１８０】
ジェスチャコマンド入力装置１は、読取装置８２で携帯型記録媒体８１からジェスチャデータを読み取ると、情報処理部４内のコマンド変換処理ソフト／アプリケーション６３による、そのジェスチャデータ８０に基づいたジェスチャコマンド入力を行える状態となる。
【０１８１】
なお、複数のユーザが各自のジェスチャデータ８０を格納した携帯型記録媒体８１を読取装置８２から読み取らせてユーザの切り換えを行うと、ユーザの切り換えを行う毎に、携帯型記録媒体８１からユーザ特定データとジェスチャデータ８０を読み取る必要があり、そり速度が遅くなって不便である。
【０１８２】
そこで、情報処理部４にジェスチャデータとそのユーザの区別を行う情報を記録しておき、携帯型記録媒体８１からユーザの区別を行う情報だけを読み取り、ジェスチャデータは情報処理装置４から読み取って、ユーザの切り換えを高速化するようにしてもよい。
【０１８３】
また、情報処理部４の本体ではなく、読取装置８２に記憶装置を付加し、同様に、ユーザの切り換えの高速化を行うようにしてもよい。
【０１８４】
さらに、携帯型記録媒体８１として、携帯電話装置を用いてもよい。この場合、携帯電話装置からジェスチャコマンド入力装置１に対してダイアルアップを行ってデータの交換を行ったり、ＩｒＤＡのような近距離赤外線を用いた通信でデータの交換を行ったり、または、Ｂｌｕｅｔｏｏｔｈのような近距離無線通信を行ってデータの交換を行って、ジェスチャコマンド入力が行えるようにしてもよい。
【０１８５】
このように、本実施の形態のジェスチャコマンド入力装置１は、携帯型記録媒体８１が着脱可能に装着された記録媒体の情報を読み取る読取装置８２に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した携帯型記録媒体８１を装着すると、読取装置８２を介して当該携帯型記憶媒体８１から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該携帯型記録媒体８１に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換している。
【０１８６】
したがって、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにすることができるとともに、どのような場所でも自己のジェスチャコマンドを利用することができ、より一層利用性を向上させることができる。
【０１８７】
図２２は、本発明のジェスチャコマンド入力装置の第１０の実施の形態を示す図であり、本実施の形態は、電子会議システムに応用したものである。
【０１８８】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１８９】
図２２は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしての電子会議システム１００のシステム構成図であり、電子会議システム１００は、上記第１の実施の形態と同様のジェスチャ入力部２、情報処理装置４、表示画面部５、記憶部６及びユーザ特定部７を備えているとともに、情報処理装置４に、ネットワークＮＷを介して、他の情報処理装置１０２ａ〜１０２ｎや周辺機器１０３ａ〜１０３ｎが接続されている。
【０１９０】
この電子会議システム１００の画面表示部５は、大画面表示可能な表示装置であり、例えば、プラズマディスプレイ、プロジェクタ等が用いられている。
【０１９１】
情報処理装置４は、ネットワークＮＷに接続されており、ユーザ認識情報に基づいて、ネットワークＮＷに接続された情報処理装置１０２ａ〜１０２ｎから必要なユーザのジェスチャコマンド情報及び他の電子情報を入手することができる。また、情報処理装置４は、ネットワークＮＷに接続された他の周辺機器１０３ａ〜１０３ｎを利用することができ、周辺機器１０３ａ〜１０３ｎは、プリンタ、マルチファンクション装置（ＭＦＰ）、ファクシミリ装置、デジタルカメラ、ビデオカメラ、スキャナー、マイクロフォン、プロジェクタ等である。
【０１９２】
この電子会議システム１００は、上述した方法により、ユーザ毎にジェスチャコマンドの設定及び変更が可能であり、表示画面部５としての大画面インターフェイスを利用した効率のよい会議を行うことができる。
【０１９３】
図２３は、本発明のジェスチャコマンド入力装置の第１１の実施の形態を示す図であり、本実施の形態は、電子帳簿システムに応用したものである。
【０１９４】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１９５】
図２３は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしての電子帳簿システム１１０のシステム構成図であり、電子帳簿システム１１０は、上記第１の実施の形態と同様のジェスチャ入力部２、情報処理装置４、表示画面部５、記憶部６及びユーザ特定部７を備えているとともに、情報処理装置４に、ネットワークＮＷを介して、情報処理サーバ１１１ａ〜１１１ｎが接続されている。
【０１９６】
この電子帳簿システム１１０は、携帯情報端末として構成されており、表示画面部５は、タッチパネル方式の表示装置であって、ジェスチャ入力部２が組み込まれたものである。なお、表示画面部に組み込まれるジェスチャ入力部２としては、タッチパネル方式以外にも、光学的、磁気的、電気的手段、あるいは、超音波を利用して座標入力を行うことが可能な座標入力装置と組み合わせたものであってもよい。
【０１９７】
情報処理装置４は、ネットワークＮＷに接続されており、ユーザ認識情報に基づいて、ネットワークＮＷに接続された情報処理サーバ１１１ａ〜１１１ｎから必要なユーザのジェスチャコマンド情報及び他の電子情報を入手することができる。
【０１９８】
ユーザ特定部７は、電子帳簿システム１１０の場合、ユーザが数分おきに変わるような状況が考えにくく、ある程度セキュリティ強度があった方がよいため、ユーザ認識・切換においては、上述のように、指紋を用いるか、眼球の虹彩を用いるか、声紋を用いるか、あるいは、携帯型の情報記憶媒体を用いてユーザの特定を行うのが適当である。
【０１９９】
このように、本実施の形態の電子帳簿システム１１０は、各ユーザがそれぞれ自己の登録したジェスチャコマンド入力を行うことができ、他の人が電子帳簿システム１１０を用いる場合にも、面倒な操作を行うことなく、ユーザの切り換えを行って、アプリケーション毎にジェスチャコマンドを覚えることなく、迅速な入力・処理を行うことができるとともに、屋外や工場内で電子機器を扱う場合の操作性を向上させることができる。
【０２００】
なお、携帯型の電子帳簿システム１１０は、交代制で同じ電子帳簿システム１１０を使い回す場合には、その利便性及び同じ製品が利用可能な場合には、場所を問わず同じ環境で使えるように、ジェスチャコマンド入力情報だけでなく、ユーザ独自のソフトウェア環境や必要なデータを呼び出せるような機能を付加してもよい。
【０２０１】
図２４は、本発明のジェスチャコマンド入力装置の第１２の実施の形態を示す図であり、本実施の形態は、電子案内システムに応用したものである。
【０２０２】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０２０３】
図２４は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしての電子案内システム１２０のシステム構成図であり、電子案内システム１２０は、上記第１の実施の形態と同様の情報処理装置４、記憶部６及びユーザ特定部７を備えており、ジェスチャ入力部と表示部を兼ねたタッチパネル式表示画面部１２１を備えているとともに、情報処理装置４に、ネットワークＮＷを介して、情報処理サーバ１２２ａ〜１２２ｎが接続されている。
【０２０４】
この電子案内システム１２０は、携帯情報端末装置として構成されており、タッチパネル式表示画面部１２１は、ジェスチャ入力部と表示部の機能を兼ね備えている。このジェスチャ入力部と表示部の機能を備えたものとしては、タッチパネル式表示画面部１２１に限るものではなく、例えば、光学的、磁気的、電気的、あるいは、超音波を利用して座標入力を行うことが可能な座標入力装置と組み合わせたものであってもよい。
【０２０５】
情報処理装置４は、ネットワークＮＷに接続されており、ユーザ認識情報に基づいて、ネットワークＮＷに接続された情報処理サーバ１２２ａ〜１２２ｎから必要なユーザのジェスチャコマンド情報及び他の電子情報を入手することができる。
【０２０６】
ユーザ特定部７は、電子案内システム１２０が専任のユーザにより常時操作される場合には、あまりユーザを切り換える必要がないため、ある程度セキュリティ強度があった方がよいため、ユーザ認識・切換においては、上述のように、指紋を用いるか、眼球の虹彩を用いるか、声紋を用いるか、あるいは、携帯型の情報記憶媒体を用いてユーザの特定を行うのが適当であり、また、電子案内システム１２０が一般の人が操作する場合には、携帯型の情報記憶媒体を用いてユーザの特定を行うのが適当である。
【０２０７】
また、電子案内システム１２０は、ネットワークＮＷを介して情報処理サーバ１２２ａ〜１２２ｎから取得した電子案内情報を携帯型情報記憶媒体に保存できるようにしてもよいし、携帯型情報記録媒体としては、携帯電話装置を用いてもよい。このような携帯型情報記憶媒体から電子案内システム１２０に対してダイアルアップを行うか、またはＩｒＤＡのような近距離赤外線またはＢｌｕｅｔｏｏｔｈのような近距離無線通信を利用して、データのやり取りを行って、各ユーザのジェスチャコマンド入力可能状態とするようにしてもよい。
【０２０８】
このように、本実施の形態の電子案内システム１２０は、各ユーザがそれぞれ自分の登録したジェスチャコマンド入力を行うことができるとともに、登録されているユーザ個人のデータを活用することができ、他の人が電子案内システム１２０を用いる場合にも、面倒な操作を行うことなく、ユーザ切換を行って、アプリケーション毎にジェスチャコマンドを覚えることなく、迅速な利用を行うことができる。
【０２０９】
図２５は、本発明のジェスチャコマンド入力装置の第１３の実施の形態を示す図であり、本実施の形態は、カーナビゲーションシステムに応用したものである。
【０２１０】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０２１１】
図２５は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしてのカーナビゲーションシステム１３０のシステム構成図であり、カーナビゲーションシステム１３０は、上記第１の実施の形態と同様の情報処理装置４、記憶部６及びユーザ特定部７を備えており、ジェスチャ入力部と表示部を兼ねたタッチパネル式表示画面部１３１、ＧＰＳアンテナ／コントローラ１３２、ジャイロセンサ１３３、オーディオ機器／音声処理部１３４及びスピーカ１３５等を備えている。
【０２１２】
タッチパネル式表示画面部１３１は、ジェスチャ入力部と表示部の機能を兼ね備えている。このジェスチャ入力部と表示部の機能を備えたものとしては、タッチパネル式表示画面部１３１に限るものではなく、例えば、光学的、磁気的、電気的、あるいは、超音波を利用して座標入力を行うことが可能な座標入力装置と組み合わせたものであってもよい。
【０２１３】
カーナビゲーションシステム１３０は、ＧＰＳアンテナ／コントローラ１３２が人工衛星１３６から取得する車の位置を算出するための情報及びを取得し、また、ジャイロセンサ９０からの信号を元に車の現在位置を算出する。また、ＧＰＳアンテナ／コントローラ１３２は、情報処理サーバ１３７から人工衛星１３６に送られた情報を受信する。
【０２１４】
情報処理装置４は、ＧＰＳアンテナ／コントローラ１３２から取得した位置情報やジャイロセンサ１３３から取得した位置情報及び記憶部６に記録されている情報から、地図や道案内の情報をタッチパネル式表示画面部１３１に表示したり、最短のルートを計算する機能を有しており、取得した各種情報をオーディオ機器／音声処理部１３４を介してスピーカ１３５から拡声出力する。
【０２１５】
このオーディオ機器／音声処理部１３４及びスピーカ１３５は、カーナビゲーションシステム１３０が、車に搭載されているラジオ電波を受信して変調した音声信号及び磁気式カセットテープ、コンパクトディスク、ＭＤ等の記録媒体に記録された音楽を再生するオーディオ装置と一体化されている場合には、この車に搭載されているオーディオ装置を利用することができる。
【０２１６】
カーナビゲーションシステム１３０は、個人向けの用途としてではなく、レンタカー等のように不特定の人物に貸出すサービスにおいて用いられている場合には、ユーザが数分おきに変わるような状況が考えにくいため、ユーザ特定部７でのユーザ認識・切り換えにおいては、携帯型の情報記憶媒体を用いて行うのが適当である。特に、カーナビゲーションシステム１３０は、ＣＤ規格やＤＶＤ規格の記録媒体を読み取るオーディオ装置を備えていることが多いため、これらをユーザ特定部７として利用することができ、このようにすると、現在普及しているカーナビゲーションに大幅な変更を加えることなく、カーナビゲーションシステム１３０を適用することができる。
【０２１７】
このように、本実施の形態のカーナビゲーションシステム１３０は、各人の操作しやすいジェスチャコマンドでカーナビげーションシステム１３０を使用することができ、安全運転を妨げることなく、カーナビゲーションシステム１３０の操作を行うことができ、事故を適切に防止することができる。
【０２１８】
なお、カーナビゲーションシステム１３０は、場時を問わず同じ環境で使えるように、ジェスチャコマンド入情報だけでなく、ユーザ独自のソフトウェア環境や主要目的地等の必要なデータを呼び出せるような機能を付加してもよい。
【０２１９】
以上、本発明者によってなされた発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【０２２０】
【発明の効果】
請求項１記載の発明のジェスチャコマンド入力装置によれば、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するに際して、入力手段に対してジェスチャ入力を行うユーザを、ユーザ認識手段が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザが入力手段から入力したジェスチャをコマンドに変換するので、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにすることができるとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識することができ、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性を向上させることができる。
【０２２１】
請求項２記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶手段から検索して、当該アプリケーション固有のコマンドに変換するので、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行うことができ、より一層利用性を向上させることができる。
【０２２２】
請求項３記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて入力手段から入力されたジェスチャをコマンドに変換するので、アプリケーション毎にジェスチャコマンドを自動的に切り換えることができ、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性を向上させることができる。
【０２２３】
請求項４記載の発明のジェスチャコマンド入力装置によれば、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するので、誤操作を防ぐことができるとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なうことができ、より一層利用性を向上させることができる。
【０２２４】
請求項５記載の発明のジェスチャコマンド入力装置によれば、記憶手段に登録されているユーザ固有のジェスチャコマンドまたは共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて入力されたジェスチャをコマンドに変換するので、多数のユーザが頻繁にユーザを切り換えてジェスチャ入力を行う場合やアプリケーション固有のジェスチャコマンドで行った方が操作しやすい場合等にジェスチャコマンドを簡単かつ速やかに切り換えることができ、操作の混乱を防止して、より一層利用性を向上させることができる。
【０２２５】
請求項６記載の発明のジェスチャコマンド入力装置によれば、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段で選択されたユーザに基づいてジェスチャコマンド変換処理を行うので、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２６】
請求項７記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの顔の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの顔の画像を撮像して、記憶手段に記録されているユーザの顔の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２７】
請求項８記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの指紋の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの指紋の画像を撮像して、記憶手段に記録されているユーザの指紋の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２８】
請求項９記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの眼球の虹彩の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの眼球の虹彩の画像を撮像して、記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２９】
請求項１０記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの音声による暗号を取得して、記憶手段に記録されているユーザの音声による暗号と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２３０】
請求項１１記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの声紋とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの声紋を取得して、記憶手段に記録されているユーザの声紋と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２３１】
請求項１２記載の発明のジェスチャコマンド入力装置によれば、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した記録媒体を装着すると、読取手段を介して当該記憶媒体から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換するので、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにすることができるとともに、どのような場所でも自己のジェスチャコマンドを利用することができ、より一層利用性を向上させることができる。
【図面の簡単な説明】
【図１】本発明のジェスチャコマンド入力装置の第１の実施の形態を適用したジェスチャコマンド入力装置のシステムブロック構成図。
【図２】図１のジェスチャコマンド入力装置の機能ブロック構成図。
【図３】図１の記録部にユーザ毎に登録されているジェスチャコマンドの一例としての削除コマンド（ａ）とコピーコマンド（ｂ）を示す図。
【図４】図１の記録部に他のユーザに登録されているジェスチャコマンドの一例としての削除コマンド（ａ）とコピーコマンド（ｂ）を示す図。
【図５】図１のジェスチャコマンド入力装置によるジェスチャコマンド入力処理を示すフローチャート。
【図６】本発明のジェスチャコマンド入力装置の第２の実施の形態を適用したジェスチャコマンド入力装置の記憶部に登録されているジェスチャコマンドとメニュ−名及びショートカットキーの割当の一例を示す図。
【図７】本発明のジェスチャコマンド入力装置の第２の実施の形態を適用したジェスチャコマンド入力装置によるショートカットを優先して検索する場合のジェスチャコマンド入力処理を示すフローチャート。
【図８】本発明のジェスチャコマンド入力装置の第２の実施の形態を適用したジェスチャコマンド入力装置によるメニュー名を優先して検索する場合のジェスチャコマンド入力処理を示すフローチャート。
【図９】本発明のジェスチャコマンド入力装置の第３の実施の形態を適用したジェスチャコマンド入力装置の記憶部にアプリケーションＡに対応して登録されているジェスチャコマンドの一例としての削除コマンド（ａ）とグループ化コマンド（ｂ）を示す図。
【図１０】本発明のジェスチャコマンド入力装置の第３の実施の形態を適用したジェスチャコマンド入力装置の記憶部にアプリケーションＢに対応して登録されているジェスチャコマンドの一例としてのグループ化コマンドを示す図。
【図１１】本発明のジェスチャコマンド入力装置の第３の実施の形態を適用したジェスチャコマンド入力装置の記憶部に登録されている共通ジェスチャコマンドの一例としての削除コマンド（ａ）とグループ化コマンド（ｂ）を示す図。
【図１２】本発明のジェスチャコマンド入力装置の第４の実施の形態を適用したジェスチャコマンド入力装置のエラー出力を音声出力する場合の概略機能ブロック構成図。
【図１３】本発明のジェスチャコマンド入力装置の第４の実施の形態を適用したジェスチャコマンド入力装置のエラー出力を表示出力する場合の概略機能ブロック構成図。
【図１４】図１３のジェスチャコマンド入力装置の表示画面部のユーザを認識してアプリケーションが立ち上がっている場合の仮想画面の一例を示す図。
【図１５】図１３のジェスチャコマンド入力装置の表示画面部のエラーが発生している場合の仮想画面の一例を示す図。
【図１６】本発明のジェスチャコマンド入力装置の第５の実施の形態を適用したジェスチャコマンド入力装置の表示画面部に表示されるジェスチャコマンド選択用のダイアログの一例を示す図。
【図１７】本発明のジェスチャコマンド入力装置の第６の実施の形態を適用したジェスチャコマンド入力装置の表示画面部に表示されるユーザ選択用のダイアログの一例を示す図。
【図１８】本発明のジェスチャコマンド入力装置の第６の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図１９】本発明のジェスチャコマンド入力装置の第７の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図２０】本発明のジェスチャコマンド入力装置の第８の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図２１】本発明のジェスチャコマンド入力装置の第９の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図２２】本発明のジェスチャコマンド入力装置の第１０の実施の形態の応用システムとしての電子会議システムの要部ブロック構成図。
【図２３】本発明のジェスチャコマンド入力装置の第１１の実施の形態の応用システムとしての電子帳簿システムの要部ブロック構成図。
【図２４】本発明のジェスチャコマンド入力装置の第１２の実施の形態の応用システムとしての電子案内システムの要部ブロック構成図。
【図２５】本発明のジェスチャコマンド入力装置の第１３の実施の形態の応用システムとしてのカーナビゲーションシステムの要部ブロック構成図。
【符号の説明】
１ ジェスチャコマンド入力装置
２ ジェスチャ入力部
３ 制御部
４ 情報処理部
５ 表示画面部
５ａ 表示画面
６ 記憶部
７ ユーザ特定部
１１ 入力ジェスチャコマンド
１２ コマンド変換処理ソフト
１３ ユーザ特定情報
１４ ジェスチャデータベース
１５ コマンド
１６ アプリケーション
１７ アプリケーションコマンド情報
２１ サラウンドドライバ
２２ 音声出力部
２３ ビデオドライバ
３０ 仮想画面
３１ ユーザダイアログ部
４０ ダイアログ
４１ ユーザ選択ダイアログ
５１ ユーザ認識部
５２ ユーザ選択ダイアログ部
５３ コマンド変換処理ソフト／アプリケーション部
５４ 登録ユーザ記憶部
６１ 撮像装置
６２ 画像信号処理部
６３ コマンド変換処理ソフト／アプリケーション部
７１ 集音装置
７２ 音声信号処理部
８０ ジェスチャコマンド情報
８１ 携帯型記録媒体
８２ 読取装置
１００ 電子会議システム
１０２ａ〜１０２ｎ 情報処理装置
１０３ａ〜１０３ｎ 周辺機器
１１０ 電子帳簿システム
１１１ａ〜１１１ｎ 情報処理サーバ
１２０ 電子案内システム
１２１ タッチパネル式表示画面部
１２２ａ〜１２２ｎ 情報処理サーバ
１３０ カーナビゲーションシステム
１３１ タッチパネル式表示画面部
１３２ ＧＰＳアンテナ／コントローラ
１３３ ジャイロセンサ
１３４ オーディオ機器／音声処理部
１３５ スピーカ
【発明の属する技術分野】
本発明は、ジェスチャコマンド入力装置に関し、詳細には、ユーザ認識、ユーザ認証技術と組み合わせてユーザ切り換えを行って、操作性・利便性を向上させるコンピュータのユーザインターフェイスとして利用するジェスチャコマンド入力装置に関する。
【０００２】
【従来の技術】
従来、コンピュータのユーザインタフェースの新しい方法として、マウスでメニューを指したり、キーボードからコマンドを打ち込む代わりに、「ジェスチャ」と呼ばれるペンやマウスなどの入力装置で描いた軌跡に対してパターン認識を行い、予め定義されたジェスチャのパターンが現れた時に、対応するコマンドを実行させるペンＯＳ（Operating System）やペンシステムなどのジェスチャ認識方法がある（特開平３−７１３２２号公報等参照）。
【０００３】
特に、従来、個人がジェスチャコマンドを設定して、ジェスチャコマンドの使用を簡単にする技術として、多量の学習データを与えず、利用者が設定したジェスチャを認識できるジェスチャ認識方法が提案されている（特開平６−１２４９３号公報参照）。
【０００４】
また、従来、ポインティングディバイスによって入力されたジェスチャイメージに対応した処理を実行する機能を備えた装置における前記ジェスチャイメージ登録方法にあって、入力された１つの任意のジェスチャイメージに任意に選択した処理を割り付けて登録するジェスチャイメージ登録方法が提案されている（特開平８−１３７６１１号公報参照）。
【０００５】
すなわち、この従来技術は、ユーザが登録した任意のジェスチャイメージに１個以上の複数の機能や単語を登録している。
【０００６】
さらに、従来、ユーザ認識技術として、人の顔画像の特徴点によりマッチングを行う顔画像認識、音声の周波数特性により人物を特定する声紋認識、画像処理を用いて、指紋から人物を特定する指紋認識、音声信号処理と、言語処理を組み合わせた音声認識、個人情報を記憶したコンパクトなカードを認証に用いるカード認証等の技術が提案されている。
【０００７】
このようなジェスチャコマンド認識技術は、例えば、大画面を利用した会議アプリケーション、または、画像等のオブジェクトを大量に扱うようなアプリケーション等では、所望の操作を行うことが可能な技術として利用されている。
【０００８】
また、タッチパネル等を利用して情報端末の操作を行うような場合にも、ジェスチャコマンドが用いられている。
【０００９】
さらに、標準の設定ではジェスチャコマンドは存在しないが、ポインティングデバイスのドライバと連動させ、ジェスチャコマンド入力を可能にしたり、個人が自由にジェスチャコマンドを登録できるユーティリティーソフトが存在しており、このような分野では、上記従来技術が活用されている。
【００１０】
【発明が解決しようとする課題】
しかしながら、このような従来のジェスチャコマンド認識技術にあっては、ジェスチャコマンドを用いてアプリケーション上で任意の操作を行う場合、アプリケーション毎にコマンドを覚えさせる必要があり、かつ、操作上同じ意味を持つコマンドがアプリケーション毎に異なっている場合もある。このようなことはユーザを混乱させ、学習に多くの時間を要することとなり、利便性を大きく損ねるという問題があった。
【００１１】
また、従来のジェスチャコマンド認識技術にあっては、アプリケーションソフトのバージョンの違いによりジェスチャコマンドが異なっていたり、所望のジェスチャコマンドが存在しなかったり、あるいは、使用する情報端末によっては、他人が異なったジェスチャコマンドの設定を行っている場合にも同様の現象が発生し、利用性が悪いという問題があった。
【００１２】
さらに、ジェスチャコマンドを利用した操作においては、アプリケーションの指定するジェスチャコマンドがユーザにとって操作しにくいと感じる場合には、自分の操作しやすいジェスチャコマンドを登録して、どのような場所においても常に使いたいという要求も生じるが、従来のジェスチャコマンド認識技術にあっては、このような問題について検討されていない。
【００１３】
そこで、請求項１記載の発明は、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するに際して、入力手段に対してジェスチャ入力を行うユーザを、ユーザ認識手段が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザが入力手段から入力したジェスチャをコマンドに変換することにより、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにするとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識し、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１４】
請求項２記載の発明は、記憶手段に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶手段から検索して、当該アプリケーション固有のコマンドに変換することにより、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行え、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１５】
請求項３記載の発明は、記憶手段に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて入力手段から入力されたジェスチャをコマンドに変換することにより、アプリケーション毎にジェスチャコマンドを自動的に切り換え、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１６】
請求項４記載の発明は、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知することにより、誤操作を防ぐとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なえるようにし、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１７】
請求項５記載の発明は、記憶手段に登録されているユーザ固有のジェスチャコマンドまたは共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて入力されたジェスチャをコマンドに変換することにより、多数のユーザが頻繁にユーザを切り換えてジェスチャ入力を行う場合やアプリケーション固有のジェスチャコマンドで行った方が操作しやすい場合等にジェスチャコマンドを簡単かつ速やかに切り換え、操作の混乱を防止して、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１８】
請求項６記載の発明は、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段で選択されたユーザに基づいてジェスチャコマンド変換処理を行うことにより、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００１９】
請求項７記載の発明は、記憶手段に、ユーザの顔の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの顔の画像を撮像して、記憶手段に記録されているユーザの顔の画像と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２０】
請求項８記載の発明は、記憶手段に、ユーザの指紋の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの指紋の画像を撮像して、記憶手段に記録されているユーザの指紋の画像と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２１】
請求項９記載の発明は、記憶手段に、ユーザの眼球の虹彩の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの眼球の虹彩の画像を撮像して、記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２２】
請求項１０記載の発明は、記憶手段に、ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの音声による暗号を取得して、記憶手段に記録されているユーザの音声による暗号と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２３】
請求項１１記載の発明は、記憶手段に、ユーザの声紋とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの声紋を取得して、記憶手段に記録されているユーザの声紋と照らし合わせて、ユーザを認識することにより、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換え、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２４】
請求項１２記載の発明は、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した記録媒体を装着すると、読取手段を介して当該記憶媒体から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換することにより、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにするとともに、どのような場所でも自己のジェスチャコマンドを利用できるようにし、より一層利用性の良好なジェスチャコマンド入力装置を提供することを目的としている。
【００２５】
【課題を解決するための手段】
請求項１記載の発明は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第一の記憶手段を有する情報処理装置とネットワークを介して接続されており、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置において、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第二の記憶手段と、前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手段と、前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手段が認識すると、前記第二の記憶手段において当該認識されたユーザに対応したユーザ固有のジェスチャコマンドがあるか検索し、前記第二の記憶手段に前記ジェスチャコマンドがないと、前記第一の記憶手段において前記ジェスチャコマンドを検索し、前記第一の記憶手段に前記ジェスチャコマンドがあると、前記第一の記憶手段から前記第二の記憶手段に前記ジェスチャコマンドを転送して記憶させ、前記第二の記憶手段に転送された前記ジェスチャコマンドに基づき、前記当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手段と、を備えることにより、上記目的を達成している。
【００２６】
上記構成によれば、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するに際して、入力手段に対してジェスチャ入力を行うユーザを、ユーザ認識手段が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザが入力手段から入力したジェスチャをコマンドに変換するので、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにすることができるとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識することができ、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性を向上させることができる。
【００２７】
この場合、例えば、請求項２に記載するように、前記第一又は第二の記憶手段は、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録可能であり、前記制御手段は、前記入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを前記第一又は第二の記憶手段から検索して、当該アプリケーション固有のコマンドに変換することであってもよい。
【００２８】
上記構成によれば、記憶手段に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶手段から検索して、当該アプリケーション固有のコマンドに変換するので、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行うことができ、より一層利用性を向上させることができる。
【００２９】
また、例えば、請求項３に記載するように、前記第一又は第二の記憶手段は、アプリケーションソフト毎にユーザ固有のジェスチャコマンドが登録可能であり、前記制御手段は、前記認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して前記第一又は第二の記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて前記入力手段から入力されたジェスチャを前記コマンドに変換するものであってもよい。
【００３０】
上記構成によれば、記憶手段に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて入力手段から入力されたジェスチャをコマンドに変換するので、アプリケーション毎にジェスチャコマンドを自動的に切り換えることができ、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性を向上させることができる。
【００３１】
さらに、例えば、請求項４に記載するように、前記制御手段は、前記入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するものであってもよい。
【００３２】
上記構成によれば、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するので、誤操作を防ぐことができるとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なうことができ、より一層利用性を向上させることができる。
【００３３】
また、例えば、請求項５に記載するように、前記ジェスチャコマンド入力装置は、前記第一又は第二の記憶手段に登録されているユーザ固有のジェスチャコマンドまたは前記共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段を備え、前記制御手段は、当該ジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて前記入力されたジェスチャを前記コマンドに変換するであってもよい。
【００３４】
上記構成によれば、記憶手段に登録されているユーザ固有のジェスチャコマンドまたは共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて入力されたジェスチャをコマンドに変換するので、多数のユーザが頻繁にユーザを切り換えてジェスチャ入力を行う場合やアプリケーション固有のジェスチャコマンドで行った方が操作しやすい場合等にジェスチャコマンドを簡単かつ速やかに切り換えることができ、操作の混乱を防止して、より一層利用性を向上させることができる。
【００３５】
さらに、例えば、請求項６に記載するように、前記ジェスチャコマンド入力装置は、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段を備え、前記制御手段は、当該ユーザ選択手段で選択されたユーザに基づいて前記ジェスチャコマンド変換処理を行うものであってもよい。
【００３６】
上記構成によれば、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段で選択されたユーザに基づいてジェスチャコマンド変換処理を行うので、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００３７】
また、例えば、請求項７に記載するように、前記第二の記憶手段は、前記ユーザの顔の画像と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、前記入力手段からジェスチャコマンドの入力を行う前記ユーザの顔の画像を撮像して、前記第二の記憶手段に記録されているユーザの顔の画像と照らし合わせて、前記ユーザを認識するものであってもよい。
【００３８】
上記構成によれば、記憶手段に、ユーザの顔の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの顔の画像を撮像して、記憶手段に記録されているユーザの顔の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００３９】
さらに、例えば、請求項８に記載するように、前記第二の記憶手段は、前記ユーザの指紋の画像と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、前記入力手段からジェスチャコマンドの入力を行う前記ユーザの指紋の画像を撮像して、前記第二の記憶手段に記録されているユーザの指紋の画像と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４０】
上記構成によれば、記憶手段に、ユーザの指紋の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの指紋の画像を撮像して、記憶手段に記録されているユーザの指紋の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４１】
また、例えば、請求項９に記載するように、前記第二の記憶手段は、前記ユーザの眼球の虹彩の画像と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、前記入力手段からジェスチャコマンドの入力を行う前記ユーザの眼球の虹彩の画像を撮像して、前記第二の記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４２】
上記構成によれば、記憶手段に、ユーザの眼球の虹彩の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの眼球の虹彩の画像を撮像して、記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４３】
さらに、例えば、請求項１０に記載するように、前記第二の記憶手段は、前記ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備え、前記入力手段からジェスチャの入力を行うユーザの音声による前記暗号を取得して、前記第二の記憶手段に記録されているユーザの音声による暗号と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４４】
上記構成によれば、記憶手段に、ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの音声による暗号を取得して、記憶手段に記録されているユーザの音声による暗号と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４５】
また、例えば、請求項１１に記載するように、前記第二の記憶手段は、前記ユーザの声紋と前記ジェスチャコマンドを対応させて記憶し、前記ユーザ認識手段は、前記入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備え、前記入力手段からジェスチャの入力を行う前記ユーザの声紋を取得して、前記第二の記憶手段に記録されているユーザの声紋と照らし合わせて、前記ユーザを認識するものであってもよい。
【００４６】
上記構成によれば、記憶手段に、ユーザの声紋とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの声紋を取得して、記憶手段に記録されているユーザの声紋と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【００４７】
さらに、例えば、請求項１２に記載するように、前記ジェスチャコマンド入力装置は、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段を備え、ジェスチャ入力を行うユーザが、自己を認識させる情報と前記ジェスチャコマンドを記録した記録媒体を前記読取手段に装着すると、前記制御手段が、前記読取手段を介して当該記憶媒体から前記情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて前記入力手段から入力されるジェスチャをコマンドに変換するものであってもよい。
請求項１３記載の発明は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第一の記憶手段を有する情報処理装置とネットワークを介して接続されており、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置によるジェスチャコマンド入力方法において、前記ジェスチャコマンド入力装置は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第二の記憶手段を有し、前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手順と、前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手順が認識すると、前記第二の記憶手段において当該認識されたユーザに対応したユーザ固有のジェスチャコマンドがあるか検索し、前記第二の記憶手段に前記ジェスチャコマンドがないと、前記第一の記憶手段において前記ジェスチャコマンドを検索し、前記第一の記憶手段に前記ジェスチャコマンドがあると、前記第一の記憶手段から前記第二の記憶手段に前記ジェスチャコマンドを転送して記憶させ、前記第二の記憶手段に転送された前記ジェスチャコマンドに基づき、前記当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手順と、を備えることにより、上記目的を達成している。
【００４８】
上記構成によれば、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した記録媒体を装着すると、読取手段を介して当該記憶媒体から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換するので、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにすることができるとともに、どのような場所でも自己のジェスチャコマンドを利用することができ、より一層利用性を向上させることができる。
【００４９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を添付図面に基づいて詳細に説明する。なお、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００５０】
図１〜図５は、本発明のジェスチャコマンド入力装置の第１の実施の形態を示す図であり、本実施の形態は、請求項１に対応するものである。
【００５１】
図１は、本発明のジェスチャコマンド入力装置の第１の実施の形態を適用したジェスチャコマンド入力装置１のシステムブロック構成図である。
【００５２】
図１において、ジェスチャコマンド入力装置１は、ジェスチャ入力部２、制御部３、情報処理部４、表示画面部５、記憶部６及びユーザ特定部７等を備えている。
【００５３】
ジェスチャ入力部（入力手段）２は、情報機器に付属のマウス、表示画面部５に接続されたタッチパネル、あるいは、光学式ポインタや専用の入力ペンデバイス等の座標を音波、赤外線、電磁波等によって読み取る入力装置であり、ユーザがジェスチャコマンド入力及び加筆等を行う。
【００５４】
記憶部（記憶手段）６は、ハードディスク等で構成され、ＯＳ（Operating System）や本実施の形態のジェスチャコマンド入力処理プログラム及び必要なデータが予め格納されている。特に、記憶部６は、ジェスチャ入力部２から入力されたジェスチャコマンドが各ユーザ毎に登録されて、記憶する。
【００５５】
ユーザ特定部（ユーザ認識手段）７は、ユーザ情報を情報処理部４に対して入力するための装置であり、後述するように、ユーザを区別する機能を有したカード等の記憶メディアを読み取る装置を有してユーザ情報を取得して情報処理部４に出力し、または、情報処理部４が、音声入力装置または画像処理装置を有し音声処理、画像処理を行ってユーザを特定してユーザ情報を情報処理部４に出力する。
【００５６】
情報処理部（制御手段）４は、パーソナルコンピュータ等の情報処理装置であり、本実施の形態のジェスチャコマンド入力処理プログラムと必要なデータが導入されることで、ジェスチャコマンド入力処理を実行する。情報処理部４は、ユーザ特定部７からのユーザ情報の信号処理、記憶部６に記録されたデータを参照してユーザを認識して特定するユーザ特定処理及び特定されたユーザのジェスチャコマンド情報を参照しながらジェスチャ入力部２から送られてきたジェスチャコマンドをアプリケーションのコマンドに変換するコマンド変換処理等のジェスチャコマンド入力処理を実行する。
【００５７】
このジェスチャコマンド入力装置１は、記憶部６に格納されているジェスチャコマンドソフトウェアにより図２に示す機能ブロックが構築され、この機能ブロックでは、入力ジェスチャコマンド１１、コマンド変換処理ソフト１２、ユーザ特定情報１３、ジェスチャデータベース１４、コマンド１５を有して、ジェスチャコマンド入力装置１に格納されてジェスチャコマンドを利用するアプリケーション１６及びアプリケーションコマンド情報１７を備えている。
【００５８】
図２において、ジェスチャコマンド入力装置１は、図１のジェスチャ入力部２から入力されたジェスチャコマンド１１は、情報処理部４上で実行されるコマンド変換処理ソフト１２に渡され、ユーザ特定部７と情報処理部４及び記憶部６を利用して認識されたユーザ情報１３が、関連付けられたジェスチャデータベース１４とともに、コマンド変換処理ソフト１２で参照される。
【００５９】
ジェスチャコマンド入力装置１は、以下の方法でユーザを特定する。すなわち、ジェスチャコマンド入力装置１は、コマンド変換処理ソフト１２で、アプリケーション１６で使用可能なコマンドに関する情報を、アプリケーションコマンド情報１７として一時記憶して参照し、入力されたジェスチャコマンド１１に対して、認識されたユーザ情報１３に相当するユーザ個人のジェスチャコマンドデータベース１４から対応するジェスチャコマンドを認識する。ジェスチャコマンド入力装置１は、コマンド変換処理ソフト１２で認識されたコマンドが、使用しているアプリケーション１６でどのコマンドに相当するかを、アプリケーションコマンド情報１７をコマンド変換処理ソフト１２が、参照して調べて、ユーザの入力ジェスチャコマンド１１をアプリケーション固有のコマンド１５に変換し、アプリケーション１６に渡す。
【００６０】
次に、本実施の形態の作用を説明する。本実施の形態のジェスチャコマンド入力装置１は、予め記憶部６に各ユーザ毎に当該ユーザがジェスチャ入力部２から入力したジェスチャコマンドが登録されており、例えば、ユーザＡに対して、図３（ａ）に示す削除コマンドＡＳとコピーコマンドＡＣが登録されており、ユーザＢに対して、図４（ａ）に示す削除コマンドＢＳとコピーコマンドＢＣが登録されている。なお、図３及び図４では、ジェスチャコマンドの対象オブジェクトに対する大きさ、筆記速度に関しては簡単のため省略してあり、また、分かりやすくするために、ジェスチャの一つの動作を線で表し、書き順を丸印で囲んだ数字で示している。
【００６１】
図３及び図４において、オブジェクトを削除する削除コマンドＡＳと削除コマンドＢＳを比較してみると、ユーザＡは、×印の形状のジェスチャコマンドを記憶部６に登録しており、一方ユーザＢは、英字「Ｄ」の形状をしたジェスチャコマンドを記憶部６に登録している。
【００６２】
このようなジェスチャコマンドが記憶部６に登録されている場合に、ユーザＡが、図３（ａ）の×印状のコマンド入力をジェスチャ入力部２から使用中のアプリケーション１６上のあるオブジェクトに対して行う場合、ユーザ特定部７によって、ユーザＡであることが認識され、ジェスチャ入力部２から図３（ａ）の×印を入力すると、情報処理部４が入力されたジェスチャコマンドが削除コマンドＡＳであることを、記憶部６にユーザＡに対応して記憶されているジェスチャコマンドから認識して、指定されたオブジェクトを削除する。
【００６３】
次に、アプリケーションの操作をユーザＢが行う場合、ユーザ特定部７がユーザＢであることを認識すると、ジェスチャコマンド入力装置１は、ユーザＢによるジェスチャコマンドの入力を可能な状態とする。ユーザＢが、例えば、図４（ａ）のＤ字状のジェスチャコマンドをジェスチャ入力部２からあるオブジェクトに対して行うと、情報処理部４が入力されたジェスチャコマンドが削除コマンドＢＳであることを、記憶部６にユーザＢに対応して記憶されているジェスチャコマンドから認識して、指定されたオブジェクトを削除する。
【００６４】
そして、ジェスチャコマンド入力装置１は、操作者がユーザＢであることを認識している状態で、ユーザＡの削除コマンドＡＳである×印のジェスチャコマンドがジェスチャ入力部２から入力されると、情報処理部４が、当該オブジェクトの削除を行わず、当該入力されたジェスチャコマンドに対応するジェスチャコマンドが記憶部６に登録されていないときには、入力されたジェスチャコマンドの認識に失敗することとなり、もしこのジェスチャが記憶部６に他のオブジェクト操作を行うジェスチャコマンドとして登録されていると、そのジェスチャコマンド入力を実行することになる。
【００６５】
このように、本実施の形態のジェスチャコマンド入力装置１は、ユーザの身体の一部または専用の指示媒体を用いて、ジェスチャ入力部２に対して行われたジェスチャ入力をコマンドに変換するに際して、ジェスチャ入力部２に対してジェスチャ入力を行うユーザを、ユーザ特定部７が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶部６の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザがジェスチャ入力部２から入力したジェスチャをコマンドに変換している。
【００６６】
したがって、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにすることができるとともに、ジェスチャ入力部２に、どのユーザがジェスチャ入力を行っているかを認識することができ、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性を向上させることができる。
【００６７】
なお、上記実施の形態においては、ジェスチャコマンド入力装置１が、その記憶部６に予めユーザ毎のジェスチャコマンドを記憶しているが、ユーザ毎のジェスチャコマンドは、ジェスチャコマンド入力装置１の内部の記憶部６に記憶するものに限るものではなく、例えば、ジェスチャコマンド入力装置１がネットワークに接続され、当該ネットワークに接続されている記憶装置や他の情報処理装置（パーソナルコンピュータ等）の記憶部に記憶されていてもよい。
【００６８】
この場合、ジェスチャコマンド入力装置１は、図５に示すように、ジェスチャコマンドの取得処理を行う。
【００６９】
すなわち、ジェスチャコマンド入力装置１は、ユーザが認識されると（ステップＳ１０１）、ジェスチャコマンド入力装置１のローカルな記憶装置（記憶部６）上に当該認識したユーザのジェスチャコマンドデータがあるか検索し（ステップＳ１０２）、ローカルな記録装置（記憶部６）に当該ユーザのジェスチャコマンドデータがあるかチェックする（ステップＳ１０３）。
【００７０】
ステップＳ１０３で、ローカルな記録装置（記憶部６）に当該ユーザのジェスチャコマンドデータがあると、ジェスチャコマンド入力装置１は、設定によってはユーザ名を通知し（ステップＳ１０７）、当該ユーザのジェスチャ入力モードを開始して（ステップＳ１０８）、ユーザ認識に成功してユーザ認識処理を終了する。このとき、ユーザ認識は成功したという戻り値が返される。
【００７１】
ステップＳ１０３で、ローカルな記録装置（記憶部６）に当該ユーザのジェスチャコマンドデータがないと、ジェスチャコマンド入力装置１は、ジェスチャコマンド入力装置１の接続されているネットワークに接続されている情報端末装置の記憶装置上に、当該ユーザのジェスチャコマンドデータがあるか検索し（ステップＳ１０４）、当該ネットワークに接続された記録装置に当該ユーザのジェスチャコマンドデータがあるかチェックする（ステップＳ１０５）。
【００７２】
ステップＳ１０５で、当該ネットワークに接続された記録装置に当該ユーザのジェスチャコマンドデータがあると、当該ネットワークに接続された記憶装置上の当該ユーザのジェスチャコマンドデータをローカルな記憶装置（記憶部６）に転送して記憶し（ステップＳ１０６）、次回以降何度もネットワークを検索する手間を省いて、設定によってはユーザ名を通知し（ステップＳ１０７）、当該ユーザのジェスチャ入力モードを開始して（ステップＳ１０８）、ユーザ認識に成功してユーザ認識処理を終了する。このとき、ユーザ認識は成功したという戻り値が返される。
【００７３】
ステップＳ１０５で、ネットワークに接続された記録装置に当該ユーザのジェスチャコマンドデータがないときには、ジェスチャコマンド入力装置１は、ジェスチャコマンド情報（ユーザ情報）が得られなかったことを、音声または画面表示等によって通知し（ステップＳ１０９）、ユーザ切り換えを、特にどのユーザ個人のジェスチャコマンド入力も行わない「デフォルト」の設定に戻して（ステップＳ１１０）、ユーザ認識処理を終了する。このとき、ユーザ認識に失敗したという戻り値が返される。
【００７４】
図６及び図７は、本発明のジェスチャコマンド入力装置の第２の実施の形態を示す図であり、本実施の形態は、請求項２に対応するものである。
【００７５】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【００７６】
本実施の形態のジェスチャコマンド入力装置１は、アプリケーションに依存せずに、共通に使えるジェスチャコマンド（共通ジェスチャコマンド）を記憶部６またはネットワーク上の情報処理装置の記憶装置に登録し、当該共通ジェスチャコマンドをアプリケーションに関連づけて使用可能とする。
【００７７】
すなわち、ジェスチャコマンド入力装置１の記憶部６等には、例えば、図６に示すように、指定した対象を削除するための削除コマンドＫＳと、指定された対象をクリップボードに貼り付けるためのコピージェスチャコマンドＫＣが登録されており、それぞれのジェスチャコマンドＫＳ、ＫＣに対して、対応するメニュー名及びショートカットキー割り当てが関連付けて記録されている。
【００７８】
そして、ジェスチャコマンド入力装置１は、共通ジェスチャコマンドを以下のようにして各アプリケーションに対して、例えば、共通ジェスチャコマンドに登録されたショートカットキー割り当てを優先して、対応するアプリケーションのコマンドと照らし合わせる方法で、対応するアプリケーションのコマンドとして変換する。
【００７９】
すなわち、ジェスチャコマンド入力装置１は、図７に示すように、共通ジェスチャコマンドが入力されると（ステップＳ２０１）、当該共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあるか検索する（ステップＳ２０２）。
【００８０】
ステップＳ２０２で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあると、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ２０３）、そのジェスチャコマンドが入力されたことが、図２のコマンド変換処理ソフト１２に通知される（戻り値として成功を通知）して（ステップＳ２０４）、処理を終了する。
【００８１】
ステップＳ２０２で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものが見つからなかったときには、ジェスチャコマンド入力装置１は、当該共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３とアプリケーションに登録されているコマンド名データＤ４で一致するものがあるかどうか検索する（ステップＳ２０５）。
【００８２】
ステップＳ２０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあると、ジェスチャコマンド入力装置１は、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ２０３）、そのジェスチャコマンドが入力されたことが、図２のコマンド変換処理ソフト１２に通知される（戻り値として成功を通知）して（ステップＳ２０４）、処理を終了する。
【００８３】
ステップＳ２０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがないと、ジェスチャコマンド入力装置１は、入力された共通ジェスチャコマンドが無効であることを、図２のコマンド変換処理ソフト１２に通知して（ステップＳ２０６）、処理を終了する。
【００８４】
このように、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、ジェスチャ入力部２から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶部６またはネットワーク上の情報処理装置の記憶装置から検索して、当該アプリケーション固有のコマンドに変換している。
【００８５】
したがって、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行うことができ、より一層利用性を向上させることができる。
【００８６】
なお、上記説明では、共通ジェスチャコマンドに対応して登録されたコマンドショートカットをメニュー名に優先して検索しているが、メニュー名をコマンドショートカットに優先して検索してもよい。
【００８７】
すなわち、図８に示すように、ジェスチャコマンド入力装置１は、共通ジェスチャコマンドが入力されると（ステップＳ３０１）、当該共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３とアプリケーションに登録されているコマンド名データＤ４で一致するものがあるかどうか検索する（ステップＳ３０２）。
【００８８】
ステップＳ３０２で、共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３が、アプリケーションに登録されているコマンド名データＤ４と一致するものがあると、ジェスチャコマンド入力装置１は、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ３０３）、そのジェスチャコマンドが入力されたことを、図２のコマンド変換処理ソフト１２に通知（戻り値として成功を通知）して（ステップＳ３０４）、処理を終了する。
【００８９】
ステップＳ３０２で、共通ジェスチャコマンドに対応してユーザが登録したメニュー名データＤ３が、アプリケーションに登録されているコマンド名データＤ４と一致するものがないと、ジェスチャコマンド入力装置１は、当該共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあるか検索する（ステップＳ３０５）。
【００９０】
ステップＳ３０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものがあると、そのコマンドに対応する共通ジェスチャコマンドが入力されたとして、該当するアプリケーションコマンドを実行し（ステップＳ３０３）、そのジェスチャコマンドが入力されたことを、図２のコマンド変換処理ソフト１２に通知（戻り値として成功を通知）して（ステップＳ３０４）、処理を終了する。
【００９１】
ステップＳ３０５で、共通ジェスチャコマンドに対応してユーザが登録したショートカットキー割り当てのデータＤ１が、アプリケーションに登録されているショートカットキー割り当てのデータＤ２と一致するものが見つからなかったときには、ジェスチャコマンド入力装置１は、入力された共通ジェスチャコマンドが無効であることを、図２のコマンド変換処理ソフト１２に通知して（ステップＳ３０６）、処理を終了する。
【００９２】
図９〜図１１は、本発明のジェスチャコマンド入力装置の第３の実施の形態を示す図であり、本実施の形態は、請求項３に対応するものである。
【００９３】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【００９４】
本実施の形態のジェスチャコマンド入力装置１は、アプリケーション毎に異なるジェスチャコマンドを記憶部６またはネットワーク上の情報処理装置の記憶装置に登録するとともに、アプリケーションに依存せずに、共通に使えるジェスチャコマンド（共通ジェスチャコマンド）を記憶部６またはネットワーク上の情報処理装置の記憶装置に登録し、アプリケーションソフトを使用中に当該使用中のアプリケーションを自動認識して、当該アプリケーションに対して登録されているジェスチャコマンドに切り換えて、利用性を向上させている。
【００９５】
本実施の形態のジェスチャコマンド入力装置１は、例えば、図９に示すように、アプリケーションＡに対応して、×印の削除コマンドＡＳと、複数のオブジェクトのグループ化のコマンドであるグループ化コマンドＡＧと、が記憶部６またはネットワーク上の情報処理装置の記憶装置に登録されており、また、図１０に示すように、アプリケーションＢに対応して、複数のオブジェクトのグループ化のコマンドであるグループ化コマンドＢＧが登録されており、さらに、図１１に示すように、あるユーザが、独自の共通ジェスチャコマンドとして、「Ｄ」字を描く削除コマンドＫＳと、「Ｇ」字を描く複数オブジェクトのグループ化のコマンドであるグループ化コマンドＫＧと、が記憶部６またはネットワーク上の情報処理装置の記憶装置に登録している。
【００９６】
いま、例えば、アプリケーションＡが、例えば、文字手書き認識機能を搭載したアプリケーションであるとし、アプリケーションＢが、頻繁にグループ化を行うアプリケーションであるとする。
【００９７】
そして、本実施の形態のジェスチャコマンド入力装置１は、あるユーザが、使用するアプリケーションで行う内容によって、あるいは、その他の理由により、共通ジェスチャコマンドを使うよりも、そのアプリケーションケーンで使用する場合のみ、他のジェスチャコマンドで入力した方が、操作性が向上する場合がある。このような場合に、例えば、文字手書き認識機能を搭載したアプリケーションＡでジェスチャコマンド入力を行う場合、図１１に示したように、共通ジェスチャコマンドが文字の形をしていると、アプリケーションが手書き入力モードからジェスチャコマンド入力モードに切り換わっていない場合に、モードが切り換わっていないことに気付かずにジェスチャコマンド入力を行うと、ジェスチャコマンドの認識を行わずに、間違って文字が入力されたりすることが起こりうる。
【００９８】
ところが、本実施の形態のジェスチャコマンド入力装置１は、アプリケーションソフトを使用中に使用中のアプリケーションを自動認識して、当該アプリケーションに対して登録されているジェスチャコマンドに切り換える。
【００９９】
すなわち、ジェスチャコマンド入力装置１は、例えば、アプリケーションＡが使用されていると、当該使用中のアプリケーションがアプリケーションＡであることを自動認識し、ジェスチャコマンドの入力方法をアプリケーションＡ用の入力方法に切り換える。
【０１００】
例えば、共通ジェスチャコマンドでは、図１１に示したように、削除コマンドＫＳやグループ化コマンドＫＧは、「Ｄ」や「Ｇ」の字を描くようになっているが、アプリケーションＡ用のジェスチャコマンドは、図９に示したように、文字を描くようには構成されていない。
【０１０１】
したがって、ジェスチャコマンド入力装置１は、使用中のアプリケーションが文字手書き認識機能を有している場合にも、ジェスチャコマンドを正確に認識し、利用性が向上する。
【０１０２】
また、例えば、使用中のアプリケーションが、頻繁にグループ化を行うアプリケーションＢであると、アプリケーションＢでジェスチャコマンド入力を行う場合、グループ化コマンドだけを単純なものにしたい場合、図１１に示したように、共通ジェスチャコマンドでは、グループ化コマンドＫＧが「Ｄ」の字を描くようになっているが、アプリケーションＢ用のジェスチャコマンドは、図１０に示したように、グループ化コマンドＢＧが単純化されている。
【０１０３】
したがって、ジェスチャコマンド入力装置１は、使用中のアプリケーションがグループ化を頻繁に行うアプリケーションＢであるときには、単純化されたグループ化コマンドＢＧを使用して、コマンド入力を行うことができ、利用性が向上する。
【０１０４】
このように、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶部６またはネットワーク上の情報処理装置の記憶装置に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいてジェスチャ入力部２から入力されたジェスチャをコマンドに変換している。
【０１０５】
したがって、アプリケーション毎にジェスチャコマンドを自動的に切り換えることができ、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性を向上させることができる。
【０１０６】
図１２〜図１５は、本発明のジェスチャコマンド入力装置の第４の実施の形態を示す図であり、本実施の形態は、請求項４に対応するものである。
【０１０７】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１０８】
本実施の形態のジェスチャコマンド入力装置１は、入力されたジェスチャコマンドに対して、アプリケーション側に対応するコマンドが見つからなかった場合のエラー処理を音声出力または表示出力で行うものである。
【０１０９】
本実施の形態のジェスチャコマンド入力装置１は、図１２に示すように、サラウンドドライバ２１と音声出力部２２を備えている。
【０１１０】
音声出力部２２は、例えば、スピーカ等であり、サラウンドドライバ２１は、音声出力部２２に音声信号を出力して、音声出力部２２に当該音声信号を音声に変換させて出力させる。
【０１１１】
ジェスチャコマンド入力装置１は、コマンドが見つからなかった場合、問い合わせ先であるアプリケーションコマンド情報１７から対応するコマンドが見つからなかったという通知がコマンド変換処理ソフト１２に伝えられ、コマンド変換処理ソフト１２は、サウンドドライバ２１に対して、ジェスチャコマンドが失敗したことを通知させる警告音または通知音声と、現在認識しているユーザ名を通知する音声を発生させるための通知信号を送る。サウンドドライバ２１は、コマンド変換処理ソフト１２から通知信号が入力されると、音声信号を発生して、音声出力部２２に出力し、音声出力部２２は、当該音声信号を音声に変換して出力する。
【０１１２】
したがって、ユーザは、ジェスチャコマンド入力に失敗したことを知ることができるだけでなく、現在認識されているユーザが、使用している本人と一致しているかどうかを知ることができる。
【０１１３】
また、ジェスチャコマンド入力装置１は、エラー出力を表示出力する場合には、図１３に示すように、ビデオドライバ２３を備えており、コマンド変換処理ソフト１２が通知する認識中のユーザ名等の情報に基づいて、ビデオドライバ２３が表示画面部５に情報を表示させる。
【０１１４】
例えば、いま、ユーザが認識されてアプリケーションが立ち上がっているときには、図１４に示すように、表示画面部５の表示画面５ａには、アプリケーション（アプリケーションαβγ）の仮想画面３０が表示されるとともに、表示画面５ａに向かって左上隅のユーザダイアログ部３１には、認識されているユーザ名「○○○」が表示されて、ユーザの指定したジェスチャコマンド入力モードであることが示されている。
【０１１５】
ところが、ジェスチャコマンド入力装置１は、コマンドが見つからなかった場合、特に、ユーザが認識されていないか、または、ユーザ認識に失敗すると、その旨の通知が、問い合わせ先であるアプリケーションコマンド情報１７からコマンド変換処理ソフト１２に伝えられ、コマンド変換処理ソフト１２は、アプリケーションの指定するジェスチャ入力モードに切り換えるとともに、ビデオドライバ２３に対して、エラーを通知する通知信号を送る。
【０１１６】
ビデオドライバ２３は、コマンド変換処理ソフト１２から通知信号が入力されると、ビデを信号を生成して、例えば、ユーザが認識されていないか、または、ユーザ認識に失敗した場合には、図１５に示すように、表示画面部５の表示画面５ａのユーザダイアログ部３１に、「デフォルト」と表示させる。
【０１１７】
このように、本実施の形態のジェスチャコマンド入力装置１は、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するので、誤操作を防ぐことができるとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なうことができ、より一層利用性を向上させることができる。
【０１１８】
図１６は、本発明のジェスチャコマンド入力装置の第５の実施の形態を示す図であり、本実施の形態は、請求項５に対応するものである。
【０１１９】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１２０】
本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に登録されているユーザ毎のユーザ固有のジェスチャコマンドと入力対象のアプリケーション規定のジェスチャコマンドをジェスチャコマンド選択手段で容易に切り換えて使用するところにその特徴がある。
【０１２１】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、ユーザ毎のユーザ固有のジェスチャコマンドと、各アプリケーション規定のジェスチャコマンドと、が登録されており、ジェスチャコマンドの選択手段として、図１６に示すようなダイアログ４０を表示画面部５の表示画面に表示する。
【０１２２】
なお、図１６では、ダイアログ（ジェスチャコマンド選択手段）４０は、ユーザ固有のジェスチャコマンドとアプリケーション規定通りのジェスチャコマンドのいずれを入力に使用するジェスチャコマンドとして利用するかを選択するとともに、ジェスチャ入力をオフにするかを選択可能なダイアログとなっており、ユーザ固有のジェスチャコマンドであるユーザジェスチャが選択（レ点で表示）されており、マウスカーソルがアプリケーション規定のジェスチャコマンドであるアプリケーションジェスチャの位置にあることを示している。
【０１２３】
したがって、大画面の周りに大人数のユーザが集まって、ジェスチャコマンドを利用して、活発な電子会議を行う場合のように、大人数で頻繁にユーザの切り換えを行い、操作に混乱が発生しがちな場合やアプリケーション固有のジェスチャコマンドで行った方がかえって操作しやすい場合などに、利用するジェスチャコマンドを容易に切り換えることができ、利用性を向上させることができる。
【０１２４】
図１７及び図１８は、本発明のジェスチャコマンド入力装置の第６の実施の形態を示す図であり、本実施の形態は、請求項６に対応するものである。
【０１２５】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１２６】
本実施の形態のジェスチャコマンド入力装置１は、予め登録されているユーザからジェスチャコマンドを利用するユーザをユーザ選択手段で容易に選択するところにその特徴がある。
【０１２７】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、ユーザ毎のユーザ固有のジェスチャコマンドと、各アプリケーション規定のジェスチャコマンドと、が登録されており、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段として、図１６に示すようなユーザ選択ダイアログ４１を表示画面部５の表示画面に表示する。
【０１２８】
なお、図１７では、ユーザ選択ダイアログ４１は、記憶部６またはネットワーク上の情報処理装置の記憶装置に、ユーザ固有のジェスチャコマンドの登録されているユーザのユーザ名、図１７では、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」及びデフォルトの各ユーザ名が表示されており、ユーザ「ＡＡＡ」が選択（レ点で表示）されており、マウスカーソルがユーザ名「ＢＢＢ」の位置にあることを示している。そして、このユーザ選択ダイアログ４１に表示されているユーザ名をマウス等のポインティングディバイス等で選択することで、ジェスチャコマンドを利用するユーザを簡単に切り換えることができる。
【０１２９】
ジェスチャコマンド入力装置１は、表示画面５にユーザ選択ダイアログ４１を呼び出すための他のアイコンを表示させて、当該アイコンを操作することでユーザ選択ダイアログ４１を表示させたり、また、ジェスチャコマンドによってユーザ選択ダイアログ４１を表示させたり、あるいは、音声によってユーザ選択ダイアログ４１を表示させることができる。
【０１３０】
そして、本実施の形態のジェスチャコマンド入力装置１は、図１８に示すように、情報処理部４が、ユーザ認識部５１、ユーザ選択ダイアログ部５２、コマンド変換処理ソフト／アプリケーション部５３を備え、記憶部６が、登録ユーザ記憶部５４と図２に示したジェスチャデータベース１４を備えている。
【０１３１】
ジェスチャコマンド入力装置１は、ユーザ特定部７で特定されたユーザの認識を、情報処理部４のユーザ認識部５１で認識して、このユーザ認識部５１の認識したユーザ情報を記憶部６の登録ユーザ記憶部５４に一時格納する。
【０１３２】
ジェスチャコマンド入力装置１は、記憶部６の登録ユーザ記憶部５４に一時格納したユーザ名を、情報処理部４のユーザ選択ダイアログ部５２が、表示画面部５に上記ユーザ選択ダイアログ４１として表示させて、ユーザ選択ダイアログ４１で選択可能とする。
【０１３３】
ユーザは、このユーザ選択ダイアログ４１に表示されている自己のユーザ名を選択することで、ジェスチャコマンドを自己の利用可能なモードに切り換えることができ、ユーザの切り換えを行うたびにユーザ認識を行うことなく、簡単かつ速やかにユーザの切り換えを行うことができる。
【０１３４】
そして、ジェスチャコマンド入力装置１は、ユーザ選択ダイアログ４１でユーザの選択が行われると、情報処理部４が、記憶部６のジェスチャに関するデータベースであるジェスチャデータベース１４から当該選択されたユーザに対応して登録されているジェスチャコマンド情報を検索して、コマンド変換処理ソフト／アプリケーション部５３に渡して、アプリケーションで当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１３５】
このように、本実施の形態のジェスチャコマンド入力装置１は、ジェスチャコマンドを利用するユーザを選択するユーザ選択ダイアログ４１で選択されたユーザに基づいてジェスチャコマンド変換処理を行っている。
【０１３６】
したがって、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０１３７】
図１９は、本発明のジェスチャコマンド入力装置の第７の実施の形態を示す図であり、本実施の形態は、請求項７〜請求項９に対応するものである。
【０１３８】
なお、本実施の形態は、上記第１の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態で用いた符号をそのまま用いて説明する。
【０１３９】
本実施の形態のジェスチャコマンド入力装置１は、ユーザの顔の画像に基づいて、予め登録されているユーザからジェスチャコマンドを利用するユーザを認識するところにその特徴がある。
【０１４０】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、図１９に示すように、ユーザ特定部７として、撮像装置６１を備えており、また、情報処理部４に、画像信号処理部６２、コマンド変換処理ソフト／アプリケーション部６３を備え、記憶部６にジェスチャコマンドデータベース１４（図２参照）を備えている。
【０１４１】
撮像装置６１は、例えば、画像撮像素子として、ＣＣＤ（Charge Coupled Device ）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor ）等の撮像素子アレイを備えた静止画像撮像カメラで構成されており、ジェスチャコマンド入力を行う情報処理部４またはその近傍に取り付けられている。
【０１４２】
撮像装置６１は、情報処理部４、すなわち、ジェスチャコマンド入力装置１の近くにいるユーザの顔の画像を撮像して、当該撮像したユーザの顔の画像を情報処理部４の画像信号処理部６２に出力する。
【０１４３】
画像信号処理部（画像処理手段）６２は、撮像装置６１から入力されるユーザの顔の画像の画像処理を行って、予め記憶部６のジェスチャデータベース１４にジェスチャコマンド情報とともに保存されているユーザの顔画像に関する情報とのマッチング処理を行って、ユーザの特定を行う。画像信号処理部６２は、このユーザを特定する画像信号処理で、特徴点抽出や相関関数演算等を行って、最終的に一致するユーザを判断し、ユーザを特定すると、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に渡す。
【０１４４】
コマンド変換処理ソフト／アプリケーション部６３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１４５】
したがって、複数のユーザが、撮像装置６１の撮像範囲に移動する以外、特に煩雑な操作を行うことなく、ユーザ認識を行うことができ、利用性を向上させることができる。
【０１４６】
なお、上記説明では、撮像装置６１でユーザの顔の画像を撮像して、ユーザの切り換えを行っているが、撮像するのは、ユーザの顔に限るものではなく、例えば、ユーザの指紋の撮像を行って、ユーザの切り換えを行ってもよい。
【０１４７】
この場合、撮像装置６１は、情報処理部４またはその近傍に取り付けられている場合に限るものではなく、例えば、情報処理部４のポインティングディバイスであるマウスの一部やタッチパネル入力専用のタッチパネルペンに取り付けられ、これらのマウスやタッチパネルペンの撮像装置６１を情報処理部４に接続してもよい。この指紋を撮像する撮像装置６１は、一般に用いられている指紋認識装置を、内部に大幅な変更を加えることなく、利用することができる。
【０１４８】
そして、指紋でユーザ認識を行う場合、ジェスチャコマンド入力を行うユーザは、撮像装置６１で自分の指紋の画像を取り込む。
【０１４９】
撮像装置６１は、ジェスチャコマンド入力を行うユーザの指紋の画像を撮像して、当該撮像したユーザの指紋の画像を情報処理部４の画像信号処理部６２に出力する。
【０１５０】
画像信号処理部６２は、撮像装置６１から入力されるユーザの指紋の画像の画像処理を行って、予め記憶部６のジェスチャデータベース１４にジェスチャコマンド情報とともに保存されているユーザの指紋画像に関する情報とのマッチング処理を行って、ユーザの特定を行う。画像信号処理部６２は、このユーザを特定する画像信号処理で、特徴点抽出や相関関数演算等を行って、最終的に一致するユーザを判断し、ユーザを特定すると、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に渡す。
【０１５１】
コマンド変換処理ソフト／アプリケーション部６３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１５２】
このように、各人異なる特徴を持つ指紋を利用してユーザの認識を行うと、指紋の形状がほとんど時間変化を起こさないため、認識率及び認識速度を向上させることができるとともに、撮像装置６１、ひいては、ジェスチャコマンド入力装置１を小型化することができる。
【０１５３】
また、撮像装置６１で撮像するのは、ユーザの顔や指紋に限るものではなく、例えば、ユーザの眼球の虹彩の撮像を行って、ユーザの切り換えを行ってもよい。
【０１５４】
この場合、撮像装置６１は、情報処理部４またはその近傍に取り付けられており、情報処理部４、すなわち、ジェスチャコマンド入力装置１の近くにいるユーザの眼球の虹彩を撮像して、当該撮像したユーザの眼球の虹彩の画像を情報処理部４の画像信号処理部６２に出力する。
【０１５５】
画像信号処理部６２は、撮像装置６１から入力されるユーザの眼球の虹彩の画像の画像処理を行って、予め記憶部６のジェスチャデータベース１４にジェスチャコマンド情報とともに保存されているユーザの眼球の虹彩画像に関する情報とのマッチング処理を行って、ユーザの特定を行う。画像信号処理部６２は、このユーザを特定する画像信号処理で、特徴点抽出や相関関数演算等を行って、最終的に一致するユーザを判断し、ユーザを特定すると、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に渡す。
【０１５６】
コマンド変換処理ソフト／アプリケーション部５３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１５７】
このように、各人異なる特徴を持つ眼球の虹彩を利用してユーザの認識を行うと、指紋の形状がほとんど時間変化を起こさないため、認識率及び認識速度を向上させることができるとともに、撮像装置６１、ひいては、ジェスチャコマンド入力装置１を小型化することができる。
【０１５８】
図２０は、本発明のジェスチャコマンド入力装置の第８の実施の形態を示す図であり、本実施の形態は、請求項１０及び請求項１１に対応するものである。
【０１５９】
なお、本実施の形態は、上記第１の実施の形態及び上記第７の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態及び第７の実施の形態で用いた符号をそのまま用いて説明する。
【０１６０】
本実施の形態のジェスチャコマンド入力装置１は、ユーザによる当該ユーザの名前、任意のキーワードまたはキーフレーズ等の暗号の音声に基づいて、予め登録されているユーザからジェスチャコマンドを利用するユーザを認識するところにその特徴がある。
【０１６１】
すなわち、本実施の形態のジェスチャコマンド入力装置１は、図２０に示すように、ユーザ特定部７として、集音装置７１を備えており、また、情報処理部４に、音声信号処理部７２、コマンド変換処理ソフト／アプリケーション部６３を備え、記憶部６にジェスチャコマンドデータベース１４（図２参照）を備えている。
【０１６２】
集音装置（音声入力手段）７１は、一般に用いられているマイクロフォンで構成されており、ジェスチャコマンド入力を行う情報処理部４またはその近傍に取り付けられており、あるいは、情報処理部４のポインティングディバイスであるマウスの一部やタッチパネル入力用のタッチパネルペンに取り付けられており、情報処理部４と接続されている。そして、この集音装置７１は、一般に用いられているマイクロフォンを、大幅な変更を加えることなく、集音装置７１の一部として組み込んで利用することができる。
【０１６３】
ユーザは、集音装置７１に向かって、自分の名前、任意のキーワードまたはキーフレーズをジェスチャコマンド開始の合図として発声し、集音装置７１は、この名前、キーワードまたはキーフレーズ等の暗号を取り込んで情報処理部４の音声信号処理部７２に出力する。
【０１６４】
記憶部６のジェスチャデータベース１４には、各ユーザ毎に、ユーザの名前、任意のキーワードまたはキーフレーズ等の暗号がジェスチャコマンド情報とともに予め登録されている。
【０１６５】
音声信号処理部（音声処理手段）７２は、集音装置７１から入力される名前、キーワードまたはキーフレーズ等の暗号の音声信号を認識し、当該音声認識した内容とジェスチャデータベース１４に予め格納されているユーザ毎のユーザの名前、任意のキーワードまたはキーフレーズ等の暗号を比較して、ユーザを特定し、特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に通知する。
【０１６６】
コマンド変換処理ソフト／アプリケーション部６３は、音声信号処理部７２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１６７】
したがって、複数のユーザが、名前、キーワードまたはキーフレーズ等の暗号を集音装置７１に向かって発声するだけで、特に煩雑な操作を行うことなく、ユーザ認識を行うことができ、利用性を向上させることができるとともに、ジェスチャコマンド入力装置１を小型化することができる。
【０１６８】
なお、上記説明では、ユーザの発声する名前、キーワードまたはキーフレーズ等の暗号に基づいて、ユーザを認識しているが、ユーザの発声する声の声紋に基づいて、ユーザを認識してもよい。
【０１６９】
この場合、記憶部６のジェスチャデータベース１４には、各ユーザ毎に、当該ユーザの声紋情報がジェスチャコマンド情報とともに予め登録されている。
【０１７０】
ユーザは、集音装置７１に向かって、ユーザを特定するために、任意の内容の言葉、記号等の任意の音声を発声し、集音装置７１は、この任意の音声を取り込んで情報処理部４の音声信号処理部７２に出力する。
【０１７１】
そして、情報処理部４の音声信号処理部７２は、集音装置７１から入力される任意の音声信号の音声信号処理を行って、音声信号の周波数特徴を声紋情報として抽出し、当該抽出した声紋情報とジェスチャデータベース１４に予め格納されているユーザ毎の当該ユーザの声紋情報を比較して、ユーザを特定する。音声信号処理部７２は、このユーザを特定する音声信号処理で、特徴点抽出や相関関数演算等を行って、最終的に声紋情報の一致するユーザを判断して特定し、当該特定したユーザ情報をコマンド変換処理ソフト／アプリケーション部６３に通知する。
【０１７２】
コマンド変換処理ソフト／アプリケーション部５３は、画像信号処理部６２から渡されたユーザ情報に基づいて、記憶部６のジェスチャデータベース１４のユーザ毎のジェスチャコマンド情報のうち、当該ユーザのジェスチャコマンド情報を選択して、アプリケーションでの当該ユーザ独自のジェスチャコマンド入力を可能にする。
【０１７３】
このように、ユーザが、任意の音声を発するだけで、面倒な操作を行うことなく、ユーザの切り換えを行うことができるとともに、ジェスチャコマンド入力装置１を小型化することができる。
【０１７４】
図２１は、本発明のジェスチャコマンド入力装置の第９の実施の形態を示す図であり、本実施の形態は、請求項１２に対応するものである。
【０１７５】
なお、本実施の形態は、上記第１の実施の形態及び上記第７の実施の形態のジェスチャコマンド入力装置１と同様のジェスチャコマンド入力装置に適用したものであり、本実施の形態の説明においては、必要に応じて、上記第１の実施の形態及び第７の実施の形態で用いた符号をそのまま用いて説明する。
【０１７６】
本実施の形態のジェスチャコマンド入力装置１は、ジェスチャコマンド情報（ジェスチャコマンドデータ）を固定の記憶部６に格納するだけでなく、ジェスチャコマンド情報を可搬性を有する携帯型記録媒体に格納して、必要なときにジェスチャコマンド入力装置１に読み取らせて利用するものである。
【０１７７】
この場合、ジェスチャコマンド入力装置１は、図２１に示すように、情報処理装置４に、ユーザに対応してジェスチャコマンド情報８０の格納されている携帯型記録媒体８１を読取装置８２を介して接続し、携帯型記録媒体８１に格納されているユーザに対応するジェスチャコマンド情報８０を情報処理装置４に読み込ませる。
【０１７８】
この携帯型記録媒体８１には、各ユーザが自分のジェスチャコマンド情報８０を登録し、当該携帯型記録媒体８１を読取装置８２に接続または装着して、情報処理装置４に読み取らせる。
【０１７９】
この携帯型記録媒体８１は、磁気、光、または、電気を利用してデータの読み書きを行うことが可能な携帯性を有する記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Compact Disc Recordable ）、ＣＤ−ＲＷ（Compact Disc Rewritable ）、ＤＶＤ−ＯＭＲ（Digital Video Disk Read Only Memory ）、ＤＶＤ−Ｒ（Digital Video Disk Recordable ）、ＤＶＤ＋ＲＷ（Digital Video Disk Rewritable ）等の光ディスク、コンパクトフラッシュメモリ（登録商標）、メモリスティック、ＰＣＭＣＩＡ（PC Memory Card International Association）カードメモリ、ＰＣＭＣＩＡカード型ハードディスク、フロッピーディスク（登録商標）、Ｚｉｐ、ＭＯ（光磁気ディスク）、ＭＤ（Mini Disc ）、テープ、ＤＡＴ（Digital Audio Tape）、ＤＣＣ（Digital Compact Cassette）、磁気カード、ＩＣカード等を用いることができる。もちろん、これらの携帯型記録媒体８１のうち、ＩＣカード等のように、読取装置８２に挿入することなく、翳すだけで読み取りが可能なものがある。これら携帯型記録媒体８１は、いずれのものを用いてもよいが、できるだけ高速な読み込みが可能であるものを用いることが望ましい。
【０１８０】
ジェスチャコマンド入力装置１は、読取装置８２で携帯型記録媒体８１からジェスチャデータを読み取ると、情報処理部４内のコマンド変換処理ソフト／アプリケーション６３による、そのジェスチャデータ８０に基づいたジェスチャコマンド入力を行える状態となる。
【０１８１】
なお、複数のユーザが各自のジェスチャデータ８０を格納した携帯型記録媒体８１を読取装置８２から読み取らせてユーザの切り換えを行うと、ユーザの切り換えを行う毎に、携帯型記録媒体８１からユーザ特定データとジェスチャデータ８０を読み取る必要があり、そり速度が遅くなって不便である。
【０１８２】
そこで、情報処理部４にジェスチャデータとそのユーザの区別を行う情報を記録しておき、携帯型記録媒体８１からユーザの区別を行う情報だけを読み取り、ジェスチャデータは情報処理装置４から読み取って、ユーザの切り換えを高速化するようにしてもよい。
【０１８３】
また、情報処理部４の本体ではなく、読取装置８２に記憶装置を付加し、同様に、ユーザの切り換えの高速化を行うようにしてもよい。
【０１８４】
さらに、携帯型記録媒体８１として、携帯電話装置を用いてもよい。この場合、携帯電話装置からジェスチャコマンド入力装置１に対してダイアルアップを行ってデータの交換を行ったり、ＩｒＤＡのような近距離赤外線を用いた通信でデータの交換を行ったり、または、Ｂｌｕｅｔｏｏｔｈのような近距離無線通信を行ってデータの交換を行って、ジェスチャコマンド入力が行えるようにしてもよい。
【０１８５】
このように、本実施の形態のジェスチャコマンド入力装置１は、携帯型記録媒体８１が着脱可能に装着された記録媒体の情報を読み取る読取装置８２に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した携帯型記録媒体８１を装着すると、読取装置８２を介して当該携帯型記憶媒体８１から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該携帯型記録媒体８１に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換している。
【０１８６】
したがって、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにすることができるとともに、どのような場所でも自己のジェスチャコマンドを利用することができ、より一層利用性を向上させることができる。
【０１８７】
図２２は、本発明のジェスチャコマンド入力装置の第１０の実施の形態を示す図であり、本実施の形態は、電子会議システムに応用したものである。
【０１８８】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１８９】
図２２は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしての電子会議システム１００のシステム構成図であり、電子会議システム１００は、上記第１の実施の形態と同様のジェスチャ入力部２、情報処理装置４、表示画面部５、記憶部６及びユーザ特定部７を備えているとともに、情報処理装置４に、ネットワークＮＷを介して、他の情報処理装置１０２ａ〜１０２ｎや周辺機器１０３ａ〜１０３ｎが接続されている。
【０１９０】
この電子会議システム１００の画面表示部５は、大画面表示可能な表示装置であり、例えば、プラズマディスプレイ、プロジェクタ等が用いられている。
【０１９１】
情報処理装置４は、ネットワークＮＷに接続されており、ユーザ認識情報に基づいて、ネットワークＮＷに接続された情報処理装置１０２ａ〜１０２ｎから必要なユーザのジェスチャコマンド情報及び他の電子情報を入手することができる。また、情報処理装置４は、ネットワークＮＷに接続された他の周辺機器１０３ａ〜１０３ｎを利用することができ、周辺機器１０３ａ〜１０３ｎは、プリンタ、マルチファンクション装置（ＭＦＰ）、ファクシミリ装置、デジタルカメラ、ビデオカメラ、スキャナー、マイクロフォン、プロジェクタ等である。
【０１９２】
この電子会議システム１００は、上述した方法により、ユーザ毎にジェスチャコマンドの設定及び変更が可能であり、表示画面部５としての大画面インターフェイスを利用した効率のよい会議を行うことができる。
【０１９３】
図２３は、本発明のジェスチャコマンド入力装置の第１１の実施の形態を示す図であり、本実施の形態は、電子帳簿システムに応用したものである。
【０１９４】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０１９５】
図２３は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしての電子帳簿システム１１０のシステム構成図であり、電子帳簿システム１１０は、上記第１の実施の形態と同様のジェスチャ入力部２、情報処理装置４、表示画面部５、記憶部６及びユーザ特定部７を備えているとともに、情報処理装置４に、ネットワークＮＷを介して、情報処理サーバ１１１ａ〜１１１ｎが接続されている。
【０１９６】
この電子帳簿システム１１０は、携帯情報端末として構成されており、表示画面部５は、タッチパネル方式の表示装置であって、ジェスチャ入力部２が組み込まれたものである。なお、表示画面部に組み込まれるジェスチャ入力部２としては、タッチパネル方式以外にも、光学的、磁気的、電気的手段、あるいは、超音波を利用して座標入力を行うことが可能な座標入力装置と組み合わせたものであってもよい。
【０１９７】
情報処理装置４は、ネットワークＮＷに接続されており、ユーザ認識情報に基づいて、ネットワークＮＷに接続された情報処理サーバ１１１ａ〜１１１ｎから必要なユーザのジェスチャコマンド情報及び他の電子情報を入手することができる。
【０１９８】
ユーザ特定部７は、電子帳簿システム１１０の場合、ユーザが数分おきに変わるような状況が考えにくく、ある程度セキュリティ強度があった方がよいため、ユーザ認識・切換においては、上述のように、指紋を用いるか、眼球の虹彩を用いるか、声紋を用いるか、あるいは、携帯型の情報記憶媒体を用いてユーザの特定を行うのが適当である。
【０１９９】
このように、本実施の形態の電子帳簿システム１１０は、各ユーザがそれぞれ自己の登録したジェスチャコマンド入力を行うことができ、他の人が電子帳簿システム１１０を用いる場合にも、面倒な操作を行うことなく、ユーザの切り換えを行って、アプリケーション毎にジェスチャコマンドを覚えることなく、迅速な入力・処理を行うことができるとともに、屋外や工場内で電子機器を扱う場合の操作性を向上させることができる。
【０２００】
なお、携帯型の電子帳簿システム１１０は、交代制で同じ電子帳簿システム１１０を使い回す場合には、その利便性及び同じ製品が利用可能な場合には、場所を問わず同じ環境で使えるように、ジェスチャコマンド入力情報だけでなく、ユーザ独自のソフトウェア環境や必要なデータを呼び出せるような機能を付加してもよい。
【０２０１】
図２４は、本発明のジェスチャコマンド入力装置の第１２の実施の形態を示す図であり、本実施の形態は、電子案内システムに応用したものである。
【０２０２】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０２０３】
図２４は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしての電子案内システム１２０のシステム構成図であり、電子案内システム１２０は、上記第１の実施の形態と同様の情報処理装置４、記憶部６及びユーザ特定部７を備えており、ジェスチャ入力部と表示部を兼ねたタッチパネル式表示画面部１２１を備えているとともに、情報処理装置４に、ネットワークＮＷを介して、情報処理サーバ１２２ａ〜１２２ｎが接続されている。
【０２０４】
この電子案内システム１２０は、携帯情報端末装置として構成されており、タッチパネル式表示画面部１２１は、ジェスチャ入力部と表示部の機能を兼ね備えている。このジェスチャ入力部と表示部の機能を備えたものとしては、タッチパネル式表示画面部１２１に限るものではなく、例えば、光学的、磁気的、電気的、あるいは、超音波を利用して座標入力を行うことが可能な座標入力装置と組み合わせたものであってもよい。
【０２０５】
情報処理装置４は、ネットワークＮＷに接続されており、ユーザ認識情報に基づいて、ネットワークＮＷに接続された情報処理サーバ１２２ａ〜１２２ｎから必要なユーザのジェスチャコマンド情報及び他の電子情報を入手することができる。
【０２０６】
ユーザ特定部７は、電子案内システム１２０が専任のユーザにより常時操作される場合には、あまりユーザを切り換える必要がないため、ある程度セキュリティ強度があった方がよいため、ユーザ認識・切換においては、上述のように、指紋を用いるか、眼球の虹彩を用いるか、声紋を用いるか、あるいは、携帯型の情報記憶媒体を用いてユーザの特定を行うのが適当であり、また、電子案内システム１２０が一般の人が操作する場合には、携帯型の情報記憶媒体を用いてユーザの特定を行うのが適当である。
【０２０７】
また、電子案内システム１２０は、ネットワークＮＷを介して情報処理サーバ１２２ａ〜１２２ｎから取得した電子案内情報を携帯型情報記憶媒体に保存できるようにしてもよいし、携帯型情報記録媒体としては、携帯電話装置を用いてもよい。このような携帯型情報記憶媒体から電子案内システム１２０に対してダイアルアップを行うか、またはＩｒＤＡのような近距離赤外線またはＢｌｕｅｔｏｏｔｈのような近距離無線通信を利用して、データのやり取りを行って、各ユーザのジェスチャコマンド入力可能状態とするようにしてもよい。
【０２０８】
このように、本実施の形態の電子案内システム１２０は、各ユーザがそれぞれ自分の登録したジェスチャコマンド入力を行うことができるとともに、登録されているユーザ個人のデータを活用することができ、他の人が電子案内システム１２０を用いる場合にも、面倒な操作を行うことなく、ユーザ切換を行って、アプリケーション毎にジェスチャコマンドを覚えることなく、迅速な利用を行うことができる。
【０２０９】
図２５は、本発明のジェスチャコマンド入力装置の第１３の実施の形態を示す図であり、本実施の形態は、カーナビゲーションシステムに応用したものである。
【０２１０】
なお、本実施の形態の説明においては、上記第１の実施の形態のジェスチャコマンド入力装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。
【０２１１】
図２５は、上記実施の形態のジェスチャコマンド入力装置１を組み込んだ応用システムとしてのカーナビゲーションシステム１３０のシステム構成図であり、カーナビゲーションシステム１３０は、上記第１の実施の形態と同様の情報処理装置４、記憶部６及びユーザ特定部７を備えており、ジェスチャ入力部と表示部を兼ねたタッチパネル式表示画面部１３１、ＧＰＳアンテナ／コントローラ１３２、ジャイロセンサ１３３、オーディオ機器／音声処理部１３４及びスピーカ１３５等を備えている。
【０２１２】
タッチパネル式表示画面部１３１は、ジェスチャ入力部と表示部の機能を兼ね備えている。このジェスチャ入力部と表示部の機能を備えたものとしては、タッチパネル式表示画面部１３１に限るものではなく、例えば、光学的、磁気的、電気的、あるいは、超音波を利用して座標入力を行うことが可能な座標入力装置と組み合わせたものであってもよい。
【０２１３】
カーナビゲーションシステム１３０は、ＧＰＳアンテナ／コントローラ１３２が人工衛星１３６から取得する車の位置を算出するための情報及びを取得し、また、ジャイロセンサ９０からの信号を元に車の現在位置を算出する。また、ＧＰＳアンテナ／コントローラ１３２は、情報処理サーバ１３７から人工衛星１３６に送られた情報を受信する。
【０２１４】
情報処理装置４は、ＧＰＳアンテナ／コントローラ１３２から取得した位置情報やジャイロセンサ１３３から取得した位置情報及び記憶部６に記録されている情報から、地図や道案内の情報をタッチパネル式表示画面部１３１に表示したり、最短のルートを計算する機能を有しており、取得した各種情報をオーディオ機器／音声処理部１３４を介してスピーカ１３５から拡声出力する。
【０２１５】
このオーディオ機器／音声処理部１３４及びスピーカ１３５は、カーナビゲーションシステム１３０が、車に搭載されているラジオ電波を受信して変調した音声信号及び磁気式カセットテープ、コンパクトディスク、ＭＤ等の記録媒体に記録された音楽を再生するオーディオ装置と一体化されている場合には、この車に搭載されているオーディオ装置を利用することができる。
【０２１６】
カーナビゲーションシステム１３０は、個人向けの用途としてではなく、レンタカー等のように不特定の人物に貸出すサービスにおいて用いられている場合には、ユーザが数分おきに変わるような状況が考えにくいため、ユーザ特定部７でのユーザ認識・切り換えにおいては、携帯型の情報記憶媒体を用いて行うのが適当である。特に、カーナビゲーションシステム１３０は、ＣＤ規格やＤＶＤ規格の記録媒体を読み取るオーディオ装置を備えていることが多いため、これらをユーザ特定部７として利用することができ、このようにすると、現在普及しているカーナビゲーションに大幅な変更を加えることなく、カーナビゲーションシステム１３０を適用することができる。
【０２１７】
このように、本実施の形態のカーナビゲーションシステム１３０は、各人の操作しやすいジェスチャコマンドでカーナビげーションシステム１３０を使用することができ、安全運転を妨げることなく、カーナビゲーションシステム１３０の操作を行うことができ、事故を適切に防止することができる。
【０２１８】
なお、カーナビゲーションシステム１３０は、場時を問わず同じ環境で使えるように、ジェスチャコマンド入情報だけでなく、ユーザ独自のソフトウェア環境や主要目的地等の必要なデータを呼び出せるような機能を付加してもよい。
【０２１９】
以上、本発明者によってなされた発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【０２２０】
【発明の効果】
請求項１記載の発明のジェスチャコマンド入力装置によれば、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するに際して、入力手段に対してジェスチャ入力を行うユーザを、ユーザ認識手段が認識すると、当該認識されたユーザに対応して、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段の当該ユーザ固有のジェスチャコマンドに基づいて当該ユーザが入力手段から入力したジェスチャをコマンドに変換するので、アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにすることができるとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識することができ、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性を向上させることができる。
【０２２１】
請求項２記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録し、入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを記憶手段から検索して、当該アプリケーション固有のコマンドに変換するので、アプリケーションに他のジェスチャコマンドが初期状態で登録されている場合に、例えば、「ファイルを閉じる」、「コピー」、「貼りつけ」等の汎用性の高いコマンドを共通ジェスチャコマンドとして登録して、アプリケーションによらず、当該登録したジェスチャを使用してコマンド入力を行うことができ、より一層利用性を向上させることができる。
【０２２２】
請求項３記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、アプリケーションソフト毎にユーザ固有のジェスチャコマンドを登録し、認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて入力手段から入力されたジェスチャをコマンドに変換するので、アプリケーション毎にジェスチャコマンドを自動的に切り換えることができ、各ユーザが各々アプリケーション別のジェスチャコマンド入力を行えにるようにして、より一層利用性を向上させることができる。
【０２２３】
請求項４記載の発明のジェスチャコマンド入力装置によれば、入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知するので、誤操作を防ぐことができるとともに、現在どのユーザが認識されているが分かるようにして、ユーザ認識が失敗していないかの確認を行なうことができ、より一層利用性を向上させることができる。
【０２２４】
請求項５記載の発明のジェスチャコマンド入力装置によれば、記憶手段に登録されているユーザ固有のジェスチャコマンドまたは共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて入力されたジェスチャをコマンドに変換するので、多数のユーザが頻繁にユーザを切り換えてジェスチャ入力を行う場合やアプリケーション固有のジェスチャコマンドで行った方が操作しやすい場合等にジェスチャコマンドを簡単かつ速やかに切り換えることができ、操作の混乱を防止して、より一層利用性を向上させることができる。
【０２２５】
請求項６記載の発明のジェスチャコマンド入力装置によれば、ジェスチャコマンドを利用するユーザを選択するユーザ選択手段で選択されたユーザに基づいてジェスチャコマンド変換処理を行うので、ジェスチャ入力を行うユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２６】
請求項７記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの顔の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの顔の画像を撮像して、記憶手段に記録されているユーザの顔の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２７】
請求項８記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの指紋の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの指紋の画像を撮像して、記憶手段に記録されているユーザの指紋の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２８】
請求項９記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの眼球の虹彩の画像とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備えたユーザ認識手段で、入力手段からジェスチャコマンドの入力を行うユーザの眼球の虹彩の画像を撮像して、記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２２９】
請求項１０記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの音声による暗号を取得して、記憶手段に記録されているユーザの音声による暗号と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２３０】
請求項１１記載の発明のジェスチャコマンド入力装置によれば、記憶手段に、ユーザの声紋とジェスチャコマンドを対応させて記憶し、入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備えたユーザ認識手段で、入力手段からジェスチャの入力を行うユーザの声紋を取得して、記憶手段に記録されているユーザの声紋と照らし合わせて、ユーザを認識するので、複数のユーザが、特に特別な操作を行うことなく、ユーザを簡単かつ速やかに切り換えることができ、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにして、より一層利用性を向上させることができる。
【０２３１】
請求項１２記載の発明のジェスチャコマンド入力装置によれば、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段に、ジェスチャ入力を行うユーザが、自己を認識させる情報とジェスチャコマンドを記録した記録媒体を装着すると、読取手段を介して当該記憶媒体から情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて入力手段から入力されるジェスチャをコマンドに変換するので、ユーザを簡単かつ速やかに切り換えて、ユーザ毎のジェスチャコマンドでジェスチャ入力を簡単かつ速やかに行えるようにすることができるとともに、どのような場所でも自己のジェスチャコマンドを利用することができ、より一層利用性を向上させることができる。
【図面の簡単な説明】
【図１】本発明のジェスチャコマンド入力装置の第１の実施の形態を適用したジェスチャコマンド入力装置のシステムブロック構成図。
【図２】図１のジェスチャコマンド入力装置の機能ブロック構成図。
【図３】図１の記録部にユーザ毎に登録されているジェスチャコマンドの一例としての削除コマンド（ａ）とコピーコマンド（ｂ）を示す図。
【図４】図１の記録部に他のユーザに登録されているジェスチャコマンドの一例としての削除コマンド（ａ）とコピーコマンド（ｂ）を示す図。
【図５】図１のジェスチャコマンド入力装置によるジェスチャコマンド入力処理を示すフローチャート。
【図６】本発明のジェスチャコマンド入力装置の第２の実施の形態を適用したジェスチャコマンド入力装置の記憶部に登録されているジェスチャコマンドとメニュ−名及びショートカットキーの割当の一例を示す図。
【図７】本発明のジェスチャコマンド入力装置の第２の実施の形態を適用したジェスチャコマンド入力装置によるショートカットを優先して検索する場合のジェスチャコマンド入力処理を示すフローチャート。
【図８】本発明のジェスチャコマンド入力装置の第２の実施の形態を適用したジェスチャコマンド入力装置によるメニュー名を優先して検索する場合のジェスチャコマンド入力処理を示すフローチャート。
【図９】本発明のジェスチャコマンド入力装置の第３の実施の形態を適用したジェスチャコマンド入力装置の記憶部にアプリケーションＡに対応して登録されているジェスチャコマンドの一例としての削除コマンド（ａ）とグループ化コマンド（ｂ）を示す図。
【図１０】本発明のジェスチャコマンド入力装置の第３の実施の形態を適用したジェスチャコマンド入力装置の記憶部にアプリケーションＢに対応して登録されているジェスチャコマンドの一例としてのグループ化コマンドを示す図。
【図１１】本発明のジェスチャコマンド入力装置の第３の実施の形態を適用したジェスチャコマンド入力装置の記憶部に登録されている共通ジェスチャコマンドの一例としての削除コマンド（ａ）とグループ化コマンド（ｂ）を示す図。
【図１２】本発明のジェスチャコマンド入力装置の第４の実施の形態を適用したジェスチャコマンド入力装置のエラー出力を音声出力する場合の概略機能ブロック構成図。
【図１３】本発明のジェスチャコマンド入力装置の第４の実施の形態を適用したジェスチャコマンド入力装置のエラー出力を表示出力する場合の概略機能ブロック構成図。
【図１４】図１３のジェスチャコマンド入力装置の表示画面部のユーザを認識してアプリケーションが立ち上がっている場合の仮想画面の一例を示す図。
【図１５】図１３のジェスチャコマンド入力装置の表示画面部のエラーが発生している場合の仮想画面の一例を示す図。
【図１６】本発明のジェスチャコマンド入力装置の第５の実施の形態を適用したジェスチャコマンド入力装置の表示画面部に表示されるジェスチャコマンド選択用のダイアログの一例を示す図。
【図１７】本発明のジェスチャコマンド入力装置の第６の実施の形態を適用したジェスチャコマンド入力装置の表示画面部に表示されるユーザ選択用のダイアログの一例を示す図。
【図１８】本発明のジェスチャコマンド入力装置の第６の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図１９】本発明のジェスチャコマンド入力装置の第７の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図２０】本発明のジェスチャコマンド入力装置の第８の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図２１】本発明のジェスチャコマンド入力装置の第９の実施の形態を適用したジェスチャコマンド入力装置の要部ブロック構成図。
【図２２】本発明のジェスチャコマンド入力装置の第１０の実施の形態の応用システムとしての電子会議システムの要部ブロック構成図。
【図２３】本発明のジェスチャコマンド入力装置の第１１の実施の形態の応用システムとしての電子帳簿システムの要部ブロック構成図。
【図２４】本発明のジェスチャコマンド入力装置の第１２の実施の形態の応用システムとしての電子案内システムの要部ブロック構成図。
【図２５】本発明のジェスチャコマンド入力装置の第１３の実施の形態の応用システムとしてのカーナビゲーションシステムの要部ブロック構成図。
【符号の説明】
１ ジェスチャコマンド入力装置
２ ジェスチャ入力部
３ 制御部
４ 情報処理部
５ 表示画面部
５ａ 表示画面
６ 記憶部
７ ユーザ特定部
１１ 入力ジェスチャコマンド
１２ コマンド変換処理ソフト
１３ ユーザ特定情報
１４ ジェスチャデータベース
１５ コマンド
１６ アプリケーション
１７ アプリケーションコマンド情報
２１ サラウンドドライバ
２２ 音声出力部
２３ ビデオドライバ
３０ 仮想画面
３１ ユーザダイアログ部
４０ ダイアログ
４１ ユーザ選択ダイアログ
５１ ユーザ認識部
５２ ユーザ選択ダイアログ部
５３ コマンド変換処理ソフト／アプリケーション部
５４ 登録ユーザ記憶部
６１ 撮像装置
６２ 画像信号処理部
６３ コマンド変換処理ソフト／アプリケーション部
７１ 集音装置
７２ 音声信号処理部
８０ ジェスチャコマンド情報
８１ 携帯型記録媒体
８２ 読取装置
１００ 電子会議システム
１０２ａ〜１０２ｎ 情報処理装置
１０３ａ〜１０３ｎ 周辺機器
１１０ 電子帳簿システム
１１１ａ〜１１１ｎ 情報処理サーバ
１２０ 電子案内システム
１２１ タッチパネル式表示画面部
１２２ａ〜１２２ｎ 情報処理サーバ
１３０ カーナビゲーションシステム
１３１ タッチパネル式表示画面部
１３２ ＧＰＳアンテナ／コントローラ
１３３ ジャイロセンサ
１３４ オーディオ機器／音声処理部
１３５ スピーカ
Claims (13)
- 予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第一の記憶手段を有する情報処理装置とネットワークを介して接続されており、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置において、
予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第二の記憶手段と、
前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手段と、
前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手段が認識すると、
前記第二の記憶手段において当該認識されたユーザに対応したユーザ固有のジェスチャコマンドがあるか検索し、
前記第二の記憶手段に前記ジェスチャコマンドがないと、前記第一の記憶手段において前記ジェスチャコマンドを検索し、
前記第一の記憶手段に前記ジェスチャコマンドがあると、前記第一の記憶手段から前記第二の記憶手段に前記ジェスチャコマンドを転送して記憶させ、
前記第二の記憶手段に転送された前記ジェスチャコマンドに基づき、前記当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手段と、を備えていることを特徴とするジェスチャコマンド入力装置。 - 前記第一又は第二の記憶手段は、アプリケーションソフトに依存しないジェスチャコマンドを共通ジェスチャコマンドとして登録可能であり、
前記制御手段は、前記入力手段から入力されたジェスチャを当該ジェスチャコマンドの入力対象であるアプリケーションソフトと一致するコマンドを前記第一又は第二の記憶手段から検索して、当該アプリケーション固有のコマンドに変換することを特徴とする請求項１記載のジェスチャコマンド入力装置。 - 前記第一又は第二の記憶手段は、アプリケーションソフト毎にユーザ固有のジェスチャコマンドが登録可能であり、
前記制御手段は、前記認識したユーザの入力対象であるアプリケーションソフトに対して、使用しているアプリケーションを自動認識し、当該認識したアプリケーションに対応して前記第一又は第二の記憶手段に登録されている当該ユーザ固有のジェスチャコマンドを選択して、当該選択したユーザ固有のジェスチャコマンドに基づいて前記入力手段から入力されたジェスチャを前記コマンドに変換することを特徴とする請求項１記載のジェスチャコマンド入力装置。 - 前記制御手段は、前記入力手段から入力されたジェスチャに対応するコマンドが、当該入力対象のアプリケーションに存在しないときには、コマンド入力が失敗した旨及び認識しているユーザを特定する情報をエラー情報として通知することを特徴とする請求項１から請求項３のいずれかに記載のジェスチャコマンド入力装置。
- 前記ジェスチャコマンド入力装置は、前記第一又は第二の記憶手段に登録されているユーザ固有のジェスチャコマンドまたは前記共通ジェスチャコマンドと、当該入力対象であるアプリケーション固有のジェスチャコマンドのいずれのジェスチャコマンドを利用するかを選択するジェスチャコマンド選択手段を備え、
前記制御手段は、当該ジェスチャコマンド選択手段で選択されたジェスチャコマンドに基づいて前記入力されたジェスチャを前記コマンドに変換することを特徴とする請求項１から請求項４のいずれかに記載のジェスチャコマンド入力装置。 - 前記ジェスチャコマンド入力装置は、
ジェスチャコマンドを利用するユーザを選択するユーザ選択手段を備え、前記制御手段は、当該ユーザ選択手段で選択されたユーザに基づいて前記ジェスチャコマンド変換処理を行うことを特徴とする請求項１から請求項５のいずれかに記載のジェスチャコマンド入力装置。 - 前記第二の記憶手段は、前記ユーザの顔の画像と前記ジェスチャコマンドを対応させて記憶し、
前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、
前記入力手段からジェスチャコマンドの入力を行う前記ユーザの顔の画像を撮像して、前記第二の記憶手段に記録されているユーザの顔の画像と照らし合わせて、前記ユーザを認識することを特徴とする請求項１から請求項６のいずれかに記載のジェスチャコマンド入力装置。 - 前記第二の記憶手段は、前記ユーザの指紋の画像と前記ジェスチャコマンドを対応させて記憶し、
前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、
前記入力手段からジェスチャコマンドの入力を行う前記ユーザの指紋の画像を撮像して、前記第二の記憶手段に記録されているユーザの指紋の画像と照らし合わせて、前記ユーザを認識することを特徴とする請求項１から請求項６のいずれかに記載のジェスチャコマンド入力装置。 - 前記第二の記憶手段は、前記ユーザの眼球の虹彩の画像と前記ジェスチャコマンドを対応させて記憶し、
前記ユーザ認識手段は、前記入力手段の近傍に設けられた画像撮像素子と当該画像撮像素子の撮像した画像を処理する画像処理手段を備え、
前記入力手段からジェスチャコマンドの入力を行う前記ユーザの眼球の虹彩の画像を撮像して、前記第二の記憶手段に記録されているユーザの眼球の虹彩の画像と照らし合わせて、前記ユーザを認識することを特徴とする請求項１から請求項６のいずれかに記載のジェスチャコマンド入力装置。 - 前記第二の記憶手段は、前記ユーザの音声によるユーザの名称、キーワードまたはキーフレーズ等の暗号と前記ジェスチャコマンドを対応させて記憶し、
前記ユーザ認識手段は、前記入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声を処理する音声処理手段を備え、
前記入力手段からジェスチャの入力を行うユーザの音声による前記暗号を取得して、前記第二の記憶手段に記録されているユーザの音声による暗号と照らし合わせて、前記ユーザを認識することを特徴とする請求項１から請求項６のいずれかに記載のジェスチャコマンド入力装置。 - 前記第二の記憶手段は、前記ユーザの声紋と前記ジェスチャコマンドを対応させて記憶し、
前記ユーザ認識手段は、前記入力手段の近傍に設けられた音声入力手段と当該音声入力手段から入力される音声から声紋を音声認識する音声処理手段を備え、
前記入力手段からジェスチャの入力を行う前記ユーザの声紋を取得して、前記第二の記憶手段に記録されているユーザの声紋と照らし合わせて、前記ユーザを認識することを特徴とする請求項１から請求項６のいずれかに記載のジェスチャコマンド入力装置。 - 前記ジェスチャコマンド入力装置は、可搬性の記録媒体が着脱可能に装着された記録媒体の情報を読み取る読取手段を備え、
ジェスチャ入力を行うユーザが、自己を認識させる情報と前記ジェスチャコマンドを記録した記録媒体を前記読取手段に装着すると、前記制御手段が、前記読取手段を介して当該記憶媒体から前記情報を読み出して、ジェスチャ入力を行うユーザを認識するとともに、当該記録媒体に記録されているジェスチャコマンドに基づいて前記入力手段から入力されるジェスチャをコマンドに変換することを特徴とする請求項１から請求項６記載のジェスチャコマンド入力装置。 - 予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第一の記憶手段を有する情報処理装置とネットワークを介して接続されており、ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置によるジェスチャコマンド入力方法において、
前記ジェスチャコマンド入力装置は、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている第二の記憶手段を有し、
前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手順と、
前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手順が認識すると、
前記第二の記憶手段において当該認識されたユーザに対応したユーザ固有のジェスチャコマンドがあるか検索し、
前記第二の記憶手段に前記ジェスチャコマンドがないと、前記第一の記憶手段において前記ジェスチャコマンドを検索し、
前記第一の記憶手段に前記ジェスチャコマンドがあると、前記第一の記憶手段から前記第二の記憶手段に前記ジェスチャコマンドを転送して記憶させ、
前記第二の記憶手段に転送された前記ジェスチャコマンドに基づき、前記当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手順と、を備えていることを特徴とするジェスチャコマンド入力方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002034864A JP4031255B2 (ja) | 2002-02-13 | 2002-02-13 | ジェスチャコマンド入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002034864A JP4031255B2 (ja) | 2002-02-13 | 2002-02-13 | ジェスチャコマンド入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003233452A JP2003233452A (ja) | 2003-08-22 |
| JP4031255B2 true JP4031255B2 (ja) | 2008-01-09 |
Family
ID=27777217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002034864A Expired - Fee Related JP4031255B2 (ja) | 2002-02-13 | 2002-02-13 | ジェスチャコマンド入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4031255B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150055543A (ko) | 2013-11-13 | 2015-05-21 | 오므론 가부시키가이샤 | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4855654B2 (ja) | 2004-05-31 | 2012-01-18 | ソニー株式会社 | 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体 |
| US7761814B2 (en) * | 2004-09-13 | 2010-07-20 | Microsoft Corporation | Flick gesture |
| JP2007078270A (ja) * | 2005-09-14 | 2007-03-29 | Daikin Ind Ltd | 空調システム |
| JP4632362B2 (ja) * | 2005-11-29 | 2011-02-16 | 日本電信電話株式会社 | 情報出力システム、情報出力方法およびプログラム |
| US8564544B2 (en) | 2006-09-06 | 2013-10-22 | Apple Inc. | Touch screen device, method, and graphical user interface for customizing display of content category icons |
| US9304675B2 (en) | 2006-09-06 | 2016-04-05 | Apple Inc. | Portable electronic device for instant messaging |
| JP4560062B2 (ja) | 2007-03-29 | 2010-10-13 | 株式会社東芝 | 筆跡判定装置、方法およびプログラム |
| US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
| EP2273351A4 (en) * | 2008-04-24 | 2016-07-27 | Kyocera Corp | MOBILE ELECTRONIC DEVICE |
| JP5091180B2 (ja) * | 2009-03-27 | 2012-12-05 | ソニーモバイルコミュニケーションズ， エービー | 携帯端末装置 |
| SG177285A1 (en) * | 2009-06-19 | 2012-02-28 | Alcatel Lucent | Gesture on touch sensitive input devices for closing a window or an application |
| JP5238635B2 (ja) * | 2009-07-29 | 2013-07-17 | 京セラ株式会社 | 情報処理装置及びアプリケーションプログラムの起動方法 |
| KR101660271B1 (ko) | 2009-08-21 | 2016-10-11 | 삼성전자주식회사 | 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법 |
| JP5291590B2 (ja) * | 2009-10-02 | 2013-09-18 | 三菱電機株式会社 | 監視制御装置の端末装置 |
| JP2010157252A (ja) * | 2010-02-04 | 2010-07-15 | Sony Corp | 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体 |
| JP5589749B2 (ja) * | 2010-10-15 | 2014-09-17 | コニカミノルタ株式会社 | 校正装置及び校正制御プログラム |
| KR101758271B1 (ko) * | 2010-11-12 | 2017-07-14 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
| JP5653206B2 (ja) | 2010-12-27 | 2015-01-14 | 日立マクセル株式会社 | 映像処理装置 |
| US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
| US20150097936A1 (en) * | 2012-04-12 | 2015-04-09 | Steven J. Simske | Non-Contact Fingerprinting Systems with Afocal Optical Systems |
| JP5852928B2 (ja) * | 2012-06-27 | 2016-02-03 | 株式会社オプティム | 所作入力装置、所作入力方法及びプログラム |
| US9529439B2 (en) * | 2012-11-27 | 2016-12-27 | Qualcomm Incorporated | Multi device pairing and sharing via gestures |
| JP6689559B2 (ja) | 2013-03-05 | 2020-04-28 | 株式会社リコー | 画像投影装置、システム、画像投影方法およびプログラム |
| CN104202640B (zh) * | 2014-08-28 | 2016-03-30 | 深圳市国华识别科技开发有限公司 | 基于图像识别的智能电视交互控制系统和方法 |
| DE102016012474A1 (de) * | 2016-10-18 | 2018-04-19 | Reifenhäuser GmbH & Co. KG Maschinenfabrik | Verfahren zur schnellen Navigation in einer Benutzeroberfläche, Verfahren zum Herstellen eines Produkts aus thermoplastischem Kunststoff, Anlagensteuerung zur schnellen Navigation in einer Benutzeroberfläche und Anlage zum Herstellen eines Produkts aus thermoplastischem Kunststoff |
| WO2018235191A1 (ja) * | 2017-06-21 | 2018-12-27 | 三菱電機株式会社 | ジェスチャ操作装置及びジェスチャ操作方法 |
-
2002
- 2002-02-13 JP JP2002034864A patent/JP4031255B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150055543A (ko) | 2013-11-13 | 2015-05-21 | 오므론 가부시키가이샤 | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 |
| US9349039B2 (en) | 2013-11-13 | 2016-05-24 | Omron Corporation | Gesture recognition device and control method for the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003233452A (ja) | 2003-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4031255B2 (ja) | ジェスチャコマンド入力装置 | |
| US20210200935A1 (en) | Method of processing analog data and electronic device thereof | |
| US10825456B2 (en) | Method and apparatus for performing preset operation mode using voice recognition | |
| JP5316387B2 (ja) | 情報処理装置、表示方法及びプログラム | |
| CN103455742B (zh) | 提供基于指纹的快捷键的方法、机器可读存储介质和便携式终端 | |
| KR101993241B1 (ko) | 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체 | |
| US20020051262A1 (en) | Image capture device with handwritten annotation | |
| US20110010497A1 (en) | A storage device receiving commands and data regardless of a host | |
| US10990748B2 (en) | Electronic device and operation method for providing cover of note in electronic device | |
| CN104583906A (zh) | 便携式设备的输入方法和装置 | |
| WO2006047586A2 (en) | Enhanced user assistance | |
| KR20100062901A (ko) | 터치 패턴을 이용한 경로 탐색 방법 및 장치 | |
| US11112889B2 (en) | Electronic device and method for mapping function of electronic device to operation of stylus pen | |
| US20140372123A1 (en) | Electronic device and method for conversion between audio and text | |
| JP4268667B2 (ja) | 音声情報記録装置 | |
| US20040203411A1 (en) | Mobile communications device | |
| JP4517310B2 (ja) | 撮像装置、文字情報関連付け方法及び文字情報関連付けプログラム | |
| KR101286412B1 (ko) | 다중기능 가상 사용자 입력 장치 및 방법 | |
| KR100694111B1 (ko) | 저장부를 내장한 화상형성장치의 폴더생성 방법 및 장치와이를 이용한 데이터 저장 방법 및 장치 | |
| JP4871226B2 (ja) | 認識装置および認識方法 | |
| JP2005268951A (ja) | 携帯電話機 | |
| US8428314B2 (en) | Fingerprint-initiated navigating method, method for linking a fingerprint and a navigation destination, and navigating device | |
| CN111459272A (zh) | 一种交互方法、装置、存储介质及电子设备 | |
| JP7333761B2 (ja) | システム及び画像形成システム | |
| JP2019046310A (ja) | 情報処理システム、端末装置、情報処理方法及び情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050125 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070918 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |