JP6095478B2 - 入力操作装置 - Google Patents

Description

本発明は、入力装置に直接触れることなく、文字の入力や画面中のボタンの操作が可能な入力操作装置に関する。

従来、人体にセンサやカメラを取付けて、人体の動きをコンピュータに認識させ、文字入力やマウスを動作させることが可能な入力操作装置が知られている。

例えば、特許文献１に記載のコンピュータ装置では、使用者が両手の１０本の指に指輪状に成形された発光部を装着し、頭部にもヘッドマウント・ディスプレイと発光部を撮像するビデオカメラを装着する。ヘッドマウント・ディスプレイの画面には仮想キーボードが表示されるので、ビデオカメラで撮像した発光部の動きをコンピュータで処理することにより、使用者は、キーボードを使用せずに文字入力が行える（段落００５０〜００５９、図１、５）。

また、特許文献２に記載の情報入力装置では、デジタルカメラが５本の指を検出すると、表示部に仮想キーボードを表示する。ユーザーは、仮想キーボードから入力する文字を選択した後、その文字を指で摘む動作をすることにより文字入力が行える（段落００４６、００８３、図３、１０）。

特開２０００−２９６２１号公報 特開２０１２−２４８０６７号公報

しかしながら、特許文献１の装置では、文字入力のために人体にヘッドマウント・ディスプレイ等のアタッチメントを装着する必要がある。従って、これらを装着する手間が発生し、中には重いアタッチメントも含まれる。

また、特許文献２の装置では、右手でデジタルカメラのシャッタースイッチを押しながら、左手で１文字ずつ文字入力することになるので、迅速な入力が行えないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、文字等のキー入力を行う際に人体にセンサ等のアタッチメントを装着することなく、入力が迅速に行える入力操作装置を提供することを目的とする。

本発明の入力操作装置は、撮像領域にある人の手を撮像して画像情報を生成する撮像手段と、該撮像手段が生成した画像情報に基づいて各指の動きを認識する画像処理手段と、該各指の動きに応じた操作コマンドを送出するコマンド処理手段と、該操作コマンドに基づいて入力操作の結果を出力する出力手段とを備えた入力操作装置であって、前記画像処理手段は、前記画像情報から手の領域を抽出する手領域抽出手段と、前記手領域抽出手段により抽出された手の領域から指先形状を認識し、前記画像情報中の各指先の位置情報を取得する指先位置情報取得手段と、前記指先位置情報取得手段により取得された各指先の位置情報に基づいて、該各指先が各手の何れの指に対応するかを識別する指先識別手段と、前記指先識別手段により識別された特定の指先の位置情報に基づいて、入力操作が可能な複数の操作部を決定する入力操作部決定手段と、各指の位置の変化量が予め定めた閾値を超えた場合に前記操作部による入力操作が行われたと判定する入力操作判定手段とを有し、前記コマンド処理手段は、前記入力操作判定手段により入力操作が行われたと判定されたとき前記操作コマンドを作成するコマンド作成手段と、前記コマンド作成手段により作成された操作コマンドを前記出力手段に送信するコマンド送信手段とを有することを特徴とする。

本発明の入力操作装置によれば、人の手が撮像領域に入ってきたとき、撮像手段により画像情報が生成される。手領域抽出手段は、該画像情報から手の領域を抽出し、指先位置情報取得手段は、抽出された手の領域から、例えば、所定の曲率の部分を抽出することで指先形状を認識し、更に指先の位置情報を取得する。

指先識別手段は、指先の位置情報から各指先が各手の何れの指に対応するかを識別する。また、入力操作部決定手段は、特定の指先の位置情報に基づいて入力可能な複数の操作部（例えば、仮想キーボード中の複数のキー）を決定し、入力操作判定手段は、各指の位置の変化量が閾値を超えた場合に指による入力操作が行われたと判定する。

コマンド作成手段は、入力操作があったと判定されたとき操作コマンドを作成し、コマンド送信手段は、該操作コマンドを出力手段に送信する。従って、指の動きを認識して非接触で文字等の入力が行える入力操作装置を実現することができる。指の動きを認識するのに装着部（アタッチメント）を必要としないので、簡易な装置とすることができ、両手によって迅速な入力が行える。

本発明の入力操作装置において、前記入力操作部決定手段は、前記画像情報を複数の領域に分割して前記特定の指先が何れの領域に位置するかを判定し、前記分割された各領域は、前記特定の指先の位置から前記操作部を決定可能な感応帯と決定不能な不感帯とで構成されることが好ましい。

本発明によれば、入力操作部決定手段は、特定の指先（例えば、親指）が画像情報中の何れの領域に位置するかを判定するので、例えば、予め定めた各領域に対応する操作部を選択することができる。

分割された各領域は、それぞれ感応帯と不感帯とで構成され、特定の指先が感応帯にあったときは、直ちに対応する操作部が決定される。また、特定の指先が複数の領域の境界部分のような不感帯に入ったときには、例えば、特定の指先を感応帯に移動させるように警告することができる。

また、本発明の入力操作装置において、前記出力手段として、前記入力操作部決定手段により決定された操作部と該操作部の入力操作の結果を表示する表示装置を備え、前記表示装置では、前記特定の指先が前記感応帯の中央に近づくにつれて、前記操作部の表示角度を起立させて表示することが好ましい。

本発明によれば、入力操作部決定手段により決定された操作部（例えば、仮想キーボード中の複数のキー）が表示装置に表示されるので、操作者が容易に仮想キーボード中のキーを入力することができ、誤入力もなくなる。

また、特定の指先が感応帯の中央に近づくにつれて、表示装置で操作部の表示角度を起立させて表示するので、操作者が操作可能なキーが明確になる。従って、非常に文字入力が行い易くなる。

また、本発明の入力操作装置において、前記入力操作判定手段による判定は、前記手領域抽出手段により抽出された手の領域のうち掌内の特定点と前記指先位置情報取得手段により取得された各指先形状内の特定点とを結ぶ直線上にある指の距離変化により行うことが好ましい。

本発明によれば、入力操作判定手段による判定には、掌内の特定点と各指先形状内の特定点とを結ぶ直線上にある指の距離変化が用いられる。この直線は、認識された指の数（最大５本）だけ発生する。例えば、操作者がキー入力したときには、直線上にある指が曲がり、指とカメラの距離が短くなる。従って、入力操作判定手段は、その距離が閾値を超えたとき入力操作が行われたと判定する。これにより、容易に入力操作の判定を行うことができる。

また、本発明の入力操作装置において、前記掌内の特定点は、該掌の領域の重心であり、前記指先形状内の特定点は、該指先形状の重心又は先端であることが好ましい。

本発明によれば、掌内の特定点が掌の領域の重心であるので、該領域を抽出することで容易に重心を算出することができる。また、指先形状内の特定点が指先形状の重心であるので、例えば、指先形状を構成する画素の座標から容易に重心座標を算出することができる。指先形状内の特定点は、指先形状の先端であってもよい。これにより、両重心座標を結ぶことで、容易に直線を作ることができる。

以上のように、本発明によれば、文字等のキー入力を行う際に人体にセンサ等のアタッチメントを装着する必要がなく、文字入力を迅速に行うことができる。

人とカメラの位置関係を説明する図。 本発明の各構成の概略図。 全体処理のフローチャート。 手領域の抽出を説明する図。 指先位置情報取得処理のフローチャート。 曲率の算出を説明する図。 指先候補点の抽出を説明する図。 指先の識別を説明する図。 キー入力の決定を説明する図。 親指座標とキーボードの関係を説明する図。 キー入力判定処理のフローチャート。 判定ラインとキー入力操作を説明する図。 指間角度の算出と親指クリックを説明する図。 モニターの表示画面の例。

初めに、図１を参照して、人とカメラの位置関係について説明する。

入力操作装置１は、撮像手段の一例であるカメラ２と、後述の各処理を実行するコンピュータ３とで構成される。カメラ２は、図１（ａ）に示すように人（操作者）Ｈの前方下に配置されている。カメラ２からの距離に応じて撮像可能な範囲が変化し、その範囲内の物体を撮像することができる。

また、カメラ２は、ケーブルによりコンピュータ３に接続されている。カメラ２で撮像された画像情報は、コンピュータ３に送信されるので、モニターＭで画像情報を確認することができる。また、コンピュータ３は、画像を解析することで、人Ｈの指の動きによって後述する仮想キーボードを操作することができる。

図１（ｂ）は、図１（ａ）の状態を上方から見たときの図である。領域Ｓは、カメラ２が人Ｈの手を撮像可能な領域（以下、撮像領域又は単に領域という）であり、領域Ｓ内で、例えば、人Ｈが両手の指を動かすと、コンピュータ３が画像情報を解析して、仮想キーボードが操作されたと判定する。これにより、実際のキーボードと同様に文字の入力が行える。

次に、図２を参照して、本発明の各構成について説明する。

図２（ａ）に示すように、入力操作装置１において、カメラ２により人Ｈの手が撮像されたとき、その画像情報は、コンピュータ３内の画像処理部３１に送信される。この画像処理部３１における処理結果に応じて、コマンド処理部３２で、出力手段の一例であるモニターＭに文字等を表示するための操作コマンドが作成される。

図２（ｂ）に示すように、画像処理部３１は、手領域抽出部３１ａ、指先位置情報取得部３１ｂ、指先識別部３１ｃ、入力操作部決定部３１ｄ及び入力操作判定部３１ｅからなり、それぞれ本発明の「手領域抽出手段」、「指先位置情報取得手段」、「指先識別手段」、「入力操作部決定手段」、「入力操作判定手段」に相当する。また、図２（ｃ）に示すように、コマンド処理部３２は、コマンド作成部３２ａ及びコマンド送信部３２ｂからなり、それぞれ本発明の「コマンド作成手段」、「コマンド送信手段」に相当する。なお、各部で行われる処理については後述する。

図２（ａ）では、本発明の機能実現手段としてコンピュータ３の構成を画像処理部３１とコマンド処理部３２とに分けて示しているが、後で詳述するように、これらの処理部の機能はコンピュータ３のＣＰＵで実行されるものである。また、コマンド処理部３２で作成された操作コマンドがモニターＭに送出されるので、キーボードによる入力結果がモニターＭの表示画面に表示される。詳細は後述するが、モニターＭに仮想キーボードが表示されるので、文字入力が容易に行える。

図３は、実施形態の全体処理のフローチャートである。以下では、撮像領域Ｓに両手が差込まれたときを例に、各処理について説明する。

まず、手領域抽出処理が行われる（ステップＳ１０）。これは、カメラ２で撮像された画像（本発明の「画像情報」）から両手の領域を抽出する処理である。実施形態では、手を距離画像カメラにより撮像する。距離画像カメラを使用する場合、予め撮像領域に差込まれた手と距離画像カメラとの距離を所定の範囲に設定しておくことで、両手の領域を容易に抽出することができる。

具体的には、手と距離画像カメラとの距離に閾値を設け、手と背景を分離する。その後、画像内の輝度領域（ピクセル値のある領域）の面積を算出し、面積の大きい２つの領域を左右の手の領域として抽出する。

図４（ａ）は、手領域抽出処理により両手の手領域が抽出されたときの画像である。キー入力する際には、通常、掌が下側にあるが、カメラ２で撮像された画像を反転させた領域である画像領域Ｒの中心線（破線）に対して左側に左の手領域４ａ、右側に右の手領域４ｂが入るようにする。詳細は後述するが、例えば、片方の手領域しか抽出されなかった場合には、手領域抽出処理を再度行う必要がある。

手領域の抽出方法は、上記の方法以外にも幾つか存在する。例えば、普通のカメラを使用する場合、ＲＧＢ情報のうち肌色に該当する情報を抽出することにより、手領域を抽出することができる。予め記憶しておいた手の形状パターンにより、パターンマッチングを行う方法もある。また、２つのレンズを視差が生じるように配置することで、物体までの距離を算出可能なステレオカメラを使用してもよい。

その後、後に使用する両手の掌座標Ｆ₁、Ｆ₂を取得する（図４（ｂ）参照）。まず、手領域４ａ、４ｂから掌の領域を切り出す。これも幾つかの方法が考えられるが、実施形態では、Opening処理による方法を用いる。Opening処理とは、画像に対して同じ数だけ、Erosion処理（収縮処理）とDilation処理（膨張処理）を繰り返し行うことにより、細かいパターン及び小さいパターンを除去する処理である。

画像領域Ｒに対してOpening処理を行うと、例えば、左側の手領域４ａのうち、指や手首のパターンが除去されて、六角形の掌領域４ａ’だけが残る。その後、掌領域４ａ’の重心を算出して、これを掌座標Ｆ₁（ｘ_f1，ｙ_f2）とする。同様に、右側の掌座標Ｆ₂（ｘ_f2，ｙ_f2）を算出する。

図３に戻り、手領域抽出処理の終了後には、手領域が２つあるか否かが判定される（ステップＳ２０）。手領域抽出処理により、手領域が正確に２つ抽出された場合には、ステップＳ３０に進む。

一方、手領域抽出処理により、手領域が正確に２つ抽出されなかった場合には、ステップＳ１０に戻る。例えば、手領域が１つしか抽出されなかった場合、両方の手が交差して手首が画像領域Ｒの中心線を跨いでいる場合、親指同士が接触している場合等は、手領域が正確に２つ抽出されないので、手領域抽出処理を再度実行する。

次に、ステップＳ２０の判定が「ＹＥＳ」である場合、指先位置情報取得処理に進む（ステップＳ３０）。これは、手領域抽出処理（ステップＳ１０）で抽出した手領域から指先形状を抽出し、更に指先座標を算出する処理である。以下、図５を参照して、指先位置情報取得処理のフローチャートを説明する。

まず、輪郭線抽出処理が行われる（ステップＳ３０１）。これは、手領域４ａ、４ｂを含む画像から、手の輪郭線を抽出する処理である。例えば、左側の手領域４ａのエッジ部分を検出し、輪郭線５ａを抽出する（図７参照）。輪郭線を抽出する方法は、上記の方法以外にも幾つか存在するので、いかなる方法を用いてもよい。

輪郭線抽出処理が終了すると、曲率算出処理が行われる（ステップＳ３０２）。曲率とは、曲線である輪郭線上の１点と、その点から等距離離れた２点とがなす角度のことである。以下、図６を参照して、曲率の算出方法について説明する。

曲線上の点Ｂに対して、等距離だけ離れた点Ａ、点Ｃがあるとき、直線ＡＢと直線ＢＣのなす角θ_iが算出すべき曲率となる。曲率の算出方法は幾つか考えられるが、実施形態では、以下の方法を用いた。ここで、各点の座標を点Ａ（ｘ_i-1，ｙ_i-1）、点Ｂ（ｘ_i，ｙ_i）、点Ｃ（ｘ_i+1，ｙ_i+1）とする。

このとき、直線ＡＢとｘ軸のなす角をθ_i-1→iとし、直線ＢＣとｘ軸のなす角をθ_i→i+1とすると、θ_iは、以下の式（１）で与えられる。

また、θ_i-1→iとθ_i→i+1は、それぞれ以下の式（２）、（３）で与えられる。

このように、曲率θ_iは、上記３点の座標から算出することができる。

曲率算出処理が終了すると、指先候補点抽出処理が行われる（図５：ステップＳ３０３）。これは、手の輪郭線から指先の候補となる条件を満たす部分を抽出する処理である。以下、図７を参照して、指先候補点抽出処理について説明する。

ここでは、曲率算出処理（ステップＳ３０２）で算出した輪郭線５ａを構成する各点の曲率θ_iについて、それぞれ角度閾値θ_thと比較して、角度閾値θ_th以下となるものを抽出する。この処理により、指先候補点６（１）〜６（５）が抽出される。なお、輪郭線５ａのうち指先候補点と判定されなかった部分については削除されるので、破線で示した。

指先候補点抽出処理が終了すると、指先座標算出処理が行われる（図５：ステップＳ３０４）。これは、指先候補点抽出処理（ステップＳ３０３）で抽出された複数の指先候補点について、指先座標を算出する処理である。

再度、図７を参照するが、図の右上に指先候補点抽出処理により抽出された指先候補点６（４）の拡大図が示されている。このとき、指先候補点を構成する複数の画素の平均値を求めることにより、人差し指の指先座標を算出する。すなわち、指先座標は、これらの画素の重心の座標となり、指先座標Ｇ（ｘ_g4，ｙ_g4）が決定する。

同様に、指先候補点６（１）〜６（３）、６（５）についても、それぞれ重心座標を求め、各指先の指先座標とする。指先座標算出処理が終了すると、指先位置情報取得処理も終了となる。

図３に戻り、指先位置情報取得処理の終了後には、指先識別処理に進む（ステップＳ４０）。これは、指先座標算出処理（図５：ステップＳ３０４）で算出した各手の指先座標が、各手のどの指に対応するかを識別する処理である。以下、図８を参照して、指先識別処理について説明する。

まず、手領域抽出処理（図３：ステップＳ１０）で取得した画像情報を再度利用して、抽出した２つの輝度領域の重心座標のうち、ｘ座標の小さい方を左手、ｘ座標の大きい方を右手と判断する。また、既に算出した２つの掌座標Ｆ₁、Ｆ₂のｘ座標の小さい方を左手、ｘ座標の大きい方を右手と判断し、それぞれ掌座標Ｆ_L、Ｆ_Rとしてもよい。

次に、左手について、重心座標の周りにある指先座標のうち、ｘ座標の小さいものから順に小指、薬指、中指、人差し指、親指に対応するものと認識する。図８の例では、Ｇ_L（ｘ_L1，ｙ_L1）を小指の指先座標（以下、小指座標）、Ｇ_L（ｘ_L2，ｙ_L2）を薬指の指先座標（以下、薬指座標）とし、以下同様にＧ_L（ｘ_L5，ｙ_L5）を親指の指先座標（以下、親指座標）とする。なお、手領域の輪郭線５ａ、５ｂは既に削除されているので、破線で示した。

右手については、重心座標の周りにある指先座標のうち、ｘ座標の小さいものから順に親指、人差し指、中指、薬指、小指に対応するものと認識する。図８の例では、Ｇ_R（ｘ_R1，ｙ_R1）を親指座標、Ｇ_R（ｘ_R2，ｙ_R2）を人差し指の指先座標（以下、人差し指座標）とし、以下同様にＧ_R（ｘ_R5，ｙ_R5）を小指座標と認識する。

詳細は後述するが、実施形態では、両親指の位置で入力可能なキーボード中のキー群を決定する。従って、左手の親指座標Ｇ_L（ｘ_L5，ｙ_L5）は、領域Ｔ（以下、特定領域又は単に領域という）の内部かつ領域Ｔの中心線（破線）に対して左側に位置している必要がある。また、右手の親指座標Ｇ_R（ｘ_R1，ｙ_R1）は、領域Ｔの内部かつ領域Ｔの中心線に対して右側に位置している必要がある。

図３に戻り、指先識別処理の終了後には、入力キー決定処理に進む（ステップＳ５０）。これは、親指座標の位置からそれぞれの手で入力可能なキー群を決定する処理である。以下、図９を参照して、入力キー決定処理について説明する。

まず、画像領域Ｒから周囲の領域（ドット領域）を除いた特定領域Ｔを４×４の１６の領域に分割する（図９（ａ）参照）。以下では、ｘ軸方向の座標の小さい領域から順に［Ａ］〜［Ｄ］、ｙ軸方向の座標の小さい領域から順に［１］〜［４］とし、例えば、左上角の領域を［Ａ，１］と呼ぶ。

図示するように、ここでは、左手の親指座標Ｇ_L（ｘ_L5，ｙ_L5）が領域［Ｂ，２］の内部に位置している。左手の親指は、領域Ｔの左半分の何れかの領域に位置することになるが、何れの領域かによってキーボード中の入力可能なキー群が予め定められている。

また、図９（ｂ）に示すように、分割された各領域は、一辺が長さｗの正方形となっている。そして、領域の内部に感応帯と不感帯が存在する。感応帯とは、半径Ｒ’（Ｒ’＜ｗ／２）の円内部であり、親指座標Ｇ_L（ｘ_L5，ｙ_L5）が感応帯に含まれたとき、その領域に対応したキーボード中のキー群が選択される。

ここで、この領域の中心座標をＣ（ｃｘ，ｃｙ）としたとき、中心座標Ｃと親指座標Ｇ_L（ｘ_L5，ｙ_L5）の距離ｒは、以下の式（４）で与えられる。

そして、ｒ≦Ｒ’のとき、親指座標Ｇ_Lが感応帯に位置すると判定される。

一方、半径Ｒ’の円外部は不感帯となっている（図９（ｂ）の斜線部）。そして、ｒ＞Ｒ’のとき、親指座標Ｇ_L（ｘ_L5，ｙ_L5）は不感帯に含まれると判定される。例えば、分割された複数の領域の境界に親指座標Ｇ_L（ｘ_L5，ｙ_L5）があるような場合には、不感帯に含まれることになり、その領域に対応したキー群は選択されない。この場合、親指が感応帯に入るように警告するようにしてもよい。

次に、図１０を参照して、親指座標とキーボードの関係を説明する。実施形態では、親指座標の位置する領域により、人差し指で入力可能なキーボード中のキーが決定し、更に中指、薬指、小指で入力可能なキーも決定する。

まず、左手の親指は特定領域Ｔの左半分の何れかの領域に位置することになるので、左手で入力可能な大きなキー群として、図中のキー群Ｋ_Lが決定する。また、右手の親指は領域Ｔの右半分の何れかの領域に位置することになるので、右手で入力可能な大きなキー群として、図中のキー群Ｋ_Rが決定する。

次に、図９の例では、左手の親指が領域［Ｂ，２］の内部（感応帯）に位置しているので（図１０では○印）、左手の人差し指で「Ｔ」、中指で「Ｒ」、薬指で「Ｅ」、小指で「Ｗ」を入力するように入力キー群が決定する。仮想キーボードは、モニターＭの表示画面に表示されるが、入力キー群（図中のキー群Ｋ_L1）を目立つ態様で表示するようにしてもよい。これにより、仮想キーボードの入力が極めて容易になる。

また、例えば、右手の親指が領域［Ｄ，３］の内部（感応帯）に位置しているときは（図１０中の☆印）、右手の人差し指で「Ｊ」、中指で「Ｋ」、薬指で「Ｌ」、小指で「；」を入力するように入力キー群が決定する。同様に、このときの入力キー群（図中のキーＫ_R2）を目立つ態様で表示するようにしてもよい。なお、キー群Ｋ_L、Ｋ_Rに含まれていないキー（例えば、「Delete」）の入力については、後述する。

図３に戻り、入力キー決定処理の終了後には、キー入力判定処理に進む（ステップＳ６０）。これは、指によりキー入力が行われたか否かを判定する処理である。以下、図１１を参照して、キー入力判定処理のフローチャートを説明する。

まず、各手５本ずつ指が検出されているか否かが判定される（ステップＳ６０１）。具体的には、指先座標が左右の手につき５つずつあるかを判定する。各手５本ずつ指が検出されている場合には、ステップＳ６０２に進み、検出されていない場合には、ステップＳ６０３に進む。

ステップＳ６０１の判定が「ＹＥＳ」である場合、判定ラインが更新される（ステップＳ６０２）。ここでは、キー入力待ち状態であるので、その時点での各指先座標と掌座標とを結ぶことで判定ラインが更新される。

ここで、図１２を参照して、左手の場合を例に、上述の判定ライン及びキー入力操作について説明する。まず、判定ラインとは、手領域抽出処理（図３：ステップＳ１０）の中で算出した掌座標と、指先座標算出処理（図５：ステップＳ３０４）で算出した各指先座標とを結んでできるラインである（図１２（ａ）参照）。

図示するように、掌座標Ｆ_L（ｘ_L，ｙ_L）と小指座標Ｇ_L（ｘ_L1，ｙ_L1）とを結んだラインを判定ラインｌ₁とし、以下同様にして掌座標Ｆ_L（ｘ_L，ｙ_L）と親指座標Ｇ_L（ｘ_L5，ｙ_L5）とを結んだ判定ラインｌ₅までを作る。

実施形態では、カメラが判定ラインｌ₁〜ｌ₅上にある各指の距離変化を計測している。例えば、操作者が判定ラインｌ₂上の薬指を曲げてキーを押込む動作をしたとき（図１２（ｂ）参照）、薬指とカメラの間の距離が変化するので、薬指に対応したキーが押されたと判断される。

図１１に戻り、ステップＳ６０１の判定が「ＮＯ」である場合、判定ライン上の距離変化があったか否かが判定される（ステップＳ６０３）。距離変化があった場合には、ステップＳ６０４に進み、距離変化がなかった場合には、キー入力判定処理を終了する。

ステップＳ６０３の判定が「ＹＥＳ」である場合、距離変化が閾値を超えたか否かが判定される（ステップＳ６０４）。実施形態では、各指の高さ方向の位置を計測し、例えば、その平均値の約１センチメートル下方に閾値を設定する。そして、指が動いて距離変化が閾値を超えたか否かを判定する。距離変化が閾値を超えた場合には、ステップＳ６０５に進み、距離変化が閾値を超えなかった場合には、キー入力判定処理を終了する。

ステップＳ６０４の判定が「ＹＥＳ」である場合、キー入力が許可される（ステップＳ６０５）。すなわち、指によりキー入力が行われたと判断されるので、例えば、モニターＭに入力したキーに対応する文字が表示される。その後、キー入力判定処理を終了する。

なお、実施形態では、キーボードの端に配列された複数のキーが左右の指で入力可能なキーとなっていないが（図１０参照）、指の特定の動きによりこれらの文字を入力することができる。特に、親指は他の指と可動方向が異なるので、指間角度の変化をクリックやドラッグと定義し、文字入力に利用する。

例えば、手を自然に開いた状態から親指を人差し指の方向に閉じて開く一連の動作を「親指クリック」と定義し、「Delete」キーを左手の親指クリックで、「Enter」キーを右手の親指クリックで入力することができる。また、親指を人差し指の方向に閉じた状態を「ドラッグ」と定義し、例えば、「｛」キーを左手のドラッグ中に、「＝」キーを右手のドラッグ中に何れかのキーで入力することができる。

以下、図１３を参照して、左手の場合を例に、上述した指間角度の算出及び親指クリックについて説明する。

図示するように、掌座標から各指先座標に向かうベクトルができるので、掌座標Ｆ_L（ｘ_L，ｙ_L）から小指座標Ｇ_L（ｘ_L1，ｙ_L1）に向かうベクトルをベクトルｘ₁とする。以下同様にして、掌座標Ｆ_L（ｘ_L，ｙ_L）から親指座標Ｇ_L（ｘ_L5，ｙ_L5）に向かうベクトルｘ₅までを決定する。また、ベクトルｘ₁とベクトルｘ₂のなす角を指間角度φ_1-2とし、以下同様にベクトルｘ₄とベクトルｘ₅のなす角を指間角度φ_4-5とする（図中の角度は一部省略）。

実施形態では、親指が人差し指の方向に閉じたことをマウスのボタンダウンのジェスチャと認識するので、指間角度φ_4-5について必ず検出する必要がある。なお、このとき、指間角度φ_4-5は、以下の式（５）で与えられる。

このように、指間角度φ_4-5は、２つのベクトルから算出することができる。

更に、指間角度φ_4-5が小さくなり、予め定めた角度閾値φ_th以下となったとき、画像処理部によってボタンダウンがされたと認識される。その後、指間角度φ_4-5が大きくなって角度閾値φ_thを上回ったとき、画像処理部によってボタンアップがされたと認識される。すなわち、これがマウスの１回のクリックに相当する「親指クリック」である。

図３に戻り、キー入力判定処理の終了後には、コマンド送信処理に進む（ステップＳ７０）。これは、上記一連の画像処理で得られた操作コマンドをモニターＭに送信する処理である。実施形態では、上述した指によるキー入力や親指クリックが検出されたとき操作コマンドが作成され、モニターＭに操作コマンドが送信される。以上により、操作者がアタッチメントを装着することなく、指の動きを認識して非接触で文字の入力が行える入力操作装置を実現することができる。

最後に、図１４を参照して、モニターＭの表示画面の例を説明する。

図１４（ａ）に示すように、モニターＭの表示領域Ｍ’は、コンテンツ表示領域ｍ１（上方）と仮想キーボード領域ｍ２（下方）とで構成される。コンテンツ表示領域ｍ１は、仮想キーボードにより入力した文字が表示される領域である。コンテンツは、表計算ソフトやメールソフト等、文字入力が必要な如何なるものでもよい。

また、仮想キーボード領域ｍ２は、仮想キーボードＫが表示される領域である。操作者は、実際のキーボードに触れることなく、仮想キーボード領域ｍ２を見ながら文字入力を行うことができる。

操作者の手が撮像領域Ｓ（図１２参照）にないとき、仮想キーボードＫの各キーは、任意の角度で倒した状態で薄く表示される。そして、操作者の手が撮像領域Ｓに差込まれて、両手の親指の位置が認識されると、仮想キーボードＫの表示を起立させ、親指の位置する領域に対応するキー群が濃く表示される。従って、操作者は、各手でどのキーが入力可能か容易に認識することができる。また、表示されたキー群の上に各指の絵を薄く表示するようにすれば、文字入力が更に簡単になる。

仮想キーボードＫの起立角度は、特定領域Ｔの各領域中の親指の位置、すなわち、親指座標Ｇと中心座標Ｃの距離ｒに依存する（図９（ｂ）参照）。実施形態では、親指座標Ｇが上述の感応帯と不感帯の境界付近（感応帯内）であって、中心座標Ｃから最も離れた位置にある場合（ｒ≒Ｒ’）、起立角度を角度αとする（図１４（ｂ）参照）。

そして、親指座標Ｇが中心座標Ｃに接近するにつれて起立角度を大きくし、親指座標Ｇが中心座標Ｃの真上にある場合（ｒ＝０）、起立角度を角度（α＋β）とする。このとき、角度βは、以下の式（６）で与えられる。

ここで、関数ｆ（ｒ）は、以下の式（７）で与えられる正規分布の関数であり、距離ｒが大きくなる程、その値であるｆ（ｒ）が小さくなる。

以上のように、指の動きを認識して非接触で文字の入力が行える入力操作装置において、仮想キーボードの表示方法を工夫して、文字入力を迅速かつ容易に行えるようにした。

上記の実施形態は、本発明の一例であり、種々の変形例が考えられる。手の画像から手領域を抽出する方法、手領域から輪郭線を抽出する方法、曲率の算出方法は、様々な方法が知られているので、どのような方法を使用してもよい。また、指先座標を指先の重心座標とする代わりに指先の先端座標とすることもできる。

キーボードには、上記で説明した以外にも「Space」キー、「Function」キー等の多数のキーが含まれるが、これらのキーは、親指クリックと組合せたり、両手の親指クリックや人指し指と中指の同時クリック等の指の動作により入力可能としてもよい。

１・・・入力操作装置、２・・・カメラ（撮像手段）、３・・・コンピュータ、４ａ，４ｂ・・・手領域、４ａ’，４ｂ’・・・掌領域、５ａ，５ｂ・・・輪郭線、６（１）〜６（５）・・・指先候補点、３１・・・画像処理部（画像処理手段）、３２・・・コマンド処理部（コマンド処理手段）、Ｈ・・・人、Ｋ・・・仮想キーボード、Ｍ・・・モニター（表示装置）、Ｍ’・・・表示画面（表示領域）、Ｒ・・・画像領域、Ｓ・・・撮像領域、Ｔ・・・特定領域

Claims (5)

1. 撮像領域にある人の手を撮像して画像情報を生成する撮像手段と、該撮像手段が生成した画像情報に基づいて各指の動きを認識する画像処理手段と、該各指の動きに応じた操作コマンドを送出するコマンド処理手段と、該操作コマンドに基づいて入力操作の結果を出力する出力手段とを備えた入力操作装置であって、
   前記画像処理手段は、
   前記画像情報から手の領域を抽出する手領域抽出手段と、
   前記手領域抽出手段により抽出された手の領域から指先形状を認識し、前記画像情報中の各指先の位置情報を取得する指先位置情報取得手段と、
   前記指先位置情報取得手段により取得された各指先の位置情報に基づいて、該各指先が各手の何れの指に対応するかを識別する指先識別手段と、
   前記指先識別手段により識別された特定の指先の位置情報に基づいて、入力操作が可能な複数の操作部を決定する入力操作部決定手段と、
   各指の位置の変化量が予め定めた閾値を超えた場合に前記操作部による入力操作が行われたと判定する入力操作判定手段とを有し、
   前記コマンド処理手段は、
   前記入力操作判定手段により入力操作が行われたと判定されたとき前記操作コマンドを作成するコマンド作成手段と、
   前記コマンド作成手段により作成された操作コマンドを前記出力手段に送信するコマンド送信手段とを有することを特徴とする入力操作装置。
2. 請求項１に記載の入力操作装置において、
   前記入力操作部決定手段は、前記画像情報を複数の領域に分割して前記特定の指先が何れの領域に位置するかを判定し、
   前記分割された各領域は、前記特定の指先の位置から前記操作部を決定可能な感応帯と決定不能な不感帯とで構成されることを特徴とする入力操作装置。
3. 請求項２に記載の入力操作装置において、
   前記出力手段として、前記入力操作部決定手段により決定された操作部と該操作部の入力操作の結果を表示する表示装置を備え、
   前記表示装置は、前記特定の指先が前記感応帯の中央に近づくにつれて、前記操作部の表示角度を起立させて表示することを特徴とする入力操作装置。
4. 請求項１〜３の何れか１項に記載の入力操作装置において、
   前記入力操作判定手段による判定は、前記手領域抽出手段により抽出された手の領域のうち掌内の特定点と前記指先位置情報取得手段により取得された各指先形状内の特定点とを結ぶ直線上にある指の距離変化により行われることを特徴とする入力操作装置。
5. 請求項４に記載の入力操作装置において、
   前記掌内の特定点は、該掌の領域の重心であり、前記指先形状内の特定点は、該指先形状の重心又は先端であることを特徴とする入力操作装置。