JP7199441B2 - 入力装置 - Google Patents

Description

本発明は、入力装置に関する。

近年、仮想キーボードを用いて入力操作を行う技術が開発されている。特許文献１には、サイズの異なる複数の仮想キーボードを記憶し、ユーザの手の大きさに合った大きさの仮想キーボードを選択し、手の姿勢に合わせて複数のキーを配置し、指の特定の動作に基づいて押下されたキーを検出する方法が開示されている。

特開２０１４－１６５６６０号公報

しかしながら、従来の技術では、実空間のどの位置にどのようにキーを配置するかが明らかでなかった。したがって、ユーザの手に十分合った仮想キーボードを生成することができないため、押下されたキーを誤検出する可能性が高いといった問題があった。また一般的に、ユーザが仮想キーボードを利用する際、仮想キーの選択、および仮想キーが押下されたことの判定が正確になされないという問題もあった。

以上の課題を解決するために、本発明の好適な態様に係る入力装置は、初期状態における複数の指の指先位置のうち少なくとも３本の指の指先位置に基づいて、複数の仮想キーが配置される基準面を決定する決定部と、前記初期状態における前記少なくとも３本の指の指先位置のうち特定の指の指先位置に基づいて、前記複数の仮想キーにそれぞれ対応し、対応する仮想キーが押下されたことを各々が検出する複数の検出範囲を前記基準面に設定する仮想キー設定部と、入力操作における前記複数の指の指先位置と、前記複数の仮想キーの各々について前記基準面に設定された前記複数の検出範囲との位置関係に応じて、前記複数の仮想キーの中から押下された仮想キーを特定する押下キー特定部と、を備える。

本発明に係る入力装置によれば、ユーザの指の指先位置に応じて定まる基準面に仮想キーが押下されたことを検出するための複数の検出範囲を設定するので、押下された仮想キーを高い精度で特定することが可能となる。

本発明の実施形態に係る入力装置の外観構成を示す斜視図である。 同実施形態の入力装置のハードウェア構成を例示するブロック図である。 同実施形態の入力装置の機能を示す機能ブロック図である。 同実施形態おいて初期状態におけるユーザの左右の手を例示する斜視図である。 同実施形態において左右の手に対応する基準面を説明するための斜視図である。 同実施形態の検出範囲を説明するための説明図である。 同実施形態の押下キー特定部の詳細な機能を示す機能ブロック図である。 同実施形態の表示装置に表示される画面例を示す説明図である。 同実施形態の入力装置の動作を示すフローチャートである。 変形例１に係る検出範囲を説明するための平面図である。 変形例２に係る入力装置の機能を示す機能ブロック図である。

[１．第１実施形態]
［１．１．入力装置の外観構成］
図１は、本発明の実施形態に係る入力装置の外観構成を示す斜視図である。図１に示す入力装置１０は、ゴーグル型のヘッドマウントディスプレイである。ユーザＵは、入力装置１０を頭部に装着する。入力装置１０を頭部に装着した状態では、ユーザＵが視認できるのは、入力装置１０の内側に設けられた表示装置１４に表示される画像である。

表示装置１４には、仮想空間においてユーザＵのキャラクタが戦闘するゲーム、３Ｄ映画、ＳＮＳ（Social Networking Service）等のＷｅｂコンテンツ、あるいはメール等を表示することができる。入力装置１０がユーザＵの頭部に装着された状態では、ユーザＵは表示装置１４の外部を視認することができない。この状態でも、ユーザＵがテキスト等のデータを入力できるようにするため、入力装置１０は、仮想キーボードを用いてデータの入力を受け付ける機能を有する。仮想キーボートとは、実空間に存在せず、仮想的に生成されたキーボードである。仮想キーボードには複数の仮想キーが配置されている。

［１．２．入力装置のハードウェア構成］
図２は、入力装置１０のハードウェア構成を例示するブロック図である。入力装置１０は、処理装置１１、記憶装置１２、通信装置１３、表示装置１４、センサ群Ｓ及びこれらの装置を接続するバス１９を備える。バス１９は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

処理装置１１は、入力装置１０の全体を制御するプロセッサであり、例えば単数又は複数のチップで構成される。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）とによって構成される。なお、処理装置１１の機能の一部又は全部が、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現されてもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。

記憶装置１２は、処理装置１１が読取可能な記録媒体であり、処理装置１１が実行する制御プログラムＰＲを含む複数のプログラム、及び処理装置１１が使用する各種のデータを記憶する。記憶装置１２は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。

通信装置１３は、他の装置と通信する機器であり、移動体通信網又はインターネット等のネットワークを介して他の装置と通信する機能、近距離無線通信によって他の装置と通信する機能を備える。近距離無線通信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、又は、ＷｉＦｉ（登録商標）等が挙げられる。

表示装置１４は、処理装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネル、又は有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルが表示装置１４として好適に利用される。

センサ群Ｓは、物理量を計測する複数のセンサによって構成される。入力装置１０は、センサ群Ｓの出力データに基づいて、ユーザＵの左右の手の３次元の形状を特定する。この例のセンサ群Ｓは、第１撮像装置１５、第２撮像装置１６、加速度センサ１７及びジャイロセンサ１８を備える。
第１撮像装置１５は、被写体を撮像し、撮像結果に応じた第１画像データＤＧ１を出力する。第２撮像装置１６は、被写体を撮像し、撮像結果に応じた第１画像データＤＧ２を出力する。図１に示すように第１撮像装置１５と第２撮像装置１６とは、所定距離だけ離間して配置されている。したがって、ユーザＵの左右の手が撮像された場合、第１画像データＤＧ１と第２画像データＤＧ２とに基づいて、左右の手の３次元の形状を特定することが可能となる。なお、左右の手の３次元の形状を特定するための構成は、第１撮像装置１５と第２撮像装置１６に限られない。例えば、３つ以上の撮像装置を用いて、手の３次元の形状を特定してもよい。要は、手の３次元の形状を特定するために、物理量を計測する２個以上のセンサを用いればよい。
以下の説明において、「手(hand)」とは、ユーザＵの手首から指先までの、身体の部分を意味し、親指と、人差指と、中指と、薬指と、小指と含む。なお、以下の説明においては、英語圏でいう「親指（thumb）」を「指(finger)」と呼ぶ場合がある。つまり、「指(fingers)」とは、親指と、人差指と、中指と、薬指と、小指とを含む概念である。手の形状には、５本の指の指先位置及び手のひらの形状が含まれる。

加速度センサ１７は、互いに直交する３軸の各方向の加速度を計測し、計測結果に応じた加速度データＤ１を出力する。加速度データＤ１は、入力装置１０に加わる加速度を表す。また、ジャイロセンサ１８は、互いに直交するヨー軸、ピッチ軸、ロール軸の各軸を中心とする回転の角加速度を計測し、計測結果を示す角加速度データＤ２を出力する。角加速度データＤ２に基づいて、入力装置１０の傾きを検出することができる。

［１．３．入力装置の機能］
図３は、入力装置１０の機能を示す機能ブロック図である。処理装置１１は記憶装置１２から読み取った制御プログラムＰＲを実行する。制御プログラムＰＲの実行によって、手形状認識部２０、右手処理部３０Ｒ、左手処理部３０Ｌ、及び画像生成部４０の機能が実現される。

手形状認識部２０は、第１画像データＤＧ１と第２画像データＤＧ２とに基づいて、ユーザＵの手の形状を３次元で表現する手形状データＤＲ及び手形状データＤＬをそれぞれ生成する。第１画像データＤＧ１と第２画像データＤＧ２とは、物理量を計測するセンサの出力データの一例である。手形状データＤＲはユーザＵの右手の形状を示し、手形状データＤＬはユーザＵの左手の形状を示す。手形状データＤＲ及び手形状データＤＬは、例えば、手の形状がワイヤーフレームの形式において示されるデータである。

右手処理部３０Ｒは、手形状データＤＲに基づいて、右手用の仮想キーボードを示す仮想キーボードデータＫＢ１と、ユーザＵが右手で押下した仮想キーを示す押下キーデータＤｐ１を生成する。左手処理部３０Ｌは、手形状データＤＬに基づいて、左手用の仮想キーボードを示す仮想キーボードデータＫＢ２と、ユーザＵが左手で押下した仮想キーを示す押下キーデータＤｐ２を生成する。即ち、本実施形態では、ユーザＵの入力操作に左右で分離した２つの仮想キーボードを用いる。なお、左手処理部３０Ｌは、右手処理部３０Ｒと同様に構成されているので、左手処理部３０Ｌについての説明を省略する。

右手処理部３０Ｒは、指先位置特定部３１、手のひら形状特定部３２、決定部３３、仮想キー設定部３４、及び押下キー特定部３５を備える。指先位置特定部３１は、手形状データＤＲに基づいて、５本の指の指先位置を示す指先位置データＤｔｐを生成する。手のひら形状特定部３２は、手形状データＤＲに基づいて、手のひらの形状を示す手のひら形状データＤｈを生成する。

決定部３３は、初期状態における複数の指の指先位置に基づいて、複数の仮想キーが配置される基準面を決定する。ここで、基準面を決定するために必要な指先位置の数は、少なくとも３つである。初期状態とは、入力操作前の状態であって、ユーザＵが右手用の仮想キーボードの位置決めを行うためにユーザＵが左右の手を構えた状態の意味である。

より具体的には、決定部３３は、指先位置データＤｔｐに基づいて、５本の指のうち３本の指の指先位置を特定する。決定部３３は、特定した３本の指の指先位置を含む面を基準面として決定する。基準面は平面に限られず曲面であってもよい。３本の指の指先位置は、仮想キーボードと接する位置と考えることができるので、決定部３３は、３本の指の指先位置に基づいて基準面を決定できる。３次元空間上の３点が決定されれば、これら３点を含む平面を一意に決定できる。基準面が平面である場合、決定部３３は、３本の指の指先位置を含む平面を基準面として決定する。一方、基準面が曲面である場合、決定部３３は、所定の関数を用いて曲面を決定する。所定の関数は入力される３点の３次元座標に応じた曲面を一意に定める。決定部３３は、所定の関数に３本の指の指先位置を入力し、３本の指の指先位置を含む曲面を基準面として決定する。基準面を曲面とした場合には、仮想キーボードは、いわゆるエルゴノミクスタイプのキーボードであってもよい。

ここで、基準面を決定するために用いられる３本の指の指先位置は、親指の指先位置、薬指の指先位置、及び子指の指先位置であることが好ましい。親指、薬指、及び小指は、右手の甲側から見て、左端、右端よりも左側、右端にそれぞれ位置する。このため、これらの指により、右手全体で基準面を決定することができる。親指、薬指及び小指は、実空間において手のひらの位置を安定させる指なので、決定部３３は他の指の組み合わせと比較して、より正確に基準面を定めることができる。

さらに、決定部３３は、初期状態における３本の指の指先位置に基づいて仮基準面を決定し、３本の指以外の少なくとも１本の指の指先位置に基づいて、仮基準面を補正することによって、基準面を決定してもよい。このように基準面を決定することにより、３本の指以外の少なくとも１本の指の指先位置を基準面に反映させることができる。このため、仮基準面を決めずに基準面を決める場合と比較して、ユーザＵにとって、より使いやすい基準面（平面又は曲面）を定めることができる。この場合、４本の指の指先位置に基づいて基準面が決定されることになるが、４本の指には小指、薬指、及び親指が含まれることが好ましい。
例えば、決定部３３は、３本の指の指先位置に基づいて仮基準面としての平面を特定し、人差指の指先位置及び中指の指先位置に基づいて、仮基準面を補正することによって、ユーザＵの手にフィットした曲面の基準面を特定してもよい。この場合、基準面の決定には、３本の指以外の少なくとも１本の指の指先位置で仮基準面を補正して曲面の基準面を特定する所定の関数を用いればよい。

決定部３３は、４本以上の指の指先位置に基づいて基準面を決定してもよい。この場合、決定部３３は、最小２乗法を用いて、各指の指先位置から基準面までの距離を誤差として、誤差の合計を最小にする基準面を定めてもよい。

例えば、図４Ａに示すようにユーザＵが右手と左手を構えた場合、右手処理部３０Ｒの決定部３３は図４Ｂに示す基準面Ｐ１（第１基準面の一例）を決定し、左手処理部３０Ｌの決定部３３は、図４Ｂに示す基準面Ｐ２（第２基準面の一例）を決定する。右手と左手とで、異なる基準面Ｐ１及びＰ２を設定することによって、右手用の仮想キーボードと左手用の仮想キーボードとを生成することができる。

なお、右手処理部３０Ｒの決定部３３は、ユーザＵによる入力操作中に、基準面Ｐ１をユーザＵの右手の動きに追従して動かしてもよい。具体的には、決定部３３は、手のひら形状データＤｈに基づいて、手のひらの動きを特定し、基準面を手のひらの動きに応じて移動させればよい。また、決定部３３は、例えば、手のひらの重心の動きによって、手のひらの動きを特定してもよい。入力操作において、指の動きと手のひらの動きを比較すると、指の動きの度合いは手のひらの動きの度合いより大きい。このため、手のひらの動きに基づいて基準面を移動させることが好ましい。このように、ユーザＵの手の動きに追随して基準面を移動させることによって、あたかもユーザＵの手に付いた状態で仮想キーボードが移動することが可能となる。入力操作中にユーザＵの姿勢が変化しても（例えば、ソファに座っていたユーザＵがソファに寝そべる）、ユーザＵは、入力操作を継続して行うことが可能となる。追随動作を終了する場合は、決定部３３は、例えば、手を握るなど、予め定められたジェスチャを手形状データＤＲに基づいて検出すればよい。

仮想キー設定部３４は、決定部３３が基準面を決定する際に用いた少なくとも３本の指のうち特定の指の指先位置に基づいて、複数の仮想キーの各々について複数の検出範囲を基準面に設定する。各検出範囲は、複数の仮想キーのうち対応する仮想キーが押下されたことを検出するための範囲である。仮想キー設定部３４は、複数の仮想キーと１対１に対応する複数の検出範囲を示す検出範囲データＤｄを押下キー特定部３５に出力する。なお、特定の指は、小指及び薬指であることが好ましい。
ここで、複数の検出範囲の一部又は全部に、ユーザＵが押下に使う一つの指が割当てられていることが好ましい。この場合、検出範囲データＤｄは、一個の仮想キーと、一つの検出範囲と、その仮想キーを押下するために使われる指との対応関係を示すデータである。例えば、「Ｊ」を示す仮想キーの検出範囲には右手の人差し指が、「Ｄ」を示す仮想キーの検出範囲には左手の中指が割り当てられていてもよい。いわゆるブラインドタッチ（touch typing）では、どの指がどの仮想キーを押し下げるかが決められているのが通常である。したがって、ある検出範囲について対応する仮想キーの押下に使われる指を予め定めることにより、後述する押下キー特定部３５によって特定される仮想キーの誤検出が低減される。
なお、全ての検出範囲について、ユーザＵが押下に使う一つの指を定めなくてもよい。検出範囲ごとに指を定めない場合であっても、後述する推定モデル３５０によって、各指の指先位置と押下された仮想キーの関係が学習されるからである。

また、仮想キー設定部３４は、特定の指の指先位置に基づいて、複数の仮想キーを基準面Ｐ１に配置した仮想キーボードデータＫＢ１を生成し、仮想キーボードデータＫＢ１を画像生成部４０に出力する。

図５に基準面に設定された検出範囲の一例を示す。同図において、点線で囲まれた一つの範囲が１個の仮想キーに対応する検出範囲である。

押下キー特定部３５は、入力操作における各指の指先位置及び手のひらの形状と、仮想キーごとに基準面に設定された検出範囲との位置関係に応じて、押下された仮想キーを特定する。各指先の指先位置は指先位置データＤｔｐによって与えられる。手のひらの形状は手のひら形状データＤｈによって与えられる。

図６に、押下キー特定部３５の詳細な機能ブロックを示す。この図に示すように、押下キー特定部３５は、推定モデル３５０、学習部３５１、及び正解キー生成部３５３を備える。

推定モデル３５０は、指先位置データＤｔｐの示す各指の指先位置及び手のひら形状データＤｈの示す手のひらの形状、並びに検出範囲データＤｄの示す複数の検出範囲に基づいて、押下された仮想キーを推定する。推定モデル３５０は、推定された仮想キーを示す押下キーデータＤｐ１を生成する。推定モデル３５０は、例えば、人工ニューラルネットワークを用いて構成されている。

学習部３５１は、推定モデル３５０によって推定された仮想キーを正解キーと比較し、比較結果に基づいて、推定された仮想キーの正誤を推定モデル３５０に反映させる。

正解キー生成部３５２は、押下キーデータＤｐ１に基づいて、正解キーを特定する。推定モデル３５０によって推定された仮想キーが正しい場合、ユーザＵは、入力済みの文字又は記号を変更する修正操作をしない。一方、推定モデル３５０によって推定された仮想キーが誤っている場合、ユーザＵは、前述の修正操作を行う。そのため、正解キー生成部３５２は、押下キーデータＤｐ１を監視しており、ユーザＵによって修正操作がなされたかを判定する。判定結果が肯定の場合、正解キー生成部３５２は、修正操作によって推定された仮想キーを正解キーとして特定する。一方、判定結果が否定の場合、正解キー生成部３５２は、推定された仮想キーを正解キーとして特定する。

押下キー特定部３５は、機械学習によって、ユーザＵの入力操作に関する癖を推定モデル３５０に反映させるので、押下された仮想キーを推定する精度を向上させることができる。また、推定モデル３５０には、指先位置データＤｔｐと手のひら形状データＤｈとが入力されるので、推定モデル３５０には、複数の指先位置と手のひら形状との関係についての学習結果が次第に蓄積される。上述したように、指先位置データＤｔｐは、第１画像データＤＧ１および第２画像データＤＧ２に基づいて生成される。このため、入力装置１０とユーザＵの指先との位置関係によっては、ユーザＵの指先が入力装置１０に隠れてしまい、第１画像データＤＧ１および第２画像データＤＧ２にユーザＵの指先が反映されない場合もあり得る。そのような場合には、推定モデル３５０は手のひら形状データＤｈに基づいて、押下キーデータＤｐ１を推定するが、推定モデル３５０には、学習済みの指先位置と手のひら形状との関係が反映されている。このため、指先位置データＤｔｐが無効な場合であっても、押下された仮想キーを推定することが可能になる。
また、推定モデル３５０は、ユーザＵが押下に使う指が一つ割り当てられた検出範囲については、ユーザＵが押下に使う指を考慮して、押下された仮想キーを推定する。一方、ユーザＵが押下に使う指が割り当てられていない検出範囲が存在してもよく、指が割り当てない仮想キーとしては、例えば、「Enter」を示す仮想キー、「Shift」を示す仮想キー、「Ctrl」を示す仮想キー等の特殊仮想キーがある。特殊仮想キーが押下された場合、文字を示す仮想キーが押下される場合と比較して、手のひらの形状が大きく異なる。したがって、特殊仮想キーに対応する検出範囲に押下された指が割り当てられていなくても、推定モデル３５０は、手のひらの形状に基づいて、押下された仮想キーを精度よく推定できる。

説明を図３に戻す。画像生成部４０は、右手用の仮想キーボードデータＫＢ１と、左手用の仮想キーボードデータＫＢ２と、右手の手形状データＤＲと、左手の手形状データＤＬと、右手の押下キーデータＤｐ１と、左手の押下キーデータＤｐ２とに基づいて、画素データＤＫを生成し、画素データＤＫを表示装置１４に出力する。表示装置１４には、例えば、図７に示す画像が表示される。同図に示すように表示装置１４には、右手用仮想キーボードＫ１及び右手ＨＲ、左手用仮想キーボードＫ２及び左手ＨＬが表示される。さらに、表示装置１４には、押下された仮想キーＫｘの画像が他の仮想キーの画像と識別可能な態様で表示される。この例において、押下された仮想キーＫｘは、他の仮想キーと異なる色で表示される。別の例では、押下された後の仮想キーＫｘの大きさが、押下される前の仮想キーＫｘの大きさと比較して大きく表示されてもよい。また、仮想キーＫｘを光らせて他の仮想キーと識別可能に表示してもよい。

また、画像生成部４０は、手形状データＤＲにコンピュータグラフィック処理を施すことによって、右手ＨＲの画像を生成し、手形状データＤＬにコンピュータグラフィック処理を施すことによって、左手ＨＬの画像を生成する。但し、画像生成部４０は、第１画像データＤＧ１から右手ＨＲの画像を示す画像データを切り出し、第２画像データＤＧ２から左手ＨＬの画像を示す画像データを切り出したうえで、切り出した２つの画像データを合成して表示装置１４に右手ＨＲの画像及び左手ＨＬの画像を表示させてもよい。この場合は、画像生成部４０は、実際に撮像された画像に、左手用及び右手用の仮想キーボードの画像を合成する。この合成により、拡張現実（AR：Augmented Reality）の画像を表示装置１４に表示させることが可能となる。くわえて、決定部３３は、手（右手又は左手）の動きに応じて基準面を移動させてもよい。この移動によって、仮想キーが配置されるキーボード面とは逆側から仮想キーボードを（すなわち、仮想キーボードの裏面を）ユーザＵが視認することができる。即ち、複合現実（MR：Mixed Reality）の画像を表示装置１４に表示することも可能である。

［１．４．入力装置の動作］
図８は、入力装置１０の動作を示すフローチャートである。図８を参照して、入力装置１０の動作を説明する。まず、手形状認識部２０は、第１画像データＤＧ１及び第２画像データＤＧ２に基づいて、手形状データＤＲ及びＤＬを生成する（Ｓ１）。

次に、手形状認識部２０は、ソフトウェア（アプリケーション）によって、テキスト等の文章を入力するための入力エリアが仮想空間の視野枠内に表示されている場合に、手形状データＤＲ及びＤＬに基づいて、手（右手及び左手）の形状が文章を入力するのに適した形状であるか否かを判定する（Ｓ２）。したがって、ユーザが文章の入力に適するように手を構えるだけで、手形状認識部２０が、センサ群Ｓの出力データに基づいて、文章の入力が開始されたか否かを判定する。この判定結果に応じて、左手用及び右手用の仮想キーボードが仮想空間内に表示される。文章の入力が開始されたことをセンサ群Ｓの出力データに基づいて、検知できるのであれば、上述の判定には、どのような方法を用いてもよい。以下では、右手に関する処理は左手に関する処理と同じであるので、特に断らない限り、右手に関する処理について説明する。左手に関する処理の説明を省略する。

ステップＳ２の判定結果が肯定の場合、決定部３３は、指先位置データＤｔｐを用いて、３本の指の指先位置を特定し、特定した３本の指の指先位置を含む面を基準面（具体的には、基準面Ｐ１）として決定する（Ｓ３）。この例において、３本の指は、小指、薬指、及び親指である。

次に、仮想キー設定部３４は、３本の指のうち特定の指の指先位置に基づいて、基準面に各仮想キーを配置して仮想キーボードデータＫＢ１を生成する（Ｓ４）。この例において、特定の指は、小指及び薬指である。

次に、仮想キー設定部３４は、３本の指のうち特定の指の指先位置に基づいて、複数の仮想キーの各々について押下の検出範囲を基準面に設定した検出範囲データＤｄを生成する（Ｓ５）。なお、ステップＳ４とステップＳ５の順序は逆であってもよい。

次に、押下キー特定部３５の推定モデル３５０は、入力操作における各指の指先位置及び手のひらの形状と複数の検出範囲との位置関係に応じて、押下された仮想キーを示す押下キーデータＤｐ１を生成する（Ｓ６）。

次に、押下キー特定部３５の学習部３５１は、推定した仮想キーと正解キーとの比較結果を推定モデル３５０に反映させる（Ｓ７）。

この後、手形状認識部２０は、手形状データＤＲに基づいて手の形状が文章を入力するのに適した形状であるかを判定する（Ｓ８）。ステップＳ８の判定結果が否定の場合、即ち、手の形状が文章を入力するのに適した形状ではない場合、仮想空間内に表示される仮想キーボードが消去される。したがって、ユーザＵの手の形状が文章を入力するときの形状から変化するだけで、仮想キーボードを消去できる。なお、手形状データＤＲ及びＤＬに基づいて、ユーザＵが、予め定められたジェスチャを行ったかを判定してもよい。このジェスチャは、例えば、仮想キーボードを用いた入力操作の終了を指示することを示す。ステップＳ８の判定結果が肯定である場合、即ち、手の形状が文章を入力するのに適した形状である場合、処理装置１１は、処理をステップＳ６に戻し、判定結果が否定になるまで、ステップＳ６からステップＳ８までの処理を繰り返す。ステップＳ８の判定結果が否定である場合、処理装置１１は、仮想キーボードを用いた処理を終了する。

以上、説明したように本実施形態に係る入力装置１０において、決定部３３は、初期状態における複数の指の指先位置のうち少なくとも３本の指の指先位置に基づいて、複数の仮想キーが配置される基準面を決定する。３本の指の指先位置によって、実空間におけるユーザＵの指の位置に沿った基準面を一意に決定することができる。さらに、決定部３３が４本以上の指の指先位置に応じて基準面を決定すれば、決定部３３が３本の指の指先位置に応じて基準面を決定する場合と比較して、ユーザＵの指の状態をより反映させた基準面を決定することができる。この結果、押下された仮想キーを高い精度で特定することが可能となる。

また、仮想キー設定部３４は、初期状態における少なくとも３本の指の指先位置のうち特定の指先位置に基づいて、複数の仮想キーにそれぞれ対応し、対応する仮想キーが押下されたことを各々が検出する複数の検出範囲を基準面に設定する。押下キー特定部３５は、入力操作における複数の指の指先位置と、複数の仮想キーの各々について基準面に設定された複数の検出範囲との位置関係に応じて、複数の仮想キーの中から押下された仮想キーを特定する。仮想キー設定部３４および押下キー特定部３５により、ユーザＵの手の形状が反映されるので、操作し易い入力装置１０を実現できる。

また、押下キー特定部３５は、複数の指の指先位置を示すデータ、手のひらの形状を示すデータ、及び複数の検出範囲に基づいて、複数の仮想キーの中から押下された仮想キーを推定する推定モデル３５０と、推定モデル３５０によって推定された仮想キーの正誤を推定モデル３５０に反映させる学習部３５１とを備える。推定モデル３５０及び学習部３５１により、ユーザＵの入力操作に関する癖を推定モデル３５０に反映させることができる。この結果、推定モデル３５０に比較結果を反映させない場合と比較して、入力の精度を向上させることできる。

また、入力装置１０は、初期状態における右手の少なくとも３本の指の指先位置に基づいて右手に対応する第１基準面を基準面として決定し、初期状態における左手の少なくとも３本の指の指先位置に基づいて左手に対応する第２基準面を基準面として決定する決定部と、右手の少なくとも３本の指の指先位置のうち初期状態における右手の特定の指の指先位置に基づいて、複数の検出範囲を、右手用の複数の検出範囲として右手に対応する第１基準面に設定し、左手の少なくとも３本の指の指先位置のうち初期状態における左手の特定の指の指先位置に基づいて、複数の検出範囲を、左手用の複数の検出範囲として左手に対応する第２基準面に設定する仮想キー設定部と、入力操作における右手の複数の指の指先位置と、右手用の複数の検出範囲との間の位置関係に応じて、複数の仮想キーの中から右手によって押下された仮想キーを特定し、入力操作における左手の複数の指の指先位置と、左手用の複数の検出範囲との間の位置関係に応じて、複数の仮想キーの中から左手によって押下された仮想キーを特定する、押下キー特定部とを備える。以上の態様によれば、左手と右手で独立して仮想キーを設定することができるので、左右の手の大きさ又は左右の手の形状に合わせた入力操作が可能となる。更に、左右の手を区別しない場合と比較して押下された仮想キーを特定する精度を向上させることができる。

また、入力装置１０は、センサから出力される出力データに基づいて、手の形状を３次元で表す手形状データＤＲを生成する手形状認識部２０を備える。推定モデル３５０に入力される、複数の指の指先位置を示す指先位置データＤｔｐ及び手のひらの形状を示す手のひら形状データＤｈは、手形状データＤＲに基づいて特定される。この態様によれば、３次元の手形状データＤＲから指先位置データＤｔｐ及び手のひら形状データＤｈが生成されるので、複数の指の指先位置及び手のひらの形状を３次元で扱うことができる。この結果、推定モデル３５０における押下された仮想キーを推定する精度を向上させることができる。

また、入力装置１０は、前記複数の仮想キーが配置された仮想キーボードにおいて、押下されていない仮想キーの画像と、押下キー特定部３５によって特定された押下された仮想キーの画像とを互いに識別可能な態様で表示する表示装置１４を備える。したがって、ユーザＵは、入力操作によってどの仮想キーが押下されたかを知ることができる。その結果、ユーザＵは、入力ミスをリアルタイムで認識することができる。

[２．変形例]
本発明は、以上に例示した各実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

（１）上述した実施形態において、仮想キー設定部３４は、指ごとに、仮想キーが押下されたことを検出するための検出範囲を設定してもよい。図９は、基準面を法線方向から仮想キーを平面視した場合における、仮想キーと検出範囲との間の関係を示す説明図である。図９に示すように仮想キーＫＥＹ１と仮想キーＫＥＹ２とが仮想キーボードに配置されている場合、右手の人差指によって仮想キーＫＥＹ１が押下された場合の検出範囲は領域Ａ１であり、右手の中指によって仮想キーＫＥＹ１が押下された場合の検出範囲は領域Ｂ１であり、右手の人差指によって仮想キーＫＥＹ２が押下された場合の検出範囲は領域Ａ２であり、右手の中指によって仮想キーＫＥＹ２が押下されたた場合の検出範囲は領域Ｂ２である。即ち、仮想キーＫＥＹ１が押下されたことを検出する範囲は、人差指用の領域Ａ１の方が中指用の領域Ｂ１よりも広い。このように検出範囲を設定したのは、仮想キーＫＥＹ１は人差指によって押下されることが予定されている一方、中指によって押下されることが予定されていないからである。このように、仮想キー設定部３４が、指ごとに仮想キーが押下されたことを検出する検出範囲を設定する。この設定によって、押下キー特定部３５は、指ごとに仮想キーが押下されたことを検出するための検出範囲を設定しない場合と比較して、押下された仮想キーを推定する精度を向上させることができる。このような検出範囲を設定することは、例えば、ユーザＵが仮想キーＫＥＹ１を中指によって押下する癖がある場合、あるいは、ユーザＵがたまたま仮想キーＫＥＹ１を中指によって押下した場合に有用である。そして、ユーザＵが仮想キーＫＥＹ１を中指によって押下する癖がある場合には、ユーザＵによる入力操作の癖を、推定モデル３５０が学習する。このため、入力装置１０の使用時間が増えると、学習により、ユーザＵが中指によって仮想キーＫＥＹ１を押下した場合に、仮想キーＫＥＹ１を検出する精度が向上する。

（２）上述した実施形態において、仮想キー設定部３４は、初期状態における特定の指の指先位置に基づいて、仮想キーが押下されたことを検出するための複数の検出範囲を設定したが、本発明はこれに限定されない。変形例２に係る入力装置１０のハードウェア構成は、図２に示す実施形態に係る入力装置１０の構成と同じであり、両者の機能が互いに相違する。図１０は変形例２に係る入力装置１０の機能を示す機能ブロック図である。

図１０に示す入力装置１０の構成は、仮想キー設定部３４の替わりに、仮想キー設定部３４Ａを用いる点を除いて、図３に示す実施形態における入力装置１０の構成と同じである。仮想キー設定部３４Ａには、押下キーデータＤｐ１がフィードバックされている。仮想キー設定部３４Ａは、特定の指の指先位置と、直前に押下されたことが押下キー特定部３５によって特定された仮想キーとに基づいて、次の仮想キーが押下されることを特定するために用いる検出範囲を示す検出範囲データＤｄを生成する。

例えば、「Ｓ」を示す仮想キーが押下された後に「Ｅ」を示す仮想キーが押下される場合と、「Ｇ」を示す仮想キーが押下された後に「E」を示す仮想キーが押下される場合とで、「Ｅ」を示す仮想キーが押下される際の手のひらの形状は異なる。即ち、直前に押下された仮想キーによって手のひらの形状が異なる。変形例２によれば、直前に押下された仮想キーと手のひらの形状を考慮することによって、押下された仮想キーを推定する精度が向上する。

（３）上述した実施形態において、入力装置１０は、左右に分離した２つの仮想キーボードを生成したが、本発明はこれに限定されない。入力装置１０は、左手用仮想キーボードと右手用仮想キーボードが一体となった仮想キーボードを生成してもよい。また、入力装置１０は、右手と左手との間の距離が所定値以下になると、右手用仮想キーボードと左手用仮想キーボードを、両者が一体となった仮想キーボードに変更してもよい。

（４）上述した実施形態において、手形状データＤＲ及びＤＬは、第１画像データＤＧ１及び第２画像データＤＧ２に基づいて生成したが、本発明はこれに限定されない。３次元の手形状データＤＲ及びＤＬを生成できるのであれば、入力装置１０は、どのようなセンサの出力データに基づいて、手形状データＤＲ及びＤＬを生成してもよい。例えば、第２撮像装置１６の替わりに、被写体までの奥行を示すデータを出力する深度カメラをセンサとして採用してもよい。深度カメラを採用する場合、手形状認識部２０が、第１画像データＤＧ１と奥行データとに基づいて、手の形状を３次元で表す手形状データＤＲ及びＤＬを生成してもよい。さらに、ユーザＵの手にセンサが装着されていてもよい。この場合、処理装置１１は、ユーザの手に装着されたセンサから位置情報を取得し、この位置情報を手形状認識部２０に入力してもよい。手形状認識部２０は、位置情報と他のセンサからの出力データとを組わせて、手形状データＤＲ及びＤＬを生成してもよい。

（５）上述した実施形態において、推定モデル３５０には、手のひら形状データＤｈが入力されるが、本発明はこれに限定されない。押下キー特定部３５は、手のひら形状データＤｈを除いた、指先位置データＤｔｐと検出範囲データＤｄとを推定モデル３５０に入力してもよい。この場合、図３に示す手のひら形状特定部３２を省略できるので、右手処理部３０Ｒの構成および左手処理部３０Ｌの構成を簡素化することができる。
また、押下キー特定部３５は、推定モデル３５０に手のひら形状データＤｈ及び指先位置データＤｔｐの替わりに手形状データＤＲを入力することによって、押下された仮想キーを推定してもよい。

（６）上述した実施形態では、仮想キーボードデータＫＢ１及びＫＢ２が生成され、表示装置１４に表示される仮想空間に仮想キーボードの画像が配置されたが、本発明はこれに限定されない。仮想キーボードは表示されなくてもよい。例えば、ミュージックビデオが表示装置１４に表示されている最中にユーザＵがメールソフトを起動した場合、仮想キーボードを必ずしも表示させる必要はない。仮想キーボードを非表示としても、ユーザＵは、ブラインドタッチによってテキスト等を入力することが可能である。

（７）上述した実施形態において、推定モデル３５０は、単語又は文脈などの入力候補を考慮して、押下された仮想キーを推定してもよい。また、推定モデル３５０の初期状態に関するデータは、ユーザＵの性別、年齢、又は人種属性に応じて、サーバからダウンロードされてもよい。

（８）上述した実施形態において、入力装置１０は、第１撮像装置１５及び第２撮像装置１６と一体であるが、本発明はこれに限定されない。例えば、第１撮像装置１５及び第２撮像装置１６は、入力装置１０と無線により接続されてもよい。この場合、入力装置１０は、スマートフォンであってもよい。また、第１撮像装置１５及び第２撮像装置１６は机の上に配置され、両者が所定距離だけ離間して固定されてもよい。

（９）上述した各実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
また、上述した各実施形態の説明に用いた「装置」という文言は、回路、デバイス又はユニット等の他の用語に読替えてもよい。

（１０）上述した各実施形態における処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（１１）上述した各実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（１２）上述した各実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（１３）上述した各実施形態では、記憶装置１２は、処理装置１１が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ROM）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、ネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。

（１４）上述した各実施形態において、説明した情報及び信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上述の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

（１５）図３及び図１０に例示された各機能は、ハードウェア及びソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。

（１６）上述した各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

（１７）上述した各実施形態において、情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

（１８）上述した各実施形態において、入力装置１０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

（１９）上述した各実施形態において、「接続された(connected)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。

（２０）上述した各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（２１）本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

（２２）上述した各実施形態において「含む(including)」、「含んでいる（comprising）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（２３）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。

（２４）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組合わせてもよい。

１０…入力装置、２０…手形状認識部、３３…決定部、３４…仮想キー設定部、３５…押下キー特定部、３５０…推定モデル、３５１…学習部、ＤＬ，ＤＲ…手形状データ、Ｄｈ…手のひら形状データ、Ｄｔｐ…指先位置データ。

Claims (7)

1. 初期状態における複数の指の指先位置のうち少なくとも３本の指の指先位置に基づいて、複数の仮想キーが配置される基準面を決定する決定部と、
   前記初期状態における前記少なくとも３本の指の指先位置のうち特定の指の指先位置に基づいて、前記複数の仮想キーにそれぞれ対応し、対応する仮想キーが押下されたことを各々が検出する複数の検出範囲を前記基準面に設定する仮想キー設定部と、
   入力操作における前記複数の指の指先位置と、前記複数の仮想キーの各々について前記基準面に設定された前記複数の検出範囲との位置関係に応じて、前記複数の仮想キーの中から押下された仮想キーを特定する押下キー特定部と、
   を備える入力装置であって、
   前記決定部は、前記初期状態における３本の指の指先位置に基づいて仮基準面を決定し、前記複数の指の指先位置のうち前記３本の指以外の少なくとも１本の指の指先位置に基づいて、前記仮基準面を補正することによって前記基準面を決定する請求項１に記載の入力装置。
   
2. 初期状態における複数の指の指先位置のうち少なくとも３本の指の指先位置に基づいて、複数の仮想キーが配置される基準面を決定する決定部と、
   前記初期状態における前記少なくとも３本の指の指先位置のうち特定の指の指先位置に基づいて、前記複数の仮想キーにそれぞれ対応し、対応する仮想キーが押下されたことを各々が検出する複数の検出範囲を前記基準面に設定する仮想キー設定部と、
   入力操作における前記複数の指の指先位置と、前記複数の仮想キーの各々について前記基準面に設定された前記複数の検出範囲との位置関係に応じて、前記複数の仮想キーの中から押下された仮想キーを特定する押下キー特定部と、
   を備える入力装置であって、
   前記仮想キー設定部は、前記特定の指の指先位置と、前記複数の仮想キーの中から直前に押下されたことが前記押下キー特定部によって特定された仮想キーとに基づいて、次の仮想キーが押下されたことを特定するために用いられる検出範囲を設定する
   入力装置。
3. 初期状態における複数の指の指先位置のうち少なくとも３本の指の指先位置に基づいて、複数の仮想キーが配置される基準面を決定する決定部と、
   前記初期状態における前記少なくとも３本の指の指先位置のうち特定の指の指先位置に基づいて、前記複数の仮想キーにそれぞれ対応し、対応する仮想キーが押下されたことを各々が検出する複数の検出範囲を前記基準面に設定する仮想キー設定部と、
   入力操作における前記複数の指の指先位置と、前記複数の仮想キーの各々について前記基準面に設定された前記複数の検出範囲との位置関係に応じて、前記複数の仮想キーの中から押下された仮想キーを特定する押下キー特定部と、
   を備える入力装置であって、
   前記押下キー特定部は、
   前記複数の指の指先位置を示す指先位置データ、手のひらの形状を示す手のひら形状データ、及び前記複数の検出範囲に基づいて、前記複数の仮想キーの中から押下された仮想キーを推定する推定モデルと、
   前記推定モデルによって推定された仮想キーの正誤を前記推定モデルに反映させる学習部と、
   を備える入力装置。
4. 前記少なくとも３本の指の指先位置は、小指の指先位置、薬指の指先位置、及び親指の指先位置を含み、
   前記決定部は、前記小指の指先位置、前記薬指の指先位置、及び前記親指の指先位置に基づいて前記基準面を決定する請求項１乃至３のうちいずれか１項に記載の入力装置。
5. 前記仮想キー設定部は、指ごとに、前記複数の検出範囲を設定する請求項１乃至３のうちいずれか１項に記載の入力装置。
6. センサから出力される出力データに基づいて、手の形状を３次元で表す手形状データを生成する手形状認識部を備え、
   前記推定モデルに入力される前記指先位置データ及び前記手のひら形状データは、前記手形状データに基づいて特定される
   請求項３に記載の入力装置。
7. 前記複数の仮想キーが配置された仮想キーボードにおいて、押下されていない仮想キーの画像と、前記押下キー特定部によって特定された前記押下された仮想キーの画像とを互いに識別可能な態様で表示する表示部を備える請求項１乃至６のうちいずれか１項に記載の入力装置。
   

Images