JP7472734B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

近年、頭部に装着可能なウェアラブルグラス等の画像処理装置では、仮想キーボードをユーザの前方に表示し、この仮想キーボードに対するユーザの入力操作をカメラ等により検出することが行われている（例えば、特許文献１）。

特開２０００－２９６２１号公報

特許文献１に記載の技術では、ユーザが仮想キーボードを用いて文字を入力する操作をした際に、ユーザが操作したことに応じた感触を得ることができないため、操作性が悪いという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが文字を入力した感触を得ることができる画像処理装置を提供することを目的とする。

本発明の第１の態様の画像処理装置は、ユーザの前方の撮像画像からユーザの手の動きの情報を検出する画像処理装置であって、前記ユーザの第１指の画像を含む前記撮像画像を取得する取得部と、前記撮像画像に含まれている前記第１指の画像における複数の関節の位置を特定する位置特定部と、前記位置特定部が特定した前記関節の位置に基づいて定められる複数の操作領域への前記ユーザの第２指による操作を検出する検出部と、前記検出部が検出した前記操作に対応する前記操作領域に割り当てられた文字を特定する文字特定部と、を備える。

前記画像処理装置は、前記第１指の画像と、前記第１指の画像における前記複数の操作領域それぞれに対応付けられた複数の仮想キー画像とを表示する表示部をさらに有してもよい。前記表示部は、前記撮像画像に基づいて、前記第１指又は前記第１指が含まれる手の向きを特定し、特定した前記第１指の向き又は手の向きが第１の向きである場合に、第１の文字群に対応する複数の前記仮想キー画像を表示し、特定した前記第１指の向き又は手の向きが第２の向きである場合に、第２の文字群に対応する複数の前記仮想キー画像を表示してもよい。

前記検出部は、前記第２指が前記操作領域に近づく向きに移動した後に前記操作領域から離れる向きに移動する動きを前記操作として検出してもよい。前記検出部は、前記第２指が下がって前記操作領域に近づいた後に上がって前記操作領域から離れる動きを前記操作として検出してもよい。前記検出部は、前記操作領域において前記第２指により操作された前記第１指の皮膚がくぼむことを前記操作として検出してもよい。

前記検出部は、前記第２指の所定の動きを検出し、前記文字特定部は、前記検出部が前記第２指の前記所定の動きを検出した場合に、入力された一以上の文字を消去してもよい。

本発明の第２の態様のプログラムは、コンピュータに、ユーザの第１指の画像を含む撮像画像を取得するステップと、前記撮像画像に含まれている前記第１指の画像における複数の関節の位置を特定するステップと、特定した前記関節の位置に基づいて定められる複数の操作領域への前記ユーザの第２指による操作を検出するステップと、検出した前記操作に対応する前記操作領域に割り当てられた文字を特定するステップと、を実行させる。

本発明によれば、ユーザが文字を入力した感触を得るという効果を奏する。

実施形態に係る画像処理装置の概要を示す図である。 実施形態に係る画像処理装置の概要を示す図である。 画像処理装置の構成を示す図である。 表示制御部による仮想キー画像の表示方法の例を示す図である。 画像処理装置による文字入力操作の検出の処理手順を示すフローチャートである。

［画像処理装置１００の概要］
図１及び図２は、本発明の実施形態に係る画像処理装置１００の概要を示す図である。図１（ａ）は、画像処理装置１００の外観を示す図である。図１（ａ）に一例として示す画像処理装置１００は、ユーザの頭部に装着されるウェアラブルグラスである。図１（ｂ）は、画像処理装置１００が表示する表示画像の一例を示す図である。図２は、画像処理装置１００におけるユーザの操作の一例を示す図である。

画像処理装置１００は、ユーザの前方の撮像画像からユーザの手の動きの情報を検出する。画像処理装置１００は、撮像部１、本体ユニット２及びハーフミラー３を備える。図１（ａ）中には、撮像部１を破線で示す。

撮像部１は、ユーザの前方の撮像画像を所定のフレームレートで生成する。撮像部１は、本体ユニット２にケーブル（不図示）又は無線により接続されており、生成した撮像画像を本体ユニット２に入力する。

本体ユニット２は、各種の画像をユーザが視認できるように表示させる。本体ユニット２は、二次元配置された光源（不図示）を備える。本体ユニット２は、光源から発生した光をハーフミラー３により反射させ、この反射光をユーザの目に入射させることにより、各種の画像をユーザに視認させる。本体ユニット２は、ＣＰＵ（Central Processing Unit）を備え、各種の機能を実行する。例えば、本体ユニット２は、撮像部１が生成した撮像画像を解析することにより、ユーザの手の動きを検出し、検出した手の動きに対応する画像を表示させる。

図１（ｂ）は、本体ユニット２が表示する表示画像の一例を示す。図１（ｂ）は、パスワードを入力するための表示画像を示す。本体ユニット２は、この表示画像において撮像部１が生成したユーザの前方の撮像画像をパスワードの入力欄の下方に表示する。図１（ｂ）の例では、本体ユニット２は、ユーザの手のひらや指を含む撮像画像を表示する。

図１（ｂ）に示される手は、他方の手を用いて文字を入力するためのキーボードとして使用される。本明細書においては、キーボードとして使用される側の手の指を第１指と称し、第１指の部位を選択するために用いられる他の手の指を第２指と称する。第２指は、指自体ではなく、ユーザが把持する物体（例えば棒状の物体）であってもよい。

本体ユニット２は、撮像部１が生成した撮像画像を解析し、第１指の画像における複数の関節の位置を特定する。本体ユニット２は、特定した関節の位置に基づいて、ユーザが操作するための複数の操作領域を定める。本体ユニット２は、定めた複数の操作領域それぞれに対応付けられた複数の仮想キー画像を表示する。図１（ｂ）の例では、本体ユニット２は、「０」から「９」の数字等を入力するための仮想キー画像を表示する。

図２は、文字を入力するユーザの操作を本体ユニット２が検出する様子を示す図である。本体ユニット２は、撮像画像を解析することにより、ユーザの第１指を含まない方の手の指（以下、第２指ともいう）による操作を検出する。図２の例では、文字「３」を入力するための仮想キー画像に対応する操作領域がユーザの第２指により操作されたものとする。このとき、本体ユニット２は、第２指が操作領域を操作したことを検出し、操作された操作領域に割り当てられた文字「３」を特定する。本体ユニット２は、既にパスワード入力欄に表示されていた文字「１」の後に新たに特定した文字「３」を追加する。

このようにして、本体ユニット２は、ユーザの第１指に対する第２指による操作を検出する。ユーザは、第２指による操作の感触を第１指において得ることができ、例えば、空間上に仮想キー画像を表示する場合に比べて、仮想キー画像を操作する際の操作性を向上させることができる。また、ユーザが自身の一方の手の指で他方の手の指に触れるという動作は一般的に行われる動作なので、画像処理装置１００が上記のように構成されていることで、画像処理装置１００は、第三者がいる場所において画像処理装置１００を操作することにユーザが抵抗感を覚えることを抑制することができる。

［画像処理装置の構成］
図３は、画像処理装置１００の構成を示す図である。画像処理装置１００は、撮像部１及び本体ユニット２を備える。本体ユニット２は、表示部２１、記憶部２２及び制御部２３を備える。表示部２１は、各種の画像を表示する。表示部２１は、光源から発生した光をハーフミラー３により反射させ、この反射光をユーザの目に入射させることにより、各種の画像をユーザに視認させる。

記憶部２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶媒体を含む。記憶部２２は、制御部２３が実行するプログラムを記憶している。制御部２３は、例えば、ＣＰＵである。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、取得部２３１、位置特定部２３２、検出部２３３、文字特定部２３４及び表示制御部２３５として機能する。

取得部２３１は、ユーザの第１指の画像を含む撮像画像を取得する。例えば、取得部２３１は、画像処理装置１００に取り付けられた撮像部１から撮像画像を取得する。取得部２３１は、画像処理装置１００とは別体の撮像装置から無線通信等により撮像画像を取得してもよい。取得部２３１は、取得した撮像画像を位置特定部２３２及び表示制御部２３５へ出力する。

位置特定部２３２は、取得部２３１が取得した撮像画像に含まれている第１指の画像における複数の関節の位置を特定する。例えば、位置特定部２３２は、第１指の皮膚のしわの位置を特定することにより、第１指の関節の位置を特定する。位置特定部２３２は、複数の第１指の関節の位置をそれぞれ特定するものとする。位置特定部２３２は、特定した関節の位置を示す情報を検出部２３３へ出力する。なお、一例として、位置特定部２３２は、表示制御部２３５が文字を入力するための画面を表示した後に取得した撮像画像に最初に写っている手の指を第１指と判定する。

［第２指による操作の検出］
検出部２３３は、位置特定部２３２が特定した関節の位置に基づいて定められる複数の操作領域へのユーザの第２指による操作を検出する。まず、検出部２３３は、第１指の関節の位置に基づいて、複数の操作領域を定める。例えば、検出部２３３は、図１（ｂ）の破線に示す第１指の関節の位置を操作領域の境界とし、第１指が映っている領域を複数の関節の位置により区分けしたものをそれぞれ異なる操作領域として定める。

検出部２３３は、撮像画像を解析することにより、ユーザの第１指を含まない方の手の第２指を特定する。検出部２３３は、第１指が写っている状態で新たに撮像画像に写った手に含まれる指を第２指と特定する。

検出部２３３は、第２指が操作領域に近づく向きに移動する動きを監視する。検出部２３３は、第２指が操作領域に近づく向きに移動した後にこの操作領域から離れる向きに移動する動きをこの操作領域への操作として検出する。例えば、検出部２３３は、第２指が下がって操作領域に近づいた後に上がってこの操作領域から離れる動きをこの操作領域への操作として検出する。このとき、検出部２３３は、第２指の爪の動きを検出することがより好ましい。例えば、検出部２３３は、第２指の爪の移動する向きが反転した位置と操作領域とが撮像画像において重なったこと、あるいは、第２指の爪の移動する向きが反転した位置と操作領域との距離が閾値以下になったことを条件として、操作領域に対する第２指の操作を検出してもよい。閾値は、例えば、ユーザにより予め設定される。

ユーザの第１指に対する第２指の操作を検出部２３３が検出する際に、第２指の上下方向の移動は検出の漏れが比較的生じにくい。このため、検出部２３３は、第２指の上下方向の移動を検出することにより第１指に対する第２指の操作の検出精度を向上させることができる。また、検出部２３３は、操作領域において第２指により操作された第１指の皮膚がくぼむことをこの操作領域への操作として検出してもよい。検出部２３３は、検出した第２指の操作に対応する操作領域を示す情報を文字特定部２３４へ出力する。

検出部２３３は、さらに、第２指のジェスチャ等の所定の動きを検出する。例えば、検出部２３３は、第２指側の手を握る動作を検出する。検出部２３３は、第１指側の手のひらや第１指のいずれかの操作領域を第２指が一定速度でスライドする動作を検出する。検出部２３３は、第２指の所定の動きを検出した場合には、検出した動きを示す情報を文字特定部２３４へ出力する。検出部２３３は、操作領域に対して第２指をスライドする動作を検出した場合には、この動作に対応する操作領域を示す情報と、スライドの方向を示す情報とを文字特定部２３４へ出力する。

［操作領域に対応する文字の特定］
文字特定部２３４は、検出部２３３が検出した操作に対応する操作領域に割り当てられた文字を特定する。例えば、複数の操作領域に文字「１」から文字「９」が割り当てられているものとする。文字特定部２３４は、第２指により操作された操作領域に文字「１」から文字「９」のどの文字が割り当てられているかを特定する。

文字特定部２３４は、特定した文字をバッファに記憶させる。バッファは、文字特定部２３４が特定した文字または文字列をこれらの文字等を確定する第２指による操作を検出部２３３が検出するまで記憶する。文字特定部２３４は、バッファが既に文字等を記憶している場合には、バッファが記憶している文字等の末尾に特定した文字を追加する。文字特定部２３４は、バッファが記憶している文字等を示す情報を表示制御部２３５へ逐次出力する。

文字特定部２３４は、検出部２３３が第２指の所定の動きを検出した場合に、入力された一以上の文字を消去する。例えば、文字特定部２３４は、第２指側の手を握る動作を検出部２３３が検出した場合には、バッファが記憶している文字または文字列を消去させる。

文字特定部２３４は、第１指に第２指が近づいてから離れた位置を用いる方法以外の方法で文字を特定してもよい。例えば、文字特定部２３４は、操作領域に対して第２指がスライドした方向に応じて、異なる文字を特定してもよい。例えば、文字特定部２３４は、文字「あ」が割り当てられた操作領域に対し、第２指が左方向にスライドする動作を検出部２３３が検出した場合に、この操作領域に対する左方向のスライド操作に割り当てられた文字として文字「い」を特定してもよい。文字特定部２３４は、文字「あ」が割り当てられた操作領域に対し、第２指が上方向にスライドする動作を検出部２３３が検出した場合に、この操作領域に対する上方向のスライド操作に割り当てられた文字として文字「う」を特定してもよい。

文字特定部２３４は、バッファに記憶されている文字列を確定させる仮想キー画像に対応する操作領域への操作を検出部２３３が検出した場合には、バッファに記憶されている文字列を別のアプリケーションに渡す。別のアプリケーションは、例えば、登録されているパスワードと同じ文字列が第２指により入力されたか否かを判定するアプリケーションである。

文字特定部２３４は、バッファに記憶されている文字列を確定させる仮想キーに対応する操作領域への操作を検出部２３３が検出した場合に、バッファに記憶されている文字列を外部機器へ出力してもよい。例えば、文字特定部２３４は、銀行のＡＴＭ（automated teller machine）へ無線通信により文字列を出力してもよい。このようにして、文字特定部２３４は、ＡＴＭのパスワード認証等をユーザが非接触で行うことを可能にする。

［仮想キー画像の表示］
表示制御部２３５は、第１指の画像と、第１指の画像における複数の操作領域それぞれに対応付けられた複数の仮想キー画像とを表示する。表示制御部２３５は、第１指を含む撮像画像を表示部２１により表示する。このとき、表示制御部２３５は、検出部２３３が定めた操作領域の位置に、この操作領域に割り当てられた文字を示す仮想キー画像を撮像画像に重畳させて表示する。

また、表示制御部２３５は、ユーザがハーフミラー３を透過して視認している視界内において検出部２３３が定めた操作領域の位置に、この操作領域に対応する仮想キー画像を表示してもよい。また、表示制御部２３５は、仮想キー画像を表示しなくてもよい。ユーザは、第１指の複数の操作領域に割り当てられる文字を覚えていれば、仮想キー画像を表示制御部２３５が表示していない状態でも操作領域への第２指による操作が可能である。表示制御部２３５は、バッファに記憶されている文字または文字列を表示する。例えば、表示制御部２３５は、図２に示すように、バッファに記憶されている文字等をパスワードの入力欄に表示する。

表示制御部２３５は、撮像画像に基づいて、第１指の向きを特定する。表示制御部２３５は、特定した第１指の向きが第１の向きである場合に、第１の文字群に対応する複数の仮想キー画像を表示する。表示制御部２３５は、特定した第１指の向きが第２の向きである場合に、第２の文字群に対応する複数の仮想キー画像を表示する。第１の文字群及び第２の文字群は、例えば、かな文字、アルファベットまたは記号等であり、特に限定されない。第１の文字群に含まれる文字と第２の文字群に含まれる文字とは一部が重複していてもよい。表示制御部２３５は、第１の文字群に対応する仮想キー画像を表示するときの仮想キー画像の数と比較して、第２の文字群に対応する仮想キー画像を表示するときの仮想キー画像の数を多くしてもよく、少なくしてもよい。

図４（ａ）及び図４（ｂ）は、表示制御部２３５による仮想キー画像の表示方法の例を示す図である。図４（ａ）は、第１指の向きが第１の向きである場合に表示制御部２３５が表示する複数の仮想キー画像の例を示す。図４（ｂ）は、第１指の向きが第２の向きである場合に表示制御部２３５が表示する複数の仮想キー画像の例を示す。表示制御部２３５は、第１指の向きを特定する。例えば、表示制御部２３５は、複数の第１指のうち、中指の向きを特定する。図４の例では、第１の向きは、第１指の指先が右上方向に延びる向きであり、第２の向きは、第１指の指先が右下方向に延びる向きであるものとする。

図４（ａ）に示すように、撮像画像において中指の指先は、右上方向を向いている。このとき、表示制御部２３５は、中指が第１方向を向いていると判定し、第１の文字群として文字「０」から文字「１」までの数字を入力するための複数の仮想キー画像を表示する。

図４（ｂ）の例では、撮像画像において中指の指先は、右下方向を向いている。このとき、表示制御部２３５は、中指が第２方向を向いていると判定し、第２の文字群として、文字「Ａ」、文字「Ｄ」、文字「Ｇ」等のアルファベットを入力するための複数の仮想キー画像を表示する。このようにして、表示制御部２３５は、複数の文字群に対応する仮想キー画像を表示するので、ユーザが入力可能な文字の種類を増加させることができる。

また、表示制御部２３５は、第１指の向きを特定する代わりに、第１指が含まれる手の向きを特定してもよい。例えば、表示制御部２３５は、第１指を含む手のひらが手前側に向いている場合に、手の向きが第１の向きであることを特定し、数字を入力するための第１の文字群に対応する複数の仮想キー画像を表示する。一方、表示制御部２３５は、第１指を含む手の甲が手前側に向いている場合に、手の向きが第２の向きであることを特定し、アルファベット等を入力するための第２の文字群に対応する複数の仮想キー画像を表示してもよい。

表示制御部２３５は、表示される文字群を切り替えるための仮想キー画像に対応する操作領域への操作を検出部２３３が検出した場合に、第１指の向きが変わったことを特定した場合と同様に、表示中の文字群とは別の文字群に対応する複数の仮想キー画像を第１指の対応する位置に表示する。表示制御部２３５は、第１指を含む手のひらに対するスライド操作を検出部２３３が検出した場合に、第１指の向きが変わったことを特定した場合と同様に、表示中の文字群とは別の文字群に対応する複数の仮想キー画像を第１指の対応する位置に表示する。

［画像処理装置による第２指の操作の検出の処理手順］
図５は、画像処理装置１００による文字入力操作の検出の処理手順を示すフローチャートである。この処理手順は、文字を入力する操作が行われて、取得部２３１が取得した撮像画像において位置特定部２３２が第１指を含む手を特定したときに開始する。

まず、位置特定部２３２は、撮像画像に含まれている第１指の画像における複数の関節の位置を特定する（Ｓ１０１）。検出部２３３は、位置特定部２３２が特定した関節の位置に基づいて、複数の操作領域を定める。表示制御部２３５は、撮像画像において検出部２３３が定めた操作領域内に、この操作領域に割り当てられた文字を示す仮想キー画像を表示する（Ｓ１０２）。

文字特定部２３４は、操作領域へのユーザの第２指による操作を検出部２３３が検出したか否かを判定する（Ｓ１０３）。文字特定部２３４は、操作領域へのユーザの第２指による操作を検出部２３３が検出した場合に（Ｓ１０３のＹＥＳ）、検出した操作に対応する操作領域に割り当てられた文字を特定する（Ｓ１０４）。文字特定部２３４は、バッファが記憶している文字または文字列の末尾に特定した文字を追加する。表示制御部２３５は、バッファが記憶している文字列を表示する（Ｓ１０５）。

文字特定部２３４は、バッファに記憶されている文字列を確定させる仮想キー画像の操作領域への操作を検出部２３３が検出したか否かを判定する（Ｓ１０６）。文字特定部２３４は、バッファに記憶されている文字列を確定させる仮想キー画像の操作領域への操作を検出部２３３が検出した場合に（Ｓ１０６のＹＥＳ）、バッファに記憶されている文字列を別のアプリケーションに渡し（Ｓ１０７）、処理を終了する。

文字特定部２３４は、Ｓ１０３の判定において操作領域へのユーザの第２指による操作を検出部２３３が検出していない場合に（Ｓ１０３のＮＯ）、Ｓ１０１の処理に戻る。文字特定部２３４は、Ｓ１０６の判定においてバッファに記憶されている文字列を確定させる仮想キー画像の操作領域への操作を検出部２３３が検出していない場合に（Ｓ１０６のＮＯ）、Ｓ１０１の処理に戻る。

本実施形態の画像処理装置１００では、検出部２３３は、ユーザの第１指に対する第２指による操作を検出する。このため、ユーザは、第２指による操作の感触を第１指において得ることができ、文字入力する際の操作性を向上させることができる。また、ユーザが自身の一方の手の指で他方の手の指に触れるという動作は一般的に行われる動作なので、画像処理装置１００は、第三者がいる場所において画像処理装置１００を操作することにユーザが抵抗感を覚えることを抑制することができる。

本実施形態の画像処理装置１００は、ゲーム機や銀行のＡＴＭ等の外部機器と連携し、文字特定部２３４が特定した文字等を外部機器へ出力することにより、外部機器の仮想的なキーボードとして用いることができる。また、外部機器がゲーム機である場合には、画像処理装置１００は、外部機器の仮想的な操作パネルとして用いることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 撮像部
２ 本体ユニット
３ ハーフミラー
２１ 表示部
２２ 記憶部
２３ 制御部
１００ 画像処理装置
２３１ 取得部
２３２ 位置特定部
２３３ 検出部
２３４ 文字特定部
２３５ 表示制御部

Claims (7)

1. ユーザの前方の撮像画像からユーザの手の動きの情報を検出する画像処理装置であって、
   前記ユーザの第１指の画像を含む前記撮像画像を取得する取得部と、
   前記撮像画像に含まれている前記第１指の画像における複数の関節の位置を特定する位置特定部と、
   前記位置特定部が特定した前記関節の位置に基づいて定められる複数の操作領域への前記ユーザの第２指による操作を検出する検出部と、
   前記検出部が検出した前記操作に対応する前記操作領域に割り当てられた文字を特定する文字特定部と、
   前記第１指を含む手のひらが手前側に向いている場合に、当該第１指の関節の位置に基づいて定められる複数の操作領域の位置のそれぞれに、前記操作領域に割り当てられた第１の文字群に属する複数の仮想キー画像を表示し、前記第１指を含む手の甲が手前側に向いている場合に、当該第１指の関節の位置に基づいて定められる複数の操作領域の位置のそれぞれに、前記操作領域に割り当てられた第２の文字群に属する複数の仮想キー画像を表示する表示制御部と、
   を備える、画像処理装置。
2. 前記表示制御部は、前記撮像画像に基づいて、前記第１指又は前記第１指が含まれる手の向きを特定し、特定した前記第１指の向き又は手の向きが第１の向きである場合に、第１の文字群に対応する複数の前記仮想キー画像を表示し、特定した前記第１指の向き又は手の向きが第２の向きである場合に、第２の文字群に対応する複数の前記仮想キー画像を表示する、
   請求項１に記載の画像処理装置。
3. 前記検出部は、前記第２指が前記操作領域に近づく向きに移動した後に前記操作領域から離れる向きに移動する動きを前記操作として検出する、
   請求項１又は２に記載の画像処理装置。
4. 前記検出部は、前記第２指が下がって前記操作領域に近づいた後に上がって前記操作領域から離れる動きを前記操作として検出する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記検出部は、前記操作領域において前記第２指により操作された前記第１指の皮膚がくぼむことを前記操作として検出する、
   請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記検出部は、前記第２指の所定の動きを検出し、
   前記文字特定部は、前記検出部が前記第２指の前記所定の動きを検出した場合に、入力された一以上の文字を消去する、
   請求項１から５のいずれか一項に記載の画像処理装置。
7. コンピュータに、
   ユーザの第１指の画像を含む撮像画像を取得するステップと、
   前記撮像画像に含まれている前記第１指の画像における複数の関節の位置を特定するステップと、
   特定した前記関節の位置に基づいて定められる複数の操作領域への前記ユーザの第２指による操作を検出するステップと、
   検出した前記操作に対応する前記操作領域に割り当てられた文字を特定するステップと、
   前記第１指を含む手のひらが手前側に向いている場合に、当該第１指の関節の位置に基づいて定められる複数の操作領域の位置のそれぞれに、前記操作領域に割り当てられた第１の文字群に属する複数の仮想キー画像を表示し、前記第１指を含む手の甲が手前側に向いている場合に、当該第１指の関節の位置に基づいて定められる複数の操作領域の位置のそれぞれに、前記操作領域に割り当てられた第２の文字群に属する複数の仮想キー画像を表示するステップと、
   を実行させる、プログラム。

Images