JP6036817B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

情報処理装置は、ユーザの操作部による入力操作（例えば、キー操作）に基づき各種の処理を行う。近年、情報処理装置が様々な形態で使用されるのに伴い、多様な入力方法が提案されている。

例えば、下記の特許文献１には、手袋の指先にスイッチを取り付ける共に、手袋に指の関節の曲り方を知るためのセンサを取り付ける入力装置が開示されている。特許文献２には、腕部に取り付けられた電極からの入力信号に基づいて、指関節角度を推定する技術が開示されている。特許文献３には、手領域の姿勢をパターン認識し、認識結果を入力とする技術が開示されております。

特開２００１−２４２９８３号公報 特開２０１０−１２５２８７号公報 特開２０１１−２２１６９９号公報

ところで、特許文献１及び特許文献２の技術では、センサや電極を手や腕に取り付ける必要があり、ユーザにとっては煩わしい作業が必要となる。また、特許文献３の技術では、少数のパターンを認識できるに過ぎないため、多くの入力子が必要な文字入力等に適していない。

そこで、本開示は、簡易な構成にて、ユーザに意図する入力操作が可能な方法を提案する。

本開示によれば、手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像する撮像部と、複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別する識別部と、前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力する出力部と、を備える、情報処理装置が提供される。

また、本開示によれば、手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像部により撮像することと、複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別することと、前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像部により撮像することと、複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別することと、前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力することと、を実行させるための、プログラムが提供される。

以上説明したように本開示によれば、簡易な構成にて、ユーザに意図する入力操作を行うことが可能となる。

本開示の一実施形態に係る情報処理システム１の概要を説明するための図である。 一実施形態に係る情報処理装置１００の機能構成の一例を示す図である。 テンキーのキーと指節との対応関係を説明するための図である。 テンキーの一例を示す図である。 一実施形態に係る識別器１１４ａ〜１１４ｌの一例を説明するための図である。 一実施形態に係る撮像部１１０により撮像された撮像画像の一例を示す図である。 押圧された指節の識別の第１変形例を説明するための図である。 押圧された指節の識別の第２変形例を説明するための図である。 押圧された指節の識別の第３変形例を説明するための図である。 押圧された指節の識別の第４変形例を説明するための図である。 指節の押圧タイミングの検出の第１実施例を示す図である。 指節の押圧タイミングの検出の第２実施例を示す図である。 相対動きベクトルＶｐを説明するための図である。 一実施形態に係る情報処理装置１００の第１動作例を説明するためのフローチャートである。 一実施形態に係る情報処理装置１００の第２動作例を説明するためのフローチャートである。 一実施形態に係る情報処理装置１００の第３動作例を説明するためのフローチャートである。 一実施形態に係る情報処理装置１００の第４動作例を説明するためのフローチャートである。 一実施形態に係る情報処理装置１００の表示部の表示例を示す図である。 一実施形態に係る情報処理装置１００の表示部の表示例を示す図である。 両手を用いた場合の実施例を示す図である。 一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．情報処理装置の構成例
３．押圧された指節の識別の変形例
４．指節の押圧タイミングの検出例
５．情報処理装置の動作例
６．ハードウェア構成
７．まとめ

＜１．情報処理システムの概要＞
図１を参照しながら、本開示の一実施形態に係る情報処理システム１の概要について説明する。図１は、本開示の一実施形態に係る情報処理システム１の概要を説明するための図である。

情報処理システム１は、ユーザＵが自己の手Ｈの指に触れた位置（具体的には、指の関節で区切られた何れの指節）に応じて、処理装置１５０（図２参照）における入力を行うものである。すなわち、情報処理システム１は、テンキー等の代わりにユーザの手を用いて入力を可能にしている。情報処理システム１は、ユーザＵが自己の指の何れの指節に触れたか（押圧したか）を識別する情報処理装置１００を有する。

情報処理装置１００は、図１に示すように、例えばユーザＵが目に着用するメガネやヘッドマウントディスプレイである。情報処理装置１００には、ユーザＵの目線と同じ位置にユーザＵの手Ｈを撮像可能なカメラ等の撮像部が設けられている。なお、撮像部の位置は、ユーザＵの目線と異なる位置であっても良い。また、情報処理装置１００は、撮像部が撮像中のユーザの手を透過表示可能な表示部１３０を有する。

処理装置１５０は、情報処理装置１００により識別された識別結果に基づいて、複数の入力子に対応する（例えば、キーの押下に対応する）入力処理を実行する。処理装置１５０は、情報処理装置１００の識別結果に基づいて、例えば文字入力を実行する。なお、処理装置１５０は、例えばパーソナルコンピュータ、スマートフォン、ＰＤＡ、携帯電話等の装置である。

本開示の情報処理システム１によれば、手に指の動き検出するためのセンサ等を用いること無く、撮像部で手の状態を撮像することにより、ユーザが自己の手を用いた入力を行うことが可能となる。これにより、例えば、ユーザが手にセンサ等を装着させることが困難な状況（例えば、料理している時、運転している時、子供の相手をしている時、加工等の精密な作業をしている時）において、容易に文字等の入力が可能となる。

＜２．情報処理装置の構成例＞
図２を参照しながら、本開示の一実施形態に係る情報処理装置１００の構成例について説明する。図２は、本開示の一実施形態に係る情報処理装置１００の機能構成の一例を示す図である。

図２に示すように、情報処理装置１００は、撮像部１１０と、学習部１１２と、識別部１１４と、出力部の一例である通信部１１６と、表示制御部１１８と、を有する。

（撮像部１１０）
撮像部１１０は、静止画や動画を撮像可能なカメラであり、被写体としてユーザＵの手を撮像する。例えば、撮像部１１０は、ユーザＵの手の少なくとも１本以上の指のうちの一の指節を接触体が押圧した状態を撮像しうる。ここで、接触体は、ユーザの一方の手の親指であり、撮像部１１０は、図１に示すように一方の手の親指Ｆ１が他の指（人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、小指Ｆ５）の指節を押圧する状態を撮像しうる。

また、撮像部１１０は、ユーザＵの一方の手の指が他方の手の指節を押圧する様子を撮像しうる。また、撮像部１１０は、親指の代わりにペン等で指節を押圧する様子を撮像しうる。撮像部１１０は、撮像画像を識別部１１４に順次出力する。

（学習部１１２）
学習部１１２は、予めユーザが指節を押圧している画像を取得して、複数の入力子で構成されるテンキー（図４参照）と指節との対応関係を学習する。ここでは、親指以外の指（人差し指、中指、薬指、小指）の各指節が、テンキーの各キー（入力子）に対応するものとする。学習部１１２は、例えば図３に示すような画像を取得する。

人指し指、中指、薬指、小指は、それぞれ２つの関節によって３つの指節に分けられる。そして、３つの指節は、指の根本から基節、中節、末節と呼ばれる。一方で、親指は、１つの関節によって２つの指節に分けられており、２つの指節は、指の根元から基節、末節と呼ばれる。

図３は、テンキーのキーと指節との対応関係を説明するための図である。図４は、テンキー３３０の一例を示す図である。図３の状態３０１〜３１０は、テンキー３３０の数字「１」、「２」・・・「９」、「０」に対応する指節に触れた状態を示す。例えば、人差し指の基節が数字「１」に対応し、人差し指の中節が数字「２」に対応し、人差し指の末節が数字「３」に対応する。同様に、中指の基節が数字「４」に対応し、中指の中節が数字「５」に対応し、中指の末節が数字「６」に対応する。

また、図３の状態３１１は、テンキーの記号「＊」に対応する指節に触れた状態を示し、状態３１２は、テンキーの記号「＃」に対応する指節に触れた状態を示す。なお、学習部１１２は、親指が人差し指、中指、薬指、及び小指のいずれの指節も押圧していない状態を識別する画像を取得しても良い。

図３では、指節を識別しやすいように、所定の指節に対応する領域に識別体の一例であるテープ１４０が貼られている。具体的には、人指し指、中指、薬指、及び小指の１２個の指節に、テープ１４０が千鳥状に貼られている。しかし、これに限定されず、指節にテープが貼られていなくても良い。

（識別部１１４）
識別部１１４は、テンキーのうちの、撮像部１１０の撮像画像において親指が押圧した一の指節に対応するキーを識別するためのものである。識別部１１４は、撮像部１１０から入力された撮像画像と、学習部１１２の対応関係とに基づいて、撮像画像において親指が他の指の何れの指節を押圧したかを識別する。識別部１１４は、図５に示すように、テンキーの各キーを識別する１２個の識別器１１４ａ〜１１４ｌを有する。

図５は、一実施形態に係る識別器１１４ａ〜１１４ｌの一例を説明するための図である。識別器１１４ａ〜１１４ｃは、それぞれ図１に示す人差し指Ｆ２の基節Ｆ２ａ、中節Ｆ２ｂ、末節Ｆ２ｃに対応し、識別器１１４ｄ〜１１４ｆは、それぞれ中指Ｆ３の基節Ｆ３ａ、中節Ｆ３ｂ、末節Ｆ３ｃに対応する。また、識別器１１４ｇ〜１１４ｉは、それぞれ薬指Ｆ４の基節Ｆ４ａ、中節Ｆ４ｂ、末節Ｆ４ｃに対応し、識別器１１４ｊ〜１１４ｌは、それぞれ小指Ｆ５の基節Ｆ５ａ、中節Ｆ５ｂ、末節Ｆ５ｃに対応する。そして、識別器１１４ａ〜１１４ｌは、入力された撮像画像に対して、それぞれ評価値を決定する。なお、評価値は、例えば０〜１の間の値である。

ここでは、図６に示す撮像画像が撮像部１１０で撮像されて、識別部１１４に入力されたものとする。図６は、一実施形態に係る撮像部１１０により撮像された撮像画像３４０の一例を示す図である。すなわち、撮像部１１０は、接触体である親指Ｆ１と共に、他の指の指節に対応する領域に設けられたテープ１４０を撮像する。図６に示すようにユーザの親指Ｆ１が、４本の指Ｆ２〜Ｆ５のうちの中指Ｆ３の中節Ｆ３ｂを押圧しているので、識別器１１４ａ〜１１４ｌのうち識別器１１４ｅの評価値が最も高い。

識別部１１４は、入力画像に対する各識別器１１４ａ〜１１４ｌの評価値（図５に示す評価値）を通信部１１６に出力する。なお、撮像部１１０から識別部１１４に入力される撮像画像において、手の領域だけを抽出する画像処理を行なって、識別部１１４は、抽出された画像に対して識別を行なっても良い。かかる場合には、識別部１１４の処理負荷が軽減され、また識別結果の精度を高めることが可能となる。

（通信部１１６）
通信部１１６は、撮像画像毎の識別部１１４による識別結果（各識別器１１４ａ〜１１４ｌの評価値）を処理装置１５０に送信する（出力する）。なお、通信部１１６は、所定間隔で識別結果を処理装置１５０に順次送信する。

処理装置１５０は、情報処理装置１００から順次受信した識別結果から、ユーザがどの指節を押圧したかを決定する。例えば、処理装置１５０は、評価値が最も高い識別器に対応するキーを入力したものと判定する。そして、処理装置１５０は、判定結果に基づいて、入力に対応する処理を実行する。なお、処理装置１５０は、入力処理した結果を通信部１１６に送信しても良い。

（表示制御部１１８）
表示制御部１１８は、通信部１１６から入力された識別結果に基づき処理装置１５０が入力処理した結果を、表示部１３０に表示させる。なお、表示部１３０は、撮像部１１０により撮像中のユーザの手を透過表示する。このため、表示部１３０は、ユーザの手を透過表示すると共に、処理装置１５０が入力処理した結果を表示する。

上記では、処理装置１５０は、評価値が最も高い識別器に対応するキーを入力したものと判定することとしたが、下記のように判定しても良い。すなわち、処理装置１５０は、所定時間内に最も高い評価値を評価した回数が最も多い識別器に対応するキーを入力したものと判定しても良く、評価値が所定の閾値を超えた回数が最も多い識別器に対応するキーを入力したものと判定しても良い。これにより、手を用いたより正確な入力が可能となる。

＜３．押圧された指節の識別の変形例＞
上記では、図６に示すように所定の指節にテープ１４０が貼られた指を撮像することで、押圧された指節を識別することとしたが、これに限定されず、以下に説明するように押圧された指節を識別しても良い。

図７は、押圧された指節の識別の第１変形例を説明するための図である。図７では、テープ１４０の代わりに、指にシール１４２が貼りつけられている。具体的には、図７の状態４０１に示すように、人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、及び小指Ｆ５の各指節にシール１４２を貼りつけられている。なお、状態４０１では、薬指Ｆ４の末節Ｆ４ｃに貼られるシール１４２の数が２個であり、シール１４２の数が１個である他の指節と異なる。かかる場合には、薬指の末節を基準に各指節を識別することで、１２個の指節の識別がしやすくなる。

また、図７の状態４０２に示すように、親指Ｆ１（具体的には、親指の爪）にシール１４２を貼り付けることとしても良い。これにより、親指Ｆ１が他の指Ｆ２〜Ｆ５の指節を押圧したことを識別しやすくなる。なお、図７では、指に直接シールを貼り付けることとしているが、これに限定されず、例えば手にはめた手袋の各指節に対応する位置にシールを貼り付けることとしても良い。

図８は、押圧された指節の識別の第２変形例を説明するための図である。図８では、手にはめた手袋１６０（装着体の一例）の各指節に対応する位置に識別可能なコード１６２が貼りつけられている。コード１６２として、例えばＡＲ（Augmented Reality）コードを用いても良い。コード１６２には、各指節を特定する情報が含まれる。これにより、識別部１１４は、コード１６２も撮像された撮像画像に基づいて、親指が押圧した指節を識別しやすくなる。

図９は、押圧された指節の識別の第３変形例を説明するための図である。図９では、親指が指節を押圧した際に、手にはめた手袋１６０上にコード１６４が表示される。コード１６４には、押圧された指節を示す識別情報が含まれる。このため、コード１６４が表示された状態を撮像部１１０で撮像することにより、識別部１１４は、親指が押圧した指節を容易に識別できる。

図１０は、押圧された指節の識別の第４変形例を説明するための図である。図１０では、人指し指Ｆ２、中指Ｆ３、薬指Ｆ４、及び小指Ｆ５に貼られたテープ１４０の色が変化可能である。そして、テープ１４０は、親指Ｆ１が押圧した指節に応じた色を表示可能である。例えば、図１０の状態５０１のように親指Ｆ１が人差し指Ｆ２の基節Ｆ２ａを押圧した場合には、人差し指の２つのテープ１４０の色がデフォルト色から第１色に変化する。一方で、中指Ｆ３、薬指Ｆ４、及び小指Ｆ５のテープ１４０の色は、デフォルト色を維持する。また、状態５０２のように親指Ｆ１が人差し指Ｆ２の中節Ｆ２ｂを押圧した場合には、人差し指Ｆ２の２つのテープ１４０の色のみがデフォルト色から第２色に変化し、状態５０３のように親指Ｆ１が人指し指Ｆ２の末節Ｆ２ｃを押圧した場合には、人差し指Ｆ２の２つのテープ１４０の色のみがデフォルト色から第３色に変化する。

図１０の状態５０４〜５１２に示すように中指Ｆ３、薬指Ｆ４、及び小指Ｆ５の指節が押圧された場合にも、各指に貼られたテープ１４０の色が同様に変化する。例えば、中指、薬指、小指の何れかの基節Ｆ３ａ、Ｆ４ａ、Ｆ５ａが押圧された場合（状態５０４、５０７、５１０）には、押圧された指に貼られたテープ１４０の色のみがデフォルト色から第１色に変化する。なお、親指Ｆ１が掌に触れると、テープの色がデフォルト色に戻る。そして、撮像部１１０が、押圧された指節に応じてテープが表示する色を撮像することにより、識別部１１４は、親指が押圧した指節を容易に識別できる。なお、上記では、テープ１４０の色が第１色〜第３色に変化することとしたが、これに限定されず、各指の指節毎に異なる色（すなわち、１２色）に変化することとしても良く、また１色で輝度を変化させても良い。

＜４．指節の押圧タイミングの検出例＞
次に、指節が押圧される押圧タイミングの検出例について、いくつかの実施例を例に挙げて説明する。

図１１は、指節の押圧タイミングの検出の第１実施例を示す図である。図１１では、親指に色が変化する指サック１７０（指示具の一例）を取り付けられている。そして、指サック１７０が他の指の指節を押圧した際に（図１１の状態４２２）、指サック１７０の色が所定の色（例えば、赤色）に変わる。このような指サック１７０を撮像することで、識別部１１４は、指節が押されたタイミングを容易に検知できる。なお、親指が掌に触れると（状態４２１）、指サック１７０の色がデフォルトの色（例えば、白色）に変わる。

図１２は、指節の押圧タイミングの検出の第２実施例を示す図である。図１２では、親指の代わりに、接触体の一例であるペン１７２が指節を押圧している。ペン１７２は、発光可能な部材であり、指節を押圧した際にペン１７２の先端部１７２ａが発光する。そして、ペンが発光した状態が撮像部１１０により撮像されることにより、識別部１１４は、ペンが指節を押圧したタイミングを容易に検知できる。

上記では、指節が押圧された際に、ペン１７２が発光し、又はテープ１４０の色が変化することとしたが、これに限定されない。例えば、情報処理装置１００は、指の動きベクトルを検出し、検出した動きベクトルに基づいて、指節が押圧されたタイミングを検出することとしても良い。

指節が押圧される一の指の相対動きベクトルＶｐは、下記の式のように求められる。
Ｖｐ＝Ｖ−Ｖｈ
ここで、Ｖは、一の指における動きベクトルの集合を示し、Ｖｈは、５本の指の動きベクトルの平均を示す。そして、相対動きベクトルＶｐは、人指し指、中指、薬指、小指のそれぞれについて求められる。

図１３は、相対動きベクトルＶｐを説明するための図である。相対動きベクトルＶｐは、指節を押圧する前後でベクトルの向きが反転するので、反転する割合を監視することにより、押圧タイミングを検出できる。このような相対動きベクトルＶｐを求めることで、指節が押下されたタイミングを検出できる。

ところで、指節が押圧された場合には、押圧された指節の膨らみ、指節の色、影が変化しうる。そこで、識別部１１４は、撮像部１１０から入力される所定間隔毎の撮像画像において、指節の膨らみの変化、指節の色の変化、影の変化を監視し、変化に基づいて指節の押圧タイミングを検出しても良い。これにより、ペン等の指示具や指サック等を用いなくとも、押圧タイミングを検出できる。

上記では、識別部１１４が指節の押圧タイミングを検出する検出部の機能を有することとしたが、これに限定されない。識別部１１４とは異なる構成要素が、指節の押圧タイミングを検出することとしても良い。

＜５．情報処理装置の動作例＞
次に、一実施形態に係る情報処理装置１００の動作例について説明する。以下では、情報処理装置１００の動作例として、第１動作例〜第４動作例について説明する。情報処理装置１００の動作は、情報処理装置１００のＣＰＵがＲＯＭに格納されているプログラムを実行することによって、実現される。なお、実行されるプログラムは、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。

（第１動作例）
まず、図１４を参照しながら、一実施形態に係る情報処理装置１００の第１動作例を説明する。図１４は、一実施形態に係る情報処理装置１００の第１動作例を説明するためのフローチャートである。図１４のフローチャートは、例えば撮像部１１０がＯＮされたところから開始される。

まず、撮像部１１０は、文字等を入力したいユーザの手を撮像する（ステップＳ１０２）。すなわち、撮像部１１０は、ユーザがいずれかの指の指節を押圧した際の撮像画像を識別部１１４に出力する。次に、識別部１１４は、入力された撮像画像に基づいて、ユーザの何れの指節を押圧されたかを識別する（ステップＳ１０４）。例えば、それぞれテンキーに対応する識別器１１４ａ〜１１４ｌが、入力された撮像画像に対して評価値を決定する。

次に、通信部１１６は、識別結果（例えば、識別器１１４ａ〜１１４ｌによる評価値）を処理装置１５０に出力する（ステップＳ１０６）。なお、通信部１１６は、評価値を処理装置１５０に順次出力する。そして、処理装置１５０は、入力された評価結果に基づき、ユーザがどの指節を押圧したかを決定する。例えば、処理装置１５０は、評価値が最も高い識別器に対応するキーを入力したものと判定し、入力に対応する処理を実行する。

入力を継続する場合には（ステップＳ１０８：Ｙｅｓ）、上述したステップＳ１０２〜１０６の処理を繰り返す。一方で、入力を終了する場合には、情報処理装置１００の動作が完了する。

第１動作例によれば、手にセンサ等を設けなくても、テンキーの代わりにユーザが自己の指節を押圧することにより、ユーザが意図する入力を識別することが可能となる。

（第２動作例）
図１５は、一実施形態に係る情報処理装置１００の第２動作例を説明するためのフローチャートである。

図１５に示す第２動作例では、ステップＳ１０２で撮像された撮像画像におけるユーザの手領域が認識され、認識した手領域の画像が抽出される（ステップＳ１２２）。そして、識別部１１４は、抽出画像に対して、ユーザが何れの指節を押圧したかを識別する（ステップＳ１０４）。

第２動作例によれば、識別部１１４による識別対象の画像の領域を小さくでき、判定の精度を向上させることができる。かかる場合に、学習部１１２も、手領域に対応する画像を予め取得しておけば良い。

（第３動作例）
図１６は、一実施形態に係る情報処理装置１００の第３動作例を説明するためのフローチャートである。

図１６に示す第３動作例では、識別部１１４は、ステップＳ１０２で撮像された撮像画像に基づいて、指節の押圧タイミングを判定する（ステップＳ１３２）。具体的には、識別部１１４は、指節を押圧する指示具（ペン等）が発光した際に撮像された撮像画像から、指節の押圧タイミングを判定する。次に、識別部１１４は、押圧タイミングにおいて、ユーザが何れの指節を押圧したかを識別する（ステップＳ１０４）。

第３動作例によれば、識別部１１４による識別処理を行うタイミングが限定され、識別部１１４による判定の精度を向上させることができる。また、識別部１１４の処理に起因する電力消費も抑制できるので、スマートフォン等の携帯端末のように電力が限られている場合に有効である。

（第４動作例）
図１７は、一実施形態に係る情報処理装置１００の第４動作例を説明するためのフローチャートである。

図１７に示す第４動作例では、識別部１１４は、ステップＳ１０２で撮像された撮像画像に対して、各指節に対応する領域を抽出する（ステップＳ１４２）。例えば、識別部１１４は、人差し指、中指、薬指、及び小指の基節、中節、末節に対応する１２個の領域を抽出する。

次に、識別部１１４は、抽出した各領域における指節の色の変化を検出する（ステップＳ１４４）。一般的に、押圧される前の指節は赤みを帯びているのに対して、押圧されると指節は黄色みを帯びる。そこで、識別部１１４は、指節の色が赤色と黄色の間で変動しているかを検出する。具体的には、識別部１１４は、領域におけるＲ成分の画素数（具体的には、Ｒ＞Ｇ＋２０の関係にある画素数）と、Ｇ成分の画素数（Ｇ−１０＜Ｒ＜Ｇ＋１０の関係にある画素数）の比を参照することで、色の変動を検出する。そして、識別部１１４は、色の変動があったことを検出すると、指節が押圧されたと判定する（ステップＳ１４６）。

第４動作例によれば、指節の色の変化を検出することにより、ペンやスタイラス等の指示具や指サック等を用いなくとも、指節の押圧タイミングを適切に検出できる。

（情報処理装置の表示例）
指節を押圧することにより入力を行う際に、情報処理装置１００の表示部に、撮像中のユーザの手と入力情報とが表示される。

図１８は、一実施形態に係る情報処理装置１００の表示部１３０の表示例を示す図である。図１８に示す表示部１３０は、撮像部１１０により撮像中のユーザの手を透過表示すると共に、親指Ｆ１が押圧した指節に対応して入力された文字の入力画面１３２を表示させる。これにより、ユーザは、人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、小指Ｆ５の指節を押圧しながら、入力画面１３２に入力される文字を確認することができる。

図１９は、一実施形態に係る情報処理装置１００の表示部の表示例を示す図である。図１９に示す表示部１３０は、撮像部１１０により撮像中のユーザの手を透過表示すると共に、掌に対応する領域にタッチパッド１３４を表示させる。ユーザは、表示されたタッチパッド１３４上でタッチ操作を行うことで、マウスの代わりに入力操作を行うことができる。

なお、上記では、片手の指の指節に対応する入力を行うこととしたが、これに限定されない。例えば、図２０に示すように、両手の指の指節に対応する入力を行うこととしても良い。かかる場合には、より多いキーに対応する入力が可能となる。図２０は、両手を用いた場合の実施例を示す図である。

また、上記では、撮像部１１０は、５本の指を全て撮像することとしたが、これに限定されず、例えば、撮像部１１０は、少なくとも押圧された指節を有する指を撮像することとしても良い。さらに、上記では、親指やペン等が指節を押圧した状態を撮像することにより、入力処理を行うこととしたが、これに限定されず、例えば、親指やペン等が指節に接触した状態を撮像することにより、入力処理を行うこととしても良い。

＜６．ハードウェア構成＞
上述した情報処理装置１００による表示制御動作は、情報処理装置１００が備えるハードウェア構成とソフトウェアとが協働することにより実現される。そこで、以下では、情報処理装置１００のハードウェア構成を説明する。

図２１は、情報処理装置１００のハードウェア構成を示した説明図である。図２１に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、該入力装置２０８を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかる情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。

通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜７．まとめ＞
上述したように、本開示の情報処理装置１００は、複数の入力子（例えば、テンキーを構成するキー）のうちの、撮像部１１０の撮像画像において親指が接触した一の指節に対応する入力子（キー）を識別する。また、情報処理装置１００は、複数の入力子に対応する入力処理を行う処理装置１５０に、識別部１１４による識別結果を出力する。

かかる場合には、ユーザが自己の指の指節に接触した状態を撮像部１１０に撮像することで入力処理を行うことができるので、センサや電極等を取り付ける事無く、簡易な構成にて入力を行うことができる。特に、４本の指（人差し指、中指、薬指、小指）の指節を用いることで、従来のテンキーと同様な入力を行うことができるので、ユーザの操作性の低下も防止できる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

本明細書において説明した情報処理装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像する撮像部と、
複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別する識別部と、
前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力する出力部と、
を備える、情報処理装置。
（２）
前記手の人差し指、中指、薬指、及び小指の各指節が、前記複数の入力子の各入力子とそれぞれ対応する、
前記（１）に記載の情報処理装置。
（３）
前記複数の入力子は、テンキーを構成する、
前記（２）に記載の情報処理装置。
（４）
前記接触体は、前記手の親指である、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記接触体は、前記指節に接触した際に発光し、
前記情報処理装置は、前記接触体の発光状態に基づいて、前記接触体が前記指節に接触したタイミングを検出する検出部を更に備える、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（６）
前記情報処理装置は、前記指節の膨らみや色の変化に基づいて、前記接触体が前記指節に接触したタイミングを検出する検出部を更に備える、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（７）
前記情報処理装置は、前記指の動きベクトルに基づいて、前記接触体が前記指節に接触したタイミングを検出する検出部を更に備える、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（８）
前記撮像部は、前記接触体と共に、前記指の指節に対応する領域に設けられた識別体を撮像する、
前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記識別体は、前記接触体が接触した指節に応じた色を表示可能であり、
前記撮像部は、前記識別体が表示する色を撮像する、
前記（８）に記載の情報処理装置。
（１０）
前記手に装着される装着体は、前記接触体が指節に接触した際に前記指節を示す識別情報を表示可能であり、
前記撮像部は、前記接触体と共に、前記識別情報を撮像する、
前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（１１）
前記情報処理装置は、前記撮像部により撮像中の前記指を透過表示すると共に、前記出力部から入力された前記識別結果に基づき前記処理装置が入力処理した結果を表示する表示部を更に備える、
前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像部により撮像することと、
複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別することと、
前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力することと、
を含む、情報処理方法。
（１３）
コンピュータに、
手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像部により撮像することと、
複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別することと、
前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力することと、
を実行させるための、プログラム。

１ 情報処理システム
１００ 情報処理装置
１１０ 撮像部
１１２ 学習部
１１４ 識別部
１１６ 通信部
１１８ 表示制御部
１３０ 表示部
１４０ テープ
１４２ シール
１５０ 処理装置
１６０ 手袋
１６２、１６４ コード
１７２ ペン

Claims (13)

1. 手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像する撮像部と、
   複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別する識別部と、
   前記複数の入力子に対応する入力処理を行う処理装置に、前記識別部による識別結果を出力する出力部と、
   を備える、情報処理装置。
2. 前記手の人差し指、中指、薬指、及び小指の各指節が、前記複数の入力子の各入力子とそれぞれ対応する、
   請求項１に記載の情報処理装置。
3. 前記複数の入力子は、テンキーを構成する、
   請求項２に記載の情報処理装置。
4. 前記接触体は、前記手の親指である、
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記接触体は、前記指節に接触した際に発光し、
   前記情報処理装置は、前記接触体の発光状態に基づいて、前記接触体が前記指節に接触したタイミングを検出する検出部を更に備える、
   請求項１〜３のいずれか１項に記載の情報処理装置。
6. 前記情報処理装置は、前記指節の膨らみや色の変化に基づいて、前記接触体が前記指節に接触したタイミングを検出する検出部を更に備える、
   請求項１〜４のいずれか１項に記載の情報処理装置。
7. 前記情報処理装置は、前記指の動きベクトルに基づいて、前記接触体が前記指節に接触したタイミングを検出する検出部を更に備える、
   請求項１〜４のいずれか１項に記載の情報処理装置。
8. 前記撮像部は、前記接触体と共に、前記指の指節に対応する領域に設けられた識別体を撮像する、
   請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記識別体は、前記接触体が接触した指節に応じた色を表示可能であり、
   前記撮像部は、前記識別体が表示する色を撮像する、
   請求項８に記載の情報処理装置。
10. 前記手に装着される装着体は、前記接触体が指節に接触した際に前記指節を示す識別情報を表示可能であり、
    前記撮像部は、前記接触体と共に、前記識別情報を撮像する、
    請求項１〜７のいずれか１項に記載の情報処理装置。
11. 前記情報処理装置は、前記撮像部により撮像中の前記指を透過表示すると共に、前記出力部から入力された前記識別結果に基づき前記処理装置が入力処理した結果を表示する表示部を更に備える、
    請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像部により撮像することと、
    複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別することと、
    前記複数の入力子に対応する入力処理を行う処理装置に、前記識別した識別結果を出力することと、
    を含む、情報処理方法。
13. コンピュータに、
    手の少なくとも１本以上の指のうちの一の指節を接触体が接触した状態を撮像部により撮像することと、
    複数の入力子のうちの、前記撮像部の撮像画像において前記接触体が接触した前記一の指節に対応する入力子を識別することと、
    前記複数の入力子に対応する入力処理を行う処理装置に、前記識別した識別結果を出力することと、
    を実行させるための、プログラム。

Images