JP5205187B2 - 入力システム及び入力方法 - Google Patents

Description

本発明は、情報を入力するための入力システム及び入力方法に関する。

コンピュータ等に情報を入力するための入力機能を有していない物体に対して仮想的に入力機能を持たせるためには、例えば、物体を撮像して、撮像された画像から物体に対するユーザの入力操作を認識するという方法がある。入力操作の認識には、仮想的な入力装置として用いたい物体を特定した上で、ユーザの手等の入力に使われる道具を認識する必要がある。動いている物体を検出する方法には、特許文献１に記載されたようにカメラで取得した画像の過去フレームと現フレームとの差分から検出する方法がある。また、特許文献２に記載されているように、ユーザのジェスチャーを解析して入力操作を認識する技術が提案されている。
特開２００６−１６３４５２号公報 特開２００７−８７０８９号公報

しかしながら、上述した従来の技術では、限定されない場所でユーザの入力操作を認識することは困難である。例えば特許文献１に記載された技術では、過去フレームと現フレームとで撮像されている背景が一致している必要がある。従って、カメラが固定されている場所でなければ利用できず、利用できる場所が限定される。また、特許文献２では、手の肌色を認識しているため、照明環境や人種によって安定して入力操作を認識できない場合がある。また、手以外の入力操作を検出することができない。

本発明は、以上の問題点を解決するためになされたものであり、周囲の風景が固定されていなかったり、入力操作を行うものが任意のものであったりした場合であっても、確実に仮想的な入力装置を実現することができる入力システム及び入力方法を提供することを目的とする。

上記目的を達成するために、本発明に係る入力システムは、物体を撮像する撮像手段と、撮像手段によって撮像された画像から、当該画像における物体が位置する物体領域を認識する物体領域認識手段と、物体の特徴を示す情報を取得する特徴情報取得手段と、撮像手段によって撮像された画像における、物体領域認識手段によって認識された物体領域内の、特徴情報取得手段によって取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出手段と、操作領域検出手段によって検出された操作領域に基づいて、ユーザの入力操作を検出する入力検出手段と、入力検出手段によって検出されたユーザの入力操作を示す情報を出力する出力手段と、を備えることを特徴とする。

本発明に係る入力システムでは、物体を撮像して、撮像された画像から、仮想的な入力装置とされる物体の物体領域を認識する。続いて、認識された物体領域において、物体の特徴と異なる特徴を有する操作領域を検出する。続いて、検出された操作領域に基づいて、ユーザの入力操作を検出する。上記のように本発明に係る入力システムでは、仮想的な入力装置とされる物体の物体領域の認識が行われた上で、当該物体領域に対するユーザの入力操作に応じた操作領域が検出されるので、周囲の風景が固定されていないような任意の状況であっても、確実に仮想的な入力装置を実現することができる。また、仮想的な入力装置とされる物体の特徴とユーザの操作に応じた操作領域の特徴とが異なっていればユーザの操作を検出することができるので、入力操作を行うものが任意のものであっても、確実に仮想的な入力装置を実現することができる。

特徴情報取得手段は、撮像手段によって撮像された画像における、物体領域認識手段によって認識された物体領域から物体の特徴を抽出することによって、当該物体の特徴を示す情報を取得することが望ましい。この構成によれば、仮想的な入力装置とされる物体の特徴を示す情報が確実に取得されるので、適切に本発明を実施することができる。

撮像手段は、複数の時刻にわたって物体を撮像し、入力システムは、撮像手段によって撮像された時間変化した画像における、物体領域認識手段によって認識された領域に対応する領域を認識する領域追従手段を更に備える。この構成によれば、物体自体や撮像方向が動いたとしても、適切に物体領域を認識することができ、これによって適切に入力操作を検出することができる。

入力システムは、物体領域認識手段によって認識された物体領域の形状に合うように映像を投影する投影手段を更に備えることが望ましい。この構成によれば、例えば、キーボード等の仮想的な入力装置のような表示を行ったり、検出されたユーザの操作に応じた表示を行ったりできる。これにより、使い勝手のよい仮想的な入力装置を実現することができる。

物体領域認識手段は、物体に予め設けられたマーカを検出することによって物体領域を認識することが望ましい。物体領域認識手段は、所定の音を検出して、撮像手段によって撮像された画像における物体領域を特定する位置を当該音が検出されたタイミングで検出して、当該位置から当該物体領域を認識することが望ましい。物体領域認識手段は、物体領域に係る特徴を示す情報を予め記憶しておき、当該情報に基づいて当該物体領域を認識することが望ましい。これらの構成によれば、確実に物体領域を認識することができ、適切に本発明を実施することができる。

操作領域検出手段は、所定の音を検出して、当該音が検出されたタイミングで撮像手段によって撮像された画像における操作領域を検出することが望ましい。この構成によれば、例えば、ユーザが操作領域を検出するタイミングを任意に決めることができ、ユーザが任意のタイミングで入力操作を行うことができる。従って、ユーザに操作性の高い入力操作を行わせることができる。

ところで、本発明は、上記のように入力システムの発明として記述できる他に、以下のように入力方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る入力方法は、複数の時刻にわたって物体を撮像する撮像ステップと、撮像ステップにおいて撮像された画像から、当該画像における物体が位置する物体領域を認識する物体領域認識ステップと、撮像ステップにおいて撮像された時間変化した画像における、物体領域認識ステップにおいて認識された領域に対応する領域を認識する領域追従ステップと、物体の特徴を示す情報を取得する特徴情報取得ステップと、撮像ステップにおいて撮像された画像における、物体領域認識ステップにおいて認識された物体領域内の、特徴情報取得ステップにおいて取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出ステップと、操作領域検出ステップにおいて検出された操作領域に基づいて、ユーザの入力操作を検出する入力検出ステップと、入力検出ステップにおいて検出されたユーザの入力操作を示す情報を出力する出力ステップと、を備えることを特徴とする。

本発明によれば、仮想的な入力装置とされる物体の物体領域の認識が行われた上で、当該物体領域に対するユーザの操作に応じた操作領域が検出されるので、周囲の風景が固定されていないような任意の状況であっても、確実に仮想的な入力装置を実現することができる。また、仮想的な入力装置とされる物体の特徴とユーザの操作に応じた操作領域の特徴とが異なっていればユーザの操作を検出することができるので、入力操作を行うものが任意のものであっても、確実に仮想的な入力装置を実現することができる。

以下、図面と共に本発明による入力システム及び入力方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に、本発明に係る入力システムの実施形態である入力装置１０の外観構成を模式的に示す。入力装置１０は、眼鏡型ディスプレイ（例えば、ヘッドマウンドディスプレイ（ＨＤＭ））であり、ユーザが装着できるような形状となっている。入力装置１０のコンピュータ（図示せず）の入力デバイスの機能を有している。具体的には、入力装置１０は、所定の物体２０に重畳されるように、例えば（仮想的な）キーボードやタッチパネル等の入力デバイスの映像３０を投影して、ユーザ４０に当該入力デバイスの映像を認識させる。入力装置１０は、ユーザ４０による当該映像（に対応する物体２０の箇所）への指やペンでの入力操作（入力動作）を検出して、コンピュータへの入力とする。上記の入力操作は、例えば、指やペンで物体２０の所定箇所を指し示す（ポインティング又はクリック）動作である。入力装置１０から、ユーザ４０からの入力操作が入力されるコンピュータは、入力装置１０と一体に構成されていてもよいし、入力装置１０とは別構成とされていてもよい（その場合、無線又は有線によって入力装置１０と接続されている）。上記のように入力装置１０は、キーボードやタッチパネル等の入力のための物理的な構成を持たない仮想的な入力装置を実現するものである。

入力デバイスの映像３０を重畳させる上記の所定の物体２０は、平面を有するものが望ましく、例えば、ユーザ４０が所持しているノートや手帳あるいは固定されている壁等である。また、入力デバイスの映像３０は、物体２０に対して投影が行われて重畳されてもよい。また、眼鏡型ディスプレイが光学式シースルー型のものである場合、周囲の景色は眼鏡を通して見えることができるため、ユーザが当該レンズを通して物体２０を見たときに重畳して見えるように、眼鏡型ディスプレイのレンズに対して入力デバイスの映像３０のみ投影されてもよい。また、眼鏡型ディスプレイがビデオシースルー型のものである場合、カメラで撮像した物体２０も同時にレンズに投影されてもよい。このとき、両目に同じ映像を投影してもよいし、右目と左目の距離からそれぞれの目から見える映像を推定して、それぞれの目に投影する映像を別々に用意してもよい。それぞれの目に合わせて別々の映像を投影すると立体感（奥行き）のある映像をユーザ４０に見せることができる。

引き続いて、入力装置１０の機能について説明する。図２に示すように、入力装置１０は、カメラ１１と、物体領域認識部１２と、領域追従部１３と、特徴情報取得部１４と、操作領域検出部１５と、入力検出部１６と、出力部１７と、映像投影部１８と、映像蓄積部１９とを備えて構成される。

カメラ１１は、仮想的な入力デバイスとされる物体２０を撮像する撮像手段である。カメラ１１は、複数の時刻にわたって物体２０の撮像を行う。即ち、カメラ１１は、動画として物体２０を撮像する。カメラ１１は、その撮像方向が、ユーザの視線方向、即ち、眼鏡型ディスプレイのレンズの光軸方向（あるいは、ディスプレイ面の法線ベクトルの方向）と同様の方向となるように設けられている。従って、カメラ１１は、ユーザが物体２０の方向に視線を向けることによって物体２０を撮像する（ユーザが物体２０の方向に視線を向けることによって、撮像方向が物体２０に向かう方向になる）。なお、カメラ１１は、眼鏡型ディスプレイと一体に設けられていても、別体として周囲に備え付けられ又はユーザに携帯されて設けられていてもよい。カメラ１１は、撮像した画像（データ）を物体領域認識部１２に出力する。また、後述する物体領域の追従を行うため、カメラ１１は、当該画像を領域追従部１３に出力する。

物体領域認識部１２は、カメラ１１によって撮像された画像から、当該画像における物体２０が位置する物体領域を検出することにより認識する物体領域認識手段である。即ち、物体領域認識部１２は、仮想的な入力デバイスとされる物体２０の形状（二次元の形状）を推定する。

物体領域認識部１２は、例えば、物体領域の認識を以下のように行う。まず、認識対象となる物体２０に、マーカ５０を予め貼り付ける等して設けておく。マーカ５０は、特徴的な色や形状（例えば、図１に示すような非対称な形状）のしるしが用いられる。マーカ５０の物体２０への貼付は、ユーザ４０等によって行われる。また、物体領域認識部１２は、マーカ５０を認識できるようにマーカ５０の特徴を示す情報（例えば、色及び形状の情報）を予め記憶している。物体領域認識部１２は、記憶したマーカ５０の特徴を示す情報に基づいて、カメラ１１から入力された画像からマーカ５０の位置及び動きを認識する。続いて、当該画像において、マーカ５０と同期する動きをする特徴（色、エッジ、オプティカルフロー）を有する箇所の集合を物体領域として推定（認識）する。

また、物体２０はマーカ５０の周辺に存在しているため、画像におけるマーカ５０の周辺部分の特徴（色、エッジ、マーカ５０の動きと連動する点の集合）を抽出して、画像においてその特徴を有する部分（特徴の集合）から物体領域を推定（認識）してもよい。物体領域は、上記の特徴を有する部分を含む矩形で近似してもよいし、上記の特徴を有する部分の一番外側を結んだ形状の平面でもよい。このときに決定した物体領域を初期値とし、マーカ５０との位置関係を記憶しておく。

あるいは、物体領域を特定するのに十分な数だけ、マーカ５０を物体２０に設けておき、全てのマーカ５０を検出することによって、物体領域を検出してもよい。その場合、物体領域認識部１２は、物体２０に設けられたマーカ５０と物体領域との位置関係を示す情報を記憶しておき、それに基づいて物体領域を検出する。

また、マーカ５０を用いない場合であっても、物体領域認識部１２は、以下のように物体領域の認識を行うことができる。まず、物体領域認識部１２は、予め、物体領域の特徴を示す情報（例えば、色、形状及びテクスチャの情報）を予め記憶しておく。物体領域認識部１２は、記憶した物体領域の特徴を示す情報に基づいて、カメラ１１から入力された画像から物体領域を認識する。

物体領域認識部１２は、認識した物体領域を示す情報（例えば、物体領域の画像における位置、形状及び大きさ等）を領域追従部１３、特徴情報取得部１４、操作領域検出部１５及び映像投影部１８に出力する。なお、物体領域認識部１２によって認識される物体領域は、物体２０の形状と必ずしも一致している必要はなく、例えば、仮想的な入力デバイスとして用いられる物体２０の一部であってもよい。

領域追従部１３は、カメラ１１によって撮像された画像における、物体領域認識部１２によって認識された物体領域に対応する領域を検出することによって認識（追従）する領域追従手段である。カメラ１１による撮像は、後述する操作領域検出部１５による操作領域の検出、及び映像投影部１８による映像の投影が行われている間行われており、撮像された画像は時間変化する。上述したように撮像された画像内における認識された物体領域は、物体２０やカメラ１１の方向の移動により変化しうる。操作領域検出部１５による操作領域の検出、及び映像投影部１８による映像の投影は、認識された物体領域に応じて行われるものであり、複数の時刻にわたって映像の投影を行う場合に適切に操作領域の検出、及び映像の投影を行えるようにするためのものである。

具体的には、領域追従部１３は、物体領域認識部１２による物体領域の認識が行われた時点の画像から、当該物体領域の特徴を示す情報を取得する。例えば、物体領域認識部１２によって推定された物体領域の範囲の画像を抽出する。物体領域認識部１２は、当該所定の範囲の画像を認識された物体領域の特徴を示す画像（のテンプレート）として記憶する。続いて、領域追従部１３は、追従対象となる画像から上記記憶した所定の範囲の画像（のテンプレート）に対応する
部分を検出して、当該部分を追従対象となる画像における物体２０の物体領域とする。この検出は、具体的には例えば、パターンマッチング（テンプレートマッチング）の手法等が用いられて行われる。領域追従部１３は、追従した形状を示す情報を操作領域検出部１５及び映像投影部１８に出力する。

追従対象の画像と比較する、上記の形状の特徴を示す情報は画像自体でなくともよい。例えば、抽出した範囲の画像の色情報（ヒストグラムや色の平均）を上記の形状の特徴を示す情報として、追従対象の画像の同様の色情報を持つ領域を追従することとしてもよい。また、物体領域のエッジ（端部）の特徴を示す情報をテンプレートとして用いてもよい。また、物体領域認識部１２によって検出されたマーカ５０を、オプティカルフローを用いた方法等によって追従して、追従されたマーカ５０の位置から物体領域認識部１２と同様に物体領域の推定を行い、物体領域の追従を行うこととしてもよい。

あるいは、上述したように物体領域認識部１２によって初期値として、マーカ５０と物体領域との位置関係が記憶されている場合、マーカ５０を検出して検出されたマーカ５０と当該位置関係にある領域を追従される物体領域としてもよい。

特徴情報取得部１４は、物体２０の特徴を示す情報を取得する物体情報取得手段である。物体２０の特徴を示す情報とは、例えば、物体２０（の物体領域に相当する部分）の色を示す情報（例えば、ヒストグラムや色の平均）や物体２０（の物体領域に相当する部分）の画像等が相当する。この物体２０の特徴を示す情報は、後述する操作領域の検出に用いられる。特徴情報取得部１４は、具体的には、カメラ１１によって撮像された画像における、物体領域認識部１２によって特定された物体領域から、上記の特徴を示す情報を抽出する。特徴を示す情報の抽出は、ユーザ４０による物体２０に対する入力操作が行われていないときに行われる（情報の抽出を行う際にはユーザ４０は入力操作を行わない）。

なお、上述した物体領域認識部１２又は領域追従部１３による処理において取得された情報に、物体２０の特徴を示す情報が含まれている場合、特徴情報取得部１４は、当該情報を物体２０の特徴を示す情報として用いてもよい。また、予め物体領域認識部１２に物体領域の特徴を示す情報が記憶されている場合は、その情報を物体２０の特徴を示す情報として用いてもよい。但し、物体領域認識部１２又は領域追従部１３による処理において取得された情報に含まれる、物体２０の特徴を示す情報が、操作領域の検出に用いるのに適切なものでなかった場合等には、その情報は用いない。あるいは、ユーザ４０等からの入力によって、物体２０の特徴を示す情報を取得することとしてもよい。特徴情報取得部１４は、取得した物体２０の特徴を示す情報を操作領域検出部１５に出力する。

操作領域検出部１５は、カメラ１１によって撮像された画像における物体領域内の、物体領域の特徴と異なる特徴を有する操作領域を検出する操作領域検出手段である。上記の物体領域は、物体領域認識部１２によって認識され、領域追従部１３によって追従されるものである。また、上記の物体領域の特徴の情報は、特徴情報取得部１４から入力されて、操作領域検出部１５が記憶しているものである。上記の操作領域とは、ユーザ４０が物体２０に対して入力操作を行うことによって、物体領域上に発生する領域である。例えば、ユーザ４０が自身の指で入力操作を行う場合は、物体２０上の指に相当する領域である。

例えば、操作領域検出部１５は、物体領域内から、特徴情報取得部１４によって抽出された物体領域の色以外の部分を抽出して操作領域を検出する。あるいは、ユーザ４０が入力操作を行っていないときの物体領域部分の画像（初期画像）を物体領域の特徴の情報としたときは、初期画像と現在の（操作領域の検出対象となる）画像（現フレーム）との差分を検出して、当該差分の箇所を操作領域として検出する。操作領域が複数検出された場合は、検出された領域のうち（面積が）一番大きい領域を選んでもよいし、予め記憶した閾値以上の領域を選んでもよい。また、複数の画像から操作領域を検出して、その動きが最も大きい領域を選んでもよい。なお、操作領域の検出は、画像における物体領域の部分のみに対する検索のみによって行われる。即ち、画像における物体領域以外の部分に対しての検索を行う必要はない。

操作領域検出部１５は、カメラ１１によって画像が撮像される度に上記の操作領域の検出を行う。操作領域検出部１５は、検出した操作領域を示す情報（例えば、物体領域における操作領域の位置、形状及び大きさ等）を入力検出部１６に出力する。

入力検出部１６は、操作領域検出部１５によって検出された操作領域に基づいて、ユーザ４０の入力操作を検出する入力検出手段である。入力検出部１６は、例えば、ユーザ４０の入力操作を、ユーザ４０が物体２０（の物体領域）におけるどの部分に対して操作を行ったか（物体２０のどの部分にユーザ４０が触れたか）という情報として検出する。入力検出部１６は、物体領域における操作領域の所定点（例えば、一番上の点）をユーザ４０が操作した点として検出する。

また、入力検出部１６は、ユーザの入力操作の有無を検出することとしてもよい。その場合、例えば、操作領域の面積が予め記憶した閾値以上となっているか否かを判断することによって検出する。これは、操作領域が一定の大きさ以上になっていることによって、例えば、ユーザ４０が手を物体２０にかざしていることを検出するものである（この場合、ユーザ４０の手を物体２０にかざすことを入力操作として予め定義しておく）。また、操作領域の形状から、入力操作を検出してもよい。

更に、操作領域の時間変化（例えば、操作領域の動き方）から、入力操作を検出してもよい。この場合、検出される操作領域に検出された時刻等を対応付けておき、時間変化を検出できるようにしておく。また、どのような時間変化がどのような入力操作に対応するかを示す情報（入力操作のパターン）を、予め入力検出部１６が記憶しておき、その情報に基づいて入力操作の検出を行う。このようなパターンによって入力操作を検出することとすれば、パターン以外の情報が検出されたとしても入力操作として検出せず、登録されたパターンが検出されたときのみ処理を行うので誤動作を防ぐことができる。

また、入力検出部１６は、上記のように物体２０（の物体領域）におけるどの部分に入力操作があったかを検出するだけでなく、例えば、「あ」という文字が入力された、あるいは再生ボタンが押されたという、より機能的な入力操作の検出を行うこととしてもよい。この場合、入力操作が行われた部分の情報と機能の情報（どのような文字が入力されたか、あるいはどのようなボタンが押されたかを示す情報）との対応関係を入力検出部１６が記憶しておき、その対応関係に基づいて入力操作を特定する。入力検出部１６は、上記のように検出したユーザ４０の入力操作を示す情報を出力部１７に出力する。

出力部１７は、入力検出部１６によって検出されたユーザ４０の入力操作を示す情報を出力する出力手段である。当該出力は、例えば、上述したように入力装置１０に接続されるコンピュータに対して行われる。また、本実施形態では、出力部１７は、入力操作を示す情報を映像投影部１８にも出力する。

映像投影部１８は、物体領域認識部１２によって認識された物体領域、及び領域追従部１３によって追従された物体領域に応じて、映像３０を投影する投影手段である。映像投影部１８は、具体的には入力装置１０が備えるディスプレイを含んで構成されている。映像投影部１８は、映像蓄積部１９から投影する映像を取得して投影を行う。映像投影部１８のディスプレイは上述したように例えば、眼鏡型ディスプレイのレンズに設けられており、映像の投影は、上述したように物体２０に重畳するように行われる。映像投影部１８は、物体領域認識部１２又は領域追従部１３から入力された情報に基づいて、映像蓄積部１９から取得した映像を物体領域に合うように変換して、変換後の映像３０を投影する。これは、画像を違和感なく物体２０に重畳するためである。例えば、映像蓄積部１９に蓄積された投影すべき画像が図３（ａ）に示すように長方形の範囲に並べられた同じ大きさの文字が投影されるものであり、物体領域が台形形状であった場合には図３（ｂ）に示すように短辺（左側の辺）側の文字が長辺（右側の辺）側の文字よりも小さくなるように変換が行われる。また、映像投影部１８は、物体領域認識部１２又は領域追従部１３から入力された情報に基づいて、カメラ１１により撮像される画像において物体２０が位置する箇所に（ユーザによって視認されるように）映像３０を投影する。

この変換及び位置合わせは、映像投影部１８が、映像蓄積部１９から取得した映像に対して、拡大、縮小、回転移動及び平行移動等を行う既存の画像変換処理を行うことにより実現される。例えば、画像変換処理は、以下の変換行例Ｍで映像蓄積部１９から取得した映像（データ）を変換することによって行われる。

上記の式において、Ｒ_１ｘ，Ｒ_２ｘ，Ｒ_３ｘ，Ｒ_１ｙ，Ｒ_２ｙ，Ｒ_３ｙ，Ｒ_１ｚ，Ｒ_２ｚ，Ｒ_３ｚは回転パラメータであり、ΔＸ，ΔＹ，ΔＺは平行移動パラメータである。変換行例Ｍは、物体２０の物体領域の座標（ｘ，ｙ，ｚ）に合わせて、投影すべき画像の座標（Ｘ，Ｙ，Ｚ）をそれぞれの軸に対して回転移動及び平行移動させるための行列である。ここで、物体領域及び投影すべき画像は二次元であるのでｚ＝Ｚ＝０である。映像投影部１８が、これらのパラメータを、物体領域及び映像蓄積部１９から取得した映像の形状とそれぞれの位置を示す情報とから算出して変換を行う。物体領域が回転している場合は、回転軸毎に回転パラメータＲ部分が、物体領域の回転角度θａから求めることができる。物体領域が平行移動している場合は、平行移動分ΔＸ，ΔＹ，ΔＺのうちその移動軸に沿ったパラメータが設定される。

映像投影部１８は、上記のように映像に対して変換処理を行い投影する。こうすることによって、図３（ｂ）に示すように物体２０の傾きに合わせて、重畳する画像３０が傾く。

映像投影部１８によって投影される画像は、例えば、入力デバイスの画像である。例えば、図３に示すように、ユーザ４０の入力操作によって入力される文字を投影する。あるいは、キーボードの画像を投影することとしてもよい。ユーザ４０は、上記の投影された画像に応じて、物体２０（の物体領域）に対して入力操作を行うことができる。また、入力デバイスの画像以外の画像、例えば、ユーザ４０によって観賞されるコンテンツ等であってもよい。

上記の映像の投影は、プロジェクタによって行われてもよい。眼鏡型ディスプレイがビデオシースルー型のものである場合は、映像投影部１８は、映像蓄積部１９に蓄積される映像だけでなく、カメラ１１によって撮像された周囲の映像も合わせて投影する。

また、映像投影部１８は、出力部１７から入力されたユーザ４０の入力操作を示す情報に基づいて、投影する映像を変化させてもよい。具体的には、例えば、入力操作が投影する映像を指定するものであった場合、当該指摘に応じた映像を投影する。

映像蓄積部１９は、映像投影部１８によって投影される映像（データ）３０を蓄積しており、映像投影部１８からの要求に従って映像を映像投影部１８に出力する。

図４に示すように、入力装置１０は、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３、並びにハードディスク等の補助記憶装置１０４等のハードウェアを備えるコンピュータを備えて構成される。また、それ以外のハードウェアとして、入力装置１０は、上述したカメラ１１及びディスプレイ１０５とを備えて構成される。これらの構成要素が、動作することにより、入力装置１０の上述した機能が発揮される。

引き続いて、図５のフローチャートを用いて本実施形態に係る入力装置１０により実行される処理（入力方法）について説明する。本処理は、ユーザが入力装置１０を装着して、当該入力装置１０を用いた入力操作を行う場合に実行される。

まず、入力装置１０では、カメラ１１による、仮想的な入力デバイスとされる物体２０の撮像が開始される（Ｓ０１、撮像ステップ）。この際、入力装置１０を装着したユーザが物体２０の方を向くことによって、カメラ１１の撮像方向は物体２０の方向となる。この撮像は、本処理中継続して行われる。撮像された画像は、物体領域の認識時には、物体領域認識部１２に出力され、それ以降は、物体領域の追従を行ため、領域追従部１３に出力される。撮像開始時には、物体領域の認識、及び物体２０の特徴を示す情報の取得のため、撮像される物体２０には、ユーザ４０の指やペン等入力操作が行われるものが被らないようにされる。

続いて、物体領域認識部１２によって、撮像された画像から物体領域が認識される（Ｓ０２、物体領域認識ステップ）。認識された物体領域を示す情報は、領域追従部１３、特徴情報取得部１４、操作領域検出部１５及び映像投影部１８に出力される。ここで、領域追従部１３では、物体領域を追従するために必要な情報（例えば、マーカ５０と物体領域との位置関係を示す情報、又は物体領域の特徴を示す情報）が取得されて保存される。

続いて、特徴情報取得部１４によって、物体２０の特徴を示す情報が取得される（Ｓ０３、特徴情報取得ステップ）。ここで取得される物体２０の特徴を示す情報は、操作領域の検出に用いられるためのものである。取得は、例えば、カメラ１１によって撮像された画像の物体領域の部分から情報を抽出することにより行われる。取得された物体２０の特徴を示す情報は、操作領域検出部１５に出力される。

続いて、領域追従部１３によって、カメラ１１によって（物体領域認識部１２によって物体領域の認識対象となった画像以降に）撮像された画像における、物体領域の追従が行われる（Ｓ０４、領域追従ステップ）。追従された物体領域を示す情報は、映像投影部１８に出力される。

続いて、映像投影部１８によって、投影される映像が、映像蓄積部１９から取得される。続いて、映像投影部１８によって、物体領域認識部１２及び領域追従部１３から入力された、物体領域を示す情報に基づいて、上記の映像を変換処理するためのパラメータが算出される。続いて、映像投影部１８によって、算出されたパラメータを用いて投影する画像の変換処理が行われる。続いて、映像投影部１８によって、変換処理された映像３０が、上述したように物体２０に重畳されるように投影される（Ｓ０５、投影ステップ）。

入力装置１０では、上記の処理が行われる一方で、操作領域検出部１５によって、カメラ１１によって撮像された画像における物体領域内の操作領域が検出される（Ｓ０６、操作領域検出ステップ）。検出された操作領域を示す情報は、入力検出部１６に出力される。続いて、検出された操作領域に基づいて、入力検出部１６によってユーザ４０の入力操作が検出される（Ｓ０７、入力検出ステップ）。検出された入力操作を示す情報は出力部１７に出力され、出力部１７から当該入力操作を入力するコンピュータ等に出力が行われる（Ｓ０８、出力ステップ）。

また、入力操作を示す情報は、出力部１７から映像投影部１８にも入力される。映像投影部１８では、入力された入力操作を示す情報に応じて投影する映像を書き替える（Ｓ０９）。具体的には、例えば、入力された入力操作を示す情報がコンテンツを再生するものだった場合、当該コンテンツが投影される。

また、入力装置１０では、カメラ１１による撮像、あるいは映像投影部１８による映像の投影が行われている間、上記のＳ０４〜Ｓ０９の処理が繰り返し行われる。なお、Ｓ０７において、その時点でユーザ４０が物体２０に対して入力操作を行っていない場合は、何も入力操作が行われていないことが検出される。また、Ｓ０９の画像の書き替えの処理は、ユーザ４０の入力操作に応じて行われるものであり、必ず行われるものではない。以上が本実施形態に係る入力装置１０によって実行さえる処理である。

上述したように、本実施形態に係る入力装置１０では、仮想的な入力デバイスとされる物体２０の物体領域の認識が行われた上で、当該物体領域に対するユーザ４０の操作に応じた操作領域が検出される。従って、カメラ１１の撮像方向が動いたり背景自体が動いたりして、周囲の風景が固定されていないような任意の状況であっても、処理を行う（着目する）範囲は追従している物体領域のみとなる。これにより、カメラ１１の撮像方向のずれや周囲風景等に係わらず、確実に仮想的な入力装置を実現することができる。

また、本実施形態に係る入力装置１０では、仮想的な入力デバイスとされる物体２０の特徴とユーザの入力操作に応じた操作領域の特徴とが異なっていればユーザの操作を検出することができる。具体的には例えば、物体２０の色と、操作を行うためのユーザ４０の指やペンの色とが異なっていれば、入力操作を検出することができる。例えば、人の手による入力を肌色で判定しないため、照明環境や人種によらない安定した認識を行うことができる。従って、入力操作をおこなうためのものが任意のものであっても、確実に仮想的な入力装置を実現することができる。上記から、本実施形態に係る入力装置１０では、いつでもどこでも携帯している物体２０で映像を楽しんだり、入力操作を行ったりすることができる。

また、本実施形態のように、操作領域を検出するための物体の特徴を示す情報を物体領域から検出するようにすれば、仮想的な入力装置とされる物体２０の特徴を示す情報が確実に取得されるので、適切に本発明を実施することができる。但し、上述したように、この方法によらずに物体の特徴を取得することとしてもよい。

また、本実施形態のように物体領域を追従することとすれば、物体２０自体やカメラ１１の撮像方向が動いたとしても、適切に物体領域を認識することができ、これによって適切に入力操作を検出することができる。ただし、物体２０やカメラ１１が固定されている場合や１つの画像からや短時間に入力操作を検出する場合等は、必ずしも上記の構成をとる必要はない。

また、本実施形態のように映像の投影を行うこととすれば、キーボード等の仮想的な入力装置のような表示を行ったり、検出されたユーザの操作に応じた表示を行ったりできる。これにより、使い勝手のよい仮想的な入力装置を実現することができる。但し、ユーザ４０の入力操作に何らかの表示をしておく必要がない場合（例えば、物体２０に対して手をかざすことを入力操作とする場合等）には、必ずしも映像の投影は必要ない。

また、物体領域をマーカ５０によって認識することとすれば、予め物体２０に関する情報を入力装置１０が記憶しておく必要もなく、確実に物体領域を認識することができ、適切に本発明を実施することができる。また、物体２０が予め決まっている場合等には、物体領域に係る特徴を予め記憶しておき、その情報に基づいて物体領域を認識することとしても、確実に物体領域を認識することができ、適切に本発明を実施することができる。

なお、上述した入力装置１０は、音を検出する手段（例えば、マイク）を備え、検出した音に応じた機能を有していてもよい。具体的には、例えば、操作領域検出部１５は、マイクによって所定の音を検出して音が検出されたタイミングで操作領域の検出を行うこととしてもよい。これにより、クリック動作等の入力操作のためにユーザ４０が物体２０と接触して音が出たときのみ、ユーザ４０の入力操作を検出することができる。

具体的には、所定の音の検出は、入力操作に応じて物体２０が叩かれた音に係る情報、例えば、音のパターン（リズム、音声、音量）を予め記憶しておき、その音のパターンとマイクから入力された音とが一致する（部分がある）かを判断することによって行う。即ち、検出する音を予め記憶（登録）しておき、記憶した音を物体２０から発生した音として検出する。この登録は入力装置１０の開発者が行ってもよいし、ユーザ４０が自分自身で好みのパターンを登録することとしてもよい。但し、必ずしも音の情報の記憶は必ずしも必要ではなく、例えば、一定量の大きさの音（予め設定した閾値を超える音量を有する音）が発生した場合に音を検出する等の構成としてもよい。また、周囲が騒がしい際、マイクでリアルタイムに雑音を解析し、雑音モデルを作成することによって雑音除去を行うこともできる。

このような構成とすれば、例えば、ユーザ４０が操作領域を検出するタイミングを任意に決めることができ、ユーザ４０が任意のタイミングで入力操作を行うことができる。従って、ユーザ４０に操作性の高い入力操作を行わせることができる。また、ユーザ４０が本当に入力操作を行いたいときのみ入力操作を検出することができ、高い精度で入力操作を認識することができる。

また、物体２０の物体領域は、以下のようにユーザ４０が指定することとしてもよい。この指定は、図６に示すように、例えば、物体２０の形状のすみ（特徴点）２１を指で叩いて音を出すことによって行われる。指定された物体２０の物体領域は、入力装置１０の物体領域認識部１２によって認識される。

まず、物体領域認識部１２は、上述した方法と同様にマイクによって集音された音に、物体２０から発生した特定の音が含まれていることを検出する。続いて、物体領域認識部１２は、上記の特定の音が検出されたタイミングでカメラ１１によって撮像された画像における、上記の特定の音が発生した位置（特徴点）を検出する。具体的には、特定の音が検出されたタイミングでカメラ１１から入力された画像から上記の位置の検出を行う。物体領域認識部１２は、物体２０を叩くものに係る情報を予め記憶しておき、上記のタイミングの画像から当該情報に基づいて物体２０を叩くものの位置（物体２０が叩かれた位置）を検出して、検出された位置を上記の特定の音が発生した位置とする。物体２０を叩くものとは、例えば、ユーザ４０の指やユーザ４０に用いられるペン等の道具などであり、予め指定されたものである。

ユーザの指などの物体２０を叩くものの画像中の位置の検出は、画像処理によって行われる。具体的には、例えば、物体２０を叩くものに係る情報として指の色である肌色を予め物体領域認識部１２が記憶しておき、画像中の肌色の領域のうち最も大きい領域（画素数の多い領域）を検出して、その最も上の座標を検出する位置とする。また、肌色の領域の凹凸を検出して、予め物体領域認識部１２が記憶した特定の形状（例えば、楕円）を認識して、その形状のうちの所定の点を検出する位置としてもよい。また、手のモデルを作成しておき、予め物体領域認識部１２に記憶させておき、その情報に基づいて指先を検出して、指先の点を検出する位置としてもよい。上記の位置の検出は、（一つの）物体２０の物体領域に対して複数回（例えば３回）行われる。この回数が多いほど、物体２０の物体領域の、より詳細な認識が可能になる。

なお、位置を検出する画像は、例えば、カメラ１１によって撮像された画像に撮像された時刻の情報を対応付けておき、特定の音が検出された時刻に基づいて特定されてもよい。

物体領域認識部１２は、検出した点を物体領域の特定が行われるまで追従する。カメラ１１による撮像は、複数の位置検出が行われている間行われており、撮像された画像は時間変化する。一点目の位置検出が行われた後、次の点の検出が行われるまでに物体２０を手で持っていたりすると画像における検出した点の位置が動いてしまうことがある。また、カメラ１１の撮像方向が動いてしまい、画像における検出した点の位置が動いてしまうことがある。位置の検出（追従）は、上記のように位置の特定を複数の時刻にわたる画像を用いて行う場合に適切に形状の推定を行えるようにするためのものである。

具体的には、物体領域認識部１２は、位置検出に用いられた画像から、検出された座標近傍の所定の範囲の画像を抽出する。物体領域認識部１２は、当該所定の範囲の画像を、検出された位置の特徴を示す画像として記憶する。続いて、物体領域認識部１２は、追従対象となる画像から、上記記憶した所定の範囲の画像に対応する部分を検出して、当該部分から追従した位置（画像上の二次元座標）を特定する。この検出は、具体的には例えば、オプティカルフロー等を用いた特徴点追従方法等が用いられて行われる。

続いて、物体領域認識部１２は、検出された位置、及び追従された位置から物体２０の物体領域を推定（認識）する。ここで推定される物体領域は、二次元の形状（カメラ１１によって撮像された画像内での形状）である。また、ここでの物体領域の推定には、（カメラ１１によって撮像された画像内での）物体領域の位置を推定することも含む。物体領域認識部１２は、検出された（追従された）位置が所定の数（例えば３点）になったら物体領域の推定を行う。位置をいくつ用いて物体領域の推定を行うかについては、予め物体領域認識部１２に記憶されている。

物体領域認識部１２は、具体的には例えば、検出された位置を結ぶことによって物体２０の物体領域を推定する。また、物体領域認識部１２は、検出された位置を結んだ形状の図形に内接する図形（例えば四角形）、検出された位置を全て含む図形を推定する物体領域としてもよい。また、上記の投影を行う範囲の画像上の大きさを予め設定しておき、検出された位置が当該範囲に収まるように近似して、物体領域を推定してもよい。物体領域認識部１２は、物体領域を推定するための情報（例えば、四角形等の形状が決まっている場合はその情報）又はルールを予め記憶しておき、その情報又はルールを用いて物体領域の推定を行う。

上述したような物体領域の認識を用いることとすれば、物体２０の撮像、音の検出、及び音が発生した位置の検出によって物体２０の物体領域の推定が行われる。従って、簡易かつ確実に物体領域を認識することができ、物体領域を認識することができ、適切に本発明を実施することができる。

なお、上述した方法では、ユーザ４０が物体２０を叩く等して、物体２０から音を発生させることとしたが、必ずしも物体２０から音を発生させることを前提としなくてもよい。例えば、ユーザ４０の入力音の認識において、周囲が騒がしく物体２０を叩く音が取得できない場合、ユーザの声を検出する音としてもよい。その場合、ユーザの声が検出されたタイミングでカメラ１１によって撮像された画像において、ユーザの指が指している点を検出する。検出される点は、物体２０の物体領域に応じた位置である。

また、上述した方法とマーカ５０の検出とを併用して用いることとしてもよい。即ち、図７に示すように、マーカ５０周辺の特徴のみから物体領域を判断するのではなく、マーカ５０である程度の物体領域を推定した後、推定された物体領域内を指で叩いて物体領域Ａを指定すれば、カメラ１１によって撮像された画像全体からではなく、ある程度狭まった領域内から指を検出することができるため、効率的にユーザの指を検出することができる。また、過去フレームとの差分又は物体２０の特徴以外の領域を、物体領域として利用することができる。また、マーカ５０のみで物体領域を推定するよりも、正確にユーザ４０が仮想的な入力装置として利用したい物体領域を指定することができる。また、図７に示すように物体２０の中の一部分を物体領域とすることもできる。

また、本実施形態では、カメラ１１によって撮像されて得られる画像は、通常の（可視光により撮像される）画像であることとしたが、必ずしも上記の画像でなくてもよく、物体２０の特徴が認識できるものであればよい。具体的には例えば、赤外線による画像、距離画像、サーモグラフィ（温度分布）による画像等でもよい。

本発明の実施形態における入力装置の外観構成を模式的に示す図である。 本発明の実施形態における入力装置の機能構成を示す図である。 入力装置によって投影される映像を示す図である。 本発明の実施形態における入力装置のハードウェア構成を示す図である。 本発明の実施形態における入力装置で実行される処理（入力方法）を示すフローチャートである。 物体領域を認識する際にユーザによって物体が叩かれて音が発生する様子を示す図である。 物体領域を認識する際にユーザによって物体が叩かれて音が発生する様子の別の例を示す図である。

符号の説明

１０…入力装置、１１…カメラ、１２…物体領域認識部、１３…領域追従部、１４…特徴情報取得部、１５…操作領域検出部、１６…入力検出部、１７…出力部、１８…映像投影部、１９…映像蓄積部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…ディスプレイ、２０…物体、３０…映像、４０…ユーザ、５０…マーカ。

Claims (8)

1. 複数の時刻にわたって物体を撮像する撮像手段と、
   前記撮像手段によって撮像された画像から、当該画像における前記物体が位置する物体領域を認識する物体領域認識手段と、
   前記撮像手段によって撮像された時間変化した画像における、前記物体領域認識手段によって認識された前記領域に対応する領域を認識する領域追従手段と、
   前記物体の特徴を示す情報を取得する特徴情報取得手段と、
   前記撮像手段によって撮像された画像における、前記物体領域認識手段によって認識された前記物体領域内の、前記特徴情報取得手段によって取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出手段と、
   前記操作領域検出手段によって検出された前記操作領域に基づいて、ユーザの入力操作を検出する入力検出手段と、
   前記入力検出手段によって検出された前記ユーザの入力操作を示す情報を出力する出力手段と、
   を備える入力システム。
2. 前記特徴情報取得手段は、前記撮像手段によって撮像された画像における、前記物体領域認識手段によって認識された前記物体領域から前記物体の特徴を抽出することによって、当該物体の特徴を示す情報を取得することを特徴とする請求項１に記載の入力システム。
3. 前記物体領域認識手段によって認識された前記物体領域の形状に合うように映像を投影する投影手段を更に備える請求項１又は２に記載の入力システム。
4. 前記物体領域認識手段は、前記物体に予め設けられたマーカを検出することによって前記物体領域を認識することを特徴とする請求項１〜３のいずれか一項に記載の入力システム。
5. 前記物体領域認識手段は、所定の音を検出して、前記撮像手段によって撮像された画像における前記物体領域を特定する位置を当該音が検出されたタイミングで検出して、当該位置から当該物体領域を認識することを特徴とする請求項１〜４のいずれか一項に記載の入力システム。
6. 前記物体領域認識手段は、前記物体領域に係る特徴を示す情報を予め記憶しておき、当該情報に基づいて当該物体領域を認識することを特徴とする請求項１〜３及び５のいずれか一項に記載の入力システム。
7. 前記操作領域検出手段は、所定の音を検出して、当該音が検出されたタイミングで前記撮像手段によって撮像された画像における前記操作領域を検出することを特徴とする請求項１〜６のいずれか一項に記載の入力システム。
8. 複数の時刻にわたって物体を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された画像から、当該画像における前記物体が位置する物体領域を認識する物体領域認識ステップと、
   前記撮像ステップにおいて撮像された時間変化した画像における、前記物体領域認識ステップにおいて認識された前記領域に対応する領域を認識する領域追従ステップと、
   前記物体の特徴を示す情報を取得する特徴情報取得ステップと、
   前記撮像ステップにおいて撮像された画像における、前記物体領域認識ステップにおいて認識された前記物体領域内の、前記特徴情報取得ステップにおいて取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出ステップと、
   前記操作領域検出ステップにおいて検出された前記操作領域に基づいて、ユーザの入力操作を検出する入力検出ステップと、
   前記入力検出ステップにおいて検出された前記ユーザの入力操作を示す情報を出力する出力ステップと、
   を備える入力方法。

Images