JP4870651B2 - 情報入力システムおよび情報入力方法 - Google Patents

Description

本発明は、入力操作を行うための情報入力システムおよび情報入力方法に関する。

従来、キーボード等の入力装置を有していない情報処理装置に対し、ユーザによる入力操作を行うための手法が提案されている。
例えば、特許文献１には、バーチャルキーボードにおける各キーの位置に向けて光を照射し、その反射光を受光してユーザの指の位置を検出することで、各キーへの入力を行う技術が知られている。

また、非特許文献１には、複数台のカメラを用いてユーザの指がディスプレイに接触する位置を検出する技術が知られている。
特許第３３２７２１８号公報 吉村 康弘，「指先情報を用いたVision-based Interfaceの提案」，火の国情報シンポジウム２００５ 論文集

しかしながら、特許文献１に記載された技術においては、発光装置および受光装置が必要となる上、ユーザの入力操作位置を正確に判定するために、装置を平面で動作させなければならないという制約があり、簡単に入力操作を行うことは困難である。
また、非特許文献１に記載された技術においては、複数のカメラを用いてユーザの指の位置を判定しているため、正確に指の位置を測定するには、カメラの位置を予め把握しておかなければならない等の制約があり、やはり簡単に入力操作を行うことは困難である。
このように、従来の技術においては、入力装置を有していない情報処理装置に対し、簡単に入力操作を行うことは困難であった。
本発明の課題は、入力装置を有していない情報処理装置に対し、簡単に入力操作を行うことである。

以上の課題を解決するために、本発明は、
鏡面反射性を有する入力用反射部材（例えば、図１の反射部材１０）と、前記入力用反射部材の画像を撮影する撮像部（例えば、図２の入力検出部２１）と、前記入力用反射部材を検出する検出部（例えば、図２の投影領域算出部２２ａ）と、前記撮像部によって撮影された画像に基づいて、前記入力用反射部材におけるユーザの入力操作位置を検出する入力操作位置検出部（例えば、図２の入力位置算出部２２ｂ）と、前記入力操作位置検出部によって検出されたユーザの入力操作位置を基に、情報の入力操作内容を決定する入力内容決定部（例えば、図２の変換部２４）と、を備え、前記入力操作位置検出部は、入力操作を行う物体と、前記入力用反射部材に映った該物体の鏡像とを検出し、それらが連続した位置をユーザの入力操作位置として検出することを特徴としている。

また、前記撮像部によって撮影された前記入力用反射部材の画像に合わせて、ユーザインターフェースの画像を表示する表示部（例えば、図２の映像蓄積部２３および表示部２５）を備えることを特徴としている。
また、前記入力用反射部材の状態を検出する投影領域算出部（例えば、図２の投影領域算出部２２ａ）と、前記投影領域算出部によって算出された前記入力用反射部材の状態に合わせて、前記表示部に表示する画像を補正する画像補正部（例えば、図２の変換部２４）とを備えることを特徴としている。

また、前記投影領域算出部は、前記入力用反射部材の状態を検出する複数の特徴点を該入力用反射部材の画像上で設定し、前記複数の特徴点の位置関係に基づいて、前記ユーザインターフェースの画像を表示することを特徴としている。

また、本発明は、
鏡面反射性を有する入力用反射部材と、前記入力用反射部材の画像を撮影する撮像部と、前記入力用反射部材を検出する検出部と、前記撮像部によって撮影された画像に基づいて、前記入力用反射部材におけるユーザの入力操作位置を検出する入力操作位置検出部と、前記入力操作位置検出部によって検出されたユーザの入力操作位置を基に、情報の入力操作内容を決定する入力内容決定部と、を備え、前記入力操作位置検出部は、入力操作を行う物体と前記入力用反射部材に映った該物体の鏡像とを検出し、それらが連続した位置をユーザの入力操作位置として検出する情報入力システムによって実現される情報入力方法であって、前記撮像部により前記入力用反射部材の画像を撮影する撮像ステップと、前記検出部により前記入力用反射部材を検出する検出ステップと、前記入力操作位置検出部により、前記撮像部で撮影された画像に基づいて、前記入力用反射部材におけるユーザの入力操作位置を検出する入力操作位置検出ステップと、前記入力内容決定部により、前記入力操作位置検出部で検出されたユーザの入力操作位置を基に、情報の入力操作内容を決定する入力内容決定ステップと、を含み、前記入力操作位置検出ステップでは、入力操作を行う物体と、前記入力用反射部材に映った該物体の鏡像とを検出し、それらが連続した位置をユーザの入力操作位置として検出することを特徴としている。

本発明によれば、入力装置を有していない情報処理装置に対し、簡単に入力操作を行うことが可能となる。

以下、図を参照して本発明を適用した情報入力システムの実施の形態を説明する。
（構成）
図１は、本発明に係る情報入力システム１のシステム構成を示す図である。
図１において、情報入力システム１は、反射部材１０と、メガネ型ディスプレイ２０とを備えている。
反射部材１０は、ユーザが入力操作を行うにあたり、ユーザの指、あるいは、ペン等の操作具を接触させる板状の部材であり、その表面が反射性を有する部材である。
この反射部材１０として、例えば鏡、アルミ板あるいはハーフミラーフィルム等、光を反射する種々の部材を採用することができる。なお、反射部材１０は、光の反射を利用する場合以外に、赤外線やミリ波等、他の周波数領域の電磁波を対象として、その反射を利用するものとしても良い。

また、反射部材１０には、ユーザが情報の入力操作を行う際に、反射部材１０の特定を補助するためのマーカ１０ａが取り付けられる。
マーカ１０ａには、他の物体と反射部材１０とを容易に識別できる図柄（以下、「特徴図柄」という。）が描画されており、後述する投影領域算出部２２ａが、このマーカ１０ａに描画された特徴図柄を検出することにより、反射部材１０の領域を検出する。

なお、特徴図柄を描画したマーカ１０ａを反射部材１０に取り付ける方法以外にも、特徴図柄を反射部材１０に直接描画したり、特徴図柄の形状としたマーカ１０ａを反射部材１０に取り付けたりすることが可能である。また、特徴図柄は、予め設定された図柄としたり、ユーザが利用に際して生成した図柄としたり、物体中から自動的に抽出した図柄としたりできる。また、デフォルトの特徴図柄は、ユーザが指定すること、および、電源投入時に自動的に指定することが可能である。
メガネ型ディスプレイ２０は、メガネのレンズ部分を表示パネルよって構成された表示装置であり、キーボードやタッチパネルのボタン等、ユーザインターフェースの画像を反射部材１０に重畳して表示する。

このとき、メガネ型ディスプレイ２０は、オプティカルシースルー型あるいはビデオシースルー型のヘッドマウントディスプレイとして構成することが可能である。具体的には、メガネ型ディスプレイ２０のレンズ部分を小型の液晶ディスプレイによって構成し、外界の画像を液晶ディスプレイに表示すると共に、外界の画像における反射部材１０の領域にユーザインターフェースを重畳して表示することや、メガネ型ディスプレイ２０のレンズ部分をバックライトなしの透過型の液晶パネルによって構成し、液晶パネルを透過してユーザの目に入る景色において、反射部材１０の領域にユーザインターフェースの画像を重畳して表示すること等が可能である。

なお、左右の目の位置と外界の物体の位置との関係から、左右両眼の視差を推定し、メガネ型ディスプレイ２０の左右の液晶パネルそれぞれにおいて、両眼の視差に合わせた位置にユーザインターフェースを表示することとしても良い。このようにユーザインターフェースを表示することで、ユーザに立体感（奥行き）のある映像を見せることができる。

次に、情報入力システム１の機能構成について説明する。
図２は、本発明に係る情報入力システム１の機能構成を示すブロック図である。
図２において、情報入力システム１は、反射部材１０と、入力検出部２１と、画像処理部２２と、映像蓄積部２３と、変換部２４と、表示部２５とを含んで構成されている。なお、図２における入力検出部２１、画像処理部２２、映像蓄積部２３、変換部２４、および、表示部２５がメガネ型ディスプレイ２０を構成している。
これらのうち、入力検出部２１は、周囲の空間における反射部材１０を検出するセンサである。

具体的には、入力検出部２１は、外界の画像を撮影するカメラ（可視光あるいは赤外線カメラ等）によって構成され、このカメラは、メガネ型ディスプレイ２０のブリッジ部分あるいはフレーム部分に設置されている。なお、カメラの設置位置は、ユーザの視線に近い画角で撮影することができれば、メガネ型ディスプレイ２０のブリッジ部分やフレーム部分以外とすることも可能であり、例えば、メガネ型ディスプレイ２０をビデオシースルー型とした場合、メガネ型ディスプレイ２０のレンズ部分にカメラを設置することも可能である。

ここで、メガネ型ディスプレイ２０から見た反射部材１０の位置がわかれば、液晶パネルにおける反射部材１０の画面領域にユーザインターフェースを重畳して表示することができる。そこで、外界の画像を撮影して反射部材１０を特定する形態の他、入力検出部２１は、位置センサ、加速度センサあるいは地磁気センサ等、反射部材１０の位置を検出するための各種センサを備え、これらセンサによって検出した位置を基に、空間における反射部材１０を検出することが可能である。

なお、入力検出部２１は、センサを情報入力システム１のユーザ周辺に設置した形態や、センサをユーザが携帯して使用する形態としても良い。
そして、入力検出部２１は、撮影した画像や、反射部材１０とカメラとの距離あるいは反射部材１０の位置等のデータを画像処理部２２に出力する。
画像処理部２２は、投影領域算出部２２ａと、入力位置算出部２２ｂと、登録部２２ｃとを含んで構成される。

投影領域算出部２２ａは、後述する投影領域算出処理を実行することにより、入力検出部２１によって撮影された画像において反射部材１０の画像および反射領域の状態（位置、大きさ、傾き等）等を検出する。このとき、投影領域算出部２２ａは、カメラによって撮影された画像において、マーカ１０に描画された特徴図柄とのマッチングを行うことにより、反射部材１０の画像を検出することができる。
入力位置算出部２２ｂは、入力検出部２１によって撮影された画像において、反射部材１０の領域に対するユーザの入力操作位置を算出する。

ここで、情報の入力が行われる場合、入力検出部２１によって撮影された画像中には、常にユーザの指や入力に利用する操作具（ペン等）が映っていると考えられるため、入力位置算出部２２ｂでは、入力動作を行ったタイミングおよび位置を認識する必要がある。そして、反射部材１０は、鏡のように反射して物体の像を映すことができるため、指や操作具が反射部材１０に接触したとき、指や操作具自体の撮影画像と鏡に映っている指や操作具の反射像（鏡像）とが連結することとなる。これを利用して、入力検出部２１によって撮影された画像中から鏡像関係の形状を持つ領域を抽出し、鏡像関係の領域同士が連結した位置を入力操作位置として検出することができる。なお、鏡像関係の領域を検出する場合以外にも、人の指によって入力が行われる場合に、肌色領域を検出して、離れていた肌色領域同士が連結したことを検出することにより、入力操作位置を検出することができる。また、指やペンなどの形状を登録部２２ｃに予め登録しておき、その形状が連結した部分を入力操作位置として検出することができる。

そして、入力位置算出部２２ｂは、このようにして得られた入力操作位置を示す情報を変換部２４に出力する。
登録部２２ｃは、ユーザが情報の入力に用いる指や操作具の形状等の特徴あるいはマーカ１０ａに描画された特徴図柄のデータを予め記憶している。これらのデータは、情報入力システム１を使用するユーザが使用に先立って登録することや、既定の操作具や特徴図柄のデータをサンプルデータとして予め登録しておくこと等が可能である。

映像蓄積部２３は、表示部２５において表示する画像のデータが蓄積されている。映像蓄積部２３には、キーボードやタッチパネル等のユーザインターフェースのみの画像や、ユーザインターフェースと、それに入力された内容を併せて示す画像、あるいは、キーボード等を備えた情報処理装置における表示画面と同様の画像の画像データを蓄積しておくことができる。これらのうち、いずれの画像を表示するかは、ユーザが事前に選んだり、コンテンツに応じて自動に決定したりしても良い。また、映像蓄積部２３は、メガネ型ディスプレイ２０内のメモリ上に実現したり、通信網を介したサーバを利用して実現したりすることができる。

変換部２４は、画像処理部２２において検出あるいは算出されたデータ（変換パラメータ等）を基に、映像蓄積部２３によって出力された画像データの変換および書き換え処理を行う。このとき、映像蓄積部２３は、投影領域算出部２２ａから入力された変換パラメータに対しては、それを基に撮影した画像の形状を変換する処理を行い、入力位置算出部２２ｂから入力された入力操作位置の情報に対しては、その入力操作を、操作位置からシステムに対する命令に変換し、入力操作に応じた出力が表示されるように映像を書き換える。

表示部２５は、映像蓄積部２３によって出力された画像を表示する。この表示部２５は、ここではヘッドマウントディスプレイのようなメガネ型ディスプレイとして構成される。なお、反射部材１０を入力検出部２１によって撮影し、反射部材１０の画像領域にユーザインターフェースを重畳した画像を生成して、その画像を一般の置き型ディスプレイに表示することによっても、本発明の情報入力方法を実現することができる。

（動作）
次に、動作を説明する。
図３は、情報入力システム１が実行する情報入力処理を示すフローチャートである。情報入力処理は、情報入力システム１において情報の入力機能を実現するための処理であり、情報入力システム１の電源投入と共に開始される。
なお、情報入力処理の実行に先立ち、ユーザによって反射部材１０にマーカ１０ａが取り付けられている。
図３において、情報入力処理が開始されると、情報入力システム１は、入力検出部２１によって、マーカ１０ａに描画された特徴図柄を含む反射部材１０の画像を撮影する（ステップＳ１）。

次に、情報入力システム１は、反射部材１０の領域にキーボード等のユーザインターフェースを重畳して表示するため、投影領域算出部２２ａによって、反射部材１０の領域およびその状態（位置、大きさ、傾き等）をステップＳ１で検出された画像を基に検出する（ステップＳ２）。このとき、投影領域算出部２２ａは、反射部材１０のオプティカルフロー、エッジ、あるいは、色の特徴を基に、特徴図柄の動きと同期する領域を検出する。例えば、特徴図柄と同様の動きを示しているオプティカルフローの集合領域を特徴図柄の動きと同期する領域として検出する。このようにして検出された範囲が反射部材１０の領域として検出される。

また、このとき、投影領域算出部２２ａは、検出した反射部材１０の領域を矩形によって近似する。あるいは、矩形によって近似する以外にも、領域の外側や、特徴の性質が周囲と変化する境界を検出し、境界線内の領域の形状を抽出してもよい。
また、ステップＳ２においては、反射部材１０の状態を検出した際、反射部材１０の中から２点以上（例えば、３〜４点）の特徴点を取得する。この特徴点は反射部材１０の領域に重畳する画像の形状を補正するために設定される。この特徴点はユーザが手動で設定してもよいし、自動で抽出してもよい。この際、特徴点とマーカ１０ａとの位置関係を検出しておく。

図４は、反射部材１０の領域が矩形によって近似された状態を示す模式図である。
図４においては、反射部材１０の領域が矩形によって近似されていると共に、特徴点（矩形の四隅）が取得されている。
引き続く以下の処理では、特徴点に合わせて、反射部材１０の領域と重畳してユーザインターフェースの画像を表示する処理が行われる。
即ち、投影領域算出部２２ａは、反射部材１０の向きと撮影画像における反射部材１０の領域に重畳する画像の向きとを一致させるために、ユーザインターフェース画像の変換処理を行う。この変換処理を行うにあたり、反射部材１０の状態とマーカ１０ａの状態とは一致しているため、マーカ１０ａの状態がわかれば、反射部材１０の状態およびその特徴点の座標も知ることができる。

そこで、反射部材１０の特徴点と画像の形状とを対応づけるため、投影領域算出部２２ａは、ユーザインターフェース画像の変換パラメータを算出する（ステップＳ３）。
ステップＳ３において変換処理を行うための変換行列Ｍは、（１）式に示すように、画像上にある座標（Ｘ，Ｙ，Ｚ）を反射部材１０の特徴点の座標（ｘ，ｙ，ｚ）に合わせて、それぞれの軸に対する回転移動や平行移動を行う行列で表現される。この変換行列Ｍによると、反射部材１０が回転している場合は回転パラメータＲ部分がその回転角度θａによって規定され、平行移動の場合にはΔＸ，ΔＹ，ΔＺのうち、その移動軸に従ったパラメータが規定される。

そして、情報入力システム１は、ステップＳ３において算出された変換パラメータによって、ユーザインターフェースの画像を変換し（ステップＳ４）、変換したユーザインターフェースの画像を反射部材１０の領域に重畳して表示する（ステップＳ５）。
このような形態でユーザインターフェースの画像を表示すると、反射部材１０の状態が変化した場合、それに合わせてユーザインターフェースの画像も状態を変化されて表示されることとなる。

図５は、反射部材１０が傾けられた場合に、ユーザインターフェースの画像も傾けて表示されている状態を示す図である。
これにより、ユーザは、反射部材１０への入力操作を容易に行うことができる。
そして、ステップＳ５において表示されたユーザインターフェースに指等によって入力操作を行うと、情報入力システム１は、入力位置算出部２２ｂによって、ユーザの入力操作位置を検出する（ステップＳ６）。
このとき、ユーザインターフェースの画像は鏡（反射部材１０）に重畳されているため、ユーザの指等は鏡に対して操作を行うことになる。

図６は、反射部材１０に操作を行う指と、その鏡像とを示す図である。
図６（ａ）に示すように、指が反射部材１０に近づいていき、図６（ｂ）に示すように指が反射部材１０と接触すると、指とその鏡像とが連続する位置関係となる。このように接触した位置を検出するために、例えば、肌色領域を予め追従しておくことができる。追従していた２つの肌色領域が連続したとき、指が反射部材１０に接触した（入力した）と判定する。このとき、接触を判定する上で、（１）手の形状であること、（２）線対称の形状を持つ肌色領域同士の距離が近づくこと、（３）画像を重畳している鏡の領域内に存在する肌色領域であること、といった条件を考慮することで、より精度の高い判定を行うことができる。このようにして判定されたユーザの指と鏡との接触点の位置を入力操作位置として用いる。

そして、情報入力システム１は、ユーザの指等が接触した位置に対応するユーザインターフェースの位置から、ユーザが行った入力操作を判別し、その入力操作内容に応じて、メガネ型ディスプレイ２０に表示する画像を書き換える（ステップＳ７）。
ステップＳ７の後、情報入力システム１は、情報入力処理を繰り返す。
このような処理により、メガネ型ディスプレイ２０を装着したユーザは、メガネ型ディスプレイ２０を通して鏡等の反射部材１０を見たとき、反射部材１０の部分にユーザインターフェースが描画された状態を視認することとなり、その反射部材１０に対して、入力操作を行うことができる。そして、その入力操作をメガネ型ディスプレイ２０が検出し、ユーザインターフェースにおける入力操作として判別することで、ユーザの意図した入力操作が行われることとなる。

次に、投影領域算出部２２ａが実行する投影領域算出処理について説明する。
図７は、投影領域算出部２２ａが実行する投影領域算出処理を示すフローチャートである。
投影領域算出処理は、図３に示すステップＳ２〜Ｓ３において投影領域算出部２２ａが実行する処理に対応している。

図７において、投影領域算出処理が開始されると、投影領域算出部２２ａは、入力検出部２１から反射部材１０の画像等のデータを取得する（ステップＳ１０１）。
次に、投影領域算出部２２ａは、登録部２２ｃを参照し、特徴図柄のデータが登録されているか否かの判定を行う（ステップＳ１０２）。
ステップＳ１０２において、登録部２２ｃに特徴図柄のデータが登録されていないと判定した場合、投影領域算出部２２ａは、撮影された画像内に存在する特徴から反射部材１０の領域を検出する（ステップＳ１０３）。

このとき、投影領域算出部２２ａは、反射部材１０の状態を検出するために必要な特徴点としてユーザが指やペン等で指定した点を基準点として検出し、その基準点を結んだ領域を反射部材１０の領域として検出する。また、反射部材１０を細かく振動させること等によって、反射部材１０に映っている画像（背景）のみが同期して振動するため、画像中から同期して振動する領域を検出することにより、反射部材１０の領域を検出することができる。この同期して振動する領域（動き領域）の検出方法としては、オプティカルフローやブロックマッチングによる速度場の検出方法等を用いることができる。

一方、ステップＳ１０２において、登録部２２ｃに特徴図柄のデータが登録されていると判定した場合、投影領域算出部２２ａは、登録部２２ｃに登録されている特徴図柄のデータを基に、反射部材１０の領域を検出する（ステップＳ１０４）。
そして、投影領域算出部２２ａは、ステップＳ１０３およびステップＳ１０４において検出された反射部材１０の領域を基に、反射部材１０の状態（位置、大きさ、傾き等）を検出する（ステップＳ１０５）。

さらに、投影領域算出部２２ａは、反射部材１０の領域における２点以上の特徴点を取得する（ステップＳ１０６）。この特徴点は反射部材１０の領域に重畳する画像の形状を補正するために設定される。上述の通り、この特徴点はユーザが手動で設定してもよいし、自動で抽出してもよい。この際、特徴点とマーカ１０ａとの位置関係を検出しておく。
そして、投影領域算出部２２ａは、反射部材１０の特徴点と画像の形状とを対応づけるため、ユーザインターフェース画像の変換パラメータ（（１）式参照）を算出する（ステップＳ１０７）。

ここで、反射部材１０の形状、大きさおよび変換パラメータは、入力検出部２１によって得られた画像1フレーム毎に算出することや、最初のフレームのみ反射部材１０の形状、大きさを算出し、後続のフレームは、その特徴領域の特徴点のトラッキング処理のみを行い、最初に算出した反射部材１０の形状をもとに現在の入力部の形状を推定すること等が可能である。特徴点のトラッキングを行う場合、反射部材１０の形状が正確に検出できなくても、反射部材１０内に存在する数点の動きが検出できれば、最初に検出した反射部材１０の形状および前フレームの反射部材１０の状態から、現在の状態を推定することができる。

また、反射部材１０の急激な変動や、細かな振動に対して、高い精度で変換パラメータを算出せず、変動量の閾値を設けることにより、前フレーム内の反射部材１０の状態との変化が閾値を超えた場合のみ、変換パラメータを算出するという方法も採用可能である。さらに、前フレームから次の反射部材１０の状態を過去の状態変位に基づいて予測し、予測値と実際の反射部材１０の状態とを比較して、予測値より前フレームとの変動が大きい場合は実際の反射部材１０の状態での変換パラメータを算出し、予測値より前フレームとの変動が小さい場合は予測値での変換パラメータを算出するという方法も採用可能である。

なお、上記処理において、反射部材１０をユーザが目前に持ってきて利用する場合、反射部材１０にはユーザの顔が映っていると考えられ、既存の顔認識技術を用いると、ユーザの顔の向き検出することができる。これを利用して、ユーザが反射部材１０を見たときのみユーザインターフェースの画像を重畳したりする等、反射部材１０を見ているか否かというユーザの状態に合わせてサービスを提供することができる。また、ユーザが反射部材１０を見ているか否かという判定には、顔の向きだけではなく、視線を検出することもできるし、装着しているメガネ型ディスプレイ２０の形状から判定することもできる。

また、メガネ型ディスプレイ２０に通信機能を設け、反射部材１０に家電のリモコンの映像を投影することによって、テレビなどの周囲にある機器を操作することもできる。
以上のように、本実施の形態に係る情報入力システム１は、光を反射する反射部材１０と、カメラを備えたメガネ型ディスプレイ２０とを含み、メガネ型ディスプレイ２０によって撮影した画像において、反射部材１０の領域を検出し、その領域にユーザインターフェースの画像が重畳して表示される。そして、メガネ型ディスプレイ２０を装着したユーザは、その反射部材１０のユーザインターフェースに入力操作を行うと、その入力操作が検出され、ユーザインターフェースにおいて入力操作を行った位置と対応する情報の入力が行われる。

即ち、メガネ型ディスプレイ２０を装着したユーザは、メガネ型ディスプレイ２０を通して鏡等の反射部材１０を見たとき、反射部材１０の部分にユーザインターフェースが描画された状態を視認することとなる。そして、ユーザが反射部材１０に対して入力操作を行うことで、ユーザの意図した入力操作が行われることとなる。
したがって、入力装置を有していない情報処理装置に対し、簡単に入力操作を行うことが可能となる。

図８は、本実施形態に係る情報入力システム１の使用状態例を示す図である。
図８に示すように、本実施形態に係る情報入力システム１においては、メガネ型ディスプレイ２０を装着したユーザが、メガネ型ディスプレイ２０を通して鏡等の反射部材１０を見たときに、反射部材１０の部分にユーザインターフェースが描画された状態を見ることとなり、反射部材１０に入力操作を行うことで、意図した情報入力を行うことができる。

このような反射部材１０は、携帯型のミラー等、身近で簡易なものによって構成できるため、入力装置を有していない情報処理装置に対しても、簡単に入力操作を行うことが可能である。
なお、本実施形態においては、反射部材１０の領域にキーボード等のユーザインターフェースの画像を重畳して表示し、そのユーザインターフェースの画像に各種入力操作を行う場合を例に挙げて説明したが、クリックしたか否か、あるいは、ボタンの押下回数等で入力を行うことができる場合には、ユーザインターフェースの画像を表示することなく、ユーザが反射部材１０に接触したことや、その回数を検出することで、情報の入力を行うことができる。

情報入力システム１のシステム構成を示す図である。 情報入力システム１の機能構成を示すブロック図である。 情報入力システム１が実行する情報入力処理を示すフローチャートである。 反射部材１０の領域が矩形によって近似された状態を示す模式図である。 反射部材１０が傾けられた場合に、ユーザインターフェースの画像も傾けて表示されている状態を示す図である。 反射部材１０に操作を行う指と、その鏡像とを示す図である。 投影領域算出部２２ａが実行する投影領域算出処理を示すフローチャートである。 情報入力システム１の使用状態例を示す図である。

符号の説明

１ 情報入力システム、１０ 反射部材、２０ メガネ型ディスプレイ、２１ 入力検出部、２２ 画像処理部、２２ａ 投影領域算出部、２２ｂ 入力位置算出部、２２ｃ 登録部、２３ 映像蓄積部、２４ 変換部、２５ 表示部

Claims (5)

1. 鏡面反射性を有する入力用反射部材と、
   前記入力用反射部材の画像を撮影する撮像部と、
   前記入力用反射部材を検出する検出部と、
   前記撮像部によって撮影された画像に基づいて、前記入力用反射部材におけるユーザの入力操作位置を検出する入力操作位置検出部と、
   前記入力操作位置検出部によって検出されたユーザの入力操作位置を基に、情報の入力操作内容を決定する入力内容決定部と、を備え、
   前記入力操作位置検出部は、入力操作を行う物体と、前記入力用反射部材に映った該物体の鏡像とを検出し、それらが連続した位置をユーザの入力操作位置として検出することを特徴とする情報入力システム。
2. 前記撮像部によって撮影された前記入力用反射部材の画像に合わせて、ユーザインターフェースの画像を表示する表示部を備えることを特徴とする請求項１記載の情報入力システム。
3. 前記入力用反射部材の状態を検出する投影領域算出部と、
   前記投影領域算出部によって算出された前記入力用反射部材の状態に合わせて、前記表示部に表示する画像を補正する画像補正部とを備えることを特徴とする請求項２記載の情報入力システム。
4. 前記投影領域算出部は、前記入力用反射部材の状態を検出する複数の特徴点を該入力用反射部材の画像上で設定し、前記複数の特徴点の位置関係に基づいて、前記ユーザインターフェースの画像を表示することを特徴とする請求項２または３記載の情報入力システム。
5. 鏡面反射性を有する入力用反射部材と、
   前記入力用反射部材の画像を撮影する撮像部と、
   前記入力用反射部材を検出する検出部と、
   前記撮像部によって撮影された画像に基づいて、前記入力用反射部材におけるユーザの入力操作位置を検出する入力操作位置検出部と、
   前記入力操作位置検出部によって検出されたユーザの入力操作位置を基に、情報の入力操作内容を決定する入力内容決定部と、を備え、
   前記入力操作位置検出部は、入力操作を行う物体と前記入力用反射部材に映った該物体の鏡像とを検出し、それらが連続した位置をユーザの入力操作位置として検出する情報入力システムによって実現される情報入力方法であって、
   前記撮像部により前記入力用反射部材の画像を撮影する撮像ステップと、
   前記検出部により前記入力用反射部材を検出する検出ステップと、
   前記入力操作位置検出部により、前記撮像部で撮影された画像に基づいて、前記入力用反射部材におけるユーザの入力操作位置を検出する入力操作位置検出ステップと、
   前記入力内容決定部により、前記入力操作位置検出部で検出されたユーザの入力操作位置を基に、情報の入力操作内容を決定する入力内容決定ステップと、を含み、
   前記入力操作位置検出ステップでは、入力操作を行う物体と、前記入力用反射部材に映った該物体の鏡像とを検出し、それらが連続した位置をユーザの入力操作位置として検出することを特徴とする情報入力方法。

Images