JPWO2015105044A1 - インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびコンピュータプログラム - Google Patents

Abstract

認識精度の高い入力機能を有するインターフェースを提供すべく、本発明のインターフェース装置１００は、撮像部１１０と制御部１２０と投射部１３０とを備える。投射部１３０は投射映像３００を投射する。撮像部１１０は投射映像３００が投射される領域を撮像する。制御部１２０は、撮像部１１０が撮像した映像である撮像映像に投射映像３００が映っていると共に操作物体４００が映っている場合には、撮影映像における投射映像３００が映っている撮像位置と操作物体４００が映っている撮像位置との関係に基づいて、操作物体４００による操作情報を認識する。

Description

本発明は、インターフェースにおける技術に関する。

近年、バーチャルキーボード、バーチャルマウスなどのインターフェース装置の研究開発が行われている。そのインターフェース装置は、例えば、投射部と撮像部を有し、投射部による例えばキーボードや情報の表示（投射）と、撮像部により撮影された画像の画像処理とにより、インターフェース機能を実現している。このようなインターフェース装置は、投射部および撮像部における近年の小型化により、一般的なキーボードやマウス等の入力装置よりも小型化が容易であり、持ち運び易くなってきている。

非特許文献１は、バーチャルキーボードの一例を開示する。非特許文献１が開示するバーチャルキーボードを実現する装置は、赤色半導体レーザと、赤外半導体レーザと、カメラとを備える。この装置（バーチャルキーボード）においては、赤色半導体レーザがキーボードの映像を投射し、それと共に、赤色半導体レーザが、そのキーボードが投射されている領域にスクリーン状の赤外線ビームを照射する。そして、その投射されているキーボードのキーを操作者が指で押す動作を行うと、スクリーン状の赤外線ビームが指に当たり反射する。カメラがその反射による赤外光を撮像することにより、装置（バーチャルキーボード）は、その撮像された画像に基づいて、かかる指の位置を認識する。

非特許文献２は、インターフェース装置の一例を開示する。非特許文献２が開示するインターフェース装置は、操作者の肩の部位に配置される投射装置と３Ｄ（three-dimensional）深度認識装置との組合せにより構成される。投射装置がキーのパターンなどを投射し、キーが押されたことを３Ｄ深度認識装置、通称Kinect （Kinectはマイクロソフトの登録商標）が３次元位置検出機能を用いて認識する。

特表２０１３−５２５９２３号公報 特開２００９−１２９０２１号公報 特開２００７−３１０７８９号公報 特開２００５−３０１６９３号公報

バーチャルキーボード、［平成２６年１月１０日検索］、インターネット（URL: http://ex4.sakura.ne.jp/kb/main_vkb.htm） Hrvoje Benko、Scott Saponas、「Omnitouch」、Microsoft、［平成２６年１月１０日検索］、インターネット(URL: http://research.microsoft.com/en-us/news/features/touch-101711.aspx) 小館香椎子、神谷武志、「回折光学素子の数値解析とその応用」、丸善出版株式会社、２０１１年１２月、ｐ．175-179 Edward Buckley,"Holographic Laser Projection Technology", Proc, SID Symposium 70.2, pp.1074-1079, 2008

非特許文献１が開示するバーチャルキーボードでは、キーボードの投射位置（操作面）に基づいて、スクリーン状の赤外線ビームを照射する必要がある。このため、キーボードの投射位置（操作面）と装置の位置関係が一義的に決まってしまうという課題がある。近年、普及がめざましいタブレットなどの携帯端末は、画面を横向きにしても縦向きにしてもユーザが見やすい方向に映像を回転して表示するという便利な機能を有している。しかし、非特許文献１が開示するバーチャルキーボードをタブレットなどの携帯端末に搭載した場合には、携帯端末としての便利な機能があるのにも拘わらず、バーチャルキーボードを利用する場合には、その機能を活かすことができないという問題が発生する。つまり、バーチャルキーボードを有効利用するためには、携帯端末とキーボードの投射位置との間隔を予め定められた適切な間隔とする必要があることから、携帯端末の位置が定まってしまう。しかも、キーボードの投射面に対して携帯端末を決められた角度で設置する必要があることから、携帯端末の姿勢の自由度が小さくなってしまう。

また、非特許文献１が開示する技術には、装置が誤動作することが多いという基本的な課題もある。すなわち、通常のキーボードを使う場合は基本位置のキーに指を置いて使うが、このバーチャルキーボードの場合は指を浮かしたままにしておかなくてはならない。このため誤って必要以上に指を操作面に近づけると、装置が打鍵と認識してしまう。

非特許文献２が開示するインターフェース装置にも認識精度に関わる課題がある。３次元的に指と面の位置を検出して打鍵を認識するという動作にはきわめて精度の高い認識技術が必要である。このため、非特許文献２が開示するインターフェース装置は、手の向きや環境光の影響などにより誤認識を防ぐことが難しいと思われる。

本発明は上述した課題を解決するために考え出された。すなわち、本発明の主な目的は、認識精度の高い入力機能を有するインターフェース装置を提供することにある。

上述した目的を達するために、本発明のインターフェース装置は、その一つの様相として、
第１の投射映像を投射する投射手段と、
前記第１の投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像に前記第１の投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記第１の投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する制御手段と、
を備える。

また、本発明のインターフェース装置は、その別の様相の一つとして、
投射映像を投射する投射手段と、
前記投射映像が投射されている領域を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている撮像位置の情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を備える。

本発明の可搬装置は、その一つの様相として、
本発明のインターフェース装置を備えている。

本発明の制御装置は、その一つの様相として、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、当該操作情報に応じて前記投射手段を制御する。

本発明のモジュールは、その一つの様相として、
上述した本発明における制御装置と、
当該制御装置により制御される投射手段と
を備える。

本発明の制御方法は、その一つの様相として、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、
当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、
前記操作情報に応じて前記投射手段を制御する。

本発明のプログラム記憶媒体は、その一つの様相として、
コンピュータに、
制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する処理と、
前記操作情報に応じて前記投射手段を制御する処理と、
を実行させるコンピュータプログラムを保持している。

なお、本発明の前記目的は、本発明のインターフェース装置に対応する本発明の制御方法によっても達成される。さらに、本発明の前記目的は、本発明のインターフェース装置および本発明の制御方法に対応するコンピュータプログラムおよび当該コンピュータプログラムを格納するプログラム記憶媒体によっても達成される。

本発明によれば、認識精度の高い入力機能を有するインターフェース装置を提供することができる。

本発明に係る第１実施形態のインターフェース装置の構成を表すブロック図である。 第１実施形態のインターフェース装置を構成する制御部の構成を表すブロック図である。 第１実施形態における制御部の動作を説明する図である。 キャリブレーション処理を説明する図である。 さらに、キャリブレーション処理を説明する図である。 さらに、キャリブレーション処理を説明する図である。 さらに、キャリブレーション処理を説明する図である。 さらに、キャリブレーション処理を説明する図である。 さらに、キャリブレーション処理を説明する図である。 さらに、キャリブレーション処理を説明する図である。 第１実施形態におけるインターフェース装置の動作の一例を説明するフローチャートである。 第１実施形態のインターフェース装置が提供するインターフェースの第１具体例を説明する図である。 さらに、第１具体例を説明する図である。 第１実施形態のインターフェース装置が提供するインターフェースの第２具体例を説明する図である。 さらに、第２具体例を説明する図である。 さらに、第２具体例を説明する図である。 さらに、第２具体例を説明する図である。 第１実施形態のインターフェース装置が提供するインターフェースの第３具体例を説明する図である。 さらに、第３具体例を説明する図である。 さらに、第３具体例を説明する図である。 さらに、第３具体例を説明する図である。 さらに、第３具体例を説明する図である。 さらに、第３具体例を説明する図である。 第１実施形態のインターフェース装置が提供するインターフェースの第４具体例を説明する図である。 第１実施形態のインターフェース装置が提供するインターフェースの第５具体例を説明する図である。 さらに、第５具体例を説明する図である。 第１実施形態のインターフェース装置が提供するインターフェースの第６具体例を説明する図である。 さらに、第６具体例を説明する図である。 さらに、第６具体例を説明する図である。 さらに、第６具体例を説明する図である。 第１実施形態のインターフェース装置が提供するインターフェースの第７具体例を説明する図である。 さらに、第７具体例を説明する図である。 さらに、第７具体例を説明する図である。 さらに、第７具体例を説明する図である。 第１実施形態のインターフェース装置を実現するハードウェア構成の一例を説明する図である。 第１実施形態のインターフェース装置を構成する投射部を実現するハードウェア構成の一例を説明する図である。 第１実施形態のインターフェース装置を構成する素子の一例を説明する図である。 第１実施形態のインターフェース装置をタブレットに応用した一例を説明する図である。 一般的なタブレットを説明する図である。 第１実施形態のインターフェース装置をスマートフォンに応用した一例を説明する図である。 第１実施形態のインターフェース装置を小型端末に応用した一例を説明する図である。 第１実施形態のインターフェース装置をリストバンドに応用した一例を説明する図である。 第１実施形態のインターフェース装置をアイウェア（eyewear）に応用した一例を説明する図である。 第１実施形態のインターフェース装置における第１応用例を説明する図である。 さらに、第１応用例を説明する図である。 さらに、第１応用例を説明する図である。 さらに、第１応用例を説明する図である。 第１実施形態のインターフェース装置における第２応用例を説明する図である。 さらに、第２応用例を説明する図である。 さらに、第２応用例を説明する図である。 第１実施形態のインターフェース装置における第３応用例を説明する図である。 さらに、第３応用例を説明する図である。 さらに、第３応用例を説明する図である。 第１実施形態のインターフェース装置における第４応用例を説明する図である。 さらに、第４応用例を説明する図である。 第１実施形態のインターフェース装置における第５応用例を説明する図である。 さらに、第５応用例を説明する図である。 本発明に係る第２実施形態のインターフェース装置の構成を表すブロック図である。 本発明に係る第３実施形態のモジュールの構成を表すブロック図である。 本発明に係る第４実施形態の制御装置の構成を表すブロック図である。 本発明に係る第５実施形態のインターフェース装置の構成を表すブロック図である。 本発明に係る第６実施形態のモジュールの構成を表すブロック図である。 本発明に係る第７実施形態のモジュールの構成を表すブロック図である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、各ブロック図に表される区分（区分け）は、説明の便宜上により表されている構成である。従って、各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に表される構成には限定されない。

＜＜ 第１実施形態 ＞＞
−− 概要の説明 −−
図１は、本発明に係る第１実施形態のインターフェース装置の構成を表すブロック図である。図１に表されるように、インターフェース装置１００は、撮像部（撮像手段）１１０と、制御部（制御手段）１２０と、投射部（投射手段）１３０とを備える。

投射部１３０は、制御部１２０が決定した投射映像３００を、制御部１２０が決定した位置または方向に投射する機能を持つ。以下、投射部１３０が投射する映像を“投射映像”と表現する。また、投射映像が投射される面を操作面２００と表現する。

図１においては、投射映像３００の一例として上下左右の向きを表す矢印の映像を表している。以下、投射部１３０が投射する映像全体を指して“投射映像”と表現する場合と、投射部１３０が投射する映像の一部（例えば図１に示す投射映像３００の例において左向きの矢印の部分など）を指して“投射映像”と表現する場合とがある。投射部１３０が投射する光は、可視光である。なお、投射部１３０が投射する光は、可視光に加えて紫外光や赤外光が含まれていてもよい。

操作物体４００は、投射部１３０による投射映像を指し示す物体であり、例えば、インターフェース装置１００を利用するユーザの手または指である。あるいは、操作物体４００は、ペンなどのような物体であってもよいし、レーザポインターから投射された光であってもよい。操作物体４００は、撮像部１１０によって撮像され得るものであれば、指や手などには限定されずに、適宜な物体を採用してもよい。なお、ここでは、投射部１３０による投射映像を指し示す手段として、上述したようなレーザポインター等による光を採用していても、便宜上、光も操作物体４００に含まれることとする。

撮像部１１０は、カメラにより構成される。撮像部１１０は、投射映像３００と操作物体４００との両方を含む映像を撮像可能である。以下、撮像部１１０が撮像した映像を“撮影映像”と表現する場合がある。撮像部１１０は、可視光を撮像する。なお、撮像部１１０は、可視光に加えて紫外光または赤外光までをも撮像できるカメラにより構成されていてもよい。また、インターフェース装置１００に対して要求される機能によっては、撮像部１１０は３Ｄ深度測定装置等の他機能装置を含んでもよい。

撮像部１１０は、操作面２００に投射された投射映像３００と、それを指し示す操作物体４００との両方を含む映像を撮像できるように、投射部１３０との位置関係が考慮されて配置される。

好ましくは、撮像部１１０と投射部１３０は互いに近接して設置されることが望ましい。それというのは、インターフェース装置１００の小型化という観点で有利であるからである。また、撮像部１１０の画角と投射部１３０の画角とは揃えることが好ましいことから、撮像部１１０と投射部１３０とが互いに近接して設置されることは、その観点からも有利となる。なお、図１においては、撮像部１１０の画角を点線で示し、投射部１３０の画角を一点鎖線で示している。

制御部１２０は、撮像部１１０による撮影画像を画像処理することによって、投射映像３００に含まれている例えば文字や図形等の映像が映っている位置（撮像位置）と操作物体４００が映っている位置（撮像位置）との位置関係を算出する。制御部１２０は、その算出した位置関係に基づいて操作物体４００が投射映像３００の何れの映像を指し示しているかを検知することによって、操作物体４００による操作情報を認識する。例えば、インターフェース装置１００には、操作に応じて順次投射していく投射映像の情報が操作情報に関連付けられた状態で与えられる。この場合には、制御部１２０は、認識した操作情報と、当該操作情報に関連付けられている投射映像の情報とに基づいて、投射部１３０によって次に投射する投射映像３００およびその投射位置を決定する。そして、制御部１２０は、決定した投射映像３００が、決定した投射位置に投射されるように投射部１３０を制御する。

インターフェース装置１００のユーザは、例えば、操作面２００に投射された投射映像３００に対する操作物体４００の相対的な位置を変化させることにより、操作情報をインターフェース装置１００に入力する。操作物体４００による操作の典型的な例は、投射映像３００が投射されている操作面２００の面上で、ユーザが操作物体４００を動かすことである。あるいは、操作物体４００が投射映像３００と共に撮像部１１０により撮像されることができれば、ユーザが操作物体４００を操作面２００と間隔を介した位置で動かしてもよい。

次に、制御部１２０の詳細を説明する。図２は、制御部１２０の詳細を説明するブロック図である。図２に表されるように、制御部１２０は、第１の検出部（検出手段）１２１と、第２の検出部（検出手段）１２２と、処理部（処理手段）１２３と、映像決定部（映像決定手段）１２４と、位置決定部（位置決定手段）１２５とを備える。

第１の検出部１２１は、撮像映像において操作物体４００が映っている位置（撮像位置）を画像処理により検出する機能を備えている。第１の検出部１２１は、操作物体４００の動き（例えば、速度または加速度など）を例えば物体追跡処理を利用して検出する機能を備えていてもよい。さらに、第１の検出部１２１は、操作物体４００の形状を例えば輪郭抽出処理により検出する機能を備えていてもよい。例えば、操作物体４００がインターフェース装置１００を利用するユーザの手である場合には、第１の検出部１２１は、手の形を検出する機能を有していてもよい。

第２の検出部１２２は、撮像映像において、投射映像３００に含まれている例えば文字や図形等の映像（つまり、操作情報に関連する映像）が映っている位置（撮像位置）を画像処理により検出する機能を備えている。

処理部１２３は、第１の検出部１２１による操作物体４００の撮像位置情報と、第２の検出部１２２による映像の撮像位置情報とに基づき、撮像映像における、投射映像３００に含まれている映像と操作物体４００との位置関係を検知する機能を備えている。そして、処理部１２３は、その検知した位置関係に基づいて、操作物体４００による操作情報を認識する（換言すれば、ユーザが操作物体４００を利用して、どのような指示を出したかを検知する）機能を備えている。さらに、処理部１２３は、例えば、物体の輪郭のデータ、および、撮像画像を画像処理することにより得られた輪郭の情報に基づいて、撮像映像に映った物体を認識する物体認識機能を備えていてもよい。さらにまた、処理部１２３は、例えば、操作物体４００の動きと当該動きに対応する操作情報とが関連付けられているデータ、および、第１の検出部１２１による操作物体４００の動きの情報に基づいて、操作物体４００による操作情報を認識してもよい。

映像決定部１２４は、操作情報に応じた投射映像３００の集合データ、および、処理部１２３による認識された操作情報に基づいて、投射部１３０が次に投射すべき投射映像３００を決定する機能を備えている。

位置決定部１２５は、操作情報に応じて投射される投射映像３００の投射位置（または投射方向）を表すデータ、および、処理部１２３により認識された操作情報に基づき、映像決定部１２４により決定された投射映像３００の投射位置（投射方向）を決定する機能を備えている。また、位置決定部１２５は、映像決定部１２４により決定された投射映像３００が、その決定した位置または方向に投射されるように、投射部１３０を制御する機能を備えている。

図２に表される構成を持つ制御部１２０は、上述したように構成されている。なお、インターフェース装置１００が他の装置に実装される（組み込まれる）場合には、制御部１２０は、その他の装置との間で情報のやり取りをする機能を有していてもよい。

また、制御部１２０は必ずしも撮像部１１０または投射部１３０と近接して設置される必要はない。例えば、撮像部１１０と投射部１３０は、電源と無線部を備えるモバイル装置に組み込まれ、制御部１２０は、そのモバイル装置とは別の装置に実装されてもよい。この場合には、制御部１２０は、無線通信技術を利用して撮像部１１０および投射部１３０と通信することによって、前述した機能を実現する。

次に、制御部１２０の動作の一例を、図３を用いて説明する。図３は、撮像部１１０が撮像した撮像映像の一例を表す図である。図３には、撮像映像として、投射映像３０３および操作物体４００が映っている。

図３における投射映像３０３は、複数のキー状の映像を含んでおり、文字を入力するインターフェースをユーザに提供する。

処理部１２３は、撮像映像において、操作物体４００の撮像位置と、投射映像３０３に含まれている映像の撮像位置との位置関係に基づいて、操作物体４００による操作情報を認識する。図３の例では、操作物体４００はキー“ＳＰＣ(space)”を選択している（指し示している）と、処理部１２３は認識する。

図３に表されている撮像映像では、キー“ＳＰＣ(space)”、キー“ＳＥＬ(select)”、および、キー“ＲＥＴ（return）”という、合計３つのキーが、操作物体４００と重なっている。この場合における処理部１２３の認識動作の一具体例を説明する。なお、次に述べる具体例は、理解を容易にすることを目的としており、この具体例は処理部１２３の動作を限定するものではない。

例えば、第１の検出部１２１が、撮像映像を画像処理することによって、操作物体（指）４００の先端（指先）の撮像位置を検出する。処理部１２３は、その操作物体４００の指先の撮像位置と、投射映像３０３に含まれている各キーの映像の撮像位置との位置関係に基づき、操作物体４００の指先が投射映像３０３における何れのキーと重なっているかを検出する。そして、処理部１２３は、指先と重なっているキーが、操作物体４００により選択されている（指し示されている）キーであると認識する。これにより、図３に表されるような撮像映像に基づいて、操作物体４００がキー“ＳＰＣ(space)”を選択していることを、処理部１２３は認識できる。

処理部１２３の動作のその他の具体例を説明する。処理部１２３は、撮像映像において操作物体４００とキーがオーバーラップしている部分の面積に基づき、操作物体４００がどのキーを選択しているのかを認識する。つまり、この場合には、制御部１２０には、各キーの面積あるいは各キーの輪郭を表すデータが与えられる。処理部１２３は、そのデータと、例えば第１の検出部１２１により検出された操作物体４００の輪郭の情報と、各キーの撮像位置と操作物体４００の撮像位置との位置関係とに基づいて、操作物体４００とキーとのオーバーラップ部分の面積を算出する。そして、処理部１２３は、その算出したオーバーラップ部分の面積、および、予め定めたルールに基づいて、操作物体４００が選択しているキーを検知（認識）する。具体的には、図３の例では、キー“ＳＰＣ(space)”は、その７割〜８割ほどの面積が操作物体４００と重なっているのに対して、キー“ＳＥＬ(select)”やキー“ＲＥＴ（return）”では、そのほぼ全ての面積が操作物体４００と重なっている。例えば、“キーの面積のうち６割以上かつ９割未満の面積が操作物体４００と重なっているキーは、操作物体４００により選択されているとみなす”といったルールが処理部１２３に与えられている。処理部１２３は、操作物体４００とキーとのオーバーラップ部分の面積と、そのルールとに基づいて、図３の例では、操作物体４００はキー“ＳＰＣ(space)”を選択していることを検知できる。

上述したように、制御部１２０は、撮像映像における、投射映像３００に含まれている映像の撮像位置と操作物体４００の撮像位置との位置関係に基づいて、操作物体４００による操作情報を認識する。

第１実施形態のインターフェース装置１００は、１つの撮像部１１０および１つの投射部１３０を実装していれば、操作物体４００による操作情報を認識することが可能である。すなわち、第１実施形態のインターフェース装置１００は、少ない部品点数でもって実現可能であるので、小型化、軽量化および省電力化を促進することができる。

また、ユーザはインターフェース装置１００を操作する際、必ずしも操作手段（指）４００を操作面２００に直接接触させる必要はない。つまり、操作物体４００が投射映像３００における操作内容に応じた部分を指示しているように見える映像を撮像部１１０により撮像できれば、操作物体４００が操作面２００に接触していなくとも、制御部１２０は操作物体４００による操作情報を認識できる。

例えばタッチパネルにおいては、その操作面にユーザの指が直接接触する。このために、タッチパネルが不特定多数のユーザに用いられる場合には、不特定多数のユーザの指がタッチパネルの操作面に触れることになる。この場合には、神経質なユーザは安心してタッチパネルを利用することができない。また、汚れたタッチパネルを介して感染症が蔓延するリスクなどが考えられる。

これに対し、インターフェース装置１００においては、ユーザが操作面２００に指を直接触れなくともよいので、当該インターフェース装置１００は、衛生面において優れている。これにより、神経質なユーザであっても安心してインターフェース装置１００を利用することができる。また、インターフェース装置１００は、タッチパネルのインターフェース装置とは異なり、手袋等を装着しているユーザも支障無く使用することができる。

− キャリブレーション処理の説明 −
以下、第１実施形態のインターフェース装置１００におけるキャリブレーション処理を図１と図４〜図１０を用いて説明する。

インターフェース装置１００において、仮に、撮像部１１０を実現する光学系の光軸と投射部１３０を実現する光学系の光軸とが同軸である場合には、投射部１３０による投射映像３００の中心位置と撮像部１１０による撮像映像の中心位置とは一致する。この場合には、インターフェース装置１００と操作面２００との間隔や操作面２００の傾きが変化しても、投射部１３０による投射映像３００の投射方向が変動しなければ、撮像部１１０による撮影映像において、投射映像３００に含まれている映像の撮像位置は変化しない。

しかしながら、実際には、撮像部１１０の光軸と投射部１３０の光軸とは同軸ではない。この場合には、投射部１３０による投射映像３００の投射方向が同じであっても、インターフェース装置１００と操作面２００との間隔や操作面２００の傾きの変化に応じて、撮像映像において、投射映像３００に含まれている映像の撮像位置が変化してしまう。このため、制御部１２０は、撮像部１１０による撮像映像に基づいて、投射映像３００における、操作物体４００により指し示されている部分を正確に把握するために、撮像部１１０と操作面２００との三次元空間における位置関係を把握している必要がある。

制御部１２０が、撮像部１１０と操作面２００との三次元空間における位置関係を把握する処理を、以下、“キャリブレーション処理”と呼ぶ。

ここで、一般に行われるキャリブレーション処理と、第１実施形態におけるキャリブレーション処理との違いを説明する。

まず、一般に行われるキャリブレーション処理をインターフェース装置１００に適用した場合について説明する。一般に行われるキャリブレーション処理では、操作面２００に描かれた模様などが利用される。ここでは、操作面２００をスクリーンと考えると分かり易い。すなわち、一般に行われるキャリブレーション処理では、スクリーンそのものに描かれた模様などに基づいて４点以上の点の位置が読み取られる。そして、その読み取られた点の位置と、撮像映像における点の位置とを整合することにより、キャリブレーション処理が行われる。このような方法では、撮像部１１０に対する操作面２００の位置や傾きが変わる度に、キャリブレーション処理を行う必要がある。

これに対し、第１実施形態におけるキャリブレーション処理は次のように行われる。第１実施形態におけるキャリブレーション処理は、操作面２００そのものに描かれた模様などを利用するのではなく、操作面２００に投射した投射映像３００を利用してキャリブレーション処理を行う。

この処理を、図４を用いて説明する。図４は、第１実施形態におけるキャリブレーション処理を説明する図である。図４においては、撮像部１１０の画角を点線で表し、投射部１３０の画角を一点鎖線で表している。図４に表されるように、撮像部１１０の光軸と投射部１３０の光軸とが同軸でない（同一直線上に配置されていない）ために、撮像部１１０による撮影範囲の中心位置と、投射部１３０による投射映像の中心位置とが異なる。このため、投射部１３０による投射映像３００の投射方向が変動しなくとも、操作面２００の位置が変化すると、撮像部１１０による撮像映像において、投射映像３００に含まれる映像の撮像位置は異なってしまう。

つまり、操作面２００が図４に表される位置２００Ａにある場合に、投射映像（点の映像）３０４が図４に表される位置３０４Ａに投射されるとする。この場合には、撮像部１１０による撮影映像において、投射映像３０４は、上下方向の中心部よりも上側に位置している。

これに対し、操作面２００が位置２００Ａよりも撮像部１１０に近い位置２００Ｂにある場合には、投射映像３０４は位置３０４Ｂに投射される。この場合には、撮像部１１０による撮影映像において、投射映像３０４は、上下方向のほぼ中央部に位置する。

このように、投射部１３０による投射映像３０４の投射方向が同じであっても、操作面２００の位置や傾きに応じて、撮像映像における、投射映像３００に含まれる映像の撮像位置は異なることになる。第１実施形態における制御部１２０は、この撮像位置の異なり（ズレ）を利用してキャリブレーション処理を行う。これにより、インターフェース装置１００は撮像部１１０と操作面２００との三次元空間における位置関係を把握する。

すなわち、制御部１２０は、撮像映像における映像の撮像位置に基づいて、撮像部１１０と操作面２００との三次元空間における位置関係を把握することができる。その具体的な方法の一例を説明する。例えば、インターフェース装置１００には、次のような計算式が予め与えられる。この計算式とは、撮像部１１０による撮像映像において投射映像３００に含まれている文字や図形等の映像の撮像位置に基づき、撮像部１１０と操作面２００との三次元空間における位置関係を算出する計算式である。なお、その計算式の代わりに、例えばルックアップテーブルがインターフェース装置１００に与えられていてもよい。このような計算式またはルックアップテーブルは、以下に表すような作業により得られる。

例えば、インターフェース装置１００と操作面２００との三次元空間における位置関係を複数の点において取得する。そして、それら点のうちのいくつかの点（以下、測定点と記載する）における位置関係を変更しながら、撮像部１１０による撮像映像における各測定点の撮像位置を例えばインターフェース装置１００が測定（検出）する。例えば、インターフェース装置１００には、位置関係を算出する計算式あるいはルックアップテーブルを生成するためにフォーマットが予め与えられている。インターフェース装置１００は、そのフォーマットと、測定（検出）により得られたデータとに基づいて、前述した計算式あるいはルックアップテーブルを生成する。

第１実施形態におけるインターフェース装置１００は、前述したように、操作面２００に投射した映像の撮像位置に基づいてキャリブレーション処理を行う。このため、操作面２００に、キャリブレーションを行う際に目印となるような模様などが描かれていなくても、インターフェース装置１００は、容易にキャリブレーション処理を実行できる。

また、インターフェース装置１００は、最初にキャリブレーション処理を行うことによって撮像部１１０と操作面２００との三次元空間における位置関係を得ておけば、投射映像の撮像位置を分析するだけで、操作面２００の実際の位置を特定可能である。このため、インターフェース装置１００は、その後のキャリブレーション処理を容易に実行できる。インターフェース装置１００は、操作面２００との位置関係が動的に変化する場合であっても、キャリブレーション処理を周期的に行うことにより、撮像部１１０と操作面２００との三次元空間における位置関係を把握し続けることができる。

図５は、制御部１２０がキャリブレーション処理に用いる、投射部１３０による投射映像の一例を表す図である。図５に表される投射映像３０５は、図３に表される投射映像３０３と同一の投射映像である。

投射映像３０５には線の交点が多数あるので、制御部１２０は、これらの交点をキャリブレーション処理に利用する。例えば、制御部１２０は、図５に表される点３０５１、点３０５２、点３０５３および点３０５４をキャリブレーション処理に利用する。このような点を利用する理由は、映像の中心部にある点よりも最外郭にある点を利用した方が、操作面２００の位置や傾きの変動に対する点の撮像位置の変化が大きいことにより、キャリブレーション処理の精度が良くなるからである。制御部１２０は、撮像映像における、点３０５１、点３０５２、点３０５３および点３０５４の撮像位置に基づいて、前述の如く、撮像部１１０と操作面２００との三次元空間における位置関係を検知する。

図６は、制御部１２０がキャリブレーション処理に用いる、投射部１３０による投射映像のその他の例を表す図である。図６に表される投射映像３０６は、操作物体４００が利用する領域３０６１（以下、“操作領域３０６１”と記載する）と、キャリブレーション処理に利用する部分３０６２（以下、“マーカー３０６２”と記載する）とを含む。操作領域３０６１は、操作物体４００によって指し示されることにより、インターフェース装置１００がその操作物体４００による操作情報を認識する映像部分である。図６の例では、操作領域３０６１の映像は、図５に表される投射映像３０５と同様の映像である。

図６に表されるように、投射映像３０６は、操作領域３０６１とは別に、マーカー３０６２を含んでいる。これにより、制御部１２０は、マーカー３０６２を利用してキャリブレーション処理を実行することにより、操作領域３０６１がどのような形状の映像であっても、精度良くキャリブレーション処理を実行できる。

マーカー３０６２は、投射映像３０６における周縁部分において互いに間隔を介して複数（図６の例では４個）映し出される映像であって、かつ、操作面２００における投射位置が特定できる部分に投射されることが好ましい。また、マーカー３０６２の形状は、例えば円や楕円の形状であることが好ましい。その理由は、制御部１２０がマーカーの中心点を算出することが容易であるためである。

ここで、図７、図８および図９を用いて、操作領域３０６１と、マーカー３０６２とを別々に分けることによる利点を説明する。

図７には、インターフェース装置１００の撮像部１１０や投射部１３０の光軸に対して傾いている姿勢の操作面２００が表されている。このように傾いている操作面２００に対して、例えば図６に表されている投射映像３０６を投射すると、本来、長方形である操作領域３０６１は、上底の長さが下底の長さよりも長い台形に変形する。また、４つのマーカー３０６２は、本来、仮想的な長方形状の角に位置している。しかしながら、４つのマーカー３０６２は仮想的な台形形状の角に位置している。つまり、上２つのマーカー３０６２間の間隔が、下２つのマーカー３０６２間の間隔よりも広くなっている。このように、４つのマーカー３０６２は、操作面２００の傾きにより、相対的な位置関係が変化する。このような変形の理由は、インターフェース装置１００から操作面２００までの距離が離れるほど投射映像３０６が拡大するためである。

制御部１２０は、複数のマーカー３０６２間における基準となる相対的な位置関係に基づき、撮像映像におけるマーカー３０６２間の相対的な位置関係がずれている（変化している）ことを検出することにより、操作面２００が傾いていることを認識できる。

また、投射部１３０の光軸に対する操作面２００が傾いていることに起因して、前記の如く、操作領域３０６１の形状が変形する（歪む）という問題が発生する。つまり、四角形状の操作領域３０６１を操作面２００に映し出したいのにも拘わらず、操作面２００の傾きに起因して当該操作面２００に映し出された操作領域３０６１が台形形状になってしまうという問題が発生する。この問題を防止するために、制御部１２０は、例えば図８に表されるような予め変形させた操作領域３０６１を含む投射映像３０８を投射面２００に投射するように投射部１３０を制御する。

図８に表されるような投射映像３０８が操作面２００に投射された場合、図７に表される操作面２００を見ているインターフェース装置１００のユーザは、図９に表されるような映像が見えるはずである。このように、操作面２００が投射部１３０の光軸に対して傾いていても、その操作面２００の傾きを考慮した形状の操作領域３０６１を投射することにより、操作領域３０６１は操作面２００に形状の歪み無く映し出される。

上述したように、この第１実施形態では、操作面２００の傾き等の変動による投射映像３００の変形（歪み）を利用して、キャリブレーション処理を行う。ここで、キャリブレーション処理に利用するマーカー３０６２を操作領域３０６１とは別に設けておくことで、次のような効果を得ることができる。すなわち、その効果とは、マーカー３０６２を用いてキャリブレーション処理を実行できると共に、傾いている操作面２００に、図９に表されるような歪みのない操作領域３０６１の映像を映し出すことができるという効果である。これに対し、投射映像３００の全体が操作領域３０６１である場合には、操作領域３０６１の一部に、キャリブレーション処理のために操作面２００の傾きに応じた変形が許容され、他の部分は、変形無く操作面２００に映し出される状態にすることは難しい。

このように、実際に使用する投射映像３００において、マーカー３０６２を利用してキャリブレーション処理を実行すること共に、歪みの無い操作領域３０６１を操作面２００に写すことができる。

上述したようなキャリブレーション処理を制御部１２０が実行し終えた場合、インターフェース装置１００は、キャリブレーション処理が実行済みであることをユーザが認識できる投射映像３００を投射してもよい。

図１０はその一例を表す図である。インターフェース装置１００は、例えば、制御部１２０がキャリブレーション処理を実行した後に、マーカー３０６２を図６に表される形態から図１０に表される形態に変更する。このマーカー３０６２の変更により、ユーザは、キャリブレーション処理が実行されたことを認識できる。

なお、マーカー３０６２は必ずしも可視光による映像でなくてもよい。例えば撮像部１１０が赤外線を撮像できるカメラにより構成されている場合には、マーカー３０６２は赤外線による映像であってもよい。例えば、操作領域３０６１は可視光による映像であり、マーカー３０６２は赤外線による映像である、としてもよい。

−− 第１実施形態におけるインターフェース装置１００の動作の一例 −−
次に、第１実施形態におけるインターフェース装置１００の動作の一例を、図１１を用いて説明する。図１１は、インターフェース装置１００の動作の一例を示すフローチャートである。

インターフェース装置１００は、撮像映像における操作物体４００の撮像位置を検出する（ステップＳ１０１）。これに基づき、インターフェース装置１００は、投射映像３００を、操作物体４００の周辺領域（操作物体４００を含む）に投射する（ステップＳ１０２）。然る後に、インターフェース装置１００は、キャリブレーション処理を行う（ステップＳ１０３）。これにより、インターフェース装置１００は、操作面２００と撮像部１１０との位置関係を把握する。そして、インターフェース装置１００は、投射映像３００の投射方向等を調整し、この調整後に、ステップＳ１０２において投射した投射映像３００と同じ又は異なる投射映像３００を投射する。ステップＳ１０２からその調整後の投射映像３００を投射するまでの動作は１フレームか２フレーム程度で完結するので、ユーザから見れば投射映像３００が瞬時に切り換わるように見える場合もある。

その後、インターフェース装置１００は、撮像映像における操作物体４００の撮像位置と投射映像３００の撮像位置との位置関係を検出する（ステップＳ１０４）。そして、インターフェース装置１００は、投射映像３００に含まれている文字や図形等の映像と当該映像に関連付けられている操作情報との関係データと、前記検出した位置関係とに基づいて、操作物体４００による操作情報を認識する（ステップＳ１０５）。

その後、インターフェース装置１００は、ステップＳ１０５において認識した操作情報に基づいて、次に投射する投射映像３００およびその投射方向等を決定する（ステップＳ１０６）。そして、インターフェース装置１００は、その決定した投射映像３００を、決定した方向に投射する（ステップＳ１０７）。

なお、インターフェース装置１００における上述した各動作の順番は、上述した順番に限定されず、支障のない範囲で変更することができる。例えば、上述したステップＳ１０１の動作およびステップＳ１０２の動作は、必ずしもこの順番で行われるとは限らない。例えば、インターフェース装置１００は、撮像映像において操作物体４００が映っている位置を検出する前に、投射映像３００を所定の方向に照射してもよい。

−− インターフェースの具体例の説明 −−
ここから、インターフェース装置１００が提供するインターフェースの具体例をいくつか説明する。説明を分かり易くするために、以下の説明では、制御部１２０が実行する動作の詳細を適宜省略する。例えば、制御部１２０が投射映像３００およびその投射方向を決定し、これに基づいた制御部１２０の制御動作によって投射部１３０が投射映像３００を、決定された投射方向に投射することを、単に、投射部１３０が投射映像３００を投射する、というように表現する。また、撮像部１１０が映像を撮像し、撮像映像における操作物体４００の撮像位置と投射映像３００の撮像位置との関係に基づいて制御部１２０が操作物体４００による操作情報を認識することを、単に、制御部１２０が操作情報を認識する、と表現する。

さらに、インターフェース装置１００のユーザが、操作面２００に投射された投射映像３００の上方に操作物体４００を近づけ、投射映像３００の上方で操作物体４００を動かすことを、操作物体４００が投射映像３００を操作する、と表現する場合がある。さらにまた、操作物体４００が投射映像３００を操作することによってインターフェース装置１００に情報が入力され、これにより制御部１２０等が実行する機能を、投射映像３００が提供する機能と、表現する場合がある。

さらに、以下の説明では、理解を容易にするために、インターフェース装置１００のユーザの視点からインターフェース装置１００の動作を説明する場合がある。また、以下の説明においては、キャリブレーション処理が行われる場合であっても当該キャリブレーション処理に関わる説明を割愛する場合がある。

− 第１具体例 −
図１２および図１３を参照して、第１具体例にかかるインターフェースを説明する。撮像部１１０による撮像映像に操作物体４００（この場合は指先）が撮像されると、インターフェース装置１００は、操作物体４００の周辺領域（操作物体４００も含まれる）に投射映像３１２を投射する。この様子が図１２に表されている。上述したように、インターフェース装置１００は、操作物体４００の周辺領域に投射映像３１２をまず投射する。そして、インターフェース装置１００は、撮像映像における投射映像３１２の撮像位置に基づき、操作面２００と撮像部１１０との位置関係（例えば、撮像部１１０と操作面２００との間の間隔や、撮像部１１０の光軸に対する操作面２００の傾き等）を把握（検出）する。そして、インターフェース装置１００は、その検出結果を利用して投射映像３１２の投射方向等を調整し、調整後に、投射映像３１２を操作物体４００（指先）の周辺に投射し直す。

その後、例えば、撮像映像において、操作物体４００が、投射映像３１２における文字“Ｂ“の映像に向かう方向に動いたことを制御部１２０が検出した場合には、制御部１２０は、文字“Ｂ”が選択されたと検知する。そして、制御部１２０は、操作物体４００の周辺に、選択された文字“Ｂ”に関連している図１３に表されているような別の投射映像３１３が投射されるように、投射部１３０を制御する。ユーザから見ると、文字“Ｂ”を選択するように操作物体４００を動かすと、投射映像３１２が消え、別の投射映像３１３が操作物体４００の周辺に表示される。投射映像３１３は、選択された文字“Ｂ”と共に、当該文字“Ｂ”に関連する選択肢、すなわち、文字“Ｂ１”、“Ｂ２”、“Ｂ３”および“Ｂ４”を表す映像である。換言すれば、投射映像３１３は、投射映像３１２において選択された選択肢に関連する選択肢を表示する映像である。このように、インターフェース装置１００には、例えば、選択肢の映像を含む複数の互いに異なる投射映像の情報と、それら投射映像の表示順を制御する情報とが与えられる。

投射映像３１３を含む撮像映像において、操作物体４００が投射映像３１３における文字“Ｂ３”の映像に向かう方向に動いたことを制御部１２０が検出した場合には、制御部１２０は、文字“Ｂ３”を入力結果（選択結果（情報））として受け付ける。そして、制御部１２０は、再度、図１２に表されるような投射映像３１２が操作物体４００の周辺領域に投射されるように投射部１３０を制御する。このようにして、制御部１２０は、入力結果（選択結果）である文字“Ｂ３”に関連付けられている操作情報を操作物体４００による操作情報として認識する。

一方、図１３に表されている投射映像３１３が投射されている状態において、例えば、操作物体４００が文字の映像から離れる方向に移動する場合がある。この場合には、制御部１２０は、投射映像３１３が表示している何れの選択肢も選択されなかったとし、何れの操作情報をも認識することなく、再度、投射映像３１２が操作物体４００の周辺に投射されるよう投射部１３０を制御する。

このように、インターフェース装置１００が提供するインターフェースの第１具体例においては、制御部１２０は、まず、第１の投射映像３００（投射映像３１２）に対する操作物体４００による選択情報を検知する。そして、制御部１２０は、その選択情報に応じて、次の選択情報を得るために第２の投射映像３００（投射映像３１３）を投射するように投射部１３０を制御する。その後、制御部１２０は、第２の投射映像３００（投射映像３１３）に対する操作物体４００の選択情報を検知することにより、操作物体４００による操作情報を認識する。

このように、インターフェース装置１００は、多段階の操作により操作情報を得る構成とすることにより、選択肢の数が多い場合でも、投射映像３００の大きさを抑えることができる。その理由は、第１の投射映像３００に全ての選択肢の映像を表示しなくて済むからである。投射映像３００の大きさが大きいと、撮像部１１０の画角に投射映像３００が入りきらなかったり、投射映像３００を小さい操作面２００に投射しきれなかったり、操作物体４００を大きく動かす必要が生じて操作しづらいというような不都合が生じる。これに対し、第１具体例におけるインターフェースは、選択肢を多段階で順に表示していく構成とすることにより、そのような不都合な事態が発生することを防止できる。

− 第２の具体例 −
図１４乃至図１６を参照して、第２具体例にかかるインターフェースを説明する。図１４に表される投射映像３１４は、図５に表される投射映像３０５と同様の、複数のキー状の映像が表されている映像であり、文字入力に関わるインターフェースをユーザに提供する映像である。第２具体例では、その投射映像３１４がメイン映像として投射部１３０により投射される。

制御部１２０は、撮像映像における、操作手段（指先）４００の撮像位置と投射映像３１４に含まれる各キーの撮像位置との位置関係を検出する。例えば、制御部１２０は、撮像映像における操作物体４００の先端位置を画像処理により検出する。そして、制御部１２０は、次のようなルール（基準）に基づいて、操作物体４００がどのような操作を行っているのかを認識する。そのルールとは、例えば、“あるキーと操作物体４００の先端とが重なっている状態が所定時間以上継続している場合には、操作物体４００はその先端と重なっているキーを選択しているとみなす”というようなルールである。以下、その内容のルールを第１ルールとも記載する。

図１４に表されているように、操作物体４００の先端が投射映像３１４におけるキー“ＪＫＬ”に重なっていることにより、制御部１２０が、操作物体４００によってキー“ＪＫＬ”が選択されていることを認識したとする。この認識に基づき、制御部１２０は、投射部１３０を制御し、これにより、インターフェース装置１００は、図１５に表されるような投射映像を投射する。

図１５に表されている投射映像においては、メイン映像である投射映像３１４に、選択されたキーに関連する映像３１５が重なって表示されている。図１５の例では、映像３１５は、操作物体４００により選択されたキー“ＪＫＬ”に関連する選択肢であるキー“Ｊ”、キー“Ｋ”およびキー“Ｌ”を、ユーザに対して展開して表す映像である。

そして、図１６に表されるように、操作物体４００がキー（選択肢）“Ｋ”に向かう方向に素早く移動したことを制御部１２０が検出した場合には、制御部１２０は、文字“Ｋ”が選択されたことを検知し、これにより、文字“Ｋ”の入力が指示されたことを認識する。

また、例えば、制御部１２０は、次のようなルールに基づいて、操作物体４００がどのような操作を行っているのかを認識してもよい。そのルールとは、例えば、“投射映像３１５が投射されている状態において、操作物体４００が閾値以上の速度（または加速度）でもって投射映像３１５として映し出されているキーの一つに向かって移動し、操作物体４００がそのキーと重なる位置で停止した場合に、操作物体４００はそのキーを選択しているとみなす”というようなルールである。なお、以下、その内容のルールを第２ルールとも記載する。また、上述したように、操作物体４００の速度（または加速度）を利用する場合には、制御部１２０は、例えば画像処理による追跡処理を利用して操作物体４００の速度（または加速度）を算出する機能を実行する。また、インターフェース装置１００には、操作物体４００による選択情報に基づいて順次表示していく多数の映像と、それら映像を表示していく表示順に関わる情報とが予め与えられる。

さらに、図１５に表されているような投射映像３１５が投射されている状態において、例えば操作物体４００がキー“Ｋ”の位置にゆっくりと移動してその場に所定時間以上留まったとする。この操作物体４００の動きを制御部１２０が検出した場合には、制御部１２０は、キー“Ｋ”ではなく、キー“Ｋ”に重畳されているキーであるキー“＠＃／＆”が操作物体４００により選択されたと判断してもよい。この場合は、制御部１２０は、文字“Ｋ”が選択されたとは認識しない。

制御部１２０は、キー“＠＃／＆”が選択されたことを検知した場合には、前記同様に、キー“＠＃／＆”に関連する選択肢をユーザに対して展開して表す映像がキー“＠＃／＆”の近傍（操作物体４００の周辺）に投射されるように、投射部１３０を制御する。

このように、第２具体例では、インターフェース装置１００は、操作物体４００の撮像位置と投射映像３００の撮像位置との位置関係に加えて、操作物体４００の動き（速度または加速度）も併せて検出することにより、操作物体４００による操作情報を認識する。

また、第２具体例においては、投射映像３１４（第１の投射映像）に対する操作物体４００の操作内容を判断するルール（第１ルール）と、投射映像３１５（第２の投射映像）に対する操作物体４００の操作内容を判断するルール（第２ルール）とが互いに異なる。

第２具体例におけるインターフェース装置１００は、前記の如く、撮像画像における位置関係だけでなく、操作物体４００の動きも考慮して操作物体４００による操作情報を認識する。このため、第２具体例におけるインターフェース装置１００は、第１具体例における効果に加えて、さらに、誤入力を減らすことができるという効果を奏する。その理由を以下に説明する。

例えば、図１４に表されているような投射映像３１４が投射されている状態において、操作物体４００が、投射映像３１４上で、しばらくの間、動き続ける場合があることが想定される。そのような場合に、操作物体４００が例えばキー“ＪＫＬ”の上に来たとする。この場合には、操作物体４００がキー“ＪＫＬ”を選択したのか、あるいは、キー“ＪＫＬ”の上を通過している最中にすぎないのか、制御部１２０は、撮像画像における位置関係を利用しただけでは、正確に判断することが難しい。

ここで、仮に、キー“ＪＫＬ”の上を通過している最中にすぎないのにも拘わらず、操作物体４００がキー“ＪＫＬ”を選択したとインターフェース装置１００（制御部１２０）が判断したとする。この場合には、インターフェース装置１００が文字を誤入力した状態となってしまい、ユーザは、その誤入力された文字を削除する等の操作が必要となる。つまり、インターフェース装置１００は、ユーザに操作の煩雑さによる不快感を与えてしまう虞がある。

これに対し、第２具体例では、インターフェース装置１００は、上述したように、操作物体４００がキー“ＪＫＬ”を選択したと誤判断したとしても、そのキーに関連する選択肢を、ユーザに提示する映像（投射映像３１５）が展開されるだけである。この場合には、ユーザは、操作物体４００をゆっくりと他のキーに向けて移動するだけで、投射映像３１４における別のキーを選択しなおすことができる。そして、ユーザは、要求通りにインターフェース装置１００により表示された投射映像３１５における所望のキーに向けて素早く操作物体４００を移動させれば、所望の文字を入力することができる。

図１５に表される例では、投射映像３１５に関連して表示される選択肢の数を投射映像３１４に含まれている選択肢（キー）の数よりも、その投射映像３１４に重ねて表示される投射映像３１５に含まれている選択肢（キー）の数は少なくなっている。これにより、制御部１２０は、“操作物体４００がキーまで素早く移動した”という動作を、ほとんど誤りなく検出できる。

なお、撮像映像において或るキーの撮像位置と操作物体４００の先端の撮像位置とが重なっている状態（キー選択状態）が所定時間以上継続していることを制御部１２０が検出する方法には様々な方法があり、適宜に選択された手法が採用される。

その具体例を述べると、例えば、制御部１２０は、撮像映像において操作物体４００の先端の撮像位置が変化しない状態が所定フレーム数（ここでは、Ｎ（ただし、Ｎは正の整数）とする）以上継続したことを検出する。そして、制御部１２０は、その検出をトリガーとして、その次のフレーム（操作物体４００の先端の撮像位置が変化しなくなってから（Ｎ＋１）番目のフレーム）の撮像映像（すなわち静止画としての撮像映像）を分析する。これにより、制御部１２０は、撮像映像におけるキーの撮像位置と操作物体４００の先端の撮像位置との位置関係を検出し、この検出した位置関係に基づいて、前述したキー選択状態を検出してする。あるいは、制御部１２０は、既知の動画像認識処理技術を利用することにより、動画像としての撮像映像を分析し、これにより、キーと操作物体４００の先端とが重なっている状態（キー選択状態）が所定時間以上継続していることを検出してもよい。なお、制御部１２０がキー選択状態を検出する手法（動作）はそのような具体例に限定されない。

また、制御部１２０が、撮像映像において操作物体４００が閾値以上の速度でキーに向かって移動したことを検出する手法には様々な手法があり、それら手法の中から適宜に選択された手法が採用される。

その具体例を述べると、例えば、制御部１２０は、フレームごとの撮像映像（すなわち静止画としての撮像映像）を分析し、各フレームの撮像映像における操作物体４００の撮像位置を追跡することによって、操作物体４００の移動速度を検出する。また、制御部１２０は、操作物体４００の移動方向と、投射映像３１５に含まれている各キーの撮像位置とを検出する。そして、制御部１２０は、その検出した移動速度と閾値との比較結果、操作物体４００の移動方向およびキーの撮像位置に基づいて、操作物体４００が閾値以上の速度で或るキーに向かって移動していることを検出する。あるいは、制御部１２０は、既知の動画像認識処理技術により動画像としての撮像映像を分析することによって操作物体４００の移動速度を検出する。そして、制御部１２０は、その検出した移動速度を利用して、上記同様に、操作物体４００が閾値以上の速度で或るキーに向かって移動していることを検出してもよい。なお、制御部１２０がそのような操作物体４００の移動を検知する手法（動作）はそのような具体例に限定されない。

− 第２具体例のバリエーション -
図１７は、操作物体４００が投射映像３１４におけるキー“；’（）”を選択した場合に投射される投射映像３１５の一例を表す図である。インターフェース装置１００は、ディスプレイ装置の画面に情報（映像）を表示するのではなく、情報（映像）を投射する構成であり、その投射映像のサイズの制約が緩い。このため、インターフェース装置１００は、図１７に表されるような投射映像３１４の欄外にはみ出すような投射映像３１５を容易に表示することができる。

− 第３具体例 −
図１８乃至図２２を参照して、第３具体例におけるインターフェースを説明する。第３具体例におけるインターフェースは、数字の入力を受け付けるインターフェースである。ユーザは、０から９までの数字のうち選択候補の数字を表示させる第１の操作と、第１の操作により表示された数字の一つを選択する第２の操作とを繰り返すことにより、インターフェース装置１００に数字を入力する。

図１８は、投射部１３０による投射映像３１８の一例を表す図である。投射映像３１８は、入力が確定した数字を表示する領域３１８Ａ（以下、確定領域３１８Ａと記載する）と、操作物体４００による操作を認識するために利用する領域３１８Ｂ（以下、操作領域３１８Ｂと記載する）とを含む。

操作領域３１８Ｂは、図１８の例では、線状あるいは棒状（帯状）の形状をした映像である。操作領域３１８Ｂは、操作物体４００が動くべき範囲を規定している。すなわち、ユーザは操作領域３１８Ｂに沿って操作物体４００を動かすことにより、インターフェース装置１００を操作する。なお、操作領域３１８Ｂは、図１８に表される形状には限定されない。例えば、図１９に表されるように、操作領域３１８Ｂは、操作物体４００が動くべき範囲を表す線あるいは棒と、その両端のそれぞれと間隔を介して配置される丸とを有する映像であってもよい。

投射映像３１８を利用した操作物体４００による第１の操作（０から９までの数字のうち選択候補の数字を表示させる操作）を、図１９および図２０を用いて説明する。ユーザは、操作領域３１８Ｂに沿って操作物体４００を動かす（スライド移動する）ことにより０から９までの数字のうちから所望の数字を選ぶ。例えば、操作領域３１８Ｂにおける線（棒）の左端が０に対応し、線（棒）の左側から右側にかけて対応する数が順に大きくなり、線（棒）の右端が９に対応する。

図１９および図２０は、操作物体４００が操作領域３１８Ｂの左側から右側へとスライド移動することに応じて、選択候補の数字が順に変化する様子を表している。例えば、図１９においては、操作物体４００は操作領域３１８Ｂの左側に位置している。制御部１２０は、撮像映像における操作領域３１８Ｂの撮像位置と操作物体４００の撮像位置との位置関係を把握し、把握した位置関係に基づいて、操作物体４００が数字“２”に対応する位置にあると判断する。そして、制御部１２０が投射部１３０を制御し、この制御に従って、投射部１３０が、数字“２”を表す映像３１８Ｃを操作物体４００の近傍に投射する。この時点では、数字“２”は、選択候補として表示されただけであり、まだ選択されてはいない。

そして、図２０に表されるように、操作物体４００が、さらに、操作領域３１８Ｂに沿って右側にスライド移動したとする。この場合においても、上記同様に、制御部１２０は、撮像映像における操作領域３１８Ｂの撮像位置と操作物体４００の撮像位置との位置関係を把握し、把握した位置関係に基づいて、操作物体４００が数字“８”に対応する位置にあると判断する。そして、制御部１２０が投射部１３０を制御し、この制御に従って、投射部１３０が、数字“８”を表す映像３１８Ｄを操作物体４００の近傍に投射する。この時点においては、数字“８”は、選択候補として表示されただけであり、まだ選択されてはいない。

次に、操作物体４００による第２の操作（第１の操作により表示された数字の一つを選択する操作）を図２１乃至図２３を用いて説明する。図２１は、操作物体４００によって、数字が選択される操作の一例を説明する図である。図２１に表されるように、数字“８”が投射されている状態において、ユーザが、操作物体４００を数字“８”に向かってスライド移動する。インターフェース装置１００（制御部１２０）は、撮像部１１０による撮像映像を画像処理した結果を利用して、その操作物体４００の操作（動き）を検出した場合には、数字“８”が選択されたと判断する。そして、インターフェース装置１００（制御部１２０）は、投射部１３０を制御し、投射部１３０によって数字“８”を確定領域３１８Ａに投射する。この時点でインターフェース装置１００への数字“８”の入力が確定されても良いし、別途、ユーザが所望の桁数の数字を決定した後にまとめてインターフェース装置１００への入力を確定するようなステップが準備されていてもよい。

図２２は、操作物体４００によって、数字が選択される操作のその他の例を説明する図である。図２２に表される例では、数字“８”が投射されている状態において、ユーザが、操作物体４００を、数字“８”から操作領域３１８Ｂに向う方向にスライド移動する。インターフェース装置１００（制御部１２０）は、上記同様に、その動きを検出した場合には、数字“８”が選択されたと判断する。そして、インターフェース装置１００（制御部１２０）は、投射部１３０を制御し、投射部１３０によって数字“８”を確定領域３１８Ａに投射する。

あるいは、操作物体４００によって、数字が選択される操作のさらにその他の具体例としては、例えば、ユーザが、操作物体４００を、選択した数字に対応する位置に所定時間（例えば１．５秒）以上留めておく。インターフェース装置１００（制御部１２０）は、上記同様に、その動きを検出した場合には、数字“８”が選択されたと判断する。そして、インターフェース装置１００（制御部１２０）は、投射部１３０を制御し、例えば、図２３に表されているように、数字“８”が拡大した後に爆発して消えるというようなアニメーションを投射し、その後に、数字“８”を確定領域３１８Ａに投射する。このような表示にすることにより、ユーザは数字“８”が選択されたことを明確に認識できるようになる。

図１８乃至図２３を用いて説明した第３具体例におけるインターフェースによれば、第１具体例のインターフェースが奏する効果に加えて、さらに、誤入力を減らすことができるという効果を奏することができる。その理由を以下に説明する。

第３具体例では、インターフェース装置１００は、撮像映像における操作物体４００の撮像位置と操作領域（第１の投射映像）３１８Ｂの撮像位置との位置関係に基づいて、複数の選択肢のうちから選択候補が選ばれたことを認識する。そして、インターフェース装置１００（制御部１２０）は、その選択候補の選択肢に対応する映像（第２の投射映像）３１８Ｃ，３１８Ｄを操作物体４００の近傍に投射するように投射部１３０を制御する。インターフェース装置１００は、選択候補の映像（第２の投射映像）３１８Ｃ，３１８Ｄが投射されている状態において、操作物体４００が、その選択候補を選択する予め定められた操作を検出した場合に、その選択候補が選択されたことを認識する。

つまり、第３具体例では、複数の選択肢の中から選択された選択候補の選択を確定する操作を操作物体４００が実行する際には、その選択候補以外の選択肢は、表示（投射）されていない。このため、第３具体例を適用したインターフェース装置１００は、選択する数字以外の数字が誤って選択されてしまうという誤入力を防ぐことができる。

− 第４具体例 −
図２４を参照して、第４具体例におけるインターフェースを説明する。

第４具体例におけるインターフェース装置１００の制御部１２０には、手（操作物体４００）の形を検出し、それぞれの指の形および動作を検出する映像処理エンジンが与えられている。

図２４は、操作手段（右手）４００の近傍に投射映像３２４が投射されている様子を表す図である。図２４に表されている投射映像３２４には、領域３２４Ａ、領域３２４Ｂおよび領域３２４Ｃが含まれる。領域３２４Ａは、図１５に表されている投射映像３１４と同様の機能を有する映像である。ただし、図２４に示した領域３２４Ａにおいては、投射映像３１４とは異なり、“ＳＰＣ（スペース）”、“×（削除）”および“ＲＥＴ（リターン）”などの操作に関係するキーが省略されている。領域３２４Ｂは、図１５に表されている投射映像３１５と同様の機能を有する映像である。領域３２４Ｃは、“ＳＰＣ（スペース）”、“×（削除）”または“ＲＥＴ（リターン）”などの操作に関連するキーを表す映像である。

制御部１２０は、前述した映像処理エンジンにより、撮像映像に含まれる操作物体４００の親指４０１と人指し指４０２とをそれぞれ区別して検出する。そして、制御部１２０は、図２４に表されるように、人差し指４０２の近傍に領域３２４Ａおよび領域３２４Ｂが投射され、かつ、親指４０１の近傍に領域３４２Ｃが投射されるように、投射部１３０を制御する。

制御部１２０は、撮像映像における投射映像３００の撮像位置と、親指４０１または人差し指４０２の撮像位置との位置関係に基づいて、操作物体４００による操作情報を認識する。

図２４を用いて説明した第４具体例を適用したインターフェース装置１００は、第１具体例のインターフェース装置１００が奏する効果に加えて、更に、高速な入力が可能になるという効果を奏する。その理由は、制御部１２０が親指４０１の位置および動き、並びに、人差し指４０２の位置および動きをそれぞれ検出し、それらの情報に基づいて操作物体４００による操作情報を認識するからである。

− 第５具体例 −
図２５および図２６を参照して、第５具体例におけるインターフェースを説明する。第５具体例におけるインターフェースは、単語の入力を受け付けるインターフェースである。図２５に表される投射映像３２５には、領域３２５Ａ、領域３２５Ｂおよび領域３２５Ｃが含まれる。領域３２５Ａは、第２具体例における投射映像３１４と同様の機能を有する領域である。領域３２５Ｂは、領域３２５Ａを利用して入力された文字を表示する領域である。図２５の例では、領域３２５Ｂには、“vege”という文字列が表示されている。

領域３２５Ｃは、いわゆる予測入力の機能を提供する映像が投射される領域である。つまり、図２５の例では、領域３２５Ｂに、“vege”という文字列が表示されている状態において、操作物体４００がキー“ＳＥＬ（select）”を選択すると、人差し指４０２の近傍に、入力が予測される単語候補（入力予測候補）の映像３２５Ｃが投射される。図２５の例では、“vege”で始まる単語の候補、“vegeburger”、“vegemite”および“vegetable”が表示されている（vegemiteは登録商標）。例えば、この状態で、人差し指４０２によって“vegetable”が指示されたことを制御部１２０が前述したように検出した場合には、インターフェース装置１００は“vegetable”という単語が入力されたことを認識する。なお、操作物体４００における親指４０１と人差し指４０２の位置および動きを区別して検出する場合には、制御部１２０には、第４具体例と同様な映像処理エンジンが与えられる。

ところで、図２５に表されている投射映像３２５Ｃには、“vegetarian”という単語が入力予測候補として表示されていない。このため、例えば、ユーザがその“vegetarian”という単語を入力したいと考えている場合には、図２５における投射映像３２５Ｃの状態のままでは、ユーザは、その単語を入力することができない。そこで、第５具体例のインターフェース装置１００は、ユーザがその親指４０１を動かすことにより、投射映像３２５Ｃにより表示（投射）される単語の候補を変更できる構成を備えている。

図２６を用いてこの詳細を説明する。制御部１２０は、撮像部１１０による撮像映像に基づいて親指４０１が動いたことを検出した場合には、投射部１３０によって、“vege”で始まる単語の他の候補を表す投射映像３２５Ｃを図２６のように投射させる。これによりユーザは、単語の候補が、図２５に表される候補から図２６に表される候補へと変化したように見える。ユーザは、人差し指４０２によって“vegetarian”を指示することにより、インターフェース装置１００に“vegetarian”という単語を入力する。

このように、制御部１２０は、撮像映像における投射映像３００に含まれる映像の撮像位置と操作物体４００の撮像位置との位置関係によって、操作物体４００による操作情報を認識するとは限らない。つまり、この第５具体例で説明したように、制御部１２０は、そのような位置関係に関係無く、親指４０１の動きを検出した場合に、操作物体４００による操作情報を認識し、これにより、投射映像３２５Ｃを切り替えている。

なお、上述した第５具体例における文字入力のインターフェースは、例えば日本語入力における漢字変換機能等にも応用することができる。

− 第６具体例 −
図２７乃至図３０を参照して、第６具体例におけるインターフェースを説明する。第６具体例におけるインターフェースは、フルキーボードの機能を提供するインターフェースである。第６具体例を実現するインターフェース装置１００の制御部１２０は、撮像映像における複数の手の指を検出し、かつ、それらの動きも検出する機能を有している。

第６具体例では、制御部１２０は、撮像映像における操作物体４００の右手４０３および左手４０４の位置を検出する。そして、制御部１２０は、右手４０３および左手４０４の近傍に投射映像３２７Ａが投射されるように、投射部１３０を制御する。投射映像３２７Ａは、キー“ＳＰ（スペース）”と、キー“Ｓ（シフト）”と、キー“Ｒ（改行）”と、キー“Ｂ（バックスペース）”と、を含む。投射映像３２７Ａには、フルキーボードを構成するアルファベットキーは含まれていない。

図２７に表される状態において、制御部１２０は、撮像映像に基づき、図２８に表されるように左手４０４の中指の先端側が手のひら側に動いたことを検出した場合には、左手４０４の中指の近傍に投射映像３２７Ｂが投射されるように投射部１３０を制御する。図２８に表される投射映像３２７Ｂには、キー“e”と、キー“d”と、キー“c”とが含まれる。これら３つのキーは、通常のフルキーボードにおいて、左手４０４の中指に割り当てられるキーである。

制御部１２０は、そのように投射映像３２７Ｂが投射されている状態において、撮像映像に基づいて、左手４０４の中指が何れかのキーに向かって動いたことを検知した場合には、その中指が向かったキーに対応する文字を入力対象の文字として認識する。また、制御部１２０は、撮像映像に基づいて、左手４０４の中指の先端側がさらに手のひら側に動いたり、別の指の先端側が手のひら側に動いたことを検出した場合には、投射映像３２７Ｂの表示を止める。

通常のフルキーボードにおいて、右手人差し指には、キー“y”と、キー“h”と、キー“n”と、キー“u”と、キー“j”と、キー“m”との計６つのキーが割り当てられている。制御部１２０は、撮像映像に基づいて、右手４０３の人差し指の先端側が手のひら側に動いたことを検出した場合には、右手４０３の人指し指の近傍に図２８に表されるような投射映像３２７Ｃが投射されるように、投射部１３０を制御する。投射映像３２７Ｃには、例えば“y”のキーと、“u”のキーとが含まれる。

例えば、制御部１２０は、撮像映像に基づいて、右手４０３の人差し指がキー“y”に向かって動いたことを検出した場合には、右手４０３の人指し指の近傍に、キー“y”に関連付けられているキーの映像が投射されるように、投射部１３０を制御する。なお、キー“y”に関連付けられているキーとは、例えば、キー“h”と、キー“n”とを含み、これらキーの映像が、上述のように、キー“y”の映像と共に投射される。

次に、第６具体例における、フルキーボードに含まれるその他のキーの操作に関わる機能を説明する。制御部１２０は、図２９に表されるように右手４０３と左手４０４の親指が同時にユーザの胴体に向う方向に動いたことを検出した場合には、両手の親指の近傍に、図３０に表されるような投射映像３２７Ｄが投射されるように、投射部１３０を制御する。投射映像３２７Ｄには、エスケープキー（Ｅ）と、タブキー（Ｔ）と、コントロールキー（Ｃｔｌ）と、オルトキー（Ａ）と、ファンクションキー（Ｆ）と、デリートキー（Ｄ）とが含まれる。

制御部１２０は、そのように投射されたキーが選択されたことを前述したように検出した場合には、その選択されたキーに基づいて、操作物体４００による操作情報を認識し、当該操作情報に基づいた動作（機能）を実行する。

なお、図２７乃至図３０を用いて説明した具体例は一例にすぎない。インターフェース装置１００は、複数の指のそれぞれの動きに応じて、前記同様に、色々な選択肢の表示が可能である。

− 第７具体例 −
図３１乃至図３４を参照して、インターフェース装置１００が提供する第７具体例のインターフェースを説明する。第７具体例におけるインターフェースは、マウス（コンピュータに情報を入力する入力装置の一種（補助入力デバイス））に相当する機能を提供するインターフェースである。

投射部１３０は、制御部１２０の制御によって、まず、操作面２００に図３１に表されるような投射映像３３１Ａを投射する。投射映像３３１Ａは、例えば、長方形の枠状の映像である。制御部１２０は、撮影映像に基づいて、投射映像３３１Ａの上に操作物体（手）４００が置かれたことを検出した場合には、撮像映像における操作物体４００全体の撮像位置、および人差し指４０２の撮像位置を検出する。制御部１２０は、人差し指４０２の近傍に、図３１に表されるような投射映像３３１Ｂが投射されるように、投射部１３０を制御する。

投射映像３３１Ｂには、“Ｌボタン”と“Ｒボタン”とが含まれる。投射映像３３１Ｂにおける“Ｌボタン”は、一般的なマウスのＬボタンに相当する機能を提供する。投射映像３３１Ｂにおける“Ｒボタン”は、一般的なマウスのＲボタンに相当する機能を提供する。

ここで、ユーザが操作物体４００の位置を、図３１に表される位置から図３２に表される位置まで移動したとする。制御部１２０は、撮像映像に基づいて、操作物体４００のそのような動きを検出した場合には、操作物体４００の位置情報の変化を操作情報として認識する。これにより、第７具体例にかかるインターフェースは、マウスなどが持つ位置情報入力機能と同様の機能を提供する。図３２に表されるように操作物体４００が動くと、制御部１２０は、撮像映像に基づいて、その操作物体４００の動きを検出し、これにより、投射映像３３１Ｂの投射位置を操作物体４００の動きに付随させるように投射部１３０を制御する。

制御部１２０は、例えば、撮像映像に基づいて、操作物体４００の人指し指が投射映像３３１Ｂにおける“Ｌボタン”の方向に動いたことを検出した場合には、マウスの左クリックの操作に応じた機能と同様の機能を実行する。制御部１２０は、同様に、例えば、撮像映像に基づいて、操作物体４００の人指し指が投射映像３３１Ｂにおける“Ｒボタン”の方向に動いたことを検出した場合には、マウスの右クリックの操作に応じた機能と同様の機能を実行する。制御部１２０は、上記同様に、指の動きを検出することで、例えばマウスのダブルクリックやドラッグの操作に応じた機能と同様の機能を実行してもよい。

なお、インターフェース装置１００のユーザが左利きである場合を考慮して、制御部１２０は、投射映像３３１Ｂにおける“Ｌボタン”と“Ｒボタン”とが図３１や図３２に表されている状態とは左右逆に投射されるように投射部１３０を制御する機能を備えていてもよい。また、制御部１２０は、ユーザの親指の近傍の領域およびユーザの中指の近傍の領域のうちの一方の領域に“Ｌボタン”が投射され、他方の領域に“Ｒボタン”が投射されるように投射部１３０を制御する機能を備えていてもよい。

− 第７具体例のバリエーションその１ −
図３３は、第７具体例の応用例１（バリエーションその１）を表す図である。この例では、制御部１２０は、親指４０１の撮像位置（あるいは動き）と、投射映像３３１Ｂの撮像位置との位置関係に基づいて、マウスにおける左クリックあるいは右クリックに対応する操作に応じた機能と同様の機能を実行する。また、制御部１２０は、人差し指４０２の動きを検出し、この人差し指４０２の動きに応じて、例えば、カーソル等の配置位置を指定する位置情報を認識する。この例では、制御部１２０は、人差し指４０２の動きによって位置情報を認識するが、選択肢の選択情報は認識しない。このため、仮に、操作物体（手）４００が高速に移動することにより、人差し指４０２が投射映像３３１Ｂにおける“Ｒボタン”や“Ｌボタン”の位置を単に通過した場合に、 “Ｒボタン”や“Ｌボタン”が選択されたと、制御部１２０が誤認識することを防止できる。

− 第７具体例のバリエーションその２ −
図３４は、第７具体例の応用例２（バリエーションその２）を表す図である。この例では、複数の指で作る形に意味を持たせる。つまり、制御部１２０は、撮像映像における操作物体４００の形を検出し、検出した操作物体４００の形に応じた操作情報を認識する。例えば、操作物体（手）４００の形が、親指４０１を人差し指４０２につけた形である場合、制御部１２０は、ドラッグ操作の開始を認識する。なお、ドラッグ操作とは、入力装置の一種であるマウスを利用する操作の一つであり、例えば、マウスのボタンを押したままマウスを移動することにより、範囲を指定する等の情報をコンピュータに入力する操作である。

図３４に表されるように、制御部１２０は、操作物体４００の形に基づいて、ドラッグ操作の開始を認識した場合には、親指４０１および人差し指４０２の近傍に投射映像３３４が投射されるように、投射部１３０を制御する。投射映像３３４は、ドラッグ操作の開始が認識されたことをユーザに対して表す映像である。

制御部１２０は、投射映像３３４が投射されている状態において、撮像映像に基づいて、操作物体４００が移動していることを検出した場合には、ドラッグ操作による情報（例えば指定範囲の情報）を認識する。図３４に表されている矢印はドラッグの軌跡である。このようなドラッグ操作に係る制御は、前述した色々な具体例における制御手法と組み合わせることが可能である。

−− ハードウェア構成の説明 −−
− 制御部１２０のハードウェア構成の一例 −
図３５は、制御部１２０を実現可能なハードウェア構成の一例を説明するブロック図である。

制御部１２０（コンピュータ）を構成するハードウェアは、ＣＰＵ（Central Processing Unit）１と、記憶部２を備える。制御部１２０は、入力装置（図示せず）や出力装置（図示せず）を備えていてもよい。制御部１２０の各種機能は、例えばＣＰＵ１が、記憶部２から読み出したコンピュータプログラム（ソフトウェアプログラム、以下単に“プログラム”と記載する）を実行することにより実現される。

制御部１２０は、図示しない通信インターフェース（Ｉ／Ｆ （ＩnterFace））を備えていてもよい。制御部１２０は、通信インターフェースを介して外部装置にアクセスし、当該外部装置から取得した情報に基づいて、投射する像を決定してもよい。

なお、第１実施形態および後述する各実施形態を例として説明される本発明は、かかるプログラムが格納されたコンパクトディスク等の不揮発性の記憶媒体によっても構成される。なお、制御部１２０は、インターフェース装置１００に専用の制御部であってもよいし、インターフェース装置１００を含む装置に備えられている制御部の一部が制御部１２０として機能してもよい。制御部１２０のハードウェア構成は、上述の構成に限定されない。

− 投射部１３０のハードウェア構成の一例 −
次に、投射部１３０のハードウェア構成の一例を説明する。投射部１３０は、制御部１２０からの制御により投射映像３００を投射する機能を有していればよい。

以下に、インターフェース装置１００の小型化および省電力化に寄与することができる投射部１３０を実現するハードウェア構成の一例を説明する。下記に説明する例は、あくまで投射部１３０の一つの具体例であり、投射部１３０のハードウェア構成を限定するものではない。

図３６は、投射部１３０を実現可能なハードウェア構成の一具体例を説明する図である。図３６の例では、投射部１３０は、レーザ光源１３１と、第１の光学系１３２と、素子１３３と、第２の光学系１３４とを有して構成される。

レーザ光源１３１から照射されたレーザ光は、第１の光学系１３２により、後の位相変調に適する態様に整形される。具体例を挙げると、第１の光学系１３２は、例えばコリメータを有し、当該コリメータにより、レーザ光を、素子１３３に適した態様（つまり、平行光）にする。また、第１の光学系１３２は、レーザ光の偏光を、後の位相変調に適するように調整する機能を備える場合もある。つまり、素子１３３が位相変調型である場合には、当該素子１３３には、製造段階で定まる設定の偏光方向を持つ光を照射する必要がある。レーザ光源１３１が半導体レーザである場合には、半導体レーザから出射される光は偏光していることから、素子１３３に入射する光の偏光方向が設定の偏光方向に合うようにレーザ光源１３１（半導体レーザ）を設置すればよい。これに対し、レーザ光源１３１から出射される光が偏光していない場合には、第１の光学系１３２は、例えば偏光板を備え、当該偏光板によって素子１３３に入射する光の偏光方向が設定の偏光方向となるように調整する必要がある。第１の光学系１３２が偏光板を備える場合には、例えば、その偏光板は、コリメータよりも素子１３３側に配置される。このような第１の光学系１３２から素子１３３に導かれたレーザ光は、素子１３３の受光面に入射する。素子１３３は、複数の受光領域を有している。制御部２００は、素子１３３の各受光領域の光学的特性（例えば屈折率）を、照射しようとする像の画素毎の情報に応じて、例えば各受光領域に印加する電圧を可変することによって、制御する。素子１３３により位相変調されたレーザ光は、フーリエ変換レンズ（図示せず）を透過し、また、第２の光学系１３４に向けて集光される。第２の光学系１３４は、例えば、投射レンズを有し、その集光された光は、第２の光学系１３４によって結像され、外部に照射される。

なお、図３６の例では、投射部１３０を実現する素子１３３は、光を反射するタイプであるが、投射部１３０は、透過型の素子１３３を用いて実現されてもよい。

ここで、素子１３３について説明する。上述したように、素子１３３には、レーザ光源１３１が出射するレーザ光が第１の光学系１３２を介して入射する。素子１３３は、入射したレーザ光の位相を変調し当該変調後のレーザ光を出射する。素子１３３は、空間光位相変調器（Spatial Light Phase Modulator）または位相変調型空間変調素子とも呼ばれる。以下、詳細に説明する。

素子１３３は、複数の受光領域を備える（詳細は後述する）。受光領域は、素子１３３を構成するセルである。受光領域は、例えば、１次元または２次元のアレイ状に配列される。制御部１２０は、制御情報に基づいて、素子１３３を構成する複数の受光領域のそれぞれについて、当該受光領域に入射された光の位相と当該受光領域から出射する光の位相との差分を決定付けるパラメータが変化するように制御する。

具体的には、制御部１２０は、複数の受光領域のそれぞれについて、例えば屈折率または光路長などの光学的特性が変化するように制御する。素子１３３に入射した入射光の位相の分布は、各受光領域の光学的特性の変化に応じて変化する。これにより、素子１３３は、制御部１２０による制御情報を反映した光を出射する。

素子１３３は、例えば、強誘電性液晶、ホモジーニアス液晶、または、垂直配向液晶などを有し、例えばＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）を用いて実現される。この場合には、制御部１２０は、素子１３３を構成する複数の受光領域のそれぞれについて、受光領域に印加する電圧を制御する。受光領域の屈折率は、印加された電圧に応じて変化する。このため、制御部１２０は、素子１３３を構成する各受光領域の屈折率を制御することにより、受光領域間に屈折率の差を発生させることができる。素子１３３では、制御部１２０の制御による受光領域間の屈折率の差に基づいて、入射されたレーザ光が各受光領域において適宜に回折する。

素子１３３は、例えば、ＭＥＭＳ（Micro Electro Mechanical System）の技術によって実現することもできる。図３７は、ＭＥＭＳにより実現される素子１３３の構造を説明する図である。素子１３３は、基板１３３Ａと、当該基板上の各受光領域に割り当てられた複数のミラー１３３Ｂとを備える。素子１３３が有する複数の受光領域のそれぞれは、ミラー１３３Ｂによって構成される。基板１３３Ａは、例えば、素子１３３の受光面に平行、あるいは、レーザ光の入射方向に略垂直である。

制御部１２０は、素子１３３が備える複数のミラー１３３Ｂのそれぞれについて、基板１３３Ａとミラー１３３Ｂとの距離を制御する。これにより、制御部１２０は、受光領域毎に、入射した光が反射する際の光路長を変更する。素子１３３は、回折格子と同様の原理により入射した光を回折する。

素子１３３は、入射したレーザ光を回折することにより、理論上、どのような像も形成できる。このような回折光学素子については、例えば、非特許文献３に詳しく説明されている。また、制御部１２０が素子１３３を制御して、任意の像を形成する方法については、例えば非特許文献４に説明されている。そのため、ここでは説明を省略する。

投射部１３０を実現するハードウェア構成は、上述した例に限られるものではないが、投射部１３０を上述したハードウェア構成により実現すると、下記に示す効果が得られる。

上述したハードウェア構成を持つ投射部１３０は、ＭＥＭＳの技術を利用して製造される素子１３３を備えることにより、小型化かつ軽量化を図ることができる。また、上述したハードウェア構成を持つ投射部１３０が投射する像は、光の回折によりレーザ光の強度が強くなっている領域により形成されるため、この投射部１３０は遠くにある投射面２００に対しても、明るい像を投射することができる。

−インターフェース装置１００の適用例−
以下、インターフェース装置１００が適用された装置の具体例を説明する。上述した通り、インターフェース装置１００は、サイズ、重量および消費電力の観点から、従来型のインターフェース装置よりも優れている。本発明者は、これらの利点を活かして、インターフェース装置１００を携帯端末に適用することを考えた。また、本発明者は、ウェアラブル端末として利用することも考えた。

図３８は、インターフェース装置１００をタブレット（可搬装置）に適用した具体例を示している。図３８に表されるように、タブレット１００Ａは、撮像部１１０Ａと投射部１３０Ａを有する。投射部１３０Ａは、投射映像３３８を操作面２００（例えば机の天板）に投射する。投射映像３３８は、例えばキーボードの機能を提供する投射映像３００である。タブレット１００Ａのユーザは、操作面２００に投射された投射映像３３８を利用して、タブレット１００Ａを操作する。このタブレット１００Ａにおいては、ディスプレイの一部にキーボードを表示することなく、ディスプレイの全面に例えばインターネットのサイトの映像を表示しながら、ユーザがキーボード（投射映像３３８）を利用して文字等を入力することができる。

すなわち、図３９に表されるように、通常のタブレット１００Ａ-１にあっては、キーボード１００Ｋｅｙは、ディスプレイ１００Ｄisの一部に表示される。このため、キーボード１００Keyが表示されている状態では、ディスプレイ１００Ｄisにおいて、映像や文字等の情報が表示される領域が狭くなる。これにより、ユーザは、ディスプレイ１００Ｄisに表示させた映像等を参照しながら、キーボード１００Keyを用いて文字を入力するという作業を行い難く、不便を感じることがある。これに対し、インターフェース装置１００を搭載したタブレット１００Ａにあっては、上述したように、ユーザは、ディスプレイの全面に表示された映像を参照しながら、キーボード（投射映像３３８）を利用して文字等を入力することができる。つまり、このタブレット１００Ａは、ユーザの使い勝手をより良くすることができる。

図４０はインターフェース装置１００をスマートフォン（可搬装置）に適用した具体例を表している。

図４０に表すスマートフォン１００Ｂは、撮像部１１０Ｂと投射部１３０Ｂを備えている。投射部１３０Ｂは、投射映像３４０を操作面２００に投射する。投射映像３４０は、例えば入力キーの機能を提供する投射映像３００である。スマートフォン１００Ｂのユーザは、操作面２００に投射された投射映像３４０を利用してスマートフォン１００Ｂを操作する。なお、操作面２００は、例えば、机の天板面であってもよいし、図４０に表されているような、スマートフォン１００Ｂに取り付けられているスクリーン１０１Ｂであってもよい。

スマートフォン１００Ｂにおいても、タブレット１００Ａと同様に、使い勝手を向上することができる。つまり、ユーザは、スマートフォン１００Ｂのディスプレイ全面に表示される情報を参照しながら（あるいは、カーソル１０２Ｂを目視しながら）、投射映像３４０を操作することが可能になり、これにより、スマートフォン１００Ｂの使い勝手が向上する。

図４１は、インターフェース装置１００を種々の小型端末（可搬装置）に適用した例を表す図である。小型端末１００Ｃは、インターフェース装置１００を実装したネームプレート状の端末である。小型端末１００Ｄは、インターフェース装置１００を実装したペン状の端末である。小型端末１００Ｅは、インターフェース装置１００を実装した携帯音楽端末である。小型端末１００Ｆは、インターフェース装置１００を実装したペンダント状端末である。インターフェース装置１００は、実装対象の装置が小型端末であることに限定されないが、構造が簡単で小型化が容易なために、このような小型端末への適用が有効である。

図４２は、インターフェース装置１００をリストバンド型の装置（可搬装置（装身具））１００Ｇに実装した具体例を表す図である。図４３は、インターフェース装置１００を眼鏡、サングラス等のアイウェア(eyewear)に実装した装置（可搬装置（装身具））１００Ｈを表す図である。また、インターフェース装置１００は、靴、ベルト、ネクタイまたは帽子などに実装されてウェアラブル端末（可搬装置（装身具））を構成してもよい。

図３８乃至図４３に表されるインターフェース装置１００においては、撮像部１１０と投射部１３０とが互いに別々の位置に設けられている。しかし、撮像部１１０と投射部１３０とは、互いに同軸となるように設計されていてもよい。

また、インターフェース装置１００は、そのサイズの小ささ、または、軽さの利点を活かして、天井からぶら下げて用いたり、壁に掛けて用いたりすることも考えられる。

− 応用例その１ −
以下に、物品を選別する作業にインターフェース装置１００を利用する具体例を図４４乃至図４７を参照しながら説明する。

図４４に表されるように、例えば、作業者は、サンドイッチ４０５を手に持ち、インターフェース装置１００をサンドイッチ４０５に向けて、撮像部１１０によってサンドイッチ４０５を撮像する。制御部１２０は、その撮像部１１０による撮像映像を画像処理し、この画像処理結果と、予め与えられているサンドイッチに関する情報（例えば輪郭情報）とに基づいて、撮像映像にサンドイッチ４０５が映っていることを認識する。制御部１２０は、更に、サンドイッチ４０５に貼られたラベル４０６を認識し、当該ラベル４０６の情報に基づいて、サンドイッチ４０５の賞味期限が切れているか否かを判定する。

制御部１２０は、サンドイッチ４０５の賞味期限が切れていると判定した場合には、サンドイッチ４０５に図４５に表されるような投射映像３４５が投射されるように、投射部１３０を制御する。投射映像３４５は、期限切れである旨を作業者に示す映像である。

例えば、作業者は、次のようにして、サンドイッチ４０５を廃棄するための伝票処理を行うことができる。すなわち、制御部１２０は、サンドイッチ４０５に図４６に表されるような投射映像３４６が投射されるように、投射部１３０を制御する。投射映像３４６は、作業者からサンドイッチ４０５を廃棄するか否かの選択を受け付ける映像である。

作業者は、投射映像３４６に対して操作物体（指）４００により操作する。制御部１２０は、撮像映像において、操作物体４００が“Ｙ（Ｙｅｓ）”を表す領域に向かって動いたことを検出した場合には、サンドイッチ４０５を廃棄することが作業者により選択されたことを認識する。

また、制御部１２０は、撮像映像において、操作物体４００が“Ｎ（Ｎｏ）”を表す領域に向かって動いたことを検出した場合には、何もせずに処理を終了する。

一方、前記の如く、サンドイッチ４０５を廃棄することが作業者により選択されたことを認識した場合には、例えば、制御部１２０は、予め指定されている店舗のサーバと通信し、当該店舗のサーバに向けてサンドイッチ４０５が廃棄される旨の情報を送信する。これにより、作業者が行う伝票処理が終了する。すなわち、作業者は、投射映像３４６における“Ｙ（Ｙｅｓ）”を選択しただけで伝票処理を終了することができる。なお、ここで述べられているインターフェース装置１００は、上述したようにサーバと無線通信あるいは有線通信するために、通信機能を備えている。

なお、サンドイッチ４０５が廃棄される旨の情報を受信した店舗のサーバは、例えば、インターフェース装置１００に向けてサンドイッチ４０５の廃棄に係る伝票処理を終了した旨の情報を送信（返信）する。インターフェース装置１００は、当該情報を受信すると、サンドイッチ４０５に図４７に表されるような投射映像３４７が投射されるように、投射部１３０を制御する。投射映像３４７は、伝票処理が完了することを作業者に通知する映像である。

作業者は、投射映像３４７を確認すると、サンドイッチ４０５を廃棄用のカゴなどに入れることにより、サンドイッチ４０５の廃棄処理を実行する。

例えば、作業者がチェックシートを用いて廃棄処理を行った場合、廃棄しなければならない食品を残してしまった等の間違いを作業者は起こしやすい。これに対し、インターフェース装置１００を用いて、１つ１つサンドイッチ４０５の廃棄に関しチェックしていくことで、作業者は、上述したような間違いを防ぐことができる。

− 応用例その２ −
以下に、部品管理に係る作業にインターフェース装置１００を利用する具体例を図４８乃至図５０を参照しながら説明する。

インターフェース装置１００を身につけた作業者が、図４８に表されるような部品棚４０７の前に立つと、撮像部１１０によって部品棚４０７を撮像する。制御部１２０は、その撮像映像を画像処理することにより、撮像映像における備品棚４０７を認識する。インターフェース装置１００は、通信機能を備え、当該通信機能を利用してサーバと通信可能となっている。インターフェース装置１００は、サーバに対して部品棚４０７に収納されている部品の種類とその数を問い合わせる。これにより、サーバは、インターフェース装置１００に向けて、例えば部品Ａが８個、部品棚４０７に収納されている旨の情報を送信（返信）する。

インターフェース装置１００がその情報を受信すると、制御部１２０は、部品棚４０７の例えば扉に図４８に表されるような投射映像３４８が投射されるように、投射部１３０を制御する。投射映像３４８は、作業者に対して、部品棚４０７に部品Ａが８個収納されている旨を示す映像である。

例えば、作業者は、部品棚４０７から部品Ａを３個ピックアップしたいと考えているとする。あるいは、インターフェース装置１００に、部品Ａを３個ピックアップすべきである旨の指示がサーバから通知されてもよい。作業者は、部品棚４０７から部品Ａを３個ピックアップした後、投射映像３４８を、ピックアップした部品の個数に応じて３回タップする。この場合、作業者から見ると、作業者が１回投射映像３４８をタップする毎に、図４９に表されているように投射映像３４９に表示される数字がカウントアップされていくように見える。図４９の例では、作業者が投射映像３４９を３回タップしたので、“３”という表示が投射されている。

または、インターフェース装置１００が、例えば第３具体例で表した数字入力に関する機能を備えている場合には、その機能を利用して、作業者は、部品棚４０７からピックアップされた部品Ａの個数をインターフェース装置１００に入力する。

作業者は、その後、予め定められている確定操作を行って、数字“３”をインターフェース装置１００に入力する（認識させる）数字として確定させる。その結果、インターフェース装置１００（制御部１２０）は、“３”という数字の入力を認識し、部品棚４０７に収納されていた部品Ａの個数“８”から、作業者によりピックアップされた個数“３”を差し引いて“５”を算出する。制御部１２０は、その算出結果が反映された図５０に表されるような投射映像３５０が作業棚４０７の例えば扉に投射されるように、投射部１３０を制御する。

作業者がその投射映像３５０を見て、投射映像３５０に映し出されている部品Ａの個数と作業棚４０７に収納されている部品Ａの個数とが合致していることを確認することにより、部品管理に関する作業は完了する。また、インターフェース装置１００は、部品棚４０７から部品Ａが３個ピックアップされた旨の情報をサーバに向けて送信する。これにより、サーバで保持している部品管理データが更新される。

このように、インターフェース装置１００を用いれば、作業者に分かりやすい作業が可能であるばかりでなく、その場で電子的な部品管理に関する作業が完了する。

− 応用例その３ −
以下に、携帯音楽端末の操作にインターフェース装置１００を利用する具体例を図５１乃至図５３を参照しながら説明する。携帯音楽端末は広く普及しており、どこでも音楽を聴くことのできる便利な装置であるが、操作のためにいちいち鞄などから出す必要があるなどの不便さがある。イヤホンなどに付属した小さな装置で一部の操作を行うことも可能であるが、情報量や操作の内容は限られるし、そもそも小さすぎて操作しづらいという問題もある。インターフェース装置１００を用いることによりそれらの不都合を解消することができる。

インターフェース装置１００は、携帯音楽端末と一体として実装されていてもよいし、あるいは、携帯音楽端末と別体に設けられ、当該携帯音楽端末と通信可能に構成されていてもよい。または、インターフェース装置１００は、制御部１２０および投射部１３０を備えるモジュールと、当該モジュールと通信可能な携帯電話のカメラ（つまり、撮像部１１０として機能するカメラ）とによって構成されていてもよい。この場合には、例えば、制御部１２０は携帯音楽端末と通信可能になっている。あるいは、インターフェース装置１００は、外部のカメラ（撮像部１１０）および外部のプロジェクタ（投射部１３０）と、それらと通信可能な制御部１２０として機能する制御装置とによって構成されていてもよい。この場合には、制御部１２０は携帯音楽端末と、外部のカメラと、外部のプロジェクタとそれぞれ通信可能になっている。

例えば、制御部１２０は、撮影部１１０による撮影映像に手が映し出されていることを認識すると、手のひらに図５１に表されるような投射映像３５１が投射されるように、投射部１３０を制御する。投射映像３５１には、選択中の楽曲の情報３５１Ａおよび状態選択バー３５１Ｂが含まれる。状態選択バー３５１Ｂには、各種の選択肢が表示されている。

前述した第３具体例と同様に、図５２に表されるように、操作物体４００が状態選択バー３５１Ｂに沿ってスライド移動することにより、制御部１２０の制御に基づいた投射部１３０によって、操作物体４００の位置に応じた選択肢が投影される。図５２の例では、操作物体４００（ユーザ）は再生（三角マーク）を選択している。制御部１２０がその選択情報を認識し、当該情報を例えば携帯音楽端末の制御部に送信することによって、携帯音楽端末により音楽が再生される。

また、例えば、制御部１２０は、図５３に表されるように、左側の丸印の位置に操作物体４００が位置していることを認識した場合には、投射映像が、曲目リストの映像（選曲画面）に切り替わるように、投射部１３０を制御する。さらに、制御部１２０は、操作物体４００が左側の選択用バーに沿ってスライド移動していることを認識している場合には、その操作物体４００のスライド位置に応じて、選択対象の曲目が次々と強調表示されるように、投射部１３０を制御する。さらに、制御部１２０は、その強調表示された曲目の位置に操作物体４００が位置していることを認識した場合には、その曲目が選択されたことを認識する。さらにまた、制御部１２０は、その選択された曲目の情報を例えば携帯音楽端末の制御部に送信する。

上述したような情報表示等に関わる機能は、例えば、楽曲に関する情報の表示にも応用することができる。さらに、当該機能は、例えば電話に登録されている電話帳の電話番号表示およびその選択機能にも応用することができる。このように、当該機能は様々な機能に応用することができる。

− 応用例その４ −
以下に、テレビなどのリモコンにインターフェース装置１００を利用する具体例を図５４および図５５を参照しながら説明する。ここでは、インターフェース装置１００は、リモコンと一体として実装されていてもよいし、リモコンとは別体に設けられ、リモコンと通信可能に構成されていてもよい。あるいは、インターフェース装置１００は、外部のカメラ（撮像部１１０）と、外部のプロジェクタ（投射部１３０）と、制御部１２０として機能する制御装置とを有して構成されていてもよい。この場合には、制御装置（制御部１２０）は、外部のカメラおよび外部のプロジェクタと通信可能になっている。

図５４に表すように、インターフェース装置１００は、操作面２００に対して投射映像３５４を投射する。投射映像３５４には、音量制御バー３５４Ａが含まれる。第３具体例と同様に、音量制御バー３５４Ａに沿って操作物体４００がスライド移動すると、制御部１２０は、音量制御バー３５４Ａにおける操作物体４００の位置に応じた選択肢を表す投射映像３５４Ｂが投射されるように、投射部１３０を制御する。図５４の例では、選択肢（投射映像３５４Ｂ）の映像として、“ＭＵＴＥ（消音）”や、音量レベルを表す“８”が表示されている。

また、投射映像３５４には、さらに、選局バー３５５Ａが含まれる。上記同様に、図５５に表されるように選局バー３５５Ａに沿って操作物体４００がスライド移動すると、制御部１２０は、選局バー３５５Ａにおける操作物体４００の位置に応じた選択肢を表す投射映像３５５Ｂが投射されるように、投射部１３０を制御する。図５５の例では、選択肢（投射映像３５５Ｂ）の映像として、テレビ放送のチャンネル名を表す“ＡＢＣ”が表示されている。

なお、インターフェース装置１００は、上述したようなテレビのリモコンと同様に、空調機や照明器具等の装置（機器）のリモコンとしての機能を実現することができる。また、リモコンは、通常、赤外線を利用して、テレビ等の本体と通信するのに対し、インターフェース装置１００からそのような赤外線を投射してもよい。

− 応用例その５ −
以下に、日本語入力機能を備えた装置にインターフェース装置１００を適用する具体例を図５６および図５７を参照しながら説明する。

この具体例では、制御部１２０の制御に基づいて、投射部１３０は、図５６に表されるような投射映像３５６を操作面２００に投射している。投射映像３５６は、日本語を入力するために表示される映像であり、投射映像３５６Ａと投射映像３５６Ｂとを含んでいる。投射映像３５６Ａは、複数のキー状の映像が表されている映像である。この例では、投射映像３５６Ａは、日本語の平仮名である“あ”、“か”、“さ”、“た”、“な”、“は”、“ま”、“や”、“ら”、“わ”がそれぞれ表示される複数の仮名キーの映像を含んでいる。また、投射映像３５６Ａは、さらに、空白という意味を持つ日本語（片仮名）“スペース”が表されているキーと、改行することを意味する日本語（漢字）“改行”が表されているキーとが含まれている。なお、投射映像３５６Ａにて表される平仮名“あ”、“か”、“さ”、“た”、“な”、“は”、“ま”、“や”、“ら”、“わ”は、何れも、発音する際に母音“あ”が含まれる文字である。

投射映像３５６Ｂは、投射映像３５６Ａにおける複数の仮名キーのうち、操作物体４００により指示された仮名キーに関連付けられている複数の選択肢を展開して表す映像である。図５６の例では、操作物体４００は、投射映像３５６Ａにおける仮名キー“な”を指示している。これにより、投射映像３５６Ｂとして、仮名キー“な”に関連する複数の選択肢である日本語の平仮名“な”、“に”、“ぬ”、“ね”、“の”がそれぞれ表されているキーの映像が投射されている。

制御部１２０は、撮像部１１０による撮像映像に基づいて、投射映像３５６Ｂにおける複数の選択肢のキーのうちの一つが操作物体４００により指示されたことを検知した場合に、その選択されたキーに対応する文字を入力文字として認識する。

ここで、スマートフォン等におけるいわゆるフリック入力と、この例で述べた日本語入力との差異を説明する。フリック入力では、例えば、操作物体４００が投射映像３５６Ａにおける一つのキーの位置で留まると、そのキーに表示されている文字が入力文字として装置に認識される。また、操作物体４００が投射映像３５６Ａにおける一つのキーの位置に一旦止まった後に、例えば、或る方向にスライド移動するという動きをする場合がある。この場合には、その操作物体４００が一旦止まった位置のキーと、その後のスライド移動した方向とに基づいて定まる文字が入力文字として装置に認識される。このフリック入力においては、次のような誤入力の問題が発生しやすい。つまり、例えば、操作物体４００が投射映像３５６Ａにおける一つのキーの位置で留まったことにより、例えば日本語平仮名“な”が入力文字として認識されたとする。しかしながら、実際には、ユーザは、日本語平仮名“な”に関連する日本語平仮名“ね”を入力したかったという場合（誤入力）がある。

これに対し、この具体例では、操作物体４００が投射映像３５６Ａにおける一つのキーの位置で留まると、そのキーに表示されている文字に関連する複数の選択肢の映像（投射映像３５６Ｂ）が投射される。この投射映像３５６Ｂには、投射映像３５６Ａにて操作物体４００が指示した文字も選択肢として含まれる。そして、この投射されている映像と、操作物体４００が指示している選択肢の位置とに基づいて定まる文字が入力文字として装置（制御部１２０）に認識される。つまり、この具体例では、投射映像３５６Ａに対する操作物体４００の操作だけでは文字は入力されず、その投射映像３５６Ａに対する操作物体４００の操作に応じた投射映像３５６Ｂに対する操作物体４００の操作によって入力文字が認識される。換言すれば、この具体例では、投射映像３５６Ａに対する操作物体４００の操作を認識する基準と、投射映像３５６Ｂに対する操作物体４００の操作を認識する基準とが異なる。

この具体例では、上述したように、投射映像３５６Ａではなく、選択肢を表す投射映像３５６Ｂに基づいて、入力される文字が認識され、かつ、その投射映像３５６Ｂの選択肢には、投射映像３５６Ａにて指示されたキーの文字も含まれている。これらのことによって、この具体例のインターフェース装置１００は、文字の誤入力を防止することができる。

なお、図５７は、図５６における投射映像３５６のその他の例を表す図である。この図５７の例では、操作物体４００は、投射映像３５６Ａにおける日本語平仮名“は”のキーを指示している。これにより、制御部１２０の制御に基づいた投射部１３０によって、日本語平仮名“は”に関連する図５７のような複数の選択肢のキー状の映像が投射映像３５６Ｂとして投射される。図５７の例では、選択肢として、日本語の平仮名“は”、“ば”、“ぱ”、“ひ”、“び”、“ぴ”、“ふ”、“ぶ”、“ぷ”、“へ”、“べ”、“ぺ”、“ほ”、“ぼ”、“ぽ”がそれぞれ表されている。このように、濁音、半濁音を含む文字をも一括表示することにより、インターフェース装置１００は、文字を高速に入力できるインターフェースを提供することができる。なお、この図５６および図５７を利用して説明した具体例では、インターフェース装置１００は、日本語文字を表示する例を説明している。これに代えて、例えば、インターフェース装置１００は、日本語文字の表示だけでなく、アルファベットや、ウムラウト等の記号、また、それらを組み合わせた文字（顔文字）などを投射映像３５６Ｂの選択肢として表示してもよい。このように、この具体例のインターフェース装置１００は、様々な種類の文字入力のインターフェースに適用することができる。

＜＜ 第２実施形態 ＞＞
図５８は、本発明に係る第２実施形態のインターフェース装置１００Ｉの構成を簡略化して表すブロック図である。このインターフェース装置１００Ｉは、撮像部１１０Ｉと、制御部１２０Ｉと、投射部１３０Ｉとを備える。

投射部１３０Ｉは、第１の投射映像を投射する。撮像部１１０Ｉは、自装置を操作する操作物体と第１の投射映像とを少なくとも含む映像を撮像可能である。制御部１２０Ｉは、撮像部１１０Ｉが撮像した映像である撮像映像における操作物体の撮像位置と第１の投射映像の撮像位置との関係に基づいて、操作物体による操作情報を認識する。また、制御部１２０Ｉは、その認識した操作情報に応じて投射部１３０Ｉを制御する。

＜＜ 第３実施形態 ＞＞
図５９は、本発明に係る第３実施形態のモジュール５００の構成を簡略化して表すブロック図である。図５９に表されるように、モジュール５００は、電子部品８００と通信可能に接続した状態で用いられる。

電子部品８００は、撮像部８１０を備える。

モジュール５００は、制御部１２０Ｊと、投射部１３０Ｊとを備える。投射部１３０Ｊは、第１の投射映像を投射する。制御部１２０Ｊは、電子部品８００から、撮像部８１０が撮像した撮像映像を受信する。そして、制御部１２０Ｊは、その撮像映像における操作物体の撮像位置と第１の投射映像の撮像位置との位置関係に基づいて、操作物体の操作情報を認識する。さらに、制御部１２０Ｊは、その操作情報に応じて投射部１３０Ｊを制御する。

＜＜ 第４実施形態 ＞＞
図６０は、本発明に係る第４実施形態の制御装置６００の構成を簡略化して表すブロック図である。制御装置６００は電子部品９００と通信可能に接続される。

電子部品９００は、撮像部９１０と、投射部９３０とを備える。なお、撮像部９１０と、投射部９３０とは、それぞれ別々の電子部品９００に実装されていてもよい。この場合、制御装置６００は、撮像部９１０を備える電子部品９００および投射部９３０を備える別の電子部品９００と、通信ネットワークを介して通信可能に接続される。

制御装置６００は、制御部１２０Ｋを備える。制御部１２０Ｋは、撮像部９１０が撮像した撮像映像を受信する。そして、制御部１２０Ｋは、その撮像映像における操作物体の撮像位置と第１の投射映像の撮像位置との関係に基づいて、操作物体による操作情報を認識する。さらに、制御部１２０Ｋは、その操作情報に応じて投射部９３０を制御する。

＜＜ 第５実施形態 ＞＞
図６１は、本発明に係る第５実施形態のインターフェース装置１００Ｌの構成を簡略化して表すブロック図である。インターフェース装置１００Ｌは、撮像部１１０Ｌと、制御部１２０Ｌと、投射部１３０Ｌとを備える。

投射部１３０Ｌは、投射映像を投射する。撮像部１１０Ｌは、投射映像を撮像する。制御部１２０Ｌは、撮像部１１０Ｌが撮像した撮像映像における投射映像の撮像位置に基づいて、投射映像が投射されている面（操作面）と撮像部１１０Ｌとの位置関係を算出する。

＜＜ 第６実施形態 ＞＞
図６２は、本発明に係る第６実施形態のモジュール５００Ｍの構成を簡略化して表すブロック図である。このモジュール５００Ｍは、電子部品８００Ｍと通信可能に接続される。

電子部品８００Ｍは、撮像部８１０Ｍを備える。モジュール５００Ｍは、制御部１２０Ｍと、投射部１３０Ｍとを備える。投射部１３０Ｍは、投射映像を投射する。制御部１２０Ｍは、撮像部８１０Ｍが撮像した撮像映像における投射映像の撮像位置に基づいて、投射映像が投射されている面（操作面）と撮像部８１０Ｍとの位置関係を算出する。

＜＜ 第７実施形態 ＞＞
図６３は、本発明に係る第７実施形態の制御装置６００Ｎの構成を簡略化して表すブロック図である。制御装置６００Ｎは、電子部品９００Ｎと通信可能に接続される。

電子部品９００Ｎは、撮像部９１０Ｎと、投射部９３０Ｎとを備える。制御装置６００Ｎは制御部１２０Ｎを備える。なお、撮像部９１０Ｎと、投射部９３０Ｎとは、それぞれ別々の電子部品９００Ｎに実装されていてもよい。この場合、制御装置６００Ｎは、撮像部９１０Ｎを備える電子部品９００Ｎおよび投射部９３０Ｎを備える別の電子部品９００Ｎと、通信ネットワークを介して通信可能に接続される。

制御部１２０Ｎは、撮像部９１０Ｎが撮像した撮像映像における投射映像の撮像位置の情報に基づいて、投射映像が投射されている面（操作面）と撮像部９１０Ｎとの位置関係を算出する。

上述した各実施形態は、適宜組み合わせて実施することが可能である。また、上述した各具体例および各応用例は、適宜組み合わせて実施することが可能である。

また、各ブロック図に表したブロック分けは、説明の便宜上から表されている。各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に示した構成には限定されない。

以上、本発明を実施するための形態について説明したが、上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して認識するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１４年１月１０日に出願された日本出願特願２０１４−００３２２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以下、参考形態の例を付記する。

（付記１）
第１の投射映像を投射する投射手段と、
自装置を操作する操作物体と前記第１の投射映像とを少なくとも含む映像を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第１の投射映像が映っている位置との関係に基づいて、前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する制御手段と、
を備えるインターフェース装置。

（付記２）
前記制御手段は、前記操作を受け付けたことに応じて、第２の投射映像を投射するよう前記投射手段を制御し、
前記制御手段は更に、前記撮像映像における、前記操作物体が映っている位置と前記投射手段が投射する前記第２の投射映像が映っている位置との関係に基づいて、前記受け付けた操作の次の操作を受け付ける、
付記１に記載のインターフェース装置。

（付記３）
前記第１の投射映像は、複数の選択肢を表示するための映像であり、
前記制御手段は、前記撮像映像における、前記操作物体の位置と前記第１の投射映像の位置との関係に基づいて、前記複数の選択肢のうちの第１の選択肢を選択する操作を受け付け、
前記第２の投射映像は、前記第１の選択肢に関連する選択肢を表示するための映像である、
付記２に記載のインターフェース装置。

（付記４）
前記制御手段は、前記撮像映像における、前記操作物体が映っている位置と前記投射映像が映っている位置との関係、および、前記操作物体の動きに基づいて前記操作物体による操作を受け付け、
前記制御手段は、前記第１の投射映像との関係において操作を受け付ける場合と、前記第２の投射映像との関係において操作を受け付ける場合とで、互いに異なる基準に従って操作を受け付ける、
付記３に記載のインターフェース装置。

（付記５）
前記制御手段は、前記第２の投射映像が前記第１の投射映像に重畳された態様で投射されるよう前記投射手段を制御し、
前記制御手段は、撮像映像に前記第２の投射映像が映っている場合において、撮像映像における前記操作物体の速度または加速度に基づいて、
前記第２の投射映像が示している複数の選択肢のうち前記第１の選択肢に対応する情報の入力を受け付ける処理を実行するか、
あるいは、
再度前記第１の投射映像を投射するよう前記投射手段を制御する処理を実行する、
付記４に記載のインターフェース装置。

（付記６）
複数の前記操作物体によって自装置が操作される場合に、
前記制御手段は、前記複数の操作物体のうち第１の操作物体の近傍に前記第１の投射映像を投射し、前記第１の操作物体とは異なる第２の操作物体の近傍に、前記第２の投射映像を投射するよう前記投射手段を制御する、
付記２ないし５のいずれかに記載のインターフェース装置。

（付記７）
前記撮像手段は、前記第１の操作物体、前記第１の投射映像、前記第２の操作物体、および、前記第２の投射映像を含む映像を撮像し、
前記制御手段は、前記撮像映像における、前記第１の操作物体が映っている位置と前記第１の投射映像が映っている位置との関係、および、前記撮像映像における、前記第２の操作物体が映っている位置と前記第２の投射映像が映っている位置との関係に基づいて操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する、
付記６に記載のインターフェース装置。

（付記８）
前記制御手段は、複数の選択肢のうちから、前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第１の投射映像が映っている位置との関係に基づいて定まるある選択肢の選択を受け付け、前記ある選択肢に対応する映像である第２の投射映像を前記操作物体の近傍に投射するよう前記投射手段を制御し、
前記制御手段は更に、
前記撮像映像に前記第２の投射映像が含まれている状態において、前記撮像映像において前記操作物体による特定の動作を検出した場合に、前記ある選択肢に対応する情報の入力を受け付ける、
付記１に記載のインターフェース装置。

（付記９）
前記特定の動作は、
前記撮像映像において、前記操作物体が映っている位置が前記第１の投射映像が映っている位置との関係において前記特定の選択肢に対応する位置に所定時間以上留まる動作、
または、
前記撮像映像において、前記操作物体が映っている位置が、前記第２の投射映像の映っている方向若しくは前記第２の投射映像の映っている方向とは反対の方向に向かって、所定の速度以上若しくは加速度以上で変化する動作
である、付記８に記載のインターフェース装置。

（付記１０）
前記操作物体は、前記インターフェース装置を操作するユーザの人指し指であり、
前記制御手段は、前記撮像映像において前記第１の投射映像と前記ユーザの人指し指とが映っていることを検出すると、前記ユーザの人指し指の近傍であり当該ユーザの親指の近傍の領域および当該ユーザの中指の近傍の領域のうちの一方の領域に第２の投射映像を投射し、前記ユーザの人指し指の近傍であり当該ユーザの親指の近傍の領域および当該ユーザの中指の近傍の領域のうちの他方の領域に第３の投射映像を投射するよう前記投射手段を制御し、
前記制御手段は更に、
前記撮像映像における、前記第２の投射映像が映っている位置と前記ユーザの人指し指が映っている位置との位置関係に応じて、第１の操作を受け付け、
前記撮像映像における、前記第３の投射映像が映っている位置と前記ユーザの人指し指が映っている位置との位置関係に応じて第２の操作を受け付ける、
付記１に記載のインターフェース装置。

（付記１１）
投射映像を投射する投射手段と、
前記投射映像を撮像する撮像手段と、
前記撮像手段が撮像した映像である撮像映像における、前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を備えるインターフェース装置。

（付記１２）
前記撮像手段は、自装置を操作する操作物体、および、前記投射映像を含む映像を撮像し、
前記制御手段は、前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行し、
前記投射映像は、前記操作物体との位置関係に基づいて前記インターフェース装置に対する操作に利用される第１の領域と、前記第１の領域とは異なる領域であって前記射映像が投射されている面と前記撮像手段との位置関係を算出するのに利用される第２の領域とを含む、
付記１１に記載のインターフェース装置。

（付記１３）
前記投射手段は、
レーザ光を照射するレーザ光源と、
前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、を含み、
前記制御手段は、前記受け付けた操作の内容に応じて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する、
付記１ないし１２のいずれかに記載のインターフェース装置。

（付記１４）前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザ光の位相を変調して出射し、
前記制御手段は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記１３に記載のインターフェース装置。

（付記１５）
付記１から１４のいずれかに記載のインターフェース装置が組み込まれた、携帯電子機器。

（付記１６）
付記１から１４のいずれかに記載のインターフェース装置が組み込まれた、装身具。

（付記１７）
電子機器に組み込まれて用いられるモジュールであって、
第１の投射映像を投射する投射手段と、
自装置を操作する操作物体と前記第１の投射映像とを少なくとも含む映像を受信し、前記受信した映像である撮像映像における、前記操作物体が映っている位置と前記第１の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する制御手段と、
を具備するモジュール。

（付記１８）
第１の投射映像を投射する投射手段を制御する制御装置であって、
自装置を操作する操作物体と第１の投射映像とを少なくとも含む映像を受信し、前記受信した映像である撮像映像における前記操作物体が映っている位置と前記第１の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する信号を前記投射手段に送信する、制御装置。

（付記１９）
撮像手段と、第１の投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
自装置を操作する操作物体と前記第１の投射映像とを少なくとも含む映像を撮像するよう前記撮像手段を制御し、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第１の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理を実行する、
制御方法。

（付記２０）
撮像手段と、第１の投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータに、
自装置を操作する操作物体と前記第１の投射映像とを少なくとも含む映像を撮像するよう前記撮像手段を制御する処理と、
前記撮像手段が撮像した映像である撮像映像における、前記操作物体が映っている位置と前記第１の投射映像が映っている位置との関係に基づいて前記操作物体による操作を受け付け、前記受け付けた操作に応じて前記投射手段を制御する処理と、
を実行させるプログラム。

（付記２１）
撮像手段を備える電子機器に組み込まれて用いられるモジュールであって、
投射映像を投射する投射手段と、
前記撮像手段が撮像した映像である撮像映像における、前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と、
を具備するモジュール。

（付記２２）
撮像手段と、投射映像を投射する投射手段と、を備える電子機器を制御する制御装置であって、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する、制御装置。

（付記２３）
撮像手段と、投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する、制御方法。

（付記２４）
撮像手段と、投射映像を投射する投射手段と、を備えるインターフェース装置を制御するコンピュータに、
前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている位置を示す情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する処理を実行させる、プログラム。

本発明は例えば、認識精度の高い入力機能を有するインターフェース装置の実現に応用することができる。

１ ＣＰＵ
２ 記憶部
１００ インターフェース装置
１１０ 撮像部
１２０ 制御部
１３０ 投射部
２００ 操作面
３００ 投射映像
４００ 操作物体
５００ モジュール
６００ 制御装置
８００ 電子部品
９００ 電子部品

Claims (18)

1. 第１の投射映像を投射する投射手段と、
   前記第１の投射映像が投射されている領域を撮像する撮像手段と、
   前記撮像手段が撮像した映像である撮像映像に前記第１の投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記第１の投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との位置関係に基づいて、前記操作物体による操作情報を認識する制御手段と、
   を備えるインターフェース装置。
2. 前記制御手段は、前記操作情報に応じて、第２の投射映像を投射するように前記投射手段を制御し、
   前記制御手段は、さらに、前記撮像映像における前記操作物体の撮像位置と前記投射手段による前記第２の投射映像の撮像位置との位置関係に基づいて、前記操作物体による次の操作情報を認識する請求項１に記載のインターフェース装置。
3. 前記第１の投射映像は、複数の選択肢が表示されている映像であり、
   前記制御手段は、前記撮像映像における前記操作物体の撮像位置と前記第１の投射映像の撮像位置との位置関係に基づいて、前記複数の選択肢のうちの一つが選択された操作の情報を認識し、
   前記第２の投射映像は、前記第１の選択肢に関連する選択肢が表示されている映像である請求項２に記載のインターフェース装置。
4. 前記撮影映像における前記第１の投射映像の撮像位置を利用して前記操作物体による操作情報を認識する場合に前記制御手段が用いる基準と、前記撮影映像における前記第２の投射映像の撮像位置を利用して前記操作物体による操作情報を認識する場合に前記制御手段が用いる基準とが異なっている請求項３に記載のインターフェース装置。
5. 前記投射手段は、前記第２の投射映像を前記第１の投射映像に重畳する態様でもって投射する請求項２又は請求項３又は請求項４に記載のインターフェース装置。
6. 前記制御手段は、前記位置関係に加えて、前記操作物体の動きの情報をも利用して、前記操作物体による操作情報を認識する請求項１乃至請求項５の何れか一つに記載のインターフェース装置。
7. 前記制御手段は、前記操作物体が所定時間以上留まっている動作を検出した場合には、その操作物体が留まっている位置に投射されている前記投射映像に基づいて前記操作物体による操作情報を認識するか、あるいは、
   前記制御手段は、前記操作物体が所定の速度以上あるいは所定の加速度以上で直線状に移動している動作を検出した場合には、その操作物体が向かっている方向に位置する前記投射映像に基づいて前記操作物体による操作情報を認識するか、あるいは、
   前記制御手段は、前記操作物体が所定の速度以上あるいは所定の加速度以上で直線状に移動している動作を検出した場合には、その操作物体がその動きを開始した位置に投射されている前記投射映像に基づいて前記操作物体による操作情報を認識する請求項６記載のインターフェース装置。
8. 前記制御手段は、複数種の前記操作物体を識別する機能を有し、
   前記制御手段は、前記撮影映像に、複数種の前記操作物体が映し出されている場合には、前記各操作物体の近傍にそれぞれ別々の投射映像が投射されるように、前記投射手段を制御する請求項１乃至請求項７の何れか一つに記載のインターフェース装置。
9. 前記操作物体の一つは、ユーザの親指であり、前記操作物体の別の一つは、前記ユーザの人差し指であり、
   前記制御手段は、前記ユーザの前記親指と前記人差し指を含む領域に前記第１の投射映像が投射されるように前記投射手段を制御し、また、前記親指の近傍と、前記人差し指の近傍とには、それぞれ、互いに異なる投射映像が投射されるように前記投射手段を制御し、
   さらに、前記制御手段は、前記親指の撮像位置と前記親指の近傍に投射されている前記投射映像の撮像位置との位置関係に基づいて、前記親指による操作情報を認識し、また、前記人差し指の撮像位置と前記人差し指の近傍に投射されている前記投射映像の撮像位置との位置関係に基づいて、前記人差し指による操作情報を認識する請求項８に記載のインターフェース装置。
10. 投射映像を投射する投射手段と、
    前記投射映像が投射されている領域を撮像する撮像手段と、
    前記撮像手段が撮像した映像である撮像映像における前記投射映像が映っている撮像位置の情報に基づいて、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する制御手段と
    を備えるインターフェース装置。
11. 前記制御手段は、前記撮像手段が撮像した映像である撮像映像に前記投射映像が映っていると共に操作物体が映っている場合には、前記撮影映像における前記投射映像が映っている撮像位置と前記操作物体が映っている撮像位置との位置関係に基づいて、前記操作物体による操作情報を認識し、
    さらに、前記投射手段による前記投射映像には、前記操作物体による前記操作情報を認識する処理にて利用される映像領域と、前記投射映像が投射されている面と前記撮像手段との位置関係を算出する処理にて利用される映像領域とが含まれている請求項１０に記載のインターフェース装置。
12. 前記投射手段は、レーザ光を照射するレーザ光源と、入射した前記レーザ光の位相を変調し当該変調後のレーザ光を出射する素子とを含み、
    前記制御手段は、前記認識した操作情報に応じて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する請求項１乃至請求項１１の何れか一つに記載のインターフェース装置。
13. 前記素子は、複数の受光領域を有し、前記各受光領域は、当該受光領域に入射したレーザ光の位相を変調して出射し、
    前記制御手段は、前記各受光領域について、当該受光領域に入射した光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータが変化するように前記素子を制御する請求項１２に記載のインターフェース装置。
14. 請求項１乃至請求項１３の何れか一つのインターフェース装置を備えた可搬装置。
15. 制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、当該操作情報に応じて前記投射手段を制御する制御装置。
16. 請求項１５に記載の制御装置と、
    当該制御装置により制御される投射手段と
    を備えるモジュール。
17. 制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、
    当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識し、
    前記操作情報に応じて前記投射手段を制御する制御方法。
18. 制御対象の投射手段により投射された投射映像が映し出されている撮影映像を受信し、当該撮影映像に、前記投射映像と共に操作物体が映し出されている場合には、前記撮影映像において前記投射映像が映し出されている撮像位置と前記操作物体が映し出されている撮像位置との関係に基づいて、前記操作物体による操作情報を認識する処理と、
    前記操作情報に応じて前記投射手段を制御する処理と、
    をコンピュータに実行させるコンピュータプログラムを保持しているプログラム記憶媒体。

Images