WO2022003876A1

WO2022003876A1 - 制御装置、制御方法、及びコンピュータ可読媒体

Info

Publication number: WO2022003876A1
Application number: PCT/JP2020/025908
Authority: WO
Inventors: 紘也高田; 敦鴨居
Original assignee: 日本電気株式会社
Priority date: 2020-07-01
Filing date: 2020-07-01
Publication date: 2022-01-06
Also published as: JPWO2022003876A1

Abstract

制御装置（３０）は、投射装置（２０）の投射範囲を撮像する撮像装置（１０）によって生成される撮像画像から、被投射面を検出する。制御装置（３０）は、被投射面の姿勢を特定し、特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、投射装置（２０）に投射させる。制御装置（３０）は、撮像装置（１０）によって生成される撮像画像から指示体を検出し、指示体による入力操作の内容を特定する。制御装置（３０）は、特定した入力操作の内容を表す入力情報を出力する。

Description

制御装置、制御方法、及びコンピュータ可読媒体

　本発明は、入力操作に用いる画像を投射する投射装置の制御に関する。

　近年、プロジェクタから投影したユーザインターフェース（以下、UI：User Interface）に対して直感的に情報入力できるシステムが報告されている。例えば特許文献１は、自動車の乗員の手のひらに操作画像を投影し、投影された操作画像に対する入力を認識する装置を開示している。特許文献１の装置では、乗員が手のひらを動かした際に、その動きに追従して、操作画像の投影位置が変更される。

特開２０１６－００５１５７号公報

　特許文献１の装置は、乗員の手のひらの姿勢（傾き）の変化については言及していない。そのため、例えば、乗員が手のひらの位置を変えずに手の平の姿勢を変化させた場合、同じ状態の操作画像が投影され続ける。しかしながら、手のひらの姿勢にかかわらず同じ状態の操作画像を手のひらに投影すると、操作画像が見えづらくなってしまう恐れがある。

　本発明の目的は上述した課題に鑑みてなされたものであり、その目的は、操作画像を表す光を投射装置から投射して当該操作画像に対する入力を受け付ける環境において、操作画像を見やすくする技術を提供することにある。

　本開示の制御装置は、投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出部と、前記被投射面の姿勢を特定する姿勢特定部と、前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御部と、前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定部と、前記特定した入力操作の内容を表す入力情報を出力する出力部と、を有する。

　本開示の制御方法は、コンピュータによって実行される。当該制御方法は、投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出ステップと、前記被投射面の姿勢を特定する姿勢特定ステップと、前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御ステップと、前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定ステップと、前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を有する。

　本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。

　本発明によれば、操作画像を表す光を投射装置から投射して当該操作画像に対する入力を受け付ける環境において、操作画像を見やすくする技術が提供される。

本実施形態に係る制御装置を含む情報入力システムの構成を示すブロック図である。本実施形態の情報入力システムの典型的な利用シーンを示す概念図である。制御装置の機能構成を例示するブロック図である。制御装置を実現するコンピュータのハードウエア構成を例示するブロック図である。投射部の構成を示すブロック図である。投射部に含まれる光学系の構成例を示す概念図である。実施形態１の制御装置によって実行される処理の流れを例示するフローチャートである。

　以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、以下の実施形態において、図面中ブロック間における矢印の向きは、信号の流れの一例を端的に示したものであり、信号の流れの方向を限定するものではない。

［実施形態１］
＜概要＞
　図１は、本実施形態に係る制御装置３０を含む情報入力システム１の構成を示すブロック図である。情報入力システム１は、撮像装置１０、投射装置２０、及び制御装置３０を備える。これら３つの装置は、同一の筐体に納められた状態で設置されてもよいし、個別に設置されていてもよい。また、これら３つの装置のうちの任意の２つ（例えば、投射装置２０と制御装置３０）を同一の筐体に納めて設置し、残りの１つの装置を別途設置するようにしてもよい。

　撮像装置１０は、撮像機能を有するカメラである。投射装置２０は、投射機能を有するプロジェクタである。制御装置３０は、投射装置２０を制御する装置である。また、制御装置３０は、撮像装置１０を制御する機能を有していてもよい。

　図２は、本実施形態の情報入力システム１の典型的な利用シーンを示す概念図である。例えば、本実施形態の情報入力システム１は、セキュリティレベルの高い場所の入り口などにおいてパスワードなどの認証情報を入力するために使用される。図２では、入り口付近の天井に投射装置２０が設置されている。また、投射装置２０の下に、被投射体として利用される板４０が、斜め上を向くように設置されている。板４０には、認証対象者（以下、対象者）によって操作されるユーザインターフェース（以下、UI：User Interface）を表す画像が表示されている。

　以下、被投射面上に表示したい所望の表示情報（文字、記号、又は枠など）を表す画像のことをソース画像と表記し、照射光によって実際に被投射体上の被投射面に表示された画像（照射光によって被投射面上に形成される画像）を表示画像と表記する。理想的には、制御装置３０は、表示画像がソース画像を相似拡大したものとなるように、投射装置２０を制御する。ただし、表示画像は、ソース画像を厳密に相似拡大したものとなる必要はなく、それに近いもの（例えば、対象者から見てソース画像と同等に見えるもの）であればよい。

　図２のように、投射装置２０から投射される照射光の投射範囲は、例えば、投射装置２０の投射部分を頂点とする略四角錐の内部の三次元空間である。そして、投射範囲に位置する物体の表面のうち、照射光が当たる面が被投射面となる。なお、投射範囲の形状は略四角錐には限定されず、略円錐などといった種々の形状とすることができる。

　撮像装置１０は、投射装置２０の投射範囲の全て又は一部（少なくとも板４０を含む範囲）を撮像して、撮像画像を生成する。制御装置３０は、撮像装置１０によって生成された撮像画像を解析して板４０の位置を特定し、板４０に表示画像を表示させるために、照射光を投射する。例えば制御装置３０は、所定のタイミングで投射範囲内を検証したり、別のシステムから対象者が投射範囲内に入ったことを示す通知を受けたりして、板４０の検出を行う。なお、投射範囲内に含まれる物体のうち、どの物体を被投射体として検出するかは、予め定めておく（詳しくは後述する）。

　ここで、制御装置３０は、検出した板４０の姿勢を特定し、当該姿勢に合わせた姿勢の表示画像が被投射面に表示されるようにする。例えば制御装置３０は、ソース画像を当該姿勢に合わせて変形し、変形後のソース画像を利用して空間変調した照射光を、投射装置２０に投射させる。こうすることで、板４０の姿勢にかかわらず、ソース画像を相似拡大したもの（又はそれに近いもの）に相当する表示画像が板４０に表示されるため、対象者にとって UI がより扱いやすいものとなる。

　制御装置３０は、撮像装置１０によって生成される撮像画像から所定の指示体（例えば指）を検出し、当該指示体が板４０上の表示画像に対して行った入力操作の内容を特定する。そして、制御装置３０は、特定した入力操作の内容を表す情報（以下、入力情報）を、当該入力操作に応じた処理を行う装置（以下、処理装置）へ送信する。例えば、情報入力システム１を認証に利用する場合、情報入力システム１によって検出された入力操作に応じて認証を行う装置が処理装置となる。なお、処理装置は、制御装置３０と同一の筐体に納められていてもよいし、別途設置されていてもよい。後者の場合、例えば、ネットワークを介して制御装置３０と接続されているサーバマシン等などで、処理装置を実現することができる。

＜作用効果の一例＞
　本実施形態の制御装置３０によれば、対象者が操作する表示画像が投射装置２０によって投射される環境において、被投射面の姿勢に画像の姿勢を合わせた上で、画像が投射される。そのため、被投射面の姿勢にかかわらず、運用者の意図した形状や模様の表示画像を、被投射面に表示させることができる。よって、被投射面の姿勢を考慮せずに表示画像が被投射面に投射されるケースと比較し、対象者にとって表示画像が見やすいものとなる。

　以下、本実施形態の情報入力システム１について、より詳細に説明する。

＜機能構成の例＞
　図３は、制御装置３０の機能構成を例示するブロック図である。図３のように、制御装置３０は、検出部３１、姿勢特定部３２、投射制御部３３、入力特定部３４、及び出力部３５を有する。検出部３１は、撮像装置１０によって生成される撮像画像から、被投射面を検出する。姿勢特定部３２は、被投射面の姿勢を特定する。投射制御部３３は、特定した姿勢に合わせた姿勢のソース画像を表す照射光を、投射装置２０に投射させる。入力特定部３４は、撮像装置１０によって生成される撮像画像から指示体を検出し、指示体による入力操作の内容を特定する。出力部３５は、特定した入力操作の内容を表す入力情報を出力する。

＜制御装置３０のハードウエア構成の例＞
　制御装置３０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、制御装置３０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図３は、制御装置３０を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、SoC（System on a Chip）や SiP（System in a Package）などの集積回路である。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のマシンや、PC（Personal Computer）やサーバマシンなどの据え置き型のマシンであってもよい。コンピュータ５００は、制御装置３０を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

　コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

　プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

　入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、図４に示すように、撮像装置１０や投射装置２０が接続される。また、入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続されてもよい。

　ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。例えばネットワークインタフェース５１２には、入力情報の送信先となる処理装置が接続される。

　ストレージデバイス５０８は、制御装置３０の各機能構成部を実現するプログラムを記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、制御装置３０の各機能構成部を実現する。

　制御装置３０は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

＜投射装置２０の構成＞
　投射装置２０の構成について、図面を参照しながら説明する。図５は、投射装置２０の構成を示すブロック図である。また、図６は、投射装置２０に含まれる光学系の構成例を示す概念図である。

　図５のように、投射装置２０は、光源２１と、光源駆動電源２２と、空間光変調素子２３と、変調素子駆動手段２４と、投射光学系２５とを備える。なお、図５は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。

　光源２１は、特定波長の光１１０を出射する。例えば、レーザ光源を光源２１として用いることができる。光源２１から出射される光１１０は、位相がそろったコヒーレントな光であることが好ましい。通常、光源２１は、可視領域の光を出射するように構成する。なお、光源２１は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。また、光源２１は、発光ダイオードや白熱電球、放電管などのレーザ光源以外で構成してもよい。

　図６のように、光源２１が出射した光１１０は、コリメータ２１０によってコヒーレントな光１１０となり、空間光変調素子２３の表示部に入射される。例えば、複数の波長の光を出射するように光源２１を構成すれば、光源２１から出射する光の波長を変えることによって、表示情報の色を変更することができる。また、異なる波長の光を同時に出射するように光源２１を構成すれば、複数の色によって構成される表示情報を表示させることができる。

　光源駆動電源２２（光源駆動手段ともよぶ）は、制御装置３０の制御に応じて光源２１を駆動させて、光源２１から光を出射させるための電源である。

　空間光変調素子２３は、変調素子駆動手段２４の制御に応じて、被投射面に所望の表示画像を表示することができる照射光を生成するためのパターン（以下、変調パターン）を、自身の表示部に表示する。本実施形態においては、空間光変調素子２３の表示部に変調パターンが表示された状態で、その表示部に光１１０を照射する。空間光変調素子２３は、入射される光１１０の反射光（変調光１３０）を投射光学系２５に向けて出射する。

　ここで、図６のように、空間光変調素子２３の表示部に対して光１１０の入射角を非垂直にすることが好ましい。すなわち、光源２１からの光１１０の出射軸を空間光変調素子２３の表示部に対して斜めにする。このように、空間光変調素子２３の表示部に対して光１１０の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間光変調素子２３の表示部に光１１０を入射できるため、効率を向上させることができる。

　空間光変調素子２３は、位相がそろったコヒーレントな光１１０の入射を受け、入射された光１１０の位相を変調する位相変調型の空間光変調素子によって実現できる。位相変調型の空間光変調素子２３を用いた投射光学系からの出射光は、フォーカスフリーであるため、複数の投射距離に設定される表示領域に光を投射することになっても投射距離ごとに焦点を変える必要がない。なお、空間光変調素子２３は、各表示領域に表示情報を表示できるのであれば位相変調型とは異なる方式の素子であってもよいが、フォーカスフリーを実現するためには位相変調型の素子である方が好ましい。

　位相変調型の空間光変調素子２３の表示部には、被投射面の姿勢に合わせたソース画像内の表示情報の位相分布が表示される。この場合、空間光変調素子２３の表示領域で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように画像が形成される。

　空間光変調素子２３は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調素子によって実現される。空間光変調素子２３は、具体的には、LCOS（Liquid Crystal on Silicon）によって実現できる。また、空間光変調素子２３は、例えば、MEMS（Micro Electro Mechanical System）によって実現してもよい。

　位相変調型の空間光変調素子２３では、照射光を投射する表示領域を順次切り替えるように動作させることによってエネルギーを表示情報の部分に集中することができる。そのため、位相変調型の空間光変調素子２３を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。

　変調素子駆動手段２４は、制御装置３０の制御に応じて、変調パターンを空間光変調素子２３の表示部に表示させる。変調素子駆動手段２４は、空間光変調素子２３の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間光変調素子２３を駆動する。

　位相変調型の空間光変調素子２３の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調素子駆動手段２４は、空間光変調素子２３の表示部に印加する電圧を変化させることによって、表示部の屈折率を変化させる。その結果、表示部に照射された光１１０は、表示部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調素子２３に照射された光１１０の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子駆動手段２４による空間光変調素子２３の駆動方法はここで挙げた限りではない。

　投射光学系２５は、空間光変調素子２３で変調された変調光１３０を照射光１５０として投射する。図６のように、投射光学系２５は、フーリエ変換レンズ２５１、アパーチャ２５２および投射レンズ２５３を有する。空間光変調素子２３で変調された変調光１３０は、投射光学系２５によって照射光１５０として照射される。なお、各表示領域に表示情報を表示させることができれば、投射光学系２５の構成要素のうちいずれかを省略して構成してもよい。

　フーリエ変換レンズ２５１は、空間光変調素子２３の表示部で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図６では、アパーチャ２５２の位置に焦点が形成されている。

　アパーチャ２５２は、フーリエ変換レンズ２５１によって集束された光に含まれる高次光を遮蔽し、表示領域を特定する機能を有する。アパーチャ２５２の開口部は、アパーチャ２５２の位置における表示領域の最外周よりも小さく開口され、アパーチャ２５２の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ２５２の開口部は、矩形状や円形状に形成される。アパーチャ２５２は、フーリエ変換レンズ２５１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。

　投射レンズ２５３は、フーリエ変換レンズ２５１によって集束された光を拡大して投射する光学レンズである。投射レンズ２５３は、空間光変調素子２３に入力された位相分布に対応する表示情報が各表示領域に表示されるように照射光１５０を投射する。

　単純な記号などの線画を投射する用途に情報入力システム１を用いる場合、投射光学系２５から投射された照射光１５０は、各表示領域に均一に投射されるのではなく、文字や記号、枠などといった表示情報を表す部分に集中的に投射される。そのような場合、情報入力システム１によれば、光１１０の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、情報入力システム１は、小型かつ低電力な光源２１で構成できるため、その光源２１を駆動する光源駆動電源２２を低出力にでき、全体的な消費電力を低減できる。

＜被投射面について＞
　被投射面は、任意の物体（被投射体）の一部又は全部とすることができる。例えば被投射体は、前述したアクリル板などの板であり、被投射面は当該板の一面である。情報入力システム１では、被投射面の姿勢を考慮して生成された照射光が投射されるため、板を設置する際に、「表示画像を投射させる板の面が、投射装置２０の投射方向に対して垂直となるように設置しなければならない」といった制限がなく、設置が容易となる。その他にも例えば、被投射体は、対象者の体や所持品の一部（例えば、手の平、腕、又は服の袖など）であり、被投射面はこれらの表面である。被投射面の姿勢に応じて表示画像が投射されるため、手の平や腕を投射範囲内にかざす際に、「表示画像を投射させる手の平などが、投射装置２０の投射方向に対して垂直となるようにかざさなければならない」という制限がなく、対象者が自由な姿勢で容易に情報入力システム１を利用することができる。

　その他にも例えば、噴射装置から噴霧した霧を被投射体として利用することができる。この場合、平面をなすように霧を噴霧し、当該平面を被投射面とすることが好ましい。しかしながら、霧は風や空調の影響を受けやすいため、霧によって形成される被投射面はその姿勢が変化しやすいと考えられる。この点、投射装置２０を利用することにより、このような霧によって形成される被投射面の姿勢の変化に追従しながら、表示画像を表示させることができる。その他にも例えば、被投射体として、蓄積されている水（例えば、池、プール、又は温泉などの水）を利用することができる。この場合、水面が被投射面となる。プールや温泉などのように人がその中に入る水の水面は、人の動きの影響によってその形状が変化しやすい。また、通常は人が入らない池でも、鳥の着水や風の影響により、水面の形状が変化することがある。この点、投射装置２０を利用することにより、このような水面の姿勢の変化に追従しながら、水面に表示画像を表示させることができる。

　ここで、被投射面には入力操作用の表示画像が表示されるため、たとえ表示画像に触れずに入力操作を行えるように情報入力システム１が構成されたとしても、対象者が被投射面に触れてしまう可能性がある。そのため、衛生上の観点（例えば、感染症の感染拡大の防止など）から、被投射体には、清潔さを保ちやすい物体（洗浄が容易な物体や、繰り返し新しいものに入れ替わる霧など）や、対象者自身の体や所持品を利用することが好ましい。この点、情報入力システム１によれば、前述したように、アクリル板などの洗浄が容易な物体や、対象者自身の体などを、容易に被投射体として利用することができる。そのため、情報入力システム１を衛生的に運用することができる。

＜処理の流れ＞
　図７は、実施形態１の制御装置３０によって実行される処理の流れを例示するフローチャートである。検出部３１は、被投射面を検出する（Ｓ１０２）。姿勢特定部３２は、被投射面の姿勢を特定する（Ｓ１０４）。投射制御部３３は、被投射面の姿勢に合わせたソース画像を表す照射光を、投射装置２０に投射させる（Ｓ１０６）。入力特定部３４は、入力操作の内容を特定する（Ｓ１０８）。出力部３５は、特定した入力操作の内容を表す入力情報を出力する（Ｓ１１０）。

　なお、被投射面の検出及びその姿勢の特定は、入力操作の度に行われてもよいし、一連の入力操作の最初のみに行われてもよい。後者の場合、例えば後述するように、センサによって対象者が検知されたことに応じて情報入力システム１が動作するようにする。この場合、例えば制御装置３０は、同一の対象者によって情報入力システム１が利用されている間は、最初に特定した被投射面の位置と姿勢を利用し続けるようにする。そのため、同一の対象者によって情報入力システム１が操作されている間は、Ｓ１０２とＳ１０４が一度だけ実行された後、Ｓ１０６からＳ１０８が繰り返されることになる。

＜被投射面の検出：Ｓ１０２＞
　検出部３１は、撮像装置１０によって生成された撮像画像から、被投射面を検出する（Ｓ１０２）。例えば検出部３１は、オブジェクト認識処理によって、所定の被投射面を検出する。この場合、例えば、被投射面の画像上の特徴量（以下、画像特徴量）を、検出部３１からアクセス可能な記憶装置に予め格納しておく。そして、検出部３１は、記憶装置から取得した被投射面の画像特徴量と類似する（例えば、類似度が所定の閾値以上である）画像特徴量を持つ画像領域を撮像画像から検出し、当該画像領域を被投射面として検出する。

　検出部３１が被投射面の検出を行うタイミングは任意である。例えば検出部３１は、被投射面が検出するされるまで、撮像装置１０によって繰り返し生成される撮像画像（例えば、ビデオデータを構成する各ビデオフレーム）を順次取得し、各撮像画像を対象として、被投射面を検出する処理を行う。その他にも例えば、別途のセンサ（例えば人感センサ）を用いて、被投射体が投射装置２０の投射範囲内に入っている可能性が高い状況を検出してもよい。この場合、例えば検出部３１は、当該状況が検出されている間に生成された撮像画像のみを対象として、被投射面の検出を行う。また、制御装置３０は、上記状況が検出されている間のみ撮像装置１０による撮像が行われるように、撮像装置１０を制御してもよい。

＜姿勢の特定：Ｓ１０４＞
　姿勢特定部３２は、撮像画像から検出された被投射面について、その姿勢を特定する（Ｓ１０４）。以下、被投射面の姿勢を表すデータを、姿勢データと呼ぶ。ここで、被投射面の姿勢の表し方は任意である。例えば、投射装置２０による光の投射方向を Z 軸とし、当該 Z 軸に直交する平面を XY 平面とする３次元空間において、XY 平面に対する被投射面の傾きを表すデータを、被投射面の姿勢を表す姿勢データとして利用することができる。この場合、例えば姿勢データは、被投射面と同じサイズで XY 平面に平行な平面を被投射面へ変換するための変換行列（回転行列）である。

　以下、被投射面の姿勢を特定する方法について、具体的にいくつか例示する。

＜＜被投射面の基準画像との比較による特定＞＞
　例えば姿勢特定部３２は、姿勢特定部３２は、平面視で被投射面を撮像した画像である基準画像と、撮像画像から抽出された被投射面の画像とを比較することで、被投射面の姿勢を特定する。ここで、基準となる姿勢の物体の画像と、撮像画像から得られた物体の画像とを比較することで、その物体の姿勢を特定する技術には、既存の技術を利用することができる。例えば姿勢特定部３２は、撮像画像から抽出された被投射面の画像へ基準画像を変換するための変換行列を算出し、当該変換行列を被投射面の姿勢とする。基準画像は、姿勢特定部３２からアクセス可能な記憶装置に予め格納しておく。

　なお、被投射体として複数の種類の物体を扱うことができる場合、姿勢特定部３２は、現在の被投射体に対応する基準画像を利用する必要がある。この場合、被投射体の識別情報と、その被投射体の被投射面の基準画像とを対応づけて、姿勢特定部３２からアクセス可能な記憶装置に格納しておく。検出部３１は、オブジェクト認識等によって被投射面を検出する際、被投射体の識別情報を特定する。姿勢特定部３２は、特定された識別情報に対応する基準画像を利用して、被投射面の姿勢を特定する。

＜＜マーカの基準画像との比較による特定＞＞
　その他にも例えば、被投射面に、形状が既知であるマーカを設けておき、これを利用して被投射面の姿勢を特定してもよい。この場合、当該マーカを平面視した画像を、基準画像として用意しておく。姿勢特定部３２は、撮像装置１０によって生成された撮像画像からマーカを表す画像を抽出し、抽出したマーカの画像と基準画像を比較することで、マーカの姿勢を特定する。そして、姿勢特定部３２は、特定したマーカの姿勢を、被投射面の姿勢として特定する。例えば姿勢特定部３２は、撮像画像から抽出されたマーカの画像へ基準画像を変換するための変換行列を算出し、当該変換行列をマーカの姿勢（すなわち、被投射面の姿勢）として扱う。

　なお、複数種類のマーカを扱うことができる場合、姿勢特定部３２は、現在の被投射面に設けられているマーカに対応する基準画像を利用する必要がある。この場合、マーカの識別情報と、そのマーカの基準画像とを対応づけて、姿勢特定部３２からアクセス可能な記憶装置に格納しておく。姿勢特定部３２は、オブジェクト認識等によって被投射面上のマーカを特定し、特定したマーカの識別情報に対応づけられている基準画像を取得する。

＜＜測距による特定＞＞
　その他にも例えば、姿勢特定部３２は、被投射面上の複数の位置までの距離を特定し、特定した各距離に基づいて、被投射面の姿勢を特定してもよい。被投射面上の複数の各位置までの距離が分かると、それらの距離に基づいて、前述した３次元空間上における被投射面の姿勢を再現することができる。そのため、被投射面の姿勢を特定することができる。測距は、被投射面上の３つ以上の位置に対して行うことが好適である。

　被投射面までの距離の特定には、任意の測距装置（投射装置２０やライダなど）を利用することができる。投射装置２０を測距装置として利用する場合、例えば姿勢特定部３２は、所定パターンが含まれる画像（例えば、所定の大きさの円が所定の間隔で配置された画像）を表す照射光を投射するように投射装置２０を制御し、その反射光における上記所定パターンのずれに基づいて、被投射面上の複数の位置それぞれまでの距離を算出する。なお、投射装置を測距装置として利用する具体的な方法については、例えば特許文献２に開示されている。

　測距の結果を用いて被投射面の姿勢を特定する方法としては、例えば以下の方法を利用することができる。まず姿勢特定部３２は、測距された被投射面上の複数の位置のうちの１つを基準の位置として扱い、当該基準位置を通り、なおかつ前述した XY 平面と平行な面（以下、基準面）を特定する。そして、姿勢特定部３２は、測距によって特定された被投射面と基準面との比較により、被投射面の姿勢を特定する。例えば、被投射面の姿勢は、基準面を被投射面へ変換するための変換行列として算出することができる。

＜姿勢に基づく照射光の制御：Ｓ１０６＞
　投射制御部３３は、特定した被投射面の姿勢と同じ姿勢に変形されたソース画像を表す照射光が照射されるように、投射装置２０による投射を制御する（Ｓ１０４）。より具体的には、投射制御部３３は、特定した被投射面の姿勢に基づいて、投射装置２０の空間光変調素子２３を制御する。前述したように、投射装置２０から所望の画像を表す照射光が投射されるようにするためには、空間光変調素子２３の表示部に、当該所望の画像に対応する変調パターンが表示された状態で、その表示部に光１１０を照射する。

　そこで例えば、投射制御部３３は、対象者に提示すべき表示情報を含むソース画像を取得し、当該ソース画像を、被投射面と同じ姿勢になるように変形する。例えば前述したように、被投射面の姿勢が変換行列で表される場合、投射制御部３３は、ソース画像を変換行列に基づいて変形することで、ソース画像の姿勢を、被投射面と同じ姿勢に変更する。そして、投射制御部３３は、変形後のソース画像に対応する変調パターンを空間光変調素子２３の表示部に設定する。こうすることで、投射装置２０から、被投射面の姿勢と同じ姿勢のソース画像を表す投射光が投射される。その結果、被投射面に、ソース画像を相似拡大したものに相当する（又はそれに近い）表示画像が表示される。なお、所望の画像に対応する変調パターンを空間光変調素子２３の表示部に設定する方法には、既存の技術を利用することができる。

　また、ソース画像に対応する変調パターンが予め用意されていてもよい。例えば、投射装置２０が利用可能な１つ以上のソース画像それぞれに対応する変調パターンを、投射制御部３３からアクセス可能な記憶装置に予め格納しておく。投射制御部３３は、所望のソース画像に対応する変調パターンを記憶装置から取得し、その変調パターンを、被投射面の姿勢と同じ姿勢を持つソース画像に対応する変調パターンに変換する。そして、投射制御部３３は、変換後の変調パターンを、空間光変調素子２３の表示部に設定する。

　被投射面の姿勢に合わせて変調パターンの変換を行う方法は様々である。例えば投射制御部３３は、ソース画像に対応する変調パターンをソース画像に変換し、当該ソース画像に対して前述した変換行列を適用することで、被投射面と同じ姿勢に変換されたソース画像を得る。そして投射制御部３３は、変換後のソース画像を変調パターンに変換する。その他にも例えば、変調パターンと姿勢データ（変換行列等）が入力されたことに応じて、当該姿勢データによって表される姿勢を持つ画像に対応する変調パターンを出力する変換処理を、予め定義しておいてもよい。この場合、姿勢特定部３２は、当該変換処理に対し、所望のソース画像に対応する変調パターンと、姿勢特定部３２によって生成された姿勢データを入力することにより、被投射面と同じ姿勢を持つソース画像に対応する変調パターンを得ることができる。

　所望のソース画像（すなわち、被投射面に表示されるべき表示画像に対応するソース画像）やそれに対応する変調パターンを投射制御部３３が取得する方法は任意である。例えば、ソース画像の識別情報とソース画像とを対応づけて、投射制御部３３からアクセス可能な記憶装置に格納しておく。この場合、投射制御部３３は、利用すべきソース画像の識別情報を取得し、当該識別情報に対応するソース画像を記憶装置から取得する。

　ソース画像に対応する変調パターンが予め用意されている場合、ソース画像の識別情報と、そのソース画像に対応する変調パターンとの対応付けを、前述した記憶装置に格納しておく。投射制御部３３は、ソース画像の識別情報を取得したら、その識別情報に対応する変調パターンを取得する。

　例えばソース画像の識別情報は、前述した処理装置（制御装置３０から出力される入力情報を利用する装置）から取得する。すなわち、処理装置は、ソース画像の識別情報を制御装置３０に出力することで、所望の表示画像を被投射面に表示させ、対象者に所望の入力（例えば、ユーザ名やパスワードの入力など）を行わせる。そして、処理装置は、制御装置３０から入力情報を取得することで、対象者によって行われた入力操作の内容を取得し、所望の処理を行う（例えば、入力されたユーザ名やパスワードを取得し、認証処理を行う）。なお、ソース画像の識別情報の代わりに、ソース画像や変調パターンそのものを処理装置から取得するようにしてもよい。

＜入力内容の特定：Ｓ１０８＞
　入力特定部３４は、表示画像に対して行われた入力操作の内容を特定する（Ｓ１０８）。例えば入力特定部３４は、表示画像が表示された後に撮像装置１０によって生成された撮像画像を取得し、当該撮像画像から所定の指示体を検出する。そして入力特定部３４は、指示体による入力操作が行われたことを検出し、その入力操作の内容を特定する。

　指示体によって入力操作が行われたことを特定する方法は様々である。例えば入力特定部３４は、撮像装置１０によって順次生成される複数の撮像画像（以下、画像シーケンス）を解析することで、入力操作が行われたことを検出する。例えば、入力特定部３４は、指示体が所定時間以上停止した場合に、入力操作が行われたと判定する。なお、ここでいう「停止」は、完全に停止していることに限定されず、移動量が十分に小さいこと（例えば、移動量が所定の大きさ以下であること）も含む。その他にも例えば、入力特定部３４は、指示体によって所定の動きが行われた場合に、入力操作が行われたと判定してもよい。所定の動きとは、例えば、被投射面に触れる動きや、所定の形を描く動きなどである。その他にも例えば、投射装置２０によって表示画像が投射された時点から所定時間が経過したら、入力操作が行われたと判定してもよい。

　指示体の位置に基づいて入力内容を特定する方法は様々である。例えば入力操作が、表示画像によって表される複数の選択肢のうちの１つを選択する入力操作であるとする。この場合、例えば入力特定部３４は、撮像装置１０から得られた撮像画像から、表示画像と指示体の双方を検出し、これらの位置関係に基づいて入力操作の内容を特定する。具体的には、入力特定部３４は、撮像画像から指示体と表示画像を検出し、指示体が表示画像上のどの部分に位置しているのかを特定する。そして、入力特定部３４は、特定した表示画像上の位置に対応する入力操作の内容を、指示体によって行われた入力操作の内容として特定する。例えば表示画像がテンキーの画像である場合において、指示体が「７」というキーの上に位置していたとする。この場合、入力特定部３４は、「７」を選択する操作が行われたことを特定することができる。

　入力特定部３４は、表示画像の検出を行わなくてもよい。この場合、例えば入力特定部３４は、撮像装置１０の撮像画像から指示体と被投射面を検出し、被投射面に対する指示体の相対位置を算出する。また、入力特定部３４は、算出した相対位置に基づいて、被投射面に投射された表示画像のどの部分に指示体が位置しているかを特定する。そして、入力特定部３４は、特定した表示画像上の位置に対応する入力操作の内容を、指示体によって行われた入力操作の内容として特定する。

　被投射面に対する指示体の相対位置を特定する方法は、撮像画像を利用する方法に限定されない。例えば入力特定部３４は、測距装置を利用して、被投射面上の複数の位置それぞれまでの距離を算出する。ここで、被投射面上の各位置のうち、上方に指示体が存在する部分については、他の部分と比較して、測距装置からの距離が短くなる。そのため、測距装置から得られる距離のデータを利用することで、被投射面上のどの部分に指示体が位置しているのかを把握することができる。

＜入力情報の出力：Ｓ１１０＞
　出力部３５は、入力特定部３４によって特定された入力操作の内容を表す入力情報を出力する（Ｓ１１０）。入力操作の内容を表す情報を生成・出力する方法には、既存の種々の方法を利用することができる。例えば入力操作が、表示画像によって表される複数の選択肢のうちの１つを選択するものであるとする。この場合、入力情報には、指示体によって選択された選択肢の識別情報が含まれる。例えば、表示画像が YES と NO という２つの選択肢を表す画像であり、前者と後者のそれぞれに０と１という識別情報が与えられていたとする。この場合、入力操作によって YES が選択された場合には、０という識別情報を示す入力情報が生成される。

　以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出部と、
　前記被投射面の姿勢を特定する姿勢特定部と、
　前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御部と、
　前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定部と、
　前記特定した入力操作の内容を表す入力情報を出力する出力部と、を有する制御装置。
　（付記２）
　前記姿勢特定部は、前記撮像画像に含まれる前記被投射面の画像と、基準となる姿勢の前記被投射面の画像とを比較することによって前記被投射面の姿勢を特定する、付記１に記載の制御装置。
　（付記３）
　前記被投射面にマーカが設けられており、
　前記姿勢特定部は、前記撮像画像に含まれる前記マーカの画像と、基準となる姿勢の前記マーカの画像とを比較することによって前記マーカの姿勢を特定し、前記特定したマーカの姿勢に基づいて前記被投射面の姿勢を特定する、付記１に記載の制御装置。
　（付記４）
　前記姿勢特定部は、前記被投射面上の複数の位置それぞれまでの距離を測定した結果に基づいて、前記被投射面の姿勢を特定する、付記１に記載の制御装置。
　（付記５）
　前記被投射面上の複数の位置それぞれまでの距離の測定は、前記投射装置から前記被投射面に投射した光の反射項を利用して行われる、付記４に記載の制御装置。
　（付記６）
　前記投射装置は空間光変調素子を有し、
　前記投射制御部は、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す変調パターンを前記空間光変調素子に設定することで、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す照射光を前記投射装置に投射させる、付記１から５いずれか一項に記載の制御装置。
　（付記７）
　コンピュータによって実行される制御方法であって、
　投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出ステップと、
　前記被投射面の姿勢を特定する姿勢特定ステップと、
　前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御ステップと、
　前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を有する制御方法。
　（付記８）
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記被投射面の画像と、基準となる姿勢の前記被投射面の画像とを比較することによって前記被投射面の姿勢を特定する、付記７に記載の制御方法。
　（付記９）
　前記被投射面にマーカが設けられており、
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記マーカの画像と、基準となる姿勢の前記マーカの画像とを比較することによって前記マーカの姿勢を特定し、前記特定したマーカの姿勢に基づいて前記被投射面の姿勢を特定する、付記７に記載の制御方法。
　（付記１０）
　前記姿勢特定ステップにおいて、前記被投射面上の複数の位置それぞれまでの距離を測定した結果に基づいて、前記被投射面の姿勢を特定する、付記７に記載の制御方法。
　（付記１１）
　前記被投射面上の複数の位置それぞれまでの距離の測定は、前記投射装置から前記被投射面に投射した光の反射項を利用して行われる、付記１０に記載の制御方法。
　（付記１２）
　前記投射装置は空間光変調素子を有し、
　前記投射制御ステップにおいて、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す変調パターンを前記空間光変調素子に設定することで、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す照射光を前記投射装置に投射させる、付記７から１１いずれか一項に記載の制御方法。
　（付記１３）
　プログラムを格納しているコンピュータ可読媒体であって、
　前記プログラムはコンピュータに、
　投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出ステップと、
　前記被投射面の姿勢を特定する姿勢特定ステップと、
　前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御ステップと、
　前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を実行させる、コンピュータ可読媒体。
　（付記１４）
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記被投射面の画像と、基準となる姿勢の前記被投射面の画像とを比較することによって前記被投射面の姿勢を特定する、付記１３に記載のコンピュータ可読媒体。
　（付記１５）
　前記被投射面にマーカが設けられており、
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記マーカの画像と、基準となる姿勢の前記マーカの画像とを比較することによって前記マーカの姿勢を特定し、前記特定したマーカの姿勢に基づいて前記被投射面の姿勢を特定する、付記１３に記載のコンピュータ可読媒体。
　（付記１６）
　前記姿勢特定ステップにおいて、前記被投射面上の複数の位置それぞれまでの距離を測定した結果に基づいて、前記被投射面の姿勢を特定する、付記１３に記載のコンピュータ可読媒体。
　（付記１７）
　前記被投射面上の複数の位置それぞれまでの距離の測定は、前記投射装置から前記被投射面に投射した光の反射項を利用して行われる、付記１６に記載のコンピュータ可読媒体。
　（付記１８）
　前記投射装置は空間光変調素子を有し、
　前記投射制御ステップにおいて、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す変調パターンを前記空間光変調素子に設定することで、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す照射光を前記投射装置に投射させる、付記１３から１７いずれか一項に記載のコンピュータ可読媒体。

１　　　　　　情報入力システム
１０　　　　　　撮像装置
２０　　　　　　投射装置
２１　　　　　　光源
２２　　　　　　光源駆動電源
２３　　　　　　空間光変調素子
２４　　　　　　変調素子駆動手段
２５　　　　　　投射光学系
３０　　　　　　制御装置
３１　　　　　　検出部
３２　　　　　　姿勢特定部
３３　　　　　　投射制御部
３４　　　　　　入力特定部
３５　　　　　　出力部
４０　　　　　　板
１１０　　　　　　光
１３０　　　　　　変調光
１５０　　　　　　照射光
２１０　　　　　　コリメータ
２５１　　　　　　フーリエ変換レンズ
２５２　　　　　　アパーチャ
２５３　　　　　　投射レンズ
５００　　　　　　コンピュータ
５００　　　　　　各コンピュータ
５０２　　　　　　バス
５０４　　　　　　プロセッサ
５０６　　　　　　メモリ
５０８　　　　　　ストレージデバイス
５１０　　　　　　入出力インタフェース
５１２　　　　　　ネットワークインタフェース

Claims

　投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出部と、
　前記被投射面の姿勢を特定する姿勢特定部と、
　前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御部と、
　前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定部と、
　前記特定した入力操作の内容を表す入力情報を出力する出力部と、を有する制御装置。
　前記姿勢特定部は、前記撮像画像に含まれる前記被投射面の画像と、基準となる姿勢の前記被投射面の画像とを比較することによって前記被投射面の姿勢を特定する、請求項１に記載の制御装置。
　前記被投射面にマーカが設けられており、
　前記姿勢特定部は、前記撮像画像に含まれる前記マーカの画像と、基準となる姿勢の前記マーカの画像とを比較することによって前記マーカの姿勢を特定し、前記特定したマーカの姿勢に基づいて前記被投射面の姿勢を特定する、請求項１に記載の制御装置。
　前記姿勢特定部は、前記被投射面上の複数の位置それぞれまでの距離を測定した結果に基づいて、前記被投射面の姿勢を特定する、請求項１に記載の制御装置。
　前記被投射面上の複数の位置それぞれまでの距離の測定は、前記投射装置から前記被投射面に投射した光の反射項を利用して行われる、請求項４に記載の制御装置。
　前記投射装置は空間光変調素子を有し、
　前記投射制御部は、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す変調パターンを前記空間光変調素子に設定することで、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す照射光を前記投射装置に投射させる、請求項１から５いずれか一項に記載の制御装置。
　コンピュータによって実行される制御方法であって、
　投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出ステップと、
　前記被投射面の姿勢を特定する姿勢特定ステップと、
　前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御ステップと、
　前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を有する制御方法。
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記被投射面の画像と、基準となる姿勢の前記被投射面の画像とを比較することによって前記被投射面の姿勢を特定する、請求項７に記載の制御方法。
　前記被投射面にマーカが設けられており、
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記マーカの画像と、基準となる姿勢の前記マーカの画像とを比較することによって前記マーカの姿勢を特定し、前記特定したマーカの姿勢に基づいて前記被投射面の姿勢を特定する、請求項７に記載の制御方法。
　前記姿勢特定ステップにおいて、前記被投射面上の複数の位置それぞれまでの距離を測定した結果に基づいて、前記被投射面の姿勢を特定する、請求項７に記載の制御方法。
　前記被投射面上の複数の位置それぞれまでの距離の測定は、前記投射装置から前記被投射面に投射した光の反射項を利用して行われる、請求項１０に記載の制御方法。
　前記投射装置は空間光変調素子を有し、
　前記投射制御ステップにおいて、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す変調パターンを前記空間光変調素子に設定することで、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す照射光を前記投射装置に投射させる、請求項７から１１いずれか一項に記載の制御方法。
　プログラムを格納しているコンピュータ可読媒体であって、
　前記プログラムはコンピュータに、
　投射装置の投射範囲を撮像する撮像装置によって生成される撮像画像から、被投射面を検出する検出ステップと、
　前記被投射面の姿勢を特定する姿勢特定ステップと、
　前記特定した姿勢と同じ姿勢に変換されたソース画像を表す照射光を、前記投射装置に投射させる投射制御ステップと、
　前記撮像装置によって生成される撮像画像から指示体を検出し、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を実行させる、コンピュータ可読媒体。
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記被投射面の画像と、基準となる姿勢の前記被投射面の画像とを比較することによって前記被投射面の姿勢を特定する、請求項１３に記載のコンピュータ可読媒体。
　前記被投射面にマーカが設けられており、
　前記姿勢特定ステップにおいて、前記撮像画像に含まれる前記マーカの画像と、基準となる姿勢の前記マーカの画像とを比較することによって前記マーカの姿勢を特定し、前記特定したマーカの姿勢に基づいて前記被投射面の姿勢を特定する、請求項１３に記載のコンピュータ可読媒体。
　前記姿勢特定ステップにおいて、前記被投射面上の複数の位置それぞれまでの距離を測定した結果に基づいて、前記被投射面の姿勢を特定する、請求項１３に記載のコンピュータ可読媒体。
　前記被投射面上の複数の位置それぞれまでの距離の測定は、前記投射装置から前記被投射面に投射した光の反射項を利用して行われる、請求項１６に記載のコンピュータ可読媒体。
　前記投射装置は空間光変調素子を有し、
　前記投射制御ステップにおいて、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す変調パターンを前記空間光変調素子に設定することで、前記被投射面の姿勢と同じ姿勢に変換されたソース画像を表す照射光を前記投射装置に投射させる、請求項１３から１７いずれか一項に記載のコンピュータ可読媒体。