JP7328409B2 - 制御装置、制御方法、情報入力システムおよびプログラム - Google Patents

Description

本開示は、検出された動作に応じて制御対象装置を制御する制御装置等に関する。

キーボードやタッチパネル等に触れずに、入力操作を行うことができるインターフェース技術が開発されている。例えば、机や壁、床、手の平などに画像を投射し、その画像に対する操作を受け付けるインターフェースが開発されている。そのようなインターフェースを用いる場合、机や壁、床などに直接触れて操作を行うことになる。手のひらに画像を投射する場合、自分の手のひらに投射された画像に触れることによって入力操作を行うことができるが、投射面積が小さいために表示できる情報が限られてしまう。また、手のひらに画像を投射する場合、一方の手に表示された画像に対してもう一方の手で操作を行うため、両手で操作を行う必要があった。

特許文献１には、片手で電子機器を操作できる情報入力装置が開示されている。特許文献１の装置は、人の手のひらを検知し、電子機器を操作するための複数の処理に対応した複数の選択肢画像を含む情報入力用画像を手のひらに投影する。特許文献１の装置は、手のひらの中心に所定の選択肢画像が投影された状態から、手のひらによる所定の動作を検知したとき、当該所定の選択肢画像が選択されたと判定し、選択した選択肢画像に対応する処理を電子機器に送信する。

特開２０１８－７３１７０号公報

特許文献１の手法では、複数の選択肢画像を含む情報入力用画像を手のひらに対応付けて表示させる。そのため、特許文献１の手法では、表示できる選択肢画像に限りがあった。また、特許文献１の手法では、手のひらに表示された選択肢画像の位置に応じて、選択中の選択肢画像が認識される。そのため、特許文献１の手法では、ユーザの体勢等に起因して、手のひらに表示された選択肢画像の位置がずれた場合、ユーザの意図しない選択肢画像が選択されてしまう可能性があった。

本開示の目的は、片手で安定した入力操作を行うことができるインターフェースを実現できる制御装置等を提供することにある。

本開示の一態様の制御装置は、少なくとも一つの選択要素を含む主要素と、主要素に対応付けられた少なくとも一つの選択要素を含む副要素と、を含む表示情報を表示させる投射光を投射する投射装置を制御する投射制御手段と、投射装置の投射範囲を撮影する撮影装置を制御する撮影制御手段と、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出し、投射点と重なった主要素の選択要素又は副要素の選択要素の表示状態を強調表示に変更する指示を出力し、表示状態が強調表示に変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて、表示中の表示情報を、選択要素の入力の受付を示す表示に変更する指示を出力する検出手段と、検出手段から出力された指示に応じて、投射装置の投射条件を投射制御手段に設定する投射条件設定手段と、を備え、検出手段は、主要素の選択要素の表示状態が強調表示に変更された場合に、主要素に対応付けられた少なくとも一つの副要素または少なくとも一つの副要素が対応付けられたバーを、主要素と同時に表示するように表示情報を変更する指示を出力する。

本開示の一態様の制御方法においては、少なくとも一つの選択要素を含む主要素と、前記主要素に対応付けられた少なくとも一つの選択要素を含む副要素と、を含む表示情報を表示させる投射光を投射する投射装置を制御し、投射装置の投射範囲を撮影する撮影装置を制御し、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出し、投射点と重なった主要素の表示状態を強調表示に変更するように投射装置を制御し、主要素に対応付けられた少なくとも一つの副要素または少なくとも一つの副要素が対応付けられたバーを、主要素と同時に表示するように表示情報を変更する指示を出力し、主要素の選択要素又は副要素の選択要素に対する検出対象動作の検出に応じて、表示中の表示情報を、選択要素の入力の受付を示す表示に変更するように投射装置を制御する。

本開示の一対応のプログラムは、少なくとも一つの選択要素を含む主要素と、主要素に対応付けられた少なくとも一つの選択要素を含む副要素と、を含む表示情報を表示させる投射光を投射する投射装置を制御する処理と、投射装置の投射範囲を撮影する撮影装置を制御する処理と、撮影装置によって撮影された画像から被投射体を検出する処理と、検出された被投射体を含む画像から投射点を検出する処理と、投射点と重なった主要素の選択要素又は副要素の選択要素の表示状態を強調表示に変更するように投射装置を制御する処理と、主要素の選択要素の表示状態が強調表示に変更された場合に、主要素に対応付けられた少なくとも一つの副要素または少なくとも一つの副要素が対応付けられたバーを、主要素と同時に表示するように表示情報を変更する指示を出力する処理と、表示状態が強調表示に変更された選択要素に対する検出対象動作の検出に応じて、表示中の表示情報を、当該選択要素の入力の受付を示す表示に変更するように投射装置を制御する処理と、をコンピュータに実行させる。

本開示によれば、片手で安定した入力操作を行うことができるインターフェースを実現できる制御装置等を提供することが可能になる。

第１の実施形態に係る情報入力システムの構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムによる表示情報の投射の一例を示す概念図である。 第１の実施形態に係る情報入力システムによって投射された表示情報に含まれる選択要素がユーザの手のひらに表示される一例を示す概念図である。 第１の実施形態に係る情報入力システムによる基本的な処理について説明するための概念図である。 第１の実施形態に係る情報入力システムの撮影装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの投射装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの投射装置の投射光学系の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの制御装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報入力システムの撮影装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの投射装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの制御装置の動作の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの制御装置による動作検出処理の一例について説明するためのフローチャートである。 第１の実施形態に係る情報入力システムの適用例１について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例１の利用シーンについて説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例２について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例３について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例４について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例５について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例６について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例７について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例８について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例９について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例１０について説明するための概念図である。 第１の実施形態に係る情報入力システムの適用例１１について説明するための概念図である。 第１の実施形態に係る情報入力システムの利用シーンの一例について説明するための概念図である。 第１の実施形態に係る情報入力システムの利用シーンの別の一例について説明するための概念図である。 第２の実施形態に係る制御装置の構成の一例を示すブロック図である。 各実施形態に係る制御装置を実現するハードウェア構成の一例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

（第１の実施形態）
まず、本開示の第１の実施形態に係る情報入力システムについて図面を参照しながら説明する。本実施形態の情報入力システムは、選択要素を含む表示情報を投射する。例えば、表示情報には、数字や文字、記号等の選択要素が含まれる。例えば、表示情報が複数の選択要素を含む場合、選択要素は、マトリックス状や、一軸方向に沿って配列される。例えば、表示情報には、自動ドアの暗証番号、エレベータの階数や、スピーカの音量、テレビジョン（テレビとも呼ぶ）等の番組のチャンネル、電子機器のオン／オフ等の選択肢が選択要素として含まれる。本実施形態の情報入力システムは、ユーザによる選択要素の選択状態を検出し、検出された選択状態に応じて、選択された選択要素の表示状態を変更させる。そして、本実施形態の情報入力システムは、選択された選択要素に対するユーザの動作を検出し、検出された動作に応じて、選択された選択要素の表示状態を変更するとともに、選択された選択要素に応じた制御を実行する。

（構成）
図１は、本実施形態に係る情報入力システム１の構成を示すブロック図である。図１のように、情報入力システム１は、撮影装置１１、投射装置１２、および制御装置１３を備える。撮影装置１１は、撮影機能を有するカメラである。投射装置１２は、投射機能を有するプロジェクタである。制御装置１３（コントローラとも呼ぶ）は、撮影装置１１および投射装置１２を制御する装置である。例えば、制御装置１３は、プロセッサやメモリを有するマイクロコンピュータによって実現される。制御装置１３は、撮影装置１１および投射装置１２に接続され、撮影装置１１および投射装置１２を制御する。また、制御装置１３は、図示しない制御対象装置に接続され、ユーザによる選択要素の選択に応じて制御対象装置を制御する。例えば、制御対象装置は、自動ドアの開閉器や、エレベータの昇降器、スピーカの音量調整器、テレビのチャンネル切替器、電子機器のスイッチ等である。なお、制御対象装置は、ここであげた例に限定されない。

撮影装置１１は、制御装置１３の制御に応じて、投射装置１２によって投射される投射光（表示情報）の投射範囲を撮影する。撮影装置１１は、投射範囲を撮影することで生成される画像データを制御装置１３に出力する。例えば、撮影装置１１は、可視領域の波長帯に感度のあるデジタルカメラによって実現される。例えば、撮影装置１１は、動画を撮影できるビデオカメラによって実現されてもよい。例えば、撮影装置１１は、赤外領域の波長帯に感度のある赤外線カメラの機能を有してもよい。

投射装置１２は、制御装置１３の制御に応じて、表示情報を形成する投射光を投射する。投射装置１２は、選択要素を含む表示情報を投射範囲内に投射する。また、投射装置１２は、ユーザによる選択要素の選択状況に応じた表示情報を、そのユーザの手に向けて投射する。例えば、投射装置１２は、位相変調型の空間光変調器を用いたプロジェクタによって実現される。なお、投射装置１２は、位相変調型の空間光変調器以外の手法を用いたプロジェクタによって実現されてもよい。

制御装置１３は、撮影装置１１および投射装置１２を制御する。制御装置１３は、選択要素を含む表示情報を投射するための投射条件を生成し、生成した投射条件を投射装置１２に出力する。制御装置１３は、撮影装置１１を制御し、投射範囲を撮影させる。制御装置１３は、撮影装置１１から画像データを取得し、取得した画像データから被投射体を検出する。例えば、制御装置１３は、画像データから抽出される特徴に基づいて、被投射体を検出する。例えば、被投射体は、ユーザの手のひらである。例えば、制御装置１３は、画像データから抽出される指の形状や、指の位置関係等の特徴に基づいて、手のひらを検出する。制御装置１３による被投射体の検出方法は、被投射体を検出できさえすれば、特に限定を加えない。

制御装置１３は、画像データから被投射体を検出すると、被投射体の投射点を検出する。例えば、被投射体が手のひらの場合、投射点は手のひらの中心である。例えば、制御装置１３は、親指からの距離や、指の位置関係等に基づいて、手のひらの中心を検出する。

制御装置１３は、投射点を検出すると、投射点と重なる選択要素を検出する。制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素の表示状態を変更するように投射装置１２を制御する。また、制御装置１３は、表示状態が変更された選択要素が投射点からずれたことを検出すると、その選択要素の表示状態を元に戻す指示を投射装置１２に出力する。例えば、制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素を点滅させるように投射装置１２を制御する。例えば、制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素を拡大させるように投射装置１２を制御する。例えば、制御装置１３は、投射点と重なる選択要素を検出すると、その選択要素に対応付けられた他の要素を投射させるように投射装置１２を制御する。例えば、他の要素とは、初めに表示されていた表示情報に含まれる選択要素に対応付けられた更なる選択要素である。例えば、他の要素とは、初めに表示されていた表示情報に含まれる選択要素の選択状況に応じた目印である。

制御装置１３は、ある選択要素が選択された状態で被投射体の検出対象動作を検出すると、その検出対象動作に応じて表示情報を変更するように投射装置１２を制御する。例えば、制御装置１３は、ユーザの手のひらに表示されたある選択要素が選択された状態で、そのユーザが「手を握る動作」や「手を移動する動作」などを検出対象動作として検出すると、その選択要素の表示状態を変更するように投射装置１２を制御する。例えば、制御装置１３は、ある選択要素に対して検出対象動作を検出すると、その選択要素を消させたり、その選択要素を異なる記号で置換させたり、枠で囲わしたりするように投射装置１２を制御する。

また、制御装置１３は、ある選択要素が選択された状態で被投射体の検出対象動作を検出すると、制御対象装置に対して制御信号を出力する。例えば、制御装置１３は、ユーザの手のひらに表示されたある選択要素が選択された状態で、そのユーザが「手を握る動作」を検出対象動作として検出すると、選択された選択要素に応じて、制御対象装置に対して制御信号を出力する。

図２は、情報入力システム１が、選択要素を含む表示情報を投射範囲に投射する例を示す概念図である。図２の例では、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、および「Ｆ」を選択要素とする表示情報が投射範囲に投射される例である。情報入力システム１は、投射範囲に人物が進入したことを検知し、その検知をトリガーとして、選択要素を含む表示情報を投射範囲に投射してもよい。例えば、情報入力システム１は、投射範囲に移動体が進入したことや、人物の特徴を有する移動体が進入したことを検知してもよい。また、情報入力システム１とは別に、投射範囲への人物の進入を検知する装置を設置してもよい。

図３は、情報入力システム１によって投射された表示情報が表示された投射範囲にユーザが進入する例を示す概念図である。図３の例では、ユーザの手のひらに選択要素「Ｄ」が表示されている。例えば、ユーザは、投射範囲内で手を動かすことによって、手のひらに表示される選択要素を変更させ、所望の選択要素に対して検出対象動作を行う。例えば、位相変調型の空間光変調器が搭載された投射装置１２を用いれば、フォーカスフリーで表示情報を投射できるので、どの高さにユーザの手が進入しても、ユーザの手には鮮明な画像が表示される。例えば、制御装置１３は、検出された手の大きさに応じて、選択要素の大きさを変更させてもよい。

図４は、投射範囲に表示情報が投射された状態で、ユーザの手が投射範囲に進入した例を示す概念図である。図４の（１）は、ユーザの手のひらに、選択要素の「Ａ」と「Ｂ」が表示された状態である。図４の（２）は、ユーザの手の移動に伴って、ユーザの手のひらの中心の位置に重なった選択要素の「Ｂ」の表示状態が変更され、点滅している状態である。図４の（３）は、選択要素の「Ｂ」の表示状態が変更された状態で、ユーザの手を握る動作が検出され、選択要素の「Ｂ」の選択が受け付けられたことを円で囲んで示す例である。図４のように、本実施形態によれば、複数の選択要素の中から一つの選択要素を片手で選択できる。また、本実施形態によれば、選択要素の選択状況を視認できるので、安定した入力操作が可能になる。

〔撮影装置〕
次に、撮影装置１１の詳細構成について図面を参照しながら説明する。図５は、撮影装置１１の構成を示すブロック図である。撮影装置１１は、撮像素子１１１、画像処理プロセッサ１１３、内部メモリ１１５、およびデータ出力回路１１７を有する。撮影装置１１は、一般的なデジタルカメラの機能を含む。

撮像素子１１１は、撮影範囲を撮影し、その撮影範囲の撮影データを取得するための素子である。本実施形態においては、投射範囲を含む範囲が撮影範囲に設定される。撮像素子１１１は、半導体部品が集積回路化された光電変換素子である。撮像素子１１１は、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの固体撮像素子によって実現できる。通常、撮像素子１１１は、可視領域の光を撮影する素子によって構成するが、赤外線や紫外線、Ｘ線、ガンマ線、電波、マイクロ波などの電磁波を撮影・検波できる機能を有してもよい。

画像処理プロセッサ１１３は、撮像素子１１１によって撮影された撮影データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行して画像データに変換する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ１１３を省略してもよい。

内部メモリ１１５は、画像処理プロセッサ１１３が一度に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子１１１によって撮影された画像情報を内部メモリ１１５に一時的に記憶するように構成してもよい。内部メモリ１１５は、一般的なメモリによって構成すればよい。

データ出力回路１１７は、画像処理プロセッサ１１３によって処理された画像データを制御装置１３に出力する。

〔投射装置〕
次に、投射装置１２の詳細構成について図面を参照しながら説明する。図６は、投射装置１２の構成を示すブロック図である。図７は、投射装置１２の投射光学系の構成例を示す概念図である。なお、図６および図７には、位相変調型の空間光変調器を用いる例をあげるが、投射装置１２の投射機構は、位相変調型の空間光変調器を用いたものに限定されない。

図６のように、投射装置１２は、照射部１２１、光源駆動電源１２５、空間光変調器１２６、変調器駆動部１２７、および投射光学系１２９を備える。なお、図６は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。

照射部１２１は、特定波長のコヒーレントな光１２０を出射する。図７のように、照射部１２１は、光源１２２とコリメートレンズ１２３を含む。図７のように、照射部１２１が出射した光１１０は、コリメートレンズ１２３を通過してコヒーレントな光１２０となり、空間光変調器１２６の表示部に入射される。例えば、照射部１２１は、照射部１２１としてレーザ光源を含む。通常、照射部１２１は、可視領域の光を出射するように構成する。なお、照射部１２１は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。

光源駆動電源１２５は、制御装置１３の制御に応じて照射部１２１の光源１２２を駆動させて、照射部１２１から光を出射させる電源である。

空間光変調器１２６は、変調器駆動部１２７の制御に応じて、選択要素を含む表示情報を投射するためのパターン（表示情報に対応する位相分布）を自身の表示部に表示する。本実施形態においては、空間光変調器１２６の表示部に所定のパターンが表示された状態で、その表示部に光１２０を照射する。空間光変調器１２６は、表示部に入射した光１２０の反射光（変調光１３０）を投射光学系１２９に向けて出射する。

図７のように、本実施形態においては、空間光変調器１２６の表示部に対して光１２０の入射角を非垂直にする。すなわち、本実施形態においては、照射部１２１からの光１２０の出射軸を空間光変調器１２６の表示部に対して斜めにし、ビームスプリッタを用いずに空間光変調器１２６の表示部に光１２０を入射させる。そのため、図７の構成では、光１２０がビームスプリッタを通過することによって減衰することがないため、光１２０の利用効率を向上させることができる。

空間光変調器１２６は、位相がそろったコヒーレントな光１２０の入射を受け、入射された光１２０の位相を変調する位相変調型の空間光変調器によって実現できる。位相変調型の空間光変調器１２６を用いた投射光学系１２９からの出射光は、フォーカスフリーであるため、複数の投射距離に光を投射することになっても投射距離ごとに焦点を変える必要がない。

位相変調型の空間光変調器１２６の表示部には、変調器駆動部１２７の駆動に応じて、複数の選択要素を含む表示情報に対応する位相分布が表示される。位相分布が表示された空間光変調器１２６の表示部で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように像が形成される。

空間光変調器１２６は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調器によって実現される。空間光変調器１２６は、具体的には、ＬＣＯＳ（Liquid Crystal on Silicon）によって実現できる。例えば、空間光変調器１２６は、ＭＥＭＳ（Micro Electro Mechanical System）によって実現されてもよい。

位相変調型の空間光変調器１２６では、投射光を投射する箇所を順次切り替えるように動作させることによって、エネルギーを像の部分に集中することができる。そのため、位相変調型の空間光変調器１２６を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。

変調器駆動部１２７は、制御装置１３の制御に応じて、選択要素を含む表示情報を生成するためのパターンを空間光変調器１２６の表示部に表示させる。変調器駆動部１２７は、空間光変調器１２６の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間光変調器１２６を駆動する。

位相変調型の空間光変調器１２６の表示部に照射される光１２０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調器駆動部１２７は、空間光変調器１２６の表示部に印可する電圧を変化させることによって、表示部の屈折率を変化させる。表示部の屈折率を変化させれば、表示部に照射された光１２０は、表示部の各部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調器１２６に照射された光１２０の位相分布は、表示部の光学的特性に応じて変調される。なお、変調器駆動部１２７による空間光変調器１２６の駆動方法はここで挙げた限りではない。

投射光学系１２９は、空間光変調器１２６で変調された変調光１３０を投射光１５０として投射する。図７のように、投射光学系１２９は、フーリエ変換レンズ１９１、アパーチャ１９２、および投射レンズ１９３を含む。空間光変調器１２６で変調された変調光１３０は、投射光学系１２９によって投射光１５０として照射される。なお、投射範囲に像を形成できさえすれば、投射光学系１２９の構成要素のうちいずれかを省略してもよい。また、必要に応じて、フーリエ変換レンズ１９１、アパーチャ１９２、および投射レンズ１９３以外の構成を投射光学系１２９に追加してもよい。

フーリエ変換レンズ１９１は、空間光変調器１２６の表示部で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図７では、アパーチャ１９２の位置に焦点が形成されている。

アパーチャ１９２は、フーリエ変換レンズ１９１によって集束された光に含まれる高次光を遮蔽し、投射光１５０が表示される範囲を特定する。アパーチャ１９２の開口部は、アパーチャ１９２の位置における表示領域の最外周よりも小さく開口され、アパーチャ１９２の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ１９２の開口部は、矩形状や円形状に形成される。アパーチャ１９２は、フーリエ変換レンズ１９１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。

投射レンズ１９３は、フーリエ変換レンズ１９１によって集束された光を拡大して投射する光学レンズである。投射レンズ１９３は、空間光変調器１２６の表示部に表示された位相分布に対応する表示情報が投射範囲内に投影されるように投射光１５０を投射する。

単純な記号などの線画を投射する用途に情報入力システム１を用いる場合、投射光学系１２９から投射された投射光１５０は、投射範囲全体に向けて均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。そのため、本実施形態の情報入力システム１によれば、光１２０の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、情報入力システム１は、小型かつ低電力な照射部１２１で構成できるため、その照射部１２１を駆動する光源駆動電源１２５を低出力にでき、全体的な消費電力を低減できる。

また、複数の波長の光を出射するように照射部１２１を構成すれば、照射部１２１から出射する光の波長を変えることができる。照射部１２１から出射する光の波長を変えれば、表示情報の色を変更することができる。また、異なる波長の光を同時に出射する照射部１２１を用いれば、複数の色によって構成される表示情報を表示させることができる。

〔制御装置〕
次に、制御装置１３について図面を参照しながら説明する。図８は、制御装置１３の詳細構成を示すブロック図である。制御装置１３は、撮影制御部１３１、検出部１３２、投射条件設定部１３３、投射条件記憶部１３４、投射制御部１３５、および制御信号送信部１３６を有する。

撮影制御部１３１は、投射範囲を撮影装置１１に撮影させ、撮影装置１１が撮影した画像データを取得する。撮影装置１１による撮影のタイミングは、任意に設定できる。例えば、撮影制御部１３１は、所定の時間間隔で、投射範囲を撮影装置１１に撮影させる。例えば、撮影制御部１３１は、所定のタイミングで、投射範囲を撮影装置１１に撮影させる。撮影制御部１３１は、投射範囲の静止画を撮影装置１１に撮影させてもよいし、投射範囲の動画を撮影装置１１に撮影させてもよい。本実施形態では、撮影装置１１によって撮影された静止画を画像データと呼ぶ。また、本実施形態では、撮影装置１１によって撮影された動画を構成するフレーム画像のことも画像データと呼ぶ。撮影制御部１３１は、取得した画像データを検出部１３２に出力する。

検出部１３２は、撮影制御部１３１から画像データを取得する。検出部１３２は、取得した画像データから被投射体を検出する。例えば、検出部１３２は、画像データから抽出される特徴に基づいて、被投射体を検出する。例えば、検出部１３２は、画像データから抽出される指の形状や、指の位置関係等の特徴に基づいて、手のひらを検出する。例えば、検出部１３２は、取得した画像データから抽出される形状や色などの特徴に基づいて、手のひらを検出する。

検出部１３２は、画像データから被投射体を検出すると、被投射体の投射点を検出する。例えば、被投射体の投射点は、手のひらの中心である。例えば、検出部１３２は、手のひらに対する親指の位置や、指の位置関係等に基づいて、手のひらの中心を検出する。手のひらの中心は、手のひらの重心点等で定義されてもよいが、選択可能な選択要素の表示が手のひらに収まりさえすれば、特に限定を加えない。

検出部１３２は、投射点を検出すると、投射点と選択要素との重なりを画像データから検出する。検出部１３２は、投射点と選択要素との重なりを画像データから検出すると、その選択要素の表示状態を変更する指示を投射条件設定部１３３に出力する。また、検出部１３２は、表示状態が変更された選択要素が投射点からずれたことを画像データから検出すると、その選択要素の表示状態を元に戻す指示を投射条件設定部１３３に出力する。例えば、投射範囲に人物が進入してから表示情報を投射するように設定する場合、検出部１３２は、撮影装置１１によって撮影された画像データから人物が検出されてから、表示情報を表示させる指示を投射条件設定部１３３に出力する。

検出部１３２は、選択要素の表示状態が変更された状態で、被投射体の検出対象動作を検出すると、その検出対象動作に応じて表示情報を変更する指示を投射条件設定部１３３に出力する。例えば、検出部１３２は、ユーザの手のひらに表示された選択要素の表示状態が変更された状態で、そのユーザが「手を握る動作」を検出対象動作として検出すると、その選択要素の表示状態を変更する指示を投射条件設定部１３３に出力する。例えば、検出部１３２は、ある選択要素に対して検出対象動作を検出すると、その選択要素を消させたり、その選択要素を異なる記号で置換させたり、枠で囲わしたりする指示を投射条件設定部１３３に出力する。

また、検出部１３２は、選択要素の表示状態が変更された状態で、被投射体の検出対象動作を検出すると、その検出対象動作に応じた制御をするための制御信号を生成する。検出部１３２は、生成した制御信号を制御信号送信部１３６に出力する。例えば、検出部１３２は、自動ドアの開閉器や、エレベータの昇降器、スピーカの音量調整器、テレビのチャンネル切替器、電子機器のスイッチ等の制御対象装置を制御するための制御信号を生成する。いくつかの選択要素を組み合わせて制御対象装置を制御する場合、検出部１３２は、所定回数の選択要素の選択に応じた制御信号を生成する。例えば、４桁の暗証番号を入力する場合、検出部１３２は、４回の選択要素の選択を受け付けた後に、選択された選択要素に基づく制御信号を生成する。例えば、選択中の選択要素を記憶させる記憶部を検出部１３２に設けてもよい。

投射条件設定部１３３は、表示情報を投射するための投射条件を設定する。例えば、投射条件設定部１３３は、検出部１３２の指示に応じて、表示情報を投射するための投射条件を設定する。投射条件設定部１３３が設定する投射条件には、後述の光源制御条件および変調素子制御条件が含まれる。投射条件設定部１３３は、設定した投射条件を投射制御部１３５に出力する。

投射条件設定部１３３は、投射範囲に表示させる表示情報に対応するパターンを投射条件記憶部１３４から取得する。例えば、投射装置１２が位相変調型の空間光変調器１２６を含む場合、投射範囲に表示させる表示情報に対応するパターンは位相分布である。以下においては、位相変調型の空間光変調器１２６を用いる例について説明する。

投射条件設定部１３３は、投射装置１２から光を出射させるタイミングや、出射させる光の出力を制御するための光源制御条件を設定する。光源制御条件は、投射装置１２に含まれる照射部１２１が光１２０を出射するタイミングを制御するための条件である。例えば、光源制御条件は、投射条件記憶部１３４に記憶させておけばよい。また、投射条件設定部１３３は、投射範囲に表示させる表示情報を制御するための変調素子制御条件を設定する。変調素子制御条件は、投射範囲に表示させる表示情報に表示させる像に対応するパターンを空間光変調器１２６の表示部に表示させる条件に相当する。例えば、光源制御条件や変調素子制御条件は、投射条件記憶部１３４に予め記憶させておく。

投射条件設定部１３３は、投射光１５０を照射するタイミングにおいて、表示情報を表示させるための位相分布を投射条件記憶部１３４から取得する。投射条件設定部１３３は、取得した位相分布と、投射タイミングとを含む投射条件を投射制御部１３５に出力する。

また、投射条件設定部１３３は、選択要素の表示状態を変更する指示を検出部１３２から受信すると、その選択要素の表示状態を変更する投射条件を設定する。例えば、投射条件設定部１３３は、投射点と重なる選択要素を点滅させる投射条件を設定する。例えば、投射条件設定部１３３は、投射点と重なる選択要素を拡大させる投射条件を設定する。例えば、投射条件設定部１３３は、投射点と重なる選択要素に対応付けられた他の要素を投射させる投射条件を設定する。例えば、他の要素とは、初めに表示されていた表示情報に含まれる選択要素に対応付けられた更なる選択要素である。例えば、他の要素とは、選択要素を選択するための目印である。また、投射条件設定部１３３は、選択要素の表示状態が変更されている際に、その選択要素の表示状態を元に戻す指示を検出部１３２から取得すると、その選択要素の表示状態を元に戻すための投射条件を設定する。

投射条件設定部１３３は、検出対象動作に応じて表示情報を変更する指示を検出部１３２から受信すると、その検出対象動作に応じた表示情報を投射するための投射条件を設定する。例えば、投射条件設定部１３３は、検出部１３２の指示に応じて、表示状態の変更された選択要素を消したり、その選択要素を異なる記号で置換したり、枠で囲ったりするように投射条件を設定する。

投射条件記憶部１３４には、選択要素を含む表示情報に対応するパターンが記憶される。また、投射条件記憶部１３４には、選択要素の表示状態を変更するためのパターンが記憶される。例えば、投射条件記憶部１３４には、選択要素を含む表示情報に対応する位相分布や、選択要素の表示状態を変更するための位相分布が記憶される。例えば、投射条件記憶部１３４には、図形や記号、数字、文字等の情報を投射領域に表示させるためのパターンが記憶される。また、投射条件記憶部１３４には、投射条件に含まれる光源制御条件や変調素子制御条件が記憶される。

投射制御部１３５は、投射条件設定部１３３から投射条件を取得する。投射制御部１３５は、投射条件設定部１３３が設定した投射条件に応じて、投射範囲に向けて投射光１５０を投射するように投射装置１２を制御する。投射制御部１３５は、投射範囲に表示させる像に対応するパターンを空間光変調器１２６の表示部に表示させるタイミングと、投射装置１２の照射部１２１から照射される光の照射タイミングとを同期させる。その結果、投射範囲には、空間光変調器１２６の表示部に表示されたパターンに対応する像が表示される。

制御信号送信部１３６は、検出部１３２から制御信号を受信する。制御信号送信部１３６は、受信した制御信号を制御対象装置（図示しない）に出力する。制御信号送信部１３６からの制御信号を受信した制御対象装置は、その制御信号に応じて動作する。

（動作）
次に、本実施形態に係る情報入力システム１の動作について図面を参照しながら説明する。以下においては、撮影装置１１、投射装置１２、および制御装置１３の各々の動作について、個別に説明する。以下においては、撮影装置１１、投射装置１２、および制御装置１３の各々の動作の概略について説明し、詳細な動作については省略する場合がある。撮影装置１１、投射装置１２、および制御装置１３の詳細な動作は、上記の構成や、後述する適用例において説明する。

〔撮影装置〕
図９は、撮影装置１１の動作の一例について説明するためのフローチャートである。図９のフローチャートに沿った処理に関しては、撮影装置１１を動作主体として説明する。図９のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。

図９において、まず、撮影装置１１は、制御装置１３の制御に応じて、投射範囲を撮影する（ステップＳ１１１）。例えば、撮影装置１１は、制御装置１３の制御に応じて、静止画や動画を撮影する。撮影装置１１による撮影は、制御装置１３から停止指示を受信するまで継続される。

次に、撮影装置１１は、撮影した投射範囲の画像データを制御装置１３に送信する（ステップＳ１１２）。制御装置１３から停止指示を受信していない場合は（ステップＳ１１３においてＮｏ）、ステップＳ１１１に戻る。

制御装置１３から停止指示を受信すると（ステップＳ１１３においてＹｅｓ）、撮影装置１１は、投射範囲の撮影を停止する（ステップＳ１１４）。

〔投射装置〕
図１０は、投射装置１２の動作の一例について説明するためのフローチャートである。図１０のフローチャートに沿った処理に関しては、投射装置１２を動作主体として説明する。図１０のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。

図１０において、まず、投射装置１２は、制御装置１３の制御に応じて、選択要素を含む表示情報を投射範囲に投射する（ステップＳ１２２）。投射装置１２による表示情報の投射は、制御装置１３から停止指示を受信するまで継続される。

ここで、制御装置１３から表示情報の変更指示を受信すると（ステップＳ１２２でＹｅｓ）、投射装置１２は、その変更指示に応じて表示情報を変更する（ステップＳ１２３）。ステップＳ１２３の後は、ステップＳ１２２に戻る。また、制御装置１３から表示情報の変更指示を受信しておらず（ステップＳ１２２でＮｏ）、停止指示信号を受信していない場合（ステップＳ１２４でＮｏ）も、ステップＳ１２２に戻る。

制御装置１３から表示情報の変更指示を受信しておらず（ステップＳ１２２でＮｏ）、停止指示信号を受信した場合（ステップＳ１２４でＹｅｓ）、投射装置１２は、表示情報の投射を停止する（ステップＳ１２５）。

〔制御装置〕
図１１は、制御装置１３の動作の一例について説明するためのフローチャートである。図１１のフローチャートに沿った処理に関しては、制御装置１３を動作主体として説明する。図１１のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。

図１１において、まず、制御装置１３は、投射装置１２に対して投射制御を行う（ステップＳ１３１）。投射装置１２から投射される表示情報は、投射範囲内の床面や壁面、天井面、机上面等に表示される。

次に、制御装置１３は、撮影装置１１に対して撮影制御を行う（ステップＳ１３２）。撮影装置１１による投射範囲の撮影は、制御装置１３による停止指示が出されるまで継続される。

次に、制御装置１３は、投射範囲の画像データを撮影装置１１から受信する（ステップＳ１３３）。例えば、制御装置１３は、撮影装置１１から受信した画像データから被投射体や投射点を検出しやすくするために、受信された画像データに画像処理を加える。

画像データから被投射体を検出すると（ステップＳ１３４でＹｅｓ）、制御装置１３は、動作検出処理を実行する（ステップＳ１３５）。動作検出処理の詳細については後述する。例えば、制御装置１３は、画像データから抽出される特徴に基づいて、被投射体を検出する。例えば、被投射体は、ユーザの手のひらである。例えば、制御装置１３は、画像データから抽出される指の形状や、指の位置関係等の特徴に基づいて、手のひらを検出する。一方、画像データから被投射体を検出していない場合は（ステップＳ１３４でＮｏ）、ステップＳ１３２に戻る。

ステップＳ１３５の動作検出処理の後、停止信号を出力する場合（ステップＳ１３６でＹｅｓ）、制御装置１３は、撮影装置１１および投射装置１２に停止指示を送信する（ステップＳ１３７）。一方、ステップＳ１３５の動作検出処理の後、停止信号を出力しない場合（ステップＳ１３６でＮｏ）、ステップＳ１３２に戻る。

〔動作検出処理〕
次に、制御装置１３による動作検出処理について図面を参照しながら説明する。図１２は、制御装置１３による動作検出処理の一例について説明するためのフローチャートである。図１２のフローチャートに沿った処理は、図１１のステップＳ１３５の動作検出処理に相当する。図１２のフローチャートに沿った処理に関しては、制御装置１３を動作主体として説明する。図１２のフローチャートに沿った処理の動作主体は、情報入力システム１であってもよい。

図１２において、まず、制御装置１３は、被投射体の投射点を検出する（ステップＳ１４１）。例えば、制御装置１３は、親指からの距離や、指の位置関係等に基づいて、手のひらの中心を検出する。

投射点と重なる選択要素を検出すると（ステップＳ１４２でＹｅｓ）、制御装置１３は、投射点と重なる選択要素を強調表示させる投射条件を生成し、その投射条件を投射装置１２に出力する（ステップＳ１４３）。一方、投射点と重なる選択要素を検出していない場合（ステップＳ１４２でＮｏ）、制御装置１３は、投射点と重なる選択要素を検出するまで待機する。

ステップＳ１４３の後、検出対象動作を検出すると（ステップＳ１４４でＹｅｓ）、制御装置１３は、検出された動作に応じて、表示情報を変更する投射条件を投射装置１２に出力する（ステップＳ１４５）。一方、検出対象動作を検出していない場合（ステップＳ１４４でＮｏ）、制御装置１３は、ステップＳ１４２に戻る。なお、検出対象動作を検出していない場合（ステップＳ１４４でＮｏ）、制御装置１３は、検出対象動作を検出するまで待機してもよい。

ステップＳ１４５の後、別の検出動作がある場合（ステップＳ１４６でＹｅｓ）、ステップＳ１４４に戻る。一方、別の検出動作がない場合（ステップＳ１４６でＮｏ）、制御装置１３は、選択された選択要素に応じた制御信号を生成し、生成された制御信号を制御対象装置（図示しない）に出力する（ステップＳ１４７）。ステップＳ１４７の後は、図１１のステップＳ１３６に進む。

（適用例）
次に、本実施形態の情報入力システム１の適用例について図面を参照しながら説明する。以下においては、選択要素を含む表示情報を床面に投射する例を示す。以下においては、被投射体として人の手のひらを検出し、投射点として手のひらの中心を検出する例を示す。以下においては、数字や文字、アルファベット等が黒い色で示されるが、実際の表示情報は、投射装置１２から投射される投射光１５０の色に応じた色で表示される。また、以下においては、白抜きの矢印で時間の推移を示し、ハッチングを掛けた矢印で手の移動する向きを示す。

〔適用例１〕
図１３は、適用例１について説明するための概念図である。本適用例は、３行×３列のマトリックス状に配列された９個の選択要素から、一つの選択要素を選択する例である。本適用例における検出対象動作は、「手を握る動作」である。

図１３（１－１）は、９個の選択要素を含む表示情報が、投射範囲の床面にマトリックス状に表示された状態である。表示情報は、「４」、「１」、「７」、「９」、「８」、「２」、「５」、「０」、「６」を選択要素として含む。本適用例では、床面に表示された９個の数字のうちいずれかが選択される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図１３（１－２）は、表示情報が表示された床面と情報入力システム１との間に、ユーザの右手が挿入された状態である。図１３（１－２）では、いくつかの数字が手のひらに表示されている。手のひらに表示される数字の大きさは、情報入力システム１との距離に応じて、床面に表示される数字よりも小さく、手のひらが挿入された高さに応じて変化する。

図１３（１－３）は、図１３（１－２）の状態から、ユーザが手を左側に移動させたことにより、投射点である手の中心に重なった選択要素の「９」の表示状態が変更された状態である。図１３（１－３）では、手の中心に重なった選択要素の「９」が拡大表示される。図１３（１－３）の状態は、選択要素「９」が選択対象であることを示す。

図１３（１－４）は、選択要素の「９」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１３（１－４）では、「手を握る動作」が検出されたことにより、選択要素の「９」が消える。選択要素の「９」が消えることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１３（１－４）では、選択要素の「９」が消えることにより、選択要素の「９」が入力されたことを認識できる。

図１４は、本適用例の利用シーンについて説明するための概念図である。図１４は、セキュリティが設定された自動ドアの手前に複数の選択要素を含む表示情報を表示させ、それらの選択要素を選択して暗証番号を入力する例である。図１４の例では、自動ドアの開閉器が被制御装置に相当する。

図１４（１）は、９個の選択要素を含む表示情報が、投射範囲の床面に表示された状態である。表示情報は、「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、「９」を選択要素として含む。図１４（１）は、図１３（１－１）に対応する。

図１４（２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入された状態である。図１４（２）では、いくつかの数字が手のひらに表示されている。図１４（２）は、図１３（１－２～４）に対応する。図１４の例では、図１４（２）において暗証番号の入力が行われたものとする。

図１４（３）は、ユーザによって入力された暗証番号による認証が成功したことを示す表示情報をドアに表示した状態である。図１４（３）では、「PLEASE ENTER」という表示情報がドアに表示される。図１４（３）は、選択要素が選択された状態で、検出対象動作が行われたことによる表示情報の変更に相当する。

図１４（４）は、ユーザによって入力された暗証番号による認証が成功し、制御対象装置である開閉器が駆動され、自動ドアが開いた状態である。図１４（４）の自動ドアが開くタイミングにおいては、表示情報の投射が停止されている。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、パスワードや暗証番号の入力に用いることができる。

〔適用例２〕
図１５は、適用例２について説明するための概念図である。本適用例は、縦に一列に並べられた５個の選択要素から、一つの選択要素を選択する例である。本適用例における検出対象動作は、「手を握る動作」である。

図１５（２－１）は、５個の選択要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「２」、「３」、「４」、および「５」を選択要素として含む。本適用例では、床面に表示された５個の数字のうちいずれかが選択される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図１５（２－２）は、表示情報が表示された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「３」の表示状態が変更された状態である。図１５（２－２）では、手の中心に重なった選択要素の「３」が点滅表示されている。図１５（２－２）の状態では、選択要素「３」が選択対象であることを示す。

図１５（２－３）は、選択要素の「３」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１５（２－３）では、「手を握る動作」が検出されたことにより、選択要素の「３」が消える。選択要素の「３」が消えることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１５（２－３）では、選択要素の「３」が消えることにより、選択要素の「３」が入力されたことを認識できる。

図１５（２－４）は、入力された選択要素の「３」の位置に「・」を表示させた状態である。図１５（２－４）では、選択要素の「３」が消えた位置に「・」が表示されることにより、選択要素の「３」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、エレベータの階数の選択等に用いることができる。

〔適用例３〕
図１６は、適用例３について説明するための概念図である。本適用例は、縦に一列に並べられた４個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、４個の主要素、または４個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手を握る動作」である。

図１６（３－１）は、４個の選択要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「１０」、「２０」、および「３０」を選択要素として含む。「１」、「１０」、「２０」、および「３０」は、主要素である。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図１６（３－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「２０」の表示状態が変更された状態である。図１６（３－２）では、手の中心に重なった選択要素の「２０」が点滅表示される。本適用例では、図１６（３－２）の状態において、選択要素「２０」に対応付けられた横棒（バーとも呼ぶ）が表示される。横棒には、少なくとも一つの副要素が対応付けられる。横棒に沿って手を右向きに移動させると、主要素である選択要素の「２０」に対応付けられた副要素が、移動量に応じて表示される。本適用例では、主要素である選択要素「２０」には、副要素である選択要素「２１～２９」が対応付けられているものとする。

図１６（３－３）は、横棒線に沿って右向きに移動された手の中心に、副要素の選択要素である「２３」が表示された状態である。本適用例では、選択要素の「２３」が表示されることが、投射点である手の中心に重なった選択要素の表示状態の変更に相当する。

図１６（３－４）は、選択要素の「２３」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１６（３－４）では、「手を握る動作」が検出されたことにより、選択要素の「２３」を囲む円が表示される。選択要素の「２３」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１６（３－４）では、選択要素の「２３」が円で囲まれることにより、選択要素の「２３」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、高層エレベータの階数の選択等のように、選択要素が多い場合に好適である。

〔適用例４〕
図１７は、適用例４について説明するための概念図である。本適用例は、縦に一列に並べられた４個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、４個の主要素、または４個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手を握る動作」である。

図１７（４－１）は、４個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「１０」、「２０」、および「３０」を選択要素として含む。１」、「１０」、「２０」、および「３０」は、主要素である。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図１７（４－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「２０」の表示状態が変更された状態である。図１７（４－２）では、手の中心に重なった選択要素の「２０」が点滅表示される。本適用例では、図１７（４－２）の状態において、選択要素「２０」に対応付けられた複数の副要素が、初めに表示されていた主要素の右方に縦２列で表示される。主要素である選択要素の「２０」に対応付けられた複数の副要素が表示された状態で、手を右向きに移動させると、主要素である「２０」に対応付けられた副要素が選択可能になる。本適用例では、主要素である選択要素「２０」には、副要素である選択要素「２１～２９」が対応付けられているものとする。

図１７（４－３）は、右向きに移動された手の中心に、選択要素の「２７」が重なった状態である。図１７（４－３）では、手の中心に重なった選択要素の「２７」が点滅表示されている。

図１７（４－４）は、選択要素の「２７」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１７（４－４）では、「手を握る動作」が検出されたことにより、選択要素の「２７」を囲む円が表示される。選択要素の「２７」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１７（４－４）では、選択要素の「２７」が円で囲まれることにより、選択要素の「２７」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、適用例３と同様に、高層エレベータの階数の選択等のように、選択要素が多い場合に好適である。

〔適用例５〕
図１８は、適用例５について説明するための概念図である。本適用例は、縦に一列に並べられた４個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、４個の主要素、または４個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手を右向きに移動させる動作」と「手を握る動作」である。「手が右向きに移動する動作」は、「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、「手が右斜め下向きに移動する動作」を含む。

図１８（５－１）は、４個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「１」、「１０」、「２０」、および「３０」を選択要素として含む。「１」、「１０」、「２０」、および「３０」は、主要素である。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図１８（５－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「２０」の表示状態が変更された状態である。図１８（５－２）では、手の中心に重なった選択要素の「２０」が点滅表示される。本適用例では、選択要素が選択された状態で、手が右方向に移動する動作が検出対象動作として検出されると、選択された状態の主要素に対応付けられた複数の副要素が、移動方向に応じて表示される。本適用例では、「手が右向きに移動する動作」は、「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、および「手が右斜め下向きに移動する動作」を含む。「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、および「手が右斜め下向きに移動する動作」は、別の検出対象動作として検出する。例えば、「手が右斜め上向きに移動する動作」、「手が右横向きに移動する動作」、および「手が右斜め下向きに移動する動作」によって表示される副要素は、手を上下方向に移動させることで切り替わるように構成してもよい。

図１８（５－３）は、図１８（５－２）の状態から、手が右斜め上向きに移動することによって、「手が右斜め上向きに移動する動作」が検出され、その動作が検出された際に表示される副要素が表示される例である。図１８（５－３）は、副要素として「２７」、「２８」、「２９」が表示された状態である。図１８（５－３）では、手の中心に重なった「２９」の表示状態が変更されて点滅表示されている。選択要素の「２９」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出されると、選択中の選択要素である「２９」が入力される。「手を握る動作」の検出に応じた表示状態の変化や制御信号の出力については、説明を省略する。

図１８（５－４）は、図１８（５－２）の状態から、手が右横向きに移動することによって、「手が右横向きに移動する動作」が検出され、その動作が検出された際に表示される副要素が表示される例である。図１８（５－４）は、副要素として「２４」、「２５」、「２６」が表示された状態である。図１８（５－４）では、手の中心に重なった「２５」の表示状態が変更されて点滅表示されている。選択要素の「２５」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出されると、選択中の選択要素である「２５」が入力される。「手を握る動作」の検出に応じた表示状態の変化や制御信号の出力については、説明を省略する。

図１８（５－５）は、図１８（５－２）の状態から、手が右斜め下向きに移動することによって、「手が右斜め下向きに移動する動作」が検出され、その動作が検出された際に表示される副要素が表示される例である。図１８（５－５）は、副要素として「２１」、「２２」、「２３」が表示された状態である。図１８（５－５）では、手の中心に重なった「２１」の表示状態が変更されて点滅表示されている。選択要素の「２１」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出されると、選択中の選択要素である「２３」が入力される。「手を握る動作」の検出に応じた表示状態の変化や制御信号の出力については、説明を省略する。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、適用例３～４と同様に、高層エレベータの階数の選択等のように、選択要素が多い場合に好適である。本適用例では、表示される副要素の数を減らせるので、適用例３～４と比べると、選択要素を見つけやすくなる。

〔適用例６〕
図１９は、適用例６について説明するための概念図である。本適用例は、横方向に延びる横棒と、その横棒上の位置に関連付けられた数字を選択要素として含む表示情報を用いる例である。本適用例では、横棒上の位置に関連付けられた複数の数字のうち一つを選択する。本適用例における検出対象動作は、「手を握る動作」である。

図１９（６－１）は、横方向に延びる横棒（バーとも呼ぶ）を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。横棒上の位置には、左端から右端に向けて、選択要素である０～１００の数字が対応付けられる。すなわち、横棒には、少なくとも一つの選択要素が対応付けられる。例えば、選択要素である０～１００の数字は、等間隔で配置される。横棒に沿って手を左右に移動させ、横棒上の各位置に手の中心が重なったことが検出されると、各位置に対応付けられた選択要素が表示される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図１９（６－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「６５」が表示された状態である。本適用例では、選択要素の「６５」が表示されることが、投射点である手の中心に重なった選択要素の表示状態の変更に相当する。なお、図１９（６－２）では、選択要素「６５」が対応付けられた横棒上0の位置に円形の目印が表示される。

図１９（３－３）は、選択要素の「６５」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図１９（６－３）では、「手を握る動作」が検出されたことにより、選択要素の「６５」を囲む円が表示される。選択要素の「６５」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図１９（６－３）では、選択要素の「６５」が円で囲まれることにより、選択要素の「６５」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、スピーカやマイクの音量の変更等に用いることができる。本適用例によれば、スピーカやマイクの音量の変更を直感的な感覚で行うことができる。

〔適用例７〕
図２０は、適用例７について説明するための概念図である。本適用例は、高さ方向の位置に関連付けられた複数の数字を選択要素として含む表示情報を用いる例である。本適用例では、高さ方向の位置に関連付けられた複数の数字のうち一つを選択する。また、本適用例では、選択要素の数字の大きさに応じた扇型の表示情報を、各々の数字に対応付けて表示させる。本適用例における検出対象動作は、「手が上下に移動する動作」と「手を握る動作」である。

本適用例では、投射範囲の床面に表示された目印（図示しない）を手のひらの位置に合わせると、その手のひらに選択要素が表示されるものとする。高さ方向の位置には、下から上に向けて、選択要素である０～１００の数字が対応付けられる。例えば、選択要素である０～１００の数字は、等間隔で配置されてもよいし、異なる間隔で配置されてもよい。

例えば、事前にキャリブレーションを行い、最小値である０の高さ方向の位置と、最大値である１００の高さ方向の位置を設定しておいてもよい。例えば、キャリブレーションで設定された最低高さよりも手の高さが低い場合は最小値の０、キャリブレーションで設定された最大高さよりも手の高さが高い場合は最大値の１００を表示させればよい。手の高さは、情報入力システム１によって検出される手の大きさに応じて判別できる。

図２０（７－１）は、投射範囲の床面に表示された目印と、情報入力システム１との間に挿入された手のひらに、高さ方向の位置に応じた選択要素の「５０」と、その選択要素の数字の大きさに対応付けられた扇型が表示された状態である。図２０（７－１）の扇型の中心角は、選択要素の「５０」に対応付けられた角度（例えば１８０度）で表示される。垂直方向に手を上下に移動させると、各高さに対応付けられた選択要素が表示される。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図２０（７－２）は、表示情報が投射された床面と情報入力システム１との間に挿入されたユーザの右手が、図２０（７－１）の高さよりも低い位置に移動した状態である。本適用例では、「手が上下に移動する動作」が検出されると、手の高さに応じた選択要素が表示される。表示される選択要素が変更されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。「手が上下に移動する動作」は、画像データ上の手の大きさの変動によって検出できる。図２０（７－２）は、高さ方向の位置に応じた選択要素の「２５」と、その選択要素の数字の大きさに対応付けられた扇型が表示された状態である。図２０（７－２）の扇型の中心角は、選択要素の「２５」に対応付けられた角度（例えば９０度）で表示される。

図２０（７－３）は、表示情報が投射された床面と情報入力システム１との間に挿入されたユーザの右手が、図２０（７－１）の高さよりも高い位置に移動した状態である。図２０（７－３）は、高さ方向の位置に応じた選択要素の「７５」と、その選択要素の数字の大きさに対応付けられた扇型が表示された状態である。図２０（７－３）の扇型の中心角は、選択要素の「７５」に対応付けられた角度（例えば２７０度）で表示される。

図２０（７－４）は、選択要素の「７５」が手に表示された状態で、検出対象動作である「手を握る動作」が検出された状態である。図２０（７－４）では、「手を握る動作」が検出されたことにより、扇型が消され、選択要素の「７５」を囲む円が表示される。扇型が消され、選択要素の「７５」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２０（７－４）では、選択要素の「７５」が円で囲まれることにより、選択要素の「７５」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、スピーカやマイクの音量の変更等に用いることができる。本適用例によれば、スピーカやマイクの音量の変更を直感的な感覚で行うことができる。

〔適用例８〕
図２１は、適用例８について説明するための概念図である。本適用例は、マトリックス状に配置された主要素（あ段の平仮名）と、それらの主要素に対応付けられた複数の副要素（各行の平仮名）とを、選択要素として含む表示情報を用いる例である。なお、主要素の「わ」に対応付けられた副要素は、「を」と「ん」である。本適用例では、１０個の主要素、または１０個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例は、フリック入力を想定するが、主要素の「わ」の両脇の記号等を入力する箇所については説明を省略する。本適用例における検出対象動作は、「親指を閉じる動作」と「手を握る動作」である。

図２１（８－１）は、１０個の主要素を含む表示情報が、投射範囲の床面にマトリックス状に表示された状態である。表示情報は、主要素である「あ」、「か」、「さ」、「た」、「な」、「は」、「ま」、「や」、「ら」、および「わ」を選択要素として含む。なお、表示情報は、壁面や天井面、机上面等に表示されてもよい。

図２１（８－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「な」の表示状態が変更された状態である。図２１（８－２）では、手の中心に重なった選択要素の「な」が点滅表示されている。主要素である選択要素の表示状態が変更された状態で、「親指を閉じる動作」が検出されると、選択中の主要素に対応付けられた複数の副要素が表示される。

図２１（８－３）は、主要素の「な」が選択された状態で「親指を閉じる動作」が検出され、主要素の「な」に対応付けられた複数の副要素が手のひらに表示された状態である。図２１（８－３）では、主要素である「な」の周囲に、な行の平仮名（「に」、「ぬ」、「ね」、「の」）が副要素として表示される。主要素である「な」に対応付けられた複数の副要素が表示された状態で手を移動させると、主要素である「な」に対応付けられた複数の副要素（「に」、「ぬ」、「ね」、「の」）が表示される。

図２１（８－４）は、左向きに移動された手の中心に、選択要素の「に」が重なった状態である。図２１（８－４）では、手の中心に重なった選択要素の「に」が点滅表示されている。

図２１（８－５）は、選択要素の「に」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２１（８－５）では、「手を握る動作」が検出されたことにより、選択要素の「に」を囲む円が表示される。選択要素の「に」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２１（８－５）では、選択要素の「に」が円で囲まれることにより、選択要素の「に」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、フリック操作で平仮名や片仮名、アルファベット等の文字や記号を入力するのに用いることができる。

〔適用例９〕
図２２は、適用例９について説明するための概念図である。本適用例は、縦に一列に並べられた３個の主要素と、それらの選択要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、３個の主要素、または３個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手が左向きに移動する動作」、「手が右向きに移動する動作」、および「手を握る動作」である。

図２２（９－１）は、３個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「Ｃｈ」、「ＯＮ」、および「ＯＦＦ」を選択要素として含む。選択要素の「Ｃｈ」は、テレビなどの電子機器のチャンネル（Channel）を示す。選択要素の「ＯＮ」は、テレビなどの電子機器の電源を入れることを示す。選択要素の「ＯＦＦ」は、テレビなどの電子機器の電源を消すことを示す。なお、表示情報は、壁面や天井面等に表示されてもよい。

図２２（９－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「Ｃｈ」の表示状態が変更された状態である。図２２（９－２）では、手の中心に重なった主要素である選択要素の「Ｃｈ」が点滅表示されている。図２２（９－２）の状態で、手を左右に動かすと、「手が左向きに移動する動作」または「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「Ｃｈ」に対応付けられた複数の副要素が縦１列で表示される。本適用例では、主要素の「Ｃｈ」の左右に異なる複数の副要素が対応付けられているものとする。

図２２（９－３）は、図２２（９－２）の状態から手を左向きに動かしたことで、「手が左向きに移動する動作」という検出対象動作が検出され、主要素の「Ｃｈ」の左側に対応付けられた複数の副要素が縦１列で表示された状態である。図２２（９－３）では、手が左向きに移動する動作」という検出対象動作の検出に応じて、主要素の「Ｃｈ」の左側に対応付けられた複数の副要素（「７」、「８」、「９」、「１０」、「１３」）が表示される。主要素の「Ｃｈ」の左側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。

図２２（９－４）は、主要素である「Ｃｈ」の左側に対応付けられた複数の副要素が表示された状態で、上向きに移動された手の中心に選択要素の「８」が重なり、選択要素の「８」の表示状態が変更された状態である。図２２（９－４）では、手の中心に重なった選択要素の「８」が点滅表示されている。

図２２（９－５）は、選択要素の「８」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２２（９－５）では、「手を握る動作」が検出されたことにより、選択要素の「８」を囲む円が表示される。選択要素の「８」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２２（９－５）では、選択要素の「８」が円で囲まれることにより、選択要素の「８」が入力されたことを認識できる。

図２２（９－６）は、図２２（９－２）の状態から手を右向きに動かしたことで、「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「Ｃｈ」の右側に対応付けられた複数の副要素が縦１列で表示された状態である。図２２（９－６）では、「手が右向きに移動する動作」という検出対象動作の検出に応じて、主要素の「Ｃｈ」の右側に対応付けられた複数の副要素（「１」、「３」、「４」、「５」、「６」）が表示される。主要素の「Ｃｈ」の左側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。

図２２（９－７）は、主要素である「Ｃｈ」の右側に対応付けられた複数の副要素が表示された状態で、下向きに移動された手の中心に選択要素の「５」が重なり、選択要素の「５」の表示状態が変更された状態である。図２２（９－７）では、手の中心に重なった選択要素の「５」が点滅表示されている。

図２２（９－８）は、選択要素の「５」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２２（９－８）では、「手を握る動作」が検出されたことにより、選択要素の「５」を囲む円が表示される。選択要素の「５」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２２（９－８）では、選択要素の「５」が円で囲まれることにより、選択要素の「５」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、テレビの番組の選択等に用いることができる。

〔適用例１０〕
図２３は、適用例１０について説明するための概念図である。本適用例は、縦に一列に並べられた３個の主要素と、それらの主要素に関連付けられた複数の副要素とを、選択要素として含む表示情報を用いる例である。本適用例では、３個の主要素、または３個の主要素に関連付けられた複数の副要素のうち一つを選択する。本適用例における検出対象動作は、「手が左向きに移動する動作」、「手が右向きに移動する動作」、および「手を握る動作」である。

図２３（１０－１）は、３個の主要素を含む表示情報が、投射範囲の床面に縦に一列で表示された状態である。表示情報は、「ＴＰ」、「ＯＮ」、および「ＯＦＦ」を選択要素として含む。選択要素の「ＴＰ」は、エアコンなどの温度調整可能な機器の設定温度（Temperature）を示す。選択要素の「ＯＮ」は、エアコンなどの機器の電源を入れることを示す。選択要素の「ＯＦＦ」は、エアコンなどの機器の電源を消すことを示す。以下においては、エアコンの温度設定を行う例をあげる。なお、表示情報は、壁面や天井面、机上等に表示されてもよい。

図２３（１０－２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「ＴＰ」の表示状態が変更された状態である。図２３（１０－２）では、手の中心に重なった選択要素の「ＴＰ」が点滅表示されている。本適用例では、選択要素の「ＴＰ」の表示状態が変更されてから所定の時間が経過すると、現在の設定温度が選択要素として表示されるものとする。

図２３（１０－３）は、選択要素の「ＴＰ」の表示状態が変更されてから所定の時間が経過し、主要素の「ＴＰ」が現在の設定温度（「２４」）に変更された状態である。図２３（１０－３）では、手の中心に重なった選択要素の「２４」が点滅表示されている。図２３（１０－３）の状態で、手を左右に動かすと、「手が左向きに移動する動作」または「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「ＴＰ」に対応付けられた複数の副要素が縦１列で表示される。本適用例では、主要素の「ＴＰ」の左右に異なる複数の副要素が対応付けられているものとする。

図２３（１０－４）は、図２３（１０－３）の状態から手を左向きに動かしたことで、「手が左向きに移動する動作」という検出対象動作が検出され、主要素の「ＴＰ」の左側に対応付けられた複数の副要素が縦１列で表示された状態である。図２３（１０－４）では、「手が左向きに移動する動作」という検出対象動作の検出に応じて、主要素の「ＴＰ」の左側に対応付けられた複数の副要素（「２０」、「２１」、「２２」、「２３」）が表示される。主要素の「ＴＰ」の左側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。

図２３（１０－５）は、主要素の「ＴＰ」の左側に対応付けられた複数の副要素が表示された状態で、上向きに移動された手の中心に選択要素の「２３」が重なり、選択要素の「２３」の表示状態が変更された状態である。図２３（１０－５）では、手の中心に重なった選択要素の「２３」が点滅表示されている。

図２３（１０－６）は、選択要素の「２３」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２３（１０－６）では、「手を握る動作」が検出されたことにより、選択要素の「２３」を囲む円が表示される。選択要素の「２３」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２３（１０－６）では、選択要素の「２３」が円で囲まれることにより、選択要素の「２３」が入力されたことを認識できる。

図２３（１０－７）は、図２３（１０－３）の状態から手を右向きに動かしたことで、「手が右向きに移動する動作」という検出対象動作が検出され、主要素の「ＴＰ」の右側に対応付けられた複数の副要素が縦１列で表示された状態である。図２３（１０－７）では、「手が右向きに移動する動作」という検出対象動作の検出に応じて、主要素の「ＴＰ」の右側に対応付けられた複数の副要素（「２５」、「２６」、「２７」、「２８」）が表示される。主要素の「ＴＰ」の右側に対応付けられた複数の副要素が表示された状態で、手を上下に移動することで、それらの選択要素を選択できる。

図２３（１０－８）は、主要素の「ＴＰ」の右側に対応付けられた複数の副要素が表示された状態で、下向きに移動された手の中心に選択要素の「２６」が重なり、選択要素の「２６」の表示状態が変更された状態である。図２３（１０－８）では、手の中心に重なった選択要素の「２６」が点滅表示されている。

図２３（１０－９）は、選択要素の「２６」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２３（１０－９）では、「手を握る動作」が検出されたことにより、選択要素の「２６」を囲む円が表示される。選択要素の「２６」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２３（１０－９）では、選択要素の「２６」が円で囲まれることにより、選択要素の「２６」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で選択し、選択された複数の選択要素に応じた制御を実行できる。例えば、本適用例は、エアコンの温度設定等に用いることができる。

〔適用例１１〕
図２４は、適用例１１について説明するための概念図である。本適用例は、選択要素を含む表示情報を、検出対象動作に応じて変更する例である。本適用例では、複数の選択要素のうち一つを選択する。本適用例では、複数の選択要素として、アルファベットに含まれる文字を選択する例をあげる。本適用例における検出対象動作は、「親指を閉じる動作」と「手を握る動作」である。

図２４（１１－１）は、選択要素の「Ａ」を含む表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入され、投射点である手の中心に重なった選択要素の「Ａ」の表示状態が変更された状態である。図２４（１１－１）では、手の中心に重なった選択要素の「Ａ」が点滅表示される。図２４（１１－１）のように、選択要素の表示状態が変更された状態で、「親指を閉じる動作」が検出されると、選択中の選択要素に対応付けられた別の選択要素が表示される。本適用例では、「親指を閉じる動作」の検出に応じて、アルファベットが「Ａ」、「Ｂ」、「Ｃ」、・・・といった順番で表示されるものとする。

図２４（１１－２）は、選択要素の「Ａ」が選択された状態で「親指を閉じる動作」が検出され、選択要素の「Ａ」を含む表示情報が消えた状態である。なお、「親指を閉じる動作」の検出に応じて選択要素を変更する際に、表示されていた選択要素が消えたことをユーザに視認させずに、その選択要素に後続する選択要素を表示させてもよい。

図２４（１１－３）は、選択要素の「Ａ」が選択された状態で「親指を閉じる動作」が検出され、選択要素の「Ａ」に後続する選択要素の「Ｂ」が手のひらに表示された状態である。図２４（１１－３）では、手の中心に重なった選択要素の「Ｂ」が点滅表示されている。

図２４（１１－４）は、選択要素の「Ｂ」が手の中心に重なった状態で、検出対象動作である「手を握る動作」が検出された状態である。図２４（１１－４）では、「手を握る動作」が検出されたことにより、選択要素の「Ｂ」を囲む円が表示される。選択要素の「Ｂ」を囲む円が表示されることは、検出対象動作の検出に合わせた表示状態の変更に相当する。図２４（１１－４）では、選択要素の「Ｂ」が円で囲まれることにより、選択要素の「Ｂ」が入力されたことを認識できる。

本適用例によれば、投射範囲に表示された表示情報に含まれる複数の選択要素を片手で変更し、変更された選択要素の選択に応じた制御を実行できる。例えば、本適用例は、平仮名やカタカナ、アルファベット等の文字や、数字、記号等を入力するのに用いることができる。

〔利用シーン〕
次に、本実施形態の情報入力システム１の利用シーンについて一例をあげて説明する。図２５および図２６は、所望の階のフロアに向かうエレベータを呼び出す利用シーンの一例である。図２５および図２６においては、地下１階地上５階建てのビルの１階のフロアにいる複数の人物がエレベータを呼び出す例を示す。図２５や図２５の利用シーンのように、エレベータを呼ぶことは、一種の予約システムへの適用に相当する。

図２５は、エレベータに近づいてくる人物を認識し、認識された人物によって視認される投射範囲にフロアの階数を選択要素として含む表示情報を表示させる例である。図２５（１）は、５個の選択要素を含む表示情報が、投射範囲の床面に表示された状態である。表示情報は、「Ｂ１」、「２」、「３」、「４」、「５」を選択要素として含む。図２５（１）では、左側の人物と右側の人物の各々に対して、表示情報が表示される。図２５（２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの右手が挿入された状態である。図２５（２）では、左側の人物が「Ｂ１」を選択し、右側の人物が「５」を選択したものとする。図２５（３）は、「Ｂ１」を選択した左側の人物と、「５」を選択した右側の人物に対して、異なる方向に向かうエレベータが来ることを知らせる矢印を含む表示情報を、人物ごとに表示させる例である。図２５（４）は、呼び出したエレベータが到着してエレベータのドアが開いた状態である。図２５（４）の自動ドアが開くタイミングにおいては、表示情報の投射が停止されている。

図２６は、エレベータに近づいてくる人物を認識し、認識された人物によって視認される投射範囲にエレベータの方向を選択要素として含む表示情報を表示させる例である。図２６（１）は、２個の選択要素を含む表示情報が、投射範囲の床面に表示された状態である。表示情報は、上向き三角形「△」と下向き三画形「▽」を選択要素として含む。上向き三角形「△」は上の階に向かうエレベータを呼び出すための目印であり、下向き三角形「▽」は下の階に向かうエレベータを呼び出すための目印である。図２６（１）では、左側の人物と右側の人物の各々に対して、表示情報が表示される。図２６（２）は、表示情報が投射された床面と情報入力システム１との間に、ユーザの足が挿入された状態である。図２６（２）では、左側の人物が下向き三画形「▽」を選択し、右側の人物が上向き三角形「△」を選択したものとする。図２６（３）は、下向き三画形「▽」を選択した左側の人物と、上向き三角形「△」を選択した右側の人物に対して、異なる方向に向かうエレベータが来ることを知らせる矢印を含む表示情報を、人物ごとに表示させる例である。図２６（４）は、呼び出したエレベータが到着してエレベータのドアが開いた状態である。図２６（４）の自動ドアが開くタイミングにおいては、表示情報の投射が停止されている。エレベータの階数の選択は、適用例２～５（図１５～図１８）の手法を用いて、エレベータの中で行うことができる。

例えば、情報入力システム１は、エレベータに近づいてくる人物に対しては表示情報を表示させ、エレベータから遠ざかる人物やエレベータの前を通り過ぎる人物に対しては表示情報を表示ないように制御してもよい。例えば、情報入力システム１は、エレベータの近傍に位置する人物の所定動作を認識して、表示情報を表示させてもよい。例えば、情報入力システム１は、車椅子に乗っている人物のように足を用いることができない人物に対しては、図２５のように、手のひらにおいて選択要素を選択できる表示情報を表示させるように制御する。例えば、情報入力システム１は、人物の状態に合わせて、手のひらを用いた選択要素の選択（図２５）と、足を用いた選択要素の選択（図２６）とを切り替えてもよい。例えば、情報入力システム１は、エレベータの稼働状況に関する表示情報を、エレベータのドアや、エレベータの前の床面に表示させてもよい。

以上のように、本実施形態の情報入力システムは、投射装置、撮影装置、および制御装置を備える。投射装置は、制御装置の制御に応じて、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する。撮影装置は、制御装置の制御に応じて、投射装置の投射範囲を撮影する。制御装置は、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出する。制御装置は、画像において投射点と重なった選択要素の表示状態を変更するように投射装置を制御する。制御装置は、表示状態が変更された選択要素に対する検出対象動作の検出に応じて表示情報を変更するように投射装置を制御する。

本実施形態の情報入力システムは、手のひらに表示された選択要素が選択可能な状態になったことを、その選択要素の表示状態を変更させることで、ユーザに視認させる。選択可能な選択要素を視認したユーザは、その選択要素が選択対象であれば、その選択要素の表示状態が変更されたままの状態で検出対象動作を行うことで、その選択要素を選択できる。そして、本実施形態の情報入力システムは、表示状態が変更された状態の選択要素に対する検出対象動作を検出すると、その選択要素が選択されたことをユーザに知らせるように表示情報を変更する。そのため、本実施形態の情報入力システムによれば、選択要素の選択状況を表示情報の表示状態の変更によって視認できるので、片手で安定した入力操作を行うことができる。

本実施形態の一態様の制御装置は、撮影制御部、検出部、投射条件設定部、および投射制御部を備える。撮影制御部は、投射装置の投射範囲を撮影する撮影装置を制御する。検出部は、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出する。検出部は、投射点と重なった選択要素の表示状態を変更する指示を出力する。検出部は、表示状態が変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて表示情報を変更する指示を出力する。投射条件設定部は、検出部から出力された指示に応じて、投射装置の投射条件を投射制御部に設定する。投射制御部は、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する。

本実施形態の一態様において、検出部は、被投射体の形状、大きさ、および位置のうち少なくともいずれかの変化に応じて、検出対象動作を検出する。

本実施形態の一態様において、被投射体は手のひらであり、投射点は手のひらの中心である。検出部は、手を握る動作、手を移動する動作、および親指を閉じる動作のうち少なくともいずれかを検出対象動作として検出する。

本実施形態の一態様において、選択要素は、少なくとも一つの主要素と、主要素に対応付けられた少なくとも一つの副要素とを含む。検出部は、表示状態が変更された主要素に対する検出対象動作の検出に応じて、主要素に対応付けられた少なくとも一つの副要素を表示するように表示情報を変更する指示を出力する。

本実施形態の一態様において、投射条件設定部は、少なくとも一つの選択要素が対応付けられたバーを表示させる投射条件を設定する。投射制御部は、投射条件に基づいて、バーを含む表示情報を投射範囲の内部に表示させる投射光を投射するように投射装置を制御する。検出部は、バーを含む表示情報が撮影された画像から、バーにおける被投射体の位置を検出し、バーにおける被投射体の位置に応じた選択要素を表示するように表示情報を変更する指示を投射条件設定部に出力する。

本実施形態の一態様の制御装置は、制御対象装置を制御する制御信号を出力する制御信号出力部を備える。検出部は、選択要素の選択状況に応じて制御信号を生成し、生成された制御信号を制御信号出力部に出力する。

本実施形態の一態様の投射装置は、位相変調型の空間光変調器を有する。投射装置は、投射条件に応じて、空間光変調器の表示部に表示される位相分布と、空間光変調器の表示部に光を照射するタイミングとが制御され、空間光変調器の表示部に照射された光の反射光を投射光として投射する。

（第２の実施形態）
次に、第２の実施形態に係る制御装置について図面を参照しながら説明する。本実施形態の制御装置は、第１の実施形態の制御装置を簡略化した構成である。図２７は、本実施形態の制御装置２０の構成の一例を示すブロック図である。制御装置２０は、撮影制御部２１、検出部２２、投射条件設定部２３、および投射制御部２５を備える。

撮影制御部２１は、投射装置（図示しない）の投射範囲を撮影する撮影装置（図示しない）を制御する。検出部２２は、撮影装置によって撮影された画像から被投射体を検出し、検出された被投射体を含む画像から投射点を検出する。検出部２２は、投射点と重なった選択要素の表示状態を変更する指示を出力する。検出部２２は、表示状態が変更された選択要素に対する検出対象動作を検出し、検出対象動作の検出に応じて表示情報を変更する指示を出力する。投射条件設定部２３は、検出部から出力された指示に応じて、投射装置の投射条件を投射制御部に設定する。投射制御部２５は、少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する。

以上のように、本実施形態の制御装置は、手のひらに表示された選択要素が選択可能な状態になったことを、その選択要素の表示状態を変更させることで、ユーザに視認させる。選択可能な選択要素を視認したユーザは、その選択要素が選択対象であれば、その選択要素の表示状態が変更されたままの状態で検出対象動作を行うことで、その選択要素を選択できる。そして、本実施形態の制御装置は、表示状態が変更された状態の選択要素に対する検出対象動作を検出すると、その選択要素が選択されたことをユーザに知らせるように表示情報を変更する。そのため、本実施形態の制御装置によれば、選択要素の選択状況を表示情報の表示状態の変更によって視認できるので、片手で安定した入力操作を行うことができる。

（ハードウェア）
ここで、本発明の各実施形態に係る制御装置の処理を実行するハードウェア構成について、図２８の情報処理装置９０を一例として挙げて説明する。なお、図２８の情報処理装置９０は、各実施形態の制御装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。

図２８のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６を備える。図２８においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５、および通信インターフェース９６は、バス９８を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る制御装置による処理を実行する。

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。

補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。

情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。

また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。

以上が、本発明の各実施形態に係る制御装置を可能とするためのハードウェア構成の一例である。なお、図２８のハードウェア構成は、各実施形態に係る制御装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る制御装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。

各実施形態の制御装置の構成要素は、任意に組み合わせることができる。また、各実施形態の制御装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 情報入力システム
１１ 撮影装置
１２ 投射装置
１３ 制御装置
２０ 制御装置
２１ 撮影制御部
２２ 検出部
２３ 投射条件設定部
２５ 投射制御部
１１１ 撮像素子
１１３ 画像処理プロセッサ
１１５ 内部メモリ
１１７ データ出力回路
１２１ 照射部
１２２ 光源
１２３ コリメートレンズ
１２５ 光源駆動電源
１２６ 空間光変調器
１２９ 投射光学系
１３１ 撮影制御部
１３２ 検出部
１３３ 投射条件設定部
１３４ 投射条件記憶部
１３５ 投射制御部
１３６ 制御信号送信部
１９１ フーリエ変換レンズ
１９２ アパーチャ
１９３ 投射レンズ

Claims (8)

1. 被投射体の高さ方向の位置に関連付けられた少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する投射制御手段と、
   前記投射装置の投射範囲を撮影する撮影装置を制御する撮影制御手段と、
   前記撮影装置によって撮影された画像から被投射体を検出し、検出された前記被投射体を含む画像から投射点を検出し、検出された前記被投射体の高さに対応付けられた選択要素を表示する指示を出力し、表示された選択要素に対する検出対象動作を検出し、前記検出対象動作の検出に応じて、表示中の前記表示情報を、当該選択要素の入力の受付を示す表示に変更する指示を出力する検出手段と、
   前記検出手段から出力された指示に応じて、前記投射装置の投射条件を前記投射制御手段に設定する投射条件設定手段と、を備える制御装置。
2. 前記検出手段は、
   前記被投射体の形状、大きさ、および位置のうち少なくともいずれかの変化に応じて、前記検出対象動作を検出する請求項１に記載の制御装置。
3. 前記被投射体は手のひらであり、
   前記投射点は手のひらの中心であり、
   前記検出手段は、
   手を握る動作、手を移動する動作、および親指を閉じる動作のうち少なくともいずれかを前記検出対象動作として検出する請求項１または２に記載の制御装置。
4. 制御対象装置を制御する制御信号を出力する制御信号出力手段を備え、
   前記検出手段は、
   前記選択要素の選択状況に応じて前記制御信号を生成し、生成された前記制御信号を前記制御信号出力手段に出力する請求項１乃至３のいずれか一項に記載の制御装置。
5. 請求項１乃至４のいずれか一項に記載の制御装置と、
   前記制御装置の制御に応じて投射光を投射する投射装置と、
   前記制御装置の制御に応じて撮影する撮影装置と、を備える情報入力システム。
6. 前記投射装置は、
   位相変調型の空間光変調器を有し、
   前記投射条件に応じて、前記空間光変調器の表示部に表示される位相分布と、前記空間光変調器の表示部に光を照射するタイミングとが制御され、前記空間光変調器の表示部に照射された光の反射光を前記投射光として投射する請求項５に記載の情報入力システム。
7. 被投射体の高さ方向の位置に関連付けられた少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御し、
   前記投射装置の投射範囲を撮影する撮影装置を制御し、
   前記撮影装置によって撮影された画像から被投射体を検出し、
   検出された前記被投射体を含む画像から投射点を検出し、
   検出された前記被投射体の高さに対応付けられた選択要素を表示する指示を出力し、
   表示された選択要素に対する検出対象動作を検出し、前記検出対象動作の検出に応じて、表示中の前記表示情報を、当該選択要素の入力の受付を示す表示に変更する指示を出力し、
   前記入力の受付を示す表示に変更する指示に応じて、表示中の前記表示情報を、前記選択要素の入力の受付を示す表示に変更するように前記投射装置を制御する、制御方法。
8. コンピュータに、
   被投射体の高さ方向の位置に関連付けられた少なくとも一つの選択要素を含む表示情報を表示させる投射光を投射する投射装置を制御する処理と、
   前記投射装置の投射範囲を撮影する撮影装置を制御する処理と、
   前記撮影装置によって撮影された画像から被投射体を検出する処理と、
   検出された前記被投射体を含む画像から投射点を検出する処理と、
   検出された前記被投射体の高さに対応付けられた選択要素を表示する指示を出力する処理と、
   表示された選択要素に対する検出対象動作を検出し、前記検出対象動作の検出に応じて、表示中の前記表示情報を、当該選択要素の入力の受付を示す表示に変更する指示を出力する処理と、
   前記入力の受付を示す表示に変更する指示に応じて、表示中の前記表示情報を、当該選択要素の入力の受付を示す表示に変更するように前記投射装置を制御する処理と、を実行させるプログラム。

Images