WO2022158209A1

WO2022158209A1 - 空間浮遊映像表示装置

Info

Publication number: WO2022158209A1
Application number: PCT/JP2021/046981
Authority: WO
Inventors: 宏明 ▲高▼橋; 浩二平田; 浩司藤田; 寿紀杉山
Original assignee: マクセル株式会社
Priority date: 2021-01-25
Filing date: 2021-12-20
Publication date: 2022-07-28
Also published as: US20240036634A1; JP2022113411A; CN116530099A

Abstract

空間浮遊映像を非接触ユーザインタフェースとして用いる場合に、ユーザにとって使い勝手がより良く、視認性や操作性がより高く、誤操作や誤入力の防止や低減等に好適な技術を提供する。本発明によれば、持続可能な開発目標の「3すべての人に健康と福祉を」、「9産業と技術革新の基盤をつくろう」、「11住み続けられるまちづくりを」に貢献する。空間浮遊映像表示装置１０００は、映像表示装置１と、再帰反射部材２とを備え、再帰反射部材２からの反射光に基づいて空間浮遊映像３を形成し、空間浮遊映像３の面または当該面に表示されるオブジェクトを含む空間領域に対する、ユーザＵの手指ＵＨの位置を含む操作の状態を検出するためのセンサ４と、センサ４で検出した情報に基づいて、手指ＵＨの位置の付近に対し、超音波による音圧を形成することで、手指ＵＨに触覚の感覚を生成する指先触覚生成装置６とを備える。

Description

空間浮遊映像表示装置

　本発明は、空間浮遊映像表示装置の技術に関する。

　空間浮遊情報表示システムとして、外部に向かって空間浮遊映像を表示する映像表示装置や、ユーザによる入力操作が可能な空間浮遊映像をユーザインタフェースないしマンマシンインタフェースとして表示する表示方法などは、既に知られている。従来の液晶タッチパネル等のようにユーザの手指を物理的な表示面に接触させる必要がある「接触ユーザインタフェース」に対し、このような空間浮遊映像は、「非接触ユーザインタフェース」としての利用が可能である。

　先行技術例として、特開２０１９－１２８７２２号公報（特許文献１）には、空中表示された実体の無い操作対象物の映像を操作する操作者に、確実に操作感を与えることが可能な表示操作装置を提供する旨が開示されている。

特開２０１９－１２８７２２号公報

　先行技術例では、空気中に形成される像に対する操作の誤検知を低減することを目的として、ユーザが予め定めた方向から像に接近する場合、ユーザの動きを操作として受け付けることで、目的を達成する旨が記載されている。

　空間浮遊映像表示装置により表示される映像である空間浮遊映像は、空間内に浮遊したような状態で表示される。ユーザは、その空間浮遊映像を視認することはできる。しかし、その空間浮遊映像が表示された空間内位置には、「実体としての映像」は存在しない。言い換えると、当該位置には、空気以外の物体として接触可能な面などは無い。

　したがって、空間浮遊映像を非接触ユーザインタフェースとして用いる場合、ユーザは、例えば、従来のタッチパネル画面内の押しボタン（ＧＵＩ画像として構成されたオブジェクト）のように、「物体に接触した」という確かな触覚の感覚（例えばタッチ感）を得ることはできない。そのため、誤操作や誤入力を誘発しやすい。例えば、ユーザがボタンをタッチしたつもりでもタッチ操作されたと判定されない場合や、ユーザがボタンをタッチしたつもりが無くてもタッチ操作されたと判定される場合が生じる可能性がある。

　本発明の目的は、空間浮遊映像表示装置の技術に関して、生成された空間浮遊映像を非接触ユーザインタフェースとして用いる場合に、ユーザにとって使い勝手がより良く、視認性や操作性がより高く、誤操作や誤入力の防止や低減等に好適な技術を提供することである。

　本発明のうち代表的な実施の形態は以下に示す構成を有する。実施の形態の空間浮遊映像表示装置は、空間浮遊映像を形成する空間浮遊映像表示装置であって、映像を表示する表示装置と、前記表示装置からの映像光を再帰反射させる再帰反射部材と、を備え、前記再帰反射部材からの反射光に基づいて前記空間浮遊映像を形成し、前記空間浮遊映像の面または当該面に表示されるオブジェクトを含む空間領域に対する、ユーザの手指の位置を含む操作の状態を検出するためのセンサと、前記センサで検出した情報に基づいて、前記手指の位置の付近に対し、超音波による音圧を形成することで、前記手指に触覚の感覚を生成する触覚生成装置と、を備える。

　本発明のうち代表的な実施の形態によれば、空間浮遊映像表示装置の技術に関して、生成された空間浮遊映像を非接触ユーザインタフェースとして用いる場合に、ユーザにとって使い勝手がより良く、視認性や操作性がより高く、誤操作や誤入力の防止や低減等に好適な技術を提供することである。上記以外の課題、構成および効果等については、［発明を実施するための形態］において説明される。

本発明の一実施の形態に係る空間浮遊映像表示装置の機能ブロック構成例を示す。一実施の形態の空間浮遊映像表示装置の主要部構成例等を示す。再帰反射部材の構成例を示す。再帰反射部材への光線の入射および反射の例を示す。空間浮遊映像表示装置での正規像およびゴースト像を示す模式説明図である。一実施の形態の空間浮遊映像表示装置の主要部構成の他の例を示す。一実施の形態の空間浮遊映像表示装置での遮光部材の構成例を示す。一実施の形態の空間浮遊映像表示装置での遮光部材の他の構成例を示す。一実施の形態の空間浮遊映像表示装置での空間浮遊映像による非接触ユーザインタフェースの一構成例を示す。図９の空間浮遊映像に対するユーザによる視線方向の例を示す。一実施の形態の空間浮遊映像表示装置での空間浮遊映像による非接触ユーザインタフェースの他の構成例を示す。図１１の空間浮遊映像に対するユーザによる視線方向の例を示す。一実施の形態の空間浮遊映像表示装置での、超指向性スピーカの配置例を示す。一実施の形態の空間浮遊映像表示装置での、超指向性スピーカの他の配置例を示す。一実施の形態の空間浮遊映像表示装置での、空間浮遊映像、超指向性スピーカ、およびカメラの配置例を示す。一実施の形態の空間浮遊映像表示装置での、空間浮遊映像、超指向性スピーカ、およびカメラの他の配置例を示す。一実施の形態の空間浮遊映像表示装置の構成として、ユーザ、空間浮遊映像、および指先触覚生成装置等を側面から見た構成を示す。一実施の形態の空間浮遊映像表示装置での、指先触覚生成部である指先触覚生成装置の構成例を示す。一実施の形態の空間浮遊映像表示装置での、インダクタンス回路の構成例を示す。一実施の形態の空間浮遊映像表示装置での、超音波素子アレイの平面での位相グループの構成例を示す。一実施の形態の空間浮遊映像表示装置での、空間浮遊映像による非接触ユーザインタフェースの構成例、および指先触覚生成装置等の配置例を示す。一実施の形態の空間浮遊映像表示装置での、空間浮遊映像による非接触ユーザインタフェースの構成例、および指先触覚生成装置等の他の配置例を示す。一実施の形態の空間浮遊映像表示装置での、指先触覚生成装置の他の配置例を示す。一実施の形態の空間浮遊映像表示装置での、空間浮遊映像に対する操作の例を示す。一実施の形態での、表示装置の光源拡散特性に関する説明図である。一実施の形態での、表示装置の光源拡散特性に関する説明図である。一実施の形態での、表示装置の構成例を示す。一実施の形態での、光源装置の構成例を示す断面図である。一実施の形態での、光源装置の構成例を示す断面図である。一実施の形態の空間浮遊映像表示装置の主要部の構成を示す配置図である。一実施の形態の空間浮遊映像表示装置での、映像表示装置の構成例を示す断面図である。一実施の形態での、光源装置の構成例を示す断面図である。一実施の形態での、光源装置の構成例を示す断面図である。一実施の形態での、光源装置の構成例を示す断面図である。一実施の形態での、光源装置の構成例を示す断面図である。一実施の形態での、導光体の断面拡大図である。一実施の形態での、表示装置の拡散特性に関する説明図である。一実施の形態での、表示装置の拡散特性に関する説明図である。一実施の形態での、表示装置の構成例を示す断面図である。

　以下、図面を参照しながら本発明の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、各構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合があり、本発明は、図面に開示された構成には限定されない。

　説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵやＧＰＵ等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ、ＣＰＬＤ等が適用可能である。

　プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてインストールされてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体でもよい。プログラムは、複数のプログラムモジュールから構成されてもよい。コンピュータシステムは、複数の計算機で構成されてもよい。プログラムは、複数のプログラムモジュールで構成されてもよい。コンピュータシステムは、クライアントサーバシステムやクラウドコンピューティングシステムで構成されてもよい。

　＜従来技術例＞
　従来技術例の空間浮遊映像表示装置としては、高解像度なカラー表示映像源として有機ＥＬパネルや液晶パネル等の映像表示装置を、再帰反射部材と組み合わせた構成が挙げられる。従来技術例の空間浮遊映像表示装置では、映像光が広角で拡散する。また、従来技術例の空間浮遊映像表示装置では、再帰反射部材２を構成する再帰性反射部２ａは、図３や図４にも示すように、６面体である。このため、従来技術例の空間浮遊映像表示装置では、正規に反射する反射光の他に、図４に示すように、再帰反射部材２（複数の再帰性反射部２ａ）に斜めから入射する映像光よって、図５に示すように、正規な空間浮遊映像３である正規像Ｒ１の他に、ゴースト像として、第１ゴースト像Ｇ１から第６ゴースト像Ｇ６まで、複数のゴースト像が発生する。これにより、空間浮遊映像の画質を損ねていた。

　図５は、正規のユーザの視点（標準的な正しい位置にあるアイポイント）から空間浮遊映像を視認する際の見え方の例を示している。従来技術例ではゴースト像Ｇ１～Ｇ６が発生する。実施の形態ではそのようなゴースト像を防止し、正規像Ｒ１のみを得る。ゴースト像の発生は、ユーザにとって煩わしいだけでなく、本来のユーザ以外の人（例えばユーザの付近にいる他人）によっても、空間浮遊映像と同じ内容を持つゴースト像が観視されてしまう可能性があり、大きな課題となっていた。

　また、従来技術例の空間浮遊映像表示装置における空間浮遊映像による非接触ユーザインタフェースでは、空間浮遊映像とユーザの目線とのずれ等によって、ユーザが選択操作したつもりのオブジェクト（例えば押しボタン）とは異なるオブジェクトが選択操作される等の誤入力が発生するという特有の課題も明らかになっている。従来技術例は、空間浮遊映像による非接触ユーザインタフェースを適用した機器やシステムにおいて、こうしたユーザの意思に反した誤入力を誘発し得る。例えば、銀行のＡＴＭ装置に適用した場合に、金額の入力誤り等の大きな誤りを引き起こす可能性がある。また、例えば高齢者のような視力が比較的弱い人がユーザである場合には、上記のような誤入力が発生する頻度が高くなる恐れがある。上記のような誤入力・誤操作は、今後の空間浮遊映像表示装置の様々な用途への普及・適用という観点からも大きな課題である。

　一方、実施の形態の空間浮遊映像表示装置は、従来技術例の空間浮遊映像表示装置で空間浮遊映像の視認性を著しく低下させるゴースト像を無くし、空間浮遊映像の明るさを向上させることで、視認性を改善する構成を備える。その上で、実施の形態の空間浮遊映像表示装置は、外部の空中における空間浮遊映像が表示される箇所で、ユーザが指先によって空間浮遊映像の面に対するタッチ等の操作を行う際に、当該指先に対し、物理的な接触の感覚（タッチ感等）を生成する機能を備える。例えば、空間浮遊映像は、少なくとも１つのボタンをタッチする方式の非接触ユーザインタフェースとして用いられる。その場合に、ユーザが指先でそのボタンをタッチする際に、空間浮遊映像表示装置は、この機能によって、当該指先に、物理的なボタンをタッチしたような感覚をタッチ感として生成・付与する。

　さらに、実施の形態の空間浮遊映像表示装置は、ユーザが空間浮遊映像の面にタッチ操作した際に、指先が接触した箇所（例えばタッチしたボタン）に対応させた音声（例えばボタンに記載の数字等の音声）を、その箇所近傍から発生させる機能を備える。

　以下に示す一実施の形態の空間浮遊映像表示装置では、生成した空間浮遊映像を、押しボタン等のオブジェクトを含んだ非接触ユーザインタフェースとして用いる場合を例に説明する。なお、このオブジェクトとは、空間浮遊映像およびグラフィカルユーザインタフェース（ＧＵＩ）を構成する要素や部品であって、空気以外の物理的な実体は持たないが視認できる映像・画像である。

　＜空間浮遊映像表示装置＞
　図１は、一実施の形態の空間浮遊映像表示装置の機能ブロック構成例を示す。図１の空間浮遊映像表示装置１０００は、再帰性反射部１１０１、映像表示部１１０２、導光体１１０４、光源１１０５、電源１１０６、操作入力部１１０７、不揮発性メモリ１１０８、メモリ１１０９、制御部１１１０、映像信号入力部１１３１、音声信号入力部１１３３、通信部１１３２、空中操作検出センサ１３５１、空中操作検出部１３５０、指先触覚生成部（言い換えるとタッチ感生成部）１２３０、音声信号出力部１２４０、超指向性スピーカ１２４２、通常スピーカ１２４３、映像制御部１１６０、ストレージ部１１７０、および撮像部１１８０等を備えている。これらの要素は、バス等を通じて相互に接続されている。空間浮遊映像表示装置１０００の主な各構成要素は、筐体１１９０に収容されている。、撮像部１１８０および空中操作検出センサ１３５１は、筐体１１９０の一部として、または筐体１１９０の外側に設けられてもよい。

　図１の再帰性反射部１１０１は、図２の再帰反射部材２と対応している。再帰性反射部１１０１は、映像表示部１１０２により変調された光を再帰性反射する。再帰性反射部１１０１からの反射光のうち、空間浮遊映像表示装置１０００の外部に出力された光により空間浮遊映像３が形成される。図１の映像表示部１１０２は、図２の液晶表示パネル１１と対応しており、カラー表示映像源に相当する。図１の光源１１０５は、図２の光源装置１３と対応している。そして、図１の映像表示部１１０２、導光体１１０４、および光源１１０５は、図２の表示装置１（映像表示装置）と対応している。

　映像表示部１１０２は、映像制御部１１６０による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部１１０２としては、例えば透過型液晶パネルが用いられる。また、映像表示部１１０２としては、例えば、反射する光を変調する方式を用いた反射型液晶パネルやＤＭＤ（Digital Micromirror Device:登録商標）パネル等が用いてられてもよい。光源１１０５は、映像表示部１１０２用の光を発生するもので、例えばＬＥＤ光源、レーザ光源等の固体光源である。電源１１０６は、外部から入力されるＡＣ電流をＤＣ電流に変換し、光源１１０５に電力を供給する。また、電源１１０６は、空間浮遊映像表示装置１０００内の各部に、それぞれ必要なＤＣ電流を供給する。

　導光体１１０４は、光源１１０５で発生した光を導光し、映像表示部１１０２に照射させる。導光体１１０４と光源１１０５とを組み合わせたものを、映像表示部１１０２のバックライトと称することもできる。導光体１１０４と光源１１０５との組み合わせには、様々な方式が考えられる。導光体１１０４と光源１１０５との組み合わせについての具体的な構成例については後述する。

　空中操作検出センサ１３５１は、図２のユーザＵの手指ＵＨによる空間浮遊映像３の操作を検出するためのセンサである。空中操作検出センサ１３５１は、例えば空間浮遊映像３の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ１３５１は、空間浮遊映像３の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。空中操作検出センサ１３５１の具体例としては、赤外線などの非可視光、非可視光レーザ、または超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ１３５１は、複数のセンサを複数組み合わせて、空間浮遊映像３の主面に対応する２次元平面の位置座標を検出できるように構成されたものでもよい。また、空中操作検出センサ１３５１は、ＴｏＦ（Time Of Flight）方式のＬｉＤＡＲ（Light Detection and Ranging）や、画像センサ（言い換えるとカメラ）で構成されてもよい。空中操作検出センサ１３５１は、ユーザＵの手指ＵＨによる空間浮遊映像３として表示されるオブジェクトに対するタッチ操作等の操作を検出するためのセンシングができればよい。このようなセンシングは、既存技術も適用可能である。

　空中操作検出部１３５０は、空中操作検出センサ１３５１からセンシング信号（言い換えると検出情報）を取得し、センシング信号に基づいてユーザＵの手指ＵＨによる空間浮遊映像３のオブジェクトに対する接触の有無を含む状態の判断や、指先とオブジェクトとが接触した位置の算出等を行う。空中操作検出部１３５０は、ＦＰＧＡ等の回路で構成されてもよい。また、空中操作検出部１３５０の一部の機能は、例えば制御部１１１０のプロセッサで実行される空間操作検出用プログラムによるソフトウェアで実現されてもよい。

　空中操作検出センサ１３５１および空中操作検出部１３５０は、空間浮遊映像表示装置１０００に内蔵された構成としてもよいが、空間浮遊映像表示装置１０００とは別体で外部に設けられてもよい。別体で設ける場合、空中操作検出センサ１３５１および空中操作検出部１３５０は、有線または無線の通信接続路や信号伝送路を介して空間浮遊映像表示装置１０００（例えば後述の制御装置）に情報や信号を伝達できるように構成される。空中操作検出センサ１３５１および空中操作検出部１３５０が別体で設けられる場合、空中操作検出機能の無い空間浮遊映像表示装置を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築可能である。また、空中操作検出センサ１３５１のみを別体とし、空中操作検出部１３５０が空間浮遊映像表示装置に内蔵された構成でもよい。空間浮遊映像表示装置の設置位置に対して空中操作検出センサ１３５１をより自由に配置したい場合等には、空中操作検出センサ１３５１のみを別体とする構成に利点がある。

　空中操作検出センサ１３５１や撮像部１１８０（特にカメラ）、後述の超指向性スピーカや超音波素子アレイ等の各要素は、予め設計された固定の位置や向きで配置される構成を基本とするが、その位置や向きを可変としてユーザが調節できる構成としてもよい。

　撮像部１１８０は、例えばイメージセンサを有するカメラを用いて構成され、空間浮遊映像３付近の空間、および／または、空間浮遊映像３を操作するユーザＵの身体（頭、顔、眼、腕、手指などのうち少なくとも一部）を撮像する。撮像部１１８０は、複数設けられてもよい。例えば、撮像部１１８０は、２つ以上のカメラによるステレオカメラとして設けられてもよい。撮像部１１８０は、深度センサ付きの撮像部としてもよい。また、撮像部１１８０は、空中操作検出センサ１３５１および空中操作検出部１３５０による、ユーザＵによる空間浮遊映像３の操作の検出を、補助してもよい。特に、複数の撮像部１１８０、あるいは深度センサ付きの撮像部を用いることで、空中操作検出部１３５０による検出処理を、より容易になるように補助することができる。

　例えば、空中操作検出センサ１３５１は、空間浮遊映像３の表示面を含む平面（侵入検出平面とも記載する）を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサ、あるいは、空間浮遊映像３の面に対する手指ＵＨの接触の有無を検出する接触検出センサ等として構成される。この場合、侵入検出平面内に侵入していない物体（例えば手指ＵＨ）が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのか、といった情報を、空中操作検出センサ１３５１のみでは検出が難しいまたはできない場合がある。このような場合、上記撮像部１１８０のカメラの撮像画像に基づいた物体の深度算出情報や、深度センサによる物体の深度情報等を用いることで、物体と侵入検出平面との距離を算出できる、あるいは、より高精度に算出できる。そして、各種のセンサデバイスを用いて検出・算出したこのような距離を含む各種の情報は、空間浮遊映像３に対する各種の表示制御等に有効に用いることができる。

　また、変形例では、空中操作検出センサ１３５１を用いずに、撮像部１１８０の撮像画像に基づいて、空中操作検出部１３５０がユーザＵによる空間浮遊映像３の操作を検出する構成としてもよい。捉え方を変えれば、空中操作検出センサ１３５１の位置を、図２のような空間浮遊映像３およびユーザＵに近い側の位置（空間浮遊映像３の面の延長上の位置）ではなく、撮像部１１８０の位置のように空間浮遊映像３およびユーザＵに対する反対側の位置（空間浮遊映像３の２次元平面を捉えることができる位置）としてもよい。

　また、撮像部１１８０によって、空間浮遊映像３を操作するユーザＵの顔を撮像し、撮像画像に基づいて、制御部１１１０がユーザＵの識別処理（例えば顔認識に基づいたユーザ認証）を行うようにしてもよい。あるいは、撮像部１１８０によって単に人感センサのような機能を実現してもよい。また、空間浮遊映像３に正対して空間浮遊映像３を操作する正規のユーザＵに対し、その周辺や背後に他人が立っており、その他人が空間浮遊映像３の内容や空間浮遊映像３に対するユーザＵの操作を覗き見る可能性もある。空間浮遊映像３の内容や操作の秘匿性を確保したい場合には、そのような覗き見は防止すべきである。そこで、そのように他人が覗き見していないか等を判別するために、撮像部１１８０によって、空間浮遊映像３を操作するユーザＵとその周辺領域とを含めた範囲を撮像し、他人による覗き見の有無等を判別する構成としてもよい。

　操作入力部１１０７は、例えば操作ボタンやリモートコントローラ受光部であり、ユーザＵによる空間浮遊映像３に対する空中操作とは異なる操作についての信号を入力する。操作入力部１１０７は、空間浮遊映像３を操作するユーザＵとは別の人、例えば管理者が、空間浮遊映像表示装置１０００を操作するために用いられてもよい。

　映像信号入力部１１３１は、接続された外部の映像出力装置からの映像データを入力する。音声信号入力部１１３３は、接続された外部の音声出力装置からの音声データを入力する。一方、音声信号出力部１２４０は、音声信号入力部１１３３に入力された音声データに基づいた音声信号を出力することができる。また、音声信号出力部１２４０は、予めストレージ部１１７０に記録されているデータ、あるいは不揮発性メモリ１１０８に内蔵されているデータに基づいた音声信号を出力してもよい。例えば、数字や文字列等の音声データ、その他の操作音やエラー警告音の音声データが挙げられる。音声データは、空間浮遊映像３およびオブジェクトに関連付けられた音声信号の生成のためのデータを含む。操作音の例は、例えば空間浮遊映像３における押しボタン等のオブジェクトをタッチ操作した時に出力する音（「ポン」等）が挙げられる。

　音声信号出力部１２４０は、通常の可聴帯域の音声を出力するスピーカ（図１での通常スピーカ１２４３）と接続されてもよい。秘匿性を確保する必要が無い音声の場合には、通常スピーカ１２４３の使用でもよい。また、音声信号出力部１２４０は、図１での超指向性スピーカ１２４２と接続されてもよい。空間浮遊映像表示装置１０００を、例えば銀行のＡＴＭ装置などの、セキュリティ等に配慮する必要があるシステムに適用する場合には、ユーザＵ以外の他人には音声を聞き取ることができないように、超指向性スピーカ１２４２の使用が有効である。図１の超指向性スピーカ１２４２は、図２での超指向性スピーカ３０と対応している。

　超指向性スピーカ１２４２は、例えば４０ｋＨｚ程度の超音波信号を発生できる超音波出力素子を平面上に複数個並べたアレイで構成される。この場合、一般に、使用する超音波出力素子の数が多いほど、超指向性スピーカによって得られる音声の音量は大きくなる。

　超指向性スピーカとは、特定の限られた空間領域に存在する人（対応する耳）のみが可聴帯域の音声を聴取することができるように、超指向性の音声を出力するスピーカである。言い換えると、超指向性スピーカは、特定の限られた空間領域の外に存在する人（対応する耳）にはその音声を聴取することができないという特性を有する。超指向性スピーカの原理を簡単に説明する。よく知られるように、超音波は、可聴帯域の音声（例えば人の話し声）と比較して直進性が高い。したがって、上記４０ｋＨｚの超音波信号をキャリアとして、そのキャリアを可聴帯域の音声信号で変調（例えば振幅変調）することで、特定の限られた空間領域だけで音声が聞こえるようにすることが可能である。

　例えば、空間浮遊映像表示装置１０００は、撮像部１１８０（例えば複数のカメラ）を用いることで、空間内でのユーザＵの顔、眼、または耳などの位置を特定する。そして、空間浮遊映像表示装置１０００は、その特定の結果に応じて、ユーザＵの耳の近傍の特定の領域のみで超指向性スピーカ１２４２からの音声が聞こえるように制御することができる。具体的には、空間浮遊映像表示装置１０００は、超指向性スピーカ１２４２を構成する各超音波出力素子に入力する各超音波信号の位相（言い換えると遅延時間）を制御する。これにより、特定の限られた空間領域だけで音声が聞こえるようにできる。

　また、超指向性スピーカ１２４２の構成としては、複数の超音波出力素子を、平面上ではなく、例えば凹面状の曲面に配置する構成によっても、上記特定の限られた空間領域だけで音声が聞こえるようにできる。超指向性スピーカ１２４２は、筐体１１９０の一部として構成されてもよいし、筐体１１９０とは別体として構成されてもよい。具体的な実施例については後述する。

　指先触覚生成部１２３０は、ユーザＵの指先を含む手指ＵＨによる空間浮遊映像３の操作の際に、指先に触覚の感覚を生成・付与する機能を有する部分である。指先触覚生成部１２３０は、ユーザＵの指先による、空間浮遊映像３として表示されたオブジェクトに対するタッチ操作が検出された際に、その指先にあたかも何かの空気以外の物体があるかのような感触をタッチ感として生成・付与する。指先触覚生成部１２３０は、例えば、複数個の超音波出力素子を平面上に並べた超音波素子アレイを用いて構成される。指先触覚生成部１２３０の実施例については後述する。

　指先触覚生成部１２３０は、空中操作検出センサ１３５１および空中操作検出部１３５０によって検出された、空間浮遊映像３のオブジェクトに対するユーザＵの指先によるタッチ位置の情報を用いる。指先触覚生成部１２３０は、超音波素子アレイから、そのタッチ位置に向けて、所定の強さの音圧の超音波を発することができる機能を有する。この超音波は、非常に強い指向性を有している。この超音波がユーザＵの指先に当たることにより、ユーザＵは、自分の指先に、実際にある何かの物体に触ったような感触をタッチ感として得ることができる。この結果、ユーザＵは、空気以外には実際には何も無い空間浮遊映像３として表示された押しボタン等のオブジェクトに対し、空中操作としてのタッチ操作を行った場合でも、自分の指先が物理的なボタンにタッチしたような感触を得ることができる。すなわち、ユーザＵは、タッチ操作を行ったことを、より確実に感じ取ることができる。

　さらに、一実施の形態では、指先触覚生成部１２３０には、超音波信号を、可聴帯域の音声信号によって変調する機能、言い換えると超音波に音声を重畳する機能を備えている。これにより、超音波信号が音声信号で変調されている場合には、ユーザＵがオブジェクトをタッチした指先の近傍から、その音声信号による音声が発せられる。この音声は全方位に向かう。ユーザＵは、タッチ操作に伴い、この音声を聞き取ることができる。このため、ユーザＵは、指先にタッチ感が得られるのみならず、その指先近傍で発せられる音声によっても、自分が行ったタッチ操作をより確実に認識することができる。

　指先触覚生成部１２３０は、筐体１１９０の一部として構成されてもよいし、筐体１１９０とは別の筐体を有する装置として構成されてもよい。指先触覚生成部１２３０は、筐体１１９０の外部において所定の位置に配置されてもよいし、位置および向きが可変に調節できる構成としてもよい。図１の指先触覚生成部１２３０は、後述の図１７の指先触覚生成装置６と対応している。

　不揮発性メモリ１１０８は、空間浮遊映像表示装置１０００で用いる各種のデータを格納・保持する。不揮発性メモリ１１０８に格納されるデータには、例えば、空間浮遊映像３を表示するための映像・画像データを含む。このデータは、空間浮遊映像３の少なくとも一部として表示するオブジェクト（文字やボタンやアイコン等）を構成するためのデータを含む。このデータは、各種の操作用のデータ、オブジェクトのレイアウト情報、オブジェクトのメタデータ、制御情報、関連情報等を含んでもよい。メモリ１１０９は、空間浮遊映像３として表示するための映像データや、空間浮遊映像表示装置１０００の制御用のデータ等を記憶する。なお、映像・画像とは、静止画でも動画でもよい。

　制御部１１１０は、空間浮遊映像表示装置１０００のコントローラに相当し、接続される各部の動作を制御する。制御部１１１０は、プロセッサを備え、メモリ１１０９に記憶されるプログラムと協働して、空間浮遊映像表示装置１０００内の各部から取得した情報に基づいた演算処理等を行う。

　通信部１１３２は、有線または無線の通信インタフェースを介して、外部の機器やサーバ等と通信を行う。通信部１１３２を介した通信により、映像・画像データ、音声データ等の各種のデータが送受信される。空間浮遊映像表示装置１０００は、通信部１１３２を介して、外部から指示や映像データ等を取得してもよいし、外部にユーザによる操作結果情報等を出力・保存してもよい。

　ストレージ部１１７０は、映像・画像データ、音声データ等の各種のデータや情報を記録する記憶装置である。ストレージ部１１７０は、不揮発性メモリ１１０８と同様のデータを保持してもよい。ストレージ部１１７０には、例えば、製品出荷時に予め映像・画像データ、音声データ等の各種のデータ・情報が記録されていてもよい。ストレージ部１１７０は、通信部１１３２を介して外部の機器やサーバ等から取得した映像・画像データ、音声データ等の各種のデータ・情報を記録してもよい。ストレージ部１１７０に記録された音声データは、例えば音声信号出力部１１４０を通じて音声として出力可能である。

　映像・画像データと音声データは、所定の関連付けがされる。例えば、ある押しボタンのオブジェクトは、「Ａ」「１」「はい」「いいえ」「やりなおす」といった文字が表示されるオブジェクトであり、そのオブジェクトに対応付けられる画像データは、その文字の文字情報および表示制御情報を持つ、もしくは、その文字の文字画像を持つ。そして、そのオブジェクトの画像データに関連付けられる音声データは、そのオブジェクトに対する所定の操作に応じてその文字を音声として発する場合の音声データを持つ。また、他のあるオブジェクトは、文字が表示されないオブジェクトであるが、その場合にも、そのオブジェクトに対する所定の操作に応じて発する音声の音声データを、関連付けることができる。

　映像制御部１１６０は、映像表示部１１０２に入力する映像信号に関する各種の制御を行う。例えば、映像制御部１１６０は、映像信号の作成、映像信号の切り替え等を行う。例えば、映像制御部１１６０は、映像表示部１１０２に入力する映像信号のソースとして、メモリ１１０９、ストレージ部１１７０、映像信号入力部１１３１、通信部１１３２等のうちどのソースから入力するかを切り替える制御等を行う。また、映像制御部１１６０は、例えばメモリ１１０９上の映像信号と、映像信号入力部１１３１から入力された映像信号とを重畳した重畳映像信号を生成し、その重畳映像信号を映像表示部１１０２に入力するように制御することもできる。これにより、その重畳映像信号に基づいた合成映像を、空間浮遊映像３として形成できる。

　また、映像制御部１１６０は、各ソースの映像信号に対する画像処理の制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分毎の重み付けを変更するレティネックス処理等がある。また、映像制御部１１６０は、映像表示部１１０２に入力する映像信号に対して、ユーザＵによる空間浮遊映像３に対するタッチ操作等の空中操作を補助するための特殊効果映像処理等を行ってもよい。

　特殊効果映像処理は、例えば、空中操作検出部１３５０によるタッチ操作の検出結果や、撮像部１１８０によるユーザＵの撮像画像に基づいて行われる。特殊効果映像の例としては、押しボタンのオブジェクトがタッチ操作された時に、そのタッチ操作を強調して表すように、ボタンが奥行き方向で沈むようなアニメーションや、空間浮遊映像３の面でボタンの周囲に波紋が生じるアニメーション等でもよい。

　空間浮遊映像表示装置１０００（特に映像制御部１１６０）は、メモリ１１０９やストレージ部１１７０等の映像・画像データ等に基づいて、空間浮遊映像３の表示用のデータ（言い換えると映像信号）を作成して、映像表示装置１の映像表示部１１０２に入力する。そして、映像表示部１１０２で生成して出射する映像光が、再帰性反射部１１０１を介して反射されて、空間浮遊映像表示装置１０００の外部に向けて高い指向性を持った映像光として出射される。これにより、外部の所定の位置に空間浮遊映像３が出力・形成される。図２のように、この空間浮遊映像３に対し正対する正規のユーザＵは、空間内の所定の標準的な位置に対応したアイポイントＵＰ（言い換えると眼）から矢印Ａのような方向で空間浮遊映像３を好適に観視することができる。

　上述のように、空間浮遊映像表示装置１０００には様々な機能が搭載されている。ただし、空間浮遊映像表示装置１０００は、これらのすべての機能を備える必要は無く、少なくとも空間浮遊映像３を形成する機能があればよく、様々な形態が可能である。

　＜空間浮遊映像表示装置の例１＞
　図２は、一実施の形態の空間浮遊映像表示装置１０００の主要部構成、および再帰性反射部１１０１の構成例等を示す。図２は、空間内において空間浮遊映像表示装置１０００と正規のユーザＵとが対向する方向に対し側面から見た場合の構成を示す。図２のように、水平面に配置された透明部材１００の斜め方向（水平面に対し角度Ａを持つ方向）には、特定偏波の映像光を挟角に発散させる表示装置１（映像表示装置）を備える。表示装置１は、液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えている。

　表示装置１からの特定偏波の映像光は、透明部材１００（例えばガラス）に設けられた、特定偏波の映像光を選択的に反射する膜を有する偏光分離部材１０１で反射され、再帰反射部材２に入射する。透明部材１００のもう一方の斜め方向（水平面に対し角度Ｂを持つ方向）には、再帰反射部材２が配置されている。偏光分離部材１０１は、図中では、シート状に形成された偏光分離部材が透明部材１００の裏面側（鉛直方向での下面側）に粘着されている。

　再帰反射部材２の映像光入射面には、波長板としてのλ／４板２ｂが設けられている。映像光は、再帰反射部材２への入射の時と出射の時との２回でλ／４板２ｂを通過させられる。これにより、映像光は、特定偏波（言い換えると一方の偏波）から他方の偏波へと偏光変換がされる。ここで、特定偏波の映像光を選択的に反射する偏光分離部材１０１は、偏光変換された後の他方の偏波の偏光を、透過する性質を有する。よって、角度Ｂに対応した斜め方向で、偏光変換後の特定偏波の映像光は、偏光分離部材１０１を外部へと透過する。偏光分離部材１０１を透過した映像光は、透明部材１００の外側の所定の位置に、実像である空間浮遊映像３を形成する。本例での空間浮遊映像３は、主な平面が、透明部材１００の水平面に対し角度Ｃ（角度Ｂに応じた角度）を持って斜めになるように配置されている。本例での空中操作検出センサ１３５１は、図示のように、その空間浮遊映像３の平面の延長上で、透明部材１００の近傍の位置に配置されている。空間浮遊映像３の主な平面は、タッチ操作が可能な範囲とも対応している。

　なお、空間浮遊映像３を形成する光は、再帰反射部材２から空間浮遊映像３の光学像へ収束する光線の集合である。これらの光線は、空間浮遊映像３の光学像を通過後も直進する。よって、空間浮遊映像３は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図２の構成では、その高い指向性の映像光の方向（一点鎖線矢印で示す）と対応した、矢印Ａの方向から、ユーザＵ（対応するアイポイントＵＰ）が空間浮遊映像３を観視する場合、空間浮遊映像３は、明るい映像として視認される。一方、矢印Ａの方向とは異なる方向、例えば矢印Ｂの方向（空間浮遊映像３を裏側から臨む水平方向）から、他人が空間浮遊映像３を観視する場合、空間浮遊映像３は、映像として一切視認できない。この特性は、高いセキュリティが求められる映像や、ユーザＵに正対する人には見られたくない秘匿性の高い映像を表示するシステムに採用する場合、非常に好適である。

　なお、再帰反射部材２の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材１０１で反射されて表示装置１の方に戻る。この光が、表示装置１を構成する液晶表示パネル１１の映像表示面で再反射した結果、ゴースト像（図５）を発生させ、空間浮遊映像３の画質を低下させる可能性がある。そこで、本実施の形態では、表示装置１の映像表示面に、吸収型偏光板１２を設けている。表示装置１から出射する映像光については、吸収型偏光板１２を透過させ、偏光分離部材１０１から戻ってくる反射光については、吸収型偏光板１２で吸収させる。これにより、上記再反射を抑制でき、その結果、ゴースト像による画質低下を防止できる。偏光分離部材１０１は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。

　また、本実施の形態では、図２の透明部材１００の上あるいはその周辺の位置で、空間浮遊映像３を形成するための光路を妨げないような所定の位置に、超指向性スピーカ３０（図１の超指向性スピーカ１２４２と対応している）が配置されている。超指向性スピーカ３０は、図示の一点鎖線矢印の方向（すなわち耳ＵＥに向けた方向）に超指向性の音声を出力する。先述の通り、超指向性スピーカ３０を用いることで、ユーザＵの耳ＵＥの近傍のごく限られた空間領域でのみ、ユーザＵが可聴帯域の音声を聞き取ることができ、ユーザＵの周囲の人にはその音声を聞き取ることができないという特性がある。この特性は、秘匿性の高い音声情報（例えば暗証番号や金額など）を読み上げ等で出力する場合に、特に好適である。

　次に、図３には、代表的な再帰反射部材２の構成例として、日本カ－バイト工業株式会社製の再帰反射部材の表面形状を示す。この再帰反射部材の表面には、規則的に配列された複数の再帰性反射部２ａ（言い換えると再帰性反射素子）としての６角柱を有する。６角柱の内部に入射した光線は、６角柱の壁面と底面で反射されて、再帰反射光として、入射光に対応した方向に出射する。その結果、空間浮遊映像３として、図５に例示するような正規像Ｒ１が形成される。一方、図４に示したように、表示装置１からの映像光のうちで、再帰反射部材２（６角柱）に斜めに入射した映像光によっては、正規像Ｒ１とは別にゴースト像Ｇ１～Ｇ６が形成される。

　実施の形態の空間浮遊映像表示装置１０００は、表示装置１に表示した映像に基づいて、実像である空間浮遊映像３を表示する。この空間浮遊映像３の解像度は、液晶表示パネル１１の解像度の他に、図３で示す再帰反射部材２の再帰性反射部２ａである６角柱の直径ＤとピッチＰとに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネル１１を用いる場合には、１画素（対応する１トリプレット）が約８０μｍでも、例えば直径Ｄが２４０μｍでピッチＰが３００μｍであれば、空間浮遊映像３の１画素は、３００μｍ相当となる。このため、空間浮遊映像３の実効的な解像度は、１／３程度に低下する。

　そこで、空間浮遊映像３の解像度を表示装置１の解像度と同等にするためには、再帰性反射部２ａの直径ＤとピッチＰを、液晶表示パネル１１の１画素に近付ける構成が望まれる。他方、再帰反射部材２の再帰性反射部２ａと液晶表示パネル１１の画素とによるモアレの発生を抑えるためには、それぞれのピッチ比を１画素の整数倍から外した値に設計すると良い。また、形状は、再帰性反射部２ａのいずれの一辺も液晶表示パネル１１の１画素のいずれの一辺とも重ならないように配置すると良い。

　一方、再帰反射部材２を低価格で製造するためには、ロールプレス法を用いて成形すると良い。具体的には、再帰性反射部２ａを整列させてフィルム上に賦形する方法である。この方法では、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布しロール間を通過させることで、必要な形状を賦形し、紫外線を照射して硬化させる。これにより、所望の形状の再帰反射部材２が得られる。

　本実施の形態で、表示装置１は、液晶表示パネル１１と、後述する挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを用いて構成される。これにより、上記再帰反射部材２に対して斜めから映像が入射する可能性が小さくなる。これにより、仮にゴースト像が発生したとしても、ゴースト像の輝度が低いという、構造的に優れたシステムを提供できる。

　＜空間浮遊映像表示装置の例２＞
　図６は、一実施の形態の空間浮遊映像表示装置の主要部構成の他の例を示す。表示装置１は、映像表示素子としての液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを有して構成される。液晶表示パネル１１は、画面サイズが５インチ程度の小型のものから８０インチを超える大型なものまでから選択されたもので構成される。液晶表示パネル１１からの映像光は、例えば反射型偏光板のような偏光分離部材１０１によって、再帰反射部材２に向けて反射される。

　再帰反射部材２の光入射面にはλ／４板２ｂが設けられ、映像光を２度通過させることで、偏光変換（特定偏波を他方の偏波に変換）する。これにより、偏光変換後の映像光は、偏光分離部材１０１を透過し、透明部材１００の外側に、実像である空間浮遊映像３を形成する。上記偏光分離部材１０１では、再帰反射することで偏光軸が不揃いになることがあり、一部の映像光が反射して表示装置１の方に戻る。この光が、再度、液晶表示パネル１１の映像表示面で反射し、その結果、ゴースト像を発生させ、空間浮遊映像３の画質を著しく低下させる可能性がある。そこで、本実施の形態では、表示装置１の映像表示面に、吸収型偏光板１２を設けている。映像光については吸収型偏光板１２を透過させ、反射光については吸収型偏光板１２で吸収させる。これにより、空間浮遊映像３のゴースト像による画質低下が防止される。

　さらに、本実施の形態では、空間浮遊映像装置１０００のセットの外部の太陽光や照明光等の外光による画質低下を軽減するために、透明部材１００の表面（外光入射面）には、図示のように吸収型偏光板１２Ｂを設けると良い。偏光分離部材１０１は、例えば反射型偏光板や特定偏波を反射させる金属多層膜で構成できる。

　また、図６の構成と図２の構成との違いとしては、偏光分離部材１０１と液晶表示パネル１１との間の光路の途中に、空間浮遊映像３を形成する正規映像光以外の斜め映像光を遮光するための遮光部材２４および遮光部材２３が併設されている。液晶表示パネル１１に近い方には、距離Ｌ２で遮光部材２４が配置されており、偏光分離部材１０１に近い方には遮光部材２３が配置されている。また、再帰反射部材２と偏光分離部材１０１との間の光路の途中にも、正規映像光以外の斜め映像光を遮光するための遮光部材２２が設けられている。再帰反射部材２に対し距離Ｌ１で遮光部材２２が配置されている。これらの遮光部材によって、ゴースト像を発生させる要因となる斜め映像光を遮光している。なお、遮光部材２２，２３，２４における破線部分は透過（非遮光）の領域を示す。この結果、前述のようなゴースト像の発生をより抑えることができる。

　本発明者は、実験により、液晶表示パネル１１と偏光分離部材１０１との間の空間内に遮光部材２４および遮光部材２３を併設することで、遮光の効果が高められることを確認した。この実験では、遮光部材２３および遮光部材２４の内径（破線部分の径）は、空間浮遊映像３を形成する正規映像光束が通過する領域に対して面積で１１０％とすることで、部品精度を機械公差の範囲で作成し組み立て可能なことを確認した。また、ゴースト像の発生をさらに軽減するには、上記遮光部材の正規映像光束が通過する領域に対して１０４％以下とすれば、ゴースト像の発生を実用上問題無いレベルに抑えられることを確認した。一方、再帰反射部材２と偏光分離部材１０１との間に設けた遮光部材２２は、遮光部材２２と再帰反射部材２の距離Ｌ１が、再帰反射部材２と偏光分離部材１０１の距離に対して５０％以下となる位置に設置されれば、ゴースト像の発生を更に軽減できる。また、遮光部材２２は、遮光部材２２と再帰性反射部材２の距離Ｌ１が、再帰性反射部材２と偏光分離部材１０１の距離に対して３０％以下となる位置に設置されれば、目視では実用上問題無いレベルまでゴースト像の発生を軽減できる。上述の３つの遮光部材２２，２３，２４の併設によって、更にゴースト像のレベルを軽減できることを確認した。

　図７は、一実施の形態の空間浮遊映像表示装置におけるゴースト像の発生を低減するための遮光部材の他の構成例を示す。図７の（Ａ）は、本実施の形態での遮光部材２５の断面の形状を示している。図７の（Ｂ）は、遮光部材２５の平面（光軸に垂直な方向で見た面）の形状を示しており、空間浮遊映像３を形成する正規映像光束が通過する領域２７に対する遮光部材２５の有効面積が示されている。図７の（Ｂ）の例では、遮光部材２５の外枠２５ａ（遮光する性質を持つ領域）の内径の面積に対して、正規映像光束が通過する領域２７の面積が小さくなるように、設定されている。

　図８は、一実施の形態の空間浮遊映像表示装置のゴースト像発生を低減する遮光部材の他の例を示す。図８の（Ａ）は、本実施の形態での遮光部材２６の断面形状を示している。図８の（Ｂ）は、遮光部材２６の平面形状を示しており、空間浮遊映像３を形成する正規映像光束が通過する領域２７に対し、遮光部材２６の有効面積をほぼ同サイズとした構成が示されている。本例では、遮光部材２６の外枠２６ａから内側に向かって梁２６ｂが設けられている。梁２６ｂの先端は領域２７の外形の箇所まで延在している。これにより、ゴースト像を形成する要因となる外光等の異常光を、梁２６ｂの表面で複数回反射させる。これにより、異常光をさらに吸収させることができる。本例では、遮光部材２６の外枠２６ａの内径の面積に対して、正規映像光束が通過する領域２７の面積をより小さく、梁２６ｂの内接する面と同等の面積としている。

　上記実施の形態では、再帰反射部材２の主な面の形状を、表示装置１と正対（光路での反射を含む）した平面形状としている。他方、変形例としては、再帰反射部材２の形状を、表示装置１と正対した平面形状から、曲率半径を例えば２００ｍｍ以上とした凹面または凸面としてもよい。この構成の場合、再帰反射部材２で反射した斜め映像光によりゴースト像が発生したとしても、反射後に発生したゴースト像をユーザＵの視界から離してしまうことで、観視できないようにすることができる。この曲率半径を１００ｍｍ以下にする場合、再帰反射部材２の周辺部（図２等でλ／４板２ｂが配置されている主に映像光を反射する領域の周辺部）で反射した光のうち、正規で反射した光量が低下し、得られる空間浮遊映像３の周辺光量が低下するという新たな課題が発生する。このため、ゴースト像を実用上問題無いレベルに軽減するためには、上述した技術手段を選択して適用するか、これらを併用すると良い。

　＜空間浮遊映像表示装置の映像表示方法＞
　図９は、一実施の形態の空間浮遊映像表示装置における誤入力の防止のための映像表示方法に関する説明図である。図９は、空間浮遊映像表示装置１０００での空間浮遊映像３の表示例を示し、ユーザＵの視点から空間浮遊映像３を見た場合の見え方を示す。この空間浮遊映像３の例は、テンキー等の複数のオブジェクトを持つ、数字等の入力が可能な非接触ユーザインタフェースに相当する。前述のように、表示装置１は、液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備え、画面サイズが５インチ程度の小型のものから８０インチを超える大型なものまでから選択されたもので構成できる。例えば、液晶表示パネル１１からの映像光を、反射型偏光板のような偏光分離部材１０１によって、再帰反射部材２に向けて反射させる。

　図１０は、空間浮遊映像表示装置１０００を側面から見た状態で、ユーザＵが空間浮遊映像３を視認する様子を示す模式図である。特に、ユーザＵのアイポイントＵＰが、高さ方向で異なる上・中・下の３種類の位置にある場合の、それぞれの視線方向ＬＵ，ＬＭ，ＬＬで、空間浮遊映像３を見る場合を示す。本例では、前述（図２）の角度Ａ，Ｂ，Ｃが４５度程度である。空間浮遊映像３は、高い指向性を有する光線により形成されるので、図１０で示す観視方向（例えば中位置に対応した視線方向ＬＭ）から空間浮遊映像３を視認する場合には、空間浮遊映像３は、明るい映像として視認される。特に、ユーザＵが空間浮遊映像表示装置１０００に対して正しい位置で操作し、目線が視線方向ＭＬにある場合には、図９のように、ユーザＵは、空間浮遊映像３の全てを好適に視認できる。

　一方、本発明者による実験の結果、挟角な拡散特性を有する光源装置１３と映像表示素子である液晶表示パネル１１とを組み合わせた構成で、ユーザＵの眼（アイポイントＵＰ）の位置が最適な位置（図１０での視線方向ＬＭに対応した位置）に無い場合、例えば図１０のより上側の視線方向ＬＵに沿って観視する場合には、空間浮遊映像３の下部の映像が視認しにくいことが判った。このことを反対の視点から考察すれば、正規のユーザＵ以外の人によって空間浮遊映像３を覗き見される危険性は少なく、セキュリティ等の観点では有効であると言える。

　他方、本発明者は、最適な観視位置で容易に空間浮遊映像３に対するタッチ操作ができる方式について検討した。本実施の形態の空間浮遊映像表示装置１０００では、図１０に示すように、空間浮遊映像表示装置１０００の筐体５０（図１での筐体１１９０）の一部（ユーザＵから見て奥側の位置）に、ユーザＵの立ち位置等の良否を判断するためのカメラユニット５５（図１での撮像部１１８０と対応する）が設けられている。空間浮遊映像表示装置１０００は、カメラユニット５５により、空間内でのユーザＵの顔の位置と向き、さらに必要に応じて瞳（アイポイントＵＰ）の位置を判定する。そして、空間浮遊映像表示装置１０００は、図９の空間浮遊映像３において、主要なテンキー等のオブジェクトの映像領域の外側の４辺に配置された額縁表示部である最適観視位置表示部３ａ，３ｂ，３ｃ，３ｄの表示状態を変化させる。これにより、ユーザＵの位置や視線を、最適位置に対応した視線方向ＭＬとなるように誘導する。例えば、ユーザＵのアイポイントＵＰの位置が、最適位置よりも下方にあって、視線方向ＬＬのような観視状態である場合、空間浮遊映像表示装置１０００は、４辺の上辺に対応する最適観視位置表示部３ａを非点灯にする等、４辺の最適観視位置表示部の表示状態を切り換える。ユーザＵから見て、４辺の最適監視位置表示部３ａ，３ｂ，３ｃ，３ｄがすべて見える状態、すなわち額縁のように見える状態が、好適な観視状態に対応する。これにより、ユーザＵの視線を、最適位置に対応した視線方向ＭＬに誘導できる。他の表示制御例としては、上記額縁表示部において視点移動を促す矢印画像等を表示する形態も可能である。

　また、空間浮遊映像表示装置１０００は、カメラユニット５５で検出した外界の明るさの情報に基づいて、表示映像の輝度を自動調整することで、空間浮遊映像３の明るさ等を調整し、これにより、消費電力低減や視認性向上を実現できる。

　さらに、ユーザＵが空間浮遊映像表示装置１０００を使用する際に、空間浮遊映像３が浮遊している空間内位置を認識・判別しにくい場合があるという課題も判明した。これを解決するために、本発明者は、図１１および図１２に示すような実施の形態を考えた。この実施の形態では、空間浮遊映像３が表示される位置に、位置認識のための物理的な実体（空気以外）を持つ部材、例えばプラスチック製の透明構造部材６０を設ける。図１１では、図９と同様の空間浮遊映像３（額縁表示部を含む）に対し、外周の４辺に、額縁形状の透明構造部材６０が配置されている。この透明構造部材６０は、例えば下辺部分が筐体５０の手前側の１辺に対し固定されている。これにより、ユーザＵが空間浮遊映像３の３次元空間内での表示位置を認識・判別し易くなることが判った。なお、透明構造部材６０の代わりに、例えば金属製等による透明ではない額縁状の構造部材を設けるようにしてもよい。額縁状の非透明構造部材を設ける場合、ユーザＵは、その非透明構造部材を認識しやすいので、空間浮遊映像３の表示位置を、例えば数メートル離れた横方向あるいは斜め上方向からでも、より速やかに認識できる。その認識後、ユーザＵは、正面位置から空間浮遊映像３を指で操作できる。

　また、図１１および図１２の構成例では、空中操作検出センサ１３５１としてのＴＯＦセンサ５６（ＴＯＦ方式の距離センサ）が設けられている。ＴＯＦセンサ５６は、空間浮遊映像３に対して、例えばユーザＵの指などの対象物とＴＯＦセンサ５６との距離や、対象物の位置等の関係をセンシングする。このＴＯＦセンサ５６は、空間浮遊映像３の下部に配置されている。このＴＯＦセンサ５６は、透明構造部材６０の下辺部分に対応させた筐体５０（５０ａ）の一部に配置されている。このＴＯＦセンサ５６は、空間浮遊映像３の平面内の領域をすべてスキャンするようにして指先のタッチ位置等の状態を検出できる。このＴＯＦセンサ５６およびそれを用いた制御部１１１０は、空間浮遊映像３の平面方向の座標系における指などの対象物の位置座標（例えばタッチ位置）を検知・計測できる他に、対象物の移動方向や移動速度等の状態も検知可能である。ＴＯＦセンサ５６は、２次元平面での距離と位置を読み取るために、例えば図１１のように、赤外線発光部と受光部との組み合わせが複数、直線的に配置された構成を有する。ＴＯＦセンサ５６は、赤外線発光部から発した光が対象物に照射され反射された光を受光部で受光し、発光から受光までの時間差を光速と乗算することで、対象物との距離が明確になる。また、空間浮遊映像３の平面上の座標は、直線上の複数の赤外線発光部および受光部の部分において上記時間差が最も小さい部分での座標から読み取ることができる。

　また、上記例とは別のセンシング方法としては、赤外線レーザ光発生部と、赤外線カメラによる撮像部とを備えた構成を用いる方法でもよい。ここで、赤外線レーザ光発生部から発生する赤外線レーザ光の照射領域の形状は、薄膜のシート形状であり、空間浮遊映像３の表示面との間隙を例えば数ｍｍ以下になるよう近接した形状とする。この赤外線レーザ光の照射領域を「レーザシート」とも呼ぶ。撮像部の赤外線カメラは、赤外線レーザ光発生部（言い換えるとレーザシート発生部）から発生する赤外線レーザ光により形成されるレーザシートが、ユーザＵの指などの対象物によって反射した光を撮像する。そして、制御部１１１０は、撮像部で生成される撮像画像を解析することで、レーザシート上の指の位置を特定することができる。

　さらに、上記のような２次元平面での対象物の位置座標を検知できるセンサ等の構成を、空間浮遊映像３の面に対する垂直方向（言い換えると奥行き方向、前後方向）において、複数、組み合わせた構成としてもよい。これにより、空間浮遊映像３の垂直方向を含む３次元領域での対象物の位置座標等の情報を得ることができる。すなわち、空間浮遊映像３に対する手指等によるタッチ等の操作の状態をより詳しく得ることができる。

　また、本発明者は、ユーザＵが空間浮遊映像３をより明確に視認できる表示方法についても検討した。その結果、図９等に示したように、ユーザＵから見た状態で、映像光が出射する窓部となっている透明部材１００の外周にある筐体５０の外枠５０ａに、空間浮遊映像３の一部が掛かるように設計すれば、より明確に視認できる。また、空間浮遊映像３の浮遊量をより大きく見せるためには、空間浮遊映像３の下端が外枠５０ａに掛かるように、光学システム全体のレイアウトを設計すればよい。

　＜空間浮遊映像表示装置の例３：超指向性スピーカ＞
　次に、本発明者は、空間浮遊映像表示装置で形成される空間浮遊映像として表示されるオブジェクトを非接触ユーザインタフェースとして使用する場合に、ユーザが選択したいオブジェクトに対するタッチ操作等の誤入力を防止して確実に入力操作を行うことができる構成について検討した。そのために、特に、ユーザの入力操作に対応させて好適に音声を出力する方法、例えば音声によるユーザ操作補助あるいは操作ガイダンス等を行う方法について検討した。

　ここで、例えば銀行のＡＴＭ装置のように、暗証番号や金額の入力情報など、秘匿性が高い情報を取り扱うシステムでは、ユーザがタッチ操作等により選択したオブジェクト（例えば数字ボタン）に対応した音声を単に通常スピーカから出力することは、セキュリティ等の観点で大きな課題がある。そこで、本発明者は、超指向性スピーカ（図１での超指向性スピーカ１２４２、図２での超指向性スピーカ３０）を用いて、正規のユーザのみが音声を聴取できる音声出力方式について検討した。

　前述の図２等の通り、ユーザＵ側（矢印Ａの方向）から見て、空間浮遊映像３が表示される平面領域には、実際には、空気以外の何かの物体（特に固体や液体）は無い。よって、空間浮遊映像３を形成するための光路上から外れた位置に、超指向性スピーカ１２４２（図１）を配置することで、ユーザの耳の近傍のみで音声が聞こえるようにするための構成を検討した。その結果、例えば図１３および図１４に示す２つの方式を考えた。

　図１３は、一実施の形態の空間浮遊映像表示装置１０００において、超指向性スピーカ３０を、筐体５０の外枠５０ａ上に配置する構成例を示す。なお適用例はＡＴＭ装置である。この構成例は、超指向性スピーカ３０からの音声を直接的にユーザＵの耳ＵＥへ向けて出力する構成である。超指向性の音声の伝搬経路は、直線状の経路、言い換えると非反射の経路である。この構成では、超指向性スピーカ３０は、指向性の強い音場３１を形成する。超指向性スピーカ３０から発せられた音声は、直接的にユーザＵの耳ＵＥの近傍の領域に到達する。正規の位置にいるユーザＵの耳ＵＥの近傍の領域は、強い音場３１が形成される領域となる。そのため、そのユーザＵのみがその音声を聞き取ることができ、他人は聞き取ることができない。

　一方、図１４は、一実施の形態の空間浮遊映像表示装置１０００において、超指向性スピーカ３０を、ユーザＵとは反対側にある壁５７に配置した構成例を示す。この構成例では、超指向性スピーカ３０から発せられた音声は、一旦、透明部材１００（例えばガラス）の平面で反射し、その反射した音声が、ユーザＵの耳ＵＥの近傍の領域に到達する。

　図１３と図１４とのいずれの構成の場合も、超指向性スピーカ３０は、空間浮遊映像３が形成されるための光路（前述の再帰反射部材２から透明部材１００を介して空間浮遊映像３やアイポイントＵＰへ向かう映像光の光路等）上からは外れた位置に配置されている。そのため、超指向性スピーカ３０は、空間浮遊映像３を形成するための光路を妨げない。また、これらの構成を比較すると、図１３よりも図１４の方が、映像光の光路と音声の経路とで方向の類似性が高い。よって、図１４の構成の方が、正規のユーザＵの位置（視線方向ＬＭとなる位置）からは、あたかも空間浮遊映像３から音声が発せられているように聞こえやすいという観点で、より効果的である。

　従来、超指向性スピーカを構成する複数の超音波出力素子を平面上に規則的に並べたアレイの構成で、複数の超音波出力素子に入力する超音波信号の位相差（あるいは時間差）により、超指向性スピーカから出力される音声を聴取可能な３次元位置（言い換えると音場）を制御する技術が知られている。なお、超指向性スピーカに関連する技術に関しては、例えば、論文「高臨場音場再現：パラメトリックスピーカを用いた最新の研究動向」（ＩＥＩＣＥ　Ｆｕｎｄａｍｅｎｔａｌｓ　Ｒｅｖｉｅｗ　Ｖｏｌ．１０　Ｎｏ．１　５７～６４頁）に記載されている。

　実施の形態での超指向性スピーカ３０は、そのような３次元位置のような音場を形成する技術を適用してもよい。また、複数の超音波出力素子を、平面上ではなく、凹面状の曲面上に配置し、その凹面の曲率を変化させる構成を適用してもよい。この構成によっても、超指向性スピーカ３０から出力される音声を聴取可能な３次元位置のような音場を制御可能である。上記技術を用いれば、ユーザの耳のごく近傍領域だけで音声を聴取できるように最適な音場を形成可能である。

　そこで、一実施の形態の空間浮遊映像表示装置１０００では、図１５に示すような構成を有する。この構成では、筐体５０における、ユーザから見て奥側の位置、左右方向では中央位置に、例えば１台の超指向性スピーカ３０が配置されている。超指向性スピーカ３０の固定は、図１３や図１４の構成例を同様に適用できる。さらに、ユーザから見て超指向性スピーカ３０に対し左側の位置にカメラ５５ＣＬが配置され、右側の位置にカメラ５５ＣＲが配置されている。カメラ５５ＣＬ，５５ＣＲは、前述の撮像部１１８０の構成例である。

　この構成例では、左右の２台のカメラ（５５ＣＬ，５０ＣＲ）によるステレオ撮影が可能である。そのため、２台のカメラのそれぞれの撮像画像に基づいて、空間内のユーザの顔位置、および、超指向性スピーカ３０から顔位置までの距離を計算して得ることができる。制御部１１１０は、この計算結果から、超指向性スピーカ３０を構成する複数の超音波出力素子に入力する超音波信号の位相差（あるいは時間差）を制御する。これにより、ユーザの顔または耳の近傍領域でのみ音声が聴取可能となるように、最適な音場を形成することができる。その結果、ユーザは、他人に聞き取られることなく、超指向性スピーカ３０からの音声を聞き取ることができる。特に、ＡＴＭ装置のような高いセキュリティが要求されるシステムにおいて空間浮遊映像３による非接触ユーザインタフェースを用いる場合には、図１５のような構成は、セキュリティの観点から非常に好適である。

　超指向性スピーカ３０およびカメラ５５ＣＬ，５５ＣＲは、空間浮遊映像表示装置１０００の筐体５０とは離れた位置に設けられてもよいし、筐体５０に設置されてもよいし、所定の位置で筐体５０に固定されてもよい。

　また、一実施の形態の空間浮遊映像表示装置１０００では、図１６に示すような構成を有する。この構成では、超指向性スピーカ３０の筐体にカメラが内蔵されており、言い換えると、超指向性スピーカとカメラとを一体化した構成を有する。ユーザから見て奥側の位置における、左側の位置には、超指向性スピーカ３０Ｌが配置され、右側の位置には、超指向性スピーカ３０Ｒが配置されている。超指向性スピーカ３０Ｌおよび超指向性スピーカ３０Ｒは、それぞれ、筐体内にカメラ部５５Ｃが内蔵されて一体化されており、言い換えると、スピーカ・カメラユニットである。

　この構成では、一体化により、スペースファクタの観点で優れているだけでなく、左右の２台のカメラ（カメラ部５５Ｃ）によるステレオ撮影が可能となる。そのため、ユーザの顔位置、および超音波スピーカから顔位置までの距離を、それぞれのカメラ部５５Ｃの画像に基づいて計算して得ることができる。

　また、このスピーカ・カメラユニット（超指向性スピーカ３０Ｌ，３０Ｒ）は、筐体５０の所定の位置に固定されてもよい。この場合、左右のユニット間の距離は常に一定となる。よって、ユーザ、カメラ、および超指向性スピーカの間の位置関係を、より正確に算出可能となる。また、この構成では、２台の超指向性スピーカ３０Ｌ，３０Ｒにより形成される音場の位置を、精度よく算出可能である。これにより、２台の超指向性スピーカ３０Ｌ，３０Ｒによって形成される音場の焦点領域、すなわち、正規のユーザのみが音声を聴取可能な領域を、精度よく設定可能である。その結果、２台の超指向性スピーカ３０Ｌ，３０Ｒによって形成される音場による音声は、例えばＡＴＭ装置の正規のユーザのみが聴取可能となり、ユーザの近傍（例えば左右や後ろの位置）にいる他人には聴取できないようにすることができる。

　さらに、図１６の構成によれば、ユーザの左耳に対しては左側の超指向性スピーカ３０Ｌによる音場を形成し、右耳に対しては右側の超指向性スピーカ３０Ｒによる音場を形成することで、総合的に最適な音場を形成可能である。これにより、図１５の１台の超指向性スピーカ３０の場合と比較して、ユーザにとってより聞き取りやすい音声の提供が可能である。

　なお、図１５および図１６の構成では、ユーザの顔位置をステレオカメラによって求める方式とした。このような方式に限らず可能であり、カメラではなく、熱センサ等を用いることで顔や眼等の位置を特定する方式としてもよい。

　＜空間浮遊映像表示装置の例４：指先触覚生成＞
　次に、一実施の形態の空間浮遊映像表示装置として、空間浮遊映像を非接触ユーザインタフェースとして適用する場合に、空間浮遊映像に対する操作時に指先に触覚の感覚を生成する構成について説明する。本実施の形態では、ユーザが、空間浮遊映像として表示されたオブジェクト（例えば押しボタン）にタッチ操作した時に、指先に、実際に何かの物体に触ったような感触をタッチ感として生成する機能を有する。この機能は、前述の図１の指先触覚生成部１２３０を用いて実現される。

　［空間浮遊映像表示装置］
　図１７は、本実施の形態の空間浮遊映像表示装置１０００の構成として、ユーザＵ等を含め側面から見た概略構成を示す。なお、説明上、空間の座標系や方向を（Ｘ，Ｙ，Ｚ）で示す。Ｚ方向は鉛直方向、上下方向であり、Ｘ方向およびＹ方向は水平方向であり、Ｘ方向はユーザＵから見た左右方向であり、Ｙ方向は前後方向、奥行き方向である。また、空間浮遊映像３での座標系や方向を（ｘ，ｙ，ｚ）で示す。ｘ方向およびｙ方向は、空間浮遊映像３の主要な２次元平面を構成する直交する２つの方向であり、ｘ方向は横方向（言い換えると画面内水平方向）、ｙ方向は縦方向（画面内垂直方向）である。ｚ方向は、その２次元平面に対して垂直な方向であり、手指ＵＨの侵入や近接等に係わる前後方向である。この空間浮遊映像表示装置１０００は、例えば銀行のＡＴＭ装置などの一部として実装される。

　本例では、ユーザＵから見て筐体５０の手前側の位置から、前述（図２）の角度Ｃを４５度程度として、空間浮遊映像３が斜め方向に形成されている。ユーザＵは、眼に対応するアイポイントＵＰから空間浮遊映像３を視認する。図１７では、ユーザＵのアイポイントＵＰの位置および視線方向は、前述（図１０）の最適な視線方向ＬＭと対応しており、光軸ａ３が対応している。ユーザＵは、手指ＵＨ（特に指先Ｕｆ）によって、空間浮遊映像３に対するタッチ操作等の操作を行う。図１７では、指先Ｕｆが空間浮遊映像３の例えば中央の位置Ｐ１に接触した状態を示している。この位置Ｐ１は、空間内での位置座標（Ｘ，Ｙ，Ｚ）、あるいは空間浮遊映像３の２次元平面の座標系での位置座標（ｘ，ｙ）として表すことができ、それらは換算可能である。

　図１７の構成では、図１の指先触覚生成部１２３０に対応した実装例として、指先触覚生成装置６を備える。この指先触覚生成装置６は、空間浮遊映像装置１０００の主要な筐体５０に対し外側に別体として設けられている。指先触覚生成装置６は、筐体５０とは別体の筐体を備え、その筐体は、例えば直方体形状であり、表面に超音波素子アレイ６１の出力の平面が配置されている。その筐体内には、超音波信号発生回路６２等が内蔵されている。超音波信号発生回路６２は、有線または無線の信号線・通信を通じて、制御装置１０と接続されている。図１７の配置例では、指先触覚生成装置６は、筐体５０の上面部や外枠に相当する台５１の上において、Ｙ方向で奥側の位置で、鉛直方向に立つスタンド５２（筐体５０の一部あるいはオプション部品である）に設置されている。

　主要な筐体５０（図１での筐体１１９０）内には、前述の構成要素として、映像表示装置１および再帰反射部材２等が収容され固定されている。映像表示装置１は、光源装置１３、液晶表示パネル１１、および吸収型偏光板１２等で構成されている。再帰反射部材２にはλ／４板２ｂが設けられている。また、本実施の形態では、筐体５０内に、制御装置１０や遮光部材１２０が設けられている。遮光部材１２０は、前述の図６のような機能を有する。

　制御装置１０は、図１での制御部１１１０や映像制御部１１６０等の要素の実装例であり、制御基板等として実装できる。制御装置１０には、映像表示装置１、センサ４、カメラ５、および指先触覚生成装置６等の各要素が、信号線や通信を介して接続される。なお、制御装置１０は、外部の機器（例えばサーバ）と通信してデータを授受してもよい。

　センサ４は、図１の空中操作検出センサ１３５１の実装例であり、例えばＴＯＦセンサを適用できる。センサ４は、図示のように、Ｙ方向で筐体５０の手前側の位置において、空間浮遊映像３の平面を延長した位置に配置されており、検出軸の向きは空間浮遊映像３の平面の方向（ｙ方向）と平行である。センサ４は、Ｘ方向では、例えば前述の図１１と同様に中央に配置されてもよいし、例えば左右の位置に２つが配置されてもよい。空間浮遊映像３およびセンサ４の角度Ｃは、本例では４５度程度である。

　カメラ５は、図１の撮像部１１８０の実装例である。カメラ５は、図示のように、Ｙ方向で筐体５０の奥側の位置において設置されている。カメラ５は、Ｘ方向では１台以上が配置され、特に左右の２台のカメラとしてステレオカメラを構成してもよい。カメラ５の撮像の向きは、一点鎖線矢印で示すように、正規の位置のユーザＵの顔ＵＦを捉えることができるように設定されており、撮像範囲（言い換えると画角）は、空間浮遊映像３の少なくとも一部と顔ＵＦとをカバーする範囲として設定されている。

　指先触覚生成装置６は、超音波素子アレイ６１と、超音波信号発生回路６２とを含み、詳細については図１８で示す。超音波素子アレイ６１は、図１８のように平面に複数の超音波素子６３が配列されたアレイであり、超音波を出力する。超音波信号発生回路６２は、制御装置１０からの制御に基づいて、超音波素子アレイ６１を駆動するための超音波駆動信号ｃ５を発生する回路である。

　図１７では、超音波素子アレイ６１から発せられた、位相制御された超音波（言い換えると超音波群）が、ユーザＵの指先Ｕｆが空間浮遊映像３の面（ｘ－ｙ）のオブジェクトにタッチした位置（例えば位置Ｐ１）に、音圧による焦点を形成する場合を図示している。

　図１７の構成例では、指先触覚生成装置６の超音波素子アレイ６１から出力される超音波の経路は、透明部材１００で反射される経路としている。超音波素子アレイ６１からの超音波群は、一旦、透明部材１００の面で反射し、図示のように、空間浮遊映像３のオブジェクトおよび指先Ｕｆに対応した位置に焦点を形成する。超音波素子アレイ６１からは、まず、軸ａ４のように、超音波が斜め下方向に出力される。この軸ａ４の角度は、映像表示装置１からの映像光の出射の軸ａ１の角度Ａと同じような角度である。次に、超音波は、透明部材１００の上面で反射（ほぼ全反射）され、軸ａ５のように、斜め上方向の経路となる。この軸ａ５の角度は、再帰反射部材２からの映像光の出射の軸ａ２の角度Ｂと同じような角度である。そして、超音波は、軸ａ５上で、空間浮遊映像３の中央の位置Ｐ１に到達する。

　映像光の軸ａ２および超音波の軸ａ５は、いずれも、空間浮遊映像３の面に対して垂直（角度α１＝９０度程度）になるように設定されている。このように、本構成例では、指先触覚生成装置６は、筐体５０内の再帰反射部材２等からの映像光の光路を妨げないように、筐体５０の外側の図示する位置に配置されている。なおかつ、この構成例では、超音波素子アレイ６１からの超音波を、空間浮遊映像３の裏側からほぼ垂直な方向で照射するようにしている。これにより、ユーザＵの指先Ｕｆに対して、超音波を、軸ａ５のように垂直な方向から当てることができ、他の方向から当てる場合に比べて、タッチ感をより好適にすることができる。

　さらに、本実施の形態では、超音波素子アレイ６１は、制御に基づいて、超音波の音圧が相対的に高い領域を焦点のように形成することができる構成である。図１７では、超音波の焦点が、空間浮遊映像３の中央の位置Ｐ１に形成される場合を示している。超音波素子アレイ６１は、出力される超音波の経路（軸ａ４および軸ａ５）の方向において、所定の距離の位置に、音圧が高い領域を焦点として形成することができる。指先触覚生成装置６は、この超音波の焦点の形成の位置を可変に制御できる。すなわち、空間浮遊映像３の平面（ｘ－ｙ）内において、指先Ｕｆのタッチ位置等に対応させた所望の領域に合わせるようにして、超音波の焦点を形成できる。この超音波の音圧によって、ユーザＵがタッチ操作した時の指先Ｕｆに、タッチ感のような触覚の感覚を付与できる。

　超音波素子アレイ６１と空間浮遊映像３との間の超音波の経路において、経路上で所定の距離の位置に、最大音圧の焦点が形成できるように、超音波素子アレイ６１の性能、位置および向き等が設計されている。所定の距離は、超音波素子６３の性能に基づいた好適な距離として設計されている。

　また、超音波素子アレイ６１の面は、空間浮遊映像３の面のすべてのタッチ操作可能領域への焦点の形成をカバーできるように、大きさや形状や素子数等が設計されている。

　撮像部１１８０のカメラ５は、上述した機能以外にも、例えばユーザＵの顔の検出によって、空間浮遊映像表示装置１０００の手前の所定の位置にユーザＵが来たことを検出する機能等のために使用されてもよい。空間浮遊映像表示装置１０００は、例えば、カメラ５に基づいて、所定の位置にユーザＵ等の人が来たことを検出した時には、所定の制御（例えば空間浮遊映像３の表示や音声の出力など）を開始し、所定の位置から人が離れたことを検出した時には、所定の制御を停止してもよい。

　［指先触覚生成部］
　図１８は、指先触覚生成部１２３０に対応する指先触覚生成装置６の構成例を示す。超音波素子アレイ６１は、周波数として例えば４０ｋＨｚ近傍の超音波を発生できるように、平面上に複数個の超音波素子６３をほぼ等間隔で配置したアレイの構成を有する。超音波素子６３の数をＮとする。一例としてＮ＝２２３個である。本例では、超音波素子アレイ６１としては、複数（Ｎ＝２２３）の超音波素子６３が同心円状に配置され、円形のアレイを構成している。これらの超音波素子６２のアレイによって、超音波フェーズドアレイが構成されている。超音波フェーズドアレイは、超音波の焦点の形成の位置を制御可能な超音波素子アレイである。

　なお、超音波素子アレイ６１として、複数の超音波素子６３の配列の形状は、同心円状に限らず可能であり、例えば、正方形、長方形、多角形等でもよい。また、複数の超音波素子６３の配置は、概略的に隙間無くほぼ等間隔な配置とするが、これに限らず可能である。

　適用する超音波素子６３（言い換えると超音波振動子）の例としては、（株）村田製作所製のＭＡ４０Ｓ４Ｓがある。この超音波素子の構成例では、素子毎に、圧電セラミックスが直径約１ｃｍの円柱状のケースに納められており、ケースから２本の端子が出ている（ＭＡ４０Ｓ４Ｓの仕様：
1639972367144_0.pdf
）。

　よく知られているように、圧電セラミックスは、電圧を加えることで伸び縮みし、その形状が変化する。圧電セラミックスに例えば周波数として４０ｋＨｚの超音波交流電圧を印加することで、圧電セラミックスは、その超音波交流電圧の周波数での超音波を発生する。本実施の形態で使用した超音波素子６３であるＭＡ４０Ｓ４Ｓの場合、基本的な性能としては、上記端子間に周波数が４０ｋＨｚである１０Ｖｒｍｓの超音波電圧を印加すると、超音波素子６３の出力側から３０ｃｍの位置で約１２０ｄＢの音圧を得ることができる。

　後述するが、超音波信号発生回路６２からは、超音波素子アレイ６１を構成する各超音波素子６３が発する超音波が互いに強め合う、あるいは弱め合うように、超音波素子６３に印加する超音波駆動信号の位相（言い換えると遅延時間）を変化させる。これにより、超音波素子アレイ６１上の任意の点あるいは小領域に、超音波の音圧が最も強い点を形成することができる。この超音波素子アレイ６１上の任意の点とは、図１８のようなアレイの平面の座標系を（Ａｘ，Ａｙ）とした場合に、その平面内での超音波素子６３の位置に相当する。例えば、標準では、図示の実線円で示すような中央の点を含む領域を、音圧が最も強い点（焦点が形成される領域と対応する）とすることができる。また、超音波駆動信号ｃ５を制御すれば、例えば図示の破線円で示すような領域（例えばＡｙ方向で上側）に設定することもできる。すなわち、図１７の例でいえば、空間浮遊映像３の面内において、例えば中央の位置Ｐ１から上側の位置Ｐ２にも、上記音圧が最も強い点を焦点として形成できる。

　また、指先触覚生成装置６は、超音波駆動信号ｃ５を制御することで、超音波の経路（軸ａ４および軸ａ５）上での所定の距離の位置に、上記音圧が最も強い点を焦点として形成することもできる。図１７の例でいえば、空間浮遊映像３の面内の位置Ｐ１に限らず、その前後のｚ方向においてある程度ずらした位置にも、上記音圧が最も強い点を焦点として形成できる。

　空間浮遊映像表示装置１０００（特に制御装置１０）は、センサ４に基づいて、ユーザＵの指先Ｕｆによる空間浮遊映像３の面に対するタッチ位置（言い換えると指先位置）等を検出する。そして、空間浮遊映像表示装置１０００は、そのタッチ位置等に合わせるように、指先触覚生成装置６からの超音波の出力を制御して、上記音圧が最も高い領域が指先Ｕｆの付近に形成されるようにする。その結果、ユーザＵは、タッチ操作時の指先Ｕｆに、超音波による音圧を感じることができる。すなわち、ユーザＵは、実際には何も無い空中内で何かの物体に接触したような感触をタッチ感として得ることができる。

　図１８の超音波信号発生回路６２は、制御装置１０からの制御に基づいて、超音波素子アレイ６１に対し超音波駆動信号ｃ５を生成して供給するための回路群を有する。この回路群は、超音波素子アレイ６１を構成する各超音波素子６３に印加するための超音波駆動信号ｃ５を生成する。超音波素子６３毎に２本の端子から超音波駆動信号ｃ５が入力される。

　超音波信号発生回路６２の回路群は、入力側から出力側へ向けて順に、超音波キャリア信号生成回路６２１、矩形波生成回路６２２、位相シフト回路６２３、振幅（ＡＭ）変調回路６２４、およびインダクタンス回路６２５を有する。超音波キャリア信号生成回路６１１は、例えば周波数として４０ｋＨｚの超音波キャリア信号ｃ１を生成する発振回路である。生成された超音波キャリア信号ｃ１は、矩形波生成回路６１２に入力される。矩形波生成回路６１２は、超音波キャリア信号ｃ１を矩形波である超音波キャリア信号ｃ２に変換する。矩形波生成回路６１２から出力された矩形波である超音波キャリア信号ｃ２は、位相シフト回路６１３に入力される。

　位相シフト回路６１３は、複数種類（例えば８種類）の異なる位相を有する超音波帯域の矩形波である超音波キャリア信号ｃ３を生成する回路である。位相シフト回路６２３は、機能としては、指先位置に応じた音圧（焦点）を形成するための信号を生成する回路である。ここで、「異なる位相を有する」とは、「遅延時間が異なる」ことと同義である。すなわち、例えば８種類の超音波信号ｃ３とは、８種類の異なる遅延時間を有する超音波信号である。例えばＮ個の超音波素子６３に対応したＮ個の超音波キャリア信号ｃ３において、各超音波キャリア信号ｃ３は、それらの複数種類（例えば８種類）の位相のうち、制御によって選択された１つの位相を有する信号とされる。このような位相ないし遅延時間の制御によって、超音波素子アレイ６１上の任意の点等に、上記音圧が最も強い点を焦点として形成することができる。

　位相シフト回路６２３およびインダクタンス回路６２５には、入力端子からのセンサ検出情報ｂ１が入力される。センサ検出情報ｂ１は、ユーザＵが空間浮遊映像３のオブジェクトに対してタッチ等の操作を行ったことに関連する図１７のセンサ４による検出情報、あるいはその検出情報に基づいてプロセッサ等が処理した結果の情報である。センサ検出情報ｂ１は、図１７での指先Ｕｆの位置等の情報を含み、例えば位置Ｐ１の位置座標（Ｘ，Ｙ，Ｚ）または（ｘ，ｙ）を含む。本例では、センサ検出情報ｂ１としては、空間浮遊映像３を２次元平面とした場合の指先Ｕｆの位置の２次元座標（ｘ，ｙ）を用いる。

　位相シフト回路６２３は、そのセンサ検出情報ｂ１（指先位置情報等）を用いて、上記超音波信号の位相の制御、すなわち各超音波素子６３に入力する超音波駆動信号ｃ５の位相を変化させる制御を行う。これにより、超音波素子アレイ６１全体から発される超音波群に関して、タッチ位置等に合わせて、音圧最大点（焦点）の形成を実現するための信号が生成される。位相シフト回路６２３は、具体的には例えばシフトレジスタで構成できる。シフトレジスタの段数を変更することで、上記位相の種類は、８種類に限らず、任意の数の種類とすることができる。

　位相シフト回路６２３から出力された複数（８種類）の位相を有する超音波キャリア信号ｃ３は、ＡＭ変調回路６２４に入力される。ＡＭ変調回路６２４は、機能としては超音波キャリア信号ｃ３に音声信号を重畳するための回路であり、超音波キャリア信号ｃ３を音声信号によってＡＭ変調する回路である。ＡＭ変調回路６２４には、入力端子からの音声信号ｂ２が入力される。音声信号ｂ２は、超音波キャリア信号ｃ２を変調するための変調用音声信号である。ＡＭ変調回路６１４は、超音波キャリア信号ｃ３を音声信号ｂ２によってＡＭ変調し、変調後の信号ｃ４（被変調超音波キャリア信号）を得る。

　ＡＭ変調回路６２４に入力される音声信号ｂ１は、ユーザＵが指先Ｕｆで空間浮遊映像３に対するタッチ等の操作を行ったオブジェクトに関連付けられた音声を生成するための信号である。この音声は、例えば押しボタンオブジェクトで表示されている数字（例えば「１」）を読み上げた可聴帯域の音声（例えば「イチ」）である。また、この音声信号ｂ１は、オブジェクトが操作されたことをユーザＵに知らせるための所定の操作音やエラー警告音等の音声信号でもよい。なお、超音波に重畳すべき音声が無い場合・時には、音声信号ｂ１の入力をオフとし、ＡＭ変調回路６２４での処理をスルーとすればよい。

　ＡＭ変調回路６２４から出力された変調後の超音波信号ｃ４（被変調超音波キャリア信号）は、インダクタンス回路６２５に入力される。インダクタンス回路６２５は、例えばコイル等で構成される回路であり、変調後の超音波信号ｃ４に基づいて、Ｎ個の超音波素子６３に対応したＮ個の超音波駆動信号ｃ５を生成する。生成されたＮ個の超音波駆動信号ｃ５は、超音波素子アレイ６１のＮ個の超音波素子６３に供給される。

　ＡＭ変調回路６２４で音声信号ｂ１によるＡＭ変調がされた場合には、超音波素子アレイ６１から発せられた超音波には、音声信号が重畳されている。その結果、ユーザＵが指先Ｕｆで空間浮遊映像３のオブジェクトを操作した箇所（例えばタッチした位置Ｐ１）の近傍から、音声信号ｂ１に対応した音声が発せられる。言い換えると、超音波が指先Ｕｆに当たることで、音声が復調される作用が生じる。その箇所から発した音声は、基本的に全方位に伝搬し、ユーザＵの耳ＵＥへ届く。これにより、ユーザＵは、オブジェクトをタッチ操作した時に、前述のタッチ感が得られると同時に、そのオブジェクトの付近からそのオブジェクトに関連した音声を聴き取ることができる。これらにより、ユーザＵは、そのオブジェクトのタッチ操作がされたことをより確かに認識することができる。

　図１９には、インダクタンス回路６２５の一構成例を示す。図１９では、上記８種類の位相を有する超音波駆動信号ｃ５を生成する場合の構成例を示す。インダクタンス回路６２５は、インダクタンス成分を可変できる可変容量インダクタンスである複数のインダクタンスを有して構成されている。また、図１９では、８種類の位相を有する、かつ、ＡＭ変調後の８つの超音波信号ｃ４（被変調超音波キャリア信号）が、８つの可変容量インダクタンス（Ｌ１～Ｌ８）で構成されるインダクタンス回路６２５に入力される例を示している。

　また、本例では、超音波素子アレイ６１は、上記８種類の位相の制御に基づいて、８つの領域に分割される。図２０は、超音波素子アレイ６１の面において、８種類の位相に対応した８つの領域に分割される例を示す。本例では、アレイの中央の点を中心として同心円状に８つの領域が形成されている。それぞれの領域に対し、位相の異なる超音波駆動信号ｃ５が入力される。領域（言い換えると位相グループ）毎に、選択された１つの位相が対応付けられている。例えば実線で示す中央の領域が、最大音圧の領域（点Ｍ）となり、径方向で外周に向かうほど音圧が低い領域となる。説明上、１つの位相グループの領域を構成する複数の超音波素子６３を、超音波素子グループとも記載し、その構成する超音波素子６３の数をｍとする。例えば、図示の中央の領域ではｍ＝７である。

　ここで、図１９のインダクタンス回路６２５の持つインダクタンス成分をＬとし、超音波素子アレイ６１における１個の超音波素子６３当たりの静電容量（例えば約２４００ｐＦ／個）に上記各領域を構成する超音波素子グループの個数ｍを掛け合わせた静電容量成分をＣとする。すると、インダクタンス成分Ｌと静電容量成分Ｃとによって、ＬＣ共振回路が形成される。

　図１９では、上記８種類の位相の８つの領域に対応する静電容量成分Ｃ１～Ｃ８を、超音波素子グループの等価回路１９００として図示している。図１９では、Ｎ本の信号は、８つの位相グループ毎にまとめた信号線として図示している。入力端子１９０２は、実際には、位相グループの超音波素子６３毎に前述の２本の入力端子を有する。インダクタンス回路６２５は、静電容量成分Ｃ１～Ｃ８に対して接続されるインダクタンス成分Ｌ１～Ｌ８を有する。本例では、上記ＬＣ共振回路の共振周波数（ｆとする）が４０ｋＨｚとなるように、各インダクタンス成分Ｌ１～Ｌ８が調整される。図示の通り、共振周波数ｆは、１／｛２π√（ＬＣ）｝で決定される。この結果、超音波素子アレイ６１を構成する８つの領域に分割された各領域の超音波素子グループには、インダクタンス回路６２５から、それぞれ、位相の異なる８種類の４０ｋＨzの正弦波信号が、超音波駆動信号ｃ５として入力される。

　ここで、本発明者の行った実験では、図１８に示すようにＮ＝２２３個の超音波素子６２を同心円状に配置した超音波素子アレイ６１の各超音波素子６３に対し位相制御を行うことで、超音波フェーズドアレイを構成できることを確認した。指先触覚生成装置６は、この超音波素子アレイ６１による超音波フェーズドアレイを用いて、アレイ上の任意の点の領域に対し、超音波の音圧レベルが最大となる点または小領域（点Ｍとする。例えば図２０）を形成することができる。より具体的には、位相シフト回路６２３を用いた位相制御としては、超音波素子アレイ６１を構成する任意の超音波素子６３と点Ｍとの距離が遠い場合には位相を進ませ、その超音波素子６３と点Ｍとの距離が近い場合には位相を遅らせる、といった制御となる。この方法により、各超音波素子６３から発せられる超音波が互いに強め合ったり、逆に弱めあったりすることで、上記点Ｍの領域に、超音波の音圧レベルが最大となる領域を焦点として形成することができる。より具体的な音圧レベルの例としては、各超音波素子６３に１０Ｖｒｍｓの超音波信号を印加した場合に、超音波素子アレイ６１の上方（出力側の平面に対する垂直方向、超音波の経路の方向）の約２０ｃｍの位置において、約０．６ｇｆ（グラム重）の音圧が形成されることを確認した。なお、この約２０ｃｍの位置は、使用した素子の性能等に対応した一例であって、これに限らずに設計可能である。例えば、より長く、３０ｃｍの位置に、上記と同程度の音圧を形成したい場合には、超音波素子６３に印加する電圧を１７～１８Ｖｒｍｓ程度に上げればよい。

　図１７の構成では、上記のような最大音圧が形成される標準的な位置が、空間浮遊映像３の面に合わせた位置となるように設計されている。これにより、ユーザＵは、自身の指先Ｕｆで空間浮遊映像３の面内のオブジェクトをタッチ操作した時に、十分な操作感覚をタッチ感として得ることができる。タッチ操作は、ｚ方向で指先Ｕｆを空間浮遊映像３の面の手前から奥へ侵入するように動してオブジェクトに触れる操作である。

　本実施の形態では、ＡＭ変調回路６２４において超音波信号ｃ３を音声信号ｂ２（例えば数字の読み上げ音声）によってＡＭ変調した場合には、上記音圧最大の点Ｍの近傍領域から音声を発することができる。言い換えると、ユーザＵの指先Ｕｆおよびオブジェクトの近傍から、その音声信号を復調して関連した音声として発することができる。この構成によれば、実際には何も無い空間浮遊映像３により形成されたオブジェクトに対し指先Ｕｆがタッチした（言い換えると位置付けられた）場合に、ユーザＵは指先Ｕｆに物理的な接触したような感触をタッチ感として得ることができる。それのみならず、ユーザＵは、指先Ｕｆの近傍から発せられる上記オブジェクトに関連した音声を聞き取ることができる。これにより、ユーザＵは、触覚と音声との両方から、自分が行った操作をタッチ操作としてより確かに認識することができる。

　超音波信号発生回路６２は、超音波素子アレイ６１における超音波素子６２毎の超音波信号に関して、少なくとも、超音波による音圧を形成させる領域に対応させた一部の超音波素子６３の超音波信号を、音声信号によってＡＭ変調する。

　なお、言うまでもなく、ＡＭ変調回路６１４に音声信号ｂ２を入力しない場合には、すなわちＡＭ変調を行わない場合には、上記指先Ｕｆが位置する箇所からは何らの音声も発せられない。例えばオブジェクトのタッチ操作の場合に、上記音圧のみによるタッチ感の生成を行うことも可能である。制御装置１０は、空間浮遊映像３のオブジェクト等の内容に応じて、オブジェクトや操作と関連付けて音声信号ｂ２を設定しておけばよい。また、例えば、オブジェクトＡに対し操作Ａ（例えばタッチ）と操作Ｂ（例えばスワイプ）とが可能である場合に、操作Ａがされた場合には音声Ａ、操作Ｂがされた場合には音声Ｂを発するといった制御も可能である。

　図１８の超音波信号発生回路６２は、アナログ回路による機能ブロック構成例として図示したが、実装はこれに限らず可能である。例えば、超音波信号発生回路６２をすべてデジタル信号処理回路で実装してもよい。また、各回路部を、１つまたは複数の専用回路で実装してもよい。さらに、各回路部を、ソフトウェアプログラム処理で実装してもよい。

　［空間浮遊映像］
　図２１は、正規のユーザＵの視点から図１７の空間浮遊映像表示装置１０００による空間浮遊映像３を見た場合の、空間浮遊映像３と指先触覚生成装置６との位置関係の一例を示す。図２１では、スタンド５２（本例では板状だがこれに限られない）の左右で中央の位置に指先触覚生成装置６が設置されており、左右の位置にはカメラ（５Ｌ，５Ｒ）が配置されている。筐体５０の台５１の手前側には、直線状のセンサ４が配置されており、その箇所から斜め上には額縁状の透明構造部材６０が固定されており、その透明構造部材６０の面内に空間浮遊映像３が形成されている。

　図２１では、空間浮遊映像３の一部としてオブジェクトＯＢ１が表示されている。オブジェクトＯＢ１は、空間浮遊映像３の平面（ｘ－ｙ）内の例えば中央の位置に表示されている。オブジェクトＯＢ１は、例えば押しボタンオブジェクトであり、タッチ操作（またはタップ操作）を受け付けるオブジェクトとして予め定義されている。図２１では、ユーザＵが指先Ｕｆとして右手の人差し指によってオブジェクトＯＢ１をタッチした時の様子を模式で示している。

　前述のように、指先触覚生成装置６は、超音波素子アレイ６１の各超音波素子６３に入力する超音波駆動信号ｃ５の位相を制御することで、空間浮遊映像３でのユーザＵの指先Ｕｆの位置、すなわちオブジェクトＯＢ１のタッチ位置で、最大音圧が生じるように、超音波素子アレイ６１から超音波を発生させる。その結果、指先Ｕｆには、例えば約０．６ｇｆの音圧が生じ、ユーザＵは、そのタッチ位置である指先Ｕｆに、物体を触ったようなタッチ感が得られる。

　本実施の形態の空間浮遊映像表示装置１０００は、空間浮遊映像３と指先触覚生成装置６との位置関係を図１７や図２１に示すような構成とする。これにより、指先触覚生成装置６は、空間浮遊映像３を生成するための光路（軸ａ２など）を妨げることがなく、ユーザＵの指先Ｕｆに超音波によるタッチ感を生成することができる。

　ユーザＵの指先ＵｆとオブジェクトＯＢ１とのタッチの位置は、前述のようにセンサ４（図１の空中操作検出センサ１３５１）が発する信号および受光する信号に基づいて、図１の空中操作検出部１３５０で検出できる。制御装置１０は、その空中操作検出部１３５０が出力するタッチ位置（例えば図１７での位置Ｐ１）等の情報を把握する。指先触覚生成装置６は、制御装置１０から受信した、タッチ位置座標情報に基づいて、超音波の出力を位相制御する。すなわち、図１７のように、超音波素子アレイ６１からの超音波群がタッチ位置へ向けて発されることで、タッチ位置に音圧による焦点が形成され、指先Ｕｆにタッチ感が生成される。図２１の空間浮遊映像３の主な平面（ｘ－ｙ）において、どの位置に対しても、同様の制御によってタッチ感を生成することができる。

　また、制御装置１０および指先触覚生成装置６は、上記オブジェクトＯＢ１のタッチ感の生成の際には、前述のように、図１８のＡＭ変調回路６２４に入力する変調用の音声信号ｂ１として、オブジェクトＯＢ１と対応させた所定の音声信号を入力させる。これにより、超音波群に音声信号が重畳されることで、指先ＵｆによるオブジェクトＯＢ１のタッチ位置の近傍から所定の音声が発せられ、ユーザＵは、その音声を聞き取ることができる。

　オブジェクトＯＢ１と対応させた所定の音声信号は、例えば、押しボタンが押されたことを表す操作音（「ポン」等）としてもよいし、押しボタンに記載の数字（例えば「１」）や記号を読み上げる音声（例えば「イチ」）としてもよいし、押しボタンには記載されていないがそれに関連付けられたガイダンス音声等としてもよい。これにより、ユーザＵは、オブジェクトＯＢ１の操作を、目視のみならず音声としても確認することができる。

　［指先触覚生成装置と超指向性スピーカとの併用］
　上記実施の形態の変形例として、図１７等の指先触覚生成装置６と、前述の図１３等の超指向性スピーカ３０との両方を組み合わせて併用する形態も可能である。図２２は、この併用の形態における、指先触覚生成装置６と超指向性スピーカ３０との設置例を示す。本例では、図２１と同様の指先触覚生成装置６の構成に加え、図１３と同様の左右の超指向性スピーカ３０Ｌ，３０Ｒが設けられている。

　制御装置１０は、センサ４での手指ＵＨの状態の検出、およびカメラ（カメラ部５５Ｃ）での顔等の検出に基づいて、指先触覚生成装置６による触覚および音声の生成と、超指向性スピーカ３０による音声の生成とを制御する。これらの併用により、例えば、ユーザＵは、指先Ｕｆにタッチ感が得られ、かつ、超指向性スピーカ３０（３０Ｌ，３０Ｒ）からの音声として、オブジェクトＯＢ１に関連付けられた音声を、ユーザＵの近くの他人には聞こえない形で、ユーザＵのみ聞き取ることができる。上記併用の形態は、秘匿性の高いシステム、例えばＡＴＭ装置等への適用が特に有効である。

　さらに、それほど高い秘匿性は要求されないシステム、例えば駅の券売機などに、上記併用の形態を適用してもよい。その場合に、例えば、空間浮遊映像３のオブジェクトとして、駅名選択ボタン等とし、そのオブジェクトに対応させた音声として、駅名の音声とする。ユーザＵが自分の行き先の駅名のボタンをタッチ操作した時には、その駅名の音声が出力される。このオブジェクトの音声を出力する方法として、指先触覚生成装置６による出力としてもよいし、超指向性スピーカ３０による出力としてもよい。特に超指向性スピーカ３０を使用する場合には、その駅名等の情報を、ユーザＵの周囲の他人には聞き取られる恐れが無く、プライバシーに配慮した券売機のシステムを構成できる。

　指先触覚生成装置６と超指向性スピーカ３０との２つのデバイスの併用や使い分けの制御例について以下に挙げる。

　第１例：　ユーザＵに対し任意の音声を伝える場合には、超指向性スピーカ３０をオンとして使用する。その時に、超音波素子アレイ６１による音声の出力はオフとして使用しない。

　第２例：　ユーザＵに対し出力する音声の種類に応じて、超指向性スピーカ３０による出力と、超音波素子アレイ６１による音声の出力とを使い分ける。例えば、対象音声の秘匿性の大小に応じて、それらを使い分ける。秘匿性を高くすべき種類の音声（例えば暗証番号の音声など）を出力する際には、超指向性スピーカ３０を用いる。秘匿性を高くしなくてもいい種類の音声（例えば操作音など）を出力する際には、超音波素子アレイ６１を用いる。

　また、上記併用の形態でも、空間浮遊映像表示装置１０００は、超指向性スピーカ３０を用いてユーザＵへ音声を出力する際には、撮像部１１８０のカメラ５を用いて顔位置等を検出し、検出した顔位置へ向けて超指向性スピーカ３０から音声を出力するように制御する。これにより、超指向性スピーカ３０に関する効果がより高くなる。

　［例４の効果等］
　以上のように、実施の形態（例４）の空間浮遊映像表示装置１０００によれば、以下のような効果を奏する。非接触ユーザインタフェースとしての空間浮遊映像３を視認および操作するユーザＵは、空間浮遊映像３による例えば押しボタン等のオブジェクトを、ゴースト像も無くより確実に視認することができる。さらに、ユーザＵは、そのオブジェクトをタッチ操作した際に、物理的なボタンをタッチしたことに近いタッチ感を得ることができる。さらに、ユーザは、そのオブジェクトをタッチ操作した際に、指先の近傍から発するそのオブジェクトに関連付けられた音声を聞き取ることができる。実施の形態によれば、接触感染のリスクを最小限とすることができ、また、視認性および操作性に優れ、かつ、誤操作や誤入力を低減可能な非接触ユーザインタフェースを提供できる。

　実施の形態の空間浮遊映像表示装置によれば、高解像度かつ高輝度な映像情報を、空間浮遊した状態で空間浮遊映像として表示可能となる。特に、この空間浮遊映像を押しボタン等のオブジェクトを含んだ非接触ユーザインタフェースとして用いる場合、ユーザは、物理的なボタン等への接触感染に対する不安を感じずに容易に操作ができ、しかも、ユーザが指先で空間浮遊映像として表示されたオブジェクトにタッチした時には、物理的なボタンにタッチしたような感覚（タッチ感等）を得ることができる。さらに、ユーザは、その押しボタン等のオブジェクトにタッチした場合に、当該指先およびオブジェクトの近傍から、そのオブジェクトに対応付けられた数字等の音声を聴き取ることができる。これらにより、空間浮遊映像に対するユーザの誤入力等の防止や低減が可能となる。

　実施の形態の空間浮遊映像表示装置によれば、空間浮遊映像３として押しボタン等のオブジェクトを表示して非接触ユーザインタフェースとして使用する場合に、ユーザＵがオブジェクトにタッチした時に、指先触覚生成部１２３０によって指先にタッチ感を生成できる。空間浮遊映像３のオブジェクトは、ユーザＵが視認できるものの実際にはその位置に空気以外の物体が無く、操作の実感が得にくいが、実施の形態によれば、ユーザＵがそのようなオブジェクトに対しタッチした際に、ユーザＵは物体に触れたような感覚を知覚でき、タッチ操作が確かにされたこと（言い換えると装置側がタッチ操作・入力として受け付けたこと）を、視覚と触覚との両方で認識することができる。したがって、情報の秘匿性などにも優れた、従来よりも好適な非接触ユーザインタフェースを実現できる。

　さらに、実施の形態によれば、非接触ユーザインタフェースを使用する場合に、指先触覚生成装置６を用いて、超音波信号を音声信号によって変調することで、超音波信号にオブジェクトに関連する音声を重畳する。これにより、ユーザＵがオブジェクトにタッチした時に、タッチ感の生成のみならず、指先Ｕｆの近傍から上記オブジェクトに関連する音声を聞き取ることができる。すなわち、ユーザＵは、空間浮遊映像３のオブジェクトの操作の際に、視覚、触覚、および聴覚から、操作が確かにされたことを認識することができる。したがって、さらに好適な非接触ユーザインタフェースを実現できる。

　実施の形態の空間浮遊映像表示装置およびそれによる空間浮遊映像は、不特定多数のユーザが使用するシステム、例えば、駅、役所、病院等の公共施設、銀行やデパート等の施設、レジやエレベータ等の装置等における、発券、受付、認証、決済等の様々なアプリケーションを含む非接触ユーザインタフェースとして適用可能である。ＧＵＩのオブジェクトの一例としては、駅名や暗証番号や行き先階を表す押しボタン等が挙げられる。ボタンに限らず、スライドバー等の各種のオブジェクトにも同様に適用できる。このような非接触ユーザインタフェースによって、ユーザは指先で物理的なパネルやボタンを触る必要が無いため、接触感染リスクを最小限にすることができ、不安を感じずにアプリケーションを利用できる。そのうえで、空間浮遊映像による非接触ユーザインタフェースの視認性および操作性を従来よりも大きく向上させることができる。

　また、実施の形態の空間浮遊映像表示装置は、映像源としての映像表示装置１と、再帰反射部材２とを備え、外部に向けて出射する映像光の発散角を小さく、すなわち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材２に対して正規の反射光だけを効率良く反射させる。そのため、この空間浮遊映像表示装置は、光の利用効率が高く、従来の再帰反射方式での課題となっていた、主空間浮遊映像の他に発生するゴースト像の発生を大幅に低減することができ、鮮明な空間浮遊映像を得ることができる。また、この空間浮遊映像表示装置は、特有の光源装置１３を含む映像表示装置１を備える。これにより、消費電力を大幅に低減可能な、新規で利用性に優れた空間浮遊映像表示装置を提供できる。

　［例４の変形例］
　上記例４の実施の形態に関する各種の変形例として以下も可能である。

　図２３は、変形例の空間浮遊映像表示装置１０００を側面から見た構成を示す。この変形例は、図１７の構成に対し異なる点として、指先触覚生成装置６からの超音波の出力の経路は、前述の反射タイプではなく、水平方向に直線的な経路として、空間浮遊映像３の裏側から指先Ｕｆに焦点を形成するように当てる構成である。また、本例では、指先触覚生成装置６は、筐体５０とは別体で、空間浮遊映像表示装置１０００の背後にある壁５７（あるいは他の装置の面などでもよい）に設置されている。超音波素子アレイ６１の出力の平面は、鉛直方向となっており、超音波の出力の軸ａ４は水平方向となっている。この構成でも、超音波の経路は、筐体５０内の再帰反射部材２等からの映像光の経路（軸ａ２等）とは重ならず、妨げないように、設計されている。

　また、この構成では、空間浮遊映像３の面（ｘ－ｙ）に対する超音波（特に音圧の焦点）の照射の角度は、角度α２のように例えば４５度程度となっている。この構成でも、指先Ｕｆに対し音圧を形成できるので、タッチ感等を十分に与えることができる。

　他の変形例として、筐体５０内に超音波素子アレイ６１等を設けてもよい。その場合、超音波素子アレイ６１は、筐体５０内の再帰反射部材２等の要素を妨げないように配置される。また、その場合、超音波素子アレイ６１からの超音波の経路は、透明部材１００等には当たらずに外部の空間浮遊映像３の面に至るようにする必要がある。このため、例えば、透明部材１００や筐体５０の一部に、超音波を通過させる開口部などを設ける。

　図２４は、他の変形例における、空間浮遊映像３等を側面から見た状態を示す。この変形例では、空間浮遊映像３およびオブジェクトに対する操作として、タッチ操作のみならず、様々な操作を受け付ける。図２４では、空間浮遊映像３の主な平面（ｘ－ｙ）を包含して、その外側に拡張した３次元領域として、空間浮遊映像領域３Ｖを示す。空間浮遊映像領域３Ｖは、例えば、面に垂直なｚ方向で、前後での所定の距離Ｋ１をとった領域である。

　空間浮遊映像表示装置１０００は、この空間浮遊映像領域３Ｖに対する、ユーザＵの手指ＵＨによる各種の操作を受け付ける。空間浮遊映像表示装置１０００は、センサ４およびカメラ５等でのセンシングに基づいて、手指ＵＨによる位置や動き等の状態を検出し、各種の操作を判定する。センサ４等は、空間浮遊映像３の面または空間浮遊映像領域３Ｖに対する手指ＵＨによる３次元の位置や動作を含む操作の状態を検出する。

　例えば、ユーザＵの手指ＵＨが空間浮遊映像３の面に対し手前側に近接している場合に、指先Ｕｆと空間浮遊映像３の面とのｚ方向での距離が例えば距離Ｋ２となる。また、例えば、ユーザＵの手指ＵＨが空間浮遊映像３の面に対し奥側に侵入している場合に、指先Ｕｆと空間浮遊映像３の面とのｚ方向での距離が例えば距離Ｋ３となる。制御装置１０は、所定の空間浮遊映像領域３Ｖの範囲内で、そのような距離を計測し、空間内での指先Ｕｆの位置座標（Ｘ，Ｙ，Ｚ）を求める。また、制御装置１０は、時系列で各時点の位置を求めることで、手指ＵＨの動き等を把握できる。

　手指ＵＨによる操作は、タッチ操作・タップ操作以外にも、スワイプ操作やフリック操作やピンチ操作などが挙げられる。例えば、オブジェクトのスワイプ操作に適用する場合、スワイプ操作による指先Ｕｆのｘ方向およびｙ方向の移動の位置に基づいて、超音波による焦点の形成の位置を制御すればよい。これらの操作の例は、既存のタッチパネルでの操作と対応しているが、これに限らず、任意の操作（ジェスチャ等）を定義できる。手指ＵＨによる操作は、１本指による操作に限らず、２本指や手全体などの操作も、同様に可能である。空間浮遊映像３に対する操作物は、手指ＵＨに限らず、手指ＵＨに持ったペン等の物体としても、同様に適用可能である（ただしこの場合には指先への感覚の生成はできない）。

　また、上記のような空間浮遊映像領域３Ｖに対する操作を受け付ける場合に、指先触覚生成装置６からの超音波による焦点の形成の制御は、前述の面（ｘ－ｙ）内の方向の制御に限らず、面に垂直なｚ方向での制御も可能である。例えば、オブジェクトのタッチ操作の際に、指先Ｕｆが空間浮遊映像領域３Ｖ内で奥まで侵入した時に、その時の距離の位置に合わせて、超音波による焦点を形成してもよい。前述の位相制御に基づいて、ｚ方向での焦点の移動が可能である。

　また、他の変形例において、他の操作および制御の例として、手指ＵＨが空間浮遊映像３の主面には触れていないが十分近くに近接したような状態を検出した時にも、タッチ操作等の所定の操作がされたと判定して触覚の感覚を生成するようにしてもよい。

　＜空間浮遊映像表示装置の拡散特性の最適化＞
　次に、上述した各実施の形態の空間浮遊映像表示装置に適用可能である映像表示装置等の詳しい構成や特性などについて説明する。図２の液晶表示パネル１１として、大型の液晶表示パネルを使用する場合には、画面中央に対してユーザが正対した場合に、画面周辺の光がユーザ（眼）の方向に向かうように、液晶表示パネルを内側に向ける構成としてもよい。これにより、画面明るさの全面性が向上する。

　図２５は、ユーザのパネルからの観視距離Ｌと、パネルサイズ（画面比１６：１０）をパラメータとした場合のパネル長辺とパネル短辺との収斂角度とを、一覧にしたグラフである。画面を縦長として観視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば２２インチパネルを縦長で用い、観視距離が０．８ｍの場合には、収斂角度を１０度とすれば、画面４コーナからの映像光を有効にユーザに向けることができる。

　同様に、１５インチパネルを縦長で用い、監視距離が０．８ｍの場合には、収斂角度を７度とすれば画面４コーナからの映像光を有効にユーザに向けることができる。このように、液晶表示パネルのサイズ及び縦長で用いるか横長で用いるかによって画面周辺の映像光を、画面中央を監視するのに最適な位置にいるユーザに向けることで画面明るさの全面性を向上できる。

　次に、上述したように、画面中央に対してユーザが正対した場合に、画面周辺の光がユーザの方向に向かうように液晶表示パネル１１が内側に向けられている。さらに、成人の両目の間隔の平均値を６５ｍｍとした場合に、左目と右目の視差で生じる空間浮遊映像の画面水平方向の輝度差について、観視距離をパラメータとして求めた。その結果が図２６に示されている。通常使用における最短観視距離を０．８ｍとした場合、視差による明るさの違いは観視角度の差（５度）と図２５に示した長辺側の収斂角度（７度）の合計の１２度において、相対輝度が５０％以下とならないような特性を有する光源装置を用いればよい。

　また、空間浮遊映像表示装置の短辺方向については、ユーザの視線をずらすことで対応できるため、より条件が厳しい長辺方向の視差による輝度差を考慮すれば、画面明るさの全面性が向上する。

　＜反射型偏光板＞
　実施の形態でのグリッド構造の反射型偏光板（例えば図２の偏光分離部材１０１を構成する反射型偏光板）は、偏光軸に対して垂直方向からの光についての特性は低下する。このため、反射型偏光板は、偏光軸に沿った仕様が望ましく、液晶表示パネル１１からの出射映像光を挟角で出射可能である実施の形態の光源装置１３が理想的な光源となる。また、水平方向の特性についても同様に斜めからの光については特性低下がある。以上の特性を考慮して、本実施の形態の構成例では、液晶表示パネル１１からの出射映像光をより挟角に出射可能な光源装置１３を、液晶表示パネル１１のバックライトとして使用する。これにより、高コントラストな空間浮遊映像を提供可能となる。本構成例について以下に説明する。

　＜表示装置＞
　図２７を用いて表示装置１の構成例を説明する。この表示装置１は、映像表示素子としての液晶表示パネル１１と共に、その光源を構成する光源装置１３を備えている。図２７では、光源装置１３を液晶表示パネル１１と共に展開斜視図として示している。この液晶表示パネル１１は、矢印３０００の方向で示すように、バックライト装置である光源装置１３からの光により、挟角な拡散特性を有する、すなわち、指向性（言い換えると直進性）が強く、かつ、偏光面を一方向に揃えた、レーザ光に似た特性の照明光束を得る。液晶表示パネル１１は、その照明光束に基づいて、入力される映像信号に応じて変調をかけた映像光を出射する。そして、その映像光が、再帰反射部材２により反射させられて、透明部材１００を透過して、空間浮遊映像３を実像として形成する。

　また、図２７の表示装置１は、液晶表示パネル１１と、更に、光源装置１３からの出射光束の指向特性を制御する光方向変換パネル５４、および、必要に応じて挟角拡散板（図示せず）を備えて構成されている。すなわち、液晶表示パネル１１の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射される（矢印３０００）。これにより、所望の映像を指向性の高い特定偏波の光として、光方向変換パネル５４を介して、再帰反射部材２に向けて投射し、再帰反射部材２で反射後、ユーザの眼に向けて透過して空間浮遊映像３を形成する。

　なお、上述した光方向変換パネル５４の表面には、図２８および図２９に示す保護カバー２５０を設けてもよい。

　本実施の形態では、光源装置１３からの出射光束（矢印３０００）の利用効率を向上させ、消費電力を大幅に低減するために、光源装置１３と液晶表示パネル１１を含んで構成される表示装置１において、光源装置１３からの光（矢印３０００）を、再帰反射部材２に向けて投射し、再帰反射部材２で反射後、透明部材１００の表面に設けた透明シート（図示せず）により、空間浮遊映像を所望の位置に形成するよう指向性を制御することもできる。具体的には、この透明シートは、フレネルレンズやリニアフレネルレンズ等の光学部品によって構成することで、高い指向性を付与したまま、空間浮遊映像の結像位置を制御できる。この構成によれば、表示装置１からの映像光は、レーザ光のようにユーザに対して高い指向性で効率良く届き、その結果、高品位な空間浮遊映像を高解像度で表示できる。それと共に、光源装置１３のＬＥＤ素子２０１を含む表示装置１による消費電力を著しく低減することができる。

　＜表示装置の構成例１＞
　前述のように、図２７は、表示装置１の具体的な構成の一例を示す。図２８は、図２７の光源装置１３（図１の光源１１０５に対応）の具体的な構成の一例を示す断面図である。図２８に示すように、図２７の光源装置１３の上には、液晶表示パネル１１と光方向変換パネル５４とが配置されている。光源装置１３は、図２７に示したケース上に、例えば、プラスチック等によって形成され、その内部にＬＥＤ素子２０１、導光体２０３（図１の導光体１１０４に対応）を収納して構成されている。導光体２０３の端面は、図２８等にも示すように、それぞれのＬＥＤ素子２０１からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなり、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状となっている。導光体２０３の上面には、液晶表示パネル１１が取り付けられている。また、光源装置１３のケースの１つの側面（本例では左側の端面）には、半導体光源であるＬＥＤ素子２０１や、ＬＥＤ素子２０１の制御回路を実装したＬＥＤ基板２０２が取り付けられている。なお、ＬＥＤ基板２０２の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。

　また、光源装置１３のケースの上面に取り付けられている液晶表示パネル１１のフレーム（図示せず）には、当該フレームに取り付けられた液晶表示パネル１１、当該液晶表示パネル１１に電気的に接続されたフレキシブル配線基板（ＦＰＣ、図示せず）等が取り付けられている。すなわち、液晶表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子２０１と共に、電子装置を構成する制御回路（図示せず）からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。このとき生成される映像光は、拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来に無い新しい映像表示装置が得られる。なお、現状では、レーザ装置により、上述した表示装置１で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施の形態は、例えば、ＬＥＤ素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る構成としてる。

　続いて、光源装置１３のケース内に収納されている光学系の構成について、図２８と共に図２９を参照しながら詳細に説明する。図２８および図２９は断面図であるため、光源を構成する複数のＬＥＤ素子２０１を１つのみ示している。この光学系では、導光体２０３の受光端面２０３ａの形状により入射光が略平行光（コリメート光）に変換される。このため導光体２０３の端面の受光部とＬＥＤ素子２０１は所定の位置関係を保って取り付けられている。なお、この導光体２０３は、各々、例えば、アクリル等の透光性の樹脂により形成されている。そして、この導光体２０３の端部のＬＥＤ受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、その頂部では、その中央部に凸部（すなわち凸レンズ面）を形成した凹部を有し、その平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）を有する（図示せず）。なお、ＬＥＤ素子２０１を取り付ける導光体２０３の受光部の外形は、円錐形状の外周面を形成する放物面形状であり、ＬＥＤ素子２０１から周辺方向に出射する光を導光体２０３の内部で全反射することが可能な角度となるよう、反射面および放物面の角度が設定されている。

　他方、ＬＥＤ素子２０１は、その回路基板であるＬＥＤ基板２０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板２０２は、ＬＥＤコリメータ（受光端面２０３ａ）に対して、その表面上のＬＥＤ素子２０１が、それぞれ、前述した凹部の中央部に位置するように配置されて固定されている。

　かかる構成によれば、導光体２０３の受光端面２０３ａの形状によって、ＬＥＤ素子２０１から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上させることが可能となる。

　以上述べたように、光源装置１３は、導光体２０３の端面に設けた受光部である受光端面２０３ａに光源であるＬＥＤ素子２０１を複数並べた光源ユニットを取り付けて構成され、ＬＥＤ素子２０１からの発散光束を導光体２０３の端面の受光端面２０３ａのレンズ形状によって略平行光として、矢印で示すように、導光体２０３内部を導光し、光束方向変換手段２０４によって、導光体２０３に対して略平行に配置された液晶表示パネル１１に向かって出射する。導光体２０３の内部または表面の形状によって、この光束方向変換手段の分布（言い換えると密度）を最適化することで、液晶表示パネル１１に入射する光束の均一性を制御できる。光束方向変換手段２０４は、導光体２０３の表面の形状や導光体２０３の内部に例えば屈折率の異なる部分を設けた構成とすることで、導光体２０３内を伝搬した光束を、導光体２０３に対して略平行に配置された液晶表示パネル１１に向かって出射する。この時、液晶表示パネル１１を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が２０％以上あれば、実用上問題無く、３０％を超えていれば、更に優れた特性となる。

　なお、図２８および図２９は、上述した導光体２０３とＬＥＤ素子２０１を含む光源装置１３において、偏光変換する本実施の形態の光源の構成とその作用を説明するための断面配置図である。図２８において、光源装置１３は、例えば、プラスチック等により形成される表面または内部に光束方向変換手段２０４を設けた導光体２０３、光源としてのＬＥＤ素子２０１、反射シート２０５、反射型偏光板２０６、レンチキュラーレンズなどから構成されている。光源装置１３の上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル１１が取り付けられている。

　また、光源装置１３に対応した液晶表示パネル１１の光源光入射面（下面）には、フィルムまたはシート状の反射型偏光板４９が設けられている。反射型偏光板４９は、ＬＥＤ素子２０１から出射した自然光束２１０のうち片側の偏波（例えばＰ波）ＷＡＶ２を選択的に反射させ、導光体２０３の一方（下方）の面に設けた反射シート２０５で反射して、再度、液晶表示パネル１１に向かうようにする。そこで、反射シート２０５と導光体２０３の間もしくは導光体２０３と反射型偏光板４９の間に位相差板であるλ／４板を設けて反射シート２０５で反射させ、２回通過させることで、反射光束をＰ偏光からＳ偏光に変換し、映像光としての光源光の利用効率を向上させている。液晶表示パネル１１で映像信号により光強度を変調された映像光束（図２８の矢印２１３）は、再帰反射部材２に入射して、図２に示したように、反射後に透明部材１０５を透過して、外部に実像である空間浮遊映像３を得ることができる。

　図２９の光源装置１３も、同様に、例えばプラスチック等により形成される表面または内部に光束方向変換手段２０４を設けた導光体２０３、光源としてのＬＥＤ素子２０１、反射シート２０５、反射型偏光板２０６、レンチキュラーレンズなどから構成されている。光源装置１３の上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル１１が取り付けられている。

　また、光源装置１３に対応した液晶表示パネル１１の光源光入射面（下面）には、フィルムまたはシート状の反射型偏光板４９が設けられている。ＬＥＤ素子２０１から出射した自然光束２１０うち片側の偏波（例えばＳ波）ＷＡＶ１は、反射型偏光板４９で選択的に反射され、導光体２０３の一方（下方）の面に設けられた反射シート２０５で反射され、再度液晶表示パネル１１に向かう。反射シート２０５と導光体２０３との間、あるいは導光体２０３と反射型偏光板４９との間に位相差板であるλ／４板が設けられ、ＬＥＤ素子２０１から出射した自然光束２１０うち片側の偏波を、反射シート２０５で反射させ、２回通過させることで、反射光束をＳ偏光からＰ偏光に変換する。これにより、映像光として光源光の利用効率を向上させることができる。液晶表示パネル１１で映像信号により光強度変調された映像光束（図２９の矢印２１４）は、再帰反射部材２に入射して、図２に示したように、反射後に透明部材１０５を透過して、外部に実像である空間浮遊映像３を生成する。

　図２８および図２９に示す光源装置１３においては、対応する液晶表示パネル１１の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネル１１に付帯した２枚の偏光板により得られるクロス透過率の逆数とを乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が１０倍以上向上することが実験により確認された。この結果、自発光型の有機ＥＬに比較しても遜色ない高品位な映像が得られることが確認された。

　＜表示装置の構成例２＞
　図３０には、表示装置１の具体的な構成の他の一例を示す。図３０の光源装置１３は、図２９等の光源装置と同様である。この光源装置１３は、例えばプラスチック等のケース内に、ＬＥＤ、コリメータ、合成拡散ブロック、導光体等を収納して構成されている。光源装置１３の上面には液晶表示パネル１１が取り付けられている。また、光源装置１３のケースの１つの側面には、半導体光源であるＬＥＤ素子や、ＬＥＤ素子の制御回路を実装したＬＥＤ基板が取り付けられている。ＬＥＤ基板の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンク１０３が取り付けられている。

　また、ケースの上面に取り付けられた液晶表示パネル１１のフレームには、当該フレームに取り付けられた液晶表示パネル１１と、更に、液晶表示パネル１１と電気的に接続されたＦＰＣ等が取り付けられている。すなわち、液晶表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子と共に、電子装置を構成する制御回路からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。

　＜表示装置の構成例３＞
　続いて、図３１を用いて、表示装置１の具体的な構成の他の例を説明する。この表示装置１の光源装置は、ＬＥＤ（ＬＥＤ基板のＬＥＤ素子）からの自然光（Ｐ偏波とＳ偏波が混在）の発散光束をＬＥＤコリメータ１５により略平行光束に変換し、略平行光束を反射型導光体３０４により液晶表示パネル１１に向け反射する。反射光は、液晶表示パネル１１と反射型導光体３０４の間に配置された波長板と反射型偏光板４９に入射する。反射型偏光板４９で特定の偏波（例えばＳ偏波）が反射され、波長板で位相が変換されて反射面に戻り、再び位相差板を通過して、反射型偏光板４９を透過する偏波（例えばＰ偏波）に変換される。

　この結果、ＬＥＤからの自然光は特定の偏波（例えばＰ偏波）に揃えられ、特定の偏波は、液晶表示パネル１１に入射し、映像信号に合わせて輝度変調され、パネル面に映像を表示する。図３１の構成は、前述の例と同様に、光源を構成する複数のＬＥＤを有するが、図３１は縦断面図であるため、１個のＬＥＤのみを図示している。これらのＬＥＤは、ＬＥＤコリメータ１５に対して所定の位置にそれぞれ取り付けられている。なお、ＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、ＬＥＤコリメータ１５は、放物断面を回転して得られる円錐凸形状の外周面を有すると共に、その頂部では、その中央部に凸部（すなわち凸レンズ面）を形成した凹部を有する。また、その平面部の中央部は、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面は、ＬＥＤから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定されている。あるいは、ＬＥＤから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内となるように、反射面が形成されている。

　以上の構成は、図２８および図２９等に示した映像表示装置１の光源装置１３と同様の構成である。更に、図３１に示したＬＥＤコリメータ１５により略平行光に変換された光は、反射型導光体３０４で反射し、反射型偏光板４９の作用により特定の偏波の光を透過させ、反射した他方の偏波の光は再び反射型導光体３０４を透過して、液晶表示パネル１１と接しない導光体の他方の面に設けた反射板２７１で反射する。この時、反射板２７１と液晶表示パネル１１の間に配置した位相差板（λ／４板）２７０を２度通過することで偏光変換され、再び反射型導光体３０４を透過して、反対面に設けた反射型偏光板４９を透過して、偏光方向を揃えて液晶表示パネル１１に入射させる。この結果、光源の光を全て利用できるので、光の利用効率が大幅（例えば２倍）に向上する。

　液晶表示パネル１１からの出射光は、従来のＴＶセットでは、画面水平方向（図３８の（ａ）、Ｘ軸で表示）および画面垂直方向（図３８の（ｂ）、Ｙ軸で表示）ともに同様の拡散特性を持っていた。これに対し、本実施の形態の液晶表示パネル１１からの出射光束の拡散特性は、例えば図３８中の例１に示すように、輝度が正面視（角度０度）の５０％になる視野角を１３度とすることで、視野角が従来の６２度に対しておよそ１／５となる。同様に、垂直方向の視野角は上下不均等として上側の視野角を下側の視野角に対して１／３程度に抑えるように、反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶ＴＶに比べ、観視方向に向かう映像光量が大幅に向上し、輝度は５０倍以上となる。

　更に、図３８中の例２に示す視野角特性とすれば、輝度が正面視（角度０度）の５０％になる視野角が５度とすることで、従来の６２度に対して１／１２となる。同様に垂直方向の視野角は、上下均等として視野角を従来に対して１／１２程度に抑えるように、反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶ＴＶに比べ、観視方向に向かう映像光量が大幅に向上し、輝度は１００倍以上となる。

　以上述べたように、視野角を挟角とすることで、観視方向に向かう光束量を集中できるので、光の利用効率が大幅に向上する。この結果、従来のＴＶ用の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで、同様な消費電力で大幅な輝度向上が実現可能である。これにより、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。

　＜光源装置の構成例１＞
　続いて、ケース内に収納されている光源装置１３等の光学系の構成例について、図３２と共に図３３および図３４を参照しながら、詳細に説明する。図３２～図３４には、光源を構成するＬＥＤ素子１４（１４ａ，１４ｂ）が示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、このＬＥＤコリメータ１５は、図３４にも示すように、放物断面を回転して得られる円錐凸形状の外周面１５６を有すると共に、その頂部では、その中央部に凸部（すなわち凸レンズ面）１５７を形成した凹部１５３を有する。また、その平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）１５４を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面１５６を形成する放物面は、ＬＥＤ素子１４から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。

　また、ＬＥＤ素子１４は、その回路基板であるＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤ素子１４（１４ａ，１５ｂ）が、それぞれ、その凹部１５３の中央部に位置するように配置されて固定されている。

　かかる構成によれば、上述したＬＥＤコリメータ１５によって、ＬＥＤ素子１４から放射される光のうち、特に、その中央部分から上方（右方向）に向かって放射される光は、ＬＥＤコリメータ１５の外形を形成する２つの凸レンズ面１５７，１５４により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したＬＥＤコリメータ１５によれば、ＬＥＤ素子１４により発生された光のほぼ全てを平行光として取り出すことが可能である。これにより、発生した光の利用効率を向上することが可能である。

　なお、ＬＥＤコリメータ１５の光の出射側には偏光変換素子２１００が設けられている。この偏光変換素子２１００は、図３３からも明らかなように、断面が平行四辺形である柱状（平行四辺形柱）の透光性部材と、断面が三角形である柱状（三角形柱）の透光性部材とを組み合わせ、ＬＥＤコリメータ１５からの平行光の光軸に対して直交する面に平行に、複数、アレイ状に配列して構成されている。更に、これらアレイ状に配列された隣接する透光性部材間の界面には、交互に、偏光ビームスプリッタ（ＰＢＳ膜）２１１と反射膜２１２とが設けられており、また、偏光変換素子２１００へ入射してＰＢＳ膜２１１を透過した光が出射する出射面には、λ／２位相板２１３が備えられている。

　この偏光変換素子２１００の出射面には、更に、図３３にも示す矩形状の合成拡散ブロック１６が設けられている。すなわち、ＬＥＤ素子１４から出射された光は、ＬＥＤコリメータ１５の働きにより平行光となって合成拡散ブロック１６へ入射し、出射側のテクスチャー１６１により拡散された後、導光体１７に到る。

　導光体１７は、図３４のように、例えばアクリル等の透光性の樹脂により断面が略三角形の棒状に形成された部材である。そして、導光体１７は、図３２からも明らかなように、合成拡散ブロック１６の出射面に第１の拡散板１８ａを介して対向する導光体光入射部（導光体光入射面を含む）１７１と、斜面を形成する導光体光反射部（導光体光反射面を含む）１７２と、第２の拡散板１８ｂを介して、液晶表示素子である液晶表示パネル１１と対向する導光体光出射部（導光体光出射面を含む）１７３とを備えている。

　この導光体１７の導光体光反射部（面）１７２には、その一部拡大図である図３６にも示すように、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されている。そして、反射面１７２ａ（図面では右上がりの線分）は、図３２において一点鎖線で示す水平面に対して角度αｎ（ｎ：自然数、本例では１～１３０）を形成しており、その一例として、ここでは、角度αｎを４３度以下（ただし０度以上）に設定している。

　導光体光入射部（面）１７１は、光源側に傾斜した湾曲の凸形状に形成されている。これによれば、合成拡散ブロック１６の出射面からの平行光は、第１の拡散板１８ａを介して拡散されて入射し、図面からも明らかなように、導光体光入射部（面）１７１により上方に僅かに屈曲（言い換えると偏向）しながら導光体光反射部（面）１７２に達し、ここで反射して上方の出射面に設けた液晶表示パネル１１に到る。

　以上に詳述した表示装置１によれば、光利用効率やその均一な照明特性をより向上するとともに、モジュール化されたＳ偏光波の光源装置を含め、小型かつ低コストで製造することが可能となる。なお、上記説明では、偏光変換素子２１００をＬＥＤコリメータ１５の後に取り付けるものとして説明したが、これに限定されず、液晶表示パネル１１に到る光路中に設けることによっても、同様の作用・効果が得られる。

　なお、導光体光反射部（面）１７２には、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されており、照明光束は、各々の反射面１７２ａ上で全反射されて上方に向かい、更には、導光体光出射部（面）１７３には挟角拡散板を設けて略平行な拡散光束として指向特性を制御する光方向変換パネル５４に入射し、斜め方向から液晶表示パネル１１へ入射する。本実施の形態では、光方向変換パネル５４を導光体光出射部１７３と液晶表示パネル１１の間に設けたが、液晶表示パネル１１の出射面に設けても、同様の効果が得られる。
　＜光源装置の構成例２＞

　光源装置１３等の光学系の構成の他の例について図３５に示す。図３５は、図３３の例と同様に、光源を構成する複数（本例では２個）のＬＥＤ素子１４（１４ａ，１４ｂ）が示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、図３３の例と同様に、このＬＥＤコリメータ１５は、放物断面を回転して得られる円錐凸形状の外周面１５６を有すると共に、その頂部では、その中央部に凸部（すなわち凸レンズ面）１５７を形成した凹部１５３を有する。また、その平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）１５４を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面１５６を形成する放物面は、ＬＥＤ素子１４ａから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。

　また、ＬＥＤ素子１４（１４ａ，１４ｂ）は、その回路基板であるＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤ素子１４が、それぞれ、その凹部１５３の中央部に位置するように配置されて固定されている。

　なお、ＬＥＤコリメータ１５の光の出射側には、第１の拡散板１８ａを介して導光体１７０が設けられている。導光体１７０は、図３５のように、例えばアクリル等の透光性の樹脂により断面が略三角形の棒状に形成された部材である。そして、導光体１７０は、図３５からも明らかなように、合成拡散ブロック１６の出射面に第１の拡散板１８ａを介して対向する導光体１７０の入射部である導光体光入射部１７１と、斜面を形成する導光体光反射部１７２と、反射型偏光板２００を介して液晶表示パネル１１と対向する導光体光出射部１７３とを備えている。

　この反射型偏光板２００として、例えばＰ偏光を反射、Ｓ偏光を透過させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうち、Ｐ偏光は、反射型偏光板２００で反射し、図３４に示した導光体光反射部１７２に設けたλ／４板２０１ａを通過して反射面２０１ｂで反射し、再びλ／４板２０１ａを通過することでＳ偏光に変換される。これにより、液晶表示パネル１１に入射する光束は全てＳ偏光に統一される。

　同様に、反射型偏光板２００として、例えばＳ偏光を反射、Ｐ偏光を透過させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうち、Ｓ偏光は、反射型偏光板２００で反射し、図３４に示した導光体光反射部１７２に設けたλ／４板２０１ａを通過して反射面２０１ｂで反射し、再びλ／４板２０１ａを通過することでＰ偏光に変換される。これにより、液晶表示パネル５２に入射する光束は全てＰ偏光に統一される。以上述べた構成でも、偏光変換が実現できる。

　＜光源装置の構成例３＞
　光源装置１３等の光学系の構成の他の例について図３１を用いて説明する。本例では、図３１に示すように、ＬＥＤ基板１０２のＬＥＤからの自然光（Ｐ偏光とＳ偏光が混在）の発散光束をＬＥＤコリメータ１５により略平行光束に変換し、反射型導光体３０４により液晶表示パネル１１に向け反射する。反射光は液晶表示パネル１１と反射型導光体３０４の間に配置された反射型偏光板２０６に入射する。反射型偏光板２０６で特定の偏波（例えばＳ偏波）が反射され、反射型導光体３０４の反射面を繋ぐ面を透過し、反射型導光体３０４の反対面に面して配置された反射板２７１で反射され、位相差板（λ／４板）２７０を２度透過することで偏光変換され、導光体と反射型偏光板を透過して液晶表示パネル１１に入射し、映像光に変調される。このとき、特定偏波と偏光変換された偏波面を合わせることで、光の利用効率が通常の２倍となり、反射型偏光板の偏光度（消光比）もシステム全体の消光比に乗せられる。よって、本実施の形態の光源装置１３を用いることで、情報表示システムのコントラスト比を大幅に向上できる。

　この結果、ＬＥＤからの自然光は特定の偏波（例えばＰ偏波）に揃えられる。上述の例と同様に、光源を構成する複数のＬＥＤ（図３１では縦断面のため１個のみ図示）が設けられており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このＬＥＤコリメータ１５は、放物断面を回転して得られる円錐凸形状の外周面を有すると共に、その頂部では、その中央部に凸部（すなわち凸レンズ面）を形成した凹部を有する。また、その平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でもよい）を有している。なお、ＬＥＤコリメータ１８の円錐形状の外周面を形成する放物面は、ＬＥＤコリメータ１５から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。

　また、ＬＥＤは、その回路基板であるＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤが、それぞれ、その凹部の中央部に位置するように配置されて固定されている。

　かかる構成によれば、ＬＥＤコリメータ１５によって、ＬＥＤから放射される光のうち、特に、その中央部分から放射される光は、ＬＥＤコリメータ１５の外形を形成する２つの凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したＬＥＤコリメータ１８によれば、ＬＥＤにより発生した光のほぼ全てを平行光として取り出すことが可能である。これにより、発生した光の利用効率を向上することが可能である。

　＜光源装置の構成例４＞
　さらに、光源装置１３等の光学系の構成の他の例について図３９を用いて説明する。図３９の構成では、ＬＥＤコリメータ１５の光の出射側には図面の垂直方向と水平方向の拡散特性を変換する光学シート２０７（言い換えると拡散シート）を２枚用い、ＬＥＤコリメータ１５からの光を２枚の光学シート２０７の間に入射させる。この光学シート２０７は、１枚で構成する場合には表面と裏面の微細形状で垂直と水平の拡散特性を制御する。また、拡散シートを複数枚使用して作用を分担してもよい。光学シート２０７の表面形状と裏面形状により、ＬＥＤコリメータ１５からの光の画面垂直方向の拡散角を拡散シートの反射面の垂直面の幅に合わせ、水平方向では液晶表示パネル１１から出射する光束の面密度が均一になるように、ＬＥＤの数量と光学素子５００からの発散角を設計パラメータとして最適設計するとよい。つまり、本構成では、導光体の代わりに、複数の拡散シートの表面形状により拡散特性を制御する。本実施の形態では、偏光変換は、前述の光源装置の構成例３と同様の方法で行われる。これに対し、ＬＥＤコリメータ１５と光学シート２０７の間に偏光変換素子２１００（図３０）を設けて、偏光変換を行った後、光学シート２０７に光源光を入射させてもよい。

　前述した反射型偏光板２０６は、Ｓ偏光を反射、Ｐ偏光を透過させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうちＳ偏光を反射し、図３９に示した位相差板２７０を通過して、反射板２７１で反射し、再び位相差板２７０を通過することでＰ偏光に変換され、液晶表示パネル１１に入射する。この位相差板の厚さは、位相差板への光線の入射角度により最適値を選ぶ必要があり、λ／１６からλ／４の範囲に最適値が存在する。

　以上、種々の実施の形態について詳述した。本発明は、上述した実施の形態に限定されず、様々な変形例が含まれる。上記実施の形態では、本発明を分かりやすく説明するためにシステム全体等を詳細に説明したが、全ての構成要素を備えるものには限定されない。必須要素を除き、各実施の形態の構成要素についての追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。

　本実施例に係る技術では、空間浮遊映像を高解像度かつ高輝度な映像情報を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作することを可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「3すべての人に健康と福祉を」に貢献する。また、本実施例に係る技術では、出射する映像光の発散角を小さく、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることを可能にする。本実施例に係る技術によれば、消費電力を大幅に低減することが可能な、利用性に優れた非接触ユーザインタフェースを提供することができる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「9産業と技術革新の基盤をつくろう」および「11住み続けられるまちづくりを」に貢献する。さらに、本実施例に係る技術では、指向性（直進性）の高い映像光による空間浮遊映像を形成することを可能にする。本実施例に係る技術では、銀行のATMや駅の券売機等における高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示する場合でも、指向性の高い映像光を表示することで、ユーザ以外に空間浮遊映像を覗き込まれる危険性が少ない非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「11住み続けられるまちづくりを」に貢献する。

　１…表示装置（映像表示装置）、２…再帰反射部材、３…空間浮遊映像、４…センサ（空中操作検出センサ）、５…カメラ、６…指先触覚生成装置、１０…制御装置、１１…液晶表示パネル、１２…吸収型偏光板、１３…光源装置、５０…筐体、６１…超音波素子アレイ、６２…超音波信号発生回路、１００…透明部材、１０１…偏光分離部材、１０００…空間浮遊映像表示装置、Ｕ…ユーザ、Ｕｆ…指先。

Claims

　空間浮遊映像を形成する空間浮遊映像表示装置であって、
　映像を表示する表示装置と、
　前記表示装置からの映像光を再帰反射させる再帰反射部材と、
　を備え、
　前記再帰反射部材からの反射光に基づいて前記空間浮遊映像を形成し、
　前記空間浮遊映像の面または当該面に表示されるオブジェクトを含む空間領域に対する、ユーザの手指またはユーザが保持する物体の位置を含む操作の状態を検出するためのセンサと、
　前記センサで検出した情報に基づいて、前記手指またはユーザが保持する物体の位置の付近に対し、超音波による音圧を形成することで、前記手指またはユーザが保持する物体に触覚の感覚を生成する触覚生成装置と、
　を備える、空間浮遊映像表示装置。
　請求項１記載の空間浮遊映像表示装置において、
　前記触覚生成装置は、前記超音波の信号を音声信号によって変調することで、前記手指またはユーザが保持する物体の位置の付近から音声を発生させる、
　空間浮遊映像表示装置。
　請求項１記載の空間浮遊映像表示装置において、
　前記触覚生成装置は、
　複数の超音波素子が配置された超音波素子アレイと、
　前記センサで検出した情報に基づいて、前記超音波素子アレイの各々の超音波素子に入力する超音波駆動信号を発生する超音波信号発生回路と、
　を有し、
　前記超音波信号発生回路は、前記超音波素子毎に、異なる複数の種類の位相を有する超音波信号のうち選択された１つの超音波信号を与えるように、前記超音波駆動信号を発生する、
　空間浮遊映像表示装置。
　請求項１記載の空間浮遊映像表示装置において、
　前記オブジェクトとして、前記手指またはユーザが保持する物体によるタッチ操作を受け付けるオブジェクトを有し、
　前記空間浮遊映像の面における前記手指またはユーザが保持する物体のタッチ位置の付近に対し、前記超音波による音圧を形成する、
　空間浮遊映像表示装置。
　請求項３記載の空間浮遊映像表示装置において、
　前記表示装置および前記再帰反射部材が収容された筐体と、
　前記筐体の一部に設けられ、前記再帰反射部材からの反射光を透過させる透明部材と、
　を備え、
　前記超音波素子アレイは、前記超音波素子アレイから発された超音波が前記透明部材で反射された後に前記空間浮遊映像の面の裏側から当たる経路となるように、前記透明部材の外側の位置に配置されている、
　空間浮遊映像表示装置。
　請求項３記載の空間浮遊映像表示装置において、
　前記表示装置および前記再帰反射部材が収容された筐体と、
　前記筐体の一部に設けられ、前記再帰反射部材からの反射光を透過させる透明部材と、
　を備え、
　前記超音波素子アレイは、前記超音波素子アレイから発された超音波が前記透明部材で反射されずに前記空間浮遊映像の面の裏側から当たる経路となるように、前記透明部材の外側の位置に配置されている、
　空間浮遊映像表示装置。
　請求項２記載の空間浮遊映像表示装置において、
　前記変調は、振幅変調である、
　空間浮遊映像表示装置。
　請求項２記載の空間浮遊映像表示装置において、
　前記音声信号は、前記空間浮遊映像の面またはオブジェクト、または、前記面またはオブジェクトに対する操作、に関連付けられた所定の音声の音声信号である、
　空間浮遊映像表示装置。
　請求項１記載の空間浮遊映像表示装置において、
　さらに、前記ユーザの顔の付近に向けて超指向性の音声を出力する超指向性スピーカを備え、
　前記触覚生成装置によって前記ユーザの手指またはユーザが保持する物体に触覚の感覚を生成するとともに、前記超指向性スピーカによって前記ユーザの顔の付近に向けて超指向性の音声を出力する、
　空間浮遊映像表示装置。
　請求項２記載の空間浮遊映像表示装置において、
　さらに、前記ユーザの顔の付近に向けて超指向性の音声を出力する超指向性スピーカを備え、
　秘匿性を高くすべき種類の音声を出力する際には、前記超指向性スピーカによって前記ユーザの顔の付近に向けて超指向性の音声を出力し、
　秘匿性を高くしなくてもよい種類の音声を出力する際には、前記触覚生成装置によって前記ユーザの手指またはユーザが保持する物体の位置の付近から音声を発生させる、
　空間浮遊映像表示装置。
　請求項９または１０に記載の空間浮遊映像表示装置において、
　さらに、前記空間浮遊映像に対する視認および操作を行う前記ユーザの顔の付近を撮像する撮像装置を備え、
　前記撮像装置の画像に基づいて前記ユーザの顔の位置を検出し、
　前記顔の位置の付近に前記超指向性の音声の聴取可能領域を形成するように、前記超指向性スピーカからの前記超指向性の音声の出力を制御する、
　空間浮遊映像表示装置。
　請求項１記載の空間浮遊映像表示装置において、
　前記表示装置は、
　映像を表示する液晶表示パネルと、
　前記液晶表示パネルに特定の偏光方向の光を供給する光源装置と、
　を有し、
　前記再帰反射部材は、前記液晶表示パネルからの映像光として狭角な発散角を有する映像光束を再起反射させ、
　前記液晶表示パネルと前記再帰反射部材とを結ぶ光路上の空間内に配置され、前記液晶表示パネルからの特定角度を超える発散角を有する映像光が前記再帰反射部材に入射することを遮る遮光部材を備える、
　空間浮遊映像表示装置。