JP7403626B2

JP7403626B2 - 空中映像表示装置

Info

Publication number: JP7403626B2
Application number: JP2022502644A
Authority: JP
Inventors: 勇人菊田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2023-12-22
Anticipated expiration: 2040-02-26
Also published as: WO2021171403A1; JP2023164866A; JPWO2021171403A1; US20230035023A1; CN115244451A

Description

本開示は、表示素子のない空中に映像を映し出す空中映像表示装置に関する。

表示素子のない空中映像を映し出す、空中映像結像技術を使用した表示装置において表示される映像を観察者に応じて調整するシステムが存在する。例えば特許文献１では空中映像に対して観察者の視点位置に応じて表示の有無を制御することで、観察者が表示装置からの光を視認することができる位置にいた場合に観察者が空中映像を知覚することを可能としている。

特開２０１７－１０７２１８号公報

観察者が通過する動線上の空間に空中映像を投影する配置構造にした場合、観察者が知覚する空中映像の結像位置を通過した直後に、映像にならない不必要な光である、映像を空間に結像する前の光が観察者に視認されるという問題があった。

本開示は上述のような課題を解決するためになされたもので、観察者に映像を空間に結像する前の光が視認されることなく空中映像を適切な表示品位で知覚させることを可能とするものである。

本開示は、映像を表示する映像表示部と、ビームスプリッタと再帰反射シートとを有する空中結像光学系であって、前記ビームスプリッタが前記映像表示部から発する拡散光を反射して前記再帰反射シートに送り、前記再帰反射シートが前記ビームスプリッタからの光を反射して前記ビームスプリッタに送り、前記ビームスプリッタが前記再帰反射シートからの光を透過し、前記ビームスプリッタを透過した光が空中映像として再結像するように構成された前記空中結像光学系と、前記空中結像光学系により前記拡散光が再結像される地点を見る観察者の視点位置情報を取得する視点位置情報取得部と、前記再帰反射シートの端点及び前記観察者の眼を結ぶ直線と、前記観察者の眼から正面の前記再帰反射シートに到達する直線とがなす角度に応じて、前記映像表示部からの映像を制御する表示制御処理部とを備え、前記表示制御処理部は、前記角度が大きいほど低下する前記空中映像の鮮鋭度が、設定された閾値以下である領域についての前記映像を遮光する制御を行うことを特徴とする。

本開示により、空中結像を成す空中映像表示装置において、観察者が通過する動線上の空間に空中映像を投影する配置構造において、観察者が空中映像を通過した直後にいる場合でも、空中結像光学系から再結像される地点までの領域に移動する観察者位置を検知した時に映像表示部からの映像を遮光することにより、視野に映像を空間に結像する前の光が視認されない空中映像表示装置を実現できる。

実施の形態１の空中映像表示装置１００の構成を示す説明図である。実施の形態１の映像表示部１０からの光が空中に映像を結像するまでを示す説明図である。実施の形態１の表示制御装置１５の構成を示すブロック図である。実施の形態１における空中映像１３の結像範囲より観察者１９がビームスプリッタ１１に近い位置にいる場合の制御例を示す説明図である。実施の形態２の表示制御装置１５ａの構成を示すブロック図である。実施の形態２における空中映像１３の結像範囲より観察者１９がビームスプリッタ１１に遠い位置であり、かつ空中映像１３の結像範囲に近い位置にいる場合の制御例を示す説明図である。実施の形態２の映像表示部１０における領域３１ａ及び領域３１ｂを示す説明図である。実施の形態２の映像表示部１０における領域３１ａ、領域３１ｂ、領域３１ｃ及び領域３１ｄを示す説明図である。

以下、本開示の実施の形態を図面に従って説明する。
実施の形態１
図１は、本開示の実施の形態１の空中映像表示装置１００の構成を示す説明図である。図１において、空中映像表示装置１００は、映像表示部１０、ビームスプリッタ１１、再帰反射シート１２、視点位置検出装置１４、及び表示制御装置１５を備える。また、ビームスプリッタ１１及び再帰反射シート１２は、映像表示部１０から発する拡散光を複数回反射させ、かつ透過することで異なる空間上に再結像させる空中結像光学系を構成する。映像表示部１０は、表示した映像を光としてビームスプリッタ１１に送る。ビームスプリッタ１１が映像表示部１０からの光を反射して、再帰反射シート１２に送る。再帰反射シート１２は、ビームスプリッタ１１からの光を反射して、ビームスプリッタ１１に送る。ビームスプリッタ１１は、再帰反射シート１２からの光を透過する。ビームスプリッタ１１を透過した光は観察者１９に空中映像１３として知覚される。視点位置検出装置１４は、観察者１９の視点位置を検出した情報を、表示制御装置１５に送る。表示制御装置１５は、視点位置検出装置１４の情報から映像表示部１０からの表示光を制御する機能を有する。

映像表示部１０は、例えば信号発生器や映像再生装置などから映像入力信号が入力され、表示する映像を光として出力する装置である。これは、例えば液晶ディスプレイのような液晶素子とバックライトとを備えた表示装置、有機ＥＬ素子やＬＥＤ素子を用いた自発光デバイスの表示装置、又は、プロジェクタとスクリーンとを用いた投影装置が挙げられる。また前記のような２次元平面光源だけではなく、曲面を用いたディスプレイ、立体的に配置したディスプレイ、ＬＥＤ等の立体表示ディスプレイ、又はレンズ光学系やバリア制御を利用することにより観察者に両眼視差や運動視差による立体映像を知覚させるディスプレイを用いてもよい。

ビームスプリッタ１１は、入射する光を透過光と反射光とに分離する光学素子である。ビームスプリッタ１１は例えばアクリル板やガラス板である。アクリル板やガラス板は一般的に反射光に比べ透過光の強度が高いことから、アクリル板やガラス板に金属を付加して反射強度を向上させたハーフミラーとした光学素子を利用してもよい。また、液晶素子や薄膜素子による入射光の偏光状態により、反射の振舞いと透過の振舞いとが変化する反射型偏光板を利用してもよい。また液晶素子や薄膜素子により入射光の偏光状態で透過率と反射率との割合が変化する反射型偏光板を利用してもよい。

再帰反射シート１２は、入射した光を入射した方向にそのまま反射する再帰反射性能を持つシート状の光学素子である。再帰反射を実現する光学素子には、鏡面状に小さなガラスビーズを敷き詰めたビーズタイプの光学素子、各面が鏡面で構成される凸形状の微小の三角錐または三角錐の中心部を切り取った形状を敷き詰めたマイクロプリズムタイプの光学素子などがある。

図２は、本開示の実施の形態１の映像表示部１０からの光が空中に映像を結像するまでを示す説明図である。本実施の形態の空中映像表示装置は、映像表示部１０と対にしてビームスプリッタ１１と再帰反射シート１２とを配置する。映像表示部１０からの映像の光がビームスプリッタ１１で反射され、この光が再帰反射シート１２で再帰反射することにより、図２における映像表示部１０からの映像の光の光路を示す実線と点線とが一点に収束するように、光が空中に再収束する。観察者１９には再収束した光が視認できるため空中映像１３の位置に映像が存在すると知覚される。

また、観察者１９は、空中映像１３の位置に映像が存在すると知覚する構造であれば、上記で説明した構造に限るものではない。例えば、ビームスプリッタ１１、再帰反射シート１２を、直交した２面の鏡面を重ね合わせて平面上にアレイ状の配置をした構造や、樹脂製の構造において内部反射を用いて前記鏡面を実現する構造など、２面コーナーリフレクタアレイ（ｄｉｈｅｄｒａｌｃｏｒｎｅｒｒｅｆｌｅｃｔｏｒａｒｒａｙ）を利用した構造でもよい。この構造の片方の鏡面方向に対して入射した光はもう片方の鏡面に反射しつつ、この素子構造に対して対象の位置へと光が到達する。同様に拡散する光源において同様の反射を行う光は図１と同様に再収束することで、空中映像を知覚することができる。

視点位置検出装置１４は、視点位置を検出する。視点位置は、例えば、観察者１９の眼が存在する位置である。視点位置検出装置１４は、例えばカメラなどの撮像デバイスである。視点位置検出装置１４は、例えば複眼カメラにより観察者１９の三次元的な位置情報を取得することにより、視点位置を検出する。視点位置検出装置１４は、例えば可視光領域のみの単眼カメラである場合でもオプティカルフローによる三次元位置推定や顔や骨格の特徴点から視点位置を検出する。視点位置検出装置１４は、赤外光を撮像するカメラと赤外線を照射する装置とにより、その赤外光の反射パターンや速度を取得することで、視点位置情報２０を検出する。視点位置情報２０とは、例えば、観察者１９の眼が存在する位置を示す情報である。また、視点位置検出装置１４は、カメラ撮像素子を用いる以外の方法として、電波、または、磁場や音などの三次元空間を波及する波形を照射し、その波を入力する機器が照射波形を取得する時間やパターンに応じて人の視点位置情報２０を推定する方法がある。また、視点位置検出装置１４は、観察者がいると想定される場所の足元に感圧センサを設けることで、観察者の立っている位置から視点位置情報２０を取得する。

図３は、表示制御装置１５の構成を示すブロック図である。表示制御装置１５は、空中結像範囲推定部１６、及び表示制御処理部１８を備える。表示制御装置１５は、視点位置情報２０が入力され、表示制御を行う。空中結像範囲推定部１６は、視点位置情報２０と空中結像構造情報２１とが入力され、空中結像範囲情報２２を表示制御処理部１８に出力する。空中結像範囲情報２２は、空中映像が結像する位置を三次元的に示す位置情報である。空中結像構造情報２１とは、空中映像１３を形成するために必要となる映像表示部１０、ビームスプリッタ１１、及び再帰反射シート１２の光学系部材の位置関係を表す情報である。例えば、各部材の三次元ＣＡＤ情報であり、各部材の三次元空間の配置位置・形状を表したものである。表示制御処理部１８は、空中結像範囲情報２２と表示映像情報２４とが入力され、表示光の制御を行う。各ブロックにおける処理内容について以下に説明する。観察者１９が知覚する画像を低下させる要因として、空中映像１３を形成する光以外の光が視認されることが挙げられる。

空中結像範囲推定部１６は、視点位置情報検出部から得られた視点位置情報２０と空中映像表示装置１００における空中映像の結像する光学的な配置構造を持つ空中結像構造情報２１とから観察者１９が知覚することができる空中映像の結像する範囲を推定する。

例えば、再帰反射を利用した空中結像構造では、観察者１９から空中映像１３の方向を見た際に、視線上にビームスプリッタ１１が存在し、更にビームスプリッタ１１から透過した線上又は反射した線上に再帰反射シート１２が存在している場合に空中映像１３を知覚することができる。つまり、視点位置情報２０と空中結像構造情報２１との両情報から三次元光路追跡を行うことで、空中結像範囲推定部１６は、映像表示部１０が出力する表示領域のうち、空中映像として観察者１９が知覚する範囲を推定することができる。

上記説明の通り、観察者１９の視点位置情報２０は、視点位置検出装置１４により検出され出力される。また、空中結像範囲情報２２は、空中結像範囲推定部１６より出力される。観察者１９の視点位置が、観察者１９が空中映像１３の結像位置を通り抜けて、空中映像１３の結像位置よりビームスプリッタ１１に近い位置にある場合、言いかえると、観察者１９が、ビームスプリッタ１１及び再帰反射シート１２から構成される空中結像光学系によって拡散光が再結像される地点を結んだ先にある領域から、空中結像光学系と拡散光が再結像される地点との間の領域に移動した場合、観察者１９は空中映像１３を知覚することができない状態になると推定される。

前述した２面コーナーリフレクタアレイ構造においても空中映像１３の結像位置を推定することが可能となる。２面コーナーリフレクタアレイ構造の場合には、入射する光路がそれぞれの鏡面に１回ずつ反射することで光路が結像される。そのため、構造と光源との入射角度との関係性により、１回以下や３回以上の反射を行う場合には観察者１９に空中映像として知覚されないことが推定される。

表示制御処理部１８は、空中結像範囲情報２２と表示映像情報２４とから空中映像１３を結像する光路を遮光する制御を行う。遮光制御方法は、例えば、映像表示部１０を消灯することによる制御が挙げられる。または、遮光制御方法は、映像表示部１０において液晶ディスプレイなどのバックライト部分を消灯することによる制御が挙げられる。または、遮光制御方法は、映像表示部１０において有機ＥＬディスプレイやＬＥＤディスプレイなどは各光源を消灯することによる制御が挙げられる。または、遮光制御方法は、表示映像情報２４の全画素の値を零に編集することによる制御が挙げられる。また遮光制御方法は例えば、光学フィルムや物理的な遮光装置を利用することが挙げられる。遮光装置は映像表示部１０が発光した光が観察者１９まで空中映像１３として届くまでの光路上に設置され、電子シャッターやカーテンによる遮光制御が可能となる。また遮光制御方法は例えば、映像入力信号の全画素の値を零に変更して映像表示部１０に供給することが挙げられる。

図４は、空中映像１３の位置より観察者１９がビームスプリッタ１１に近い位置にいる場合の制御例を示す説明図である。空中映像１３に結像する前の光路を視認してしまうため、制御としては観察者１９が視認する光の領域を表示遮光領域３１として遮光することで、不快な光となる映像光を視認することによる不快感をなくす。

このように構成された空中映像表示装置においては、空中映像１３の画質の低下を推定した結果から空中映像１３を結像する光路を遮光することにより、観察者にとって視覚的に不快となる光が視認されることなく空中映像のみを適切な表示品位で知覚することができる。

実施の形態２
本実施の形態では、観察者１９が視認する空中映像１３の画質を推定して表示画質を制御する画質変換処理について説明する。

図５は、表示制御装置１５ａの構成を示すブロック図である。本実施の形態では、実施の形態１における表示制御装置１５を表示制御装置１５ａに置き換えるが、それ以外の構成は、実施の形態１と同じである。表示制御装置１５ａは、空中結像範囲推定部１６、空中映像視覚推定部１７、及び表示制御処理部１８ａを備える。表示制御装置１５ａは、視点位置情報２０、空中結像構造情報２１、及び表示映像情報２４が入力され、表示制御を行う。空中結像範囲推定部１６は、視点位置情報２０及び空中結像構造情報２１が入力され、空中結像範囲情報２２を空中映像視覚推定部１７に出力する。空中映像視覚推定部１７は、空中結像範囲情報２２が入力され、空中映像画質推定情報２３を表示制御処理部１８ａに出力する。空中映像画質推定情報２３は、観察者が視覚する空中映像１３の映像品位を表す情報である。例えば、白輝度を表示した際の明るさを表す輝度値や、白輝度と黒輝度を隣接して表示した際のコントラスト比を示す情報や、ＲＧＢなどの色を表示した際の色度を示す情報などが挙げられる。表示制御処理部１８ａは、空中映像画質推定情報２３及び表示映像情報２４が入力され、表示光の制御を行う。各ブロックにおける処理内容について以下に説明する。表示映像情報２４は、例えば信号発生器などから入力される。

空中映像視覚推定部１７は、空中結像範囲推定部１６により得られた空中映像として知覚することができる範囲における、観察者１９に視認される空中映像１３の画質を推定する。

以下、空中映像視覚推定部１７における左右の眼の画質推定方法について詳細に記載する。まず空中映像の結合位置での各画素に対して、両眼の位置関係を結ぶ光路を推定する。対象の空中映像画素と右眼とが結ぶ三次元直線、及び対象の空中映像画素と左眼とが結ぶ三次元直線とを算出し、これらの直線と再帰反射シート１２とが交差するそれぞれの角度を算出する。

再帰反射を利用した空中映像結像構造は、構成される光学系部材及び観察者位置によって各眼が視認する光による映像の画質が変化する。本実施の形態では、観察者１９が知覚する空中映像１３において、右眼と左眼とがそれぞれ視認する光による映像の各画素の画質を推定しパラメータとしてマッピングする。本実施の形態でいう画質とは、観察者１９が知覚する画質であって、観察者１９が知覚する空中映像１３の明るさ、先鋭さ、又は色度が挙げられる。再帰反射シート１２の端点及び眼を結ぶ直線と、眼から正面の再帰反射シート１２に到達する直線とがなす角が、大きくなる、つまり観察者１９が空中映像１３の結像位置に近すぎると、観察者１９が知覚する空中映像１３の明るさや先鋭さが変化する。例えば、ビームスプリッタ１１や再帰反射シート１２の表面に光学的に波長変化するフィルム素材や偏光フィルムなどが利用されていた場合に、観察者１９が空中映像１３として知覚する光の入射角度に応じて回折や、偏光による波長の変化や反射透過率の変化などが発生し、知覚する空中映像１３の明るさや色度が変化する。

また、観察者１９が知覚する画像を低下させる要因として、空中映像１３を形成する光以外の光が視認されることが挙げられる。例えば、ビームスプリッタ１１において板厚さの大きい素材で両面とも同様の反射率と透過率とを有していた場合、空中映像１３を形成する際の反射と透過とが両面で実行され、結像範囲の異なる２つの空中映像１３を形成することがある。その場合、空中映像１３を知覚するための光を二重に視認することとなり、空中映像の先鋭さを低下させることとなる。また再帰反射シート１２の表面において、再帰反射ではなく鏡面反射をすることで、再帰反射シート１２の奥に鏡像が視認される場合がある。この鏡像が空中映像１３と干渉することにより観察者１９が知覚する空中映像１３の画質を低下する要因となる。

図６は、空中映像１３の結像範囲より観察者１９がビームスプリッタ１１に遠い位置であり、かつ空中映像１３の結像範囲に近い位置にいる場合の制御例を示す説明図である。映像表示部１０で表示した映像が結像して空中映像１３となることから、それぞれの眼の視覚領域と遮光領域または制御領域は映像表示部の表示範囲を用いて説明する。再帰反射シート１２の左側の端点及び左眼を結ぶ直線と、左眼から正面の再帰反射シート１２に到達する直線とがなす角が、大きくなるほど観察者１９が視認する光による画像の鮮鋭度３４は低下する。具体的には、左眼の視覚領域３２における鮮鋭度３４が中央付近に対して左側で低下する。鮮鋭度３４が設定された閾値以下の左眼の視覚領域３２を領域３２ａとする。なお、閾値は、人間の視覚特性に基づいた認知できるコントラスト比や輝度を基に設定される。

再帰反射シート１２の右側の端点及び左眼を結ぶ直線と、左眼から正面の再帰反射シート１２に到達する直線とがなす角が、大きくなるほど観察者１９が視認する光によって知覚する画像の鮮鋭度３４は同様に低下する。具体的には、左眼の視覚領域３２における鮮鋭度３４が中央付近に対して右側で低下する。鮮鋭度３４が設定された閾値以下の左眼の視覚領域３２を領域３２ｂとする。

再帰反射シート１２の左側の端点及び右眼を結ぶ直線と、右眼から正面の再帰反射シート１２に到達する直線とがなす角が、大きくなるほど観察者１９が視認する光によって知覚する画像の鮮鋭度３５は低下する。具体的には、右眼の視覚領域３３における鮮鋭度３５が中央付近に対して左側で低下する。鮮鋭度３５が設定された閾値以下の左眼の視覚領域３３を領域３３ａとする。

また、再帰反射シート１２の右側の端点及び右眼を結ぶ直線と、右眼から正面の再帰反射シート１２に到達する直線とがなす角が、大きくなるほど観察者１９が視認する光によって知覚する画像の鮮鋭度３５は低下する。具体的には、右眼の視覚領域３３における鮮鋭度３５が中央付近に対して右側で低下する。鮮鋭度３５が設定された閾値以下の右眼の視覚領域３３を領域３３ｂとする。

領域３２ａ、領域３２ｂ、領域３３ａ、及び領域３３ｂのような、鮮鋭度が低下した領域においては観察者１９にとって各眼が同一の画素を視認していると感じにくくなり、空中映像１３の位置関係が知覚することができず不快な光と感じる。このため、観察者１９が知覚する画質が大きく異なる部分の画素は遮光することが望ましい。具体的には、左眼の視覚領域３２及び右眼の視覚領域３３を合わせた領域のうち、領域３２ａ又は領域３３ａの領域３１ａと、領域３２ｂ又は領域３３ｂの領域３１ｂとを遮光するような制御動作をおこなう。

図７は、映像表示部１０における領域３１ａ及び領域３１ｂを示す説明図である。上記の説明では、左眼の視覚領域３２及び右眼の視覚領域３３の領域の内部で遮光範囲を決めていたが映像表示部１０における左眼の視覚領域３２及び右眼の視覚領域３３の領域の外部まで領域３１ａ及び領域３１ｂを拡張して遮光範囲を広げても良い。

図８は、映像表示部１０における領域３１ａ、領域３１ｂ、領域３１ｃ及び領域３１ｄを示す説明図である。領域３１ａより左側の領域を領域３１ｃとする。また、領域３１ｂより右側の領域を領域３１ｄとする。上記の説明では、観察者１９にとって不快な光と感じる領域を遮光するように制御していたが、例えば領域３１ａ及び領域３１ｂにおいて明るさおよび先鋭さを落とすフィルタ処理を表示映像情報２４に行うことで、ぼやけ、明るさの変化、又はコントラストの変化等、各眼が感じる画質の変化を視認しにくくし、領域３１ｃ及び領域３１ｄにおいては光を遮光するような制御としても良い。

表示制御処理部１８ａは、空中映像画質推定情報２３から空中映像１３の画質を変化させる制御を行う。空中映像１３の画質制御方法としては、映像光源への光学フィルタによる制御方法が挙げられる。例えば、拡散フィルムや位相差フィルムを配置し、その設置位置および角度を機械的に制御することにより、空中映像１３の明るさや解像度を局所的に変化させることが可能となる。また空中映像１３の画質制御方法として、映像表示部１０に入力される表示映像情報２４に対して、フィルタ処理や色変換処理を行うことで表示画質を制御することも挙げられる。フィルタ処理では入力される表示映像情報２４の周波数領域ごとのフィルタにより、先鋭さや解像感を制御することが可能である。また画質制御方法は例えば、映像入力信号に対してフィルタ処理や色変換処理を行って映像表示部１０に供給する方法としてもよい。

このように構成された空中映像表示装置においては、観察者が空中映像１３の結像範囲よりビームスプリッタ１１から遠い位置にあり、かつ空中映像１３の結像範囲に近い位置にいる場合に、再帰反射シート１２の端点及び眼を結ぶ直線と、眼から正面の再帰反射シート１２に到達する直線とがなす角が、大きくなっても空中映像を適切に知覚することができる。

以上のように本開示の実施の形態について説明したが、本開示はこれらの実施の形態に限るものではない。

１０映像表示部
１１ビームスプリッタ
１２再帰反射シート
１３空中映像
１４視点位置検出装置
１５表示制御装置
１６空中結像範囲推定部
１７空中映像視覚推定部
１８表示制御処理部
１９観察者
２０視点位置情報
２１空中結像構造情報
２２空中結像範囲情報
２３空中映像画質推定情報
２４表示映像情報
３１表示遮光領域
３２左眼の視覚領域
３３右眼の視覚領域
１００空中映像表示装置

Claims

映像を表示する映像表示部と、
ビームスプリッタと再帰反射シートとを有する空中結像光学系であって、前記ビームスプリッタが前記映像表示部から発する拡散光を反射して前記再帰反射シートに送り、前記再帰反射シートが前記ビームスプリッタからの光を反射して前記ビームスプリッタに送り、前記ビームスプリッタが前記再帰反射シートからの光を透過し、前記ビームスプリッタを透過した光が空中映像として再結像するように構成された前記空中結像光学系と、
前記空中結像光学系により前記拡散光が再結像される地点を見る観察者の視点位置情報を取得する視点位置情報取得部と、
前記再帰反射シートの端点及び前記観察者の眼を結ぶ直線と、前記観察者の眼から正面の前記再帰反射シートに到達する直線とがなす角度に応じて、前記映像表示部からの映像を制御する表示制御処理部と
を備え、
前記表示制御処理部は、前記角度が大きいほど低下する前記空中映像の鮮鋭度が、設定された閾値以下である領域についての前記映像を遮光する制御を行う
ことを特徴とする空中映像表示装置。