JP2024077190A - 空中表示装置 - Google Patents

Abstract

【課題】 観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置を提供する。【解決手段】 空中表示装置は、画像を表示する表示素子２０と、表示素子２０からの光を、表示素子２０と反対側に反射し、空中に空中像を結像する光学素子４０と、空中像と交差する空間領域に検知領域を形成し、検知領域内の対象物を検知するセンシング素子５０と、センシング素子５０により対象物が検知された検知タイミングを補正する補正部７０Ｄとを含む。検知領域は、空中像のセンシング素子５０側の端から空中像と検知領域との交差ラインまでの第１部分領域８０と、交差ラインから空中像のセンシング素子５０と遠い側の端までの第２部分領域８１とを含む。補正部７０Ｄは、センシング素子５０による検知位置が第２部分領域８１である場合に、検知タイミングを遅延させる。【選択図】 図１

Description

本発明は、空中表示装置に関する。

画像や動画などを空中像として表示可能な空中表示装置が研究され、新しいヒューマン・マシン・インターフェースとして期待されている。空中表示装置は、例えば、２面コーナーリフレクタがアレイ状に配列された２面コーナーリフレクタアレイを備え、表示素子の表示面から出射される光を反射し、空中に実像を結像する。２面コーナーリフレクタアレイによる表示方法は、収差が無く、面対称位置に実像（空中像）を表示することができる。

特許文献１は、透明平板の表面から突出した透明な四角柱を２面コーナーリフレクタとして使用し、複数の四角柱を平面上にアレイ状に配置した光学素子を開示している。また、特許文献２は、第１及び第２光制御パネルの各々を、透明平板の内部に垂直に複数の平面光反射部を並べて形成し、第１及び第２光制御パネルを、互いの平面光反射部が直交するように配置した光学素子を開示している。特許文献１、２の光学素子は、表示素子から出射された光を直交する反射面で２回反射させ、空中像を生成している。

観察者は、機器に接触することなく、空中表示装置が表示した空中像をタッチすることが可能である。空中表示装置が備えるセンシング素子は、空中像の領域に存在する物体を検知し、観察者が空中像をタッチしたことを認識する。センシング素子には、観察者による空中像へのタッチ操作をより正確に検知することが要求される。

特開２０１１－１９１４０４号公報 特開２０１１－１７５２９７号公報

本発明は、観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置を提供する。

本発明の第１態様によると、画像を表示する表示素子と、前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、前記光学素子の第１方向における一側部に配置され、前記空中像と交差する空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子と、前記センシング素子により前記対象物が検知された検知タイミングを補正する補正部とを具備し、前記検知領域は、前記空中像の前記センシング素子側の端から前記空中像と前記検知領域との交差ラインまでの第１部分領域と、前記交差ラインから前記空中像の前記センシング素子と遠い側の端までの第２部分領域とを含み、前記補正部は、前記センシング素子による検知位置が前記第２部分領域である場合に、前記検知タイミングを遅延させる、空中表示装置が提供される。

本発明の第２態様によると、前記補正部は、前記検知タイミングを特定時間だけ遅延させ、前記センシング素子の光軸と前記空中像とのなす角度をθ_ｓ、前記センシング素子から前記光学素子の上面までの垂直距離をＤｓ、前記光学素子の上面から前記空中像までの垂直距離をＤｉ、前記空中像から前記対象物までの垂直距離をＤｐ、前記空中像の前記第１方向における長さをＬｄ、前記空中像の前記センシング素子側の端から前記センシング素子までの水平距離をＬｓ、前記空中像の前記センシング素子側の端から前記交差ラインまでの水平距離をＬｉ、前記交差ラインから前記対象物までの水平距離をＬｐ、前記対象物の速度をｖ、前記特定時間をｔｐとすると、前記特定時間ｔｐは、以下の式を満たす
ｔｐ＝（（Ｌｐ＋Ｌｉ＋Ｌｓ）ｔａｎθ_ｓ－（Ｄｉ＋Ｄｓ））／ｖ
第１態様に係る空中表示装置が提供される。

本発明の第３態様によると、前記補正部は、前記検知タイミングを一定時間だけ遅延させる、第１態様に係る空中表示装置が提供される。

本発明の第４態様によると、前記センシング素子は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む、第１態様に係る空中表示装置が提供される。

本発明の第５態様によると、前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが前記第１方向に直交する第２方向に延び、前記第１方向に並んだ複数の光学要素とを含み、前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する、第１態様に係る空中表示装置が提供される。

本発明の第６態様によると、前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する配向制御素子をさらに具備する、第１態様に係る空中表示装置が提供される。

本発明の第７態様によると、前記配向制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている、第６態様に係る空中表示装置が提供される。

本発明の第８態様によると、前記表示素子及び前記光学素子は、互いに平行に配置される、第１態様に係る空中表示装置が提供される。

本発明によれば、観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置を提供することができる。

図１は、本発明の第１実施形態に係る空中表示装置の斜視図である。 図２は、図１に示した空中表示装置のＸＺ面における側面図である。 図３は、空中表示装置の外観を説明する斜視図である。 図４Ａは、図１に示した配向制御素子の平面図である。 図４Ｂは、図４ＡのＡ－Ａ´線に沿った配向制御素子の断面図である。 図５は、図１に示した光学素子の斜視図である。 図６は、センシング素子の構成を説明する図である。 図７は、空中表示装置のブロック図である。 図８は、光学素子における光の反射の様子を説明する斜視図である。 図９は、光学素子における光の反射の様子を説明するＸＺ面の側面図である。 図１０は、光学素子における光の反射の様子を説明するＹＺ面の側面図である。 図１１は、光学素子における入射面及び反射面の角度条件を説明する図である。 図１２は、センシング素子が形成する検知領域を説明する図である。 図１３は、観察者が空中像をタッチする様子を説明する図である。 図１４は、検知タイミングの補正動作を説明する模式図である。 図１５は、空中表示装置における全体動作を説明するフローチャートである。 図１６は、本発明の第２実施形態に係る空中表示装置における全体動作を説明するフローチャートである。

以下、実施形態について図面を参照して説明する。ただし、図面は模式的または概念的なものであり、各図面の寸法および比率等は必ずしも現実のものと同一とは限らない。また、図面の相互間で同じ部分を表す場合においても、互いの寸法の関係や比率が異なって表される場合もある。特に、以下に示す幾つかの実施形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置等によって、本発明の技術思想が特定されるものではない。なお、以下の説明において、同一の機能及び構成を有する要素については同一符号を付し、重複する説明は省略する。

［１］ 第１実施形態
［１－１］ 空中表示装置１の構成
図１は、本発明の第１実施形態に係る空中表示装置１の斜視図である。図１において、Ｘ方向は、空中表示装置１のある１辺に沿った方向であり、Ｙ方向は、水平面内においてＸ方向に直交する方向であり、Ｚ方向は、ＸＹ面に直交する方向（法線方向ともいう）である。図２は、図１に示した空中表示装置１のＸＺ面における側面図である。図３は、空中表示装置１の外観を説明する斜視図である。

空中表示装置１は、画像（動画を含む）を表示する装置である。空中表示装置１は、自身の光出射面の上方の空中に、空中像を表示する。空中表示装置１の光出射面とは、空中表示装置１を構成しかつ光路上に配置された複数の部材のうち最上層に配置された部材の上面を意味する。空中像とは、空中に結像する実像である。

空中表示装置１は、照明素子（バックライトともいう）１０、表示素子２０、配向制御素子３０、光学素子４０、センシング素子５０、及び筐体６０を備える。照明素子１０、表示素子２０、配向制御素子３０、及び光学素子４０は、この順にＺ方向に沿って配置され、互いに平行に配置される。照明素子１０、表示素子２０、配向制御素子３０、及び光学素子４０は、互いに特定の間隔を空けるようにして、図示せぬ固定部材で特定の位置に固定される。図３において、照明素子１０、表示素子２０、配向制御素子３０、及び光学素子４０を纏めて表示モジュール２と称する。図３では、簡略化のために、表示モジュール２のうち表示素子２０及び光学素子４０を抽出して示している。

照明素子１０は、照明光を発光し、この照明光を表示素子２０に向けて出射する。照明素子１０は、光源部１１、導光板１２、及び反射シート１３を備える。照明素子１０は、例えばサイドライト型の照明素子である。照明素子１０は、面光源を構成する。照明素子１０は、後述する角度θ_１の斜め方向に光強度がピークになるように構成してもよい。

光源部１１は、導光板１２の側面に向き合うように配置される。光源部１１は、導光板１２の側面に向けて光を発光する。光源部１１は、例えば白色ＬＥＤ（Light Emitting Diode）からなる複数の発光素子を含む。導光板１２は、光源部１１からの照明光を導光し、照明光を自身の上面から出射する。反射シート１３は、導光板１２の底面から出射した照明光を、再び導光板１２に向けて反射する。照明素子１０は、導光板１２の上面に、光学特性を向上させる部材（プリズムシート、及び拡散シートを含む）を備えていてもよい。

表示素子２０は、透過型の表示素子である。表示素子２０は、例えば液晶表示素子で構成される。表示素子２０の駆動モードについては特に限定されず、ＴＮ（Twisted Nematic）モード、ＶＡ（Vertical Alignment）モード、又はホモジニアスモードなどを用いることができる。表示素子２０は、照明素子１０から出射された照明光を受ける。表示素子２０は、照明素子１０からの照明光を透過して光変調を行う。そして、表示素子２０は、自身の画面に特定の画像を表示する。

配向制御素子３０は、不要光を低減する機能を有する。不要光とは、空中像を生成するのに寄与しない光成分であり、法線方向に光学素子４０を透過する光成分を含む。配向制御素子３０は、法線方向に対して角度θ_１の斜め方向を中心として所定の角度範囲の光成分を透過するとともに、上記角度範囲以外の光成分を遮光するように構成される。配向制御素子３０の面積は、表示素子２０の面積以上に設定される。配向制御素子３０の詳細な構成については後述する。

光学素子４０は、底面側から入射した光を上面側に反射する。また、光学素子４０は、底面側から斜めに入射した入射光を、例えば正面方向（法線方向）に反射する。光学素子４０の面積は、表示素子２０の面積以上に設定される。光学素子４０の詳細な構成については後述する。光学素子４０は、空中に空中像３を結像する。空中像３は、光学素子４０の素子面に平行であり、２次元の画像である。素子面とは、光学素子４０が面内方向に広がる仮想的な平面を言う。素子面は、面内と同じ意味である。その他の素子の素子面についても同様の意味である。光学素子４０の正面にいる観察者４は、空中像３を視認することができる。

センシング素子５０は、光学素子４０とおおよそ同じレベルに配置されるとともに、光学素子４０のＸ方向における一方の側に配置される。換言すると、センシング素子５０は、光学素子４０のＸ方向における一側部に配置される。センシング素子５０は、センシング素子５０から出射される光が空中像３を斜めに横切るように、空中像３より下方に配置される。センシング素子５０は、図示せぬ固定部材で特定の位置に固定される。

センシング素子５０は、空中表示装置１が生成した空中像３の一部又は全部を含む２次元の空間領域に、検知領域を形成する。センシング素子５０は、検知領域に存在する対象物（物体）を検知する。センシング素子５０は、検知領域に赤外光を出射し、対象物で反射された反射光を検知する。センシング素子５０は、検知領域に向けて赤外光を発光する発光部と、対象物で反射された反射光を検知する受光部（センサ）とを含む。センシング素子５０は、例えば、複数の発光素子と複数の受光素子とが交互に一列に並んだラインセンサで構成される。ラインセンサは、赤外光を用いてライン状に空間をスキャンすることが可能であり、複数の発光素子が並んだ方向と光が進む方向とからなる２次元の空間をスキャンすることが可能である。センシング素子５０が出射する赤外光の方向は、適宜設定可能である。

筐体６０は、照明素子１０、表示素子２０、配向制御素子３０、光学素子４０、及びセンシング素子５０を収容する。筐体６０は、上部に光学素子４０を露出する開口部６１を有する。筐体６０の一側部には、センシング素子５０が取り付けられる。筐体６０は、上部にセンシング素子５０から出射される光が通る開口部６２を有する。なお、センシング素子５０は、筐体６０に収容されず、筐体６０の外の特定の位置に配置してもよい。センシング素子５０は、検知動作に最適な箇所に配置することが可能である。

［１－１－１］ 配向制御素子３０の構成
図４Ａは、図１に示した配向制御素子３０の平面図である。図４Ｂは、図４ＡのＡ－Ａ´線に沿った配向制御素子３０の断面図である。

基材３１は、ＸＹ面において平面状に構成され、直方体を有する。基材３１は、光を透過する。

基材３１上には、それぞれがＹ方向に延び、Ｘ方向に並んだ複数の透明部材３３が設けられる。また、基材３１上には、それぞれがＹ方向に延び、Ｘ方向に並んだ複数の遮光部材３４が設けられる。複数の透明部材３３と複数の遮光部材３４とは、隣接するもの同士が接するようにして交互に配置される。

複数の透明部材３３及び複数の遮光部材３４上には、基材３２が設けられる。基材３２は、ＸＹ面において平面状に構成され、直方体を有する。基材３２は、光を透過する。

透明部材３３は、ＸＺ面において、基材３１の法線方向に対して角度θ_１の斜め方向に延びる。透明部材３３は、ＸＺ面において、側面が角度θ_１だけ傾いた平行四辺形である。透明部材３３は、光を透過する。

遮光部材３４は、ＸＺ面において、基材３１の法線方向に対して角度θ_１の斜め方向に延びる。遮光部材３４は、ＸＺ面において、側面が角度θ_１だけ傾いた平行四辺形である。遮光部材３４は、光を遮光する。遮光部材３４の厚みは、透明部材３３の厚みより薄く設定される。

隣接する２個の遮光部材３４は、Ｚ方向において互いの端部が若干重なるように配置される。

基材３１、３２、及び透明部材３３としては、ガラス、又は透明な樹脂（アクリル樹脂を含む）が用いられる。遮光部材３４としては、例えば、黒色の染料又は顔料が混入された樹脂が用いられる。

なお、基材３１、３２の一方又は両方を省略して、配向制御素子３０を構成してもよい。複数の透明部材３３と複数の遮光部材３４とが交互に配置されていれば、配向制御素子３０の機能を実現できる。

このように構成された配向制御素子３０は、法線方向に対して角度θ_１の斜め方向の光強度がピークになるように、表示光を透過することができる。例えば、配向制御素子３０は、法線方向に対して３０°±３０°の範囲以外の光成分を遮光するように構成される。望ましくは、配向制御素子３０は、法線方向に対して３０°±２０°の範囲以外の光成分を遮光するように構成される。

なお、変形例として、配向制御素子３０は、照明素子１０と表示素子２０との間に配置してもよい。また、配向制御素子３０を省略して、空中表示装置１を構成してもよい。

［１－１－２］ 光学素子４０の構成
図５は、図１に示した光学素子４０の斜視図である。図５には、光学素子４０の一部を拡大した拡大図も図示している。図５の拡大図は、ＸＺ面における側面図である。

光学素子４０は、基材４１、及び複数の光学要素４２を備える。基材４１は、ＸＹ面において平面状に構成され、直方体を有する。

基材４１の底面には、複数の光学要素４２が設けられる。複数の光学要素４２の各々は、三角柱で構成される。光学要素４２は、三角柱の３個の側面がＸＹ面と平行になるように配置され、１つの側面が基材４１に接する。複数の光学要素４２は、それぞれがＹ方向に延び、Ｘ方向に並んで配置される。換言すると、複数の光学要素４２は、ＸＺ面において鋸歯状を有する。

複数の光学要素４２の各々は、入射面４３及び反射面４４を有する。Ｙ方向から見て、左側の側面が入射面４３であり、右側の側面が反射面４４である。入射面４３は、表示素子２０からの光が入射する面である。反射面４４は、入射面４３に外部から入射した光を、光学要素４２の内部で反射する面である。入射面４３と反射面４４とは、角度θ_ｐを有する。

基材４１及び光学要素４２は、透明材料で構成される。光学要素４２は、例えば、基材４１と同じ透明材料によって基材４１と一体的に形成される。基材４１と光学要素４２とを個別に形成し、透明な接着材を用いて基材４１に光学要素４２を接着してもよい。基材４１及び光学要素４２を構成する透明材料としては、ガラス、又は透明な樹脂（アクリル樹脂を含む）が用いられる。

このように構成された光学素子４０は、入射光を内部で反射して、空中に実像を結像する。また、光学素子４０は、素子面の正面の位置に、空中像３を結像する。

［１－１－３］ センシング素子５０の構成
図６は、センシング素子５０の構成を説明する図である。図６（ａ）が平面図、図６（ｂ）が側面図である。

センシング素子５０は、基板５３、複数の発光素子５４、複数の受光素子５５、複数のレンズ５６、及びケース５７を備える。図６に示した発光素子５４、受光素子５５、及びレンズ５６の数は一例である。複数の発光素子５４を纏めて発光部５１と呼び、複数の受光素子５５を纏めて受光部５２と呼ぶ。

複数の発光素子５４、及び複数の受光素子５５は、基板５３に実装される。基板５３は、複数の配線層（図示せず）を含む。複数の発光素子５４、及び複数の受光素子５５は、交互に配置される。

複数の発光素子５４の各々は、レーザー光を発光する。レーザー光は、例えば、利用者の視覚を刺激せず、可視光の影響を受けない赤外光である。発光素子５４は、例えばレーザーダイオードで構成される。

複数の受光素子５５の各々は、対象物で反射されたレーザー光（赤外光）を検知する。受光素子５５は、例えばフォトダイオードで構成される。

複数のレンズ５６は、複数の発光素子５４に対応して設けられ、複数の発光素子５４の上方に配置される。複数のレンズ５６は、一方向に並んで配置される。複数のレンズ５６の各々は、例えば平凸レンズで構成される。複数のレンズ５６は、複数の発光素子５４から出射されたレーザー光を正面方向に集光する機能を有する。また、複数のレンズ５６は、対象物で反射されたレーザー光を集光する機能を有する。

ケース５７は、基板５３、複数の発光素子５４、複数の受光素子５５、及び複数のレンズ５６を収容する。ケース５７は、上部にレンズ５６を露出する開口部を有する。図６では、ケース５７の外形のみを簡略化して示している。

［１－１－４］ 空中表示装置１のブロック構成
図７は、空中表示装置１のブロック図である。空中表示装置１は、制御部７０、記憶部７１、入出力インターフェース（入出力ＩＦ）７２、表示部７３、センシング素子５０、及び入力部７４を備える。制御部７０、記憶部７１、及び入出力インターフェース７２は、バス７５を介して互いに接続される。

入出力インターフェース７２は、表示部７３、センシング素子５０、及び入力部７４に接続される。入出力インターフェース７２は、表示部７３、センシング素子５０、及び入力部７４のそれぞれに対して、所定の規格に応じたインターフェース処理を行う。

表示部７３は、照明素子１０、及び表示素子２０を備える。表示部７３は、画像を表示する。

センシング素子５０は、発光部５１、及び受光部５２を備える。発光部５１は、検知領域に向けて赤外光を発光する。受光部５２は、対象物で反射された反射光を検知する。

制御部７０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の１つ以上のプロセッサにより構成される。制御部７０は、記憶部７１に格納されたプログラムを実行することで各種機能を実現する。制御部７０は、表示処理部７０Ａ、情報処理部７０Ｂ、検知位置算出部７０Ｃ、及び検知タイミング補正部７０Ｄを備える。

表示処理部７０Ａは、表示部７３（具体的には、照明素子１０、及び表示素子２０）の動作を制御する。表示処理部７０Ａは、照明素子１０のオン及びオフを制御する。表示処理部７０Ａは、表示素子２０に画像信号を送信し、表示素子２０に画像を表示させる。

情報処理部７０Ｂは、空中表示装置１が表示する画像を生成する。情報処理部７０Ｂは、記憶部７１に格納された画像データを用いることが可能である。情報処理部７０Ｂは、図示せぬ通信機能を用いて外部から画像データを取得してもよい。

検知位置算出部７０Ｃは、センシング素子５０の動作を制御する。検知位置算出部７０Ｃは、センシング素子５０に含まれる発光部５１が赤外光を出射するように制御し、所定の空間領域に赤外光からなる検知領域を形成する。検知位置算出部７０Ｃは、センシング素子５０に含まれる受光部５２から送られる複数の検知信号に基づいて、対象物の位置を算出する。

検知タイミング補正部７０Ｄは、センシング素子５０及び検知位置算出部７０Ｃが対象物を検知した場合に、センシング素子５０及び検知位置算出部７０Ｃが検知した検知タイミングを補正する。検知タイミング補正部７０Ｄは、センシング素子５０及び検知位置算出部７０Ｃにより検知された検知位置が検知領域のうち特定の検知部分領域である場合に、センシング素子５０及び検知位置算出部７０Ｃが検知した検知タイミングを特定時間だけ遅延させる。

記憶部７１は、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、及びＳＳＤ（Solid State Drive）等の不揮発性記憶装置と、ＲＡＭ（Random Access Memory）、及びレジスタ等の揮発性記憶装置とを含む。記憶部７１は、制御部７０が実行するプログラムを格納する。記憶部７１は、制御部７０の制御に必要な各種データを格納する。記憶部７１は、空中表示装置１が表示する画像のデータを格納する。

入力部７４は、例えばタッチパネルやボタンなどを含み、ユーザが入力した情報を受け付ける。情報処理部７０Ｂは、入力部７４が受け付けた情報に基づいて、表示部７３に表示する画像を選択することが可能である。

［１－２］ 空中表示装置１の基本動作
次に、上記のように構成された空中表示装置１の基本動作について説明する。

図２の矢印は、光路を示している。図２に示すように、表示素子２０の任意の点“ｏ”から出射された光は、配向制御素子３０に入射する。表示素子２０から出射された光のうち角度θ_１の光成分（角度θ_１を中心とした所定の角度範囲の光成分を含む）は、配向制御素子３０を透過する。配向制御素子３０を透過した光は、光学素子４０に入射する。光学素子４０は、入射光を、配向制御素子３０と反対側に反射し、空中に空中像３を結像する。

図８は、光学素子４０における光の反射の様子を説明する斜視図である。図９は、光学素子４０における光の反射の様子を説明するＸＺ面の側面図である。図９は、観察者４の両目（すなわち、両目を結ぶ線）がＸ方向に平行な状態で光学素子４０を見た図である。図１０は、光学素子４０における光の反射の様子を説明するＹＺ面の側面図である。図１０は、観察者４の両目がＹ方向に平行な状態で光学素子４０を見た図である。

表示素子２０の任意の点“ｏ”から出射された光は、光学素子４０の入射面４３に入射し、反射面４４に到達する。反射面４４の法線方向に対して臨界角よりも大きい角度で反射面４４に到達した光は、反射面４４で全反射され、光学素子４０の光学要素４２が形成されている側と反対側の平面から出射される。臨界角とは、その入射角を超えると全反射する最少の入射角である。臨界角は、入射面の垂線に対する角度である。

図９のＸＺ面では、点“ｏ”から出射された光は、光学要素４２の反射面４４で全反射され、その光は空中で結像されて空中像を生成する。

図１０のＹＺ面では、点“ｏ”から出射された光は、光学要素４２の反射面４４で反射されず、その光は空中で結像することがないため空中像の生成に寄与しない。

すなわち、観察者４が空中像を視認できる条件は、観察者４の両眼がＸ方向に平行、又はそれに近い状態（例えばＸ方向に対して±１０度）である。また、観察者４の両眼がＸ方向に平行、又はそれに近い状態でＹ方向に沿って視点を移動した場合、空中像を常に認識することができる。

図１１は、光学素子４０における入射面４３及び反射面４４の角度条件を説明する図である。

Ｚ方向（素子面に垂直な方向）に対する入射面４３の角度をθ_２、Ｚ方向に対する反射面４４の角度をθ_３、入射面４３と反射面４４とのなす角度をθ_ｐとする。角度をθ_ｐは、以下の式（１）で表される。
θ_ｐ＝θ_２＋θ_３ ・・・（１）

配向制御素子３０から角度θ_１で出射された光は、入射面４３に入射する。光学素子４０の材料の屈折率をｎ_ｐ、空気の屈折率を１とする。入射面４３における入射角をθ_４、屈折角をθ_５とする。反射面４４における入射角をθ_６、反射角をθ_７（＝θ_６）とする。光学素子４０の上面における入射角をθ_８、屈折角をθ_９とする。屈折角θ_９が出射角である。出射角θ_９は、以下の式（２）で表される。
θ_９＝sin^－１（ｎ_ｐ＊sin（sin^－１（（１／ｎ_ｐ）＊sin(９０°－（θ_１＋θ_２）））＋θ₂＋２θ_３－９０°）） ・・・（２）

反射面４４における臨界角は、以下の式（３）で表される。
臨界角＜θ_６（＝θ_７）
臨界角＝sin^－１（１／ｎ_ｐ） ・・・（３）

すなわち、反射面４４における入射角θ_６は、反射面４４における臨界角より大きく設定される。換言すると、反射面４４の角度θ_３は、反射面４４に入射する光の入射角が臨界角より大きくなるように設定される。

また、入射面４３に入射した光は、入射面４３で全反射されないように設定される。すなわち、入射面４３の角度θ_２は、入射面４３に入射する光の入射角が臨界角より小さくなるように設定される。

光学素子４０の素子面と空中像３の面との角度、及び光学素子４０の素子面と空中像３の面との距離は、光学素子４０に入射する光の角度θ_１、光学素子４０の屈折率、光学素子４０の入射面４３の角度θ_２、光学素子４０の反射面４４の角度θ_３を最適に設定することで調整が可能である。

［１－３］ 対象物の検知動作
次に、対象物の検知動作について説明する。

図１２は、センシング素子５０が形成する検知領域５８を説明する図である。図１２は、空中表示装置１のＸＺ面における側面図に対応する。

センシング素子５０は、空中像３が形成されるレベルより下方に配置される。例えば、センシング素子５０は、光学素子４０とおおよそ同じレベル、又は光学素子４０より少し下方に配置される。センシング素子５０は、その光軸（すなわち光出射方向）が斜め上方を向くように配置される。

センシング素子５０は、空中像３に向けて赤外光を発光し、赤外光からなる検知領域５８を形成する。検知領域５８は、２次元の空間領域からなる。検知領域５８は、空中像３と斜めに交差する。例えば、検知領域５８は、Ｘ方向における空中像３のおおよそ中央で、空中像３と交差する。

図１３は、観察者４が空中像３をタッチする様子を説明する図である。空中像３は、例えば押しボタンである。観察者４は、自身の指４Ａで空中像３をタッチする。

空中像の形状は、空中表示装置１が表示する画像として予め決められており、空中像の形状に関する情報は、空中表示装置１が表示する画像の情報に関連付けて、記憶部７１に格納されている。Ｚ方向から見て検知領域５８のうち空中像３が占める領域（判定領域と呼ぶ）に関する情報は、記憶部７１に格納されている。検知した対象物の位置が判定領域内である場合に、制御部７０は、空中像３がタッチされたと判定する。位置の異なる複数の空中像を表示する場合、複数の空中像の各々について、判定領域が設定される。

観察者４の指４Ａが空中像３のうちセンシング素子５０に近い側に存在する場合、観察者４の指４Ａは、空中像３を通過した後に検知領域５８に到達する。一方、観察者４の指４Ａが空中像３のうちセンシング素子５０から遠い側に存在する場合、観察者４の指４Ａは、検知領域５８を通過した後に空中像３に到達する。このように、観察者４が指４Ａで空中像３をタッチした場合に、観察者４の指４Ａの位置に起因してタッチ操作を検知するタイミングが異なる。

ＸＺ面において、検知領域５８のうち、空中像３のセンシング素子５０側の端から空中像３と検知領域５８との交差ラインまでの領域を第１検知部分領域８０と称し、上記交差ラインから空中像３のセンシング素子５０と遠い側の端までの領域を第２検知部分領域８１と称する。観察者４が第１検知部分領域８０に対応する空中像３をタッチした場合、センシング素子５０は、観察者４の指４Ａが空中像３を通過した後に、観察者４のタッチ操作を検知する。観察者４が第２検知部分領域８１に対応する空中像３をタッチした場合、センシング素子５０は、観察者４の指４Ａが空中像３に到達する前に、観察者４のタッチ操作を検知する。すなわち、空中像３を基準にすると、第２検知部分領域８１における検知タイミングは、第１検知部分領域８０における検知タイミングより早くなっている。

本実施形態では、観察者４の指４Ａの位置が第２検知部分領域８１に存在する場合、観察者４による空中像３へのタッチ操作の検知タイミングを補正するようにしている。

図１４は、検知タイミングの補正動作を説明する模式図である。
ＸＹ面と検知領域５８とのなす角度をθ_ｓとする。ＸＹ面は、空中像３と平行な面である。センシング素子５０の光軸とＸＹ面とは、角度θ_ｓをなす。センシング素子５０は、自身の光出射面が角度θ_ｓだけ斜め上に向くように配置される。角度θ_ｓは、０より大きく６０度以下である。センシング素子５０の光出射面とは、センシング素子５０を直方体として見た場合における光が出射する面である。

センシング素子５０の光出射面から光学素子４０の上面までの垂直距離をＤｓ、光学素子４０の上面から空中像３までの垂直距離をＤｉ、空中像３から押下位置までの垂直距離をＤｐとする。光学素子４０の上面とは、空中表示装置１の光出射面と同じ意味である。押下位置とは、観察者４が指４Ａで空中像３をタッチした場合に、観察者４の指４Ａが検知領域５８に到達した位置である。

空中像３のＸ方向における長さをＬｄ、空中像３のセンシング素子５０側の端からセンシング素子５０の光出射面までの水平距離をＬｓ、空中像３のセンシング素子５０側の端から空中像３と検知領域５８との交差ラインまでの水平距離をＬｉ、上記交差ラインから押下位置までの水平距離をＬｐとする。ここでいう空中像３の長さ（サイズ）は、空中像３が形成可能な最大の領域を意味する。距離Ｄｐは、以下の式（４）で表される。
Ｄｐ＝（Ｌｐ＋Ｌｉ＋Ｌｓ）ｔａｎθ_ｓ－（Ｄｉ＋Ｄｓ） ・・・（４）

押下時の指４Ａの速度をｖ、時間をｔ、距離をＤとする。距離Ｄは、以下の式（５）で表される。
Ｄ＝ｖｔ ・・・（５）
速度ｖは、人間がボタンを押す際の指の平均的な速度であり、予め設定される。速度ｖの情報は、記憶部７１に格納されている。

距離Ｄｐを移動する時間をｔｐとすると、式（４）、（５）から、時間ｔｐは、以下の式（６）で表される。
ｔｐ＝（（Ｌｐ＋Ｌｉ＋Ｌｓ）ｔａｎθ_ｓ－（Ｄｉ＋Ｄｓ））／ｖ ・・・（６）

検知タイミング補正部７０Ｄは、前述した第２検知部分領域８１に対象物が存在する場合に、式（６）で算出した時間ｔｐだけ検知タイミングを遅延させる。これにより、観察者４が空中像３をタッチしたタイミングと、タッチ操作の検知タイミングとをほぼ同じにすることができる。

［１－４］ 全体動作の流れ
次に、空中表示装置１における全体動作の流れについて説明する。図１５は、空中表示装置１における全体動作を説明するフローチャートである。

制御部７０は、空中像３を表示する（ステップＳ１００）。表示処理部７０Ａは、表示素子２０の画面に画像を表示させる。光学素子４０は、表示素子２０からの光を反射し、空中に空中像３を結像する。

続いて、センシング素子５０は、センシング動作を実行する（ステップＳ１０１）。センシング素子５０に含まれる発光部５１は、空中像３が表示された領域と交差する検知領域５８に、赤外光を出射する。

続いて、センシング素子５０は、検知領域５８内に対象物が存在するか否かを監視している（ステップＳ１０２）。すなわち、センシング素子５０に含まれる受光部５２は、対象物で反射された赤外光を監視している。

センシング素子５０が対象物を検知した場合（Ｓ１０２＝Ｙｅｓ）、検知位置算出部７０Ｃは、センシング素子５０により検知された信号に基づいて、検知領域５８内の検知位置を算出する（ステップＳ１０３）。検知位置算出部７０Ｃは、発光部５１が光を発光した時間と、受光部５２が反射光を受光した時間とに基づいて、対象物の位置を算出する。

続いて、検知タイミング補正部７０Ｄは、ステップＳ１０３の検知位置が、検知領域５８のうち第１検知部分領域８０であるか第２検知部分領域８１であるかを判定する（ステップＳ１０４）。第１検知部分領域８０及び第２検知部分領域８１の情報は、空中像３の情報に関連付けて記憶部７１に格納されている。

検知位置が第２検知部分領域８１である場合（ステップＳ１０４＝第２検知部分領域）、検知タイミング補正部７０Ｄは、センシング素子５０が対象物を検知した検知タイミングを特定時間だけ遅延させる（ステップＳ１０５）。ステップＳ１０５における特定時間は、上記式（６）で算出した時間ｔｐである。

続いて、検知タイミング補正部７０Ｄは、ステップＳ１０５で遅延させた補正タイミングで、空中像３がタッチされたと判定する（ステップＳ１０６）。その後、空中表示装置１は、観察者４のタッチ操作に応じた動作を実行する。

検知位置が第１検知部分領域８０である場合（ステップＳ１０４＝第１検知部分領域）、検知タイミング補正部７０Ｄは、センシング素子５０が対象物を検知した検知タイミングで、空中像３がタッチされたと判定する。（ステップＳ１０６）。すなわち、検知タイミング補正部７０Ｄは、検知タイミングを遅延させない。その後、空中表示装置１は、観察者４のタッチ操作に応じた動作を実行する。

［１－５］ 第１実施形態の効果
第１実施形態では、センシング素子５０は、光学素子４０の一側部に配置され、空中像３を斜めに横切るように赤外光からなる検知領域５８を形成する。検知タイミング補正部７０Ｄは、センシング素子５０により検知された対象物の検知位置が、空中像３と検知領域５８とが交差する交差ラインよりもセンシング素子５０から遠い領域（第２検知部分領域８１）である場合に、特定時間ｔｐだけ検知タイミングを遅延させるようにしている。

従って第１実施形態によれば、観察者４が空中像３をタッチしたタイミングをより正確に検知することができる。ひいては、観察者４による空中像３へのタッチ操作をより正確に検知することが可能な空中表示装置１を実現できる。

また、空中表示装置１は、表示素子２０から出射された光を光学素子４０で反射させることで、空中に空中像３を表示することができる。また、空中表示装置１は、その正面方向において、光学素子４０の素子面に平行に空中像３を表示することができる。また、表示品質を向上させることが可能な空中表示装置１を実現できる。

また、観察者４の両眼がＸ方向（すなわち、複数の光学要素４２が並ぶ方向）に平行、又はそれに近い状態で光学素子４０を見た場合に、観察者４は、空中像を視認することができる。また、観察者４の両眼がＸ方向に平行、又はそれに近い状態でＹ方向に沿って視点を移動した場合、空中像を常に視認することができる。また、観察者４の両眼がＸ方向に平行、又はそれに近い状態において、より広い視野角を実現できる。

また、空中表示装置１を構成する複数の素子を平行に配置することができる。これにより、Ｚ方向に小型化が可能な空中表示装置１を実現できる。

［２］ 第２実施形態
第２実施形態は、対象物の検知位置が検知領域５８のうち第２検知部分領域８１である場合に、一定時間だけ検知タイミングを遅延させるようにしている。

図１６は、本発明の第２実施形態に係る空中表示装置１における全体動作を説明するフローチャートである。ステップＳ１００～Ｓ１０４までの動作は、第１実施形態と同じである。

検知位置が第２検知部分領域８１である場合（ステップＳ１０４＝第２検知部分領域）、検知タイミング補正部７０Ｄは、センシング素子５０が対象物を検知した検知タイミングを一定時間だけ遅延させる（ステップＳ２００）。ステップＳ２００における一定時間は、予め決められた時間であり、例えば１秒である。一定時間は、空中像３と第２検知部分領域８１との間隔の平均に基づいて設定される。例えば、一定時間は、空中像３と第２検知部分領域８１との間隔の平均を距離Ｄとして、式（５）に代入して算出される。

続いて、検知タイミング補正部７０Ｄは、ステップＳ２００で遅延させた補正タイミングで、空中像３がタッチされたと判定する（ステップＳ１０６）。その後、空中表示装置１は、観察者４のタッチ操作に応じた動作を実行する。

第２実施形態によれば、制御部７０による特別な演算を省くことができる。これにより、制御部７０の処理を簡単化できる。その他の効果は、第１実施形態と同じである。

［３］ 変形例
上記実施形態では、表示素子２０と光学素子４０とを平行に配置している。しかし、これに限定されず、光学素子４０に対して表示素子２０を斜めに配置してもよい。表示素子２０と光学素子４０との角度は、０度より大きく４５度より小さい範囲に設定される。この変形例では、配向制御素子３０を省略できる。

本発明は、上記実施形態で説明した光学素子４０に限定されず、他の種類の結像素子を用いることも可能である。例えば、２面コーナーリフレクタがアレイ状に配列された２面コーナーリフレクタアレイで光学素子４０を構成してもよい。２面コーナーリフレクタアレイを用いた場合は、結像素子に対して面対称の位置に空中像が結像される。この変形例では、空中像が表示される面に交差する検知領域を形成可能なように、センシング素子５０が配置される。

上記実施形態では、光学要素４２の左側の側面が入射面４３、右側の側面が反射面４４として定義している。しかし、これに限定されず、入射面４３と反射面４４とを逆に構成してもよい。この場合、実施形態で説明した空中表示装置１の作用も左右が逆になる。

上記実施形態では、表示素子２０として液晶表示素子を例に挙げて説明しているが、これに限定されるものではない。表示素子２０は、自発光型である有機ＥＬ（electroluminescence）表示素子、又はマイクロＬＥＤ（Light Emitting Diode）表示素子などを用いることも可能である。マイクロＬＥＤ表示素子は、画素を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）をそれぞれＬＥＤで発光させる表示素子である。自発光型の表示素子２０を用いる場合、照明素子１０は不要である。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１…空中表示装置、２…表示モジュール、３…空中像、４…観察者、１０…照明素子、１１…光源部、１２…導光板、１３…反射シート、２０…表示素子、３０…配向制御素子、３１…基材、３２…基材、３３…透明部材、３４…遮光部材、４０…光学素子、４１…基材、４２…光学要素、４３…入射面、４４…反射面、５０…センシング素子、５１…発光部、５２…受光部、５３…基板、５４…発光素子、５５…受光素子、５６…レンズ、５７…ケース、５８…検知領域、６０…筐体、６１…開口部、６２…開口部、７０…制御部、７０Ａ…表示処理部、７０Ｂ…情報処理部、７０Ｃ…検知位置算出部、７０Ｄ…検知タイミング補正部、７１…記憶部、７２…入出力インターフェース、７３…表示部、７４…入力部、７５…バス、８０…第１検知部分領域、８１…第２検知部分領域。

Claims (8)

1. 画像を表示する表示素子と、
   前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、
   前記光学素子の第１方向における一側部に配置され、前記空中像と交差する空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子と、
   前記センシング素子により前記対象物が検知された検知タイミングを補正する補正部と、
   を具備し、
   前記検知領域は、前記空中像の前記センシング素子側の端から前記空中像と前記検知領域との交差ラインまでの第１部分領域と、前記交差ラインから前記空中像の前記センシング素子と遠い側の端までの第２部分領域とを含み、
   前記補正部は、前記センシング素子による検知位置が前記第２部分領域である場合に、前記検知タイミングを遅延させる
   空中表示装置。
2. 前記補正部は、前記検知タイミングを特定時間だけ遅延させ、
   前記センシング素子の光軸と前記空中像とのなす角度をθ_ｓ、前記センシング素子から前記光学素子の上面までの垂直距離をＤｓ、前記光学素子の上面から前記空中像までの垂直距離をＤｉ、前記空中像から前記対象物までの垂直距離をＤｐ、前記空中像の前記第１方向における長さをＬｄ、前記空中像の前記センシング素子側の端から前記センシング素子までの水平距離をＬｓ、前記空中像の前記センシング素子側の端から前記交差ラインまでの水平距離をＬｉ、前記交差ラインから前記対象物までの水平距離をＬｐ、前記対象物の速度をｖ、前記特定時間をｔｐとすると、前記特定時間ｔｐは、以下の式を満たす
   ｔｐ＝（（Ｌｐ＋Ｌｉ＋Ｌｓ）ｔａｎθ_ｓ－（Ｄｉ＋Ｄｓ））／ｖ
   請求項１に記載の空中表示装置。
3. 前記補正部は、前記検知タイミングを一定時間だけ遅延させる
   請求項１に記載の空中表示装置。
4. 前記センシング素子は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む
   請求項１に記載の空中表示装置。
5. 前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが前記第１方向に直交する第２方向に延び、前記第１方向に並んだ複数の光学要素とを含み、
   前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する
   請求項１に記載の空中表示装置。
6. 前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する配向制御素子をさらに具備する
   請求項１に記載の空中表示装置。
7. 前記配向制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、
   前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている
   請求項６に記載の空中表示装置。
8. 前記表示素子及び前記光学素子は、互いに平行に配置される
   請求項１に記載の空中表示装置。