JP4807708B2 - 画像表示装置 - Google Patents

Description

本発明は、例えば立体的二次元画像を表示可能であり、更に該立体的二次元画像が表示された空間に進入する被検出物の位置を特定するのに適した画像表示装置に関する。

この種の画像表示装置として、例えば、二次元画像を表示する表示装置と、該表示装置の前方空間に二次元画像の実像を結像する光学パネルとを備え、その前方空間にいる目視者に対して二次元画像を立体的に表示する技術（即ち、立体的二次元画像を表示する技術）が提案されている（特許文献１参照）。この画像表示装置は、前方空間に挿入された被検出物を検出するために、空間中に挿入された被検出物の位置に対応した出力信号を出力する位置検出センサを更に備える。

特開２００５−１４１１０２号公報

しかしながら、例えば前述の特許文献１に開示されている技術によれば、位置検出センサは、例えば、前方空間を囲むような枠状であり、装置全体の小型化の障害となる虞がある。特に、立体的二次元画像の浮き出し効果・意外性を向上させるという、画像表示装置そのものの工夫を凝らす余裕が相対的に低下する虞がある。

本発明は、例えば上述した問題点に鑑みてなされたものであり、立体的二次元画像を表示可能であり、更に比較的簡単にして該立体的二次元画像が表示された空間に進入する被検出物の位置を好適に特定するのに適した画像表示装置を提供することを課題とする。

（画像表示装置）
本発明に係る画像表示装置は上述の課題を解決するために、表示画面を夫々有し該表示画面上に二次元画像を夫々表示すると共に、該二次元画像を構成する表示光の光路が相互に重なるように配列された複数の表示手段と、前記光路上に配置され、前記二次元画像の像を前記表示画面と反対側の空間に表示するように前記表示光を伝達させる画像伝達パネルと、前記複数の表示手段が夫々有する前記表示画面と一体的に又は前記表示画面に隣接して設けられており、前記空間に進入する被検出物を、前記画像伝達パネルを介して撮像する撮像手段と、該撮像された被検出物の前記空間内における位置を、前記撮像手段による撮像の結果に基いて特定する位置特定手段と、該特定された位置に基いて、前記二次元画像を切り換えるように前記複数の表示手段を制御する画像制御手段とを備える。

本発明によれば、表示手段は、二次元画像を表示する表示画面と、表示画面と一体的に又は表示画面に隣接して設けられており、像が表示された空間に進入する被検出物を画像伝達パネルを介して撮像する撮像手段とを有しており、典型的には、所謂「インプットディスプレイパネル」から構成されている。より具体的には、表示手段は、例えば、ほぼ同一平面上に並べられた表示用のカラー液晶表示装置（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：ＬＣＤ）と撮像用のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：ＣＣＤ）とを含んで構成されている。このような表示手段の複数が、それらの表示光の光路が相互に重なるように配列されている。尚、本発明において「一体的に設けられる」とは、表示手段が有する「表示画面」を構成する部材と、撮像手段を構成する部分とが少なくとも部分的に共通であり、表示及び撮像の両機能を維持したまま、表示画面又は撮像手段を表示手段から取り外すことはできない意味である。また、本発明において「隣接して設けられる」とは、表示画面を構成する部材の位置及び撮像手段を構成する部材の位置が、表示光の光路に交わる同一平面上で横並びに位置する場合と、光路に沿って相互に密着又は近接して位置する場合との両方を含み、複数の表示手段間の光路に沿った距離と比べて、同一表示手段における表示画面及び撮像手段間の距離が明らかに小さいという意味である。

その動作時には、複数の表示手段によって、表示画面上に二次元画像が夫々表示される。ここに、「二次元画像」は、二次元、即ち平面状の表示画面に表示される静止画像のみならず動画像をも含む概念である。

このように複数の二次元画像の表示が行われると、例えば凸レンズをアレイ状に配置してなる、画像伝達パネルによって、各二次元画像に対応する像が、画像伝達パネルから見て表示画面と反対側の空間内に位置する、各表示画面位置に対応する各結像面上に結像され表示される。この画像伝達パネルは、例えば、凸レンズアレイを含んでなり、複数の凸レンズの光軸を略平行にして縦横マトリックス状に配置する型のパネル、つまり３Ｄフローティングビジョン（本願出願人の登録商標）方式用の画像伝達パネルを利用可能である。このように各結像面上にある像から、立体的二次元画像が構成される。ここに、「立体的二次元画像」とは、目視者にとってあたかも空中に浮かんでいるかのように見える画像のことであり、画像伝達パネルによって結像された実像から構成される。例えば、前述の３Ｄフローティングビジョン方式であれば、立体的二次元画像は、凸レンズアレイによって結像された実像から構成される。更に本発明では特に、複数の立体的二次元画像から、より立体的な立体的二次元画像が構築される。即ち、空中に浮いたような立体的二次元画像が、異なる位置に複数見えることになる。

ここで、上記立体的二次元画像が表示されている際に、立体的二次元画像が表示された空間に、例えば目視者の指等の被検出物が進入すると、画像伝達パネルを介して撮像手段によって、この被検出物は撮像される。ここに「撮像」或いは「撮像する」とは、典型的にはカメラ撮影の如く高解像度で撮像することを意味するが、これに限らず、ごく低い解像度で或いは何らかの意味で被検出物に係る画像を撮像すれば足りる意味も含む。いずれにせよ、被検出物からの光は、各結像面に対応する像として、撮像手段により撮像される。ここで特に、撮像手段は、表示画面と一体的に又は表示画面に隣接して設けられているので、撮像結果に応じて、立体的二次元画像が表示された空間内に並ぶ結像面毎の被検出物の面内位置が判明可能となると共に、該結像面毎の被検出物のフォーカス具合も判明可能となる。即ち、各結像面上でどの面内位置に被検出物が位置するかが判明可能となると共に、どの結像面上に又は相対的にどの結像面の近くに被検出物が位置するかが判明可能となる。更に、ここでの「位置」は、静的な位置に限らず、例えば被検出物が動く場合などに、動的な位置（例えば、現在に至るまでの動作軌跡）であっても同様に判明可能となる。

上記撮像が行われると、続いて、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）及びメモリを含んでなる、位置特定手段が、撮像の結果に基いて、例えば撮像された被検出物の位置やエッジの鋭さ等をパターン認識等の画像処理によって評価することで、被検出物の空間における位置を特定する。ここに、「位置」とは、文字通りの位置のみならず、空間において被検出物が占める領域、或いは位置の時間変化（即ち、速度や方向）をも含む包括的な概念である。このように位置特定手段によって、非常に確実にして、被検出物の空間内の位置を特定できる。

そして、特定された被検出物の空間における位置に基いて、例えばＣＰＵ及びメモリを含んで成る、画像制御手段が、現在表示中の二次元画像を切り換えるように複数の表示手段を制御する。例えば、制御テーブルに、被検出物が空間における所定の位置にあると特定された場合に、複数の二次元画像をどう切り換えるかという内容を定義しておき、この制御テーブルに基いて、複数の表示手段に表示される複数の二次元画像が切り換えられる。この結果、次のような制御が行われる。例えば、目視者の指が、複数の立体的二次元画像が表示された空間に進入するとする。この際、指の空間における位置に基いて、複数のうちのある立体的二次元画像の一部（例えば、ボタン画像）の空間における位置と、指の空間における位置が略一致する場合には、このボタン画像が指によって押されたものとして、制御テーブルに基いて、ボタン画像を表示する立体的二次元画像が、指から離れる側に、或いは近づく側に切り換えられる。このように、特定された被検出物に応じて、前後に並ぶ立体的二次元画像の表示内容が切り換えられることで、奥行き方向の表現性が向上し、一層効果的かつインタラクティブな演出が可能となる。

尚、このように二次元画像が切り換えられる際、前記画像制御手段は、切り換えられる二次元画像に対応する立体的二次元画像の少なくとも一部が被検出物から相対的に遠ざかる場合には、該少なくとも一部のサイズを相対的に小さくするように複数の表示手段を制御してもよい。逆に、切り換えられる二次元画像に対応する立体的二次元画像の少なくとも一部が被検出物に相対的に近づく場合には、該少なくとも一部のサイズを相対的に大きくするように複数の表示手段を制御してもよい。

このように構成すれば、被検出物が複数の二次元画像のうちの一の二次元画像に対応する立体的二次元画像の少なくとも一部（例えばボタン画像）に進入或いは接触する際、該被検出物に進入或いは接触された少なくとも一部が被検出物から相対的に遠ざかる場合には、この少なくとも一部のサイズを相対的に小さくするように画像制御手段は複数の表示手段を制御する。例えば、立体的二次元画像の少なくとも一部としてボタン画像が表示されており、目視者がこのボタン画像に触れるとする。この際、目視者から見て、ボタン画像を表示する立体的二次元画像が、元の位置よりも手前側（前側）に表示される場合には、表示手段が表示するボタン画像自体を相対的に大きくし、他方、元の位置よりも奥側（後側）に表示される場合には、表示手段が表示するボタン画像自体を相対的に小さくすることで、遠近感を強調した表現が可能となる。例えば、目視者が空中に浮かんで見える立体的二次元画像のボタン画像を押すと立体的二次元画像が奥に引っ込み、逆に、何も表示されていなくても、位置特定手段によって位置が特定される場所（結像面に接触している場合のみならず、フォーカスがボケていながらも撮像画像として認識されるような場合、つまり被検出物が結像面に接近している場合も含む）に、目視者が指を近づけると、目視者から見て奥に浮かんでいた立体的二次元画像のキャラクターが、手前に接近してくるような表現も可能である。加えて、被検出物の位置に応じて、他の要素と絡めた効果を付け加えてもよい。例えば、特定された被検出物の空間における位置に基いて、表示される二次元画像を変形してもよい（例えば、へこませてもよい）し、効果音を鳴らしても良い。このようにして、一層豊かな表現が可能となる。

以上の結果、本発明によれば、立体的二次元画像が表示された空間に進入する被検出物の位置を、典型的には複数のインプットディスプレイパネルという比較的簡単な構成を用いつつ、好適に特定することが可能となる。これにより、画像表示装置全体のコスト削減、或いは小型化・薄型化も期待される。加えて、特定された被検出物に応じて、前後に並ぶ立体的二次元画像の表示内容が切り換えられることで、奥行き方向の表現性が向上し、一層効果的かつインタラクティブな演出が可能となる。

この位置特定手段を備えた態様では、前記位置特定手段は、前記撮像された被検出物の前記空間内における、前記像が結像している結像面上における面内位置を特定してもよい。

このように構成すれば、位置特定手段によって、各結像面上でどの面内位置（例えば、光路に垂直な各結像面における２次元座標位置）に被検出物が位置するかを、確実に特定できる。

この位置特定手段を備えた態様では、前記位置特定手段は、前記撮像された被検出物の前記空間内における、前記光路に沿った方向の位置を特定してもよい。

このように構成すれば、位置特定手段によって、どの結像面上に又は相対的にどの結像面の近く（例えば、光路に沿った方向についての座標位置）に被検出物が位置するかを、確実に特定できる。

この態様では例えば、前記位置特定手段は、被検出物の撮像結果におけるフォーカス評価要素に基いて、被検出物の空間における位置を特定してもよい。

このように構成すれば、位置特定手段によって、撮像画像における、被検出物の平面的な位置情報（例えば、撮像画像における、被検出物のｘｙ座標）に加えて、被検出物のフォーカス評価要素（例えば、フォーカス感、つまりエッジの鋭さのような、フォーカスが定まっているか否かを示す定量的な指標のみならず、撮像画像における被検出物のサイズ或いは形状の変化）に基くので、撮像画像に対して垂直（ｚ）方向における被検出物の位置、即ち被検出物の空間における位置を特定可能となる。特に、１つでなく、複数の撮像画像におけるフォーカス評価要素を比較することで、被検出物の空間における位置や移動する方向をより正確に特定出来る。例えば、仮に１枚の撮像画像におけるフォーカス評価要素のみから被検出物の位置特定しようにも、フォーカスが合っている場合以外（つまり、ピンぼけしている場合）は、被検出物が前後いずれにずれの方向にズレていても同程度にピンぼけを生じるため、どちらの方向にズレているか判断し難い。しかし、この態様によれば、他の撮像画像におけるフォーカス評価要素も考慮出来るので、フォーカスが合っている他の撮像画像を特定することで、撮像画像におけるどちらの方向にズレているかを判断でき、撮像画像に対して垂直（ｚ）方向における被検出物の位置、即ち被検出物の空間における位置を特定可能となるのである。

この場合更に、位置特定手段は、撮像画像における、被検出物のフォーカス評価要素の時間的な変化に基いて、被検出物の空間における位置に加えて動作を特定してもよい。

このように構成すれば、被検出物のフォーカス評価要素の時間的な変化（フォーカスが徐々に合ってくる等）に基くので、被検出物の空間における位置のみならず、動作までも特定可能となる。例えば、被検出物の、隣接する撮像画像におけるフォーカス評価要素の時間的な変化を比較すれば、その被検出物が、ある撮像画像に対応する立体的二次元画像に近づいているのか、或いは遠ざかっているのかを判断可能となる。

本発明に係る画像表示装置の他の態様では少なくとも部分的に光を透過可能であり、前記光路に沿った方向に所定距離を隔てて重ねられている。

この態様によれば、表示手段は、例えば透過型有機ＥＬパネル、透過型液晶パネルのように、少なくとも部分的に光を透過可能であるので、これらを光路に沿って重ねて配置するという比較的簡単な構成を用いつつ、複数の表示手段の配列間隔に応じた立体感を有する、立体的二次元画像を表示すると共に、立体的二次元画像が表示された空間に進入する被検出物の位置を、好適に特定することが可能となる。

或いは本発明に係る画像表示装置の他の態様では、前記光路が相互に重なるように、前記表示画面各々から前記画像伝達パネルへと向かう前記表示光を合成すると共に、前記被検出物から前記撮像手段各々へ向かう光を分離する光合成分離手段を更に備える。

この態様によれば、例えばハーフミラー、プリズム、ビームスプリッタ等の光合成分離手段によって、表示光が合成された後に、画像伝達パネルによって、各二次元画像に対応する像が、各結像面上に表示され、立体的二次元画像が表示される。更に、光合成分離手段によって、被検出物からの光が分離された後に、各結像面に対応する像として、撮像手段により撮像される。このように、光合成分離手段という比較的簡単な構成を用いつつ、各表示手段から画像伝達パネルまでの光学距離の差に応じた立体感を有する、立体的二次元画像を表示できる。特に、光学的なレイアウト（配置）の自由度が増すことになる。加えて、例えば一の二次元画像を形成する光が、他の二次元画像を表示する表示手段を迂回するような配置が可能であり、他の表示手段は必ずしも光を透過できなくてよくなる。即ち、表示手段を実現するデバイスの選択肢が広がる。尚、複数の表示手段の配置として、この態様に係る配置と、そうでない配置（例えば前述の態様の如くに透過型の表示装置を重ねる配置）とを混在させることも可能である。

本発明に係る画像表示装置の他の態様では、前記複数の表示手段の少なくとも一部は、非自発光型であると共に、少なくとも部分的に光を透過可能であり、該少なくとも一部に向かって前記画像伝達パネルとは反対側から光を出射するバックライトを更に備える。

この態様によれば、複数の表示手段は、少なくとも一部が非自発光型であっても、少なくとも部分的に光を透過可能であれば、バックライトから照射される光によって、複数の二次元画像を表示出来る。特に、複数の表示手段が、同一光路上に重ねて配置されていれば、一のバックライトを複数の表示手段で共有することができ、コストが削減される。

本発明に係る画像表示装置の他の態様では、前記複数の表示手段の少なくとも一部は、自発光型である。

この態様によれば、複数の表示手段の少なくとも一部は、例えば有機ＥＬのような自発光であるので、その一部に対してはバックライトが不要となり、バックライトの配置を考える必要がない。即ち、表示手段の配置の自由度が増す。尚、自発光型と非自発光型とを組み合わせることも可能である。

以上、説明したように、本発明の画像表示装置によれば、表示手段、画像伝達パネル、及び撮像手段を備えるので、立体的二次元画像を表示可能であり、更に比較的簡単にして該立体的二次元画像が表示された空間に進入する被検出物の位置を好適に特定するのに適していると言えよう。

本発明の作用及び他の利得は次に説明する実施例から明らかにされよう。

本発明の第１実施例に係る、画像表示装置の基本構成を概念的に示す模式的断面図及び表示部と撮像部とを拡大した平面図である。 第１実施例に係る、被検出物が移動する前の複数の撮像画像を概念的に示す模式図である。 第１実施例に係る、被検出物が移動した後の複数の撮像画像を概念的に示す模式図である。 第１実施例に係る、被検出物が進入する前の立体的二次元画像を概念的に示す斜視図である。 第１実施例に係る、被検出物が進入した後の立体的二次元画像を概念的に示す斜視図である。 第２実施例に係る、画像表示装置の基本構成を概念的に示す模式図である。

符号の説明

１ 画像表示装置
１１ インプットディスプレイパネル
１１Ａ 表示部
１１Ｂ 撮像部
１２ インプットディスプレイパネル
１３ インプットディスプレイパネル
２０ 凸レンズアレイ
３１ 立体的二次元画像
３２ 立体的二次元画像
３３ 立体的二次元画像
４０ バックライト
５１ 偏光板
５３ 偏光板
１００ 画像制御部
１１０ 位置特定部
１２０ 被検出物
１２１ 被検出物
１２２ 被検出物
１１ＩＭＧ 撮像画像
１２ＩＭＧ 撮像画像
１３ＩＭＧ 撮像画像
１２３ 被検出物
１１２Ｄ ボタンの二次元画像
３１３Ｄ ボタンの立体的二次元画像
１２２Ｄ ボタンの二次元画像
３２３Ｄ ボタンの立体的二次元画像
１１ｓ インプットディスプレイパネル
１２ｓ インプットディスプレイパネル
６０ ハーフミラー

以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。

（１）第１実施例
第１実施例に係る画像表示装置の基本的な構成及び動作処理を図１を参照して説明する。ここに、図１は、本発明の第１実施例に係る、画像表示装置の基本構成を概念的に示す模式的断面図及び表示部と撮像部とを拡大した平面図である。図１において、光軸方向をｚ方向とし、ｚ方向に垂直な面をｘｙ平面とする。

図１に示すように、本実施例に係る画像表示装置１は、インプットディスプレイパネル１１と、それに備わる表示部１１Ａ及び撮像部１１Ｂと、凸レンズアレイ２０と、バックライト４０と、偏光板５１及び偏光板５３と、画像制御部１００と、位置特定部１１０とを備えており、例えばアミューズメントシアター、商品説明用ディスプレイ、ゲーム機器等に使用さるインタラクティブな立体的二次元画像の表示・認識装置として用いられる。

インプットディスプレイパネル１１、インプットディスプレイパネル１２、及びインプットディスプレイパネル１３は、表示部１１Ａ及び撮像部１１Ｂを含む画素を、例えば６４０×４８０のマトリクス状に配置した画面を備えて構成され、凸レンズアレイ２０へと向かう一の光軸上に多層的に離間して配置される。

ここに、表示部１１Ａは、本発明に係る「表示手段」が有する「表示画面」の一例を構成しており、例えばカラー液晶表示装置（ＬＣＤ）を含んで構成され、マトリクス状に配置された複数の表示部１１Ａによって、二次元画像が夫々の画面に表示される。表示部１１Ａは、多層的に配置するための制約上、透過型であれば、他の方式のディスプレイ、例えば有機ＥＬ表示装置であってよい。

ここに、撮像部１１Ｂは、本発明に係る「表示手段」が有する「撮像手段」の一例であり、例えばＣＣＤを含んで構成され、複数の表示部１１Ａの個々と一体的に又は前記表示画面に隣接して設けられている。そして、撮像部１１Ｂは、被検出物１２０からの光を受光し、この被検出物１２０の撮像画像を生成する。より具体的には、撮像部１１Ｂにおいて、受光した光が例えば赤・青・緑夫々の撮像データとして光から電気に変換され、カラーの撮像画像を示す画像信号が生成される。

尚、上記インプットディスプレイパネルの枚数は便宜上３枚としてあるが、枚数はこれに限られない。即ち、光の減衰率或いは偏光方向等を考慮すれば、インプットディスプレイパネルの枚数を更に多くして、より多層的な表現も可能である。

凸レンズアレイ２０は、本発明に係る「画像伝達パネル」の一例であり、典型的には３Ｄフローティングビジョン（本願出願人の登録商標）方式のように、複数の凸レンズを互いの光軸が略平行になるよう縦横マトリックス状に配置される。そして、例えばインプットディスプレイパネル１１側からの表示光を立体的二次元画像３１側に伝達すると共に、逆に立体的二次元画像３１側からの光をインプットディスプレイパネル１１側に伝達する。

立体的二次元画像３１、立体的二次元画像３２、及び立体的二次元画像３３は、インプットディスプレイパネル１１、インプットディスプレイパネル１２、及びインプットディスプレイパネル１３の画面に表示された二次元画像が空中に結像された像（典型的には、等倍正立像）である。これら立体的二次元画像は実際には平面であるが、空中に浮かんで見えるため、目視者は二次元画像を立体的に感じることができ、それ故、立体的二次元画像と呼ばれる。更に本実施例では特に、相互に異なる結像面に位置する空中に夫々浮かんだ複数の画像が存在するので、より立体的な画像表示が行われているといえる。これら立体的二次元画像は、加えて、被検出物１２０の位置が特定される面でもある。

バックライト４０は、例えば発光ダイオードを含んで成り、表示部１１Ａを含む各表示部が非自発光型である場合には外部光源として背面から表示光を照射する。尚、各表示部が自発光型の場合はバックライト４０は不要である。

偏光板５１及び偏光板５３は、表示手段が液晶表示装置の場合、夫々インプットディスプレイパネル１１の背面（バックライト４０側）及びインプットディスプレイパネル１３の表面（凸レンズアレイ２０側）に備えられる。また、その偏光方向を考慮することによって、それ以上に偏光板、例えば、偏光板を全ての表示手段の表面及び裏面に配置することも可能である。尚、各表示手段が液晶表示装置でない場合は、偏光板５１及び偏光板５３は不要である。

画像制御部１００は、本発明に係る「画像制御手段」の一例であり、例えばＣＰＵ、メモリ、画像表示ドライバを備え、表示部１１Ａをはじめとする縦横マトリクス状に配置された表示部と夫々電気的に接続され、二次元画像を表示するための映像信号を各表示部へと供給可能に構成されている。

被検出物１２０は、例えば実物のボールや目視者の指であり、位置特定部１１０によって位置が特定される対象である。

位置特定部１１０は、本発明に係る「位置特定手段」の一例であり、例えばＣＰＵ、メモリを備え、複数の撮像画像に基いて、被検出物１２０の空間における位置を特定する。具体的には、立体的二次元画像３１が表示されている空間に被検出物１２０が進入する際、に撮像部１１Ｂ等によって受光信号が得られ、その受光信号によって生成される複数の撮像画像に基いて、位置特定部１１０は、被検出物１２０の空間における位置を特定する。特に、本実施例では、インプットディスプレイパネルが奥行き方向に複数枚配置されているので、被検出物１２０の平面的な位置情報（例えば、撮像画像における、被検出物のｘｙ座標）に加えて、各インプットディスプレイパネルにおける被検出物のフォーカス評価要素も考慮することで、一層正確な位置の特定が可能となる。加えて、位置特定部１１０は、特定された被検出物１２０の位置に関する情報を電気信号として画像制御部１００へと供給し、こうして特定された位置に基いて、画像制御部１００は二次元画像を切り換えたり、新たな画像を表示するようにしてもよい。

以上のように構成された画像表示装置は、例えば下記の如く動作する。先ず、画像制御部１００が、映像信号をインプットディスプレイパネル１１からインプットディスプレイパネル１３へと供給する。供給された映像信号に基いて、各インプットディスプレイパネルの表示部は二次元画像を表示する。この際、表示部が自発光でなければ、バックライト４０が背面から表示光を照射する。そして、表示光は、凸レンズアレイ２０を介して結像され、立体的二次元画像３１から立体的二次元画像３３を空中に表示する。このようにして、相互に異なる結像面に位置する空中に夫々浮かんだ複数の画像が存在するので、目視者から見てより立体的な画像表示が行われているといえる。加えて、目視者の指のような被検出物１２０が例えば立体的二次元画像３１の結像面に進入する場合には、その被検出物１２０からの光が凸レンズアレイ２０を介してその結像面に対応するインプットディスプレイパネル（この場合は、インプットディスプレイパネル１１）の撮像部１１Ｂによって撮像画像として認識される。そして、位置特定部１１０は、撮像画像における被検出物のｘｙ座標、フォーカス評価要素のみならず、他のインプットディスプレイパネルに係る撮像画像等を考慮することで、被検出物の空間における位置（つまり、被検出物のｘｙｚ座標）を、一層正確に特定出来る。更に、特定された位置に基いて、画像制御部１００が表示する二次元画像を切り換えてもよい。

以上、図１に示すように、本実施例に係る画像表示装置は、立体的二次元画像を表示可能であり、更に１枚ではなく複数の撮像画像に基くので、立体的二次元画像が表示された空間に進入する被検出物の位置を好適に特定することが可能となり、一層インタラクティブで表現豊かな立体的二次元画像を表示出来る。

<<被検出物が移動する際の撮像画像の変化について>>
次に、本実施例に係る被検出物が移動する際の撮像画像の変化について図２及び図３を参照して説明を加える。尚、図２及び図３において、図１の構成と同一の構成については同一の参照符号を付し、その詳細な説明を適宜省略する。ここに、図２は、本実施例に係る、被検出物が移動する前の複数の撮像画像を概念的に示す模式図である。

図２において、撮像画像１１ＩＭＧ、撮像画像１２ＩＭＧ、及び撮像画像１３ＩＭＧは、被検出物１２１が移動する前のインプットディスプレイパネル１１、インプットディスプレイパネル１２、及びインプットディスプレイパネル１３に係る撮像画像を夫々示す。このような撮像画像が複数得られると、各撮像画像における、被検出物１２１及び被検出物１２２の像のｘｙ座標に加えて、フォーカス評価要素（ここでは、被検出物１２１及び被検出物１２２の像の大きさやエッジの鋭さ）からｚ座標も特定出来る。例えば、図２に示す撮像画像からは、被検出物１２１の像のエッジは１１ＩＭＧが最も鋭く、被検出物１２２の像のエッジは１２ＩＭＧが最も鋭いので、被検出物１２１は立体的二次元画像３１上に、被検出物１２２は立体的二次元画像３２上にあると特定可能となる。また、被検出物１２１の像が、１１ＩＭＧと比較して、１２ＩＭＧから１３ＩＭＧへと、段々とフォーカス感が悪化したり、サイズが大きくなったりすることからも、被検出物１２１は立体的二次元画像３１上にあるとの特定材料となり得る。同様に、被検出物１２２の像が、１２ＩＭＧと比較して、１１ＩＭＧと１３ＩＭＧのフォーカス感の変化やサイズの変化が、ほぼ同等であることからも、被検出物１２２は立体的二次元画像３２上にあるとの特定材料となり得る。

続いて、図３は、本実施例に係る、被検出物が移動した後の複数の撮像画像を概念的に示す模式図である。

図３において、図２と異なるのは、被検出物１２１の位置である。この位置の違いは、各撮像画像における被検出物１２１の像のエッジを比較することで特定出来る。具体的には、被検出物１２１の像のエッジは１２ＩＭＧが最も鋭いので、被検出物１２１は立体的二次元画像３２の結像面上（或いは、その近辺）にあると特定でき、その結果、被検出物１２１は立体的二次元画像３１上から立体的二次元画像３２上へと、ｚ方向に移動したと推定される。

以上、図２及び図３を用いて説明したように、本実施例に係る画像表示装置１は、被検出物１２１及び被検出物１２２の空間における位置を特定出来る。加えて、被検出物１２１及び被検出物１２２のフォーカス評価要素の時間的な変化に基けば、空間における位置のみならず、動作までも特定可能となる。

<<被検出物が進入する際の立体的二次元画像の変化について>>
次に、本実施例に係る被検出物が進入する際の立体的二次元画像の変化について図４及び図５を参照して説明を加える。尚、図４及び図５において、前出の図面に係る構成と同一の構成については同一の参照符号を付し、その詳細な説明を適宜省略する。ここに、図４は、本実施例に係る、被検出物が進入する前の立体的二次元画像を概念的に示す斜視図である。

図４において、被検出物１２３は、例えば目視者の指であり、未だ、立体的二次元画像３１には進入していない。

ボタンの二次元画像１１２Ｄは、インプットディスプレイパネル１１の画面上に表示されたあるオブジェクト（例えばボタン）である。

ボタンの立体的二次元画像３１３Ｄは、画像伝達パネルによって結像されたボタンの二次元画像１１２Ｄの実像である。

続いて、図５は、本実施例に係る、被検出物が進入した後の立体的二次元画像を概念的に示す斜視図である。

図５において、図４と異なるのは、被検出物１２３の位置及びそれに応じて切り換えられたボタンの二次元画像１２２Ｄとボタンの立体的二次元画像３２３Ｄの位置である。

具体的には、図５における被検出物１２３は、例えば目視者の指が立体的二次元画像３１に進入している状態を表す。

ボタンの二次元画像１２２Ｄは、インプットディスプレイパネル１２の画面上に表示されたあるオブジェクト（例えばボタン）である。

ボタンの立体的二次元画像３２３Ｄは、画像伝達パネルによって結像されたボタンの二次元画像１２２Ｄの実像である。

上述した図４及び図５を用いて、画像制御部１００の制御について説明を加える。

画像制御部１００には、予め例えばボタンの立体的二次元画像３１３Ｄが何らかの被検出物に押される（進入される）と、各インプットディスプレイパネルに係る二次元画像を切り換える旨のプログラムが記憶されているとする。そして、この際、本実施例に係る画像表示装置１の使用時には、定期的に或いは不定期的に、立体的二次元画像の各々に係る撮像画像が得られる。この際、図２及び図３で示したように位置特定部１１０によって、その撮像画像に基いて、進入してくる被検出物１２３の空間における位置が特定される。こうして特定された被検出物１２３の位置に基いて、ボタンの立体的二次元画像３１３Ｄが被検出物１２３によって押されているか否かを画像制御部１００が判定する。ここで、被検出物１２３によって押されていない場合（図４）には、特に何もなされない。他方、被検出物１２３によって押されている場合（図５）には、ボタンを被検出物１２３からｚ方向に遠ざかるように、複数の二次元画像を切り換えるよう複数のインプットディスプレイパネルに係る表示部を制御する。これにより例えばボタンが押されて奥へ移動する様子が表される。更に、この際、遠近感を誇張するために、ボタンの二次元画像１２２Ｄのサイズをボタンの二次元画像１１２Ｄに比べて小さくしてもよい。この際、加えて、ボタンの二次元画像１１２Ｄ、１２２Ｄを変形してもよい（例えば、へこませてもよい）し、効果音を鳴らしても良い。

以上、図４及び図５によると、立体的二次元画像（例えばボタンの立体的二次元画像３１３Ｄ）が表示された空間に進入する被検出物１２３の位置が好適に特定され、特定された被検出物１２３の位置に応じて複数の二次元画像が切り換わるので、一層豊かな表現・インタラクティビティが実現可能となる。

（２）第２実施例
次に、第２実施例に係る画像表示装置１の基本的な構成及び動作処理を図６を参照して説明する。ここに、図６は、第２実施例に係る、画像表示装置１の基本構成を概念的に示す模式図である。尚、図６において、図１の構成と同一の構成については同一の参照符号を付し、その詳細な説明を適宜省略する。

図６において、本実施例に係る画像表示装置１は、特に、インプットディスプレイパネル１１ｓ及びインプットディスプレイパネル１２ｓと、本発明に係る「光路合成分離手段」としてのハーフミラー６０とを備える。

インプットディスプレイパネル１１ｓ及びインプットディスプレイパネル１２ｓは、好適には有機ＥＬのような自発光型のインプットディスプレイパネルであり、互いの光軸が略直行するように配置されている。このように夫々のインプットディスプレイパネルが一の光軸上に重ならないような場合には、自発光型であれば、レイアウト上の制約が軽減される。勿論、制約の軽減を期待しないのであれば、非自発光型で、複数のバックライトを各インプットディスプレイパネルの背面に設置してもよい。

ハーフミラー６０は、インプットディスプレイパネル１１ｓ及びインプットディスプレイパネル１２ｓの画面に表示される二次元画像に係る光軸の略交点上に配置され、インプットディスプレイパネル１１ｓからの表示光を透過し、加えて、インプットディスプレイパネル１２ｓの表示光を反射することで、これら二つの表示光を凸レンズアレイ２０へと向かう一の光軸上に合成して、立体的二次元画像３１及び立体的二次元画像３２を多層的に表示するよう構成されている。他方、被検出物１２０からの光は、ハーフミラー６０によってインプットディスプレイパネル１１ｓ及びインプットディスプレイパネル１２ｓへと分離されて夫々の撮像部を介して認識される。

以上、図６を用いて説明したように、本実施例に係る画像表示装置１は、自発光型のインプットディスプレイパネル１１ｓ及びインプットディスプレイパネル１２ｓと、ハーフミラー６０とを用いるので、レイアウトの自由度が増すのである。加えて、例えばインプットディスプレイパネル１１ｓに係る二次元画像を形成する光が、インプットディスプレイパネル１２ｓを迂回するような配置が可能であり、インプットディスプレイパネル１２ｓは必ずしも光を透過できなくてもよくなる。尚、本実施例においても、複数のインプットディスプレイパネルを多層的に配置させることも当然可能である。

尚、本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた、本発明の技術的範囲に含まれるものである。

本発明に係る画像表示装置は、例えば立体的二次元画像を表示可能であり、更に該立体的二次元画像が表示された空間に進入する被検出物の位置を特定するのに適した画像表示装置に利用可能である。

Claims (7)

1. 表示画面を夫々有し該表示画面上に二次元画像を夫々表示すると共に、該二次元画像を構成する表示光の光路が相互に重なるように配列された複数の表示手段と、
   前記光路上に配置され、前記二次元画像の像を前記表示画面と反対側の空間に表示するように前記表示光を伝達させる画像伝達パネルと、
   前記複数の表示手段が夫々有する前記表示画面と一体的に又は前記表示画面に隣接して設けられており、前記空間に進入する被検出物を、前記画像伝達パネルを介して撮像する撮像手段と、
   該撮像された被検出物の前記空間内における位置を、前記撮像手段による撮像の結果に基いて特定する位置特定手段と、
   該特定された位置に基いて、前記二次元画像を切り換えるように前記複数の表示手段を制御する画像制御手段と
   を備える
   ことを特徴とする画像表示装置。
2. 前記位置特定手段は、前記撮像された被検出物の前記空間内における、前記像が結像している結像面上における面内位置を特定することを特徴とする請求の範囲第１項に記載の画像表示装置。
3. 前記位置特定手段は、前記撮像された被検出物の前記空間内における、前記光路に沿った方向の位置を特定することを特徴とする請求の範囲第１項に記載の画像表示装置。
4. 前記複数の表示手段は、少なくとも部分的に光を透過可能であり、前記光路に沿った方向に所定距離を隔てて重ねられている
   ことを特徴とする請求の範囲第１項に記載の画像表示装置。
5. 前記光路が相互に重なるように、前記表示画面各々から前記画像伝達パネルへと向かう前記表示光を合成すると共に、前記被検出物から前記撮像手段各々へ向かう光を分離する光合成分離手段を更に備える
   ことを特徴とする請求の範囲第１項に記載の画像表示装置。
6. 前記複数の表示手段の少なくとも一部は、非自発光型であると共に、少なくとも部分的に光を透過可能であり、
   該少なくとも一部に向かって前記画像伝達パネルとは反対側から光を出射するバックライトを更に備える
   ことを特徴とする請求の範囲第１項に記載の画像表示装置。
7. 前記複数の表示手段の少なくとも一部は、自発光型である
   ことを特徴とする請求の範囲第１項に記載の画像表示装置。

Images