WO2007013215A1

WO2007013215A1 - 画像表示装置

Info

Publication number: WO2007013215A1
Application number: PCT/JP2006/310557
Authority: WO
Inventors: Isao Tomisawa; Masaru Ishikawa; Katsumi Unehara
Original assignee: Pioneer Corporation
Priority date: 2005-07-25
Filing date: 2006-05-26
Publication date: 2007-02-01
Also published as: EP1909255A4; DE602006021184D1; EP1909255A1; EP1909255B1; US20100283838A1; JPWO2007013215A1; US8243125B2; JP4579295B2

Abstract

　立体視認画像を形成した空間における被検出物の検出を、位置検出の仕掛けの存在を感じさせずに行うことができる画像表示装置を提供することを課題とする。　二次元画像１を表示する表示手段１１と、表示手段１１の画像表示面１５ａの前方に配設され、自身の前方に拡がる前方空間３に二次元画像１に基づく立体視認画像２を形成する光学パネル１２と、光学パネル１２の後方に配設され、前方空間３に進入した被検出物５を、光学パネル１２を介して光学的に認識する認識手段１１と、認識手段１１による認識結果に基づいて、被検出物５の前方空間３における進入位置を検出する位置検出手段１４とを備えた。

Description

明細書

画像表示装置

技術分野

[0001] 本発明は、二次元画像に基づく立体視認画像を形成する空間に対し、外側から進入した被検出物の進入位置を検出する画像表示装置に関するものである。

背景技術

[0002] 近年、二次元画像を表示する表示手段 (表示部）と、表示手段の画像表示面の前方に配設されると共に、自身の前方空間に二次元画像の実像を結像する光学パネル (画像伝達パネル）とを備え、その前方空間の前方にいる目視者に対し、二次元画像を立体視させる画像表示装置が提案されている。さらに、前方空間に進入した被検出物（目視者の指等)の進入位置を検出すベぐその前方空間の 4辺を囲むように枠状の認識手段 (位置検出センサ)を設けることが考えられて、る (例えば、特許文献 1)。

特許文献 1：特開 2005— 141102号公報

発明の開示

発明が解決しょうとする課題

[0003] し力しながら、このような画像表示装置では、認識手段が光学パネルの前面に設置されるため、装置全体が大型化すると共に、目視者に対し、如何にもそこに何か仕掛けがあるかのような印象を与えてしま、、驚きや感動を十分に与えることができなかつた。

[0004] 本発明は、立体視認画像を形成した空間における被検出物の検出を、位置検出の仕掛けの存在を感じさせずに行うことができる画像表示装置を提供することを目的とする。

課題を解決するための手段

[0005] 本発明の画像表示装置は、二次元画像を表示する表示手段と、表示手段の画像表示面の前方に配設され、自身の前方空間に二次元画像に基づく立体視認画像を形成する光学パネルと、光学パネルの後方に配設され、前方空間に進入した被検出物を、光学パネルを介して光学的に認識する認識手段と、認識手段による認識結果に基づいて、被検出物の前方空間における進入位置を検出する位置検出手段と、を備えたことを特徴とする。

[0006] この構成によれば、認識手段により、前方空間に進入した被検出物を光学パネルを介して光学的に認識し、位置検出手段により、その認識結果に基づいて被検出物の前方空間における進入位置を検出することができる。そして、認識手段を光学パネルの後方に配設したことで、光学パネルと目視者との間には、立体視認像しか存在せず、目視者に位置検出の仕掛けの存在を感じさせることがないと共に、装置全体をコンパクトに構成することができる。

なお、被検出物の進入位置とは、前方空間に進入した被検出物の前方空間内における刻々の移動位置をも含む概念である。

また、立体視認画像は、実像および虚像のいずれであってもよい。したがって、光学パネルとして、後述する凸レンズアレイのように、二次元画像の実像を結像させ立体視させるものや、インテグラルフォトグラフィ方式のように、実像を立体視させるもののほか、例えば、ノララックスノリア方式やレンチキユラ方式等を適用し、両眼の視差により虚像を立体視させるものも用いることができる。

[0007] 本発明の他の画像表示装置は、二次元画像を表示する表示手段と、表示手段の画像表示面の前方に配設され、自身の前方空間に二次元画像に基づく立体視認画像を形成する光学パネルと、二次元画像の画像光が、前方空間に進入した被検出物により反射した反射光を認識する認識手段と、認識手段による認識結果に基づいて、被検出物の前方空間における進入位置を検出する位置検出手段と、を備えたことを特徴とする。

[0008] この構成によれば、認識手段は、二次元画像の画像光が被検出物により反射した反射光を認識するため、表示される二次元画像との関連により、被検出物の前方空間における進入位置を判断する要素が増すことになる。このため、位置検出の精度を向上させることができる。また、検出のための発光素子を新たに必要としないため、コストダウンも期待できる。

[0009] この場合、認識手段は、二次元画像の画像光が被検出物により反射した反射光を認識し、位置検出手段は、反射光と二次元画像の表示位置とに基づいて、被検出物の進入位置を検出することが好ましい。

[0010] この構成によれば、認識手段は、二次元画像の画像光が被検出物により反射した反射光を認識して、前方空間に進入した被検出物を光学的に認識する。このため、二次元画像の表示位置に対応した前方空間の位置を、被検出物の進入位置として検出することができる。例えば、画像表示面の向かって左側に二次元画像が表示されている場合、その表示位置に対応する前方空間の位置 (例えば左側）に被検出物が進入すると、二次元画像の画像光が被検出物により反射し、認識手段により反射光が認識されるが、その位置カゝら外れたところに被検出物が進入しても、認識手段により反射光が認識されることがない。そのため、二次元画像の画像光の反射光が認識された場合には、その二次元画像の表示位置に対応する前方空間の位置を、被検出物の進入位置として検出することができる。このように、二次元画像の表示位置と関連させて、被検出物の進入位置の検出を行うことができ、位置検出の精度を向上させることができる。

[0011] この場合、表示手段は、色違い複数の二次元画像を表示可能に構成され、認識手段は、反射光の色彩を識別可能に構成され、位置検出手段は、反射光の色彩と二次元画像の表示位置とに基づいて、被検出物の進入位置を検出することが好ましい

[0012] この構成によれば、識別した色彩の二次元画像の表示位置に対応した前方空間の位置を、被検出物の進入位置として検出することができる。例えば、画像表示面の向かって右側に赤色の二次元画像が表示され、向かって左側に黄色の二次元画像が表示されている場合に、認識手段により、反射光が赤色であると識別されたときには、位置検出手段は、赤色の二次元画像の表示位置に対応した前方空間の位置 (例えば向かって右側）を、被検出物の進入位置として検出する。したがって、二次元画像の表示位置に加え、二次元画像の色彩と関連させて、被検出物の進入位置の検出を行うことができ、位置検出の精度をより向上させることができる。

なお、色違い複数の二次元画像は、互いに分離していてもよぐ連なっていてもよい。 [0013] この場合、認識手段は、光学パネルを介して前方空間を撮像するエリアセンサであり、位置検出手段は、エリアセンサに取り込まれた撮像画像に基づいて、被検出物の進入位置を検出することが好ましい。

[0014] この構成によれば、取り込んだ撮像画像の画素単位で撮像画面における被検出物の位置を認識することで、被検出物の進入位置を精度良く検出することができる。

[0015] この場合、表示手段は、エリアセンサを内蔵して、ることが好ま U、。

[0016] この構成によれば、表示手段にエリアセンサを内蔵して一体に構成したことで、両者を別体に構成した場合に比べ、装置全体をコンパクトに構成することができる。

[0017] この場合、位置検出手段は、撮像画像における被検出物の位置と、撮像画像における被検出物のフォーカス評価要素とに基づいて、被検出物の三次元的な進入位置を検出することが好まし、。

[0018] この構成によれば、撮像画像における被検出物の位置に基づいて、前方空間の撮像面における被検出物の進入位置を検出すると共に、撮像画像における被検出物のフォーカス評価要素に基づいて、前方空間の撮像面に垂直な方向（奥行き方向）における被検出物の進入位置 (進入深さ）を検出することで、被検出物の三次元的な進入位置を検出する。このため、被検出物の進入位置を詳細に検出することができる。

なお、フォーカス評価要素としては、撮像画像における被検出物のフォーカス感（エッジ)、サイズの変化率および形状の変化率等を挙げることができる。

[0019] この場合、認識手段は、画像表示面から外れた位置に配設され、画像表示面と光学パネルとの間に配設され、画像表示面力ゝらの光を光学パネルに導くと共に、光学パネル力もの光を認識手段に導く導光手段を、さらに備えたことが好ましい。

[0020] この構成によれば、認識手段を画像表示面から外れた位置に配設することで、装置設計の自由度を高めることができる。そして、画像表示面から外れた位置に配設された認識手段に対して、導光手段により光学パネルからの光が導かれるため、被検出物を光学パネルを介して光学的に認識することができる。

[0021] この場合、認識手段は、前方空間を画像表示面に向力つて縦および Zまたは横に区分した複数の仮想分割前方空間に対応して、複数個設けられていることが好ましい。

[0022] この構成によれば、複数の仮想分割前方空間に対応して複数の認識手段を設けることで、各認識手段を小型にすることができる。また、複数の認識手段を画像表示面力外れた位置に配設すると共に画像表示面と光学パネルとの間にハーフミラー等の導光手段を配設する場合に、導光手段の小型化を図ることが可能となるため、画像表示面と光学パネルとの間の設置スペースを小さくすることができ、装置全体の小型化を図ることができる。

[0023] この場合、光学パネル力ゝらの光を認識手段に対して集光する集光手段を、さらに備えたことが好ましい。

[0024] この構成によれば、認識手段の小型化を図ることができ、認識手段の選択の自由度とレイアウト設計の自由度とを増すことができる。

[0025] この場合、位置検出手段による検出結果と、画像表示面に表示される二次元画像の変化とを関連付ける制御テーブルに基づ、て、二次元画像を制御する画像制御部を、さらに備えたことが好ましい。

[0026] この構成〖こよれば、目視者の指等の被検出物の進入位置に応じて、画像表示面に表示する二次元画像を変化させることができ、ユーザーインタラクティブを実現することができる。しかも、この際、上述したように目視者に指等の位置検出の仕掛けを気付かせることがないため、目視者に驚きや感動を与え、好奇心を想起させることができる。

[0027] この場合、光学パネルは、凸レンズアレイカゝら構成され、立体視認画像は、凸レンズアレイにより前方空間に結像した二次元画像の実像であることが好ましい。

[0028] この構成によれば、前方空間に二次元画像の実像を結像させることができ、また、前方空間に進入した被検出物を認識手段に結像させることにより、検出される撮像画像を通常の画像 (映像)として認識することが可能なため、画像処理が複雑となることがない。さらに、目視者は、被検出部が目視者の指等である場合、その実像を実際に触って、るかのような感覚を得ることができ、臨場感を高めることができる。

図面の簡単な説明

[0029] [図 1]本発明を適用した画像表示装置の基本構成を示す図である。 [図 2]本発明の一実施形態に係る画像表示装置の構成図である。

圆 3]画像表示装置におけるユーザーインタラクティブ機能を説明する図である。

[図 4]本発明の一実施形態の第 1変形例に係る画像表示装置の構成図である。

[図 5]本発明の一実施形態の第 2変形例に係る画像表示装置の構成図である。圆 6]上記の第 2変形例において、集光レンズをさらに備えた画像表示装置の構成図である。

圆 7]上記の第 2変形例において、エリアセンサを複数個備えた画像表示装置の構成図である。

圆 8]本発明を適用した画像表示装置において、光センサを用いた画像表示装置の構成図である。

圆 9]本発明を適用した画像表示装置において、インテグラルフォトグラフィ方式の光学パネルを用いた画像表示装置の構成図である。

符号の説明

1 二次元画像

2 実像

3 前方空間

5 被検出物

10 画像表示装置

11 表示部

12 レンズアレイユニット

14 制御装置

15a 画像表示面

16 エリアセンサ

17 ハーフミラー

18 集光レンズ

発明を実施するための最良の形態

以下、添付の図面を参照して、本発明を適用した画像表示装置の一実施形態について説明する。この画像表示装置は、例えば、アミューズメントシアター、商品説明用ディスプレイ、ゲーム機器等に使用される立体表示対応の装置である。すなわち、画像表示面に表示した二次元画像を空間に結像することで、その実像を立体的に視認させる装置であって、ユーザーインタラクティブ操作を可能としたものである。

[0032] 図 1および図 2に示すように、本実施形態の画像表示装置 10は、二次元画像 1 (動画または静止画)を表示すると共に、画像取込機能を備えた表示部 11と、表示部 11 の前方に配設され、自身の前方に拡がる前方空間 3に二次元画像 1の実像 2 (立体視認像)を結像させるレンズアレイユニット 12 (凸レンズアレイ）と、表示部 11およびレンズアレイユニット 12を収容する直方体形状の筐体 13と、表示部 11に映像信号を供給すると共に、取り込まれた撮像画像に基づいて、前方空間 3に進入した被検出物（目視者の指等)の進入位置を検出する制御装置 14とを備えて、る。

[0033] 表示部 11は、例えば、カラー液晶ディスプレイ 15から成り、ディスプレイ 15にエリアセンサを内蔵したいわゆるインプットディスプレイである。すなわち、ディスプレイ 15は、例えば 640 X 480画素表示のものであり、図示しないが、信号線、走査線および画素 TFTから成る表示素子を縦横マトリクス状に並べたアレイ基板や、カラーフィルタ等を重ね合わせて構成されており、アレイ基板上には、複数の表示素子に対応して、複数の撮像素子 (光電変換素子等）が設けられている。そのため、ディスプレイ 15 は、その画像表示面 15aに二次元画像 1をカラー表示することができると共に、内蔵したエリアセンサにより入射画像の撮像を行うことができるようになつている。なお、デイスプレイ 15は、必要に応じて、陰極線管、プラズマディスプレイ、有機 EL装置等であってもよい。

[0034] このように構成された表示部 11は、制御装置 14から表示ドライバ 46を介して供給された映像信号に基づいて、画像表示面 15aに二次元画像 1を表示する。なお、この二次元画像 1は、前方空間 3に結像した実像 2が立体的に見えるようにすベぐ陰影や遠近法等の立体的な映像表現方法に基づ!ヽて作成されて!、る。

[0035] さらに、表示部 11は、前方空間 3に進入した被検出物 5を、レンズアレイユニット 12 を介して撮像 (認識)し、その撮像データを、制御装置 14に出力する。なお、表示部 11は、例えば、撮像時に赤 '青'緑 3色の光を順に読み込み、各色の撮像データを出力するようになっている。そして、詳細は後述するが、制御装置 14において、入力した各色の撮像データに基づいてカラーの撮像画像 (画像データ）が生成され、被検出物 5の色彩が識別されるようになって、る。

[0036] レンズアレイユニット 12は、 2枚の板状レンズアレイ 21と、これらを重ねて一体に支持するレンズ枠体（図示省略）とを有し、筐体 13の一面に形成された開口部を塞ぐようにして、ディスプレイ 15の画像表示面 15aと略平行に設けられている。なお、図示では、 2枚の板状レンズアレイ 21を一体のものとして表している。

[0037] 各板状レンズアレイ 21は、複数の凸レンズ要素 26を互いの光軸を平行にして平面内に並べて構成されており、各凸レンズ要素 26は、互いの光軸を一致させた一対の凸レンズ 27から成っている。つまり、各板状レンズアレイ 21の両面には、それぞれ複数の凸レンズ 27が互いの光軸を平行にして縦横マトリクス状に設けられており、光軸の一致する各一対の凸レンズ 27が凸レンズ要素 26を構成している。

[0038] そして、レンズアレイユニット 12は、 2枚の板状レンズアレイ 21間で対応する 2個の凸レンズ要素 26がその光軸方向に並んで合成レンズ 28を構成するように、 2枚の板状レンズアレイ 21を重合させている。

[0039] このように構成されたレンズアレイユニット 12は、表示部 11に対し、その画像表示面 15aが各合成レンズ 28の有効な作動距離内に納まるように、表示部 11の前方に配設されている。そのため、前方空間 3 (レンズアレイユニット 12による結像面 4)にピントが合った実像 2が結像される。

[0040] レンズアレイユニット 12により結像する実像 2は、実際には平面画像である力目視者にとっては、実像 2が空中に浮かんでいるかのように見えることで、実像 2を立体的に感じることができる。し力も、本実施形態では、上述したように、表示される二次元画像 1が陰影や遠近法等の立体的な映像表現方法に基づいて作成されているため、結像した実像 2を、より立体的な画像として視認させることができる。

[0041] また、レンズアレイユニット 12が結像する実像 2は、二次元画像 1の等倍正立像となる。すなわち、レンズアレイユニット 12の各合成レンズ 28は、画像表示面 15aに表示された二次元画像 1のうち、対応する各仮想分割画像 (各合成レンズ 28がカバーする領域の画像)を、前方空間 3に等倍率で結像する。ここで、各合成レンズ 28は、 2個の凸レンズ要素 26により構成されていることから、二次元画像 1の各仮想分割画像からの画像光を 2回反転させ (表示面側レンズアレイ 21bで一度反転し、結像側レンズアレイ 21aで再度反転させ）、前方空間 3に正立像を結像する。したがって、レンズァレイユニット 12全体では、複数の仮想分割画像の等倍正立像の集合体、つまり二次元画像 1の等倍正立像を実像 2として前方空間 3に結像する。

[0042] さらに、これと同様に、レンズアレイユニット 12の各合成レンズ 28は、前方空間 3に進入した被検出物 5のうち、対応する各仮想分割部位を、画像表示面 15aに等倍正立像として結像する。このため、レンズアレイユニット 12全体では、被検出物 5の等倍正立像を画像表示面 15aに結像する。そして、このとき、レンズアレイユニット 12の結像面 4に位置する被検出物 5が、ピントの合った状態で画像表示面 15aに結像する。

[0043] したがって、表示部 11は、レンズアレイユニット 12により画像表示面 15a (エリアセンサ）に結像した被検出物 5を撮像することになる。つまり、表示部 11は、レンズァレィユニット 12を介して、結像面 4にピントが合った状態で、前方空間 3に進入する被検出物 5を撮像する。

[0044] 制御装置 14は、制御装置 14全体の処理動作を制御する CPU、各種プログラムや各種データ等を記憶するハードディスク、および CPUの機能を補うと共に周辺回路とのインタフェース信号を取り扱うための論理回路等で構成されている。機能的には、表示部 11に表示する二次元画像 1の映像信号を生成する画像生成部 41と、被検出物 5の進入位置を検出する位置検出部 42と、これらの各部を関連付けて制御する統括制御部 43とを備えている。

[0045] 制御装置 14は、記憶された各種プログラムやデータを必要に応じて読み出し、そのプログラムおよびデータに基づ、て、画像生成部 41で生成した映像信号を表示ドライバ 46に出力し、表示部 11を制御する。詳細には、制御装置 14には、後述する進入位置の検出結果と、二次元画像 1の変化とを関連付けた制御テーブルが用意されており、これに基づいて、映像信号を生成するようになっている。

[0046] また、同様にして、表示部 11から入力した撮像データ (赤 '青'緑それぞれの撮像データ）に対して所定の画像処理演算を行い、カラーの撮像画像を生成する。そして、得られた撮像画像に基づいて、被検出物 5の進入位置を検出する。すなわち、撮像画像における被検出物の位置に基づいて、前方空間 3の撮像面 (結像面 4)における被検出物 5の進入位置を検出する。さらに、撮像画像における被検出物 5のフォ一力ス感 (エッジ）、サイズ、形状の変化等に基づいて、前方空間 3の撮像面に垂直な方向（奥行き方向）における被検出物 5の進入位置を三次元的に検出することも可能である。

なお、後述するインテグラルフォトグラフィ方式のように、実際に奥行きを持つ立体像を表示する他の立体視方式であれば、上記のフォーカス感等のフォーカス評価要素によらずとも、撮像画像を詳細に画像処理することにより、被検出物 5の進入位置を三次元的に正確に検出することが可能である。

[0047] ここで、図 3を参照して、本実施形態の画像表示装置 10におけるユーザーインタラクティブ機能について説明する。まず、表示部 11により、立体表示しょうとする物 (例えば、猿のキャラクタ）の二次元画像 1を画像表示面 15aに表示し、その実像 2を前方空間 3に結像する（同図 (a)参照)。目視者が前方空間 3に被検出物 5 (例えば手)を差し入れると、表示部 11により、その被検出物 5を撮像し、さらに進入位置を検出する（同図（b)参照)。そして、上記の制御テーブルに基づいて、その差し入れた被検出物 5 (手）に実像 2 (猿）が飛び跳ねて、つて止まるかのように、猿の二次元画像 1を変化させる（同図 (c)参照)。このようにすることで、目視者に対し、前方空間 3に手を差し入れると、実像 2である猿がその手に止まる、という遊びを体験させることができる

[0048] し力も、レンズアレイユニット 12の後方に表示部 11 (認識手段）を配設したことで、レンズアレイユニット 12と目視者との間には、実像 2 (猿)しか存在せず、目視者に位置検出の仕掛けの存在を感じさせることがなヽと共に、装置全体をコンパクトに構成することがでさる。

[0049] なお、猿が手に止まった後、手の動きに合わせて、猿が移動するようにしてもよ!、。

すなわち、前方空間 3における被検出物 5の移動位置を検出して、その移動位置に基づ、て、猿の二次元画像 1の表示位置を移動させるようにする。

[0050] さらに、この場合、奥行き方向への手の動きに合わせて猿を移動させることが好ましい。すなわち、実像 2の結像位置が結像面 4に対して垂直な方向（奥行き方向）に移動可能となるように、例えば画像表示面 15aに対してレンズアレイユニット 12を離接可能な構成とし、被検出物 5の奥行き方向の検出位置に基づ、てレンズアレイュ-ット 12を画像表示面 15aに対して離接させるようにしてもよ、。

[0051] 次に、図 4を参照して、上記の実施形態の変形例について説明する。第 1変形例の画像表示装置 10は、上記の画像表示装置 10と略同様の構成であるが、第 1実施形態では、レンズアレイユニット 12により画像表示面 15aに結像した被検出物 5を撮像し、得られた撮像画像に基づいて、位置検出を行うのに対し、本変形例では、その撮像画像において、被検出物 5 (目視者の指）による画像光の反射光を認識して、位置検出を行う点で相違して、る。

[0052] 表示部 11は、上記と同様に構成されている力実像 2が結像している前方空間 3の位置に被検出物 5が進入したときには、二次元画像 1の画像光が被検出物 5により反射することから、被検出物 5と共に、その反射光を撮像 (認識)するようになつている。

[0053] また、制御装置 14も上記と同様に構成されている力被検出物 5および反射光の撮像データに基づヽて、画像光が照射された被検出物 5の撮像画像を生成するようになっている。そして、得られた撮像画像における反射光の色彩と、二次元画像 1の表示位置とに基づいて、被検出物 5の進入位置を検出する。

[0054] 具体的には、画像表示面 15aの向力つて右側に黄色の二次元画像 ly (星マーク）が表示され、前方空間 3の向力つて右側にその黄色の実像 2yが結像すると共に、画像表示面 15aの向力つて左側に赤色の二次元画像 lr (ノ、ートマーク）が表示され、前方空間 3の向力つて左側にその赤色の実像 2rが結像して、る場合に、表示部 11により、反射光が赤色であると識別されたときには、赤色の二次元画像 lrの表示位置に対応した前方空間 3の位置 (実像 2rの結像位置)、つまり向力つて左側が、被検出物 5の進入位置として検出される。したがって、二次元画像 1の表示位置に加えて、二次元画像 1の色彩と関連させて、被検出物 5の進入位置の検出を行うことができ、位置検出の精度をより向上させることができる。一方、ユーザーには、前方空間 3に対してスィッチ操作を行うような感覚を与えることができる。

[0055] なお、この場合、反射光の色彩を識別せずとも、反射光を認識したカゝ否かによって、二次元画像 1の表示位置に対応した前方空間 3の位置を、被検出物 5の進入位置として検出するようにしてもよい。例えば、画像表示面 15aの向力つて左側に二次元画像 1が表示されている場合、実像 2が結像している前方空間 3の左側の位置に被検出物 5が進入すると、表示部 11により反射光が撮像されるが、前方空間 3の右半部の位置に被検出物 5が進入しても、表示部 11により反射光は撮像されない。そのため、二次元画像 1の画像光の反射光が撮像された場合には、その二次元画像 1の表示位置に対応する前方空間 3の位置を、被検出物 5の進入位置として検出することができる。このように、二次元画像 1の表示位置と関連させて、被検出物 5の進入位置の検出を行うことができ、位置検出の精度を向上させることができる。

[0056] 本実施形態では、表示部 11 (エリアセンサ）に代えて、反射光の有無または反射光の色彩を検出する簡易な光センサを用いてもよい。この構成によっても、実像 2が表示されている前方空間 3に被検出物 5が進入すれば、反射光 (またはその色彩）が検出されるが、実像 2が表示されていない前方空間 3に被検出物 5が進入しても、反射光 (またはその色彩）は検出されな、 (そもそも反射光が生じな、)ため、反射光の有無だけで、または、反射光の色彩だけで、被検出物 5と実像 2の位置が一致しているか否かを判断することが可能である。この場合、撮像画像の画像処理を必要としないので、装置を簡略化'低コストィ匕することができる。

[0057] 続いて、上記の実施形態の他の変形例について説明する。図 5に示すように、第 2 変形例の画像表示装置 10も、上記の画像表示装置 10と略同様の構成であるが、第 1実施形態では、表示機能と画像取込機能とを備えたヽゎゆるインプットディスプレイにより、被検出物 5を認識するのに対し、本変形例では、表示機能を備えた表示部 1 1と、画像取込機能を備えたエリアセンサ 16とを備えた点で相違している。

[0058] 本変形例の画像表示装置 10は、上述した各装置に加え、画像表示面 15aとレンズアレイユニット 12との間で且つ画像表示面 15aから外れた位置に配設されたエリアセンサ 16と、画像表示面 15aとレンズアレイユニット 12との間に配設されたハーフミラー 17を備えている。なお、この場合、表示部 11は、表示機能のみを備えたものでよい。

[0059] エリアセンサ 16は、マトリクス状に撮像素子 (CCD等）を並べて構成されており、先の実施形態の表示部 11と同様に撮像を行うものである。ここでは、エリアセンサ 16は、ディスプレイ 15の画像表示面 15aと略同サイズに構成されている。

[0060] また、エリアセンサ 16は、画像表示面 15aおよびレンズアレイユニット 12に対し、略垂直に設けられており、前方空間 3に進入した被検出物 5が、レンズアレイユニット 12 およびノヽーフミラー 17を介して、エリアセンサ 16に結像するようになっている。そして、その結像した被検出物 5を撮像し、撮像データを制御装置 14に出力する。

[0061] このように、画像表示面 15aから外れた位置にエリアセンサ 16を配設することにより、被検出物 5の認識手段として、上記のような表示部 11 (インプットディスプレイ）を用いることができない場合にも、被検出物を認識することができる。したがって、認識手段の選択の自由度を増すことができる。

[0062] また、この場合、図 6に示すように、ハーフミラー 17とエリアセンサ 16との間に集光レンズ 18を配設してもよい。これによれば、レンズアレイユニット 12からの光が集光されてエリアセンサ 16に結像する。そのため、エリアセンサ 16のサイズを小さくすることができ、エリアセンサ 16の選択の自由度とレイアウト設計の自由度とを増すことができる。

[0063] さらに、この場合、図 7に示すように、ディスプレイ 15の画像表示面 15aから左右（あるいは上下等）両側にそれぞれ外れた位置に、画像表示面 15aおよびレンズアレイユニット 12に対して略 90° の角度を為して配設された 2個のエリアセンサ 16と、画像表示面 15aおよびレンズアレイユニット 12の間に位置して、これらに対して略 45° の角度を為すと共に、互いに直行する角度（略「V」の字状）に設けられた 2個のハーフミラー 17と、を備えた構成であってもよい。すなわち、前方空間 3を画像表示面 15a に向力つて縦方向に区分した 2個の仮想分割前方空間 3aに、 2個のハーフミラー 17 をそれぞれ対応させると共に、 2個のエリアセンサ 16をそれぞれ対応させている。

[0064] これによれば、上記のような配置で、各仮想分割前方空間 3aに対応してエリアセンサ 16とハーフミラー 17とを設けることで、 2個のエリアセンサ 16を画像表示面 15aから外れた位置に配設すると共にハーフミラー 17の小型化を図ることができ、画像表示面 15aとレンズアレイユニット 12との間の設置スペース（各合成レンズ 28の作動距離 )が短い場合や、画像表示装置 10自体の奥行きをコンパクトにしたい場合等に対応可能となる。また、各エリアセンサ 16を、各仮想分割前方空間 3aに対応した面積とすることができ、小型化を計ることができる。

[0065] なお、ここまで、被検出物 5の認識手段として、エリアセンサ 16 (表示部 11)を用いたものについて説明した力位置検出の精度を必要としない場合には、このようなェリアセンサに代えて、コストダウンを図るベぐ簡易な光センサ 19を用いてもよい（図 8 参照)。この場合も、複数の仮想分割前方空間 3aに対応して複数の光センサ 19を設けることで、いずれの仮想分割前方空間 3aに被検出物 5が進入した力検出することができ、およその進入位置を検出することができる。ここでは、前方空間 3を縦方向に 2区分したが、区分数は任意であって、例えば、前方空間 3を 9区分 (縦 3 X横 3)し、これに対応して 9個の光センサ 19を設けてもょ、。

さらに、上述したように、光センサ 19を、反射光 (またはその色彩)を検出可能な構成とすれば、実像 2の位置（二次元画像 1の表示位置）と関連させて、被検出物 5の進入位置の検出を行うことができる。

[0066] 以上のように、本発明を適用した画像表示装置 10によれば、目視者に位置検出の仕掛けの存在を感じさせることなぐコンパクトな構成により、実像 2を形成する前方空間 3に進入した被検出物 5の進入位置を検出することができる。

[0067] なお、以上の実施形態では、立体画像表示の方式として、レンズアレイユニット 12 により前方空間 3に二次元画像 1の実像 2を結像させるものについて説明した力他の方式であってもよぐ例えば、ノララックスノリア方式やレンチキユラ方式のように、両眼視差により虚像を立体視させるものでもよい。もっとも、上述した本実施形態や、後述するインテグラルフォトグラフィ方式のように、実像を立体視させるものが好ましく、目視者は、その実像を実際に触っているかのような感覚を得ることができ、臨場感を高めることができる。特に、図 9に示すように、インテグラルフォトグラフィ方式の IPレンズアレイ 61によれば、上記のレンズアレイユニット 12と異なり、実像 6として実際に奥行きを持つ立体像（図示では雲)を形成するため、より臨場感を高めることができる。さらに、この場合、表示部 11はインプットディスプレイであることが好ましい。

また、二次元画像 1を立体視させる光学パネルとしては、それぞれの立体画像表示の方式に対応して、レンズアレイユニット 12や IPレンズアレイ 61だけでなぐレンチキユラレンズ、バリア、スリット、ピンホールアレイ等が考えられる。

[0068] さらに、レンズアレイユニット 12を用いた本実施形態では、上述したように、被検出物 5の等倍正立像を画像表示面 15a (エリアセンサ 16)に結像するため、他の方式に比べて、画像処理が複雑となることがない。一方、インテグラルフォトグラフィ方式の本実施形態や、本実施形態以外の立体画像表示方式では、立体視を可能とする光学パネルの構造上、被検出物 5をそのままの形状で画像認識することができな、ため、画像処理が複雑となってしまう。ただし、上述したように複雑な画像処理を行うことにより、三次元的な検出も可能になる。

また、以上の実施形態を適宜組み合わせたり、または適宜選択することにより、より高度な位置検出や、より正確な位置検出も可能であるし、逆に装置の簡略化や小型ィ匕、低コスト化も可能であり、必要に応じて様々な位置検出を実現することができる。

Claims

請求の範囲

[1] 二次元画像を表示する表示手段と、

前記表示手段の画像表示面の前方に配設され、自身の前方空間に前記二次元画像に基づく立体視認画像を形成する光学パネルと、

前記光学パネルの後方に配設され、前記前方空間に進入した被検出物を、前記光学パネルを介して光学的に認識する認識手段と、

前記認識手段による認識結果に基づいて、前記被検出物の前記前方空間における進入位置を検出する位置検出手段と、

を備えたことを特徴とする画像表示装置。

[2] 二次元画像を表示する表示手段と、

前記二次元画像の画像光が、前記前方空間に進入した被検出物により反射した反射光を認識する認識手段と、

を備えたことを特徴とする画像表示装置。

[3] 前記認識手段は、前記二次元画像の画像光が前記被検出物により反射した反射光を認識し、

前記位置検出手段は、前記反射光と前記二次元画像の表示位置とに基づいて、前記被検出物の進入位置を検出することを特徴とする請求項 1または 2に記載の画像表示装置。

[4] 前記表示手段は、色違!ヽ複数の前記二次元画像を表示可能に構成され、

前記認識手段は、前記反射光の色彩を識別可能に構成され、

前記位置検出手段は、前記反射光の色彩と前記二次元画像の表示位置とに基づいて、前記被検出物の進入位置を検出することを特徴とする請求項 3に記載の画像表示装置。

[5] 前記認識手段は、前記光学パネルを介して前記前方空間を撮像するエリアセンサであり、

前記位置検出手段は、前記エリアセンサに取り込まれた撮像画像に基づいて、前記被検出物の進入位置を検出することを特徴とする請求項 1または 2に記載の画像表示装置。

[6] 前記表示手段は、前記エリアセンサを内蔵していることを特徴とする請求項 5に記載の画像表示装置。

[7] 前記位置検出手段は、前記撮像画像における前記被検出物の位置と、前記撮像画像における前記被検出物のフォーカス評価要素とに基づいて、前記被検出物の三次元的な進入位置を検出することを特徴とする請求項 5に記載の画像表示装置。

[8] 前記認識手段は、前記画像表示面から外れた位置に配設され、

前記画像表示面と前記光学パネルとの間に配設され、前記画像表示面からの光を前記光学パネルに導くと共に、前記光学パネルからの光を前記認識手段に導く導光手段を、さらに備えたことを特徴とする請求項 1または 2に記載の画像表示装置。

[9] 前記認識手段は、前記前方空間を前記画像表示面に向かって縦および Zまたは横に区分した複数の仮想分割前方空間に対応して、複数個設けられていることを特徴とする請求項 1または 2に記載の画像表示装置。

[10] 前記光学パネルからの光を前記認識手段に対して集光する集光手段を、さらに備えたことを特徴とする請求項 1または 2に記載の画像表示装置。

[11] 前記位置検出手段による検出結果と、前記画像表示面に表示される二次元画像の変化とを関連付ける制御テーブルに基づ、て、前記二次元画像を制御する画像制御部を、さらに備えたことを特徴とする請求項 1または 2に記載の画像表示装置。

[12] 前記光学パネルは、凸レンズアレイ力構成され、

前記立体視認画像は、前記凸レンズアレイにより前記前方空間に結像した前記二次元画像の実像であることを特徴とする請求項 1または 2に記載の画像表示装置。