WO2012053033A1

WO2012053033A1 - ３次元立体表示装置

Info

Publication number: WO2012053033A1
Application number: PCT/JP2010/006220
Authority: WO
Inventors: 下谷　光生; 御厨　誠; 威郎坂入; 英梨子当麻
Original assignee: 三菱電機株式会社
Priority date: 2010-10-20
Filing date: 2010-10-20
Publication date: 2012-04-26
Also published as: JPWO2012053033A1; DE112010005947T5; US20130093860A1; JP5781080B2

Abstract

操作画面の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ６と、立体表示モニタ６の画面上に設けられ、当該立体表示モニタ６の画面に３次元立体表示された操作画面に対するタッチ操作を行う指示物とタッチ面との相対位置を検出する３次元タッチパネル２２と、操作画面上の操作対象となるアイコン画像を３次元立体表示する見かけ上の表示面を、立体表示モニタ６の画面よりも手前の位置に設定した３次元立体表示用の右目用及び左目用の画像又は映像を生成する画面合成処理部４と、３次元タッチパネル２２によりアイコン画像をタッチ操作する指示物が検出されると、当該アイコン画像が操作されたと判定するメインＣＰＵ４ａとを備える。

Description

３次元立体表示装置

　この発明は、３次元立体画像（3Dimension stereoscopic image）又は３次元立体映像（3Dimension stereoscopic movie）を表示する３次元立体表示装置（3Dimension stereoscopic display device）に関する。

　特許文献１に開示される従来の立体表示装置は、主に家庭用に使用される３次元立体画像を提供する。この立体表示装置では、立体視用の眼鏡をかけることなく、立体映像を視聴できるため、利便性が高い。
　例えば、コンテンツ再生装置又は後席用のＲＳＥ（Rear Seat Entertainment）の表示装置として好適である。また、ＦＡ（Factory Automation）又は画像表示を利用した制御システムにも好適である。

特開２００５－１７５５６６号公報

　しかしながら、特許文献１に代表される従来の技術を、アイコン又はボタンの３次元立体表示に適用した場合、３次元立体表示によりアイコン又はボタンが表示されている見かけ上の位置空間と、このアイコン又はボタンに対する操作を実際に受け付ける操作入力部との対応が明確にされていないので、３次元立体表示されたアイコン等に対してユーザが操作を施しても、この操作が受け入れられない可能性があるという課題があった。
　つまり、３次元立体表示によってアイコン又はボタンが見かけ上表示されている位置と、アイコン又はボタンに対する操作を実際に受け付けるハードウェアスイッチ又はタッチパネル面とが異なる位置又は空間にあるため、ユーザに違和感を与えることとなる。

　この発明は、上記のような課題を解決するためになされたもので、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩ（Human Machine Interface）を提供することができる３次元立体表示装置を得ることを目的とする。

　この発明に係る３次元立体表示装置は、操作画面の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ部と、立体表示モニタ部の画面上に設けられ、当該立体表示モニタ部の画面に３次元立体表示された操作画面に対するタッチ操作を行う指示物とタッチ面との相対位置を検出するタッチパネル部と、操作画面上の操作対象となるアイコン画像を３次元立体表示する見かけ上の表示面を、立体表示モニタ部の画面よりも手前の位置に設定した３次元立体表示用の右目用及び左目用の画像又は映像を生成する画面合成処理部と、タッチパネル部によりアイコン画像をタッチ操作する指示物が検出されると、当該アイコン画像が操作されたと判定する制御部とを備える。

　この発明によれば、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができるという効果がある。

この発明に係る３次元立体表示装置を用いた立体表示システムの構成例を示すブロック図である。立体表示モニタにおける立体表示の原理を説明するための図である。この発明の実施の形態１による３次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。３次元タッチパネルの構成を示す図である。平面地図の見かけ上の表示位置を、３次元タッチパネルのタッチ面よりも奥側にする画面合成処理を説明するための図である。図５の画面合成処理におけるデータの流れを示す図である。実施の形態１による３次元立体表示装置の画面合成処理の流れを示すフローチャートである。平面地図の見かけ上の地図表示面をタッチ面よりも奥側とし、アイコンの見かけ上の表示面をタッチ面よりも手前にした画面合成処理を説明するための図である。図８の画面合成処理におけるデータの流れを示す図である。ユーザ操作に応じた立体画像アイコンの表示例１を示す図である。ユーザ操作に応じた立体画像アイコンの表示例２を示す図である。ユーザ操作に応じた立体画像アイコンの表示例３を示す図である。

　以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明に係る３次元立体表示装置を用いた立体表示システムの構成例を示すブロック図である。図１（ａ）は、両眼用のカメラで撮影された左右映像から立体映像を表示する立体表示システム１Ａを示している。図１（ａ）において、立体表示システム１Ａは、左目用カメラ２ａ、右目用カメラ２ｂ、記録・撮影装置３、画面合成処理部４、映像再生装置５及び立体表示モニタ６を備える。
　左目用カメラ２ａと右目用カメラ２ｂは、両眼の視差を考慮した間隔で並べて配置されており、記録・撮影装置３の制御によって、撮影対象の風景Ａを撮影する。左目用カメラ２ａと右目用カメラ２ｂに撮影された風景Ａの左右映像データは、記録・撮影装置３に記録される。画面合成処理部４は、記録・撮影装置３から読み出した左右映像データに対して、本発明に特有な３次元立体映像の合成処理を施して映像再生装置５へ出力する。
　映像再生装置５は、画面合成処理部４で処理された左右映像データを再生して立体表示モニタ６へ出力する。立体表示モニタ６は、映像再生装置５に再生された左右映像データを、視聴者から見て立体的に表示する。

　図１（ｂ）に示す立体表示システム１Ｂは、アンテナ７ａを介して外部装置と通信する立体映像用コンテンツ受信機７、画像合成処理部４、映像再生装置５及び立体表示モニタ６を備える。立体映像用コンテンツ受信機７は、アンテナ７ａを介して、上述したような左右映像データを含む立体映像用コンテンツを外部装置から受信する受信機である。
　画面合成処理部４は、立体映像用コンテンツ受信機７が受信した立体映像用コンテンツの左右映像データに対して、本発明に特有な３次元立体映像の合成処理を施して映像再生装置５へ出力する。図１（ａ）と同様にして、立体表示モニタ６が、映像再生装置５に再生された左右映像データを、視聴者から見て立体的に表示する。

　図１（ｃ）に示す立体表示システム１Ｃは、立体表示用コンテンツを記憶する記憶装置８、画像合成処理部４、映像再生装置５及び立体表示モニタ６を備える。立体表示用コンテンツは、上述したような左右映像データを含むコンテンツデータである。記憶装置８としては、立体表示用コンテンツを記憶するＨＤＤ（Hard Disk Drive）や半導体メモリが考えられる。また、立体表示用コンテンツを記憶したＣＤやＤＶＤのような記憶メディアを再生するドライブ装置であってもかまわない。

　画面合成処理部４は、記憶装置８から読み出した立体表示用コンテンツの左右映像データに対して、本発明に特有な３次元立体映像の合成処理を施して映像再生装置５へ出力する。図１（ａ）と同様にして、立体表示モニタ６が、映像再生装置５に再生された左右映像データを視聴者から見て立体的に表示する。
　なお、立体表示用コンテンツとして、いわゆる３次元データ（例えば３次元地図データ等）を格納しておき、画面合成処理部４が、この３次元データが示す画像について左右の視点での見え方を演算して左右映像データを生成してもよい。

　図２は、立体表示モニタにおける立体表示の原理を説明するための図であり、裸眼での立体表示の一例を示している。図２に示す立体表示モニタ６は、液晶表示素子群６ａ及びパララックスバリア部６ｂを備える。液晶表示素子群６ａは、右目用の映像が右目に到達するように指向性を持たせた右目用液晶素子群と、左目用の映像が左目に到達するように指向性を持たせた左目用液晶素子群とを有する。パララックスバリア部６ｂは、右目用の映像と左目用の映像とを交互に表示するためにバックライト（図２において不図示）からの光を遮断する視野バリアである。

　映像再生装置５で再生された左右の映像データは、左目用（Ｌ）の映像信号及び右目用（Ｒ）の映像信号として、Ｌ、Ｒ、Ｌ、Ｒ、・・・と交互に立体表示モニタ６に入力される。液晶表示素子群６ａは、左目用（Ｌ）の映像信号を入力すると、左目用液晶素子群を動作させ、右目用（Ｒ）の映像信号を入力すると、右目用液晶素子群を動作させる。このとき、パララックスバリア部６ｂが、左目用液晶素子群の動作時は右目用液晶表示素子群を通過したバックライトの光を遮断し、右目用液晶素子群の動作時は左目用液晶表示素子群を通過したバックライトの光を遮断する。これにより、立体表示モニタ６の画面には、右目用の映像と右目用の映像とが交互に表示され、図２に示す視聴者の視点で立体映像を視聴することができる。

　なお、本発明は、図２に示す構成の立体表示モニタ６に限定されるものではなく、別の機構で立体視を実現するモニタであってもよい。例えば、専用眼鏡として左右のレンズに互いに異なる偏光板を取り付けた眼鏡を掛けることで立体画像を得る方式であってもかまわない。

　図３は、この発明の実施の形態１による３次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。図３において、車載情報システム１は、地図などの画像や映像の表示に関して、図１に示した立体表示システムとして機能するシステムである。また、車載情報システム１は、メインＣＰＵ（制御部）４ａ、映像再生装置５、立体表示モニタ（立体表示モニタ部）６、ＧＰＳ（Global Positioning System）受信機９、車速センサ１０、内部メモリ１１、ＣＤ／ＤＶＤドライブ装置１２、ＨＤＤ１３、ラジオ受信機１４、ＤＴＶ受信機１５、車内ＬＡＮ＿Ｉ／Ｆ部１６、アンプ１９、スピーカ２０、及び３次元タッチパネル２２を備える。

　メインＣＰＵ４ａは、車載情報システム１内の各構成部を制御するＣＰＵである。このメインＣＰＵ４ａが、ＨＤＤ１３に記憶されるプログラム１３ｄ（車載情報処理用のアプリケーションプログラム）を実行することにより、図１に示した画面合成処理部４としての機能を発揮する。映像再生装置５は、メインＣＰＵ４ａの画面合成処理部４で合成処理された左右映像データを再生して立体表示モニタ６へ出力する装置である。また、立体表示モニタ６は、映像再生装置５に再生された左右映像データを、視聴者から見て立体的に表示するモニタである。

　ＧＰＳ受信機９は、ＧＰＳ衛星から自車両の位置情報を受信する受信機であり、車速センサ１０は、自車両の車速を計算するための車速パルスを検出するセンサである。内部メモリ１１は、メインＣＰＵ４ａが車載情報処理用のアプリケーションプログラムを実行する際の作業領域となるメモリである。ＣＤ／ＤＶＤドライブ装置１２は、ＣＤ又はＤＶＤ等の記憶メディア１２ａに記憶されたＡＶソースを再生する装置である。なお、記憶メディア１２ａに記憶されたＡＶソースに立体表示映像データが含まれる場合、図１（ｂ）で示した立体映像用コンテンツ受信機７として機能し、車載情報システム１は、図１（ｂ）で示した立体表示システム１Ｂとして機能する。

　ＨＤＤ（ハードディスクドライブ装置）１３は、車載情報システム１に搭載された大容量記憶装置であり、地図データベース（以下、地図ＤＢと略す）１３ａ、アイコンデータ１３ｂ及びプログラム１３ｄを記憶する。
　地図ＤＢ１３ａは、ナビゲーション処理で利用される地図データが登録されたデータベースである。地図データには、地図上のＰＯＩ（Point Of Interest）の所在地又はこれに関連する詳細情報が記述されたＰＯＩ情報も含まれる。
　アイコンデータ１３ｂは、立体表示モニタ６の画面上に表示するアイコンを示すデータである。画面上で各種の操作を行うための操作ボタンのアイコンなどがある。
　プログラム１３ｄは、メインＣＰＵ４ａが実行する車載情報処理用のアプリケーションプログラムである。例えば、画面合成処理部４の機能を実現するプログラムモジュールを含む地図表示用のアプリケーションプログラムがある。

　ラジオ受信機１４は、ラジオ放送を受信する受信機であり、例えば不図示の選局ボタンの操作に応じて選局がなされる。
　ＤＴＶ受信機１５は、デジタルテレビ放送を受信する受信機であり、ラジオ受信機１４と同様に、不図示の選局ボタンの操作に応じて選局がなされる。また、ＤＴＶ受信機１５は、受信したデジタルテレビ放送に３次元立体表示映像データが含まれる場合、図１（ｂ）で示した立体映像用コンテンツ受信機７として機能し、車載情報システム１は、図１（ｂ）で示した立体表示システム１Ｂとして機能する。

　車内ＬＡＮ＿Ｉ／Ｆ部１６は、車内ＬＡＮ（Local Area Network）１７とメインＣＰＵ４ａとの間のインタフェースであり、例えば、車内ＬＡＮ１７に接続している他の機器とメインＣＰＵ４ａとのデータ通信を中継する。また、図１（ｃ）で示した記憶装置８が車内ＬＡＮ１７に接続しており、この記憶装置８とメインＣＰＵ４ａの画面合成処理部４との間を中継する構成として車内ＬＡＮ＿Ｉ／Ｆ部１６を捉えた場合、車載情報システム１は、図１（ｃ）で示した立体表示システム１Ｃとして機能する。

　なお、ＣＤ／ＤＶＤドライブ装置１２、ラジオ受信機１４及びＤＴＶ受信機１５で再生された音声信号やメインＣＰＵ４ａからの音声信号は、アンプ１９で増幅され、スピーカ２０を介して音声出力される。メインＣＰＵ４ａからの音声信号としては、ナビゲーション処理における誘導案内音声などがある。

　３次元タッチパネル２２は、非接触でタッチ面から所定の距離内にユーザの指等の指示物が近づいたこと及び指示物によるタッチ面の接触を検出するタッチパネルである。すなわち、タッチ面とタッチ面の法線方向との３次元空間を検出範囲とする。
　図４は、３次元タッチパネルの構成を示す図であり、図４（ａ）はタッチ面側から見た上面図を示し、図４（ｂ）は図４（ａ）中のＡ－Ａ線における断面図を示している。３次元タッチパネル２２は、立体表示モニタ６の表示画面２２ａ上に設けられ、ユーザが表示画面２２ａの表示内容に基づいて、タッチスイッチ２２ｂの表面（タッチ面）を指示物で押下することにより、押された箇所の座標データをメインＣＰＵ４ａへ出力する。

　タッチスイッチ２２ｂの外周のうち直交する２辺には、複数の赤外線ＬＥＤ２３が配置されており、複数の赤外線ＬＥＤ２３からの赤外光をそれぞれ受光する複数の受光素子２４は、赤外線ＬＥＤ２３と対向する２辺に配置されている。この配置により、複数の赤外線ＬＥＤ２３から発光される赤外光は、図４（ａ）に示すようにタッチスイッチ２２ｂ上で格子状になる。このように構成することで、図４（ｂ）に示すように距離ｚ３の間で、タッチ面をタッチしようとする指示物を検出することが可能であり、また指示物によるタッチ面への接触を検出することができる。

　次に動作について説明する。
（１）平面地図の表示
　平面画像の見かけ上の表示位置を、視聴者から見て、３次元タッチパネル２２のタッチ面（立体表示モニタ６の画面と同一位置とする）より手前にしたり、奥側にした３次元立体画像を合成して立体表示する。例えば、車載用ナビゲーション装置の地図表示において、平面地図を表示する場合、平面地図の見かけ上の表示位置を、３次元タッチパネル２２のタッチ面よりも奥側（運転者の遠方）にする。この場合、運転者が運転中に前方の風景を見る焦点位置と平面地図の見かけ上の表示位置との焦点距離の差を少なくすることができる。すなわち、車両前方を見ていた運転者が、車両内の３次元タッチパネル２２のタッチ面に視線を移動した際の焦点移動距離が少なく、当該地図を違和感なく見ることができる。このようにすることにより、立体表示された地図が見やすくなり、ひいては地図表示を見る際の安全性を高めることが可能となる。

　図５は、平面地図の見かけ上の表示位置を、３次元タッチパネルのタッチ面よりも奥側にする画面合成処理を説明するための図である。図６は、図５の画面合成処理におけるデータの流れを示す図である。
　先ず、メインＣＰＵ４ａが、図６に示すように、ＨＤＤ１３に格納される地図ＤＢ１３ａから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データＰｉｃ＿ｐｌａｎｅを生成する。平面地図データＰｉｃ＿ｐｌａｎｅは、例えば、図５の左側に記載したような平面地図であるものとする。

　図５の例では、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図を、３次元タッチパネル２２のタッチ面より奥側の見かけ上の地図表示面Ｐに表示している。ここで、運転者の目の位置から３次元タッチパネル２２のタッチ面までの距離をＺ０、運転者の目の位置から見かけ上の地図表示面Ｐまでの距離をｚとする。ただし、図５では、ｚ＞Ｚ０の関係にある。

　また、運転者の右目の位置を点Ｏｒ（ｘｒ，ｙｒ，０）、左目の位置を点Ｏｌ（ｘｌ，ｙｌ，０）、左右の目の間隔をｄとする。つまり、｜ｘｒ－ｘｌ｜＝ｄである。
　平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図上の点ｐ（ｘ，ｙ）を、見かけ上の地図表示面Ｐに投影すると、地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）となる。

　平面地図の右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）と、右目の位置である点Ｏｒ（ｘｒ，ｙｒ，０）とを結ぶ直線（ベクトルＶｒ）が、３次元タッチパネル２２のタッチ面と交わる点ｐｒの集合で表される。
　同様に、平面地図の左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）と、左目の位置である点Ｏｌ（ｘｌ，ｙｌ，０）とを結ぶ直線（ベクトルＶｌ）が、３次元タッチパネル２２のタッチ面と交わる点ｐｌの集合で表される。

　画面合成処理部４は、平面地図データＰｉｃ＿ｐｌａｎｅ及びパラメータＺ０，ｚ，ｄを用いて、見かけ上の地図表示面Ｐと運転者の左右の目の位置との距離がｚとなるように点ｐｒ，ｐｌを計算して右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を生成し、映像再生装置５へ出力する。

　映像再生装置５は、画面合成処理部４により生成された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを再生して立体表示モニタ６へ出力する。立体表示モニタ６では、映像再生装置５により再生された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを用いて、平面地図を立体表示する。このとき、運転者からは、立体視によって、平面地図が、３次元タッチパネル２２のタッチ面よりも奥側の見かけ上の地図表示面Ｐに表示されているように見える。

　また、車載用のナビゲーション装置で平面地図を表示するにあたり、平面地図の見かけ上の地図表示画面Ｐを３次元タッチパネル２２のタッチ面よりも手前（運転者の近く）にすると、運転者からは、立体視によって３次元タッチパネル２２のタッチ面から平面地図が浮き出たように表示されているように見える。

　なお、ｚ＜Ｚ０であると、運転者からは、立体視によって、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図が、３次元タッチパネル２２のタッチ面よりも手前の見かけ上の地図表示面Ｐに表示されているように見える。
　また、ｚ＝Ｚ０の関係で画面合成処理を行えば、平面地図は、見かけ上の地図表示面Ｐと３次元タッチパネル２２のタッチ面とが一致し、画面Ｑ上に表示されて見える。
　ｚ＞Ｚ０の関係で画面合成処理を行うと、立体視により、運転者からは、平面地図が、３次元タッチパネル２２のタッチ面よりも奥側（運転者の遠方）の見かけ上の地図表示面Ｐに表示されているように見える。

　上述の説明では、本発明を車載情報システム１に適用した場合を示したが、本発明は、車載用に用途を限定するものではなく、ＦＡやパネルコンピュータ、案内用表示システム等、表示及び操作が必要な全てのシステムに適用可能である。

　また、ｚ＞Ｚ０の場合は、見かけ上の地図表示面Ｐを、３次元タッチパネル２２のタッチ面よりも遠方に表示する場合、上述したように、運転者が地図表示を見る際の安全性を高めることができ、ｚ＜Ｚ０の場合には、表示画面が近くに浮き出して表示されて画面が見やすいという効果がある。そこで、自車両が走行中である場合にｚ＞Ｚ０とし、停車中にはｚ＜Ｚ０となるように制御してもよい。

（２）平面地図及びアイコンの表示
　上記説明では、平面地図を見かけ上の地図表示面Ｐに表示する場合を示したが、アイコン等の操作入力用のソフトウェアボタンについて、見かけ上の地図表示面Ｐと平行な別の見かけ上の表示面に立体表示する場合を述べる。

　図７は、実施の形態１による３次元立体表示装置の画面合成処理の流れを示すフローチャートである。また、図８は、平面地図の見かけ上の地図表示面Ｐを、３次元タッチパネル２２のタッチ面よりも奥側とし、アイコンの見かけ上の表示面Ｒを、３次元タッチパネル２２のタッチ面よりも手前にした画面合成処理を説明するための図である。図９は、図８の画面合成処理におけるデータの流れを示す図である。

　先ず、メインＣＰＵ４ａが、図９に示すように、ＨＤＤ１３に格納される地図ＤＢ１３ａから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データＰｉｃ＿ｐｌａｎｅを生成する。平面地図データＰｉｃ＿ｐｌａｎｅは、例えば、図８の左側に記載した平面地図を表している。また、メインＣＰＵ４ａは、ＨＤＤ１３に格納されるアイコンデータ１３ｂから、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図に重畳表示するアイコンのアイコンデータを読み込む。

　ここでは、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図を、３次元タッチパネル２２のタッチ面よりも奥側の見かけ上の地図表示面Ｐに表示し、決定ボタン及び戻るボタンを、３次元タッチパネル２２のタッチ面よりも手前の見かけ上の表示面Ｒに表示する。ここで、３次元タッチパネル２２のタッチ面とアイコンの表示面Ｒとの距離をｚ１とする。すなわち、運転者からは、立体視により決定ボタン及び戻るボタンの各アイコンが、３次元タッチパネル２２のタッチ面から距離ｄｚだけ浮かんで見える。
　なお、図８において、運転者の目の位置から３次元タッチパネル２２のタッチ面（立体表示モニタ６の画面Ｑと同一位置とする）までの距離Ｚ０と、運転者の目の位置から見かけ上の地図表示面Ｐまでの距離ｚとの関係は、ｚ＞Ｚ０の関係である。

　平面地図の右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）又は表示面Ｒ上の点ｐ（ｘ，ｙ，Ｚ０－ｚ１）と、右目の位置である点Ｏｒ（ｘｒ，ｙｒ，０）とを結ぶ直線（ベクトルＶｒ）が、立体表示モニタ６の画面Ｑと交わる点ｐｒの集合で表現される。
　同様に、平面地図の左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）又は表示面Ｒ上の点ｐ（ｘ，ｙ，Ｚ０－ｚ１）と、左目の位置である点Ｏｌ（ｘｌ，ｙｌ，０）とを結ぶ直線（ベクトルＶｌ）が、立体表示モニタ６の画面Ｑと交わる点ｐｌ（ｘｌ，ｙｌ，Ｚ０）の集合で表現される。
　一方、決定ボタン及び戻るボタンの各アイコンは、平面地図の右目用画像においては、当該右目用画像上の点ｐｒの集合で表現され、平面地図の左目用画像においては、当該左目用画像上で点ｐｌの集合で表現される。

　画面合成処理部４は、メインＣＰＵ４ａにより生成された平面地図データＰｉｃ＿ｐｌａｎｅを入力する（ステップＳＴ１）。次に、画面合成処理部４は、メインＣＰＵ４ａがＨＤＤ１３から読み出した決定ボタン及び戻るボタンのアイコンデータを入力する（ステップＳＴ２）。次いで、画面合成処理部４は、内部メモリ１１からパラメータＺ０，ｚ，ｄ，ｚ１を入力する（ステップＳＴ３）。

　続いて、画面合成処理部４は、平面地図データＰｉｃ＿ｐｌａｎｅ、パラメータＺ０，ｚ，ｄ，ｚ１及びアイコンデータを用いて、上記実施の形態１と同様にして、見かけ上の地図表示面Ｐと運転者の目の位置との距離がｚとなり、さらにアイコンの表示面Ｒと運転者の目の位置との距離が（Ｚ０－ｚ１）となるように点ｐｒ，ｐｌを計算して、右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を生成する（ステップＳＴ４）。この後、画面合成処理部４は、生成した右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を映像再生装置５へ出力する（ステップＳＴ５）。

　映像再生装置５は、画面合成処理部４により生成された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを再生して立体表示モニタ６へ出力する。立体表示モニタ６では、映像再生装置５により再生された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを用いて、平面地図とアイコンを立体表示する（ステップＳＴ６）。このとき、運転者からは、立体視によって、決定ボタン及び戻るボタンが３次元タッチパネル２２のタッチ面上に浮き出たように見える。

　上述した表示状態において、メインＣＰＵ４ａは、３次元タッチパネル２２からの検出信号に基づいて、３次元タッチパネル２２のタッチ面に、ユーザの指が近づいたか否かを判定する（ステップＳＴ７）。
　例えば、３次元タッチパネル２２において、ユーザの指が移動して、ｚ３で規定される赤外線ＬＥＤ２３及び受光素子２４による検出範囲内に入ると、３次元タッチパネル２２は、この指の座標を点（ｘ，ｙ，ｚ３）として検出する。
　また、ユーザの指がタッチ面に触れると、３次元タッチパネル２２は、指の座標を（ｘ，ｙ，０）として検出して、その検出信号をメインＣＰＵ４ａへ出力する。
　なお、図４の構成では、赤外線ＬＥＤ２３と受光素子２４とからなる赤外線スイッチによって、指示物が距離ｚ３に達したか否かを検出することができるが、タッチ面に平行に赤外線スイッチを複数段設けることにより、多段階で指示物とタッチ面との距離を検出することができる。

　ユーザの指が３次元タッチパネル２２のタッチ面に近づいたと判定されると（ステップＳＴ７；ＹＥＳ）、メインＣＰＵ４ａが、指が近づいたアイコンをタッチした場合の所定の処理と画面遷移を実行する（ステップＳＴ８）。例えば、ユーザの指が“戻るボタン”に近づいた場合に、“戻るボタン”が押下されたものとして、ステップＳＴ８に移行して所定の動作を実行した後、ステップＳＴ１の処理に戻る。
　このように、ユーザは、立体視により浮き出して見える立体画像アイコンを非接触で操作するだけで、操作に応じた機能を実行することができる。一方、ユーザの指が、３次元タッチパネル２２のタッチ面に近づいていない判定された場合には（ステップＳＴ７；ＮＯ）、ステップＳＴ１の処理に戻る。

　また、立体視によりアイコン画像を３次元タッチパネル２２のタッチ面から浮き出させる距離ｚ１と、３次元タッチパネル２２の指示物の検出距離ｚ３とが一致するように３次元立体画像を生成してもよい。このようにすることで、アイコンの表示位置と３次元タッチパネル２２の感度領域とが一致して使いやすい操作画面を実現できる。

　さらに、上述の説明では、平面地図の見かけ上の地図表示面Ｐを、３次元タッチパネル２２のタッチ面よりも奥側とした場合を示したが、地図表示面Ｐを３次元タッチパネル２２のタッチ面と一致させると（ｚ＝Ｚ０）、立体視により立体画像アイコンのみがタッチ面から浮き出して見えるため、デザイン性がよく、操作も容易である。

　さらに、ｚ，ｚ１等のパラメータは、ユーザ操作によって画面合成処理部４に設定したり、また既に設定された値をユーザ操作で変更できるようにしてもよい。例えば、立体視によりアイコン画像を３次元タッチパネル２２のタッチ面から浮き出させる距離ｚ１を、３次元タッチパネル２２のｚ軸上（タッチ面の法線方向）におけるドラッグ処理で、ユーザが自由に設定できるようにする。

　さらに、ｚ，ｚ１等のパラメータには、自装置を搭載又は保持する車両の状態により予め定められた距離を設定してもよい。なお、自装置を搭載又は保持する車両の状態により予め定められた距離とは、車両速度に応じて予め定められた距離が挙げられる。つまり、地図表示面Ｐや、３次元タッチパネル２２のタッチ面とアイコンの表示面Ｒとの距離ｚ１は、車両速度に応じて画面合成処理部４に予め設定された値を設定してもよい。例えば、走行中はｚ＞Ｚ０、停車中はｚ＝Ｚ０とする。また、走行中は停車中に比べてｚ１を小さな値にしてもよい。

　以上のように、この実施の形態１によれば、操作画面の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ６と、立体表示モニタ６の画面上に設けられ、当該立体表示モニタ６の画面に３次元立体表示された操作画面に対するタッチ操作を行う指示物とタッチ面との相対位置を検出する３次元タッチパネル２２と、操作画面上の操作対象となるアイコン画像を３次元立体表示する見かけ上の表示面Ｒを、立体表示モニタ６の画面Ｑよりも手前の位置に設定した３次元立体表示用の右目用及び左目用の画像又は映像を生成する画面合成処理部４と、３次元タッチパネル２２によりアイコン画像をタッチ操作する指示物が検出されると、当該アイコン画像が操作されたと判定するメインＣＰＵ４ａとを備える。このように構成することで、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができる。

　また、上記実施の形態１において、ユーザ操作に応じて、下記のように立体画像アイコンを表示してもよい。
　図１０は、ユーザ操作に応じた立体画像アイコンの表示例１を示す図である。図１０（ａ）の例では、立体表示モニタ６の画面Ｑ、平面地図の見かけ上の地図表示面Ｐ及び３次元タッチパネル２２のタッチ面が同一位置にあり、決定ボタン及び戻るボタンの立体画像アイコンのみが見かけ上の表示面Ｒに表示されている。このとき、ユーザからは、決定ボタン及び戻るボタンが、立体視により３次元タッチパネル２２のタッチ面から浮き出るように見える。

　図１０（ａ）の表示状態から、ユーザの指が“戻るボタン”に近づいて、ユーザの指が“戻るボタン”に見かけ上接触した状態で一定時間（例えば１秒間）が経過すると、画面合成処理部４は、図１０（ｂ）に示すように“戻るボタン”の立体画像アイコンの色を変えた３次元立体画像を生成して、立体表示モニタ６に色の変更された“戻るボタン”を表示させる。これにより、ユーザは、操作により“戻るボタン”がフォーカスされたことを視認できる。

　次いで、ユーザが、“戻るボタン”の立体画像アイコンをさらに押すジェスチャーを行うと、３次元タッチパネル２２が、当該ジェスチャーによる指の移動距離を検出して、画面合成処理部４へ出力する。画面合成処理部４は、当該ジェスチャーによる指の移動距離に基づいて、“戻るボタン”の立体画像アイコンを表示する見かけ上の表示面Ｒとタッチ面との距離ｚ１を変更することにより、図１０（ｃ）に示すように、指で押すジェスチャーに応じて“戻るボタン”の立体画像アイコンが引っ込むように表示させる。

　このようにすることで、ユーザの直感に合致した操作が可能なＨＭＩを提供することができる。また、フォーカスされたことは、立体画像アイコンの色や形状、振動、触覚の変化で示し、操作されたことも所定の立体画像アイコンの色や形状、振動、触覚の変化で示してもよい。

　なお、上記実施の形態１において、ユーザの指の操作は、指示物検出部である３次元タッチパネル２２の検出情報を用いて、メインＣＰＵ４ａが識別できるものならば、指が円を書くような動作やチェックするＶ字動作、指を上下又は左右に振るような動作であってもよい。

　また、ユーザの指の操作は、予め設定されたパターンの中から選択してもよいし、ジェスチャー登録モードを用意して、ユーザが独自のジェスチャーをシステムに記憶し、登録されたジェスチャーによって上記操作を行ってもかまわない。

　さらに、自装置を搭載又は保持する車両の状態により操作が許可されていない機能のアイコンについては、ユーザ操作を検出しても、立体視によるアイコン焦点位置を変化させないように制御してもよい。例えば、上記車両の状態により操作が許可されていない機能のアイコンとしては、当該車両の走行時の操作制限により当該アイコンに割り付けられた操作を受け付けないアイコンが挙げられる。この場合、当該アイコンの色や形を、車両の走行中でも操作が許可されている機能のアイコンとは別の色や形に変えて表示してもよいし、当該アイコンを操作すると、警告音やメッセージを出すようにしてもかまわない。また、操作できないアイコンの色をグレーにしたり、半透明にしたり、立体視により突出して見える度合いを低く設定してもよい。

　また、上記実施の形態１において、ユーザの指がアイコンに近づいた際に、指の周りの一定範囲のアイコンを大きく表示して操作しやすくしてもよい。
　図１１は、ユーザ操作に応じた立体画像アイコンの表示例２を示す図であり、地名入力用の５０音のソフトウェアキーボードを含む地名入力用画面６Ａを３次元立体表示した場合を示している。図１１（ａ）及び図１１（ｂ）は地名入力用画面６Ａの上面図であり、図１１（ｃ）は、図１１（ａ）の３次元タッチパネルのタッチ面に対する見かけ上の各ボタンの位置関係を示している。また、図１１（ｄ）は、図１１（ｂ）の３次元タッチパネルのタッチ面に対する見かけ上の各ボタンの位置関係を示している。なお、図１１において、立体表示モニタ６の画面Ｑ、３次元タッチパネル２２のタッチ面及び平面画像（ベースとなる入力文字表示欄５１を含む画面）の見かけ上の表示面Ｐは、同一位置にあるものとする。

　図１１（ａ）及び図１１（ｃ）に示すように、地名入力用画面６Ａは、地名入力操作前において、立体視により、ユーザからは、５０音キーボード５０における文字キーボタン５０ａ、確定ボタン５２、検索ボタン５３、修正ボタン５４，５５及び中止ボタン５６が入力文字表示欄５１を含む画面から浮き出したように表示されて見える。
　ユーザの指が５０音キーボード５０の「て」のボタンに近づいて、３次元タッチパネル２２の検出範囲内に入ると、３次元タッチパネル２２は、図１１（ａ）中に破線で囲った「て」の文字キーボタン及びこれに隣接する文字キーボタン５０ａの座標データを画面合成処理部４に出力する。

　画面合成処理部４は、３次元タッチパネル２２から入力した座標データを用いて、ユーザの指が近づいた文字キーボタン５０ａ及びこれに隣接する文字キーボタン５０ａを特定すると、これらの文字キーボタン５０ａを、他の文字キーボタン５０ａ及び各種のボタン５２～５６よりも所定のサイズだけ大きく表示する３次元立体画像を生成し、映像再生装置５を介して立体表示モニタ６に表示させる。これにより、図１１（ｂ）及び図１１（ｄ）に示すように、ユーザの指が近づいた「て」のボタンとこれに隣接する「ぬ」、「つ」、「す」、「ね」、「せ」、「の」、「と」、「そ」のボタンが大きく表示される。このようにすることで、ユーザから見やすく、使い勝手のいい文字入力画面を提供することができる。

　図１２は、ユーザ操作に応じた立体画像アイコンの表示例３を示す図であり、図１１で示した地名入力用画面６Ａについて、ユーザの指が近づいた際の他の３次元立体表示例を示している。図１２（ａ）の例では、ユーザの指が５０音キーボード５０の「て」の文字キーボタンに近づくと、「て」の文字キーボタン及びこれに隣接する文字キーボタン５０ａを大きく表示するとともに、その他のボタンを示すアイコンは立体視により突出して見える度合いを低くする。すなわち、その他のボタンについては、見かけ上のアイコン表示面Ｒをユーザの遠方に移動させることで、立体視により、「て」の文字キーボタン及びこれに隣接する文字キーボタン５０ａよりも、ユーザから見て遠い位置で焦点が合うように表示される。これにより、ユーザからは、操作しようとしたボタン及びその周辺のボタンの表示が強調され、見やすく、入力操作が容易になる。

　また、ユーザの指が文字キーボタンに近づくと、図１２（ｂ）に示すように、ユーザの指が近づいた文字キーボタン及びこれに隣接する文字キーボタン５０ａの立体視により突出して見える度合いを高くする。すなわち、ユーザの指が近づいた文字キーボタンとこれに隣接する文字キーボタン５０ａが、立体視によって、ユーザから見てさらに近い位置に浮き出すように表示される。このとき、図１２（ｂ）に示すように、他のボタンのアイコン表示面Ｒから延びるようにアイコン画像を表示してもよい。つまり、ユーザの指が近づいた文字キーボタン及びこれに隣接する文字キーボタン５０ａを、その他のボタンを示すアイコンの見かけ上のアイコン表示面Ｒよりもユーザに近い位置のアイコン表示面Ｒ１に表示するとともに、アイコン画像をアイコン表示面Ｒから延びたように見える画像に変更する。このようにしても、ユーザからは、操作しようとしたボタン及びその周辺のボタンの表示が強調され、見やすく、入力操作が容易になる。

　また、上記実施の形態１では、平面地図を立体表示する場合を示したが、車載情報システムに一般的に表示するものならば、ＡＶシステムのメニュー画面や車両情報、安全情報等の表示に適用してもかまわない。例えば、エアコンの制御用のアイコン、ダッシュボードのメータパネル、車両の燃費、予防安全情報、ＶＩＣＳ（登録商標）情報等の表示に利用してもよい。

　さらに、上記実施の形態１では、裸眼で立体視する立体表示を示したが、偏光眼鏡を用いて立体画像を得る立体表示方式でもかまわない。
　また、実施の形態１では、図４のように、３次元タッチパネルとして、光学式でかつ、ｚ３の距離に指又は指示物が近接することを検出する３次元タッチパネルを用いたが、容量式で法線距離ｚをアナログ的に連続的に検出できる静電容量式のタッチパネルを用いてもよい。なお、本発明は、指又は指示物の３次元空間内における位置を検出できれば、上記の方式に限定されるものではない。例えば、画像処理で指又は指示物の位置を検出してもかまわない。

　上記実施の形態１では、この発明に係る３次元立体表示装置を車載情報システムに適用した場合を示したが、上述したような立体表示モニタを有する全ての表示装置に適用することが可能である。例えば、車載用のナビゲーション装置のみならず、携帯電話端末又は携帯情報端末（ＰＤＡ；Personal Digital Assistance）の表示装置に適用してもよい。また、車両、鉄道、船舶又は航空機等の移動体に、人が携帯して持ち込んで使用するＰＮＤ（Portable Navigation Device）等の表示装置に適用してもかまわない。

　なお、この発明は、上記実施の形態１で説明した構成に限定されるものではない。つまり、この発明の範囲内において、上記実施の形態１で示した各構成を自由に組み合わせたり、変形、省略することが可能である。

　この発明に係る３次元立体表示装置は、３ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができることから、車載情報システムの表示装置に好適である。

Claims

　操作画面の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ部と、
　前記立体表示モニタ部の画面上に設けられ、当該立体表示モニタ部の画面に３次元立体表示された前記操作画面に対するタッチ操作を行う指示物とタッチ面との相対位置を検出するタッチパネル部と、
　前記操作画面上の操作対象となるアイコン画像を３次元立体表示する見かけ上の表示面を、前記立体表示モニタ部の画面よりも手前の位置に設定した３次元立体表示用の右目用及び左目用の画像又は映像を生成する画面合成処理部と、
　前記タッチパネル部により前記アイコン画像をタッチ操作する指示物が検出されると、当該アイコン画像が操作されたと判定する制御部とを備えた３次元立体表示装置。
　前記制御部は、前記タッチパネル部により前記アイコン画像上の当該タッチパネル部の検出空間内に前記指示物が所定の時間存在したことが検出されるか又は前記検出空間及びその近傍で前記指示物が所定の動作を行ったことが検出されると、当該アイコン画像が操作されたと判定することを特徴とする請求項１記載の３次元立体表示装置。
　前記所定の動作は、前記指示物がタッチ面を押す動作、前記指示物が所定の形状の軌跡を描く動作、及び、前記指示物を上下又は左右に振る動作のうち、少なくとも１つであることを特徴とする請求項２記載の３次元立体表示装置。
　前記制御部は、前記タッチパネル部により前記アイコン画像上の当該タッチパネル部の検出空間内に前記指示物が存在していることが検出されるか、前記検出空間内に前記指示物が所定の時間存在したことが検出されるか又は前記検出空間及びその近傍で前記指示物が前記所定の動作を行ったことが検出されると、前記指示物で当該アイコン画像が操作されようとしていると判定し、
　前記画面合成処理部は、前記制御部により前記指示物で操作されようとしていると判定された前記アイコン画像の表示内容を変更した３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項２記載の３次元立体表示装置。
　前記画面合成処理部は、前記アイコン画像の色、形状及び前記アイコン画像を３次元立体表示する見かけ上の表示面の位置のうちの少なくとも１つを変更することを特徴とする請求項４記載の３次元立体表示装置。
　前記画面合成処理部は、前記制御部により前記指示物で操作されようとしていると判定された前記アイコン画像及び当該アイコン画像を含む所定の範囲内に存在するアイコン画像を拡大するか、又は前記アイコン画像を３次元立体表示する見かけ上の表示面の位置を変更した３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項４記載の３次元立体表示装置。
　前記画面合成処理部は、前記操作画面上の操作対象となるアイコン画像を３次元立体表示する見かけ上の表示面を、ユーザに設定された距離だけ、前記立体表示モニタ部の画面よりも手前の位置に設定した３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項１記載の３次元立体表示装置。
　前記画面合成処理部は、前記操作画面上の操作対象となるアイコン画像を３次元立体表示する見かけ上の表示面を、自装置を搭載又は保持する移動体の状態により予め定められた距離だけ、前記立体表示モニタ部の画面よりも手前の位置に設定した３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項１記載の３次元立体表示装置。
　前記自装置を搭載又は保持する移動体の状態により予め定められた距離とは、当該移動体の移動速度に応じて予め定められた距離であることを特徴とする請求項８記載の３次元立体表示装置。