JP5726201B2 - 3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路 - Google Patents

3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路 Download PDF

Info

Publication number
JP5726201B2
JP5726201B2 JP2012539476A JP2012539476A JP5726201B2 JP 5726201 B2 JP5726201 B2 JP 5726201B2 JP 2012539476 A JP2012539476 A JP 2012539476A JP 2012539476 A JP2012539476 A JP 2012539476A JP 5726201 B2 JP5726201 B2 JP 5726201B2
Authority
JP
Japan
Prior art keywords
stereoscopic display
image
icon
eye
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012539476A
Other languages
English (en)
Other versions
JPWO2012053029A1 (ja
Inventor
下谷 光生
光生 下谷
御厨 誠
誠 御厨
威郎 坂入
威郎 坂入
英梨子 当麻
英梨子 当麻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2012053029A1 publication Critical patent/JPWO2012053029A1/ja
Application granted granted Critical
Publication of JP5726201B2 publication Critical patent/JP5726201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Description

この発明は、3次元立体画像(3Dimension stereoscopic image)又は3次元立体映像(3Dimension stereoscopic movie)を表示する3次元立体表示装置(3Dimension stereoscopic display device)に関する。
特許文献1に開示される従来の立体表示装置は、主に家庭用に使用される3次元立体画像を提供するものである。この立体表示装置は、立体視用の眼鏡をかけることなく、立体映像を視聴できるため、利便性が高い。例えば、助手席用のコンテンツ再生装置や後席用のRSE(Rear Seat Entertainment)の表示装置として好適である。
特開2005−175566号公報
しかしながら、特許文献1に代表される従来の技術を、運転者用の車載情報の表示又はメータパネルを表示する表示装置に適用する場合は、安全上の配慮をしないとそのまま使用できない。例えば、車両の走行中に、動きのある3次元立体映像や、立体表示された建物等の地物が無秩序に乱立する3次元立体画像又は3次元立体映像を運転者に見せるのは、かえって視認性を損なうため、安全上の配慮が必要となる。
この発明は、上記のような課題を解決するためになされたもので、安全性を確保し見やすく使い勝手のよい3次元立体表示装置を提供できる3次元立体表示装置を得ることを目的とする。
この発明に係る3次元立体視表示装置は、移動体に搭載又は保持される3次元立体視表示装置であって、移動体の状態を検出する移動体状態検出部と、見かけ上の地図表示面とは平行な別の見かけ上の表示面に、立体視を行うデータに立体画像アイコンであることが示されたアイコンの3次元立体視表示用の右目用及び左目用の画像を生成する画面合成処理部と、画面合成処理部で生成された画像を再生する再生処理部と、再生処理部で再生された画像を入力して3次元立体視表示する立体視表示モニタ部とを備え、画面合成処理部は、移動体状態検出部が検出した移動体の速度に応じて、アイコンの見かけ上の表示面の高さを変更した3次元立体視表示用の右目用及び左目用の画像を生成して再生処理部へ出力する。
この発明によれば、安全性を確保し見やすく使い勝手のよい3次元立体表示装置を提供できるという効果がある。
この発明に係る3次元立体表示装置を用いた立体表示システムの構成例を示すブロック図である。 立体表示モニタにおける立体表示の原理を説明するための図である。 この発明の実施の形態1による3次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。 実施の形態1による3次元立体表示装置の画面合成処理の流れを示すフローチャートである。 3次元立体表示の画面合成処理を説明するための図である。 図5の画面合成処理におけるデータの流れを示す図である。 立体地図の地図表示面P上に建物などの立体像を3次元立体表示する画面合成処理を説明するための図である。 図7の画面合成処理におけるデータの流れを示す図である。 立体地図の地図表示面上に等高線で表された山等の立体像を3次元立体表示する画面合成処理を説明するための図である。 図9の画面合成処理におけるデータの流れを示す図である。 アイコンの見かけ上の表示面を平面地図の地図表示面よりも手前にした画面合成処理を説明するための図である。 図11の画面合成処理におけるデータの流れを示す図である。 この発明の実施の形態4による3次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。 立体画像生成処理コアの構成を示すブロック図である。 この発明の実施の形態5による3次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明に係る3次元立体表示装置を用いた立体表示システムの構成例を示すブロック図である。図1(a)は、両眼用のカメラで撮影された左右映像から立体映像を表示する立体表示システム1Aを示している。図1(a)において、立体表示システム1Aは、左目用カメラ2a、右目用カメラ2b、記録・撮影装置3、画面合成処理部4、映像再生装置(再生処理部)5及び立体表示モニタ(立体表示モニタ部)6を備える。
左目用カメラ2aと右目用カメラ2bは、両眼の視差を考慮した間隔で並べて配置されており、記録・撮影装置3の制御によって、撮影対象の風景Aを撮影する。左目用カメラ2aと右目用カメラ2bに撮影された風景Aの左右映像データは、記録・撮影装置3に記録される。画面合成処理部4は、記録・撮影装置3から読み出した左右映像データに対して、本発明に特有な3次元立体映像の合成処理を施して映像再生装置5へ出力する。
映像再生装置5は、画面合成処理部4で処理された左右映像データを再生して立体表示モニタ6へ出力する。立体表示モニタ6は、映像再生装置5に再生された左右映像データを、視聴者から見て立体的に表示する。
図1(b)に示す立体表示システム1Bは、アンテナ7aを介して外部装置と通信する立体映像用コンテンツ受信機7、画像合成処理部4、映像再生装置5及び立体表示モニタ6を備える。立体映像用コンテンツ受信機7は、アンテナ7aを介して、上述したような左右映像データを含む立体映像用コンテンツを外部装置から受信する受信機である。
画面合成処理部4は、立体映像用コンテンツ受信機7が受信した立体映像用コンテンツの左右映像データに対して、本発明に特有な3次元立体映像の合成処理を施して映像再生装置5へ出力する。図1(a)と同様にして、立体表示モニタ6が、映像再生装置5に再生された左右映像データを、視聴者から見て立体的に表示する。
図1(c)に示す立体表示システム1Cは、立体表示用コンテンツを記憶する記憶装置8、画像合成処理部4、映像再生装置5及び立体表示モニタ6を備える。立体表示用コンテンツは、上述したような左右映像データを含むコンテンツデータである。記憶装置8としては、立体表示用コンテンツを記憶するHDD(Hard Disk Drive)や半導体メモリが考えられる。また、立体表示用コンテンツを記憶したCDやDVDのような記憶メディアを再生するドライブ装置であってもかまわない。
画面合成処理部4は、記憶装置8から読み出した立体表示用コンテンツの左右映像データに対して、本発明に特有な3次元立体映像の合成処理を施して映像再生装置5へ出力する。図1(a)と同様にして、立体表示モニタ6が、映像再生装置5に再生された左右映像データを視聴者から見て立体的に表示する。
なお、立体表示用コンテンツとして、いわゆる3次元データ(例えば3次元地図データ等)を格納しておき、画面合成処理部4が、この3次元データが示す画像について左右の視点での見え方を演算して左右映像データを生成してもよい。
図2は、立体表示モニタにおける立体表示の原理を説明するための図であり、裸眼での立体表示の一例を示している。図2に示す立体表示モニタ6は、液晶表示素子群6a及びパララックスバリア部6bを備える。液晶表示素子群6aは、右目用の映像が右目に到達するように指向性を持たせた右目用液晶素子群と、左目用の映像が左目に到達するように指向性を持たせた左目用液晶素子群とを有する。パララックスバリア部6bは、右目用の映像と左目用の映像とを交互に表示するためにバックライト(図2において不図示)からの光を遮断する視野バリアである。
映像再生装置5で再生された左右の映像データは、左目用(L)の映像信号及び右目用(R)の映像信号として、L、R、L、R、・・・と交互に立体表示モニタ6に入力される。液晶表示素子群6aは、左目用(L)の映像信号を入力すると、左目用液晶素子群を動作させ、右目用(R)の映像信号を入力すると、右目用液晶素子群を動作させる。このとき、パララックスバリア部6bが、左目用液晶素子群の動作時は右目用液晶表示素子群を通過したバックライトの光を遮断し、右目用液晶素子群の動作時は左目用液晶表示素子群を通過したバックライトの光を遮断する。これにより、立体表示モニタ6の画面には、右目用の映像と右目用の映像とが交互に表示され、図2に示す視聴者の視点で立体映像を視聴することができる。
なお、本発明は、図2に示す構成の立体表示モニタ6に限定されるものではなく、別の機構で立体視を実現するモニタであってもよい。例えば、専用眼鏡として左右のレンズに互いに異なる偏光板を取り付けた眼鏡を掛けることで立体画像を得る方式であってもかまわない。
図3は、この発明の実施の形態1による3次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。図3において、車載情報システム1は、地図などの画像や映像の表示に関して、図1に示した立体表示システムとして機能するシステムである。また、車載情報システム1は、メインCPU4a、映像再生装置5、立体表示モニタ6、GPS(Global Positioning System)受信機9、車速センサ(移動体状態検出部)10、内部メモリ11、CD/DVDドライブ装置12、HDD13、ラジオ受信機14、DTV受信機15、車内LAN_I/F部16、操作入力部18、アンプ19、スピーカ20を備える。
メインCPU4aは、車載情報システム1内の各構成部を制御するCPUである。このメインCPU4aが、HDD13に記憶されるプログラム13d(車載情報処理用のアプリケーションプログラム)を実行することにより、図1に示した画面合成処理部4としての機能を発揮する。映像再生装置5は、メインCPU4aの画面合成処理部4で合成処理された左右映像データを再生して立体表示モニタ6へ出力する装置である。また、立体表示モニタ6は、映像再生装置5に再生された左右映像データを、視聴者から見て立体的に表示するモニタである。
GPS受信機9は、GPS衛星から自車両の位置情報を受信する受信機であり、車速センサ10は、自車両の車速を計算するための車速パルスを検出するセンサである。内部メモリ11は、メインCPU4aが車載情報処理用のアプリケーションプログラムを実行する際の作業領域となるメモリである。CD/DVDドライブ装置12は、CD又はDVD等の記憶メディア12aに記憶されたAVソースを再生する装置である。なお、記憶メディア12aに記憶されたAVソースに立体表示映像データが含まれる場合、図1(b)で示した立体映像用コンテンツ受信機7として機能し、車載情報システム1は、図1(b)で示した立体表示システム1Bとして機能する。
HDD(ハードディスクドライブ装置)13は、車載情報システム1に搭載された大容量記憶装置であり、地図データベース(以下、地図DBと略す)13a、アイコンデータ13b及びプログラム13dを記憶する。
地図DB13aは、ナビゲーション処理で利用される地図データが登録されたデータベースである。地図データには、地図上のPOI(Point Of Interest)の所在地又はこれに関連する詳細情報が記述されたPOI情報も含まれる。
アイコンデータ13bは、立体表示モニタ6の画面上に表示するアイコンを示すデータである。例えば、ランドマーク等の地物や建物の立体像を示す立体画像アイコンが挙げられる。また、立体画像アイコンには、ナビゲーション処理における、自車位置マークや、目的地マーク、経由地マーク、経路マークを示すアイコンも含まれる。
プログラム13dは、メインCPU4aが実行する車載情報処理用のアプリケーションプログラムである。例えば、画面合成処理部4の機能を実現するプログラムモジュールを含む地図表示用のアプリケーションプログラムがある。
ラジオ受信機14は、ラジオ放送を受信する受信機であり、例えば不図示の選局ボタンの操作に応じて選局がなされる。
DTV受信機15は、デジタルテレビ放送を受信する受信機であり、ラジオ受信機14と同様に、不図示の選局ボタンの操作に応じて選局がなされる。また、DTV受信機15は、受信したデジタルテレビ放送に3次元立体表示映像データが含まれる場合、図1(b)で示した立体映像用コンテンツ受信機7として機能し、車載情報システム1は、図1(b)で示した立体表示システム1Bとして機能する。
車内LAN_I/F部16は、車内LAN(Local Area Network)17とメインCPU4aとの間のインタフェースであり、例えば、車内LAN17に接続している他の機器とメインCPU4aとのデータ通信を中継する。また、図1(c)で示した記憶装置8が車内LAN17に接続しており、この記憶装置8とメインCPU4aの画面合成処理部4との間を中継する構成として車内LAN_I/F部16を捉えた場合、車載情報システム1は、図1(c)で示した立体表示システム1Cとして機能する。
操作入力部18は、使用者が操作入力を行う構成部である。この操作入力部18としては、例えば立体表示モニタ6の画面近辺に設けたキースイッチ(操作スイッチ)やリモコン、立体表示モニタ6の画面上にタッチパネルを設けた場合にはそのタッチスイッチなどが挙げられる。
CD/DVDドライブ装置12、ラジオ受信機14及びDTV受信機15で再生された音声信号やメインCPU4aからの音声信号は、アンプ19で増幅され、スピーカ20を介して音声出力される。メインCPU4aからの音声信号としては、ナビゲーション処理における誘導案内音声などがある。
次に動作について説明する。
実施の形態1による3次元立体表示装置は、平面画像上に立体像を表示するにあたり、自装置を搭載する移動体の状態に応じて、立体視により平面画像上に立体像が浮き出して見える3次元立体表示を行うか、平面表示用の3次元画像を表示する。
例えば、車載用ナビゲーション装置の地図表示において、自車両が停車中(パーキングブレーキあり)であると、平面地図上で建物等の立体像が浮き出して見える3次元立体表示を行い、自車両が走行状態(走行中、停車中(パーキングブレーキなし))になると、平面地図上で建物等の3次元画像を表示する。
なお、この発明で3次元立体表示する対象となるコンテンツとしては、立体表現した、地図情報(立体等高線、Terrain Model(地形))、車載情報の画面、アイコン画像、車外情報、車両情報、車両内機器の制御情報、車両機器の表示情報及び運転者情報等の情報を表示する画面やバルーン表示である。
図4は、実施の形態1による3次元立体表示装置の画面合成処理の流れを示すフローチャートであり、自車両が停車中か否かに応じて、3次元立体表示と、平面画像上で3次元画像を表示する場合とを選択する画面合成処理を示している。
また、図5は、3次元立体表示の画面合成処理を説明するための図である。図6は、図5の画面合成処理におけるデータの流れを示す図である。以降では、図4に沿って画面合成処理の詳細を説明し、図5及び図6を適宜参照する。
先ず、メインCPU4aが、図6に示すように、HDD13に格納される地図DB13aから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データPic_planeを生成する。平面地図データPic_planeは、例えば、図5の左側に記載したような平面地図であるものとする。
また、メインCPU4aは、HDD13に格納されるアイコンデータ13bから、平面地図データPic_planeが示す平面地図上に立体表示させる3次元ランドマークの立体画像アイコンを示すアイコンデータを読み込む。
図5において、運転者の右目の位置を点Or(xr,yr,0)、左目の位置を点Ol(xl,yl,0)、左右の目の間隔をdとする。つまり、|xr−xl|=dである。
平面地図データPic_planeが示す平面地図上の点p2(x,y)に位置する「○○ビル」の高さに応じて、立体視で浮き出す度合いを表す距離をz1とすると、このビルの頂上面は、立体視による見かけ上の立体表示面P1に含まれ、立体表示面P1上の点p2(x,y,Z0−z1)で表される。
平面地図の右目用画像データPic_R(x,y)は、見かけ上の立体表示面P1上の点p2と右目の位置である点Or(xr,yr,0)とを結ぶ直線(ベクトルVr)が、立体表示モニタ6の画面Qと交わる点prの集合で表される。つまり、右目用画像データPic_R(x,y)は、「○○ビル」の立体画像アイコンが位置する点p2を、立体表示モニタ6の画面Qに写像して得られる点prの集合となる。
同様に、平面地図の左目用画像データPic_L(x,y)は、見かけ上の立体表示面P1上の点p2と左目の位置である点Ol(xl,yl,0)を結ぶ直線(ベクトルVl)が、立体表示モニタ6の画面Qと交わる点plの集合で表される。つまり、左目用画像データPic_R(x,y)は、「○○ビル」の立体画像アイコンが位置する点p2を、立体表示モニタ6の画面Qに写像して得られる点plの集合となる。
画面合成処理部4は、上述の平面地図データPic_plane及びアイコンデータを入力する(ステップST1)。
次に、画面合成処理部4は、車速センサ10から入力した車速パルスを基に、自車両が停車中か否かを判定する(ステップST2)。自車両が停車中である場合(ステップST2;YES)、画面合成処理部4は、運転者と立体表示モニタ6の画面Qの位置関係及び運転者の目の間隔を示すパラメータZ0,d、平面地図データPic_plane及びアイコンデータを用いて、見かけ上の地図表示面Pと運転者の目の位置Or,Olとの距離がZ0となり、さらに立体表示面P1と運転者の目の位置Or,Olとの距離が(Z0−z1)となるように点pr,plを計算する。すなわち、画面合成処理部4は、立体視により「○○ビル」の立体画像アイコンが立体表示される右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを生成する。
一方、自車両が走行状態である場合(ステップST2;NO)、画面合成処理部4は、平面地図データPic_plane及びアイコンデータを用いて、平面地図上で「○○ビル」の3次元画像(2次元平面上で3次元的に描画される画像)を表示する右目用画像データPic_R(x,y)及び左目用画像データPic_L(x,y)を生成する(ステップST4)。例えば、平面表示用の「○○ビル」の3次元画像を右目用画像上及び左目用画像上にそれぞれ重畳する。
ステップST3又はステップST4の処理が完了すると、画面合成処理部4は、生成した右目用画像データPic_R(x,y)及び左目用画像データPic_L(x,y)を映像再生装置5へ出力する(ステップST5)。
映像再生装置5は、画面合成処理部4により生成された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを再生して立体表示モニタ6へ出力する。立体表示モニタ6は、映像再生装置5により再生された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを用いて左目用画像及び右目用画像を立体表示する(ステップST6)。
このとき、自車両が停止中であれば、運転者からは、「○○ビル」の立体画像アイコンが、立体視によって平面地図から浮き出すように表示されて見える(z1の高さで知覚される)。一方、自車両が走行中であれば、平面地図上で「○○ビル」の3次元画像が表示される。
また、地図をスクロールした場合や車両の進行に伴って自車位置が移動した場合には、これに伴って連続的に更新される平面地図データに対し、図4に示す処理を繰り返すことで、地図の連続的な画像を得ることができる。
上記の説明では、車速センサ10から入力した車速パルスを基に自車両が停車中か否かを判定したが、停車中の判断は、これに限定されるものではない。例えば、図示はしないが、パーキングブレーキを締め、かつ車速が“0”のときを停車と判断して、3次元立体画像を表示してもよい。また、国や州によってHMI(Human Machine Interface)の安全規定が異なるので、対象となる車両状態を基に、平面画像を表示するか、3次元立体画像を表示するかを切り替えるようにしてもよい。
なお、平面表示用の3次元画像を表現する、右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)が表す各画像は、右目用又は左目用の画像のいずれかに合わせてともに同一であり、立体表示モニタ6で表示を行うと、立体表示モニタ6の画面Qに平面表示用の地図と当該地図上に配置された立体アイコン(例えば、「○○ビル」の3次元画像)が表示される。このように平面表示用の左右画像をともに同一な画像とすることで、画面合成処理部4の画像生成における負荷を軽減することができる。
以上のように、この実施の形態1によれば、自車両の状態を検出する車速センサ10等の移動体状態検出部と、表示対象の画像又は映像の平面表示用又は3次元立体表示用の右目用及び左目用の画像又は映像を生成する画面合成処理部4と、画面合成処理部4で生成された画像又は映像を再生する映像再生装置5と、映像再生装置5で再生された表示対象の画像又は映像を入力して3次元立体表示する立体表示モニタ6とを備え、画面合成処理部4が、移動体状態検出部が検出した自車両の状態に応じて、平面表示用の右目用及び左目用の画像又は映像を映像再生装置5へ出力するか、3次元立体表示用の右目用及び左目用の画像又は映像を映像再生装置5へ出力するかを切り替える。このように、自車両の状態に応じて3次元立体表示か平面画像表示が切り替わるので、安全性を確保し見やすく使い勝手がいい安全な3次元立体表示用の車載情報システム1を提供することができる。
実施の形態2.
実施の形態2では、自装置を搭載する移動体が停止中である場合に、移動体が走行する道路について立体視による地図の3次元立体表示(いわゆるストリートビュー)を行い、移動体が移動状態にある場合には平面表示用の3次元画像を表示する。
実施の形態2による3次元立体表示装置は、画面合成処理部が、自車両が停車中の場合に、自車両が走行する道路を3次元立体表示する立体表示画面を生成するが、その基本的な構成は上記実施の形態1と同様である。従って、以降の説明では、実施の形態2による3次元立体表示装置を車載情報システムに適用し、その構成については、図3を参照することとする。
次に動作について説明する。
実施の形態2では、立体地図の地図表示面上に建物などの立体像を3次元立体表示する3次元立体画像を合成して表示する。
図7は、立体地図の地図表示面Pa上に建物などの立体像を3次元立体表示する画面合成処理を説明するための図である。図8は、図7の画面合成処理におけるデータの流れを示す図である。図7の例では、周囲にビル1、ビル2が存在する道路を3次元立体表示している。
先ず、メインCPU4aが、図8に示すようにHDD13に格納される地図DB13aから地図データを読み込んで、所定の地図描画アルゴリズムに従い、3次元地図データを生成する。3次元地図データは、例えば図7の左側に記載した3次元地図を表している。また、メインCPU4aは、HDD13に格納されるアイコンデータ13bから、3次元地図上に表示するビル等の立体画像アイコンのアイコンデータを読み込む。
図7の例では、3次元地図データが示す3次元地図を、立体表示モニタ6の画面Q上の立体地図表示面Paに表示する。さらに、ビル1及びビル2をそれぞれ示す立体画像アイコンの前面(最も運転者に近い側)が、立体地図表示面Paの手前にあるアイコン立体表示面Pbに含まれるように表示する。
アイコン立体表示面Pbは、立体視によって立体画像アイコンが示す地物の前面が表示されているように見える表示面であり、立体地図表示面Paの手前に平行に設定される。また、アイコン立体表示面Pbは、上述した立体地図表示面Paから手前に浮き出る度合いに応じた距離だけ立体地図表示面Paと離隔している。図7では、運転者から見ると、ビル1が距離z3だけ立体地図表示面Paから浮き出して見える。
3次元地図の右目用画像データPic_R(x,y)は、アイコン立体表示面Pb上の点p2(x,y,Z0−z3)と右目の位置である点Or(xr,yr,0)とを結ぶ直線の延長線(ベクトルVr)が、立体地図表示面Paと交わる点prの集合で表される。
同様に、3次元地図の左目用画像データPic_L(x,y)は、アイコン立体表示面Pb上の点p2(x,y,Z0−z3)と左目の位置である点Ol(xl,yl,0)とを結ぶ直線の延長線(ベクトルVr)が、立体地図表示面Paと交わる点plの集合で表される。
画面合成処理部4は、車速センサ10の検知信号から自車両が停車中であると判定した場合、3次元地図データ、パラメータZ0,d及びアイコンデータを用いて、上記実施の形態1と同様に、3次元地図の立体地図表示面Paと運転者の目の位置との距離がZ0となり、さらにビル1のアイコン立体表示面Pbと運転者の目の位置との距離が(Z0−z3)となるように点pr,plを計算して、右目用画像データPic_R(x,y)及び左目用画像データPic_L(x,y)を生成し映像再生装置5へ出力する。
映像再生装置5は、自車両が停車中であるとき、上述のように画面合成処理部4により生成された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを再生して立体表示モニタ6へ出力する。立体表示モニタ6は、映像再生装置5により再生された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを用いて、3次元地図とビルの立体画像アイコンを立体表示する。このとき、運転者からは、立体視によって、3次元地図上にビル1,2のアイコン画像が浮き出したように見える。
なお、自車が走行中の場合は、上記実施の形態1と同様に、画面合成処理部4は、平面地図データ及びアイコンデータを用いて平面地図上でビル1,2の3次元画像を表示する右目用画像及び左目用画像を生成する。これにより、立体表示モニタ6には、平面地図上でビル1,2の3次元画像が表示される。
また、実施の形態2は立体地形モデルや等高線表示による立体表示に適用してもよい。
図9は、立体地図の地図表示面P上に等高線で表された山等の立体像を3次元立体表示する画面合成処理を説明するための図である。図10は、図9の画面合成処理におけるデータの流れを示す図である。図9では、自車両の停車時に平面地図上に「△△山」を3次元立体表示する。
先ず、メインCPU4aは、図10に示すように、HDD13に格納される地図DB13aから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データPic_planeを生成する。平面地図データPic_planeは、例えば、図9の左側に記載した平面地図を表している。また、メインCPU4aは、HDD13に格納されるアイコンデータ13bから平面地図上に表示する山等のアイコンデータを読み込む。
図9では、平面地図データが示す平面地図を、立体表示モニタ6の画面Q上の地図表示面Pに表示する。さらに「△△山」を示す立体画像アイコンの頂上部(最も運転者に近い側)が、「△△山」の高さに応じた距離hだけ地図表示面Pから離隔したアイコン立体表示面Pbに含まれるように表示する。図9において、運転者から見ると、立体視によって「△△山」が距離hだけ地図表示面Pから浮き出して見える。
平面地図の右目用画像データPic_R(x,y)は、アイコン立体表示面Pb上の点p2(x,y,Z0−h)と右目の位置である点Or(xr,yr,0)とを結ぶ直線の延長線(ベクトルVr)が、地図表示面Pと交わる点prの集合で表される。同様に、平面地図の左目用画像データPic_L(x,y)は、アイコン立体表示面Pb上の点p2(x,y,Z0−h)と左目の位置である点Ol(xl,yl,0)とを結ぶ直線の延長線(ベクトルVr)が、地図表示面Pと交わる点plの集合で表される。
画面合成処理部4は、車速センサ10の検知信号から自車両が停車中であると判定した場合、平面地図データ、パラメータZ0,d,h及びアイコンデータを用いて、上記実施の形態1と同様にして、地図表示面Pと運転者の目の位置との距離がZ0となり、さらに「△△山」のアイコン立体表示面Pbと運転者の目の位置との距離が(Z0−z3)となるように点pr,plを計算して右目用画像データPic_R(x,y)及び左目用画像データPic_L(x,y)を生成し、映像再生装置5へ出力する。
映像再生装置5は、自車両が停車中であるとき、上述のように画面合成処理部4により生成された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを再生して立体表示モニタ6へ出力する。立体表示モニタ6は、映像再生装置5により再生された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを用いて、平面地図と「△△山」の立体画像アイコンとを立体表示する。このとき、運転者からは、立体視によって平面地図上に「△△山」のアイコン画像が浮き出したように見える。
以上のように、この実施の形態2によれば、画面合成処理部4が、移動体状態検出部により自車両が移動中であることが検出された場合に、表示対象の画像又は映像の平面表示用の右目用及び左目用の画像又は映像を生成し、自車両が停止していることが検出された場合は、表示対象の画像又は映像の3次元立体表示用の右目用及び左目用の画像又は映像を生成する。このようにすることで、停車中は、立体視による3次元立体画像で地図を表示し、走行中は、平面画像上に通常の平面地図と立体画像アイコンを表示するので、安全性を確保し、見やすく安全な3次元立体表示用の車載情報システム1を提供することができる。
なお、説明の都合上、上記実施の形態1又は上記実施の形態2において3次元建造物をアイコンとして説明したが、3次元建造物は、3次元データとしてアイコンデータ13b又は地図DB13aに格納されていてもよい。この3次元データは、例えば標準の3次元画像格納データ形式であるOpenGL形式で格納される。
また、3次元立体表示用の画像は、画面合成処理部4が、この3次元データを基に合成してもよい。さらに、自車両が走行中である場合、3次元建造物を平面表示用のOpenGL形式で平面に3次元表示してもよい。
実施の形態3.
実施の形態3では、アイコン等の操作入力用のソフトウェアボタンについて、平面地図の地図表示面と平行な別の見かけ上の表示面に立体表示する場合を述べる。
実施の形態3による3次元立体表示装置は、画面合成処理部が、アイコン等の操作入力用のソフトウェアキーを、見かけ上の地図表示面と平行な別の見かけ上の表示面に立体表示する立体表示画面を生成するが、その基本的な構成は上記実施の形態1と同様である。従って、以降の説明では、実施の形態3による3次元立体表示装置を車載情報システムに適用し、その構成については、図3を参照することとする。
次に動作について説明する。
図11は、アイコンの見かけ上の表示面を平面地図の地図表示面よりも手前にした画面合成処理を説明するための図である。図12は、図11の画面合成処理におけるデータの流れを示す図である。図11の例では、決定ボタン及び戻るボタンの各アイコンを、平面地図の見かけ上の地図表示面Pより手前のアイコン立体表示面Pbに表示する。
先ず、メインCPU4aが、図12に示すように、HDD13に格納される地図DB13aから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データPic_planeを生成する。平面地図データPic_planeは、例えば、図11の左側に記載した平面地図を表している。また、メインCPU4aは、HDD13に格納されるアイコンデータ13bから、平面地図データPic_planeが示す平面地図に表示するアイコンのアイコンデータを読み込む。
図11の例では、操作アイコンである決定ボタン及び戻るボタンを、平面地図の地図表示面Pよりも手前のアイコン立体表示面Pbに表示する。ここで、平面地図の地図表示面Pとアイコン立体表示面Pbの距離をdzとする。すなわち、運転者からは、立体視によって決定ボタンと戻るボタンの各アイコンが平面地図から距離dzだけ浮かんで見える。
平面地図の右目用画像データPic_R(x,y)は、アイコン立体表示面Pb上の点p(x,y,Z0−dz)と右目の位置である点Or(xr,yr,0)とを結ぶ直線の延長線(ベクトルVr)が、平面地図の地図表示面P(立体表示モニタ6の画面Qと同じ)と交わる点prの集合で表現される。同様に、平面地図の左目用画像データPic_L(x,y)は、アイコン立体表示面Pb上の点p(x,y,Z0−dz)と左目の位置である点Ol(xl,yl,0)とを結ぶ直線の延長線(ベクトルVl)が、地図表示面Pと交わる点pl(xl,yl,Z0)の集合で表現される。
画面合成処理部4は、車速センサ10の検知信号から自車両が停車中であると判定した場合、平面地図データPic_plane、パラメータZ0,d,dz及びアイコンデータを用いて、上記実施の形態1と同様にして、地図表示面Pと運転者の目の位置との距離がZ0となり、さらにアイコンの立体表示面Pbと運転者の目の位置との距離が(Z0−dz)となるように点pr,plを計算して右目用画像データPic_R(x,y)及び左目用画像データPic_L(x,y)を生成し、映像再生装置5へ出力する。
映像再生装置5は、画面合成処理部4により生成された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを再生して立体表示モニタ6へ出力する。立体表示モニタ6では、映像再生装置5により再生された右目用画像データPic_R(x,y)と左目用画像データPic_L(x,y)とを用いて、平面地図とアイコンを立体表示する。このとき、運転者からは、立体視によって、アイコン画像が、平面地図データPic_planeが示す平面地図上に浮かんだように見える。
また、ユーザ操作で選択されたアイコンを、平面地図の地図表示面Pと他のアイコンの立体表示におけるアイコン立体表示面Pbとの距離dzよりも長くし、さらに色を変えて表現してもよい。反対に、ユーザ操作で選択されたアイコン以外の距離dzを、当該選択されたアイコンよりも短くしてもよい。
以上のように、この実施の形態3によれば、自車両の状態を検出する車速センサ10等の移動体状態検出部と、表示対象の画像又は映像の平面表示用又は3次元立体表示用の右目用及び左目用の画像又は映像を生成する画面合成処理部4と、画面合成処理部4で生成された画像又は映像を再生する映像再生装置5と、映像再生装置5で再生された表示対象の画像又は映像を入力して3次元立体表示する立体表示モニタ6とを備え、画面合成処理部4が、移動体状態検出部が検出した自車両の状態に応じて、表示対象の画像又は映像を3次元立体表示する見かけ上の表示面の位置を変更した3次元立体表示用の右目用及び左目用の画像又は映像を生成する。特に、移動体状態検出部が検出した自車両の速度に応じて、自車両が停止中であると、ベースとなる平面地図の地図表示面Pよりも手前(運転者側)に立体画像アイコンを表示する表示面Pbを設定することで、見やすく安全な3次元立体表示用の車載情報システム1を提供することができる。
実施の形態4.
上記実施の形態1〜3では、画面合成処理をメインCPU4aによるソフトウェア処理で実現する場合を示したが、この実施の形態4は、画面合成処理をハードウェアロジックで高速に実施する構成について述べる。
図13は、この発明の実施の形態4による3次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。図13において、車載情報システム1aは、画面合成処理をハードウェアロジックで高速に実施する立体画像生成処理コア40を、メインCPU4aと同一のLSI上に構成している点で、上記実施の形態1に示した図3の構成と異なる。なお、同一のLSI上ではなく、画面合成処理を行うハードウェアロジック分を専用LSIとし、当該専用LSIを、立体画像生成処理コア40としてメインCPU4aに接続して構成してもかまわない。
図14は、立体画像生成処理コアの構成を示すブロック図である。図14において、立体画像生成処理コア40は、立体視画像計算回路41、平面画像メモリプレーン42、3次元立体画像データプレーン43、右目用画像メモリプレーン44a及び左目用画像メモリプレーン44bを備える。平面画像メモリプレーン42は、表示内容となる平面画像を示す平面画像データを入力して格納するメモリプレーンである。ここでは、HDD13の地図DB13aから平面地図データを入力する。
3次元立体画像データプレーン43は、表示内容となる立体画像を示す立体画像データを入力して格納するメモリプレーンである。例えば、HDD13のアイコンデータ13bから、アイコンの立体画像データを入力する。
立体視画像計算回路41は、平面画像メモリプレーン42から平面地図データ、3次元立体画像データプレーン43から立体画像データ、内部メモリ11等からパラメータZ0,d,dzを入力し、これらを用いて、上記実施の形態1〜3と同様な画面合成処理を実行する回路である。
右目用画像メモリプレーン44aは、立体視画像計算回路41の画面合成処理の結果として得られた右目用画像データを入力して格納するメモリプレーンである。また、左目用画像メモリプレーン44bは、立体視画像計算回路41の画面合成処理の結果として得られた左目用画像データを入力して格納するメモリプレーンである。右目用画像メモリプレーン44a及び左目用画像メモリプレーン44bは、所定のタイミングで右目用画像データ及び左目用画像データを映像再生装置5へ出力する。
また、立体視画像計算回路41は、車両情報として自車両の速度情報に応じて、3次元立体表示か、平面表示用の3次元画像かを選択する。自車両が停車中であれば、地図上に地物等が浮き出して見える3次元立体表示を選択し、走行中であれば、平面地図上で地物等が立体的に記載された平面表示用の3次元画像を選択する。
なお、平面画像メモリプレーン42に格納する平面画像データには、例えば、OpenVRのような2次元描画ライブラリでの表現を用いてもよい。また、3次元立体画像データプレーン43に格納する立体画像データには、例えば、OpenGLのような3次元描画ライブラリでの表現を用いてもよい。これらのライブラリでの表現は、標準的なI/Fであることから、立体画像生成処理コア40の利便性を向上させることができる。
以上のように、この実施の形態4によれば、画面合成処理をハードウェアロジックを実施する専用LSIである立体画像生成処理コア40を設けたので、画像合成処理を高速に実行することができる。
なお、上記実施の形態1〜4では、自車両の走行中には、3次元立体画像表示をしないように制御したが、操作入力用のアイコン又は方位アイコン等の特定のアイコンについては、走行中でも3次元立体表示してもよい。
例えば、走行中の操作が許容される機能が実行されるアイコンについてのみを3次元立体表示する。つまり、画面合成処理部4が、アイコン画像に対して操作がなされると、当該アイコン画像に対応する機能が実行される場合、自車両の走行中に実行が許可された機能に対応するアイコン画像のみの3次元立体表示用の右目用及び左目用の画像を生成し、立体表示モニタ6が、映像再生装置5により再生された当該アイコン画像の3次元立体表示用の右目用及び左目用の画像を3次元立体表示する。
この場合、アイコンの高さ(アイコンが立体視で浮き出す度合い)は一定にした方が見やすい。
実施の形態5.
この実施の形態5は、自車両の後方を撮影して、右目用画像と左目用画像をバックモニタ画像として得る左右2つのバックカメラを備えており、自車両を後進させると自動的にバックモニタ画像を3次元立体表示する。
図15は、この発明の実施の形態5による3次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。図15において、車載情報システム1は、上記実施の形態1で説明した図3の構成に加えて、左目用カメラ2a、右目用カメラ2b及びカメラ信号入力装置2cを備え、地図などの画像や映像の表示に関して、図1に示した立体表示システム1Aとして機能するシステムである。この車載情報システム1は、上記実施の形態1で示したシステムとほぼ同様に動作するが、自車両を後進させると自動的にバックモニタ画像を3次元立体表示する点で異なる。
例えば、画面合成処理部4は、自車両の後進が検出されると、カメラ信号入力装置2cに指示して左目用カメラ2a及び右目用カメラ2bで撮影した自車両の後方の右目用画像と左目用画像を取得する。なお、自車両の後進の検出は、例えばシフトレバーの変速位置を認識するセンサを設けたり、自車両の後方を照光するバックランプの点灯を検知する回路を設ける方法が挙げられる。すなわち、これらのセンサが、車内LAN_I/F部16を介して検知結果を画面合成処理部4へ通知することにより、移動体状態検出部として機能する。
次に、画面合成処理部4は、カメラ信号入力装置2cから取得された自車両の後方の右目用画像データ及び左目用画像データに対して3次元立体画像の合成処理を施し、バックモニタ画像として映像再生装置5へ出力する。例えば、自車両とその後方に存在する障害物との距離を示す文字情報については、平面的に表示されるように3次元立体画像の合成処理を行う。映像再生装置5は、画面合成処理部4から入力されたバックモニタ画像を再生して立体表示モニタ6へ出力する。立体表示モニタ6は、映像再生装置5により再生された自車両の後方の右目用画像データと左目用画像データを用いて、自車両後方の撮像画像を3次元立体表示する。
上述のように画面合成処理部4が3次元立体画像の合成処理を行うことにより、自車両とその後方に存在する障害物との距離を示す文字情報については、立体表示モニタ6の画面上で平面的に表示される。このようにすることで、現実の映像と文字情報が明確に分離して表現され、使い勝手のよい駐車支援システムを実現できる。
なお、自車両と障害物との距離は、自車両の後方の障害物を検知するバックセンサ(不図示)を用いたり、カメラ2a,2bで撮影された映像を画像認識することで得ることができる。
また、駐車支援のために使用する、自車両が動くべき方向を軌跡で表したガイドラインを3次元立体表示してもよい。すなわち、画面合成処理部4が、自車両が後進していることが検出されると、カメラ信号入力装置2cから取得された画像上に3次元立体線のガイドラインを重畳する。立体表示モニタ6は、映像再生装置5により再生された当該ガイドラインを重畳した3次元立体画像を、3次元立体表示する。
以上のように、この実施の形態5によれば、自車両の後方を撮影して撮影対象の3次元立体画像を取得する、カメラ2a,2b及びカメラ信号入力装置2cから構成されるバックカメラ部を備え、画面合成処理部4が、自車両が後進していることが検出された場合、バックカメラ部で得られた3次元立体画像を映像再生装置5へ出力し、立体表示モニタ6が、映像再生装置5で再生された3次元立体画像を入力して3次元立体表示する。このように構成することで、後進時に自車両の後方画像が見やすくなり、使い勝手のよい駐車支援を実現することができる。
また、この実施の形態5によれば、画面合成処理部4が、自車両が後進していることが検出されると、後進する自車両の移動方向を示すガイドラインを3次元立体線としてバックカメラ部で得られた3次元立体画像上に重畳し、立体表示モニタ6が、映像再生装置5で再生されたガイドラインを重畳した3次元立体画像を入力して3次元立体表示する。このようにすることで、後進時に自車両の後方画像及びガイドラインが見やすくなり、使い勝手のよい駐車支援を実現することができる。
また、上記実施の形態1〜5において、3次元立体表示したアイコンが操作されたこと示すため、操作入力用のアイコンを多段階に表示してもよい。例えば、ソフトウェアボタンのアイコンの場合において、平面地図の地図表示面Pとアイコン立体表示面Pbの距離dzを、押下される度に短くする。このようにすることで、3次元立体表示したアイコンが操作されたことを視認しやすくなる。
さらに、上記実施の形態1では、自車両が走行中か停車中かに応じて3次元立体表示の可否を判定したが、自車両の車速(自装置を保持する移動体の移動速度)に応じて、3次元立体表示する画像が画面の手前に浮き出る度合いを変更してもよい。
すなわち、画面合成処理部4が、自車両の車速に応じて、表示対象の画像又は映像を3次元立体表示する見かけ上の表示面の位置を変更した3次元立体表示用の右目用及び左目用の画像又は映像を生成し、立体表示モニタ6が、当該3次元立体表示用の右目用及び左目用の画像又は映像を3次元立体表示する。
例えば、図5において、「○○ビル」の高さに応じて、立体視で浮き出す度合いを表す距離をz1としたが、自車両の走行中には、当該距離z1を予め定めた値D1で除算してもよい。また、地図上に立体表示したアイコンのうち、立体視によって視聴者側に最も浮き出して見えるアイコン(例えば最も高い地物のアイコン)の浮き出す度合いを示す距離を予め定めた値D2になるようにしてもよい。
さらに、自車両の走行速度が所定の閾値より大きい場合には、立体視によって浮き出す度合いが低くなるように、上記値D1,D2を変更してもよい。
この他、自車両の走行中に3次元立体表示する地図上のアイコンやランドマークの立体視によって浮き出す度合いを示す距離を、ユーザが自由に設定できるようにしてもかまわない。
また、上記実施の形態1では、自車両が走行中である場合と停車中の場合とに応じて、3次元立体画像表示か平面表示かを切り替えたが、ユーザの好みに応じて、天候やイルミネーション信号から昼夜を判断して、3次元立体画像の切り替えやアイコンの浮き出す度合いを変更してもよい。例えば、車外を撮影するカメラを自車両に設け、さらに当該カメラの撮像画像から車外の天候やイルミネーション信号を画像認識して昼夜を判定する画像認識判定部をメインCPU4aに設けて、当該カメラ及び画像認識判定部から自車両の周囲環境の状態を検出する検出部(移動体状態検出部)を構成する。画面合成処理部4は、この検出部の検出結果に応じて3次元立体画像の切り替えやアイコンの浮き出す度合いを変更する。
また、上記実施の形態1〜5では、平面地図を立体表示する場合を示したが、車載情報システムに一般的に表示するものならば、AVシステムのメニュー画面や車両情報、安全情報等の表示に適用してもかまわない。例えば、エアコンの制御用のアイコン、ダッシュボードのメータパネル、車両の燃費、予防安全情報、VICS(登録商標)情報等の表示に利用してもよい。
さらに、上記実施の形態1〜5では、裸眼で立体視する立体表示を示したが、偏光眼鏡を用いて立体画像を得る立体表示方式でもかまわない。
さらに、上記実施の形態1〜5では、この発明に係る3次元立体表示装置を車載情報システムに適用した場合を示したが、上述したような立体表示モニタを有する全ての表示装置に適用することが可能である。例えば、車載用のナビゲーション装置のみならず、RSE(Rear Seat Entertainment)の表示装置、テレビ受像機、携帯電話端末又は携帯情報端末(PDA;Personal Digital Assistance)の表示装置に適用できる。
また、車両、鉄道、船舶又は航空機等の移動体内に、人が携帯して持ち込んで使用するPND(Portable Navigation Device)等の表示装置に適用してもかまわない。
この場合、PNDや携帯電話端末に内蔵される加速度センサの検知情報を用いて、上記移動体が移動しているか否かを判定する。本発明の3次元立体表示装置を携帯電話端末に適用した場合には、これを携帯するユーザが歩行中であるか否かに応じて3次元立体表示を変更する。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

Claims (17)

  1. 移動体に搭載又は保持される3次元立体視表示装置であって、
    前記移動体の状態を検出する移動体状態検出部と、
    見かけ上の地図表示面とは平行な別の見かけ上の表示面に、立体視を行うデータに立体画像アイコンであることが示されたアイコンの3次元立体視表示用の右目用及び左目用の画像を生成する画面合成処理部と、
    前記画面合成処理部で生成された前記画像を再生する再生処理部と、
    前記再生処理部で再生された前記画像を入力して3次元立体視表示する立体視表示モニタ部とを備え、
    前記画面合成処理部は、前記移動体状態検出部が検出した前記移動体の速度に応じて、前記アイコンの見かけ上の表示面の高さを変更した3次元立体視表示用の右目用及び左目用の画像を生成して前記再生処理部へ出力する3次元立体視表示装置。
  2. 前記アイコンは、操作アイコンであることを特徴とする請求項1記載の3次元立体視表示装置。
  3. 前記画面合成処理部は、前記移動体状態検出部が検出した前記移動体の速度が閾値より大きい場合には、立体視によって浮き出す度合いが低くなるように前記アイコンの高さが低く変更された3次元立体視表示用の右目用及び左目用の画像を生成することを特徴とする請求項2記載の3次元立体視表示装置。
  4. 前記画面合成処理部は、前記アイコンの最も高い部分の立体視によって浮き出す高さが予め決められた設定値となり、前記アイコンの他の部分の立体視によって浮き出す高さが前記アイコンの最も高い部分に対する高さに応じて決められることを特徴とする請求項1記載の3次元立体視表示装置。
  5. 前記移動体状態検出部は、前記移動体の周囲環境の昼夜の状態を検出し、
    前記画面合成処理部は、前記移動体状態検出部が検出した前記移動体の周囲環境の昼夜の状態に応じて、前記アイコンの高さを変更した3次元立体視表示用の右目用及び左目用の画像生成することを特徴とする請求項1記載の3次元立体視表示装置。
  6. 前記画面合成処理部は、前記移動体が停止していることが検出された場合に、前記アイコンの3次元立体視表示用の右目用及び左目用の画像を生成し、前記移動体が移動中であることが検出された場合には、前記アイコンの平面地図上での3次元画像表示用の右目用及び左目用の画像を生成することを特徴とする請求項1記載の3次元立体視表示装置。
  7. 前記画面合成処理部は、前記操作アイコンの3次元立体視表示用の右目用及び左目用の画像を生成するにあたり、前記操作アイコンを3次元立体視表示する見かけ上の表示面の高さを、前記操作アイコンが表示画面より手前に表示される高さとすることを特徴とする請求項記載の3次元立体視表示装置。
  8. 前記画面合成処理部は、複数の操作アイコンの3次元立体視表示用の右目用及び左目用の画像を生成するにあたり、前記複数の操作アイコンをそれぞれ3次元立体視表示する見かけ上の表示面を同一にすることを特徴とする請求項または請求項記載の3次元立体視表示装置。
  9. 前記画面合成処理部は、前記操作アイコンの3次元立体視表示用の右目用及び左目用の画像を生成するにあたり、ユーザによる前記操作アイコンの操作に応じて、前記操作アイコンを3次元立体視表示する見かけ上の高さを低くすることを特徴とする請求項記載の3次元立体視表示装置。
  10. 前記画面合成処理部は、前記移動体の移動中に実行が許可された機能に対応する前記操作アイコンのみの3次元立体視表示用の右目用及び左目用の画像を生成することを特徴とする請求項記載の3次元立体視表示装置。
  11. タッチパネルを備え、
    前記画面合成処理部は、前記タッチパネルのタッチ操作に従って、前記アイコンが押下される度に、前記アイコンの見かけ上の表示面と見かけ上の地図表示面との距離を短くする3次元立体視表示用の右目用及び左目用の画像を前記再生処理部へ出力することを特徴とする請求項1から請求項10のうちのいずれか1項記載の3次元立体視表示装置。
  12. 移動体に搭載又は保持される3次元立体視表示制御装置であって、
    前記移動体の状態を検出する移動体状態検出部と、
    見かけ上の地図表示面とは平行な別の見かけ上の表示面に、立体視を行うデータに立体画像アイコンであることが示されたアイコンの3次元立体視表示用の右目用及び左目用の画像を生成する画面合成処理部と、
    前記画面合成処理部で生成された前記画像を再生する再生処理部と、
    前記再生処理部で再生された前記画像を入力して3次元立体視表示する立体視表示モニタ部に映像出力する映像出力部とを備え、
    前記画面合成処理部は、前記移動体状態検出部が検出した前記移動体の速度に応じて、前記アイコンの見かけ上の表示面の高さを変更した3次元立体視表示用の右目用及び左目用の画像を生成して前記再生処理部へ出力する3次元立体視表示制御装置。
  13. 前記画面合成処理部は、前記移動体が停止していることが検出された場合に、前記アイコンの3次元立体視表示用の右目用及び左目用の画像を生成し、前記移動体が移動中であることが検出された場合には、前記アイコンの平面地図上での3次元画像表示用の右目用及び左目用の画像を生成することを特徴とする請求項12記載の3次元立体視表示制御装置。
  14. 前記立体視表示モニタ部にはタッチパネルが備えられ、
    前記画面合成処理部は、前記タッチパネルからのタッチ操作に関する信号を受信し、前記アイコンの見かけ上の表示面の高さを変更した3次元立体視表示用の右目用及び左目用の画像を前記再生処理部へ出力することを特徴とする請求項12または請求項13記載の3次元立体視表示制御装置。
  15. 移動体の状態を検出する移動体状態検出部と、
    アイコンを再生する再生処理部と、
    前記再生処理部で再生された前記アイコンを入力して3次元立体視表示する立体視表示モニタ部とに接続され、
    見かけ上の地図表示面とは平行な別の見かけ上の表示面に、立体視を行うデータに立体画像アイコンであることが示されたアイコンの3次元立体視表示用の右目用及び左目用の画像を生成する画面合成処理部を備えたLSI回路であって、
    前記画面合成処理部は、前記移動体状態検出部が検出した前記移動体の速度に応じて、前記アイコンの見かけ上の表示面の高さを変更した3次元立体視表示用の右目用及び左目用の画像を生成して前記再生処理部へ出力するLSI回路。
  16. 前記画面合成処理部は、前記移動体が停止していることが検出された場合に、前記アイコンの3次元立体視表示用の右目用及び左目用の画像を生成し、前記移動体が移動中であることが検出された場合には、前記アイコンの平面地図上での3次元画像表示用の右目用及び左目用の画像を生成することを特徴とする請求項15記載のLSI回路。
  17. タッチパネルと接続され、
    前記画面合成処理部は、前記タッチパネルのタッチ操作に従って、前記アイコンの見かけ上の表示面の高さを変更した3次元立体視表示用の右目用及び左目用の画像を前記再生処理部へ出力することを特徴とする請求項15または請求項16記載のLSI回路。
JP2012539476A 2010-10-19 2010-10-19 3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路 Active JP5726201B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/006186 WO2012053029A1 (ja) 2010-10-19 2010-10-19 3次元立体表示装置

Publications (2)

Publication Number Publication Date
JPWO2012053029A1 JPWO2012053029A1 (ja) 2014-02-24
JP5726201B2 true JP5726201B2 (ja) 2015-05-27

Family

ID=45974770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012539476A Active JP5726201B2 (ja) 2010-10-19 2010-10-19 3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路

Country Status (4)

Country Link
US (1) US9179140B2 (ja)
JP (1) JP5726201B2 (ja)
DE (1) DE112010005944T5 (ja)
WO (1) WO2012053029A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
WO2012127824A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 眼鏡、立体視映像処理装置、システム
JP5769503B2 (ja) * 2011-06-02 2015-08-26 アルパイン株式会社 画像表示装置およびプログラム
KR101985674B1 (ko) * 2012-09-18 2019-06-04 삼성전자 주식회사 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
JP6318470B2 (ja) * 2013-05-15 2018-05-09 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9437047B2 (en) 2014-01-15 2016-09-06 Htc Corporation Method, electronic apparatus, and computer-readable medium for retrieving map
WO2017042923A1 (ja) * 2015-09-10 2017-03-16 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
WO2017180885A1 (en) * 2016-04-14 2017-10-19 Gentex Corporation Vehicle display system providing depth information
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6996511B2 (ja) * 2016-10-06 2022-01-17 ソニーグループ株式会社 再生装置および再生方法、並びにプログラム
JP6888499B2 (ja) * 2017-09-22 2021-06-16 トヨタ自動車株式会社 車両内コミュニケーション装置
TWI782384B (zh) * 2021-01-06 2022-11-01 幻景啟動股份有限公司 浮空影像系統
CN114882813A (zh) * 2021-01-19 2022-08-09 幻景启动股份有限公司 浮空图像系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6257392A (ja) * 1985-09-05 1987-03-13 Clarion Co Ltd 立体バツクアイカメラ
JPH04255891A (ja) * 1991-02-08 1992-09-10 Omron Corp 車両用ディスプレイ装置
JPH05147456A (ja) * 1991-11-27 1993-06-15 Nippon Seiki Co Ltd 車両用表示装置
JPH07105484A (ja) * 1993-10-04 1995-04-21 Honda Motor Co Ltd 車両用情報表示装置
JPH08124096A (ja) * 1994-10-25 1996-05-17 Honda Motor Co Ltd 車両用現在位置表示装置
JPH1144545A (ja) * 1997-07-29 1999-02-16 Hitachi Ltd 3次元景観図表示ナビゲーション装置
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ
WO2004099718A1 (ja) * 2003-05-07 2004-11-18 Seijiro Tomita カーナビゲーションシステムにおける画像の表示方法及び装置
WO2007069573A1 (ja) * 2005-12-16 2007-06-21 Matsushita Electric Industrial Co., Ltd. 移動体用入力装置、及び方法
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2008538037A (ja) * 2005-04-14 2008-10-02 フオルクスヴアーゲン アクチエンゲゼルシヤフト 交通手段における情報表示方法及び自動車用コンビネーションインストルメント
JP2008230560A (ja) * 2007-03-23 2008-10-02 Pioneer Electronic Corp 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883739A (en) 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
US5826212A (en) 1994-10-25 1998-10-20 Honda Giken Kogyo Kabushiki Kaisha Current-position map and three dimensional guiding objects displaying device for vehicle
JP2003280812A (ja) 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2004280496A (ja) 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
JP2005175566A (ja) 2003-12-08 2005-06-30 Shinichi Hirabayashi 立体表示システム
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6257392A (ja) * 1985-09-05 1987-03-13 Clarion Co Ltd 立体バツクアイカメラ
JPH04255891A (ja) * 1991-02-08 1992-09-10 Omron Corp 車両用ディスプレイ装置
JPH05147456A (ja) * 1991-11-27 1993-06-15 Nippon Seiki Co Ltd 車両用表示装置
JPH07105484A (ja) * 1993-10-04 1995-04-21 Honda Motor Co Ltd 車両用情報表示装置
JPH08124096A (ja) * 1994-10-25 1996-05-17 Honda Motor Co Ltd 車両用現在位置表示装置
JPH1144545A (ja) * 1997-07-29 1999-02-16 Hitachi Ltd 3次元景観図表示ナビゲーション装置
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ
WO2004099718A1 (ja) * 2003-05-07 2004-11-18 Seijiro Tomita カーナビゲーションシステムにおける画像の表示方法及び装置
JP2008538037A (ja) * 2005-04-14 2008-10-02 フオルクスヴアーゲン アクチエンゲゼルシヤフト 交通手段における情報表示方法及び自動車用コンビネーションインストルメント
WO2007069573A1 (ja) * 2005-12-16 2007-06-21 Matsushita Electric Industrial Co., Ltd. 移動体用入力装置、及び方法
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2008230560A (ja) * 2007-03-23 2008-10-02 Pioneer Electronic Corp 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム

Also Published As

Publication number Publication date
US20130076876A1 (en) 2013-03-28
DE112010005944T5 (de) 2013-08-14
JPWO2012053029A1 (ja) 2014-02-24
US9179140B2 (en) 2015-11-03
WO2012053029A1 (ja) 2012-04-26

Similar Documents

Publication Publication Date Title
JP5726201B2 (ja) 3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路
JP5709886B2 (ja) 3次元立体表示装置および3次元立体表示信号生成装置
WO2012053033A1 (ja) 3次元立体表示装置
KR102566377B1 (ko) 운전자 보조 시스템 및 방법
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
JP5182042B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
EP2672459B1 (en) Apparatus and method for providing augmented reality information using three dimension map
JPH11108684A (ja) カーナビゲーションシステム
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
JP2011004201A (ja) 周辺表示装置
TW200949205A (en) Generating a display image
JP6121131B2 (ja) 多重表示装置
JP2010175329A (ja) 車載情報装置
JPWO2007142084A1 (ja) ナビゲーション装置
JP5465334B2 (ja) 3次元立体表示装置
JPWO2006046715A1 (ja) エンタテインメントシステム
WO2016072019A1 (ja) 表示制御装置
JP6611918B2 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
JP5677168B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
TWI453373B (zh) A method and preview system for previewing video files
JP2012151800A (ja) 撮影装置およびネットワークシステム
JP5955373B2 (ja) 3次元立体表示装置および3次元立体表示信号生成装置
JP2007323001A (ja) 画像表示装置
JP2004328216A (ja) 車載立体ディスプレイシステム
KR20160082060A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량 통신 시스템

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140328

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140404

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150331

R150 Certificate of patent or registration of utility model

Ref document number: 5726201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250