JPWO2012033095A1 - Vehicle system - Google Patents
Vehicle systemInfo
- Publication number
- JPWO2012033095A1 JPWO2012033095A1 JP2012532984A JP2012532984A JPWO2012033095A1 JP WO2012033095 A1 JPWO2012033095 A1 JP WO2012033095A1 JP 2012532984 A JP2012532984 A JP 2012532984A JP 2012532984 A JP2012532984 A JP 2012532984A JP WO2012033095 A1 JPWO2012033095 A1 JP WO2012033095A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- virtual image
- virtual
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 239000002131 composite material Substances 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 5
- 239000003550 marker Substances 0.000 description 29
- 238000012545 processing Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000005441 aurora Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
実際に建物等を設置しなくても、車両から見渡せる風景として、建物等を設置した風景を搭乗者に見せることができ、しかもその搭乗者が見える風景を容易に替えることが可能な車両システムを提供する。本発明の車両システムは、車両から風景を撮影してこれにより実画像を生成する撮像装置と、車両内に配置された表示装置と、前記実画像の所定の位置に、当該位置に対応した仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を各表示装置に表示させる制御装置とを備えた。A vehicle system that can show the scenery of the building, etc., to the passenger as a scenery that can be seen from the vehicle without actually installing a building, etc., and can easily change the scenery that the passenger can see. provide. The vehicle system of the present invention includes an imaging device that captures a landscape from a vehicle and generates a real image thereby, a display device disposed in the vehicle, and a virtual position corresponding to the position at a predetermined position of the real image. And a control device that generates a composite image by superimposing the images and displays the composite image on each display device.
Description
本発明は、車両システムに関し、詳しくは車両用の画像処理システムに関するものである。 The present invention relates to a vehicle system, and more particularly to an image processing system for a vehicle.
従来、旧跡や遺跡やテーマパーク等の広大な敷地内を移動するため、車両が用いられる。この車両としては、例えば、多数の乗客を一度に運ぶことが可能なバスや乗用自動車、単独での移動が可能な自転車などが挙げられる。搭乗者は、旧跡やテーマパーク等を移動するに当たり、周囲の景色を見渡しながら移動することで、その土地の風土やあるいは景観を感じ、普段の生活環境とは異なる情景を楽しむことができる。 Conventionally, a vehicle is used to move in a vast site such as an old site, a ruin or a theme park. Examples of the vehicle include a bus that can carry a large number of passengers at the same time, a passenger car, and a bicycle that can be moved alone. The passenger can feel the climate and / or landscape of the local area and enjoy a different scene from the usual living environment by moving while looking around the surrounding scenery when moving around the historic site or theme park.
ところが、例えば旧跡を車両で巡回したとしても、あくまで歴史上の建物の跡地であり、単なる敷地に過ぎない場所も存在するため、人によっては退屈に感じることもあった。一方、その場にレプリカにて復元しようとすれば、費用がかかるばかりかその土地の環境や旧跡の破壊を招くことも考えられ、また一旦建設した場合には、変更が容易ではなく、その上、補修を繰り返して保存することも必要となる。 However, for example, even if the old site is visited by a vehicle, it is only a site of historical buildings, and there are places that are merely sites, so some people may feel bored. On the other hand, if you try to restore it with a replica on the spot, it is not only expensive, but it can also lead to the destruction of the local environment and historic sites, and once constructed, it is not easy to change. It is also necessary to repeat the repair and save.
ところで近年、現実空間と仮想空間とを実時間で融合する複合現実感[Mixed Reality;拡張現実感(Augmented Reality)や拡張仮想感(AugmentedVirtuality)も含む]を提示する装置の研究が盛んに行なわれている[例えば、特開2008−293209号公報(以下、特許文献1という),特開2008−275391号公報(以下、特許文献2という)参照]。この複合現実感を提示する装置は、例えば、カメラ等の撮像装置によって現実空間を撮像すると共に、この撮像装置によって撮られた画像(実画像)に仮想画像を重ね合わせて合成画像を生成し、その合成画像を出力するものであり、この合成画像を見たユーザーに実画像と仮想画像とを融合させた複合現実感を与えることができる。特許文献1,2の装置は、ヘッドマウントディスプレイ(HMD;head mount display)に撮像装置が取り付けられており、この撮像装置で撮られた実画像に、リアルタイムで仮想画像を重畳して合成画像を生成し、この合成画像をこのヘッドマウントディスプレイに映し出すよう構成されている。そのため、ユーザーは、ヘッドマウントディスプレイを装着したまま周囲を見渡すと、その視線の先にある風景の実画像に仮想画像が重畳的に表示されて、あたかも現実空間にその仮想画像が存在しているかのように感じさせることができる。 By the way, in recent years, research on devices that present a mixed reality [Mixed Reality; including Augmented Reality and Augmented Virtuality] that fuses real space and virtual space in real time has been actively conducted. [See, for example, JP 2008-293209 A (hereinafter referred to as Patent Document 1), JP 2008-275391 A (hereinafter referred to as Patent Document 2)]. The device that presents the mixed reality senses, for example, a real space by an imaging device such as a camera, and generates a composite image by superimposing a virtual image on an image (real image) taken by the imaging device, The composite image is output, and it is possible to give a user who sees the composite image a mixed reality that fuses the real image and the virtual image. In the devices of Patent Documents 1 and 2, an imaging device is attached to a head mounted display (HMD), and a virtual image is superimposed on a real image taken by the imaging device in real time to display a composite image. The composite image is generated and displayed on the head mounted display. Therefore, when the user looks around with the head-mounted display attached, the virtual image is superimposed on the actual image of the landscape ahead of the line of sight, and the virtual image exists as if in the real space. You can make it feel like.
しかしながら従来は、この複合現実感を提示する装置を使用しても、ユーザーはその場から周囲の景色を見渡すことができる範囲でしか複合現実感を味わうことができなかった。 However, conventionally, even when using the device that presents the mixed reality, the user can only experience the mixed reality as long as the surrounding scenery can be seen from the spot.
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、実際に建物等を設置しなくても、車両から見渡せる風景として、建物等を設置した風景を搭乗者に見せることができ、しかもその搭乗者が見える風景を容易に替えることが可能な車両システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to show a passenger a landscape with buildings and the like as a landscape that can be seen from a vehicle without actually installing the buildings and the like. Another object of the present invention is to provide a vehicle system that can easily change the scenery that the passenger can see.
本発明の車両システムは、車両から風景を撮影してこれにより実画像を生成する撮像装置と、車両内に配置された表示装置と、前記実画像の所定の位置に、当該位置に対応した仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を各表示装置に表示させる制御装置とを備えたことを特徴としている。 The vehicle system of the present invention includes an imaging device that captures a landscape from a vehicle and generates a real image thereby, a display device disposed in the vehicle, and a virtual position corresponding to the position at a predetermined position of the real image. And a control device that generates a composite image by superimposing the images and displays the composite image on each display device.
このような構成によれば、実画像に仮想画像を重ね合わせた合成画像を搭乗者に見せることができるため、現実の風景に建物等を設置しなくても、車両から見渡せる風景として、建物等を設置した風景を搭乗者に見せることができる。また、仮想画像のコンテンツを変更するだけで、容易に、搭乗者に見せることができる画像を変更することができる。 According to such a configuration, since a composite image obtained by superimposing a virtual image on a real image can be shown to a passenger, a building or the like can be viewed as a landscape that can be seen from a vehicle without installing a building or the like in a real landscape. You can show the passenger the scenery where Moreover, the image which can be easily shown to a passenger can be changed only by changing the content of the virtual image.
また本発明の車両システムは、制御装置が車両に搭載されたものであることが好ましい。 In the vehicle system of the present invention, the control device is preferably mounted on the vehicle.
また本発明の車両システムは、前記制御装置が、前記仮想画像を記憶する記憶部と、前記実画像の所定の位置に、当該位置に対応した前記仮想画像を重ね合わせ、これにより合成画像を生成する画像合成手段と、前記合成画像を前記表示装置に表示させる表示手段とを備えていることが好ましい。 In the vehicle system of the present invention, the control device superimposes the virtual image corresponding to the position on a predetermined position of the real image and a storage unit that stores the virtual image, thereby generating a composite image. It is preferable to include an image composition unit that performs the display and a display unit that displays the composite image on the display device.
また本発明の車両システムは、GPS衛星からのGPS信号を受信するため前記車両に設けられたGPS受信機をさらに備え、前記記憶部は、絶対座標系内の特定の位置と関連付けられた前記仮想画像を複数記憶しており、前記画像合成手段は、前記実画像内の特定の箇所に絶対座標系の位置情報を対応付ける座標割り当て手段と、絶対座標系の位置情報を基準にして前記実画像と前記仮想画像とを重ね合わせる位置合わせ手段とを有していることが好ましい。 The vehicle system of the present invention further includes a GPS receiver provided in the vehicle for receiving a GPS signal from a GPS satellite, and the storage unit is the virtual unit associated with a specific position in an absolute coordinate system. A plurality of images are stored, the image synthesizing means, coordinate allocation means for associating position information of the absolute coordinate system with a specific location in the actual image, and the actual image based on the position information of the absolute coordinate system. It is preferable to have alignment means for superimposing the virtual image.
また本発明の車両システムは、搭乗者の向く方向を検知する方向検知手段をさらに備え、前記表示装置が、複数の頭部装着型表示装置であり、前記撮像装置が全方位カメラであり、前記表示手段は、前記合成画像のうち前記方向検知手段により検知された搭乗者の向く方向に対応する領域を抽出し、これにより各頭部装着型表示装置に表示させる表示画像を決定する表示画像決定手段と、前記表示画像を頭部装着型表示装置に表示させる画像表示手段とを有していることが好ましい。 The vehicle system of the present invention further includes direction detection means for detecting a direction in which a passenger faces, the display device is a plurality of head-mounted display devices, the imaging device is an omnidirectional camera, The display means extracts a region corresponding to the direction of the occupant detected by the direction detection means from the composite image, and thereby determines a display image to be displayed on each head-mounted display device. It is preferable that the image display means includes an image display means for displaying the display image on the head-mounted display device.
また本発明の車両システムは、前記方向検知手段が前記頭部装着型表示装置に設けられていることが好ましい。 In the vehicle system of the present invention, it is preferable that the direction detection means is provided in the head-mounted display device.
また本発明の車両システムは、前記仮想画像が、現在とは異なる時代の風景を模したコンピュータグラフィックス画像であることが好ましい。 In the vehicle system of the present invention, it is preferable that the virtual image is a computer graphics image imitating a landscape of an era different from the present.
以下、本発明の実施形態について添付図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
実施形態1の車両システムは、一定の区域内を巡回する車両1に搭乗者9を乗せ、その搭乗者9に複合現実感(拡張現実感や拡張仮想感も含む)を与える車両用画像処理システムである。特に、本実施形態の車両システムは、旧跡や遺跡のある区域内に車両1を巡回させるようになっており、現実の風景を撮像した実画像20に、歴史上の建物や風景を模したCG画像からなる仮想画像21を重ね合わせ、その合成画像を車両1の搭乗者9に見せる。本実施形態の車両システムは、これらの処理を連続して行なうことで、あたかもその時代にいるかのような感覚を搭乗者9に与えることができる。
The vehicle system according to the first embodiment is a vehicle image processing system that places a
本実施形態の車両1は、路上を低速(約10〜20km/h)で自走する自動車(バス)であり、エンジンやモータ等を駆動源とする。車両1は、図1に示されるように、その内部の前部に運転席が設けられており、運転席の後方に複数の搭乗者9が乗車できるような複数の座席12が設けられている。車両1は、側面及び後面の上半部が開放し且つ前面の上半部が透明なガラス16にて構成されており、搭乗者9が座席12に着座した状態で、水平方向の略全周を見渡せるよう構成されている。車両1は、天井の上面に設けられると共に周囲の風景を撮る撮像装置13と、車両1内部に配置された表示装置3と、車両1に搭載されると共に表示装置3への表示を制御する制御装置5と、GPS(グローバル・ポジショニング・システム;Global Positioning System)衛星からのGPS信号を受信して車両1の位置を測定するためのGPS受信機4とを備えている。
The vehicle 1 of the present embodiment is an automobile (bus) that runs on the road at a low speed (about 10 to 20 km / h), and uses an engine, a motor, or the like as a drive source. As shown in FIG. 1, the vehicle 1 is provided with a driver seat in the front part of the vehicle 1, and a plurality of
本実施形態の表示装置3は、車両1内に配置された複数の頭部装着型表示装置31により構成されている。この頭部装着型表示装置31は、いわゆるヘッドマウントディスプレイ(Head Mounted Display;HMD)であり、搭乗者9に装着されるとディスプレイが搭乗者9の視線方向を覆うよう構成されている。この頭部装着型表示装置31は、搭乗者9の向く方向を検知する方向検知手段32を備えている。この方向検知手段32は、例えば3軸の地磁気センサー、ジャイロセンサー等のセンサーが好適に用いられる。この方向検知手段32により検知された検知信号(搭乗者9の向いた方向の情報が付与された検知信号)は、後述の制御装置5の表示手段54に送信される。
The display device 3 of the present embodiment is composed of a plurality of head mounted display devices 31 arranged in the vehicle 1. The head-mounted display device 31 is a so-called head mounted display (HMD), and is configured to cover the line-of-sight direction of the
撮像装置13は、全方位カメラ14により構成されており、例えば、鉛直方向120°(水平方向に対して−60°から+60°の範囲)の範囲を水平方向全周に亘って風景を撮像する。この撮像装置13は、車両1天井の上面に磁着された基台15に載置固定されている。この撮像装置13は、当該撮像装置13を中心とした一定範囲の領域内の風景を撮影して、これにより実画像20を生成する。この撮像装置13により撮像された実画像20は、GPS受信機4による測位情報に基づいて、区域内における位置座標(絶対座標、いわゆるワールド座標)情報が付与される。この撮像装置13により撮像された車両1周囲の風景の情報は、制御装置5に送信される。
The
制御装置5は、撮像装置13により撮られた実画像20内の所定の位置に、この位置に対応した特定の仮想画像21を重ね合わせることにより合成画像を生成し、生成された合成画像を表示装置3に表示させる、いわゆる複合現実感(拡張現実感や拡張仮想感も含む)技術を適用した装置である。本実施形態の制御装置5は、図3に示されるように、仮想画像21を記憶した記憶部51と、実画像20に適合するよう車両1と仮想画像21の相対位置に基づいて当該仮想画像21を変形させる画像変形手段52と、画像変形手段52により変形された仮想画像21を実画像20に重畳させる画像合成手段53と、この画像合成手段53により生成された合成画像を表示装置3に表示させる表示手段54とを備えている。制御装置5は、マイクロプロセッサーを主構成要素とするコンピュータによって構成されている。本実施形態の制御装置5は、車両1内に格納されている。言い換えると制御装置5は、車両1に搭載されている。これにより制御装置5は、車両1と共に移動できるよう構成されている。
The
記憶部51は、仮想画像メモリにより構成されており、仮想画像21と当該仮想画像21を重ね合わせるべき位置の位置座標(絶対座標)情報とが、対応付けられて予め記憶されている。この仮想画像メモリに格納された位置座標(絶対座標)情報と、実画像20に付与された位置座標(絶対座標)情報とを基準として、位置合わせ手段が仮想画像21と実画像20とを重ね合わせる。本実施形態の仮想画像21は、図2に示されるように、歴史上の風景(例えば都やお城)を模したコンピュータグラフィックス画像(以下、CG画像という)である。なお、仮想画像21に付与される位置座標情報は、複数箇所の座標であることが好ましい。
The
画像変形手段52は、記憶部51に記憶された仮想画像21の大きさ・姿勢を、車両1の位置に応じて変化させる。画像変形手段52は、車両1に対する仮想画像21の相対位置及び相対角度を算出し、この算出された値に基づいて仮想画像21を変形させる仮想画像変形手段55を備えている。仮想画像変形手段55は、車両1に設けられたGPS受信機4による車両1の位置座標(絶対座標)と、仮想画像21に付与された位置座標(絶対座標)とから、車両1に対する仮想画像21の相対的な距離と相対的な角度とを算出する。そして仮想画像変形手段55は、上述の距離及び相対的な角度の値を算出すると、算出された距離から仮想画像21の大きさを決定すると共に、算出された相対的な角度から仮想画像21の姿勢を決定し、仮想画像を変形する。言い換えると、本実施形態の仮想画像変形手段55は、算出された距離及び相対的な角度の値に基づいて、実画像20に適合するよう2次元の仮想画像21をアフィン変換する。
The
なお、本実施形態の画像変形手段52について、記憶部51に記憶された2次元画像を変形させて目的とする画像を生成するイメージベース法に基づいて説明したが、画像変形手段52としては、記憶部51に保持した3次元仮想物体から任意視点の仮想画像を取得し、目的とする画像を生成するモデルベース法を用いてもよい。
The
また画像変形手段52は、仮想画像21の大きさ・姿勢を変形させたうえで、現在の時刻や風景の明るさに応じてその仮想画像21に陰影を付けたり明るさを補正する補正手段56を有している。つまりこの補正手段56により、実画像20への仮想画像21の重ね合わせを一層違和感なく行なうことができる。なお、この陰影・明るさに関する補正手段56は、「角田哲也,大石岳史,池内克史,“影付け平面を用いた複合現実感における高速陰影表現手法”,映像情報メディア学会誌62(5),2008年5月1日,p.788−795」に記載されたような手法が用いられる。
The
このように仮想画像変形手段55により変形された仮想画像21は、画像合成手段53に送られる。
The
画像合成手段53は、画像変形手段52により変形された仮想画像21を実画像20に重ね合わせる。画像合成手段53は、撮像装置13により撮像した実画像20を取得すると、これを用いてメインメモリ内に現実空間画像を描く。そして、画像変形手段52から仮想画像21の情報を取得すると、先に描画した現実空間画像上に、実画像20の絶対座標と仮想画像21に付与された位置座標とに基づいて、仮想画像21を重畳描画し、新たな画像(合成画像)を生成する。ここで生成された合成画像の情報は、表示手段54に送られる。
The
表示手段54は、画像合成手段53により生成された画像を表示装置3に表示させる。表示手段54は、方向検知手段32による情報に基づいて、メインメモリ内に描画された合成画像から表示領域を決定する表示画像決定手段57と、この表示画像決定手段57により決定された表示領域の画像を各頭部装着型表示装置31に表示させる画像表示手段58とを備えている。
The
表示画像決定手段57は、頭部装着型表示装置31に設けられた方向検知手段32が検知した搭乗者9の向いた方向から搭乗者9の視界領域を算出し、その算出された視界領域を表示領域として合成画像から切り取って抽出することで、頭部装着型表示装置31に出力する画像を決定する。表示画像決定手段57は、頭部装着型表示装置31ごとに処理を行ない、それぞれ異なる視界領域を算出し、その視界領域に応じた画像を決定する。この表示画像決定手段57により決定された情報は、画像表示手段58に送信される。
The display
画像表示手段58は、表示画像決定手段57により決定された合成画像を各頭部装着型表示装置31に表示させる。画像表示手段58は、表示画像決定手段57からの画像情報を受け取ると、車両1内に配置された各頭部装着型表示装置31にその合成画像を表示させる。 The image display means 58 causes each head-mounted display device 31 to display the composite image determined by the display image determination means 57. When the image display means 58 receives the image information from the display image determination means 57, the image display means 58 displays the composite image on each head-mounted display device 31 arranged in the vehicle 1.
このように構成された車両システムの動作を説明する。図4には、この車両システムの動作の一例を示すフローチャートを示す。 The operation of the vehicle system configured as described above will be described. FIG. 4 is a flowchart showing an example of the operation of this vehicle system.
車両1を走行させ、制御装置5の処理をスタートさせると(S1)、制御装置5は、車両1周囲の画像を撮像するよう撮像装置13を動作させる(S2)。撮像装置13が車両1周囲の風景の画像を撮るのとほぼ同時に、制御装置5は、GPS受信機4により車両1の位置を測定させて車両1の位置情報を取得する(S3)。次いで制御装置5は、車両1の位置情報に基づいて画像変形手段52により仮想画像21の大きさ・姿勢を変形させる(S4)。画像合成手段53は、メインメモリ内に実画像20から現実空間画像を描画し(S5)、その上で、仮想画像21に付与された位置座標情報に基づいて現実空間画像上に仮想画像21を重畳描画する(S6)。次いで制御装置5は、方向検知手段32により各表示装置3の姿勢情報を取得し(S7)、この方向検知手段32から搭乗者9の視界領域を算出し、この視界領域に対応する表示領域を決定する(S8)。そして制御装置5は、表示画像決定手段57により決定された画像を、各頭部装着型表示装置31に表示させる(S9)。次いで制御装置5は、処理終了の信号の有無を判断し(S10)、処理終了の信号を受けていない場合には、ステップS1の処理に戻り、ステップS1〜S10の処理を繰り返す。処理終了の信号を受けた場合には、撮像装置13の画像の撮影を終了させ、制御装置5の処理も終了する(S11)。
When the vehicle 1 travels and the processing of the
このような構成の車両システムは、走行する車両1の移動と、搭乗者9の視界の移動とに応じて表示装置3に表示させる画像を連続的に変化させ、仮想画像21があたかも現実の風景内に存在するかのように表現できるため、従来のようにその場から視界だけを移動させて複合現実感を得ていた場合と比べて、搭乗者9に対し一層リアルな感覚を与えることができる。しかも、車両1の移動と搭乗者9の自由な視界の変化とを複合した視点の移動に対して、仮想画像21を変化させるため、より臨場感を与えることができる。
The vehicle system having such a configuration continuously changes the image to be displayed on the display device 3 in accordance with the movement of the traveling vehicle 1 and the movement of the sight of the
しかも本実施形態の車両システムは、撮像装置13が全方位カメラ14にて構成されており、車両1周囲の合成画像を生成した上で表示領域を決定するよう構成されているため、複数の頭部装着型表示装置31を用いた場合であっても、頭部装着型表示装置31ごとにCCDカメラを必要とせず、大幅なコストダウンを図ることができる。車両1の走行速度は遅い速度でほぼ一定であるのに対し、搭乗者9の視界の移動速度は一定ではないのであるが、処理に負担のかかる重畳処理を行った上で、その合成画像から、各頭部装着型表示装置31に表示させる表示領域を決定するため、負担のかかる処理を極力少なくさせることができる。つまり、頭部装着型表示装置31ごとにCCDカメラを取り付けたものは、当該表示装置3ごとに重畳処理を高速で行なう必要があるため負担が大きくなるが、本実施形態の車両システムでは、この高負担を回避できる。
Moreover, in the vehicle system of the present embodiment, the
また表示装置3により表示される画像は、仮想画像21が現実の風景を撮像した実画像20に対して重畳されたものであるため、天候や明るさ等の周囲の環境がそのまま反映される。これにより、例えば、予め収録しておいた録画画像を車両1の動きに合わせて単に放映するものに比べて、より一層臨場感が増すものとなる。
Further, since the image displayed by the display device 3 is a
また本実施形態の車両システムは、上記のような処理を高速で行なう制御装置5が相当な大きさとなってしまうが、当該制御装置5が車両1に搭載されているため、制御装置5を車両1と共に移動させることができ、移動しながらもより高速な処理を行なうことができる。
In the vehicle system of the present embodiment, the
また本実施形態の車両システムは、コンテンツの変更に当たって、記憶部51に記憶された仮想画像21を修正・変更するだけでよいので、定期的にコンテンツの変更を行なうことで、リピータの獲得も期待できる。
In addition, since the vehicle system of the present embodiment only needs to modify and change the
この仮想画像21のコンテンツとして、例えば次のようなものが挙げられる。
Examples of the contents of the
本実施形態の仮想画像21のような歴史上の風景に限られず、未来を予想した風景を模したCG画像や戦国時代の戦の様子を模したCG画像が挙げられる。この場合、戦の様子を動画とすることも可能であり、これにより一層臨場感や面白みを付与することができる。また、石器時代の住居などをCG画像とするのもよい。
The present invention is not limited to a historical landscape such as the
また古墳や塔などに対し、名称や観光情報や説明文が記載された仮想画像21が挙げられる。これにより、表示装置3による表示を映像ガイドとして利用することもできる。また、建物の前に企業名を表示させたり、空中へ浮かぶアドバルーンに特定の企業名や商品名やブランド名を記載したりする、いわゆるデジタルサイネージ(電子広告)を仮想画像21として利用することもできる。
Moreover, the
さらに仮想画像21は、地中や建物の内部を透過させて表現したものをCG画像を利用して作成したり、夜に使用するものとして、オーロラ・稲妻・宇宙・星座といった画像をCG画像を利用して作成したものであったりしてもよい。
Furthermore, the
また制御装置5は、表示装置3に表示される内容を、搭乗者9が奥行きや立体感を認知できるようにする3D方式を適用したものとしてもよい。すなわち、右目で見える内容と左目で見える内容とで異ならせた画像を生成し、搭乗者9に表示装置3の表示内容が立体的なものと認知させるための画像を生成する3D画像形成手段を制御装置5に設けてもよい。これにより一層臨場感に富んだコンテンツを提供できる。
Moreover, the
次に、実施形態2について図5に基づいて説明する。なお、本実施形態は実施形態1と大部分において同じであるため、同じ部分においては同符号を付して説明を省略し、主に異なる部分について説明する。 Next, Embodiment 2 will be described with reference to FIG. In addition, since this embodiment is the same as Embodiment 1 for the most part, it attaches | subjects the same code | symbol in the same part, abbreviate | omits description, and mainly demonstrates a different part.
本実施形態の車両1システムは、実施形態1と同様、車両1に搭載されて使用される車両用画像処理システムである。本実施形態の車両システムは、撮像装置13と表示装置3と制御装置5とを備えている。
The vehicle 1 system of the present embodiment is a vehicle image processing system that is mounted and used in the vehicle 1, as in the first embodiment. The vehicle system of this embodiment includes an
撮像装置13は、車両1から当該車両1の外の風景を撮影し、これにより実画像20を生成する。撮像装置13は、車両1に取り付けられている。詳しく言うと、撮像装置13は、車両1の天井に設けられている。撮像装置13は全方位カメラ14により構成されている。撮像装置13は、車両1の外の風景との間に投影面を設定し、この投影面に車両1の外の風景を投影する。投影面は、撮像装置13から一定距離離れた箇所に設定される。
The
撮像装置13は、全方位に亘って投影面を形成するものであってもよいし、所定の領域のみに投影面を形成するものであってもよい。
The
実画像20は、投影面上に、車両1の外の風景が投影されたものである。言い換えると実画像20は、車両1の外の風景からなる3次元物体が投影された2次元平面により構成されている。
The
撮像装置13は、GPS受信機4からGPS信号が入力される。撮像装置13は、実画像20の画像データ及びGPS信号を、制御装置5の画像合成手段53に出力する。
The
制御装置5は、車両位置認識手段61と、画像変形手段52と、記憶部51と、画像合成手段53と、表示手段54とを備えている。制御装置5は、車両1に搭載されている。
The
車両位置認識手段61は、GPS受信機4から出力されたGPS信号が入力される。車両位置認識手段61は、GPS信号に基づいて、絶対座標系(いわゆるワールド座標系)内の現在の車両1の位置を認識する。車両位置認識手段61は、車両1位置の認識情報を画像変形手段52に出力する。
The vehicle position recognition means 61 receives the GPS signal output from the
記憶部51は、仮想画像メモリ510により構成されている。記憶部51は、ワールド座標系内の所定の位置に関連付けられた仮想画像21のデータを複数記憶している。言い換えると記憶部51は、絶対座標系内の特定の位置と関連付けられた仮想画像21を複数記憶している。記憶部51は、仮想画像取得手段63からの信号を受けて、一セットの仮想画像21の各データを仮想画像取得手段63に出力する。
The
ここで一セットの仮想画像21は、複数の仮想画像21により構成されている。この一セットの仮想画像21は、車両1の位置により決まる複数の仮想画像21である。
Here, the set of
画像変形手段52は、仮想画像取得手段63と、補正手段56と、仮想画像変形手段55とを備えている。補正手段56については、実施形態1のものと同じであるので、説明を省略する。
The
仮想画像取得手段63は、車両位置認識手段61からの信号が入力されると、ワールド座標系内の車両1の位置に対応した複数の仮想画像21のセットを出力する旨の信号を、記憶部51に出力する。記憶部51は、その信号を受けて仮想画像取得手段63に、一セットの仮想画像21のセットを出力する。仮想画像取得手段63は、複数の仮想画像21の画像データが入力されると、そのデータを補正手段56に出力する。
When the signal from the vehicle position recognition unit 61 is input, the virtual
補正手段56は、仮想画像取得手段63からのデータを受けとると、実施形態1と同じように、補正を行う。補正手段56は、補正後のデータを、仮想画像変形手段55に出力する。
When the
仮想画像変形手段55は、各仮想画像21にそれぞれ関連付けられた特定の位置と車両1の位置とから、車両1に対する前記仮想画像21の距離及び相対角度を算出する。仮想画像変形手段55は、この算出した情報に基づいて、仮想画像21を変換する。
The virtual image deformation means 55 calculates the distance and relative angle of the
言い換えると、仮想画像変形手段55は、ワールド座標系内の車両1の位置情報と、各仮想画像21に関連付けられたワールド座標系内の位置情報とから、ワールド座標系内の車両1と仮想画像21との距離と相対角度とを算出する。仮想画像変形手段55は、ワールド座標系内の車両1と仮想画像21との距離と相対角度とを算出すると、その値に基づいて、仮想画像21を変形する。仮想画像変形手段55は、車両1と仮想画像21との距離と相対角度との算出した値に基づいて、ローカル座標系内の仮想画像21に対してアフィン変換や射影変換等を行い、これにより仮想画像21を変換する。
In other words, the virtual image transformation means 55 uses the position information of the vehicle 1 in the world coordinate system and the position information in the world coordinate system associated with each
なお相対角度は、基準に対する角度である。言い換えると、ワールド座標系において、車両1を原点とした場合における軸に対する角度である。 The relative angle is an angle with respect to the reference. In other words, in the world coordinate system, the angle with respect to the axis when the vehicle 1 is the origin.
記憶部51及び仮想画像変形手段55は、次のようなものでもよい。記憶部51は、複数の3次元仮想物体を記憶する。仮想画像変形手段55は、車両1と仮想画像21との間の距離と相対角度とから、ローカル座標系内の3次元仮想物体を回転させ、これにより仮想画像21を生成する。言い換えると、仮想画像変形手段55は、車両1と仮想画像21との間の距離と相対角度とに基づいて、記憶部51に記憶された仮想画像21を、実画像20に重畳するための画像に変換する。
The
仮想画像変形手段55は、仮想画像21を変形すると、その画像データを画像合成手段53に出力する。
When the virtual image deforming means 55 deforms the
画像合成手段53は、座標割り当て手段59と、位置合わせ手段60とを備えている。
The
座標割り当て手段59は、撮像装置13から入力された実画像20の画像データとGPS信号とから、実画像20内の座標系(いわゆるスクリーン座標系)と、ワールド座標系とを関連付ける。座標割り当て手段59は、スクリーン座標系をワールド座標系に座標変換する。言い換えると、座標割り当て手段59は、実画像20内の特定の箇所に、ワールド座標系の位置情報を対応付ける。座標割り当て手段59は、実画像20内の特定の箇所にワールド座標系の位置情報を対応付けた信号を位置合わせ手段60に出力する。
The coordinate assigning
位置合わせ手段60は、ワールド座標系の位置情報を基準にして、実画像20と仮想画像21(仮想画像変形手段55により変換された後の画像を含む)とを重ね合わせる。言い換えると、位置合わせ手段60は、絶対座標系の位置情報を基準にして実画像20と仮想画像21とを重ね合わせる。これにより位置合わせ手段60は、合成画像を生成する。位置合わせ手段60は、合成画像の画像データを、表示手段54に出力する。
The alignment means 60 superimposes the
表示手段54は、表示画像決定手段57と、画像表示手段58とを備えている。
The
表示画像決定手段57は、頭部装着型表示装置31の方向検知手段32から出力された信号を受信する。また表示画像決定手段57は、位置合わせ手段60から出力された信号を受信する。表示画像決定手段57は、方向検知手段32からの信号に基づいて、搭乗者の視界領域を算出する。表示画像決定手段57は、その視界領域に相当する合成画像の箇所を抽出し、これにより頭部装着型表示装置31に出力する画像(表示画像)を決定する。
The display
表示画像決定手段57は、頭部装着型表示装置31ごとに処理を行ない、それぞれ異なる視界領域を算出し、その視界領域に応じた画像を抽出し、これにより表示画像を決定する。この表示画像決定手段57は、表示画像のデータを、画像表示手段58に出力する。
The display image determination means 57 performs processing for each head-mounted display device 31, calculates different visual field regions, extracts images corresponding to the visual field regions, and determines the display image thereby. The display
画像表示手段58は、表示画像決定手段57により出力された合成画像のデータに基づいて、各頭部装着型表示装置31に表示させる。画像表示手段58は、表示画像決定手段57からデータが入力されると、表示装置3に合成画像を表示させるためのデータを出力する。
The image display means 58 displays each head-mounted display device 31 on the basis of the composite image data output by the display image determination means 57. When the data is input from the display
次に実施形態3について説明する。なお、本実施形態は実施形態1と大部分において同じであるため、同じ部分においては説明を省略し、主に異なる部分について説明する。 Next, Embodiment 3 will be described. In addition, since this embodiment is the same as Embodiment 1 for the most part, description is abbreviate | omitted in the same part and it mainly demonstrates a different part.
本実施形態の車両1システムは、実施形態1と同様、車両1に搭載されて使用される車両用画像処理システムである。本実施形態の車両システムは、撮像装置13と表示装置3と制御装置5とを備えている。本実施形態の車両システムは、撮像装置13と表示装置3との構成が、実施形態1と同じである。
The vehicle 1 system of the present embodiment is a vehicle image processing system that is mounted and used in the vehicle 1, as in the first embodiment. The vehicle system of this embodiment includes an
制御装置5は、マーカ認識型の複合現実感(拡張現実感や拡張仮想感も含む)技術を適用した装置である。制御装置5は、マーカ認識手段62と、画像変形手段52と、記憶部51と、画像合成手段53と、表示手段54とを備えている。制御装置5は、実画像20の所定の位置に、当該位置に対応した仮想画像21を重ね合わせることにより合成画像を生成し、その合成画像を表示装置3に表示させる。制御装置5は、車両1に搭載されている。
The
マーカは、平面視正方形の枠状に形成された第1の認識部と、第1の認識部の内部に形成された第2の認識部とを備えている。第1の認識部は、全周に亘って一定幅で形成されており、黒枠で形成されている。第2の認識部は、仮想画像21ごとに異なるマークにより構成されている。第2の認識部は、第1の認識部としての黒枠内に形成されている。
The marker includes a first recognition unit formed in a square frame shape in plan view and a second recognition unit formed inside the first recognition unit. The first recognition unit is formed with a constant width over the entire circumference, and is formed with a black frame. The second recognition unit is composed of different marks for each
マーカ認識手段62は、撮像装置13により生成された実画像20内におけるマーカの存在を認識する。マーカ認識手段62は、マーカの第1の認識部を検出し、これによりマーカの存在を認識する。マーカ認識手段62は、第2の認識部を検出し、これと記憶部51のマーカメモリ511に記憶されたマークとを照合させ、第2の認識部を認識する。マーカ認識手段62は、第1の認識部と第2の認識部との投影面に投影された形状に基づいて、マーカの大きさと角度とを認識する。
The
マーカ認識手段62は、実画像20のスクリーン座標系内におけるマーカの位置情報を画像合成手段53に出力する。またマーカ認識手段62は、記憶部51と照合された第2の認識部の情報と、マーカの大きさと角度とを画像変形手段52に出力する。
The
画像変形手段52は、仮想画像取得手段63と、補正手段56と、仮想画像変形手段55とを備える。
The
仮想画像取得手段63は、マーカ認識手段62により入力された情報に基づいて、仮想画像メモリ510から仮想画像21を取得する。
The virtual
記憶部51は、仮想画像メモリ510とマーカメモリ511とを備えている。仮想画像メモリ510は、第2の認識部のマークに関連付けられた仮想画像21のデータを複数記憶している。仮想画像メモリ510は、仮想画像取得手段63からの信号を受けて、仮想画像21の各データを仮想画像取得手段63に出力する。マーカメモリ511は、ワールド座標系内に配置された第2の認識部のマークと適合するマークが複数記憶されている。
The
仮想画像変形手段55は、マーカ認識手段62により入力されたマーカの大きさと角度とを受信し、これに基づいて、仮想画像21を実画像20に重ね合わせるべき形状に変換する。仮想画像変形手段55は、この変換後の画像データを画像合成手段53に出力する。
The virtual
画像合成手段53は、マーカ認識手段62により認識されたマーカの位置に、変換後の仮想画像21を重ね合わせ、これにより合成画像を生成する。言い換えると、実画像20の所定の位置に、当該位置に対応した仮想画像21を重ね合わせることにより合成画像を生成する。画像合成手段53は、合成画像のデータを表示手段54に出力する。
The
表示手段54は、合成画像を表示装置3に表示させる。表示手段54は、実施形態2と同じように、表示画像決定手段57と画像表示手段58とを備える。表示手段54については、実施形態2の構成と同じであるため、説明は省略する。
The
なお、マーカは、車両1の外側に存在する特定の3次元物体であってもよい。3次元物体には、特定の形状をした石,石碑、植物,建造物等が挙げられる。この場合、マーカ認識手段62は、マーカ上の複数の特徴点を認識し、これにより特定のマーカを認識する。マーカ上の特徴点は、マーカの角部や直線部等が挙げられる。
The marker may be a specific three-dimensional object that exists outside the vehicle 1. The three-dimensional object includes a stone, a stele, a plant, a building, etc. having a specific shape. In this case, the
なお、実施形態1〜3の車両1は、複数の乗客を搭乗可能な自動車によって構成されていたが、本発明の車両は、例えば複数の車両が連結された列車や、単独の搭乗者が乗車する自転車のような軽車両であってもよく、自動車にのみ限定されない。 In addition, although the vehicle 1 of Embodiments 1-3 was comprised by the motor vehicle which can board a some passenger, the vehicle of this invention gets on the train with which several vehicles were connected, for example, and a single passenger gets on it. It may be a light vehicle such as a bicycle, and is not limited to an automobile.
また、本実施形態の車両システムは、制御装置5と表示装置3と撮像装置13との情報の出入力を、有線で行なっていたが、本発明の表示装置は、無線通信を利用してもよい。つまり、制御装置5は車両1の外に設けられていてもよい。この場合、制御装置5及び撮像装置13及び表示装置3に、無線通信用の送受信部が設けられる。
Moreover, although the vehicle system of this embodiment performed the input / output of the information of the
1 車両
11 運転席
12 座席
13 撮像装置
14 全方位カメラ
15 基台
16 ガラス
20 実画像
21 仮想画像
3 表示装置
31 頭部装着型表示装置
32 方向検知手段
4 GPS装置
5 制御装置
51 記憶部
52 画像変形手段
53 画像合成手段
54 表示手段
55 位置・姿勢算出手段
56 補正手段
57 表示画像決定手段
58 画像表示手段
9 搭乗者DESCRIPTION OF SYMBOLS 1 Vehicle 11 Driver's
Claims (8)
前記車両から風景を撮影してこれにより実画像を生成する撮像装置と、
前記車両内に配置された表示装置と、
前記実画像の所定の位置に、当該位置に対応した仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を表示装置に表示させる制御装置と
を備えている車両システム。A vehicle system used for a vehicle,
An imaging device that captures a landscape from the vehicle and thereby generates a real image;
A display device disposed in the vehicle;
A vehicle system comprising: a control device that generates a composite image by superimposing a virtual image corresponding to the position on a predetermined position of the real image, and displays the composite image on a display device.
請求項1記載の車両システム。The vehicle system according to claim 1, wherein the control device is mounted on the vehicle.
前記仮想画像を記憶する記憶部と、
前記実画像の所定の位置に、当該位置に対応した前記仮想画像を重ね合わせ、これにより合成画像を生成する画像合成手段と、
前記合成画像を前記表示装置に表示させる表示手段と
を備えている
請求項1又は請求項2に記載の車両システム。The control device includes:
A storage unit for storing the virtual image;
Image combining means for superimposing the virtual image corresponding to the position on a predetermined position of the real image, thereby generating a combined image;
The vehicle system according to claim 1, further comprising display means for displaying the composite image on the display device.
前記記憶部は、絶対座標系内の特定の位置と関連付けられた前記仮想画像を複数記憶しており、
前記画像合成手段は、
前記実画像内の特定の箇所に絶対座標系の位置情報を対応付ける座標割り当て手段と、
絶対座標系の位置情報を基準にして前記実画像と前記仮想画像とを重ね合わせる位置合わせ手段と
を有している
請求項3記載の車両システム。A GPS receiver provided on the vehicle for receiving GPS signals from GPS satellites;
The storage unit stores a plurality of the virtual images associated with a specific position in the absolute coordinate system,
The image composition means includes
Coordinate assigning means for associating absolute coordinate system position information with a specific location in the real image;
The vehicle system according to claim 3, further comprising a positioning unit that superimposes the real image and the virtual image with reference to position information in an absolute coordinate system.
前記GPS受信機に基づいて、絶対座標系内の現在の前記車両の位置を認識する車両位置認識手段と、
前記各仮想画像にそれぞれ関連付けられた特定の位置と前記車両の位置とから、前記車両に対する前記仮想画像の距離及び相対角度を算出し、これに基づいて前記仮想画像を変換する仮想画像変形手段と
を備え、
前記位置合わせ手段により前記実画像と重ね合わせられる前記仮想画像が、前記仮想画像変形手段により生成された画像である
請求項4記載の車両システム。The control device includes:
Vehicle position recognition means for recognizing the current position of the vehicle in an absolute coordinate system based on the GPS receiver;
Virtual image deformation means for calculating a distance and a relative angle of the virtual image with respect to the vehicle from a specific position associated with each virtual image and the position of the vehicle, and converting the virtual image based on the distance and relative angle; With
The vehicle system according to claim 4, wherein the virtual image superimposed on the real image by the positioning unit is an image generated by the virtual image deformation unit.
前記表示装置が、複数の頭部装着型表示装置であり、
前記撮像装置が全方位カメラであり、
前記表示手段は、前記合成画像のうち前記方向検知手段により検知された搭乗者の向く方向に対応する領域を抽出し、これにより各頭部装着型表示装置に表示させる表示画像を決定する表示画像決定手段と、
前記表示画像を頭部装着型表示装置に表示させる画像表示手段と
を有している
請求項5記載の車両システム。It further comprises direction detection means for detecting the direction of the passenger,
The display device is a plurality of head-mounted display devices;
The imaging device is an omnidirectional camera;
The display means extracts a region corresponding to the direction of the occupant detected by the direction detection means from the composite image, thereby determining a display image to be displayed on each head-mounted display device. A determination means;
The vehicle system according to claim 5, further comprising image display means for displaying the display image on a head-mounted display device.
請求項6記載の車両システム。The vehicle system according to claim 6, wherein the direction detection means is provided in the head-mounted display device.
請求項1〜7のいずれか一項に記載の車両システム。
The vehicle system according to any one of claims 1 to 7, wherein the virtual image is a computer graphics image imitating a landscape of an era different from the present.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012532984A JP5804571B2 (en) | 2010-09-06 | 2011-09-06 | Vehicle system |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010199146 | 2010-09-06 | ||
JP2010199146 | 2010-09-06 | ||
JP2012532984A JP5804571B2 (en) | 2010-09-06 | 2011-09-06 | Vehicle system |
PCT/JP2011/070271 WO2012033095A1 (en) | 2010-09-06 | 2011-09-06 | Vehicle system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012033095A1 true JPWO2012033095A1 (en) | 2014-01-20 |
JP5804571B2 JP5804571B2 (en) | 2015-11-04 |
Family
ID=45810693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012532984A Active JP5804571B2 (en) | 2010-09-06 | 2011-09-06 | Vehicle system |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5804571B2 (en) |
CN (1) | CN103080983A (en) |
WO (1) | WO2012033095A1 (en) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013246319A (en) * | 2012-05-25 | 2013-12-09 | Fuji Television Network Inc | Image display device and image display method |
JP5687670B2 (en) * | 2012-08-31 | 2015-03-18 | 株式会社コナミデジタルエンタテインメント | Display control system, game system, display control device, and program |
EP4099136A1 (en) | 2013-02-22 | 2022-12-07 | Sony Group Corporation | Head- mounted display and image display device |
CN104102007A (en) * | 2013-04-12 | 2014-10-15 | 聚晶半导体股份有限公司 | Head-mounted display and control method thereof |
US9690375B2 (en) * | 2014-08-18 | 2017-06-27 | Universal City Studios Llc | Systems and methods for generating augmented and virtual reality images |
JP2016110245A (en) * | 2014-12-03 | 2016-06-20 | 株式会社T.J.Promotion | Display system, display method, computer program, computer readable recording medium |
CN106707504A (en) * | 2015-07-30 | 2017-05-24 | 比亚迪股份有限公司 | HUD display device for vehicle and vehicle having the same |
KR101885127B1 (en) * | 2016-03-11 | 2018-08-03 | 주식회사 상화 | Virtual reality experience apparatus |
JP2017191378A (en) | 2016-04-11 | 2017-10-19 | 富士通テン株式会社 | Augmented reality information display device and augmented reality information display method |
US20170323482A1 (en) | 2016-05-05 | 2017-11-09 | Universal City Studios Llc | Systems and methods for generating stereoscopic, augmented, and virtual reality images |
US10366290B2 (en) * | 2016-05-11 | 2019-07-30 | Baidu Usa Llc | System and method for providing augmented virtual reality content in autonomous vehicles |
CN106096501A (en) * | 2016-05-27 | 2016-11-09 | 大连楼兰科技股份有限公司 | Car networked virtual reality panorama playback platform |
CN106096502A (en) * | 2016-05-27 | 2016-11-09 | 大连楼兰科技股份有限公司 | Car networked virtual reality panorama playback system and method |
CN105913772A (en) * | 2016-05-27 | 2016-08-31 | 大连楼兰科技股份有限公司 | Car networking virtual reality theme park display system and method |
CN106057088A (en) * | 2016-05-27 | 2016-10-26 | 大连楼兰科技股份有限公司 | Internet-of-vehicles virtual reality theme park display method |
CN106067877A (en) * | 2016-05-27 | 2016-11-02 | 大连楼兰科技股份有限公司 | Car networked virtual reality panorama back method |
KR101813018B1 (en) * | 2016-12-23 | 2017-12-29 | 재단법인대구경북과학기술원 | Appartus for providing 3d contents linked to vehicle and method thereof |
JP2017168132A (en) * | 2017-05-18 | 2017-09-21 | 有限会社一級建築士事務所ターボ設計 | Virtual object display system, display system program, and display method |
KR101996008B1 (en) * | 2017-05-24 | 2019-07-03 | (주)루쏘팩토리 | Moving virtual reality experience system |
WO2018230563A1 (en) * | 2017-06-16 | 2018-12-20 | 本田技研工業株式会社 | Image providing system for vehicle, server system, and image providing method for vehicle |
WO2019130413A1 (en) * | 2017-12-26 | 2019-07-04 | 株式会社音楽館 | Image generation system, image generation method, and program |
JP7125063B2 (en) * | 2018-02-22 | 2022-08-24 | Jibun Haus.株式会社 | REAL ESTATE INFORMATION OUTPUT DEVICE, REAL ESTATE INFORMATION OUTPUT METHOD AND REAL ESTATE INFORMATION OUTPUT PROGRAM |
EP3663942B1 (en) * | 2018-12-07 | 2023-04-26 | Volvo Car Corporation | Evaluation of a simulated vehicle functionality feature |
CN109739352A (en) * | 2018-12-27 | 2019-05-10 | 斑马网络技术有限公司 | The methods of exhibiting and equipment of Land-scape picture |
JP6720385B1 (en) * | 2019-02-07 | 2020-07-08 | 株式会社メルカリ | Program, information processing method, and information processing terminal |
CN110337018A (en) * | 2019-07-05 | 2019-10-15 | 南京恩诺网络科技有限公司 | Information processing system |
JP7384014B2 (en) * | 2019-12-06 | 2023-11-21 | トヨタ自動車株式会社 | display system |
JP7372230B2 (en) * | 2020-12-21 | 2023-10-31 | トヨタ自動車株式会社 | Display system and display device |
CN112905005A (en) * | 2021-01-22 | 2021-06-04 | 领悦数字信息技术有限公司 | Adaptive display method and device for vehicle and storage medium |
WO2024065799A1 (en) * | 2022-09-30 | 2024-04-04 | Intel Corporation | Vehicle passenger display modification |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001076168A (en) * | 1999-09-02 | 2001-03-23 | Ntt Docomo Inc | Information terminal equipment, data base server device, picture display system and control method for the same |
JP4246195B2 (en) * | 2005-11-01 | 2009-04-02 | パナソニック株式会社 | Car navigation system |
JP2007226580A (en) * | 2006-02-24 | 2007-09-06 | Advanced Telecommunication Research Institute International | Image output device and image output method |
JP4689639B2 (en) * | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | Image processing system |
-
2011
- 2011-09-06 JP JP2012532984A patent/JP5804571B2/en active Active
- 2011-09-06 CN CN2011800423551A patent/CN103080983A/en active Pending
- 2011-09-06 WO PCT/JP2011/070271 patent/WO2012033095A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN103080983A (en) | 2013-05-01 |
JP5804571B2 (en) | 2015-11-04 |
WO2012033095A1 (en) | 2012-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5804571B2 (en) | Vehicle system | |
US10293745B2 (en) | Projection of a pre-definable light pattern | |
JP7331696B2 (en) | Information processing device, information processing method, program, and mobile object | |
CN104781873B (en) | Image display device, method for displaying image, mobile device, image display system | |
JP5053776B2 (en) | Vehicular visibility support system, in-vehicle device, and information distribution device | |
US20160350906A1 (en) | Method of tracking a mobile device and method of generating a geometrical model of a real environment using a camera of a mobile device | |
WO2009119110A1 (en) | Blind spot display device | |
WO2006035755A1 (en) | Method for displaying movable-body navigation information and device for displaying movable-body navigation information | |
JP2009101718A (en) | Image display device and image display method | |
WO2011136209A1 (en) | Ferris wheel | |
WO2016102304A1 (en) | Method for presenting an image overlay element in an image with 3d information, driver assistance system and motor vehicle | |
CN102291541A (en) | Virtual synthesis display system of vehicle | |
WO2018134897A1 (en) | Position and posture detection device, ar display device, position and posture detection method, and ar display method | |
JP2016095688A (en) | On-vehicle information display device | |
JP3301421B2 (en) | Vehicle surrounding situation presentation device | |
JP2010128133A (en) | Mobile information superimposition system and information superimposition method | |
JP2004265396A (en) | Image forming system and image forming method | |
US20130063427A1 (en) | Image display control system, image display control method, and image display control program | |
WO2004048895A1 (en) | Moving body navigate information display method and moving body navigate information display device | |
CN109643468B (en) | Image processing apparatus and image processing method | |
JP2003346189A (en) | Image display device for vehicle | |
JP2008033781A (en) | Road surface gradient detection device and image display device | |
JP2013200820A (en) | Image transmitting and receiving system | |
WO2021172037A1 (en) | Image processing device, image processing method, program, and image presentation system | |
JP2005233712A (en) | Position display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5804571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |