WO2012033095A1

WO2012033095A1 - 車両システム

Info

Publication number: WO2012033095A1
Application number: PCT/JP2011/070271
Authority: WO
Inventors: 池内　克史; 浩志牧野; 岳史大石; 哲也角田; 山田　三郎
Original assignee: 国立大学法人東京大学; 泉陽興業株式会社; 株式会社アスカラボ
Priority date: 2010-09-06
Filing date: 2011-09-06
Publication date: 2012-03-15
Also published as: CN103080983A; JPWO2012033095A1; JP5804571B2

Abstract

　実際に建物等を設置しなくても、車両から見渡せる風景として、建物等を設置した風景を搭乗者に見せることができ、しかもその搭乗者が見える風景を容易に替えることが可能な車両システムを提供する。本発明の車両システムは、車両から風景を撮影してこれにより実画像を生成する撮像装置と、車両内に配置された表示装置と、前記実画像の所定の位置に、当該位置に対応した仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を各表示装置に表示させる制御装置とを備えた。

Description

車両システム

　本発明は、車両システムに関し、詳しくは車両用の画像処理システムに関するものである。

　従来、旧跡や遺跡やテーマパーク等の広大な敷地内を移動するため、車両が用いられる。この車両としては、例えば、多数の乗客を一度に運ぶことが可能なバスや乗用自動車、単独での移動が可能な自転車などが挙げられる。搭乗者は、旧跡やテーマパーク等を移動するに当たり、周囲の景色を見渡しながら移動することで、その土地の風土やあるいは景観を感じ、普段の生活環境とは異なる情景を楽しむことができる。

　ところが、例えば旧跡を車両で巡回したとしても、あくまで歴史上の建物の跡地であり、単なる敷地に過ぎない場所も存在するため、人によっては退屈に感じることもあった。一方、その場にレプリカにて復元しようとすれば、費用がかかるばかりかその土地の環境や旧跡の破壊を招くことも考えられ、また一旦建設した場合には、変更が容易ではなく、その上、補修を繰り返して保存することも必要となる。

　ところで近年、現実空間と仮想空間とを実時間で融合する複合現実感［Mixed Reality；拡張現実感（Augmented Reality）や拡張仮想感（AugmentedVirtuality）も含む］を提示する装置の研究が盛んに行なわれている［例えば、特開２００８－２９３２０９号公報（以下、特許文献１という），特開２００８－２７５３９１号公報（以下、特許文献２という）参照］。この複合現実感を提示する装置は、例えば、カメラ等の撮像装置によって現実空間を撮像すると共に、この撮像装置によって撮られた画像（実画像）に仮想画像を重ね合わせて合成画像を生成し、その合成画像を出力するものであり、この合成画像を見たユーザーに実画像と仮想画像とを融合させた複合現実感を与えることができる。特許文献１，２の装置は、ヘッドマウントディスプレイ（ＨＭＤ；head mount display）に撮像装置が取り付けられており、この撮像装置で撮られた実画像に、リアルタイムで仮想画像を重畳して合成画像を生成し、この合成画像をこのヘッドマウントディスプレイに映し出すよう構成されている。そのため、ユーザーは、ヘッドマウントディスプレイを装着したまま周囲を見渡すと、その視線の先にある風景の実画像に仮想画像が重畳的に表示されて、あたかも現実空間にその仮想画像が存在しているかのように感じさせることができる。

　しかしながら従来は、この複合現実感を提示する装置を使用しても、ユーザーはその場から周囲の景色を見渡すことができる範囲でしか複合現実感を味わうことができなかった。

　本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、実際に建物等を設置しなくても、車両から見渡せる風景として、建物等を設置した風景を搭乗者に見せることができ、しかもその搭乗者が見える風景を容易に替えることが可能な車両システムを提供することにある。

　本発明の車両システムは、車両から風景を撮影してこれにより実画像を生成する撮像装置と、車両内に配置された表示装置と、前記実画像の所定の位置に、当該位置に対応した仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を各表示装置に表示させる制御装置とを備えたことを特徴としている。

　このような構成によれば、実画像に仮想画像を重ね合わせた合成画像を搭乗者に見せることができるため、現実の風景に建物等を設置しなくても、車両から見渡せる風景として、建物等を設置した風景を搭乗者に見せることができる。また、仮想画像のコンテンツを変更するだけで、容易に、搭乗者に見せることができる画像を変更することができる。

　また本発明の車両システムは、制御装置が車両に搭載されたものであることが好ましい。

　また本発明の車両システムは、前記制御装置が、前記仮想画像を記憶する記憶部と、前記実画像の所定の位置に、当該位置に対応した前記仮想画像を重ね合わせ、これにより合成画像を生成する画像合成手段と、前記合成画像を前記表示装置に表示させる表示手段とを備えていることが好ましい。

　また本発明の車両システムは、ＧＰＳ衛星からのＧＰＳ信号を受信するため前記車両に設けられたＧＰＳ受信機をさらに備え、前記記憶部は、絶対座標系内の特定の位置と関連付けられた前記仮想画像を複数記憶しており、前記画像合成手段は、前記実画像内の特定の箇所に絶対座標系の位置情報を対応付ける座標割り当て手段と、絶対座標系の位置情報を基準にして前記実画像と前記仮想画像とを重ね合わせる位置合わせ手段とを有していることが好ましい。

　また本発明の車両システムは、搭乗者の向く方向を検知する方向検知手段をさらに備え、前記表示装置が、複数の頭部装着型表示装置であり、前記撮像装置が全方位カメラであり、前記表示手段は、前記合成画像のうち前記方向検知手段により検知された搭乗者の向く方向に対応する領域を抽出し、これにより各頭部装着型表示装置に表示させる表示画像を決定する表示画像決定手段と、前記表示画像を頭部装着型表示装置に表示させる画像表示手段とを有していることが好ましい。

　また本発明の車両システムは、前記方向検知手段が前記頭部装着型表示装置に設けられていることが好ましい。

　また本発明の車両システムは、前記仮想画像が、現在とは異なる時代の風景を模したコンピュータグラフィックス画像であることが好ましい。

本発明の実施形態１の車両システムの斜視図である。同上の実施形態の搭乗者の視界を説明する図であり（ａ）は現実の風景を示し、（ｂ）は実画像に仮想画像を重畳した合成画像を示す図である。同上の実施形態のブロック図である。同上の実施形態の動作を示すフローチャートである。実施形態２のブロック図である。実施形態３のブロック図である。

　以下、本発明の実施形態について添付図面に基づいて説明する。

　実施形態１の車両システムは、一定の区域内を巡回する車両１に搭乗者９を乗せ、その搭乗者９に複合現実感（拡張現実感や拡張仮想感も含む）を与える車両用画像処理システムである。特に、本実施形態の車両システムは、旧跡や遺跡のある区域内に車両１を巡回させるようになっており、現実の風景を撮像した実画像２０に、歴史上の建物や風景を模したＣＧ画像からなる仮想画像２１を重ね合わせ、その合成画像を車両１の搭乗者９に見せる。本実施形態の車両システムは、これらの処理を連続して行なうことで、あたかもその時代にいるかのような感覚を搭乗者９に与えることができる。

　本実施形態の車両１は、路上を低速（約１０～２０km/h）で自走する自動車（バス）であり、エンジンやモータ等を駆動源とする。車両１は、図１に示されるように、その内部の前部に運転席が設けられており、運転席の後方に複数の搭乗者９が乗車できるような複数の座席１２が設けられている。車両１は、側面及び後面の上半部が開放し且つ前面の上半部が透明なガラス１６にて構成されており、搭乗者９が座席１２に着座した状態で、水平方向の略全周を見渡せるよう構成されている。車両１は、天井の上面に設けられると共に周囲の風景を撮る撮像装置１３と、車両１内部に配置された表示装置３と、車両１に搭載されると共に表示装置３への表示を制御する制御装置５と、ＧＰＳ（グローバル・ポジショニング・システム；Global Positioning System)衛星からのＧＰＳ信号を受信して車両１の位置を測定するためのＧＰＳ受信機４とを備えている。

　本実施形態の表示装置３は、車両１内に配置された複数の頭部装着型表示装置３１により構成されている。この頭部装着型表示装置３１は、いわゆるヘッドマウントディスプレイ（Head Mounted Display;HMD）であり、搭乗者９に装着されるとディスプレイが搭乗者９の視線方向を覆うよう構成されている。この頭部装着型表示装置３１は、搭乗者９の向く方向を検知する方向検知手段３２を備えている。この方向検知手段３２は、例えば３軸の地磁気センサー、ジャイロセンサー等のセンサーが好適に用いられる。この方向検知手段３２により検知された検知信号（搭乗者９の向いた方向の情報が付与された検知信号）は、後述の制御装置５の表示手段５４に送信される。

　撮像装置１３は、全方位カメラ１４により構成されており、例えば、鉛直方向１２０°（水平方向に対して－６０°から＋６０°の範囲）の範囲を水平方向全周に亘って風景を撮像する。この撮像装置１３は、車両１天井の上面に磁着された基台１５に載置固定されている。この撮像装置１３は、当該撮像装置１３を中心とした一定範囲の領域内の風景を撮影して、これにより実画像２０を生成する。この撮像装置１３により撮像された実画像２０は、ＧＰＳ受信機４による測位情報に基づいて、区域内における位置座標（絶対座標、いわゆるワールド座標）情報が付与される。この撮像装置１３により撮像された車両１周囲の風景の情報は、制御装置５に送信される。

　制御装置５は、撮像装置１３により撮られた実画像２０内の所定の位置に、この位置に対応した特定の仮想画像２１を重ね合わせることにより合成画像を生成し、生成された合成画像を表示装置３に表示させる、いわゆる複合現実感（拡張現実感や拡張仮想感も含む）技術を適用した装置である。本実施形態の制御装置５は、図３に示されるように、仮想画像２１を記憶した記憶部５１と、実画像２０に適合するよう車両１と仮想画像２１の相対位置に基づいて当該仮想画像２１を変形させる画像変形手段５２と、画像変形手段５２により変形された仮想画像２１を実画像２０に重畳させる画像合成手段５３と、この画像合成手段５３により生成された合成画像を表示装置３に表示させる表示手段５４とを備えている。制御装置５は、マイクロプロセッサーを主構成要素とするコンピュータによって構成されている。本実施形態の制御装置５は、車両１内に格納されている。言い換えると制御装置５は、車両１に搭載されている。これにより制御装置５は、車両１と共に移動できるよう構成されている。

　記憶部５１は、仮想画像メモリにより構成されており、仮想画像２１と当該仮想画像２１を重ね合わせるべき位置の位置座標（絶対座標）情報とが、対応付けられて予め記憶されている。この仮想画像メモリに格納された位置座標（絶対座標）情報と、実画像２０に付与された位置座標（絶対座標）情報とを基準として、位置合わせ手段が仮想画像２１と実画像２０とを重ね合わせる。本実施形態の仮想画像２１は、図２に示されるように、歴史上の風景（例えば都やお城）を模したコンピュータグラフィックス画像（以下、ＣＧ画像という）である。なお、仮想画像２１に付与される位置座標情報は、複数箇所の座標であることが好ましい。

　画像変形手段５２は、記憶部５１に記憶された仮想画像２１の大きさ・姿勢を、車両１の位置に応じて変化させる。画像変形手段５２は、車両１に対する仮想画像２１の相対位置及び相対角度を算出し、この算出された値に基づいて仮想画像２１を変形させる仮想画像変形手段５５を備えている。仮想画像変形手段５５は、車両１に設けられたＧＰＳ受信機４による車両１の位置座標（絶対座標）と、仮想画像２１に付与された位置座標（絶対座標）とから、車両１に対する仮想画像２１の相対的な距離と相対的な角度とを算出する。そして仮想画像変形手段５５は、上述の距離及び相対的な角度の値を算出すると、算出された距離から仮想画像２１の大きさを決定すると共に、算出された相対的な角度から仮想画像２１の姿勢を決定し、仮想画像を変形する。言い換えると、本実施形態の仮想画像変形手段５５は、算出された距離及び相対的な角度の値に基づいて、実画像２０に適合するよう２次元の仮想画像２１をアフィン変換する。

　なお、本実施形態の画像変形手段５２について、記憶部５１に記憶された２次元画像を変形させて目的とする画像を生成するイメージベース法に基づいて説明したが、画像変形手段５２としては、記憶部５１に保持した３次元仮想物体から任意視点の仮想画像を取得し、目的とする画像を生成するモデルベース法を用いてもよい。

　また画像変形手段５２は、仮想画像２１の大きさ・姿勢を変形させたうえで、現在の時刻や風景の明るさに応じてその仮想画像２１に陰影を付けたり明るさを補正する補正手段５６を有している。つまりこの補正手段５６により、実画像２０への仮想画像２１の重ね合わせを一層違和感なく行なうことができる。なお、この陰影・明るさに関する補正手段５６は、「角田哲也，大石岳史，池内克史，“影付け平面を用いた複合現実感における高速陰影表現手法”，映像情報メディア学会誌６２（５），２００８年５月１日，ｐ．７８８－７９５」に記載されたような手法が用いられる。

　このように仮想画像変形手段５５により変形された仮想画像２１は、画像合成手段５３に送られる。

　画像合成手段５３は、画像変形手段５２により変形された仮想画像２１を実画像２０に重ね合わせる。画像合成手段５３は、撮像装置１３により撮像した実画像２０を取得すると、これを用いてメインメモリ内に現実空間画像を描く。そして、画像変形手段５２から仮想画像２１の情報を取得すると、先に描画した現実空間画像上に、実画像２０の絶対座標と仮想画像２１に付与された位置座標とに基づいて、仮想画像２１を重畳描画し、新たな画像（合成画像）を生成する。ここで生成された合成画像の情報は、表示手段５４に送られる。

　表示手段５４は、画像合成手段５３により生成された画像を表示装置３に表示させる。表示手段５４は、方向検知手段３２による情報に基づいて、メインメモリ内に描画された合成画像から表示領域を決定する表示画像決定手段５７と、この表示画像決定手段５７により決定された表示領域の画像を各頭部装着型表示装置３１に表示させる画像表示手段５８とを備えている。

　表示画像決定手段５７は、頭部装着型表示装置３１に設けられた方向検知手段３２が検知した搭乗者９の向いた方向から搭乗者９の視界領域を算出し、その算出された視界領域を表示領域として合成画像から切り取って抽出することで、頭部装着型表示装置３１に出力する画像を決定する。表示画像決定手段５７は、頭部装着型表示装置３１ごとに処理を行ない、それぞれ異なる視界領域を算出し、その視界領域に応じた画像を決定する。この表示画像決定手段５７により決定された情報は、画像表示手段５８に送信される。

　画像表示手段５８は、表示画像決定手段５７により決定された合成画像を各頭部装着型表示装置３１に表示させる。画像表示手段５８は、表示画像決定手段５７からの画像情報を受け取ると、車両１内に配置された各頭部装着型表示装置３１にその合成画像を表示させる。

　このように構成された車両システムの動作を説明する。図４には、この車両システムの動作の一例を示すフローチャートを示す。

　車両１を走行させ、制御装置５の処理をスタートさせると（Ｓ１）、制御装置５は、車両１周囲の画像を撮像するよう撮像装置１３を動作させる（Ｓ２）。撮像装置１３が車両１周囲の風景の画像を撮るのとほぼ同時に、制御装置５は、ＧＰＳ受信機４により車両１の位置を測定させて車両１の位置情報を取得する（Ｓ３）。次いで制御装置５は、車両１の位置情報に基づいて画像変形手段５２により仮想画像２１の大きさ・姿勢を変形させる（Ｓ４）。画像合成手段５３は、メインメモリ内に実画像２０から現実空間画像を描画し（Ｓ５）、その上で、仮想画像２１に付与された位置座標情報に基づいて現実空間画像上に仮想画像２１を重畳描画する（Ｓ６）。次いで制御装置５は、方向検知手段３２により各表示装置３の姿勢情報を取得し（Ｓ７）、この方向検知手段３２から搭乗者９の視界領域を算出し、この視界領域に対応する表示領域を決定する（Ｓ８）。そして制御装置５は、表示画像決定手段５７により決定された画像を、各頭部装着型表示装置３１に表示させる（Ｓ９）。次いで制御装置５は、処理終了の信号の有無を判断し（Ｓ１０）、処理終了の信号を受けていない場合には、ステップＳ１の処理に戻り、ステップＳ１～Ｓ１０の処理を繰り返す。処理終了の信号を受けた場合には、撮像装置１３の画像の撮影を終了させ、制御装置５の処理も終了する（Ｓ１１）。

　このような構成の車両システムは、走行する車両１の移動と、搭乗者９の視界の移動とに応じて表示装置３に表示させる画像を連続的に変化させ、仮想画像２１があたかも現実の風景内に存在するかのように表現できるため、従来のようにその場から視界だけを移動させて複合現実感を得ていた場合と比べて、搭乗者９に対し一層リアルな感覚を与えることができる。しかも、車両１の移動と搭乗者９の自由な視界の変化とを複合した視点の移動に対して、仮想画像２１を変化させるため、より臨場感を与えることができる。

　しかも本実施形態の車両システムは、撮像装置１３が全方位カメラ１４にて構成されており、車両１周囲の合成画像を生成した上で表示領域を決定するよう構成されているため、複数の頭部装着型表示装置３１を用いた場合であっても、頭部装着型表示装置３１ごとにＣＣＤカメラを必要とせず、大幅なコストダウンを図ることができる。車両１の走行速度は遅い速度でほぼ一定であるのに対し、搭乗者９の視界の移動速度は一定ではないのであるが、処理に負担のかかる重畳処理を行った上で、その合成画像から、各頭部装着型表示装置３１に表示させる表示領域を決定するため、負担のかかる処理を極力少なくさせることができる。つまり、頭部装着型表示装置３１ごとにＣＣＤカメラを取り付けたものは、当該表示装置３ごとに重畳処理を高速で行なう必要があるため負担が大きくなるが、本実施形態の車両システムでは、この高負担を回避できる。

　また表示装置３により表示される画像は、仮想画像２１が現実の風景を撮像した実画像２０に対して重畳されたものであるため、天候や明るさ等の周囲の環境がそのまま反映される。これにより、例えば、予め収録しておいた録画画像を車両１の動きに合わせて単に放映するものに比べて、より一層臨場感が増すものとなる。

　また本実施形態の車両システムは、上記のような処理を高速で行なう制御装置５が相当な大きさとなってしまうが、当該制御装置５が車両１に搭載されているため、制御装置５を車両１と共に移動させることができ、移動しながらもより高速な処理を行なうことができる。

　また本実施形態の車両システムは、コンテンツの変更に当たって、記憶部５１に記憶された仮想画像２１を修正・変更するだけでよいので、定期的にコンテンツの変更を行なうことで、リピータの獲得も期待できる。

　この仮想画像２１のコンテンツとして、例えば次のようなものが挙げられる。

　本実施形態の仮想画像２１のような歴史上の風景に限られず、未来を予想した風景を模したＣＧ画像や戦国時代の戦の様子を模したＣＧ画像が挙げられる。この場合、戦の様子を動画とすることも可能であり、これにより一層臨場感や面白みを付与することができる。また、石器時代の住居などをＣＧ画像とするのもよい。

　また古墳や塔などに対し、名称や観光情報や説明文が記載された仮想画像２１が挙げられる。これにより、表示装置３による表示を映像ガイドとして利用することもできる。また、建物の前に企業名を表示させたり、空中へ浮かぶアドバルーンに特定の企業名や商品名やブランド名を記載したりする、いわゆるデジタルサイネージ（電子広告）を仮想画像２１として利用することもできる。

　さらに仮想画像２１は、地中や建物の内部を透過させて表現したものをＣＧ画像を利用して作成したり、夜に使用するものとして、オーロラ・稲妻・宇宙・星座といった画像をＣＧ画像を利用して作成したものであったりしてもよい。

　また制御装置５は、表示装置３に表示される内容を、搭乗者９が奥行きや立体感を認知できるようにする３Ｄ方式を適用したものとしてもよい。すなわち、右目で見える内容と左目で見える内容とで異ならせた画像を生成し、搭乗者９に表示装置３の表示内容が立体的なものと認知させるための画像を生成する３Ｄ画像形成手段を制御装置５に設けてもよい。これにより一層臨場感に富んだコンテンツを提供できる。

　次に、実施形態２について図５に基づいて説明する。なお、本実施形態は実施形態１と大部分において同じであるため、同じ部分においては同符号を付して説明を省略し、主に異なる部分について説明する。

　本実施形態の車両１システムは、実施形態１と同様、車両１に搭載されて使用される車両用画像処理システムである。本実施形態の車両システムは、撮像装置１３と表示装置３と制御装置５とを備えている。

　撮像装置１３は、車両１から当該車両１の外の風景を撮影し、これにより実画像２０を生成する。撮像装置１３は、車両１に取り付けられている。詳しく言うと、撮像装置１３は、車両１の天井に設けられている。撮像装置１３は全方位カメラ１４により構成されている。撮像装置１３は、車両１の外の風景との間に投影面を設定し、この投影面に車両１の外の風景を投影する。投影面は、撮像装置１３から一定距離離れた箇所に設定される。

　撮像装置１３は、全方位に亘って投影面を形成するものであってもよいし、所定の領域のみに投影面を形成するものであってもよい。

　実画像２０は、投影面上に、車両１の外の風景が投影されたものである。言い換えると実画像２０は、車両１の外の風景からなる３次元物体が投影された２次元平面により構成されている。

　撮像装置１３は、ＧＰＳ受信機４からＧＰＳ信号が入力される。撮像装置１３は、実画像２０の画像データ及びＧＰＳ信号を、制御装置５の画像合成手段５３に出力する。

　制御装置５は、車両位置認識手段６１と、画像変形手段５２と、記憶部５１と、画像合成手段５３と、表示手段５４とを備えている。制御装置５は、車両１に搭載されている。

　車両位置認識手段６１は、ＧＰＳ受信機４から出力されたＧＰＳ信号が入力される。車両位置認識手段６１は、ＧＰＳ信号に基づいて、絶対座標系（いわゆるワールド座標系）内の現在の車両１の位置を認識する。車両位置認識手段６１は、車両１位置の認識情報を画像変形手段５２に出力する。

　記憶部５１は、仮想画像メモリ５１０により構成されている。記憶部５１は、ワールド座標系内の所定の位置に関連付けられた仮想画像２１のデータを複数記憶している。言い換えると記憶部５１は、絶対座標系内の特定の位置と関連付けられた仮想画像２１を複数記憶している。記憶部５１は、仮想画像取得手段６３からの信号を受けて、一セットの仮想画像２１の各データを仮想画像取得手段６３に出力する。

　ここで一セットの仮想画像２１は、複数の仮想画像２１により構成されている。この一セットの仮想画像２１は、車両１の位置により決まる複数の仮想画像２１である。

　画像変形手段５２は、仮想画像取得手段６３と、補正手段５６と、仮想画像変形手段５５とを備えている。補正手段５６については、実施形態１のものと同じであるので、説明を省略する。

　仮想画像取得手段６３は、車両位置認識手段６１からの信号が入力されると、ワールド座標系内の車両１の位置に対応した複数の仮想画像２１のセットを出力する旨の信号を、記憶部５１に出力する。記憶部５１は、その信号を受けて仮想画像取得手段６３に、一セットの仮想画像２１のセットを出力する。仮想画像取得手段６３は、複数の仮想画像２１の画像データが入力されると、そのデータを補正手段５６に出力する。

　補正手段５６は、仮想画像取得手段６３からのデータを受けとると、実施形態１と同じように、補正を行う。補正手段５６は、補正後のデータを、仮想画像変形手段５５に出力する。

　仮想画像変形手段５５は、各仮想画像２１にそれぞれ関連付けられた特定の位置と車両１の位置とから、車両１に対する前記仮想画像２１の距離及び相対角度を算出する。仮想画像変形手段５５は、この算出した情報に基づいて、仮想画像２１を変換する。

　言い換えると、仮想画像変形手段５５は、ワールド座標系内の車両１の位置情報と、各仮想画像２１に関連付けられたワールド座標系内の位置情報とから、ワールド座標系内の車両１と仮想画像２１との距離と相対角度とを算出する。仮想画像変形手段５５は、ワールド座標系内の車両１と仮想画像２１との距離と相対角度とを算出すると、その値に基づいて、仮想画像２１を変形する。仮想画像変形手段５５は、車両１と仮想画像２１との距離と相対角度との算出した値に基づいて、ローカル座標系内の仮想画像２１に対してアフィン変換や射影変換等を行い、これにより仮想画像２１を変換する。

　なお相対角度は、基準に対する角度である。言い換えると、ワールド座標系において、車両１を原点とした場合における軸に対する角度である。

　記憶部５１及び仮想画像変形手段５５は、次のようなものでもよい。記憶部５１は、複数の３次元仮想物体を記憶する。仮想画像変形手段５５は、車両１と仮想画像２１との間の距離と相対角度とから、ローカル座標系内の３次元仮想物体を回転させ、これにより仮想画像２１を生成する。言い換えると、仮想画像変形手段５５は、車両１と仮想画像２１との間の距離と相対角度とに基づいて、記憶部５１に記憶された仮想画像２１を、実画像２０に重畳するための画像に変換する。

　仮想画像変形手段５５は、仮想画像２１を変形すると、その画像データを画像合成手段５３に出力する。

　画像合成手段５３は、座標割り当て手段５９と、位置合わせ手段６０とを備えている。

　座標割り当て手段５９は、撮像装置１３から入力された実画像２０の画像データとＧＰＳ信号とから、実画像２０内の座標系（いわゆるスクリーン座標系）と、ワールド座標系とを関連付ける。座標割り当て手段５９は、スクリーン座標系をワールド座標系に座標変換する。言い換えると、座標割り当て手段５９は、実画像２０内の特定の箇所に、ワールド座標系の位置情報を対応付ける。座標割り当て手段５９は、実画像２０内の特定の箇所にワールド座標系の位置情報を対応付けた信号を位置合わせ手段６０に出力する。

　位置合わせ手段６０は、ワールド座標系の位置情報を基準にして、実画像２０と仮想画像２１（仮想画像変形手段５５により変換された後の画像を含む）とを重ね合わせる。言い換えると、位置合わせ手段６０は、絶対座標系の位置情報を基準にして実画像２０と仮想画像２１とを重ね合わせる。これにより位置合わせ手段６０は、合成画像を生成する。位置合わせ手段６０は、合成画像の画像データを、表示手段５４に出力する。

　表示手段５４は、表示画像決定手段５７と、画像表示手段５８とを備えている。

　表示画像決定手段５７は、頭部装着型表示装置３１の方向検知手段３２から出力された信号を受信する。また表示画像決定手段５７は、位置合わせ手段６０から出力された信号を受信する。表示画像決定手段５７は、方向検知手段３２からの信号に基づいて、搭乗者の視界領域を算出する。表示画像決定手段５７は、その視界領域に相当する合成画像の箇所を抽出し、これにより頭部装着型表示装置３１に出力する画像（表示画像）を決定する。

　表示画像決定手段５７は、頭部装着型表示装置３１ごとに処理を行ない、それぞれ異なる視界領域を算出し、その視界領域に応じた画像を抽出し、これにより表示画像を決定する。この表示画像決定手段５７は、表示画像のデータを、画像表示手段５８に出力する。

　画像表示手段５８は、表示画像決定手段５７により出力された合成画像のデータに基づいて、各頭部装着型表示装置３１に表示させる。画像表示手段５８は、表示画像決定手段５７からデータが入力されると、表示装置３に合成画像を表示させるためのデータを出力する。

　次に実施形態３について説明する。なお、本実施形態は実施形態１と大部分において同じであるため、同じ部分においては説明を省略し、主に異なる部分について説明する。

　本実施形態の車両１システムは、実施形態１と同様、車両１に搭載されて使用される車両用画像処理システムである。本実施形態の車両システムは、撮像装置１３と表示装置３と制御装置５とを備えている。本実施形態の車両システムは、撮像装置１３と表示装置３との構成が、実施形態１と同じである。

　制御装置５は、マーカ認識型の複合現実感（拡張現実感や拡張仮想感も含む）技術を適用した装置である。制御装置５は、マーカ認識手段６２と、画像変形手段５２と、記憶部５１と、画像合成手段５３と、表示手段５４とを備えている。制御装置５は、実画像２０の所定の位置に、当該位置に対応した仮想画像２１を重ね合わせることにより合成画像を生成し、その合成画像を表示装置３に表示させる。制御装置５は、車両１に搭載されている。

　マーカは、平面視正方形の枠状に形成された第１の認識部と、第１の認識部の内部に形成された第２の認識部とを備えている。第１の認識部は、全周に亘って一定幅で形成されており、黒枠で形成されている。第２の認識部は、仮想画像２１ごとに異なるマークにより構成されている。第２の認識部は、第１の認識部としての黒枠内に形成されている。

　マーカ認識手段６２は、撮像装置１３により生成された実画像２０内におけるマーカの存在を認識する。マーカ認識手段６２は、マーカの第１の認識部を検出し、これによりマーカの存在を認識する。マーカ認識手段６２は、第２の認識部を検出し、これと記憶部５１のマーカメモリ５１１に記憶されたマークとを照合させ、第２の認識部を認識する。マーカ認識手段６２は、第１の認識部と第２の認識部との投影面に投影された形状に基づいて、マーカの大きさと角度とを認識する。

　マーカ認識手段６２は、実画像２０のスクリーン座標系内におけるマーカの位置情報を画像合成手段５３に出力する。またマーカ認識手段６２は、記憶部５１と照合された第２の認識部の情報と、マーカの大きさと角度とを画像変形手段５２に出力する。

　画像変形手段５２は、仮想画像取得手段６３と、補正手段５６と、仮想画像変形手段５５とを備える。

　仮想画像取得手段６３は、マーカ認識手段６２により入力された情報に基づいて、仮想画像メモリ５１０から仮想画像２１を取得する。

　記憶部５１は、仮想画像メモリ５１０とマーカメモリ５１１とを備えている。仮想画像メモリ５１０は、第２の認識部のマークに関連付けられた仮想画像２１のデータを複数記憶している。仮想画像メモリ５１０は、仮想画像取得手段６３からの信号を受けて、仮想画像２１の各データを仮想画像取得手段６３に出力する。マーカメモリ５１１は、ワールド座標系内に配置された第２の認識部のマークと適合するマークが複数記憶されている。

　仮想画像変形手段５５は、マーカ認識手段６２により入力されたマーカの大きさと角度とを受信し、これに基づいて、仮想画像２１を実画像２０に重ね合わせるべき形状に変換する。仮想画像変形手段５５は、この変換後の画像データを画像合成手段５３に出力する。

　画像合成手段５３は、マーカ認識手段６２により認識されたマーカの位置に、変換後の仮想画像２１を重ね合わせ、これにより合成画像を生成する。言い換えると、実画像２０の所定の位置に、当該位置に対応した仮想画像２１を重ね合わせることにより合成画像を生成する。画像合成手段５３は、合成画像のデータを表示手段５４に出力する。

　表示手段５４は、合成画像を表示装置３に表示させる。表示手段５４は、実施形態２と同じように、表示画像決定手段５７と画像表示手段５８とを備える。表示手段５４については、実施形態２の構成と同じであるため、説明は省略する。

　なお、マーカは、車両１の外側に存在する特定の３次元物体であってもよい。３次元物体には、特定の形状をした石，石碑、植物，建造物等が挙げられる。この場合、マーカ認識手段６２は、マーカ上の複数の特徴点を認識し、これにより特定のマーカを認識する。マーカ上の特徴点は、マーカの角部や直線部等が挙げられる。

　なお、実施形態１～３の車両１は、複数の乗客を搭乗可能な自動車によって構成されていたが、本発明の車両は、例えば複数の車両が連結された列車や、単独の搭乗者が乗車する自転車のような軽車両であってもよく、自動車にのみ限定されない。

　また、本実施形態の車両システムは、制御装置５と表示装置３と撮像装置１３との情報の出入力を、有線で行なっていたが、本発明の表示装置は、無線通信を利用してもよい。つまり、制御装置５は車両１の外に設けられていてもよい。この場合、制御装置５及び撮像装置１３及び表示装置３に、無線通信用の送受信部が設けられる。

　１　　　車両
　１１　　運転席
　１２　　座席
　１３　　撮像装置
　１４　　全方位カメラ
　１５　　基台
　１６　　ガラス
　２０　　実画像
　２１　　仮想画像
　３　　　表示装置
　３１　　頭部装着型表示装置
　３２　　方向検知手段
　４　　　ＧＰＳ装置
　５　　　制御装置
　５１　　記憶部
　５２　　画像変形手段
　５３　　画像合成手段
　５４　　表示手段
　５５　　位置・姿勢算出手段
　５６　　補正手段
　５７　　表示画像決定手段
　５８　　画像表示手段
　９　　　搭乗者

Claims

　車両に使用される車両システムであって、
前記車両から風景を撮影してこれにより実画像を生成する撮像装置と、
前記車両内に配置された表示装置と、
前記実画像の所定の位置に、当該位置に対応した仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を表示装置に表示させる制御装置と
を備えている車両システム。
　前記制御装置が前記車両に搭載されたものである
請求項１記載の車両システム。
　前記制御装置は、
前記仮想画像を記憶する記憶部と、
前記実画像の所定の位置に、当該位置に対応した前記仮想画像を重ね合わせ、これにより合成画像を生成する画像合成手段と、
前記合成画像を前記表示装置に表示させる表示手段と
を備えている
請求項１又は請求項２に記載の車両システム。
　ＧＰＳ衛星からのＧＰＳ信号を受信するため前記車両に設けられたＧＰＳ受信機をさらに備え、
前記記憶部は、絶対座標系内の特定の位置と関連付けられた前記仮想画像を複数記憶しており、
前記画像合成手段は、
前記実画像内の特定の箇所に絶対座標系の位置情報を対応付ける座標割り当て手段と、
絶対座標系の位置情報を基準にして前記実画像と前記仮想画像とを重ね合わせる位置合わせ手段と
を有している
請求項３記載の車両システム。
　前記制御装置は、
前記ＧＰＳ受信機に基づいて、絶対座標系内の現在の前記車両の位置を認識する車両位置認識手段と、
前記各仮想画像にそれぞれ関連付けられた特定の位置と前記車両の位置とから、前記車両に対する前記仮想画像の距離及び相対角度を算出し、これに基づいて前記仮想画像を変換する仮想画像変形手段と
を備え、
前記位置合わせ手段により前記実画像と重ね合わせられる前記仮想画像が、前記仮想画像変形手段により生成された画像である
請求項４記載の車両システム。
　搭乗者の向く方向を検知する方向検知手段をさらに備え、
前記表示装置が、複数の頭部装着型表示装置であり、
前記撮像装置が全方位カメラであり、
前記表示手段は、前記合成画像のうち前記方向検知手段により検知された搭乗者の向く方向に対応する領域を抽出し、これにより各頭部装着型表示装置に表示させる表示画像を決定する表示画像決定手段と、
前記表示画像を頭部装着型表示装置に表示させる画像表示手段と
を有している
請求項５記載の車両システム。
　前記方向検知手段が前記頭部装着型表示装置に設けられている
請求項６記載の車両システム。
　前記仮想画像が、現在とは異なる時代の風景を模したコンピュータグラフィックス画像である
請求項１～７のいずれか一項に記載の車両システム。