JP6717516B2 - 画像生成システム、画像生成方法及びプログラム - Google Patents

Description

本発明は、画像生成システム、画像生成方法及びプログラムに関する。

実空間を撮影した実写画像と仮想空間の画像などといったコンピュータグラフィックス（ＣＧ）の画像とを合成した画像を生成できる鉄道シミュレータが知られている。このような鉄道シミュレータの一例として、特許文献１には、走行中の電車の運転席から見た実情景を撮像した実写動画像データと３次元ＣＧモデルとを合成した合成画像を生成できる鉄道シミュレータが記載されている。

特許文献１に記載の技術では、予め撮像した実写動画像データからフレーム間トラッキングにより特定される特徴点の画面上の位置と特徴点の３次元情報のうち仮想した視点からの距離でない情報とから距離情報が算出される。そして算出された距離情報をもとに生成される３次元ＣＧモデルの画像と実写動画像データの再生映像とを合成した合成画像が生成される。

特開２００８−１５５７６号公報

しかし特許文献１に記載の技術では、合成画像を生成するにあたって、特徴点の画面上の位置の特定、距離情報の算出、距離情報に基づくＣＧモデルの画像の生成などの様々な演算処理を実行する必要があり、処理負荷が重い。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、軽い処理負荷で実空間を撮影した実写画像と仮想空間の画像とを合成した画像を生成できる画像生成システム、画像生成方法及びプログラムを提供することにある。

本発明に係る画像生成システムは、実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、仮想空間内の仮想車両位置と関連付けて記憶する実写画像記憶手段と、ユーザの操作に応じて、前記仮想空間内の前記仮想車両位置を更新する仮想車両位置更新手段と、更新後の前記仮想車両位置に対応する前記仮想空間内の視点の位置から前記仮想空間を見た様子を表す仮想空間画像を生成する仮想空間画像生成手段と、更新後の前記仮想車両位置に基づいて特定される１又は複数の前記実写画像を前記実写画像記憶手段から取得する実写画像取得手段と、生成される前記仮想空間画像と取得される１又は複数の前記実写画像との合成画像を生成する合成画像生成手段と、を含む。

本発明の一態様では、前記実写画像記憶手段は、前記実鉄道車両に設けられた複数の前記カメラによりそれぞれ撮影された複数の前記実写画像の組合せを、前記仮想車両位置と関連付けて記憶し、前記仮想空間画像生成手段は、更新後の前記仮想車両位置に対応する、それぞれいずれかの前記カメラに対応する前記仮想空間内の複数の視点についての、当該視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像を生成し、前記実写画像取得手段は、更新後の前記仮想車両位置に基づいて特定される、１又は複数の前記組合せを前記実写画像記憶手段から取得し、前記合成画像生成手段は、前記複数の前記カメラのそれぞれについて、当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像と、取得される１又は複数の前記組合せに含まれる、当該カメラにより撮影された１又は複数の前記実写画像との合成画像を生成する。

この態様では、運転士訓練者による模擬運転操作が行われる運転士操作卓と、車掌訓練者が乗り降り可能な模擬鉄道車両と、前記模擬鉄道車両に隣接して設けられている模擬プラットホームと、前記実鉄道車両の前方に位置し前方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記運転士操作卓の前方に配置されている表示パネルと、前記実鉄道車両の側方に位置し前方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記模擬プラットホームの前方に設けられている表示パネルと、をさらに含んでもよい。

あるいは、車掌訓練者が乗り降り可能な模擬鉄道車両と、前記模擬鉄道車両の側面に隣接して設けられている模擬プラットホームと、前記実鉄道車両の後方に位置し後方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記模擬鉄道車両の後方に設けられている表示パネルと、前記実鉄道車両の側方に位置し前方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記模擬プラットホームの前方に設けられている表示パネルと、をさらに含んでもよい。

また、本発明の一態様では、前記合成画像生成手段は、前記ユーザの操作に応じた前記合成画像の生成を所定の時間間隔で繰り返し実行する。

また、本発明に係る画像生成方法は、ユーザの操作に応じて、仮想空間内の仮想車両位置を更新するステップと、更新後の前記仮想車両位置に対応する前記仮想空間内の視点の位置から前記仮想空間を見た様子を表す仮想空間画像を生成するステップと、実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、前記仮想空間内の前記仮想車両位置と関連付けて記憶する実写画像記憶手段から、更新後の前記仮想車両位置に基づいて特定される１又は複数の前記実写画像を取得するステップと、生成される前記仮想空間画像と取得される１又は複数の前記実写画像との合成画像を生成するステップと、を含む。

また、本発明に係るプログラムは、ユーザの操作に応じて、仮想空間内の仮想車両位置を更新する手順、更新後の前記仮想車両位置に対応する前記仮想空間内の視点の位置から前記仮想空間を見た様子を表す仮想空間画像を生成する手順、実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、前記仮想空間内の前記仮想車両位置と関連付けて記憶する実写画像記憶手段から、更新後の前記仮想車両位置に基づいて特定される１又は複数の前記実写画像を取得する手順、生成される前記仮想空間画像と取得される１又は複数の前記実写画像との合成画像を生成する手順、をコンピュータに実行させる。

本発明の一実施形態に係る鉄道シミュレータシステムの全体構成の一例を示す外観斜視図である。 模擬鉄道車両及び運転士操作卓の構成の一例を示す図である。 実写画像管理データのデータ構造の一例を示す図である。 仮想空間の一例を示す図である。 仮想鉄道車両オブジェクトの位置及び向きの特定の一例を説明する説明図である。 仮想空間内で仮想鉄道車両オブジェクトの前方に仮想人物オブジェクトが位置する状況の一例を示す図である。 前方仮想空間画像の一例を示す図である。 前方実写フレーム画像の一例を示す図である。 前方合成画像の一例を示す図である。 仮想空間内で仮想鉄道車両オブジェクトの右横に仮想人物オブジェクトが位置する状況の一例を示す図である。 前方合成画像の一例を示す図である。 右側方仮想空間画像の一例を示す図である。 右側方実写フレーム画像の一例を示す図である。 右側方合成画像の一例を示す図である。 仮想空間内で仮想鉄道車両オブジェクトの右横に仮想人物オブジェクトが位置する状況の一例を示す図である。 右側方仮想空間画像の一例を示す図である。 右側方実写フレーム画像の一例を示す図である。 右側方合成画像の一例を示す図である。 仮想空間内で仮想鉄道車両オブジェクトの後方に仮想人物オブジェクトが位置する状況の一例を示す図である。 後方仮想空間画像の一例を示す図である。 後方実写フレーム画像の一例を示す図である。 後方合成画像の一例を示す図である。 本発明の一実施形態に係るサーバの機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る鉄道シミュレータシステム１の全体構成の一例を示す外観斜視図である。

図１に例示する鉄道シミュレータシステム１は、車掌や運転士の業務の訓練に用いられる、実空間内を移動する実際の鉄道車両（実鉄道車両）を模したシステムである。以下、車掌の業務の訓練を行う者を車掌訓練者と呼び、運転士の業務の訓練を行う者を運転士訓練者と呼ぶこととする。なお図１に例示する鉄道シミュレータシステム１の用途は車掌や運転士の業務の訓練には限定されない。鉄道シミュレータシステム１が例えば車掌や運転士の模擬体験などに用いられてもよい。

図１に示すように、本実施形態に係る鉄道シミュレータシステム１には、主な構成として、模擬鉄道車両１０と、運転士操作卓２０と、車掌教官卓３０と、運転士教官卓４０とが含まれる。

模擬鉄道車両１０は、実鉄道車両の後方の一部を模したものである。車掌訓練者は、模擬鉄道車両１０に乗り降り可能となっている。模擬鉄道車両１０内には模擬車掌室１１が設けられ、模擬車掌室１１の後方には後方表示パネルＰ１が設けられている。

また模擬鉄道車両１０の左側の側面に隣接して左側模擬プラットホーム１２が設けられている。そして左側模擬プラットホーム１２の前方に左側方表示パネルＰ２が設けられている。また模擬鉄道車両１０の右側の側面に隣接して右側模擬プラットホーム１３が設けられている。そして右側模擬プラットホーム１３の前方に右側方表示パネルＰ３が設けられている。

運転士操作卓２０は、実鉄道車両の運転室にある操作卓を模したものである。運転士操作卓２０では、運転士訓練者による模擬運転操作が行われる。運転士操作卓２０には、例えばレバー等を含む走行指令部２１が設けられている。また、運転士操作卓２０の前方には前方表示パネルＰ４が設けられている。

なお模擬車掌室１１及び運転士操作卓２０のそれぞれには、運転士訓練者と車掌訓練者とが相互に連絡を取り合うための音声通信機器が設けられていてもよい。

また模擬鉄道車両１０と運転士操作卓２０とは、同じ空間に設けられている必要はなく、例えば、壁で仕切られた隣の部屋にそれぞれ設けられていてもよい。また模擬鉄道車両１０と運転士操作卓２０とは互いに離れた場所に設けられてもよい。それにより、車掌訓練者と運転士訓練者とが遠隔の地にいる場合であっても、互いに連携して訓練を行うことができる。

車掌教官卓３０では、車掌教官により車掌訓練者の監視等が行われる。車掌教官卓３０上には複数の表示パネル等が設けられており、それら表示パネルを車掌教官が確認することにより車掌訓練者の訓練状況を監視できる。

運転士教官卓４０では、運転士教官により運転士訓練者の監視等が行われる。運転士教官卓４０上には複数の表示パネル等が設けられており、それら表示パネルを運転士教官が確認することにより運転士訓練者の訓練状況を監視できる。

図２は、模擬鉄道車両１０及び運転士操作卓２０の構成の一例を示す図である。図２に示すように、本実施形態に係る模擬鉄道車両１０には、サーバ５０が含まれている。また本実施形態に係る運転士操作卓２０には、サーバ５２が含まれている。

サーバ５０には、例えば、プロセッサ５０ａ、記憶部５０ｂ、及び、通信部５０ｃが含まれている。プロセッサ５０ａは、例えばサーバ５０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部５０ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５０ｂには、プロセッサ５０ａによって実行されるプログラムなどが記憶される。通信部５０ｃは、例えばサーバ５２との間でデータを授受するためのネットワークボードなどの通信インタフェースである。サーバ５０は、通信部５０ｃを経由してサーバ５２との間で情報の送受信を行う。

サーバ５２には、例えば、プロセッサ５２ａ、記憶部５２ｂ、及び、通信部５２ｃが含まれている。プロセッサ５２ａは、例えばサーバ５２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部５２ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２ｂには、プロセッサ５２ａによって実行されるプログラムなどが記憶される。通信部５２ｃは、例えばサーバ５０との間でデータを授受するためのネットワークボードなどの通信インタフェースである。サーバ５２は、通信部５２ｃを経由してサーバ５０との間で情報の送受信を行う。

本実施形態では、予め、鉄道シミュレータシステム１を用いた訓練の対象となる実空間の鉄道路線を実鉄道車両が走行している間、当該実鉄道車両に設けられたカメラにより訓練に用いられる動画像が撮影される。

ここでは例えば、実鉄道車両に設けられた４個のカメラによって動画像が撮影されることとする。以下、これら４個のカメラをそれぞれ、後方実カメラ、左側方実カメラ、右側方実カメラ、及び、前方実カメラと呼ぶこととする。ここで後方実カメラは例えば、実鉄道車両の最後尾の車両の後方に位置し後方を向いている、車掌室から後方を撮影するカメラである。また左側方実カメラは例えば、実鉄道車両の最後尾の車両の車掌室の左側方に位置し前方を向いている、車掌室の左側方から前方を撮影するカメラである。また右側方実カメラは例えば、実鉄道車両の最後尾の車両の車掌室の右側方に位置し前方を向いている、車掌室の右側方から前方を撮影するカメラである。また前方実カメラは例えば、実鉄道車両の先頭の車両の前方に位置し前方を向いている、運転席から前方を撮影するカメラである。

上述のように実鉄道車両に設けられた４個のカメラによって動画像が撮影される場合は、それぞれ複数のフレーム画像を含む４個の動画像が生成されることとなる。以下、実鉄道車両に設けられたカメラが生成する動画像を実写動画像と呼ぶこととする。そして例えば後方実カメラ、左側方実カメラ、右側方実カメラ、及び、前方実カメラのそれぞれが生成する実写動画像を、それぞれ、後方実写動画像、左側方実写動画像、右側方実写動画像、及び、前方実写動画像と呼ぶこととする。

なお本実施形態では、後方実写動画像、左側方実写動画像、右側方実写動画像、及び、前方実写動画像は、撮影タイミングの同期がとれていることとする。そして、あるタイミングにおいて撮影された後方実写動画像のフレーム画像、左側方実写動画像のフレーム画像、右側方実写動画像のフレーム画像、及び、前方実写動画像のフレーム画像には、同じフレーム番号が設定されることとする。

また本実施形態では、予め、実写動画像に含まれるフレーム画像である実写画像の撮影タイミングにおける実鉄道車両の位置が特定されることとする。以下、このようにして特定される実鉄道車両の位置を、実車両位置と呼ぶこととする。ここで例えば、ＧＰＳモジュール等を用いることで、実写動画像に含まれる各フレーム画像の撮影の際に、当該フレーム画像の撮影タイミングにおける実車両位置が特定されるようにしてもよい。ここで例えば前方実カメラの位置や複数両編成である実鉄道車両の全体の中心の位置などといった実鉄道車両を代表する点の位置が、実車両位置として特定されてもよい。

そして本実施形態では以上のようにして撮影される実写動画像や当該実写動画像の撮影タイミングにおける実車両位置などが、実写画像管理データ（図３参照）によって管理される。実写画像管理データは例えばサーバ５０の記憶部５０ｂに記憶されてもよい。

図３は、本実施形態に係る実写画像管理データのデータ構造の一例を示す図である。図３に示すように、実写画像管理データには、実写画像セットＩＤ、後方実写フレーム画像、左側方実写フレーム画像、右側方実写フレーム画像、前方実写フレーム画像、実車両位置データ、仮想車両位置データが含まれる。実写画像管理データは、実写動画像に含まれる１個のフレーム画像に対応付けられるデータである。そのため例えばサーバ５０の記憶部５０ｂには、実写動画像に含まれるフレーム画像の数（実写動画像のフレーム数）の実写画像管理データが記憶されることとなる。

実写画像セットＩＤは、実写画像管理データの識別情報である。ここで例えば、実写画像セットＩＤの値としてフレーム番号が設定されてもよい。

実写画像管理データに含まれる後方実写フレーム画像、左側方実写フレーム画像、右側方実写フレーム画像、前方実写フレーム画像としては、当該実写画像管理データに含まれる実写画像セットＩＤに対応付けられるフレーム画像である実写画像が設定される。ここで例えば後方実写フレーム画像としては、後方実写動画像に含まれるフレーム画像である実写画像が設定される。また左側方実写フレーム画像としては、左側方実写動画像に含まれるフレーム画像である実写画像が設定される。また右側方実写フレーム画像としては、右側方実写動画像に含まれるフレーム画像である実写画像が設定される。また前方実写フレーム画像としては、前方実写動画像に含まれるフレーム画像である実写画像が設定される。このように本実施形態に係る実写画像管理データは、複数の実写画像の組合せが含まれることとなる。

実写画像管理データに含まれる実車両位置データの値としては、例えば、当該実写画像管理データに対応付けられるフレーム画像の撮影タイミングにおける実車両位置を示す値が設定される。ここで上述のように実車両位置データの値として実鉄道車両を代表する点の位置を示す値が設定されてもよい。また実車両位置データの値は例えば緯度と経度の組合せで表現されてもよい。

実写画像管理データに含まれる仮想車両位置データの値としては、当該実写画像管理データに含まれる実車両位置データが示す実車両位置に対応付けられる、図４に例示する仮想空間６０内の位置を示す値が設定される。以下、実車両位置に対応付けられる仮想空間６０内における位置を、仮想車両位置と呼ぶこととする。ここで仮想車両位置データの値は例えばＸ座標値、Ｙ座標値、及び、Ｚ座標値の組合せで表現されてもよい。

図４は、本実施形態に係る仮想空間６０の一例を示す図である。図４に示す仮想空間６０は３次元仮想空間である。また図４に示すように本実施形態に係る仮想空間６０には、実鉄道車両に対応付けられる仮想オブジェクトである、複数のポリゴンにより構成された仮想鉄道車両オブジェクト６２が配置される。ここで本実施形態に係る仮想鉄道車両オブジェクト６２は、透明に設定された不可視の仮想オブジェクトであることとする。

ここで例えば実鉄道車両が６両編成である場合は、仮想空間６０には、互いに連結された６個の仮想鉄道車両オブジェクト６２（６２ａ、６２ｂ、６２ｃ、６２ｄ、６２ｅ、及び、６２ｆ）が配置される。仮想鉄道車両オブジェクト６２ａは例えば実鉄道車両の先頭の車両に対応付けられる。また仮想鉄道車両オブジェクト６２ｂ、仮想鉄道車両オブジェクト６２ｃ、仮想鉄道車両オブジェクト６２ｄ、仮想鉄道車両オブジェクト６２ｅはそれぞれ例えば実鉄道車両の先頭から２両目、３両目、４両目、５両目の車両に対応付けられる。また仮想鉄道車両オブジェクト６２ｆは、例えば実鉄道車両の最後尾の車両に対応付けられる。

そして本実施形態では、上述のように、実空間内における実車両位置と仮想空間６０内における仮想車両位置とは１対１で対応付けられる。ここで本実施形態では、実写動画像が撮影された際の実空間内における実鉄道車両の軌道に相当する軌道が予め仮想空間６０に設定されていることとする。そして本実施形態では、図５に示すように、仮想車両位置及び当該軌道に基づいて、６個の仮想鉄道車両オブジェクト６２の位置及び向きが一意に特定されることとする。

図５は、仮想車両位置及び軌道に基づく仮想鉄道車両オブジェクトの位置及び向きの特定の一例を説明する説明図である。図５では、ゆるやかに右に曲がる仮想鉄道車両オブジェクト６２の軌道が二点鎖線で示されている。また図５では、仮想鉄道車両オブジェクト６２は当該軌道に沿って図５における下から上に向かって進行することとする。

ここで例えば実車両位置が前方実カメラの位置であるとする。そして仮想鉄道車両オブジェクト６２ａの前面の中心の位置Ａ１が仮想車両位置であることとする。この場合、仮想鉄道車両オブジェクト６２の進行方向に対して位置Ａ１の後方に位置する、位置Ａ１を中心とした半径の長さがｄである円と軌道との交点の位置Ａ２が特定される。同様にして上述の進行方向に対して位置Ａ２の後方に位置する、位置Ａ２を中心とした半径の長さがｄである円と軌道との交点の位置Ａ３が特定される。また上述の進行方向に対して位置Ａ３の後方に位置する、位置Ａ３を中心とした半径の長さがｄである円と軌道との交点の位置Ａ４が特定される。また上述の進行方向に対して位置Ａ４の後方に位置する、位置Ａ４を中心とした半径の長さがｄである円と軌道との交点の位置Ａ５が特定される。また上述の進行方向に対して位置Ａ５の後方に位置する、位置Ａ５を中心とした半径の長さがｄである円と軌道との交点の位置Ａ６が特定される。ここで半径の長さｄは特に問わないが、例えば１つの仮想鉄道車両オブジェクト６２の長さであってもよいし、１つの仮想鉄道車両オブジェクト６２の長さに余裕長を足した長さであってもよい。

そして仮想鉄道車両オブジェクト６２ａの前面の中心が位置Ａ１に位置し当該前面の法線方向が位置Ａ１における軌道の接線方向Ｂ１を向くよう仮想鉄道車両オブジェクト６２ａが仮想空間６０に配置される。また仮想鉄道車両オブジェクト６２ｂの前面の中心が位置Ａ２に位置し当該前面の法線方向が位置Ａ２における軌道の接線方向Ｂ２を向くよう仮想鉄道車両オブジェクト６２ｂが仮想空間６０に配置される。また仮想鉄道車両オブジェクト６２ｃの前面の中心が位置Ａ３に位置し当該前面の法線方向が位置Ａ３における軌道の接線方向Ｂ３を向くよう仮想鉄道車両オブジェクト６２ｃが仮想空間６０に配置される。また仮想鉄道車両オブジェクト６２ｄの前面の中心が位置Ａ４に位置し当該前面の法線方向が位置Ａ４における軌道の接線方向Ｂ４を向くよう仮想鉄道車両オブジェクト６２ｄが仮想空間６０に配置される。また仮想鉄道車両オブジェクト６２ｅの前面の中心が位置Ａ５に位置し当該前面の法線方向が位置Ａ５における軌道の接線方向Ｂ５を向くよう仮想鉄道車両オブジェクト６２ｅが仮想空間６０に配置される。また仮想鉄道車両オブジェクト６２ｆの前面の中心が位置Ａ６に位置し位置Ａ６における当該前面の法線方向が軌道の接線方向Ｂ６を向くよう仮想鉄道車両オブジェクト６２ａが仮想空間６０に配置される。このようにして仮想車両位置に対応する６個の仮想鉄道車両オブジェクト６２の位置及び向きが特定される。

また仮想空間６０内には、それぞれ実鉄道車両に設けられたカメラに対応付けられる視点（仮想カメラ）６４の位置及び視点６４における視線の向き（視線方向６６）が設定される。

図４には、視点６４ａ、視点６４ｂ、視点６４ｃ、及び、視点６４ｄの位置が示されている。また図４には、視点６４ａにおける視線の向きである視線方向６６ａ、視点６４ｂにおける視線の向きである視線方向６６ｂ、視点６４ｃにおける視線の向きである視線方向６６ｃ、及び、視点６４ｄにおける視線の向きである視線方向６６ｄも示されている。

図４に示す視点６４ａの位置、視点６４ｂの位置、視点６４ｃの位置、視点６４ｄの仮想空間６０内における位置は、それぞれ、後方実カメラ、左側方実カメラ、右側方実カメラ、前方実カメラの実空間内における位置に対応付けられる。また図４に示す視線方向６６ａ、視線方向６６ｂ、視線方向６６ｃ、及び、視線方向６６ｄは、それぞれ、後方実カメラ、左側方実カメラ、右側方実カメラ、前方実カメラの実空間内における撮影する向きに対応付けられる。

そのため本実施形態では図４に示すように、例えば視点６４ａは仮想鉄道車両オブジェクト６２ｆの後方に配置され視線方向６６ａは後方を向くこととなる。また例えば、視点６４ｂは仮想鉄道車両オブジェクト６２ｆの左側方に配置され視線方向６６ｂは前方を向くこととなる。また例えば、視点６４ｃは仮想鉄道車両オブジェクト６２ｆの右側方に配置され視線方向６６ｃは前方を向くこととなる。また例えば視点６４ｄは仮想鉄道車両オブジェクト６２ａの前方に配置され視線方向６６ｄは前方を向くこととなる。

そして本実施形態では例えば、視点６４ａ、視点６４ｂ、及び、視点６４ｃについては、仮想鉄道車両オブジェクト６２ｆの位置に対する相対的な位置が固定される。また視線方向６６ａ、視線方向６６ｂ、及び、視線方向６６ｃについては、仮想鉄道車両オブジェクト６２ｆの向きに対する相対的な向きが固定される。また視点６４ｄについては、仮想鉄道車両オブジェクト６２ａの位置に対する相対的な位置が固定される。また視線方向６６ｄについては、仮想鉄道車両オブジェクト６２ａの向きに対する相対的な向きが固定される。

また本実施形態では、上述のように、仮想車両位置に基づいて、６個の仮想鉄道車両オブジェクト６２の位置及び向きが一意に特定される。そのため図５に示すように、視点６４ａの位置、視点６４ｂの位置、視点６４ｃの位置、視点６４ｄの位置、視線方向６６ａ、視線方向６６ｂ、視線方向６６ｃ、及び、視線方向６６ｄについても、仮想車両位置（例えば図５における位置Ａ１）に基づいて一意に特定されることとなる。

なお後述のように、仮想空間６０に、複数のポリゴンにより構成された仮想人物オブジェクト６８（図６、図８、図１１及び図１３参照）などといった、仮想鉄道車両オブジェクト６２以外の仮想オブジェクトが配置されていてもよい。

本実施形態では鉄道シミュレータシステム１を用いた訓練が行われている期間に運転士訓練者等のユーザが行う走行指令部２１に対する操作に応じて、鉄道シミュレータシステム１において模されている実鉄道車両における実車両位置が変化する。そしてこの実車両位置の変化に応じて、仮想車両位置が変化し、当該仮想車両位置の変化に応じて、仮想空間６０内における仮想鉄道車両オブジェクト６２の位置及び向きが変化する。なお本実施形態では、仮想車両位置の変化に応じて、仮想空間６０に設定されている軌道に沿って仮想鉄道車両オブジェクト６２の位置及び向きが変化する。

そして本実施形態では、鉄道シミュレータシステム１を用いた訓練が行われている期間にわたって、所定のフレームレートで（例えば１／６０秒間隔で）４個のフレーム画像の組合せが生成される。そして生成される組合せに含まれるフレーム画像のそれぞれが後方表示パネルＰ１、左側方表示パネルＰ２、右側方表示パネルＰ３、及び、前方表示パネルＰ４に表示される。このようにして本実施形態では、訓練が行われている期間にわたって、所定のフレームレートで後方表示パネルＰ１、左側方表示パネルＰ２、右側方表示パネルＰ３、及び、前方表示パネルＰ４に表示されるフレーム画像が更新される。また本実施形態では、訓練が行われている期間にわたって、後方表示パネルＰ１、左側方表示パネルＰ２、右側方表示パネルＰ３、及び、前方表示パネルＰ４のそれぞれに動画像が表示されることとなる。

ここで本実施形態では例えば、後方表示パネルＰ１には、後方実写フレーム画像と仮想空間６０内において視点６４ａから視線方向６６ａを見た様子を表す仮想空間画像とを合成した合成画像をフレーム画像として含む動画像が表示される。以下、当該仮想空間画像を後方仮想空間画像と呼び、当該合成画像を後方合成画像と呼ぶこととする。

また左側方表示パネルＰ２には、左側方実写フレーム画像と仮想空間６０内において視点６４ｂから視線方向６６ｂを見た様子を表す仮想空間画像とを合成した合成画像をフレーム画像として含む動画像が表示される。以下、当該仮想空間画像を左側方仮想空間画像と呼び、当該合成画像を左側方合成画像と呼ぶこととする。

また右側方表示パネルＰ３には、右側方実写フレーム画像と仮想空間６０内において視点６４ｃから視線方向６６ｃを見た様子を表す仮想空間画像とを合成した合成画像をフレーム画像として含む動画像が表示される。以下、当該仮想空間画像を右側方仮想空間画像と呼び、当該合成画像を右側方合成画像と呼ぶこととする。

また前方表示パネルＰ４には、前方実写フレーム画像と仮想空間６０内において視点６４ｄから視線方向６６ｄを見た様子を表す仮想空間画像とを合成した合成画像をフレーム画像として含む動画像が表示される。以下、当該仮想空間画像を前方仮想空間画像と呼び、当該合成画像を前方合成画像と呼ぶこととする。

なお本実施形態に係る仮想空間画像は、仮想空間６０を見た様子をレンダリングしたコンピュータグラフィックス（ＣＧ）の画像である。

以下、図６〜図１０Ｃを参照しながら、合成画像の生成の一例について説明する。

例えばある時点（時点ｔ１）において、図６に示すように、仮想空間６０内で仮想鉄道車両オブジェクト６２ａの前方に仮想人物オブジェクト６８が位置する状況になったとする。なお図６には、仮想鉄道車両オブジェクト６２の軌道が二点鎖線で示されている。ここで例えば図６に示す仮想空間６０に対応付けられる実写動画像が撮影された際に実鉄道車両は実空間内においてゆるやかに1021曲がる軌道を進んだとする。この場合、図６に示すように仮想空間６０内における仮想鉄道車両オブジェクト６２の軌道はゆるやかに右に曲がる軌道となる。

そしてこの状況における仮想車両位置に基づいて、視点６４ａの位置、視点６４ｂの位置、視点６４ｃの位置、視点６４ｄの位置、視線方向６６ａ、視線方向６６ｂ、視線方向６６ｃ、及び、視線方向６６ｄが特定される。そして特定される視点６４の位置及び視線方向６６に基づいて、後方仮想空間画像、左側方仮想空間画像、右側方仮想空間画像、及び、前方仮想空間画像の組合せが生成される。図７Ａに、この状況において生成される前方仮想空間画像７０の一例を示す。

そしてこの状況における仮想車両位置が仮想車両位置データの値として設定された実写画像管理データが取得される。そして当該実写画像管理データに含まれる後方実写フレーム画像、左側方実写フレーム画像、右側方実写フレーム画像、及び、前方実写フレーム画像の組合せが取得される。図７Ｂに、この状況において取得される組合せに含まれる前方実写フレーム画像７２の一例を示す。

そして生成された後方仮想空間画像と取得された組合せに含まれる後方実写フレーム画像とを合成することで後方合成画像が生成される。また生成された左側方仮想空間画像と取得された組合せに含まれる左側方実写フレーム画像とを合成することで左側方合成画像が生成される。また生成された右側方仮想空間画像と取得された組合せに含まれる右側方実写フレーム画像とを合成することで右側方合成画像が生成される。また生成された前方仮想空間画像と取得された組合せに含まれる前方実写フレーム画像とを合成することで前方合成画像が生成される。図７Ｃに、図７Ａに示す前方仮想空間画像７０と図７Ｂに示す前方実写フレーム画像７２とを合成することにより生成される前方合成画像７４の一例を示す。

なお、この状況における仮想車両位置が仮想車両位置データの値として設定された実写画像管理データが存在しないことが考えられる。このような場合は、この状況における仮想車両位置に基づいて特定される複数の実写画像管理データが取得されてもよい。そして複数の実写画像管理データのそれぞれに含まれる実写画像を補間した画像と仮想空間画像とを合成した合成画像が生成されてもよい。

例えば、この状況における仮想車両位置の、上述の軌道に沿った前及び後のそれぞれについての、当該仮想車両位置に最も近い位置を示す仮想車両位置データを含む実写画像管理データが取得されてもよい。そしてこのようにして取得された２つの実写画像管理データのそれぞれに含まれる後方実写フレーム画像を補間した画像と生成された後方仮想空間画像とを合成することで後方合成画像が生成されてもよい。また取得された２つの実写画像管理データのそれぞれに含まれる左側方実写フレーム画像を補間した画像と生成された左側方仮想空間画像とを合成することで左側方合成画像が生成されてもよい。また取得された２つの実写画像管理データのそれぞれに含まれる右側方実写フレーム画像を補間した画像と生成された右側方仮想空間画像とを合成することで右側方合成画像が生成されてもよい。また取得された２つの実写画像管理データのそれぞれに含まれる前方実写フレーム画像を補間した画像と生成された前方仮想空間画像とを合成することで前方合成画像が生成されてもよい。

そしてこのようにして生成される後方合成画像、左側方合成画像、右側方合成画像、及び、前方合成画像が、それぞれ、後方表示パネルＰ１、左側方表示パネルＰ２、右側方表示パネルＰ３、及び、前方表示パネルＰ４に表示される。

その後、時点ｔ１より後である時点ｔ２において、仮想鉄道車両オブジェクト６２が図８に示す位置まで移動したとする。図８に示す状況では、仮想人物オブジェクト６８の仮想空間６０内における位置は変化していないが、仮想鉄道車両オブジェクト６２が移動したことによって仮想人物オブジェクト６８は仮想鉄道車両オブジェクト６２ｆの右横に位置している。

図９に、時点ｔ２の状況において生成される前方合成画像７６の一例を示す。図８に示すように、時点ｔ２の状況では、視点６４ｄの視野範囲には仮想人物オブジェクト６８が入らない。そのため、図９に示す前方合成画像７６には、仮想人物オブジェクト６８の像が含まれないこととなる。

図１０Ａに、時点ｔ２の状況において生成される右側方仮想空間画像７８の一例を示す。また図１０Ｂに、時点ｔ２の状況において取得される組合せに含まれる右側方実写フレーム画像８０の一例を示す。時点ｔ２の状況では視点６４ｃの視野範囲に仮想人物オブジェクト６８が入っている。そのため図１０Ａに示す右側方仮想空間画像７８には仮想人物オブジェクト６８の像が含まれることとなる。そして図１０Ａに示す右側方仮想空間画像７８と図１０Ｂに示す右側方実写フレーム画像８０とを合成することにより、図１０Ｃに示す右側方合成画像８２が生成される。このようにして生成される右側方合成画像８２は、右側方表示パネルＰ３に表示される。

以上のようにして、本実施形態では時点ｔ１において前方表示パネルＰ４に表示されていた仮想人物オブジェクト６８の像を、時点ｔ２において前方表示パネルＰ４に表示させないようにしつつ右側方表示パネルＰ３に表示させることができることとなる。

以下、図１１〜図１４Ｃを参照しながら、合成画像の生成の別の一例について説明する。

例えばある時点（時点ｔ３）において、図１１に示すように、仮想空間６０内で仮想鉄道車両オブジェクト６２ｅの右横に仮想人物オブジェクト６８が位置する状況になったとする。なお図１１には、仮想鉄道車両オブジェクト６２の軌道が二点鎖線で示されている。ここで例えば図１１に示す仮想空間６０に対応付けられる実写動画像が撮影された際に実鉄道車両は実空間内のゆるやかに右に曲がる軌道を進んだとする。この場合は図１１に示すように仮想鉄道車両オブジェクト６２の仮想空間６０内の軌道はゆるやかに右に曲がる軌道となる。

図１２Ａに、時点ｔ３の状況において生成される右側方仮想空間画像８４の一例を示す。また図１２Ｂに、時点ｔ３の状況において取得される組合せに含まれる右側方実写フレーム画像８６の一例を示す。図１１に示すように、時点ｔ３の状況では視点６４ｃの視野範囲に仮想人物オブジェクト６８が入っている。そのため図１２Ａに示す右側方仮想空間画像８４には仮想人物オブジェクト６８の像が含まれることとなる。そして図１２Ａに示す右側方仮想空間画像８４と図１２Ｂに示す右側方実写フレーム画像８６とを合成することにより、図１２Ｃに示す右側方合成画像８８が生成される。このようにして生成される右側方合成画像８８は、右側方表示パネルＰ３に表示される。

そして時点ｔ３より後である時点ｔ４において、仮想鉄道車両オブジェクト６２が図１３に示す位置に移動したとする。図１３に示す状況では、仮想人物オブジェクト６８の仮想空間６０内における位置は時点ｔ３と変化していないが、仮想鉄道車両オブジェクト６２が移動したことによって仮想人物オブジェクト６８は仮想鉄道車両オブジェクト６２ｆの後方に位置している。

図１４Ａに、時点ｔ４の状況において生成される後方仮想空間画像９０の一例を示す。また図１４Ｂに、時点ｔ４の状況において取得される組合せに含まれる後方実写フレーム画像９２の一例を示す。時点ｔ４の状況では視点６４ｃの視野範囲には仮想人物オブジェクト６８が入らないが視点６４ａの視野範囲に仮想人物オブジェクト６８が入っている。そのため図１４Ａに示す後方仮想空間画像９０には仮想人物オブジェクト６８の像が含まれることとなる。そして図１４Ａに示す後方仮想空間画像９０と図１４Ｂに示す後方実写フレーム画像９２とを合成することにより、図１４Ｃに示す後方合成画像９４が生成される。このようにして生成される後方合成画像９４は、後方表示パネルＰ１に表示される。

以上のようにして本実施形態では、時点ｔ３において右側方表示パネルＰ３に表示されていた仮想人物オブジェクト６８の像を、時点ｔ４において右側方表示パネルＰ３に表示させないようにしつつ後方表示パネルＰ１に表示させることができることとなる。

本実施形態では、合成画像を生成するにあたって、実写画像に対して手作業でＣＧを重畳させる作業を行う必要がない。また本実施形態では、合成画像を生成するにあたって、実写画像の画像解析によってコンピュータグラフィックス（ＣＧ）を配置する位置を決定する演算処理などといった負荷が重い処理を行う必要がない。そのため本実施形態によれば、手間をかけずに軽い処理負荷で、実写画像と仮想空間画像とを合成した画像を生成できることとなる。

また本実施形態では、仮想人物オブジェクト６８などの仮想オブジェクトをモデリングして仮想空間６０に配置することにより、複数の表示パネルに表示されるすべての画像についての当該仮想オブジェクトの像の配置が決定される。そのため本実施形態によれば、実写画像と仮想空間画像とを合成した画像を含む動画像を複数の表示パネルにおいて互いに整合がとれた状態で容易に表示させることができる。

なお仮想人物オブジェクト６８を構成するポリゴンの表面にカメラで実空間を撮影した実写画像がテクスチャとしてマッピングされていてもよい。このようにすればより実写に近い合成画像を生成することができる。

以下、本実施形態に係るサーバ５０の機能並びに本実施形態に係るサーバ５０で実行される処理についてさらに説明する。

図１５は、本実施形態に係るサーバ５０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るサーバ５０で、図１５に示す機能のすべてが実装される必要はなく、また、図１５に示す機能以外の機能が実装されていても構わない。

図１５に示すように、本実施形態に係るサーバ５０には、機能的には例えば、実写画像記憶部１００、仮想空間データ記憶部１０２、走行信号受信部１０４、仮想車両位置更新部１０６、視点位置特定部１０８、仮想空間画像生成部１１０、実写画像取得部１１２、合成画像生成部１１４、合成画像出力部１１６、合成画像送信部１１８、が含まれる。実写画像記憶部１００、仮想空間データ記憶部１０２は、記憶部５０ｂを主として実装される。走行信号受信部１０４、合成画像送信部１１８は、通信部５０ｃを主として実装される。仮想車両位置更新部１０６、視点位置特定部１０８、仮想空間画像生成部１１０、実写画像取得部１１２、合成画像生成部１１４は、プロセッサ５０ａを主として実装される。合成画像出力部１１６は、プロセッサ５０ａ、後方表示パネルＰ１、左側方表示パネルＰ２、右側方表示パネルＰ３を主として実装される。そしてサーバ５０は、本実施形態に係る合成画像を生成する鉄道シミュレータ用画像生成システムとしての役割を担うこととなる。

以上の機能は、コンピュータであるサーバ５０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してサーバ５０に供給されてもよい。

実写画像記憶部１００は、本実施形態では例えば、実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、仮想空間６０内の仮想車両位置と関連付けて記憶する。ここで実写画像記憶部１００が、実鉄道車両に設けられた複数のカメラによりそれぞれ撮影された複数の実写画像の組合せを、仮想空間６０内における仮想車両位置と関連付けて記憶してもよい。例えば上述のように、実写画像記憶部１００が、同じタイミングに撮影された実写画像の組合せを含む上述の実写画像管理データを複数記憶してもよい。

仮想空間データ記憶部１０２は、本実施形態では例えば、仮想空間６０における各仮想オブジェクトの位置や向きを示すデータを記憶する。また仮想空間データ記憶部１０２が、仮想オブジェクトを表すポリゴンのデータや仮想オブジェクトにマッピングされるテクスチャの画像などを記憶してもよい。また仮想空間データ記憶部１０２は、仮想空間６０内に設定された軌道を示すデータを記憶してもよい。また仮想空間データ記憶部１０２は、仮想車両位置に対する仮想鉄道車両オブジェクト６２の位置及び向きを示すデータを記憶してもよい。また仮想空間データ記憶部１０２は、視点６４ａ、視点６４ｂ、及び、視点６４ｃの、仮想鉄道車両オブジェクト６２ｆの位置に対する相対的な位置を示すデータを記憶してもよい。また仮想空間データ記憶部１０２は、視線方向６６ａ、視線方向６６ｂ、及び、視線方向６６ｃの、仮想鉄道車両オブジェクト６２ｆの向きに対する相対的な向きを示すデータを記憶してもよい。また仮想空間データ記憶部１０２は、視点６４ｄの、仮想鉄道車両オブジェクト６２ａの位置に対する相対的な位置を示すデータを記憶してもよい。また仮想空間データ記憶部１０２は、視線方向６６ｄの、仮想鉄道車両オブジェクト６２ａの向きに対する相対的な向きを示すデータを記憶してもよい。

走行信号受信部１０４は、本実施形態では例えば、走行指令部２１に対する操作入力に応じた走行信号を受信する。ここで例えば、所定のサンプリングレートで走行指令部２１が走行信号をサーバ５２に出力し、サーバ５２が当該走行信号をサーバ５０に送信してもよい。ここで当該サンプリングレートに相当する時間間隔は、上述のフレームレートに相当する時間間隔と同じであっても構わない。

仮想車両位置更新部１０６は、本実施形態では例えば、ユーザの操作に応じて、仮想空間６０内の仮想車両位置を更新する。ここで例えば、仮想車両位置更新部１０６が、走行信号受信部１０４が受信する操作入力に応じた走行信号に応じて、仮想空間６０内の仮想車両位置を更新してもよい。

視点位置特定部１０８は、本実施形態では例えば、更新後の仮想車両位置に対応する視点６４の位置を特定する。ここで例えば視点位置特定部１０８が、仮想車両位置更新部１０６による更新後の仮想車両位置に基づいて、仮想鉄道車両オブジェクト６２の位置及び向きを特定してもよい。そして視点位置特定部１０８が、特定された仮想鉄道車両オブジェクト６２の位置及び向きに基づいて、視点６４ａの位置、視点６４ｂの位置、視点６４ｃの位置、視点６４ｄの位置を特定してもよい。また例えば、例えば視点位置特定部１０８が、特定された仮想鉄道車両オブジェクト６２の位置及び向きに基づいて、視線方向６６ａ、視線方向６６ｂ、視線方向６６ｃ、及び、視線方向６６ｄを特定してもよい。

仮想空間画像生成部１１０は、本実施形態では例えば、視点６４の位置から仮想空間６０を見た様子を表す仮想空間画像を生成する。例えば更新後の仮想車両位置に対応する視点６４の位置から仮想空間６０を見た様子を表す仮想空間画像が生成される。ここで例えば、上述のように、後方仮想空間画像、左側方仮想空間画像、右側方仮想空間画像、及び、前方仮想空間画像の組合せが生成されてもよい。

実写画像取得部１１２は、本実施形態では例えば、視点６４の位置に基づいて特定される１又は複数の実写画像を実写画像記憶部１００から取得する。例えば更新後の仮想車両位置に対応する視点６４の位置に基づいて特定される１又は複数の実写画像が実写画像記憶部１００から取得される。ここで例えば、実写画像取得部１１２が、上述のようにして、仮想空間６０内における仮想車両位置に基づいて特定される１又は複数の実写画像管理データを実写画像記憶部１００から取得してもよい。

合成画像生成部１１４は、本実施形態では例えば、仮想空間画像生成部１１０により生成される仮想空間画像と実写画像取得部１１２により取得される１又は複数の実写画像との合成画像を生成する。例えば複数のカメラのそれぞれについて、当該カメラに対応する視点６４の位置から仮想空間６０を見た様子を表す仮想空間画像と、取得される実写画像管理データに含まれる当該カメラにより撮影された１又は複数の実写画像と、の合成画像が生成されてもよい。ここで例えば上述のように、後方合成画像、左側方合成画像、右側方合成画像、及び、前方合成画像の組合せが生成されてもよい。なお上述のように、合成画像生成部１１４が、実写画像取得部１１２により取得される複数の実写画像を補間した画像を生成してもよい。そして合成画像生成部１１４が、仮想空間画像生成部１１０により生成される仮想空間画像と当該補間した画像との合成画像を生成してもよい。

合成画像出力部１１６は、本実施形態では例えば、合成画像生成部１１４が生成する合成画像を表示パネルに出力する。ここで例えば、合成画像出力部１１６は、合成画像生成部１１４が生成する後方合成画像を、後方表示パネルＰ１に出力してもよい。この場合、後方表示パネルＰ１は、当該後方合成画像を表示してもよい。また例えば、合成画像出力部１１６は、合成画像生成部１１４が生成する左側方合成画像を、左側方表示パネルＰ２に出力してもよい。この場合、左側方表示パネルＰ２は、当該左側方合成画像を表示してもよい。また例えば、合成画像出力部１１６は、合成画像生成部１１４が生成する右側方合成画像を、右側方表示パネルＰ３に出力してもよい。この場合、右側方表示パネルＰ３は、当該右側方合成画像を表示してもよい。

合成画像送信部１１８は、本実施形態では例えば、合成画像生成部１１４が生成する合成画像をサーバ５２に送信する。ここで合成画像送信部１１８が、合成画像生成部１１４が生成する前方合成画像をサーバ５２に送信してもよい。そして当該前方合成画像を受信したサーバ５２が、当該前方合成画像を、前方表示パネルＰ４に出力してもよい。この場合、前方表示パネルＰ４は、当該前方合成画像を表示してもよい。

なお本実施形態において、例えば仮想車両位置更新部１０６が、仮想空間６０に配置された仮想人物オブジェクト６８の位置と仮想車両位置とに基づいて、仮想人物オブジェクト６８の位置又は姿勢を変化させてもよい。具体的には例えば、車両と接触したような人物のような振る舞いをするよう仮想人物オブジェクト６８の位置又は姿勢が制御されるようにしてもよい。そして仮想空間画像生成部１１０が、このように位置又は姿勢が変化する仮想人物オブジェクト６８の像を含む仮想空間画像を生成してもよい。

以下、本実施形態に係るサーバ５０において所定のフレームレートで繰り返し行われる処理の流れの一例を、図１６に例示するフロー図を参照しながら説明する。

まず、走行信号受信部１０４が、走行指令部２１に対する操作入力に応じた走行信号をサーバ５２から受信する（Ｓ１０１）。

そして仮想車両位置更新部１０６が、Ｓ１０１に示す処理で受信した走行信号と、直前のフレームにおける実車両位置及び仮想車両位置に基づいて、当該フレームにおける実車両位置及び仮想車両位置を決定する（Ｓ１０２）。

そして視点位置特定部１０８が、Ｓ１０２に示す処理で決定された仮想車両位置に基づいて、仮想鉄道車両オブジェクト６２の位置及び向きを特定する（Ｓ１０３）。

そして視点位置特定部１０８が、Ｓ１０３に示す処理で特定された仮想鉄道車両オブジェクト６２の位置及び向きに基づいて、視点６４の位置及び視線方向６６を特定する（Ｓ１０４）。ここで例えば、視点６４ａの位置、視点６４ｂの位置、視点６４ｃの位置、視点６４ｄの位置、視線方向６６ａ、視線方向６６ｂ、視線方向６６ｃ、及び、視線方向６６ｄが特定されてもよい。

そして仮想空間画像生成部１１０が、Ｓ１０４に示す処理で特定された視点６４の位置及び視線方向６６に基づいて、仮想空間画像を生成する（Ｓ１０５）。ここで例えば上述のように、後方仮想空間画像、左側方仮想空間画像、右側方仮想空間画像、及び、前方仮想空間画像の組合せが生成されてもよい。

そして実写画像取得部１１２が、Ｓ１０２に示す処理で特定された仮想車両位置を示す仮想車両位置データを含む１又は複数の実写画像管理データを取得する（Ｓ１０６）。

そして合成画像生成部１１４が、Ｓ１０６に示す処理で取得された実写画像管理データに含まれる実写画像と、Ｓ１０５に示す処理で生成された仮想空間画像と、に基づいて、合成画像を生成する（Ｓ１０７）。

ここで例えば上述のように、Ｓ１０６に示す処理で取得された実写画像管理データに含まれる後方実写フレーム画像と、Ｓ１０５に示す処理で生成された後方仮想空間画像とに基づいて、後方合成画像が生成されてもよい。また例えばＳ１０６に示す処理で取得された実写画像管理データに含まれる左側方実写フレーム画像と、Ｓ１０５に示す処理で生成された左側方仮想空間画像とに基づいて、左側方合成画像が生成されてもよい。また例えばＳ１０６に示す処理で取得された実写画像管理データに含まれる右側方実写フレーム画像と、Ｓ１０５に示す処理で生成された右側方仮想空間画像とに基づいて、右側方合成画像が生成されてもよい。また例えばＳ１０６に示す処理で取得された実写画像管理データに含まれる前方実写フレーム画像と、Ｓ１０５に示す処理で生成された前方仮想空間画像とに基づいて、前方合成画像が生成されてもよい。

そして合成画像出力部１１６による合成画像の出力、及び、合成画像送信部１１８による合成画像の送信が実行される（Ｓ１０８）。ここで例えば、合成画像出力部１１６が、後方合成画像を後方表示パネルＰ１に出力し、左側方合成画像を左側方表示パネルＰ２に出力し、右側方合成画像を右側方表示パネルＰ３に出力してもよい。この場合、上述のように、後方表示パネルＰ１は後方合成画像を表示し、左側方表示パネルＰ２は左側方合成画像を表示し、右側方表示パネルＰ３は右側方合成画像を表示し、前方表示パネルＰ４は前方合成画像を表示することとなる。また合成画像送信部１１８が、前方合成画像をサーバ５２に送信してもよい。そしてサーバ５２が前方表示パネルＰ４に前方合成画像を出力してもよい。この場合、上述のように、前方表示パネルＰ４は前方合成画像を表示することとなる。そしてＳ１０１に示す処理に戻る。

このようにして本処理例では、Ｓ１０１〜Ｓ１０８に示す処理が所定のフレームレートで繰り返し実行される。このように、合成画像生成部１１４が、ユーザの操作に応じた合成画像の生成を所定の時間間隔で繰り返し実行してもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば図１５に示す機能の一部又は全部が、サーバ５２によって実装されてもよい。

また例えば、図１に例示する鉄道シミュレータシステム１にサーバ５２が含まれなくてもよい。そしてこの場合、サーバ５０が前方合成画像を前方表示パネルＰ４に出力してもよい。

また例えば、図１に例示する鉄道シミュレータシステム１にサーバ５０が含まれなくてもよい。そしてこの場合、サーバ５２が図１５に示す機能を実装してもよい。そしてサーバ５２が、後方合成画像を後方表示パネルＰ１に出力し、左側方合成画像を左側方表示パネルＰ２に出力し、右側方合成画像を右側方表示パネルＰ３に出力してもよい。

また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。

Claims (7)

1. 実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、仮想空間内の仮想車両位置と関連付けて記憶する実写画像記憶手段と、
   ユーザの操作に応じて、前記仮想空間内の前記仮想車両位置を更新する仮想車両位置更新手段と、
   更新後の前記仮想車両位置に対応する前記仮想空間内の視点の位置から前記仮想空間を見た様子を表す仮想空間画像を生成する仮想空間画像生成手段と、
   更新後の前記仮想車両位置に基づいて特定される１又は複数の前記実写画像を前記実写画像記憶手段から取得する実写画像取得手段と、
   生成される前記仮想空間画像と取得される１又は複数の前記実写画像との合成画像を生成する合成画像生成手段と、
   を含むことを特徴とする画像生成システム。
2. 前記実写画像記憶手段は、前記実鉄道車両に設けられた複数の前記カメラによりそれぞれ撮影された複数の前記実写画像の組合せを、前記仮想車両位置と関連付けて記憶し、
   前記仮想空間画像生成手段は、更新後の前記仮想車両位置に対応する、それぞれいずれかの前記カメラに対応する前記仮想空間内の複数の視点についての、当該視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像を生成し、
   前記実写画像取得手段は、更新後の前記仮想車両位置に基づいて特定される、１又は複数の前記組合せを前記実写画像記憶手段から取得し、
   前記合成画像生成手段は、前記複数の前記カメラのそれぞれについて、当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像と、取得される１又は複数の前記組合せに含まれる、当該カメラにより撮影された１又は複数の前記実写画像との合成画像を生成する、
   ことを特徴とする請求項１に記載の画像生成システム。
3. 運転士訓練者による模擬運転操作が行われる運転士操作卓と、
   車掌訓練者が乗り降り可能な模擬鉄道車両と、
   前記模擬鉄道車両に隣接して設けられている模擬プラットホームと、
   前記実鉄道車両の前方に位置し前方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記運転士操作卓の前方に配置されている表示パネルと、
   前記実鉄道車両の側方に位置し前方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記模擬プラットホームの前方に設けられている表示パネルと、をさらに含む、
   ことを特徴とする請求項２に記載の画像生成システム。
4. 車掌訓練者が乗り降り可能な模擬鉄道車両と、
   前記模擬鉄道車両の側面に隣接して設けられている模擬プラットホームと、
   前記実鉄道車両の後方に位置し後方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記模擬鉄道車両の後方に設けられている表示パネルと、
   前記実鉄道車両の側方に位置し前方を向く前記カメラにより撮影された１又は複数の実写画像と当該カメラに対応する前記視点の位置から前記仮想空間を見た様子を表す前記仮想空間画像との合成画像を表示する、前記模擬プラットホームの前方に設けられている表示パネルと、をさらに含む、
   ことを特徴とする請求項２に記載の画像生成システム。
5. 前記合成画像生成手段は、前記ユーザの操作に応じた前記合成画像の生成を所定の時間間隔で繰り返し実行する、
   ことを特徴とする請求項１から４のいずれか一項に記載の画像生成システム。
6. ユーザの操作に応じて、仮想空間内の仮想車両位置を更新するステップと、
   更新後の前記仮想車両位置に対応する前記仮想空間内の視点の位置から前記仮想空間を見た様子を表す仮想空間画像を生成するステップと、
   実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、前記仮想空間内の前記仮想車両位置と関連付けて記憶する実写画像記憶手段から、更新後の前記仮想車両位置に基づいて特定される１又は複数の前記実写画像を取得するステップと、
   生成される前記仮想空間画像と取得される１又は複数の前記実写画像との合成画像を生成するステップと、
   を含むことを特徴とする画像生成方法。
7. ユーザの操作に応じて、仮想空間内の仮想車両位置を更新する手順、
   更新後の前記仮想車両位置に対応する前記仮想空間内の視点の位置から前記仮想空間を見た様子を表す仮想空間画像を生成する手順、
   実空間内を移動する実鉄道車両に設けられたカメラにより撮影された実写画像を、前記仮想空間内の前記仮想車両位置と関連付けて記憶する実写画像記憶手段から、更新後の前記仮想車両位置に基づいて特定される１又は複数の前記実写画像を取得する手順、
   生成される前記仮想空間画像と取得される１又は複数の前記実写画像との合成画像を生成する手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images