JP6921191B2 - 映像生成装置、映像生成方法 - Google Patents

Description

本発明は、映像生成装置に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置に関する。

この種の映像生成装置は、例えば特許文献１に開示されている。この特許文献１の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部 と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。

特許文献１において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標（他船等）の位置 を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応して いる。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記 物標表示物と、が表示される構成となっている。

上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の 環境を示す３次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、３次元仮想空間の点 のそれぞれと、に基づいて、前記物標表示物を生成する。

米国特許出願公開第２０１５／０３５０５５２号明細書

しかし、上記特許文献１には、物標表示物を、前記映像上の、物標の位置情報と対応する点に表示することしか開示されておらず、例えば見易さを実現するために映像上にどのように物標表示物を表示するかについては、更に改善する余地があった。

また、上記特許文献１の構成では、水上移動体が波等によって動揺した際に生じる撮影装置の姿勢変化に関しては特段考慮がされておらず、その結果、映像上の物標表示物の表示位置が不自然になるおそれがあった。

本発明は以上の事情に鑑みてされたものであり、その目的は、水上移動体の周囲の様子を見易く自然な印象で表示する映像生成装置を提供することにある。

課題を解決するための手段及び効果

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の観点によれば、以下の構成の映像生成装置が提供される。即ち、この映像生成装置は、位置取得部と、姿勢取得部と、付加表示情報取得部と、表示用 データ生成部と、表示出力部と、を備える。前記位置取得部は、撮影装置が設置された水上移動体の位置を示す位置情報を取得する。前記姿勢取得部は、前記水 上移動体の姿勢を示す姿勢情報を取得する。前記付加表示情報取得部は、複数の地点の位置を示す情報を含む付加表示情報を取得する。前記表示用データ生成部 は、前記位置情報、前記姿勢情報、及び、前記付加表示情報取得部で取得された前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示 す図形の少なくとも一部を、前記撮影装置が出力する前記映像の水面上に当該図形を載置するように重ねて表示するための３次元表示用データを生成する。前記 表示出力部は、前記３次元表示用データを描画した前記図形を出力する。

これにより、水上移動体の位置及び姿勢に基づい て、付加表示情報の位置等を示す３次元的な表示を図形として出力することができる。従って、この図形を撮影映像に重ねるように表示することで、仮想現実的 な合成映像を実現することができる。ユーザは、この合成映像を見ることで、付加表示情報で示される状況を、位置関係を含めて直感的に把握し易くなる。ま た、付加表示情報の図形が撮影映像の水面に沿うように配置される表示により、複数地点の間の関係をユーザが直感的に把握することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記付加表示情報には、ユーザが設定した前記水上移動体の航路が含まれる。前記表示用データ生成部は、前記航路を示す図形を表示するための３次元表示用データを生成する。

これにより、合成映像において、撮影装置による映像の水面上に、航路を示す図形が載置されるように重ねて表示されるので、航路が延びる方向をユーザが把握し易くなる。よって、例えば設定した航路に沿った操作等が行い易くなる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記航路は、ユーザが設定したウェイポイントを繋ぐように生成される。前記表示用 データ生成部は、前記航路を示す図形とともに、前記ウェイポイントを示す図形を表示するための３次元表示用データを生成する。

これにより、合成映像において、水上移動体の航路が延びる方向等とともに、ウェイポイントに関する情報も容易に把握できる。よって、設定した航路に沿った操作等がより一層行い易くなる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記付加表示情報には、ユーザが設定した前記水上移動体の立寄地又は到着地を示す 領域が含まれる。前記表示用データ生成部は、前記立寄地又は前記到着地を示す図形を表示するための３次元表示用データを生成する。

これにより、平面的な広がりを有する領域である立寄地又は到着地を、撮影映像の水面に貼り付くように表示させることができる。よって、立寄地又は到着地の形状をユーザが把握し易くなるので、例えば、当該立寄地又は到着地に水上移動体を停止させる操作が行い易くなる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記付加表示情報には、他の水上移動体に関する情報が含まれる。前記表示用データ 生成部は、前記水上移動体と、前記他の水上移動体と、の衝突の危険度の高低に応じて、前記他の水上移動体を示す図形の表示の態様を異ならせる。

これにより、ユーザの視覚に訴える複数の情報の中で、例えば衝突の危険が高い他の水上移動体について他の物標よりも強調して表示することができ、適宜に強弱を付けたユーザフレンドリーな映像を提供できる。

前記の映像生成装置においては、前記３次元表示用データの描画が、前記姿勢取得部が取得した姿勢の変化に基づいて更新されることが好ましい。

これにより、水上移動体が波等により揺れる影響で撮影装置の撮影映像が変化しても、図形が撮影映像の水面上に載置された状態を維持するように表示されるので、違和感のない表示を実現することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記位置取得部は、前記水上移動体に設置された測位用アンテナが測位衛星から受信 した電波に基づいて前記位置情報を取得する。この映像生成装置は、前記水上移動体における前記測位用アンテナの位置であるアンテナ位置を設定可能なアンテ ナ位置設定部を備える。前記表示用データ生成部は、前記アンテナ位置に基づいて、前記図形を表示するための３次元表示用データを生成する。

これにより、付加表示情報を示す図形の位置等が、水上移動体における測位用アンテナの位置を考慮して決定されるので、表示位置のズレを防止することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、この映像生成装置は、前記水上移動体における前記撮影装置の位置である撮影位置を 設定可能な撮影位置設定部を備える。前記表示用データ生成部は、前記撮影位置に基づいて、前記図形を表示するための３次元表示用データを生成する。

これにより、付加表示情報を示す図形の位置等が、水上移動体における撮影装置の位置を考慮して決定されるので、表示位置のズレを防止することができる。

前記の映像生成装置においては、前記撮影位置設定部は、少なくとも前記撮影装置の高さを設定可能であることが好ましい。

これにより、撮影装置の高さを考慮して、付加表示情報を示す図形を生成することができる。従って、図形が水面に潜ったり水面から浮いたりして見えるのを防止できるので、現実感を損なわない自然な表示を実現することができる。

前記の映像生成装置においては、前記姿勢取得部は、前記水上移動体に設置された複数の測位用アンテナが測位衛星から受信した電波の搬送波位相の位相差に基づいて前記姿勢情報を取得することが好ましい。

これにより、水上移動体の姿勢を高精度で取得することができるので、違和感の少ない合成映像を得ることができる。

本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。 船舶に備えられる各種の機器を示す側面図。 映像生成装置において表示の対象となる付加表示情報の例を説明する概念図。 ３次元仮想空間に仮想現実オブジェクトを配置して生成される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。 カメラによる撮影映像の例を示す図。 データ合成部が出力する合成映像を示す図。 図４の状態から船舶の姿勢がピッチ方向及びロール方向に変化した場合を示す概念図。 図７の場合の合成映像を示す図。 方位目盛の表示例１ 方位目盛の表示例２ 本発明の一実施形態に係る映像生成方法のフローチャート

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る映像生成装置１の全体的な構成を示すブロック図である。図２は、船舶４に備えられる各種の機器を示す側面図である。

図１に示す映像生成装置１は、例えば図２に示すような船舶（水上移動体）４に搭載され、カメラ（撮影装置）３で撮影した映像をベースとして、当該船舶４の 周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置１が生成した映像は、ディスプレイ２に表示される。

ディスプレイ２は、例えば、当該船舶４（自船）で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディス プレイ２は上記に限定されず、例えば、自船４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船４の客室で乗客が鑑賞 するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。

映像生成装置１は、自船４に設置されたカメラ３によって撮影された自船４の周囲の映像と、自船４の周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。

次に、主に図１を参照して、映像生成装置１に電気的に接続されるカメラ３及び各種の船舶機器について説明する。

カメラ３は、自船４の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ （映像データ）をリアルタイムで生成して映像生成装置１に出力することができる。図２に示すように、カメラ３は、撮影方向が船体に対して水平前方となるよ うに船舶４に設置される。

カメラ３は図略の回転機構を介して船舶４に取り付けられており、パン／チルト動作を指示する信 号が映像生成装置１から入力されることにより、その撮影方向を、船舶４の船体を基準として所定の角度範囲で変更することができる。また、自船４の高さ及び 姿勢は波等により様々に変化するので、それに伴って、カメラ３の高さが変化するとともに姿勢（撮影方向）も３次元的に変化することになる。

本実施形態の映像生成装置１は、上記のカメラ３のほか、船舶機器としてのＧＮＳＳコンパス（方位センサ、姿勢センサ）５、角速度センサ６、ＧＮＳＳ受信機 ７、加速度センサ８、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等と電気的に接続されている。

ＧＮＳＳコンパス５は、自船４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置 関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差 に基づいてＧＮＳＳアンテナの位置関係を求めるように構成されている（この処理は公知であるので、詳細な説明は省略する）。これにより、自船４の船首方位 を精度よく取得することができる。

ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得することができる。言い換えれ ば、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出することができる。ＧＮＳＳコンパス５で取 得された自船４の姿勢情報は、映像生成装置１の姿勢取得部１６や、当該姿勢情報を利用する他の船舶機器に出力される。

角 速度センサ６は、例えば公知の振動ジャイロセンサから構成されており、ＧＮＳＳコンパス５の姿勢検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角 速度、ロール角速度及びピッチ角速度を検出することができる。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用す ることにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、角速度センサ６は、上述の測位衛星か らの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段とし て機能する。

ＧＮＳＳ受信機７は、前記のＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、自船４の位置（詳細に は、ＧＮＳＳアンテナの緯度、経度及び高さ）を求める。ＧＮＳＳ受信機７は、得られた位置情報を、映像生成装置１の位置取得部１５や、当該位置情報を利用 する他の船舶機器に出力する。

加速度センサ８は、例えば公知の静電容量検出型のセンサとして構成されており、ＧＮＳＳ受 信機７の位置検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。ＧＮＳＳ受信機７が 検出した位置と、加速度センサ８が検出した加速度の２重積分値と、を併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で自船４の 位置を取得することができる。また、加速度センサ８は、上述の測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、 位置情報を取得するための代替的な手段として機能する。

本実施形態では図２に示すように、角速度センサ６、ＧＮＳＳ受信 機７及び加速度センサ８は、ＧＮＳＳコンパス５に内蔵されたものが用いられている。ただし、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全 部又は一部が、ＧＮＳＳコンパス５とは独立して設けられてもよい。

ＡＩＳ受信機９は、他船や陸上局等から送信される ＡＩＳ情報を受信するものである。ＡＩＳ情報には、自船４の周囲を航行している他船の位置（緯度・経度）、当該他船の長さ及び幅、当該他船の種類及び識別 情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。

ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から自船４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船４の周囲の情報を映像生成装置１に出力する。

プロッタ１１は、ＧＮＳＳ受信機７から自船４の位置を継続して取得することにより、自船４の航行軌跡の情報を生成することができる。また、プロッタ１１ は、ユーザに複数のウェイポイント（自船４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成す ることができる。

レーダ装置１２は、自船４の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置 １２は物標を捕捉及び追尾することが可能な公知の目標追尾機能（Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル （ＴＴ情報）を求めることができる。

ソナー１３は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。

映像生成装置１は、ユーザが操作するキーボード３１及びマウス３２に接続されている。ユーザは、キーボード３１及びマウス３２を操作することで、映像の生 成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作、合成映像の視点の設定等が含まれる。

次に、映像生成装置１の構成について、主に図１を参照して詳細に説明する。

図１に示すように、映像生成装置１は、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、及び合成映像生成部２０を備える。

具体的には、映像生成装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、映像生成装置１ は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像合成処理を実行させるためのソフトウェアが記憶 されている。このハードウェアとソフトウェアの協働により、映像生成装置１を、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部 １７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、及び合成映像生成部２０等として機能させることができる。

撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、合成映像生成部２０（後述のデータ合成部２３）に出力する。

位置取得部１５は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、自船４の現在の位置をリアルタイムで取得する。

姿勢取得部１６は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、自船４の現在の姿勢をリアルタイムで取得する。

付加表示情報取得部１７は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等が映像生成装置１に出力する情報に基づい て、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば、自船 ４の予定航路として図３のように設定されるルート線４２の情報とすることができる。なお、付加表示情報の詳細は後述する。

図１の記憶部１８は、各種の情報を記憶するメモリとして構成されている。この記憶部１８は、各種の付加表示情報を表現する仮想現実オブジェクトの３次元形 状を、テンプレートとして記憶することができる。記憶部１８が記憶する３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすること ができるが、これに限定されない。

撮影位置設定部２５は、自船４におけるカメラ３の位置（撮影位置）、具体的には、船の 長さ方向及び幅方向でのカメラ３の位置と、上下方向でのカメラの位置（カメラ３の高さ）と、を設定することができる。カメラ３の高さは、自船４において通 常想定される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユー ザがカメラ３の位置を実際に計測した結果をキーボード３１及びマウス３２等を操作して入力することで行うことができる。

アンテナ位置設定部２６は、自船４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定することができる。このアンテナ位置は、例えば、制御の基準とし て図２に示すように自船４に設定される基準点４ａを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点４ａは様々に 定めることができるが、本実施形態では、自船４の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定 は、上記の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。

位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、及びアンテナ位置設定部２６は、取得し、記憶し、又は設定された情報を、合成映像生成部２０に出力する。

合成映像生成部２０は、ディスプレイ２に映し出す合成映像を生成するものである。当該合成映像生成部２０は、３次元シーン生成部（表示用データ生成部）２２と、データ合成部（表示出力部）２３と、を備える。

３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置すること により、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、 ３次元シーンの詳細は後述する。

データ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を描画す ることで付加表示情報を３次元的に表現する図形を生成するとともに、図６に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映像とを 合成した映像を出力する処理を行う。図６に示すように、この合成画像では、カメラ３で撮影された映像（図では説明の都合により破線で示されている）の海面 に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が載置されるように重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に出力す る。なお、図形の生成処理及びデータ合成処理の詳細は後述する。

次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、映像生成装置１において表示の対象となる付加表示情報の例を説明する概念図である。

付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、映像生成装置１に接続される船舶機器の目的及び機能に応じて様々なものが考 えられる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等）を付加表示情 報とすることができる。ＥＣＤＩＳ１０に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プ ロッタ１１に関しては、記録される自船４の軌跡、設定された予定航路、ウェイポイント、到着エリア（到着地を示す領域）、立寄エリア（立寄地を示す領域） の位置等を付加表示情報とすることができる。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー１３に 関しては、探知された魚群の位置を付加表示情報とすることができる。これらの情報は、船舶機器から映像生成装置１にリアルタイムで入力される。付加表示情 報取得部１７は、入力されるそれぞれの付加表示情報に対し、それを一意に特定して管理するための識別情報（例えば、識別番号）を付与する。

図３には、自船４の周囲に位置している付加表示情報の例が示されている。図３において、海面上（水面上）には、目的地を示すウェイポイント４１，４１と、 目的地までの予定航路を示す折れ線状のルート線４２と、が定められている。また、ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が定められ る。ウェイポイント４１、ルート線４２、及び立寄エリア４３は、ユーザが予めプロッタ１１を適宜操作し、各地点の位置を指定することにより設定される。

また、図３の例では、自船４の前方にやや離れた地点で他船４４が自船４の右方へ向けて航行中であり、自船４の左斜め前の近くには仮想ブイ４５があること が、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナ ビゲーション装置の画面には標識として表示される、仮想の（実体を持たない）ブイを意味する。

それぞれの付加表示情報に は、少なくとも、それが配置される海面（水面）における１又は複数の地点の位置（緯度及び経度）を示す情報が含まれている。例えば、ルート線４２を示す付 加表示情報には、折れ線の屈曲部となる２箇所の地点の位置の情報が含まれている（屈曲部の地点の位置は、ウェイポイント４１の位置と一致する）。立寄エリ ア４３の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船４４を示す付加表示情報には、当該他船４４の位置を 示す情報が含まれている。

次に、３次元シーン生成部２２による３次元シーンの構築、及び、データ合成部２３による映像の 合成について、図４を参照して詳細に説明する。図４は、３次元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置して生成される３次元シー ンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン５１と、を説明する概念図である。

３次元シーン生成 部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図４に示すように、自船４の適宜の基準位置（例えば、上述 の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬するように設定されている。図４の例では、座標軸は、＋ｚ 方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各地点（座標）は、自船４の周囲の 現実の位置に対応するように設定される。

図４には、図３に示す自船４の周囲の状況を表現するために、仮想現実オブジェク ト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖを３次元仮想空間４０内に配置した例が示されている。各仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖは、船首方位を基準として、それが表す付加表示情報の自船４に対する相対位置を反映させるように、ｘｚ平面に接す るように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置を決定するにあたっては、図１に示すアンテナ位置設定部２６で 設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。

他船４４を示す仮想現実オブジェクト４４ｖは、船舶の形状を 有しており、記憶部１８に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、ＡＩＳ情報で取得した他船 ４４の向きを示すように配置されている。なお、ＡＩＳ情報から得られた船の長さ及び幅の情報に基づいて、元のテンプレートのモデルを船の長さ方向及び幅方 向に拡大／縮小変形させて用いてもよい。

仮想ブイ４５を示す仮想現実オブジェクト４５ｖも、他船４４の仮想現実オブジェクト４４ｖと同様に、記憶部１８に予め記憶されているブイのモデルのテンプレートを利用して表現される。

ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現されている。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み 及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現されている。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有す る一定の厚みの板のような３次元形状で表現されている。これらの仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖについては、モデルのテンプレートを使用せず に、３次元形状がその都度作成される。

３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成す る。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした方位基準で配置されるので、図３の状態から自船４の位置（東西 方向及び南北方向での位置）が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置した新しい ３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から他船４４が移動する等して付加表示情報の内容が変更される と、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。

その後、データ合成部２３は、３次元仮想 空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリーン５１と仮想現実オブジェクト ４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することができる。

データ合成部２３は、自船４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートするとともに、映写スクリーン５１を、当該カメ ラ３に正対するように配置する。カメラ３の位置のシミュレートに関し、船体を基準とするカメラ３の位置は、図１に示す撮影位置設定部２５の設定値に基づい て得ることができる。

カメラ３の位置及び向きのシミュレートにあたっては、上述したカメラ３のパン／チルト動作による向 きの変化が考慮される。更に、当該シミュレートは、位置取得部１５及び姿勢取得部１６が取得した位置情報及び姿勢情報に基づき、船舶４の姿勢の変化及び高 さの変化によるカメラ３の位置及び向きの変動が反映されるように行われる。データ合成部２３は、カメラ３の位置及び向きの変化に連動して、３次元仮想空間 ４０に配置される映写スクリーン５１の位置及び向きを変化させる。

そして、データ合成部２３は、３次元シーンデータ４８ 及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想空間 ４０に視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、その視線方向が中心軸 となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン５１）を構成するポ リゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域に相当する２次元の仮想スク リーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、２次元の 画像を生成する。

このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得られ た図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像の生成過程におい て、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による映像の合成が実現 される。映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防止することができ る。

視点カメラ５５は合成映像の視点を定めるものであり、その位置及び向きは、ユーザがキーボード３１及びマウス３２等 を用いて設定することができる。ただし、データ合成部２３は、合成映像を生成するときのモードとして、視点カメラ５５の位置及び向きが、カメラ３の位置及 び向きと常に一致するように自動的に変化するモードとすることができる（視点追従モード）。この視点追従モードでは、視点カメラ５５の視野全体が常に映写 スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のある合成映像を実現することができる。

一方、データ合成部２３は、視点カメラ５５の位置及び向きを、カメラ３の位置及び向きと無関係に設定可能なモードとすることもできる（独立視点モード）。この独立視点モードでは、ユーザは、カメラ３の撮影視野から外れた位置にある付加表示情報を確認することができる。

次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。図５は、カメラ３による撮影映像の例を示す図である。図６は、データ合成部２３が出力する合成映像を示す図である。

図５には、図３に示す状況において、自船４のカメラ３が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、映像の下部中央には、自船４の船首部分が写っている。

仮想ブイ４５は上述のとおり仮想的なものであるので、図５に示すとおり、カメラ３に写ることはない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１での設定により作成されるものであるので、カメラ３による撮影映像には現れない。

そして、図５に示す撮影映像に対し、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が、図６に示されている。ただ し、図６では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他 の図においても同様である）。図６の合成映像では、付加表示情報を表現する図形４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、撮影映像に重なるように配置さ れている。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほぼ重なるように配置されている。

上記の図形 ４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位置 及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見た目の違和 感が殆ど生じないようにすることができる。

図６に示すように、付加表示情報を仮想現実的に表現する図形 ４１ｆ，４２ｆ，・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置されている。別の言い方をすれば、付加表示情報を仮想現実的に 表現する図形４１ｆ，４２ｆ，・・・は、撮影映像に現れる水面から把握される３次元的な面の傾きに合わせた向きで表示される。特に、ウェイポイント４１、 ルート線４２、及び立寄エリア４３を示す図形４１ｆ，４２ｆ，４３ｆは、薄い板が海面に貼り付けられるかのように配置されている。これは、図４に示す仮想 現実オブジェクト４１ｖ，４２ｖ，・・・を、撮影位置設定部２５（図１を参照）で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置 しているｘｚ平面に接するように配置するとともに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置することにより実現される。

次に、自船４の揺れに伴う合成映像の変化について説明する。図７は、図４の状態から船舶４の姿勢がピッチ方向及びロール方向に変化した場合を示す概念図である。図８は、図７の場合の合成映像を示す図である。

上述したとおり、カメラ３は自船４に取り付けられているので、その位置及び向きは、自船４の姿勢が波等により傾いたり、自船４が波に乗り上げたりすること に伴って変化する。本実施形態において、データ合成部２３は、自船４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部１６が取得 した自船４の姿勢の変化、及び、位置取得部１５が取得した自船４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の 位置及び向きを変更し、それに伴って映写スクリーン５１の位置を変更する。

図７には、図４の状態から自船４の姿勢がピッ チ方向及びロール方向に変化したときの様子が示されている。図７の例では、自船４は前下がりかつ左下がりとなるように傾いており、それを反映するように、 カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、そのように位置及び向きが変化したカメラ３に正対するように移動する。

図７の例では、上述の視点追従モードにより、視点カメラ５５の位置及び向きも、上記のように位置及び向きが変化したカメラ３に追従するように変化する。図 ７に対応する合成映像の例が図８に示され、この図に示すように、自船４の揺れに伴ってカメラ３の位置及び向きが異なっても、それに連動して映写スクリーン ５１の位置及び向きが変化するとともに、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化するので、違和感のない合成映像を継続的に得 ることができる。

視点追従モードでは、自船４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、また、自船 ４の高さが所定値以上変化する毎に、データ合成部２３での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ，４２ｆ，・・・が生成 される。従って、海面が現れる位置及び向きが自船４の揺れにより変化するカメラ３の撮影映像に対し、図形４１ｆ，４２ｆ，・・・の表示を、当該海面に置か れた状態を維持するように適切に変化させることができる。

これにより、仮想の物体があたかも海面に浮かんでいるように見 える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ２に映し出された海面を眺めることで、仮想現実を表す図形 ４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。

特に、図６及び図８に 示すように、ユーザがプロッタ１１を用いて設定した航路を示すルート線４２を示す図形４２ｆは、カメラ３による撮影映像の海面上に貼り付いたように表示さ れる。よって、ユーザは、ディスプレイ２に表示された合成映像の海面を眺めることで、海面に描画された航路を（自船４との位置関係を含めて）現実感を伴っ て把握することができ、当該航路に沿った操船を直感的に行うことができる。なお、立寄エリア４３を示す仮想現実オブジェクト４３ｖも同様に、海面に貼り付 いたように表示されるので、自船４を立寄エリア４３に移動して停止させる操作を容易に行うことができる。

更に、仮想ブイ ４５は上述したように実体を持たないが、上記の合成映像において、それを表現する図形４５ｆは、カメラ３による撮影映像の海面上に、実体を持って浮かんで いるかのように表示される。これにより、ユーザは、自船４等との関係で仮想ブイ４５の位置を直感的に理解でき、操船がより容易になる。

本実施形態では、合成映像において、それぞれの図形４１ｆ，４２ｆ，・・・を、目立つように又は目立たないように、見え方を変えて表示することもできる。 例えば、自船４の位置が予定航路から離れていることが検知された場合に、ルート線４２の図形４２ｆを点滅表示させることが考えられる。また、他船４４の図 形４４ｆについて、自船４との衝突の危険度の高低に応じて、表示色を変化させたり、透明度を変化させたりすることが考えられる。衝突の危険度は、公知の 様々な方法があるため詳細は説明しないが、例えば、自船と当該物標とが最も接近した際の距離、及び、自船と当該物標とが最も接近するまでの時間を計算によ り予測し、得られた予測距離及び予測時間に基づいて判定することができる。これにより、ユーザの視覚に訴える複数の情報の中で、例えば当該情報の重要度に 応じて適宜に強弱を付けて表示することができ、ユーザフレンドリーな映像を提供できる。

本実施形態の映像生成装置１で は、合成映像における付加表示情報の図形４１ｆ，４２ｆ，・・・の表示・非表示は、キーボード３１及びマウス３２等が操作されることにより、例えば、個々 の付加表示情報毎に、情報の種類毎に、又は、情報源である船舶機器毎に、切り換えることができる。付加表示情報の表示・非表示の設定は、図１に示す記憶部 １８に記憶される。非表示が設定された付加表示情報に対応する仮想現実オブジェクトは、３次元シーン生成部２２によって３次元シーンデータ４８が生成され る際に３次元仮想空間４０に配置されないため、それに対応する図形が合成映像において現れなくなる。これにより、見易く整理された合成映像を得ることがで きる。

なお、図６の例では、付加表示情報として、ユーザにより設定されたウェイポイント、ルート線、立寄エリア、他船、 及び仮想ブイが図形４１ｆ，４２ｆ，・・・により表示されているが、付加表示情報はこれらに限られるものではない。例えば、上記に加えて、到着エリア、魚 群が探知された海域、航海禁止領域、危険海域、陸地、ランドマーク等が付加表示情報に含まれていてもよい。これにより、ユーザにとって有益な情報を、視覚 的に把握し易い態様で表示することができる。

以上に説明したように、本実施形態の映像生成装置１は、位置取得部１５と、 姿勢取得部１６と、付加表示情報取得部１７と、３次元シーン生成部２２と、データ合成部２３と、を備える。位置取得部１５は、カメラ３が設置された船舶 （自船）４の地球上での位置を示す位置情報を取得する。姿勢取得部１６は、自船４の姿勢を示す姿勢情報を取得する。付加表示情報取得部１７は、複数の地点 の位置を示す情報を含む付加表示情報（ルート線４２及び立寄エリア４３の情報）を取得する。３次元シーン生成部２２は、前記位置情報、前記姿勢情報、及 び、付加表示情報取得部１７で取得された前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形４２ｆ，４３ｆの少なくとも一 部を、カメラ３が出力する映像の水面上に当該図形４２ｆ，４３ｆを載置するように重ねて表示するための３次元シーンデータ４８を生成する。データ合成部 ２３は、３次元シーンデータ４８を描画した図形４２ｆ，４３ｆを出力する。

これにより、自船４の位置及び姿勢に基づい て、付加表示情報（ルート線４２及び立寄エリア４３）の位置等を示す３次元的な表示を図形４２ｆ，４３ｆとして出力することができる。従って、この図形 ４２ｆ，４３ｆを撮影映像に重ねるように表示することで、仮想現実的な合成映像を実現することができる（図６及び図８を参照）。ユーザは、この合成映像を 見ることで、付加表示情報で示される状況を、位置関係を含めて直感的に把握し易くなる。また、付加表示情報の図形４２ｆ，４３ｆが撮影映像の水面に沿うよ うに配置される表示により、複数地点の間の関係（例えば、ルート線４２の向き及び立寄エリア４３の形状）を、ユーザが直感的に把握することができる。

また、本実施形態の映像生成装置１においては、付加表示情報を表す図形４１ｆ，４２ｆ，・・・の表示・非表示を、個別に、情報の種類毎に、又は、情報源である船舶機器毎に設定可能である。

これにより、仮想現実的に表示する図形４１ｆ，４２ｆ，・・・を、ユーザの好み等に応じて、選択的に表示又は非表示とすることができる。従って、図形が混み合って表示が分かりにくくなってしまうことを防止することができる。

また、本実施形態の映像生成装置１においては、前記付加表示情報には、ユーザが設定した自船４の航路であるルート線４２の情報が含まれる。３次元シーン生成部２２は、ルート線４２を示す図形４２ｆを表示するための３次元シーンデータ４８を生成する。

これにより、合成映像において、カメラ３による映像の水面上に、航路を示す図形４２ｆが載置されるように重ねて表示されるので、航路が延びる方向をユーザが把握し易くなる。よって、例えば設定した航路に沿った操船等が行い易くなる。

また、本実施形態の映像生成装置１においては、ルート線４２は、ユーザが設定した複数のウェイポイント４１を繋ぐように生成される。３次元シーン生成部 ２２は、ルート線４２を示す図形４２ｆとともに、ウェイポイント４１を示す図形４１ｆを表示するための３次元シーンデータ４８を生成する。

これにより、合成映像において、自船４の航路が延びる方向等とともに、ウェイポイント４１に関する情報も容易に把握できる。よって、設定した航路に沿った操船等がより一層行い易くなる。

また、本実施形態の映像生成装置１においては、前記付加表示情報には、ユーザが設定した自船４の立寄地を示す領域である立寄エリア４３が含まれる。３次元シーン生成部２２は、立寄エリア４３を示す図形４３ｆを表示するための表示用データを生成する。

これにより、合成映像において、平面的な広がりを有する領域である立寄エリア４３の図形４３ｆを、撮影映像の水面に貼り付くように表示させることができ る。よって、立寄エリア４３の形状をユーザが把握し易くなるので、例えば、当該立寄エリア４３に自船４を停船させる操作が行い易くなる。

また、本実施形態の映像生成装置１においては、前記付加表示情報には、他の水上移動体（他船４４）に関する情報が含まれる。３次元シーン生成部２２は、他船４４と、自船４と、の衝突の危険度の高低に応じて、他船４４を示す図形４４ｆの表示の態様を異ならせる。

これにより、ユーザの視覚に訴える複数の情報の中で、例えば衝突の危険が高い他船４４について他の物標よりも強調して表示することができ、適宜に強弱を付けたユーザフレンドリーな映像を提供できる。

また、本実施形態の映像生成装置１においては、３次元シーンデータ４８の描画が、姿勢取得部１６が取得した姿勢の変化に基づいて更新される。

これにより、自船４が波等により揺れる影響によってカメラ３の撮影映像が変化しても、図形４１ｆ，４２ｆ，・・・が撮影映像の水面上に載置された状態を維持するように表示されるので、違和感のない表示を実現することができる。

また、本実施形態の映像生成装置１の位置取得部１５は、自船４に設置されたＧＮＳＳアンテナが測位衛星から受信した電波に基づいて前記位置情報を取得す る。また、映像生成装置１は、自船４における前記ＧＮＳＳアンテナの位置であるアンテナ位置を設定可能なアンテナ位置設定部２６を備える。３次元シーン生 成部２２は、アンテナ位置に基づいて、図形４１ｆ，４２ｆ，・・・を表示するための３次元シーンデータ４８を生成する。

これにより、付加表示情報を示す図形４１ｆ，４２ｆ，・・・の位置等が、自船４におけるＧＮＳＳアンテナの位置を考慮して決定されるので、表示位置のズレを防止することができる。

また、本実施形態の映像生成装置１は、自船４におけるカメラ３の位置である撮影位置を設定可能な撮影位置設定部２５を備える。３次元シーン生成部２２は、前記撮影位置に基づいて、図形４１ｆ，４２ｆ，・・・を表示するための３次元シーンデータ４８を生成する。

これにより、付加表示情報を示す図形４１ｆ，４２ｆ，・・・の位置等が、自船４におけるカメラ３の位置を考慮して決定されるので、表示位置のズレを防止することができる。

また、本実施形態の映像生成装置１において、撮影位置設定部２５は、カメラ３の高さを設定可能である。

これにより、カメラ３の高さを考慮して、付加表示情報を示す図形４１ｆ，４２ｆ・・・を生成することができる。従って、図形４１ｆ，４２ｆ，・・・が水面に潜ったり水面から浮いたりして見えるのを防止できるので、現実感を損なわない自然な表示を実現することができる。

また、本実施形態の映像生成装置１においては、姿勢取得部１６は、自船４に設置された複数のＧＮＳＳアンテナが測位衛星から受信した電波の搬送波位相の位相差に基づいて前記姿勢情報を取得する。

これにより、自船４の姿勢を高精度で取得することができるので、違和感の少ない合成映像を得ることができる。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

データ合成部２３において、３次元シーンデータ４８と、映写スクリーン５１と、を同時にレンダリングしないように構成してもよい。即ち、データ合成部２３ が、３次元シーンデータ４８だけのレンダリング結果である２次元の映像（図形４１ｆ，４２ｆ，・・・の映像）と、映写スクリーン５１だけのレンダリング結 果である２次元の映像（撮影映像が映写スクリーン５１に貼り付けられた映像）と、を別々に作成して、その後に２次元の映像同士を合成する構成としてもよ い。この場合、３次元シーンデータ４８のレンダリング処理は自船４の移動等に応じて随時行う一方、映写スクリーン５１のレンダリング処理はカメラ３による 映像のフレームレートに応じた短い時間間隔で行うようにすることができる。

カメラ３において、上記のパン／チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ３が前方以外の方向（例えば、後方）を撮影するように配置されてもよい。

上記のようにカメラ３の撮影方向が変動しない場合は、撮影画像と図形４１ｆ，４２ｆ，・・・との合成を、映像生成装置１（データ合成部２３）では行わずに 外部の装置で行うように構成することもできる。即ち、データ合成部２３の代わりに図形出力部（表示出力部）を備え、この図形出力部は、図４の３次元シーン において映写スクリーン５１を省略した状態でレンダリングを行って、図形４１ｆ，４２ｆ，・・・だけの映像を生成する。この映像と、カメラ３の撮影映像 と、を外部の合成装置によって合成することで、図６に示すような合成映像を得ることができる。

更に、カメラ３を、自船４の周囲を３６０度の全方位にわたって同時撮影が可能な構成としてもよい。

ユーザが合成映像の視点を変更する操作を行ったときに、それに追従するようにカメラ３のパン／チルト動作が自動的に行われても良い。

３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト ４１ｖ，４２ｖ，・・・が自船４の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、船首基準で はなく、＋ｚ方向が常に真北となる真北基準で配置しても良い。この場合、回頭等によって自船４の船首方位が変化したときは、仮想現実オブジェクト ４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０での自船４の向きをヨー方向に変化させることになる。そして、このときのカメラ３の位置 及び向きの変化を３次元仮想空間４０においてシミュレートするとともに、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行うこと で、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。

また、３次元仮想空間４０の座標系は、自船４ の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。この 場合、地球に固定された座標系の３次元仮想空間４０において、自船４が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ ３の位置及び向きの変化が３次元仮想空間４０においてシミュレートされることになる。

映像生成装置１において、自船４の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、３次元シーン生成部２２において、自船４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにすることが考えられる。

データ合成部２３が出力する図形（合成映像の一部を構成する図形）４１ｆ，４２ｆ，・・・は、水面に薄く貼り付くような平面的なものであってもよいし、水 面からある程度の高さで突出するような立体的なものであってもよい。例えば、自船４の立寄エリア４３を平面的な図形４３ｆで表現することに代えて、立寄エ リア４３の輪郭を有するとともに所定の高さを有する直方体枠状の図形によって表現してもよい。同様に、例えばウェイポイント４１を、平面的な図形４１ｆに 代えて、例えば水面から突出するような円柱状、角錐状等の任意の立体的な図形で表現してもよい。

撮影位置設定部２５は、自船４におけるカメラ３の位置を、ＧＮＳＳアンテナに対する相対位置として設定できるように構成してもよい。

映像生成装置１に接続される船舶機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。

本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。

前述のように、撮影装置が撮影した映像に図形等を重ねて表示する際に、図９と図１０のように、方位を示す目盛画像等のような付加情報９１ａ、９１ｂを同時に表示することで、限られた表示領域を有効に活用することができる。このとき、当該図形が付加情報によってできる限り隠れないように、自動的に、付加情報の位置が変更や移動をするような構成にしてもよい。また、船体の傾きに応じて、付加情報９１ａ、９１ｂが傾くような表示としてもよい。このような表示をすることで、船体が傾いている状況でも常に正確な付加情報を視認することができる。

本発明の実施形態において行う処理を、図１１のフローチャートを参照して説明する。本実施形態では、撮影装置が設置された水上移動体の位置を示す位置情報を取得し（Ｓ１０１）、前記水上移動体の姿勢を示す姿勢情報を取得し（Ｓ１０２）、複数の地点の位置を示す情報を含む付加表示情報を取得し（Ｓ１０３）、前記位置情報、前記姿勢情報、及び、前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形の少なくとも一部を、前記撮影装置が出力する映像の水面上に当該図形を載置するように重ねて表示するための３次元表示用データを生成し（Ｓ１０４）、前記３次元表示用データを描画した前記図形を出力する（Ｓ１０５）ことで、前述の課題を解決する。

１ 映像生成装置
３ カメラ（撮影装置）
４ 船舶（水上移動体）
１５ 位置取得部
１６ 姿勢取得部
１７ 付加表示情報取得部
２２ ３次元シーン生成部（３次元表示用データ生成部）
２３ データ合成部（表示出力部）
４２ ルート線
４２ｆ ルート線の図形
４３ 立寄エリア
４３ｆ 立寄エリアの図形
４８ ３次元シーンデータ（３次元表示用データ）

Claims (14)

1. 撮影装置が設置された水上移動体の位置を示す位置情報を取得する位置取得部と、
   前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
   複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
   前記位置情報、前記姿勢情報、及び、前記付加表示情報取得部で取得された前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形の少なくとも一部を含み、前記撮影装置が出力する映像の水面上に前記図形を載置させるように前記姿勢情報を用いて設定された３次元表示用データを生成する表示用データ生成部と、
   前記撮影装置が出力する映像と前記３次元表示用データとの合成映像の視点を定める視点カメラと、
   前記視点カメラを中心としてその視線方向が中心軸となるように定義された２次元の仮想スクリーンに前記３次元表示用データを透視投影することで描画した前記図形を出力する表示出力部と、
   を備えることを特徴とする映像生成装置。
2. 請求項１に記載の映像生成装置であって、
   前記姿勢情報は、前記水上移動体の揺れによって生じる姿勢の変化から得られるものを含む、
   映像生成装置。
3. 請求項１または請求項２に記載の映像生成装置であって、
   前記付加表示情報には、ユーザが設定した前記水上移動体の航路が含まれ、
   前記表示用データ生成部は、前記航路を示す図形を表示するための３次元表示用データを生成することを特徴とする映像生成装置。
4. 請求項３に記載の映像生成装置であって、
   前記航路は、ユーザが設定したウェイポイントを繋ぐように生成され、
   前記表示用データ生成部は、前記航路を示す図形とともに、前記ウェイポイントを示す図形を表示するための３次元表示用データを生成することを特徴とする映像生成装置。
5. 請求項１から４までの何れか一項に記載の映像生成装置であって、
   前記付加表示情報には、ユーザが設定した前記水上移動体の立寄地又は到着地を示す領域が含まれ、
   前記表示用データ生成部は、前記立寄地又は前記到着地を示す図形を表示するための３次元表示用データを生成することを特徴とする映像生成装置。
6. 請求項１から５までの何れか一項に記載の映像生成装置であって、
   前記付加表示情報には、他の水上移動体に関する情報が含まれ、
   前記表示用データ生成部は、前記水上移動体と、前記他の水上移動体と、の衝突の危険度の高低に応じて、前記他の水上移動体を示す図形の表示の態様を異ならせることを特徴とする映像生成装置。
7. 請求項１から６までの何れか一項に記載の映像生成装置であって、
   前記姿勢取得部が取得した姿勢の変化が閾値以上のとき、前記３次元表示用データの描画が更新されることを特徴とする映像生成装置。
8. 請求項１から７までの何れか一項に記載の映像生成装置であって、
   前記位置取得部は、前記水上移動体に設置された測位用アンテナが測位衛星から受信した電波に基づいて前記位置情報を取得し、
   前記水上移動体における前記測位用アンテナの位置であるアンテナ位置を設定可能なアンテナ位置設定部を備え、
   前記表示用データ生成部は、前記アンテナ位置に基づいて、前記図形を表示するための３次元表示用データを生成することを特徴とする映像生成装置。
9. 請求項１から８までの何れか一項に記載の映像生成装置であって、
   前記水上移動体における前記撮影装置の位置である撮影位置を設定可能な撮影位置設定部を備え、
   前記表示用データ生成部は、前記撮影位置に基づいて、前記図形を表示するための３次元表示用データを生成することを特徴とする映像生成装置。
10. 請求項９に記載の映像生成装置であって、
    前記撮影位置設定部は、少なくとも前記撮影装置の高さを設定可能であることを特徴とする映像生成装置。
11. 請求項１から１０までの何れか一項に記載の映像生成装置であって、
    前記姿勢取得部は、前記水上移動体に設置された複数の測位用アンテナが測位衛星から受信した電波の搬送波位相の位相差に基づいて前記姿勢情報を取得することを特徴とする映像生成装置。
12. 請求項１から１１までの何れかに記載の映像生成装置であって、
    前記表示用データ生成部は、方位を示す目盛画像を更に生成し、
    前記撮影装置が出力した映像上に重ねて表示される前記図形の表示位置および前記水上移動体の姿勢に応じて前記目盛画像の表示位置および傾きを決定することを特徴とする映像生成装置。
13. 請求項１から１２までの何れかに記載の映像生成装置であって、
    前記視点カメラは、
    前記視点カメラの位置および向きを前記撮影装置の位置および向きと無関係に設定する独立視点モードと、
    前記視点カメラの位置および向きが前記撮影装置の位置および向きと常に一致するように自動で変化する視点追従モードと、
    を選択的に実行することを特徴とする映像生成装置。
14. 撮影装置が設置された水上移動体の位置を示す位置情報を取得し、
    前記水上移動体の姿勢を示す姿勢情報を取得し、
    複数の地点の位置を示す情報を含む付加表示情報を取得し、
    前記位置情報、前記姿勢情報、及び、前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形の少なくとも一部を含み、前記撮影装置が出力する映像の水面上に前記図形を載置させるように前記姿勢情報を用いて設定された３次元表示用データを生成し、
    前記撮影装置が出力する映像と前記３次元表示用データとの合成映像の視点を視点カメラによって定め、
    前記視点カメラを中心としてその視線方向が中心軸となるように定義された２次元の仮想スクリーンに前記３次元表示用データを透視投影することで描画した前記図形を出力することを特徴とする映像生成方法。

Images