JPWO2018216537A1 - 映像生成装置 - Google Patents

Abstract

【課題】撮影装置が撮影する向きとは異なる向きに関しても、水上移動体の周囲の様子を確認できるようにする。【解 決手段】撮影映像入力部は、水上移動体に設置される撮影装置が撮影した撮影映像を入力する。位置取得部は、前記水上移動体の位置を示す位置情報を取得す る。姿勢取得部は、前記水上移動体の姿勢を示す姿勢情報を取得する。付加表示情報取得部は、１又は複数の地点の位置を示す情報を含む付加表示情報を取得す る。合成映像生成部は、前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形 を前記撮影映像に合成した合成映像を生成し、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記 図形を配置可能である。【選択図】図１

Description

本発明は、映像生成装置に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置に関する。

この種の映像生成装置は、例えば特許文献１に開示されている。この特許文献１の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部 と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。

特許文献１において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標（他船等）の位置 を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応して いる。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記 物標表示物と、が表示される構成となっている。

上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の 環境を示す３次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、３次元仮想空間の点 のそれぞれと、に基づいて、前記物標表示物を生成する。

米国特許出願公開第２０１５／０３５０５５２号明細書

水上移動体の周囲の様子を監視等のために撮影する場合、一般的に水平方向の広い角度範囲を見られるように撮影することが望ましい。ところが、カメラの画角には制約があるため、必ずしも水上移動体の周囲の３６０度全ての方角の撮影映像を取得できるとは限らない。

この点、特許文献１では、カメラで撮影した映像上の点に配置されるように物標表示物を表示することが開示されているが、カメラの撮影映像がない範囲（向き）に関しては如何なる表示がされるのか、或いは表示が行われないのかについては何ら記載がされていなかった。

本発明は以上の事情に鑑みてされたものであり、その目的は、撮影装置が撮影する向きとは異なる方角に関しても、水上移動体の周囲の様子を確認できるようにすることにある。

課題を解決するための手段及び効果

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の観点によれば、以下の構成の映像生成装置が提供される。即ち、この映像生成装置は、撮影映像入力部と、位置取得部と、姿勢取得部と、付加表示情報 取得部と、合成映像生成部と、を備える。前記撮影映像入力部は、水上移動体に設置される撮影装置が撮影した撮影映像を入力する。前記位置取得部は、前記水 上移動体の位置を示す位置情報を取得する。前記姿勢取得部は、前記水上移動体の姿勢を示す姿勢情報を取得する。前記付加表示情報取得部は、１又は複数の地 点の位置を示す情報を含む付加表示情報を取得する。前記合成映像生成部は、前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報 を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成し、前記合成映像において前記撮影映像が一部のみに配置されて いるときに、前記撮影映像の境界の内外に跨って前記図形を配置可能である。

これにより、水上移動体の位置及び姿勢に基づ いて、付加表示情報の位置等を示す図形を撮影映像に重ねて、合成映像を作成することで、仮想現実的な表示を実現することができる。また、例えば、撮影映像 が撮影する向きとは異なる方向の付加表示情報を図形により確認することができるので、ユーザは幅広い方位における付加表示情報を確認することができる。更 に、撮影映像のある領域とない領域の両方に跨って図形を配置することができるので、ユーザは、撮影映像が配置されている部分と、それ以外の部分と、の両方 をシームレスに捉えながら、付加表示情報で示される状況を把握することができる。

前記の映像生成装置においては、前記合成映像生成部は、船舶の形状を有する前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成可能であることが好ましい。

これにより、他船が撮影映像において一部しか映っていない場合でも、撮影映像からハミ出すように仮想現実オブジェクトが描画された図形により、ユーザは当該他船の位置及び大きさ等を容易に理解することができる。

前記の映像生成装置においては、前記合成映像生成部は、船舶の長さ、幅、及び船首方位のうち少なくとも何れかが前記付加表示情報を反映している仮想現実オブジェクトを描画した図形を前記撮影映像に合成可能であることが好ましい。

これにより、付加表示情報に基づく形状及び向きの船舶のオブジェクトとすることができるので、付加表示情報をより忠実に反映した合成映像を得ることができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能で ある。前記合成映像生成部は、前記合成映像において前記撮影映像が一部のみにおいて配置されているときに、前記撮影映像の内外に跨って前記方位目盛りを配 置可能である。

これにより、ユーザは、撮影映像がある領域とない領域の両方をシームレスに捉えながら、方位を容易に把握することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像生成部は、前記撮影映像に対して、水面と空の境界である水平線を合成 可能である。前記合成映像生成部は、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記水平線を 配置可能である。

これにより、ユーザは、撮影映像がある領域とない領域の両方をシームレスに捉えながら、水平線を容易に把握することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像生成部は、前記撮影映像に対して、水面を表すグリッドを合成可能であ る。前記合成映像生成部は、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記グリッドを配置可 能である。

これにより、ユーザは、撮影映像がある領域とない領域の両方をシームレスに捉えながら、海面を容易に把握することができる。

前記の映像生成装置においては、前記合成映像生成部は、前記撮影映像の境界をぼかして、又は強調して描画可能であることが好ましい。

これにより、撮影映像の境界の印象を弱め、又は強めることができるので、表示の意匠性を向上させることができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像の全部に前記撮影映像が配置されているときは、前記水上移動体の少な くともロール方向の姿勢変化に対応して、前記仮想現実オブジェクトが描画される位置及び向きを変更する姿勢変化追従処理を行う。前記合成映像に前記撮影映 像が全く配置されていないときは、前記姿勢変化追従処理を行わない。

これにより、合成映像の全部を覆うように撮影映像が 配置されているときは、波等による水上移動体の揺れに伴う撮影映像の姿勢等の変化に対応して仮想現実オブジェクトが描画される位置及び向きが変更されるこ とで、合成映像の違和感を減らすとともに、臨場感を高めることができる。一方、合成映像に撮影映像が全く含まれない場合には、映像の揺れを防止することが できる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像生成部は、前記位置情報及 び前記姿勢情報に基づいて、３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとして配置するとともに前記撮影映像を配置 し、当該３次元仮想空間に配置された仮想カメラの位置及び向きに基づいて前記仮想現実オブジェクト及び前記撮影映像を描画することで、前記合成映像を生成 する。前記仮想カメラの位置及び向きのうち少なくとも何れかをユーザの操作によって変更可能である。

これにより、付加表 示情報を、水上移動体から様々な方向で確認することができる。また、ユーザが見たい方向が変化しても、簡単な処理で、付加表示情報の３次元的な表現である 図形と、撮影装置が撮影した映像と、の３次元的な見え方の整合性を維持した合成映像を実現することができる。

前記の映像 生成装置においては、前記合成映像生成部は、前記３次元仮想空間における点、又は、前記仮想現実オブジェクトをユーザが選択する操作を行った場合に、当該 選択された点又は仮想現実オブジェクトが前記合成映像に継続的に含まれるように、前記仮想カメラの位置及び向きのうち少なくとも何れかを自動的に変更可能 であることが好ましい。

これにより、ユーザが注目する地点の状況又は付加表示情報が示す状況を、継続的に確認することが容易になる。

本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。 船舶に備えられる各種の機器を示す側面図。 映像生成装置において表示の対象となる付加表示情報の例を説明する概念図。 ３次元仮想空間に仮想現実オブジェクトを配置して構築される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。 カメラによる撮影映像の例を示す図。 データ合成部が出力する合成映像を示す図。 図４の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図。 図７の場合の合成映像を示す図。 合成映像の視点を定める視点カメラが、船舶に設けられるカメラの撮影方向よりも右にパンしている場合を示す概念図。 合成映像の一部の領域をカメラの撮影映像が占める場合を示す図。 図１０の状態から更に視点カメラを右にパンした場合の合成映像を示す図。 ３次元モデルのテンプレートの変形及び回転によって、形状及び向きが異なる複数の仮想現実オブジェクトを生成する処理を説明する図。 方位目盛の表示例１ 方位目盛の表示例２ 本発明の一実施形態に係る映像生成方法のフローチャート

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る映像生成装置１の全体的な構成を示すブロック図である。図２は、船舶４に備えられる各種の機器を示す側面図である。

図１に示す映像生成装置１は、例えば図２に示すような船舶（水上移動体）４に搭載され、カメラ（撮影装置）３で撮影した映像をベースとして、当該船舶４の 周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置１が生成した映像は、ディスプレイ２に表示される。

ディスプレイ２は、例えば、当該船舶４（自船）で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディス プレイ２は上記に限定されず、例えば、自船４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船４の客室で乗客が鑑賞 するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。

映像生成装置１は、自船４に設置されたカメラ３によって撮影された自船４の周囲の映像と、自船４の周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。

次に、主に図１を参照して、映像生成装置１に電気的に接続されるカメラ３及び各種の船舶機器について説明する。

カメラ３は、自船４の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ （映像データ）をリアルタイムで生成して映像生成装置１に出力することができる。図２に示すように、カメラ３は、撮影方向が船体に対して水平前方となるよ うに船舶４に設置される。

カメラ３は図略の回転機構を介して船舶４に取り付けられており、パン／チルト動作を指示する信 号が映像生成装置１から入力されることにより、その撮影方向を、船舶４の船体を基準として所定の角度範囲で変更することができる。また、自船４の高さ及び 姿勢は波等により様々に変化するので、それに伴って、カメラ３の高さが変化するとともに姿勢（撮影方向）も３次元的に変化することになる。

本実施形態の映像生成装置１は、上記のカメラ３のほか、船舶機器としてのＧＮＳＳコンパス（方位センサ、姿勢センサ）５、角速度センサ６、ＧＮＳＳ受信機 ７、加速度センサ８、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等と電気的に接続されている。

ＧＮＳＳコンパス５は、自船４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置 関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差 に基づいてＧＮＳＳアンテナの位置関係を求めるように構成されている（この処理は公知であるので、詳細な説明は省略する）。これにより、自船４の船首方位 を精度よく取得することができる。

ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得することができる。言い換えれ ば、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出することができる。ＧＮＳＳコンパス５で取 得された自船４の姿勢情報は、映像生成装置１の姿勢取得部１６や、当該姿勢情報を利用する他の船舶機器に出力される。

角 速度センサ６は、例えば公知の振動ジャイロセンサから構成されており、ＧＮＳＳコンパス５の姿勢検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角 速度、ロール角速度及びピッチ角速度を検出することができる。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用す ることにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、角速度センサ６は、上述の測位衛星か らの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段とし て機能する。

ＧＮＳＳ受信機７は、前記のＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、自船４の位置（詳細に は、ＧＮＳＳアンテナの緯度、経度及び高さ）を求める。ＧＮＳＳ受信機７は、得られた位置情報を、映像生成装置１の位置取得部１５や、当該位置情報を利用 する他の船舶機器に出力する。

加速度センサ８は、例えば公知の静電容量検出型のセンサとして構成されており、ＧＮＳＳ受 信機７の位置検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。ＧＮＳＳ受信機７が 検出した位置と、加速度センサ８が検出した加速度の２重積分値と、を併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で自船４の 位置を取得することができる。また、加速度センサ８は、上述の測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、 位置情報を取得するための代替的な手段として機能する。

本実施形態では図２に示すように、角速度センサ６、ＧＮＳＳ受信 機７及び加速度センサ８は、ＧＮＳＳコンパス５に内蔵されたものが用いられている。ただし、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全 部又は一部が、ＧＮＳＳコンパス５とは独立して設けられてもよい。

ＡＩＳ受信機９は、他船や陸上局等から送信される ＡＩＳ情報を受信するものである。ＡＩＳ情報には、自船４の周囲を航行している他船の位置（緯度・経度）、当該他船の長さ及び幅、当該他船の種類及び識別 情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。

ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から自船４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船４の周囲の情報を映像生成装置１に出力する。

プロッタ１１は、ＧＮＳＳ受信機７から自船４の位置を継続して取得することにより、自船４の航行軌跡の情報を生成することができる。また、プロッタ１１ は、ユーザに複数のウェイポイント（自船４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成す ることができる。

レーダ装置１２は、自船４の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置 １２は物標を捕捉及び追尾する公知の目標追尾機能（Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を 求めることができる。

ソナー１３は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。

映像生成装置１は、ユーザが操作するキーボード３１及びマウス３２に接続されている。ユーザは、キーボード３１及びマウス３２を操作することで、映像の生 成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作、各種の情報の表示の有無の設定、合成映像の視点の設定等が含まれ る。

次に、映像生成装置１の構成について、主に図１を参照して詳細に説明する。

図１に示すように、映像生成装置１は、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、及び合成映像生成部２０を備える。

具体的には、映像生成装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、映像生成装置１ は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像合成処理を実行させるためのソフトウェアが記憶 されている。このハードウェアとソフトウェアの協働により、映像生成装置１を、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部 １７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、表示設定部２８、及び合成映像生成部２０等として機能させることができ る。

撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、合成映像生成部２０（後述のデータ合成部２３）に出力する。

位置取得部１５は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、自船４の現在の位置をリアルタイムで取得する。

姿勢取得部１６は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、自船４の現在の姿勢をリアルタイムで取得する。

付加表示情報取得部１７は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等が映像生成装置１に出力する情報に基づい て、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば図３に 示すように、ＡＩＳ受信機９が受信した他船４４の情報とすることができる。なお、付加表示情報の詳細は後述する。

図１の 記憶部１８は、各種の情報を記憶するメモリとして構成されている。この記憶部１８は、各種の付加表示情報を表現する仮想現実オブジェクトの３次元形状を、 テンプレートとして記憶することができる。記憶部１８が記憶する３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすることができ るが、これに限定されない。

撮影位置設定部２５は、自船４におけるカメラ３の位置（撮影位置）、具体的には、船の長さ方 向及び幅方向でのカメラ３の位置と、上下方向でのカメラの位置（カメラ３の高さ）と、を設定することができる。カメラ３の高さは、自船４において通常想定 される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカ メラ３の位置を実際に計測した結果をキーボード３１及びマウス３２等を操作して入力することで行うことができる。

アンテ ナ位置設定部２６は、自船４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定することができる。このアンテナ位置は、例えば、制御の基準として図２ に示すように自船４に設定される基準点４ａを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点４ａは様々に定める ことができるが、本実施形態では、自船４の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記 の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。

図１の視点設定部２７は、後述の合成映像生成部２０により生成される映像の視点を、ユーザが例えばキーボード３１及びマウス３２を操作することにより設定することができる。

表示設定部２８は、後述の合成映像生成部２０により生成される映像における付加表示情報の表示の有無を設定することができる。また、表示設定部２８は、映 像の理解を補助するための各種の情報、例えば、方位目盛り、水平線、及び海面グリッドを表示するか否かを設定することができる。これらの設定は、ユーザが 例えばキーボード３１及びマウス３２を操作することにより行うことができる。

位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２５、アンテナ位置設定部２６、視点設定部２７、及び表示設定部２８は、取得し、記憶し、又は設定された情報を、合成映像生成部２０に出力する。

合成映像生成部２０は、撮影映像入力部２１に入力されたカメラ３の撮影映像に３次元コンピュータグラフィックスを合成することにより、拡張現実を表現する映像を生成する。この合成映像生成部２０は、３次元シーン生成部２２と、データ合成部２３と、を備える。

３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置すること により、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、 ３次元シーンの詳細は後述する。

図１のデータ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を 描画することで付加表示情報を３次元的に表現する図形を生成するとともに、図６に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映 像とを合成した映像を出力する処理を行う。図６に示すように、この合成画像では、カメラ３で撮影された映像（図では説明の都合により破線で示されている） の海面に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が載置されるように重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に 出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。

次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、映像生成装置１において表示の対象となる付加表示情報の例を説明する概念図である。

付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、映像生成装置１に接続される船舶機器の目的及び機能に応じて様々なものが考 えられる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等）を付加表示情 報とすることができる。ＥＣＤＩＳ１０に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プ ロッタ１１に関しては、記録される自船４の軌跡、設定された予定航路、ウェイポイント、到着エリア、立寄エリアの位置等を付加表示情報とすることができ る。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー１３に関しては、探知された魚群の位置を付加表 示情報とすることができる。これらの情報は、船舶機器から映像生成装置１にリアルタイムで入力される。付加表示情報取得部１７は、入力されるそれぞれの付 加表示情報に対し、それを一意に特定して管理するための識別情報（例えば、識別番号）を付与する。

図３には、自船４の周 囲に位置している付加表示情報の例が示されている。図３において、海面上（水面上）には、目的地を示すウェイポイント４１，４１と、目的地までの予定航路 を示す折れ線状のルート線４２と、が定められている。また、ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が定められる。ウェイポイント ４１、ルート線４２、及び立寄エリア４３は、ユーザが予めプロッタ１１を適宜操作し、各地点の位置を指定することにより設定される。

また、図３の例では、自船４の前方にやや離れた地点で他船４４が自船４の右方へ向けて航行中であり、自船４の左斜め前の近くには仮想ブイ４５があること が、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナ ビゲーション装置の画面には標識として表示される、仮想の（実体を持たない）ブイを意味する。

それぞれの付加表示情報に は、少なくとも、それが配置される海面（水面）における１又は複数の地点の位置（緯度及び経度）を示す情報が含まれている。例えば、ルート線４２を示す付 加表示情報には、折れ線の屈曲部となる２箇所の地点の位置の情報が含まれている（屈曲部の地点の位置は、ウェイポイント４１の位置と一致する）。立寄エリ ア４３の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船４４を示す付加表示情報には、当該他船４４の位置、 船首方位、船の長さ、幅等を示す情報が含まれている。

次に、３次元シーン生成部２２による３次元シーンの構築、及び、 データ合成部２３による映像の合成について、図４を参照して詳細に説明する。図４は、３次元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を 配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン５１と、を説明する概念図である。

３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図４に示すように、自船４の適宜の基準位 置（例えば、上述の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬するように設定されている。図４の例で は、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各地点（座標） は、自船４の周囲の現実の位置に対応するように設定される。

図４には、図３に示す自船４の周囲の状況を表現するために、 仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖを３次元仮想空間４０内に配置した例が示されている。各仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖは、船首方位を基準として、それが表す付加表示情報の自船４に対する相対位置を反映させるように、ｘｚ平面に接す るように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置を決定するにあたっては、図１に示すアンテナ位置設定部２６で 設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。

他船４４を示す仮想現実オブジェクト４４ｖは、船舶の形状を有しており、記憶部１８に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、ＡＩＳ情報で取得した他船４４の向きを示すように配置されている。

仮想ブイ４５を示す仮想現実オブジェクト４５ｖも、他船４４の仮想現実オブジェクト４４ｖと同様に、記憶部１８に予め記憶されているブイのモデルのテンプレートを利用して表現される。

ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現されている。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み 及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現されている。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有す る一定の厚みの板のような３次元形状で表現されている。これらの仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖについては、モデルのテンプレートを使用せず に、３次元形状がその都度作成される。

３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成す る。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした方位基準で配置されるので、図３の状態から自船４の位置（東西 方向及び南北方向での位置）が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置した新しい ３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から他船４４が移動する等して付加表示情報の内容が変更される と、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。

その後、データ合成部２３は、３次元仮想 空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリーン５１と仮想現実オブジェクト ４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することができる。

データ合成部２３は、自船４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートするとともに、映写スクリーン５１を、当該カメ ラ３に正対するように配置する。カメラ３の位置のシミュレートに関し、船体を基準とするカメラ３の位置は、図１に示す撮影位置設定部２５の設定値に基づい て得ることができる。

カメラ３の位置及び向きのシミュレートにあたっては、上述したカメラ３のパン／チルト動作による向 きの変化が考慮される。更に、当該シミュレートは、位置取得部１５及び姿勢取得部１６が取得した位置情報及び姿勢情報に基づき、自船４の姿勢の変化及び高 さの変化によるカメラ３の位置及び向きの変動が反映されるように行われる。データ合成部２３は、カメラ３の位置及び向きの変化に連動して、３次元仮想空間 ４０に配置される映写スクリーン５１の位置及び向きを変化させる。

そして、データ合成部２３は、３次元シーンデータ４８ 及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想空間 ４０に仮想カメラとしての視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、そ の視線方向が中心軸となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン ５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域に相当す る２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うこ とにより、２次元の画像を生成する。

このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われ ることにより得られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像 の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による 映像の合成が実現される。映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防 止することができる。

視点カメラ５５は合成映像の視点を定めるものであり、その位置及び向きは、上述の視点設定部２７の 設定により定められる。ただし、視点設定部２７において特別に設定することにより、データ合成部２３は、合成映像を生成するときのモードとして、視点カメ ラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードとすることができる（視点追従モード）。この視点追従モード では、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のある合成映像を実現することが できる。

一方、データ合成部２３は、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと無関係に、適宜の入力装 置の操作によって視点設定部２７に設定された視点に従うモードとすることもできる（独立視点モード）。この入力装置としては、例えば、キーボード３１、マ ウス３２、図示しないタッチパネル、ジョイスティック等とすることが考えられる。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ３の撮 影視野から外れた位置にある付加表示情報を確認することができる。

次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。図５は、カメラ３による撮影映像の例を示す図である。図６は、データ合成部２３が出力する合成映像を示す図である。

図５には、図３に示す状況において、自船４のカメラ３が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、映像の下部中央には、自船４の船首部分が写っている。

仮想ブイ４５は上述のとおり仮想的なものであるので、図５に示すとおり、カメラ３に写ることはない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１での設定により作成されるものであるので、カメラ３による撮影映像には現れない。

そして、図５に示す撮影映像に対し、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が、図６に示されている。ただ し、図６では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他 の図においても同様である）。図６の合成映像では、撮影映像が画面全体を覆うように配置されるとともに、付加表示情報を表現する図形 ４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、当該撮影映像に重なるように配置されている。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほ ぼ重なるように配置されている。

上記の図形４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想 現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実 的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。

図６に示すように、付加表示情報を仮想現実的に表現する図形４１ｆ，４２ｆ，・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置さ れている。これは、図４に示す仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、撮影位置設定部２５（図１を参照）で設定された高さに基づいて計算された距 離だけカメラ３に対して下方に位置しているｘｚ平面に接するように配置するとともに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正し く配置することにより実現される。

次に、自船４の揺れに伴う合成映像の変化について説明する。図７は、図４の状態から船舶４がピッチ方向及びロール方向に揺動した場合を示す概念図である。図８は、図７の場合の合成映像を示す図である。

上述したとおり、カメラ３は自船４に取り付けられているので、その位置及び向きは、自船４の姿勢が波等により傾いたり、自船４が波に乗り上げたりすること に伴って変化する。本実施形態において、データ合成部２３は、自船４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部１６が取得 した自船４の姿勢の変化、及び、位置取得部１５が取得した自船４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の 位置及び向きを変更し、それに伴って映写スクリーン５１の位置を変更する。

図７には、図４の状態から自船４の姿勢がピッ チ方向及びロール方向に変化したときの様子が示されている。図７の例では、自船４は前下がりかつ左下がりとなるように傾いており、それを反映するように、 カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、そのように位置及び向きが変化したカメラ３に正対するように移動する。

図７の例では、上述の視点追従モードにより、視点カメラ５５の位置及び向きも、上記のように位置及び向きが変化したカメラ３に追従するように変化する。図 ７に対応する合成映像の例が図８に示され、この図に示すように、自船４の揺れに伴ってカメラ３の位置及び向きが異なっても、それに連動して映写スクリーン ５１の位置及び向きが変化するとともに、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化するので、違和感のない合成映像を継続的に得 ることができる。

視点追従モードでは、自船４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成 部２３での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ，４２ｆ，・・・が生成される。従って、海面が現れる向きが自船４の揺 れにより変化するカメラ３の撮影映像に対し、図形４１ｆ，４２ｆ，・・・の表示を、当該海面に置かれた状態を維持するように適切に変化させることができ る。

これにより、仮想の物体があたかも海面に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることが できる。また、ユーザは、ディスプレイ２に映し出された海面を眺めることで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこ ぼしなく必要な情報を得ることができる。

次に、合成映像において、カメラ３による撮影映像が合成映像領域の一部にのみ配 置される場合を説明する。図９は、合成映像の視点を定める視点カメラ５５が、自船４に設けられるカメラ３の撮影方向よりも右にパンしている場合を示す概念 図である。図１０は、合成映像の一部の領域をカメラ３の撮影映像が占める場合を示す図である。図１１は、図１０の状態から更に視点カメラ５５を右にパンし た場合の合成映像を示す図である。なお、図１０及び図１１では、合成映像の全領域のうち、撮影映像が配置されていない領域（３次元グラフィックだけが配置 されている領域）を、図面の表現の都合上、ハッチングを付して示している。

前述の独立視点モードでは、視点設定部２７により、視点カメラ５５の位置及び向きを、カメラ３の位置及び向きとは独立して定めることができる。従って、ユーザは、カメラ３の向きとは大きく異なる方位に位置する付加表示情報を、ディスプレイ２で確認することができる。

図９には、合成映像の視点カメラ５５を、カメラ３の向き（自船４の前方）とは異なる右斜め前に向けた場合の３次元仮想空間４０が示されている。カメラ３の 撮影映像が貼り付けられる映写スクリーン５１は、カメラ３の向きに対応して自船４の前方に配置されるので、視錐台５６で定められる視点カメラ５５の視界 に、映写スクリーン５１は一部しか入らない。

図９に対応した合成映像が図１０に示され、この合成映像では、撮影映像が見 切れる形で、左側の一部のみに配置されている。即ち、合成映像は、撮影映像がある領域とない領域を有する。上述の映写スクリーン５１が球殻状に湾曲してい るため、撮影映像の境界は、図１１のように湾曲して現れる。撮影映像がない領域には、例えば黒い背景が表示されている。

撮影映像には、海面に浮かぶ小型の他船４５ｒが写っており、また、大型の他船４６ｒの船尾部分だけが写っている。

小型の他船４５ｒはＡＩＳ情報を送信していないため、映像生成装置１は付加表示情報を取得できない。従って、この他船４５ｒについては、図１０の３次元仮 想空間４０において仮想現実オブジェクトが配置されないため、合成映像において付加表示情報を示す図形は表示されない。ただし、例えば当該他船４５ｒを レーダ装置１２で探知することにより、付加表示情報を示す図形をこの部分に表示することもできる。

大型の他船４６ｒについては、ＡＩＳ情報に基づいて、船舶の形状を有する仮想現実オブジェクト４６ｖが３次元仮想空間４０に配置され、これを描画した図形４６ｆが合成映像に表示される。

図１０の例で、大型の他船の図形４６ｆは、撮影映像の境界の内外に跨って描画されている。これにより、ユーザは、撮影映像がある部分（拡張現実の部分） と、撮影映像がない部分（仮想現実の部分）と、の両方を同時に捉えながら、自船の周囲に位置する他船を図形４６ｆにより把握することができる。よって、 ユーザは、カメラ３が撮影する向きとは異なる向きに関しても、自船の周囲の様子（物標の存在等）を確認することができ、広範囲にわたり行き届いた監視を行 うことができる。

また、撮影映像において全体のうちの一部しか映っていない他船４６ｒであっても、撮影映像からハミ出すように描画された図形４６ｆにより、当該他船の位置及び大きさ等が適切に表現される。

図１０の例では、撮影映像がある領域と、ない領域と、の境界を強調して示すために、映像に境界線７９が更に合成されている。ただし、境界をどのように表現 するかは、図１に示す表示設定部２８により様々に設定することができる。例えば、２重線で境界線を表示して、境界を更に強調することが考えられる。また、 逆に、境界線７９を表示せず、撮影映像の縁部をぼかして、境界を目立たないようにすることが考えられる。このように縁をぼかした場合、拡張現実の領域と、 仮想現実の領域と、を違和感なく繋げて表現することができる。

次に、合成映像の理解を容易にするために更に表示される各種の情報について説明する。

図１０の映像には、左端と右端とを繋ぐように円弧状に形成された方位目盛り７３が合成されている。方位目盛り７３は、撮影映像がある領域と、ない領域と、 に跨って配置されている。これにより、どの向きの合成映像が出力された場合でも、ユーザは方位に関する情報を容易に得ることができる。方位目盛り７３は、 他の表示（例えば、仮想現実オブジェクト）に隠れないように、最も前面側に表示される。これにより、ユーザは、操船等を行う上で重要な情報となる方位に関 する情報を確実に把握することができる。

更に、図１０の映像には、水平線（海面と空との境界）を表す直線７１、及び海面を表すグリッド７２が、撮影映像がある領域と、ない領域と、に跨って配置されている。これにより、ユーザは、水平線及び海面を容易に把握することができる。

加えて、図１０の映像には、特定の方位（例えば、真北、真西等）を表す方位線７４が合成映像の上下方向に延びるように配置されている。これにより、ユーザは、特定の方位を容易に把握することができる。

また、図１０の映像の右上隅には、自船４の全周のうち、この合成映像に映し出されている範囲を模式的に表す視野表示図形７５が表示されている。この視野表 示図形７５は、円と扇型とを重ねた図形となっており、扇形の向き及び中心角が、現在の視点カメラ５５の向き及び視野角（実質的には、ディスプレイ２に表示 される合成映像に相当する向き及び視野角）を示している。扇型の部分の向きは、例えば真北が上となるように表示される。この扇型の部分の向きは、例えば ユーザが視点カメラ５５の向きを変更することにより、リアルタイムで変化する。これを見ることにより、ユーザは、どの方位の映像を見ているのかを直感的に 把握することができる。視野表示図形７５は、視点カメラ５５の視野を扇型で表すのに代えて、又はそれに加えて、撮影映像を取得するカメラ３の向き及び視野 角を扇型で表すように構成してもよい。

ただし、方位目盛り７３、水平線の直線７１、海面のグリッド７２、方位線７４、及 び視野表示図形７５は、表示設定部２８の設定により、個別に表示しないようにすることもできる。例えば、図６の合成映像においては、方位目盛り７３及び海 面のグリッド７２等は表示されていない。

次に、独立視点モードでの自船４の揺れに応じた処理について説明する。

上述したとおり、独立視点モードでは、視点カメラ５５の位置及び向きはカメラ３の位置及び向きと異なる。しかしながら、独立視点モードであっても、合成映 像の全部の領域を覆うようにカメラ３の撮影映像が配置されている場合、又は、一部であっても例えば図１０のように撮影映像がある程度の割合を占めている場 合は、自船４の揺れに応じた撮影映像の変化に対応して図形４６ｆの位置及び向きを変化させることが、図形４６ｆ等の撮影映像に対する位置ズレを防止するた めに好適である。そこで、データ合成部２３は、上述のような場合には、自船４の揺れによってカメラ３の姿勢が当該カメラ３基準のロール方向（撮影光軸を中 心とするロール方向）に変化するのに追従して、視点カメラ５５の位置及び向きを変化させる処理（姿勢変化追従処理としての揺れ追従処理）を行う。なお、揺 れ追従処理は、カメラ３の姿勢のロール方向の変化だけなく、例えばピッチ方向の変化に対応して行われてもよい。また、揺れ追従処理は、カメラ３のヒービン グに対応して行われてもよい。

一方で、図１１のように撮影映像が合成映像に占める割合が小さい場合、又は合成映像に撮影映像が全く含まれない場合には、データ合成部２３は、上述の揺れ追従処理を行わない。これにより、映像の揺れを防止して、安定した見易い表示を実現することができる。

次に、独立視点モードの特別な場合について説明する。

視点設定部２７は、ユーザが例えばマウス３２を操作して、合成映像上の海面における任意の点を指定することにより、注目モードを指示可能に構成されてい る。この注目モードでは、データ合成部２３は、指示された点に対応する３次元仮想空間４０上の位置が合成映像での所定の位置（例えば、映像の中央）に継続 して表示されるように、視点カメラ５５の撮影方向を自動的に変更する。また、ユーザが指定した点に仮想現実オブジェクトの図形（例えば、図形４６ｆ）が位 置している場合、当該仮想現実オブジェクト４６ｖを描画した図形４６ｆが合成映像での所定の位置（例えば、映像の中央）に継続して表示されるように、視点 カメラ５５の撮影方向を自動的に変更する。

これにより、特定の点又は仮想現実オブジェクトを、合成映像において継続的に 監視することができる。このように、本実施形態の映像生成装置１は、自船４の周囲を網羅的に監視したい場合だけではなく、特定の監視対象物（他船等）の挙 動等に絞り込んで重点的に監視を行いたい場合にも、幅広く利用することができる。

次に、３次元シーン生成部２２が他船に関する仮想現実オブジェクト（例えば、図９の仮想現実オブジェクト４６ｖ）を生成する処理について説明する。

本実施形態において、付加表示情報として他船のＡＩＳ情報が得られ、３次元シーン生成部２２が３次元仮想空間４０に船舶の形状の仮想現実オブジェクトを配 置する場合、３次元シーン生成部２２は、船舶の３次元形状の基本となるモデル（モデルテンプレート）を記憶部１８から読み込む。そして、３次元シーン生成 部２２は、この基本となるモデルに対して、ＡＩＳ情報（船の長さ、幅、及び船首方位）を実現するように、船の長さ方向の拡大／縮小変形、幅方向の拡大／縮 小変形、及び回転を行うことによって、仮想現実オブジェクトを生成する。

これにより、３次元シーン生成部２２は、船舶の 長さ、幅、及び船首方位が付加表示情報と一致する船舶の形状の仮想現実オブジェクトを、３次元仮想空間４０に配置して、３次元シーンデータ４８を生成する ことができる。これにより、他船に関する情報をより適切に反映させた拡張現実の映像を得ることができる。

ただし、船の長 さ方向の拡大／縮小変形処理、幅方向の拡大／縮小変形処理、及び回転処理のうち何れかを省略してもよい。例えば、レーダ装置１２で探知された他船の情報が 付加表示情報として得られた場合、モデルテンプレートを基準として、当該他船の速度ベクトルに船首方位が一致するように回転することで、船舶の仮想現実オ ブジェクトを生成することが考えられる。もっとも、レーダ装置１２においてエコー信号の形状が取得されている場合は、上記のモデルテンプレートを、当該エ コー信号の形状を実現するように拡大／縮小変形することもできる。

以上に説明したように、本実施形態の映像生成装置１ は、撮影映像入力部２１と、位置取得部１５と、姿勢取得部１６と、付加表示情報取得部１７と、合成映像生成部２０と、を備える。撮影映像入力部２１は、自 船４に設置されるカメラ３が撮影した撮影映像を入力する。位置取得部１５は、自船４の位置を示す位置情報を取得する。姿勢取得部１６は、自船４の姿勢を示 す姿勢情報を取得する。付加表示情報取得部１７は、１又は複数の地点の位置を示す情報を含む付加表示情報を取得する。合成映像生成部２０は、前記位置情 報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・を描画した図形 ４１ｆ，４２ｆ，・・・をカメラ３による撮影映像に合成した合成映像を生成する。合成映像生成部２０は、図１０に示すように、合成映像において前記撮影映 像が一部のみに配置されているときに、当該撮影映像の境界の内外に跨って図形４６ｆを配置可能である。

これにより、自船 ４の位置及び姿勢に基づいて、付加表示情報の位置等を示す図形４１ｆ，４２ｆ，・・・を撮影映像に重ねて、合成映像を作成することで、仮想現実的な表示を 実現することができる。また、例えば、カメラ３が撮影する向きとは異なる方向の付加表示情報を、図形４６ｆにより確認することができるので、ユーザは幅広 い方位における付加表示情報を確認することができる。更に、撮影映像のある領域とない領域の両方に跨って図形４６ｆを配置することができるので、ユーザ は、撮影映像が配置されている部分と、それ以外の部分と、の両方をシームレスに捉えながら、付加表示情報で示される状況を把握することができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、船舶の形状を有する仮想現実オブジェクト４６ｖを描画した図形４６ｆを、カメラ３による撮影映像に合成可能である。

これにより、他船４６ｒが撮影映像において一部しか映っていない場合でも、撮影映像からハミ出すように仮想現実オブジェクト４６ｖが描画された図形４６ｆにより、ユーザは当該他船４６ｒの位置及び大きさ等を容易に理解することができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、船舶の長さ、幅、及び船首方位が付加表示情報を反映している仮想現実オブジェクト４６ｖを描画した図形４６ｆを、カメラ３による撮影映像に合成可能である。

これにより、付加表示情報に基づく形状及び向きの船舶のオブジェクトとすることができるので、付加表示情報をより忠実に反映した合成映像を得ることができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、カメラ３による撮影映像に対して、方位を示す方位目盛り７３を合成可能である。合成映 像生成部２０は、合成映像においてカメラ３の撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って方位目盛り７３を配置可能であ る。

これにより、ユーザは、撮影映像がある領域とない領域の両方をシームレスに捉えながら、方位を容易に把握することができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、カメラ３による撮影映像に対して、海面と空の境界である水平線を表す直線７１を合成可 能である。合成映像生成部２０は、合成映像においてカメラ３の撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って水平線（直線 ７１）を配置可能である。

これにより、ユーザは、撮影映像がある領域とない領域の両方をシームレスに捉えながら、水平線を容易に把握することができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、カメラ３による撮影映像に対して、海面を表すグリッド７２を合成可能である。合成映像 生成部２０は、合成映像においてカメラ３の撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨ってグリッド７２を配置可能である。

これにより、ユーザは、撮影映像がある領域とない領域の両方をシームレスに捉えながら、海面を容易に把握することができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、カメラ３による撮影映像の境界をぼかして、又は強調して描画可能である。

これにより、撮影映像の境界の印象を弱め、又は強めることができるので、表示の意匠性を向上させることができる。

また、映像生成装置１においては、合成映像生成部２０は、合成映像の全部にカメラ３の撮影映像が配置されているときは、カメラ３の撮影光軸を基準とした少 なくともロール方向の姿勢変化に対応して、仮想現実オブジェクト４６ｖが描画される位置及び向きを変更する揺れ追従処理を行う。合成映像生成部２０は、合 成映像にカメラ３の撮影映像が全く配置されていないときは、揺れ追従処理を行わない。

これにより、合成映像の全部を覆う ように撮影映像が配置されているときは、波等による自船４の揺れに伴うカメラ３の姿勢等の変化に対応して仮想現実オブジェクト４１ｖ，４２ｖ，・・・が描 画される位置及び向きが変更されることで、合成映像の違和感を減らすとともに、臨場感を高めることができる。一方、合成映像に撮影映像が全く含まれない場 合には、映像の揺れを防止することができる。

また、本実施形態の映像生成装置１において、合成映像生成部２０は、前記位 置情報及び前記姿勢情報に基づいて、３次元仮想空間４０に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクト４１ｖ，４２ｖ，・・・として 配置するとともに、カメラ３による撮影映像が貼り付けられる映写スクリーン５１を配置し、当該３次元仮想空間に配置された視点カメラ５５の位置及び向きに 基づいて仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び前記撮影映像を描画することで、前記合成映像データを生成する。また、映像生成装置１は、視点カ メラ５５の位置及び向きをユーザの操作によって変更可能である。

これにより、付加表示情報を、自船４から様々な方向で確 認することができる。また、ユーザが見たい方向が変化しても、簡単な処理で、付加表示情報の３次元的な表現である図形４１ｆ，４２ｆ，・・・と、カメラ３ の撮影映像と、の３次元的な見え方の整合性を維持した合成映像を実現することができる。

また、本実施形態の映像生成装置 １において、合成映像生成部２０は、３次元仮想空間４０における点、又は、仮想現実オブジェクト４１ｖ，４２ｖ，・・・をユーザが指定する操作を行った場 合に、当該指定された点又は仮想現実オブジェクト４１ｖ，４２ｖ，・・・が合成映像に継続して写るように、視点カメラ５５の位置及び向きを自動的に変更可 能である。

これにより、ユーザが注目する地点の状況又は付加表示情報が示す状況を、継続的に確認することが容易になる。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

上記の実施形態で、視点設定部２７は、視点カメラ５５の位置及び向きの両方をユーザが指示できるように構成されている。しかしながらこれに代えて、視点カメラ５５の位置だけ、又は向きだけを指示可能に構成されてもよい。

データ合成部２３において、３次元シーンデータ４８と、映写スクリーン５１と、を同時にレンダリングしないように構成してもよい。即ち、データ合成部２３ が、３次元シーンデータ４８だけのレンダリング結果である２次元の映像（図形４１ｆ，４２ｆ，・・・の映像）と、映写スクリーン５１だけのレンダリング結 果である２次元の映像（撮影映像が映写スクリーン５１に貼り付けられた映像）と、を別々に作成して、その後に２次元の映像同士を合成する構成としてもよ い。この場合、３次元シーンデータ４８のレンダリング処理は自船４の移動等に応じて随時行う一方、映写スクリーン５１のレンダリング処理はカメラ３による 映像のフレームレートに応じた短い時間間隔で行うようにすることができる。

カメラ３において、上記のパン／チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ３が前方以外の方向（例えば、後方）を撮影するように配置されてもよい。

ユーザが視点カメラ５５の向きを変更する操作を行ったときに、それに追従するようにカメラ３のパン／チルト動作が自動的に行われてもよい。この場合も、カ メラ３の例えばパン動作が視点カメラ５５の向きの変更に追い付かない場合には、図１０及び図１１に示すように、合成映像においてカメラ３の撮影映像が一時 的に見切れる場合があり得る。

３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態で は、図４で説明したように、仮想現実オブジェクト４１ｖ，４２ｖ，・・・が自船４の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オ ブジェクト４１ｖ，４２ｖ，・・・を、船首基準ではなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、回頭等によって自船４の船首方位 が変化したときは、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０での自船４の向きをヨー方向に変化させることに なる。そして、このときのカメラ３の位置及び向きの変化を３次元仮想空間４０においてシミュレートするとともに、これに連動して視点カメラ５５の位置及び 向きを変更してレンダリングを行うことで、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。

また、 ３次元仮想空間４０の座標系は、自船４の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真 東となるように定められてもよい。この場合、地球に固定された座標系の３次元仮想空間４０において、自船４が配置される位置及び向きが位置情報及び姿勢情 報に基づいて変化し、これに伴うカメラ３の位置及び向きの変化が３次元仮想空間４０においてシミュレートされることになる。

映像生成装置１において、自船４の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、３次元シーン生成部２２において、自船４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにすることが考えられる。

上記の実施形態で示した水平線を表す直線７１、及び海面を表すグリッド７２の態様は、例示に過ぎず、他の態様で表示されるものとしてもよい。例えば、直線 ７１及びグリッド７２が、仮想現実オブジェクト４６ｖを描画した図形４６ｆの向こう側に透けて見えるように表示されてもよい。

映像生成装置１に接続される船舶機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。

本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。

前述のように、撮影装置が撮影した映像に図形等を重ねて表示する際に、図１３と図１４のように、方位を示す目盛画像等のような付加情報９１ａ、９１ｂを同時に表示することで、限られた表示領域を有効に活用することができる。このとき、当該図形が付加情報によってできる限り隠れないように、自動的に、付加情報の位置が変更や移動をするような構成にしてもよい。また、船体の傾きに応じて、付加情報９１ａ、９１ｂが傾くような表示としてもよい。このような表示をすることで、船体が傾いている状況でも常に正確な付加情報を視認することができる。

本発明の実施形態において行う処理を、図１５のフローチャートを参照して説明する。本実施形態では、水上移動体に設置される撮影装置が撮影した撮影映像を入力し（Ｓ１０１）、前記水上移動体の位置を示す位置情報を取得し（Ｓ１０２）、前記水上移動体の姿勢を示す姿勢情報を取得し（Ｓ１０３）、１又は複数の地点の位置を示す情報を含む付加表示情報を取得し（Ｓ１０４）、 前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成し、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記図形を配置する（Ｓ１０５）ことで、前述の課題を解決する。

１ 映像生成装置
１５ 位置取得部
１６ 姿勢取得部
１７ 付加表示情報取得部
２０ 合成映像生成部
２１ 撮影映像入力部
４６ｖ 仮想現実オブジェクト
４６ｆ 図形

Claims (12)

1. 水上移動体に設置される撮影装置が撮影した撮影映像を入力する撮影映像入力部と、
   前記水上移動体の位置を示す位置情報を取得する位置取得部と、
   前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
   １又は複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
   前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成し た合成映像を生成し、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記図形を配置可能な合成映像生成部と、
   を備えることを特徴とする映像生成装置。
2. 請求項１に記載の映像生成装置であって、
   前記合成映像生成部は、船舶の形状を有する前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成可能であることを特徴とする映像生成装置。
3. 請求項２に記載の映像生成装置であって、
   前記合成映像生成部は、船舶の長さ、幅、及び船首方位のうち少なくとも何れかが前記付加表示情報を反映している仮想現実オブジェクトを描画した図形を前記撮影映像に合成可能であることを特徴とする映像生成装置。
4. 請求項１から３までの何れか一項に記載の映像生成装置であって、
   前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能であり、
   前記合成映像生成部は、前記合成映像において前記撮影映像が一部のみにおいて配置されているときに、前記撮影映像の内外に跨って前記方位目盛りを配置可能であることを特徴とする映像生成装置。
5. 請求項１から４までの何れか一項に記載の映像生成装置であって、
   前記合成映像生成部は、前記撮影映像に対して、水面と空の境界である水平線を合成可能であり、
   前記合成映像生成部は、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記水平線を配置可能であることを特徴とする映像生成装置。
6. 請求項１から５までの何れか一項に記載の映像生成装置であって、
   前記合成映像生成部は、前記撮影映像に対して、水面を表すグリッドを合成可能であり、
   前記合成映像生成部は、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記グリッドを配置可能であることを特徴とする映像生成装置。
7. 請求項１から６までの何れか一項に記載の映像生成装置であって、
   前記合成映像生成部は、前記撮影映像の境界をぼかして、又は強調して描画可能であることを特徴とする映像生成装置。
8. 請求項１から７までの何れか一項に記載の映像生成装置であって、
   前記合成映像生成部は、
   前記合成映像の全部に前記撮影映像が配置されているときは、前記撮影装置の撮影光軸を基準とした少なくともロール方向の姿勢変化に対応して、前記仮想現実オブジェクトが描画される位置及び向きを変更する姿勢変化追従処理を行い、
   前記合成映像に前記撮影映像が全く配置されていないときは、前記姿勢変化追従処理を行わないことを特徴とする映像生成装置。
9. 請求項１から８までの何れか一項に記載の映像生成装置であって、
   前記合成映像生成部は、前記位置情報及び前記姿勢情報に基づいて、３次元仮想空間に前記付加表示情報の少なくとも一部を３次元の仮想現実オブジェクトとし て配置するとともに前記撮影映像を配置し、当該３次元仮想空間に配置された仮想カメラの位置及び向きに基づいて前記仮想現実オブジェクト及び前記撮影映像 を描画することで、前記合成映像を生成し、
   前記仮想カメラの位置及び向きのうち少なくとも何れかをユーザの操作によって変更可能であることを特徴とする映像生成装置。
10. 請求項９に記載の映像生成装置であって、
    前記合成映像生成部は、前記３次元仮想空間における点、又は、前記仮想現実オブジェクトをユーザが選択する操作を行った場合に、当該選択された点又は仮想 現実オブジェクトが前記合成映像に継続的に含まれるように、前記仮想カメラの位置及び向きのうち少なくとも何れかを自動的に変更可能であることを特徴とす る映像生成装置。
11. 請求項１から１０までの何れか一項に記載の映像生成装置であって、
    前記合成映像生成部は、方位を示す目盛画像を更に生成し、
    前記撮影映像における、前記図形が表示される位置に応じて、前記目盛画像の表示位置を決定することを特徴とする映像生成装置
12. 水上移動体に設置される撮影装置が撮影した撮影映像を入力し、
    前記水上移動体の位置を示す位置情報を取得し、
    前記水上移動体の姿勢を示す姿勢情報を取得し、
    １又は複数の地点の位置を示す情報を含む付加表示情報を取得し、
    前記位置情報、前記姿勢情報及び前記付加表示情報に基づいて、前記付加表示情報を示す３次元の仮想現実オブジェクトを描画した図形を前記撮影映像に合成し た合成映像を生成し、前記合成映像において前記撮影映像が一部のみに配置されているときに、前記撮影映像の境界の内外に跨って前記図形を配置する
    ことを特徴とする映像生成方法。

Images