JP7365355B2 - 映像生成装置及び映像生成方法 - Google Patents

Description

本発明は、主として、カメラ映像に図形を合成する映像生成装置に関する。

特許文献１は、気象データの強度分布状況を仰角の大きさに応じて投影したグラフィック画像を生成し、カメラ映像に重畳して表示する分布データ表示装置を開 示する。特許文献１では、気象データが高度方向に階層化されている場合に、高度別の分布状況を選択的に表示する構成について言及されている。

特許第６０８７７１２号公報

上記特許文献１の構成は、空を見上げる視点となるようにカメラが向いているときの気象データの平面的な分布を表現することが前提となっている。従って、特 許文献１の表示装置では、例えば雨雲と地表との間での高度に応じた降水分布を一目で見ることができず、また、現実感及び臨場感に乏しい点で改善の余地が あった。

本発明は以上の事情に鑑みてされたものであり、その目的は、より分かり易い形で気象データの分布を示すことが可能な映像生成装置を提供することにある。

課題を解決するための手段及び効果

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の第１の観点によれば、以下の構成の映像生成装置が提供される。即ち、映像生成装置は、撮影映像入力部と、気象情報取得部と、気象情報図形生成部 と、合成映像生成部と、を備える。前記撮影映像入力部は、カメラの撮影映像を入力する。前記気象情報取得部は、気象情報を取得する。前記気象情報図形生成 部は、前記気象情報に複数の３次元での位置情報が含まれる場合に、当該複数の３次元での位置情報に基づく３次元形状の外形を変換した２次元図形である気象 情報図形を生成する。前記合成映像生成部は、前記気象情報図形を前記撮影映像に合成した合成映像を生成する。

これにより、ユーザは、カメラ映像とともに気象情報を、高さ方向の外形の情報を含めて容易に理解することができる。

前記の映像生成装置においては、前記気象情報図形生成部は、前記３次元形状を２次元にレンダリングすることにより、前記気象情報図形を生成することが好ましい。

これにより、気象情報図形を３次元コンピュータグラフィックスにより実現できる。

前記の映像生成装置においては、前記気象情報図形生成部は、３次元空間に配置した前記３次元形状としての仮想現実オブジェクトを、前記撮影映像に対応する視点の位置及び向きで２次元にレンダリングすることで、前記気象情報図形を生成することが好ましい。

これにより、撮影映像に幾何学的に整合させるように気象情報図形を生成することができる。

前記の映像生成装置においては、前記気象情報には、気象用レーダで取得した降水エコー情報が含まれることが好ましい。

これにより、ユーザは、降水の分布の３次元的な輪郭を、現実感をもって容易に理解することができる。

前記の映像生成装置においては、前記気象情報図形生成部は、前記降水エコー情報に基づいて、降水がある地上又は水上の領域を示す図形を生成可能であることが好ましい。

これにより、ユーザは、降水がある地上／水上の領域の分布を容易に理解することができる。

前記の映像生成装置においては、前記気象情報には、太陽の位置が含まれることが好ましい。

これにより、太陽の位置を、現実感をもって容易に理解することができる。

前記の映像生成装置においては、前記気象情報には、雲の３次元形状が含まれることが好ましい。

これにより、雲の形状の３次元的な輪郭を、現実感をもって容易に理解することができる。

前記の映像生成装置においては、前記気象情報図形生成部は、前記雲の３次元形状と太陽の位置とに基づいて、太陽光が雲によって遮られる地上又は水上の領域を示す図形を生成可能であることが好ましい。

これにより、ユーザは、日射に関する情報を容易に理解することができる。

前記の映像生成装置においては、前記気象情報には、風向の分布の情報、風速の分布の情報、気温の分布の情報、気圧の分布の情報、水蒸気量の分布の情報、雷 の位置の情報、予測される日射の分布の情報、及び予測される降水の分布の情報のうち少なくとも何れかが含まれることが好ましい。

これにより、ユーザは、気象に関する様々な情報を容易に理解できる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、この映像生成装置は、水上の物標の位置を含む物標情報を入力する物標情報入力部を 備える。前記合成映像生成部は、前記気象情報図形を前記撮影映像に合成するとともに、前記物標の位置を前記撮影映像に幾何学的に整合させるように変換した 位置を示す図形である物標情報図形を前記撮影映像に合成した合成映像を生成可能である。

これにより、気象に関する情報だけでなく、物標の位置に関する情報を、現実感を伴う映像によって統合的に把握することができる。

前記の映像生成装置においては、前記物標情報に、物標監視用レーダで物標を探知して得られた情報が含まれることが好ましい。

これにより、レーダによる物標の監視結果を容易に理解することができる。

前記の映像生成装置においては、前記物標情報に、自動船舶識別装置から得られた情報が含まれることが好ましい。

これにより、自動船舶識別装置による物標の監視結果を容易に理解することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、この映像生成装置は、方位と、その方位について警戒すべき度合いを示す警戒度と、 の関係を、少なくとも前記気象情報に基づいて取得する警戒度取得部を備える。前記合成映像生成部は、前記撮影映像に対して、前記方位と前記警戒度の関係を 示す警戒度チャートを合成可能である。

これにより、ユーザは、特にどの方位について注意すべきかを容易に理解することができる。

前記の映像生成装置においては、以下の構成とすることが好ましい。即ち、前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能である。前記方位目盛りが前記撮影映像に対して合成される上下方向の位置が自動的に変更される。

これにより、ユーザは、方位目盛りによって方向を容易に把握できるとともに、当該方位目盛りの表示が状況の把握の邪魔になることを回避できる。

本発明の第２の観点によれば、以下の映像生成方法が提供される。即ち、カメラの撮影映像を入力する。気象情報を取得する。前記気象情報に複数の３次元での 位置情報が含まれる場合に、当該複数の３次元での位置情報に基づく３次元形状の外形を、前記撮影映像に幾何学的に整合するように変換した２次元図形である 気象情報図形を生成する。前記気象情報図形を前記撮影映像に合成した合成映像を生成する。

これにより、ユーザは、カメラ映像とともに気象情報を、高さ方向での情報を含めて容易に理解することができる。

本発明の一実施形態に係る周辺監視装置の全体的な構成を示すブロック図。 港湾監視施設等に備えられる各種の機器を示す側面図。 カメラから入力される撮影映像の例を示す図。 ３次元仮想空間に仮想現実オブジェクトを配置して構築される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。 拡張現実映像生成部が出力する合成映像を示す図。 周辺監視装置において行われる処理を説明するフローチャート。

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る周辺監視装置１の全体的な構成を示すブロック図である。図２は、港湾監視施設４等に備えられる各種の機器を示す側面図である。

図１に示す周辺監視装置（映像生成装置）１は、例えば、図２に示す港湾監視施設４に設置される。周辺監視装置１は、カメラ（撮影装置）３で撮影した映像を ベースとして、気象状況の監視、及び、港湾の船舶の動静監視を支援する情報を重畳した映像を生成することができる。周辺監視装置１が生成した映像は、ディ スプレイ２に表示される。

ディスプレイ２は、例えば、港湾監視施設４でオペレータが監視業務を行う監視デスクに配置され たディスプレイとして構成することができる。ただし、ディスプレイ２は上記に限定されず、例えば、オペレータ又はその補助者が携帯する携帯型コンピュータ のディスプレイ等とすることが可能である。

周辺監視装置１は、港湾監視施設４に設置されたカメラ３によって撮影された周囲の映像と、当該周囲の状況に関する付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。

次に、主に図１を参照して、周辺監視装置１に電気的に接続されるカメラ３及び各種の機器について説明する。

カメラ３は、港湾監視施設４の周囲を撮影する可視光ビデオカメラとして構成されている。カメラ３は広角型のカメラとして構成されており、見通しの良い高い 場所にやや下向きで取り付けられている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ（映像データ）をリアルタイムで生成して 周辺監視装置１に出力することができる。図３には、カメラ３から周辺監視装置１に入力される撮影映像の例が示されている。

カメラ３は、原則として定点撮影を行う。ただし、カメラ３は図略の回転機構を介して取り付けられており、パン／チルト動作を指示する信号が周辺監視装置１から入力されることにより、その撮影方向を変更することができる。

本実施形態の周辺監視装置１は、上記のカメラ３のほか、各種の機器としての気象用レーダ１５、全天球カメラ１６、船舶監視用レーダ（物標監視用レーダ）１２、及びＡＩＳ受信機（自動船舶識別装置）９等と電気的に接続されている。

気象用レーダ１５は、仰角及び方位角を変化させながらアンテナから電波を送受信することにより、雨粒及び雨雲等を探知する。気象用レーダ１５は、公知の計 算を行うことにより、雨粒及び雨雲が存在する仰角及び方位角と、当該雨粒及び雨雲までの距離と、降水量と、を取得する。気象用レーダ１５は、緯度、経度、 高度に応じた水分量の３次元分布である降水エコー情報を、周辺監視装置１に出力する。気象用レーダ１５は、気象情報生成装置に相当する。

全天球カメラ１６は、魚眼レンズを装着した上向きのカメラにより構成されており、全天を定点観測する。全天球カメラ１６は３箇所以上に設置されており、そ れぞれの全天球カメラ１６が撮影した雲の映像を解析することにより、緯度、経度、高度に応じた雲の３次元分布を取得する。雲の３次元分布は、周辺監視装置 １に出力される。全天球カメラ１６は、気象情報生成装置に相当する。

気象情報生成装置は、他にも様々に考えられる。例を 挙げると、周辺監視装置１には、カメラ３による監視対象領域の適宜の場所に設置された気象観測ステーションが出力した、気温、気圧、湿度、日射、風向及び 風速等の情報を入力することができる。また、周辺監視装置１には、海の適宜の場所に設置された波高計が出力した、波の高さの情報を入力することができる。 更に、周辺監視装置１には、気象観測衛星がマイクロ波放射計によって測定した水蒸気量の情報を入力することができる。周辺監視装置１には、公知の雷監視シ ステムが雷放電を観測することにより測定された雷の位置を入力することもできる。

船舶監視用レーダ１２は、アンテナから 電波を送受信することにより、監視対象の港湾に存在する船舶等の物標を探知することができる。また、この船舶監視用レーダ１２は物標を捕捉及び追尾するこ とが可能な公知の目標追尾機能（Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を求めることができ る。船舶監視用レーダ１２は、物標検出装置に相当する。

ＡＩＳ受信機９は、船舶から送信されるＡＩＳ情報を受信する。 ＡＩＳ情報には、監視対象の港湾を航行している船舶の位置（緯度・経度）、当該船舶の長さ及び幅、当該船舶の種類及び識別情報、当該船舶の船速、針路及び 目的地等の、様々な情報が含まれる。ＡＩＳ受信機９は、物標検出装置に相当する。

周辺監視装置１は、ユーザが操作するキーボード３６及びマウス３７に接続されている。ユーザは、キーボード３６及びマウス３７を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作等が含まれる。

次に、周辺監視装置１の構成について、主に図１を参照して詳細に説明する。

図１に示すように、周辺監視装置１は、撮影映像入力部２１と、気象情報入力部２２と、物標情報入力部２３と、付加表示情報取得部１７と、カメラ位置／向き設定部２５と、太陽位置取得部２６と、画像認識部２８と、拡張現実映像生成部３０と、を備える。

具体的には、周辺監視装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、周辺監視装置１ は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像生成方法を実行させるためのソフトウェアが記憶 されている。このハードウェアとソフトウェアの協働により、周辺監視装置１を、撮影映像入力部２１、気象情報入力部２２、物標情報入力部２３、付加表示情 報取得部１７、カメラ位置／向き設定部２５、太陽位置取得部２６、画像認識部２８、及び拡張現実映像生成部３０等として機能させることができる。

撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、画像認識部２８及び拡張現実映像生成部３０（後述のレンダリング部３２）に出力する。

気象情報入力部２２は、気象用レーダ１５及び全天球カメラ１６が出力した各種の気象情報を入力することができる。従って、気象情報入力部２２は、気象情報取得部に相当する。気象情報入力部２２は、入力された気象情報を、付加表示情報取得部１７に出力する。

物標情報入力部２３は、船舶監視用レーダ１２及びＡＩＳ受信機９が出力した船舶等の物標に関する情報（以下、物標情報という。）を入力することができる。 物標情報入力部２３は、物標情報取得部に相当する。物標情報入力部２３は、入力された物標情報を、付加表示情報取得部１７に出力する。

付加表示情報取得部１７は、気象情報入力部２２及び物標情報入力部２３から周辺監視装置１に入力した情報、及び、画像認識部２８が取得した情報等に基づい て、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報、気象情報、物標情報）を取得する。この付加表示情報としては様々なものが考えら れるが、例えば、気象用レーダ１５から得られる降水の３次元分布、全天球カメラ１６から得られる雲の３次元分布、後述の太陽位置取得部２６から得られる太 陽の位置、ＡＩＳ受信機９から得られる船舶の位置及び速度、船舶監視用レーダ１２から得られる物標の位置及び速度、画像認識部２８から得られる物標の位置 及び速度等とすることができる。付加表示情報取得部１７は、取得した情報を拡張現実映像生成部３０に出力する。なお、付加表示情報の詳細は後述する。

カメラ位置／向き設定部２５は、港湾監視施設４におけるカメラ３の位置（撮影位置）及び向きを設定することができる。カメラ３の位置の情報は、具体的に は、緯度、経度、及び高度を示す情報である。カメラ３の向きの情報は、具体的には、方位角及び俯角を示す情報である。これらの情報は、例えばカメラ３の設 置作業時に測定を行うこと等により得ることができる。カメラ３の向きは上述のとおり所定の角度範囲で変更可能であるが、カメラ３のパン／チルト操作がされ ると、それに応じて、最新の向きの情報がカメラ位置／向き設定部２５に設定される。カメラ位置／向き設定部２５は、設定されている情報を、太陽位置取得部 ２６、付加表示情報取得部１７及び拡張現実映像生成部３０に出力する。

太陽位置取得部２６は、太陽の位置（方位角及び仰 角）を、カメラ３が設置された位置と、現在時刻と、に基づいて、公知の式に基づいた計算により求める。太陽の位置は気象情報の一種であるので、太陽位置取 得部２６は、気象情報取得部に相当する。太陽位置取得部２６は、取得した太陽の位置を付加表示情報取得部１７に出力する。

画像認識部２８は、撮影映像入力部２１から取得した画像のうち船舶等と考えられる部分を切り出して、予め登録されている物標画像データベースと照合するこ とにより、船舶、ダイバー、漂流物等の物標を認識する。具体的には、画像認識部２８は、移動する物体をフレーム間差分法等により検出し、差異が生じた領域 を切り出して、画像データベースと照合する。照合の方法としては、テンプレートマッチング等、公知の適宜の方法を用いることができる。画像認識は、他の公 知の方法、例えばニューラルネットワークを用いて実現することもできる。画像認識部２８は、認識された物標のそれぞれについて、画像上で認識された位置の 情報を付加表示情報取得部１７に出力する。画像認識部２８は、物標情報入力部２３と同様に、物標情報取得部に相当する。

拡張現実映像生成部３０は、ディスプレイ２に表示する合成映像を生成する。この拡張現実映像生成部３０は、３次元シーン生成部３１と、レンダリング部３２と、を備える。

３次元シーン生成部３１は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置すること により、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）５０が生成される。なお、 ３次元シーンの詳細は後述する。

レンダリング部３２は、３次元シーン生成部３１が生成した３次元シーンデータ５０を描画 することで、仮想現実オブジェクト４１ｖ，４２ｖ，・・・の外形を２次元に変換した図形４１ｆ，４２ｆ，・・・を生成する。また、レンダリング部３２は、 上記の２次元の図形４１ｆ，４２ｆ，・・・の生成と同時に、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映像とを合成した映像を生成する。従って、レ ンダリング部３２は、気象情報図形生成部及び合成映像生成部として機能する。図５に示すように、この合成映像では、カメラ３で撮影された映像に、付加表示 情報を示す図形４１ｆ，４２ｆ，・・・が重ねられている。レンダリング部３２（拡張現実映像生成部３０）は、生成された合成映像をディスプレイ２に出力す る。なお、図形の生成処理及びデータ合成処理の詳細は後述する。

次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。

付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、周辺監視装置１に接続される機器の目的及び機能に応じて様々なものが考えられる。

気象用レーダ１５に関しては、３次元での降水分布を付加表示情報とすることができる。全天球カメラ１６に関しては、３次元での雲の分布を付加表示情報とすることができる。降水分布及び雲の分布に関する最新の情報は、それぞれの機器から周辺監視装置１に入力される。

船舶監視用レーダ１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情 報（例えば、船舶の位置及び向き等）を付加表示情報とすることができる。これらの情報は、それぞれの機器から周辺監視装置１にリアルタイムで入力される。

また、本実施形態において、付加表示情報には、画像認識部２８が画像認識を行うことにより識別された物標の位置及び速度等が含まれる。

船舶監視用レーダ１２から得られた情報に含まれる物標の位置及び速度ベクトルは、船舶監視用レーダ１２のアンテナの位置及び向きを基準とした相対的なもの である。付加表示情報取得部１７は、船舶監視用レーダ１２から得られた物標の位置及び速度ベクトルを、周辺監視装置１に予め設定してある当該アンテナの位 置及び向きの情報に基づいて、地球基準に変換する。

同様に、画像認識部２８から得られた物標の位置及び速度ベクトルは、 カメラ３の位置及び向きを基準とした相対的なものである。付加表示情報取得部１７は、画像認識部２８から得られた物標の位置及び速度ベクトルを、カメラ位 置／向き設定部２５から得られた情報に基づいて、地球基準に変換する。

以下、付加表示情報の例を説明する。図３のカメラ 映像では、遠くの上空に多くの雲４１ｒが現れているが、この雲４１ｒは全天球カメラ１６により検出されている。更には、上空の雲４１ｒの一部から雨４２ｒ が降っているが、この雨４２ｒに基づく降水は気象用レーダ１５により検出されている。

気象に関する付加表示情報には、少 なくとも、それが配置される地点の位置（緯度及び経度）を示す情報が含まれている。また、気象に関する付加表示情報には、高度を示す情報が含まれる場合も ある。例えば、雲４１ｒを示す付加表示情報には、当該雲を多数の点の集まりとして表現したときの各点の位置（緯度、経度及び高度）を示す情報が含まれてい る。雨４２ｒを示す付加表示情報には、当該雨の分布の形状に含まれる複数の点の位置（緯度、経度及び高度）を示す情報が含まれている。

また、図３の状況では、港湾内で大きな船舶４６ｒがカメラ映像の右側奥へ向かって航行しているが、この船舶４６ｒは、船舶監視用レーダ１２、ＡＩＳ受信機９、及び、画像認識部２８により検出されている。

船舶等の物標に関する付加表示情報には、少なくとも、それが配置される海面（水面）における地点の位置（緯度及び経度）を示す情報が含まれている。例えば、船舶４６ｒを示す付加表示情報には、当該船舶４６の位置を示す情報が含まれている。

次に、３次元シーン生成部３１による３次元シーンの構築、及び、レンダリング部３２による映像の合成について、図４を参照して詳細に説明する。図４は、３ 次元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置して生成される３次元シーンデータ５０と、当該３次元仮想空間４０に配置される映写 スクリーン５１と、を説明する概念図である。

３次元シーン生成部３１によって仮想現実オブジェクト ４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図４に示すように直交座標系で構成される。この直交座標系の原点は、カメラ３の設置位置の真下 の高度ゼロの点に定められる。３次元仮想空間４０において、原点を含む水平な面であるｘｚ平面が海面（水面）又は地面を模擬するように設定される。図４の 例では、座標軸は、＋ｚ方向が常にカメラ３の方位角と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各 地点（座標）は、カメラ３の周囲の現実の位置に対応するように設定される。

図４には、図３に示す港湾の状況に対応して、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を３次元仮想空間４０内に配置した例が示されている。

本実施形態において、雲に関する仮想現実オブジェクト４１ｖは、小さな球の集まりとして表現されている。それぞれの全天球カメラ１６は、方位角及び仰角毎 に、雲の有無及び厚さを取得することができる。なお、雲の厚さは、撮影画像の雲の色の濃さによって推定することができる。複数の全天球カメラ１６で同時に 撮影した画像を組み合わせて３次元的に処理することで、雲の３次元形状を取得することができる。

また、雨に関する仮想現 実オブジェクト４２ｖは、降水の強さの複数段階の等強度面を輪郭とする３次元形状として表現されている。気象用レーダ１５は、レーダエコーに基づいて、方 位角及び仰角毎に、降水の強さを取得することができる。このデータを３次元格子での降水の強さの分布に変換し、必要に応じて３次元補間を行うことにより、 上述の３次元形状を得ることができる。更に、本実施形態では、降水がある地上又は水上の領域を示す図形が、地上又は水上を示す平面（ｘｚ平面）に置かれた 多角形として表現されている。

３次元仮想空間４０には、太陽を示す仮想現実オブジェクト４３ｖも配置されている。３次元 仮想空間４０における原点から見た太陽の方位角及び仰角は、カメラ３の方位角と、太陽位置取得部２６で取得した太陽の方位角及び仰角と、に基づいて簡単に 求めることができる。仮想現実オブジェクト４３ｖは、後述の映写スクリーン５１よりもすぐ手前の位置に配置される。これにより、太陽を示す後述の図形 ４３ｆがカメラ映像によって隠れないようにすることができる。

太陽光が雲によって遮られて日陰になる地上又は水上の領域 に関する仮想現実オブジェクト４４ｖは、地上又は水上を示す平面（ｘｚ平面）に置かれた多角形として表現されている。この多角形の領域は、雲の仮想現実オ ブジェクト４１ｖを太陽光の方向でｘｚ平面に投影することにより求めることができる。

風向きを表す仮想現実オブジェクト４５ｖは、矢印の３次元図形として表現されている。仮想現実オブジェクト４５ｖの位置は、上述の気象観測ステーションが備える風向風速計の位置に対応している。矢印の向きは風向きを示し、矢印の長さは風の強さを示している。

本実施形態において、監視対象の物標に関する仮想現実オブジェクト４６ｖは、認識された物標（即ち、船舶４６ｒ）の位置を示す下向きの円錐と、当該物標の 速度ベクトルを示す矢印と、を含んでいる。下向きの円錐は、その真下に物標が位置することを表現している。矢印の向きは物標の速度の向きを表現し、矢印の 長さは速度の大きさを表現している。

各仮想現実オブジェクト４１ｖ，４２ｖ，・・・は、カメラ３の方位角を基準として、 それが表す付加表示情報のカメラ３に対する相対位置を反映させるように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置 を決定するにあたっては、図１に示すカメラ位置／向き設定部２５で設定されたカメラ３の位置及び向きを用いた計算が行われる。

３次元シーン生成部３１は、上記のようにして、３次元シーンデータ５０を生成する。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・がカメラ３ の真下を原点とした方位基準で配置されるので、図３の状態からカメラ３の方位角が変化すると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置し た新しい３次元シーンが構築されて、３次元シーンデータ５０が更新される。また、例えば図３の状態から雲４１ｒの形が変わったり、船舶４６ｒが移動する等 して、付加表示情報の内容が変更されると、最新の付加表示情報を反映するように３次元シーンデータ５０が更新される。

更 に、レンダリング部３２は、３次元仮想空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリー ン５１と仮想現実オブジェクト４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実 現することができる。

レンダリング部３２は、視点カメラ５５を、現実空間におけるカメラ３の位置及び向きを３次元仮想空 間４０においてシミュレートするように配置する。また、レンダリング部３２は、映写スクリーン５１を、当該視点カメラ５５に正対するように配置する。カメ ラ３の位置のシミュレートに関し、カメラ３の位置は、図１に示すカメラ位置／向き設定部２５の設定値に基づいて得ることができる。

３次元仮想空間４０における視点カメラ５５の方位角は、カメラ３のパン動作によって方位角が変化しても、変化することはない。その代わり、レンダリング部 ３２は、カメラ３をパン動作させると、変化した方位角の分だけ、３次元仮想空間４０における仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、ｙ軸を中心に 水平面内で回転させるように再配置する。

視点カメラ５５の俯角は、カメラ３の俯角と常に等しくなるように制御される。レ ンダリング部３２は、カメラ３のチルト動作による俯角の変化（視点カメラ５５の俯角の変化）に連動して、３次元仮想空間４０に配置される映写スクリーン ５１の位置及び向きを、視点カメラ５５と正対する状態を常に保つように変化させる。

そして、レンダリング部３２は、３次 元シーンデータ５０及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、レンダリング部 ３２は、３次元仮想空間４０に視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点と し、その視線方向が中心軸となるように定義する。続いて、レンダリング部３２は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写ス クリーン５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域 に相当する２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理 を行うことにより、２次元の画像を生成する。

このようにして生成された２次元の画像には、３次元シーンデータ５０の描画 が行われることにより得られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次 元の画像の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、レンダリング部 ３２による映像の合成が実現される。

映写スクリーン５１は、視点カメラ５５を中心とする球殻に沿うように湾曲した形状と なっているので、透視投影による撮影映像の歪みを防止することができる。また、カメラ３は広角カメラであり、その撮影映像には図３に示すようにレンズ歪み が生じているが、当該レンズ歪みは、映写スクリーン５１に撮影映像が貼り付けられる時点で除去されている。レンズ歪みを除去する方法は任意であるが、例え ば、補正前の画素の位置と補正後の画素の位置を対応付けたルックアップテーブルを用いることが考えられる。これにより、図４に示す３次元仮想空間４０と撮 影映像を良好に整合させることができる。

次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。

図５には、図３に示す撮影映像に対し、図４の３次元シーンデータ５０のレンダリングによる上記の２次元の画像を合成した結果が示されている。ただし、図５ では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている。図５の合成映像では、付加表示情報 を表現する図形４１ｆ，４２ｆ，・・・が、撮影映像に重なるように配置されている。

上記の図形４１ｆ，４２ｆ，・・・ は、図４に示す３次元シーンデータ５０を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位置及び向きの視点で描画し た結果として生成される。従って、幾何学的な整合性が保たれるので、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見 た目の違和感が生じないようにすることができる。

これにより、仮想現実の雲があたかも空に漂い、降水分布が雨雲と水面 （地面）との間で形作られ、船舶を示すマークがあたかも水面上の空中に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。 また、ユーザは、ディスプレイ２を眺めることで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得るこ とができる。

上述したように、カメラ３から入力された撮影映像は、３次元仮想空間４０の映写スクリーン５１に映写される 時点でレンズ歪みが除去されている。しかしながら、レンダリング部３２は、レンダリング後の合成映像に対し、上述のルックアップテーブルを用いた逆変換に より、レンズ歪みを再び付与する。これにより、図５と図３とを比較すれば分かるように、合成前のカメラ映像との関係で違和感が生じにくい合成映像を得るこ とができる。ただし、レンズ歪みの付与は省略しても良い。

レンダリング部３２は、図５に示すように、合成映像において図 形４１ｆ，４２ｆ，・・・の近傍の位置に、状況の理解のために有用な情報を記述した文字情報を更に合成している。文字情報の内容は任意とすることができ る。気象に関して例示すると、天気が変化する予定（例えば、何分後に晴天になるか）、雨雲と単なる雲との区別、水蒸気が多い地域、降雪地域、日照が雲によ り遮られる地域、工場の周囲で高温となっている地域等を挙げることができる。船舶に関して例示すると、船舶を識別するための情報（船名等）、船舶の大きさ を示す情報等を挙げることができる。これにより、情報が充実した監視画面を実現することができる。

図５に示すように、本 実施形態では、気象の検出結果に基づく付加表示情報を表す図形である気象情報図形４１ｆ，４２ｆ，・・・に加えて、船舶監視用レーダ１２、ＡＩＳ受信機 ９、及び画像認識部２８により得られた検出結果に基づく付加表示情報を表す図形である物標情報図形４６ｆが撮影映像に合成されている。これにより、気象と 物標に関する表示を統合でき、ユーザは、多様な情報源から得られる情報を１つの合成映像で分かり易く監視することができる。この結果、監視負担を良好に軽 減することができる。

図５の合成映像には、方位目盛り４８ｆが表示されている。方位目盛り４８ｆは、画面の左端と右端と を繋ぐように円弧状に形成されている。方位目盛り４８ｆには、映像に対応した方位を示す数値が記載されている。これにより、ユーザは、カメラ３が見ている 方位を直感的に把握することができる。

例えばカメラ３がチルトしたり、雲４１ｒが移動したりして、合成映像上で方位目盛 り４８ｆが他の図形４１ｆ，４２ｆ，・・・と重なりそうな場合には、レンダリング部３２は、方位目盛り４８ｆが合成される位置を映像の上下方向に自動的に 移動させる。これにより、方位目盛り４８ｆが他の表示の邪魔にならないようにすることができる。

図５の合成映像における方位目盛り４８ｆは、図４に示す３次元シーンデータ５０に方位目盛りの仮想現実オブジェクト４８ｖが配置され、これがレンダリング部３２によってレンダリングされることにより得られる。

図５に示すように、方位目盛り４８ｆのすぐ上には、方位毎に、船舶の航行の安全性等の観点から警戒すべき度合いを表示する警戒度チャート４９ｆが表示され る。具体的には、付加表示情報取得部１７は、波の強さ、風の強さの分布等、安全に影響する様々な要因を考慮して、警戒度を、カメラ３の設置位置を中心とす る方位毎に求める。３次元シーン生成部３１は、付加表示情報取得部１７から出力された情報に基づいて警戒度チャートの仮想現実オブジェクト４９ｖを生成し て、３次元仮想空間４０に配置する。この仮想現実オブジェクト４９ｖをレンダリング部３２がレンダリングすることで、図５に示すように、カメラ映像に警戒 度チャート４９ｆを合成することができる。従って、付加表示情報取得部１７は警戒度取得部に相当する。この警戒度チャート４９ｆにより、オペレータは、注 意すべき状況に容易に気付くことができる。

合成映像に含まれる図形としては、上記で説明した情報に限らず、様々な情報を 示すように構成することができる。例示すると、気象に関しては、地上の雨のエコー、雪のエコー、雲の内部の雨のエコー、風向、風速、気温、気圧、水蒸気 量、日射又は降水の予測、工場の周囲の高温領域、雷の位置、降雪地域等が考えられる。これらの情報は、２次元的な分布又は３次元的な分布として与えられて も良い。また、気象情報を蓄積した時系列データを解析し、得られた情報を合成映像において示すように構成しても良い。船舶に関しては、ＡＩＳ情報に含まれ るＭＭＳＩ番号等の識別番号、船の長さ及び幅等が考えられる。

合成映像において、上記の情報を付加的に表示するか否か を、情報の種別毎にユーザが設定できるようにすることが好ましい。これにより、ユーザは、状況に応じて、例えば降水分布の図形４２ｆだけをカメラ映像に合 成した状態とすることができる。必要とする仮想現実の図形だけを表示する設定とすることで、表示が混み合うのを防止することができる。

図６には、周辺監視装置１において行われる一連の処理がフローチャートによって示されている。

図６のフローがスタートすると、周辺監視装置１は、カメラ３が撮影した撮影映像を撮影映像入力部２１から入力する（ステップＳ１０１）。続いて、周辺監視 装置１は、気象用レーダ１５等から各種の気象情報を入力する（ステップＳ１０２）。次に、拡張現実映像生成部３０は、気象情報の３次元形状の外形を変換し た２次元図形を生成する（ステップＳ１０３）。これと同時に、拡張現実映像生成部３０は、得られた２次元図形（気象情報図形）を撮影映像に合成することに より、合成映像を生成し、得られた合成映像を出力する（ステップＳ１０４）。その後、処理はステップＳ１０１に戻り、ステップＳ１０１～Ｓ１０４の処理が 反復される。

以上に説明したように、本実施形態の周辺監視装置１は、撮影映像入力部２１と、気象情報入力部２２と、レン ダリング部３２と、を備える。撮影映像入力部２１は、カメラ３の撮影映像を入力する。気象情報入力部２２は、複数の３次元での位置情報を含む気象情報を入 力する。レンダリング部３２は、気象情報に含まれる複数の３次元での位置情報に基づく３次元形状（仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖ）の外形を、撮影映像に幾何学的に整合するように変換した２次元図形である気象情報図形 ４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆを生成する。レンダリング部３２は、気象情報図形４１ｆ，４２ｆ，・・・を撮影映像に合成した合成映像を生成す る。

これにより、オペレータは、カメラ映像とともに気象情報を、高さ方向の外形の情報を含めて容易に理解することができる。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

レンダリング部３２は、仮想現実オブジェクト４１ｖ，４２ｖ，・・・に基づく２次元図形の生成と、２次元図形とカメラ映像との合成と、を同時に行ってい る。しかしながら、これらの処理が別々に行われても良い。具体的には、拡張現実映像生成部３０は、更に２次元合成部を備える。レンダリング部３２は、映写 スクリーン５１を省略した状態で、仮想現実オブジェクト４１ｖ，４２ｖ，・・・だけをレンダリングして２次元画像を生成する。この２次元画像には、仮想現 実オブジェクト４１ｖ，４２ｖ，・・・が変換された２次元図形（気象情報図形及び物標情報図形）が含まれる。その後、２次元合成部は、レンダリング結果の 画像を、カメラ映像に対して重畳する。この構成では、レンダリング部３２が気象情報図形生成部に相当し、２次元合成部が合成映像生成部に相当する。

拡張現実映像生成部３０は、例えば海図チャートにより得られる海岸線のベクトルデータを仮想現実オブジェクトとして３次元シーンデータ５０に配置して、レンダリングしても良い。この場合、合成映像に海岸線の図形を表示することができる。

拡張現実映像生成部３０は、地図を表す３次元形状を仮想現実オブジェクトとして３次元シーンデータに配置して、レンダリングしても良い。この場合、合成映 像に、例えば道路、建物の図形を表示することができる。また、上述の太陽の位置に基づいて、建物によって生じる影を示す図形を計算して表示することもでき る。

気象情報によって周辺の状況（例えば、橋梁における車両の通行、鉄道車両の運行等）に影響がある場合には、特別な警告を示す図形又はテキストを合成映像に表示し、オペレータの注意を喚起しても良い。

現在に限らず、過去又は将来の気象情報（例えば、降水の分布、雲の分布等）を、オペレータが日時を指定することで表示できるように構成しても良い。取得し た現在の気象情報を適宜の記憶部に蓄積していくことで、過去の気象情報を得ることができる。将来の気象情報は、周辺監視装置１が過去及び現在の気象情報か ら計算により推定することにより得ることができる。例えば、オペレータがキーボード３６及びマウス３７等を用いて過去又は将来の日時を指定することによ り、過去の気象情報、又は、将来の推定した気象情報を示す気象情報図形が、現在のカメラ映像に重畳されて表示されるように構成することが考えられる。

カメラ３において上記のパン／チルト機能を省略し、撮影方向を変更不能に構成してもよい。

３次元シーン生成部３１が３次元シーンデータ５０を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト ４１ｖ，４２ｖ，・・・がカメラ３の位置を原点としたカメラ方位基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、カ メラ方位基準ではなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、カメラ３のパン動作によって方位角が変化したときは、仮想現実オブ ジェクト４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０においてカメラ３の位置及び向きの変化をシミュレートするように視点カメラ５５ の方位角を変更してレンダリングを行うことで、上述のカメラ方位基準の場合と全く同じレンダリング結果を得ることができる。

また、３次元仮想空間４０の座標系は、カメラ３の真下の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。

付加表示情報を表す図形は、図５に示すものに限られず、様々な図形に変更することができる。例えば、雲を表す仮想現実オブジェクト４１ｖは、小さな球の集まりに代えて、雲塊を模した複雑な輪郭形状の３次元モデルとして構成することができる。

船舶４６ｒが検出された位置に、船舶の３次元モデルをレンダリングした図形を表示することもできる。これにより、より臨場感のある表示を実現することがで きる。図４の３次元仮想空間４０において、船舶の３次元モデルは、ＡＩＳ情報等から得られる船舶の向きと一致する向きで配置される。３次元仮想空間４０に 配置される船舶の３次元モデルの大きさを、ＡＩＳ情報等から得られる船舶の大きさに応じて変化させても良い。

船舶監視用レーダ１２及びＡＩＳ受信機９のうち少なくとも何れかについて、周辺監視装置１に接続されなくても良い。また、周辺監視装置１から画像認識部２８が省略されても良い。

周辺監視装置１は、地上の施設に限定されず、船舶等の移動体に設けられても良い。

１ 周辺監視装置（映像生成装置）
３ カメラ
１２ 船舶監視用レーダ（物標監視用レーダ）
１５ 気象用レーダ
２１ 撮影映像入力部
２２ 気象情報入力部（気象情報取得部）
２６ 太陽位置取得部（気象情報取得部）
３２ レンダリング部（気象情報図形生成部、合成映像生成部）
４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆ 気象情報図形
４６ｆ 物標情報図形

用語

必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。

本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。

本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。

本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。

特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。

語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。

本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。

特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「～するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。

一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「～を含む」という用語は「それだけでなく、少なくとも～を含む」と解釈すべきであり、「～を持つ」という用語は「少なくとも～を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。

説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「～を越えて」「下の」などの用語は水平面に対して定義されている。

本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。

特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。

上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の特許請求の範囲によって保護される。

Claims (13)

1. カメラの撮影映像を入力する撮影映像入力部と、
   気象情報を取得する気象情報取得部と、
   前記気象情報に複数の３次元での位置情報が含まれる場合に、当該複数の３次元での位置情報に基づく３次元形状の外形を変換した２次元図形である気象情報図形を生成する気象情報図形生成部と、
   前記気象情報図形を前記撮影映像に合成した合成映像を生成する合成映像生成部と、
   を備えることを特徴とする映像生成装置において、
   前記気象情報には、雲の３次元形状が含まれ、
   前記気象情報図形生成部は、前記雲の３次元形状と太陽の位置とに基づいて、太陽光が雲によって遮られる地上又は水上の領域を示す図形を生成可能であることを特徴とする映像生成装置。
2. 請求項１に記載の映像生成装置であって、
   前記気象情報図形生成部は、前記３次元形状を２次元にレンダリングすることにより、前記気象情報図形を生成することを特徴とする映像生成装置。
3. 請求項２に記載の映像生成装置であって、
   前記気象情報図形生成部は、３次元空間に配置した前記３次元形状としての仮想現実オブジェクトを、前記撮影映像に対応する視点の位置及び向きで２次元にレンダリングすることで、前記気象情報図形を生成することを特徴とする映像生成装置。
4. 請求項１に記載の映像生成装置であって、
   前記気象情報には、気象用レーダで取得した降水エコー情報が含まれることを特徴とする映像生成装置。
5. 請求項４に記載の映像生成装置であって、
   前記気象情報図形生成部は、前記降水エコー情報に基づいて、降水がある地上又は水上の領域を示す図形を生成可能であることを特徴とする映像生成装置。
6. 請求項１から５までの何れか一項に記載の映像生成装置であって、
   前記気象情報には、太陽の位置が含まれることを特徴とする映像生成装置。
7. 請求項１から６までの何れか一項に記載の映像生成装置であって、
   前記気象情報には、風向の分布の情報、風速の分布の情報、気温の分布の情報、気圧の分布の情報、水蒸気量の分布の情報、雷の位置の情報、予測される日射の分布の情報、及び予測される降水の分布の情報のうち少なくとも何れかが含まれることを特徴とする映像生成装置。
8. 請求項１から７までの何れか一項に記載の映像生成装置であって、
   水上の物標の位置を含む物標情報を入力する物標情報入力部を備え、
   前記合成映像生成部は、前記気象情報図形を前記撮影映像に合成するとともに、前記物標の位置を前記撮影映像に幾何学的に整合させるように変換した位置を示す図形である物標情報図形を前記撮影映像に合成した合成映像を生成可能であることを特徴とする映像生成装置。
9. 請求項８に記載の映像生成装置であって、
   前記物標情報に、物標監視用レーダで物標を探知して得られた情報が含まれることを特徴とする映像生成装置。
10. 請求項８又は９に記載の映像生成装置であって、
    前記物標情報に、自動船舶識別装置から得られた情報が含まれることを特徴とする映像生成装置。
11. 請求項１から１０までの何れか一項に記載の映像生成装置であって、
    方位と、その方位について警戒すべき度合いを示す警戒度と、の関係を、少なくとも前記気象情報に基づいて取得する警戒度取得部を備え、
    前記合成映像生成部は、前記撮影映像に対して、前記方位と前記警戒度の関係を示す警戒度チャートを合成可能であることを特徴とする映像生成装置。
12. 請求項１から１１までの何れか一項に記載の映像生成装置であって、
    前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能であり、
    前記方位目盛りが前記撮影映像に対して合成される上下方向の位置が自動的に変更されることを特徴とする映像生成装置。
13. カメラの撮影映像を入力し、
    気象情報を取得し、
    前記気象情報に複数の３次元での位置情報が含まれる場合に、当該複数の３次元での位置情報に基づく３次元形状の外形を、前記撮影映像に幾何学的に整合するように変換した２次元図形である気象情報図形を生成し、
    前記気象情報図形を前記撮影映像に合成した合成映像を生成することを特徴とする映像生成方法において、
    前記気象情報には、雲の３次元形状が含まれ、
    前記雲の３次元形状と太陽の位置とに基づいて、太陽光が雲によって遮られる地上又は水上の領域を示す図形を生成可能であることを特徴とする映像生成方法。

Images