JP2024055925A - 画像処理装置、プログラム、及び画像処理方法 - Google Patents

Abstract

【課題】撮影映像を主としながらも、エンターテイメント性のある映像を生成すること。【解決手段】画像処理装置は、天体の上空を飛行する飛行体に搭載されたセンサにより得られた天体のデータを取得するデータ取得部と、天体に対する、飛行体の位置、センサの天体に対するデータの取得画角及び取得姿勢を取得するデータ情報取得部と、センサから取得した天体のデータを用いて天体画像を生成する画像生成部と、飛行体の位置、センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成する仮想オブジェクト生成部と、天体画像と仮想オブジェクト画像とを合成し、合成画像を生成する合成画像生成部と、を備える。【選択図】図２

Description

特許法第３０条第２項適用申請有り （１）公開日： ・平成３１年１月１５日 ・平成３１年４月１６日 公開先： ・国立研究開発法人宇宙航空研究開発機構（東京都調布市深大寺東町７－４４－１） ・宇宙技術開発株式会社（東京都中野区中野５－６２－１） ・有人宇宙システム株式会社（東京都千代田区大手町１－６－１） （２）公開日： 令和１年７月１７日 公開場所：株式会社電通本社（東京都港区東新橋１－８－１） （３）公開日： 令和１年７月２３日 公開場所：株式会社バスキュール（東京都港区虎ノ門四丁目３番１号）

本発明は画像処理装置、プログラム、及び画像処理方法に関し、特に、天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像の処理に関する。

従来、空中より撮影された地球の地表面の撮影映像の位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、２次元の地図上に重ねて表示する撮影映像表示方法が提案されている（例えば特許文献１）。

国際公開第２００４／１１３８３６号

上述の特許文献１に記載の撮影映像表示方法は、映像情報と地図との整合性の確認を目的とし、撮影映像を２次元地図に貼り付けている方法である。従って、上空から撮影された撮影映像の鑑賞を主目的とするものではなく、特許文献１の撮影映像表示方法により生成された映像はエンターテイメント性に欠けるものであった。

そこで、本発明は、撮影映像を主としながらも、エンターテイメント性のある映像を生成することができる画像処理装置、プログラム、及び画像処理方法を提供することにある。

本発明の一態様は、天体の上空を飛行する飛行体に搭載されたセンサにより得られた天体のデータを取得するデータ取得部と、天体に対する、飛行体の位置、センサの天体に対するデータの取得画角及び取得姿勢を取得するデータ情報取得部と、センサから取得した天体のデータを用いて天体画像を生成する画像生成部と、飛行体の位置、センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成する仮想オブジェクト生成部と、天体画像と仮想オブジェクト画像とを合成し、合成画像を生成する合成画像生成部と、を備える画像処理装置である。

本発明の一態様は、コンピュータを、天体の上空を飛行する飛行体に搭載されたセンサにより得られた天体のデータを取得するデータ取得手段、天体に対する、飛行体の位置、センサの天体に対するデータの取得画角及び取得姿勢を取得するデータ情報取得手段、センサから取得した天体のデータを用いて天体画像を生成する画像生成手段、飛行体の位置、センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成する仮想オブジェクト生成手段、天体画像と仮想オブジェクト画像とを合成し、合成画像を生成する合成画像生成手段、として機能させるプログラムである。

本発明の一態様は、天体の上空を飛行する飛行体に搭載されたセンサにより得られた天体のデータを取得し、天体に対する、飛行体の位置、センサの天体に対するデータの取得画角及び取得姿勢を取得し、センサから取得した天体のデータを用いて天体画像を生成し、飛行体の位置、センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成し、天体画像と仮想オブジェクト画像とを合成し、合成画像を生成する、画像処理方法である。

本発明によれば、撮影映像を主としながらも、エンターテイメント性のある映像を生成することができる。

図１は第１の実施の形態における映像処理システムの概観図である。 図２は映像処理装置６のブロック図である。 図３は地球の３次元地球モデルの概念図である。 図４は地表レイヤーとオブジェクトレイヤーとを説明するための図である。 図５はオブジェクト画像をオブジェクトの地球上のオブジェクト位置に対応する３次元地球モデルのオブジェクトレイヤーの位置に配置した一例を示した図である。 図６は宇宙ステーション１０のカメラ１１が撮影する３次元地球モデル上の撮影範囲の一例を示した図である。 図７はコンピュータシステムによって構成された映像処理装置６のブロック図である。 図８は時刻ｔの宇宙ステーション１０に搭載されたカメラ１１から撮影された撮影映像の一例である。 図９は時刻ｔの軌道データの条件において、３次元地球モデル上の撮影範囲のオブジェクトレイヤーの仮想映像の一例を示す図である。 図１０は時刻ｔの地球の撮影映像（実映像）に時刻ｔの仮想映像を重畳した時刻ｔの重畳映像の一例を示す図である。 図１１は端末８に表示された重畳映像の一例である。 図１２はオブジェクト画像が、宇宙ステーション１０の予想軌道と、予想軌道上に宇宙ステーション１０の到達予定時刻とである例を示した図である。 図１３はオブジェクト画像が、国旗である例を示した図である。 図１４は第２の実施の形態における映像処理システムの概観図である。 図１５はオブジェクト画像がＳＮＳメッセージである例を示した図である。

以下、本発明の実施の形態を、図面を参照して説明する。

＜第１の実施形態＞
図１は第１の実施の形態における映像処理システムの概観図である。以下の説明では、天体の一例として、地球を例にして説明するが、地球に限ることなく、火星等の他の惑星や、月等の衛星、恒星等であっても良い。

図１中、１は地球、２は飛行体、３はパラボラアンテナ、４は軌道データサーバ、５はオブジェクトデータサーバ、６は映像処理装置、７はネットワーク、８は端末である。

飛行体２は、地球の上空を飛行する飛行体である。飛行体２の例は、衛星、宇宙船又は宇宙ステーション、飛行機、ヘリコプター、ドローン等の各種あるが、本実施の形態では、地球１を一定の軌道を保って周回する宇宙ステーション１０を例にして説明する。宇宙ステーション１０には、所定の画角のカメラ１１が搭載されており、カメラ１１は地球１の地表映像を撮影することができる。

パラボラアンテナ３は、宇宙ステーション１０から、カメラ１１が撮影した撮影映像を受信する。

軌道データサーバ４は、宇宙ステーション１０の撮影位置（時刻、緯度経度、高度）、カメラ１１の撮影画角及び撮影姿勢（宇宙ステーション１０姿勢）を含む軌道データを、映像処理装置６に送信する。

オブジェクトデータサーバ５は、オブジェクトの画像と、オブジェクトの地球１上のオブジェクト位置とを含むオブジェクトデータを、映像処理装置６に送信する。ここで、オブジェクトは、種類は問わないが、例えば、地理的な位置を示す情報（国名、都市名等）のテキスト、国旗、ランドマーク、飛行体２の飛行経路（宇宙ステーション１０の軌道）、更には、ある所定の地理的位置で発信した、若しくは、何らかの位置に関する情報を含むＳＮＳのメッセージなどでも良い。そして、オブジェクト画像は、これらのオブジェクトの画像（テキストも含む）である。オブジェクト位置は、オブジェクトの地球上の位置を特定する情報であれば種類は問わないが、例えば、地球上の緯度経度、高度等がある。また、地球（天体）のある地点又は中心を原点とした３次元又は２次元の座標値でも良い。

映像処理装置６は、宇宙ステーション１０からの撮影映像、軌道データサーバ４からの軌道データ及びオブジェクトデータサーバ５からのオブジェクトデータを受信し、撮影映像に、オブジェクト位置に対応する地球上の位置に配置されたオブジェクト画像が重畳された重畳映像を生成する装置である。映像処理装置６の構成の詳細は、後述する。

ネットワーク７は、データ通信が可能な通信路を意味する。すなわち、ネットワーク７は、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線／無線を問わない。

端末８は、重畳映像を受信し、重畳映像を表示する端末である。そして、無線通信基地局等を介してネットワーク７に接続し、データ通信を行うことができる。端末８は、例えば、スマートフォンや、携帯電話機、パソコン、タブレット型コンピュータ等である。端末８は、基本的には、複数存在し、各ユーザにより操作される。

次に、映像処理装置６の構成の詳細を説明する。図２は映像処理装置６のブロック図である。

映像処理装置６は、映像取得部２１と、撮影情報取得部２２と、オブジェクトデータ取得部２３と、３次元モデリングデータ記憶装置２４と、３次元地球モデル生成部２５と、オブジェクト配置部２６と、仮想映像生成部２７と、映像重畳部２８と、映像配信部２９とを備える。

映像取得部２１は、地球１の上空を飛行する宇宙ステーション１０に搭載されたカメラ１１から撮影された撮影映像を取得する。

撮影情報取得部２２は、軌道データサーバ４から、宇宙ステーション１０の撮影位置（時刻、緯度経度、高度）、カメラ１１の撮影画角及び撮影姿勢（宇宙ステーション１０姿勢）を含む軌道データを取得する。

オブジェクトデータ取得部２３は、オブジェクトデータサーバ５から、オブジェクトの画像と、オブジェクトの地球上のオブジェクト位置とを含むオブジェクトデータとを、取得する。

３次元モデリングデータ記憶装置２４は、地球１の地表形状の３次元データと、緯度経度データと、自転公転情報とを含む３次元モデリングデータが格納されている。尚、３次元データ又は緯度経度データの代わりに、地球（天体）のある地点を原点とした３次元又は２次元の座標値でも良い。

３次元地球モデル生成部２５は、３次元モデリングデータ記憶装置２４から、図３に示すような地球の３次元地球モデルを生成する。この３次元地球モデルは、図４に示すように、地球１の地表表面の地表レイヤーと、後述するオブジェクトを配置するオブジェクトレイヤーとを有する。

オブジェクト配置部２６は、オブジェクトデータ取得部２３が取得したオブジェクトデータを用いて、オブジェクト画像を、オブジェクトの地球１上のオブジェクト位置に対応する３次元地球モデルのオブジェクトレイヤーの位置に配置する。図５は、オブジェクト画像を、オブジェクトの地球上のオブジェクト位置に対応する３次元地球モデルのオブジェクトレイヤーの位置に配置した一例を示した図である。図５の例では、オブジェクトＡＡからオブジェクトＦＦを、３次元地球モデルのオブジェクトレイヤーに配置した例である。

仮想映像生成部２７は、撮影情報取得部２２が取得した軌道データの宇宙ステーション１０の撮影位置（時刻、緯度経度、高度）、カメラ１１の撮影画角及び撮影姿勢の条件において、宇宙ステーション１０のカメラ１１が撮影する３次元地球モデル上の撮影範囲を推定する。図６は宇宙ステーション１０のカメラ１１が撮影する３次元地球モデル上の撮影範囲の一例を示した図である。そして、仮想映像生成部２７は、その撮影範囲における３次元地球モデルのオブジェクトレイヤーの仮想映像を生成する。

映像重畳部２８は、映像取得部２１が取得した宇宙ステーション１０のカメラ１１が撮影した地球１の撮影映像（実映像）に、仮想映像生成部２７が生成した仮想映像を重畳し、重畳映像を生成する。

映像配信部２９は、映像重畳部２８が生成した重畳映像を、ネットワーク７を介して、端末８に配信する。尚、映像配信部２９は、かならずしも、映像処理装置６が備える必要はなく、他の配信装置が備えていても良い。

上述した映像処理装置６は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することができる。図７はコンピュータシステムによって構成された映像処理装置６のブロック図である。

映像処理装置６は、図７に示す如く、プロセッサ１０１、メモリ（ＲＯＭやＲＡＭ）１０２、入力装置（キーボード、マウス、タッチパネルなど）１０３、通信装置１０４、記憶装置（ハードディスク、半導体ディスクなど）１０５を有するコンピュータ１００により構成することができる。

映像処理装置６は、記憶装置１０５に格納されたプログラムがメモリ１０２にロードされ、プロセッサ１０１により実行されることにより、映像取得処理１１１と、撮影情報取得処理１１２と、オブジェクトデータ取得処理１１３と、３次元地球モデル生成処理１１４と、オブジェクト配置処理１１５と、仮想映像生成処理１１６と、映像重畳処理１１７と、映像配信処理１１８とが実現されるものである。ここで、映像取得処理１１１は映像取得部２１に対応し、撮影情報取得処理１１２は撮影情報取得部２２に対応し、オブジェクトデータ取得処理１１３はオブジェクトデータ取得部２３に対応し、３次元地球モデル生成処理１１４は３次元地球モデル生成部２５に対応し、オブジェクト配置処理１１５はオブジェクト配置部２６に対応し、仮想映像生成処理１１６は仮想映像生成部２７に対応し、映像重畳処理１１７は映像重畳部２８に対応し、映像配信処理１１８は映像配信部２９に対応する。また、３次元モデリングデータ記憶装置２４は、記憶装置１０５に対応する。尚、記憶装置１０５（３次元モデリングデータ記憶装置２４）は、コンピュータ１００と物理的に外部に設けられ、ＬＡＮ等のネットワークを介してコンピュータ１００と接続されていても良い。

次に、本実施の形態の動作を説明する。

まず、オブジェクトデータ取得部２３は、オブジェクトデータサーバ５から、オブジェクトの画像と、オブジェクトの地球１上のオブジェクト位置とを含むオブジェクトデータを取得する。

オブジェクト配置部２６は、オブジェクトデータ取得部２３が取得したオブジェクトデータを用いて、オブジェクト画像を、図５に示す如く、オブジェクトの地球１上のオブジェクト位置に対応する３次元地球モデルのオブジェクトレイヤーの位置に予め配置しておく。

映像取得部２１は、ある時刻ｔの撮影位置（緯度経度、高度）、カメラ１１の撮影画角及び撮影姿勢（カメラ１１が固定されている場合は宇宙ステーション１０の姿勢）のときの宇宙ステーション１０に搭載されたカメラ１１から撮影された撮影映像を取得する。図８は、時刻ｔの宇宙ステーション１０に搭載されたカメラ１１から撮影された撮影映像の一例である。

オブジェクトデータ取得部２３は、時刻ｔの撮影位置（緯度経度、高度）、カメラ１１の撮影画角及び撮影姿勢（カメラ１１が固定されている場合は宇宙ステーション１０の姿勢）の軌道データを取得し、仮想映像生成部２７に出力する。

仮想映像生成部２７は、撮影情報取得部２２が取得した時刻ｔの軌道データの宇宙ステーション１０の撮影位置（時刻、緯度経度、高度）、カメラ１１の撮影画角及び撮影姿勢の条件において、宇宙ステーション１０のカメラ１１が撮影する３次元地球モデル上の撮影範囲を推定する。そして、仮想映像生成部２７は、その撮影範囲における３次元地球モデルのオブジェクトレイヤーの仮想映像を生成する。図９は時刻ｔの軌道データの条件において、３次元地球モデル上の撮影範囲のオブジェクトレイヤーの仮想映像の一例を示す図である。

映像重畳部２８は、映像取得部２１が取得した宇宙ステーション１０のカメラ１１が撮影した時刻ｔの地球１の撮影映像（実映像）に、仮想映像生成部２７が生成した時刻ｔの仮想映像を重畳し、重畳映像を生成する。図１０は時刻ｔの地球の撮影映像（実映像）に時刻ｔの仮想映像を重畳した時刻ｔの重畳映像の一例を示す図である。

映像配信部２９は、映像重畳部２８が生成した重畳映像を、ネットワーク７を介して、端末８にストリーミング配信する。

端末８は、映像配信部２９から配信された重畳映像を表示する。図１１は、端末８に表示された重畳映像の一例である。

上述した説明では、概念的なオブジェクトの例を説明したが、具体的なオブジェクトの例を以下に示す。

図１２は、オブジェクト画像が、宇宙ステーション１０の予想軌道と、予想軌道上に宇宙ステーション１０の到達予定時刻とである例を示した図である。図１２では、宇宙ステーション１０が撮影した撮影映像に、宇宙ステーション１０の予想軌道及び到達予定時刻が重畳されている。

図１３は、オブジェクト画像が、国旗である例を示した図である。図１３では、宇宙ステーション１０が撮影した撮影映像に、各国の地理的位置に配置された各国の国旗の画像が重畳されている。

本実施の形態は、宇宙ステーション（飛行体）が撮影した撮影映像の被写体に関係するオブジェクトがその被写体の位置に重畳されているので、撮影映像を主としながらも、エンターテイメント性のある映像を生成することができる。

＜第２の実施形態＞
図１４は第２の実施の形態における映像処理システムの概観図である。

第２の実施の形態では、オブジェクトデータサーバ５に、ソーシャルネットワークサービス（SNS: Social Network Service）９から、オブジェクトとしてメッセージ及びメッセージに関するメッセージ位置情報を収集する機能を設ける。そして、オブジェクトデータサーバ５は、収集したメッセージをオブジェクト画像に変換し、メッセージ位置情報をオブジェクト位置に変換する。

メッセージは、宇宙ステーション１０に関連する情報ばかりでなく、各々の地理的位置に関する情報でも良い。また、メッセージ位置情報は、メッセージを発信した位置のみならず、メッセージの内容に関係する地理的位置でも良い。

オブジェクト画像及びオブジェクト位置に変換された後の処理は、第１の実施の形態と同様であるので、説明は省略する。

図１５は、オブジェクト画像がＳＮＳメッセージである例を示した図である。図１５では、宇宙ステーション１０が撮影した撮影映像にＳＮＳメッセージが重畳されており、そのＳＮＳメッセージの位置はＳＮＳメッセージを発信した地理的位置に対応している。

第２の実施の形態は、ＳＮＳメッセージを収集し、そのＳＮＳメッセージを撮影映像の関連する位置（例えば、メッセージの発信位置）に重畳しているので、リアルタイム性のある映像表現を行うことができる。

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 地球
２ 飛行体
３ パラボラアンテナ
４ 軌道データサーバ
５ オブジェクトデータサーバ
６ 映像処理装置
７ ネットワーク
８ 端末
９ ＳＮＳ
２１ 映像取得部
２２ 撮影情報取得部
２３ オブジェクトデータ取得部
２４ ３次元モデリングデータ記憶装置
２５ ３次元地球モデル生成部
２６ オブジェクト配置部
２７ 仮想映像生成部
２８ 映像重畳部
２９ 映像配信部
１００ コンピュータ
１０１ プロセッサ
１０２ メモリ
１０３ 記憶装置
１０４ 入力装置
１０５ 通信装置

Claims (8)

1. 天体の上空を飛行する飛行体に搭載されたセンサにより得られた前記天体のデータを取得するデータ取得部と、
   前記天体に対する、前記飛行体の位置、前記センサの前記天体に対するデータの取得画角及び取得姿勢を取得するデータ情報取得部と、
   前記センサから取得した前記天体のデータを用いて天体画像を生成する画像生成部と、
   前記飛行体の位置、前記センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成する仮想オブジェクト生成部と、
   前記天体画像と前記仮想オブジェクト画像とを合成し、合成画像を生成する合成画像生成部と、
   を備える画像処理装置。
2. 前記仮想オブジェクトは、前記飛行体の位置、前記センサの取得画角及び取得姿勢に対応する天体のデータの取得範囲に位置するオブジェクトである、
   請求項１に記載の画像処理装置。
3. 前記合成画像生成部は、時刻ｔに前記天体から取得したデータから生成された天体画像と、前記時刻ｔの前記データの取得範囲に対応する前記仮想オブジェクト画像と、を合成し、経時的な合成映像を生成する、
   請求項１又は請求項２に記載の画像処理装置。
4. 前記合成画像生成部は、前記天体画像のレイヤーと、前記仮想オブジェクトが配置されたオブジェクトレイヤーと、含む３次元モデルを生成する、
   請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記飛行体は、ドローン、宇宙船、衛星又は宇宙ステーションである、
   請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記天体は、地球を含む惑星、衛星又は恒星である、
   請求項１から請求項５のいずれかに記載の画像処理装置。
7. コンピュータを、
   天体の上空を飛行する飛行体に搭載されたセンサにより得られた前記天体のデータを取得するデータ取得手段、
   前記天体に対する、前記飛行体の位置、前記センサの前記天体に対するデータの取得画角及び取得姿勢を取得するデータ情報取得手段、
   前記センサから取得した前記天体のデータを用いて天体画像を生成する画像生成手段、
   前記飛行体の位置、前記センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成する仮想オブジェクト生成手段、
   前記天体画像と前記仮想オブジェクト画像とを合成し、合成画像を生成する合成画像生成手段、
   として機能させるプログラム。
8. 天体の上空を飛行する飛行体に搭載されたセンサにより得られた前記天体のデータを取得し、
   前記天体に対する、前記飛行体の位置、前記センサの前記天体に対するデータの取得画角及び取得姿勢を取得し、
   前記センサから取得した前記天体のデータを用いて天体画像を生成し、
   前記飛行体の位置、前記センサの取得画角及び取得姿勢に対応する仮想オブジェクトの仮想オブジェクト画像を生成し、
   前記天体画像と前記仮想オブジェクト画像とを合成し、合成画像を生成する、
   画像処理方法。

Images