以下、図面を参照し、本発明の動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラムの実施形態について説明する。移動体は、宇宙機である。なお、宇宙機は、地球の地表上空や、他の天体や物体の表面上空を所定の周回軌道に沿って周回しながら移動する人工衛星であってもよい。また、移動体は、弾道飛行を行うロケットであってもよい。また、移動体は、他の天体や物体を観測するために出向く(さらに地球に帰還してもよい)観測衛星であってもよい。他の天体には、火星や金星などの地球と異なる他の惑星、月やタイタンなどの衛星、イトカワなどの小惑星などが含まれる。また、他の物体には、岩石などが含まれる。また、移動体は、人工衛星や観測衛星に代えて、飛行機、ドローンなどの他の飛翔体であってもよい。
以下の説明においては、移動体が地球の地表上空の所定の周回軌道上を周回しながら移動する人工衛星であるものとする。また、本発明の動画像送信装置を備える動画像伝送システムが、人工衛星に搭載された撮像装置によって撮像された動画像を、地上に設置された無線基地局(以下、「地上局」という)に伝送するシステムとして採用されている場合の一例について説明する。
<第1実施形態>
[動画像伝送システム1の全体構成]
図1は、第1実施形態に係る動画像伝送システムの構成の一例を示す図である。図1に示した動画像伝送システム1は、例えば、人工衛星ASが備える動画像送信装置100と、地上局GSが備える動画像受信装置200と、によって構成される。
動画像送信装置100は、人工衛星ASが搭載する撮像装置10により撮像された動画像の画像データを、アンテナ30によって地上局GSに送信する。このとき、動画像送信装置100は、人工衛星ASが備えるセンサ20により出力された情報に基づいて人工衛星ASの位置や、撮像装置10の撮像方向の情報を取得し、取得した位置や撮像方向の情報に基づいて、撮像装置10により撮像された動画像の画像データのデータ量を削減させて(圧縮させて)地上局GSに送信する。動画像送信装置100の構成および動作に関する詳細については後述する。
動画像受信装置200は、地上局GSにおいてアンテナ40で受信した動画像の画像データ(動画像送信装置100によりデータ量が削減された状態で送信されてきた動画像の画像データ)から、人工衛星ASが搭載する撮像装置10が撮像した動画像の画像データを再現させる。動画像受信装置200は、再現させた動画像の画像データを、例えば、表示装置50に表示させる。動画像受信装置200の構成および動作に関する詳細については後述する。
撮像装置10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を利用したデジタルカメラである。撮像装置10は、人工衛星ASの任意の箇所に取り付けられる。撮像装置10が利用する固体撮像素子には、例えば、入射した電波や、赤外線、可視光などを検出して電気信号に変換した画素信号を出力する画素が、二次元の行列状に配置されている。撮像装置10は、固体撮像素子が備えるそれぞれの画素が出力した画素信号に基づいて生成した二次元の静止画像の画像データを順次出力することにより、撮像した動画像の画像データを出力する。言い換えれば、撮像装置10は、生成したそれぞれの静止画像の画像データを、動画像におけるそれぞれのフレームの画像データとして動画像送信装置100に出力する。
センサ20は、人工衛星ASの位置や撮像装置10の撮像方向を検出するセンサ群である。センサ20は、例えば、人工衛星ASの速度を検出する速度センサや、人工衛星ASにおける三軸の加速度を検出する加速度センサ、人工衛星ASにおける三軸のそれぞれの角速度を検出可能な角速度センサやジャイロセンサなどを含む姿勢センサ、GPS(Global Positioning System)などの位置センサなど、人工衛星ASの現在の状態を検出するための種々の検出装置を備える。それぞれの検出装置は、人工衛星ASの任意の箇所に取り付けられる。それぞれの検出装置は、検出した結果の情報を、センサ20が検出して出力したそれぞれの情報として動画像送信装置100に出力する。動画像送信装置100は、センサ20が備えるこれらの検出装置により出力されたそれぞれの情報に基づいて、人工衛星ASの位置を検出する。また、センサ20は、例えば、撮像装置10が取り付けられた可変機構により変えられた向きの制御量の情報を取得する。センサ20は、取得した可変機構における撮像装置10の向きの制御量の情報を、センサ20が検出したそれぞれの情報として動画像送信装置100に出力する。動画像送信装置100は、センサ20により出力された撮像装置10の向きの制御量の情報に基づいて、撮像装置10の撮像方向を検出する。なお、人工衛星ASでは、撮像装置10が任意の箇所に取り付けられている(固定されている)ことも考えられる。この場合、人工衛星ASの姿勢が、撮像装置10の撮像方向に相当する。このため、動画像送信装置100は、センサ20が備える姿勢センサにより出力された人工衛星ASの姿勢の変更量の情報に基づいて人工衛星ASの姿勢を求め、求めた人工衛星ASの姿勢を撮像装置10の撮像方向として検出するようにしてもよい。
アンテナ30およびアンテナ40は、動画像送信装置100と動画像受信装置200との間で無線通信をするためのアンテナである。アンテナ30は、例えば、展開型のフェーズドアレーアンテナである。アンテナ30は、動画像送信装置100により出力され、動画像受信装置200に送信する動画像の画像データを表す無線信号の電波を送出する。アンテナ40は、例えば、パラボラアンテナである。アンテナ40は、アンテナ30により送出された無線信号の電波を受信し、受信した無線信号の電波が表す情報、つまり、動画像送信装置100により出力された動画像の画像データを、動画像受信装置200に出力する。
表示装置50は、動画像受信装置200により再現されて出力された動画像を表示する。表示装置50は、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機EL(Electroluminescence)表示装置などである。
[動画像伝送システム1の基本動作]
以下、動画像伝送システム1において動画像を伝送する際の基本的な考え方の動作について説明する。図2は、第1実施形態に係る動画像伝送システム1において人工衛星ASが撮像する範囲の一例を模式的に示す図である。また、図3は、第1実施形態に係る動画像伝送システム1において人工衛星ASが画像データを送信する動作の一例を模式的に示す図である。また、図4は、第1実施形態に係る動画像伝送システム1において地上局GSが画像データを生成する動作の一例を模式的に示す図である。
人工衛星ASは、一定の速度vで地球の上空を移動しながら撮像装置10により撮像した動画像の画像データを、地上局GSに送信する。図2には、人工衛星ASが搭載する撮像装置10によって、直下(真下)にある地上の被写体を撮像している場合の撮像範囲の一例を示している。
図2には、人工衛星ASが、例えば、位置P1に位置しているときに撮像装置10が動画像の1枚目のフレーム(以下、「フレームF1」という)を撮像し、その後、人工衛星ASが、例えば、位置P2の位置に移動したときに撮像装置10が2枚目のフレーム(以下、「フレームF2」という)を撮像した状態を示している。このように、撮像装置10は、人工衛星ASが移動している状態で動画像のそれぞれのフレームを撮像するため、撮像装置10が撮像したそれぞれのフレームに写される被写体像の範囲(撮像範囲)は、人工衛星ASが移動した分だけ全体的にずれることになる。このため、撮像装置10によって撮像した動画像のフレームF1とフレームF2とのそれぞれに写された被写体像は全体が異なることになり、例えば、従来の技術のように、隣接するフレーム間で差がある部分を抽出してデータ量を削減(圧縮)する方法では、撮像装置10によって撮像した動画像のデータ量を削減(圧縮)することができない。
そこで、動画像伝送システム1では、動画像送信装置100が、人工衛星ASの位置および撮像装置10の撮像方向の情報に基づいて、撮像装置10により撮像された動画像のそれぞれのフレームの画像データを処理してから地上局GSに送信する。図3には、動画像送信装置100が動画像のそれぞれのフレームのデータ量を削減(圧縮)する処理の一例を模式的に示している。なお、以下の説明においては、説明を容易にするため、人工衛星ASの移動方向、および撮像装置10の撮像方向は一定の方向であるものとする。
最初に、動画像送信装置100は、人工衛星ASが位置P1に位置しているときに撮像装置10が図3の左側の上段に示した撮像範囲R1を撮像したフレームF1(図3の左側の中段参照)を取得する。そして、動画像送信装置100は、取得したフレームF1に対応する画像データが含まれる伝送データD1(図3の左側の下段参照)を動画像受信装置200に送信する。言い換えれば、動画像送信装置100は、最初の1つのフレームの画像データは、処理をせずにそのまま動画像受信装置200に送信する。
その後、動画像送信装置100は、人工衛星ASが移動して位置P2に位置しているときに撮像装置10が図3の中側の上段に示した撮像範囲R2を撮像したフレームF2(図3の中側の中段参照)を取得する。そして、動画像送信装置100は、前回取得したフレームF1と今回取得したフレームF2との差分を抽出する。つまり、動画像送信装置100は、人工衛星ASの移動に伴ってフレームF1とフレームF2との間で変化した部分の画像データを抽出する。人工衛星ASの移動に伴ってフレームF1とフレームF2との間で変化した部分の画像データは、特許請求の範囲における「第3画像データ」の一例である。
動画像送信装置100は、人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、人工衛星ASの移動量mを求めてもよい。人工衛星ASの移動量mは、例えば、人工衛星ASの位置の差分や、撮像装置10の撮像方向の差分から求めることができる。ここで、人工衛星ASは、上述したように一定の速度vで地球の上空を移動している。このため、所定の時間tの間に人工衛星ASが移動する移動量mは、下式(1)により求めることもできる。
m=v×Δt ・・・(1)
また、撮像装置10は、予め定めたフレームレートでそれぞれのフレームを撮像する。つまり、撮像装置10が動画像のそれぞれのフレームを撮像する間隔は一定である。そして、上述したように、撮像装置10が動画像のそれぞれのフレームを撮像する間に人工衛星ASが移動する移動量mも一定である。このため、撮像装置10の撮像方向が一定の方向である場合には、人工衛星ASの移動に伴って撮像装置10が撮像する動画像における画角の移動量も一定である。言い換えれば、撮像装置10の撮像方向が一定の方向である場合、動画像における画角の移動量は、人工衛星ASの移動量mに相当する。以下の説明においては、動画像における画角の移動量も含めて、「人工衛星ASの移動量m」という。なお、人工衛星ASは、上述したように地球の上空の所定の軌道を周回しながら移動しているが、地球も一定の速度で回転している、つまり、自転している。このため、動画像送信装置100は、上式(1)から求めた移動量mに地球の自転による補正を加えた移動量を、最終的な人工衛星ASの移動量mとしてもよい。
動画像送信装置100は、人工衛星ASの移動量mに対応した範囲の画像データを、前回取得したフレームF1と今回取得したフレームF2との差分の画像データとして抽出する。言い換えれば、動画像送信装置100は、フレームF1とフレームF2とで被写体像が重複しない部分(以下、「非重複部分」という)の画像データを抽出する。そして、動画像送信装置100は、抽出した非重複部分の画像データをフレームF2に対応する画像データとし、このフレームF2に対応する画像データが含まれる伝送データD2(図3の中側の下段参照)を動画像受信装置200に送信する。つまり、動画像送信装置100は、フレームF1とフレームF2との間で変化した部分の画像データのみを動画像受信装置200に送信する。
さらにその後、動画像送信装置100は、人工衛星ASが移動して位置P3に位置しているときに撮像装置10が図3の右側の上段に示した撮像範囲R3を撮像したフレームF3(図3の右側の中段参照)を取得すると、前回取得したフレームF2のときと同様に、フレームF2と今回取得したフレームF3とにおける非重複部分の画像データを抽出する。そして、動画像送信装置100は、抽出した非重複部分の画像データがフレームF3に対応する画像データとして含まれる伝送データD3(図3の右側の下段参照)を動画像受信装置200に送信する。
このようにして、動画像送信装置100は、撮像装置10から動画像のそれぞれのフレームFを取得するごとに、前回取得したフレームFと今回取得したフレームFとの間で被写体像が重複しない非重複部分の画像データを抽出することによって、それぞれのフレームFのデータ量を削減(圧縮)させる。そして、動画像送信装置100は、データ量を削減(圧縮)させたフレームFに対応する画像データが含まれる伝送データDを、動画像受信装置200に送信する。
そして、動画像伝送システム1では、動画像受信装置200が、動画像送信装置100によりデータ量が削減されて(圧縮されて)送信されたそれぞれのフレームFの画像データから、人工衛星ASが搭載する撮像装置10が撮像した動画像のそれぞれのフレームFを再現させる。図4には、動画像受信装置200が動画像のそれぞれのフレームの画像データを再現させる処理の一例を模式的に示している。
最初に、動画像受信装置200は、動画像送信装置100により送信された伝送データD1(図4の左側の上段参照)を受信すると、受信した伝送データD1に含まれるフレームF1(図4の左側の下段参照)の画像データを保存する。つまり、動画像受信装置200は、動画像送信装置100によりそのまま送信されてきた最初の1つのフレームの画像データは、処理をせずにそのまま保存する。これにより、動画像受信装置200では、人工衛星ASが位置P1に位置しているときに撮像範囲R1(図3の左側の上段参照)を撮像したフレームF1(図3の左側の中段参照)が再現される。
その後、動画像受信装置200は、動画像送信装置100により送信された伝送データD2(図4の中側の上段参照)を受信すると、保存しているフレームF1から抽出した画像データと、受信した伝送データD2に含まれるフレームF2に対応する画像データとを合わせた合成フレーム(図4の中側の下段=フレームF2参照)を生成する。なお、動画像受信装置200が合成するために保存しているフレームF1から抽出する画像データは、すでに再現させている撮像装置10により撮像されたフレームF1と、撮像装置10が次に撮像したフレームF2とが重複部分する部分(人工衛星ASの移動量mに伴って被写体像が変化していない範囲)の画像データに相当するものである。また、前回再現させたフレームF1と今回受信したフレームF2に対応する画像データとを合成した合成フレームは、人工衛星ASが移動して位置P2に位置しているときに撮像装置10が撮像範囲R2(図3の中側の上段参照)を撮像したフレームF2(図3の中側の中段参照)を再現させたフレームである。動画像受信装置200は、再現させたフレームF2を、再現させたフレームF1と同様に、次に送信されてきた動画像のフレームを再現させるために用いるフレームとして保存する。
さらにその後、動画像受信装置200は、動画像送信装置100により送信された伝送データD3(図4の右側の上段参照)を受信すると、前回再現させたフレームF2のときと同様に、保存しているフレームF2から抽出した画像データと、受信した伝送データD3に含まれるフレームF3に対応する画像データとを合わせた合成フレーム(図4の右側の下段=フレームF3参照)を生成する。これにより、動画像受信装置200は、人工衛星ASが移動して位置P3に位置しているときに撮像装置10が撮像範囲R3(図3の右側の上段参照)を撮像したフレームF3(図3の右側の中段参照)を再現させる。動画像受信装置200は、再現させたフレームF3を、再現させたフレームF2と同様に、次に送信されてきた動画像のフレームを再現させるために用いるフレームとして保存する。
このようにして、動画像受信装置200は、動画像送信装置100により送信された伝送データDを受信するごとに、前回生成して保存している合成フレームの画像データに、今回受信した伝送データDに含まれるそれぞれのフレームFの画像データを合わせることにより、撮像装置10により撮像された動画像のそれぞれのフレームFを再現させる。
このようにして、動画像伝送システム1では、撮像装置10により撮像された動画像における最初のフレームの画像データは処理をせずにそのまま伝送するものの、以降のフレームの画像データは、データ量を削減(圧縮)させて伝送する。これにより、動画像伝送システム1では、動画像送信装置100と動画像受信装置200との間で行う動画像の伝送における負荷を軽減し、人工衛星ASが搭載する撮像装置10の高画素化の実現を容易にすることができる。
[動画像送信装置100の構成および動作]
以下、動画像送信装置100の構成について説明する。図5は、第1実施形態に係る動画像送信装置100の構成の一例を示す図である。図5に示した動画像送信装置100は、例えば、画像取得部101と、情報取得部102と、位置合わせ部103と、差分識別部104と、画像データ抽出部105と、通信部106と、を備える。なお、図5には、動画像送信装置100に関連する構成要素である撮像装置10、センサ20、およびアンテナ30も併せて示している。
動画像送信装置100の構成要素の機能のうち一部または全部は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のLSIによって実現されてもよい。プログラム(ソフトウェア)は、予めHDD(Hard Disk Drive)、フラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納(インストール)されていてもよいし、地上局GSが備えるコンピュータ装置などからアンテナ30およびアンテナ40を介した無線通信によってダウンロードされて記憶装置にインストールされてもよい。
画像取得部101は、撮像装置10により撮像された動画像のそれぞれのフレームの画像データを順次取得する。画像取得部101は、取得したそれぞれのフレームの画像データを、位置合わせ部103に順次出力する。
情報取得部102は、センサ20により出力されたそれぞれの情報を取得することにより、人工衛星ASの位置や、撮像装置10の撮像方向の情報を取得する。人工衛星ASの位置や撮像装置10の撮像方向の情報は、後述する動画像送信装置100の構成要素において撮像装置10により撮像された動画像を構成する連続した2つのフレーム間のずれを判別するために用いる情報である。人工衛星ASの位置は、例えば、センサ20が備えるGPSなどの位置センサの出力により得ることができる。また、撮像装置10の撮像方向は、例えば、センサ20により出力された、撮像装置10が取り付けられた可変機構における向きの制御量により得ることができる。情報取得部102は、取得した人工衛星ASの位置および撮像装置10の撮像方向の情報を、位置合わせ部103に出力する。
なお、情報取得部102は、取得した人工衛星ASの位置の差分や、撮像装置10の撮像方向の差分の情報に基づいて、人工衛星ASの移動量や姿勢の変更量を求め、求めた移動量や姿勢の変更量の情報を、位置合わせ部103に出力するようにしてもよい。また、情報取得部102は、例えば、センサ20が備える速度センサが検出した人工衛星ASの速度と、撮像装置10が動画像を撮像するフレームレート(それぞれのフレームを撮像する間隔の時間)との情報を取得し、上式(1)により求めた人工衛星ASの移動量mを、位置合わせ部103に出力してもよい。このとき、情報取得部102は、上式(1)により求めた移動量mに地球の自転による補正を加えた移動量を、最終的な人工衛星ASの移動量として位置合わせ部103に出力してもよい。また、情報取得部102は、例えば、撮像装置10が取り付けられた可変機構における撮像装置10の向きの制御量の差分や、センサ20が備える姿勢センサが検出した人工衛星ASの姿勢(撮像装置10の撮像方向に相当)の差分を、人工衛星ASの姿勢の変更量をして位置合わせ部103に出力してもよい。
位置合わせ部103は、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、画像取得部101により出力された動画像を構成する連続した2つのフレームに写された同じ主要被写体の被写体像の位置を合わせる。主要被写体としては、例えば、地球表面に存在する陸地などがある。位置合わせ部103における位置合わせの方法としては、例えば、情報取得部102により出力された人工衛星ASの位置の差分、および撮像装置10の撮像方向の差分に基づいて、人工衛星ASの移動量や姿勢の変更量を求め、2つのフレームのうちいずれか一方のフレームを求めた人工衛星ASの移動量や姿勢の変更量の分だけ移動させる手法がある。また、位置合わせ部103は、位置合わせの方法として、例えば、パターンマッチングの手法を用いてもよい。この場合、位置合わせ部103は、例えば、陸地の形(地形)をパターンマッチングすることにより、2つのフレームの位置合わせをする。位置合わせ部103は、主要被写体の位置を合わせた情報、言い換えれば、2つのフレームのずれ量を表す情報を、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とともに、差分識別部104に出力する。また、位置合わせ部103は、位置合わせを行った2つのフレームの画像データを、差分識別部104に出力する。
なお、位置合わせ部103は、画像取得部101により出力された、撮像装置10により時間的に前に撮像されたフレーム(以下、「前フレーム」という)に写された被写体像と、撮像装置10により時間的に後に撮像された現在のフレーム(以下、「現在フレーム」という)に写された被写体像との位置を合わせる。このため、位置合わせ部103は、例えば、画像取得部101により出力された現在フレームよりも少なくとも1つ前の前フレームの画像データを一時的に保存する画像データ保存部(不図示)を備えている。例えば、図3の中側の中段に示した一例では、位置合わせ部103が、画像取得部101により出力された現在フレームであるフレームF2と、フレームF2よりも1つ前に画像取得部101により出力されて不図示の画像データ保存部に保存されている前フレームであるフレームF1とのそれぞれに写された日本の「北海道」と「東北地方の一部」の位置を合わせている。なお、不図示の画像データ保存部に保存されている前フレームの画像データは、位置合わせ部103において位置合わせに使用しなくなると順次破棄され、新たなフレームの画像データに順次置き換えられる。言い換えれば、不図示の画像データ保存部に保存されている前フレームの画像データは、位置合わせ部103において次の位置合わせに使用する前フレーム(例えば、画像取得部101により現在出力された現在フレーム)の画像データに順次更新される。
差分識別部104は、位置合わせ部103により出力された2つのフレーム(前フレームおよび現在フレーム)の画像データにおける差分を識別する。差分識別部104は、位置合わせ部103により出力された主要被写体の位置を合わせた情報に基づいて2つのフレームに写された主要被写体の位置が合わされた状態で、現在フレームにおける前フレームからの変化を識別する。つまり、差分識別部104は、人工衛星ASが移動したことにより2つのフレーム間でずれた部分(2つのフレームにおける非重複部分)の画像データの範囲を識別する。差分識別部104は、識別した非重複部分の画像データの範囲を表す情報を、位置合わせ部103により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とともに、画像データ抽出部105に出力する。また、差分識別部104は、位置合わせ部103により出力された2つのフレームの画像データのうち、現在フレームの画像データを、画像データ抽出部105に出力する。
なお、差分識別部104は、位置合わせ部103により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、2つのフレームにおける非重複部分の画像データの範囲を識別する構成であってもよい。この場合、差分識別部104は、例えば、2つのフレームの撮像時の人工衛星ASの位置の差分、および撮像装置10の撮像方向の差分に基づいて求めた人工衛星ASの移動量や姿勢の変更量を、人工衛星ASが移動したことによりずれた2つのフレーム(前フレームおよび現在フレーム)のずれ量とし、このずれ量に対応する画像データの範囲を非重複部分の画像データの範囲として識別する構成であってもよい。差分識別部104がこのような構成である場合、差分識別部104には位置合わせ部103における位置合わせの機能を備えているということもできる。従って、差分識別部104がこのような位置合わせの機能を備えている構成である場合、動画像送信装置100は、位置合わせ部103を備えない構成にしてもよい。
なお、撮像装置10が時間的に後に撮像して画像取得部101が取得した現在フレームには、人工衛星ASの移動に伴って前フレームからずれた非重複部分の画像データの範囲以外(つまり、2つのフレームにおける重複部分)においても、主要被写体以外の被写体像が異なっていることが考えられる。言い換えれば、連続した2つのフレームにおける重複部分にも、フレーム間で差分(変化)があることが考えられる。例えば、地球表面の雲や、航空機、船舶などは、撮像装置10が撮像する主要被写体である陸地とは異なる被写体ではあるが、動く被写体であるため、これらの被写体が動いた場合には、2つのフレームの重複部分において差分(変化)があることが考えられる。このため、差分識別部104は、重複部分においても、フレーム間の差分(変化)を識別する。なお、差分識別部104における重複部分内の差分(変化)の識別は、例えば、MPEG圧縮処理やH.264圧縮処理などの動画像圧縮処理において採用されている差分抽出の技術など、既存の技術を用いて行うことができる。差分識別部104は、識別した非重複部分の画像データの範囲を表す情報に加えて、識別した重複部分の差分(変化)を表す情報も、画像データ抽出部105に出力する。
なお、差分識別部104が重複部分内の差分(変化)を識別する方法は、上述した方法に限定されない。差分識別部104は、例えば、AI(Artificial Intelligence;人工知能)などの機能を用いて地球表面の雲などの部分を判別し、判別した部分の動きを認識してもよい。
画像データ抽出部105は、差分識別部104により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部104により出力された現在フレームの画像データから、人工衛星ASが移動したことによりずれた部分(非重複部分)の画像データを抽出する。画像データ抽出部105は、抽出した非重複部分の画像データを、現在フレームに対応する画像データとして、差分識別部104により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とともに、通信部106に出力する。言い換えれば、画像データ抽出部105は、人工衛星ASが移動した場合でも現在フレームの画像データが変わらない部分を削除してデータ量を削減(圧縮)した画像データを、人工衛星ASの位置や撮像装置10の撮像方向の情報とともに、通信部106に出力する。画像データ抽出部105は、特許請求の範囲における「データ抽出部」の一例である。また、非重複部分の画像データは、特許請求の範囲における「第3画像データ」の一例である。
なお、差分識別部104により重複部分の差分(変化)を表す情報が出力されている場合、画像データ抽出部105は、差分識別部104により出力された現在フレームの画像データから重複部分内で差分(変化)がある画像データも抽出し、抽出した非重複部分の画像データに加えて、抽出した重複部分内で差分(変化)がある画像データ(以下、「重複部分内の画像データ」という)とこの画像データの位置を表す情報とを通信部106に出力する。なお、画像データ抽出部105が通信部106に出力する重複部分内の画像データの位置を表す情報は、差分識別部104により出力された重複部分の差分(変化)を表す情報であってもよい。重複部分内の画像データは、特許請求の範囲における「第4画像データ」の一例である。
通信部106は、画像データ抽出部105により出力された現在フレームに対応する画像データと人工衛星ASの位置や撮像装置10の撮像方向の情報とを対応付けて動画像受信装置200に送信するための伝送データを生成する。なお、画像データ抽出部105により重複部分内の画像データとこの画像データの位置を表す情報とが出力されている場合、通信部106は、これらデータや情報を含めた伝送データを生成する。そして、通信部106は、生成した伝送データをアンテナ30に出力し、アンテナ30に、出力した伝送データに対応する無線信号の電波を動画像受信装置200に向けて送出させる。通信部106は、特許請求の範囲における「送信部」の一例である。
なお、人工衛星ASと地上局GSとの間の無線通信は、常に良好に行われるとは限らない。例えば、人工衛星ASの位置が、地上に設置された地上局GSから見て地球の反対側である場合には、人工衛星ASにより送出された無線信号の電波を地上局GSにおいて受信することができない。このため、通信部106は、例えば、生成した伝送データが地上局GSに送信されるまで一時的に保存する伝送データ保存部(不図示)を備えている。なお、不図示の伝送データ保存部に保存されている伝送データは、対応する無線信号の電波がアンテナ30を介して送出され、地上局GSによって受信されると順次破棄される。
以下、動画像送信装置100の動作について説明する。図6は、第1実施形態に係る動画像送信装置100における画像データの送信処理の流れの一例を示すフローチャートである。図6に示したフローチャートの処理は、撮像装置10が動画像を構成する1つのフレームの撮像をする所定の時間間隔ごと、つまり、予め定めたフレームレートの時間間隔ごとに繰り返し実行される。
なお、以下の説明においては、動画像送信装置100において、撮像装置10により時間的に前に撮像されたフレーム(前フレーム)に対応する画像データはすでに動画像受信装置200に送信済みの状態である、つまり、動画像送信装置100内に、前フレームの画像データが、例えば、不図示の画像データ保存部に保存されている状態であるものとする。そして、図6に示したフローチャートの説明では、動画像送信装置100が、撮像装置10により以降に撮像されたフレーム(現在フレーム)の画像データを動画像受信装置200に送信する場合の動作を説明する。
撮像装置10が時間的に後のフレームを撮像すると、画像取得部101は、撮像装置10により出力された現在フレームの画像データを取得する(ステップS100)。そして、画像取得部101は、取得した現在フレームの画像データを、位置合わせ部103に出力する。
続いて、情報取得部102は、センサ20により出力されたそれぞれの情報に基づいて、人工衛星ASの位置および撮像装置10の撮像方向の情報を取得する(ステップS101)。そして、情報取得部102は、取得した人工衛星ASの位置や撮像装置10の撮像方向の情報を、位置合わせ部103に出力する。
続いて、位置合わせ部103は、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、画像取得部101により出力された現在フレームに写された主要被写体と、不図示の画像データ保存部に保存している前フレームに写された同じ主要被写体との位置を合わせる(ステップS102)。そして、位置合わせ部103は、主要被写体の位置を合わせた情報と、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報と、前フレームおよび現在フレームの画像データとを、差分識別部104に出力する。また、位置合わせ部103は、現在フレームの画像データを、不図示の画像データ保存部に保存(前フレームの更新であってもよい)する。
続いて、差分識別部104は、位置合わせ部103により出力された前フレームと現在フレームとの画像データにおける差分を識別する(ステップS103)。より具体的には、差分識別部104は、位置合わせ部103により出力された前フレームと現在フレームとの画像データにおける非重複部分の差分を識別する。また、差分識別部104は、位置合わせ部103により出力された前フレームと現在フレームとの画像データにおける重複部分内の差分(変化)を識別する。差分識別部104は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分(変化)を表す情報と、位置合わせ部103により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報と、現在フレームの画像データとを、画像データ抽出部105に出力する。
続いて、画像データ抽出部105は、差分識別部104により出力された情報に基づいて、差分識別部104により出力された現在フレームの画像データから、動画像受信装置200に送信する現在フレームの画像データを抽出する(ステップS104)。より具体的には、画像データ抽出部105は、差分識別部104により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部104により出力された現在フレームの画像データから、非重複部分の画像データを抽出する。また、画像データ抽出部105は、差分識別部104により出力された重複部分の差分(変化)を表す情報に基づいて、差分識別部104により出力された現在フレームの画像データから、重複部分内で差分(変化)がある画像データを抽出する。画像データ抽出部105は、抽出した現在フレームにおける非重複部分の画像データと、抽出した現在フレームにおける重複部分内の画像データおよび位置を表す情報と、差分識別部104により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とを、通信部106に出力する。
続いて、通信部106は、画像データ抽出部105により出力された現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とを含む伝送データを生成する。そして、通信部106は、生成した伝送データをアンテナ30に出力して、動画像受信装置200に送信させる(ステップS105)。
このような構成および処理によって、人工衛星ASが備える動画像送信装置100は、撮像装置10により撮像された動画像のフレームの画像データのデータ量を削減(圧縮)させて、地上局GS(より具体的には、動画像受信装置200)に送信する。
[動画像受信装置200の構成および動作]
以下、動画像受信装置200の構成について説明する。図7は、第1実施形態に係る動画像受信装置200の構成の一例を示す図である。図7に示した動画像受信装置200は、例えば、通信部201と、画像生成部202と、画像保存部203と、を備える。なお、図7には、動画像受信装置200に関連する構成要素であるアンテナ40および表示装置50も併せて示している。
動画像受信装置200の構成要素の機能のうち一部または全部は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のLSIによって実現されてもよい。プログラム(ソフトウェア)は、予めHDD、フラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納(インストール)されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることで、記憶装置にインストールされてもよい。また、プログラム(ソフトウェア)は、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶装置にインストールされてもよい。
通信部201は、アンテナ40が受信した人工衛星ASにより送出された無線信号の電波が表す伝送データを取得する。そして、通信部201は、取得した伝送データに含まれる現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とのそれぞれを、画像生成部202に出力する。通信部201は、特許請求の範囲における「受信部」の一例である。
画像生成部202は、通信部201により出力された現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とに基づいて、人工衛星ASが搭載する撮像装置10が撮像した動画像の現在フレームを再現させた合成フレームを生成する。このとき、画像生成部202は、まず、画像保存部203に保存されている前フレームを再現させた合成フレーム(以下、「既合成フレーム」という)から、通信部201により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に応じた重複部分の画像データを抽出する。その後、画像生成部202は、抽出した画像データと、通信部201により出力された現在フレームにおける非重複部分の画像データとを合わせて、現在フレームを再現させた合成フレームを生成する。既合成フレームから通信部201により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に応じて抽出した重複部分の画像データは、特許請求の範囲における「抽出画像データ」の一例である。
さらに、画像生成部202は、生成した合成フレームに対して、通信部201により出力された現在フレームにおける重複部分内の画像データ、つまり、画像データの差分(変化)を反映させる。このとき、画像生成部202は、通信部201により出力された重複部分内の画像データの位置の情報が表す位置の画像データに対して、差分(変化)を反映させる。この画像データの差分(変化)を反映させた合成フレームが、現在フレームに対応する最終的な合成フレームである。
なお、画像生成部202における重複部分内の画像データに対する差分(変化)の反映は、既存の技術を用いて行うことができる。つまり、画像生成部202は、動画像送信装置100(より具体的には、差分識別部104)が重複部分においてフレーム間の差分(変化)を識別する際に用いた、例えば、MPEG圧縮処理やH.264圧縮処理などの動画像圧縮処理において採用されている差分抽出の技術に対応する技術を用いて、生成した合成フレームに対して重複部分内の画像データの差分(変化)を反映させることができる。なお、画像生成部202において重複部分内の画像データに差分(変化)を反映させる方法は、例えば、差分識別部104と同様のAIなどの機能を用いて行う方法であってもよい。
画像生成部202は、生成した現在フレームに対応する合成フレームを、撮像装置10が撮像した動画像の次のフレームを再現させるために用いる既合成フレームとして、画像保存部203に保存させる。また、画像生成部202は、生成した現在フレームに対応する合成フレームを、表示装置50に出力する。これにより、表示装置50は、画像生成部202により再現された動画像における現在フレームを表示する。
なお、動画像では、撮像装置10が撮像する動画像のそれぞれのフレームにおける撮像範囲は同一である。このため、画像生成部202が通信部201により出力された現在フレームにおける非重複部分の画像データを合わせて生成する現在フレームの合成フレームにおける撮像範囲も、撮像装置10が撮像する動画像のフレームの撮像範囲Rと同一である。このため、画像生成部202は、合成フレームを生成する際の処理は、上述したような、画像保存部203に保存されている前フレームから抽出した画像データと、通信部201により出力された現在フレームにおける非重複部分の画像データとを合わせる処理に限定されない。例えば、画像生成部202は、画像保存部203に保存されている前フレームの画像データに通信部201により出力された現在フレームにおける非重複部分の画像データを合わせて合成した後、撮像装置10の撮像範囲に対応する範囲を切り出して、合成フレームを生成してもよい。つまり、画像生成部202は、撮像装置10の撮像範囲よりも大きい範囲の合成フレームを仮に生成してから、撮像装置10の撮像範囲に対応する範囲を切り出すことにより、撮像装置10の撮像範囲と同じ範囲の合成フレームを生成してもよい。
画像保存部203は、既合成フレームの画像データを保存する。画像保存部203は、例えば、DRAM(Dynamic Random Access Memory)などの記憶装置(一過性の記憶装置)を含み、既合成フレームの画像データを一時的に保存する。画像保存部203に保存されている既合成フレームの画像データは、画像生成部202によって、動画像のフレームの再現に用いられなくなると順次破棄され、画像生成部202が生成した新たな合成フレームの画像データに順次置き換えられる。つまり、画像保存部203に保存されている既合成フレームの画像データは、画像生成部202によって、画像生成部202が再現させた現在フレームの画像データに順次更新される。
なお、画像保存部203は、例えば、HDD、フラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)を備え、画像生成部202が生成した既合成フレーム(画像生成部202が再現させた現在フレーム)の画像データを順次、動画像を構成するそれぞれのフレームの画像データとして保存してもよい。この場合、画像保存部203に保存された複数の既合成フレームを表示装置50に出力することにより、撮像装置10により撮像された動画像を表示装置50に繰り返し表示させることができる。
以下、動画像受信装置200の動作について説明する。図8は、第1実施形態に係る動画像受信装置200における画像データの受信処理の流れの一例を示すフローチャートである。図8に示したフローチャートの処理は、人工衛星ASにより送信された、動画像を構成する1つのフレームに対応する伝送データを受信するごとに繰り返し実行される。なお、人工衛星ASが、それぞれのフレームに対応する伝送データを撮像装置10が動画像のそれぞれのフレームの撮像をする所定の時間間隔ごと、つまり、予め定めたフレームレートの時間間隔ごとに送信してきた場合、図8に示したフローチャートの処理は、撮像装置10のフレームレートの時間間隔ごとに繰り返し実行される。
なお、以下の説明においては、動画像受信装置200において、撮像装置10により時間的に前に撮像されたフレーム(前フレーム)に対応する伝送データはすでに受信済みの状態である、つまり、動画像受信装置200が備える画像保存部203に、前フレームに対応する既合成フレームの画像データが保存されている状態であるものとする。そして、図8に示したフローチャートの説明では、人工衛星ASにより送信された撮像装置10により以降に撮像されたフレーム(現在フレーム)に対応する伝送データを受信して、現在フレームに対応する合成フレームを生成する場合の動作を説明する。
アンテナ40が人工衛星ASにより送信された伝送データの無線信号の電波を受信すると、通信部201は、アンテナ40が受信した無線信号の電波が表す伝送データを取得する(ステップS200)。そして、通信部201は、取得した伝送データに含まれる現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とのそれぞれを、画像生成部202に出力する。
続いて、画像生成部202は、通信部201により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、画像保存部203に保存されている前フレームに対応する既合成フレームから、重複部分の画像データを抽出する(ステップS201)。
続いて、画像生成部202は、抽出した画像データと、通信部201により出力された現在フレームにおける非重複部分の画像データとを合わせて、現在フレームを再現させた合成フレームを生成する(ステップS202)。
続いて、画像生成部202は、生成した合成フレームに含まれる重複部分内の画像データに対して、通信部201により出力された現在フレームにおける重複部分内の画像データの差分(変化)を反映させて、最終的な合成フレームを生成する(ステップS203)。
続いて、画像生成部202は、生成した現在フレームに対応する最終的な合成フレームを、表示装置50に出力する(ステップS204)。これにより、表示装置50は、画像生成部202により出力された動画像における最終的な合成フレームを表示する。また、画像生成部202は、最終的な合成フレームの画像データを、既合成フレームとして、画像保存部203に保存させる。
このような構成および処理によって、地上局GSが備える動画像受信装置200は、人工衛星ASが備える動画像送信装置100によりデータ量が削減(圧縮)されて送信されてきた現在フレームの画像データから、撮像装置10により撮像された動画像の現在フレームの画像データを再現させた合成フレームを生成して、表示装置50に表示させる。
上述したように、第1実施形態の動画像伝送システム1では、動画像送信装置100が、撮像装置10により撮像された動画像を構成する連続した2つのフレーム間で差分(変化)がある画像データを抽出することにより、動画像のそれぞれのフレームの画像データのデータ量を削減(圧縮)させる。そして、第1実施形態の動画像伝送システム1では、動画像送信装置100が、データ量を削減(圧縮)させた動画像のそれぞれのフレームの画像データを含む伝送データを動画像受信装置200に送信する。また、第1実施形態の動画像伝送システム1では、動画像受信装置200が、保存している既合成フレームの画像データと、受信した伝送データに含まれる動画像のフレームの画像データとを合わせて、撮像装置10により撮像された動画像のそれぞれのフレームを再現させた新たな合成フレームを生成する。これにより、第1実施形態の動画像伝送システム1では、人工衛星ASが搭載する撮像装置10により撮像された動画像を伝送する際に要する通信の負荷を軽減することができる。また、第1実施形態の動画像伝送システム1では、人工衛星ASが搭載する撮像装置10が高画素化された場合でも、動画像を伝送する際に要する通信の負荷が増大する割合を、高画素化によって動画像のそれぞれのフレームに含まれる画像データが増大する割合よりも低く抑えることができる。このことにより、第1実施形態の動画像伝送システム1では、人工衛星ASが搭載する撮像装置10の高画素化の実現を容易にすることができる。
<第2実施形態>
以下、第2実施形態の動画像伝送システムについて説明する。第1実施形態の動画像伝送システム1では、図2に示したように、人工衛星ASが一定の速度で地球の上空を移動しながら、人工衛星ASが搭載する撮像装置10によって直下にある地上の被写体の動画像を撮像する場合を想定していた。しかしながら、人工衛星ASが移動する速度は変わらないものの、人工衛星ASが搭載する撮像装置10によって動画像を撮像する方向(撮像方向)は、必ずしも直下であるとは限らない。例えば、撮像装置10によって人工衛星ASが移動する方向に対して前方や後方の動画像を撮像することも考えられる。この場合、撮像装置10が撮像した動画像のそれぞれのフレームに写された被写体像には、歪みが発生していることが考えられる。この撮像装置10の撮像方向によって発生する被写体像の歪みは、主に地球が球形であることに起因するものである。第2実施形態の動画像伝送システムは、撮像装置10の撮像方向によって発生する被写体像の歪みを補正する構成を備え、第1実施形態の動画像伝送システム1と同様に、撮像装置10が撮像した動画像のフレームの画像データのデータ量を削減(圧縮)させて伝送するようにするものである。
[第2実施形態の動画像伝送システムの全体構成]
第2実施形態の動画像伝送システムでは、図1に示した動画像伝送システム1の構成において、人工衛星ASが備える動画像送信装置100と、地上局GSが備える動画像受信装置200とのそれぞれが、被写体像の歪みを補正する構成要素を備える構成に代わっている。以下の説明においては、第2実施形態の動画像伝送システムを、「動画像伝送システム2」という。また、第2実施形態の動画像伝送システムが備える動画像送信装置を「動画像送信装置110」といい、動画像受信装置を「動画像受信装置210」という。
なお、動画像伝送システム2において動画像送信装置110に接続される撮像装置10、センサ20、およびアンテナ30や、動画像受信装置210に接続されるアンテナ40および表示装置50は、第1実施形態の動画像伝送システム1と同様であるため、詳細な説明は省略する。また、動画像伝送システム2において動画像を伝送する際の基本的な考え方も、フレームに写された被写体像の歪みを補正する以外は、第1実施形態の動画像伝送システム1と同様であるため、詳細な説明は省略する。
動画像送信装置110は、第1実施形態の動画像送信装置100と同様に、人工衛星ASが備え、人工衛星ASが搭載する撮像装置10により撮像された動画像の画像データのデータ量を、人工衛星ASの位置や、撮像装置10の撮像方向の情報に基づいて削減させて(圧縮させて)地上局GSに送信する。動画像送信装置110では、撮像装置10により撮像された動画像のそれぞれのフレームに写された被写体像の歪みを補正した画像データを地上局GSに送信する。
動画像受信装置210は、第1実施形態の動画像受信装置200と同様に、地上局GSが備え、人工衛星AS(動画像送信装置110)によりデータ量が削減された状態で送信されてきた動画像の画像データから、人工衛星ASが搭載する撮像装置10が撮像した動画像の画像データを再現させて、例えば、表示装置50に表示させる。動画像受信装置210では、再現させた動画像のそれぞれのフレームに対して、撮像装置10により撮像された動画像のそれぞれのフレームに写された被写体像の歪みも再現させる。動画像受信装置210の構成および動作に関する詳細については後述する。
[動画像送信装置110の構成および動作]
以下、動画像送信装置110の構成について説明する。なお、動画像送信装置110が備える構成要素には、第1実施形態の動画像送信装置100が備える構成要素と同様の構成要素が含まれている。従って、以下の説明においては、動画像送信装置110の構成要素において、第1実施形態の動画像送信装置100の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。
図9は、第2実施形態に係る動画像伝送システム2が備える動画像送信装置110の構成の一例を示す図である。図9に示した動画像送信装置110は、例えば、画像取得部101と、情報取得部102と、歪み補正部111と、位置合わせ部103と、差分識別部104と、画像データ抽出部105と、通信部106と、を備える。なお、図9にも、動画像送信装置110に関連する構成要素である撮像装置10、センサ20、およびアンテナ30も併せて示している。
画像取得部101は、撮像装置10により撮像された動画像のそれぞれのフレームの画像データを順次取得し、取得したそれぞれのフレームの画像データを、歪み補正部111に順次出力する。
情報取得部102は、センサ20により出力されたそれぞれの情報を取得することにより、人工衛星ASの位置や、撮像装置10の撮像方向の情報を取得し、取得した人工衛星ASの位置および撮像装置10の撮像方向の情報を、歪み補正部111および位置合わせ部103に出力する。
歪み補正部111は、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、画像取得部101により出力された動画像を構成するそれぞれのフレームに写された被写体像の歪みを補正する。歪み補正部111は、被写体像の歪みを補正したそれぞれのフレームの画像データを、位置合わせ部103に順次出力する。
なお、歪み補正部111がそれぞれのフレームに写された被写体像の歪みを補正する場合、位置合わせ部103に出力するそれぞれのフレームの画像データは、歪みをなくすように補正された画像データとなる。しかし、歪み補正部111は、いずれか一方のフレームの歪みを補正する、つまり、一方のフレームに写された被写体像の歪みを他方のフレームFに写された被写体像の歪みに合わせるように歪み補正をしてもよい。例えば、歪み補正部111は、撮像装置10により時間的に前に撮像されたフレーム(前フレーム)に写された被写体像の歪みを、撮像装置10により時間的に後に撮像されたフレーム(現在フレーム)に写された被写体像の歪みに合わせるように歪み補正をしてもよい。また、歪み補正部111は、現在フレームに写された被写体像の歪みを前フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。
ここで、歪み補正部111がフレームに写された被写体像の歪みを補正する方法について説明する。図10は、第2実施形態に係る動画像伝送システム2において人工衛星ASが撮像する範囲と被写体との位置関係の一例を模式的に示す図である。図10の左側には、人工衛星ASが移動する方向に対して後方の動画像を撮像装置10によって撮像する場合の撮像装置10の撮像範囲と地上の被写体との位置関係の一例を示している。また、図10の右側には、左側に示した撮像装置10の撮像範囲と地上の被写体との位置関係において、歪み補正部111が被写体像の歪みを補正する処理を行うために定義するパラメータを示している。
人工衛星ASが一定の速度で地球の上空を移動しながら撮像装置10により後方の動画像を撮像する場合、撮像装置10の撮像範囲内に撮像される被写体像は、人工衛星AS(撮像装置10)の直下から離れるほど歪みが大きくなる。言い換えれば、撮像装置10からの距離に応じて被写体像の歪みが変化する。これは、撮像装置10が斜め方向から被写体を撮像することになるからである。図10の左側には、人工衛星ASが、例えば、位置P1に位置しているときに撮像装置10が動画像の1枚目のフレーム(フレームF1)を撮像し、その後、人工衛星ASが、例えば、位置P2の位置に移動したときに撮像装置10が2枚目のフレーム(フレームF2)を撮像した状態を示している。そして、図10の左側には、フレームF1およびフレームF2のそれぞれの撮像範囲内に撮像される被写体の歪みが、撮像装置10の直下では小さく、撮像装置10の直下から離れるほど歪みが大きくなる状態を示している。この場合、撮像装置10により撮像される同じ被写体であっても、フレームF1とフレームF2とのそれぞれに写された被写体像は、歪みによって異なる形になってしまう。このため、図3を用いて説明した第1実施形態の動画像伝送システム1におけるそれぞれのフレームの画像データの処理方法でフレームF1とフレームF2とにおける重複部分内の差分(変化)を識別すると、重複部分内のほぼ全ての部分に差分(変化)があることになり、重複部分の画像データのデータ量を削減(圧縮)することができなくなってしまう。
このため、動画像送信装置110では、歪み補正部111が、以降の処理において、第1実施形態の動画像伝送システム1におけるそれぞれのフレームの画像データの処理方法と同様の処理をすることができるように、それぞれのフレームに写された被写体像の歪みを補正する。言い換えれば、歪み補正部111は、それぞれのフレームが、図2に示したような、撮像装置10によって直下にある地上の被写体を撮像したフレームと同様になるように被写体像の歪みを補正する。
歪み補正部111における被写体像の歪み補正の処理では、地球の表面を平面の地図に表すための図法である既存の心射方位図法を応用して、被写体像の歪みの大きさを求める。このとき、図10の右側に示したように、地球の表面を水平線と仮定し、水平線から人工衛星ASまでの距離(いわゆる、人工衛星ASの高度)hを定義する。そして、人工衛星ASの位置Pを中心として半径が高度hの円と水平線とが接する接点の位置を通る垂線を基準とした場合の撮像装置10の画角を、画角θと定義する。また、垂線と半径が高度hの円とが接する接点の位置から、画角θの斜線と円とが交差する接点の位置までの円弧の長さを、撮像装置10の撮像範囲の距離dと定義する。また、垂線と半径が高度hの円とが接する接点の位置から、画角θの斜線と水平線とが交差する接点の位置までの水平線上の長さを、水平線上の被写体の縮尺r(d)と定義する。この縮尺r(d)は、撮像装置10の撮像範囲における距離に応じた水平線上の被写体の歪み補正量に相当する。
上記の定義に基づいて、人工衛星ASの移動方向の被写体像に対する歪み補正量A(d)は、下式(2)で表される。
A(d)=C/(2hcos2(d/2h)) ・・・(2)
また、上記の定義に基づいて、人工衛星ASの移動方向に対して垂直、かつ、地球の表面と平行な方向(図10の紙面に対して手前側および奥側の方向:以下、「垂直方向」という)の被写体像に対する歪み補正量B(d)は、下式(3)で表される。
B(d)=C/(2hcos(d/2h)) ・・・(3)
上式(2)および上式(3)において、Cは定数(例えば、C=1)である。
歪み補正部111は、人工衛星ASの移動方向の歪み補正量A(d)と、人工衛星ASの移動方向に対する垂直方向の歪み補正量B(d)とのそれぞれを、フレームに含まれる画像データごとに求める。そして、歪み補正部111は、フレーム内の画像データの位置に応じて求めた歪み補正量A(d)と歪み補正量B(d)のそれぞれの歪み補正量を組み合わせて、フレームに写された被写体像の歪みを補正する。
なお、図10では、地球の表面が平面であるものとして定義したそれぞれのパラメータに基づいて、人工衛星ASの移動方向および人工衛星ASの移動方向に対する垂直方向のそれぞれの歪み補正量を求めた。しかしながら、地球の上空の所定の軌道を周回する人工衛星ASの高度は高いため、地球の表面は、図10に示したような平面ではなく、球面である。従って、撮像装置10が撮像する動画像のそれぞれのフレームに写された被写体像の歪みは、地球の表面が平面である場合よりもさらに大きくなる。
このため、動画像送信装置110では、歪み補正部111が、以降の処理において、第1実施形態の動画像伝送システム1におけるそれぞれのフレームの画像データの処理方法と同様の処理をすることができるように、地球の表面の球面を平面に補正するように、それぞれのフレームに写された被写体像の歪みをさらに補正する。言い換えれば、歪み補正部111は、それぞれのフレームが、図2に示したような、撮像装置10によって直下にある地上の被写体を撮像したフレームと同様になるように、撮像装置10の撮像方向に対応する上述した歪み補正と、地球の表面が球面形状であることを加味した歪み補正との2段階で、被写体像の歪みを補正する。
図11は、第2実施形態に係る動画像伝送システム2において人工衛星ASが撮像する範囲と被写体との位置関係の別の一例を模式的に示す図である。図11の左側には、人工衛星ASが移動する方向に対して後方の動画像を撮像装置10によって撮像する場合の撮像装置10の撮像範囲と地上の被写体との位置関係の一例を示している。また、図11の右側には、左側に示した撮像装置10の撮像範囲と地上の被写体との位置関係において、歪み補正部111が被写体像の歪みを補正する処理を行うために定義するパラメータを示している。
この地球の表面が球面である場合における歪み補正部111による被写体像の歪み補正の処理でも、既存の心射方位図法を応用して、被写体像の歪みの大きさを求める。この場合では、図11の右側に示したように、地球の表面を水平線と仮定し、水平線から地球の中心の位置までの距離(いわゆる、地球の半径)Rを定義する。そして、地球の中心位置を中心として半径が地球の半径Rの円と水平線とが接する接点の位置を通る垂線を基準として、高度hの位置に位置する人工衛星ASが備える撮像装置10の画角θの斜線と半径Rの円とが交差する接点の位置までの円弧の長さを、撮像装置10により撮像される地球の表面の距離eと定義する。また、垂線と半径Rの円とが接する接点の位置から、地球の中心位置から画角θの斜線と半径Rの円とが交差する接点の位置を通って水平線と交差する接点の位置までの水平線上の長さを、水平線上の被写体の縮尺s(e)と定義する。この縮尺s(e)は、撮像装置10により撮像される地球の表面の距離に応じた水平線上の被写体の歪み補正量に相当する。
上記の定義に基づいて、地球の球面形状を加味した人工衛星ASの移動方向の被写体像に対する歪み補正量D(e)は、下式(4)で表される。
D(e)=C/(2Rcos2(e/2R)) ・・・(4)
また、上記の定義に基づいて、地球の球面形状を加味した人工衛星ASの移動方向に対して垂直方向の被写体像に対する歪み補正量E(e)は、下式(5)で表される。
E(e)=C/(2Rcos(e/2R)) ・・・(5)
上式(4)および上式(5)においても、Cは定数(例えば、C=1)である。
歪み補正部111は、人工衛星ASの移動方向の歪み補正量D(e)と、人工衛星ASの移動方向に対する垂直方向の歪み補正量E(e)とのそれぞれを、フレームに含まれる画像データごとにさらに求める。そして、歪み補正部111は、フレーム内の画像データの位置に応じて求めた歪み補正量A(d)と歪み補正量B(d)とを組み合わせて被写体像の歪みを補正したそれぞれのフレームに対して、さらに求めた歪み補正量D(e)と歪み補正量E(e)とのそれぞれの歪み補正量を組み合わせて、フレームに写された被写体像の歪みをさらに補正する。歪み補正部111は、被写体像の歪みを補正したそれぞれのフレーム(以下、「補正フレーム」という)の画像データを、位置合わせ部103に順次出力する。
なお、歪み補正部111は、上述したように、前フレームに写された被写体像の歪みを現在フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。つまり、歪み補正部111は、前フレームに写された被写体像の現在フレームに写された被写体像に対する歪み補正量を、上式(2)~上式(5)に基づいてそれぞれ求めてもよい。この場合、歪み補正部111による被写体像の歪みの補正は、前フレームに対して行われることになる。言い換えれば、歪み補正部111は、現在フレームに対しては被写体像の歪みの補正を行わないことになる。この場合、歪み補正部111は、被写体像の歪みの補正を行った現在フレームと、被写体像の歪みの補正を行っていない現在フレーム(つまり、画像取得部101により出力されたそのままの現在フレーム)とを、それぞれの補正フレームとして位置合わせ部103に出力する。
また、歪み補正部111は、上述したように、現在フレームに写された被写体像の歪みを前フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。つまり、歪み補正部111は、上式(2)~上式(5)に基づいて、現在フレームに写された被写体像の前フレームに写された被写体像に対するそれぞれの歪み補正量を求め、現在フレームに対して被写体像の歪み補正を行ってもよい。この場合、歪み補正部111は、被写体像の歪みの補正を行っていない前フレーム(つまり、画像取得部101により出力されたそのままの前フレーム)と、被写体像の歪みの補正を行った現在フレームとを、それぞれの補正フレームとして位置合わせ部103に出力する。
図9に戻って、位置合わせ部103は、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、歪み補正部111により出力された連続した2つの補正フレーム(前フレームおよび現在フレームのいずれか一方のフレームに対して被写体像の歪み補正が行われていない場合を含む)に写された同じ主要被写体の被写体像の位置を合わせる。位置合わせ部103は、主要被写体の位置を合わせた情報と、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報と、位置合わせを行った2つの補正フレームの画像データとを、差分識別部104に出力する。
差分識別部104は、位置合わせ部103により出力された主要被写体の位置を合わせた情報に基づいて、位置合わせ部103により出力された2つの補正フレームに写された主要被写体の位置が合わされた状態で、2つの補正フレームにおける非重複部分および重複部分の画像データの差分(変化)を識別する。差分識別部104は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分(変化)を表す情報と、位置合わせ部103により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報と、位置合わせ部103により出力された2つの補正フレームの画像データのうち、撮像装置10により時間的に後に撮像されたフレーム(現在フレーム)を補正した補正フレームの画像データを、画像データ抽出部105に出力する。
画像データ抽出部105は、差分識別部104により出力された非重複部分の画像データの範囲を表す情報や、重複部分の差分(変化)を表す情報に基づいて、差分識別部104により出力された現在フレームを補正した補正フレームから、非重複部分の画像データや、重複部分内で差分(変化)がある画像データを抽出する。画像データ抽出部105は、抽出した非重複部分の画像データと、重複部分内の画像データおよびこの画像データの位置を表す情報と、差分識別部104により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とを、現在フレームを補正した補正フレームに対応する画像データとして、通信部106に出力する。つまり、画像データ抽出部105は、人工衛星ASが移動した場合でも現在フレームの画像データが変わらない部分を削除してデータ量を削減(圧縮)した補正フレームの画像データを、人工衛星ASの位置や撮像装置10の撮像方向の情報とともに、通信部106に出力する。
通信部106は、画像データ抽出部105により出力された現在フレームに対応する補正フレームの画像データおよびこの画像データの情報と、人工衛星ASの位置や撮像装置10の撮像方向の情報とを、動画像受信装置210に送信するための伝送データを生成する。そして、通信部106は、生成した伝送データをアンテナ30に出力して、アンテナ30に、出力した伝送データに対応する無線信号の電波を動画像受信装置210に向けて送出させる。
以下、動画像送信装置110の動作について説明する。図12は、第2実施形態に係る動画像送信装置110における画像データの送信処理の流れの一例を示すフローチャートである。図12に示したフローチャートの処理も、第1実施形態の動画像送信装置100における画像データの送信処理の流れと同様に、撮像装置10が動画像を構成する1つのフレームの撮像をする予め定めたフレームレートの時間間隔ごとに繰り返し実行される。なお、図12に示したフローチャートでは、図6に示した第1実施形態の動画像送信装置100のフローチャートの処理と同様の処理には同じステップ番号を付与している。
なお、以下の説明においては、動画像送信装置110において、撮像装置10により時間的に前に撮像されたフレーム(前フレーム)に対応する補正フレームの画像データはすでに動画像受信装置210に送信済みの状態である、つまり、動画像送信装置110内に、前フレームに対応する補正フレーム(以下、「前補正フレーム」という)の画像データが、例えば、不図示の画像データ保存部に保存されている状態であるものとする。そして、図12に示したフローチャートの説明では、動画像送信装置110が、撮像装置10により以降に撮像されたフレーム(現在フレーム)に対応する補正フレーム(以下、「現在補正フレーム」という)の画像データを動画像受信装置210に送信する場合の動作を説明する。
撮像装置10が時間的に後のフレームを撮像すると、画像取得部101は、撮像装置10により出力された現在フレームの画像データを取得する(ステップS100)。そして、画像取得部101は、取得した現在フレームの画像データを、歪み補正部111に出力する。
続いて、情報取得部102は、センサ20により出力されたそれぞれの情報に基づいて、人工衛星ASの位置および撮像装置10の撮像方向の情報を取得する(ステップS101)。そして、情報取得部102は、取得した人工衛星ASの位置や撮像装置10の撮像方向の情報を、歪み補正部111および位置合わせ部103に出力する。
続いて、歪み補正部111は、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、画像取得部101により出力された現在フレームに写された被写体像の歪みを補正する(ステップS111)。歪み補正部111は、被写体像の歪みを補正した現在補正フレームの画像データを、位置合わせ部103に出力する。
続いて、位置合わせ部103は、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、歪み補正部111により出力された現在補正フレームに写された主要被写体と、不図示の画像データ保存部に保存している前補正フレームに写された同じ主要被写体との位置を合わせる(ステップS102)。そして、位置合わせ部103は、主要被写体の位置を合わせた情報と、情報取得部102により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報と、前補正フレームおよび現在補正フレームの画像データとを、差分識別部104に出力する。また、位置合わせ部103は、現在補正フレームの画像データを、不図示の画像データ保存部に保存(前補正フレームの更新であってもよい)する。
続いて、差分識別部104は、位置合わせ部103により出力された前補正フレームと現在補正フレームとの画像データにおける差分を識別する(ステップS103)。より具体的には、差分識別部104は、位置合わせ部103により出力された前補正フレームと現在補正フレームとの画像データにおける非重複部分の差分を識別する。また、差分識別部104は、位置合わせ部103により出力された前補正フレームと現在補正フレームとの画像データにおける重複部分内の差分(変化)を識別する。差分識別部104は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分(変化)を表す情報と、位置合わせ部103により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報と、現在補正フレームの画像データとを、画像データ抽出部105に出力する。
続いて、画像データ抽出部105は、差分識別部104により出力された情報に基づいて、差分識別部104により出力された現在補正フレームの画像データから、動画像受信装置210に送信する現在補正フレームの画像データを抽出する(ステップS104)。より具体的には、画像データ抽出部105は、差分識別部104により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部104により出力された現在補正フレームの画像データから、非重複部分の画像データを抽出する。また、画像データ抽出部105は、差分識別部104により出力された重複部分の差分(変化)を表す情報に基づいて、差分識別部104により出力された現在補正フレームの画像データから、重複部分内で差分(変化)がある画像データを抽出する。画像データ抽出部105は、抽出した現在補正フレームにおける非重複部分の画像データと、抽出した現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、差分識別部104により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とを、通信部106に出力する。
続いて、通信部106は、画像データ抽出部105により出力された現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とを含む伝送データを生成する。そして、通信部106は、生成した伝送データをアンテナ30に出力して、動画像受信装置210に送信させる(ステップS105)。
このような構成および処理によって、人工衛星ASが備える動画像送信装置110は、撮像装置10により撮像された動画像のフレームに写された被写体像の歪みを補正する。そして、動画像送信装置110は、被写体像の歪みを補正した補正フレームの画像データのデータ量を削減(圧縮)させて、地上局GS(より具体的には、動画像受信装置210)に送信する。
[動画像受信装置210の構成および動作]
以下、動画像受信装置210の構成について説明する。なお、動画像受信装置210が備える構成要素には、第1実施形態の動画像受信装置200が備える構成要素と同様の構成要素が含まれている。従って、以下の説明においては、動画像受信装置210の構成要素において、第1実施形態の動画像受信装置200の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。なお、動画像受信装置210が備える第1実施形態の動画像受信装置200の構成要素と同様の構成要素の動作は、例えば、「前フレーム」を「前補正フレーム」に置き換え、「現在フレーム」を「現在補正フレーム」に置き換えることによって容易に理解することができる。
図13は、第2実施形態に係る動画像伝送システム2が備える動画像受信装置210の構成の一例を示す図である。図13に示した動画像受信装置210は、例えば、通信部201と、画像生成部202と、画像保存部203と、歪み再現部211と、を備える。なお、図13にも、動画像受信装置210に関連する構成要素であるアンテナ40および表示装置50も併せて示している。
通信部201は、アンテナ40が受信した人工衛星ASにより送出された無線信号の電波が表す伝送データを取得し、取得した伝送データに含まれる現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とのそれぞれを、画像生成部202に出力する。
画像生成部202は、通信部201により出力された現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とに基づいて、人工衛星ASが搭載する撮像装置10が撮像した動画像の現在補正フレームを再現させた合成フレーム(以下、「合成補正フレーム」という)を生成する。画像生成部202は、生成した現在補正フレームに対応する合成補正フレームを、撮像装置10が撮像した動画像の次のフレームを再現させるために用いる前補正フレームを再現させた合成補正フレーム(以下、「既合成補正フレーム」という)として、画像保存部203に保存させる。また、画像生成部202は、生成した現在補正フレームに対応する合成補正フレームと、通信部201により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とのそれぞれを、歪み再現部211に出力する。
画像保存部203は、既合成補正フレームの画像データの保存(更新も含む)をする。
歪み再現部211は、画像生成部202により出力された合成補正フレームと、人工衛星ASの位置や撮像装置10の撮像方向の情報とに基づいて、合成補正フレームに写された被写体像に対して歪みを再現させる。つまり、歪み再現部211は、撮像装置10により撮像された現在フレームに写された被写体像に発生している歪みを再現させる。歪み再現部211が合成補正フレームに写された被写体像の歪みを再現させる方法は、動画像送信装置110が備える歪み補正部111がフレームに写された被写体像の歪みを補正する方法を逆に考えた方法である。このため、例えば、現在フレームに写された被写体像に発生している歪みを再現させるための歪み再現量は、上式(2)~上式(5)のそれぞれの式で表される歪み補正量と逆の演算を行う式で表すことができる。従って、歪み再現部211が合成補正フレームに写された被写体像の歪みを再現させる方法に関する詳細な説明は省略する。歪み再現部211は、被写体像の歪みを再現させた合成補正フレーム(以下、「合成再現フレーム」という)を、表示装置50に出力する。これにより、表示装置50は、画像生成部202により被写体像の歪みが再現された動画像における合成再現フレームを表示する。
なお、歪み再現部211は、例えば、HDD、フラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)(不図示)を備え、被写体像の歪みを再現させた合成再現フレームの画像データを順次、動画像を構成するそれぞれのフレームの画像データとして保存してもよい。この場合、不図示の記憶装置に保存された複数の合成再現フレームを表示装置50に出力することにより、撮像装置10により撮像された動画像を表示装置50に繰り返し表示させることができる。
以下、動画像受信装置210の動作について説明する。図14は、第2実施形態に係る動画像受信装置210における画像データの受信処理の流れの一例を示すフローチャートである。図14に示したフローチャートの処理も、第1実施形態の動画像受信装置200における画像データの受信処理の流れと同様に、人工衛星ASにより送信された、動画像を構成する1つの補正フレームに対応する伝送データを受信するごと(例えば、撮像装置10のフレームレートの時間間隔ごと)に繰り返し実行される。なお、図14に示したフローチャートでは、図8に示した第1実施形態の動画像受信装置200のフローチャートの処理と同様の処理には同じステップ番号を付与している。
なお、以下の説明においては、動画像受信装置210において、撮像装置10により時間的に前に撮像されたフレーム(前フレーム)を補正した前補正フレームに対応する伝送データはすでに受信済みの状態である、つまり、動画像受信装置210が備える画像保存部203に、前補正フレームに対応する既合成補正フレームの画像データが保存されている状態であるものとする。そして、図14に示したフローチャートの説明では、人工衛星ASにより送信された撮像装置10により以降に撮像されたフレームを補正した補正フレーム(現在補正フレーム)に対応する伝送データを受信して、現在補正フレームに対応する合成再現フレームを生成する場合の動作を説明する。
アンテナ40が人工衛星ASにより送信された伝送データの無線信号の電波を受信すると、通信部201は、アンテナ40が受信した無線信号の電波が表す伝送データを取得する(ステップS200)。そして、通信部201は、取得した伝送データに含まれる現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ASの位置および撮像装置10の撮像方向の情報とのそれぞれを、画像生成部202に出力する。
続いて、画像生成部202は、通信部201により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報に基づいて、画像保存部203に保存されている前補正フレームに対応する既合成補正フレームから、重複部分の画像データを抽出する(ステップS201)。
続いて、画像生成部202は、抽出した画像データと、通信部201により出力された現在補正フレームにおける非重複部分の画像データとを合わせて、現在補正フレームを再現させた合成補正フレームを生成する(ステップS202)。
続いて、画像生成部202は、生成した合成補正フレームに含まれる重複部分内の画像データに対して、通信部201により出力された現在補正フレームにおける重複部分内の画像データの差分(変化)を反映させて、最終的な合成補正フレームを生成する(ステップS203)。そして、画像生成部202は、生成した最終的な合成補正フレームと、通信部201により出力された人工衛星ASの位置や撮像装置10の撮像方向の情報とのそれぞれを、歪み再現部211に出力する。また、画像生成部202は、最終的な合成補正フレームの画像データを、既合成補正フレームとして、画像保存部203に保存させる。
続いて、歪み再現部211は、画像生成部202により出力された合成補正フレームと、人工衛星ASの位置や撮像装置10の撮像方向の情報とに基づいて、合成補正フレームに写された被写体像に対して歪みを再現させる(ステップS213)。
続いて、歪み再現部211は、被写体像の歪みを再現させた合成再現フレームを、表示装置50に出力する(ステップS204)。これにより、表示装置50は、画像生成部202により被写体像の歪みが再現された動画像における合成再現フレームを表示する。
このような構成および処理によって、地上局GSが備える動画像受信装置210は、人工衛星ASが備える動画像送信装置110によりデータ量が削減(圧縮)されて送信されてきた現在補正フレームの画像データから、撮像装置10により撮像された動画像の現在フレームを再現させた合成再現フレームの画像データを生成して、表示装置50に表示させる。
上述したように、第2実施形態の動画像伝送システム2では、動画像送信装置110が、撮像装置10により撮像された動画像を構成するそれぞれのフレームに写された被写体像の歪みを補正する。そして、第2実施形態の動画像伝送システム2でも、動画像送信装置110が、第1実施形態の動画像送信装置100と同様に、被写体像の歪みを補正した後の連続した2つの補正フレーム間で差分(変化)がある画像データを抽出することにより、動画像のそれぞれの補正フレームの画像データのデータ量を削減(圧縮)させる。そして、第2実施形態の動画像伝送システム2でも、動画像送信装置110が、第1実施形態の動画像受信装置200と同様に、データ量を削減(圧縮)させた動画像のそれぞれの補正フレームの画像データを含む伝送データを動画像受信装置210に送信して、写されている被写体像の歪みが補正された動画像のそれぞれの合成補正フレームを生成する。そして、第2実施形態の動画像伝送システム2では、動画像受信装置210が、生成した合成補正フレームに写された被写体像に対して、撮像装置10により撮像された動画像を構成するそれぞれのフレームに写された被写体像に発生している歪みを再現させる。
これにより、第2実施形態の動画像伝送システム2では、撮像装置10により撮像された動画像を構成するそれぞれのフレームに写された被写体像に歪みが発生している場合でも、第1実施形態の動画像伝送システム1と同様に、人工衛星ASが搭載する撮像装置10により撮像された動画像を伝送する際に要する通信の負荷を軽減することができる。そして、第2実施形態の動画像伝送システム2でも、第1実施形態の動画像伝送システム1と同様に、人工衛星ASが搭載する撮像装置10が高画素化された場合でも、動画像を伝送する際に要する通信の負荷が増大する割合を、高画素化によって動画像のそれぞれのフレームに含まれる画像データが増大する割合よりも低く抑えることができる。このことにより、第2実施形態の動画像伝送システム2でも、第1実施形態の動画像伝送システム1と同様に、人工衛星ASが搭載する撮像装置10の高画素化の実現を容易にすることができる。
上記に述べたとおり、各実施形態の動画像伝送システムによれば、人工衛星ASが備える撮像装置10により撮像された動画像における最初のフレームの画像データは処理をせずにそのまま伝送するものの、以降のフレームの画像データは、データ量を削減(圧縮)させて伝送する。これにより、各実施形態の動画像伝送システムでは、動画像送信装置と動画像受信装置との間で行う動画像の伝送における負荷を軽減し、人工衛星ASが搭載する撮像装置10の高画素化の実現を容易にすることができる。
なお、上述したそれぞれの実施形態では、各実施形態の動画像伝送システムを構成する動画像受信装置が、動画像送信装置によりデータ量が削減された状態で送信されてきた動画像の画像データから、人工衛星が搭載する撮像装置が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する構成を説明した。しかし、動画像受信装置は、撮像装置が撮像した動画像のそれぞれのフレームを再現させる以外にも、動画像における種々のフレームを生成する構成にすることもできる。
[動画像受信装置が生成するフレームの一例]
ここで、動画像受信装置が生成する動画像のフレームの一例についていくつか説明する。なお、第1実施形態の動画像伝送システム1を構成する動画像受信装置200と、第2実施形態の動画像伝送システム2を構成する動画像受信装置210とのいずれの動画像受信装置も同様に、動画像における種々のフレームを生成することができる。以下の説明においては、第1実施形態の動画像伝送システム1を構成する動画像受信装置200が、動画像のフレームを再現させた複数の合成フレームに基づいて、他のフレームを生成するものとして説明する。
図15は、動画像受信装置200において再現させたフレームに基づいて他のフレームを生成する動作の一例を模式的に示す図である。図15には、動画像受信装置200(より具体的には、画像生成部202)が再現させた連続する2つの合成フレームに基づいて、時間的に2つの合成フレームの中間に位置する新たなフレーム(以下、「中間フレーム」という)を生成する処理の一例を模式的に示している。
画像生成部202は、上述したように、動画像送信装置100によりデータ量が削減されて(圧縮されて)送信されたそれぞれのフレームの画像データから、人工衛星ASが搭載する撮像装置10が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する(図4参照)。図15には、動画像送信装置100により送信された伝送データD2(図15の左側の上段参照)を受信して、撮像装置10により撮像されたフレームF2(図15の左側の中段参照)再現した状態を示している。また、図15には、動画像送信装置100により送信された伝送データD3(図15の右側の上段参照)を受信して、フレームF2よりも時間的に後に撮像装置10により撮像されたフレームF3(図15の右側の中段参照)再現した状態を示している。画像生成部202は、上述したように、再現したフレームF2とフレームF3とのそれぞれの合成フレームの画像データを、画像保存部203に保存させる。
その後、画像生成部202は、画像保存部203に保存させたフレームF2とフレームF3とに基づいて、時間的にフレームF2とフレームF3との中間に位置する新たな中間フレーム(図15の中側の下段=中間フレームM2参照)を生成する。画像生成部202が生成する中間フレームM2は、フレームF2に写された被写体像が、人工衛星ASの移動に伴ってフレームF3に写されるまでに移動(変化)する中間的な位置に表されたフレームである。言い換えれば、中間フレームM2は、撮像装置10が動画像を撮像するフレームレートの時間間隔を狭くした(つまり、フレームレートを高くした)場合に撮像されるフレームに相当するフレームである。画像生成部202は、生成した中間フレームM2の画像データも、フレームF2やフレームF3と同様に、画像保存部203に保存させる。
なお、画像生成部202における中間フレームM2の生成方法としては、例えば、フレームF2に写された被写体像の位置とフレームF3に写された被写体像の位置とを合わせる位置合わせを行ってフレームF2とフレームF3とを合成したフレームを生成し、生成したフレームの中心の位置を基準としてフレームF2またはフレームF3と同じ画角を切り出す方法などが考えられる。しかし、画像生成部202における中間フレームM2の生成方法は、上述したような方法に限定されない。
このようにして、画像生成部202は、動画像送信装置100により送信された伝送データDを受信して再現した複数の合成フレームに基づいて、時間的に中間に位置する新たな中間フレームMを生成する。そして、画像生成部202は、例えば、画像保存部203に保存されたそれぞれの合成フレームの間に中間フレームを挟んで表示装置50に順次出力する。これにより、表示装置50は、撮像装置10が動画像を撮像するフレームレートよりも高いフレームレートの動画像、つまり、より滑らかな動画像を表示させることができる。
図16は、動画像受信装置200において再現させたフレームに基づいて他のフレームを生成する動作の別の一例を模式的に示す図である。図16には、動画像受信装置200(より具体的には、画像生成部202)が再現させた連続する2つの合成フレームに基づいて、連続する2つの合成フレームのうち時間的に後の合成フレームよりもさらに時間を進めた(時間的にさらに後に位置する)新たなフレームを予測して生成する処理の一例を模式的に示している。以下の説明においては、動画像受信装置200において予測して生成する、さらに時間を進めた新たなフレームを「予測フレーム」という。
この場合も、画像生成部202は、上述したように、動画像送信装置100によりデータ量が削減されて(圧縮されて)送信されたそれぞれのフレームの画像データから、人工衛星ASが搭載する撮像装置10が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する(図4参照)。図16には、動画像送信装置100により送信された伝送データD2(図16の左側の上段参照)を受信して、撮像装置10により撮像されたフレームF2(図16の左側の下段参照)再現した状態を示している。また、図16には、動画像送信装置100により送信された伝送データD3(図16の中側の上段参照)を受信して、フレームF2よりも時間的に後に撮像装置10により撮像されたフレームF3(図16の中側の下段参照)再現した状態を示している。画像生成部202は、上述したように、再現したフレームF2とフレームF3とのそれぞれの合成フレームの画像データを、画像保存部203に保存させる。
その後、画像生成部202は、画像保存部203に保存させたフレームF2とフレームF3とに基づいて、フレームF3からさらに時間を進めたときに撮像装置10により撮像されることが予測される予測フレーム(図16の右側の下段=予測フレームP3参照)を生成する。画像生成部202が生成する予測フレームP3は、フレームF3に写された被写体像が、人工衛星ASが移動したことにより撮像装置10が次に撮像する位置まで移動(変化)したことが表されたフレームである。つまり、予測フレームP3は、撮像装置10が動画像を撮像する次のフレーム(例えば、フレームF4)に相当するフレームである。なお、予測フレームP3は、フレームF3に写された被写体像が、フレームF3とフレームF4との中間的な位置に表されたフレームであってもよい。画像生成部202は、生成した予測フレームP3の画像データも、フレームF2やフレームF3と同様に、画像保存部203に保存させる。
なお、画像生成部202における予測フレームP3の生成方法としては、例えば、フレームF3に写された被写体像を、フレームF2に写された被写体像の位置とフレームF3に写された被写体像の位置との差分、つまり、人工衛星ASが移動した移動量の分だけ全体的にずらす方法などが考えられる。この方法の場合、予測フレームP3には、フレームF3に写された被写体像を移動させたことにより、フレームF3と予測フレームP3とにおける非重複部分の画像データがなくなることになる。つまり、予測フレームP3の画像データには、人工衛星ASの移動量に対応した範囲の画像データが含まれていないことになる。これは、現時点では、予測フレームP3におけるフレームF3との非重複部分の画像データが、例えば、フレームF4に対応する画像データが含まれる伝送データD4として動画像送信装置100により送信されてきていないからである。このため、画像生成部202は、例えば、画像保存部203に保存している以前に再現したフレームF4など、予測フレームP3に写されるべき被写体像が写されているフレームFから抽出した画像データを、フレームF3と予測フレームP3とにおける非重複部分の画像データとして合わせて(合成して)予測フレームP3を生成してもよい。しかし、画像生成部202における予測フレームP3の生成方法は、上述したような方法に限定されない。
このようにして、画像生成部202は、動画像送信装置100により送信された伝送データDを受信して再現した複数の合成フレームに基づいて、時間的に後の合成フレームよりもさらに時間を進めた新たな予測フレームPを生成する。これにより、画像生成部202は、生成した予測フレームPに基づいて、予測フレームPに対応するフレームFの画像データが含まれる伝送データDを実際に受信するまでの間に、受信した伝送データDに対応する合成フレームの生成に必要な画像データを事前に準備しておくことができる。言い換えれば、画像生成部202は、それぞれのフレームFの伝送データDが動画像送信装置100により送信されてくるごとに、人工衛星ASが搭載する撮像装置10が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する処理を最初から始める必要がなくなる。これにより、画像生成部202では、伝送データDを受信した後に、それぞれのフレームを再現させた合成フレームを生成するために要する処理時間の短縮を図り、動画像受信装置200の処理速度の向上(高速化)を図ることができる。
なお、上述したそれぞれの実施形態では、動画像伝送システムを構成する動画像送信装置および動画像受信装置が備えるそれぞれの構成要素が、処理対象のフレームの画像データを、人工衛星の位置や撮像装置の撮像方向の情報とともに、次に処理を行う構成要素に順次引き渡す構成を説明した。しかし、処理対象のフレームの画像データや、人工衛星の位置や撮像装置の撮像方向の情報は、それぞれの実施形態のように順次引き渡す構成に限定されない。例えば、動画像送信装置や動画像受信装置の中に、それぞれの処理段階の様々なデータを記憶する共有の記憶装置を備え、それぞれの構成要素が、共有の記憶装置から処理対象のデータを読み出して処理を行い、処理を行った後のデータを再び共有の記憶装置に書き込んで記憶させることにより、次に処理を行う構成要素に処理対象のデータを順次引き渡す構成であってもよい。この場合、それぞれの構成要素における共有の記憶装置からのデータの読み出しと、共有の記憶装置へのデータの書き込みは、例えば、共有の記憶装置が接続されている共通のデータバスを経由したDMA(Direct Memory Access)によって行ってもよい。
また、上述したそれぞれの実施形態では、人工衛星ASが備える撮像装置10が、二次元の行列状に画素が配置されている固体撮像素子を利用したデジタルカメラである場合について説明した。つまり、撮像装置10が撮像する動画像を構成するそれぞれのフレームが、二次元画像である場合について説明した。そして、上述したそれぞれの実施形態では、撮像装置10が取り付けられた可変機構が、人工衛星ASの任意の箇所に取り付けられているが、撮像装置10の撮像方向は一定の方向であるものとした場合について説明した。しかし、人工衛星ASでは、可変機構により撮像装置10の向きが変えられる、つまり、撮像装置10の撮像方向が変えられることも考えられる。例えば、可変機構によって撮像装置10の向きを360°回転させることにより、撮像装置10が撮像した複数のフレームを組み合わせて全方位の撮像をすることが考えられる。この場合、撮像装置10により撮像された動画像を構成する連続した2つのフレームには、撮像する方向が異なることにより、異なる被写体が写されることになる。なお、人工衛星ASにおいて撮像装置10が任意の箇所に固定して取り付けられている場合でも、人工衛星ASの姿勢が変更された場合には同様に、異なる被写体が写されることになる。このような場合、動画像送信装置100および動画像送信装置110が備える位置合わせ部103や差分識別部104における処理は、撮像装置10が同じ方向を撮像した2つのフレーム間で行うことになる。しかし、このような場合におけるそれぞれの構成要素の処理は、上述したそれぞれの実施形態の説明から容易に理解することができる。従って、撮像装置10により撮像された動画像を構成する連続した2つのフレームの撮像する方向が異なる場合におけるそれぞれの構成要素の処理に関する詳細な説明は省略する。
なお、全方位の撮像をする場合、上述したように、可変機構によって撮像装置10の向きを360°回転させる構成以外にも、例えば、撮像装置自体が全方位(全天球)カメラであることも考えられる。この場合は1フレームで全方位が撮像されるため、上述したそれぞれの実施形態と同様の処理である。
なお、上述したそれぞれの実施形態では、移動体が地球の地表上空の所定の周回軌道上を周回しながら移動する人工衛星であるものとした場合について説明した。しかし、上述したように、移動体は、弾道飛行を行うロケットであってもよい。このロケットが多段式のロケットである場合、例えば、衛星搭載部など、人工衛星ASが搭載された状態でロケットの上段部(最上段部)に結合されて打ち上げられ、人工衛星ASを所定の周回軌道上に送出する機構も、地球の地表上空を周回すること(人工衛星ASより短い時間である場合も含む)も考えられる。そして、このような衛星搭載部を、上述した人工衛星ASと同様に動画像伝送システムの構成要素として機能させる、つまり、撮像装置10や、センサ20、動画像送信装置100、アンテナ30などを備える構成にすることも考えられる。また、多段式のロケットにおいて上述した上段部(最上段部)以外の機構は弾道飛行となるため、人工衛星ASよりも遥かに短い時間とはなるが、同様に動画像伝送システムの構成要素として機能させることも考えられる。これらの場合においても、それぞれの構成要素の処理は、上述したそれぞれの実施形態と同様の処理である。
なお、本発明における動画像伝送システムの構成要素である、動画像送信装置または動画像受信装置が備えるそれぞれの構成要素による機能や処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、動画像伝送システムにおける上述した種々の機能や処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能な不揮発性メモリ、CD-ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。