JP7497727B2 - 衛星システムの撮像方法、および、送信装置 - Google Patents

衛星システムの撮像方法、および、送信装置 Download PDF

Info

Publication number
JP7497727B2
JP7497727B2 JP2021525990A JP2021525990A JP7497727B2 JP 7497727 B2 JP7497727 B2 JP 7497727B2 JP 2021525990 A JP2021525990 A JP 2021525990A JP 2021525990 A JP2021525990 A JP 2021525990A JP 7497727 B2 JP7497727 B2 JP 7497727B2
Authority
JP
Japan
Prior art keywords
satellite
imaging
image
instruction
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525990A
Other languages
English (en)
Other versions
JPWO2020250707A1 (ja
Inventor
一郎 石亀
至 清水
怜 江澤
哲 小川
直美 倉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020250707A1 publication Critical patent/JPWO2020250707A1/ja
Application granted granted Critical
Publication of JP7497727B2 publication Critical patent/JP7497727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1085Swarms and constellations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021Earth observation satellites
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66Arrangements or adaptations of apparatus or instruments, not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G3/00Observing or tracking cosmonautic vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021Earth observation satellites
    • B64G1/1028Earth observation satellites using optical means for mapping, surveying or detection, e.g. of intelligence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/24Guiding or controlling apparatus, e.g. for attitude control
    • B64G1/242Orbits and trajectories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/24Guiding or controlling apparatus, e.g. for attitude control
    • B64G1/244Spacecraft control systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本技術は、衛星システムの撮像方法、および、送信装置に関し、特に、人工衛星によるリモートセンシングにおいて、地上で発生したイベントに応じて人工衛星が撮像できるようにした衛星システムの撮像方法、および、送信装置に関する。
人工衛星が撮像した地球上の所定地域の画像から、対象地域や対象物の状況を観測したり、状況変化を検出する衛星リモートセンシングと呼ばれる技術がある(例えば、特許文献1,2参照)。
国際公開第2010/097921号 特開2004-15451号公報
しかしながら、人工衛星によるリモートセンシングでは、現在、地上で発生したイベントに応じて人工衛星が撮像することは難しい場合がある。
本技術は、このような状況に鑑みてなされたものであり、人工衛星によるリモートセンシングにおいて、地上で発生したイベントに応じて人工衛星が撮像できるようにするものである。
本技術の第1の側面の衛星システムの撮像方法は、地球上に設置された送信装置と、人工衛星とを含む衛星システムの前記送信装置が、地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する前記人工衛星に対して撮像指示を送信し、前記人工衛星自身による撮像が可能である場合、前記撮像指示に基づいて、前記イベントの発生領域を撮像し、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を実行させる送信を行う
本技術の第1の側面においては、地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する人工衛星に対して撮像指示が送信装置から送信され、前記人工衛星で、自身による撮像が可能である場合、前記撮像指示に基づいて、前記イベントの発生領域が撮像され、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を実行させる送信が行われる
本技術の第2の側面の送信装置は、撮像指示を受信し、自身による撮像が可能である場合、自身による撮像を行い、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を実行させる送信を行う人工衛星と通信を行う送信装置であって、地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する前記人工衛星に対して前記撮像指示を送信する送信部を備える。
本技術の第2の側面においては、撮像指示を受信し、自身による撮像が可能である場合、自身による撮像を行い、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を実行させる送信を行う人工衛星と通信を行う送信装置において、地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する前記人工衛星に対して前記撮像指示が送信される。
送信装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
本技術を適用した衛星画像処理システムの第1実施の形態の構成例を示すブロック図である。 フォーメーションフライトを説明する図である。 フォーメーションフライトを説明する図である。 衛星の構成例を示すブロック図である。 衛星群管理装置、通信装置、および、画像解析サーバの構成例を示すブロック図である。 一つの衛星に着目した撮像シーケンスを説明するフローチャートである。 図6のステップS33の撮像準備処理の詳細なフローチャートである。 バッテリ残量の判定を説明する図である。 フォーメーションフライトを行う衛星画像処理システムのフローチャートである。 メタデータとして付される情報を説明する図である。 本技術を適用した衛星画像処理システムの第2実施の形態の構成例を示す図である。 第2実施の形態における送信装置の構成例を示すブロック図である。 第2実施の形態の衛星画像処理システムによる第1のイベント撮像シーケンスを説明するフローチャートである。 第2実施の形態の衛星画像処理システムによる第2のイベント撮像シーケンスを説明するフローチャートである。 第2実施の形態の衛星画像処理システムによる第3のイベント撮像シーケンスを説明するフローチャートである。 第2実施の形態における送信装置のその他の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.衛星画像処理システムの構成例
2.単機の撮像シーケンス
3.撮像準備処理
4.フォーメーションフライトのフローチャート
5.画像処理の例
6.メタデータの詳細
7.流通管理処理の詳細
8.フォーメーションフライトの応用例
9.衛星画像処理システムの第2実施の形態
10.第2実施の形態の第1のイベント撮像シーケンス
11.第2実施の形態の第2のイベント撮像シーケンス
12.第2実施の形態の第3のイベント撮像シーケンス
13.送信装置の他の構成例
14.イベント検出センサを用いた衛星画像処理システムの適用例
15.コンピュータ構成例
<1.衛星画像処理システムの構成例>
図1は、本技術を適用した衛星画像処理システムの第1実施の形態の構成例を示すブロック図である。
図1の衛星画像処理システム1は、複数の人工衛星(以下、単に衛星という。)によって撮像された撮像画像を用いて、地球上における対象地域または対象物の状況を観測したり、状況変化を検出する衛星リモートセンシングを行うシステムである。本実施の形態において、衛星は撮像装置を搭載し、地上を撮像する機能を少なくとも有する。
衛星運用会社は、複数の衛星21を管理する衛星群管理装置11と、衛星21と通信を行う複数の通信装置13とを有している。なお、衛星群管理装置11および複数の通信装置13の一部は、衛星運用会社以外が所有する装置であってもよい。衛星群管理装置11と複数の通信装置13とは、所定のネットワーク12を介して接続されている。通信装置13は、地上局(地上の基地局)15に配置されている。なお、図1では、通信装置13の個数が、通信装置13A乃至13Cの3個である例が示されているが、通信装置13の個数は任意である。
衛星群管理装置11は、衛星運用会社が所有する複数の衛星21を管理する。具体的には、衛星群管理装置11は、外部機関の1以上の情報提供サーバ41から関連情報を必要に応じて取得し、自身が所有する複数の衛星21の運用計画を決定する。そして、衛星群管理装置11は、顧客の要望に応じて、通信装置13を介して所定の衛星21に撮像指示を行うことにより、所定の衛星21に撮像を行わせる。また、衛星群管理装置11は、通信装置13を介して衛星21から送信されてきた撮像画像を取得し、記憶する。取得された撮像画像は、必要に応じて所定の画像処理を行い、顧客へ提供(送信)される。あるいはまた、取得された撮像画像は、画像解析会社の画像解析サーバ42へ提供(送信)され、所定の画像処理を行った上で、顧客へ提供される。
外部機関に設置された情報提供サーバ41は、衛星群管理装置11からの要求に応じて、あるいは、定期的に、所定の関連情報を、所定のネットワークを介して、衛星群管理装置11へ供給する。情報提供サーバ41から提供される関連情報には、例えば、次のようなものがある。例えば、外部機関としてのNORAD(北アメリカ航空宇宙防衛司令部)から、TLE(Two Line Elements)フォーマットで記述された衛星の軌道情報を関連情報として取得することができる。また例えば、外部機関としての気象情報提供会社から、地球上の所定の地点の天気、雲量などの気象情報を取得することができる。
画像解析サーバ42は、所定のネットワークを介して衛星群管理装置11から供給される、衛星21による撮像画像に対して所定の画像処理を行う。処理後の画像は、画像解析会社の顧客へ提供されたり、衛星運用会社の衛星群管理装置11へ供給される。例えば、画像解析サーバ42は、衛星21による撮像画像に所定のメタデータを付加するメタデータ生成処理、撮像画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。撮像画像の画像処理は、衛星運用会社が行う場合もあり、この場合、衛星運用会社と画像解析会社は同一である。また、衛星群管理装置11と画像解析サーバ42が1つの装置で実現されてもよい。
通信装置13は、衛星群管理装置11の制御に従い、衛星群管理装置11によって指定された所定の衛星21と、アンテナ14を介して通信を行う。例えば、通信装置13は、所定の時刻および位置において、地上の所定の領域を撮像する撮像指示を所定の衛星21へ送信する。また、通信装置13は、衛星21から送信されてくる撮像画像を受信し、ネットワーク12を介して衛星群管理装置11へ供給する。地上局15の通信装置13から衛星21への送信をアップリンク、衛星21から通信装置13への送信をダウンリンクとも称する。通信装置13は、衛星21と直接通信を行うことができる他、中継衛星22を介して通信を行うこともできる。中継衛星22としては、例えば、静止衛星が用いられる。
ネットワーク12や、情報提供サーバ41または画像解析サーバ42と衛星群管理装置11との間のネットワークは、任意の通信網であり、有線の通信網であってもよいし、無線の通信網であってもよいし、それらの両方により構成されてもよい。また、ネットワーク12と、情報提供サーバ41または画像解析サーバ42と衛星群管理装置11との間のネットワークが、1の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。これらのネットワークは、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網または通信路とすることができる。
各衛星21は、複数個で衛星群31を構成する。図1では、衛星21Aと衛星21Bとが第1の衛星群31Aを構成し、衛星21Cと衛星21Dとが第2の衛星群31Bを構成している。なお、図1の例では、簡単のため、2機の衛星21により1つの衛星群31が構成される例を示しているが、1つの衛星群31を構成する衛星21の個数は2つに限られない。
通信装置13が、衛星群31を構成する各衛星21と通信を行う場合、図1の第1の衛星群31Aのように、各衛星21と個別に通信を行う方法と、第2の衛星群31Bのように、衛星群31を代表する1つの衛星21C(以下、代表衛星21Cともいう。)のみが通信装置13と通信を行い、その他の衛星21Dは、代表衛星21Cとの衛星間通信によって、間接的に通信装置13と通信を行う方法とがある。どちらの方法で地上局15(の通信装置13)と通信を行うかは、衛星群31によって予め決められてもよいし、通信の内容に応じて適宜選択してもよい。
以上のように構成される衛星画像処理システム1において、1つの衛星群31を構成する複数の衛星21は、フォーメーションフライトと呼ばれる運用方法によって運行されてもよい。
フォーメーションフライトとは、図2に示されるように、1つの衛星群31を構成する複数の衛星21が、数百m乃至数km程度の狭い範囲で相対的な位置関係を維持しながら飛行し、複数の衛星21が協調して動作する運用方法であり、単一衛星では実現できないサービスを提供することができる。図2では、3機の衛星21X乃至21Zが1つの衛星群31を構成し、衛星21X乃至21Zそれぞれが、地上局15と通信している。アップリンクでは、衛星群31を識別する識別子である群ID(衛星群ID)と、衛星群31を構成する各衛星21を識別する識別子である個別ID(衛星ID)とを指定することで、所望の衛星21へコマンドまたはデータが送信される。
フォーメーションフライトでは、機能を単一衛星でなく、複数の衛星21に分担できるため、各衛星21を小型化することができる利点がある。例えば、撮像機能では、各衛星21に搭載される撮像装置の性能(例えば、解像度)を低くしても、複数の衛星21で撮像された撮像画像の画像合成等により高解像度を実現することができる。
例えば、図3のAに示されるように、2つの衛星21Eおよび21Fが、一つの領域52を異なる撮像地点(衛星位置)から同時に撮像(同時撮影)することができる。異なる撮像地点からの同一地表面の撮像結果は、3次元計測に必要な高さを示す数値標高モデル (Digital Elevation Model, DEM)の生成に用いることができる。また、2つの衛星21Eおよび21Fの撮像画像から視差画像が得られ、3次元計測を行うことができる。
また、図3のBに示されるように、複数の衛星21Eおよび21Fが、同一の撮像地点および撮像角度で、一つの領域52を時間差で撮像(差分撮影)することができる。例えば、衛星21が秒速7kmで移動し、隊列飛行している衛星21間の距離が100mである場合、1.4×10-2秒ごとの撮像が可能となる。このように、フォーメーションフライトでは、短い時間間隔で撮像することができるため、例えば、道路上の乗用車や海上のブイなど、地球上の物体の変化(変位)の抽出や、移動体の速度の計測などが可能である。
複数の衛星21を運用するシステムとしてはコンステレーションがあるが、コンステレーションは、「多数の衛星を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開するシステム」であり、フォーメーションフライトとは異なる概念である。
図4は、衛星21の構成例を示すブロック図である。
衛星21は、管理部101、バス102、撮像制御部103、熱制御部104、姿勢制御系制御部105、軌道制御系制御部106、推進系制御部107、センサ制御部108、電源制御部109、および、通信制御部110を有する。また、衛星21は、撮像装置111、冷却装置112、姿勢制御装置113、推進装置114、センサ群115、バッテリ116、太陽電池パネル117、および、通信装置118も有する。管理部101と、各装置の制御部である撮像制御部103、熱制御部104、姿勢制御系制御部105、軌道制御系制御部106、推進系制御部107、センサ制御部108、電源制御部109、および、通信制御部110とが、バス102を介して接続されている。
管理部101は、バス102を介して、各装置の制御部から各装置の状態を取得し、また各装置の制御部に動作指令を出力することで、衛星21全体の動作を制御する。
撮像制御部103は、管理部101からの動作指令に従い、撮像装置111の動作を制御する。撮像装置111は、例えば、イメージセンサを含むカメラモジュールで構成され、対象物の撮像を行う。衛星21が合成開口レーダー(SAR)衛星の場合には、撮像装置111はレーダー装置で構成される。
熱制御部104は、センサ群115に含まれる温度センサのセンサ値を取得して、衛星21内の温度変化を監視し、衛星21全体が規定の温度範囲内となるように制御する。基本的には、構造や材料の特性により温度変化が制御されるが、必要に応じて冷却装置112を用いた動的な冷却を行う場合もある。冷却装置112は、例えば、液体ヘリウム等の寒剤を用いた冷却を行う。
姿勢制御系制御部105は、管理部101からの動作指令に従い、姿勢制御装置113を制御することにより、衛星21を目的の方向へ向ける制御を行う。例えば、姿勢制御系制御部105は、アンテナ14を地上局15の方向へ向けたり、太陽電池パネル117を太陽方向へ向けたり、撮像装置111等の観測センサを観測対象方向へ向ける制御を行う。姿勢制御装置113は、例えば、3軸ジャイロ、コントロール・モーメント・ジャイロ等のホイール、磁気トルカ等で構成される。姿勢制御系制御部105は、姿勢制御装置113だけでなく、推進装置114も、姿勢制御用途に用いる場合もある。姿勢制御系制御部105は、姿勢制御を行うにあたり、必要に応じて、センサ群115の各種のセンサのセンサ値を取得する。姿勢制御用途に用いられるセンサとしては、例えば、太陽センサ、地球センサ、スターセンサ、磁気センサ、ジャイロなどが挙げられる。
軌道制御系制御部106は、軌道高度の維持、および、軌道の変更に関する制御を行う。軌道制御系制御部106は、推進系制御部107および推進装置114と連携して制御を行う。
推進系制御部107は、管理部101からの動作指令に従い、推進装置114を制御する。推進装置114は、例えば、固体モータ、イオンエンジン、アポジエンジンなどで構成される。推進系制御部107は、必要に応じて、センサ群115の各種のセンサのセンサ値を取得したり、姿勢制御装置113と連携して、推進装置114を動作させることで、衛星21の姿勢制御および姿勢制御を行う。衛星21が小型衛星である場合、化学推進スラスタなどは姿勢制御目的では搭載されない場合がある。
センサ制御部108は、センサ群115に含まれる各種のセンサを制御し、センサ値を管理部101に供給したり、他の制御部へ供給する。各種のセンサは、衛星21内の状態をモニタリングするためのセンサであり、例えば、GPS受信機、スタートラッカ(姿勢センサ)、加速度センサ、ジャイロセンサ、磁気センサ、温度センサ、太陽センサ、地球センサ、スターセンサなどで構成される。
電源制御部109は、バッテリ116および太陽電池パネル117を制御する。電源制御部109の制御により、太陽電池パネル117で生成された電力がバッテリ116に蓄電される。バッテリ116の電力は、衛星21内の各装置に直接配電される場合もあれば、バス102を介して配電される場合もある。
通信制御部110は、管理部101からの動作指令に従い、通信装置118を制御する。通信装置118は、アンテナを有し、通信制御部110の制御にしたがい、地上局15の通信装置13と通信する。また、通信装置118は、同じ衛星群31を構成する他の衛星21や中継衛星22とも通信を行うことができる。また、通信制御部110および通信装置118は、小データ量であるコマンドおよびテレメトリの送受信と、大データ量であるミッション系データ(撮像データ等)とで系統を分けた構成とする場合もある。
撮像制御部103乃至通信制御部110の各制御部は、さらに2以上に分割されたり、任意の2つ以上が統合されたり、管理部101と統合されてもよい。CPU(Central Processing Unit),メモリ等の計算資源は、基本的に管理部101に搭載されるが、各制御部にも搭載されてもよい。各制御部は、共通のハードウエアモジュール内に実装されてもよい。
各衛星21の撮像装置111は、一つの衛星群31を構成する複数の衛星21どうしで同一の性能としてもよいし、異なる性能で構成してもよい。
例えば、各衛星21に搭載される撮像装置111として同じ型番の撮像装置111を採用し、衛星21どうしで同一性能とした場合、次のような利点がある。例えば、同一性能の画像を短い時間差で取得でき、差分を容易に検出することができる。また、分担して撮像した画像の合成などにより、高精度(高解像)な画像を生成することができる。また、冗長性を持たせることができるので、1機に不具合が生じても許容できる。
一方、各衛星21に搭載される撮像装置111として異なる性能とした場合には、例えば、高感度モノクロ撮像と、低感度カラー撮像とに分担するなど、異なる役割の撮像を行わせることができる。なお、異なる性能とは、搭載されるハードウエア構成が異なる場合は勿論、搭載されるハードウエア構成は同じだが、異なる制御を行うことで性能を異ならせる場合も含む。例えば、同一型番のイメージセンサに対して、一方の衛星21では、シャッタスピードを上げて高感度低解像度画像を取得し、他方の衛星21では、反対に、低感度高解像度画像を取得する例が想定される。
複数の衛星21の撮像装置111で性能を異ならせる場合の分担例としては、例えば、感度/シャッタスピード、解像度、モノクロ/カラー/偏光、バンド(波長域)のいずれか、または、その組み合わせをそれぞれ異ならせる制御が有り得る。また、複数の衛星21どうしで、バッテリ性能や通信性能を異ならせてもよい。
図5は、衛星群管理装置11、通信装置13、および、画像解析サーバ42の構成例を示すブロック図である。
衛星群管理装置11は、制御部211、通信部212、操作部213、および、表示部214を備える。
制御部211は、図示せぬ記憶部に記憶された衛星管理アプリケーションプログラムを実行することにより、衛星運用会社が所有する複数の衛星21を管理する。例えば、制御部211は、情報提供サーバ41から取得した関連情報を必要に応じて用いて、複数の衛星21の運用計画を決定し、通信装置13を介して、各衛星21へ、姿勢の制御や撮像の指示を行う。また、制御部211は、通信装置13を介して衛星21から送信されてきた撮像画像のメタデータを生成し、撮像画像に付加する処理などを行う。
通信部212は、制御部211の指示に従い、通信装置13とネットワーク12を介して所定の通信を行うとともに、画像解析サーバ42とも所定の通信を行う。
操作部213は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ(オペレータ)の操作に基づくコマンドやデータの入力を受け付け、制御部211へ供給する。
表示部214は、例えば、LCD(Liquid Crystal Display)や有機EL (Electro Luminescence)ディスプレイで構成され、衛星管理アプリケーションプログラムの画面を表示したり、衛星21が撮像した撮像画像、撮像画像に対して所定の画像処理を施した処理画像などを表示する。
通信装置13は、衛星通信部221、制御部222、および、通信部223を備える。
衛星通信部221は、制御部222の制御に基づいて、アンテナ14を介して、ターゲットとなる衛星群31の各衛星21と通信を行う。
制御部222は、衛星群管理装置11からの制御に従い、衛星通信部221に衛星21との通信を行わせる。また、制御部222は、衛星21から取得した撮像画像等のデータを、通信部223を介して衛星群管理装置11に送信する。
通信部223は、制御部222の制御に基づいて、衛星群管理装置11との間で所定の通信を行う。
画像解析サーバ42は、制御部231、通信部232、操作部233、および、表示部234を備える。
制御部231は、図示せぬ記憶部に記憶された画像解析アプリケーションプログラムを実行することにより、衛星群管理装置11から供給された撮像画像に対する所定の画像処理、例えば、撮像画像に所定のメタデータを付加するメタデータ生成処理、撮像画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。
通信部232は、制御部231からの制御に従い、衛星群管理装置11または他の装置との間で所定の通信を行う。例えば、通信部232は、衛星21が撮像した撮像画像を衛星群管理装置11から受信して制御部231に供給したり、画像処理後の処理画像を、衛星群管理装置11に送信する。
操作部233は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ(オペレータ)の操作に基づくコマンドやデータの入力を受け付け、制御部231へ供給する。
表示部214は、例えば、LCDや有機ELディスプレイで構成され、画像解析アプリケーションプログラムの画面を表示したり、画像処理前または画像処理後の画像などを表示する。
衛星画像処理システム1を構成する衛星21、および、その他の装置は、以上のように構成される。
なお、衛星群管理装置11は、通信を行う衛星21の軌道に応じて、複数の通信装置13のなかから最適な通信装置13を選択し、選択した通信装置13に、撮像指示等の所定のコマンドを送信させたり、通信装置13を介して、撮像画像等のデータを受信する。衛星群管理装置11は、ターゲットとなる衛星21に応じて任意に選択された通信装置13と一体で所定の通信を行うため、以下の説明では、衛星群管理装置11と通信装置13とを合わせて管理システムと称して説明する。
<2.単機の撮像シーケンス>
次に、図6のフローチャートを参照して、フォーメーションフライトを行う衛星群31の所定の一つの衛星21に着目した撮像シーケンスについて説明する。
初めに、ステップS11において、管理システムは、顧客の要望に基づいて、衛星21による撮像要件を決定する。
具体的には、管理システムは、撮像要件として、撮像日時、撮像地点、撮像のための環境条件、カメラ設定値などを決定する。撮像のための環境条件は、例えば、撮像日時の雲量等の天候条件などを含み、カメラ設定値は、例えば、解像度(分解能)、ズーム、シャッタスピード、感度、絞り、などを含む。
ステップS12において、管理システムは、撮像要件に合致する衛星21と地上局15(の通信装置13)を決定する。
具体的には、管理システムは、決定した撮像要件に合致する衛星21を選定する。例えば、決定した撮像日時に撮像対象位置の上空を通過するか、撮影対象位置が衛星21の観測幅の範囲内であるか、衛星21が搭載している撮像装置111が、分解能や決定されたカメラ設定値の要求を満たすか、などを判定して、衛星21が決定される。そして、選定された衛星21と通信を行うために適した地上局15が決定される。
また、管理システムは、撮像日時における衛星21のバッテリの予想残量と撮像の電力消費量等を鑑みて、衛星21の選定を行うことができる。例えば、選定された衛星21が、撮像日時の直前に他の撮像を行うことが計画されている場合には、その撮像や、撮像に伴う姿勢制御、データ通信、熱制御等により電力が消費され、次の撮像を行うことができない場合も想定されるため、バッテリの予想残量と撮像の電力消費量に応じて衛星21の優先度を設定し、衛星21が選定される。
ステップS13において、管理システムは、選定した地上局15のアンテナ14を、想定軌道に対して指向させる。衛星群管理装置11が、選定した衛星21の軌道情報を通信装置13に送信し、通信装置13がアンテナ14を想定軌道に対して指向させる。
ステップS14において、管理システムは、選定した衛星21へ撮像指示を送信(アップリンク)する。すなわち、衛星群管理装置11が、選定した地上局15の通信装置13に撮像指示を送信するコマンドを送信し、コマンドを受信した通信装置13が、撮像指示を、選定した衛星21へアンテナ14を介して送信する。撮像指示には、撮像日時、撮像地点、カメラ設定値などが含まれる。
ステップS31において、衛星21は、地上局15からの撮像指示を受信し、ステップS32において、受信完了を地上局15へ送信する。
ステップS15において、管理システムは、衛星21からの受信完了を受信し、撮像指示の送信を停止する。地上局15からの撮像指示の送信は、衛星21から受信完了の応答があるまで繰り返し実行される。
衛星21は、ステップS33において、受信した撮像指示に基づく撮像準備処理を行う。例えば、衛星21は、必要に応じて撮像装置111が撮像対象位置に向くように、衛星21の姿勢または撮像装置111の向きを制御する(ポインティング)。また例えば、撮像制御部103は、イメージセンサのズーム、シャッタスピード、感度、絞り、などを設定する。さらに、電源制御部109は、撮像日時に十分な電力を得られるように事前に充電を行う。
撮像指示で指定された撮像日時となると、衛星21は、ステップS34において、撮像対象位置の撮像を行う。
ステップS35において、衛星21は、撮像の結果得られた撮像画像に関連付けられる情報であるメタデータを生成し、撮像画像に付加する。メタデータの詳細は、後述するが、例えば、衛星群31を識別する群ID、各衛星21を識別する個別ID、撮像対象位置(被写体の位置)、撮像時刻、などの情報をメタデータとして生成することができる。
ステップS36において、衛星21は、メタデータを付加した撮像画像を地上局15に送信(ダウンリンク)する。ダウンリンクは、撮像画像とメタデータが生成されてすぐに行ってもよいし、所定の地上局15の所定の範囲内に到達した時点で行ってもよい。また、中継衛星22を介して、撮像画像を送信してもよい。
管理システムは、ステップS16において、衛星21からの撮像画像を受信する。具体的には、通信装置13がアンテナ14を介して撮像画像を受信し、衛星群管理装置11に供給する。
ステップS17において、衛星群管理装置11は、撮像画像のメタデータを解析する。このとき、衛星群管理装置11は、解析結果に基づき新たにメタデータを生成し、これを追加してもよい。例えば、衛星群管理装置11は、撮像画像の群IDおよび個別IDと、その衛星21の軌道情報に基づいて、撮像時の衛星位置を算出し、メタデータとして追加する。
ステップS18において、衛星群管理装置11は、衛星21で撮像された撮像画像に対して、所定の画像処理を行う。衛星群管理装置11は、例えば、歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。画像処理の詳細については後述する。
ステップS19において、衛星群管理装置11は、撮像画像と処理画像の流通管理処理を実行し、所定の記憶部に記憶させる。流通管理処理の詳細についても後述する。
以上で、一つの衛星21が撮像を行う一連のシーケンスが終了する。なお、画像解析サーバ42による画像処理は、必要に応じて適宜行うことができ、衛星群管理装置11の画像処理と分担して、あるいは、衛星群管理装置11が行う代わりに、行わせることができる。流通管理処理についても、画像解析サーバ42が行うようにしてもよい。
なお、上述した例では、撮像画像にメタデータを付加して送信することとしたが、メタデータは、撮像画像とは別のストリームとして送信するようにしてもよい。このとき、メタデータのみを撮像画像に先行して送信してもよい。
<3.撮像準備処理>
ところで、特に小型の衛星21においてはリソースが限られるため、特にバッテリ残量に留意する必要がり、これに応じた撮像制御が重要となる。
図7は、図6のステップS33の撮像準備処理の詳細なフローチャートである。ここで、ステップS33の前のステップS31で受信した撮像指示では、撮像時刻t1における撮像が指示されたものとする。
撮像準備処理では、初めに、ステップS51において、衛星21の管理部101は、撮像時刻t1におけるバッテリ残量を推定する。具体的には、管理部101は、現時点のバッテリ残量に対して、撮像時刻t1までに太陽光発電により蓄積される充電量(の推定値)から、撮像時刻t1におけるバッテリ残量を推定する。
ステップS52において、管理部101は、推定したバッテリ残量に基づいて、十分なバッテリ残量があるかを判定する。
具体的には、管理部101は、撮像に関わる電力消費要素と、撮像以外の電力消費要素とから、推定したバッテリ残量が十分なバッテリ残量であるかを判定する。撮像に関わる電力消費要素には、撮像装置111の撮像処理、衛星21の姿勢制御(ポインティング)、及び、これらに伴う熱制御などが含まれる。撮像装置111の撮像処理では、撮像時刻t1において、何枚の撮像を、どの程度の精度(分解能、シャッタスピード、ズームの要否など)で撮像を行うかが考慮される。衛星21の姿勢制御は、衛星自身の姿勢の変更、アンテナの姿勢の変更を含む。また、撮像装置111としてのカメラモジュール自身も撮像方向に姿勢を変更できる場合には、カメラモジュールの姿勢変更も、衛星21の姿勢制御に含まれる。撮像以外の電力消費要素には、撮像時刻t1までに行われる通信(アップリンクおよびダウンリンク)が含まれる。
例えば、図8のAに示されるように、バッテリ116の満充電量に対して70%の充電量を常に維持することを前提とし、現時点のバッテリ残量が90%、時刻t1までの充電量が5%、時刻t1の撮像処理による電力消費量が3%、姿勢制御による電力消費量が10%、撮像時刻t1までに行われる通信による電力消費量が2%であるとすると、90%+5%-3%-10%-2%=80%となり、時刻t1の撮像後においても70%の充電量を確保できることから、衛星21は、十分なバッテリ残量であると判定することができる。
なお、管理部101は、撮像時刻t1の次のタイミングで行われる撮像も考慮し、撮像時刻t1後に残すべきバッテリ残量に基づいて、十分なバッテリ残量であるかを判定してもよい。
例えば、図8のBに示されるように、撮像時刻t1の次の時刻t2で撮像が予定されており時刻t1から時刻t2までの充電量が2%、時刻t2の撮像処理による電力消費量が3%、姿勢制御による電力消費量が10%、撮像時刻t2までに行われる通信による電力消費量が2%であるとすると、時刻t1の撮像後において、83%のバッテリ残量が必要であるので、推定される撮像時刻t1のバッテリ残量80%は、十分なバッテリ残量ではないと判定される。
なお、上述した例では、撮像に関する電力消費量を主として説明したが、その他の電力消費量、例えば、姿勢制御に伴う熱制御や、定期的な通信などによる電力消費量も考慮される。
以上のようにして、十分なバッテリ残量があるかどうかが判定され、図7のステップS52で、十分なバッテリ残量がないと判定された場合、処理はステップS53に進み、衛星21は、撮像時刻t1までに想定されるダウンリンクタイミングを変更できるかを判定する。ダウンリンクタイミングを変更することで、それにかかる電力量を節約することができる。
ステップS53で、ダウンリンクタイミングを変更できないと判定された場合、ステップS53の処理がスキップされ、処理はステップS55に進む。
一方、ステップS53で、ダウンリンクタイミングを変更できると判定された場合、処理はステップS54に進み、管理部101は、ダウンリンクタイミングを変更し、それにより十分なバッテリ残量があるかを判定する。ステップS54においても、十分なバッテリ残量がないと判定された場合、処理はステップS55に進む。一方、ステップS54で、十分なバッテリ残量があると判定された場合、処理はステップS57に進む。
ステップS55において、管理部101は、姿勢制御の精度を変更する。姿勢制御は、例えば、ホイールとイオンエンジンの2種類を用いて目標姿勢に向かうようにモーメントをかけ、目標姿勢を過ぎたら逆のモーメントをかけることを繰り返し、ゆれ速度が一定以下となった場合に目標姿勢に変更されたと判定される。管理部101は、姿勢制御の精度の変更として、例えば、目標姿勢となったと判定するゆれ速度の範囲を変更する。ゆれ速度の範囲が大きくなる方向に変更され、姿勢制御の制御量を低減することで、電力消費をセーブすることができる。
ステップS56において、管理部101は、姿勢制御の精度に応じて撮像条件を変更する。ゆれ速度の範囲が大きくなると、衛星21の姿勢が安定せず、ふらつきが発生するため、被写体ぶれが起こるおそれがある。また、ポインティングが不十分であるため、十分なズームができないことも考えられる。そこで、管理部101は、撮像条件を変更することにより、姿勢制御の制御量の低減による弊害を補う。
管理部101は、例えば、以下のような撮像条件の変更を行う。
管理部101は、イメージセンサのシャッタスピードを速くすることで、被写体ぶれに対応する。また、管理部101はさらに、シャッタスピードを速くすると、撮像画像は暗くなるので、感度(ゲイン)を上げる制御を行ってもよい。
また例えば、管理部101は、単位画素当たりの感度を向上させる目的で、撮像画像の分解能(解像度)を低減させることができる。これによりシャッタスピードを向上でき、姿勢制御の精度低下の影響を受けにくくなるとともに、ダウンリンク時のデータ量を削減することができる。また、管理部101は、光学ズームを行わない設定値を選択する。これにより、画像のぶれ(ふらつき)に対する許容度を大きくすることができる。
また、カメラモジュールがメカ的なぶれ補正機構(空間ぶれ補正)を備える場合には、姿勢制御の精度を落とす代わりに、メカ的なぶれ補正機構を行うようにしてもよい。
また、管理部101は、撮像画像の分解能(解像度)を低減させる代わりに、複数枚の連続撮像を行うように撮像設定を行ってもよい。地上局15には、連続撮像の撮像画像を合成して生成した高解像の撮像画像を生成して、送信(ダウンリンク)することで、撮像画像の分解能(解像度)の低下を補うことができる。なお、画像合成による高解像の画像生成は、ダウンリング後に、衛星群管理装置11または画像解析サーバ42が行ってもよい。衛星群管理装置11または画像解析サーバ42は、ベース画像等の過去の撮像画像や、他の衛星21で撮像された撮像画像との合成も行うことができる。
ステップS56の後、または、ステップS52若しくはステップS54で十分なバッテリ残量があると判定された場合、処理はステップS57に進む。
ステップS57において、管理部101は、ステップS55の処理で決定された姿勢制御の設定に応じて、衛星21または撮像装置111の姿勢を制御する(ポインティングを行う)。
ステップS58において、管理部101は、ステップS56の処理で決定された撮像条件を設定する。
以上で、図6のステップS33の撮像準備処理が終了し、撮像指示で指定された撮像日時となると、図6のステップS34の処理、即ち、撮像対象位置の撮像が行われる。
撮像準備処理によれば、バッテリ残量が少ない場合に、電力消費において影響の大きい姿勢制御の安定精度を低くし、撮像条件や後段での画像処理を変更することで、バッテリの消費を抑制しつつ、撮像画像の品質を担保することができる。
<4.フォーメーションフライトのフローチャート>
次に、一つの衛星群31を構成する複数の衛星21で実行されるフォーメーションフライトについて説明する。
図9は、一つの衛星群31がフォーメーションフライトを行う衛星画像処理システム1のフローチャートである。
初めに、管理システムとフォーメーションフライトを行う衛星群31の各衛星21とで、ステップS101、S121、S122、およびS102の相対位置確認処理を行う。すなわち、ステップS101において、管理システムは、フォーメーションフライトを行う衛星群31の各衛星21に相対位置を問い合わせる。ステップS121において、衛星群31を構成する各衛星21は、管理システムからの問い合わせに応じて、相対位置を確認する処理を行う。そして、ステップS122において、各衛星21は、相対位置を送信し、ステップS102において、管理システムは、各衛星21からの相対位置を受信する。ここで、相対位置とは、衛星群31を構成する各衛星21の配列順と、衛星間の距離である。各衛星21の配列順は、例えば、衛星21の進行方向を先頭(1番)とする順番である。この相対位置確認処理は、撮像を行うごとに行ってもよいし、例えば、1日に1回や、1週間に1回など、定期的に行ってもよい。
管理システムは、外部機関としてのNORADから取得した衛星群31の軌道情報を有するが、衛星群31を構成する各衛星21の軌道情報は判別できない場合がある。あるいは、地上からの観測により個別の軌道情報を判別できたとしても、機体の順序までは判別できない場合がある。フォーメーションフライトでは、軌道情報を個別に割り振りできない範囲で衛星21が配置されることがあり、ある衛星が衛星群31において先頭から何番目を構成しているかが判別できない。そのため、相対的な位置関係を測位することが必要になる。
相対位置を制御する方法としては、オープンループ方式とクローズドループ方式の2種類に大別される。
オープンループ方式は、衛星群31を構成する衛星間でのコミュニケーションが無く、地上側からの指示で相対位置を制御する方法である。衛星間の距離に誤差が生じやすい。
これに対して、クローズドループ方式は、衛星群31を構成する衛星間でのコミュニケーションを行うことで相対位置を制御する方法である。クローズドループ方式の相対位置の精度は、オープンループ方式よりも高い。クローズドループ方式には、中央管理型(Centralized型)と非中央管理型(Decentralized型)とがある。中央管理型には、リーダとなる衛星21が存在し、他の衛星21がリーダ衛星に追随する形態と、リーダ衛星が他の衛星21に指示を出す形態とがある。非中央管理型は、衛星群31を構成する各衛星21が、周囲の他の衛星21と自律的にコミュニケーションを取り、自分の位置を制御する形態である。
ステップS121の相対位置を確認する処理は、オープンループ方式では、例えば、各衛星21が地上の所定の地点の撮像を同時に行い、地上側の衛星群管理装置11が、撮像画像と、衛星21の姿勢(ポインティング角度)情報とに基づいて、各衛星21の配列順を確認する方法がある。また例えば、各衛星21が地上の所定の地点と同時に通信を行い、地上側の通信装置13が、その際の電波から配列順を確認する方法がある。配列順を確認するための通信は、所定の撮像画像のダウンリンクでもよいし、キャリブレーション用の信号などでもよい。一方、クローズドループ方式では、各衛星21が相対位置を測る処理を実行し、測定結果がダウンリンクされる。各衛星21が相対位置を測る方法としては、衛星間で通信することにより位置(方向)を測定する方法、衛星21がレーザを照射し、その反射光から距離を測定する方法などがある。
クローズドループ方式およびオープンループ方式では、各衛星21の配列順のみを検出して、衛星間の距離は、地上からの観測で算出してもよい。
ステップS103において、管理システムは、各衛星21の相対位置に基づいて、各衛星21の撮像条件を算出する。ここでの撮像条件は、イメージセンサの設定値の他、撮像時の衛星21の姿勢制御や、撮像のタイミングなども含む。例えば、地上の3次元計測を行う場合、衛星間距離を基線長として、各衛星21で撮像対象位置が同じになる姿勢とするための撮像条件が算出される。衛星群31を構成する複数の衛星21で時間差による撮像(差分撮影)を行う場合、先行の衛星21と後続の衛星21とが撮像を行うタイミング(撮像位置)と、撮像時の姿勢が算出される。各衛星21が撮像を行うタイミングは、衛星間距離に基づいて算出される。
ステップS104において、管理システムは、算出された撮像条件に基づいて、撮像指示を各衛星21へ送信する。撮像指示は、衛星群31の全ての衛星21に送信(マルチキャスト)されるが、撮像指示の中に含まれる宛先情報としての個別IDにより、各衛星21が自分宛ての指示を選択することができる。
衛星21は、ステップS123において、地上局15からの撮像指示を受信し、ステップS124において、撮像準備処理を行い、ステップS125において、撮像を行う。さらに、衛星21は、ステップS126において、メタデータを生成して撮像画像に付加し、ステップS127において、メタデータを付加した撮像画像を地上局15に送信(ダウンリンク)する。
ステップS123乃至S127の処理は、図6を参照して説明した個々の衛星21が行うステップS31乃至S36の処理と基本的に同様である。なお、ステップS127の撮像画像の送信は、各衛星21が自身の撮像画像を個別に送信してもよいし、衛星間通信によりリーダ衛星に撮像画像を集めて、リーダ衛星がまとめて送信してもよい。
ステップS105において、管理システムは、各衛星21からの撮像画像を受信し、ステップS106において、撮像画像のメタデータを解析する。さらに、ステップS107において、管理システムは、撮像画像に対して所定の画像処理を行い、ステップS108において、撮像画像と処理画像の流通管理処理を実行し、所定の記憶部に記憶させる。
ステップS105乃至S108の処理は、図6を参照して説明した管理システムが行うステップS16乃至S19の処理と基本的に同様である。ただし、ステップS107の画像処理では、一つの衛星21で得られた撮像画像に対する画像処理に留まらず、衛星群31の複数の衛星21が連携して撮像した複数枚の撮像画像を用いた画像処理を行うことができる。
<5.画像処理の例>
図6のステップS18または図9のステップS107において、衛星群管理装置11または画像解析サーバ42が実行する画像処理の処理例について説明する。
個々の衛星21で撮像された1枚の撮像画像に対して、衛星群管理装置11または画像解析サーバ42は、以下のような画像処理を行うことが可能である。
(1)メタデータの生成
衛星21から送信されてきた情報や、撮像を行った衛星21の情報に基づいて、メタデータを生成することができる。例えば、撮像対象位置の緯度経度の情報、衛星21の撮像時の姿勢制御や加速度の情報などを、メタデータとして生成することができる。
(2)撮像画像の補正処理
感度特性に関するラジオメトリック補正、衛星21の軌道位置や姿勢誤差などの幾何補正、地形の高低差に起因する幾何学的な歪みを補正するオルソ補正、地図投影面への射像を行う地図投影、などの補正処理を行うことができる。
(3)カラー合成処理
パンシャープン処理、トゥルーカラー合成処理、フォールスカラー合成処理、ナチュラルカラー合成処理、SAR画像合成処理、バンド毎の撮像画像に色を付加する処理、などのカラー合成処理を行うことができる。
(4)その他の画像合成
過去に自分(衛星21)が撮像した撮像画像、他の衛星21で撮像された撮像画像、何らかのベース画像との合成、異なるバンドで撮像された撮像画像どうしの合成、地図情報との合成などを行うこともできる。
(5)情報抽出
R(Red)とIR(Infrared)などの異なるバンドにより、NDVI(Normalized Difference Vegetation Index)等の植生検出情報や、NDWI(Normalized Difference Water Index)等の水検出情報を算定することができる。車両や移動体、魚群などの特定被写体のハイライト処理、特定バンドの情報、前回撮像時からの変化点の抽出などを行うことができる。
特に、フォーメーションフライトを行う複数の衛星21で撮像された複数の撮像画像を用いた場合には、衛星群管理装置11または画像解析サーバ42は、以下のような画像処理をより効果的に行うことが可能である。
(1)高解像化または高品質化処理
複数の撮像画像を重ね合わせることで、分解能を向上させた撮像画像を生成することができる。また、モノクロ画像とカラー画像を合わせたパンシャープン画像や、例えば異なるダイナミックレンジやシャッタスピード、異なるバンド(波長帯域)、異なる解像度など、撮像条件の異なる撮像画像の合成によって、高解像化させた撮像画像を生成することができる。
(2)機能分担
R(Red)とIR(Infrared)などの異なるバンドにより、NDVI(Normalized Difference Vegetation Index)等の指標を算定することができる。
(3)3次元計測
視差画像により、三次元情報を得ることができる。また、三次元情報により地上の物体認識の精度を高めることができる。たとえば、物体が車両であるか否かの判別を行うことができる(分解能的に画像から直ちには車両であるとはわからずとも、道路上にあるものが模様でなく立体物と分かれば、それが車両であると推定できる)。
(4)差分計測
同一位置から時間差で撮像した複数の撮像画像を用いて、第1の時刻と第2の時刻との変化を抽出することができる。また、変化した対象のみを抽出して着色するような画像化を行ってもよい。また例えば、複数の撮像画像を用いて、船舶や車両の移動速度を算定したり、雲等の移動から風速を算出することができる。
(5)その他の画像合成
過去の撮像画像や、他の衛星21で撮像された撮像画像との合成、異なるバンドで撮像された撮像画像どうしの合成、地図情報との合成などを行うこともできる。
画像処理装置としての衛星群管理装置11および画像解析サーバ42は、衛星21で撮像された撮像画像にメタデータとして関連付けられた、衛星を特定する衛星特定情報に基づいて、上述した画像処理を行う。換言すれば、撮像画像にメタデータとして衛星特定情報が関連付けられていることにより、フォーメーションフライトの複数の衛星21の相対位置関係を利用した複数枚の画像処理ができるようになる。衛星特定情報には、衛星群31を識別する群IDと、衛星群31を構成する各衛星21を識別する個別ID、フォーメーションフライトを行う各衛星21の相対位置情報が少なくとも含まれる。
なお、フォーメーションフライトにより撮像された複数の撮像画像を用いた画像処理について説明したが、フォーメーションフライトではなく、コンステレーションにより撮像された複数の撮像画像に対して、上述した画像処理を行ってもよい。例えば、(1)高解像化または高品質化処理、(3)3次元計測、(5)その他の画像合成などの画像処理をコンステレーションにより撮像された複数の撮像画像で行ってもよい。
(画像フォーマット)
画像処理後の処理画像、および、撮像画像は、例えば、以下のような画像フォーマットを用いて、記憶部に格納され、顧客等へ提供される。
(1)CEOS
CEOSは、地球観測衛星委員会 (committee on Earth Observation Satellites)で標準化されたフォーマットである。CEOSには、バンドごとにファイルが分割される「CEOS-BSQ」と、複数のバンドが多重化された「CEOS-BIL」とがある。
(2)HDF
イリノイ大学のNCSA (National Center for Supercomputing Applications) で開発されたフォーマットである。多様なコンピュータ環境で容易にデータの相互交換を行えるように複数のバンドが一つのファイルにまとめられている。
(3)Geo TIFF
TIFF(Tagged Image File Format)に、リモートセンシング用の情報を付加したフォーマットである。TIFF形式であるので、一般的な画像ビューア等で開くことが可能である。
(4)JPEG2000
Joint Photographic Experts Groupにより規格化された画像フォーマットである。JPEG 2000は単に圧縮率を高めるだけではなく、注目領域の画像を向上させる技術や、電子透かしなどの著作権保護技術が採用されている。
処理画像、および、撮像画像の提示方法としては、(1)画像を閲覧可能に提供する方法と、(2)画像の解析に基づく情報のみを提示する方法、とがある。
さらに、(1)画像を閲覧可能に提供する方法には、(1A)画像そのものを提供(送信)する方法、(1B)データサーバ等のプラットフォーム上へのアクセスを許可し、プラットフォーム上のデータに対してユーザが画像を閲覧できるようにする方法、(1C)画像を閲覧するための専用ソフトをユーザに提供し、その専用ソフト上でのみユーザが閲覧できるようにする方法などの方法がある。
(2)画像の解析に基づく情報のみを提示する方法は、例えば、上述した情報抽出の処理を行うことにより得られた、車両や移動体の時間ごとの台数を提示したり、魚群のエリアを提示したりする方法である。
<6.メタデータの詳細>
図10は、撮像画像または処理画像にメタデータとして付される情報の例を示している。
メタデータとして付される情報には、情報の種類によって、衛星21が付加できる情報、衛星群管理装置11が付加できる情報、解析会社の画像解析サーバ42が付加できる情報のそれぞれがあるが、図10には、各情報を表形式で配置し、各情報を付加可能な装置に丸(○)が付されている。なお、衛星群管理装置11が画像処理機能も備えている場合には、画像解析サーバ42が付加できる情報は、衛星群管理装置11自身も付加できることは言うまでもない。
メタデータとしては、例えば、衛星を特定する情報(衛星特定情報)を付加することができる。衛星を特定する情報には、例えば、衛星群31を識別する群ID、個々の衛星21を識別する個別ID、フォーメーションフライトを行う衛星群31を構成する各衛星21の相対位置情報、撮像時の自身(衛星21)の角度情報、衛星種類などを含むことができる。相対位置情報には、例えば、衛星群31を構成する複数の衛星21の順番や衛星間の距離などの情報を含む。相対位置情報は、相対位置を推定する材料となる情報でもよい。撮像時の自身の角度情報は、例えば、撮像時の地表面に対する自身の角度を表す。衛星種類は、例えば、光学衛星かまたはSAR衛星であるか、衛星の用途や大きさなどの分類による区分などが含まれる。
また、衛星を特定する情報には、例えば、衛星21のTLEフォーマットによる軌道情報(TLE情報)、GPS信号による位置情報(GPS情報)、TLE情報またはGPS情報の少なくとも1つから算出される軌道位置・軌道高度情報、衛星21の速度情報、衛星21の地球センサや太陽センサ、スタートラッカ等のセンサ情報、などを含むことができる。
また、メタデータには、撮像内容に関する情報を付加することができる。撮像内容に関する情報には、例えば、撮像対象とした地球上の場所を示す撮像対象位置情報、解像度(分解能)、ズーム、シャッタスピード、感度、絞り(F値)、などの撮像条件、イメージセンサの型番などのセンサ種類、撮像時刻、撮像時点の衛星位置、雲量や日照量などの天候情報などを含むことができる。
撮像対象位置情報には、例えば、撮像対象とした地球上の場所の緯度経度の情報が与えられる。撮像時点の衛星位置は、衛星21の軌道情報に基づいて、地上側で付加される。撮像時点の衛星位置は、衛星21の軌道情報そのものでもよい。また、上述した撮像準備処理において、バッテリ残量に応じて姿勢制御の精度を変更する場合があるので、撮像時点の衛星位置には、撮像時点の衛星21の姿勢制御の精度情報や、撮像時点の衛星自身の動きを示す3次元加速度情報などをさらに含めてもよい。この姿勢制御に関する情報は、地上側で行われる撮像画像の高解像度処理等において、処理の参考にすることができる。
さらに、メタデータには、画像種類に関する情報を付加することができる。画像種類に関する情報には、バンド情報や画像処理情報を含むことができる。
バンド情報には、波長帯域に関する波長情報、RGB(TrueColor)、IR(赤外光)、またはモノクロかを表す色情報、植物など特定対象を着色したことを表す着色情報(False Color)、正規化植生指数(NDVI:Normalized Difference Vegetation Index)や正規化水指数(NDWI:Normalized Difference Water Index)を表した画像であることを示す解析情報などが含まれる。
画像処理情報には、画像処理の処理時刻、処理レベル、および、処理方法などが含まれる。処理時刻は、画像処理が行われた時刻を表す。処理レベルは、L0からL5までの6段階に区分される。L0は、補正処理を行っていない未補正を示すレベルであり、L1は、感度特性に関するラジオメトリック補正がなされたレベルであり、L2は、衛星21の軌道位置や姿勢誤差などの幾何補正が施されたレベルである。その他、地図投影面への射像がなされたレベル、幾何学的な歪みを補正するオルソ補正が施されたレベルなどがある。処理方法には、パンシャープン処理、トゥルーカラー合成処理、SAR画像合成処理などの処理名が記述される。3次元計測の処理画像には、L画像(左眼用の画像)またはR画像(右眼用の画像)の区別が記述されてもよい。
さらに、メタデータには、撮像画像または処理画像の関係者に関する情報である関係者情報を付加することができる。関係者に関する情報には、例えば、衛星21の所有者、衛星リモートセンシングのサービスを運営しているサービス運営者、撮像画像または処理画像の権利者などの情報が含まれる。撮像画像または処理画像に、メタデータとして関係者情報を付加することにより、撮像画像または処理画像の関係者を参照または照合することにより、撮像画像または処理画像の関係者を管理することができ、画像の真正性を担保することができる。
<7.流通管理処理の詳細>
次に、図6のステップS19および図9のステップS108において衛星群管理装置11または画像解析サーバ42により実行される、撮像画像または処理画像の流通管理処理について説明する。
撮像画像および処理画像には、以下のようなデータの流通を管理するための処理を施すことができる。
(1)利用制限処理
許可なく撮像画像および処理画像のダウンロードや表示を行うことができないように処理を施したり、有効期限やコピー回数、表示回数など所定の条件を満たした場合に、撮像画像および処理画像のダウンロードや表示を行うことができなくなるような処理を施すことができる。また、撮像画像および処理画像に対して、画像合成などの2次的な処理を行うことができないように施すことができる。
(2)ウォーターマーク
撮像画像および処理画像に対して、著作権があることを示すウォーターマーク(電子透かし)を入れる処理を施すことができる。また、流出経路を判別することができる情報をウォーターマークとして入れる処理を施すことができる。
以上のような流通管理処理を行うことにより、画像の真正性を担保することができるとともに、撮像画像および処理画像の流出や、不適切な使用を防ぐことができる。このとき、ブロックチェーンを用いて、各データおよびデータの利用態様を管理する方式を採用してもよい。
(画像保護の処理例)
撮像画像および処理画像に対してプライバシー保護を求めるユーザの要請がある場合や、軍事施設や公共施設など、各国の法律等により開示が制限される地域(開示制限地域)や禁止されている地域(禁止地域)が写っている画像については、衛星群管理装置11または画像解析サーバ42は、所定の保護方法によって、画像を保護する処理を施すことができる。保護対象地域か否かは、メタデータの撮像対象位置情報を用いて判断すればよい。
画像を保護する方法としては、例えば、保護対象地域の画像には、エンドユーザや許諾されたユーザ以外の者によっては必要以上の高解像度化処理を行うことができないような処理を施すことが挙げられる。あるいはまた、保護対象地域の画像に対して、解像度の下げたり、ブラーをかけたりしてもよい。さらにはまた、保護対象地域の画像の更新を中止し、過去の画像に置き換えて表示したり、保護を示す画像を重畳してもよい。
画像の保護は、ユーザに最初に提供する前に予め実行する場合に加えて、プライバシー保護の要請があった場合や、不正画像の流通を検出した場合など、後発的に処理を行うことができる。不正画像の流通を検出した場合には、不正流出した撮像画像および処理画像を削除する手段も取り得る。
衛星群管理装置11および画像解析サーバ42が、以上のような画像保護処理を対応可能とすることで、ユーザのプライバシー保護や開示制限の求めに応じることができる。
<8.フォーメーションフライトの応用例>
以下では、フォーメーションフライトにより衛星群31を構成する複数の衛星21で撮像された撮像画像を用いた画像解析処理例について説明する。
(1)高解像化による農作物の発芽確認(農業用リモートセンシング)
農作物の発芽確認のための観測には数cmの解像度が必要とされる。フォーメーションフライトによる複数衛星の撮像画像の合成により、単機での分解能を超える分解能を実現でき、発芽の検出が可能になる。
衛星群31は、農地の同一地点を撮像対象位置として、撮像を行う。各衛星21は、異なる位置から同時に撮像しても良いし、時間差で同じ位置から撮像してもよい。各衛星21の撮像対象位置を同一地点に向けさせるために、衛星位置の事前把握が必要になる。
画像の合成処理では、それぞれの撮像画像がどの衛星21によって撮像されたかの把握はできなくともよいが、どの衛星21による撮像であるかを把握できれば、撮像時の角度や時刻が判別できるため、より効率的な画像合成が可能となる。
合成後の処理画像のフォーマットには、例えば、Geo TIFFフォーマットを用いることができ、フォーメーションフライトによる合成画像である旨、及び、合成元の撮像画像それぞれの撮像位置、撮像時刻および撮像条件などをメタデータとして付すことができる。撮像位置情報は、合成元のいずれかの撮像画像(代表となる撮像画像)の撮像位置情報を用いることができる。
(2)三次元計測による農作物の生育状況確認(農業用リモートセンシング)
農作物の生育状況の確認はNDVI等の指標により行われるが、三次元計測により高さ情報を正確に取得することでも可能である。
衛星群31の各衛星21は、農地である同一地点を撮像対象位置として、同時に撮像を行い、視差画像を得る。基線長である衛星間の距離を得るため、衛星21の相対位置情報が必要になる。この相対位置情報は事前ではなく、撮像画像のダウンリンクと同時に得られてもよい。
画像の合成処理では、それぞれの撮像画像がどの衛星21によって撮像されたかの把握はできなくともよいが、どの衛星21による撮像であるかを把握できれば、撮像時の角度や時刻が判別できるため、より効率的な画像合成が可能となる。
合成後の処理画像は、例えば、L画像とR画像の組からなる3次元画像のフォーマットを用いることができ、フォーメーションフライトによる合成画像である旨、及び、合成元の撮像画像それぞれの撮像位置、撮像時刻および撮像条件などをメタデータとして付すことができる。撮像位置情報は、合成元のいずれかの撮像画像(代表となる撮像画像)の撮像位置情報を用いることができる。三次元計測の情報に加えて、NDVI等の植生指標や、他の情報がさらに付加されてもよい。
(3)その他の農業用リモートセンシング
例えば、農地の耕耘後の水平確認のための高さ情報を三次元計測により正確に取得することが可能である。
(4)魚群の移動探知(海洋観測リモートセンシング)
魚群の探知と、魚群の移動方向および移動速度の情報を得ることができる。
衛星群31は、海洋の同一地点を撮像対象位置として、撮像を行う。各衛星21は、時間差で同じ位置から撮像する。各衛星21の撮像対象位置を同一地点に向けさせるために、衛星位置の事前把握が必要になる。特に、リファレンスとなる目標の存在しない海洋を撮像対象位置とする撮像では、各衛星21の撮像画像の位置合わせを精密に行う必要があるため、各衛星21の相対位置や移動速度情報の事前把握が重要になる。
撮像画像の解析処理では、撮像位置(角度情報を含む)と撮像時刻とに基づき、各衛星21の撮像画像の位置合わせと、魚群の比較処理とを行う。比較処理により、2以上の衛星21の撮像時刻の時間差と魚群の移動距離から、魚群の移動速度を算出することができる。
解析処理画像として提示される画像としては、例えば、ベースとなる魚群の撮像画像(所定の衛星21の撮像画像)に対して、魚群の移動方向および移動速度を示す情報が重畳表示された画像を採用することができる。メタデータには、ベースとなる撮像画像の諸情報が付加される。
解析処理の結果として、魚群の移動方向および移動速度を算出した際の算出方法を説明する情報、例えば、魚群を捉えた複数枚の撮像画像と、それらの撮像時刻、魚群の位置などの情報を提示してもよい。
(5)その他の海洋観測リモートセンシング
例えば、船舶の移動方向および移動速度の情報や、海流の観測情報も得ることができる。
(6)車両台数のカウント(経済指標推定)
駐車場の車両台数や、道路の走行台数を調べることで、経済指標(景気動向や特定店舗の売上予測)を算出することが行われている。フォーメーションフライトによる複数衛星の撮像画像の合成により、高解像の撮像画像を生成し、車両台数や走行台数をより正確に検出することができる。
衛星群31は、同一地点を撮像対象位置として、同時に撮像を行う。各衛星21の撮像対象位置を同一地点に向けさせるために、衛星位置の事前把握が必要になる。同時撮像された複数枚の撮像画像により、画像の高解像度化、視差画像に基づく3次元情報の取得が可能である。
画像の合成処理では、それぞれの撮像画像がどの衛星21によって撮像されたかの把握はできなくともよいが、どの衛星21による撮像であるかを把握できれば、撮像時の角度や時刻が判別できるため、より効率的な画像合成が可能となる。2以上の撮像画像の合成では、画像内の道路や建物からリファレンスとなる対象物を抽出し、これに基づいて2以上の画像の位置合わせを行ってもよい。リファレンスとなる対象物は、高さ情報に基づいて選んでもよい。
画像の解析処理では、高解像化された撮像画像に基づいて、車両台数や走行台数が算出される。撮像画像内の特定の領域のみを高解像度化することにより、効率良く車両台数や走行台数を算出してもよい。2次元画像では車両か否かの判別ができない場合、高さを含めた3次元情報に基づいて車両か否かの判別を行ってもよい。
解析処理画像として提示される画像としては、例えば、ベースとなる撮像画像(所定の衛星21の撮像画像)に、検出対象エリアやカウント対象(車両や人)ごとに色を変えて着色し、カウント数を重畳表示した画像を採用することができる。メタデータには、ベースとなる画像の諸情報が付与される。
解析処理の結果として、画像の撮像条件や、検出対象物の算出方法などの情報をユーザに提示してもよい。
なお、上述した例は、同時撮像による高解像度化の例であるが、時間差で撮像した撮像画像に基づき、車両の移動速度を計測し、撮像時間前後の交通量情報を推定して提示してもよい。
(7)その他
フォーメーションフライトによる複数衛星の撮像画像の合成により、視差画像に基づく3次元情報を取得し、建設現場や邸宅の3次元地図を作成することができる。
(8)変形例
フォーメーションフライトのコンステレーションでもよい。すなわち、フォーメーションフライトを行う衛星群31を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開する運用を行うことができる。
フォーメーションフライトによる撮像画像と、他の衛星の撮像画像の画像合成を行ってもよい。例えば、静止衛星により撮像された高解像画像に対して、フォーメーションフライトで得られた移動体情報を重畳表示するような画像処理を行うことができる。
<9.衛星画像処理システムの第2実施の形態>
図11は、本技術を適用した衛星画像処理システムの第2実施の形態の構成例を示している。
上述した第1実施の形態では、フォーメーションフライトを行う衛星群31が、衛星21の軌道情報等に基づいて予め指示された撮像地点や撮像時刻に同時撮像または時間差撮像を行う構成とされていた。そのため、例えば、地上で発生した所定のイベントを検出して、そのイベント発生時のリアルタイムな撮像を行うことはできない。
以下で説明する第2実施の形態では、1以上の衛星21が、地上で発生したイベントに応じてリアルタイムな撮像を行う構成について説明する。複数の衛星21からなる衛星群31が、地上で発生したイベントに応じてリアルタイムな撮像を行う場合には、その衛星群31は、コンステレーションまたはフォーメーションフライトのどちらの運用でもよい。
第2実施の形態の衛星画像処理システム1の構成には、図11に示されるように、地上において所定のイベントを検出するセンサを備える複数の送信装置251が新たに追加される。図11の例では、4台の送信装置251A乃至251Dが、イベント検出領域250に設置されているが、送信装置251の台数は任意である。なお、図11に示される第2実施の形態の3機の衛星21X乃至21Zは、コンステレーションまたはフォーメーションフライトのどちらの運用でもよい。また、3機の衛星21X乃至21Zが、それぞれ単独で運用されている衛星21でもよい。
4台の送信装置251A乃至251Dそれぞれは、イベント検出領域250を分担して、イベントを検出する。図11において破線で示される扇形状の領域が、1台の送信装置251のイベント検出範囲を示している。イベント検出領域250は、例えば農地であり、送信装置251に含まれるセンサは、農地の気温等を監視したり、農作物の生育状況を監視する。
送信装置251は、イベント検出領域250における所定のイベントを検出して、1以上の衛星21に、撮像指示を送信する。衛星21X乃至21Zは、送信装置251から送信されてきた撮像指示に応じて、イベントの発生領域の撮像を行う。
図12は、送信装置251の構成例を示すブロック図である。
送信装置251は、送信部271、制御部272、センサ部273、および、電源部274により構成される。
送信部271は、制御部272の制御に従い、撮像指示を、送信装置251の近傍を通過する衛星21へ送信する。
送信部271は、例えば、無指向性であり、送信装置251の一定範囲内を通過する全ての衛星21へ向けて、撮像指示を送信することができる。送信部271は、例えば、時速100km/hの高速移動体に対して、100km以上の長距離通信が可能であり、低消費電力な通信デバイスで構成される。
送信部271は、指向性を有するものでもよい。この場合、送信部271は、衛星21の軌道情報に基づき、送信装置251の近傍を通過する衛星21へアンテナ(不図示)を指向させ、撮像指示を、ターゲットとなる衛星21へ送信する。衛星21の軌道情報は、予め記憶されている。
制御部272は、送信装置251全体の動作を制御する。制御部272は、センサ部273により所定のイベントが検出された場合、衛星21へ向けて撮像指示を送信部271に送信させるように制御する。
センサ部273は、イベント検出の目的に応じた1種類以上の所定のセンサで構成される。例えば、センサ部273は、臭気センサ、気圧センサ、温度センサなどで構成される。また例えば、センサ部273は、イベント検出領域250を撮像するイメージセンサ(RGBセンサ、IRセンサなど)で構成されてもよい。センサ部273は、例えば、検出値が所定の閾値以上となったとき、イベントの発生を検出し、制御部272に通知する。
なお、センサ部273は、送信部271と近接して配置されてもよいし、例えば、送信部271は、衛星21に最も近い高い場所に配置され、センサ部273は、地上に近い低い場所に配置されるなど、離隔されて配置されてもよい。
1台の送信装置251には、種類の異なる複数のセンサが搭載されてもよく、同種のセンサが複数個搭載されてもよい。送信装置251に複数のセンサが搭載される場合には、送信情報として、撮像対象位置としてのセンサ検出範囲、センサ検出種類などのセンサ情報を付加して、センサ検出結果を送信する必要がある場合がある。
電源部274は、例えば、太陽光発電等により充電されるバッテリ等で構成され、送信装置251の各部に電源を供給する。
送信装置251は、以上のように構成され、送信装置251から衛星21への一方向の通信のみを可能とする通信装置であるが、衛星21から送信装置251への方向も含む双方向通信も可能な通信装置であってもよい。
片方向通信および双方向通信のいずれにおいても、無指向性の場合には、送信側が、受信側となる衛星21または地上局15に向けてアンテナを指向させる必要がないため、特に、地上から上空の衛星21に送信する場合に好適である。本実施の形態では、送信装置251の送信部271は無指向性であり、送信装置251が片方向通信を行う装置であるとするが、勿論、送信装置251が、指向性を持ち、双方向通信を行う装置でもよい。
<10.第2実施の形態の第1のイベント撮像シーケンス>
次に、図13のフローチャートを参照して、第2実施の形態の衛星画像処理システム1が行う第1のイベント撮像シーケンスを説明する。
初めに、ステップS141において、送信装置251の制御部272は、センサ部273でイベントが検出されたかを判定する。センサ部273が、所定のイベントを検出し、制御部272にイベントの発生を通知すると、制御部272は、イベントが検出されたと判定する。したがって、制御部272は、ステップS141において、センサ部273からイベント発生の通知があるまで待機し、イベントが検出されたと判定された場合、処理がステップS141からステップS142へ進められる。
イベントの発生を受けて、制御部272は、ステップS142において、送信部271を制御し、送信装置251の近傍を通過する衛星21へ、撮像指示を送信させる。送信部271は、制御部272からの指令により、撮像指示を送信する。
送信装置251と衛星21との通信は、地上側から衛星21へのみの片方向通信であるため、送信装置251は、撮像指示を衛星21が受け取ったか否かを確認することができない。そのため、送信装置251は、例えば、30分や1時間などの一定時間、撮像指示を送信し続けたり、一定時間間隔で間欠的に撮像指示を繰り返し送信する。送信装置251と衛星21が双方向通信が可能である場合には、図6を参照して説明した撮像シーケンスのように、衛星21から受信完了を受信して、撮像指示の送信を停止すればよい。衛星21から送信装置251への受信完了には、衛星21が撮像を行う旨を含めて送ってもよい。
また、本撮像シーケンスでは、送信装置251は、イベントの発生を検出すると、衛星21を選択せずに、撮像指示を送信することとするが、上空を通過する衛星21の軌道情報や撮像能力が既知である場合には、要求撮像条件を満たす衛星群31または衛星21を群IDまたは個別IDで指定して、撮像指示を送信してもよい。
送信装置251から衛星21への撮像指示には、例えば、要求撮像条件、要求撮像対象位置、センサID、イベント発生時刻、検出イベント種類などの撮像関連情報がパラメータとして付加されて送信される。要求撮像条件は、例えば、解像度、波長帯域(RGB、IRなど)などを含む。要求撮像対象位置は、撮像対象の地上の領域を表し、センサ部273のイベントの発生領域に対応する位置である。要求撮像対象位置として、送信装置251またはセンサ部273の設置位置が格納されてもよい。センサIDは、イベントを検出したセンサ部273を識別するセンサ識別情報である。イベント発生時刻は、センサ部273がイベントを検出した時刻であり、撮像指示の要求が発生した時刻に相当する。検出イベント種類は、例えば、異常温度の検出など、センサ部273が検出したイベントの種類を表す。検出イベント種類は、具体的な検出イベントの種類の代わりに、センサの種類を格納してもよい。
衛星21は、ステップS161において、送信装置251からの撮像指示を受信し、ステップS162において、自身による撮像が可能かを判定する。衛星21は、撮像指示に付加されている要求撮像条件を満たすか否かを確認し、自身による撮像が可能かを判定する。ステップS162で、自身による撮像が可能ではないと判定された場合、衛星21は、処理を終了する。
一方、ステップS162で、自身による撮像が可能であると判定された場合、処理はステップS163に進み、衛星21は、受信した撮像指示に基づく撮像準備処理を行う。続いて、衛星21は、ステップS164において、撮像を行い、ステップS165において、メタデータを生成して撮像画像に付加する。ステップS163乃至S165の各処理は、上述した図6のステップS33乃至S35の各処理と基本的に同様であるので、詳細は省略する。メタデータには、送信装置251から受信した情報の一部または全部を含めることができる。例えば、メタデータとして、センサ部273を表すセンサID、イベント発生時刻などの情報を含めることができる。
ステップS166において、衛星21は、ダウンリンクポイントに到達したか、換言すれば、地上局15の通信装置13と通信可能な範囲内に到達したかを判定する。衛星21は、ダウンリンクポイントに到達したと判定されるまで、ステップS166の処理を繰り返し、ダウンリンクポイントに到達したと判定された場合、処理がステップS167に進められる。
ステップS167において、衛星21は、メタデータを付加した撮像画像を地上局15に送信(ダウンリンク)する。ダウンリンクは、中継衛星22を介して行ってもよい。
ステップS181において、管理システムは、衛星21からの撮像画像を受信する。すなわち、通信装置13がアンテナ14を介して撮像画像を受信し、衛星群管理装置11に供給する。撮像画像を受信した後、管理システムは、図6のステップS17乃至S19と同様の処理を行うが、説明が重複するので、省略する。
<11.第2実施の形態の第2のイベント撮像シーケンス>
次に、図14のフローチャートを参照して、第2実施の形態の衛星画像処理システム1が行う第2のイベント撮像シーケンスを説明する。
上述した第1のイベント撮像シーケンスでは、各衛星21が、撮像が可能な否かを個別に判断し、撮像を行った場合に、撮像画像を地上の通信装置13に送信した。
図14の第2のイベント撮像シーケンスでは、撮像指示を受信した衛星21が、自身による撮像ができないと判定した場合に、後続の衛星21が撮像指示を引き継ぐ処理が追加されている。後続の衛星21は、例えば、コンステレーションまたはフォーメーションフライトで運用されている同じ衛星群31に属する衛星21とされる。以下の第2のイベント撮像シーケンスにおいて、撮像指示を受信する衛星21を第1の衛星21、撮像指示を引き継ぐ後続の衛星21を第2の衛星21と称して区別する。
送信装置251によるステップS141およびS142のイベント発生の検出、および、撮像指示の送信は、上述した第1のイベント撮像シーケンスと同じである。
第1の衛星21は、ステップS201において、送信装置251からの撮像指示を受信し、ステップS202において、自身による撮像が可能かを判定する。ステップS202で、自身による撮像が可能であると判定された場合、処理はステップS203に進み、第1の衛星21は、撮像指示に基づく撮像および送信を行って、処理を終了する。自身による撮像が可能であると判定された場合の撮像シーケンスは、上述した第1のイベント撮像シーケンスと同じであるので、説明は省略する。
一方、ステップS202で、自身による撮像が可能ではないと判定された場合、処理はステップS204に進み、第1の衛星21は、自身の衛星群31に属する後続の第2の衛星21による撮像が可能かを判定する。ステップS204で、第2の衛星21による撮像が可能ではないと判定された場合、処理は終了する。
ステップS204で、第2の衛星21による撮像が可能であると判定された場合、処理はステップS205に進み、第1の衛星21は、衛星間通信により、後続の第2の衛星21に撮像指示を送信する。
そして、第1の衛星21は、ステップS206において、ダウンリンクポイントに到達したかを判定し、ダウンリンクポイントに到達したと判定されるまで、ステップS206の処理を繰り返す。
そして、ステップS206で、ダウンリンクポイントに到達したと判定された場合、処理はステップS207に進み、第1の衛星21は、送信装置251から受信した撮像指示に含まれるイベント検出データを地上局15に送信(ダウンリンク)する。イベント検出データには、撮像指示に含まれる撮像関連情報の一部または全部と、後続衛星に撮像指示を転送した旨、および、撮像指示を転送した後続の第2の衛星21を示す情報とが含まれる。ダウンリンクを中継衛星22を介して行ってもよい点は、上述した他の処理と同様である。第1の衛星21の処理は以上で終了する。
衛星間通信により第1の衛星21から撮像指示が送信されてきた後続の第2の衛星21は、ステップS221において、撮像指示を受信し、ステップS222において、受信した撮像指示に基づく撮像準備処理を行う。
ステップS223乃至S226の処理は、図13のステップS164乃至S167の処理と同様である。ステップS223乃至S226の処理により、撮像が実行されて撮像画像とメタデータが生成され、ダウンリンクポイントに到達した時点で、メタデータを付加した撮像画像が地上局15に送信される。
一方、管理システムは、第1の衛星21によるイベント検出データの送信に対応して、ステップS241において、イベント検出データを受信する。また、第2の衛星21による撮像画像の送信に対応して、ステップS242において、撮像画像を受信する。撮像画像を受信した後、管理システムは、図6のステップS17乃至S19と同様の処理を行うが、説明が重複するので、省略する。
<12.第2実施の形態の第3のイベント撮像シーケンス>
次に、図15のフローチャートを参照して、第2実施の形態の衛星画像処理システム1が行う第3のイベント撮像シーケンスを説明する。
上述した第2のイベント撮像シーケンスでは、衛星間通信を用いて第1の衛星21から第2の衛星21へ撮像指示が転送されたが、第3のイベント撮像シーケンスは、地上局15を介した通信により、第1の衛星21から第2の衛星21へ撮像指示が転送される例である。
送信装置251によるステップS141およびS142のイベント発生の検出、および、撮像指示の送信は、上述した第1のイベント撮像シーケンスと同じである。
第1の衛星21は、ステップS301において、送信装置251からの撮像指示を受信し、ステップS302において、自身による撮像が可能かを判定する。ステップS302で、自身による撮像が可能であると判定された場合、処理はステップS303に進み、第1の衛星21は、撮像指示に基づく撮像および送信を行って、処理を終了する。自身による撮像が可能であると判定された場合の撮像シーケンスは、上述した第1のイベント撮像シーケンスと同じであるので、説明は省略する。
一方、ステップS302で、自身による撮像が可能ではないと判定された場合、処理はステップS304に進み、第1の衛星21は、自身の衛星群31に属する後続の衛星21による撮像が可能かを判定する。ステップS304で、後続の衛星21による撮像が可能であると判定された場合、処理はステップS305に進み、後続の衛星21による撮像および送信を行って、処理を終了する。後続の衛星21による撮像が可能であると判定された場合の撮像シーケンスは、上述した第2のイベント撮像シーケンスと同じであるので、説明は省略する。
ステップS304で、後続の衛星21による撮像が可能ではないと判定された場合、処理はステップS306に進み、第1の衛星21は、ダウンリンクポイントに到達したかを判定し、ダウンリンクポイントに到達したと判定されるまで、ステップS306の処理を繰り返す。
そして、ステップS306で、ダウンリンクポイントに到達したと判定された場合、処理はステップS307に進み、第1の衛星21は、送信装置251から受信した撮像指示を地上局15に送信(ダウンリンク)する。ダウンリンクを中継衛星22を介して行ってもよい点は、上述した他の処理と同様である。第1の衛星21の処理は以上で終了する。
管理システムは、第1の衛星21による撮像指示の送信に対応して、ステップS321において、撮像指示を受信する。そして、管理システムは、ステップS322において、撮像指示の撮像関連情報に含まれる要求撮像条件、要求撮像対象位置等に基づいて、撮像の要求を満たす他の衛星21を特定する。ここで、他の衛星21として第2の衛星21が特定される。
ステップS323において、管理システムは、特定された第2の衛星21に対して、撮像指示を送信する。なお、第1の衛星21からの撮像指示を受信する地上局15(の通信装置13)と、第2の衛星21に対して撮像指示を送信する地上局15(の通信装置13)とは、同一でもよいし、異なっていてもよい。
第2の衛星21は、ステップS341において、地上局15からの撮像指示を受信する。その後のステップS342乃至S346の処理は、図14のステップS222乃至S226の処理と同様であるので、説明は省略する。ステップS346により、第2の衛星21から管理システムへ、撮像画像が送信される。
管理システムは、ステップS324において、撮像画像を受信して、第3のイベント撮像シーケンスが終了する。
上述した第3のイベント撮像シーケンスでは、第1の衛星21は、後続の衛星21による撮像が可能ではないと判定された場合に、撮像指示を地上局15に送信するようにしたが、後続の衛星21による撮像が可能か否かを判定せずに、自身による撮像が可能ではないと判定された場合に、撮像指示を地上局15に送信するようにしてもよい。
第3のイベント撮像シーケンスによれば、要求撮像対象位置が、海上など、ネットワークに接続できない場所であっても、第1の衛星21を経由して、管理システムに撮像指示を伝えることができ、第2の衛星21により、撮像を行うことができる。
<13.送信装置の他の構成例>
図12に示した送信装置251は、イベントの発生を検出するセンサが組み込まれ、撮像指示を送信する送信部と一体とされていた。しかしながら、イベントの発生を検出するセンサと、撮像指示を送信する送信装置は、別個の装置で構成することができる。
図16は、第2実施の形態における送信装置のその他の構成例を示すブロック図である。
イベント検出領域250(図11)には、送信装置291と、制御装置292と、1以上のセンサ293が設置される。図16は、センサ293の個数をセンサ293A乃至293Cの3個とした例であるが、センサ293の個数は任意である。また、イベント検出領域250に対して、送信装置291、制御装置292、および、1以上のセンサ293の組が、複数設置されてもよい。
送信装置291は、制御装置292の制御に従い、撮像指示を、送信装置291の近傍を通過する衛星21へ送信する。
制御装置292は、複数のセンサ293(293A乃至293C)のいずれかで所定のイベントが検出された場合、センサ293からイベントの検出結果を取得し、撮像指示を生成して、送信装置291に送信させるように制御する。この撮像指示には、上述した例と同様に、撮像関連情報がパラメータとして付加される。
複数のセンサ293(293A乃至293C)それぞれは、上述したセンサ部273に対応し、イベントの発生を検出し、制御装置292に通知する。複数のセンサ293は、異なる種類のセンサで構成されてもよいし、同じ種類のセンサでもよい。複数のセンサ293は、近接して配置されてもよいし、離隔されて配置されてもよい。また、複数のセンサ293は、送信装置291および制御装置292に対しても、近接して配置されてもよいし、離隔されて配置されてもよい。センサ293から制御装置292へのイベント発生の通知には、上述したセンサ情報が必要に応じて付加される。
第2実施の形態の衛星画像処理システム1において、以上のように、送信装置291とセンサ293とが別々の装置で構成される場合においても、上述した第1乃至第3のイベント撮像シーケンスが同様に実行可能である。
<14.イベント検出センサを用いた衛星画像処理システムの適用例>
以下では、第2実施の形態のイベント検出センサを用いた衛星画像処理システムの適用例について説明する。
(1)農地におけるイベント検出
農地の所定の観測領域に複数のセンサ(センサ部273を含む送信装置251、または、センサ293)が一定間隔で設置され、複数のセンサそれぞれは、害虫発生や病気発生等の異常を検出する。送信装置251または291は、イベントとしての農地の異常の検出結果に応じて、撮像指示を衛星21へ送信する。衛星21は、例えば、RGBの撮像や、NDVI等の植生指標のためのR(Red)とIR(Infrared)の撮像などを行う。撮像指示に付加される要求撮像対象位置には、異常を検出したセンサのセンサ検出範囲が割り当てられる。撮像指示を受信した衛星21は、複数のセンサが配置された観測領域のうち、異常が発生したセンサのセンサ検出範囲のみを撮像してもよいし、観測領域全体を広域撮像してもよい。また、ズーム等の撮像条件を変更し、異常を検出したセンサのセンサ検出範囲の撮像と観測領域全体の広域撮像の両方を行ってもよい。
異常の検出ではなく、育成状況確認のための所定状況の発生、例えば地表が所定の環境状態になったこと(例えば、地表の温度が所定の温度となったこと)や、植物の光合成量や生育状況が所定状態になったこと、発芽を検出したこと等をトリガとして、衛星21に撮影指示を行うこともできる。
(2)海洋におけるイベント検出
例えば、センサ部273を含む送信装置251を内蔵したブイが、海洋の調査対象海域に放流される。センサ部273は、魚群の探知、海水温、海流速度、または、風速などの所定条件を検出し、送信装置251が、イベントの検出結果に基づいて撮像指示を衛星21に送信する。撮像指示の撮像関連情報には、要求撮像条件、要求撮像対象位置、イベント発生時刻などが含まれる。夜間の状態を撮像可能な衛星21は限られるため、要求撮像条件に基づいて衛星21が選定され、撮像画像に基づいて、撮像対象海域の状況が分析される。
(3)無人地帯の観測
森林、山岳、砂漠等の無人地帯に、センサ(センサ部273を含む送信装置251、または、センサ293)が設置され、気候条件の変化、観測対象の生物の検出、森林火災などの異常が検出される。衛星21は、送信装置251または291からの撮像指示に基づいて、撮像を行う。撮像画像に基づいて、無人地帯の状況が分析される。
(4)事故観測
例えば、飛行機のブラックボックスや船舶に送信装置251が搭載され、飛行機の墜落、船舶の座礁、オイルタンカーの漏出などの有事の際に、送信装置251が撮像指示を送信する。衛星21は、有事発生場所を速やかに撮像し、地上局15へ送信する。
(5)登山者遭難
登山者等が送信装置251を携帯し、遭難時に、検出イベント種類として救難信号を含み、要求撮像対象位置として遭難発生場所を含む撮像関連情報を付加した撮像指示が、送信装置251から衛星21へ送信される。衛星21は、撮像指示に基づいて、遭難発生場所の撮像を行い、地上局15へ送信する。
(6)パイプラインのエミッションコントロール
パイプラインに所定の間隔でセンサが付され、漏出の発生が監視される。漏出が検出された場合には、衛星21に対して撮像指示が送信される。要求撮像条件として、例えばIRバンドによる熱検出が可能な衛星21など、漏出検出が可能な衛星21を指定する撮像関連情報が付加された撮像指示が送信され、要求を満たす衛星21が撮像を行う。撮像された撮像画像に基づき、漏出地域の漏出状況を速やかに観測することができる。特に、パイプラインからの流出が人的原因による場合、事象発生後の速やかな観測が有効である。
(7)その他
地上に配置されたセンサ293をトリガとした撮像画像はあくまで一次情報とし、その撮像画像と他の画像とを組み合わせて画像解析等が行われてもよい。例えば、センサ293からのトリガによる撮像画像は、撮像タイミングを優先して、低性能の衛星21が、速やかに撮像を行う。その後、衛星群管理装置11が、さらに撮像能力の高い衛星21のスケジューリングを行い、高解像かつ高精度の撮像を行う。衛星群管理装置11は、低性能の衛星21によって撮像された第1の撮像画像と、撮像能力の高い衛星21によって撮像された第2の撮像画像を用いて分析を行う。衛星群管理装置11は、例えば、差分情報に基づいて第1の撮像画像の高解像度化を行ったり、第1の撮像画像と第2の撮像画像の合成処理を行ってもよい。
以上のように、センサを用いた衛星リモートセンシングによれば、地上で発生したイベントをセンサにより検出して、上空の衛星21に、直接、撮像指示を行うことができる。特に、海洋などのインターネット未接続地域に設置されたセンサからでも、直接、衛星に撮像指示したり、衛星を介して、他の衛星に撮像指示することができる。例えば、広大な地域内の特定の場所で発生するイベントを即座に検出し、撮像を行わせることができるので、労力を大幅に削減することができる。
<15.コンピュータ構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、及びドライブ310が接続されている。
入力部306は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部307は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部308は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部309は、ネットワークインタフェースなどよりなる。ドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体311を駆動する。
以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体311に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は、以下の構成を取ることができる。
(1)
地球上に設置された送信装置と、撮像装置を有する人工衛星とを含む衛星システムの
前記送信装置が、地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する前記人工衛星に対して撮像指示を送信し、
前記人工衛星が、前記撮像指示に基づいて、前記イベントの発生領域を撮像する
衛星システムの撮像方法。
(2)
前記人工衛星は、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を送信する
前記(1)に記載の衛星システムの撮像方法。
(3)
前記人工衛星は、前記他の人工衛星に前記撮像指示を送信した場合、前記他の人工衛星に前記撮像指示を送信した旨を示すデータを地上局に送信する
前記(2)に記載の衛星システムの撮像方法。
(4)
前記人工衛星は、自身による撮像が可能ではない場合、前記他の人工衛星が撮像可能かどうかを判定し、前記他の人工衛星に前記撮像指示を送信する
前記(2)に記載の衛星システムの撮像方法。
(5)
前記人工衛星は、前記他の人工衛星が撮像可能ではない場合、地上局に前記撮像指示を送信する
前記(4)に記載の衛星システムの撮像方法。
(6)
前記人工衛星は、自身による撮像が可能ではない場合、地上局に前記撮像指示を送信する
前記(1)に記載の衛星システムの撮像方法。
(7)
前記撮像指示には、要求撮像条件を含む撮像関連情報が付加されている
前記(1)乃至(6)のいずれかに記載の衛星システムの撮像方法。
(8)
前記人工衛星は、ダウンリンクポイントに到達した場合に、前記撮像指示に基づいて撮像された撮像画像を地上局へ送信する
前記(1)または(7)に記載の衛星システムの撮像方法。
(9)
前記人工衛星は、撮像により得られた撮像画像にメタデータを付加して地上局へ送信する
前記(1)、(7)、または、(8)に記載の衛星システムの撮像方法。
(10)
前記メタデータは、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を含む
前記(9)に記載の衛星システムの撮像方法。
(11)
地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する人工衛星に対して撮像指示を送信する送信部を備える
送信装置。
(12)
前記所定のイベントを検出する前記センサをさらに備える
前記(11)に記載の送信装置。
(13)
所定の間隔で地球上に設置された複数の前記センサから前記イベントの検出結果を取得し、前記撮像指示を前記送信部に送信させる制御部をさらに備える
前記(11)に記載の送信装置。
1 衛星画像処理システム, 11 衛星群管理装置, 13 通信装置, 14 アンテナ, 15 地上局(基地局), 21 衛星, 31 衛星群, 41 情報提供サーバ, 42 画像解析サーバ, 101 管理部, 111 撮像装置, 211 制御部, 222 制御部, 231 制御部, 250 イベント検出領域, 251 送信装置, 271 送信部, 272 制御部, 273 センサ部, 291 送信装置, 292 制御装置, 293 センサ, 301 CPU, 302 ROM, 303 RAM, 306 入力部, 307 出力部, 308 記憶部, 309 通信部, 310 ドライブ

Claims (13)

  1. 地球上に設置された送信装置と、人工衛星とを含む衛星システムの
    前記送信装置が、地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する前記人工衛星に対して撮像指示を送信し、
    前記人工衛星自身による撮像が可能である場合、前記撮像指示に基づいて、前記イベントの発生領域を撮像し、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を実行させる送信を行う
    衛星システムの撮像方法。
  2. 前記他の人工衛星に前記撮像指示を実行させる送信は、前記他の人工衛星への前記撮像指示送信である
    請求項1に記載の衛星システムの撮像方法。
  3. 前記人工衛星は、前記他の人工衛星に前記撮像指示を送信した場合、前記他の人工衛星に前記撮像指示を送信した旨を示すデータを地上局に送信する
    請求項2に記載の衛星システムの撮像方法。
  4. 前記人工衛星は、自身による撮像が可能ではない場合、前記他の人工衛星が撮像可能かどうかを判定し、前記他の人工衛星に前記撮像指示を送信する
    請求項2に記載の衛星システムの撮像方法。
  5. 前記人工衛星は、前記他の人工衛星が撮像可能ではない場合、地上局に前記撮像指示を送信する
    請求項4に記載の衛星システムの撮像方法。
  6. 前記他の人工衛星に前記撮像指示を実行させる送信は、地上局を介した前記他の人工衛星への前記撮像指示送信である
    請求項1に記載の衛星システムの撮像方法。
  7. 前記撮像指示には、要求撮像条件を含む撮像関連情報が付加されている
    請求項1に記載の衛星システムの撮像方法。
  8. 前記人工衛星は、自身による撮像を行い、ダウンリンクポイントに到達した場合に、前記撮像指示に基づいて撮像された撮像画像を地上局へ送信する
    請求項1に記載の衛星システムの撮像方法。
  9. 前記人工衛星は、撮像により得られた撮像画像にメタデータを付加して地上局へ送信する
    請求項1に記載の衛星システムの撮像方法。
  10. 前記メタデータは、前記人工衛星を含む衛星群を識別する衛星群識別子、前記人工衛星を識別する衛星識別子、および、前記衛星群を構成する各人工衛星の相対位置情報を含む
    請求項9に記載の衛星システムの撮像方法。
  11. 撮像指示を受信し、自身による撮像が可能である場合、自身による撮像を行い、自身による撮像が可能ではない場合、他の人工衛星に前記撮像指示を実行させる送信を行う人工衛星と通信を行う送信装置であって、
    地球上に設置されたセンサで検出された所定のイベントに応じて、上空を通過する前記人工衛星に対して前記撮像指示を送信する送信部を備える
    送信装置。
  12. 前記所定のイベントを検出する前記センサをさらに備える
    請求項11に記載の送信装置。
  13. 所定の間隔で地球上に設置された複数の前記センサから前記イベントの検出結果を取得し、前記撮像指示を前記送信部に送信させる制御部をさらに備える
    請求項11に記載の送信装置。
JP2021525990A 2019-06-12 2020-05-29 衛星システムの撮像方法、および、送信装置 Active JP7497727B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019109283 2019-06-12
JP2019109283 2019-06-12
PCT/JP2020/021285 WO2020250707A1 (ja) 2019-06-12 2020-05-29 衛星システムの撮像方法、および、送信装置

Publications (2)

Publication Number Publication Date
JPWO2020250707A1 JPWO2020250707A1 (ja) 2020-12-17
JP7497727B2 true JP7497727B2 (ja) 2024-06-11

Family

ID=73781998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525990A Active JP7497727B2 (ja) 2019-06-12 2020-05-29 衛星システムの撮像方法、および、送信装置

Country Status (4)

Country Link
US (1) US20220234764A1 (ja)
EP (1) EP3962061A4 (ja)
JP (1) JP7497727B2 (ja)
WO (1) WO2020250707A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929615A (zh) * 2021-01-22 2021-06-08 周芹 一种基于卫星通讯的图像传输装置及方法
JPWO2022209418A1 (ja) * 2021-03-31 2022-10-06
JP7127914B1 (ja) 2022-02-22 2022-08-30 株式会社ワープスペース 通信計画装置、衛星、および衛星システム
JP7211651B1 (ja) 2022-02-22 2023-01-24 株式会社ワープスペース 衛星運用装置、衛星運用方法、衛星装置、および衛星運用システム
US20230336696A1 (en) * 2022-04-15 2023-10-19 Microsoft Technology Licensing, Llc Ground sensor-triggered satellite image capture
CN115412145B (zh) * 2022-06-30 2024-04-09 中国空间技术研究院 一种红外遥感数据在轨处理与多通道传输系统
CN116382333B (zh) * 2023-03-23 2023-12-05 北京和德宇航技术有限公司 一种卫星指令的编排方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040021770A1 (en) 2002-07-01 2004-02-05 Krill Jerry A. System and method for real-time image control and processing for use in wide area space based surveillance
US20130077788A1 (en) 2011-09-23 2013-03-28 The Boeing Company Selective Downlink Data Encryption System for Satellites
US20150318916A1 (en) 2013-07-17 2015-11-05 Hughes Network Systems, Llc System and architecture for space-based and mobile terrestrial sensor vehicles, and end-to-end network for aggregation and processing of sensor data
JP2016181862A (ja) 2015-03-25 2016-10-13 国立大学法人 和歌山大学 衛星を利用した無線センサネットワークシステム
JP2017165402A (ja) 2016-03-14 2017-09-21 三菱スペース・ソフトウエア株式会社 衛星運用計画作成装置及び衛星運用計画作成プログラム
US20190028544A1 (en) 2015-09-04 2019-01-24 Spacemetric Ab Smart downloading of sensing data in remote sensing systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863811B2 (ja) 2002-06-07 2006-12-27 三菱電機株式会社 移動体通信装置
WO2010097921A1 (ja) 2009-02-26 2010-09-02 三菱電機株式会社 移動体撮像システム及び移動体及び地上局装置及び移動体撮像方法
US10762458B1 (en) * 2013-10-24 2020-09-01 Planet Labs, Inc. Satellite scheduling system
EP3182700A1 (en) * 2015-12-18 2017-06-21 Airbus Defence and Space Limited Continuous video from satellites
FR3045990B1 (fr) * 2015-12-18 2018-02-02 Airbus Defence And Space Sas Procede et systeme d'acquisition d'images par une constellation de satellites d'observation
JP2019513315A (ja) * 2016-02-29 2019-05-23 ウルグス ソシエダード アノニマ 惑星規模解析のためのシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040021770A1 (en) 2002-07-01 2004-02-05 Krill Jerry A. System and method for real-time image control and processing for use in wide area space based surveillance
US20130077788A1 (en) 2011-09-23 2013-03-28 The Boeing Company Selective Downlink Data Encryption System for Satellites
US20150318916A1 (en) 2013-07-17 2015-11-05 Hughes Network Systems, Llc System and architecture for space-based and mobile terrestrial sensor vehicles, and end-to-end network for aggregation and processing of sensor data
JP2016181862A (ja) 2015-03-25 2016-10-13 国立大学法人 和歌山大学 衛星を利用した無線センサネットワークシステム
US20190028544A1 (en) 2015-09-04 2019-01-24 Spacemetric Ab Smart downloading of sensing data in remote sensing systems
JP2017165402A (ja) 2016-03-14 2017-09-21 三菱スペース・ソフトウエア株式会社 衛星運用計画作成装置及び衛星運用計画作成プログラム

Also Published As

Publication number Publication date
EP3962061A4 (en) 2022-06-01
US20220234764A1 (en) 2022-07-28
WO2020250707A1 (ja) 2020-12-17
JPWO2020250707A1 (ja) 2020-12-17
EP3962061A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
JP7497727B2 (ja) 衛星システムの撮像方法、および、送信装置
JP7452541B2 (ja) 人工衛星およびその制御方法
Fu et al. Remote sensing satellites for digital earth
CA3067604C (en) System and method for widespread low cost orbital satellite access
EP3077985B1 (en) Systems and methods for processing distributing earth observation images
Cunningham et al. National Polar-orbiting Operational Environmental Satellite System: meeting future user needs for Earth system observations
EP3653990B1 (en) Real-time moving platform management system
JP2004501343A (ja) 直接放送イメージング衛星システム装置および方法
WO2001005041A9 (en) Direct broadcast satellite imaging system providing real-time, continuous monitoring of earth from geostationary earth orbit
WO2022107619A1 (ja) データ解析装置および方法、並びに、プログラム
WO2022107620A1 (ja) データ解析装置および方法、並びに、プログラム
US20230079285A1 (en) Display control device, display control method, and program
WO2020250708A1 (ja) 画像管理方法、および、メタデータのデータ構造
US20230015980A1 (en) Image generation device, image generation method, and program
US20120307003A1 (en) Image searching and capturing system and control method thereof
WO2020250706A1 (ja) 画像処理方法、および、メタデータのデータ構造
WO2022138182A1 (ja) 人工衛星および地上システム
Ilčev Global Satellite Meteorological Observation (GSMO) Applications: Volume 2
Gleyzes et al. Pleiades system fully operational in orbit
US20240029391A1 (en) Sensor device and data processing method thereof
Guo et al. Other Earth Observation Satellites
Collins UAS Applications
Bloom et al. The NPOESS system: providing improved real-time data to meet future needs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240513

R150 Certificate of patent or registration of utility model

Ref document number: 7497727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150