以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。
実施の形態1.
図1は、本発明に係る実施の形態1である観測システム1の概略構成を示すブロック図である。図1に示されるように、この観測システム1は、地球周辺における人工衛星、宇宙ステーション、スペースデブリ(宇宙ゴミ)または小天体(たとえば、小惑星、彗星もしくは惑星間塵)などの移動体を含む空間領域を撮像してセンサ画像を出力する観測センサ10と、この観測センサ10を機械的に駆動して観測センサ10の指向方向を特定の方向に向ける駆動部15と、観測センサ10及び駆動部15の各動作を制御する制御装置20と、観測センサ10から連続的に出力された複数枚のセンサ画像を基にその移動体の位置を検出し当該移動体を識別することもできる移動体検出装置30とを備えて構成されている。
観測センサ10は、図1に示されるように、結像光学系11、シャッタ部12、フィルタ部13及び光検出器14を有している。結像光学系11は、移動体を含む空間領域から伝播した入射光に基づいて光検出器14の受光面に光学像を形成する機能を有する。光検出器14は、その光学像を電気的に検出して2次元の撮像画像を生成し、この撮像画像に信号処理を施してセンサ画像を生成する。結像光学系11は、たとえば、光の屈折を利用する屈折型の光学望遠鏡で実現可能であり、識別対象である移動体自ら発した放射光、または当該移動体で反射された光(たとえば、太陽などの恒星から放射された後に移動体で反射された光)を結像することができる。
なお、結像光学系11は、屈折型の光学望遠鏡に限らず、たとえば、光の反射を利用する反射型の光学望遠鏡で実現されてもよい。また、屈折型の光学望遠鏡と反射型の光学望遠鏡との組み合わせで結像光学系11が実現されてもよい。
シャッタ部12は、結像光学系11と光検出器14との間に介在し、且つ結像光学系11と光検出器14との間の光路上に配置されている。このシャッタ部12は、制御装置20から供給された露光制御信号ECに応じて、結像光学系11からの入射光を透過させる開状態、または、結像光学系11からの入射光を遮蔽する閉状態のいずれか一方の状態となるように制御される。後述するように、シャッタ部12は、露光制御信号ECに応じて、結像光学系11からの入射光の遮断と透過とを交互に繰り返し実行するので、光検出器14は、等時間間隔で複数枚のセンサ画像を連続的に出力することができる。シャッタ部12は、たとえば、機械的、電子的または音響光学的なシャッタ機構によって実現可能であり、いわゆるカメラのシャッタと同様に、露光時間に合わせて開状態または閉状態となることで、結像光学系11からの入射光の遮断と透過とを交互に繰り返し実行することができる。
フィルタ部13は、結像光学系11と光検出器14との間に介在し、且つ結像光学系11と光検出器14との間の光路上に配置されている。このフィルタ部13は、互いに異なる光学特性を有する複数の光学フィルタを有し、制御装置20から供給されたフィルタ制御信号FCに従い、これら複数の光学フィルタを選択的に使用して入射光のフィルタリングを行う。このようなフィルタ部13は、複数の光学フィルタを保持するフィルタホイールと、このフィルタホイールを回転させる回転駆動部とで実現可能である。フィルタ部13は、フィルタホイールを回転させることで、使用すべき光学フィルタを切り替えることができる。光学フィルタとしては、たとえば、特定の透過波長域を有する波長選択フィルタが使用されればよい。フィルタ部13は、複数の光学フィルタを順番に使用して入射光のフィルタリングを行うことができる。
なお、フィルタ部13においては、不要な光を選択的に取り除く波長選択フィルタが光路に配置されていてもよいし、あるいは、光路を幾何的に分割する偏光ビームスプリッタが光路に配置されていてもよい。更には、不要な光を反射させて必要な光を透過させる遮光フィルタが光路に配置されていてもよい。
光検出器14は、制御装置20から供給された撮像制御信号SCに従い、フィルタ部13を透過した入射光を電気的に検出して、観測対象の移動体が明点領域として現れる2次元の光強度画像すなわちセンサ画像を生成し、このセンサ画像を移動体検出装置30に出力する。光検出器14は、たとえば、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子を用いて実現可能である。
光検出器14が固体撮像素子で構成されている場合、結像光学系11の指向方向に対応する点が光強度画像の中心位置からずれていたとしても、観測対象の移動体を表す明点領域がセンサ画像内に現れていれば、移動体検出装置30は、その移動体を検出することができる。このため、結像光学系11の指向方向の制御が容易となるという利点がある。結像光学系11の視野において垂直方向(上下方向)もしくは水平方向(左右方向)またはこれらの組み合わせのいずれの方向に向かって移動体が移動しているかをセンサ画像から判断することができる。更に、恒星の像や他の移動体の像からの漏れ込み光の有無をセンサ画像に基づいて判断することも可能である。
制御装置20は、観測制御部21、時刻校正部22及び計時カウンタ23を有している。観測制御部21は、駆動制御信号DCを駆動部15に供給することにより結像光学系11の指向方向を制御することができる。駆動部15は、たとえば、経緯台または赤道儀などの、少なくとも1軸以上の回転軸を有する回転ステージと、この回転ステージを駆動するモータを含む回転駆動機構とで構成することができる。結像光学系11は、その回転ステージ上に保持される。回転駆動機構は、回転ステージを駆動して、駆動制御信号DCで指定された方向に結像光学系11の指向方向を設定することができる。
また、観測制御部21は、露光制御信号EC、フィルタ制御信号FC及び撮像制御信号SCをシャッタ部12、フィルタ部13及び光検出器14にそれぞれ供給する。露光制御信号ECは、シャッタ部12の状態を開状態または閉状態のいずれか一方に切り替える信号である。フィルタ制御信号FCは、フィルタ部13で使用されるべき光学フィルタを指定する制御信号である。フィルタ部13は、複数の光学フィルタの中からフィルタ制御信号FCで指定された光学フィルタを用いて入射光のフィルタリングを行う。また、撮像制御信号SCは、光検出器14の撮像動作を制御する信号である。光検出器14は、撮像制御信号SCで指定された撮像時刻に動作して(すなわち光学像を光電変換して)センサ画像を出力する。
一方、計時カウンタ23は、代表的な時刻からの経過時間をカウントし、その経過時間(カウント値)を観測制御部21に与える。観測制御部21は、その経過時間に基づいて観測センサ10に対する制御を行い、撮像時刻を示す時間情報TMを移動体検出装置30に供給する。
時刻校正部22は、計時カウンタ23で生成される経過時間に誤差が生じているときは、その誤差を校正する機能を有している。具体的には、時刻校正部22は、たとえば、GPSセンサなどのGNSS(Global Navigation Satellite System)センサを用いて外部から高精度な時刻情報を取得し、この時刻情報を用いて、経過時間に生じている誤差を校正することができる。その誤差の校正は、移動体を観測する前に行われることが望ましい。GNSSセンサは、複数のGNSS衛星から電波を受信し、これら受信電波から制御装置20の現在位置及び現在時刻を演算するデバイスである。時刻校正部22は、GNSSセンサを用いて時刻情報を取得する代わりに、たとえば、電波時計用の標準電波を受信して時刻情報を取得し、あるいは、NTP(Network Time Protocol)に代表される、ネットワーク機器の時刻同期のためのプロトコルを利用して時刻情報を取得してもよい。たとえば、恒星は、日周運動により、1秒間で15秒角(=15/3600°)ほど動くため、当該恒星の位置決定に秒角の精度が必要な場合には、少なくともサブ秒(1秒未満)の精度で経過時間の誤差を校正する必要がある。時刻校正部22は、協定世界時(Coordinated Universal Time)を基準とした時刻情報を取得することが望ましい。
制御装置20は、天体観測用のレーダ装置などの追尾装置2から移動体に関する情報を取得することができる。この追尾装置2は、空間領域を探索して移動体を見つけ出す探索機能と、見つけ出された移動体を追尾する追尾機能とを有するものである。本実施の形態の観測システム1は、この追尾装置2を備えて構成されてもよい。
制御装置20のハードウェア構成は、たとえば、CPU(Central Processing Unit)内蔵の半導体集積回路を有する情報処理装置により実現可能である。あるいは、制御装置20のハードウェア構成は、FPGA(Field−Programmable Gate Array)などのプログラム基板で実現されてもよい。
次に、移動体検出装置30の構成及び動作について説明する。観測センサ10は、制御装置20による制御を受けて、特定の指向方向における空間領域を等時間間隔で連続的に複数回撮像して複数枚のセンサ画像SI1〜SIN(Nは2以上の整数)を出力する。移動体検出装置30は、これらセンサ画像SI1〜SINに基づき、その空間領域を移動する移動体の位置を検出することができる。
具体的には、図1に示されるように、移動体検出装置30は、観測センサ10からセンサ画像SI1〜SINが入力され且つ制御装置20から時間情報TMが入力される記録処理部31と、センサ画像SI1〜SINを含む各種データが格納される記録部50と、センサ画像SI1〜SINに対して必要に応じてダーク処理及びフラット処理を施して補正センサ画像CI1〜CINを出力する前処理部32と、補正センサ画像CI1〜CINに基づいて検出器座標系(画像座標系)と天球座標系との間の座標変換に関する情報(以下「座標変換情報」と呼ぶ。)を生成する座標変換情報生成部33と、補正センサ画像CI1〜CINからノイズを除去して観測画像OI1〜OINを生成するノイズ除去部34と、観測画像OI1〜OINに基づいて当該空間領域における移動体の位置座標及び輝度を検出する明点処理部40とを備えている。
以下、本明細書では、検出器座標系(画像座標系)上の位置座標を「画像座標」といい、天球座標系上の位置座標を「天球座標」というものとする。天球座標系としては、たとえば、赤道座標系、地平座標系または銀河座標系などの複数の座標系が挙げられる。これら複数の座標系のうちのいずれが使用されてもよい。
<前処理>
前処理部32は、観測制御部21と連携して前処理(1次処理)を実行する。図2は、本実施の形態に係る前処理の手順の一例を概略的に示すフローチャートである。
図2を参照すると、観測制御部21は、先ず、観測対象である移動体から放射された光または当該移動体で反射された光を結像光学系11に結像させるために、結像光学系11の指向方向を指示する(ステップST10)。具体的には、観測制御部21は、駆動制御信号DCを駆動部15に供給することにより、結像光学系11の指向方向を駆動制御信号DCで示された指示方向に一致させる。結像光学系11は、物体面を像面に投影する機能を有し、指向方向の基準となる光軸を有している。駆動部15は、結像光学系11の光軸方向を指示方向に合わせることでその指向方向を当該指示方向に一致させることができる。観測制御部21は、結像光学系11の指向方向が指示方向に到達するまで待機している(ステップST11のNO)。
なお、観測制御部21は、移動体が結像光学系11の視野の範囲内に現れるように、結像光学系11の指向方向を駆動部15に指示する。ここで、結像光学系11の視野と、光検出器14の視野とが互いに異なる場合には、観測制御部21は、結像光学系11及び光検出器14の2つの視野のうち、狭い方の視野の範囲内に移動体の像が入るように、結像光学系11の指向方向を駆動部15に指示する。このとき、たとえば、移動体が静止衛星であり、観測センサ10が地上に設置されている場合には、移動体に対する観測センサ10の相対位置が変化しないので、移動体の像が結像光学系11の視野の範囲内に入るように、結像光学系11の指向方向が一度指示されれば、これ以後、観測制御部21は、結像光学系11の指向方向を固定すればよい。
一方、移動体の像が結像光学系11の視野に対して相対的に動いている場合、移動体に対する観測センサ10の相対位置が変化しても、移動体の像が結像光学系11の視野の範囲の外に出ないようにするには、観測制御部21は、結像光学系11の指向方向の制御を継続して実行する必要がある。このために、観測制御部21は、たとえば、移動体を追尾している追尾装置2から、当該移動体の予測位置を示す位置情報を取得することで、各観測時刻(各撮像時刻)での結像光学系11に対する移動体の相対位置を把握することが好ましい。観測制御部21は、その相対位置に基づいて結像光学系11の指向方向を駆動部15に指示することができる。
ただし、観測対象の移動体の種類がある程度絞られており、その移動体の軌道情報が公開されている場合には、観測制御部21は、その公開されている軌道情報を参照することで、各観測時刻(撮像時刻)での移動体の相対位置を把握することができる。この場合、追尾装置2から位置情報を取得せずに、結像光学系11の指向方向を制御することが可能である。なお、明点処理部40による移動体の識別が完了していない段階では、移動体の種類が不明であるため、移動体の軌道情報を誤って参照する可能性がある点に留意すべきである。
上記ステップST11において結像光学系11の指向方向が指示方向に到達したとき(ステップST11のYES)、観測制御部21は、観測センサ10に当該指向方向における空間領域の観測を開始させる(ステップST12)。このとき、観測センサ10は、当該指向方向における空間領域を等時間間隔で連続的に複数回撮像して複数枚のセンサ画像SI1〜SINを移動体検出装置30に出力する。移動体検出装置30の記録処理部31は、観測センサ10から転送されたセンサ画像SI1〜SINと制御装置20から転送された時間情報TM(撮像時刻を含む。)とを受信し、これらセンサ画像SI1〜SINとこれらの撮像時刻とを示す観測データを観測データ格納部51に格納する。
なお、本実施の形態では、記録処理部31は、光検出器14から直接転送されたセンサ画像SI1〜SINを受信しているが、これに限定されるものではない。たとえば、センサ画像SI1〜SINが図示されないストレージの一時記録領域に書き込まれた後に、記録処理部31がその一時記録領域からセンサ画像SI1〜SINを読み出してもよい。
ところで、センサ画像SI1〜SINに現れる移動体の像が暗いと、その移動体の像はノイズに埋もれて識別されることが難しい場合が考えられる。また、結像光学系11に対して相対的に移動している移動体が撮像される場合、光検出器14の露光時間が長いと、移動体の像が流れてしまう。これを防ぐために、観測制御部21は、結像光学系11からの入射光の遮断と透過とを交互に実行して露光時間を調節している。
たとえば、シャッタ部12の開放時間(開状態の継続時間)が1.0秒であり、観測データの転送のため露光できない時間が0.5秒である場合、観測制御部21が1.5秒置きにシャッタ部12を1.0秒間だけ開放することで、等時間間隔の撮像が可能となる。後に詳述するように、明点処理部40の周波数解析部42は、観測画像OI1〜OINを重ね合わせることにより、移動体を表す複数の明点領域が周期的に現れる重ね合わせ画像を生成し、この重ね合わせ画像を利用して移動体の移動ベクトルを算出する。この移動ベクトルの算出のためには、等時間間隔での撮像が望ましい。
光検出器14におけるセンサ画像の撮像時刻は、シャッタ部12の開時刻(開状態の開始時刻)と同期している。観測制御部21は、たとえば、シャッタ部12の開時刻を観測開始時刻とすることができる。
上記ステップST12の実行後、前処理部32は、観測データ格納部51からセンサ画像SI1〜SINを取得するとともに、観測制御部21からセンサ画像SI1〜SINのステータス情報を取得する(ステップST13)。ステータス情報は、少なくとも、観測開始時刻、シャッタ部12の開時刻、結像光学系11の指向方向、ダーク処理の有無、及びフラット処理の有無を示す情報を含む。
次に、前処理部32は、ステータス情報に基づき、ダーク処理が実行済みか否かを判定する(ステップST14)。ダーク処理が実行済みと判定した場合(ステップST14のYES)、前処理部32は、ステップST17に処理を移行させる。たとえば、観測センサ10の光検出器14が撮像画像に対して既にダーク処理を実行してセンサ画像SI1〜SINを生成している場合に、ダーク処理が実行済みと判定される(ステップST14のYES)。
一方、ダーク処理が未だ実行されていないと判定した場合(ステップST14のNO)、前処理部32は、観測データ格納部51からダークフレームを読み込む(ステップST15)。ここで、ダークフレームとは、光検出器14が露光されない状態で出力するフレーム画像をいう。このダークフレームには、光検出器14に固有のノイズ(たとえば、暗電流に起因する暗電流ノイズや読み出し回路に起因するバイアスノイズ)だけが記録されている。
そして、前処理部32は、ダークフレームを用いたダーク処理を実行してライトフレーム(すなわち、センサ画像SI1〜SIN)を補正する(ステップST16)。具体的には、前処理部32は、各ライトフレームから画素ごとにダークフレームを差し引くことで各ライトフレーム中のノイズを低減させる。ライトフレームは、ダーク処理及び後述のフラット処理が施されていない撮像画像をいう。なお、ダークフレームの撮像は、たとえば、ライトフレームの撮像の直前または直後のタイミングで実行されればよい。あるいは、事前にダークフレームが撮像されて観測データ格納部51に格納されていてもよい。ノイズ低減効果を向上させる観点からは、ダークフレーム撮像時の露光時間は、ライトフレーム撮像時の露光時間と同じであることが望ましい。
次に、前処理部32は、ステータス情報に基づき、フラット処理が実行済みか否かを判定する(ステップST17)。フラット処理が実行済みと判定した場合(ステップST17のYES)、前処理部32は、ステップST20に処理を移行させる。たとえば、観測センサ10の光検出器14がフラット処理を実行している場合に、フラット処理が実行済みと判定される(ステップST17のYES)。
一方、フラット処理が未だ実行されていないと判定した場合(ステップST17のNO)、前処理部32は、観測データ格納部51からフラットフレームを読み込む(ステップST18)。結像光学系11の瞳位置(結像光学系11のおよそ開口部)を均一に照明する光を光検出器14が撮像すると、光検出器14の受光面の中央が明るく、且つその受光面の周辺部が暗いフレーム画像が得られる。このフレーム画像を当該フレーム画像の平均値で正規化することで、観測センサ10の光学系の効率を表すフラットフレームを生成することができる。フラットフレームは事前に生成されて観測データ格納部51に格納されていればよい。
そして、前処理部32は、フラットフレームを用いたフラット処理を実行する(ステップST19)。具体的には、前処理部32は、ダーク処理が施されている各ライトフレームを画素ごとにフラットフレームで除算することでフラット処理を実行する。
最終的に、前処理部32は、ステータス情報がヘッダ情報として付加された補正センサ画像CI1〜CINを処理データ格納部52に保存する(ステップST20)。補正センサ画像CI1〜CINは、ダーク処理及びフラット処理が施されたライトフレーム群である。なお、前処理部32は、ヘッダ情報付きの補正センサ画像CI1〜CINを処理データ格納部52に保存せずに、座標変換情報生成部33に直接与えてもよい。
図3は、移動体検出装置30で生成される各種フレーム画像の例を示す概略図である。図3のフレーム画像群において、星印は星像を、白丸は移動体の像をそれぞれ表している。図3に示されるように、センサ画像SI1〜SINのいずれかを表すフレーム画像IMG1においては、観測センサ10の光学系の周辺減光の影響により、その中央部が比較的明るく、その周辺部が比較的暗い。また、図示されない多数の暗電流ノイズやバイアスノイズなどのノイズが存在する。前処理部32は、このようなフレーム画像IMG1にダーク処理及びフラット処理を施すことでフレーム画像IMG2を生成することができる。このフレーム画像IMG2では、暗電流ノイズやバイアスノイズが除去され、観測センサ10の光学系の周辺減光の影響が補正されている。
<座標変換情報生成処理>
次に、座標変換情報生成部33の動作について説明する。座標変換情報生成部33は、補正センサ画像CI1〜CINを用いて座標変換情報生成処理を実行する。図4は、座標変換情報生成処理の手順の一例を概略的に示すフローチャートである。
図4を参照すると、座標変換情報生成部33は、先ず、処理データ格納部52からヘッダ情報付きの補正センサ画像CI1〜CINを読み込む(ステップST21)。次に、座標変換情報生成部33は、座標変換情報の作成に必要なパラメータのすべてがヘッダ情報に含まれているか否かを判定する(ステップST22)。パラメータとしては、1画素当たりの視野角(または1画素の大きさ)、結像光学系11の焦点距離、及び有効撮像画素数が挙げられる。必要なパラメータのすべてがヘッダ情報に含まれていない場合は(ステップST22のNO)、座標変換情報生成部33は、不足のパラメータを外部の観測制御部21から取得する(ステップST23)。
ヘッダ情報に必要なパラメータのすべてが含まれていた場合(ステップST22のYES)、またはステップST23が実行された場合は、座標変換情報生成部33は、光検出器14の視野中心及び視野角を算出する(ステップST24)。具体的には、座標変換情報生成部33は、結像光学系11の指向方向が光検出器14の視野中心と対応すると仮定して当該視野中心を算出することができる。また、視野角については、座標変換情報生成部33は、1画素の大きさと結像光学系11の焦点距離とに基づいて1画素当たりの視野角を算出し、この1画素当たりの視野角に有効撮像画素数を乗算することで画像全体の視野角を算出することができる。光検出器14の視野中心と視野角とが算出されると、検出器座標系上の位置座標(すなわち画像座標)を天球座標と対応付けて表すことが可能となる。天球座標としては、たとえば、天の赤道を基準とした赤道座標系上の位置座標(赤経及び赤緯)、地平線を基準とした地平座標系上の位置座標(方位角及び仰角の組、または方位角及び天頂角の組)、または銀河面を基準とした銀河座標系上の位置座標が挙げられる。
次に、座標変換情報生成部33は、補正センサ画像CI1〜CINにおけるすべての明点領域の位置及び輝度を検出する(ステップST25)。ここで、明点領域とは、閾値以上の画素値を有する1画素以上の画素からなる画素群である。閾値は、0よりも大きく、且つ最大画素値よりも小さい値に設定されればよい。この段階での明点領域は、移動体の像の他、たとえば、恒星や流星の像、光検出器14に固有のノイズ(以下「検出器起源のノイズ」と呼ぶ。)、及び宇宙線によるランダムなノイズ(以下「宇宙線起源のノイズ」という。)を含む領域である。
明点領域の位置については、座標変換情報生成部33は、たとえば、明点領域を構成する画素群の重心位置を明点領域の位置として算出することができる。補正センサ画像CI1〜CIN各々に現れる移動体の位置は、明点領域を基準にして求められる。結像光学系11の大きさが有限の場合、回折限界による光束の広がりが生ずる。実際には、大気の揺らぎによる広がりやシーイングの影響もあるので、移動体または恒星を表す像は、回折限界よりも広がる。このため、座標変換情報生成部33は、補正センサ画像CI1〜CIN各々に現れる明点領域の位置を求める際、広がりを持っている像の重心位置を明点領域の位置として算出することが好ましい。
なお、明点領域の位置は、点像の重心位置として算出することができるが、これに限定されるものではない。たとえば、補正センサ画像CI1〜CINに現れる各明点領域をガウス関数またはsinc関数などの近似関数でフィッティングすることで、明点領域の位置が算出されてもよい。
明点領域の輝度については。座標変換情報生成部33は、先ず、補正センサ画像CI1〜CIN上での明点領域の位置を中心として適正な積分半径を設定する。次いで、座標変換情報生成部33は、その積分半径内の領域の画素値を積算し、その積算値に基づいて単位時間当りの明点領域の光量を明点領域の輝度として算出することができる。適正な積分半径としては、広がりを持っている点像を包含する画素領域を示す半径が考えられる。たとえば、広がりを持っている点像が3×3画素からなる画素群であれば、この画素群を包含する画素領域の中で、出来る限り小さな領域を示す半径が適正な積分半径である。
なお、明点領域の輝度は、前述のとおり、積分半径を用いて算出することができるが、これに限定されるものではない。上述のとおり、補正センサ画像CI1〜CINに現れる明点領域をガウス関数またはsinc関数などの近似関数でフィッティングすることで、明点領域の位置とともに明点領域の輝度が算出されてもよい。
ステップST25の実行後は、座標変換情報生成部33は、恒星データベース(恒星DB)53を参照して恒星カタログを用いたマッチング処理を実行する(ステップST26)。恒星カタログは、ガイド星(Guide Star)と呼ばれる既知の恒星の天球座標を示す情報であり、記録部50内の恒星データベース53に記憶されている。
マッチング処理の詳細について以下に説明する。先ず、座標変換情報生成部33は、座標変換演算子Γを用いて、ステップST25で算出されたすべての明点領域の画像座標を天球座標に変換する。ここで、座標変換演算子Γに使用されるパラメータ(以下「座標変換パラメータ」という。)としては、光検出器14が当該明点領域を含むセンサ画像(ライトフレーム)を撮像した時刻でのパラメータが使用される。なお、1つの観測時間帯では、結像光学系11の指向方向は一定であるものとする。
光検出器14の受光面は平面であることが多いため、厳密にいえば、検出器座標系(画像座標系)と天球座標系との間の座標変換は、正射影変換または等立体角射影変換などの非線形変換である。天球に対する受光面の視野が全天に比べて無視できない程大きい場合、たとえば、光学系に魚眼レンズを使う場合には、この非線形変換の影響が顕著であるが、受光面の視野が小さい場合、当該座標変換を線形変換で近似することができる。ここでは説明を簡略化するため、線形変換の例で説明するが、より一般的な天球座標系と検出器座標系との間の座標変換に関しては、たとえば、下記の非特許文献1に開示されている方法を使用してもよい。
・非特許文献1:Representations of celestial coordinates in FITS (Paper II), Calabretta, M. R., and Greisen, E. W., Astronomy & Astrophysics, 395, 1077-1122, 2002.
具体的に説明すると、座標変換情報生成部33は、補正センサ画像の中心位置を示す画像中心座標(Px0,Py0)が結像光学系11の指向方向の天球座標(α1,δ1)に対応すると仮定し、その中心位置から各明点領域の位置までの画素数の組み合わせ、すなわち、水平方向における画素数(水平方向画素数)Pxと垂直方向における画素数(垂直方向画素数)Pyとの組み合わせを当該明点領域の画像座標(Px,Py)として算出する。本明細書では、説明の便宜上、(Px,Py)=(0,0)とする。たとえば、図3のフレーム画像IMG2における中心位置に対して右側に存在する明点領域の水平方向位置の符号をプラスとし、その画像中心位置に対して左側に存在する明点領域の水平方向位置の符号をマイナスとすることができる。また、たとえば、その画像中心位置に対して上側に存在する明点領域の垂直方向位置の符号をプラスとし、その中心位置に対して下側に存在する明点領域の垂直方向位置の符号をマイナスとすることができる。
座標変換情報生成部33は、明点領域の画像座標(Px,Py)を算出すると、以下の式(1)に示されるように、座標変換演算子Γを用いて、明点領域の画像座標(Px,Py)を天球座標(α2,δ2)に変換することができる。
(α2,δ2)=Γ(Px,Py) (1)
赤道座標系が採用される場合、α2は赤経を、δ2は赤緯をそれぞれ表す値であり、地平座標系が採用される場合には、α2は方位角を、δ2は仰角をそれぞれ表す値である。なお、座標変換演算子Γの逆変換Γ−1を使用すれば、次式(2)が成立する。
(Px,Py)=Γ−1(α2,δ2) (2)
座標変換演算子Γが、変換行列A={aij}及び平行移動の組み合わせで近似される場合には、天球座標(α2,δ2)は、次式(3A),(3B)により算出することができる。
α2=a11・(Px−Px0)+a12・(Py−Py0)+α1 (3A)
δ2=a21・(Px−Px0)+a22・(Py−Py0)+δ1 (3B)
上式(3A),(3B)を使用した座標変換が行われる場合、座標変換パラメータは、α1,δ1,a11〜a22である。説明を簡単にするため、光検出器14を回転させて、画像の水平方向及び垂直方向と、天球座標系の方向(たとえば、赤経及び赤緯の向き)とが互いに揃うように事前に調整されている場合を考える。この場合において、たとえば、単純なケースでは、a11は、水平方向の1画素に対応する赤経の値に、a22は、垂直方向の1画素に対応する赤緯の値に、a21,a12は零の値にそれぞれ設定可能である。また、説明を簡単にするため、観測センサ10の光学系の歪曲などの歪みが十分に小さいものと仮定されているが、歪みが補正される場合は、上記の非特許文献1に開示されている技術を使用することが望ましい。
次に、座標変換情報生成部33は、各明点領域を、恒星カタログに登録されている既知の恒星とマッチング(照合)する。すなわち、座標変換情報生成部33は、次式(4A),(4B)に示されるように、明点領域の天球座標系上の実測の位置座標(α2,δ2)と、恒星カタログに登録されている各恒星の位置(αC,δC)との間の差分Δ=(Δα,Δδ)を算出し、この差分Δの大きさを示すマッチング残差を算出する。
Δα=α2−αC (4A)
Δδ=δ2−δC (4B)
差分Δの大きさは、たとえば、差分Δの要素の二乗和(=(Δα)2+(Δβ)2)または当該二乗和の平方根として算出可能である。以上がステップST26のマッチング処理の内容である。
ステップST26の実行後は、座標変換情報生成部33は、マッチングに成功したか否かを判定する(ステップST27)。具体的には、座標変換情報生成部33は、複数の明点領域のうちマッチング残差が小さい順に選択された所定点数(たとえば4点)の明点領域を既知の恒星の像であると識別する。これら選択された明点領域のマッチング残差が予め定められた閾値よりも小さくなれば、マッチングに成功したとの判定がなされ(ステップST27のYES)、マッチング残差が予め定められた閾値以上であれば、マッチングに失敗したとの判定がなされる(ステップST27のNO)。
マッチングに失敗した場合(ステップST27のNO)、座標変換情報生成部33は、座標変換パラメータを微調整のために補正する(ステップST28)。たとえば、座標変換情報生成部33は、結像光学系11の指向方向を示す座標変換パラメータα1,δ1をマッチング残差が小さくなる方向にずらすことができる。その後、マッチング処理回数が予め定めた設定回数に到達していなければ(ステップST29のNO)、座標変換情報生成部33は、補正された座標変換パラメータを用いてステップST26のマッチング処理を再度実行する。実際の運用では、駆動部15の駆動誤差、観測位置または観測時刻の誤差などの要因により、結像光学系11の指向方向が目標方向(α1,δ1)からずれることがある。このような場合でも、ステップST26,ST27,ST28,ST29を実行することでα1,δ1を補正することができる。なお、高精度な座標変換パラメータを求めるには、少なくとも4つ以上の既知の恒星の像を使うことが望ましい。
マッチングに成功した場合(ステップST27のYES)、または、マッチング処理回数が設定回数に到達した場合(ステップST29のYES)、座標変換情報生成部33は、座標変換情報生成処理で算出されたすべての明点領域(移動体の像及び恒星や流星を示す星像を含む。)の位置情報を明点情報として処理データ格納部52に保存する(ステップST30)。次いで、座標変換情報生成部33は、座標変換パラメータを含むヘッダ情報付きの補正センサ画像CI1〜CINを処理データ格納部52に保存する(ステップST31)。
図3に模式的に示されるように、座標変換情報生成部33は、補正センサ画像CI1〜CINのいずれかを示すフレーム画像IMG2に対して座標変換情報生成処理を実行することにより、検出器座標系(画像座標系)と天球座標系との間の座標変換(写像)を定める座標変換パラメータを確定する。図3に示したフレーム画像IMG3には、その座標変換が可能となったことを示すメッシュ状の格子が示されている。なお、図3では、恒星を表す星印が1個しか存在しないが、高精度な座標変換パラメータを得る観点からは、少なくとも4点以上の恒星の像を使用することが望ましい。また、座標変換パラメータはヘッダ情報に記述されるものであるから、図示した格子が実際のフレーム画像に記録されないことはいうまでもない。
なお、ステップST30が実行される代わりに、明点情報は、ヘッダ情報に含められた状態で処理データ格納部52に保存されてもよい。また、座標変換情報生成部33は、ヘッダ情報付きの補正センサ画像CI1〜CINを処理データ格納部52に保存せずに、ノイズ除去部34に直接与えてもよい。
また、ガイド星の明るさも恒星カタログを通じて公開されているため、厳密には、既知の恒星の実測位置(α2,δ2)だけでなく、その明るさの情報もマッチング処理に使うことが可能である。具体的には、座標変換情報生成部33は、実測の明るさとカタログにおける明るさとの差が大きい場合、当該実測の明るさを有する明点領域を識別対象外とすることができる。ただし、明るさは天候などの気象の影響を受けやすいため、必ずしもその明るさの情報を使う必要はない。
<ノイズ除去処理>
次に、ノイズ除去部34の動作について説明する。ノイズ除去部34は、上記したダーク処理(図2のステップST16)で除去できなかったノイズを除去することができ、移動体の像以外の恒星や流星などの星像をノイズとして除去することができる。図5は、ノイズ除去処理の手順の一例を概略的に示すフローチャートである。
図5を参照すると、処理データ格納部52からヘッダ情報付きの補正センサ画像CI1〜CINを読み込み(ステップST41)、そのヘッダ情報に上記座標変換パラメータが含まれているか否かを判定する(ステップST42)。ヘッダ情報に座標変換パラメータが含まれていない場合(ステップST42のNO)、ノイズ除去処理は終了する。
一方、ヘッダ情報に座標変換パラメータが含まれている場合(ステップST42のYES)、ノイズ除去部34は、補正センサ画像CI1〜CINに現れるすべての明点領域の画像座標を示す明点情報を処理データ格納部52から読み込む(ステップST43)。明点情報で示される明点領域は、移動体の像の他、恒星や流星などの星の像、検出器起源のノイズ、及び宇宙線起源のノイズを含む領域である。
次に、ノイズ除去部34は、恒星データベース53に登録されている既知の星(恒星だけでなく、流星も含む。)の画像座標を算出する(ステップST44)。具体的には、ノイズ除去部34は、恒星データベース53に登録されている既知の星のうち、観測センサ10の視野の範囲内にある星の天球座標を読み出し、これらの星の天球座標に座標変換演算子Γの逆変換Γ−1を施すことにより、星の天球座標を画像座標に変換することができる(ステップST44)。ここで、恒星データベース53に星の明るさの記述があれば、ノイズ除去部34は、所望の明るさの星の天球座標のみを選択して座標変換してもよい。
また、ノイズ除去部34は、補正センサ画像CI1〜CIN中のホットピクセルを検出する(ステップST45)。ホットピクセルとは、検出器起源のノイズのうち受光面の特定の検出画素で発生する明点をいう。ホットピクセルは、上記したダーク処理で除去することが難しいノイズであるが、光検出器14に固有のノイズであるため、あらかじめホットピクセルの画素位置が分かっていることが多い。
次に、ノイズ除去部34は、ステップST43で読み込まれた明点情報、ステップST44で算出された星の画像座標及びステップST45で検出されたホットピクセルの画像座標を用いて、補正センサ画像CI1〜CINに現れる星像及びホットピクセルを除去するためのマスクを生成する(ステップST46)。マスクは、たとえば、星像及びホットピクセルなどの複数の明点領域をそれぞれ被覆する複数の画素領域(以下「マスク領域」ともいう。)を示す情報であればよい。
ステップST46では、ノイズ除去部34は、明点情報で示される明点領域の画像座標をステップST44で算出された既知の星の画像座標と比較し、これら明点領域の画像座標と既知の星の画像座標との間の距離が所定範囲内にあれば、当該明点領域を当該既知の星の像に該当すると判定することができる。より具体的には、ノイズ除去部34は、光検出器14の受光面の画素、大気の揺らぎによる受光面上の光束の広がり、及び、駆動部15の駆動精度で決まる制約を考慮して、当該明点領域が当該既知の星の像に該当するかどうかを判断することが好ましい。なお、恒星データベース53に明るさの記述があれば、ノイズ除去部34は、明点領域の明るさと既知の星の明るさとを互いに比較することで、当該明点領域が当該既知の星の像に該当するかどうかを判断してもよい。これにより、たとえ明点領域の画像座標と既知の星の画像座標との間の距離が所定範囲内であっても、明点領域と既知の星との間の明るさの差が大きければ、当該明点領域はその既知の星の像に該当しないと判断することが可能となる。
このようにステップST46では、ノイズ除去部34は、2次元配列の画像データ同士を比較せずに画像座標同士を比較して、明点領域が既知の星の像に該当するか否かを判断しているので、データ処理量が少なくて済むという利点がある。
マスク領域は、たとえば、ステップST44で算出された既知の星の画像座標またはホットピクセルの画像座標を中心とする特定形状の画素領域とすることができる。この際、ノイズ除去部34は、星像の明点領域を被覆するマスク領域のサイズを、その明点領域のサイズと同等、またはその明点領域のサイズよりも大きくなるように調整することが好ましい。これにより、明るさがほとんど変化しない星像については、その星像を確実にマスク領域の内部に入れて被覆することが可能となる。また、実際には受光していないにもかかわらず光検出器14が生成する偽の明点領域も、マスク領域で被覆することができる。
また、ノイズ除去部34は、恒星データベース53に記録されている明るさ情報を利用して、既知の星の明るさが大きいほど、当該既知の星に対応する円形状のマスク領域の直径を大きくし、既知の星の明るさが小さいほど、そのマスク領域の直径を小さくすることが望ましい。これにより、或る明点領域(星像)に対してたまたま近い位置に存在するが、当該或る明点領域とは全く異なる明るさを有する既知の星を除外することが容易となる。
なお、本実施の形態では、星像が点像(点状に観測される像)である場合が示されているが、星像が線像(線状に観測される像)である場合、ノイズ除去部34は、その星像を被覆するマスク領域の形状を、当該線像の長手方向と一致する長軸方向を持つ楕円形状とすることが好ましい。
このようにして、ノイズ除去部34は、恒星データベース53を用いて算出された既知の星の画像座標及びホットピクセルの画像座標に基づき、明点領域の大きさに合わせて円形状または楕円形状のマスク領域からなるマスクを生成することができる。ユーザは、このマスクを表す画像と重畳された補正センサ画像CI1〜CINをディスプレイ画面を通じて見ることが望ましい。これにより、ユーザは、明点領域を既知の星と対比して確認することができる。
ステップST46の実行後、ノイズ除去部34は、補正センサ画像CI1〜CINに対し、マスクを用いたマスク処理を実行する(ステップST47)。これにより、補正センサ画像CI1〜CIN中の星像及びホットピクセルの除去が可能となる。具体的には、ノイズ除去部34は、マスク領域で被覆された画素領域の画素値を、そのマスク領域の周囲の画素値で置き換えることによって、星像及びホットピクセル(宇宙線起源のノイズを除く。)を除去することができる。この結果、移動体の像の他に、たとえば宇宙線起源のノイズが明点領域として画像に残されることになる。
次に、ノイズ除去部34は、ノイズ除去後のN枚の補正センサ画像から背景光成分を除去する(ステップST48)。具体的には、たとえば、ノイズ除去部34は、移動体の像などの明点領域以外の領域の輝度値を背景光成分の代表的な輝度値として利用し、ノイズ除去後のN枚の補正センサ画像の各画素値からその輝度値を差し引くことによって、背景光成分を除去することができる。背景光を除去することで、背景光に埋もれている暗い明点領域を浮かび上がらせて移動体の像の検出精度を向上させることが可能となる。
なお、現実には、背景光成分には、たとえば、月の方角や町明かりの方角における明るさへの依存性(位置依存性)がある。この場合には、ノイズ除去部34は、背景光成分を多項式で近似することが望ましい。定数項のみからなる0次多項式を利用する場合には、移動体の像などの明点領域以外の領域の代表的な輝度値(たとえば、平均値または中央値)をその定数項として利用することができる。背景光成分の明るさが空間的な傾斜を有する場合には、1次以上の次数の多項式を利用することが望ましい。具体的には、たとえば、画像中心部の明るさが大きく、且つその画像周辺部の明るさが小さい画像に対しては、画像中央部から画像周辺部に向かうにつれて低減する明るさを示す1次以上の次数の多項式が使用されればよい。多項式の次数は、月の明るさ、町明かり、雲などの天候状態、及び観測視野の大きさなどのパラメータに依存することから、せいぜい4次まであれば実用上十分である。
なお、背景光成分のモデル化に多項式を使用する代わりに、複数枚のフレーム画像において背景光成分が変わらないという仮定の下、これら複数枚のフレーム画像から生成された中央値画像(同じ画素位置の画素値のうちの中央値からなる画像)を使用してもよい。前述の多項式を使用する方法は、中央値画像を使用する方法と比べて、1枚のフレーム画像から背景光成分を除去することができるという利点がある。
最終的に、ノイズ除去部34は、ステップST48の実行により生成されたN枚の観測画像OI1〜OINにヘッダ情報を付加して処理データ格納部52に保存する(ステップST49)。なお、ノイズ除去部34は、ヘッダ情報付きの観測画像OI1〜OINを処理データ格納部52に保存せずに、明点処理部40に直接与えてもよい。
図3に模式的に示されるように、ノイズ除去部34は、明点情報D1及び恒星データベース53を使用して、フレーム画像IMG4(処理データ格納部52から読み出された補正センサ画像CI1〜CINのいずれか)上の明点領域(星像)を被覆するマスク領域MSKを生成する。ノイズ除去部34は、フレーム画像IMG4に上記のマスク処理を実行して(ステップST47)、ノイズが除去されたフレーム画像IMG5を生成する。ここで、図3において実線及び点線で示される円形記号はマスク領域を示す記号であり、フレーム画像IMG4,IMG5に記録されるものではない。更に、ノイズ除去部34は、フレーム画像IMG5から背景光成分を除去して(ステップST48)、フレーム画像IMG6(観測画像OI1〜OINのいずれか)を生成する。これにより、背景光に埋もれていた暗い明点領域を浮かび上がらせて見やすくすることが可能となる。
<移動体識別処理>
次に、明点処理部40の動作について説明する。明点処理部40は、以下に説明するように、観測画像OI1〜OINから検出された移動体の像の画像座標に基づき、その移動体の天球座標を算出し、移動体データベース54を参照してその移動体を識別(その移動体が既知の移動体であるか、あるいは未知の移動体であるかを識別)することができる。移動体データベース54は、たとえば、RAM(Random Access Memory)またはHDD(ハードディスクドライブ)などの記憶装置で構成可能なものであり、既知の複数の移動体に関する各時刻での推定位置及び推定輝度を含む推定軌道情報を記憶している。図1に示されるように、明点処理部40は、明点検出部41、周波数解析部42、明点顕在化部43及び移動体検出部44という処理ブロックを有している。
図6は、移動体検出部44により実行される移動体検出処理の手順の一例を概略的に示すフローチャートである。図7は、図6の移動体検出処理における明点検出処理(ステップST54)の具体的手順の一例を概略的に示すフローチャートであり、図8は、図7の明点検出処理における明点顕在化処理(ステップST82)の具体的手順の一例を概略的に示すフローチャートである。図7及び図8は結合子C1を介して接続されている。明点検出処理は、明点検出部41によって実行され、明点顕在化処理は、周波数解析部42及び明点顕在化部43によって実行される。
<移動体検出処理>
図6を参照すると、移動体検出部44は、処理データ格納部52からヘッダ情報付きの観測画像OI1〜OINを読み込む(ステップST51)。このヘッダ情報には、観測開始時刻、露光時間、結像光学系11の指向方向、1画素の視野角(または1画素の大きさ)、結像光学系11の焦点距離、光検出器14の有効画素数、及び座標変換パラメータを示す情報が記述されている。
次に、移動体検出部44は、観測画像OI1〜OINの各観測画像における移動体を表す明点領域の検出を試みる(ステップST52)。具体的には、移動体検出部44は、各観測画像の中から、一定の閾値以上の画素値を有する一定個数以上の画素からなる画素群を移動体を表す明点領域として抽出し、当該明点領域の画像座標(重心座標)を算出する。観測画像OI1〜OINの中の少なくとも1枚の観測画像から少なくとも1点の明点領域の検出(すなわち、明点領域の抽出とその画像座標の算出)がなされれば、移動体検出部44は、明点領域の検出に成功したと判定することができる(ステップST53のYES)。
一方、明点領域の検出に成功しなかった場合は(ステップST53のNO)、明点検出部41が明点検出処理(ステップST54)を実行して明点領域の検出を試みる。明点検出処理については後述する。
移動体を表す明点領域の検出に成功した場合(ステップST53のYES)、移動体検出部44は、当該明点領域を識別対象の移動体と認定し、当該移動体が登録された移動体リストを生成する(ステップST55)。図9は、移動体リストの一例をテーブル形式で示す図である。図9に示されるように、移動体には、それぞれ仮識別子PID1,PID2,…が割り当てられる。また、移動体リストには、各仮識別子PIDk(kは、移動体を識別するための番号)に対して、観測時刻τk(1),τk(2),…と、画像上の位置座標(画像座標)Pk(1),Pk(2),…との組が記述されている。
次に、移動体検出部44は、移動体データベース54及びヘッダ情報を用いて、移動体データベース54内の推定軌道情報に登録されている複数の移動体候補の画像上の位置座標(画像座標)を算出する(ステップST56)。具体的には、移動体検出部44は、移動体データベース54に登録されている移動体候補群の中から、移動体リストに登録されている移動体の観測時刻に観測センサ10の視野内に存在すると予測される複数の移動体候補を絞り込み、これら複数の移動体候補の予想軌道情報(観測予想時刻、天球上の予想位置を示す天球座標、及び予想輝度)を読み込む。そして、移動体検出部44は、ヘッダ情報に含まれている変換パラメータを用いて、これら移動体候補の天球座標を画像座標に変換する。
次に、移動体検出部44は、マッチング処理を実行する(ステップST57)。すなわち、移動体検出部44は、識別対象の移動体の画像座標を、ステップST56で算出された複数の移動体候補の画像座標と照合する。具体的には、移動体検出部44は、複数の移動体候補の中で、識別対象の移動体との画像上の距離が予め定めた設定距離よりも近い移動体候補を探し出す。あるいは、移動体検出部44は、複数の移動体候補の中で識別対象の移動体との画像上の距離が最も近い移動体候補を探し出してもよい。このようにして移動体候補を探し出すことに成功したとき、移動体検出部44は、マッチングに成功したと判定する(ステップST58のYES)。
マッチングに成功した場合(ステップST58のYES)、移動体検出部44は、当該移動体の仮識別子を当該移動体候補の登録識別子に変更し(ステップST59)、その識別結果を移動体データベース54に記録する(ステップST60)。登録識別子とは、移動体データベース54に登録されている既知の移動体の識別子をいう。一方、マッチングに成功しなかったとき(ステップST58のNO)、移動体検出部44は、識別対象の移動体が、移動体データベース54に登録されていない未知の移動体または誤判定の結果のいずれかであると識別し、その識別結果を移動体データベース54に記録する(ステップST60)。なお、移動体検出部44は、識別結果を示すデータを外部に出力してもよい。
なお、座標変換パラメータはヘッダ情報に含まれているので、画像座標から天球座標への座標変換を行うことが可能である。本実施の形態では、移動体検出部44は、識別対象の移動体の画像座標と移動体候補の画像座標とを互いに比較してマッチング処理を実行している(ステップST57)。この代わりに、識別対象の移動体の天球座標と移動体候補の天球座標とを互いに比較してマッチング処理を実行してもよい。この場合は、移動体検出部44は、図9に示されるように、画像座標Pk(1),Pk(2),…にそれぞれ対応する天球座標Ck(1),Ck(2),…を算出して移動体リストに記述し、マッチング処理に利用することができる。
<明点検出処理>
次に、ステップST54の明点検出処理について説明する。図7を参照すると、先ず、明点検出部41は、観測画像OI1〜OINの中に、撮像時刻が互いに近い複数枚の観測画像が存在するか否かを判定する(ステップST70)。具体的には、明点検出部41は、所定時間帯内で一定の時間間隔の撮像時刻に撮像された複数枚の観測画像が存在するか否かを判定することができる。複数枚の観測画像が存在しない場合(ステップST70のNO)、明点検出部41は、明点検出処理を終了させ、且つ移動体検出処理も終了させる。
一方、複数枚の観測画像が存在すると判定した場合(ステップST70のYES)、明点検出部41は、これら複数枚の観測画像を読み込み(ステップST71)、これら複数枚の観測画像にマスク処理を実行する(ステップST72)。上記のとおり、これら観測画像は、各種のノイズ及び背景光成分が除外されたフレーム画像群であるが、これら観測画像には、識別対象外の既知の移動体が現れている可能性がある。そこで、ステップST72のマスク処理は、この種の識別対象外の既知の移動体の像をそれら観測画像から除去するものである。具体的には、明点検出部41は、たとえば、観測センサ10の視野内を既知の移動体の像が高速に横切るために識別対象の移動体の位置検出が困難になると予想される場合、複数枚の観測画像のうちの1枚だけに識別対象外の既知の移動体が映っている場合、あるいは、識別対象の移動体の近傍に別の移動体がある場合には、誤検出の可能性を減らすためにステップST72のマスク処理を実行することができる。
次に、明点検出部41は、観測センサ10が固定されているか否かを判定する(ステップST73)。駆動部15は、結像光学系11を駆動しているところ、その駆動方法にはいくつかの方法がある。駆動方法の1つとして、駆動部15が観測センサ10を駆動せずに固定する場合(たとえば、方位角Az及び仰角Elを一定にする場合)がある。観測センサ10が固定されている場合には(ステップST73のYES)、明点検出部41は、光検出器14の受光面の中心(検出器中心)を基準として、ステップST71で読み込まれた複数枚の観測画像を重ね合わせて重ね合わせ画像を算出する(ステップST77)。複数枚の観測画像の重ね合わせ方法としては、たとえば、複数枚の観測画像を画素単位で加算して加算画像を生成する方法、その加算画像を観測画像の枚数で平均化して平均化画像を生成する方法、あるいは、複数枚の観測画像から中間値画像を生成する方法のいずれでもよい。後述するステップST75,ST76でも、ステップST77と同様の重ね合わせ方法を採用すればよい。このように複数枚の観測画像を重ね合わせることで、ランダムなノイズ成分が消し合うため、識別対象の移動体を表す明点領域の明瞭化が可能となる。
ステップST77の実行後、明点検出部41は、重ね合わせ画像上の明点領域が検出可能かどうかを判定する(ステップST78)。具体的には、明点検出部41は、たとえば、2次元画像フィルタを使用して、一定の閾値以上の画素値を有する画素群の検出に成功すれば、重ね合わせ画像上の明点領域が検出可能と判定することができる(ステップST78のYES)。この場合、明点検出部41は、重ね合わせ画像の各画素値を観測画像の枚数で除算して合成画像(平均化画像)を生成する(ステップST79)。
そして、明点検出部41は、その合成画像から移動体を表す明点領域の検出を試みる(ステップST80)。具体的には、明点検出部41は、合成画像の中から、一定の閾値以上の画素値を有する一定個数以上の画素からなる画素群を移動体を表す明点領域として抽出し、当該明点領域の画像座標(重心座標)を算出する。明点領域の抽出とその画像座標の算出とがなされれば、明点検出部41は、明点領域の検出に成功したと判定することができる(ステップST81のYES)。その後、明点検出部41は、図6のステップST55に処理を戻す。ステップST55以後の処理内容は、上述のとおりである。
一方、ステップST78で重ね合わせ画像上の明点領域が検出可能ではないと判定された場合(ステップST78のNO)、あるいは、ステップST81で明点領域の検出に成功しなかったと判定された場合(ステップST81のNO)、周波数解析部42及び明点顕在化部43が明点顕在化処理(ステップST82)を実行する。この明点顕在化処理については後述する。
図10は、ステップST77での観測画像の重ね合わせの例を説明するための図である。図10に示されるフレーム画像K1,K2,K3は、ステップST71で読み込まれた、観測時刻が互いに近い3枚の観測画像である。これらフレーム画像K1,K2,K3は、ステップST46(図5)で恒星データベース53を用いて生成されたマスクM1,M2,M3をそれぞれ3枚のフレーム画像L1,L2,L3(補正センサ画像CI1〜CINのいずれか)に適用することで生成された観測画像である。図10において、マスク領域は丸印で示され、恒星は星印で示され、移動体は四角形で示されている。また、符号5a〜5c,5は同一移動体を表し、符号6a〜6cは別の同一移動体を表す。図10に示されるフレーム画像Kmは、ステップST77でフレーム画像K1,K2,K3を重ね合わせることで生成された重ね合わせ画像である。
観測センサ10が駆動されずに固定されている場合(図7のステップST73のYES)、恒星の像は、地球の自転に伴う運動により、観測画像上を動いて観測される。図10に示されるように恒星の像がマスクされているフレーム画像K1,K2,K3が3枚生成されたときを考える。明点検出部41が検出器中心を基準としてこれらフレーム画像K1,K2,K3を重ね合わせると(ステップST77)、結像光学系11に対して相対的に静止している移動体5a〜5cの像が重ね合わされることで、重ね合わせ画像Kmにおいて移動体5の像が強調されて浮かび上がって見えるようになる。このようにして強調された移動体5の像が検出可能であると判定された場合(図7のステップST78のYES)、明点検出部41は、重ね合わせ画像Kmを枚数「3」で平均化して合成画像を生成し(ステップST79)、この合成画像に基づいて移動体5を表す明点領域の検出を試みることができる(ステップST80)。この例では、3枚のフレーム画像K1〜K3が使用されているので、たとえば、中間の2枚目のフレーム画像K2の観測時刻と移動体5の画像座標(重心座標)を使用して、移動体5を表す明点領域の検出を試みることが可能である。
一方、結像光学系11に対して相対的に運動している別の移動体6a〜6cの像は互いに異なる位置座標に存在するため、重ね合わせ画像Kmにおいて強度的に強め合うことはない。よって、移動体6a〜6cを表す暗い明点領域が明瞭化することはなく、それらの明点領域は検出可能ではないと判定される可能性が高い(図7のステップST78のNO)。この場合は、ステップST82の明点顕在化処理が実行される。後述するように、明点顕在化処理では、重ね合わせ画像Kmにおいて移動体6a,6b,6cの像が周期的に現れる事実が利用される。
ところで、明点検出部41は、移動体5a〜5cの像を識別対象外の移動体の像としてマスク処理で除去することができる(ステップST72)。図11は、この場合のフレーム画像の重ね合わせの例を説明するための図である。図11の例では、明点検出部41は、先ず、移動体データベース54に登録されている識別対象外の移動体5a〜5cの位置座標に対応する特定形状のマスク領域を有するマスクN1,N2,N3を用意する。そして、明点検出部41は、これらマスクN1,N2,N3をそれぞれフレーム画像K1,K2,K3に適用するマスク処理を実行して、フレーム画像S1,S2,S3を生成する(ステップST72)。そして、明点検出部41は、これらフレーム画像S1,S2,S3の重ね合わせて重ね合わせ画像Smを生成することができる(ステップST77)。前述のとおり、結像光学系11に対して相対的に運動している移動体6a〜6cの像は互いに異なる位置座標に存在するため、重ね合わせ画像Smにおいて強度的に強め合うことはない。よって、移動体6a〜6cを表す暗い明点領域は検出可能ではないと判定される可能性が高い(図7のステップST78のNO)。この場合は、ステップST82の明点顕在化処理が実行される。
図7を参照すると、観測センサ10が固定されておらず(ステップST73のNO)、且つ結像光学系11の指向方向の天球座標(赤緯及び赤経)が一定となるように観測センサ10が駆動されている場合は(ステップST74のYES)、明点検出部41は、その指向方向の天球座標を基準として、ステップST71で読み込まれた複数枚の観測画像を重ね合わせて重ね合わせ画像を算出する(ステップST75)。ステップST75の実行後は、ステップST78の判定処理が実行される。
天球座標が一定となるように指向方向が制御されている場合(ステップST74のYES)、指向方向が恒星の運動と同期するため、恒星は、観測画像上で静止した状態で観測される。図12は、この場合のフレーム画像の重ね合わせを説明するための図である。図12において、図10及び図11と同様に、マスク領域は丸印で示され、恒星は星印で示され、移動体は四角形で示されている。また、符号5a〜5cは同一移動体を表し、符号6a〜6cは別の同一移動体を表す。図12の例では、ノイズ除去部34は、フレーム画像L1a,L2a,L3aにそれぞれマスクM1,M2,M3を適用することで、恒星の像がマスクされたフレーム画像K1a,K2a,K3aを生成する(ステップST42)。明点検出部41は、これらフレーム画像K1a,K2a,K3aを重ね合わせて重ね合わせ画像Kmaを生成する(ステップST75)。指向方向の天球座標(赤経及び赤緯)を基準として、すなわち恒星の位置を基準としてフレーム画像K1a,K2a,K3aが重ね合わされる。図12の例では、移動体5a〜5c,6a〜6cは結像光学系11に対して相対的に動いているため、重ね合わせ画像Kmaにおいて移動体5a〜5c,6a〜6cの像は強度的に強め合うことはない。よって、移動体5a〜5c,6a〜6cを表す暗い明点領域は検出可能ではないと判定される可能性が高い(図7のステップST78のNO)。この場合は、ステップST82の明点顕在化処理が実行される。
一方、観測センサ10が固定されておらず(ステップST73のNO)、且つ指向方向の天球座標(赤経及び赤緯)を一定に保つような観測センサ10に対する駆動がなされていない場合(ステップST74のNO)、このような駆動は、何らかの意図をもって指向方向を制御していることが想定される。特定の移動体を追尾する駆動制御が実行されていると仮定する場合、明点検出部41は、追尾されている移動体(追尾物体)を基準として複数枚の観測画像を重ね合わせる(ステップST76)。追尾物体は、結像光学系11に対して相対的に静止しているので、追尾物体の像は、観測画像上で静止した状態で観測される。一方、追尾物体とは異なる軌道を移動する移動体は、結像光学系11に対して相対的に移動しているので、その移動体の像は観測画像上を動いて観測される。よって、ステップST76で生成される重ね合わせ画像では、追尾物体の像は強調されて浮かび上がって見えるようになるが、非追尾対象の移動体の像は強度的に強め合うことはない。よって、明点検出部41は、合成画像から追尾物体の像を検出し(ステップST81のYES)、非追尾物体の移動体を示す明点領域は検出可能ではないとの判定(ステップST78のNO)を行う可能性がある。この場合、非追尾物体の移動体については、ステップST82の明点顕在化処理が実行される。
<明点顕在化処理>
次に、ステップST82の明点顕在化処理について説明する。図8を参照すると、周波数解析部42は、上記ステップST75,ST76,T77のいずれかで算出された重ね合わせ画像を読み込む(ステップST89)。
上述のとおり、観測センサ10は、識別対象の移動体を含む空間領域を等時間間隔で複数回撮像してセンサ画像SI1〜SINを出力する。このため、ステップST89で読み込まれた重ね合わせ画像には、その移動体が加速度運動していない限り、その移動体の軌跡が、一定の方向に沿って等間隔で現れる明点領域として記録される。このため、その等間隔で記録される複数の明点領域は、移動体の速度ベクトルに応じた特定の空間周波数f=(fx,fy)とこれに対応する空間的な位相情報とを有する。一方、観測画像に記録されるランダムなノイズは、そのような空間周波数及び空間的な位相情報を有していない。ここで、fxは、当該重ね合わせ画像の水平方向(x軸方向)の空間周波数であり、fyは、当該重ね合わせ画像の垂直方向(y軸方向)の空間周波数である。空間周波数fxの逆数Pxと空間周波数fyの逆数Pyとは、空間周期と呼ばれる量である。空間周期の組(Px,Py)は、重ね合わせ画像上で移動体の像(明点領域)が周期的に現れる方向と間隔とを示すベクトルである。以下、このベクトル(Px,Py)を移動ベクトルと呼ぶこととする。
図13Aは、同一移動体を表す明点領域7a〜7gを有する複数の観測画像V1〜V7を重ね合わせて生成された重ね合わせ画像Vmを例示する概略図である。図13Bは、重ね合わせ画像Vmにおける明点領域7a〜7gの周期的な濃度分布を示す空間周波数成分W0を概念的に示す図である。図14は、空間周期Px,Pyに対する特定の方向Φの空間周波数成分W0を概念的に示す図である。なお、重ね合わせ画像Vmの読み込み(ステップST89)の段階では、実際には、図13Aの明点領域7a〜7gはノイズに埋もれている可能性がある。
周波数解析部42は、ステップST89で読み込まれた重ね合わせ画像を周波数解析してその重ね合わせ画像のパワースペクトルPS(fx,fy)を算出する(ステップST90)。具体的には、周波数解析部42は、当該重ね合わせ画像に2次元フーリエ変換を施してフーリエ変換画像F(fx,fy)を生成する。そして、周波数解析部42は、フーリエ変換画像F(fx,fy)とその複素共役F(fx,fy)*との積をパワースペクトルPS(fx,fy)として算出することができる。
次いで、周波数解析部42は、パワースペクトルPS(fx,fy)に現れるピークの空間周波数の組(fx,fy)に対応する空間周期の組P=(Px,Py)を移動ベクトル候補として検出する(ステップST91)。
ここで、ウィーナー・ヒンチンの定理(Wiener−Khinchinの定理)によれば、パワースペクトルPS(fx,fy)は、重ね合わせ画像の自己相関関数の2次元フーリエ変換で表される。実際には、重ね合わせ画像の自己相関を直接計算することは、演算量が多いので本実施の形態では行われない。自己相関関数はノイズに埋もれた周期的信号を調べるために使われる。たとえば、ホワイトノイズには相関がないため、原点を除き自己相関が0になる。つまり、重ね合わせ画像において周期性を持つ明点領域がノイズに埋もれていても、これら明点領域には相関があり、ホワイトノイズには相関が無いことを利用して、自己相関を計算することでホワイトノイズの影響を取り除くことができる。重ね合わせ画像が空間周期成分を含む場合、パワースペクトルPS(fx,fy)にピークが現れる。周波数解析部42は、パワースペクトルPS(fx,fy)に複数のピークが現れる場合には、これら複数のピークのうち最も小さい空間周波数に対応するピークの移動ベクトル候補を検出すればよい。
次に、明点顕在化部43は、図7のステップST71の場合と同様に、複数枚の観測画像を読み込む(ステップST92)。次いで、明点顕在化部43は、それら複数枚の観測画像にそれぞれ現れる複数の明点領域が互いに重複するように複数枚の観測画像を移動ベクトル候補の整数倍だけ互いにずらす(ステップST93)。更に、明点顕在化部43は、互いに空間的にずれた状態の複数枚の観測画像を重ね合わせることで、明点領域が強調された強調画像候補を生成する(ステップST94)。これにより、強調画像候補においては、明点領域が浮かび上がって見えるようになる。
その後、明点顕在化部43は、明点領域の強調度を示す評価値を算出する(ステップST95)。評価値としては、たとえば、強調画像候補中の明点領域における複数の画素値のうちの最大画素値が算出されてもよいし、あるいは、強調画像候補中の明点領域における複数の画素値の平均値と前記最大画素値との間の差の二乗が評価値として算出されてもよい。
次に、反復回数が予め定めた設定回数に到達していないときは(ステップST96のNO)、明点顕在化部43は、移動ベクトル候補Pを微調整のために変更する(ステップST97)。ここで、明点領域の間隔が空間周期Pと一致していれば、強調画像において明点領域は強めあうが、明点領域の間隔が空間周期Pと少しずれていれば、明点領域の強調度合いは小さくなる。そこで、明点顕在化部43は、パワースペクトルPS(fx,fy)から求められた移動ベクトル候補Pからわずかに空間周期ΔPnだけずれた移動ベクトル候補P+ΔPnを生成している(ステップST97)。ここで、nは、反復回数を示す整数である。
次いで、明点顕在化部43は、ステップST93と同様に、複数枚の観測画像にそれぞれ現れる複数の明点領域が互いに重複するように複数枚の観測画像を移動ベクトル候補の整数倍だけ互いにずらす(ステップST98)。更に、明点顕在化部43は、互いに空間的にずれた状態の複数枚の観測画像を重ね合わせることで強調画像候補を生成する(ステップST99)。そして、上記ステップST95と同様に、明点領域の強調度を示す評価値を算出する(ステップST100)。
図15A〜図15Cは、移動ベクトル候補P,P+ΔP1,P+ΔP2と、これらにそれぞれ対応する強調された明点領域の輝度分布r1,r2,r3とを概略的に例示する図である。輝度分布r1,r2,r3の中では、図15Aに示した輝度分布r1が最も評価値の高い分布である。図16は、移動ベクトル候補に対する評価値の分布の例を概略的に示す図である。
反復回数が予め定めた設定回数に到達したときは(ステップST96のYES)、ステップST101に処理が移行される。この段階で、複数の強調画像候補とこれらに対応する複数の評価値とが得られる。明点顕在化部43は、それら複数の評価値のうちの最大評価値に対応する強調画像候補を強調画像として選択し(ステップST101)、当該強調画像を観測画像の枚数で平均化することで平均化強調画像を算出する(ステップST102)。そして、明点顕在化部43は、この平均化強調画像から移動体を表す明点領域を検出する(ステップST103)。具体的には、明点顕在化部43は、平均化強調画像の中から、一定の閾値以上の画素値を有する一定個数以上の画素からなる画素群を移動体を表す明点領域として抽出し、当該明点領域の画像座標(重心座標)を算出する。その後、明点顕在化部43は、図6のステップST55に処理を戻す。ステップST55以後の処理内容は、上述のとおりである。
以上に説明したように本実施の形態の明点処理部40は、重ね合わせ画像のパワースペクトルPS(fx,fy)に現れるピークの空間周波数に対応する空間周期を移動ベクトル候補(移動ベクトル)として検出し(ステップST91)、複数の明点領域が互いに重複するように複数枚の観測画像を移動ベクトル候補の整数倍だけ互いにずらした状態で重ね合わせて強調画像を生成している(ステップST93,ST94,ST98,ST99)。更に、明点処理部40は、その強調画像に基づいて明点領域を検出する(ステップST103)。したがって、明点処理部40は、当該検出された明点領域の位置座標に基づき、移動体を識別することができる(図6のステップST55〜ST60)。
以上に説明した移動体検出装置30のハードウェア構成は、たとえば、CPU(Central Processing Unit)内蔵のコンピュータ構成を有する情報処理装置により実現可能である。あるいは、移動体検出装置30のハードウェア構成は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)またはFPGA(Field−Programmable Gate Array)などのLSI(Large Scale Integrated circuit)を有する情報処理装置により実現されてもよい。
図17は、移動体検出装置30のハードウェア構成例である情報処理装置30Hを示すブロック図である。この情報処理装置30Hは、CPU60cを含むプロセッサ60、RAM61、ROM(Read Only Memory)62、入出力インタフェース(I/F)部63、及び記録媒体64を備えて構成されている。これらプロセッサ60、RAM61、ROM62、入出力I/F部63及び記録媒体64は、バス回路などの信号路65を介して相互に接続されている。記録媒体64は、記録部50に相当し、たとえば、HDDまたはSSD(ソリッドステートドライブ)で構成可能である。プロセッサ60は、ROM62からコンピュータプログラムを読み出して実行することにより、記録処理部31、前処理部32、座標変換情報生成部33、ノイズ除去部34及び明点処理部40の機能を実現することができる。入出力I/F部63は、観測センサ10及び制御装置20と接続される。
また、図18は、移動体検出装置30の他のハードウェア構成例である情報処理装置30Jを示すブロック図である。この情報処理装置30Jは、信号処理回路70、入出力インタフェース(I/F)部71及び記録媒体72を備えて構成されている。これら信号処理回路70、入出力I/F部71及び記録媒体72は、バス回路などの信号路73を介して相互に接続されている。記録媒体72は、記録部50に相当し、たとえば、HDDまたはSSD(ソリッドステートドライブ)で構成可能である。信号処理回路70は、記録処理部31、前処理部32、座標変換情報生成部33、ノイズ除去部34及び明点処理部40の機能を実現する回路である。入出力I/F部71は、観測センサ10及び制御装置20と接続される。
移動体検出装置30は、たとえば、ケーブルを介して観測センサ10及び制御装置20と接続されてもよいし、あるいは、LAN(Local Area Network)またはWAN(Wide Area Network)などの通信ネットワークを介して観測センサ10及び制御装置20と接続されてもよい。
以上、図面を参照して本発明に係る実施の形態について述べたが、この実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することもできる。たとえば、図1では、恒星データベース53及び移動体データベース54が移動体検出装置30の内部に設けられているが、この代わりに、恒星データベース53及び移動体データベース54のうちの少なくとも一方が移動体検出装置30の外部に設けられていてもよい。また、これら恒星データベース53及び移動体データベース54は、通信ネットワークを介して移動体検出装置30と接続されているものであってもよい。
なお、本発明の範囲内において、実施の形態の構成要素の自由な組み合わせ、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。