JP6094100B2

JP6094100B2 - 移動体検出方法

Info

Publication number: JP6094100B2
Application number: JP2012197531A
Authority: JP
Inventors: 肇坂野
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2012-09-07
Filing date: 2012-09-07
Publication date: 2017-03-15
Anticipated expiration: 2032-09-07
Also published as: EP2894842A1; EP2894842A4; EP2894842B1; AU2013314015B2; WO2014038629A1; AU2013314015A1; US20150206009A1; US9501698B2; RU2597882C1; JP2014051212A

Description

本発明は、撮影画像から移動体を検出する方法に関するものである。

運用されることなく地球周回軌道上を周回している人工物であるスペースデブリの宇宙空間上における存在を検出することは、宇宙機（人工衛星や宇宙ステーション、スペースシャトル等）の円滑な運用を実現する上で重要である。従来から行われているスペースデブリの検出方法の一つとして、地球上や軌道上においてＣＣＤ（電荷結合素子）カメラにより撮影した画像中の高輝度部分を抽出することで、スペースデブリの存在を特定する方法がある。

この方法では、時間をおいて撮影した３コマ以上の画像から、スペースデブリ等の移動体の画像上での動作（例えば、ｘ，ｙの２次元方向の移動ベクトル（速度）を持つ等速運動等）に合わせた領域の画像を同じ大きさで切り取り、切り取った画像に対して重ね合わせ法を適用している。具体的には、切り取った各画像を重ね合わせて、同じ画素について画素値の中央値を求める。そして、求めた中央値が一定値以上となる画素を、移動体が存在する画素として抽出する（例えば、特許文献１，２）。

重ね合わせ法は、スペースデブリに限らず、画像上の輝度レベルの低い移動体を検出する方法として広く有効な方法である。そして、上述したように中央画素値を移動体検出の評価値に用いた上述の重ね合わせ法では、平均画素値を評価値に用いた場合のように、一部の画像にたまたま写ったノイズ成分（例えば、天体の恒星や宇宙線による映り込み等）によって評価値が上昇することがない。このため、恒星や宇宙線による映り込み等の存在による移動体の誤検出を抑制できる利点がある。

また、ＣＣＤ素子の固有のオフセット成分をダーク補正したり、ＣＣＤカメラと組み合わせて使用する天体望遠鏡の光学系（レンズやニュートン反射鏡）の特性に起因する周辺減光をフラット補正することも、検出精度を向上させるのに有効とされている（例えば、非特許文献１）。

さらに、天空の雲や大気における光の散乱や、局所的に輝度が高い箇所の存在により発生する、背景光の明るさのグラデーション的な変化を補正することについても、検出精度を向上させるのに有効とされている（例えば、非特許文献２）。

特開２００２−１３９３１９号公報特開２００３−３２３６２５号公報

Publications of the Astronomical Society of Japan 57.399-408,2005 April 25 Toshifumi Yanagisawa and Atushi Nakajima "Automatic Detection Algorithm for Small Moving Object" International Astronautical Congress -07-A6.I.05 2007 Mr. Fabrizio Paolillo, Dr. Manfredi Porfilio,"First Italian Space Debris Observatory: Images Processing Automation"

上述した各種のノイズ成分を補正する際には、適切な条件でＣＣＤカメラにより画像を撮影した際の画像信号を利用して各ノイズ成分の内容を求め、これに基づいて補正内容を決定する。

ところが、例えばＣＣＤカメラで発生する受光素子の熱雑音やＣＣＤ素子のリードアウトノイズ等、撮影画像を画像信号に量子化する際に発生するノイズ成分は、上述したダーク補正やフラット補正等を行う前の画像信号にも、それらの補正値を決定する際に利用する画像信号にも、それぞれ含まれてしまう。

このため、補正前の画像信号を補正値により補正すると、上述した撮影画像の量子化に伴い発生するノイズ成分が、ダーク補正やフラット補正等を行った後の画像信号において積算されてしまい、移動体の検出精度を低下させてしまう。

本発明は前記事情に鑑みなされたもので、本発明の目的は、画像中の検出対象を信号レベルに基づいて検出するのに当たり、検出対象の背景部分に存在する画像中のノイズ成分を低減させることができる移動体検出方法を提供することにある。

上記目的を達成するため、請求項１に記載した本発明の移動体検出方法は、
一定間隔で撮影された複数の画像を用いて、前記各画像から観測対象の移動体を検出する方法において、
全画像中における各画素の最低画素値により各画素値をオフセット補正したオフセット補正後の前記複数の画像を用いて、前記観測対象の移動体を検出するようにした、
ことを特徴とする。

請求項１に記載した本発明の移動体検出方法によれば、撮影される画像には、撮影画像を画像信号に量子化する装置に固有の特性ばらつきに起因するノイズ成分や、撮影対象の環境条件に起因するノイズ成分、さらに、撮影画像を画像信号に量子化する際に発生するノイズ成分が含まれている。

このうち前２者のノイズ成分は、装置や撮影環境が変わらない限り同じ内容でコンスタントに現れる。そして、これらのノイズ成分は、適切な条件で画像を撮影した際の画像信号を利用して求めた各ノイズ成分の内容に基づいて決定した補正内容で画像信号（の各画素値）を補正することで、なくすことができる。

一方、撮影画像を画像信号に量子化する際に発生するノイズ成分は、時間や環境等に依存せずその都度変化するランダムノイズである。そして、このノイズ成分は、補正対象の画像信号に含まれるだけでなく、補正内容を決定する際に利用する画像信号にも同様に含まれる。したがって、補正対象の画像信号（の各画素値）を別途決定した補正内容で補正すると、補正後の画像信号には、量子化の際に発生するノイズ成分が積算して含まれてしまう。

これに対して、各画像の各画素値をオフセット補正するのに用いる、全画像中における各画素の最低画素値には、コンスタントに現れる装置固有の特性ばらつきに起因するノイズ成分や撮影環境に起因するノイズ成分と共に、ランダムノイズである撮影画像を画像信号に量子化する際に発生するノイズ成分が、全ての画像の同じ画素の中で、最も少ないボリュームで含まれていることになる。

したがって、全画像中における各画素の最低画素値により各画像の各画素値をオフセット補正すると、コンスタントに現れる装置固有の特性ばらつきに起因するノイズ成分や撮影環境に起因するノイズ成分をなくし、かつ、ランダムノイズである撮影画像を画像信号に量子化する際に発生するノイズ成分を、最低限のボリュームについてなくすことになる。

これにより、各ノイズ成分をそれぞれの補正値により個別に補正する場合のように、補正後の画像信号（の画素値）に、撮影画像を画像信号に量子化する際に発生するノイズ成分が積算して含まれてしまうのを防ぎ、画像中の検出対象を信号レベルに基づいて検出するのに当たり、検出対象の背景部分に存在する画像中のノイズ成分を低減させることができる。

なお、請求項１に記載した本発明の移動体検出方法において、請求項２に記載した本発明の移動体検出方法のように、撮影領域を固定して撮影された前記複数の画像中における各画素の前記最低画素値により各画素値を前記オフセット補正するようにしてもよい。

また、請求項１又は２に記載した本発明の移動体検出方法において、請求項３に記載した本発明の移動体検出方法のように、前記オフセット補正後の前記各画像を、前記一定間隔の間における前記観測対象の移動体の推定した移動内容に対応する内容で順次移動させ、前記オフセット補正後の各画像の互いに重なる同一画素位置の画素値に基づいて、前記複数のオフセット補正後の画像から前記観測対象の移動体を検出するようにしてもよい。

また、請求項４に記載した本発明の移動体検出方法は、請求項１、２又は３に記載した本発明の移動体検出方法において、
前記複数のオフセット補正後の画像のうち一つの画像と、該一つの画像の前記一定間隔前又は後に撮影されたもう一つの前記オフセット補正後の画像とを、前記一定間隔の間における前記観測対象以外の移動体の既知の移動内容に対応する内容で移動させ、前記一つの画像の各画素の画素値から、該画素と重なる前記もう一つの画像の同一画素位置の画素値を差し引いて、前記一つの画像の各画素についてフィルタリング処理後の画素値を算出し、
前記算出したフィルタリング後の画素値を、前記オフセット補正後の前記一つの画像の画素値とするようにした、
ことを特徴とする。

請求項４に記載した本発明の移動体検出方法によれば、請求項１、２又は３に記載した本発明の移動体検出方法において、各画像に観測対象の移動体以外の移動体が写っており、しかも、その移動体の一定間隔の間における移動内容が既知であれば、オフセット補正後の画像に対し、その移動内容に対応する内容だけ移動させた一定間隔前後の画像の同一画素位置の画素値を差し引くことで、画像中の検出対象を信号レベルに基づいて検出するのに当たり、検出対象の背景部分に存在する画像中のノイズ成分をより一層低減させることができる。

さらに、請求項５に記載した本発明の移動体検出方法は、請求項１、２、３又は４に記載した本発明の移動体検出方法において、前記観測対象の移動体は地球周回軌道上の物体であり、前記各画像は定点観測中に時間をおいて撮影された画像であることを特徴とする。

請求項５に記載した本発明の移動体検出方法によれば、請求項１、２、３又は４に記載した本発明の移動体検出方法において、恒星や宇宙線による映り込み等が観測対象の移動体である地球周回軌道上の物体より高い輝度で画像に一緒に写っていても、その画像から地球周回軌道上の物体の背景部分に存在する画像中のノイズ成分をより一層低減させることができる。

本発明によれば、画像中の検出対象を信号レベルに基づいて検出するのに当たり、検出対象の背景部分に存在する画像中のノイズ成分を低減させることができる。

本発明の移動体検出方法を天体の撮影画像からスペースデブリを検出するのに適用した場合の手順を示すフローチャートである。図１のフローチャートにおける撮影及び画像読み込み処理ステップの具体的な手順を示すフローチャートである。図１のフローチャートにおける前処理ステップの具体的な手順を示すフローチャートである。図３のノイズ成分除去補正ステップで除去するノイズ成分の分布を画面横方向の同一の１ライン分について模式的に示す説明図である。（ａ）は図４の破線枠で囲んだ画素部分に現れる各ノイズ成分を画像の撮影タイミング毎に示す説明図、（ｂ），（ｃ）は（ａ）の各ノイズ成分の最小値を４コマ中とそれよりも多い多数コマ数中とについてそれぞれ示す説明図である。

以下、本発明の移動体検出方法を天体の撮影画像からスペースデブリを検出するのに適用した実施形態について、図面を参照しながら説明する。

天体の撮影画像からスペースデブリ（請求項中の観測対象の移動体に相当）を検出する本実施形態の方法では、図１のフローチャートに示すように、撮影及び画像読み込み処理ステップ（ステップＳ１）、前処理ステップ（ステップＳ３）、及び、重ね合わせ処理ステップ（ステップＳ５）の各ステップを行う。

このうち、ステップＳ１の撮影及び画像読み込み処理ステップでは、図２のフローチャートに示すように、まず、観測対象の移動体であるスペースデブリの静止軌道を含む空間（天空）を、一定時間毎に予め定められた露光時間で繰り返し連続撮影する（ステップＳ１１）。続いて、撮影した画像の画像信号を取り込んで（ステップＳ１３）、画像読み込みステップ（図１のステップＳ１）を終了する。

なお、天空の画像を撮影するには、例えば、天体望遠鏡にＣＣＤカメラなどを接続した撮影装置（図示せず）を用いることができる。

次に、図１のステップＳ３の前処理ステップでは、図３のフローチャートに示すように、まず、不図示の撮影装置から取り込んだ画像信号中に含まれるノイズ成分を除去する補正を行う（ステップＳ３１）。続いて、補正後の画像信号の画像サイズを、後述する重ね合わせ処理ステップ（図１のステップＳ５）で取り扱う画像サイズに縮小する（ステップＳ３３）。本実施形態では、画像サイズを縦横それぞれ２分の１（面積ベースで４分の１）に縮小する。そして、縮小前の２×２画素内の最大画素値を縮小後の１画素の画素値に当てはめる。以上で、前処理ステップ（図１のステップＳ３）を終了する。

ここで、ステップＳ３１のノイズ成分の除去補正の詳細な手順について説明する。不図示の撮影装置で画像を撮影してからその画像信号を取り込むまでには、図４に模式的に示すように、主に６種類のノイズ成分が、本来の撮影対象の信号成分に重畳される。なお、図４では、ある画像信号に存在する各ノイズ成分を画面横方向の同一の１ライン分について模式的に示している。

まず、１つ目のノイズ成分は、図４の最下段に示す「（１）ＣＣＤ素子のオフセット成分」である。このＣＣＤ素子のオフセット成分は、不図示の撮影装置で天体望遠鏡により捉えた被写体像をＣＣＤカメラのＣＣＤ素子で電気信号に変換する際に発生するノイズ成分である。即ち、ＣＣＤ素子には、輝度０に応じた出力であるべき状態（被写体の光量が０である場合）で実際の出力が０点からシフト（オフセット）する場合がある。しかも、その内容はＣＣＤ素子の個体毎に異なる。

そこで、光量０の対象の撮影時に撮影装置が出力する画像信号が「０」となるように、ＣＣＤ素子のオフセット成分を補正（オフセット補正）する。なお、この場合のオフセット補正は、ダーク補正とよばれ、その補正値は、受光部を遮光して撮影した時のＣＣＤ素子の出力値を求めることで得ることができる。

そして、求めた補正値を、移動体検出の際に撮影装置で撮影した天空部分の各画素の画素値から差し引くことで、上述したＣＣＤ素子のオフセット成分を補正することができる。

次に、２つ目のノイズ成分は、図４の下から２段目に示す「（２）背景光のグラデーション成分」である。この背景光グラデーション成分は、雲や大気における光の散乱や、局所的に輝度が高い箇所の存在により発生する。具体的には、不図示の撮影装置で撮影する天空の明るさが一様でなく、例えば、観測点からの仰角や高輝度地点からの距離に応じて、天空の背景の明るさがグラデーション状に変化する。

そして、求めた補正値を、移動体検出の際に撮影装置で撮影した天空部分の各画素の画素値から差し引くことで、上述した天空のグラデーション成分を補正することができる。

そこで、輝度が均一な被写体像の撮影時に撮影装置が出力する画像信号が被写体像の全体に亘って均一となるように、背景光のグラデーション成分を補正する。なお、この場合の補正値は、輝度が均一な被写体像の撮影時における上述した「（１）ＣＣＤ素子のオフセット成分」の補正後の画像信号、又は、「（１）ＣＣＤ素子のオフセット成分」に加えて後述する「（３）光学系のオフセット成分」の補正をさらに行った後の画像信号から、グラデーション変化を一次関数式で近似させ、これに基づいて求めるのが望ましい。

このグラデーションをｘ軸、ｙ軸の傾斜として得る方法は、背景技術の欄で先行文献（非特許文献２）としても挙げた「International Astronautical Congress -07-A6.I.05 2007 Mr. Fabrizio Paolillo, Dr. Manfredi Porfilio,“First Italian Space Debris Observatory: Images Processing Automation” 」で示されている。この文献で示されている方法では、画像の各行の中央値を求めた１行ｘ列のデータを作成し、最小自乗法でｘ軸方向のグラデーションを近似する一次式（ｖ＝ａｘ＋ｃ）を決定する。同様に、画像の各列の中央値を求めたｙ行１列のデータを作成し、最小自乗法でｙ方向のグラデーションを近似する一次式（ｖ＝ｂｙ＋ｃ）を決定する。

続いて、３つ目のノイズ成分は、図４の下から３段目に示す「（３）光学系のオフセット成分」である。この光学系のオフセット成分は、不図示の撮影装置で天体望遠鏡により被写体像を捉える際に、天体望遠鏡のニュートン反射鏡やレンズ等の光学系の特性により発生する。具体的には、光学系で捉えた被写体像における周縁部分の明るさが低下する（周辺減光）。この周辺減光は、被写体像全体が明るいほど大きい度合いで発生する。

そこで、輝度が均一な被写体像の撮影時に撮影装置が出力する画像信号が被写体像の全体に亘って均一となるように、光学系のオフセット成分を補正する。なお、この場合のオフセット補正は、フラット補正と呼ばれ、その補正値は、輝度が均一な被写体像の撮影時における上述した「（１）ＣＣＤ素子のオフセット成分」の補正後の画像信号から周辺減光の分布を取得し、これに基づいて求めるのが望ましい。

なお、輝度が均一な被写体像は、例えば、すりガラスなどを望遠鏡の手前に用意し、そのすりガラスに均一な光が当たるようにしながら望遠鏡の視野全体で撮影することで、得ることができる。

そして、求めた補正値を、移動体検出の際に撮影装置で撮影した天空部分の各画素の画素値から差し引くことで、上述した光学系のオフセット成分を補正することができる。

以上に説明した３つのノイズ成分については、それぞれのノイズ成分を抽出して画像信号から差し引く方法で、従来から既に補正処理が行われている。しかし、従来の補正処理では、抽出した各ノイズ成分に含まれる他のノイズ成分が補正処理により積算して補正後の画像信号に残ってしまう。そこで、本実施形態では、後述する方法によってその問題の解消を図っている。

ここではそれに先立って、従来の補正処理により補正後の画像信号に積算して残る他のノイズ成分（引き続き説明する４つ目乃至６つ目のノイズ成分）について説明する。

まず、４つ目のノイズ成分である、図４の下から４段目に示す「（４）恒星によるノイズ成分」は、不図示の撮影装置による撮影画像中に天空に存在する恒星が、その移動速度に応じて周辺がぼやけた点又は線となって写り込むことで発生する。

この恒星によるノイズ成分は、不図示の撮影装置により撮影された各画像と、この画像の前又は後に連続して撮影装置により撮影されたもう一つの画像とを、恒星の既知の移動方向に既知の移動量だけ平行移動させて、両画像の互いに重なる同一画素位置の画素値を差し引くことで、各画像からなくすことができる。

続いて、５つ目のノイズ成分は、図４の上から３段目に示す「（５）熱雑音＋リードアウトノイズ成分」である。この熱雑音やリードアウトノイズ成分は、不図示の撮影装置による被写体像の撮影及びその画像信号の出力に伴って発生する。

このうち、熱雑音は、結像した被写体像の光量に応じた電荷を受光素子が発生させる際に受光素子内の電子の熱振動によりＣＣＤ素子に溜まるノイズ成分である。一方、リードアウトノイズは、受光素子が被写体像から変換した電荷をＣＣＤ素子から読み出す際に発生するノイズ成分であり、ＣＣＤ素子の内部、その制御や電荷読み出しに用いるアナログ回路や、Ａ／Ｄ変換器の内部で発生するノイズを全て含むものである。

上述した「（５）熱雑音＋リードアウトノイズ成分」は、発生場所や発生時間に依存性を持たずその都度変化するランダムノイズであり、一般に、ショットノイズである熱雑音はポアソン分布、リードアウトノイズはガウス分布となることが知られている。

次に、６つ目のノイズ成分は、図４の上から２段目に示す「（６）スパイクノイズ成分」である。このスパイクノイズ成分は、宇宙線の影響で発生するノイズ成分であり、このスパイクノイズ成分により、一部の画素が不規則なタイミングで一瞬だけ極めて高い画素値となる場合がある。

ここで、図５（ａ）の模式図に、連続する４つのタイミング（Ｔ＝ｔ０−Δｔ，ｔ０，ｔ０＋Δｔ，ｔ０＋２Δｔ）で不図示の撮影装置によりそれぞれ撮影された、４つの画像の画像信号に含まれるノイズ成分の内容を個々に示す。なお、図５（ａ）では、画面横方向の１ラインのうち、図４の破線で囲んだライン部分の波形を抽出して示している。後の説明に用いる図５（ｂ），（ｃ）の各模式図でも、同様に一部のライン部分の波形を抽出して示している。

図５（ａ）に示すように、「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」の各ノイズ成分は、撮影装置や撮影する天空領域に依存するので、それらが変わらない限り、どのタイミングで撮影した画像にもコンスタントな内容で現れる。また、「（４）恒星によるノイズ成分」も、恒星の移動により現れる画素の位置は変わるものの、その内容は恒星の輝度に依存するので、画像に写った恒星が変わらない限り、どの画像にもコンスタントな内容で現れる。

これに対し、「（５）熱雑音＋リードアウトノイズ成分」、「（６）スパイクノイズ成分」の各ノイズ成分は、いずれもランダムノイズであるため、画像によって現れる内容が変化する。このため、適切な補正内容を予め決定しておくことができない。

以上が、不図示の撮影装置で撮影した画像信号に含まれる各ノイズ成分の内容である。これらのうち、上述した「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」の各ノイズ成分の補正値を、従来の補正方法によって決定する際には、撮影装置の画像信号から計算等によって各ノイズ成分以外を極力含んでいない画素値をそれぞれ求めることになる。

但し、各補正値を決定するのに用いる撮影装置の画像信号には、「（４）恒星によるノイズ成分」や、ランダムノイズである「（５）熱雑音＋リードアウトノイズ成分」、そして、規則性が特にない「（６）スパイクノイズ成分」が、それぞれの撮影状況に応じた内容で重畳される。

このため、「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」の各ノイズ成分の補正値を決定すると、「（４）恒星によるノイズ成分」を上述した手順でなくしたとしてもなお、先に説明したように、各補正値の中にそれぞれ、「（５）熱雑音＋リードアウトノイズ成分」や「（６）スパイクノイズ成分」が含まれたまま残ることになる。

したがって、画素値に含まれる「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」の各ノイズ成分を、各ノイズ成分の補正値でそれぞれ補正すると、補正後の画素値には、「（５）熱雑音＋リードアウトノイズ成分」や「（６）スパイクノイズ成分」が積算して含まれてしまう。

そこで、本実施形態では、図３のステップＳ３１のノイズ成分の除去補正において、以下に説明するようなノイズ成分の除去補正を行うことで、問題の解消を図っている。即ち、まず、視野を固定して撮影装置で複数コマ撮影し、複数の画像の中から、各画素の最小値を選び出す。

ここで、恒星が画像中に写っていたり、スパイクノイズが発生した場合には、ノイズ成分として充分に大きな値が加わる。このため、恒星が写った画素やスパイクノイズが加わった画素の画素値は、複数の画像中の最小値となることはない。そこで、複数の画像中の各画素の最小値を、少なくとも恒星が写っておらず、かつ、宇宙線によるスパイクノイズが加わっていない画素値として選び出す。なお、宇宙線によるスパイクノイズが写っていない複数の画像から、「（４）恒星によるノイズ成分」を上述した手順でなくした後に、その画像の中から各画素の最小値を選び出してもよい。

ここで、恒星や宇宙線によるスパイクノイズが写っていない画像の画素値に含まれる「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」、「（５）熱雑音＋リードアウトノイズ成分」のうち前３者は、コンスタントな内容であるためどの画像の画素にも同じボリュームで含まれている。そのため、各画素の最小値は、「（４）恒星によるノイズ成分」や「（６）スパイクノイズ成分」を含んでおらず、かつ、画像によって内容が変化する「（５）熱雑音＋リードアウトノイズ成分」を、他の画像の同じ画素よりも少ないボリュームで含んでいることになる。

そして、「（５）熱雑音＋リードアウトノイズ成分」の最小値は「０」である。よって、恒星や宇宙線によるスパイクノイズが写っていない複数の画像中の各画素の最小値は、「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」の各ノイズ成分をまとめて補正するための補正量に相当すると考えることができる。

そこで、恒星や宇宙線によるスパイクノイズが写っていない複数の画像の中から選び出した各画素の最小値を補正量として、移動体検出の際に撮影装置で撮影した天空部分の画像の各画素値から差し引き、「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」の各ノイズ成分をまとめて補正する。

なお、図５（ｂ）の模式図に示すように、４コマの画像から各画素の最小値を選ぶよりも、図５（ｃ）の模式図に示すように、４コマよりも多い多数コマの画像から各画像の最小値を選ぶ方が、確率的に、最小値に含まれる「（５）熱雑音＋リードアウトノイズ成分」のノイズ成分のボリューム（ヒストグラム中のハッチングを施した部分）が少なくなる。

したがって、「（５）熱雑音＋リードアウトノイズ成分」の補正量を最低限に止めたい場合は、各画素の最小値を選ぶ対象の画像のコマ数をできるだけ増やすことが望ましい。そこで、後述する重ね合わせ処理に用いる全画像から各画素の最小値を選ぶことが望ましい。

続いて、上述した４つのノイズ成分を補正した後の、移動体検出の際に撮影装置で撮影した連続２コマの天空部分の画像を、恒星の移動方向及び移動量に応じて平行移動させて重ね合わせ、重なった同一画素の画素値を差し引くことで、「（４）恒星によるノイズ成分」をなくす。以上で、図３のステップＳ３１のノイズ成分の除去補正とする。

次に、図１のステップＳ５の重ね合わせ処理ステップでは、不図示の撮影装置が冒頭に説明したように一定間隔で連続撮影した画像に対して、重ね合わせ法によるスペースデブリの候補の抽出処理をそれぞれ実行する。

具体的には、各画像をスペースデブリの推定移動速度ずつ順次平行移動させて、互いに重なる同一画素位置の画素値を用いて、スペースデブリ検出の評価値を算出する。この評価値は、スペースデブリの推定移動速度を順次変えながら、それぞれの推定移動速度について算出する。また、各画像の互いに重なる同一画素位置の画素値を用いた評価値の算出は、画像の各画素位置の全てについてそれぞれ行う。

評価値としては、例えば、対象画素位置の画素値に関する全画像の中央値や平均値等を用いることができる。そして、例えば、この評価値が所定のしきい値以上である場合に、この画素をスペースデブリが写っている画素であると判定することができる。

このように本実施形態では、重ね合わせ法を用いて行う図１のステップＳ３の前処理ステップにおいて、不図示の撮影装置で撮影した各画像の各画素の画素値から、全画像の同じ画素位置の画素値中の最低画素値を差し引いている。

これにより、コンスタントに現れる「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」を画像信号（の各画素値）からなくすことができる。また、最低画素値に含まれる「（５）熱雑音＋リードアウトノイズ成分」は、限りなく「０」に近い最低限のボリュームであることから、補正後の画像信号（の各画素値）に残るのを極力防ぐことができる。

このような前処理ステップを実行することで、各画像の「（１）ＣＣＤ素子のオフセット成分」、「（２）背景光のグラデーション成分」、「（３）光学系のオフセット成分」を、それぞれ個別に求めた補正値により補正する場合のように、各補正値にそれぞれ含まれる「（５）熱雑音＋リードアウトノイズ成分」が補正後の画像信号（の画素値）に残ってしまうのを、防ぐことができる。

よって、各画像の各画素の画素値から、全画像の同じ画素位置の画素値中の最低画素値を差し引くオフセット補正を行うことで、重ね合わせ法によりスペースデブリを検出するのに当たり、重ね合わせる画像のノイズ成分をより低減して、スペースデブリが写った画素の候補、ひいてはスペースデブリを、精度よく検出することができる。

なお、本実施形態では、画像上で推定移動方向及び推定移動量による等速直線運動を行う移動体を観測対象とした重ね合わせ法の場合を例に取って説明した。しかし、本発明は、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等速加速度運動を画像上で行う移動体を観測対象とした重ね合わせ法を行う場合にも適用可能である。

また、図３のステップＳ３１におけるノイズ成分の除去補正の際に説明した、恒星によるノイズ成分の除去の手法は、恒星以外の、スペースデブリを除く非検出対象の移動体についても、その移動体が写って発生した撮影画像中のノイズ成分を除去する手法として用いることができる。但し、連続２コマの撮影画像を相対移動させて重ね合わせるので、その撮影間隔の間に移動体が移動した内容（例えば、等速直線運動を行う移動体の場合はその移動方向及び移動量）が既知である必要がある。

また、上述した実施形態では、移動体を検出するのに重ね合わせ法を用いた場合について説明した。しかし、重ね合わせ法以外の、例えば、ブロックマッチングによる追跡や、オプティカルフローによる追跡を行って移動体を検出する際にも、本発明は適用可能である。また、移動体の運動モデルを仮定して、等速直線運動だけでなく移動方向をパーティクルフィルタ等で推定して、可能性の高いものを移動体として抽出する処理を用いる場合にも、本発明は適用可能である。

さらに、上述した実施形態では、スペースデブリの検出方法として本発明を実施した場合について説明したが、本発明は、例えば、スペースデブリ以外の地球周回軌道上を周回する人工衛星等の物体や、着色した微生物を撮影画面上で特定し検出する場合等、スペースデブリ以外の移動体を一定間隔で撮影した画像から検出する場合に、広く適用可能である。

Claims

一定間隔で撮影された複数の画像を用いて、前記各画像から観測対象の移動体を検出する方法において、
全画像中における各画素の最低画素値により各画素値をオフセット補正したオフセット補正後の前記複数の画像を用いて、前記観測対象の移動体を検出するようにした、
ことを特徴とする移動体検出方法。
撮影領域を固定して撮影された前記複数の画像中における各画素の前記最低画素値により各画素値を前記オフセット補正することを特徴とする請求項１記載の移動体検出方法。
前記オフセット補正後の前記各画像を、前記一定間隔の間における前記観測対象の移動体の推定した移動内容に対応する内容で順次移動させ、前記オフセット補正後の各画像の互いに重なる同一画素位置の画素値に基づいて、前記複数のオフセット補正後の画像から前記観測対象の移動体を検出するようにしたことを特徴とする請求項１又は２記載の移動体検出方法。
前記複数のオフセット補正後の画像のうち一つの画像と、該一つの画像の前記一定間隔前又は後に撮影されたもう一つの前記オフセット補正後の画像とを、前記一定間隔の間における前記観測対象以外の移動体の既知の移動内容に対応する内容で移動させ、前記一つの画像の各画素の画素値から、該画素と重なる前記もう一つの画像の同一画素位置の画素値を差し引いて、前記一つの画像の各画素についてフィルタリング処理後の画素値を算出し、
前記算出したフィルタリング後の画素値を、前記オフセット補正後の前記一つの画像の画素値とするようにした、
ことを特徴とする請求項１、２又は３記載の移動体検出方法。
前記観測対象の移動体は地球周回軌道上の物体であり、前記各画像は定点観測中に時間をおいて撮影された画像であることを特徴とする請求項１、２、３又は４記載の移動体検出方法。