JP6094099B2 - 移動体検出方法 - Google Patents

移動体検出方法 Download PDF

Info

Publication number
JP6094099B2
JP6094099B2 JP2012197529A JP2012197529A JP6094099B2 JP 6094099 B2 JP6094099 B2 JP 6094099B2 JP 2012197529 A JP2012197529 A JP 2012197529A JP 2012197529 A JP2012197529 A JP 2012197529A JP 6094099 B2 JP6094099 B2 JP 6094099B2
Authority
JP
Japan
Prior art keywords
pixel
image
value
average value
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012197529A
Other languages
English (en)
Other versions
JP2014051211A (ja
Inventor
肇 坂野
肇 坂野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2012197529A priority Critical patent/JP6094099B2/ja
Priority to RU2015111679A priority patent/RU2618927C2/ru
Priority to AU2013314014A priority patent/AU2013314014B2/en
Priority to PCT/JP2013/073940 priority patent/WO2014038628A1/ja
Priority to EP13834866.9A priority patent/EP2897353A4/en
Publication of JP2014051211A publication Critical patent/JP2014051211A/ja
Priority to US14/638,710 priority patent/US9478041B2/en
Application granted granted Critical
Publication of JP6094099B2 publication Critical patent/JP6094099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G3/00Observing or tracking cosmonautic vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影画像から移動体を検出する方法に関するものである。
運用されることなく地球周回軌道上を周回している人工物であるスペースデブリの宇宙空間上における存在を検出することは、宇宙機(人工衛星や宇宙ステーション、スペースシャトル等)の円滑な運用を実現する上で重要である。従来から行われているスペースデブリの検出方法の一つとして、地球上や軌道上においてCCD(電荷結合素子)カメラにより撮影した画像中の高輝度部分を抽出することで、スペースデブリの存在を特定する方法がある。
この方法では、時間をおいて撮影した3コマ以上の画像から、スペースデブリ等の移動体の画像上での動作(例えば、x,yの2次元方向の移動ベクトル(速度)を持つ等速運動等)に合わせた領域の画像を同じ大きさで切り取り、切り取った画像に対して重ね合わせ法を適用している。具体的には、切り取った各画像を重ね合わせて、同じ画素について画素値の中央値を求める。そして、求めた中央値が一定値以上となる画素を、移動体が存在する画素として抽出する(例えば、特許文献1,2)。
重ね合わせ法は、スペースデブリに限らず、画像上の輝度レベルの低い移動体を検出する方法として広く有効な方法である。そして、上述したように中央画素値を移動体検出の評価値に用いた上述の重ね合わせ法では、平均画素値を評価値に用いた場合のように、一部の画像にたまたま写ったノイズ成分(例えば、天体の恒星や宇宙線による映り込み等)によって評価値が上昇することがない。このため、恒星や宇宙線による映り込み等の存在による移動体の誤検出を抑制できる利点がある。
特開2002−139319号公報 特開2003−323625号公報
このように、時間をおいて撮影した複数の画像から重ね合わせ法を用いて移動体を検出する場合には、各画像に写った検出対象の移動体が重なるように、画像の撮影間隔の間に移動体が移動する分だけ各画像から切り取る領域をずらして重ね合わせる必要がある。ところが、例えばスペースデブリの場合のように、移動体の動作(ベクトル方向、スカラー量)は事前に分かっていないことがある。
そのため、各画像から切り取る領域を様々な方向に様々な量ずつずらして重ね合わせる試行錯誤を繰り返して、検出対象のスペースデブリが重なる画像の切り取り領域を見つけなければならない。それに要する処理は膨大な量となる。
例えば、画像の重ね合わせ期間中に移動する距離で移動体の移動速度Vを表すと、画像のx、y座標方向にそれぞれV=(±Vx,±Vy)とし、画像サイズL=(Lx,Ly)のnコマの画像から、上述した重ね合わせ法による移動体の検出を行う場合を想定する。ここで、移動速度Vと画像サイズLをそれぞれ画素数で表した場合、それぞれの値が、Vx=Vy=200(V=(±200,±200))、Lx=Ly=2000であり、検出に用いる画像のコマ数n=32であるとする。
そして、重ね合わせ期間中に移動する距離を1画素ずつ変化させて重ね合わせて計算すると、移動体の移動速度Vが(±Vx)×(±Vy)種類想定できるので、各種類について、(Lx×Ly)画素について画素値を求めるには、
(2Vx)×(2Vy)×(Lx)×(Ly)
=400×400×2000×2000=6.4×10^11
回の演算処理が必要な計算になる。これを、nコマの画像分行うので、全画像の画素値を全て求めるには、さらに32倍して、おおよそ、
2.0×10^13
回の演算処理が必要な計算になる。
また、nコマの画像の同一画素位置の画素値から中央値を求める処理は、n個の画素値をソートする演算処理と、ソートの結果昇順(又は降順)に並んだ画素値列の中央に位置する値を取り出す処理となる。このため、計算時間はソートに必要な計算に依存し、
nlog(n)
回の比較と、代入演算とを行うのに要する時間となる。この処理の演算回数は、比較の結果値の入れ替えがない最小の場合でも、単純な平均画素値を求める処理の演算回数(n回)のlog(n)倍である。そして、通常は、比較の結果値の入れ替えが発生し、その度に3回の代入が追加で必要となるため、さらにその数倍となる。したがって、非常に時間のかかる処理となる。
しかも、n個の画素値をソートする比較演算の際にプロセッサは、比較処理の後に投機的実行を行う。この投機的実行では、プロセッサは、n個の画素値から選択した2つの画素値のペアについて比較を実行し、比較の結果に依存する「2つの画素値の順番を入れ替える」投機的実行と、「2つの画素値の順番を入れ替えない」投機的実行とのどちらかを行う。
ここで、ある画素値のペアに対してプロセッサが「2つの画素値の順番を入れ替える」投機的実行を行った場合を想定する。投機的実行を行った対象の画素値がたまたまソートする順番とは逆の大小関係に並んでいた場合は、プロセッサが行った投機的実行は成功となる。
しかし、投機的実行を行った画素値のペアが、ソートしたい順番に元々並んでいた場合は、投機的実行以降に処理を中断し、先行して実施した作業(間違った結果を基にした作業を)を巻き戻して処理を再開するので、プロセッサが行った投機的実行は失敗となる。
投機的実行は、前回の実行結果と同じ分岐が発生すると仮定して、条件が確定する前に実行の内容を決定して以降の処理を進める場合が多い。しかし、画素値の並びはランダムであるので、前回の比較結果と同じ結果が続く確率は50%である。したがって、プロセッサが行う投機的実行は半分の確率で失敗する。そして、投機的実行が失敗する50%の確率で、先行して実施した間違った結果に基づく作業を巻き戻して作業を再開するまでに、四則計算の10〜20倍の作業中断時間を発生させなければならない。
以上のように、移動体検出の評価値としてnコマの画像の同一画素位置の画素値の中央値を用いるのは、平均値を用いるよりも検出精度が向上する大きな利点を有する。しかし、その代わりに、中央値を求めるためにプロセッサは、平均値を求めるよりも膨大な演算処理を行わなければならなくなってしまう。
本発明は前記事情に鑑みなされたもので、本発明の目的は、重ね合わせ法により移動体を検出するのに当たり、重ね合わせた各画像の同一画素位置の各画素値から求めた中央値を移動体検出の評価値に用いるよりも少ない演算処理で、移動体又はその候補を精度よく検出することができる移動体検出方法を提供することにある。
上記目的を達成するため、請求項1に記載した本発明の移動体検出方法は、
一定間隔で撮影された画像を、前記一定間隔の間における観測対象の移動体の推定した移動内容に対応する内容で順次移動させ、前記各画像の互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出する方法において、
前記各画像の前記同一画素位置の画素値のうち、前記観測対象の移動体とそれよりも高輝度の発光要素とを区別するためのしきい値以下の画素値を用いて平均値を算出する限定画素平均値算出ステップと、
前記限定画素平均値算出ステップにおける算出平均値が基準値以上である前記各画像の同一画素位置の画素を、前記観測対象の移動体又はその候補が写った画素であると判定する判定ステップとを含む、
ことを特徴とする。
請求項1に記載した本発明の移動体検出方法によれば、限定画素平均値算出ステップにおける算出平均値は、各画像の同一画素位置の画素値のうち、観測対象の移動体の画像上における輝度(画素値)に比べると大幅に輝度(画素値)が高い高輝度の発光要素に対応する画素値を除外した平均値である。したがって、各画像の同一画素位置の画素値の単なる平均値よりは、例えば、天体における恒星や宇宙線による映り込み等の高輝度発光要素(ノイズ成分)の輝度(画素値)が反映されていない平均画素値となる。即ち、限定画素平均値算出ステップにおいて算出する平均画素値は、重ね合わせた各画像の同一画素位置の画素値を単に平均した平均画素値よりは、観測対象の移動体の輝度(画素値)に近い値となる。
また、平均画素値を演算する際にプロセッサは、各画像の同一画素位置の画素値に対して、「平均値を算出するための加算演算を実行する」投機的実行と、「平均値を算出するための加算演算を実行しない」投機的実行とのどちらかを行う。そして、画像中の多くの画素が高輝度発光要素を表示するほどには高輝度発光要素の画像中における存在割合が高くない限り、プロセッサが行う投機的実行は、半分よりも充分に高い確率で、「平均値を算出するための加算演算を実行する」投機的実行が実施され、かつ、半分よりも充分に高い割合で成功する。よって、投機的実行の失敗による演算処理量の増加の影響も少ない。
このため、限定画素平均値算出ステップにおいて算出する平均画素値を移動体検出の評価値とすることで、重ね合わせ法により移動体を検出するのに当たり、重ね合わせた各画像の同一位置の各画素値から求めた中央値を移動体検出の評価値に用いるよりも少ない演算処理で、観測対象の移動体又はその候補が写った画素を、精度よく検出することができる。
また、請求項2に記載した本発明の移動体検出方法は、請求項1に記載した本発明の移動体検出方法において、
前記各画像の前記同一画素位置の全画素値の平均値を算出する全画素平均値算出ステップと、
前記全画素平均値算出ステップにおける算出平均値を所定倍して前記しきい値を算出するしきい値算出ステップとをさらに含む、
ことを特徴とする。
請求項2に記載した本発明の移動体検出方法によれば、請求項1に記載した本発明の移動体検出方法において、観測対象の移動体とそれ以外の高輝度発光要素とを区別するためのしきい値をどのような値にするかは、観測対象の移動体に比べて突飛な輝度(画素値)の高輝度発光要素の輝度(画素値)を、限定画素平均値算出ステップの算出平均値に、より反映させないようにする上で、非常に重要な要素となる。
そして、重ね合わせた各画像の同一画素位置の全画素値の平均値に基づいて(全画素値の平均値を所定倍して)しきい値とすることで、観察対象の移動体の輝度(画素値)を基準にして、その輝度(画素値)とはかけ離れた輝度(画素値)の画素を高輝度発光要素が存在する画素として、観察対象の移動体が存在する画素と精度よく区別できるようにすることができる。
なお、請求項1又は2記載の移動体検出方法において、請求項3に記載した本発明の移動体検出方法のように、前記推定した移動内容は、前記観測対象の移動体の推定移動方向への推定移動量による等速直線運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出するようにしてもよい。
また、請求項1又は2記載の移動体検出方法において、請求項4に記載した本発明の移動体検出方法のように、前記推定した移動内容は、前記観測対象の移動体の推定移動方向への、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等加速度運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出するようにしてもよい。
さらに、請求項5に記載した本発明の移動体検出方法は、請求項1、2、3又は4に記載した本発明の移動体検出方法において、
前記各画像を、時系列上で連続する所定コマ数ずつにグループ分けするグルーピングステップと、
前記判定ステップにおける判定結果から、前記各画像中の前記観測対象の移動体を検出する検出ステップとをさらに含んでおり、
前記限定画素平均値算出ステップ及び前記判定ステップは、前記グルーピングステップにおいてグループ分けされた各グループにおいて、当該各グループに属する前記所定コマ数の画像を用いてそれぞれ行われると共に、
前記検出ステップは、前記推定した移動内容が一致し移動軌跡が重なる前記候補が前記各グループに属する前記所定コマ数の画像からそれぞれ抽出された場合に、該候補を前記各画像中の前記観測対象の移動体として検出する、
ことを特徴とする。
請求項5に記載した本発明の移動体検出方法によれば、請求項1、2、3又は4に記載した本発明の移動体検出方法において、一定間隔で撮影された画像を時系列上で連続する所定コマ数ずつに分けた各グループにおいて、画像中の観測対象の移動体であるとそれぞれ判定した候補が、推定した移動内容が一致し移動軌跡が重なるならば、同一の移動体であるものとして、観測対象の移動体であると最終的に認識し検出することになる。
このため、重ね合わせた各画像の同一位置の各画素値から求める移動体検出の評価値を、中央値よりも演算処理が少なくて済む平均値に変えても、各グループでそれぞれ観測対象の移動体と判定した候補の推定した移動内容と移動軌跡(移動方向)の一致を確認することで、観測対象の移動体又はその候補を精度よく検出することができる。
また、請求項6に記載した本発明の移動体検出方法は、請求項1、2、3、4又は5に記載した本発明の移動体検出方法において、
前記各画像のうち一つの画像と、該一つの画像の前記一定間隔前又は後に撮影されたもう一つの画像とを、前記一定間隔の間における前記観測対象以外の移動体の既知の移動内容に対応する内容で移動させ、前記一つの画像の各画素の画素値から、該画素と重なる前記もう一つの画像の同一画素位置の画素値を差し引いて、前記一つの画像の各画素についてフィルタリング処理後の画素値を算出するフィルタリングステップをさらに含んでおり、
前記限定画素平均値算出ステップでは、前記各画像の前記同一画素位置の前記フィルタリングステップによるフィルタリング処理後の画素値について、前記しきい値以下の画素値の平均値を算出する、
ことを特徴とする。
請求項6に記載した本発明の移動体検出方法によれば、請求項1、2、3、4又は5に記載した本発明の移動体検出方法において、各画像に観測対象の移動体以外の移動体が写っており、しかも、その移動体の一定間隔の間における移動内容が既知であれば、フィルタリングステップにおける画素値のフィルタリングでそれらの移動体に起因する画素値をキャンセルした後の画像によって、観測対象の移動体又はその候補を精度よく検出することができる。
さらに、請求項7に記載した本発明の移動体検出方法は、請求項1、2、3、4、5又は6に記載した本発明の移動体検出方法において、前記観測対象の移動体は地球周回軌道上の物体であり、前記各画像は定点観測中に時間をおいて撮影された画像であることを特徴とする。
請求項7に記載した本発明の移動体検出方法によれば、請求項1、2、3、4、5又は6に記載した本発明の移動体検出方法において、恒星や宇宙線による映り込み等が観測対象の移動体である地球周回軌道上の物体より高い輝度で画像に一緒に写っていても、その画像から地球周回軌道上の物体を、少ない演算処理で精度よく検出することができる。
本発明によれば、重ね合わせ法により移動体を検出するのに当たり、重ね合わせた各画像の同一位置の各画素値から求めた中央値を移動体検出の評価値に用いるよりも少ない演算処理で、移動体又はその候補を精度よく検出することができる。
本発明の移動体検出方法を天体の撮影画像からスペースデブリを検出するのに適用した場合の手順を示すフローチャートである。 図1のフローチャートにおける撮影及び画像読み込み処理ステップの具体的な手順を示すフローチャートである。 図1のフローチャートにおける前処理ステップの具体的な手順を示すフローチャートである。 図1のフローチャートにおける重ね合わせ処理ステップの具体的な手順を示すフローチャートである。 図1の前処理ステップにおいてしきい値以下の画素値を用いて算出する平均値の性質を示すグラフである。 図1のフローチャートにおける連続性評価処理ステップの具体的な手順を示すフローチャートである。 図6の連続性評価処理ステップで行う手順の内容を模式的に示す説明図である。 図1のフローチャートにおける結果確認処理ステップの具体的な手順を示すフローチャートである。 画像中に現れる恒星等の例外要素の輝度を変化させた場合の画像信号に残存するノイズ成分を、スペースデブリ検出に用いる評価値別に比較して示すグラフである。 画像中に現れる恒星等の例外要素の発生頻度を変化させた場合の画像信号に残存するノイズ成分を、スペースデブリ検出に用いる評価値別に比較して示すグラフである。 撮影装置のCCD素子のオフセット成分を含む検出対象物の明るさを変化させた場合の画像信号に残存するノイズ成分を、スペースデブリ検出に用いる評価値別に比較して示すグラフである。
以下、本発明の移動体検出方法を天体の撮影画像からスペースデブリを検出するのに適用した実施形態について、図面を参照しながら説明する。
天体の撮影画像からスペースデブリ(請求項中の観測対象の移動体に相当)を検出する本実施形態の方法では、図1のフローチャートに示すように、撮影及び画像読み込み処理ステップ(ステップS1)、前処理ステップ(ステップS3)、重ね合わせ処理ステップ(ステップS5)、連続性評価処理ステップ(ステップS7)、及び、結果確認処理ステップ(ステップS9)の各ステップを行う。
このうち、ステップS1の撮影及び画像読み込み処理ステップでは、図2のフローチャートに示すように、まず、観測対象の移動体であるスペースデブリの静止軌道を含む空間(天空)を、一定時間毎に予め定められた露光時間で繰り返し連続撮影する(ステップS11)。続いて、撮影した画像の画像信号を取り込んで(ステップS13)、画像読み込みステップ(図1のステップS1)を終了する。
なお、天空の画像を撮影するには、例えば、天体望遠鏡にCCDカメラなどを接続した撮影装置(図示せず)を用いることができる。また、本実施形態では、後述する重ね合わせ処理ステップ(図1のステップS5)をmコマずつの画像でp回行うために、p×mコマの画像を撮影装置で連続撮影して取り込む。
次に、図1のステップS3の前処理ステップでは、図3のフローチャートに示すように、まず、不図示の撮影装置から取り込んだ画像信号中に含まれるノイズ成分を除去する補正を行う(ステップS31)。続いて、補正後の画像信号の画像サイズを、後述する重ね合わせ処理ステップ(図1のステップS5)で取り扱う画像サイズに縮小する(ステップS33)。本実施形態では、画像サイズを縦横それぞれ2分の1(面積ベースで4分の1)に縮小する。そして、縮小前の2×2画素内の最大画素値を縮小後の1画素の画素値に当てはめる。以上で、前処理ステップ(図1のステップS3)を終了する。
ここで、ステップS31のノイズ成分の除去補正では、不図示の撮影装置で撮影した画像信号に含まれるノイズ成分を除去する補正を行う。ここで除去するノイズ成分の代表的なものとしては、例えば、撮影装置のCCDカメラのCCD素子のオフセット成分がある。
このCCD素子のオフセット成分は、不図示の撮影装置で天体望遠鏡により捉えた被写体像をCCDカメラのCCD素子で電気信号に変換する際に発生するノイズ成分である。即ち、CCD素子には、輝度0に応じた出力であるべき状態(被写体の光量が0である場合)で実際の出力が0点からシフト(オフセット)する場合がある。しかも、その内容はCCD素子の個体毎に異なる。
そこで、光量0の対象の撮影時に撮影装置が出力する画像信号が「0」となるように、CCD素子のオフセット成分を補正(オフセット補正)する。なお、この場合のオフセット補正は、ダーク補正とよばれ、その補正値は、受光部を遮光して撮影した時のCCD素子の出力値を求めることで得ることができる。
そして、求めた補正値を、移動体検出の際に撮影装置で撮影した天空部分の各画素の画素値から差し引くことで、上述したCCD素子のオフセット成分を補正することができる。
また、ステップS31で画像信号から除去するノイズ成分の代表的なものとしては、他に、例えば、恒星によるノイズ成分がある。この恒星によるノイズ成分は、不図示の撮影装置による撮影画像中に天空に存在する恒星が、その移動速度に応じて周辺がぼやけた点又は線となって写り込むことで発生する。
この恒星によるノイズ成分は、不図示の撮影装置により撮影された各画像と、この画像の前又は後に連続して撮影装置により撮影されたもう一つの画像とを、恒星の既知の移動方向に既知の移動量だけ平行移動させて、両画像の互いに重なる同一画素位置の画素値を差し引くことで、各画像からなくすことができる。
そこで、上述したCCD素子のオフセット成分をダーク補正した後の、移動体検出の際に撮影装置で撮影した連続2コマの天空部分の画像を、恒星の移動方向及び移動量に応じて平行移動させて重ね合わせ、重なった同一画素の画素値を差し引くことで、画像信号に含まれる恒星によるノイズ成分をなくす。以上を、例えば、図3のステップS31のノイズ成分の除去補正において行う補正内容とすることができる。
次に、図1のステップS5の重ね合わせ処理ステップでは、図4のフローチャートに示すように、まず、不図示の撮影装置が冒頭に説明したように一定間隔でp×mコマ連続撮影した画像(画像サイズL=(Lx,Ly))を、連続mコマずつのpグループ(組)にグループ分けして、各グループ(p=0〜p−1)毎に、mコマずつの画像に対して重ね合わせ法によるスペースデブリの候補の抽出処理をそれぞれ実行する(ステップS51)。
mコマの画像からスペースデブリの候補を抽出する処理を行うに当たっては、各画像をスペースデブリの推定移動速度ずつ順次平行移動させて、互いに重なる同一画素位置の画素値を用いて演算を行う。この演算は、スペースデブリの推定移動速度を(−Vx/p,−Vy/p)〜(Vx/p,Vy/p)の範囲で順次変えながら、それぞれの推定移動速度について行う(ステップS53)。ここで、推定移動速度の範囲が1/pとなるのは、期間が1/pとなり、期間全体で移動する距離も1/pとなるためである。
また、mコマの画像の互いに重なる同一画素位置の画素値を用いた演算は、画像の各画素位置(画素座標=(0,0)〜(Lx,Ly))についてそれぞれ行う。具体的には、スペースデブリの推定移動速度Vずつ順次平行移動させたmコマの画像の互いに重なる同一画素位置について、各画素の画素値のうち条件を満たさない画素(外れ値)を除外した画素値の平均処理を実施する(ステップS55)。ここで、条件とは、「各画素の画素値の平均値を所定倍したしきい値未満であること」である。
上述したしきい値は、スペースデブリとそれ以外のスペースデブリよりも高輝度で発光する物体(請求項中における高輝度発光要素に相当)とを区別するためのものである。このしきい値をどのような値にするかは、スペースデブリに比べて突飛な輝度(画素値)の移動体の輝度(画素値)を、後述する処理で算出する値に、より反映させないようにする上で、非常に重要な要素となる。
そして、重ね合わせた各画像の同一画素位置の全画素値のうち外れ値を除いた残りの画素値の平均値に基づいて(外れ値を除いた全画素値の平均値を所定倍して)しきい値とすることで、スペースデブリの輝度(画素値)を基準にして、その輝度(画素値)とはかけ離れた輝度(画素値)の画素を、スペースデブリ以外の発光する物体が存在する画素として、スペースデブリが存在する画素と精度よく区別できるようにすることができる。
なお、しきい値の値を左右する上述の所定倍は、例えば1.5〜3倍とすることができ、この値は、統計的手法により適切な値に設定することができる。本実施形態では、以下、所定倍を2倍とした場合について説明する。
まず、ステップS51で設定した1つのグループ(p=0〜p−1)に属するmコマの画像を、ステップS53で設定したスペースデブリの推定移動速度((−Vx/p,−Vy/p)〜(Vx/p,Vy/p)のいずれか)ずつ順次平行移動させる。そして、ステップS55で設定した、重ね合わせた状態で互いに重なる対象の画素位置((0,0)〜(Lx,Ly))について、各画素値の平均値を求める(ステップS57)。
続いて、求めた平均値の2倍(所定倍)を上述したしきい値として、このしきい値以下の画素値の画素を選び(ステップS59)、選んだ画素の画素値の平均値を算出する(ステップS61)。但し、ステップS57で求めた平均値の0.5倍以下の画素値の画素が全体の半分以上を占める場合は、ステップS61の平均値算出を算出不能とする。
以上に説明した手順で図4のステップS61で算出する平均値は、図5のグラフに示すような位置付けとなる。まず、図5中に菱形でプロットしたのは、重ね合わせた状態で互いに重なる各画像の対象となる同一画素位置の画素値(輝度)S1〜S8である。なお、図5の横軸は、プロットした画素値S1〜S8の画素を含む画像の撮影時刻、縦軸は画素値の輝度を示す。
各画像の同一画素位置の画素値S1〜S8を単純平均すると、その値(単純平均値Save)は、図5中の細い破線で示す値となる。また、単純平均値Saveを所定倍したしきい値Sthを、図5中の一点鎖線で示す。そして、しきい値Sth未満の平均する対象の範囲Aに属する画素値S1〜S4,S6〜S8の平均値Save′は、図5中の太い破線で示す値となる。この平均値Save′が、図4のステップS61で算出する平均値であり、各画素値S1〜S8の単純平均値Saveに比べて遙かに、中央値である画素値S6に近い値となる。
そして、重ね合わせたmコマの画像の互いに重なる同一画素位置の画素値を用いた演算を、各画素位置(画素座標=(0,0)〜(Lx,Ly))についてそれぞれ行ったならば(ステップS55乃至ステップS61)、mコマの画像を順次平行移動させるスペースデブリの推定移動速度V(V=(−Vx/p,−Vy/p)〜(Vx/p,Vy/p))を変える度に(ステップS53)、ステップS61で求めた平均値が最大となる推定移動速度Vを選択(又は更新)する(ステップS63)。
また、ステップS61で求めた平均値が最大となる推定移動速度Vを、全ての推定移動速度V(V=(−Vx/p,−Vy/p)〜(Vx/p,Vy/p))についてステップS61でそれぞれ求めた平均値の中から選択(又は更新)したならば(ステップS53乃至ステップS63)、以上の処理を、全てのグループ(p=0〜p−1)について実行する。
全グループ(p=0〜p−1)について処理を実行したならば(ステップS51乃至ステップS63)、以上で、重ね合わせ処理ステップ(図1のステップS5)を終了する。
次に、図1のステップS7の連続性評価処理ステップでは、図6のフローチャートに示すように、まず、スペースデブリの候補とするのに必要なしきい値(候補基準値、請求項中の基準値に相当)以上となる、図4のステップS61で求めた画素毎の平均値のステップS63で選択した推定移動速度Vにおける最大値の画素を、スペースデブリの候補点として検出する(ステップS71)。
続いて、pグループから任意の2グループ(q,r∈[1〜p])を選択して(ステップS73)、それぞれのグループq,r毎のステップS71で検出したスペースデブリの候補が、共通の所定時刻に画像中のどの画素を通過したかを、計算により割り出す(ステップS75)。
そして、所定時刻に同じ画素位置(一定範囲内の近接画素位置としてもよい)を通過する、グループqのスペースデブリの候補とグループrのスペースデブリの候補とのペアを抽出する(ステップS77)。例えば、図7の模式図では、図中下側のグループの一番上の画像に写っている3つのスペースデブリの候補点のうち2つが、図中上側のグループの各画像に写っている3つのスペースデブリの候補点のうち2つの移動軌跡の延長線上に位置している。したがって、これらは、所定時刻に同じ画素位置を通過するペアに該当する。
次に、図6のステップS77で抽出したペアのうち、グループq,r毎のスペースデブリの候補の推定移動速度Vどうしが近い(一定の誤差範囲内に収まる)ペアを、スペースデブリの最終候補として抽出する(ステップS79)。例えば、図7の模式図では、「OK:位置方向一致」と記したスペースデブリの候補点が、図中上側のグループでも下側のグループでも同じ移動方向となっている。したがって、このペアは、方向成分を含んでいる推定移動速度Vが一致したペアに該当する。
一方、「NG:移動方向違い」と記したスペースデブリの候補点は、図中上側のグループと下側のグループとで移動方向が異なっている。したがって、このペアは、方向成分を含んでいる推定移動速度Vが一致したペアには該当しない。
また、「NG:位置違い」と記したスペースデブリの候補点は、図中上側のグループでも下側のグループでも同じ移動方向となっている。しかし、図中上側のグループの各画像に写っているスペースデブリの候補点の移動軌跡の延長線上には、図中下側のグループの一番上の画像に写っているスペースデブリの候補点が位置していない。したがって、このペアは、所定時刻に同じ画素位置を通過するペアに該当しない。
なお、ステップS79では、ステップS77で抽出した各グループq,rのスペースデブリの候補の推定輝度cを併せて算出する。このうち、ステップS79でスペースデブリの最終候補として抽出したペアについては、対応する各グループq,rのスペースデブリの候補の推定輝度cを、各候補点に関する平均画素値の最大値(図4のステップS63で選択)a,bから、式c=√(a×b)によって算出する。スペースデブリの最終候補とならなかった各グループq,rのスペースデブリの候補点については、推定輝度cをc=0とする。
グループq,rについて、スペースデブリの最終候補を抽出し、推定輝度cを算出したならば(ステップS73乃至ステップS79)、他の2つのグループの間で、同様にスペースデブリの最終候補を抽出し、推定輝度cを算出する。この際、例えばグループpの数が3つである場合は、グループ1とグループ2、グループ2とグループ3について、スペースデブリの最終候補の抽出と推定輝度cの算出とを行う。なお、グループ1とグループ3についてもさらに、スペースデブリの最終候補の抽出と推定輝度cの算出とを行ってもよい。以上で、連続性評価処理ステップ(図1のステップS7)を終了する。
次に、図1のステップS9の結果確認処理ステップでは、図8のフローチャートに示すように、まず、ステップS77でスペースデブリの最終候補として抽出した全てのペアについて、そのペアが属する各グループのmコマの画像を、図3のステップS33で縮小する前の、ステップS31で補正を行った直後の内容で用意する(ステップS91)。そして、用意した画像を用いて、各最終候補についてスペースデブリとして検出するか否かの確認処理をそれぞれ実行する(ステップS93)。
この確認処理を行うに当たっては、スペースデブリの各最終候補について、ステップS91で用意した縮小前の画像を用いて、図1のステップS5の重ね合わせ処理ステップで行った重ね合わせ処理をそれぞれ実行する(ステップS95)。このとき、スペースデブリの各最終候補とした対応する各グループのスペースデブリの候補の画素値は、図6のステップS79で算出した推定輝度cとする。
そして、重ね合わせ処理の結果得られたスペースデブリの候補点の平均画素値が、図6のステップS71の処理で用いた、スペースデブリの候補とするのに必要なしきい値(候補基準値、請求項中の基準値に相当)以下か、又は、隣接する画素の過半数が平均的な画素値以下であるか、あるいは、隣接する画素の過半数が上述したしきい値の70%を下回る画素値である、とした条件に該当する場合は(ステップS97でYES)、ステップS93にリターンする。
一方、上記のいずれにも該当せず、スペースデブリの候補点の平均画素値が、スペースデブリの候補とするのに必要なしきい値(候補基準値、請求項中の基準値に相当)以下でなく、かつ、隣接する画素の過半数が上述した条件に該当しない場合は(ステップS97でNO)、その候補点に写ったのが、周辺画素にも同様の画素値が隣接して全体で円形や楕円形を構成するスペースデブリであるものとして、その旨の検出結果を、ステップS95の重ね合わせ処理に用いた画像と共に保存する(ステップS99)。
なお、本実施形態では、ステップS97において、スペースデブリの候補点とその隣接画素との両方の明るさを、スペースデブリであるか否かの判断材料としたが、どちらか一方のみでスペースデブリであるか否かを判断するようにしてもよい。
以上のステップS93乃至ステップS99の処理を、全てのスペースデブリの最終候補について行ったならば、結果確認処理ステップ(図1のステップS9)を終了する。
以上の説明からも明らかなように、本実施形態では、図4のフローチャートにおけるステップS61が、請求項中の限定画素平均値算出ステップに対応する処理となっている。また、本実施形態では、図6のフローチャートにおけるステップS71が、請求項中の判定ステップに対応する処理となっている。
さらに、本実施形態では、図4中のステップS57が、請求項中の全画素平均値算出ステップに対応する処理となっている。また、本実施形態では、図4中のステップS59が、請求項中のしきい値算出ステップに対応する処理となっている。
さらに、本実施形態では、図4中のステップS51が、請求項中のグルーピングステップに対応する処理となっている。また、本実施形態では、図1のフローチャートにおけるステップS7とステップS9が、請求項中の検出ステップに対応する処理となっている。
さらに、本実施形態では、図3のフローチャートにおけるステップS31で行う、「恒星によるノイズ成分」をなくすためのノイズ成分の補正処理が、請求項中のフィルタリングステップに対応する処理となっている。
このような手順で行う本実施形態のスペースデブリの検出方法では、重ね合わせ法を用いて行う図1のステップS5の重ね合わせ処理ステップにおいて、重ね合わせたmコマの画像の互いに重なる同一画素位置の画素値から、スペースデブリを検出するための評価値として、それらの画素値の中央値ではなく平均値を求めるようにしている。
ここで、スペースデブリの推定移動速度(重ね合わせ期間中に移動する距離)Vが、V=(±Vx,±Vy)、画像サイズLが、L=(Lx,Ly)であり、それぞれの値が、Vx=Vy=200(V=(±200,±200))、Lx=Ly=2000であり、検出に用いる画像のコマ数n=32であるとする。
そして、重ね合わせ期間中に移動する距離を1画素ずつ変化させて重ね合わせて計算すると、移動体の移動速度Vが(±Vx)×(±Vy)種類想定できるので、nコマの画像に対し、各種類について、(Lx×Ly)画素について画素値を求めるには、
(2Vx)×(2Vy)×(Lx)×(Ly)×n
=400×400×2000×2000×32=2.0×10^13
回の演算処理が必要になる。
そして、画素値の中央値を求めるには、先に説明した通り、
nlog(n)
回の比較と、代入演算とを行う処理が必要となる。一方、画素値の平均値を求めるには、2n回の加算処理と、n回の比較処理とを行えばよい。
合計で2n+n=3n回の演算処理を行えばよい平均値の算出処理は、nlog(n)回の比較と、比較回数の1.5倍(3回×50%)、つまり、1.5×nlog(n)回の代入演算処理とが必要な中央値の算出処理に比べて、遙かに演算回数が少なくて済む。
しかも、3n回の演算処理を行う際にプロセッサが行う投機的実行では、恒星等のスペースデブリ以外の移動体が写った画素の画像中に存在する確率が大体2%前後であることから、同じ選択肢が連続して実施されることが投機的実行の成功となる確率は、(98%×98%)+(2%×2%)で、おおよそ96.1%となる。即ち、投機的実行の失敗確率は約3.9%であり、nlog(n)回の比較後に、値を入れ替える(3回の代入演算)処理を実施することになる確率、つまり、同じ演算が繰り返されず投機的実行が失敗する確率である50%よりも遙かに低い。
そして、本実施形態のスペースデブリの検出方法では、重ね合わせた各画像の同一画素位置の画素値の平均値を所定倍(例えば2倍)したしきい値を、スペースデブリとそれ以外のスペースデブリよりも高輝度で発光する物体(請求項中における高輝度発光要素に相当)とを区別するために用いた。
このため、重ね合わせた各画像の同一画素位置の画素値を単純に平均した平均値よりは、例えば、天体における恒星や宇宙線による映り込み等の高輝度発光要素(ノイズ成分)の輝度(画素値)が反映されていない平均画素値となる。即ち、重ね合わせた各画像の同一画素位置の画素値の平均値を所定倍(例えば2倍)したしきい値以下の画素値に限って平均した平均値は、重ね合わせた各画像の同一画素位置の画素値を単に平均した平均画素値よりは、スペースデブリの輝度(画素値)に近い値となる。
よって、しきい値以下の画素値の平均値をスペースデブリ検出の評価値とすることで、重ね合わせ法によりスペースデブリを検出するのに当たり、重ね合わせた各画像の同一位置の各画素値から求めた中央値をスペースデブリ検出の評価値に用いるよりも少ない演算処理で、スペースデブリが写った画素の候補、ひいてはスペースデブリを、精度よく検出することができる。
但し、上述したしきい値は、重ね合わせた各画像の同一画素位置の画素値の平均値とは無関係に決定してもよい。
以下、図9乃至図11のグラフを参照して、スペースデブリ検出の評価値を、本実施形態の検出方法で用いた評価値とした場合と、重ね合わせた画像の同一画素位置の画素値の平均値や中央値とした場合との、画像信号に存在するノイズ成分を比較する。
図9は、画像中に現れる恒星等の例外要素の輝度を変化させた場合の画像信号に残存するノイズ成分を、スペースデブリ検出に用いる評価値別に比較して示すグラフである。このグラフでは、重ね合わせの画像数を40枚とし、例外要素の出現頻度(確率)が2%、撮影装置のCCD素子のオフセット成分が1σである場合のノイズ成分を、例外要素の輝度を1σ〜1000σの範囲で変化させた場合について示している。
なお、図9の横軸は例外要素の輝度範囲、縦軸は処理後のRMSE(Root Mean Sruared Error:二乗平均平方根誤差)、つまり、ノイズ成分の二乗平方根、言い換えると、オリジナル信号のσ(誤差分散=RMSE)との比である。また、図中細線で示す中央値と太線で示す本実施形態の評価値に対応するノイズ成分は、左の縦軸のスケールで示している。また、図中破線で示す平均値に対応するノイズ成分は、右の縦軸のスケールで示している。
そして、スペースデブリの評価値を中央値とした場合と本実施形態の評価値とした場合は、例外要素の輝度範囲がどの範囲にあっても、おおよそ0.2σのノイズ成分しか画像信号中に存在していない。これに対し、評価値を平均値とした場合は、例外要素の輝度範囲が高くなるのに比例して、画像信号中に存在するノイズ成分が増えている。特に、例外要素の輝度が1000σまで上がると、中央値や本実施形態の評価値とした場合に比べて1000倍近くのノイズ成分が画像信号に存在するようになる。
したがって、図9のグラフに示すように、本実施形態の評価値は、中央値を評価値とした場合と同等の精度でスペースデブリを検出でき、かつ、平均値を評価値とした場合よりも遙かに高い精度でスペースデブリを検出できることが分かる。
次に、図10は、画像中に現れる恒星等の例外要素の発生頻度を変化させた場合の画像信号に残存するノイズ成分を、スペースデブリ検出に用いる評価値別に比較して示すグラフである。このグラフでは、重ね合わせの画像数を40枚とし、撮影装置のCCD素子のオフセット成分が1σ、画像中に現れる恒星等の例外要素の輝度範囲が100σである場合のノイズ成分を、例外要素の出現頻度(確率)を1.0%〜25.0%の範囲で変化させた場合について示している。
なお、図10の横軸は例外要素の発生頻度、縦軸は処理後のRMSE(Root Mean Sruared Error:二乗平均平方根誤差)、つまり、ノイズ成分の二乗平方根、言い換えると、オリジナル信号のσ(誤差分散=RMSE)との比である。また、図中細線で示す中央値と太線で示す本実施形態の評価値に対応するノイズ成分は、左の縦軸のスケールで示している。また、図中破線で示す平均値に対応するノイズ成分は、右の縦軸のスケールで示している。
そして、スペースデブリの評価値を本実施形態の評価値とした場合は、例外要素の出現頻度が6〜7%以下の範囲では、画像信号に存在するノイズ成分が、スペースデブリの評価値を中央値とした場合と同等かそれ以下で収まっている。しかし、例外要素の発生頻度が6〜7%を超えると、評価値を中央値とした場合よりもノイズ成分が高くなる。
また、スペースデブリの評価値を本実施形態の評価値とした場合は、発生頻度がどの範囲にあっても、画像信号に存在するノイズ成分が、スペースデブリの評価値を平均値とした場合よりも遙かに下回っている。
ここで、スペースデブリの検出精度に最も影響するのが恒星の存在であり、恒星が撮影画像に写り込む確率が大体2%であることを考えると、本実施形態の評価値は、中央値を評価値とした場合と同等かそれ以上の精度でスペースデブリを検出でき、かつ、平均値を評価値とした場合よりも遙かに高い精度でスペースデブリを検出できることが分かる。
次に、図11は、撮影装置のCCD素子のオフセット成分を含む検出対象物の明るさを変化させた場合の画像信号に残存するノイズ成分を、スペースデブリ検出に用いる評価値別に比較して示すグラフである。このグラフでは、重ね合わせの画像数を40枚とし、画像中に現れる恒星等の例外要素の出現頻度(確率)が2%、例外要素の輝度範囲が100σである場合のノイズ成分を、CCD素子のオフセット成分を含む検出対象物の明るさを0.0σ〜12.0σの範囲で変化させた場合について示している。
なお、図11の横軸は、撮影装置のCCD素子のオフセット成分を含む検出対象物の明るさ、縦軸は処理後のRMSE(Root Mean Sruared Error:二乗平均平方根誤差)、つまり、ノイズ成分の二乗平方根、言い換えると、オリジナル信号のσ(誤差分散=RMSE)との比である。また、図中細線で示す中央値と太線で示す本実施形態の評価値に対応するノイズ成分は、左の縦軸のスケールで示している。また、図中破線で示す平均値に対応するノイズ成分は、右の縦軸のスケールで示している。
そして、スペースデブリの評価値を本実施形態の評価値とした場合は、CCD素子のオフセット成分を含む検出対象物の明るさが1σ程度以上の範囲では、画像信号に存在するノイズ成分が、スペースデブリの評価値を中央値とした場合より少なくなっている。
また、スペースデブリの評価値を本実施形態の評価値とした場合は、CCD素子のオフセット成分を含む検出対象物の明るさがどの範囲にあっても、画像信号に存在するノイズ成分が、スペースデブリの評価値を平均値とした場合よりも遙かに下回っている。
したがって、スペースデブリの輝度が1σ程度以上あれば、本実施形態の評価値を用いることで、中央値を評価値とした場合と同等かそれ以上の精度でスペースデブリを検出でき、かつ、平均値を評価値とした場合よりも遙かに高い精度でスペースデブリを検出できることが分かる。
なお、本実施形態では、不図示の撮影装置で撮影した画像をmコマずつpグループにグループ分けして、各グループ毎に重ね合わせ処理ステップ(図1のステップS5)を実行するようにした。しかし、撮影した画像をグループ分けせず、全ての画像に対してまとめて一度で重ね合わせ処理ステップ(図1のステップS5)を実行するようにしてもよい。
その場合は、図1及び図6のフローチャートに示した連続性評価処理ステップを省略し、図8の結果確認処理ステップにおいて、図6のステップS79で算出したスペースデブリの最終候補の画素とその推定輝度cの代わりに、図4のステップS63で選択した推定移動速度Vにおける最大値の画素と、その最大値を用いればよい。
しかし、本実施形態のようにpグループにグループ分けして、各グループ毎に重ね合わせ処理ステップを実行すれば、各グループで検出したスペースデブリの候補が移動方向や移動速度、移動位置において連続するか否かを、スペースデブリであるか否かの判断に加えることができる。これにより、スペースデブリ検出の評価値に、演算処理が少なくて済む平均画素値を用いても、スペースデブリを精度よく検出することができる。
また、図3のステップS31におけるノイズ成分の除去補正の際に説明した、恒星によるノイズ成分の除去の手法は、恒星以外の、スペースデブリを除く非検出対象の移動体についても、その移動体が写って発生した撮影画像中のノイズ成分を除去する手法として用いることができる。但し、連続2コマの撮影画像を相対移動させて重ね合わせるので、その撮影間隔の間に移動体が移動した内容(例えば、等速直線運動を行う移動体の場合はその移動方向及び移動量)が既知である必要がある。
また、上述した実施形態では、スペースデブリの検出方法として本発明を実施した場合について説明したが、本発明は、例えば、スペースデブリ以外の地球周回軌道上を周回する人工衛星等の物体や、着色した微生物を撮影画面上で特定し検出する場合等、スペースデブリ以外の移動体を一定間隔で撮影した画像から重ね合わせ法により検出する場合に、広く適用可能である。
さらに、本実施形態では、推定移動方向及び推定移動量による等速直線運動を行う移動体を観測対象とした重ね合わせ法の場合を例に取って説明した。しかし、本発明は、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等速加速度(放物線)運動を行う移動体を観測対象とした重ね合わせ法を行う場合にも適用可能である。

Claims (7)

  1. 一定間隔で撮影された画像を、前記一定間隔の間における観測対象の移動体の推定した移動内容に対応する内容で順次移動させ、前記各画像の互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出する方法において、
    前記各画像の前記同一画素位置の画素値のうち、前記観測対象の移動体とそれよりも高輝度の発光要素とを区別するためのしきい値以下の画素値を用いて平均値を算出する限定画素平均値算出ステップと、
    前記限定画素平均値算出ステップにおける算出平均値が基準値以上である前記各画像の同一画素位置の画素を、前記観測対象の移動体又はその候補が写った画素であると判定する判定ステップとを含む、
    ことを特徴とする移動体検出方法。
  2. 前記各画像の前記同一画素位置の全画素値の平均値を算出する全画素平均値算出ステップと、
    前記全画素平均値算出ステップにおける算出平均値を所定倍して前記しきい値を算出するしきい値算出ステップとをさらに含む、
    ことを特徴とする請求項1記載の移動体検出方法。
  3. 前記推定した移動内容は、前記観測対象の移動体の推定移動方向への推定移動量による等速直線運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出することを特徴とする請求項1又は2記載の移動体検出方法。
  4. 前記推定した移動内容は、前記観測対象の移動体の推定移動方向への、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等加速度運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出することを特徴とする請求項1又は2記載の移動体検出方法。
  5. 前記各画像を、時系列上で連続する所定コマ数ずつにグループ分けするグルーピングステップと、
    前記判定ステップにおける判定結果から、前記各画像中の前記観測対象の移動体を検出する検出ステップとをさらに含んでおり、
    前記限定画素平均値算出ステップ及び前記判定ステップは、前記グルーピングステップにおいてグループ分けされた各グループにおいて、当該各グループに属する前記所定コマ数の画像を用いてそれぞれ行われると共に、
    前記検出ステップは、前記推定した移動内容が一致し移動軌跡が重なる前記候補が前記各グループに属する前記所定コマ数の画像からそれぞれ抽出された場合に、該候補を前記各画像中の前記観測対象の移動体として検出する、
    ことを特徴とする請求項1、2、3又は4記載の移動体検出方法。
  6. 前記各画像のうち一つの画像と、該一つの画像の前記一定間隔前又は後に撮影されたもう一つの画像とを、前記一定間隔の間における前記観測対象以外の移動体の既知の移動内容に対応する内容で移動させ、前記一つの画像の各画素の画素値から、該画素と重なる前記もう一つの画像の同一画素位置の画素値を差し引いて、前記一つの画像の各画素についてフィルタリング処理後の画素値を算出するフィルタリングステップをさらに含んでおり、
    前記限定画素平均値算出ステップでは、前記各画像の前記同一画素位置の前記フィルタリングステップによるフィルタリング処理後の画素値について、前記しきい値以下の画素値の平均値を算出する、
    ことを特徴とする請求項1、2、3、4又は5記載の移動体検出方法。
  7. 前記観測対象の移動体は地球周回軌道上の物体であり、前記各画像は定点観測中に時間をおいて撮影された画像であることを特徴とする請求項1、2、3、4、5又は6記載の移動体検出方法。
JP2012197529A 2012-09-07 2012-09-07 移動体検出方法 Active JP6094099B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012197529A JP6094099B2 (ja) 2012-09-07 2012-09-07 移動体検出方法
RU2015111679A RU2618927C2 (ru) 2012-09-07 2013-09-05 Способ обнаружения движущегося объекта
AU2013314014A AU2013314014B2 (en) 2012-09-07 2013-09-05 Moving Object Detection Method
PCT/JP2013/073940 WO2014038628A1 (ja) 2012-09-07 2013-09-05 移動体検出方法
EP13834866.9A EP2897353A4 (en) 2012-09-07 2013-09-05 METHOD FOR DETECTING MOBILE BODIES
US14/638,710 US9478041B2 (en) 2012-09-07 2015-03-04 Moving object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012197529A JP6094099B2 (ja) 2012-09-07 2012-09-07 移動体検出方法

Publications (2)

Publication Number Publication Date
JP2014051211A JP2014051211A (ja) 2014-03-20
JP6094099B2 true JP6094099B2 (ja) 2017-03-15

Family

ID=50237234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012197529A Active JP6094099B2 (ja) 2012-09-07 2012-09-07 移動体検出方法

Country Status (6)

Country Link
US (1) US9478041B2 (ja)
EP (1) EP2897353A4 (ja)
JP (1) JP6094099B2 (ja)
AU (1) AU2013314014B2 (ja)
RU (1) RU2618927C2 (ja)
WO (1) WO2014038628A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2737193C1 (ru) 2017-06-13 2020-11-25 АйЭйчАй КОРПОРЕЙШН Способ наблюдения за движущимся телом
CN110345919B (zh) * 2019-05-27 2020-12-29 中国科学院紫金山天文台 基于三维空间向量与二维平面坐标的空间碎片检测方法
JP7131507B2 (ja) * 2019-08-16 2022-09-06 Jfeスチール株式会社 干渉判定システム、干渉判定方法、及び工事方法
CN112330150B (zh) * 2020-11-05 2023-08-11 中国科学院、水利部成都山地灾害与环境研究所 大区域泥石流灾害可发性的早期判识方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973315B1 (ja) * 1998-07-16 1999-11-08 日本電気株式会社 単点観測による宇宙デブリ検出装置および検出方法
JP3425597B2 (ja) 2000-11-01 2003-07-14 独立行政法人航空宇宙技術研究所 移動天体検出方法
JP3922520B2 (ja) * 2001-01-26 2007-05-30 独立行政法人 宇宙航空研究開発機構 天球上で既知の運動をする対象物の検出方法
JP3548998B2 (ja) * 2001-01-26 2004-08-04 独立行政法人 宇宙航空研究開発機構 飛翔物体の自動監視・検出方法と装置
JP3475330B2 (ja) * 2001-04-13 2003-12-08 独立行政法人航空宇宙技術研究所 天体観測画像中の天体の識別方式
JP3671220B2 (ja) 2002-04-30 2005-07-13 独立行政法人 宇宙航空研究開発機構 移動体検出方法
JP4062300B2 (ja) * 2004-11-18 2008-03-19 コニカミノルタオプト株式会社 撮像装置
JP5600043B2 (ja) * 2010-09-10 2014-10-01 株式会社Ihi スペースデブリ検出方法
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров

Also Published As

Publication number Publication date
EP2897353A1 (en) 2015-07-22
US9478041B2 (en) 2016-10-25
JP2014051211A (ja) 2014-03-20
US20150178940A1 (en) 2015-06-25
EP2897353A4 (en) 2016-08-10
AU2013314014B2 (en) 2015-12-24
WO2014038628A1 (ja) 2014-03-13
RU2015111679A (ru) 2016-10-27
AU2013314014A1 (en) 2015-04-02
RU2618927C2 (ru) 2017-05-11

Similar Documents

Publication Publication Date Title
JP5983209B2 (ja) 移動体検出方法
JP7297018B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
Attard et al. Vision-based change detection for inspection of tunnel liners
US7155031B2 (en) Moving object detection method
JP6094099B2 (ja) 移動体検出方法
EP3654234B1 (en) Moving object detection system and method
WO2014038629A1 (ja) 移動体検出方法
CN105049701A (zh) 图像处理方法和图像捕捉装置
US20200134384A1 (en) Abnormality detection device
EP3593322B1 (en) Method of detecting moving objects from a temporal sequence of images
JP2005345290A (ja) 筋状欠陥検出方法及び装置
CN113096051B (zh) 一种基于消失点检测的图矫正方法
US9600901B2 (en) Video tracker having digital signal processor
EP0493105A2 (en) Data processing method and apparatus
Efimov et al. Software and hardware implementation of geometric correction technology and fusion of images on a mobile platform
CN112053310B (zh) 一种ccd图像中空间目标的拖尾星象定心方法
EP4216168A1 (en) Three-dimensional model generation method and three-dimensional model generation device
US10867176B1 (en) Virtual detection system
CN115343699A (zh) 多传感器信息融合的目标检测方法、设备、介质及终端
JP2023118139A (ja) 突発性ノイズ検出装置、撮像装置、突発性ノイズ検出方法、表示画像データ生成方法、突発性ノイズ検出プログラム、及び記録媒体
CN115775258A (zh) 一种空间目标运动轨迹光学测量与关联方法
Butler et al. Image PSF-matching and subtraction: a powerful astronomical technique and its application to industrial imaging
JP2018132951A (ja) 画像認識装置
JP2007057207A (ja) 画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170130

R151 Written notification of patent or utility model registration

Ref document number: 6094099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250