JP6285940B2 - 画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法 - Google Patents

画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法 Download PDF

Info

Publication number
JP6285940B2
JP6285940B2 JP2015535987A JP2015535987A JP6285940B2 JP 6285940 B2 JP6285940 B2 JP 6285940B2 JP 2015535987 A JP2015535987 A JP 2015535987A JP 2015535987 A JP2015535987 A JP 2015535987A JP 6285940 B2 JP6285940 B2 JP 6285940B2
Authority
JP
Japan
Prior art keywords
image
raster
luminance
image processing
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015535987A
Other languages
English (en)
Other versions
JP2015537290A (ja
Inventor
ヴォルフガング ポングラッツ,ハンス
ヴォルフガング ポングラッツ,ハンス
ヒーブル,マンフレット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
Airbus Defence and Space GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Defence and Space GmbH filed Critical Airbus Defence and Space GmbH
Publication of JP2015537290A publication Critical patent/JP2015537290A/ja
Application granted granted Critical
Publication of JP6285940B2 publication Critical patent/JP6285940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30212Military
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、請求項1の前段に記載された種類の画像処理方法に関する。本発明は更に、請求項4の前段に記載された種類の対象物自動検出方法と、請求項6及び請求項7に記載された種類の観測装置に関する。
対象物の遠距離観測においては、また特に軍事偵察として行われる遠距離観測においては、対象物を捕捉することが先ず何よりも重要であり、更に、対象物の移動経路の追跡及び対象物の識別を行うことも重要である。その対象物が、例えば、発射されてエンジンが燃焼過程にあるロケットであるならば、1500kmもの遠距離から遠距離観測が行われ、また、その対象物がエンジンの燃焼過程が終了したロケットであっても、場合によってはそのロケットにレーダー波を照射するなどして、1000kmもの遠距離から遠距離観測が行われる。かかる遠距離観測を、長焦点対物レンズを備えた光学観測機器と高解像度の画像センサとを用いて行う場合に、その対象物までの距離が500km〜1500kmにもなると、エンジンの火焔噴流を放出している対象物の画像を、高い鮮鋭度で、且つ、数メートルという高い解像度で得ることは不可能であった。これは、火焔噴流の内部の輝度分布が、あらゆる方向に、場合によっては100mもの長さに亘って、高い揺らぎ周波数で揺らいでいるからである。しかし乍ら、このように画像生成の能力が低くとも、捕捉した対象物が軍用ロケットであるのか、民間用ロケットであるのか、或いはレーダー撹乱物であるのかを確認する能力は必要とされている。更に、そのような対象物の捕捉は、十分に長い時間に亘って捕捉を継続でき、捕捉結果の信頼性が高く、しかも数メートルの精度で捕捉を行えるものでなければならず、これらは、対象物(例えばロケット)の飛翔経路の追跡を観測装置で安定して実行できる精度で、また場合によっては対象物を飛翔経路上で迎撃できる精度で計測を行うために必要なことである。
従来、その種のターゲットを追跡するための手段としては、大規模なXバンドのレーダー設備を備えたレーダー基地を、複数設置して運用するということが行われていた。それらレーダー基地は、ロケットの飛来が予想される予測飛翔経路に沿って配置して、飛翔してくるロケットがレーダー設備の水平線上のレーダー視野に必ず入るようにしておく必要があった。しかしながら、それには莫大な費用が必要とされるばかりでなく、レーダー基地をそのように配置することそれ自体が、政治上の理由から不可能なことも少なくなかった。更に、それらレーダー基地を運用して1000km離れたターゲット(対象物)の位置を測定したときの、それらレーダーの視線方向に直交する方向の位置精度は、数kmという低精度であり、また、対象物で反射した反射レーダービームの断面積は計測できても、その対象物を高精度で識別することは不可能であった。また特に、レーダーでは、デコイと本物の弾頭とを区別することができず、そのことによっても重大な問題が生じていた。
また、静止軌道上の偵察衛星を用いることも従来周知であり、これは、望遠鏡を用いて中赤外線領域での観測を行うことにより、発射されたロケットを発見しようとするものである。上方からの観測により発見するようにしているため、その観測は地表面を背景にして行うことになるが、地表面はある程度の温度を有することから、容易に識別することのできない多数の偽ターゲットが背景に存在することになり、そのためこのシステムを用いた場合には、検出感度が低いということに苦慮せざるを得ない。更に、上方から観測するため、エンジンの火焔噴流のうち、低輝度でしかも激しく揺らいでいる部分しか画像センサの視野には入らない。その結果、画像センサの計測精度は、数百メートル程度の精度にしかならず、システムに付随するこの本来的な制約のために、計測精度を大幅に改善することは不可能であった。
本願の優先日以降に刊行された下記の特許文献1には、遠距離の移動対象物の検出及びその飛翔経路の追跡を、濃密大気領域の上方を飛行する高高度飛行体から行うようにしたカメラシステムが開示されている。
このカメラシステムの持つ大きな利点は、発射されたロケットの観測を、事実上の大気圏外において、下方から、低温の宇宙空間を背景として行えるため、星などの近接天体が存在しない限り、そのロケットの位置を高精度で把握することができ、偽ターゲットの排除を特に行わずとも、誤警告が発せられることがないということにある。
ロケットの飛翔経路を下方や側方から観測することにはもう1つの大きな利点があり、それは、その観測のための視線方向が、ロケットエンジンの火焔噴流のうちの、ノズル噴出口に位置する2000°Kを超える高温のコア領域を直接的に見ることのできる視線方向になることである。火焔噴流のコア領域は、後方の火焔噴流の部分と比べて百倍もの高い輝度を有し、しかも、常にノズル噴出口に位置して移動することがないため、揺らぎを生じることもない。それゆえ、理想的な非常に高い輝度(1MW/m)を有する、直径が数メートルの点光源の移動経路を追跡すればよいことから、ロケットの飛翔経路の追跡を高精度で安定して行うことができる。
特許文献1に記載された発明の目的は、1500kmもの遠距離にある点光源の位置の特定を、数メートルの高精度で行うことができ、また、その位置の追跡を行うこともできるセンサを提供することにある。
かかる目的を達成するために、近赤外線領域におけるマルチスペクトル撮像を行えるようにした、マルチスペクトルカメラシステムが提案されている。そのマルチスペクトルカメラシステムは、モータで駆動する、少なくとも3つの狭帯域(例えば20nm)の透過フィルタを備えたフィルタホイールを用いて、シーンのマルチスペクトル画像(例えば700nm、800nm、及び950nmのスペクトル領域の画像)を撮像する。そして、そのマルチスペクトル画像を、黒体放射則に基づいた演算処理によって温度画像に変換するようにしており、その温度解像度は例えば50°Kである。特許文献1に記載された発明によれば、温度解像度がこの大きさであることから、温度が約2300°Kで特徴的な形状を有する固体燃料ロケットの火焔噴流の高温のコア領域を、温度が約2100°Kで固体燃料ロケットのものとは異なる形状を有する液体燃料ロケットの火焔噴流の高温のコア領域と区別することができ、また、そのカメラの光学解像度が1000km離れた距離において1m〜2mという十分な高解像度であるため、火焔噴流のコア領域の大きさ及び温度分布を計測することもできる。これらのデータに基づいて、軍用の固体燃料ロケットを民間用の液体燃料ロケットと区別することができ、また、様々に異なるロケットの型式を、そのエンジンの大きさ、エンジン搭載台数、及びエンジン配列に基づいて区別することもできる。
このカメラシステムに用いられているカメラは、長焦点対物レンズを備えており、姿勢安定化プラットフォームに取付けられている。このカメラは、高速シャッタと、第1画像センサと、第2画像センサとを備えている。カメラの光学系が取込んだ光線束は、第1画像センサと第2画像センサのいずれか一方へ選択的に導光することができ、それら画像センサの一方には更なる望遠レンズが備えられている。このカメラの光学系は更に、揺動ミラーを備えており、この揺動ミラーを揺動させることで画像領域をラスタ走査することができ、それによって、取込んだ画像の画像信号を一方の画像センサから送出するようにしている。このラスタ走査のステップの実行中に、ターゲット(対象物)が検出されたならば、光線束を偏向して他方の画像センサへ入射させるようにし、そして、この他方の画像センサを用いてそのターゲット(対象物)の識別を行い、また場合によってはそのターゲット(対象物)の追跡を行うようにしている。
独国特許出願公開第10 2011 010 337号明細書
本発明の目的は、画像データを例えば数百kmの遠距離から、また特に、100km〜500kmの遠距離から取込んだならば、その画像データに画像処理を施すことにより、その取込んだシーンに含まれる対象物を、その処理後画像データに基づいて検出できるようにする画像処理方法を提供することにある。本発明の更なる目的は、かかる画像処理方法を用いて自動対象物検出を実行できるようにすることにある。本発明の更なる目的は、かかる画像処理方法を実施することのできる観測装置を提供することにある。
上記目的のうち画像処理方法に関する部分の目的は、請求項1に記載の方法ステップにより達成される。
このように構成された本発明に係る方法は、下記の方法ステップを含むものである。
a)シーンの画像データを電磁波の線束として光学装置を介して取込む方法ステップ。ここで電磁波の線束とは、例えば、可視光スペクトル領域、赤外線スペクトル領域、それに紫外線スペクトル領域などにおける電磁波の線束である。
b)前記ステップa)において取込んだ前記画像データに画像処理装置により処理を施して前記画像データの信号雑音比を改善する方法ステップ。この方法ステップは下記のサブステップb1)〜サブステップb5)を含むものである。
b1)前記画像データから成る原画像を、複数本の行及び複数本の列に分割することにより、ラスタ画像を生成するサブステップ。
b2)1つのラスタ画素を、奇数本の行と奇数本の列とを有するラスタフィルタの中心ラスタフィルタ素子に位置合わせするサブステップ。
b3)前記中心ラスタフィルタ素子以外のその他のラスタフィルタ素子の各々が個別の減光特性を有しており、前記ラスタフィルタがカバーしている複数個のラスタ画素の各々の輝度値を求めるサブステップ。
b4)前記サブステップb3)において求めた複数の輝度値の総和である輝度総和値を求め、該輝度総和値をもって、前記中心ラスタフィルタ素子に位置合わせされているラスタ画素の輝度総和値とするサブステップ。
b5)前記サブステップb2)〜前記サブステップb4)を、前記ラスタ画像に含まれるラスタ画素の各々について反復実行するサブステップ。
c)前記ステップb)で個々に求めた複数個のラスタ画素の輝度総和値から、原画像と同じ解像度を有する処理後画像を生成する方法ステップ。
本発明に係る画像処理方法によれば、取込んだ原画像の輝度変化が平滑化され、原画像の信号雑音比が改善される。また、原画像の背景に起因するノイズ画素が除去されることによっても、画像が平滑化される。処理後画像における輝度変化は安定しており、原画像における輝度変化との相違は顕著である。更に、画像コントラストも改善されるため、原画像に含まれている対象物は、処理後画像にはより鮮明に明確に現れることになる。
本発明に係る画像処理方法の特に好適な発展形態によれば、前記ステップa)において、前記シーンの画像データを2つ以上の電磁波波長領域において取込むことによって互いに異なる複数のスペクトル領域における前記シーンの原画像を取込み、前記ステップb)及び前記ステップc)を複数の前記シーンの原画像の各々について実行することによって互いにスペクトル領域が異なる複数の処理後画像を生成し、そして、互いにスペクトル領域が異なるそれら複数の処理後画像を重ね合わせて合成することによって1つのマルチスペクトル処理後画像を生成する。
互いに異なる複数のスペクトル領域における前記シーンの取込みを、複数の狭帯域(例えば20nm)のフィルタを切換えつつ複数の画像を次々と、即ちシーケンシャルに取込むことによって行うようにし、それら互いに異なる複数のスペクトル領域における原画像の各々に本発明に従って処理を施して夫々に処理後画像とし、そして、それらを1つのマルチスペクトル処理後画像にすることにより、最終的に得られる画像の表現力を改善することができる。
特にその改善が顕著であるのは、複数の処理後画像を互いに色の異なる単色画像とし、それらを合成して1つのマルチスペクトル処理後画像とする場合である。使用する複数のフィルタの夫々のスペクトル領域を、観測対象物の温度(例えば2300°K)に合わせて黒体放射曲線の短波長側部分に位置するように選定することによって得られるマルチスペクトル画像は、温度画像に変換することのできる、カラー画像のマルチスペクトル画像となる。そして、その温度画像を用いて、例えばロケットの火焔噴流の尾部のような、その規模が非常に大きく、場合によっては局所的な高輝度部分を含み、また大きな揺らぎを有する輝度領域を背景とした、小さな安定した温度領域を検出することができる。
これに関しては、互いに異なる前記複数のスペクトル領域における前記シーンの画像データの取込みを、互いにスペクトル領域が異なる複数のスペクトル領域フィルタを高速で順次切換えつつ、高速カメラを用いて行うとよい。これによって、観測対象物の移動量と比べれば、ほぼ同時的といってよい程の短時間の間に、互いに異なる複数のスペクトル領域における複数の原画像を取込むことができ、そして、それら複数の原画像が極めて短時間のうちに次々と取込まれるため、それら複数の原画像の中の観測対象物の位置は互いに略々同一となり、それゆえ、何ら問題を生じることなく、複数の処理後画像を重ね合わせて合成することで1枚のマルチスペクトル処理後画像を生成することができる。
上記目的のうち、自動対象物検出方法に関する部分の目的は、請求項4に記載の特徴を備えた方法により達成される。この自動対象物検出方法においては、本発明に係る画像処理方法を用いて以下の方法ステップが実行される。
前記方法ステップa)における前記シーンの取込みを、前記光学装置の光軸(X)を中心とした回転角を夫々に異ならせて複数回実行する方法ステップ。
前記回転角の各々において、前記画像処理方法の前記方法ステップを実行して処理後画像を生成する方法ステップ。
個々の処理後画像を、対象物データベースに格納しておいた個々の対象物のサンプル画像と比較する方法ステップ。
処理後画像のうちの1枚または数枚との差分が最小のサンプル画像によって、前記シーンに含まれている対象物を特定すると共に、処理後画像の中の当該対象物の位置を判定する方法ステップ。
この自動対象物検出方法によれば、本発明に係る画像処理方法を用いて自動的に対象物を特定することができる。更に、この自動対象検出方法によれば、処理後画像の中の当該対象物の位置を判定することができ、そのため、シーンの取込み及び解析を行うだけで、対象物(例えばロケット)の運動の方向ベクトルを従来方法より高精度で予測することができる。
本発明に係る対象物検出方法の特に好適な発展形態によれば、処理後画像の中の対象物の位置の判定は、サンプル画像の対応するラスタ画素に相当する当該処理後画像のラスタ画素を判定することにより行われる。
上記目的のうち観測装置に関する部分は、請求項6に記載の特徴を備えた観測装置並びに請求項7に記載の特徴を備えた観測装置により達成される。
請求項6に記載の特徴を備えた観測装置は、本発明に係る画像処理方法を実施するための観測装置であるのに対して、請求項7に記載の観測装置は、本発明に係る画像処理方法を用いた本発明に係る自動対象物検出方法を実施するための観測装置である。
本発明に係るそれら観測装置はいずれも、前記画像処理装置が画像ラスタ化モジュールとラスタフィルタモジュールとを備えている実施の形態とすると有利である。
本発明に係る観測装置の第1の実施形態によれば、前記画像ラスタ化モジュールはマトリクス状に配列された複数個の導光素子を備えており、それら複数個の導光素子は、前記光学装置と、取込んだ線束を検出するセンサとの間に配設されている。また、前記複数個の導光素子のうちの少なくとも幾つかの導光素子は、それらの各々に、輝度減衰フィルタ素子である前記ラスタフィルタモジュールのラスタフィルタ素子が備えられている。前記光学装置は取込んだ画像データを前記画像ラスタ化モジュールの入力面に原画像として投射するように構成されている。前記光学装置は原画像を前記画像ラスタ化モジュールの前記入力面上において、該入力面に対して相対的に移動させ得るように構成されている。更に、演算処理装置を備えており、該演算処理装置は前記センサから輝度信号を受取るようにしてあり、また、請求項1の前記方法ステップc)を実施し、また好ましくは更に請求項2〜請求項5の何れか1項の前記方法ステップを実施するソフトウェアが、前記演算処理装置において実行されるようにしてある。前記観測装置のこの好適な実施形態は、本発明に係る方法ステップを光学的機械的に実施するようにしたものである。
本明細書において使用する「輝度」という用語は、可視光スペクトル領域に限定されずその他のスペクトル領域の線束の強度をも含むものであり、その他のスペクトル領域の具体例としては、例えば赤外線スペクトル領域や紫外線スペクトル領域があり、またそれらに限定されるものでもない。
あるいは、本発明に係る方法ステップがソフトウェアによって実施されるようにすることも可能であり、それに適した観測装置は、演算処理装置を備えると共に、前記光学装置の後段に画像センサが備えられており、前記光学装置は取込んだ画像データを前記画像センサのセンサ面上に投射するように構成されており、該演算処理装置は前記画像センサから画像信号を受取るようにしてあり、請求項1の方法ステップb)及びc)を実施し、また好ましくは更に請求項2〜請求項5の何れか1項の方法ステップを実施するソフトウェアが、前記演算処理装置において実行されるようにしてあり、前記画像ラスタ化モジュール及び前記ラスタフィルタモジュールは、前記ソフトウェアのサブルーチンとして構成されていることを特徴とする。
観測装置のこの好適な実施形態は、本発明に係る方法ステップを光電子的に実施するようにしたものである。
合成マルチスペクトル画像は、互いに異なるスペクトル領域において取込んだ個々の原画像に上述した画像処理を施した上で夫々のスペクトル領域に応じた色を付与した複数の処理後画像を、演算処理装置において重ね合わせることにより生成される。十分な枚数の処理後画像を重ね合わせれば、それら多数の処理後画像の平均値を取れることから、その合成マルチスペクトル画像の信号雑音比は、重ね合わせられる前の個々の原画像のものと比べて格段に改善され、好適な例では100倍以上にも改善される。
合成マルチスペクトル画像の評価は、マルチスペクトル画像に対して図3ないし図4に示した画像評価及び識別方法を適用して、画像評価装置25、125において行うようにするとよい。またその場合に好ましくは、先ず、ターゲットの挙動を観測し、特に、見えている対象物の数と移動経路曲線とを判定する。続いて、全ての飛翔対象物とその飛翔経路とをデータファイルに記録する。これによって、将来の計測において観測されるあらゆる対象物を高い信頼性をもって認識することが可能になると共に、対象物の観測された位置から先の飛翔経路を外挿法により算出することも可能になり、また特に、その飛翔経路の最終点である飛翔対象物の落下点を算出することが可能になる。また何よりも、合成マルチスペクトル画像に基づいて観測及び解析を行うことによって、対象物の挙動(例えば多段ロケットの切り離し、レーダー擾乱物の放出、弾頭の飛翔経路制御)の時系列的な履歴を把握することができる。
合成マルチスペクトル画像は更に、マルチスペクトル画像に対して図3ないし図4に示したターゲット画像の画像認識を行うようにして、格納装置29、129に記録されているターゲット画像のサンプル画像データベースとの比較をマルチスペクトル画像どうしで行う上でも有用である。ターゲット画像の画像認識は、ターゲット画像に含まれているターゲット(対象物)の種別を特定して識別し得るようにするものである。このターゲット画像の画像認識は、多数のステップから成る処理操作を加える前に画像を加え合わせてマルチスペクトル画像を生成するならば、それによって、より高い信頼性をもってより正確に区別し得るものとなる。
そのためには先ず合成マルチスペクトル画像を本発明に従って正規化した画像とする。その正規化のためには先ず各画素ごとに、互いに直交する色ベクトル成分を合わせて合計輝度値を求め、その合計輝度値をもって当該画素の輝度値とし、更に続いて、個々の色ベクトル成分をその合計輝度値に対して正規化する。こうして合計した色ベクトルは、輝度値と正規化された色成分値とを有する。RGB色座標系では3つの色成分を定めることしかできないが、この方法によれば任意の個数のスペクトル成分を有する色座標系を定義することができ、その色座標系では、マルチスペクトル画像に対していかなる色相操作を加えることも可能である。
そして、各画素ごとに、当該画素の全ての色成分値と輝度値とに対して、図2に示したデジタル方式の画像処理を施すことにより、画像の平滑化と識別性強化とが同時に達成され、即ち、複数の画像の平均が取られるために残存していたノイズ画素が除去されて平滑化され、またそれによって、輝度急変部即ちエッジ部が強調されるために、処理後画像の鮮鋭度、コントラスト、及び彩度が向上して、より信頼性の高い画像認識が可能になる。これらは、正規化された画像の全ての色成分及び輝度成分が変換されることによって達成されるものであり、その変換は、図2に示した、信号雑音比の劣る画像にデジタル方式で画像処理を施すための画像処理装置に備えられている、図示例では5×5画素の大きさのフィルタマトリクスであるラスタフィルタ122によって行われるものである。
その処理後画像には更に、色相アフィン変換を施して、ターゲットに特徴的なスペクトル成分を拡大して評価容易性を高め、特徴的でないスペクトル成分は圧縮するとよい。これにより、ターゲット認識において処理後画像と当該画像に隠れている真正ターゲットである対象物との相関を求める際に、真正ターゲットと、真正ターゲットであると誤認される偽ターゲットとの区別を、この処理を施さない場合よりも明瞭に行えるようになる。
マルチスペクトル画像の画像認識は、光学方式で画像認識を実施するための図3に示した装置を用いて行うことも、また、デジタル方式で画像認識を実施するための図4に示した装置を用いて行うこともでき、後者の装置の方が高い精度が得られる。
光学方式の装置(図3に示した装置)では、望遠鏡ユニット110が偏向ミラー112を介して、遠距離ターゲットの実像を25×25画素の大きさのターゲット画像として、画像取込装置120に備えられている5×5個の導光素子を束にした光学構成要素の前面が位置する平面121上に結像させる。この光学構成要素の前面において、その結像した実像のターゲット画像のうちの5×5画素の部分が取込まれる。走査ミラーである偏向ミラー112は、ターゲット画像を水平方向及び垂直方向に偏向して、各5×5画素ブロックの各中心画素を、次々と、即ちシーケンシャルに、5×5個の導光素子の束からなる光学構成要素の中心導光素子の位置に合わせて行く。25×25画素の大きさのターゲット画像に含まれる25個の5×5画素ブロックの夫々に対応した25個の値が、所定の複数のスペクトル領域の各々について演算処理装置126において格納される。そして、25×25画素の大きさのターゲット画像を、360°を12等分した12個の回転位置に次々と位置付けつつ、以上を反復して実行する。ターゲット画像に含まれる複数の15×15画素ブロックから成るサーチ領域と、サーチ対象の15×15画素の大きさのサンプル画像とを、それらの各5×5画素ブロックの各中心画素の値について比較し、その際には、入力画像のサーチ領域と現在サーチ対象となっているサンプル画像との間で、それらの9個ずつの係数の値の夫々の差分を求める。それら差分の合計値が最小で、しかも所定の最小値以下になるような位置及び回転位置をもって、現在サーチ対象となっているサンプル画像のターゲット種別である発見されたターゲットの位置及び回転位置として記録する。サーチ領域の外に位置する画像部分は考慮されない。この画像認識における位置の解像度は、水平方向及び垂直方向のいずれも5画素である。
デジタル方式の装置(図4に示した装置)では、例えば望遠鏡ユニット110が偏向ミラー112を介して、近赤外線カメラを備えた画像取込装置120の投影面上に、レーダー波をこちらから照射している遠距離ターゲットの実像を25×25画素の大きさのターゲット画像として結像させる。近赤外線カメラは、光信号を高解像度のデジタル画像であるマルチスペクトル画像に変換する。マルチスペクトル画像認識の場合には、本発明に係る評価関数の特性値は、既述のごとくサーチ画像(その大きさは25×25画素である)の中の各々のサーチ画素位置について算出される。以上に述べた評価関数を生成するならば、画像を取込む回転位置を12個に制限しても、分離鮮鋭度が低下することはない。
以上に述べた実施形態のうちの1つに従って構成された近赤外線センサシステムを使用することによって、ターゲットの検出、飛翔経路の追跡、飛翔経路の計測、及びターゲットの観察及びターゲットの識別を、発射されたロケットについて行うことができ、エンジン停止後も、500km離れていても可能である。
以下に、添付図面を参照しつつ、本発明の好適な実施の形態、更なる細部構成、更なる利点について、より詳細に説明する。
本発明に係る画像処理方法を実施するための観測装置の第1の実施の形態を示した模式図である。 図1の観測装置のラスタフィルタマトリクスを示した図である。 本発明に係る画像処理方法を実施するための観測装置の第2の実施の形態を示した図である。 図2の観測装置のラスタフィルタマトリクスを示した図である。 本発明に係る自動対象物検出方法を実施するための観測装置の第1の実施の形態を示した図である。 本発明に係る自動対象物検出方法を実施するための観測装置の第2の実施の形態を示した図である。
図1に示したのは本発明に係る観測装置であり、この観測装置は光学装置1と画像処理装置2とを備えている。光学装置1は長焦点対物レンズを有する望遠鏡ユニット10を備えており、図1にはこの望遠鏡ユニット10が模式的に示されている。望遠鏡ユニット10は、観測対象シーンの電磁波の線束Sを取込むものである。取込む線束Sは、可視光スペクトル領域の電磁波の線束(即ち可視光線束)とすることもでき、また、可視光スペクトル領域以外の電磁波の線束(例えば赤外線及び/または紫外線の光線束など)とすることもできる。
望遠鏡ユニット10が取込んだ線束Sは、可動ミラーとして構成された偏向ミラー12へ入射するようにしてあり、この偏向ミラー12は、図1に模式的に示した駆動機構14により駆動されて、2次元走査運動を行うものである。偏向ミラー12の垂直方向の偏向角度範囲の一例を、図1に、線束中心線Sの上方限界線aと下方限界線a’とで示してあり、更に、線束中心線Sの第1側方限界線bと第2側方限界線b’とを併せて示してある。それら4本の限界線a、a’、b、b’によって範囲が示された領域Zにおいて、偏向ミラー12は望遠鏡ユニット10が取込んだ線束Sのラスタ走査を実行し、そのラスタ走査によって、領域Zに切り取られたターゲット画像Z’の、その各々の部分を次々と画像処理装置2の画像ラスタ化モジュール20の入力面E上に投射して行く。
画像ラスタ化モジュール20は、行列状(マトリクス状)に配列された複数の導光素子から成る導光素子マトリクスを備えている。ただしこの導光素子マトリクスは、図1では不図示とした。この導光素子マトリクスは、その一端が入力面E上に位置している。この導光素子マトリクスの他端には、同様に行列状(マトリクス状)に配列された複数のラスタフィルタ素子から成るラスタフィルタ22が備えられている。このラスタフィルタ22は図1には模式的にしか示していないが、図1Aの断面図にはフィルタマトリクスとして示した。ラスタフィルタ22は、中心ラスタフィルタ素子22”と、その周りを囲む複数の更なるラスタフィルタ素子22’とを備えており、それら周囲の更なるラスタフィルタ素子22’の各々は、中心導光素子の周りを囲む複数の更なる導光素子の各々に対応付けられている。そのため図示例では、画像ラスタ化モジュール20は、5×5個(即ち25個)の導光素子から成り、それら導光素子の各々に、ラスタフィルタ素子22’、22”の各々が対応付けられている。
図1Aでは、更なるラスタフィルタ素子22’の各々に、夫々に係数の値を記してあるが、それら係数の値は個々のラスタフィルタ素子の透光率を示している。中心導光素子に対応付けられている中心ラスタフィルタ素子22”の透光率は1.00であり、即ち透光率100%である。従って、中心導光素子の中を導光される光はラスタフィルタ22によって減衰されない。これに対して、中心導光素子の周囲の更なる導光素子の中を夫々に導光される光はフィルタによる減衰作用を受けることになり、図1Aに示した夫々の係数の値は以下のことを示している。
0.03は透光率3%であることを示している。
0.06は透光率6%であることを示している。
0.09は透光率9%であることを示している。
0.12は透光率12%であることを示している。
0.15は透光率15%であることを示している。
0.21は透光率21%であることを示している。
画像ラスタ化モジュール20の複数の導光素子を夫々に通過し、更に、ラスタフィルタ22を通過して出射する光は、センサ24に入射する。このセンサ24は例えば光電子増倍管などであり、複数のラスタフィルタ素子を夫々に通過して出射する複数の光線束の光の総和を表す総和信号が、このセンサ24によって生成される。この信号は輝度総和信号または線束強度総和信号Sと呼ぶべき信号であり、この信号がセンサ24から画像処理装置2の演算処理装置26へ送られる。
以上の構成によれば、偏向ミラー12が走査運動をするのに伴って、そのとき入射している光線束Sが、一連の画素の形でセンサ24により検出され、そして、一連の線束強度総和信号Sの形で演算処理装置26へ送られる。また、ターゲット画像(観測対象物の画像)の各画素ごとに、当該画素を図1Aに示したマトリクスの中心に位置付けたときに、このマトリクスに含まれる複数の画素の夫々の線束強度にこのマトリクスに示された夫々のフィルタ係数で重み付けしたものの総和が、センサ24により検出される。従って、ターゲット画像の1つの画素は、画像ラスタ化モジュールの1つのラスタ素子(即ち複数の導光素子のうちの1つ、または、ラスタフィルタの複数のラスタフィルタ素子のうちの1つ)に対応している。また、ターゲット画像の各画素には、当該画素を図1Aに示した輝度減衰率マトリクスの中心画素としたときのその周囲の複数の画素の夫々の輝度値にこのマトリクスの夫々の輝度減衰率係数で重み付けしたものが加算され、それによって、当該画素に関して、このマトリクスの輝度減衰係数に応じて重み付けされた光電子増幅が行われる。
演算処理装置26では、偏向ミラー12の走査運動が全て完了したならば、格納しておいたターゲット画像の個々の画素の輝度総和値を全て読み出し、それら輝度総和値によって処理後画像を生成する。その処理後画像は出力インターフェース27を介して例えばディスプレイ装置28などへ出力される。格納しておいた輝度総和値から処理後画像を生成するには、メモリに格納されている個々のターゲット画素の夫々の輝度総和値の処理後画像中における位置を、それらターゲット画素が原画像中で占めていた夫々の位置に割り当てるようにする。
こうして出力される処理後画像は、既述のごとく光増幅がなされているために入力面Eに投射された元のターゲット画像(処理対象画像)Z’と比べて輝度が増大していることに加えて、更に、複数の近隣画素の夫々に図1Aに示した係数マトリクスに従って重み付けが施されることで平滑化処理も施されており、そのため、背景に現れるようなノイズ画素は、処理後画像にはもはや含まれていない。これによって処理後画像の輝度変化が安定化されており、処理後画像の原画像との差違は顕著である。更に、以上に説明した方法によれば画像のコントラストも向上する。
図示例では、輝度フィルタマトリクス(ラスタフィルタ22)は5×5個のラスタフィルタ素子で構成され、また、走査領域に対応したターゲット画像Z’は25×25個の画素から成るものであるが、本発明を実施する上では、ターゲット画像の解像度をこれ以外のいかなる解像度とすることもでき、また、輝度フィルタマトリクスの解像度(これは導光素子マトリクスの解像度でもある)をこれ以外のいかなる解像度とすることもできる。
図2に示したものは、図1に示した観測装置に変更を加えた変形実施形態に係る観測装置である。光学装置101の望遠鏡ユニット110が観測対象シーンから取込んだ線束Sは、偏向ミラー112(この偏向ミラー112は図1の偏向ミラーと異なり固定されている)を介して、画像処理装置102の構成要素である画像取込装置120の画像センサ121(例えばCCDセンサなど)へ投射される。観察対象シーンのターゲット画像Z’は、その画像の全体が、画像センサ121上に結像する。
画像取込装置120は、画像センサ121上に結像した光学画像であるターゲット画像Z’をデジタル画像に変換し、そのデジタル画像を画像データの形で演算処理装置126へ供給する。
演算処理装置126は、受取ったデジタル画像に画像処理を施すためのソフトウェアを実行しており、その画像処理は、図1に関連して上で説明した光学的な方式で画像に処理を施す画像処理方法に対応した画像処理である。即ち、取込んだターゲット画像Z’をラスタ画像に変換し、そのラスタ画像の各画素ごとに処理を施すようにし、その処理においては、当該画素の輝度値を求め、そして、図2Aに示したフィルタマトリクス(このフィルタマトリクスは、複数のラスタフィルタ素子122’、122”から成るラスタフィルタ122の機能をソフトウェアのサブルーチンで実現したものである)に従って、ターゲット画像において当該画素の周囲に位置する複数の画素にフィルタ処理を施した輝度値を加え合わせて輝度総和値を求める。こうして行う輝度総和値の生成を、ターゲット画像の各画素ごとに実行し、そして、そのようにして個々に求めた、この電子的にラスタ化したターゲット画像の夫々の画素の輝度総和値から、図1に関連して上で説明した方法と同様にして処理後画像を生成する。その処理後画像は、出力インターフェース127を介してディスプレイ装置128へ出力される。
ここで説明している実施形態は可視光スペクトル領域に関するものであるが、本発明の構成はそのようなものに限定されない。ここに説明しているような可視光スペクトル領域で取込んだシーンの画像処理の他に、更に、例えば赤外線スペクトル領域や紫外線スペクトル領域などをはじめとするその他のスペクトル領域で取込んだシーンの画像処理を、図1及び図2に関連して説明した画像処理方法で処理するようにしてもよい。そして、互いに異なる複数のスペクトル領域の夫々で得られた複数の処理後画像を演算処理装置26、126で重ね合わせることによって、マルチスペクトル画像を生成する。こうして生成したマルチスペクトル画像は、出力インターフェース27、127を介して出力される。
図3に示した観測装置は、図1を参照して上で説明した観測装置と同様に構成されている。そのため図3で使用している参照符号は、図1のものに対応している。図1の実施形態との実質的な相違点は、複数の導光素子を備えた画像ラスタ化モジュール20が、導光素子の長手方向に対して平行に延在する回転軸Xを中心として、所定のステップ角(例えば360°を12等分したステップ角)で回転可能であることにあり、図3にはこのことを矢印23で表している。
望遠鏡ユニット10は偏向ミラー12を介して、例えば25×25画素の大きさのターゲット画像Z’を生成する。このターゲット画像Z’は、図3に、5×5個のフィールドを有するマトリクスで示されている。各フィールドの大きさは5×5画素(ここでいう画素とはラスタ画素である)であり、従って、各フィールドは、ラスタフィルタ22と同じ大きさを有しており、ラスタフィルタ22のラスタ画素と同数のラスタ画素から成る。
偏向ミラー12は、望遠鏡ユニット10が取込んだ線束を水平方向及び垂直方向に偏向することにより、各々の5×5画素ブロック(即ちターゲット画像の5×5個の画素Zから成るブロック)の中心画素を、次々と、即ちシーケンシャルに、画像ラスタ化モジュール20の中心導光素子に位置合わせして行く。それに伴って、ターゲット画像の25個の画素Zの夫々の輝度総和値が、図1に関連して上で説明した画像処理によって求められ、演算処理装置26の中に格納される。この画像処理は、可視光スペクトル領域で行うだけでなく、その他のスペクトル領域でも同様に行うようにするとよい。その場合には、その他のスペクトル領域で行った画像処理により得られた夫々の画素の輝度総和値も、演算処理装置26の中に格納される。
続いて、画像ラスタ化モジュール20をステップ角の1つ分ずつ回転させて、上述した画像処理ステップを反復実行する。全てのステップ角での画像処理を完了したならば、即ち、画像ラスタ化モジュール20が光軸Xを中心として1回転したならば、そのステップ角の個数に対応した枚数の、互いに回転角度の異なる処理後画像が得られている。
ここで、ターゲット画像Z’を構成する25個の5×5画素ブロックのうち、内方部分の9個の5×5画素ブロックZから成る領域を、サーチ画像領域として規定し、それら9個の5×5画素ブロックZの領域のみに範囲が減縮されたターゲット画像を、格納装置29に格納されている、それと同じ大きさで同じ解像度のサンプル画像と比較する。ある位置とある角度とで取り出されたサーチ画像と、比較したサンプル画像との間の差分が最小のものであったならば、その位置及び角度を、サンプル画像に示されているターゲットと同じ種別のターゲットの観測対象シーンの中における位置及び角度として記録する。
以上によって、図1に関連して説明した画像処理方法を用いた自動対象物検出方法が構成されている。
図4に示したものは、自動対象物検出のための本発明に係る観測装置の他の実施形態である。この観測装置は、構造的には図2に関連して説明した観測装置に対応しており、そのため図4の参照符号は図2の参照符号に対応しており、同一の参照符号は同一の構成要素を示している。図2の実施形態との相違点は、図4の実施形態では格納装置129に多数のサンプル画像が格納されており、この格納装置129と演算処理装置126とがデータの受け渡し可能に接続されていることである。
演算処理装置26、126と格納装置29、129とによって、画像処理装置2の内部に画像評価装置25が構成されている。
この図4の観測装置においても、図3に関連して説明した対象物検出方法と同様の対象物検出方法が実行される。ただし、図4の実施形態では、ターゲット画像Z’の回転は、演算処理装置126で実行されるソフトウェアにより仮想的に実行される。
ここではターゲット画像Z’(25×25画素)を対象として画像認識を実行する。対象とするターゲット画像Z’は、マルチスペクトル画像とすることが好ましい。この画像認識においては、各サーチ画素位置Pごとに以下のようにして特性値を算出する。
1)図4に網掛けで示した9個の5×5画素ブロックZの各々について、並びに、それら9個の5×5画素ブロックから成る中央領域の四隅に位置する4つの隅部画素ブロックの夫々の中心画素123の全てについて、ラスタフィルタ122のマトリクスに従って重み付けした夫々の正規化スペクトル成分の平均値並びに輝度総和値を算出し、また、それら4つの隅部画素ブロックの各々の周りを囲んでいるリング状配列の8個ずつの5×5画素ブロックZの各々についての当該平均値の平均値を算出する。
2)上記9個の5×5画素ブロックZの各々について、並びに、上記4個の中心画素123の全てについて、夫々に求めた正規化スペクトル成分及び輝度総和値の標準偏差を算出し、また、上記リング状配列の8個ずつの5×5画素ブロックZの各々についての当該標準偏差の平均値を算出する。
3)上記1)及び上記2)で算出する特性値を、360°を12等分した各角度位置ごとに算出する。
4)各角度位置における、各サーチ画素についての特性値集合を、サーチ対象のターゲットのサンプル画像の特性値集合と比較し、そして、差分の総和の絶対値が最小の特性値集合を、当該サーチ画素を代表する特性値集合として記録する。
5)続いて、ターゲット画像を複数のより小さな部分領域に分割し、各部分領域の中で上記差分の総和が最小のサーチ画素を探索する。上記差分の総和が最小のサーチ画素の特性値集合を、認識されたターゲット画像の特性値集合であると判定すると共に、画素1個分の解像度で考察対象としているサーチ画素位置と回転位置とに、サンプル画像のターゲット種別の発見されたターゲットとして記録する。
特許請求の範囲、明細書、及び図面中の参照符号は、本発明の理解を容易にするためのものであり、範囲を限定するものではない。
1 光学装置
2 画像処理装置
10 望遠鏡ユニット
12 偏向ミラー
14 駆動機構
20 画像ラスタ化モジュール
22 ラスタフィルタ
22’ ラスタフィルタ素子
22” ラスタフィルタ素子
24 センサ
25 画像評価装置
26 演算処理装置
27 出力インターフェース
28 ディスプレイ装置
29 格納装置
101 光学装置
102 画像処理装置
110 望遠鏡ユニット
112 偏向ミラー
120 画像取込装置
121 画像センサ
122 ラスタフィルタ
122’ ラスタフィルタ素子
122” ラスタフィルタ素子
125 画像評価装置
126 演算処理装置
127 出力インターフェース
128 ディスプレイ装置
129 サンプル画像格納装置
a 限界線
a’ 限界線
b 限界線
b’ 限界線
E 入力面
サーチ画素位置
S 電磁波の線束
線束中心線
総和信号
X 光軸
Z 領域
Z’ ターゲット画像
ターゲット画像の画素
m 画素ブロック
画素ブロック

Claims (8)

  1. 下記の画像処理方法を用いて行う自動対象物検出方法において、
    下記方法ステップa)における前記シーンの取込みを、前記光学装置の光軸(X)を中心とした回転角を夫々に異ならせて複数回実行し、
    前記回転角の各々において、前記画像処理方法の前記方法ステップを実行して処理後画像を生成し、
    個々の処理後画像を、対象物データベースに格納しておいた個々の対象物のサンプル画像と比較し、
    処理後画像のうちの1枚または数枚との差分が最小のサンプル画像によって、前記シーンに含まれている対象物を特定すると共に、処理後画像の中の該対象物の位置を判定する、
    ことを特徴とする自動対象物検出方法。
    前記画像処理方法:
    a)シーンの画像データを電磁波の線束として光学装置(1、101)を介して取込むステップと、
    b)前記ステップa)において取込んだ前記画像データに画像処理装置(2、102)により処理を施して前記画像データの信号雑音比を改善する、下記のサブステップを含むステップと、
    b1)前記画像データから成る原画像を、複数本の行及び複数本の列に分割することにより、ラスタ画像を生成するサブステップ;
    b2)1つのラスタ画素を、奇数本の行と奇数本の列とを有するラスタフィルタ(22、122)の中心ラスタフィルタ素子(22”、122”)に位置合わせするサブステップ;
    b3)前記中心ラスタフィルタ素子(22”、122”)以外のその他のラスタフィルタ素子(22‘、122’)の各々が個別の減光特性を有しており、前記ラスタフィルタ(22、122)がカバーしている複数個のラスタ画素の各々の輝度値を求めるサブステップ;
    b4)前記サブステップb3)において求めた複数の輝度値の総和である輝度総和値を求め、該輝度総和値をもって、前記中心ラスタフィルタ素子(22“、122”)に位置合わせされているラスタ画素の輝度総和値とするサブステップ;
    b5)前記サブステップb2)〜前記サブステップb4)を、前記ラスタ画像に含まれるラスタ画素の各々について反復実行するサブステップ;
    c)前記ステップb)で個々に求めた複数個のラスタ画素の輝度総和値から、原画像と同じ解像度を有する処理後画像を生成するステップと、を含む、
    ことを特徴とする画像処理方法。
  2. 前記ステップa)において、前記シーンの画像データを2つ以上の電磁波波長領域において取込むことによって互いに異なる複数のスペクトル領域における前記シーンの原画像を取込み、
    前記ステップb)及び前記ステップc)を複数の前記シーンの原画像の各々について実行することによって互いにスペクトル領域が異なる複数の処理後画像を生成し、
    互いにスペクトル領域が異なるそれら複数の処理後画像を重ね合わせて合成することによって1つのマルチスペクトル処理後画像を生成する、
    ことを特徴とする請求項1記載の方法。
  3. 互いに異なる前記複数のスペクトル領域における前記シーンの画像データの取込みを、互いにスペクトル領域が異なる複数のスペクトル領域フィルタを高速で順次切換えつつ、高速カメラを用いて行うことを特徴とする請求項2記載の方法。
  4. 処理後画像の中の対象物の位置の判定は、サンプル画像の対応するラスタ画素に一致する当該処理後画像のラスタ画素を判定することにより行われることを特徴とする請求項記載の方法。
  5. シーンの画像データを取込むための光学装置(1、101)と、取込んだ画像データの信号雑音比を改善するための画像処理装置(2、102)と、画像評価装置(25、125)とを備えた観測装置であって、
    請求項記載の対象物検出方法の前記方法ステップを実行するように構成されていることを特徴とする観測装置。
  6. 前記画像処理装置(2、102)は画像ラスタ化モジュール(20)とラスタフィルタモジュール(22、122)とを備えていることを特徴とする請求項記載の観測装置。
  7. 演算処理装置(26)を備え、
    前記画像ラスタ化モジュール(20)はマトリクス状に配列された複数個の導光素子を備えており、それら複数個の導光素子は、前記光学装置(1)と、取込んだ線束を検出するセンサ(24)との間に配設されており、
    前記複数個の導光素子のうちの少なくとも幾つかの導光素子は、それらの各々に、輝度減衰フィルタ素子である前記ラスタフィルタモジュール(22)のラスタフィルタ素子(22”)が備えられており、
    前記光学装置(1)は取込んだ画像データを前記画像ラスタ化モジュール(2)の入力面(E)に原画像として投射するように構成されており、
    前記光学装置は原画像を前記画像ラスタ化モジュール(20)の前記入力面(E)上において該入力面(E)に対して相対的に移動させ得るように構成されており、
    前記演算処理装置は前記センサ(24)から輝度信号を受取るようにしてあり、
    請求項1の前記方法ステップc)を実施するソフトウェアが、前記演算処理装置(26)において実行されるようにしてある、
    ことを特徴とする請求項記載の観測装置。
  8. 演算処理装置(126)を備えると共に、前記光学装置(101)の後段に画像センサ(121)が備えられており、
    前記光学装置(101)は取込んだ画像データを前記画像センサ(121)のセンサ面上に投射するように構成されており、
    前記演算処理装置は前記画像センサ(121)から画像信号を受取るようにしてあり、
    請求項1の方法ステップb)及びc)を実施するソフトウェアが、前記演算処理装置(126)において実行されるようにしてあり、前記画像ラスタ化モジュール及び前記ラスタフィルタモジュール(122)は、前記ソフトウェアのサブルーチンとして構成されていることを特徴とする請求項記載の観測装置。
JP2015535987A 2012-10-12 2013-10-08 画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法 Active JP6285940B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102012020104 2012-10-12
DE102012020104.4 2012-10-12
DE102012022045.6 2012-11-09
DE102012022045.6A DE102012022045A1 (de) 2012-10-12 2012-11-09 Verfahren zur Bildaufbereitung und damit durchführbares Verfahren zur automatischen Objekterkennung sowie Beobachtungsvorrichtung und Verfahren zur hochgenauen Bahn-Verfolgung startender Raketen auf große Entfernungen
PCT/DE2013/000569 WO2014056473A2 (de) 2012-10-12 2013-10-08 Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen

Publications (2)

Publication Number Publication Date
JP2015537290A JP2015537290A (ja) 2015-12-24
JP6285940B2 true JP6285940B2 (ja) 2018-02-28

Family

ID=50383016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015535987A Active JP6285940B2 (ja) 2012-10-12 2013-10-08 画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法

Country Status (6)

Country Link
US (1) US9300866B2 (ja)
EP (1) EP2907105A2 (ja)
JP (1) JP6285940B2 (ja)
KR (1) KR20150072423A (ja)
DE (1) DE102012022045A1 (ja)
WO (1) WO2014056473A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727964B2 (en) * 2013-08-08 2017-08-08 Shimadzu Corporation Image processing device
CN111797872B (zh) * 2019-04-09 2023-08-01 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
US11587323B2 (en) * 2019-06-28 2023-02-21 Raytheon Company Target model broker
CN115147313B (zh) * 2022-09-01 2022-12-30 中国科学院空天信息创新研究院 椭圆轨道遥感图像的几何校正方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4686646A (en) * 1985-05-01 1987-08-11 Westinghouse Electric Corp. Binary space-integrating acousto-optic processor for vector-matrix multiplication
JPH04164275A (ja) * 1990-10-26 1992-06-09 Hamamatsu Photonics Kk 遠隔位置の光学観測装置
US5299275A (en) 1993-03-31 1994-03-29 Eastman Kodak Company Optical fiber filter for reducing artifacts in imaging apparatus
US6965685B1 (en) 2001-09-04 2005-11-15 Hewlett-Packard Development Company, Lp. Biometric sensor
DE102011010339A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Luftraumüberwachungssystem zur Erfassung von innnerhalb eines zu überwachenden Gebiets startenden Raketen sowie Verfahren zu Luftraumüberwachung
DE102011010337A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Kamerasystem zur Erfassung und Bahnverfolgung von in großer Entfernung befindlichen bewegten Objekten

Also Published As

Publication number Publication date
WO2014056473A2 (de) 2014-04-17
EP2907105A2 (de) 2015-08-19
JP2015537290A (ja) 2015-12-24
US9300866B2 (en) 2016-03-29
US20150281572A1 (en) 2015-10-01
KR20150072423A (ko) 2015-06-29
WO2014056473A3 (de) 2014-07-17
DE102012022045A1 (de) 2014-04-17

Similar Documents

Publication Publication Date Title
Koretsky et al. Tutorial on Electro-Optical/Infrared (EO/IR) Theory and Systems
CA2729712C (en) Method of searching for a thermal target
Stellman et al. Real-time hyperspectral detection and cuing
US8831370B2 (en) Wavelength diverse scintillation reduction
JP6285940B2 (ja) 画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法
EP3385686B1 (en) Multi-spectral imaging using longitudinal chromatic aberrations
Ouyang et al. Visualization and image enhancement for multistatic underwater laser line scan system using image-based rendering
EP4016018A1 (en) Combined multi-spectral and polarization sensor
US9983063B1 (en) Multispectral imaging via coded aperture
Bartlett et al. Anomaly detection of man-made objects using spectropolarimetric imagery
CN111272101A (zh) 一种四维高光谱深度成像系统
WO2018017522A1 (en) A method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images
CN101702021B (zh) 一种图谱一体化的时变对象光谱信息获取方法与装置
US20190141262A1 (en) Systems and methods for detecting light sources
CN211205210U (zh) 四维高光谱深度成像系统
CN108917928B (zh) 一种360度全景多光谱成像仪
CN109781259B (zh) 一种图谱关联的精准测量空中运动小目标红外光谱的方法
Karaca et al. Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching
EP4276429A1 (en) Multi-spectral and panchromatic imaging apparatus and associated system and method
US12046032B2 (en) Push broom clutter rejection using a multimodal filter
Skauli et al. Multispectral and conventional imaging combined in a compact camera by using patterned filters in the focal plane
Phillips et al. Optical registration array for imaging polarimeters
JP2003510595A (ja) 作像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180202

R150 Certificate of patent or registration of utility model

Ref document number: 6285940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250