JP6054435B2 - 強化された撮像システム - Google Patents

強化された撮像システム Download PDF

Info

Publication number
JP6054435B2
JP6054435B2 JP2015008644A JP2015008644A JP6054435B2 JP 6054435 B2 JP6054435 B2 JP 6054435B2 JP 2015008644 A JP2015008644 A JP 2015008644A JP 2015008644 A JP2015008644 A JP 2015008644A JP 6054435 B2 JP6054435 B2 JP 6054435B2
Authority
JP
Japan
Prior art keywords
response signal
imaging system
radar
image
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015008644A
Other languages
English (en)
Other versions
JP2015166732A (ja
Inventor
エイ.カラム モスタファ
エイ.カラム モスタファ
ケイ.ショーリ ラージ
ケイ.ショーリ ラージ
リー セゴ ダグラス
リー セゴ ダグラス
ケイ.ビドラー ライル
ケイ.ビドラー ライル
マイヤー エイ.ダグラス
マイヤー エイ.ダグラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Systems Corp
Original Assignee
Northrop Grumman Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrop Grumman Systems Corp filed Critical Northrop Grumman Systems Corp
Publication of JP2015166732A publication Critical patent/JP2015166732A/ja
Application granted granted Critical
Publication of JP6054435B2 publication Critical patent/JP6054435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、一般に強化された撮像システムに関する。
標的領域内で物体検出を行うために等、ミリ波(MMW:Millimeter Wave)周波数で
動作する周波数変調持続波(FMCW:Frequency-Modulated Continuous Wave)レーダ
システム等のレーダシステムを利用して、標的領域を撮像することができる。一例として、レーダシステムは標的領域に電磁信号を送ることができる。標的領域内に物体がある場合、伝送された電磁信号の一部をその物体がレーダシステムに跳ね返す可能性がある。構築される画像内で物体を検出するために等、レーダシステムは、反射された信号に基づいて画像を構築することができる。
米国特許第5966678号明細書 米国特許第7616817号明細書 米国特許第8102423号明細書 米国特許出願公開第2007/0136224号明細書 米国特許出願公開第2008/0273210号明細書 米国特許出願公開第2010/0013615号明細書 米国特許出願公開第2010/0202657号明細書 米国特許出願公開第2010/0282894号明細書 欧州特許出願公開第1288888号明細書 国際公開第94/19771号 国際公開第2006/137829号
一実施形態は、撮像システムについて記載する。このシステムは、標的領域に第1の信号を与え、第1の応答信号を受信するように構成される第1の撮像システムを含む。このシステムは、標的領域に第2の信号を与え、第2の応答信号を受信するように構成される第2の撮像システムも含む。第1の信号と第2の信号とは、別々の周波数帯域を有することができる。このシステムは、第2の応答信号の少なくとも一部に基づき第1の応答信号を補正し、補正済みの第1の応答信号に基づいて画像を生成するように構成されるプロセッサを更に含む。
別の実施形態は、関連するプロセッサによって撮像方法を実行するために実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体を含む。この方法は、標的領域から反射される後方散乱レーダ信号に対応する、レーダシステムから受け取られるレーダ応答信号を補正するステップを含む。レーダ応答信号は、標的領域から反射される後方散乱ライダ信号に対応する、ライダシステムから受け取られるライダ応答信号の少なくとも一部に基づいて補正される。この方法は、補正済みのレーダ応答信号に基づいて補正済みのレーダ画像を生成するステップと、ライダ応答信号に基づいてライダ画像を生成するステップとを更に含む。この方法は、補正済みのレーダ画像をライダ画像と融合して融合画像を生成するステップを更に含む。
更なる実施形態は、ライダ/レーダ装置を含む。このライダ/レーダ装置は、所定の距離離間されたレーダ装置及びライダ装置を収容するハウジングを含む。レーダ装置は、標的領域に由来するレーダ応答信号を生成するように構成され、ライダ装置は、標的領域に由来するライダ応答信号を生成するように構成される。このライダ/レーダ装置は、ライダ応答信号の少なくとも一部及び距離に基づきレーダ応答信号を補正し、補正済みのレーダ応答信号に基づいて補正済みのレーダ画像を生成するように構成されるプロセッサも含む。
撮像システムの一例を示す。 撮像システムを含む装置の一例の幾何学的構成の一例の側面図を示す。 本装置の一例の幾何学的構成の一例の上面図を示す。 撮像システムによって使用され得るプロセッサの一例を示す。 レーダシステムの幾何学的配置、及び関連するフットプリントの一例を示す。 35GHzの搬送周波数を用いる周波数変調持続波(FMCW)レーダにより、障害物のない道路から得られる非補正後方散乱係数及び補正済後方散乱係数を示す。 35GHzの搬送周波数を用いるFMCWレーダにより、障害物のない道路から得られる補正済後方散乱係数の確率密度関数を示す。 ネットに覆われた標的のレーザ画像を示す。 霧状油煙層に覆われた標的のレーザ画像を示す。 群葉に覆われた並木の中の標的のレーザ画像を示す。 強化された撮像方法の一例を示す。
本発明は一般に、標的領域の冗長画像を撮る第2の撮像システムと共に第1の撮像システムによって走査される標的領域(例えば関心領域)を撮像するための、強化された撮像システムに関する。一例として、第1の撮像システムをライダ撮像システムとすることができ、第2の撮像システムをレーダ撮像システムとすることができる。典型的なレーダシステムは、標的領域がレーダシステムの近くにある場合、及び/又は覆い隠すカバーがない場合、物体を大抵の場合、高精度で撮像できるが、典型的なレーダシステムの撮像能力は、距離が長いこと及び覆い隠すカバーがあることの両方により劣化に見舞われることがある。ライダシステムを追加することで、標的領域の冗長画像を撮ることにより、距離が長い場合及び覆い隠すカバーがある場合の両方においてレーダシステムの撮像能力を高めることができる。より長い距離を撮像することによって引き起こされる歪みは、レーダ応答の後方散乱係数をライダ応答から得られる直距離ベクトルに基づいて補正することによって改善でき、覆い隠すカバーによって引き起こされる歪みは、補正済みのレーダ画像をライダ画像と融合することによって改善することができる。
本明細書で使用するとき、「レーダシステム」という用語は一般に、後方散乱信号に基づいて標的領域を撮像するために電磁波(例えば電波、マイクロ波等)を使用する一種の撮像システムを指す。概して、本明細書で使用するとき、「後方散乱信号」とは、標的領域からレーダシステムに跳ね返され、レーダシステムによって(例えばレーダシステムのレーダアンテナによって)受信される電磁波の部分を指す。レーダシステムが標的領域の特徴の距離、高度、方向、速度等を求めることができるように、後方散乱信号を撮像に使用することができる。レーダシステムは、電磁波を伝送し且つ/又は後方散乱信号を受信するためのレーダアンテナ及び/又はレーダ要素を概して用いるので、本明細書では「レーダアンテナ」及び/又は「レーダ装置」という用語を「レーダシステム」と同じ意味で使用する場合がある。本明細書に記載するシステム及び方法は、ライダ応答を用いて劣化した後方散乱信号を補正する。
距離が長いとき及び/又は覆い隠す(例えば群葉、煙、カモフラージュ等による)カバーがあるとき、後方散乱信号が劣化して典型的なレーダシステムの撮像能力が悪化する場合がある。ライダシステム(「レーザレーダシステム」とも呼ぶ)はそのような問題に見舞われない。「ライダ」(用語「光」と「レーダ」との組合せ)及び「レーザレーダ」(用語「レーザ」と「レーダ」との組合せ)という用語はどちらも、(レーダの電磁波よりも概ね短い波長を有する)レーザを使用して標的領域を照らすことによって距離を測定し、反射光を分析して標的要素の直距離を取得し、前述の標的領域の画像を作成する遠隔探知技術を概して指す。
図1は、典型的な撮像システムに比べて標的領域11内の標的物について優れた撮像能力を実現するために、第1の撮像システム12及び第2の撮像システム14を使用する撮像システム10の一例を示す。第1の撮像システム12及び第2の撮像システム14は、異なる撮像能力を有すること等、関連する異なる周波数帯域を有することができる。一例として、第1の撮像システム12をライダ撮像システムとすることができ、第2の撮像システム14をレーダ撮像システムとすることができる。撮像システム10は、一般的なレーダシステム等の典型的な撮像システムに勝る強化された撮像能力を提供し、特にそのそれぞれの標的領域が典型的な撮像システムからより離れている場合、及び/又はそれぞれの標的領域に覆い隠すカバーがある場合に物体をより正確に検出し識別するために等、より高い分解能及びより明確に視認できる特徴を有する結果画像をもたらすことができる。
第2の撮像システム14は、標的領域によって第2の撮像システム14に跳ね返される第1の後方散乱信号(RBS)に基づき標的領域11を撮像するために、電磁波(例えば電波、マイクロ波、ミリ波等)の第1の周波数帯域の第1の伝送信号(RS)を送る一種の撮像システムとすることができる。一例として、第1の伝送信号RSは伝送レーダ信号とすることができ、第1の後方散乱信号RBSは後方散乱レーダ信号とすることができる。第1の後方散乱信号RBSは、概して標的物によって第2の撮像システム14に跳ね返される第1の伝送信号RSの一部である。一種の第2の撮像システム14の非限定的な一例は、ミリ波(MMW)周波数で動作する周波数変調持続波(FMCW)レーダシステムである。第1の撮像システム12は、電磁波の(例えばレーザ光等、第2の撮像システム14の第1の伝送信号RSに使用される電磁波よりも短い波長の)第2の周波数帯域の第2の伝送信号(LS)を同じ標的領域11に送り、標的物によって第1の撮像システム12に跳ね返される後方散乱信号(LBS)に基づき、同じ標的領域11の冗長画像を作成することができる。
第1の撮像システム12及び第2の撮像システム14に加え、撮像システム10は、少なくともプロセッサ16及びメモリ18も含むことができる。プロセッサ16には、例えば実時間プロセッサ、信号プロセッサ、シングルボードコンピュータ、又は標的領域11を撮像するための命令の実行を助けることができる他の任意の種類のプロセッサが含まれ得る。メモリ18(「メモリ」、「非一時的なコンピュータ可読装置」、及び/又は「非一時的なコンピュータ可読記憶媒体」とも呼ぶ)は、プロセッサ16によって実行するための命令を記憶可能な任意の非一時的媒体とすることができる。一態様によれば、プロセッサ16及びメモリ18を単一の装置(例えば計算装置)内に含めることができる。別の態様では、プロセッサ16及びメモリ18が別々の装置であり得る。プロセッサ16は、例えば第2の撮像システム14及び第1の撮像システム12と同じアセンブリ内に収容することができ、第2の撮像システム14及び第1の撮像システム12に隣接したボックス内に収容することができ、第2の撮像システム14及び第1の撮像システム12から離れたボックス内に収容することができ、又はディスプレイコントローラ、グラフィカルユーザインターフェイス等に関連しても良い。
プロセッサ16が第2の撮像システム14から第2の応答信号(RR)を受信し、第1の撮像システム12から第1の応答信号(LR)を受信できるように、プロセッサ16及び/又はメモリ18は、第2の撮像システム14及び第1の撮像システム12との通信を容易にする位置に配置することができる。第2の応答信号RRは、第1の後方散乱信号RBSの少なくとも一部を含むことができ、第1の応答信号LRは、後方散乱信号LBSの少なくとも一部を含むことができる。プロセッサ16は、メモリ18内に記憶された命令を実行し、第1の応答信号LRの一部(例えば対応する強度値及び方向値を有する直距離ベクトル)に応じて第2の応答信号RR(例えば第2の応答信号RRの後方散乱係数)を補正して、補正済みの第2の応答信号を形成することができる。プロセッサ16は、補正済みの第2の応答信号に基づいて補正済みの画像17を作成することができる。補正済みの画像17は、補正されていない第2の応答信号RRによって作成される画像よりも明確に標的物を示すことができる。
一例では、第2の応答信号RRを補正するためにプロセッサ16が使用する第1の応答信号LRの一部が、第1の応答信号LRの直距離ベクトルを含む。直距離ベクトルは、(第2の応答信号RRに寄与する、第2の撮像システム14によって照らされる標的領域11の動径方向、及び第2の撮像システム14の標的領域11の方位角方向に対応する)フットプリントの散乱中心に概ね対応する。直距離ベクトルを実現するために、第2の撮像システム14によって使用される第1の伝送信号RSの電磁波よりも短い波長のレーザ光を含むLSを使い、第2の撮像システム14と同じ標的領域11を走査するように第1の撮像システム12を構成することができる。一例によれば、大気減衰を克服するために、第1の撮像システム12が使用するレーザ光は約1.3μm〜約1.35μmの波長を有することができる。但し、第1の撮像システム12は、第2の撮像システム14によって使用される電磁波の波長よりも短い如何なる波長のレーザ光も利用できることが理解される。
第1の撮像システム12及び第2の撮像システム14の両方が同じ標的領域11を撮像することを確実にするために、第1の撮像システム12は、第2の撮像システム14の幾何学的構成(例えばアンテナ、レーダアンテナの開口部等の幾何学的構成)と同じか又は同様の幾何学的構成(例えば大きさ及び/又は形状)で構成され得る。一例では、第1の撮像システム12が、第2の撮像システム14の1つ又は複数の要素(例えばレーダアンテナやレーダアンテナの開口部)の幾何学的構成と同じ幾何学的構成で配置される複数の要素(例えばライダ要素アレイ、複数の走査鏡、又は複数の要素の異なる構成)を含むことができる。つまり、反射レーザビームの少なくとも一部をプロセッサ16によってアンテナのフットプリント内にマップできるように、第1の撮像システム12内の要素の位相中心を決めておくことができる。
第1の撮像システム12と第2の撮像システム14とは、第2の撮像システム14の軸心及び第1の撮像システム12の軸心から測って所定の距離(d)離すことができる。この所定の距離(d)は、プロセッサ16が第1の応答信号LRを第2の応答信号RR内にマップするための遅延時間(τ)に関係する。例えば、標的領域11を撮像するために撮像システム10が動いている場合、遅延時間(τ)を求めるために所定の距離を使用することができる。撮像システム10が動いている場合、距離(d)は、標的領域11に対する空間内の撮像システム10の移動方向に沿ったダウントラック方向に測定することができる。第1の撮像システム12が第2の撮像システム14と同じ幾何学的構成を有する場合、遅延時間(τ)は、
で表わすことができ、但しvは、撮像システム10がダウントラック方向に沿って移動する速度に対応する。等式1に従って遅延時間を求めるために、所定の距離(d)を決めることができる。
図2の側面図20及び図3の上面図30の中で示す一例によって例示するように、撮像システム10は、単一のハウジング内に収容される第1の撮像システム12及び第2の撮像システム14と共に、単一の装置内に含めることができる。一実施形態例では、図2及び図3に示すように単一の装置によって具体化される撮像システム10は、軽量コンパクトシステムであり得る(例えば軽量コンパクトシステムは戦闘撮像任務の要件を満たすことができる)。但し、第1の撮像システム12、第2の撮像システム14、プロセッサ16、及びメモリ18は単一の装置内に具体化しなくても良い。プロセッサ16の遅延時間を求めることができるように、撮像システム10内で、第1の撮像システム12と第2の撮像システム14とを選択された所定の距離(d)離すことができる。図3の上面図30に示すように、距離(d)は、撮像システム10の移動方向に沿ったダウントラック方向に測定することができる。一例として、撮像システム10が動くときに軸心のそれぞれがダウントラック方向に沿って同一線上で移動するように、所定の距離(d)は、第2の撮像システム14の軸心及び第1の撮像システム12の軸心から測ることができる。第1の撮像システム12及び第2の撮像システム14は、ハウジング内で幾つかの異なる構成にあり得ることが理解される。第1の撮像システム12が第2の撮像システム14よりも先に標的領域11を撮像するように構成される図2及び図3に示す構成は、限定的であることを意図しない。一例として、第2の撮像システム14が第1の撮像システム12よりも先に標的領域11を撮像できるように、第1の撮像システム12及び第2の撮像システム14の位置を変えても良い。
図4は、撮像システム10によって使用され得るプロセッサの一例を示す。図4の例では、第1の撮像システム12が、ライダ応答信号LRを提供するライダシステムに相当し、第2の撮像システム14が、レーダ応答信号RRを提供するレーダシステムに相当する。
プロセッサは、第1の撮像システム12からライダ応答信号LRを、第2の撮像システム14からはレーダ応答信号RRを受信することができる(ライダ応答信号LR及びレーダ応答信号RRはどちらも同じ標的領域に対応することができる)。ライダ応答信号LR及びレーダ応答信号RRは、ライダ応答信号LRに基づいてレーダ応答信号RRを補正するスペクトルコレクタ42に伝送される。スペクトルコレクタ42は、補正されたRRに基づいて補正済みの画像17を生成する。プロセッサ16は、補正済みの画像17を生成するのと並行し、ライダ応答信号LRに基づいてライダ画像48も生成する。画像フューザ44が、補正済みの画像17をライダ画像48と融合することによって融合画像46を作成する。補正済みの画像17も融合画像46も、典型的なレーダ応答信号に基づいて作成される画像よりも、標的領域内の標的物について改善された(例えばよりはっきりとした)撮像能力を示す。
一例では、プロセッサ16のスペクトルコレクタ42が、レーダ応答信号RRのミキサ後のパワースペクトル(P(f))の後方散乱係数値
を、ライダ応答信号LRの直距離ベクトルの直距離((r))に基づいて補正されたミキサ後のパワースペクトル(P(f))を用いて補正することができる。スペクトルコレクタ42は、レーダ応答信号RRにスペクトル変換(例えば高速フーリエ変換、ウェーブレット変換等)を適用することにより、レーダ応答信号RRのミキサ後のパワースペクトル(P(f))を求めることができる。ミキサ後のパワースペクトル(P(f))は、レーダ応答信号RRの劣化源(例えば第2の撮像システム14の利得、様々な直距離に関連する分解能セルの領域、及びアンテナのフットプリントにわたる直距離の変動)を含み、
で表わすことができ、但しQは、第2の撮像システム14とプロセッサ16との間の伝送によるレーダ応答信号RRに対する集中損失及び/又は利得を表し、
はミキサ後のパワースペクトルに寄与するアンテナ利得を表し、ΔAは分解能セルの領域を表し、Ψ(f)は直距離r及びミキサ後のパワースペクトルが計算される時間窓の関数である。関数Ψ(f)は、
Ψ(f)=2π(f−f)T 等式3
で表わすことができ、2Tはスペクトルが計算される時間窓を表し、fは後方散乱信号のスペクトル周波数を表し、fは散乱中心iの直距離rを表す周波数である。直距離rは、レーダ応答信号RRの散乱中心ごとに直距離を表し、
で表わすことができ、但し、図5に示すようにθは天頂観測角度であり、Hはアンテナの高さである。この距離に関連するミキサ後のスペクトルに寄与するアンテナ利得
は、
で表わすことができ、但しφ及びφは方位角に相当する。
スペクトルコレクタ42は、ミキサ後のパワースペクトル(P(f))をライダ応答信号LRの直距離ベクトルの直距離から得られた補正係数を用いて補正し、補正済みのミキサ後スペクトルから、第2の撮像システム14のレーダフットプリントの散乱中心に対応する補正済みの後方散乱係数値
を求めることができる。補正済みの後方散乱係数値
に基づき、スペクトルコレクタ42は補正済みの画像17を形成することができる。スペクトルコレクタ42は、ミキサ後のスペクトル(P(f))を補正係数
と掛けることによってミキサ後のパワースペクトル(P(f))が補正され、補正済みのミキサ後スペクトルから補正済みの後方散乱係数値
を得ることができ、補正係数は
で表わすことができ、等式6の直距離ベクトルの直距離(r)は、スペクトルコレクタ42がライダ応答信号LRから抽出する直距離ベクトルの直距離である。
従って、スペクトルコレクタ42は、ライダ応答信号LRの直距離ベクトルの直距離(r)をレーダ応答信号RRのミキサ後のスペクトル(P(f))にマップし、直距離ベクトルの直距離(r)のそれぞれに関連する補正係数
を求め、その補正係数
に基づいてミキサ後のパワースペクトル(P(f))を補正することができる。従って、スペクトルコレクタ42は、ライダ応答信号LRの直距離ベクトルの直距離(r)に対応する補正済みの後方散乱係数値
に基づいて補正済みの画像17を生成することができる。補正済みの画像17は、画像内の標的物を識別するために使用することができる。例えば、標的物の種類を識別するために補正済みの画像17を使用し、それにより誤警報率を下げることができる。
図6は、35GHzの搬送周波数で動作する周波数変調持続波(FMCW)レーダシステムのミキサ後のパワースペクトルからスペクトルコレクタ42によって抽出され得る後方散乱係数の、障害物のない道路にわたる距離に対するグラフ60の一例を示す。図6には2種類の後方散乱値、即ち非補正値62及び補正値64が示されている。非補正値62のピークは、アンテナボアサイトに対応することができ、約137mの直距離において生じていると示されている。補正値64のより高いピークは、アンテナボアサイトではなく道路の端に約131m及び約145mにおいて対応し得る一方で、補正値64のより低いピークは道路の表面に対応し得る。図7は、公開文献内のそれぞれの測定された同等物と同様に、補正済みの後方散乱係数64の統計的挙動を指数関数的な確率密度関数によって表わせることを一例として示すグラフ70である。
再び図4を参照し、プロセッサ16は、補正済みの画像17をライダ応答信号LRに基づいて形成されたライダ画像48と融合して融合画像46を形成することができる、画像フューザ44も含むことができる。第1の撮像システム12は、より長い波長を有する第2の撮像システム14では透過できない覆い隠すカバーの間隙を透過できる短い波長を使用するので、融合画像46は覆い隠すカバーを透過することができる。従って、融合画像46は、典型的なレーダシステムのレーダ応答信号から構築されるレーダ画像では実現できない透過能力を示し得る。
図8〜図10は、ライダ撮像システムの透過能力を示す三次元画像を図示する。図8〜図10のそれぞれは、約1.06μmの波長で動作し、標的を走査するために2つの回転鏡、つまり水平走査用の1つの鏡と垂直走査用のもう1つの鏡とを使用する、マイクロレーザライダシステムによって取得された画像を示す。これらの三次元画像は、カモフラージュネットの下にいる標的の画像(図8)、霧状油煙層の下にいる標的の画像(図9)、及び群葉を有する並木の中にいる標的の画像(図10)である。これらの3つのレーザ画像84、94、1004は、MMW FMCWレーダの周波数では透過できないネット、煙、並木を含む様々なカバーを透過するライダ信号の能力を証明する。従って、レーダ画像をMMW FMCWレーダ画像と融合することで、レーダ画像だけでは得ることができない透過能力がもたらされる。
図8の画像82は、カモフラージュネットの下にいる標的を示すが、図8の画像84では標的を明確に視認でき、このことはカモフラージュネット内の間隙を透過するライダシステムの能力を証明する。標的が霧状油煙層によって覆い隠されている図9では、煙があることに起因する標的画像内の劣化はなく、このことは煙を透過するライダ能力を証明する。図10に示す群葉の並木の場合、群葉がレーザ画像の質を低下させるが、図10の画像は群葉内の間隙を透過するライダ能力を示す。
図4のプロセッサ16は、撮像能力を更に高めるための更なる画像処理に貢献可能な1つ又は複数の構成要素を任意選択的に含むことができる。例えばプロセッサ16は、融合画像46又は補正済みの画像17に基づいて、標的領域11内にある物体を検出する(及び任意選択的に物体を識別する)ことができる物体検出器を含むことができる。
上記で説明した前述の構造的及び機能的特徴に鑑みて、本発明の様々な態様による方法1100が図11に関してより良く理解される。説明を単純にするために、図11の方法1100は逐次的に実行するものとして図示し説明するが、本発明は示されている順序によって限定されず、一部の態様は本発明に従って異なる順序で、及び/又は本明細書で図示し説明する以外の態様と同時に行われ得ることが理解され、認識される。更に、本発明の態様による方法を実施するために、示した特徴の全てが必要とされ得るわけではない。これらの方法のそれぞれの一部又は全てを、非一時的なコンピュータ可読媒体(例えばメモリ18)上の機械可読命令として実装できることが理解される。
図11は、(例えば第2の撮像システム14及び第1の撮像システム12による)撮像方法1100の一例を示す。要素1102で、レーダシステム(例えば第2の撮像システム14)から受信される、標的領域(例えば標的領域11)から反射される後方散乱レーダ信号(例えば後方散乱レーダ信号RBS)に対応するレーダ応答信号(例えばレーダ応答信号RR)を、ライダシステム(例えば第1の撮像システム12)から受信される、標的領域から反射される後方散乱ライダ信号(例えば後方散乱ライダ信号LBS)に対応するライダ応答信号(例えばライダ応答信号LR)の少なくとも一部に基づいて補正する。要素1104で、補正済みのレーダ応答信号に基づき、補正済みのレーダ画像(例えば補正済みの画像17)を(例えばスペクトルコレクタ42によって)生成する。要素1106で、ライダ応答信号(例えばライダ応答信号LR)に基づき、ライダ画像(例えばライダ画像48)を生成する。要素1108で、補正済みのレーダ画像(例えば補正済みの画像17)をライダ画像(例えばライダ画像48)と(例えば画像フューザ44によって)融合して融合画像(例えば融合画像46)を生成する。
上記の説明は本発明の例である。当然ながら、本発明を説明するために構成要素又は手法の考えられるあらゆる組合せを記載するのは不可能だが、本発明の更に多くの組合せ及び交換が可能であることを当業者なら理解されよう。従って本発明は、添付の特許請求の範囲を含む本明細書に記載の範囲に含まれるかかる全ての改変形態、修正形態、及び変形体を包含することを意図する。

Claims (19)

  1. 撮像システムであって、
    標的領域に第1の信号を与え、第1の応答信号を受信するように構成される第1の撮像システムと、
    前記標的領域に第2の信号を与え、第2の応答信号を受信するように構成される第2の撮像システムであって、前記第1の信号と前記第2の信号とは別々の周波数帯域を有し、前記第2の撮像システムは、前記第1の撮像システムからダウントラック方向に測定された所定の距離だけ離間されている、前記第2の撮像システムと、
    前記所定の距離に基づいて遅延時間を計算し、前記遅延時間に基づいて前記第2の応答信号を前記第1の応答信号にマップすることにより前記第1の応答信号を補正し、補正済みの第1の応答信号に基づいて画像を生成するように構成されるプロセッサと
    を備える、撮像システム。
  2. 前記画像が第1の画像であり、前記プロセッサが、前記第2の応答信号に基づいて第2の画像を生成し、前記第1の画像及び前記第2の画像に基づいて融合画像を生成するように更に構成される、請求項1に記載の撮像システム。
  3. 前記プロセッサが、前記第2の応答信号から得られる直距離ベクトルの直距離値に基づき、前記第1の応答信号の後方散乱係数値を補正することによって前記第1の応答信号を補正するように更に構成される、請求項1に記載の撮像システム。
  4. 前記プロセッサが、前記第1の撮像システムの利得、前記直距離ベクトルの直距離値に関連する分解能セルの領域、及び前記直距離ベクトルの直距離値の変動の少なくとも1つについて前記第1の応答信号を補正するように更に構成される、請求項3に記載の撮像システム。
  5. 前記直距離ベクトルが、前記第1の応答信号に寄与する前記第1の撮像システムのフットプリントの散乱中心に対応する、請求項3に記載の撮像システム。
  6. 前記プロセッサが、前記第1の応答信号にスペクトル変換を適用して前記第1の応答信号のミキサ後のパワースペクトルを求めることに基づき、及び前記第2の応答信号から得られる直距離値に基づいて前記ミキサ後のパワースペクトルを補正することに基づき、前記第1の応答信号を補正するように更に構成される、請求項1に記載の撮像システム。
  7. 前記プロセッサが、前記ミキサ後のスペクトル内に前記第2の応答信号の直距離ベクトルの直距離値をマップすることに基づいて、前記直距離ベクトルの直距離値のそれぞれに関連する補正係数を求めることに基づいて、及び前記補正係数に基づいて前記ミキサ後のパワースペクトルを補正することに基づいて、前記ミキサ後のパワースペクトルを補正するように更に構成される、請求項6に記載の撮像システム。
  8. 前記プロセッサが、前記補正済みのミキサ後のパワースペクトルから求められる補正済みの後方散乱係数値に基づいて前記画像を生成するように更に構成される、請求項7に記載の撮像システム。
  9. 前記第2の撮像システムが、前記第1の撮像システムの複数の開口部要素の幾何学的配置とほぼ同じ幾何学的配置で構成される複数の開口部要素を含む、請求項1に記載の撮像システム。
  10. 前記第1の撮像システム及び前記第2の撮像システムを含む共通のハウジングを更に含む、請求項に記載の撮像システム。
  11. 前記第1の撮像システムがレーダシステムであり、前記第2の撮像システムがライダシステムである、請求項1に記載の撮像システム。
  12. 撮像方法を実行するために関連するプロセッサによって実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体であって、方法が、
    標的領域から反射される後方散乱レーダ信号に対応する、レーダシステムから受け取られるレーダ応答信号を補正するステップであって、前記レーダ応答信号は、前記標的領域から反射される後方散乱ライダ信号に対応する、ライダシステムから受け取られるライダ応答信号に基づいて、遅延時間を計算することにより補正され、前記ライダシステムは、前記レーダシステムからダウントラック方向に測定された所定の距離だけ離間されており、前記遅延時間は、前記所定の距離に基づいて計算される、前記補正するステップと、
    補正済みのレーダ応答信号に基づいて補正済みのレーダ画像を生成するステップと、
    前記ライダ応答信号に基づいてライダ画像を生成するステップと、
    前記補正済みのレーダ画像を前記ライダ画像と融合して融合画像を生成するステップとを含む、非一時的なコンピュータ可読記憶媒体。
  13. 前記レーダ応答信号を補正する前記ステップが、前記ライダ応答信号の直距離ベクトルの直距離値に基づいて前記レーダ応答信号の後方散乱係数値を補正するステップを更に含む、請求項12に記載の非一時的なコンピュータ可読記憶媒体。
  14. 前記レーダ応答信号を補正する前記ステップが、
    前記レーダ応答信号にスペクトル変換を適用して前記レーダ応答信号のミキサ後のパワースペクトルを求めるステップと、
    前記ライダ応答信号から得られる直距離値に基づいて前記ミキサ後のパワースペクトルを補正するステップと
    を更に含む、請求項12に記載の非一時的なコンピュータ可読記憶媒体。
  15. 前記ミキサ後のパワースペクトルを補正する前記ステップが、
    前記ミキサ後のスペクトル内にライダ応答の直距離ベクトルの直距離値をマップするステップと、
    前記直距離ベクトルの直距離値のそれぞれに関連する補正係数を求めるステップと、
    前記補正係数に基づいて前記ミキサ後のパワースペクトルを補正するステップと
    を更に含む、請求項14に記載の非一時的なコンピュータ可読記憶媒体。
  16. 前記補正済みのレーダ画像を生成する前記ステップが、
    前記補正済みのミキサ後のパワースペクトルから補正済みの後方散乱係数値を求めるステップと、
    前記補正済みの後方散乱係数値に基づいて前記補正済みのレーダ画像を生成するステップと
    を更に含む、請求項15に記載の非一時的なコンピュータ可読記憶媒体。
  17. 撮像装置であって、
    ダウントラック方向に測定された所定の距離だけ離間されたレーダ装置及びライダ装置を含むハウジングであって、前記レーダ装置は、標的領域に由来するレーダ応答信号を生成するように構成され、前記ライダ装置は、前記標的領域に由来するライダ応答信号を生成するように構成される、前記ハウジングと、
    前記所定の距離に基づいて遅延時間を計算し、前記遅延時間に基づいて前記ライダ応答信号を前記レーダ応答信号にマップすることにより前記レーダ応答信号を補正し、補正済みのレーダ応答信号に基づいて補正済みのレーダ画像を生成するように構成されるプロセッサと
    を備える、撮像装置。
  18. 前記プロセッサが、前記ライダ応答信号に基づいてライダ画像を生成し、前記補正済みのレーダ画像及び前記ライダ画像に基づいて融合画像を生成するように更に構成される、請求項17に記載の撮像装置。
  19. 前記レーダ装置が、第1の幾何学的形状を有する開口部を含み、前記ライダ装置が第2の幾何学的形状に配置される複数のライダ要素を含み、前記第1の幾何学的形状と前記第2の幾何学的形状とがほぼ同じである、請求項17に記載の撮像装置。
JP2015008644A 2014-01-20 2015-01-20 強化された撮像システム Expired - Fee Related JP6054435B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/159,199 US9557415B2 (en) 2014-01-20 2014-01-20 Enhanced imaging system
US14/159,199 2014-01-20

Publications (2)

Publication Number Publication Date
JP2015166732A JP2015166732A (ja) 2015-09-24
JP6054435B2 true JP6054435B2 (ja) 2016-12-27

Family

ID=52462112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015008644A Expired - Fee Related JP6054435B2 (ja) 2014-01-20 2015-01-20 強化された撮像システム

Country Status (3)

Country Link
US (1) US9557415B2 (ja)
EP (1) EP2899564A1 (ja)
JP (1) JP6054435B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10088561B2 (en) * 2014-09-19 2018-10-02 GM Global Technology Operations LLC Detection of a distributed radar target based on an auxiliary sensor
US9921307B2 (en) * 2015-01-30 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Combined RADAR sensor and LIDAR sensor processing
KR101795432B1 (ko) 2016-02-26 2017-11-10 현대자동차주식회사 차량 및 차량의 제어방법
CN109310388B (zh) * 2016-09-30 2022-04-15 深圳迈瑞生物医疗电子股份有限公司 一种成像方法和系统
JP6821518B2 (ja) 2017-06-13 2021-01-27 川崎重工業株式会社 航空機ホバリング作業支援システムおよびこれを備える航空機
US10613212B2 (en) 2017-08-14 2020-04-07 Oculii Corp. Systems and methods for doppler-enhanced radar tracking
US11131548B2 (en) * 2018-03-07 2021-09-28 Verizon Patent And Licensing Inc. Routing unmanned aerial vehicles based on radio frequency conditions in a three-dimensional environment
US11194032B2 (en) * 2019-03-22 2021-12-07 Apple Inc. Systems and methods for object detection by radio frequency systems

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3351936A (en) * 1966-01-10 1967-11-07 Texas Instruments Inc Method and apparatus for exploring the earth with electromagnetic energy
US4122521A (en) * 1975-10-20 1978-10-24 Northrop Corporation Correlation system for multiple-sensor reconnaissance vehicle
NL8801757A (nl) * 1988-07-12 1990-02-01 Hollandse Signaalapparaten Bv Doeldetektor.
JPH0240583A (ja) * 1988-07-30 1990-02-09 Nec Corp レーダ映像表示方式
IL108668A (en) 1993-02-25 1998-09-24 Hughes Training Inc A method and system for creating a plurality of 3D image characters
US5966678A (en) 1998-05-18 1999-10-12 The United States Of America As Represented By The Secretary Of The Navy Method for filtering laser range data
JP3328582B2 (ja) * 1998-05-27 2002-09-24 株式会社日立製作所 車間距離計測装置
JP2000009832A (ja) * 1998-06-29 2000-01-14 Omron Corp レーダ装置および物体探知方法
IL143414A0 (en) 2001-05-23 2004-06-20 Rafael Armament Dev Authority A method and system for improving situational awareness of command and control units
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
US7436884B2 (en) * 2002-03-26 2008-10-14 Lockheed Martin Corporation Method and system for wavelet packet transmission using a best base algorithm
US7274830B2 (en) * 2002-06-12 2007-09-25 Litton Systems, Inc. System for multi-sensor image fusion
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
US20100013615A1 (en) 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
WO2006137829A2 (en) 2004-08-10 2006-12-28 Sarnoff Corporation Method and system for performing adaptive image acquisition
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
US7142150B2 (en) 2004-12-15 2006-11-28 Deere & Company Method and system for detecting an object using a composite evidence grid
US7558772B2 (en) 2005-12-08 2009-07-07 Northrop Grumman Corporation Information fusion predictor
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
US7616817B2 (en) 2007-04-12 2009-11-10 The United States Of America As Represented By The Secretary Of The Navy Three dimensional shape correlator
US7999726B2 (en) 2008-01-11 2011-08-16 Raytheon Company Antenna pointing bias estimation using radar imaging
US20100175573A1 (en) 2008-06-17 2010-07-15 Honeywell International Inc. Explosively formed penetrator detection and passive infrared sensor neutralization system
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
US8009081B2 (en) * 2008-10-21 2011-08-30 Lang Hong 3D video-Doppler-radar (VIDAR) imaging system
US8744122B2 (en) 2008-10-22 2014-06-03 Sri International System and method for object detection from a moving platform
US20130300875A1 (en) * 2010-04-23 2013-11-14 Flir Systems Ab Correction of image distortion in ir imaging
KR101207903B1 (ko) * 2010-10-11 2012-12-04 국방과학연구소 자율 이동 차량용 장애물 정보 제공장치 및 그 방법
JP5503578B2 (ja) * 2011-03-10 2014-05-28 パナソニック株式会社 物体検出装置及び物体検出方法
US8604966B1 (en) * 2011-07-11 2013-12-10 Lockheed Martin Corporation Correction of radar beam refraction using electro-optical measurements

Also Published As

Publication number Publication date
US9557415B2 (en) 2017-01-31
JP2015166732A (ja) 2015-09-24
US20150276927A1 (en) 2015-10-01
EP2899564A1 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
JP6054435B2 (ja) 強化された撮像システム
US10663571B2 (en) Radar system and associated apparatus and methods
US20200326418A1 (en) Radar based system and method for detection of an object and generation of plots holding radial velocity data, and system for detection and classification of unmanned aerial vehicles, uavs
US8912946B2 (en) Submillimeter radar using signals reflected from multiple angles
US20210278518A1 (en) Novel automotive radar using 3d printed luneburg lens
JP5601881B2 (ja) パッシブレーダシステムおよびパッシブレーダ方法
US11333753B2 (en) Stripmap synthetic aperture radar (SAR) system utilizing direct matching and registration in range profile space
US10324190B2 (en) Wind measuring apparatus
US9268017B2 (en) Near-field millimeter wave imaging
KR101713173B1 (ko) 타깃 탐지의 정확성 개선 방법
RU2568286C2 (ru) Радар, формирующий изображение сверхвысокого разрешения
Rouveure et al. PELICAN: Panoramic millimeter-wave radar for perception in mobile robotics applications, Part 1: Principles of FMCW radar and of 2D image construction
JP2017508162A (ja) 合成アンテナビームを形成するための合成アンテナソナーおよび方法
JP6712313B2 (ja) 信号処理装置及びレーダ装置
US10254402B2 (en) Stereo range with lidar correction
KR20170024452A (ko) 레이더를 이용한 고정물체 탐지 방법 및 장치
US10890659B2 (en) Light-weight radar system
WO2015151134A1 (ja) レーダ信号処理装置
JP5035782B2 (ja) スプリットビーム方式合成開口レーダ
JP6083935B2 (ja) 目標輪郭識別装置
CN113945925A (zh) 用于减轻地基雷达图像中的模糊效应的方法和设备
JP5626823B2 (ja) 物体検出システム、該物体検出システムに用いられる物体検出方法及び物体検出制御プログラム
JP2007240412A (ja) レーダ装置
JP2016085167A (ja) 物体検出装置、および物体検出方法
Brotzer et al. Drone With Integrated Moving Baseline System and Time Domain Autofocus Algorithm for High Resolution SAR Images

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161130

R150 Certificate of patent or registration of utility model

Ref document number: 6054435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees