JP6448870B1 - レーダ画像処理装置およびレーダ画像処理方法 - Google Patents

レーダ画像処理装置およびレーダ画像処理方法 Download PDF

Info

Publication number
JP6448870B1
JP6448870B1 JP2018535188A JP2018535188A JP6448870B1 JP 6448870 B1 JP6448870 B1 JP 6448870B1 JP 2018535188 A JP2018535188 A JP 2018535188A JP 2018535188 A JP2018535188 A JP 2018535188A JP 6448870 B1 JP6448870 B1 JP 6448870B1
Authority
JP
Japan
Prior art keywords
unit
virtual image
image
radar
radar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018535188A
Other languages
English (en)
Other versions
JPWO2019176016A1 (ja
Inventor
昇 大石
昇 大石
山本 和彦
山本  和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6448870B1 publication Critical patent/JP6448870B1/ja
Publication of JPWO2019176016A1 publication Critical patent/JPWO2019176016A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9029SAR image post-processing techniques specially adapted for moving target detection within a single SAR image or within multiple SAR images taken at the same time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9004SAR image acquisition techniques
    • G01S13/9011SAR image acquisition techniques with frequency domain processing of the SAR signals in azimuth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9027Pattern recognition for feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本発明は、レーダ画像における虚像のみを抑圧できるレーダ画像処理装置を得ることを目的とする。
本発明のレーダ画像処理装置(1)は、レーダ画像を入力して、レーダ画像の焦点を変更するリフォーカス部(10)と、前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する虚像判定部(11)と、前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更する虚像抑圧部(12)とを備えたことを特徴とする。
本発明のレーダ画像処理装置(1)は、合成開口レーダ(SAR)に利用可能である。

Description

この発明は、レーダ画像中の虚像を抑圧するレーダ画像処理装置およびレーダ画像処理方法に関する。
合成開口レーダ(以下、SARと記載する)では、観測対象の領域で反射された電波の受信信号に基づいて、観測対象の領域に関するレーダ画像が得られる。電波は、例えば、航空機、人工衛星もしくは車両といった移動体から、観測対象の領域に照射される。レーダ画像には、レーダから観測対象の領域までの直線方向に沿ったレンジ軸と移動体の進行方向あるいはレンジ軸に直交する方向に沿ったアジマス軸との二軸がある。レーダ画像の画素は、観測対象の領域からの反射波を示す複素数を有している。
レーダ画像をアジマス軸の方向にフーリエ変換して周波数表現すると、ドップラー周波数の軸の要素が得られる。なお、観測対象からの反射波の受信信号に基づいてレーダ画像を得る信号処理は“画像再生”と呼ばれている。画像再生では、電波の照射範囲の一部を画像化の範囲として、この範囲が結像するように焦点を合わせて処理が行われる。この画像化の範囲が観測対象の領域である。
画像再生後のレーダ画像を信号処理することで、レーダ画像の焦点を変えることも可能である。モノスタティック観測の場合、一般的な画像化の範囲では、レーダに受信された電波のドップラー周波数がパルス繰り返し周波数(以下、PRFと記載する)以下であり、かつ、パルスが送信されて受信されるまでの時間が、反射波の受信信号のアナログデジタル変換に要する時間範囲(レンジゲート)内である。なお、PRFは、パルスが送信されてから受信されるまでの周期に基づいて決定される。
SARでは、電波を送受信するアンテナの指向性を利用してメインビームの範囲が画像化の範囲になるように設計される場合が多い。しかしながら、アンテナは、指向性があるものの、ほぼ全方位で電波を送受信しているため、画像化の範囲外に存在する物体からの反射波も受信してしまう。
画像化の範囲外に存在する物体からの反射波の信号は、この信号のドップラー周波数がPRFを超えてエイリアシングが生じて画像化の範囲内の信号と重なることがある。これは、アジマスアンビギュイティと呼ばれる。また、レーダからみて画像化の範囲から遠い物体もしくは画像化の範囲よりも近い物体からの信号は、受信時刻がレーダのパルス繰り返し周期の整数倍だけずれた信号と区別できず、画像化の範囲内の信号と重なることがある。これは、多次エコーもしくはレンジアンビギュイティと呼ばれる。画像化の範囲外に存在する物体からの反射波に起因した虚像は、画像化の範囲に焦点を合わせて画像再生しても結像せずにぼけた状態となり、画像化の範囲内で結像した真の像と重なってしまう。
例えば、特許文献1に記載された装置では、レーダ画像中の目標をアンビギュイティと仮定し、さらに目標の存在する位置を仮定して、仮定した位置に基づいてレーダ画像をアジマス圧縮する。アジマス圧縮した画像データにおける目標の振幅が閾値よりも高い場合、上記装置は、目標が仮定した位置に生じたアンビギュイティであると判定する。上記装置は、仮定する位置を変化させて上記処理を繰り返すことで、目標がアンビギュイティであるか否かを判定し、アンビギュイティと判定した目標の振幅値を0または目標周囲にある画素の振幅の平均値に置き換えて、アンビギュイティを抑圧している。
特開2008−261720号公報
特許文献1に記載された装置は、観測対象の領域に焦点が合ったレーダ画像に含まれる虚像(アンビギュイティ)を抑圧するので、ぼけて広がっている虚像が含まれる画素の値が0または周囲にある画素の値の平均値に置き換えられる。
一方、観測対象の領域内に存在する物体の像(以下、真の像と記載する)と上記虚像とが重なっており、かつ観測対象の領域に焦点が合ったレーダ画像において、虚像の信号はぼけて広がっているが、真の像の信号は、結像して狭い範囲に集中している。
このため、特許文献1に記載された装置では、虚像が含まれる画素の値を変更すると、虚像と重なった真の像の信号の多くが影響を受けて、真の像まで抑圧されるという課題があった。
この発明は上記課題を解決するものであり、レーダ画像における虚像のみを抑圧できるレーダ画像処理装置およびレーダ画像処理方法を得ることを目的とする。
この発明に係るレーダ画像処理装置は、リフォーカス部、虚像判定部および虚像抑圧部を備えて構成される。リフォーカス部は、レーダ画像を入力し、レーダ画像の焦点を変更する。虚像判定部は、リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する。虚像抑圧部は、リフォーカス部によって焦点が変更されたレーダ画像上で虚像判定部によって虚像が含まれると判定された画素の値を変更する。リフォーカス部は、レーダ画像を時間領域からドップラー周波数領域の信号に変換し、ドップラー周波数領域の信号の位相の補正量がドップラー周波数方向に比例する成分を持たないように、レーダ画像の焦点を変更する。
この発明によれば、レーダ画像処理装置が、レーダ画像の焦点を変更したレーダ画像上で虚像が含まれる画素の判定と虚像が含まれると判定した画素の値の変更とを行う。これにより、レーダ画像処理装置は、レーダ画像における虚像のみを抑圧することができる。
この発明の実施の形態1に係るレーダ画像処理装置の構成を示すブロック図である。 実施の形態1に係るレーダ画像処理方法を示すフローチャートである。 実施の形態1におけるレーダ画像の焦点変更の概要を示す図である。 実施の形態1に係るレーダ画像処理方法の詳細を示すフローチャートである。 実施の形態1における画素の振幅の規格化および折り返し数の推定処理を示すフローチャートである。 評価指標と折り返し数との関係を示す図である。 実施の形態1における虚像判定処理を示すフローチャートである。 この発明の実施の形態2に係るレーダ画像処理装置の構成を示すブロック図である。 実施の形態2に係るレーダ画像処理方法の詳細を示すフローチャートである。 図10Aは、実施の形態1または実施の形態2に係るレーダ画像処理装置の機能を実現するハードウェア構成を示すブロック図である。図10Bは、実施の形態1または実施の形態2に係るレーダ画像処理装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るレーダ画像処理装置1の構成を示すブロック図である。レーダ画像処理装置1は、第1の格納部2から入力したレーダ画像に含まれる虚像を抑圧し、虚像を抑圧したレーダ画像を第2の格納部3に格納する。なお、レーダ画像は、画像再生後の画像であり、この画像を信号処理して焦点を変えることが可能である。レーダ画像の本来の画像化の範囲は観測対象の領域であるが、焦点を変更することにより本来の画像化の範囲外で結像するレーダ画像が得られる。図1に示す例では、レーダ画像処理装置1が、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16を備えて構成される。
第1の格納部2は、レーダ画像を格納する。図示を省略したレーダが、観測対象の領域に向けて電波を照射し、観測対象の領域で反射された電波を受信する。上記レーダは、電波の受信信号に基づいて観測対象の領域のレーダ画像を生成する。
なお、観測対象の領域で反射された電波に対して観測対象の領域外にある物体で反射された電波が混入すると、レーダ画像には、観測対象の領域外にある物体からの反射波に起因した虚像が生じる。
第1の格納部2には、前述した虚像を生じたレーダ画像も格納されている。また、第1の格納部2には、リフォーカス部10によって焦点が変更されたレーダ画像、または虚像抑圧部12の処理対象である虚像のぼけが緩和されたレーダ画像が格納される。
第1の格納部2に格納されているレーダ画像の画素は、画素値が複素数になっている。
第2の格納部3には、レーダ画像処理装置1によって虚像が抑圧されて本来の画像化の範囲に焦点が合ったレーダ画像が格納される。以下、第2の格納部3に格納されるレーダ画像を、虚像抑圧後のレーダ画像と記載する。
リフォーカス部10は、第1の格納部2からレーダ画像を入力し、レーダ画像の焦点を変更する。例えば、リフォーカス部10は、本来の画像化の範囲に焦点が合ったレーダ画像の焦点を変更することによって、本来の画像化の範囲外に焦点を合わせたレーダ画像を生成する。本来の画像化の範囲に焦点が合ったレーダ画像では、この範囲が結像するが、虚像はぼけている。一方、本来の画像化の範囲外に焦点が合ったレーダ画像では、本来の画像化の範囲で結像していた像はぼける。
虚像判定部11は、リフォーカス部10によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する。虚像が含まれると判定された画素の位置情報およびレーダ画像は、虚像判定部11から虚像抑圧部12に出力される。画素の位置情報は、例えば、レーダ画像上の画素の位置座標である。虚像判定部11は、推定部15から入力した折り返し数の推定値に基づいてレーダ画像中の虚像の有無を判定する。詳細は後述する。また、虚像判定部11は、虚像が含まれる画素の判定回数を反復判定部16に出力する。
虚像抑圧部12は、リフォーカス部10によって焦点が変更されたレーダ画像上で、虚像判定部11によって虚像が含まれると判定された画素の値を変更する。例えば、虚像抑圧部12は、虚像が含まれる画素の値を0に置き換える。これにより、虚像が含まれる画素が抑圧される。ただし、虚像が含まれる画素を抑圧できれば、画素の値に1以下の実数を乗じてもよく、周囲の画素の値の平均値に置き換えてもよい。一方で、虚像が含まれると判定された画素がない場合には変更されない。
規格化部13は、第1の格納部2から入力したレーダ画像における画素の振幅を規格化する。例えば、規格化部13は、画素の振幅を一定値Aに置き換える。Aは0以外の実数である。
移動平均部14は、リフォーカス部10によって焦点が変更されたレーダ画像を入力して、入力したレーダ画像における画素の移動平均を施した画像を生成する。例えば、移動平均部14は、入力したレーダ画像に含まれる画素のそれぞれでアジマス方向に一定の距離(δ画素分)だけ離れた画素の位相同士を減算し、位相減算後の画素の複素数の値を移動平均したレーダ画像を生成する。
推定部15は、移動平均部14によって生成された上記画像に基づいて、虚像のぼけが緩和される折り返し数を推定する。なお、折り返し数には、アジマスアンビギュイティのエイリアシングの度合いを示す折り返し数と、レンジアンビギュイティの受信時刻のずれとなるレーダのパルス繰り返し周期の倍数とが含まれる。以下、受信時刻のレーダのパルス繰り返し周期の整数倍のずれをMとし、エイリアシングの度合いを示す折り返し数をNとする。
反復判定部16は、虚像抑圧部12による虚像抑圧処理の反復の終了を判定する。
例えば、反復判定部16は、虚像判定部11から入力した反復回数が上限値に達したか否かを判定し、この判定結果をリフォーカス部10に通知する。リフォーカス部10は、反復回数が上限値に達したという判定結果を受けると、虚像が抑圧され、本来の画像化の範囲に焦点を合わせたレーダ画像(虚像抑圧後のレーダ画像)を、第2の格納部3に格納する。
なお、レーダ画像処理装置1は、リフォーカス部10、虚像判定部11および虚像抑圧部12を備えていればよく、これら以外の構成要素は、レーダ画像処理装置1とは別の装置が備えてもよい。例えば、規格化部13、移動平均部14、推定部15および反復判定部16は、レーダ画像処理装置1との間で情報のやり取りが可能な別の装置が備える構成要素であってもよい。
次に動作について説明する。
図2は、実施の形態1に係るレーダ画像処理方法を示すフローチャートである。
リフォーカス部10が、第1の格納部2からレーダ画像を入力し、入力したレーダ画像の焦点を変更する(ステップST1)。ここで、リフォーカス部10は、本来の画像化の範囲に焦点が合ったレーダ画像の焦点を変更することによって、本来の画像化の範囲外に焦点を合わせたレーダ画像を生成する。
図3はレーダ画像の焦点変更の概要を示す図である。図3に示すレーダ画像20Aは、本来の画像化の範囲に焦点が合った画像である。像30aおよび像30bは、観測対象の物体の像、すなわち、真の像である。また、真の像30bは、虚像40と重なっている。レーダ画像20Aは、本来の画像化の範囲に焦点が合っているので、像30aと像30bは結像している。このため、像30aの信号と像30bの信号は、レーダ画像20A上の狭い領域に集中している。一方、レーダ画像20A上で虚像40はぼけており、虚像40の信号は、像30bを含む領域に広がっている。
リフォーカス部10は、本来の画像化の範囲に焦点が合ったレーダ画像20Aを、本来の画像化の範囲外に焦点が合ったレーダ画像20Bを変更する。虚像に焦点が合った場合は、虚像40が結像して、虚像40の信号は狭い範囲に集中する。一方、像30aおよび像30bはぼけており、像30aの信号および像30bの信号は、レーダ画像20B上で広がっている。
図2の説明に戻る。
虚像判定部11は、リフォーカス部10によって焦点が変更されたレーダ画像から虚像が含まれる画素を判定する(ステップST2)。
例えば、虚像判定部11は、図3に示したレーダ画像20B上で、狭い範囲に結像した虚像40が含まれる画素を判定し、虚像40が含まれると判定した画素の位置情報およびレーダ画像20Bを虚像抑圧部12に出力する。
次に、虚像抑圧部12は、リフォーカス部10によって焦点が変更されたレーダ画像上で、虚像判定部11によって虚像が含まれると判定された画素の値を変更する(ステップST3)。例えば、虚像抑圧部12は、虚像判定部11から入力した画素の位置情報に基づいて、レーダ画像20B上の虚像40が含まれる画素を特定し、特定した画素の値を変更する。
レーダ画像20Bでは、前述したように、虚像40の信号が狭い範囲に集まり、真の像である像30aおよび像30bは、ぼけて広がっている。このように狭い範囲に集中している虚像40が含まれる画素の値を変更しても、虚像40と重なっている像30bの信号の多くは影響を受けず、虚像40のみが抑圧される。
次に、実施の形態1に係るレーダ画像処理方法の詳細を説明する。
図4は、実施の形態1に係るレーダ画像処理方法の詳細を示すフローチャートである。図4において、ステップST1aからステップST2aまでの処理は、図2のステップST1の詳細な処理であり、ステップST3aからステップST4aまでの処理は、図2のステップST2の詳細な処理を示している。ステップST5aからステップST7aまでの処理は、図2のステップST3の詳細な処理を示している。
ステップST1aにおいて、規格化部13が、第1の格納部2から入力したレーダ画像における画素の振幅を規格化し、推定部15が、移動平均部14によって生成された画像に基づいて、虚像のぼけが緩和される折り返し数の推定値M,Nを求める。
図5は、実施の形態1における画素の振幅の規格化および折り返し数の推定処理を示すフローチャートであり、図4のステップST1aの詳細な処理を示している。
規格化部13は、レーダ画像上の全ての画素の振幅を一定値Aに規格化する(ステップST1b)。Aは0以外の実数である。規格化によって、レーダ画像上の画素の振幅分布が変わるが、画素の位相分布は変わらない。この処理によって、虚像のぼけが緩和されるようにレーダ画像の焦点を変更した後、虚像の結像度合いを評価するときにレーダ画像上の画素の振幅分布に影響されない正確な評価が可能となる。
リフォーカス部10は、規格化部13によって画素の振幅が規格化され、本来の画像化の範囲に焦点が合ったレーダ画像を、折り返し数の候補M,Nに対応した画像化の範囲に焦点が合った画像に変更する(ステップST2b)。折り返し数の候補M,Nは、推定部15によって求められ、虚像判定部11によってリフォーカス部10に設定される。
M=0かつN=0であるときは虚像の信号の折り返しはないため、M=0かつN=0に対応した画像化の範囲に焦点が合ったレーダ画像は、本来の画像化の範囲に焦点が合ったレーダ画像である。リフォーカス部10は、虚像判定部11によって設定された折り返し数の候補M,Nの値を変えて、M,Nに対応した画像化の範囲に焦点が合った画像を順次生成する。ここで、MとNの両方の値を変えてもよいが、例えば、Mの値を0に固定してNの値のみを変えてもよく、Nの値を0に固定してMの値のみを変えてもよい。
折り返し数の候補M,Nに対応した画像化の範囲に焦点が合ったレーダ画像では、図3に示したように、虚像のぼけが緩和されて、ぼけて広がっていた虚像の信号は狭い範囲に集中している。なお、リフォーカス部10は、虚像のぼけが緩和される焦点に変更すればよく、完全にぼけがなくなり理想的なレーダ画像の点像応答とする必要はない。
また、本来の画像化の範囲に焦点が合ったレーダ画像で結像していた像は、焦点が変更されたことで、ぼけて広がった状態となる。
リフォーカス部10は、規格化部13によって画素の振幅が規格化されたレーダ画像をアジマス方向にフーリエ変換して、レンジドップラー周波数領域の信号に変換する。
レーダが搭載された移動体が速さVで等速直線運動しているときに、本来の画像化の範囲内にある観測対象と上記レーダとの間の距離R(R,fη)は、下記の参考文献に記載されるように、下記式(1)から導くことができる。ただし、Rは、上記レーダと電波の反射体とが最も接近したときの距離である。λは電波の波長、fηは電波の信号のドップラー周波数である。
(R,fη)=R/{1−λη /(4V)}1/2 ・・・(1)(参考文献)I. G. Cumming、F. H. Wong,“Digital processing of synthetic aperture radar”,
Artech House,2005.
本来の画像化の範囲外にある物体と上記レーダとの距離R(R,fη,M,N)は、折り返し数の候補をM,Nとすると、下記式(2)から導くことができる。ただし、cは光速であり、fPRFは、上記レーダにおける電波のパルス繰り返し周波数(PRF)である。また、θは、下記式(3)から求められる値である。
(R,fη,M,N)={R+cM/(2fPRF)}cos(θ)/{1−λη /(4V)}1/2・・・(2)
θ=sin−1{λNfPRF/(2V)} ・・・(3)
本来の画像化の範囲に焦点が合ったレーダ画像は、R(R,fη)に応じた距離変化と位相変化とに基づいて補正される。また、本来の画像化の範囲外に焦点が合ったレーダ画像は、R(R,fη,N,M)−R(R,fη)に応じた距離変化と位相変化とに基づいて補正する必要がある。本来の画像化の範囲外に合った焦点は、折り返し数の候補M,Nを想定してR(R,fη,N,M)−R(R,fη)を算出し、算出した距離と位相を補正して求めることができる。
本来の画像化の範囲に焦点が合ったレーダ画像は、M=0かつN=0であることから、R(R,fη)=R(R,fη,0,0)となる。このため、リフォーカス部10による焦点の変更処理は、折り返し数の候補M’,N’に対応した画像化の範囲に焦点が合ったレーダ画像から、折り返し数の候補MおよびNに応じた画像化の範囲に焦点が合ったレーダ画像への焦点の変更処理と考えることができる。
リフォーカス部10による焦点の変更処理において、上記レーダと本来の画像化の範囲外にある物体との間の距離の補正量ΔR(R,fη,N,M,N’,M’)は、下記式(4)の関係を有する。
ΔR(R,fη,N,M,N’,M’)
=R(R,fη,N,M)−R(R,fη,N’,M’) ・・・(4)
上記距離の補正では、フーリエ変換されたレーダ画像の信号が、ドップラー周波数fηごとに、補正量ΔR(R,fη,N,M,N’,M’)に応じてシフトされる。
シフトの方法は、補間または内挿によるシフトでもよい。また、レーダ画像を、レンジ方向にフーリエ変換した後に、補正量ΔR(R,fη,N,M,N’,M’)に応じた線形の位相を乗じてから、レンジ方向に逆フーリエ変換してもよい。
焦点の変更処理において、位相の補正は下記の手順で行われる。
リフォーカス部10は、補正量ΔR(R,fη,N,M,N’,M’)を、Rごとにドップラー周波数fηの一次関数でフィッティングする。フィッティングした一次関数をf(R,fη,N,M,N’,M’)とした場合、位相の補正量φ(R,fη,N,M,N’,M’)は、下記式(5)から求めることができる。
φ(R,fη,N,M,N’,M’)
=(4π/λ){ΔR(R,fη,N,M,N’,M’)−f(R,fη,N,M,N’,M’)} ・・・(5)
位相の補正量φ(R,fη,N,M,N’,M’)がドップラー周波数fηに比例した位相f(R,fη,N,M,N’,M’)を含むと、位相が補正された後に逆フーリエ変換した画像は、移動体の移動方向(アジマス方向)にシフトする。このシフトが生じないように、位相の補正量φ(R,fη,N,M,N’,M’)から、線形の位相成分が除かれる。exp[−jφ(R,fη,N,M,N’,M’)]をレンジドップラー周波数領域の信号に乗じることで、当該信号の位相は補正される。このように、リフォーカス部10は、レーダ画像をアジマス方向にフーリエ変換して得られたドップラー周波数領域の信号についての位相の補正量φ(R,fη,N,M,N’,M’)がドップラー周波数方向に比例する上記位相成分を持たないように、レーダ画像の焦点を変更する。
リフォーカス部10が、距離と位相を補正した信号をレンジ方向に逆フーリエ変換することで、折り返し数の候補M,Nに対応した画像化の範囲で結像するレーダ画像を得る。なお、これまで説明した焦点の変更処理は一例であって、オートフォーカスで焦点を変更してもよい。焦点の変更処理において、位相の補正量φ(R,fη,N,M,N’,N’)の値が小さい場合、位相の補正処理を省略してもよい。距離R(R,fη)は、上記式(1)以外で算出してもよい。
焦点の変更処理において、本来の画像化の範囲に焦点が合ったレーダ画像は、折り返し数の候補M’≠0およびN’≠0でM=0およびN=0となる。本来の画像化の範囲外に焦点が合ったレーダ画像は、折り返し数の候補M’=0およびN’=0で、M≠0およびN≠0となる。
移動平均部14は、規格化部13によって画素の振幅が規格化されて、前述した手順でリフォーカス部10によって焦点が変更されたレーダ画像を入力し、入力したレーダ画像の画素の移動平均を施した画像を生成する(ステップST3b)。この移動平均により、焦点が変更されたレーダ画像から雑音が除かれる。
まず、移動平均部14は、移動平均を算出する前に、リフォーカス部10によって焦点が変更されたレーダ画像のそれぞれの画素の位相からアジマス方向にδ画素だけ離れた画素の位相を減算する。δは0以外の実数である。この処理は、レーダ画像上の画素の位相をアジマス方向に微分することに相当する。移動平均部14は、アジマス方向に微分された画素の移動平均を施したレーダ画像を生成する。
焦点が変更された後のレーダ画像には、虚像が生じる原因となった物体の位置に応じた位相の一次成分、すなわちアジマス方向に比例した成分が存在する。この一次成分を位相の微分によって除去し画素の移動平均を算出することにより、レーダ画像から雑音が除去される。この移動平均は、画素の振幅のみを移動平均した画像に比べて、複素平面上でばらついた信号の平均が0になりやすく、雑音の低減効果が高い。また、画素の移動平均を施すことで、レーダ画像に含まれる雑音の他に、信号同士の干渉、スペックルおよび信号処理の数値演算の誤差の影響が低減される。
次に、推定部15は、移動平均部14によって画素の移動平均が施されたレーダ画像に基づいて、虚像が結像する折り返し数を求めるための評価指標を算出する(ステップST4b)。ここで、推定部15は、リフォーカス部10によって折り返し数の候補M,Nに対応した画像化の範囲に合った焦点に変更され、移動平均部14によって移動平均が施されたレーダ画像を、折り返し数の候補M,Nごとに順次入力して、評価指標を求める。例えば、推定部15は、入力したレーダ画像から振幅の大きいL個の画素を抽出して、抽出した画素の振幅の平均値を評価指標とする。なお、評価指標は、L個の画素のうちの振幅の最大値であってもよく、レーダ画像における全画素の振幅の平均値であってもよい。
推定部15は、評価指標の値が最大となる折り返し数の候補M,Nを決定する。
図6は、評価指標と折り返し数との関係を示す図であり、折り返し数の候補M,Nの値を変えながら評価指標の算出を実施して得られた評価指標の分布を示している。評価指標の分布のイメージ図において、白い部分は評価指標の値が低く、黒い部分は評価指標の値が高いことを示している。
推定部15は、折り返し数の候補M,Nに対応した画像化の範囲に焦点が合った画像に基づいて評価指標を算出すると、全ての折り返し数の候補について、評価指標の算出処理を行ったか否かを確認する(ステップST5b)。全ての折り返し数の候補について評価指標の算出処理が行われていない場合(ステップST5b;NO)、ステップST2bの処理に戻り、前述の処理を繰り返す。このようにして図6に示した評価指標の分布が順次作成される。一方、全ての折り返し数の候補について評価指標の算出処理を行った場合(ステップST5b;YES)、推定部15は、上記評価指標の分布のうち、評価指標の値が最大となる折り返し数の候補M,Nを、折り返し数の推定値M,Nに決定する(ステップST6b)。
図4の説明に戻る。
ステップST2aにおいて、虚像判定部11は、推定部15から入力した折り返し数の推定値M,Nであるときの評価指標の値が閾値Tを超えているか否かを判定する。
閾値Tは、評価指標に関する閾値のパラメータとして虚像判定部11に事前に設定される。折り返し数の推定値M,Nであるときの評価指標の値が閾値T以下である場合(ステップST2a;NO)、対象のレーダ画像中に虚像がないため、図4の処理が終了される。このように評価指標が、別途パラメータとして定める閾値T以下の場合に、反復が停止され、処理が終了する。
画素の振幅の値がAに規格化された画像を、折り返し数の推定値M,Nに対応した画像化の範囲に合った焦点に変更されると、この焦点に変更された画像における画素の振幅は、少なくともAよりも大きな値となる。
また、焦点が変更された上記画像における画素のうち、振幅の大きいL個の画素を抽出し、抽出した画素の振幅の平均値を評価指標とする。この評価指標は、焦点が変更された上記画像に基づいて算出されるため、焦点が変更された上記画像上で結像した虚像がある場合、この画像から算出した評価指標は、Aよりも大きな値となる。一方、虚像が抑圧されるか、焦点が変更された上記画像に虚像がない場合、評価指標は、Aよりも小さい値となる。このように、実施の形態1に係るレーダ画像処理装置1では、評価指標に基づいて画像中の虚像の有無を判定することができる。
折り返し数の推定値M,Nであるときの評価指標の値が閾値Tを超えた場合(ステップST2a;YES)、虚像判定部11は、折り返し数の推定値M,Nを、虚像が結像する焦点または虚像のぼけが緩和される焦点に関する情報であると特定する。
虚像判定部11は、折り返し数の推定値M,Nをリフォーカス部10に出力する。リフォーカス部10は、第1の格納部2から入力したレーダ画像の焦点を、折り返し数の推定値M,Nに対応した画像化の範囲で結像する焦点に変更し、焦点変更後のレーダ画像を虚像判定部11に出力する。
虚像判定部11は、リフォーカス部10から入力したレーダ画像上で結像している虚像が含まれる画素を判定する(ステップST3a)。
例えば、虚像判定部11は、下記の4つの条件の全てを満たす画素が、虚像が含まれる画素であると判定する。なお、下記の4つの条件に基づく判定は、画素ごとに行われる。また、折り返し数の候補M,Nに対応した画像化の範囲で結像しているレーダ画像上の座標(x,y)に存在する画素をS(x,y,N,M)とする。
第1の条件は、座標(x,y)を固定して折り返し数の候補M,Nを変化させたときの画素の振幅の最大値が、折り返し数の推定値M,Nであったときの画素の振幅と一致するという条件である。すなわち、第1の条件は、画素S(x,y,N,M)が下記式(6)を満たす条件である。ただし、maxN,M[ ]は、M,Nの値を変化させたときの[ ]の中の最大値を抽出することを示している。
maxN,M[|S(x,y,N,M)|]=|S(x,y,N,M)|・・(6)
第2の条件は、折り返し数の推定値M,Nであるときに画素の振幅がピークになるという条件である。すなわち、第2の条件は、画素が、下記式(7)、下記式(8)、下記式(9)および下記式(10)の全てを満たす条件である。
max[|S(x,y,N,M)|−|S(x,y,N−1,M)|]
=|S(x,y,N,M)|−|S(x,y,N−1,M)| ・・・(7)
min[|S(x,y,N,M)|−|S(x,y,N+1,M)|]
=|S(x,y,N,M)|−|S(x,y,N+1,M)| ・・・(8)
max[|S(x,y,N,M)|−|S(x,y,N,M−1)|]
=|S(x,y,N,M)|−|S(x,y,N,M−1)| ・・・(9)
min[|S(x,y,N,M)|−|S(x,y,N,M+1)|]
=|S(x,y,N,M)|−|S(x,y,N,M+1)| ・・・(10)
第3の条件は、折り返し数の推定値M,Nであるときの画素の自己相関係数が閾値Tよりも低いという条件である。閾値Tは、自己相関係数に関する閾値のパラメータとして虚像判定部11に事前に設定される。自己相関係数C(x,y,N,M)は、下記式(11)から算出される。下記式(11)において、シフト量δおよびシフト量δは、虚像判定部11に事前に設定されるパラメータである。Wは自己相関係数を算出する領域であり、*は複素共役を示している。下記式(11)は、画素S(x,y,N,M)から自己相関係数の値を算出する式であるが、自己相関係数の値は、画素の振幅|S(x,y,N,M)|から算出してもよいし、移動平均部14によって移動平均が施された画素値から算出してもよい。
C(x,y,N,M
=|Σ(x,y)∈WS(x+δ,y+δ,N,M)S(x,y,N,M )|/{Σ(x,y)∈W|S(x,y,N,M)|Σ(x,y)∈W|S(x+δ,y+δ,N,M)|1/2 ・・・(11)
第4の条件は、画素の振幅が規格化され、折り返し数の候補M,Nに対応した画像化の範囲に合った焦点に変更され、画素の位相の移動平均が施された画像S’(x,y)上の画素の振幅が閾値Tよりも高いという条件である。閾値Tは、画像S’(x,y)上の画素の振幅に関する閾値のパラメータとして虚像判定部11に事前に設定される。
なお、画像S’(x,y)は、推定部15から虚像判定部11に出力される。
画像S’(x,y)は、規格化部13によって画素の振幅がAに規格化され、リフォーカス部10によって焦点が変更されて虚像の信号の電力が集中している。このため、画像S’(x,y)で結像した画素の振幅|S’(x,y)|は、少なくともAより大きい値となる。第4の条件は、下記式(12)が成り立つ条件である。
|S’(x,y)|/A≧T ・・・(12)
虚像判定部11は、第1から第4の条件の全てを満たすか否かを画素ごとに判定して、4つの条件を満たした画素を、結像した虚像が含まれる画素であると判定する。
また、虚像判定部11は、折り返し数の推定値M,Nに対応した画像化の範囲に焦点が合った画像に変更されたレーダ画像について、虚像の信号の電力もしくは画素の振幅が閾値よりも大きい画素を、結像した虚像が含まれる画素であると判定してもよい。
さらに、虚像判定部11は、折り返し数の推定値M,Nに対応した画像化の範囲に焦点が合った画像に変更されたレーダ画像に対して、一定誤警報確率(以下、CFARと記載する)処理を施してもよい。この場合、虚像判定部11は、レーダ画像に対してCFAR処理を施すことで、電力または振幅が、周囲の画素よりも大きくピークの頂点となる画素を検出し、検出した画素を、結像した虚像が含まれる画素であると判定する。
虚像判定部11は、レーダ画像上に虚像が含まれる画素があるか否かを判定する(ステップST4a)。虚像判定部11によって虚像が含まれる画素がないと判定された場合(ステップST4a;NO)、図4の処理が終了される。このように虚像を含む画素がない場合に、反復が停止され、処理が終了する。
一方、虚像が含まれる画素があると判定した場合(ステップST4a;YES)、虚像判定部11は、虚像が含まれる画素の位置情報を虚像抑圧部12に出力する。
虚像抑圧部12は、虚像が含まれる画素の位置情報に基づいて虚像を抑圧する(ステップST5a)。虚像を抑圧する対象のレーダ画像は、リフォーカス部10によって第1の格納部2から読み出され、折り返し数の推定値M,Nに対応した画像化の範囲に焦点が変更されたレーダ画像である。また、虚像抑圧部12は、虚像が含まれると判定された画素の値を0に置き換えて虚像を抑圧する。なお、虚像抑圧部12は、虚像が含まれると判定された画素の値に1以下の実数を乗じてもよく、虚像が含まれると判定された画素のそれぞれの値を、周囲の画素の値の平均値に置き換えてもよい。虚像抑圧部12によって虚像が抑圧された画像は、リフォーカス部10に出力される。
リフォーカス部10は、虚像抑圧部12によって虚像が抑圧されたレーダ画像の焦点を本来の画像化の範囲に合った焦点に変更する(ステップST6a)。
なお、虚像判定部11による判定処理の回数は、虚像抑圧部12による虚像の抑圧処理の反復回数に相当する。
反復判定部16は、虚像判定部11から判定回数を入力して、入力した判定回数である反復回数が上限値Tに達したか否かを判定する(ステップST7a)。
反復回数が上限値Tに達した場合(ステップST7a;YES)、図4の処理が終了される。このように処理の反復回数が、別途パラメータとして定める反復回数の上限値に到達した場合に、反復が停止され処理が終了する。このとき、反復判定部16は、反復回数が上限値Tに達したことをリフォーカス部10に通知する。リフォーカス部10は、反復判定部16から上記通知を受けると、虚像抑圧後のレーダ画像の焦点を本来の画像化の範囲に戻して、第2の格納部3に格納する。
反復回数が上限値Tに達していない場合(ステップST7a;NO)、反復判定部16は、反復回数が上限値Tに達していないことをリフォーカス部10に通知する。
リフォーカス部10は、反復判定部16から上記通知を受けると、虚像が抑圧されて、本来の画像化の範囲に焦点が合ったレーダ画像を第1の格納部2に格納する。
これにより、第1の格納部2に格納された上記画像に対して、ステップST1aからの一連の処理が繰り返される。
なお、反復判定部16が虚像の抑圧処理の反復回数を判定することを説明したが、反復判定部16が、虚像判定部11による判定処理の回数を判定してもよい。また、反復判定部16が、虚像抑圧後のレーダ画像を第1の格納部2または第2の格納部3に格納してもよい。例えば、反復回数が上限値Tに達していない場合、反復判定部16が、リフォーカス部10からレーダ画像を入力し、入力したレーダ画像を第1の格納部2に格納する。また、反復回数が上限値Tに達した場合、反復判定部16が、リフォーカス部10から虚像抑圧後のレーダ画像を入力し、入力したレーダ画像を第2の格納部3に格納する。
図7は、実施の形態1における虚像判定処理を示すフローチャートであり、図4のステップST3aの処理の詳細を示している。図7の処理が実行される前に、ステップST1aにおいて、推定部15が、折り返し数の候補M,Nごとに対応した画像化の範囲に焦点が合った画像から評価指標を算出して評価指標の分布を作成し、作成した評価指標の分布から折り返し数の推定値M,Nを算出している。また、ステップST2aにおいて、折り返し数の推定値M,Nであるときの評価指標の値が閾値Tを超えたという判定結果が得られている。
虚像判定部11は、折り返し数の推定値M,Nに対応した画像化の範囲に焦点が合ったレーダ画像において、虚像が含まれる画素を判定する(ステップST1c)。
例えば、虚像判定部11は、前述した第1から第4の条件の全てを満たすか否かを画素ごとに判定し、4つの条件を満たした画素を、結像した虚像が含まれる画素であると判定する。
次に、虚像判定部11は、虚像が含まれると判定した画素から、画素の雑音を除去する(ステップST2c)。画素の雑音には、反射波に含まれる雑音、または、画素値の数値計算で生じた誤差に起因する雑音がある。虚像判定部11は、虚像が含まれると判定した画素の分布に基づいて画素の雑音を特定し、特定した画素について虚像が含まれないものと判定を変更する。例えば、虚像判定部11は、虚像が含まれると判定した画素のうち、画像上で1画素だけ孤立して分布しており、虚像が含まれると判定された画素が隣接位置にない場合、この画素を雑音とみなす。孤立した画素を決定する処理には、モルフォロジーの膨張と収縮の操作を利用した処理またはメディアンフィルタを使用した処理があり、虚像判定部11は、孤立した画素が虚像に含まれないように判定を変更する。
以上のように、実施の形態1に係るレーダ画像処理装置1が、レーダ画像の焦点を変更したレーダ画像上で、虚像が含まれる画素の判定と、虚像が含まれると判定した画素の値の変更とを行う。これによって、レーダ画像処理装置1は、レーダ画像における虚像のみを抑圧することができる。特に、レーダ画像処理装置1は、本来の画像化の範囲に焦点が合ったレーダ画像上で、信号の電力が小さい虚像であっても検出が可能であり、検出した虚像のみを抑圧することができる。虚像の信号のみが処理対象となることから、レーダ画像に真の像(観測対象の物体の像)が含まれる必要がなく、虚像抑圧部12は、真の像がない画像に含まれる虚像を抑圧することができる。
実施の形態1に係るレーダ画像処理装置1において、リフォーカス部10が、レーダ画像を時間領域からドップラー周波数領域の信号に変換し、ドップラー周波数領域の信号の位相の補正量がドップラー周波数方向に比例する成分を持たないように、レーダ画像の焦点を変更する。これにより、リフォーカス部10は、折り返し数の候補M,Nに対応した画像化の範囲で結像するレーダ画像を得ることができる。
実施の形態1に係るレーダ画像処理装置1は、レーダ画像における画素の振幅を規格化する規格化部13を備える。規格化部13が画素の振幅を規格化するので、レーダ画像上の画素の振幅分布に影響されずに、焦点を変更したときの虚像の結像度合いを確認することができる。
実施の形態1に係るレーダ画像処理装置1は、レーダ画像に含まれる画素のそれぞれで一定の距離だけ離れた画素の値を減算し、位相を減算した画素の移動平均を施した画像を生成する移動平均部14を備える。移動平均部14が、画素を移動平均することで、レーダ画像に含まれる雑音を低減でき、信号同士の干渉、スペックルおよび信号処理の数値演算の誤差の影響を低減できる。
また、推定部15は、移動平均部14によって生成された画像に基づいて、虚像のぼけが緩和される折り返し数を推定する。リフォーカス部10は、推定部15によって推定された折り返し数を用いて焦点を変更する。虚像判定部11は、リフォーカス部10によって焦点が変更されたレーダ画像から虚像が含まれる画素を判定する。推定部15が虚像判定部11による判定の前に折り返し数を推定するので、虚像判定部11は、折り返し数が確定された状態で虚像が含まれる画素を確実に判定することができる。さらに、推定部15は、複数の折り返し数の候補に対応した画像化の範囲に焦点が合った画像に基づいて複数の評価指標を算出し、複数の評価指標から折り返し数の推定値を求める。虚像判定部11は、折り返し数の推定値に対応した画像化の範囲に焦点が合った画像から、虚像が含まれる画素を判定する。これにより、虚像抑圧部12は、虚像となる物体が広範囲に存在して複数の折り返し数の候補が得られる場合であっても、虚像を抑圧することができる。
実施の形態1に係るレーダ画像処理装置1において、リフォーカス部10が、レーダ画像を複数の焦点に変更する。虚像判定部11が、複数の焦点のそれぞれに変更されたレーダ画像における画素の値の変化に基づいて、虚像が含まれる画素を判定する。
例えば、リフォーカス部10が、複数の折り返し数の候補M,Nごとに対応した画像化の範囲に焦点が合った画像を生成する。虚像判定部11が、これらの画像における画素の値の変化を評価指標として、虚像を結像させた画像から虚像が含まれる画素を判定する。これにより、虚像判定部11が、虚像が含まれる画素を的確に判定することができる。
実施の形態1に係るレーダ画像処理装置1において、リフォーカス部10が、レーダ画像を複数の焦点に変更する。虚像判定部11が、複数の焦点のそれぞれに変更されたレーダ画像における画素の値の変化に基づいて虚像のぼけが緩和される焦点に関する情報を特定し、特定した焦点に関する情報に基づいて虚像のぼけが緩和されたレーダ画像から虚像が含まれる画素を判定する。
例えば、リフォーカス部10が、複数の折り返し数の候補M,Nごとに対応した画像化の範囲に焦点が合った画像を生成する。虚像判定部11が、これらの画像に基づいて決定された折り返し数の推定値M,Nを、虚像のぼけが緩和される焦点に関する情報として特定する。虚像判定部11は、特定した焦点に関する情報に基づいて虚像のぼけが緩和されたレーダ画像から虚像が含まれる画素を判定する。これにより、虚像判定部11は、虚像が含まれる画素を的確に判定することができる。
実施の形態1に係るレーダ画像処理装置1において、虚像判定部11が、リフォーカス部10によって焦点が変更されたレーダ画像のうち、レーダ画像の自己相関に基づいて虚像が含まれるレーダ画像を判定する。これにより、虚像判定部11は、虚像が含まれる画素を的確に判定することができる。
実施の形態1に係るレーダ画像処理装置1は、リフォーカス処理、虚像判定処理および虚像抑圧処理の反復の終了を判定する反復判定部16を備える。これにより、虚像抑圧部12は、反復回数の上限値Tに達するまで虚像を抑圧することができる。
実施の形態1に係るレーダ画像処理装置1において、虚像判定部11が、虚像が含まれると判定した画素の分布に基づいて画素の雑音を特定し、特定した画素については虚像が含まれないものと判定を変更する。これにより、虚像が含まれると判定された画素から、雑音を除去することができる。
実施の形態2.
実施の形態2に係るレーダ画像処理装置は、処理結果の確認と修正が可能である。
図8は、この発明の実施の形態2に係るレーダ画像処理装置1Aの構成を示すブロック図である。図8において、図1に記載したものと同一の構成要素には同一の符号を付して説明を省略する。レーダ画像処理装置1Aは、第1の格納部2に格納されたレーダ画像における虚像を抑圧する処理を行い、虚像が抑圧されたレーダ画像を第2の格納部3に格納する。図8に示す例では、レーダ画像処理装置1Aは、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15、反復判定部16、画像表示処理部17、第1の修正部18および第2の修正部19を備える。
画像表示処理部17は、移動平均部14によって生成された画像を、図示を省略した表示装置に表示させる。レーダ画像処理装置1Aの使用者は、この表示装置に表示された画像を視認することができる。
第1の修正部18は、虚像判定部11によって特定された焦点に関する情報の修正操作を受け付け、受け付けた修正操作に基づいて虚像のぼけが緩和される焦点に関する情報を修正する。虚像判定部11は、第1の修正部18によって修正された焦点に関する情報に基づいて虚像のぼけが緩和されたレーダ画像から虚像が含まれる画素を判定する。
第2の修正部19は、虚像が含まれる画素の判定結果に対する修正操作を受け付けて、受け付けた修正操作に基づいて、虚像が含まれる画素の判定結果を修正する。虚像抑圧部12は、第2の修正部19によって修正された判定結果で虚像が含まれると判定された画素の値を変更して虚像を抑圧する。
次に動作について説明する。
図9は、実施の形態2に係るレーダ画像処理方法の詳細を示すフローチャートである。図9のステップST1dは、図4のステップST1aと同じ処理であり、図9のステップST3dおよびステップST4dは、図4のステップST2aおよびステップST3aと同じ処理である。図9のステップST6dからステップST9dまでは、図4のステップST4aからステップST7aまでと同じ処理である。これらの処理の説明は省略する。
ステップST2dにおいて、第1の修正部18は、推定部15から入力した折り返し数の推定値M,Nを修正する。例えば、第1の修正部18は、画像表示処理部17に指示して、折り返し数の推定値M,N、折り返し数の推定値M,Nであるときの評価指標、および折り返し数の推定値M,Nに対応する焦点に合ったレーダ画像を、上記表示装置に表示させる。そして、第1の修正部18は、上記表示装置に表示させた情報について、図示を省略した入力装置を用いた修正操作を受け付けて、受け付けた修正操作に基づいて上記表示装置に表示させた情報を修正する。このように修正された推定値M,Nは、第1の修正部18から虚像判定部11に出力される。
ステップST5dにおいて、第2の修正部19は、虚像判定部11による虚像が含まれる画素の判定結果を修正する。例えば、第2の修正部19は、画像表示処理部17に指示して、折り返し数の推定値M,Nおよび虚像が含まれると判定された画素の位置情報を上記表示装置に表示させる。そして、第2の修正部19は、上記表示装置に表示させた情報について、図示を省略した入力装置を用いた修正操作を受け付けて、受け付けた修正操作に基づいて上記表示装置に表示させた情報を修正する。このように修正された判定結果は、第2の修正部19から虚像抑圧部12に出力される。虚像抑圧部12は、第2の修正部19によって修正された判定結果で虚像が含まれると判定された画素の値を変更して虚像を抑圧する。
以上のように、実施の形態2に係るレーダ画像処理装置1Aにおいて、虚像判定部11が、第1の修正部18によって修正された焦点に関する情報に基づいて虚像のぼけが緩和されたレーダ画像から虚像が含まれる画素を判定する。これにより、レーダ画像処理装置1Aが、虚像のぼけが緩和される焦点に関する情報を誤って生成しても、第1の修正部18が、誤った情報を正しく修正することができる。
実施の形態2に係るレーダ画像処理装置1Aにおいて、虚像抑圧部12が、第2の修正部19によって修正された判定結果で虚像が含まれると判定された画素の値を変更して虚像を抑圧する。これにより、レーダ画像処理装置1Aが、虚像が含まれる画素を誤判定しても、第2の修正部19が、誤った判定結果を正しく修正することができる。
実施の形態3.
レーダ画像処理装置1における、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16のそれぞれの機能は、処理回路により実現される。すなわち、レーダ画像処理装置1は、図4に示したステップST1aからステップST7aまでの処理を実行するための処理回路を備える。同様に、レーダ画像処理装置1Aにおける、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15、反復判定部16、画像表示処理部17、第1の修正部18および第2の修正部19のそれぞれの機能は、処理回路により実現される。これらの処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
図10Aは、レーダ画像処理装置1またはレーダ画像処理装置1Aの機能を実現するハードウェア構成を示すブロック図である。図10Bは、レーダ画像処理装置1またはレーダ画像処理装置1Aの機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図10Aおよび図10Bに示す記憶装置100は、第1の格納部2および第2の格納部3として機能する。なお、記憶装置100は、レーダ画像処理装置1またはレーダ画像処理装置1Aが備える構成要素であってもよいが、レーダ画像処理装置とは独立した装置が備えてもよい。例えば、記憶装置100は、レーダ画像処理装置1またはレーダ画像処理装置1Aから通信アクセスが可能な通信ネットワーク上の装置であってもよい。
表示装置101は、画像表示処理部17の制御に従って、画像表示処理部17から入力した画像情報を表示する。入力装置102は、使用者からの操作入力を受け付ける装置であり、タッチパネル、ハードウェアキーおよびマウスなどにより実現される。第1の修正部18は、入力装置102を用いた修正操作に基づいて、虚像のぼけが緩和される焦点に関する情報を修正する。また、第2の修正部19は、入力装置102を用いた修正操作に基づいて、虚像が含まれる画素の判定結果を修正する。
上記処理回路が図10Aに示す専用のハードウェアの処理回路103である場合、処理回路103は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable
Gate Array)またはこれらを組み合わせたものが該当する。
レーダ画像処理装置1における、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。レーダ画像処理装置1Aにおける、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15、反復判定部16、画像表示処理部17、第1の修正部18および第2の修正部19のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。
上記処理回路が図10Bに示すプロセッサ104である場合、レーダ画像処理装置1における、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16のそれぞれの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。
また、レーダ画像処理装置1Aにおける、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15、反復判定部16、画像表示処理部17、第1の修正部18および第2の修正部19のそれぞれの機能についても、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ105に記憶される。
プロセッサ104は、メモリ105に記憶されたプログラムを読み出して実行することにより、レーダ画像処理装置1における、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16のそれぞれの機能を実現する。すなわち、レーダ画像処理装置1は、プロセッサ104によって実行されるときに、図4に示したステップST1aからステップST7aまでの処理が結果的に実行されるプログラムを記憶するためのメモリ105を備える。
これらのプログラムは、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16の手順または方法をコンピュータに実行させる。メモリ105は、コンピュータを、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。これは、レーダ画像処理装置1Aにおいても同様である。
メモリ105には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically−EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15および反復判定部16のそれぞれの機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、リフォーカス部10、虚像判定部11および虚像抑圧部12は、専用のハードウェアとしての処理回路で機能を実現する。規格化部13、移動平均部14、推定部15および反復判定部16については、プロセッサ104がメモリ105に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
これは、レーダ画像処理装置1Aにおける、リフォーカス部10、虚像判定部11、虚像抑圧部12、規格化部13、移動平均部14、推定部15、反復判定部16、画像表示処理部17、第1の修正部18および第2の修正部19においても同様である。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能のそれぞれを実現することができる。
なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
この発明に係るレーダ画像処理装置は、レーダ画像における虚像のみを抑圧することができるので、SARに利用可能である。
1,1A レーダ画像処理装置、2 第1の格納部、3 第2の格納部、10 リフォーカス部、11 虚像判定部、12 虚像抑圧部、13 規格化部、14 移動平均部、15 推定部、16 反復判定部、17 画像表示処理部、18 第1の修正部、19 第2の修正部、20A,20B レーダ画像、30a,30b 像、40 虚像、100
記憶装置、101 表示装置、102 入力装置、103 処理回路、104 プロセッサ、105 メモリ。

Claims (10)

  1. レーダ画像を入力して、レーダ画像の焦点を変更するリフォーカス部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する虚像判定部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更する虚像抑圧部とを備え、
    前記リフォーカス部は、レーダ画像を時間領域からドップラー周波数領域の信号に変換し、ドップラー周波数領域の信号の位相の補正量がドップラー周波数方向に比例する成分を持たないように、レーダ画像の焦点を変更すること
    を特徴とするレーダ画像処理装置。
  2. レーダ画像を入力して、レーダ画像の焦点を変更するリフォーカス部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する虚像判定部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更する虚像抑圧部とを備え、
    レーダ画像における画素の振幅を規格化する規格化部を備え
    前記虚像判定部は、前記規格化部によって画素の振幅が規格化され、且つ、前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定すること
    を特徴とするレーダ画像処理装置。
  3. 前記リフォーカス部は、レーダ画像を複数の焦点に変更し、
    前記虚像判定部は、複数の焦点のそれぞれに変更されたレーダ画像における画素の値の変化に基づいて、虚像が含まれる画素を判定すること
    を特徴とする請求項1記載のレーダ画像処理装置。
  4. レーダ画像を入力して、レーダ画像の焦点を変更するリフォーカス部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する虚像判定部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更する虚像抑圧部とを備え、
    前記リフォーカス部は、複数の焦点のレーダ画像に変更し、
    前記虚像判定部は、複数の焦点のそれぞれに変更されたレーダ画像における画素の値の変化に基づいて虚像のぼけが緩和される焦点に関する情報を特定し、特定した焦点に関する情報に基づいて虚像が含まれる画素を判定すること
    を特徴とするレーダ画像処理装置。
  5. 前記虚像判定部は、前記リフォーカス部によって焦点が変更されたレーダ画像のうち、レーダ画像の自己相関に基づいて虚像が含まれるレーダ画像を判定すること
    を特徴とする請求項4記載のレーダ画像処理装置。
  6. リフォーカス処理、虚像判定処理および虚像抑圧処理の反復の終了を判定する反復判定部を備えたこと
    を特徴とする請求項4記載のレーダ画像処理装置。
  7. 前記虚像判定部によって特定された焦点に関する情報の修正操作を受け付け、受け付けた修正操作に基づいて虚像のぼけが緩和される焦点に関する情報を修正する第1の修正部を備え、
    前記虚像判定部は、前記第1の修正部によって修正された焦点に関する情報に基づいて虚像のぼけが緩和されたレーダ画像から虚像が含まれる画素を判定すること
    を特徴とする請求項4記載のレーダ画像処理装置。
  8. レーダ画像を入力して、レーダ画像の焦点を変更するリフォーカス部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する虚像判定部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更する虚像抑圧部とを備え、
    前記虚像判定部による虚像が含まれる画素の判定結果の修正操作を受け付け、受け付けた修正操作に基づいて、虚像が含まれる画素の判定結果を修正する第2の修正部を備え、
    前記虚像抑圧部は、前記第2の修正部によって修正された判定結果で虚像が含まれると判定された画素の値を変更して虚像を抑圧すること
    を特徴とするレーダ画像処理装置。
  9. レーダ画像を入力して、レーダ画像の焦点を変更するリフォーカス部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定する虚像判定部と、
    前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更する虚像抑圧部とを備え、
    前記虚像判定部は、虚像が含まれると判定した画素の分布に基づいて画素の雑音を特定し、特定した画素については虚像が含まれるものと判定を変更すること
    を特徴とするレーダ画像処理装置。
  10. リフォーカス部が、レーダ画像を入力して、レーダ画像の焦点を変更するステップと、
    虚像判定部が、前記リフォーカス部によって焦点が変更されたレーダ画像から、虚像が含まれる画素を判定するステップと、
    虚像抑圧部が、前記リフォーカス部によって焦点が変更されたレーダ画像上で前記虚像判定部によって虚像が含まれると判定された画素の値を変更するステップと、
    前記リフォーカス部が、レーダ画像を時間領域からドップラー周波数領域の信号に変換し、ドップラー周波数領域の信号の位相の補正量がドップラー周波数方向に比例する成分を持たないように、レーダ画像の焦点を変更するステップと、
    を備えたことを特徴とするレーダ画像処理方法。
JP2018535188A 2018-03-14 2018-03-14 レーダ画像処理装置およびレーダ画像処理方法 Active JP6448870B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010002 WO2019176016A1 (ja) 2018-03-14 2018-03-14 レーダ画像処理装置およびレーダ画像処理方法

Publications (2)

Publication Number Publication Date
JP6448870B1 true JP6448870B1 (ja) 2019-01-09
JPWO2019176016A1 JPWO2019176016A1 (ja) 2020-04-16

Family

ID=64960236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018535188A Active JP6448870B1 (ja) 2018-03-14 2018-03-14 レーダ画像処理装置およびレーダ画像処理方法

Country Status (5)

Country Link
US (1) US11531098B2 (ja)
EP (1) EP3751309A4 (ja)
JP (1) JP6448870B1 (ja)
CA (1) CA3092123C (ja)
WO (1) WO2019176016A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11808886B2 (en) * 2018-04-06 2023-11-07 Teknologian Tutkimuskeskus Vtt Oy Monitoring living facilities by multichannel radar
JP7143550B2 (ja) * 2020-05-21 2022-09-28 三菱電機株式会社 レーダ画像処理装置、レーダ画像処理方法及びレーダ画像処理プログラム
JP7155211B2 (ja) * 2020-09-18 2022-10-18 株式会社東芝 逆合成開口レーダ装置および信号処理方法
WO2022191795A1 (en) * 2021-03-11 2022-09-15 Qubi̇tri̇um Teknoloji̇ Ltd. Şti̇. Ghost imaging-based quantum radar and lidar
WO2023089713A1 (ja) * 2021-11-18 2023-05-25 三菱電機株式会社 レーダ信号処理装置、レーダ信号処理方法及び目標観測システム
GB2624030A (en) * 2022-11-04 2024-05-08 Iceye Oy Ambiguity detection and suppression in SAR images
CN115542323B (zh) * 2022-12-01 2023-03-03 中国人民解放军国防科技大学 Sar运动目标图像快速重聚焦方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268041A (ja) * 1997-03-27 1998-10-09 Mitsubishi Electric Corp 補償回路、補償方法およびレーダ装置
JP2005326187A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp レーダ画像処理装置
US20110298654A1 (en) * 2008-11-11 2011-12-08 Saab Ab Sar radar system
JP2014095585A (ja) * 2012-11-08 2014-05-22 Mitsubishi Electric Corp 画像レーダ処理装置及び画像レーダ処理方法
JP2017104476A (ja) * 2015-03-09 2017-06-15 炭 親良 ビームフォーミング方法、計測イメージング装置、及び、通信装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008261720A (ja) 2007-04-12 2008-10-30 Mitsubishi Electric Corp アンビギュイティ処理装置
US9131128B2 (en) 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
JP2011145069A (ja) * 2010-01-12 2011-07-28 Furuno Electric Co Ltd 偽像低減装置、レーダ装置、偽像低減方法、および偽像低減プログラム
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
FR2992068B1 (fr) * 2012-06-13 2014-06-20 Thales Sa Procede de filtrage des echos ambigus d images sar
US10624612B2 (en) 2014-06-05 2020-04-21 Chikayoshi Sumi Beamforming method, measurement and imaging instruments, and communication instruments
US11125866B2 (en) 2015-06-04 2021-09-21 Chikayoshi Sumi Measurement and imaging instruments and beamforming method
JP7088288B2 (ja) * 2017-12-28 2022-06-21 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268041A (ja) * 1997-03-27 1998-10-09 Mitsubishi Electric Corp 補償回路、補償方法およびレーダ装置
JP2005326187A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp レーダ画像処理装置
US20110298654A1 (en) * 2008-11-11 2011-12-08 Saab Ab Sar radar system
JP2014095585A (ja) * 2012-11-08 2014-05-22 Mitsubishi Electric Corp 画像レーダ処理装置及び画像レーダ処理方法
JP2017104476A (ja) * 2015-03-09 2017-06-15 炭 親良 ビームフォーミング方法、計測イメージング装置、及び、通信装置

Also Published As

Publication number Publication date
CA3092123C (en) 2021-12-07
US11531098B2 (en) 2022-12-20
US20200400813A1 (en) 2020-12-24
CA3092123A1 (en) 2019-09-19
EP3751309A4 (en) 2021-03-03
JPWO2019176016A1 (ja) 2020-04-16
EP3751309A1 (en) 2020-12-16
WO2019176016A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6448870B1 (ja) レーダ画像処理装置およびレーダ画像処理方法
Benjamin et al. Range-Dopplar Radar Imaging and Motion Compensation
US6088295A (en) Feature imaging and adaptive focusing for synthetic aperture processor
Zhang et al. Translational motion compensation for ISAR imaging under low SNR by minimum entropy
US7551119B1 (en) Flight path-driven mitigation of wavefront curvature effects in SAR images
JP6415288B2 (ja) レーダ装置
EP1990653B1 (en) Signal processing method
WO2014158678A1 (en) Methods and apparatus for adaptive motion compensation to remove translational movement between a sensor and a target
CN110806577B (zh) 合成孔径雷达的聚焦成像方法及装置、设备、存储介质
JP6440912B2 (ja) レーダ装置
Önhon et al. SAR moving target imaging in a sparsity-driven framework
US20060066475A1 (en) Method for reducing angular blur in radar pictures
JP6822492B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP6529689B2 (ja) 観測装置および観測方法
CN109725313B (zh) 一种sar海浪成像方法、系统、电子设备和介质
Abe et al. Accurate and omnidirectional UWB radar imaging algorithm with RPM method extended to curvilinear scanning model
Garren SAR focus theory of complicated range migration signatures due to moving targets
KR102451961B1 (ko) 표적 식별 향상을 위한 부엽 감소 방법 및 장치
KR102169874B1 (ko) 방위각 고분해능 신호처리 알고리즘을 이용하는 차량용 레이더 및 그 운영 방법
CN111880154A (zh) 基于对称波数谱对消的复图像域运动目标检测方法
Xuejiao et al. An improved azimuth ambiguity suppression method for SAR based on ambiguity area imaging and detection
CN111007512A (zh) 车载雷达成像方法及装置、电子设备
Borden Regularization of noisy ISAR images containing extended features
McBride Additional Tools for Locating and Quantifying a Range's Stray Signals
Callow et al. A wavefront sensing method for synthetic aperture sonar autofocus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180705

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180705

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181204

R150 Certificate of patent or registration of utility model

Ref document number: 6448870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250