JP5371237B2 - レーダ画像処理装置 - Google Patents

レーダ画像処理装置 Download PDF

Info

Publication number
JP5371237B2
JP5371237B2 JP2007325836A JP2007325836A JP5371237B2 JP 5371237 B2 JP5371237 B2 JP 5371237B2 JP 2007325836 A JP2007325836 A JP 2007325836A JP 2007325836 A JP2007325836 A JP 2007325836A JP 5371237 B2 JP5371237 B2 JP 5371237B2
Authority
JP
Japan
Prior art keywords
radar
secondary parameter
radar image
observation
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007325836A
Other languages
English (en)
Other versions
JP2009145297A (ja
Inventor
昇 大石
正芳 土田
啓 諏訪
俊夫 若山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007325836A priority Critical patent/JP5371237B2/ja
Publication of JP2009145297A publication Critical patent/JP2009145297A/ja
Application granted granted Critical
Publication of JP5371237B2 publication Critical patent/JP5371237B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Description

この発明は、航空機や衛星等に搭載されたレーダによる観測によって得られたレーダ画像を用いて、例えば地表面や地表上の人工物等といった観測対象の類別または識別を行うレーダ画像処理装置に関する。
従来のレーダ画像処理装置は、合成開口レーダを用いてある1方向から観測対象を観測することによって得られたレーダ画像に対して、レーダ画像の各画素値と教師データとを比較し、観測対象の類別または識別(以下、「類識別」と略称する)を実行している(例えば、非特許文献1参照)。
このレーダ画像処理装置では、まず、観測によって得られたレーダ画像に対して主成分分析が行われ、レーダ画像の特徴量が抽出される。
続いて、抽出されたレーダ画像の特徴量と、前もって複数のサンプル画像から特徴量を抽出した結果得られた教師データとの間の類似性が比較される。ここで、教師データは、識別対象のレーダ画像が得られた観測方向と同じ方向から得られたサンプル画像に基づいて生成される。
また、類似性の比較は、レーダ画像および各教師データの特徴量が多次元のベクトル空間に投影され、レーダ画像の特徴量ベクトルと各教師データの特徴量ベクトルとの距離が比較されることによって行われる。
次に、レーダ画像の特徴量と最も類似した教師データとして、レーダ画像の特徴量ベクトルとの距離差が最も小さい教師データが出力される。
A.K.Mishra,B.Mulgrew,"Bistatic SAR−ATR:A Case Study",3rd EMRS DTC Technical Conference‐Edinburgh 2006,session A6
上記非特許文献1に記載のレーダ画像処理装置では、1方向のみから観測対象を観測することによって得られたレーダ画像を用いて、観測対象の類識別を実行している。
しかしながら、例えば観測対象の2つの箇所において、実際には互いに異なっているものの、ある1方向から見た場合に類似した散乱特性を示す箇所については、得られたレーダ画像から両者の違いを判断することができない。
そのため、観測対象の類識別を実行することができない場合や、類識別の結果が誤っている場合等が発生し、観測対象の類識別を高精度に行うことができないという問題点があった。
この発明は、上記のような課題を解決するためになされたものであって、その目的は、観測対象の類識別を高精度に行うことができるレーダ画像処理装置を提供することにある。
この発明に係るレーダ画像処理装置は、観測対象に対して送信され、観測対象で散乱された電磁波に基づいて作成されたレーダ画像のための処理装置であって、1つの方向から電磁波を送信し、同一の観測対象で散乱された電磁波を互いに異なる複数の方向から受信して作成された複数のレーダ画像が格納されるレーダ画像格納手段と、レーダ画像格納手段に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像を用いて、観測対象の類別または識別を行う類識別手段とを備えたものである。

この発明のレーダ画像処理装置によれば、レーダ画像格納手段には、互いに異なる複数の方向から同一の観測対象をそれぞれ観測して作成された複数のレーダ画像が格納されている。また、類識別手段は、レーダ画像格納手段に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像を用いて、観測対象の類別または識別を行う。
そのため、観測対象の類識別を高精度に行うことができる。
以下、この発明の各実施の形態について図に基づいて説明するが、各図において同一、または相当する部材、部位については、同一符号を付して説明する。
実施の形態1.
図1は、観測対象1を観測してレーダ画像を作成するレーダ装置を示す概略構成図である。ここでは、2方向から観測対象1を観測する場合について説明する。
図1において、レーダ装置は、観測対象1に対して電磁波を送信するとともに、観測対象1で散乱された電磁波を受信する送受信機2と、送受信機2から送信され、観測対象1で散乱された電磁波を受信する受信機3とを備えている。また、観測対象1は、例えば水面、森および建物であるとする。
送受信機2および受信機3は、ともに合成開口レーダを搭載した航空機であり、受信した電磁波の強度に基づいてレーダ画像を作成している。
なお、ここでは合成開口レーダが航空機に搭載されているとしたが、これに限定されず、衛星等の移動プラットフォームに搭載されればよい。
図2は、この発明の実施の形態1に係るレーダ画像処理装置を示すブロック構成図である。
図2において、このレーダ画像処理装置は、レーダ画像格納部4(レーダ画像格納手段)と、類識別部5(類識別手段)と、出力格納部6とを備えている。
レーダ画像格納部4は、例えば図1に示した送受信機2や受信機3等のレーダと接続され、作成されたレーダ画像を受信して格納する。
また、レーダ画像格納部4は、互いに異なるN方向(Nは2以上の自然数)から同一の観測対象1をそれぞれ観測して作成された複数のレーダ画像を格納している。具体的には、レーダ画像格納部4は、第1方向からの観測により作成されたレーダ画像群41(以下、「第1方向のレーダ画像群41」と略称する)および第2方向のレーダ画像群42から、第N方向のレーダ画像群4Nまでを含んでいる。
互いに異なるN方向から同一の観測対象1をそれぞれ観測して作成された複数のレーダ画像としては、例えば以下のような画像が挙げられる。
まず、1つ目の画像は、例えば1つの合成開口レーダや実開口レーダを用いて、同一の観測対象1を複数回にわたってそれぞれ異なる方向から観測して作成されたレーダ画像である。また、2つ目の画像は、マルチスタティック観測のように、それぞれ異なる方向から同一の観測対象1を同時に観測して作成されたレーダ画像である。
続いて、3つ目の画像は、逆合成開口レーダを用いて、同一の観測対象1をそれぞれ異なる方向から観測して作成されたレーダ画像である。また、4つ目の画像は、合成開口レーダによる1回の観測によって得られたデータを、同一の観測対象1をそれぞれ異なる方向から観測したデータとして2分割し、前半のデータと後半のデータとから、開口分割技術を用いて作成されたレーダ画像である。
類識別部5は、レーダ画像格納部4に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像を用いて、観測対象1の類識別を行うとともに、類識別の結果を出力する。
出力格納部6は、類識別部5から出力された類識別の結果を格納する。
以下、図1および図2を参照しながら、上記構成のレーダ画像処理装置の動作について説明する。
まず、レーダ装置で作成されたレーダ画像が、観測方向ごとにレーダ画像格納部4に格納される。
続いて、類識別部5において、レーダ画像格納部4に格納されたレーダ画像から、互いに観測方向の異なる少なくとも2つのレーダ画像が選択され、観測対象1の類識別が行われるとともに、類識別の結果が出力格納部6に出力される。
具体的には、まず、例えば第1方向のレーダ画像および第2方向のレーダ画像における観測対象1の同一部分を示すある画素について、第1方向から見た画素値の振幅をpとし、第2方向から見た画素値の振幅をqとする。
続いて、図3に示すように、第1方向振幅および第2方向振幅を軸とする座標に振幅pおよび振幅qを投影し、画素を4つの領域の何れかに分類して、観測対象1の類識別を行う。
図3において、4つの領域は、閾値δ1およびδ2によって区分されている。ここで、各領域は、例えば領域1が森、領域2が建物というように、あらかじめ設定されている。
なお、閾値δ1およびδ2によって領域を区分する代わりに、サポートベクターマシンやニューラルネットワーク等の区分用アルゴリズムを用いて領域を区分してもよい。
また、閾値δ1およびδ2は、実験等によって得られたサンプルに基づいて統計的に決定されてもよいし、理論解析等に基づいて決定されてもよい。
次に、上記の方法により画素単位で類識別が行われた結果に基づいて、例えば領域1から領域4に対応した画素値を有する画像が作成され、この画像が出力格納部6に出力される。
なお、互いに観測方向の異なる3つ以上のレーダ画像を用いて多次元の座標に画素値の振幅を投影することにより、観測対象1の類識別を実行してもよい。
この発明の実施の形態1に係るレーダ画像処理装置によれば、レーダ画像格納部4には、互いに異なるN方向から同一の観測対象1をそれぞれ観測して作成された複数のレーダ画像が格納されている。また、類識別部5は、レーダ画像格納部4に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像を用いて、観測対象1の類識別を行う。
そのため、類識別に用いる情報量を増加させることができ、観測対象1の類識別を高精度に行うことができる。
また、類識別の結果を画像として表示することにより、容易に画像を判読して類識別の結果を認識することができる。
実施の形態2.
図4は、この発明の実施の形態2に係るレーダ画像処理装置を示すブロック構成図である。
図4において、このレーダ画像処理装置は、図2に示した類識別部5に代えて、類識別部5Aを備えている。
類識別部5Aは、2次的パラメータ算出部51(2次的パラメータ算出手段)と、2次的パラメータ処理部52(2次的パラメータ処理手段)とを含んでいる。
2次的パラメータ算出部51は、レーダ画像格納部4に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に基づいて、2次的なパラメータを算出する。
2次的パラメータ処理部52は、算出された2次的なパラメータに応じて、観測対象1の類識別を行うとともに、類識別の結果を出力する。
その他の構成については、前述の実施の形態1と同様であり、その説明を省略する。
以下、図4を参照しながら、上記構成のレーダ画像処理装置の動作について説明する。なお、前述の実施の形態1と同様の動作については、説明を省略する。
まず、2次的パラメータ算出部51において、レーダ画像格納部4に格納されたレーダ画像から、互いに観測方向の異なる少なくとも2つのレーダ画像が選択され、2次的なパラメータが算出される。
続いて、2次的パラメータ処理部52において、算出された2次的なパラメータに応じて、観測対象1の類識別が行われるとともに、類識別の結果が出力格納部6に出力される。
具体的には、まず、例えば選択された2つのレーダ画像における観測対象1の同一部分を示すある画素について、画素値の振幅の差を2次的なパラメータとして算出する。
続いて、算出された2次的なパラメータに応じて、例えば画素をあらかじめ設定された複数の領域(森や建物等)の何れかに分類することにより、観測対象1の類識別を行う。
次に、上記の方法により画素単位で類識別が行われた結果に基づいて、分類された各領域に対応した画素値を有する画像が作成され、この画像が出力格納部6に出力される。
なお、互いに観測方向の異なる3つ以上のレーダ画像を用いて2次的なパラメータを算出し、算出された2次的なパラメータに応じて観測対象1の類識別を実行してもよい。
また、2次的なパラメータに応じた観測対象1の類識別に加えて、レーダ画像の画素値に応じた観測対象1の類識別を同時に実行してもよい。
この発明の実施の形態2に係るレーダ画像処理装置によれば、2次的パラメータ算出部51は、レーダ画像格納部4に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に基づいて、2次的なパラメータを算出する。また、2次的パラメータ処理部52は、算出された2次的なパラメータに応じて、観測対象1の類識別を行う。
そのため、類識別に用いる情報量を増加させることができ、観測対象1の類識別を高精度に行うことができる。
また、類識別の結果を画像として表示することにより、容易に画像を判読して類識別の結果を認識することができる。
実施の形態3.
図5は、この発明の実施の形態3に係るレーダ画像処理装置を示すブロック構成図である。
図5において、このレーダ画像処理装置は、図1に示した類識別部5に代えて、類識別部5Bを備えている。
類識別部5Bは、2次的パラメータ画像生成部53(2次的パラメータ画像生成手段)と、擬似色付加部54(擬似色付加手段)と、2次的パラメータ画像処理部55(2次的パラメータ画像処理手段)とを含んでいる。
2次的パラメータ画像生成部53は、レーダ画像格納部4に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に基づいて、2次的なパラメータを算出する。また、2次的パラメータ画像生成部53は、算出された2次的なパラメータを画素値とする2次的パラメータ画像を生成する。
擬似色付加部54は、生成された2次的パラメータ画像に対して、算出された2次的なパラメータに応じた擬似色を付加する。
2次的パラメータ画像処理部55は、擬似色が付加された2次的パラメータ画像に応じて、観測対象1の類識別を行うとともに、類識別の結果を出力する。
その他の構成については、前述の実施の形態1と同様であり、その説明を省略する。
以下、図5を参照しながら、上記構成のレーダ画像処理装置の動作について説明する。なお、前述の実施の形態1と同様の動作については、説明を省略する。
まず、2次的パラメータ画像生成部53において、レーダ画像格納部4に格納されたレーダ画像から、互いに観測方向の異なる少なくとも2つのレーダ画像が選択され、2次的なパラメータが算出される。
続いて、2次的パラメータ画像生成部53において、算出された2次的なパラメータを画素値とする2次的パラメータ画像が生成される。
具体的には、まず、例えば選択された2つのレーダ画像における観測対象1の同一部分を示すある画素について、画素値の振幅の差を2次的なパラメータとして算出する。
続いて、レーダ画像の各画素について2次的なパラメータを算出し、算出された2次的なパラメータを画素値とする2次的パラメータ画像を生成する。
なお、例えば第1方向のレーダ画像と第2方向のレーダ画像とから2次的パラメータ画像を生成し、さらに第3方向のレーダ画像と第4方向のレーダ画像とから2次的パラメータ画像を生成する等、複数の2次的パラメータ画像を生成してもよい。
次に、擬似色付加部54において、生成された2次的パラメータ画像の各画素に対して、算出された2次的なパラメータに応じた擬似色が付加される。
具体的には、2次的パラメータ画像の各画素に対して、2次的なパラメータに対応してあらかじめ設定された色彩や色調を、2次的パラメータ画像の画素値(2次的なパラメータ)に応じて付加する。
なお、複数の2次的パラメータ画像が生成された場合には、2次的パラメータ画像毎に色彩を割り振り、各2次的パラメータ画像の画素値に応じて色調を付加してもよい。また、色彩が割り振られた2次的パラメータ画像どうしを重ね合わせることにより、1つの2次的パラメータ画像として表示してもよい。
続いて、2次的パラメータ画像処理部55において、擬似色が付加された2次的パラメータ画像に応じて、観測対象1の類識別が行われるとともに、類識別の結果が出力格納部6に出力される。
この発明の実施の形態3に係るレーダ画像処理装置によれば、2次的パラメータ画像生成部53は、レーダ画像格納部4に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に基づいて、2次的なパラメータを算出する。また、2次的パラメータ画像生成部53は、算出された2次的なパラメータを画素値とする2次的パラメータ画像を生成する。また、擬似色付加部54は、2次的パラメータ画像の各画素に対して、2次的なパラメータに応じた擬似色を付加する。また、2次的パラメータ画像処理部55は、擬似色が付加された2次的パラメータ画像に応じて、観測対象1の類識別を行う。
そのため、類識別に用いる情報量を増加させることができ、観測対象1の類識別を高精度に行うことができる。
また、2次的なパラメータに応じて2次的パラメータ画像の各画素に擬似色を付加して表示することにより、容易に2次的パラメータ画像を判読することができる。
観測対象を観測してレーダ画像を作成するレーダ装置を示す概略構成図である。 この発明の実施の形態1に係るレーダ画像処理装置を示すブロック構成図である。 この発明の実施の形態1による観測対象の類識別を示す説明図である。 この発明の実施の形態2に係るレーダ画像処理装置を示すブロック構成図である。 この発明の実施の形態3に係るレーダ画像処理装置を示すブロック構成図である。
符号の説明
1 観測対象、4 レーダ画像格納部(レーダ画像格納手段)、5、5A、5B 類識別部(類識別手段)、51 2次的パラメータ算出部(2次的パラメータ算出手段)、52 2次的パラメータ処理部(2次的パラメータ処理手段)、53 2次的パラメータ画像生成部(2次的パラメータ画像生成手段)、54 擬似色付加部(擬似色付加手段)、55 2次的パラメータ画像処理部(2次的パラメータ画像処理手段)。

Claims (4)

  1. 観測対象に対して送信され、前記観測対象で散乱された電磁波に基づいて作成されたレーダ画像を利用するレーダ画像処理装置であって、
    1つの方向から電磁波を送信し、同一の観測対象で散乱された電磁波を互いに異なる複数の方向から受信して作成された複数のレーダ画像が格納されるレーダ画像格納手段と、
    前記レーダ画像格納手段に格納された互いに観測方向の異なる少なくとも2つ以上のレーダ画像を用いて、前記観測対象の類別または識別を行う類識別手段と、
    を備えたことを特徴とするレーダ画像処理装置。
  2. 前記類識別手段は、互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に応じて、前記観測対象の類別または識別を行うことを特徴とする請求項1に記載のレーダ画像処理装置。
  3. 前記類識別手段は、
    互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に基づいて、2次的なパラメータを算出する2次的パラメータ算出手段と、
    前記2次的なパラメータに応じて前記観測対象の類別または識別を行う2次的パラメータ処理手段と、
    を含むことを特徴とする請求項1または請求項2に記載のレーダ画像処理装置。
  4. 前記類識別手段は、
    互いに観測方向の異なる少なくとも2つ以上のレーダ画像の画素値に基づいて、2次的なパラメータを算出するとともに、算出された2次的なパラメータを画素値とする2次的パラメータ画像を生成する2次的パラメータ画像生成手段と、
    前記2次的パラメータ画像に対して、前記2次的なパラメータに応じた擬似色を付加する擬似色付加手段と、
    前記擬似色が付加された2次的パラメータ画像に応じて、前記観測対象の類別または識別を行う2次的パラメータ画像処理手段と、
    を含むことを特徴とする請求項1または請求項2に記載のレーダ画像処理装置。
JP2007325836A 2007-12-18 2007-12-18 レーダ画像処理装置 Expired - Fee Related JP5371237B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007325836A JP5371237B2 (ja) 2007-12-18 2007-12-18 レーダ画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007325836A JP5371237B2 (ja) 2007-12-18 2007-12-18 レーダ画像処理装置

Publications (2)

Publication Number Publication Date
JP2009145297A JP2009145297A (ja) 2009-07-02
JP5371237B2 true JP5371237B2 (ja) 2013-12-18

Family

ID=40916038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007325836A Expired - Fee Related JP5371237B2 (ja) 2007-12-18 2007-12-18 レーダ画像処理装置

Country Status (1)

Country Link
JP (1) JP5371237B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011208961A (ja) * 2010-03-29 2011-10-20 Mitsubishi Space Software Kk 画像処理装置及び監視システム及び画像処理方法及び画像処理プログラム
JP5793961B2 (ja) * 2010-07-26 2015-10-14 日本電気株式会社 電磁波識別装置、電磁波識別方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155706A (en) * 1991-10-10 1992-10-13 Westinghouse Electric Corp. Automatic feature detection and side scan sonar overlap navigation via sonar image matching
JP3086072B2 (ja) * 1992-06-05 2000-09-11 日本無線株式会社 電波高度計
JP2000003436A (ja) * 1998-06-16 2000-01-07 Mitsubishi Electric Corp Isar画像識別装置およびisar画像識別方法
JP2002214334A (ja) * 2001-01-23 2002-07-31 Mitsubishi Heavy Ind Ltd 対象物検出装置
JP3564540B2 (ja) * 2001-09-07 2004-09-15 独立行政法人情報通信研究機構 Sar画像を利用した土地利用分類処理方法
JP2005265465A (ja) * 2004-03-16 2005-09-29 National Institute Of Information & Communication Technology Sarによる湿地林観測方法。

Also Published As

Publication number Publication date
JP2009145297A (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
Yue et al. A lidar point cloud generator: from a virtual world to autonomous driving
US9367758B2 (en) Feature extraction device, feature extraction method, and feature extraction program
EP2956891B1 (en) Segmenting objects in multimedia data
US20210311169A1 (en) Radar data processing device, object determination device, radar data processing method, and object determination method
US11373314B2 (en) Land mask image generation for ocean surface and land surface
US8712096B2 (en) Method and apparatus for detecting and tracking vehicles
US20160110885A1 (en) Cloud based video detection and tracking system
US20240161479A1 (en) Polarized Image Enhancement using Deep Neural Networks
CN110956137A (zh) 点云数据的目标检测方法、系统及介质
Park et al. Advanced wildfire detection using generative adversarial network-based augmented datasets and weakly supervised object localization
Barodi et al. Applying real-time object shapes detection to automotive traffic roads signs
JP5371237B2 (ja) レーダ画像処理装置
JP5523298B2 (ja) 目標類識別装置
Arsenos et al. Common Corruptions for Evaluating and Enhancing Robustness in Air-to-Air Visual Object Detection
US20230289928A1 (en) Image augmentation apparatus, control method, and non-transitory computer-readable storage medium
Fein-Ashley et al. Benchmarking deep learning classifiers for sar automatic target recognition
US10402682B1 (en) Image-matching navigation using thresholding of local image descriptors
US11105897B2 (en) Imaging system for locating human beings through barriers
Paschalidis Detection of small unmanned aerial systems using a 3D LIDAR sensor
EP4102472A1 (en) Land type-based segmentation for prioritization of search areas
Mignotte et al. Adaptive fusion framework based on augmented reality training
WO2022044105A1 (en) Image augmentation apparatus, control method, and non-transitory computer-readable storage medium
Gazagnaire et al. Investigation of measureable parameters that correlate with automatic target recognition performance in synthetic aperture sonar
Tsironis et al. Scale-Awareness for More Accurate Object Detection Using Modified Single Shot Detectors
Hashimoto et al. System Construction for Both Lunar Obstacle Detection and Annotation Support Based on Neurons’ Decision Validity

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130917

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees