JP5601868B2 - 画像変化選別装置 - Google Patents
画像変化選別装置 Download PDFInfo
- Publication number
- JP5601868B2 JP5601868B2 JP2010085689A JP2010085689A JP5601868B2 JP 5601868 B2 JP5601868 B2 JP 5601868B2 JP 2010085689 A JP2010085689 A JP 2010085689A JP 2010085689 A JP2010085689 A JP 2010085689A JP 5601868 B2 JP5601868 B2 JP 5601868B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- segment
- matching
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
したがって、地表面の変化領域(2枚のSAR画像間のコヒーレンスの低い領域)は、閾値処理(閾値以下の領域を抽出)を行うことにより抽出することができる。
しかしながら、非特許文献1、非特許文献2に記載の手法の適用に際しては、いずれの場合も、対象物の特徴形状が抽出可能であること、および候補領域の限定が可能であることを前提条件としている。
また、非特許文献1または非特許文献2のように、変化選別の自動化を実現しようとしても、SAR画像に特有のノイズや揺らぎの影響により、前提条件(対象物の特徴形状抽出および候補領域の限定)となる情報の高精度な抽出が困難になるという課題があった。
さらに、前提条件の情報抽出が可能であったとしても、選別対象物の形状および向きなどの自由度が高いことから、テンプレートの生成に限界があるという課題があった。
図1はこの発明の実施の形態1に係る画像変化選別装置を示すブロック構成図である。
図1において、画像変化選別装置は、変化抽出結果ファイル1と、ノイズ除去部2と、特徴量抽出部3と、セグメント生成部4と、セグメント位置調整部5と、交差特徴算出部6と、セグメント選択部7と、セグメント変換部8と、テンプレート選択部9と、テンプレートマッチング部10と、テンプレート評価部11と、変化選別部12と、変化選別結果ファイル13とを備えている。
信号処理装置は、撮像装置で撮像された2枚の画像間の複素相関分布に基づいて変化抽出画像データGを算出し、変化抽出結果ファイル1は、変化抽出画像データGを格納するものとする。
ノイズ除去部2は、変化抽出結果ファイル1からの変化抽出画像データGを入力情報とし、変化抽出画像データGに対してノイズ除去処理を行い、ノイズ除去後の画像をノイズ除去画像データとして生成する。
セグメント生成部4は、特徴量抽出部3からの特徴量抽出画像データを部分画像に分割して、セグメント画像データを生成する。
交差特徴算出部6は、セグメント位置調整部5からの位置調整後セグメント画像データPrの各セグメントの交差特徴を算出して、交差特徴データRを生成する。
セグメント選択部7は、位置調整後セグメント画像データPrおよび交差特徴算出部6からの交差特徴データRに基づき、セグメントを選択して候補セグメント画像データSを生成する。
次に、隣接する、または空間的に重複関係にある、連続性評価対象の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果が閾値を超えた場合に、それらの適合テンプレートを選択後適合テンプレートTsとして生成する。
まず、ノイズ除去部2は、変化抽出画像データGを対象として、たとえば移動平均処理を行うことにより、変化選別に不要な画素情報をノイズとして除去する。
したがって、移動平均処理の代わりに、メディアンフィルタによるノイズ除去処理を適用してもよい。メディアンフィルタは、或る画素の周辺の値をソートし、各周辺値の中央値に設定するものであり、輪郭をぼかすことなくノイズのみをぼかすという利点がある。
膨張/収縮処理により、ノイズの影響で図形にできた1画素分の穴や、ひげのような突起物を除去することが可能になる。
輪郭抽出処理を行う具体例としては、2次微分フィルタであるラプラシアンフィルタなどがあげられる。
このとき、セグメントの大きさは、変化選別対象として想定している対象物の大きさに応じて決定される。
このように、重複がない状態でセグメント分割を行うことにより、セグメント数が限定され、高効率のマッチング処理が可能になる。
一方、図2、図3の右側は、調整前のセグメント50(破線参照)からシフトされた調整後のセグメント51を示しており、画素強度「1」の画素iの平均位置Pがセグメント中心位置と一致している。
具体的には、交差特徴算出部6は、まず、位置調整後セグメント画像データPrを対象として、各セグメントの基本4軸で交差特徴の抽出を行う。
また、「交差特徴」とは、図5に示すように、2値画像上の線形状の対象物(車両の軌跡など)が軸(たとえば、中心線Y)と交差する数(軸が画素値「1」の画素iの軌跡と交差した数)をいう。
4軸(X、Y、W、Z)に対する交差特徴を抽出した結果、いずれかの軸で、交差特徴(交差数)が「1」以上であれば、そのセグメントを候補セグメントとする。
図6〜図9において、交差特徴抽出用の平行軸Y1、Y2は、たとえば、基本軸Yからの距離が「基本軸Yからセグメント51の垂直方向の2境界線(両側端)までの距離の約1/2」となるように設定されている。
具体的には、勾配の値が近い交差点を「同一グループ」とする。すなわち、「平行関係にある」か、または「平行で連続である(同一直線上にある)」と想定される線分が「同一グループ」に所属する。
たとえば、図9のように、同一交差点C21を通る線分L1、L2が複数存在する場合は、「連続性あり」と判定し、同一交差点C21を共有点とする2線分L1、L2の勾配平均または勾配変化率を算出する。
勾配平均が算出された場合(勾配差≦閾値)には、2直線が同一直線上にあるものと見なし、図9のように、勾配変化率が算出された場合(勾配差>閾値)には、2直線L1、L2が同一曲線上にあるものと見なす。
また、図6〜図8において、各破線枠内には、近似した勾配によってグループ分けされた同一グループの交差点が示されている。
このとき、2つの交差点における各平均勾配がほぼ等しいことから、交差点C1を通る2線分、および交差点C2を通る2線分は、それぞれ同一直線上に位置するものと見なすことができる。
したがって、後段のマッチング処理の際に、各対象物との「適合の度合い」に重み付けを行う場合には、平行関係が不明な後者の線に対して「重み値」を下げる方法が考えられる。
ただし、対象物の形状が部分的に欠落している場合も有り得るので、判定要素の1つに過ぎないものとし、曲線/直線である可能性を「0〜1」の範囲内の数値で表現する程度とする。
この場合、前述の通り、交差点C21を通る2線分式の勾配差は閾値以上であり、対象物の形状候補としては、図示したように「1つの曲線」が考えられる。
具体的には、すべての対象物が直線であると仮定して算出した直線式から、線形状間の距離推定値を仮想直線間距離として求める。
一方、存在数が「1」以上であれば、候補セグメント画像データSとして生成する。
このように、交差特徴データRに基づきセグメント選択を行い、マッチング対象となるセグメントを絞り込むことにより、高効率のマッチング処理が可能となる。
図11においては、2つの平行線(画素iの軌跡)の平均勾配が45度の場合を示しており、セグメント50を時計方向に45度回転させることにより、新たなセグメント51を設定することができる。
このように、事前に得られた交差特徴データRに基づき、マッチング対象となる候補テンプレートTを選択することにより、後段のマッチング処理を高効率に行うことが可能となる。
このとき、簡単な例で言えば、一致した画素強度「1」の画素iの合計数を、評価値として算出する。
このとき、一つのセグメントに対し、マッチング結果に適合するテンプレート、すなわち適合テンプレートが単一の場合には、そのまま連続性評価対象である適合テンプレートとなり、同一セグメントに対して適合テンプレートが複数個存在する場合には、マッチング評価結果が最も高い適合テンプレートを、連続性評価対象の適合テンプレートとする。
空間的連続性の評価は、隣接する(または、空間的に重複関係にある)セグメント(以下、「近傍セグメント」という)を対象とした適合テンプレート間の連続性を評価することを意味する。
さらに、近傍セグメント間の境界線対でのパターンマッチング結果を連続性評価値としてもよい。
また、元画像上の変化抽出結果(変化抽出画像データG)と変化選別結果Vとの整合性を簡単に確認することが可能となるので、分析対象となる変化の選別を自動的に行うのみでなく、ユーザによる変化の選別を支援することも可能となる。
これにより、テンプレート選択部9は、候補テンプレート更新要求Uに応答して、新たな候補テンプレートTを選択し、新たな候補テンプレートTをテンプレートマッチング部10に入力するので、有効な候補テンプレートTの評価に基づくマッチング結果Tmを用いて、選択後適合テンプレートTsを取得して、最終的な変化選別結果Vを得ることができる。
なお、上記実施の形態1(図1)では、テンプレートマッチング部10によるマッチング結果Tm(または連続性評価結果)が閾値以上を満たさない場合に、テンプレート選択部9において、既存のテンプレートの中から候補テンプレートTを再選択したが、図12に示すように、候補テンプレート更新要求Uに応答してテンプレートを調整するテンプレート調整部14を設け、マッチングが行われた候補テンプレート自体を調整するように構成してもよい。
図12において、画像変化選別装置は、前述(図1)の構成に加えて、テンプレート調整部14を備えている。
たとえば、基本形状の線幅が「1」であれば、線幅を倍の「2」に設定して、調整後候補テンプレートTuとして生成する。
以下、テンプレート評価部11は、前述と同様に、マッチング結果Tmが閾値以上の評価条件を満たしているか否かの判定を行い、条件を満たしている場合には、適合テンプレートとして、さらに連続性評価処理を行う。
なお、上記実施の形態1〜2(図1〜図12)では、特徴量抽出部3において、画像全域を対象に特徴量を抽出したが、特徴量抽出を行う前に、画像全域を対象に、画素分布の射影特徴に基づく特徴量算出領域の絞り込み処理を施してから、特徴量を算出してもよい。
たとえば、第n列の画素値の和が、すべての画素値の和の1%以下であれば、第n列は除外される。
変化抽出画像データG(2値画像)の場合は、画素値は「1」または「0」であり、射影特徴は、変化画素の存在頻度を表している。
なお、上記実施の形態1〜2(図1〜図12)では、セグメント生成部4において、すべての特徴量抽出画像を対象にセグメント分割したが、すべての特徴量抽出画像を対象としたセグメント分割後に、セグメントごとの画素値の和による足切りを行い、セグメントの絞り込み処理を施してもよい。
なお、上記実施の形態1〜2(図1〜図12)では、テンプレートマッチング部10、10A、10Bにおいて、候補テンプレートTと変換後セグメント画像データSt(変化後セグメントデータ)とで、一致した画素強度「1」の画素の合計数を評価値としたが、対象物の数が不確定な場合を想定して、より存在可能性の高い対象物の一致に対する評価値の重み値を高く、存在可能性の低い対象物に対しては重みを低く設定してもよい。この場合、テンプレートマッチング部は、テンプレート選択部9からの候補テンプレートTと、セグメント変換部8からの変換後セグメント画像データStに加えて、交差特徴算出部6から出力される交差特徴データRを入力とする。
なお、上記実施の形態1〜5では、交差特徴算出部6において、交差特徴を抽出する軸上の全画素を対象に、交差点である画素値「1」の画素を探索したが、軸上の1点とその近傍の複数点とを探索対象としてもよい。
具体的には、次探索点である軸上の1点と、たとえばその8方向の近傍点(以下、「8近傍」という)とを対象として、交差点を検出する。
図13(b)はこの発明の実施の形態6による交差点探索処理の説明図であり、軸上の点(黒丸:次探索点)と、その8近傍(白丸、ハッチング白丸および破線白丸)とを対象とした交差点検出例を示している。
このように、交差点検出後に、近傍点を探索対象外とすることにより、対象物のブレによって生じる重複検出を防ぐことができる。
なお、上記実施の形態3、4では、特徴量抽出部3やセグメント生成部4において、射影特徴やセグメントごとの画素値和に基づいて、特徴量算出領域やセグメントの絞込み処理を実行したが、絞込み処理を行う以外にも、細線化などの特徴抽出手法に特化した、選別対象外変化の形状特徴に着目して、交差特徴算出処理前に、選別対象外変化の抽出およびその除去処理を実行してもよい。
図14はこの発明の実施の形態7に係る画像変化選別装置を示すブロック構成図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「C」を付して詳述を省略する。
ループ検出除去部15は、特徴量抽出部3Cとセグメント生成部4Cとの間に挿入されており、特徴量抽出部3Cからの特徴量抽出画像データを対象に、除去対象画素を検出して除去を行い、除去後の画像であるループ除去後特徴量抽出画像データをセグメント生成部4Cに入力する。
図15(a)は元の濃淡画像であり、図15(b)は2値化処理後の2値化画像であり、図15(c)は細線化処理後の細線化画像である。
これにより、図15(c)の細線化後の画像においても、植生領域(選別対象外変化)が、多数の小さなループ形状(以下、「小ループ」という)として抽出されている。
前述の実施の形態1〜5による交差特徴抽出では、セグメント単位で形状特徴を抽出するが、セグメント化によってループ形状が分割されることにより、部分的なループ形状が、選別対象変化の形状特徴に合致した「平行関係にある2曲線、または2直線」として抽出される可能性が生じてくる。すなわち、セグメントの分け方によっては、小ループの形状が、選別対象変化として誤検出される可能性が高い。
具体的には、対象物存在画素である画素値「1」の画素の追跡処理により、選別対象外変化であるループ形状を検出して、除去する。
また、図17はこの発明の実施の形態7によるループ検出除去手順を示すフローチャートである。
このとき、対象物存在画素であるか否かの判定は、探索点とその近傍とを対象とする。
このとき、追跡処理を開始した対象物存在画素を、追跡始点画素とする。
一方、ステップ105において、ループ検出条件を満たす(すなわち、YES)と判定されれば、追跡結果に基づき、検出されたループを除去して(ステップ106)、ステップ107に移行する。
一方、ステップ107において、収束条件を満たす(すなわち、YES)と判定されれば、図17の処理ルーチンを終了して抜け出る。
また、近傍を判定対象とすることにより、局所的に不連続なループ形状であっても除去可能となる。
Claims (10)
- 2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データを格納する変化抽出結果ファイルと、
前記変化抽出画像データに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部と、
前記ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部と、
前記特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部と、
前記セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データを生成するセグメント位置調整部と、
前記位置調整後セグメント画像データの2値化処理後のデータに対して、前記特徴量抽出画像データとして抽出された特徴量の軌跡が、セグメントの垂直/水平の中心線および2つの対角線のいずれかの軸と交差する数として規定される交差特徴を、各セグメントについて算出して交差特徴データを生成する交差特徴算出部と、
前記交差特徴データに基づきセグメントを選択して候補セグメント画像データを生成するセグメント選択部と、
前記候補セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づき、前記候補セグメント画像データの分割、拡大および回転処理を行い、変換後セグメント画像データを生成するセグメント変換部と、
前記変換後セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づき、前記変換後セグメント画像データとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートを生成するテンプレート選択部と、
前記候補テンプレート、前記変換後セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づく前記候補テンプレートと前記変換後セグメント画像データとのマッチング処理により、両者の類似性を判定してマッチング結果を生成するテンプレートマッチング部と、
前記マッチング結果を評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、該当する適合テンプレートを連続性評価対象の適合テンプレートとし、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行い連続性評価対象の適合テンプレートとし、さらに連続性評価対象の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、前記連続性評価結果が閾値以上である適合テンプレートを選択後適合テンプレートとするテンプレート評価部と、
前記選択後適合テンプレートを入力情報とし、すべての選択後適合テンプレートを配置した画像を変化選別結果として生成する変化選別部と、
変化選別結果を格納する変化選別結果ファイルと
を備えたことを特徴とする画像変化選別装置。 - 前記テンプレート評価部は、すべての候補テンプレートのマッチングの評価結果であるマッチング結果または連続例評価結果が閾値以上を満たさない場合に、候補テンプレート更新要求を生成し、
前記テンプレート選択部は、前記候補テンプレート更新要求に応答して新たな候補テンプレートを選択し、前記新たな候補テンプレートを前記テンプレートマッチング部に入力することを特徴とする請求項1に記載の画像変化選別装置。 - 前記テンプレート評価部と前記テンプレートマッチング部との間に挿入されたテンプレート調整部を備え、
前記テンプレート評価部は、すべての候補テンプレートのマッチングの評価結果であるマッチング結果が閾値以上を満たさない場合に、候補テンプレート更新要求を生成し、
前記テンプレート調整部は、前記候補テンプレート更新要求に応答して、前回の候補テンプレートの形状を調整し、調整後候補テンプレートを前記テンプレートマッチング部に入力することを特徴とする請求項1に記載の画像変化選別装置。 - 前記テンプレート調整部は、前記連続性評価結果に基づき、前記適合テンプレートの位置および形状を微調整して連続性の再評価を行い、再評価結果が収束条件を満たした時点で、微調整後の適合テンプレートを前記選択後適合テンプレートとして生成することを特徴とする請求項3に記載の画像変化選別装置。
- 前記特徴量抽出部は、前記特徴量抽出処理を行う前に、画像全域を対象に画素分布の射影特徴を算出し、前記射影特徴に基づいて特徴量算出領域の絞り込み処理を行うことを特徴とする請求項1から請求項4までのいずれか1項に記載の画像変化選別装置。
- 前記セグメント生成部は、生成されたセグメントに対し、セグメントごとの画素強度の和による足切りを行い、最終的に生成されるセグメントの絞り込み処理を行うことを特徴とする請求項1から請求項5までのいずれか1項に記載の画像変化選別装置。
- 前記テンプレートマッチング部は、前記交差特徴データに基づき、前記マッチング処理の際に、対象物の存在可能性に応じた重み付け処理を行うことを特徴とする請求項1から請求項6までのいずれか1項に記載の画像変化選別装置。
- 前記交差特徴算出部は、交差点探索の際に、軸上の次探索点とその近傍とを、探索対象とすることを特徴とする請求項1から請求項6までのいずれか1項に記載の画像変化選別装置。
- 前記交差特徴算出部は、交差点検出後に、次探索点とその近傍とを、探索対象外とすることを特徴とする請求項8に記載の画像変化選別装置。
- 前記特徴量抽出部と前記セグメント生成部との間に挿入されたループ検出除去部を備え、
前記ループ検出除去部は、前記特徴量抽出画像データを入力として、次探索点とその近傍を対象とした探索処理により、ループ形状を検出して除去し、除去後の画像であるループ除去後特徴量抽出画像データを前記セグメント生成部に入力とすることを特徴とする請求項1から請求項9までのいずれか1項に記載の画像変化選別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010085689A JP5601868B2 (ja) | 2010-01-07 | 2010-04-02 | 画像変化選別装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010001946 | 2010-01-07 | ||
JP2010001946 | 2010-01-07 | ||
JP2010085689A JP5601868B2 (ja) | 2010-01-07 | 2010-04-02 | 画像変化選別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011158457A JP2011158457A (ja) | 2011-08-18 |
JP5601868B2 true JP5601868B2 (ja) | 2014-10-08 |
Family
ID=44590520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010085689A Expired - Fee Related JP5601868B2 (ja) | 2010-01-07 | 2010-04-02 | 画像変化選別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5601868B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7346188B2 (ja) * | 2019-09-17 | 2023-09-19 | 株式会社東芝 | 合成開口レーダ装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3446177B2 (ja) * | 2000-11-07 | 2003-09-16 | 株式会社エム・シー・シー | 目標識別方法および目標識別装置 |
JP3884468B2 (ja) * | 2005-03-29 | 2007-02-21 | 株式会社ファースト | 高速画像探索方法 |
JP5438263B2 (ja) * | 2006-07-21 | 2014-03-12 | 株式会社パスコ | レーダ画像処理装置及びレーダ画像処理方法 |
JP5137693B2 (ja) * | 2008-05-30 | 2013-02-06 | 三菱電機株式会社 | 画像処理装置 |
-
2010
- 2010-04-02 JP JP2010085689A patent/JP5601868B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011158457A (ja) | 2011-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6184877B2 (ja) | 車両用外界認識装置 | |
CN109741356B (zh) | 一种亚像素边缘检测方法及系统 | |
CN109658515A (zh) | 点云网格化方法、装置、设备及计算机存储介质 | |
KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
KR101130963B1 (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
JP4518139B2 (ja) | 画像処理装置 | |
JP5166102B2 (ja) | 画像処理装置及びその方法 | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
JP5908844B2 (ja) | 画像処理装置および画像処理方法 | |
JP2008522273A (ja) | 画像セグメンテーション | |
JP2002373332A (ja) | 画像認識装置および画像認識方法 | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
CN108898148B (zh) | 一种数字图像角点检测方法、系统及计算机可读存储介质 | |
JPWO2011065399A1 (ja) | 走路認識装置、車両、走路認識方法及び走路認識プログラム | |
JP2013122739A (ja) | 解析装置、解析プログラムおよび解析方法 | |
JP5601868B2 (ja) | 画像変化選別装置 | |
JP4459162B2 (ja) | 速度計測装置、方法及びプログラム | |
JP5715784B2 (ja) | 画像の輪郭点検出方法 | |
JP5705391B1 (ja) | 画像処理装置及び画像処理方法 | |
JP5447162B2 (ja) | 移動体識別装置、コンピュータプログラム及び移動体識別方法 | |
JP2011210160A (ja) | 画像処理方法、画像処理装置、プログラム、及びプログラム記憶媒体 | |
JP4155252B2 (ja) | 車両検出装置 | |
JP2010117989A (ja) | 車両走行路の特徴情報の生成方法および生成装置、ならびに生成処理用のプログラム | |
JP2019012496A (ja) | 検出プログラム、方法、及び装置 | |
JP5470529B2 (ja) | 動き検出装置、動き検出方法及び動き検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5601868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |