JP6060377B2 - 画像クラスタ分析装置 - Google Patents
画像クラスタ分析装置 Download PDFInfo
- Publication number
- JP6060377B2 JP6060377B2 JP2012239685A JP2012239685A JP6060377B2 JP 6060377 B2 JP6060377 B2 JP 6060377B2 JP 2012239685 A JP2012239685 A JP 2012239685A JP 2012239685 A JP2012239685 A JP 2012239685A JP 6060377 B2 JP6060377 B2 JP 6060377B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- data
- multispectral image
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
非特許文献4の方法は、8バンドのマルチスペクトル衛星画像を使用して10種類の樹木を識別する研究の論文であり、基準となるスペクトルを各樹種ごとに測定しておき、森林のスペクトルと比較することにより、森林を樹種別に識別する技術である。教師つきクラスタ分析に分類される。
本発明が対象とする地表の分類に関する調査した範囲の先行技術は全て教師つきクラスタ分析を使用している。教師つきクラスタ分析には「発明が解決しようとする課題」に述べる欠点があり、この解決が求められていた。
第一に教師つきクラスタ分析には、気象および地理的環境に左右されない分類を行いにくい場合がある。教師つきクラスタ分析では、比較の基準となる樹種等の対象物のスペクトルをあらかじめ定める必要がある。大きく2つの方法があって、対象物のサンプルを採集してスペクトル分布を計測して基準スペクトル分布とする方法と、実画像の中から対象物の画像領域を複数点選択し、統計処理を行なって基準スペクトル分布とする方法である。
後者の方法は、対象画像の中から基準スペクトルを採取するため、日射方向、季節、大気中水蒸気による変化は回避できるが、対象画像の中から基準スペクトルを採取する過程で本来の対象物でないスペクトル分布を取り込むことが避けられず、ノイズ成分が発生して識別能力が低下する。このリスクは空間分解能が低い場合は、1画素中に複数の樹種等対象物のスペクトル分布が混入することによりノイズ成分が発生して識別能力が低下する。逆に空間分解能が高い場合は、地上における画素サイズが小さくなり、本来の基準スペクトルでない成分を混入させることによるノイズ成分が発生して識別能力が低下する。
第一の手段は対象画像の地表を分類するに際して、各画素のスペクトル特性の類似のものを対象画面の中から相互にグループ化していくことにより教師つきクラスタ分析のような基準スペクトルを外部から与えることなしに、対象画像が持つ各画素のスペクトル情報だけから自律的に取得し分類を行なうことである。具体的には、各画素をマルチスペクトル各バンドの全部または一部より構成されるベクトルデータ(画素ベクトルデータと呼称する)として表現し、当該各画素ベクトルデータノルムを正規化した上で、当該各画素ベクトルデータ間でなす内積の1.0よりの偏差(以下、内積偏差と呼称する)の大小により画素ベクトル間の類似性を評価し、画素間の当該内積偏差の0.0に近くあらかじめ定められた閾値以下のもの同士を順次画素グループとしてグループ化していくことにより、当該マルチスペクトル画像を複数画素グループに対応した領域に分類する。
以上の方策により、発明が解決しようとする課題を解決することが可能となる。
図1は本発明のマルチスペクトル画像領域分類装置の全体構成を示す図であり、画像クラスタ分析装置固定部 100と可搬型属性データ特定装置 110より構成される。画像クラスタ分析装置固定部 100は本特許出願時点で市販の高性能パソコンであればよく、演算装置A 101,
マルチスペクトル画像データ装置 102, 属性グループデータ装置 103, データインタフェース装置A 104を含み、オペレータ 105がモニタ、キーボード、マウスを介して操作する。マルチスペクトル画像データ装置
102および属性グループデータ装置 103は通常のHDDなどの記憶装置で構成できる。
マルチスペクトル画像の各画素グループに対して、その属性を規定する属性コードが画素グループ/属性対応テ−ブル 214により割り当てられる。森林の場合、属性コードは樹種コードである。画素グループは複数あり、各画素グループ毎に1つの属性コードが割り当てられる。複数の画素グループに同一の属性コードが割り当てられることもある。
マルチスペクトル画像データ装置 102および属性グループデータ装置 103の内容はデータインタフェース装置A 104を介して、可搬型属性データ特定装置 110 とイクスポートおよびインポートされる。演算の開始時点では、マルチスペクトル画像 画素/画素グループ対応テ−ブル 213と画素グループ/属性対応テ−ブル 214のデータの割り当ては行なわれていない。
Vegetation Index(RVI) すなわち、RVI=NIR/R
(2)Normalized
Difference Vegetation Index(NDVI) すなわち、NDVI=(NIR-R)/(NIR+R)
(3)Normalized
Difference Wetness Index(NDWI) すなわち、NDWI=(SWIR-MIR)/(SWIR+MIR)
(4)Green
Vegetation Index(GVI) すなわち、GVI=(NIR+SWIR)/(R+MIR)
(5)Perpendicular
VI(PVI) すなわち、PVI=(NIR-aR-b)/(1+a^2)^(1/2)
(6)Weighted
difference VI(WDVI)
すなわち、WDVI=NIR-NIR(soil)/R(soil)*R、 NIR(soil)=aR(soil)+b
(7)Soil
Adjusted VI(SAVI) すなわち、SAVI=(1+L)(NIR-R)/(NIR+R+L)
(8)Soil
Adjusted Ratio VI(SARVI) すなわち、SARVI=NIR/(R+b/a)
(9)Transformed
Soil Adjusted VI(TSAVI)
すなわち、TSAVI=a*(NIR-a*R-b)/(R+a*NIR-a*b)
X 10,000 /2 組の相関演算が必要で、画素ベクトルが12次元であり、1組の画素間相関演算に100FLOPS必要で、演算装置が100GFLOPSであるとすると、とすると相関演算だけで58日を要し、現実的ではない。
Difference Wetness Index(NDWI)を含むスペクトル演算により抽出する。次に、森林領域 131から 画素間の相関演算を行なう領域を対象領域 1 132〜対象領域
i 137〜対象領域 n 138として選択する。この目的は、画素間の相関演算の量を削減しつつ、森林領域 131の属性データに対応する画素ベクトルを収集することである。したがって、対象領域を複数n個、森林領域 131の属性(森林の場合樹種)を代表すると目視で判断する部分に設定する。
に対してもそれぞれの属性データを求めた後、全ての対象領域の属性データを統合する方法を採る。対象領域 iは一辺をたとえば100X100画素に設定すれば、画素間の相関演算数は500,000組に減少する。図4(1)は、対象領域 iを構成する全画素間の相関演算を行い、最も相関の高い画素の組み合わせを選択してRank i=0の組み合わせとして抽出する。
iの画素からM個のグループを生成する。図5はマルチスペクトル画像内の対象領域ごとの画素グループを統合する処理の概念を示した図である。図5(1) 対象領域1から図5(M) 対象領域Mに示すように各対象領域に画素グループが生成される。図4で示した方法は、各対象領域内の画素グループ、各対象領域間の画素グループの独立性を保障するものではなく、同一の属性をもつ画素が異なったグループにグループ化されているので、各画素グループ間の類似性を各画素グループを代表する画素ベクトル(たとえばグループ内の画素を平均化し正規化して求めることが出来る。これを代表ベクトルと称する)間の内積が一定の閾値(たとえば内積0.9995)以上であったとき同一の属性に対応すると判断してグループ間の統合を行い、図5に示す統合対象領域に対する統合画素グループjを得ることが出来る。各統合画素グループを代表する画素ベクトル(代表ベクトル)は、マルチスペクトル画像の領域分類の基準となる各属性に対応することになる。
141で対応づけた統合画素グループと樹種などの属性対応を反映させて画像クラスタ分析装置固定部 100でマルチスペクトル画像の領域分類を完成させる。
図6処理ブロック001の内容を図7に示す。処理ブロック010 150で対象画像からクラスタ分析を行なう対象領域を演算量削減の目的で限定する。森林の樹種分類であれば新領域のみを抽出する。図8に詳細を記す。処理ブロック020 160で陸水域除外処理をおこなう。公然実施されているNormalized
Difference Water Indexを用いて閾値との大小で判定できる。処理ブロック021 161ではクロロフィル活動指標であるNDVIが閾値以下の領域を除外して植物領域以外を除外する。処理ブロック022 162では裸地領域を同様に閾値との大小で判定除外する。公然実施されているSoil Adjusted Ratio VI(SARVI)含む土壌インデックスを用いることが出来る。処理ブロック020〜処理ブロック022 160〜162 の処理は順不同であり、必要に応じてその他の処理を追加してよい。
1〜対象領域 i〜対象領域 nを設定する処理である。各対象領域の対角線上の座標をモニタ上でマウスを操作しながら入力するなど公然実施されている方法で領域指定することが出来る。
192で取り出した最初の孤立画素ペアを接続Rank i=0とする。接続Rankとは類似画素のグループ化のレベルを示すもので、図4(1)のように2画素間のみで関係づけられているものをRank i=0という。これに対して、図4(1)の2画素のそれぞれ類似であると判断された画素をグループ化して図4(2)のようにRank i=1として接続する。この処理は処理ブロック055 195で選択された後続の全ての未接続の画素ペアのうち接続Rank i画素ペアに対して接続Rank i+1画素ペアとして接続できるものがなくなるまで実施する。(接続された画素は孤立画素ペアでなくなる) 接続Rank i+1画素ペアとして接続できるものがなくなると、処理ブロック056 196で接続Rank i を+1して次のRankの接続を行なう。このように、以下、図4(3)さらに図4(4)のように繰り返し接続してグループ化するが、接続のRank数が増えるとRank i=0の画素との類似性が下がってくるので、処理ブロック056 196で接続Rank数に上限k(経験的に葉は5程度が適当である)をおいて、処理ブロック053〜56の処理を打ち切って、処理ブロック051 191に戻って、グループ化され残った画素ペアに対して処理ブロック051〜56の処理を異なる画素グループの生成操作として実施する。このようにしてM個の全ての画素ペアに対してグループ化できるものがなくなるまで繰り返す。
201でまとめた画素グループ間の類似性を核ベクトル間の内積で評価して画素グループを統合整理するプロセスである。処理ブロック063 203で、全核ベクトル間の相関(内積)を計算する。 処理ブロック064 204で全ての核ベクトル間の相関(内積)最大値が閾値より小さくなれば、核ベクトルは相互に類似性はないと反されるので、画素グループの統合は終了する。核ベクトル間の相関(内積)のなかに閾値より大きいものがあれば、核ベクトルが代表する画像グループは類似であると判断して当該画像グループを統合し処理ブロック065 205で統合した画像グループに対して核ベクトルを再計算する。さらに処理ブロック066
206で核ベクトルをグループの画素数の多い順に整列する。処理ブロック065〜066の処理を処理ブロック064 204が成立するまで続ける。
を属性を設定しようとする目標 228 の目標位置 225
の方向である目標位置方向 226 に指向する(目標表示方向
227 )。タブレットPC 221 は内部に電子コンパスによる方位センサ118を実装しており、DGPS 116 により現在位置 224 を、方位センサ118により目標表示方向 227 を知り表示画面 222 に反映表示させることが出来る。
電子コンパスの方位取り込みはAndroidで下記のように行なえる。
sensorManage=(SensorManager)getSystemService(Context.SENSOR_SERVICE);
sensor=sensorManager.getDefaultSemsor(Sensor.TYPE._MAGNETIC_FIELD);
250でデータインタフェース装置Bより、マルチスペクトル画像、マルチスペクトル画像画素/画素グループ対応テ−ブル 213、画素グループ/属性対応テ−ブル
214が読み込まれ、マルチスペクトル画像データ装置113および属性グループデータ装置114に格納される。処理ブロック081 251で表示画面位置・縮尺・方位を初期化する。図18の処理(後述)は周期起動されているので、初期化されたパラメタにより表示画面 222 に目標情報が表示される。表示画面 222 上の動作モート゛SW 233 のイクスポ゜ートをクリックするとり図16(3)が起動され、処理ブロック090 260によりマルチスペクトル画像データ装置113および属性グループデータ装置114データインタフェース装置Bへマルチスペクトル画像、マルチスペクトル画像画素/画素グループ対応テ−ブル 213、画素グループ/属性対応テ−ブル 214が書き出され、図6の処理ブロック003 142により画像クラスタ分析装置固定部後処理である可搬型属性データ特定装置
が取得した属性データの統合処理がおこなわれ本発明のマルチスペクトル画像領域分類装置の処理が完了する。
274は方向性が下方であるが、同様に議論できる。
属性表示欄 231 で属性データを選択して属性操作SW 232 の”設定”をクリックすると図17(3)の処理が起動され、処理ブロック110 280で属性選択部の選択項目を読込み、処理ブロック111 281で表示画面位置上の目標カーソル位置から画素-属性対応図上の画素位置を求め、処理ブロック112 282で画素-属性対応図上の同一グループの属性を確定する。
が取得した統合画素グループと属性データの対応関係を画像クラスタ分析装置固定部に統合して属性データに対応する代表画素ベクトルを決定する。マルチスペクトル画像 画素/画素グループ対応テ−ブル 213と、画素グループ/属性対応テ−ブル 214の内容は処理ブロック002 141の結果更新され最終的なものなるので、この結果をデータインタフェース装置A 104を介して画像クラスタ分析装置固定部 100のマルチスペクトル画像データ装置
102と属性グループデータ装置 103に戻し、各属性データに対応する代表画素ベクトル(核ベクトル)を決定する。
130または森林領域 131を属性データにより領域分類する。
101 演算装置A
102 マルチスペクトル画像データ装置
103 属性グループデータ装置
104 データインタフェース装置A
105 オペレータ
110 可搬型属性データ特定装置
111 演算装置B
112 表示装置
113 マルチスペクトル画像データ
114 属性グループデータ
115 データインタフェース装置B
116 DGPS
117 データ入力装置
118 方位センサ
120 画素ベクトル
130 マルチスペクトル画像
131 森林領域
132〜136 対象領域1〜5
137
対象領域i i
138
対象領域 n
140〜143 処理ブロック001〜処理ブロック004
150〜156 処理ブロック010〜処理ブロック016
160〜163 処理ブロック020〜処理ブロック023
170〜174 処理ブロック030〜処理ブロック034
180〜183 処理ブロック040〜処理ブロック043
190〜196 処理ブロック050〜処理ブロック056
200〜206 処理ブロック060〜処理ブロック066
210
H座標軸
211
V座標軸
212
画素kl
213 マルチスペクトル画像 画素/画素グループ対応テ−ブル
214
画素グループ/属性対応テ−ブル
220
支柱
221
タブレットPC
222
表示画面
223
信号ケーブル
224
現在位置
225
目標位置
226
目標位置方向
227
目標表示方向
228
目標
229
非目標
230
現在位置データ表示欄
231
属性表示欄
232
属性操作SW
233
動作モート゛SW
240〜246 処理ブロック070〜処理ブロック076
250〜251 処理ブロック080〜処理ブロック043
260 処理ブロック090
270〜276 処理ブロック100〜処理ブロック106
280〜282 処理ブロック110〜処理ブロック112
290〜291 処理ブロック120〜処理ブロック121
300〜307 処理ブロック130〜処理ブロック137
Claims (7)
- 表面が地表面または地表を覆う樹木を含む植生または地表上の人工物または物質を含む、平面ないし曲面の表面における位置に対応した電磁波の異なる複数の波長帯域の反射信号レベルで撮影して得た画像(以下、マルチスペクトル画像と呼称する)の各画素をマルチスペクトル画像の各バンドの全部または一部より構成されるベクトルデータ(以下、画素ベクトルデータと呼称する)として表現し、
選択された領域を構成する全画素を正規化し、全画素に対する類似性を正規化した全画素ベクトル相互間の内積の1.0からの偏差(内積偏差)を含む方法で把握し、
全画素ベクトルから類似であると判定された画素ペアを取り出し、当該構成画素に類似である画素を既定の段階数まで順次段階的に画素グループとして追加して画素グループを形成し、当該画素グループを全画素から生成することを繰り返し、構成画素数の多い順に当該画素グループを整列して分類することを特徴とするマルチスペクトル画像の画素分類装置であって、
さらに、当該マルチスペクトル画像内に含まれる全構成画素に対して、
段階的に画素グループとして統合した結果の当該画素グループを代表するベクトル(以下、代表ベクトルと呼ぶ)との、内積偏差が閾値以下の画素を当該画素グループに加えて当該マルチスペクトル画像の全画素を分類することを特徴とするマルチスペクトル画像の画素分類装置。 - 請求項1において、実際の対象物を確認する手段により得た当該画素グループに対応した樹種を含む属性データを、当該画素グループに属するすべての画素に共通に付与することを特徴とするマルチスペクトル画像の画素分類装置。
- 請求項1または請求項2において、マルチスペクトル画像のノルムを正規化した画素ベクトルデータ間の内積偏差を尺度として類似性を評価する画像領域を当該マルチスペクトル画像の全領域より小さい複数の部分領域に設定することを特徴とするマルチスペクトル画像の画素分類装置。
- 請求項1において、マルチスペクトル画像は非可視光を含む4バンド以上のバンド数を有する衛星画像であり、マルチスペクトル画像の空間分解能が2m以下であることを特徴とするマルチスペクトル画像の画素分類装置。
- 請求項1または請求項2のいずれかにおいて、マルチスペクトル画像の画素ベクトルデータのベクトル成分としてマルチスペクトル画像の各バンドデータに加えて、各バンドデータ間の非線形演算により得られる値を新たに画素ベクトルデータのベクトル成分に追加することを特徴とするマルチスペクトル画像の領域分類装置であって、当該新たに追加する画素ベクトルデータのベクトル成分にRed Edge帯域を用いたNDVI (Normalized Difference Vegetation Index)、NDWI(Normalized Difference Water Index)、NDSI (Normalized Difference Soil Index)、NHFD (Non-Homogeneous Feature Difference)を含むことを特徴とするマルチスペクトル画像の画素分類装置。
- 請求項1から請求項2のいずれかにおいて、当該分類した領域に含まれる画素の実際の対象物の属性データを確認する手段として、DGPS(Differential Global Positioning System )を含む精密位置標定装置、画像表示装置、データ入力装置、演算装置、およびマルチスペクトル画像データ、マルチスペクトル画像の領域分類データ、画素グループと対象物の属性データの対応表、マルチスペクトル画像データの緯度経度データを含むデータを記憶したデータベース装置を含む構成部分より成る可搬型属性データ特定装置を用い、
当該可搬型属性データ特定装置を当該分類した領域に含まれる画素に対応する実際の対象物を直接目視確認可能な近傍になるように設置し、精密位置標定装置により設置位置の緯度経度を測定し、データベース装置内部の当該緯度経度に対応したマルチスペクトル画像データおよびマルチスペクトル画像の領域分類データを含む画像を検索して画像表示装置に表示し、
当該分類した領域に含まれる画素と実際の対象物の属性データの対応を目視確認して、データ入力装置よりその目視結果を入力することを特徴とするマルチスペクトル画像の画素分類装置。 - 請求項6において可搬型属性データ特定装置の画像表示装置の画面を視認する方向と当該分類した領域に含まれる画素と対応する実際の対象物を視認する方向が同一となるようにするために画像表示装置に方位検出器を設置し、方位検出器の検出結果に応動して表示画面を回転させ常に画面上方が、当該分類した領域に含まれる画素と対応する実際の対象物を視認する方向と同一となるようにすることを特徴とするマルチスペクトル画像の画素分類装置。
以上
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012239685A JP6060377B2 (ja) | 2012-10-31 | 2012-10-31 | 画像クラスタ分析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012239685A JP6060377B2 (ja) | 2012-10-31 | 2012-10-31 | 画像クラスタ分析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014089613A JP2014089613A (ja) | 2014-05-15 |
JP6060377B2 true JP6060377B2 (ja) | 2017-01-18 |
Family
ID=50791464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012239685A Expired - Fee Related JP6060377B2 (ja) | 2012-10-31 | 2012-10-31 | 画像クラスタ分析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6060377B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6524842B2 (ja) * | 2015-07-31 | 2019-06-05 | 富士通株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN109241866B (zh) * | 2018-08-15 | 2020-10-27 | 中国农业科学院农业资源与农业区划研究所 | 一种基于历史作物分布图的农作物自动分类方法及装置 |
CN111924101B (zh) * | 2020-08-31 | 2024-04-09 | 金陵科技学院 | 一种无人机双云台相机及其工作方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5542530B2 (ja) * | 2010-06-04 | 2014-07-09 | 株式会社日立ソリューションズ | サンプリング位置決定装置 |
-
2012
- 2012-10-31 JP JP2012239685A patent/JP6060377B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014089613A (ja) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shahtahmassebi et al. | Remote sensing of urban green spaces: A review | |
Lee et al. | Individual tree species classification from airborne multisensor imagery using robust PCA | |
AU2015324185B2 (en) | Multi-spectral image labeling with radiometric attribute vectors of image space representation components | |
US20170140205A1 (en) | Automated compound structure characterization in overhead imagery | |
JP6273473B2 (ja) | 森林情報管理装置 | |
Baron et al. | Combining image processing and machine learning to identify invasive plants in high-resolution images | |
Marcinkowska-Ochtyra et al. | Subalpine and alpine vegetation classification based on hyperspectral APEX and simulated EnMAP images | |
Kuzmin et al. | Automatic segment-level tree species recognition using high resolution aerial winter imagery | |
Quan et al. | Tree species classification in a typical natural secondary forest using UAV-borne LiDAR and hyperspectral data | |
Wang et al. | An automatic robust iteratively reweighted unstructured detector for hyperspectral imagery | |
JP2014182516A (ja) | 樹種識別装置及び樹種識別方法 | |
Effiom et al. | Combining unmanned aerial vehicle and multispectral Pleiades data for tree species identification, a prerequisite for accurate carbon estimation | |
Lefebvre et al. | Monitoring the morphological transformation of Beijing old city using remote sensing texture analysis | |
JP6060377B2 (ja) | 画像クラスタ分析装置 | |
Bin et al. | Parcel-based change detection in land-use maps by adopting the holistic feature | |
Wolfe et al. | Hyperspectral analytics in envi target detection and spectral mapping methods | |
Jusoff et al. | Mapping of individual oil palm trees using airborne hyperspectral sensing: an overview | |
Ferreira et al. | Automatic tree crown delineation in tropical forest using hyperspectral data | |
Widipaminto et al. | Roof materials identification based on pleiades spectral responses using supervised classification | |
Wolfe et al. | Hyperspectral analytics in ENVI | |
Kumar et al. | Objects detection in hyperspectral images using spectral derivative | |
Veramendi et al. | Algorithm for the countering maize plants based on UAV, digital image processing and semantic modeling | |
Sothe et al. | Automatic tuning of segmentation parameters for tree crown delineation with VHR imagery | |
CN113361355A (zh) | 联合多时相特征的遥感影像地表要素识别方法及存储介质 | |
Zhang et al. | Individual tree segmentation from UAS Lidar data based on hierarchical filtering and clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160124 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160621 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6060377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |