JP6217116B2 - データ処理装置、方法、およびプログラム - Google Patents
データ処理装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP6217116B2 JP6217116B2 JP2013081261A JP2013081261A JP6217116B2 JP 6217116 B2 JP6217116 B2 JP 6217116B2 JP 2013081261 A JP2013081261 A JP 2013081261A JP 2013081261 A JP2013081261 A JP 2013081261A JP 6217116 B2 JP6217116 B2 JP 6217116B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- data
- raster scan
- flag
- node data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Input (AREA)
- Image Analysis (AREA)
Description
領域分割を行う場合,前景と背景の関係によりその境界が不明確な部分が存在する可能性があり,最適な領域分割を行う必要がある。
そこで、Graph Cuts法では、画像内の各画素に付与する前景または背景を示すラベルが更新されながら、そのラベルと各画素およびそれに隣接する周囲画素の画素値とに基づいてエネルギー関数が算出される。このエネルギー関数は、前景または背景の色に似た色を持つ画素に前景または背景のラベルが付与されたときに、小さい値となるように定義される。同時に、このエネルギー関数は、各画素とそれに隣接する画素の間で異なったラベルが付与され、かつ画素間の色の差が大きいときに、小さい値となるように定義される。そして、そのエネルギー関数が最小となったときの各画素に付与されている前景または背景のラベルとして、前景と背景が領域分割される。
具体的には、画像の各画素に対応するノードと、前景領域に対応するソースと、背景領域に対応するシンクとが定義され、それらの間がエッジによって結ばれたグラフが定義される。
次に、そのグラフ上で、前述の各画素ごとのエネルギー関数に基づいて、ソースと各画素に対応する各ノード間、シンクと各ノード間、隣接する各ノード間の流量が計算される。
次に、これらの流量に基づいて、ソースからシンクに向かって同時に流れを形成することのできる複数の経路が算出される。そして、ソースから全経路に流出する流量の総和(または全経路からシンクに流入する流量の総和)が、最大流として算出される。
次に、グラフ上で、任意のエッジの組を切断して得られる、ソースを含む第1の部分グラフとシンクを含む第2の部分グラフとからなる組を、カットと呼ぶ。また、そのカットにおいて、対応する各切断エッジの部分で、第1の部分グラフに含まれるソースまたはノードから第2の部分グラフに含まれるノードまたはシンクに流れ込む流量の総和を、そのカットの容量と呼ぶ。このようにして任意のエッジの組による切断で得られるカットのうち、そのカットの容量が上述の最大流に等しくなるカットが、最小カットとして算出される。
そして、その最小カットにおける第1の部分グラフに含まれるノードに対応する画素が前景領域、第2の部分グラフに含まれるノードに対応する画素が背景領域として領域分割される。
このように、従来のPush−Relabel法では、MRFデータのラスタスキャンを膨大な回数繰り返さなければならなかったので、ソフトウェアやハードウェアとして実装した場合に処理時間が長くなってしまうという問題点を有していた。
態様のもう一例では、格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するフラグ記憶部と、前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するラスタスキャン制御部と、前記ラスタスキャン制御部によって前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するデータ処理実行部と、該データ処理によって更新されたノードデータを判定するノードデータ判定部と、前記ノードデータ判定部の判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記フラグ記憶部が記憶するフラグの状態を前記ラスタスキャンの実行を示す状態に更新するフラグ更新部と、を備え、前記2次元データは画像データであり、前記ノードデータは、前記画像データを構成する画素データから変換されたマルコフ確率場データであることを特徴とする。
態様の更に一例では、格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するフラグ記憶部と、前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するラスタスキャン制御部と、前記ラスタスキャン制御部によって前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するデータ処理実行部と、該データ処理によって更新されたノードデータを判定するノードデータ判定部と、前記ノードデータ判定部の判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記フラグ記憶部が記憶するフラグの状態を前記ラスタスキャンの実行を示す状態に更新するフラグ更新部と、を備え、前記ラスタスキャン制御部は、前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグを判定し、該フラグが前記ラスタスキャンの実行を示している場合には該ラインに対応する前記ラスタスキャンを実行し、該フラグが前記ラスタスキャンの実行を示していない場合には該ラインに対応する前記ラスタスキャンをスキップして該ラインの次のラインに対する前記フラグの判定に移行し、前記2次元データ上の全ての前記ラインに対する制御が終了したときに全ての処理を終了するか否かを判定し、該判定に基づいて、前記ラインごとの制御を繰り返し実行するか前記全ての処理を終了するかを制御し、前記全ての処理を終了するか否かの判定において、前記フラグ記憶部が記憶する全ての前記フラグが前記ラスタスキャンの実行を示していない場合に、前記全ての処理を終了することを判定する、ことを特徴とする。
このデータ処理装置101は例えば、いわゆるスマートフォンなどの携帯情報端末またはデジタルカメラとして実装されるコンピュータシステム上に実現される。
本実施形態では、このフラグ配列データ203に基づいて、以下のデータ処理が実行される。
なお、この制御プログラムは、例えば可搬記録媒体駆動装置109に挿入された可搬記録媒体110から外部記憶装置105にインストールされて実行されてもよいし、あるいは、例えば通信インタフェース106を介してインターネット上のサーバ等からダウンロード等されてインストールされ実行されてもよい。
(付記1)
格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するフラグ記憶部と、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するラスタスキャン制御部と、
前記ラスタスキャン制御部によって前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するデータ処理実行部と、
該データ処理によって更新されたノードデータを判定するノードデータ判定部と、
前記ノードデータ判定部の判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記フラグ記憶部が記憶するフラグの状態を前記ラスタスキャンの実行を示す状態に更新するフラグ更新部と、
を備えることを特徴とするデータ処理装置。
(付記2)
前記ラスタスキャン制御部は、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグを判定し、該フラグが前記ラスタスキャンの実行を示している場合には該ラインに対応する前記ラスタスキャンを実行し、該フラグが前記ラスタスキャンの実行を示していない場合には該ラインに対応する前記ラスタスキャンをスキップして該ラインの次のラインに対する前記フラグの判定に移行し、
前記2次元データ上の全ての前記ラインに対する制御が終了したときに全ての処理を終了するか否かを判定し、該判定に基づいて、前記ラインごとの制御を繰り返し実行するか前記全ての処理を終了するかを制御する、
ことを特徴とする付記1に記載のデータ処理装置。
(付記3)
前記ラスタスキャン制御部は、
前記ラインに対応する前記フラグが前記ラスタスキャンの実行を示している場合には、前記ノードデータを記憶するメモリに対して、該ラインの先頭に対応するアドレスから該ライン分のアドレスを順次指定することにより、前記メモリの前記順次指定したアドレスから前記ノードデータを順次読み出させる動作として、前記ラスタスキャンを実行する、
ことを特徴とする付記2に記載のデータ処理装置。
(付記4)
前記ラスタスキャン制御部は、前記全ての処理を終了するか否かの判定において、前記フラグ記憶部が記憶する全ての前記フラグが前記ラスタスキャンの実行を示していない場合に、前記全ての処理を終了することを判定する、
ことを特徴とする付記2または3のいずれかに記載のデータ処理装置。
(付記5)
前記ラスタスキャン制御部は、全ての処理の開始時に、前記フラグ記憶部が記憶する全ての前記フラグの状態を前記ラスタスキャンの実行を示す状態に初期設定する、
ことを特徴とする付記1ないし4のいずれかに記載のデータ処理装置。
(付記6)
前記データ処理実行部は、
前記ラスタスキャン制御部による前記ラスタスキャンに従って、前記ラインを構成する前記各ノードデータを順次抽出し、
該抽出したノードデータが前記データ処理の対象である場合に、該抽出したノードデータおよび該抽出したノードデータに関連するノードデータに対する前記データ処理を実行し、その後に次のノードデータの抽出に移行し、
該抽出したノードデータが前記データ処理の対象ではない場合に、次のノードデータの抽出に移行する、
ことを特徴とする付記1ないし5のいずれかに記載のデータ処理装置。
(付記7)
前記データ処理は、前記各ノードデータを含んで構成されるグラフデータ上のソースからシンクへの最大流を算出するための複数の経路を算出するPush−Relabel法による処理である、
ことを特徴とする付記1ないし6のいずれかに記載のデータ処理装置。
(付記8)
前記2次元データは画像データであり、前記ノードデータは、前記画像データを構成する画素データから変換されたマルコフ確率場データである、
ことを特徴とする付記1ないし7のいずれかに記載のデータ処理装置。
(付記9)
格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶し、
前記ラインごとに、該ラインに対応する前記記憶したフラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御し、
前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行し、
該データ処理によって更新されたノードデータを判定し、
前記ノードデータの判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記記憶しているフラグの状態を前記ラスタスキャンの実行を示す状態に更新する、
ことを特徴とするデータ処理方法。
(付記10)
格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するステップと、
前記ラインごとに、該ラインに対応する前記記憶したフラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するステップと、
前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するステップと、
該データ処理によって更新されたノードデータを判定するステップと、
前記ノードデータの判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記記憶しているフラグの状態を前記ラスタスキャンの実行を示す状態に更新するステップと、
をコンピュータに実行させるためのプログラム。
102 CPU
103 ROM
104 RAM
105 外部記憶装置
106 通信インタフェース
107 入力装置
108 表示装置
109 可搬記録媒体駆動装置
110 可搬記録媒体
111 バス
112 撮像装置
201 nodeデータ
202 ライン
203 フラグ配列データ
401 フラグレジスタ
402 アドレス生成回路
403 RAM
404 Push−Relabel演算回路
405 nodeデータ判定回路
Claims (9)
- 格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するフラグ記憶部と、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するラスタスキャン制御部と、
前記ラスタスキャン制御部によって前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するデータ処理実行部と、
該データ処理によって更新されたノードデータを判定するノードデータ判定部と、
前記ノードデータ判定部の判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記フラグ記憶部が記憶するフラグの状態を前記ラスタスキャンの実行を示す状態に更新するフラグ更新部と、を備え、
前記データ処理は、前記各ノードデータを含んで構成されるグラフデータ上のソースからシンクへの最大流を算出するための複数の経路を算出するPush−Relabel法による処理であることを特徴とするデータ処理装置。 - 格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するフラグ記憶部と、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するラスタスキャン制御部と、
前記ラスタスキャン制御部によって前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するデータ処理実行部と、
該データ処理によって更新されたノードデータを判定するノードデータ判定部と、
前記ノードデータ判定部の判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記フラグ記憶部が記憶するフラグの状態を前記ラスタスキャンの実行を示す状態に更新するフラグ更新部と、を備え、
前記2次元データは画像データであり、前記ノードデータは、前記画像データを構成する画素データから変換されたマルコフ確率場データであることを特徴とするデータ処理装置。 - 前記ラスタスキャン制御部は、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグを判定し、該フラグが前記ラスタスキャンの実行を示している場合には該ラインに対応する前記ラスタスキャンを実行し、該フラグが前記ラスタスキャンの実行を示していない場合には該ラインに対応する前記ラスタスキャンをスキップして該ラインの次のラインに対する前記フラグの判定に移行し、
前記2次元データ上の全ての前記ラインに対する制御が終了したときに全ての処理を終了するか否かを判定し、該判定に基づいて、前記ラインごとの制御を繰り返し実行するか前記全ての処理を終了するかを制御する、
ことを特徴とする請求項1または2に記載のデータ処理装置。 - 前記ラスタスキャン制御部は、
前記ラインに対応する前記フラグが前記ラスタスキャンの実行を示している場合には、前記ノードデータを記憶するメモリに対して、該ラインの先頭に対応するアドレスから該ライン分のアドレスを順次指定することにより、前記メモリの前記順次指定したアドレスから前記ノードデータを順次読み出させる動作として、前記ラスタスキャンを実行する、
ことを特徴とする請求項3に記載のデータ処理装置。 - 格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するフラグ記憶部と、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するラスタスキャン制御部と、
前記ラスタスキャン制御部によって前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するデータ処理実行部と、
該データ処理によって更新されたノードデータを判定するノードデータ判定部と、
前記ノードデータ判定部の判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記フラグ記憶部が記憶するフラグの状態を前記ラスタスキャンの実行を示す状態に更新するフラグ更新部と、を備え、
前記ラスタスキャン制御部は、
前記ラインごとに、前記フラグ記憶部が記憶する該ラインに対応する前記フラグを判定し、該フラグが前記ラスタスキャンの実行を示している場合には該ラインに対応する前記ラスタスキャンを実行し、該フラグが前記ラスタスキャンの実行を示していない場合には該ラインに対応する前記ラスタスキャンをスキップして該ラインの次のラインに対する前記フラグの判定に移行し、
前記2次元データ上の全ての前記ラインに対する制御が終了したときに全ての処理を終了するか否かを判定し、該判定に基づいて、前記ラインごとの制御を繰り返し実行するか前記全ての処理を終了するかを制御し、
前記全ての処理を終了するか否かの判定において、前記フラグ記憶部が記憶する全ての前記フラグが前記ラスタスキャンの実行を示していない場合に、前記全ての処理を終了することを判定する、
ことを特徴とするデータ処理装置。 - 前記ラスタスキャン制御部は、全ての処理の開始時に、前記フラグ記憶部が記憶する全ての前記フラグの状態を前記ラスタスキャンの実行を示す状態に初期設定する、
ことを特徴とする請求項1ないし5のいずれかに記載のデータ処理装置。 - 前記データ処理実行部は、
前記ラスタスキャン制御部による前記ラスタスキャンに従って、前記ラインを構成する前記各ノードデータを順次抽出し、
該抽出したノードデータが前記データ処理の対象である場合に、該抽出したノードデータおよび該抽出したノードデータに関連するノードデータに対する前記データ処理を実行し、その後に次のノードデータの抽出に移行し、
該抽出したノードデータが前記データ処理の対象ではない場合に、次のノードデータの抽出に移行する、
ことを特徴とする請求項1ないし6のいずれかに記載のデータ処理装置。 - 格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶し、
前記ラインごとに、該ラインに対応する前記記憶したフラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御し、
前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行し、
該データ処理によって更新されたノードデータを判定し、
前記ノードデータの判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記記憶しているフラグの状態を前記ラスタスキャンの実行を示す状態に更新する、ことを特徴とするデータ処理方法であって、
前記データ処理は、前記各ノードデータを含んで構成されるグラフデータ上のソースからシンクへの最大流を算出するための複数の経路を算出するPush−Relabel法による処理であることを特徴とするデータ処理方法。 - 格子構造を有する2次元データを構成する各ノードデータのラインごとに、該ラインに対するラスタスキャンを実行するか否かを示すフラグを記憶するステップと、
前記ラインごとに、該ラインに対応する前記記憶したフラグに基づいて該ラインに対応するラスタスキャンを実行するかスキップするかを制御するステップと、
前記ラスタスキャンが実行された前記ライン上の前記各ノードデータに対して、データ処理を実行するステップと、
該データ処理によって更新されたノードデータを判定するステップと、
前記ノードデータの判定結果に基づき次回のラスタスキャンのために値が更新されたノードデータが含まれるラインに対応する前記記憶しているフラグの状態を前記ラスタスキャンの実行を示す状態に更新するステップと、をコンピュータに実行させるためのプログラムであって、
前記2次元データは画像データであり、前記ノードデータは、前記画像データを構成する画素データから変換されたマルコフ確率場データであることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013081261A JP6217116B2 (ja) | 2013-04-09 | 2013-04-09 | データ処理装置、方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013081261A JP6217116B2 (ja) | 2013-04-09 | 2013-04-09 | データ処理装置、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014203386A JP2014203386A (ja) | 2014-10-27 |
JP6217116B2 true JP6217116B2 (ja) | 2017-10-25 |
Family
ID=52353744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013081261A Expired - Fee Related JP6217116B2 (ja) | 2013-04-09 | 2013-04-09 | データ処理装置、方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6217116B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157854A (ja) * | 2003-11-27 | 2005-06-16 | Canon Inc | 画像処理方法、および、装置 |
JP5137243B2 (ja) * | 2008-03-26 | 2013-02-06 | 富士フイルム株式会社 | 対象領域抽出装置および方法ならびにプログラム |
-
2013
- 2013-04-09 JP JP2013081261A patent/JP6217116B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014203386A (ja) | 2014-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6435740B2 (ja) | データ処理システム、データ処理方法およびデータ処理プログラム | |
JP2014010621A (ja) | 最適画像サイズによる画像領域分割装置、方法、およびプログラム | |
CN112734641A (zh) | 目标检测模型的训练方法、装置、计算机设备及介质 | |
JP6422250B2 (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体 | |
CN112771578B (zh) | 使用细分缩放和深度上缩放的图像生成 | |
JP6619034B2 (ja) | ホモグラフィの修正 | |
JP5700968B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20150332435A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
CN111681165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
CN112446951B (zh) | 三维重建方法、装置、电子设备及计算机存储介质 | |
CN112149745B (zh) | 确定难例样本的方法、装置、设备及存储介质 | |
CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
CN113506305A (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
CN111161289B (zh) | 图像中物体轮廓精度提升方法、装置 | |
CN112614149A (zh) | 基于实例分割的语义合成方法 | |
JP6217116B2 (ja) | データ処理装置、方法、およびプログラム | |
CN117897723A (zh) | 用于学习局部图像增强的色调曲线的系统和方法 | |
JP6044138B2 (ja) | 画像領域分割装置、方法、およびプログラム | |
CN111754518B (zh) | 图像集合的扩充方法、装置及电子设备 | |
US11037311B2 (en) | Method and apparatus for augmenting data in monitoring video | |
JP7408973B2 (ja) | 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム | |
JP6764983B1 (ja) | 建物形状設定装置及びプログラム | |
JP6116271B2 (ja) | 特徴量算出装置、方法及びプログラム | |
JP6044130B2 (ja) | 画像領域分割装置、方法、およびプログラム | |
JP6331914B2 (ja) | アルゴリズム生成装置、アルゴリズム生成方法及びアルゴリズム生成用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6217116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |