JP6511319B2 - 構造物の点検装置 - Google Patents
構造物の点検装置 Download PDFInfo
- Publication number
- JP6511319B2 JP6511319B2 JP2015072576A JP2015072576A JP6511319B2 JP 6511319 B2 JP6511319 B2 JP 6511319B2 JP 2015072576 A JP2015072576 A JP 2015072576A JP 2015072576 A JP2015072576 A JP 2015072576A JP 6511319 B2 JP6511319 B2 JP 6511319B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- image
- microphones
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Bridges Or Land Bridges (AREA)
- Lining And Supports For Tunnels (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Description
そこで、ハンマーとマイクロフォンとを一体に構成し、加振したときに発生する音をマイクロフォンで採取し、採取された音の周波数スペクトルと予め記憶しておいた健全部の周波数スペクトルである基準周波数スペクトルを比較することで、コンクリート構造物の剥離の有無を判定する方法が提案されている(例えば、特許文献1参照)。
また、加振による検査を定期的に行うとともに、加振したときに発生する音をマイクロフォンで採取し、採取された音の周波数特性を比較することで、コンクリート構造物の非健全部分を検出する方法も提案されている(例えば、特許文献2参照)。
また、音源を推定するための画像を作成して表示する装置として、4個のマイクロフォンM1〜M4を、互いに直交する2直線上にそれぞれ所定の間隔で配置し、第5のマイクロフォンM5をマイクロフォンM1〜M4の作る正方形を底面とする四角錐の頂点の位置に配置して成る音採取手段により、音源から伝播する音の音圧信号を検出し、対となる2つのマイクロフォン(Mi,Mj)間の位相差に相当する到達時間差Dijから音源の方向である水平角θと仰角φとを推定するとともに、音源の方向を撮影して得られた画像中に推定された音源の方向を示す図形を描画した音源推定用画像を作成して表示する音源推定用画像表示装置が知られている(例えば、特許文献3参照)。
そこで、前記特許文献3の音源推定用画像表示装置を用いて、非健全部の位置を推定することが考えられるが、音源推定用画像表示装置では、工場内などのように音源が容易に視認できる場合には有効であるが、音源である非健全部の3次元座標までは求めていないので、点検対象が橋梁やトンネルの内壁など特徴的な部分がない構造物の場合には、描画された非健全部の位置を特定することが困難であった。
このように、構造物の3次元モデルを作成してから、音源位置の3次元座標を算出したので、画像上の音源位置の3次元座標を求めることができる。
したがって、構造物に非健全部があるか否かの点検を効率よく行うことができるとともに、非健全部の位置を確実に特定することができる。
また、前記音採取手段と前記撮影手段とを搭載して前記構造物の表面に沿って移動させる第1の移動手段と、前記加振手段を搭載して前記構造物の表面に沿って移動させる第2の移動手段と、前記音採取手段と前記撮影手段が、前記加振点を向くように、前記第1及び第2の移動手段の移動を制御する制御手段を備え、音採取手段と撮影手段とを一体化した音・映像採取手段と加振手段と移動させながら、音データと映像データとを採取するようにしたので、構造物の点検効率を更に向上させることができる。
このように、先に構造物の3次元モデルを求めておいてから、音データと映像データとを採取して非健全部の3次元座標を算出しても、請求項1に記載の発明と同様に、構造物に非健全部があるか否かの点検を効率よく行うことができるとともに、非健全部の位置を確実に特定することができる。
音・映像採取装置10は、音・映像採取ユニット10Aと、第1の移動手段10Bと、雲台10Cとを備え、音・映像採取ユニット10Aは、雲台10Cを介して、第1の移動手段10Bに搭載される。
また、加振装置20は、加振手段20Aと、加振手段20Aを搭載する第2の移動手段20Bとを備える。
移動体制御装置50は、第1の移動手段10B及び第2の移動手段20Bの移動及び停止を制御するとともに、加振手段20Aの加振のタイミングを制御する。
なお、本例では、データ処理装置30を第1の移動手段10Bに搭載したが、記憶・演算装置40及び表示装置60とともに、作業エリアに設置してもよい。
図2(a),(b)は、マイクロフォンM1〜M4とカメラ12の配置例を示す図で、本例では、平面板13を円盤状とし、平面板13の中心にカメラ12を装着するとともに、マイクロフォンM1〜M4を、カメラ12を中心とする正方形の各頂点に配置した。このとき、マイクロフォンM1〜M4は、振動膜面が平面板13の一方の面(以下、前面という)13aとほぼ同じ位置になるように装着される。カメラ12は、撮影方向が前方向(平面板13の他方の面である後面13bから前面13aに向かう方向)になるように平面板13に装着される。なお、温度センサー15は、第1の移動手段10Bの部材取付部16aに装着される(図3参照)。
部材取付部16aは、例えば、板材により形成された台により構成される。
移動体16bは、例えば、部材取付部16aに連結された車輪支持脚161と、車輪支持脚161の先端側に設けられた車輪162とにより構成される。
本例では、車輪162を永久磁石材料から構成するとともに、車輪支持脚161を、柔軟関節用部材から構成することで、第1の移動手段10Bを、鋼鉄製の橋梁の主桁や構成部材に吸着しながら走行することができるようにしている。
移動体駆動手段は、モータ等の駆動源と歯車機構等の駆動力伝達機構とを備え、4個の車輪162を、独立にかつ同期させて回転駆動することで、第1の移動手段10Bを、どの方向にも移動可能としている。
支柱17aの一端には取付部18が設けられ、当該取付部18が図外のねじ等の取付手段により第1の移動手段10Bの部材取付部16aに取付けられる(図1参照)。
アーム駆動機構17bは、支柱17aの他端と連結された支持台171と、軸体172と、軸体172の両端に連結された一対のアーム173とを備え、一対のアーム173の他端が平面板13の後面側に連結されている。
支柱17aは、図外の支柱駆動手段により駆動され、アーム173は、図外のアーム駆動手段により駆動される。
これにより、音・映像採取ユニット10Aの向きを、加振方向に調整することが可能となるので、音源方向の推定精度をより向上させることができる。
加振手段20Aは、一端が取付部材21を介して第2の移動手段20Bに連結される支持軸体22と、支持軸体22の他端部に、支持軸体22の中心軸を回転中心として回転可能に取付けられた回転打撃部材23とを備える。
回転打撃部材23の外周面は、一定周期で凹凸が繰り返される凹部23aと凸部23bとが形成されており、回転打撃部材23の凸部23bが点検対象である橋梁やトンネルの内壁などの構造物表面に接触した状態で回転することによって、構造物の表面を周期的に打撃して加振する。
第2の移動手段20Bは、第1の移動手段10Bと同様の構成で、板材により形成された部材取付部26aと、車輪262及び車輪支持脚261とを有する移動体26bと、図外の移動体駆動部とを備える。
第2の移動手段20Bにおいても、車輪262を永久磁石材料から構成するとともに、車輪支持脚261を、柔軟関節用部材から構成することで、鋼鉄製の橋梁の主桁や構成部材に吸着しながら走行することができるようにしている。
例えば、製橋梁の主桁上を加振装置20の車輪262で吸着走行させながら、加振手段20Aによって、鋼製橋梁の主桁や構成部材、コンクリート床版等を打撃して加振させるとともに、当該鋼製橋梁の主桁上を音・映像採取装置10の車輪162で吸着走行させながら、加振点の方向である音源方向の音圧データ及び画像データを音・映像採取装置10で採取すればよい。
記憶手段41〜音源推定用画像作成手段44までの各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成される。
音データ入出力手段31は、増幅器31aと、A/D変換器31bとを備える。
増幅器31aは、ローパスフィルタを備え、マイクロフォンM1〜M4で採取した、音源から伝播される音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号を増幅してA/D変換器31bに出力する。
A/D変換器31bは、音圧信号をA/D変換するとともに、A/D変換された音圧信号を音圧波形データとして記憶手段41に送る。
映像入出力手段32は、カメラ12で連続的に撮影された映像信号を入力してA/D変換するとともに、A/D変換された映像信号を画像データとして記憶手段41に送る。
3次元モデル作成手段42は、カメラ12により連続的に撮影されて記憶手段41に記憶された複数の画像データを用い、周知のステレオマッチングの手法により、構造物の3次元モデルを作成する。
具体的には、図6に示すように、記憶手段41に記憶された画像データから、同じ箇所が写っている2枚の画像データを読み出し、これら2枚の画像データと、撮影時のカメラ12の位置座標とから、前記同じ箇所(共通部分)の3次元座標を算出する操作を繰り返すことで、構造物の3次元モデル3DMを作成して記憶手段41に記憶する。
なお、同じ箇所が写っている2枚の画像データとしては、例えば、時刻tkに撮影した画像Gkと、時刻tk+mに撮影した画像Gk+mとを選べばよい。
記憶手段41には、複数の画像Gk(k=1〜n)が時系列で配列されているので、橋梁などの撮影対象に特徴が乏しい場合でも、3次元モデル3DMを容易に作成することができる。なお、本例では、m=3としたが、mの値は、音・映像採取装置10と加振装置20の移動速度などにより適宜決定すればよい。
具体的には、マイクロフォンM1〜M4の音圧波形データをFFTにて周波数解析し、周波数毎にマイクロフォンM1〜M4間の位相差を求め、この求められた位相差と、温度センサー15により計測された温度を用いて算出した音速cとから音源の方向を周波数毎に算出する。
水平角θp及び仰角φpは以下の式[数1]で表わせる。
なお、音圧信号の大きさとしては、マイクロフォンM1〜M4のうちのいずれかに入力される信号の大きさとしてもよいし、マイクロフォンM1〜M4に入力される信号の大きさの平均値を用いてもよい。
音源方向推定用画像Gの横軸は水平角θで縦軸は仰角φである。
なお、(θ,φ)は、(θp,φp)を、カメラ12の位置から見た光学座標系に変換したものである。
また、本例では、予め設定された、非健全部があるときに発生する1つもしくは複数の周波数帯域の音(以下、異音という)の音源方向を示す図形のみを描画するようにしている。
例えば、構造物がコンクリートの壁の場合、当該壁に「ひび割れによる浮き」がある場合には、3150Hz〜4000Hz帯域の異音が発生し、当該壁に「空隙」がある部分では、4000Hz〜5000Hz帯域の異音が発生するので、これらの周波数帯域にある音源方向を示す図形のみを描画することにより、異音が発生しているか否かを判定することができる。
異音位置特定部45aは、3次元モデル作成手段42で作成された構造物の3次元モデルと、音源方向推定手段43で推定された音源方向のデータ(水平角θpと仰角φp)と、音源方向を推定したときのカメラ12の位置データとから、音源の位置3次元座標を算出する。具体的には、音源方向推定用画像Gに表示された音源を示す図形の中心に、例えば、図7(c)に示すような、十字マークを付けるとともに、十字マークが付けられた音源方向推定画像(以下、音源位置表示画像Gsという)と3次元モデルとを用いて、十字マークの3次元座標(xk,yk,zk)を特定する。
2次元図形作成部45bは、図6に示した構造物の3次元モデル3DMから、図7(b)に示すような、構造物の表面側から見た図面である2次元図面2DMを作成する。
音源画像作成部45cは、図7(d)に示すような、2次元図面上に音源の位置(xk,yk)を示す十字のマークを付けた音源画像Sを作成する。
なお、音源位置表示画像Gsを音源画像としてもよいが、特に、構造物が橋梁などの場合には、音源画像Sを用いる方が、音源の位置を把握し易い。
表示装置60は、液晶ディスプレイ等の表示画面60Mを備え、異音発生位置特定手段45で作成された音源画像S、もしくは、音源推定用画像作成手段44で作成された音源方向推定用画像Gと音源画像Sの2つの画像を表示画面60Mに表示する。
まず、加振装置20を、橋梁下面の所定の点検対象箇所にセットするとともに、音・映像採取装置10を、点検対象部分から所定距離だけ離れたデータ採取箇所にセットする(ステップS10)。そして、加振手段20Aにて、橋梁下面の点検対象箇所を加振するとともに、音・映像採取装置10にて加振点近傍で発生する音の音圧信号と映像とを採取する(ステップS11)。
このとき、第2の移動手段20Bを制御して、加振装置20を初期位置から点検対象箇所まで走行させて停止させた後、第1の移動手段10Bを制御して、音・映像採取装置10を初期位置からデータ採取箇所まで走行させて停止させれば、音・映像採取装置10の位置であるカメラ12の位置は、初期位置を原点とする3次元座標で表せる。
次に、マイクロフォンM1〜M4の出力信号である音圧信号を増幅してA/D変換して得られた音圧波形データを記憶手段41に保存するとともに、カメラ12の映像信号をA/D変換して得られた画像データを記憶手段41に保存する(ステップS12)。
そして、音・映像採取装置10と加振装置20を移動させながら、複数の箇所で、音の情報と映像の情報とを採取する。
具体的には、2枚の画像データから共通部分を特定するパターンマッチングにて共通部分を特定し、この共通部分の3次元座標をステレオ投影にて求める作業を、複数組について行えば、構造物の3次元モデルを作成することができる。2次元図面は、ある平面への3次元モデルの正射影として得られるが、本例では、平面を水平面としたので、3次元モデルのx座標とy座標とが2次元図面のx座標とy座標となる。
ステップS15では、採取した音圧波形データを用いて、異音の音源方向である水平角θp及び仰角φpを推定した後、音源方向のデータと画像データとを合成した音源推定用画像を作成する(ステップS16)。
なお、音源推定用画像Gを作成した後、3次元モデル及び2次元図面を作成してもよいし、音源推定用画像の作成と3次元モデル及び2次元図面の作成を同時に行ってもよい。
最後に、2次元図面上に音源の位置(xk,yk)を示す十字マークを付けた音源画像Sを作成し、音源位置表示画像Gsと音源画像Sとを表示装置60の表示画面60Mに表示をする(ステップS19)。
また、前記実施の形態では、平面板13に、マイクロフォンM1〜M4を、カメラ12を中心とする正方形の各頂点に配置した音採取手段11を用いたが、例えば、特許文献3に開示されているような、互いに交わる2つの直線上にそれぞれ所定の間隔で配置された第1及び第2のマイクロフォン対(M1,M3)及び(M2,M4)と第1及び第2のマイクロフォン対の作る平面上にない第5のマイクロフォンM5とを備えた音採取手段を用いてもよい。
また、点検対象物を加振するには、加振装置20は必ずしも必要ではなく、作業者がハンマー等の加振手段を用いて打撃してもよい。
また、構造物が小さい場合などは、音・映像採取ユニット10Aは、点検対象物上を走行させる必要はなく、地上にて移動させてもよい。
10A 音・映像採取ユニット、10B 第1の移動手段、10C 雲台、
11 音採取手段、12 カメラ、13 平面板、14 吸音材、15 温度センサー、
16a,26a 部材取付部、16b,26b 移動体、
20 加振装置、20A 加振手段、20B 第2の移動手段、
21 取付部材、22 支持軸体、23 回転打撃部材、
30 データ処理装置、31 音データ入出力手段、32 映像入出力手段、
40 記憶・演算装置、41 記憶手段、42 3次元モデル作成手段、
43 音源方向推定手段、44 音源推定用画像作成手段、
45 異音発生位置特定手段、45a 異音発生位置特定部、
45b 2次元図形作成部、45c 音源画像作成部、
50 移動体制御装置、60 表示装置、60M 表示手段、
M1〜M4 マイクロフォン。
Claims (5)
- 構造物の表面を打撃して加振する加振手段と、前記加振された構造物が発生する音の音圧信号を採取する複数のマイクロフォンを備えた音採取手段と、前記各マイクロフォンに入力する音圧信号の到達時間差から、周波数毎に、前記音の発生方向である音源方向を推定する音源方向推定手段と、打撃された点である加振点方向の映像を撮影する撮影手段とを備えた構造物の点検装置であって、
前記撮影手段で撮影された複数の画像データから前記構造物の3次元モデルを作成する3次元モデル作成手段と、
前記構造物の3次元モデルと、前記音源方向のデータと、前記音源方向を推定したときの前記撮影手段の位置データとから、前記音源位置の3次元座標を算出する音源位置算出手段とを備えることを特徴とする構造物の点検装置。 - 前記3次元モデルから、前記構造物の前記表面側から見た図面である2次元図面を作成する2次元図面作成手段と、
前記2次元図面と、前記図形の3次元座標もしくは前記音源位置算出手段で算出された音源位置とから、前記音源位置を示す図形が描画された画像を作成する音源画像作成手段とを備えることを特徴とする請求項1に記載の構造物の点検装置。 - 前記音採取手段と前記撮影手段とを搭載して前記構造物の表面に沿って移動させる第1の移動手段と、
前記加振手段を搭載して前記構造物の表面に沿って移動させる第2の移動手段と、
前記音採取手段と前記撮影手段が、前記加振点を向くように、前記第1及び第2の移動手段の移動を制御する制御手段を備えることを特徴とする請求項1または請求項2に記載の構造物の点検装置。 - 構造物の表面を打撃して加振する加振手段と、前記加振された構造物が発生する音の音圧信号を採取する複数のマイクロフォンを備えた音採取手段と、前記各マイクロフォンに入力する音圧信号の到達時間差から、周波数毎に、前記音の発生方向である音源方向を推定する音源方向推定手段と、打撃された点である加振点方向の映像を撮影する撮影手段とを備えた構造物の点検装置であって、
前記構造物の3次元モデルを記憶する記憶手段と、
前記構造物の3次元モデルと、前記音源方向のデータと、前記音源方向を推定したときの前記撮影手段の位置データとから、前記音源の3次元座標を算出する音源位置算出手段とを備え、
前記構造物の3次元モデルが、予め撮影した前記構造物の複数の画像データから作成された3次元モデルであることを特徴とする構造物の点検装置。 - 前記音採取手段が、
平面板と、前記平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない、2組のマイクロフォン対を構成する少なくとも3個のマイクロフォンを備え、
前記音源方向推定手段は、
前記各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と、温度センサーで計測した温度を用いて算出した音速とから前記音源の方向を推定することを特徴とする請求項1〜請求項4のいずれかに記載の構造物の点検装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072576A JP6511319B2 (ja) | 2015-03-31 | 2015-03-31 | 構造物の点検装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072576A JP6511319B2 (ja) | 2015-03-31 | 2015-03-31 | 構造物の点検装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016191661A JP2016191661A (ja) | 2016-11-10 |
JP6511319B2 true JP6511319B2 (ja) | 2019-05-15 |
Family
ID=57246401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015072576A Expired - Fee Related JP6511319B2 (ja) | 2015-03-31 | 2015-03-31 | 構造物の点検装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6511319B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108374336B (zh) * | 2018-04-12 | 2019-07-23 | 河海大学 | 水下圆柱桥墩无损检测的自行走仪器固定架及其使用方法 |
CN110426675A (zh) * | 2019-06-28 | 2019-11-08 | 中国计量大学 | 一种基于图像处理的声相仪声源定位结果评定方法 |
JP7362068B2 (ja) * | 2019-11-30 | 2023-10-17 | 独立行政法人国立高等専門学校機構 | コンクリート構造物に対する非破壊検査方法及び非破壊検査装置 |
JP7250281B2 (ja) * | 2019-12-12 | 2023-04-03 | 本田技研工業株式会社 | 三次元構造復元装置、三次元構造復元方法、およびプログラム |
JP7173076B2 (ja) * | 2020-03-23 | 2022-11-16 | Jfeスチール株式会社 | 打音検査装置及び打音検査方法 |
JP7315081B2 (ja) * | 2020-03-23 | 2023-07-26 | Jfeスチール株式会社 | 打音検査装置及び打音検査方法 |
CN114047479A (zh) * | 2021-11-03 | 2022-02-15 | 北京道大丰长科技有限公司 | 一种基于声波的振动定位方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11326580A (ja) * | 1998-05-15 | 1999-11-26 | Toshiba Corp | シュラウド自動検査装置 |
JP4790090B2 (ja) * | 2010-02-19 | 2011-10-12 | 西日本旅客鉄道株式会社 | 構造物管理用図面作成装置、及びその処理プログラム |
JP5702160B2 (ja) * | 2011-01-20 | 2015-04-15 | 中部電力株式会社 | 音源推定方法及び音源推定装置 |
JP5924929B2 (ja) * | 2011-12-26 | 2016-05-25 | 中日本高速道路株式会社 | フィンガージョイントの破損判定方法 |
US20140060434A1 (en) * | 2012-09-04 | 2014-03-06 | Applied Materials, Inc. | Gas injector for high volume, low cost system for epitaxial silicon depositon |
JP6253903B2 (ja) * | 2013-06-25 | 2017-12-27 | 公益財団法人鉄道総合技術研究所 | 構造物の打音評価検査装置 |
-
2015
- 2015-03-31 JP JP2015072576A patent/JP6511319B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016191661A (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6511319B2 (ja) | 構造物の点検装置 | |
JP5702160B2 (ja) | 音源推定方法及び音源推定装置 | |
JP5924929B2 (ja) | フィンガージョイントの破損判定方法 | |
JP5089198B2 (ja) | 音源位置推定システム | |
JP5253268B2 (ja) | 音源・振動源探査システム | |
JP6501673B2 (ja) | 構造物の劣化判定方法 | |
JP2013053492A (ja) | コンクリートの締固め度合い表示装置、及びコンクリートの締固め度合い表示方法 | |
US11385133B2 (en) | Vibration and noise mapping system and method | |
Durand-Texte et al. | Vibration measurement using a pseudo-stereo system, target tracking and vision methods | |
JP2004085201A (ja) | 振動源探査システム | |
JP5979755B2 (ja) | フィンガージョイントの破損判定方法 | |
JP6595201B2 (ja) | 診断装置 | |
JP6392656B2 (ja) | 音源方向推定方法 | |
JP2019011994A (ja) | 変位測定装置、変位測定方法、及びプログラム | |
JP6527368B2 (ja) | 道路橋用ジョイント部材の劣化診断方法 | |
JP2016176806A (ja) | 構造物の状態判定装置と状態判定システムおよび状態判定方法 | |
Buyukozturk et al. | Smaller than the eye can see: Vibration analysis with video cameras | |
JP4912612B2 (ja) | 音響計測装置 | |
JP2010236939A (ja) | 音源推定方法及び音源推定装置 | |
JP5826663B2 (ja) | 音響計測装置 | |
JP2011122854A (ja) | 音の到来方向判定システム及びプログラム | |
JP5462667B2 (ja) | 音源方向推定機能付き監視カメラ装置 | |
JP6491863B2 (ja) | 音源方向推定装置、及び、音源推定用画像作成装置 | |
JP6325839B2 (ja) | 構造物の劣化診断用画像作成装置 | |
JP2015161659A (ja) | 音源方向推定装置、及び、音源推定用画像の表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6511319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |