JP7276016B2 - 非接触計測装置 - Google Patents

非接触計測装置 Download PDF

Info

Publication number
JP7276016B2
JP7276016B2 JP2019161340A JP2019161340A JP7276016B2 JP 7276016 B2 JP7276016 B2 JP 7276016B2 JP 2019161340 A JP2019161340 A JP 2019161340A JP 2019161340 A JP2019161340 A JP 2019161340A JP 7276016 B2 JP7276016 B2 JP 7276016B2
Authority
JP
Japan
Prior art keywords
image
metal material
change
amount
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019161340A
Other languages
English (en)
Other versions
JP2021039032A (ja
Inventor
幸次 荒川
信弥 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2019161340A priority Critical patent/JP7276016B2/ja
Publication of JP2021039032A publication Critical patent/JP2021039032A/ja
Application granted granted Critical
Publication of JP7276016B2 publication Critical patent/JP7276016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、非接触計測装置に関する。
金属材料の変位量や変形量(以下、単に「変化量」という。)を、デジタル画像相関法を用いて非接触で計測する方法がある。
上記方法では、金属材料にランダムな模様を塗装し、変化前の前記模様の画像と変化後の前記模様の画像とに対してデジタル画像相関法を適用することにより金属材料の変化量を計測する場合がある。
特開2010-203999号公報
ただし、金属材料に塗装された模様は、ある一定以上伸びると剥げてしまい、金属材料の変化量を正確に計測することができない場合がある。
本発明は、このような事情に鑑みてなされたもので、その目的は、金属材料の変化量を従来よりも正確に計測することができる非接触計測装置を提供することである。
(1)本発明の一態様は、金属材料の表面に形成されている模様を撮像する撮像装置と、前記撮像装置により撮像された撮像画像に基づいて、デジタル画像相関法により前記金属材料の変化量を計測する変化量計測部と、を備え、前記模様は、前記金属材料に含まれる結晶粒の形に由来する模様及び前記金属材料に含まれる化合物からなる模様の少なくともいずれかであることを特徴とする、非接触計測装置である。
(2)上記(1)の非接触計測装置であって、前記撮像装置は、前記撮像画像を前記金属材料の変化前後で撮像し、前記変化量計測部は、前記撮像装置により撮像された前記変化前の撮像画像である第1の画像と、前記撮像装置により撮像された前記変化後の撮像画像である第2の画像と、に対してデジタル画像相関法を適用することにより前記変化量を計測してもよい。
(3)上記(1)又は(2)の非接触計測装置であって、前記化合物は、前記金属材料の介在物を含んでもよい。
(4)上記(2)又は上記(3)の非接触計測装置であって、前記変化量計測部は、第1の画像において前記化合物が所定値以上含まれる領域を所定の領域として設定し、前記金属材料が変化した後の前記所定の領域の位置を第2の画像内の領域からデジタル画像相関法により特定し、前記所定の領域の変化量を前記金属材料の変化量として計測してもよい。
以上説明したように、本発明によれば、金属材料の変化量を従来よりも正確に計測することができる。
本実施形態に係る非接触計測装置1の概略構成の一例を示す図である。 本実施形態に係る撮像装置2が撮像した金属材料Wの溶接部に含まれる化合物からなる模様Pの一例である。 本実施形態に係る表示装置4及び情報処理装置5の概略構成図。 本実施形態に係る非接触計測装置1の動作の流れを説明する図である。 本実施形態に係るデジタル画像相関法の一例について説明する図である。
以下、本実施形態に係る非接触計測装置を、図面を用いて説明する。
本実施形態に係る非接触計測装置1は、被計測物である金属材料Wの表面に形成された模様Pを撮像し、その撮像画像に対してデジタル画像相関法(Digital Image Correlation)を適用することにより金属材料Wが変化した量(変化量)を計測する。ここで、変化とは、金属材料Wの状態が変化することであり、例えば、外力による金属材料Wの変形や変位である。金属材料Wに外力を与える場合とは、例えば、金属材料Wに対して曲げ試験や引張・圧縮等の強度試験を行う場合である。したがって、金属材料Wの変化前とは、例えば、強度試験を行う場合に外力を金属材料Wに与える前である。一方、金属材料Wの変化後とは、例えば、強度試験を行う場合に外力を金属材料Wに与えた後である。
模様Pは、金属材料Wに含まれる結晶粒の形に由来する模様及び金属材料Wに含まれる化合物からなる模様の少なくともいずれかである。金属材料Wに含まれる金属結晶の結晶粒の形に由来する模様は、例えば、金属結晶の結晶粒界によって形成された模様であって、当然に面心立方格子構造などの結晶構造の意味するものではない。
例えば、金属材料Wは、炭素鋼である。また、金属材料Wは、金属結晶の成長がランダムに発生する材料であってもよい。例えば、金属材料Wは、ニッケル基系合金やアルミニウム系合金である。
模様Pが金属材料Wに含まれる化合物からなる模様である場合には、例えば、金属材料Wは、母材である第1の金属材料と溶接部材である第2の金属材料とが溶接により接合した構造体である。この場合には、溶接が施された部分(以下、「溶接部」という。)には、化合物がランダムに点在する。したがって、金属材料Wに含まれる化合物からなる模様とは、例えば、溶接部において、溶接金属に含まれる化合物がランダムに点在することで溶接部の表面に現れた模様である。化合物は、介在物であってもよいし、析出物であってもよいし、その両方であってもよい。
以下において、本実施形態に係る非接触計測装置1の概略構成を、図1を用いて説明する。図1は、本実施形態に係る非接触計測装置1の概略構成の一例を示す図である。
非接触計測装置1は、撮像装置2、冶具3、表示装置4及び情報処理装置5を備える。例えば、撮像装置2及び表示装置4は、いわゆるマイクロスコープ(デジタル顕微鏡)であってよい。
撮像装置2は、金属材料Wの表面に形成されている模様Pを撮像する。具体的には、撮像装置2は、所定の拡大率(以下、「所定の倍率」という。)で模様Pを撮像する。ここで、上記金属結晶や上記化合物のサイズは、数マイクロ~数百マイクロメートル程度である場合が多い。したがって、上記所定の倍率は、数百マイクロ~数マイクロメートル程度の大きさの上記金属結晶や上記化合物からなる模様が撮像可能な倍率であることが望ましい。
例えば、撮像装置2は、図2に示す模様Pを撮像する。図2は、撮像装置2が撮像した金属材料Wの溶接部に含まれる化合物からなる模様Pの一例である。図2に示す例では、模様Pは、溶接部に含まれる介在物I(黒く映っている物体)がランダムに点在することで溶接部の表面に現れた点在模様である。
撮像装置2は、同一の位置及び同一の倍率において、模様Pの撮像画像を金属材料Wの変化前後で撮像する。
本実施形態に係る撮像装置2は、光学系21及び撮像部22を備える。
光学系21は、照明装置及びレンズユニットを備える。光学系21では、前記照明装置から金属材料Wに照射した光の反射光を、前記レンズユニットで集光して所定の倍率で結像させる。例えば、前記レンズユニットは、対物レンズ及びズームレンズを備える。なお、対物レンズ及びズームレンズは、それぞれ公知の技術であるため、説明を省略する。
撮像部22は、所定の倍率で拡大された上記結像を撮像することにより、模様Pの画像データを生成する。例えば、撮像部22は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子である。撮像部22は、撮像素子で生成されたアナログの画像データをデジタルの画像データ(以下、「撮像画像」という。」)に変換して、表示装置4に送信する。
ここで、光学系21は、光学顕微鏡や電子顕微鏡等の顕微鏡であってもよい。撮像部22は、カメラであって、例えば、スマートフォンやタブレット端末であってもよい。
冶具3は、可動ホルダー31及び可動ステージ32を備える。
可動ホルダー31は、対物レンズの中心軸の方向(X方向)に垂直な方向(以下、「Z方向」という。)に移動可能に撮像装置2を保持する保持手段である。本実施形態に係るZ方向は、鉛直方向である。例えば、可動ホルダー31には、第1の位置調整部が取り付けられており、当該第1の位置調整部がユーザにより操作されることによって撮像装置2のZ軸方向の位置を調整可能である。
可動ステージ32は、Z方向に交差する面(以下、XY平面)内において、撮像装置2を移動可能である。具体的には、可動ステージ32には、第2の位置調整部が取り付けられており、当該第2の位置調整部がユーザにより操作されることによってXY平面内における撮像装置2の位置を調整することができる。
次に、表示装置4及び情報処理装置5の構成について、図3を用いて説明する。図3は、本実施形態に係る表示装置4及び情報処理装置5の概略構成図である。
まず、本実施形態に係る表示装置4の構成について説明する。
表示装置4は、表示部41、操作部42及び表示制御部43を備える。例えば、表示装置4は、撮像部22をさらに備えたスマートフォンやタブレット端末であってもよい。
表示部41は、種々の情報を表示可能であって、例えば、液晶パネルや有機EL等を有する。
操作部42は、ユーザからの操作を受け付ける。操作部42は、キーボード、各種入力ボタンやスイッチ、ジョイスティック、表示部41の表示画面に対するポイント操作に用いられるマウス等のポインティングデバイス等の入力デバイスを備える。操作部42は、ユーザからの操作を受け付けると、その操作に応じた信号を表示制御部43に出力する。例えば、操作部42は、上記入力デバイスを介して入力された信号を受け付け、表示制御部43に出力する。
ユーザは、操作部42を操作することにより、撮像装置2が撮像した撮像画像の中から第1の画像及び第2の画像を選択することができる。すなわち、操作部42は、ユーザからの操作に基づいて、撮像装置2から送信された撮像画像のうち、第1の画像及び第2の画像を選択する。第1の画像とは、金属材料Wの状態が変化する前の撮像画像である。第2の画像とは、金属材料Wの状態が変化した後の撮像画像である。さらに、ユーザは、操作部42を操作することにより上記所定の倍率を変更可能である。
表示制御部43は、撮像装置2から送信される撮像画像を表示装置4に表示する。
表示制御部43は、ユーザの操作に基づいて操作部42が選択した第1の画像及び第2の画像を情報処理装置5に送信する。表示制御部43は、CPU又はMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。
情報処理装置5は、画像取得部51及び変化量計測部52を備える。情報処理装置5は、CPU又はMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。例えば、情報処理装置5は、コンピュータである。
画像取得部51は、表示制御部43から第1の画像及び第2の画像を取得する。
変化量計測部52は、画像取得部51が取得した第1の画像及び第2の画像に対して、公知のデジタル画像相関法を適用することにより金属材料Wの変化前後での模様Pの変化を金属材料Wの変化量として計測する。
このように、変化量計測部52は、撮像装置2により撮像された金属材料Wの変化前の撮像画像である第1の画像と、撮像装置2により撮像された金属材料Wの変化後の撮像画像である第2の画像と、に対してデジタル画像相関法を適用することにより金属材料Wの変化量を計測する。
以下に、本実施形態に係る非接触計測装置1の動作の流れについて、図4を用いて説明する。図4は、本実施形態に係る非接触計測装置1の動作の流れを説明する図である。
非接触計測装置1は、金属材料Wの変化前において、所定の倍率で模様Pを撮像して、第1の画像を取得する(ステップS101)。例えば、撮像装置2は、所定の倍率で模様Pを撮像して、その撮像した撮像画像を表示装置4に送信する。表示装置4の表示制御部43は、操作部42に対して第1の操作が行われた場合には、表示部41に表示されている撮像画像を第1の画像として情報処理装置5に出力する。ここで、第1の操作は、上記入力デバイスへの操作であり、例えば、表示部41の表示画面に対するポイント操作である。
非接触計測装置1は、金属材料Wの変化後において、上記所定の倍率で模様Pを撮像して、第2の画像を取得する(ステップS102)。例えば、撮像装置2は、所定の倍率で模様Pを撮像して、その撮像した撮像画像を表示装置4に送信する。表示装置4の表示制御部43は、操作部42に対して第1の操作とは異なる第2の操作が行われた場合には、表示部41に表示されている撮像画像を第2の画像として情報処理装置5に出力する。ここで、第2の操作は、上記入力デバイスへの操作であり、例えば、表示部41の表示画面に対するポイント操作である。
なお、ステップS102における撮像装置2の位置及び撮像画像の倍率は、ステップS101における撮像装置2の位置及び撮像画像の倍率と同一である。すなわち、金属材料Wの変化前後において、撮像装置2の位置及び撮像画像の倍率は変更されない。
変化量計測部52は、表示装置4から取得した第1の画像及び第2の画像に対して、公知のデジタル画像相関法を適用することにより金属材料Wの変化前後での模様Pの変化を金属材料Wの変化量として計測する(ステップS103)。このように、本実施形態の非接触計測装置1は、金属材料Wの結晶模様や化合物からなる模様を用いてデジタル画像相関法を適用することで属材料Wの変化量を非接触で計測する。これにより、被計測物である金属材料Wの変化量を非接触で計測するにあたって、金属材料Wに所定のランダムパターンの模様を塗布する必要がない。したがって、塗装が剥げてしまう事象がそもそも起こり得ず、非接触計測装置1は、金属材料Wの変化量を従来よりも正確に計測することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
(変形例1)上記実施形態では、変化量計測部52は、操作部42に対する操作に応じて金属材料Wの変化前後の画像(第1の画像及び第2の画像)を取得したが、これに限定されない。変化量計測部52は、第1の画像及び第2の画像を取得できればよく、その取得方法には特に限定されない。例えば、変化量計測部52は、時刻tのときの撮像画像を第1の画像として取得し、時刻tから所定時間Δt後の時刻t+Δtのときの撮像画像を第2の画像として取得してもよい。
(変形例2)上記実施形態では、変化量計測部52は、第1の画像及び第2の画像に対して、公知のデジタル画像相関法を適用することにより金属材料Wの変化前後での模様Pの変化を金属材料Wの変化量として計測したが、これに限定されない。例えば、変化量計測部52は、デジタル画像相関法を用いた以下の方法により金属材料Wの変化量を計測してもよい。
例えば、図5に示すように、変化量計測部52は、第1の画像において、第1の領域C1を設定する(図5(a))。ここで、第1の領域C1は、化合物が1以上含まれる領域である。例えば、変化量計測部52は、第1の画像において、化合物が所定値以上含まれる領域を第1の領域C1として設定する。変化量計測部52は、第1の領域C1を設定すると、金属材料Wが変化した後の第1の領域C1の位置である第2の領域C2を第2の画像内の領域からデジタル画像相関法により特定する(図5(b))。すなわち、変化量計測部52は、デジタル画像相関法により第1の領域C1におけるサブセットHと同じ輝度体情報を有する位置を変化後画像から探索することで第2の領域C2を特定する。変化量計測部52は、第1の領域C1から第2の領域C2への変化量を、金属材料Wの変化量として計測する。
(変形例3)上記実施形態では、撮像装置2は、可動ホルダー31の第1の位置調整部がユーザにより操作されることによってZ軸方向の位置が調整されたが、これに限定されない。また、撮像装置2は、可動ステージ32の第2の位置調整部がユーザにより操作されることによってXY平面内における撮像装置2の位置が調整されたが、これに限定されない。例えば、非接触計測装置1は、可動ホルダー31及び可動ステージ32のそれぞれを駆動する機能を備えてもよい。例えば、非接触計測装置1は、第1の画像を取得するにあたって、金属材料Wの変化前において、撮像装置2をZ方向及びY方向(XZ平面に垂直な方向)を走査して撮像装置2の位置ごとに複数の撮像画像を取得する。なお、各撮像画像は、撮像画像を撮像したときの撮像装置2の位置情報がそれぞれ関連付けられている。そして、非接触計測装置1(表示制御部43又は変化量計測部52)は、金属材料Wの変化前において、複数の撮像画像のうち、介在物等の化合物が最も多い撮像画像を第1の画像に選択し、当該第1の画像に関連付けられた位置情報が示す位置に撮像装置2を移動させてもよい。
(変形例4)本実施形態では、表示装置4及び情報処理装置5は、別体である場合について説明したが、一体で構成されてもよい。例えば、表示装置4及び情報処理装置5は、一つのコンピュータとして構成されてもよい。当該コンピュータは、第1の画像及び第2の画像に対してデジタル画像相関法を適用することにより金属材料Wの変化量を求める各種処理を行うプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。
以上、説明したように、本実施形態に係る非接触計測装置1は、金属材料Wの結晶粒の形に由来する模様及び金属材料Wに含まれる化合物からなる模様の少なくともいずれかの模様Pを撮像する撮像装置と、撮像装置により撮像された撮像画像に基づいて、デジタル画像相関法により金属材料Wの変化量を計測する情報処理装置5と、を備える。
このような構成によれば、金属材料Wに所定のランダムパターンの模様を塗布する必要がなく、金属材料Wの変化量を従来よりも正確に計測することができる。
1 非接触計測装置
2 撮像装置
4 表示装置
5 情報処理装置
52 変化量計測部

Claims (3)

  1. 金属材料の表面に形成されている模様を撮像する撮像装置と、
    前記撮像装置により撮像された撮像画像に基づいて、デジタル画像相関法により前記金属材料の変化量を計測する変化量計測部と、
    を備え、
    前記模様は、前記金属材料に含まれる化合物からなる模様であり、
    前記撮像装置は、前記撮像画像を前記金属材料の変化前後で撮像し、
    前記変化量計測部は、前記撮像装置により撮像された前記変化前の撮像画像である第1の画像と、前記撮像装置により撮像された前記変化後の撮像画像である第2の画像と、に対してデジタル画像相関法を適用することにより前記変化量を計測し、
    前記第1の画像として、複数の位置で撮像された複数の前記撮像画像のうち前記化合物が最も多い撮像画像を採用することを特徴とする、非接触計測装置。
  2. 前記化合物は、前記金属材料の介在物を含むことを特徴とする、請求項1に記載の非接触計測装置。
  3. 前記変化量計測部は、第1の画像において前記化合物が所定値以上含まれる領域を所定の領域として設定し、前記金属材料が変化した後の前記所定の領域の位置を第2の画像内の領域からデジタル画像相関法により特定し、前記所定の領域の変化量を前記金属材料の変化量として計測することを特徴とする、請求項1又は請求項2に記載の非接触計測装置。
JP2019161340A 2019-09-04 2019-09-04 非接触計測装置 Active JP7276016B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019161340A JP7276016B2 (ja) 2019-09-04 2019-09-04 非接触計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019161340A JP7276016B2 (ja) 2019-09-04 2019-09-04 非接触計測装置

Publications (2)

Publication Number Publication Date
JP2021039032A JP2021039032A (ja) 2021-03-11
JP7276016B2 true JP7276016B2 (ja) 2023-05-18

Family

ID=74848567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019161340A Active JP7276016B2 (ja) 2019-09-04 2019-09-04 非接触計測装置

Country Status (1)

Country Link
JP (1) JP7276016B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085156A (ja) 2012-10-19 2014-05-12 Mitsubishi Heavy Ind Ltd ひずみ計測方法及びひずみ計測システム
JP2017170955A (ja) 2016-03-18 2017-09-28 本田技研工業株式会社 車体前部構造
JP2017203685A (ja) 2016-05-11 2017-11-16 株式会社東芝 照射材料の劣化診断方法及びその劣化診断装置
WO2018061321A1 (ja) 2016-09-27 2018-04-05 国立研究開発法人産業技術総合研究所 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62170804A (ja) * 1986-01-23 1987-07-27 Mitsubishi Heavy Ind Ltd 鋼材等の歪量検知方法
JP3337285B2 (ja) * 1993-10-13 2002-10-21 三菱重工業株式会社 サブマージアーク溶接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085156A (ja) 2012-10-19 2014-05-12 Mitsubishi Heavy Ind Ltd ひずみ計測方法及びひずみ計測システム
JP2017170955A (ja) 2016-03-18 2017-09-28 本田技研工業株式会社 車体前部構造
JP2017203685A (ja) 2016-05-11 2017-11-16 株式会社東芝 照射材料の劣化診断方法及びその劣化診断装置
WO2018061321A1 (ja) 2016-09-27 2018-04-05 国立研究開発法人産業技術総合研究所 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム

Also Published As

Publication number Publication date
JP2021039032A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP5095644B2 (ja) 画像計測装置及びコンピュータプログラム
KR100969413B1 (ko) 압흔 경도 시험 시스템
JP2022091853A5 (ja)
US10809515B2 (en) Observation method and specimen observation apparatus
JP2018066740A5 (ja)
US9383569B2 (en) Magnification observation device
JP2017527137A (ja) 遠隔視覚検査画像捕捉システムおよび方法
JP5997989B2 (ja) 画像測定装置、その制御方法及び画像測定装置用のプログラム
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
JP2017110991A (ja) 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
US20130047712A1 (en) Hardness tester
WO2009088053A1 (ja) 測定装置および方法、並びに、プログラム
JP2014202751A (ja) エッジ分解能強化に利用されるオフセットを有する画像を取得するシステム及び方法
JP6141084B2 (ja) 撮像装置
EP2796916A1 (en) Image processing device, imaging device, microscope system, image processing method, and image processing program
JP6147079B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
US7869706B2 (en) Shooting apparatus for a microscope
JP5893314B2 (ja) 表示装置および顕微鏡システム
JP2016114795A (ja) 顕微鏡システム、設定値算出方法、及び、プログラム
JP7276016B2 (ja) 非接触計測装置
JP2018017969A (ja) 顕微鏡システム、情報提示方法、プログラム
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
US20150301329A1 (en) Image acquiring method and image acquiring apparatus using the same
JPWO2017130521A1 (ja) 制御装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151