JP6624369B2 - 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム - Google Patents
画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP6624369B2 JP6624369B2 JP2015194410A JP2015194410A JP6624369B2 JP 6624369 B2 JP6624369 B2 JP 6624369B2 JP 2015194410 A JP2015194410 A JP 2015194410A JP 2015194410 A JP2015194410 A JP 2015194410A JP 6624369 B2 JP6624369 B2 JP 6624369B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- observation
- super
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 167
- 238000004590 computer program Methods 0.000 title claims description 13
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims description 59
- 230000001575 pathological effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 33
- 238000010586 diagram Methods 0.000 description 28
- 230000014509 gene expression Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 239000002609 medium Substances 0.000 description 7
- 238000010827 pathological analysis Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
医療における診断業務の目的は病名と病状の把握である。把握された病名または病状に応じて治療方針が決定される。病名または病状を確定するために、病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。病理診断では、摘出した検体を顕微鏡で観察できる厚さにスライスすることにより標本が作製される。近年では、標本は顕微鏡越しにデジタルカメラまたはスキャナで撮影され、デジタル画像として保存および参照される。
(a)第1領域に含まれる第1の位置に対する複数の候補位置を選択し、
前記複数の候補位置は前記第1領域と異なる第2領域に含まれ、
前記第1領域と前記第2領域は第1画像に含まれ、
前記複数の候補位置は第1の候補位置を含み、
前記第1の候補位置は、第1の複数の画素値に対応し、
(b)前記第1の複数の画素値が含まれる領域の画像特徴情報を決定し、
(c)前記第1画像と異なる画像に対する観察位置の変更履歴を示す履歴情報を取得し、
(d)前記画像特徴情報と前記履歴情報に基づいて前記複数の候補位置に含まれる一つを決定し、
前記第2領域は第3領域を含み、
前記第1の複数の画素値は、前記第3領域に含まれる複数の位置に一対一対応し、
前記第1画像の種類に対応する分類方法を用いて、前記第1の複数の画素値は分類され、
前記分類結果に基づいて、前記第1の複数の画素値の画像特徴情報が決定される。
本明細書では、以下のように用語を定義する。
本実施の形態では、少なくとも画像特徴を内包する特徴量に基づいて病理医が次に観察する画像上の位置と画像の倍率とを推定して、画像の当該位置を当該倍率で表示する画像表示装置を説明する。
(数1)
v^=(a^,b^,z^)
ただし、a^=1/n・sum(ak)(k:1〜n)
b^=1/n・sum(bk)(k:1〜n)
z^=1/n・sum(zk)(k:1〜n)
「sum(ak)」は、kを1〜nで変化させて得られた数列akの加算演算を意味する。
、「用語の定義」欄において説明した通りである。
数4に含まれる記号の意味は以下のとおりである。「xt」は推定結果保持部105(図3)に保持されている時刻tにおける画像上の推定位置(at,bt)を表す。「xt+1」は次時刻における推定位置ベクトル(at+1,bt+1)である。「Z」は正規化係数を表す。「u」はu=vt+1―vtとして得られる、t回目の位置と(t+1)回目の推定位置との差分、およびt回目の倍率と(t+1)回目の推定倍率zとの差分を含むベクトルである。「vt」は時刻tにおける画像上の推定位置(at,bt)と推定倍率「zt」(Zは小文字)を並べたベクトル(at,bt,zt)を表し、「vt+1」は次時刻における推定位置と倍率を並べたベクトル(at+1,bt+1,zt+1)を表す。すると、u=(at+1―at,bt+1―bt,zt+1―zt)である。「u^」および「Σ」は、各時刻t=1、2、・・・、nにおける「u」から求められる平均および共分散行列である。u^は、数1におけるv^と同様、各時刻におけるuの同じ成分の値の平均を計算することによって求められる。またΣは、数2および数3の定義に従い、各時刻におけるuの成分を利用して求められる。
但し、「w(I(a,b)|xt+1)」は画素「I(a,b)」における画素観察必要度
を表しており、「D」は倍率「zt+1」で観察したときに画面上に表示される領域を表す。
ここで、meani(.)は座標(a,b)を利用する小領域間での平均を表す。尚、重複領域においては、他にも最大値や最小値をとることもできる。
但し、「ai」は「a1」もしくは「a2」のいずれかを表しており、どちらを利用して計算しても良い。また、「r2」はr2=a1 2+a2 2である。
本実施形態による画像表示装置が、実施形態1による画像表示装置と相違する点は、超解像処理部を有する点である。これにより、画像ピラミッド保持部108に保持されている解像度以上の画像を病理医に提示することができる。
但し、「*」は畳み込み演算を表し、「I^」が求めたい高解像画像、「I」が画像ピラミッド保持部108に保持されている最高解像度の画像803を表し、「D」がデコンボリューション時に利用するPSFに対応するフィルタを表す。本実施形態においては、フィルタ「D」の値は数9に示すガウシアンフィルタを用いて設定する。なお、フィルタ「D」は数10のように任意の値に設定することが可能である。
但し、「σ2」は分散を表すパラメータであり、「D(a,b)」はa行b列目のフィルタ値を示す。また、「Dg」は数9と同じくガウシアンフィルタを表し、「W」は撮像素子の開口率と解像度の上昇率に基づいて決定され、「Δ」は実際の値と設定値とのずれを表す。例えば、開口率25%の撮像素子を利用して解像度を3倍に向上させたいとき、「W」は数11のように設定すれば良い。なお、「Δ」の各値は乱数や白色雑音等で設定する。
但し、「H(.)」は周波数領域への変換を表し、「H(D)-1」は、数13のように求める。
但し、「Γ」はSN比を表すパラメータである。本実施の形態では、デコンボリューション処理として、ウィーナフィルタを用いた周波数領域での演算を利用している。しかしながら、この処理は一例である。デコンボリューション処理はこれに限定されるものではなく、任意の処理方法を用いることができる。例えば、数14の更新式を利用してデコンボリューション処理を行ってもよい。
但し、「Ia,b r+1」は、r回目の繰り返し演算の際の座標(a,b)の画素値を表し、「ρ」は更新時のパラメータを表す。また、「E」は下式の誤差関数を表しており、数14は数15を「Ia,b」で微分することで得られる。また、画像中のノイズを考慮して、数15にL2ノルムやL1ノルムを加えた式を微分して得られる更新式を利用することもできる。
本実施形態による画像表示装置が、実施形態1および実施形態2による画像表示装置と相違する点は、画像全体において次観察推定部で推定された位置および倍率および超解像処理を実施したか否かの表示を制御する結果表示制御部を備えている点と、入力部において所定の回数以上連続で拡大操作が行われたか否かを判定する拡大操作判定部を備え、連続で拡大操作が行われた場合にはその領域に超解像処理を実施する機能を有する点である。この構成によると、画像のどの領域がどの倍率で表示できるかおよびどの部位で超解像処理を実施したかを視認することができる。また、結果表示制御部を介して、次位置推定で推定されていない領域が選択された場合、その領域から新たに次位置推定を実施することができる。加えて、拡大操作判定部を有しているため、超解像処理部にて超解像処理は不要と判断された場合に対しても超解像処理を実施することができる。
上述の実施の形態1では、数4の「u」に含まれる「vt」は、時刻tにおける画像上の推定位置と推定倍率を並べたベクトルであると説明した。しかしながらベクトルの要素は一例である。
101 次観察推定部
102 表示画像生成部
103 画像表示部
104 入力部
105 推定結果保持部
106 観察特徴量保持部
107 パラメータ保持部
108 画像ピラミッド保持部
109 生成画像保持部
901 超解像処理部
1101 結果表示制御部
1102 拡大操作判定部
Claims (19)
- 画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置であって、
操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定する次観察推定部と、
少なくとも前記次位置候補を視認可能に表示するための画像を生成する表示画像生成部と
を備えた画像処理装置。 - 前記所定の確率分布はガウス分布であり、
前記次観察推定部は、前記画像上の複数の位置の各々について、前記ガウス分布を用いて得られる条件付き確率の確率値を計算し、最も大きい確率値が得られた位置を、前記次位置候補として推定する、請求項1に記載の画像処理装置。 - 前記操作履歴を示すパラメータは、少なくとも、観察した画像の位置を示す情報を含み、
前記次観察推定部は、前記複数の位置の各々を、次に観察するであろう画像上の位置の候補として、前記複数の位置の各々について前記確率値を計算する、請求項1または2に記載の画像処理装置。 - 前記操作履歴を示すパラメータは、さらに倍率を示す情報を含み、
前記次観察推定部は、前記複数の位置の各々について、次に観察するであろう画像上の位置および倍率に関する前記確率値を計算する、請求項3に記載の画像処理装置。 - 前記次観察推定部は、
前記画像の画素ごとに予め用意された、各画素を観察する必要性の大きさを表す画素観察必要度の情報を利用して、前記複数の位置の各々を含む小領域の画像観察必要度を計算し、
前記所定の確率分布と、前記複数の位置の各々に対応して計算された前記画像観察必要度とを利用して、前記確率値を計算する、
請求項1から4のいずれかに記載の画像処理装置。 - 前記次観察推定部は、前記画像上の複数の位置の各々について、予め算出された画像特徴量の情報をさらに利用して、前記確率値を計算する、請求項1から5のいずれかに記載の画像処理装置。
- 前記表示画像生成部は、順次求められた複数の推定結果を表示するための画像を生成する、請求項1から6のいずれかに記載の画像処理装置。
- 前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備えた、請求項1から7のいずれかに記載の画像処理装置。
- 請求項1から8のいずれかに記載の画像処理装置と、
前記表示画像生成部によって生成された前記画像を表示する画像表示部と
を備える画像表示装置。 - 請求項4に記載の画像処理装置と、
前記表示画像生成部によって生成された前記画像を表示する画像表示部と、
前記次観察推定部で推定された位置および倍率の情報を表示するよう制御する結果表示制御部と
を備える画像表示装置。 - 前記画像処理装置は、前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備える、請求項9に記載の画像表示装置。
- 前記画像表示部は、前記超解像処理部にて超解像処理を実施した領域を視認可能に表示する、請求項11に記載の画像表示装置。
- 操作者から前記画像中の部位の選択を受け付ける入力部をさらに備え、
前記入力部が前記画像中の部位の選択を受け付けた場合において、前記結果表示制御部は、前記次観察推定部に、選択された前記部位から新たに前記次位置候補を推定させる、請求項10に記載の画像表示装置。 - 前記画像処理装置は、前記次観察推定部によって推定された前記次位置候補を含む部分領域に超解像処理を行うか否かを判定し、前記超解像処理を行うと判定した場合には、照明光の照射方向を変えて撮影された、所与の病理検体の複数の画像のデータに基づいてより画素数が多い拡大画像を構築し、前記拡大画像中の、前記部分領域に対応する小領域にデコンボリューション演算による超解像処理を行う超解像処理部をさらに備え、
前記入力部が前記画像中の部位の選択を受け付けた場合であって、かつ前記超解像処理が選択された前記部位に実施されていない場合には、前記結果表示制御部は、前記超解像処理部に、選択された前記部位への前記超解像処理を実施させる、請求項13に記載の画像表示装置。 - 前記操作者が前記画像表示部に表示された前記画像の部位に所定の回数以上連続で拡大操作を行ったことを判定する拡大操作判定部をさらに備え、
前記拡大操作を行ったと判定した場合、前記拡大操作判定部は、前記超解像処理部に、前記部位への前記超解像処理を実施させる、請求項14に記載の画像表示装置。 - 画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理方法であって、
操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定し、
少なくとも前記次位置候補を視認可能に表示するための画像を生成する
画像処理方法。 - 画像を観察する操作者が次に観察するであろう画像上の位置を、次位置候補として推定する画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに、
操作履歴を示すパラメータ、および、少なくとも現時点における推定結果の情報を利用して、所定の確率分布から得られる確率値に基づいて複数の位置の中から選択された位置を、前記次位置候補として推定させ、
少なくとも前記次位置候補を視認可能に表示するための画像を生成させる
コンピュータプログラム。 - (a)第1領域に含まれる第1の位置に対する複数の候補位置を選択し、
前記複数の候補位置は前記第1領域と異なる第2領域に含まれ、
前記第1領域と前記第2領域は第1画像に含まれ、
前記複数の候補位置は第1の候補位置を含み、
前記第1の候補位置は、第1の複数の画素値に対応し、
(b)前記第1の複数の画素値が含まれる領域の画像特徴情報を決定し、
(c)前記第1画像と異なる画像に対する観察位置の変更履歴を示す履歴情報を取得し、(d)前記画像特徴情報と前記履歴情報に基づいて前記複数の候補位置に含まれる一つを決定し、
前記第2領域は第3領域を含み、
前記第1の複数の画素値は、前記第3領域に含まれる複数の位置に一対一対応し、
前記第1画像の種類に対応する分類方法を用いて、前記第1の複数の画素値は分類され、
前記分類結果に基づいて、前記第1の複数の画素値の画像特徴情報が決定される
画像処理方法。 - 前記第1の複数の画素値の個数が(6×r)×(6×s)(r、sは自然数)であり、前記第1画像の種類に対応する分類方法を用いて、前記第1の複数の画素値が分類されるとき、
前記分類はr×s個の画素値のグループごとに前記分類がなされて、36個の分類結果が取得され、
前記取得された36個の分類結果が、前記第1の複数の画素値の各々の画像特徴情報とされる
請求項18の画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/979,724 US9824189B2 (en) | 2015-01-23 | 2015-12-28 | Image processing apparatus, image processing method, image display system, and storage medium |
CN201511017508.3A CN105825041A (zh) | 2015-01-23 | 2015-12-29 | 图像处理装置、图像处理方法、图像显示装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015011136 | 2015-01-23 | ||
JP2015011136 | 2015-01-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016139397A JP2016139397A (ja) | 2016-08-04 |
JP6624369B2 true JP6624369B2 (ja) | 2019-12-25 |
Family
ID=56560328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015194410A Expired - Fee Related JP6624369B2 (ja) | 2015-01-23 | 2015-09-30 | 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6624369B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019224888A1 (ja) | 2018-05-21 | 2019-11-28 | 株式会社島津製作所 | X線検査装置 |
WO2020008577A1 (ja) * | 2018-07-04 | 2020-01-09 | 株式会社スペイシー | 勤怠予測システム、方法及びプログラム |
JP7219804B2 (ja) | 2019-02-20 | 2023-02-08 | 株式会社エビデント | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
JP2022007281A (ja) * | 2020-06-26 | 2022-01-13 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008415A (ja) * | 2010-06-25 | 2012-01-12 | Olympus Software Technology Corp | 顕微鏡システム |
JP5652227B2 (ja) * | 2011-01-25 | 2015-01-14 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2013167798A (ja) * | 2012-02-16 | 2013-08-29 | Canon Inc | 画像生成装置及びその制御方法 |
WO2014196202A1 (ja) * | 2013-06-07 | 2014-12-11 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像取得方法、およびプログラム |
-
2015
- 2015-09-30 JP JP2015194410A patent/JP6624369B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016139397A (ja) | 2016-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9824189B2 (en) | Image processing apparatus, image processing method, image display system, and storage medium | |
US11342063B2 (en) | Information processing apparatus, information processing method, and program | |
JP7134303B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
JP6624369B2 (ja) | 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム | |
US9014443B2 (en) | Image diagnostic method, image diagnostic apparatus, and image diagnostic program | |
CN102081496A (zh) | 信息处理装置、方法及计算机可读介质 | |
EP1897495A1 (en) | Abnormal shadow candidate detecting method, abnormal shadow candidate detecting device | |
JP2007117739A (ja) | 画像診断支援方法および装置 | |
US20140301665A1 (en) | Image data generating apparatus, image data display system, and image data generating method | |
KR102156533B1 (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
US20200311931A1 (en) | Method for analyzing image of biopsy specimen to determine cancerous probability thereof | |
US20160042122A1 (en) | Image processing method and image processing apparatus | |
JP6573894B2 (ja) | 少なくとも二画像をレジストレーション及び視覚化するための方法 | |
CN112585692A (zh) | 医疗系统、医疗设备和医疗方法 | |
JP6821048B2 (ja) | 画像処理装置、学習済みモデル生成方法、及び評価装置 | |
JP6327966B2 (ja) | 医用画像表示装置、表示制御装置および表示制御方法、プログラム | |
EP2857884B1 (en) | Information processing device, information processing method, program and microscope system | |
US20130162805A1 (en) | Image processing apparatus, image processing system, image processing method, and program for processing a virtual slide image | |
JP6486100B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5910637B2 (ja) | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム | |
JP6635763B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2018110944A (ja) | 医用画像表示装置、表示制御装置および表示制御方法、プログラム | |
US11373306B1 (en) | Processing pathology images | |
US20230334621A1 (en) | Technologies for Improved Whole Slide Imaging | |
US11908138B2 (en) | Processing pathology images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6624369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |