JP7406885B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7406885B2 JP7406885B2 JP2019142515A JP2019142515A JP7406885B2 JP 7406885 B2 JP7406885 B2 JP 7406885B2 JP 2019142515 A JP2019142515 A JP 2019142515A JP 2019142515 A JP2019142515 A JP 2019142515A JP 7406885 B2 JP7406885 B2 JP 7406885B2
- Authority
- JP
- Japan
- Prior art keywords
- classifier
- data
- classification
- medical data
- likelihood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 82
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000011156 evaluation Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 38
- 238000011157 data evaluation Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 34
- 238000003745 diagnosis Methods 0.000 description 92
- 238000012545 processing Methods 0.000 description 25
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000002685 pulmonary effect Effects 0.000 description 12
- 238000002591 computed tomography Methods 0.000 description 7
- 238000004195 computer-aided diagnosis Methods 0.000 description 6
- 206010027476 Metastases Diseases 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000009401 metastasis Effects 0.000 description 5
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical class N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 240000004270 Colocasia esculenta var. antiquorum Species 0.000 description 1
- 206010050017 Lung cancer metastatic Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得部と、尤度取得部により取得したクラス尤度と、正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価部と、分類結果の評価部による乖離の程度が所定の基準を満たすか否かを判定する判定部と、
判定部により所定の基準を満たすと判定された医用データを教師データとした第二の分類器の学習をする分類器の学習部と、を備える。
実施形態1では、胸部X線CT(Computed Tomography)画像上の肺結節影に対する診断名の分類を行うCADシステムである情報処理装置について説明する。本実施形態の情報処理装置は、分類器による分類の尤度と正解との乖離の程度を評価し、当該乖離の程度に基づいて判定したデータと、処理対象となるデータとの類似性を評価し、結果をユーザに通知する。ユーザは、当該通知に基づき、処理を続けるか否かを選択できる。
図1は、本実施形態の情報処理装置を含む情報処理システムのシステム構成図である。
図2は、本実施形態の情報処理装置101のハードウェア構成図である。
図3は、医用画像DB 102に記憶される医用データの構成を示す概念図である。
図6は、本実施形態の情報処理装置101の機能ブロック図である。
第iの医用データ取得部401は、医用画像DB102より医用データを取得する。i=1の場合には、例えば第1の医用データセット310を取得する。そして取得した医用データセットを尤度取得部601に送信する。
分類対象の医用データ取得部501は、分類対象の医用データセット320を医用画像DB102より取得する。分類対象の医用データ取得部501は、取得した分類対象の医用データセット320を分類対象の医用データ評価部502に送信する。
図7は、本実施形態の情報処理装置101の表示画面の一例を示す図である。
図8は、本実施形態の情報処理装置101の処理のフロー図である。
本実施形態における分類器の作成フローは、フローの回数を重ねるたびに分類データや第i+1の医用データセットにおけるデータの数や、クラスの数が減少することが予想される。そのため、複数回フローによって作成された分類器に対応する分類データセットへの尤度が、その分類器よりもフロー数の少ない分類器に対応する分類データセットよりも大きい場合においても同様の基準において乖離が判定されることが好ましくない場合がある。当該場合においては、例えば、フローの回数が増えるに伴って、判定部602による基準を大きく設定したり、分類処理を実行するための閾値を高く設定したりしてもよい。尚、本変形例1-1の骨子は、ユーザに入力データへの評価を認知させることであって、例えば、判定の基準を変えなくとも、尤度の高い分類器を作成するために実施されたフロー回数を通知しても、分類器を学習したデータの数を通知してもよい。もしくは両者を組み合わせてもよい。
実施形態1の分類結果の評価部403は、第iの分類器402による分類結果と正解との乖離の程度を、正解のクラスに該当するクラスについては、正解クラスへの分類の尤度と1.0の差の絶対値を算出する。さらに正解以外のクラスへの分類について、正解以外のクラスの内、最も高い尤度を持つクラスの尤度と0.0の差の絶対値を算出し、正解クラスへの尤度差と、正解クラス以外への尤度差の和を算出することにより評価した。一方、実施形態1の変形例1に対応する分類結果の評価部403は、正解のクラスに対応するクラスへの分類の尤度から正解以外のクラスで最も高い尤度を有するクラスの尤度を減ずることにより乖離の評価(評価値の算出)をおこなう。本評価値の算出方法を適用した場合に、分類結果の評価部403によって算出される評価値のうち、最も小さい乖離の値は1.0であり、最も大きい乖離の値は-1.0となる。また、判定部602は、所定の基準として例えば、-0.2以下を第i+1の医用データセットのデータと判定する。
実施形態1の通知部503は、分類処理の開始前に通知領域705を表示し、ユーザに処理の実行と中止を選択させたが、図9Aに示すように、分類処理後に分類結果と共に類似度を表示してもよい。また、図9Bに示すように、分類対象の医用データ評価部502が、類似度が所定の値を超える場合には、第iの分類器402による分類処理を実行しないよう制御し、通知部503が、処理を実行しなかった旨を、類似度と共に表示しても良い。即ち、情報処理装置101は、分類対象の医用データ評価部502による類似性に基づいて、分類対象の医用データを第iの分類器への入力データとするか否かを決定する。
本変形例では学習済みの分類器が存在し、学習済みの分類器を用いて分類処理を実行する場合について記載する。ここでは、学習済みの分類器が単数でかつ教師データが取得できる状態にある場合についての処理について述べる。まずは、学習済みの分類器を作成する際に用いた教師データと第1の医用データセットの比較を行い、重複データを削除して両者のデータを統合し、第1のデータセット310としてステップS801の処理を実行してもよい。本構成により、分類器が作成された後に新たな教師データが取得された場合や、他の学習済みの分類器を用いて、当該分類処理を可能とする。尚、学習済みモデルの分類対象が異なる場合や、学習済みの分類器を作成する際に用いた教師データと第1の医用データセットの分散が大きい場合には、第1の医用データセットとして追加をしなくとも、第1の医用データセットに追加をせずに、第1の医用データセットを用いて、学習済みの分類器に対するファインチューニングや転移学習によって第1の分類器が作成されてもよい。本構成により教師データの数や質に対して分類の精度やロバスト性の向上が期待される。
実施形態2では、実施形態1と同様に、胸部X線CT画像上の肺結節影に関する診断推論を行うCADシステムである情報処理装置について説明する。
実施形態2では、分類データを学習させた分類器による分類結果に基づいて、類似度や、データ数、クラス数が所定の基準以上である場合において、分類器の設定部1001が分類器の設定を行った。なお、通知部503は、類似度やデータ数、クラス数等、分類器を選択する情報を通知した上で、ユーザが分類器を設定できる入力手段を有する構成でもよい。例えば、分類器をプルダウンやチェックボックス等への入力受付部を介して、分類器を設定することが考えられる。本構成により、作成された複数の分類器を用いて結果を参照したい場合や、診断名を確認したいクラスを含む分類器を選択することが可能となる。
実施形態2では、分類器への分類対象の医用データセット320の入力をしない条件として、分類器ごとの尤度の差が小さいことを条件として述べた。しかしながら、尤度の差が小さい分類器がいずれも分類対象の医用データセット320に対して分類能を発揮していた場合には、両者の分類器間での尤度差は小さくなることが考えられる。この場合においては、尤度差が小さくても、いずれかの分類器で分類をすることで信頼度の高い診断名が分類されることになる。
変形例2-2では、分類器による分類結果である分類器(クラス)間の尤度の差が小さい場合に、例えばその他のクラスへの尤度と、尤度の差が小さい分類器のクラスに対応する尤度との差を比較し、その差が所定の基準よりも大きい場合には、分類対象医用データを分類する分類器として分類器設定部1001が設定を行う構成を説明した。
本発明の一側面として、分類器の分類結果と正解との乖離の程度が所定の基準を満たさないデータを当該分類器における分類データとして記憶し、所定の基準を満たす苦手データは、他の分類器の教師データもしくは、医用データとしてプールをした。結果として複数の分類器が作成され、複数の分類器のそれぞれに対応する分類データと、分類対象の医用データとの類似性を評価することによって、分類対象の医用データに対する分類の信頼性をユーザに認知させることができ、かつ異なる特徴を学習した分類器を複数設けることにより、当該分類対象の医用データを入力するのにふさわしい分類器を認知、選択することが可能となった。
変形例3-1では、ユーザが選択した特定の診断名に対して評価を行う構成について述べる。ユーザが例えば診断名Aおよび診断名Bに関して、分類処理を実行したいとする。診断名Aと診断名Bにおいて、実施形態3の構成のように複数の分類器における分類データを構成する診断名をラベルとして学習を行った場合について述べる。複数の分類器が分類を行うクラスは例えば(第1の分類器の診断名A、第2の分類器の診断名A・・・第N-1の分類器の診断名A、第Nの分類器の診断名A、第1の分類器の診断名B、第2の分類器の診断名B・・・第N-1の分類器の診断名B、第Nの分類器の診断名B、その他)となる。尚、ユーザは、入力インターフェース208を介して、診断したい診断名を入力してもよいし、クラスの構成を指定してもよい。ここで、作成されたクラスに対応する分類データを用いて診断名を分類する分類器の学習を行う。本構成により、ユーザ所望の診断名に対してのみ、クラス尤度が出力される。尚作成されたクラスに対応する分類データを用いて分類器の学習ができると上述までの分類器の作成フローによってさらに複数の分類を作成してもよい。
分類器の性能の向上のためには、教師データの数と質が一つの課題となっている。教師データの質に関して、質は例えばアノテーション(ラベルを指す)が適切に付与されているかどうかにより判断される。教師データの中には、誤ってアノテーションがなされていたり、学習した特徴では適切に分類できないようなデータに同一のアノテーションが付与されていたりすることがある。
上述の実施形態4は、誤ってアノテーションされたもしくは、分類器が学習した特徴では分類できない分類データを再ラベリングする手法について述べた。変形例4-1は、正解ラベル設定部1605が新規に画像データに対してアノテーションをする際に、実施形態4で説明をしたGrad-CAMを用いて、ラベリングを促す。即ち、新たにラベリングが必要なデータをGrad-CAMを基にした分類器に対して入力を行うと、例えば第1の分類器の診断名Aの場合に着目すべき画像領域と、第2の分類器の診断名Aの場合に注目すべき画像領域をそれぞれ取得することができる。ユーザは、第1の分類器の診断名Aにおける注目部位と、第2の分類器の診断名Aにおける注目部位とに基づいて、いずれのラベルを新規の画像データに対して付すかを決定することができる。なお、Grad-CAMによるヒートマップに基づいてユーザにラベリングをさせる形態に捉われず、複数の分類器の診断名をラベルとして分類器が分類した尤度に基づいて情報処理装置101がラベリングを行ってもよい。また、情報処理装置101がラベリングを行ったデータを医用画像DB 102における医用データとして分類器を作成するフローに用いてもよい。即ち、正解ラベル設定部による正解ラベルの設定は、正解ラベルが付与されていない医用データに正解ラベルを付与することを特徴とする。
102 医用画像DB
103 LAN
310 第iの医用データセット
320 分類対象の医用データセット
401 第iの医用データ取得部
402 第iの分類器
403 分類結果の評価部
404 第i+1の分類器の学習部
501 分類対象の医用データ取得部
502 分類対象の医用データ評価部
503 通知部
601 尤度取得部
602 判定部
603 第i+1の医用データセット
Claims (14)
- 医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得部と、
前記尤度取得部により取得した前記クラス尤度と、前記正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価部と、
前記分類結果の評価部による前記乖離の程度が所定の基準を満たすか否かを判定する判定部と、
前記判定部により所定の基準を満たすと判定された前記乖離の程度が所定の基準以上の医用データを教師データとした第二の分類器の学習をする分類器の学習部と、を有し、
前記判定部により所定の基準を満たさないと判定された前記乖離の程度が所定の基準よりも小さい医用データを、前記所定の基準を満たさないと判定された医用データを分類した分類器に対応する分類データとして記憶することを特徴とする情報処理装置。 - 前記教師データにより学習された第二の分類器を、前記医用データをクラス分類する前記第一の分類器とし、前記所定の基準を満たすと判定された前記乖離の程度が所定の基準以上の医用データを前記医用データとして、前記尤度取得部、前記分類結果の評価部、前記判定部、前記学習部の処理を繰り返し実行できる制御部を有することを特徴とする請求項1に記載の情報処理装置。
- 前記繰り返しにより、複数の分類器と、前記複数の分類器のそれぞれに対応する複数の分類データと、を有することを特徴とする請求項2に記載の情報処理装置。
- 前記複数の分類器のそれぞれをラベルとして付与した分類データを教師データとして学習した分類器を用いて、分類対象の医用データを評価する分類対象の医用データ評価部を有することを特徴とする請求項3に記載の情報処理装置。
- 前記分類対象の医用データ評価部による評価結果を通知する通知部を有することを特徴とする請求項4に記載の情報処理装置。
- 前記分類対象の医用データ評価部における分類器は、前記複数の分類器に対応するクラスへの分類結果を尤度で算出することを特徴とする請求項4に記載の情報処理装置。
- 前記分類対象の医用データ評価部による評価結果に基づいて前記複数の分類器のうち、前記分類対象の医用データを分類する分類器を設定する分類器の設定部を有することを特徴とする請求項6に記載の情報処理装置。
- 前記分類器の設定部は、前記尤度が最も高い分類器を、前記分類対象の医用データを分類する分類器として設定することを特徴とする請求項7に記載の情報処理装置。
- 前記分類器の設定部は、前記尤度が閾値を超える分類器を、前記分類対象の医用データを分類する分類器として設定をすることを特徴とする請求項7または8に記載の情報処理装置。
- 前記分類器の設定部により設定された分類器を示す情報と、前記分類器による分類結果を通知する通知部を有することを特徴とする請求項7乃至9のいずれか一項に記載の情報処理装置。
- 前記繰り返しは、分類器を学習する教師データの数が所定以下と判定、分類器の分類精度が所定以下と判定、過学習の判定、未学習の判定、ユーザの指定回数を超えると判定、のうちいずれかの判定処理が行われた際に繰り返しを終了することを特徴とする請求項2または3に記載の情報処理装置。
- 医用データをクラス分類する第1の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得ステップと、
前記クラス尤度と、前記正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価ステップと、
前記乖離の程度が所定の基準を満たすか否かを判定する判定ステップと、
前記所定の基準を満たすと判定された場合に、所定の基準を満たすと判定された前記乖離の程度が所定の基準以上の医用データを教師データとした第2の分類器の学習をする分類器の学習ステップと、
前記所定の基準を満たさないと判定された場合に、所定の基準を満たさないと判定された前記乖離の程度が所定の基準より小さい医用データを、前記所定の基準を満たさないと判定された医用データを分類した分類器に対応する分類データとして記憶するステップと、を有することを特徴とする情報処理方法。 - 前記教師データにより学習された第2の分類器を、前記医用データをクラス分類する分類器とし、前記所定の基準を満たすと判定された医用データを前記医用データとして、前記尤度取得ステップ、前記分類結果の評価ステップ、前記判定ステップ、前記学習ステップの処理を繰り返し実行できる制御ステップを有することを特徴とする請求項12に記載の情報処理方法。
- 請求項12または請求項13に記載の情報処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019142515A JP7406885B2 (ja) | 2019-08-01 | 2019-08-01 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019142515A JP7406885B2 (ja) | 2019-08-01 | 2019-08-01 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021026406A JP2021026406A (ja) | 2021-02-22 |
JP7406885B2 true JP7406885B2 (ja) | 2023-12-28 |
Family
ID=74663864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019142515A Active JP7406885B2 (ja) | 2019-08-01 | 2019-08-01 | 情報処理装置、情報処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7406885B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001083986A (ja) | 1999-09-16 | 2001-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 統計モデル作成方法 |
US20170053211A1 (en) | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method of training classifier and detecting object |
JP2019045929A (ja) | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2019
- 2019-08-01 JP JP2019142515A patent/JP7406885B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001083986A (ja) | 1999-09-16 | 2001-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 統計モデル作成方法 |
US20170053211A1 (en) | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method of training classifier and detecting object |
JP2019045929A (ja) | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021026406A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gonzalez et al. | Disease staging and prognosis in smokers using deep learning in chest computed tomography | |
US11850021B2 (en) | Dynamic self-learning medical image method and system | |
US20200357118A1 (en) | Medical scan viewing system with enhanced training and methods for use therewith | |
JP7224757B2 (ja) | 診断支援装置、情報処理方法、診断支援システム及びプログラム | |
US11640532B2 (en) | Contrastive explanations for images with monotonic attribute functions | |
CN114945951A (zh) | 用于图像分类的不确定性引导的半监督神经网络训练 | |
CN109426834B (zh) | 信息处理装置、信息处理方法和信息处理系统 | |
CN110622175A (zh) | 神经网络分类 | |
JP7058988B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Ghayvat et al. | AI-enabled radiologist in the loop: novel AI-based framework to augment radiologist performance for COVID-19 chest CT medical image annotation and classification from pneumonia | |
Ye et al. | Robust weakly supervised learning for COVID-19 recognition using multi-center CT images | |
Arias et al. | Medical image modality classification using discrete Bayesian networks | |
JP2021056995A (ja) | 医用情報処理装置、医用情報処理システム及び医用情報処理方法 | |
EP4100866A1 (en) | Automated assessment of endoscopic disease | |
Al-Rifaie et al. | Dispersive flies optimisation and medical imaging | |
JP2019045929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Yang et al. | Lung nodule detection algorithm based on rank correlation causal structure learning | |
JP7406885B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7362338B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Aakur et al. | Mg-net: Leveraging pseudo-imaging for multi-modal metagenome analysis | |
JP7301653B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Raja et al. | A Novel Feature Selection based Ensemble Decision Tree Classification Model for Predicting Severity Level of COPD | |
Liaqat et al. | A Framework for Clustering Cardiac Patient's Records Using Unsupervised Learning Techniques | |
Pal et al. | Interpretability Approaches of Explainable AI in Analyzing Features for Lung Cancer Detection | |
Çallı et al. | Explainable emphysema detection on chest radiographs with deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7406885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |