JP2024035070A - マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム - Google Patents

マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム Download PDF

Info

Publication number
JP2024035070A
JP2024035070A JP2023095104A JP2023095104A JP2024035070A JP 2024035070 A JP2024035070 A JP 2024035070A JP 2023095104 A JP2023095104 A JP 2023095104A JP 2023095104 A JP2023095104 A JP 2023095104A JP 2024035070 A JP2024035070 A JP 2024035070A
Authority
JP
Japan
Prior art keywords
data
matrix
electronic medical
medical record
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023095104A
Other languages
English (en)
Other versions
JP7333132B1 (ja
Inventor
▲勁▼松 李
Jingsong Li
佩君 胡
Peijun Hu
雨 田
Yu Tian
天舒 周
Tianshu Zhou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Application granted granted Critical
Publication of JP7333132B1 publication Critical patent/JP7333132B1/ja
Publication of JP2024035070A publication Critical patent/JP2024035070A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

【課題】マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを提供する。【解決手段】システムは、先ず映像を構造化処理して映像特徴を取得し、同時に、電子カルテにおける疾患に関する臨床変数を抽出して臨床特徴を取得し、マルチビューサブ空間クラスタリングによって案内されるマルチモードデータ融合モデルに基づき、映像特徴と臨床特徴を選別及び融合し、各特徴の重要性ランキングを取得し、最後に設定された特徴数に基づき、電子カルテと映像データの融合結果を取得し、電子カルテ情報と映像情報を総合して、関連疾患予測結果の正確性を向上する。各モードのデータがそれぞれの空間において自己を表現できることを保証し、プロック対角構造を保持し、同時に融合データのクラスタリング結果が一致することを保証する。マルチビューサブ空間の相補性原則と一致性原則を利用して、分析結果の一致性を保証する。【選択図】図１

Description

本発明は、医学データ融合分野に関し、特にマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムに関する。
臨床医者が疾患を診断する時、通常、患者の電子カルテデータ及び医学映像データを総合して判断または予測を行う。医学映像は、診断疾患の慣例的な手段であり、Ｘ線フィルム、ＣＴ、磁気共鳴図像などを含む。映像は、人体内部の病変器官を反映し、映像に基づくコンピュータ支援診断方法は、肺がん、肺結節、肝臓がんなどの疾患の診断に適用されている。電子カルテシステムは、患者の病歴、主訴、検査、人口学などの情報を含み、疾患の選別、診断に対して重要な作用を有する。電子カルテと映像データを組み合わせることで、コンピュータ支援診断正確率を向上することができ、より医者の診断方式に適合する。従来の疾患診断方法は、一般的に、単一ソースデータ、例えば、電子カルテまたは医学映像に基づいて単独で疾患予測モデルを構築し、マルチソース異種医学データの融合はまだ学術研究段階にある。臨床で電子カルテと映像マルチモードデータを組み合わせて疾患予測を行う作業は、少ない。したがって、電子カルテ構造化情報と医学映像非構造化情報を融合する融合方法を研究することは、疾患予測正確率を向上させるのに非常に有意義である。
現在、映像と電子カルテデータを融合する方法は、３種に分けられる。第１種の方法は、特徴レベル融合と呼び、電子カルテと映像に対してそれぞれ特徴を抽出した後、两種の特徴を直接接続して融合し、分類器に入力して予測を行う。第２種の方法は、决策レベル融合と呼び、それぞれ電子カルテと映像を利用して予測して得られた結果に対して、簡単な融合アルゴリズムを利用して２つの予測結果を総合する。第３種の方法は、中間融合と呼び、特徴抽出及び表現段階において、２種のデータを一緒に融合する。後者の二種の方法と比べて、特徴レベル融合の算出及び解釈可能性は優れているが、ほとんどの方法は、抽出された映像特徴及び電子カルテ特徴を直接接続して融合し、異なるソース特徴を統一されたビューにおける特徴として見なすが、二種のデータの特異性及び整合可能性を考慮しておらず、特徴が本来の意味を失う可能性がある。従来のデータ次元低下方法、例えばＰＣＡ、ＲＦＥ，ＬＡＳＳＯなどは、いずれもマルチビュー特徴の特徴を考慮していない。
自己表現に基づくサブ空間クラスタリング方法は、騒音に対するロバスト性及び完全な理論を有し、常用的な高次元データクラスタリング方法である。データ自己表現とは、データが線形分離可能である場合と仮定すると、データサンプルが同一のサブ空間の他のデータサンプル線形組み合わせによって表現できることを意味する。データ自己表現マトリックスには希薄性表現制限または低ランク表現制限を行うことで、自己表現マトリックスを利用してデータを次元低下することができる。サブ空間クラスタリングを基礎とし、物事に対する異なる角度の理解を複数の特徴描写ビューとして生成し、マルチビューサブ空間クラスタリングを行うことで、各ビューの利点を発揮できる。
本発明の目的は、従来技術の不足について、マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを提出し、現在では電子カルテと医学映像データの使用が比較的に独立であり、既存のマルチモード医学データ融合方法が各モードに対して特徴を直接抽出した後、各種類の特徴を直接接続して融合するが、マルチソース異種データの差異性及び各モードデータの内部構造を考慮していないという課題を解決することにある。
本発明の目的は、以下の技術的解決手段によって実現される。
測定対象の予め設定された疾患関連電子カルテデータを収集し、かつその関連する映像データを抽出するためのデータ収集モジュールと、
映像データを構造化処理し、映像特徴を抽出するための映像構造化モジュールと、
電子カルテデータに対して関連変数を抽出し、数値化処理した後で電子カルテ特徴とするための電子カルテ特徴抽出モジュールと、
映像特徴と電子カルテ特徴に基づいてマルチビュー特徴マトリックスを取得し、かつ監督なし特徴選択及び融合モデルを定義し、サブ空間クラスタリング方法のデータ自表現性質に基づいて、各ビュー特徴データがいずれもサブ空間において自己表現できるように設定し、データ次元低下を考慮してマルチビューサブ空間クラスタリングによって案内される特徴選別モデルの目標関数を取得しかつ変数インターリーブ反復の方式により求め、特徴選別マトリックスを取得するための特徴選別及び融合モジュールと、
特徴選別及び融合モジュールで取得された特徴選別マトリックスに基づいて、映像及び電子カルテ特徴の重要性をランキングし、予め設定された特徴個数に基づいて、映像データと電子カルテデータの融合結果を取得するためのデータ融合モジュールと、
を含む、マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
さらに、前記データ収集モジュールは、予め設定された疾患及び測定対象に基づいて、患者の唯一の医療記録番号に基づいて、病院電子カルテシステムから電子カルテの基本情報及び診断情報を抽出し、電子カルテの基本情報及び診断情報を１つの完全なサンプルとして合成する。
さらに、前記データ収集モジュールで取得された医学映像データは、Ｘ線フィルム、ＣＴデータまたはＭＲＩデータである。
さらに、前記映像構造化モジュールは、予め設定された疾患に基づいて、映像データに対して関心領域をマークし、かつ映像再サンプリング、階調値離散化及び映像領域枠選択を含む映像前処理を行い、最後に前処理された映像及びマークされた関心領域に基づいて、高次元映像特徴を算出する。
さらに、前記電子カルテ特徴抽出モジュールは、取得された電子カルテデータを分析し、測定対象の人口学情報、病歴、生活習慣及び検査項目情報を含む予め設定された疾患に関するいくつかの危険要因を特定し、各フィールドの情報を数値化し、そして電子カルテデータを正規化し、電子カルテ特徴を取得する。
さらに、前記特徴選別及び融合モジュールにおいてマルチビュー特徴マトリックスを取得することは、具体的に、抽出された映像特徴及び電子カルテ特徴を複数のビュー特徴データとして見なし、第ｖ個のビューの特徴を
Figure 2024035070000002
として定義し、ｄｖが第ｖ個のビュー特徴の次元であり（ｖ＝１，２）、第ｖ個のビューにおける全ての特徴を
Figure 2024035070000003
として定義し、それらを接続して総特徴マトリックス
Figure 2024035070000004
として表現する。
さらに、前記特徴選別及び融合モジュールにおいて監督なし特徴選択及び融合モデルを定義し、具体的には、監督なし特徴選別問題の目標最適化関数Ｔ（Ｘ，θ）が以下の通り表現され、
Figure 2024035070000005
 ここで、ｌｏｓｓ（Ｘ，Ｗ）が損失関数であり、θは最適化関数が最適化する必要があるパラメータを表現し、
Figure 2024035070000006
が特徴選別マトリックスであり、ｃがクラスタリングの類別数であり、Ｒ（Ｗ）が正則項であり、λが調整パラメータであり、
Figure 2024035070000007
が擬似ラベルマトリックスを表現し、ｌｏｓｓ（Ｘ，Ｗ）が以下の通り表現され、
Figure 2024035070000008
 ここで、ｎがサンプル数であり、ｃがクラスタリングの類別数であり、ノルム
Figure 2024035070000009
が
Figure 2024035070000010
ノルムを表現し、具体的な算出式が
Figure 2024035070000011
であり、ここで、
Figure 2024035070000012
がマトリックスＡの第ｉ行の第ｊ列の元素を表現し、擬似ラベルがサブ空間クラスタリングにおけるスペクトル埋め込みによって生成される。
さらに、前記特徴選別及び融合モジュールにおいてサブ空間クラスタリング方法のデータ自表現性質に基づいて、各マルチビュー特徴データがいずれもサブ空間において自己表現できるように設定し、具体的に以下の通りであり、
Figure 2024035070000013
 ここで、
Figure 2024035070000014
が各ビュー特徴データの自己表現マトリックスであり、
Figure 2024035070000015
は長さがｎの単位ベクトルを表現し、そして、データ関係を描写する類似図
Figure 2024035070000016
を構築し、かつ低ランク性を満たし、類似図Ｓｖ成分の個数がクラスタリングの類別数ｃに等しく、すなわち、Ｓｖのラプラシアンマトリックスのランクがｎ－ｃに等しく、低ランク性が以下の最適化問題として表現され、
Figure 2024035070000017
 ここで、
Figure 2024035070000018
が類似マトリックスＳｖのラプラシアンマトリックスであり、
Figure 2024035070000019
が対角マトリックスであり、Ｔｒがマトリックスを求めるトレースを表現し、Ｉｃは大きさがｃ×ｃの単位マトリックスを表現し、よって、マルチビューサブ空間クラスタリングの目標最適化関数が以下の通り表現され、
Figure 2024035070000020
 ここで、ｔｒ（）がマトリックスのランクを表現し、
Figure 2024035070000021
がＦｒｏｂｅｎｉｕｓノルムであり、具体的な算出式が
Figure 2024035070000022
であり、ここで、
Figure 2024035070000023
がマトリックスＡの第ｉ行の第ｊ列の元素を表現する。
さらに、前記特徴選別及び融合モジュールにおいてデータ次元低下を考慮して、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数を以下の通り取得し、
Figure 2024035070000024
 ここで、
Figure 2024035070000025
がビューの特定の自己表現マトリックスであり、Ｌｖが第ｖ個のビューに対応するラプラシアンマトリックスであり、
Figure 2024035070000026
が擬似ラベルマトリックスであり、
Figure 2024035070000027
が特徴選別マトリックスであり、λ１、λ２及びλ３がバランスパラメータである。
さらに、前記特徴選別及び融合モジュールにおいて、変数インターリーブ反復の方式により、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルを求め、特徴選別マトリックス、擬似ラベルマトリックス及び自己表現マトリックスを反復更新し、具体的な過程は、先ず特徴選別マトリックス及び擬似ラベルマトリックスを一定にし、自己表現マトリックスを更新し、そして特徴選別マトリックス及び自己表現マトリックスを一定にし、擬似ラベルマトリックスを更新し、最後に擬似ラベルマトリックス及び自己表現マトリックスを一定にし、特徴選別マトリックスを更新する。
本発明の有益な効果としては、本発明は、従来の映像データ及び電子カルテデータの使用が比較的に独立し、または二者を融合する方式が比較的に簡単で粗雑であるという不足を補い、マルチビューサブ空間クラスタリング思想に基づき、マルチソース異種データをマルチビューサブ空間クラスタリングによって案内される特徴選別モデルによって融合する。本発明は、映像及び電子カルテを、同一対象を描写する異なるビューデータとみなし、各マルチビュー特徴データがそれぞれの空間において自己表現できることを考慮し、すなわち、各マルチビュー特徴データの元の空間構造を保持し、かつモデルに対して低ランク制限を導入すると共に、異なるマルチビュー特徴データのクラスタリング結果が一致であることを保証する。本発明は、柔軟性に優れ、他のマルチモード異種データ、例えば病理図像、心電データなどに適用できる。異なるモードデータの予測モデルと組み合わせて、より臨床診断の習慣に適合し、モデルの予測性能を向上できる。
本発明によるマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム構成図である。 本発明によるマルチビューサブ空間クラスタリングによって案内される特徴選別及び融合モデル概略図である。 本発明によるマルチビューサブ空間クラスタリングによって案内される特徴選別及び融合モジュールの実現過程概略図である。
以下、図面を参照して本発明の実施形態をさらに詳細に説明する。
図１に示すように、本発明は、マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを提供する。当該システムは、データ収集モジュールと、映像構造化モジュールと、電子カルテ特徴抽出モジュールと、特徴選別及び融合モジュールと、データ融合モジュールとを含む。前記データ収集モジュールは、病院電子カルテシステムから測定対象の予め設定された疾患関連電子カルテ情報を収集し、かつその関連する映像データを抽出するためのものである。前記映像構造化モジュールは、映像データを構造化処理し、高次元映像特徴を抽出するためのものである。前記電子カルテ特徴抽出モジュールは、予め設定された疾患に基づいて、測定対象の電子カルテデータから関連変数を抽出し、数値化処理した後で電子カルテ特徴とするためのものである。前記特徴選別及び融合モジュールは、マルチビューサブ空間クラスタリングによって案内される特徴選別及び融合モデルに基づいて（図２に示す）、映像特徴及び電子カルテ特徴を次元低下及び融合するためのものである。前記データ融合モジュールは、特徴選別及び融合モジュールで取得された特徴選別マトリックスに基づいて、映像及び電子カルテ特徴の重要性をランキングし、予め設定された特徴個数に基づいて、映像データと電子カルテデータの融合結果を取得するためのものである。
前記データ収集モジュールは、測定対象の電子カルテを取得する。予め設定された疾患及び測定対象に基づいて、患者の唯一の医療記録番号に基づいて、病院電子カルテシステムから電子カルテの基本情報及び診断情報を抽出し、電子カルテの基本情報及び診断情報を１つの完全なサンプルとして合成する。前記基本情報は、人口学情報、病歴、生活習慣及び検査項目情報を含む。前記診断情報は、当該患者の予め設定された疾患に関する診断結果である。
前記データ収集モジュールは、測定対象の医学映像データを取得する。医学映像データは、一般的に、Ｘ線フィルム、ＣＴまたはＭＲＩデータである。
前記映像構造化モジュールは、予め設定された疾患に基づいて、映像データに対して関心領域をマークする。映像マーク方法は、手動描画またはコンピュータアルゴリズム自動描画であってもよく、関心領域は、一般的に疾患患の病変領域または器官や組織全体である。関心領域マーク構造は、二値図像形式で保存され、１が前景を代表し、０が背景を代表する。
映像データマーク後で、映像再サンプリング、階調値離散化及び映像領域枠選択を含む映像前処理を行う必要がある。先ず、原図像及びマーク図像を前処理し、それは、原図像及びマーク図像を解像度１×１×１の大きさに再サンプリングすることと、関心領域に基づいてその囲み領域の矩形枠を算出し、エッジ拡張値を設定し、そして原図像及びマーク図像の矩形枠を取り出すことと、原図像に対してコントラスト調整を行い、先ず図像のＨＵ値を［－１００， ２４０］の間に切り捨て、そして［０，２５５］の間に離散化することと、を含む。
映像及びマークの関心領域に基づいて、高次元映像特徴を算出する。Ｐｙｒａｄｉｏｍｉｃｓツールキットに基づいて一次統計特徴、形状特徴及びテクスチャ特徴（ＧＬＣＭ、ＧＬＲＬＭ、ＮＧＴＤＭ、ＧＬＤＭ）を算出し、各類特徴が具体的に含む特徴名称は、表１に示され、総計で８５個の特徴が算出される。
表１ 映像特徴名称
Figure 2024035070000028
前記電子カルテ特徴抽出モジュールは、取得された電子カルテデータを分析し、予め設定された疾患に関するいくつかの危険要因、例えば測定対象の人口学情報、病歴、生活習慣及び検査項目情報（血液検査、心率など）を特定する。各フィールドの情報を数値化し、例えば性別について、男を１に設定し、女を０に設定する。そして、電子カルテデータを正規化し、電子カルテ特徴を取得する。
前記特徴選別及び融合モジュールは、映像特徴と電子カルテ特徴に基づいてマルチビュー特徴マトリックスを取得し、かつ監督なし特徴選択及び融合モデルを定義し、サブ空間クラスタリング方法のデータ自表現性質に基づいて、各マルチビュー特徴データがいずれもサブ空間において自己表現できるように設定し、マルチビューサブ空間クラスタリングの目標最適化関数を取得し、データ次元低下を考慮してマルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数を取得しかつ変数インターリーブ反復の方式により求め、特徴選別マトリックスを取得する。図３に示すように、具体的に以下の通りであり、
前記マルチビュー特徴マトリックスを取得することは、具体的に、抽出された映像特徴及び電子カルテ特徴を複数のビュー特徴とみなし、第ｖ個のビューの特徴を
Figure 2024035070000029
として定義し、ｘｎ ｖが第ｎ個のデータポイントを表現し、ｄｖが第ｖ個のビュー特徴の次元であり、ｖ＝１，２である。Ｖ個のビューにおける全ての特徴を
Figure 2024035070000030
として定義することができ、それらを接続して総特徴マトリックス
Figure 2024035070000031
として表現する。
前記監督なし特徴選択及び融合モデルを定義することは、具体的に、監督なし特徴選別問題の目標最適化関数Ｔ（Ｘ，θ）が以下の通り表現され、
Figure 2024035070000032
 ここで、ｌｏｓｓ（Ｘ，Ｗ）が損失関数であり、θは最適化関数が最適化する必要があるパラメータを表現し、
Figure 2024035070000033
が特徴選別マトリックスであり、ｃがクラスタリングの類別数であり、Ｒ（Ｗ）が正則項であり、例えば希薄性と低ランク性であり、λが調整パラメータであり、一般的に経験値に設定され、本発明では１０に設定される。
Figure 2024035070000034
が擬似ラベルマトリックスを表現し、ｌｏｓｓ（Ｘ，Ｗ）が以下の通り表現されてもよく、
Figure 2024035070000035
 ここで、ｎがサンプル数であり、ｃがクラスタリングの類別数である。ノルム
Figure 2024035070000036
が
Figure 2024035070000037
ノルムを表現し、具体的な算出式が
Figure 2024035070000038
であり、ここで、
Figure 2024035070000039
がマトリックスＡの第ｉ行の第ｊ列の元素を表現する。擬似ラベルがサブ空間クラスタリングにおけるスペクトル埋め込みによって生成されてもよい。
前記サブ空間クラスタリング方法のデータ自表現性質に基づいて、各ビュー特徴データがいずれもサブ空間において自己表現できるように設定することは、具体的に以下の通りであり、
Figure 2024035070000040
 ここで、
Figure 2024035070000041
が各ビュー特徴データの自己表現マトリックスであり、
Figure 2024035070000042
は長さがｎの単位ベクトルを表現する。そして、データ関係を描写する類似図
Figure 2024035070000043
を構築することができる。かつ低ランク性を満たし、類似図Ｓｖ成分の個数がクラスタリング類別数ｃに等しく、すなわち、Ｓｖのラプラシアンマトリックスのランクがｎ－ｃに等しい。低ランク性は以下の最適化問題として表現されてもよく、
Figure 2024035070000044
 ここで、
Figure 2024035070000045
が類似マトリックスＳｖのラプラシアンマトリックスであり、
Figure 2024035070000046
が対角マトリックスである。Ｔｒがマトリックスを求めるトレースを表現し、Ｉｃは大きさがｃ×ｃの単位マトリックスを表現する。よって、マルチビューサブ空間クラスタリングの目標最適化関数が以下の通り表現されてもよく、
Figure 2024035070000047
 ここで、ｔｒ（）がマトリックスのランクを表現し、
Figure 2024035070000048
がＦｒｏｂｅｎｉｕｓノルムであり、具体的な算出式が
Figure 2024035070000049
であり、ここで、
Figure 2024035070000050
がマトリックスＡの第ｉ行の第ｊ列の元素を表現する。
前記データ次元低下を考慮して、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数を取得することは、具体的に、選択された特徴が、データ間の類似構造を保持すべきであり、かつ希薄性である。すなわち、特徴選択マトリックスＷに希薄性正則化項
Figure 2024035070000051
を加える。したがって、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数が以下の通り表現されてもよく、
Figure 2024035070000052
 ここで、
Figure 2024035070000053
がビューの特定の自己表現マトリックスであり、Ｌｖが第ｖ個のビューに対応するラプラシアンマトリックスであり、他の記号
Figure 2024035070000054
が擬似ラベルマトリックスであり、
Figure 2024035070000055
が特徴選別マトリックスであり、λ１、λ２及びλ３がバランスパラメータであり、本発明では、それぞれ値を１，１０－３，１０とする。
変数インターリーブ反復の方式により、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルを求め、変数Ｗ，Ｆｖ，Ｚｖを反復更新する。具体的に以下の通りであり、
自己表現マトリックスＺｖを更新し、Ｗ，Ｆｖをそのまま一定にし、以下の最適化問題を求め、
Figure 2024035070000056
 上記式にラグランジュ乗数
Figure 2024035070000057
を導入し、以下の通り変換し、
Figure 2024035070000058
Figure 2024035070000059
が無限大になる傾向がある場合、Ｘが
Figure 2024035070000060
に置き換えることができる。したがって、上記式が以下の通り表現されてもよく、
Figure 2024035070000061
 上記式は以下の問題に等価することができ、
Figure 2024035070000062
 ここで、Ｐマトリックスにおける第ｉ行の第ｊ列の元素
Figure 2024035070000063
，ｆｉがＦの第ｉ行である。そして、交互反復最適化戦略を使用して、上記の問題を解決する。Ｚｖの第ｉ行以外の全ての行の数値を一定にして、Ｚｖの第ｉ行の値を求め、
Figure 2024035070000064
 ここで、Ｚｖ ＴがＺの第ｉ行であり、ｐがＰの第ｉ列であり、
Figure 2024035070000065
、Ｚｖ，ｉがＺｖの第ｉ個の元素である。上記式は以下の問題に変換されてもよく、
Figure 2024035070000066
 ここで、
Figure 2024035070000067
である。上記式の問題はソフトしきい値方法で求めされてもよく、
Figure 2024035070000068
 ここで、Ｚｖ，ｋ、ｒｖ，ｋ及びｐｋがそれぞれＺｖ、ｒｖ及びｐの第ｋ個の元素を表現し、
Figure 2024035070000069
が括弧内の値の正の部分を取得することを表現する。Ｆを更新し、Ｚｖ、Ｗをそのまま一定にし、関係しない変数項を除去し、以下の最適化問題を求め、
Figure 2024035070000070
 ここで、
Figure 2024035070000071
が単位マトリックスであり、
Figure 2024035070000072
はＦの元素が全て０以上であることを表現する。等式制約を取り除くために、上記式にペナルティ項
Figure 2024035070000073
を追加し、問題を以下の通り変換し、
Figure 2024035070000074
 ここで、γは値が大きいバランスパラメータであり、本発明でγ＝１０６を採用する。等式制約を取り除くために、ラグランジュ乗数
Figure 2024035070000075
を導入し、以下の通り取得し、
Figure 2024035070000076
 上記式に対してＦについて微分をとり、かつその偏微分を
Figure 2024035070000077
とし、以下の通り取得し、
Figure 2024035070000078
 ここで、Ｑが対角マトリックスであり、第ｉ個の元素が
Figure 2024035070000079
であり、ｉ：はマトリックスの第ｉ行を採用することを表現する。ＫＫＴ条件によれば、
Figure 2024035070000080
である。したがって、以下の通り取得し、
Figure 2024035070000081
 そして、Ｆを正規化し、
Figure 2024035070000082
を満たさせる。
Ｗを更新し、Ｚｖ、Ｆをそのまま固定する。関係しない変数項を除去し、以下の通り取得し、
Figure 2024035070000083
 上記式は以下の問題に等価し、
Figure 2024035070000084
 ここで、Ｇ及びＨが対角マトリックスであり、第ｉ個の元素が
Figure 2024035070000085
である。ここで、ＷｉがＷの第ｉ行である。
さらに、以下の通り取得し、
Figure 2024035070000086
 最終に、以下の通り取得し、
Figure 2024035070000087
 目標関数が収束するまで、Ｗ，Ｇ，Ｈを交互に更新する。
前記データ融合モジュールは、特徴選別及び融合モジュールで求められた特徴選別マトリックスＷに基づき、
Figure 2024035070000088
を算出し、各特徴の重要性を
Figure 2024035070000089
に従ってランキングし、選択特徴の個数Ｎを設定し、上位Ｎ個の特徴を最終的に電子カルテと映像データが融合した結果として抽出する。
実施例
膵体尾部切除術後の患者に対して、患者の術後の糖尿病のリスクを予測するために、膵体尾部切除患者キューを構築し、統計で２１２人の患者を有し、７：３の比率でデータを訓練セットとテストセットに分ける。マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを通じて、映像と電子カルテデータとを融合する。具体的な処理過程が下記の通りである。
１．データを収集し、患者の術前強化ＣＴ図像と電子カルテ情報を抽出する。
２．映像構造化モジュール。ＣＴ図像に対して関心領域、すなわち、膵体術後の残留膵体領域をマークして、映像特徴の抽出された関心領域とする。ＣＴ原図像とマーク図像に対して映像再サンプリング、階調値離散化及び映像領域枠選択を行う。先ず、原図像及びマーク図像を前処理し、それは、原図像及びマーク図像を前処理し、原図像及びマーク図像を解像度１×１×１の大きさに再サンプリングすることと、関心領域に基づいてその囲み領域の矩形枠を算出し、エッジ拡張値を１０個の画素に設定し、そして原図像及びマーク図像の矩形枠を取り出すことと、原図像に対してコントラスト調整を行い、先ず図像のＨＵ値を［－１００， ２４０］の間に切り捨て、そして［０，２５５］の間に離散化することと、を含む。前処理された映像及びマークされた関心領域に基づいて、高次元映像特徴を算出する。具体的に、先ず、原ＣＴ図像に対してウェーブレットフィルタリングを行い、ウェーブレットフィルタリングはｈａａｒ、ｄｂ５、ｓｙｍ７を含む。そして、Ｐｙｒａｄｉｏｍｉｃｓツールキットに基づいて一次統計特徴、形状特徴及びテクスチャ特徴（ＧＬＣＭ、ＧＬＲＬＭ、ＮＧＴＤＭ、ＧＬＤＭ）を算出する。各ウェーブレットフィルタリング後の図像について、６８０次元の特徴を取得できるため、ウェーブレットフィルタリング後の３つの図像は、算出により総計で２０４０個の映像特徴が取得できる。
３．電子カルテ特徴抽出。取得された電子カルテデータを分析し、年齢、性別、飲酒、喫煙、黄疸、体重減少、痛み、膵体切除率、残存膵体体積、腹部脂肪含有量、腹部骨格筋含有量を含む、糖尿病に関連するいくつかの危険要因を特定する。各フィールドの情報を数値化し、例えば性別に対して、男を１に設定し、女を０に設定する。そして、電子カルテ特徴を正規化して、電子カルテの１１個の特徴を取得する。
４．特徴選別及び融合。上記取得された映像特徴をＸ１として記し、臨床特徴をＸ2として記し、臨床特徴及び映像特徴を正規化する。
Figure 2024035070000090
を提出されるマルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルに入力し、変数インターリーブ反復アルゴリズムを利用して特徴選別マトリックスＷを取得する。映像特徴及び電子カルテ特徴を選別及び融合し、特徴選別マトリックスを取得する。
５．データ融合。特徴選別マトリックス
Figure 2024035070000091
、ｄを全ての特徴の次元として算出し、ここで２０５１である。そして、
Figure 2024035070000092
の大きさに応じて各特徴の重要性をランキングする。４０個の特徴を最終のデータ融合結果として採用する。ここで、３６個の映像特及び４つの臨床特徴を含む。映像特徴のｄｂ５、ｓｙｍ７、ｈａａｒフィルタリング図像からの特徴数は、それぞれ９，８，１９である。臨床特徴には、飲酒、筋肉含有量、年齢、残存膵体体積を含む。
６．その後、データ融合で取得された映像及び臨床特徴を利用して、サポートベクターマシンに基づく糖尿病予測モデルを確立する。訓練セットデータを用いて予測モデルを訓練し、テストセットでテストする。テストセットにおける糖尿病予測正確度ＡＵＣ＝０．８２である。
上記実施例は、本発明を説明するためのものであり、本発明を限定するものではなく、本発明の精神及び特許請求の範囲内で、本発明に対して行われた任意の補正及び変更は、いずれも本発明の保護範囲内に入る。

Claims (6)

  1. マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムであって、データ収集モジュールと、映像構造化モジュールと、電子カルテ特徴抽出モジュールと、特徴選別及び融合モジュールと、データ融合モジュールとを含み、
    前記データ収集モジュールは、測定対象の予め設定された疾患関連電子カルテデータを収集し、かつその関連する映像データを抽出することに用いられ、
    前記映像構造化モジュールは、映像データを構造化処理し、映像特徴を抽出することに用いられ、
    前記電子カルテ特徴抽出モジュールは、電子カルテデータに対して関連変数を抽出し、数値化処理した後で電子カルテ特徴とすることに用いられ、
    前記特徴選別及び融合モジュールは、映像特徴と電子カルテ特徴に基づいてマルチビュー特徴マトリックスを取得し、かつ監督なし特徴選択及び融合モデルを定義することに用いられ、具体的には、マルチビュー特徴マトリックスを取得し、それは、抽出された映像特徴及び電子カルテ特徴を複数のビュー特徴データとして見なし、第ｖ個のビューの特徴を
    Figure 2024035070000093
    として定義し、ｄｖがｖ番目のビュー特徴の次元であり、ｖ＝１，２であり、第ｖ個のビューにおける全ての特徴を
    Figure 2024035070000094
    として定義し、それらを接続して総特徴マトリックス
    Figure 2024035070000095
    として表現し、監督なし特徴選別問題の目標最適化関数Ｔ（Ｘ，θ）が以下の通り表現され、
    Figure 2024035070000096
     ここで、ｌｏｓｓ（Ｘ，Ｗ）が損失関数であり、θが最適化関数が最適化する必要があるパラメータを表現し、
    Figure 2024035070000097
    が特徴選別マトリックスであり、ｃがクラスタリングの類別数であり、Ｒ（Ｗ）が正則項であり、λが調整パラメータであり、
    Figure 2024035070000098
    が擬似ラベルマトリックスを表現し、ｌｏｓｓ（Ｘ，Ｗ）が以下の通り表現され、
    Figure 2024035070000099
     ここで、ｎがサンプル数であり、ｃがクラスタリングの類別数であり、ノルム
    Figure 2024035070000100
    が
    Figure 2024035070000101
    ノルムを表現し、具体的な算出式が
    Figure 2024035070000102
    であり、ここで、
    Figure 2024035070000103
    がマトリックスＡのｉ行の第ｊ列の元素を表現し、擬似ラベルがサブ空間クラスタリングにおけるスペクトル埋め込みによって生成され、
    サブ空間クラスタリング方法のデータ自表現性質に基づいて、各ビュー特徴データがいずれもサブ空間において自己表現できるように設定し、具体的に以下の通りであり、
    Figure 2024035070000104
     ここで、
    Figure 2024035070000105
    が各ビュー特徴データの自己表現マトリックスであり、
    Figure 2024035070000106
    は長さがｎの単位ベクトルを表現し、そして、データ関係を描写する類似図
    Figure 2024035070000107
    を構築し、かつ低ランク性を満たし、類似図Ｓｖ成分の個数がクラスタリングの類別数ｃに等しく、すなわち、Ｓｖのラプラシアンマトリックスのランクがｎ－ｃに等しく、低ランク性が以下の最適化問題として表現され、
    Figure 2024035070000108
     ここで、
    Figure 2024035070000109
    が類似マトリックスＳｖのラプラシアンマトリックスであり、
    Figure 2024035070000110
    が対角マトリックスであり、Ｔｒがマトリックスを求めるトレースを表現し、Ｉｃは大きさがｃ×ｃの単位マトリックスを表現し、よって、マルチビューサブ空間クラスタリングの目標最適化関数が以下の通り表現され、
    Figure 2024035070000111
     ここで、ｔｒ（）がマトリックスのランクを表現し、
    Figure 2024035070000112
    がＦｒｏｂｅｎｉｕｓノルムであり、具体的な算出式が
    Figure 2024035070000113
    であり、ここで、
    Figure 2024035070000114
    がマトリックスＡの第ｉ行の第ｊ列の元素を表現し、
    データ次元低下を考慮してマルチビューサブ空間クラスタリングによって案内される特徴選別モデルの目標関数を取得しかつ変数インターリーブ反復の方式により求め、特徴選別マトリックスを取得し、特徴選別モデルの目標関数が具体的に以下の通りであり、
    Figure 2024035070000115
     ここで、
    Figure 2024035070000116
    が各ビュー特徴データの自己表現マトリックスであり、Ｌｖが第ｖ個のビューに対応するラプラシアンマトリックスであり、
    Figure 2024035070000117
    が擬似ラベルマトリックスであり、
    Figure 2024035070000118
    が特徴選別マトリックスであり、λ１、λ２及びλ３がバランスパラメータであり、
    前記データ融合モジュールは、特徴選別及び融合モジュールで取得された特徴選別マトリックスに基づいて、映像及び電子カルテ特徴の重要性をランキングし、予め設定された特徴個数に基づいて、映像データと電子カルテデータの融合結果を取得することに用いられる
    ことを特徴とするマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
  2. 前記データ収集モジュールは、予め設定された疾患及び測定対象に基づいて、患者の唯一の医療記録番号に基づいて、病院電子カルテシステムから電子カルテの基本情報及び診断情報を抽出し、電子カルテの基本情報及び診断情報を１つの完全なサンプルとして合成する
    ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
  3. 前記データ収集モジュールで取得された医学映像データは、Ｘ線フィルム、ＣＴデータまたはＭＲＩデータである
    ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
  4. 前記映像構造化モジュールは、予め設定された疾患に基づいて、映像データに対して関心領域をマークし、かつ映像再サンプリング、階調値離散化及び映像領域枠選択を含む映像前処理を行い、最後に前処理された映像及びマークされた関心領域に基づいて、高次元映像特徴を算出する
    ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
  5. 前記電子カルテ特徴抽出モジュールは、取得された電子カルテデータを分析し、測定対象の人口学情報、病歴、生活習慣及び検査項目情報を含む、予め設定された疾患に関するいくつかの危険要因を特定し、各フィールドの情報を数値化し、そして電子カルテデータを正規化し、電子カルテ特徴を取得する
    ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
  6. 前記特徴選別及び融合モジュールにおいて、変数インターリーブ反復の方式により、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルを求め、特徴選別マトリックス、擬似ラベルマトリックス及び自己表現マトリックスを反復更新し、具体的な過程は、先ず特徴選別マトリックス及び擬似ラベルマトリックスを一定にし、自己表現マトリックスを更新し、そして特徴選別マトリックス及び自己表現マトリックスを一定にし、擬似ラベルマトリックスを更新し、最後に擬似ラベルマトリックス及び自己表現マトリックスを一定にし、特徴選別マトリックスを更新する
    ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。
JP2023095104A 2022-08-30 2023-06-08 マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム Active JP7333132B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211047979.9A CN115131642B (zh) 2022-08-30 2022-08-30 一种基于多视子空间聚类的多模态医学数据融合系统
CN202211047979.9 2022-08-30

Publications (2)

Publication Number Publication Date
JP7333132B1 JP7333132B1 (ja) 2023-08-24
JP2024035070A true JP2024035070A (ja) 2024-03-13

Family

ID=83387076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023095104A Active JP7333132B1 (ja) 2022-08-30 2023-06-08 マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム

Country Status (2)

Country Link
JP (1) JP7333132B1 (ja)
CN (1) CN115131642B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524248B (zh) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN117009924B (zh) * 2023-10-07 2024-01-26 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117312963B (zh) * 2023-11-29 2024-03-12 山东企联信息技术股份有限公司 一种采集信息数据智能分类方法、系统及存储介质
CN117744026A (zh) * 2024-02-18 2024-03-22 四川省肿瘤医院 基于多模态的信息融合方法和肿瘤恶性概率识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302113A (ja) * 2005-04-22 2006-11-02 Canon Inc 電子カルテ・システム
US20090028403A1 (en) * 2006-03-03 2009-01-29 Medic Vision - Brain Technologies Ltd. System and Method of Automatic Prioritization and Analysis of Medical Images
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971197B (zh) * 2017-03-02 2019-12-13 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法
CN108197629B (zh) * 2017-12-30 2021-12-31 北京工业大学 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
US10885379B2 (en) * 2018-09-04 2021-01-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN109685155A (zh) * 2018-12-29 2019-04-26 广东工业大学 基于多视图的子空间聚类方法、装置、设备及存储介质
CN110378365A (zh) * 2019-06-03 2019-10-25 广东工业大学 一种基于联合子空间学习的多视图子空间聚类方法
CN110349652B (zh) * 2019-07-12 2022-02-22 之江实验室 一种融合结构化影像数据的医疗数据分析系统
US20220367053A1 (en) * 2019-09-27 2022-11-17 The Brigham And Women's Hospital, Inc. Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction
CN111260209B (zh) * 2020-01-14 2022-03-11 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111324791B (zh) * 2020-03-02 2021-08-17 北京工业大学 一种多视数据子空间聚类方法
CN111611323A (zh) * 2020-04-09 2020-09-01 山东财经大学 一种面向数据融合的迭代结构化多视图子空间聚类方法，设备及可读存储介质
CN111915596A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种肺结节良恶性预测方法及装置
CN111916207B (zh) * 2020-08-07 2023-08-08 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN112164067A (zh) * 2020-10-12 2021-01-01 西南科技大学 一种基于多模态子空间聚类的医学图像分割方法及装置
CN112418319A (zh) * 2020-11-24 2021-02-26 北京工业大学 一种多视子空间聚类方法及装置
CN113269225A (zh) * 2021-04-08 2021-08-17 浙江大学 基于影像组学的非侵入式肝脏上皮样血管平滑肌脂肪瘤图像分类装置
CN113241135B (zh) * 2021-04-30 2023-05-05 山东大学 一种基于多模态融合的疾病风险预测方法和系统
CN113284572B (zh) * 2021-04-30 2024-04-23 上海联影智能医疗科技有限公司 多模态异构的医学数据处理方法及相关装置
CN113505831A (zh) * 2021-07-09 2021-10-15 广东工业大学 一种基于核范数约束的多视图聚类方法及系统
CN113554082B (zh) * 2021-07-15 2023-11-21 广东工业大学 一种自加权融合局部和全局信息的多视图子空间聚类方法
CN114359666A (zh) * 2021-12-28 2022-04-15 清华珠三角研究院 多模态融合的肺癌患者疗效预测方法、系统、装置及介质
CN114529745A (zh) * 2022-01-11 2022-05-24 山东师范大学 基于图结构学习的缺失多视图子空间聚类方法及系统
CN114565613B (zh) * 2022-04-29 2022-08-23 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302113A (ja) * 2005-04-22 2006-11-02 Canon Inc 電子カルテ・システム
US20090028403A1 (en) * 2006-03-03 2009-01-29 Medic Vision - Brain Technologies Ltd. System and Method of Automatic Prioritization and Analysis of Medical Images
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法

Also Published As

Publication number Publication date
JP7333132B1 (ja) 2023-08-24
CN115131642B (zh) 2022-12-27
CN115131642A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US11657087B2 (en) Surgical video retrieval based on preoperative images
Saikumar et al. A novel implementation heart diagnosis system based on random forest machine learning technique.
JP7333132B1 (ja) マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム
EP3046478B1 (en) Image analysis techniques for diagnosing diseases
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
US9280815B2 (en) Comparison workflow automation by registration
CN109426834B (zh) 信息处理装置、信息处理方法和信息处理系统
JP5647522B2 (ja) クロスモダリティによる事例ベースのコンピュータ支援診断のための方法及びシステム
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
WO2023207820A1 (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
WO2020110519A1 (ja) 類似度決定装置、方法およびプログラム
CN112508884A (zh) 一种癌变区域综合检测装置及方法
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
Bandyopadhyay et al. Artificial-intelligence-based diagnosis of brain tumor diseases
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
EP3667674A1 (en) Method and system for evaluating images of different patients, computer program and electronically readable storage medium
Reddy et al. Different algorithms for lung cancer detection and prediction
CN115619810B (zh) 一种前列腺分区分割方法、系统及设备
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
CN114708973B (zh) 一种用于对人体健康进行评估的设备和存储介质
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
JP5426338B2 (ja) 症例画像検索装置、方法およびプログラム
CN117689666A (zh) 基于预测模型的脊髓内脱髓鞘假瘤病与肿瘤的诊断系统
Ratnakar et al. Artificial Intelligence and Medical Visualization
Lu et al. An Approach to Classifying X-Ray Images of Scoliosis and Spondylolisthesis Based on Fine-Tuned Xception Model.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7333132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150