JP7333132B1 - Multimodal medical data fusion system based on multiview subspace clustering - Google Patents

Multimodal medical data fusion system based on multiview subspace clustering Download PDF

Info

Publication number
JP7333132B1
JP7333132B1 JP2023095104A JP2023095104A JP7333132B1 JP 7333132 B1 JP7333132 B1 JP 7333132B1 JP 2023095104 A JP2023095104 A JP 2023095104A JP 2023095104 A JP2023095104 A JP 2023095104A JP 7333132 B1 JP7333132 B1 JP 7333132B1
Authority
JP
Japan
Prior art keywords
data
matrix
view
feature
electronic medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023095104A
Other languages
Japanese (ja)
Other versions
JP2024035070A (en
Inventor
▲勁▼松 李
佩君 胡
雨 田
天舒 周
Original Assignee
之江実験室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江実験室 filed Critical 之江実験室
Application granted granted Critical
Publication of JP7333132B1 publication Critical patent/JP7333132B1/en
Publication of JP2024035070A publication Critical patent/JP2024035070A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

【課題】マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを提供する。【解決手段】システムは、先ず映像を構造化処理して映像特徴を取得し、同時に、電子カルテにおける疾患に関する臨床変数を抽出して臨床特徴を取得し、マルチビューサブ空間クラスタリングによって案内されるマルチモードデータ融合モデルに基づき、映像特徴と臨床特徴を選別及び融合し、各特徴の重要性ランキングを取得し、最後に設定された特徴数に基づき、電子カルテと映像データの融合結果を取得し、電子カルテ情報と映像情報を総合して、関連疾患予測結果の正確性を向上する。各モードのデータがそれぞれの空間において自己を表現できることを保証し、プロック対角構造を保持し、同時に融合データのクラスタリング結果が一致することを保証する。マルチビューサブ空間の相補性原則と一致性原則を利用して、分析結果の一致性を保証する。【選択図】図１A multi-modal medical data fusion system based on multi-view sub-space clustering is provided. Kind Code: A1 A system first obtains video features by structurally processing a video, and at the same time extracts clinical variables related to diseases in an electronic medical record to obtain clinical features, and multi-view subspace clustering guided by multi-view sub-space clustering. Based on the mode data fusion model, select and fuse video features and clinical features, obtain the importance ranking of each feature, and finally obtain the result of fusion of electronic medical records and video data based on the set number of features, Integrate electronic medical record information and video information to improve the accuracy of related disease prediction results. It guarantees that the data of each mode can express itself in its own space, preserves the block diagonal structure, and at the same time guarantees that the clustering results of the fusion data are consistent. Complementarity and consistency principles of multi-view subspaces are utilized to ensure consistency of analysis results. [Selection drawing] Fig. 1

Description

本発明は、医学データ融合分野に関し、特にマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムに関する。 The present invention relates to the field of medical data fusion, and in particular to a multi-modal medical data fusion system based on multi-view sub-space clustering.

臨床医者が疾患を診断する時、通常、患者の電子カルテデータ及び医学映像データを総合して判断または予測を行う。医学映像は、診断疾患の慣例的な手段であり、Ｘ線フィルム、ＣＴ、磁気共鳴図像などを含む。映像は、人体内部の病変器官を反映し、映像に基づくコンピュータ支援診断方法は、肺がん、肺結節、肝臓がんなどの疾患の診断に適用されている。電子カルテシステムは、患者の病歴、主訴、検査、人口学などの情報を含み、疾患の選別、診断に対して重要な作用を有する。電子カルテと映像データを組み合わせることで、コンピュータ支援診断正確率を向上することができ、より医者の診断方式に適合する。従来の疾患診断方法は、一般的に、単一ソースデータ、例えば、電子カルテまたは医学映像に基づいて単独で疾患予測モデルを構築し、マルチソース異種医学データの融合はまだ学術研究段階にある。臨床で電子カルテと映像マルチモードデータを組み合わせて疾患予測を行う作業は、少ない。したがって、電子カルテ構造化情報と医学映像非構造化情報を融合する融合方法を研究することは、疾患予測正確率を向上させるのに非常に有意義である。 When a clinician diagnoses a disease, he or she usually makes judgments or predictions by integrating the patient's electronic medical record data and medical imaging data. Medical imaging is the customary means of diagnosing disease and includes X-ray film, CT, magnetic resonance imaging, and the like. The images reflect diseased organs inside the human body, and computer-aided diagnosis methods based on images are applied to diagnose diseases such as lung cancer, pulmonary nodule, and liver cancer. The electronic medical record system contains information such as patient history, chief complaints, examinations, and demographics, and plays an important role in disease screening and diagnosis. Combining electronic charts and image data can improve the accuracy rate of computer-aided diagnosis and is more suitable for doctors' diagnosis methods. Conventional disease diagnosis methods generally build disease prediction models alone based on single-source data, such as electronic medical records or medical images, and the fusion of multi-source heterogeneous medical data is still in the academic research stage. In clinical practice, there is little work to predict disease by combining electronic medical records and video multimode data. Therefore, it is very meaningful to study a fusion method that fuses the electronic medical record structured information and the medical image unstructured information to improve the disease prediction accuracy rate.

現在、映像と電子カルテデータを融合する方法は、３種に分けられる。第１種の方法は、特徴レベル融合と呼び、電子カルテと映像に対してそれぞれ特徴を抽出した後、两種の特徴を直接接続して融合し、分類器に入力して予測を行う。第２種の方法は、决策レベル融合と呼び、それぞれ電子カルテと映像を利用して予測して得られた結果に対して、簡単な融合アルゴリズムを利用して２つの予測結果を総合する。第３種の方法は、中間融合と呼び、特徴抽出及び表現段階において、２種のデータを一緒に融合する。後者の二種の方法と比べて、特徴レベル融合の算出及び解釈可能性は優れているが、ほとんどの方法は、抽出された映像特徴及び電子カルテ特徴を直接接続して融合し、異なるソース特徴を統一されたビューにおける特徴として見なすが、二種のデータの特異性及び整合可能性を考慮しておらず、特徴が本来の意味を失う可能性がある。従来のデータ次元低下方法、例えばＰＣＡ、ＲＦＥ，ＬＡＳＳＯなどは、いずれもマルチビュー特徴の特徴を考慮していない。 At present, there are three methods of combining video and electronic medical record data. The first method is called feature-level fusion. After extracting features for electronic medical records and video respectively, the features of the type 20004 are directly connected and fused, and input to the classifier for prediction. conduct. The second type of method is called decision-level fusion, and integrates two prediction results by using a simple fusion algorithm for the prediction results obtained by using the electronic medical record and the video, respectively. A third type of method, called intermediate fusion, fuses two types of data together in the feature extraction and representation stages. Computation and interpretability of feature-level fusion are superior compared to the latter two methods, but most methods directly connect and fuse the extracted video features and electronic medical record features to generate different source features. as features in a unified view, but does not consider the specificity and consistency of the two types of data, and the features may lose their original meaning. None of the conventional data dimensionality reduction methods, such as PCA, RFE, LASSO, etc., consider the feature of multi-view features.

自己表現に基づくサブ空間クラスタリング方法は、騒音に対するロバスト性及び完全な理論を有し、常用的な高次元データクラスタリング方法である。データ自己表現とは、データが線形分離可能である場合と仮定すると、データサンプルが同一のサブ空間の他のデータサンプル線形組み合わせによって表現できることを意味する。データ自己表現マトリックスには希薄性表現制限または低ランク表現制限を行うことで、自己表現マトリックスを利用してデータを次元低下することができる。サブ空間クラスタリングを基礎とし、物事に対する異なる角度の理解を複数の特徴描写ビューとして生成し、マルチビューサブ空間クラスタリングを行うことで、各ビューの利点を発揮できる。 The self-representation-based subspace clustering method is a popular high-dimensional data clustering method with noise robustness and perfect theory. Data self-representation means that, given that the data are linearly separable, a data sample can be represented by a linear combination of other data samples in the same subspace. The self-representation matrix can be used to reduce the dimensionality of the data by applying sparsity representation restrictions or low-rank representation restrictions to the data self-representation matrix. On the basis of sub-space clustering, the understanding of different angles of things is generated as multiple characterization views, and multi-view sub-space clustering is performed to take advantage of each view.

本発明の目的は、従来技術の不足について、マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを提出し、現在では電子カルテと医学映像データの使用が比較的に独立であり、既存のマルチモード医学データ融合方法が各モードに対して特徴を直接抽出した後、各種類の特徴を直接接続して融合するが、マルチソース異種データの差異性及び各モードデータの内部構造を考慮していないという課題を解決することにある。 The purpose of the present invention is to address the shortcomings of the prior art by presenting a multi-mode medical data fusion system based on multi-view sub-space clustering. The modal medical data fusion method directly extracts features for each mode, and then directly connects and fuses each type of feature, but does not consider the difference of multi-source heterogeneous data and the internal structure of each modal data. to solve the problem.

本発明の目的は、以下の技術的解決手段によって実現される。 The objectives of the present invention are achieved by the following technical solutions.

測定対象の予め設定された疾患関連電子カルテデータを収集し、かつその関連する映像データを抽出するためのデータ収集モジュールと、
映像データを構造化処理し、映像特徴を抽出するための映像構造化モジュールと、
電子カルテデータに対して関連変数を抽出し、数値化処理した後で電子カルテ特徴とするための電子カルテ特徴抽出モジュールと、
映像特徴と電子カルテ特徴に基づいてマルチビュー特徴マトリックスを取得し、かつ監督なし特徴選択及び融合モデルを定義し、サブ空間クラスタリング方法のデータ自表現性質に基づいて、各ビュー特徴データがいずれもサブ空間において自己表現できるように設定し、データ次元低下を考慮してマルチビューサブ空間クラスタリングによって案内される特徴選別モデルの目標関数を取得しかつ変数インターリーブ反復の方式により求め、特徴選別マトリックスを取得するための特徴選別及び融合モジュールと、
特徴選別及び融合モジュールで取得された特徴選別マトリックスに基づいて、映像及び電子カルテ特徴の重要性をランキングし、予め設定された特徴個数に基づいて、映像データと電子カルテデータの融合結果を取得するためのデータ融合モジュールと、
を含む、マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 a data collection module for collecting preset disease-related electronic medical record data to be measured and extracting its associated video data;
a video structuring module for structuring video data and extracting video features;
an electronic medical chart feature extraction module for extracting relevant variables from electronic medical chart data and converting them into electronic medical chart features after numerical processing;
A multi-view feature matrix is obtained based on the video feature and the electronic medical record feature, and an unsupervised feature selection and fusion model is defined. Set self-representation in space, obtain the target function of the feature selection model guided by multi-view subspace clustering considering the data dimensionality reduction, and obtain the feature selection matrix by the method of variable interleaved iteration. a feature selection and fusion module for
Ranking the importance of image and electronic medical record features according to the feature selection matrix obtained by the feature selection and fusion module, and obtaining the fusion result of the image data and the electronic medical record data according to the preset number of features. a data fusion module for
A multi-modal medical data fusion system based on multi-view sub-spatial clustering, including.

さらに、前記データ収集モジュールは、予め設定された疾患及び測定対象に基づいて、患者の唯一の医療記録番号に基づいて、病院電子カルテシステムから電子カルテの基本情報及び診断情報を抽出し、電子カルテの基本情報及び診断情報を１つの完全なサンプルとして合成する。 Further, the data collection module extracts basic information and diagnosis information of the electronic medical record from the hospital electronic medical record system based on the patient's unique medical record number, based on the preset disease and measurement object, and extracts the electronic medical record information. basic and diagnostic information as one complete sample.

さらに、前記データ収集モジュールで取得された医学映像データは、Ｘ線フィルム、ＣＴデータまたはＭＲＩデータである。 Further, the medical image data acquired by the data acquisition module is X-ray film, CT data or MRI data.

さらに、前記映像構造化モジュールは、予め設定された疾患に基づいて、映像データに対して関心領域をマークし、かつ映像再サンプリング、階調値離散化及び映像領域枠選択を含む映像前処理を行い、最後に前処理された映像及びマークされた関心領域に基づいて、高次元映像特徴を算出する。 Further, the image structuring module marks regions of interest on the image data based on preset diseases, and performs image preprocessing including image resampling, grayscale value discretization and image region frame selection. and finally compute the high-dimensional image features based on the preprocessed image and the marked regions of interest.

さらに、前記電子カルテ特徴抽出モジュールは、取得された電子カルテデータを分析し、測定対象の人口学情報、病歴、生活習慣及び検査項目情報を含む予め設定された疾患に関するいくつかの危険要因を特定し、各フィールドの情報を数値化し、そして電子カルテデータを正規化し、電子カルテ特徴を取得する。 In addition, the electronic medical record feature extraction module analyzes the acquired electronic medical record data and identifies several risk factors related to preset diseases, including demographic information, medical history, lifestyle habits and test item information of the measurement target. digitize the information in each field and normalize the electronic medical chart data to obtain electronic medical chart features.

さらに、前記特徴選別及び融合モジュールにおいてマルチビュー特徴マトリックスを取得することは、具体的に、抽出された映像特徴及び電子カルテ特徴を複数のビュー特徴データとして見なし、第ｖ個のビューの特徴を

Figure 0007333132000002
として定義し、ｄｖが第ｖ個のビュー特徴の次元であり（ｖ＝１，２）、第ｖ個のビューにおける全ての特徴を
Figure 0007333132000003
として定義し、それらを接続して総特徴マトリックス
Figure 0007333132000004
として表現する。 Further, obtaining a multi-view feature matrix in the feature selection and fusion module specifically regards the extracted video features and electronic medical record features as a plurality of view feature data, and takes the features of the v-th view as
Figure 0007333132000002
, where dv is the dimension of the vth view feature (v=1,2) and all features in the vth view are
Figure 0007333132000003
and connect them to get the total feature matrix
Figure 0007333132000004
expressed as

さらに、前記特徴選別及び融合モジュールにおいて監督なし特徴選択及び融合モデルを定義し、具体的には、監督なし特徴選別問題の目標最適化関数Ｔ（Ｘ，θ）が以下の通り表現され、

Figure 0007333132000005
ここで、ｌｏｓｓ（Ｘ，Ｗ）が損失関数であり、θは最適化関数が最適化する必要があるパラメータを表現し、
Figure 0007333132000006
が特徴選別マトリックスであり、ｃがクラスタリングの類別数であり、Ｒ（Ｗ）が正則項であり、λが調整パラメータであり、
Figure 0007333132000007
が擬似ラベルマトリックスを表現し、ｌｏｓｓ（Ｘ，Ｗ）が以下の通り表現され、
Figure 0007333132000008
 ここで、ｎがサンプル数であり、ｃがクラスタリングの類別数であり、ノルム
Figure 0007333132000009
が
Figure 0007333132000010
ノルムを表現し、具体的な算出式が
Figure 0007333132000011
であり、ここで、
Figure 0007333132000012
がマトリックスＡの第ｉ行の第ｊ列の元素を表現し、擬似ラベルがサブ空間クラスタリングにおけるスペクトル埋め込みによって生成される。 Further, an unsupervised feature selection and fusion model is defined in the feature selection and fusion module, specifically, the objective optimization function T(X, θ) of the unsupervised feature selection problem is expressed as follows:
Figure 0007333132000005
 where loss(X, W) is the loss function, θ represents the parameters that the optimization function needs to optimize,
Figure 0007333132000006
is the feature screening matrix, c is the clustering classification number, R(W) is the regular term, λ is the tuning parameter,
Figure 0007333132000007
represents the pseudo-label matrix and loss(X, W) is represented as
Figure 0007333132000008
 where n is the number of samples, c is the number of clustering classifications, and the norm
Figure 0007333132000009
but
Figure 0007333132000010
It expresses the norm, and the specific calculation formula is
Figure 0007333132000011
and where
Figure 0007333132000012
represents the element in the i-th row and j-th column of matrix A, and the pseudo-labels are generated by spectral embedding in sub-spatial clustering.

さらに、前記特徴選別及び融合モジュールにおいてサブ空間クラスタリング方法のデータ自表現性質に基づいて、各マルチビュー特徴データがいずれもサブ空間において自己表現できるように設定し、具体的に以下の通りであり、

Figure 0007333132000013
ここで、
Figure 0007333132000014
が各ビュー特徴データの自己表現マトリックスであり、
Figure 0007333132000015
は長さがｎの単位ベクトルを表現し、そして、データ関係を描写する類似図
Figure 0007333132000016
を構築し、かつ低ランク性を満たし、類似図Ｓｖ成分の個数がクラスタリングの類別数ｃに等しく、すなわち、Ｓｖのラプラシアンマトリックスのランクがｎ－ｃに等しく、低ランク性が以下の最適化問題として表現され、
Figure 0007333132000017
 ここで、
Figure 0007333132000018
が類似マトリックスＳｖのラプラシアンマトリックスであり、
Figure 0007333132000019
が対角マトリックスであり、Ｔｒがマトリックスを求めるトレースを表現し、Ｉｃは大きさがｃ×ｃの単位マトリックスを表現し、よって、マルチビューサブ空間クラスタリングの目標最適化関数が以下の通り表現され、
Figure 0007333132000020
 ここで、ｔｒ（）がマトリックスのランクを表現し、
Figure 0007333132000021
がＦｒｏｂｅｎｉｕｓノルムであり、具体的な算出式が
Figure 0007333132000022
であり、ここで、
Figure 0007333132000023
がマトリックスＡの第ｉ行の第ｊ列の元素を表現する。 Further, according to the data self-representation property of the subspace clustering method in the feature selection and fusion module, each multi-view feature data is set to be self-representable in the subspace, specifically as follows:
Figure 0007333132000013
 here,
Figure 0007333132000014
is the self-representation matrix of each view feature data, and
Figure 0007333132000015
represents a unit vector of length n, and a similar diagram depicting data relationships
Figure 0007333132000016
and satisfies the low-rank property such that the number of similarity map S v components is equal to the clustering class number c, i.e. the rank of the Laplacian matrix of S v is equal to nc, and the low-rank property is the following optimal expressed as a transformation problem,
Figure 0007333132000017
 here,
Figure 0007333132000018
is the Laplacian matrix of the similarity matrix S v , and
Figure 0007333132000019
is the diagonal matrix, Tr represents the trace to find the matrix, and I c represents the identity matrix of size c×c, so the objective optimization function for multi-view subspatial clustering is expressed as is,
Figure 0007333132000020
 where tr() represents the rank of the matrix and
Figure 0007333132000021
is the Frobenius norm, and the specific formula is
Figure 0007333132000022
and where
Figure 0007333132000023
represents the element in the i-th row and the j-th column of the matrix A.

さらに、前記特徴選別及び融合モジュールにおいてデータ次元低下を考慮して、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数を以下の通り取得し、

Figure 0007333132000024
ここで、
Figure 0007333132000025
がビューの特定の自己表現マトリックスであり、Ｌｖが第ｖ個のビューに対応するラプラシアンマトリックスであり、
Figure 0007333132000026
が擬似ラベルマトリックスであり、
Figure 0007333132000027
が特徴選別マトリックスであり、λ１、λ２及びλ３がバランスパラメータである。 Further, considering the data dimensionality reduction in the feature selection and fusion module, obtain the objective function of the feature selection and fusion model guided by multi-view subspace clustering as follows:
Figure 0007333132000024
 here,
Figure 0007333132000025
is the view's particular self-representation matrix, L v is the Laplacian matrix corresponding to the vth view,
Figure 0007333132000026
is the pseudo-label matrix, and
Figure 0007333132000027
is the feature filtering matrix and λ 1 , λ 2 and λ 3 are the balance parameters.

さらに、前記特徴選別及び融合モジュールにおいて、変数インターリーブ反復の方式により、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルを求め、特徴選別マトリックス、擬似ラベルマトリックス及び自己表現マトリックスを反復更新し、具体的な過程は、先ず特徴選別マトリックス及び擬似ラベルマトリックスを一定にし、自己表現マトリックスを更新し、そして特徴選別マトリックス及び自己表現マトリックスを一定にし、擬似ラベルマトリックスを更新し、最後に擬似ラベルマトリックス及び自己表現マトリックスを一定にし、特徴選別マトリックスを更新する。 further, in the feature selection and fusion module, obtain a feature selection and fusion model guided by multi-view subspace clustering by way of variable interleaved iteration, and iteratively update the feature selection matrix, the pseudo-label matrix and the self-representation matrix; The specific process is to first fix the feature selection matrix and the pseudo-label matrix, update the self-representation matrix, fix the feature-selection matrix and the self-representation matrix, update the pseudo-label matrix, and finally update the pseudo-label matrix and the self-representation matrix. Fix the self-representation matrix and update the feature screening matrix.

本発明の有益な効果としては、本発明は、従来の映像データ及び電子カルテデータの使用が比較的に独立し、または二者を融合する方式が比較的に簡単で粗雑であるという不足を補い、マルチビューサブ空間クラスタリング思想に基づき、マルチソース異種データをマルチビューサブ空間クラスタリングによって案内される特徴選別モデルによって融合する。本発明は、映像及び電子カルテを、同一対象を描写する異なるビューデータとみなし、各マルチビュー特徴データがそれぞれの空間において自己表現できることを考慮し、すなわち、各マルチビュー特徴データの元の空間構造を保持し、かつモデルに対して低ランク制限を導入すると共に、異なるマルチビュー特徴データのクラスタリング結果が一致であることを保証する。本発明は、柔軟性に優れ、他のマルチモード異種データ、例えば病理図像、心電データなどに適用できる。異なるモードデータの予測モデルと組み合わせて、より臨床診断の習慣に適合し、モデルの予測性能を向上できる。 A beneficial effect of the present invention is that it compensates for the relatively independent use of conventional video data and electronic medical record data, or the relatively simple and crude method of amalgamating the two. , based on the multi-view sub-space clustering idea, fuses multi-source heterogeneous data by a feature selection model guided by multi-view sub-space clustering. The present invention regards video and electronic medical records as different view data depicting the same object, and considers that each multi-view feature data can express itself in its own space, i.e., the original spatial structure of each multi-view feature data and introduce a low-rank constraint on the model while ensuring that the clustering results of different multi-view feature data are consistent. The present invention is flexible and applicable to other multimodal heterogeneous data such as pathological images, electrocardiographic data, and the like. Combined with the prediction model of different modal data, it can better match the clinical diagnostic practice and improve the prediction performance of the model.

本発明によるマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム構成図である。1 is a block diagram of a multi-modal medical data fusion system based on multi-view sub-space clustering according to the present invention; FIG. 本発明によるマルチビューサブ空間クラスタリングによって案内される特徴選別及び融合モデル概略図である。1 is a schematic diagram of a feature selection and fusion model guided by multi-view subspace clustering according to the present invention; FIG. 本発明によるマルチビューサブ空間クラスタリングによって案内される特徴選別及び融合モジュールの実現過程概略図である。FIG. 4 is a schematic diagram of the implementation process of the feature selection and fusion module guided by multi-view subspace clustering according to the present invention;

以下、図面を参照して本発明の実施形態をさらに詳細に説明する。 Hereinafter, embodiments of the present invention will be described in more detail with reference to the drawings.

図１に示すように、本発明は、マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを提供する。当該システムは、データ収集モジュールと、映像構造化モジュールと、電子カルテ特徴抽出モジュールと、特徴選別及び融合モジュールと、データ融合モジュールとを含む。前記データ収集モジュールは、病院電子カルテシステムから測定対象の予め設定された疾患関連電子カルテ情報を収集し、かつその関連する映像データを抽出するためのものである。前記映像構造化モジュールは、映像データを構造化処理し、高次元映像特徴を抽出するためのものである。前記電子カルテ特徴抽出モジュールは、予め設定された疾患に基づいて、測定対象の電子カルテデータから関連変数を抽出し、数値化処理した後で電子カルテ特徴とするためのものである。前記特徴選別及び融合モジュールは、マルチビューサブ空間クラスタリングによって案内される特徴選別及び融合モデルに基づいて（図２に示す）、映像特徴及び電子カルテ特徴を次元低下及び融合するためのものである。前記データ融合モジュールは、特徴選別及び融合モジュールで取得された特徴選別マトリックスに基づいて、映像及び電子カルテ特徴の重要性をランキングし、予め設定された特徴個数に基づいて、映像データと電子カルテデータの融合結果を取得するためのものである。 As shown in Figure 1, the present invention provides a multi-modal medical data fusion system based on multi-view sub-space clustering. The system includes a data collection module, a video structuring module, an electronic medical record feature extraction module, a feature selection and fusion module, and a data fusion module. The data collection module is for collecting preset disease-related electronic medical record information to be measured from the hospital electronic medical record system and extracting its related video data. The video structuring module is for structuring video data and extracting high-dimensional video features. The electronic medical chart feature extraction module is for extracting relevant variables from the electronic medical chart data to be measured based on a preset disease, digitizing them, and converting them into electronic medical chart features. The feature selection and fusion module is for dimensionality reduction and fusion of video and electronic medical record features based on a feature selection and fusion model (shown in FIG. 2) guided by multi-view subspace clustering. The data fusion module ranks the importance of image and electronic medical record features based on the feature selection matrix obtained by the feature selection and fusion module, and ranks the image data and the electronic medical record data based on a preset number of features. is for obtaining the fusion result of

前記データ収集モジュールは、測定対象の電子カルテを取得する。予め設定された疾患及び測定対象に基づいて、患者の唯一の医療記録番号に基づいて、病院電子カルテシステムから電子カルテの基本情報及び診断情報を抽出し、電子カルテの基本情報及び診断情報を１つの完全なサンプルとして合成する。前記基本情報は、人口学情報、病歴、生活習慣及び検査項目情報を含む。前記診断情報は、当該患者の予め設定された疾患に関する診断結果である。 The data acquisition module acquires an electronic medical chart to be measured. Based on the preset disease and measurement object, based on the patient's unique medical record number, extract the basic information and diagnostic information of the electronic medical record from the hospital electronic medical record system, and convert the basic information and diagnostic information of the electronic medical record into 1 synthesized as one complete sample. The basic information includes demographic information, medical history, lifestyle and examination item information. The diagnostic information is a diagnostic result regarding a preset disease of the patient.

前記データ収集モジュールは、測定対象の医学映像データを取得する。医学映像データは、一般的に、Ｘ線フィルム、ＣＴまたはＭＲＩデータである。 The data acquisition module acquires medical image data to be measured. Medical imaging data is typically X-ray film, CT or MRI data.

前記映像構造化モジュールは、予め設定された疾患に基づいて、映像データに対して関心領域をマークする。映像マーク方法は、手動描画またはコンピュータアルゴリズム自動描画であってもよく、関心領域は、一般的に疾患患の病変領域または器官や組織全体である。関心領域マーク構造は、二値図像形式で保存され、１が前景を代表し、０が背景を代表する。 The image structuring module marks regions of interest on the image data based on preset diseases. The image marking method may be manual drawing or computer algorithm automatic drawing, and the region of interest is generally the diseased lesion area or the entire organ or tissue. The region of interest mark structure is stored in binary pictorial form, with 1 representing the foreground and 0 representing the background.

映像データマーク後で、映像再サンプリング、階調値離散化及び映像領域枠選択を含む映像前処理を行う必要がある。先ず、原図像及びマーク図像を前処理し、それは、原図像及びマーク図像を解像度１×１×１の大きさに再サンプリングすることと、関心領域に基づいてその囲み領域の矩形枠を算出し、エッジ拡張値を設定し、そして原図像及びマーク図像の矩形枠を取り出すことと、原図像に対してコントラスト調整を行い、先ず図像のＨＵ値を［－１００， ２４０］の間に切り捨て、そして［０，２５５］の間に離散化することと、を含む。 After image data marking, image pre-processing including image re-sampling, gray value discretization and image region frame selection needs to be performed. First, the original image and the mark image are preprocessed, which consists of resampling the original image and the mark image to a resolution of 1×1×1 size, and calculating the rectangular frame of the bounding region based on the region of interest. , set the edge extension value, and take out the rectangular frame of the original icon and the mark icon, perform contrast adjustment on the original icon, first round off the HU value of the icon between [-100, 240], and discretizing between [0,255].

映像及びマークの関心領域に基づいて、高次元映像特徴を算出する。Ｐｙｒａｄｉｏｍｉｃｓツールキットに基づいて一次統計特徴、形状特徴及びテクスチャ特徴（ＧＬＣＭ、ＧＬＲＬＭ、ＮＧＴＤＭ、ＧＬＤＭ）を算出し、各類特徴が具体的に含む特徴名称は、表１に示され、総計で８５個の特徴が算出される。
表１ 映像特徴名称

Figure 0007333132000028
High-dimensional image features are calculated based on the region of interest of the image and the mark. Primary statistical features, shape features and texture features (GLCM, GLRLM, NGTDM, GLDM) are calculated based on the Pyradiomics toolkit, and the feature names specifically included in each class feature are shown in Table 1, with a total of 85 is calculated.
Table 1 Image feature names
Figure 0007333132000028

前記電子カルテ特徴抽出モジュールは、取得された電子カルテデータを分析し、予め設定された疾患に関するいくつかの危険要因、例えば測定対象の人口学情報、病歴、生活習慣及び検査項目情報（血液検査、心率など）を特定する。各フィールドの情報を数値化し、例えば性別について、男を１に設定し、女を０に設定する。そして、電子カルテデータを正規化し、電子カルテ特徴を取得する。 The electronic medical record feature extraction module analyzes the acquired electronic medical record data and selects several risk factors related to preset diseases, such as demographic information, medical history, lifestyle habits, and test item information (blood test, heart rate, etc.). The information in each field is digitized, and, for example, gender is set to 1 for male and 0 for female. Then, the electronic medical chart data is normalized to obtain electronic medical chart features.

前記特徴選別及び融合モジュールは、映像特徴と電子カルテ特徴に基づいてマルチビュー特徴マトリックスを取得し、かつ監督なし特徴選択及び融合モデルを定義し、サブ空間クラスタリング方法のデータ自表現性質に基づいて、各マルチビュー特徴データがいずれもサブ空間において自己表現できるように設定し、マルチビューサブ空間クラスタリングの目標最適化関数を取得し、データ次元低下を考慮してマルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数を取得しかつ変数インターリーブ反復の方式により求め、特徴選別マトリックスを取得する。図３に示すように、具体的に以下の通りであり、
前記マルチビュー特徴マトリックスを取得することは、具体的に、抽出された映像特徴及び電子カルテ特徴を複数のビュー特徴とみなし、第ｖ個のビューの特徴を

Figure 0007333132000029
として定義し、ｘｎ ｖが第ｎ個のデータポイントを表現し、ｄｖが第ｖ個のビュー特徴の次元であり、ｖ＝１，２である。Ｖ個のビューにおける全ての特徴を
Figure 0007333132000030
として定義することができ、それらを接続して総特徴マトリックス
Figure 0007333132000031
として表現する。 The feature selection and fusion module obtains a multi-view feature matrix based on video features and electronic medical record features, and defines an unsupervised feature selection and fusion model, based on the data self-representation properties of sub-spatial clustering methods, Set each multi-view feature data to be self-representable in subspace, obtain the target optimization function of multi-view sub-space clustering, and take into account data dimensionality reduction and feature guided by multi-view sub-space clustering. The objective function of the selection and fusion model is obtained and obtained by the method of variable interleaving iteration to obtain the feature selection matrix. As shown in FIG. 3, it is specifically as follows,
Obtaining the multi-view feature matrix specifically regards the extracted video features and electronic medical record features as multiple view features, and the v-th view features as
Figure 0007333132000029
where xnv represents the nth data point and dv is the dimension of the vth view feature, v= 1,2 . Let all features in V views be
Figure 0007333132000030
and connect them to the total feature matrix
Figure 0007333132000031
expressed as

前記監督なし特徴選択及び融合モデルを定義することは、具体的に、監督なし特徴選別問題の目標最適化関数Ｔ（Ｘ，θ）が以下の通り表現され、

Figure 0007333132000032
ここで、ｌｏｓｓ（Ｘ，Ｗ）が損失関数であり、θは最適化関数が最適化する必要があるパラメータを表現し、
Figure 0007333132000033
が特徴選別マトリックスであり、ｃがクラスタリングの類別数であり、Ｒ（Ｗ）が正則項であり、例えば希薄性と低ランク性であり、λが調整パラメータであり、一般的に経験値に設定され、本発明では１０に設定される。
Figure 0007333132000034
が擬似ラベルマトリックスを表現し、ｌｏｓｓ（Ｘ，Ｗ）が以下の通り表現されてもよく、
Figure 0007333132000035
 ここで、ｎがサンプル数であり、ｃがクラスタリングの類別数である。ノルム
Figure 0007333132000036
が
Figure 0007333132000037
ノルムを表現し、具体的な算出式が
Figure 0007333132000038
であり、ここで、
Figure 0007333132000039
がマトリックスＡの第ｉ行の第ｊ列の元素を表現する。擬似ラベルがサブ空間クラスタリングにおけるスペクトル埋め込みによって生成されてもよい。 To define the unsupervised feature selection and fusion model, specifically, the objective optimization function T(X, θ) of the unsupervised feature selection problem is expressed as follows:
Figure 0007333132000032
 where loss(X, W) is the loss function, θ represents the parameters that the optimization function needs to optimize,
Figure 0007333132000033
is the feature screening matrix, c is the number of clustering classifications, R(W) is a regular term, such as sparsity and low rank, and λ is a tuning parameter, generally set to an empirical value. and is set to 10 in the present invention.
Figure 0007333132000034
may represent the pseudo-label matrix and loss(X, W) may be represented as
Figure 0007333132000035
 where n is the number of samples and c is the number of clustering classifications. Norm
Figure 0007333132000036
but
Figure 0007333132000037
It expresses the norm, and the specific calculation formula is
Figure 0007333132000038
and where
Figure 0007333132000039
represents the element in the i-th row and the j-th column of the matrix A. Pseudo-labels may be generated by spectral embedding in sub-spatial clustering.

前記サブ空間クラスタリング方法のデータ自表現性質に基づいて、各ビュー特徴データがいずれもサブ空間において自己表現できるように設定することは、具体的に以下の通りであり、

Figure 0007333132000040
ここで、
Figure 0007333132000041
が各ビュー特徴データの自己表現マトリックスであり、
Figure 0007333132000042
は長さがｎの単位ベクトルを表現する。そして、データ関係を描写する類似図
Figure 0007333132000043
を構築することができる。かつ低ランク性を満たし、類似図Ｓｖ成分の個数がクラスタリング類別数ｃに等しく、すなわち、Ｓｖのラプラシアンマトリックスのランクがｎ－ｃに等しい。低ランク性は以下の最適化問題として表現されてもよく、
Figure 0007333132000044
 ここで、
Figure 0007333132000045
が類似マトリックスＳｖのラプラシアンマトリックスであり、
Figure 0007333132000046
が対角マトリックスである。Ｔｒがマトリックスを求めるトレースを表現し、Ｉｃは大きさがｃ×ｃの単位マトリックスを表現する。よって、マルチビューサブ空間クラスタリングの目標最適化関数が以下の通り表現されてもよく、
Figure 0007333132000047
 ここで、ｔｒ（）がマトリックスのランクを表現し、
Figure 0007333132000048
がＦｒｏｂｅｎｉｕｓノルムであり、具体的な算出式が
Figure 0007333132000049
であり、ここで、
Figure 0007333132000050
がマトリックスＡの第ｉ行の第ｊ列の元素を表現する。 Based on the data self-representation properties of the subspace clustering method, setting each view feature data to be self-representable in the subspace is specifically as follows:
Figure 0007333132000040
 here,
Figure 0007333132000041
is the self-representation matrix of each view feature data, and
Figure 0007333132000042
represents a unit vector of length n. and similar diagrams depicting data relationships
Figure 0007333132000043
can be constructed. and satisfies the low-rank property, the number of similarity map S v components is equal to the clustering classification number c, ie the rank of the Laplacian matrix of S v is equal to nc. Low rank property may be expressed as the following optimization problem,
Figure 0007333132000044
 here,
Figure 0007333132000045
is the Laplacian matrix of the similarity matrix S v , and
Figure 0007333132000046
is the diagonal matrix. Tr represents the trace for which the matrix is obtained, and Ic represents the identity matrix of size c×c. Thus, the objective optimization function for multi-view sub-spatial clustering may be expressed as
Figure 0007333132000047
 where tr() represents the rank of the matrix and
Figure 0007333132000048
is the Frobenius norm, and the specific formula is
Figure 0007333132000049
and where
Figure 0007333132000050
represents the element in the i-th row and the j-th column of the matrix A.

前記データ次元低下を考慮して、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数を取得することは、具体的に、選択された特徴が、データ間の類似構造を保持すべきであり、かつ希薄性である。すなわち、特徴選択マトリックスＷに希薄性正則化項

Figure 0007333132000051
を加える。したがって、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルの目標関数が以下の通り表現されてもよく、
Figure 0007333132000052
 ここで、
Figure 0007333132000053
がビューの特定の自己表現マトリックスであり、Ｌｖが第ｖ個のビューに対応するラプラシアンマトリックスであり、他の記号
Figure 0007333132000054
が擬似ラベルマトリックスであり、
Figure 0007333132000055
が特徴選別マトリックスであり、λ１、λ２及びλ３がバランスパラメータであり、本発明では、それぞれ値を１，１０－３，１０とする。 Considering the data dimensionality reduction, obtaining an objective function for feature selection and fusion models guided by multi-view subspace clustering specifically ensures that the selected features retain a similar structure among the data. should and be sparse. That is, the sparsity regularization term in the feature selection matrix W
Figure 0007333132000051
Add Therefore, the objective function of the feature selection and fusion model guided by multi-view subspace clustering may be expressed as
Figure 0007333132000052
 here,
Figure 0007333132000053
is the particular self-representation matrix of the view, L v is the Laplacian matrix corresponding to the vth view, and the other symbols
Figure 0007333132000054
is the pseudo-label matrix, and
Figure 0007333132000055
is the feature selection matrix, and λ 1 , λ 2 and λ 3 are the balance parameters, which we take as 1, 10 -3 and 10, respectively.

変数インターリーブ反復の方式により、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルを求め、変数Ｗ，Ｆｖ，Ｚｖを反復更新する。具体的に以下の通りであり、
自己表現マトリックスＺｖを更新し、Ｗ，Ｆｖをそのまま一定にし、以下の最適化問題を求め、

Figure 0007333132000056
上記式にラグランジュ乗数
Figure 0007333132000057
を導入し、以下の通り変換し、
Figure 0007333132000058
Figure 0007333132000059
が無限大になる傾向がある場合、Ｘが
Figure 0007333132000060
に置き換えることができる。したがって、上記式が以下の通り表現されてもよく、
Figure 0007333132000061
 上記式は以下の問題に等価することができ、
Figure 0007333132000062
 ここで、Ｐマトリックスにおける第ｉ行の第ｊ列の元素
Figure 0007333132000063
，ｆｉがＦの第ｉ行である。そして、交互反復最適化戦略を使用して、上記の問題を解決する。Ｚｖの第ｉ行以外の全ての行の数値を一定にして、Ｚｖの第ｉ行の値を求め、
Figure 0007333132000064
 ここで、Ｚｖ ＴがＺの第ｉ行であり、ｐがＰの第ｉ列であり、
Figure 0007333132000065
、Ｚｖ，ｉがＺｖの第ｉ個の元素である。上記式は以下の問題に変換されてもよく、
Figure 0007333132000066
 ここで、
Figure 0007333132000067
である。上記式の問題はソフトしきい値方法で求めされてもよく、
Figure 0007333132000068
 ここで、Ｚｖ，ｋ、ｒｖ，ｋ及びｐｋがそれぞれＺｖ、ｒｖ及びｐの第ｋ個の元素を表現し、
Figure 0007333132000069
が括弧内の値の正の部分を取得することを表現する。Ｆを更新し、Ｚｖ、Ｗをそのまま一定にし、関係しない変数項を除去し、以下の最適化問題を求め、
Figure 0007333132000070
 ここで、
Figure 0007333132000071
が単位マトリックスであり、
Figure 0007333132000072
はＦの元素が全て０以上であることを表現する。等式制約を取り除くために、上記式にペナルティ項
Figure 0007333132000073
を追加し、問題を以下の通り変換し、
Figure 0007333132000074
 ここで、γは値が大きいバランスパラメータであり、本発明でγ＝１０６を採用する。等式制約を取り除くために、ラグランジュ乗数
Figure 0007333132000075
を導入し、以下の通り取得し、
Figure 0007333132000076
 上記式に対してＦについて微分をとり、かつその偏微分を
Figure 0007333132000077
とし、以下の通り取得し、
Figure 0007333132000078
 ここで、Ｑが対角マトリックスであり、第ｉ個の元素が
Figure 0007333132000079
であり、ｉ：はマトリックスの第ｉ行を採用することを表現する。ＫＫＴ条件によれば、
Figure 0007333132000080
である。したがって、以下の通り取得し、
Figure 0007333132000081
 そして、Ｆを正規化し、
Figure 0007333132000082
を満たさせる。
Ｗを更新し、Ｚｖ、Ｆをそのまま固定する。関係しない変数項を除去し、以下の通り取得し、
Figure 0007333132000083
 上記式は以下の問題に等価し、
Figure 0007333132000084
 ここで、Ｇ及びＨが対角マトリックスであり、第ｉ個の元素が
Figure 0007333132000085
である。ここで、ＷｉがＷの第ｉ行である。
さらに、以下の通り取得し、
Figure 0007333132000086
 最終に、以下の通り取得し、
Figure 0007333132000087
 目標関数が収束するまで、Ｗ，Ｇ，Ｈを交互に更新する。 A method of variable interleaved iteration is used to obtain feature selection and fusion models guided by multi-view subspace clustering to iteratively update the variables W, F v , Z v . Specifically,
Update the self-representation matrix Zv , keep W and Fv constant, and solve the following optimization problem,
Figure 0007333132000056
 Lagrangian multiplier in the above formula
Figure 0007333132000057
and convert as follows,
Figure 0007333132000058
Figure 0007333132000059
tends to infinity, if X is
Figure 0007333132000060
can be replaced with Therefore, the above equation may be expressed as
Figure 0007333132000061
 The above formula can be equivalent to the following problem,
Figure 0007333132000062
 Here, the element in the i-th row and j-th column in the P matrix
Figure 0007333132000063
, f i is the i-th row of F. Then, an alternating iterative optimization strategy is used to solve the above problem. Finding the value of the i-th row of Z v by keeping the numerical values of all rows other than the i-th row of Z v constant,
Figure 0007333132000064
 where Z v T is the ith row of Z and p is the ith column of P,
Figure 0007333132000065
, Z v,i is the i-th element of Z v . The above formula may be transformed into the following problem,
Figure 0007333132000066
 here,
Figure 0007333132000067
is. The problem of the above formula may be obtained with the soft threshold method,
Figure 0007333132000068
 where Z v,k , r v,k and p k represent the k-th element of Z v , r v and p, respectively;
Figure 0007333132000069
represents taking the positive part of the value inside the brackets. Update F, keep Z v , W constant, remove irrelevant variable terms, solve the following optimization problem,
Figure 0007333132000070
 here,
Figure 0007333132000071
is the unit matrix, and
Figure 0007333132000072
represents that all the elements of F are 0 or more. To remove the equality constraint, we remove the penalty term
Figure 0007333132000073
and transform the problem as follows,
Figure 0007333132000074
 Here, γ is a balance parameter with a large value, and γ=10 6 is adopted in the present invention. To remove the equality constraint, the Lagrangian multiplier
Figure 0007333132000075
and obtain as follows,
Figure 0007333132000076
 Take the derivative with respect to F with respect to the above equation, and take the partial derivative as
Figure 0007333132000077
and obtain as follows,
Figure 0007333132000078
 where Q is the diagonal matrix and the i-th element is
Figure 0007333132000079
and i: represents taking the i-th row of the matrix. According to the KKT conditions,
Figure 0007333132000080
is. Therefore, we obtain
Figure 0007333132000081
 and normalize F,
Figure 0007333132000082
satisfy.
Update W and keep Z v , F as they are. Remove the irrelevant variable terms and get:
Figure 0007333132000083
 The above formula is equivalent to the following problem,
Figure 0007333132000084
 where G and H are diagonal matrices and the i-th element is
Figure 0007333132000085
is. where W i is the i-th row of W.
In addition, obtain
Figure 0007333132000086
 Finally, we obtain
Figure 0007333132000087
 Alternately update W, G, and H until the objective function converges.

前記データ融合モジュールは、特徴選別及び融合モジュールで求められた特徴選別マトリックスＷに基づき、

Figure 0007333132000088
を算出し、各特徴の重要性を
Figure 0007333132000089
に従ってランキングし、選択特徴の個数Ｎを設定し、上位Ｎ個の特徴を最終的に電子カルテと映像データが融合した結果として抽出する。
実施例 The data fusion module, based on the feature screening matrix W determined by the feature screening and fusion module,
Figure 0007333132000088
and the importance of each feature
Figure 0007333132000089
Then, the number N of selected features is set, and the top N features are finally extracted as a result of combining the electronic medical record and the video data.
Example

膵体尾部切除術後の患者に対して、患者の術後の糖尿病のリスクを予測するために、膵体尾部切除患者キューを構築し、統計で２１２人の患者を有し、７：３の比率でデータを訓練セットとテストセットに分ける。マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムを通じて、映像と電子カルテデータとを融合する。具体的な処理過程が下記の通りである。
１．データを収集し、患者の術前強化ＣＴ図像と電子カルテ情報を抽出する。
２．映像構造化モジュール。ＣＴ図像に対して関心領域、すなわち、膵体術後の残留膵体領域をマークして、映像特徴の抽出された関心領域とする。ＣＴ原図像とマーク図像に対して映像再サンプリング、階調値離散化及び映像領域枠選択を行う。先ず、原図像及びマーク図像を前処理し、それは、原図像及びマーク図像を前処理し、原図像及びマーク図像を解像度１×１×１の大きさに再サンプリングすることと、関心領域に基づいてその囲み領域の矩形枠を算出し、エッジ拡張値を１０個の画素に設定し、そして原図像及びマーク図像の矩形枠を取り出すことと、原図像に対してコントラスト調整を行い、先ず図像のＨＵ値を［－１００， ２４０］の間に切り捨て、そして［０，２５５］の間に離散化することと、を含む。前処理された映像及びマークされた関心領域に基づいて、高次元映像特徴を算出する。具体的に、先ず、原ＣＴ図像に対してウェーブレットフィルタリングを行い、ウェーブレットフィルタリングはｈａａｒ、ｄｂ５、ｓｙｍ７を含む。そして、Ｐｙｒａｄｉｏｍｉｃｓツールキットに基づいて一次統計特徴、形状特徴及びテクスチャ特徴（ＧＬＣＭ、ＧＬＲＬＭ、ＮＧＴＤＭ、ＧＬＤＭ）を算出する。各ウェーブレットフィルタリング後の図像について、６８０次元の特徴を取得できるため、ウェーブレットフィルタリング後の３つの図像は、算出により総計で２０４０個の映像特徴が取得できる。
３．電子カルテ特徴抽出。取得された電子カルテデータを分析し、年齢、性別、飲酒、喫煙、黄疸、体重減少、痛み、膵体切除率、残存膵体体積、腹部脂肪含有量、腹部骨格筋含有量を含む、糖尿病に関連するいくつかの危険要因を特定する。各フィールドの情報を数値化し、例えば性別に対して、男を１に設定し、女を０に設定する。そして、電子カルテ特徴を正規化して、電子カルテの１１個の特徴を取得する。
４．特徴選別及び融合。上記取得された映像特徴をＸ１として記し、臨床特徴をＸ2として記し、臨床特徴及び映像特徴を正規化する。

Figure 0007333132000090
を提出されるマルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルに入力し、変数インターリーブ反復アルゴリズムを利用して特徴選別マトリックスＷを取得する。映像特徴及び電子カルテ特徴を選別及び融合し、特徴選別マトリックスを取得する。
５．データ融合。特徴選別マトリックス
Figure 0007333132000091
、ｄを全ての特徴の次元として算出し、ここで２０５１である。そして、
Figure 0007333132000092
の大きさに応じて各特徴の重要性をランキングする。４０個の特徴を最終のデータ融合結果として採用する。ここで、３６個の映像特及び４つの臨床特徴を含む。映像特徴のｄｂ５、ｓｙｍ７、ｈａａｒフィルタリング図像からの特徴数は、それぞれ９，８，１９である。臨床特徴には、飲酒、筋肉含有量、年齢、残存膵体体積を含む。
６．その後、データ融合で取得された映像及び臨床特徴を利用して、サポートベクターマシンに基づく糖尿病予測モデルを確立する。訓練セットデータを用いて予測モデルを訓練し、テストセットでテストする。テストセットにおける糖尿病予測正確度ＡＵＣ＝０．８２である。 For post-pancreatectomy patients, to predict a patient's risk of postoperative diabetes, a tail-pancreatectomy patient queue was constructed, statistically having 212 patients, with a ratio of 7:3. Divide the data into a training set and a test set by a ratio. Image and electronic medical record data are fused through a multi-mode medical data fusion system based on multi-view subspace clustering. The specific processing steps are as follows.
1. Collect data and extract patient preoperative enhanced CT images and electronic medical record information.
2. Video structuring module. A region of interest, that is, a residual pancreatic body region after pancreatic body surgery, is marked on the CT image and used as a region of interest from which image features are extracted. Image resampling, gradation value discretization, and image area frame selection are performed on the CT original image and the mark image. First, pre-process the original image and the mark iconography, which consists of pre-processing the original image and the mark iconography, resampling the original image and the mark iconography to a resolution of 1×1×1 size, and based on the region of interest. to calculate the rectangular frame of the enclosing area, set the edge extension value to 10 pixels, extract the rectangular frame of the original icon and the mark icon, and perform contrast adjustment on the original image. truncating the HU value to between [−100, 240] and discretizing to [0, 255]. High-dimensional image features are calculated based on the preprocessed image and the marked regions of interest. Specifically, first, wavelet filtering is performed on the original CT image, and the wavelet filtering includes haar, db5, and sym7. Then, the primary statistical features, shape features and texture features (GLCM, GLRLM, NGTDM, GLDM) are calculated based on the Pyradiomics toolkit. Since 680-dimensional features can be obtained for each wavelet-filtered image, a total of 2040 image features can be obtained for the three wavelet-filtered images.
3. Electronic medical record feature extraction. Analyzing the acquired electronic medical record data, we analyzed age, gender, alcohol consumption, smoking, jaundice, weight loss, pain, pancreatectomy rate, residual pancreatic body volume, abdominal fat content, abdominal skeletal muscle content, and diabetes mellitus. Identify some relevant risk factors. Information in each field is quantified, and for example, male is set to 1 and female is set to 0 for gender. Then, the electronic medical chart features are normalized to obtain 11 electronic medical chart features.
4. Feature selection and fusion. Denote the acquired image feature as X1 , the clinical feature as X2 , and normalize the clinical and image features.
Figure 0007333132000090
into the feature selection and fusion model guided by the submitted multi-view subspace clustering, and obtain the feature selection matrix W using a variable-interleaved iterative algorithm. Screen and fuse the video features and the electronic medical record features to obtain a feature screening matrix.
5. data fusion. feature sorting matrix
Figure 0007333132000091
, d as the dimensions of all features, where 2051. and,
Figure 0007333132000092
Rank the importance of each feature according to the size of . 40 features are taken as the final data fusion result. Here, 36 video features and 4 clinical features are included. The feature numbers from the db5, sym7, and haar filtered images of video features are 9, 8, and 19, respectively. Clinical features include alcohol consumption, muscle content, age, and residual pancreatic body volume.
6. The images and clinical features obtained by data fusion are then used to establish a support vector machine-based diabetes prediction model. Train a predictive model using the training set data and test it on the test set. Diabetes prediction accuracy AUC=0.82 in the test set.

上記実施例は、本発明を説明するためのものであり、本発明を限定するものではなく、本発明の精神及び特許請求の範囲内で、本発明に対して行われた任意の補正及び変更は、いずれも本発明の保護範囲内に入る。 The above examples are intended to illustrate the invention, not to limit it, and any amendments and modifications made to the invention within the spirit and scope of the claims. are all within the protection scope of the present invention.

Claims (6)

マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システムであって、データ収集モジュールと、映像構造化モジュールと、電子カルテ特徴抽出モジュールと、特徴選別及び融合モジュールと、データ融合モジュールとを含み、
前記データ収集モジュールは、測定対象の予め設定された疾患関連電子カルテデータを収集し、かつその関連する映像データを抽出することに用いられ、
前記映像構造化モジュールは、映像データを構造化処理し、映像特徴を抽出することに用いられ、
前記電子カルテ特徴抽出モジュールは、電子カルテデータに対して関連変数を抽出し、数値化処理した後で電子カルテ特徴とすることに用いられ、
前記特徴選別及び融合モジュールは、映像特徴と電子カルテ特徴に基づいてマルチビュー特徴マトリックスを取得し、かつ監督なし特徴選択及び融合モデルを定義することに用いられ、具体的には、マルチビュー特徴マトリックスを取得し、それは、抽出された映像特徴及び電子カルテ特徴を複数のビュー特徴データとして見なし、第ｖ個のビューの特徴を
Figure 0007333132000093
として定義し、ｄｖがｖ番目のビュー特徴の次元であり、ｖ＝１，２であり、第ｖ個のビューにおける全ての特徴を
Figure 0007333132000094
として定義し、それらを接続して総特徴マトリックス
Figure 0007333132000095
として表現し、監督なし特徴選別問題の目標最適化関数Ｔ（Ｘ，θ）が以下の通り表現され、
Figure 0007333132000096
 ここで、ｌｏｓｓ（Ｘ，Ｗ）が損失関数であり、θが最適化関数が最適化する必要があるパラメータを表現し、
Figure 0007333132000097
が特徴選別マトリックスであり、ｃがクラスタリングの類別数であり、Ｒ（Ｗ）が正則項であり、λが調整パラメータであり、
Figure 0007333132000098
が擬似ラベルマトリックスを表現し、ｌｏｓｓ（Ｘ，Ｗ）が以下の通り表現され、
Figure 0007333132000099
 ここで、ｎがサンプル数であり、ｃがクラスタリングの類別数であり、ノルム
Figure 0007333132000100
が
Figure 0007333132000101
ノルムを表現し、具体的な算出式が
Figure 0007333132000102
であり、ここで、
Figure 0007333132000103
がマトリックスＡのｉ行の第ｊ列の元素を表現し、擬似ラベルがサブ空間クラスタリングにおけるスペクトル埋め込みによって生成され、
サブ空間クラスタリング方法のデータ自表現性質に基づいて、各ビュー特徴データがいずれもサブ空間において自己表現できるように設定し、具体的に以下の通りであり、
Figure 0007333132000104
 ここで、
Figure 0007333132000105
が各ビュー特徴データの自己表現マトリックスであり、
Figure 0007333132000106
は長さがｎの単位ベクトルを表現し、そして、データ関係を描写する類似図
Figure 0007333132000107
を構築し、かつ低ランク性を満たし、類似図Ｓｖ成分の個数がクラスタリングの類別数ｃに等しく、すなわち、Ｓｖのラプラシアンマトリックスのランクがｎ－ｃに等しく、低ランク性が以下の最適化問題として表現され、
Figure 0007333132000108
 ここで、
Figure 0007333132000109
が類似マトリックスＳｖのラプラシアンマトリックスであり、
Figure 0007333132000110
が対角マトリックスであり、Ｔｒがマトリックスを求めるトレースを表現し、Ｉｃは大きさがｃ×ｃの単位マトリックスを表現し、よって、マルチビューサブ空間クラスタリングの目標最適化関数が以下の通り表現され、
Figure 0007333132000111
 ここで、ｔｒ（）がマトリックスのランクを表現し、
Figure 0007333132000112
がＦｒｏｂｅｎｉｕｓノルムであり、具体的な算出式が
Figure 0007333132000113
であり、ここで、
Figure 0007333132000114
がマトリックスＡの第ｉ行の第ｊ列の元素を表現し、
データ次元低下を考慮してマルチビューサブ空間クラスタリングによって案内される特徴選別モデルの目標関数を取得しかつ変数インターリーブ反復の方式により求め、特徴選別マトリックスを取得し、特徴選別モデルの目標関数が具体的に以下の通りであり、
Figure 0007333132000115
 ここで、
Figure 0007333132000116
が各ビュー特徴データの自己表現マトリックスであり、Ｌｖが第ｖ個のビューに対応するラプラシアンマトリックスであり、
Figure 0007333132000117
が擬似ラベルマトリックスであり、
Figure 0007333132000118
が特徴選別マトリックスであり、λ１、λ２及びλ３がバランスパラメータであり、
前記データ融合モジュールは、特徴選別及び融合モジュールで取得された特徴選別マトリックスに基づいて、映像及び電子カルテ特徴の重要性をランキングし、予め設定された特徴個数に基づいて、映像データと電子カルテデータの融合結果を取得することに用いられる
ことを特徴とするマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 A multi-modal medical data fusion system based on multi-view sub-space clustering, comprising a data acquisition module, an image structuring module, an electronic medical record feature extraction module, a feature selection and fusion module, and a data fusion module;
The data collection module is used to collect preset disease-related electronic medical record data to be measured and extract its related video data,
the video structuring module is used to structure video data and extract video features;
The electronic medical chart feature extraction module is used to extract relevant variables from electronic medical chart data and convert them into electronic medical chart features after numerical processing,
The feature selection and fusion module is used to obtain a multi-view feature matrix based on video features and electronic medical record features, and define an unsupervised feature selection and fusion model, specifically, a multi-view feature matrix , which regards the extracted video features and electronic medical record features as a plurality of view feature data, and obtains the v-th view features as
Figure 0007333132000093
, where d v is the dimension of the vth view feature, v=1,2, and all features in the vth view are
Figure 0007333132000094
and connect them to get the total feature matrix
Figure 0007333132000095
and the objective optimization function T(X, θ) for the unsupervised feature selection problem is expressed as
Figure 0007333132000096
 where loss(X, W) is the loss function, θ represents the parameters that the optimization function needs to optimize,
Figure 0007333132000097
is the feature screening matrix, c is the clustering classification number, R(W) is the regular term, λ is the tuning parameter,
Figure 0007333132000098
represents the pseudo-label matrix and loss(X, W) is represented as
Figure 0007333132000099
 where n is the number of samples, c is the number of clustering classifications, and the norm
Figure 0007333132000100
but
Figure 0007333132000101
It expresses the norm, and the specific calculation formula is
Figure 0007333132000102
and where
Figure 0007333132000103
represents the element in row i, column j of matrix A, the pseudo-label is generated by spectral embedding in sub-spatial clustering,
Based on the data self-representation property of the subspace clustering method, each view feature data is set to be self-representable in the subspace, specifically as follows:
Figure 0007333132000104
 here,
Figure 0007333132000105
is the self-representation matrix of each view feature data, and
Figure 0007333132000106
represents a unit vector of length n, and a similar diagram depicting data relationships
Figure 0007333132000107
and satisfies the low-rank property such that the number of similarity map S v components is equal to the clustering class number c, i.e. the rank of the Laplacian matrix of S v is equal to nc, and the low-rank property is the following optimal expressed as a transformation problem,
Figure 0007333132000108
 here,
Figure 0007333132000109
is the Laplacian matrix of the similarity matrix S v , and
Figure 0007333132000110
is the diagonal matrix, Tr represents the trace to find the matrix, and I c represents the identity matrix of size c×c, so the objective optimization function for multi-view subspatial clustering is expressed as is,
Figure 0007333132000111
 where tr() represents the rank of the matrix and
Figure 0007333132000112
is the Frobenius norm, and the specific formula is
Figure 0007333132000113
and where
Figure 0007333132000114
represents the element in the i-th row and j-th column of matrix A, and
Obtaining the objective function of the feature selection model guided by multi-view subspace clustering in consideration of the data dimensionality reduction and obtaining it by the method of variable interleaved iteration, obtaining the feature selection matrix, the objective function of the feature selection model being specific is as follows,
Figure 0007333132000115
 here,
Figure 0007333132000116
is the self-representation matrix of each view feature data, L v is the Laplacian matrix corresponding to the vth view,
Figure 0007333132000117
is the pseudo-label matrix, and
Figure 0007333132000118
is the feature selection matrix, λ 1 , λ 2 and λ 3 are the balance parameters,
The data fusion module ranks the importance of image and electronic medical record features based on the feature selection matrix obtained by the feature selection and fusion module, and ranks the image data and the electronic medical record data based on a preset number of features. A multi-mode medical data fusion system based on multi-view sub-space clustering, which is used to obtain a fusion result of a multi-view sub-space clustering. 前記データ収集モジュールは、予め設定された疾患及び測定対象に基づいて、患者の唯一の医療記録番号に基づいて、病院電子カルテシステムから電子カルテの基本情報及び診断情報を抽出し、電子カルテの基本情報及び診断情報を１つの完全なサンプルとして合成する
ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 The data collection module is based on the patient's unique medical record number, based on the preset disease and measurement object, extracts the basic information and diagnostic information of the electronic medical record from the hospital electronic medical record system, and extracts the basic information of the electronic medical record The multi-modal medical data fusion system based on multi-view sub-spatial clustering of claim 1, which synthesizes information and diagnostic information as one complete sample. 前記データ収集モジュールで取得された医学映像データは、Ｘ線フィルム、ＣＴデータまたはＭＲＩデータである
ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 The multi-mode medical data fusion system based on multi-view sub-spatial clustering of claim 1, wherein the medical image data acquired by the data acquisition module is X-ray film, CT data or MRI data. 前記映像構造化モジュールは、予め設定された疾患に基づいて、映像データに対して関心領域をマークし、かつ映像再サンプリング、階調値離散化及び映像領域枠選択を含む映像前処理を行い、最後に前処理された映像及びマークされた関心領域に基づいて、高次元映像特徴を算出する
ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 wherein the image structuring module marks a region of interest on the image data based on a preset disease, and performs image preprocessing including image resampling, grayscale value discretization and image region frame selection; The multi-modal medical data fusion system based on multi-view sub-spatial clustering of claim 1, wherein high-dimensional image features are calculated based on the final preprocessed image and marked regions of interest. 前記電子カルテ特徴抽出モジュールは、取得された電子カルテデータを分析し、測定対象の人口学情報、病歴、生活習慣及び検査項目情報を含む、予め設定された疾患に関するいくつかの危険要因を特定し、各フィールドの情報を数値化し、そして電子カルテデータを正規化し、電子カルテ特徴を取得する
ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 The electronic medical record feature extraction module analyzes the acquired electronic medical record data and identifies several risk factors related to preset diseases, including demographic information, medical history, lifestyle habits and test item information of the measurement target. , digitize the information in each field, and normalize the electronic medical chart data to obtain electronic medical chart features. 前記特徴選別及び融合モジュールにおいて、変数インターリーブ反復の方式により、マルチビューサブ空間クラスタリングによって案内される特徴選択及び融合モデルを求め、特徴選別マトリックス、擬似ラベルマトリックス及び自己表現マトリックスを反復更新し、具体的な過程は、先ず特徴選別マトリックス及び擬似ラベルマトリックスを一定にし、自己表現マトリックスを更新し、そして特徴選別マトリックス及び自己表現マトリックスを一定にし、擬似ラベルマトリックスを更新し、最後に擬似ラベルマトリックス及び自己表現マトリックスを一定にし、特徴選別マトリックスを更新する
ことを特徴とする請求項１に記載のマルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム。 In the feature selection and fusion module, the feature selection and fusion model guided by multi-view subspace clustering is obtained by variable interleaved iteration method, the feature selection matrix, the pseudo-label matrix and the self-representation matrix are iteratively updated, and specifically The process is first fixing the feature selection matrix and the pseudo-label matrix, updating the self-representation matrix, fixing the feature selection matrix and the self-representation matrix, updating the pseudo-label matrix, finally fixing the pseudo-label matrix and the self-representation matrix. The multi-modal medical data fusion system based on multi-view sub-spatial clustering of claim 1, wherein the matrix is kept constant and the feature selection matrix is updated.
JP2023095104A 2022-08-30 2023-06-08 Multimodal medical data fusion system based on multiview subspace clustering Active JP7333132B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211047979.9A CN115131642B (en) 2022-08-30 2022-08-30 Multi-modal medical data fusion system based on multi-view subspace clustering
CN202211047979.9 2022-08-30

Publications (2)

Publication Number Publication Date
JP7333132B1 true JP7333132B1 (en) 2023-08-24
JP2024035070A JP2024035070A (en) 2024-03-13

Family

ID=83387076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023095104A Active JP7333132B1 (en) 2022-08-30 2023-06-08 Multimodal medical data fusion system based on multiview subspace clustering

Country Status (2)

Country Link
JP (1) JP7333132B1 (en)
CN (1) CN115131642B (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312963A (en) * 2023-11-29 2023-12-29 山东企联信息技术股份有限公司 Intelligent classification method, system and storage medium for acquired information data
CN117725440A (en) * 2023-12-04 2024-03-19 深圳信息职业技术学院 Multi-view data clustering method and device, computer equipment and storage medium
CN118227894A (en) * 2024-04-08 2024-06-21 北京长河数智科技有限责任公司 Government affair item dialogue recommendation method based on multidimensional vector fusion

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524248B (en) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 Medical data processing device, method and classification model training device
CN117009924B (en) * 2023-10-07 2024-01-26 之江实验室 Multi-mode self-adaptive multi-center data fusion method and system guided by electronic medical records
CN117744026A (en) * 2024-02-18 2024-03-22 四川省肿瘤医院 Information fusion method based on multiple modes and tumor malignancy probability recognition system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302113A (en) 2005-04-22 2006-11-02 Canon Inc Electronic medical chart system
US20090028403A1 (en) 2006-03-03 2009-01-29 Medic Vision - Brain Technologies Ltd. System and Method of Automatic Prioritization and Analysis of Medical Images
CN103400143A (en) 2013-07-12 2013-11-20 中国科学院自动化研究所 Data subspace clustering method based on multiple view angles

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971197B (en) * 2017-03-02 2019-12-13 北京工业大学 Subspace clustering method of multi-view data based on difference and consistency constraint
CN108197629B (en) * 2017-12-30 2021-12-31 北京工业大学 Multi-modal medical image feature extraction method based on label correlation constraint tensor decomposition
US10885379B2 (en) * 2018-09-04 2021-01-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN109685155A (en) * 2018-12-29 2019-04-26 广东工业大学 Subspace clustering method, device, equipment and storage medium based on multiple view
CN110378365A (en) * 2019-06-03 2019-10-25 广东工业大学 A kind of multiple view Subspace clustering method based on joint sub-space learning
CN110349652B (en) * 2019-07-12 2022-02-22 之江实验室 Medical data analysis system fusing structured image data
US20220367053A1 (en) * 2019-09-27 2022-11-17 The Brigham And Women's Hospital, Inc. Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction
CN111260209B (en) * 2020-01-14 2022-03-11 山东大学 Cardiovascular disease risk prediction and evaluation system combining electronic medical record and medical image
CN111324791B (en) * 2020-03-02 2021-08-17 北京工业大学 Multi-view data subspace clustering method
CN111611323A (en) * 2020-04-09 2020-09-01 山东财经大学 Data fusion-oriented iterative structured multi-view subspace clustering method, device and readable storage medium
CN111916207B (en) * 2020-08-07 2023-08-08 杭州深睿博联科技有限公司 Disease identification method and device based on multi-mode fusion
CN111915596A (en) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 Method and device for predicting benign and malignant pulmonary nodules
CN112164067A (en) * 2020-10-12 2021-01-01 西南科技大学 Medical image segmentation method and device based on multi-mode subspace clustering
CN112418319A (en) * 2020-11-24 2021-02-26 北京工业大学 Multi-view subspace clustering method and device
CN113269225A (en) * 2021-04-08 2021-08-17 浙江大学 Non-invasive liver epithelium sample vascular smooth muscle lipoma image classification device based on image omics
CN113284572B (en) * 2021-04-30 2024-04-23 上海联影智能医疗科技有限公司 Multi-modal heterogeneous medical data processing method and related device
CN113241135B (en) * 2021-04-30 2023-05-05 山东大学 Disease risk prediction method and system based on multi-modal fusion
CN113505831A (en) * 2021-07-09 2021-10-15 广东工业大学 Multi-view clustering method and system based on kernel norm constraint
CN113554082B (en) * 2021-07-15 2023-11-21 广东工业大学 Multi-view subspace clustering method for self-weighted fusion of local and global information
CN114359666A (en) * 2021-12-28 2022-04-15 清华珠三角研究院 Multi-mode fusion lung cancer patient curative effect prediction method, system, device and medium
CN114529745A (en) * 2022-01-11 2022-05-24 山东师范大学 Missing multi-view subspace clustering method and system based on graph structure learning
CN114565613B (en) * 2022-04-29 2022-08-23 之江实验室 Pancreas postoperative diabetes prediction system based on there is study of supervision degree of depth subspace

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302113A (en) 2005-04-22 2006-11-02 Canon Inc Electronic medical chart system
US20090028403A1 (en) 2006-03-03 2009-01-29 Medic Vision - Brain Technologies Ltd. System and Method of Automatic Prioritization and Analysis of Medical Images
CN103400143A (en) 2013-07-12 2013-11-20 中国科学院自动化研究所 Data subspace clustering method based on multiple view angles

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312963A (en) * 2023-11-29 2023-12-29 山东企联信息技术股份有限公司 Intelligent classification method, system and storage medium for acquired information data
CN117312963B (en) * 2023-11-29 2024-03-12 山东企联信息技术股份有限公司 Intelligent classification method, system and storage medium for acquired information data
CN117725440A (en) * 2023-12-04 2024-03-19 深圳信息职业技术学院 Multi-view data clustering method and device, computer equipment and storage medium
CN118227894A (en) * 2024-04-08 2024-06-21 北京长河数智科技有限责任公司 Government affair item dialogue recommendation method based on multidimensional vector fusion

Also Published As

Publication number Publication date
JP2024035070A (en) 2024-03-13
CN115131642B (en) 2022-12-27
CN115131642A (en) 2022-09-30

Similar Documents

Publication Publication Date Title
JP7333132B1 (en) Multimodal medical data fusion system based on multiview subspace clustering
US11657087B2 (en) Surgical video retrieval based on preoperative images
CN107492099B (en) Medical image analysis method, medical image analysis system, and storage medium
Saikumar et al. A novel implementation heart diagnosis system based on random forest machine learning technique.
EP3046478B1 (en) Image analysis techniques for diagnosing diseases
Iyatomi et al. An improved internet-based melanoma screening system with dermatologist-like tumor area extraction algorithm
JP7366583B2 (en) Medical information processing device, method and program
US20160133016A1 (en) Comparison workflow automation by registration
US20030229278A1 (en) Method and system for knowledge extraction from image data
CN112529834A (en) Spatial distribution of pathological image patterns in 3D image data
WO2023207820A1 (en) Pancreatic postoperative diabetes prediction system based on supervised deep subspace learning
Kumaraswamy et al. A review on cancer detection strategies with help of biomedical images using machine learning techniques
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
US20240257349A1 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
CN112884759B (en) Method and related device for detecting metastasis state of axillary lymph nodes of breast cancer
CN114332910A (en) Human body part segmentation method for similar feature calculation of far infrared image
JP2004049909A (en) Computer-aided patient health care decision support system
CN113077874A (en) Spine disease rehabilitation intelligent auxiliary diagnosis and treatment system and method based on infrared thermography
EP3667674A1 (en) Method and system for evaluating images of different patients, computer program and electronically readable storage medium
Bandyopadhyay et al. Artificial-intelligence-based diagnosis of brain tumor diseases
Ibrahim et al. Generative AI for Synthetic Data Across Multiple Medical Modalities: A Systematic Review of Recent Developments and Challenges
JP5426338B2 (en) Case image retrieval apparatus, method and program
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
Lu et al. An Approach to Classifying X-Ray Images of Scoliosis and Spondylolisthesis Based on Fine-Tuned Xception Model.
Pal et al. Detection of Cerebrovascular Diseases Employing Novel Fusion Technique

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7333132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150