JP7842408B2 - ソフトウェアにより処理されるエコー心電図のための品質管理方法 - Google Patents

ソフトウェアにより処理されるエコー心電図のための品質管理方法

Info

Publication number
JP7842408B2
JP7842408B2 JP2023086636A JP2023086636A JP7842408B2 JP 7842408 B2 JP7842408 B2 JP 7842408B2 JP 2023086636 A JP2023086636 A JP 2023086636A JP 2023086636 A JP2023086636 A JP 2023086636A JP 7842408 B2 JP7842408 B2 JP 7842408B2
Authority
JP
Japan
Prior art keywords
difference
image
software
contour
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023086636A
Other languages
English (en)
Other versions
JP2024149320A (ja
Inventor
頼岳群
李文豪
Original Assignee
采風智匯股▲分▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 采風智匯股▲分▼有限公司 filed Critical 采風智匯股▲分▼有限公司
Publication of JP2024149320A publication Critical patent/JP2024149320A/ja
Application granted granted Critical
Publication of JP7842408B2 publication Critical patent/JP7842408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、ソフトウェアにより処理される画像、特に、エコー心電図画像の品質管理方法に関する。
医療画像分析は、医療分野における重要な部分である。近年、人工知能(AI)は、入手した医療画像を病気の診断等の更なる用途のために分析するため、多数の医療デバイス及びシステムに適用されている。AIは、画像分析を含めた様々な任務を実施して画像解釈において医師を支援する、したがって、医師の仕事量を低減するように訓練させることができる。
エコー心電図検査は、心臓の超音波診断であり、一種の心臓画像の医療撮像であり、心臓病が疑われる又は心臓病であることが既知の患者の診断、管理及び継続管理で日常的に使用されている。近年、一部のAI製品は、エコー心電図画像分析のために市販されている。典型的には、ユーザが心臓の超音波映像(例えば、心尖部四腔図の映像)をアップロードすると、AIソフトウェアが、映像内の内壁の縁部を自動的に適合させ、映像内の縁部の変化を使用し、いくつかのパラメータを計算する。しかし、統計データ・モデルを使用してソフトウェアによって適合させた縁部は、大きな誤差を受けることが多く、直接使用できない。したがって、製品の多くは、縁部を自動的に適合させた後、ユーザによって特定のフレーム上の縁部を調節する機能も提供する。このように、専門家は、縁部の調節によって、より正確なパラメータを計算するようにソフトウェアに指示できる。
上記ワークフローは、より良好な精度のために、専門家が入力画像ごとに検査して自動生成結果が更なる調節を必要とするかどうかを確認する必要があるので、極めて面倒である。品質管理のために必要とされる手動検査は、AIソフトウェアによる自動適合の趣旨と矛盾する。
上記の背景を鑑み、ソフトウェアにより生成された結果の品質を評価する自動方法を開発する必要性がある。
問題を解決するため、本発明は、医療画像のためにソフトウェアにより生成された結果の精度を評価する自動方法を提供する。評価で、生成された結果が良好品質であることを判断した場合、ユーザは、結果を更に検査せずに直接使用できる。代替的に、評価が、不良品質を示す場合、ユーザは、手動調節を行うことを判断する、又は評価の概要に基づき医療画像を再度取得できる。したがって、方法は、医師の診断ワークフローを促進する。
本発明の一態様は、ソフトウェアにより追跡済輪郭と調節済輪郭との間の差に関連する差パラメータを生成するために、差モデルを訓練する方法を提供し、方法は、複数の第1の訓練データセットにより第1の機械学習モデルを訓練することを含み、複数の第1の訓練データセットのそれぞれは、訓練入力としての第1の訓練画像セット、及び訓練標的としての差パラメータを含む。第1の訓練画像セット及び差パラメータ・セットは、(a)少なくとも1つの画像を選択することによって第1の訓練画像セットを得るステップ、(b)分析ソフトウェアによって、第1の訓練映像又は第1の訓練画像セットに基づき、ソフトウェアにより追跡済輪郭を生成するステップ、(c)調節済輪郭を得るステップ、並びに(d)ソフトウェアにより追跡済輪郭及び調節済輪郭に基づき、差パラメータ・セットを得るステップによって生成される。一実施形態では、第1の訓練画像は、エコー心電図画像である。
一実施形態では、第1の訓練画像セットの各画像は、訓練入力として使用する前に、ソフトウェアにより追跡済輪郭に従って処理される。
一実施形態では、第1の機械学習モデルは、畳み込みニューラル・ネットワークに基づく回帰モデルである。具体的には、第1の機械学習モデルは、残差ニューラル・ネットワーク(ResNet)モデルとし得る。
本発明の別の態様は、ソフトウェアにより生成された分析結果と調節された分析結果との間の差に関連する予測評価誤差を生成するために評価モデルを訓練する方法を提供し、方法は、複数の第2の訓練データセットにより第2の機械学習モデルを訓練することを含み、複数の第2の訓練データセットのそれぞれは、訓練入力としての少なくとも1つの差パラメータ、訓練入力としての少なくとも1つの形状パラメータ、及び訓練標的としての評価結果を含む。少なくとも1つの差パラメータのそれぞれは、ソフトウェアにより追跡済輪郭と調節済輪郭との間の差を示し、少なくとも1つの形状パラメータのそれぞれは、分析ソフトウェアによって生成された、ソフトウェアにより追跡済輪郭に基づき計算され、評価結果は、ソフトウェアにより生成された分析結果と調節された分析結果との間の差に基づき決定される。一実施形態では、第2の訓練画像は、エコー心電図画像である。
一実施形態では、第2の機械学習モデルは、木ベースのモデルである。詳細には、第2の機械学習モデルは、回帰モデルであり得、評価結果は、ソフトウェアにより生成された分析結果と調節された分析結果との間の差を示す誤差値であり得る。代替的に、第2の機械学習モデルは、分類モデルであり得、評価結果は、ソフトウェアにより生成された分析結果の良好品質又は不良品質を示すクラスであり得る。
一実施形態では、少なくとも1つの形状パラメータ・セットのそれぞれは、(a)分析ソフトウェアによって、ソフトウェアにより追跡済輪郭を少なくとも1つの画像から生成するステップ、及び(b)ソフトウェアにより追跡済輪郭に基づき、少なくとも1つの形状パラメータ・セットの1つを計算するステップによって生成される。
少なくとも1つの差パラメータのそれぞれは、ソフトウェアにより追跡済輪郭及び調節済輪郭からの直接計算による生成が可能である、又は差モデルによるモデル予測による生成も可能である。一実施形態では、少なくとも1つの差パラメータ・セットのそれぞれは、(a)分析ソフトウェアによって、ソフトウェアにより追跡済輪郭を少なくとも1つの画像から生成するステップ、(b)調節済輪郭を得るステップ、及び(c)ソフトウェアにより追跡済輪郭及び調節済輪郭に基づき、少なくとも1つの差パラメータ・セットの1つを計算するステップによって生成される。別の実施形態では、少なくとも1つの差パラメータ・セットのそれぞれは、(a)少なくとも1つの画像を選択することによって第2の訓練画像セットを得るステップ、及び(b)差モデルによって、第2の訓練画像セットに基づく少なくとも1つの差パラメータ・セットの1つを生成するステップによって生成される。
一実施形態では、少なくとも1つの形状パラメータ・セットは、ED(拡張終期)形状パラメータ・セット及びES(収縮終期)形状パラメータ・セットを含む。また、一実施形態では、少なくとも1つの差パラメータ・セットは、ED(拡張終期)差パラメータ・セット及びES(収縮終期)差パラメータ・セットを含む。
一実施形態では、評価結果は、(a)追跡されたED輪郭及び追跡されたES輪郭に基づき、ソフトウェアにより生成された分析結果を計算するステップ、(b)調節されたED輪郭及び調節されたES輪郭を得るステップ、(c)調節されたED輪郭及び調節されたES輪郭に基づき、調節された分析結果を計算するステップ、そして(d)ソフトウェアにより生成された分析結果及び前記調節された分析結果に基づき、評価結果を決定するステップによって生成される。
また別の態様では、本発明は、ソフトウェアにより分析される画像の品質管理方法を提供し、方法は、(a)少なくとも1つの入力画像及び少なくとも1つの対応するソフトウェアにより分析された画像を受信することであって、少なくとも1つの対応するソフトウェアにより分析された画像は、分析ソフトウェアによる少なくとも1つの入力画像の分析によって生成される、受信することと、(b)少なくとも1つの差モデルによって、少なくとも1つの入力画像に基づき予測される差パラメータの少なくとも1つのセットを生成することと、(c)少なくとも1つの対応するソフトウェアにより分析された画像から形状パラメータの少なくとも1つのセットを生成することと、並びに(d)評価モデルによって、予測される差パラメータの少なくとも1つのセット及び形状パラメータの少なくとも1つのセットに基づき予測される評価結果を生成することとを含む。
品質管理方法の一実施形態では、評価結果は、ソフトウェアにより生成された分析結果と調節された分析結果との間の差を示す誤差値である。別の実施形態では、評価結果は、ソフトウェアにより生成された分析結果の良好品質又は不良品質を示すクラスである。
本発明は、命令セットが記憶されている非一時的コンピュータ可読媒体も提供し、命令セットは、(a)少なくとも1つの入力画像及び少なくとも1つの対応するソフトウェアにより分析された画像を受信することであって、少なくとも1つの対応するソフトウェアにより分析された画像は、分析ソフトウェアによる少なくとも1つの入力画像の分析によって生成される、受信することと、(b)少なくとも1つの差モデルによって、少なくとも1つの入力画像に基づき予測される差パラメータの少なくとも1つのセットを生成することと、(c)少なくとも1つの対応するソフトウェアにより分析された画像から形状パラメータの少なくとも1つのセットを生成することと、並びに(d)評価モデルによって、予測される差パラメータの少なくとも1つのセット及び形状パラメータの少なくとも1つのセットに基づき予測される評価結果を生成することとを含む方法を実行するため、コンピュータ・システムのプロセッサによって実行可能である。
本発明の他の目的、利点及び新規の特徴は、添付の図面と併せた以下の詳細な説明からより明らかになるであろう。
第1のモデル(差モデル)を訓練するワークフローである。 第2のモデル(評価モデル)を訓練するワークフローである。 ソフトウェアにより処理される画像の品質管理のワークフローである。 拡張終期(ED)フレームに対するエコー心電図映像であり、心内膜心筋輪郭は、分析ソフトウェアによって追跡される。 収縮終期(ES)フレームに対するエコー心電図映像であり、心内膜心筋輪郭は、分析ソフトウェアによって追跡される。 拡張終期(ED)フレームに対するエコー心電図映像であり、心内膜心筋輪郭は、専門家によって調節される。 収縮終期(ES)フレームに対するエコー心電図映像であり、心内膜心筋輪郭は、専門家によって調節される。 図4Aの拡張終期(ED)フレームから抽出した輪郭の図である。 輪郭領域の図である。 輪郭及び/又は領域に割り当てられたいくつかの点の図である。点A、M、L、R及びCがこの図で画成される。 マスクを適用すべき、元のエコー心電図映像のフレームの図である。 抽出された輪郭(図5A)又は領域(図5B)の縁部から線形に実施された距離変換及び減衰によって得られたマスクの図である。 図7Aのマスク領域の図である。 より小さいサイズにクロッピングされた画像である。 ESフレーム差モデルによって予測された試験結果のグラフである。図8Aは、左心室の心内膜心筋のDiceスコアである。 ESフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図8Bは、自動結果と予測された手動結果との間の面積差である。 ESフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図8Cは、線LRy切片の差である。 ESフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図8Dは、自動心内膜心筋輪郭と手動心内膜心筋輪郭との間の動的時間伸縮(DTW)距離である。 EDフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図9Aは、左心室の心内膜心筋のDiceスコアである。 EDフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図9Bは、自動結果と予測された手動結果との間の面積差である。 EDフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図9Cは、線LRy切片の差である。 EDフレーム差モデルによって予測された試験結果のグラフである。水平軸はグラウンド・トゥルース値を表し、垂直軸は予測された値を表す。図9Dは、自動心内膜心筋輪郭と手動心内膜心筋輪郭との間の動的時間伸縮(DTW)距離である。 評価モデルによって予測された試験結果のグラフである。図10Aは、GLS差のグラウンド・トゥルース値及び予測値を示す。図10AのR2乗値は、0.4499であり、平均絶対誤差は、1.5586である。 評価モデルによって予測された試験結果のグラフである。図10Bは、モデルに対するQC合格/不合格のROC曲線を示す。QC合格/不合格精度は74.18%である(GLS誤差値=2におけるカットオフを伴う)。 不良画像品質によって生じた不良追跡結果の一例の画像である。図11Aは、エコー心電図映像から自動追跡されたEDフレームである。 不良画像品質によって生じた不良追跡結果の一例の画像である。図11Bは、自動追跡されたESフレームである。 不良画像品質によって生じた不良追跡結果の一例の画像である。図11Cは、手動調節されたEDフレームである。 不良画像品質によって生じた不良追跡結果の一例の画像である。図11Dは手動調節されたESフレームである。 不良画像品質によって生じた不良追跡結果の別の例の画像である。図12Aは、エコー心電図映像から自動追跡されたEDフレームである。 不良画像品質によって生じた不良追跡結果の別の例の画像である。図12Bは、自動追跡されたESフレームである。 不良画像品質によって生じた不良追跡結果の別の例の画像である。図12Cは、手動調節されたEDフレームである。 不良画像品質によって生じた不良追跡結果の別の例の画像である。図12Dは手動調節されたESフレームである。 不良ソフトウェア分析によって生じた不良追跡結果の一例の画像である。図13Aは、エコー心電図映像から自動追跡されたEDフレームである。 不良ソフトウェア分析によって生じた不良追跡結果の一例の画像である。図13Bは、自動追跡されたESフレームである。 不良ソフトウェア分析によって生じた不良追跡結果の一例の画像である。図13Cは、手動調節されたEDフレームである。 不良ソフトウェア分析によって生じた不良追跡結果の一例の画像である。図13Dは手動調節されたESフレームである。 線形回帰モデルによって予測された試験結果のグラフである。図14Aは、GLS差のグラウンド・トゥルース値及び予測値を示す。図14AのR2乗値は、0.03であり、平均絶対誤差は、1.7731である。 線形回帰モデルによって予測された試験結果のグラフである。図14Bは、モデルに対するQC合格/不合格のROC曲線を示す。QC合格/不合格精度は58.38%である(GLS誤差値=2におけるカットオフを伴う)。 (形状パラメータを伴わずに)画像全体により直接訓練されたモデルによって予測された試験結果のグラフである。R2乗値は0.1438であり、平均絶対誤差は2.1109である。
以下で提示する説明において使用される用語は、本技術のいくつかの特定の実施形態の詳細な説明と共に使用されるにもかかわらず、その最も広範で妥当な様式で解釈することを意図する。いくつかの用語は、以下で強調される場合さえある。しかし、制限的な解釈が意図される用語があれば、この「発明を実施するための形態」セクションでそのようなものとして具体的に規定される。
以下で紹介する実施形態は、プログラム可能回路によって実施できる。プログラム可能回路は、ソフトウェア及び/若しくはファームウェアによって、又は全体が専用回路によって、又はそのような形態の組合せでプログラム又は構成される。そのような専用回路(ある場合)は、例えば、1つ又は複数の特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、グラフィックス処理ユニット(GPU)等の形態とし得る。
品質評価システムを確立する方法は、データ標示、画像前処理、モデル訓練及び推論パイプラインを含め、4つのステップを含む。本発明において、ソフトウェアにより処理/分析された画像の品質管理(QC)作業を実施するため、2種類の機械学習モデルが構築される。訓練後、第1のモデルを入力(非処理)画像として使用し、いくつかの差パラメータを予測でき、第2のモデルは、ソフトウェアにより処理/分析された画像から得られた差パラメータ及び形状パラメータを使用し、ソフトウェアによる処理及び/又は分析の品質を評価できる。
図1は、差モデルである第1のモデルの訓練ステップを示す。ステップS11は、データ収集であり、複数の映像(例えば、エコー心電図画像シリーズ)は、訓練データセットとして収集される。方法S121において、訓練データは、自動分析ソフトウェアに入力され、分析計算結果は、画像追跡結果と共に記録される。自動分析の一例は、ソフトウェアによって入力映像から特定の画像フレームを発見すること、例えば、エコー心電図画像から拡張終期及び収縮終期のフレームを発見することである。次に、この追跡をこれらの選択フレーム(複数可)に適用でき、この追跡結果は、分析ソフトウェアによって自動追跡済輪郭とし得る。次に、ステップS122において、専門家は、自動画像追跡結果をより正確な結果に調節する、例えば、補正輪郭を描き直す。ステップS13において、自動追跡された結果及び調節された結果を記録し、自動追跡された結果と調節された結果との間の差を表す差パラメータを計算する。
ステップS14において、モデル訓練前、選択した映像フレームである入力画像を前処理し、重要な画像領域に焦点を当てる次のモデルを作製し、ソフトウェアの自動追跡結果を組み込み得る。例えば、自動追跡結果を使用し、マスキング及びクロッピング領域を決定し得る。次に、入力画像をマスキング、クロッピングし、重要な追跡領域を画像内に残し得る。
上記のように、本発明のモデル訓練は、2つの部分に分割される。第1の部分は、ニューラル・ネットワークを使用して差パラメータを予測する差モデルであり、差パラメータは、ソフトウェアにより生成された結果と専門家により調節された結果(例えば、ソフトウェアにより追跡済輪郭と、調節済輪郭)との間の差を示す。第1のステップは、専門家による調節前及び後の画像追跡結果の間の差を表すパラメータを計算することであり、いくつかの有意なパラメータが専門家によって具体的に選択される。図1のステップS15に示すように、ステップS13で得られ、学習標的として使用される差パラメータ、及びステップS14で得られ、入力として使用される前処理画像を用いて、回帰ニューラル・ネットワーク・モデルを訓練し、各パラメータの値を出力する。
モデル訓練の第2の部分は、木ベースの評価モデルを訓練し、自動分析ソフトウェアの最終分析値(例えば、長尺方向のグローバル・ストレイン)と専門家により調節された値との間の差を予測することである。入力は、(1)差モデルによって第1の部分で予測された差パラメータ、及び(2)ソフトウェアの自動追跡結果内で直接測定され、定量化された形状パラメータである。第2のモデルの出力は、分析ソフトウェアによって当初生成された結果と専門家により調節された結果との間の誤差を予測する。閾値は、自動追跡分析結果の質を評価するために設定できる。予測された差が閾値未満である場合、ユーザ(例えば、医師)は、自動分析結果を信頼できる。図2は、第2のモデルの訓練ステップを示す。
ステップS21において、複数の映像(例えば、エコー心電図画像シリーズ)を訓練データセットとして収集する。データセットは、(ステップS11で説明した)第1のモデルの訓練のために使用されるデータセットと同じであっても、異なるデータセットであってもよい。ステップS221及びS222において、2つの画像セット、即ちEDセット及びESセットを自動分析ソフトウェアによって個別に追跡する。手順は、S121と同様である。ステップS231及びS232において、追跡されたED及びESの輪郭を個別に調節する。これは、ステップ122と同様である。ステップS241において、ステップS221及びS222で得られた自動追跡ED及びESの輪郭を統合し、自動分析結果を評価する、例えば、ソフトウェアにより追跡されたED及びES輪郭に基づく長尺方向のグローバル・ストレイン(GLS)値を計算する。分析結果は、専門家により調節済輪郭以外、自動分析ソフトウェアが出力したものと同じである。ステップS242において、ステップS231及びS232で得られた手動調節したED及びESの輪郭を統合し、専門家により調節された結果を評価する、例えば、調節されたED及びES輪郭に基づく長尺方向のグローバル・ストレイン(GLS)値を計算する。分析結果は、専門家により調節済輪郭と共に、自動分析ソフトウェアが出力したものと同じである。ステップS25において、ステップS241及びS242で生成された分析結果を組み合わせ、分析誤差を計算する。分析誤差は、(専門家により調節された結果と比較された)自動分析ソフトウェアによって生じた誤差を表す。
ステップS261及びS262において、ステップS221及びS222で得られた2つの画像セットは、独立して前処理できる。この前処理は、ステップS14と同様である。次に、ステップS271及びS272に示すように、独立して前処理された画像を使用し、ED及びESの差パラメータを生成する。ED及びESの差パラメータは、ED及びESフレームについてソフトウェアにより生成された輪郭と調節済輪郭との間の差を表すパラメータである。差パラメータは、入力として前処理された画像を使用して、確立された差モデルによって生成(予測)できる。代替的に、差パラメータは、ソフトウェアにより追跡されたED及び調節されEDを得て(並びにESフレームの場合、ソフトウェアにより追跡されたES及び調節されたESを得て)、これらのパラメータを計算することによって、生成(計算)することも可能である。ステップS281及びS282において、ED及びESの形状パラメータはそれぞれ、ステップS221及びS222で得られた、自動追跡されたED及びES輪郭に基づき計算される。形状パラメータは、ソフトウェアにより追跡済輪郭の形状特性を表す。
ステップS29において、ステップS25、S271、S272、S281、S282で得られたデータを使用し、評価モデルである第2のモデルを訓練する。ステップS271及びS272で得られた差パラメータ、並びにS281及びS282で得られた形状パラメータを訓練入力として使用する。ステップS25で得られた評価誤差値を、訓練のための学習標的として使用する。
図3に示すように、推論パイプライン・ステップにおいて、訓練モデル、前処理画像、及び分析ソフトウェアをパイプラインに配置する。ステップS31において、入力映像(例えば、エコー心電図映像)を処理し、分析ソフトウェアによって分析し、自動分析を実施する。映像内の重要なフレーム、追跡済輪郭及び分析結果を含み得る出力は、QC評価において使用される。ステップS32において、抽出したフレーム(例えば、EDフレーム及びESフレーム付近のフレーム)は、任意で、ソフトウェアにより追跡済輪郭に基づく画像前処理を受け、背景の干渉を最小化する。画像前処理の一例は、画像から背景をクロッピングし、輪郭領域のみを保持することである。次に、ステップS33において、差モデルによって、処理された画像フレームを分析し、自動追跡済輪郭と専門家により調節済輪郭との間の差パラメータを予測する。好ましい一実施形態では、2つの差のモデルを使用し、ED輪郭及びES輪郭について予測された差パラメータを独立して生成する。ステップS34において、ソフトウェアにより追跡済輪郭(複数可)に基づき、いくつかの形状パラメータを計算する。パラメータは、輪郭のいくつかの測定値である。ステップS35において、(ステップS33における差モデルによって予測された)差パラメータ、及び(ステップS34で計算された)形状パラメータを、評価モデル、即ち第2の訓練モデルの入力として使用する。次に、評価モデルは、自動ソフトウェアによって実施された分析結果の品質を示す評価を生成する。したがって、ソフトウェアによって生成された結果の品質は、エコー心電図等の入力映像から予測できる。
以下、各ステップに対するより詳細を提供する。
データ標示
データベース内のエコー心電図映像は、データ標示のために収集される。データ標示に際し、入力エコー心電図映像のそれぞれは、分析のためにソフトウェア(例えば、Tomtec AutoStrain)に送信され、自動化された長尺方向グローバル・ストレイン(GLS)分析結果及び左心室の心筋輪郭(例えば、追跡された心内膜心筋輪郭)追跡結果を収集する。図4A及び図4Bに示すように、GLS分析結果は、数字であり、心筋輪郭追跡結果は、スクリーンショット画像として捕捉するか、又は拡張終期(ED)及び収縮終期(ES)のフレームに関する要点座標として直接エクスポートできる。次に、専門家は、図4C及び図4Dに示すように、ソフトウェア内の心筋追跡結果を調節し、より多くの正確なGLS分析結果を入手できる。次に、調節されたGLS分析結果及び対応する調節された心筋輪郭も将来の使用のために収集する。上記のエコー心電図標示ステップによって得られたデータは、
(1)EDフレームに対する自動化された心筋輪郭追跡結果、
(2)ESフレームに対する自動化された心筋輪郭追跡結果、
(3)EDフレームに対する手動調節された心筋輪郭
(4)ESフレームに対する手動調節された心筋輪郭、
(5)自動化された長尺方向グローバル・ストレイン、及び
(6)手動調節された長尺方向グローバル・ストレイン
を含み得る。
形状パラメータ及び差パラメータの計算
形状パラメータの計算に際し、追跡結果画像から、追跡された心内膜心筋輪郭及び左心室領域を抽出する。図5Aは、図4Aの拡張終期(ED)フレームから抽出した輪郭の一例であり、図5Bは、輪郭領域である。図6に示すように、いくつかの点を輪郭及び/又は領域に割り当て得る。輪郭、囲繞領域、及び割り当てた点に基づき、自動化された追跡結果のいくつかの形状メトリクスが測定される。形状メトリクスには、
(1)輪郭領域、
(2)線LRの勾配及びy切片、
(3)線AMの勾配及びy切片、
(4)基部の幅(LR区分の長さ)、
(5)高さ(AM区分の長さ)、並びに
(6)高さ幅比
を含み得る。
別の輪郭及び左心室領域は、専門家により調節された心内膜心筋輪郭から抽出できる。次に、自動調節済輪郭と手動調節済輪郭との間の輪郭及び領域の差は、更なるパラメータとして計算できる。更なるパラメータは、
(1)LR勾配の差、
(2)AM勾配の差、
(3)線AMy切片の差、
(4)自動輪郭のA点と手動輪郭のA点との間の距離、
(5)自動輪郭のL点と手動輪郭のL点との間の距離、
(6)自動輪郭のR点と手動輪郭のR点との間の距離、
(7)自動輪郭のM点と手動輪郭のM点との間の距離、
(8)自動輪郭のC点と手動輪郭のC点との間の距離、
(9)自動心内膜心筋右側輪郭区分と手動心内膜心筋右側輪郭区分との間の距離、
(10)自動心内膜心筋頂点輪郭区分と手動心内膜心筋頂点輪郭区分との間の距離、
(11)自動心内膜心筋左側輪郭区分と手動心内膜心筋左側輪郭区分との間の距離、
(12)自動心内膜心筋右側輪郭区分と手動心内膜心筋右側輪郭区分との間の2D距離、
(13)自動心内膜心筋頂点輪郭区分と手動心内膜心筋頂点輪郭区分との間の2D距離、
(14)自動心内膜心筋左側輪郭区分と手動心内膜心筋左側輪郭区分との間の2D距離、
(15)自動領域と手動領域との間のDiceスコア
(16)面積差、
(17)自動輪郭と手動輪郭との間の動的時間伸縮距離、
(18)自動線LRと手動線LRとの間の勾配及びy切片の差、
(19)自動線AMと手動線AMとの間の勾配及びy切片の差、並びに
(20)自動L、R、C、A点と手動L、R、C、A点との間の点距離
を含み得る。
心内膜心筋輪郭追跡結果の品質を表現するため、パラメータの一部又は全てを選択できる。選択したパラメータは、EDフレーム及びESフレームの追跡結果のために計算され、後のステップで個別に訓練される。
画像前処理
このステップは、任意ではあるが、AIの訓練速度及び訓練モデルの実行速度を加速できる。入力エコー心電図は映像であるが、モデルの訓練は、通常、入力として全映像を必要としない。結果として、拡張終期(ED)及び収縮終期(ES)フレーム付近の映像フレームを入力画像として選択できる。というのは、パラメータは、EDフレーム及びESフレームから測定、計算されるためである。
自動追跡輪郭のスクリーンショットから抽出した左心室領域に基づき、マスクを生成し、関連する画像領域に焦点を当てるディープ・ニューラル・ネットワーク・モデルを促進できる。マスク生成、適用及び画像クロッピングは、図7B~図7Dに示される。
モデル訓練
このステップは、モデルを訓練し、自動生成分析結果の品質を評価することである。このモデルは、2つの部分に分割できる。第1の部分は、差モデルであり、第2の部分は、評価モデルである。
(1)差モデルの訓練
第1の部分において、訓練データとしての前処理画像フレーム及び差パラメータの使用により、2つの回帰ニューラル・ネットワークを構築し、自動追跡結果と手動調節結果と(例えば、ソフトウェアにより追跡済輪郭と調節済輪郭と)の間の差を表す差パラメータを予測できる。一方のニューラル・ネットワークは、ED周辺の1つ又は複数の前処理画像フレームを入力として取り、ED輪郭追跡結果から計算された差パラメータを出力する。他方のニューラル・ネットワークは、同様であるが、EDではなく、ESの画像及びパラメータを使用する。モデルは、1つの前処理画像フレームを使用し、申し分のない輪郭追跡結果を生成できる、又はモデルは、複数の前処理画像フレームを入力として使用し、単一フレーム内でのノイズを低減できる。
(2)評価モデル訓練
上記の予測された差パラメータ(差モデルによる予測)及び測定された形状パラメータ(自動追跡輪郭からの計算)を組み合わせ、評価モデルを訓練し、最終標的、即ち、自動GLSと専門家により調節されたGLSとの間の差(したがって自動追跡分析結果の品質)を予測できる。形状パラメータは、新たなデータを推測した際に自動追跡輪郭から自動的に測定できる。
評価モデルは、差が大きい(自動化ソフトウェアの不良な追跡及び分析結果を暗示する)か、又はわずかである(自動化ソフトウェアの良好な追跡分析結果を暗示する)かどうかを決定する分類器(分類モデル)であっても、どのくらいのGLS差がソフトウェアにより生成された分析結果と専門家により調節された分析結果との間にあるかを正確に教える回帰器(回帰モデル)であってもよい。

以下の例は、ソフトウェアにより処理/分析されたエコー心電図画像の品質管理訓練モデルの詳細を更に示すために提供される。
1.データ収集及び標示
約1000の心尖部四腔図のエコー心電図映像を生データとして使用する。生データを訓練/検証/検査セットとして分割する。分割方策で確保された、良好な追跡結果及び不良な追跡結果を伴うデータを、データセットにわたり均等に分散する。測定/標示の2つのセット、即ち自動GLS及び手動GLSは、これらのデータセットを使用して生成される。自動GLSは、自動心内膜輪郭追跡及びGLS計算を伴うTomtec(TOMTEC Imaging Systems GmbH)AutoStrainソフトウェアを使用して生成される。手動GLS標示は、医師によって画成された輪郭から生成される。
2.形状パラメータ計算
データ標示の後、自動追跡された心内膜輪郭から測定された形状パラメータは、各エコー心電図映像のために生成される。図6で画成された点を参照しながら、以下のパラメータ:
(1)左心室の心内膜心筋の面積(A)
(2)線LRの勾配
(3)線LRのy切片
(4)線AMの勾配
(5)線AMのy切片
(6)左心室心内膜心筋の高さ(H)
(7)左心室心内膜心筋の基部の幅(B)
(8)H/B比
(9)A(H×B)比
を計算する。
上記パラメータに基づき、差パラメータは、ソフトウェアにより追跡済輪郭及び調節済輪郭のために計算でき、差パラメータは、
(1)LR勾配の差、
(2)AM勾配の差、
(3)線AMy切片の差、
(4)自動輪郭のA点と手動輪郭のA点との間の距離、
(5)自動輪郭のL点と手動輪郭のL点との間の距離、
(6)自動輪郭のR点と手動輪郭のR点との間の距離、
(7)自動輪郭のM点と手動輪郭のM点との間の距離、
(8)自動輪郭のC点と手動輪郭のC点との間の距離、
(9)自動心内膜心筋右側輪郭区分と手動心内膜心筋右側輪郭区分との間の距離、
(10)自動心内膜心筋頂点輪郭区分と手動心内膜心筋頂点輪郭区分との間の距離、
(11)自動心内膜心筋左側輪郭区分と手動心内膜心筋左側輪郭区分との間の距離、
(12)自動心内膜心筋右側輪郭区分と手動心内膜心筋右側輪郭区分との間の2D距離、
(13)自動心内膜心筋頂点輪郭区分と手動心内膜心筋頂点輪郭区分との間の2D距離、
(14)自動心内膜心筋左側輪郭区分と手動心内膜心筋左側輪郭区分との間の2D距離、
(15)自動領域と手動領域との間のDiceスコア
(16)面積差、
(17)自動輪郭と手動輪郭との間の動的時間伸縮距離、
(18)自動線LRと手動線LRとの間の勾配及びy切片の差、
(19)自動線AMと手動線AMとの間の勾配及びy切片の差、
(20)自動L、R、C、A点と手動L、R、C、A点との間の点の差
を含む。
3.画像前処理
入力エコー心電図画像(図7A)に関し、図5A及び図5Bに示すように、ソフトウェアにより追跡された左心室心内膜心筋輪郭及び対応する領域を取る。次に、図7Bに示すように、距離変換を実施してマスクを得る。次に、マスクを入力エコー心電図映像(図7A)のフレームに適用し、図7Cに示すように、左心室の心内膜心筋によって囲繞される領域のみを保持する。次に、図7Dに示すように、マスクされた画像をクロッピングし、余分な背景領域をなくす。
4.差モデル訓練
2つの回帰ニューラル・ネットワークを訓練し、自動追跡された結果と手動調節された結果との間の差を表すパラメータを予測する。一方のニューラル・ネットワークは、EDフレーム付近の前処理画像フレームを入力として取り、EDフレームの差パラメータを出力する。他方のニューラル・ネットワークは、同じことを行うが、EDではなく、ESの画像及びパラメータを使用する。ED及びES付近のフレームを訓練画像として抽出する。EDモデル訓練に関し、ED周辺の4つのエコー心電図映像を抽出する。EDモデル訓練に関し、ES付近の8つのエコー心電図映像を抽出する。
画像抽出後の次のステップは、データ強化である。各画像は、変位され、縮尺調整され、無作為な輝度/コントラスト調節が適用される。
深層残差学習モデル、ResnetRS3D-50(arXiv:2103.07579、モデル・コード:https://github.com/tensorflow/models)を使用して差モデルを訓練する。
ED及びES差モデルの入力は、4つ及び8つのフレームである。訓練セット・データから計算した差パラメータを学習標的(グラウンド・トゥルース)として使用する。モデル訓練の前、パラメータ値を標準化する。出力層は、形状パラメータ計算の段落において上記で列挙した差パラメータの連続値を出力する高密度層である。モデルを訓練し、ソフトウェアにより追跡された心内膜心筋輪郭に関連するエコー心電図映像の差パラメータを予測する。
モデルは、Tensorflow 2.9.1環境下、Nvidia RTX A6000 GPUを用いて100エポックで訓練される。
5.差モデルの訓練結果
差モデルの訓練結果を試験データセットによって試験する。ESフレーム差モデルの試験結果を図8A~図8Eに示す。合計平均誤差は、0.5931である(分散)。EDフレーム差モデルの試験結果を図9A~図9Eに示す。合計平均誤差は、0.7253である(分散)。
6.評価モデル訓練
ESフレーム差モデル及びEDフレーム差モデルによって予測された結果を使用し、評価モデルを訓練する。木ベースのモデル、XGBoost(https://github.com/dmlc/xgboost)アルゴリズムを訓練において使用する。(ソフトウェアにより追跡済輪郭及び調節済輪郭を含む)標示データから計算されたGLS差を訓練グラウンド・トゥルースとして使用する。入力は、形状パラメータ計算の段落で上記した形状パラメータ及び差パラメータを含み、出力は、手動GLSと自動GLSとの間の差である誤差値である。
7.評価モデルの訓練結果
図10A及び図10Bに示すように、訓練評価モデルを試験データセットによって試験する。平均絶対誤差は、1.5586であり、QC合格/不合格精度は74.18%である(専門家は、2を超えるGLS誤差を不良な自動追跡結果とみなすことを提案しているため、GLS誤差値=2におけるカットオフを伴う)。
8.不良画像品質対不良画像分析
ソフトウェアにより生成された不良予測結果は、(1)不良画像品質(例えば、低解像度若しくは間違った撮影角度)又は(2)良好な画像品質であるが、自動分析ソフトウェアによって予測された不良分析結果から生じ得る。本発明は、図11~図13に示すように両方の場合に対処し得る。
図11A~図11Dは、左心室領域の一部に対し、不良画像品質を伴う入力が、入力画像内に適切に得られていないことを示す。このことにより、自動追跡GLS値に誤差を生じさせる。自動追跡GLS値は-11.2%であり、手動調節GLSは-18.7%である。(手動から自動を引いた)誤差値は-7.5であり、-2よりかなり小さく、不良予測結果として分類される。本発明のモデルは、同様に-2よりかなり小さい誤差値-10.38であることを予測するため、不良予測結果として分類される。
図12A~図12Dは、不良画像品質を伴う入力の別の例を示す。画像の輝度が高すぎることにより、自動追跡GLS値に対する誤差を生じさせる。自動追跡GLS値は-12.3%であり、手動調節GLSは-20.9%である。(手動から自動を引いた)誤差値は-8.6であり、-2よりかなり小さく、不良予測結果として分類する。本発明のモデルは、同様に-2よりかなり小さい誤差値-7.42であることを予測するため、不良予測結果として分類される。
図13A~図13Dは、優れた画像品質であるが不良自動分析を伴う入力を示す。自動追跡GLS値は-12.3%であり、手動調節GLSは-22.2%である。(手動から自動を引いた)誤差値は-9.9であり、-2よりかなり小さく、不良予測結果として分類される。本発明のモデルは、同様に-2よりかなり小さい誤差値-12.21であることを予測するため、不良予測結果として分類される。
9.従来方法との比較
モデルの性能は、以前から利用可能なモデルと比較される。このモデルは、信頼スコアを有する画像分類器であり、自動結果と専門家調節結果との間のGLS誤差値に相関させる。(唯一の入力特徴、即ち、画像分類器の信頼スコアがあるため)線形単回帰モデルを利用し、同じ訓練データセットを使用してモデルを訓練する。次に、訓練モデルを試験データセットによって試験する。結果(図14A及び図14B)は、1.7731の平均絶対誤差を示し、QC合格/不合格精度は58.92%である(GLS誤差値=2におけるカットオフを伴う)。
多数の以前の研究は、画像分類器の信頼スコアが高いほど、より良好な画像品質であり、自動GLSと手動調節GLSとの間がより近いことを示した。しかし、相関はかなり弱い。同じ試験データセットを使用すると、本発明者等のモデルによって予測された手動GLS-自動GLSの差は、グラウンド・トゥルースGLS誤差値まで0.4499のR2乗値を有する。一方、画像分類器の信頼スコアは、グラウンド・トゥルースGLS誤差値まで0.03のR2乗値しか有さない。
10.形状パラメータによるモデル訓練と、画像全体によるモデル訓練との比較
最後に、形状パラメータにより訓練したモデルの性能と、画像全体により直接訓練した(形状パラメータを導入しない)モデルとを比較する。比較のため、ResnetRS3D-50を使用し、手動GLSと自動GLSとの間の誤差値を直接予測するモデルを構築する(最初の差パラメータの予測及び形状パラメータの計算を伴わない)。同じ訓練データセットを使用してモデルを訓練する。訓練入力は、DICOM映像における一心臓周期からサンプルとして抜き取った16個のフレームである。モデルは、Tensorflow 2.9.1環境下、Nvidia RTX A6000 GPUを用いて100エポックで訓練される。結果(図15)は、2.1109の平均絶対誤差を示し、QC合格/不合格精度は58.38%である(GLS誤差値=2におけるカットオフを伴う)。
上記結果は、形状パラメータを導入せずにDICOM画像からGLS誤差評価モデルを直接訓練すると、予測誤差はより高く、QC合格/不合格精度はより低くなることを示す。また、この対象とする訓練モデルは、よりブラック・ボックスのようである。というのは、この訓練モデルは、手がかりとしての形状特徴のために、入力画像の品質管理の合格/不合格を教示できないためである。形状パラメータを介して品質管理を予測する本発明の方法は、より正確であり、心臓の専門家にとってより意味をなす。
実施形態に対する上記説明は、当業者が主題を行い、使用可能にするために提供する。これら実施形態に対する様々な修正形態は、当業者に容易に明らかになるであろう。本明細書で開示する新規の原理及び主題は、革新的な技能を使用せずに他の実施形態に適用し得る。特許請求の範囲に示す請求する主題は、本明細書で示す実施形態に限定することを意図するものではなく、本明細書で開示する原理及び新規の特徴に一致する最も広範な範囲が与えられる。更なる実施形態は、開示する主題の趣旨及び真の範囲内にあることが企図される。したがって、本発明は、添付の特許請求の範囲の範囲内にある修正形態及び変形形態並びに等価物を含むことが意図される。

Claims (22)

  1. ソフトウェアによる追跡済輪郭と手動調節による調節済輪郭との間の差に関連する差パラメータを生成するために差モデルを訓練する方法であって、前記方法は、複数の第1の訓練データセットにより第1の機械学習モデルを訓練することを含み、前記複数の第1の訓練データセットのそれぞれは、訓練入力としての第1の訓練画像セット、及び訓練標的としての差パラメータ・セットを含み、前記第1の訓練画像セット及び前記差パラメータ・セットは、
    (a)少なくとも1つの画像を選択することによって前記第1の訓練画像セットを得るステップ、
    (b)分析ソフトウェアによって、前記第1の訓練画像セットに基づき、前記ソフトウェアによる追跡済輪郭を生成するステップ、
    (c)前記ソフトウェアによる追跡済輪郭より正確な輪郭を示す前記手動調節による調節済輪郭を得るステップ、及び
    (d)前記ソフトウェアによる追跡済輪郭及び前記手動調節による調節済輪郭に基づき、前記差パラメータ・セットを得るステップ
    によって生成されることを特徴とする、方法。
  2. 前記第1の訓練画像セットの各画像は、エコー心電図画像であることを特徴とする、請求項1に記載の方法。
  3. 前記第1の訓練画像セットの各画像は、前記訓練入力として使用する前に前記ソフトウェアによる追跡済輪郭に基づくマスキング及びクロッピングの前処理がされて、エコー信号どうしの干渉に起因するバックグラウンドが最小化されることを特徴とする、請求項2に記載の方法。
  4. 前記第1の機械学習モデルは、畳み込みニューラル・ネットワークに基づく回帰モデルであることを特徴とする、請求項1に記載の方法。
  5. 前記第1の機械学習モデルは、残差ニューラル・ネットワーク(ResNet)モデルであることを特徴とする、請求項4に記載の方法。
  6. ソフトウェアにより生成された分析結果と調節された分析結果との間の差に関連する予測評価誤差を生成するために評価モデルを訓練する方法であって、前記方法は、複数の第2の訓練データセットにより第2の機械学習モデルを訓練することを含み、前記複数の第2の訓練データセットのそれぞれは、訓練入力としての少なくとも1つの差パラメータ、訓練入力としての少なくとも1つの形状パラメータ、及び訓練標的としての評価結果を含み、
    前記少なくとも1つの差パラメータ・セットのそれぞれは、請求項1に記載の方法で訓練された差モデルにより生成された、前記ソフトウェアによる追跡済輪郭と前記手動調節による調節済輪郭との間の差を示し、
    前記少なくとも1つの形状パラメータのそれぞれは、分析ソフトウェアによって生成された、前記ソフトウェアによる追跡済輪郭に基づき計算され、
    前記評価結果は、前記ソフトウェアにより生成された分析結果と前記調節された分析結果との間の差に基づき決定されることを特徴とする、方法。
  7. 前記第2の機械学習モデルは、木ベースのモデルであることを特徴とする、請求項6に記載の方法。
  8. 前記第2の機械学習モデルは、回帰モデルであり、前記評価結果は、前記ソフトウェアにより生成された分析結果と前記調節された分析結果との間の差を示す誤差値であることを特徴とする、請求項7に記載の方法。
  9. 前記第2の機械学習モデルは、分類モデルであり、前記評価結果は、前記ソフトウェアにより生成された分析結果の良好品質又は不良品質を示すクラスであることを特徴とする、請求項7に記載の方法。
  10. 前記少なくとも1つの形状パラメータ・セットのそれぞれは、
    (a)前記分析ソフトウェアによって、ソフトウェアによ追跡済輪郭を少なくとも1つの画像から生成するステップ、及び
    (b)前記ソフトウェアによ追跡済輪郭に基づき、前記少なくとも1つの形状パラメータ・セットの1つを計算するステップ
    によって生成されることを特徴とする、請求項6に記載の方法。
  11. 前記少なくとも1つの画像は、エコー心電図画像であることを特徴とする、請求項10に記載の方法。
  12. 前記少なくとも1つの差パラメータ・セットのそれぞれは、
    (a)少なくとも1つの画像を選択することによって第2の訓練画像セットを得るステップ、及び
    (b)前記差モデルによって、前記第2の訓練画像セットに基づき、前記少なくとも1つの差パラメータ・セットの1つを生成するステップ
    によって生成されることを特徴とする、請求項6に記載の方法。
  13. 前記少なくとも1つの形状パラメータ・セットは、ED(拡張終期)形状パラメータ・セット及びES(収縮終期)形状パラメータ・セットを含み、前記ED形状パラメータ・セット及び前記ES形状パラメータ・セットは、
    (a)少なくとも1つのED画像を選択することによってED訓練画像セットを得るステップ、
    (b)少なくとも1つのES画像を選択することによってES訓練画像セットを得るステップ、
    (c)前記分析ソフトウェアによって、前記選択された少なくとも1つのED画像に基づき、追跡されるED輪郭を生成するステップ、
    (d)前記分析ソフトウェアによって、前記選択された少なくとも1つのES画像に基づき、追跡されるES輪郭を生成するステップ、
    (e)前記追跡されたED輪郭に基づき、前記ED形状パラメータ・セットを計算するステップ、及び
    (f)前記追跡されたES輪郭に基づき、前記ES形状パラメータ・セットを計算するステップ
    によって生成されることを特徴とする、請求項6に記載の方法。
  14. 前記少なくとも1つの差パラメータ・セットは、ED(拡張終期)差パラメータ・セット及びES(収縮終期)差パラメータ・セットを含み、前記ED差パラメータ・セット及び前記ES差パラメータ・セットは、
    (a)ED差モデルによって、前記ED訓練画像セットに基づく前記ED差パラメータ・セットを生成するステップ、及び
    (b)ES差モデルによって、前記ES訓練画像セットに基づく前記ES差パラメータ・セットを生成するステップ
    によって生成されることを特徴とする、請求項13に記載の方法。
  15. 前記評価結果は、
    (a)前記追跡されたED輪郭及び前記追跡されたES輪郭に基づき、ソフトウェアにより生成された分析結果を計算するステップ、
    (b)調節されたED輪郭及び調節されたES輪郭を得るステップ、
    (c)前記調節されたED輪郭及び前記調節されたES輪郭に基づき、調節された分析結果を計算するステップ、
    (d)前記ソフトウェアにより生成された分析結果及び前記調節された分析結果に基づき、前記評価結果を決定するステップ
    によって生成されることを特徴とする、請求項13に記載の方法。
  16. ソフトウェアにより分析された画像の品質管理方法であって、前記方法は、
    (a)少なくとも1つの入力画像及び少なくとも1つの対応するソフトウェアにより分析された画像を受信することであって、前記少なくとも1つの対応するソフトウェアにより分析された画像は、分析ソフトウェアによる前記少なくとも1つの入力画像の分析によって生成される、受信することと、
    (b)請求項1に記載の方法で訓練された少なくとも1つの差モデルによって、前記少なくとも1つの入力画像に基づき予測される差パラメータの少なくとも1つのセットを生成することと、
    (c)前記少なくとも1つの対応するソフトウェアにより分析された画像から形状パラメータの少なくとも1つのセットを生成することと、
    (d)評価モデルによって、前記予測される差パラメータの少なくとも1つのセット及び前記形状パラメータの少なくとも1つのセットに基づき予測される評価結果を生成することと
    を含むことを特徴とする、方法。
  17. 第1の差パラメータの少なくとも1つのセットを生成する前に、
    前記少なくとも1つのソフトウェアにより分析された入力画像に基づき前記少なくとも1つの入力画像を処理すること
    を更に含む、請求項16に記載の方法。
  18. 前記入力画像は、エコー心電図画像であることを特徴とする、請求項16に記載の方法。
  19. 前記評価結果は、ソフトウェアにより生成された分析結果と調節された分析結果との間の差を示す誤差値であることを特徴とする、請求項16に記載の方法。
  20. 前記評価結果は、前記ソフトウェアにより生成された分析結果の良好品質又は不良品質を示すクラスであることを特徴とする、請求項16に記載の方法。
  21. 前記少なくとも1つの対応するソフトウェアにより分析された画像は、ソフトウェアにより追跡済輪郭であることを特徴とする、請求項16に記載の方法。
  22. 前記少なくとも1つの入力画像は、少なくとも1つのED入力画像及び少なくとも1つのES入力画像を含み、
    前記少なくとも1つの対応するソフトウェアにより分析された画像は、EDの対応する画像及びESの対応する画像を含み、
    前記少なくとも1つの差モデルは、EDの差モデル及びESの差モデルを含み、
    前記予測される差パラメータの少なくとも1つのセットは、予測されるEDの差パラメータの1つのセット及び予測されるESの差パラメータの1つのセットを含み、
    前記形状パラメータの少なくとも1つのセットは、EDの形状パラメータの1つのセット及びESの形状パラメータの1つのセットを含むことを特徴とする、請求項16に記載の方法。
JP2023086636A 2023-04-06 2023-05-26 ソフトウェアにより処理されるエコー心電図のための品質管理方法 Active JP7842408B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18/296,963 US20240338814A1 (en) 2023-04-06 2023-04-06 Methods of quality control for software-processed echocardiogram
US18/296,963 2023-04-06

Publications (2)

Publication Number Publication Date
JP2024149320A JP2024149320A (ja) 2024-10-18
JP7842408B2 true JP7842408B2 (ja) 2026-04-08

Family

ID=92935096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023086636A Active JP7842408B2 (ja) 2023-04-06 2023-05-26 ソフトウェアにより処理されるエコー心電図のための品質管理方法

Country Status (2)

Country Link
US (1) US20240338814A1 (ja)
JP (1) JP7842408B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015226711A (ja) 2014-06-02 2015-12-17 株式会社東芝 医用画像処理装置
JP2018206260A (ja) 2017-06-08 2018-12-27 国立大学法人 筑波大学 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
WO2021176237A1 (en) 2020-03-06 2021-09-10 Ultromics Limited Assessing heart parameters using neural networks
WO2022014672A1 (en) 2020-07-15 2022-01-20 Takeda Pharmaceutical Company Limited Image scoring using error prediction
WO2022013584A1 (en) 2020-07-17 2022-01-20 Aimotive Kft. Method, data processing system, computer program product and computer readable medium for object segmentation
CN114972729A (zh) 2021-03-16 2022-08-30 深圳科亚医疗科技有限公司 用于医学图像分析的标注高效学习的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015226711A (ja) 2014-06-02 2015-12-17 株式会社東芝 医用画像処理装置
JP2018206260A (ja) 2017-06-08 2018-12-27 国立大学法人 筑波大学 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
WO2021176237A1 (en) 2020-03-06 2021-09-10 Ultromics Limited Assessing heart parameters using neural networks
WO2022014672A1 (en) 2020-07-15 2022-01-20 Takeda Pharmaceutical Company Limited Image scoring using error prediction
US20230245302A1 (en) 2020-07-15 2023-08-03 Takeda Pharmaceutical Company Limited Image scoring using error prediction
WO2022013584A1 (en) 2020-07-17 2022-01-20 Aimotive Kft. Method, data processing system, computer program product and computer readable medium for object segmentation
CN114972729A (zh) 2021-03-16 2022-08-30 深圳科亚医疗科技有限公司 用于医学图像分析的标注高效学习的方法和系统

Also Published As

Publication number Publication date
JP2024149320A (ja) 2024-10-18
US20240338814A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
CN110197713B (zh) 一种医疗影像的处理方法、装置、设备和介质
CN110678933B (zh) 超声临床特征检测与相关联的设备、系统和方法
CN111493935B (zh) 基于人工智能的超声心动图自动预测识别方法及系统
KR101908520B1 (ko) 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출
US9585632B2 (en) Estimation of a mechanical property of anatomy from medical scan data
US20120232386A1 (en) Valve treatment simulation from medical diagnostic imaging data
TW201923776A (zh) 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器
JP2022031825A (ja) 画像ベース診断システム
US11707201B2 (en) Methods and systems for medical imaging based analysis of ejection fraction and fetal heart functions
JP6996303B2 (ja) 医用画像生成装置
CN119072758A (zh) 用于基于超声心动描记术来预测冠状动脉疾病的方法和系统
CN120259763A (zh) 一种基于深度学习的医疗影像智能诊断方法及系统
Elmekki et al. CACTUS: An open dataset and framework for automated Cardiac Assessment and Classification of Ultrasound images using deep transfer learning
Graves et al. Siamese pyramidal deep learning network for strain estimation in 3D cardiac cine-MR
Arora et al. Deep Learning Approaches for Enhanced Kidney Segmentation: Evaluating U-Net and Attention U-Net with Cross-Entropy and Focal Loss Functions
US20230360225A1 (en) Systems and methods for medical imaging
JP7842408B2 (ja) ソフトウェアにより処理されるエコー心電図のための品質管理方法
CN114010227B (zh) 一种右心室特征信息识别方法及装置
CN117729890A (zh) 用于二尖瓣反流评估的具有用户指导和自动图像设置选择的方法和装置
CN118298004B (zh) 一种基于三维超声心动图的心脏功能评估方法及系统
CN118177867B (zh) 基于坐标定位和标记的超声图像采集系统及方法
WO2025077819A1 (zh) 基于分层语义元素的心脏功能检测方法及装置
TWI893369B (zh) 用於軟體分析影像品質控管的方法及非暫時性電腦可讀介質
JP7749653B2 (ja) 誤差予測を使用した画像スコアリング
CN116912258B (zh) 一种肺部ct图像病灶参数自效估计方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20251021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20260217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260318

R150 Certificate of patent or registration of utility model

Ref document number: 7842408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150