JP7486515B2 - Aiにより可能なエコー承認ワークフロー環境 - Google Patents

Aiにより可能なエコー承認ワークフロー環境 Download PDF

Info

Publication number
JP7486515B2
JP7486515B2 JP2021556279A JP2021556279A JP7486515B2 JP 7486515 B2 JP7486515 B2 JP 7486515B2 JP 2021556279 A JP2021556279 A JP 2021556279A JP 2021556279 A JP2021556279 A JP 2021556279A JP 7486515 B2 JP7486515 B2 JP 7486515B2
Authority
JP
Japan
Prior art keywords
echocardiogram
loops
diagnostic
loop
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021556279A
Other languages
English (en)
Other versions
JPWO2020187952A5 (ja
JP2022526105A (ja
Inventor
メルライン セブンスター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022526105A publication Critical patent/JP2022526105A/ja
Publication of JPWO2020187952A5 publication Critical patent/JPWO2020187952A5/ja
Application granted granted Critical
Publication of JP7486515B2 publication Critical patent/JP7486515B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

[0001] 以下の内容は、概して、心臓学分野、心エコー検査分野、心臓イメージング分野、及び関連する技術分野に関する。
[0002] 心エコー図は一般的な心臓学イメージングモダリティである。心エコー図から取得され得る診断結果の数は一般的な放射線医学と比べて比較的少ない。50個程度の診断結果が心エコー検査の調査から導出され得る。心エコー検査の観察では、技術者が通常、1つ又は幾つかの心拍にわたる超音波画像の短時間シーケンスである心エコー図ループを獲得する。これらは(心臓に対するそれぞれの)超音波トランスデューサーの異なる位置(すなわち「ビュー」)において獲得される。幾つかの(例えば約8個の)標準的なビューが存在し、標準的なビューの各々に対して、様々な心臓学群が、最大で約12個のサブビューを認識する。各ループは典型的には所望のビュー/サブビューをイメージングすることに適した心臓に対するそれぞれの角度で患者の胴に超音波技術者により手動で配置された超音波トランスデューサープローブを使用して獲得される。任意の所与のループの画像品質は、技術者が超音波トランスデューサープローブを保持する安定度、及びループの獲得中に患者が動く程度に応じて大幅に変わり得る。更に、ビューの「品質」は、そのビューに対して技術者が超音波トランスデューサープローブをどの程度正確に適切に配置したかに依存する。技術者は、超音波機械のディスプレイにおいて獲得されたループを観測し得、ループ画像品質の技術者の主観的見解、及び、獲得されたループが所望のビューをどの程度適切に可視化するかに応じて、所与のビューに対して複数のループを獲得する。
[0003] 場合によっては、超音波ループをレビューすること、及び、臨床的に解釈しやすい診断コード又は診断言語を入力することにより技術者により予備的報告が作られる。技術者は訓練された心臓専門医ではないので、通常、重要な診断を行うことは避ける。例えば予備的診断といったメタデータとともにループが画像保管通信システム(PACS)、心臓血管情報システム(CVIS)、及び/又は他の電子データベースに記憶される。後の時点において、心臓専門医が、典型的には開始点として技術者により提供された任意の予備的診断を使用して心エコー図をレビューする。
[0004] 以下の内容は特定の改善を開示する。
[0005] 本明細書において開示されている幾つかの非限定的な例示的な実施形態において、非一時的記憶媒体は、心エコー図ループの集合を含む心エコー図に対する診断コードを生成すること、又は受信することを有する心エコー図分析方法を実施するための、電子プロセッサにより可読且つ実行可能な命令を記憶している。複数の異なる部分集合が心エコー図から選択される。各部分集合は、心エコー図ループの集合の1つ又は複数の心エコー図ループからなる。各部分集合に対して、診断コードに対する部分集合の関連性を示す信頼性スコアが特定される。AIエンジンが診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練される、部分集合に対して演算する人工知能(AI)エンジンを使用して信頼性スコアが特定される。心エコー図ループの関連群は、診断コードに対するそれぞれの部分集合の関連性を示すそれぞれの部分集合に対して特定された信頼性スコアに基づいて識別される。心エコー図ループの関連群の心エコー図ループに関連した診断コードを表示することを有して、心エコー図読み取りユーザーインターフェースが提示される。
[0006] 本明細書において開示されている幾つかの非限定的な例示的な実施形態において、心エコー図分析デバイスは、電子プロセッサと、心エコー図ループの集合を含む心エコー図を分析するための電子プロセッサにより可読且つ実行可能な命令を記憶した非一時的記憶媒体とを含む。記憶された命令は、1つ又は複数の心エコー図ループの入力集合を受信したことに応答して診断コードに対する信頼性レベルを出力するように訓練されたAIエンジンを実現するAIエンジン命令と、AIエンジンに異なる部分集合を入力することにより心エコー図ループの集合の異なる部分集合に対する予備的診断コードに対する信頼性レベルを特定することと、それぞれの部分集合に対する特定された信頼性スコアに基づいて心エコー図ループの関連群を識別することとを有する関連ループ識別を実施する関連ループ識別命令と、心エコー図ループの関連群の心エコー図ループに関連した予備的診断コードをクライアントシステムのディスプレイに表示することを有する、クライアントシステムにおいて心エコー図読み取りユーザーインターフェースを実現する心エコー図読み取り命令とを含む。
[0007] 本明細書において開示されている幾つかの非限定的な例示的な実施形態において、1つ又は複数の心エコー図ループの入力集合を受信したことに応答して診断コードに対する信頼性レベルを出力するように訓練されたAIエンジンを使用する心エコー図分析方法が開示されている。心エコー図分析方法は、心エコー図ループの集合を含む心エコー図に対する予備的診断コードを生成すること、又は受信することと、AIエンジンに異なる部分集合を入力することによりすべての心エコー図ループの集合の異なる部分集合に対する予備的診断コードに対する信頼性レベルを特定することと、それぞれの部分集合に対する特定された信頼性スコアに基づいて予備的診断コードに関連した心エコー図ループの関連群を識別することと、心エコー図ループの関連群の心エコー図ループに関連した予備的診断コードをクライアントシステムのディスプレイに表示することを有する、心エコー図読み取りユーザーインターフェースを提示することとを有する。
[0008] 1つの利点は、心エコー図解釈環境のためのより効率的なユーザーインターフェースを提供することにある。
[0009] 別の利点は、所与の診断コードを生成する、又は承認するためにレビューされなければならない心エコー図のループ数を減らす心エコー図解釈環境のためのユーザーインターフェースを提供することにある。
[0010] 別の利点は、ユーザーインターフェースであって、このユーザーインターフェースを介して心臓専門医が一から診断結果を生成する代わりに以前に生成された診断結果を承認し得るユーザーインターフェースを提供することにある。
[0011] 別の利点は、所与の診断コードを生成する、又は承認する場合に心臓専門医又は他のユーザーにより考慮される関連性の低い、又は関連しないループの数を減らす心エコー図解釈環境のためのユーザーインターフェースを提供することにある。
[0012] 別の利点は、心エコー図解釈環境において心エコー図を分析するための自動化された予備的診断能力を提供することにある。
[0013] 別の利点は、臨床診断を行う場合にビュー(又はサブビューする)に関して誤ってラベル付けされた関連するループを考慮することに失敗する可能性を減らす心エコー図解釈環境のためのユーザーインターフェースを提供することにある。
[0014] 所与の実施形態は、前述の利点のうちの数個又はすべてを提供し、及び/又は、本開示を読んで理解することにより当業者に明らかとなる他の利点を提供する。
[0015] 本発明は、様々なコンポーネント及びコンポーネントの配置、及び様々なステップ及びステップの配置の形態をとってもよい。図面は、好ましい実施形態を示すことを目的とするに過ぎず、本発明を限定するとは解釈されない。
[0016] 心エコー図獲得及び読み取りシステムを概略的に示す図である。 [0017] 図1のシステムにより適切に実施される、ループが特定の診断コードを示すか否かを検出するために、心エコー図の1つ又は複数のループを自動的に分析するための処理のフローチャートを概略的に示す図である。 [0018] 図1のシステムにより適切に実施される、心エコー図のレビュー中に診断コードをレビューするための、及び承認するための処理のフローチャートを概略的に示す図である。 [0019] 図3の方法を実施するときに図1のシステムにより適切に提示されるユーザーインターフェースディスプレイを概略的に示す図である。 [0020] 図1のシステムにより適切に実施される、診断コードに関連性のそれぞれに対する心エコー図のループを識別するための、又はランク付けするための処理のフローチャートを概略的に示す図である。
[0021] 図1を参照すると、心エコー図獲得及び読み取りシステムが概略的に示されている。例示的なシステムは、典型的には、通常1つ又は幾つかの心拍にわたる心臓(及び/又は主な心臓血管)の超音波画像の短時間シーケンスである心エコー図ループ(本明細書において簡潔に「ループ」とも呼ばれる)を獲得するようにプログラムされた心臓超音波イメージングシステム(すなわち心エコー検査器)10である心エコー図獲得デバイス10を含む。これらは、心臓に対するそれぞれの超音波トランスデューサープローブ(図示されていない)の異なる位置(すなわち「ビュー」)において獲得される。典型的には、各ループは、所望のビュー/サブビューをイメージングすることに適した心臓に対するそれぞれの角度で患者の胴に超音波技術者により手動で配置された超音波トランスデューサープローブを使用して獲得される。心エコー検査器10は、少なくとも1つのディスプレイ12、14(非限定的な示される例において、超音波画像を表示するための、又は超音波ループを再生するための主ディスプレイ12、及び、動作パラメータ値などを提示するためのユーザーインターフェースディスプレイ14)、及び、1つ又は複数のユーザー入力デバイス16、例えば、キーボード、トラックパッド、一方又は両方のディスプレイ12、14のタッチ感応式オーバーレイ、及び/又は、その他のものを含む。典型的な心エコー図調査獲得セッションでは、超音波技術者が心臓のビューを獲得するために患者の胸における適切な位置にプローブを配置する。獲得されたエコーはディスプレイ12において再生される。ループが技術者にとって満足のいかないものである場合、技術者はプローブを再配置し、及び/又は、静止状態に留まるように患者に要求し、次に、ビューをキャプチャする別のループを獲得する。これは、所与のビューに対して複数回繰り返されてもよく、及び/又は、ビューの様々なサブビューを獲得するためにプローブ位置が調節されてもよい。典型的には、すべての獲得されたループは、獲得されたループが明らかに非臨床的な品質でない限り、PACS20に(及び/又はCVIS又は他の電子データベースに)保存される。
[0022] ループを獲得している間に、及び/又は、ループが獲得された後に、技術者が通常、予備的な発見及び/又は診断結果を取得するために予備的分析を実施する。これらは、通常所与の発見又は診断結果が診断コード(本明細書において簡潔に「コード」とも呼ばれる)により表される標準的な表記法を使用して表される。診断コードは、疾患、及び/又は、疾患の重症度状態(例えば、通常/軽度/中程度/重度)を包含する特定の診断結果又は発見に対応した固有識別子である。例えば低い画像品質に起因して特定の診断結果が信頼性高く評価することができないことを伝える診断コードも定義され得る。予備的診断コードは、適切な心エコー図調査データパッケージにおいてPACS20に心エコー図ループとともに記憶され、予備的診断コードは後から、心エコー図をレビューする心臓専門医により承認され、拒絶され、又は変更され、心臓専門医が、心臓専門医により取得された更なる発見又は診断結果を表す更なる診断コードを更に追加する。
[0023] 共通の実施態様において、心エコー図解釈環境はサーバーコンピュータ22によりホストされ、サーバーコンピュータ22は、心エコー図ループを記憶するPACS20及び/又は他の電子データベースを任意選択的に更にホストしてもよい。概して、サーバーコンピュータ22は、1つのサーバーコンピュータ(又は、十分な処理能力をもつデスクトップコンピュータ又は他のコンピュータ)、又は、演算クラスター、クラウドコンピューティングリソースなどとして構成された複数のコンピュータである。心エコー図解釈環境は、クライアントシステム、例えば、例示的な心エコー検査器10、心臓専門医のワークステーション30、及び/又は、その他のものによりアクセスされる。例示的な心臓専門医のワークステーション30は、少なくとも1つのディスプレイ34、及び、1つ又は複数のユーザー入力デバイス、例えば、キーボード36、トラックパッド38(及び/又は、マウス、及び/又は、他のポインティングデバイス)、及び/又は、その他のものを含むコンピュータ32を含む。クライアントシステム10、30は説明のための例であり、病院又は他の医療施設の典型的な心臓学部門は、クライアントシステムとして心エコー図解釈環境にアクセスすることが可能な数十個以上のデバイスを含む。典型的には、心エコー図解釈環境を実現するためのデータ処理のうちの大部分は、サーバー22において実行されるが、幾つかの演算的に負荷の比較的小さい処理(例えば、ユーザーインターフェースディスプレイのレンダリング)、及び/又は、特殊な処理(例えば、心エコー検査器ループを獲得するように心エコー検査器10の超音波ハードウェアを制御すること)は、クライアントシステム10、30においてローカルに実施される。所与のクライアントシステムにおいて提示される心エコー図解釈環境のユーザーインターフェースは、例えばクライアントシステムの認証情報(例えば、多くの場合、関連するアクセス/特権レベルをもつクライアントシステムにログインしたユーザーのユーザー識別情報)、及び、クライアントシステムの能力(例えば、心エコー検査器10により心エコー図解釈環境にアクセスするユーザーはユーザーインターフェースサポートループ獲得を提供されるのに対し、心臓専門医のワークステーション30はこれらのループ獲得ユーザーインターフェース態様を提供しない)といった多くの因子に依存する。典型的には、心臓専門医のワークステーション30は、心エコー検査器10において技術者により入力された任意の予備的診断コードへのアクセスをユーザー(例えば心臓専門医)に提供する。非限定的な示される例によると、心エコー図解釈環境は、(本明細書において開示されているように提供される更なる特徴を含む)Koninklijke Philips N.V.から入手可能なPhilips IntelliSpace Cardiovascular(ISCV)(商標)心エコー図解釈環境である。
[0024] 技術者により特定された予備的診断コードのレビューを実施するために、心臓専門医は、各予備的診断コードを承認するために、又は拒絶するために、最も関連するループを識別するために心エコー図の様々な獲得されたループをレビューしなければならない。ループはビューにより、及び場合によっては更にサブビューによりラベル付けされるが、これは、心臓専門医にとって、診断コードを承認するために最良のビューを効果的に、及び包括的に選択するために十分とは限らない。ループ獲得は、技術者が超音波トランスデューサープローブを外部から患者の胴に手動で配置する限りにおいて半手動処理であり、任意の所与のループの画像品質は、トランスデューサープローブの正確な配置及び運動による不鮮明さの程度に依存する(運動は、プローブを保持するときの不安定さ、又は患者による動き、又はその両方であってもよい)。したがって、技術者は、変動する画像品質を伴う、及びビューに対して多かれ少なかれ理想的な見晴らしの良い地点を提供する任意の所与のビューに対する幾つかのループを獲得する(例えば、幾つかのループは、意図されたビューをキャプチャするために理想的とまではいかない位置におけるトランスデューサープローブを使用して記録される)。更に、様々なループに割り当てられたビューラベルは誤りを伴い得る。結果として、所与の診断結果を承認するための「最良の」ビューの選択は、退屈なものであり、場合によっては主観的であり、誤りを生じる傾向を伴い得る。
[0025] 例えば、専門家である心臓専門医により実施された読み取りにより提供される診断コードを使用して注釈付けされた心エコー図に基づいて訓練された畳み込みニューラルネットワーク(CNN)といった人工知能(AI)は、心エコー図の読み取りを改善する可能性をもつ。しかし、このようなAIは、心エコー図の完全に自動化された診断を実施するために十分に信頼性の高いものではない場合がある。AIが完全に自動化された診断を実施するために十分に高い信頼性で作成され得ない限り、心臓専門医は(人間により生成されたか、又はAIにより生成されたかによらず)依然として予備的診断コードをレビューする必要があり、したがって、ここまでに概説されている問題は軽減されない。正確な心エコー図の読み取りを確実なものとすることに対する安全性を重要視すべき性質を考えると、多くの状況において、AIは、心エコー図のAI分析により心エコー図を読み取ることにおいて心臓専門医の専門知識に置き換わるほど実用的ではない。
[0026] ここまでに概説されている事項を考慮すると、本明細書において開示されている実施形態は、最終的な診断結果を提供するためにAIに依存せずに心エコー図読み取りワークフローにおける改善された効率及び正確さを提供する手法により心エコー図のAI分析を強化する。
[0027] 本明細書において開示されている1つの態様において、技術者により実施される予備的分析を置き換える、又は補強する予備的診断コードを生成するためにAIが使用される。任意選択的に、AIは、生成された診断コードに信頼性スコアを更に割り当てる。これらは予備的診断コードに過ぎないので、予備的診断コードが熟練した心臓専門医によりレビューされるという理由から、AIによる誤りの可能性はあまり懸念されない。
[0028] 本明細書において開示されている別の一態様では、予備的診断コードをレビューするために最も関連するループを選択するためにAIが使用される。言い換えると、(例えば超音波技術者といった人間により、又はAIにより生成された)予備的診断コードから始まり、(実際にAIがループを診断コードと関連付ける場合)診断コードを出力する、及び診断コードに対する信頼性スコアを更に出力するAIに、候補ループが入力される。この1つ又は複数の尺度は、診断コードに対するループの関連性を定量化する。例えば、コードが高信頼度でループに対してAIにより出力される場合、ループが非常に関連しているのに対し、コードがAIによりまったく出力されないか、又は、低い信頼性スコアを伴ってAIにより出力される場合、ループはあまり関連していない。
[0029] このような尺度により、心エコー図のループは、所与の診断コードに対する関連性についてランク付けされ得る。1つの正式なアプローチでは、予備的診断コードの表が生成され、各コードに対して関連するループは(例えば)ある閾値より高いコードに対する関連性をもつ最大N個のループの集合として表される。幾つかの変形例の実施形態において、関連するループの選択は繰り返し行う。例えば、心エコー図に99個のループが存在する場合、各ループが最初に診断コードとともにAIに入力され、その診断コードに対する最も関連するループが識別される。次に、その最も関連するループが、2番目に最も関連するループを識別するために、残りの98個のループの各々と次々に組み合わされる。次に、それらの2つの最も関連するループが、3番目に最も関連するループを識別するために、残りの97個のループの各々と次々に組み合わされる。これは、(概してN個の)最も関連するループのランク付けされたリストを生成するために繰り返され得る。
[0030] AIの演算は、様々な入力及び出力を使用する。例えば、幾つかの実施形態において、診断コードが1つ又は複数のループとともにAIに入力され、その入力コードに対する1つの尺度のみ、すなわちコードに対する信頼性スコアがAIにより出力される。このアプローチでは、コードがAIに対する入力であり、コードに対してAIにより出力された十分に低い信頼性スコアは、AIがその診断コードを推奨していないことを示すものとして人間のレビュー者により理解される。
[0031] 他の例示的な実施形態では、診断コードは入力ではない-むしろ、1つ又は複数のループのみがAIに入力される。これらの実施形態では、AIがループを処理して、様々な診断コードをループがサポートしているか否かを判定し、診断コードの信頼性スコアがある閾値より高い場合にのみ、診断コードを、診断コードの信頼性スコアとともに出力する。これらの実施形態では、診断コードは入力ではなく出力である。
[0032] 更に、診断コードに対する信頼性スコアは、本明細書において使用されるとき、ループのAI分析に応じて、処理されたループによりイメージングされた患者が診断コードにより示される診断結果又は発見を伴う可能性がどの程度であるかの尺度として広く解釈されることが理解される。信頼性スコアは、例えば、(例えば、範囲[0%,100%]内の)パーセンテージ、又は、(例えば、範囲[0,1]内の)確率として様々な形態で表記され、ここで、100%に近い信頼性スコア(又は1に近い確率)は、患者がコードにより示された診断結果又は発見を伴うことの非常に高い可能性に対応するのに対し、0%に近いスコア(又は0に近い確率)は、非常に低い可能性に対応する。別の例として、コードに対する信頼性スコアは、患者がコードにより示された診断結果又は発見を伴う可能性の上昇に伴って単調増加するが、取り得る信頼性スコア値の範囲は0%~100%以外である。これらは例示に過ぎない。
[0033] (1)AI分析により予備的診断コードを提供すること、及び、(2)AI分析により最も関連するループを選択することという2つの態様は独立している。例えば、幾つかの実施形態では、第1の態様のみが使用され、すなわち、AIは、予備的コードを生成するために使用されるが、AIにより生成された予備的コードに対する最も関連するループを選択するためには使用されない。他の実施形態では、第2の態様のみが使用され、すなわち、予備的診断コードが(例えばループをレビューする技術者により)手動で生成され、手動で生成された予備的診断コードに対する最も関連するループを選択するためにのみ、AIが使用される。
[0034] 更に異なる他の実施形態では、第1の態様と第2の態様とが一緒に使用される。すなわち、第1の態様により予備的診断コードのうちの一部又はすべてがAIにより生成され、次に、(予備的診断コードが手動で選択されたか、又は第1の態様によりAIにより選択されたかにかかわらず)予備的診断コードに対する最も関連するループを選択するためにAIが使用される。有益には、第1の態様と第2の態様とを組み合わせたこのような実施形態では、(一部の、又はすべての予備的診断コードを生成する)第1の態様と、(診断コードを手動でレビューするために最も関連するループを選択する)第2の態様との両方に対して同じAIエンジンが使用される。
[0035] 所与の予備的診断コードに対する最も関連するループを選択するためにAIを使用する実施形態は、エコー解釈環境に対する改善されたユーザーインターフェースであって、このユーザーインターフェースを介して心臓専門医が予備的診断コードをレビューする、ユーザーインターフェースを任意選択的に使用する。ユーザーインターフェースでは、予備的診断コードが列記され、各々がそのコードに対する最も関連するループに関連している。コードに対する関連するループの関連性は直接的であり得、例えば、そのコードに対する最も関連するループを表示し、又は、PACS20に記憶された最も関連するループに対するハイパーリンクを表示することにより関連付けられ得る(この場合、ハイパーリンクは任意選択的に、ループを表すサムネイル画像又はサムネイルビデオにより表される)。承認ユーザーインターフェースが、「承認」ボタン(又は、他の適切なユーザーにより選択可能なダイアログ要素)を更に提供し、この「承認」ボタンにより、心臓専門医が予備的診断コードを承認することを選択し得る。関連するループを表すためにハイパーリンク又はサムネイルが表示される実施形態では、心臓専門医がループをクリックして、その最大解像度によりループを示すより大きいビデオを表示し得る。心臓専門医が「承認」ボタンを選択した場合、承認された診断コードが、診断コードとして、及び/又は、診断コードにより表される発見又は診断結果の対応する自然言語テキスト表記として心エコー図報告に追加される。任意選択的に、最も関連するループに対するリンクは、報告において診断コードに自動的に注釈付けされてもよい。
[0036] 幾つかの実施形態は、心臓専門医により(又は、予備的診断ステージ中に技術者により)選択された診断コードに対する最も関連するループを選択するために、AIを更に使用する。例えば、心臓専門医(又は技術者)は、所与のループ又はループの集合をレビューし、それらのループの心臓専門医の読み取りに基づいて診断コードを入力する(又は、予備段階における技術者の読み取りに基づいて予備的コードを入力する)。この心臓専門医により、又は技術者により入力された診断コードは、次に、その診断コードに対する最も関連するループを識別する関連ループ選択エンジンにすぐに入力される。AIにより選択された非常に関連するループは、現時点では心臓専門医(又は技術者)によりレビューされず、次に、その更なるループのレビューを提案するためにユーザーダイアログが開かれる。
[0037] 別の想定される態様では、AIエンジンは、所与の診断コードの非常に禁忌的なループを識別するように更に訓練され(すなわち、診断コードがこの心エコー図調査に対して適切ではないことを強く示唆するループを識別するように訓練され)、非常に禁忌的なループが識別された場合、その禁忌的なループを心臓専門医がレビューすることを提案するためにユーザーダイアログが開かれる。
[0038] 続けて図1を参照すると、電子プロセッサ10、22、30により読み出される、及び実行される非一時的記憶媒体20に記憶された命令により適切に実現された心エコー図解釈環境40が概略的に示されている。典型的な設定では、サーバー22が解釈環境40を実現するために、例えば、ニューラルネットワーク、サポートベクトルマシン(SVM)分類器、又は他の複雑なAIを実現するために、より複雑な処理を実施するのに対し、例えば、心エコー検査器10又は心臓専門医のワークステーション30といったクライアントシステムにおける(又はクライアントシステムを備える)ローカルプロセッサが、ユーザーインターフェースダイアログレンダリング演算、超音波画像獲得ハードウェアのローカル制御、心電図報告のデータ入力、及び/又は、その他のものを実施する。心エコー図解釈環境40は、非限定的な一例として、Philips IntelliSpace Cardiovascular(ISCV)(商標)心エコー図解釈環境のUIとして実現される心エコー図読み取りユーザーインターフェース(UI)42を含む。心エコー図解釈環境40は、1つ又は複数のループを受信し、それに応答して診断コードと関連する信頼性スコアとを出力する(又は、変形例の実施形態において、1つ又は複数のループと診断コードとを受信し、その診断コードに対する信頼性スコアのみを出力する)1つ又は複数の診断AIエンジン44を更に含む。AIにより生成された予備的診断コードを含む実施形態では、このような予備的AI診断の実現は、AIエンジン48に1つ又は複数のループ46を入力すること、及び、それに応答して、1つ又は複数の予備的診断コード50を(好ましくは、対応する信頼性スコアとともに)返されて受信することを伴う。
[0039] 心エコー図解釈環境40は、所与の入力診断コード52に対して心エコー図において最も関連するループを識別する(最関連)ループ選択コンポーネント50を更に含む。そうするために、ループ選択コンポーネント50は、AIエンジン44に1つ又は複数のループ54を、任意選択的に(AIが入力としてコードを受信する実施形態では)診断コードとともに、又は、(AIがコードを受信しないが、異なるタスクを実施するように訓練された複数のAIエンジンが存在し、供給されたタスク識別情報が1つ又は複数のAIエンジンのうちのどれが使用されなければならないかを効果的に特定する実施形態では)タスク識別情報とともに入力する。1つの非限定的な示される例として、タスクは左心室評価タスクであり、対応するAIエンジン44は、入力ループを与えられたとき適切な診断コード、例えば、LV-1(左心室パフォーマンスが正常である)、LV-2(左心室パフォーマンスが軽度に低下している)、LV-3(左心室パフォーマンスが中程度に低下している)、LV-4(左心室パフォーマンスが重度に低下している)、LV-Q(低い画像品質に起因して左心室パフォーマンスを評価することができない)、及び、LV-I(不完全な調査に起因して左心室パフォーマンスを評価することができない)という群から選択されたコードのうちの1つを出力するように訓練されている。ループ選択コンポーネント50により供給された入力54に応答して、AIエンジン44は、対応する信頼性スコアとともに、AIにより生成された1つ又は複数の診断コードを含む結果56を返す(又は、コードが入力される代替的な実施形態では、結果56はAIによりそのコードに対して特定された信頼性スコアのみであってもよい)。AIエンジン44がタスク指向である実施形態の場合、ループ選択コンポーネント50は、診断コード対タスク変換参照テーブル58を適切に含む。例えば、受信されたコード52がLV-2である場合、前述の例において、テーブル58がコードLV-2を左心室パフォーマンスタスクに関連付ける。入力診断コード52に対する返された信頼性スコア56に基づいて、ループ選択コンポーネント50は、コード52に対する最も関連するループを識別する。様々な予備的診断コードに対してこの処理を実施することにより、ループ選択コンポーネント50は、各予備的診断コードを最も関連するループの集合と関連付ける参照テーブル60を構築する。心エコー図読み取りUI42の承認UI62(又はサブUI62)が、ループ選択コンポーネント50により構成された参照テーブル60において識別された各コードに対する最も関連するループとともに、ワークステーション30において心臓専門医に予備的診断コードを提示する。
[0040] 図2を参照すると、図1のAIエンジン44を使用して予備的診断コードを生成するための1つの可能な例示的なワークフローが示される。工程70において、エコーループが受信される(例えば、心電図を取られる患者に対して心エコー検査器10により獲得される)。工程72において、ループが、ビュー(及び任意選択的に更にサブビュー)に関してラベル付けされる。工程72は、超音波技術者により実施される手動工程であってもよく、又は、ループ分類器を使用した自動ラベル付けであってもよく、又はこれらの何らかの組み合わせであってもよい。工程74において、診断タスクが選択され、識別された適切なビューと、それらのビューを使用して72においてラベル付けされた心エコー図のループが選択される。予備的診断を実施するために、工程74の出力が図1に示される入力46となる。例えば、超音波技術者が左心室(LV)評価を実施することにおいてAI支援を要求した場合、技術者がLV評価タスクを選択し、LV評価を実施するために標準的なビューを識別するために参照テーブルが参照される。それらのビューを使用してラベル付けされた心エコー図のループが、次に、AIエンジン44への入力46を形成する。図2の工程76において、タスクの識別情報がAIエンジン44に対する入力である場合は(例えば、そのタスクを実施するように訓練された特定のAIエンジンを使用するように選択するために)場合によってはタスクの識別情報とともに、工程74において選択されたループがAIエンジン44に入力される。工程78において、入力76に応答してAIエンジン44により生成された診断コード(又はコード)が受信され、例えば、心エコー検査器10のディスプレイ14に、技術者による検討のために表示される。別の選択肢として、工程78において出力されたAIにより生成されたコードは、予備的心エコー図報告に自動的に入力され、又は、超音波技術者による承認後にそのように入力される。報告への自動挿入の場合、このような自動挿入は、信頼性スコアが何らかの最小閾値より高い場合(例えば>80%の信頼性)にのみ行われる。
[0041] 図3及び図4を参照して例示的な承認処理が説明され、この承認処理を介して、心臓専門医がループ選択コンポーネント50により支持された承認UI62により支援された予備的診断コードを承認する。工程80において、心エコー図調査が、心臓専門医のワークステーション30に入手される。入手された心エコー図は、例えば図2の方法を介して超音波技術者により、及び/又はAIエンジン44により生成された様々な予備的診断コードを含む。この情報は、心エコー図読み取りUI42の表示42D(図4に示される非限定的な例示的な表示の例)として心臓専門医のワークステーション30のディスプレイ34に適切に表示される。表示42Dは、承認UI62により生成された表示ウィンドウ62Dを含む。この表示62Dを生成するために、工程82において、承認される予備的コードが選択され、工程84において、82において選択されたコードに対する最も関連するループを識別するために参照テーブル60が参照され(同様に、参照テーブルは、図1を参照して既に説明されているループ選択コンポーネント50により生成される)、工程86において、コードが関連するループに関連して表示される。ループする矢印88により示されるように、このシーケンスは各予備的診断コードに対して繰り返される。この情報は、左心室(LV)パフォーマンスが軽度に低下していること、正常であること、又は、中程度に低下していることに対する予備的コードを選択するための選択ボタンを含み、これらの3つのコードの各々に対する2つの最も関連するループが各コード選択ボックスの左に示される例示的な承認表示ウィンドウ62Dとして図4に示される。示される例では、ループの各々がループの1つのフレームのサムネイルとして表されるが、他の表現が使用され得、例えば、ワークステーション30が十分な演算能力をもつ場合、ループが動作し得る(すなわちサムネイルビデオとして示される)。図4の承認表示ウィンドウ62Dにおいて各予備的診断コードに対して2つの最も関連するループが示されるが、示される最も関連するループの数は、ウィンドウ62Dのサイズ、ループ選択コンポーネント50によりコードに対して識別された最も関連するループの数、又は他の因子に基づいて選択され得る。幾つかの実施形態において、表示される最も関連するループの数は、ユーザーにより選択可能な構成パラメータであり、及び/又は、承認ウィンドウ62Dのサイズに基づいて動的に調節される(任意選択的に、ウィンドウ62Dがユーザーによりサイズ変更された場合/とき、追加又は除去ループを含む)。幾つかの実施形態において、心臓専門医が(例えば、マウスを使用して(したがって、サムネイルがハイパーリンクの「テキスト」として機能する))これらのループサムネイルのうちの1つを選択した場合、最大解像度のビデオとしてループを示すウィンドウがポップアップする。
[0042] 続けて図3及び図4を参照すると、工程90において、心臓専門医が予備的コードのうちの1つを表す選択ボタンを選択した場合、工程92において、選択された予備的(及びこの段階では、承認された)診断コードに対応した発見又は診断結果を説明するコードテキストが心エコー図報告に入力される。例示的な報告が図4の示される例示的な心エコー図読み取りUI表示42Dにおけるウィンドウ94Dに示され、ここで、軽度に低下したLVパフォーマンスを表すコードに対する選択ボタン96が選択されることが概略的に示される。
[0043] 続けて図1を参照し、及びここで図5を更に参照すると、入力診断コード52に対する最も関連するループを選択するための図1のループ選択コンポーネント50により適切に実施される方法の例示的な例が示されている。この実施形態において、AIエンジン44は、特定の心エコー図診断又は発見タスク(例えば、本明細書に示される例の例示的なLVパフォーマンス評価タスクなど)を実施するように各々が訓練された複数の異なるAIエンジンを含む。したがって、工程100において、入力コード52が関連するタスクを識別するためにコード対タスク参照テーブル58が参照される。工程102において、AIエンジン44の集合が100において識別されたタスクを実施するように訓練されたAIエンジンを含むか否かが判定される。AIエンジンがこのタスクに対して利用可能ではない場合、104において、ループ選択コンポーネント50がいずれの最も関連するループもコード52に関連付けずにコード52に対する処理を終了する(これは、例えば、ループアップテーブル60ではコード52に対するヌル要素として表される)。他方では、判断工程102において、コード52に関連したタスクに対して訓練されたAIエンジンが利用可能であると判定された場合、工程104において、幾つかの候補ループが、患者の心エコー図の心エコー図ループの集合から試験のために選択される。例えば、1つの実施形態において、心エコー図の各ループが、候補ループとして独立して取り扱われる(例えば、心エコー図が100個のループを含む場合、最初にこれらの100個のループの各々が単独で試験される)。工程106において、104において選択されたループの各々が、102において識別されたタスクに対して訓練されたAIエンジン44のAIエンジンに入力される。工程108において、各ループに対する(又は、より概括的には、104において選択された心エコー図の1つ又は複数のループの各部分集合に対する)コード52に対するAIエンジンにより返された信頼性スコアが、最も関連するループ(又はループの部分集合)、又は、N個の最も関連するループ(又はN個の最も関連するループの部分集合)(ここで、Nは何らかの正の整数である)を識別するために使用される。停止判定基準110において、より多くの試験が実施されなければならないか否かが判定される。停止判定基準110が満たされていない場合、停止判定基準110が満たされるまで、フローが、候補ループ(又はループの部分集合)が更新される工程112に進み、フローが、更新されたループ、又はループの部分集合がAIにより試験される工程106に戻るように進み、108において、更新されたループの最も関連するものが選択されるなどされる。
[0044] 例えば、1つのアプローチにおいて、工程104は、試験のために心エコー図の個々のループの各々を選択する。したがって、心エコー図にN個のループが存在する場合、これは、各々が1つのループからなるN個の試験を生成する。この例では、工程108において、最良の信頼性スコアをもつ1つのループが最も関連するループとして認められる。次に、工程112において、各々が認められた最も関連するループと1つの他のループとを含む2ループの部分集合である更新されたループの部分集合が生成される。したがって、心エコー図にN個のループが存在する場合、これはN-1個の2ループの部分集合を生成する。これらのN-1個の2ループの部分集合の各々が工程106に従って試験され、工程108の次の経路において、最も関連した2ループの部分集合が選択される。フローは次に再度工程112に進み、工程112において、N-2個の3ループの部分集合を生成するために、残りのループの各々がこの最も関連した2ループの部分集合に追加される。この処理は、任意の選択された数の最も関連するループを識別するために継続され得、例えば、この2番目の経路の後に停止判定基準110が終了した場合、最終的な出力114は、コード52に対する3つの最も関連するループとなる。
[0045] 図5を再度参照すると、ループ選択コンポーネント50により実施される適切な最も関連するループの選択工程の別の例は次のとおりである。診断コードは工程100においてコードのファミリー(例えば心エコー図タスク)に写像される。例えば、「LV-2:左心室パフォーマンスが軽度に低下している」というコードは、「左心室パフォーマンス」というファミリーに写像される。この写像は、参照テーブル58により適切に実施される。ファミリーは、ループ選択のために強化されたそれに関連したAIエンジンを含む。任意の所与の診断コードに対して、工程102において、そのファミリーに関連したAIエンジンが存在しないと判定された場合、ループは選択されず、104において処理が終了する。他方、AIエンジンが存在する場合、ループ選択コンポーネント50は、診断コードを十分にサポートするループの部分集合をそれが選択することを強化する。これは、様々な手法により実現され得る。この示される例では、勾配上昇選択工程が使用される。勾配上昇探索では、多次元グリッドを繰り返し横断すること、及び関数スコアを最大限に増加させるノードを後継のものとして選び出すことにより、関数Fが最大化される。本例において、ノードは心エコー図のループの集合の部分集合に対応する。グリッドにおいて、1つのループをいずれかのノードに追加した後に、ループに関連したループの部分集合が同一である場合、1つのノードから次のものへと横断し得る。
[0046] 各ノードnに対して、AIエンジンにより生成された2つの値、すなわち、(1)AIエンジンに従った入力された診断コード(例えば「LV-2」)の可能性、及び、(2)AIエンジンによりそのコードに対して出力された信頼性スコアにより、値F(n)が特定される。関数Fは、これらの入力を組み合わせて1つの複合値を生成する。
[0047] このアプローチに従った1つの処理シーケンスにおいて、初期繰り返しはループの空集合から始まり、探索は(Fにより符号化された)入力された診断コードに対する個々のループに対して出力された信頼性スコアにより示される可能性を最大限にサポートする1つのループを発見する。次に、ますます多くのループを繰り返し追加することにより、典型的には入力された診断コードにおける可能性及び信頼性が高くされる。以下の基準(すなわち、停止判定基準100の例示的な例)、すなわち、(i)F(n)とF(n’)との間のデルタ(ここで、nは以前のノードであり、n’は現在のノードである)が所定の閾値より高くならないこと、又は、(ii)F(n)が所定の閾値、又はこの探索ために特に特定された閾値より高い場合、のうちの1つに当てはまる場合、探索が終了し得る。
[0048] より一般化されたワークフローでは、ループ選択コンポーネント50は以下のように適切に動作する。診断コード52は、心エコー図ループの集合を含む心エコー図に対して(例えば、予備的診断コードを特定するために強化されたAIエンジン44により)生成され、又は、(例えば、心エコー検査器10のユーザー入力16を介して診断コードを受信することにより)受信される。複数の異なる部分集合が心エコー図から選択され、各部分集合は、心エコー図ループの集合の1つ又は複数の心エコー図ループからなる。各部分集合に対して、診断コード52に対する部分集合の関連性を示す信頼性スコアが特定される。信頼性スコアは、部分集合に対して演算するAIエンジン44を使用して特定され、信頼性スコアを特定するAIエンジンは、診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練されている。診断コードに対するそれぞれの部分集合の関連性を示すそれぞれの部分集合に対する特定された信頼性スコアに基づいて心エコー図ループの関連群が識別される。心エコー図ループの関連群の心エコー図ループに関連した診断コードを表示することを有して、心エコー図読み取りユーザーインターフェース62D(図4参照)が提示される。
[0049] この一般化されたワークフローにおいて、心エコー図分析方法は、部分集合の選択から信頼性スコアの特定までの間を繰り返す。このような繰り返しの実施形態では、選択の少なくとも1回の繰り返しは、選択の以前の繰り返しにおいて選択された部分集合に対して特定された信頼性スコアに少なくとも部分的に基づく。
[0050] この一般化されたワークフローの別のより具体的な例として、部分集合の選択及び信頼性スコアの特定は、心エコー図から1つ又は複数の第1の部分集合を選択することと、診断コードに対するそれぞれの第1の部分集合の関連性を示す1つ又は複数の第1の部分集合に対する信頼性スコアを特定することと、更なる心エコー図ループを使用して第1の部分集合を拡張することにより1つ又は複数の第2の部分集合を選択することと、診断コードに対するそれぞれの第1の部分集合の関連性を示す1つ又は複数の第2の部分集合に対する信頼性スコアを特定することとを有する。この繰り返しループは、更なる心エコー図ループを使用して(最後の、例えば第2の)部分集合を拡張することにより1つ又は複数の更なる(例えば第3の)部分集合を選択することと、診断コードに対するそれぞれの第3の部分集合の関連性を示す1つ又は複数の更なる(例えば第3の)部分集合に対する信頼性スコアを特定することとの更なる繰り返しにより継続される。
[0051] 心エコー図読み取りユーザーインターフェース42を提示することにおいて、これは、(例えば図4のウィンドウ94Dを介して)心エコー図報告を表示することを有する。心エコー図読み取りユーザーインターフェース42D(の承認ウィンドウ62D)を介して心エコー図ループの関連群の心エコー図ループのうちの1つのユーザー選択を受信したことに応答して、ユーザーにより選択された心エコー図ループが表示される。心エコー図読み取りユーザーインターフェース42D(の承認ウィンドウ62D)を介して診断コードを承認するユーザー選択を受信したことに応答して、診断コードに対応したテキストが心エコー図報告に挿入される。
[0052] 任意選択的に、心エコー図分析方法は、それぞれの部分集合に対する特定された信頼性スコアに基づいて心エコー図ループの関連群の心エコー図ループをランク付けすることを更に有する。この場合において、心エコー図ループの関連群の心エコー図ループは、ランク付けにより順序付けられた(例えば承認ウィンドウ62D表示における)診断コードと関連付けられる。
[0053] 心エコー図ループの関連群の各心エコー図ループに対して表示される最も関連するループを順序付けるための別の1つのアプローチでは、診断コードに対する心エコー図ループの関連性を示すループ信頼性スコアは、心エコー図ループに対して演算するAIエンジンを使用して特定される。このアプローチでは、心エコー図ループの関連群の心エコー図ループは、ループ信頼性スコアにより順序付けられた診断コードに関連する。
[0054] 示される例において、各AIエンジン44は人工的ニューラルネットワーク(ANN)を含む。しかし、より概括的には、AIエンジン44は、心エコー図ループ又はループの部分集合を処理したことに応答して診断コードに対する信頼性スコアを出力する任意の種類の分類器であり得る。幾つかの非限定的な示される例として、1つ又は複数のAIエンジン44は、診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練されたANN、診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練されたサポートベクトルマシン(SVM)、診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練された別の種類の機械学習(ML)コンポーネント、診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練されたロジスティック回帰分類器などのうちの1つ又は複数を含み得る。
[0055] 本発明は、好ましい実施形態を参照しながら説明されている。前述の詳細な説明を読んで理解した他者は変更例及び修正例を想起することができる。例示的な実施形態は、変形例及び修正例が添付の請求項の範囲又はその均等なものに該当する限り、このような変形例及び修正例のすべてを含むように解釈されることが意図されている。

Claims (15)

  1. 心エコー図ループの集合を含む心エコー図に対する予備的な診断コードを生成すること、又は受信することとであって、前記診断コードは、特定の診断結果又は発見に対する固有識別子である、生成すること、又は受信することと、
    前記心エコー図から複数の異なる部分集合を選択することであって、各前記部分集合が、前記心エコー図ループの前記集合の1つ又は複数の前記心エコー図ループからなる、選択することと、
    各前記部分集合に対して、前記診断コードに対する前記部分集合の関連性を示す信頼性スコアを特定することであって、前記信頼性スコアが、前記部分集合に対して演算する人工知能(AI)エンジンを使用して特定され、前記AIエンジンが、心エコー図ループを含み診断コードを使用してラベル付けされた履歴心エコー図に基づいて訓練されており、1つ又は複数の候補ループが前記AIエンジンに入力され、前記AIエンジンは前記診断コードに対する前記信頼性スコアを出力する、特定することと、
    前記診断コードに対するそれぞれの前記部分集合の前記関連性を示すそれぞれの前記部分集合に対する特定された前記信頼性スコアに基づいて前記心エコー図ループの関連群を識別することと、
    前記心エコー図ループの前記関連群の前記心エコー図ループに関連した前記診断コードを表示することを有する、心エコー図読み取りユーザーインターフェースを提示することと、
    を有する、心エコー図分析方法を実施するための電子プロセッサにより可読且つ実行可能な命令を記憶した、非一時的記憶媒体。
  2. 前記心エコー図分析方法が、前記選択することから前記特定することまでの間を繰り返すことを有し、
    前記選択することの少なくとも1回の繰り返しが、前記選択することの以前の繰り返しにおいて選択された部分集合に対して特定された信頼性スコアに少なくとも部分的に基づく、
    請求項1に記載の非一時的記憶媒体。
  3. 前記選択することと前記特定することとが、
    前記心エコー図から1つ又は複数の第1の部分集合を選択することと、
    前記診断コードに対するそれぞれの前記部分集合の関連性を示す1つ又は複数の前記第1の部分集合に対する信頼性スコアを特定することと、
    更なる心エコー図ループを使用して前記第1の部分集合を拡張することにより1つ又は複数の第2の部分集合を選択することと、
    前記診断コードに対するそれぞれの前記第2の部分集合の関連性を示す1つ又は複数の前記第2の部分集合に対する信頼性スコアを特定することと、
    を有する、請求項1又は請求項2に記載の非一時的記憶媒体。
  4. 前記心エコー図読み取りユーザーインターフェースを提示することが、
    心エコー図報告を表示することと、
    前記心エコー図読み取りユーザーインターフェースを介して前記心エコー図ループの前記関連群の前記心エコー図ループのうちの1つのユーザー選択を受信したことに応答して、ユーザーにより選択された前記心エコー図ループを表示することと、
    前記心エコー図読み取りユーザーインターフェースを介して前記診断コードを承認するユーザー選択を受信したことに応答して、前記診断コードに対応したテキストを前記心エコー図報告に挿入することと、
    を更に有する、請求項1から請求項3のいずれか一項に記載の非一時的記憶媒体。
  5. 前記心エコー図分析方法が、それぞれの前記部分集合に対する特定された前記信頼性スコアに基づいて前記心エコー図ループの前記関連群の前記心エコー図ループをランク付けすることを更に有し、
    前記心エコー図ループの前記関連群の前記心エコー図ループが、前記ランク付けにより順序付けられた前記診断コードに関連する、
    請求項1から請求項4のいずれか一項に記載の非一時的記憶媒体。
  6. 前記心エコー図分析方法が、
    前記心エコー図ループの前記関連群の各前記心エコー図ループに対して、前記診断コードに対する前記心エコー図ループの関連性を示すループ信頼性スコアを特定することであって、前記ループ信頼性スコアが、前記心エコー図ループに対して演算する前記AIエンジンを使用して特定される、特定すること、
    を更に有し、
    前記心エコー図ループの前記関連群の前記心エコー図ループが、前記ループ信頼性スコアにより順序付けられた前記診断コードに関連する、
    請求項1から請求項4のいずれか一項に記載の非一時的記憶媒体。
  7. 前記診断コードを生成すること、又は受信することが、前記心エコー図ループの前記集合の部分集合に対して演算する前記AIエンジンを使用して前記診断コードを自動的に生成することを有する、
    請求項1から請求項6のいずれか一項に記載の非一時的記憶媒体。
  8. 前記診断コードを生成すること、又は受信することが、
    心エコー検査器を使用して前記心エコー図ループの前記集合を含む前記心エコー図を獲得することと、
    前記心エコー検査器のユーザー入力を介して前記診断コードを受信することと、
    を有する、請求項1から請求項7のいずれか一項に記載の非一時的記憶媒体。
  9. 前記AIエンジンが、人工的ニューラルネットワークを含む、
    請求項1から請求項8のいずれか一項に記載の非一時的記憶媒体。
  10. 前記AIエンジンが、対応する臨床タスクに対して診断コードを使用してラベル付けされた履歴心エコー図に基づいて各々が訓練された複数のタスク特有のAIエンジンを含み、
    前記診断コードに対する前記部分集合の前記関連性を示す前記信頼性スコアが、前記診断コードが対応する臨床タスクを識別することと、前記部分集合に対して演算する識別された前記臨床タスクに対する前記タスク特有のAIエンジンを使用することとにより、特定される、
    請求項1から請求項9のいずれか一項に記載の非一時的記憶媒体。
  11. 電子プロセッサと、
    心エコー図ループの集合を含む心エコー図を分析するための前記電子プロセッサにより可読且つ実行可能な命令を記憶した非一時的記憶媒体とを備え、
    記憶された前記命令が、
    1つ又は複数の前記心エコー図ループの入力集合を受信したことに応答して診断コードに対する信頼性スコアを出力するように訓練された人工知能(AI)エンジンを実現するAIエンジン命令と、
    前記AIエンジンに異なる部分集合を入力することにより前記心エコー図ループの前記集合の異なる前記部分集合に対する予備的診断コードに対する信頼性スコアを特定することであって、前記予備的診断コードは、特定の診断結果又は発見に対する固有識別子である、特定することと、それぞれの前記部分集合に対する特定された信頼性スコアに基づいて前記心エコー図ループの関連群を識別することとを有する関連ループ識別を実施する関連ループ識別命令と、
    前記心エコー図ループの前記関連群の前記心エコー図ループに関連した前記予備的診断コードをクライアントシステムのディスプレイに表示することを有する、前記クライアントシステムにおいて心エコー図読み取りユーザーインターフェースを実現する心エコー図読み取り命令と、
    を含む、心エコー図分析デバイス。
  12. 前記関連ループ識別が、(i)最初に異なる部分集合を選択することと、(ii)前記AIエンジンに異なる前記部分集合を入力することにより異なる前記部分集合に対する前記予備的診断コードに対する信頼性スコアを特定することと、(iii)ステップ(ii)において特定された最高の前記信頼性スコアをもつ前記部分集合に前記心エコー図ループを追加することにより更なる部分集合を選択し、次に前記更なる部分集合に対してステップ(ii)を繰り返すことの少なくとも1回の繰り返しと
    を有する、請求項11に記載の心エコー図分析デバイス。
  13. 前記心エコー図読み取りユーザーインターフェースを実現することが、
    前記クライアントシステムの前記ディスプレイに心エコー図報告を表示することと、
    前記心エコー図読み取りユーザーインターフェースを介して前記予備的診断コードを承認するユーザー選択を受信したことに応答して、前記予備的診断コードに対応したテキストを前記心エコー図報告に挿入することと、
    を有する、請求項11又は請求項12に記載の心エコー図分析デバイス。
  14. 前記AIエンジンに前記心エコー図ループの前記関連群の部分集合を入力することにより特定された前記予備的診断コードに対する前記信頼性スコアに基づいて前記心エコー図ループの前記関連群の前記心エコー図ループをランク付けし、
    前記心エコー図ループの前記関連群の前記心エコー図ループが、前記ランク付けにより順序付けられた前記予備的診断コードに関連する、
    請求項11から請求項13のいずれか一項に記載の心エコー図分析デバイス。
  15. 前記命令が、
    前記心エコー図の前記集合の1つ又は複数の前記心エコー図ループの部分集合を前記AIエンジンに入力することを有する工程により前記予備的診断コードを生成するための分析命令を更に含む、
    請求項11から請求項14のいずれか一項に記載の心エコー図分析デバイス。
JP2021556279A 2019-03-20 2020-03-18 Aiにより可能なエコー承認ワークフロー環境 Active JP7486515B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962820892P 2019-03-20 2019-03-20
US62/820,892 2019-03-20
PCT/EP2020/057360 WO2020187952A1 (en) 2019-03-20 2020-03-18 Ai-enabled echo confirmation workflow environment

Publications (3)

Publication Number Publication Date
JP2022526105A JP2022526105A (ja) 2022-05-23
JPWO2020187952A5 JPWO2020187952A5 (ja) 2023-03-24
JP7486515B2 true JP7486515B2 (ja) 2024-05-17

Family

ID=70108149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556279A Active JP7486515B2 (ja) 2019-03-20 2020-03-18 Aiにより可能なエコー承認ワークフロー環境

Country Status (5)

Country Link
US (1) US20220189633A1 (ja)
EP (1) EP3942564A1 (ja)
JP (1) JP7486515B2 (ja)
CN (1) CN113711318A (ja)
WO (1) WO2020187952A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024127209A1 (en) * 2022-12-13 2024-06-20 Aisap Ltd Automated analysis of echocardiographic images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503620A (ja) 2002-10-21 2006-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 診断画像の表示を改良させるシステム及び方法
JP2007527743A (ja) 2004-02-03 2007-10-04 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 心臓関連の病気及び状態のための自動診断及び意思決定支援用システム及び方法
WO2017205836A1 (en) 2016-05-26 2017-11-30 Icahn School Of Medicine At Mount Sinai Systems and methods for categorization
JP2018534029A (ja) 2015-10-02 2018-11-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 所見を関連する心エコー図ループにマッピングするためのシステム
US20180333104A1 (en) 2017-05-18 2018-11-22 Koninklijke Philips N.V. Convolutional deep learning analysis of temporal cardiac images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064017A1 (en) * 2004-09-21 2006-03-23 Sriram Krishnan Hierarchical medical image view determination
US20130096447A1 (en) * 2011-09-27 2013-04-18 Akshay Dhawan System and methods for serial analysis of electrocardiograms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503620A (ja) 2002-10-21 2006-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 診断画像の表示を改良させるシステム及び方法
JP2007527743A (ja) 2004-02-03 2007-10-04 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 心臓関連の病気及び状態のための自動診断及び意思決定支援用システム及び方法
JP2018534029A (ja) 2015-10-02 2018-11-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 所見を関連する心エコー図ループにマッピングするためのシステム
WO2017205836A1 (en) 2016-05-26 2017-11-30 Icahn School Of Medicine At Mount Sinai Systems and methods for categorization
US20180333104A1 (en) 2017-05-18 2018-11-22 Koninklijke Philips N.V. Convolutional deep learning analysis of temporal cardiac images

Also Published As

Publication number Publication date
CN113711318A (zh) 2021-11-26
US20220189633A1 (en) 2022-06-16
WO2020187952A1 (en) 2020-09-24
EP3942564A1 (en) 2022-01-26
JP2022526105A (ja) 2022-05-23

Similar Documents

Publication Publication Date Title
US11288550B2 (en) Data processing apparatus and method, recognition apparatus, learning data storage apparatus, machine learning apparatus, and program
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
US11069432B2 (en) Automatic disease detection from unstructured textual reports
JP3083606B2 (ja) 医用診断支援システム
CN112868020A (zh) 用于医学成像报告的改进的分析和生成的系统和方法
US8160333B2 (en) Information processing apparatus and information processing method
US10667794B2 (en) Automatic detection of disease from analysis of echocardiographer findings in echocardiogram videos
US20220028507A1 (en) Workflow for automatic measurement of doppler pipeline
JP6748199B2 (ja) 所見を関連する心エコー図ループにマッピングするためのシステム
Sharma et al. Artificial intelligence in diagnostic imaging: status quo, challenges, and future opportunities
EP2504809A2 (en) Advanced multimedia structured reporting
US20180107792A1 (en) Automatic discrepancy detection in medical data
JP5340204B2 (ja) 推論装置、その制御方法およびプログラム
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
JP5462866B2 (ja) 画像セグメンテーションに基づく画像分類
US20180103931A1 (en) Detection of valve disease from analysis of doppler waveforms exploiting the echocardiography annotations
JP5676597B2 (ja) 内容に基づく画像検索についての関連性フィードバック
JP7486515B2 (ja) Aiにより可能なエコー承認ワークフロー環境
JP7478518B2 (ja) 読影支援装置および読影支援方法
Labrecque Langlais et al. Evaluation of stenoses using AI video models applied to coronary angiography
US20240193762A1 (en) Selecting analysis algorithms to use to generate medical findings for medical images
US20170039266A1 (en) Methods and systems for multi-code categorization for computer-assisted coding
US20240038344A1 (en) Orchestrator engine to provide context driven workflow of radiology images and patient data to artificial intelligence engines for further processing
JP2000311212A (ja) 医用診断支援システム
Butkevych et al. Classification of Patients with Suspected Coronary Artery Disease Based on Locally Weighted Least Squares Method.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240507

R150 Certificate of patent or registration of utility model

Ref document number: 7486515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150