JP7075416B2 - 時間的な心臓画像の畳み込み深層学習解析 - Google Patents

時間的な心臓画像の畳み込み深層学習解析 Download PDF

Info

Publication number
JP7075416B2
JP7075416B2 JP2019563483A JP2019563483A JP7075416B2 JP 7075416 B2 JP7075416 B2 JP 7075416B2 JP 2019563483 A JP2019563483 A JP 2019563483A JP 2019563483 A JP2019563483 A JP 2019563483A JP 7075416 B2 JP7075416 B2 JP 7075416B2
Authority
JP
Japan
Prior art keywords
echocardiographic
diagnostic
convolutional neural
volume
electrocardiogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563483A
Other languages
English (en)
Other versions
JP2020520273A (ja
Inventor
シーテック，アルカディウシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020520273A publication Critical patent/JP2020520273A/ja
Application granted granted Critical
Publication of JP7075416B2 publication Critical patent/JP7075416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/364—Detecting abnormal ECG interval, e.g. extrasystoles, ectopic heartbeats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、概して、心臓画像の診断に関する。本開示は、特に、心臓画像を正常な心機能又は異常な心機能を示すものとして分類することに関する。
多くの医療用イメージングモダリティ（例えば、超音波ＵＳ、磁気共鳴イメージングＭＲＩ、ＣＴ、ポジトロン放出型断層撮影ＰＥＴ等）は、様々な身体器官の機能を示す時間的な（temporal：経時的な）データを与える。時間的な機能イメージングの主な用途の１つは、心臓疾患の診断及び監視である。心臓は一定の周期的な運動をしているため、時間的イメージングは、心臓の変形の解析によって心機能を特徴付けるために広く使用されている。
本開示の技術分野で知られている心エコー検査（エコー）は、拍動する心臓の時間的データを取り込むために使用される最も一般的な技術の１つである。エコーには、他のイメージングモダリティに比べて、低コスト及び携帯性を含むいくつかの利点がある。エコーリアルタイムイメージングでは、電離放射線を使用しない。
最も広く利用されている２次元（２Ｄ）モードと、あまり一般的ではない３次元（３Ｄ）モードとの２つの異なる収集モードがある。
２Ｄエコーの場合に、超音波トランスデューサが胸骨の近くに位置付けされ、心臓と交差する２Ｄ平面の画像が毎秒５０～１００フレームレートで取得される。これらの動画（心エコー平面画像の時間シーケンス）は、超音波検査技師のためにライブで視覚化され、また、後の解釈／診断のために保存及び送信することができる（例えば、ＰＡＣＳ）。２Ｄエコーでは、心筋のボリューム全体をカバーするために、心臓を通過するいくつかの異なる平面を取得する必要がある。
３Ｄエコーの場合に、より高機能のトランスデューサが使用され、拍動する心臓の心エコーボリューム画像の時間シーケンスが取得される。
本開示の技術分野で知られている心電図（ＥＣＧ）は、突然の心停止につながる可能性のある異常な心血管状態（例えば、心筋症）を検出する能力を高める。ＥＣＧの結果は心周期中の心臓の電気的活動を示す波形であり、ＥＣＧは、エコーと同時に実行され、心臓診断を強化する。
本開示に関連するエコーの主な用途は、心血管疾患（ＣＶＤ）の検出及び特徴付けである。この疾患は、１つ又は複数の冠状動脈の閉塞の結果である可能性があり、その結果、心臓の１つ又は複数のセグメントの収縮性が低下する。エコーの臨床応用では、心臓壁運動の異常は、時間的なエコー画像に基づいて検出され、定量化される。現在の実務では、この定量化は、時間的な画像の主観的な視覚検査と、心筋セグメント毎の心臓壁運動及び肥厚異常の検出とによって行われる。エコーの解釈は、検査中に画像がリアルタイムで視覚化されるか、リーディングコンソール（ＰＡＣＳ等）で検査後に行われ得る。本質的に電気的又は機械的な心機能の異常に起因する他の多くの種類の心疾患がある。それらの異常が心臓構造又は／及び心機能（電気的／機械的）のいずれかに現れる場合に、これらの疾患の共通のドミネータ（dominator）が存在する。
エコー画像から明らかなように、心臓の変形のモデリングにかなりの研究努力が払われている。これらの努力の大部分は画像解析に基づいている。例えば、心内膜壁の検出を利用し、次に定量化することができる。また、セグメント化、スペックル追跡、非剛体位置合せアプローチを利用して、心臓運動を自動的に追跡し、運動の異常を判断することができる。しかしながら、これらのアプローチは全て、これらのアルゴリズムの堅牢な実装を妨げる、超音波画像の深刻なノイズの問題に悩まされている。
この問題に対する異なるアプローチは、組織の運動を定量化することができる超音波のドップラー収集を含む異なるデータ収集モデルを使用することである。ただし、このアプローチでは、運動はビーム方向しか定量化できず、結果は信号対雑音比に依存する。
前述したエコー手順の主な問題の１つは、心臓壁の運動に基づいたＣＶＤの診断が完全に主観的な方法で行われることである。心エコー検査技師は時間的なビューを目で確認し、それらのビューに基づいて、どのセグメントがＣＶＤによる心筋線維収縮性の低下を示す運動異常を示すかを判別する。
今日使用されている視覚的評価は、心エコー検査技師の経験及び訓練に大きく依存している。従って、観察者間（inter-observer）及び観察者内（intra-observer）の変動性（variability：判断の食い違い）は著しくなる。エコーの解釈に関する他の困難性は、エコー画像の解釈に必要な高度に訓練された専門家を必要とすることである。それらが直ぐに利用できない、又は全て利用できない場合に、エコーの有用性は、即時診断のために大幅に削減される。
さらに、前述したように、エコー検査には、典型的に、ＥＣＧ波形の収集が伴う。しかしながら、エコー及びＥＣＧは別々に解釈され、これらのテストの相乗効果が低下する。
エコー心臓画像の取得を介して心血管疾患（ＣＶＤ）の検出及び特徴付けを改善するために、本開示の発明は、心電図と組み合わされ得るエコー心臓画像により明らかにされた異常な心臓状態（例えば、心臓壁運動の異常）の分類／定量化を標準化するためのシステム、装置、コントローラ、及び方法を提供し、それによりエコーを使用したＣＶＤの診断を標準化する。
一般に、本開示の発明は、心エコー図の時間的変化のモデリングに基づいて、深層学習畳み込みニューラルネットワークを心エコー図に適用することを前提としている。
本開示の発明の一実施形態は、畳み込みニューラル心臓診断システムであり、このシステムは、心エコー図データを生成するための超音波装置と、心エコー図データから導出された心エコー図の生成を制御するための心エコー図コントローラとを含む。心エコー図には、心エコーサイクルの時間シーケンスが含まれる。
畳み込みニューラル心臓診断システムは、心エコー図の診断を制御するための心臓診断コントローラをさらに含む。この目的のために、心臓診断コントローラは、心エコーサイクルの時間シーケンスの周期的スタッキングを含む心エコー図診断ボリュームを生成するための周期的ボリューム生成器を含み、さらに、心エコー図診断ボリュームの畳み込みニューラル解析に基づいて、心エコー図を、正常な心エコー図又は異常な心エコー図の１つとして分類（定量化）するための診断用の畳み込みニューラルネットワークを含む。
本開示の発明の第２の実施形態は、畳み込みニューラル診断エコーシステムであり、このシステムは、心電図データを生成するリードシステムと、心電図データから導出された心電図の生成を制御するための心電図コントローラとをさらに含む。心電図には、心電図波の時間シーケンスが含まれる。
周期的ボリューム生成器は、心電図波の時間シーケンスの周期的スタッキングを含む心電図診断ボリュームをさらに生成し、診断用の畳み込みニューラルネットワークは、心エコー図診断ボリュームと心電図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかとして分類（定量化）する。
本開示の発明の第３の実施形態は、心エコー図データを生成する超音波装置と、心エコー図データから導出された心エコー図の生成を制御する心エコー図コントローラとを含む畳み込みニューラル心臓診断方法である。心エコー図には、心エコーサイクルの時間シーケンスが含まれる。
畳み込みニューラル心臓診断方法は、心エコーサイクルの時間シーケンスの周期的スタッキングを含む心エコー図診断ボリュームを生成し、且つ心エコー図診断ボリュームの畳み込みニューラル解析に基づいて、心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかとしてさらに分類（定量化）することにより、心エコー図の診断を制御する心臓診断コントローラをさらに含む。
本開示の発明の第４の実施形態は、心電図データを生成するリードシステムと、心電図データから導出された心電図の生成を制御する心電図コントローラとを含む畳み込みニューラル診断エコー方法である。心電図には、心電図波形の時間シーケンスが含まれる。
畳み込みニューラル心臓診断方法は、心電図波の時間シーケンスの周期的なスタッキングを含む心電図診断ボリュームを生成し、且つ心エコー図診断ボリュームと心電図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかとしてさらに分類（定量化）することにより、心エコー図の診断を制御する心臓診断コントローラをさらに含む。
本開示の発明を説明及び特許請求の範囲に記載する目的で、
（１）「拍動図（cardiogram）」、「心エコー図」、「心電図（electrocardiogram）」、「畳み込みニューラルネットワーク」、「分類」、「定量化（分類と同義）」、及び「医療用イメージングモダリティ」を含むが、これらに限定されない技術用語は、本開示の当業者に理解され、且つ本開示で説明される例示として解釈すべきである。
（２）本開示における任意のタイプの拍動図の記述的ラベルとしての「正常」という用語は、本開示の当業者によって理解され、本開示に例示的に説明されるように、あらゆるタイプの不健康な／致命的な心血管状態の不存在を表す心臓のよく知られた特徴を示す拍動図を広く包含する。正常な拍動図の例には、構造的又は機能的な異常に関連する正常な心臓壁運動を示す心エコー図、及び正常な電気的活動を示す心電図が含まれるが、これらに限定されるものではない。
（３）本開示における任意のタイプの拍動図を説明する「異常」という用語は、本開示の当業者によって理解され、本開示に例示的に説明されるように、あらゆるタイプの不健康な／致命的な心血管状態の存在を表す心臓のよく知られた特徴を示す拍動図を広く包含する。異常な拍動図の例には、構造的又は機能的な異常に関連する異常な心臓壁運動を示す心エコー図、及び異常な電気的活動を示す心電図が含まれるが、これらに限定されるものではない。
（４）「心エコーサイクル」という用語は、本開示の当業者によって理解され、本開示で例示的に説明されるように、単一の心拍に亘る２Ｄ心エコー画像の時間シーケンス、又は、単一の心拍に亘る３Ｄ心エコー画像の時間シーケンスを広く包含する。
（５）「心電波」という用語は、本開示の当業者によって理解され、本開示に例示的に説明されるように、単一の心拍に亘る心電図波形を広く包含する。
（６）「畳み込みニューラル解析」という用語は、本開示の当業者によって理解され、本開示で例示的に説明されるように、画像ボリューム内の特徴の接続に基づいた１つ又は複数の画像ボリュームの分類を広く包含する。畳み込みニューラル解析の例には、時空間畳み込みニューラル解析、マルチストリーム畳み込みニューラル解析、及び記憶再帰型（memory recurrent）畳み込みニューラル解析が含まれるが、これらに限定されるものではない。
（７）「畳み込みニューラル心臓診断システム」という用語は、本開示の当業者によって知られ、以下で表されるように、心エコー図の時間的な変化のモデリングに基づいて、深層学習畳み込みニューラルネットワークを心エコー図に対して実施するための本開示の発明原理を組み込む全ての心臓診断システムを広く包含する。既知の心臓診断システムの例には、超軽量ポイントオブケア（point-of-care：診療の現場）超音波スキャナー－ハンドヘルド装置（例えば、Philips Lumify及びGE Vscan）、ポータブル超音波システム（例えば、Philips CX50 POC、Philips Sparq、GE Logiq series及びGE Vivid cardiovascular series）、循環器ソリューションスキャナ（例えば、Philips EPIC 7、EPIC 5等）、及び介入循環器（例えば、Philips CX50 xMATRIX）が含まれるが、これらに限定されるものではない。
（８）「畳み込みニューラル心臓診断方法」という用語は、本開示の当業者によって知られ、以下で表されるように、心エコー図の時間的な変化のモデリングに基づいて、深層学習畳み込みニューラルネットワークを心エコー図に対して実施する本開示の発明原理を組み込む全ての畳み込みニューラル心臓診断方法を広く包含する。既知の表面スキャン方法の非限定的な例は、Philips HeartModelである。
（９）「コントローラ」という用語は、本明細書で後に例示的に説明するように、本開示の様々な発明原理の適用を制御するための特定用途向けメインボード又は特定用途向け集積回路の全ての構造構成を広く包含する。コントローラの構造的構成には、プロセッサ、コンピュータで使用可能な記憶媒体／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーション・モジュール、周辺装置コントローラ、インターフェイス、バス、スロット、及びポートが含まれ得るが、これらに限定されるものではない。「コントローラ」という用語に対して本明細書で使用される「畳み込みニューラル心臓トレーニング」、「畳み込みニューラル心臓診断」、「エコー」、及び「ＥＣＧ」というラベルは、「コントローラ」という用語に追加の制限があることを特定又は暗示せずに、本明細書で説明され及び特許請求の範囲に記載されるように、特定のコントローラを他のコントローラから識別する目的で区別する。
（１０）「アプリケーション・モジュール」という用語は、特定のアプリケーションを実行するための電子回路及び／又は実行可能なプログラム（例えば、非一時的なコンピュータ可読媒体に格納された実行可能なソフトウェア及び／又はファームウェア）で構成されるコントローラのコンポーネントを広く包含する。「モジュール」という用語に対して本明細書で使用される「周期的ボリューム生成器」及び「畳み込みニューラルネットワーク」というラベルは、「アプリケーション・モジュール」という用語に追加の制限があることを特定又は暗示せずに、本明細書で説明される及び特許請求の範囲に記載されるように、特定のモジュールを他のモジュールから識別する目的で区別する。
（１１）「信号」、「データ」、及び「コマンド」という用語は、本開示の当業者に理解され、本明細書で例示として説明するように、本明細書で後述する本開示の様々な発明原理を適用することを支援する際の情報及び／又は命令を通信するための、検出可能な物理量又はインパルス（例えば、電圧、電流、又は磁場強度）の全ての形態を広く包含する。本開示のコンポーネント同士の間の信号／データ／コマンド通信は、本開示の当業者によって知られ、以下に表されるように、あらゆるタイプの有線又は無線の媒体／データリンク上での信号／データ／コマンド送信／受信、及びコンピュータで使用可能な記憶媒体／コンピュータ可読記憶媒体にアップロードされた信号／データ／コマンドの読み取りを含むが、これに限定されないあらゆる通信方法を含み得る。
本開示の発明の前述した実施形態及び他の実施形態、並びに本開示の様々な特徴及び利点は、添付図面と併せて読まれる本開示の様々な実施形態の以下の詳細な説明からさらに明らかになるであろう。詳細な説明及び図面は、限定ではなく本開示の単なる例示であり、本開示の範囲は、添付の特許請求の範囲及びその均等物によって規定される。
本開示の当業者に知られている２次元心エコー検査で取得された６つのビューを示す図である。 本開示の当業者に知られている２次元心エコー検査で取得された４腔像を示す図である。 本開示の当業者に知られている２次元心エコー検査で取得された２腔像を示す図である。 本開示の当業者に知られている２次元心エコー検査で取得された長軸像を示す図である。 本開示の当業者に知られている２次元心エコー検査で取得された心基部像を示す図である。 本開示の当業者に知られている２次元心エコー検査で取得された中央部像を示す図である。 本開示の当業者に知られている２次元心エコー検査で取得された心尖部像を示す図である。 本開示の発明的原理による畳み込みニューラル心臓トレーニング・コントローラの例示的な実施形態を示す図である。 本開示の発明原理による客観的な心エコー図スケールの例示的な実施形態を示す図である。 本開示の当業者に知られている例示的な２次元（２Ｄ）心エコーサイクル及び心電波を示す図である。 本開示の当業者に知られている例示的な３次元（３Ｄ）心エコーサイクルを示す図である。 本開示の発明原理による２Ｄ心エコーサイクルの例示的な周期的スタッキングを示す図である。 本開示の発明原理による第１の例示的な心エコー図トレーニング・ボリュームのセットを示す図である。 本開示の発明原理による例示的な心電波の周期的スタッキングを示す図である。 本開示の発明原理による例示的な心エコー図トレーニング・ボリューム及び心電図トレーニング・ボリュームのセットを示す図である。 本開示の発明原理による３Ｄ心エコーサイクルの例示的な周期的スタッキングを示す図である。 本開示の発明的原理による第２の例示的な心エコー図トレーニング・ボリュームのセットを示す図である。 本開示の発明原理による心エコー図トレーニング・ボリュームの例示的な時空間ベースの畳み込みニューラル解析を示す図である。 本開示の発明原理による一対の心エコー図トレーニング・ボリュームの例示的な時空間ベースの畳み込みニューラル解析を示す図である。 本開示の発明原理による心エコー図トレーニング・ボリューム及び心電図トレーニング・ボリュームの例示的な時空間ベースの畳み込みニューラル解析を示す図である。 本開示の発明原理による心エコー図トレーニング・ボリュームの例示的なマルチストリームベースの畳み込みニューラル解析を示す図である。 本開示の発明的原理による、一対の心エコー図トレーニング・ボリュームの例示的なマルチストリームベースの畳み込みニューラル解析を示す図である。 本開示の発明的原理による、心エコー図トレーニング・ボリューム及び心電図トレーニング・ボリュームの例示的なマルチストリームベースの畳み込みニューラル解析を示す図である。 本開示の発明原理による、心エコー図トレーニング・ボリュームの例示的な記憶再帰型ベースの畳み込みニューラル解析を示す図である。 本開示の発明的原理による、一対の心エコー図トレーニング・ボリュームの例示的な記憶再帰型ベースの畳み込みニューラル解析を示す図である。 本開示の発明原理による、心エコー図トレーニング・ボリューム及び心電図トレーニング・ボリュームの例示的な記憶再帰型ベースの畳み込みニューラル解析を示す図である。 本開示の発明原理による畳み込みニューラル心臓トレーニングワークステーションの第１の例示的な実施形態を示す図である。 本開示の発明原理による畳み込みニューラル心臓トレーニングワークステーションの第２の例示的な実施形態を示す図である。 本開示の発明的原理による畳み込みニューラル心臓診断システムの例示的な実施形態を示す図である。 本開示の発明的原理による畳み込みニューラル心臓診断コントローラの第１の例示的な実施形態を示す図である。 本開示の発明的原理による畳み込みニューラル心臓診断コントローラの第２の例示的な実施形態を示す図である。 本開示の発明的原理による畳み込みニューラル心臓診断ワークステーションの例示的な実施形態を示す図である。 本開示の発明的原理による畳み込みニューラル心臓診断ワークステーションのネットワーク対の例示的な実施形態を示す図である。
本開示の発明原理は、心エコー検査、心臓ＣＴ、心臓ＭＲＩ、血管造影、心臓ポジトロン放出型断層撮影（ＰＥＴ）、及び心臓単光子放出型コンピュータ断層撮影（ＳＰＥＣＴ）を含むが、これらに限定されないあらゆるタイプの心臓診断処置に適用可能である。本開示の発明原理の理解を容易にするために、本開示の発明を心エコー検査の用途の文脈で説明する。この説明から、当業者は、任意のタイプの心臓診断処置に本開示の一般的な発明原理をどの様に適用するかを理解するであろう。
特に心エコー検査について、図１は、心エコー図の４腔像１０、心エコー図の２腔像２０、心エコー図の長軸像３０、心エコー図の心基部像４０、心エコー図の中央部像５０、及び心エコー図の心尖部像６０から構成される標準的な６つの心エコー図の像を示している。
図１Ｂに示されるように、心エコー図の４腔像１０は、心尖端セグメント１１、心尖中隔セグメント１２、心尖側壁セグメント１３、中央部下壁中隔セグメント１４、中央部前側壁セグメント１５、心基部下壁中隔１６、及び心基部前側壁セグメント１７を示している。
図１Ｃに示されるように、心エコー図の２腔像２０は、心尖端セグメント２１、心尖下壁セグメント２２、心尖前壁セグメント２３、中央部下壁セグメント２４、中央部前壁セグメント２５、心基部下壁セグメント２６、及び心基部前壁セグメント２７を示している。
図１Ｄに示されるように、心エコー図の長軸像３０は、心尖端セグメント３１、心尖側壁セグメント３２、心尖中隔（心尖前壁）セグメント３３、中央部下側壁セグメント３４、中央部前壁中隔セグメント３５、心基部下側壁３６、及び心基部前壁中隔セグメント３７を示している。
図１Ｅに示されるように、心エコー図の心基部像４０は、前壁セグメント４１、前側壁セグメント４２、下側壁セグメント４３、下壁セグメント４４、下壁中隔セグメント４５、及び前壁中隔セグメント４６を示している。
図１Ｆに示されるように、心エコー図の中央部像５０は、前壁セグメント５１、前側壁セグメント５２、下側壁セグメント５３、下壁セグメント５４、下壁中隔セグメント５５、及び前壁中隔セグメント５６を示している。
図１Ｇに示されるように、心エコー図の心尖部像６０は、前壁セグメント６１、側壁セグメント６２、下壁セグメント６３、及び中隔セグメント６４を示している。
心エコー検査に適用される本開示の発明は、１つ又は複数の動脈の閉塞を伴う心血管疾患（ＣＶＤ）の検出及び分類（定量化）を提供し、その結果、図１Ｂ～図１Ｇに示される１つ又は複数のセグメントの収縮性をもたらす。より具体的には、図１Ａに示される１つ又は複数の心エコー図の像の畳み込みニューラル解析により、心臓壁運動の異常が検出され、セグメント毎に検出及び分類（定量化）される。
本開示の発明の畳み込みニューラル心臓トレーニングの態様の理解を容易にするために、図２Ａ～図６Ｂの以下の説明は、本開示の畳み込みニューラル心臓トレーニングの一般的な発明原理を教示している。この説明から、当業者は、本開示の畳み込みニューラル心臓トレーニングの多数の様々な実施形態を実施するために本開示の一般的な発明原理をどの様に適用するかを理解するであろう。
図２Ａを参照すると、畳み込みニューラル心臓トレーニング・コントローラ１００が、特にセグメントベースで、ＣＶＤの検出及び分類（定量化）をトレーニングするためのトレーニング用の周期的ボリューム生成器１１０及びトレーニング用の畳み込みニューラルネットワーク１２０を使用する。トレーニング目的のために、畳み込みニューラル心臓トレーニング・コントローラ１００は、図示のようにデータベース・マネージャ１３０及びトレーニング・データベース１４０をさらに使用してもよく、あるいはまたトレーニング・データベース１４０にアクセスする目的でデータベース・マネージャ１３０と通信してもよい。
トレーニング・データベース１４０は、正常な心臓壁運動（及び／又は他の正常な心機能）を示す心エコー図１４２のセット１４１と、異常な心臓壁運動（及び／又は他の異常な心機能）を示す心エコー図１４４のセット１４３とを格納する。トレーニング・データベース１４０は、正常な心エコー図のセット１４１に対応する心電図のセット（図示せず）と、異常な心エコー図のセット１４２に対応する心電図のセット（図示せず）とをさらに格納してもよい。
実際には、心エコー図１４３及び１４４は、２Ｄ平面エコースライスの時間シーケンス、及び／又は３Ｄボリューム画像の時間シーケンスを含み得る。
図２Ｂに示されるように、トレーニング・データベース１４０に格納された心エコー図は、理想的な正常な心エコー図１４５と致命的な異常な心エコー図１４６との間に広がるエコースケール１４０の範囲であり得、正常な心エコー図と異常な心エコー図の間に移行状態を表す正中線（midline）心エコー図１４７を含む。
実際には、各正常な心エコー図１４２は、理想的な正常な心エコー図１４５と、ある程度の正常な心臓壁運動を含む正中線心エコー図１４７との間のエコースケール１４０上に位置付けされ、各異常な心エコー図１４４は、正中線心エコー図１４７と、ある程度の異常な心臓壁運動を含む致命的な異常な心エコー図１４６との間のエコースケール１４０上に位置付けされる。
また、実際には、正常な心エコー図１４２のセット１４１及び異常な心エコー図１４４のセット１４３は、心エコー図の単一のセグメントビュー(view：像)（図１Ａ）を含むか、あるいはまた心エコー図の２つ以上のセグメントビューのサブセット（図１Ａ）を含んでもよい。
図２Ａに戻ると、トレーニング用の周期的ボリューム生成器１１０は、本開示の発明原理に従って１つ又は複数の正常な心エコー図トレーニング・ボリューム１１１、及び１つ又は複数の異常な心エコー図トレーニング・ボリューム１１２を生成するように構造的に構成されたアプリケーション・モジュールである。
具体的には、実際には、各正常な心エコー図１４２及び各異常な心エコー図１４４は、心エコーサイクルの時間シーケンスを含み得る。
例えば、図３Ａは、最初の心エコースライス１５１ＥＳＦと最後の心エコースライス１５１ＥＳＬとの間に広がる単一の心拍に亘る２Ｄ心エコー平面画像スライスの時間シーケンスから構成される心エコーサイクル１５０ＥＣを示している。各心エコー図１４２及び各異常な心エコー図１４４は、心エコーサイクル１５０ＥＣの時間シーケンスを含む。トレーニング用の周期的ボリューム生成器１１０は、心エコーサイクル１５０ＥＣの時間シーケンスの周期的スタッキングに対して本開示の当業者に知られているデジタル画像化処理技術を実施し、それにより、所与の心エコーサイクル１５０ＥＣの最後の心エコースライス１５１ＥＳＬが、後続の心エコーサイクル１５０ＥＣの最初のエコーの心エコースライス１５１ＥＳＦの隣になる。
例えば、図４Ａは、正常な心エコー図１４２のＸ個（Ｘ≧２）の心エコーサイクル１５０ＥＣの時間シーケンスの周期的スタッキングから導出された本開示の正常な心エコー図トレーニング・ボリューム１１１ａを示しており、それにより、所与の心エコーサイクル１５０ＥＣの最後の心エコースライス１５１ＥＳＬが、後続の心エコーサイクル１５０ＥＣの最初のエコーの心エコースライス１５１ＥＳＦの隣になる。
実際には、トレーニング用の周期的ボリューム生成器１１０は、正常な心エコー図１４２の心エコー図セグメントビューのうちの１つ又は複数に対して正常な心エコー図トレーニング・ボリューム１１１ａを生成し、それにより、正常な心エコー図トレーニング・ボリューム１１１ａは、スケール１４０毎の心臓壁運動の単一の自由度又は複数の自由度の正常性から構成され得る（図２Ｂ）。例えば、図４Ｂは、図１Ａの心エコー図の６つのセグメントビューに対応する正常な心エコー図の６つのトレーニング・ボリューム１１１ａを示している。
同様に、図４Ａは、異常な心エコー図１４４のＸ個（Ｘ≧２）の心エコーサイクル１５０ＥＣの時間シーケンスの周期的スタッキングから導出された本開示の異常な心エコー図トレーニング・ボリューム１１２ａを示しており、それにより、所与の心エコーサイクル１５０ＥＣの最後の心エコースライス１５１ＥＳＬが、後続の心エコーサイクル１５０ＥＣの最初のエコーの心エコースライス１５１ＥＳＦの隣になる。
実際には、トレーニング用の周期的ボリューム生成器１１０は、異常な心エコー図１４４の心エコー図セグメントビューの１つ又は複数に対して異常な心エコー図トレーニング・ボリューム１１２ａを生成し、それにより、異常な心エコー図トレーニング・ボリューム１１２ａは、スケール１４０毎の心臓壁運動の単一の自由度又は複数の自由度の正常性から構成され得る（図２Ｂ）。例えば、図４Ｂは、図１Ａの心エコー図の６つのセグメントビューに対応する６つの異常な心エコー図トレーニング・ボリューム１１２ａを示している。
図２Ａに戻ると、トレーニング用の周期的ボリューム生成器１１０は、本開示の発明的原理に従って１つ又は複数の心電図トレーニング・ボリューム１１３を生成するようにさらに構造的に構成され得る。
具体的には、前述したように、トレーニング・データベース１４０は、各正常な心エコー図１４２及び各異常な心エコー図１４４に対応する心電図を格納することができ、各心電図には、ＥＣＧ波の時間シーケンスが含まれる。
例えば、図３は、単一の心拍に亘るＥＣＧ波１６０ＣＣを示している。トレーニング用の周期的ボリューム生成器１１０は、ＥＣＧ波１６０の時間シーケンスの周期的スタッキングに対して本開示の当業者に知られているデジタル画像処理技術を実施する。例えば、図４Ａは、Ｘ個（Ｘ≧２）のＥＣＧ波１６０ＣＣの時間シーケンスの周期的スタッキングから導出された本開示の心電図トレーニング・ボリューム１１３ａを示している。
図２Ａに戻ると、実際には、トレーニング用の周期的ボリューム生成器１１０は、生成された各正常な心エコー図トレーニング・ボリューム１１１及び生成された各異常ボリューム１１２に対して心電図トレーニング・ボリューム１１３ａを生成し得る。例えば、図４Ｄは、図１Ａの心エコー図の６つのセグメントビューに対する６つの異常な心エコー図トレーニング・ボリューム１１２ａを示しており、各異常な心エコー図トレーニング・ボリューム１１２ａは、対応する心電トレーニングトレーニング・ボリューム１１３ａを有する。
図２に戻ると、実際には、トレーニング・データベース１４０に格納された各正常な心エコー図１４２及び各異常な心エコー図１４４は、代替的に、３次元（３Ｄ）心エコーボリューム画像の心エコーサイクルの時間シーケンスを含み得る。
例えば、図３Ａは、最初の心エコーボリューム画像１５３ＶＥＦと最後の心エコーボリューム画像１５１ＶＥＬとの間に広がる単一の心拍に亘る３Ｄ心エコーボリューム画像１５３の時間シーケンスから構成される心エコーサイクル１５２ＥＣを示している。各正常な心エコー図１４２及び各異常な心エコー図１４４は、心エコーサイクル１５２ＥＣの時間シーケンスを含む。トレーニング用の周期的ボリューム生成器１１０は、心エコーサイクル１５２ＥＣの時間シーケンスの周期的スタッキングに対して本開示の当業者に知られているデジタル画像化処理技術を実施し、それにより、所与の心エコーサイクル１５２ＥＣの最後の心エコーボリューム画像１５３ＥＳＦが、後続の心エコーサイクル１５２ＥＣの第１の心エコーボリューム画像１５１ＥＳＦの隣になる。
例えば、図４Ｅは、１つ又は複数の心拍に亘って拡がるＸ個（Ｘ≧２）の心エコーサイクル１５２ＥＣを示している。トレーニング用の周期的ボリューム生成器１１０は、心エコーサイクル１５２ＥＣ １５２の時間シーケンスの周期的スタッキングに対して本開示の当業者に知られているデジタル画像化処理技術を実施して、正常な３Ｄ心エコー図１４２から正常な心エコー図トレーニング・ボリューム１１１ｂ、又は異常な３Ｄ心エコー図１４４から異常な心エコー図トレーニング・ボリューム１１２ｂを形成する。
実際には、トレーニング用の周期的ボリューム生成器１１０は、正常な３Ｄ心エコー図１４２の心エコー図セグメントビューのうちの１つ又は複数に対して正常な心エコー図トレーニング・ボリューム１１１ｂを生成し、それにより、正常な心エコー図トレーニング・ボリューム１１１ｂは、スケール１４０毎の心臓壁運動の単一の自由度又は複数の自由度の正常性から構成され得る（図２Ｂ）。例えば、図４Ｆは、図１Ａの心エコー図の６つのセグメントビューに対する正常な心エコー図の６つのトレーニング・ボリューム１１１ｂを示している。
同様に、実際には、トレーニング用の周期的ボリューム生成器１１０は、異常な３Ｄ心エコー図１４４の心エコー図セグメントビューのうちの１つ又は複数に対して異常な心エコー図トレーニング・ボリューム１１２ｂを生成し、それにより、異常な心エコー図トレーニング・ボリューム１１２ｂは、スケール１４０毎の心臓壁運動の単一の自由度又は複数の自由度の異常性から構成され得る（図２Ｂ）。例えば、図４Ｆは、図１Ａの心エコー図の６つのセグメントビューに対する正常な心エコー図の６つのトレーニング・ボリューム１１２ａを示している。
また実際には、心電図トレーニング・ボリューム１１３ａ（図４Ｃ）は、本開示でボリューム１１１ａ／１１２ｂ（図４Ａ）について前述したように、ボリューム１１１ｂ／１１２ｂと共に生成してもよい。
図２Ａに戻ると、トレーニング用の畳み込みニューラルネットワーク（ＣＮＮ）１２０は、正常な心臓壁運動を示す正常な心エコー図分類子１２１を生成するために正常な心エコー図トレーニング・ボリューム１１１を処理し、且つ異常な心臓壁運動を示す異常な心エコー図分類子１２２を出力するために異常な心エコー図トレーニング・ボリューム１１２を処理するように構造的に構成されるアプリケーション・モジュールである。対応する心電図が使用される場合に、トレーニングＣＮＮ１２０はボリューム１１１及び１１３を処理して正常な心エコー図分類子１２１を出力し、トレーニングＣＮＮ１２０はボリューム１１２及び１１３を処理して異常な心エコー図分類子を出力する。
実際には、ボリューム１１１、１１２、及び１１３（該当する場合）の運動特徴同士の間の（ボリューム１１１、１１２、及び１１３（該当する場合）内の運動の分類を容易にする）接続パターンを描くために、本開示の当業者に知られている任意のタイプのＣＮＮを実行し得る。
一実施形態では、トレーニングＣＮＮ１２０は、ローカルフィルタを介したレイヤー同士の間の接続性、及び畳み込みを介したパラメータ共有を含む基本的な時空間ＣＮＮを実行する。トレーニングプロセスでは、心臓の異常を示すエコー画像（及びＥＣＧ）のパターンを認識するためにＣＮＮが学習される。ＣＮＮが認識するようにトレーニングされた異常のタイプは、異常が存在するトレーニングケース（画像及びＥＣＧ信号）を使用することにより、トレーニングプロセス中に規定される。トレーニングは、ＥＣＧデータの可用性に応じて、ＥＣＧ信号の有無にかかわらず開始することができる。
例えば、図５Ａは、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２のセグメントビューを処理するためのトレーニングＣＮＮ１７０ａを示しており、トレーニングＣＮＮ１７０ａは、ボリューム１１１又はボリューム１１２の空間的及び時間的情報を組み合わせて、分類のために運動特徴１７５ａの完全に接続されたステージ１７３ａを確立するためのフィルタ１７２及び１７４の３Ｄ畳み込み及びサブサンプリングステージ１７１ａを含む。実際には、レイヤー及びカーネルの数及びタイプに関するトレーニングＣＮＮ１７０ａの特定のセットアップは、（１）ボリューム１１１又はボリューム１１２（いずれかが処理中）のサイズ、（２）ＣＮＮ１７０ａの所望の検出精度、及び（３）ＣＮＮ１７０ａを分類／定量化するように設計される異常のタイプに依存するだろう。
更なる例として、図５Ｂは、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２の追加のセグメントビューを処理するためのトレーニングＣＮＮ１７０ｂを示しており、トレーニングＣＮＮ１７０ｂは、追加のボリューム１１１又はボリューム１１２の空間的及び時間的情報を組み合わせて運動特徴１７５ａ及び運動特徴１７５ｂの完全に接続されたステージ１７３ｂを確立し、分類のために運動特徴１７５ｃを出力するためのフィルタ１７６及び１７７の３Ｄ畳み込み及びサブサンプリングステージ１７１Ｂを含む。実際には、レイヤー及びカーネルの数及びタイプに関するトレーニングＣＮＮ１７０ｂの特定のセットアップは、（１）ボリューム１１１又はボリューム１１２（いずれかが処理中）のサイズ、（２）ＣＮＮ１７０ｂの所望の検出精度、及び（３）ＣＮＮ１７０ｂを分類／定量化するように設計される異常のタイプに依存するだろう。
更なる例として、図５Ｃは、心電図トレーニング・ボリューム１１３をさらに処理するためのトレーニングＣＮＮ１７０ｃを示しており、トレーニングＣＮＮ１７０ｃは、ボリューム１１３の空間的及び時間的情報を組み合わせて運動特徴１７５ａ及び波特徴１７５ｄの完全に接続されたステージ１７３ｃを確立し、分類のために運動特徴１７５ｅを出力するためのフィルタ１７８及び１７９の３Ｄ畳み込み及びサブサンプリングステージ１７１Ｃを含む。実際には、レイヤー及びカーネルの数及びタイプに関するトレーニングＣＮＮ１７０ｃの特定のセットアップは、（１）ボリューム１１１／１１３又はボリューム１１２／１１３（いずれかが処理中）のサイズ、（２）ＣＮＮ１７０ｃの所望の検出精度、及び（３）ＣＮＮ１７０ｃを分類／定量化するように設計される異常のタイプに依存するだろう。
図２Ａに戻ると、第２の実施形態では、トレーニングＣＮＮ１２０は、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２（すなわち、空間ストリームＣＮＮ）の各心エコー図スライスに対する時空間ＣＮＮの実行と、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２（すなわち、時間ストリームＣＮＮ）の運動フローに対する時空間ＣＮＮの実行とを含むマルチストリームＣＮＮを実行する。マルチ（デュアル）ストリームは、スコアの遅延融合（late fusion）（例えば、線形ＳＶＭの平均化、別のニューラルネットワーク）によって結合される。マルチ（デュアル）ストリームからの情報は、異なるストリーム同士の間で共有される畳み込みカーネルを使用して結合することもできる。
例えば、図５Ｄは、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２のセグメントビューの心エコー図の各エコースライス１８１ａに対して空間ストリームＣＮＮ１８２ａを実行し、ボリューム１１１又はボリューム１１２の運動フロー１８３ａに対して時間ストリームＣＮＮ１８４ａを実行するためのトレーニングＣＮＮ１８０ａを示している。マルチストリーム１８２ａ及び１８４ａは、遅延スコア融合１８６によって結合される。実際には、空間ストリームＣＮＮ１８２ａ及び時間ストリームＣＮＮ１８４ａの複雑性に関するトレーニングＣＮＮ１８０ａの特定のセットアップは、（１）ボリューム１１１又はボリューム１１２（いずれかが処理中）のサイズ、（２）ＣＮＮ１８０ａの所望の検出精度、及び（３）ＣＮＮ１８０ｂを分類／定量化するように設計される異常のタイプに依存するだろう。
更なる例として、図５Ｅは、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２の追加のセグメントビューの心エコー図の各エコースライス１８１ｂに対して空間ストリームＣＮＮ１８２ｂを実行し、追加のボリューム１１１又は追加のボリューム１１２の運動フロー１８３ｂに対して時間ストリームＣＮＮ１８４ｂを実行するためのトレーニングＣＮＮ１８０ｂを示している。マルチストリーム１８２ａ及び１８４ａ並びにマルチストリーム１８２ｂ及び１８４ｂは、スコア遅延融合１８６によって結合される。実際には、空間ストリームＣＮＮ１８２ａ及び１８２ｂ並びに時間ストリームＣＮＮ１８４ａ及び１８４ｂの複雑性に関するトレーニングＣＮＮ１８０ｂの特定のセットアップは、（１）ボリューム１１１又はボリューム１１２（いずれかが処理中）のサイズ、（２）ＣＮＮ１８０ｂの所望の検出精度、及び（３）ＣＮＮ１８０ｂを分類／定量化するように設計される異常のタイプに依存するだろう。
更なる例として、図５Ｆは、心電図トレーニング・ボリューム１１３の各心電図波１８７に対して空間ストリームＣＮＮ１８２ｃを実行し、ボリューム１１３の波流量（wave flow）１８８に対して時間ストリームＣＮＮ１８４ｂを実行するためのトレーニングＣＮＮ１８０ｃを示している。マルチストリーム１８２ａ及び１８４ａ並びにマルチストリーム１８２ｃ及び１８４ｃは、スコア遅延融合１８９によって結合される。実際には、空間ストリームＣＮＮ１８２ａ及び１８２ｃ並びに時間ストリームＣＮＮ１８４ａ及び１８４ｃの複雑性に関するトレーニングＣＮＮ１８０ｂの特定のセットアップは、（１）ボリューム１１１／１１３又はボリューム１１２／１１３（いずれかが処理中）のサイズ、（２）ＣＮＮ１７０ｃの所望の検出精度、及び（３）ＣＮＮ１７０ｃを分類／定量化するように設計される異常のタイプに依存するだろう。
図２Ａに戻ると、第３の実施形態では、トレーニングＣＮＮ１２０は、記憶再帰型（memory recurrent）ＣＮＮを実行し、この記憶再帰型ＣＮＮの実行には、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２の心エコー図の各スライス又はスライスされた３Ｄボリュームに対する時空間ＣＮＮの実行、時空間ＣＮＮの出力の平均ポーリング、及び平均ポーリングの再帰型ニューラルネットワーク（ＲＮＮ）の実行によるスコアリング出力の取得が含まれる。
例えば、図５Ｇは、記憶再帰型ＣＮＮ１９０ａを示しており、この記憶再帰型ＣＮＮ１９０ａには、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２のセグメントビューの心エコー図の各スライスに対する時空間ＣＮＮ１９１ａの平均ポーリング１９２ａの実行、その後の、長・短記憶（Long Short Term Memory: LSTM）ＲＮＮ１９３ａ及びＬＳＴＭ ＲＮＮ１９４ａの実行によるスコアリング出力１９５ａの取得が含まれる。実際には、時空間ＣＮＮ１９１ａ、ＬＳＴＭ ＲＮＮ１９３ａ、及びＬＳＴＭ ＲＮＮ１９４ａの複雑性に関するトレーニングＣＮＮ１９０ａの特定のセットアップは、（１）ボリューム又はボリューム１１２（いずれかが処理中）のサイズ、（２）ＣＮＮ１９０ａの所望の検出精度、及び（３）ＣＮＮ１９０ａを分類／定量化するように設計される異常のタイプに依存するだろう。
更なる例として、図５Ｈは、記憶再帰型ＣＮＮ１９０ｂを示しており、この記憶再帰型ＣＮＮ１９０ｂには、正常な心エコー図トレーニング・ボリューム１１１又は異常な心エコー図トレーニング・ボリューム１１２の追加のセグメントビューの心エコー図の各スライスに対する時空間ＣＮＮ１９１ｂの平均ポーリング１９２ｂの実行、その後の、長・短記憶（ＬＳＴＭ）ＲＮＮ１９３ｂ及びＬＳＴＭ ＲＮＮ１９４ｂの実行によるスコアリング出力１９５ｂの取得が含まれる。実際には、時空間ＣＮＮ１９１ａ及び１９１ｂ、ＬＳＴＭ ＲＮＮ１９３ａ、１９３ｂ、１９４ａ、及び１９４ｂの複雑性に関するトレーニングＣＮＮ１９０ｂの特定のセットアップは、（１）ボリューム１１１又はボリューム１１２（いずれかが処理中）のサイズ、（２）ＣＮＮ１９０ｂの所望の検出精度、及び（３）ＣＮＮ１９０ｂを分類／定量化するように設計される異常のタイプに依存するだろう。
更なる例として、図５Ｉは、記憶再帰型ＣＮＮ１９０ｃを示しており、この記憶再帰型ＣＮＮ１９０ｃには、心電図トレーニング・ボリューム１１３の各心電波に対する時空間ＣＮＮ１９６の平均ポーリング１９７の実行、その後の、長・短記憶（ＬＳＴＭ）ＲＮＮ１９８及びＬＳＴＭ ＲＮＮ１９９の実行によるスコアリング出力１９５ｃの取得が含まれる。実際には、時空間ＣＮＮ１９１ａ及び１９６、ＬＳＴＭ ＲＮＮ１９３ａ、１９３ｂ、１９８、及び１９９の複雑性に関するトレーニングＣＮＮ１９０ｃの特定のセットアップは、（１）ボリューム１１１／１１３又はボリューム１１２／１１３（いずれかが処理中）のサイズ、（２）ＣＮＮ１９０ｃの所望の検出精度、及び（３）ＣＮＮ１９０ｃを分類／定量化するように設計される異常のタイプに依存するだろう。
図２Ａに戻ると、トレーニング用の畳み込みニューラルネットワーク１２０によって生成された正常な心エコー図分類子１２１及び異常な心エコー図分類子１２２は、本開示においてさらに説明するように、心臓壁運動の異常性のリアルタイム検出及び特徴付けのために診断用の畳み込みニューラルネットワークによって利用される。
実際には、コントローラ１００は、ワークステーションにインストールされ、ワークステーションによってネットワークを介してアクセス可能であるか、又はネットワーク全体に分散され得る。
例えば、図６Ａは、モニタ２０１、入力装置２０２、及びコントローラ１００が内部に設置されたコンピュータ２０３を使用するワークステーション２００を示している。
更なる例として、図６Ｂは、モニタ２０１、入力装置２０２、及び畳み込みニューラル心臓トレーニング装置１０１が内部に設置されたコンピュータ２０３を使用するワークステーション２００を示している。装置１０１は、トレーニング用の周期的ボリューム生成器１１０（図２Ａ）及びトレーニングＣＮＮ１２０（図２Ａ）を使用し、それにより、データベース・マネージャ１３０によって管理されるデータベース１４０（図２Ａ）は、本開示の当業者に知られている任意のタイプのネットワーク２１０を介して周期的ボリューム生成器１１０によってアクセス可能である。
また、実際には、コントローラ１００及び装置１０１は、１つ又は複数のシステムバスを介して相互接続されたプロセッサ、メモリ、ユーザインターフェイス、ネットワークインターフェイス、及びストレージを含み得る。
プロセッサは、本開示の当業者に知られている、又は以下で表されるように、メモリ又はストレージに格納された命令を実行したり、又はデータを処理したりすることができる任意のハードウェア装置であり得る。非限定的な例では、プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他の同様の装置を含み得る。
メモリは、本開示の当業者に知られている、又は以下で表されるように、Ｌ１、Ｌ２、又はＬ３キャッシュ、或いはシステムメモリを含むがこれらに限定されない様々なメモリを含み得る。非限定的な例では、メモリは、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、又は他の同様のメモリ装置を含み得る。
ユーザインターフェイスは、本開示の当業者に知られている、又は以下で表されるように、管理者等のユーザとの通信を可能にするための１つ又は複数の装置を含み得る。非限定的な例では、ユーザインターフェイスは、ネットワークインターフェイスを介してリモート端末に提示され得るコマンドラインインターフェイス又はグラフィカルユーザインターフェイスを含み得る。
ネットワークインターフェイスは、本開示の当業者に知られている、又は以下で表されるように、他のハードウェア装置との通信を可能にするための１つ又は複数の装置を含み得る。非限定的な例では、ネットワークインターフェイスは、イーサネット（登録商標）プロトコルに従って通信するように構成されたネットワークインターフェイスカード（ＮＩＣ）を含み得る。さらに、ネットワークインターフェイスは、ＴＣＰ／ＩＰプロトコルに従って通信するためのＴＣＰ／ＩＰスタックを実装する場合がある。ネットワークインターフェイスの様々な代替又は追加のハードウェア又は構成が明らかになるだろう。
ストレージは、本開示の当業者に知られている、又は以下で表されるように、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクストレージメディア、光学ストレージメディア、フラッシュメモリ装置、又は同様のストレージメディアを含むが、これらに限定されるものではない１つ又は複数の機械可読記憶媒体を含み得る。様々な非限定的な実施形態では、ストレージは、プロセッサによる実行のための命令、又はプロセッサが動作する際のデータを格納してもよい。例えば、ストレージは、ハードウェアの様々な基本的な動作を制御するための基本オペレーティングシステムを格納してもよい。ストレージは、１つ又は複数のアプリケーション・モジュールを実行可能なソフトウェア／ファームウェアの形態でさらに格納してもよい。特に、ストレージは、トレーニング用の周期的ボリューム生成器１１０及びトレーニングＣＮＮ１２０のための実行可能なソフトウェア／ファームウェアを格納する。
本開示の発明の畳み込みニューラル心臓診断の態様の理解を容易にするために、図７～９Ｂの以下の説明は、本開示の畳み込みニューラル心臓診断の態様の一般的な発明原理を教示している。この説明から、当業者は、本開示の畳み込みニューラル心臓診断の多数の様々な実施形態を実施するために、本開示の一般的な発明原理をどの様に適用するかについて理解するであろう。
図７を参照すると、本開示の畳み込みニューラル心臓診断システム３００は、心エコー図コントローラ３１０、ＥＣＧ波コントローラ３２０、心エコー図診断コントローラ３３０、及び１つ又は複数の出力装置３４０（例えば、ディスプレイ、プリンタ、スピーカ及び／又はＬＥＤインジケータ）を使用する。実際には、コントローラ３１０、３２０、及び３３０は、図示されるように完全に又は部分的に統合されるか、又は分離してもよい。
心エコー図コントローラ３１０は、患者９０の心臓９１に対して位置付けされた超音波トランスデューサ３５０ａ又は超音波プローブ３５０ｂに必要なハードウェア／ソフトウェアインターフェイスにリンク付け及び／又は組み込まれ、心エコー図データを受信し、それによって本開示の当業者に知られている心エコー図を生成する。心エコー図は、心エコーサイクル３５１の時間シーケンスを含み、心エコーサイクル３５１は、図示される２Ｄエコースライス又は３Ｄエコー画像の時間シーケンスを含む。心エコー図コントローラ１３０は、心エコー図３５１の心エコーサイクル３５２の時間シーケンスを有線及び／又は無線チャネルを介して図示される心エコー図診断コントローラ３３０及び表示のための出力装置３４０に順次に通信する。
ＥＣＧコントローラ３２０は、患者９０に接続されたリードシステム（例えば、標準的な１２リードシステム、図示のメイソン・リカー（Mason-Likar）リードシステム、又はＥＡＳＩリードシステムのような縮小リードシステム）から電極信号を受信するためのケーブルコネクタ３６０に必要なハードウェア／ソフトウェアインターフェイスにリンク付け及び／又は組み込まれ、それにより、本開示の当業者に知られている心電図波形３６１を生成する。心電図波形３６１は、図示されるＥＣＧ波３６２の時間シーケンスを含む。心エコー図コントローラ１３０は、ＥＣＧ波形３６１の各ＥＣＧ波３６２を、有線及び／又は無線チャネルを介して図示される心エコー図診断コントローラ３３０及び表示のための出力装置３４０に順次に通信する。
心エコー図診断コントローラ３３０は、心臓９１の心臓壁運動の異常性の検出及び分類（定量化）、及び心臓９１の正常又は異常な心臓壁運動を示す心エコー図分類レポート３３６を生成するために、本開示の発明原理を実施する。実際に、レポート３３６は、出力装置３４０によりテキスト及び／又はグラフィック情報とともに表示又は印刷してもよい。
一実施形態では、図８Ａに示されるように、心エコー図診断コントローラ３３０は、診断用の周期的ボリューム生成器３３１ａ及び診断用の畳み込みニューラルネットワーク（ＣＮＮ）３３３ａを使用する。
周期的ボリューム生成器３３１ａは、トレーニング用の周期的ボリューム生成器１１０（図２Ａ）について前述した本開示の発明原理に従ってエコー心周期３５２を処理して心エコー図トレーニング・ボリューム３３２を生成するように構造的に構成されるアプリケーション・モジュールである。実際には、心エコー図トレーニング・ボリューム３３２は、Ｘ個のエコー心周期３５２から構成され、Ｘは、無制限であるか、又はエコー心周期３５２の先入れ先出し（first in, first out）の実施を含むエコー心周期３５２を制限するか、又はエコー心周期３５２の最大制限を有し得る。
心エコー図トレーニング・ボリューム３３２の正常性又は異常性は未知である。
従って、診断ＣＮＮ３３３ａは、心エコー図トレーニング・ボリューム３３２を処理して、心臓９１の心臓壁運動の正常又は異常を知らせる／示す心エコー図分類レポート３３６ａを生成するように構造的に構成されたアプリケーション・モジュールである。より具体的には、診断ＣＮＮ３３３ａはＣＮＮを実行し、それにより、ＣＮＮの出力が、トレーニング用の正常な心エコー図分類子３３４ａ及びトレーニング用の異常な心エコー図分類子３３５ａと比較され、心臓９１の心臓壁運動の正常性又は異常性を検出及び分類（定量化）する。
実際には、診断ＣＮＮ３３３ａは、運動心エコー図トレーニング・ボリューム３３２の分類を容易にする心エコー図トレーニング・ボリューム３３２の運動特徴同士の間の接続パターンを描くために、本開示の当業者に知られている任意のタイプのＣＮＮを実行し得る。例えば、診断ＣＮＮ３３３ａは、トレーニングＣＮＮ１２０（図５Ａ～図５Ｉ）について本開示で前述したように、時空間ＣＮＮ、マルチストリームＣＮＮ、及び／又は記憶再帰型ＣＮＮを実行することができる。
また実際には、診断ＣＮＮ３３３ａは、正常な心エコー図３３４ａ及び異常な心エコー図３３５ａに基づいて診断モデルをトレーニングするためにＣＮＮ出力を使用する当技術分野で知られている任意の技術を実施し得る。例えば、診断ＣＮＮ３３３ａは、ニューラルネットワーク、正常な心エコー図分類子３３４ａ及びトレーニング用の異常な心エコー図分類子３３５ａのＣＮＮの出力から開発／トレーニングされたＳＶＭネットワークを使用することができる。
第２の実施形態では、図８ｂに示されるように、心エコー図診断コントローラ３３０は、診断用の周期的ボリューム生成器３３１ｂ及び診断用の畳み込みニューラルネットワーク（ＣＮＮ）３３３ｂを使用する。
周期的ボリューム生成器３３１ｂは、トレーニング用の周期的ボリューム生成器１１０（図２Ａ）について前述した本開示の発明原理に従ってＥＣＧ波３６２を追加処理して心電図トレーニング・ボリューム３３７を生成するように構造的に構成されるアプリケーション・モジュールである。実際には、心電図トレーニング・ボリューム３３７は、Ｘ個のＥＣＧ波３６２から構成され、Ｘは無制限であるか、又はＥＣＧ波３６２の先入れ先出しの実施を含むＥＣＧ波３６２を制限するか、又はＥＣＧ波３６２の最大制限を有し得る。
心エコー図トレーニング・ボリューム３３２の正常性又は異常性は未知である。
従って、診断ＣＮＮ３３３ｂは、心エコー図トレーニング・ボリューム３３２と心電図トレーニング・ボリューム３３７との両方を処理して、心臓９１の心臓壁運動の正常又は異常を知らせる／示す心エコー図分類レポート３３６ｂを生成するように構造的に構成されたアプリケーション・モジュールである。より具体的には、診断ＣＮＮ３３３ｂはＣＮＮを実行し、それにより、ＣＮＮの出力が、トレーニング用の正常な心エコー図分類子３３４ｂ及びトレーニング用の異常な心エコー図分類子３３５ｂと比較され、心臓９１の心臓壁運動の正常性又は異常性を検出及び分類（定量化）する。
実際には、診断ＣＮＮ３３３ａは、心エコー図トレーニング・ボリューム３３２の運動特徴と、心エコー図運動トレーニング・ボリューム３３２の分類を容易にする心電図トレーニング・ボリューム３３７の波特徴との間の接続パターンを描写するために、本開示の当業者に知られている任意のタイプのＣＮＮを実行し得る。例えば、診断ＣＮＮ３３３ｂは、トレーニングＣＮＮ１２０（図５Ａ～図５Ｉ）について本開示で前述したように、時空間ＣＮＮ、マルチストリームＣＮＮ、及び／又は記憶再帰型ＣＮＮを実行することができる。
また実際には、診断ＣＮＮ３３３ａは、正常な心エコー図３３４ａ及び異常な心エコー図３３５ａに基づいて診断モデルをトレーニングするためにＣＮＮ出力を使用する当技術分野で知られている任意の技術を実施し得る。例えば、診断ＣＮＮ３３３ａは、ニューラルネットワーク、正常な心エコー図分類子３３４ａ及びトレーニング用の異常な心エコー図分類子３３５ａのＣＮＮの出力から開発／トレーニングされたＳＶＭネットワークを使用することができる。
図７に戻ると、実際には、心エコー図コントローラ３１０、ＥＣＧコントローラ３２０、及び心エコー図診断コントローラ３３０は、ワークステーションにインストールされ、ワークステーションによってネットワークを介してアクセス可能であるか、又はネットワーク全体に分散され得る。
例えば、図９Ａは、モニタ２２１、入力装置２２２、及びコントローラ・スイート（controller suite）３０１が内部にインストールされたコンピュータ２２３を使用するワークステーション２２０を示している。コントローラ・スイート３０１は、コントローラ３１０、３２０、及び３３０を含む。
更なる例として、図９Ｂは、モニタ２３１、入力装置２３２、及び心エコー図コントローラ３１０及び３２０が内部に設置されたコンピュータ２３３を使用するワークステーション２３０を示しており、さらに、モニタ２４１、入力装置２４２、及び心エコー図診断コントローラ３３０が内部に設置されたコンピュータ２４３を使用するワークステーション２４０を示している。コントローラ３１０、３２０、及び３３０は、本開示の当業者に知られている任意のタイプのネットワーク２４０を介して通信する。
また、実際には、コントローラ３１０、３２０、及び３３０は、１つ又は複数のシステムバスを介して相互接続されたプロセッサ、メモリ、ユーザインターフェイス、ネットワークインターフェイス、及びストレージを含み得る。
プロセッサは、本開示の当業者に知られている、又は以下で表されるように、メモリ又はストレージに格納された命令を実行したり、又はデータを処理したりすることができる任意のハードウェア装置であり得る。非限定的な例では、プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他の同様の装置を含み得る。
メモリは、本開示の当業者に知られている、又は以下で表されるように、Ｌ１、Ｌ２、又はＬ３キャッシュ、或いはシステムメモリを含むが、これらに限定されない様々なメモリを含み得る。非限定的な例では、メモリは、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、又は他の同様のメモリ装置を含み得る。
ユーザインターフェイスは、本開示の当業者に知られている、又は以下で表されるように、管理者等のユーザとの通信を可能にするための１つ又は複数の装置を含み得る。非限定的な例では、ユーザインターフェイスは、ネットワークインターフェイスを介してリモート端末に提示され得るコマンドラインインターフェイス又はグラフィカルユーザインターフェイスを含み得る。
ネットワークインターフェイスは、本開示の当業者に知られている、又は以下で表されるように、他のハードウェア装置との通信を可能にするための１つ又は複数の装置を含み得る。非限定的な例では、ネットワークインターフェイスは、イーサネット（登録商標）プロトコルに従って通信するように構成されたネットワークインターフェイスカード（ＮＩＣ）を含み得る。さらに、ネットワークインターフェイスは、ＴＣＰ／ＩＰプロトコルに従って通信するためのＴＣＰ／ＩＰスタックを実装する場合がある。ネットワークインターフェイスの様々な代替又は追加のハードウェア又は構成が明らかになるだろう。
ストレージは、本開示の当業者に知られている、又は以下で表されるように、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクストレージメディア、光学ストレージメディア、フラッシュメモリ装置、又は同様のストレージメディアを含むが、これらに限定されない１つ又は複数の機械可読記憶媒体を含み得る。様々な非限定的な実施形態では、ストレージは、プロセッサによる実行のための命令、又はプロセッサが動作する際のデータを格納してもよい。例えば、ストレージは、ハードウェアの様々な基本的な動作を制御するための基本オペレーティングシステムを格納してもよい。ストレージは、１つ又は複数のアプリケーション・モジュールを実行可能なソフトウェア／ファームウェアの形態でさらに格納してもよい。特に、心エコー図診断コントローラ３３０の場合に、ストレージは、トレーニング用の周期的ボリューム生成器３３１、及びトレーニングＣＮＮ３３３のための実行可能なソフトウェア／ファームウェアを格納する。
本開示で前述したように、本開示の発明原理は、心エコー検査、ＣＴ心臓スキャン及び心臓ＭＲＩ心エコー検査、心臓ＣＴ、心臓ＭＲＩ、血管造影、心臓ポジトロン放出型断層撮影（ＰＥＴ）、及び心臓単光子放出型コンピュータ断層撮影（ＳＰＥＣＴ）を含むが、これらに限定されないあらゆるタイプの心臓診断処置に適用可能である。こうして、本開示の発明について心エコー検査の用途の文脈で説明したが、図９Ａは、特定の心臓診断処置に適用可能な拍動図の正常性又は異常性を検出及び分類（定量化）するための任意のタイプの心臓診断処置の適用を表す医療用イメージングモダリティ４００を示している。
具体的には、医療用イメージングモダリティ４００の例には、超音波イメージングモダリティ、Ｘ線コンピュータ断層撮影イメージングモダリティ、磁気共鳴イメージングモダリティ、蛍光透視イメージングモダリティ、ポジトロン放出型断層撮影イメージングモダリティ、及び単光子放出型コンピュータ断層イメージングモダリティが含まれるが、これらに限定されるものではない。医療用イメージングモダリティ４００の任意の実施形態は、本開示の当業者に知られている拍動図を生成するために、適用可能なイメージング装置４０１及びコントローラ４０２を使用する。こうして、本開示のトレーニング及び診断の態様は、特定のタイプの心臓イメージングに基づいている。実際には、特定のタイプの心臓イメージングは、本明細書に示される例示的な２Ｄ平面及び３Ｄボリューム画像を生成し、及び／又は本開示の当業者に知られている高次元イメージングを生成することができる。
図１～図９を参照すると、当業者は、（１）エコー画像の解釈における観察者内及び観察者間の変動性の低減、（２）ロボットによる心血管疾患のリアルタイム診断を可能にすること、（３）読取者の確実性の向上とエコー画像の読取時間の短縮、（４）エコー画像に含まれる情報を心電図波と組み合わせることによる心血管疾患診断の精度の向上を含むが、これらに限定されない本開示の多数の利点を理解するであろう。
さらに、当業者が本明細書で提供される教示を考慮して理解する際に、本開示／明細書に記載され、及び／又は本開示の図面に示される特徴、要素、構成要素等は、特に本開示で説明するコントローラのアプリケーション・モジュールとして、電子部品／回路、ハードウェア、実行可能なソフトウェア、及び実行可能なファームウェアの様々な組合せで実装され、且つ単一要素又は複数要素で組み合わせることができる機能を提供する。例えば、本開示の図面に示される／図示される／描かれる様々な特徴、要素、構成要素等の機能は、専用ハードウェアと、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアとの使用を通じて提供され得る。プロセッサによって提供される場合に、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個別のプロセッサによって提供することができ、それらの一部は共有及び／又は多重化することができる。さらに、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアのみを指すと解釈すべきではなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、メモリ（例えば、ソフトウェアを格納するための読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性ストレージ等）、及びプロセスを実行及び／又は制御することができる（及び／又は構成可能である）実質的に任意の手段及び／又はマシン（ハードウェア、ソフトウェア、ファームウェア、回路、それらの組合せ等を含む）を黙示的に含むが、これらに限定されるものではない。
さらに、本発明の原理、態様、及び実施形態、並びにその特定の例を列挙する本明細書の全ての記述は、その構造的及び機能的な均等物の両方を包含することを意図している。さらに、そのような均等物には、現在知られている均等物と、将来開発される均等物（例えば、構造に関係なく、同じ又は実質的に類似の機能を実行できるように開発される要素）との両方が含まれることが意図される。こうして、例えば、本明細書に提示される任意のブロック図が、本発明の原理を具体化する例示的なシステムコンポーネント及び／又は回路の概念図を表すことができることを、当業者は、本明細書に提供される教示を考慮して理解するだろう。同様に、当業者は、本明細書に提供される教示を考慮して、任意のフローチャート、フロー図等が、コンピュータ可読記憶媒体で実質的に表すことができ、従ってそのようなコンピュータ又はプロセッサが明示的に表示されているかどうかに関係なく、処理機能を有するコンピュータ、プロセッサ、又は他の装置によって実行される様々なプロセスを表すことができることを理解するはずである。
さらに、本開示の例示的な実施形態は、例えば、コンピュータ又は任意の命令実行システムによって又はこれらに関連して使用するプログラムコード及び／又は命令を提供するコンピュータ使用可能記憶媒体及び／又はコンピュータ可読記憶媒体からアクセス可能なアプリケーション・モジュール又はコンピュータプログラム製品の形態を取り得る。本開示によれば、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、例えば、命令実行システム、機器、又は装置によって又はこれらに関連して使用するためのプログラムを含む、格納、通信、伝播、又は転送することができる任意の機器であり得る。そのような例示的な媒体は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体システム（或いは、装置又は装置）、或いは伝播媒体であり得る。コンピュータ可読媒体の例には、例えば、半導体又は固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュ（ドライブ）、リジッド磁気ディスク、及び光ディスクが含まれる。現在の光ディスクの例には、コンパクトディスク－読み取り専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク－読み取り／書き込み（ＣＤ－Ｒ／Ｗ）、及びＤＶＤが含まれる。さらに、今後開発され得る任意の新しいコンピュータ可読媒体も、本開示の例示的な実施形態に従って使用又は参照され得るコンピュータ可読媒体と見なすべきであることを理解されたい。
時間診断エコー画像の畳み込み深層学習解析のための新規で進歩的なシステム、コントローラ、及び方法の好ましい例示的な実施形態を説明したが（これらの実施形態は例示であり、限定するものではない）、本開示の図面を含む本明細書で提供される教示に照らして、当業者が修正及び変形を行い得ることに留意されたい。従って、本明細書に開示される実施形態の範囲内である本開示の好ましい例示的な実施形態において／この実施形態に変更を加えることができることを理解されたい。
さらに、装置を組み込む及び／又は実装する、又は本開示による装置で使用／実装することができる対応及び／又は関連するシステムも、企図され、本開示の範囲内にあるとみなされると考えられる。さらに、本開示による装置及び／又はシステムを製造及び／又は使用するための対応する及び／又は関連する方法も企図され、本開示の範囲内にあるとみなされる。

Claims (20)

  1. 畳み込みニューラル心臓診断システムであって、当該畳み込みニューラル心臓診断システムは、
    心エコー図データを生成するように構造的に構成された超音波装置と、
    該超音波装置による前記心エコー図データの生成に由来する心エコー図の生成を制御するように構造的に構成された心エコー図コントローラであって、前記心エコー図には、心拍に亘る心エコー画像の時間シーケンスが含まれる、心エコー図コントローラと、
    前記心エコー図の診断を制御するように構造的に構成された心エコー図診断コントローラと、を含んでおり、
    該心エコー図診断コントローラは、
    前記心エコー図コントローラによる前記心エコー図の生成から導出された心エコー図診断ボリュームを生成するように構造的に構成された診断用の周期的ボリューム生成器であって、前記心エコー図診断ボリュームには、心拍に亘る前記心エコー画像の時間シーケンスの周期的スタッキングが含まれる、診断用の周期的ボリューム生成器と、
    前記診断用の周期的ボリューム生成器によって生成された前記心エコー図診断ボリュームの畳み込みニューラル解析に基づいて、前記心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかとして分類するように構造的に構成された診断用の畳み込みニューラルネットワークと、を含む、
    畳み込みニューラル心臓診断システム。
  2. 心拍に亘る前記心エコー画像の時間シーケンスには、心エコー平面画像、及び心エコーボリューム画像のうちの１つが含まれる、請求項１に記載の畳み込みニューラル心臓診断システム。
  3. 前記心エコー図には、心拍に亘る心エコー画像の追加の時間シーケンスが含まれ、
    前記診断用の周期的ボリューム生成器は、心拍に亘る前記心エコー画像の追加の時間シーケンスの周期的スタッキングを含む追加の心エコー図診断ボリュームを生成するようにさらに構造的に構成され、
    前記診断用の畳み込みニューラルネットワークは、前記診断用の周期的ボリューム生成器によって生成された前記心エコー図診断ボリュームと前記追加の心エコー図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、前記心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかに分類するようにさらに構造的に構成される、請求項１に記載の畳み込みニューラル心臓診断システム。
  4. 前記診断用の畳み込みニューラルネットワークには、時空間ベースの畳み込みニューラルネットワークが含まれる、請求項１に記載の畳み込みニューラル心臓診断システム。
  5. 前記診断用の畳み込みニューラルネットワークには、記憶再帰型ネットワークベースの畳み込みニューラルネットワークが含まれる、請求項１に記載の畳み込みニューラル心臓診断システム。
  6. 前記診断用の畳み込みニューラルネットワークには、マルチストリームベースの畳み込みニューラルネットワークが含まれる、請求項１に記載の畳み込みニューラル心臓診断システム。
  7. 心電図データを生成するように構造的に構成されたリードシステムと、
    該リードシステムによる前記心電図データの生成に由来する心電図の生成を制御するように構造的に構成された心電図コントローラであって、前記心電図には、心電波ｓの時間シーケンスが含まれる、心電図コントローラと、をさらに含み、
    前記診断用の周期的ボリューム生成器は、前記心電図コントローラによる前記心電図の生成から導出される心電図診断ボリュームを生成するようにさらに構造的に構成され、該心電図診断ボリュームには、前記心電波ｓの時間シーケンスの周期的スタッキングが含まれ、
    当該診断用の畳み込みニューラルネットワークは、前記診断用の周期的ボリューム生成器によって生成された前記心エコー図診断ボリュームと前記心電図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、前記心エコー図を、前記正常な心エコー図又は前記異常な心エコー図のいずれかに分類するように構造的に構成される、請求項１に記載の畳み込みニューラル心臓診断システム。
  8. 畳み込みニューラル心臓診断システムであって、当該畳み込みニューラル心臓診断システムは、
    心臓イメージングデータを生成するように構造的に構成された医療用イメージングモダリティと、
    該イメージングモダリティによる前記心臓イメージングデータの生成に由来する拍動図の生成を制御するように構造的に構成された拍動図コントローラであって、前記拍動図には、心拍に亘る心臓画像の時間シーケンスが含まれる、拍動図コントローラと、
    前記拍動図の診断を制御するように構造的に構成された拍動図診断コントローラと、を含んでおり、
    該拍動図診断コントローラは、
    前記拍動図コントローラによる前記拍動図の生成から導出された拍動図診断ボリュームを生成するように構造的に構成された診断用の周期的ボリューム生成器であって、前記拍動図診断ボリュームには、心拍に亘る前記心臓画像の時間シーケンスの周期的スタッキングが含まれる、診断用の周期的ボリューム生成器と、
    前記診断用の周期的ボリューム生成器によって生成された前記拍動図診断ボリュームの畳み込みニューラル解析に基づいて、前記拍動図を、正常な拍動図又は異常な拍動図のいずれかに分類するように構造的に構成された診断用の畳み込みニューラルネットワークと、を含む、
    畳み込みニューラル心臓診断システム。
  9. 前記医療用イメージングモダリティには、超音波イメージング装置、Ｘ線コンピュータ断層撮影イメージング装置、磁気共鳴イメージング装置、蛍光透視イメージング装置、ポジトロン放出型断層撮影イメージング装置、及び単光子放出型コンピュータ断層撮影イメージング装置のうちの少なくとも１つが含まれる、請求項８に記載の畳み込みニューラル心臓診断システム。
  10. 心拍に亘る前記心臓画像の時間シーケンスには、心臓平面画像、心臓ボリューム画像、及び心臓の高次元画像のうちの１つが含まれる、請求項８に記載の畳み込みニューラル心臓診断システム。
  11. 前記拍動図には、心拍に亘る心臓画像の追加の時間シーケンスが含まれ、
    前記診断用の周期的ボリューム生成器は、心拍に亘る前記心臓画像の追加の時間シーケンスの周期的スタッキングを含む追加の拍動図診断ボリュームを生成するようにさらに構造的に構成され、
    前記診断用の畳み込みニューラルネットワークは、前記診断用の周期的ボリューム生成器によって生成された前記拍動図診断ボリュームと前記追加の拍動図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、前記拍動図を、正常な拍動図又は異常な拍動図のいずれかに分類するようにさらに構造的に構成される、請求項８に記載の畳み込みニューラル心臓診断システム。
  12. 前記診断用の畳み込みニューラルネットワークには、時空間ベースの畳み込みニューラルネットワークが含まれる、請求項８に記載の畳み込みニューラル心臓診断システム。
  13. 前記診断用の畳み込みニューラルネットワークには、記憶再帰型ネットワークベースの畳み込みニューラルネットワークが含まれる、請求項８に記載の畳み込みニューラル心臓診断システム。
  14. 前記診断用の畳み込みニューラルネットワークには、マルチストリームベースの畳み込みニューラルネットワークが含まれる、請求項８に記載の畳み込みニューラル心臓診断システム。
  15. 心電図データを生成するように構造的に構成されたリードシステムと、
    該リードシステムによる前記心電図データの生成に由来する心電図の生成を制御するように構造的に構成された心電図コントローラであって、前記心電図には、心電波ｓの時間シーケンスが含まれる、心電図コントローラと、をさらに含み、
    前記診断用の周期的ボリューム生成器は、前記心電図コントローラによる前記心電図の生成から導出される心電図診断ボリュームを生成するようにさらに構造的に構成され、該心電図診断ボリュームには、前記心電波ｓの時間シーケンスの周期的スタッキングが含まれ、
    前記診断用の畳み込みニューラルネットワークは、前記診断用の周期的ボリューム生成器によって生成された前記拍動図診断ボリュームと前記心電図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、前記拍動図を、前記正常な拍動図又は前記異常な拍動図のいずれかに分類するように構造的に構成される、請求項８に記載の畳み込みニューラル心臓診断システム。
  16. 畳み込みニューラル心臓診断方法であって、当該畳み込みニューラル心臓診断方法には、
    超音波装置が心エコー図データを生成し、
    心エコー図コントローラが前記超音波装置による前記心エコー図データの生成に由来する心エコー図の生成を制御し、前記心エコー図には、心拍に亘る心エコー画像の時間シーケンスが含まれ、
    心エコー図診断コントローラが前記心エコー図の診断を制御する、ことを含み、
    前記心エコー図診断コントローラが前記心エコー図の診断を制御するは、
    前記心エコー図診断コントローラが、前記心エコー図コントローラによる前記心エコー図の生成に由来する心エコー図診断ボリュームを生成することであって、該心エコー図診断ボリュームには、心拍に亘る前記心エコー画像の時間シーケンスの周期的なスタッキングが含まれる、生成することと、
    前記心エコー図診断コントローラが、前記心エコー図診断ボリュームの畳み込みニューラル解析に基づいて、前記心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかに分類することと、を含む、
    畳み込みニューラル心臓診断方法。
  17. 心拍に亘る前記心エコー画像の時間シーケンスには、心エコー平面画像、及び心エコーボリューム画像のうちの１つが含まれる、請求項１６に記載の畳み込みニューラル心臓診断方法。
  18. 前記心エコー図には、心拍に亘る心エコー画像の追加の時間シーケンスが含まれ、
    前記心エコー図診断コントローラは、心拍に亘る前記心エコー画像の追加の時間シーケンスの周期的なスタッキングを含む追加の心エコー図診断ボリュームをさらに生成し、
    前記心エコー図診断コントローラは、前記心エコー図診断ボリュームと前記追加の心エコー図診断ボリュームとの両方の畳み込みニューラル解析に基づいて、前記心エコー図を、正常な心エコー図又は異常な心エコー図のいずれかに分類する、請求項１６に記載の畳み込みニューラル心臓診断方法。
  19. 前記心エコー図診断コントローラは、時空間ベースの畳み込みニューラルネットワーク、記憶再帰型ネットワークベースの畳み込みニューラルネットワーク、及びマルチストリームベースの畳み込みニューラルネットワークのうちの少なくとも１つで実施される、請求項１６に記載の畳み込みニューラル心臓診断方法。
  20. 当該畳み込みニューラル心臓診断方法は、
    リードシステムが心電図データを生成し、
    心電図コントローラが、前記リードシステムによる前記心電図データの生成に由来する心電図の生成を制御し、前記心電図には、心電波ｓの時間シーケンスが含まれ、
    前記心エコー図診断コントローラが、前記心電図コントローラによる前記心電図の生成から導出された心電図診断ボリュームを生成し、該心電図診断ボリュームには、前記心電波ｓの時間シーケンスの周期的スタッキングが含まれ、
    前記心エコー図診断コントローラが、前記心エコー図診断ボリュームと前記心電図診断ボリュームとの両方の畳み込み解析に応答して、前記心エコー図を、前記正常な心エコー図又は前記異常な心エコー図のいずれかに分類する、ことをさらに含む、請求項１６に記載の畳み込みニューラル心臓診断方法。
JP2019563483A 2017-05-18 2018-05-14 時間的な心臓画像の畳み込み深層学習解析 Active JP7075416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762508087P 2017-05-18 2017-05-18
US62/508,087 2017-05-18
PCT/EP2018/062318 WO2018210714A1 (en) 2017-05-18 2018-05-14 Convolutional deep learning analysis of temporal cardiac images

Publications (2)

Publication Number Publication Date
JP2020520273A JP2020520273A (ja) 2020-07-09
JP7075416B2 true JP7075416B2 (ja) 2022-05-25

Family

ID=62814985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563483A Active JP7075416B2 (ja) 2017-05-18 2018-05-14 時間的な心臓画像の畳み込み深層学習解析

Country Status (5)

Country Link
US (1) US10827982B2 (ja)
EP (1) EP3625763A1 (ja)
JP (1) JP7075416B2 (ja)
CN (1) CN110914865B (ja)
WO (1) WO2018210714A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3016903A1 (en) 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
US10902343B2 (en) * 2016-09-30 2021-01-26 Disney Enterprises, Inc. Deep-learning motion priors for full-body performance capture in real-time
EP3629911A4 (en) * 2017-05-22 2021-01-20 Genetesis LLC MACHINE DIFFERENTIATION OF ANOMALIES IN BIOELECTROMAGNETIC FIELDS
JP7325411B2 (ja) * 2017-11-02 2023-08-14 コーニンクレッカ フィリップス エヌ ヴェ 心エコー図を分析する方法及び装置
US11013471B2 (en) 2018-04-26 2021-05-25 Vektor Medical, Inc. Display of an electromagnetic source based on a patient-specific model
US11259871B2 (en) 2018-04-26 2022-03-01 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
US11089989B2 (en) 2018-09-14 2021-08-17 Avive Solutions, Inc. Shockable heart rhythm classifier for defibrillators
US10909681B2 (en) * 2019-01-03 2021-02-02 The Regents Of The University Of California Automated selection of an optimal image from a series of images
CN110613480B (zh) * 2019-01-14 2022-04-26 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声动态影像检测方法及系统
EP3942564A1 (en) 2019-03-20 2022-01-26 Koninklijke Philips N.V. Ai-enabled echo confirmation workflow environment
CN111839506B (zh) * 2019-04-30 2021-10-12 清华大学 脑力负荷检测方法及装置
US10595736B1 (en) 2019-06-10 2020-03-24 Vektor Medical, Inc. Heart graphic display system
US10709347B1 (en) 2019-06-10 2020-07-14 Vektor Medical, Inc. Heart graphic display system
US11657921B2 (en) 2019-09-18 2023-05-23 Tempus Labs, Inc. Artificial intelligence based cardiac event predictor systems and methods
US11475278B2 (en) * 2019-10-28 2022-10-18 Ai4Medimaging—Medical Solutions, S.A. Artificial intelligence based cardiac motion classification
US11836921B2 (en) * 2019-10-28 2023-12-05 Ai4Medimaging—Medical Solutions, S.A. Artificial-intelligence-based global cardiac motion classification
CN111012377B (zh) * 2019-12-06 2020-11-03 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置
CN111091092A (zh) * 2019-12-16 2020-05-01 桂林电子科技大学 一种基于优化卷积神经网络分类的数据增强方法
JP7152724B2 (ja) * 2020-08-21 2022-10-13 雅文 中山 機械学習装置、プログラム、及び検査結果推定装置
KR102283673B1 (ko) * 2020-11-30 2021-08-03 주식회사 코어라인소프트 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
EP4084013A1 (en) * 2021-04-29 2022-11-02 Koninklijke Philips N.V. Circulatory system assessment
CA3220417A1 (en) 2021-05-28 2022-12-01 Noah Zimmerman Artificial intelligence based cardiac event predictor systems and methods
US20230038493A1 (en) 2021-08-09 2023-02-09 Vektor Medical, Inc. Tissue state graphic display system
WO2023150644A1 (en) * 2022-02-02 2023-08-10 The Regents Of The University Of California Wall motion abnormality detection via automated evaluation of volume rendering movies

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
JP2005237555A (ja) 2004-02-25 2005-09-08 Jgs:Kk 心臓壁運動の評価方法、心臓壁運動評価装置及びプログラム
WO2016194161A1 (ja) 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912528B2 (en) * 2003-06-25 2011-03-22 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
JP6207864B2 (ja) * 2012-04-10 2017-10-04 東芝メディカルシステムズ株式会社 超音波診断装置、超音波画像処理装置、及び医用画像診断装置
US8777856B2 (en) * 2012-06-26 2014-07-15 General Electric Company Diagnostic system and method for obtaining an ultrasound image frame
JP5982602B2 (ja) * 2013-06-28 2016-08-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的に知的な心エコー法における肺組織同定
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
JP2005237555A (ja) 2004-02-25 2005-09-08 Jgs:Kk 心臓壁運動の評価方法、心臓壁運動評価装置及びプログラム
WO2016194161A1 (ja) 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法

Also Published As

Publication number Publication date
EP3625763A1 (en) 2020-03-25
CN110914865A (zh) 2020-03-24
WO2018210714A1 (en) 2018-11-22
CN110914865B (zh) 2023-08-11
US20180333104A1 (en) 2018-11-22
US10827982B2 (en) 2020-11-10
JP2020520273A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP7075416B2 (ja) 時間的な心臓画像の畳み込み深層学習解析
JP6640922B2 (ja) 超音波診断装置及び画像処理装置
US20200211713A1 (en) Method and system to characterize disease using parametric features of a volumetric object and machine learning
JP6535088B2 (ja) 即時のユーザフィードバックのためのマルチビート心エコー取得のための品質メトリック
JP5906234B2 (ja) 診断ｅｃｇにおける心筋梗塞サイズの可視化
US20230157618A1 (en) Method and System to Assess Pulmonary Hypertension Using Phase Space Tomography and Machine Learning
JP5509437B2 (ja) 超音波診断装置
US20120113108A1 (en) Ultrasound image processing to render three-dimensional images from two-dimensional images
JP5581511B2 (ja) 中心点軌跡を図表化するためのコンピュータプログラムが記録されたコンピュータ可読記憶媒体
EP1722333B1 (en) Method and device for reconstructing two-dimensional sectional images
CN102056547A (zh) 医用图像处理装置及医用图像处理方法
DE112006002162T5 (de) Verfahren und System zur Kartierung von pysiologischen Informationen auf anatomische Strukturen, welche auf Ultraschall beruhen
WO2004034910A1 (en) System and method for improving the display of diagnostic images
CN102834049A (zh) 超声图像和ecg数据的集成显示
EP2385474A1 (en) Method for analysing medical data
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
US20130013278A1 (en) Non-invasive cardiovascular image matching method
DE102008044493A1 (de) Verfahren und System zum Erfassen von interessierendem Volumen basierend auf Positionsinformationen
US11707201B2 (en) Methods and systems for medical imaging based analysis of ejection fraction and fetal heart functions
US20230380812A1 (en) Medical imaging method, apparatus, and system
CN108289655A (zh) 具有中轴弯曲和横向偏心的心脏的超声心脏评估
US11786212B1 (en) Echocardiogram classification with machine learning
US20240057968A1 (en) System and method for measuring total blood volume with ultrasound
Hassan et al. 3DCNN Model for Left Ventricular Ejection Fraction Evaluation in Echocardiography
Roxo 3D Heart Reconstruction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220513

R150 Certificate of patent or registration of utility model

Ref document number: 7075416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150