JP7187430B2 - 人工知能の検出出力から疾患の進行を決定するシステムおよび方法 - Google Patents

人工知能の検出出力から疾患の進行を決定するシステムおよび方法 Download PDF

Info

Publication number
JP7187430B2
JP7187430B2 JP2019222765A JP2019222765A JP7187430B2 JP 7187430 B2 JP7187430 B2 JP 7187430B2 JP 2019222765 A JP2019222765 A JP 2019222765A JP 2019222765 A JP2019222765 A JP 2019222765A JP 7187430 B2 JP7187430 B2 JP 7187430B2
Authority
JP
Japan
Prior art keywords
image data
mask
patient
classification result
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019222765A
Other languages
English (en)
Other versions
JP2020126598A (ja
Inventor
ケイトリン・ナイ
ギレーシャ・ラオ
ゴパル・アヴィナシュ
クリストファー・オースティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020126598A publication Critical patent/JP2020126598A/ja
Application granted granted Critical
Publication of JP7187430B2 publication Critical patent/JP7187430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Description

本開示は、一般に、改善された医療システムに関し、より具体的には、医用画像処理のための改善された学習システムおよび方法に関する。
様々な経済的、運用的、技術的、および管理上の障害によって、病院、診療所、医院、撮像センタ、遠隔診断所などの医療施設は、患者に質の高いケアを提供することが困難となる場合がある。経済的要因、スタッフの技術不足、スタッフの減少、設備の複雑化、医療従事者全体にわたる放射線曝露線量の制御と標準化のための新たな資格により、患者の検査、診断、治療のための撮像および情報システムを効果的に管理して使用することが困難となっている。
システムを実際に導入するのにコストがかかりすぎるヘルスケアプロバイダを統合することで、地理的に分散した病院ネットワークを作成する。同時に、参照する医師は、共同作業をするためのより良いチャネルと共に、レポート内のデータをサポートするために、より直接的なアクセスを欲している。医師は多くの患者を抱え、時間も少なく、大量のデータが氾濫しており、彼らは支援を熱望している。
放射線画像の取得、品質保証/品質管理、画像の解釈、事前の画像との画像比較などを含むヘルスケアプロバイダ(例えば、X線技術者、医者、看護師など)のタスクは、時間がかかり、不可能ではないにしても、人間が一人で行うには、リソース集中的タスクは非実用的である。
特定の例は、画像データおよび人工知能分類を使用して、患者に影響を与える状態の自動化識別、監視、処理、および制御を改善する装置、システム、および方法を提供する。
特定の例は、第1の時間から患者の第1の画像データを処理して、患者の状態の第1の重症度を示す第1の分類結果を決定し、第2の時間から患者の第2の画像データを処理して、患者の状態の第2の重症度を示す第2の分類結果を決定する人工知能分類器を含む、画像処理装置を提供する。例示的な画像処理装置は、第1の分類結果と第2の分類結果を比較して、変化および変化に関連する状態の進行を決定する比較器を含む。例示的な画像処理装置は、進行が状態の悪化に対応するときにアクションをトリガする出力生成器を含む。
特定の例は、命令を含む少なくとも1つのコンピュータ可読記憶媒体を提供する。命令は、実行されると、少なくとも1つのプロセッサに、少なくとも、第1の時間から患者の第1の画像データを処理して、患者の状態の第1の重症度を示す第1の分類結果を決定させ、第2の時間から患者の第2の画像データを処理して、患者の状態の第2の重症度を示す第2の分類結果を決定させ、第1の分類結果と第2の分類結果を比較して、変化および変化に関連する状態の進行を決定させ、進行が状態の悪化に対応するときにアクションをトリガさせる。
特定の例は、少なくとも1つのプロセッサを使用して命令を実行することによって、第1の時間から患者の第1の画像データを処理して、患者の状態の第1の重症度を示す第1の分類結果を決定することを含む、コンピュータ実装方法を提供する。例示的な方法は、少なくとも1つのプロセッサを使用して命令を実行することによって、第2の時間から患者の第2の画像データを処理して、患者の状態の第2の重症度を示す第2の分類結果を決定することを含む。例示的な方法は、少なくとも1つのプロセッサを使用して命令を実行することによって、第1の分類結果と第2の分類結果を比較して、変化および変化に関連する状態の進行を決定することを含む。例示的な方法は、少なくとも1つのプロセッサを使用して命令を実行することによって、進行が状態の悪化に対応するときにアクションをトリガすることを含む。
例示的な状態比較器を示す図である。 例示的な臨床進行分析装置を示す図である。 例示的な学習ニューラルネットワークの図である。 畳み込みニューラルネットワークとしての例示的なニューラルネットワークの特定の実施態様を示す図である。 画像分析畳み込みニューラルネットワークの例示的な実施態様の図である。 画像を処理および/または評価するための学習ネットワークを適用するための例示的な構成を示す図である。 複数の学習ネットワークの組み合わせを示す図である。 学習ネットワークの例示的な訓練および展開段階を示す図である。 訓練されたネットワークパッケージを活用して深層学習製品の提供を行う例示的な製品を示す図である。 様々な深層学習デバイスの構成を示す図である。 様々な深層学習デバイスの構成を示す図である。 様々な深層学習デバイスの構成を示す図である。 疾患、異常、および/または他の状態を定量化するために人工知能モデルによって使用される画像データを処理するための、図2の人工知能分類器の例示的な実施態様を示す図である。 図1~図10のシステムおよび/または装置による自動化処理および画像分析の例示的な方法の流れ図である。 図1~図10のシステムおよび/または装置による自動化処理および画像分析の例示的な方法の流れ図である。 例示的な機械可読命令を実行して本明細書で開示および説明される構成要素を実現するように構成されたプロセッサプラットフォームのブロック図である。 気胸を識別し、肺比率を算出し、患者状態の改善傾向を決定する患者の例示的な画像キャプチャを示す図である。 気胸を識別し、肺比率を算出し、患者状態の改善傾向を決定する患者の例示的な画像キャプチャを示す図である。
前述の概要、ならびに本発明の特定の実施形態の以下の詳細な説明は、添付の図面と共に読むと、より良く理解されるであろう。本発明を例示する目的のために、特定の実施形態が図面に示されている。しかしながら、本発明は、添付の図面に示される配置および手段に限定されないことを理解されたい。図は、一定の縮尺ではない。可能な限り、図面または添付の説明全体を通して同一または同様の部分を指すために、同じ参照番号が使用される。
以下の詳細な説明では、本明細書の一部を形成し、実施され得る特定の例を例示として示している添付の図面を参照する。これらの例は、本主題の実施を当業者にとって可能にするように十分に詳細に説明されているが、他の例も利用可能であり、本開示の主題の範囲から逸脱することなく論理的、機械的、電気的および他の変更が可能であることを理解すべきである。したがって、以下の詳細な説明は、例示的な実施態様を説明するために提供されており、本開示に記載される主題の範囲を限定するものと解釈されるべきではない。以下の説明の異なる態様からの特定の特徴を組み合わせて、以下で説明する主題のさらに新たな態様を形成することができる。
本開示の様々な実施形態の要素を導入する場合に、「1つの(a)」、「1つの(an)」、「前記(the)」、および「前記(said)」という冠詞は、1つまたは複数の要素があることを意味することが意図される。「備える(comprising)」、「含む(including)」、および「有する(having)」という用語は、包括的であることを意図し、列挙された要素以外にもさらなる要素が存在してもよいことを意味する。
特定の例は、医療またはヘルスケアシステムの文脈で以下に説明されるが、他の例は、医療環境の外で実施することができる。例えば、特定の例は、非破壊試験、爆発物検出などの非医用撮像に適用することができる。
I.要旨
撮像デバイス(例えば、ガンマカメラ、陽電子放射断層撮影(PET)スキャナ、コンピュータ断層撮影(CT)スキャナ、X線装置、蛍光透視装置、磁気共鳴(MR)撮像装置、超音波スキャナなど)は、疾患を診断および/または治療するために身体の部分(例えば、臓器、組織など)を表す医用画像(例えば、医用におけるデジタル画像と通信(DICOM)ネイティブ画像)を生成する。医用画像は、医用画像内にキャプチャされた身体の部分に関連するボクセルを含む容積測定データを含むことができる。医用画像視覚化ソフトウェアにより、臨床医は医用画像の様々な場所の機能的または解剖学的特性をセグメント化、注釈付け、測定、および/または報告することができる。いくつかの例では、臨床医は、医用画像視覚化ソフトウェアを利用して、医用画像で関心領域を識別することができる。
医用画像データの取得、処理、品質管理、分析、および記憶は、ヘルスケア環境における患者の診断および治療において重要な役割を果たす。医用撮像ワークフローおよびそのワークフローに関与するデバイスは、医用撮像ワークフローおよびデバイスの動作中に構成、監視、および更新することができる。医用撮像ワークフローおよびデバイスの構成、監視、および更新を支援するために、機械および/または深層学習を使用することができる。
特定の例は、撮像デバイスの改善を行い、および/または改善を容易にし、診断精度および/または有効範囲を改善する。特定の例は、改善された画像の再構築およびさらなる処理を促進し、改善された診断精度を提供する。
特定の例は、人工知能分類器を含む画像処理装置を提供する。分類器は、例えば、病理を検出、セグメント化、および定量化することができる。分類器は、所見、セグメンテーションなどの正または負の離散出力となり得る。例えば、分類器は、機械学習および/または他の人工知能をインスタンス化し、疾患Dの関心領域の生成されたマスクなど、セグメンテーションから定量化を生成することができ、関心領域の面積は、XピクセルまたはYミリメートル(mm)などに等しい。
機械学習技術は、それが深層学習ネットワークであろうと他の経験的/観察的学習システムであろうと、例えば、画像内の対象物を位置特定し、音声を理解し、音声をテキストに変換し、検索エンジン結果の関連性を改善するために使用することができる。深層学習は、一連のアルゴリズムを使用して、線形および非線形変換を含む複数の処理層を有する深層グラフを使用して、データにおける高レベル抽象化をモデル化する機械学習のサブセットである。多くの機械学習システムが、機械学習ネットワークの学習および更新によって修正されるべき初期の特徴および/またはネットワーク重みでシードされる一方で、深層学習ネットワークは、分析のための「良好な」特徴を識別するように自ら訓練する。多層のアーキテクチャを使用して、深層学習技術を用いるマシンは、従来の機械学習技術を使用するマシンよりも良好に生データを処理することができる。高度に相関する値または弁別的テーマのグループのデータの調査が、異なる評価または抽象化の層を使用して容易にされる。
本明細書および特許請求の範囲を通して、以下の用語は、そのようではないことが文脈から明らかでない限り、本明細書において明示的に関連付けられる意味をとる。「深層学習」という用語は、複数のデータ処理層を使用してデータセット内の様々な構造を認識し、データセットを高精度で分類する機械学習技術である。深層学習ネットワークは、複数の入力および出力に基づいてパターンを学習する訓練ネットワーク(例えば、訓練ネットワークモデルまたはデバイス)であってもよい。深層学習ネットワークは、訓練ネットワークから生成され、入力に応答して出力を提供する展開されたネットワーク(例えば、展開されたネットワークモデルまたはデバイス)であってもよい。
「教師あり学習」という用語は、マシンが人間のソースから既に分類されたデータを提供される深層学習訓練方法である。「教師なし学習」という用語は、マシンに既に分類されたデータが与えられることはないが、マシンを異常検出に有用なものにする深層学習訓練方法である。「半教師あり学習」という用語は、マシンにとって利用可能な大量の未分類データと比較して、マシンが人間のソースから少量の分類されたデータを提供される深層学習訓練方法である。
「表現学習」という用語は、生データを機械学習タスクで利用することができる表現または特徴に変換するための方法の分野である。教師あり学習では、特徴がラベル付き入力を介して学習される。
「畳み込みニューラルネットワーク」または「CNN」という用語は、データセット内の関連対象物および領域の検出、セグメンテーション、および認識のために深層学習で使用される、相互に関連するデータの生物学から触発されたネットワークである。CNNは、複数の配列の形で生データを評価し、一連の段階でデータを分割し、学習された特徴のデータを検討する。
「転移学習」という用語は、第1のものと同じまたは同様の性質の別の問題を解決するために、1つの問題を適切にまたは不適切に解決するために使用される情報を記憶するマシンのプロセスである。転移学習は、「誘導学習」としても知られている。転移学習は、例えば、以前のタスクからのデータを利用することができる。
「アクティブ学習」という用語は、マシンが外部のエンティティによって選ばれた例を受動的に受け取るのではなく、訓練データを受け取るべき一連の例を選択する機械学習のプロセスである。例えば、マシンが学習するにつれて、マシンは、外部の人間の専門家または外部システムのみに依存して例を識別して提供するのではなく、マシンが学習に最も役立つと決定する例を選択することができる。
「コンピュータ支援検出」または「コンピュータ支援診断」という用語は、考えられる診断を提案する目的で医用画像を分析するコンピュータを指す。
特定の例は、ニューラルネットワークおよび/または他の機械学習を使用して、放射線検査のポイントオブケアで生成および配信され得る放射線所見に基づいて警報を生成することを含む、画像および関連する患者分析のための新たなワークフローを実現する。特定の例は、人工知能(AI)アルゴリズムを使用して1つまたは複数の撮像検査(例えば、画像または画像のセット)を処理して、自動化検査分析に基づいて警報を提供する。警報(通知、推奨、他のアクションなどを含む)は、検査を習得した技術者、臨床チームのプロバイダ(例えば、看護師、医者など)、放射線科医、投与、手術、および/または患者さえも対象とすることができる。警報は、例えば、検査画像データにおいて、特定のまたは複数の品質管理および/もしくは放射線所見またはその欠如を示すものとすることができる。
特定の例では、AIアルゴリズムは、(1)撮像デバイス内に埋め込むことができ、(2)モバイルデバイス(例えば、タブレット、スマートフォン、ラップトップ、他のハンドヘルドまたはモバイルコンピューティングデバイスなど)で実行することができ、および/または(3)クラウド(例えば、構内または構外)で動作することができ、ウェブブラウザ(例えば、放射線システム、モバイルデバイス、コンピュータなどで表示することができる)を介して警報を配信する。そのような構成は、ベンダーに中立であり、旧来の撮像システムと互換性があり得る。例えば、AIプロセッサがモバイルデバイスおよび/または「クラウド」で実行している場合、構成は、(A)X線および/または他の撮像システムから直接(例えば、医用におけるデジタル画像と通信(DICOM)ノードなどのような二次プッシュ宛先としてセットアップされる)、(B)冗長画像アクセスのために画像保管通信システム(PACS)の宛先にタップすることによって、(C)スニファ方法論を介して画像データを検索することによって(例えば、画像データが生成されるとシステムからDICOM画像を引き出す)、画像を受信することができる。
特定の例は、深層学習ネットワークモデル、機械学習ネットワークモデルなどの人工知能(AI)モデルを使用しておよび/または人工知能(AI)モデルによって駆動されてインスタンス化されたアルゴリズムの出力に基づいて、疾患および/または他の状態の進行を決定する装置、システム、方法などを提供する。例えば、疾患の進行は、3つ以上の重症度クラスを含むAI検出アルゴリズムの出力に基づいて決定することができる。
特定の例は、以前の画像取得からのAI処理出力を現在の画像取得のAI処理出力と比較することによってなど、AI検出アルゴリズムに基づいて疾患および/または異常の進行を決定し、AI処理出力に関連する重症度クラスが悪化または改善しているかどうかを決定する装置、システム、および方法を提供する。重症度クラスに基づいて、警報を修正し、関連する状態が悪化していることを示すことができる。重症度クラスおよび警報ステータスの有意な変化については、例えば、AI検出アルゴリズムの潜在的な出力として少なくとも3つの重症度クラスが存在する必要がある。
したがって、特定の例は、患者の画像データに適用されたAI分類アルゴリズムに基づいて、疾患、異常、状態などの進行を決定するシステムおよび方法を提供する。例示的な方法は、患者の以前の画像データからのAI分類アルゴリズムから第1の分類結果を決定することと、患者の現在の画像データからのAI分類アルゴリズムから第2の分類結果を決定することと、第1の分類結果と第2の分類結果との間の変化を決定することと、変化が疾患または異常または状態の悪化に対応する場合に変化に基づいてケア要員に警報を生成することとを含む。AI分類アルゴリズムは、疾患、異常、状態などに関連する重症度の少なくとも3つのクラスを訓練される。
例えば、第1の時間の重症度の尺度(例えば、なし、小、大など)は、第2の時間の重症度の尺度と比較され、重症度の差の評価を使用して、該当する場合に警報をトリガする。例えば:
Figure 0007187430000001
上記のチャートに示すように、出力の重症度が時間1から時間2まで小のままである場合、疾患は進行しておらず、警報は生成されない。AIが生成した重症度が大であり、その後小になった場合、患者の疾患に対する進行は改善しているため、警報は生成されない。しかしながら、AIが生成した重症度が小から始まって大になる場合、疾患は悪化しており、警報が生成される。同様に、第2の時間の重症度は小であるが第1の時間の重症度がなしであった場合、疾患は悪化しており、警報が生成される。
例えば、集中治療室の患者は、胸水(肺周囲の流体)、コンソリデーション(肺炎)、気胸(肺虚脱)などの肺の状態の進行または改善を監視するために、毎日胸部X線を頻繁に受ける。患者の状態がその後の胸部X線の間に急速に悪化する場合、患者が重篤な状態にある可能性があるか、またはまもなくそうなるため、医療チームが迅速な介入を行うことを示す。この間隔の変化に基づいて行われ得る介入は、例えば、薬剤の変更から、肺吸引または胸部造瘻術(胸腔ドレナージ)にまで及ぶ。人工知能分類器は、疾患、異常などの有無を検出し、そのような疾患、異常などの進行を評価するために使用することができる。警報は、ポイントオブケアで、デバイス(例えば、撮像デバイス、撮像ワークステーションなど)で生成および出力され、例えば、臨床ケアチームに通知するか、および/または命令を与えることができる。
疾患、異常、状態などの現在の状態の有無を単に検出するのではなく、その疾患、異常、状態などの進行を定量化することができ、結果を予測することができる。したがって、より正確な警報を生成することができ、誤報、ならびに誤ったセキュリティの感知が回避され得る。例えば、患者に3日間連続して小さな気胸がある場合、気胸が存在するため、臨床ケアチームは継続的に警告を受ける。しかしながら、患者の状態は安定している。しかしながら、4日目に小さな気胸が大きくなる場合、バイナリ検出アルゴリズムによって、例えば、気胸が存在するという前日と同じ警報が引き続き発生し、チームに変化や問題の悪化を警告することはない。代わりに、特定の例は、人工知能モデリング、画像データ分析、進行、および警報の技術的改善を提供し、疾患、状態、異常などの存在が検出された後の変化の程度を定量化する。例えば、気胸などの疾患は、気胸が占める肺容積の割合として定量化することができる。したがって、疾患の進行は、例えば、占められた肺容積の割合として疾患容積の変化に対応する。
深層学習は、マシンに生データを与え、データ分類に必要な表現を決定させることを可能にする表現学習法を用いる機械学習技術の一種である。深層学習は、深層学習マシンの内部パラメータ(例えば、ノード重み)を変更するために使用される逆伝搬アルゴリズムを使用してデータセット内の構造を確認する。深層学習マシンは、様々な多層アーキテクチャおよびアルゴリズムを利用することができる。例えば、機械学習は、ネットワークの訓練に使用されるべき特徴の識別を必要とするが、深層学習は、外部の識別を必要とすることなく、生データを処理して関心特徴を識別する。
ニューラルネットワーク環境における深層学習は、ニューロンと呼ばれる多数の相互接続されたノードを含む。入力ニューロンが外部のソースから活性化され、マシンパラメータによって支配される他のニューロンへの接続に基づいて、他のニューロンを活性化させる。ニューラルネットワークは、自身のパラメータに基づく特定の様相で挙動する。学習によってマシンパラメータ、したがってネットワーク内のニューロン間の接続が洗練され、ニューラルネットワークが所望の様相で挙動するようになる。
畳み込みニューラルネットワークを利用する深層学習は、畳み込みフィルタを使用してデータをセグメント化し、データ内の学習された観察可能な特徴を位置特定および識別する。CNNアーキテクチャの各フィルタまたは層は、入力データを変換してデータの選択性および不変性を向上させる。このデータの抽象化により、マシンは、分類を試みているデータ内の特徴に集中し、無関係な背景情報を無視することができる。
深層学習は、多くのデータセットが低レベルの特徴を含む高レベルの特徴を含むという理解に基づいて動作する。例えば、画像を検査する際、対象物を探すよりもむしろ、探している対象物を形成する部分を形成するモチーフを形成するエッジを探す方が効率的である。特徴のこれらの階層を、音声およびテキストなどの多数の異なるデータ形式において見ることができる。
学習された観察可能な特徴は、教師あり学習においてマシンによって学習された対象物および定量化可能な秩序を含む。十分に分類されたデータの大きなセットを備えたマシンは、新しいデータを成功裏に分類するために特徴を識別し、抽出することに優れている。
転移学習を利用する深層学習マシンは、データの特徴を人間の専門家によって確認された特定の分類に適切に結び付けることができる。反対に、同じマシンは、人間の専門家による誤った分類が与えられたとき、分類のためのパラメータを更新することができる。例えば、設定および/または他の構成情報を、設定および/または他の構成情報の学習された使用によって導くことができ、システムがより多く使用される(例えば、繰り返し使用され、かつ/または複数のユーザによって使用される)場合、所与の状況において、設定および/または他の構成情報に関するいくつかの変動および/または他の可能性を減らすことができる。
例示的な深層学習ニューラルネットワークは、例えば、対象物の位置特定のために、専門家が分類したデータのセットについて訓練を受け、分類され、さらに注釈付けされ得る。このデータのセットはニューラルネットワークの第1のパラメータを構築し、これは教師あり学習の段階となる。教師あり学習の段階の間、所望の挙動が達成されたかどうかをニューラルネットワークで試験することができる。
所望のニューラルネットワーク挙動が達成される(例えば、マシンが特定の閾値に従って動作するように訓練される)と、マシンを使用(例えば、「本物の」データを有するマシンを試験するなど)のために展開することができる。動作中、ニューラルネットワークの分類は、ニューラルネットワークの挙動を改善し続けるために(例えば、専門家ユーザ、エキスパートシステム、参照データベースなどによって)確認または拒否することができる。次いで、例示的なニューラルネットワークは、転移学習の状態になり、ニューラルネットワークの挙動を決定する分類のためのパラメータが進行中の相互作用に基づいて更新される。特定の例では、ニューラルネットワークは、直接的なフィードバックを別のプロセスに提供することができる。特定の例では、ニューラルネットワークは、別のプロセスへの提供前に(例えば、クラウドなどを介して)バッファおよび検証されるデータを出力する。
畳み込みニューラルネットワーク(CNN)を使用した深層学習マシンは、画像分析に使用することができる。CNN分析の各段階は、自然画像における顔認識、コンピュータ支援診断(CAD)などに使用することができる。
高品質の医用画像データは、X線、コンピュータ断層撮影(CT)、分子画像およびコンピュータ断層撮影(MICT)、磁気共鳴画像(MRI)などの1つまたは複数の撮像態様を使用して取得することができる。医用画像の品質は、画像を生成するマシンの影響は受けないが、患者の影響を受けることが多い。患者がMRIの最中に動くと、例えば、正確な診断を妨げかねないぼやけた画像またはゆがんだ画像が生じる可能性がある。
医用画像の解釈は、品質に関係なく、まだ発展途上である。医用画像は、主に医師によって解釈されるが、これらの解釈は主観的になりかねず、現場での医師の経験および/または疲労の状態によって影響を受けるであろう。機械学習による画像分析は、医療専門家のワークフローを支援することができる。
深層学習マシンは、例えば、画像品質および分類に関して画像分析を改善するためのコンピュータ支援検出のサポートを提供することができる。しかしながら、医療分野に適用された深層学習マシンが直面する問題は、多数の誤った分類につながることが多い。例えば、深層学習マシンは、小さな訓練用データセットを克服し、反復的な調整を必要としなければならない。
最小限の訓練による深層学習マシンを、例えば、医用画像の品質の決定に使用することができる。半教師ありおよび教師なしの深層学習マシンを、画像の定性的側面の定量的測定に使用することができる。例えば、画像の品質が診断用として十分であるかどうかを決定するために、画像の取得後に深層学習マシンを利用することができる。教師あり深層学習マシンはまた、コンピュータ支援診断に使用することもできる。教師あり学習は、例えば、誤った分類への感受性の軽減に役立つことができる。
深層学習マシンは、教師あり訓練において利用可能な小さなデータセットに対処するために、医師との対話時に転移学習を利用することができる。これらの深層学習マシンは、訓練および転移学習を通じて、時間の経過につれてコンピュータ支援診断を改善することができる。
II.実施例の説明
例示的な疾患分析および進行システム
図1は、複数の入力110、115、人工知能(AI)分類器120、および出力比較器130を含む例示的な状態比較器装置100を示している。各入力110、115は、AI分類器120に提供され(例えば、時間t0の入力110および時間t1の入力115など)、これはそれぞれの入力110、115の画像および/または他の情報を分類して入力110、115の疾患、異常、および/または他の状態を識別し、入力110、115に基づいて識別された疾患、異常、および/または他の状態の重症度を生成する。例示的な比較器装置100を使用して、状態は、複数回において低/中/高、なし/小/大、なし/小/中/大、正常/異常/緊急などの重症度および/または他の状態基準に関連付けて識別および定量化することができ、複数の時間ベースの定量化/分類を比較して傾向を決定し、警報、指示、調整などの次のアクションをトリガすることができる。
図2は、図1の例示的な状態比較器100に基づいて構築することができる例示的な臨床進行分析装置200を示している。例示的な装置200は、データソース210、人工知能(AI)分類器220、データストア230、比較器240、出力生成器250、およびトリガ260を含む。入力110、115は、データソース210(例えば、装置200などに組み込まれる、および/または接続される記憶デバイス、撮像デバイスなど)によってAI分類器220に提供することができる。
例示的な分類器220は、入力を経時的に処理して、データソース210からの入力を重症度および/または他の分類と相関付けする。したがって、AI分類器220は、入力画像データおよび/または他のデータを処理して入力データの疾患、異常、および/または他の状態を識別し、方程式、閾値、および/または他の基準によって指定された1つまたは複数の重症度レベルまたは状態(例えば、低/中/高、なし/小/大など)に従ってその疾患/異常/状態を分類する。例えば、気胸は、気胸が占める肺容積の割合に基づいた重症度状態を有する。AI分類器220の出力は、例えば、データストア230に記憶することができる。
経時的に、データソース210からの同じ種類の入力110、115に関してAI分類器220によって作成された重症度分類(例えば、時刻t0およびt1で撮影された同じ患者の肺MR画像など)を生成し、データストア230に記憶することができる。分類は、比較器240に提供され、比較器240は、2つ以上の異なる時間で分類を比較し(例えば、時間t0における第1の患者からの第1の画像データのセットの第1の決定された重症度は、時間t1における第1の患者からの第2の画像データのセットの第2の決定された重症度と比較され、かつ時間t2における第1の患者からの第3の画像データのセットの第3の決定された重症度と比較されるなど)、疾患、異常、および/または分類に関連する他の状態の傾向または進行を決定する。例えば、患者の気胸のサイズは、時間t0では存在せず、時間t1では小さく、時間t2では大きくなり得、気胸状態の悪化の進行を示す。
比較器240は、傾向/進行を示す結果を提供する。出力生成器250は、その結果を、患者ケアにおける警報、指示、調整などのさらなる処理などのために別のシステム(例えば、ポイントオブケア警報システム、撮像/放射線ワークステーション、コンピュータ支援診断(CAD)プロセッサ、スケジューリングシステム、医療デバイスなど)に表示、記憶、提供され得る出力に変換する。
トリガ260は、データソース210、AI分類器220、データストア230、比較器240、および出力生成器250の間でアクションを調整する。トリガ260は、データソース210から分類器220へのデータの入力、比較器240によるデータストア230からの結果の比較、出力生成器250による出力を開始することができる。したがって、トリガ260は、装置200の要素間の調整器として機能する。
例示的な学習ネットワークシステム
図3は、例示的な学習ニューラルネットワーク300の図を示している。例示的なニューラルネットワーク300は、層320、340、360、および380を含む。層320および340は、ニューラル接続部330と接続されている。層340および360は、ニューラル接続部350と接続されている。層360および380は、ニューラル接続部370と接続されている。データは、入力312、314、316を介して入力層320から出力層380および出力390へと順方向に流れる。
層320は、図3の例では、複数のノード322、324、326を含む入力層である。層340および360は隠れ層であり、図3の例ではノード342、344、346、348、362、364、366、368を含む。ニューラルネットワーク300は、図示されているよりも多数または少数の隠れ層340および360を含んでもよい。層380は、出力層であり、図3の例では、出力390を有するノード382を含む。各入力312~316は、入力層320のノード322~326に対応し、入力層320の各ノード322~326は、隠れ層340の各ノード342~348への接続部330を有する。隠れ層340の各ノード342~348は、隠れ層360の各ノード362~368への接続部350を有する。隠れ層360の各ノード362~368は、出力層380への接続部370を有する。出力層380は、例示的なニューラルネットワーク300からの出力をもたらす出力390を有する。
接続部330、350、および370のうち、特定の例示的な接続部332、352、372に追加の重みを与えることができる一方で、他の例示的な接続部334、354、374には、ニューラルネットワーク300におけるより軽い重みを与えることができる。入力ノード322~326は、例えば、入力312~316を介して入力データを受信することによって活性化される。隠れ層340および360のノード342~348および362~368は、接続部330および350をそれぞれ介するネットワーク300におけるデータの順方向の流れによって活性化される。出力層380のノード382は、隠れ層340および360において処理されたデータが接続部370を介して送信された後に活性化される。出力層380の出力ノード382が活性化されたとき、ノード382は、ニューラルネットワーク300の隠れ層340および360で達成された処理に基づいて適切な値を出力する。
図4は、畳み込みニューラルネットワーク400としての例示的なニューラルネットワーク300の特定の実施態様を示している。図4の例に示すように、入力310は、入力310を処理して第2の層340へと伝搬させる第1の層320に提供される。入力310は、第2の層340でさらに処理され、第3の層360に伝搬される。第3の層360は、出力層e80に提供されるデータをカテゴリ化する。より具体的には、図4の例に示すように、畳み込み404(例えば、5x5畳み込みなど)が第1の層320において入力310(例えば、32x32データ入力など)の一部またはウィンドウ(「受容野」とも呼ばれる)402に適用され、特徴マップ406(例えば、(6x)28x28特徴マップなど)を提供する。畳み込み404は、入力310からの要素を特徴マップ406にマッピングする。さらに、第1の層320は、縮小された特徴マップ410(例えば、(6x)14x14の特徴マップなど)を生成するためにサブサンプリング(例えば、2x2のサブサンプリングなど)をもたらす。特徴マップ410は、畳み込み412を経て、第1の層320から第2の層340へと伝搬し、そこで特徴マップ410は、拡張された特徴マップ414(例えば、(16x)10x10の特徴マップなど)となる。第2の層340におけるサブサンプリング416の後に、特徴マップ414は、縮小された特徴マップ418(例えば、(16x)4x5の特徴マップなど)となる。特徴マップ418は、畳み込み420を経て、第3の層360へと伝搬し、ここで特徴マップ418は、例えば、畳み込みされた層422への接続部426を有するN個のカテゴリの出力層424を形成する分類層422となる。
図5は、画像分析畳み込みニューラルネットワーク500の例示的な実施態様を示している。畳み込みニューラルネットワーク500は、入力画像502を受け取り、畳み込み層504において画像を抽象化して学習された特徴510~522を識別する。第2の畳み込み層530において、画像は、複数の画像530~538へと変換され、画像530~538において、学習された特徴510~522の各々は、それぞれのサブ画像530~538において強調される。画像530~538は、画像540~548において関心特徴510~522に注目するようにさらに処理される。結果として得られる画像540~548は、次に、画像540~548のうちの関心特徴510~522を含む部分550~554を分離するために画像540~548のサイズを縮小するプール層を通って処理される。畳み込みニューラルネットワーク500の出力550~554は、最後の非出力層から値を受け取り、最後の非出力層から受け取ったデータに基づいて画像を分類する。特定の例では、畳み込みニューラルネットワーク500は、畳み込み層、プール層、学習された特徴、および出力などの多くの異なる変形を含むことができる。
図6Aは、画像を処理および/または評価するための学習(例えば、機械学習、深層学習など)ネットワークを適用するための例示的な構成600を示している。機械学習は、画像取得、画像再構築、画像分析/診断などを含む様々なプロセスに適用することができる。図6Aの例示的な構成600に示すように、生データ610(例えば、X線スキャナ、コンピュータ断層撮影スキャナ、超音波スキャナ、磁気共鳴スキャナなどの撮像スキャナから得られたソノグラム生データなどの生データ610)は、学習ネットワーク620に供給される。学習ネットワーク620は、データ610を処理して、生データ610を処理データ630(例えば、結果として得られる画像など)(例えば、「良質」画像および/または診断に十分な品質を提供する他の画像)に相関付けおよび/または結合する。学習ネットワーク620は、生データ610を処理データ630に関連付けるためのノードおよび接続部(例えば、経路)を含む。学習ネットワーク620は、例えば、接続部について学習し、フィードバックを処理して接続を確立し、パターンを識別する訓練ネットワークとすることができる。学習ネットワーク620は、例えば、訓練ネットワークから生成され、訓練ネットワークにおいて確立された接続部およびパターンを活用して入力生データ610を取得し、結果として得られる画像630を生成する展開されたネットワークであってもよい。
学習620が訓練され、生画像データ610から良好な画像630を生成すると、ネットワーク620は、「自己学習」プロセスを継続し、動作するにつれてその性能を洗練することができる。例えば、入力データ(生データ)610における「冗長性」およびネットワーク620における冗長性が存在し、冗長性を利用することができる。
学習ネットワーク620内のノードに割り当てられた重みが検査される場合、きわめて小さい重みを有する多数の接続部およびノードが存在する可能性が高い。小さい重みは、これらの接続部およびノードが学習ネットワーク620の全体的な性能にほとんど寄与しないことを示す。したがって、これらの接続部およびノードは冗長である。このような冗長性を、入力(生データ)610の冗長性を低減するために評価することができる。入力610の冗長性の低減は、例えば、スキャナハードウェアの節約および構成要素への要求の低減をもたらすことができ、患者への曝露線量の低減ももたらすことができる。
展開において、構成600は、入力定義610、訓練されたネットワーク620、および出力定義630を含むパッケージ600を形成する。パッケージ600は、撮像システム、分析エンジンなどの別のシステムに対して展開して設置することができる。画像エンハンサ625は、生データ610を処理して結果(例えば、処理画像データおよび/または他の処理データ630など)を提供するために、学習ネットワーク620を活用および/または使用することができる。訓練された学習ネットワーク620のノード間の経路および接続により、画像エンハンサ625は、例えば、生データ610を処理して画像および/または他の処理データ結果630を形成することができる。
図6Bの例に示すように、学習ネットワーク620は、より大きな学習ネットワークを形成するために、複数の学習ネットワーク621~623と連鎖および/または結合することができる。ネットワーク620~623の組み合わせは、例えば、入力に対する応答をさらに洗練するために、および/またはネットワーク620~623をシステムの様々な態様に割り当てるために使用することができる。
いくつかの例では、動作中、「弱い」接続部およびノードは、最初にゼロに設定することができる。その場合、学習ネットワーク620は、保持プロセスにおいてそのノードを処理する。特定の例では、ゼロに設定されたノードおよび接続部は、再訓練時に変更することができない。ネットワーク620に存在する冗長性に鑑み、同様に良好な画像が生成される可能性が高い。図6Bに示されるように、再訓練後、学習ネットワーク620はDLN621となる。学習ネットワーク621もまた、弱い接続部およびノードを識別し、それらをゼロに設定するために検査される。このさらに再訓練されたネットワークが、学習ネットワーク622である。例示的な学習ネットワーク622は、学習ネットワーク621内の「ゼロ」ならびに新たな一式のノードおよび接続部を含む。学習ネットワーク622は、「最小実行可能ネット(MVN)」と呼ばれる学習ネットワーク623において良好な画像品質に達するまで、処理を繰り返し続ける。学習ネットワーク623は、学習ネットワーク623においてさらなる接続部またはノードをゼロに設定しようと試みた場合に画像品質が損なわれる可能性があるため、MVNである。
MVNが学習ネットワーク623で得られると、「ゼロ」領域(例えば、グラフ内の暗い不規則領域)が入力610にマッピングされる。各暗いゾーンは、入力空間内の1つまたは1セットのパラメータにマッピングされる可能性が高い。例えば、ゼロ領域の1つは、生データ内のビュー数およびチャネル数にリンクすることができる。これらのパラメータに対応するネットワーク623の冗長性は減らすことが可能であるため、入力データを低減し、同様に良好な出力を生成することができる可能性が高い。入力データを低減するために、低減されたパラメータに対応する生データの新しいセットが得られ、学習ネットワーク621を通じて実行される。ネットワーク620~623は簡略化されてもされなくてもよいが、入力生データ610の「最小実行可能入力(MVI)」に達するまで、学習ネットワーク620~623の1つまたは複数が処理される。MVIでは、入力生データ610がさらに減少すると、画像630の品質が低下する可能性がある。MVIは、例えば、データ取得における複雑さの低減、システム構成要素への要求の低減、患者へのストレスの軽減(例えば、息止めまたは造影剤を減らす)、および/または患者への線量の減少をもたらすことができる。
学習ネットワーク620~623内のいくつかの接続部およびノードを強制的にゼロにすることによって、ネットワーク620~623は、補償のために「側枝」を構築する。このプロセスにおいて、学習ネットワーク620~623のトポロジへの洞察が得られる。例えば、ネットワーク621およびネットワーク622が、いくつかのノードおよび/または接続部が強制的にゼロにされているため、異なるトポロジを有することに留意されたい。ネットワークから接続部およびノードを効果的に除去するこのプロセスは、「深層学習」を超えて拡がり、例えば、「ディープ深層学習」と呼ばれることがある。
特定の例では、入力データ処理および深層学習段階は、別々のシステムとして実施することができる。しかしながら、別々のシステムとして、どちらのモジュールも、関心/重要な入力パラメータを選択するために、より大きな入力特徴評価ループを意識することはできない。入力データ処理の選択は、高品質の出力を生成するために重要であるため、深層学習システムからのフィードバックを使用して、モデルを介して入力パラメータ選択の最適化または改善を行うことができる。生データ(例えば、総当たりであり、高価になり得る)を生成するために入力パラメータのセット全体をスキャンするのではなく、アクティブ学習の変種を実施することができる。このアクティブ学習の変種を使用して、開始パラメータ空間を決定し、モデル内で所望または「最良」の結果を生成することができる。その結果、パラメータ値を無作為に減らして結果の品質を低下させる生の入力を生成し、品質の許容範囲または閾値を維持しながら、モデルの品質にほとんど影響を与えない入力を処理することによってランタイムを短縮することができる。
図7は、深層学習または他の機械学習ネットワークなどの学習ネットワークの例示的な訓練および展開段階を示している。図7の例に示すように、訓練段階では、入力702のセットが処理のためにネットワーク704に提供される。この例では、入力702のセットは、識別される画像の顔特徴を含むことができる。ネットワーク704は、入力702を順方向706で処理してデータ要素を関連付け、パターンを識別する。ネットワーク704は、入力702が肺結節708を表すと決定する。訓練において、ネットワーク結果708は、既知の結果712と比較される(710)。この例では、既知の結果712は、前胸部である(例えば、入力データセット702は、肺結節ではなく、前胸部の識別を表す)。ネットワーク704の決定708は既知の結果712と一致しない(710)ので、誤差714が生成される。誤差714は、ネットワーク704を通る後方パス716に沿って逆に、既知の結果712および関連するデータ702の分析をトリガする。したがって、訓練ネットワーク704は、ネットワーク704を介してデータ702、712で前方パス706および後方パス716から学習する。
ネットワーク出力708と既知の出力712の比較が特定の基準または閾値(例えば、n倍に一致、x%より大きい一致など)に従って一致する(710)と、訓練ネットワーク704を使用して、外部システムを伴う展開用のネットワークを生成することができる。展開されると、単一の入力720が展開された学習ネットワーク722に提供され、出力724が生成される。この場合、訓練ネットワーク704に基づいて、展開されたネットワーク722は、入力720が前胸部724の画像であると決定する。
図8は、訓練されたネットワークパッケージを活用して深層および/または他の機械学習製品の提供を行う例示的な製品を示している。図8の例に示すように、入力810(例えば、生データ)が前処理820のために提供される。例えば、生の入力データ810は、フォーマット、完全性などをチェックするために前処理される(820)。データ810が前処理されると(820)、データのパッチが作成される(830)。例えば、データのパッチまたは部分または「チャンク」は、処理のために特定のサイズおよびフォーマットで作成される(830)。次いで、パッチは、処理のために訓練されたネットワーク840に送られる。学習されたパターン、ノード、および接続部に基づいて、訓練されたネットワーク840は、入力パッチに基づいて出力を決定する。出力がアセンブルされる(850)(例えば、結合され、および/またはグループ化されて、使用可能な出力などが生成される)。次いで、出力が表示され(860)、および/またはユーザに出力される(例えば、人間のユーザ、臨床システム、撮像モダリティ、データストレージ(例えば、クラウドストレージ、ローカルストレージ、エッジデバイスなど)など)。
上述のように、学習ネットワークは、訓練、展開、および様々なシステムへの適用のためのデバイスとしてパッケージ化することができる。図9A~図9Cは、様々な学習デバイスの構成を示している。例えば、図9Aは、一般的な学習デバイス900を示す。例示的なデバイス900は、入力定義910、学習ネットワークモデル920、および出力定義930を含む。入力定義910は、1つまたは複数の入力を、ネットワーク920を介して1つまたは複数の出力930に変換することを含むことができる。
図9Bは、例示的な訓練デバイス901を示す。すなわち、訓練デバイス901は、訓練学習ネットワークデバイスとして構成されたデバイス900の例である。図9Bの例では、複数の訓練入力911がネットワーク921に提供されてネットワーク921で接続部を展開し、出力評価器931によって評価される出力を提供する。その場合、フィードバックが出力評価器931によってネットワーク921に提供され、ネットワーク921をさらに展開する(例えば、訓練する)。ネットワーク921が訓練された(例えば、出力が特定の閾値、誤差のマージンなどによる入力および出力の既知の相関を満たした)と出力評価器931が決定するまで、さらなる入力911をネットワーク921に提供することができる。
図9Cは、例示的な展開されたデバイス903を示す。訓練デバイス901が必要なレベルまで学習されると、訓練デバイス901を使用のために展開することができる。訓練デバイス901が学習のために複数の入力を処理する一方で、展開されたデバイス903は、例えば、出力を決定するために単一の入力を処理する。図9Cの例に示すように、展開されたデバイス903は、入力定義913、訓練されたネットワーク923、および出力定義933を含む。訓練されたネットワーク923は、例えば、ネットワーク921が十分に訓練されると、ネットワーク921から生成することができる。展開されたデバイス903は、例えば、システム入力913を受信し、ネットワーク923を介して入力913を処理して出力933を生成し、展開されたデバイス903が関連付けられたシステムによって使用することができる。
例示的な画像処理ならびに分類システムおよび方法
特定の例では、疾患、異常、および/または他の状態の識別および進行は、患者の関連する画像データのAI駆動型分析を通じて決定することができる。
図10は、疾患、異常、および/または他の状態を定量化するためにAIモデルによって使用される画像データを処理するためのAI分類器220の例示的な実施態様を示している。分類器220の例示的な実施態様は、臓器領域、および臓器領域内の関心領域を含む1つまたは複数の画像の注釈を可能にする。図10の例示的な分類器220は、画像セグメンタ1010、マスク結合器1020、比率コンピュータ1030、および状態比較器1040を含む。
例示的な画像セグメンタ1010は、入力画像の第1のマスクおよび第2のマスクを識別するためのものである。例えば、画像セグメンタ1010は、画像を処理して画像で識別された臓器領域内の関心領域をセグメント化し、第1のマスクを得る。第1のマスクは、セグメンテーションマスクであり、これは画像の関心領域を含み、画像の残りの部分を除外するフィルタである。例えば、マスクを画像データに適用し、関心領域以外のすべてを除外することができる。マスクは、例えば、図4~図5に示すネットワーク400、500、生成的敵対ネットワークなどの畳み込みニューラルネットワークモデルを使用して得ることができる。画像セグメンタ1010はさらに、画像を処理して1つまたは複数の基準に従って臓器領域をセグメント化し、第2のマスクを得る。例えば、第2のマスクは、臓器領域、関心領域外の臓器領域の面積などを表すことができる。
例えば、臓器領域が肺であり、関心領域が肺で識別された気胸である場合(例えば、肺の輪郭および気胸を表す肺の虚脱面積の輪郭によってなど)、第1のマスクは、気胸を識別するために生成され、第2のマスクは、臓器領域全体を識別するために生成される。
例示的な結合器1020は、第1のマスクおよび第2のマスク、ならびに関連する面積を画像の注釈用語と結合する。注釈は、例えば、定量化を行うための相対的な修飾用語とすることができる。例えば、マスク面積を霧状、斑状、高密度などの説明用語と組み合わせて、画像の関心領域および臓器領域の相対密度値を算出することができる。例えば、画像面積(例えば、正面および側面画像の面積など)を組み合わせて、容積メトリックを生成することができる。
例示的な比率コンピュータ1030は、第1のマスクおよび第2のマスクに基づいて比率を算出し、画像の関心領域を定量化する。例えば、比率コンピュータ1030は、第1のマスクによって表される関心領域(ROI)の面積を第2のマスクによって表される臓器領域全体の面積と比較し、ROI(例えば、識別された気胸の面積など)と臓器領域全体(例えば、全肺容積など)の比率を決定することができる。別の例では、比率コンピュータ1030は、第1のマスクによって表されるROIの面積を第2のマスクによって表されるROI外の臓器領域の残りの部分と比較し、ROI(例えば、識別された気胸の面積など)とROI外の臓器領域の面積(例えば、気胸の外側の肺容積など)の比率を決定する。
例示的な状態比較器1040は、比率コンピュータ1030によって生成された比率を標準、正常値、期待値、閾値、および/または他の基準と比較し、疾患/異常/状態の重症度を決定する。例えば、比較器1040は、気胸の面積対全肺面積の1/2の比率を気胸の重症度レベル/状態(例えば、なし、小、大など)を定義する一組の比率と比較する。状態比較器1040の重症度出力を比較器240に提供し、例えば、関連する疾患、異常、および/または他の状態の傾向または進行を決定することができる。
したがって、AI分類器220は、AI/機械学習/深層学習/CADアルゴリズム訓練のために医用画像または関連する医用画像のセットに注釈付け、疾患、異常、他の状態などを定量化するように構成することができる。このような方法は、今日の一般的な主観的方法に取って代わる一貫性のある反復可能な方法論であり、疾患の自動的かつ正確な検出を可能にし、その重症度および/または進行を定量化する。
特定の例は、臓器または他の対象物の関心領域を相対的ベースで評価する。例えば、疾患、異常、および/または他の状態の単一の時点の定量化を決定し、疾患、異常、または状態の重症度を分類し、様々な時点での疾患、異常、または状態の進行を追跡することができる。
例えば、分類器220のセグメンタ1010は、異常な肺領域をセグメント化し、影響を受けた肺の曝気された面積の面積セグメンテーションで除算された対応する面積を算出することで、目に見える周囲の肺組織に対する異常のサイズの比率割合をもたらすことができる。比率コンピュータ1030は、以下に従って比率割合を生成することができる:
セグメント化された異常面積/曝気された肺のセグメント化された面積=肺疾患/異常によって影響を受けた肺面積の%。
別の例では、セグメンタ1010は、異常な肺領域をセグメント化することができ、比率コンピュータ130が影響を受けた肺面積の面積セグメンテーションで除算を行い、以下のように全肺組織に対する異常のサイズの比率割合をもたらす:
セグメント化された異常面積/全肺のセグメント化された面積=肺疾患/異常によって影響を受けた肺面積の%。
別の例では、セグメンタ1010は、異常な肺領域をセグメント化することができ、比率コンピュータ130が胸腔面積の画分の面積セグメンテーションで除算を行い、以下のように胸腔の画分に対する異常のサイズの比率割合をもたらす:
セグメント化された異常面積/胸腔面積の画分=肺疾患/異常によって影響を受けた肺面積の%。
別の例では、胸水のセグメント化された面積メトリックは、マスク結合器1020によって霧状、斑状、重度のコンソリデーションなどの定性的用語と組み合わされ、流体の密度の相対的定量化を行うことができる。
特定の例では、異常の面積のみ(例えば、平方ピクセル、平方ミリメートルなど)を処理して、マーカーおよび/または他の参照対象物を使用して倍率補正を行うことができる。しかしながら、このような異常分析は、正常な曝気された肺内の異常が、例えば、50%しか曝気されていない肺内の異常(例えば、損なわれた呼吸器系を示す)よりも懸念が少ないとは認めない。
例示的な実施態様が図1~図10に関連して示されているが、図1~図10に関連して示される要素、プロセスおよび/またはデバイスは、任意の他の方法で組み合わせられ、分割され、配置変更され、省略され、排除され、かつ/または実現され得る。さらに、本明細書で開示および説明される構成要素は、ハードウェア、機械可読命令、ソフトウェア、ファームウェア、ならびに/もしくはハードウェア、機械可読命令、ソフトウェアおよび/またはファームウェアの任意の組み合わせによって実現することができる。したがって、例えば、本明細書で開示および説明される構成要素は、アナログおよび/またはデジタル回路、論理回路、プログラマブルプロセッサ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、および/またはフィールドプログラマブル論理デバイス(FPLD)によって実現することができる。純粋にソフトウェアおよび/またはファームウェアの実施態様をカバーするために、この特許の装置またはシステムクレームのいずれかを読む場合、構成要素の少なくとも1つは、ソフトウェアおよび/またはファームウェアを記憶する、メモリ、デジタル多用途ディスク(DVD)、コンパクトディスク(CD)、ブルーレイディスクなどの有形のコンピュータ可読記憶デバイスまたは記憶ディスクを含むように本明細書によって明確に定義される。
本明細書で開示および説明される構成要素を実現するための例示的な機械可読命令を表すフローチャートが、少なくとも図11~図12に関連して示される。本例において、機械可読命令は、図13に関連して以下で説明する例示的なプロセッサプラットフォーム1300に示すプロセッサ1312などのプロセッサによって実行するためのプログラムを含む。本プログラムは、CD-ROM、フロッピーディスク、ハードドライブ、デジタル多用途ディスク(DVD)、ブルーレイディスク、またはプロセッサ1312と関連するメモリなどの有形のコンピュータ可読記憶媒体に記憶された機械可読命令で具現化することができるが、あるいは、プログラム全体および/またはその一部をプロセッサ1312以外のデバイスによって実行すること、および/またはファームウェアもしくは専用ハードウェアで具現化することも可能である。さらに、例示的なプログラムは、少なくとも図11~図12に関連して示されるフローチャートを参照して説明されるが、本明細書で開示および説明される構成要素について、これらを実現する多数の他の方法を代わりに使用してもよい。例えば、ブロックの実行順序を変更してもよく、および/または記載されたブロックのいくつかを変更したり、排除したり、組み合わせたりしてもよい。少なくとも図11~図12のフローチャートは例示的な動作を図示の順序で示しているが、これらの動作は網羅的なものではなく、図示の順序に限定されない。加えて、本開示の精神および範囲内で、当業者によって様々な変更および修正がなされてもよい。例えば、フローチャートに示されたブロックは、別の順序で行われてもよいし、並列に行われてもよい。
上述したように、少なくとも図11~図12の例示的なプロセスは、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ(ROM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、キャッシュ、ランダムアクセスメモリ(RAM)、および/または任意の他の記憶デバイスもしくは情報が任意の期間(例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および/または情報をキャッシュする間)で記憶されている記憶ディスクなどの有形のコンピュータ可読記憶媒体に記憶されるコード化された命令(例えば、コンピュータおよび/または機械可読命令)を使用して実施することができる。本明細書で使用される場合、有形のコンピュータ可読記憶媒体という用語は、任意の種類のコンピュータ可読記憶デバイスおよび/または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書で使用される場合、「有形のコンピュータ可読記憶媒体」および「有形の機械可読記憶媒体」は、互換的に使用される。さらに、またはあるいは、少なくとも図11~図12の例示的なプロセスは、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、および/または任意の他の記憶デバイスもしくは情報が任意の期間(例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および/または情報をキャッシュする間)で記憶されている記憶ディスクなどの非一時的コンピュータおよび/または機械可読媒体に記憶されるコード化された命令(例えば、コンピュータおよび/または機械可読命令)を使用して実施することができる。本明細書で使用される場合、非一時的コンピュータ可読媒体という用語は、任意の種類のコンピュータ可読記憶デバイスおよび/または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書で使用される場合、「少なくとも」という表現は、請求項の前文における遷移の用語として使用されるとき、「備える(comprising)」という用語がオープンエンドであるのと同様の様相でオープンエンドである。さらに、「含む(including)」という用語は、「備える(comprising)」という用語がオープンエンドであるのと同様の様相でオープンエンドである。
図11に示される例示的な方法1100に示すように、患者の状態の重症度および関連する進行を決定することができる。ブロック1110において、人工知能分類器は、重症度分類および/または疾患、異常、もしくは状態の他の分類に従って訓練される。例えば、分類器220は、肺画像の気胸を識別し、気胸の面積と全肺面積(または患部肺面積)などの比率に基づいて、気胸をなし、小、または大に分類するように訓練される。したがって、上述のように、分類器220は、場所情報、サイズ、関係などが分析および注釈付けされた画像データなどの「真の」または検証済みの画像データを使用した訓練および試験を通じて、臓器領域、臓器領域内の関心領域、および重症度分類を識別する方法を学習する。
ブロック1120において、人工知能分類器を第1の画像データに適用することによって、第1の分類結果が決定される。ブロック1130において、人工知能分類器を第2の画像データに適用することによって、第2の分類結果が決定される。したがって、訓練および展開された深層学習ネットワークモデルおよび/または他の人工知能構築は、1つまたは複数の基準(例えば、解剖学的種類、領域など)に関する入力画像データを処理して、重症度インジケータおよび/または他の分類(例えば、低/中/高、なし/小/大、小/中/大、なし/小型/大型など)を生成することができる。したがって、画像データを深層学習ネットワークモデルおよび/またはAI分類器220の他のAI構築に提供することによって、画像データを処理して分類結果を生成することができる。
ブロック1140において、第1の分類結果と第2の分類結果との間の変化または差が算出される。例えば、比較器240は、第1の分類結果と第2の分類結果の分類値を比較し、結果(例えば、2つの異なる時間に2つの画像データセット間で得られた結果など)間の変化、デルタ、差などを識別する。例えば、比較器240は、2つ以上の分類結果のセットに基づいて、気胸なしから小気胸、小型腫瘍から大型腫瘍、大病変から小病変などへの変化を算出することができる。
ブロック1150において、分類結果の変化は、この患者の疾患、異常、または状態の進行を決定するために、疾患、異常、または状態の定義された進行に関して分析される。決定された進行は、進行なし、改善、悪化などの状態に対応することができる。例えば、変化がなしから小または大への場合、進行は悪化している。例えば、変化が大から小への場合、進行は改善している。例えば、変化がない場合(例えば、識別された腫瘤が中程度のままである場合など)、進行はない。
ブロック1160において、決定された進行が検討され、アクションがトリガされるかどうかを決定する。例えば、決定された進行の状態を評価し、警報または他のアクションが必要かどうかを決定する。例えば、進行の改善または進行なしは、警報または他のアクション(例えば、是正アクションなどとも呼ばれる)を必要としなくてもよい。しかしながら、進行が悪化している場合は、介入が必要であることを示すことができる。
アクションおよび/または他の介入がトリガされるとき、ブロック1170において、アクションがトリガされる。例えば、警報を生成し(例えば、ログファイル警報、臨床ダッシュボード警報、医療専門家への可聴および/または視覚警報、他の通知など)、決定された進行(例えば、状態の悪化など)をユーザ、システムなどに通知することができる。例えば、気胸の悪化を看護師に通知したり、拡大した病変の試験を依頼したり、スケジューリングシステムを使用して、以前は存在しなかった腫瘤の外観の検査をスケジューリングすることなどができる。
図12は、第1の分類結果を決定する(ブロック1120)および/または第2の分類結果を決定する(ブロック1130)例示的な実施態様の流れ図を示している。ブロック1210において、臓器領域が画像データで識別される。例えば、画像データは、畳み込みニューラルネットワーク、他の深層学習ネットワークモデル、および/または他の人工知能構築によって処理され、画像データに含まれる1つまたは複数の画像の標的臓器領域を識別することができる。
ブロック1220において、臓器領域内の関心領域を画像データ内でセグメント化し、第1のマスクを得る。例えば、肺または肺の一部で識別された気胸を画像内でマスクして、気胸を含む面積を分離することができる。ブロック1230において、臓器領域を1つまたは複数の所定の基準に従ってセグメント化し、第2のマスクを得る。例えば、肺をマスクして、肺の外側の画像の部分を除外することができる。代替的または追加的に、気胸を含むが肺全体よりも少ない肺の部分をマスクして、検出された状態によって機能が影響を与えられる肺の部分の分析を分離することができる(例えば、気胸からの虚脱肺)。
ブロック1240において、第1および第2のセグメント化されたマスクの面積は、相対的な修飾注釈用語と共に組み合わされ、さらなる定量化を行う。例えば、マスクの面積を霧状、斑状、高密度などの説明用語と組み合わせて相対密度値を算出し、正面および側面画像の面積を組み合わせて容積メトリックなどを生成する。したがって、組み合わされたマスクは、気胸によって影響を受けた肺領域のモデル、ならびに画像のその面積の密度の記述子などを提供することができる。
ブロック1250において、第1のマスクおよび第2のマスクに基づいて比率メトリックが算出される。例えば、気胸の面積の肺組織の密度を正常な肺組織の密度と比較し、比率を決定することができる。例えば、気胸が占める面積を残りの肺面積/小面積と比較し、比率を算出することができる。
ブロック1260において、比率メトリックを使用して、画像データの関心領域が定量化される。例えば、気胸は、肺面積の25%、肺面積の50%、肺面積の80%などとして定量化することができる。別の例では、周囲の臓器に対する病変のサイズを定量化することなどが可能である。
ブロック1270において、関心領域の定量化は、重症度インジケータおよび/または他の分類に関連付けられる。例えば、肺面積の20%を占める気胸は、小に分類することができる。例えば、肺面積の70%を占める気胸は、大に分類することができる。重症度分類は、例えば、分析のために比較器240に提供され得る。
したがって、特定の例は、患者および/または患者集団における疾患、異常、および/または他の状態の重症度および進行を決定するための、画像データの自動化された深層/機械学習駆動型処理を提供する。例えば、気胸では、2D画像を見ても3Dにおける問題の重症度を評価するのが難しいため、肺の虚脱を検出および測定することは困難である。
主観的方法の限界を克服するために、様々な胸膜間距離を考慮する方程式を介して直立した患者の気胸のサイズを決定する、Rheaの方法などの測定方法が開発および提案されている。Rheaのアルゴリズムは直立2D画像を使用してCT回帰を構築するが、患者の位置が問題であり、Rheaのアルゴリズムは直立した患者を想定して構築されている一方でほとんどの患者がベッドに横たわっているため、アプローチが無効になっている。Collinsの方法は、ヘリカルCTスキャンからの容積測定に基づく回帰分析から胸膜間距離を使用して、胸部X線写真(例えば、患者が横になっている状態)で気胸サイズを定量化する。光測定法は、例えば、自然気胸の管理に関するガイドラインを提供する。これらの方法はすべて、例えば、気胸の信頼できる再現可能な検出には不十分である。
例えば、気胸では、空気が胸膜腔に存在し、患者の胸部疾患を示す。胸部X線画像を使用して、テクスチャ、輪郭、ピクセル値などに基づいて肋骨境界付近の潜在的な気胸を識別することができる。分類器のAIモデルは、例えば、気胸の存在を示す利用可能な情報の強度に基づいて、その識別または推論に信頼スコアを割り当てることが可能である。例えば、AI気胸検出モデルを改善するために、ユーザからフィードバックを提供することができる。AIモデルは、サイズ、重症度、線形測定(胸壁から虚脱肺の複数の線の端まで)などの様々なパラメータ/基準、肺容積の推定割合(例えば、10%の虚脱、30%の虚脱など)などに基づいて訓練することができ、これらは撮像および/または他の測定のための患者の位置によって異なり得る。
AI分類器220を使用して、患者の位置に関係なく、状態決定を堅牢に行うことができる。さらに、傾向または進行は、患者が改善しているか悪化しているかの指標を提供するために決定される。例示的な装置200は、例えば、患者の位置の不一致に対してより堅牢である相対的な測定値または比率(例えば、全肺面積に対する患部面積の比率など)を提供する。例えば、1日目と2日目の肺画像を処理して、AI深層学習および/または他の技術を活用し、画像をセグメント化して注釈付けを行い、空洞全体に対する肺の患部を識別し、比率を算出することで、1日目の42%の肺虚脱から2日目の56%の肺虚脱への悪化を示すことができる。したがって、AIモデルは、時間の経過に伴う変化の定量化および状態進行の分析を促進することができる。
2D画像では、絶対値(例えば、絶対容積、絶対サイズなど)を得ることは不可能ではないにしても困難であるが、AI分類器220によって提供される相対的な測定値は、変化の方向(例えば、正、負、中立など)および変化の大きさの感覚を提供する。したがって、正確な測定は、例えば、変化の方向および大きさの自動化された評価および指標と引き換えに行われ、医療専門家および/または健康システムは、患者および/または患者集団が悪化または改善しているかどうか、およびどの程度までか(例えば、はるかに悪化または少し改善しているなど)を知る。
現在、マニュアルレビューでは、気胸がどの程度変化したか、またはどのように治療されているかではなく、気胸の存在を示すだけである。これにより、多くの誤報が発生する。代わりに、特定の例は、状態が改善または悪化しているかどうか、およびどの程度までかを識別することができる。
本明細書では気胸が例として使用されているが、この技術は、様々な疾患、異常、および/または出血、肺塞栓症、病変もしくは腫瘍などの他の状態に適用することができる。特定の例は、様々な状況、状態、基準などの変化に適応することができる動的モデルまたは動的モデルのセットを提供する。例えば、患者が吸入しているか吐いているかによる肺のサイズの変化に対応することが可能である。流体で満たされた患者の肺(例えば、胸水)を識別することができ、モデルは、状態が改善しているか悪化しているかを決定することができる。腫瘍を識別して分析することで、例えば、腫瘍が大きくなっているか縮小しているかを決定することができる。1つまたは複数のAIモデルは、所見に関するセグメント化、分類、および追加の情報の提供が可能である。
特定の例では、気胸などの状態が存在または非存在として検出され、虚脱の正確な面積を特定することができる。特定された輪郭の面積を計算することができ、その値を使用して状態の相対的な変化を決定することができる。例えば、気胸の実際の3D容積ではなく、相対的な2Dプロジェクションを得て、相対容積、変化、および変化の方向を決定するために使用することができる。
AIモデルは、後処理可能な出力を提供する。例えば、特定のサイズのマスクが生成され、後処理してピクセル面積を計算したり、面積のジオメトリを決定したりすることが可能である。したがって、例えば、モデル自体が物理量を出力しない場合でも、AIモデル分類出力を後処理して、モデル出力を測定可能な物理量に変換することができる。
気胸の例に関連して上述したように、特定の例は、肺面積の計算された割合を使用して肺の異常のサイズを記述する。このAIモデル駆動型計算は、異なる患者サイズ、患者位置などに対して堅牢である。この計算により、疾患の重症度を決定する際の読み手の主観性を低下させる。この計算により、読み手/放射線科医/他の専門家から独立した、状態の進行/退行/安定性の経時的な監視が可能になる。AI駆動型モデリングおよび分類は、例えば、特定の問題/状態に関して、小/中程度/大、軽度/中程度/重度、または他の分類の意味を標準化するのに役立つ。
したがって、集中治療室の患者は、胸水(肺周囲の流体)、コンソリデーション(肺炎)、気胸(肺虚脱)などの肺の状態の進行または改善を監視するために、毎日胸部X線を頻繁に受ける。胸部X線写真内の肺疾患または異常の定量化は、歴史的に骨の折れるタスクであり、線形測定または関心領域を描画する不正確な方法は、倍率誤差および他の不正確さの影響を受け、診断、治療、予測、コンピュータ支援検出などの誤差をもたらすことになる。その結果、放射線科医は、次の1つまたは複数の主観的方法を行うことになる:視覚的印象に基づくサイズの記述:微量、小、中程度、大;視覚的印象に基づく重症度の記述:軽度、中程度、重度;視覚的印象からの肺容積推定の割合。これらの方法では、所見が軽度/中程度または中程度/重度の境界線になり得る場合、誤差の余地が残される。例えば、1日目の放射線科医Aは、状態に軽度のラベルを付け、2日目の放射線科医Bは、状態に大きな変化がなく安定しているにもかかわらず、状態に中程度のラベルを付けることがある。しかしながら、患者の位置がわずかに変更されたため、放射線科医Bは、1日目からの前の画像を検討するときに状態が進行していると考えていた可能性がある。このような誤差により、放射線科医の評価に頼っている管理医師は、治療計画(例えば、薬剤の変更、または針胸腔穿刺/吸引などのより侵襲的なもの)を患者の健康と安全を損なうものに変更する可能性がある。特定の例は、この発生を防ぎ、技術的な改善をAIモデルおよびオペレーティングプロセッサに提供するのに役立つ。
図13は、少なくとも図11~図12の命令を実行して本明細書で開示および説明される例示的な構成要素を実現するように構成された例示的なプロセッサプラットフォーム1300のブロック図である。プロセッサプラットフォーム1300は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス(例えば、携帯電話機、スマートフォン、iPad(商標)などのタブレット)、携帯情報端末(PDA)、インターネット家電、または任意の他の種類のコンピューティングデバイスであってよい。
図示の例のプロセッサプラットフォーム1300は、プロセッサ1312を含む。図示の例のプロセッサ1312は、ハードウェアである。例えば、プロセッサ1312は、任意の所望のファミリまたは製造業者からの集積回路、論理回路、マイクロプロセッサまたはコントローラによって実現することができる。
図示の例のプロセッサ1312は、ローカルメモリ1313(例えば、キャッシュ)を含む。図13の例示的なプロセッサ1312は、少なくとも図11~図12の命令を実行して、例示的なデータソース210、AI分類器220、データストア230、比較器240、出力生成器250、トリガ260など、図1~図12のシステム、インフラストラクチャ、ディスプレイ、および関連する方法を実現する。図示の例のプロセッサ1312は、バス1318を介して揮発性メモリ1314および不揮発性メモリ1316を含む主メモリと通信する。揮発性メモリ1314は、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、ダイナミックランダムアクセスメモリ(DRAM)、RAMBUSダイナミックランダムアクセスメモリ(RDRAM)、および/または任意の他の種類のランダムアクセスメモリデバイスによって実現することができる。不揮発性メモリ1316は、フラッシュメモリおよび/または任意の他の所望の種類のメモリデバイスによって実現することができる。主メモリ1314、1316へのアクセスは、クロックコントローラによって制御される。
さらに、図示の例のプロセッサプラットフォーム1300は、インターフェース回路1320を含む。インターフェース回路1320は、イーサネットインターフェース、ユニバーサルシリアルバス(USB)、および/またはPCIエクスプレスインターフェースなどの任意の種類のインターフェース規格によって実現することができる。
図示の例では、1つまたは複数の入力デバイス1322がインターフェース回路1320に接続される。入力デバイス1322は、プロセッサ1312へのデータおよびコマンドの入力をユーザにとって可能にする。入力デバイスは、例えば、センサ、マイクロホン、カメラ(静止画または動画、RGBまたは深度など)、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントおよび/または音声認識システムによって実現することができる。
1つまたは複数の出力デバイス1324もまた、図示の例のインターフェース回路1320に接続される。出力デバイス1324は、例えば、ディスプレイデバイス(例えば、発光ダイオード(LED)、有機発光ダイオード(OLED)、液晶ディスプレイ、陰極線管ディスプレイ(CRT)、タッチスクリーン、触覚出力デバイス、および/またはスピーカ)によって実現することができる。したがって、図示の例のインターフェース回路1320は、典型的には、グラフィックスドライバカード、グラフィックスドライバチップまたはグラフィックスドライバプロセッサを含む。
さらに、図示の例のインターフェース回路1320は、ネットワーク1326(例えば、イーサネット接続、デジタル加入者回線(DSL)、電話回線、同軸ケーブル、携帯電話システムなど)を介した外部装置(例えば、任意の種類のコンピューティングデバイス)とのデータのやり取りを容易にするために、送信器、受信器、トランシーバ、モデムおよび/またはネットワークインターフェースカードなどの通信デバイスを含む。
図示の例のプロセッサプラットフォーム1300はまた、ソフトウェアおよび/またはデータを記憶するための1つまたは複数の大容量記憶デバイス1328を含む。そのような大容量記憶デバイス1328の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、RAIDシステム、およびデジタル多用途ディスク(DVD)ドライブを含む。
図13のコード化された命令1332は、大容量記憶デバイス1328、揮発性メモリ1314、不揮発性メモリ1316、および/またはCDもしくはDVDなどの取り外し可能な有形のコンピュータ可読記憶媒体に記憶することができる。
上記から、複数の深層学習および/または他の機械学習技術を使用して、撮像および/または他のヘルスケアシステムの動作を監視、処理、および改善するために、上記した開示の方法、装置、および製品が開示されていることが理解されよう。
したがって、特定の例は、患者撮像の時点で可搬型撮像デバイスを介するなど、ポイントオブケアでの画像取得および分析を容易にする。画像を再取得する場合、さらなる分析をすぐに行う場合、および/または他の重篤性を後にするのではなくすぐに検討する場合、本明細書で開示および説明される例示的なシステム、装置、および方法は、分析を自動化し、ワークフローを合理化し、かつ患者ケアを改善するためのアクションを容易にすることができる。
特定の例は、画像を取得し、救命救急チームのポイントオブケアでの意思決定支援ツールとして動作することができる特別に構成された撮像装置を提供する。特定の例は、放射線所見などを検出するためにポイントオブケアでの診断を提供および/または容易にするための医療デバイスとして機能する撮像装置を提供する。装置は、放射線科医および/または救命救急チームの注意を患者に直ちに向けさせるために重篤警報をトリガすることができる。装置は、スクリーニング環境などで、患者の検査後に患者の優先順位付けを可能にし、陰性試験は、患者が家に帰ることを可能にし、一方、陽性試験では、帰宅前に患者に医師の診察を受けさせる必要がある。
特定の例では、モバイルデバイスおよび/またはクラウド製品は、ベンダーニュートラルソリューションを可能にし、任意のデジタルX線システム(例えば、完全に統合された、アップグレードキットなど)上でポイントオブケア警報を提供する。特定の例では、モバイルX線装置などのモバイル撮像システム上で実行される埋め込みAIアルゴリズムは、画像取得中および/または画像取得後のリアルタイムでのポイントオブケア警報を提供する。
AIを撮像デバイスにホスティングすることによって、モバイルX線システムは、例えば、病院の情報技術ネットワークの無い地方で、あるいは患者コミュニティに撮像をもたらすモバイルトラックで使用することができる。さらに、サーバまたはクラウドに画像を送信するのに長い待ち時間がかかる場合、撮像デバイスのAIを代わりに実行し、さらなるアクションのために撮像デバイスに出力を生成することができる。X線技術者を次の患者の元に移動させるのではなく、さらにX線デバイスがもはや臨床ケアチームと共に患者のベッドサイドにあるのではなく、画像処理、分析、および出力がリアルタイムで(または何らかのデータ転送/検索、処理、および出力待ち時間があるほぼリアルタイムで)行われ、臨床ケアチームおよび機器がまだ患者と共にあるか、患者の付近にありながら、臨床ケアチームに関連する通知をもたらすことができる。例えば、外傷の場合、治療の決定を迅速に行う必要があり、特定の例は他の臨床的意思決定支援ツールで見られる遅延を緩和する。
モバイルX線システムは、病院全体(例えば、救急室、手術室、集中治療室など)で患者のベッドサイドに移動する。病院内において、病院の「デッド」ゾーン(例えば、地下室、電気信号の干渉または妨害を伴う部屋など)では、ネットワーク通信が信頼できない可能性がある。例えば、X線デバイスがWi-Fiの構築に依存していて、AIモデルをホストしているサーバまたはクラウドに画像をプッシュし、AI出力をX線デバイスに戻すのを待っている場合、患者は、必要な時に、重篤警報を信頼できない危険性がある。さらに、ネットワークまたは停電が通信に影響を及ぼす場合、撮像デバイス上で動作するAIは、内蔵式のモバイル処理装置として機能し続けることができる。
一般的な放射線学の場合に生成される警報の例は、気胸、チューブおよび配線配置、胸水、肺葉虚脱、気腹、肺炎などの(例えば、モバイルX線などに対する)重篤警報、結核、肺結節などの(例えば、固定X線などに対する)スクリーニング警報、患者の位置、クリップされた解剖学的構造、不適切な技術、画像アーチファクトなどの(例えば、モバイルおよび/または固定X線などに対する)品質警報を含んでもよい。
したがって、特定の例は、人工知能アルゴリズムの精度を向上させる。特定の例は、重篤な所見、緊急の所見、および/または他の問題の存在をより正確に予測するために、患者の医療情報ならびに画像データを考慮する。
特定の例は、臨床状態の変化を評価し、状態が悪化しているのか、改善しているのか、または経時的に同じままであるのかを決定する。例えば、胸部X線検査の重篤な結果は「気胸の新しいまたは大幅な進行」と見なされ、放射線科医は、管理専門家に連絡して所見について議論することになる。事前の撮像検査で撮像デバイスにAIアルゴリズムモデルを提供すると、モデルは気胸の所見が新しいかまたは大幅に進行しているかどうか、およびその所見が重篤であると見なされるかどうかを決定することができる。
図14は、左肺気胸1412および左肺胸水1414を有する患者の例示的な第1の画像1410を示している。図14の例に示すように、AIは、気胸1412を99%の信頼度で識別し、気胸1412のセグメンテーション1420にわたる面積を50,499ピクセルとして識別した。曝気された左肺面積は、240,544ピクセルのセグメンテーションマスク1430を含み、気胸面積と曝気された左肺面積の比率が21%になる。
図15は、改善された左肺気胸1512および左肺胸水1514を有する患者の例示的な第2の画像1510を示している。図15の例に示すように、AIは、気胸1512を41%の信頼度で識別し、気胸1512のセグメンテーション1520にわたる面積を26,172ピクセルとして識別した。曝気された左肺面積は、254,905ピクセルのセグメンテーションマスク1530を含み、気胸面積と曝気された左肺面積の比率が10%になり、これは損なわれた肺領域の量の改善を示している。
特定の例示的な方法、装置および製品が本明細書で説明されたが、本特許の対象範囲は、これらに限定されない。むしろ反対に、本特許は、本特許の特許請求の範囲の技術的範囲に正当に含まれるすべての方法、装置および製品を包含する。
[実施態様1]
人工知能分類器(120、220)であって、
第1の時間から患者の第1の画像データを処理して、前記患者の状態の第1の重症度を示す第1の分類結果を決定し、
第2の時間から前記患者の第2の画像データを処理して、前記患者の前記状態の第2の重症度を示す第2の分類結果を決定する
人工知能分類器(120、220)と、
前記第1の分類結果と前記第2の分類結果を比較して、変化および前記変化に関連する前記状態の進行を決定する比較器(240)と、
前記進行が前記状態の悪化に対応するときにアクションをトリガする出力生成器(250)と
を備える、画像処理装置(200)。
[実施態様2]
前記アクションは、前記状態に対処するための前記患者に対する警報、アクションの推奨、前記アクションの指示、または調整の少なくとも1つを含む、実施態様1に記載の装置(200)。
[実施態様3]
前記人工知能分類器(120、220)は、前記状態の重症度の少なくとも3つのクラスに関して訓練される、実施態様1に記載の装置(200)。
[実施態様4]
前記人工知能分類器(120、220)は、深層学習ネットワークモデルを含む、実施態様1に記載の装置(200)。
[実施態様5]
前記人工知能分類器(120、220)は、
前記第1の画像データまたは前記第2の画像データの少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける臓器領域の関心領域の第1のマスクを得て、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける前記臓器領域の第2のマスクを得る画像セグメンタ(1010)と、
前記第1のマスクと前記第2のマスクを比較して比率メトリックを算出し、前記第1の画像データまた前記は第2の画像データの前記少なくとも1つにおける関心領域を定量化する比率コンピュータ(1030)と、
前記比率メトリックと基準の比較に基づいて、前記第1の分類結果または前記第2の分類結果の少なくとも1つを生成する状態比較器(1040)と
を含む、実施態様1に記載の装置(200)。
[実施態様6]
前記人工知能分類器(120、220)は、前記第1のマスクおよび前記第2のマスクを、前記状態比較器(1040)の1つまたは複数の記述注釈と組み合わせるマスク結合器(1020)をさらに含む、実施態様5に記載の装置(200)。
[実施態様7]
前記状態は、気胸を含み、前記臓器領域は、肺領域を含み、前記第1のマスクは、前記肺領域の虚脱関心領域を含む、実施態様6に記載の装置(200)。
[実施態様8]
実行されると、少なくとも1つのプロセッサ(1312)に、少なくとも、
第1の時間から患者の第1の画像データを処理して、前記患者の状態の第1の重症度を示す第1の分類結果を決定させ、
第2の時間から前記患者の第2の画像データを処理して、前記患者の前記状態の第2の重症度を示す第2の分類結果を決定させ、
前記第1の分類結果と前記第2の分類結果を比較して、変化および前記変化に関連する前記状態の進行を決定させ、
前記進行が前記状態の悪化に対応するときにアクションをトリガさせる
命令を含む、少なくとも1つのコンピュータ可読記憶媒体。
[実施態様9]
前記アクションは、前記患者に対する警報、指示、または調整の少なくとも1つを含む、実施態様8に記載の少なくとも1つのコンピュータ可読記憶媒体。
[実施態様10]
前記第1の画像データおよび前記第2の画像データは、人工知能分類器(120、220)を使用して処理され、前記人工知能分類器(120、220)は、前記状態の重症度の少なくとも3つのクラスに関して訓練されるモデルを含む、実施態様8に記載の少なくとも1つのコンピュータ可読記憶媒体。
[実施態様11]
前記モデルは、深層学習ネットワークモデルを含む、実施態様10に記載の少なくとも1つのコンピュータ可読記憶媒体。
[実施態様12]
前記命令は、実行されると、前記少なくとも1つのプロセッサ(1312)にさらに、
前記第1の画像データまたは前記第2の画像データの少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける臓器領域の関心領域の第1のマスクを得させ、
前記第1の画像データまたは前記第2の画像データの前記少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける前記臓器領域の第2のマスクを得させ、
前記第1のマスクと前記第2のマスクを比較して比率メトリックを算出し、前記第1の画像データまた前記は第2の画像データの前記少なくとも1つにおける関心領域を定量化させ、
前記比率メトリックと基準の比較に基づいて、前記第1の分類結果または前記第2の分類結果の少なくとも1つを生成させる
実施態様8に記載の少なくとも1つのコンピュータ可読記憶媒体。
[実施態様13]
前記命令は、実行されると、前記少なくとも1つのプロセッサ(1312)にさらに、前記第1のマスクおよび前記第2のマスクを1つまたは複数の記述注釈と組み合わさせる、実施態様12に記載の少なくとも1つのコンピュータ可読記憶媒体。
[実施態様14]
前記状態は、気胸を含み、前記臓器領域は、肺領域を含み、前記第1のマスクは、前記肺領域の虚脱関心領域を含む、実施態様12に記載の少なくとも1つのコンピュータ可読記憶媒体。
[実施態様15]
少なくとも1つのプロセッサ(1312)を使用して命令を実行することによって、第1の時間から患者の第1の画像データを処理して、前記患者の状態の第1の重症度を示す第1の分類結果を決定すること(1120)と、
少なくとも1つのプロセッサ(1312)を使用して命令を実行することによって、第2の時間から前記患者の第2の画像データを処理して、前記患者の前記状態の第2の重症度を示す第2の分類結果を決定すること(1130)と、
少なくとも1つのプロセッサ(1312)を使用して命令を実行することによって、前記第1の分類結果と前記第2の分類結果を比較して(1140)、変化および前記変化に関連する前記状態の進行を決定すること(1150)と、
少なくとも1つのプロセッサ(1312)を使用して命令を実行することによって、前記進行が前記状態の悪化に対応するときにアクションをトリガすること(1170)と
を含む、コンピュータ実装方法(1100)。
[実施態様16]
前記第1の画像データおよび前記第2の画像データは、人工知能分類器(120、220)を使用して処理され、前記人工知能分類器(120、220)は、前記状態の重症度の少なくとも3つのクラスに関して訓練されるモデルを含む、実施態様15に記載の方法(1100)。
[実施態様17]
前記モデルは、深層学習ネットワークモデルを含む、実施態様15に記載の方法(1100)。
[実施態様18]
前記第1の画像データまたは前記第2の画像データの少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける臓器領域の関心領域の第1のマスクを得ること(1220)と、
前記第1の画像データまたは前記第2の画像データの前記少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける前記臓器領域の第2のマスクを得ること(1230)と、
前記第1のマスクと前記第2のマスクを比較して比率メトリックを算出し(1250)、前記第1の画像データまた前記は第2の画像データの前記少なくとも1つにおける関心領域を定量化すること(1260)と、
前記比率メトリックと基準の比較に基づいて、前記第1の分類結果または前記第2の分類結果の少なくとも1つを生成することと
をさらに含む、実施態様15に記載の方法(1100)。
[実施態様19]
前記第1のマスクおよび前記第2のマスクを1つまたは複数の記述注釈と組み合わせること(1240)をさらに含む、実施態様18に記載の方法(1100)。
100 状態比較器装置、状態比較器
110 入力
115 入力
120 人工知能(AI)分類器
130 出力比較器、比率コンピュータ
200 臨床進行分析装置、画像処理装置
210 データソース
220 AI分類器
230 データストア
240 比較器
250 出力生成器
260 トリガ
300 学習ニューラルネットワーク
310 入力
312 入力
314 入力
316 入力
320 入力層、第1の層
322 入力ノード
324 入力ノード
326 入力ノード
330 ニューラル接続部
332 接続部
334 接続部
340 隠れ層、第2の層
342 ノード
344 ノード
346 ノード
348 ノード
350 ニューラル接続部
352 接続部
354 接続部
360 隠れ層
362 ノード
364 ノード
366 ノード
368 ノード
370 ニューラル接続部
372 接続部
374 接続部
380 出力層
382 出力ノード
390 出力
400 畳み込みニューラルネットワーク
402 ウィンドウ
404 畳み込み
406 特徴マップ
410 特徴マップ
412 畳み込み
414 特徴マップ
416 サブサンプリング
418 特徴マップ
420 畳み込み
422 分類層、畳み込みされた層
424 N個のカテゴリの出力層
426 接続部
500 畳み込みニューラルネットワーク
502 入力画像
504 畳み込み層
510 関心特徴
512 関心特徴
514 関心特徴
516 関心特徴
518 関心特徴
520 関心特徴
522 関心特徴
530 第2の畳み込み層、画像
532 画像
534 画像
536 画像
538 画像
540 画像
542 画像
544 画像
546 画像
548 画像
550 部分、出力
552 部分、出力
554 部分、出力
600 構成、パッケージ
610 生データ
620 学習ネットワーク
621 学習ネットワーク
622 学習ネットワーク
623 学習ネットワーク
625 画像エンハンサ
630 処理データ
702 入力データセット
704 訓練ネットワーク
706 順方向、前方パス
708 肺結節、ネットワーク結果
710 比較
712 既知の結果、前胸部
714 誤差
716 後方パス
720 入力
722 展開された学習ネットワーク
724 出力、前胸部
810 生の入力データ、入力
820 前処理
830 パッチ作成
840 訓練されたネットワーク
850 出力アセンブル
860 表示
900 学習デバイス
901 訓練デバイス
903 展開されたデバイス
910 入力定義
911 訓練入力
913 入力定義、システム入力
920 学習ネットワークモデル
921 ネットワーク
923 訓練されたネットワーク
930 出力定義、出力
931 出力評価器
933 出力定義
1010 画像セグメンタ
1020 マスク結合器
1030 比率コンピュータ
1040 状態比較器
1100 方法
1300 プロセッサプラットフォーム
1312 プロセッサ
1314 揮発性メモリ、主メモリ
1316 不揮発性メモリ、主メモリ
1318 バス
1320 インターフェース回路
1322 入力デバイス
1324 出力デバイス
1326 ネットワーク
1328 大容量記憶デバイス
1332 コード化された命令
1410 第1の画像
1412 左肺気胸
1414 左肺胸水
1420 セグメンテーション
1430 セグメンテーションマスク
1510 第2の画像
1512 改善された左肺気胸
1514 左肺胸水
1520 セグメンテーション
1530 セグメンテーションマスク

Claims (11)

  1. 人工知能分類器(120、220)であって、
    第1の時間における患者の第1の画像データを処理して、前記患者の状態の第1の重症度を示す第1の分類結果を決定し、
    第2の時間における前記患者の第2の画像データを処理して、前記患者の前記状態の第2の重症度を示す第2の分類結果を決定する
    少なくとも1つの深層学習ネットワークモデルを含む人工知能分類器(120、220)と、
    前記第1の分類結果と前記第2の分類結果を比較して、変化および前記変化に関連する前記状態の進行を決定する比較器(240)と、
    前記進行が前記状態の悪化に対応するときにアクションをトリガする出力生成器(250)とを備え、
    前記人工知能分類器が、さらに
    前記第1の画像データまたは前記第2の画像データの少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける臓器領域の関心領域の第1のマスクを得て、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける前記臓器領域の第2のマスクを得る画像セグメンタ(1010)と、
    前記第1のマスクと前記第2のマスクを比較して比率メトリックを算出し、前記第1の画像データまた前記は第2の画像データの前記少なくとも1つにおける関心領域を定量化する比率コンピュータ(1030)と、
    前記比率メトリックと基準の比較に基づいて、前記第1の分類結果または前記第2の分類結果の少なくとも1つを生成する状態比較器(1040)と
    を備える、画像処理装置(200)。
  2. 前記アクションは、前記状態に対処するための前記患者に対する警報、アクションの推奨、前記アクションの指示、または調整の少なくとも1つを含む、請求項に記載の装置(200)。
  3. 前記人工知能分類器(120、220)は、前記状態の重症度の少なくとも3つのクラスに関して訓練される、請求項に記載の装置(200)。
  4. 前記人工知能分類器(120、220)は、深層学習ネットワークモデルを含む、請求項に記載の装置(200)。
  5. 前記人工知能分類器(120、220)は、前記第1のマスクおよび前記第2のマスクを、前記状態比較器(1040)の1つまたは複数の記述注釈と組み合わせるマスク結合器(1020)をさらに含む、請求項に記載の装置(200)。
  6. 前記状態は、気胸を含み、前記臓器領域は、肺領域を含み、前記第1のマスクは、前記肺領域の虚脱関心領域を含む、請求項に記載の装置(200)。
  7. 実行されると、少なくとも1つのプロセッサ(1312)に、少なくとも、
    少なくとも1つの深層学習ネットワークモデルを使用して、第1の時間における患者の第1の画像データを処理して、前記患者の状態の第1の重症度を示す第1の分類結果を決定させ、
    前記少なくとも1つの深層学習ネットワークモデルを使用して、第2の時間における前記患者の第2の画像データを処理して、前記患者の前記状態の第2の重症度を示す第2の分類結果を決定させ、
    前記第1の分類結果と前記第2の分類結果を比較して、変化および前記変化に関連する前記状態の進行を決定させ、
    前記進行が前記状態の悪化に対応するときにアクションをトリガさせる
    命令を含む、少なくとも1つの有形のコンピュータ可読記憶媒体であって、
    前記命令は、実行されると、前記少なくとも1つのプロセッサ(1312)にさらに、
    前記第1の画像データまたは前記第2の画像データの少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける臓器領域の関心領域の第1のマスクを得させ、
    前記第1の画像データまたは前記第2の画像データの前記少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける前記臓器領域の第2のマスクを得させ、
    前記第1のマスクと前記第2のマスクを比較して比率メトリックを算出し、前記第1の画像データまた前記は第2の画像データの前記少なくとも1つにおける関心領域を定量化させ、
    前記比率メトリックと基準の比較に基づいて、前記第1の分類結果または前記第2の分類結果の少なくとも1つを生成させる少なくとも1つの有形のコンピュータ可読記憶媒体。
  8. 前記アクションは、前記患者に対する警報、指示、または調整の少なくとも1つを含む、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
  9. 前記第1の画像データおよび前記第2の画像データは、人工知能分類器(120、220)を使用して処理され、前記人工知能分類器(120、220)は、前記状態の重症度の少なくとも3つのクラスに関して訓練されるモデルを含む、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
  10. 前記命令は、実行されると、前記少なくとも1つのプロセッサ(1312)にさらに、前記第1のマスクおよび前記第2のマスクを1つまたは複数の記述注釈と組み合わさせる、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
  11. 少なくとも1つのプロセッサ(1312)および少なくとも1つの深層学習モデルを使用して命令を実行することによって、第1の時間における患者の第1の画像データを処理して、前記患者の状態の第1の重症度を示す第1の分類結果を決定すること(1120)と、
    少なくとも1つのプロセッサ(1312)および少なくとも1つの深層学習モデルを使用して命令を実行することによって、第2の時間における前記患者の第2の画像データを処理して、前記患者の前記状態の第2の重症度を示す第2の分類結果を決定すること(1130)と、
    少なくとも1つのプロセッサ(1312)を使用して命令を実行することによって、前記第1の分類結果と前記第2の分類結果を比較して(1140)、変化および前記変化に関連する前記状態の進行を決定すること(1150)と、
    少なくとも1つのプロセッサ(1312)を使用して命令を実行することによって、前記進行が前記状態の悪化に対応するときにアクションをトリガすること(1170)と、
    前記第1の画像データまたは前記第2の画像データの少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける臓器領域の関心領域の第1のマスクを得ること(1220)と、
    前記第1の画像データまたは前記第2の画像データの前記少なくとも1つをセグメント化して、前記第1の画像データまたは前記第2の画像データの前記少なくとも1つにおける前記臓器領域の第2のマスクを得ること(1230)と、
    前記第1のマスクと前記第2のマスクを比較して比率メトリックを算出し(1250)、前記第1の画像データまた前記は第2の画像データの前記少なくとも1つにおける関心領域を定量化すること(1260)と、
    前記比率メトリックと基準の比較に基づいて、前記第1の分類結果または前記第2の分類結果の少なくとも1つを生成することと
    を含む、コンピュータ実装方法(1100)。
JP2019222765A 2018-12-27 2019-12-10 人工知能の検出出力から疾患の進行を決定するシステムおよび方法 Active JP7187430B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/233,670 US10811135B2 (en) 2018-12-27 2018-12-27 Systems and methods to determine disease progression from artificial intelligence detection output
US16/233,670 2018-12-27

Publications (2)

Publication Number Publication Date
JP2020126598A JP2020126598A (ja) 2020-08-20
JP7187430B2 true JP7187430B2 (ja) 2022-12-12

Family

ID=69024153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019222765A Active JP7187430B2 (ja) 2018-12-27 2019-12-10 人工知能の検出出力から疾患の進行を決定するシステムおよび方法

Country Status (4)

Country Link
US (1) US10811135B2 (ja)
EP (1) EP3675130A1 (ja)
JP (1) JP7187430B2 (ja)
CN (1) CN111401398B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030742B2 (en) * 2019-03-29 2021-06-08 GE Precision Healthcare LLC Systems and methods to facilitate review of liver tumor cases
US11199602B2 (en) * 2019-08-29 2021-12-14 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for generating sampling masks related to imaging
IL270116A (en) * 2019-10-23 2021-04-29 De Identification Ltd A system and method for identifying and protecting against cyber attacks against classification systems
EP3836157A1 (en) * 2019-12-12 2021-06-16 Siemens Healthcare GmbH Method for obtaining disease-related clinical information
US11810291B2 (en) 2020-04-15 2023-11-07 Siemens Healthcare Gmbh Medical image synthesis of abnormality patterns associated with COVID-19
US11830606B2 (en) * 2020-04-28 2023-11-28 Siemens Healthcare Gmbh Risk prediction for COVID-19 patient management
US20210398654A1 (en) * 2020-06-22 2021-12-23 Siemens Healthcare Gmbh Automatic detection of covid-19 in chest ct images
CN111798535B (zh) * 2020-09-09 2020-12-01 南京安科医疗科技有限公司 Ct图像增强显示方法及计算机可读存储介质
US11410341B2 (en) 2020-11-20 2022-08-09 GE Precision Healthcare LLC System and method for visualizing placement of a medical tube or line
KR102530010B1 (ko) * 2020-12-16 2023-05-08 가천대학교 산학협력단 의료 영상 기반 질환 중증도 결정 장치 및 방법
EP4020492A1 (en) * 2020-12-28 2022-06-29 Siemens Healthcare GmbH Method and system for automatically determining (alertable) changes of a condition of a patient
CN112863648B (zh) * 2020-12-31 2022-08-26 四川大学华西医院 脑肿瘤术后mri多模态输出系统及方法
CN112819808A (zh) * 2021-02-23 2021-05-18 上海商汤智能科技有限公司 医学图像检测方法及相关装置、设备、存储介质
US20220277841A1 (en) * 2021-03-01 2022-09-01 Iaso Automated Medical Systems, Inc. Systems And Methods For Analyzing Patient Data and Allocating Medical Resources
JP2024510119A (ja) * 2021-03-16 2024-03-06 ディープ バイオ インク ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステム
US11861835B2 (en) * 2021-03-25 2024-01-02 Siemens Healthcare Gmbh Automatic hemorrhage expansion detection from head CT images
WO2022253774A1 (en) * 2021-05-31 2022-12-08 B-Rayz Ag Method for improving the performance of medical image analysis by an artificial intelligence and a related system
JP7430314B2 (ja) * 2021-07-20 2024-02-13 順也 福岡 特徴マップを出力するための機械学習モデルを作成する方法
CN115100179B (zh) * 2022-07-15 2023-02-21 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN117132840B (zh) * 2023-10-26 2024-01-26 苏州凌影云诺医疗科技有限公司 一种基于AHS分期和Forrest分级的消化性溃疡分类方法和系统
CN117496277B (zh) * 2024-01-02 2024-03-12 达州市中心医院(达州市人民医院) 基于人工智能的直肠癌影像数据建模处理方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013165874A (ja) 2012-02-16 2013-08-29 Hitachi Ltd 画像診断支援システム、プログラム及び記憶媒体
JP2018175227A (ja) 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366797B1 (en) * 1998-08-25 2002-04-02 The Cleveland Clinic Foundation Method and system for brain volume analysis
JP4599191B2 (ja) * 2005-03-01 2010-12-15 国立大学法人神戸大学 画像診断処理装置および画像診断処理プログラム
US7929737B2 (en) * 2005-09-29 2011-04-19 General Electric Company Method and system for automatically generating a disease severity index
US7970188B2 (en) * 2006-11-22 2011-06-28 General Electric Company Systems and methods for automatic routing and prioritization of exams based on image classification
US9946843B2 (en) * 2013-11-13 2018-04-17 Koninklijke Philips N.V. Clinical decision support system based triage decision making
CN106132286B (zh) * 2014-03-07 2020-04-21 心脏起搏器股份公司 多级心力衰竭事件检测
US10219767B2 (en) * 2014-10-13 2019-03-05 Koninklijke Philips N.V. Classification of a health state of tissue of interest based on longitudinal features
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
US11282602B2 (en) * 2016-10-26 2022-03-22 Carefusion 2200, Inc. Device and method for mobile monitoring of drainage catheter
US10169872B2 (en) * 2016-11-02 2019-01-01 International Business Machines Corporation Classification of severity of pathological condition using hybrid image representation
EP3589190B1 (en) * 2017-03-01 2022-12-28 TherMidas Oy Multimodal medical imaging and analyzing system, method and server
US11004559B2 (en) * 2017-12-15 2021-05-11 International Business Machines Corporation Differential diagnosis mechanisms based on cognitive evaluation of medical images and patient data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013165874A (ja) 2012-02-16 2013-08-29 Hitachi Ltd 画像診断支援システム、プログラム及び記憶媒体
JP2018175227A (ja) 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Also Published As

Publication number Publication date
US20200211694A1 (en) 2020-07-02
CN111401398A (zh) 2020-07-10
JP2020126598A (ja) 2020-08-20
CN111401398B (zh) 2023-11-14
EP3675130A1 (en) 2020-07-01
US10811135B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
JP7187430B2 (ja) 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
US11712208B2 (en) Systems and methods to deliver point of care alerts for radiological findings
US11341646B2 (en) Systems and methods to deliver point of care alerts for radiological findings
US11049250B2 (en) Systems and methods to deliver point of care alerts for radiological findings
US10628943B2 (en) Deep learning medical systems and methods for image acquisition
US10565477B2 (en) Deep learning medical systems and methods for image reconstruction and quality evaluation
JP7053541B2 (ja) 患者固有の深層学習画像ノイズ除去方法およびシステム
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US11443201B2 (en) Artificial intelligence-based self-learning in medical imaging
US10984894B2 (en) Automated image quality control apparatus and methods
US20240127436A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10957038B2 (en) Machine learning to determine clinical change from prior images
US20220284579A1 (en) Systems and methods to deliver point of care alerts for radiological findings
CN114220534A (zh) 针对前列腺癌的多模态计算机辅助诊断系统和方法
US11410341B2 (en) System and method for visualizing placement of a medical tube or line
US20220331556A1 (en) System and method for visualizing placement of a medical tube or line

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220922

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221011

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R150 Certificate of patent or registration of utility model

Ref document number: 7187430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150