JP6139112B2 - 方法及びコンピュータ可読媒体 - Google Patents

方法及びコンピュータ可読媒体 Download PDF

Info

Publication number
JP6139112B2
JP6139112B2 JP2012251729A JP2012251729A JP6139112B2 JP 6139112 B2 JP6139112 B2 JP 6139112B2 JP 2012251729 A JP2012251729 A JP 2012251729A JP 2012251729 A JP2012251729 A JP 2012251729A JP 6139112 B2 JP6139112 B2 JP 6139112B2
Authority
JP
Japan
Prior art keywords
user
image
protocol
layout
hanging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012251729A
Other languages
English (en)
Other versions
JP2013106951A (ja
JP2013106951A5 (ja
Inventor
シャイ・デケル
アレキザンダー・シャーマン
ソハン・ラッシュミ・ランジャン
ヴィスワナース・アヴァサララ
シャオフェン・リュ
アレクザンドレ・ニコロフ・アイアンコルスキ
ティアンイ・ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2013106951A publication Critical patent/JP2013106951A/ja
Publication of JP2013106951A5 publication Critical patent/JP2013106951A5/ja
Application granted granted Critical
Publication of JP6139112B2 publication Critical patent/JP6139112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Description

本発明は、一般に画像保存通信システムにおけるハンギングプロトコル構成に関する。詳細には、本発明のいくつかの実施形態は、画像保存通信システムにおける機械学習ベースのハンギングプロトコル構成に関する。
病院または診療所などの医療環境は、病院情報システム(「HIS」)および放射線部門情報システム(「RIS」)などの臨床情報システムと、画像保存通信システム(「PACS」)などの記憶システムとを含む。記憶される情報は、例えば、患者の医療履歴、画像データ、試験結果、診断情報、管理情報、および/またはスケジューリング情報を含むことができる。情報は、1箇所にまとめて記憶することができるが、複数の場所に分割することもできる。健康管理従事者は、健康管理のワークフローにおける様々な時点で、患者情報または他の情報にアクセスすることを望むことがある。例えば、手術中に、医療要員は、医療情報システムに記憶された患者の解剖学的構造の画像など、患者情報にアクセスすることがある。あるいは、医療要員は、現在進められている医療手順の間に、医療情報システムに履歴、診断、または治療情報などの新しい情報を入力することもある。
放射線または心臓病手法における読影など、読影は、患者のデジタル画像を閲覧する、放射線専門医または心臓病専門医などの健康管理従事者の一過程である。医療従事者は、診断画像の内容に基づいて診断を行い、結果を(例えば、口述で、またはその他の形で)電子的に、または書類で報告する。放射線専門医または心臓病専門医などの医療従事者は、通常、診断を行うために他のツールを使用する。他のツールのいくつかの例は、先に行われた、または関連して先に行われた(履歴的な)検査およびその結果、検査室試験(血液検査など)、アレルギー、病理学結果、投薬、警告、文書画像、および他のツールである。
画像保存通信システム(「PACS」)は、医療診断撮像装置に接続され、また(取得装置とPACSの間の)取得ゲートウェイ、記憶および保存ユニット、表示ワークステーション、データベース、および高度なデータプロセッサを使用する。これらの構成要素は、通信ネットワークおよびデータ管理システムにより共に統合される。PACSは、一般に、健康管理の運用を合理化し、分散された遠隔の検査および診断を容易にし、かつ患者の介護を改善する全体的な目標を有する。
PACSシステムの典型的な用途は、医療専門家の調査用に1つまたは複数の医療画像を提供することである。例えば、PACSシステムは、一連のX線画像を表示ワークステーションに提供することができ、放射線専門医が診断調査を行うように画像が表示される。これらの画像の提示に基づいて、放射線専門医は診断を行うことができる。例えば、放射線専門医は、患者の肺のX線画像中に腫瘍または病変を診断することができる。
現在のPACSシステムは、画像の表示またはレイアウトをフォーマット化するための、「ハンギングプロトコル」として知られる一般的な技法を使用する。ハンギングプロトコルにより、ユーザは、モダリティ、解剖学的構造、および手順に基づいて画像を表示することができる。ハンギングプロトコルは、放射線専門医などのユーザに、パースペクティブもしくはビューを提示する。画像は、DICOMシリーズまたはシリーズ番号などの特性によりグループ化することができる。
さらに、PACSシステムは、デフォルト表示プロトコル(「DDP」)と呼ばれるハンギングプロトコルに含まれる一連の処理ステップまたは処理機能を適用することにより、ユーザが閲覧するための画像を前処理するように試みる。DDPは、画像データを特定のモニタ構成上でユーザに提示するように前処理するために、一連の画像処理機能を画像データに適用するデフォルトのワークフローである。DDPは、通常、任意の画像の診断調査の前に適用される処理ステップまたは処理機能を含む。DDPは、例えば、画像データを取得するために使用される撮像モダリティのタイプに基づくことができる。一般に、DDPは、多くのユーザに最も有用な方法で、画像データを提示するように試みる。
現在、PACSアプリケーションにおけるハンギングまたは表示プロトコルは、スタディタイプを分類し、かつそのスタディをどのように表示すべきかを決定するために、画像のDICOMヘッダおよびHL−7順序情報の個々のデータ要素を使用する。
米国特許出願公開第2010/0080427号公報
本発明のいくつかの実施形態は、スタディ中の臨床画像を表示するためのハンギングプロトコルを決定する方法およびシステムを提供する。
いくつかの実施形態は、臨床画像を表示するためのハンギングプロトコルを決定する方法を提供する。例示的な方法は、第1のセッションで、プロセッサを用いて、ユーザのワークフローをモニタするステップを含む。例示的な方法は、第2のセッションで、プロセッサを用いて、反復設定のためにワークフローの少なくとも一部を記録する/教示するユーザ入力を受け入れるステップを含む。例示的な方法は、モニタリングおよびユーザ入力に基づいて、1組のユーザの好みを開発するステップを含む。例示的な方法は、1つまたは複数の機械学習アルゴリズムを適用して、ハンギングプロトコルとして選択しかつ適用するための1つまたは複数の候補レイアウトを開発するステップを含む。
いくつかの実施形態は、プロセッサで実行される1組の命令を含む有形のコンピュータ可読記憶媒体を提供し、命令は、実行されたとき、臨床画像を表示するためのハンギングプロトコルを決定する方法を実施する。例示的な方法は、第1のセッションで、ユーザのワークフローをモニタするステップを含む。例示的な方法は、第2のセッションで、反復設定のためにワークフローの少なくとも一部を記録する/教示するユーザ入力を受け入れるステップを含む。例示的な方法は、モニタリングおよびユーザ入力に基づいて、1組のユーザの好みを開発するステップを含む。例示的な方法は、1つまたは複数の機械学習アルゴリズムを適用して、ハンギングプロトコルとして選択しかつ適用するための1つまたは複数の候補レイアウトを開発するステップを含む。
いくつかの実施形態は、機械学習ハンギングプロトコル解析システムを提供する。例示的なシステムは、画像データを処理して1つまたは複数の特徴を提供するための画像処理モジュールを含む。例示的なシステムは、処理された画像データおよびさらなるデータを受け取り、処理された画像データおよびさらなるデータに、1つまたは複数の機械学習アルゴリズムを適用することにより、反復使用のためにハンギングプロトコルを学習しかつ適合させる学習エンジンを含む。学習エンジンは、処理された画像データおよびさらなるデータに基づいて、候補レイアウトの利用可能な選択の改良を継続して行い、画像および他のデータを表示するハンギングプロトコルを形成するように選択するための1つまたは複数のレイアウト選択肢を提供する。
例示的な画像保存通信システムを示す図である。 例示的な放射線ワークフローを示す図である。 本発明の実施形態による適切なハンギングまたは表示プロトコルを決定するためのシステムの例を示す図である。 機械学習により得られたマッピングの例示的な視覚化を提供する図である。 例示的な機械学習アルゴリズムのための高レベルのデータフローを示す図である。 例示的な事例ベースの推論システムの流れ図である。 画像処理モジュールを含む例示的なハンギングプロトコル学習システムを示す図である。 ハンギングプロトコル構成およびアプリケーションのための学習アルゴリズムの例示的なハンギングまたは表示プロトコルレイアウト、およびアプリケーションを提供する図である。 ハンギングプロトコル構成およびアプリケーションのための学習アルゴリズムの例示的なハンギングまたは表示プロトコルレイアウト、およびアプリケーションを提供する図である。 ハンギングプロトコル構成およびアプリケーションのための学習アルゴリズムの例示的なハンギングまたは表示プロトコルレイアウト、およびアプリケーションを提供する図である。 ハンギングプロトコル構成およびアプリケーションのための学習アルゴリズムの例示的なハンギングまたは表示プロトコルレイアウト、およびアプリケーションを提供する図である。 ハンギングプロトコル構成およびアプリケーションのための学習アルゴリズムの例示的なハンギングまたは表示プロトコルレイアウト、およびアプリケーションを提供する図である。 本明細書で述べるシステム、装置、および方法を実施するために使用できる例示的なプロセッサシステムのブロック図である。
前述の要約、ならびに本発明のいくつかの実施形態の以下の詳細な記述は、添付の図面を併せて読めばよく理解されよう。本発明を例示するために、いくつかの実施形態が、図面で示される。しかし、本発明は、添付の図面で示された構成および手段に限定されないことを理解されたい。
いくつかの実施形態は、ユーザから収集された情報に基づいて、ハンギングプロトコルを自動的に作成するためのシステムおよび方法を提供する。いくつかの実施形態は、画像の取得に変化が生じたとき、ユーザの必要性または要求に適合させるように継続できるハンギングまたは表示プロトコルを提供する。
いくつかの例は、患者の解剖学的構造および疾患、放射線専門医のタスクおよび好みなどを理解しているハンギングプロトコルを提供する。いくつかの例は、ハンギングプロトコルを生成するが、ユーザの好み、データの可変性および複雑性、一貫性のない、または失われたメタデータ、1つの読影における複数のタスクなどを補償する。
いくつかの例では、ユーザ対話のログが記録される。関連する撮像スタディが取得される。例示的なテンプレートからマッピングが学習され、そのマッピングは、記録され、解析された使用データにより改良される。
以下では、特に、ハードウェア上で実行されるソフトウェアを含む例示的な方法、システム、製品、および装置が開示されるが、このような方法および装置は、単に例示的なものに過ぎず、限定するものと見なされるべきではないことに留意されたい。例えば、これらのハードウェアおよびソフトウェア構成要素の任意のもの、またはすべては、排他的にハードウェアで、排他的にソフトウェアで、排他的にファームウェアで実施することができるか、あるいはハードウェア、ソフトウェアおよび/またはファームウェアの任意の組合せで実施できることが企図される。したがって、以下では、例示的な方法、システム、製品、および装置が述べられるが、提供される諸例は、このような方法、システム、製品、および装置を実施するための唯一の方法ではない。
添付の特許請求の範囲のいずれかが、純粋にソフトウェアおよび/またはファームウェアの実装を含むものと読まれる場合、少なくとも1つの例における要素の少なくとも1つは、そのソフトウェアおよび/またはファームウェアを記憶するメモリ、DVD、CD、Blue−ray(ブルーレイ)などの有形の媒体を含むことが、本明細書で明示的に規定される。
ハンギング/表示プロトコルのルールは、モダリティ、体の部分(複数可)、検査手順(複数可)、履歴カウント、モニタカウント、および同様のものなどの変数に対して構成される。多くの変数を補償することは、ハンギングプロトコルに対する多くの置換を含む。さらに、典型的なスタディは、現在では、個々の画像ではなく、いくつかのシリーズを含む。特定の画像に関するDICOMヘッダ情報を調べるのに代えて、画像シリーズおよび/またはスタディに関する少なくともいくつかの関係情報を取り込み、適切なハンギングプロトコルを決定するために使用することができる。ハンギング/表示プロトコルに対するガイドラインとして高レベルの特性を使用することは、上記で列挙した個々の変数のすべてに対する明示的なルールをなくすことに役立つことができる。
図1は、本発明の実施形態により使用される例示的な画像保存通信システム(PACS)100を示している。PACSシステム100は、撮像モダリティ110、取得ワークステーション120、PACSサーバ130、および1つまたは複数のPACSワークステーション140を含む。システム100は、任意の数の撮像モダリティ110、取得ワークステーション120、PACSサーバ130、およびPACSワークステーション140を含むことができ、また図1で示したシステム100の実施形態に決して限定されることはない。システム100の構成要素は、例えば、有線および/または無線通信を介して通信することができ、例えば、別個のシステムにする、かつ/または様々な程度に統合することができる。
動作においては、撮像モダリティ110は、患者の解剖学的構造の1つまたは複数の画像を取得する。撮像モダリティ110は、医療診断用の撮像装置など、患者の解剖学的構造の画像を取り込むことのできる任意の装置を含むことができる。例えば、撮像モダリティ110は、X線イメージャ、超音波スキャナ、磁気共鳴イメージャ、または同様のものを含むことができる。画像(複数可)を表す画像データは、撮像モダリティ110と取得ワークステーション120の間で伝達される。画像データは、例えば、有線または無線接続を介して電子的に通信することができる。
実施形態では、取得ワークステーション120は、PACSワークステーション140上で閲覧するように画像を前処理するために、例えば、1つまたは複数の前処理機能を画像データに適用することができる。例えば、取得ワークステーション120は、生の画像データをDICOM規格フォーマットに変換する、またはDICOMヘッダに付加することができる。前処理機能は、例えば、モダリティ特有の強調として特徴付けられ(例えば、特定のX線撮像装置に特有のコントラストまたは周波数補償機能など)、撮像および表示ワークフローの開始時に適用することができる。前処理機能は、処理機能が、モダリティ特有のものではなく、撮像および表示ワークフローの最後に(例えば、表示ワークステーション140で)適用される点で、画像データに適用される処理機能とは異なっている。
画像データは、次いで、取得ワークステーション120とPACSサーバ130の間で通信することができる。画像データは、例えば、有線または無線接続を介して電子的に通信することができる。
PACSサーバ130は、PACSワークステーション140において後で取り出し、かつ閲覧するために、画像データを記憶するのに適したコンピュータ可読記憶媒体を含むことができる。PACSサーバ130はまた、1つまたは複数のPACSワークステーション140により画像データをさらに処理する、かつ/または前処理するための1つまたは複数のソフトウェアアプリケーションを含むことができる。
1つまたは複数のPACSワークステーション140は、サーバ130と通信できる、または通信するように構成される。PACSワークステーション140は、例えば、汎用の処理回路、PACSサーバ130インターフェース、ソフトウェアメモリ、および/または画像表示モニタを含むことができる。PACSサーバ130インターフェースは、TCP/IPベースのネットワークに接続するネットワークカードとして実装することができるが、例えば、パラレルポートインターフェースとして実装することもできる。
PACSワークステーション140は、1人または複数のユーザに表示するために、サーバ130から画像データを取得する、または受け取ることができる。例えば、PACSワークステーション140は、患者の胸部のコンピュータX線撮影(「CR」)画像を表す画像データを取得する、または受け取ることができる。放射線専門医またはユーザは、次いで、例えば、腫瘍、病変など、何らかの関心対象を求めて画像を調べることができる。
PACSワークステーション140はまた、画像データに処理機能を適用することができる、または適用するように構成されうる。例えば、ユーザは、処理機能を適用して、画像データを表す画像内の特徴を強調することを望むことがある。処理機能は、したがって、ユーザの画像診断を容易にするために、患者の解剖学的構造の画像を調整することができる。このような処理機能は、画像データの視覚的な外観、または表現を変更することのできる任意のソフトウェアベースのアプリケーションを含むことができる。例えば、処理機能は、画像を反転する(flipping)こと、画像をズームすること、画像を横断してパニングすること、画像データのグレースケール表現におけるウィンドウおよび/またはレベルを変えること、ならびに画像のコントラストおよび/または輝度を変えることのうちの任意の1つまたは複数のものを含むことができる。
実施形態では、PACSシステム100は、PACSワークステーション140で画像を閲覧するために、かつ/またはアプリケーションにアクセスするために1つまたは複数のパースペクティブを提供することができる。パースペクティブは、PACSワークステーション140でローカルに、かつ/またはPACSサーバ130から遠隔的に提供することができる。実施形態では、PACSシステム100は、複数のパースペクティブにより画像を再検討するために使用できるパースペクティブマネジャを含む。PACSサーバ130および/またはPACSワークステーション140は、パースペクティブマネジャを含むことができるが、あるいはパースペクティブマネジャは、別個のシステムに実装されてもよい。一実施形態では、各PACSワークステーション140が、パースペクティブマネジャを含むことができる。
動作において、例えば、放射線専門医などのユーザは、PACSワークステーション140で再検討するために、選別用乳房X線画像、胸部選別画像、ならびに/または他のコンピュータX線撮影法(「CR」)、デジタルX線撮影法(「DR」)、および/またはデジタルX線(「DX」)選別画像など、1組の画像を選択する。画像は、例えば、デフォルトのパースペクティブ、および/またはカスタマイズされたパースペクティブで表示することができる。
上記で述べたように、ユーザは、画像中の特徴をさらに強調するために1つまたは複数の画像に対してさらなる処理を適用することを望む可能性がある。例えば、ユーザは、正確な診断を行うことを目的として、ユーザの信頼度水準に従って画像を提示するように変更するために、画像に対して、さらなる処理機能、ステップ、および/または要素などを適用することを望むことがある。言い換えると、様々なユーザが、デフォルトの画像処理ワークフローに含まれるものとは異なる、またはさらなる処理を適用することを望むことがある。
さらなる画像処理は、診断調査のために画像を前処理するのに有用な任意の画像処理を含むことができる。例えば、上記で述べたように、画像処理ステップ(デフォルトの画像処理ステップとして、またはさらなる画像処理ステップとして)は、画像を反転すること、画像をズームすること、画像を横断してパニングすること、ならびに画像のウィンドウ、レベル、輝度およびコントラスト設定のうちの1つまたは複数のものを変えることを含むことができる。画像データは、例えば、他の画像(複数可)と同じ、かつ/または異なる処理、表示プロトコル、および/またパースペクティブを用いて、PACSワークステーション140上で表示することができる。
PACSワークステーション140は、1人または複数のユーザに表示するために、サーバ130から画像データを取得する、または受け取ることができる。例えば、PACSワークステーション140は、患者の胸部のコンピュータX線撮影画像を表す画像データを取得する、または受け取ることができる。放射線専門医は、次いで、例えば、腫瘍、病変などの何らかの関心対象を求めて、表示装置上で表示された画像を調べることができる。
PACSワークステーション140はまた、サーバ130から1つまたは複数のハンギングプロトコルを取得する、かつ/または受け取ることができる、または受け取るように構成される。例えば、デフォルトのハンギングプロトコルは、サーバ130からPACSワークステーション140に伝達されうる。ハンギングプロトコルは、例えば、有線または無線接続を介して、サーバ130とPACSワークステーション140の間で通信することができる。
概して、PACSワークステーション140は、サーバ130から取得した、かつ/または受け取った画像データを表す画像を提示することができる。PACSワークステーション140は、ハンギングプロトコルに従って画像を提示することができる。上記で述べたように、ハンギングプロトコルは、PACSワークステーション140の表示装置上で、画像を提示し、フォーマット化し、かつその他の形で編成するための1組の表示ルールである。表示ルールは、1つまたは複数の画像を、特定の時間的かつ/または空間的レイアウトもしくはシーケンスで提示するための規定である。例えば、ハンギングプロトコルは、コンピュータに、複数の画像を表示装置上の一定の位置に表示させる、かつ/または複数の画像を一定のシーケンスまたは順序で表示させる1組のコンピュータ可読命令(または例えば、表示ルール)を含むことができる。他の例では、ハンギングプロトコルは、コンピュータに、複数の画像を、表示装置上の複数の画面に、かつ/または表示域に配置させる1組のコンピュータ可読命令を含むことができる。概して、ハンギングプロトコルは、画像中で特徴付けられた患者の解剖学的構造の診断調査用に複数の画像を提示するために使用することができる。
ハンギングプロトコルは、例えば、PACSワークステーション140に、同じ解剖学的構造の横方向画像の隣に前後方向(「AP」)画像を表示させることができる。他の例では、ハンギングプロトコルは、PACSワークステーション140に、横方向画像を表示する前に、AP画像を表示させることができる。概して、ハンギングプロトコルは、PACSワークステーション140で、複数の画像を空間的かつ/または時間的に提示するように指示する。
ハンギングプロトコルは、デフォルト表示プロトコル(「DDP」)とは異なることができる。しかし、その用語はまた、相互に交換可能に、かつ/または重複する状況で使用することもできる。概して、DDPは、一連の画像処理機能を画像データに適用するデフォルトのワークフローである。画像処理機能は、(画像データに基づいて)画像をユーザに提示するために画像データに適用される。画像処理機能は、画像データの外観を変える。例えば、画像処理機能は、画像のコントラストレベルを変えることができる。
DDPは、通常、画像の何らかの診断調査を行う前に適用される処理ステップ、機能、ブロック、および/または要素などを含む。例えば、処理機能は、(画像データに基づいて)画像内の特徴を強調するために、画像データに適用することができる。このような処理機能は、画像データの視覚的外観、または表現を変えることのできる任意のソフトウェアベースのアプリケーションを含むことができる。例えば、処理機能は、画像を反転すること、画像をズームすること、画像を横断してパニングすること、画像データの表現におけるウィンドウおよび/またはレベル設定を変えること、ならびに画像データの表現におけるコントラストおよび/または輝度設定を変えることのいずれか1つまたは複数のものを含むことができる。
DDPは、通常、画像データを取得するために使用される撮像モダリティのタイプに基づいている。例えば、一般にCTまたはMR撮像装置で取得される画像データ、あるいは特定のCTもしくはMR撮像装置で取得される画像データは、同じまたは同様のDDPを画像データに適用させることができる。概して、DDPは、多くのユーザに最も有用であるように画像データを提示するように試みる。
反対に、ハンギングプロトコルを画像データに適用することは、(画像データに基づいて)画像の外観を変えることも、変えないこともありうるが、そうではなくて、上記で述べたように、画像(複数可)をどのように提示するかを指示することができる。
サーバ130は、複数のハンギングプロトコルおよび/またはDDPを記憶することができる。サーバ130に記憶され、まだ変更されていない、またはカスタマイズされていないハンギングプロトコルおよび/またはDDPは、デフォルトのハンギングプロトコル/DDPである。デフォルトのハンギングプロトコルおよび/またはDDPは、例えば、手動選択、ユーザ識別、および/または画像データの前処理など、任意の数の関連する因子に基づいて、複数のデフォルトのハンギングプロトコルおよび/またはDDPから選択することができる。
具体的には、デフォルトのハンギングプロトコルおよび/またはDDPは、ユーザがその特定のプロトコルを選択した後、単に、そのデフォルトのプロトコルを伝達することによる手動の選択に基づいて選択することができる。ユーザは、例えば、PACSワークステーション140で選択を行うことができる。
他の例では、デフォルトのプロトコルは、ユーザ識別に基づいて選択することができる。例えば、ユーザは、好ましいDDPを有することができる。DDPは、画像の特定の時間的かつ/または空間的レイアウトに対するユーザの好みを満たすようにカスタマイズすることができる。例えば、ユーザが、(例えば、正しいログインとパスワードの組合せを入力することにより、または何らかの他のタイプのユーザ識別手順により)PACSワークステーション140へのアクセス権を取得した後、好ましいDDPがPACSワークステーション140に伝達されうる。
他の例では、デフォルトのプロトコルは、画像データの前処理に基づいて選択することができる。画像データの前処理は、ユーザにより再検討するために画像を処理する、当業者に知られた任意の画像処理を含むことができる。前処理はまた、例えば、画像データのコンピュータ支援診断(「CAD」)を含むことができる。画像データのCADは、関心対象に関する画像データを自動的に解析するコンピュータ(または同様の演算ユニット)を含むことができる。例えば、CADは、肺、病変、腫瘍などの画像中の結節などを求めて画像データを解析するソフトウェアアプリケーションを含むことができる。しかし、CADアプリケーションは、当業者に知られた画像データの任意の自動解析を含むことができる。
例えば、肺腫瘍のCAD所見に対応するデフォルトのハンギングプロトコルは、例えば、互いに隣接する後前方向(「PA」)および横方向の肺画像の提示を行い、その後に、コンピュータ断層撮影法(「CT」)の肺画像を提示し、その後に磁気共鳴法(「MR」)の肺画像を提示することができる。概して、CAD所見に対応するデフォルトのハンギングプロトコルは、放射線専門医に有用となる空間的かつ/または時間的レイアウトで画像を提示するように設計される。例えば、放射線専門医は、互いに隣接するPAおよび横方向の肺画像を閲覧し、その後に、前に取得された肺のマルチスライスCTおよびMR画像を閲覧することにより、CAD所見に関する専門医の再検討において大きく支援される可能性がある。
したがって、CAD所見に基づき、デフォルトのプロトコルは、複数のデフォルトのプロトコルから選択され、かつユーザに画像を提示するために、ワークステーション140において適用することができる。
PACSユーザは、PACSワークステーション140上で複数のアプリケーションを動作させることを望むことがしばしばある。主要なPACSワークフローまたはインターフェースアプリケーションに加えて、ユーザは、外科手術計画ツール、スケジューリングツール、電子メールビューワ、画像処理ツール、および/または他のツールなど、他のアプリケーションにアクセスすることを望むことがある。例えば、PACSユーザはしばしば、電子メールを閲覧し、かつインターネットで情報にアクセスしながら、PACSワークフローエンジンを使用することを好む。統合されたRIS/PACSシステムのユーザは、同時にRISとPACSアプリケーションにアクセスすることを望む可能性がある。しかし、通常、PACSアプリケーションは、すべてのアクティブな表示領域を占めており、ワークステーション140で動作する他のアプリケーションを隠す。例えば、3つのモニタを有するPACSワークステーション140では、PACSワークフローアプリケーションは、3つのモニタをすべて占有する。アプリケーションが開始されたとき、他のアプリケーションは位置が移動されるか、あるいはそのアプリケーションは、下位の最適な表示領域で開始することができる。例えば、ユーザは、3つのモニタのPACSワークステーション140でデータ管理または診断処理ソフトウェアを開始することができ、そのアプリケーションは、カラーモニタで表示されている画像を移動させて、カラーモニタ上で開始することができる。通常、ユーザは、手動でアプリケーションを再編成して、管理アプリケーションをグレースケールモニタ上で表示し、かつ画像をより高い解像度のカラーモニタで表示する必要があるはずである。
いくつかの実施形態は、各ディスプレイが、別個の表示ウィンドウで動作するように、複数のディスプレイを収容する適合可能なPACSシステム100を提供する。すべての表示ウィンドウは、ユーザには透過的な主ウィンドウにより内部で制御される。主の、透過的ウィンドウは、1つまたは複数のどのウィンドウが、PACSアプリケーションを有しており、またどのウィンドウ(複数可)が他のアプリケーションおよび/またはデータを有しているかを追跡する。したがって、PACSアプリケーション、および他のアプリケーションは、複数のディスプレイで同時に表示することができる。
いくつかの実施形態は、PACSワークステーション140と関連するディスプレイの動的な構成を行う。主ウィンドウは、複数のウィンドウにわたるアプリケーション(複数可)およびデータの対話を可能にする。PACSワークステーション140は、複数のディスプレイにわたる複数のウィンドウを含む透過的な、主ウィンドウを動作させる。
PACSワークステーション上でハンギング/表示プロトコルを選択することは、例えば、接続されたディスプレイの数、モダリティ、解剖学的構造、および手順など、複数の基準に基づくことができる。これらの基準に基づき、ユーザは、画像スタディを表示するために使用される1つのデフォルトプロトコルを備える複数のプロトコルを作成することができる。例えば、ハンギングプロトコルは、特定の表示構成に対して作成することができる。ユーザは、異なる表示構成でスタディを適正に表示するために異なるハンギングプロトコルを作成することができる。
しかし、いくつかの実施形態は、例えば、複数のパースペクティブまたはビューを含むプロトコルを作成できるようにする。複数のパースペクティブ/ビューで1つのプロトコルを用いて、ユーザは、異なる表示構成に対する異なるパースペクティブ/ビューをそのプロトコルに関連付けることができる。例えば、ハンギングプロトコルは、1つのデフォルトパースペクティブを備える複数のパースペクティブを含むことができる。デフォルトのパースペクティブは、例えば、手動もしくは自動で、その他の形で指定され、かつ/または決定されない限り、スタディを表示するために使用することができる。
いくつかの実施形態では、パースペクティブ/ビューを備えるハンギングプロトコルは、表示用プロトコルを選択するために1つまたは複数の基準を使用することができる。例えば、モダリティ、解剖学的構造、または体の部分、手順、および/または表示構成に対するデフォルトのビューを、適切な表示プロトコルを選択するのに使用することができる。例えば、表示プロトコルは、モニタ構成に応じた複数の選択肢を有するパースペクティブ/ビューを含む。ユーザは、例えば、異なる表示構成のために異なるビューを備えるハンギングプロトコルを作成することができる。ユーザは、異なるモニタ構成のために、異なるハンギングプロトコルを作成する必要はないが、それに代えて、既存のハンギングプロトコルでさらなるビューを作成することができる。いくつかの実施形態では、ユーザは、スタディを開いた後、異なるパースペクティブ/ビューの間を切り替えることができる。
いくつかの実施形態では、パースペクティブとは、例えば、ワークフローに基づく画像間、および/またはアプリケーション間の視覚的な構成要素の配置、および対話を示すビューまたはレイアウトのことである。医療用パースペクティブは、それに対する複数の利益を生成するために使用することができる。例えば、パースペクティブは、ユーザが閲覧する異なる画像(複数可)間、および/またはアプリケーション(複数可)間で共用する患者コンテキストを提供することができる。さらに例えば、パースペクティブは、任意の所与の時点で、ユーザが、どの画像および/またはアプリケーションを閲覧することを望んでいるかに基づき、様々な構成またはパースペクティブの間で容易に切り替える能力を提供する。さらに例えば、パースペクティブは、特定のワークフローステップを保存する、または「記憶する」能力を提供する。パースペクティブは、例えば、特定のユーザ、グループ、および/または機能に関する情報を保存し、表示する機構を提供する。パースペクティブは、例えば、特定の解像度、表示タイプ、および/または他の構成に関する画像および他のデータを表示するために使用することができる。
パースペクティブは、異なる画像、および/または他のデータもしくはアプリケーションを論理的にグループ化するために使用することができる。例えば、パースペクティブは、例えば、画像、検査結果、検査室データ、患者履歴データ、構造化報告データ、DICOMデータ、および/または他のデータもしくはアプリケーションに対して規定することができる。パースペクティブを規定するために、ルール、構成選択肢、および/または他の基準を規定することができる。いくつかの実施形態では、パースペクティブは、情報を除去する、または変更することはないが、一定の方法で情報を順序付ける。例えば、ユーザにとって重要な情報を最初に表示し、さらなる情報は、別のパースペクティブにより利用することができる。いくつかの実施形態では、パースペクティブは、例えば、ユーザ選択に、または他の構成情報に基づいて自動的に作成することができる。いくつかの実施形態では、パースペクティブは、情報をフィルタし、表示するために、ルールベースのコンテキストマネジャと共に動作することができる。
さらに、デフォルト表示プロトコル(「DDP」)などの表示プロトコルは、コンテンツ、および/または接続されたディスプレイ(複数可)の数に基づいて、1つまたは複数のディスプレイに対して調整されうる。例えば、PACSワークステーション140は、3つのモニタ構成から、1つのモニタ構成へと再構成される場合、DDPは、それに従って修正されうる。いくつかの実施形態は、アプリケーション(複数可)が閉じる、かつ/または開くことに基づき、ならびにウィンドウ(複数可)が活動化される、かつ/または非活動化されることに基づいてDDPを適応させる。例えば、DDPは、どの情報がユーザに表示されるかを決定することができる。DDPは、例えば、利用可能なモニタの数、および表示すべき画像の数に基づいて適応させることができる(例えば、4つの画像が、1つの利用可能なディスプレイで示される、8つの画像が、2つの利用可能なディスプレイで示されるなど)。PACSワークステーション140は、任意のマルチモニタのフル画面、および/または部分画面アプリケーションでDDPを構成することができる。さらに、1つまたは複数のアプリケーションは、単一の画面上でサイズを変える(例えば、最小化する、最大化する、および/またはサイズを変える)ことができる。
病院情報システム(HIS)、放射線部門情報システム(RIS)、心血管情報システム(CVIS)、および/または画像保存通信システム(PACS)などの健康管理情報システムは、効率的な患者介護のための重要な基盤である。PACSシステムは、コンピュータ断層撮影法(CT)、磁気共鳴(MR)などの様々なモダリティからの画像を記憶することができ、一方、RIS、CISまたはHISは、医師の報告、疾患履歴、および/または他の患者に関連するデータなどの非画像情報を含むことができる。再検討する事例に関する結論を得るために、臨床医は、例えば、1組のモニタ上で、関連するデータを一定の順序に編成する。この順序は、再検討下の検査の撮像モダリティ、履歴画像の存在および履歴画像の数、以前の報告、処方された薬剤のリストなど、複数のパラメータに依存することができる。
図2は、例示的な放射線ワークフローを示す。放射線専門医は、PACSなどのシステムにログインし(ブロック210)、自分の作業リストを再検討し(ブロック220)、再検討するためにスタディを選択する(ブロック230)。PACSシステムは、例えば、事前に定義された、かつ/またはユーザが構成可能なハンギングプロトコル(HP)を提供することができる。PACSシステムでは、HPは、医師が再検討している(ブロック250)事例のタイプに応じて、再検討している医師に最適な、またはその他の形で望ましい撮像データを最初の設定(ブロック240)で開くことになる。画像の読取り(250)中に、またはその後に、ユーザは、所見、メモ、指示などを口述して(ブロック260)、スタディを出ることができる(ブロック270)。
しかし、入力データにおけるパラメータの数、およびパラメータの可変性は、非常に大きい可能性があるので、いくつかの場合では、HPを手動で事前に構成することは完全に失敗する。さらにHPを構成するための既存のツールは非常に複雑である。通常、実際の構成は、医師の指導に基づいて、製品の専門家、サポート技術者、または情報技術(IT)管理者により行われる。HP構成ツールの複雑さ、およびそれらを操作する専門家への依存性により、ユーザは、自分だけで変更または改良を加えることができない。
自動的にHPを作成するために様々な方法が提案されてきた。「Systems and Methods for Machine Learning Based Hanging Protocols」と題する、本出願の譲受人に譲渡された米国特許出願公開第20100080427号では、スタディ中の画像の関連性に基づいて、画像スタディに対して1つまたは複数の高レベルの特性が捕捉される。画像は、画像の低レベルの特性に基づいて分類される。低レベルおよび高レベルの特性を組み合わせて、機械学習エンジンは、スタディを分類し、この分類に基づいて、適切なハンギングプロトコルを決定する。「Method for Providing Adaptive Hanging Protocols for Image Reading」と題する、本出願の譲受人に譲渡された米国特許出願公開第20080166070号では、スタディの読取り中に各HPの生産性因子がモニタされ、ユーザの効率性に基づいて計算される。システムは次いで、その効率性因子が大きい場合、他のユーザにより規定された他のハンギングプロトコルに切り替えることをユーザに助言することができる。
「Content Based Hanging Protocols Facilitated by Rules Based System」と題する、本出願と同じ譲受人に譲渡された米国特許第7,525,554号のシステムおよび方法では、ユーザは、デフォルトのハンギングプロトコルを編集し、さらなる表示ルールを作成かつ適用し、ユーザが、様々な画像モダリティに対して様々な表示ルールを選択する回数を追跡できるようになる。次いで、1つまたは複数の閾値に基づいて、システムは、デフォルトのハンギングプロトコルを修正すべきかどうかを自動的に判断し、ユーザの確認後、その変更を適用する。
現在、ユーザが、HPを設定する方法をシステムに直接、かつ明示的に「教示する」ことができる解決策はない。さらに、いくつかの臨床的なワークフローの場合では、医師が再検討するプロセスは、いくつかの明確に規定された特有のステップへと分割される。例えば、あるワークフローにおいて、放射線専門医は、常にX線画像を再検討することにより開始し、次いでCT走査へと進む可能性がある。他のワークフローでは、放射線専門医は、まず現在のスタディを再検討して、その後になって、比較のため、前のスタディを提示するように判断する可能性もある。これらの明確に規定されたステップごとのワークフローは、ユーザごとに、またサイトごとに変わる可能性があるが、1人または複数の特定のユーザ、および所与のワークフローでは非常に固定され、かつ予測可能である。ユーザに、ワークフローの要素または構成要素を明示的に「教示する」(例えば、各要素、ステップなどの開始時に、どのデータを、どんな方法で設定すべきか)ことを可能にする従来のシステムはない。いくつかの例は、このような教示または学習ワークフローを提供する。
図3は、適正なハンギングまたは表示プロトコルを決定するためのシステム300の例を示している。例示的なシステム300は、スタディ情報を含む画像スタディ310、画像のDICOMヘッダ情報を含む1つまたは複数の個々の画像320、機械学習エンジン330、ハンギングまたは表示プロトコル340、およびユーザインターフェース350を含む。システム300の構成要素は、例えば、ソフトウェア、ハードウェア、および/またはファームウェアで実装することができる。
動作においては、スタディ310情報、および個々の画像320情報は、画像スタディから抽出され、かつ機械学習エンジン330に提供される、またはその他の形でアクセス可能になる。初期のユーザ入力、および過去のレイアウトから収集された記憶情報に基づいて、エンジン330は、ユーザインターフェース350を介して画像および/または他のデータを表示するためのハンギング/表示プロトコル340を生成する/選択する。例えば、人工的なニューラルネットワーク、および/または他の適応型処理モデルを、機械学習エンジン330により使用して、利用可能な画像ヘッダ情報、画像間スタディ情報、および保存された従来の情報に基づき、適切なハンギングプロトコル340を選択することができる。
いくつかの実施形態では、使用される機械学習技法のタイプは、人工的なニューラルネットワークである。ハンギング/表示プロトコルアルゴリズムは、スタディに対する高レベルの特性を決定するために、DICOMヘッダ要素を使用することができる。次いで、最初に、ユーザは、1つまたは複数の画像/シリーズをレイアウトする。高レベルの特性とユーザのレイアウトの間の相関は、人工的なニューラルネットワークのノードに記憶される。ユーザが、時間をかけてレイアウトに変更を加えると、人工的なニューラルネットワークのノードが更新され、ノードは進化し続ける。ユーザが新しいスタディを表示するとき、アルゴリズムは、スタディの高レベルの特性を決定し、かつそれらを様々なレイアウトに従って分類する。いくつかの実施形態では、人工的なニューラルネットワークは、例えば、アルゴリズム的な解決策を構築することのできない、望ましい挙動の多くの例が取得できる、かつ/または構造が既存のデータから選択されるシステムで使用される。人工的なニューラルネットワークが上記で論じられているが、ファジー論理、ボルツマン機械、ベイジアンネットワークなどの他の形の人工知能を、機械学習技法として使用して、適用可能なハンギングまたは表示プロトコルを決定することができる。
例えば、エンジン330は、使用される検出法、検出法に対する関連画像の数、および画像のDICOMヘッダ要素間の関連性に基づくモニタ解像度と比較した画像解像度を含む1つまたは複数の高レベルのスタディ特性を補償することができる。例えば、現在および前のスタディにおける患者の様々なシリーズに基づいて、エンジン330で使用されるハンギングプロトコルアルゴリズムは、異常性を検出するために使用される方法を決定することができる。その方法は、ユーザのディスプレイ上で、画像(複数可)および/または他の情報を表示するのに使用されるハンギングプロトコルをランク付けする、または選択するのを助けることができる。様々な方法は、例えば、様々な画像レイアウトを、したがって、様々なハンギングプロトコルまたはDDPを含むことができる。
例えば、患者が、現在および前のCT画像を有する場合、表示の優先順位および位置は、スペースおよび表示品質が許容できる限り、現在および最近の前画像(複数可)に与えることができる。他の例として、造影剤を注入して、または注入せずに、患者に対する画像が取得された場合、現在のスタディの事前および事後の造影画像を互いに隣接するように表示することができ、一方、前のスタディの事前および事後の造影画像シリーズが互いに隣接するように表示される。様々なシリーズの画像間の関係性を調べることから収集された余分の前後関係情報は、スタディのモデル化および表示における精度を向上させる。
いくつかの例は、放射線専門医ワークフローを改良するために「スマートな」ワークフロー機能を提供する。レイアウト、および多数のパラメータを手動で事前に構成するのではなく、例示的なシステムおよび方法は、新しいスタディ/検査を開いたとき、データが(例えば、レイアウト、表示域、自動的な後処理などに関して)ユーザに好ましい方法で設定されるように動作すべく、ユーザの好みを学習する。例えば、「スマートなワークフロー」機能は、ユーザもしくはユーザグループが、特定のワークフローで画像設定を作成する方法を追跡する機械学習アルゴリズムを利用し、これらのレイアウトを、このタイプの新しいスタディに対して複製して、データの可変性を克服する。したがって、アルゴリズムが間違って、最初に最適な画像設定を作成しない場合であっても、アルゴリズムはユーザからの訂正を受け入れ、適合させ、おそらく数回、ユーザがそれを「教示」した後、「最適な」画像設定へと収束する。
いくつかの例は、ユーザの好みに従ってユーザのワークフローを高速化し、かつ/またはその効率を高める。
いくつかの例は、同じスタディタイプ(例えば、様々な販売者、様々な技術者からのモダリティで得られたもの)の異なるラベル付けを自動的に克服するために「スマートな」HPを提供する。例えば、ユーザは、他のパラメータのいくつかの組合せを考慮に入れて1つまたは複数の機械学習アルゴリズムを「教示」する。
いくつかの例は、スタディにおける様々な一連の順序を自動的に克服するために「スマートな」HPを提供する。いくつかの従来の解決策では、システムまたはユーザからのさらなる入力を行わずに、HPは、モダリティを操作する技術者が、予測可能な、決定論的順序でシリーズを作成しているという期待の下に、シリーズにおける順序、または画像に基づき、画像シリーズを単に提示する。しかし、この論理は、異なる販売者からのモダリティが使用されると、または技術者が換えられると直ちに破綻する。現在開示された技術のいくつかの例では、ユーザは、簡単な対話を介して、画像シリーズのどの画像が、閲覧アプリケーションもしくは表示のどの表示域で最初に表示されるべきかに関する論理を、どのパラメータが実際に制御するかを機械学習エンジンに「教示する」。
いくつかの例は、関連する従来のものに関する進んだ自動ローディングを提供する。例えば、「スマートなワークフロー」システムは、(例えば、同じ患者の)現在のスタディと共に、履歴的なスタディ(複数可)の提示に関してユーザから学習する。例えば、腫瘍学では、ユーザは、長期にわたる病変の成長を追跡し、したがって、共に再検討するために、前の画像と現在の画像を提示することを望む。
いくつかの例では、ユーザは、同じ患者のものではない関連する従来のものを、例えば、「教示ファイル」として、かつ/または前に診断された事例と比較するために、自動的にロードするように、「スマートなワークフロー」システムに教示することができる。
いくつかの例では、「スマートなワークフロー」の機械学習エンジンは、検査順序、手順コード、従来の報告など、ドキュメンテーションにおけるキーワードを識別し、またキーワード(複数可)がドキュメンテーション中で見出された場合、学習のためのパラメータとしてそのキーワード(複数可)を使用する。
いくつかの例では、「スマートなワークフロー」は、臨床的に正確なウィンドウのレベル変換(leveling)、ズーム、パン、回転、および/または画像の他の操作(複数可)を複製するために適切なコンピュータビジョンツールを学習し、かつ適用する。
いくつかの例では、機械学習エンジンは、走査されたドキュメンテーションを自動回転させることを含む、表示された撮像データに関連するドキュメンテーションを適切に設定し、または配置することを学習し、したがって、文書は、例えば、直ちに読めるように正しく「提示される(hang)」、または表示される。
いくつかの例では、ユーザが、撮像検査を開始した後、HPシステムは、撮像検査を再検討するために指定されたワークステーションで使用されている1つまたは複数のモニタ上に、撮像データセット(複数可)から様々な画像およびデータを自動的に「提示する(hang)」または配置する。設定が、ユーザの好みによるものである場合、ユーザは、さらなる遅延なしに再検討に進むことができる。しかし、ユーザが、最初の提示に満足せず、実際の事例の再検討を開始する前に、さらにデータと対話する必要がある、または対話したい場合、ユーザは、再検討に進む前に、HPをさらに改良する(例えば、「この設定を学習する」ボタンを使用して)ことができ、したがって、システムは、例えば、自分の好ましい設定からの例により、学習することができる。「この設定を学習する」が使用された後、システムは、その設定および関連するパラメータ(複数可)のスナップショットを作成する。いくつかの例では、システムにより取り込まれるパラメータ(複数可)は、以下の1つまたは複数のものを含む。
1.ユーザ(例えば、医師)の識別子
2.タイムスタンプ
3.データベースの関連性によって現在のスタディに関連付けられた前のスタディと併せたスタディの一意の識別子(ID)
4.スタディの本体部分
5.使用されるモニタの数
6.モニタ上における表示域のレイアウト
7.オーバーレイ表示/非表示、画像グループルールなどのレンダリングパラメータ
8.レイアウトにおける各表示域に対して、
a.レイアウト中の表示域の位置
b.表示域サイズ
c.単一のスライスまたはスタック閲覧モード
d.スタディ識別子
e.履歴レベル
f.シリーズ識別子
g.ウィンドウレベル
h.シリーズ中のどの画像(複数可)が設定で表現されるか
i.ズーム
j.パン
k.回転
l.測定(適用される場合)
9.リンクされた表示域に関する情報
10.(すべてのモニタの)画面キャプチャ
11.以下のものから抽出された、事例を理解するためのキーワード
a.手順名
b.検査順序からのキーワード
c.前の報告(存在する場合)
いくつかの例では、ユーザは、単に最初に提示されるだけではなく、さらなるワークフローステップをシステムに教示することを望む。その場合、ユーザは、好ましい方法で撮像データを設定し、「このワークフローを学習する」を(例えば、ボタンの押下、項目選択、マウスクリックなどにより)選択することができる。
ユーザがシステムに教示することを選択するごとに、現在のステップの番号がグラフィカルユーザインターフェースを介して表示され、インターフェースは、例えば、ワークフローステップのスナップショットの現在の、または全体の組をユーザが編集できるようにする。ユーザは、例えば、ワークフローまたはインターフェース構成の特定のステップもしくは要素へと戻り、その要素の直接設定を取得することができ、その要素の名前を変更するかつ/または要素を修正することが可能になる。
いくつかの例では、機械学習モジュールは、前の検査のハンギングプロトコルの例の訓練セットを含む。上記で述べたように、これらの検査は、ユーザおよびサイト情報を含む、関連するメタデータを有することができる。その例は、例えば、ハンギングプロトコルに関連すると見なされていた特徴により特徴付けられる。その特徴は、数値的な変数(例えば、モニタの数など)、分類的変数(例えば、体の部分など)、および/または自由な形式のテキスト(例えば、シリーズの記述など)に基づいて計算することができる。学習エンジンの出力は、システムが最終的なレイアウトを生成できるようにするパラメータにより特徴付けられた「ハンギングプロトコル」である。図4は、機械学習により得られたマッピングの例示的な視覚化を提供する。
図4の例示的なマッピング400で示すように、1つまたは複数の報告410、1つまたは複数の画像420(例えば、報告(複数可)に関連する画像(複数可)など)、および/または1つまたは複数のメタデータ430(例えば、画像(複数可)および/または報告(複数可)に関連するメタデータなど)は、マッパー(mapper)440により組み合わされ、またはマップされて、レイアウト450を生成する。レイアウト450は、例えば、画像(複数可)、報告(複数可)、およびメタデータの間のマッピングの視覚化を提供する。
図5は、例示的な機械学習アルゴリズムのための高レベルのデータフローを示す。図5の例示的なデータフロー500で示されているように、学習エンジン570は、1つまたは複数のハンギングプロトコルおよび/または1人または複数のユーザに対する好み(複数可)、優先順位(複数可)、要件(複数可)などを学習するための様々な情報を特徴の形で備える。DICOMデータ510、ユーザ選択520、医療報告(複数可)530、知識ベース540などの情報は、特徴抽出550に提供される。DICOMデータ510は、1つまたは複数のスタディ、画像シリーズ、患者検査などに対して、患者情報、走査情報などを含むことができる。ユーザ選択520は、表示域(複数可)情報、表示された従来のもの(複数可)、選択されたコントラストなどを含むことができる。医療報告530は、手順、履歴などを含むことができる。知識ベース540は、オントロジー、アトラス画像、前のスタディ、関連するスタディ、最良の実務などの情報を含むことができる。
提供された情報510〜540からの特徴抽出550に続いて、抽出された特徴は、特徴変更560に提供される。例えば、1つまたは複数のアルゴリズムを、抽出された特徴に適用することができ、学習エンジン570がその特徴を処理し、かつハンギングプロトコル推奨を開発することを可能にする。
いくつかの実施形態では、ハンギングプロトコル(複数可)に関して「怠惰学習器(lazy learners)」アルゴリズムを使用する。人工知能では、怠惰学習は、システムがクエリを受け取る前に訓練データを一般化しようとする熱心学習(eager learning)とは反対に、クエリがシステムに対して行われるまで、訓練データ以外の一般化が表示される学習法である。事例ベースの推論など、怠惰学習法を使用することは、k近傍法アルゴリズムなど、ほぼ局所的なターゲット関数を提供する。ターゲット関数は、システムに対するクエリごとに局所的に近似されるので、怠惰学習システムは、例えば、同時に複数の問題を解決し、かつ問題のドメインにおける変化を成功裡に処理することができる。
怠惰学習器は、パラメータのない学習アルゴリズムであり、学習は、テストケースまたはクエリがシステムに提示されるまで遅延される。怠惰学習器は、ターゲット出力が局所的に近似されるので、例えば、出力が高次元である場合に有用である。事例ベースの学習は、怠惰学習に非常に適した候補であり、以下のように動作する。Xiがi番目の検査の特徴ベクトルであり、Hiがハンギングプロトコルのパラメータ(複数可)を表す場合、訓練セット(X1、H1)、(X2、H2)・・・(Xn、Hn)が与えられると、クエリポイントXq、Hqは以下のように近似される。まず、訓練セットからXqのk個の最近傍数が計算される。計算された近傍点の数は設計パラメータである。2つの事例の間の距離もまた設計パラメータであり、L1ノルム、マハラノビス、標準化ユークリッドなどの様々な尺度を使用することができる。
例えば、平均
および共分散行列Sを有する1群の値から多変数ベクトル
のマハラノビス距離は、
と定義される。
ユークリッド距離は、例えば、以下のように定義することができる。p=(p1、p2、・・・、pn)、およびq=(q1、q2、・・・、qn)がn次元空間における2つの点である場合、pからq、またはqからpへのユークリッド距離は、
で与えられる。
L1ノルムは、以下のように定義することができる。p=(p1、p2、・・・、pn)、およびq=(q1、q2、・・・、qn)がn次元空間における2つの点である場合、pからq、またはqからpの間のL1ノルム距離は、
により与えられる。
k個の最近傍点が見出された後、近傍点の解で適合させることにより、最終的な出力パラメータが生成される。距離尺度、様々な特徴に対する重み付け関数、考慮中の最近傍点の数、および解を適合させるための関数は、例えば、交差検定などの統計的技法を用いて、事例ベースの推論(CBR)システムの性能を最適化するために、または向上させるために、試行錯誤により、または自動的に学習することにより選択される。
いくつかの例では、ユーザは、視覚的なインターフェースを用いて、生成されたハンギングプロトコルに関するフィードバックを提供することができる。例えば、フィードバックは、様々な特徴に使用される重み(複数可)を調整するために使用され、1つまたは複数の進化的アルゴリズムを用いて類似性の尺度を計算し、学習アルゴリズムの性能における誤りを低減し、または最小化する。進化的アルゴリズム(EA)の原理は、例えば、自然の進化のシミュレーションに基づいた一般的な方法論を定義する。EAは、個体の集合体P(t)={P1(t)、P2(t)、・・・、Pp(t)}を任意の時間tで維持することにより探索を行う。生物学的な進化の簡単化した規則をモデルにした「遺伝的」作用素(operator)が適用され、新しく、かつより優れた集団P(t+l)が生成される。このプロセスは、十分によい集団が達成されるまで、または何らかの他の終了条件が満たされるまで継続される。「十分に」とは、例えば、1人または複数のユーザおよび/またはシステムが指定した制約に従って定義することができる。各Pi(t)∈P(t)は、内部のデータ構造により、元の問題に対する可能性のある解を表す。解の表現に密接にリンクしているのは、適合関数y:P(t)−−*Rであり、それは、候補の解に評価を割り当てる。集団における個体は、いくつかの評価基準に従って適応度の値が割り当てられる。適応度の高い個体は、組み替え、または変異操作により子孫を生成する可能性がより高く、弱い個体は、再生のために取り上げられる可能性は低く、最終的に絶滅する。変異作用素は、個体のビルディングブロックのいくつかをランダムに変更することにより、集団における遺伝的変種を導く。
進化的アルゴリズムは、本質的に並列であるように意図されており、また各進化的ステップにおいて、探索空間のさらに最適となる下位領域の幅優先探索が行われる。進化的探索は、問題を解決する強力な技法であり、他の従来の最適化技法ではほとんど処理できない広範囲の実際的問題に適用することができる。実際の進化的探索方式は、所定の有限の時間内に、グローバルな最適条件に集束することを保証しないが、それらは、非常に良好で一貫性のある近似解を発見できることが多い。
いくつかの例では、学習エンジンは、ニューラルネット、またはサポートベクターマシンなどの熱心学習アルゴリズムを使用するが、その場合、システムは、システムの訓練中に、一般的な、入力に依存しないターゲット関数を学習する。熱心学習の場合、いくつかの手法の1つを選択して使用することができる。第1の手法では、ターゲット関数は、入力特徴ベクトルを1組のハンギングプロトコルにマップするように訓練することができる。熱心学習器は、したがって、使用すべきハンギングプロトコル(複数可)を決定する分類的なラベルに入力ベクトルをマップする分類アルゴリズムを実施する。他の手法は、最終的なハンギングプロトコルの個々のパラメータに対して回帰させるように学習器を訓練することである。
いくつかの例では、フリーテキストフィールドに基づく特徴が、テキストマイニングアルゴリズムを用いて解析される。Apache Lucene(登録商標)などのオープンソースのテキストマイニングソフトウェアが、ストップワード、ベース形式に対する語幹を除去するために使用され、関連する概念を特定する(例えば、撮像モダリティ、体の部分など)。いくつかの例では、機械学習アルゴリズム(複数可)が、Foundational Model of Anatomy、Neuronames、Brinlexなどのオントロジーを用いて統合される。これらのオントロジーは、撮像プロパティ、体の部分の略語などを含むスマートなハンギングプロトコル(SHP)に関連する情報で強化される。オントロジーは、機械学習アルゴリズムが、例えば、2つの自由形式のテキスト列の間の類似性の尺度を計算することを可能にする。
図6は、例示的な事例ベースの推論システムの流れ図を示す。例示的なシステム600は、1つまたは複数の学習した(例えば、取り込まれた、観察された、教示されたなど)ハンギングプロトコルのレイアウト/構成の事例ベース610を含む。新しいスタディ620に対して、候補選択630は、1つまたは複数のアルゴリズム、ガイドライン、ルール、好みなどに従ってレイアウト合成650を行うために、1つまたは複数のレイアウト報告640を提供する。レイアウト合成650は、ユーザディスプレイ上に表示画像、報告、ツールなどを適用するように自動選択する、かつ/またはユーザが選択するための1つまたは複数の選択肢660、670を提供する。例えば、図6で、候補選択630およびレイアウト合成650は、2つのレイアウト、すなわち、関連する信頼度スコア0.8を有する選択肢1と、関連する信頼度スコア0.6を有する選択肢2とを提供する。ユーザおよび/またはプログラムは、ユーザディスプレイにハンギングプロトコルとして適用すべきレイアウト選択肢660、670の一方を選択することができる。
図6の例で示すように、利用可能な事例ベース615は、ディスプレイのレイアウト活動、ユーザのフィードバックなどを継続して学習し、かつモニタすることにより、拡張し続けることができ、選択のためにより多くの、かつ/または良好な候補を提供する。その後の候補選択635は、レイアウト合成655を行うためのさらなるレイアウト候補645を提供する。図6の例では、レイアウト合成655は、2つの選択肢665、675、すなわち、関連する信頼度スコア0.95を有する選択肢1と、0.2であると計算された関連する信頼度値を有する選択肢2とを提供する。
いくつかの例では、システムはまた、学習機構の一部として画像処理を適用する。例えば、ユーザが、走査されたドキュメンテーションを再検討する場合、システムは、さらなる操作および設定時間を回避するために、文書を自動的に中心化し、かつ回転する。各ワークフローに対して再検討のために使用された関連する文書が学習される。デフォルトの好み、およびユーザ特有の好みのリストが、再検討ごとに学習され、後の再検討で使用される。
いくつかの例では、画像の読取りワークフローの特定の点で、ユーザが、CTまたはMRなどの画像シリーズを再検討することを望む場合、ユーザは、画像シリーズの特定のビューを要求する、または希望する。ビューは、再検討のために、ビュー位置、方向、コントラストなどの情報を含むことができる。例えば、ユーザは、最初にレンダリングされた画像が、関心領域(ROI)の「開始位置」にあることを好む可能性がある。例えば、MRの脳画像に対しては、ハンギングプロトコルに、脳が開始するフレームでシリーズを開かせることが効率的であり、それは貴重な数秒を占めている。これは、検査順序、または前の報告に基づき、放射線専門医が、ワークフローの何らかの時点で、肝臓などの特定の臓器の再検討を始める必要がある、または始めることを望む場合のある全身のCT走査の例ではさらに一層重要なものである。放射線専門医は、シリーズをスクロールし、任意の臓器を見出すことができるが、手動のプロセスは、貴重な時間を使うことになる。いくつかの例では、ユーザは、問題の臓器へとスクロールし、次いで、「これを学習する」ボタン、アイコン、タブなどを選択することにより、システムに「教示する」。学習モジュールは、画像処理アルゴリズム(複数可)と機械学習アルゴリズム(複数可)を組み合わせる。例えば、肝臓の病変の事例では、ユーザが、ワークフローの何らかの時点で、肝臓の再検討を開始する、または再検討にジャンプするようにシステムに教示する場合、システムはそれに従って対処する。
いくつかの例では、自動測定、注釈、前のスタディとの比較など、特定の後処理を画像に適用して、画像をロードするようにシステムに「教示する」ことを望むことがある。したがって、ユーザが、まず測定を適用し、次いで、同じ条件下で「これを学習する」を選択した場合、システムは、自動的に測定を適用し、対話時間を節約するように試みる。
図7は、画像処理モジュール720を含む例示的なハンギングプロトコル学習システム700を示している。ハンギングプロトコル学習システム700では、画像データ710、画像メタデータ712,および非画像データ714を、学習モジュール750に提供することができる。例示的な画像処理モジュール720では、画像710は、画像解析アルゴリズム(複数可)を使用し、画像コンテンツ記述を用いて事前にラベル付けされる。ラベルには、占有する体の領域730、臓器タイプ732、コントラスト734、ズーム736、使用される方向738などの情報が含まれる。他の特徴740を、シリーズマッチングのために同様に、またはそれに代えて使用することができる。学習モジュール750は、画像で、かつ患者履歴、検査手順などの関連する情報で、ユーザの好み(複数可)を学習するためにラベルを使用する。ユーザが新しいスタディを開いたとき、スマートなワークフローは、画像の関心領域(複数可)を、好ましいモニタ、表示域、方向、および/またはコントラストなどで自動的に表示する。
いくつかの例では、走査された体の部分(複数可)は、画像とオントロジー情報の両方に基づき、画像処理アルゴリズム(複数可)を用いてラベル付けされる。各画像のスライスには、画像が体のどの部分に属するかを識別するラベルが与えられる。識別およびラベル付けは、機械学習ベースの手法、ヒストグラムベースの手法、画像特徴に基づく方法などを用いて行うことができる。低レベルでは、画像中の個々の臓器は、画像処理アルゴリズム(複数可)を用いて、手動で、半自動で、または自動的にレベル付けされる。臓器は、位置(複数可)、枠取り(複数可)、位置を含む姿勢(複数可)、方向、およびサイズによりラベル付けすることができる。臓器の形状は、簡単なモデル(例えば、長方形、楕円、円など)を用いて、または精巧なモデル(例えば、統計的なアトラスなど)を用いて表すことができる。臓器のラベル付けはまた、手動、半自動、または自動的なセグメンテーションにより、画像位置にラベルを割り当てることによって行うこともできる。臓器ラベルは、例えば、画像の迅速かつ正確な最初の表示およびナビゲーションを可能にし、ならびに焦点を合わせた臓器に対して良好な視覚化を与えるために、自動ズームおよびコントラスト調整を支援できるようにする。
新しいスタディを表示するとき、スマートなワークフローは、各画像シリーズを学習した例と比較し、どのシリーズを各表示域上で表示するかを決定する。画像シリーズは、撮像モダリティ、撮像プロトコル、パラメータ、および方向、サイズ、強度プロファイルなどを含む画像特徴に基づいて比較される。これらの特徴は、例えば、画像メタデータから、画像処理から、かつ/または撮像情報の抽出から取得され、または導出される。画像シリーズはまた、例えば、画像位置合せ(registration)を行うことにより比較することもできる。
いくつかの例では、ワークフローは、ユーザが閲覧することを望む好ましい画像スライスまたは平面を学習し、かつ画像ラベルに基づいて新しいスタディをロードしたとき、表示すべきスライスもしくは平面を自動的に決定する。
いくつかの例では、同じ患者に関する、または同様の病状を有する異なる患者に関する履歴データを比較するとき、ワークフローは、画像位置合せ、および/またはラベル付けに基づいて、異なるスタディから、同じ体の位置の画像を自動的に表示することができる。
したがって、いくつかの例では、ユーザは、ユーザにより好まれる方法でデータを設定し、かつ学習システムに実時間で(または実質的に実時間で)教示する。さらに、いくつかの例は、ユーザが最適な「提示(hanging)」であると知覚する高速の収束目標を備えて設計されたシステムを提供し、入力データおよびユーザの好みにおける可変性を克服する。いくつかの例は、ユーザの生産性を高め、またユーザが、再検討の診断的側面に焦点を当てることができ、それにより、健康管理の品質を向上させる。いくつかの例は、ワークフロー全体を教示し、案内し、かつ/または容易にするための方法およびシステムを提供する。いくつかの例は、ユーザに画像システムを含む入力を提供することのできるユーザインターフェースを提供し、また画像の再検討システムは、そのユーザ入力から学習する。
図8〜12は、ハンギングプロトコル構成およびアプリケーションのための学習アルゴリズムの例示的なハンギングまたは表示プロトコルレイアウト、およびアプリケーションを提供する。
図8は、放射線専門医が再検討するために、常用事例820の前に配置された外傷事例810に対する例示的な表示プロトコル800を示す。図8の例で示すように、ユーザは、優先順位、状況、時間制約、探しているものに応じて、再検討すべき異なるタイプの事例ごとに、異なるレイアウトを望む可能性がある。この例では、外傷事例810に対して、ユーザは、左の表示域もしくはディスプレイで、2つの水平な軸方向(AX)画像T1およびT2を表示する、または右の表示域/ディスプレイで、2つの矢状方向(SAG)画像T1およびT2を表示することを望んでいる。しかし、常用事例820に対しては、ユーザは、第1のビューの上側部分に2つの矢状方向画像T2およびT1、ならびに第1のビューの下側部分に2つの軸方向画像T2およびT1の4つのパネルビューを表示し、併せて、第2のビューの上側部分に1つの垂直の矢状方向画像STIRを、第2のビューの下側部分に走査された文書と共に表示することを好む。ユーザが、配置を変更する場合、学習または構成の選択肢(例えば、メニュー項目、ボタンなど)が、ユーザに提供されて、機械にこの構成を記憶するように命令することができる(例えば、ユーザ、タイプ、レイアウトなどに基づいて機械の学習プロセスを継続する)。
例えば、図9で示すように、デフォルトの表示プロトコルを保存するために、ユーザが扱いにくいメニュー910をナビゲートすることを要求するのではなく、いくつかの例は、学習ボタン920および適用ボタン930を含む簡単化したインターフェースを提供する。
したがって、いくつかの例では、ビューワまたはユーザインターフェースは、ユーザが選択可能な選択肢(例えば、「学習」ボタン)を含み、システムをトリガして、ハンギングプロトコルのために、特定のレイアウト、および/またはレイアウトの一部を取り込み、記録し、かつ/またはその他の形で記憶することができる。
図10および11は、それぞれ、常用事例および外傷事例に対する望ましい表示プロトコルの例示的なビューを提供する。システムは、学習したものに基づいてデフォルト表示プロトコルを提供することができ、それを、例えば、ユーザが確認する、かつ/またはユーザが変更することができる。ユーザが、ハンギングまたは表示プロトコルのユーザ変更に基づき、そのハンギングプロトコルの挙動をシステムに修正または拡張させることを望む場合、ユーザは、学習ボタン1010,1110を選択して、この変更および/またはレイアウト構成をハンギングプロトコル選択肢のシステム領域に追加し、ユーザ、役割、事例タイプ、緊急性、利用可能な検査データなどを含む1つまたは複数の基準に基づいて候補を選択し、かつ処理できるようにする。表示プロトコル構成を保存するために複数の選択肢を用いて複数のメニューをナビゲートする必要があるのではなく、ユーザは、1つのボタンをクリックする、または1つの選択肢を選択して、後で使用するために構成を保存することができる。したがって、システムは、ハンギングプロトコルに対する示唆を行うことができ、またユーザは、その示唆されたレイアウトを適用する、または変更する(かつシステムに学習させる)ことができる。
図12で示すように、シリーズ名と順序の間の差は、機械学習およびユーザのトリガに応じて、システムにより学習することができる。例えば、STIR SAGは、第1のシリーズ1210の5番であるが、第2のシリーズ1220ではわずかに異なる名前で6番であり、一方、AXIAL T2は第1のシリーズで7番であるが第2のシリーズでは4番で、AX T2と名付けられている。
図13は、本明細書で述べたシステム、装置、および方法を実施するために使用できる例示的なプロセッサシステム1310のブロック図である。図13で示すように、プロセッサシステム1310は、相互接続バス1314に結合されたプロセッサ1312を含む。プロセッサ1312は、任意の適切なプロセッサ、処理装置、またはマイクロプロセッサとすることができる。図13に示されていないが、システム1310は、マルチプロセッサシステムとすることができ、したがって、プロセッサ1312と同一の、または同様の、かつ相互接続バス1314に対して通信可能に結合された1つまたは複数のさらなるプロセッサを含むことができる。
図13のプロセッサ1312は、メモリ制御装置1320および入力/出力(I/O)制御装置1322を含むチップセット1318に結合される。よく知られているように、チップセットは、通常、I/Oおよびメモリ管理機能、ならびにチップセット1318に結合された1つまたは複数のプロセッサによりアクセス可能な、または使用される複数の汎用の、かつ/または専用のレジスタ、タイマなどを提供する。メモリ制御装置1320は、プロセッサ1312(または複数のプロセッサがある場合はプロセッサ(複数))に、システムメモリ1324および大容量記憶メモリ1325にアクセスできるようにする機能を実施する。
システムメモリ1324は、例えば、SRAM(スタティックRAM)、DRAM(ダイナミックRAM)、フラッシュメモリ、ROM(読出し専用メモリ)など、任意の所望のタイプの揮発性メモリおよび/または不揮発性メモリを含むことができる。大容量記憶メモリ1325は、ハードディスクドライブ、光学的なドライブ、テープ記憶装置などを含む任意の所望のタイプの大容量記憶装置を含むことができる。
I/O制御装置1322は、プロセッサ1312に、I/Oバス1332を介して、周辺入力/出力(I/O)装置1326および1328と、ネットワークインターフェース1330と通信できるようにする機能を実施する。I/O装置1326および1328は、例えば、キーボード、ビデオディスプレイもしくはモニタ、マウスなどの任意の所望のタイプのI/O装置とすることができる。ネットワークインターフェース1330は、例えば、プロセッサシステム1310に、他のプロセッサシステムと通信できるようにするイーサネット(商標)装置、ATM(非同期転送モード)装置、802.11装置、DSLモデム、ケーブルモデム、セルラ式モデムなどとすることができる。
メモリ制御装置1320およびI/O制御装置1322が、図13でチップセット1318内の別個のブロックとして示されているが、これらのブロックにより実施される機能は、単一の半導体回路内に統合することができ、あるいは2つ以上の別個の集積回路を用いて実施することもできる。
いくつかの実施形態では、上記で述べた機能を実施するための方法、システム、および任意のマシン可読媒体上のコンピュータプログラム製品が企図される。いくつかの実施形態は、例えば、既存のコンピュータプロセッサを用いて、またはこのために、もしくは他の目的のために組み込まれた専用のコンピュータプロセッサにより、またはハードワイヤードおよび/またはファームウェアシステムにより実施することができる。
上記で述べたシステムの構成要素、および方法の諸ステップの1つまたは複数のものは、例えば、ハードウェア、ファームウェアで、かつ/またはソフトウェアの1組の命令として、単独で、または組み合わせて実施することができる。いくつかの実施形態は、汎用コンピュータまたは他の処理装置で実行するための、メモリ、ハードディスク、DVD、またはCDなど、コンピュータ可読媒体上に常駐する1組の命令として提供されうる。本発明のいくつかの実施形態は、方法ステップの1つまたは複数のものを除外する、かつ/または列挙した順序とは異なる順序でステップを実施することができる。例えば、いくつかのステップは、本発明のいくつかの実施形態で実施されない可能性がある。さらなる例として、いくつかのステップは、上記で列挙されたものとは、同時を含めて異なる時間的順序で実施することができる。
いくつかの実施形態は、コンピュータで実行可能な命令、またはデータ構造を担持する、または記憶させたコンピュータ可読媒体を含む。このようなコンピュータ可読媒体は、汎用もしくは専用のコンピュータ、またはプロセッサを有する他のマシンによりアクセスできる任意の利用可能な媒体とすることができる。例として、このようなコンピュータ可読媒体は、RAM、ROM、PROM、EPROM、EEPROM、フラッシュ、CD−ROM、または他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気記憶装置、または任意の他の媒体を含むことができ、それらは、コンピュータで実行可能な命令もしくはデータ構造の形で所望のプログラムコードを担持する、もしくは記憶するために使用することができ、かつ汎用もしくは専用コンピュータ、またはプロセッサを備える他のマシンによりアクセスすることができる。上記の組合せはまた、コンピュータ可読媒体の範囲に含まれる。コンピュータ実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用の処理マシンに、特定の機能もしくは1群の機能を実施させる命令およびデータを含む。
概して、コンピュータ実行可能命令は、特定のタスクを行う、または特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。コンピュータ実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書で開示されるいくつかの方法およびシステムの諸ステップを実行するためのプログラムコードの例を表す。このような実行可能な命令、または関連するデータ構造の特定のシーケンスは、このようなステップで記述された機能を実施するための対応する行為(acts)の例を表す。
本発明の諸実施形態は、プロセッサを有する1つまたは複数の遠隔コンピュータへの論理接続を用いて、ネットワーク化された環境で実施することができる。論理的な接続は、LAN(ローカルエリアネットワーク)、WAN(広域ネットワーク)、無線ネットワーク、セルラ式電話ネットワークなどを含むことができるが、それらは例としてここで提示されており、限定するものではない。このようなネットワーク化環境は、事務所規模の、または企業規模のコンピュータネットワーク、イントラネット、およびインターネットでは普通のものであり、広範囲の様々な通信プロトコルを使用することができる。当業者であれば、このようなネットワークコンピューティング環境は、通常、パーソナルコンピュータ、手持ち式装置、マルチプロセッサシステム、マイクロプロセッサベースの、もしくはプログラム可能な家庭用電子機器、ネットワークPC、ミニコンピュータ、汎用大型コンピュータ、および同様のものを含む多くのタイプのコンピュータシステム構成を包含することが理解されよう。本発明の諸実施形態はまた、分散コンピュータ環境で実施することができ、その場合、タスクは、通信ネットワークを介して(有線リンク、無線リンクにより、または有線もしくは無線リンクの組合せにより)リンクされたローカルおよび遠隔の処理装置により実施される。分散コンピューティング環境では、プログラムモジュールは、ローカルと遠隔の両方のメモリ記憶装置に位置することができる。
本発明の諸実施形態の全体システムまたは部分を実施するための例示的なシステムは、処理装置と、システムメモリと、システムメモリを含む様々なシステム構成要素を処理装置に結合するシステムバスとを含むコンピュータ形式の汎用コンピューティング装置を含む可能性がある。システムメモリは、ROM(読出し専用メモリ)、およびRAM(ランダムアクセスメモリ)を含むことができる。コンピュータはまた、磁気ハードディスクとの間で読取りおよび書込みを行うための磁気ハードディスクドライブ、取外し可能な磁気ディスクとの間で読取りまたは書込みを行うための磁気ディスクドライブ、ならびにCD ROMまたは他の光媒体など取外し可能な光ディスクとの間で読取りまたは書込みを行うための光ディスクドライブを含むことができる。ドライブおよびその関連するコンピュータ可読媒体は、コンピュータ実行可能命令、データ構造、プログラムモジュール、およびコンピュータに対する他のデータの不揮発性記憶を提供する。
本発明は、いくつかの実施形態を参照して述べられているが、本発明の範囲から逸脱することなく、様々な変更を行うことができること、および均等な形態で置き換えうることが当業者であれば理解されよう。さらに、本発明の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの変更を加えることができる。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、本発明には、添付の特許請求の範囲に含まれるすべての実施形態が含まれることが意図される。
100 画像保存通信システム(PACS)
110 撮像モダリティ
120 取得ワークステーション
130 PACSサーバ
140 PACSワークステーション
300 システム
310 画像スタディ
320 画像
330 機械学習エンジン
340 ハンギングまたは表示プロトコル
350 ユーザインターフェース
400 マッピング
410 報告
420 画像
430 メタデータ
440 マッパー
450 レイアウト
500 データフロー
510 DICOMデータ
520 ユーザ選択
530 医療報告
540 知識ベース
550 特徴抽出
560 特徴変更
570 学習エンジン
600 システム
610 事例ベース
615 事例ベース
620 新しいスタディ
630 候補選択
635 候補選択
640 レイアウト報告
645 レイアウト候補
650 レイアウト合成
655 レイアウト合成
660 選択肢
665 選択肢
670 選択肢
675 選択肢
700 ハンギングプロトコル学習システム
710 画像データ
712 画像メタデータ
714 非画像データ
720 画像処理モジュール
730 体の領域
732 臓器タイプ
734 コントラスト
736 ズーム
738 方向
740 他の特徴
750 学習モジュール
800 表示プロトコル
810 外傷事例
820 常用事例
910 メニュー
920 学習ボタン
930 適用ボタン
1010 学習ボタン
1110 学習ボタン
1210 第1のシリーズ
1220 第2のシリーズ
1310 プロセッサシステム
1312 プロセッサ
1314 相互接続バス
1318 チップセット
1320 メモリ制御装置
1322 入力/出力(I/O)制御装置
1324 システムメモリ
1325 大容量記憶メモリ
1326 周辺入力/出力(I/O)装置
1328 周辺入力/出力(I/O)装置
1330 ネットワークインターフェース
1332 I/Oバス

Claims (14)

  1. 臨床画像を表示するためのハンギングプロトコルを決定する方法であって、
    第1のセッションで、プロセッサを用いて、ユーザのワークフローをモニタするステップと、
    第2のセッションで、プロセッサを用いて、反復設定のために前記ワークフローの少なくとも一部を学習するためのユーザ入力を受け入れるステップと、
    前記モニタリングおよび前記ユーザ入力に基づいて、1組のユーザの好みを開発するステップと、
    1つまたは複数の機械学習アルゴリズムを前記1組のユーザの好みに適用して、ハンギングプロトコルとして選択しかつ適用するための1つまたは複数の候補レイアウトを開発するステップと、
    を含む、方法。
  2. ハンギングプロトコルのためのレイアウト候補を形成するために、レイアウトおよび関連するパラメータのスナップショットを作成するステップをさらに含む、請求項1に記載の方法。
  3. 保存したハンギングプロトコル中に保存されたワークフロー要素のユーザ変更を容易にするステップをさらに含む、請求項1に記載の方法。
  4. 記憶された画像のユーザレイアウトに基づいて、前記ハンギングプロトコルを自動的に適合させるステップをさらに含む、請求項1に記載の方法。
  5. 画像を表示するためのレイアウトを生成する1つまたは複数のパラメータを含むハンギングプロトコルを出力するステップをさらに含む、請求項1に記載の方法。
  6. 前記1つまたは複数の機械学習アルゴリズムが、怠惰学習アルゴリズム、事例ベースの学習アルゴリズム、および熱心学習アルゴリズムのうちの少なくとも1つを含む、請求項1に記載の方法。
  7. 前記1つまたは複数の機械学習アルゴリズムに加えて、画像処理を適用するステップをさらに含む、請求項1に記載の方法。
  8. プロセッサで実行される1組の命令を含む非一時的のコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、臨床画像を表示するためのハンギングプロトコルを決定する方法を実施し、前記方法が、
    第1のセッションで、ユーザのワークフローをモニタするステップと、
    第2のセッションで、反復設定のために前記ワークフローの少なくとも一部を学習するためのユーザ入力を受け入れるステップと、
    前記モニタリングおよび前記ユーザ入力に基づいて、1組のユーザの好みを開発するステップと、
    1つまたは複数の機械学習アルゴリズムを前記1組のユーザの好みに適用して、ハンギングプロトコルとして選択しかつ適用するための1つまたは複数の候補レイアウトを開発するステップと、
    を含む、非一時的なコンピュータ可読記憶媒体。
  9. ハンギングプロトコルのためのレイアウト候補を形成するために、レイアウトおよび関連するパラメータのスナップショットを作成するステップをさらに含む、請求項8に記載のコンピュータ可読媒体。
  10. 保存したハンギングプロトコルに保存されたワークフロー要素のユーザ変更を容易にするステップをさらに含む、請求項8に記載のコンピュータ可読媒体。
  11. 記憶された画像のユーザレイアウトに基づいて、前記ハンギングプロトコルを自動的に適合させるステップをさらに含む、請求項8に記載のコンピュータ可読媒体。
  12. 画像を表示するためのレイアウトを生成する1つまたは複数のパラメータを含むハンギングプロトコルを出力するステップをさらに含む、請求項8に記載のコンピュータ可読媒体。
  13. 前記1つまたは複数の機械学習アルゴリズムが、怠惰学習アルゴリズム、事例ベースの学習アルゴリズム、および熱心学習アルゴリズムのうちの少なくとも1つを含む、請求項8に記載のコンピュータ可読媒体。
  14. 前記1つまたは複数の機械学習アルゴリズムに加えて、画像処理を適用するステップをさらに含む、請求項8に記載のコンピュータ可読媒体。
JP2012251729A 2011-11-23 2012-11-16 方法及びコンピュータ可読媒体 Active JP6139112B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/303,714 US8923580B2 (en) 2011-11-23 2011-11-23 Smart PACS workflow systems and methods driven by explicit learning from users
US13/303,714 2011-11-23

Publications (3)

Publication Number Publication Date
JP2013106951A JP2013106951A (ja) 2013-06-06
JP2013106951A5 JP2013106951A5 (ja) 2015-12-24
JP6139112B2 true JP6139112B2 (ja) 2017-05-31

Family

ID=48426999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012251729A Active JP6139112B2 (ja) 2011-11-23 2012-11-16 方法及びコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US8923580B2 (ja)
JP (1) JP6139112B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462082B2 (en) * 2011-08-11 2016-10-04 Curve Dental Ltd. Media acquisition engine and method
US20130083978A1 (en) * 2011-09-30 2013-04-04 General Electric Company Systems and methods for providing automated imaging feedback
CN103999087B (zh) * 2011-12-15 2020-06-30 皇家飞利浦有限公司 针对接收方优化的医学成像重建
US9411931B2 (en) * 2012-01-20 2016-08-09 Mckesson Financial Holdings Method, apparatus and computer program product for receiving digital data files
JP6021653B2 (ja) * 2013-01-18 2016-11-09 東芝メディカルシステムズ株式会社 医用画像情報システムおよび医用画像サーバ
WO2015044872A2 (en) 2013-09-27 2015-04-02 Koninklijke Philips N.V. System and method for context-aware imaging
US10885264B2 (en) 2013-10-28 2021-01-05 Mixonium Group Holdings, Inc. Systems, methods, and media for managing and sharing digital content and services
WO2015066061A2 (en) 2013-10-28 2015-05-07 Mixonium Group Holdings, Inc. Systems, methods, and media for content management and sharing
US10978184B2 (en) * 2013-11-04 2021-04-13 Terarecon, Inc. Evolving contextual clinical data engine for medical information
DE102013226332A1 (de) * 2013-12-18 2015-06-18 Siemens Aktiengesellschaft Verfahren zur Bearbeitung eines insbesondere medizinischen Bilddatensatzes
WO2015153332A1 (en) * 2014-04-01 2015-10-08 Heartflow, Inc. Systems and methods for using geometry sensitivity information for guiding workflow
US9773219B2 (en) 2014-04-01 2017-09-26 Heartflow, Inc. Systems and methods for using geometry sensitivity information for guiding workflow
US10354349B2 (en) 2014-04-01 2019-07-16 Heartflow, Inc. Systems and methods for using geometry sensitivity information for guiding workflow
EP3143531A1 (en) * 2014-05-13 2017-03-22 AGFA Healthcare INC. A system and a related method for automatically selecting a hanging protocol for a medical study
CN106537398A (zh) 2014-07-16 2017-03-22 皇家飞利浦有限公司 Irecon:具有预估运行的智能图像重建系统
US11183293B2 (en) 2014-11-07 2021-11-23 Koninklijke Philips N.V. Optimized anatomical structure of interest labelling
US11017014B2 (en) * 2015-05-22 2021-05-25 Box, Inc. Using shared metadata to preserve logical associations between files when the files are physically stored in dynamically-determined cloud-based storage structures
US10643144B2 (en) * 2015-06-05 2020-05-05 Facebook, Inc. Machine learning system flow authoring tool
CN105184403B (zh) * 2015-09-01 2018-09-28 华东师范大学 基于机器学习和统计模型检验的工作流最优配置寻优方法
US10163028B2 (en) * 2016-01-25 2018-12-25 Koninklijke Philips N.V. Image data pre-processing
CN108604462B (zh) * 2016-01-27 2023-07-14 皇家飞利浦有限公司 用于优化临床工作流程的预测模型
US11080846B2 (en) * 2016-09-06 2021-08-03 International Business Machines Corporation Hybrid cloud-based measurement automation in medical imagery
US11081228B2 (en) * 2016-09-06 2021-08-03 International Business Machines Corporation Automatic retrospective review of electronic medical records
DE102016216920A1 (de) * 2016-09-07 2018-03-08 Siemens Healthcare Gmbh Verfahren zu einer Bestimmung eines Ähnlichkeitsparameters für ein Ursprungsprotokoll mit einem Referenzprotokoll
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US10188361B2 (en) * 2017-03-27 2019-01-29 Siemens Healthcare Gmbh System for synthetic display of multi-modality data
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6904025B2 (ja) * 2017-04-10 2021-07-14 コニカミノルタ株式会社 医療情報表示システム
US11272160B2 (en) * 2017-06-15 2022-03-08 Lenovo (Singapore) Pte. Ltd. Tracking a point of interest in a panoramic video
JP6987551B2 (ja) * 2017-07-03 2022-01-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10799189B2 (en) 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10671896B2 (en) 2017-12-04 2020-06-02 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US10607122B2 (en) 2017-12-04 2020-03-31 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US11393587B2 (en) 2017-12-04 2022-07-19 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US10304564B1 (en) 2017-12-13 2019-05-28 International Business Machines Corporation Methods and systems for displaying an image
JP2019155074A (ja) * 2018-03-12 2019-09-19 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
US10949968B2 (en) 2018-05-07 2021-03-16 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image
WO2019215605A1 (en) * 2018-05-07 2019-11-14 Zebra Medical Vision Ltd. Systems and methods for analysis of anatomical images
US10891731B2 (en) 2018-05-07 2021-01-12 Zebra Medical Vision Ltd. Systems and methods for pre-processing anatomical images for feeding into a classification neural network
US10706545B2 (en) 2018-05-07 2020-07-07 Zebra Medical Vision Ltd. Systems and methods for analysis of anatomical images
JP7301510B2 (ja) * 2018-09-11 2023-07-03 キヤノン株式会社 放射線撮影装置、放射線撮影方法及びプログラム
US11449986B2 (en) * 2018-10-23 2022-09-20 International Business Machines Corporation Enhancing medical imaging workflows using artificial intelligence
JP7163240B2 (ja) * 2019-04-11 2022-10-31 富士フイルム株式会社 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
CN112102423A (zh) * 2019-06-17 2020-12-18 通用电气精准医疗有限责任公司 医学成像方法及系统
US11393579B2 (en) * 2019-07-25 2022-07-19 Ge Precision Healthcare Methods and systems for workflow management
CN112446499A (zh) * 2019-08-30 2021-03-05 西门子医疗有限公司 改进用于自动量化冠状动脉疾病的机器学习模型的性能
US11030490B2 (en) 2019-08-30 2021-06-08 Siemens Healthcare Gmbh Performance of machine learning models for automatic quantification of coronary artery disease
EP3786972A1 (en) * 2019-08-30 2021-03-03 Siemens Healthcare GmbH Improving performance of machine learning models for automatic quantification of coronary artery disease
US11416360B2 (en) * 2019-10-09 2022-08-16 Fujifilm Medical Systems U.S.A., Inc. Systems and methods for detecting errors in artificial intelligence engines
US20210265041A1 (en) * 2020-02-25 2021-08-26 Krishnamurthy Narayanan Intelligent Meta PACS System and Server
EP4098199A1 (en) * 2021-06-01 2022-12-07 Koninklijke Philips N.V. Apparatus for medical image analysis
CN117836869A (zh) * 2021-08-25 2024-04-05 皇家飞利浦有限公司 用于在超声摄影用户和射线摄影解读者之间通信的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7525554B2 (en) 2005-01-03 2009-04-28 General Electric Company Content based hanging protocols facilitated by rules based system
CN101273362A (zh) * 2005-09-29 2008-09-24 皇家飞利浦电子股份有限公司 用于诊断工作流程管理的方法、系统、和计算机程序
US8117549B2 (en) * 2005-10-26 2012-02-14 Bruce Reiner System and method for capturing user actions within electronic workflow templates
US7849115B2 (en) * 2006-06-05 2010-12-07 Bruce Reiner Method and apparatus for adapting computer-based systems to end-user profiles
US8254648B2 (en) 2007-01-04 2012-08-28 General Electric Company Method for providing adaptive hanging protocols for image reading
US8165368B2 (en) 2008-09-29 2012-04-24 General Electric Company Systems and methods for machine learning based hanging protocols

Also Published As

Publication number Publication date
JP2013106951A (ja) 2013-06-06
US8923580B2 (en) 2014-12-30
US20130129165A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
JP6139112B2 (ja) 方法及びコンピュータ可読媒体
US9152760B2 (en) Smart 3D PACS workflow by learning
US8526693B2 (en) Systems and methods for machine learning based hanging protocols
US20220192590A1 (en) Dental Image Feature Detection
US10937164B2 (en) Medical evaluation machine learning workflows and processes
US20190220978A1 (en) Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation
US9014485B2 (en) Image reporting method
JP2018185856A (ja) 医療情報用の進化型コンテキスト臨床データエンジン
WO2010082246A1 (ja) 情報処理装置および情報処理方法
US11061537B2 (en) Interactive human visual and timeline rotor apparatus and associated methods
JP2005510326A (ja) 画像レポート作成方法及びそのシステム
US20140143710A1 (en) Systems and methods to capture and save criteria for changing a display configuration
CN106462661B (zh) 用于自动选择针对医学研究的悬挂协议的系统和相关方法
US10824912B2 (en) Methods and apparatus to adapt medical image interfaces based on learning
US20230108955A1 (en) Deep-learning-based medical image interpretation system for animals
JP2019507428A (ja) コグニティブ患者治療イベントの再構成
US20100054555A1 (en) Systems and methods for use of image recognition for hanging protocol determination
WO2020013814A1 (en) Similar image search for radiology
JP2006235971A (ja) 画像参照装置及び画像分類検索方法
US20230334763A1 (en) Creating composite drawings using natural language understanding
Pershin¹ et al. Check for updates AI-Based Extraction of Radiologists Gaze Patterns Corresponding to Lung Regions
CN117094933A (zh) 图像质量评估系统和方法
JP2015102922A (ja) 診療情報表示装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6139112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250