JP6235610B2 - マルチモダリティ医療用撮像システムにおける測定および強調 - Google Patents

マルチモダリティ医療用撮像システムにおける測定および強調 Download PDF

Info

Publication number
JP6235610B2
JP6235610B2 JP2015550474A JP2015550474A JP6235610B2 JP 6235610 B2 JP6235610 B2 JP 6235610B2 JP 2015550474 A JP2015550474 A JP 2015550474A JP 2015550474 A JP2015550474 A JP 2015550474A JP 6235610 B2 JP6235610 B2 JP 6235610B2
Authority
JP
Japan
Prior art keywords
data
medical
intravascular
measurement
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015550474A
Other languages
English (en)
Other versions
JP2016508049A (ja
JP2016508049A5 (ja
Inventor
アッシャー・コーエン
アーロン・ジェイ・シェリーン
ファーガス・メリット
アド・クライベルグ
ダグラス・ジー・ラハティ
Original Assignee
ボルケーノ コーポレイション
ボルケーノ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ボルケーノ コーポレイション, ボルケーノ コーポレイション filed Critical ボルケーノ コーポレイション
Publication of JP2016508049A publication Critical patent/JP2016508049A/ja
Publication of JP2016508049A5 publication Critical patent/JP2016508049A5/ja
Application granted granted Critical
Publication of JP6235610B2 publication Critical patent/JP6235610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Description

本開示は、一般に、医療装置の分野に関し、より詳細には、マルチモダリティ医療システムにおけるデータ収集、操作、強調、表示および注釈付けに関する。
疾患の治療の成功率の診断および検証におけるイノベーションが、外部の撮像処理から内部の診断処理に移行してきている。特に、診断装置および処理が、カテーテルなどのフレキシブルな細長い部材またはカテーテル法で用いられるガイドワイヤの先端部に載置された超小型センサにより血管系閉塞物および他の血管系疾患を診断するために開発されてきた。たとえば、既知の医療検知技術として、血管造影法、血管内超音波法（ＩＶＵＳ）、前方視ＩＶＵＳ（ＦＬ−ＩＶＵＳ）、血流予備量比（ＦＦＲ）特定法、冠血流予備能（ＣＦＲ）特定法、光干渉断層法（ＯＣＴ）、経食道心エコー法および画像誘導治療法が挙げられる。これらの技術の各々は、異なる診療状況のために良好に適合されてもよい。成功裏に治療する可能性を高めるために、ヘルスケア施設は、施術中にカテーテル研究所の手元に複数の撮像、治療、診断および検知モダリティを有してもよい。近年、複数の異なる撮像、治療、診断および検知ツールからの医療データを収集し、マルチモダリティ医療データを処理する処理システムが設計されてきた。そのようなマルチコンポーネント・システムは、情報およびシステム・サービスについての互いに依存するモジュールを含むことが多い。
既存のマルチモダリティ医療処理システムが有用であることが判明している一方、データ取扱いおよび処理においては改善の必要性が残っている。たとえば、データ識別に対する改善は、関連データを認識、分離、索引付けおよび分類する能力を高める可能性を有する。統一的かつコヒーレント的に複数のモダリティにおいて収集されたデータを提示するための改善された方法およびインタフェースによって、オペレータが正確な診断の結論を出すことを可能にするかもしれない。さらなるインタフェースの改善は、オペレータがモダリティにおいて収集されたデータをより良好に精緻化、強調および測定することを可能にするかもしれない。
本開示の実施形態は、マルチモダリティ処理システムにおけるデータの強調および測定のための強化された方法およびインタフェースを提供する。
いくつかの実施形態では、医療処理システムにおいて医療データを強調する方法が提供される。この方法は、医療処理システムにより医療データの参照セットを受信することを含む。強調されるべき領域に対応する領域識別子が受信され、強調選択も受信される。データの目標セットは、受信された領域識別子および受信された強調選択に基づいて特定され、医療処理システムは、データの目標セットに、強調選択に対応する強調を施す。この方法はまた、第１のユーザ・ディスプレイに医療データの参照セットを表示することと、第１のユーザ・ディスプレイとは異なる第２のユーザ・ディスプレイに強調されたデータの目標セットを表示することとを含んでもよい。
いくつかの実施形態では、医療処理システムにおけるデータ測定方法が提供される。この方法は、医療処理システムにより医療データの参照セットを受信することを含む。医療データの参照セットおよび測定選択に関連する位置マーカが受信され、データの目標セットが、受信された医療データの参照セット、位置マーカおよび測定選択に基づいて特定される。医療処理システムは、測定値を決定するように、データの目標セットに、測定選択に対応する測定操作を施す。医療データの参照セットは第１のモダリティに対応してもよく一方、データの目標セットは、第１のモダリティと異なる第２のモダリティに対応するデータを含んでもよい。
いくつかの実施形態では、少なくとも１つのコンピュータ・プロセッサによる実行のための複数の命令を記憶する非一時的コンピュータ可読記憶媒体を含む装置が提供される。この装置は、第１のユーザ・ディスプレイに医療データの参照セットを表示し、医療データの参照セットの一部の強調のためのユーザ入力を受信し、受信されたユーザ入力に基づいてデータの目標セットを決定し、受信されたユーザ入力に基づいてデータの目標セットの一部を強調し、第２のユーザ表示に強調されたデータの目標セットを表示するための命令を含む。様々な実施形態では、第１および第２のユーザ表示は、第１および第２のディスプレイ装置、表示環境またはデスクトップの第１および第２の部分、ならびに第１および第２の時点での表示に対応する。この装置は、データの目標セットの一部の強調のトランザクション記録を記憶し、以前の強調に基づいて後のデータ・セットを強調するようにそのトランザクション記録を使用するための命令を含んでもよい。
本開示のシステムおよび方法は、マルチモダリティ環境において医療データをオンデマンド強調および測定を実行する。いくつかの実施形態では、オペレータは、強調する領域または情報を選択して、より大きい、より明瞭な、かつより正確なビューを作成してもよい。この強調されたデータおよび参照データは、単一の表示の別個の部分にまたは別個のディスプレイ装置に表示されてもよい。これは、ユーザ入力がタッチスクリーン用途などの表示の一部を不明瞭にし得る用途で特に有用であってもよい。オペレータは、単一のビューにおける複数の異なるモダリティから収集されたデータを結合し、ゆえに、有意味で分かり易くより多くの情報を提示してもよい。一部の実施形態では、選択された強調は、さらなるデータの収集に導く。オペレータの命令に加えて、処理システムは、オペレータの注意を引くように、対象のデータをハイライトおよび強調してもよい。この処理システムは、オペレータが重要な構造を迅速に位置付けるのに役立ち、オペレータに条件を進展させることを促してもよい。処理システムは、過負荷情報に対して追加の安全装置を備えてもよい。いくつかの実施形態は、オペレータの要求において正確な測定を可能にすることにより表示されている豊富なデータについての有意味なコンテキストを提供する。必要に応じて、強調および測定を実行することにより、計算資源（コンピューティングリソース）が確保されて、システムのコスト、大きさおよび消費電力の低減をもたらし、ならびにシステムの応答性の改善をもたらしてもよい。もちろん、上記の有利点は単に例示であり、特定の有利点が任意の特定の実施形態に対して必須でないことが理解される。
本開示の実施形態は、マルチモダリティ処理システムにおいて医療データのセットをナビゲートする強調されたシステムおよび方法を提供する。
いくつかの実施形態では、医療処理システムにおいてユーザ入力を翻訳（解釈）する方法が提供される。この方法は、医療処理システムにより医療データの参照セットを受信することを含み、医療データは、ＦＦＲ、ｉＦＲ、圧力、流れ、ＩＶＵＳおよびＯＣＴから成るモダリティの群から選択された第１のモダリティに対応する。医療処理システムは、ナビゲーション・コマンドも受信する。データの参照セットの強調およびサブセットは、ナビゲーション・コマンドに基づいて特定される。医療処理システムは、サブセットの選択された強調を実行し、強調されたサブセットが表示される。そのような実施形態の１つでは、ナビゲーション・コマンドは、第１のモダリティとは異なる第２のモダリティに対応する医療データの追加セットを指定する。そのような他の実施形態では、強調を実行することは、サブセットに単一軸ズームを実行することを含む。
いくつかの実施形態では、装置が開示される。この装置は、少なくとも１つのコンピュータ・プロセッサによる実行のための複数の命令を記憶する非一時的コンピュータ可読記憶媒体を含み、複数の命令は、ＦＦＲ、ｉＦＲ、圧力、流れ、ＩＶＵＳおよびＯＣＴから成るモダリティの群から選択された第１のモダリティに対応する医療データの参照セットを受信し、ナビゲーション・コマンドを受信し、ナビゲーション・コマンドにより特定された参照セットのサブセットへの強調を実行し、強調されたサブセットに表示を与えるためのものである。そのような一つの実施形態では、ナビゲーション・コマンドの受信のための命令は、第２のタッチベースの入力と同時の第１のタッチベースの入力を示すユーザ入力シーケンスを受信し、ユーザ入力シーケンスをナビゲーション・コマンドに翻訳するための命令を含む。上記実施形態では、ナビゲーション・コマンドは、第１のタッチベースの入力に対応するサブセットの第１の境界と、第２のタッチベースの入力に対応するサブセットの第２の境界とを指定する。
いくつかの実施形態では、医療処理システムが開示される。医療処理システムは、医療データの参照セットおよびナビゲータ・エンジンを受信するように構成された医療データ・インタフェースを含む。ナビゲータ・エンジンは、制御器からナビゲーション・コマンドを受信し、ナビゲーション・コマンドに基づいて実行する強調を特定し、ナビゲーション・コマンドに基づいて強調する医療データの参照セットのサブセットを特定し、特定されたサブセットにおいて特定された強調を実行し、強調されたサブセットに表示を与えるように構成される。そのような一つの実施形態では、ナビゲータ・エンジンは、ナビゲーション・コマンドに基づいて医療データの参照セットの表示のための更新を提供するようにさらに構成される。
本開示のシステムおよび方法は、マルチモダリティ環境において医療データのオンデマンド強調および測定を実行する。いくつかの実施形態では、オペレータは、強調する領域または情報を選択して、より大きい、より明瞭な、かつより正確なビューを作成してもよい。いくつかの実施形態では、医療データのサブセットに単一軸ズームを適用することにより強調されるビューが与えられる。単一軸ズームは、第２軸に沿ってデータを必ずしも再スケーリングすることなく、データが第１軸に沿って再スケーリングされることを可能にする。これは、時間または距離の範囲にわたってプロットされるデータ値を含む医療データ・セットに特に有用であるが、これに限定されることなく、ここでは、データ値は周期的である。そのようなデータにおいて、一の軸に沿ったピーク・ツー・ピーク極値は、第２の軸のスケーリングが調整されるにつれて、実質的に変化しなくてもよい。単一軸ズームは一強調に過ぎず、その単一ズームにより、本開示の実施形態は、基礎をなすデータの性質に対応した形で、データ・セットをナビゲートおよび操作するための改善されたインタフェースを提供する。もちろん、上記の有利点は単に例示であり、特定の有利点が任意の特定の実施形態に対して必須でないことが理解される。
本開示の実施形態は、マルチモダリティ処理システムにおける適応ジェスチャ認識のための強化された方法およびインタフェースを提供する。
いくつかの実施形態では、医療処理システムにおいてユーザ入力を翻訳する方法が提供される。この方法は、医療処理システムの動作モードに対応する状態指示子を受信することを含み、この動作モードは、ＩＶＵＳ、ＯＣＴ、圧力および流れから成る群から選択されたモダリティを表す値を含む。アクティブ・コマンドのリストは、受信された状態指示子に基づいて生成される。ユーザ入力シーケンスは、１つまたは複数のユーザ入力装置から受信される。医療処理システムは、ユーザ入力シーケンスとアクティブ・コマンドのリストのコマンドとを相互に関係付け、そのコマンドは、システムのコンポーネントの動作を制御するのに用いられる。アクティブ・コマンドのリストは、複数のモダリティに共通のコマンドのサブセットを含んでもよい。
いくつかの実施形態では、医療処理システムを制御する方法が提供される。この方法は、ユーザ・ディスプレイ装置に医療データを表示することを含み、医療データのセットは医療処理システムのアクティブ・モダリティに対応する。アクティブ・モダリティは、医療処理システムの複数のモダリティから選択される。アクティブ・コマンドのリストは、アクティブ・モダリティに基づいて決定される。医療処理システムは、１つまたは複数のユーザ入力装置からユーザ入力シーケンスを受信する。ユーザ入力シーケンスは、アクティブ・コマンドのリストから選択されたコマンドに適合され、選択されたコマンドは、医療処理システムのコンポーネントの動作を制御するのに用いられる。
いくつかの実施形態では、少なくとも１つのコンピュータ・プロセッサによる実行のための複数の命令を記憶する非一時的コンピュータ可読記憶媒体を含む装置が提供される。この装置は、医療処理システムのモダリティに対応する、医療処理システムの動作モードを決定し、その動作モードに基づいてアクティブ・コマンドのリストを生成し、１つまたは複数のユーザ入力装置からユーザ入力シーケンスを受信し、そのユーザ入力シーケンスとアクティブ・コマンドのリストのコマンドとを相互に関係付け、医療処理システムの挙動を制御するコマンドを用いるための命令を含む。そのような１つの実施形態では、アクティブ・コマンドのリストは、複数のモダリティに共通のコマンドのサブセットを含む。
したがって、本開示のシステムおよび方法は、いくつかの実施例ではジェスチャと称せられるオペレータショートカットを、マルチモダリティ医療データの収集および操作を制御するためのコマンドに変換する。ジェスチャは、入力装置を変えること、アクティブ・ウィンドウを変えることまたは複雑なメニュー構造をナビゲートすることなどの、ＧＵＩオーバーヘッドなしでオペレータがコマンドを選択することを可能にすることにより、マルチモダリティ処理システムを迅速かつ正確に制御するための直観的機構を提供する。ジェスチャベースのインタフェースは、不必要なステップを減らし、コマンドアイコンおよびディープメニューツリーのバンクを置き換えることによりＧＵＩクラッタを減らす。ジェスチャの自然な流れは、特に、ＧＵＩをナビゲートすることに比べて、さらに手続き時間および効率を改善してもよい動作スーツにおいては、妨害および中断をより少なくする。さらに、いくつかの実施形態は、異なるモダリティにわたって共通であるコマンドのサブセットを含む。この共通化は、必要なジェスチャの数を減らし、さらには、オペレータの流暢さおよび正確さを改善する。もちろん、これらの有利点は単に例示であり、特定の有利点が任意の特定の実施形態に対して必須でないことが理解される。
本開示の実施形態は、マルチモダリティ処理システムにおけるデータラベル付けのための強化された方法およびインタフェースを提供する。
いくつかの実施形態では、医療処理システムにおけるラベル付け方法が提供される。この方法は、医療処理システムによりラベル付けされる医療データを受信することを含む。医療データに対応する第１のセットのラベルがディスプレイ装置で提示される。第１のセットのラベルからの第１ラベルの選択がインタフェース装置から受信される。この方法は、ディスプレイ装置で医療データに対応する第２のセットのラベルを提示することも含み、第２のセットのラベルは第１ラベルに基づく。第２のセットのラベルからの第２ラベルの選択がインタフェース装置から受信される。医療データは、第１および第２ラベルに基づいてラベルを割り当てられる。
いくつかの実施形態では、マルチモダリティ医療処理システムにおける索引付方法が提供される。この方法は、ラベル付けされる、モダリティに対応する医療データをマルチモダリティ医療処理システムにより受信することを含む。ラベルのセットは、モダリティに基づいてポピュレートされる。ラベルのセットはユーザに提示され、ユーザ入力は、提示されたラベルのセットに基づいて受信される。ラベルは、受信されたユーザ入力に基づいて医療データに割り当てられ、医療データは、ラベル付けされた医療データが割り当てられたラベルに基づいて索引付けされるように、記憶される。
いくつかの実施形態では、データ処理システムにおいてデータをラベル付けする方法が提供される。この方法は、データ処理システムによりラベル付けされる医療データを受信することを含む。手続き情報が第１のデータベースから検索される。医療データのためのラベルのセットが第２のデータベースから検索され、ラベルのセットは手続き情報に基づく。ラベルのセットがユーザ・ディスプレイ装置でユーザに提示され、ユーザ入力が提示されたラベルのセットに基づいてユーザ・インタフェースから受信される。この方法は、受信されたユーザ入力に基づいて医療データに最終ラベルを割り当てることも含む。
本開示のシステムおよび方法は、複数のモダリティにわたる医療データにラベルを選択して割り当てるための機構を提供する。これらのラベルは、オペレータが、関連患者データに注釈付けおよび索引付けすることを可能にし、したがって、検索および取り出しを含むデータ処理を改善する。たとえば、割り当てられたラベルは、医療データのどの一部が記憶、保持またはアーカイブされるかの判断で用いられてもよい。ラベルは、冗長であるまたは診断で重要でないデータが容易に特定されることを可能にする。割り当てられたラベルは、重要なデータの迅速かつ有効な取り出しのための検索可能な索引を作成するのにも用いられてもよい。そのため、標準化されたラベルのリストを提供することにより、本開示のいくつかの実施形態は、標準化された用語の使用を推奨する一方、オペレータが特別な場合をカバーするのにリスト以外の用語を選択することも可能にする。これは、過度に限定しない検索性を促進する。オペレータを圧倒することを回避するように、いくつかの実施形態は、前の選択、手続き情報、患者情報、他の医療データおよび／または他の基準に従ってリストを精緻化する。これは、オペレータが最も関連性の高いラベルを認識することを可能にし、それにより、ラベル付け速度および正確性を改善してもよい。もちろん、上記の有利点は単に例示であり、特定の有利点が任意の特定の実施形態に対して必須でないことが理解される。
本開示のさらなる側面、特徴および有利点については、以下の詳細な説明から明らかになるであろう。
図１は、本開示のいくつかの実施形態によるマルチモダリティ処理システムを含む医療システムを示す模式図である。 図２は、マルチモダリティ処理システムの実施形態で実行する処理フレームワークを含む、図１の医療システムの一部の機能ブロック図である。 図３は、マルチモダリティ処理システムのいくつかの実施形態による医療データをラベル付けおよび／または索引付けするユーザ・インタフェース・コンポーネントを含む、図１および２の医療システムの一部の機能ブロック図である。 図４は、マルチモダリティ処理システムのいくつかの実施形態によるラベル構築のための例示としてのユーザ・インタフェースの図である。 図５は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内の医療データに対してラベルを決定して付ける方法のフロー図である。 図６は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内のラベル付け手続きに対する中断を処理する方法のフロー図である。 図７は、マルチモダリティ処理システムのいくつかの実施形態による医療データのオンデマンドデータ強調を実行するユーザ・インタフェース・コンポーネントを含む、図１および２の医療システムの一部の機能ブロック図である。 図８は、マルチモダリティ処理システムのいくつかの実施形態によるオンデマンドデータ強調のための例示としてのユーザ・インタフェースの図である。 図９は、マルチモダリティ処理システムのいくつかの実施形態によるデータ測定のための例示としてのユーザ・インタフェースの図である。 図１０は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内のオン・デマンド・データ強調方法のフロー図である。 図１１は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内のデータ測定方法のフロー図である。 図１２は、マルチモダリティ処理システムのいくつかの実施形態によるユーザ入力を区別するユーザ・インタフェース・コンポーネントを含む、図１および２の医療システムの一部の機能ブロック図である。 図１３は、マルチモダリティ処理システムのいくつかの実施形態によるジェスチャベースのユーザ入力シーケンスを表示する例示としてのユーザ・インタフェースの図である。 図１４は、マルチモダリティ処理システムのいくつかの実施形態によるジェスチャベースのユーザ入力シーケンスを表示する例示としてのユーザ・インタフェースの図である。 図１５は、マルチモダリティ処理システムのいくつかの実施形態による翻訳された命令を表示する例示としてのユーザ・インタフェースの図である。 図１６は、マルチモダリティ処理システムのいくつかの実施形態によるジェスチャベースのユーザ入力シーケンスを表示する例示としてのユーザ・インタフェースの図である。 図１７は、マルチモダリティ処理システムのいくつかの実施形態による翻訳された命令を表示する例示としてのユーザ・インタフェースの図である。 図１８は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内のジェスチャ認識方法のフロー図である。 図１９は、マルチモダリティ処理システムのいくつかの実施形態による医療データのセットをナビゲートするユーザ・インタフェース・コンポーネントを含む、図１および２の医療システムの一部の機能ブロック図である。 図２０は、マルチモダリティ処理システムのいくつかの実施形態によるデータ・ナビゲーションおよび強調のための例示としてのユーザ・インタフェースの図である。 図２１は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内の医療データのセットをナビゲートおよび強調する方法のフロー図である。
本開示の原理の理解を促進する目的で、以下で図に示している実施形態が参照され、実施形態を表すのに特定のことばが用いられている。それにも拘わらず、本開示の範囲に対して何ら限定が意図されていないことが理解される。説明された装置、システムおよび方法に対する何れかの代替およびさらなる変形、ならびに本開示の原理の何らかのさらなる適用が、十分に考えられ、それらの適用は、本開示が関連する当業者が通常思い描くような本開示の範囲内に含まれる。特に、一実施形態に関して記載されている特徴、コンポーネントおよび／またはステップが、本発明の他の実施形態に関して記載されている特徴、コンポーネントおよび／またはステップと組み合わされてもよいと、十分に考えられる。しかし、簡潔のために、これらの組み合わせの多数の繰り返しについては、別個には記載されていない。
図１は、本開示の一実施形態によるマルチモダリティ処理システム１０１を含む医療システム１００を示す模式図である。一般に、医療システム１００は、人間の生物学的生理および形態学的情報を取得して翻訳し、種々の条件の処理を調整するのに用いられる様々な方法に敏感であるように設計された取得および処理要素の複数の形態のコヒーレント一体化および統合を提供する。より具体的には、システム１００において、マルチモダリティ処理システム１０１は、マルチモダリティ医療センシング・データの取得、制御、翻訳および表示のための一体化された装置である。一実施形態では、処理システム１０１は、マルチモダリティ医療データを取得、処理および表示するハードウェアおよびソフトウェアを備えたコンピュータシステムであるが、他の実施形態では、処理システム１０１は、医療データを処理するように動作可能な何れかの他の種類の計算システムであってもよい。処理システム１０１がコンピュータ・ワークステーションである実施形態では、このシステムは、少なくとも、マイクロコントローラまたは専用中央処理装置（ＣＰＵ）などのプロセッサと、ハードドライブ、ランダム・アクセス・メモリ（ＲＡＭ）および／またはコンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）などの非一時的コンピュータ可読記憶媒体と、グラフィックス・プロセッシング・ユニット（ＧＰＵ）などのビデオ・コントローラと、イーサネット（登録商標）・コントローラまたは無線通信コントローラなどのネットワーク通信装置とを含む。その点において、いくつかの特定の実施例では、処理システム１０１は、本明細書で説明するデータ取得および分析に関連するステップを実行するようにプログラムされる。したがって、データ取得、データ処理、機器制御、ならびに／もしくは本開示の他の処理または制御態様に関連する何れかのステップが、処理システムによりアクセス可能な非一時的コンピュータ可読記憶媒体に記憶された対応する命令を用いて処理システムにより実施されてもよい。いくつかの実施例では、処理システム１０１は可搬型（たとえば、携帯、ローリング・カート（ｏｎ ａ ｒｏｌｌｉｎｇ ｃａｒｔ））である。さらに、いくつかの実施例では、処理システム１０１は複数の計算装置（コンピューティング・デバイス）を含むことが理解される。その点において、本開示の異なる処理および／または制御態様は、複数の計算装置を用いて、別個にまたは所定のグループ内で実施されてもよいことが特に理解される。複数の計算装置にわたって以下で説明する処理および／または制御態様の何れかの分割および／または組み合わせは、本開示の範囲内にある。
図示された実施形態では、医療システム１００は、管理室１０４を有するカテーテル研究室１０２に、管理室内に位置する処理システム１０１と共に配置される。他の実施形態では、処理システム１０１は、カテーテル研究室１０２、医療設備内の集中領域またはオフサイト場所（すなわち、クラウド（ｃｌｏｕｄ）内）などの他の場所に位置付けられてもよい。カテーテル研究室１０２は、一般に手続き領域を取り囲む滅菌領域を含むが、その関連管理室１０４は、ある手続および／または医療施設の要求に応じて、滅菌性であってもまたはそうでなくてもよい。カテーテル研究室および管理室は、血管造影法、血管内超音波法（ＩＶＵＳ）、Ｖｉｒｔｕａｌ Ｈｉｓｔｏｌｏｇｙ（ＶＨ）、前方視ＩＶＵＳ（ＦＬ−ＩＶＵＳ）、血管内光音響（ＩＶＰＡ）造影法、血流予備量比（ＦＦＲ）特定法、冠血流予備量能（ＣＦＲ）特定法、光干渉断層法（ＯＣＴ）、コンピュータ断層撮影法、心腔内心エコー法（ＩＣＥ）、前方視ＩＣＥ（ＦＬＩＣＥ）、血管内パルポグラフィ（Ｉｎｔｒａｖａｓｃｕｌａｒ Ｐａｌｐｏｇｒａｐｈｙ）、経食道心エコー検査、または当該技術分野で周知の任意の他の医療センシング・モダリティなどの任意の数の医療センシング手続きを患者に実行するように、使用されてもよい。さらに、カテーテル研究室および管理室は、ラジオ波焼灼治療法（ＲＦＡ）、凍結治療法、アテローム切除法、または当該技術分野で周知の任意の他の医療手術手続きなどの１つまたは複数の手術または治療手続きを患者に対して実行するように、使用されてもよい。たとえば、カテーテル研究室１０２において、患者１０６は、単一の手続きとして、もしくは１つまたは複数のセンシング手続きを組み合わせて、マルチモダリティ手続きが実行されてもよい。何れの場合も、カテーテル研究室１０２は、患者１０６から種々の異なる医療センシング・モダリティにおいて医療センシング・データを収集してもよい医療センシング装置を含む複数の医療機器を含む。
図１に示す実施形態では、機器１０８および１１０は、患者１０６についての医療センシング・データを取得するように、臨床医が用いてもよい医療センシング装置である。特定の実施例では、装置１０８は一のモダリティにおいて医療センシング・データを収集し、装置１１０は異なるモダリティにおいて医療センシング・データを収集する。たとえば、機器は各々、圧力、流れ（速度）、画像（超音波（たとえば、ＩＶＵＳ）、ＯＣＴ、熱および／または他の撮像技術を用いて得られる画像を含む）、温度、ならびに／もしくはそれらの組み合わせの一を収集してもよい。装置１０８および１１０は、血管内に位置付けられる、患者の外部に取り付けられる、またはある距離から患者が走査されるように、大きさ決めおよび形状化された、任意の形式の装置、機器またはプローブであってもよい。
図１に示す実施形態では、機器１０８は、ＩＶＵＳセンシング・データを収集するように、フェーズド・アレイ・トランスデューサなどの１つまたは複数のセンサを含んでもよいＩＶＵＳカテーテル１０８である。いくつかの実施形態では、ＩＶＵＳカテーテル１０８は、ＩＶＵＳおよびＩＶＰＳセンシングなどのマルチモダリティ・センシングを可能にしてもよい。さらに、図示された実施形態では、機器１１０は、ＯＣＴセンシング・データを収集するように構築された１つまたは複数の光センサを含んでもよいＯＣＴカテーテル１１０である。いくつかの実施例では、ＩＶＵＳ患者インタフェース・モジュール（ＰＩＭ）１１２およびＯＣＴ ＰＩＭ１１４はそれぞれ、ＩＶＵＳカテーテル１０８およびＯＣＴカテーテル１１０を医療システム１００に結合させる。特に、ＩＶＵＳ ＰＩＭ１１２およびＯＣＴ ＰＩＭ１１４は、ＩＶＵＳカテーテル１０８およびＯＣＴカテーテル１１０により患者１０６から収集された医療センシング・データをそれぞれ受信するように動作可能であり、管理室１０４の処理システム１０１に受信されたデータを送信するように動作可能である。一実施形態では、ＰＩＭ１１２および１１４はアナログ・デジタル（Ａ／Ｄ）変換器を含み、デジタルデータを処理システム１０１に送信するが、他の実施形態では、ＰＩＭが処理システムにアナログデータを送信する。一実施形態では、ＩＶＵＳ ＰＩＭ１１２およびＯＣＴ ＰＩＭ１１４は、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）データ・バス接続において医療センシング・データを送信するが、他の実施形態では、それらは、ＵＳＢ接続、サンダーボルト（Ｔｈｕｎｄｅｒｂｏｌｔ）（登録商標）接続、ファイヤ・ワイヤ（ＦｉｒｅＷｉｒｅ）（登録商標）接続、または他のある高速データ・バス接続においてデータを送信してもよい。他の実施例では、ＰＩＭは、ＩＥＥＥ８０２．１１Ｗｉ−Ｆｉ規格、超広帯域（ＵＷＢ）規格、無線ファイヤ・ワイヤ、無線ＵＳＢ、または他の高速無線ネットワーキング規格を用いた無線接続により処理システム１０１に接続されてもよい。
さらに、医療システム１００において、心電（ＥＣＧ）装置１１６は、心電信号または他の血液動態データを患者１０６から処理システム１０１に送信するように動作可能である。いくつかの実施形態では、処理システム１０１は、ＥＣＧ１１６からのＥＣＧ信号を用いて、カテーテル１０８および１１０により収集されたデータの同期をとるように動作可能である。さらに、血管造影システム１１７は、患者１０６のＸ線、コンピュータ断層撮影（ＣＴ）または磁気共鳴撮像（ＭＲＩ）を収集し、それらを処理システム１０１に送信するように動作可能である。一実施形態では、血管造影システム１１７は、アダプタ装置を介して処理システム１０１に通信可能に結合されることが可能である。そのようなアダプタ装置は、データを独自仕様の第三者フォーマットから処理システム１０１により使用可能なフォーマットに変換してもよい。いくつかの実施形態では、処理システム１０１は、血管造影システム１１７からの画像データ（たとえば、Ｘ線データ、ＭＲＩデータ、ＣＴデータなど）をＩＶＵＳカテーテル１０８およびＯＣＴカテーテル１１０からのセンシング・データとコレジストレーションする（ｃｏ−ｒｅｇｉｓｔｅｒ）ように動作可能であってもよい。この一特徴として、コレジストレーションは、センシング・データを用いて三次元画像を生成するように実行されてもよい。
ベッドサイド・コントローラ１１８も、処理システム１０１に通信可能に結合され、患者１０６を診断するように用いられる特定の（１つまたは複数の）医療モダリティのユーザ制御を提供する。本実施形態において、ベッドサイド・コントローラ１１８は、単一の表面にユーザ制御および診療画像を提供するタッチスクリーン・コントローラである。しかし、代替の実施形態では、ベッドサイド・コントローラ１１８は、非相互作用ディスプレイと物理的ボタンおよび／またはジョイスティックなどの別箇の制御器の両方を含んでもよい。一体化された医療システム１００において、ベッドサイド・コントローラ１１８は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）でワークフロー制御オプションおよび患者画像データを提示するように動作可能である。図２に関連して詳細に説明するように、ベッドサイド・コントローラ１１８は、複数のモダリティに関連するワークフローが実行してもよいユーザ・インタフェース（ＵＩ）フレームワーク・サービスを含む。したがって、ベッドサイド・コントローラ１１８は、単一のインタフェース装置によりマルチモダリティ医療センシング・データの取得を臨床医が制御することを可能にする複数のモダリティのためのワークフローおよび診療画像を表示することが可能である。
管理室１０４のメイン・コントローラ１２０も、処理システム１０１に通信可能に結合され、図１に示すように、カテーテル研究室１０２に隣接している。本実施形態では、メイン・コントローラ１２０は、タッチスクリーンを含み、そのタッチスクリーン上で実行するＵＩフレームワーク・サービスを介して異なる医療センシング・モダリティに対応する多数のＧＵＩベースのワークフローを表示するように動作可能である点で、ベッドサイド・コントローラ１１８に類似している。いくつかの実施形態では、メイン・コントローラ１２０は、ベッドサイド・コントローラ１１８とは異なる手続きのワークフローの側面を同時に実行するように用いられてもよい。代替の実施形態では、メイン・コントローラ１２０は、非インタラクティブ表示と、マウス、キーボードなどのスタンドアロン制御器とを含んでもよい。
医療システム１００は、処理システム１０１に通信可能に結合されたブーム・ディスプレイ１２２をさらに含む。ブーム・ディスプレイ１２２は、モニタの配列であって、各々が医療センシング手続きに関連して異なる情報を表示することが可能である、モニタの配列を含んでもよい。たとえば、ＩＶＵＳ手続き中に、ブーム・ディスプレイ１２２の一のモニタは断層像を表示してもよく、一のモニタは矢状像を表示してもよい。
さらに、マルチモダリティ処理システム１０１は、データ・ネットワーク１２５に通信可能に結合される。図示している実施形態では、データ・ネットワーク１２５はＴＣＰ／ＩＰベースのローカル・エリア・ネットワーク（ＬＡＮ）であり、しかしながら、他の実施形態では、そのデータ・ネットワーク１２５は、Ｓｙｎｃｈｒｏｎｏｕｓ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋｉｎｇ（ＳＯＮＥＴ）などの異なるプロトコルを用いてもよく、またはワイドエリアネットワーク（ＷＡＮ）であってもよい。処理システム１０１は、ネットワーク１２５を介して様々なリソースに接続してもよい。たとえば、処理システム１０１は、ネットワーク１２５を介して、Ｄｅｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）システム１２６、Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ（ＰＡＣＳ）１２７および病院情報システム（ＨＩＳ）１２８と通信してもよい。さらに、いくつかの実施形態では、ネットワーク・コンソール１３０は、医師または他の医療従事者が遠隔的に医療システム１００の態様にアクセスすることを可能にするようネットワーク１２５を介してマルチモダリティ処理システム１０１と通信してもよい。たとえば、ネットワーク・コンソール１３０のユーザは、マルチモダリティ処理システム１０１により収集された診療画像などの患者医療データにアクセスしてもよく、または、いくつかの実施形態では、リアルタイムにカテーテル研究室１０２における１つまたは複数の継続手続きを監視または制御してもよい。ネットワーク・コンソール１３０は、ＰＣ、ラップトップ、スマートフォン、タブレットコンピュータもしくはヘルスケア施設の内部または外部に位置する他のそのような装置などの、ネットワーク接続を有する任意の種類の計算装置であってもよい。
さらに、図示している実施形態では、上述のシステム１００における医療センシング・ツールは、標準的な銅リンクまたは光ファイバリンクなどの有線接続を介して処理システム１０１に通信可能に結合されるとして示されているが、代替の実施形態においては、ツールは、ＩＥＥＥ８０２．１１Ｗｉ−Ｆｉ規格、超広帯域（ＵＷＢ）規格、無線ファイヤ・ワイヤ、無線ＵＳＢ、または他の高速無線ネットワーキング規格を用いる無線接続を介して処理システム１０１に接続されてもよい。
当業者は、上述の医療システム１００は、複数の医療モダリティに関連する診療データを収集するように動作可能であるシステムの単なる例示としての実施形態であることを認識するであろう。代替の実施形態では、異なるおよび／または追加のツールが、医療システム１００に追加のおよび／または異なる機能性を与えるよう処理システム１０１に通信可能に結合されてもよい。
ここで図２を参照するに、マルチモダリティ処理システム１０１の実施形態で実行する処理フレームワーク２００を含む、図１の医療システム１００の一部の機能ブロック図が示されている。処理フレームワーク２００は、マルチモダリティ医療センシング・データの取得、処理および表示を含む、処理システム１０１の動作を制御する種々の独立および非独立の実行可能なコンポーネントを含む。一般に、処理システム１０１の処理フレームワーク２００はモジュール式および拡張可能である。すなわち、フレームワーク２００は、異なる機能および医療センシング・モダリティにそれぞれ関連する独立したソフトウェアおよび／またはハードウェアコンポーネント（または拡張機能）から成る。このモジュール式設計は、既存の機能性に影響を与えたり、または基礎をなすアーキテクチャへの変更を必要としたりせずに、追加の医療センシング・モダリティおよび機能性を収容するようにフレームワークが拡張されることを可能にする。さらに、内部メッセージング・システムは、フレームワーク内のモジュール間の独立したデータ通信を容易にする。一実施例では、処理フレームワーク２００は、処理システム１０における非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令として実施されてもよい。他の実施例では、処理フレームワーク２００は、処理システム１０１内で実行するハードウェアおよびソフトウェアモジュールの組み合わせであってもよい。
一般に、図２に示す実施形態では、処理フレームワーク２００は、複数の医療センシング装置から医療センシング・データを受信し、そのデータを処理し、メイン・コントローラ１２０、ベッドサイド・コントローラ１１８または他のグラフィカル・ディスプレイ装置を介して診療画像としてのデータを出力するように構成される複数のコンポーネントを含む。フレームワーク２００は、処理システム１０１のコア・システム機能を管理して、また複数のモダリティ固有コンポーネントを調整する複数のシステム・レベル・コンポーネントを含む。たとえば、フレームワーク２００は、患者診療データの取得および処理に関連するハードウェアおよびソフトウェア・モジュールを含む処理フレームワーク２００の複数の実行可能コンポーネントの立ち上げ（スタートアップ）および立ち下げ（シャットダウン）を調整するシステム・コントローラ２０２を含む。システム・コントローラ２０２はまた、たとえば、何れかのコンポーネントが予期せず実行を停止したかどうかを判定するように、フレームワーク２０２内で実行するコンポーネントの状態を監視するように構成されてもよい。さらに、システム・コントローラ２０２は、インタフェースであって、そのインタフェースにより他のフレームワーク・コンポーネントがシステム構成および状態情報を得てもよい、インタフェースを提供する。ソフトウェア・フレームワーク２００はモジュール式であるため、システム・コントローラ２０２は、コンポーネントで生じたエラーおよび変化がシステム・コントローラの実行または構造に影響を及ぼさないように管理するフレームワーク内のコンポーネントから独立している。
上述のように、フレームワーク２００は、システム・アーキテクチャの変更なしに、様々な拡張が追加および除去されてもよいように構成される。特定の実施形態では、フレームワーク２００内で実行する拡張は、拡張の完全な機能を共に実行する複数の実行可能なコンポーネントを含んでもよい。そのような実施形態では、拡張は、拡張に関連する様々な実行可能なコンポーネントを立ち上げ、立ち下げおよび監視するように動作可能であるシステム・コントローラ２０２に類似する拡張コントローラを含んでもよい。たとえば、システム立ち上げ時に、システム・コントローラ２０２は、医療モダリティに対応する拡張コントローラを開始してもよく、続いて、拡張コントローラは、さらに、モダリティに関連する実行可能なコンポーネントを開始してもよい。一実施形態では、拡張コントローラは、システム・コントローラ２０２がそれらを、構成ファイルなどの構成機構から取り出されたパラメータを介して特定のモダリティまたは他のシステム・タスクに関連付けるまで、割り当てられなくてもよい。
処理フレームワーク２００は、マルチモダリティ医療センシング・ワークフロー中にフレームワーク２０２の実行可能なコンポーネントの実行を支配するように一般に構成されるワークフロー・コントローラ・コンポーネント２０４をさらに含む。ワークフロー・コントローラ・コンポーネント２０４は、様々な異なる方法で処理フレームワーク２００により実行されるワークフローを支配してもよい。
処理フレームワーク２００は、処理フレームワークの種々のコンポーネントから受信されるログメッセージに対して構成されるイベント・ロギング・コンポーネント２０６をさらに含む。たとえば、システム立ち上げ中に、システム・コントローラ２０２は、標準化フォーマットでログファイルにメッセージをさらに書き込むイベント・ロギング・コンポーネント２０６に対して開始されるコンポーネントの状態についてのメッセージを送信してもよい。さらに、処理フレームワーク２００は、マルチモダリティ医療センシングおよび／または処理ワークフロー中にフレームワーク２０２の様々な実行可能なコンポーネント間での限定されたシステム・リソースの共有を管理するように構成されるリソース・アービタ・コンポーネント２０８を含む。たとえば、マルチモダリティ・ワークフロー中に、処理フレームワーク２０２内の異なるモダリティに関連する２つまたは３つ以上のコンポーネントは、メイン・コントローラ１２０におけるグラフィカル表示などの同じシステム・リソースを競合する可能性がある。リソース・アービタ・コンポーネント２０８は、ロックシステム、キューシステムまたは階層的衝突管理システムなどの様々な方法における限定されたシステム・リソースの共有を調整してもよい。
一実施形態では、システム・コントローラ２０２、ワークフロー・コントローラ・コンポーネント２０４、イベント・ロギング・コンポーネント２０６およびリソース・アービタ・コンポーネント２０８は、非一時的コンピュータ可読記憶媒体に記憶されたプロセッサ実行可能ソフトウェアとして実行されてもよいが、代替の実施形態では、これらのコンポーネントは、専用マイクロプロセッサ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、マイクロコントローラ、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）などのハードウェア・コンポーネントとして実施されてもよい。代替として、処理フレームワークのコンポーネントは、ハードウェアおよびソフトウェアの組み合わせとして実施されてもよい。実行可能なコンポーネントがＦＰＧＡにおいて実施される特定の実施形態では、システム・コントローラ２０２は、そのときに必要な様々な機能を実施するようＦＰＧＡ内でプログラマブル・ロジックを動的に変化させるように構成されてもよい。これの態様として、処理システム１０１は、システム立ち上げ中にシステム・コントローラにより割り当てられてもよい１つまたは複数の割り当てられないＦＰＧＡを含んでもよい。たとえば、処理システム１０１の立ち上げ時に、システム・コントローラが、ＯＣＴ ＰＩＭおよびそれに結合されたカテーテルを検出する場合、ＯＣＴ機能に関連するシステム・コントローラまたは拡張コントローラは、ＯＣＴ医療データを受信および／または処理する機能を含むように、割り当てられていないＦＰＧＡの一内でプログラマブル・ロジックを動的に変換してもよい。
マルチモダリティ処理システム１０１における異なるハードウェアおよびソフトウェア・コンポーネント間でのシステム間通信を容易にするように、処理フレームワーク２００は、メッセージ配信コンポーネント２１０をさらに含む。一実施形態では、メッセージ配信コンポーネント２１０は、フレームワーク２０２内のコンポーネントからメッセージを受信し、そのメッセージの意図された目的を決定し、適時にそのメッセージを配信する（すなわち、メッセージ配信コンポーネントはメッセージの配信において能動的に参画している）。そのような実施形態では、メッセージ・メタデータは、配信先情報、ペイロード・データ（たとえば、モダリティの種類、患者データなど）、優先情報、タイミング情報または他のそのような情報を含む送信コンポーネントにより生成されてもよい。他の実施形態では、メッセージ配信コンポーネント２１０は、フレームワーク２０２内のコンポーネントからメッセージを受信し、そのメッセージを一時的に記憶し、そのメッセージがフレームワーク内の他のコンポーネントによって取り出すために利用できるようにする（すなわち、メッセージ配信コンポーネントは受動的キューである）ように構成されてもよい。いずれにしても、メッセージ配信コンポーネント２１０は、フレームワーク２００における実行可能なコンポーネント間の通信を容易にする。たとえば、システム・コントローラ２０２は、システム立ち上げシーケンス中に開始するコンポーネントの状態を調べるようにメッセージ配信コンポーネント２１０を用いてもよく、続いて、状態情報を受信するときに、ログファイルに対して書き込まれてもよいように、イベント・ロギング・コンポーネント２０６に状態情報を送信するようにメッセージ配信コンポーネントを用いてもよい。同様に、リソース・アービタ・コンポーネント２０８は、限定されたリソースへのアクセスを要求するコンポーネント間でリソース・トークンを渡すようにメッセージ配信コンポーネント２１０を用いてもよい。
メッセージ配信コンポーネント２１０が受動的キューである例示としての一実施形態では、フレームワーク２００におけるコンポーネントは、入ってくる医療センシング・データをメッセージにパケット化し、続いて、メッセージ配信コンポーネントのキューにそのメッセージを送信してもよく、ここでは、そのメッセージは画像データ処理コンポーネントなどの他のコンポーネントにより検索される。さらに、いくつかの実施形態では、メッセージ配信コンポーネント２１０は、ファースト・イン・ファースト・アウト（ＦＩＦＯ）方法で受信されたメッセージを利用可能にするように動作可能であり、キューに最初に達するメッセージは、キューから最初に取り除かれるであろう。代替の実施形態では、メッセージ配信コンポーネント２１０は、たとえば、メッセージ・ヘッダに記憶された優先値により、異なる方法でメッセージを利用可能にしてもよい。一実施形態では、メッセージ配信コンポーネント２１０は、処理システム１０１におけるランダム・アクセス・メモリ（ＲＡＭ）で実施されているが、他の実施形態では、それは、不揮発性ＲＡＭ（ＮＶＲＡＭ）、二次記憶装置（たとえば、磁気ハードドライブ、フラッシュメモリなど）、またはネットワークベースの記憶装置において実施されてもよい。さらに、一実施形態では、メッセージ配信コンポーネント２１０に記憶されたメッセージは、ダイレクト・メモリ・アクセス（ＤＭＡ）を用いて処理システム１０１におけるソフトウェアおよびハードウェアモジュールによりアクセスされてもよい。
処理フレームワーク２０２は、セキュリティ・コンポーネント２１２、マルチモダリティ案件管理（ＭＭＣＭ）コンポーネント２１４およびデータベース管理コンポーネント２１６を含むコア・システム機能を備えた複数の追加システム・コンポーネントをさらに含む。特定の実施形態では、セキュリティ・コンポーネント２１２は、全体的な処理フレームワークにまたは個別のコンポーネントに種々のセキュリティ・サービスを備えるように構成される。たとえば、ＩＶＵＳデータ取得ワークフローを実施するコンポーネントは、ネットワーク接続において送信される前に、ＩＶＵＳデータを暗号化するセキュリティ・コンポーネント２１２により露出された暗号化アプリケーション・プログラミング・インタフェース（ＡＰＩ）を用いてもよい。さらに、セキュリティ・コンポーネント２１２は、認証されたユーザに対する処理フレームワークへのアクセスを制限し、また拡張可能フレームワーク内の信頼できないコンポーネントの拡張を防ぐ、システムレベル認証および許可サービスなどの他のセキュリティ・サービスを提供してもよい。マルチモダリティ案件管理（ＭＭＣＭ）コンポーネント２１４は、より容易に管理されてもよい統合された患者記録に複数の医療モダリティに関連する診療データを調整および統合するように構成される。そのような統合された患者記録は、データベースに、より効率的に記憶されてもよく、およびデータのアーカイブ化および取り出しにより順応性をもってもよい。その点で、データベース管理コンポーネント２１６は、データベース接続および管理の詳細が他のコンポーネントから隠されるように、フレームワーク２００において他のコンポーネントに透過的データベース・サービスを示すように構成される。たとえば、特定の実施形態では、データベース管理コンポーネント２１６は、フレームワーク２００のコンポーネントに対してデータベース記憶装置および検索機能を含むＡＰＩを露出してもよい。換言すれば、医療センシング・ワークフロー・コンポーネントは、データベース接続の詳細を認識することなしにデータベース・コンポーネントを介してＤＩＣＯＭまたはＰＡＣＳサーバなどのローカルおよび／またはリモート・データベースに診療データを送信することが可能であってもよい。他の実施形態では、データベース管理コンポーネント２１６は、データベースのアーカイブ化のための診療データを作成するデータ・フォーマット・サービスなどの追加のおよび／または異なるデータベース・サービスを実行するように動作可能であってもよい。
上述のように、マルチモダリティ処理システム１０１の処理フレームワーク２００は、複数のモダリティに関連する医療データを受信して処理するように動作可能である。その点で、処理フレームワーク２００は、異なる医療センシングおよび診療モダリティにそれぞれ関連する複数のモジュール式取得コンポーネントおよびワークフロー・コンポーネントを含む。たとえば、図２の例示としての実施形態に示すように、処理フレームワーク２００は、ＩＶＵＳ ＰＩＭ１１２からＩＶＵＳ医療センシング・データを受信して処理するようにそれぞれ構成されるＩＶＵＳ取得コンポーネント２２０およびＩＶＵＳワークフロー・コンポーネント２２２を含む。処理フレームワーク２００のモジュール式および拡張可能な性質に従って、任意の数の追加の取得コンポーネントおよびワークフロー・コンポーネントが、モダリティ“Ｎ”ＰＩＭ２２８からデータを取得して処理するモダリティ“Ｎ”取得コンポーネント２２４およびモダリティ“Ｎ”ワークフロー・コンポーネント２２６で表されるフレームワークに独立して追加されてもよい。たとえば、特定の実施形態では、処理システム１０１は、ＯＣＴ ＰＩＭ１１４、ＥＣＧシステム１１６、血流予備量比（ＦＦＲ）ＰＩＭ、ＦＬＩＶＵＳ ＰＩＭおよびＩＣＥ ＰＩＭに通信可能に結合されてもよい。他の実施形態では、追加のおよび／または異なる医療センシング装置、処理装置または診療装置は、当該技術分野で既知の追加のおよび／または異なるデータ通信接続を介して処理システム１０１に結合されてもよい。そのようなシナリオでは、ＩＶＵＳ取得モジュール２２０に加えて、処理フレームワーク２００は、ＦＦＲ ＰＩＭからＦＦＲデータを受信するＦＦＲ取得コンポーネントと、ＦＬＩＶＵＳ ＰＩＭからＦＬＩＶＵＳデータを受信するＦＬＩＶＵＳ取得コンポーネントと、ＩＣＥ ＰＩＭからＩＣＥデータを受信するＩＣＥ取得コンポーネントと、ＯＣＴ ＰＩＭからＯＣＴデータを受信するように動作可能であるＯＣＴ取得コンポーネントとを含み得る。これに関連して、処理フレームワーク２００の実行可能コンポーネントと通信可能に結合された医療装置（たとえば、ＰＩＭ、カテーテルなど）との間で通信される医療データは、センサにより収集されたデータ、制御信号、パワーレベル、装置フィードバック、およびセンシング、処理または診断手続きに関連する他の医療データを含んでもよい。さらに、特定の実施形態では、患者治療装置は、ラジオ波焼灼治療法（ＲＦＡ）、凍結治療法またはアテローム切除法に関連する装置、そのような治療手続きに関連するＰＩＭまたは他の制御機器など、処理システム１０１に通信可能に結合されてもよい。そのような実施形態では、モダリティ“Ｎ”取得コンポーネント２２４およびモダリティ“Ｎ”ワークフロー・コンポーネント２２６は、制御信号を中継し、パワーレベルを中継し、装置フィードバックを受信し、治療装置に備えられたセンサにより収集されたデータを受信することなどにより、治療装置と通信し、この治療装置を制御するように構成されてもよい。
一実施形態では、取得コンポーネント２２０および２２４が接続された医療センシング装置からデータを受信した場合、このコンポーネントは、システム間通信を容易にするように、データをメッセージにパケット化する。具体的には、このコンポーネントは、入ってきたデジタル・データ・ストリームから複数のメッセージを生成するように動作可能であってもよく、各々のメッセージは、デジタル化された医療センシング・データの一部およびヘッダを含む。メッセージ・ヘッダは、メッセージ内に含まれる医療センシング・データに関連するメタデータを含む。さらに、いくつかの実施形態では、取得コンポーネント２２０および２２４は、フレームワーク２００の他の部分に送信される前に、何らかの方法でデジタル化された医療センシング・データを操作するように動作可能であってもよい。たとえば、取得コンポーネントは、システム間通信をより効率的にし、正規化し、スケーリングし、または後のデータの処理を支援するようデータをフィルタリングするように、センシング・データを圧縮してもよい。いくつかの実施形態では、この操作はモダリティ固有であってもよい。たとえば、ＩＶＵＳ取得コンポーネント２２０は、後のステップで処理時間を節約するよう渡される前に、冗長なＩＶＵＳデータを特定して破棄してもよい。取得コンポーネント２２０および２２４は、データ・バス（たとえば、ＰＣＩｅ、ＵＳＢ）によりもたらされる中断に対応して、どの医療センシング装置が処理システム１０１に接続されているかを検出し、接続されている医療センシング装置についての情報を取り出し、センシング装置固有のデータを記憶し、データ・バスにリソースを割り当てることを含む、データの取得に関係する複数のタスクをさらに実行してもよい。上述のように、データ取得コンポーネントは、互いに独立していて、他のコンポーネントによるデータ取得を乱すことなく、設置されてもよく、または取り外されてもよい。さらに、取得コンポーネントは、基礎をなすデータ・バス・ソフトウェア・レイヤ（たとえば、ＡＰＩを使用して）から独立していて、したがって、第三者の医療センシング装置からのデータの取得を容易にするように第三者により生成されてもよい。
ＩＶＵＳワークフロー・コンポーネント２２２などの処理フレームのワークフロー・コンポーネントは、メッセージ配信コンポーネント２１０を介してそれぞれの取得コンポーネントから未処理の医療センシングおよび／または診療データを受信する。一般に、ワークフロー・コンポーネントは、計算した時間にデータ収集を開始および停止し、取得して処理した患者データを表示し、臨床医が取得した患者データの分析を容易にすることなどにより、医療センシング・データの取得を制御するように構成される。この態様としては、ワークフロー・コンポーネントは、患者から収集した未処理の医療データを、臨床医が患者の状態を評価することを可能にする診療画像または他のデータ・フォーマットに変換するように動作可能である。たとえば、ＩＶＵＳワークフロー・コンポーネント２２２は、ＩＶＵＳ ＰＩＭ１１２から受信したＩＶＵＳデータを翻訳して、このデータを人間可読ＩＶＵＳ画像に変換してもよい。一実施形態では、フレームワーク内のソフトウェア・スタックは、ＡＰＩのセットを露出させ、そのＡＰＩのセットを用いて、フレームワーク内のワークフロー・コンポーネント２２２および他のワークフロー・コンポーネントが、計算リソース、メッセージ配信コンポーネント２１０、および通信リソースなどのシステム・リソースにアクセスするように呼び出してもよい。取得したデータを処理した後、モダリティ中心ワークフロー・コンポーネントは、メッセージ配信コンポーネント２１０を介してフレームワーク２００内の他のコンポーネントに処理したデータを含む１つまたは複数のメッセージを送信してもよい。いくつかの実施形態では、そのようなメッセージを送信する前に、それらのコンポーネントは、メッセージが処理したデータを含むことを示すフラグをヘッダに挿入してもよい。さらに、いくつかの実施形態では、医療センシング・データを処理した後、それらのコンポーネントは、局所的に取り付けられた大容量記憶装置またはネットワークベースのＰＡＣＳサーバ１２７などのアーカイブ化システムに処理したデータを送信するようにデータベース管理コンポーネント２１６を用いてもよい。処理フレームワーク２００のモジュール式アーキテクチャに従って、ワークフロー・コンポーネント２２２および２２６は、互いに独立していて、他のコンポーネントを乱すことなく、設置または取り外しされてもよく、第三者により書き込まれてもよい。さらに、それらの独立性のために、それらは、複数の医療センシング装置からの信号データおよび画像データを同時に処理するように動作可能であってもよい。
処理フレームワーク２００は、任意の数のデータ収集ツール２３４からデータを取得して、それらを処理し、その取得したデータをフレームワーク内の他の取得コンポーネントの一により取得されたデータとともにコレジストレーションするように構成されるコレジストレーション・インタフェース・コンポーネント２３０およびコレジストレーション・ワークフロー・コンポーネント２３２をさらに含む。より詳細には、コレジストレーション・インタフェース・コンポーネント２３０は、図１のＥＣＧ装置１１６またはアンギオグラフィ・システム１１７などの任意の数のモダリティに関連する医療データ取得ツールと通信可能にインタフェースするように動作可能であってもよい。特定の実施形態では、インタフェース・コンポーネント２３０は、処理システム１０１により取得された他のセンシング・データとともにコレジストレーションされてもよいように、入ってくるモダリティ・データを標準化および／または変換するように動作可能であってもよい。医療データがコレジストレーション・インタフェース・コンポーネント２３０により取得されているため、コレジストレーション・ワークフロー・コンポーネント２３２は、医療センシング装置間でのデータ収集を空間的または時間的に同期させ、空間的または時間的レジストレーション・マーカに基づいて２つまたは３つ以上の取得したデータセットを整列させ、臨床医が患者の状態を評価することが可能であるコレジストレーションした診療画像または他の人間可読データを生成することなどにより、異なるモダリティからのデータのコレジストレーションを容易にするように構成される。さらに、他の実施形態では、コレジストレーション・ワークフロー・コンポーネント２３２は、前に生成された二次元（２Ｄ）画像または三次元（３Ｄ）モデルを用いて、２Ｄまたは３Ｄ空間におけるカテーテル収集データを空間的にコレジストレーションするように動作可能であってもよい。たとえば、カテーテルベースのセンシング・ツールは、センシング手続き中に位置データを生成するように追尾される基準を含んでもよく、コレジストレーション・ワークフロー・コンポーネント２３２は、前に取得されたＭＲＩデータに対してこの位置データをレジストレーションしてもよい。さらに、コレジストレーション・ワークフロー・コンポーネント２３２は、ＩＶＵＳ取得コンポーネント２２０およびモダリティ“Ｎ”取得コンポーネント２２４などのフレームワーク２００内の本来の取得コンポーネントにより取得されたマルチモダリティ・データのコレジストレーションを容易にしてもよい。さらに、いくつかの実施形態では、リアルタイム・クロックが、コレジストレーション・ワークフロー・コンポーネント２３２に一体化されてもよい。発明の名称が「ＤＩＳＴＲＩＢＵＴＥＤ ＭＥＤＩＣＡＬ ＳＥＮＳＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」である米国特許仮出願第６１／４７３，５９１号明細書において、時間的に同期する医療センシング・データ収集について詳細に開示されていて、その開示全体が参照より本明細書に含まれる。
図１に関連して上述しているように、処理システム１０１を用いる臨床医は、メイン・コントローラ１２０およびベッドサイド・コントローラ１１８を介してワークフローを制御して、診療画像を見てもよい。メイン・コントローラ１２０およびベッドサイド・コントローラ１１８は、複数のユーザ・インタフェース（ＵＩ）拡張（またはコンポーネント）を支援するユーザ・インタフェース（ＵＩ）・フレームワーク・サービス２４０および２４２をそれぞれ含む。一般に、ＵＩフレームワーク・サービス２４０および２４２により支援されるＵＩ拡張は、医療センシング・モダリティにそれぞれ対応し、処理されたセンシング・データの関連付けられた取得ワークフローおよび表示の制御のためのユーザ・インタフェースをレンダリングするように動作可能である。処理フレームワーク２００と同様に、ＵＩフレームワーク２４０および２４２は、互いに独立しているＵＩ拡張をそれらが支援する点で、拡張可能である。すなわち、そのモジュール式設計は、基礎をなすＵＩアーキテクチャに対して既存のユーザ・インタフェースに影響することまたはそれに対する変化を必要とすることなく、ＵＩフレームワーク２４０および２４２が追加の医療センシング・モダリティ・ユーザ・インタフェースを収容するように拡張されることを可能にする。図示された実施形態では、メイン・コントローラ１２０は、コア・システム制御部および構成オプションを含むユーザ・インタフェースをレンダリングするシステムＵＩ拡張部２４４を含む。たとえば、臨床医は、システムＵＩ拡張部２４４によりレンダリングされるユーザ・インタフェースを用いて処理システム１０１を立ち上げ、立ち下げまたは管理してもよい。一実施形態では、メイン・コントローラ１２０のコンポーネントにおいては、処理フレームワーク２００の一部が考慮されてもよい。ＩＶＵＳ ＵＩ拡張部２４６および２４８は、メイン・コントローラ１２０およびベッドサイド・コントローラ１１８のそれぞれのためにユーザ・インタフェースをレンダリングする。たとえば、ＩＶＵＳ ＵＩ拡張部２４６および２４８は、ＩＶＵＳワークフローを制御するように用いられるタッチ・スクリーン・ボタンをレンダリングおよび表示してもよいし、または、ＩＶＵＳワークフロー・コンポーネント２２２により生成されたＩＶＵＳ診療画像をレンダリングおよび表示してもよい。同様に、モダリティ“Ｎ”ＵＩ拡張部２５０および２５２は、モダリティ“Ｎ”ワークフローに関連する制御および画像をレンダリングする。
一実施形態では、ＵＩフレームワーク・サービス２４０および２４２は、ルック・アンド・フィール・ツールボックスおよびエラー処理リソースなどのシステム・リソースにアクセスするようにＵＩ拡張部が呼び出してもよいＡＰＩを露出してもよい。ルック・アンド・フィール・ツールボックスＡＰＩは、異なるモダリティ・ワークフローのための共通のボタン、パラレル・ワークフロー形式およびデータ提示スキームにより標準化されたユーザ・インタフェースをＵＩ拡張部が提示することを可能にする。このように、臨床医は、追加のユーザ・インタフェース訓練なしで、取得モダリティ間でより容易に切り替えてもよい。さらに、コレジストレーションＵＩ拡張部は、複数のモダリティから処理された画像または信号データを提示しても、および／または組み合わせてもよい。たとえば、ＵＩ拡張部は、ＩＶＵＳ画像データに隣接して心電図（ＥＣＧ）波形を表示してもよく、または、ＯＣＴ画像上に以前の描かれている境界に重畳してＩＶＵＳ画像を表示してもよい。さらに、いくつかの実施形態では、ＵＩフレームワーク・サービス２４０および２４２は、既存のＵＩ拡張部を同時に調節するようにマルチタスク・フレームワークを含んでもよい。たとえば、処理システム１０１が、２つ以上のモダリティに関連するデータを同時に取得している場合、ＵＩフレームワーク・サービス２４０および２４２は、モダリティ選択画面をユーザに提示してもよく、その画面上で、所望のユーザ・インタフェースが選択されてもよい。
ＵＩフレームワーク・サービス２４０は、メッセージ配信コンポーネント２１０を介して処理フレームワーク２００のコンポーネントと通信する。図２の例示としての実施形態に示すように、ベッドサイド・コントローラ１１８は、ネットワーク接続２５４を介して処理フレームワーク２００に通信可能に結合されてもよい。ネットワーク接続２５４は、イーサネット接続またはＩＥＥＥ ８０２．１１ ＷｉＦｉ接続などの任意の種類の有線または無線ネットワーク接続であってもよい。代替として、メイン・コントローラ１２０およびベッドサイド・コントローラ１１８の一または両方が（ＰＣＩｅ）データ・バス接続、ＵＳＢ接続、サンダーボルト接続、ファイヤ・ワイヤ接続、または他のある高速データ・バス接続などのローカル・バス接続を介して処理フレームワーク２００と通信してもよい。さらに、図２の例示としての実施形態では、ベッドサイド・コントローラは、ベッドサイド・コントローラ１１８におけるＵＩ拡張部と処理フレームワーク２００におけるコンポーネントとの間のメッセージベースの通信を容易にするように構成されたメッセージ配信コンポーネント２５６を含む。特定の実施形態では、メッセージ配信コンポーネント２５６は、診療画像データがネットワーク接続２５４に到達するために、ネットワーク通信パケットから診療画像データを抽出してもよい。
処理フレームワーク２００は、マルチモダリティ処理システム１０１で実行するワークフローに臨床医がアクセスし、および／またはそれを制御することを可能にする追加のコンポーネントを含む。たとえば、フレームワーク２００は、処理フレームワーク２００にネットワーク・コンソール１３０（図１）を通信可能に結合するリモート・アクセス・コンポーネント２６０を含む。一実施形態では、リモート・アクセス・コンポーネント２６０は、ネットワーク・コンソール１３０に処理システム１０１の制御機能をエクスポートするように動作可能であり、ゆえに、ネットワーク・コンソールは、ユーザ・インタフェースにおいてワークフロー制御機能を提示してもよい。特定の実施形態では、リモート・アクセス・コンポーネント２６０は、ネットワーク・コンソール１３０からワークフロー・コマンドを受信し、リモート・アクセス・ワークフロー・コンポーネント２６２にそれを転送してもよい。リモート・アクセス・ワークフロー・コンポーネント２６２は、コマンドおよび診療データのセットを支配してもよく、それらのセットに、リモート・ユーザはネットワーク・コンソール１３０を介してアクセスしてもよい。さらに、レガシー制御コンポーネント２６４およびレガシー制御ワークフロー・コンポーネント２６６は、レガシー・コンソール２６８（たとえば、ボタン・コンソール、マウス、キーボード、スタンドアロン・モニタ）のユーザにモダリティ・ワークフロー制御およびデータへのある水準のアクセスを提供する。
一実施形態では、処理フレームワーク２００のコア・システム・コンポーネントおよびモダリティ関連コンポーネントなどの追加コンポーネントは、非一時的コンピュータ可読記憶媒体に記憶されたプロセッサ実行可能ソフトウェアとして実施されてもよいが、代替の実施形態では、それらのコンポーネントは、専用マイクロプロセッサ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ（ＦＰＧＡ）、マイクロコントローラ、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）などのハードウェア・コンポーネントとして実施されてもよい。代替として、処理フレームワークのコンポーネントは、ハードウェアおよびソフトウェアの組み合わせとして実施されてもよい。
当業者は、図２の処理フレームワーク２００が単なる例示としての実施形態であり、代替の実施形態では、フレームワークは、種々の医療センシング・ワークフローを実行するように構成された、異なるおよび／または追加のコンポーネントを含んでもよい。たとえば、処理フレームワーク２００は、人間の血管の狭窄の評価のために構成された、またはコンピュータ支援手術またはリモート制御手術の制御を容易にするように構成された実行可能コンポーネントをさらに含んでもよい。
ここで図３を参照するに、マルチモダリティ処理システム１００のいくつかの実施形態による医療データをラべリングおよび／または索引付するユーザ・インタフェース・コンポーネント３００を含む、図１および２の医療システムの一部の機能ブロック図が示されている。種々の実施形態では、ユーザ・インタフェース・コンポーネント３００は、医療データを特定するように用いられるネスト化された索引またはラベルのリストを提示する。手術または治療中に収集されたデータの量はかなり多い可能性がある。複数のモダリティの追加はその問題を悪化させるだけである。データセットのラベル付けおよび／または索引付関連部分は、再調査、検索、監査、統計的分析およびデータの他の使用を容易にする。
ユーザ・インタフェース・コンポーネント３００は、ユーザ入力に基づいて関連ラベルを構成し、このラベルを医療データの一部に付与するラベル・ビルダ・モジュール３０２を含む。ラベル・ビルダ・モジュール３０２は、ラベル・ビルダ・エンジン３０６、医療データ・インタフェース３０８、ラベル・セットのデータベース３１０および手続きデータベース３１２のうちの１つまたは複数を含む。手続きデータベース３１２は、手続きまたは手術の操作可能なコース、患者識別、患者人口動態統計、患者の病歴、および／または処理システム１００の状態などの、実行される手続きに関連する情報を含む。いくつかの実施形態では、ラベル・セット・データベース３１０および／または手続きデータベース３１２は、ラベル・ビルダ・モジュール３０２の外部にあり、したがって、モジュール３０２は、それぞれのデータベース３１０または３１２に結合されたデータベース・インタフェースを含む。
ユーザ・インタフェース・コンポーネントは、それ自体がユーザ入力装置３１４およびユーザ表示装置３１６を含むコントローラ３０４を含む。適切なユーザ入力装置３１４の例としては、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、ジェスチャベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェース、および当業者が知っている他のユーザ入力装置が挙げられるが、それらに限定されない。
ユーザ・インタフェース・コンポーネント３００の一部は、非一時的コンピュータ可読記憶媒体に記憶されたプロセッサ実行可能ソフトウェアとして、および／または専用マイクロプロセッサ、ＦＰＧＡ、マイクロコントローラ、グラフィックス・プロセッシング・ユニットおよびＤＳＰなどのハードウェア・コンポーネントとして、全体的にまたは部分的に、実施されてもよい。いくつかの実施形態では、ユーザ・インタフェース・コンポーネント３００の一部が、図１および２を参照して説明されたマルチモダリティ処理システム１００のコンポーネントに組み込まれる。たとえば、いくつかのそのような実施形態では、コントローラ３０４は、図１を参照して説明されたベッドサイド・コントローラ１１８、メイン・コントローラ１２０、ブーム・ディスプレイ１２２および／またはネットワーク・コンソール１３０のコンポーネントである。さらなる実施例としては、いくつかのそのような実施形態では、ラベル・ビルダ・モジュール３０２は、図２を参照して説明された、メイン・コントローラ１２０のＵＩフレームワーク・サービス２４０、ベッドサイド・コントローラ１１８のＵＩフレームワーク・サービス２４２、および／またはＩＶＵＳ ＵＩ拡張部２４６またはＩＶＵＳ ＵＩ拡張部２４８などのＵＩ拡張部に組み込まれる。他の実施形態では、ラベル・ビルダ・モジュール３０２は、マルチモダリティ処理システム１００の別個のおよび個別のコンポーネントである。
ラベル・ビルダ・モジュール３０２は、ＩＶＵＳ画像のフレーム、ＯＣＴ断層画像のセグメント、ＦＦＲ測定の範囲またはデータ・セットの他の部分などの医療データの単位に適用されるラベルを構築する。いくつかの実施形態では、ラベル・ビルダ・モジュール３０２は、医療データ・インタフェース３０８を介してラベル付けされる医療データを受信する。他の実施形態では、ラベル・ビルダ・モジュール３０２は、この医療データ自体を受信することに追加してまたはそれの代替として、この医療データに対応する識別子を受信する。たとえば、そのような一実施形態では、ラベル・ビルダ・モジュール３０２とは別個のマルチモダリティ処理システム１００の他のコンポーネントは、ラベル・ビルダ・モジュール３０２にそのデータを提供することなく、ユーザ・ディスプレイ装置３１６にそのデータを表示する。他のそのような実施形態では、医療データは、ネットワークにおいて配信される。
ラベル付けされるデータは、マルチモダリティ処理システムにより実施される１つまたは複数のモダリティにより収集される任意の適切な医療データであってもよい。いくつかの実施形態では、医療データは、未処理の医療データであり、モダリティ取得コンポーネント（たとえば、図２のＩＶＵＳ取得コンポーネント２２０、前方視ＩＶＵＳ取得コンポーネント、ＦＦＲ取得コンポーネント、ＣＦＲ取得コンポーネント、ＯＣＴ取得コンポーネントおよび／または経食道心エコー取得コンポーネント）により提供されてもよい。いくつかの実施形態では、医療データは、処理された医療データであり、ワークフロー・コンポーネント（たとえば、図２のＩＶＵＳワークフロー・コンポーネント２２２、前方視ＩＶＵＳワークフロー・コンポーネント、ＦＦＲワークフロー・コンポーネント、ＣＦＲワークフロー・コンポーネント、ＯＣＴワークフロー・コンポーネントおよび／または経食道心エコー・ワークフロー・コンポーネント）により提供されてもよい。いくつかの実施形態では、医療データは、複数のモダリティから集められたものであり、図２のＭＭＣＭワークフロー・コンポーネント２１４により提供されてもよい。
ラベルを構築するように、いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は、オペレータが選択するようにユーザ・ディスプレイ装置３１６に、分類して配置された有効なラベルのセットを提示する。種々の例示としての実施形態では、ラベルのセットは、手術または手続きの名前、身体の部位、血管の名前または血管セグメントなどの解剖学的構造、患者データ、手続きデータ、および／または他の適切な識別子から導き出される。提示されるラベルのセットの決定において、ラベル・ビルダ・エンジン３０６は、現在の処理環境に関係する情報を決定するように、手続きデータベース３１２に、および／または処理環境に関係するラベルを決定するように、ラベル・セット・データベース３１０に、問い合わせてもよい。そのような一実施形態では、ラベル・ビルダ・エンジンは、現在の動作環境の状況を決定するように、手続きデータベース３１２に問い合わせ、続いて、関連ラベルを決定するように、その状況に基づいて、ラベル・セット・データベース３１０に、問い合わせる。いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は、医療データ、または他のモダリティにより収集された他の対応する医療データに基づいて、ラベルのセットを選択する。一実施例として、ＩＶＵＳデータのためのラベルのセットは、システム１００に接続された他のセンサ・モダリティにより測定された血圧または脈拍に対応するラベルを含んでもよい。その点で、モダリティ間のデータが、マルチモダリティ処理システムにより、タイム・スタンプまたは他の適切な技術を用いて、調整される。
ラベル・ビルダ・エンジン３０６は、コントローラ３０４のユーザ・ディスプレイ装置３１６を介してシステム・オペレータにラベルのセットを提示する。ユーザ入力装置３１４を用いて、オペレータは、このセットから適切なラベルを選択する。いくつかの実施形態では、オペレータは、このセットからのラベルの選択に追加して、またはその選択の代替として、このセットに含まれない代替のラベルを供給してもよい。このユーザ選択は、ラベル・ビルダ・エンジン３０６で受信され、対応するラベルが記憶される。ラベル・ビルダ・エンジン３０６は、ラベルのセットを構築し、このセットを提示し、選択を受信することを、複数繰り返して実行してもよい。いくつかの実施形態では、選択されたラベルは、後続のラベル・セットの構成要素を決定する。そのような実施形態では、任意の反復が、任意の以前の反復で受信された応答に依存してもよい。たとえば、そのような一実施形態では、ラベルの親セットは、血管の名前から導き出され、“ＬＡＤ”（“左前下行枝”に対応する）、“ＬＣＸ”（“左回旋枝”に対応する）および“ＲＣＡ”（“右冠状動脈”に対応する）を含む。本実施例では、オペレータは“ＲＣＡ”を選択し、応答がラベル・ビルダ・エンジン３０６で受信される。この応答に基づいて、ラベル・ビルダ・エンジン３０６は、対応する右冠状動脈の関連セグメントに基づいて、ラベルの従属セットを構築する。ラベル・ビルダ・エンジン３０６は、続いて、ユーザ・ディスプレイ装置３１６を介してラベルの従属セットを提示する。
いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は複数の分岐従属を支援する。そのような実施形態では、ラベル・セットは、任意の患者セットに依存してもよく、または何れかの患者セットに依存しなくてもよく、反復が、以前の応答に基づいて、追加または除去されてもよい。
さらに、ラベル・ビルダ・エンジン３０６は、以前の応答を変更して、任意の従属反復を繰り返すように、ユーザ入力装置３１４を介して任意の時間に要求を受信してもよい。ラベル・ビルダ・エンジン３０６は、順序から外れておよび／または他の介在反復を繰り返すことなく、従属反復を繰り返してもよい。たとえば、第２のラベルのセットに関係する応答に対する変更が、第１のまたは第３のラベルのセットに必ずしも変更をもたらすことなく、したがって、第１のまたは第３のラベルのセットが必ずしも繰り返されるようにすることなく、第４のラベルのセットに変更をもたらしてもよい。
ラベルの従属セットを組み込む実施形態では、選択されたラベルは記憶され、ラベルの従属セットはラベル・ビルダ・エンジン３０６により生成される。従属セットを含む後続のラベル・セットの生成は、親セットの生成と実質的に同様であってもよい。その点で、後続のセットは、ラベル・セット・データベース３１０および／または手続きデータベース３１２に問い合わせすることによりポピュレートされてもよい。後続のラベルのセットは、手術または手続きの名前、身体の部位、血管の名前または血管セグメントなどの解剖学的構造、患者データ、手続きデータ、および／または他の適切な識別子から導き出されてもよい。いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は、医療データまたは他のモダリティにより収集された他の対応する医療データに基づいて、後続のラベルのセットを選択する。
そのような後続のセットが以前のセットから選択されたラベルにどのように依存し得るかと同様に、いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は、他の医療データ・セットに付与されたラベルに基づいて、セットを選択およびポピュレートしてもよい。たとえば、第１のデータ・セットは、データが手順のある点の後で収集されたことを示す“ＰＯＳＴ”でラベル付されてもよい。このラベルから、ラベル・ビルダ・エンジン３０６は、データが臨界点の後にも収集されたことの前提を、したがって、“ＰＯＳＴ”を有する後続のデータ・セットのためのラベル・セットを選択してもよい。
いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は、デフォルト選択としての所与のセットからのラベルを事前選択する。そのような実施形態では、オペレータは、事前選択されたラベルを無視する機会が与えられてもよい。一実施例として、ラベル・ビルダ・エンジン３０６は、時間関連ラベル・セットから現在の時間を事前選択してもよい。オペレータは、続いて、代替の時間を選択する能力を有してもよい。事前選択は、システム・デフォルト、手術の操作可能なコース、患者情報、ユーザ嗜好および／または他の基準に基づいてもよい。
最終反復が終了するとき、ラベル・ビルダ・エンジン３０６は、受信された応答に基づいて最終ラベルを構築する。最終ラベルはまた、ユーザ応答以外のソースから得られた他の関連情報を含んでもよい。この情報は、手続きデータベース３１２からおよび他のソースから取り出されてもよく、患者の名前または他の患者識別子、患者の統計データ、オペレータの名前、施設識別子、追加注釈ならびに／またはは他の関連情報を含んでもよい。いくつかの実施形態では、このラベルは、システム１００の他のモダリティにより与えられる医療データに基づくデータを含む。たとえば、撮像データのためのラベルは、対応する患者の脈拍数または血圧を含んでもよい。
ラベル・ビルダ・エンジン３０６は、医療データに最終ラベルを付与する。いくつかの実施形態では、ラベル・ビルダ・エンジン３０６は、このラベルを追加するように医療データを変更し、医療データ・インタフェース３０８を介して記憶装置に更新データを戻す。他の実施形態では、ラベル・ビルダ・エンジン３０６は、対応する医療データを変更することなく、対応する医療データとは別個のラベルを提供する。
図４は、マルチモダリティ処理システム１００のいくつかの実施形態によるラベル構築のための例示としてのユーザ・インタフェース４００の図である。このユーザ・インタフェース４００は、図３を参照して説明されたユーザ・ディスプレイ３１６などのユーザ・ディスプレイに表示されてもよい。ユーザ・インタフェース４００は、マルチモダリティ処理システム１００、具体的には、このシステムのラベル・ビルダ・モジュール３０２により提示された情報を表示する１つの有効な配置を示す。当業者は、代替の配置が検討されて提供されることを、認識するであろう。
図示された実施形態では、ユーザ・インタフェース４００は４つのラベル・セット・ペイン（ペイン４０２ａ、４０２ｂ、４０２ｃおよび４０２ｄ）を含むが、他の実施形態は、任意の数のペインを組み込む。いくつかの実施形態では、ペインの数は、選択されたラベルに基づいて増加または減少する。各ラベル・セット・ペインは、関連ラベル・セット、たとえば、ラベル・セット４０４を表示し、このラベル・セットからラベルを選択する領域および現在選択されているラベルの識別子４０６の両方を提供する。インタフェース４００はまた、１つまたは複数の現在選択されているラベルを表示する現在選択ペイン４０８を含んでもいてもよい。いくつかの実施形態では、現在選択ペイン４０８は、オペレータがラベルを選択することを可能にする。たとえば、ペイン４０８は、タイピングまたは他の入力の使用を可能にする。ユーザ・インタフェース４００はまた、ラベル・ビルダ・モジュール３０２に命令を送信する１つまたは複数のコマンド要素を含んでもよい。例示としての命令は、選択ラベルを含み、最終ラベルを適用し（すなわち、ＯＫボタン４１０）、現在選択されているラベルを消去し（すなわち、ＣＬＥＡＲボタン４１２）、ラベルを付与することなく中断する（すなわち、ＣＡＮＣＥＬボタン４１４）。
図５は、本開示のいくつかの実施形態によるマルチモダリティ処理システム１００内の医療データに対するラベルを決定して、それを付与する方法５００のフロー図である。この方法５００のステップの前、中および後に追加のステップが備えられることが可能であり、示されているステップのいくつかは、この方法の他の実施形態のために置き換えられ得るまたは取り除かれ得ることが理解される。
ブロック５０２において、ラベル付けされる医療データが、図３を参照して説明されたラベル・ビルダ・モジュール３０２などのシステム１００のモジュールにより受信される。いくつかの実施形態では、医療データに対応する識別子が、この医療データ自体の受信に加えて、またはその代替として、受信される。医療データの識別子は、医療データの一部または全部を含んでもよく、ならびに／またはは、システムのどこかに位置するまたはネットワークにおいて配信されたデータに対するポインタを含んでもよい。ブロック５０４では、モジュールは、第１のラベルのセットを選択してポピュレートする。いくつかの実施形態では、これは、ラベル・セット・データベース３１０または手続きデータベース３１２などの１つまたは複数のデータベースに問い合わせすることを含む。種々の例示としての実施形態では、ラベルのセットは、手術または手続きの名前、身体の部位、血管の名前または血管セグメントなどの解剖学的構造、患者データ、手続きデータ、および／または何れかの他の適切な識別子から、一部または全部が導き出される。ラベルのセットはまた、患者情報に関する情報、治療レジメン、統計的情報および何れかの他のコンテキスト情報から、一部または全部が導き出されてもよい。いくつかの実施形態では、モジュールは、ラベル付けされた医療データまたは他のモダリティにより収集された他の対応する医療データに基づいてラベルのセットを選択する。一実施例として、ＩＶＵＳデータのためのラベルのセットは、システム１００に接続された他のセンサ・モダリティにより測定された血圧または脈拍に対応するラベルを含んでもよい。
ブロック５０６では、モジュールは、図３を参照して説明されたユーザ・ディスプレイ装置３１６などのディスプレイ装置に第１のラベルのセットを提示する。ブロック５０８では、モジュールは、第１のラベルのセットに基づいて第１のラベル選択を受信する。応答は、図３を参照して説明されたユーザ入力装置３１４などの入力装置を介して入力されてもよい。いくつかの実施形態では、オペレータは、このセットからのラベルの選択に加えて、またはその選択の代替として、第１のセットに含まれない代替のラベルを供給してもよい。オペレータにより供給されたラベルは、将来のラベル・セットを報告することまたはそのラベル・セットに含めることなどの将来の使用のために記憶されてもよい。モジュールはその選択を受信し、選択されたラベルはシステム１００に記憶されてもよい。ブロック５１０では、第２のラベルのセットは、ラベル・ビルダ・エンジンにより生成されてもよい。第２のセットを含む後続のセットの構成要素は、第１のセットの構成要素と実質的に同様であってもよい。その点で、後続のセットは、データベースから取り出されてもよく、手術または手続きの名前、身体の部位、血管の名前または血管セグメントなどの解剖学的構造、患者データ、手続きデータ、および／または何れかの他の適切な識別子から導き出されてもよい。後続のセットはまた、さらにデータベースから取り出されてもよいコンテキスト情報に基づいてポピュレートされてもよい。いくつかの実施形態では、モジュールは、医療データまたは他のモダリティにより収集された他の対応する医療データに基づいて、後続のラベルのセットを選択する。
ブロック５１０をさらに参照して、モジュールはまた、医療データのための以前の選択されたラベルに基づいて、後続のラベル・セット（たとえば、第２のセット）を選択してポピュレートしてもよい。たとえば、そのような一実施形態では、第１のラベルのセットは、血管の名前から導き出され、“ＬＡＤ”（“左前下行枝”に対応する）、“ＬＣＸ”（“左回旋枝”に対応する）および“ＲＣＡ”（“右冠状動脈”に対応する）を含む。本実施例では、オペレータは“ＲＣＡ”を選択し、応答が受信される。この応答に基づいて、第２のラベルのセットが、対応する右冠状動脈の関連セグメントに基づいてポピュレートされる。
モジュールはまた、以前の他の医療データ・セットのために選択されたまたはそのデータ・セットに付与されたラベルに基づいて第２のセットを選択してもよい。たとえば、以前のデータ・セットは、患者の名前でラベル付けされたものであってもよい。いくつかの実施形態では、モジュールは、以前のデータに付与されたラベルに基づいて、患者の名前を含むように第２のセットをポピュレートする。
いくつかの実施形態では、ブロック５１２において、第２のラベルのセットからの特定のラベルまたは値が事前選択される。特定のラベルは、システム・デフォルト、手術の慣用フロー、患者情報および／または他の基準などの任意の適切な基準に基づいて事前選択されてもよい。一実施例として、いくつかの実施形態では、データ取得からのタイム・スタンプが時間関連ラベル・セットから事前選択される。
ブロック５１４では、第２のラベルのセットがディスプレイ装置に提示される。ブロック５１６では、モジュールは、第２のラベルのセットに基づいて、ユーザから第２のラベル選択を受信する。図３を参照して説明されたユーザ入力装置３１４などの入力装置を介して、応答が入力されてもよい。いくつかの実施形態では、第２のラベル選択は、事前選択されたラベルまたは値を置き換える。
ブロック５１８では、ラベル・クエリが終了したかどうかが判断される。そのラベル・クエリが終了していない場合、ラベルのセットを構築し、そのセットを提示し、選択を受信することの後続の反復がブロック５２０で実行されてもよい。任意の反復は、任意の以前の反復で受信された応答に依存してもよい。もちろん、任意の反復は、何れかのまたは全部の以前の反復から独立してもよい。いつでも、以前の応答を変更し、任意の従属反復を繰り返すように、入力装置を介して、要求が受信されてもよい。順序から外れておよび／または他の介在反復を繰り返すことなく、従属反復が実行されてもよい。たとえば、第２のラベルのセットに関係する応答に対する変更が、第１のまたは第３のラベルのセットに必ずしも変更をもたらすものではなく、したがって、第１のまたは第３のラベルのセットが必ずしも繰り返されるようにすることなく、第４のラベルのセットに変更をもたらしてもよい。
ラベル・クエリが終了したとき、ブロック５２２では、最終ラベルが受信された応答から構築される。最終ラベルは、患者の名前または他の患者識別子、患者の統計データ、オペレータの名前、施設識別子、追加注釈ならびに／または他の関連情報などの、ユーザ応答以外のソースから得られた他の関連情報を含んでもよい。いくつかの実施形態では、ラベルは、他のモダリティにより与えられた医療データに基づくデータを含む。たとえば、撮像データのためのラベルは、対応する患者の脈拍数または血圧を含んでもよい。
ブロック５２４では、最終ラベルが医療データに付与される。いくつかの実施形態では、医療データは、ラベルを加えるように変更され、続いて、更新されたデータが記憶および／または表示される。他の実施形態では、ラベルは、対応する医療データとは別個であり、データの変更は実行されない。
本開示のシステムおよび方法は、モダリティにおいて医療データを選択し、その医療データにラベルを割り当てるための機構を提供する。医療データにラベルを割り当てることは、検索および取り出しを含むデータ処理をかなり改善してもよい。いくつかの実施形態では、この割り当てられたラベルが、医療データのどの部分が記憶され、保持され、および／またはアーカイブされるかを判定する。たとえば、実施形態では、ラベル付けされていないデータは、ある時間が経過した後に破棄される一方、ラベル付けされたデータは保持される。このことは、重要なデータが維持されることを可能にし、冗長データが記憶されることを回避する。他の実施形態では、ラベル付けされたデータは、さらなる分析のための他のデータ処理システムにアップロードされる。他の実施形態では、データ処理システムは、１つまたは複数の重要な用語がラベル付けされた医療データを要求する。取り出しをさらに容易にするように、いくつかの実施形態では、医療データの検索可能索引が、迅速かつ効果的な取り出しのために割り当てられたラベルから生成される。有効なラベルのリストを提供することにより、いくつかの実施形態は、標準化された用語の使用を促進する一方、特別な場合をカバーするようリストを外部の用語をオペレータが選択することを尚も可能にする。オペレータを圧倒することを回避するように、いくつかの実施形態は、以前の選択、手続き情報、患者情報、他の医療データおよび／または他の基準により、リストを精緻化する。このことは、オペレータが殆どの関連ラベルを見ることを可能にし、それにより、ラベル付け速度および精度を改善する。もちろん、上記の有利点は単に例示であり、特定の有利点が任意の特定の実施形態に対して必須でないことが理解される。
図６は、本開示のいくつかの実施形態によるマルチモダリティ処理システム１００内のラベル付け手続きに対する中断を処理する方法６００のフロー図である。いくつかの実施形態では、ラベル付け手続きは、一時停止または中止などの割り込みコマンドを支援する。他のタスクが実行されていながら、ユーザはラベル付け手続きを一時停止してもよい。たとえば、基礎をなすウィンドウが視認されながら、表示ラベル・セットに使用されるウィンドウは最小化されてもよく、また隠されてもよい。他の実施例では、処理システム１００に接続されたモダリティは、ラベル付けが一時停止されるようにするエラー手続きの一部としての割り込みを与える。システムまたはユーザが継続する準備ができているとき、ラベル付け手続きを以前の状態から再開してもよい。
ブロック６０２では、ラベル付けタスクを一時停止する要求が受信される。この要求は、ユーザにより、マルチモダリティ・システム１００のコンポーネントにより、マルチモダリティ・システム１００に結合したモダリティと、このシステム１００にネットワークされた計算装置とを含む外部の装置もしくはシステムにより、または任意の他の適切なソースにより与えられてもよい。いくつかの実施形態では、要求のソースがラベル付けタスクを一時停止することを許可するかどうかが判定される。ブロック６０４では、ラベル付けタスクの現在の状態が保存される。ブロック６０６では、ラベル付けタスクが中止される。ブロック６０８では、再開コマンドが受信されたかどうかが判定される。再開コマンドが受信されていない場合、ラベル付けタスクは、ブロック６０６では中止されたままである。再開要求が受信されたとき、ラベル付けタスクがブロック６１０で再開される。ラベル付けタスクの安全な割り込みのための機構を備えることにより、本方法は、データ損失なしに、より優先度の高い事項に対してオペレータが関心をもつことを可能にする。
ここで図７を参照するに、マルチモダリティ処理システム１００のいくつかの実施形態による医療データのオンデマンド強調を実行するためのユーザ・インタフェース・コンポーネント７００を含む、図１および２の医療システムの一部の機能ブロック図が示されている。強調の実施例は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度調整、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含む。さらなる強調は、複数のモダリティにより収集されたデータを組み合わせて、医療データに付与される処理パラメータを精緻化する。さらなる例示としての強調は３ｄ再構成を実行する。強調はまた、図３乃至６を参照して説明されたラベル付けなどの、医療データの一部のラベル付け、ハイライト化または注釈付けを含んでもよい。他の強調が検討されて、提供される。そのようなマルチモダリティ強調は、大量のデータのナビゲートにおいて、および有意味なかつ正確な診断相間を導き出すことにおいて、オペレータを支援する。いくつかの実施形態では、ユーザ・インタフェース・コンポーネント７００は、受信した位置マーカに基づいて測定判定を実行する。インタフェース・コンポーネント７００は、ハイライト、マークおよび／または測定する点をオペレータが特定することを可能にする。このことは、患者をデータに結び付ける、表示された画像およびデータについてのコンテキストをオペレータに与える。
ユーザ・インタフェース・コンポーネント７００は、コントローラ７０４またはオペレータ・インタフェースに結合した測定ズーム・モジュール７０２を含む。測定ズーム・モジュール７０２は、測定ズーム・エンジン７０６、トランザクション記録を記憶するためのメモリ装置７０８、モダリティ・フィードバック・インタフェース７１０および医療データ・インタフェース７１２のうちの１つまたは複数を含む。コントローラ７０４は、ユーザ入力装置７１４および１つまたは複数のユーザ・ディスプレイ装置（第１のユーザ・ディスプレイ装置７１６および第２のユーザ・ディスプレイ装置７１８として図示されている）を含む。ユーザ入力装置７１４は、図３に関して説明されたユーザ入力装置３１４と実質的に同様であってもよい。その点で、適切なユーザ入力装置７１４の実施例は、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、ジェスチャベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェース、および当業者が知っている他のユーザ入力装置が挙げられるが、それらに限定されない。
ユーザ・インタフェース・コンポーネント７００の一部は、非一時的コンピュータ可読記憶媒体に記憶されたプロセッサ実行可能ソフトウェアとして、および／または専用マイクロプロセッサ、ＦＰＧＡ、マイクロコントローラ、グラフィックス・プロセッシング・ユニットおよびＤＳＰなどのハードウェア・コンポーネントとして、全体的にまたは部分的に、実施されてもよい。いくつかの実施形態では、ユーザ・インタフェース・コンポーネント７００の一部が、図１および２を参照して説明されたマルチモダリティ処理システム１００のコンポーネントに組み込まれる。たとえば、いくつかのそのような実施形態では、コントローラ７０４は、図１を参照して説明されたベッドサイド・コントローラ１１８、メイン・コントローラ１２０、ブーム・ディスプレイ１２２および／またはネットワーク・コンソール１３０のコンポーネントである。さらなる実施例としては、いくつかのそのような実施形態では、測定ズーム・モジュール７０２は、図２を参照して説明された、メイン・コントローラ１２０のＵＩフレームワーク・サービス２４０、ベッドサイド・コントローラ１１８のＵＩフレームワーク・サービス２４２、および／またはＩＶＵＳ ＵＩ拡張部２４６またはＩＶＵＳ ＵＩ拡張部２４８などのＵＩ拡張部に組み込まれる。他の実施形態では、測定ズーム・モジュール７０２は、マルチモダリティ処理システム１００の別個のおよび個別のコンポーネントである。
いくつかの実施形態では、測定ズーム・モジュール７０２は、医療データのオンデマンド強調を実行する。適切な強調の実施例は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度調整、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含む。強調はまた、図３乃至６に関して説明されたラベル付けなどの、医療データの一部のラベル付けまたは注釈付けを含んでもよい。他の強調が検討されて、提供される。測定ズーム・モジュール７０２は、まず、医療データ・インタフェース７１２を介して医療データの参照セットを受信する。いくつかの実施形態では、医療データに対応する識別子が、この医療データ自体に追加して、またはその医療データを受信するための代替として受信される。医療データの識別子は、医療データの一部または全部を含んでもよく、ならびに／もしくは、システムのどこかに位置するまたはネットワークにおいて配信されたデータに対するポインタを含んでもよい。参照データはまた、オペレータが視認するようにコントローラ７０４のディスプレイ装置（たとえば、第１のユーザ・ディスプレイ装置７１６）に表示されてもよい。表示およびデータ処理の制御は、測定ズーム・モジュール７０２により、および／または測定ズーム・モジュール７０２から離れたマルチモダリティ処理システム１００の他のコンポーネントにより直接実行されてもよい。
参照データは、任意の適切な医療データであってもよい。いくつかの実施形態では、医療データは、未処理の医療データを含み、モダリティ取得コンポーネント（たとえば、図２のＩＶＵＳ取得コンポーネント２２０、前方視ＩＶＵＳ取得コンポーネント、ＦＦＲ取得コンポーネント、ＣＦＲ取得コンポーネント、ＯＣＴ取得コンポーネントおよび／または経食道心エコー取得コンポーネント）により提供されてもよい。いくつかの実施形態では、医療データは、処理された医療データを含み、ワークフロー・コンポーネント（たとえば、図２のＩＶＵＳワークフロー・コンポーネント２２２、前方視ＩＶＵＳワークフロー・コンポーネント、ＦＦＲワークフロー・コンポーネント、ＣＦＲワークフロー・コンポーネント、ＯＣＴワークフロー・コンポーネントおよび／または経食道心エコー・ワークフロー・コンポーネント）により提供されてもよい。いくつかの実施形態では、医療データは、複数のモダリティから集められたデータを含み、マルチモダリティ・コンポーネントにより提供されてもよい。
測定ズーム・モジュール７０２は、強調するデータ・セットまたはデータ・セットの一部を決定するために適切な領域識別子を受信してもよい。種々の実施形態では、領域識別子は、境界座標、ラベル、測定値および／またはブックマークされた位置のセットの形態をとる。測定ズーム・モジュール７０２は、ユーザ入力装置７１４からのおよび／またはモダリティ・ワークフロー・コンポーネントなどの他のシステム・コンポーネントからの領域識別子を受信する。たとえば、例示としての実施形態では、測定ズーム・モジュール７０２は、モダリティ・フィードバック・インタフェース７１０を介してＩＶＵＳワークフロー・コンポーネント２２２から強調する領域の識別子を受信する。本実施形態では、領域識別子は、ワークフロー・コンポーネントにより検出された関心のある領域をハイライトし、表示し、またはその領域に注目するように構成される。たとえば、関心のある領域は、血管壁、ステント、ならびに／またはプラークもしくは病変などの特徴付けられた組織であってもよい。そのような自動的な強調は、システムのコンポーネントが他の点で気が付かない可能性がある潜在的に重要なデータをオペレータに警告することを可能にする。
いくつかの実施形態では、領域識別子は初期フォーマットから変換される。たとえば、領域識別子は、第１のディスプレイ装置７１６の画素に対応する直交座標のセットを含んでもよく、参照データは、異なるスケールの極座標で表されてもよい。したがって、種々の実施形態では、モジュール７０２の測定ズーム・エンジン７０６は、初期フォーマットから適切なデータ・フォーマットに領域識別子を変換する。このことは、スケール変換、座標変換、形状変換および当業者が知っている他の適切な変換のうちの１つまたは複数を含んでもよい。
測定ズーム・モジュール７０２はまた、実行する１つまたは複数の強調機能を特定する強調選択を受信してもよい。強調選択は、ユーザ入力装置７１４、および／またはモダリティ・フィードバック・インタフェース７１０を介してシステムの他のコンポーネントから受信されてもよい。
強調選択、領域識別子および参照データのうちの１つまたは複数に基づいて、測定ズーム・エンジン７０６は、強調のための目標データ・セットを決定する。目標データ・セットは、いくつかの実施例では、領域を特定するように用いられる参照データの一部を含む。目標データ・セットはまた、参照データ・セットに追加してまたは参照データ・セットに代えて、代替のデータ・セットを含んでもよい。そのような実施形態では、目標セットに含まれるデータ・セットは、異なるモダリティ、異なる時間の単一のモダリティ、異なる動作モードにおける単一のモダリティ、ならびにモダリティおよび動作条件の他の組み合わせに対応してもよい。いくつかの強調の実行において、測定ズーム・エンジン７０６は、参照データ・セットを構成するようデータ・セットを直接的にまたは間接的に組み合わせてもよい。したがって、一実施形態では、測定ズーム・エンジン７０６は、２つまたは３つ以上のモダリティにより収集されたデータ・セットの少なくとも一部を組み合わせるようＭＭＣＭコンポーネントに命令するモダリティ・フィードバック・インタフェース７１０でのコマンドを提供する。関連する実施形態では、測定ズーム・エンジン７０６は、２つまたは３つ以上のモダリティにより収集されたデータ・セットを受信し、エンジン７０６内での組み合わせを実行する。同様に、いくつかの強調の実行では、測定ズーム・エンジン７０６は、応答性を改善するようデータ・セットを選択して、記憶装置、ネットワーキングおよび／または処理リソースの負荷を軽減してもよい。そのような一実施形態では、測定ズーム・エンジン７０６は、領域識別子以外のデータを選択する。
いくつかの実施形態では、特定の強調はデータの収集を含む。測定ズーム・エンジンは、目標データ・セットに追加する追加データ・セットを直接的にまたは間接的に収集してもよい。たとえば、測定ズーム・エンジン７０６は、取り付けられた機器からデータを収集し、後続のデータ・セットを捕捉するようマルチモダリティ処理システムに命令するモダリティ・フィードバック・インタフェース７１０を介してコマンドを発行してもよい。後続のデータ・セットは、参照データ・セットと同じモダリティに対応してもよく、１つまたは複数の異なるモダリティに対応してもよく、および／または、参照データ・セットのモダリティを含むモダリティの組み合わせに対応してもよい。このように、測定ズーム・エンジン７０６は、既存のデータを強調することおよび後続のデータの収集を案内することができる。
目標データ・セットが特定される場合、測定ズーム・エンジン７０６は、目標データの強調を実行してもよい。強調のいくつかの実施例は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度増減、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含む。いくつかの実施形態におけるさらなる実施例として、測定ズーム・エンジン７０６は、目標データに付与される１つまたは複数の処理パラメータを変更する。いくつかの実施形態では、測定ズーム・エンジン７０６は、変更されたパラメータをデータに直接付与する。いくつかの実施形態では、測定ズーム・エンジン７０６は、適切なシステム・コンポーネントが用いるモダリティ・フィードバック・インタフェース７１０で変更をフィードバックすることにより変更されたパラメータをデータに間接的に付与する。いくつかの実施形態では、エンジン７０６は、変更されたパラメータを直接的にまたは間接的に適用する。例示としての一実施形態では、測定ズーム・エンジン７０６は、フォーカスされたＩＶＵＳデータを生成するようＩＶＵＳワークフロー・コンポーネント（たとえば、図２のＩＶＵＳワークフロー・コンポーネント２２２）により用いられる焦点距離パラメータを間接的に変更する。そうすることにおいて、測定ズーム・エンジン７０６は、領域識別子に対応する領域内のデータ粒度および解像度を増加させるように焦点距離パラメータを変更するようワークフロー・コンポーネントに命令するモダリティ・フィードバック・インタフェース７１０でのコマンドを提供する。さらなる例示としての実施形態では、測定ズーム・エンジン７０６は、動作モードを変更し、領域識別子に対応する領域内でパワー・フロー分析（たとえば、Ｃｈｒｏｍａｆｌｏ（登録商標）撮像（Ｖｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎの登録商標））を実行するようＩＶＵＳワークフロー・コンポーネントに命令するモダリティ・フィードバック・インタフェース７１０でのコマンドを提供する。
いくつかの実施形態では、参照データおよび強調された目標データは異なるユーザ・ディスプレイ装置（たとえば、第１のユーザ・ディスプレイ装置７１６および第２のユーザ・ディスプレイ装置７１８のそれぞれ）に表示される。いくつかの実施形態では、これらのディスプレイ装置は、異なる時点で単一の物理的ディスプレイ装置に対応する。したがって、参照データ・セットは、第１の時点でモニタに表示されてもよく、強調されたデータは、後の時間にモニタに表示されてもよい。いくつかの実施形態では、これらのディスプレイ装置は、ディスプレイ“デスクトップ”の“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて、単一のモニタまたはディスプレイに示される単一の表示環境の一部に対応する。いくつかの実施形態では、第１および第２のディスプレイ装置は、第１および第２の別個の物理的ディスプレイ（たとえば、第１および第２のモニタのそれぞれ）に対応する。異なるユーザ・ディスプレイ装置に参照データおよび強調された目標データを表示することは、タッチスクリーン用途などの、ユーザ入力がディスプレイの一部を目立たなくしてもよい用途において特に有用であってもよい。
測定ズーム・モジュール７０２はまた、トランザクション記録を記憶するためのインタフェースを提供してもよい。トランザクション記録は、領域識別子、強調選択、データ・セット識別子、参照データ・セットの一部、強調された目標データ・セットの一部、変更された処理パラメータ、および／またはトランザクションの他の適切な要素を含んでもよい。トランザクション記録は、図２に関連して説明されたデータベース管理コンポーネント２１６などのシステムのコンポーネントによる送信および／または記憶のために、トランザクション記録データベース７０８内に記憶され、または医療データ・インタフェース７１２に提供されてもよい。いくつかの実施形態では、トランザクション記録は、データ・セット、領域、強調および／または他のパラメータの記述を含む強調動作の態様を記録するブックマークを含む。このブックマークは、取り出されて、以前の状態を回復させ、以前のデータ・セット、領域選択、強調および／またはパラメータを後続のデータ・セットに適用するように用いられ得る。このブックマークは、図３乃至６に関連して上述されているように、索引付けのためのラベルとしての役割を果たしてもよく、またはそのようなラベルを含んでもよい。
測定ズーム・モジュール７０２はまた、追加の詳細を提供して、それにより診療分析を容易にするように設計されたオンデマンド測定を実行してもよい。たとえば、オペレータは、ピンポイント測定と称される、特定の点での詳細な測定を要求し得る。そのような実施例では、測定ズーム・モジュール７０２は、この点を指定する位置マーカを受信し、要求された測定を決定するように利用可能な医療データの分析を実行する。この分析は、データ補間、予測分析、モダリティにおける医療データ・セットの相互参照、および／またはデータ分析の他の形態を含んでもよい。他の実施例では、オペレータは、２つまたは３つ以上の参照点間の測定を要求し得る。そのような実施例では、測定ズーム・モジュール７０２は、参照点を受信し、距離測定、体積測定、面積測定、時間測定、変化率測定、および／または参照点に関連する他の適切な測定などの測定を実行する。これらの測定は、単に例示であり、他の種類の測定が検討または提供される。
上述のように、参照データ・セットは、ユーザ・ディスプレイ装置（たとえば、第１のユーザ・ディスプレイ装置７１６）に表示されてもよい。測定ズーム・モジュール７０２は、参照データに基づいて１つまたは複数の位置マーカを受信する。種々の実施形態では、位置マーカが、ユーザ入力装置（たとえば、図７のユーザ入力装置７１４）および／またはマルチモダリティ処理システムのコンポーネントから受信される。たとえば、マルチモダリティ・システム１００のワークフロー・コンポーネントは、オペレータに血管壁、ステント、プラーク、病変、他の特徴付けられた組織、および／または他の対象の構造などの対象の診断特徴または領域を気付かせる位置マーカを指定してもよい。いくつかの実施形態では、位置マーカは、ユーザ入力およびシステム・コンポーネント・フィードバックの組み合わせにより決定される。たとえば、ユーザは、マルチモダリティ処理システムのコンポーネントまたはモジュールにより特定された対象の近傍点に対して調整またはスナップ（ｓｎａｐ）された第１の位置を特定してもよい。
測定ズーム・モジュール７０２はまた、ユーザ入力装置および／またはマルチモダリティ処理システムのコンポーネントからの測定選択を受信してもよい。測定選択は、距離測定、面積測定、体積測定、時間測定、変化率測定、および／または参照点に関連する他の適切な測定などの１つまたは複数の測定機能に対応してもよい。
１つまたは複数の位置マーカ、測定選択ならびに／または参照データ・セットに基づいて、測定ズーム・エンジン７０６は、測定する目標データ・セットを特定する。いくつかの実施形態では、目標データ・セットは参照データ・セットの一部を含む。目標データ・セットはまた、参照データ・セットに追加してまたは参照データ・セットに代えて、他のデータ・セットを含んでもよい。そのような実施形態では、目標セットに含まれるデータ・セットは、異なるモダリティ、異なる時間の単一のモダリティ、異なる動作モードにおける単一のモダリティ、ならびにモダリティおよび動作状態の他の組み合わせに対応してもよい。
目標データが特定された場合、測定ズーム・エンジン７０６は、測定選択に対応する１つまたは複数の測定を実行する。例示としての実施形態では、測定選択は距離測定を指定する。本実施例では、エンジン７０６は、位置マーカ間の画素距離を決定し、この画素距離を対応する点間の物理的距離に変換するが、距離測定を決定する他の方法が検討され、提供される。そのようにすることにおいて、測定ズーム・エンジン７０６は、ユーザ・ディスプレイ装置に関連する第１のフォーマット（たとえば、画素ベースのインクリメント）から物理的距離に関連する第２のフォーマット（たとえば、ミリメートルベースのインクリメント）への変換を実行してもよく、第１の座標系（たとえば、極座標）から第２の座標系（たとえば、直交座標）への変換を実行してもよい。したがって、測定ズーム・エンジン７０６は、関連モダリティの動作パラメータに基づいて、モダリティ・フィードバック・インタフェース７１０を介して変換係数を受信してもよい。例示としての本実施形態を継続して、測定ズーム・エンジン７０６は、ミリメートル毎のサンプルの変換係数を受信し、画素毎のサンプルの変換係数を受信する。このことから、測定ズーム・エンジン７０６は、ミリメートル毎の画素の数を決定する。
上述のように、いくつかの実施形態では、このシステムは複数のディスプレイを含む。したがって、参照データ、目標データ、位置マーカおよび測定値が、それらのディスプレイ装置のうちの任意の１つまたは複数に表示されてもよい。そのような一実施形態では、参照データは、第１のユーザ・ディスプレイ装置７１６に表示される。オペレータは、第１のユーザ・ディスプレイ装置７１６を重畳して、タッチ・センサ（一種のユーザ入力装置７１４）により位置マーカを入力する。測定ズーム・エンジン７０６は、位置マーカおよび測定値を示すアイコンにより第１のユーザ・ディスプレイ装置７１６を更新し、位置マーカおよび測定値を示すアイコンにより第２のユーザ・ディスプレイ装置７１８も更新する。複数のユーザ・ディスプレイ装置に位置マーカおよび測定値を表示することは、ユーザ入力がディスプレイの一部を目立たなくしてもよい、たとえばタッチスクリーン・アプリケーションのような、アプリケーションにおいて特に有用である。
いくつかの実施形態では、測定ズーム・モジュール７０２は、位置マーカおよび測定値などの測定動作の要素を記憶するインタフェースを備える。たとえば、測定ズーム・エンジン７０６は、位置マーカ、測定選択、測定値、参照データ・セットの一部、目標データ・セットの一部、および／またはトランザクションの他の適切な要素に関する情報を含んでもよいトランザクション記録を記憶、または記憶することを提供してもよい。トランザクション記録は、トランザクション記録データベース７０８内に記憶され、または図２に関連して説明したデータベース管理コンポーネント２１６などのシステムのコンポーネントによる送信および／または記憶のための医療データ・インタフェース７１２に備えられてもよい。いくつかの実施形態では、トランザクション記録は、データ・セット、位置マーカ、測定種類、測定値または他のパラメータの記述を含む測定動作の態様を記録するブックマークを含む。このブックマークは、取り出されて、以前の状態を回復させ、後続のデータ・セットに以前のデータ・セット、位置マーカ、測定種類および／または他のパラメータを付与するように用いられ得る。このブックマークは、図３乃至６に関連して上述されたように、索引付けするためのラベルとしての役割を果たしてもよく、またはそのようなラベルを含んでもよい。
図８は、マルチモダリティ処理システム１００のいくつかの実施形態によるオン・デマンド・データ強調のための例示としてのユーザ・インタフェース８００の図である。ユーザ・インタフェース８００は、図７を参照して説明された第１および第２のユーザ・ディスプレイ７１６および７１８などの単一のユーザ・ディスプレイまたは複数のディスプレイに提示されてもよい。ユーザ・インタフェース８００は、マルチモダリティ処理システム、具体的には、システムの測定ズーム・モジュール７０２により提示された情報を表示する１つの有効な配置を示す。当業者は、代替の配置が検討され、提供されることを認識するであろう。
インタフェース８００は、異なるディスプレイ装置、異なる時点での単一の物理的ディスプレイ装置、単一のディスプレイ装置における単一の表示環境の異なる部分（“ディスプレイ”デスクトップの“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて）、ならびに／または異なる物理的ディスプレイ（すなわち、異なるモニタ）に対応してもよい第１のデータ表示ウィンドウ８０２および第２のデータ表示ウィンドウ８０４を含む。図示された実施形態では、第１のデータ表示ウィンドウ８０２は、デスクトップの第１のウィンドウに参照データ・セットを提示し、第２のデータ表示ウィンドウ８０４はデスクトップの第２のウィンドウに強調された目標データ・セットを提示する。
インタフェース８００はまた、オペレータが領域またはデータ部分を指定することが可能である領域選択ツール８０６を含んでもよい。種々の非限定的実施例では、オペレータは、タイプされた座標を用いて、マウス入力、タッチベース入力もしくはデジタル・ペン入力により指定された参照点を用いて、マウス入力、タッチベース入力もしくはデジタル・ペン入力により指定された幾何学形状、および／またはデータ・エントリの他の方法を用いて、領域を指定し得る。その点で、領域選択ツール８０６は、オペレータが提供されたユーザ入力を解析することにより、領域またはデータ部分を選択することを可能にする。
このインタフェースはまた、ツールバー８０８を含んでもよい。種々の実施形態では、ツールバー８０８は、マルチモダリティ処理システムのためのコマンドを選択するように用いられる。例示としてのコマンドは、強調する領域の選択、実行する強調の選択、ならびにデータ記憶およびロード・コマンドを含む。このインタフェースはまた、マルチモダリティ処理システムに送信するコマンドを迅速に選択するための複数のコマンド要素８１０を含んでもよい。ツールバーから選択してもよい任意のコマンドは、コマンド要素８１０を用いる選択のために適切である。その点で、例示としての実施形態では、インタフェース８００は、実行する強調を選択するように構成されたコマンド要素８１０を含む。
図９は、マルチモダリティ処理システム１００のいくつかの実施形態によるデータ測定のための例示としてのユーザ・インタフェース９００の図である。ユーザ・インタフェース９００は、図７を参照して説明された第１および第２のユーザ・ディスプレイ７１６および７１８などの、単一のユーザ・ディスプレイまたは複数のディスプレイに提示されてよい。ユーザ・インタフェース９００は、マルチモダリティ処理システムによって提示される情報を表示するための１つの可能な配置を、より具体的には、システムの測定ズーム・モジュール７０２を提示する。当業者は、代替の配置が企図され提供されることを理解されよう。
多くの点で、ユーザ・インタフェース９００は、図８のユーザ・インタフェース８００と実質的に同様である。その点で、ユーザ・インタフェース９００は、異なるディスプレイ装置、異なる時点での単一の物理的ディスプレイ装置、単一のディスプレイ装置における単一の表示環境の異なる部分（ディスプレイ“デスクトップ”の“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて）、ならびに／または異なる物理的ディスプレイ（すなわち、異なるモニタ）に対応する第１のデータ表示ウィンドウ８０２および第２のデータ表示ウィンドウ８０４を含んでもよい。ユーザ・インタフェース９００はまた、ツールバー８０８およびコマンド要素８１０を含んでもよい。ユーザ・インタフェース９００はまた、マーカ９０２、すなわち、データ測定で用いるシステムに提供される位置マーカに対応するアイコンを含んでもよい。位置マーカは、ユーザ入力装置１２１２を介してオペレータにより提供されてもよい。いくつかの実施形態では、オペレータは、タイプされた座標を用いて、マウス入力を用いて、タッチベース入力を用いて、および／またはデジタル・ペン入力を用いて、位置マーカを指定および提供する。位置マーカはまた、オペレータにより提供された位置マーカに追加してまたはそれに代えて、モジュール・インタフェース１２０８を介してシステム１００の他のコンポーネントにより提供されてもよい。２つの位置マーカが示されているが、他の実施形態では、任意の数の位置マーカが提供されてもよい。図示されている実施形態では、マーカ９０２は、第１のデータ表示ウィンドウ８０２および第２のデータ表示ウィンドウ８０４に表示されているが、さらなる実施形態では、第１のデータ表示ウィンドウ８０２または第２のデータ表示ウィンドウ８０４にこのマーカを表示する。ユーザ・インタフェースはまた、位置マーカに基づいて決定された測定値を表示する測定出力領域９０４を含んでもよい。いくつかの実施形態では、測定値が、測定出力領域９０４に追加してまたはそれに代えて、第１のデータ表示ウィンドウ８０２および第２のデータ表示ウィンドウ８０４のうちの１つまたは複数において表示される。図示された測定出力領域９０４は距離を表示する一方、他の実施形態では、測定出力領域９０４は、面積測定、体積測定、時間測定、変化率測定、および／または参照点に関連する他の適切な測定などを含む、システムが用いる任意の種類の測定を表示し得る。
図１０は、本開示のいくつかの実施形態によるマルチモダリティ処理システム１００内でのオン・デマンド・データ強調方法１０００のフロー図である。方法１０００のステップの前、中および後に追加のステップが提供され得、示されているステップのいくつかは、この方法の他の実施形態では置き換えられ得るまたは取り除かれ得ることが理解される。
ブロック１００２では、医療データの参照セットがマルチモダリティ処理システム１００により受信される。いくつかの実施形態では、医療データに対応する識別子は、この医療データ自体を受信することに追加してまたはそれの代替として受信される。医療データの識別子は、医療データの一部もしくは全部を含んでもよく、ならびに／または、システムのどこかに位置するまたはネットワークにおいて配信されたデータに対するポインタを含んでもよい。医療データの参照セットは任意の適切な医療データであってもよい。たとえば、医療データは、モダリティ取得コンポーネントにより提供された未処理の医療データ、ワークフロー・コンポーネントにより提供された処理済みの医療データ、および／または複数のモダリティに対応しかつマルチモダリティ・コンポーネントにより提供された集合データを含んでもよい。ブロック１００４では、医療データの参照セットは、第１のディスプレイ装置に表示されてもよい。
ブロック１００６では、領域識別子が受信される。領域識別子は、医療データの参照セットのサブセットに対応している。種々の実施形態では、領域識別子は、境界座標、格子索引などの領域識別子、ジェスチャ、コマンド、ラベル、測定値、ブックマーク位置および／または適切なフォーマットのセットの形態をとる。いくつかの実施形態では、領域識別子は、図７を参照して説明されたユーザ入力装置７１４などのユーザ入力装置から受信される。適切なユーザ入力装置の実施例としては、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、ジェスチャベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェース、光ベースのセンシング機構（たとえば、赤外線センシング）および当業者が知っている他のユーザ入力装置が挙げられるが、それらに限定されない。いくつかの実施形態では、領域識別子は、モダリティ・ワークフロー・コンポーネントなどの他のシステム・コンポーネントから受信される。そのような一実施形態では、領域識別子は、対象の構造をハイライトし、表示し、またはその構造に注目するように構成される。そのような自動的な強調は、システムのコンポーネントが他の点では気付かない可能性がある潜在的に重要なデータをオペレータに警告することを可能にする。
いくつかの実施形態では、領域識別子は初期フォーマットから変換される。たとえば、領域識別子は、ディスプレイ装置の画素に対応する直交座標のセットを含んでもよく、参照データは、異なるスケールの極座標で表されてもよい。したがって、種々の実施形態では、領域識別子は、初期フォーマットから適切なデータ・フォーマットに変換される。このことは、スケール変換、座標変換、形状翻訳および当業者が知っている他の適切な変換のうちの１つまたは複数を含んでもよい。
ブロック１００８では、強調選択が受信される。この選択は、実行する１つまたは複数の動作を特定し、ユーザ入力装置および／またはシステムのコンポーネントから受信される。
ブロック１０１０では、目標データ・セットが、強調選択、領域識別子および参照データのうちの１つまたは複数に基づいて特定される。いくつかの実施形態では、目標データ・セットは参照データ・セットの一部を含む。目標データ・セットはまた、参照データ・セットに追加してまたは参照データ・セットに代えて、代替のデータ・セットを含んでもよい。そのような実施形態では、目標セットに含まれるデータ・セットは、異なるモダリティ、異なる時間の単一のモダリティ、異なる動作モードにおける単一のモダリティ、ならびにモダリティおよび動作状態の他の組み合わせに対応してもよい。いくつかの実施形態では、この方法は、目標データ・セットを構成するようにデータ・セットを直接的にまたは間接的に組み合わせることを含む。同様に、いくつかの実施形態では、この方法は、目標データ・セットの一部を選択することを含む。そのような一実施形態では、この方法は、領域識別子に対応する領域以外のデータを選択することを含む。
ブロック１０１２では、システム１００により目標データ・セットにおいて強調が実行される。種々の実施形態では、この強調は、強調選択、領域識別子および／または目標データ・セットにより決定される。強調の実施例は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度増減、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含む。さらなる強調は、複数のモダリティにより収集されたデータを組み合わせて、医療データに付与される処理パラメータを精緻化する。たとえば、そのような一実施形態では、マルチモダリティ処理システム１００は、領域識別子により指定された領域内で高い解像度を提供するように、システム１００のＩＶＵＳワークフロー・コンポーネントにより付与された焦点範囲パラメータを変更する。他のそのような実施形態では、マルチモダリティ処理システムは、システム１００のワークフロー・コンポーネントの動作モードを変更する。
強調はまた、図３乃至６に関して説明されたラベル付けなどの、医療データの一部のラベル付けまたは注釈付けを含んでもよい。他の強調が検討され、提供される。
ブロック１０１４では、強調された目標データ・セットが第２のユーザ・ディスプレイに表示される。第１および第２のユーザ・ディスプレイは、異なるユーザ・ディスプレイ装置（たとえば、図７の第１のユーザ・ディスプレイ装置７１６および第２のユーザ・ディスプレイ装置７１８）に対応してもよい。いくつかの実施形態では、これらのディスプレイ装置は、異なる時点で単一の物理的ディスプレイ装置に対応する。したがって、参照データ・セットは、第１の時点でモニタに表示されてもよく、強調されたデータ・セットは、後にこのモニタに表示されてもよい。いくつかの実施形態では、異なるユーザ・ディスプレイ装置、第２のユーザ・ディスプレイは、単一のディスプレイ装置における単一の表示環境の一部に対応する（ディスプレイ“デスクトップ”の“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて）。いくつかの実施形態では、異なるディスプレイ装置は、第１および第２の物理的ディスプレイ（たとえば、第１および第２のモニタのそれぞれ）に対応する。
ブロック１０１６では、強調のトランザクション記録が記憶される。種々の実施形態では、この記録は、領域識別子、強調選択、データ・セット識別子、参照データ・セットの一部、強調された目標データ・セットの一部、変更された処理パラメータ、および／またはトランザクションの他の適切な要素を含む。いくつかの実施形態では、記憶することは、遠隔の記憶装置のためのシステム・インタフェースでトランザクション記録を提供することを含む。トランザクション記録は、データ・セット、領域、強調または他のパラメータの記述を含む強調動作の態様を記録するブックマークを含んでもよい。このブックマークは、取り出されて、以前の状態を回復させて、以前のデータ・セット、領域選択、強調および／またはパラメータを後続のデータ・セットに適用するように用いられ得る。このブックマークは、図３乃至６に関連して上述されたように、索引付けのためのラベルとしての役割を果たしてもよく、またはそのようなラベルを含んでもよい。
図１１は、本開示のいくつかの実施形態によるマルチモダリティ処理システム１００内のデータ測定方法１１００のフロー図である。方法１１００のステップの前、中および後に追加のステップが提供され得、示されているステップのいくつかは、この方法の他の実施形態では置き換えられ得るまたは取り除かれ得ることが理解される。
ブロック１１０２では、医療データの参照セットがマルチモダリティ処理システム１００により受信される。いくつかの実施形態では、医療データに対応する識別子は、この医療データ自体を受信することに追加してまたはそれの代替として受信される。医療データの識別子は、医療データの一部もしくは全部を含んでもよく、ならびに／または、システムのどこかに位置するもしくはネットワークにおいて配信されたデータに対するポインタを含んでもよい。医療データの参照セットは任意の適切な医療データであってもよい。ブロック１１０４では、医療データの参照セットは、第１のディスプレイ装置に表示されてもよい。ブロック１１０６では、位置マーカが受信される。位置マーカは、図７のユーザ入力装置７１４などのユーザ・インタフェースのコンポーネントから、またはワークフロー・コンポーネントなどのマルチモダリティ・システム１００のコンポーネントから受信されてもよい。後者の実施例としては、実施形態において、マルチモダリティ・システム１００のワークフロー・コンポーネントは、血管壁、ステント、プラーク、病変、他の特徴付けられた組織、および／または他の対象の構造などの関連する診断特徴をオペレータに警告する位置マーカを指定する。いくつかの実施形態では、位置マーカは、ユーザ入力およびシステム・コンポーネント・フィードバックの組み合わせにより決定される。たとえば、ユーザは、マルチモダリティ処理システムのコンポーネントまたはモジュールにより特定された対象の近傍点に対して調整またはスナップ（ｓｎａｐ）された第１の位置を特定してもよい。
ブロック１１０８では、測定選択が受信される。この選択は、実行する１つまたは複数の測定を特定する。たとえば、この選択は、距離測定、面積測定、体積測定、変化率測定、ピンポイント測定および／または他の適切な測定を指定してもよい。
ブロック１１１０では、目標データ・セットが特定される。目標データ・セットは、１つまたは複数の位置マーカ、測定選択および／または参照データ・セットに依存してもよい。いくつかの実施形態では、目標データ・セットは参照データ・セットの一部を含む。目標データ・セットはまた、参照データ・セットに追加してまたはそれの代替として、他のデータ・セットを含んでもよい。そのような実施形態では、目標セットに含まれるデータ・セットは、異なるモダリティ、異なる時間の単一のモダリティ、異なる動作モードにおける単一のモダリティ、ならびにモダリティおよび動作条件の他の組み合わせに対応してもよい。
ブロック１１１２では、測定が、目標データ・セットに関してシステム１００により実行される。種々の実施形態では、実行された特定の測定が、測定選択、１つもしくは複数の位置マーカ、ならびに／または目標データ・セットにより決定される。例示としての実施形態では、この測定は距離測定であり、ユーザ・ディスプレイ装置を表す第１の座標系（たとえば、画素ベースの座標）から物理的距離を表す第２の座標系（たとえば、ミリメートルベースの座標）に変換することを含む。特定の実施形態では、ミリメートル毎のサンプルの変換係数および画素毎のサンプルの変換係数が受信される。このことから、ミリメートル毎の画素の数が決定される。続いて、位置マーカ間の画素距離に基づいて、物理的距離が、対応する点間で決定され得る。さらなる例示としての実施形態では、選択された測定動作は、ピンポイント測定、すなわち、特定の点における詳細測定である。分析は、データ補間、予測分析、モダリティにおける医療データ・セットの相互参照、および／またはデータ分析の他の形態を含んでもよい。ピンポイント・データ値を決定する測定処理は、データ補間、予測分析、モダリティにおける医療データ・セットの相互参照、および／またはデータ分析の他の形態を含んでもよい。ブロック１１１２の測定を参照するに、面積測定、体積測定、変化率測定、モダリティ間測定、および当業者が知っている他の測定を含む他の測定動作が検討され、提供される。
ブロック１１１４では、測定動作により決定された値が表示される。上述のように、いくつかの実施形態では、システムは複数のディスプレイを含む。したがって、参照データ、目標データ、位置マーカおよび測定値が、任意の１つまたは複数のディスプレイ装置に表示されてもよい。ブロック１１１６では、トランザクション記録が生成されて、記憶される。トランザクション記録は、位置マーカ、測定選択、測定値、参照データ・セットの一部、目標データ・セットの一部、および／またはトランザクションの他の適切な要素に関する情報を含んでもよい。いくつかの実施形態では、記憶することは、遠隔の記憶装置のためのシステム・インタフェースでトランザクション記録を提供することを含む。トランザクション記録は、データ・セット、位置マーカ、測定種類、特定値または他のパラメータの記述を含む測定動作の特徴を記録するブックマークを含んでもよい。ブックマークは、取り出され得、以前の状態に回復されて、以前のデータ・セット、位置マーカ、測定種類および／または他のパラメータを後続のデータ・セットに付与するように用いられ得る。ブックマークは、図３乃至６に関連して上記で説明された索引付けするためのラベルとしての役割を果たしてもよく、またはそのようなラベルを含んでもよい。
ここで、図１２を参照するに、マルチモダリティ処理システム１００のいくつかの実施形態によるユーザ入力を区別するためのユーザ・インタフェース・コンポーネント１２００を含む、図１および２の医療システムの一部の機能ブロック図が示されている。ユーザ・インタフェース・コンポーネント１２００は、ジェスチャの形態でのオペレータ入力を医療システムのためのコマンドに変換する。ジェスチャは、データ取得、操作および視認を制御する直観的機構を提供する。いくつかの実施形態では、ジェスチャ認識は、入力装置の変更なしに、アクティブ・ウィンドウを切り替えることなしに、および／または複雑なメニュー構造をナビゲートすることなしに、オペレータがコマンドを選択することを可能にする。さらに、いくつかの実施形態では、ジェスチャ認識は、不必要なステップを除去し、ＧＵＩクラッタを低減する。良好な患者の結果および低減されたコストをもたらす、効率化されたＧＵＩは、手続き時間を短縮する。
ユーザ・インタフェース・コンポーネント１２００は、さらに、医療システムの他のコンポーネントと通信するための、ジェスチャ認識エンジン１２０４、ジェスチャ・データベース１２０６およびモジュール・インタフェース１２０８のうちの１つまたは複数を含んでもよいジェスチャ認識モジュール１２０２を含む。ユーザ・インタフェース・コンポーネント１２００は、コントローラ１２１０またはオペレータ・インタフェースも含む。コントローラ１２１０は、ユーザ入力装置１２１２および１つまたは複数のユーザ・ディスプレイ装置１２１４を含む。ユーザ入力装置１２１２は、図３に関して説明されたユーザ入力装置３１４と実質的に同様であってもよい。その点で、適切なユーザ入力装置１２１２の実施例としては、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、ジェスチャベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェースおよび当業者が知っている他のユーザ入力装置が挙げられるが、それらに決して限定されない。
ユーザ・インタフェース・コンポーネント１２００の一部は、非一時的コンピュータ可読記憶媒体に記憶されたプロセッサ実行可能ソフトウェアとして、および／または専用マイクロプロセッサ、ＦＰＧＡ、マイクロコントローラ、グラフィックス・プロセッシング・ユニットおよびＤＳＰなどのハードウェア・コンポーネントとして、全部または一部が、実施されてもよい。いくつかの実施形態では、ユーザ・インタフェース・コンポーネント１２００の一部は、図１および２を参照して説明されたマルチモダリティ処理システム１００のコンポーネントに組み込まれる。たとえば、そのようないくつかの実施形態では、コントローラ１２１０は、図１を参照して説明されたベッドサイド・コントローラ１１８、メイン・コントローラ１２０、ブーム・ディスプレイ１２２および／またはネットワーク・コンソール１３０のコンポーネントである。さらなる実施例としては、いくつかのそのような実施形態では、ジェスチャ認識モジュール１２０２は、図２を参照して説明されたメイン・コントローラ１２０のＵＩフレームワーク・サービス２４０、ベッドサイド・コントローラ１１８のＵＩフレームワーク・サービス２４２、および／またはＩＶＵＳ ＵＩ拡張部２４６またはＩＶＵＳ ＵＩ拡張部２４８などのＵＩ拡張部に組み込まれる。他の実施形態では、ジェスチャ認識モジュール１２０２は、マルチモダリティ処理システム１００の別個のおよび異なるコンポーネントである。
ジェスチャ認識モジュール１２０２は、ジェスチャ・データベース１２０６から取り出されたルールに基づきユーザ入力を解釈して、ユーザ入力をコマンドに翻訳する。このように、モジュール１２０２は、コマンドを発行するようにオペレータがジェスチャベースの入力を用いることを可能にする。有効なジェスチャは、身体のジェスチャおよび口頭のコマンドを含む。身体のジェスチャは、入力装置を移動させることまたはキー押下を実行することなどの入力装置を操作することを含んでもよく、または含まなくてもよい。ジェスチャはまた、当業者が知っている他のインタフェース方法を含んでもよい。参考のために、ジェスチャは、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェースおよび当業者が知っている他のユーザ入力装置を含む任意の適切なユーザ入力装置により捕捉されてもよい。
ジェスチャ認識モジュール１２０２は、１つまたは複数のユーザ入力装置１２１２からユーザ入力シーケンスを受信する。ユーザ入力シーケンスは、ボタン押下、キー押下、動き、キャプチャされた音声、キャプチャされた映像および当業者が知っている他の入力データなどの、入力装置１２１２により収集されたデータを表す離散要素に分割されてもよい。ユーザ入力シーケンスは、デバイス識別子、デバイス状態、デバイスポーリングおよびデリミタを含むデータをフォーマットすることを含んでもよい。いくつかの実施形態では、ユーザ入力シーケンスは、複数の入力装置から収集された複数の種類のデータを組み合わせる。そのような実施形態では、シーケンスは、キーボードおよびマウスからのデータを含む。他のそのような実施形態では、シーケンスは、ペンベースの入力および仮想キーパッドからのデータを含む。例示としてのシーケンスは、マウス・ボタン上げイベントが後続する、位置データが後続するマウス・ボタン下げイベントを含む。さらなる例示としての入力シーケンスは、タッチ開始イベント、タッチ移動イベントおよびタッチ終了イベントを含む。
モジュール１２０２のジェスチャ認識エンジン１２０４は、ユーザ入力シーケンスと比較するように、アクティブ・コマンドのリストを構築する。いくつかの実施形態では、モジュール１２０２は、マルチモダリティ処理システムの動作の状態またはモードに対応するシステム状態指示子を受信する。この状態指示子はモダリティを示してもよい。その点で、例示としてのシステム状態指示子は、現在のデータが、ＩＶＵＳ、ＦＬ−ＩＶＵＳ、ＦＦＲ特定法、冠血流予備量能（ＣＦＲ）特定法、光干渉断層法（ＯＣＴ）、経食道心エコー検査、圧力、流れおよび／または他の適切なモダリティのうち１つまたは複数に対応することを示す。状態指示子はまた、医療データが収集またはレビューされているかどうかのハードウェア・コンポーネントの状態、ソフトウェア・コンポーネントを実行するリスト、ソフトウェア・コンポーネントの状態、ソフトウェア・コンポーネントのモードおよび／またはシステムの任意の他の適切な特性を示してもよい。
状態指示子に基づいて、ジェスチャ認識エンジン１２０４はアクティブ・コマンドを決定し、このコマンドはシステムの現在の状態でサポートされている。アクティブ・コマンドのリストの構築において、エンジン１２０４は、システム状態指示子に基づいて、ジェスチャ・データベース１２０６に問い合わせてもよい。ジェスチャ・データベース１２０６の記録は、コマンド名、コマンド・フォーマット、相間システム状態、コマンドを受信するコンポーネント、関連ジェスチャの特徴の特定、および他の適切な情報のうちの１つまたは複数を含んでもよい。いくつかの実施形態では、アクティブ・コマンドのリストは、現在の医療データのセットに対応する１つまたは複数のモダリティに依存する。たとえば、特定のコマンドは、前方視ＩＶＵＳ画像（ＦＬ−ＩＶＵＳ）のためのデータの収集および／またはレビューの間、アクティブであってもよい一方、他のコマンドは、ＯＣＴデータの収集および／またはレビューの間、アクティブであってもよい。さらに、いくつかの実施形態では、アクティブ・コマンドのサブセットは、複数のモビリティに共通である。たとえば、画像を操作することに関連するいくつかのコマンドは、異なる撮像モダリティにわたって統一的であってもよい。複数のモダリティにわたって統一性を有することは、インタフェースの簡略化の助けとなり、また、学習曲線およびオペレータの負担を低減する。
このリストが構築されるとき、ジェスチャ認識エンジン１２０４は、ユーザ入力シーケンスの１つまたは複数の要素をアクティブ・コマンドのリストに適合させる。要素は、アクティブ・コマンドの特徴の特定に基づいて適合されてもよい。適合が認められる場合、そのシーケンスは、対応するコマンドまたは一連のコマンドに翻訳され、適切なコンポーネントにより用いられるモジュール・インタフェース１２０８で表示される。関連コマンドの特定に追加して、その翻訳は、ユーザ入力シーケンスの１つまたは複数の要素をコマンドのパラメータに変換することを含んでもよい。たとえば、ユーザ入力シーケンスから得られた座標のセットは、コマンドのパラメータとして渡されてもよい。これらの座標は、続いて、図７に関して説明された測定ズーム・モジュール７０２、ＵＩフレームワーク・サービス２４０、システムＵＩ拡張部２４４、ＩＶＵＳ ＵＩ拡張部２４６およびモダリティＵＩ拡張部２５０を含むモダリティ拡張、ならびに／またははシステム１００の他の適切なコンポーネントなどのシステムのコンポーネントにより用いられてもよい。
非限定的な実施例として、１つのジェスチャベースのコマンド、すなわち、ポーク（ｐｏｋｅ）・コマンドが単一の点を選択するように意図され、無意識の動作のための閾値未満の移動距離が後続する選択イベントにより特徴付けられる。例示としてのポーク・コマンドは、パラメータとしてのジェスチャ入力シーケンスから導き出された座標のセットを渡す。他の例示としてのコマンド、すなわち、直径測定コマンドが、意図的でない動作のための閾値より大きい移動距離が後続する選択イベントにより特徴付けられ、ここで、その移動は、直線的経路の閾値の許容範囲内にある。例示としての直径測定コマンドは、パラメータとしてのジェスチャ入力シーケンスから導き出された開始座標および終了座標を渡す。他の例示としてのコマンド、すなわち、面積測定コマンドは、無意識の動作のための閾値より大きい移動距離が後続する選択イベントにより特徴付けられ、ここで、その移動は直線的経路の閾値の許容範囲を超える。例示としての面積測定コマンドは、パラメータとしてのジェスチャ入力シーケンスにより追従された経路を近似する幾何学的形状を渡す。
翻訳が終了したとき、ジェスチャ認識エンジン１２０４は、適切なコンポーネントにより用いられるモジュール・インタフェース１２０８で翻訳コマンドを提示する。いくつかの実施形態では、ジェスチャ認識モジュール１２０２は、モジュール・インタフェース１２０８でコマンドを提示する前の確認のためのコントローラ１２１０を介して、オペレータに翻訳されたコマンドを表示する。オペレータがそのコマンドを確認した場合、コマンドは、システム１００で用いるために、モジュール・インタフェース１２０８で表示されてもよい。オペレータが翻訳されたコマンドに満足しない場合、ジェスチャ認識モジュール１２０２は、オペレータの要求でコマンドをキャンセルおよび／または変更してよい。いくつかの実施形態では、オペレータは、さらなるジェスチャおよび入力によりコマンドの要素を変更し得る。そのようないくつかの実施形態では、ジェスチャ認識モジュール１２０２は、位置または経路を調節するようオペレータがドラッグまたは操作し得る参照点をオペレータに提示する。他のそのような実施形態では、ジェスチャ認識モジュール１２０２は、現在のコマンドに対して示唆される変更点をオペレータに提示する。その示唆は、システムデフォルト、ユーザ嗜好および／または他の基準に基づいてもよい。他のそのような実施形態では、ジェスチャ認識モジュール１２０２は、オペレータが選択する代替のコマンドのリストをオペレータに提示する。「ＭＥＤＩＣＡＬ ＳＥＮＳＩＮＧ ＣＯＮＴＲＯＬ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」という名称の米国特許仮出願番号第６１／５６０，６７７号明細書はまた、ジェスチャおよびジェスチャ翻訳について開示していて、全体として参照することにより本明細書に援用する。
例示としての実施形態が、図１３乃至１７を参照して記載されている。図１３は、マルチモダリティ処理システム１００のいくつかの実施形態によるジェスチャベースのユーザ入力シーケンスを表示する、例示としてのユーザ・インタフェース１３００の図である。図１４は、マルチモダリティ処理システム１００のいくつかの実施形態によるジェスチャベースのユーザ入力シーケンスを表示する、例示としてのユーザ・インタフェース１４００の図である。図１５は、マルチモダリティ処理システム１００のいくつかの実施形態による翻訳された命令を表示する、例示としてのユーザ・インタフェース１５００の図である。図１６は、マルチモダリティ処理システム１００のいくつかの実施形態によるジェスチャベースのユーザ入力シーケンスを表示する、例示としてのユーザ・インタフェース１６００の図である。図１７は、マルチモダリティ処理システム１００のいくつかの実施形態による翻訳された命令を表示する、例示としてのユーザ・インタフェース１７００の図である。
図１３をより詳細に参照するに、図示されている実施形態では、医療データのセットが、第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４に表示される。ジェスチャ認識モジュール１２０２は、医療データのセットおよび操作モードに対応するモダリティを特定する状態指示子を受信する。モジュール１２０２のジェスチャ認識エンジン１２０４は、続いて、状態指示子に基づいてジェスチャ・データベース１２０６に問い合わせて、アクティブ・コマンドを受信する。このアクティブ・コマンドは、関連するジェスチャを認識するように用いられる特徴を特定するとともに、リストに追加される。
いくつかの実施例では、ジェスチャ認識エンジン１２０４は、タッチ開始イベントを含むユーザ入力シーケンスを受信する。図示されている実施形態では、マーカ１３１０が、タッチ開始イベントに基づいて表示される。ユーザ入力シーケンスは、位置データおよびタッチ終了イベントを含む（マーカ１３１２で表示されている）。マーカ１３１０および１３１２は、図１３の第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４を含む任意の１つまたは複数の適切なユーザ・ディスプレイ装置に表示されてもよい。ジェスチャ認識エンジン１２０４は、ユーザ入力シーケンスをアクティブ・コマンドの特徴の特定に基づくジェスチャに適合させる。図１３の実施例では、ポーク・コマンドは、動作が小さいまたは無意識であるように見える場合に、単一の点を選択するように意図され、入力装置の動きを無視する。閾値は、無意識の動作に対して確立されてもよい。したがって、ポーク・コマンドの特徴の特定は、タッチ終了イベントが後続する長さの閾値未満の移動距離が後続するタッチ開始イベントを含む。図示された実施形態では、ユーザ入力シーケンスは、ポーク・コマンドとして解釈される。
翻訳の一部として、ジェスチャ認識エンジン１２０４は、ポーク・コマンドのパラメータとして渡す座標のセットを決定する。種々の実施例では、これらの座標は、タッチ開始イベントの座標、タッチ終了イベントの座標、またはタッチ開始イベントの座標とタッチ終了イベントの座標との間の中間点に基づく。いくつかの実施形態では、これらの座標は、システム１００により決定された位置により調整され、またはその位置にスナップされてもよい。たとえば、システム１００が境界検出をサポートする実施形態では、ユーザが指定した位置は、近傍の境界およびそれに伴って決定された座標にスナップされてもよい。医療用撮像コンテキストにおける境界検出については、「ＶＡＳＣＵＬＡＲ ＰＬＡＱＵＥ ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ」という名称で２００１年３月１３日に発行された米国特許第６，２００，２６８号明細書、「ＩＮＴＲＡＶＡＳＣＵＬＡＲ ＵＬＴＲＡＳＯＮＩＣ ＡＮＡＬＹＳＩＳ ＵＳＩＮＧ ＡＣＴＩＶＥ ＣＯＮＴＯＵＲ ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ」という名称で２００２年４月３０日に発行された米国特許第６，３８１，３５０号明細書、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＣＨＡＲＡＣＴＥＲＩＺＩＮＧ ＶＡＳＣＵＬＡＲ ＴＩＳＳＵＥ」という名称で２００６年７月１１日に発行された米国特許第７，０７４，１８８号明細書、「ＮＯＮ−ＩＮＶＡＳＩＶＥ ＴＩＳＳＵＥ ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」という名称で２００７年２月１３日に発行された米国特許第７，１７５，５９７号明細書、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＶＡＳＣＵＬＡＲ ＢＯＲＤＥＲ ＤＥＴＥＣＴＩＯＮ」という名称で２００７年５月８日に発行された米国特許第７，２１５，８０２号明細書、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＩＤＥＮＴＩＦＹＩＮＧ Ａ ＶＡＳＣＵＬＡＲ ＢＯＲＤＥＲ」という名称で２００８年４月１５日に発行された米国特許第７，３５９，５５４号明細書および「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＶＡＳＣＵＬＡＲ ＢＯＲＤＥＲ ＤＥＴＥＣＴＩＯＮ」という名称で２００８年１２月９日に発行された米国特許第７，４６３，７５９号明細書に開示されていて、それらの教示は全体として参照することにより本明細書に援用される。
翻訳された“ポーク”コマンドは、図７に関して説明された測定ズーム・モジュール７０２、ＵＩフレームワーク・サービス２４０、システムＵＩ拡張部２４４、ＩＶＵＳ ＵＩ拡張部２４６およびモダリティＵＩ拡張部２５０を含むモダリティ拡張部、ならびに／もしくはシステム１００の他の適切なコンポーネントなどのシステムのコンポーネントにより用いられるモジュール・インタフェース１２０８で提供される。
図１４を参照するに、図示された実施形態では、ジェスチャ認識エンジンは、第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４に医療データのセットを表示した後、異なるユーザ入力シーケンスを受信する。例示としてのユーザ入力シーケンスは、タッチ開始イベント（マーカ１４１０で示されている）、位置データ（トレース１４１２で示されている）およびタッチ終了イベント（マーカ１４１４で示されている）を含む。マーカ１４１０および１４１４ならびにトレース１４１２は、図１４の第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４を含む任意の１つまたは複数の適切なユーザ・ディスプレイ装置１２１４に表示されてもよい。ジェスチャ認識エンジン１２０４は、ユーザ入力シーケンスをアクティブ・コマンドの特徴の特定に基づくジェスチャに適合させる。図１４の実施例では、直径測定コマンドは、２つの指定された点間の直線における距離を測定するように意図されている。したがって、コマンドの特徴の特定は、直線的経路の閾値の許容範囲内の、無意識の移動および移動経路についての閾値より大きい移動距離を含む。図示された実施形態では、ユーザ入力シーケンスは、直径測定コマンドとして解釈される。
ジェスチャ認識エンジン１２０４は、ユーザ入力に基づく座標端点の決定などのさらなる翻訳を実行してもよい。種々の実施例では、座標端点は、タッチ開始イベントの座標および／またはタッチ終了イベントの座標に基づく。いくつかの実施形態では、座標端点は、システム１００により決定された領域により調整されてもよく、またはその領域にスナップされてもよい。たとえば、システム１００が境界検出をサポートする実施形態では、ユーザが特定した位置は、近傍境界およびそれに伴って決定された座標にスナップされてもよい。ジェスチャ認識エンジン１２０４はまた、直径測定に影響する異常を補正または算定してもよい。
図１５を参照するに、図示された実施形態では、図１４を参照して説明した翻訳された直径測定コマンドが、第１のディスプレイ装置１３０２および第２のディスプレイ装置１３０４を含む１つまたは複数のユーザ・ディスプレイ装置１２１４のうちの１つまたは複数に表示される。このことは、オペレータに翻訳を検証する機会を与える。図示された実施形態では、第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４は、コマンドの開始点を示すマーカ１５１０、コマンドの終了点を示すマーカ１５１４およびコマンドの直線的経路を示すトレース１５１２を用いる。オペレータは、ユーザ入力装置１２１２を介して翻訳されたコマンドを確認し得る。このコマンドがオペレータにより確認される場合、このコマンドは、図７に関して説明された測定ズーム・モジュール７０２、ＵＩフレームワーク・サービス２４０、システムＵＩ拡張部２４４、ＩＶＵＳ ＵＩ拡張部２４６およびモダリティＵＩ拡張部２５０を含むモダリティ拡張部、ならびに／または、システム１００の他の適切なコンポーネントなどのシステムのそれぞれのコンポーネントにより用いられるモジュール・インタフェース１２０８で提供される。オペレータが翻訳されたコマンドに満足しない場合、ジェスチャ認識モジュール１２０２は、オペレータの要求でコマンドをキャンセルおよび／または変更してもよい。たとえば、ジェスチャ認識モジュール１２０２は、オペレータが端点をドラッグすることを可能にしてもよく、オペレータが操作し得る他の参照点をオペレータに提示してもよく、現在のコマンドに対して示唆された変更をオペレータに提示してもよく、および／または、オペレータが選択する代替のコマンドのリストを提示してもよい。
ここで、図１６を参照するに、図示された実施形態では、ジェスチャ認識エンジンは、第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４に表示された医療データのセットに基づいて、他のユーザ入力シーケンスを受信する。例示としてのユーザ入力シーケンスは、タッチ開始イベント（マーカ１６１０で示されている）、位置データ（トレース１６１２で示されている）およびタッチ終了イベント（マーカ１６１４で示されいる）を含む。マーカ１６１０および１６１４ならびにトレース１６１２は、図１６の第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４を含む任意の１つまたは複数の適切なユーザ・ディスプレイ装置１２１４に表示されてもよい。ジェスチャ認識エンジン１２０４は、ユーザ入力シーケンスをアクティブ・コマンドの特徴の特定に基づきジェスチャに適合させる。図１６の実施例では、面積測定コマンドは、指定された境界内の面積を決定するように意図されている。したがって、コマンドの特徴の特定は、直線的経路の閾値の許容範囲を超える、無意識の移動および移動経路についての閾値より大きい移動距離を含む。図示された実施形態では、ユーザ入力シーケンスは、面積測定コマンドとして解釈される。
翻訳の一部として、ジェスチャ認識エンジンは、そのコマンドのための座標端点の決定などのさらなる解釈を実行してもよい。種々の実施例では、座標端点は、タッチ開始イベントの座標および／またはタッチ終了イベントの座標に基づく。ジェスチャ認識エンジン１２０４はまた、対応するコマンドのために、円形、卵形、スプラインまたは多角形経路などの滑らかな幾何学的経路を決定してもよい。幾何学的経路の位置、形状および性質は、システム１００により検出および認識された位置および構造の一部で決定されてもよい。例示としての実施形態では、円で表される幾何学的経路は、システム１００で決定された境界点を通るように大きさ変更および移動される。さらなる例示としての実施形態では、卵形の幾何学的経路が、システムにより決定された１つまたは複数の境界点のより近傍を通るように、円形の幾何学的経路と置き換えられる。他の例示としての実施形態では、スプラインのブレーク・ポイントは、システムにより決定された境界点にスナップするように調整される。
図１７を参照するに、図示された実施形態では、図１６を参照して説明された、翻訳された面積測定コマンドは、翻訳を検証する機会を与える、１つまたは複数のユーザ・ディスプレイ装置１２１４のうち１つまたは複数に表示される。図示された実施形態では、第１のユーザ・ディスプレイ１３０２および第２のユーザ・ディスプレイ１３０４は、そのコマンドの滑らかな幾何学的経路を示すトレース１７１２を用いる。オペレータは、ユーザ入力装置１２１２を介して翻訳されたコマンドを確認し得る。このコマンドがオペレータにより確認される場合、このコマンドは、図７に関して説明された測定ズーム・モジュール７０２、ＵＩフレームワーク・サービス２４０、システムＵＩ拡張部２４４、ＩＶＵＳ ＵＩ拡張部２４６およびモダリティＵＩ拡張部２５０を含むモダリティ拡張部、ならびに／またはシステム１００の他の適切なコンポーネントなどのシステムのそれぞれのコンポーネントにより用いられるモジュール・インタフェース１２０８で提供される。オペレータが翻訳されたコマンドに満足しない場合、ジェスチャ認識モジュール１２０２は、オペレータの要求でコマンドをキャンセルおよび／または変更してもよい。たとえば、ジェスチャ認識モジュール１２０２は、オペレータが端点または中間点を調整するようにドラッグまたは操作し得る参照点をオペレータに提示してもよく、現在のコマンドに対して示唆された変更をオペレータに提示してもよく、および／または、オペレータが選択する代替のコマンドのリストを提示してもよい。
図１８は、本開示のいくつかの実施形態によるマルチモダリティ処理システム１００内のジェスチャ認識方法１８００のフロー図である。方法１８００のステップ前、中および後に追加のステップが提供され得、示されているステップのいくつかは、この方法の他の実施形態では置き換えられ得るまたは取り除かれ得ることが理解される。
ブロック１８０２では、状態指示子が、図１２のジェスチャ認識モジュール１２０２などのシステム１００のコンポーネントにより受信される。この状態指示子はモダリティを示してもよい。その点で、例示としてのシステム状態指示子は、現在のデータが、ＩＶＵＳ、ＦＬ−ＩＶＵＳ、ＦＦＲ特定、冠血流予備量比（ＣＦＲ）特定、光干渉断層撮影（ＯＣＴ）、心腔内心エコー、圧力、流れおよび／または他の適切なモダリティのうちの１つまたは複数と対応することを示す。状態指示子はまた、医療データが収集されるかレビューされるかのハードウェア・コンポーネントの状態、ソフトウェア・コンポーネントを実行するリスト、ソフトウェア・コンポーネントの状態、ソフトウェア・コンポーネントのモード、および／または、システムの任意の他の適切な特定を示してもよい。
ブロック１８０４では、アクティブ・コマンドのリストが構築される。いくつかの実施形態では、アクティブ・コマンドのリストは状態指示子に基づく。たとえば、このリストは、モダリティに基づいてもよく、複数のモダリティを適用するアクティブ・コマンドのサブセットを含んでもよい。いくつかの実施形態では、このリストの構築は、状態指示子を用いて、電子データベース、すなわち、ジェスチャ・データベース１２０６に問い合わせることを含む。ジェスチャ・データベース１２０６の記録は、コマンド名、コマンド・フォーマット、相間システム状態、コマンドを受信するコンポーネント、関連するジェスチャの特徴の特定、および他の適切な情報のうちの１つまたは複数を含んでもよい。
ブロック１８０６では、ユーザ入力シーケンスが受信される。このシーケンスは、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェースおよび当業者が知っている他のユーザ入力装置を含む適切なユーザ入力装置から受信されてもよい。いくつかの実施形態では、ユーザ入力シーケンスは、複数の入力装置、たとえば、キーボードおよびマウスからの複数のシーケンスを結合させる。このシーケンスは、当業者が知っている任意の適切な形態をとってもよい。例示としての実施形態では、このシーケンスの要素は、デバイス状態、イベント、操作データなどの位置データ、音声サンプル、デリミタ（区切り文字）および／または他のシーケンス要素を表す。
ブロック１８０８では、ユーザ入力シーケンスは、サポートされたコマンド・リストからのコマンドと相関させられる。このことは、ユーザ入力シーケンスの１つまたは複数のシーケンス要素をアクティブ・コマンドの特徴的な基準と比較することを含んでもよい。それはまた、対応するコマンドのパラメータに１つまたは複数のシーケンス要素をマッピングすることを含んでもよい。ブロック１８１０では、ユーザ入力シーケンスにマッピングされたコマンドが生成される。このことは、ユーザ入力シーケンスに基づいて、このコマンドの１つまたは複数のパラメータの値を生成することを含んでもよい。
ブロック１８１２では、コマンドが、オペレータによる確認のためにユーザ・ディスプレイ装置に表示される。このことは、ユーザ入力装置１２１２を介して確認応答を受信することを含んでもよい。オペレータが翻訳されたコマンドに満足しない場合、ブロック１８１４では、コマンドは、オペレータの要求でキャンセルおよび／または変更されてもよい。いくつかの実施形態では、このことは、コマンドに対する変更のためのオプションを提示すること、および／または、適用する変更を指定するさらなるユーザ入力を受信することを含む。いくつかのそのような実施形態では、オペレータが位置または経路を調整するようにドラッグまたは操作し得る参照点が提示される。他のそのような実施形態では、現在のコマンドに対して示唆された修正が提示されて、選択が受信される。この示唆は、システム・デフォルト、ユーザ嗜好および／または他の基準に基づいてもよい。他のそのような実施形態では、代替のコマンドのリストが提示され、選択が受信される。オペレータがこのコマンドを確認するとき、ブロック１８１６では、このコマンドは、システムの適切なコンポーネントによる使用のために、モジュール・インタフェース１２０８に提示される。
図１９は、マルチモダリティ処理システム１００のいくつかの実施形態による医療データのセットをナビゲートするためのユーザ・インタフェース・コンポーネント１９００を含む、図１および２の医療システムの一部の機能ブロック図である。ユーザ・インタフェース・コンポーネント１９００は、医療データの参照セットの高レベルの表示を提示し、その参照セットから、オペレータは、詳細表示において調査するサブセットを選択し得る。詳細表示を生成するように、いくつかの実施形態では、ユーザ・インタフェース・コンポーネント１９００は一軸ズームを実行し、データのサブセットは、第２の軸から独立している第１の軸に沿って大きさ変更される。このことは、時間または距離のある範囲にわたって、またはデータ値が周期的である場合に、プロットされたデータを含む医療データ・セットに対して特に有用である。そのようなデータにおいては、一の軸に沿ったピーク・ツー・ピーク極値は、第２の軸のスケーリングが調整されるときに、実質的に変化しなくてもよい。
一軸ズーム強調に適切なデータ・セットの一実施例は血流予備量比（ＦＦＲ）データである。ＦＦＲは、虚血による病変を含む、血管内の狭窄の重篤度を評価するために現在受け入れられている技術である。ＦＦＲは、近位血圧測定（狭窄の近位側でとられた）に対する抹消血圧測定（狭窄の抹消（遠位）側でとられた）の比の計算値である。ＦＦＲは、手術が必要となるほど血管内の血流を閉塞物が制限しているかどうかに関する判定を可能にする病変の重篤度の指標を与える。健全な血管におけるＦＦＲの正常値は１．００である一方、約０．８０未満の値は、一般に重篤であるとみなされて、手術を必要とする。ＩｎｓｔａｎｔＷａｖｅ−Ｆｒｅｅ Ｒａｔｉｏ（商標）機能データ（ｉＦＲ（登録商標）機能）（両者はＶｏｌｃａｎｏ Ｃｏｒｐ．の商標である）などのさらなる測定、および、充血剤なしで使用可能な圧力比の使用について開示している、「ＤＥＶＩＣＥＳ，ＳＹＳＴＥＭＳ，ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＳＳＥＳＳＩＮＧ Ａ ＶＥＳＳＥＬ」という名称である米国特許出願第１３／４６０，２９６号明細書に記載されている測定も、そのような強調に対して適切である。ｉＦＲ（登録商標）およびＦＦＲデータ・セットは、圧力測定値、圧力比および／またはある時間範囲にわたって測定された圧力差に対応する値を含んでもよい。圧力軸または比軸から独立した時間軸のスケーリングをオペレータが調整することを可能にすることにより、ユーザ・インタフェース・コンポーネント１９００は、ユーザに対して選択されたサブセットのより有用な表示を提供し得る。
さらに、ユーザ・インタフェース・コンポーネント１９００は、高度なおよび／または詳細なビューを用いて、データ選択、データ強調およびブックマーキングを含む複数のデータ操作をオペレータが指定することを可能にする。その点で、ユーザ・インタフェース・コンポーネント１９００は、図７に関して説明された測定ズーム・モジュール７０２、図１２に関して説明されたジェスチャ認識モジュール１２０２、および／または本明細書で開示されたシステム１００の他のコンポーネントの機能の一部または全部を組み込んでもよい。したがって、種々の実施形態では、ユーザ・インタフェース・コンポーネント１９００は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度増減、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含むデータのサブセットに関する様々なデータ強調を実行することができる。このように、ユーザ・インタフェース・コンポーネント１９００は、基礎をなすデータの性質に応じた態様でデータ・セットをナビゲートおよび操作する改善されたインタフェースを備える。
ユーザ・インタフェース・コンポーネント１９００は、測定ナビゲータ・モジュール１９０２を含み、この測定ナビゲータ・モジュール１９０２は、さらに、ナビゲータ・エンジン１９０４、医療データのセットを受信する医療データ・インタフェース１９０６、およびトランザクション、ブックマークおよび注釈の電子データベース１９０８のうちの１つまたは複数を含んでもよい。ユーザ・インタフェース・コンポーネント１９００は、コントローラ１９１０またはオペレータ・インタフェースも含む。コントローラ１９１０は、１つまたは複数のユーザ・ディスプレイ装置１９１４およびユーザ入力装置１９１２を含んでもよい。ユーザ入力装置１９１２は、図３に関して説明されたユーザ入力装置３１４と実質的に同様であってもよい。その点で、適切なユーザ入力装置１９１２の実施例は、キーボード、キーパッド、マウス、トラックボール、デジタル・ペン、タッチベースのインタフェース、ジェスチャベースのインタフェース、言葉および音声認識インタフェース、適応インタフェース、カメラ、動きセンシング・インタフェースおよび当業者が知っている他のユーザ入力装置を含むが、それらに決して限定されない。
ユーザ・インタフェース・コンポーネント１９００の一部は、非一時的コンピュータ可読記憶媒体に記憶されたプロセッサ実行可能ソフトウェアとして、および／または専用マイクロプロセッサ、ＦＰＧＡ、マイクロコントローラ、グラフィックス・プロセッシング・ユニットおよびＤＳＰなどのハードウェア・コンポーネントとして実施されてもよい。いくつかの実施形態では、ユーザ・インタフェース・コンポーネント１９００の一部は、図１および２を参照して説明されたマルチモダリティ処理システム１００のコンポーネントに組み込まれる。たとえば、いくつかのそのような実施形態では、コントローラ１９１０は、図１を参照して説明されたベッドサイド・コントローラ１１８、メイン・コントローラ１２０、ブーム・ディスプレイ１２２および／またはネットワーク・コンソール１３０の内のコンポーネントである。さらなる実施例としては、いくつかのそのような実施形態では、測定ナビゲータ・モジュール１９０２は、図２を参照して説明されたメイン・コントローラ１２０のＵＩフレームワーク・サービス２４０、ベッドサイド・コントローラ１１８のＵＩフレームワーク・サービス２４２、および／またはＩＶＵＳ ＵＩ拡張部２４６またはＩＶＵＳ ＵＩ拡張部２４８などのＵＩ拡張部に組み込まれる。他の実施形態では、測定ナビゲータ・モジュール１９０２は、マルチモダリティ処理システム１００の別個および個別のコンポーネントである。
測定ナビゲータ・モジュール１９０２は、医療データ・インタフェース１９０６を介して医療データの参照セットを受信する。いくつかの実施形態では、医療データに対応する識別子は、この医療データの受信自体に追加してまたはそれの代替として受信される。医療データの識別子は、医療データの一部または全部を含んでもよく、および／または、システムのどこかに位置するまたはネットワークにおいて配信されたデータに対するポインタを含んでもよい。参照データ・セットはまた、オペレータが見るコントローラ１９１０のディスプレイ装置（たとえば、ユーザ・ディスプレイ装置１９１４）に表示されてもよい。ディスプレイの制御およびデータ操作は、測定ナビゲータ・モジュール１９０２によって直接、および／または、測定ナビゲータ・モジュール１９０２とは別個のマルチモダリティ処理システム１００の他のコンポーネントによって、実行されてもよい。いくつかの実施形態では、参照データは、タイムラインまたは距離に基づくプロットなどのグラフとして提示されるが、データを表示する他の形式が、二次元画像および三次元画像を含めて検討される。
医療データの参照セットは任意の適切な医療データであってもよい。いくつかの実施形態では、医療データは未処理の医療データを含み、モダリティ取得コンポーネント（たとえば、血流予備量比取得コンポーネント、ｉＦＲ取得コンポーネント、圧力取得コンポーネント、流れ取得コンポーネント、図２のＩＶＵＳ取得コンポーネント２２０、前方視ＩＶＵＳ取得コンポーネント、ＦＦＲ取得コンポーネント、ＣＦＲ取得コンポーネント、ＯＣＴ取得コンポーネント、および／または経食道心エコー取得コンポーネント）により提供されてもよい。いくつかの実施形態では、医療データは処理された医療データを含み、ワークフロー・コンポーネント（たとえば、血流予備量比ワークフロー・コンポーネント、ｉＦＲワークフロー・コンポーネント、圧力ワークフロー・コンポーネント、流れワークフロー・コンポーネント、ＩＶＵＳワークフロー・コンポーネント、前方視ＩＶＵＳワークフロー・コンポーネント、ＦＦＲワークフロー・コンポーネント、ＣＦＲワークフロー・コンポーネント、ＯＣＴワークフロー・コンポーネント、および／または経食道心エコー・ワークフロー・コンポーネント）により提供されてもよい。いくつかの実施形態では、医療データは複数のモダリティから収集されたデータを含み、マルチモダリティ・ワークフロー・コンポーネントにより提供されてもよい。
測定ナビゲータ・モジュール１９０２は、医療データの参照セットの一部を示すデータ選択、強調選択、ブックマーク・コマンド、ズームインおよびズームアウトコマンドならびに他の適切なナビゲーション・コマンドなどの１つまたは複数のナビゲーション・コマンドも受信する。ナビゲーション・コマンドおよび／または医療データの参照セットに基づいて、ナビゲータ・エンジン１９０４は、強調する参照医療データのサブセットを決定する。このサブセットは、参照セットの全て、または一部を含んでもよい。このサブセットはまた、参照データ・セットに追加してまたは参照データ・セットに代えて代替のデータ・セットを含み得る。そのような実施形態では、サブセットに含まれるデータ・セットは、異なるモダリティ、異なる時間の単一のモダリティ、異なる動作モードにおける単一のモダリティ、ならびにモダリティおよび動作条件の他の組み合わせに対応してもよい。いくつかの種類のデータ選択コマンドに関して、ナビゲーション・コマンドは、初期フォーマットからデータ・フォーマットに変換されてもよい。たとえば、ナビゲーション・コマンドは、ユーザ・ディスプレイ装置１９１４の画素に対応する直交座標のセットを含んでもよい。したがって、一実施形態では、モジュール１９０２のナビゲータ・エンジン１９０４は、画素座標をデータ値に変換する。このことは、スケール変換、座標変換、形状翻訳および当業者が知っている他の適切な変換などの１つまたは複数の変換を含んでもよい。
いくつかの実施形態では、ナビゲーション・コマンドはオペレータ・コマンドであり、ユーザ入力装置１９１２を介して受信される。そのような一実施形態では、ユーザ入力装置１９１２および測定ナビゲータ・モジュール１９０２と通信するジェスチャ・インタフェース（たとえば、図１２のジェスチャ認識モジュール１２０２）は、ユーザ入力装置１９１２からジェスチャを受信し、このジェスチャをナビゲーション・コマンドに翻訳し、このナビゲーション・コマンドを測定ナビゲータ・モジュール１９０２に提供する。さらなるそのような実施形態では、測定ナビゲータ・モジュール１９０２は、ジェスチャ認識モジュール１２０２の一部または全部を組み込む。ナビゲーション・コマンドはまた、モダリティ・ワークフロー・コンポーネントなどの他のシステム・コンポーネントから受信されてもよい。たとえば、例示としての実施形態では、測定ナビゲータ・モジュール１９０２は、ＦＦＲワークフロー・コンポーネントから医療データの一部を示すデータ選択を受信する。このデータ選択は、ピークのＦＦＲ値、閾値を超える値、および／またはセンサ異常を示す値などのそのワークフロー・コンポーネントにより検出された対象の値をハイライトし、表示し、および／またはその値に注目するように構成されてもよい。他の例示としての実施形態では、測定ナビゲータ１９０２は、ＦＦＲワークフロー・コンポーネントからブックマークを受信する。このブックマークは、ワークフロー・コンポーネントにより検出された対象の値を迅速に特定するための参照点を提供するように構成されてもよい。そのような挙動は、このシステムのコンポーネントが、オペレータに、注目されない可能性のある潜在的に重要なデータに注目させることを可能にする。
上述のように、測定ナビゲータ・モジュール１９０２は、実行する１つまたは複数の強調機能を指定するナビゲータ・コマンドを受信してもよい。適切な強調の実施例は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度増減、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含む。強調はまた、図３乃至６に関して説明されたラベル付けなどの、医療データの一部のラベル付けまたは注釈付けを含んでもよい。他の適切な強調は一軸ズームを含む。二軸ズームと異なり、ナビゲータ・エンジン１９０４は、圧力軸または速度軸などの第２の軸から独立して、時間軸などの第１の軸に沿ってデータをサイズ変更し、再サンプリングし、または強調してもよい。そのような一実施形態では、ＦＦＲ測定に対応する参照データ・セットは、ある時間の範囲にわたって複数の圧力データ点を含む。オペレータは、一軸ズームを実行するよう選択し、開始および終了時間境界と、それに伴う新しい範囲を指定する。これに応じて、ナビゲータ・エンジン１９０４は、時間軸に沿って新しい範囲によって示されるデータのサブセットをスケーリングするが、圧力軸に沿っては必ずしもそうではない。それに代えて、例示としての実施形態では、圧力軸は、新しい範囲における最大および最小圧力値に基づいてサイズ変更される。関連する実施形態では、ナビゲータ・エンジン１９０４は、時間軸に沿ってデータのサブセットをスケーリングするが、参照セットのそれから圧力軸をスケール変更しない。実施形態のさらなるセットでは、測定ナビゲータ・エンジン１９０４は、ｉＦＲ（登録商標）撮像データの一軸ズームを実行する。オペレータは、一軸ズームならびに開始および終了時間境界を選択する。ナビゲータ・エンジン１９０４は、時間軸に沿った開始および終了時間境界により表されるサブセットをスケール変更するが、種々の実施形態では、圧力軸を独立してスケール変更し、または、参照セットに対して圧力軸をスケール変更しない。二軸操作に追加してまたはそれに代えて、一軸操作をサポートすることにより、ナビゲータ・エンジン１９０４は、特定のモダリティに対応する特定の種類のデータのより有用な表現を提供する。その点で、種々の実施形態では、一軸操作は、強調されたデータのより有用な表現を提示するように、ＦＦＲデータ、ｉＦＲデータ、圧力データ、流れデータおよび／または他の適切なデータ・セットに関して実行される。
データ指定コマンドと同様に、なされる種類の強調を指定するコマンドはまた、ユーザ入力装置１９１２からおよび／またはシステムの他のコンポーネントから受信されてもよい。指定された強調は、測定ナビゲータ・モジュール１９０２、ならびに／または、測定ズーム・モジュール７０２、ＵＩフレームワーク・サービス２４０、システムＵＩ拡張部２４４、ＩＶＵＳ ＵＩ拡張部２４６およびモダリティＵＩ拡張部２５０を含むモダリティ拡張部および／若しくはシステム１００の他の適切なコンポーネントなどのシステムの他のコンポーネントにより実行されてもよいため、測定ナビゲータ・モジュール１９０２は、強調選択コマンドを適切なシステム・コンポーネントに転送してもよい。たとえば、いくつかの強調の実行では、ナビゲータ・エンジン１９０４は、サブセットを構成するよう複数のデータ・セットを直接的にまたは間接的に組み合わせてもよい。したがって、一実施形態では、ナビゲータ・エンジン１９０４は、２つまたは３つ以上のモダリティにより収集されたデータ・セットを組み合わせるようＭＭＣＭコンポーネントに命令するコマンドを提供する。関連する実施形態では、ナビゲータ・エンジン１９０４は、２つまたは３つ以上のモダリティにより収集されたデータ・セットを受信して、エンジン１９０４内で組み合わせる。同様に、いくつかの強調の実行では、ナビゲータ・エンジン１９０４は、応答性を改善するようデータ・セットを選択し、ならびに／または、記憶装置、ネットワーキングおよび／もしくは処理リソースにおける負荷を低減してもよい。そのような一実施形態では、ナビゲータ・エンジン１９０４は、選択されたサブセットの外部のデータを選択する。
実行されるべき種類の強調が決定された場合、測定ナビゲータ・モジュール１９０２は、続いて、ナビゲーション・コマンドにより命令された医療データのサブセットに関する強調を実行してもよい。その後、強調されたサブセットはユーザ・ディスプレイ装置に表示されてもよい。いくつかの実施形態では、参照データおよび強調されたデータのサブセットは、異なるユーザ・ディスプレイ装置（たとえば、第１のユーザ・ディスプレイ装置および第２のユーザ・ディスプレイ装置のそれぞれ）に表示されてもよい。いくつかの実施形態では、これらのディスプレイ装置は、異なる時点での単一の物理的ディスプレイ装置に対応する。したがって、参照データ・セットは、第１の時点でモニタに表示されてもよく、強調されたデータは、後の時間にモニタに表示されてもよい。いくつかの実施形態では、これらのディスプレイ装置は、単一のディスプレイ装置における単一の表示環境の一部に対応する（ディスプレイ“デスクトップ”の“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて）。いくつかの実施形態では、第１および第２のディスプレイ装置は第１および第２の物理的ディスプレイ（たとえば、第１および第２のモニタのそれぞれ）に対応する。異なるユーザ・ディスプレイ装置に参照データおよびデータの強調されたサブセットを表示することは、ユーザ入力がタッチスクリーン用途などの表示の一部を不明瞭にしてもよい用途で特に有用であってもよい。いくつかの実施形態では、測定ナビゲータ・モジュール１９０２は、ナビゲーション・コマンドに基づいて参照データ・セットの表示を更新する。このことは、ラベル、ブックマーク、選択されたサブセットの境界および他の対象点を示すアイコンを追加することを含んでもよい。表示はまた、選択されたサブセットの範囲内または外部のデータを示すシェーディングを含む更新であってもよい。上述のように、参照データおよび強調されたサブセットに対応する表示信号の生成は、測定ナビゲータ・モジュール１９０２により直接、および／または、測定ナビゲータ・モジュール１９０２から離れたマルチモダリティ処理システム１００の他のコンポーネントにより、実行されてもよい。
測定ナビゲータ・モジュール１９０２はまた、トランザクション記録を記憶するインタフェースを備えてもよい。トランザクション記録は、領域識別子、強調選択、データ・セット識別子、参照データ・セットの一部、強調されたサブセットの一部、変更された処理パラメータ、および／またはトランザクションの他の適切な要素を含んでもよい。トランザクション記録は、図２に関連して説明されたデータベース管理コンポーネント２１６などのシステムのコンポーネントによる送信および／または記憶のために、トランザクション記録データベース１９０８内に記憶され、または提供されてもよい。いくつかの実施形態では、トランザクション記録は、データ・セット、領域、強調または他のパラメータの記述を含む強調動作の態様を記録するブックマークを含む。このブックマークは、取り出されて、以前の状態を回復させ、以前のデータ・セット、領域選択、強調および／またはパラメータを後続のデータ・セットに適用するように用いられ得る。このブックマークは、図３乃至６に関連して上述されているように、索引付けのためのラベルとしての役割を果たしてもよく、またはそのようなラベルを含んでもよい。
図２０は、マルチモダリティ処理システム１００のいくつかの実施形態によるデータ・ナビゲーションおよび強調のための例示としてのユーザ・インタフェース２０００の図である。このユーザ・インタフェース２０００は、単一のユーザ・ディスプレイまたは複数のディスプレイに提示されてもよい。ユーザ・インタフェース２０００は、マルチモダリティ処理システムにより、具体的には、このシステムの測定ナビゲータ・モジュール１９０２により提示された情報を表示する有効な一構成を示す。当業者は、代替の構成が検討されて提供されることを認識するであろう。
インタフェース２０００は、異なるディスプレイ装置、異なる時点での単一の物理的ディスプレイ装置、単一のディスプレイ装置における単一の表示環境の異なる部分（ディスプレイ“デスクトップ”の“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて）、ならびに／または異なる物理的ディスプレイ（すなわち、異なるモニタ）に対応してもよい第１のデータ表示ウィンドウ２００２および第２のデータ表示ウィンドウ２００４を含んでもよい。図示した実施形態では、第１のデータ表示ウィンドウ２００２は、デスクトップの第１のウィンドウに参照データ・セットを提示し、第２のデータ表示ウィンドウ２００４は、デスクトップの第２のウィンドウに参照データ・セットの強調されたサブセットを提示する。図示した実施形態では、強調されたサブセットは一軸ズーム手続きを行った。換言すれば、強調されたサブセットは、第２の軸（圧力軸）から独立した第１の軸（時間軸）に沿ってスケール変更された。
いくつかの実施形態では、第１のデータ表示ウィンドウ２００２および第２のデータ表示ウィンドウ２００４のうち１つ又は複数は、ブックマーク・アイコン２００６、サブセット境界アイコン２００８および２０１０ならびに他の注釈を含む。境界アイコン２００８および２０１０は、軸（図示した実施形態においては、時間軸）に沿ってサブセットの外側の境界にマーク付けしてもよい。いくつかの実施形態では、サブセットは、サブセットの内部または外部の領域をシェーディングすることにより特定される。
インタフェース２０００はまた、データの参照セットおよび／または強調されたサブセットからの値などの医療データを表示する１つまたは複数の補助表示領域２０１２を含んでもよい。いくつかの実施形態では、インタフェース２０００はツールバー２０１４を含む。そのような種々の実施形態では、ツールバー２０１４は、マルチモダリティ処理システムのためのコマンドを選択するように用いられる。例示としてのコマンドは、強調するサブセットの選択、実行する強調の選択、ならびにデータ記憶およびロード・コマンドを含む。このインタフェースはまた、マルチモダリティ処理システムに送信するコマンドを迅速に選択するための複数のコマンド要素２０１６を含んでもよい。ツールバーから選択されてもよい任意のコマンドは、コマンド要素２０１６を用いる選択に適切である。その点で、例示としての実施形態では、インタフェース２０００は、サブセットの境界を調整し、ブックマーク、ラベル・データ値、ならびに参照セットおよび／またはサブセットのズームインまたはズームアウトを設定して回復するように構成されたコマンド要素２０１６を含む。
図２１は、本開示のいくつかの実施形態によるマルチモダリティ処理システム内で医療データのセットをナビゲートおよび強調する方法２１００のフロー図である。方法２１００のステップの前、中および後に追加のステップが提供され得、示されているステップのいくつかは、この方法の他の実施形態では置き換えられ得るまたは取り除かれ得ることが理解される。
ブロック２１０２では、医療データの参照セットがマルチモダリティ処理システム１００により受信される。医療データの参照セットは任意の適切な医療データであってもよい。たとえば、医療データは、モダリティ取得コンポーネントにより提供された未処理の医療データ、ワークフロー・コンポーネントにより提供された処理済みの医療データ、および／または複数のモダリティに対応しかつマルチモダリティ・コンポーネントにより提供された集合データを含んでもよい。いくつかの実施形態では、医療データに対応する識別子は、医療データ自体を受信することに追加してまたはそれに代えて受信される。医療データの識別子は、医療データの一部または全部を含んでもよく、および／または、システムのどこかに位置するまたはネットワークにおいて配信されたデータに対するポインタを含んでもよい。ブロック２００４では、医療データの参照セットがディスプレイ装置に表示されてもよい。
ブロック２１０６では、ナビゲーション・コマンドが受信される。ナビゲーション・コマンドは、強調するサブセットを規定してもよく、実行する強調を選択してもよく、ブックマークを設定して回復させてもよく、ラベルを付与してもよく、および他の適切なナビゲーション・タスクを実行してもよい。いくつかの例示としての実施形態では、測定ナビゲータ・モジュール１９０２に組み込まれて、および／または、それと通信するジェスチャ認識モジュール（たとえば、図１２のジェスチャ認識モジュール１２０２）は、ユーザ入力装置１９１２からタッチベースの入力シーケンスを受信する。例示としてのタッチベースの入力シーケンスは、第１の位置での第１のタッチおよび同時の第２の位置での第２のタッチを示す。ジェスチャ認識モジュールは、第１のタッチ位置と第２のタッチ位置との間の領域に対応するサブセットへの一軸ズームを実行するよう、入力シーケンスをコマンドに翻訳する。したがって、ナビゲーション・コマンドは、第１のタッチ位置に対応する第１の境界および第２のタッチ位置に対応する第２の境界を有するサブセットのための領域を指定する。ジェスチャ認識モジュールは、測定ナビゲータ・モジュール１９０２に翻訳されたコマンドを提供する。一軸ズームが実施例として提供されている一方、任意の種類のデータの強調が、本方法を用いて実施されてもよい。
ブロック２１０８では、医療データの参照セットの表示は、受信されたナビゲーション・コマンドに基づいて更新されてもよい。たとえば、この表示は、ラベル、ブックマーク、選択されたサブセットの境界および他の対象点を示すアイコンを含むように更新されてもよい。いくつかの実施形態では、この表示は、選択されたサブセットの内部または外部のデータを示すシェーディングを含むように更新される。
ブロック２１１０では、実行される強調が特定されてもよい。強調は、１つまたは複数のナビゲーション・コマンドおよび／または、データの参照セットに基づいてもよい。ブロック２１１２では、強調されるデータの参照セットのサブセットが特定される。強調と同様に、サブセットは、１つまたは複数のナビゲーション・コマンドおよび／またはデータの参照セットに依存してもよい。データのサブセットは、参照セットの一部または全部を含んでもよく、また、参照データ・セットに追加してまたはその代替として代替のデータ・セットを含んでもよい。そのような実施形態では、サブセットに含まれるデータ・セットは、異なるモダリティ、異なる時間の単一のモダリティ、異なる動作モードにおける単一のモダリティ、ならびにモダリティおよび動作条件の他の組み合わせに対応してもよい。いくつかの実施形態では、強調は、複数の異なるモダリティに対応するデータのコレジストレーションを含む。異なるモダリティにおけるコレジストレーションについては、「ＶＡＳＣＵＬＡＲ ＩＭＡＧＥ ＣＯ−ＲＥＧＩＳＴＲＡＴＩＯＮ」という名称で２０１１年４月１９日に発行された米国特許第７，９３０、０１４号明細書、および「ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯ−ＲＥＧＩＳＴＲＡＴＩＯＮ ＦＯＲ ＩＮＴＲＡＶＡＳＣＵＬＡＲ ＤＩＡＧＮＯＳＩＳ ＡＮＤ ＴＨＥＲＡＰＹ」という名称で２００６年６月２３日に発行された米国特許出願公開第２００７／００３８０６１号明細書にさらに詳細に開示されていて、これらの教示は、全体として参照することにより本明細書に援用される。いくつかの実施形態では、本方法は、サブセットを構成するようにデータ・セットを直接的にまたは間接的に組み合わせることを含む。同様に、いくつかの実施形態では、本方法は、サブセットの一部を選択することを含む。そのような一実施形態では、本方法は、選択された領域の外部のデータを選択することを含む。
ブロック２１１４では、強調が、システム１００によりデータ・セットのサブセットに関して実行される。種々の実施形態では、強調は、１つまたは複数のナビゲーション・コマンドおよび／またはデータの参照セットにより決定される。適切な強調は、ズーミング、輝度調整、不透明度調整、カラー・マスク調整、解像度増減、再サンプリング、補間、ゲイン調整、ならびに距離、面積、体積および変化率の測定を含む測定を含むが、それらに限定されない。強調はまた、図３乃至６に関連して説明されたラベル付けなどの、医療データの一部のラベル付けまたは注釈付けを含んでもよい。他の強調が、検討されて提供される。さらなる実施例としては、いくつかの実施形態では、強調は一軸ズームを含み、データのサブセットは、第２の軸から独立して、第１の軸に沿ってサイズ変更される。
ブロック２１１６では、強調されたデータのサブセットが表示される。参照データおよび強調されたサブセットは、異なるユーザ・ディスプレイ装置（たとえば、第１のユーザ・ディスプレイ装置および第２のユーザ・ディスプレイ装置）に表示されてもよい。いくつかの実施形態では、これらのディスプレイ装置は、異なる時点での単一の物理的ディスプレイ装置に対応する。したがって、参照データ・セットは、第１の時点でモニタに表示されてもよく、強調されたサブセットは、後にモニタに表示されてもよい。いくつかの実施形態では、これらのディスプレイ装置は、単一のディスプレイ装置における単一の表示環境の一部に対応する（ディスプレイ“デスクトップ”の“ウィンドウ”またはディスプレイ・ワークスペースの領域などの表現を用いて）。いくつかの実施形態では、第１および第２のディスプレイ装置は、第１および第２の物理的ディスプレイ（たとえば、第１および第２のモニタのそれぞれ）に対応する。
ブロック２１１８では、強調のトランザクション記録が記憶される。種々の実施形態では、この記録は、領域識別子、強調選択、データ・セット識別子、参照データ・セットの一部、強調されたサブセットの一部、変更された処理パラメータおよび／またはトランザクションの他の適切な要素を含む。いくつかの実施形態では、記憶することは、遠隔の記憶装置のためのシステム・インタフェースでトランザクション記録を提供することを含む。トランザクション記録は、データ・セット、領域、強調または他のパラメータの記述を含む強調操作の態様を記録するブックマークを含んでもよい。このブックマークは、取り出されて、以前の状態を回復しかつ後続のデータ・セットに以前のデータ・セット、領域選択、強調および／またはパラメータを適用するように用いられ得る。このブックマークは、図３乃至６に関連して上述された索引付けのためのラベルとしての役割を果たしてもよく、またはそのようなラベルを含んでもよい。
例示としての実施形態について示されて、説明され、広範囲の修正、変更および置き換えが上述の開示およびいくつかの実施例で検討されたが、本開示のいくつかの態様は、他の態様の対応する使用なしで、採用されてもよい。さらに、上述のように、マルチモダリティ処理システムに関連して上述されたコンポーネントおよび拡張部は、ハードウェア、ソフトウェアまたはそれら両方の組み合わせで実施されてもよい。処理システムは任意の特定のアーキテクチャを動作させるように設計されてもよい。たとえば、このシステムは、単一のコンピュータ、ローカル・エリア・ネットワーク、クライアント・サーバ・ネットワーク、ワイド・エリア・ネットワーク、インターネット、携帯および他の可搬型および無線装置ならびにネットワークにおいて実行されてもよい。そのような変形は、本開示の範囲から逸脱することなく、上述において実行されてもよいことが理解される。したがって、本開示の特許請求の範囲は、広くかつ本明細書の範囲と整合するとして解釈されることが適切である。
本発明は一側面において以下の発明を包含する。
（発明１）
医療処理システムにおいて医療データを強調する方法であって、
前記医療処理システムにより医療データの参照セットを受信する段階、
強調される領域に対応する領域識別子を受信する段階、
強調選択を受信する段階、
前記受信された領域識別子および前記受信された強調選択に基づいてデータの目標セットを特定する段階、
前記医療処理システムにより、前記データの目標セットに関する前記強調選択に対応する強調を実行する段階、および
ユーザに対して前記強調された目標セットを表示する段階
を備える方法。
（発明２）
第１のユーザ・ディスプレイに前記医療データの参照セットを表示する段階
をさらに備え、
前記強調された目標セットを表示する段階は、第２のユーザ・ディスプレイに前記データの強調された目標セットを表示する段階を含み、前記第２のユーザ・ディスプレイは前記第１のユーザ・ディスプレイとは異なる、
発明１に記載の方法。
（発明３）
前記医療データの参照セットは第１のモダリティに対応し、
前記データの目標セットは第２のモダリティに対応するデータを含み、前記第２のモダリティは前記第１のモダリティとは異なる、
発明１に記載の方法。
（発明４）
前記強調を前記実行する段階は、ズーミング、解像度の増加、解像度の減少、再サンプリング、距離の測定、面積の測定、体積の測定および前記データの目標セットの変化率の測定の少なくとも一を含む、発明１に記載の方法。
（発明５）
前記強調を前記実行する段階は、
前記領域識別子および前記強調選択の少なくとも一に基づいて処理パラメータの変更を決定する段階、および
前記処理パラメータに前記変更を適用する段階
を備える、発明１に記載の方法。
（発明６）
前記領域識別子を前記受信する段階は、ユーザ入力装置から領域識別子入力を受信する段階を含む、発明１に記載の方法。
（発明７）
前記領域識別子を前記受信する段階は、前記医療処理システムのワークフロー・コンポーネントから前記領域識別子を受信する段階を含み、
前記領域識別子は、前記医療データの参照セットにおける対象点に注目するように構成される、
発明１に記載の方法。
（発明８）
前記強調選択を受信する段階は、ユーザ入力装置から強調選択入力を受信する段階を含む、発明１に記載の方法。
（発明９）
医療処理システムにおけるデータ測定の方法であって、
前記医療処理システムにより医療データの参照セットを受信する段階、
前記医療データの参照セットに関連する位置マーカを受信する段階、
測定選択を受信する段階、
前記受信された医療データの参照セット、前記位置マーカおよび前記測定選択に基づいてデータの目標セットを特定する段階、
前記医療処理システムにより、測定値を決定するように前記データの目標セットに関する前記測定選択に対応する測定操作を実行する段階、および
ユーザに対して前記医療データの目標セットおよび前記測定値を表示する段階
を備える方法。
（発明１０）
前記医療データの参照セットは第１のモダリティに対応し、
前記データの目標セットは第２のモダリティに対応するデータを含み、前記第２のモダリティは前記第１のモダリティとは異なる、
発明９に記載の方法。
（発明１１）
前記測定操作を前記実行する段階は、距離測定、面積測定、体積測定、変化率測定およびピンポイント測定の少なくとも一を含む、発明９に記載の方法。
（発明１２）
前記測定を前記実行する段階は、複数のモダリティにわたって相互参照データをさらに含む、発明１１に記載の方法。
（発明１３）
前記測定を前記実行する段階は、変換係数を受信する段階と、前記測定値を決定するように前記変換係数を用いる段階とを含む、発明９に記載の方法。
（発明１４）
前記位置マーカを前記受信する段階は、ユーザ入力装置から前記位置マーカを受信する、発明９に記載の方法。
（発明１５）
前記位置マーカを前記受信する段階は、
ユーザ入力装置からユーザ入力を受信する段階と、
前記医療処理システムのモジュールから対象点を受信する段階と、
前記ユーザ入力および前記対象点に基づいて前記位置マーカを決定する段階と
を含む、発明９に記載の方法。
（発明１６）
少なくとも１つのコンピュータ・プロセッサが実行する複数の命令を記憶する非一時的コンピュータ可読媒体を備える装置であって、前記命令は、
第１のユーザ・ディスプレイで医療データの参照セットを表示し、
前記医療データの参照セットの一部の強調のためのユーザ入力を受信し、
前記受信されたユーザ入力に基づいてデータの目標セットを決定し、
前記受信されたユーザ入力に基づいて前記目標セットの一部を強調し、
第２のユーザ・ディスプレイで前記強調されたデータの目標セットを表示する
ためのものである、装置。
（発明１７）
前記医療データの参照セットは第１のモダリティに対応し、
前記データの目標セットは第２のモダリティに対応するデータを含み、前記第２のモダリティは前記第１のモダリティとは異なる、
発明１６に記載の装置。
（発明１８）
前記媒体は、前記データの目標セットの強調された一部のトランザクション記録を記憶するための命令をさらに記憶する、発明１６に記載の装置。
（発明１９）
前記媒体は、前記コンピュータ・プロセッサの以前の状態を回復させるように前記トランザクション記録を用いるための命令をさらに記憶する、発明１８に記載の装置。
（発明２０）
前記媒体は、
前記受信されたユーザ入力に基づいて後続のデータ・セットを捕捉し、
前記データの目標セットに前記後続のデータ・セットを含める
ための命令をさらに記憶する、発明１６に記載の装置。
（発明２１）
前記媒体は、前記データの目標セットからデータを選択するための命令をさらに記憶する、発明１６に記載の装置。
（発明２２）
前記データの目標セットからデータを選択するための前記命令は、前記受信されたユーザ入力に対応する対象の領域の外部のデータを選択するように構成された、発明２１に記載の装置。
（発明２３）
前記媒体は、領域識別子フォーマットからデータ・フォーマットに前記ユーザ入力を変換するための命令をさらに記憶する、発明１６に記載の装置。
（発明２４）
前記ユーザ入力を変換するための前記命令は、スケール変換、座標変換および形状変換のうちの少なくとも一を実行するための命令を含む、発明２３に記載の装置。
（発明２５）
医療処理システムにおいて医療データをナビゲートする方法であって、
前記医療処理システムにより医療データの参照セットを受信する段階であって、前記医療データは、ＦＦＲ、ｉＦＲ、圧力、流れ、ＩＶＵＳおよびＯＣＴから成るモダリティの群から選択された第１のモダリティに対応する、段階、
前記医療処理システムによりナビゲーション・コマンドを受信する段階、
前記ナビゲーション・コマンドに基づいて実行する強調を特定する段階、
前記ナビゲーション・コマンドに基づいて前記医療データの参照セットのサブセットを特定する段階、
前記医療処理システムにより前記サブセットの前記強調を実行する段階、ならびに
前記強調されたサブセットを表示する段階
を備える方法。
（発明２６）
前記ナビゲーション・コマンドは、第２のモダリティに対応する医療データの追加のセットを指定し、前記第２のモダリティは前記第１のモダリティとは異なる、発明２５に記載の方法。
（発明２７）
前記ナビゲーション・コマンドを前記受信する段階は、
前記医療処理システムのジェスチャ認識モジュールによりユーザ入力シーケンスを受信する段階と、
前記ユーザ入力シーケンスを前記ナビゲーション・コマンドに翻訳する段階と
を含む、発明２５に記載の方法。
（発明２８）
前記ユーザ入力シーケンスは、第２のタッチベースの入力と同時の第１のタッチベースの入力を示す、発明２７に記載の方法。
（発明２９）
前記ナビゲーション・コマンドは、前記第１のタッチベースの入力に対応するサブセットに対する第１の境界と前記第２のタッチベースの入力に対応するサブセットに対する第２の境界とを指定する、発明２８に記載の方法。
（発明３０）
ディスプレイ装置に医療データの参照セットを表示する段階、および
ナビゲーション・コマンドに基づいて前記ディスプレイ装置に前記医療データの参照セットを前記表示することを更新する段階
をさらに備える、発明１に記載の方法。
（発明３１）
前記表示することを前記更新する段階は、サブセットの境界を表示する段階を含む、発明３０に記載の方法。
（発明３２）
前記表示することを前記更新する段階は、ブックマーク位置を表すアイコンを表示する段階を含む、発明３０に記載の方法。
（発明３３）
前記強調されたサブセットのトランザクション記録を記憶する段階をさらに備える、発明２５に記載の方法。
（発明３４）
前記トランザクション記録は、以前の状態を回復させて、医療データの後続のセットに以前のデータ・セット、領域選択、強調およびパラメータのうち１つを適用するように構成されたブックマークを含む、発明３３に記載の方法。
（発明３５）
前記強調を前記実行する段階は、前記サブセットに関する一軸ズームを実行する段階を含む、発明２５に記載の方法。
（発明３６）
少なくとも１つのコンピュータ・プロセッサが実行する複数の命令を記憶する非一時的コンピュータ可読記憶媒体を備える装置であって、前記命令は、
ＦＦＲ、ｉＦＲ、圧力、流れ、ＩＶＵＳおよびＯＣＴから成るモダリティの群から選択された第１のモダリティに対応する医療データの参照セットを受信し、
ナビゲーション・コマンドを受信し、
前記ナビゲーション・コマンドにより指定された前記参照セットのサブセットに関する強調を実行し、
表示のために前記強調されたサブセットを提供する
ためのものである、装置。
（発明３７）
前記ナビゲーション・コマンドは、第２のモダリティに対応する医療データの追加のセットを指定し、前記第２のモダリティは前記第１のモダリティとは異なる、発明３６に記載の装置。
（発明３８）
前記ナビゲーション・コマンドの前記受信のための前記命令は、
第２のタッチベースの入力と同時の第１のタッチベースの入力を示すユーザ入力シーケンスを受信し、
前記ユーザ入力シーケンスを前記ナビゲーション・コマンドに翻訳し、前記ナビゲーション・コマンドは、前記第１のタッチベースの入力に対応するサブセットに対する第１の境界と前記第２のタッチベースの入力に対応するサブセットに対する第２の境界とを指定する
ための命令を含む、発明３６に記載の装置。
（発明３９）
前記命令は、前記ナビゲーション・コマンドに基づいて前記参照セットの表示のための更新を提供する命令をさらに含む、発明３６に記載の装置。
（発明４０）
前記表示の前記更新は、前記サブセットの境界の表現を含む、発明３９に記載の装置。
（発明４１）
前記表示の前記更新は、ブックマーク位置を表すアイコンを含む、発明３９に記載の装置。
（発明４２）
前記命令は、前記強調の前記実行のトランザクション記録を記憶することをさらに含み、前記トランザクション記録は、以前の状態を回復させて、媒体データの後続のセットに、以前のデータ・セット、領域選択、強調およびパラメータのうち１つ又は複数を適用するように構成されたブックマークを含む、発明３６に記載の装置。
（発明４３）
前記強調を実行する命令は、前記サブセットに一軸ズームを実行する命令を含む、発明３６に記載の装置。
（発明４４）
医療データの参照セットを受信するように構成された医療データ・インタフェースであって、前記医療データは、ＦＦＲ、ｉＦＲ、圧力、流れ、ＩＶＵＳおよびＯＣＴから成るモダリティの群から選択された第１のモダリティに対応する、医療データ・インタフェースと、
コントローラからナビゲーション・コマンドを受信し、
前記ナビゲーション・コマンドに基づいて実行する強調を特定し、
前記ナビゲーション・コマンドに基づいて強調する前記医療データの参照セットのサブセットを特定し、
前記特定されたサブセットに前記特定された強調を実行し、
表示のために前記強調されたサブセットを提供する
ように構成されたナビゲータ・エンジンと
を備えた医療処理システム。
（発明４５）
前記ナビゲーション・コマンドは、第２のモダリティに対応する医療データの追加のセットを指定し、前記第２のモダリティは前記第１のモダリティとは異なる、発明４４に記載のシステム。
（発明４６）
第２のタッチベースの入力と同時の第１のタッチベースの入力を示すユーザ入力シーケンスを受信し、
前記第１のタッチベースの入力に対応する第１の境界と前記第２のタッチベースの入力に対応する第２の境界とを有する前記サブセットのための領域を指定するナビゲーション・コマンドに前記ユーザ入力シーケンスを翻訳する
ように構成されたジェスチャ認識モジュールをさらに備える、発明４４に記載のシステム。
（発明４７）
前記ナビゲータ・エンジンは、前記ナビゲーション・コマンドに基づいて前記医療データの参照セットの表示のための更新を提供するようにさらに構成される、発明４４に記載のシステム。
（発明４８）
前記更新は前記サブセットの境界の提示を含む、発明４７に記載のシステム。
（発明４９）
前記更新はブックマーク位置を表すアイコンを含む、発明４７に記載のシステム。
（発明５０）
電子データベースをさらに備え、前記ナビゲータ・エンジンは、前記電子データベースに特定された強調のトランザクション記録を記憶するようにさらに構成された、発明４４に記載のシステム。
（発明５１）
前記トランザクション記録は、以前の状態を回復させて、媒体データの後続のセットに、以前のデータ・セット、領域選択、強調およびパラメータのうち１つ又は複数を適用するように構成されたブックマークを含む、発明５０に記載のシステム。
（発明５２）
前記ナビゲータ・エンジンは、前記サブセットに一軸ズームを実行するようにさらに構成される、発明４４に記載のシステム。
（発明５３）
医療処理システムでユーザ入力を解釈する方法であって、
前記医療処理システムの操作モードに対応する状態指示子を受信する段階であって、前記操作モードは、ＩＶＵＳ、ＯＣＴ、圧力および流れから成るモダリティの群から選択されるモダリティを表す値を含む、段階、
前記受信された状態指示子に基づいて複数のアクティブ・コマンドのリストを生成する段階、
１つまたは複数のユーザ入力装置からユーザ入力シーケンスを受信する段階、
前記医療処理システムにより、前記複数のアクティブ・コマンドのリストの内のコマンドに前記ユーザ入力シーケンスを相互に関係付ける段階、ならびに
前記医療処理システムのコンポーネントの操作を制御する前記コマンドを使用する段階
を備える方法。
（発明５４）
前記複数のアクティブ・コマンドのリストは、診療測定に関連する複数のコマンドを含む、発明５３に記載の方法。
（発明５５）
前記診療測定は、長さ、面積および体積から成る群から選択される１つまたは複数の測定を含む、発明５４に記載の方法。
（発明５６）
前記診療測定は、血流予備量比および冠血流予備能から成る群から選択される１つまたは複数の測定を含む、発明５４に記載の方法。
（発明５７）
前記複数のアクティブ・コマンドのリストは、複数のモダリティに共通のコマンドのサブセットを含む、発明５３に記載の方法。
（発明５８）
前記医療処理システムの前記コンポーネントの前記操作を制御する前記コマンドの前記使用の前にユーザ・ディスプレイ装置に前記コマンドの視覚表現を表示する段階をさらに備える、発明５３に記載の方法。
（発明５９）
前記医療処理システムの前記コンポーネントの前記操作を制御する前記コマンドの前記使用の前に前記ユーザ入力装置から前記表示されたコマンドの確認を受信する段階をさらに備える、発明５８に記載の方法。
（発明６０）
前記複数のアクティブ・コマンドのリストを前記生成する段階は、前記受信された状態指示子に基づいて電子データベースに問い合わせする段階を含む、発明５３に記載の方法。
（発明６１）
前記ユーザ入力シーケンスの要素に基づいて前記コマンドのパラメータを決定する段階をさらに備える、発明５３に記載の方法。
（発明６２）
医療処理システムを制御する方法であって、
ユーザ・ディスプレイ装置に医療データを表示する段階であって、前記医療データは前記医療処理システムのアクティブ・モダリティに対応し、前記アクティブ・モダリティは前記医療処理システムの複数のモダリティから選択される、段階、
前記アクティブ・モダリティに基づいてアクティブ・コマンドのリストを決定する段階、
前記医療処理システムにより、１つまたは複数のユーザ・ディスプレイ装置からユーザ入力シーケンスを受信する段階であって、前記ユーザ入力シーケンスは前記表示された医療データに応答してユーザにより提供される、段階、
前記アクティブ・コマンドのリストから選択されたコマンドに前記ユーザ入力シーケンスを適合させる段階、および
前記医療処理システムのコンポーネントの操作を制御する前記選択されたコマンドを使用する段階
を備える方法。
（発明６３）
前記アクティブ・コマンドのリストは、前記複数のモダリティの少なくとも２つのモダリティに共通のコマンドのサブセットを含む、発明６２に記載の方法。
（発明６４）
前記医療処理システムのコンポーネントの操作を制御する前記選択されたコマンドを前記使用する段階の前に、前記ユーザ・ディスプレイ装置に前記選択されたコマンドの視覚表現を表示する段階をさらに備える、発明６２に記載の方法。
（発明６５）
前記アクティブ・コマンドのリストを前記決定する段階は電子データベースに問い合わせる段階を含む、発明６２に記載の方法。
（発明６６）
前記選択されたコマンドは測定コマンドである、発明６２に記載の方法。
（発明６７）
前記測定コマンドは、長さ、面積および体積から成る群から選択される１つまたは複数の測定に対応する、発明６６に記載の方法。
（発明６８）
前記測定コマンドは、血流予備量比および冠血流予備能から成る群から選択される１つまたは複数の測定に対応する、発明６６に記載の方法。
（発明６９）
少なくとも１つのコンピュータ・プロセッサが実行する複数の命令を記憶する非一時的コンピュータ可読記憶媒体を備える装置であって、前記命令は、
医療処理システムの操作モードを決定し、前記操作モードは前記医療処理システムのモダリティに対応し、
前記操作モードに基づいてアクティブ・コマンドのリストを生成し、
１つまたは複数のユーザ入力装置からユーザ入力シーケンスを受信し、
前記アクティブ・コマンドのリストのコマンドに前記ユーザ入力シーケンスを相互に関係付け、
前記医療処理システムの挙動を制御するコマンドを用いる
ためのものである、装置。
（発明７０）
前記モダリティは、ＩＶＵＳ、ＯＣＴ、圧力および流れから成る群から選択される、発明６９に記載の装置。
（発明７１）
前記アクティブ・コマンドのリストは、前記医療処理システムの少なくとも２つのモダリティに共通のコマンドのサブセットを含む、発明６９に記載の装置。
（発明７２）
前記命令は、前記医療処理システムの前記挙動を制御する前記コマンドを用いる前に、ユーザ・ディスプレイ装置に前記コマンドの視覚表現を表示する命令をさらに含む、発明６９に記載の装置。
（発明７３）
前記アクティブ・コマンドのリストを生成するための命令は、電子データベースに問い合わせする命令を含む、発明６９に記載の装置。
（発明７４）
前記命令は、前記ユーザ入力シーケンスの要素に基づいて前記コマンドのパラメータを指定する命令をさらに含む、発明６９に記載の装置。
（発明７５）
前記コマンドは測定コマンドである、発明６９に記載の装置。
（発明７６）
前記測定コマンドは、長さ、面積および体積から成る群から選択される１つまたは複数の測定に対応する、発明７５に記載の装置。
（発明７７）
前記測定コマンドは、血流予備量比および冠血流予備能から成る群から選択される１つまたは複数の測定に対応する、発明７５に記載の装置。
（発明７８）
医療処理システムにおけるラベル付け方法であって、
前記医療処理システムによりラベル付けされる医療データを受信する段階、
ディスプレイ装置で前記医療データに対応する第１のラベルのセットを提示する段階、
インタフェース装置から、前記第１のラベルのセットからの第１のラベルの選択を受信する段階、
前記ディスプレイ装置で前記医療データに対応する第２のラベルのセットを提示する段階であって、前記第２のラベルのセットは前記第１のラベルに基づく、段階、
前記インタフェース装置から、前記第２のラベルのセットからの第２のラベルの選択を受信する段階、および
前記第１のラベルおよび前記第２のラベルに基づいて前記医療データをラベル付けする段階
を備える方法。
（発明７９）
再開コマンドが受信されるまで、前記ラベル付け方法を中断するコマンドを前記インタフェース装置から受信する段階、および
前記ラベル付け方法を再開するコマンドを前記インタフェース装置から受信する段階
をさらに備える、発明７８に記載の方法。
（発明８０）
前記第２のラベルのセットは、前記医療データに対応するモダリティにさらに基づく、発明７８に記載の方法。
（発明８１）
前記第２のラベルのセットは、手続きの操作可能なコース、患者識別、患者人口動態統計および患者の病歴の少なくとも一にさらに基づく、発明７８に記載の方法。
（発明８２）
前記ラベルの目標セットは、前記第２のラベルの前記選択を前記受信する段階の前に、前記第２のラベルのセットからの値を予め選択する段階を含む、発明７８に記載の方法。
（発明８３）
前記予め選択された値は、システム・デフォルト、ユーザ嗜好、手続きの操作可能なコース、患者識別、患者人口動態統計および患者の病歴の少なくとも一にさらに基づいて決定される、発明８２に記載の方法。
（発明８４）
前記第２のラベルの前記選択は前記予め選択された値を無効にする、発明８２に記載の方法。
（発明８５）
マルチモダリティ医療処理システムにおける索引付け方法であって、
前記マルチモダリティ医療処理システムによりモダリティに対応する医療データを受信する段階、
前記モダリティに基づいてラベルのセットをポピュレートする段階、
ユーザに対して前記ラベルのセットを提示する段階、
前記提示されたラベルのセットに基づいてユーザ入力を受信する段階、
前記受信されたユーザ入力に基づいて前記医療データにラベルを割り当てる段階、および
前記割り当てられたラベルに基づいて前記ラベル付けされた医療データが索引付されるように、前記ラベル付けされた医療データを記憶する段階
を備える方法。
（発明８６）
前記ラベルのセットは、前記マルチモダリティ医療処理システムにより受信された追加の医療データに基づいてさらにポピュレートされる、発明８５に記載の方法。
（発明８７）
前記モダリティは第１のモダリティであり、
前記追加の医療データは第２のモダリティに対応し、
前記第２のモダリティは前記第１のモダリティとは異なる
発明８６に記載の方法。
（発明８８）
前記ラベルのセットは、手続きの操作可能なコース、患者識別、患者人口動態統計および患者の病歴の少なくとも一に基づいてさらにポピュレートされる、発明８５に記載の方法。
（発明８９）
前記ユーザ入力は、前記ラベルのセット内に含まれる選択された値を指定する、発明８５に記載の方法。
（発明９０）
前記ユーザ入力は、前記ラベルのセット内に含まれない選択された値を指定する、発明８５に記載の方法。
（発明９１）
前記ラベルのセットの値は、前記ユーザ入力の前記受信する段階の前に予め選択される、発明８５に記載の方法。
（発明９２）
前記受信されたユーザ入力は、前記ラベルのセットからの前記予め選択された値を無効にする、発明９１に記載の方法。
（発明９３）
データ処理システムにおいてデータをラベル付けする方法であって、
前記データ処理システムによりラベル付けされる医療データを受信する段階、
第１のデータベースから手続き情報を取り出す段階、
第２のデータベースから前記医療データのためのラベルのセットを取り出す段階であって、前記ラベルのセットは前記手続き情報に基づく、段階、
ユーザ・ディスプレイでユーザに前記ラベルのセットを提示する段階、
ユーザ・インタフェースからの前記提示されたラベルのセットに基づいてユーザ入力を受信する段階、および
前記受信されたユーザ入力に基づいて前記医療データに最終的なラベルを割り当てる段階
を備える方法。
（発明９４）
前記ラベルのセットは、医療データの以前のセットに適用された以前のラベルにさらに基づく、発明９３に記載の方法。
（発明９５）
前記ラベルのセットは、前記医療データのために選択された以前のラベルにさらに基づく、発明９３に記載の方法。
（発明９６）
前記ユーザ入力は、前記ラベルのセット内に含まれる選択された値を含む、発明９３に記載の方法。
（発明９７）
前記ユーザ入力は、前記ラベルのセット内に含まれない選択された値を含む、発明９３に記載の方法。
（発明９８）
前記ラベルのセットを提示する段階は、前記ユーザ入力の前記受信する段階の前に、前記ラベルのセットから値を予め選択する段階を含む、発明９３に記載の方法。
（発明９９）
前記受信されたユーザ入力は、前記ラベルのセットからの前記予め選択された値を無効にする、発明９８に記載の方法。
１００ 医療システム
１０１ マルチモダリティ処理システム
１０２ カテーテル研究室
１０４ 管理室
１０６ 患者
１０８ カテーテル
１１０ カテーテル
１１６ 心電装置
１１２ ＩＶＵＳ
１１４ ＯＣＴ ＰＩＭ
１１７ 血管造影システム
１１８ ベッドサイド・コントローラ
１２０ メイン・コントローラ
１２２ ブーム・ディスプレイ
１２５ ネットワーク
１３０ ネットワーク・コンソール
２００ 処理フレームワーク
２０２ システム・コントローラ
２０４ ワークフロー・コントローラ・コンポーネント
２０６ イベント・ロギング・コンポーネント
２０８ リソース・アービタ・コンポーネント
２１０ メッセージ配信コンポーネント
２１２ セキュリティ・コンポーネント
２１４ ＭＭＣＭワークフロー・コンポーネント
２１６ データベース管理コンポーネント
２２０ ＩＶＵＳ取得コンポーネント
２２２ ＩＶＵＳワークフロー・コンポーネント
２２４ モダリティ“Ｎ”取得コンポーネント
２２６ モダリティ“Ｎ”ワークフロー・コンポーネント
２２８ モダリティ“Ｎ”ＰＩＭ
２３０ コレジストレーション・インタフェース・コンポーネント
２３２ コレジストレーション・ワークフロー・コンポーネント
２３４ データ収集ツール
２４０ ＵＩフレームワーク・サービス
２４２ ＵＩフレームワーク・サービス
２４４ システムＵＩ拡張部
２４６ ＩＶＵＳ ＵＩ拡張部
２４８ ＩＶＵＳ ＵＩ拡張部
２５０ モダリティ“Ｎ”ＵＩ拡張部
２５２ モダリティ“Ｎ”ＵＩ拡張部
２５４ ネットワーク
２５６ メッセージ配信コンポーネント
２６０ 遠隔アクセス・コンポーネント
２６２ 遠隔アクセス・ワークフロー・コンポーネント
２６４ レガシー制御コンポーネント
２６６ レガシー制御ワークフロー・コンポーネント
２６８ レガシー・コンソール
３００ ユーザ・インタフェース・コンポーネント３００
３０２ ラベル・ビルダ・モジュール
３０４ コントローラ
３０６ ラベル・ビルダ・エンジン
３０８ 医療データ・インタフェース
３１０ ラベル・セット・データベース
３１２ 手続きデータベース
３１４ ユーザ入力装置
３１６ ユーザ・ディスプレイ装置
７０２ 測定ズーム・モジュール
７０４ コントローラ
７０６ 測定ズーム・エンジン
７０８ トランザクション記録
７１０ モダリティ・フィードバック・インタフェース
７１２ 医療データ・インタフェース
７１４ ユーザ入力装置
７１６ 第１のユーザ・ディスプレイ装置
７１８ 第２のユーザ・ディスプレイ装置
１２０２ ジェスチャ認識モジュール
１２０４ ジェスチャ認識エンジン
１２０６ ジェスチャ・データベース
１２０８ モジュール・インタフェース
１２１０ コントローラ
１２１２ ユーザ入力装置
１２１４ ユーザ・ディスプレイ装置
１９０２ 測定ナビゲータ・モジュール
１９０４ ナビゲータ・エンジン
１９０６ 医療データ・インターフェース
１９０８ トランザクション記録
１９１０ コントローラ
１９１２ ユーザ入力装置
１９１４ ユーザ・ディスプレイ装置

Claims (21)

  1. 血管内データを強調するための医療処理システムの作動方法であって、
    前記医療処理システムの医療データインタフェースを介して、患者の血管に関連する血管内データの参照セットを受信する段階であって、前記血管内データの参照セットは血管の内部に位置されていて前記医療処理システムと通信する血管内デバイスによって得られたものであり、前記血管内デバイスは血管内超音波法（IVUS）トランスデューサを含む、段階、
    前記医療処理システムのフィードバック・インタフェースを介して、強調される血管の領域に対応する領域識別子を受信する段階であって、前記血管の領域は血管内特徴を含む、段階、
    前記フィードバック・インタフェースを介して強調選択を受信する段階、
    前記医療処理システムのプロセッサが、前記受信された領域識別子および前記受信された強調選択に基づいて前記血管内データの参照セットから血管内データの目標セットを特定する段階であって、前記血管内データの目標セットは前記血管内特徴を含む、段階、
    前記プロセッサが、前記血管内データの目標セットに関する前記強調選択に対応する強調を実行する段階であって、前記強調は、ズーミング、解像度の増加、解像度の減少、再サンプリング、距離の測定、面積の測定、体積の測定または前記血管内データの目標セットの変化率の測定の少なくとも一を含み、前記強調は血管のIVUS画像における前記血管内特徴の見え方を視覚的に強調する、段階、
    前記プロセッサがディスプレイ装置を介して第１のユーザ・ディスプレイ領域においてユーザに対して前記血管内データの参照セットを表示する段階、および
    前記プロセッサがディスプレイ装置を介して前記血管内データの参照セットを表示するのと同時に、前記第１のユーザ・ディスプレイ領域に隣接する第２のユーザ・ディスプレイ領域においてユーザに対して血管内データの前記強調された目標セットを表示する段階
    を備え、
    前記血管内データの参照セットおよび血管内データの前記強調された目標セットはそれぞれ血管の前記IVUS画像の少なくとも一部を含む、
    方法。
  2. 前記第２のユーザ・ディスプレイ領域は前記第１のユーザ・ディスプレイ領域とは異なる、
    請求項１に記載の方法。
  3. 前記強調を前記実行する段階は、
    前記領域識別子または前記強調選択の少なくとも一に基づいて処理パラメータの変更を決定する段階、および
    前記処理パラメータに前記変更を適用する段階
    を備える、請求項１に記載の方法。
  4. 前記領域識別子を前記受信する段階は、ユーザ入力装置から領域識別子入力を受信する段階を含む、請求項１に記載の方法。
  5. 前記領域識別子を前記受信する段階は、前記医療処理システムのワークフロー・コンポーネントから前記領域識別子を受信する段階を含み、
    前記領域識別子は、前記血管内データの参照セットにおける対象点に注目を引くように構成される、
    請求項１に記載の方法。
  6. 前記強調選択を受信する段階は、ユーザ入力装置から強調選択入力を受信する段階を含む、請求項１に記載の方法。
  7. 血管内データ測定のための医療処理システムの作動方法であって、
    前記医療処理システムの医療データインタフェースを介して、患者の血管に関連する血管内データの参照セットを受信する段階であって、前記血管内データの参照セットは血管の内部に位置されていて前記医療処理システムと通信する血管内デバイスによって得られたものであり、前記血管内デバイスは血管内超音波法（IVUS）トランスデューサを含む、段階、
    前記医療処理システムのインタフェースを介して測定選択を受信する段階、
    前記医療処理システムのプロセッサが、前記受信された血管内データの参照セットおよび前記測定選択に基づいて血管内データの目標セットを特定する段階、
    前記プロセッサが、血管の内部の血管内特徴の測定値を決定するように前記血管内データの目標セットに関する前記測定選択に対応する測定操作を実行する段階、および
    前記プロセッサがディスプレイ装置を介して、ユーザに対して前記血管内データの目標セット、前記測定値および前記測定値に対応する前記血管内特徴の点を示すマーカを第１のユーザ・ディスプレイ領域において、前記血管内データの参照セットを第２のユーザ・ディスプレイ領域において同時に表示する段階であって、前記第１のユーザ・ディスプレイ領域は前記第２のユーザ・ディスプレイ領域に隣接する、段階
    を備え、
    前記血管内データの参照セットおよび血管内データの前記目標セットはそれぞれ血管の単一のIVUS画像の少なくとも一部を含む、
    る方法。
  8. 前記測定操作を前記実行する段階は、距離測定、面積測定、体積測定、変化率測定またはピンポイント測定の少なくとも一を含む、請求項７に記載の方法。
  9. 前記測定を前記実行する段階は、複数のモダリティにわたって相互参照データをさらに含む、請求項８に記載の方法。
  10. 前記測定を前記実行する段階は、変換係数を受信する段階と、前記測定値を決定するように前記変換係数を用いる段階とを含む、請求項７に記載の方法。
  11. ユーザ入力装置から位置マーカを受信する段階をさらに含む、請求項７に記載の方法。
  12. 前記位置マーカを前記受信する段階は、
    ユーザ入力装置からユーザ入力を受信する段階と、
    前記医療処理システムのモジュールから対象点を受信する段階と、
    前記ユーザ入力および前記対象点に基づいて前記位置マーカを決定する段階と
    を含む、請求項１１に記載の方法。
  13. 少なくとも１つのコンピュータ・プロセッサが実行する複数の命令を記憶する非一時的コンピュータ可読記憶媒体を備える装置であって、前記命令は、
    第１のユーザ・ディスプレイ領域において患者の血管に関連する血管内データの参照セットを表示する段階であって、前記血管内データの参照セットは血管の内部に位置されていて前記少なくとも１つのコンピュータ・プロセッサと通信する血管内デバイスによって得られ、前記血管内デバイスは血管内超音波法（IVUS）トランスデューサを含む、段階、
    前記血管内データの参照セットの一部の強調のためのユーザ入力を受信する段階であって、前記血管内データの参照セットの前記一部は血管内特徴を含む、段階、
    前記受信されたユーザ入力に基づいて前記血管内データの参照セットから血管内データの目標セットを決定する段階であって、前記血管内データの目標セットは前記血管内特徴を含む、段階、
    前記受信されたユーザ入力に基づいて前記血管内データの目標セットの一部を強調する段階であって、前記強調は血管のIVUS画像における前記血管内特徴の見え方を視覚的に強調する、段階、
    前記血管内データの参照セットを表示するのと同時に、前記第１のユーザ・ディスプレイ領域に隣接する第２のユーザ・ディスプレイ領域において血管内データの前記強調された目標セットをユーザに対して表示する段階、および
    前記血管内データの目標セットの強調された一部のトランザクション記録を記憶する段階を実行する
    ためのものであり、
    前記血管内データの参照セットおよび血管内データの前記強調された目標セットは血管の前記IVUS画像の少なくとも一部を含む、
    装置。
  14. 前記媒体は、前記コンピュータ・プロセッサの以前の状態を回復させるように前記トランザクション記録を用いるための命令をさらに記憶する、請求項１３に記載の装置。
  15. 前記媒体は、
    前記受信されたユーザ入力に基づいて後続のデータ・セットを捕捉し、
    前記血管内データの目標セットに前記後続のデータ・セットを含める
    ための命令をさらに記憶する、請求項１３に記載の装置。
  16. 前記媒体は、前記血管内データの目標セットからデータを選別するための命令をさらに記憶する、請求項１３に記載の装置。
  17. 前記血管内データの目標セットからデータを選別するための前記命令は、前記受信されたユーザ入力に対応する対象の領域の外部のデータを選別するように構成された、請求項１６に記載の装置。
  18. 前記媒体は、領域識別子フォーマットからデータ・フォーマットに前記ユーザ入力を変換するための命令をさらに記憶する、請求項１３に記載の装置。
  19. 前記ユーザ入力を変換するための前記命令は、スケール変換、座標変換または形状変換のうちの少なくとも一を実行するための命令を含む、請求項１８に記載の装置。
  20. 前記医療処理システムは、前記位置マーカを前記血管内データの参照セットにおける血管内特徴に関係付けるよう動作可能である、請求項１１記載の方法。
  21. 前記位置マーカを、前記第１のユーザ・ディスプレイ領域における前記データの参照セットおよび前記第１のユーザ・ディスプレイ領域における前記血管内データの前記強調された目標セットにおいて表示することをさらに含む、請求項２０記載の方法。
JP2015550474A 2012-12-26 2013-12-17 マルチモダリティ医療用撮像システムにおける測定および強調 Active JP6235610B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261745986P 2012-12-26 2012-12-26
US201261745999P 2012-12-26 2012-12-26
US201261746012P 2012-12-26 2012-12-26
US201261746010P 2012-12-26 2012-12-26
US61/745,986 2012-12-26
US61/746,010 2012-12-26
US61/745,999 2012-12-26
US61/746,012 2012-12-26
PCT/US2013/075744 WO2014105523A1 (en) 2012-12-26 2013-12-17 Measurement and enhancement in a multi-modality medical imaging system

Publications (3)

Publication Number Publication Date
JP2016508049A JP2016508049A (ja) 2016-03-17
JP2016508049A5 JP2016508049A5 (ja) 2017-07-27
JP6235610B2 true JP6235610B2 (ja) 2017-11-22

Family

ID=51021946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015550474A Active JP6235610B2 (ja) 2012-12-26 2013-12-17 マルチモダリティ医療用撮像システムにおける測定および強調

Country Status (4)

Country Link
EP (1) EP2939203A4 (ja)
JP (1) JP6235610B2 (ja)
CA (1) CA2896496A1 (ja)
WO (1) WO2014105523A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033090A1 (en) * 2015-08-21 2017-03-02 Koninklijke Philips N.V. Intravascular measurement system with interface to hemodynamic monitoring system
US11139070B2 (en) 2017-01-25 2021-10-05 Holoeyes, Inc. Medical information virtual reality server system, medical information virtual reality program, medical information virtual reality system, method of creating medical information virtual reality data, and medical information virtual reality data
EP3704636A1 (en) * 2017-11-03 2020-09-09 General Electric Company System and method for interactive representation learning transfer through deep learning of feature ontologies
JP2023074595A (ja) * 2021-11-18 2023-05-30 拓也 水上 圧波形の標準化処理装置及びそのプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576532A (ja) * 1991-09-13 1993-03-30 Tokimec Inc 超音波診断装置
JPH06103364A (ja) * 1992-09-18 1994-04-15 Fujitsu Ltd 画像表示装置
US6697506B1 (en) * 1999-03-17 2004-02-24 Siemens Corporate Research, Inc. Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement
JP2002049908A (ja) * 2000-08-02 2002-02-15 Sanyo Electric Co Ltd 医療画像管理装置
JP4176299B2 (ja) * 2000-09-29 2008-11-05 富士フイルム株式会社 医用画像表示システム
US7106479B2 (en) * 2000-10-10 2006-09-12 Stryker Corporation Systems and methods for enhancing the viewing of medical images
CN100366212C (zh) * 2004-04-30 2008-02-06 株式会社东芝 用于管理和显示医学图像的系统和方法
JP4745748B2 (ja) * 2005-07-26 2011-08-10 株式会社日立メディコ 医用画像表示装置
US20070160275A1 (en) * 2006-01-11 2007-07-12 Shashidhar Sathyanarayana Medical image retrieval
WO2007109771A2 (en) * 2006-03-22 2007-09-27 Volcano Corporation Automated lesion analysis based upon automatic plaque characterization according to a classification criterion
US20080025583A1 (en) * 2006-07-27 2008-01-31 General Electric Company System and method for on-demand visual enhancement of clinical conitions in images
JP5210529B2 (ja) * 2007-03-02 2013-06-12 株式会社東芝 医用画像保管装置
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
KR101129718B1 (ko) * 2008-01-04 2012-03-28 주식회사 메디칼스탠다드 디지털 검사 영상들의 판독 지원 방법
EP2262423B1 (en) * 2008-03-06 2018-01-10 Covidien LP Image enhancement and application functionality for medical and other uses
US20110123086A1 (en) * 2009-11-25 2011-05-26 Fujifilm Corporation Systems and methods for enhancing medical images
US10580325B2 (en) * 2010-03-24 2020-03-03 Simbionix Ltd. System and method for performing a computerized simulation of a medical procedure
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
EP2939203A1 (en) 2015-11-04
CA2896496A1 (en) 2014-07-03
JP2016508049A (ja) 2016-03-17
WO2014105523A1 (en) 2014-07-03
EP2939203A4 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
US11766238B2 (en) Measurement navigation in a multi-modality medical imaging system
US10368836B2 (en) Gesture-based interface for a multi-modality medical imaging system
US9779483B2 (en) Measurement and enhancement in a multi-modality medical imaging system
US10642953B2 (en) Data labeling and indexing in a multi-modality medical imaging system
US11854687B2 (en) Bedside interface for percutaneous coronary intervention planning
US20220013203A1 (en) Multi-modaligy anonymizing system and method
JP5701685B2 (ja) 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US11594002B2 (en) Overlay and manipulation of medical images in a virtual environment
CN107148239B (zh) 用于脉管评估的床边控制器和相关联的装置、系统和方法
US20130174077A1 (en) Medical information display apparatus, method, and program
US10409951B2 (en) Multi-modality case management system and method
US10453561B2 (en) Multi-modality case explorer system and method
JP2021191429A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
US10489551B2 (en) System and method for multi-modality workflow management using hierarchical state machines
JP2018163670A (ja) 侵襲性のコンテキストにおけるデータ処理のためのデバイス、システムおよび方法、マルチモダリティ医療システム
JP6235610B2 (ja) マルチモダリティ医療用撮像システムにおける測定および強調
US20140188513A1 (en) Multi-Modality Selective Archiving System and Method
JP6026239B2 (ja) 読影レポートシステム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160425

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170612

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170612

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171026

R150 Certificate of patent or registration of utility model

Ref document number: 6235610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250