JP6724187B2 - タッチレス高度画像処理及び視覚化 - Google Patents

Description

〔関連出願〕
本出願は、２０１５年１月２８日出願の米国仮特許出願第６２／１０８，６５８号及び２０１５年３月５日出願の米国仮特許出願第６２／１２８，６２２号の利益を主張するものである。これらの出願の開示は、その全体が引用によって本明細書に組み込まれている。

本発明の実施形態は、一般的に画像処理に関する。より具体的には、本発明の実施形態は、タッチレス画像処理及び視覚化に関する。

高度医療画像処理ソフトウエアは、ユーザがコンピュータ断層撮像（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、超音波、Ｘ線等の画像のような走査画像を３次元（３Ｄ）画像、並びにユーザが走査を解釈するのに役立つ他の表示に変換することを可能にする。臓器及び／又は身体部位は、単離、除去、測定、解析、観察、スライスすること、並びに内部を含むあらゆる角度から観察することができる。例えば、心臓動脈は、測定、解析、狭窄識別及び狭窄測定され、かつ事実上あらゆる視点から観察することができる。結腸は、ポリープに関して解析され、かつその健全性を評価するために「フライ」スルーすることができる。腫瘍は、識別かつ測定され、経時的にモニタすることができる。

しかし、高度医療画像処理ソフトウエアは難解であり、ユーザにとって労働集約的である。一般的に、ユーザは、特定のソフトウエアを用いるためにかつ特定の処理機能を実施するために訓練されなければならない。多くの場合に、処理機能は、望ましい結果を得るためにソフトウエアツール、マウスのようなポインティングデバイスの使用と、複数回のマウスクリックとを要求する。例えば、心臓動脈内の狭窄の識別及び測定は、骨取り出し、断片除去、血管識別、血管分割、狭窄識別、狭窄測定などを含むいくつかの「クリック集約的」段階を伴う場合がある。

医師は、手術室のような滅菌環境内で高度医療画像処理を実施することを望む場合がある。例えば、脳外科医は、手術中に脳腫瘍の場所、サイズ、及び他のパラメータを識別し、それを画面上で見ることを望むであろう。彼／彼女はまた、近くの及び／又は関連の血管系の場所及びサイズ／タイプを識別することを望む場合がある。彼／彼女はまた、頭蓋骨の最良進入点を識別したい場合もある。

別の例では、心臓専門医は、血管形成術前及び／又は中に心血管系を精査しようと望む場合がある。彼／彼女は、心血管系の湾曲、並びに大動脈アクセス経路を見たいと望む場合がある。彼／彼女は、カテーテル／ガイドワイヤ／ステントなどを選択するのに役立てるために狭窄の滑らかさ／粗さ、及び／又は狭窄の程度を見たいと望む場合がある。手順が計画通りに進まない場合に、解剖学的構造の異なる表示及び／又は解析は、オプションを決定する際に役立つと考えられる。

「心血管コンピュータ断層撮像学会（Ｓｏｃｉｅｔｙ ｏｆ Ｃａｒｄｉｏｖａｓｃｕｌａｒ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ（ＳＣＣＴ））」指針

しかし、現在の高度医療画像処理ソフトウエアを用いると、医師は、滅菌性を維持しながらこのタイプのソフトウエアを容易に使用することができない。それは、医師がそのようなソフトウエアを滅菌環境内で、特に台上に患者を載せた状態で使用するには現時点では厄介で時間を消費し、滅菌性に関して危険である。滅菌環境内の医師及び／又は技師が、滅菌環境を維持しながら高度医療画像処理ソフトウエアから結果を容易、迅速、安全、かつ正確に得ることの必要性が存在する。

本発明の実施形態は、同じ参照が類似の要素を示す添付図面の図に限定ではなく一例として例示している。

本発明の一実施形態によるタッチレス高度画像処理（ＴＡＩＰ）システムの例を示すブロック図である。 本発明の一実施形態によるクライアントデバイスの例を示すブロック図である。 本発明の一実施形態による画像処理サーバの例を示すブロック図である。 本発明のある一定の実施形態による様々なアクションから指令／作動マッピングデータ構造を示す図である。 本発明のある一定の実施形態による様々なアクションから指令／作動マッピングデータ構造を示す図である。 本発明のある一定の実施形態による様々なアクションから指令／作動マッピングデータ構造を示す図である。 本発明のある一定の実施形態による様々なアクションから指令／作動マッピングデータ構造を示す図である。 本発明のある一定の実施形態によるタッチレス画像処理の処理を示す流れ図である。 本発明のある一定の実施形態によるタッチレス画像処理の処理を示す流れ図である。 本発明の一実施形態による画像処理クライアントと画像処理サーバの間の対話処理の例を示す図である。 本発明の一実施形態によるＴＡＩＰシステムが受信して処理することができる異なるタイプの音声指令のうちの一部を示す図である。 本発明のある一定の実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明のある一定の実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明のある一定の実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明のある一定の実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明の代替実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明の代替実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明の代替実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明の代替実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。 本発明の一実施形態に従って使用することができるデータ処理システムのブロック図である。

本発明の様々な実施形態及び態様を下記で解説する詳細を参照して説明し、添付図面は、これらの様々な実施形態を示すものである。以下の説明及び図面は、本発明を示すものであり、本発明を限定するものと解釈すべきではない。本発明の様々な実施形態の完全な理解を提供するために多くの特定の詳細を説明する。しかし、ある一定の事例では、本発明の実施形態の簡潔な解説を提供するために公知又は従来の詳細を説明することはしない。

本明細書における「一実施形態」又は「実施形態」への参照は、当該実施形態に関して説明する特定の特徴、構造、又は特性を本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書における様々な箇所における「一実施形態では」という表現の出現は、必ずしもその全てが同じ実施形態を参照しているわけではない。

一部の実施形態により、タッチレス高度画像処理（ＴＡＩＰ）システムは、ユーザが滅菌環境、又は他に制限環境内で「タッチレス」制御器を用いて高度画像処理作動を制御することを可能にするのに利用される。タッチレス制御器は、加速度計又はジャイロスコープを利用したセンサ又はデバイスのような音声、運動（例えば、手又は眼の動作）、又は他のタイプの制御器を含むことができる。一実施形態により、ＴＡＩＰシステムは、識別されたパラメータと自動的に識別された解剖学的目印とに基づく自動画像処理機能を利用する。

一実施形態により、ＴＡＩＰシステムは、クラウドサービスクラスターの一部として実施することができる画像処理サービスを様々なクライアントデバイスにネットワーク上で提供する画像処理サーバとして実施される。各クライアントデバイスは、画像処理クライアントアプリケーション又は画像処理クライアントソフトウエアを配備することができる。クライアントデバイスを作動させているユーザのユーザ運動又はユーザアクションをユーザがクライアントデバイス（例えば、マウス、キーボード、表示デバイス）に物理的にタッチ又は接触することを必要とせずに検出するために、１又は２以上センサをクライアントデバイスの各々内に配備するか又は各々に通信的に結合することができる。センサは、音響センサ（例えば、マイクロフォン）、視覚センサ（例えば、カメラ）、赤外線センサ、又は運動検出器などのうちのいずれか１つ又はそれよりも多いとすることができる。

１又は２以上のセンサから受信した信号に応答して、クライアントデバイスの動作制御モジュールは、信号によって表されるユーザのアクション又は運動（例えば、クライアントデバイスを作動させているユーザの身体的アクション又は運動）（例えば、左へのスワイプ又は右へのスワイプ）を決定する。ユーザアクションが、クライアントデバイスで現在表示されている第１の医療画像に鑑みて有効であるか否かをクライアントデバイスの指令処理モジュールが決定する。この決定は、予め構成されたユーザアクションのリストに基づいて実施することができる。ユーザアクションは、第１の医療画像又はそれに関連付けられた１又は２以上の目印に関連付けるか、又はそれらに割り当てることができる。ユーザアクションが有効であると決定された場合に、クライアントデバイスは、画像処理を求める要求を画像処理サーバにネットワーク上で送信する。要求は、クライアントデバイスを作動させているユーザのユーザアクションを識別するユーザアクション識別子（ＩＤ）と、任意的である第１の医療画像を識別するＩＤ又は第１の医療画像の１又は２以上の目印を識別するＩＤとを含むことができる。

要求に応答して、一実施形態により、画像処理サーバの指令処理モジュールは、第１の医療画像のメタデータ又は目印に鑑みてユーザアクションを解釈し、１又は２以上の画像処理作動又は画像処理指令を決定する。一実施形態では、特定のユーザアクションを１又は２以上の画像処理指令又は画像処理作動にマップするために、予め構成されたアクションから指令（アクション／指令）マッピングテーブル又はアクションから作動（アクション／作動）マッピングテーブル又はデータ構造を利用することができる。次いで、画像処理サーバの画像処理エンジンは、例えば、第１医療画像に関連付けられた１又は２以上の目印に基づく測定を含む決定された画像処理作動を第１の医療画像に基づいて実施する。その結果として第２の医療画像が発生され、次いで、第２の医療画像は、画像処理サーバからクライアントデバイスに送信される。その後にクライアントデバイスは、第２の医療画像、並びに第２の医療画像及び／又は対応する患者に関連付けられた情報を表示する。上述の作動の全ては、クライアントデバイスのユーザがクライアントデバイスに物理的に接触することを必要とせずに実施され、クライアントデバイスと画像処理サーバの間で通信される。

図１は、本発明の一実施形態によるタッチレス高度画像処理（ＴＡＩＰ）システムの例を示すブロック図である。図１を参照すると、システム１００は、取りわけ、有線又は無線ネットワーク１０３を通して画像処理サーバ１０４に通信的に結合された様々なクライアントデバイス１０１〜１０２を含む。ネットワーク１０３は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネット又はイントラネットのようなワイドエリアネットワーク（ＷＡＮ）、非公開クラウドネットワーク、公開クラウドネットワーク、又はその組合せとすることができる。図１には２つのクライアントデバイス１０１〜１０２を示すが、画像処理サーバ１０４には、より多数又はより少数のクライアントデバイスを結合することができる。同様に、１つの画像処理サーバ１０４しか示していないが、クライアント１０１〜１０２に医療画像処理サービスを提供するのにより多数の画像処理サーバを利用することができる。例えば、画像処理サーバ１０４は、画像処理サービスを分散方式で提供する（例えば、ソフトウエア・アズ・サービス又はＳａＳ）ためのサーバクラスター（例えば、クラウドサーバ）のうちの１つとして実施することができる。

クライアントデバイス１０１〜１０２は、医師又は内科医の診察室又は病院の手術室のようなユーザの場所に配備することができる。クライアントデバイス１０１〜１０２の各々は、そこにホストされた医療画像処理クライアント１１０を含む。例示目的で、本明細書ではクライアントデバイス１０２の詳細を以下に説明する。しかし、この説明は、クライアントデバイス１０１にも等しく適用可能である。画像処理クライアント１１０は、クライアント−サーバ方式でユーザ要求に応答して画像処理サーバ１０４によって発生かつ処理された医療画像をクライアントデバイス１０２のユーザに提示するためのグラフィカルユーザインタフェース（ＧＵＩ）を提供する。例えば、ユーザ（例えば、医師）は、クライアントデバイス１０２からクライアント画像処理クライアント１１０を通して画像処理サーバ１０４内の自分のアカウントにログインすることができる。画像処理クライアント１１０から、ユーザは、患者のある一定の画像を画像処理サーバ１０４から取り出すか又は画像処理サーバ１０４において処理することを要求することができる。次いで、画像処理クライアント１１０は、適正な指令又は要求を画像処理サーバ１０４に送信する。従って、画像処理サーバ１０４は、関連の画像処理作動を実施し、要求された画像を結果としてクライアント１０２に送信して戻す。

一実施形態では、クライアントデバイス１０２は、１又は２以上のセンサ１１２を含むか又はこれらのセンサ１１２に結合される。センサ１１２は、ユーザの作業環境（例えば、診療室、病院の手術室）内の様々な場所に配備又は装着することができ、ユーザアクション又はユーザの身体的移動を取り込むように構成される。取り込まれたユーザアクションは、ユーザがクライアントデバイス１０２に物理的に接触又はタッチすることを必要としない画像処理クライアント１１０とユーザとのある一定の対話を表している。センサ１１２は、物理的タッチなしでユーザアクションを取り込むことができるあらゆるタイプのセンサとすることができる。センサ１１２は、音響センサ（例えば、マイクロフォン）、視覚センサ（例えば、カメラ）、赤外線センサ、運動検出器のうちのいずれか１つ又はそれよりも多いか、又はその組合せとすることができる。センサ１１２のうちのあらゆるものを入力及び出力（ＩＯ）インタフェース、バス、又は有線又は無線ネットワークインタフェースを通してクライアントデバイス１０２に結合することができる。

一実施形態により、画像処理クライアント１１０は、独立型モジュールとして実施することができるか又は画像処理クライアント１１０内に組み込むことができる動作制御モジュール１１４を更に含むか又はそれに結合される。動作制御モジュール１１４は、１又は２以上のセンサ１１２から信号を受信し、これらの信号を解釈し、信号に基づいてユーザアクションを決定し、及び／又はユーザアクションを画像処理クライアント１１０に通信するようになっている。信号は、ユーザがクライアントデバイス１０２に物理的にタッチすることなくユーザアクション又はユーザの身体的移動を取り込むセンサ１１２のうちの１又は２以上から受信される。

ユーザアクションが動作制御モジュール１１４によって決定されるのに応答して、画像処理クライアント１１０は、現在表示されている医療画像に鑑みてユーザアクションが有効であるか否かを決定する。全てのユーザアクションを有効アクションとして認識することができるわけではないことに注意されたい。一実施形態では、画像処理クライアント１１０との対話を行うのに有効なユーザアクションとして利用することができる予め決められたアクションのリストが存在する場合がある。予め決められたアクションのリストは、画像処理クライアント１１０のユーザ（例えば、ユーザプリファレンス）、オペレータ（例えば、システム又は製品の提供者）、又は製品開発者によって事前構成することができる。ユーザアクションが事前構成ユーザアクションのリスト内に見つからない場合に、このユーザアクションを無効と考えることができる。ユーザアクションが無効と見なされた場合に、ユーザに警告又は表示（例えば、メッセージ、音声音）を提供することができる。

一実施形態により、ユーザアクションが有効であると決定された場合に、画像処理クライアント１１０は、認識されたユーザアクションを表すユーザアクションＩＤを画像処理サーバ１０４に送信し、このユーザアクションに関連付けられた画像処理作動を実施することを画像処理サーバ１０４に要求する。画像処理クライアント１１０は、クライアントデバイス１０２に現在表示されている画像を識別する画像ＩＤ、表示された画像の目印、又はクライアントデバイス１０２に現在表示されている画像を画像処理サーバ１０４が確認又は識別することを可能にする表示された画像のあらゆる他のメタデータを更に送信することができる。

画像処理クライアント１１０は、表示された画像に関連付けられた患者のある一定の患者情報又は医療情報（例えば、患者ＩＤ、身体部位ＩＤ、医療手順ＩＤ）を画像処理サーバ１０４に更に送信することができる。患者情報又は医療情報は、様々な医療データサーバ又はデータソース１０６から取得することができる。例えば、医療データサーバ１０６は、臨床検査情報システム（ＬＩＳ）、放射線科情報システム（ＲＩＳ）、企業コンテンツ管理（ＥＣＭ）システム、電子医療記録（ＥＭＲ）システム、病院情報システム（ＨＩＳ）、画像保存通信システム（ＰＡＣＳ）、又は販売業者中立アーカイブ（ＶＮＡ）システムのうちのいずれか１つ又はそれよりも多くを表すことができる。これに代えて、画像処理クライアント１１０は、現在表示されている画像に関連付けられた患者を識別する患者ＩＤを送信することができる。次いで、画像処理サーバ１０４は、関連の医療情報を取得し、任意的に医療データストア１３５に格納するために医療データサーバ１０６と通信することができる。一実施形態では、画像処理クライアント１１０は、医療データシステムと画像処理サーバ１０４との両方にアクセス可能な医療情報クライアント（例えば、医療記録クライアント）に統合することができる。

要求に応答して、指令処理モジュール１２２は、ユーザアクションを決定する要求を調べる。ユーザアクションとクライアントデバイス１０２に現在表示されている医療画像のメタデータとに基づいて、指令処理モジュール１２２は、ユーザアクション及び表示された医療画像のメタデータ（例えば、目印、画像ＩＤ）に関連付けられた１又は２以上の画像処理指令又は画像処理作動を決定する。一実施形態では、指令処理モジュール１２２は、ユーザアクションと画像のメタデータとに基づいてアクション／指令マッピングテーブル又はデータ構造１２５内でルックアップ作動を実施し、１又は２以上の画像処理指令又は画像処理作動のリストを決定する。そのようなマッピングテーブル１２５は、画像毎、目印毎、ユーザ毎、患者毎、ワークフロー毎、又はその組合せのような様々な単位で事前構成することができる。

次いで、指令処理モジュール１２２は、画像処理命令、画像処理指令、又は画像処理作動の情報を医療画像処理エンジン１２０に通信する。次いで、画像処理エンジン１２０は、要求された画像処理作動を実施する。画像処理作動は、様々な画像処理作動とすることができる。一実施形態では、画像処理作動は、クライアントデバイス１０２で現在提示されている画像に基づいて別の画像又は関連画像を取り出す段階とすることができる。画像処理作動は、現在提示されている画像（例えば、第１の画像とも呼ぶ）に関連付けられた身体部位の測定を実施する段階とすることができる。画像処理作動の結果として、画像処理エンジン１２０は、新しい画像を発生させることができ、この場合に、画像処理エンジン１２０によって発生された画像は、画像ストア１３０に維持することができる。画像処理エンジン１２０は、現在表示されている画像に関連付けられた患者の医療情報に基づいて追加の作動を実施することができる。医療情報は、医療データソース１０６から取得することができ、任意的に医療データストア１３５の一部として維持することができる。次いで、新しい画像（第２の画像とも呼ぶ）は、画像処理サーバ１０４からクライアントデバイス１０２に送信されてユーザに提示されることになる。

画像処理エンジン１２０は、後で以下に詳細に説明する医療画像を処理するための様々な画像処理ツールを含むことができることに注意されたい。画像処理エンジン１２０は、画像処理作動の少なくとも一部を１又は２以上のバックエンド又は専用画像処理システム１０５に負荷分担させることができる。バックエンド又は専用画像処理システム１０５は、高い処理パワー及びリソースを有することができる。その結果、ユーザは、画像処理クライアント１１０と対話を行い、画像処理サーバ１０４から画像処理サービスを取得するためにクライアントデバイス１０２にタッチしなくてもよい。

更に、図１に示す構成を単なる例示目的で記載していることに注意されたい。他の構成が存在することも可能である。例えば、別の実施形態により、特定のユーザアクションが有効であるか否かの決定は、クライアントデバイスで実施する代わりに、画像処理サーバ１０４において中央集中方式で実施することができる。そのような実施形態では、クライアントは、ユーザアクションを識別するユーザアクションＩＤをサーバ１０４に転送するだけでよい。次いで、サーバ１０４は、そのようなユーザアクションが有効であるか否かをクライアントに現在表示されている画像に鑑みて決定する。その後に、サーバ１０４は、決定結果をクライアントに通知する。更に別の実施形態では、アクション／指令マッピングテーブル１２５は、クライアントがダウンロードし、維持することができる。そのような実施形態では、ユーザアクションを解釈し、ユーザアクションを１又は２以上の画像処理指令に変換する段階を受け持つのはクライアントである。その後に、クライアントは、指令を実行するために画像処理指令をサーバ１０４に送信する。

図２は、本発明の一実施形態によるクライアントデバイスの例を示すブロック図である。クライアントデバイス２００は、図１のクライアントデバイス１０１〜１０２のうちのいずれかを表すことができる。図２を参照すると、一実施形態によるクライアントデバイス２００は、１又は２以上のセンサ２０１〜２０２に結合された画像処理クライアント１１０を非限定的に含む。画像処理クライアント１１０は、ソフトウエア、ハードウエア、又はこれらの両方の組合せに実施することができる。例えば、画像処理クライアント１１０は、システムメモリ内にロードされてクライアントデバイス２００の１又は２以上のプロセッサ（図示せず）によって実行することができるクライアントアプリケーションとすることができる。

一実施形態では、センサ２０１〜２０２は、物理的タッチなしでユーザアクションを取り込むことができるあらゆるタイプのセンサとすることができる。センサ２０１〜２０２は、音響センサ（例えば、マイクロフォン）、視覚センサ（例えば、カメラ）、赤外線センサ、運動検出器、又はその組合せのうちのいずれかとすることができる。これらのセンサ２０１〜２０２は、クライアントデバイス２００が作動している例えば医師又は内科医の診療室又は病院の手術室のような作業環境の様々な場所に装着することができる。これに代えて、センサ２０１〜２０２の少なくとも一部は、ユーザが着用している眼鏡、ヘルメットのようなユーザの身体に装着又は取り付けることができる（例えば、目の動きの追跡、顔又は感情の認識）。センサ２０１〜２０２のいずれも入力及び出力（ＩＯ）のインタフェース又はコントローラ、バス、又はネットワークインタフェースを通してクライアントデバイス２００に通信的に結合することができる。そのようなインタフェースの例は、キーボードコントローラ、マウスコントローラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、チップセットなどを含む。センサ２０１〜２０２は、クライアントデバイス２００に物理的に接続又は無線接続することができる。センサ２０１〜２０２は、ユーザアクション又はユーザの身体的移動を取り込むように構成することができる。取り込まれたユーザアクションは、ユーザがクライアントデバイス２００に物理的に接触又はタッチすることを必要としない画像処理クライアント１１０とのある一定のユーザ対話を表している。

一実施形態により、画像処理クライアント１１０は、独立型モジュールとして実施するか又は画像処理クライアント１１０内に組み込むことができる動作制御モジュール１１４を更に含むか又はそれに結合される。動作制御モジュール１１４は、センサ２０１〜２０２のうちの１又は２以上からの１又は２以上の信号をモニタ及び／又は受信し、信号を解釈し、信号に基づいて１又は２以上のユーザアクションを決定し、かつユーザアクションを画像処理クライアント１１０に通信するようになっている。信号は、ユーザがクライアントデバイス２００に物理的にタッチすることなくユーザアクション又はユーザの身体的移動（例えば、指、腕、及び／又は眼の動き）を取り込むセンサ２０１〜２０２のうちの１又は２以上から受信することができる。動作制御モジュール１１４は、機械可読媒体内に実行可能命令として格納することができる必要なアルゴリズム又はモデルを用いて特に画像処理目的に向けてユーザ動作又はユーザとの対話を解釈するように構成又はプログラムすることがでる。

動作認識は、コンピュータ科学及び言語技術において数学的アルゴリズムによって人間の動作を解釈することを目的とする題材である。動作は、あらゆる身体の運動又は状態から開始される可能性があるが、一般的には顔又は手から開始される。動作認識は、人間が機械と通信し、いかなる機械的デバイスも用いずに自然に対話を行うことを可能にする。動作認識の概念を使用すると、カーソルが追従して動くことになるようにコンピュータ画面に指を指すことができる。動作認識を用いて、ユーザは、画面上に表示された仮想キーボードを通してキーボード又はキーボードコントローラと対話を行うことができる。

図２を再度参照すると、動作制御モジュール１１４は、複数のユーザ動作又はユーザアクションを決定することができる（例えば、音響認識、視覚認識、運動検出）。そのような複数のユーザアクションは、どの画像処理作動をユーザが画像処理サーバに実施して欲しいと望んでいるかに関するユーザのユーザ意志を決定するために個々に又は集合的に解釈して利用することができる。

動作制御モジュール１１４によって決定されたユーザアクションに応答して、指令処理モジュール２１０は、画像処理モジュール２１５によって現在表示されている医療画像に鑑みてユーザアクションが有効であるか否かを決定する。画像処理モジュール２１５は、画像処理サーバから画像を受信し、これらの画像をクライアントデバイス２００の表示デバイス（図示せず）にレンダリングして提供する役割を受け持つ。全てのユーザアクションを有効アクションとして認識することができるわけではないことに注意されたい。一実施形態では、画像処理クライアント１１０は、それと対話を行うためのユーザアクションとして利用することができる予め決められたアクションのリストを格納するアクションテーブル又はアクションデータ構造２２０を維持する。

アクションリストは、全ての画像処理に対して同じであるように構成することができる。これに代えて、アクションリストは、画像毎、目印毎、及び／又はユーザ毎に異なるとすることができる。例えば、所与の画像又は所与の画像タイプに対して、画像処理作動を操作及び要求するのに利用可能又は定められた様々なアクションリストが存在する場合がある。同様に、異なるユーザに対して、この特定のユーザが意図している画像処理作動のうちのどれにどのユーザアクションが関連するのかを定めるために、異なるユーザプリファレンス又はユーザ設定を適用することができる。ユーザは、特定の画像処理作動を開始するための特定のアクションを個々に定めることができる場合がある。更に、マルチテナント作業環境（例えば、ソフトウエア・アズ・サービス又はＳａＳのようなクラウドベースのサービス）では、各テナント（例えば、企業テナント）は、この特定のテナントの会員に対して特定のアクションリストを定めることができる。複数のユーザ及び／又は画像／目印によって共有される基本設定が存在する場合がある。更に、特定のユーザ及び／又は画像／目印は、基本設定に優先するか又はそれを補足する個々の設定セットを有することができる。

アクションテーブル２２０内の予め決められたアクションリストは、ユーザ（例えば、ユーザプリファレンスを有する）、管理者（例えば、システム又は製品の提供者）、又は画像処理クライアント１１０の製品開発者が事前構成することができる。アクションテーブル２２０は、画像処理サーバにおいて構成し、クライアントデバイス２００にダウンロードすることができ、又はその逆も同様である。アクションテーブル２２０は、ハードディスクのようなクライアントデバイス２００の非一時的ストレージデバイスに格納し、アクセスに向けてシステムメモリ（図示せず）内にロードすることができる。アクションリストは、データベースのような様々なデータ構造に維持することができることに注意されたい。

ユーザアクションが事前構成ユーザアクションリスト内に見つからなかった場合に、このユーザアクションを無効と考えることができる。ユーザアクションが無効であると見なされた場合に、ユーザに警告又は表示（例えば、メッセージ、音声音）を提供することができる。その後に、ユーザは、画像処理クライアント１１０と対話を行うために別の動作又はアクションを実施することができる。一実施形態では、画像処理クライアント１１０は、表示された画像及び／又は現ユーザに対して利用可能な有効アクションリストに対するユーザ要求に応答して、このリストを選択に向けて表示することができる。

一実施形態により、ユーザアクションが有効であると決定された場合に、指令処理モジュール２１０又は画像処理モジュール２１５は、認識された１又は２以上のユーザアクションを表す１又は２以上のユーザアクションＩＤを画像処理サーバ（例えば、画像処理サーバ１０４）に送信し、これらのユーザアクションに関連付けられた１又は２以上の画像処理作動を実施することを画像処理サーバに要求する。画像処理サーバが、適切な画像処理指令又は画像処理作動を決定するためにクライアントデバイス２００に現在表示されている画像を確認又は識別することを可能にするために、画像処理クライアント１１０は、クライアントデバイス２００に現在表示されている画像を記述するある一定のメタデータ、表示された画像の目印、又は表示された画像のあらゆる他のメタデータ（互いに医療画像データ２３０と呼ぶ）を画像処理サーバに更に送信することができる。

画像処理クライアント１１０は、表示された画像に関連付けられた患者のある一定の患者情報又は医療情報（例えば、患者ＩＤ、身体部位ＩＤ、医療手順ＩＤ）を画像処理サーバに更に送信することができる。患者情報又は医療情報は、様々な医療データサーバ又は医療データソース（例えば、図１の医療データソース１０６）から取得することができる。次いで、画像処理作動の結果として新しい画像及び／又は新しい医療データを画像処理サーバから受信することができる。新しい画像及び／又は新しい医療データは、クライアントデバイス２００の表示デバイスで画像処理モジュール２１５によって提示され、上述の処理を繰り返し実施することができる。

図３は、本発明の一実施形態による画像処理サーバの例を示すブロック図である。システム３００は、図１の画像処理サーバ１０４を表すことができる。図３を参照すると、この例では、システム３００は、メモリ３０１内にロードされて１又は２以上のプロセッサ（図示せず）によって実行される指令処理モジュール１２２と画像処理エンジン１２０とを含む。画像処理エンジン１２０は、画像処理特定の処理パワー及びリソース（例えば、プロセッサ及びメモリ）を有する専用ハードウエアに実施することができることに注意されたい。画像処理サーバ３００は、様々なデータ構造に実施することができるアクション／指令又はアクション／作動マッピングテーブル１２５を更に維持する。マッピングテーブル１２５は、特定のユーザアクションを１又は２以上の画像処理指令又は画像処理作動にマップする。そのようなマッピングは、クライアントデバイスで現在提示されている特定の画像又は画像データ（例えば、画像ＩＤ、目印、又は他の画像メタデータ）に更に基づくとすることができる。

上述のように、ユーザがクライアントデバイスにタッチすることなく１又は２以上のセンサの前で特定のユーザアクションを実施すると、このユーザアクションは、センサによって取り込まれてクライアントデバイスの動作制御モジュール及び指令処理モジュールによって処理される。そのようなユーザアクションが有効であると決定された場合に、クライアントデバイスは、画像処理サーバ３００のような画像処理サーバに画像処理を求める要求を送る。要求は、取り込まれた１又は２以上のユーザアクションを識別する１又は２以上のユーザアクションＩＤと、クライアントデバイスで現在表示されている画像を記述する任意的な画像メタデータ（例えば、画像ＩＤ、目印）とを含むことができる。

要求に応答して、指令処理モジュール１２２は、要求を調べてクライアントデバイスでユーザが実施した１又は２以上のユーザアクションを決定する。ユーザアクションとクライアントデバイスで現在表示されている医療画像のメタデータとに基づいて、指令処理モジュール１２２は、ユーザアクション及び表示された医療画像のメタデータ（例えば、目印、画像ＩＤ）に関連付けられた１又は２以上の画像処理指令又は画像処理作動を決定する。一実施形態では、指令処理モジュール１２２は、１又は２以上の画像処理指令又は画像処理作動のリストを決定するために、ユーザアクションと画像のメタデータとに基づいてアクション／指令マッピングテーブル又はデータ構造１２５内でルックアップ作動を実施する。そのようなマッピングテーブル１２５は、様々なファクタに基づいて事前構成することができる。例えば、マッピングテーブル１２５は、画像毎、目印毎、ユーザ毎、患者毎、ワークフロー毎に構成するか又はその組合せで構成することができる。マッピングテーブル１２５の例を図４Ａ〜図４Ｄに示している。マッピングテーブル１２５は、ユーザ、テナントの管理者、又はサーバ３００に関連付けられたシステム管理者が構成モジュール３２５を用いて、例えば、様々な構成インタフェース（例えば、Ｗｅｂ、アプリケーションプログラミングインタフェース又はＡＰＩ、指令ラインインタフェース又はＣＬＩ）を通して構成することができる。構成されたマッピングテーブルは、非一時的ストレージデバイス３０２に格納することができる。

一実施形態により、画像処理サーバ３００は、様々なクライアントデバイスにこれらのデバイス内で表示される画像を供給するので、画像３０５のうちでクライアントデバイスのうちの特定のものに現在表示されているものを維持又は知ることができる。その結果、クライアントデバイスは、どの画像が現在表示されているかを指定する必要なくクライアントデバイス内の１又は複数のユーザアクションを有する要求を送信するだけでよい。指令処理モジュール１２２は、クライアントデバイスで現在表示されている画像を例えばＡＰＩを通して画像処理エンジン１２０と通信することによって決定することができる。しかし、ある一定の画像処理指令又は画像処理作動が特定の目印に基づくものであり、かつ現在表示されている画像が複数の目印を含む場合に、クライアントデバイスは、目印のうちのどれが１又は複数のユーザアクションに関連付けられているかを指定しなければならない可能性がある。これに代えて、指令処理モジュール１２２及び／又は画像処理エンジン１２０は、例えば、ユーザ設定、ユーザプリファレンス、又は過去のユーザとの対話に基づいて対応する目印を自動的に決定することができる。更に、現在表示されている画像が画像処理ワークフローの特定のワークフロー段に関連付けられている場合に、クライアントデバイスは、この特定のワークフロー段を識別するワークフロー段ＩＤを指定することができる。

マッピングテーブル１２５に基づいて決定された画像処理指令又は画像処理作動に基づいて、指令処理モジュール１２２は、画像処理命令、画像処理指令、又は画像処理作動の情報を医療画像処理エンジン１２０に通信する。次いで、画像処理エンジン１２０は、要求された画像処理作動を実施する。画像処理作動は、様々な画像処理作動とすることができる。一実施形態では、画像処理作動は、クライアントデバイス１０２で現在提示されている画像に基づいて別の画像又は関連画像を取り出す段階とすることができる。画像処理作動は、現在提示されている画像（例えば、第１の画像とも呼ぶ）に関連付けられた身体部位の測定を実施する段階とすることができる。例えば、画像処理作動は、腎臓の容積を測定する段階とすることができる。

一実施形態により、クライアントデバイスで現在表示されている画像は、画像処理ワークフローの特定のワークフロー段に関連付けることができる。クライアントデバイスから受信される要求は、特定のワークフローの特定のワークフロー段を識別するワークフロー段ＩＤを更に含むことができる。要求に応答して、指令処理モジュール１２２及び／又は画像処理エンジン１２０は、クライアントデバイスから受信した命令に依存してどの画像処理作動がこの特定のワークフロー段に関連付けられているか又は次のワークフロー段はどれかを決定するためにワークフローマネージャ３１０と通信することができる。ワークフロー段は、ワークフロー３１２のうちで対応するものにおいて定めることができる。次いで、ワークフローマネージャ３１０は、識別されたワークフロー段に関連付けられている１又は２以上の画像処理プロセッサ作動を対応するワークフローに基づいて決定する。次いで、画像処理エンジン１２０は、相応に画像処理作動を実施する。ワークフローマネージャ３１０は、画像処理エンジン１２０内に組み込むことができることに注意されたい。

一実施形態では、ワークフローマネージャ３１０は、ワークフローテンプレートの生成、更新、及び削除を管理する。更に、ワークフローマネージャ３１０は、ユーザ要求を受信した時に、ワークフローテンプレートを医療画像データに適用するためにワークフローシーンの生成を実施する。ワークフローは、診断に向けて医療画像表示を生成する処理において反復的活動パターンを取り込むために定められたものである。ワークフローは、各活動を実施する順序に従ってこれらの活動を処理フローに配置する。ワークフロー内の活動の各々は、その機能、当該活動を実施するのに必要とされるリソース、並びに当該活動によって受信される入力及び発生される出力の明確な定義を有する。ワークフロー内の各活動をワークフロー段又はワークフロー要素と呼ぶ。要件及び役割が明確に定められると、ワークフロー内に定められた目標を達成する処理において１つの特定のタスクを実施するワークフローのワークフロー段が設計される。多くの医療画像の研究では、診断に向けて医療画像表示を生成する活動のパターンは、通常は反復的であり、明確に定められる。従って、ワークフローを利用して実医療画像処理実務をモデル化して記録し、定められたワークフロー手順規則の下で画像処理が適正に実施されることを確実にすることが有利である。ワークフロー段の結果は、後の精査又は使用に向けて保存することができる。

一実施形態では、特定の医療画像の研究に関するワークフローは、ワークフローテンプレート（例えば、ワークフローテンプレート３１５）によってモデル化される。ワークフローテンプレートは、論理ワークフローを形成するワークフロー段の予め決められたセットを有するテンプレートである。活動を処理する順序は、予め決められたワークフロー段セットの間で確立された順序によってモデル化される。一実施形態では、ワークフローテンプレート内のワークフロー段は連続して順序付けられ、低い順序の段は高い順序の段よりも前に実施される。別の実施形態では、ワークフロー段の間で依存性関係が維持される。そのような配置の下では、あるワークフロー段は、この段が依存するワークフロー段が最初に実施されるまでは実施することができない。更に別の実施形態では、高度ワークフロー管理は、１つのワークフロー段が複数のワークフロー段に依存すること、又は複数のワークフロー段が１つのワークフロー段に依存することなどを可能にする。

画像処理作動は、医療撮像デバイスによって収集された医療画像データを入力として受信し、医療画像データを処理し、出力としてメタデータを生成する。メタデータ要素としても公知のメタデータは、広義には医療画像データを記述、処理、及び／又は管理するためのパラメータ及び／又は命令を意味する。例えば、ワークフロー段の画像処理作動によって発生されるメタデータは、診断目的で医療画像表示を生成するために医療画像データに適用することができる画像処理パラメータを含む。更に、医療画像表示の様々な自動及び手動の操作は、メタデータとして取り込むことができる。従って、メタデータは、それが保存された時のシステム状態にシステムが戻ることを可能にする。ワークフローテンプレート内に予め決定されたワークフロー段を処理することで発生された結果の有効性をユーザが確認した後に、ワークフローマネージャ３１０は新しいシーンを生成し、このシーンをワークフローシーンに格納する。更に、ワークフローマネージャ３１０は、シーンから発生された医療画像表示のユーザ調節中のシーンの更新及び保存を可能にする。

図３を再度参照すると、画像処理作動の結果として、画像処理エンジン１２０は新しい画像を発生させることができ、画像処理エンジン１２０によって発生された画像は、非一時的ストレージデバイス３０２に格納された画像ストア１３０に維持することができる。画像処理エンジン１２０は、現在表示されている画像に関連付けられた患者の医療情報３２１に基づいて追加作動を実施することができる。医療情報は、様々な医療データソースから取得することができ、任意的に医療データストア１３５の一部として維持することができる。次いで、新しい画像（第２の画像とも呼ぶ）は、画像処理サーバ３００からクライアントデバイスに送信されてユーザに提示されることになる。更に、例えば、ユーザのユーザプリファレンスのようなクライアントデバイスを作動させているユーザのユーザ情報３２２に基づいて追加作動を実施することができる。ユーザ情報３２２は、ユーザデータベース３０３の一部として維持することができる。ユーザデータベース３０３は、画像処理サーバ３００によって供給されるリソース（例えば、画像処理ツール）を使用することが認証かつ認可された様々なユーザの様々なユーザ情報を格納する。画像処理サーバ３００の画像処理リソースを使用する前に、ユーザは、アクセス制御モジュール（図示せず）による認証及び認可を受けるために画像処理サーバ３００のアカウントにログインしなければならない。

上述のように、動作制御により、様々なユーザアクション又は運動は、様々な画像処理指令又は画像処理作動に関連付けられるように構成することができる。動作制御は、ユーザがコンピュータに物理的にタッチすることなくコンピュータ（例えば、ワークステーション、タブレット、モバイルデバイス、ラップトップ、又はこれらのあらゆる組合せ）及び／又はその上のソフトウエアを作動させることを可能にすることができる。動作制御は、ユーザの身体及び／又は身体部位（例えば、手、指、腕、足、目、又はこれらのいずれか組合せ）の運動によってコンピュータを制御することができる。動作制御は、ユーザの運動を検出するためのコンピュータ上のカメラ又はコンピュータから物理的に分離されたカメラを用いてコンピュータを作動させることができる。カメラによって検出されたユーザの運動は、特定の指令を完成するためにシステムソフトウエア及び／又はサーバが解釈することができる。１つのカメラ又は複数のカメラが存在する場合がある。

例えば、ユーザが右から左に自分の手をスワイプした場合に、カメラはスワイプ運動を検出することができる。次いで、このスワイプ運動が処理される有効な運動であることを確実にするために、スワイプ運動をクライアントアプリケーション（例えば、画像処理クライアント）又はサーバ（例えば、画像処理サーバ）が調べることができる。運動が有効であった場合に、スワイプ運動信号をサーバに送ることができ、信号は処理されることになる。スワイプ運動は、次の画像（例えば、次のワークフロー）を表示する段階に相関付けることができる。サーバから次の表示画面及び／又は画像をクライアントアプリケーションに送ることができる。次いで、クライアントアプリケーションは、ユーザの右から左へのスワイプに基づいて新しい表示画面／画像を画面上に表示することができる。

動作制御は、音響ツール（例えば、コンピュータ内に設けられたか又はコンピュータから物理的に分離された複数のスピーカ及び／又はマイクロフォン）を使用することによって作動させることができる。スピーカは、マイクロフォンに跳ね返ることになる超音波を放出することができ、それによってユーザの運動（例えば、手の動き）を追跡することができ、特定の指令を完成するためにこの追跡をシステムソフトウエアが解釈することができる。動作制御は、ユーザの運動を追跡するのに赤外線技術を使用することによって作動させることができる。

システムソフトウエアは、事前ロード画像の特定の区域を表示する段階と相関するユーザの第１の身体部位を認識することができる。事前ロード画像は、バックエンドサーバが目印を生成するために前処理することができる。目印は、事前ロード画像の特定の区域と相関することができる（例えば、第１の目印は肝臓と相関することができ、第２の目印は大動脈と相関することができる）。例えば、ユーザの第１の指は腎臓を表すことができ、ユーザの第２の指は腎臓容積を表すことができる。ユーザが動作制御センサ（例えば、カメラ、スピーカ、マイクロフォン、赤外線センサ、又はこれらのあらゆる組合せ）の前で第１の指を操作すると、クライアントアプリケーション、ソフトウエア、及び／又はサーバは、この操作をクライアントアプリケーションがコンピュータ画面上に腎臓を表示するように処理することができる。ユーザが動作制御センサの前で第２の指を操作すると、クライアントアプリケーション、ソフトウエア、及び／又はサーバは、この操作をクライアントアプリケーションが腎臓容積を表示するように処理及び計算することができる。

視標追跡は、眼がフォーカス／移動されている場所をコンピュータが正確に知ることを可能にすることができるセンサ技術とすることができる。視標追跡は、コンピュータに接続された（例えば、無線又は有線で）リモート又はヘッドマウントの視標追跡器とすることができる。視標追跡は、光源（例えば、赤外線）及び／又はカメラ、又はあらゆる他の現在利用可能な方法を有することができる。カメラ及び／又はセンサは、光源の反射、並びに瞳孔のような視認可能な眼球特徴要素を追跡することができる。そのような情報は、眼の回転及び／又は注視方向を決定するために使用することができる。センサ、光源、及び／又はカメラは、ユーザの眼の目視経路を解析することができる。

タッチレス技術は、コンピュータを制御するためのタッチレストラックパッドを含むことができる。タッチレストラックパッドは無線とすることができる。例えば、タッチレストラックパッドは、カメラ、音響ツール、及び／又は赤外線センサを有することができ、それによってユーザは、トラックパッドに向けて動作を行うことができ、次いで、トラックパッドは、コンピュータ上のクライアントアプリケーション及び／又はコンピュータを制御するためにそのような信号を送ることができる。トラックパッドは、ユーザの直近（例えば、滅菌野内）にあるとすることができる。そのような指令は、上記で記述した適切なマッピングデータ構造を通して様々なユーザアクション又はユーザ運動にマップすることができる。

図４Ａ〜図４Ｄは、本発明のある一定の実施形態によるアクションマッピングデータ構造の例である。図４Ａ〜図４Ｄに示すマッピングデータ構造は、上記で記述したアクションマッピングテーブル（例えば、マッピングテーブル１２５）のうちのいずれかを表すことができる。図４Ａを参照すると、マッピングテーブル４００は、ある一定の画像のある一定のアクションを１又は２以上の画像処理指令又は画像処理作動のセットにマップする。マッピングテーブル４００は、画像ＩＤ４０１と、アクションＩＤ４０２と、１又は２以上の画像処理指令又は画像処理作動４０３とのセットを各々が含む複数のエントリを含む。要求がクライアントデバイスから受信されると、ユーザアクションのアクションＩＤと、任意的であるクライアントデバイスで現在表示されている画像の画像ＩＤとが決定される。アクションＩＤ及び画像ＩＤに基づいて、フィールド４０１〜４０２基づく参照によって一致するエントリの場所が決定される。画像処理指令又は画像処理作動４０３のセットが決定される。図４Ａに示す例では、右から左へのワイプというユーザアクションは、画像ＩＤ４０１によって識別される現画像に対して次の画像を受信することをユーザが望んでいることを示すことになる。同じく左から右へのスワイプというユーザアクションは、画像ＩＤ４０１によって識別される現画像の以前の画像に戻すことになる。外向き及び内向きの対角スワイプというユーザアクションは、それぞれズームイン及びズームアウトの指令として解釈されることになる。

次いで、図４Ｂを参照すると、マッピングテーブル４１０は、特定の画像の特定の目印４１１及び特定のユーザアクション４１２を１又は２以上の画像処理指令又は画像処理作動４１２にマップする。例えば、クライアントデバイスで現在表示されている画像内に目印が存在する場合に、ある一定のユーザアクションは、この目印に関する画像を取り出す又は処理させる。この例では、腎臓に関連付けられた目印上での第１のユーザアクションは、腎臓画像を取り出す又はレンダリングする指令として解釈されることになり、それに対して同じ目印上での第２のユーザアクションは、腎臓容積を計算する指令として解釈することができる。

図４Ｃのマッピングテーブル４２０は、特定のワークフロー段４２１及び特定のユーザアクション４２２を１又は２以上の画像処理指令又は画像処理作動４２３のセットにマップする。この例では、ワークフロー段ＩＤ４２１によって識別される現ワークフロー段に基づいて、右から左へのワイプというユーザアクションは、次のワークフロー段に関連付けられた１又は２以上の作動を実施する指令として解釈されることになる。同じく左から右へのスワイプというユーザアクションは、前のワークフロー段に関連付けられた１又は２以上の作動を実施する指令として解釈されることになる。

図４Ｄのマッピングテーブル４３０は、特定の目印又は画像４３３上の特定のユーザ身体部位４３１及び／又は特定のユーザアクション４３２を１又は２以上の画像処理指令又は画像処理作動４３４のセットにマップする。例えば、ユーザが人差し指を指す又は使用する場合に、そのような人差し指を腎臓画像を取り出す又はレンダリングする指令として認識及び解釈することができる。同じくユーザが自分の親指又は別の指を使用する場合に、その指を腎臓容積を計算する指令として解釈することができる。上記で記述した技術は、眼の動きに適用することができる。

図４Ａ〜図４Ｄに示すマッピングデータ構造は、単なる例示目的で記述したものであることに注意されたい。より多数又は少数のマッピングデータ構造、異なるフォーマット、及び／又は異なるマップされたアクションを構成及び利用することができる。上述のマッピング又は動作制御のうちの一部は、特定の構成に依存して個々に利用するか又は組合せで利用することができる。

図５Ａは、本発明の一実施形態によるタッチレス画像処理の処理を示す流れ図である。処理５００は、ソフトウエア、ハードウエア、又はその組合せを含むことができる処理論理部によって実施することができる。例えば、処理５００は、上記で記述したクライアントデバイス１０１〜１０２のようなクライアントデバイスによって実施することができる。図５Ａを参照すると、ブロック５０１において、処理論理部は、クライアントデバイス（例えば、マウス、キーボード、表示デバイス）に物理的に接触することのないユーザのユーザアクション（例えば、身体的アクション）を表す信号を受信する。クライアントデバイスは、処理されてリモート画像処理サーバから受信した第１の医療画像を現在表示している。ブロック５０２において、処理論理部は、予め構成された既知のアクションのリストに基づいてユーザアクションが有効アクションであるか否かを決定する。既知のアクションのリストは、現在表示されている第１の医療画像に関連付けられたものとすることができる。

ユーザアクションが有効であった（例えば、既知のアクションのリスト内で見つかった）場合に、処理論理部は、第１の医療画像の１又は２以上の医療画像データＩＤを決定する。医療画像データＩＤは、第１の画像を識別する画像ＩＤ又は第１の画像内の目印を識別する目印ＩＤとすることができる。ブロック５０４において、処理論理部は、ユーザアクションを識別するアクションＩＤ及び任意的な１又は２以上の画像データＩＤを画像処理サーバに送信し、画像処理サーバが第１の画像に関する１又は２以上の画像処理作動を決定して実施することを可能にする。画像処理サーバから第２の画像を受信する段階に応答して、ブロック５０５において、処理論理部は、クライアントデバイスで第２の画像を表示する。

図５Ｂは、本発明の一実施形態によるタッチレス画像処理の処理を示す流れ図である。処理５５０は、ソフトウエア、ハードウエア、又はその組合せを含むことができる処理論理部によって実施することができる。例えば、処理５５０は、上記で記述した図１のサーバ１０４のような画像処理サーバによって実施することができる。図５Ｂを参照すると、ブロック５５１において、処理論理部は、クライアントデバイスで表示されている第１の医療画像に基づいて医療画像処理作動を実施する要求をクライアントデバイスから受信する。要求は、クライアントデバイスを作動させているユーザのユーザアクションをユーザにクライアントデバイスに物理的に接触させることなく取り込んだ１又は２以上センサを通して受信される。ブロック５５２において、処理論理部は、要求からアクションＩＤ及び任意的な画像データを抽出する。

ブロック５５３において、処理論理部は、第１の画像に鑑みてユーザアクションＩＤ及び／又は画像データＩＤに基づいて１又は２以上の画像処理指令又は画像処理作動を決定する。一実施形態では、処理論理部は、画像処理指令又は画像処理作動を決定するために、１又は２以上のアクション／指令又はアクション／作動マッピングテーブル内でルックアップ作動を実施することができる。ブロック５５４において、処理論理部は、画像処理指令に基づいて１又は２以上の画像処理作動を実施する。画像処理作動は、画像データＩＤ（例えば、目印）によって識別することができる第１の画像によって表される身体部位の測定を実施する段階を含むことができる。ブロック５５５において、画像処理作動の結果として第２の画像が発生され、ブロック５５６において、第２の画像は、クライアントデバイスに送信され、その上で提示されることになる。

上記で記述した技術は、様々な画像処理指令又は画像処理作動に適用することができる。最も一般的な動作制御のうちの１つは、音声対話型制御である。画像処理サーバは、動作によって表されるユーザとの対話を処理するのにユーザとの相互対話機構を与えるために画像処理クライアントと通信することができる。ユーザは、ある一定のアクションを実施するようにシステムに命令するために、画像処理クライアントに結合されたマイクロフォンに向けて話すことができる。同様に、システムは、スピーカ又はメッセージ表示を通してユーザに命令を問い合わせるか又は促すことができる。

例えば、医師がシステムの自動臓器分割に満足しない場合に、これは、それを逐一変更しようと試みる代わりに、「結果を滑らかに」、「結果を拡大」、「結果を縮小」、「結果を移動」、「目印を変更」、「表示を変更」のような最終点志向指令を出すことができる。これらの言葉は、音声認識システム又は発話認識システム又は発話からテキストへのモジュールが認識し、上記で記述した指令処理モジュールが解釈することができる。タッチレス指令を用いて変更することができる他のことは、画像がどのように処理されるかを変更する（処理フローを変更する）こと、結果を変更すること、及び最終点を変更することを含む。更に、結果に結果を追加することができる。例えば、医師は、心血管内の狭窄の概要を求めることができ、次いで、カルシウムスコアを求めることができる。必要に応じてこれらの両方を同時に見ることができる。

別の実施形態により、システムは、事前構成されたワークフロー要素を利用することができる。例えば、ＥＶＡＲ（血管内動脈瘤修復）手順では、外科医は、腹部大動脈、左右の腎動脈、及び腸骨動脈の正面及び背面の表示を見ることを必要とする。システムは、これらの表示を事前構成するように構成することができ、容易な「次」及び「以前」又は類似の指令又は運動は、使用される指令、動作、又はデバイスにおけるナビゲーションを更に簡易化することを可能にする。システムは、解剖学的目印を自動的に検出し、高度画像処理を自動的に実施し、ユーザのプリファレンス／パラメータを自動的に組み込み、更に重要な点として、ユーザの簡単な指令に基づいて結果に対して調節及び追加を行うことができる。

図６は、本発明の一実施形態による画像処理クライアントと画像処理サーバの間の対話処理の例を示している。図６を参照すると、ブロック６０２は、ＴＡＩＰシステムによる最初の問い合わせ「どのような最終点をお望みですか？」を表している。ブロック６２８は、ユーザの応答「血管形成術、ＬＡＤ」を表している。ブロック６０４は、ＴＡＩＰシステムによって使用される目印及びパラメータを表している。これらの解剖学的目印及びパラメータを用いて、ＴＡＩＰシステムは結果を処理し（ブロック６０６）、その結果をクライアントに送信してクライアントデバイス内で表示する（ブロック６０８）。結果が表示されると、例えば、ＴＡＩＰは、いずれかの追加又は変更を望むか否かをユーザに問い合わせる（例えば、画像処理クライアントを通して）。ブロック６３０は、何を変更するかを示す「結果を変更」及びそれをどのように変更するのかを示す「狭窄を短く」というユーザの応答を表している。ブロック６１２は、狭窄長を短くする際のＴＡＩＰシステムの論理を表している。

「結果を変更、狭窄を短く」という簡単な指令を処理する段階の背後にはかなりの処理論理が存在することに注意することは重要である。ユーザは、この例では狭窄をどの程度短くするかに関する特定の命令を与えていない。この関連において、ＴＡＩＰシステムは、ＬＡＤ血管の外形を再評価し、前回識別した狭窄境界の近くにおける血管径の比較的急激な変化を探すことになる。システムは、より短い狭窄をもたらす可能性が最も高い次の境界を決定することになる。このようにして、ＴＡＩＰシステムは、簡単な音声指令に基づいて最も論理的な結果をユーザに提示することができる。

他の詳細を使用することができる。例えば、ユーザは、「結果を変更、狭窄を若干短く」又は「結果を変更、狭窄を有意に短く」と発話することができたであろう。これら２つの例では、ＴＡＩＰシステムは、ある距離パラメータの範囲で次の論理的狭窄境界を求めることになる。例えば、「狭窄を若干短く」は、元の狭窄長よりも短いが、その２ミリメートル（ｍｍ）の範囲にある狭窄全長をもたらす可能性が最も高い次の狭窄境界を求めることと解釈することができる。

ブロック６１４及びブロック６１６は、修正結果の処理段階及び送信段階をそれぞれ表している。ここでもまた、ＴＡＩＰシステムは、いずれかの追加／変更を望むか否かをユーザに問い合わせる（ブロック６１８）。この例では、ユーザは結果に追加を行いたいと望んでおり、ブロック６３２は、「放出分率を追加」というユーザの音声指令を表している。ブロック６２０は、この要求に対してＴＡＩＰシステムが決定する目印及びパラメータを表している。結果の処理段階及び送信段階をブロック６２２及び６２４がそれぞれ表している。いずれかの変更／追加に関してユーザに再度問い合わせが行われ（ブロック６２６）、この例では、ユーザは「なし」で応答している（ブロック６３４）。

図７は、本発明の一実施形態によるＴＡＩＰシステムが受信して処理することができる異なるタイプの音声指令のうちの一部を示している。図７を参照すると、この図は、画像処理結果に対して追加又は変更を行うことになる指令のうちの一部を示している。「アクション」と記している最初の行は、指令の最初の部分である「変更」又は「追加」を表している。「カテゴリ」と記している第２の行は、目印、パラメータ、画像処理フロー、結果、及び最終点を含む変更又は追加することができる様々なカテゴリを含む。音声指令の最初の部分は、これら２つの項目を含むことができる。例えば、「目印を変更」又は「結果に追加」である。音声指令の第２の部分は、より詳細な内容を含むことができ、その例を「詳細」行に示している。例えば、指令は「結果を変更、狭窄を短く」とすることができる。

他の例は、１）「目印を変更、狭窄を下に移動」（結果を前回示されたものとは異なる狭窄に変更することになる）、２）「結果を変更、腫瘍を拡大」（特徴的な腫瘍の外形又は区分を拡大することになる）、３）「結果を変更、腫瘍を滑らかに」（特徴的な腫瘍の外形又は区分を滑らかにすることになる）、４）「目印を変更、狭窄を若干短く」（識別された狭窄を短くするが、僅かだけ、例えば、１〜２ｍｍ又はそれよりも小幅に短くすることになる）を含むことができる。

列７０２、７０４、７０６、７０８、７１０、及び７１２は、実施することができる異なるタイプの指令を表している。他の指令を考えることもでき、上記は限定的であるように意図したものではない。更に、指令タイプのうちの一部は、ユーザからの更に別のフィードバックを取得するための信号をＴＡＩＰシステムに送ることができる。例えば、ユーザが「目印を移動、狭窄」という指令を出したが、狭窄をどのように移動したいかという詳細を提供しなかった場合に、ＴＡＩＰシステムは狭窄を表示し、狭窄をどのように移動したいのかをユーザに尋ねる。別の例では、ユーザは、「パラメータを変更、グラフトタイプ」という指令を出すが、グラフトタイプをどのように変更するかという詳細を示さない。ＴＡＩＰシステムは、次に、グラフトタイプに関する最も適切なオプションを表示することになり、時にはユーザがどれを選択すべきかを決定するのを助けるために様々なグラフトタイプの画像及び寸法を示す。

図８Ａ〜図８Ｄは、本発明のある一定の実施形態による画像処理クライアントのグラフィカルユーザインタフェースの例を示すスクリーンショットである。図８Ａは、特定の指令を出した後にユーザが見ることができるものの例を示している。例えば、ユーザは心血管形成術手順又はステント配置手順を実施しており、「血管形成術、ＬＡＤ」、「ＬＡＤ内の狭窄を表示」、「ＬＡＤを表示」、又は「心臓内の狭窄を表示」という口頭指令を出したものとすることができる。手術室の状況では、ＴＡＩＰシステムは、手術室内の患者に関する画像と共に既にロードされていることになる。ＴＡＩＰシステムは、指令を受信し、患者の走査画像及びユーザプリファレンスに関連付けられた情報を用いて図８Ａに示す画面を表示する。

これを行うために、一実施形態により、ＴＡＩＰシステムは、いくつかの解剖学的目印及びパラメータを決定する。一般的に、目印は、画像データによって駆動され、パラメータは、ユーザプリファレンスによって駆動される。例えば、身体部位目印は、心臓の場所及び区分（「ＬＡＤ」、「狭窄」、「心臓」、及び／又は「血管形成術」という用語によって決定される）を表している。目印は、ＬＡＤの場所及び区分を表すことができる。ＴＡＩＰシステムは、画像を解析することによってＬＡＤの場所を自動的に決定することができる。この場所決定は、様々な組織の密度、縁部などを解析することによって行われる。この解析は、実時間で行うことができ、又は当該処理時間の前に走査画像に対して実施することができる。目印は、狭窄の場所及び区分を表すことができる。同様に、ＴＡＩＰシステムは、狭窄の可能性を示すＬＡＤの急激な直径変化がより多く存在する場所を決定することができる。目印は、血管寸法（血管の直径、長さ、断面積、容積のような）又は狭窄寸法（狭窄の直径、長さ、断面積、容積、％狭窄のような）を表すことができる。ユーザがこのタイプの結果（心血管解析）に向けて表示されるある一定の表示を好む可能性がある場合に、ユーザは、表示のような１又は２以上のパラメータを指定することができる。

図８Ａを再度参照すると、２つの表示区域が示されている。表示区域８０４は、心臓の３Ｄ表示をＬＡＤ血管の明確な表示と共に示している。表示区域８０２は、ＬＡＤのＣＰＲ（曲面多断面再構成）表示を示している。ＣＰＲ表示内には、狭窄長、狭窄径、最小及び最大直径、平均直径、及び面積を含む血管／狭窄に沿った様々な場所における詳細な測定値が含まれる。同じく狭窄による血管のパーセント狭窄が含まれる。

ＴＡＩＰシステムは、いずれかの変更を望むか否かをユーザに尋ねることができる。答えが口頭の「ノー」であった場合に、図８Ａに示す表示画面は、医師を助けるために血管形成術手順の継続時間にわたって手順に更に入って変更／追加が望ましい場合のために目に見える状態に留まることができる。医師は、変更及び／又は追加を行いたいと望む場合に、どのタイプの変更／追加を行いたいかを説明する口頭指令で応答することができる。例えば、医師は、最初に示されたものよりも狭窄が短い可能性があると考えた場合に、「結果を変更、狭窄を短く」と発話することができる。

図８Ｂは、「結果を変更、狭窄を短く」指令の結果として表示することができる画面を示している。今度は狭窄（ＣＰＲ表示内のＡとＢの間の部位）が短めであることに注意されたい。更に、変更された狭窄長を反映するために、様々な測定値、直径、面積等が再計算されていることに注意されたい。医師は、これらの結果に満足した場合に、ＴＡＩＰシステムがいずれかの変更／追加が望ましいか否かを再度問い合わせた時に「ノー」と応答することができる。これに代えて、医師は、患者／状態に関するいずれかの追加情報を望む場合がある。例えば、医師は、カルシウムスコア又は放出分率解析の結果を見たいと望む場合がある。この場合に、医師は、「結果に追加、放出分率」という口頭指令を与えることができる。この場合にも、結果を自動的に生成するためにＴＡＩＰシステムによっていくつかの目印及びパラメータが使用される。例えば、１）心臓の場所及び区分（「放出分率」という用語によって決定される）、２）右心室の場所及び区分、３）石灰化部位、４）カルシウムスコア（石灰化組織の相対的な面積／場所によって決定される）を識別するためにある一定の目印を使用することができる。

図８Ｃは、「結果に追加、放出分率」指令の後にＴＡＩＰシステムが表示することができる画面を示している。表示区域８０２は、変わらずに前の結果であるＬＡＤ狭窄解析の構成要素を示しており、それに対して表示区域８０４は、この場合に、極座標マップ及び数値結果を含む放出分率解析の結果を示すことに注意されたい。この表示画面を生成するために、このユーザの表示プリファレンスを含むパラメータがＴＡＩＰシステムによって使用される。この場合に、ＬＡＤ狭窄解析のＣＰＲ表示が表示区域８０２内に示されており、放出分率解析に関する極座標マップが表示区域８０４内に示されている。しかし、これら２つの解析に関する他の結果表示が利用可能であり、かつ示すことができる。これら２つの結果に関してユーザの表示プリファレンスを左右するパラメータは、どの結果表示を示すかを決定付けている。これらのプリファレンスは、予めユーザによって手動で設定されたものとすることができ、デフォルト設定とすることができ、又はユーザが前回好んだ表示とすることができる。

図８Ｄは、異なるユーザ表示プリファレンスセットに対してＴＡＩＰシステムが表示することができる画面を示している。図８Ｃに示す画面と同様に、この画面は、ＬＡＤ狭窄解析及び放出分率解析に関する結果を示している。しかし、これらの表示は非常に異なる。このユーザは、ＣＰＲ ＬＡＤ表示よりも３Ｄ ＬＡＤ表示を優先する表示プリファレンスを有する。更に、このユーザは、図８Ｃに示す放出分率数値結果よりも時間−容積グラフを見ることを好んでいる。この場合にもＴＡＩＰシステムは、いずれかの変更／追加が望ましいか否かを問い合わせることになる。医師は、いずれかのパラメータ又は目印を変更したい場合に、特定の変更／追加を示す口頭指令を与えることになる。

このようにして、ＴＡＩＰシステムは、ユーザが必要とする表示及び結果を最少数の指令のみを用いて正確に提供することができる。タッチレス指令を与えることは煩わしい可能性があるので、指令の複雑さ及び回数を最小限に保つことは、ユーザが目の前にある滅菌手順に集中することを可能にする。ＴＡＩＰは、事前構成ワークフロー要素を利用することができる。例えば、ＥＶＡＲ（血管内動脈瘤修復）手順では、外科医は、腹部大動脈、左右の腎動脈、及び腸骨動脈の正面及び背面の表示を見ることを必要とする。ＴＡＩＰシステムは、これらの表示を事前構成するように構成することができ、容易な「次」及び「以前」又は類似の指令又は運動は、使用される指令、動作、又はデバイスにおけるナビゲーションを更に簡易化することを可能にする。

図９Ａ〜図９Ｄは、本発明のある一定の実施形態による事前構成ワークフローの様々な例示的スクリーンショットを示している。図９Ａは、左腎動脈の詳細表示を示す画面である。これらの表示は、３Ｄ正面表示、３Ｄ背面表示、及びＣＰＲ（曲面多断面再構成された）表示を含む。この画面は、「左腎」、「次」、又は「以前」という音声指令を出すことによって見ることができる。図９Ｂは、右腎動脈の詳細表示を示す画面である。これらの表示は、３Ｄ正面表示、３Ｄ背面表示、及びＣＰＲ（曲面多断面再構成された）表示を含む。この画面は、「右腎」、「次」、又は「以前」という音声指令を出すことによって見ることができる。図９Ｃは、右腸骨動脈の詳細表示を示す画面である。これらの表示は、３Ｄ正面表示、３Ｄ背面表示、及びＣＰＲ（曲面多断面再構成された）表示を含む。この画面は、「右腸骨」、「次」、又は「以前」という音声指令を出すことによって見ることができる。図９Ｃは、左腸骨動脈の詳細表示を示す画面である。これらの表示は、３Ｄ正面表示、３Ｄ背面表示、及びＣＰＲ（曲面多断面再構成された）表示を含む。この画面は、「左腸骨」、「次」、又は「以前」という音声指令を出すことによって見ることができる。

上述のように、図１の画像処理エンジン１２０及び／又は画像処理システム１０５は様々な画像処理ツールにアクセスし、これらを使用することができる。以下は、上記で記述した画像処理システムの一部として含めることができる医療画像処理ツールの例である。これらの例は、例示目的で提供するものであり、本発明の限定であるように意図しているものではない。

血管解析ツールは、冠状動脈エンドグラフト計画立案から大動脈エンドグラフト計画立案までの広範囲にわたる血管解析タスク、並びに頸動脈及び腎動脈を含むより一般的な血管の精査を行うことができるＣＴ血管造影及びＭＲ血管造影のための全体的血管解析パッケージを含むことができる。自動中心線抽出、直線化表示、直径及び長さの測定、ＣＰＲレンダリング及び軸線方向レンダリング、並びに自動化された薄スラブＭＩＰのための血管追跡モードを含めることができる。

カルシウムスコアリングツールは、アガストン、容積、及びミネラル量のアルゴリズムを用いた冠動脈カルシウムの半自動識別を含むことができる。カスタム化オプションを有する組み込みレポーティングパッケージを含めることができる。

時間依存解析ツールは、ＣＴ又はＭＲを用いて得られる時間分解された平面又は立体の４Ｄ脳灌流検査を含むことができる。ＴＤＡツールは、解析を迅速化するための入力関数及びベースラインの半自動選択により、平均増強時間及び増強積分のような様々なパラメータのカラー又はマッピングをサポートすることができる。ＴＤＡツールは、取得結果の数分以内の解釈を確実にするために動的４Ｄ面検出器ＣＴ検査の高速な自動処理をサポートすることができる。

ＣＴ／ＣＴＡ（コンピュータ断層撮像血管造影）減算ツールは、ＣＴ血管造影検査結果からの非増強構造（例えば、骨）の除去に使用され、ＣＴ／ＣＴＡオプションは、造影前画像と造影後画像との自動位置合わせと、それに続くノイズを増強することなくＣＴＡ走査結果から高強度構造（骨及び外科クリップのような）を除去し、造影増強血管構造の単離に役立つ密ボクセルマスキングアルゴリズムとを含む。

小葉分解ツールは、着目容積内、例えば、血管床又は肝臓のような臓器を含む走査領域内で樹状構造を識別する。次いで、ＬＤツールは、所与の樹枝又はその部分枝のうちの１つに対する近接性に基づいて着目部分容積を識別することができる。研究用途は、臓器の小葉構造の解析を含む。

「低線量における全体的増強及びノイズ処理（Ｇｅｎｅｒａｌ Ｅｎｈａｎｃｅｍｅｎｔ ＆ Ｎｏｉｓｅ Ｔｒｅａｔｍｅｎｔ ｗｉｔｈ Ｌｏｗ Ｅｘｐｏｓｕｒｅ）」ツールは、原画像の品質が最適ではない場合でも、３Ｄ、中心線、輪郭抽出、及び区分化のアルゴリズムの有効性を改善するためにノイズ管理技術を適用する高度立体フィルタアーキテクチャを含む。

Ｓｐｈｅｒｅｆｉｎｄｅｒツールは、高い真球率（多くの小結節及びポリープに示す特性）を有する構造の場所を識別するために立体的検査結果の自動解析を実施する。多くの場合に、Ｓｐｈｅｒｅｆｉｎｄｅｒは、潜在的な着目部位を識別するために肺又は結腸のＣＴ走査と併用される。

区分化ツール、解析ツール、及び追跡ツールは、孤立性肺小結節又は他の潜在的な病変のような塊及び構造の解析及び特徴付けをサポートする。これらのツールは、着目領域を識別及び区分化し、次いで、ＲＥＣＩＳＴ及びＷＨＯのような測定基準を適用することができ、発見物及び追跡比較の表式レポーティングをもたらす。Ｓｐｈｅｒｅｆｉｎｄｅｒを含む任意的な検出エンジンからの候補マーカの表示及び管理は、サポートすることができる。

時間容積解析ツールは、心室のような律動運動状態にある心室腔からの放出分率の自動計算を提供することができる。ユーザが、当該の壁境界（例えば、心外膜及び心内膜）を識別し、更にこれらのユーザ確認された着目領域に基づいて、多相ＣＴデータから放出分率、壁容積（質量）、及び壁厚をレポートすることを可能にする高速で効率的なワークフローを含めることができる。表式レポーティング出力が含められる。

顎顔面ツールは、顎顔面領域のＣＴ検査結果の解析及び視覚化をサポートし、ＣＰＲツールを適用して様々な平面に様々な厚みの「パノラマ」投影を生成し、更に定められた曲平面に沿って設定区分で断面ＭＰＲ表示を生成する。

結腸、肺、又は血管のような腔内のＣＴ調査又はＭＲ調査に適用可能なものとして、Ｆｌｙｔｈｒｏｕｇｈツールは、対照精査、既に観察された部位の塗り潰し、パーセントカバレージの追跡、並びに順方向、逆方向、フィッシュアイ、及び平面のボリュームレンダリング表示を含む複数の画面レイアウトをサポートする。造影減算、「Ｃｕｂｅ Ｖｉｅｗ」、及び組み込み状況レポーティングのためのツールは、サポートすることができる。ｉＮｔｕｉｔｉｏｎのＳｐｈｅｒｅｆｉｎｄｅｒを含む任意的な検出エンジンからの候補マーカの表示及び管理は、サポートすることができる。

立体ヒストグラムツールは、当該の容積を区分化し、組成に関して解析することを可能にする。研究用途は、肺の低減衰領域の解析、閾値に基づくボクセル集団への腫瘍の分割、血栓血管、動脈瘤、又は他の病状の調査を含む。

発見物ワークフローツールは、一連の検査にわたって発見物を追跡するためのフレームを与える。データベースが測定値及び重要な画像を維持し、一連の比較を提供するためのＲＥＣＩＳＴ１．１手法のような経時的な発見物の構造化比較及び表式レポーティングに対するサポートを提供する。音声認識システム又は臨床データベースとの自動統合に向けて「注釈及び画像マークアップ（ＡＩＭ）ＸＭＬ（Ａｎｎｏｔａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｍａｒｋｕｐ（ＡＩＭ） ＸＭＬ）」スキーマをサポートすることができ、データベースからＷｏｒｄベースのレポートを導出することができる。

これらのツールを用いて、ＣＴ、ＰＥＴ、ＭＲ、又はＳＰＥＣＴのいずれか２つの系列、又はこれらのいずれかの２系列組合せは、一方に半透明のカラーコードが割り当てられ、他方が解剖学的参照に向けてグレースケール及びボリュームレンダリングで示された状態で重ねることができる。自動位置合わせが施され、一時的な系列又は保存された第３の系列に対する減算が可能である。ＰＥＴ／ＭＲ視覚化に対するサポートが含まれる。

ある一定のＭＲ検査（例えば、乳房ＭＲ）は、ある期間にわたって行われる一連の画像取得を伴い、ある一定の構造は、時間が経つ時に他の構造に対して増強された状態になる。これらのツールは、全ての増強後画像から増強前画像を減算して増強構造（例えば、血管構造及び他の増強組織）の視覚化表現を強調する機能を特徴として有する。所与の領域の時間−強度グラフをプロットするために時間依存着目領域ツールを提供することができる。

パラメータマッピングツールは、多相ＭＲツールに対する拡張であり、パラメータマッピングオプションは、オーバーレイマップを事前計算し、この場合に、画像内の各ピクセルが、ピクセル強度の時間依存挙動に基づいてカラー符号化される。一例として、このツールは、乳房ＭＲにおいて増強領域の識別及び調査を迅速化するために使用することができる。

ＭｕｌｔｉＫｖツールは、複数の販売者からの「二重エネルギ及びスペクトル撮像（Ｄｕａｌ Ｅｎｅｒｇｙ ａｎｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ）」取得法に対するサポートを提供し、区分化又はコントラスト抑制のような標準画像処理アルゴリズム、並びに正確な解析及び新しい技術の開発のための汎用ツールキットを提供する。

上記で記述した実施形態は、様々な医療分野に適用することができる。例えば、上記で記述した技術は、血管解析（血管内動脈瘤修復（ＥＶＡＲ）及び電気生理（ＥＰ）検査の計画立案）に適用することができる。そのような血管解析は、大動脈エンドグラフト及び電気生理検査の計画立案に加えて、頸動脈及び腎臓動脈のような冠動脈血管解析と一般的な血管解析の両方の解釈に向けて実施される。クラウドサービスとして提供されるツールは、自動中心線抽出、直線化表示、直径及び長さの測定、曲面多断面再構成（ＣＰＲ）、及び軸線方向レンダリング、並びに血管径対距離のグラフ生成及び断面表示を含む。血管追跡ツールは、ナビゲーション及び深部の調査を容易にするために血管中心線に沿って進行し、その周りに回転する最大強度投影（ＭＩＰ）表示を２つの直交平面に提供する。粥腫解析ツールは、軟質粥腫、石灰化粥腫、及び壁内病変のような非管腔構造の詳細な描写を提供する。

これに加えて、上記で記述した技術は、血管内動脈瘤修復の分野に対して利用することができる。一部の実施形態により、クラウドサービスとして提供される血管解析ツールは、エンドグラフトのサイズ決定に向けて測定値を取り込むレポートテンプレートの定義をサポートする。複数のアクセス点を使用するＥＶＡＲ手順の計画立案を可能にするために複数の中心線を抽出することができる。血管に対して垂直な直径は、２つの大動脈腸骨動脈経路に沿った距離と共に測定することができる。大動脈エンドグラフトの主な製造業者の測定仕様をステントサイズ決定に必要とされるものにするためにカスタムワークフローテンプレートを使用することができる。更に、有窓分岐デバイスの計画立案に向けて血管枝の向き及び場所を記述するのに役立つ「文字盤」オーバーレイを用いた嚢の区分及び容積の特定を使用することができる。必要な測定値及びデータを含むレポートを生成することができる。

上記で記述した技術はまた、各肺静脈口の半自動左心房区分化が大静脈及び小静脈の直径の評価に向けてクラウドサービスとして提供されるシングルクリック距離対ツールによってサポートされる左心房解析モードで適用することができる。測定値は自動的に検出され、組み込みレポーティングシステム内に取り込まれる。アブレーション及びリード手法計画立案に向けて包括的でカスタム化されたＥＰ計画立案ワークフローを与えるために、上述の機能を他の血管解析ツールと組み合わせることができる。

上記で記述した技術はまた、カルシウムスコアリングに利用することができる。冠動脈カルシウムの半自動識別は、画面上で合計されて報告されるアガストン、容積、及びミネラル量のアルゴリズムによってサポートされる。その結果は、患者と、患者の心臓血管履歴及び危険ファクタとに関する様々な他のデータと共にオープンフォーマットのデータベースに格納することができる。カスタム化されたレポートは、クラウドサービスの一部としてこれらのデータに基づいて自動的に生成することができる。更に、「心血管コンピュータ断層撮像学会（Ｓｏｃｉｅｔｙ ｏｆ Ｃａｒｄｉｏｖａｓｃｕｌａｒ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ（ＳＣＣＴ））」指針によって定められたものとしてのレポーティングも含まれる。

上記で記述した技術はまた、多相データからの左心室容積、放出分率、心筋容積（質量）、及び壁肥厚の全自動計算を含むことができる時間−容積解析（ＴＶＡ）に対して利用することができる。クラウドサービスの一部分として提供される高速かつ効率的なワークフローは、レベル及び輪郭の容易な検証又は調節を可能にする。その結果は、組み込みレポーティング機能内で提示される。

上記で記述した技術はまた、肺のＣＴ検査を含む様々な走査における塊及び構造の解析及び特徴付けをサポートすることを含む区分の解析及び追跡（ＳＡＴ）の分野に対して利用することができる。特徴的機能は、シングルクリックによる塊の区分化、区分化の問題を解決するための手動編集ツール、寸法及び容積の自動レポーティング、選択領域のグラフィカル３Ｄ表示、組み込み自動レポーティングツール、パーセント容積変化及び倍加時間を含む追跡比較に対するサポート、並びに真球度フィルタ結果の精査に対するサポートを含む。

上記で記述した技術はまた、結腸の自動区分化及び中心線抽出という特徴的機能を含むことができ、必要に応じてこれらの中心線を再定めるために編集ツールが利用可能なフライスルーの分野に対して利用することができる。２Ｄ精査は、代表的な同期腔内表示と共に、軸線方向表示、冠状表示、及び矢状表示のいずれかの中に並置された背臥位と腹臥位との同期データセットを含む。３Ｄ精査は、大きい腔内表示及び結腸全体を表示する展開表示と共に、軸線方向、冠状、及び矢状のＭＰＲ又はＭＩＰの画像表示を含む。未観察セクションの段階的精査、ワンクリックによるポリープ識別、発見物のブックマーク及び融合、並びに着目容積を単離するための立方体表示及び組み込み状況レポーティングツールによる１００％カバレージを確実にするために、カバレージ追跡がサポートされる。真球度フィルタ結果の使用に対するサポートが提供される。

上記で記述した技術はまた、脳灌流研究等において適切なコンピュータ断層撮影血管造影（ＣＴＡ）及び／又はＭＲＩ検査の時間依存挙動を解析するための評価ツール与える時間依存解析（ＴＤＡ）の分野に対して利用することができる。その特徴的機能は、複数の時間依存系列を同時にロードすることに対するサポートと、入力機能及び出力機能、並びに着目領域を選択するための手順ワークフローとを含む。組み込みレポーティングツールが、血流量、血液量、及び通過時間マップをＤＩＣＯＭにエクスポートする機能と並んで与えられる。更に、これらのツールは、様々な時間依存パラメータを計算するために時間依存ＭＲ取得法と併用される。

上記で記述した技術はまた、造影前画像と造影後画像との自動位置合わせと、それに続くノイズを増強させることなく、更に造影によって増強された血管構造を無傷のままに留めてＣＴＡ走査結果から高強度構造（骨及び外科クリップのような）を除去する減算技術又は密ボクセルマスキング技術とを含むＣＴＡＣＴ減算の分野に利用することができる。

上記で記述した技術はまた、歯科ＣＴ走査結果の精査に適用することができ、様々な平面に様々な厚みの「パノラマ」投影を生成し、定められた曲平面に沿って設定区分で断面ＭＰＲ表示を生成する機能を与えるＣＰＲツールを与える歯科解析に対して利用することができる。

上記で記述した技術はまた、多相ＭＲ（基本的である例えば胸部ＭＲ、前立腺ＭＲ）の分野に対して利用することができる。ある一定のＭＲ検査（例えば、胸部ＭＲ、前立腺ＭＲ）は、ある期間にわたって行われる一連の画像取得を含み、ある構造は、時間が経つ時に他の構造に対して増強された状態になる。このモジュールは、全ての増強後画像から増強前画像を減算して増強構造（例えば、血管構造及び他の増強組織）の視覚化表現を強調する機能を特徴として有する。所与の領域の時間−強度グラフをプロットするために時間依存着目領域ツールを与えることができる。

上記で記述した技術はまた、パラメータマッピングモジュールがオーバーレイマップを事前計算し、画像内の各ピクセルが、ピクセル強度の時間依存挙動に基づいてカラー符号化されるパラメータマッピング（例えば、多相胸部ＭＲのための）に対して利用することができる。更に、上記で記述した技術は、Ｓｐｈｅｒｅｆｉｎｄｅｒ（例えば、肺及び結腸に対する真球度フィルタ）に利用することができる。Ｓｐｈｅｒｅｆｉｎｄｅｒは、データセットが受信されるや否やそれを前処理し、フィルタを適用して球状構造を検出する。多くの場合に、この検出は、潜在的な着目部位を識別するために肺又は結腸のＣＴ走査と併用される。上記で記述した技術はまた、ＣＴ／ＭＲ／ＰＥＴ／ＳＰＥＣＴに関する融合に対して利用することができる。いずれか２つのＣＴ、ＰＥＴ、ＭＲ、又はＳＰＥＣＴの系列、又はその２系列組合せをオーバーレイすることができ、その一方は、半透明のカラーコードが指定され、他方は、解剖学的基準のためにグレースケール及び容積レンダリングで示される。ＣＴ、ＰＥＴ、ＭＲ、又はＳＰＥＣＴのいずれか２つの系列、又はいずれかの２系列組合せは、一方に半透明のカラーコードが割り当てられ、他方が解剖学的参照に向けてグレースケール及びボリュームレンダリングで示された状態で重ねることができる。自動位置合わせが施され、一時的な系列又は保存された第３の系列に対する減算が可能である。

上記で記述した技術はまた、小葉分解の分野に対して利用することができる。小葉分解は、解剖学的構造を念頭において設計された解析及び区分化ツールである。樹状構造（例えば、動脈樹及び／又は静脈樹）と交錯するいずれかの構造又は臓器の領域に対して、小葉分解ツールは、ユーザが着目容積、並びに関連の樹を選択し、その容積を樹又はその特定の分枝の最も近位にある葉又は領域に分割することを可能にする。この汎用柔軟なツールは、肝臓、肺、心臓、並びに様々な他の臓器、並びに病理学的構造の解析において潜在的な研究用途を有する。

上記で記述した技術はまた、立体ヒストグラムの分野に対して利用することができる。立体ヒストグラムは、様々な強度範囲又は密度範囲の集団への構成ボクセルの分割に基づく所与の着目容積の解析をサポートする。この解析は、例えば、癌の疾病過程の研究（活性腫瘍と壊死組織と浮腫の間の均衡を理解する試みにおいて腫瘍の組成を解析することが望ましい）又は気腫の疾病過程の研究（肺ＣＴ検査の低減衰ボクセルの集団を初期疾病の有意なインジケータとすることができる）などをサポートするために使用することができる。

上記で記述した技術はまた、運動解析の分野に対して利用することができる。運動解析は、対話型３Ｄ又は４Ｄの表示が利用不能である時に発見物のより有効な通信に向けて４Ｄ処理の強力な２Ｄ表現を提供する。拍動中の心臓のようないずれかの動的容積の取得結果に対して、動的シーケンスを通して重要な境界のカラー符号化した「試行」外形を生成するために運動解析を適用することができ、それによって単一２Ｄフレームを取り込んで、文献に直ちに報告することができる方式で運動を示すことが可能になる。カラーパターンの均一性又はその欠如は、運動が調和的である程度を反映し、単一画像からの即時の視覚的フィードバックを与える。

図１０は、本発明の一実施形態と併用することができるデータ処理システムのブロック図である。例えば、システム１０００は、上記で記述したサーバ又はクライアントの一部として使用することができる。例えば、システム１０００は、上記で記述したクライアントデバイス（例えば、クライアントデバイス１０１〜１０２）又は画像処理サーバ（例えば、サーバ１０４）のうちのいずれかを表すことができる。図１０は、コンピュータシステムの様々な構成要素を示すが、そのような詳細は本発明には密接に関連しないので、これらの構成要素を相互接続するいずれの特定のアーキテクチャ又は方式を表すようにも意図したものではないことに注意されたい。更に、より少数の構成要素又は時にはより多数の構成要素を有するネットワークコンピュータ、手持ち式コンピュータ、セル電話、及び他のデータ処理システムを本発明と併用することができることも認められるであろう。

図１０に示すように、データ処理システムの形態にあるコンピュータシステム１０００は、１又は２以上のマイクロプロセッサ１００３と、ＲＯＭ１００７と、揮発性ＲＡＭ１００５と、不揮発性メモリ１００６とに結合されたバス又は相互接続部１００２を含む。マイクロプロセッサ１００３は、キャッシュメモリ１００４に結合される。バス１００２は、これらの様々な構成要素を互いに相互接続し、かつこれらの構成要素１００３、１００７、１００５、及び１００６を表示コントローラ及び表示デバイス１００８、並びにマウス、キーボード、モデム、ネットワークインタフェース、プリンタ、及び当業技術で公知の他のデバイスとすることができる入力／出力（Ｉ／Ｏ）デバイス１０１０に相互接続する。

典型的には、入力／出力デバイス１０１０は、入力／出力コントローラ１００９を通してシステムに結合される。揮発性ＲＡＭ１００５は、典型的には、メモリ内のデータをリフレッシュ又は維持するために継続的に電力を必要とする動的ＲＡＭ（ＤＲＡＭ）として実施される。不揮発性メモリ１００６は、典型的には、磁気ハードドライブ、磁気光ドライブ、光ドライブ、又はＤＶＤ ＲＡＭ、又はシステムから電力が取り除かれた後もデータを維持する他のタイプのメモリシステムである。典型的には、不揮発性メモリは、ランダムアクセスメモリともなるが、これは必要なわけではない。

図１０は、不揮発性メモリがデータ処理システム内の構成要素のうちの残りのものに直接に結合された局所デバイスであることを示すが、本発明は、システムからリモートである不揮発性メモリ、例えば、データ処理システムにモデム又はイーサネット（登録商標）インタフェースのようなネットワークインタフェースを通して結合されたネットワークストレージデバイスを利用することができる。バス１００２は、当業技術で一般に知られているように、様々なブリッジ、コントローラ、及び／又はアダプタを通して互いに接続された１又は２以上のバスを含むことができる。一実施形態では、Ｉ／Ｏコントローラ１００９は、ＵＳＢ周辺機器を制御するためのＵＳＢ（ユニバーサルシリアルバス）アダプタを含む。これに代えて、Ｉ／Ｏコントローラ１００９は、ＦｉｒｅＷｉｒｅデバイスを制御するためにＦｉｒｅＷｉｒｅアダプタとしても公知のＩＥＥＥ−１３９４アダプタを含むことができる。

ここまでに詳述した説明のうちのいくつかの部分は、コンピュータメモリ内のデータビットに対する作動のアルゴリズム及び記号表現に関して提示したものである。これらのアルゴリズム記述及び表現は、データ処理技術の当業者が自身の制作物の内容を他の当業者に最も実質的に伝えるために使用する手法である。本明細書においてかつ一般的に、アルゴリズムは、望ましい結果に至る自己矛盾のない作動シーケンスであると考えられる。これらの作動は、物理量の物理的操作を必要とするものである。

しかし、これらの用語及び類似の用語の全ては、適切な物理量に関連付けられるべきものであり、これらの量に適用された有利なラベルに過ぎないことに注意されたい。上述の解説から明らかなものとは別に特別に述べない限り、本明細書を通じて下記の特許請求の範囲に示すもののような用語を利用する解説は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されたデータを操作し、かつコンピュータシステムのメモリ又はレジスタ、又は他のそのような情報ストレージ、送信デバイス、又は表示デバイス内の物理量として表される他のデータに変換するコンピュータシステム又は類似の電気コンピュータデバイスのアクション及び処理に言及することは認められる。

図に示す技術は、１又は２以上の電子デバイス上に格納され、その上で実行されるコード及びデータを用いて実施することができる。そのような電子デバイスは、非一時的コンピュータ可読ストレージ媒体（例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリデバイス、相変化メモリ）及び一時的コンピュータ可読送信媒体（例えば、搬送波、赤外線信号、デジタル信号のような電気、光、音響、又は他の形態の伝播信号）のようなコンピュータ可読媒体を用いてコード及びデータを格納して通信する（内部で及び／又はネットワーク上で他の電子デバイスと）。

先行する図に示した処理又は方法は、ハードウエア（例えば、回路、専用論理部のような）、ファームウエア、ソフトウエア（例えば、非一時的コンピュータ可読媒体上に具現化された）、又は両方の組合せを含む処理論理部によって実行することができる。上記ではこれらの処理又は方法を一部の順次作動に関して記述したが、記述した作動のうちの一部は、異なる順序で実行することができることを認めなければならない。更に、一部の作動は、順次ではなく並行して実行される場合がある。

以上の本明細書では、本発明の実施形態を本発明の特定の例示的実施形態を参照して記述した。それに対して様々な修正を以下の特許請求の範囲に示す本発明の広義の精神及び範囲から逸脱することなく加えることができることは明白であろう。従って、本明細書及び図面は、限定的な意味ではなく例示的意味で捉えるものとする。

１００ データ処理システム
１０５ 医療画像処理システム
１１４ 動作制御モジュール
１２０ 医療画像処理エンジン
１２５ アクション／指令マッピングテーブル

Claims (9)

1. 医療画像処理のためのコンピュータ実装方法であって、
   画像処理サーバからネットワーク上で受信された第１の医療画像をクライアントデバイスの表示デバイスで表示する段階と、
   前記クライアントデバイスによってホストされた動作制御モジュールにより、１又は２以上のセンサから信号を受信する段階と、
   前記動作制御モジュールにより、ユーザの該ユーザの身体的アクションを表すユーザアクションを前記信号に基づいて決定する段階と、
   指令処理モジュールにより、前記ユーザアクションが前記第１の医療画像に鑑みて有効であるか否かを決定する段階と、
   前記ユーザアクションが有効であると決定することに応答して、該ユーザアクションを識別するユーザアクション識別子（ＩＤ）と前記第１の医療画像を識別する任意的画像ＩＤとを含む要求を前記画像処理サーバに前記ネットワーク上で送信する段階と、
   前記ユーザアクションＩＤと前記第１の医療画像の前記画像ＩＤとに基づいて決定された１又は２以上の画像処理作動を実施することによって前記画像処理サーバによって発生された第２の医療画像を該画像処理サーバから受信する段階と、
   前記第２の医療画像を前記クライアントデバイスの前記表示デバイスで表示する段階と、
   を含むことを特徴とする方法。
2. 前記画像処理作動は、前記第１の医療画像の１又は２以上の目印に基づいて測定を実施する段階を含み、
   前記第２の医療画像は、前記第１の医療画像に基づく前記測定の結果を表す、
   ことを特徴とする請求項１に記載の方法。
3. 前記１又は２以上のセンサは、マイクロフォン、カメラ、赤外線センサ、又は運動検出器のうちの少なくとも１つを含み、
   前記ユーザアクションは、前記クライアントデバイスに物理的にタッチすることなく実施されたものである、
   ことを特徴とする請求項１に記載の方法。
4. 前記要求は、前記クライアントデバイスで現在表示されている前記第１の医療画像に関連付けられた１又は２以上の目印を更に含むことを特徴とする請求項１に記載の方法。
5. 前記ユーザアクションが有効なユーザアクションであるか否かは、
   アクションデータ構造内でルックアップ作動を実施して前記ユーザアクションが該アクションデータ構造内に列挙されているか否かを決定する段階と、
   前記ユーザアクションが前記アクションデータ構造内に列挙されていないと決定することに応答して、該ユーザアクションが無効であることを示すメッセージを前記ユーザに提示する段階と、
   を含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記アクションデータ構造は、前記第１の医療画像に対して有効として構成された予め決められたアクションのリストを含有することを特徴とする請求項５に記載の方法。
7. 前記画像処理サーバは前記ユーザアクション識別子（ＩＤ）に基づいて、１つ以上の画像処理指令を決定するようになっており、
   １又は２以上の画像処理指令の第１のセットを識別するために前記第１の画像の１又は２以上の目印に基づいてアクションから指令（アクション／指令）マッピングデータ構造内でルックアップ作動を実施する段階と、
   前記ユーザアクションＩＤに基づいて前記第１のセットから１又は２以上の画像処理指令の第２のセットを決定する段階と、
   を含む、
   ことを特徴とする請求項１に記載の方法。
8. プロセッサによって実行された時に該プロセッサをして作動を実施させる命令が格納された非一時的機械可読ストレージ媒体であって、
   プロセッサによって実行される場合において、方法の請求項１ないし７に記載のいずれか１つの作動を前記プロセッサに実施させるようになっている、ことを特徴とする媒体。
9. プロセッサと、
   命令を格納するための前記プロセッサと結合されたメモリとを含む装置であって、該装置が前記メモリから実行される場合において、請求項１ないし７に記載のいずれか１つの方法を前記プロセッサに実施させるようになっている、ことを特徴とする装置。

Images