JP5562740B2

JP5562740B2 - 医用画像表示システム及び医用画像通信方法

Info

Publication number: JP5562740B2
Application number: JP2010151085A
Authority: JP
Inventors: 巧吉留
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2009-07-15
Filing date: 2010-07-01
Publication date: 2014-07-30
Anticipated expiration: 2030-07-01
Also published as: JP2011040053A; US20110016306A1; US8918481B2

Description

本発明は、医用画像データ及び表示・臨床応用アプリケーションをネットワーク経由でクライアント端末に配信するクライアント・サーバシステムに係り、特にアプリケーションサーバとクライアント端末間のネットワーク帯域や品質に対して耐性を確保しつつ端末上のユーザレスポンスを向上させた医用画像表示システム及び医用画像通信方法に関する。

従来、アプリケーションサーバとクライアント端末とをネットワークを介して接続し、クライアント端末の接続用アプリケーションからサーバマシンにログインすることにより、サーバにて保持しているアプリケーションを表示・操作するクライアント・サーバシステムが存在する。このようなシステムでは、クライアント端末への医用表示情報とユーザ操作情報が同一のネットワークプロトコルで伝送される。

例えば、クライアント端末でのマウスクリックやキーボードの操作は、接続用アプリケーションによりフックされ、その操作イベントがサーバに送信される。サーバでは、受信した操作イベントに対応した処理（例えば画像の呼出しや文字情報入力）を行い、サーバから医用表示情報がネットワーク経由でクライアント端末上の接続用アプリケーションへ伝達され、クライアント端末の表示用リソースを利用して端末上で医用表示情報が描画・更新される。

上記クライアント・サーバシステムでは、１００Ｍビット／秒超の帯域があるＬＡＮ環境であっても、動画を再生したり、３次元画像を様々な角度から編集・閲覧する３次元ＣＡＤソフトを利用したりすると、大量画像表示や画面更新に伴ってネットワーク帯域を大量に占有するため、処理速度が追いつかなくなり、端末からのユーザ操作命令が遅延し、ユーザレスポンスの低下を招くという不具合があった。また、サーバから端末へ至るネットワーク環境において、単一の表示用通信プロトコルを使用すると、通信エンコード・デコードコストがかかったり、患者情報のセキュリティ性能が損なわれるという問題も招く。

特許文献１には、サーバに端末装置から画像データの送信要求を出してから端末装置に実際に画像が表示されるまでの待ち時間を短縮し、画像表示レスポンスを向上した医用画像表示システムが開示されている。

特開２００６−６４４９号公報

従来のクライアント・サーバシステムでは、動画を再生したり３次元ＣＡＤソフトを利用したりすると、ネットワーク帯域を大量に占有するため、処理速度が追いつかなくなり、端末からのユーザ操作命令が遅延し、ユーザレスポンスの低下を招くという不具合があった。また患者情報のセキュリティ性能が損なわれるという問題もあった。

本発明は、上記事情に鑑みて成されたもので、サーバからの医用画像データ及びその表示・臨床アプリケーションをクライアント端末に提供するクライアント・サーバシステムにおいて、ユーザレスポンスを向上し、伝送情報の安全性を確保した医用画像表示システム及び医用画像通信方法を提供することを目的とする。

請求項１記載の本発明は、医用画像表示データ及び表示・臨床アプリケーションを提供するサーバと、前記サーバにネットワークを介してアクセス可能な端末装置とを有する医用画像表示システムであって、前記医用画像表示データは、アノテーション情報、付帯情報、動画情報、静止画情報を含む医用情報と、ユーザ操作用のインターフェース情報とからなる複数種の画像表示情報が画像レイヤとして多層的に合成され、前記サーバは、前記画像レイヤとして多層的に合成される医用画像表示データを前記複数種の画像表示情報に分割して管理し、前記サーバから、前記複数種の画像表示情報を前記画像レイヤ毎に異なる種類の通信プロトコルに割り当てて前記端末装置に伝送し、前記サーバから伝送された前記複数種の画像表示情報を前記端末装置で画像レイヤとして多層的に合成して表示し、前記端末装置に表示された前記ユーザ操作用のインターフェース情報を利用して操作者情報を生成し、前記操作者情報を前記ネットワークを介して前記サーバに伝送することを特徴とする。

また請求項９記載の本発明の医用画像通信方法は、医用画像表示データ及び表示・臨床アプリケーションを提供するサーバと、前記サーバにネットワークを介してアクセス可能な端末装置とを備え、前記医用画像表示データは、アノテーション情報、付帯情報、動画情報、静止画情報を含む医用情報と、ユーザ操作用のインターフェース情報からなる複数種の画像表示情報が画像レイヤとして多層的に合成され、前記サーバにて、前記画像レイヤとして多層的に合成される医用画像表示データを前記複数種の画像表示情報に分割して管理し、前記サーバから、前記複数種の画像表示情報を前記画像レイヤ毎に異なる種類の通信プロトコルに割り当てて前記端末装置に伝送し、前記サーバから伝送された前記複数種の画像表示情報を前記端末装置で画像レイヤとして多層的に合成して表示し、前記端末装置に表示された前記インターフェース情報を利用してユーザ操作が行われたときの操作者情報を、前記ネットワークを介して前記サーバに伝送することを特徴とする。

本発明によれば、画像情報と操作者情報の伝送プロトコルを別にし、画像レイヤごとに伝送プロトコルを最適なものに割り当ててサーバ・端末間で伝送することにより、ユーザレスポンスを向上し、伝送情報の安全性を確保することができる。

本発明の一実施形態に係る医用画像表示システムの全体構成を示す図。同実施形態におけるサーバとクライアント端末の構成を示すブロック図。同実施形態におけるクライアント端末での表示画面の一例を示す説明図。同実施形態における表示画面のレイヤの構成を示す説明図。同実施形態におけるレイヤ構成表の一例を示す説明図。同実施形態におけるサーバとクライアント端末間のデータの伝送例を示すブロック図。

以下、実施形態に係る医用画像診断装置について図面を参照して詳細に説明する。尚、各図において同一箇所については同一の符号を付す。

図１は、医用画像表示システムの一実施の形態を示す構成図である。図１のシステムは、ネットワークに接続されたアプリケーションサーバ１００と複数のクライアント端末２００、３００…を含む。アプリケーションサーバ１００は、医用画像表示データ及びその表示・臨床アプリケーションを端末２００、３００…に提供する。クライアント端末２００は、画面表示手段（モニタ）２２と、マウス等の画面操作手段２３を有する。

クライアント端末２００、３００…は、アプリケーションサーバ１００にアクセスすることにより、医用画像表示データをアプリケーションサーバ１００から取得することができ、モニタ２２に医用情報を表示することができる。医用画像表示データは、医用情報を表示するためのデータであり、例えば検査データ、画像データ、医師のコメント、付帯情報、ユーザ操作用のインターファース情報等の複数種の画像表示情報のほかに、表示配置や表示位置を決定する情報等を含む。ユーザ操作用のインターファース情報は、操作ＧＵＩ（Graphical User Interface）情報である。

クライアント端末２００、３００…には、これら複数種の画像表示情報が画像レイヤの重なりとして多層的に合成して表示される。またクライアント端末２００、３００…に表示された操作ＧＵＩ（Graphical User Interface）を操作することで、ユーザ操作による制御情報（操作者情報）をアプリケーションサーバ１００に伝送することができ、画像表示情報の更新などを行うことができる。

アプリケーションサーバ１００には、複数のクライアント端末２００、３００…が接続されているが、以下の説明では、アプリケーションサーバ１００とクライアント端末２００間で通信処理を行う例を説明する。またアプリケーションサーバ１００を単にサーバと呼ぶこともあり、クライアント端末２００を端末と呼ぶこともある。

図１で示すように、アプリケーションサーバ１００とクライアント端末２００間は、ネットワークＮＷを介して接続されている。実施形態では、複数種の画像表示情報を別々の通信プロトコルに割り当てて通信するとともに、ユーザ操作による制御情報（操作者情報）をネットワークＮＷに確保した伝送用帯域を介してサーバ１００に伝送する。

操作者情報の伝送用帯域を確保することで、例えば端末２００に動画を再生している際に、オペレータが再生キャンセルの要求を行った場合は、制御命令の情報伝送プロトコルを通じてアプリケーションサーバ１００側に動画情報の配信停止を滞りなく伝送することができ、サーバ１００は配信を即座に中止することができる。

また端末２００に表示される医用情報（Ａ０）は、画像表示情報の種別毎に表示領域が割り当てられ、複数種の画像表示情報が別々の通信プロトコルを用いてサーバ１００から送られる。例えば、サーバ１００と端末２００間の動画情報は、ＵＤＰ（User Datagram Protocol）のような軽量な通信プロトコルを用いて伝送し、伝送帯域の負荷を最小限にしつつ大容量の動画情報を伝達する。アノテーション・ＲＯＩ（Ａ１）や静止画情報（Ａ３）は、例えばＴＣＰ（Transmission Control Protocol）のような通信プロトコルを用いて伝送する。

ＵＤＰは、通信相手にデータが確実に届いたか否かを確認することなく伝送するコネクションレス型の通信プロトコルであり、通信速度が高速になる。一方、ＴＣＰは、通信相手にデータが正しく届いたことを確認しながら伝送するコネクション型の通信プロトコルである。通信相手はデータが届いたことを確認するためＡＣＫ（Acknowledge）がセットされたデータを返して受領完了を知らせる。コネクション型の通信プロトコルは、安定した通信ができる反面、通信速度は低速である。

また患者情報を含む付帯情報（Ａ２）は、ＳＳＬ（Security Sockets Layer）プロトコルのようにセキュリティを担保した通信プロトコルを用いて伝送する。

付帯情報は、例えばテキスト情報で送られ、テキスト情報とともにテキストを表示する位置やフォントサイズを指示する情報等を含めて伝送する。或いは付帯情報は、ビットマップ化して伝送する。操作イベントや操作ＧＵＩ（Ａ４）は、ＲＤＰ(Remote Desktop Protocol）のようなターミナル通信プロトコルを用いて伝送する。したがって、帯域およびエンコード・デコードのコストを最小限にしつつ、安全性の向上を図っている。

図２は、アプリケーションサーバ１００とクライアント端末２００の構成を示すブロック図である。

図２において、アプリケーションサーバ１００は、画像レイヤ分割手段１１と、画像レイヤ管理手段１２と、通信選択手段１３と、複数の通信手段１４と、画像保管部１５及び画像処理部１６を有している。一方、クライアント端末２００は、画像レイヤ合成手段２１と、画面表示手段２２と、画面操作手段２３と、通信帯域保持手段２４を有している。

アプリケーションサーバ１００は、ネットワークＮＷに接続されたクライアント端末２００に医用画像表示データ及びその表示・臨床アプリケーションを提供するが、クライアント端末２００からアプリケーションサーバ１００へログインしたあとの端末２００のデータフローは、以下の手順に従う。

まず、クライアント端末２００上にアプリケーションサーバ１００より提供された医用画像表示データが処理され画面表示手段２２に表示される。図３は端末２００に表示された医用情報Ａ０の一例を示す図であり、操作ＧＵＩ情報（Ａ４）と、静止画や動画で構成される検査画像（Ａ３）（本例では４つの画像）と、患者情報を含む付帯情報（Ａ２）と、オペレータ（医師等）が書き込んだコメント等の情報であるアノテーション・ＲＯＩ（Ａ１）が多層的に合成されている。

これらの画像は、図４で示すように、例えば操作ＧＵＩ情報Ａ４が最も下位の層に位置し、静止画や動画等の検査画像Ａ３がその上の層に位置し、患者情報Ａ２やアノテーション情報Ａ１は上位の層に位置している。

図３の医用情報Ａ０は、画像保管部１５に保管した画像情報を画像処理部１６で処理して作成される。つまり画像処理部１６は、画像レイヤ管理手段１２の指示により多層的に合成された画像レイヤを作成する。医用情報Ａ０は、図２で示すように、（Ａ）画像レイヤ分割、（Ｂ）画像レイヤ更新情報提供、（Ｃ）画像レイヤ通信手段選択、（Ｄ）画像レイヤ表示情報伝送、（Ｅ）画像レイヤ合成、といったプロセスフローを経て表示される。

それぞれのプロセスフローＡ〜Ｅを説明する前に、画像レイヤについて説明する。医用画像表示データ及びその表示・臨床アプリケーションは、複数の画面要素から構成されている。

図３の表示例を引用すると、クライアント端末２００の画面は、ユーザインタフェース用の操作ＧＵＩ情報(ボタン等)を表示する表示領域Ａ４と、静止画や動画で構成される検査画像の表示領域Ａ３と、患者情報等の付帯情報表示領域Ａ２と、医用画像への描画領域であるアノテーション・ＲＯＩの表示領域Ａ１、といった画面位置情報と画面深さ方向の重なり情報を有する要素から成り立っている。

画像レイヤは、医用画像表示データ及びその表示・臨床アプリケーションを構成する画面要素を意味しており、図４で示すようにＡ４〜Ａ１のような画面要素が１〜ｎ（複数）個配置されたものである。医用情報Ａ０は１〜ｎ個の画像レイヤの重なりにより形成される。図３は、図４に示す複数の画像レイヤの重なりにより形成された画面を表している。

尚、図３及び図４では、４つの検査画像表示領域を１組とし、それら４つの検査画像表示領域に付随する付帯情報やアノテーション・ＲＯＩが多層的に合成された医用画像Ａ０を例示している。しかしながら、医用画像Ａ０は１つの検査画像表示領域とそれに付随する情報を多層的に合成したものでも良いし、さらに分割された画面要素によって構成された状態、例えば４つ以外の複数の検査画像表示領域を１組として構成したものであっても良い。

次に図２を参照して情報の流れに沿ってプロセスフローＡ〜Ｅについて説明する。

（Ａ）画像レイヤ分割：端末２００からのログイン時に把握したネットワークトラフィック、及び前回接続時のレイヤ構成履歴に従って、画像レイヤ管理手段１２は、画像レイヤ分割手段１１を使用して画面（図３参照）を１〜ｎ（複数）の画像レイヤに分割する。端末２００からサーバ１００への初回接続時は、ネットワーク伝達帯域に応じて設置された複数のレイヤ初期構成テンプレートより、画像レイヤ構成が定められる。レイヤ初期構成テンプレートとは、操作領域の位置はどこにするか、画像は幾つ（例えば４つ）といった画面構成を意味する。

（Ｂ）画像レイヤ更新情報提供：画像レイヤ分割手段１１はレイヤ毎に、予定された伝送プロトコルに従って、時分割されたグラフィックメモリ上のラスタデータ自身や、動画や画像回転シーン情報としてのラスタデータ、文字情報としての付帯情報等を、画像レイヤ管理手段１２を介して通信選択手段１３に提供する。

（Ｃ）画像レイヤ通信手段の選択：分割後のレイヤ情報は、通信選択手段１３により、複数の通信手段１４のいずれかに振り分けられる。通信手段１４は、予め複数の通信プロトコルを備え、伝送レートが多い画像レイヤは、軽量な通信プロトコルを使用するようにチューニングされる。また、患者名のような、伝送経路上隠蔽されるべき画像レイヤは、暗号化経路を使用するようにレイヤ構成表で割り当てられている。レイヤ構成表については図５で後述する。

また通信選択手段１３は、ネットワークＮＷの通信負荷状況と画像レイヤのデータ使用量を監視し、データ使用量の大きい情報を伝送する場合は、ネットワーク負荷が軽量なプロトコルの通信手段１４を選択する。尚、ネットワークＮＷの通信負荷状況を監視する方法としては、情報をネットワークを介して伝送しそれをフィードバックして、戻ってくる遅延時間を測定する方法がある。

（Ｄ）画像レイヤ表示情報の伝送：通信手段１４は、複数の異なる通信プロトコルを備えており、通信選択手段１３によっていずれかの通信プロトコル（通信手段１４）を選択して端末２００との間で通信する。通信手段１４は、基本的にはネットワークＮＷ間の伝送プロトコルであるが、例えば、ＲＤＰや、Ｘ１１（Unix(登録商標)系のＲｓｈ）プロトコル、複数セッションのＴＣＰ／ＩＰプロトコル、複数セッションのＵＤＰ／ＩＰプロトコル、ＳＳＬプロトコルを含み、端末２００に至るネットワークルーティングが複数確保できる場合にはそれも確保している。

医用画像表示データ及びその表示・臨床アプリケーションをネットワーク端末２００に提供するクライアント・サーバシステムは、その構成例の一つとして、アプリケーションサーバ１００自体に接続された画面表示手段２２と画面操作手段２３を使用して、操作者Ｐが表示・臨床アプリケーションを操作するケースがある。その際はネットワークＮＷを透過するプロトコルと言いつつも、アプリケーションサーバ１００内のデータ伝送アーキテクチャ上、最速の伝送手段が使用される。

図５（ａ）〜（ｅ）は、レイヤ構成表の一例を示す図である。画像レイヤ構成定義をデータ化すると、図５（ａ）〜（ｅ）のような構成表が作成できる。画像レイヤ構成表は、レイヤＩＤ、レイヤ中要素ＩＤ、ロケーション、シーン、伝送先履歴、伝送手段等の項目から成る。

図５（ａ）は、下位層の操作ＧＵＩ（Ａ４）に関するレイヤ構成表であり、レイヤＩＤは画像レイヤの種別を表し、レイヤ中要素ＩＤは具体的な要素（ボタン等）を表し、ロケーションは表示領域を表し、シーンは全て（All）か一部かを表す。伝送先履歴は、ＩＰアドレスを参照してどの端末にどの通信プロトコルを用いて情報を伝送したかといった履歴を表し、伝送手段は通信プロトコルの種別を表している。操作ＧＵＩの伝送手段は、操作ＧＵＩがオペレーティングシステムと密接に連携することを考慮すると、例えばＲＤＰやＸ１１、Ｒｓｈ等の標準的かつオペレーティングシステムにより最適化された通信手段を選択しておくことが多い。

図５（ｂ）は静止画Ａ３、図５（ｃ）は動画Ａ３、図５（ｄ）は付帯情報Ａ２、図５（ｅ）はアノテーション・ＲＯＩ情報Ａ１に関するレイヤ構成表をそれぞれ示している。

尚、端末からのログイン時、レイヤ構成或いは伝送プロトコルの変更時に上記プロトコルの利用可否が都度判定され、利用不能時はその情報に基づいて図５（ａ）〜（ｅ）のレイヤ構成表が更新される。またログイン時や画像レイヤ構成時、或いは伝送プロトコル変更時に、画像レイヤ構成表をアプリケーションサーバ１００から対象端末の画像レイヤ合成手段２１へ適宜伝達することにより、ログイン中のセッションが構成する画像レイヤは、アプリケーションサーバ１００と端末２００間で共有される。

（Ｅ）画像レイヤの合成：選択された通信プロトコルによって端末２００に伝送された動画や画像回転シーン情報としてのラスタデータや、付帯情報等は、クライアント端末２００の画像レイヤ合成手段２１によって受信され、時系列バッファとして、クライアント端末２００のグラフィックメモリ２１１上に展開される。

画面表示手段２２が、或るフレームレートで表示を更新しているときに、グラフィックメモリ２１１に次回表示分のバッファを用意する。受信したプロトコル及び受信時刻から、次回表示分のメモリバッファを更新するかどうかを判定する。使用したプロトコルが例えばＴＣＰであり、既に該当する箇所のグラフィックメモリバッファが更新されていれば、受信分のデータを保持する。つまり次々回のグラフィックメモリバッファへ割り当てる。

使用したプロトコルがＵＤＰ（User Datagram Protocol）であり、既に該当する箇所のグラフィックメモリバッファが更新されていれば、受信分のデータで更に次回表示分のグラフィックメモリバッファを上書きする。ＴＣＰもしくはその継承プロトコルには送信タイミングが記録されており、複数セッションで分割伝送された画像レイヤは、このタイミングをキーにしてグラフィックメモリバッファへ展開される。

これらの更新方法により、更新頻度の高い描画領域を、ネットワーク帯域消費を押さえつつ、効率よく表示できる。また伝送する画像レイヤの一部（隠蔽が必要なレイヤ）にのみ暗号化通信経路を割り当てることにより、伝送系全体のセキュリティを効率よく確保できる。

次に、操作者Ｐによる操作者情報の伝達について説明する。操作者Ｐによる操作者情報は、（Ｆ）表示情報の伝達、（Ｇ）操作イベント伝達、（Ｈ）操作イベント伝送、（Ｉ）操作者情報伝達といったプロセスフローを経てアプリケーションサーバ１００に伝達される。以下、図２を参照してプロセスフローＦ〜Ｉについて説明する。

（Ｆ）表示情報の伝達；操作者Ｐは、クライアント端末２００上の画面を観察する。クライアント端末２００上の画面は、例えば脳血流の解析や、心臓疾患の解析等に使用される。また脳血流の血流値等を数値化したデータを観察し診断を行う。

（Ｇ）操作イベント伝達：操作者Ｐはもっぱら、クライアント端末２００上の画面操作手段２３を用いて、クライアント端末２００からアプリケーションや画像を操作する。典型的な例では、クライアント端末２００の画面表示手段２２に並べられたアプリケーション操作ＧＵＩ（図３の左端のボタン等）を押したり、クライアント端末２００の画面表示手段２２上の画像（図３のアンダーレイ画像Ａ３）をマウスドラッグして、画像のｗｗ／ｗｌを動的に変更したり、立体（３Ｄ）画像の表示時に３Ｄ画像を回転して視線方向を変更したりする。或いは、画像の一部を拡大又は縮小表示したり、カラーマッピング調整、高速画像めくり、同一位置画像の重ね合わせ表示（ｆｕｓｉｏｎ）等を行う。

（Ｈ）操作イベント伝送：画面操作手段２３からの操作者Ｐの操作情報は、物理デバイスによる電気的信号から、ソフトウェアが解釈可能な操作イベントに変換される。例えばマウスクリックを示すイベント名に、クリック位置を示す座標情報を付与したものがマウスクリックイベントとして操作情報通信帯域保持手段２４に伝達される。

（Ｉ）操作者情報伝達：操作イベントは時系列に操作情報通信帯域保持手段２４に蓄えられ、描画更新のフレームレートと相関があるが、ネットワークＮＷを介して一定の時間間隔でアプリケーションサーバ１００へ伝送される。つまり、クライアント端末２００からアプリケーションサーバ１００に操作イベントを伝送する場合は、スムーズに送られるように時分割通信などにより予め伝送用帯域を確保しておく。

操作イベントの伝送目的は、端末２００の高負荷状況や他の理由によりネットワーク帯域が不足の状況でも、それらの影響を最小限にして、いち早く操作情報をアプリケーションサーバ１００へ伝送することにある。

したがって、操作者Ｐのログイン時に、予め操作イベント伝送用帯域を確保しておく。例えばネットワークルーティングにより画像レイヤ表示回線と別の経路をルーティングする。或いは一定間隔のポーリング通信によって、操作イベントが滞りなく伝達できる環境を作成しておく。また、端末２００が高負荷である場合にはそれを検出して、通常の操作イベント伝送頻度より短い時間間隔で、蓄積した操作イベントをアプリケーションサーバ１００へ伝送する。

このような処理を可能にするために、画面操作手段２３及び操作情報通信帯域保持手段２４を担うソフトウェアモジュール及びハードウェアモジュールは、画面表示を担う手段よりも高優先度で動作する必要がある。

一方、ネットワークＮＷを介して伝送された操作イベントは、アプリケーションサーバ１００の画像レイヤ管理手段１２で受信され、画像レイヤ管理手段１２の指示により画像処理部１６で画像レイヤを作成する。或いは操作イベントを画像処理部１６で直接受信して画像レイヤを作成することもできる。

尚、アプリケーションサーバ１００にて受信した操作イベントは、アプリケーションサーバ１００上で動作する医用画像表示データ及び表示・臨床アプリケーションを構成するソフトウェアモジュールに、割り込みイベントの形で通知される。ソフトウェアモジュールは操作イベントに応じて画像レイヤ分割手段１１のグラフィックメモリ２１１上のラスタデータ自身や、動画や画像回転シーン情報としてのラスタデータ差分情報、文字情報としての付帯情報等を更新する。以下、プロセスフローＡ〜Ｅ及びプロセスフローＦ〜Ｉを経由することで、操作者Ｐによる操作者情報に対応した画面更新が完結する。

図６は、サーバ１００とクライアント端末２００間のデータの伝送例を示すブロック図である。図６は、サーバ１００で作成された医用画像表示データの一部が変更された場合の伝送形態を示す図であり、サーバ１００内に監視部１７を設け、画像処理部１６で作成された複数の画像レイヤのうち、変更されたデータの有無を監視部１７で監視する。監視部１７により、変更された画像レイヤのデータがあると判断した場合は、既に伝送したデータとの差分データ（変更のあった画像レイヤのデータ）を、ネットワークＮＷを介してクライアント端末２００に伝送する。図６ではＴＣＰ／ＩＰプロトコルを用いて差分データを伝送する例を示している。

クライアント端末２００では、伝送された差分データをもとに画像レイヤを更新して表示を行う。したがって、医用画像表示データの一部が変更された場合には、すべてのデータを伝送することなく差分データを伝送するだけで済み、効率的な伝送を行うことができる。

以上述べた実施形態では、画像表示情報と操作者情報の伝送プロトコルを別にし、画像レイヤごとに伝送プロトコルを最適なものに割り当ててサーバ・端末間で伝送することにより、ユーザレスポンスを向上し、伝送情報の安全性を確保することができる。

尚、実施形態は、以上述べた例に限定されるものではない。例えば、通信手段１４に用いた通信プロトコルは本文中に例示したプロトコル以外のものであってもよい。また特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１００…アプリケーションサーバ
１１…画像レイヤ分割手段、
１２…画像レイヤ管理手段、
１３…通信選択手段、
１４…通信手段、
２００，３００…クライアント端末
２１…画像レイヤ合成手段、
２２…画面表示手段、
２３…画面操作手段、
２４…通信帯域保持手段、
ＮＷ…ネットワーク

Claims

医用画像表示データ及び表示・臨床アプリケーションを提供するサーバと、前記サーバにネットワークを介してアクセス可能な端末装置とを有する医用画像表示システムであって、
前記医用画像表示データは、アノテーション情報、付帯情報、動画情報、静止画情報を含む医用情報と、ユーザ操作用のインターフェース情報とからなる複数種の画像表示情報が画像レイヤとして多層的に合成され、
前記サーバは、前記画像レイヤとして多層的に合成される医用画像表示データを前記複数種の画像表示情報に分割して管理し、
前記サーバから、前記複数種の画像表示情報を前記画像レイヤ毎に異なる種類の通信プロトコルに割り当てて前記端末装置に伝送し、
前記サーバから伝送された前記複数種の画像表示情報を前記端末装置で画像レイヤとして多層的に合成して表示し、
前記端末装置に表示された前記ユーザ操作用のインターフェース情報を利用して操作者情報を生成し、前記操作者情報を前記ネットワークを介して前記サーバに伝送することを特徴とする医用画像表示システム。
前記サーバは、前記医用画像表示データを前記複数種の画像表示情報に分割する分割手段と、前記複数種の画像表示情報をそれぞれ選択する選択手段と、前記選択手段で選択した前記複数種の画像表示情報をそれぞれ異なる通信プロトコルで前記端末装置に伝送する通信手段とを備えたことを特徴とする請求項１記載の医用画像表示システム。
前記分割手段は、前記医用画像表示データを、少なくとも前記アノテーション情報と、前記静止画情報又は動画情報を含む画像データと、患者情報を含む前記付帯情報とに分割し、
前記通信手段は、少なくとも前記付帯情報をＳＳＬ（Security Sockets Layer）プロトコルによって伝送することを特徴とする請求項２記載の医用画像表示システム。
前記選択手段は、前記ネットワークの通信負荷状況と前記分割した複数種の画像表示情報のデータ使用量に応じて前記通信手段を選択し、データ使用量の大きい画像表示情報はネットワーク負荷が軽量な通信プロトコルを用いて伝送することを特徴とする請求項２記載の医用画像表示システム。
前記通信手段は、データ使用量の大きい画像表示情報は、通信相手にデータが届いたか否かを確認しないコネクションレス型の通信プロトコルで伝送し、データ使用量の小さい画像表示情報は、通信相手にデータが届いたことを確認するコネクション型の通信プロトコルで伝送することを特徴とする請求項４記載の医用画像表示システム。
前記端末装置は、前記通信手段を介して伝送された前記医用情報と前記ユーザ操作用のインターフェース情報を合成して表示する表示手段と、表示されたユーザ操作用のインターフェース情報を操作する操作手段と、を備えたことを特徴とする請求項２記載の医用画像表示システム。
前記操作者情報は、前記ネットワークに確保した伝送用帯域を介して前記サーバに伝送することを特徴とする請求項１記載の医用画像表示システム。
前記サーバは、前記複数種の画像表示情報の一部が変更されたとき、既に伝送した画像表示情報との差分情報を前記端末装置に伝送し、
前記端末装置は、前記差分情報をもとに画像表示情報を更新して表示することを特徴とする請求項１記載の医用画像表示システム。
医用画像表示データ及び表示・臨床アプリケーションを提供するサーバと、前記サーバにネットワークを介してアクセス可能な端末装置とを備え、
前記医用画像表示データは、アノテーション情報、付帯情報、動画情報、静止画情報を含む医用情報と、ユーザ操作用のインターフェース情報からなる複数種の画像表示情報が画像レイヤとして多層的に合成され、
前記サーバにて、前記画像レイヤとして多層的に合成される医用画像表示データを前記複数種の画像表示情報に分割して管理し、
前記サーバから、前記複数種の画像表示情報を前記画像レイヤ毎に異なる種類の通信プロトコルに割り当てて前記端末装置に伝送し、
前記サーバから伝送された前記複数種の画像表示情報を前記端末装置で画像レイヤとして多層的に合成して表示し、
前記端末装置に表示された前記インターフェース情報を利用してユーザ操作が行われたときの操作者情報を、前記ネットワークを介して前記サーバに伝送することを特徴とする医用画像通信方法。
前記サーバは、前記医用画像表示データを前記複数種の画像表示情報に分割し、
前記複数種の画像表示情報をそれぞれ選択手段で選択し、
前記選択手段で選択した前記複数種の画像表示情報をそれぞれ異なる通信プロトコルで前記端末装置に伝送することを特徴とする請求項９記載の医用画像通信方法。
前記サーバは、前記医用画像表示データを少なくとも前記アノテーション情報と、前記静止画情報又は動画情報を含む画像データと、患者情報を含む前記付帯情報とに分割し、少なくとも前記付帯情報をＳＳＬ（Security Sockets Layer）プロトコルによって伝送することを特徴とする請求項１０記載の医用画像通信方法。
前記サーバは、前記ネットワークの通信負荷状況と前記分割した複数種の画像表示情報のデータ使用量に応じて通信手段を選択し、データ使用量の大きい画像表示情報はネットワーク負荷が軽量な通信プロトコルを用いて伝送することを特徴とする請求項１０記載の医用画像通信方法。
前記通信手段は、データ使用量の大きい画像表示情報は、通信相手にデータが届いたか否かを確認しないコネクションレス型の通信プロトコルで伝送し、データ使用量の小さい画像表示情報は、通信相手にデータが届いたことを確認するコネクション型の通信プロトコルで伝送することを特徴とする請求項１２記載の医用画像通信方法。
前記端末装置は、前記サーバから伝送された前記医用情報と前記インターフェース情報を合成して表示手段に表示し、表示されたユーザ操作用のインターフェース情報を操作可能にしたことを特徴とする請求項９記載の医用画像通信方法。
前記操作者情報は、前記ネットワークに確保した伝送用帯域を介して前記サーバに伝送することを特徴とする請求項９記載の医用画像通信方法。
前記サーバは、前記複数種の画像表示情報の一部が変更されたとき、既に伝送した画像表示情報との差分情報を前記端末装置に伝送し、
前記端末装置は、前記差分情報をもとに画像表示情報を更新して表示することを特徴とする請求項９記載の医用画像通信方法。