JP7083047B2 - 医療用画像四次元可視化の方法及び装置 - Google Patents

Description

本発明は、医療機器分野における画像処理方法及び装置に関し、より詳細には、医療用画像四次元可視化の方法及び装置に関するものである。

コンピュータ技術、通信技術、医療画像技術の急速な発展により、医療用画像の可視化技術は、スタンドアロンモードからネットワークモード、デジタルモードに徐々に変化している。また、従来の二次元平面医療用画像だけに頼って臨床診断を行うことは、もはや医師の需要を満たすことができず、これに基づく医療用画像三次元可視化技術の研究も急速に発展している。医療用画像三次元可視化技術により、例えば、臓器の形状、血管の分布及び方向、病巣の大きさ及び空間的位置、周囲の他の組織や臓器との関係の表示など、より客観的な診断に必要な関連情報を医師に提供することができる。これらの情報は、人工診断における医師の限界性及び主観性を補うことができ、医師がより多くの角度、より多くの階層から医療用画像を観察及び分析し、医療用画像に含まれる情報をより直感的に取得することができるようになり、病気の診断、治療において非常に重要な役割を有する。

医療用画像の三次元可視化は、主に三つの方式を含む。（１）リモートモデリングレンダリング、ローカルインタラクション表示方式は、主に、ローカルブラウザにおけるページから対応するインタラクションイベント及び必要なレンダリングモデリングパラメータを取得してから、これらのデータをリモートモデリングレンダリング側に送信してレンダリングする。（２）リモートモデリング、ローカルレンダリングインタラクション方式は、リモートモデリング側及びローカルレンダリング側を含み、リモートモデリングレンダリングとの違いは、データレンダリングを必要とすることなく、医療用画像データのプリ処理によって生成されるデータモデルの構築を必要とするのみであり、ローカルレンダリング側は、リモートモデリング側からデータモデルを取得した後、レンダリングインタラクションを行うことができる。（３）ローカルブラウザ医療用画像可視化方式は、ローカルブラウザにおいて医療用画像の可視化を直接行うことができる。

現在、ブラウザ／サーバ（Ｂｒｏｗｓｅｒ／Ｓｅｒｖｅｒ，Ｂ／Ｓと略称する）モードフレームワークに基づく医療用画像三次元可視化処理手段はまだ多くない。例えば、Ｍａｈｍｏｕｄｉは、Ｗｅｂ－Ｂａｓｅｄの医療用画像可視化フレームワークを提案し、拡張可能な二次元及び三次元医療用画像可視化プラットフォームを実現し、プラットフォームの内部構成は互いに独立しており、画像のプリ処理、登録、セグメンテーション、可視化を実現しているが、高周波インタラクション、高い計算負荷の可視化アルゴリズムを行うときには大量のネットワーク帯域幅を占有する必要がある。Ｈａｃｈａｊは、直接ボリュームレンダリングが実現されるようにＢ／Ｓモードフレームワークにおいて解像度を大幅に下げる方法を使用し、ネットワークオーバヘッドは低くなるものの、全体的なフレームレートも低くなり、インタラクションプロセスにおける画像フレームの解像度が悪くなる。Ｗａｎｇｋａｏｏｍなどは、ＨＴＭＬ５、ＪａｖａＳｃｒｉｐｔ及びＷｅｂＧＬ（Ｗｅｂ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ，３Ｄ描画プロトコル）などの関連技術を使用することによって高品質のリアルタイムボリュームレンダリングフレームワークが実現されているが、データ量が多い場合、データ伝送及び初期化の時間が長くなり、インタラクションの流暢さが低くなる。

要するに、臨床における医療用画像の可視化処理手段には、主に次のいくつかの欠点がある。
その１、医療用画像データ量が多く、計算需要が高いため、従来技術における画像処理装置は、高性能グラフィックワークステーションを使用する必要がある。そのため、処理コストが高く、効率が低く、大型画像装置に依存する必要があり、処理プロセスは時間及び場所によって制限される。
その２、従来技術における医療用画像処理システムは、専門家が操作する必要があり、操作学習が容易ではない。
その３、画像処理システムによって使用される方法は、大きく相違する。システムのメンテナンス及び更新は、機器の供給業者が専門のエンジニアを現場に派遣させる必要があり、非常に不便である。
その４、従来技術における医療用画像処理システムは、機能が単一であり、かつ医療用画像フォーマットによる制限を有し、正確で個別化された現代医療の需要を満たすことが困難である。

本発明の目的は、従来技術における医療用画像処理システムが現代医療における正確で個別化された四次元画像需要を満たすことができないという問題を解決するために、医療用画像四次元可視化の方法及び装置を提供することである。

上記技術的問題を解決するために、本発明の技術的手段によれば、ユーザが医療用画像データを複数のクライアント端末により制御モジュールにアップロードするステップＳ１と、
医療用画像データを制御モジュールにより解析し、解析結果をクライアント端末にフィードバックするとともに、医療用画像データ及び解析結果をストレージサーバに転送するステップＳ２と、
医療用画像データをストレージサーバによりプリ処理し、形成されたプリ処理画像を処理モジュールに送信するステップＳ３と、
処理モジュールがプリ処理画像に基づいて動的に三次元画像処理を行い、クライアント端末において医療用画像の三次元動的表示を提供するステップＳ４と、を含む医療用画像四次元可視化の方法が提供される。

本発明の一実施例によれば、ステップＳ１において、クライアント端末は、医療用画像データを圧縮データ及びメッセージにより制御モジュールに転送する。

本発明の一実施例によれば、ステップＳ１において、クライアント端末は、相互接続ユニットを介して制御モジュールにユーザ要求を送信し、制御モジュールは、ユーザ要求を受信し、クライアント端末に解析結果をフィードバックするとともに、異なるユーザ要求をストレージサーバ及び処理モジュールに割り当てる。

本発明の一実施例によれば、ステップＳ１において、医療用画像データの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Ｉｎｔｅｒｆｉｌｅファイル、Ａｎａｌｙｚｅファイル、ポータブルネットワークグラフィックファイル、ＭＮＣファイル、ＢＭＰファイル、ＪＰＥＧファイルを含む。

本発明の一実施例によれば、ステップＳ２において、制御モジュールは、中央サーバを介して、医療用画像データを解析し、クライアント端末とデータインタラクションを行い、中央サーバは、通信モジュールを介して医療用画像データ及び解析結果をストレージサーバに転送する。

本発明の一実施例によれば、通信モジュールは、互いに通信する第１通信サブモジュール、第２通信サブモジュール及び第３通信サブモジュールを含み、第１通信サブモジュールは、中央サーバを介して相互接続ユニットと通信し、ストレージサーバは、第３通信サブモジュールを介して第１通信サブモジュールと通信し、処理モジュールは、第２通信サブモジュールを介して中央サーバ及びストレージサーバと通信する。

本発明の一実施例によれば、ステップＳ３において、プリ処理とは、処理モジュールが医療用画像データにおける三次元データを、互いに直交するＸ、Ｙ、Ｚの三つの方向で断面断層画像をそれぞれ作成し、断面断層画像をストレージサーバに保存することである。

本発明の一実施例によれば、ステップＳ４において、処理モジュールは、各フレームの再構成結果をレンダリングコアサブモジュールにより計算し、クライアント端末との通信、メッセージ解析及びキャッシュサーバとのデータベース操作をネットワーク通信サブモジュールにより行い、ロジック管理サブモジュールによりクライアント端末からのインタラクションイベントに応答し、ネットワーク通信サブモジュールからのインタラクション要求メッセージを分類及びソートし、誤った又は重複したインタラクション要求メッセージを破棄する。

本発明の一実施例によれば、ステップＳ４において、処理モジュールは、動的に三次元画像処理を行った後、医療用画像の動的表示が行われるように処理結果を圧縮データ及びメッセージによりクライアント端末に転送する。

本発明によれば、医療用画像四次元可視化の方法を採用する医療用画像四次元可視化の装置であって、相互接続ユニット及び相互接続ユニットと通信可能に接続する複数のクライアント端末を含む感知モジュールと、
クライアント端末からの各ユーザ要求が処理されるように相互接続ユニットを介してクライアント端末と通信可能に接続する制御モジュールと、
互いに通信可能に接続する第１通信サブモジュール、第２通信サブモジュール及び第３通信サブモジュールを含む通信モジュールであって、第１通信サブモジュールが制御モジュールを介して相互接続ユニットと通信可能に接続する通信モジュールと、
ストレージサーバ及びキャッシュサーバが設けられるストレージサブモジュールと、第２通信サブモジュールを介してストレージサーバ及び制御モジュールと通信可能に接続するロジックサブモジュールとを含む処理モジュールであって、ストレージサーバが第３通信サブモジュールを介してキャッシュサーバと通信可能に接続し、キャッシュサーバが第１通信サブモジュール、第２通信サブモジュール及び第３通信サブモジュールとそれぞれ通信可能に接続する処理モジュールと、を含む医療用画像四次元可視化の装置がさらに提供される。

本発明の一実施例によれば、制御モジュールは、互いに通信可能に接続しつつ、異なるユーザ要求をそれぞれ処理する複数の制御ユニットを含む。

本発明の一実施例によれば、複数の制御ユニットのうちの一つは、相互接続ユニットを介してクライアント端末と通信可能に接続する中央サーバである。

本発明の一実施例によれば、第１通信サブモジュール、第２通信サブモジュール及び第３通信サブモジュールは、中央サーバ、ロジックサブモジュール及びストレージサーバにそれぞれ設けられる。

本発明の一実施例によれば、制御モジュールの中央サーバは、アップロードされた医療用画像ファイルをクライアント端末により受信して解析し、医療用画像ファイル及び解析結果をストレージサーバに転送する。

本発明の一実施例によれば、医療用画像ファイルの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Ｉｎｔｅｒｆｉｌｅファイル、Ａｎａｌｙｚｅファイル、ポータブルネットワークグラフィックファイル、ＭＮＣファイル、ＢＭＰファイル、ＪＰＥＧファイルを含む。

本発明の一実施例によれば、ロジックサブモジュールは、ユーザ要求に基づいて医療用画像ファイルに対してセグメンテーション、登録、モデリング及び再構成処理を行う。

本発明の一実施例によれば、ストレージサブモジュールは、医療用画像ファイルに基づいて断面断層画像を抽出し、断面断層画像をストレージサーバに記憶する。

本発明の一実施例によれば、ロジックサブモジュールは、互いに通信可能に接続するレンダリングコアサブモジュール、ネットワーク通信サブモジュール及びロジック管理サブモジュールを含み、レンダリングコアサブモジュールは、医療用画像ファイルの各フレームに対して再構成計算を行い、ネットワーク通信サブモジュールは、クライアント端末に情報をフィードバックし、ロジック管理サブモジュールにインタラクション要求メッセージを送信し、ロジック管理サブモジュールは、インタラクション要求メッセージを分類及びソートし、無用のインタラクション要求メッセージ又は重複したインタラクション要求メッセージを除去する。

本発明の一実施例によれば、制御モジュール、通信モジュール及び処理モジュールは、いずれも同じサーバ上に構築され、クライアント端末とサーバとは、互いに独立し、制御モジュール及び通信モジュールを介して接続される。

本発明の一実施例によれば、クライアント端末とサーバとの間において、医療用画像データを圧縮データ及びメッセージにより転送する。

本発明の一実施例によれば、クライアント端末は、相互接続ユニットを介して制御モジュールにユーザ要求を送信し、制御モジュールは、ユーザ要求を受信し、クライアント端末にデータをフィードバックするとともに、異なるユーザ要求をストレージサーバ、キャッシュサーバ及びロジックサブモジュールに割り当てる。

本発明の一実施例によれば、クライアント端末は、携帯電話、タブレットコンピュータ及びデスクトップコンピュータを含む。

本発明の一実施例によれば、処理モジュールにおけるストレージサブモジュール及びロジックサブモジュールは、複数のサーバを通信可能に接続することによって構成され、互いに独立して実行可能に異なるサーバ上に構築される。

本発明の一実施例によれば、処理モジュールには、感知モジュールにおける相互接続ユニットと通信可能に接続するリソース検出サブモジュールが設けられる。

本発明の一実施例によれば、キャッシュサーバは、キー値ストレージデータベースである。

本発明に係る医療用画像四次元可視化の方法及び装置は、以下の利点を有する。
その１、キャッシュサーバをデータの交換センタとして拡張し、マスタスレーブ同期をサポートする。それにより、感知モジュール、通信モジュール、処理モジュール及び制御モジュール間においてデータを高速に同期させることができ、データアクセスの性能が大幅に向上する。
その２、ユーザは、システムをローカルにおいてインストールする必要がなく、通常のコンピュータ又はモバイル機器を直接利用して処理操作を完了させることができる。
その３、モジュラシステムアーキテクチャ設計により、システムを四つのモジュールに分割する。感知モジュールは、ユーザのインタラクション行為をフィードバックし、通信モジュールは、装置全体の各モジュール間の通信を担当し、処理モジュールは、例えば、セグメンテーション、登録、モデリング、再構成など、医療用画像データの記憶、配信及び処理を担当し、制御モジュールは、感知モジュールからのさまざまな要求を処理し、ユーザ権限を管理し、サーバリソースを割り当て、医療用画像の処理結果を表示する。極めて強い拡張能力を有し、異なる医療用画像可視化方法は、本装置に高速に配置することができる。
その４、できる限り少ないネットワーク伝送データ及びクライアント端末計算リソースの消費により、医療用画像のボリュームレンダリング、表面再構成及びマルチプレーン再構成などの四次元可視化を実現し、直感的、正確的な四次元画像を再構成し、画像の表示速度をできる限り高速化し、医療用画像ファイルを特定のフォーマットのプリ処理画像に変換することにより、医療用画像ファイルのウェブページ表示が実現される。プリ処理画像は、いずれも可逆圧縮であり、データロスがない。
その５、コストがより低くなり、いつでも、どこでも、どのプラットフォームにもアクセスすることができるため、より柔軟で、医師、研究者により大きな利便性をもたらすことができる。

本発明の一好適実施例に基づく医療用画像四次元可視化の装置のシステム配置を示す概略図である。 図１に基づく医療用画像四次元可視化の装置の医療用画像ファイル階層を示す概略図である。 図１に基づく医療用画像四次元可視化の装置の処理管理データベースを示す概略フローチャートである。 図１に基づく医療用画像四次元可視化の装置のＲｅｄｉｓ通信方式を示す概略フローチャートである。 図１に基づく医療用画像四次元可視化の方法の医療用画像ファイル解析を示す概略フローチャートである。 図１に基づく医療用画像四次元可視化の装置のロジックサブモジュールの処理結果を示す概略図である。

以下では、具体的な実施例を参照しながら本発明をさらに説明する。なお、以下の実施例は、本発明を説明するためにのみ使用され、本発明の範囲を限定するものではない。

図１は、本発明に係る医療用画像四次元可視化の装置の配置を示す概略図である。図１から分かるように、本発明に係る医療用画像四次元可視化の装置は、感知モジュール１０、制御モジュール２０、通信モジュール３０及び処理モジュール４０を含む。感知モジュール１０は、相互接続ユニット１１及び複数のクライアント端末１２、１３、１４を含む。制御モジュール２０は、相互接続ユニット１１を介してクライアント端末１２、１３、１４とそれぞれ通信可能に接続する中央サーバ２１を含む。通信モジュール３０は、互いに通信可能に接続する第１通信サブモジュール３１、第２通信サブモジュール３２及び第３通信サブモジュール３３を含む。処理モジュール４０は、ストレージサーバ４１及びキャッシュサーバ４３が設けられるストレージサブモジュールと、ロジックサブモジュール４２とを含む。第１通信サブモジュール３１、第２通信サブモジュール３２及び第３通信サブモジュール３３は、中央サーバ２１、ロジックサブモジュール４２及びストレージサーバ４１にそれぞれ設けられることにより、装置全体の各モジュール間の通信を提供する。より具体的には、第１通信サブモジュール３１は、中央サーバ２１を介して相互接続ユニット１１と通信可能に接続する。ストレージサーバ４１における第３通信サブモジュール３３は、第２通信サブモジュール３２、第１通信サブモジュール３１及びキャッシュサーバ４３とそれぞれ通信可能に接続する。第２通信サブモジュール３２と第１通信サブモジュール３１との間は通信可能に接続する。キャッシュサーバ４３は、第１通信サブモジュール３１、第２通信サブモジュール３２及び第３通信サブモジュール３３とそれぞれ通信可能に接続する。感知モジュール１０は、ユーザがクライアント端末１２、１３、１４により行ったインタラクション行為をフィードバックする。制御モジュール２０は、装置全体のコアであり、中央サーバ２１の第１通信サブモジュール３１を介してストレージサーバ４１、キャッシュサーバ４３、ロジックサブモジュール４２及びクライアント端末に接続され、すべてのサーバの動作を制御する。制御モジュール２０は、感知モジュール１０からのさまざまな要求を処理し、ユーザ権限を管理し、サーバリソースを割り当て、医療用画像の処理結果を表示する。通信モジュール３０は、各モジュール間の通信を担当する。ストレージサーバ４１は、データの記憶及び配信を担当し、装置の通常動作のために重要なデータベース保証を提供する。キャッシュサーバ４３は、装置の高速なデータ交換及び同期のために支援を提供する。処理モジュール４０は、例えば、セグメンテーション、登録、モデリング及び再構成などの医療用画像の処理を担当し、複雑なアルゴリズム及び可視化アプリケーションのためにキャリアを提供する。

より具体的には、図１の実施例において、制御モジュール２０は、感知モジュール１０から送信されたユーザ要求を受信し、ユーザ要求を解析し、ユーザ要求の合法性及び要求類型を判断し、必要に応じてストレージサブモジュールからデータを取得して異なるクライアント端末１２、１３、１４に配信し又は処理モジュール４０にユーザ要求を転送することを担当する。ユーザが感知モジュール１０により元の医療用画像データを制御モジュール２０にアップロードした後、制御モジュール２０は、まずアップロードされた医療用画像データをストレージサーバ４１のデータベースに記憶するとともに当該医療用画像データに対して画像解析を行う。医療用画像データの解析が完了した後、制御モジュール２０は、医療用画像データの状態のアップロードをユーザに通知するように解析結果を感知モジュール１０に戻す。アップロードされた状態が正常であれば、さらに画像データ処理を行い、画像データ処理が完了した後、今回のアップロードファイルが使用可能としてマークされるように解析結果を感知モジュール１０に戻す。アップロード及び解析が完了した後、感知モジュール１０によりアップロードされた医療用画像に対して一次元又は多次元のウェブページ表示を行う。医療用画像データは通常数十メガ、さらには数千メガもあるので、医療用画像データを転送する場合、大量の医療用データの高速な伝送を実現するために、制御モジュール２０は、第１通信サブモジュール３１を介してキャッシュサーバ４３とデータ交換を行う。また、マルチユーザによる同時操作の状況を実現するために、サーバにはコア数の多いプロセッサを装備する必要がある。したがって、ハードウェアにおいて、制御モジュール２０は、上記医療用データの高速な伝送及びマルチユーザによる同時操作がサポートされるように、一般に、少なくとも４コアのプロセッサ、１万メガのデュアル光ポートネットワークカードにより構成される物理マシンを採用する。

ストレージサブモジュールは、主に以下の機能を実現する。ストレージサブモジュールにおけるストレージサーバ４１は、プリ処理画像が形成されるように医療用画像データをプリ処理すること並びに医療用画像ファイルの記憶及びデータベースの記憶を担当する。ストレージサブモジュールにおけるキャッシュサーバ４３は、装置の高速なデータ交換及び同期のために支援を提供する。具体的な医療用画像ファイルの類型は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ，すなわち、医療用画像及び関連情報の国際標準ＩＳＯ １２０５２である医療用デジタル画像及び通信ファイル）、ＲａｗＤａｔａ（元データ）ファイル、ＳＰＭ（統計的パラメトリックマッピング）ファイル、ＮＩＦＴＩ（神経画像情報学技術イニシアチブ）ファイル、Ｉｎｔｅｒｆｉｌｅファイル、Ａｎａｌｙｚｅファイル、ポータブルネットワークグラフィックファイル、ＭＮＣファイル、ＢＭＰファイル、ＪＰＥＧファイルなどを含む。ハードウェア環境において、ストレージサーバ４１は、アレイカードを使用してストレージディスクアレイを実現し、定期的にデータをバックアップし、データベース管理ツールを使用してデータベースを構築し、対応するサービスを提供する。データベースには、ウェブサイトの動的情報、ファイルストレージパス及びシステム使用記録の情報を保存する必要がある。

処理モジュール４０は、画像可視化の主な処理プラットフォームであり、例えば、セグメンテーション、登録、モデリング及び再構成などの医療用画像の処理を担当する。処理モジュール４０は、制御モジュール２０の管理によりキャッシュサーバ４３からデータを取得し、また、さらに感知モジュール１０からユーザ要求を受信し、要求を解析し、その合法性を判断し、対応する処理を行い、処理結果を制御モジュール２０に送信する。また、処理モジュール４０には、ＣＰＵ、ＧＰＵ、内部メモリ、ビデオメモリなどのリソースの使用状況を検出し、関連データを制御モジュール２０に送信するリソース検出プログラムが搭載される。それにより、制御モジュール２０は、リソースの使用状況に基づいてタスクのスケジューリングを行うことができるようになる。ハードウェアにおいて、処理モジュール４０は、需要に応じて複数の高性能物理マシンを採用することができる。ストレージサブモジュールは、一つ以上のストレージサーバにより構成することができる。各サーバには、大量の医療用画像データの記憶需要が実現されるように少なくとも１６Ｔのストレージスペースが装備される。ロジックサブモジュールは、大量の計算及びデータインタラクションの需要を満たすために、少なくとも１２コアのプロセッサ、６４Ｇ内部メモリ、ビデオメモリ容量６Ｇのデュアルビデオカード、１万メガのデュアル光ポートネットワークカードにより構成される。すべての物理マシン構成は、いずれも実際の需要に応じて拡張することができる。

キャッシュサーバ４３は、高速ネットワークチャネルのデータ交換センタであり、中央サーバ２１、ストレージサーバ４１及びロジックサブモジュール４２間の高速交換チャネル及びバッファとすることができる。キャッシュサーバ４３は、キー値ストレージデータベース（ｋｅｙ－ｖａｌｕｅ内部メモリデータベースとも称される）であり、他のディスクベースのデータベースと比較して、キャッシュサーバ４３は、非常に高いデータ読み書き速度を有しつつ、データベースの使いやすさを維持しているため、バッファとして使用することができる。ハードウェアにおいて、キャッシュサーバ４３は、ストレージサーバ４１、ロジックサブモジュール４２と同じ物理マシン上に統合することも、他の物理マシンを単独で使用することもできる。図１の実施例において、キャッシュサーバ４３及びストレージサーバ４１は、同じ物理マシン上に統合される。

本発明に係る医療用画像四次元可視化の装置は、Ｂ／Ｓアーキテクチャに基づいており、キャッシュサーバ４３をデータの交換センタとし、三つのサーバによって架設され、アルゴリズム、データ及びインターフェースを分離させ、低結合、高速配置及び高メンテナンス性などの利点を有し、いかなる拡張プラグインを必要とすることなくブラウザ（ＰＣ及びモバイル機器）において使用することができる。データ記憶及び実行処理は、ストレージサーバ４１及びロジックサブモジュール４２においてそれぞれ完了するため、データは異なるサーバ間において通信する必要がある。サーバ間のデータ通信は、伝送効率において非常に高い要求を有し、大容量同時発生及び高負荷トラフィックである場合、物理メディアにおけるデータの伝送に加えて、ファイルの読み書き、カプセル化は、いずれも通信の効率に影響する。本装置は、従来ファイルの「送受信」方式ではなく、キャッシュサーバ４３のマスタスレーブ接続方式を採用し、データの「同期」を実現し、データ伝送処理の効率を保証している。

上記システム配置は、分離式アーキテクチャの動作並びにＢ／Ｓアーキテクチャの医療用画像処理及び視覚化をサポートするために、対応する設計データベース及び通信方法が必要である。データ及び処理を完全に分離させることで、サーバのハードウェアを最大限に活用することができる。

図２は、図１に基づく医療用画像四次元可視化の装置の医療用画像ファイル階層を示す概略図である。図１及び図２から分かるように、本発明のデータベースは、主に、（１）患者情報を記憶するための症例データベース（Ｓｔｕｄｙ Ｄａｔａｂａｓｅ，ＳＤと略称する）と、（２）患者の画像情報を記憶するための画像データベース（Ｉｍａｇｅ Ｄａｔａｂａｓｅ，ＩｍＤと略称する）と、（３）処理プロセスの管理情報を保存するための処理管理データベース（Ｐｒｏｃｅｓｓｉｎｇ Ｍａｎａｇｅ Ｄａｔａｂａｓｅ，ＰＭＤと略称する）とを含む。これら三種類のデータベースがストレージサーバ４１に設けられることにより、装置全体は、データマイニング及び遡及分析の能力を具備する。本発明において、感知モジュール１０が制御モジュール２０及び通信モジュール３０を介して処理モジュール４０に送信する対象は、医療用画像ファイルである。医療用画像ファイルは、患者（ｐａｔｉｅｎｔ）、症例（ｓｔｕｄｙ）、系列（ｓｅｒｉｅｓ）及び画像（ｉｍａｇｅ）の四つの階層の医療用画像情報を含む。各階層は、階層の属性を一意に識別可能なキー値を持つ。制御モジュール２０における中央サーバ２１は、医療用画像ファイルを解析し、各医療用画像ファイルを分解し、拡張可能マークアップ言語ファイルを医療用画像ファイルの症例情報とし、画像画素情報、元の医療用画像データ及びプリ処理画像が医療用画像ファイルの画像情報を共同して構成する。症例情報及び画像情報は、いずれも第１通信サブモジュール３１及び第３通信サブモジュール３３を介してストレージサーバ４１に記憶され、症例データベース（ＳＤ）及び画像データベース（ＩｍＤ）を形成する。

図３は、図１に基づく医療用画像四次元可視化の装置の処理管理データベースを示す概略フローチャートである。図２及び図３から分かるように、処理管理データベース（ＰＭＤ）もストレージサーバ４１に形成される。処理管理データベースは、感知モジュール１０及び症例データベース（ＳＤ）とそれぞれ通信可能に接続し、ユーザが感知モジュール１０により制御モジュール２０に要求を送信し、制御モジュール２０が通信モジュール３０を介して異なるユーザ要求を処理モジュール４０に送信するとき、処理モジュール４０は、症例データベースにおける症例ごとの各処理プロセスを記録し、処理管理データベースに送信して保存する。ユーザは、ユーザ要求を送信することにより、異なる処理結果記録を取得することもできる。処理管理データベースにより、システムは、データマイニング及び遡及分析機能を具備し、単純なウィンドウ調整、拡張などの単一操作に制限されなくなり、複数の画像処理方法を組み合わせてより複雑な画像処理操作を行うことができる。処理管理データベースに記録される処理プロセス情報は、処理するオペレータ、処理される系列／画像、処理時間、処理方法、処理パラメータ及び処理結果を含む。各処理プロセス情報は、装置においていずれも一意の「類型」値及び対応するパラメータ文字列を有する。処理管理データベースは、処理された結果ファイルを記憶し、結果ファイルのアドレスを記録する。

ユーザがシステムを使用するとき、データは、処理モジュール４０から感知モジュール１０に伝送される必要があるだけでなく、異なるモジュール内部においても伝送される必要がある。制御モジュール２０と処理モジュール４０のストレージサブモジュール及びロジックサブモジュールとは物理的に分離されているため、本装置は、異なるモジュールと感知モジュール１０との間の通信コンテンツ、通信環境の違いに応じて、ＡＪＡＸ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｊａｖａｓｃｒｉｐｔ ａｎｄ ＸＭＬ，すなわち非同期ＪａｖａＳｃｒｉｐｔ及びＸＭＬ）、ＷｅｂＳｏｃｋｅｔ（２０１１年にＩＥＴＦによって標準ＲＦＣ６４５５として指定されたネットワークプロトコル）及びＲｅｄｉｓ（ｋｅｙ－ｖａｌｕｅストレージシステム）の三つの通信方法を使用してデータ交換を完了させ、キャッシュサーバ４３を利用して高速データ同期を行い、データの効率的な伝送を実現し、感知モジュール１０の処理需要に高速に応答することができる。

ＡＪＡＸ通信方式は、処理モジュール４０と感知モジュール１０との間のポーリング通信を実現することができる。すなわち、一定の時間間隔ごとに、感知モジュール１０は、ＡＪＡＸ要求を処理モジュール４０に送信し、ＡＪＡＸ要求を受信した後、処理モジュール４０は、応答データを感知モジュール１０に戻す。その後、接続をオフにする。感知モジュール１０が応答データを受信した後、クライアント端末１２、１３、１４におけるＪａｖａｓｃｒｉｐｔは、応答データを処理し、クライアント端末のページファイルに更新する。本発明は、この通信方式を使用して感知モジュール１０と処理モジュール４０との間において二次元医療用画像を伝送し、高い安定性及び互換性を有し、画像伝送中における処理モジュールの帯域幅及び時間の消費をできる限り低減することができる。ＡＪＡＸ通信方式は、感知モジュール１０と処理モジュール４０との間のデータ伝送を実現することができる。医療用画像処理における三次元データのリアルタイム再構成など、データ交換が非常に頻繁である場合、処理モジュール４０は、処理された結果を感知モジュール１０にリアルタイムで能動的に送信する必要があり、ＡＪＡＸ通信方式は、要求を満たすことができない。したがって、本発明はさらに、ＷｅｂＳｏｃｋｅｔ通信方式を採用する。ＷｅｂＳｏｃｋｅｔは、ＴＣＰに基づく新しいネットワークプロトコルであり、ブラウザとサーバとの全二重（ｆｕｌｌ－ｄｕｐｌｅｘ）通信を実現することができる。すなわち、処理モジュール４０は、情報を感知モジュール１０に能動的に送信することが許可される。また、ＷｅｂＳｏｃｋｅｔは、モジュール間のプッシュ機能を実現可能な一連のインターフェースを定義する。それにより、リアルタイムデータ伝送プロセスにおけるネットワーク帯域幅などの消費を大幅に削減し、システムの性能を向上させることができる。

ＷｅｂＳｏｃｋｅｔ通信方式は、接続プロセスにおいて、感知モジュール１０を介してＷｅｂＳｏｃｋｅｔ接続要求を送信し、処理モジュール４０が要求メッセージを受信した後に応答を送信し、このプロセスによって両者間のハンドシェイク（ｈａｎｄｓｈａｋｉｎｇ）が完了し、両者間において情報チャネルを構築することにより、何度も接続を構築して応答を待つ必要なく、いつでもデータ情報を伝送することができるようになる。ＡＪＡＸ通信方式と比較して、メッセージプッシュにおいて、処理モジュール４０は、感知モジュール１０から要求メッセージを受動的に受信してからデータを返すのではなく、新しい要求メッセージデータがあるときにそれを処理モジュール４０に能動的にプッシュする。本発明の医療用画像に対するいくつかのリアルタイム処理において、処理モジュール４０は、より高いフレームレートで処理結果を継続的にレンダリングする必要がある。これらのデータは、感知モジュール１０が継続的に要求を送信する代わりに、ＷｅｂＳｏｃｋｅｔ通信方式を使用して感知モジュール１０に継続的に送信される。リアルタイムの大量データ転送において、ＷｅｂＳｏｃｋｅｔ通信方式は、ネットワーク帯域幅の消費を大幅に低減することができ、性能上の利点を有する。

図４は、図１に基づく医療用画像四次元可視化の装置のＲｅｄｉｓ通信方式を示す概略フローチャートである。図４から分かるように、処理モジュール４０とストレージサーバ４１との間は、マスタスレーブ接続を介してデータ同期を行う。処理モジュール４０はマスタ（Ｍａｓｔｅｒ）として機能し、ストレージサーバ４１はスレーブ（Ｓｌａｖｅ）として機能する。マスタの内部メモリの一部は、中間のファイル解析、ハードディスクの読み書きなどのプロセスを必要とすることなく、光ファイバによりスレーブの内部メモリに直接コピーされる。（１）マスタとスレーブとの間において「キャッシュ同期接続要求」状態を介して接続を構築した後、スレーブは、能動的にＳＹＮＣ（すなわち、キャッシュ同期接続）コマンドをマスタに送信する。（２）マスタ処理モジュール４０は、ＳＹＮＣコマンドを受信した後、ＢＧＳＡＶＥコマンド（現在のデータベースのデータをバックグラウンドにおいて非同期にディスクに保存するために使用）の呼び出しを開始して、マスタのデータをデータベースファイル（ｒｄｂファイル）に書き込み、キャッシュサーバ４３を使用して、データセットを修正するためのその後に実行されるすべての修正コマンドをキャッシュする。（３）マスタ処理モジュール４０は、ＢＧＳＡＶＥコマンドを実行した後、スナップショットファイルをスレーブストレージサーバ４１に送信し、送信中にデータセット修正コマンドを実行し続ける。（４）スナップショットファイルを受信した後、スレーブストレージサーバ４１は、以前のすべての古いデータを破棄し、受信したスナップショットをロードする。（５）マスタ処理モジュール４０は、スナップショットを送信した後、バッファのデータセット修正コマンドをＲｅｄｉｓプロトコルのフォーマットでスレーブストレージサーバ４１に送信することを開始する。（６）スレーブストレージサーバ４１は、スナップショットのロードが完了した後、コマンド要求の受信を開始し、マスタバッファからのデータセット修正コマンドを実行する。その後、マスタは、収集したすべてのデータ修正コマンド及び新しいデータ修正コマンドを順次にスレーブに送信し続け、スレーブは、これらのデータ修正コマンドを再度実行することにより最終的なデータ同期を達成する。Ｒｅｄｉｓ通信方式は、データに対する操作速度が非常に速く、１秒あたり約１１万個のデータを読み取り、約８万個のデータを書き込むことができ、Ｓｔｒｉｎｇ、Ｌｉｓｔｓ、Ｈａｓｈｅｓなどの豊富なデータ類型操作をサポートする。処理プロセスの結果は、いずれも処理モジュール４０の内部メモリに保存され、キャッシュサーバ４３のデータ同期を通じてストレージサーバ４１に迅速に保存することができ、必要な場合は、制御モジュール２０を介してさらにユーザに送信することができる。この通信方式は、サーバ側の画像処理結果をハードディスクにおいて頻繁に読み書きすることを回避し、内部メモリ間の高速なデータ交換及び同期を実現することができる。

図５は、図１に基づく医療用画像四次元可視化の方法の医療用画像ファイル解析を示す概略フローチャートである。図５から分かるように、本発明の使用時において、ユーザは、必要に応じて異なるクライアント端末を選択して医療用画像ファイルを中央サーバ２１にアップロードすることができる。中央サーバ２１は、医療用画像ファイルを解析し、医療用画像ファイル及び解析結果をストレージサーバ４１に転送する。処理が終了した後、ユーザは、クライアント端末から提供されるデータリストページにおいて、関連する医療用画像ファイル情報及びプレビュ画像を確認することができる。四次元医療用画像である場合、まず医療用画像における時間情報を解析し、時間情報をストレージサーバ４１における画像データベース（ＩｍＤ）に保存する必要がある。その後、ストレージサーバ４１は、異なる時点の画像をプリ処理し、横断面、冠状面及び矢状面の三つの方向における時間情報を含む断面断層画像を提供する。次に、処理モジュールは、時間情報及び断面断層画像情報に基づいて、制御モジュール２０を介してクライアント端末に動的な三次元医療用画像視覚化機能を提供する。三次元医療用画像である場合、医療用画像ファイルのアップロード及び解析が完了した後、ストレージサーバ４１は、医療用画像ファイルをプリ処理し、横断面、冠状面及び矢状面の三つの方向における断面断層画像を提供し、処理モジュールは、断面断層画像に基づいて、制御モジュール２０を介してクライアント端末に医療用画像の表示機能を提供する。具体的には、図５に示すように、医療用画像ファイルのアップロードが完了した後、ストレージサーバは、医療用画像データにおける三次元データを、互いに直交するＸ、Ｙ、Ｚの三つの方向で断面断層画像をそれぞれ作成し、ストレージサーバのハードディスクに保存し、これはプリ処理画像である。プリ処理画像は、四つのフォーマットがある。（１）医療用画像ファイルの画像がＸ、Ｙ方向における二次元データである場合は、Ｚ軸の順に従って一群の可逆プリ処理画像としてのみ保存される。三次元データである場合は、Ｘ、Ｙ、Ｚの三つの異なる方向に従って、三群のデータ可逆プリ処理画像として保存される。四次元画像データである場合、記録されたＴ時間値に従って時間情報をそれぞれ記録し、時点Ｔごとに、Ｘ、Ｙ、Ｚの三つの異なる方向に対して「Ｔ×３」群の可逆プリ処理画像として保存される。（２）医療用画像ファイルの画像データが８ビット深度画像である場合は、最大２５６のインデックスカラチャネルをサポートする８ビットの可逆プリ処理画像として直接記憶される。（３）医療用画像ファイルの画像データが１６ビット、２４ビット又は３２ビットの深度画像である場合は、医療用画像の画像データをプレースホルダの大きさの順に従って、プリ処理画像のＲＧＢＡ（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ、ａｌｐｈａ）チャネルにハイビットからロービットの順に入れ、約１６００万カラチャネルをサポートする。処理プロセスが終了した後、ユーザは、クライアント端末により医療用画像ファイルの画像を確認することができる。本発明のプリ処理画像を使用する利点は、基本的にはサーバのＣＰＵ性能を占有せず、画像伝送の遅延時間が少なく、適応性が強く、ブラウザサポート状況が優れていることである。本発明のプリ処理画像は、一般的に使用される画像フォーマットの一つとして、一般的に使用されるすべてのブラウザによってサポートされている。

本発明において医療用画像四次元可視化を行うとき、ユーザは、クライアント端末１２、１３、１４のウェブサーバ（ＷｅｂＳｅｒｖｅｒ）により四次元可視化要求を処理モジュール４０に送信する。処理モジュール４０のロジックサブモジュール４２は、三つのサブモジュールを含む。（１）レンダリングコアサブモジュールは、各フレームの再構成結果の計算を担当するコア処理モジュールである。（２）ネットワーク通信サブモジュールは、クライアント端末との通信、メッセージ解析及びキャッシュサーバ４３とのデータベース操作及びロジック管理サブモジュール４２へのインタラクション要求メッセージの送信を担当する。（３）ロジック管理サブモジュールは、クライアント端末からのインタラクションイベントに応答し、ネットワーク通信サブモジュールからのインタラクション要求メッセージを分類及びソートし、レンダリングコアサブモジュールの計算負荷が低減されるように誤った又は重複したインタラクション要求メッセージを破棄する。本発明のロジックサブモジュール４２は、ボリュームレンダリング（Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ，ＶＲ）、表面再構成（Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ＳＲ）、最大強度投影（Ｍａｘｉｍａｌ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ，ＭＩＰ）、マルチプレーン再構成（Ｍｕｌｔｉ－Ｐｌａｎｎｅｒ Ｒｅｆｏｒｍａｔｉｏｎ，ＭＰＲ）などの操作を実現することができる。それにより、時間要素を有する三次元画像群をさらに動的に生成し、すなわち、医療用画像四次元可視化処理を実現する。図６は、本発明に係る医療用画像四次元可視化の装置を採用してロジックサブモジュール４２を採用して処理される三次元医療用画像であり、図６から分かるように、本発明を採用して得られる三次元医療用画像は、処理が高速で表示が鮮明である。

本発明に係る医療用画像四次元可視化の方法及び装置は、以下の利点を有する。
その１、キャッシュサーバをデータの交換センタとして拡張し、マスタスレーブ同期をサポートする。それにより、感知モジュール、通信モジュール、処理モジュール及び制御モジュール間においてデータを高速に同期させることができるようになり、データアクセスの性能が大幅に向上する。
その２、ユーザは、システムをローカルにおいてインストールする必要がなく、通常のコンピュータ又はモバイル機器を直接利用して処理操作を完了させることができる。
その３、モジュラシステムアーキテクチャ設計により、システムを四つのモジュールに分割する。感知モジュールは、ユーザのインタラクション行為をフィードバックし、通信モジュールは、装置全体の各モジュール間の通信を担当し、処理モジュールは、例えば、セグメンテーション、登録、モデリング、再構成など、医療用画像データの記憶、配信及び処理を担当し、制御モジュールは、感知モジュールからのさまざまな要求を処理し、ユーザ権限を管理し、サーバリソースを割り当て、医療用画像の処理結果を表示する。極めて強い拡張能力を有し、異なる医療用画像可視化方法は、本装置に高速に配置することができる。
その４、できる限り少ないネットワーク伝送データ及びクライアント端末計算リソースの消費により、医療用画像のボリュームレンダリング、表面再構成及びマルチプレーン再構成などの四次元可視化を実現し、三次元立体画像を直感的、正確的、動的に再構成し、画像の表示速度をできる限り高速化し、医療用画像ファイルをプリ処理画像に変換することにより、医療用画像のウェブページ表示が実現される。プリ処理画像は、いずれも可逆圧縮であり、データロスがない。
その５、コストがより低くなり、いつでも、どこでも、どのプラットフォームにもアクセスすることができるため、より柔軟で、医師、研究者により大きな利便性をもたらすことができる。

上記の説明は、本発明の好適実施例にすぎず、本発明の範囲を限定することを意図するものではなく、本発明の上記実施例にさまざまな変更を行うこともできる。すなわち、本発明の特許請求の範囲及び明細書の内容に従って行われるすべての単純かつ同等の変更及び修正は、いずれも本発明の特許の保護範囲に含まれる。本発明において詳細に説明されていないものは、従来の技術内容である。

Claims (15)

1. 医療用画像データをクライアント端末により制御モジュールにアップロードするステップＳ１と、
   前記医療用画像データを前記制御モジュールにより解析し、解析結果を前記クライアント端末にフィードバックするとともに、前記医療用画像データ及び前記解析結果をストレージサーバに転送するステップＳ２と、
   前記ストレージサーバが前記解析結果に基づいて時間情報が含まれることを判明した場合に、前記医療用画像データに基づいて、互いに直交する三つの方向の断面断層画像をプリ処理画像として時間ごとにそれぞれ作成するプリ処理を行い、作成した前記プリ処理画像が含まれるプリ処理画像情報を時間情報と共に保存して処理モジュールに送信するステップＳ３と、
   前記処理モジュールが前記プリ処理画像情報と時間情報とに基づいて動的に三次元画像処理を行い、取得した処理結果を前記クライアント端末へ送信するステップＳ４と、
   前記クライアント端末が受信した処理結果に基づいて医療用画像の三次元動的表示を行うステップＳ５と、を含む、
   ことを特徴とする医療用画像四次元可視化の方法。
2. 前記ステップＳ１において、前記クライアント端末は、前記医療用画像データを圧縮データ及びメッセージにより前記制御モジュールに転送する、
   ことを特徴とする請求項１に記載の医療用画像四次元可視化の方法。
3. 前記ステップＳ１において、前記クライアント端末は、相互接続ユニットを介して前記制御モジュールにユーザ要求を送信し、前記制御モジュールは、前記ユーザ要求を受信し、前記クライアント端末に前記解析結果をフィードバックするとともに、異なる前記ユーザ要求を前記ストレージサーバ及び前記処理モジュールに割り当てる、
   ことを特徴とする請求項１に記載の医療用画像四次元可視化の方法。
4. 前記ステップＳ１において、前記医療用画像データの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Ｉｎｔｅｒｆｉｌｅファイル、Ａｎａｌｙｚｅファイル、ポータブルネットワークグラフィックファイル、ＭＮＣファイル、ＢＭＰファイル、ＪＰＥＧファイルを含む、
   ことを特徴とする請求項１に記載の医療用画像四次元可視化の方法。
5. 前記ステップＳ２において、前記制御モジュールは、中央サーバを介して、前記医療用画像データを解析し、前記クライアント端末とデータインタラクションを行い、前記中央サーバは、通信モジュールを介して前記医療用画像データ及び前記解析結果を前記ストレージサーバに転送する、
   ことを特徴とする請求項１に記載の医療用画像四次元可視化の方法。
6. 前記通信モジュールは、互いに通信する第１通信サブモジュール、第２通信サブモジュール及び第３通信サブモジュールを含み、
   前記第１通信サブモジュールは、前記中央サーバを介して相互接続ユニットと通信し、
   前記ストレージサーバは、前記第３通信サブモジュールを介して前記第１通信サブモジュールと通信し、
   前記処理モジュールは、前記第２通信サブモジュールを介して前記中央サーバ及び前記ストレージサーバと通信する、
   ことを特徴とする請求項５に記載の医療用画像四次元可視化の方法。
7. 前記ステップＳ４において、前記処理モジュールは、各フレームの再構成結果をレンダリングコアサブモジュールにより計算し、前記クライアント端末との通信、メッセージ解析及びキャッシュサーバとのデータベース操作をネットワーク通信サブモジュールにより行い、ロジック管理サブモジュールにより前記クライアント端末からのインタラクションイベントに応答し、前記ネットワーク通信サブモジュールからのインタラクション要求メッセージを分類及びソートし、誤った又は重複したインタラクション要求メッセージを破棄する、
   ことを特徴とする請求項１に記載の医療用画像四次元可視化の方法。
8. 前記ステップＳ４において、前記処理モジュールは、動的に三次元画像処理を行った後、医療用画像の動的表示が行われるように処理結果を圧縮データ及びメッセージにより前記クライアント端末に転送する、
   ことを特徴とする請求項１に記載の医療用画像四次元可視化の方法。
9. 医療用画像データがクライアント端末によりアップロードされる制御モジュールであって、前記医療用画像データを解析し、解析結果を前記クライアント端末にフィードバックするとともに、前記医療用画像データ及び前記解析結果を送信する制御モジュールと、
   送信された前記解析結果に基づいて時間情報が含まれることを判明した場合に、前記医療用画像データに基づいて、互いに直交する三つの方向の断面断層画像をプリ処理画像として時間ごとにそれぞれ作成するプリ処理を行い、作成した前記プリ処理画像が含まれるプリ処理画像情報を時間情報と共に保存して送信するストレージサーバと、
   前記プリ処理画像情報と時間情報とに基づいて動的に三次元画像処理を行い、取得した処理結果を前記クライアント端末へ送信する処理モジュールと、を含む、
   ことを特徴とする医療用画像四次元可視化の装置。
10. 前記制御モジュールは、互いに通信可能に接続しつつ、異なるユーザ要求をそれぞれ処理する複数の制御ユニットを含む、
    ことを特徴とする請求項９に記載の医療用画像四次元可視化の装置。
11. 複数の前記制御ユニットのうちの一つは、相互接続ユニットを介して前記クライアント端末と通信可能に接続する中央サーバである、
    ことを特徴とする請求項１０に記載の医療用画像四次元可視化の装置。
12. 前記制御モジュールの前記中央サーバは、アップロードされた医療用画像データを前記クライアント端末により受信して解析し、前記医療用画像データ及び解析結果を前記ストレージサーバに転送する、
    ことを特徴とする請求項１１に記載の医療用画像四次元可視化の装置。
13. 前記医療用画像データの類型は、医療用デジタル画像及び通信ファイル、元データファイル、統計的パラメトリックマッピングファイル、神経画像情報学技術イニシアチブファイル、Ｉｎｔｅｒｆｉｌｅファイル、Ａｎａｌｙｚｅファイル、ポータブルネットワークグラフィックファイル、ＭＮＣファイル、ＢＭＰファイル、ＪＰＥＧファイルを含む、
    ことを特徴とする請求項９に記載の医療用画像四次元可視化の装置。
14. 前記クライアント端末との間において、医療用画像データを圧縮データ及びメッセージにより転送する、
    ことを特徴とする請求項９に記載の医療用画像四次元可視化の装置。
15. 前記クライアント端末は、相互接続ユニットを介して前記制御モジュールにユーザ要求を送信し、
    前記制御モジュールは、前記ユーザ要求を受信し、前記クライアント端末に前記解析結果をフィードバックするとともに、異なる前記ユーザ要求を前記ストレージサーバ及び前記処理モジュールに割り当てる、
    ことを特徴とする請求項９に記載の医療用画像四次元可視化の装置。

Images