JP7391348B2 - 医用画像処理システム、医用画像処理方法および医用画像処理プログラム - Google Patents

医用画像処理システム、医用画像処理方法および医用画像処理プログラム Download PDF

Info

Publication number
JP7391348B2
JP7391348B2 JP2019118271A JP2019118271A JP7391348B2 JP 7391348 B2 JP7391348 B2 JP 7391348B2 JP 2019118271 A JP2019118271 A JP 2019118271A JP 2019118271 A JP2019118271 A JP 2019118271A JP 7391348 B2 JP7391348 B2 JP 7391348B2
Authority
JP
Japan
Prior art keywords
image
dimensional image
input
dimensional
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019118271A
Other languages
English (en)
Other versions
JP2020000863A (ja
Inventor
金吾 七戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nemoto Kyorindo Co Ltd
Original Assignee
Nemoto Kyorindo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nemoto Kyorindo Co Ltd filed Critical Nemoto Kyorindo Co Ltd
Publication of JP2020000863A publication Critical patent/JP2020000863A/ja
Priority to JP2023194074A priority Critical patent/JP2024023303A/ja
Application granted granted Critical
Publication of JP7391348B2 publication Critical patent/JP7391348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、被験者から得られた医用画像データの表示を処理する医用画像処理システム、医用画像処理方法および医用画像処理プログラムに関する。
従来、ＣＴ装置等の撮像装置によって得られた医用画像を用いた診断および治療が行われている。撮像装置で得られた医用画像は、例えば、病変の有無の確認、手術前のシミュレーション、および手術中のナビゲーション等に利用される。医用画像として利用されるのは二次元画像および／または三次元画像である。上述した撮像装置によって取得される画像データは、複数のスライス画像データ、すなわち二次元画像データである。三次元画像は、複数の二次元画像データからボリュームデータを作成することによって得ることができる。例えば特許文献１、２には、二次元画像と三次元画像を同一の表示デバイスに表示できる医用画像表示装置が開示されている。
特開２００４－３５７７８９号公報 特許第４９７１４０２号公報
特許文献１、２に記載の発明では、三次元画像とそれに対応する二次元画像を同一の表示デバイスに表示するものであるが、二次元画像と三次元画像との対応関係をより詳細に知りたいという要求もある。例えば、動脈系の血管と静脈系の血管とが複雑に走行しているような部位では、二次元画像と三次元画像とを視覚的に対比することによって複数の血管同士の位置関係を把握するようなことも行われるが、二次元画像と三次元画像とが単に並べて表示されているだけでは、三次元画像と二次元画像との対応関係を把握しにくい場合があるなど、診断や治療に使用するには使い勝手が良いとはいえなかった。
本発明は、同一の表示デバイスに表示される各種画像の対応関係を把握しやすく、診断や治療において有効に利用できる画像を表示させる医用画像処理装置等を提供することを目的とする。
本発明の医用画像処理システムは、画像を表示する表示デバイスと、
操作者による入力を受け付ける入力デバイスと、
複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納するデータ格納部と、
前記入力デバイスによって受け付けられた入力に従って前記表示デバイスへの前記画像の表示を制御する画像表示制御部と、
を有し、
前記画像表示制御部は、
前記データセットから少なくとも前記三次元画像を作成する処理と、
作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を前記表示デバイスに同時に表示させる処理と、
前記入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成し、前記補助画像を前記三次元画像および前記第二画像の他方に表示させる処理と、
を行うように構成されている。
本発明の医用画像処理方法は、画像を表示する表示デバイスと、操作者による入力を受け付ける入力デバイスと、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納するデータ格納部と、を用いる医用画像処理方法であって、
前記データセットから前記三次元画像を作成することと、
作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を前記表示デバイスに同時に表示させることと、
前記入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成し、前記補助画像を前記三次元画像および前記第二画像の他方に表示させることと、
を含む。
本発明の医用画像処理プログラムは、データ格納部に格納された、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットから作成された少なくとも前記三次元画像を表示デバイスに表示させる処理をコンピュータに実行させる医用画像処理プログラムであって、
前記コンピュータに、
前記データセットから前記三次元画像を作成させる処理と、
作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を前記表示デバイスに同時に表示させる処理と、
前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成させ、前記補助画像を前記三次元画像および前記第二画像の他方に表示させる処理と、
を実行させる。
（本発明で用いる用語の定義）
「解剖学的構造」とは、被写体内で認識可能な、例えば臓器、骨、血管等の対象物（オブジェクト）のことをいい、脂肪や、腫瘍等の病変等も含む。また、全体としてみれば１つの解剖学的構造であっても、複数の単位に分けられたり別個の役割等を有していたりする解剖学的構造については、複数の解剖学的構造として扱われることもある。例えば、肺は、上葉、中葉および下葉をそれぞれ別個の解剖学的構造として扱うことができ、また、血管は、動脈系血管と静脈系血管をそれぞれ別個の解剖学的構造として扱うことができる。
画像の表示における「半透明」とは、三次元画像での解剖学的構造の表示形態の一つであり、隠れていた他の解剖学的構造を視認できるように透過率が設定されていることを意味し、半透明とされる対象となる解剖学的構造をほとんど視認することができない状態での表示も含む。具体的な透過率としては、３０％～９０％の間とすることができる。
「二次元画像」とは、解剖学的構造の断面を表す画像を意味し、「三次元画像」とは、三次元の情報を二次元的に表した画像を意味する。「二次元画像」は、「断面画像」ということもある。
本発明によれば、互いに関連した複数種類の画像を表示デバイスに表示させる場合において、表示されている画像の対応関係を視覚的に把握しやすく、診断や治療において有効に利用できる画像を表示させることができる。
本発明の一実施形態による医用画像処理システムのブロック図である。 図１に示す表示デバイスに表示される初期画面の一例を示す図である。 図２に示す画面上への、三次元画像および二次元画像の表示の一例を示す図である。 二次元画像における、着色画像の重ね合わせを説明する図である。 表示デバイスへの、二次元画像が示す断面位置の、三次元画像への表示の一例を示す図である。 図５に示す表示において、二次元画像上の位置を特定した場合の、二次元画像および三次元画像への表示の一例を示す図である。 三次元画像および二次元画像の両方への入力に対する並列処理の一例を説明する図である。 三次元画像および二次元画像の両方への入力に対する並列処理の一例を説明する図である。 三次元画像および二次元画像の両方への入力に対する並列処理の一例を説明する図である。 三次元画像上で指定した場所での二次元画像を二次元画像表示領域に表示する場合の手順の一例を説明する図であり、二次元画像に表示させる断面の位置を三次元画像上で指定した段階を示している。 三次元画像上で指定した場所での二次元画像を二次元画像表示領域に表示する場合の手順の一例を説明する図であり、指定した場所での二次元画像が二次元画像表示領域に表示された段階を示している。 図６に示した段階において、指定した場所が属する解剖学的構造を半透明で表示した例を示す図である。 三次元画像表示領域および二次元画像表示領域のサイズ変更を説明する図であり、二次元画像表示領域のサイズを拡大した状態を示す。 三次元画像表示領域および二次元画像表示領域のサイズ変更を説明する図であり、三次元画像表示領域のサイズを拡大した状態を示す。 本発明の他の実施形態による医用画像処理システムの表示画面の一例を示す図である。 図９に示す画面においてメニューボタンアイコンを操作することによって表示される画面の一例を示す図である。 図９Ａに示す画面から選択できる三次元画像のクリッピング機能を説明する図である。 図９Ａに示す画面から選択できる三次元画像のクリッピング機能を説明する図である。 図９Ａに示す画面から選択できる三次元画像のクリッピング機能を説明する図である。 図９Ａに示す画面から選択できる三次元画像のパースペクティブ表示機能を説明する図である。 図９Ａに示す画面から選択できる三次元画像のパースペクティブ表示機能を説明する図である。 図９Ａに示す画面から選択できる三次元画像のパースペクティブ表示機能を説明する図である。 図９Ａに示す画面から選択できる三次元画像のスプリットウィンドウ表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 三次元画像の半透明表示および非表示機能を説明する図である。 血管支配領域の計算機能を説明する図である。 本発明の他の形態による処置支援システムのブロック図である。
図１を参照すると、画像表示制御部１１と、データ格納部１２と、表示デバイス１３と、入力デバイス１４とを少なくとも有する、本発明の一実施形態による医用画像処理システム１のブロック図が示されている。医用画像処理システム１は、これらに加えてデータ入出力インターフェース１５、医用情報管理装置２１、薬液注入装置２２および撮像装置２３をさらに有していてもよい。本形態の医用画像処理システム１は、三次元画像およびその三次元画像と関連付けられた他の種類の画像である第二画像を表示デバイス１３に同時に表示できるように構成されるものであり、以下においては、第二画像が二次元画像である場合を例に挙げて説明する。
表示デバイス１３は、液晶ディスプレイおよび有機ＥＬディスプレイなど、画像表示制御部１１で作成された画像を表示できる任意のディスプレイであってよい。入力デバイス１４は、例えば、キーボードやマウスなど、操作者による入力操作を受け付け、画像表示制御部１１にデータ等を入力できる任意のデバイスであってよい。また、ディスプレイとタッチスクリーンとを組み合わせたタッチパネルを、表示デバイス１３および入力デバイス１４として用いることもできる。
さらに、入力デバイス１４として、非接触で入力を行うことのできる非接触入力ユニットを組み合わせることもできる。非接触入力ユニットは、ジェスチャ認識技術を利用したものと音声認識技術を利用したものに分けることができる。
ジェスチャ認識技術を利用した非接触入力ユニットの一例として、「Ｌｅａｐセンサ」（Ｌｅａｐ Ｍｏｔｉｏｎ社製）が挙げられる。「Ｌｅａｐセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、赤外線照射部と、赤外線カメラ等を有する。赤外線照射部から照射された赤外線が操作者の手に当たったときの反射光を赤外線カメラで撮影し、画像解析を行うことで、三次元空間内での操作者の手および指の位置、動作および形状等をリアルタイムで検出するものである。
ジェスチャ認識技術を利用した非接触入力ユニットの他の例として、「リアルセンス」（インテル社製）が挙げられる。「リアルセンス」は、ＲＧＢカメラおよび赤外線カメラから構成された３Ｄカメラ、赤外線センサ等をモジュール化したものであり、色情報の他に奥行情報を取得でき、操作者の指等の動作を三次元で認識可能である。
本形態では、Ｌｅａｐセンサおよびリアルセンスのいずれも利用可能であり、いずれにおいても、入力のための操作者の動作は、タッチパネル上での操作者の動作（例えば、タップ、ダブルタップ、スワイプ、フリック、ピンチイン、ピンチアウトなど）と同じ動作に加え、奥行方向の動作も利用可能である。実際の入力動作に際しては、アクリル樹脂等からなる透明な平板を適宜位置に配置し、その平板を基準面として入力動作を行うようにすることで、奥行方向での位置ずれによる誤認識を防止することができる。
音声認識技術を利用した非接触入力ユニットの例として、音声認識ユニットを挙げることができる。音声認識ユニットは、操作者が発生した音声を取得するマイクロフォンと、マイクロフォンが取得した音声を認識して操作用信号に変換する音声認識装置と、を有することができる。音声認識装置の設置場所は任意であってよいが、マイクロフォンは、操作者の近くに設置することが好ましい。
データ格納部１２は、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納する。データ格納部１２としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）および各種メモリの少なくとも一種を含むことができる。データ格納部１２には、これら二次元画像データおよび三次元画像データの他に、画像表示制御部１１が行う処理に必要な少なくとも１つのプログラム、テーブル、データベース等が格納されていてもよい。
データ格納部１２に格納されるデータセットは、データ入出力インターフェース１５を通じて医用情報管理装置２１から取得することができる。データ入出力インターフェース１５は、医用情報管理装置２１と無線接続されるものであってもよいし有線接続されるものであってもよい。医用情報管理装置２１としては、ＰＡＣＳ（ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ ＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ）、ＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）およびＨＩＳ（Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）等が挙げられる。
医用情報管理装置２１は、薬液注入装置２２によって薬液（例えば造影剤）が注入され、撮像装置２３によって撮像された被験者の医用画像データを管理する。薬液注入装置２２としては、シリンジや薬液バッグ等に充填された造影剤等の薬液を、予め設定された注入条件に従って被験者に注入する任意の注入装置を用いることができる。撮像装置２３は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇａｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、アンギオグラフィ装置、ＰＥＴ（Ｐｏｓｉｔｏｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置、超音波診断装置等、画像データで構成された医用画像を撮像することのできる任意の装置であってよい。データ格納部１２に格納されるデータセットは、撮像装置２３から取得することもできる。
ここで、データ格納部１２に格納されるデータセットについて説明すると、データセットの例としては、複数の解剖学的構造についてのボリュームデータセットが挙げられる。ボリュームデータセットは、撮像装置２３によって被験者に対して特定の方向（例えば、体軸方向、左右方向、前後方向、これらの少なくとも１つに対して傾斜した方向など）に一定の間隔（例えば１ｍｍ間隔）で連続的に撮影された複数（例えば３００）のスライス画像データを体軸方向に配列して得られるデータセットである。また、データ格納部１２に格納されるデータセットは、撮像装置２３から直接または間接的に取得された生データであってもよい。この場合、画像表示処理部１１は、データ格納部１２に格納された生データの再構成を行い、任意の画像を得るように構成されることが好ましい。
ボリュームデータセットは複数のボクセルからなり、各ボクセルのボクセル値に基づく所定の処理により、複数の解剖学的構造を抽出することができる。そして、各ボクセルに対して、抽出した解剖学的構造ごとに透過率や色相が設定される。よって、各ボクセルは、座標情報、透過率情報および色相情報を含んでいる。このようにして解剖学的構造が抽出され、解剖学的構造ごとに透過率や色相が設定されたボリュームデータセットにレンダリング処理を行うことによって、三次元画像を作成することができる。レンダリング処理としては、ボリュームレンダリング（ＶＲ）、最大値投影法（ＭＩＰ）などが挙げられる。
解剖学的構造の抽出のための処理、各ボクセルに対する透過率や色相の設定、およびレンダリング処理など、ボリュームデータセットから三次元画像を作成するための各処理は公知の処理であってよいので、ここではそれらの詳細な説明は省略する。また、ボリュームデータセットにおける解剖学的構造の抽出、および透過率・色相の設定は、この画像表示制御部１１で行ってもよいし、予め、解剖学的構造が抽出され透過率および色相が設定されたボリュームデータセットがデータ格納部１２に格納されていてもよい。
解剖学的構造ごとに透過率および色相が設定されたボリュームデータセットは、解剖学的構造ごとに複数のレイヤーに分けられており、各ボクセルがレイヤー情報を含んでいてもよい。この場合、ボリュームデータセットは、解剖学的構造ごとの複数のレイヤー情報を持つ１つのデータファイルとしてデータ格納部１２に格納されていてもよいし、それぞれレイヤー情報ごとに分けられた複数のデータファイルとしてデータ格納部１２に格納されていてもよい。ボリュームデータセットがいずれの形態で格納されるかは、ボリュームデータセットの格納時に操作者が任意に選択できるようにしてもよい。
ボリュームデータセットを任意の平面で切り出して再構成することによって、二次元画像を作成することができる。このような処理を、任意断面再構成（ＭＰＲ）という。医療分野で用いられる二次元画像としては、基本的に、被験者の体軸方向に垂直なアキシャル断面、被験者の左右方向に垂直なサジタル断面および被験者の前後方向に垂直なコロナル断面がある。
これらの二次元画像は、ボリュームデータセットから作成された、所望の断面位置における二次元画像データを用いて作成することができる。二次元画像データの作成は、データ格納部１２に格納されたボリュームデータセットを用い、この画像表示制御部１１で行うことができる。あるいは、ボリュームデータセットを用いて予め作成された複数の二次元画像データ（二次元画像データセット）が、その元となるボリュームデータセットとともにデータ格納部１２に格納されてもよい。いずれの場合でも、ボリュームデータから二次元画像データが作成された段階で、ボリュームデータの各ボクセルの座標情報が二次元画像データに引き継がれ、したがって、共通のボリュームデータに基づく三次元画像および二次元画像は共通の座標データを持っている。また、二次元画像の表示に際しては、二次元画像データの補間処理がなされてもよい。
例えば上記のアキシャル断面、サジタル断面およびコロナル断面といった複数の断面における二次元画像データセットがデータ格納部１２に格納される場合、二次元画像データセットは、全ての断面についての複数の二次元画像データを有する１つのデータファイルとしてデータ格納部１２に格納されていてもよいし、それぞれ各断面についての複数の二次元画像データを有する複数のデータファイルとしてデータ格納部１２に格納されていてもよい。
再び図１を参照すると、データ入出力インターフェース１５と医用情報管理装置２１との接続が有線接続であって、かつ、データ入出力インターフェース１５がケーブル着脱式のコネクタである場合、およびデータ入出力インターフェース１５と医用情報管理装置２１との接続が無線接続である場合、医用画像処理端末１０を医用画像処理システム１として構成することができる。医用画像処理端末１０は、好ましくは、画像表示制御部１１、データ格納部１２、表示デバイス１３、入力デバイス１４およびデータ入出力インターフェース１５を単一の筐体内に収めたものとして構成される。医用画像処理端末１０は、タブレット端末や、タッチパネルディスプレイを有するノート型パーソナルコンピュータなど、可搬型の端末である。ただし、医用画像処理端末１０は、表示デバイス１３および入力デバイス１４が画像表示制御部１１と別体のユニットで構成されたワークステーションとして構成されていてもよい。
画像表示制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えたコンピュータユニットで構成することができ、入力デバイス１４によって受け付けられた入力に従って表示デバイス１３への画像の表示を制御する種々の処理を実行する。画像表示制御部１１で行われる処理は、コンピュータプログラムで実現してもよいし、論理回路によるハードウェアで実現してもよい。
画像表示制御部１１で行われる処理をコンピュータプログラムで実現する場合、コンピュータプログラムは、前述したように、データ格納部１２に格納することができる。データ格納部１２に格納されたコンピュータプログラムは、画像表示制御部１１のＲＡＭにロードされることによって実行され、ＣＰＵなどのハードウェアと協働することによって各種処理が実行される。
コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記憶させてもよい。コンピュータプログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は特に限定されず、例えば、メモリーカード、ＣＤ－ＲＯＭ等の記録媒体であってもよい。記録媒体に記憶されたコンピュータプログラムは、適宜のリーダーを介してコンピュータユニットに実装することができる。適宜のリーダーとは、例えば、記録媒体がメモリーカードである場合はカードリーダ、記録媒体がＣＤ－ＲＯＭである場合はＣＤドライブ、などが挙げられる。
または、コンピュータプログラムは、外部のサーバから通信ネットワークを介してコンピュータユニットにダウンロードされたものであってもよい。
画像表示制御部１１は、画像の表示を制御する種々の処理を実行するため、入力判定部１１ａ、表示処理部１１ｂおよび補助画像処理部１１ｃを、概念的な構成として有している。
入力判定部１１ａは、入力デバイス１４が受け付けた入力を、入力を受け付けた入力デバイス１４の種類、入力された信号の変化などから、表示デバイス１３に表示されている画像に対してどのような処理を行うかを判定する。
表示処理部１１ｂは、主に、表示デバイス１３の表示領域についての処理および表示領域内での画像表示についての処理を行う。これらの処理について、データ格納部１２にボリュームデータセットが格納されている場合を例に挙げ、図２および図３をさらに参照して説明する。
表示領域の処理では、表示処理部１１ｂは、図２に示すように、表示デバイス１３の画面における画像表示領域を、第１表示領域および第２表示領域、具体的には三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂに分けて表示させる。また、表示処理部１１ｂは、入力デバイス１４による入力操作に用いられるボタン（アイコン）および／または入力デバイス１４からの入力に応じた各種マーク等を表示デバイス１３表示させることもできる。
表示領域内での画像表示についての処理では、図３に示すように、三次元画像表示領域１００ａに、データ格納部１２に格納されているボリュームデータセットから作成された三次元画像３００を表示させると同時に、二次元画像表示領域１００ｂに、三次元画像３００上で特定された位置に対応する二次元画像２００を、データ格納部１２に格納されているボリュームデータセットから作成し、表示させる処理を行う。
補助画像処理部１１ｃは、二次元画像表示領域１００ｂに表示されている二次元画像２００の表示および三次元画像表示領域１００ａに表示されている三次元画像３００への補助画像の表示の処理を行うものであり、特に、二次元画像２００および三次元画像３００の少なくとも一方に含まれる情報から補助画像を作成し、その補助画像を二次元画像２００および三次元画像３００の他方に表示させる処理を行うことができるように構成されている。この処理は、入力デバイス１４が受け付けた入力に従った処理であってもよいし、入力デバイス１４からの入力とは無関係に予め設定された手順に従った処理であってもよい。
次に、上述した医用画像処理システム１による画像処理について、医用画像処理システム１をタブレット型の医用画像処理端末１０に適用した場合を例に挙げて説明する。以下で説明するタブレット型の医用画像処理端末１０は、画像表示制御部１１、データ格納部１２、表示デバイス１３、入力デバイス１４およびデータ入出力インターフェース１５を１つの筐体に収め、表示デバイス１３および入力デバイス１４としてタッチパネルを備えた、可搬型の医用画像処理端末１０である。
医用画像処理端末１０の電源が入れられ、医用画像処理プログラムが起動されると、以下に述べる一連の処理が、画像表示制御部１１によって行われる。
まず、表示処理部１１ｂが、図２に示すように、医用画像処理端末１０の表示デバイス１３の画像表示領域を三次元画像表示領域１００ａと二次元画像表示領域１００ｂとに分けて表示させる。また、表示処理部１１ｂは、操作者による入力操作に用いられる各種アイコンを表示デバイス１３に表示させる。表示デバイス１３に表示させる各種アイコンとしては、画像データをデータ格納部１２から読み出すのに用いられる少なくとも１つのデータ読み出しアイコン１１１、および入力デバイス１４の選択に用いられる入力選択アイコン１１４等が含まれる。入力選択アイコン１１４は、入力デバイス１４として、タッチパネルの他に、Ｌｅａｐセンサや音声認識ユニット等、他の入力デバイス１４が接続されている場合に有効である。
操作者がデータ読み出しアイコン１１１をタップすると、この操作が入力判定部１１ａにて判定される。表示処理部１１ｂは、データ格納部１２からボリュームデータセットを読み出し、図３に示すように、二次元画像２００および三次元画像３００を作成し、それぞれ断面再構成処理あるいはレンダリング処理といった適宜処理を施し、二次元画像表示領域１００ｂおよび三次元画像表示領域１００ａに表示させる。二次元画像表示領域１００ｂに表示される二次元画像２００は、三次元画像表示領域１００ａに表示される三次元画像３００中の特定された位置に対応する二次元画像２００である。
このとき表示される三次元画像３００の向き（被験者の前後方向から見た画像か、被験者の左右方向から見た画像か、または被験者の体軸方向から見た画像か）は、表示処理部１１ｂによって予め定められていてもよいし、入力デバイス１４から入力されるようにしてもよい。また、二次元画像２００は、三次元画像３００中の特定された位置に対応するものであるが、三次元画像３００中のどの位置に対応するか、およびどの方向の断面か（被験者の体軸方向に垂直なアキシャル断面か、被験者の左右方向に垂直なサジタル断面か、または被験者の前後方向に垂直なコロナル断面か）は、表示処理部１１ｂによって予め定められていてもよいし、入力デバイス１４から入力されるようにしてもよい。一例として、三次元画像３００は、被験者の正面から見た画像が表示され、二次元画像２００は、三次元画像３００の中心を通るアキシャル断面が表示されるように定めることができる。なお、三次元画像３００の向きおよび二次元画像２００の断面は、表示デバイス１３に表示された表示切り替えアイコン１１２、１１３をタップすることによって任意に切り替えることができる。
また、表示処理部１１ｂは、三次元画像表示領域１００ａに表示された三次元画像３００および二次元画像領域１００ｂに表示された二次元画像２００の表示を、それぞれ個別に、または互いに連動して、および入力デバイス１４からの入力に応じて、または予め定められた設定に従って処理する。以下、表示の処理のいくつかの例について説明する。
（三次元画像の回転、拡大・縮小、平行移動等）
三次元画像表示領域１００ａに表示されている三次元画像３００は、入力デバイス１４による所定の入力操作によって、任意の方向への回転、拡大・縮小、平行移動等、表示の変更が可能である。これらの表示の変更には、入力デバイス１４がタッチパネルである場合、タッチパネル特有の操作を利用することができる。この操作が入力判定部１１ａで判定され、これによって表示処理部１１ｂは、入力判定部１１ａでの判定結果に応じて、三次元画像３００の表示を変更する。表示の変更としては、例えば、スワイプ操作によりスワイプ方向に応じて三次元画像３００を回転させること、ピンチイン・ピンチアウト操作による三次元画像３００の縮小・拡大などが挙げられる。また、２点をタッチした状態でスライドすることによって三次元画像３００を平行移動させることもできる。
（二次元画像の断面位置変更、拡大・縮小等）
二次元画像表示領域１００ｂに表示されている二次元画像２００も、入力デバイス１４による所定の入力操作によって、三次元画像３００と同様、断面位置の変更、拡大・縮小等、表示の変更が可能である。表示の変更として、例えば、二次元画像表示領域１００ｂ内の特定の領域（右端部など）で上下方向にスワイプ操作することによって、表示される二次元画像２００が表す断面位置を変更することなどが挙げられる。また、三次元画像３００と同様、ピンチイン・ピンチアウト動作によって二次元画像２００を縮小・拡大表示させることも可能である。
補助画像処理部１１ｃは、二次元画像２００および三次元画像３００の少なくとも一方に含まれる情報から補助画像を作成し、作成した補助画像を二次元画像２００および三次元画像３００の他方に表示させる処理を行う。以下に、補助画像処理部１１ｃによる処理のいくつかの例について説明する。
（二次元画像での特定の解剖学的構造のカラー表示）
一般に、三次元画像３００は、解剖学的構造ごとに設定された複数のレイヤーで構成されており、座標情報の他に、これらレイヤーを示す情報である複数のレイヤー情報、およびレイヤーごと（解剖学的構造ごと）に異なる色相情報を持っている。これらの情報は、ボリュームデータセットから三次元画像３００を作成した際に、ボリュームデータセットの各ボクセルから引き継いだ情報である。表示処理部１１ｂは、これらの情報に従って三次元画像表示領域１００ａに三次元画像３００を表示させる。したがって、三次元画像３００は、レイヤーごとに異なる色相で表示される。
一方、二次元画像２００は、例えばＣＴ値の大小に応じた濃淡で表されるモノクロ画像である。このような二次元画像２００において、複雑に配置された様々な解剖学的構造が表示されていると、二次元画像２００の読影が困難になることがある。
そこで、補助画像処理部１１ｃは、図３および図４に示すように、少なくとも１つのレイヤー３０１、３０２についての二次元画像２０１、２０２を補助画像として作成する。ここで作成する二次元画像２０１、２０２は、三次元画像３００上で特定された位置に対応する二次元画像、すなわち二次元画像表示領域１００ｂに表示されている二次元画像２００と同じ断面での、各レイヤー３０１、３０２についての二次元画像２０１、２０２である。また、これら二次元画像２０１、２０２は、それぞれ対応するレイヤー３０１、３０２に設定される色相と同じ色相で表示されている。補助画像処理部１１ｃは、作成した二次元画像２０１、２０２を、二次元画像表示領域１００ｂに表示されている二次元画像２００上に重ね合わせる。
以上の処理により、二次元画像２００の特定の解剖学的構造が三次元画像３００と同じ色相で表示されるので、二次元画像２００での解剖学的構造の区別を視覚的に容易に行えるようになる。二次元画像２００上に補助画像として表示するレイヤーは、予め定められていてもよいし、入力デバイス１４によって入力されるようにしてもよい。
このような、二次元画像２００への補助画像の表示は、脈管系に適用すると特に効果的である。血管は、その走行方向に垂直な断面では略円形として観察される。また、リンパ節もその断面は略円形として観察される。二次元画像２００に略円形の解剖学的構造が表示されている場合、それが血管であるかリンパ節であるかを判断するには、二次元画像２００をスクロール（断面位置を変更）させなければならない。リンパ節は球状であるのに対して血管はチューブ状であるので、スクロールすることによってその構造の違いを把握できるからである。
そこで、三次元画像３００において、動脈系血管に相当するレイヤー３０１を赤色で表示するとともに、静脈系血管に相当するレイヤー３０２を青色で表示する場合、レイヤー３０１に対応する赤色の二次元画像２０１およびレイヤー３０２に対応する青色の二次元画像２０２を二次元画像２００に重ねて表示することで、二次元画像２００上で動脈系血管と静脈系血管の区別を容易に行うことができる。そして、二次元画像表示領域１００ｂに表示されている二次元画像２００に、赤色にも青色にも着色されていない略円形の解剖学的構造が表示されていれば、二次元画像２００をスクロールすることなく、その解剖学的構造がリンパ節であると推測することができる。
（二次元画像の断面位置を三次元画像へ表示）
二次元画像２００および三次元画像３００はそれぞれ被験者の体軸方向、左右方向および前後方向について互いに対応する座標情報を持っている。よって、二次元画像２００および三次元画像３００の座標情報を利用して、三次元画像表示領域１００ａに表示されている三次元画像３００上で、二次元画像表示領域１００ｂに表示されている二次元画像２００に対応する断面位置を表すことができる。
その一例を図５に示す。例えば、前述した二次元画像２００の断面位置変更で述べた、二次元画像表示領域１００ｂ内の特定の領域（右端部など）でスワイプ操作がなされると、入力判定部１１ａは、スワイプ操作されている位置に応じて、体軸方向についてのみの座標が入力されたと判定する。このような、二次元画像表示領域１００ｂでの任意の座標の入力が入力デバイス１４（ここで説明する例ではタッチパネル）からなされると、補助画像処理部１１ｃは、二次元画像表示領域１００ｂに表示されている二次元画像２００が表す断面に相当する平面画像３１０を、補助画像として、三次元画像表示領域１００ａの、入力された座標を通る位置に表示させる。平面画像３１０は、解剖学的構造が平面画像３１０によって隠れてしまわないように、半透明で表示することが好ましい。
このように、二次元画像２００が表す断面に相当する平面画像３１０を三次元画像表示領域１００ａに表示することで、二次元画像表示領域１００ｂに表示されている二次元画像２００が、三次元画像表示領域１００ａに表示されている三次元画像３００のどの位置での断面を表しているかを直感的に把握することができる。
三次元画像表示領域１００ａには、上述した平面画像３１０と併せて、この平面画像３１０が通る断面での解剖学的構造の輪郭部に相当する位置にハイライト輪郭画像３１１を、補助画像としてさらに表示させてもよい。より詳しくは、二次元画像表示領域１００ｂでの任意の座標の入力がなされると、補助画像処理部１１ｃは、三次元画像表示領域１００ａに表示されている三次元画像３００の、二次元画像表示領域１００ｂに表示されている二次元画像２００が表す断面での解剖学的構造の輪郭部を、この解剖学的構造の他の部分と異なる色相で表示させる。このように、解剖学的構造の輪郭部をハイライト表示させることによって、上述した効果をより良好に発揮することができる。「ハイライト表示」とは、対象となる解剖学的構造の色とは異なる、視覚的に区別可能な色相で表示することを意味する。
上述した例では、二次元画像表示領域１００ｂ上の特定の領域での入力操作によって、体軸方向の座標が入力される場合を説明したが、二次元画像２００上をスワイプ操作すると、入力判定部１１ａは、スワイプ操作されている位置に応じて、左右方向（ｘ軸方向）、前後方向（ｙ軸方向）および体軸方向（ｚ軸方向）についての座標情報が入力されたと判定する。このように二次元画像２００上で任意の座標が入力された場合、補助画像処理部１１ｃは、図５Ａに示すように、三次元画像表示領域１００ａに表示されている三次元画像３００の、入力された座標に対応する位置に、補助画像としてカーソル３２０を表示させる。これにより、二次元画像２００上で特定された位置が三次元画像３００上のどの位置に対応するかを直感的に把握することができる。
この場合、補助画像処理部１１ｃは、二次元画像２００上に、入力されている座標の、左右方向（ｘ軸方向）での位置を表す線分２１０および前後方向（ｙ軸方向）での位置を表す線分２１１を表示させることが好ましい。これら線分２１０、２１１の交点が、入力されている座標を示す。これにより、二次元画像２００と三次元画像３００との対応を視覚的に把握することができる。
上述した、座標情報を利用した、平面画像３１０の表示、ハイライト輪郭画像３１１の表示、およびカーソル３２０の表示等は、それぞれ単独で行われるようにしてもよいし、２つ以上を組み合わせてもよい。
（複数の入力の並行処理）
入力デバイス１４がタッチパネルである場合など、入力デバイス１４が同時に複数の入力を受け付けることができる場合、画像表示制御部１１は、二次元画像に関する入力および三次元画像に関する入力に従った処理を並行して実行することができる。以下、入力デバイス１４がタッチパネルである場合の、複数の入力のへ並列処理の一例について説明する。
医療画像処理端末１０は、二次元画像表示領域１００ｂ上でのタッチパネルからの入力が受け付けられている状態で、さらに、三次元画像表示領域１００ａ上でのタッチパネルの入力を受け付けることができるように構成される。画像表示制御部１１は、二次元画像表示領域１００ｂおよび三次元画像表示領域１００ａの両方からの入力を受け付けると、それぞれが受け付けた入力に従った所定の処理を同時に実行することができる。二次元画像表示領域１００ｂ上での入力が受け付けられている状態とは、二次元画像表示領域１００ｂ上で操作者によってタッチおよびスライドなどタッチパネルの操作が行なわれている状態を意味する。
例えば、図５Ｂに示すように、操作者が二次元画像表示領域１００ｂ上の任意の位置をタッチすることによって二次元画像表示領域１００ｂ上の座標を指定すると、前述したように、補助画像処理部１１ｃは、平面画像３１０、ハイライト輪郭画像３１１、カーソル３２０などの補助画像の少なくとも１つを三次元画像領域１００ａ上に表示させる。また、補助画像処理部１１ｃは、指定した座標の位置を表す線分２１０、２１１を二次元画像表示領域１００ｂ上に表示させる。
この状態で、操作者が三次元画像表示領域１００ａ上で三次元画像の回転、拡大、縮小または平行移動などのための操作が入力として受け付けられると、画像表示制御部１１は、三次元画像表示領域１００ａに補助画像の少なくとも１つを表示させながら、操作者による三次元画像表示領域１００ａ上での操作に従った、三次元画像表示領域１００ａ上に表示されている三次元画像の回転、拡大、縮小、または平行移動を含む処理を実行する。このとき、補助画像処理部１１ｃは、例えば図５Ｃ～５Ｄに示すように、三次元画像表示領域１００ａに表示する補助画像（平面画像３１０、ハイライト輪郭画像３１１、カーソル３２０など）の位置を、三次元画像の回転、拡大、縮小または平行移動に対応して移動させる。
図５Ｂ～５Ｄに示した例では、二次元画像表示領域１００ｂ上での入力が変更されない場合を示した。しかし、二次元画像表示領域１００ｂ上での入力の変更を受け付けながら、三次元画像表示領域１００ａ上での入力を受け付けることもできる。この場合も、画像表示制御部１１は、二次元画像表示領域１００ｂ上での入力の変更に従った所定の処理の実行と、三次元画像表示領域１００ａ上での入力に従った所定の処理を同時に実行することができる。ここで、二次元画像表示領域１００ｂ上での入力の変更は、座標位置の変更および前述した断面位置の変更等を含む。
（表示する二次元画像を三次元画像上で指定）
ここまで説明した例は、二次元画像表示領域１００ｂに表示される二次元画像２００の変更が、二次元画像表示領域１００ｂ内での入力操作等、二次元画像２００に対する入力によるものであった。しかし、三次元画像３００および二次元画像２００は互いに対応する位置情報を持っているので、三次元画像３００における座標の入力によって、補助画像として任意の二次元画像２００を表示させることもできる。以下に、その一例を、図６および図６Ａを参照して説明する。
まず、操作者が三次元画像表示領域１００ａに表示されている三次元画像３００の解剖学的構造上の任意の座標を入力デバイス１４により入力する。座標の入力は、入力デバイス１４がタッチパネルである場合、三次元画像３００上の任意の位置をタップすると、その操作を入力判定部１１ａが、タップした位置での座標が入力されたと判定することによって行うことができる。座標が入力されると、補助画像処理部１１ｃは、入力された座標を含む二次元画像データをデータ格納部１２から読み出し、図６に示すように、読み出した二次元画像データから作成した二次元画像のサムネイル４００を補助画像として表示デバイス１３に表示させる。
サムネイル４００は、入力された座標を含む断面における解剖学的構造全体を表す必要はなく、入力された座標を中心とする所定の範囲の二次元画像であってよい。サムネイル４００として表示される範囲の大きさは、予め設定しておくことができる。またサムネイル４００は、既に表示されている二次元画像２００および三次元画像３００と区別できるよう、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂとは別の領域に表示されることが好ましい。図６に示す例では、サムネイル４００は、三次元画像表示領域１００ａと二次元画像表示領域１００ｂとの間に、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂにオーバーラップさせて表示されている。なお、入力された座標の三次元画像３００上での位置を操作者が認識できるように、補助画像処理部１１ｃは、三次元画像３００上の入力された座標に対応する位置にポインタ３３０を表示させることが好ましい。
表示されたサムネイル４００を承認する場合、操作者は入力デバイス１４からその旨の入力を行う。入力デバイス１４がタッチパネルである場合は、サムネイル４００をタップすると、その操作を入力判定部１１ａが、サムネイル４００を承認する意味を表す入力がなされたと判定し、これによってサムネイル４００を承認する入力を行うことができる。サムネイル４００を承認しない場合は、再び座標の入力を行う。
サムネイルが承認されると、補助画像処理部１１ｃは、図６Ａに示すように、サムネイルの表示を削除し、サムネイルとして表示されていた二次元画像２００を二次元画像表示領域１００ｂに表示させる。以上により、三次元画像３００上で指定した座標での二次元画像２００を表示させることができる。このように、二次元画像表示領域１００ｂに表示させる二次元画像２００を三次元画像３００上で指定できるようにすることによって、所望の位置での二次元画像２００をより簡単に表示させることができる。このような処理は、三次元画像３００において気になる箇所を二次元画像２００で詳細に確認したい場合に特に有効である。
二次元画像表示領域１００ｂに表示させる二次元画像２００を三次元画像３００上で指定できるようにした場合、三次元画像３００として表示される解剖学的構造のサイズ等によっては、意図した座標の指定が難しいことがある。そこで、例えば図７に示すように、三次元画像３００の解剖学的構造上の任意の座標が指定（入力）されたとき、補助画像処理部１１ｃは、指定された座標を含む解剖学的構造を半透明で表示させるようにすることが好ましい。これにより、指定した座標が意図した座標であるかどうかを容易に確認することができる。
（三次元画像での解剖学的構造等の半透明表示）
補助画像処理部１１ｃは、図５、図５Ａおよび図７に示すように、三次元画像表示領域１００ａに表示される画像の一部を半透明で表示させることができる。図５および図５Ａでは、二次元画像２００が表す断面の位置を示す平面画像３１０、および三次元画像３００として表示される解剖学的構造のうち平面画像３１０よりも下方の部分が半透明で表示されている。また、図７では、三次元画像３００として表示される解剖学的構造のうち指定された解剖学的構造が半透明で表示されている。このように、三次元画像３００において特定の表示を半透明で表示することで、解剖学的構造の状態等を容易に把握することができる。
（画像表示領域のサイズ変更）
画像表示制御部１１は、入力デバイス１４からの入力に応じて、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂのサイズを任意に変更するサイズ変更処理を行うようにしてもよい。サイズの変更について、入力デバイス１４がタッチパネルである場合を例に挙げて説明する。
表示処理部１１ｂは、図８Ａに示すように、三次元画像表示領域１００ａと二次元画像表示領域１００ｂとの境界部に、サイズ変更用アイコン１１５を表示させる。操作者は、入力デバイス１４からの入力としてサイズ変更用アイコン１１５を左右方向にスワイプ操作すると、入力判定部１１ａはこの操作を画像表示領域のサイズ変更のための入力操作であると判定する。表示処理部１１ｂは、その入力操作に応じて、具体的にはスワイプ操作方向に応じて、サイズ変更用アイコン１１５の表示位置を変更し、図８Ａおよび図８Ｂに示すように、サイズ変更用アイコン１１５の位置が、三次元画像表示領域１００ａと二次元画像表示領域１００ｂとの境界部となるように、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂのサイズを変更する。また、それと同時に、補助画像処理部１１ｃは、変更された三次元画像表示領域１００ａのサイズに合わせて三次元画像３００のサイズを変更し、二次元画像表示領域１００ｂのサイズに合わせて二次元画像２００のサイズを変更する。このようなサイズの変更は、三次元画像３００または二次元画像２００を詳細に確認したい場合などに有効である。
（表示に関する様々な機能）
医用画像処理システム１は、画像処理制御部１１が実行する機能として、上述した以外にも、表示に関する様々な機能を持つことができる。これらの機能は、二次元画像および三次元画像がそれぞれ別個に持つこともできる。複数の機能を持つ場合、画像表示制御部１１は、各種機能を呼び出すためのそれぞれの機能に対応した複数のアイコンを含む機能呼び出しアイコン群を表示デバイス１３に表示させるように構成されることができる。この場合、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂの十分な有効表示領域を確保するため、画像表示制御部１１は、通常は機能呼び出しアイコン群を非表示とし、必要に応じて表示させるようにすることが好ましい。
そのために、画像表示制御部１１は、例えば図９に示すように、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂに、それぞれメニューボタンアイコン５００ａ、５００ｂを表示させることができる。操作者がこれらメニューボタンアイコン５００ａ、５００ｂをタップすると、画像表示制御部１１は、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂに、機能呼び出しアイコン群を表示させる。ユーザがアイコン群の中から所望のアイコンをタップすることによって、タップされたアイコンに対応する機能が選択される。
医用画像処理システム１が持つことのできる、表示に関する機能の種類および数は特に制限されず、任意であってよい。表示に関する機能の幾つかの例を以下に説明する。
（１）リバート機能
前述したように、三次元画像は、表示される向きおよびサイズを任意に変更することができ、また、二次元画像は、表示される断面位置およびサイズを任意に変更することができる。リバート機能とは、三次元画像および／または二次元画像の表示を初期化する機能である。表示を初期化するとは、表示処理部１１ｂがデータ格納部１２からデータセットを読み出し、適宜処理を実行して、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂに最初に表示する初期画像を表示させることを意味する。
図９Ａに示すように、三次元画像表示領域１００ａおよび二次元画像表示領域１００ｂにそれぞれリバートアイコン５２０、５６０が表示される。三次元画像表示領域１００ａ上のリバートアイコン５２０がタップされると、画像表示制御部１１は、三次元画像に対してリバート機能を実行する。二次元画像表示猟奇１００ｂ上のリバートアイコン５６０がタップされると、画像表示制御部１１は、二次元画像に対してリバート機能を実行する。
三次元画像表示領域１００ａまたは二次元画像表示領域１００ｂのいずれか一方のみにリバートアイコン５２０または５６０が表示されてもよい。その場合、表示されたリバートアイコン５２０または５６０がタップされることによって、三次元画像および二次元画像の両方に対してリバート機能が実行されてもよい。また、画像の初期化に際しては、現在表示されている画像から初期画像へ一気に変化させてもよいし、漸次的に変化させてもよい。現在表示されている画像から初期画像へ漸次的に変化させることで、ユーザは現在表示されている画像と初期画像との対応を容易に把握できる。
（２）クリッピング機能
クリッピング機能とは、三次元画像表示領域１００ａに表示されている三次元画像の任意の一部を切り抜いて表示する機能である。図９Ａに示す形態では、「BBox」と表示されたクリッピングアイコン５３０がタップされると、画像表示制御部１１は、クリッピング処理を実行する。以下に、画像表示制御部１１による三次元画像のクリッピング処理の一例を説明する。
クリッピング処理が実行されると、図１０Ａに示すように、六面体の内側に解剖学的構造を配置した三次元画像６００が、三次元画像表示領域１００ａに表示される。六面体は、その内側に位置する解剖学的構造をユーザが視認できるよう、半透明で表示される。また、図示した形態では、六面体は各面が長方形で構成された直方体であるが、各面の形状は、解剖学的構造の立体的形状に応じて任意であってよい。なお、ここでの説明では、三次元画像を大きく表示して視覚的な理解を容易にするため、三次元画像表示領域１００ａのサイズを大きくした状態で説明する。
ユーザが三次元画像６００のうちクリッピングしたい１つの面６１０をタップすると、タップした面６１０がアクティブとされる。三次元画像６００のどの面がアクティブであるかユーザが視覚的に認識できるように、アクティブな面と他の面とを視覚的に区別することが好ましい。視覚的な区別のため、例えば図１０Ｂに示すように、アクティブとされた面６１０を他の面と異なる色で表示することができる。あるいは、アクティブとされた面６１０の枠（辺）の色を他の面の枠（辺）と異なる色で表示したり、これらを組み合わせたりすることもできる。
ユーザが、アクティブとされた面６１０をタッチしたまま、表示されている三次元画像６００のアクティブとされた面６１０に垂直な方向に対応する方向にスライドさせると、図１０Ｃに示すように、三次元画像６００はスライド方向に応じてクリッピングされる。このとき、クリッピングされた面に解剖学的構造が存在する場合、クリッピングされた面では解剖学的構造は断面で表示される。この状態で他の面がタップされると、タップされた他の面がアクティブとされ、上記と同様にして、三次元画像６００をさらに他の面でクリッピングすることもできる。
ここでは、三次元画像表示領域１００ａ上に表示される三次元画像の処理について説明したが、三次元画像のクリッピングに対応して、二次元画像表示領域１００ｂ上の二次元画像の表示を変更してもよい。例えば、三次元画像をクリッピングすることによって切り取られた部分が二次元画像表示領域１００ｂ上に二次元画像として表示されている場合、その切り取られた部分に対応する部分を、非表示としたり、他の色で表示させたりするなど、切り取られていない部分と視覚的に区別できる表示とすることができる。
（３）パースペクティブ表示機能
通常、三次元画像の表示には平行投影（「オーソグラフィック表示」ともいう）が用いられる。各部の寸法比率が正確に描画されるからである。パースペクティブ表示は、三次元画像を透視投影で表した、遠近感を出す表現方法の一つである。
図９Ａに示す形態では、機能選択用アイコンの１つとして、三次元画像を透視投影で表すパースペクティブアングルアイコン５４０を有する。ユーザがこのパースペクティブアングルアイコン５４０をタップすると、画像表示制御部１１は、図１１Ａに示すように、三次元画像表示領域１００ａに画角調整アイコン７００を表示させる。ユーザが画角調整アイコン７００をタッチしたままスライドさせると、図１１Ｂおよび図１１Ｃに示すように、スライド量に応じて、三次元表示領域１００ａに表示されている三次元画像の画角が広くなり、近い位置にある部分はより大きく、遠い位置にある部分はより小さく表示される。これによって、三次元画像の遠近感が強調される。この際、画角調整アイコン７００のスライド量に応じて、画角調整アイコン７００のサイズ（例えば長さ）を変化させることで、パースペクティブ表示の程度をユーザが容易に把握できる。
三次元画像を透視投影で表すことで、内視鏡で見た画像に近い画像を表示させることができる。よって、パースペクティブ表示機能は、内視鏡手術などにおいて、撮像装置から取得した画像を内視鏡によって得られた実際の臓器の画像と対比しながら処置を進めるなど、内視鏡手術などにおいて有効に利用できる。
（４）スプリットウィンドウ機能
医用画像処理システムは、スプリットウィンドウ機能を有することができる。その場合、図９Ａに示すように、機能選択用のアイコン群は、スプリットウィンドウアイコン５５０を含んでいる。ユーザがスプリットウィンドウアイコン５５０をタップすることによって、画像表示制御部１１は、スプリットウィンドウ機能を実行する。
スプリットウィンドウ機能とは、図１２Ａに示すように、三次元画像表示領域１００ａを複数の領域１０１ａ、１０２ａに分割し、それぞれの領域１０１ａ、１０２ａに三次元画像を表示させる機能である。各領域１０１ａ、１０２ａに表示された三次元画像は、各領域１０１ａ、１０２ａ上でのユーザによる所定の操作に基づく画像表示制御部１１の処理によって、向き、大きさ、表示する解剖学的構造などを独立して変更することができる。スプリットウィンドウ機能は、解剖学的構造を異なる同時に異なる向きから確認する場合に有効に利用することができる。
図１２Ａに示した形態では、三次元画像表示領域１００ａを左右に分割しているが、上下に分割してもよい。また、スプリットウィンドウアイコン５５０がタップされる都度、左右への分割、上下への分割および分割なしが切り替えられてもよい。さらに、三次元画像表示領域１００ａの分割数は３つ以上であってもよい。
（５）シーン保存機能
医用画像処理システムは、シーン保存機能を有することができる。その場合、図９Ａに示すように、機能選択用のアイコン群は、シーン保存アイコン５７０ａおよび５７０ｂを含んでいる。ユーザがシーン保存アイコン５７０ａまたは５７０ｂをタップすることによって、画像処理制御部１１は、シーン保存機能を実行する。
シーン保存機能とは、現在表示されている画像を医用画像処理システムに保存する機能、具体的には、現在表示されている画像について、向き、大きさ、位置および表示する対象といった、表示に必要な各種データを含むデータセットを、データ格納部１２に新たに格納する機能である。三次元画像表示領域１００ａ上のシーン保存アイコン５７０ａがタップされることによって、そのときに三次元画像表示領域１００ａ上に表示されている三次元画像のデータセットがデータ格納部１２（図１参照）に格納され、二次元画像表示領域１００ｂ上のシーン保存アイオン５７０ｂがタップされることによって、その時に二次元画像表示領域１００ｂ上に表示されている二次元画像のデータセットがデータ格納部１２に格納される。
保存された画像は、サムネイル５８０として適宜位置、例えば、三次元画像は三次元画像表示領域１００ａ、二次元画像は二次元画像表示領域１００ｂに表示されることができる。ユーザが所望のサムネイル５８０をタップすると、画像処理制御部１１は、対応するデータセットをデータ格納部１２から読み出し、三次元画像表示領域１００ａまたは二次元画像表示領域１００ｂに、三次元画像または二次元画像として表紙させる。これにより、この医用画像処理システムによる作業を中断した後、改めて作業を続行するよいな場合、中断前の画像に迅速にアクセスすることができる。
ここでは、三次元画像表示領域１００ａ用のシーン保存アイコン５７０ａおよび二次元画像表示領域１００ｂ用のシーン保存アイコン５７０ｂの両方を有する場合について説明したが、いずれか一方のみであってもよい。
（６）オブジェクトの非表示および非表示オブジェクトの再表示
医用画像処理システムは、オブジェクトの非表示機能を有することもできる。この場合、非常時とされたオブジェクトを再表示させる機能をさらに有することもできる。オブジェクトは、解剖学的構造であってよい。
例えば、図１３Ａに示す状態において、ユーザが、三次元画像表示領域１００ａに表示されている、複数のオブジェクトを含む三次元画像のうち任意のオブジェクト（肝臓の実質臓器）８００をタップすることによって選択すると、図１３Ｂに示すように、選択されたオブジェクト８００は半透明で表示される。また、前述したように、選択されたオブジェクト８００に対応する二次元画像のサムネイル４００が表示されてもよい。選択されたオブジェクト８００がもう一度タップされると、オブジェクト８００の表示は半透明から元の表示、言い換えると透過率がゼロである非透過表示に戻される。このように、本形態では、オブジェクト８００が選択される都度、オブジェクト８００の表示が半透明表示と非透過表示とに切り替えられる。
オブジェクト８００の半透明表示は、透過度が異なる複数の半透明表示を含むことができる。この場合、オブジェクト８００の半透明表示の切り替えは、ユーザがオブジェクト８００をタップする都度、次第に透過度が増していくように切り替えられることが好ましい。
オブジェクト８００が選択されると、図１３Ｂに示すように、選択されたオブジェクト８００に対する追加の処理の選択用のアイコン群８５０がさらに表示されるようにすることもできる。追加の処理としては、例えば、選択したオブジェクトの非表示を含むことができる。この場合、アイコン群８５０は、非表示アイコン８５１を含むことができる。
オブジェクト８００が選択された状態でユーザが非表示アイコン８５１をタップすると、図１３Ｃに示すように、選択されていたオブジェクト８００は非表示とされ、他のオブジェクト８０１、８０２、８０３（例えば、肝動脈、肝静脈および門脈）のみが表示される。
図１３Ｃに示した状態で、ユーザが別のオブジェクト（肝動脈）８０１をタップすることによって選択すると、図１３Ｄに示すように、そのオブジェクト８０１が半透明で表示され、さらに、前述したのと同様、アイコン群８５０が表示される。ここでさらにユーザが非表示アイコン８５１をタップすると、図１３Ｄに示すように、選択されていたオブジェクト８０１は非表示とされ、他のオブジェクト８０２、８０３のみが表示される。
ここでは、最初のオブジェクト８００を非表示とした後に次のオブジェクト８０１を選択した場合について説明したが、最初のオブジェクト８００を選択して半透明で表示された状態（図１３Ｂ）で次のオブジェクト８０１を選択することもできる。この場合は、最初のオブジェクト８００が半透明表示とされたまま次のオブジェクト８０１も半透明表示とされる。また、オブジェクト８００、８０１、８０２、８０３を選択したときの初期設定は、半透明表示である必要はなく、非表示であってもよい。例えば、図１３Ａに示した状態においてオブジェクト８００を選択すると、図１３Ｃに示すように、選択されたオブジェクト８００が非表示とされてもよい。この場合、追加の処理用の非表示アイコン８５１は不要である。
非表示とされたオブジェクトを再度表示させたい場合がある。しかしこの場合、表示させたいオブジェクトが画面上に存在していないので、オブジェクトを選択することができない。
そこで、医用画像処理システムは、非表示とされたオブジェクトを再表示させる機能を有することができる。再表示の機能は、例えば、メニューボタンアイコン５００ａから呼び出すことができる。図９Ａに示したように、メニューボタンアイコン５００ａをタップすることによって表示される機能選択用のアイコンは、再表示アイコン５１０を含むことができる。ただし、非表示とされたオブジェクトが存在しない場合、再表示アイコン５１０は、機能呼び出しアイコンの他のアイコン（５２０～５５０）とは異なる色および／またはサイズで、言い換えると非アクティブな状態で表示される。非表示とされたオブジェクトが存在する場合、図１３Ｆに示すように、再表示アイコン５１０は、機能呼び出しアイコン群の他のアイコンと同じ色およびサイズで、言い換えるとアクティブな状態で表示される。
アクティブな再表示アイコン５１０をユーザがタップすると、図１３Ｇに示すように、非表示オブジェクトバー９１０が表示される。非表示オブジェクトバー９１０上には、非表示とされたオブジェクトが表示される。非表示とされたオブジェクトの表示形式は、リスト形式など任意であってよいが、ユーザが直感的に把握できるように、非表示とされたオブジェクトを表す画像のサムネイルを表示させることが好ましい。一形態では、図１３Ｇに示すように、サムネイル９０１、９０２が表示される。これらのサムネイルのうち、ユーザが再表示させたいオブジェクトのサムネイルをタップすると、タップしたサムネイルに対応するオブジェクトが三次元画像表示領域１００ａ上に再表示される。非表示オブジェクトバー９１０は、非表示オブジェクトの有無にかかわらず常時表示されてもよいし、非表示オブジェクトが存在する場合にはユーザからの入力を介することなく自動的に表示されるようにしてもよい。この場合、再表示アイコン５１０は不要である。
（７）血管支配領域計算機能
三次元画像が実質臓器のオブジェクトおよび血管のオブジェクトを含んでいれば、その実質臓器の血管支配領域（血管が枝において複数の血管部分に分割されている場合は、分割された血管部分ごとの支配領域）を計算することができる。医用画像処理システムは、この血管支配領域計算機能を有することができる。血管支配領域の計算には、ボロノイ法など公知の方法を用いることができる。
例えば図１３Ｂに示すように、追加の処理の選択用のアイコン群８５０が分割アイコン８５２を含み、ユーザが分割アイコン８５２をタップするすることによって、画像処理制御部１１が血管支配領域計算機能を実行するようにすることができる。図１３Ｂに示す状態では、血管のオブジェクトとして、オブジェクト（動脈）８０１、オブジェクト（静脈）８０２およびオブジェクト（門脈）８０３を有しており、オブジェクト８００（肝臓の実質臓器）８００が選択されている。この状態でユーザが分割アイコン８５２をタップすると、画像処理制御部１１が血管支配領域を計算し、オブジェクト（肝臓の実質臓器）８００を血管のオブジェクト８０１、８０２、８０３の支配領域ごとに視覚的に区別できるように、帯ジェクト（肝臓の実質臓器）８００の表示を変更する。血管支配領域の計算が終了すると、図１４Ａに示すように、計算結果９５０が表示される。
また、分割された実質臓器を再結合して表示させるため、例えば図１３Ｂに示すように、追加の処理の選択用のアイコン群８５０が結合アイコン８５３を含み、ユーザが結合アイコン８５３をタップすることによって、画像処理制御部１１が、分割された実質臓器を再結合する処理を実行するようにすることができる。
以上、補助画像処理部１１ｃが行う処理をメインに、画像表示制御部１１が行ういくつかの処理について説明したが、上述した各処理は単独で行うこともできるし、任意の２つ以上を組み合わせて行うこともできる。
また、本発明は、上述した形態に限られるものではなく、本発明の技術的思想の範囲内で適宜変更することができる。その変更例について以下に説明する。
（データ格納部に格納されるデータセット）
データ格納部１２に格納されるデータセットは、撮像装置２３によって撮像された複数のスライス画像データからなる二次元画像データセットであってもよい。この場合、表示処理部１１ｂは、格納されている二次元画像データセットを用いて、二次元画像２００を作成し、また、上述した適宜のレンダリング処理を行って三次元画像３００を作成することができる。
（第二画像）
三次元画像とは形式が異なる第二画像としては、二次元画像に限られない。本発明で利用可能な第二画像は、実際の手術中のビデオ画像であってもよい。三次元画像は、手術の対象である臓器を含んでおり、このように手術中のビデオ画像と同時に、その臓器を含む三次元画像を表示させることで、三次元画像と実際の画像を見比べながら処置を進めていくことができる。ビデオ画像は、データ入出力インターフェース１５を介して画像表示制御部１１に取り込まれ、三次元画像３００とともに表示デバイス１３に表示させることができる。三次元画像３００およびビデオ画像は表示デバイス１３上での表示サイズが一致するように、必要に応じて一方または両者の表示サイズが拡大または縮小されることが好ましい。表示サイズの変更は、入力デバイス１４を介しての操作者による入力によることもできるし、ビデオ画像が座標情報を含んでいれば、三次元画像の座標情報と一致するように、画像表示制御部１１による処理によって自動的に表示サイズが変更されるようにすることもできる。
また、第二画像の他の例として、人工心臓弁やステントなどの人工的な移植片や、手術中に使用する各種器具の二次元または三次元の画像が挙げられる。これら人工的な移植片や器具は、通常はＣＡＤデータに基づいて製造されるためＣＡＤデータが存在している。ＣＡＤデータは、寸法に関する情報を含んでいるので、表示処理部１１ｂが、この情報をボリュームデータセット等の座標情報と関連付けたうえで、ボリュームデータセットに基づいて作成された三次元画像と、ＣＡＤデータに基づいて作成された画像とを互いに等しいサイズで表示デバイス１に表示させ、かつ、一方の画像に対する表示の向きや大きさの変更を他方の画像に連動して表示させることができる。これにより、人工的な移植片や器具が患者に適合するものであるかを術前にシミュレーションすることができる。ＣＡＤデータは、データ格納部１２に格納されていてもよいし、データ入出力インターフェース１５を通じて外部から入手してもよい。また、ボリュームデータセット等に基づく三次元画像とＣＡＤデータに基づく画像とは、並べて表示させてもよいし、重ねて表示させてもよい。
（表示デバイス上での２つの表示領域の配置）
上述した形態では、表示デバイス１３の画面を左右に分け、左側を第１表示領域、右側を第２表示領域とした場合について説明した。しかし、第１表示領域と第２表示領域の配置は左右逆であってもよい。また、入力デバイス１４を介しての操作者による入力によって、左右を任意に切り替えられるようにしてもよい。
さらに、医用画像処理システム１が可搬型の医用画像処理端末１０である場合、医用画像処理端末１０は向きを任意に変更できるので、例えば、医用画像処理端末１０が横向きの場合は第１表示領域と第１表示領域を左右に配置し、医用画像処理端末１０が縦向きの場合は第１表示領域と第２表示領域を上下に配置するなど、医用画像処理端末１０の向きに応じて各表示領域の配置を変更するようにしてもよい。各表示領域の配置の向きの変更は、操作者による入力デバイス１４を通じた入力によるものであってもよいし、医用画像処理端末１０の向きを加速度センサ等の適宜センサで検出し、その検出結果に基づいて自動的に切り替わるようにしてもよい。
（三次元画像の表示における解剖学的構造の透過率）
三次元画像３００においては、表示される解剖学的構造の数および／または表示の重要性に応じて半透明で表示させてもよい。この場合、透過率は、データセットが持つファイルごとに設定されていてもよいし、操作者が入力デバイス１４からの入力を通じて任意に設定できるようにされていてもよい。また、解剖学的構造ごとに複数段階で透過率を設定することも可能である。
さらに、動脈系血管および静脈系血管が画面の奥行方向に少なくとも部分的に重なって表示される場合、複雑な形状の解剖学的構造が他の解剖学的構造と画面の奥行方向に少なくとも部分的に重なって表示される場合、あるいは多くの解剖学的構造が画面の奥行方向に少なくとも部分的に重なて表示される場合などでは、重なって表示される複数の解剖学的構造がいずれも半透明で表示されると、解剖学的構造の前後関係が把握しにくいことがある。このような場合は、半透明で表示されている解剖学的構造の奥に少なくとも部分的に重なって表示される解剖学的構造については、手前の解剖学的構造と重なっている部分を表示させないようにしてもよい。こうすることによって、半透明で表示されている解剖学的構造同士の前後関係を容易に把握することができる。この処理は、表示処理部１１ｂによって行うことができる。
（データセットの時相）
撮像装置２３によってボリュームデータセットといったデータセットを取得する場合、造影剤を被験者に注入し、造影剤による造影効果を利用する場合が多い。この場合、造影剤の注入から各血管に到達するまでの時間の相違に起因して、造影効果が現れる時間は、解剖学的構造の種類などによって異なることがある。例えば、通常、静脈は動脈より遅れて造影効果が現れる。よって、複数の解剖学的構造についてボリュームデータセットを取得する方法として、主に以下に示す２つの方法がある。
第１の方法は、造影剤を注入して時刻ｔ１後に撮像装置２３により撮像動作を行い、それによって得られたデータに対して、時刻ｔ１における標準的な造影効果値、例えばＣＴ値に基づいて解剖学的構造の種類を判断する方法である。この場合、解剖学的構造ごとに分けられ、それぞれ同時刻に取得された複数のボリュームデータが作られる。
第２の方法は、造影剤を注入して時刻ｔ１において撮像装置２３により撮像動作を行い、例えば動脈系血管についてのボリュームデータを取得し、その後の時刻ｔ２において再度撮像装置２３により撮像動作を行い、例えば静脈系血管についてのボリュームデータを取得する方法である。この場合、解剖学的構造ごとに分けられ、それぞれ異なる時刻で取得された複数のボリュームデータが作られる。
本発明では、いずれの方法で得られたボリュームデータでも利用でき、それぞれ解剖学的構造ごとに分けられたボリュームデータがまとめ合わせられてボリュームデータセットが構成される。
ただし、第１の方法で得られたボリュームデータセットは、解剖学的構造ごとに造影効果値が異なるため、造影効果値が低い解剖学的構造については鮮明な画像が得られないことがある。また、第２の方法でられたボリュームデータセットは、解剖学的構造ごとに異なる時刻で取得されたデータであるため、時刻の違いに起因する被験者の呼吸や解剖学的構造の位置の変化などにより、解剖学的構造ごとの位置関係にずれが生じることがある。
これらの不具合を解消するため、１回の撮像動作で複数の解剖学的構造について適切な造影効果が得られるような注入方法で造影剤を注入して得られたデータセットを用いることが好ましい。そこで、造影剤の注入フェーズを、目的とする複数の解剖学的構造に対応して複数のフェーズに分け、各フェーズで注入された造影剤がそれぞれ各解剖学的構造において１回の撮像動作時間の範囲内で適切な造影効果を与えるようにフェーズのインターバルが設定された注入方法で造影剤を注入することが好ましい。これにより、各解剖学的構造が鮮明に描写され、かつ、解剖学的構造同士の位置ずれのない画像を作成できるデータセットを得ることができる。
上記の注入方法において、造影剤の注入量は、被験者の体重等に基づいて公知の方法で求めることができる。そして、求められた注入量が各フェーズに振り分けられる。各フェーズにおける造影剤の注入速度は、一定であってもよいし、時間の経過に従って増減させてもよい。また、各フェーズで注入速度が異なってもよい。インターバル時間は、１０秒～１２０秒の間で設定することができる。また、各フェーズ間のインターバル中および／または最後のフェーズの後に生理食塩水を注入してもよい。
（他のデバイスへの画像の出力）
表示処理部１１ｂは、作成した三次元画像３００および二次元画像２００（第二画像）の少なくとも一方を、表示デバイス１３に表示させるとともに、データ入出力インターフェース１５を介して他のデバイスへデータとして出力するようにすることもできる。他のデバイスへの画像の出力のために、他のデバイスは、データ入出力インターフェース１５を介して画像表示制御部１１と有線または無線で接続される。
表示処理部１１ｂが作成した画像を出力する他のデバイスの一例として、プロジェクション装置が挙げられる。図１５に示すように、プロジェクション装置３０は、光源３１と、光源からの光により、データとして入力された画像に基づいた投影用画像を形成する画像形成処理部３２と、画像形成処理部３２から出射した光を投影する投影光学系３３とを含むことができる。画像形成処理部３２は、例えば液晶パネルなどの画像形成素子と、画像形成素子を制御するコントローラとを有することができる。プロジェクション装置３０を、例えば、手術等の処置を受ける患者の身体上に画像を投影する位置に配置することで、プロジェクション装置３０は、例えば医用画像処理端末１０と組み合わせられて処置支援システムを構成することができる。
このような処置支援システムでは、患者への処置に先立ち、その患者について予め取得しておいたデータセットを医用画像処理端末１０のデータ格納部１２に格納する。医用画像処理端末１０の画像表示制御部１１（具体的には表示処理部１１ｂ）は、前述した処理手順に従って、データ格納部１２に格納されたデータセットから少なくとも三次元画像３００を含む画像を作成する。作成された画像は、表示デバイス１３に表示されるとともに、操作者の操作により、または自動でプロジェクション装置３０に出力される。
作成された画像がプロジェクション装置３０に出力されると、プロジェクション装置３０に出力された画像がプロジェクション装置３０から患者の身体上に投影される。例えば三次元画像３００がプロジェクション装置３０に出力される場合、表示デバイス１３に表示される三次元画像３００と同じ三次元画像３００が、プロジェクション装置３０によって患者の身体上に投影される。操作者は、表示デバイス１３に表示されている三次元画像３００の、表示デバイス１３上での表示サイズおよび位置を、入力デバイス１４を適宜操作することによって、患者の身体上に投影された三次元画像３００のサイズおよび位置が、患者の身体上の対応する部分で一致するように調整することができる。こうすることによって、患者への処置を、画像として患者の身体上に投影された解剖学的構造で確認しながら効率良く行うことができる。
前述したように、三次元画像３００においては解剖学的構造ごとに色相が設定されているが、実際の解剖学的構造の色味との関係によっては、身体上に表示された画像が見えにくい場合がある。そこで、画像表示制御部１１は、表示処理部１１ｂで作成した三次元画像３００の解剖学的構造の色相を任意に設定できるように構成されることが好ましい。また、画像表示制御部１１は、投影画像のサイズが確定したら、操作者の操作等によって、表示画像のサイズ変更、回転および移動のうち少なくとも１つあるいは２つ以上の任意の組み合わせをロックする機能（変更を不可とする機能）を有していてもよい。
プロジェクション装置３０は、画像を投影する対象である患者の身体の立体形状に応じて、例えば平面上に投影した場合と同じような投影画像が得られるような補正機能を有していてもよい。このような補正機能のために、例えば、いわゆる「プロジェクション・マッピング」を行うためのコンピュータプログラムを利用することができる。この場合、例えば、患者に対してグリッド（方眼）を投影し、それを解析してデータを取得し、そのデータを利用しつつ、想定される画像歪みを補正するように画像処理を行い、それにより患者の身体の立体形状に影響されずに画像が得られる。
（実寸表示機能）
三次元画像３００の基となるデータセットがボリュームデータセットである場合、そのボリュームデータセットが持つ座標情報から各ボクセルの実際の寸法を求めることができる。一方、表示デバイス１３は、表示される画像のサイズを表示デバイス１３の画素ピッチに応じて適宜変更することで、画像を実寸で表示させることができる。したがって、ボリュームデータセットの１ボクセル当たりの実際の寸法を求め、求められた１ボクセル当たりの実際の寸法と表示デバイス１３の画素ピッチとを対応させることで、表示デバイス１３に画像を実寸大で表示させることができる。上記の実寸表示処理は、表示処理部１１ｂによって行うことができる。また、画像表示制御部１１は、実寸表示処理の実行後、操作者の操作等によって、表示画像のサイズ変更、回転および移動のうち少なくとも１つあるいは２つ以上の任意の組み合わせをロックする機能（変更を不可とする機能）を有していてもよい。
表示デバイス１３への画像の実寸表示は、操作者による操作によって行うことができる。操作者による操作のために、表示処理部１１ｂは、実寸表示を実行させるための実寸表示用アイコンを表示デバイス１３に表示させ、このアイコンを操作者がタップすることにより、上記の実寸表示処理を実行するようにすることができる。
実寸表示処理に用いる画素ピッチは、表示デバイス１３の仕様として定められている値を用いることができる。あるいは、表示デバイス１３の画面サイズおよび縦横の画素数から画素ピッチを計算することもできる。
以上のように、表示デバイス１３上に画像を実寸大で表示させることで、例えば、患者に人工心臓弁を移植する処置の準備段階において、表示デバイス１３に患者の心臓付近のの断面画像を実寸大で表示させた状態で、移植する人工心臓弁（またはその実物体モデル）を、表示デバイス１３に表示された画像上に置き、その人工心臓弁が患者に適合するサイズであるか等を確認するのに利用することができる。
（付記）
以上、本発明について説明したが、本明細書は以下に記載された発明を開示する。ただし、本明細書の開示事項は以下の発明に限定されない。
［１］ 画像を表示する表示デバイスと、
操作者による入力を受け付ける入力デバイスと、
複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納するデータ格納部と、
前記入力デバイスによって受け付けられた入力に従って前記表示デバイスへの前記画像の表示を制御する画像表示制御部と、
を有し、
前記画像表示制御部は、
前記データセットから少なくとも前記三次元画像を作成する処理と、
作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を前記表示デバイスに同時に表示させる処理と、
前記入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成し、前記補助画像を前記三次元画像および前記第二画像の他方に表示させる処理と、
を行うように構成されている医用画像処理システム。
［２］ 前記第二画像は、前記複数の解剖学的構造の断面を表す二次元画像である［１］に記載の医用画像処理システム。
［３］ 前記三次元画像は、前記解剖学的構造ごとに設定された複数のレイヤーで構成され、
前記情報は、前記複数のレイヤーを示す情報である複数のレイヤー情報を含み、
前記画像表示制御部は、前記補助画像を表示させる処理において、
前記三次元画像を前記レイヤーごとに異なる色相で表示させる処理と、
前記複数のレイヤーのうち少なくとも１つのレイヤーについて、前記二次元画像が表す断面に対応する断面での前記三次元画像の断面画像を、前記補助画像として、前記三次元画像で表示された色と同じ色相で作成する処理と、
前記断面画像を前記二次元画像上に重ね合わせる処理と、
を行なうように構成されている［２］に記載の医用画像処理システム。
［４］ 前記複数の解剖学的構造は、動脈系血管および静脈系血管を含み、
前記画像表示制御部は、前記断面画像を作成する処理において、前記動脈系血管として設定されたレイヤーおよび前記静脈系血管として設定されたレイヤーについて前記断面画像を作成する処理を行うように構成されている［３］に記載の医用画像処理システム。
［５］ 前記情報は、前記三次元画像および前記二次元画像に共通の座標情報を含む、［２］から［４］のいずれかに記載の医用画像処理システム。
［６］ 前記画像表示制御部は、前記補助画像を表示させる処理において、前記二次元画像上の任意の座標が前記入力デバイスから入力されると、表示されている前記二次元画像が表す断面に対応する平面画像を、前記補助画像として、前記三次元画像上の前記入力された前記座標を通る位置に表示させる処理を含む処理を行う［５］に記載の医用画像処理システム。
［７］ 前記画像表示制御部は、前記補助画像を表示させる処理において、前記二次元画像上の任意の座標が前記入力デバイスから入力されると、表示されている前記二次元画像が表す断面での前記解剖学的構造の輪郭部を他の部分と異なる色相で表したハイライト輪郭画像を、前記補助画像として、前記三次元画像上に表示させる処理を含む処理を行う［５］または［６］に記載の医用画像処理システム。
［８］ 前記画像表示制御部は、前記補助画像を表示させる処理において、前記二次元画像上の任意の座標が前記入力デバイスから入力されると、前記三次元画像の、入力された前記座標に対応する位置に、前記補助画像としてカーソルを表示させる処理を含む処理を行う［５］から［７］のいずれかに記載の医用画像処理システム。
［９］ 前記画像表示制御部は、前記補助画像を表示させる処理において、前記三次元画像の前記解剖学的構造上の任意の座標が前記入力デバイスから入力されると、入力された前記座標に一致する前記座標情報を持つ前記二次元画像のサムネイルを、前記補助画像として前記二次元画像および前記三次元画像とは別に前記表示デバイスに表示させる処理を含む処理を行う［５］に記載の医用画像処理システム。
［１０］ 前記画像表示制御部は、前記補助画像を表示させる処理において、前記サムネイルを承認する意味を表す入力が前記入力デバイスから入力されると、前記サムネイルを拡大表示させる処理をさらに行う［９］に記載の医用画像処理システム。
［１１］ 前記画像表示制御部は、前記入力デバイスからの入力によって前記三次元画像上の前記解剖学的構造の１つが指定されると、指定された前記解剖学的構造を半透明で表示する処理をさらに行うように構成されている［１］から［１０］のいずれかに記載の医用画像処理システム。
［１２］ 前記画像表示制御部は、前記入力デバイスからの入力に応じて、前記三次元画像が表示される三次元画像表示領域および前記第二画像が表示される第二画像表示領域のサイズを変更する処理をさらに行うように構成されている［１］から［１０］のいずれかに記載の医用画像処理システム。
［１３］
前記画像表示制御部は、前記サイズ変更処理において、
前記三次元画像表示領域と前記第二画像表示領域との間にサイズ変更用アイコンを表示させる処理と、
前記入力デバイスからの入力に応じて前記サイズ変更用アイコンの表示位置を変更する処理と、
前記サイズ変更用アイコンの表示位置に従って前記三次元画像表示領域および前記第二画像表示領域のサイズを変更する処理を行う［１２］に記載の医用画像処理システム。
［１４］ 画像を表示する表示デバイスと、操作者による入力を受け付ける入力デバイスと、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納するデータ格納部と、を用いる医用画像処理方法であって、
前記データセットから前記三次元画像を作成することと、
作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を前記表示デバイスに同時に表示させることと、
前記入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成し、前記補助画像を前記三次元画像および前記第二画像の他方に表示させることと、
を含む医用画像処理方法。
［１５］ データ格納部に格納された、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットから作成された少なくとも前記三次元画像を表示デバイスに表示させる処理をコンピュータに実行させる医用画像処理プログラムであって、
前記コンピュータに、
前記データセットから前記三次元画像を作成させる処理と、
作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を前記表示デバイスに同時に表示させる処理と、
前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成させ、前記補助画像を前記三次元画像および前記第二画像の他方に表示させる処理と、
を実行させる医用画像処理プログラム。
［１６］ ［１５］に記載の医用画像処理プログラムを記憶している、コンピュータ読み取り可能な記録媒体。
１ 医用画像処理システム
１０ 医用画像処理端末
１１ 画像表示制御部
１１ａ 入力判定部
１１ｂ 表示処理部
１１ｃ 補助画像処理部
１２ データ格納部
１３ 表示デバイス
１４ 入力デバイス
１５ データ入出力インターフェース
２１ 医用情報管理装置
２２ 薬液注入装置
２３ 撮像装置
１００ａ 三次元画像表示領域
１００ｂ 二次元画像表示領域
２００ 二次元画像
３００ 三次元画像
４００ サムネイル

Claims (16)

  1. 画像を表示する表示デバイスと、
    操作者による複数の入力を同時に受け付けることができる入力デバイスと、
    複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納するデータ格納部と、
    前記入力デバイスによって受け付けられた入力に従って前記表示デバイスへの前記画像の表示を制御する画像表示制御部と、
    を有し、
    前記画像表示制御部は、
    前記データセットから少なくとも前記三次元画像を作成する処理と、
    作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を、前記三次元画像が表示される三次元画像表示領域および前記第二画像が表示される第二画像表示領域に分けて前記表示デバイスに同時に表示させる処理と、
    前記入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成し、前記補助画像を前記三次元画像および前記第二画像の他方に表示させる処理と、
    を行い、かつ、
    前記画像表示制御部は、前記三次元画像表示領域および前記第二画像表示領域の両方において同時に前記入力デバイスからの入力を受け付けると、それぞれが受け付けた入力に従った所定の処理を同時に行う
    ように構成されている医用画像処理システム。
  2. 前記第二画像は、前記複数の解剖学的構造の断面を表す二次元画像である請求項１に記載の医用画像処理システム。
  3. 前記三次元画像は、前記解剖学的構造ごとに設定された複数のレイヤーで構成され、
    前記情報は、前記複数のレイヤーを示す情報である複数のレイヤー情報を含み、
    前記画像表示制御部は、前記補助画像を表示させる処理において、
    前記三次元画像を前記レイヤーごとに異なる色相で表示させる処理と、
    前記複数のレイヤーのうち少なくとも１つのレイヤーについて、前記二次元画像が表す断面に対応する断面での前記三次元画像の断面画像を、前記補助画像として、前記三次元画像で表示された色と同じ色相で作成する処理と、
    前記断面画像を前記二次元画像上に重ね合わせる処理と、
    を行なうように構成されている請求項２に記載の医用画像処理システム。
  4. 前記複数の解剖学的構造は、動脈系血管および静脈系血管を含み、
    前記画像表示制御部は、前記断面画像を作成する処理において、前記動脈系血管として設定されたレイヤーおよび前記静脈系血管として設定されたレイヤーについて前記断面画像を作成する処理を行うように構成されている請求項３に記載の医用画像処理システム。
  5. 前記情報は、前記三次元画像および前記二次元画像に共通の座標情報を含む、請求項２から４のいずれか一項に記載の医用画像処理システム。
  6. 前記画像表示制御部は、前記補助画像を表示させる処理において、前記二次元画像上の任意の座標が前記入力デバイスから入力されると、表示されている前記二次元画像が表す断面に対応する平面画像を、前記補助画像として、前記三次元画像上の前記入力された前記座標を通る位置に表示させる処理を含む処理を行う請求項５に記載の医用画像処理システム。
  7. 前記画像表示制御部は、前記補助画像を表示させる処理において、前記二次元画像上の任意の座標が前記入力デバイスから入力されると、表示されている前記二次元画像が表す断面での前記解剖学的構造の輪郭部を他の部分と異なる色相で表したハイライト輪郭画像を、前記補助画像として、前記三次元画像上に表示させる処理を含む処理を行う請求項５または６に記載の医用画像処理システム。
  8. 前記画像表示制御部は、前記補助画像を表示させる処理において、前記二次元画像上の任意の座標が前記入力デバイスから入力されると、前記三次元画像の、入力された前記座標に対応する位置に、前記補助画像としてカーソルを表示させる処理を含む処理を行う請求項５から７のいずれか一項に記載の医用画像処理システム。
  9. 前記画像表示制御部は、前記補助画像を表示させる処理において、前記三次元画像の前記解剖学的構造上の任意の座標が前記入力デバイスから入力されると、入力された前記座標に一致する前記座標情報を持つ前記二次元画像のサムネイルを、前記補助画像として前記二次元画像および前記三次元画像とは別に前記表示デバイスに表示させる処理を含む処理を行う請求項５に記載の医用画像処理システム。
  10. 前記画像表示制御部は、前記補助画像を表示させる処理において、前記サムネイルを承認する意味を表す入力が前記入力デバイスから入力されると、前記サムネイルを拡大表示させる処理をさらに行う請求項９に記載の医用画像処理システム。
  11. 前記画像表示制御部は、前記入力デバイスからの入力によって前記三次元画像上の前記解剖学的構造の１つが指定されると、指定された前記解剖学的構造を半透明で表示する処理をさらに行うように構成されている請求項１から１０のいずれか一項に記載の医用画像処理システム。
  12. 前記画像表示制御部は、前記入力デバイスからの入力に応じて、前記三次元画像表示領域および前記第二画像表示領域のサイズを変更するサイズ変更処理をさらに行うように構成されている請求項１から１０のいずれか一項に記載の医用画像処理システム。
  13. 前記画像表示制御部は、前記サイズ変更処理において、
    前記三次元画像表示領域と前記第二画像表示領域との間にサイズ変更用アイコンを表示させる処理と、
    前記入力デバイスからの入力に応じて前記サイズ変更用アイコンの表示位置を変更する処理と、
    前記サイズ変更用アイコンの表示位置に従って前記三次元画像表示領域および前記第二画像表示領域のサイズを変更する処理を行う請求項１２に記載の医用画像処理システム。
  14. 画像を表示する表示デバイスと、操作者による複数の入力を同時に受け付けることができる入力デバイスと、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納するデータ格納部と、を用いる医用画像処理方法であって、
    前記データセットから前記三次元画像を作成することと、
    作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を、前記三次元画像が表示される三次元画像表示領域および前記第二画像が表示される第二画像表示領域に分けて前記表示デバイスに同時に表示させることと、
    前記入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成し、前記補助画像を前記三次元画像および前記第二画像の他方に表示させることと、
    前記三次元画像表示領域および前記第二画像表示領域の両方において前記入力デバイスからの入力を受け付けると、それぞれが受け付けた入力に従った所定の処理を同時に行うことと、
    を含む医用画像処理方法。
  15. データ格納部に格納された、複数の解剖学的構造についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットから作成された少なくとも前記三次元画像を表示デバイスに表示させる処理をコンピュータに実行させる医用画像処理プログラムであって、
    前記コンピュータに、
    前記データセットから前記三次元画像を作成させる処理と、
    作成した前記三次元画像、および前記三次元画像とは形式が異なるが前記三次元画像と関連付けられた第二画像を、前記三次元画像が表示される三次元画像表示領域および前記第二画像が表示される第二画像表示領域に分けて前記表示デバイスに同時に表示させる処理と、
    操作者による複数の入力を同時に受け付けることができる入力デバイスによって受け付けられた入力に応じて、または前記入力とは無関係に、前記三次元画像および前記第二画像の少なくとも一方に含まれる情報から補助画像を作成させ、前記補助画像を前記三次元画像および前記第二画像の他方に表示させる処理と、
    を実行させ、かつ、
    前記三次元画像表示領域および前記第二画像表示領域の両方において同時に前記入力デバイスからの入力を受け付けると、それぞれが受け付けた入力に従った所定の処理を同時に実行させる医用画像処理プログラム。
  16. 請求項１５に記載の医用画像処理プログラムを記憶している、コンピュータ読み取り可能な記録媒体。
JP2019118271A 2018-06-26 2019-06-26 医用画像処理システム、医用画像処理方法および医用画像処理プログラム Active JP7391348B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023194074A JP2024023303A (ja) 2018-06-26 2023-11-15 医用画像処理システム、医用画像処理方法および医用画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018120835 2018-06-26
JP2018120835 2018-06-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023194074A Division JP2024023303A (ja) 2018-06-26 2023-11-15 医用画像処理システム、医用画像処理方法および医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020000863A JP2020000863A (ja) 2020-01-09
JP7391348B2 true JP7391348B2 (ja) 2023-12-05

Family

ID=69098905

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019118271A Active JP7391348B2 (ja) 2018-06-26 2019-06-26 医用画像処理システム、医用画像処理方法および医用画像処理プログラム
JP2023194074A Pending JP2024023303A (ja) 2018-06-26 2023-11-15 医用画像処理システム、医用画像処理方法および医用画像処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023194074A Pending JP2024023303A (ja) 2018-06-26 2023-11-15 医用画像処理システム、医用画像処理方法および医用画像処理プログラム

Country Status (1)

Country Link
JP (2) JP7391348B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7555560B2 (ja) * 2020-04-28 2024-09-25 株式会社根本杏林堂 医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム
CN111768827A (zh) * 2020-08-17 2020-10-13 李青 医学图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001761A1 (en) 2009-07-03 2011-01-06 Fujifilm Corporation Diagnosis assisting apparatus, diagnosis assisting method, and storage medium in which a diagnosis assisting program is recorded
US20120207371A1 (en) 2007-07-05 2012-08-16 Kabushiki Kaisha Toshiba Medical image processing apparatus and medical image diagnosis apparatus
JP2013039353A (ja) 2011-07-19 2013-02-28 Toshiba Corp 画像処理システム、画像保管装置及び医用画像診断装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120207371A1 (en) 2007-07-05 2012-08-16 Kabushiki Kaisha Toshiba Medical image processing apparatus and medical image diagnosis apparatus
JP2015180292A (ja) 2007-07-05 2015-10-15 株式会社東芝 医用画像処理装置
US20110001761A1 (en) 2009-07-03 2011-01-06 Fujifilm Corporation Diagnosis assisting apparatus, diagnosis assisting method, and storage medium in which a diagnosis assisting program is recorded
JP2011025005A (ja) 2009-07-03 2011-02-10 Fujifilm Corp 診断支援装置、診断支援プログラムおよび診断支援方法
JP2013039353A (ja) 2011-07-19 2013-02-28 Toshiba Corp 画像処理システム、画像保管装置及び医用画像診断装置
US20130181978A1 (en) 2011-07-19 2013-07-18 Toshiba Medical Systems Corporation Image processing system, image storage device, and medical image diagnostic apparatus

Also Published As

Publication number Publication date
JP2020000863A (ja) 2020-01-09
JP2024023303A (ja) 2024-02-21

Similar Documents

Publication Publication Date Title
US10229753B2 (en) Systems and user interfaces for dynamic interaction with two-and three-dimensional medical image data using hand gestures
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
JP6118325B2 (ja) 最適なトモグラフィスライスの自動選択を備えた対話式ライブセグメンテーション
CN106569673B (zh) 多媒体病历报告的显示方法及多媒体病历报告的显示设备
JP6208670B2 (ja) 肺葉の曖昧性ガイドインタラクティブセグメンテーションのためのワークフロー
JP2024023303A (ja) 医用画像処理システム、医用画像処理方法および医用画像処理プログラム
JP6051158B2 (ja) 切削シミュレーション装置および切削シミュレーションプログラム
EP2206091A2 (en) Visualization of anatomical data
JP2014142937A (ja) 医用画像参照装置及びカーソル制御プログラム
JP5492024B2 (ja) 領域分割結果修正装置、方法、及びプログラム
JP2007135843A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
US11798249B1 (en) Using tangible tools to manipulate 3D virtual objects
CN114391158A (zh) 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统
JP2007272889A (ja) 画像処理装置
CA3109234A1 (en) A virtual tool kit for radiologists
Jadhav et al. Md-cave: An immersive visualization workbench for radiologists
JP2012085833A (ja) ３次元医用画像データの画像処理システム、その画像処理方法及びプログラム
US20150320507A1 (en) Path creation using medical imaging for planning device insertion
JP7555560B2 (ja) 医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム
CN112740285B (zh) 在虚拟环境中对医学图像的叠加和操纵
Fong et al. Development of a virtual reality system for Hepatocellular Carcinoma pre-surgical planning
JP2022145671A (ja) ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム
US20230298163A1 (en) Method for displaying a 3d model of a patient
JP6902012B2 (ja) 医用画像表示端末および医用画像表示プログラム
JP2021133170A (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R150 Certificate of patent or registration of utility model

Ref document number: 7391348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150