JP6080248B2 - ３次元画像表示装置および方法並びにプログラム - Google Patents

Description

本発明は、物体を断層撮影することにより取得した複数の断層画像からなる３次元画像をボリュームレンダリング等の手法により表示するための３次元画像表示装置および方法並びに３次元画像表示方法をコンピュータに実行させるためのプログラムに関するものである。

近年、医療機器（例えば多検出器型ＣＴ等）の進歩により質の高い３次元画像が画像診断に用いられるようになってきている。ここで、３次元画像は多数の２次元の断層画像から構成され情報量が多いため、医師が所望の観察部位を見つけ診断することに時間を要する場合がある。そこで、注目する構造物を認識し、注目する構造物を含む３次元画像から、例えば最大値投影法（ＭＩＰ法）、最小値投影法（ＭｉｎＩＰ法）およびＲａｙＳｕｍ（ray summation）法等の方法を用いて、注目する構造物の３次元可視化画像を作成して表示したり、３次元画像のボリュームレンダリング（ＶＲ）表示あるいはサーフェスレンダリング（ＳＲ）表示したりすることにより、構造物全体、さらには構造物に含まれる病変の視認性を向上させる各種技術が提案されている。

このような手法により表示される３次元可視化画像は高精細なものであるため、非常に細い血管や、各種臓器の詳細形状をありのまま可視化することが可能である。このため、ユーザである医師は、表示された３次元可視化画像を用いて診断を行い、３次元可視化画像により確認される血管や臓器に対してコメントや所見等の情報を画像内に同時に付与することが多い。例えば、３次元可視化画像を回転、平行移動、拡大等して表示条件をインタラクティブに変更し、所見等を記載したい表示条件となった時点で３次元可視化画像をキャプチャし、キャプチャした静止画像に対して、所見等の付加情報を付与することが行われている。

このように付加情報が付与された３次元画像を後で表示するに際し、付加情報を併せて表示するための各種手法が提案されている。例えば特許文献１には、３次元画像上のボクセルデータにアノテーションを対応づけておき、表示する断面を設定すると、その断面とアノテーションが関連づけられた位置との距離を算出し、距離がしきい値以下の場合、アノテーションを表示する手法が提案されている。また、特許文献２には、３次元画像から生成した仮想内視鏡画像において、視点が腫瘍候補の位置に近づくとマーカを表示する手法が提案されている。また、特許文献３には、仮想内視鏡画像において、病変部の方向を示す矢印を表示する手法が提案されている。さらに、特許文献４には、３次元画像を用いて医師の所見を作成し、内視鏡を用いて被写体の検査を行う際に、内視鏡が所見を付与した位置に近づいたときに、表示中の内視鏡画像に所見が記載されたラベルを表示する手法が提案されている。

特開２００１−１９５６１０号公報 特開２０１１−１３９７９７号公報 特開２０１１−１３９８２１号公報 特開２０１１−２０６１６８号公報

付加情報が付与された３次元画像について、キャプチャされた３次元可視化画像を後で表示して診断について最終的な判断を行う場合、付加情報を付与した医師と最終的な判断を行う医師とが同一であれば、キャプチャされた画像がどの位置からどの組織や血管を見る目的でキャプチャしたのか理解できる。しかしながら、判断を行う医師が異なる場合、情報を付与した医師の意図が伝わらないことが多い。この場合、付加情報に含まれる所見に記載された内容に基づいて、その画像をキャプチャした意図を理解することができる。

しかしながら、キャプチャした医師にとってはそのキャプチャした画像の向きが見やすいかもしれないが、キャプチャした医師と異なる医師からすれば、そのキャプチャした画像の向きを多少変更したい場合もある。また、表示条件をインタラクティブに変更しつつ３次元可視化画像を表示する場合において、その３次元可視化画像に複数のキャプチャ画像が存在する場合、そのキャプチャ画像に付与された情報を全て表示したのでは、３次元可視化画像の観察の邪魔となり、さらにはどの情報がどの表示条件にて付与されたものかが分からない。

また、上記特許文献１に記載された手法は、断面を表示した際に付加情報を表示するものであり、表示条件をインタラクティブに変更して表示条件を変更する場合には適用できない。また、特許文献２〜４に記載された手法は、付加情報が付与された位置が近づいた場合にその付加情報を表示するものであり、付加情報が付与された際の３次元可視化画像の向きが、その情報を表示する際の３次元可視化画像の向きと異なる場合、表示された付加情報の意味が理解できない可能性がある。

本発明は上記事情に鑑みなされたものであり、３次元画像に付与された情報を表示するに際し、必要な情報を見やすくすることを目的とする。

本発明による３次元画像表示装置は、物体の３次元画像を３次元可視化して３次元可視化画像を表示手段に表示する画像表示制御手段と、
３次元可視化画像についての表示する向きを含む表示条件を設定する表示条件設定手段と、
３次元可視化画像に関する付加情報を付与するために指定された指定表示条件と、付加情報とを対応づけて記憶する記憶手段と、
指定表示条件に対して許容範囲を設定する許容範囲設定手段と、
３次元可視化画像を表示条件を変更しつつ表示するに際し、表示条件が指定表示条件の許容範囲内にあるか否かを判定し、判定が肯定されると指定表示条件に対応づけられた付加情報を再現可能とする情報再現手段とを備えたことを特徴とするものである。

付加情報とは、３次元可視化画像を観察したユーザがその３次元可視化画像を観察することにより取得した情報の他、３次元可視化画像を解析することにより自動で取得される情報であってもよい。情報の種類としては、所見等の文字列、矢印等のアノテーション、任意形状のオブジェクト、および音声データ等が挙げられる。

「付加情報を再現可能とする」とは、付加情報をそのまま表示または再生等することのみならず、付加情報が存在することを表す情報を表示することも含む。付加情報が存在することを表す情報とは、その情報を指定することにより、付加情報が表示あるいは再生される情報を意味する。とくに、付加情報が音声データの場合、指定表示条件の許容範囲内となった場合に付加情報を再生したのでは、３次元可視化画像の表示中に突然音声が再生されることとなる。このため、付加情報が存在することを表す情報を表示し、その情報を指定することにより音声データを再生することが好ましい。

なお、本発明による３次元画像表示装置においては、画像表示制御手段を、付加情報が再現可能とされると、３次元可視化画像の表示条件を指定表示条件に変更する手段としてもよい。

また、本発明による３次元画像表示装置においては、情報再現手段を、付加情報を表示または再生する手段としてもよい。

また、本発明による３次元画像表示装置においては、情報再現手段を、付加情報を表示または再生するための情報を表示する手段としてもよい。

また、本発明による３次元画像表示装置においては、表示条件設定手段を、向きに加えて、表示位置、拡大率および３次元可視化画像の画質の少なくとも１つを表示条件として設定する手段としてもよい。

また、本発明による３次元画像表示装置においては、表示条件設定手段を、３次元画像が仮想内視鏡画像である場合、少なくとも向きおよび表示位置を表示条件として設定する手段としてもよい。

本発明による３次元画像表示方法は、物体の３次元画像を３次元可視化して３次元可視化画像を表示手段に表示し、
３次元可視化画像についての表示する向きを含む表示条件を設定し、
３次元可視化画像に関する付加情報を付与するために指定された指定表示条件に許容範囲を設定し、
３次元可視化画像を表示条件を変更しつつ表示するに際し、表示条件が指定表示条件の許容範囲内にあるか否かを判定し、
判定が肯定されると指定表示条件に対応づけられた、３次元可視化画像に関する付加情報を再現可能とすることを特徴とするものである。

なお、本発明による３次元画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、向きを含む指定表示条件に対して許容範囲が設定され、３次元可視化画像を表示条件を変更しつつ表示するに際し、指定表示条件の許容範囲内の表示条件となった場合に、指定表示条件に対応づけられた付加情報が再現可能とされる。このため、３次元可視化画像について付加情報が付与された表示条件に近い表示条件となると、付加情報が再現されることとなる。したがって、付加情報を付加したユーザとは異なるユーザが３次元可視化画像を表示条件を変更して表示するに際し、必要な付加情報のみが表示されることから、不要な付加情報が３次元可視化画像の観察を邪魔することが無くなる。また、再現された付加情報が、３次元画像をいずれの向きから見たものであるかが容易に理解できるため、３次元可視化画像の向きと付加情報とを全体的に捉えて理解することが容易となる。

本発明の実施形態による３次元画像表示装置の構成を示す概略ブロック図 本実施形態において行われる処理を示すフローチャート 表示されたＶＲ画を示す図 付加情報が再現された状態を示す図 付加情報が再現された状態を示す図 付加情報が再現された状態を示す図 付加情報が再現された状態を示す図 体表がＶＲ表示されている状態を示す図 図８に示すＶＲ画像において体表の不透明度を変更した状態を示す図 ＶＲ画像および仮想内視鏡画像の表示例を示す図 図１０の矢印Ａ１１の表示条件にて仮想内視鏡画像に再現される付加情報の例を示す図 図１０の矢印Ａ１２の表示条件にて仮想内視鏡画像に再現される付加情報の例を示す図 図１０の矢印Ａ１３の表示条件にて仮想内視鏡画像に再現される付加情報の例を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による３次元画像表示装置の構成を示す概略ブロック図である。なお、図１に示す３次元画像表示装置１の構成は、補助記憶装置に読み込まれた３次元画像表示プログラムをコンピュータ上で実行することにより実現される。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。

本実施形態による３次元画像表示装置１は、画像取得部１０、記憶部１２、構造物抽出部１４、画像表示制御部１６、表示条件設定部１８、情報付与部２０、許容範囲設定部２２、情報再現部２４、入力部２６および表示部２８を備える。

画像取得部１０は、マルチスライスＣＴ装置またはＭＲＩ装置等のモダリティ２において、被写体の胸部を撮影して得られた３次元画像Ｖ０を取得する、通信インターフェースの機能を有する。なお、本実施形態においては、モダリティ２はマルチスライスＣＴ装置であるものとする。３次元画像群Ｖ０はＬＡＮ経由でモダリティ２から送信される。

ここで、３次元画像Ｖ０は、診断対象となる胸部を断層面に垂直な方向に沿って順に得られる２次元の断層画像を積層することによって取得されるものであり、本実施形態においては、モダリティ２において撮影された複数の断層画像を重ね合わせることにより生成される。なお、ＣＴ装置を用いて取得した３次元画像は、３次元空間上での格子点を構成するボクセル（すなわち画素位置）毎にＸ線の吸収量を蓄えたデータとなり、各画素位置に対して１つの信号値（ＣＴ装置で撮影した場合は、Ｘ線の吸収量を示す値）が与えられたデータとなる。

なお、３次元画像Ｖ０には、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報が付加される。付帯情報は、例えば、３次元画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報毎に割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位、本実施形態においては胸部）、撮影条件（造影剤の使用有無や、放射線量等）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。

記憶部１２は、ハードディスク等の大容量の記憶装置であり、３次元画像Ｖ０が記憶される。また、後述するキャプチャ画像、表示条件および付加情報も記憶される。

構造物抽出部１４は、胸部の３次元画像Ｖ０から心臓を構造物として抽出する。具体的には、３次元画像Ｖ０における心臓が存在する信号値（ＣＴ値）の範囲を推定し、その値を用いてしきい値処理を行を行うことにより抽出する。

画像表示制御部１６は、３次元画像Ｖ０をボリュームレンダリングの手法を用いてボリュームレンダリング（ＶＲ）表示する。すなわち、３次元画像Ｖ０に対して投影面から仮想的な光線を照射し、３次元画像Ｖ０の各信号値に対応した色（Ｒ，Ｇ，Ｂ）および不透明度（オパシティ）に基づいて、物体内部からの仮想的な反射光による３次元画像を作成し、この３次元画像から投影面に物体内部の３次元構造を透視する投影画像を生成して、これをボリュームレンダリング画像（ＶＲ画像）として表示部２８に表示する。ここで、ＶＲ画像が本発明の３次元可視化画像に対応する。なお、色および不透明度は所定のカラーテンプレートに定義されており、３次元画像Ｖ０の各画素位置の信号値は、所定のカラーテンプレートに応じて設定された不透明度と色とに基づいて、アルファブレンディング法により、投影画像、すなわちＶＲ画像の画素値に変換される。本実施形態においては、心臓を抽出してＶＲ表示するものであるため、胸部の３次元画像における、抽出した心臓以外の構造物の不透明度を０とするカラーテンプレートを用いて３次元画像をＶＲ表示する。

表示条件設定部１８は、入力部２６からの指示により、ＶＲ画像の方向を含む表示条件を変更し、その指示を画像表示制御部１６に出力する。表示条件とは、表示されるＶＲ画像の方向、投影面上における位置、拡大率および画質を変更するための条件である。方向を変更するための条件としては、３×３の回転行列を用いる。回転行列は例えばＶＲ画像を正面から見たときの方向を基準としたｘｙｚ各軸に対する回転角度を表すものである。位置を変更するための条件は、投影面上における２次元の移動方向を表すものであり、例えばＶＲ画像において心臓が基準位置に表示されている状態からの投影面におけるｘ方向およびｙ方向の座標値の変化量を表す。拡大率を変更するための条件は、拡大率そのものであり、ＶＲ画像において心臓が基準となる大きさにより表示されている状態からの大きさの変化量を表す。画質を変更するための条件は、ＶＲ表示する際に使用したカラーテンプレートである。なお、３次元画像がＭＩＰ法、ＭｉｎＩＰ法等によりモノクロ表示される場合、画質を変更するための条件はウインドウレベル値（ＷＬ値）である。

表示条件設定部１８は、入力部２６からの表示条件の変更の指示を受け、変更された表示条件を画像表示制御部１６に出力する。画像表示制御部１６は、変更された表示条件となるように、３次元画像Ｖ０の投影面の向き、投影面の位置、投影面の３次元画像Ｖ０からの距離、および３次元画像Ｖ０の各画素の信号値を変更してＶＲ画像を表示部２８に表示する。これにより、表示条件をインタラクティブに変更してＶＲ画像を表示することができる。

画像表示制御部１６は、このように表示条件をインタラクティブに変更してＶＲ画像を表示する際に、ユーザである医師が所見等の入力を所望する表示条件となり、ユーザによる入力部２６からの画像キャプチャの指示を受けると、その表示条件で表示されているＶＲ画像をキャプチャし、キャプチャ画像を生成し、キャプチャ画像を表示部２８に表示する。

情報付与部２０は、ユーザによる入力部２６からの入力により、キャプチャ画像に対して付加情報を付与する。付加情報としては、冠動脈におけるプラークまたは石灰化の位置および程度を示す所見、矢印等のアノテーション、もしくは音声による所見が挙げられる。また、病変と思われる部位を囲む任意形状のオブジェクトも付加情報として用いることができる。ここで、付加情報は、キャプチャ画像の各画素位置に対応する３次元画像Ｖ０の画素位置と対応づけて付与してもよく、キャプチャ画像の画素位置と対応づけて付与してもよい。この場合、画素位置は、付加情報をラベルとして付与する場合において、ラベルの引き出し線の先端の位置あるいは矢印の先端の位置とすればよい。また、キャプチャ画像における表示領域の所定位置（例えば右下の位置）に付加情報を一覧として付与するようにしてもよい。なお、付加情報はユーザが入力したもののみならず、３次元画像Ｖ０を解析することにより自動で取得された情報であってもよい。

入力された付加情報は、キャプチャ画像およびキャプチャ画像を取得した際に指定された表示条件（以下指定表示条件とする）と対応づけられて記憶部１２に記憶される。付加情報および表示条件の記憶は、ユーザによる入力部２６からの指示により行ってもよく、キャプチャ画像が表示された状態から表示条件を所定量以上変更した際に行うようにしてもよい。具体的には、方向に関して回転角度が５度以上となった場合、位置に関して平行移動量が２０ｍｍ以上となった場合、あるいは±２０％以上の拡大率の変動があった場合にそれを検知して、付加情報および指定表示条件を記憶するようにしてもよい。なお、この際に記憶される指定表示条件は、変更後のものではなく、付加情報が付与された際のものである。また、カラーテンプレートの変更はその検知が困難であるため、表示条件の変更の検知には使用しなくてもよい。

ユーザは１つの３次元画像Ｖ０に対して、上述した手順を繰り返して画像のキャプチャ（すなわちキャプチャ画像の生成）および付加情報の付与を繰り返すことにより、複数の表示条件と複数の付加情報とがそれぞれ対応づけられて記憶部１２に記憶される。なお、複数の指定表示条件および複数の付加情報は、複数のキャプチャ画像とともに３次元画像Ｖ０とも対応づけられる。

許容範囲設定部２２は、付加情報が付与された際の指定表示条件に対して許容範囲を設定する。許容範囲とは、ＶＲ画像が指定表示条件に近づいた場合に、指定表示条件と対応づけられた付加情報を再現するための、指定表示条件を基準とした表示条件の範囲であり、指定表示条件を基準とした方向、位置および拡大率の少なくとも１つの許容範囲を含む。本実施形態においては、方向、位置および拡大率の全てについての許容範囲を設定するものとする。許容範囲の例としては、方向については±５度、位置については±２０ｍｍ、拡大率については±２０％を用いることができる。なお、カラーテンプレートはその許容範囲の設定が困難であるため、許容範囲を設定しなくてもよい。

情報再現部２４は、後述するように表示条件をインタラクティブに変更してＶＲ画像を表示するに際し、表示条件が指定表示条件の許容範囲内となった場合に、その指定表示条件に対応づけられた付加情報を再現可能とする。付加情報の再現については後述する。

入力部２６は、キーボードおよびマウス等の公知の入力装置からなる。

表示部２８は、液晶、ＣＲＴ等の公知の表示装置からなる。

次いで、本実施形態において行われる処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は、上述したようにキャプチャ画像、複数の指定表示条件および複数の付加情報のそれぞれと対応づけられて記憶部１２に記憶されているものとする。また、ここではまず基準となる表示条件にてＶＲ画像を表示し、これに対して表示条件の変更の指示を受け付けるものとする。ユーザが入力部２６を操作してＶＲ画像の表示の指示を行うことにより、画像表示制御部１６が、ＶＲ画像を表示部２８に表示する（ステップＳＴ１）。

図３は表示されたＶＲ画像を示す図である。図３に示すようにＶＲ画像には、心臓の投影像とともに、指定表示条件に含まれる方向を表す矢印にて付与されている。なお、図３には矢印Ａ１〜Ａ５の５つの矢印が示されている。これらの矢印は、矢印の向きからＶＲ画像を見たキャプチャ画像に付加情報が付与されていることを表す。ユーザが入力部２６から表示条件を変更する指示を行うと（ステップＳＴ２肯定）、表示条件設定部１８および画像表示制御部１６は、変更された表示条件によりＶＲ画像を表示する（ステップＳＴ３）。これにより、ユーザは所望とする方向、位置、拡大率および画質にて、ＶＲ画像を表示することができる。

そして、情報再現部２４が、変更された表示条件が指定表示条件の許容範囲内にあるか否かを判定する（ステップＳＴ４）。ステップＳＴ４が否定されるとステップＳＴ２に戻り、ステップＳＴ２以降の処理を繰り返す。ステップＳＴ４が肯定されると、情報再現部２４が付加情報を再現する（ステップＳＴ５）。この際、表示条件の画質（すなわちカラーテンプレート）が指定表示条件のものとは異なる場合には、指定表示条件のカラーテンプレートを用いて画質を同一とするようにしてもよい。またこの場合、カラーテンプレートを変更するためのボタンを表示する等してユーザにカラーテンプレートを変更するか否かを問い合わせ、ユーザからの指示があった場合にのみカラーテンプレートを変更するようにしてもよい。また、付加情報が再現される際の表示条件は、指定表示条件に近い表示条件であるため、カラーテンプレートのみならず、ＶＲ画像の方向、位置および拡大率の少なくとも１つの表示条件を指定表示条件に変更し、ＶＲ画像を付加情報を付与した場合と同一の見え方となるようにしてもよい。

図４および図５は付加情報が再現された状態を示す図である。なお、図４は表示条件が図３における矢印Ａ１に対応する指定表示条件の許容範囲内となった場合、図５は表示条件が図３における矢印Ａ２に対応する指定表示条件の許容範囲内となった場合の付加情報の再現を示すものである。図４に示すように、矢印Ａ１に対応する指定表示条件の許容範囲内となった場合には、「高度石灰化（８０％狭窄）」および「ソフトプラーク（２０ｍｍ³）の所見が記載されたラベルが表示され、音声データが付与されていることを示すマイクのマークのアイコンＣ０が表示される。また、図５に示すように、矢印Ａ２に対応する指定表示条件の許容範囲内となった場合には、「高度石灰化（１５ｍｍ³）」および「ソフトプラーク 再石灰化懸念」の所見が記載されたラベルが表示され、音声データが付与されていることを示すマイクのマークのアイコンＣ０が表示される。なお、音声データについては、ユーザがアイコンＣ０をクリックすることにより、音声データを再生することができる。なお、アイコンＣ０の表示に代えて、指定表示条件の許容範囲内となった場合に、直ちに音声データを再生するようにしてもよい。また、ラベルは、表示画面の中心を基準として放射状に広がる範囲において表示することが好ましい。

なお、図６に示すように、付加情報に代えて、付加情報が存在することを示すアイコンＣ１を表示してもよい。この場合、ユーザはアイコンＣ１をクリックすることにより、図４あるいは図５に示すように付加情報を再現することができる。

また、図７に示すように、付加情報が付与されている部分を示す矢印Ａ１０，Ａ１１のみを表示し、付加情報自体は表示画面の右側に一覧として表示するようにしてもよい。また、付加情報は、入力部２６からの指示により、表示および非表示を切り換え可能としてもよい。

この状態において、表示条件の変更の指示がなされたか否かが判定され（ステップＳＴ６）、ステップＳＴ６が否定されるとステップＳＴ５に戻る。ステップＳＴ６が肯定されると、表示条件が指定表示条件の許容範囲内にあるか否かを判定する（ステップＳＴ７）。ステップＳＴ７が肯定されるとステップＳＴ５に戻る。ステップＳＴ７が否定されると付加情報を非表示とする（ステップＳＴ８）。ステップＳＴ８に続いて、終了指示がなされたか否かが判定され（ステップＳＴ９）、ステップＳＴ９が否定されるとステップＳＴ２の処理に戻る。ステップＳＴ９が肯定されると処理を終了する。

このように、本実施形態においては、指定表示条件に対して許容範囲を設定し、ＶＲ画像を表示条件を変更しつつ表示するに際し、表示条件が指定表示条件の許容範囲内となった場合に、指定表示条件に対応づけられた付加情報を再現可能としたものである。このため、付加情報を付加したユーザとは異なるユーザが、表示条件をインタラクティブに変更してＶＲ画像を表示するに際し、必要な付加情報のみが表示されることから、不要な付加情報がＶＲ画像の観察を邪魔することが無くなる。また、再現された付加情報が、ＶＲ画像をいずれの向きから見たものであるかが容易に理解できるため、ＶＲ画像の向きと付加情報とを全体的に捉えて理解することが容易となる。

なお、上記実施形態においては、３次元画像Ｖ０をＶＲ表示する場合の処理について説明しているが、３次元画像Ｖ０をＭＩＰ法、ＭｉｎＩＰ法およびＲａｙＳｕｍ法等の他の表示方法により表示する場合にも本発明を適用できる。また、ＶＲ表示を行うことにより付加情報が付与された場合において、ＶＲ表示以外のＭＩＰ等の他の表示方法により３次元画像Ｖ０を表示する場合にも、他の表示方法において、ＶＲ表示時と対応する指定表示条件の許容範囲内となった場合に、付加情報を再現可能とするようにしてもよい。

ここで、ＶＲ表示される構造物が少ない場合には、表示条件が指定表示条件の許容範囲内となった場合に全ての付加情報が再現されても、付加情報の数も少ないため、問題なく付加情報を再現することができる。しかしながら、一部の構造物のみでなく、複数の構造物を含む人体の胸部あるいは胸腹部というような広範囲を対象とする３次元画像Ｖ０に含まれる各種構造物に対して付加情報を付与した場合、指定表示条件の許容範囲内となった場合に、全ての付加情報を表示できなくなる可能性がある。また、全ての付加情報を表示した場合、臓器の外観のみが可視化され、臓器の内部が見えていない状態で臓器内の構造物に付与された付加情報を再現しても、その付加情報がいずれの構造物に付与されたものであるかが分からないため、その付加情報を表示する意味がない。

このため、ＶＲ表示される３次元画像Ｖ０の不透明度に基づいて、再現する付加情報を選択するようにしてもよい。例えば、胸部の３次元画像Ｖ０をＶＲ表示するに際し、体表から内部へ向かって不透明度を変更して胸部の内部の構造物を徐々に表示する場合、不透明度が１、すなわちＶＲ表示される構造物のうち、表面が見えている構造物に対して付与された付加情報のみを再現するようにしてもよい。より具体的には、図８に示すように、体表のみがＶＲ表示されている場合には、表示条件が指定表示条件の許容範囲内となった場合に、体表を表示した状態において付与された付加情報（図８においては「皮膚」の文字列）のみを表示する。そして、図８に示す状態から、体表の不透明度を徐々に下げて、肺領域および気管支が投影面上に投影されたＶＲ画像が表示される場合には、表示条件が指定表示条件の許容範囲内となった場合に、図９に示すように、肺領域および気管支を表示した状態において付与された付加情報（図９においては「右上葉」、「気管支」等の文字列）のみ再現する。

これにより、多数の付加情報が一度に表示されることが無くなるため、再現される付加情報を見やすくすることができる。

なお、上記実施形態において、さらに肺領域および気管支等を抽出し、これらを指定表示条件で表示した際に付加情報を付与するようにしてもよい。また、腹部の３次元画像Ｖ０のＶＲ画像を表示する場合においても、本発明を適用することができる。腹部の場合、例えば、対象を肝臓領域とし、３次元画像Ｖ０から肝臓領域、肝動脈、肝静脈、門脈および腫瘍を抽出し、それぞれを指定表示条件にて表示した際に付加情報を付与し、ＶＲ画像の表示時に、表示条件が指定表示条件の許容範囲内となったときに、付加情報を再現してもよい。

ここで、肺領域を抽出する方法としては、肺野は空気が存在する領域であるため、３次元画像Ｖ０の各画素位置の信号値をヒストグラム化し、肺領域をしきい値処理することにより抽出する方法、肺領域を表すシード点に基づく領域拡張法等、任意の手法を用いることができる。

気管支を抽出する手法としては、領域拡張法により気管支領域内の画素の集合を抽出し、抽出された気管支領域に対して細線化処理を行い、得られた気管支を表す細線の連結関係に基づいて細線上の各画素を端点、エッジ（辺）および分岐点に分類することによって、気管支を表す木構造データを得る手法を用いることができる。また、「マルチスライスＣＴ画像を用いた気管支抽出アルゴリズム, 河村 奈美他, 電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 105(221), 11-14, 2005-07-22」等に記載されたように、自動で気管支を抽出する手法を用いてもよい
また、肝臓領域の抽出には、３次元画像Ｖ０における肝臓が存在するＣＴ値の範囲を推定し、その値を用いてしきい値処理を行い、これにより抽出された領域に、モフォロジーフィルタを適用する手法、「“非剛体レジストレーションを適用した多時相腹部造影ＣＴ画像からの肝臓領域自動抽出法“、コンピュータ支援画像診断学会論文誌、Vol.7, No.4-1, Jun. 2003.」に記載されたように、時系列で撮影された複数の肝臓フェーズ画像を用いて、肝臓領域の造影パターンを検出し、それを用いて肝臓領域を抽出する手法、「“A Liver Level Set (LLS) Algorithm for Extracting Liver’s Volume Containing Disconnected Regions Automatically”, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12, December 2008」および「”Level set methodを用いた肝臓領域抽出方法の開発と評価”、コンピュータ支援診断学会論文誌、Vol.7, No.4-2, Jun. 2003」に記載されたレベルセット法等を用いることができる。なお、肝臓領域を抽出する手法は、これらの手法に限定されるものではなく、任意の手法を用いることができる。

肝動脈、肝静脈および門脈（以下、単に血管と称する場合があるものとする）を抽出する手法としては、例えば特開２０１０−２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報と主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法、特開２０１１−２１２３１４号公報に記載された、自動で血管を区別して抽出する手法を用いることができる。

また、血管を抽出する手法として、第１および第２の線状構造物のそれぞれ１つの起始部から分岐を繰り返しながら離れる方向に広がって延びるという特徴に基づいて、各ノード毎に、各ノードに接続可能な複数のノード間を結ぶ複数のエッジについて接続しやすさを表すコストを重みづけするコスト関数により、第１の木構造の根ノードに対応する第１の根ノードおよび第２の木構造の根ノードに対応する第２の根ノードのそれぞれから各ノードを接続して木構造を作成する手法を用いることができる。この手法において、第１および第２の線状構造物を、肝臓内の肝動脈および肝静脈とすることにより、肝動脈および肝静脈を区別して抽出できる。また、この手法において、第１および第２の線状構造物を門脈および肝動脈または肝静脈とすることにより、門脈および肝動脈または肝静脈を区別して抽出できる。なお、この手法において、起始部は、任意の方法により特定したものであってもよく、起始部に基づいて周知の方法により起始部に対応する根ノードを特定してよい。例えば、表示された画像上でマウス等の入力装置により起始部を指定してもよく、起始部が既知である所定の構造物を表す複数の教師データを機械学習することにより、起始部を検出する起始部検出部をさらに備えるものとし、この起始部検出部により検出してもよい。なお、教師データを機械学習して根ノードを抽出する周知の種々の方法を用いることができ、例えば、アダブースト(Adaboost)法により教師データにおいて既知である起始部の特徴量に基づいて起始部を検出することが考えられる。

また、腫瘍については、「“Liver tumors segmentation from CTA images using voxels classification and affinity constraint propagation”, Int J CARS, 2010」に記載された、Voxel Classificationを利用した手法等を用いることができる。なお、肝動脈、肝静脈、門脈および腫瘍を抽出する手法は、これらの手法に限定されるものではなく、任意の手法を用いることができる。

なお、上記実施形態における付加情報の再現を仮想内視鏡画像に適用することも可能である。仮想内視鏡画像は３次元画像に内視鏡の移動経路を設定し、人体の内部をその移動経路に沿って内視鏡を移動させた場合に撮影される画像と同様の仮想的な画像を、３次元画像Ｖ０に基づいてＶＲ表示等することにより生成される。このため、移動経路上の特定の位置に指定された表示条件の下で付加情報が付与されている場合、仮想内視鏡画像の表示条件が指定表示条件の許容範囲内となった場合に、上記実施形態と同様に付加情報を再現する。ここで、仮想内視鏡画像の場合、表示条件に含まれる位置は、３次元画像Ｖ０上におけるｘ座標、ｙ座標およびｚ座標により規定される３次元の位置となる。このため、指定表示条件に含まれる位置に関しては、３次元の位置を基準とした例えば±１０ｍｍというような許容範囲が設定される。また、表示条件に含まれる方向は、仮想内視鏡の移動経路上にある仮想内視鏡から見た方向である。

なお、仮想内視鏡画像の場合、表示部２８には、図１０に示すように、２つのウインドウ３０，３２が表示されており、ウインドウ３０には、３次元画像Ｖ０に基づいて人体の全体を含むＶＲ画像３４が、ウインドウ３２には仮想内視鏡画像３６がそれぞれ表示される。なお、ＶＲ画像３４には内視鏡の移動経路（カメラパス）３８および指定表示条件に含まれる位置および方向の表示条件により表される方向が、矢印にて付与されている。なお、図１０には矢印Ａ１１〜Ａ１３の３つの矢印が示されている。

ユーザは仮想内視鏡の先端を移動経路３８に沿って仮想的に移動させつつ、方向、位置、拡大率およびカラーテンプレートを変更することにより、所望とする表示条件にて仮想内視鏡画像３６をウインドウ３２に表示することができる。そして、表示条件が指定表示条件の許容範囲内となると、仮想内視鏡画像３６に付加情報が再現可能とされる。なお、仮想内視鏡画像の場合、表示条件の位置のみが指定表示条件の許容範囲内となっても付加情報は再現されず、少なくとも位置および方向の双方の表示条件が指定表示条件の許容範囲内となった場合に、付加情報が再現可能とされる。

図１１は矢印Ａ１１の表示条件にて仮想内視鏡画像に再現される付加情報の例を、図１２は矢印Ａ１２の表示条件にて仮想内視鏡画像に再現される付加情報の例を、図１３は矢印Ａ１３の表示条件にて仮想内視鏡画像に再現される付加情報の例をそれぞれ示す図である。

図１１に示す仮想内視鏡画像には、「肝動脈・カメラ走行時注意」、「切除対象領域」のテキスト、切除対象領域を囲むオブジェクト、およびマイクのマークのアイコンＣ２が表示されている。図１２に示す仮想内視鏡画像には、「こちらも切除」のテキストおよび切除領域を囲むオブジェクトが表示されている。図１３に示す仮想内視鏡画像には、「走行注意・動脈並走している。」、「目的位置」のテキストおよび内視鏡の移動経路３８が表示されている。

このように、仮想内視鏡画像を表示する際に、指定表示条件に対して許容範囲を設定し、仮想内視鏡画像を表示条件を変更しつつ表示するに際し、方向を含む表示条件が、指定表示条件の許容範囲内となった場合に、指定表示条件に対応づけられた付加情報を再現可能とすることにより、必要な付加情報のみが表示されることから、不要な付加情報が仮想内視鏡画像の観察を邪魔することが無くなる。また、再現された表示情報が、ＶＲ画像をいずれの向きから見たものであるかが容易に理解できるため、ＶＲ画像の向きと付加情報とを全体的に捉えて理解することが容易となる。

また、上記実施形態においては、表示条件が指定表示条件の許容範囲内となったときに付加情報を再現可能としているが、図３に示すようにＶＲ画像に矢印Ａ１〜Ａ５を付与して表示した際に、ユーザによる入力部２６からのいずれかの矢印の選択の指示を受け付け、これにより、ＶＲ画像の表示条件を指定表示条件に自動で変更するとともに、付加情報を再現可能とするようにしてもよい。

また、上記実施形態においては、人体の３次元画像に付加情報を付加した場合の付加情報の再現について説明しているが、地質学の地形データの３次元画像に付加情報を付与した場合、気象データにおける雲の３次元画像に付加情報を付与した場合、あるいは非破壊検査における各種部品の３次元画像に付加情報を付与した場合等にも本発明を適用できることはもちろんである。

１ ３次元画像表示装置
２ モダリティ
１０ 画像取得部
１２ 記憶部
１４ 構造物抽出部
１６ 画像表示制御部
１８ 表示条件設定部
２０ 情報付与部
２２ 許容範囲設定部
２４ 情報再現部
２６ 入力部
２８ 表示部

Claims (8)

1. ３次元画像から抽出された注目すべき構造物を３次元可視化することにより生成された、該構造物の３次元可視化画像を表示手段に表示する画像表示制御手段と、
   前記３次元可視化画像についての表示する向きを含む表示条件を設定する表示条件設定手段と、
   前記３次元可視化画像に関する、文字列、アノテーション、任意形状のオブジェクトおよび音声データの少なくとも１つを含む付加情報を付与するために指定された、前記３次元可視化画像についての表示する向きを含む指定表示条件と、前記付加情報とを対応づけて記憶する記憶手段と、
   前記指定表示条件に対して許容範囲を設定する許容範囲設定手段と、
   前記３次元可視化画像を表示条件を変更しつつ表示するに際し、前記表示条件が前記指定表示条件の許容範囲内にあるか否かを判定し、該判定が肯定されると前記指定表示条件に対応づけられた前記付加情報を再現可能とする情報再現手段とを備えたことを特徴とする３次元画像表示装置。
2. 前記画像表示制御手段は、前記付加情報が再現可能とされると、前記３次元可視化画像の表示条件を前記指定表示条件に変更する手段であることを特徴とする請求項１記載の３次元画像表示装置。
3. 前記情報再現手段は、前記付加情報を表示または再生する手段であることを特徴とする請求項１または２記載の３次元画像表示装置。
4. 前記情報再現手段は、前記付加情報を表示または再生するための情報を表示する手段であることを特徴とする請求項１または２記載の３次元画像表示装置。
5. 前記表示条件設定手段は、前記向きに加えて、表示位置、拡大率および前記３次元可視化画像の画質の少なくとも１つを前記表示条件として設定する手段であり、前記指定表示条件は、前記向きに加えて、表示位置、拡大率および前記３次元可視化画像の画質の少なくとも１つを含むことを特徴とする請求項１から４のいずれか１項記載の３次元画像表示装置。
6. 前記３次元画像が仮想内視鏡画像である場合、前記表示条件設定手段は、少なくとも向きおよび表示位置を前記表示条件として設定する手段であり、前記指定表示条件は、少なくとも向きおよび表示位置を含むことを特徴とする請求項１から４のいずれか１項記載の３次元画像表示装置。
7. ３次元画像から抽出された注目すべき構造物を３次元可視化することにより生成された、該構造物の３次元可視化画像を表示手段に表示し、
   前記３次元可視化画像についての表示する向きを含む表示条件を設定し、
   前記３次元可視化画像に関する、文字列、アノテーション、任意形状のオブジェクトおよび音声データの少なくとも１つを含む付加情報を付与するために指定された、前記３次元可視化画像についての表示する向きを含む指定表示条件に許容範囲を設定し、
   前記３次元可視化画像を表示条件を変更しつつ表示するに際し、前記表示条件が前記指定表示条件の許容範囲内にあるか否かを判定し、
   該判定が肯定されると前記指定表示条件に対応づけられた、前記３次元可視化画像に関する付加情報を再現可能とすることを特徴とする３次元画像表示方法。
8. ３次元画像から抽出された注目すべき構造物を３次元可視化することにより生成された、該構造物の３次元可視化画像を表示手段に表示する手順と、
   前記３次元可視化画像についての表示する向きを含む表示条件を設定する手順と、
   前記３次元可視化画像に関する、文字列、アノテーション、任意形状のオブジェクトおよび音声データの少なくとも１つを含む付加情報を付与するために指定された、前記３次元可視化画像についての表示する向きを含む指定表示条件に許容範囲を設定する手順と、
   前記３次元可視化画像を表示条件を変更しつつ表示するに際し、前記表示条件が前記指定表示条件の許容範囲内にあるか否かを判定する手順と、
   該判定が肯定されると前記指定表示条件に対応づけられた、前記３次元可視化画像に関する付加情報を再現可能とする手順とを有することを特徴とする３次元画像表示方法をコンピュータに実行させるためのプログラム。