JP6526516B2 - 医用画像処理装置 - Google Patents

Description

本発明の一態様としての実施形態は、多視差画像を３Ｄ（立体）表示する医用画像処理装置に関する。

今日、複数視線に相当する複数画像を用いて３Ｄ表示を行なう技術が開発されている。３Ｄ表示を行なう３Ｄ表示装置は、観察者の両眼に互いに異なる複数視線に相当する複数画像を印加することによって３Ｄ表示を行なうことができる。つまり、観察者は両眼を通じて一対の２次元画像を見ることになり、脳で前記２次元画像を融合して立体感を視認することになる。

３Ｄ表示部は、観察者の特殊メガネの着用可否に応じて、裸眼式（パララックスバリア方式及びレンチキュラーレンズ方式等）や、眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）に分類することができる。レンチキュラーレンズ方式は、レンズを利用して左側画素及び右側画素を通過する光を屈折させることによって、画像を３Ｄ表示することができる。レンチキュラーレンズ方式によると、レンズを通じて大部分通過するため、前記バリアー方式に比べて輝度の減少を最小化させることができる。

医療分野においては、操作者が、３Ｄ表示された３Ｄ画像に対して感覚的な操作で各種操作を行なうことができる技術が開示される（例えば、特許文献１参照）。

特開２０１３−１２３２２７号公報

動脈瘤の手術には、クリップを使用して止血する施術がある。脳内の血管や神経が行き交う領域で特定の血管のみをクリップで抑える施術は、術者の熟練が必要である。それに加え、患者ごとに形態や症状が異なる。よって、患者ごとに事前の訓練（手術シミュレーション）が必要である。

しかしながら、従来技術では、患者のボリュームデータを２Ｄマウスや３Ｄマウスなどを使用して移動や回転の操作を行なって手術の練習を行なっていたため、脳血管を持って患者脳を観察するような直感的な操作やトレーニングを行なうことができなかった。

また、手術シミュレーションにおいて血管をクリップする際に、クリッピング位置付近の血管や神経を挟み傷つけないように注意が必要である。しかしながら、従来技術のコンピュータシミュレーションでは施術の実感を操作者に与えられないため、危険回避のための練習環境としては不十分であった。

本実施形態に係る医用画像処理装置は、上述した課題を解決するために、被検体を撮影して得られたボリュームデータに基づいて生成された３Ｄオブジェクトを、少なくとも２方向から光学的に撮影してオブジェクト画像を出力する撮影手段と、前記オブジェクト画像を解析し、前記３Ｄオブジェクトの複数点の３次元位置情報を求める位置情報演算手段と、前記３次元位置情報に基づいて、前記ボリュームデータの投影方向を求める投影方向演算手段と、前記ボリュームデータと前記投影方向とに基づいて投影処理を行なうことにより、表示画像を生成する投影処理手段と、を有する。

第１実施形態に係る医用画像処理装置の構成を示すブロック図。 第１実施形態に係る医用画像処理装置の３Ｄ表示装置本体の構造を示す概略図。 図２に示すＩ−Ｉ断面図。 第１実施形態に係る医用画像処理装置の機能を示すブロック図。 表面に位置識別子セットが配置されたボリュームデータの一例を示す図。 第１時相における３Ｄオブジェクトを示す図。 第２時相における、第１時相とは鉛直軸の軸回転の回転角が異なる３Ｄオブジェクトを示す図。 第１時相における視線方向を示す図。 第２時相における視線方向を示す図。 本実施形態に係る医用画像処理装置の動作を示すフローチャート。 本実施形態に係る医用画像処理装置の動作を示すフローチャート。 ３Ｄカメラの鉛直軸周りにおける撮影方向を説明するための図。

本実施形態に係る医用画像処理装置について、添付図面を参照して説明する。

図１は、第１実施形態に係る医用画像処理装置の構成を示すブロック図である。

図１は、第１実施形態に係る医用画像処理装置１を示す。医用画像処理装置１は、多視差画像、例えば、２視差画像を操作者（観察者）が裸眼にて立体視可能である構成である。医用画像処理装置１は、両眼視差による立体視を可能とし、さらに、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能である。

医用画像処理装置１は、図示しない医用画像生成装置（医用画像診断装置）や、図示しない医用画像管理装置（画像サーバ）や、図示しない読影端末等、各種装置がネットワークを介して接続された医用画像システム上に設けられる。医用画像生成装置は、医用画像データを生成する装置である。医用画像管理装置は、医用画像データを保存・管理する装置である。

また、医用画像処理装置１単体が後述する機能を実現する場合を例にとって説明するが、後述する機能を、複数装置に分散させて実現するようにしてもよい。

医用画像処理装置１は、制御部１１、記憶部１２、操作部１３、３Ｄ（立体）表示部１４、及び通信部１５等の基本的なハードウェアから構成される。

制御部１１は、共通信号伝送路としてのバスを介して、医用画像処理装置１を構成する各ハードウェア構成要素に相互接続されている。なお、医用画像処理装置１は、図示しない記憶媒体ドライブを具備する場合もある。

制御部１１は、処理回路及びメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等によって構成される。制御部１１は、記憶部１２に格納されている各種制御プログラムを読み出して各種演算を行なうと共に、各部１２乃至１５における処理動作を統括的に制御する。

処理回路は、専用又は汎用のＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）又はＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｏｒ ｕｎｉｔ）の他、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、及び、プログラマブル論理デバイスなどを意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：ｓｉｍｐｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、複合プログラマブル論理デバイス（ＣＰＬＤ：ｃｏｍｐｌｅｘ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などが挙げられる。処理回路はメモリ（記憶部１２）に記憶された、又は、処理回路内に直接組み込まれたプログラムを読み出し実行することで図４に示す機能１１１〜１１６を実現する。

また、処理回路は、単一の回路によって構成されてもよいし、複数の独立した回路を組み合わせによって構成されてもよい。後者の場合、プログラムを記憶するメモリは処理回路ごとに個別に設けられてもよいし、単一のメモリが複数の回路の機能に対応するプログラムを記憶するものであってもよい。

記憶部１２は、メモリやＨＤＤ（ｈａｒｄ ｄｉｓｃ ｄｒｉｖｅ）等によって構成される。記憶部１２は、制御部１１において用いられる制御プログラムの実行に必要なデータや、医用画像生成装置や医用画像管理装置（ともに図示しない）等から通信部１５又はリムーバブルメディア（ｒｅｍｏｖａｂｌｅ ｍｅｄｉａ）を介して受信されたデータや、制御部１１によって生成されたデータを記憶する。

記憶部１２は、制御部１１によって生成されたデータとして、後述する３Ｄ造形制御手段１１１によって位置識別子セットが配置された、複数患者に関するボリュームデータを記憶することができる。また、記憶部１２は、制御部１１によって生成されたデータとして、位置識別子セットに加え患者識別子が配置された、複数患者に関するボリュームデータを記憶することができる。ここで、ボリュームデータは、血管等の形態を含むものであり、医用画像生成装置としてのＸ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置や、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置等によって生成されるものである。

操作部１３は、キーボードやマウス等によって構成される。操作者により操作部１３が操作されると、操作部１３はその操作に応じた操作信号を生成して制御部１１に出力する。なお、３Ｄ表示部１４におけるディスプレイと一体に構成したタッチパネルを備えてもよい。

３Ｄ表示部１４は、裸眼式で複数視差の３Ｄ画像を表示する装置である。３Ｄ表示部１４は、バックライト２１、液晶パネル２２、バックライト駆動回路２３、液晶パネル駆動回路２４、及び凸レンズ２５を備える。バックライト駆動回路２３及び液晶パネル駆動回路２４は、制御部１１からの指示に従って制御される。

図２は、第１実施形態に係る医用画像処理装置１の３Ｄ表示部１４の構造を示す概略図である。図３は、図２に示すＩ−Ｉ断面図である。

図２及び図３に示す３Ｄ表示部１４は、画像を表示することが可能なディスプレイ、例えば液晶ディスプレイである。３Ｄ表示部１４は、バックライト２１と、水平方向（ｘ方向）の幅Ｗ及び上下方向（ｙ方向）の長さＬを有する液晶パネル（液晶シャッタ）２２とを備える。なお、３Ｄ表示部１４は、液晶ディスプレイに限定されるものではなく、有機ＥＬ（ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、プラズマディスプレイ等であってもよい。

３Ｄ表示部１４のバックライト２１は、複数の白色ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）を含んでおり、液晶パネル２２の背面に配置される。バックライト２１は、バックライト駆動回路２３（図１に図示）から電源電圧が印加されると点灯し、液晶パネル２２に光を照明する。なお、バックライト２１は、白色ＬＥＤに限定されるものではなく、他の色のＬＥＤを含んでいてもよい。また、バックライト２１は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：ｃｏｌｄ ｃａｔｈｏｄｅ ｆｌｕｏｒｅｓｃｅｎｔ ｌａｍｐ）を含むものであってもよい。

液晶パネル２２は、液晶パネル２２のｘ方向及びｙ方向にマトリクス状に複数備えられる画素Ｐを有する。画素Ｐは、偏光板Ｐａ、ガラス基板Ｐｂ、画素電極（透明導電膜）Ｐｃ、配向膜Ｐｄ、液晶Ｐｅ、対向電極（透明導電膜）Ｐｆ、及びカラーフィルタＰｇを備える。

画素Ｐには、液晶パネル２２のｘ方向に、複数、例えば２種類の画像データ（２視差画像）を表示するための２個の画素要素が配列される。画素要素には、画素要素の配列方向に垂直な方向であるｙ方向に、Ｒ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）及びＢ（ｂｌｕｅ）の各カラーフィルタＰｇが配列される。なお、画素要素の配列方向は、液晶パネル２２のｘ方向に限定されるものではない。また、ＲＧＢの表面（ｘｙ面）形状は、長方形に限定されるのもではない。例えば、ＲＢの表面形状が右（または左）に傾斜した平行四辺形であり、かつ、Ｇの表面形状が逆に左（または右）に傾斜した平行四辺形であってもよい。

偏光板Ｐａは、ガラス基板Ｐｂ上に設けられ、バックライト２１からの光のうち特定方向の光のみを通過させる機能を有する。

画素電極Ｐｃは、ガラス基板Ｐｂ上に設けられる。画素電極Ｐｃは、液晶Ｐｅを挟む電極のうちＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）側に設けている、画素を構成する電極である。

配向膜Ｐｄは、電極Ｐｃ，Ｐｆ上にそれぞれ設けられ、液晶分子を特定方向に整列させる機能を有する。

液晶Ｐｅは、外部電圧が印加されると、分子配列の並び方が変わる機能を有する。

対向電極Ｐｆは、ガラス基板Ｐｂ上に設けられる。対向電極Ｐｆは、液晶Ｐｅを挟む電極のうちＴＦＴに対向する側に設けている電極である。

カラーフィルタＰｇは、ＴＦＴに対向する側のガラス基板Ｐｂ上に設けられ、各画素要素に対して、各ＲＧＢが配列される。

図１の説明に戻って、バックライト駆動回路２３は、制御部１１による制御に従ってバックライト２１に電圧を印加してバックライト２１を駆動させる。

液晶パネル駆動回路２４は、制御部１１による制御に従って液晶パネル２２の画素Ｐの画素回路を駆動させる。

凸レンズ２５は、液晶パネル２２の前面に配置されるように構成される。３Ｄ表示部１４と、３Ｄ表示部１４の液晶パネル２２の前面に配置された凸レンズ２５によって３Ｄ表示部が形成される。凸レンズ２５は、軟質の透明素材、例えばアクリル樹脂、ポリカーボネート樹脂、塩化ビニル樹脂、及びスチレン樹脂等の透明樹脂材料によって成形される。

凸レンズ２５は、レンチキュラーレンズ（かまぼこ型レンズ）であってもよいし、フライアイ（蝿の目）レンズであってもよい。

通信部１５は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタ等によって構成される。通信部１５は、ネットワーク上の外部装置と情報の送受信を行なう。例えば、通信部１５は、データを医用画像生成装置や医用画像管理装置（ともに図示しない）などから受信したり、制御部１１によって生成されたデータを医用画像生成装置や読影端末（ともに図示しない）に送信したりして、外部装置と通信動作を行なう。

また、通信部１５は、３Ｄ造形装置（３Ｄプリンタ）Ｆ、患者識別子リーダＳ、及び３Ｄカメラ（ステレオカメラ）Ｃとの間で情報の送受信を行なう。

３Ｄ造形装置Ｆは、患者に関するボリュームデータに基づいて３Ｄ（立体）オブジェクトを造形する機器である。

患者識別子リーダＳは、患者情報に対応するＱＲコード（登録商標）やバーコードやＩＣチップ（ＩＣタグ）等の患者識別子を読み取る機器である。

３ＤカメラＣは、３Ｄオブジェクトを複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるカメラである。通常は、１の３ＤカメラＣで両眼視差を再現し、立体的な空間把握のできる立体写真の撮影が可能となる。

図４は、第１実施形態に係る医用画像処理装置１の機能を示すブロック図である。

制御部１１がプログラムを実行することによって、図４に示すように、医用画像処理装置１は、３Ｄ造形制御手段１１１、撮影手段１１２、検索手段１１３、位置情報演算手段１１４、投影方向演算手段１１５、及び投影処理手段１１６として機能する。なお、医用画像処理装置１は、手段１１１〜１１６の全部または一部を回路等のハードウェアとして備えるものであってもよい。

３Ｄ造形制御手段１１１は、記憶部１２に記憶されたボリュームデータの表面に、少なくとも３点の３次元位置情報をそれぞれ示す３個の位置識別子（位置検出用のマーカ）からなる位置識別子セットを配置する。３Ｄ造形制御手段１１１は、位置識別子セットが配置されたボリュームデータを患者情報と共に記憶部１２に記憶させる。例えば、３Ｄ造形制御手段１１１は、脳内血管及び脳内神経の形態を含むボリュームデータの血管部分に少なくとも３点の位置識別子からなる位置識別子セットを配置する。

３Ｄ造形制御手段１１１は、位置識別子セットが配置されたボリュームデータに付帯された患者情報（患者ＩＤ及び撮影部位等）に対応する患者識別子を発行する。３Ｄ造形制御手段１１１は、３Ｄ造形装置Ｐを制御して、位置識別子セットが配置されたボリュームデータに基づいて３Ｄ造形処理を実行させて、位置識別子セットを表面に含む３Ｄオブジェクトを造形する。脳内血管及び脳内神経の形態を含むボリュームデータの場合、３Ｄ造形制御手段１１１は、位置識別子セットを表面に含む３Ｄの模擬脳内血管を造形することができる。

図５は、表面に位置識別子セットが配置されたボリュームデータの一例を示す図である。図５は、表面に位置識別子セット（３点の位置識別子Ｍ１，Ｍ２，Ｍ３）が配置された、脳内血管を含むボリュームデータを示す。

図４の説明に戻って、３Ｄオブジェクトの造形の際、３Ｄ造形制御手段１１１は、位置識別子セットに加え、発行した患者識別子を表面に含む３Ｄオブジェクトを造形する。又は、３Ｄ造形制御手段１１１は、位置識別子セットのみを表面に含む３Ｄオブジェクトを造形するとともに、患者識別子が印字されたタグを生成する。後者の場合、操作者によって、位置識別子セットのみを表面に含む３Ｄオブジェクトにタグが取り付けられる。ここで、印字される患者識別子は、患者情報に対応する文字であってもよいが、患者情報を識別不可能なＱＲコードやバーコードやＩＣチップ等であることが望ましい。

以下、３Ｄ造形制御手段１１１が、位置識別子セットのみを表面に含む３Ｄオブジェクトを造形し、発行した患者識別子が印字されたタグを生成する場合について説明する。

撮影手段１１２は、３ＤカメラＣを制御して、表面に位置識別子セットが配置された３Ｄオブジェクトを、少なくとも２方向から光学的に撮影してオブジェクト画像を出力する。撮影手段１１２は、背景撮影手段１１２ａ、参照撮影手段１１２ｂ、及び差分画像生成手段１１２ｃを有する。

背景撮影手段１１２ａは、３ＤカメラＣを制御して、背景となる複数視差の画像（背景画像）を取得する。２視差の場合、背景撮影手段１１２ａは、３Ｄオブジェクトが無い状態で撮影を行ない、左眼用の背景画像Ｌ０（ｘ，ｙ）と、右眼用の背景画像Ｒ０（ｘ，ｙ）とを取得する。背景撮影手段１１２ａは、取得した背景画像Ｌ０（ｘ，ｙ），Ｒ０（ｘ，ｙ）を記憶部１２に記憶させる。

検索手段１１３は、３Ｄオブジェクトの患者情報に対応し３Ｄ造形制御手段１１１によって位置識別子セットが配置されたボリュームデータを記憶部１２から取得する（読み出す）。検索手段１１３は、患者識別子リーダ５５を制御して、３Ｄオブジェクトに取り付けられたタグに印字された患者識別子を読み込ませ、患者識別子に対応するボリュームデータを記憶部１２から取得する。又は、検索手段１１３は、操作部１３を介して入力された患者情報に対応するボリュームデータを記憶部１２から取得する。

参照撮影手段１１２ｂは、３ＤカメラＣを制御して３Ｄオブジェクトの撮影を行ない、複数視差の画像（参照画像）を取得する。参照撮影手段１１２ｂは、検索手段１１３によって患者識別子が読み込まれた３Ｄオブジェクトの撮影を行ない、第ｔ（ｔ＝１，２，…，Ｔ）時相の左眼用の参照画像と右眼用の参照画像とを取得する。参照撮影手段１１２ｂは、取得した各視差の参照画像を記憶部１２に記憶させる。

差分画像生成手段１１２ｃは、背景撮影手段１１２ａによって取得された複数視差の背景画像と、参照撮影手段１１２ｂによって取得された複数視差の参照画像とに基づいて視差ごとに複数視差の差分画像を生成する。ここで、第ｔ時相における左眼用の参照画像をＬｔ（ｘ，ｙ）とし、第ｔ時相における右眼用の参照画像Ｒｔ（ｘ，ｙ）とすると、差分画像生成手段１１２ｃは、左眼用の背景画像Ｌ０（ｘ，ｙ）及び参照画像Ｌｔ（ｘ，ｙ）に基づいて、各時相において画素ごとに差の値（Ｌ０（ｘ，ｙ）−Ｌｔ（ｘ，ｙ））を求めて左眼用の差分画像ＬＤｔ（ｘ，ｙ）を生成する。同様に、差分画像生成手段１１２ｃは、右眼用の背景画像Ｒ０（ｘ，ｙ）及び参照画像Ｒｔ（ｘ，ｙ）に基づいて、各時相において画素ごとに差の値（Ｒ０（ｘ，ｙ）−Ｒｔ（ｘ，ｙ））を求めて右眼用の差分画像ＲＤｔ（ｘ，ｙ）を生成する。

撮影手段１１２は、参照撮影手段１１２ｂによって取得される参照画像Ｌｔ（ｘ，ｙ），Ｒｔ（ｘ，ｙ）、又は、差分画像生成手段１１２ｃによって生成される差分画像ＬＤｔ（ｘ，ｙ），ＲＤｔ（ｘ，ｙ）を、左眼用及び右眼用のオブジェクト画像として利用する。オブジェクト画像には、背景がほぼ黒に近い血管像と、位置識別子セットの像とが含まれる。

位置情報演算手段１１４は、撮影手段１１２から出力されたオブジェクト画像を解析し、３Ｄオブジェクトの複数点の３次元位置情報を求める。位置情報演算手段１１４は、オブジェクト画像に含まれる位置検出用の３点のマーカの３次元位置情報をそれぞれ求める。

投影方向演算手段１１５は、位置情報演算手段１１４によって求められた３次元位置情報に基づいて、検索手段１１３によって取得されたボリュームデータの投影方向を求める。投影方向演算手段１１５は、位置情報演算手段１１４によって求められた３次元位置情報と、ボリュームデータに配置された位置識別子セットの３次元位置情報とが一致する回転方向を求めることで、複数視差の視線方向を算出する。

投影処理手段１１６は、検索手段１１３によって取得されたボリュームデータを、投影方向演算手段１１５によって算出された複数視差の視線方向を投影方向として投影処理（レンダリング処理）して複数視差の３Ｄ画像を生成して３Ｄ表示部１４に表示させる。投影処理手段１１６は、ボリュームデータを、各視差の視線方向で投影処理して、複数視差の３Ｄ画像をそれぞれ生成する。投影処理手段１１６は、複数視差の３Ｄ画像を３Ｄ表示部１４に３Ｄ表示させる。

図６〜図９は、複数視差の３Ｄ画像の生成方法を説明するための図である。

図６は、第１（ｔ＝１）時相における３Ｄオブジェクト（脳内模擬血管）を示す。図７は、第２（ｔ＝２）時相における、第１時相とは鉛直軸Ｖ周りの回転角が異なる３Ｄオブジェクトを示す。図８は、第１時相における視線方向ＬＶ１，ＲＶ１を示す。図９は、第２時相における視線方向ＬＶ２，ＲＶ２を示す。

図６及び図７は、位置識別子セット（図５に図示する位置識別子Ｍ１，Ｍ２，Ｍ３）が配置されたボリュームデータに基づいて造形された３ＤオブジェクトＢを示す。３ＤオブジェクトＢは、その表面に、位置識別子セット（図５に図示する位置識別子Ｍ１，Ｍ２，Ｍ３）の位置に対応して造形された位置識別子セット（位置識別子ｍ１，ｍ２，ｍ３）を含む。３ＤオブジェクトＢには、ボリュームデータに付帯された患者情報の患者識別子（ＱＲコード等）が印字されたタグＴが取り付けられている。

図６に示すタグＴの患者識別子に対応するボリュームデータが取得された後、第１時相において３ＤカメラＣは図６に図示する３ＤオブジェクトＢの右面を撮影して左眼用及び右眼用のオブジェクト画像を取得する。そして、ボリュームデータに配置された位置識別子Ｍ１，Ｍ２，Ｍ３（図５に図示）が、左眼用及び右眼用のオブジェクト画像に含まれる位置識別子ｍ１，ｍ２，ｍ３（図６に図示）の像にそれぞれ位置合せされることで、図６から、ボリュームデータを投影処理するための視線方向ＬＶ１，ＲＶ１（図８に図示）がそれぞれ算出される。

視線方向ＬＶ１，ＲＶ１が算出されると、タグＴの患者識別子に対応するボリュームデータが、視線方向ＬＶ１，ＲＶ１でそれぞれ投影処理されて２視差の３Ｄ画像が生成される。そして、２視差の３Ｄ画像が３Ｄ表示される。図８に示す２視差の３Ｄ画像の視線方向ＬＶ１，ＲＶ１は、図６に示す３ＤカメラＣによる３ＤオブジェクトＢの撮影方向（３ＤオブジェクトＢの右面）に一致する。なお、２視差の３Ｄ画像は、位置識別子セット（図５に図示する位置識別子Ｍ１，Ｍ２，Ｍ３）のないボリュームデータを投影処理することが望ましい。

次いで、操作者によって３ＤオブジェクトＢが鉛直軸回転されて３ＤオブジェクトＢの回転角が図６から図７に移行する。第２時相において３ＤカメラＣは図７に図示する３ＤオブジェクトＢの背面を撮影して左眼用及び右眼用のオブジェクト画像を取得する。そして、ボリュームデータに配置された位置識別子Ｍ１，Ｍ２，Ｍ３（図５に図示）が、左眼用及び右眼用のオブジェクト画像に含まれる位置識別子ｍ１，ｍ２，ｍ３（図７に図示）の像にそれぞれ位置合せされることで、図７から、ボリュームデータを投影処理するための視線方向ＬＶ２，ＲＶ２（図９に図示）がそれぞれ算出される。

視線方向ＬＶ２，ＲＶ２が算出されると、タグＴの患者識別子に対応するボリュームデータが、視線方向ＬＶ２，ＲＶ２でそれぞれ投影処理されて２視差の３Ｄ画像が生成される。そして、２視差の３Ｄ画像が３Ｄ表示される。図９に示す２視差の３Ｄ画像の視線方向ＬＶ２，ＲＶ２は、図７に示す３ＤカメラＣによる３ＤオブジェクトＢの撮影方向（３ＤオブジェクトＢの背面）に一致する。なお、２視差の３Ｄ画像は、位置識別子セット（図５に図示する位置識別子Ｍ１，Ｍ２，Ｍ３）のないボリュームデータを投影処理することが望ましい。

続いて、図１、図１０、及び図１１を用いて、本実施形態に係る医用画像処理装置１の動作を説明する。

図１０及び図１１は、本実施形態に係る医用画像処理装置１の動作を示すフローチャートである。

図１０を説明すると、医用画像処理装置１は、記憶部１２に記憶されたボリュームデータの表面に少なくとも３点の位置識別子からなる位置識別子セット（図５に図示する位置識別子Ｍ１，Ｍ２，Ｍ３）を配置する（ステップＳＴ１）。医用画像処理装置１は、位置識別子セットが配置されたボリュームデータを患者情報と共に記憶部１２に記憶させる。

医用画像処理装置１は、位置識別子セットが配置されたボリュームデータに付帯された患者情報（患者ＩＤ）に対応する患者識別子を発行する（ステップＳＴ２）。医用画像処理装置１は、３Ｄ造形装置（３Ｄプリンタ）Ｐを制御して、位置識別子セットが配置されたボリュームデータに基づいて３Ｄ造形処理を実行させて、位置識別子セットを表面に含む３Ｄオブジェクト（図６及び図７の右側に図示する３ＤオブジェクトＢ）を造形する（ステップＳＴ３）。

ステップＳＴ３による３Ｄオブジェクトの造形の際、医用画像処理装置１は、例えば、ステップＳＴ１によって配置された位置識別子セットのみを表面に含む３Ｄオブジェクトを造形し、ステップＳＴ２によって発行された発行した患者識別子が印字されたタグ（図６及び図７の右側に図示するタグＴ）を生成する。その場合、操作者によって、位置識別子セットのみを表面に含む３Ｄオブジェクトにタグが取り付けられる。ここで、印字される患者識別子は、患者情報に対応する患者名であってもよいが、患者情報を識別不可能なＱＲコードやバーコードやＩＣチップ等であることが望ましい。

異なる患者に対応するボリュームデータを用いてステップＳＴ１〜ＳＴ３を繰り返すことで、異なる患者に対応する３Ｄオブジェクトを造形することができる。

医用画像処理装置１は、３ＤカメラＣを制御して、３Ｄオブジェクトが無い状態で撮影を行ない、左眼用の背景画像と右眼用の背景画像とを取得する（ステップＳＴ４）。医用画像処理装置１は、取得した２視差の背景画像を記憶部１２に記憶させる。

図１１の説明に移って、脳動脈手術（クリッピング術）における手術シミュレーションの際、医用画像処理装置１は、患者識別子リーダ５５を制御して、３Ｄオブジェクトに取り付けられたタグに印字された患者識別子を読み込ませ、患者識別子に対応しステップＳＴ１によって位置識別子セットが配置されたボリュームデータを記憶部１２から取得する（ステップＳＴ１１）。

医用画像処理装置１は、３ＤカメラＣを制御して、ステップＳＴ１１によって患者識別子が読み込まれた３Ｄオブジェクトの撮影を開始し（ステップＳＴ１２）、第ｔ時相における左眼用の参照画像と右眼用の参照画像とを取得する（ステップＳＴ１３）。医用画像処理装置１は、取得した２視差の参照画像を記憶部１２に記憶させる。

医用画像処理装置１は、ステップＳＴ４によって事前に取得された背景画像と、ステップＳＴ１３によって取得された２視差の参照画像とに基づいて、画素ごとに差の値を求めて２視差のオブジェクト画像として生成する（ステップＳＴ１４）。

医用画像処理装置１は、ステップＳＴ１４によって生成された２視差のオブジェクト画像を解析し、３Ｄオブジェクトの複数点の３次元位置情報をそれぞれ算出する（ステップＳＴ１５）。

医用画像処理装置１は、ステップＳＴ１５によって求められた３次元位置情報に基づいて、ステップＳＴ１１によって取得されたボリュームデータを投影処理するための２視差の視線方向をそれぞれ算出する（ステップＳＴ１６）。

医用画像処理装置１は、現在の第ｔ時相が第１時相でないか否かを判断する（ステップＳＴ１７）。ステップＳＴ１７の判断にてＹＥＳ、すなわち、現在の第ｔ時相が第１時相でないと判断される場合、医用画像処理装置１は、手術シミュレーション中、前時相である第ｔ−１時相における視線方向からの、ステップＳＴ１６によって算出された第ｔ時相における視線方向の変化量が閾値以上であるか否かを判断する（ステップＳＴ１８）。

ステップＳＴ１８の判断にてＹＥＳ、すなわち、前時相である第ｔ−１時相における視線方向からの第ｔ時相における視線方向の変化量が閾値以上と判断される場合、医用画像処理装置１は、ステップＳＴ１１によって取得されたボリュームデータを、ステップＳＴ１６によって算出された２視差の視線方向を投影方向としてそれぞれ投影処理して（ステップＳＴ１９）、２視差の３Ｄ画像をそれぞれ生成する（ステップＳＴ２０）。

ステップＳＴ１７の判断にてＮＯ、すなわち、現在の第ｔ時相が第１時相であると判断される場合も同様に、医用画像処理装置１は、ステップＳＴ１１によって取得されたボリュームデータを、ステップＳＴ１６によって算出された２視差の視線方向を投影方向としてそれぞれ投影処理する（ステップＳＴ１９）。

医用画像処理装置１は、２視差の３Ｄ画像を３Ｄ表示部１４に３Ｄ表示させる（ステップＳＴ２１）。

医用画像処理装置１は、ステップＳＴ２によって開始された３Ｄオブジェクトの撮影（手術シミュレーション）の終了指示があるか否かを判断する（ステップＳＴ２２）。ステップＳＴ２２の判断にてＹＥＳ、すなわち、３Ｄオブジェクトの撮影を終了すると判断される場合、医用画像処理装置１は、３Ｄオブジェクトの撮影を終了する。

一方、ステップＳＴ２２の判断にてＮＯ、すなわち、３Ｄオブジェクトの撮影を終了しないと判断される場合、医用画像処理装置１は、現在の第ｔ時相から次の時相である第ｔ＋１時相に進み（ステップＳＴ２３）、第ｔ＋１時相において２視差の参照画像を取得する（ステップＳＴ１３）。

ステップＳＴ１８の判断にてＮＯ、すなわち、前時相である第ｔ−１時相における視線方向からの第ｔ時相における視線方向の変化量が閾値未満であると判断される場合、医用画像処理装置１は、前時相である第ｔ−１時相における視線方向からの第ｔ時相における視線方向の変化量が閾値を超えるまで待機する。

以上のように、ステップＳＴ１３〜ＳＴ２３の動作を繰り返すことで、操作者が３Ｄオブジェクトを用いて手術シミュレーション中に、操作者は３Ｄ表示部１４上で脳内血管や脳内神経を含む３Ｄ画像を確認することができる。そして、操作者が３Ｄオブジェクトを鉛直軸周りに回転させると、その回転角に応じて３Ｄ表示部１４上の３Ｄ画像が回転される。

医用画像処理装置１は、上述したように、手術の予習を行ないたい医師が手術対象の患者のボリュームデータを使用した３Ｄ表示環境で手術シミュレーション（予行演習）を行なう際に利用される。しかしながら、それ以外の場面でも医用画像処理装置１の機能を利用できる。例えば、脳外科手術の際の開頭位置や大きさ決めの際にも医用画像処理装置１の機能を利用できる。この場合、開頭範囲は限定されるので術者が開頭範囲から脳内神経や血管を直接視認することは困難であるが、頭蓋骨、脳内血管及び脳内神経を含むボリュームデータを医用画像処理装置１の機能に利用することで、術者は、３Ｄ表示された脳内神経や血管を視認しながら現実の脳内神経や血管を避けつつ関心部位までたどり着くことができる。

さらに、言語脳機能の場所は個人差があるという問題がある。この場合も、個人ごとのリスクを回避するためにも、医用画像処理装置１を利用することができる。

（第１の変形例）
上述の医用画像処理装置１では、図６及び図７に示す３ＤオブジェクトＢを撮影する３ＤカメラＣの、水平面上の位置（撮影方向）は任意に設定される。

図１２は、３ＤカメラＣの鉛直軸周りにおける撮影方向を説明するための図である。

図１２において３ＤカメラＣは、３ＤカメラＣによる３ＤオブジェクトＢの撮影方向が、手術シミュレーション中の操作者の３ＤオブジェクトＢへの視線方向から鉛直軸Ｖ周りで回転角θずれた位置に配置されている。この場合、手術シミュレーション中の３ＤオブジェクトＢへの操作者の視線方向と、３Ｄ表示部１４上の投影画像（レンダリング画像）の視線方向とが回転角θだけずれることになる。

そこで、３ＤカメラＣによる３ＤオブジェクトＢの撮影方向が、手術シミュレーション中の操作者の３Ｄオブジェクトへの視線方向と鉛直軸Ｖ周りで略一致するような位置に、３ＤカメラＣを配置してもよい。その場合、操作者は、手術シミュレーション中の３ＤオブジェクトＢへの実際の視線方向が投影処理の視線方向となった３Ｄ画像を観察することができる。

又は、投影方向演算手段１１５（図４に図示）は、手術シミュレーションに先立って、３ＤオブジェクトＢへの操作者の視線方向と、３ＤカメラＣによる撮影方向との鉛直軸Ｖ周りの回転角θを補正角度として予め設定してもよい。その場合、投影方向演算手段１１５（図４に図示）は、ボリュームデータを、オブジェクト画像に基づいて位置合せして求められた視線方向を補正角度θに従って補正する。その場合、操作者は、手術シミュレーション中の３ＤオブジェクトＢへの実際の視線方向が投影処理の視線方向となった３Ｄ画像を観察することができる。

他方、手術シミュレーション中の３ＤオブジェクトＢへの操作者の視線方向の水平面からの角度θ１と、３ＤカメラＣによる撮影方向の水平面からの角度θ２との差θ３（θ１−θ２）を補正角度として予め設定してもよい。その場合、投影方向演算手段１１５（図４に図示）は、ボリュームデータを、オブジェクト画像に基づいて位置合せして求められた視線方向を補正角度θ３に従って補正する。

（第２の変形例）
図４に示す撮影手段１１２は、複数視差のオブジェクト画像から、手術シミュレーション中に３Ｄオブジェクトに付加されたクリップ等の治療器具をそれぞれ検出し、各オブジェクト画像に含まれる位置識別子セットの像に対する治療器具の像の相対位置をそれぞれ求めることで、治療器具の３Ｄ座標を算出してもよい。なお、位置識別子セットを構成する少なくとも３点の位置識別子の３Ｄ座標は既知である。その場合、投影処理手段１１６は、ボリュームデータの、算出された３Ｄ座標に治療器具を示すマーカを配置して複数視差の３Ｄ画像に反映させる。

また、投影処理手段１１６は、ボリュームデータに含まれる脳内神経の座標と、算出された治療器具の３Ｄ座標との距離が閾値以下となる場合、視角的に又は聴覚的に警告を発してもよい。

第１実施形態の医用画像処理装置１によると、患者のボリュームデータと、そのボリュームデータに基づいて造形された３Ｄオブジェクトとを関連付けることで、大勢の患者を抱える医療機関においても、３Ｄオブジェクトがどの患者のものであるかを認識できる。よって、医用画像処理装置１によると、患者ごとの手術シミュレーションを提供することができる。

また、第１実施形態の医用画像処理装置１によると、血管や、３Ｄオブジェクトからは視認困難な脳内神経などを３Ｄ表示することで施術の実感を操作者に与えられるので、危険回避のための十分な練習環境を提供できる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行なうことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、本実施形態に係る医用画像処理装置１において、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、医用画像処理装置１は、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、本実施形態に係る医用画像処理装置１の技術思想は、専用眼鏡を備える眼鏡式（アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等）を採用する構成にも応用できる。

１ 医用画像処理装置
１１ 制御部
１４ ３Ｄ表示部
１１１ ３Ｄ造形制御手段
１１２ 撮影手段
１１２ａ 背景撮影手段
１１２ｂ 参照撮影手段
１１２ｃ 差分画像生成手段
１１３ 検索手段
１１４ 位置情報演算手段
１１５ 投影方向演算手段
１１６ 投影処理手段

Claims (16)

1. 被検体を撮影して得られたボリュームデータに基づいて生成された３Ｄオブジェクトを、少なくとも２方向から光学的に撮影してオブジェクト画像を出力する撮影手段と、
   前記オブジェクト画像を解析し、前記３Ｄオブジェクトの複数点の３次元位置情報を求める位置情報演算手段と、
   前記３次元位置情報に基づいて、前記ボリュームデータの投影方向を求める投影方向演算手段と、
   前記ボリュームデータと前記投影方向とに基づいて投影処理を行なうことにより、表示画像を生成する投影処理手段と、を有する医用画像処理装置。
2. 前記位置情報演算手段は、前記３Ｄオブジェクトの前記複数点としての、位置検出用の複数のマーカの３次元位置情報を求める請求項１に記載の医用画像処理装置。
3. 前記マーカの位置に対応する、前記ボリュームデータ上の位置の３次元位置情報を前記ボリュームデータに対応付けて記憶する記憶手段をさらに設け、
   前記投影方向演算手段は、前記マーカの前記３次元位置情報と、前記ボリュームデータ上の前記３次元位置情報とが一致する回転方向を求めることにより、前記投影方向を求める請求項２に記載の医用画像処理装置。
4. 前記３Ｄオブジェクトの患者情報に対応するボリュームデータを記憶手段から取得する検索手段をさらに有し、
   前記撮影手段は、３Ｄカメラを制御して前記３Ｄオブジェクトの撮影を行ない、複数視差のオブジェクト画像を生成し、
   前記投影方向演算手段は、前記ボリュームデータを、前記複数視差のオブジェクト画像の前記３次元位置情報に基づいてそれぞれ位置合せすることで、前記複数視差の視線方向をそれぞれ算出し、
   前記投影処理手段は、前記ボリュームデータを前記複数視差の視線方向を前記投影方向として投影処理して複数視差の３Ｄ画像をそれぞれ生成して、前記複数視差の３Ｄ画像を３Ｄ表示部に３Ｄ表示させる請求項１乃至３のうちいずれか一項に記載の医用画像処理装置。
5. 前記撮影手段は、前記３Ｄカメラを制御して背景となる複数視差の第１画像を取得し、前記３Ｄカメラを制御して３Ｄオブジェクトの撮影を行ない複数視差の第２画像を取得し、前記複数視差の第１画像及び前記複数視差の第２画像に基づいて視差ごとに複数視差の差分画像を生成し、前記複数視差の差分画像を前記複数視差のオブジェクト画像とする請求項４に記載の医用画像処理装置。
6. 前記記憶手段に記憶されたボリュームデータの表面に少なくとも３点の位置識別子からなる位置識別子セットを配置するとともに、３Ｄ造形装置を制御して前記位置識別子セットが配置されたボリュームデータに基づいて３Ｄ造形処理を実行させて、前記位置識別子セットを前記複数点として表面に含む前記３Ｄオブジェクトを造形する３Ｄ造形制御手段をさらに有する請求項４又は５に記載の医用画像処理装置。
7. 前記投影方向演算手段は、前記ボリュームデータに配置された前記位置識別子セットを、前記複数視差のオブジェクト画像のそれぞれに含まれる位置識別子セットの像に位置合わせすることで前記複数視差の視線方向をそれぞれ算出する請求項６に記載の医用画像処理装置。
8. 前記３Ｄ造形制御手段は、前記位置識別子セットが配置されたボリュームデータの前記患者情報に対応する患者識別子を発行し、前記位置識別子セットに加え前記患者識別子を表面に含む前記３Ｄオブジェクトを造形する請求項７に記載の医用画像処理装置。
9. 前記３Ｄ造形制御手段は、前記位置識別子セットが配置されたボリュームデータの前記患者情報に対応する患者識別子を発行し、前記患者識別子が印字されたタグを生成する請求項７に記載の医用画像処理装置。
10. 前記撮影手段は、患者識別子リーダを制御して前記３Ｄオブジェクトに取り付けられた前記タグに印字された前記患者識別子を読み込ませ、前記患者識別子に対応する前記ボリュームデータを前記記憶部から取得する請求項９に記載の医用画像処理装置。
11. 前記タグに印字された前記患者識別子を、前記患者情報に対応する患者名、ＱＲコード、バーコード、又はＩＣチップとする請求項１０に記載の医用画像処理装置。
12. 前記投影方向演算手段は、操作者の視線方向と、前記３Ｄカメラによる撮影方向との水平面上の角度を補正角度として予め設定し、前記補正角度に従って前記複数視差の視線方向をそれぞれ補正する請求項４乃至１１のうちいずれか一項に記載の医用画像処理装置。
13. 前記撮影手段は、前記複数視差のオブジェクト画像から治療器具をそれぞれ検出し、前記複数視差のオブジェクト画像に含まれる位置識別子セットの像に対する治療器具の像の相対位置をそれぞれ求めることで、前記治療器具の３Ｄ座標を算出し、
    前記投影処理手段は、前記ボリュームデータの前記３Ｄ座標に前記治療器具を示すマーカを配置して前記複数視差の３Ｄ画像に反映させる請求項４乃至１２のうちいずれか一項に記載の医用画像処理装置。
14. 前記投影処理手段は、前記ボリュームデータに含まれる脳内神経の座標と、前記治療器具の３Ｄ座標との距離が閾値以下となる場合、視角的に又は聴覚的に警告を発する請求項１３に記載の医用画像処理装置。
15. 前記ボリュームデータは、脳内血管及び脳内神経の形態を含む請求項４乃至１４のうちいずれか一項に記載の医用画像処理装置。
16. 裸眼式で前記複数視差の３Ｄ画像を表示する前記３Ｄ表示部をさらに有する請求項４乃至１５のうちいずれか一項に記載の医用画像処理装置。

Images