JP6526516B2 - 医用画像処理装置 - Google Patents

医用画像処理装置 Download PDF

Info

Publication number
JP6526516B2
JP6526516B2 JP2015155784A JP2015155784A JP6526516B2 JP 6526516 B2 JP6526516 B2 JP 6526516B2 JP 2015155784 A JP2015155784 A JP 2015155784A JP 2015155784 A JP2015155784 A JP 2015155784A JP 6526516 B2 JP6526516 B2 JP 6526516B2
Authority
JP
Japan
Prior art keywords
volume data
parallaxes
image processing
medical image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015155784A
Other languages
English (en)
Other versions
JP2017029629A (ja
Inventor
菅原 通孝
通孝 菅原
嘉尚 吉岡
嘉尚 吉岡
橋本 敬介
敬介 橋本
康雄 櫻井
康雄 櫻井
柴田 真理子
真理子 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2015155784A priority Critical patent/JP6526516B2/ja
Publication of JP2017029629A publication Critical patent/JP2017029629A/ja
Application granted granted Critical
Publication of JP6526516B2 publication Critical patent/JP6526516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明の一態様としての実施形態は、多視差画像を3D(立体)表示する医用画像処理装置に関する。
今日、複数視線に相当する複数画像を用いて3D表示を行なう技術が開発されている。3D表示を行なう3D表示装置は、観察者の両眼に互いに異なる複数視線に相当する複数画像を印加することによって3D表示を行なうことができる。つまり、観察者は両眼を通じて一対の2次元画像を見ることになり、脳で前記2次元画像を融合して立体感を視認することになる。
3D表示部は、観察者の特殊メガネの着用可否に応じて、裸眼式(パララックスバリア方式及びレンチキュラーレンズ方式等)や、眼鏡式(アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等)に分類することができる。レンチキュラーレンズ方式は、レンズを利用して左側画素及び右側画素を通過する光を屈折させることによって、画像を3D表示することができる。レンチキュラーレンズ方式によると、レンズを通じて大部分通過するため、前記バリアー方式に比べて輝度の減少を最小化させることができる。
医療分野においては、操作者が、3D表示された3D画像に対して感覚的な操作で各種操作を行なうことができる技術が開示される(例えば、特許文献1参照)。
特開2013−123227号公報
動脈瘤の手術には、クリップを使用して止血する施術がある。脳内の血管や神経が行き交う領域で特定の血管のみをクリップで抑える施術は、術者の熟練が必要である。それに加え、患者ごとに形態や症状が異なる。よって、患者ごとに事前の訓練(手術シミュレーション)が必要である。
しかしながら、従来技術では、患者のボリュームデータを2Dマウスや3Dマウスなどを使用して移動や回転の操作を行なって手術の練習を行なっていたため、脳血管を持って患者脳を観察するような直感的な操作やトレーニングを行なうことができなかった。
また、手術シミュレーションにおいて血管をクリップする際に、クリッピング位置付近の血管や神経を挟み傷つけないように注意が必要である。しかしながら、従来技術のコンピュータシミュレーションでは施術の実感を操作者に与えられないため、危険回避のための練習環境としては不十分であった。
本実施形態に係る医用画像処理装置は、上述した課題を解決するために、被検体を撮影して得られたボリュームデータに基づいて生成された3Dオブジェクトを、少なくとも2方向から光学的に撮影してオブジェクト画像を出力する撮影手段と、前記オブジェクト画像を解析し、前記3Dオブジェクトの複数点の3次元位置情報を求める位置情報演算手段と、前記3次元位置情報に基づいて、前記ボリュームデータの投影方向を求める投影方向演算手段と、前記ボリュームデータと前記投影方向とに基づいて投影処理を行なうことにより、表示画像を生成する投影処理手段と、を有する。
第1実施形態に係る医用画像処理装置の構成を示すブロック図。 第1実施形態に係る医用画像処理装置の3D表示装置本体の構造を示す概略図。 図2に示すI−I断面図。 第1実施形態に係る医用画像処理装置の機能を示すブロック図。 表面に位置識別子セットが配置されたボリュームデータの一例を示す図。 第1時相における3Dオブジェクトを示す図。 第2時相における、第1時相とは鉛直軸の軸回転の回転角が異なる3Dオブジェクトを示す図。 第1時相における視線方向を示す図。 第2時相における視線方向を示す図。 本実施形態に係る医用画像処理装置の動作を示すフローチャート。 本実施形態に係る医用画像処理装置の動作を示すフローチャート。 3Dカメラの鉛直軸周りにおける撮影方向を説明するための図。
本実施形態に係る医用画像処理装置について、添付図面を参照して説明する。
図1は、第1実施形態に係る医用画像処理装置の構成を示すブロック図である。
図1は、第1実施形態に係る医用画像処理装置1を示す。医用画像処理装置1は、多視差画像、例えば、2視差画像を操作者(観察者)が裸眼にて立体視可能である構成である。医用画像処理装置1は、両眼視差による立体視を可能とし、さらに、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能である。
医用画像処理装置1は、図示しない医用画像生成装置(医用画像診断装置)や、図示しない医用画像管理装置(画像サーバ)や、図示しない読影端末等、各種装置がネットワークを介して接続された医用画像システム上に設けられる。医用画像生成装置は、医用画像データを生成する装置である。医用画像管理装置は、医用画像データを保存・管理する装置である。
また、医用画像処理装置1単体が後述する機能を実現する場合を例にとって説明するが、後述する機能を、複数装置に分散させて実現するようにしてもよい。
医用画像処理装置1は、制御部11、記憶部12、操作部13、3D(立体)表示部14、及び通信部15等の基本的なハードウェアから構成される。
制御部11は、共通信号伝送路としてのバスを介して、医用画像処理装置1を構成する各ハードウェア構成要素に相互接続されている。なお、医用画像処理装置1は、図示しない記憶媒体ドライブを具備する場合もある。
制御部11は、処理回路及びメモリ(RAM:random access memory)等によって構成される。制御部11は、記憶部12に格納されている各種制御プログラムを読み出して各種演算を行なうと共に、各部12乃至15における処理動作を統括的に制御する。
処理回路は、専用又は汎用のCPU(central processing unit)又はMPU(micro processor unit)の他、特定用途向け集積回路(ASIC:application specific integrated circuit)、及び、プログラマブル論理デバイスなどを意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:simple programmable logic device)、複合プログラマブル論理デバイス(CPLD:complex programmable logic device)、及び、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)などが挙げられる。処理回路はメモリ(記憶部12)に記憶された、又は、処理回路内に直接組み込まれたプログラムを読み出し実行することで図4に示す機能111〜116を実現する。
また、処理回路は、単一の回路によって構成されてもよいし、複数の独立した回路を組み合わせによって構成されてもよい。後者の場合、プログラムを記憶するメモリは処理回路ごとに個別に設けられてもよいし、単一のメモリが複数の回路の機能に対応するプログラムを記憶するものであってもよい。
記憶部12は、メモリやHDD(hard disc drive)等によって構成される。記憶部12は、制御部11において用いられる制御プログラムの実行に必要なデータや、医用画像生成装置や医用画像管理装置(ともに図示しない)等から通信部15又はリムーバブルメディア(removable media)を介して受信されたデータや、制御部11によって生成されたデータを記憶する。
記憶部12は、制御部11によって生成されたデータとして、後述する3D造形制御手段111によって位置識別子セットが配置された、複数患者に関するボリュームデータを記憶することができる。また、記憶部12は、制御部11によって生成されたデータとして、位置識別子セットに加え患者識別子が配置された、複数患者に関するボリュームデータを記憶することができる。ここで、ボリュームデータは、血管等の形態を含むものであり、医用画像生成装置としてのX線CT(computed tomography)装置や、MRI(magnetic resonance imaging)装置等によって生成されるものである。
操作部13は、キーボードやマウス等によって構成される。操作者により操作部13が操作されると、操作部13はその操作に応じた操作信号を生成して制御部11に出力する。なお、3D表示部14におけるディスプレイと一体に構成したタッチパネルを備えてもよい。
3D表示部14は、裸眼式で複数視差の3D画像を表示する装置である。3D表示部14は、バックライト21、液晶パネル22、バックライト駆動回路23、液晶パネル駆動回路24、及び凸レンズ25を備える。バックライト駆動回路23及び液晶パネル駆動回路24は、制御部11からの指示に従って制御される。
図2は、第1実施形態に係る医用画像処理装置1の3D表示部14の構造を示す概略図である。図3は、図2に示すI−I断面図である。
図2及び図3に示す3D表示部14は、画像を表示することが可能なディスプレイ、例えば液晶ディスプレイである。3D表示部14は、バックライト21と、水平方向(x方向)の幅W及び上下方向(y方向)の長さLを有する液晶パネル(液晶シャッタ)22とを備える。なお、3D表示部14は、液晶ディスプレイに限定されるものではなく、有機EL(electro luminescence)ディスプレイや、プラズマディスプレイ等であってもよい。
3D表示部14のバックライト21は、複数の白色LED(light emitting diode)を含んでおり、液晶パネル22の背面に配置される。バックライト21は、バックライト駆動回路23(図1に図示)から電源電圧が印加されると点灯し、液晶パネル22に光を照明する。なお、バックライト21は、白色LEDに限定されるものではなく、他の色のLEDを含んでいてもよい。また、バックライト21は、LEDに代えて、例えば、冷陰極管(CCFL:cold cathode fluorescent lamp)を含むものであってもよい。
液晶パネル22は、液晶パネル22のx方向及びy方向にマトリクス状に複数備えられる画素Pを有する。画素Pは、偏光板Pa、ガラス基板Pb、画素電極(透明導電膜)Pc、配向膜Pd、液晶Pe、対向電極(透明導電膜)Pf、及びカラーフィルタPgを備える。
画素Pには、液晶パネル22のx方向に、複数、例えば2種類の画像データ(2視差画像)を表示するための2個の画素要素が配列される。画素要素には、画素要素の配列方向に垂直な方向であるy方向に、R(red)、G(green)及びB(blue)の各カラーフィルタPgが配列される。なお、画素要素の配列方向は、液晶パネル22のx方向に限定されるものではない。また、RGBの表面(xy面)形状は、長方形に限定されるのもではない。例えば、RBの表面形状が右(または左)に傾斜した平行四辺形であり、かつ、Gの表面形状が逆に左(または右)に傾斜した平行四辺形であってもよい。
偏光板Paは、ガラス基板Pb上に設けられ、バックライト21からの光のうち特定方向の光のみを通過させる機能を有する。
画素電極Pcは、ガラス基板Pb上に設けられる。画素電極Pcは、液晶Peを挟む電極のうちTFT(thin film transistor)側に設けている、画素を構成する電極である。
配向膜Pdは、電極Pc,Pf上にそれぞれ設けられ、液晶分子を特定方向に整列させる機能を有する。
液晶Peは、外部電圧が印加されると、分子配列の並び方が変わる機能を有する。
対向電極Pfは、ガラス基板Pb上に設けられる。対向電極Pfは、液晶Peを挟む電極のうちTFTに対向する側に設けている電極である。
カラーフィルタPgは、TFTに対向する側のガラス基板Pb上に設けられ、各画素要素に対して、各RGBが配列される。
図1の説明に戻って、バックライト駆動回路23は、制御部11による制御に従ってバックライト21に電圧を印加してバックライト21を駆動させる。
液晶パネル駆動回路24は、制御部11による制御に従って液晶パネル22の画素Pの画素回路を駆動させる。
凸レンズ25は、液晶パネル22の前面に配置されるように構成される。3D表示部14と、3D表示部14の液晶パネル22の前面に配置された凸レンズ25によって3D表示部が形成される。凸レンズ25は、軟質の透明素材、例えばアクリル樹脂、ポリカーボネート樹脂、塩化ビニル樹脂、及びスチレン樹脂等の透明樹脂材料によって成形される。
凸レンズ25は、レンチキュラーレンズ(かまぼこ型レンズ)であってもよいし、フライアイ(蝿の目)レンズであってもよい。
通信部15は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタ等によって構成される。通信部15は、ネットワーク上の外部装置と情報の送受信を行なう。例えば、通信部15は、データを医用画像生成装置や医用画像管理装置(ともに図示しない)などから受信したり、制御部11によって生成されたデータを医用画像生成装置や読影端末(ともに図示しない)に送信したりして、外部装置と通信動作を行なう。
また、通信部15は、3D造形装置(3Dプリンタ)F、患者識別子リーダS、及び3Dカメラ(ステレオカメラ)Cとの間で情報の送受信を行なう。
3D造形装置Fは、患者に関するボリュームデータに基づいて3D(立体)オブジェクトを造形する機器である。
患者識別子リーダSは、患者情報に対応するQRコード(登録商標)やバーコードやICチップ(ICタグ)等の患者識別子を読み取る機器である。
3DカメラCは、3Dオブジェクトを複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるカメラである。通常は、1の3DカメラCで両眼視差を再現し、立体的な空間把握のできる立体写真の撮影が可能となる。
図4は、第1実施形態に係る医用画像処理装置1の機能を示すブロック図である。
制御部11がプログラムを実行することによって、図4に示すように、医用画像処理装置1は、3D造形制御手段111、撮影手段112、検索手段113、位置情報演算手段114、投影方向演算手段115、及び投影処理手段116として機能する。なお、医用画像処理装置1は、手段111〜116の全部または一部を回路等のハードウェアとして備えるものであってもよい。
3D造形制御手段111は、記憶部12に記憶されたボリュームデータの表面に、少なくとも3点の3次元位置情報をそれぞれ示す3個の位置識別子(位置検出用のマーカ)からなる位置識別子セットを配置する。3D造形制御手段111は、位置識別子セットが配置されたボリュームデータを患者情報と共に記憶部12に記憶させる。例えば、3D造形制御手段111は、脳内血管及び脳内神経の形態を含むボリュームデータの血管部分に少なくとも3点の位置識別子からなる位置識別子セットを配置する。
3D造形制御手段111は、位置識別子セットが配置されたボリュームデータに付帯された患者情報(患者ID及び撮影部位等)に対応する患者識別子を発行する。3D造形制御手段111は、3D造形装置Pを制御して、位置識別子セットが配置されたボリュームデータに基づいて3D造形処理を実行させて、位置識別子セットを表面に含む3Dオブジェクトを造形する。脳内血管及び脳内神経の形態を含むボリュームデータの場合、3D造形制御手段111は、位置識別子セットを表面に含む3Dの模擬脳内血管を造形することができる。
図5は、表面に位置識別子セットが配置されたボリュームデータの一例を示す図である。図5は、表面に位置識別子セット(3点の位置識別子M1,M2,M3)が配置された、脳内血管を含むボリュームデータを示す。
図4の説明に戻って、3Dオブジェクトの造形の際、3D造形制御手段111は、位置識別子セットに加え、発行した患者識別子を表面に含む3Dオブジェクトを造形する。又は、3D造形制御手段111は、位置識別子セットのみを表面に含む3Dオブジェクトを造形するとともに、患者識別子が印字されたタグを生成する。後者の場合、操作者によって、位置識別子セットのみを表面に含む3Dオブジェクトにタグが取り付けられる。ここで、印字される患者識別子は、患者情報に対応する文字であってもよいが、患者情報を識別不可能なQRコードやバーコードやICチップ等であることが望ましい。
以下、3D造形制御手段111が、位置識別子セットのみを表面に含む3Dオブジェクトを造形し、発行した患者識別子が印字されたタグを生成する場合について説明する。
撮影手段112は、3DカメラCを制御して、表面に位置識別子セットが配置された3Dオブジェクトを、少なくとも2方向から光学的に撮影してオブジェクト画像を出力する。撮影手段112は、背景撮影手段112a、参照撮影手段112b、及び差分画像生成手段112cを有する。
背景撮影手段112aは、3DカメラCを制御して、背景となる複数視差の画像(背景画像)を取得する。2視差の場合、背景撮影手段112aは、3Dオブジェクトが無い状態で撮影を行ない、左眼用の背景画像L0(x,y)と、右眼用の背景画像R0(x,y)とを取得する。背景撮影手段112aは、取得した背景画像L0(x,y),R0(x,y)を記憶部12に記憶させる。
検索手段113は、3Dオブジェクトの患者情報に対応し3D造形制御手段111によって位置識別子セットが配置されたボリュームデータを記憶部12から取得する(読み出す)。検索手段113は、患者識別子リーダ55を制御して、3Dオブジェクトに取り付けられたタグに印字された患者識別子を読み込ませ、患者識別子に対応するボリュームデータを記憶部12から取得する。又は、検索手段113は、操作部13を介して入力された患者情報に対応するボリュームデータを記憶部12から取得する。
参照撮影手段112bは、3DカメラCを制御して3Dオブジェクトの撮影を行ない、複数視差の画像(参照画像)を取得する。参照撮影手段112bは、検索手段113によって患者識別子が読み込まれた3Dオブジェクトの撮影を行ない、第t(t=1,2,…,T)時相の左眼用の参照画像と右眼用の参照画像とを取得する。参照撮影手段112bは、取得した各視差の参照画像を記憶部12に記憶させる。
差分画像生成手段112cは、背景撮影手段112aによって取得された複数視差の背景画像と、参照撮影手段112bによって取得された複数視差の参照画像とに基づいて視差ごとに複数視差の差分画像を生成する。ここで、第t時相における左眼用の参照画像をLt(x,y)とし、第t時相における右眼用の参照画像Rt(x,y)とすると、差分画像生成手段112cは、左眼用の背景画像L0(x,y)及び参照画像Lt(x,y)に基づいて、各時相において画素ごとに差の値(L0(x,y)−Lt(x,y))を求めて左眼用の差分画像LDt(x,y)を生成する。同様に、差分画像生成手段112cは、右眼用の背景画像R0(x,y)及び参照画像Rt(x,y)に基づいて、各時相において画素ごとに差の値(R0(x,y)−Rt(x,y))を求めて右眼用の差分画像RDt(x,y)を生成する。
撮影手段112は、参照撮影手段112bによって取得される参照画像Lt(x,y),Rt(x,y)、又は、差分画像生成手段112cによって生成される差分画像LDt(x,y),RDt(x,y)を、左眼用及び右眼用のオブジェクト画像として利用する。オブジェクト画像には、背景がほぼ黒に近い血管像と、位置識別子セットの像とが含まれる。
位置情報演算手段114は、撮影手段112から出力されたオブジェクト画像を解析し、3Dオブジェクトの複数点の3次元位置情報を求める。位置情報演算手段114は、オブジェクト画像に含まれる位置検出用の3点のマーカの3次元位置情報をそれぞれ求める。
投影方向演算手段115は、位置情報演算手段114によって求められた3次元位置情報に基づいて、検索手段113によって取得されたボリュームデータの投影方向を求める。投影方向演算手段115は、位置情報演算手段114によって求められた3次元位置情報と、ボリュームデータに配置された位置識別子セットの3次元位置情報とが一致する回転方向を求めることで、複数視差の視線方向を算出する。
投影処理手段116は、検索手段113によって取得されたボリュームデータを、投影方向演算手段115によって算出された複数視差の視線方向を投影方向として投影処理(レンダリング処理)して複数視差の3D画像を生成して3D表示部14に表示させる。投影処理手段116は、ボリュームデータを、各視差の視線方向で投影処理して、複数視差の3D画像をそれぞれ生成する。投影処理手段116は、複数視差の3D画像を3D表示部14に3D表示させる。
図6〜図9は、複数視差の3D画像の生成方法を説明するための図である。
図6は、第1(t=1)時相における3Dオブジェクト(脳内模擬血管)を示す。図7は、第2(t=2)時相における、第1時相とは鉛直軸V周りの回転角が異なる3Dオブジェクトを示す。図8は、第1時相における視線方向LV1,RV1を示す。図9は、第2時相における視線方向LV2,RV2を示す。
図6及び図7は、位置識別子セット(図5に図示する位置識別子M1,M2,M3)が配置されたボリュームデータに基づいて造形された3DオブジェクトBを示す。3DオブジェクトBは、その表面に、位置識別子セット(図5に図示する位置識別子M1,M2,M3)の位置に対応して造形された位置識別子セット(位置識別子m1,m2,m3)を含む。3DオブジェクトBには、ボリュームデータに付帯された患者情報の患者識別子(QRコード等)が印字されたタグTが取り付けられている。
図6に示すタグTの患者識別子に対応するボリュームデータが取得された後、第1時相において3DカメラCは図6に図示する3DオブジェクトBの右面を撮影して左眼用及び右眼用のオブジェクト画像を取得する。そして、ボリュームデータに配置された位置識別子M1,M2,M3(図5に図示)が、左眼用及び右眼用のオブジェクト画像に含まれる位置識別子m1,m2,m3(図6に図示)の像にそれぞれ位置合せされることで、図6から、ボリュームデータを投影処理するための視線方向LV1,RV1(図8に図示)がそれぞれ算出される。
視線方向LV1,RV1が算出されると、タグTの患者識別子に対応するボリュームデータが、視線方向LV1,RV1でそれぞれ投影処理されて2視差の3D画像が生成される。そして、2視差の3D画像が3D表示される。図8に示す2視差の3D画像の視線方向LV1,RV1は、図6に示す3DカメラCによる3DオブジェクトBの撮影方向(3DオブジェクトBの右面)に一致する。なお、2視差の3D画像は、位置識別子セット(図5に図示する位置識別子M1,M2,M3)のないボリュームデータを投影処理することが望ましい。
次いで、操作者によって3DオブジェクトBが鉛直軸回転されて3DオブジェクトBの回転角が図6から図7に移行する。第2時相において3DカメラCは図7に図示する3DオブジェクトBの背面を撮影して左眼用及び右眼用のオブジェクト画像を取得する。そして、ボリュームデータに配置された位置識別子M1,M2,M3(図5に図示)が、左眼用及び右眼用のオブジェクト画像に含まれる位置識別子m1,m2,m3(図7に図示)の像にそれぞれ位置合せされることで、図7から、ボリュームデータを投影処理するための視線方向LV2,RV2(図9に図示)がそれぞれ算出される。
視線方向LV2,RV2が算出されると、タグTの患者識別子に対応するボリュームデータが、視線方向LV2,RV2でそれぞれ投影処理されて2視差の3D画像が生成される。そして、2視差の3D画像が3D表示される。図9に示す2視差の3D画像の視線方向LV2,RV2は、図7に示す3DカメラCによる3DオブジェクトBの撮影方向(3DオブジェクトBの背面)に一致する。なお、2視差の3D画像は、位置識別子セット(図5に図示する位置識別子M1,M2,M3)のないボリュームデータを投影処理することが望ましい。
続いて、図1、図10、及び図11を用いて、本実施形態に係る医用画像処理装置1の動作を説明する。
図10及び図11は、本実施形態に係る医用画像処理装置1の動作を示すフローチャートである。
図10を説明すると、医用画像処理装置1は、記憶部12に記憶されたボリュームデータの表面に少なくとも3点の位置識別子からなる位置識別子セット(図5に図示する位置識別子M1,M2,M3)を配置する(ステップST1)。医用画像処理装置1は、位置識別子セットが配置されたボリュームデータを患者情報と共に記憶部12に記憶させる。
医用画像処理装置1は、位置識別子セットが配置されたボリュームデータに付帯された患者情報(患者ID)に対応する患者識別子を発行する(ステップST2)。医用画像処理装置1は、3D造形装置(3Dプリンタ)Pを制御して、位置識別子セットが配置されたボリュームデータに基づいて3D造形処理を実行させて、位置識別子セットを表面に含む3Dオブジェクト(図6及び図7の右側に図示する3DオブジェクトB)を造形する(ステップST3)。
ステップST3による3Dオブジェクトの造形の際、医用画像処理装置1は、例えば、ステップST1によって配置された位置識別子セットのみを表面に含む3Dオブジェクトを造形し、ステップST2によって発行された発行した患者識別子が印字されたタグ(図6及び図7の右側に図示するタグT)を生成する。その場合、操作者によって、位置識別子セットのみを表面に含む3Dオブジェクトにタグが取り付けられる。ここで、印字される患者識別子は、患者情報に対応する患者名であってもよいが、患者情報を識別不可能なQRコードやバーコードやICチップ等であることが望ましい。
異なる患者に対応するボリュームデータを用いてステップST1〜ST3を繰り返すことで、異なる患者に対応する3Dオブジェクトを造形することができる。
医用画像処理装置1は、3DカメラCを制御して、3Dオブジェクトが無い状態で撮影を行ない、左眼用の背景画像と右眼用の背景画像とを取得する(ステップST4)。医用画像処理装置1は、取得した2視差の背景画像を記憶部12に記憶させる。
図11の説明に移って、脳動脈手術(クリッピング術)における手術シミュレーションの際、医用画像処理装置1は、患者識別子リーダ55を制御して、3Dオブジェクトに取り付けられたタグに印字された患者識別子を読み込ませ、患者識別子に対応しステップST1によって位置識別子セットが配置されたボリュームデータを記憶部12から取得する(ステップST11)。
医用画像処理装置1は、3DカメラCを制御して、ステップST11によって患者識別子が読み込まれた3Dオブジェクトの撮影を開始し(ステップST12)、第t時相における左眼用の参照画像と右眼用の参照画像とを取得する(ステップST13)。医用画像処理装置1は、取得した2視差の参照画像を記憶部12に記憶させる。
医用画像処理装置1は、ステップST4によって事前に取得された背景画像と、ステップST13によって取得された2視差の参照画像とに基づいて、画素ごとに差の値を求めて2視差のオブジェクト画像として生成する(ステップST14)。
医用画像処理装置1は、ステップST14によって生成された2視差のオブジェクト画像を解析し、3Dオブジェクトの複数点の3次元位置情報をそれぞれ算出する(ステップST15)。
医用画像処理装置1は、ステップST15によって求められた3次元位置情報に基づいて、ステップST11によって取得されたボリュームデータを投影処理するための2視差の視線方向をそれぞれ算出する(ステップST16)。
医用画像処理装置1は、現在の第t時相が第1時相でないか否かを判断する(ステップST17)。ステップST17の判断にてYES、すなわち、現在の第t時相が第1時相でないと判断される場合、医用画像処理装置1は、手術シミュレーション中、前時相である第t−1時相における視線方向からの、ステップST16によって算出された第t時相における視線方向の変化量が閾値以上であるか否かを判断する(ステップST18)。
ステップST18の判断にてYES、すなわち、前時相である第t−1時相における視線方向からの第t時相における視線方向の変化量が閾値以上と判断される場合、医用画像処理装置1は、ステップST11によって取得されたボリュームデータを、ステップST16によって算出された2視差の視線方向を投影方向としてそれぞれ投影処理して(ステップST19)、2視差の3D画像をそれぞれ生成する(ステップST20)。
ステップST17の判断にてNO、すなわち、現在の第t時相が第1時相であると判断される場合も同様に、医用画像処理装置1は、ステップST11によって取得されたボリュームデータを、ステップST16によって算出された2視差の視線方向を投影方向としてそれぞれ投影処理する(ステップST19)。
医用画像処理装置1は、2視差の3D画像を3D表示部14に3D表示させる(ステップST21)。
医用画像処理装置1は、ステップST2によって開始された3Dオブジェクトの撮影(手術シミュレーション)の終了指示があるか否かを判断する(ステップST22)。ステップST22の判断にてYES、すなわち、3Dオブジェクトの撮影を終了すると判断される場合、医用画像処理装置1は、3Dオブジェクトの撮影を終了する。
一方、ステップST22の判断にてNO、すなわち、3Dオブジェクトの撮影を終了しないと判断される場合、医用画像処理装置1は、現在の第t時相から次の時相である第t+1時相に進み(ステップST23)、第t+1時相において2視差の参照画像を取得する(ステップST13)。
ステップST18の判断にてNO、すなわち、前時相である第t−1時相における視線方向からの第t時相における視線方向の変化量が閾値未満であると判断される場合、医用画像処理装置1は、前時相である第t−1時相における視線方向からの第t時相における視線方向の変化量が閾値を超えるまで待機する。
以上のように、ステップST13〜ST23の動作を繰り返すことで、操作者が3Dオブジェクトを用いて手術シミュレーション中に、操作者は3D表示部14上で脳内血管や脳内神経を含む3D画像を確認することができる。そして、操作者が3Dオブジェクトを鉛直軸周りに回転させると、その回転角に応じて3D表示部14上の3D画像が回転される。
医用画像処理装置1は、上述したように、手術の予習を行ないたい医師が手術対象の患者のボリュームデータを使用した3D表示環境で手術シミュレーション(予行演習)を行なう際に利用される。しかしながら、それ以外の場面でも医用画像処理装置1の機能を利用できる。例えば、脳外科手術の際の開頭位置や大きさ決めの際にも医用画像処理装置1の機能を利用できる。この場合、開頭範囲は限定されるので術者が開頭範囲から脳内神経や血管を直接視認することは困難であるが、頭蓋骨、脳内血管及び脳内神経を含むボリュームデータを医用画像処理装置1の機能に利用することで、術者は、3D表示された脳内神経や血管を視認しながら現実の脳内神経や血管を避けつつ関心部位までたどり着くことができる。
さらに、言語脳機能の場所は個人差があるという問題がある。この場合も、個人ごとのリスクを回避するためにも、医用画像処理装置1を利用することができる。
(第1の変形例)
上述の医用画像処理装置1では、図6及び図7に示す3DオブジェクトBを撮影する3DカメラCの、水平面上の位置(撮影方向)は任意に設定される。
図12は、3DカメラCの鉛直軸周りにおける撮影方向を説明するための図である。
図12において3DカメラCは、3DカメラCによる3DオブジェクトBの撮影方向が、手術シミュレーション中の操作者の3DオブジェクトBへの視線方向から鉛直軸V周りで回転角θずれた位置に配置されている。この場合、手術シミュレーション中の3DオブジェクトBへの操作者の視線方向と、3D表示部14上の投影画像(レンダリング画像)の視線方向とが回転角θだけずれることになる。
そこで、3DカメラCによる3DオブジェクトBの撮影方向が、手術シミュレーション中の操作者の3Dオブジェクトへの視線方向と鉛直軸V周りで略一致するような位置に、3DカメラCを配置してもよい。その場合、操作者は、手術シミュレーション中の3DオブジェクトBへの実際の視線方向が投影処理の視線方向となった3D画像を観察することができる。
又は、投影方向演算手段115(図4に図示)は、手術シミュレーションに先立って、3DオブジェクトBへの操作者の視線方向と、3DカメラCによる撮影方向との鉛直軸V周りの回転角θを補正角度として予め設定してもよい。その場合、投影方向演算手段115(図4に図示)は、ボリュームデータを、オブジェクト画像に基づいて位置合せして求められた視線方向を補正角度θに従って補正する。その場合、操作者は、手術シミュレーション中の3DオブジェクトBへの実際の視線方向が投影処理の視線方向となった3D画像を観察することができる。
他方、手術シミュレーション中の3DオブジェクトBへの操作者の視線方向の水平面からの角度θ1と、3DカメラCによる撮影方向の水平面からの角度θ2との差θ3(θ1−θ2)を補正角度として予め設定してもよい。その場合、投影方向演算手段115(図4に図示)は、ボリュームデータを、オブジェクト画像に基づいて位置合せして求められた視線方向を補正角度θ3に従って補正する。
(第2の変形例)
図4に示す撮影手段112は、複数視差のオブジェクト画像から、手術シミュレーション中に3Dオブジェクトに付加されたクリップ等の治療器具をそれぞれ検出し、各オブジェクト画像に含まれる位置識別子セットの像に対する治療器具の像の相対位置をそれぞれ求めることで、治療器具の3D座標を算出してもよい。なお、位置識別子セットを構成する少なくとも3点の位置識別子の3D座標は既知である。その場合、投影処理手段116は、ボリュームデータの、算出された3D座標に治療器具を示すマーカを配置して複数視差の3D画像に反映させる。
また、投影処理手段116は、ボリュームデータに含まれる脳内神経の座標と、算出された治療器具の3D座標との距離が閾値以下となる場合、視角的に又は聴覚的に警告を発してもよい。
第1実施形態の医用画像処理装置1によると、患者のボリュームデータと、そのボリュームデータに基づいて造形された3Dオブジェクトとを関連付けることで、大勢の患者を抱える医療機関においても、3Dオブジェクトがどの患者のものであるかを認識できる。よって、医用画像処理装置1によると、患者ごとの手術シミュレーションを提供することができる。
また、第1実施形態の医用画像処理装置1によると、血管や、3Dオブジェクトからは視認困難な脳内神経などを3D表示することで施術の実感を操作者に与えられるので、危険回避のための十分な練習環境を提供できる。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行なうことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、本実施形態に係る医用画像処理装置1において、レンチキュラーレンズ方式の裸眼式を採用する構成について説明した。しかし、医用画像処理装置1は、その場合に限定するものではなく、パララックスバリア方式の裸眼式を採用する構成であってもよい。また、本実施形態に係る医用画像処理装置1の技術思想は、専用眼鏡を備える眼鏡式(アナグリフ方式、フレームシーケンシャル方式、及び偏光方式等)を採用する構成にも応用できる。
1 医用画像処理装置
11 制御部
14 3D表示部
111 3D造形制御手段
112 撮影手段
112a 背景撮影手段
112b 参照撮影手段
112c 差分画像生成手段
113 検索手段
114 位置情報演算手段
115 投影方向演算手段
116 投影処理手段

Claims (16)

  1. 被検体を撮影して得られたボリュームデータに基づいて生成された3Dオブジェクトを、少なくとも2方向から光学的に撮影してオブジェクト画像を出力する撮影手段と、
    前記オブジェクト画像を解析し、前記3Dオブジェクトの複数点の3次元位置情報を求める位置情報演算手段と、
    前記3次元位置情報に基づいて、前記ボリュームデータの投影方向を求める投影方向演算手段と、
    前記ボリュームデータと前記投影方向とに基づいて投影処理を行なうことにより、表示画像を生成する投影処理手段と、を有する医用画像処理装置。
  2. 前記位置情報演算手段は、前記3Dオブジェクトの前記複数点としての、位置検出用の複数のマーカの3次元位置情報を求める請求項1に記載の医用画像処理装置。
  3. 前記マーカの位置に対応する、前記ボリュームデータ上の位置の3次元位置情報を前記ボリュームデータに対応付けて記憶する記憶手段をさらに設け、
    前記投影方向演算手段は、前記マーカの前記3次元位置情報と、前記ボリュームデータ上の前記3次元位置情報とが一致する回転方向を求めることにより、前記投影方向を求める請求項2に記載の医用画像処理装置。
  4. 前記3Dオブジェクトの患者情報に対応するボリュームデータを記憶手段から取得する検索手段をさらに有し、
    前記撮影手段は、3Dカメラを制御して前記3Dオブジェクトの撮影を行ない、複数視差のオブジェクト画像を生成し、
    前記投影方向演算手段は、前記ボリュームデータを、前記複数視差のオブジェクト画像の前記3次元位置情報に基づいてそれぞれ位置合せすることで、前記複数視差の視線方向をそれぞれ算出し、
    前記投影処理手段は、前記ボリュームデータを前記複数視差の視線方向を前記投影方向として投影処理して複数視差の3D画像をそれぞれ生成して、前記複数視差の3D画像を3D表示部に3D表示させる請求項1乃至3のうちいずれか一項に記載の医用画像処理装置。
  5. 前記撮影手段は、前記3Dカメラを制御して背景となる複数視差の第1画像を取得し、前記3Dカメラを制御して3Dオブジェクトの撮影を行ない複数視差の第2画像を取得し、前記複数視差の第1画像及び前記複数視差の第2画像に基づいて視差ごとに複数視差の差分画像を生成し、前記複数視差の差分画像を前記複数視差のオブジェクト画像とする請求項4に記載の医用画像処理装置。
  6. 前記記憶手段に記憶されたボリュームデータの表面に少なくとも3点の位置識別子からなる位置識別子セットを配置するとともに、3D造形装置を制御して前記位置識別子セットが配置されたボリュームデータに基づいて3D造形処理を実行させて、前記位置識別子セットを前記複数点として表面に含む前記3Dオブジェクトを造形する3D造形制御手段をさらに有する請求項4又は5に記載の医用画像処理装置。
  7. 前記投影方向演算手段は、前記ボリュームデータに配置された前記位置識別子セットを、前記複数視差のオブジェクト画像のそれぞれに含まれる位置識別子セットの像に位置合わせすることで前記複数視差の視線方向をそれぞれ算出する請求項6に記載の医用画像処理装置。
  8. 前記3D造形制御手段は、前記位置識別子セットが配置されたボリュームデータの前記患者情報に対応する患者識別子を発行し、前記位置識別子セットに加え前記患者識別子を表面に含む前記3Dオブジェクトを造形する請求項7に記載の医用画像処理装置。
  9. 前記3D造形制御手段は、前記位置識別子セットが配置されたボリュームデータの前記患者情報に対応する患者識別子を発行し、前記患者識別子が印字されたタグを生成する請求項7に記載の医用画像処理装置。
  10. 前記撮影手段は、患者識別子リーダを制御して前記3Dオブジェクトに取り付けられた前記タグに印字された前記患者識別子を読み込ませ、前記患者識別子に対応する前記ボリュームデータを前記記憶部から取得する請求項9に記載の医用画像処理装置。
  11. 前記タグに印字された前記患者識別子を、前記患者情報に対応する患者名、QRコード、バーコード、又はICチップとする請求項10に記載の医用画像処理装置。
  12. 前記投影方向演算手段は、操作者の視線方向と、前記3Dカメラによる撮影方向との水平面上の角度を補正角度として予め設定し、前記補正角度に従って前記複数視差の視線方向をそれぞれ補正する請求項4乃至11のうちいずれか一項に記載の医用画像処理装置。
  13. 前記撮影手段は、前記複数視差のオブジェクト画像から治療器具をそれぞれ検出し、前記複数視差のオブジェクト画像に含まれる位置識別子セットの像に対する治療器具の像の相対位置をそれぞれ求めることで、前記治療器具の3D座標を算出し、
    前記投影処理手段は、前記ボリュームデータの前記3D座標に前記治療器具を示すマーカを配置して前記複数視差の3D画像に反映させる請求項4乃至12のうちいずれか一項に記載の医用画像処理装置。
  14. 前記投影処理手段は、前記ボリュームデータに含まれる脳内神経の座標と、前記治療器具の3D座標との距離が閾値以下となる場合、視角的に又は聴覚的に警告を発する請求項13に記載の医用画像処理装置。
  15. 前記ボリュームデータは、脳内血管及び脳内神経の形態を含む請求項4乃至14のうちいずれか一項に記載の医用画像処理装置。
  16. 裸眼式で前記複数視差の3D画像を表示する前記3D表示部をさらに有する請求項4乃至15のうちいずれか一項に記載の医用画像処理装置。
JP2015155784A 2015-08-06 2015-08-06 医用画像処理装置 Active JP6526516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015155784A JP6526516B2 (ja) 2015-08-06 2015-08-06 医用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015155784A JP6526516B2 (ja) 2015-08-06 2015-08-06 医用画像処理装置

Publications (2)

Publication Number Publication Date
JP2017029629A JP2017029629A (ja) 2017-02-09
JP6526516B2 true JP6526516B2 (ja) 2019-06-05

Family

ID=57985602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015155784A Active JP6526516B2 (ja) 2015-08-06 2015-08-06 医用画像処理装置

Country Status (1)

Country Link
JP (1) JP6526516B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204330A (ja) * 2005-01-25 2006-08-10 Hitachi Medical Corp 画像表示装置
JP2008099915A (ja) * 2006-10-19 2008-05-01 Sobal Kk 光タグを利用した医療関連標識
JP5502578B2 (ja) * 2010-04-21 2014-05-28 株式会社東芝 医用情報提示装置
JP6161004B2 (ja) * 2011-03-09 2017-07-12 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
EP2692509A4 (en) * 2011-03-31 2014-10-22 Nat Univ Corp Univ Kobe METHOD FOR MANUFACTURING THREE-DIMENSIONAL MOLDED MODEL AND SUPPORT TOOL FOR MEDICAL TREATMENT, MEDICAL TRAINING, RESEARCH AND TEACHING
JP2012244420A (ja) * 2011-05-19 2012-12-10 Toshiba Corp 画像処理システム、装置及び方法

Also Published As

Publication number Publication date
JP2017029629A (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
JP5909055B2 (ja) 画像処理システム、装置、方法及びプログラム
JP6058290B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
WO2017179350A1 (ja) 画像表示制御装置および方法並びにプログラム
Schwab et al. Evolution of stereoscopic imaging in surgery and recent advances
US8659645B2 (en) System, apparatus, and method for image display and medical image diagnosis apparatus
CN105992965A (zh) 响应于焦点移位的立体显示
JP2017524281A (ja) 媒介現実の外科用視覚化のためのシステム及び方法
CN101164348A (zh) 用于二维和三维图像同时显示的具有混合模式的自动立体效果显示器
US11310487B1 (en) Frustum change in projection stereo rendering
US8115803B2 (en) Apparatus and method for projecting spatial image
JP6430149B2 (ja) 医用画像処理装置
Maiello et al. The (in) effectiveness of simulated blur for depth perception in naturalistic images
Narita et al. Usefulness of a glass-free medical three-dimensional autostereoscopic display in neurosurgery
US20130286016A1 (en) Image processing device, three-dimensional image display device, image processing method and computer program product
JP5784379B2 (ja) 画像処理システム、装置及び方法
US20120249533A1 (en) Stereoscopic display apparatus
JP6526516B2 (ja) 医用画像処理装置
EP2408217A2 (en) Method of virtual 3d image presentation and apparatus for virtual 3d image presentation
US9020219B2 (en) Medical image processing apparatus
US20130321389A1 (en) System and method for 3d imaging
CZ308335B6 (cs) Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
KR101093929B1 (ko) 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템
JP2012244420A (ja) 画像処理システム、装置及び方法
Hutarew et al. Comparison of an auto-stereoscopic display and polarized stereoscopic projection for macroscopic pathology
JP5788228B2 (ja) 3d表示処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6526516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150