JP6933522B2 - 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム - Google Patents

医用画像処理装置、医用画像処理装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP6933522B2
JP6933522B2 JP2017144061A JP2017144061A JP6933522B2 JP 6933522 B2 JP6933522 B2 JP 6933522B2 JP 2017144061 A JP2017144061 A JP 2017144061A JP 2017144061 A JP2017144061 A JP 2017144061A JP 6933522 B2 JP6933522 B2 JP 6933522B2
Authority
JP
Japan
Prior art keywords
image
depth information
volume
dimensional
rendered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017144061A
Other languages
English (en)
Other versions
JP2018089343A (ja
Inventor
祐介 今杉
祐介 今杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2018089343A publication Critical patent/JP2018089343A/ja
Application granted granted Critical
Publication of JP6933522B2 publication Critical patent/JP6933522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)

Description

本発明は、3次元画像の医用画像処理装置、医用画像処理装置の制御方法、及びプログラムに関する。
従来の医用画像処理装置として、生体の神経線維(白質繊維)の延在方向を追跡して表示するものが知られている。医用画像処理装置は、例えば、核磁気共鳴画像法(MRI:Magnetic Resonance Imaging)装置によって撮影された拡散強調画像(DWI:Diffusion-Weighted Imaging)を用いて神経線維の走行を解析する。そして、医用画像処理装置は、当該神経線維の解析結果とMRI装置で撮影された生体組織とを三次元表示により可視化し、これらを重畳させて表示する。
特許文献1には、神経線維を示す3次元データと生体組織を含む3次元データとをそれぞれ異なるレンダリング法でレンダリングを行い、重畳表示を行う医用画像処理装置が開示されている。当該医用画像処理装置は、ボリュームレンダリング法で表示された生体組織のボクセルのうち、視点位置から所定の不透明度以上のボクセルまでの距離を算出する。そして、医用画像処理装置は、当該算出した距離を用いて神経線維をレンダリングした画像の表示位置を特定する。
特開2012−34772号公報
しかしながら、特許文献1の医用画像処理装置の算出方法では、ボクセルの不透明度の設定によっては、視点位置からボクセルまでの距離が正確に算出されない場合がある。このため、ボリュームレンダリング法で表示された生体組織の画像と他のレンダリング方法で表示される神経線維の画像とが誤った位置関係で重畳表示されるおそれがあった。そこで、本発明は、上記課題に鑑み、医用画像処理装置において、異なるレンダリング法でレンダリングされた画像を重畳表示させる際の視認性を向上させることを目的とする。
上記の目的を達成するために本発明の医用画像処理装置は、医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、サーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、を有することを特徴とする。
本発明によれば、医用画像処理装置において、異なるレンダリング法で表示された画像を重畳表示させる際の視認性を向上させることができる。
本実施形態における医用画像診断装置のハードウェア構成の一例を示す図である。 本実施形態における医用画像診断装置の機能を示す図である。 重畳表示が適切でない場合の一例を示す図である。 適切に重畳表示がなされた場合の一例を示す図である。 本実施形態における奥行情報取得部が取得する奥行情報を示す図である。 本実施形態における医用画像診断装置の解析・表示処理を示すフローチャートである。 本実施形態における重畳位置の決定処理を示すフローチャートである。 本実施形態における画像の表示順序の切り替え処理を示すフローチャートである。
以下、図面を参照して、本実施形態を詳細に説明する。
図1は、医用画像処理装置100のハードウェア構成の一例を示す図である。尚、図1に示す医用画像処理装置100のハードウェア構成はこれに限らない。
医用画像処理装置100は、パーソナルコンピュータ等の汎用コンピュータである。医用画像処理装置100は、CT装置やMRI等で断層撮影することで得られた二次元の医用画像(以下、二次元医用画像という。)を積層してボリュームデータ(三次元データ)を生成する。尚、この二次元医用画像はDICOM(Digital Imaging and COmmunication in Medicine)画像である。そして、ボリュームデータに対してボリュームレンダリングを行うことで生成された三次元の医用画像(以下、三次元医用画像という。)を表示することができる。医用画像処理装置100は、いわゆるパーソナルコンピュータであってもよいしサーバであってもよいが、ワークステーションのような医用画像を処理するために特化したコンピュータであることが望ましい。また、医用画像処理装置100はタッチパネルを備えるタブレット端末や携帯端末であってもよい。
CPU101は、システムバス104に接続される各デバイスやコントローラを統括的に制御する。
また、ROM102あるいは外部メモリ111には、CPU101の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムプログラムが記憶されている。また外部メモリ111には、各機能を実現するために必要な各種プログラム等が記憶されている。RAM103は、CPU101の主メモリ、ワークエリア等として機能する。
CPU101は、処理の実行に際して必要なプログラム等をRAM103にロードして、プログラムを実行することで各種動作を実現するものである。
また、入力コントローラ105は、キーボードやマウス等のポインティングデバイスといった入力デバイス109からの入力を制御する。
ビデオコントローラ106は、表示装置110等の表示器への表示を制御する。表示器はCRTや液晶表示装置でも構わない。
メモリコントローラ107は、ハードディスクやフレキシブルディスク或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ111へのアクセスを制御する。外部メモリ111(記憶手段)は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する。
通信I/Fコントローラ108は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
尚、CPU101は、例えばRAM103内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、表示装置110上での表示を可能としている。また、CPU101は、表示装置110上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本実施形態における医用画像処理装置100が後述する各種処理を実行するために用いられる各種プログラム等は、外部メモリ111に記録されており、必要に応じてRAM103にロードされることによりCPU101によって実行されるものである。さらに、本実施形態におけるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ111に格納されている。
図2は、医用画像処理装置100の機能構成の一例を示す図である。尚、図2に示す各機能は、図1に示す各ハードウェアや各種プログラム等により実現される構成要素である。また、医用画像処理装置100の機能構成は、これに限らない。
医用画像処理装置100は、画像入力部201と、サーフェイスレンダリング画像生成部202と、ボリュームレンダリング画像生成部203と、奥行情報取得部204と、表示制御部205と、を備える。
画像入力部201は、医用画像撮影装置で撮影された三次元ボリュームデータを入力する機能部である。医用画像撮影装置は、医用モダリティであり、CT装置、MRI装置等を含む。
三次元のボリュームデータは、通常、三次元配列で、各配列の要素は8から16ビットの整数値や浮動小数のデータで粟原される。画像入力部201は、外部メモリ111を参照し、外部メモリ111に格納された画像を入力可能に構成されている。外部メモリ111には、例えば、MRI装置で撮影された複数の画像が格納されている。例えば、複数の画像は、T1強調画像、T2強調画像、DWI等である。
T1強調画像は、生体組織に含まれるプロトンの縦緩和時間が強調された画像である。T2強調画像は、生体組織に含まれるプロトンの横緩和時間が強調された画像である。DWIは、所定の方向から印加された一対の勾配磁場によって生体組織に含まれるプロトンに生じたスピン位相の乱れが画像化されたものである。外部メモリ111は、MRI装置で撮影された画像に限られるものでなく、CT装置等で撮影された画像を記憶していてもよい。
外部メモリ111に格納された画像は、例えばDICOM規格に準拠した形式の画像データである。DICOM規格においては、所定のタグで示すデータ格納位置に、当該画像を撮影したMRI装置名、型番又は製造元メーカー名等を格納する。なお、DWIの撮影条件については、MRI装置又は製造元メーカーごとに異なる位置に格納される。撮影条件には、例えば、MPGの傾斜方向(Gradient Orientation)、傾斜方向の数、及びMPGの影響の強さを示すb値が含まれている。
画像入力部201は、観察対象となる生体組織が撮影された複数のDWI及びT2強調画像を入力する機能を有している。そして、画像入力部201は、入力した画像をサーフェイスレンダリング画像生成部202や、ボリュームレンダリング画像生成部203へ出力する機能を有している。
入力デバイス109は、ユーザ操作を入力する機能を有している。例えば、入力デバイス109は、マウスやキーボード等のユーザインターフェイスである。そして、入力デバイス109は、ユーザ操作によって指定された後述する始点領域、終端領域、回避領域、テンソル解析手法、マウスのポイント位置等を入力する機能を有している。
サーフェイスレンダリング画像生成部202は、複数のDWI及びT2強調画像を用いて拡散テンソル解析を行い、拡散テンソル画像(DTI:Diffusion Tensor Imaging)を生成する機能を有している。そして、サーフェイスレンダリング画像生成部202は、拡散テンソル画像から神経線維の延在方向を追跡し、神経線維の三次元位置を特定する。サーフェイスレンダリング画像生成部202は、特定した神経線維の三次元位置を用いて、サーフェイスレンダリング法により三次元データを生成するとともに、レンダリング画像を生成する機能を有している。以下、拡散テンソル解析について説明する。
サーフェイスレンダリング画像生成部202は、拡散テンソル解析を行うにあたり、DWIのそれぞれに付与された撮影条件を取得する機能を有している。DWIのそれぞれの撮影条件を取得するために、例えば、サーフェイスレンダリング画像生成部202は、MRI装置名又は製造元メーカー名が格納されているタグに基づいて、解析対象のDWIを撮影したMRI装置名又は当該装置の製造元メーカー名を取得可能に構成されている。そして、サーフェイスレンダリング画像生成部202は、MRI装置名又は製造元メーカー名に基づいて撮影条件のデータ格納位置を特定するために、タグ情報テーブルを参照可能に構成されている。タグ情報テーブルには、タグと当該タグが示す意味が対応付けされたテーブルが、MRI装置又は当該MRI装置の製造元メーカーごとに関連付けされて格納されている。サーフェイスレンダリング画像生成部202は、対象のDWIの撮影条件であるMPGの傾斜方向、傾斜方向の数及びb値を取得して、拡散テンソル解析を行う機能を有している。
サーフェイスレンダリング画像生成部202は、複数のテンソル解析手法から選択されたテンソル解析手法でDTIを生成可能に構成されている。サーフェイスレンダリング画像生成部202は、例えば、入力デバイス109を介してユーザにより選択されたテンソル解析手法でDTIを生成可能に構成されている。例えば、サーフェイスレンダリング画像生成部202は、1テンソル解析手法又は2テンソル解析手法を実行可能に構成されている。ここで、1テンソル解析手法は、拡散の異方性を1つのテンソルを用いて1方向として表現するものであり、2テンソル解析手法は、拡散の異方性を2つのテンソルを用いて2方向として表現するものである。以上、サーフェイスレンダリング画像生成部202が拡散テンソル解析により神経線維の三次元位置を特定する場合について説明したが、サーフェイスレンダリングの対象はこれに限られるものではない。
ボリュームレンダリング画像生成部203は、画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成する機能を有する。本実施形態では、サーフェイスレンダリング画像生成部202により出力されたDTIを用いてボリュームレンダリング法によりレンダリングする例を示す。例えば、ボリュームレンダリング画像生成部203は、複数のDTIを入力し、DTIのスカラー量がそれぞれ対応付けられたボクセルにより三次元画像モデルを構築するとともに、各ボクセルに対して不透明度等の表示属性をスカラー量に応じて付与する機能を有している。そして、ボリュームレンダリング画像生成部203は、視線方向に沿った光源減衰を全ボクセルで表現する。例えば、ボリュームレンダリング画像生成部203は、入射光源量とボクセルの有する不透明度とを乗算して当該ボクセルの輝度値を算出する。ボリュームレンダリング画像生成部203は、上記処理を視線方向に順次積算することによりボリュームレンダリング画像を生成する。
サーフェイスレンダリング画像生成部202およびボリュームレンダリング画像生成部203が生成するレンダリング画像は、二次元配列の要素である。
奥行情報取得部204は、三次元ボリュームデータに基づいて三次元空間における所定の視点位置から三次元ボリュームデータまでの長さを示す奥行情報を取得する。具体的には、奥行情報取得部204は、三次元ボリュームデータのうち不透明度が所定の値よりも大きいボクセルを特定し、所定の視点から当該ボクセルまでの距離を算出する。そして、奥行情報取得部204は、算出された距離を視線方向における生体組織までの距離(ボリュームレンダリングにおける視点から表面までの距離)として取得する。
奥行情報取得部204は、三次元ボリュームデータに基づいて三次元空間における所定の視点位置からサーフェイスレンダリング法で表示された神経線維までの長さ(第二の奥行情報)を算出する。
ここで、奥行情報は、例えば、仮想三次元空間において設定した仮想視点位置と、レンダリング画像面の対応する二次元配列の位置とを結ぶ線分を延長し、延長した線分とボリュームデータとが交わる位置を積算することにより求められる。また、奥行情報取得部204は、Zバッファ(デプスバッファ)の値を奥行情報として用いることができる。
表示制御部205は、ボリュームレンダリング画像とサーフェイスレンダリング画像とを重畳表示させるように表示装置110への表示制御を行う。ここで、表示制御部205は、奥行情報取得部204が取得した奥行情報に基づいてサーフェイスレンダリング画像を表示させた後に、ボリュームレンダリング画像をサーフェイスレンダリング画像に対して重畳表示させる。表示制御部205は、当該表示制御により、三次元ボリュームデータの各ボクセルに設定された不透明度の値に依らず、視認性を損なわずに重畳表示させることができる。
次に、図3を用いて、奥行情報取得部204による奥行情報の取得処理について説明する。図3(a)は、不透明度が所定の閾値よりも高い場合の三次元ボリュームデータの奥行情報を示す図である。図3(b)は、不透明度が所定の閾値よりも低い場合の三次元ボリュームデータの奥行情報を示す図である。図3(c)は、神経線維の三次元データの奥行情報を示す図である。図3において、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の距離である。
図3(a)のように、三次元ボリュームデータ301のボクセルの不透明度が所定の閾値よりも高い場合には、奥行情報302は正確に算出される。この場合、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の表面までの距離となる。
次に、図3(b)のように、三次元ボリュームデータ301のボクセルの不透明度が所定の閾値よりも低い場合には、奥行情報302は正確に算出されない。つまり、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の背面までの距離となる。具体的な例として、頭蓋骨および脳細胞のボクセル値に対して、所定の閾値よりも低い不透明度が設定されている場合に、視点の基準位置から頭蓋骨の後頭部までの距離が、奥行情報302として設定される。
次に、図3(c)のように、サーフェイスレンダリングに用いる三次元データの場合には不透明度が存在しない。そのため、奥行情報取得部204は、三次元データの奥行情報(第二の奥行情報)を正確に算出することができる。
ここで、不透明度の所定の閾値について説明する。例えば、所定の閾値が低く設定されすぎた場合には、入力デバイス109等でボリュームレンダリング画像の部位を選択する際の選択精度が低下するおそれがある。そのため、不透明度の所定の閾値を極端に小さくすることは好ましくなく、全ての不透明度において正確に奥行情報を設定可能とすることは困難である。
次に、図4を用いて、奥行情報が図3(b)のように設定された場合であって、表示制御部205が、ボリュームレンダリング画像、サーフェイスレンダリング画像の順に表示制御を行う場合について説明する。図4は、表示装置110に表示されたレンダリング画像の一例である。
この場合に、表示装置110には、生体組織402の内部に存在するはずの神経線維401が、生体組織402の手前側に二次元表示されてしまう。
次に、図5を用いて、奥行情報が図3(b)のように設定された場合であって、表示制御部205が、サーフェイスレンダリング画像、ボリュームレンダリング画像の順に表示制御を行う場合について説明する。図5は、表示装置110に表示されたレンダリング画像の一例である。
この場合に、表示装置110に対し、生体組織502の内部に存在する神経線維501が、生体組織502の内部に正確に表示される。さらに、表示装置110に対して、神経線維501の画像に対して所定の不透明度の生体組織502の画像が重畳表示されている。当該表示制御により、三次元ボリュームデータの各ボクセルに設定された不透明度の値に依らず、視認性が高い重畳表示を行うことができる。 次に、図6を用いて、本実施形態におけるレンダリング画像の表示制御を説明する。なお、以下では説明を容易にするため、ユーザにより三次元表示の視線方向があらかじめ指定されているものとする。
S601において、医用画像処理装置100のサーフェイスレンダリング画像生成部202は、神経線維の三次元データに基づいてサーフェイスレンダリング画像の生成処理を実行する。S601の処理では、サーフェイスレンダリング画像生成部202が、ユーザにより指定された視線方向から神経線維を立体視可能なサーフェイスレンダリング画像をサーフェイスレンダリング法で生成する。サーフェイスレンダリング画像生成部202は、例えば拡散テンソルの固有値をRBGの三原色に割り当てて神経線維の表面の色に設定してもよい。あるいは、サーフェイスレンダリング画像生成部202は、ADC又はFA値を大きいほど赤くするように配色し神経線維の表面の色に設定してもよい。医用画像処理装置100は、S601の処理が終わると、ボリュームレンダリング画像の生成処理へ移行する(S602)
S602において、医用画像処理装置100のボリュームレンダリング画像生成部203が、ユーザにより指定された視線方向から生体組織を立体視可能なボリュームレンダリング画像をボリュームレンダリング法で生成する。医用画像処理装置100は、S602の処理が終了すると、重畳位置の算出処理へ移行する(S603)。
S603において、観察用画像生成部14が、S601の処理で得られた神経線維のサーフェイスレンダリング画像と、S602の処理で得られた画像との重畳位置をボクセルごとに決定する。S603の処理の詳細は、図7を用いて後述する。S603の処理が終了すると、サーフェイスレンダリング画像の表示制御処理へ移行する(S604)。
S604において、医用画像処理装置100の表示制御部205が、S603の処理で決定された位置で、S601の処理において生成したサーフェイスレンダリング画像を表示装置110に表示させる。
S605において、医用画像処理装置100の表示制御部205が、S603の処理で決定された位置で、S602の処理において生成したボリュームレンダリング画像を表示装置110に表示させる。
次に、図7を用いて、図6に示す重畳位置の決定処理について詳細に説明する。
S701において、奥行情報取得部204は、三次元ボリュームデータの奥行情報(第一の奥行情報)を取得する。
S702において、表示制御部205は、第一の奥行情報に基づいてサーフェイスレンダリング画像の表示位置を決定する。具体的には、表示制御部205は、神経線維の三次元データにおける各ボクセル値の奥行情報と、第一の奥行情報とを比較する。表示制御部205は、当該比較結果に基づいて、表示装置110に、サーフェイスレンダリング画像の各ボクセルを表示させるか否かを決定する。表示制御部205は、第一の奥行情報よりもサーフェイスレンダリング画像の各ボクセルの奥行方向の座標が大きい場合に、サーフェイスレンダリング画像のボクセルを表示させると決定する。換言すると、表示制御部205は、所定の視点位置から見て、第一の奥行情報よりも手前側にあると判断した場合に、サーフェイスレンダリング画像のボクセルを表示させると決定する。
S703において、奥行情報取得部204は、サーフェイスレンダリング画像の奥行情報(第二の奥行情報)を取得する。
S704において、表示制御部205は、第二の奥行情報を用いてボリュームレンダリング画像の表示位置を決定する。具体的には、表示制御部205は、第二の奥行情報と、三次元ボリュームデータの各ボクセルの三次元位置を比較する。表示制御部205は、当該比較結果に基づいて、表示装置110に対して、サーフェイスレンダリング画像に対してボリュームレンダリング画像の各ボクセルを表示させるか否かを決定する。表示制御部205は、第二の奥行情報よりもボリュームレンダリング画像の各ボクセルの奥行方向の座標が大きい場合に、ボリュームレンダリング画像のボクセルを重畳表示させると決定する。換言すると、表示制御部205は、所定の視点位置から見て、サーフェイスレンダリング画像よりも手前側にあると判断した場合に、ボリュームレンダリング画像のボクセルを重畳表示させるともいえる。
なお、S602において、ボリュームレンダリング画像生成部203は、第二の奥行情報よりも手前側の三次元ボリュームデータに基づいてボリュームレンダリング画像を生成してもよい。換言すると、ボリュームレンダリング画像生成部203は、第二の奥行情報よりも奥側の三次元ボリュームデータを用いずにボリュームレンダリング画像を生成する。この場合、ボリュームレンダリング画像の生成処理をより高速に行うことができる。
また、本実施形態では、三次元ボリュームデータの内部に存在する神経線維を三次元データとして可視化しているがこれに限られるものではない。例えば、CT装置やMRI装置の三次元ボリュームデータで撮影されていない三次元データをサーフェイスレンダリング画像として重畳させて表現する場合に広く適用することができる。例えば、医用画像処理装置100は、血管にステントを入れた場合の動画表示の場合に、血管の画像に対してステントをサーフェイスレンダリング画像として重畳表示してもよい。あるいは、医用画像処理装置100は、心臓のバイパス手術のシミュレーションとして、心臓の画像に対してバイパスをサーフェイスレンダリング画像として重畳表示してもよい。あるいは、医用画像処理装置100は、血流の動きをシミュレーションする場合に、血管に対して血流の動きをサーフェイスレンダリング画像として重畳表示してもよい。医用画像処理装置100は、内視鏡画像の視野で血管に対して血流の動きをシミュレーションする場合に当該処理を適用してもよい。この場合に、表示制御部205は、ボリュームレンダリング画像生成部203とサーフェイスレンダリング画像生成部202のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、制御を切り替えてもよい。
すなわち、表示制御部205は、所定の条件に応じて、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えるように制御してもよい。
図8を用いて、サーフェイスレンダリング画像とボリュームレンダリング画像の表示順序の切り替え制御について説明する。
S801において、医用画像処理装置100は、三次元医用画像の表示条件を取得する。この場合、医用画像処理装置100は、三次元医用画像の表示条件を取得する条件取得部として機能する。また、当該機能は、外部メモリ111に記録されており、必要に応じてRAM103にロードされることによりCPU101によって実行されるものである。条件取得部は、表示条件として表示モードを取得する。また、当該表示モードは、入力デバイス109により入力される。ここで、表示モードには、予め複数の表示モードが設定可能である。また、それぞれの表示モードは、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれの画像を先に表示させるかを示す情報と対応づけられている。一例として、表示モードが、上述したMRIの神経線維を可視化するモードであれば、サーフェイスレンダリング画像を表示させた後に、ボリュームレンダリング画像を表示させる(以下、第一の表示モード)。一方で、表示モードが、上述した血管の画像に対してステントをサーフェイスレンダリング画像として重畳表示させる場合には、ボリュームレンダリング画像を表示させた後に、サーフェイスレンダリング画像を表示させる(以下、第二の表示モード)。つまり、医用画像処理装置100は、表示モードに基づいてユーザの視線から見て、本来手前にあるべきレンダリング画像を後から表示するように選択的に表示順序を切り替えている。このため、医用画像処理装置100は、条件取得部により取得した表示モードに基づいて、表示制御部205による表示順序を切り替えることが可能となる。
次に、医用画像処理装置100は、S802からS804の処理を実行する。なお、S802からS804は、図6におけるS601からS603に対応する処理である。
S805において、医用画像処理装置100は、取得した表示条件に基づいて、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれが手前にあるかを判定する。医用画像処理装置100は、取得した表示モードが第一の表示モードである場合に、ボリュームレンダリング画像が手前にあると判定するとともに、S806およびS807の処理を実行する。一方で、医用画像処理装置100は、取得した表示モードが第二の表示モードである場合に、サーフェイスレンダリング画像が手前にあると判定するとともに、S808およびS809の処理を実行する。なお、医用画像処理装置100は、第二の表示モードで表示する場合には、サーフェイスレンダリング画像に対して所定の不透明度を設定して表示してもよい。
以上、本実施形態の医用画像処理装置は、異なるレンダリング法でレンダリングされた画像を重畳表示させる際の視認性を向上させることができる。
なお、各実施形態は、コンピュータや制御コンピュータがプログラム(コンピュータプログラム)を実行することによって実現することもできる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータが読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も実施例として適用することができる。また、上記のプログラムも実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、実施形態に基づいて詳述してきたが、これらの特定の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明の範疇に含まれる。さらに、上述した実施形態は一実施の形態を示すものにすぎず、上述した実施形態から容易に想像可能な発明も本発明の範疇に含まれる。
100 医用画像処理装置
201 画像入力部
202 サーフェイスレンダリング画像生成部
203 ボリュームレンダリング画像生成部
204 奥行情報取得部
205 表示制御部

Claims (10)

  1. 医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、
    前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、
    三次元データに基づいてサーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、
    三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、
    前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、
    を有し、
    前記表示制御手段は、前記ボリュームレンダリング手段と前記サーフェイスレンダリング手段のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、前記サーフェイスレンダリング画像と前記ボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えることを特徴とする医用画像処理装置。
  2. 前記表示制御手段は、前記サーフェイスレンダリング手段の生成に用いる前記三次元データにおける各ボクセル値の、前記奥行情報と異なる他の奥行情報と前記奥行情報とを比較した結果に基づいて、前記サーフェイスレンダリング画像の各ボクセルを表示させることを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記サーフェイスレンダリング画像は、前記画像入力部に入力された三次元ボリュームデータを用いて生成された拡散テンソル画像により得られる拡散の異方性に基づいて、神経線維の延在方向を追跡して取得した神経線維を可視化した三次元データに基づいて生成された画像であることを特徴とする請求項1または2に記載の医用画像処理装置。
  4. 前記奥行情報取得手段は、前記所定の視点位置から前記サーフェイスレンダリング画像の三次元位置に対する第二の奥行情報を取得することを特徴とする請求項1から3のいずれか1項に記載の医用画像処理装置。
  5. 前記表示制御手段は、前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記奥行情報取得手段が取得した前記第二の奥行情報に基づいて前記ボリュームレンダリング画像を前記サーフェイスレンダリング画像に対して重畳表示させることを特徴とする請求項4に記載の医用画像処理装置。
  6. 前記ボリュームレンダリング手段は、前記第二の奥行情報よりも手前側の三次元ボリュームデータに基づいてボリュームレンダリング画像を生成することを特徴とする請求項4または5に記載の医用画像処理装置。
  7. 前記ボリュームレンダリング手段は、前記第二の奥行情報よりも奥側の三次元ボリュームデータを用いずにボリュームレンダリング画像を生成することを特徴とする請求項6に記載の医用画像処理装置。
  8. 前記奥行情報取得手段は、前記所定の視点位置から、前記三次元ボリュームデータのボクセルのうち不透明度が所定の値よりも大きいボクセルまでの長さを前記奥行情報として取得することを特徴とする請求項1から7のいずれか1項に記載の医用画像処理装置。
  9. 医用画像処理装置の制御方法であって、
    医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力工程と、
    前記画像入力工程で入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング工程と、
    サーフェイスレンダリング画像を生成するサーフェイスレンダリング工程と、
    前記三次元ボリュームデータに基づいて三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得工程と、
    前記奥行情報取得工程が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御工程と、
    を有し、
    前記表示制御工程は、前記ボリュームレンダリング工程と前記サーフェイスレンダリング工程のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、前記サーフェイスレンダリング画像と前記ボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えることを特徴とする医用画像処理装置の制御方法。
  10. 医用画像処理装置を、
    医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、
    前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、
    サーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、
    前記三次元ボリュームデータに基づいて三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、
    前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、
    して機能させ
    前記表示制御手段は、前記ボリュームレンダリング手段と前記サーフェイスレンダリング手段のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、前記サーフェイスレンダリング画像と前記ボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えることを特徴とするプログラム。
JP2017144061A 2016-11-28 2017-07-26 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム Active JP6933522B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016229665 2016-11-28
JP2016229665 2016-11-28

Publications (2)

Publication Number Publication Date
JP2018089343A JP2018089343A (ja) 2018-06-14
JP6933522B2 true JP6933522B2 (ja) 2021-09-08

Family

ID=62564465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017144061A Active JP6933522B2 (ja) 2016-11-28 2017-07-26 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6933522B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242338B2 (ja) 2019-02-20 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
CN114612461A (zh) * 2022-03-24 2022-06-10 数坤(北京)网络科技股份有限公司 图像处理方法、装置、存储介质及电子设备
KR20240022746A (ko) * 2022-08-12 2024-02-20 주식회사 데카사이트 수술 시뮬레이션을 제공하는 방법 및 장치
CN116721186B (zh) * 2023-08-10 2023-12-01 北京红棉小冰科技有限公司 绘画图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2018089343A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
JP6933522B2 (ja) 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム
Abhari et al. Training for planning tumour resection: augmented reality and human factors
US9870446B2 (en) 3D-volume viewing by controlling sight depth
US9808213B2 (en) Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
Jang et al. Three-dimensional holographic visualization of high-resolution myocardial scar on HoloLens
US10905391B2 (en) Method and system for displaying to a user a transition between a first rendered projection and a second rendered projection
ITUB20155830A1 (it) "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US20160225181A1 (en) Method and apparatus for displaying medical image
JP2023139022A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
EP3230951A1 (en) Feedback for multi-modality auto-registration
US7924295B2 (en) Image processing device for expanded representation of three-dimensional image data sets
Yuan et al. Extended reality for biomedicine
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
US10699424B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium with generation of deformed images
WO2016035312A1 (en) Assistance apparatus for assisting interpretation report creation and method for controlling the same
Rojas et al. Mobile device applications for the visualization of functional connectivity networks and EEG electrodes: iBraiN and iBraiNEEG
JP2012075728A (ja) 医用画像表示装置及びこれを用いた投影像作成方法
JP2012034772A (ja) 画像処理装置
US11633165B2 (en) Image processing apparatus, image processing method, and image processing program
Kim et al. Biomedical image visualization and display technologies
Bohak et al. Neck veins: an interactive 3D visualization of head veins
Mondal et al. Virtual and Augmented Reality Technologies in Molecular and Anatomical Imaging
US11967073B2 (en) Method for displaying a 3D model of a patient
US20240265645A1 (en) Live surgical aid for brain tumor resection using augmented reality and deep learning
Hong et al. Virtual angioscopy based on implicit vasculatures

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180719

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180730

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20200130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6933522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150