JP6095663B2

JP6095663B2 - 三次元画像構成装置及び三次元画像構成方法

Info

Publication number: JP6095663B2
Application number: JP2014528160A
Authority: JP
Inventors: 後藤　良洋; 良洋後藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2012-08-02
Filing date: 2013-07-30
Publication date: 2017-03-15
Anticipated expiration: 2033-07-30
Also published as: CN104427940A; CN104427940B; JPWO2014021301A1; US20150138187A1; WO2014021301A1; US9750473B2

Description

本発明は、医用画像などの三次元画像を表示する三次元画像構成装置等に関するものである。

従来、腎盂(じんう)・尿管・膀胱といった尿路の病変を評価するためには、X線撮影を用いた排泄性尿路造影という検査を行っていた。しかし、X線撮影の情報量よりもCT(Computer Tomography)撮影の情報量の方が多いことから、近年では、CT撮影による検査を行うことが多くなっている。

尿路の病変をCT撮影によって評価する方法として、CT Urographyがある(非特許文献1参照)。非特許文献1に記載されているように、CT Urographyでは、造影剤を投与した直後に撮影を行い、更に、造影剤が尿路に排泄されてから再び撮影を行う。従って、通常のCT撮影よりも、撮影に要する時間が長くなる。このように、造影剤が投与されたり、撮影に要する時間が長くなったりすることは、被検体に大きな負担となる。

そこで、造影剤を使わずに撮影されたデータに対して、画像処理によって尿路の抽出を行い、尿路の三次元画像を表示したい、という要望がある。特定臓器を三次元表示するための臓器抽出処理としては、領域拡張処理(リージョングローイング)が知られている(特許文献1参照)。特許文献1に記載の手法では、領域拡張処理における拡張条件として、局所的濃度変化を考慮した条件と、大域的濃度変化を考慮した条件とを組み合わせて用いて、信頼性が高い領域抽出を実現している。

特許第2845995号公報

http://kompas.hosp.keio.ac.jp/contents/000416.html(2012年4月16日検索)(「慶応義塾大学病院医療・健康情報サイト」記事作成日：2009年2月1日、最終更新日：2011年12月28日)

しかしながら、造影剤を使わずに撮影されたデータでは、尿管のCT値が周辺の臓器のCT値と近いため、領域拡張処理によって正確に抽出することが困難であった。例えば、領域拡張処理では、周辺の臓器の1画素分だけでも尿管と誤判定してしまうと、周辺の臓器全体にまで尿管の領域を拡張してしまう。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、特定領域を容易に観察可能な三次元画像を構成する三次元画像構成装置等を提供することである。

前述した目的を達成するための第1の発明は、所定の起点面における第1の三次元画像を表示する表示部と、前記第1の三次元画像において、第2の三次元画像に関する関心領域の入力を受け付ける入力部と、前記起点面を、第2の三次元画像を構成するための投影線の起点の初期値とし、前記第1の三次元画像と対応するデプス画像に基づいて、前記関心領域内の画素に対する前記投影線の起点を修正し、前記関心領域に対しては、修正後の前記投影線の起点を用いて、前記第2の三次元画像を構成する演算部と、を具備する三次元画像構成装置である。

第2の発明は、表示部が、所定の起点面における第1の三次元画像を表示するステップと、入力部が、前記第1の三次元画像において、第2の三次元画像に関する関心領域の入力を受け付けるステップと、演算部が、前記起点面を、第2の三次元画像を構成するための投影線の起点の初期値とするステップと、演算部が、前記第1の三次元画像と対応するデプス画像に基づいて、前記関心領域内の画素に対する前記投影線の起点を修正するステップと、演算部が、前記関心領域に対しては、修正後の前記投影線の起点を用いて、前記第2の三次元画像を構成するステップと、を実行する三次元画像構成方法である。

本発明により、特定領域を容易に観察可能な三次元画像を構成する三次元画像構成装置等を提供することができる。

三次元画像構成装置のハードウエア構成を示す図第1の実施形態における全体の処理の流れを示すフローチャート三次元画像の構成処理の流れを示すフローチャート起点面の設定処理を説明する図関心領域の入力受付処理を説明する図関心領域の入力受付処理を説明する図三次元画像の構成処理を説明する図三次元画像の構成処理を説明する図三次元画像の構成処理を説明する図処理結果の一例処理結果の一例処理結果の一例関心領域の入力受付処理の第1の変形例を説明する図関心領域の入力受付処理の第1の変形例を説明する図関心領域の入力受付処理の第2の変形例を説明する図関心領域の入力受付処理の第2の変形例を説明する図関心領域の入力受付処理の第3の変形例を説明する図第2の実施形態における全体の処理の流れを示すフローチャート終了条件のパラメータの入力受付処理を説明する図第3の実施形態における三次元画像の構成処理を説明する図第3の実施形態における三次元画像の構成処理を説明する図第3の実施形態における三次元画像の構成処理を説明する図第3の実施形態における三次元画像の構成処理を説明する図

本発明は、特定領域を容易に観察可能な三次元画像を構成する三次元画像構成装置等を提供する。特に、本発明は、造影剤を使わずに撮影されたボリュームデータに対して、周辺臓器と類似の画素値を有する細い対象臓器の観察を容易にするため、操作者によって指定される関心領域に基づいて、視点と対象臓器との間にある周辺臓器を抽出して削除したり、視点より手前に位置する対象臓器を抽出して追加したりすることが可能な三次元画像構成装置等を提供する。以下図面に基づいて、本発明の実施形態を詳細に説明する。

最初に、全ての実施形態について共通する三次元画像構成装置のハードウエア構成を説明する。図1に示すように、三次元画像構成装置1は、演算部2、記憶部3、表示部4及び入力部5等から構成される。

演算部2は、CPU11等によって構成される。記憶部3は、主メモリ15及び磁気ディスク16等によって構成される。表示部4は、表示メモリ17及びディスプレイ18等によって構成される。入力部5は、コントローラ12、マウス13及びキーボード14等によって構成される。

コントローラ12、キーボード14、主メモリ15、磁気ディスク16、表示メモリ17のそれぞれは、データ転送バス19を介してCPU11と信号送受可能に接続される。

CPU11は、データ転送バス19とローカルエリアネットワーク(LAN)21を介して医用画像撮影装置20とも信号送受可能に接続される。コントローラ12にはマウス13が信号送受可能に接続される。表示メモリ17には、ディスプレイ18が信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

CPU11は、コンピュータプログラムを実行し、接続される各要素を制御する。コンピュータプログラムは、後述する処理の実行結果を得ることができるように組み合わされたCPU11に対する指令である。

コントローラ12は、マウス13に設けられるセンサにより得られる位置の変位量データ、マウス13に設けられるボタンスイッチの入力データ等の各種データをCPU11にデータ転送バス19を介して伝達する。マウス13は、操作者によるデータの入力を支援する。操作者がディスプレイ18に表示される画像やラジオスイッチ等のソフトウエアによって作られたスイッチ等にマウス13のカーソルを移動し、その移動先の位置をクリックすると、CPU11に所定の入力データが伝達される。キーボード14は、磁気ディスク16から読み出したい医用画像を特定するためのID情報や、ディスプレイ18に表示される医用画像の診断レポート等、主に文字入力が適当な場合における入力装置である。

主メモリ15は、各種のコンピュータプログラムを磁気ディスク16からロードしたり、CPU11が各種のコンピュータプログラムを実行する時に医用画像データや演算の途中経過を記憶したりする等、CPU11の作業領域として使用される。磁気ディスク16は、各種のコンピュータプログラムを記憶する。また、磁気ディスク16は、医用画像撮影装置20によって撮影された被検体の撮影データを、LAN21及びデータ転送バス19を介して受信し、記憶する。磁気ディスク16は、コンピュータシステムにおける外部記憶装置の一例である。外部記憶装置としては、フレキシブルディスク、光(磁気)ディスク、ZIPメモリ、USBメモリ等、記憶媒体であればあらゆるものを含む。

表示メモリ17は、CPU11の演算結果のうち画面表示するデータを、ディスプレイ18へ信号転送する前に一時記憶する。ディスプレイ18は、表示メモリ17から信号転送された医用画像とそれに付帯する各種情報を表示する。

データ転送バス19は、データ転送バス19に接続される各要素同士間のデータ転送を行う。医用画像撮影装置20は、X線CT装置、MRI装置、超音波装置、シンチレーションカメラ装置、PET装置、SPECT装置等、被検体の断層像を得ることができるものである。LAN21は、医用画像撮影装置20と三次元画像構成装置1とを信号送受可能に接続するものである。尚、LAN21の代わりに、インターネット等公衆回線であってもよい。

前述の説明では、表示部4を構成するディスプレイ18、及び、入力部5を構成するマウス13やキーボード14は、別体としたが、表示部4及び入力部5は、タッチパネル式ディスプレイ等のように一体であっても良い。

＜第1の実施形態＞
図2〜図17を参照しながら、第1の実施形態について説明する。以下では、造影剤を使わずに撮影されたデータに対して、腎臓や尿管の観察を容易にするための三次元画像を構成する例を説明する。特に、元のボリュームデータが、X線CT装置によって撮影される場合を例にして説明する。

視点から投影面への投影法は、視点を面として捉えて、この面から投影面への平行な投影線によって投影する平行投影法を用いる。以下、投影線の起点となる面を「起点面」という。

三次元画像は、サーフェイスレンダリング法によって構成される画像であっても良いし、ボリュームレンダリング法によって構成される画像であっても良いし、デプス法によって構成される画像(以下、「デプス画像」と称する。)であっても良い。デプス法とは、CT画像上の各画素からそれを投影する箇所までの距離に応じて陰影を付ける方法であり、通常はその距離が長い程、陰影を濃く(暗く)する。以下に示すデプス画像の各画素値は、起点面から、閾値条件を満たす特定画素までの距離とする。

また、以下では、目的の画像(＝腎臓や尿管の観察が容易な画像)を構成するための前処理に用いる三次元画像を「第1の三次元画像」とし、目的の画像を「第2の三次元画像」と称する。

図2に示すように、表示部4は、演算部2による制御に従い、被検体のアキシャル面に対して垂直に近い角度の断面におけるMPR(Multi Planar Reconstruction)画像を初期表示する(S1)。

図4(a)では、アキシャル面に垂直なMPR(Multi Planar Reconstruction)画像30aが、ディスプレイ18に表示されている様子を図示している。MPR画像30aでは、腎臓41の断面及び腎臓42の断面が観察可能である。

表示部4は、MPR画像30aとともに、スライドバー31、トレースボタン32、二点指定ボタン33、曲線指定ボタン34、終了ボタン35を、ディスプレイ18に表示する。スライドバー31は、操作者がディスプレイ18に表示される第1の三次元画像の断面を指定するためのバーである。トレースボタン32、二点指定ボタン33及び曲線指定ボタン34は、操作者が関心領域(ROIw)を入力するためのボタンである。各ボタンが押下されたことに対する演算部2の処理の詳細は後述する。終了ボタン35は、操作者が処理の終了を指示するためのボタンである。

前述の説明では、特定臓器の1つが尿管であり、尿管は被検体の体軸方向に沿って伸びる為、S1において表示される画像は、被検体のアキシャル面に対して垂直に近い角度の断面におけるMPR画像とした。特定臓器が尿管でない場合などは、S1において表示される画像は、これに限定されるものではない。また、S1において表示される画像は、MPR画像に限らず、CPR(Curved Planar Reconstruction)画像であっても良い。

図2の説明に戻る。次に、演算部2は、入力部5を介して、スライドバー31による入力を受け付けて、スライドバー31の移動量に応じて、画面の奥行き方向にMPR画像の断面を変更する(S2)。例えば、演算部2は、スライドバー31が上方に移動した場合には画面の手前側に断面を変更し、スライドバー31が下方に移動した場合には画面の奥側に断面を変更する。表示部4は、演算部2による制御に従い、変更後のMPR画像を表示する。

図4(b)では、図4(a)のMPR画像30aの断面と異なる断面におけるMPR画像30bが、ディスプレイ18に表示されている様子を図示している。MPR画像30bでは、腎臓の腹側の端部43が観察可能である。

図2の説明に戻る。次に、演算部2は、変更後のMPR画像の断面を投影線の起点面とし、第1の三次元画像を構成する。表示部4は、演算部2による制御に従い、構成される第1の三次元画像を表示する(S3)。

図5(a)では、図4(b)のMPR画像30bの断面を投影線の起点面とし、画面の奥側に投影線を投影することによって構成された第1の三次元画像30cが、ディスプレイ18に表示されている様子を図示している。前述の通り、MPR画像30bでは、腎臓の腹側の端部43が観察可能なので、第1の三次元画像30cは、投影線を、腎臓の腹側の端部43を通る起点面から、画面の奥側に投影することによって構成されていることになる。

第1の三次元画像30cでは、2つの腎臓の一部が、周辺の臓器(画面の手前側の臓器)に隠れているため、観察できない。また、第1の三次元画像30cでは、尿管44及び尿管45の一部が観察できない。尿管44の一部は、周辺の臓器(画面の手前側の臓器)に隠れているため、観察できない。一方、尿管45の一部は、起点面よりも画面の手前側に位置するため、観察できない。

以下の処理では、腎臓及び尿管を容易に観察可能な第2の三次元画像を構成するため、演算部2は、操作者によって指定される関心領域(ROIw)に基づいて、起点面と腎臓及び尿管との間にある周辺臓器を抽出して削除したり、起点面より手前に位置する尿管を抽出して追加したりする。

図2の説明に戻る。次に、演算部2は、現在表示されている第1の三次元画像の起点面を、第2の三次元画像を構成するための投影線の起点の初期値を定義する起点面として設定する(S4)。演算部2は、投影線ごとに、投影線の起点の初期値を記憶部3に記憶しておく。尚、投影線の数は、投影面の画素数と同一である。

次に、演算部2は、入力部5を介して、第2の三次元画像に関する関心領域(ROIw)の入力を受け付ける(S5)。

図5(b)では、図5(a)の第1の三次元画像30cに対して、関心領域51a、51b、51c、52aが重畳された第1の三次元画像30dが、ディスプレイ18に表示されている様子を図示している。

図5(b)に示す例では、操作者が、入力部5を介して、トレースボタン32を押下し、マウスポインタ40の軌跡を描いた結果、関心領域51a、51b、51c、52aが入力されている。

関心領域51a、51b、51cは、起点面と腎臓及び尿管との間にある周辺臓器を抽出して削除するための領域である。関心領域51a、51b、51cは、例えば、マウス13の左クリックを押しながら、マウスポインタ40の軌跡が描かれている。

関心領域52aは、起点面より手前に位置する尿管を抽出して追加するための領域である。関心領域52aは、例えば、マウス13の右クリックを押しながら、マウスポインタ40の軌跡が描かれている。

尚、図5(b)は、特許図面の制約上、グレースケール画像に変換しているため、関心領域の軌跡が視認し難い。そこで、図6には、関心領域の軌跡とマウスポインタの位置関係のみを図示している。実際には、表示部4は、演算部2の制御に従い、第1の三次元画像の色と異なる色によって、関心領域の軌跡やマウスポインタを表示するので、操作者は、関心領域の軌跡やマウスポインタを容易に視認することができる。

図2の説明に戻る。次に、演算部2は、第2の三次元画像の構成処理を実行する(S6)。第2の三次元画像の構成処理の詳細は、図3に図示されている。

図3に示すように、演算部2は、S5において受け付けられた関心領域に対して、第1の三次元画像に対応するデプス画像を生成する(S11)。演算部2は、表示されている第1の三次元画像がデプス画像であれば、表示されている第1の三次元画像をそのまま用いる。また、演算部2は、第1の三次元画像がデプス画像でなければ、公知の技術によって、第1の三次元画像(サーフェイスレンダリング画像やボリュームレンダリング画像)からデプス画像への変換処理を行う。

次に、演算部2は、関心領域内の画素の中で、第1の三次元画像に対応するデプス画像のデプス勾配が判定値A以下の画素を抽出し、第1画像領域(ROI1)として設定する(S12)。

図7には、関心領域51cと、対応する第1画像領域63が模式的に図示されている。
平面群60は、全てXZ平面と平行である。平面群60の1つである第1の三次元画像30dの断面も、XZ平面と平行である。第2の三次元画像を構成するための投影線は、平面群60のいずれかを起点とし、投影面61上の点を終点とする。関心領域51cは、第1の三次元画像30dの断面上に位置する。対応する第1画像領域63も、S12の時点では、第1の三次元画像30dの断面上に位置する。演算部2は、後述する処理において、第1画像領域63内の画素に対して、第2の三次元画像を構成するための投影線の起点を、平面群60のいずれかの点として、奥行き方向の手前側又は奥側に修正することによって、起点面と腎臓及び尿管との間にある周辺臓器を抽出して削除したり、起点面より手前に位置する尿管を抽出して追加したりすることを実現する。

図8は、第1の三次元画像に対応するデプス画像のデプス勾配を説明するための模式図である。対象画素(m、n)のデプス勾配g(m、n)は、例えば、以下の式によって定義される。

(m−1、n)：対象画素の左隣接画素、(m＋1、n)：対象画素の右隣接画素、(m、n−1)：対象画素の上隣接画素、(m、n＋1)：対象画素の下隣接画素、f(x、z)：起点面から画素(x、z)までの距離、d₀：隣接画素間の距離、である。

図8(a)には、θxが図示されている。図8(b)には、θzが図示されている。尚、図8では、X-Z平面の例を示しているが、他の断面でも同様に計算可能である。

式(1)によって算出されるデプス勾配g(m、n)は、定義から、0≦g(m、n)＜1である。また、投影面と起点面が平行な場合、対象画素(m、n)の近傍が平坦領域であれば、デプス勾配g(m、n)は0に近い値となり、対象画素(m、n)の近傍が凹凸領域であれば、デプス勾配g(m、n)は1に近い値となる。

前述のS12において、第1画像領域(ROI1)として抽出したい画素は、周辺臓器が切断された平坦な領域に属する画素である。従って、演算部2は、デプス勾配が判定値A以下の画素を、第1画像領域(ROI1)として抽出するものとし、S12における判定値Aを0に近い値とすることが望ましい。

図3の説明に戻る。次に、演算部2は、第1画像領域(ROI1)内の画素について、投影線の起点を移動量Bだけ投影線方向に奥側又は手前側に移動する(S13)。演算部2は、記憶部3に記憶されている画素ごとの投影線の起点を、移動後の位置に更新する。
尚、投影線の起点が更新される画素は、第1画像領域(ROI1)内の画素のみである。

次に、演算部2は、投影線の起点が限界位置まで移動したか否かを確認する(S14)。限界位置は、例えば、元のボリュームデータが存在しない位置や、予め設定される限界移動量＝移動量B×限界移動回数、を超える位置等である。

投影線の起点が限界位置まで移動した場合(S14のYes)、演算部2は、処理を終了する。この場合、第2の三次元画像は構成されない。

投影線の起点が限界位置まで移動していない場合(S14のNo)、演算部2は、第1画像領域(ROI1)に対して、移動後の投影線の起点に基づくデプス画像を構成する(S15)。

次に、演算部2は、第1画像領域(ROI1)内の画素の中で、移動後の投影線の起点に基づくデプス画像のデプス勾配が判定値C以下の画素を抽出し、第2画像領域(ROI2)として設定する(S16)。

次に、演算部2は、終了条件を満たすか否かを確認する(S17)。第1画像領域(ROI1)の面積(画素数と同義)をS1、第2画像領域(ROI2)の面積をS2とする。終了条件の1つ目の例は、「100×S1／S2＜判定値D」(但し、Dは100以下の値)である。これは、第1画像領域(ROI1)の面積S1を第2画像領域(ROI2)の面積S2で除した値が、1以下の一定値未満となることを意味する。

また、終了条件の2つ目の例は、「S2＜判定値E」である。これは、第2画像領域(ROI2)の面積が一定値未満となることを意味する。

2つ目の例の終了条件によれば、例えば、図9(a)に示すように、関心領域67aにおいて、特定臓器64の手前側に周辺臓器65aが位置する場合、図9(b)に示す点線68aの位置において、投影線の起点の移動が終了する。そして、関心領域67aにおいては、演算部2は、例えば、点線68aを少し投影方向にずらした実線69aを、第2の三次元画像に用いる投影線の起点とすることによって、起点面66と特定臓器64との間にある周辺臓器65aを抽出して削除することを実現できる。

また、例えば、図9(a)に示すように、関心領域67bにおいて、特定臓器64が起点面66の手前に位置する場合、図9(b)に示す点線68bの位置において、投影線の起点の移動が終了する。そして、関心領域67bにおいては、演算部2は、例えば、点線68bを少し投影方向と反対の方向にずらした実線69bを、第2の三次元画像に用いる投影線の起点とすることによって、起点面66より手前に位置する特定臓器64を抽出して追加することを実現できる。

図3の説明に戻る。S17において、終了条件を満たさない場合(S17のNo)、演算部2は、第2の画像領域(ROI2)を、第1の画像領域(ROI1)として設定し(S18)、S13の処理から繰り返す。終了条件を満たす場合(S17のYes)、演算部2は、記憶部3に記憶されている移動後の投影線の起点に基づいて、第2の三次元画像を構成する(S19)。S19での処理は、公知の三次元画像構成手法を用いれば良い。

前述の処理によって、投影線の起点は投影線毎に適切な位置に設定されているため、演算部2は、目的の画像(＝腎臓や尿管の観察が容易になる画像)を構成することができる。

図2の説明に戻る。表示部4は、演算部2による制御に従い、S6において生成される第2の三次元画像を表示する(S7)。操作者は、第2の三次元画像を読影することによって、腎臓や尿管を容易に観察することができる。

図10では、図5(b)の第1の三次元画像30dにおいて入力された関心領域51a、51b、51c、52aに基づいて構成された第2の三次元画像30eが、ディスプレイ18に表示されている様子を図示している。

関心領域51aでは、腎臓の手前側に位置し、腎臓を遮っていた周辺臓器のほとんどが削除され、腎臓を容易に観察することができるようになっている。また、関心領域51bでは、尿管の手前側に位置し、尿管を遮っていた周辺臓器の一部が削除されている。また、関心領域51cでは、腎臓の手前側に位置し、腎臓を遮っていた周辺臓器のほとんどが削除され、腎臓を容易に観察することができるようになっている。また、関心領域52aでは、起点面より手前に位置していた尿管が追加され、尿管を容易に観察することができるようになっている。第2の三次元画像30eは、少なくとも、関心領域51a、51c、52aでは、腎臓や尿管を容易に観察することができる。

図11(a)では、オパシティ(不透明度)を使用した第1の三次元画像30fが、ディスプレイ18に表示されている様子を図示している。第1の三次元画像30fには、第1の三次元画像30dと同様の位置に、関心領域51a、51b、51c、52aが重畳されている。

図11(b)では、図11(a)の第1の三次元画像30fにおいて入力された関心領域51a、51b、51c、52aに基づいて構成された第2の三次元画像30gが、ディスプレイ18に表示されている様子を図示している。第2の三次元画像30gも、オパシティ(不透明度)を使用している。第2の三次元画像30gも、少なくとも、関心領域51a、51c、52aでは、腎臓や尿管を容易に観察することができる。

図12には、任意のアキシャル面における修正後の投影線の起点の軌跡71とデプス位置72が、ディスプレイ18に表示されている様子を図示している。尚、図12は、特許図面の制約上、グレースケール画像に変換しているため、修正後の投影線の起点の軌跡71やデプス位置72が視認し難い。そこで、図12では、少なくとも、修正後の投影線の起点の軌跡71を視認し易いように、修正後の投影線の起点の軌跡71を白の太線によってトレースしている。実際には、第2の三次元画像の色と異なる色によって、修正後の投影線の起点の軌跡やデプス位置を表示するので、操作者は、修正後の投影線の起点の軌跡やデプス位置を容易に視認することができる。

＜第1の変形例＞
図13、図14を参照しながら、関心領域の入力受付処理の第1の変形例を説明する。
第1の変形例では、2点の座標の指定を受け付けることによって、関心領域の入力を受け付ける。演算部2は、指定される2点の座標に基づいて、関心領域の位置を特定するとともに、関心領域内の画素について、投影線の起点が移動すべき位置を特定する。

図13(a)に示す例では、第1の三次元画像30ｈに対して、操作者が、入力部5を介して、二点指定ボタン33を押下し、マウスポインタ40を所望の位置で2回クリックした結果、座標53a及び座標53bが入力されている。

図13(a)に示す例では、座標53a及び座標53bは、対象臓器の尿管を特定している。座標53aと座標53bの間には、尿管の手前側に周辺臓器が存在し、尿管を遮っている。第1の変形例では、演算部2は、この周辺臓器を削除し、尿管の観察が容易な第2の三次元画像を構成する。

演算部2は、入力された座標53a及び座標53bに基づいて、図13(b)の第1の三次元画像30ｉに示されている矩形54を設定する。矩形54が、関心領域(ROIw)である。矩形54の設定処理の詳細は、図14に図示されている。

図14に示すように、演算部2は、入力された座標53aと座標53bとを結ぶ線分73の長さを、矩形54の長手方向の幅74とする。次に、演算部2は、長手方向の幅74に対する一定の割合(100％未満)の長さを、矩形54の長手方向と直交する方向の幅75とする。そして、演算部2は、線分73に対して線対称となるように、矩形54の位置を決定する。

次に、演算部2は、座標53a及び座標53bのデプス値を参照し、座標53a及び座標53bのデプス値よりも手前側の位置に、矩形54内の画素に対する投影線の起点を修正し、記憶部3に記憶する。

演算部2は、例えば、投影線の起点の修正位置を、座標53aのデプス値に対して手前側に一定値(マージン)を与えた位置と、座標53bのデプス値に対して手前側に一定値(マージン)を与えた位置とを通る平面上とする。この場合、座標53aのデプス値と座標53bのデプス値が異なれば、矩形54内の画素に対する投影線の起点は、画素毎に投影面からの距離が異なる。

また、演算部2は、例えば、投影線の起点の修正位置を、座標53aのデプス値と座標53bのデプス値の大きい方の値に対して手前側に一定値(マージン)を与えた位置とする。この場合、矩形54内の画素に対する投影線の起点は、全て投影面から等しい距離となる。

以上の処理によって、投影線の起点は投影線毎に適切な位置に設定されているため、演算部2は、尿管を遮る周辺臓器を削除し、目的の画像(＝尿管の観察が容易になる画像)を構成することができる。

＜第2の変形例＞
図15、図16を参照しながら、関心領域の入力受付処理の第2の変形例を説明する。
第2の変形例では、2本の曲線の指定を受け付けることによって、関心領域の入力を受け付ける。演算部2は、指定される2本の軌跡に基づいて、関心領域の位置を特定するとともに、関心領域内の画素について、投影線の起点が移動すべき位置を特定する。

図15(a)に示す例では、第1の三次元画像30ｊに対して、操作者が、入力部5を介して、曲線指定ボタン34を押下し、マウスポインタ40の軌跡を4回描いた結果、曲線55a、曲線55b、曲線55c及び曲線55dが入力されている。ここで、曲線55a及び曲線55bが、第1の関心領域(ROIw1)を指定するための2本の曲線の組である。同様に、曲線55c及び曲線55dが、第2の関心領域(ROIw2)を指定するための2本の曲線の組である。

図15(a)に示す例では、曲線55a及び曲線55bは、対象臓器の腎臓を遮る周辺臓器の外枠を特定している。第2の変形例では、演算部2は、この周辺臓器を削除し、腎臓の観察が容易な第2の三次元画像を構成する。

また、図15(a)に示す例では、曲線55c及び曲線55dは、対象臓器の尿管を遮る周辺臓器の外枠を特定している。第2の変形例では、演算部2は、この周辺臓器を削除し、尿管の観察が容易な第2の三次元画像を構成する。

演算部2は、関心領域(ROIw)を2本の曲線に挟まれる領域に限定する限定モード、又は、関心領域(ROIw)を2本の曲線の重心を中心点とする一定半径の円領域にまで延長した延長モード、のいずれかのモードによって、関心領域(ROIw)を設定する。曲線55a及び曲線55bによって指定される斜線領域56aは、限定モードである。
曲線55c及び曲線55dによって指定される斜線領域56bは、延長モードである。

演算部2は、入力された曲線55a及び曲線55bに基づいて、図15(b)に示す斜線領域56aを設定する。斜線領域56aが、第1の関心領域(ROIw1)である。演算部2は、限定モードによって、入力された曲線55a及び曲線55bに挟まれる領域を、斜線領域56aとする。

また、演算部2は、入力された曲線55c及び曲線55dに基づいて、図15(b)に示す斜線領域56bを設定する。斜線領域56bが、第2の関心領域(ROIw2)である。演算部2は、延長モードによって、入力された曲線55a及び曲線55bの重心を中心点とする一定半径の円領域にまで延長した領域を、斜線領域56bとする。

尚、図15(b)は、特許図面の制約上、グレースケール画像に変換しているため、曲線の軌跡や斜線領域が視認し難い。そこで、図16には、曲線の軌跡や斜線領域の位置関係のみを図示している。実際には、表示部4は、演算部2の制御に従い、第1の三次元画像の色と異なる色によって、曲線の軌跡や斜線領域を表示するので、操作者は、曲線の軌跡や斜線領域を容易に視認することができる。

次に、演算部2は、曲線55a及び曲線55b上のデプス値を参照し、曲線55a及び曲線55b上のデプス値の位置又はデプス値に一定値(マージン)を与えた位置に、矩形54内の画素に対する投影線の起点を修正し、記憶部3に記憶する。尚、一定値(マージン)は、プラスの値でも良いし、マイナスの値でも良い。

演算部2は、例えば、投影線の起点の移動位置を、曲線55a上のデプス値の位置又はデプス値に一定値(マージン)を与えた位置と、曲線55b上のデプス値の位置又はデプス値に一定値(マージン)を与えた位置とを通る曲面上とする。この場合、曲線55a上のデプス値と曲線55b上のデプス値が異なれば、斜線領域56a内の画素に対する投影線の起点は、投影線毎に投影面からの距離が異なる。

同様に、演算部2は、例えば、投影線の起点の移動位置を、曲線55c上のデプス値の位置又はデプス値に一定値(マージン)を与えた位置と、曲線55d上のデプス値の位置又はデプス値に一定値(マージン)を与えた位置とを通る曲面上とする。この場合、曲線55c上のデプス値と曲線55d上のデプス値が異なれば、斜線領域56b内の画素に対する投影線の起点は、投影線毎に投影面からの距離が異なる。

以上の処理によって、投影線の起点は投影線毎に適切な位置に設定されているため、演算部2は、腎臓や尿管を遮る周辺臓器を削除し、目的の画像(＝腎臓や尿管の観察が容易になる画像)を構成することができる。

尚、前述の説明では、2本の曲線が入力されるものとしたが、1本の閉曲線が入力されるものとしても良い。これは、演算部2は、入力される1本の閉曲線を2分することによって、2本の曲線を特定できるからである。つまり、演算部2が、2本の曲線に基づいて関心領域の入力を受け付ける場合、操作者は、2本の曲線を入力しても良いし、1本の閉曲線を入力しても良い。

＜第3の変形例＞
図17を参照しながら、関心領域の入力受付処理の第3の変形例を説明する。第3の変形例では、操作者が、入力部5を介して、マウスポインタ40の軌跡を描く際、デプス値が不連続な箇所では軌跡の入力を中断可能とする。

図17の第1の三次元画像30ｌに示すように、操作者は、最初に、トレースボタン36を押下し、マウスポインタ40を座標p1に移動し、例えば、左クリックを押しながら、座標p2までマウスポインタ40をドラッグする。これに対して、演算部2は、座標p1を始点、座標p2を終点とする曲線51dを設定する。

次に、操作者は、ジャンプボタン47を押下し、マウスポインタ40を座標p3に移動し、例えば、左クリックを押しながら、座標p4までマウスポインタ40をドラッグする。これに対して、演算部2は、座標p3を始点、座標p4を終点とする曲線51eを設定する。

演算部2は、曲線51d及び曲線51e上の点については、対応するデプス画像のデプス値を参照し、投影線の起点の修正処理を実行する。一方、演算部2は、座標p2から座標p3までの間の点については、座標p2及び座標p3のデプス値によって補間された値を参照し、投影線の起点の修正処理を実行する。

第3の変形例を、第2の変形例に適用すれば、操作者は、削除したい周辺臓器のデプス値を参照しないように指示することができるので、演算部2は、投影線の起点を投影線毎に適切な位置に設定することができる。ひいては、演算部2は、腎臓を遮る周辺臓器を削除し、目的の画像(＝腎臓の観察が容易になる画像)を構成することができる。

＜第2の実施形態＞
図18、図19を参照しながら、第2の実施形態について説明する。第2の実施形態では、第1の実施形態において第2の三次元画像が構成されないケースを極力回避することができる。つまり、第2の実施形態では、図3のS14において、投影線の起点が限界位置まで移動した場合(S14のYes)には、演算部2は、終了条件を変更して第2の三次元画像の構成処理を繰り返す。

図18に示すように、演算部2は、入力部5を介して、第2の三次元画像の構成処理に関する終了条件の初期値、加算値及び最高値の入力を受け付ける(S21)。

図19には、第1の三次元画像30mとともに、初期値入力ボックス39a、加算値入力ボックス39b及び最高値入力ボックス39cが、ディスプレイ18に表示されている様子を図示している。

操作者は、初期値入力ボックス39a、加算値入力ボックス39b及び最高値入力ボックス39cのそれぞれに対して、入力部5を介して、所望の初期値、加算値及び最高値を入力する。演算部2は、初期値入力ボックス39a、加算値入力ボックス39b及び最高値入力ボックス39cのそれぞれに入力された値を用いて、後続の処理を実行する。

図18の説明に戻る。次に、演算部2は、終了条件の判定値Fに、S21において入力される初期値を設定し(S22)、図2のS1〜S5を実行し(S23)、図3に示す第2の三次元画像の構成処理を実行する(S24)。ここで、終了条件の判定値Fは、第1の実施形態における判定値D又は判定値Eである。

次に、演算部2は、第2の三次元画像の構成処理において、終了条件を満たしたか否かを確認する(S25)。終了条件を満たした場合(S25のYes)、第2の三次元画像が構成されていることになるので、演算部2は、第2の三次元画像を表示する(S26)。

終了条件を満たしていない場合(S25のNo)、演算部2は、終了条件の判定値Fから、S21において入力される加算値を加算する(S27)。

次に、演算部2は、終了条件の判定値Fが、S21において入力される最高値以下か否かを確認する(S28)。終了条件の判定値Fが、最高値以下の場合(S28のYes)、演算部2は、S24から処理を繰り返す。終了条件の判定値Fが、最高値より大きい場合(S28のNo)、表示部4は、演算部2による制御に従い、“最高値を引き上げて下さい。”のメッセージを表示する(S29)。この場合、S21から処理を繰り返すことになる。

以上、第2の実施形態によれば、第1の実施形態において第2の三次元画像が構成されないケースを極力回避することができる。

＜第3の実施形態＞
図20〜図23を参照しながら、第3の実施形態について説明する。第3の実施形態は、投影線の起点の修正処理の詳細を示している。第3の実施形態では、投影線の起点を修正していく過程において、削除したい周辺臓器が、起点面から離れるにつれて大きくなる場合に有効である。第2の実施形態では、演算部2は、起点線83上の点Pを中心とし、一定の半径Rの円84の画素を放射状に走査していく。

以下では、アキシャル面毎に、演算部2の処理を考える。図20に示すように、起点面81とアキシャル面82との交線(白の太線)が、このアキシャル面82において処理対象となる起点線83である。演算部2は、起点線83上に位置する閾値条件を満たす点Pに対して、投影線の起点の修正処理を実行する。ここでの閾値条件は、臓器と空気とを区別できる程度の条件であり、臓器に属する画素値であれば、閾値条件を満たすものとする。

具体的には、図21に示すように、演算部2は、点Pを通って起点線83と直交する基準線85を中心とし、特定角度範囲86内の方向に放射状に画素を走査していく。そして、演算部2は、前述の閾値条件を満たさない画素(＝臓器に属さない画素)があれば、その位置を、投影線の起点とする。演算部2は、この処理を、起点線83上に位置する閾値条件を満たす点Pの全てに対して実行することによって、削除したい周辺臓器と対象臓器との間に、投影線の起点を設定することができる。

図22では、演算部2が、起点線83と直交する方向にのみ画素を走査した場合を示している。図22(a)の例では、対象臓器91と周辺臓器92との間に、投影線の起点を設定することが目的である。

太線87は、操作者によって設定される関心領域とアキシャル面との交線である。操作者は、表示部4によって表示されている第1の三次元画像のみを視認しながら、削除したい周辺臓器92の領域の周辺をトレースするので、関心領域は、図22(a)に示すような位置になる。演算部2は、点P1から点P2までの太線87上の各点に対して、起点線83と直交する方向に画素を走査し、投影線の起点を修正する。

図22(b)には、投影線の起点の修正結果が示されている。関心領域内は、投影線の起点が修正され、太線89bの位置となる。一方、関心領域外は、投影線の起点が修正されないことから、投影線の起点は初期値のままであり、太線89a及び太線89cの位置となる。これでは、太線89a及び太線89cの位置において、対象臓器91が周辺臓器92に遮られたままである。

一方、図23では、演算部2が、起点線83上の点Pを中心とする一定の半径Rの円84の画素を放射状に走査した場合を示している。図23(a)の例でも、図22(a)の例と同様に、対象臓器91と周辺臓器92との間に、投影線の起点を設定することが目的である。

図22(a)と同様、太線87は、操作者によって設定される関心領域とアキシャル面との交線である。演算部2は、点P1から点P2までの太線87上の各点を中心とする一定の半径Rの円84の画素を放射状に走査し、投影線の起点を修正する。

図23(b)には、投影線の起点の修正結果が示されている。関心領域内の点に基づいて投影線の起点が修正された結果は、太線89eの位置である。それ以外は、太線89d及び太線89fの位置である。この場合であれば、対象臓器91は、周辺臓器92に遮られず、観察が可能となる。

以上、添付図面を参照しながら、本発明に係る三次元画像構成装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

1 三次元画像構成装置、2 演算部、3 記憶部、4 表示部、5 入力部

Claims

所定の起点面における第1の三次元画像を表示する表示部と、
前記第1の三次元画像において、第2の三次元画像に関する関心領域の入力を受け付ける入力部と、
前記起点面を、第2の三次元画像を構成するための投影線の起点の初期値とし、前記第1の三次元画像と対応するデプス画像に基づいて、前記関心領域内の画素に対する前記投影線の起点を修正し、前記関心領域に対しては、修正後の前記投影線の起点を用いて、前記第2の三次元画像を構成する演算部と、を具備する三次元画像構成装置。
前記演算部は、
前記関心領域内において、前記デプス画像のデプス勾配に基づいて第1画像領域を抽出し、
繰り返し処理の第1ステップとして、前記第1画像領域の画素に対する前記投影線の起点を、一定の距離だけ投影方向又は前記投影方向と反対の方向に修正して、修正後の前記投影線の起点を記憶部に記憶し、
繰り返し処理の第2ステップとして、前記第1画像領域において、修正後の前記投影線の起点に基づく前記デプス画像のデプス勾配に基づいて第2画像領域を抽出し、
繰り返し処理の第3ステップとして、前記第2画像領域が終了条件を満たすか否かを判定し、
前記終了条件を満たさなければ、前記第2画像領域を新たな前記第1画像領域とし、前記終了条件を満たすまで前記第1ステップから前記第3ステップを繰り返し、
前記終了条件を満たしたら、前記関心領域に対しては、前記記憶部に記憶されている修正後の前記投影線の起点を用いて、前記第2の三次元画像を構成する請求項1に記載の三次元画像構成装置。
前記終了条件は、前記第1画像領域の面積及び前記第2画像領域の面積に基づくものである請求項2に記載の三次元画像構成装置。
前記終了条件は、前記第2画像領域の面積のみに基づくものである請求項2に記載の三次元画像構成装置。
前記演算部は、修正後の前記投影線の起点が限界位置を超える場合には、前記終了条件の判定値を変更する請求項2に記載の三次元画像構成装置。
前記入力部は、前記表示部に表示される前記第1の三次元画像における2点の座標の入力を受け付け、
前記演算部は、前記2点の座標の位置に基づいて前記関心領域を決定し、前記2点の座標における前記デプス画像の画素値に基づいて、前記関心領域内の画素に対する前記投影線の起点を修正する請求項1に記載の三次元画像構成装置。
前記入力部は、前記表示部に表示される前記第1の三次元画像における2本の曲線の入力を受け付け、
前記演算部は、前記2本の曲線の位置に基づいて前記関心領域を決定し、前記2本の曲線における前記デプス画像の画素値に基づいて、前記関心領域内の画素に対する前記投影線の起点を修正する請求項1に記載の三次元画像構成装置。
前記演算部は、前記関心領域を、前記2本の曲線によって挟まれる領域に限定する限定モードと、前記関心領域を、前記2本の曲線によって挟まれる領域の外まで延長する延長モードと、のいずれかによって、前記関心領域を決定する請求項7に記載の三次元画像構成装置。
前記入力部は、前記曲線のトレース入力を受け付けている間、前記トレース入力の中断及び再開を受け付け、
前記演算部は、前記トレース入力の中断位置から再開位置までの間の画素に関する前記デプス画像の画素値については、前記中断位置における前記デプス画像の画素値及び前記再開位置における前記デプス画像の画素値によって補間する請求項7に記載の三次元画像構成装置。
前記表示部は、断層像に重ねて修正後の前記投影線の起点の位置を表示する請求項1に記載の三次元画像構成装置。
前記表示部は、断層像に重ねて前記デプス画像のデプス位置を表示する請求項1に記載の三次元画像構成装置。
表示部が、所定の起点面における第1の三次元画像を表示するステップと、
入力部が、前記第1の三次元画像において、第2の三次元画像に関する関心領域の入力を受け付けるステップと、
演算部が、前記起点面を、第2の三次元画像を構成するための投影線の起点の初期値とするステップと、
演算部が、前記第1の三次元画像と対応するデプス画像に基づいて、前記関心領域内の画素に対する前記投影線の起点を修正するステップと、
演算部が、前記関心領域に対しては、修正後の前記投影線の起点を用いて、前記第2の三次元画像を構成するステップと、を実行する三次元画像構成方法。