JP4609967B2 - 画像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は医用画像を表示する画像表示装置に係り、特に血管、腸、胃、骨等の観察対象の芯線に対する曲率を表示する画像表示装置に関する。
【０００２】
【従来の技術】
一般に医用画像には、Ｘ線ＣＴ装置、ＭＲＩ装置（三次元計測するＭＲＩも含む）、超音波診断装置、三次元計測のできるコーンビームＣＴ装置などの各種モダリティ毎にＸ線ＣＴ画像やＭＲＩ画像、超音波断層像等の種々の画像があり、三次元計測で得たデータから再構成した画像はボリューム画像といわれている。
従来ボリューム画像から得た観察対象の芯線に対する曲率を計算する場合には、芯線を形成する点間のベクトルから求めることが一般的に行われている。
【０００３】
しかし、前記曲率演算手段では、芯線を形成する点の間隔の取り方によって、いかようにも曲率を算出するためのベクトルが変わってしまうため、ことに曲率は局所的、大局的に係わらず、その地点では普遍の値を持つべきである。
また、ベクトルの大きさが小さくなるように視点の間隔を狭くとったとしても、そのベクトルの大きさに依存した曲率演算手段でなければ、曲率が一様に定まらない。
【０００４】
一方観察対象の内部を内視鏡で見たような画像（以下、内視鏡的画像という）を得るためには、視点を観察対象の内部に設定することができる中心投影法という手法があり、この内視鏡的画像を得る中心投影法は、特開平７−２１０７０４号公報、及び特開平８−１６８１３号公報に記載されている。
そして、中心投影法における視点位置及び視点方向を適宜更新することにより内視鏡的な動きを模擬した投影像を得ることができる。
【０００５】
なお、視点位置及び視点方向の更新は、マウス等の入力手段をマニュアル操作することによって行う場合と、視線方向が画面中の最も暗い位置に向かうように順次自動的に更新させる場合とがあり、この方法によって得られた視点情報を用いて、観察対象に沿った曲面で縦切りにした断面像を表示し、どこの対象領域が表示されているか、また対象領域のどの位置からどの方向を観察しているかを把握することができると共に、この方法は特願平１０−５６９７７号公報に記載されている。
【０００６】
【発明が解決しようとする課題】
一方前記複数の断面画像上の視点を、断面画像に表示されている観察対象の中心に移動させることによって三次元的に視点を観察対象の中心に移動させることができ、また視点を観察対象の中心に移動させる第２の手段として、前記中心投影法で得られる内視鏡的画像の観察対象のエッジから形状を推定して、視点を観察対象の中心に移動することもできる。
【０００７】
また、観察対象の芯線の点を求める第２の手段として、観察対象を２値化し、細線化処理することによって細線上の点情報を得る方法がある。
それら視点を通る曲面上の断面像において、視点を結ぶ経路に接する円から曲率を算出し、あらゆる角度から観察した断面像上の曲率を三次元的なグラフで示すことによって、複数の経路の詳細な曲率情報を容易に把握することができると共に、観察対象の芯線に接する球から曲率を算出し、三次元的な芯線の位置の曲率をグラフに示すことによって全体的な経路の曲率情報も容易に把握することができるようになる。
【０００８】
本発明は、このような事情に鑑みてなされたもので、曲率を求めるための根幹をなす観察対象の芯線の点を求める第１の手段として、視点と投影面とを与え、視点と投影面の間に存在する原画像（複数の断層像）を、その投影面から見たように投影する投影法を用いることにより、視点を結ぶ経路に接する円から曲率を算出し、あらゆる角度から観察した断面像上の曲率を三次元的なグラフで示すことによって、複数の経路の詳細な曲率情報を容易に把握することができ、かつ観察対象の芯線に接する球から曲率を算出し、三次元的な芯線の位置の曲率をグラフに示すことによって全体的な経路の曲率情報も容易に把握することができる画像表示装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像表示装置は、三次元の原画像の観察対象を表示する手段を備えた三次元画像表示装置であって、三次元表示手段によって表示された観察対象の芯線に対する曲率を算出する曲率演算手段と、前記観察対象の画像上の所定の位置の曲率を表示する曲率表示手段と、前記観察対象の画像上の位置を複数指定し、それら複数の位置の曲率を、同時または交互に前記曲率表示手段に表示制御する手段と、前記曲率表示手段に表示された複数の曲率と対応する前記観察対象の画像の位置情報を表示する曲率位置表示手段より構成したものである。
【００１０】
前記構成により、三次元画像表示手段によって表示される画像は、ワイヤーフレーム法、サーフェイス法、ボクセル法を問わず、形状が確認できる画像であればどれでも構わないと共に、その画像上の位置をポイントすることでその位置の曲率を求めて、その値を表示することができる。
また、画像上に複数点、設定することでそれら複数の点を結ぶ経路の曲率を同時または交互に表示することができると共に、前記曲率を示すグラフ上をポイントすることでその曲率が示す観察対象の画像の位置を表示できる上、前記の曲率及び曲率位置を同時に表示することもできる。
【００１１】
前記目的を達成するために、本発明の画像表示装置は、三次元の原画像に含まれる観察対象内部を表示する三次元画像表示装置あって、複数の断層像を積み上げた三次元の原画像に含まれる観察対象の内部に、複数の視点を設定する視点設定手段と、前記視点設定手段によって設定された複数の視点を通る曲面を切断面として設定する切断面設定手段と、前記視点設定手段によって設定された複数の視点を観察対象内部に移動させる視点移動設定手段と、前記視点移動設定手段によって設定された切断面上の複数点を結んだ経路に対して、経路に接する円から曲率を算出する算出手段とより構成したものである。
【００１２】
前記構成により、視点設定手段によって設定される複数の視点に対して、中心投影法において使用された各視点を記憶し、その記憶した視点をそのまま使用することができると共に、切断面設定手段は前記設定された複数の視点を通る曲面を切断面として設定し、画像構成手段は前記設定された曲面で切断された原画像の断面像を構成することから、得られる断面像は、血管等の観察対象を観察対象に沿って縦切りにした断面像となる。
【００１３】
また前記切断面としての曲面は、それぞれ切断方向の異なる複数の曲面で観察対象を縦切りにした断面像を表示することから、例えば、切断方向が０度〜３６０度の範囲内で等角度ずつ（以下、切断角度という）変化する複数の曲面を設定することにより、血管等の観察対象の内部を０度〜３６０度にわたって観察することができるようになる。
【００１４】
さらに前記視点移動設定手段によって設定される視点は、複数の切断面上に表示されている視点を観察対象の中心に移動することによって、三次元的な位置に設定されると共に、前記中心投影法によって得られる内視鏡的画像から観察対象の中心位置を推定することによって、三次元的な位置に視点に設定させることもできる上、これら視点を通る切断面上の経路に対して経路に接する円を設定し、それから曲率を算出することができるようになる。
【００１５】
前記目的を達成するために、本発明の画像表示装置は、三次元の原画像に含まれる観察対象内部を表示する三次元画像表示装置であって、２値化された観察対象を細線化処理する細線化手段と、前記細線化手段によって得られた細線の交差点情報または分岐点情報を算出する算出手段と、前記細線化手段によって得られた細線上の点情報を通る曲面を切断面として設定する切断面設定手段と、前記視点移動設定手段によって設定された切断面上の複数点を結んだ経路に対して、経路に接する円を設定し、それから曲率を算出する演算手段とより構成したものである。
【００１６】
前記構成により、細線化手段によって得られた細線上の点情報を通る曲面を切断面とし、その切断面上の複数点を結んだ経路に対して、経路に接する円から曲率を算出することができる。
【００１７】
前記目的を達成するために、本発明の画像表示装置は、三次元の原画像に含まれる観察対象内部を表示する三次元画像表示装置であって、三次元の原画像に含まれる観察対象外部から観察対象を表示する表示手段と、複数の視点を設定する視点設定手段と、前記視点設定手段によって設定された複数の視点を観察対象内部の中心に移動させる視点移動設定手段と、前記表示手段において２値化された観察対象を細線化処理する細線化手段と、前記細線化手段又は視点移動設定手段によって、設定された三次元的な視点経路に接する球から曲率を算出する演算手段とより構成したものである。
【００１８】
前記構成により、細線化手段によって得られた細線上の点情報を通る曲面を切断面とし、その切断面上の複数点を結んだ経路に対して、経路に接する円から曲率を算出することができる。
【００１９】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像表示装置の好ましい実施の形態について詳述する。
図１は本発明に係る画像表示装置の構成図、図２は画像表示装置によって表示される表示例を示している。
【００２０】
図１に示すように、この画像表示装置は、主として磁気ディスク１と、主メモリ２と、中央処理装置（ＣＰＵ）３と、表示メモリ４と、ＣＲＴモニタ５と、各種の操作指令、位置指令、メニュー選択指令を入力するためのキーボード６、マウス７、マウスコントローラ８と、これらの各構成要素を接続する共通バス９とから構成されている。
【００２１】
磁気ディスク１には、複数のＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）が積み上げられた三次元の原画像１０、画像構成プログラム等が格納され、主メモリ２には装置の制御プログラムが格納されていると共に、演算処理用の領域等が設けられている。
ＣＰＵ３は、三次元の原画像１０や各種のプログラムを読み出し、主メモリ２を用いて本発明に係る断面像や疑似三次元画像等の構成を行い、その構成された画像を示す画像データを表示メモリ４に送って、ＣＲＴモニタ５に表示するようになっており、図２に示すＣＲＴモニタ５には、中心投影法によって構成された観察対象内を示す疑似三次元画像（内視鏡的画像）１１と、観察対象１２の縦切りの断面像１３が表示されるようになっている。
【００２２】
次に前記断面像１３の構成方法を、図３を参照して説明する。
図３の（ａ）において、１５はＸ線ＣＴ装置等によって得られる複数のＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）が積み上げられた三次元の原画像であり、１６は原画像１５に含まれる観察対象を示している。
また、１５ａ〜１５ｇは中心投影法によって観察対象１２内に順次設定された視点を示している。
【００２３】
前記視点１５ａ〜１５ｇは、例えば図３の内視鏡的画像１１を見ながら画面中のカーソル（図示せず）をマウス２等で操作しながら順次設定され、または視線方向が視点から最も遠い位置に向かうように順次自動的に更新されることにより設定されており、この中心投影法において設定される視点を利用している。
なお、中心投影法及び視点の更新方法の詳細については、特開平７−２１０７０４号公報及び特開平８−１６８１３号公報にすでに記載されているので、その説明は省略する。
【００２４】
前記のようにして設定された視点１５ａ〜１５ｇを含む曲面（切断面）１６は、視点１５ａ〜１５ｇを通る複数の直線１５ａＬ〜１５ｇＬを含んでおり、また直線１５ａＬ〜１５ｇＬは、図３に示す実施の形態では、ＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）の積み上げ方向の座標軸ｙに平行な場合に関して示している。
【００２５】
さて、観察対象１２の縦切りの断面像１３（図２）を構成する場合には、まず視点１５ａを通るｙ軸に平行な直線１５ａＬを求め、直線１５ａＬ上のＣＴ値を主メモり２（図３ｂ）に格納する。
また他の視点１５ｂ〜１５ｇを通る直線１５ｂＬ〜１５ｇＬ上のＣＴ値も同様にして主メモり２に格納するが、直線（視点）の間隔が長い場合には、例えば直線１５ｃＬ〜１５ｄＬの間で示すように所望の画質が得られる間隔の直線を補間により求め、これらの直線上のＣＴ値を主メモり２に格納する。
【００２６】
図３は複数の断面像１３の構成方法を示すもので、この図に示すように、視点１５ａを通る複数の直線１５ａＬ１，１５ａＬ２，１５ａＬ３…を設定する。各直線は、ｙ軸から所定の角度回転する。他の視点１５ｂ〜１５ｇを通る直線についても同様に複数設定する。そして、直線１５ａＬ１と同じ角度の各直線上のＣＴ値を主メモリ２に格納することにより１フレーム目の画像データを構成し、同様にして直線１５ａＬ２，１５ａＬ３，…と同じ角度の各直線上のＣＴ値をメモリに格納することにより視点を結ぶ経路を軸としてあらゆる角度で切断した画像データを構成する。
【００２７】
図４は観察領域の中心位置に視点を変更する方法を示す図で、まず前記中心投影法によって得られた複数の視点に基づいて求められた断面像において、視点の方向ベクトルに直行した横断面の濃度プロファイルを作成する（図４ａ）。
続いて、観察対象内部と外部の濃度値を分別するため、二次差分法を用いるが、二次差分オペレータは、領域境界を抽出するために用いられており、領域境界は図４（ａ）に示す二次差分値の極性が変わる、つまりゼロクロス点をエッジ点とするものである。
【００２８】
またオペレータとしてラプラシアンを適用するが、これはランダムノイズに弱いので、平滑化を伴うオペレータとして、図４（ａ）のラプラシアンオペレータを適用する。
なおオペレータの幅は図示した値ばかりでなく、幅の値を変更でき、対象領域によっては経験的に設定した値を使用すればよく、この処理によって領域境界が求められ、２つの領域境界の中心位置が断面上で中心位置となると共に、同様に切断する角度を変更した時の断面上の中心位置を求めることによって、三次元的に視点を観察対象の中心位置に変更することができるようになる。
【００２９】
また、図４（ｂ）に観察領域の中心位置に視点を変更する第２の方法を示す。この方法は、中心投影法から内視鏡的画像を作成するときに、初期に求められた視点から放射状にスキャンし、観察対象領域からはずれた時点の位置情報を基に、円近似または楕円近似によって観察対象内の中心を求め、新たな視点とする方法であり、円近似または楕円近似は最小２乗近似により推定される。
いまサンプル点データを
【００３０】
【数１】

【００３１】
とすると、これを円近似および楕円近似する場合の目的評価関数はそれぞれ
【００３２】
【数２】

【００３３】
で与えられる。求められたパラメータによって以下の円関数、楕円関数が定まり、中心座標を推計することができる。
【００３４】
【数３】

【００３５】
図７は、曲率計算を示した図であり、曲率は視点移動設定手段によって設定された切断面上の複数の視点を結んだ経路に対して、円をフィットさせ、最もフィットする円の半径の逆数を曲率値とする方法を示しており、注目する視点の走行方向に直行する横断面に注目し、目標点を中心とする円において、目標点が視点から横断面に沿って離れるに従って半径が変動する円を考え、円周と視点経路に最も相関のあるものを最もフィットする円として定義する。
相関関数は、
【００３６】
【数４】

【００３７】
で与えられ、その値が最も大きいときの円の半径Ｒの逆数を曲率とする。
ｉ＝（１，…，ｎ）は、設定した円の中心から、ある角度分回転したときの円周上の点番号であり、点番号間の弧の長さ分移動した視点経路の点番号でもある。
【００３８】
また、計算の対象となる円は、視点から左右９０度分（つまり半円分）とする。ａｉは円の中心座標から視点経路の座標に対する相対単位方向ベクトルであり、ｂｉは円の中心座標から円周上の座標に対する相対単位方向ベクトルである。
なお検索方法は２分検索法により行い、比較する時に両方の曲率の差が設定値を下回った時点で終了する。
【００３９】
また、視点移動設定手段によって設定された切断面上の複数の視点を結んだ経路に対する第２の曲率計算方法を示す。この方法は第１の曲率計算方法と同様に、経路に接する円を算出して円の半径の逆数から曲率を算出する方法であるが、円の算出方法が異なる。円を算出する方法として、上記の円近似を用いる。上記観察中心位置推定方法で用いる円近似の近似データは観察対象の外壁情報であったが、ここでは、視点経路のデータを用いる。
【００４０】
視点の経路から３次元的な曲率を計算する第１の方法を示す。三次元の原画像に含まれる観察対象外部から観察対象を表示する三次元画像表示方法において、内視鏡的画像または細線化処理によって得られた視点情報を結ぶ視点経路のデータを用いて、その経路に接する球の半径の逆数から曲率を求める。球の推定には上記同様に最小２乗法による球近似を用いる。いまサンプルデータを、
【数５】

とすると、これを球近似する場合の目的評価関数は、
【数６】

で与えられる。求められたパラメータによって以下の球関数が定まり、中心座標を推定することができる。
【数７】

【００４１】
また、視点の経路から三次元的な曲率を計算する第２の方法を図７に示す。三次元の原画像に含まれる観察対象外部から観察対象を表示する三次元画像表示方法において、内視鏡的画像または細線化処理によって得られた視点情報を結ぶ視点経路を考える。
いま視点ベクトルｕ１，ｕ２とすると、そのなす角度θは
【００４２】
【数８】

【００４３】
となる。
図９、図１０、図１１に切断画面上の曲率を示すためのグラフィックユーザインターフェースを示すもので、図９、図１０はある切断面上のすべての視点に対して曲率を求め、さらに切断角度を変更して前記処理を繰り返し、あらゆる切断面上の視点の曲率を求めたものであり、図９ではある地点の曲率グラフを、図１０ではある視点経路間の曲率グラフを示している。
【００４４】
例えば、切断面上のある一点をポイントした場合には、その地点周りの曲率及び曲率のピークが示され、またそれをもとに、Ｘ軸を視点番号、Ｙ軸を曲率、Ｚ軸を切断面を構成する際の切断する角度（以下、切断角度という）として示した曲率グラフが図１０（ａ）に示されると共に、曲率グラフ上をポイントすることで、その曲率に対応した画像上の位置を観察者が判断できるように表示されており、そのうち曲率のピークだけで捉えた曲率グラフが図１０（ｂ）によって、観察対象の全体的な曲率を一目で判断できる上、ピーク地点を画像上に反映させ、画像からどの位置がピークであるかの判断も行える。
【００４５】
図１１は、三次元的な視点経路に対する曲率グラフを示すもので、この図に示すようにスライド等を設け、曲率及びその曲率を指し示す三次元的な視点経路の位置を同時に示すこともできると共に、複数の観点から曲率を把握することができ、例えばカテーテルの挿入経路等の術前計画に利用することができるようになる。
【００４６】
図５は本発明に係わる切断面上の視点経路に対する曲率計算についての手順を示すフローチャートであり、観察対象の芯線情報を得る方法は、前述した第１の方法と第２の方法がある。
【００４７】
まず第１の方法は、血管等の観察対象の内部に視点を設定し、その視点が観察対象の内部を進むように手動または自動で更新処理し、各視点を求めた後（ステップＳ１）、視点を観察対象の中心位置に移動する（ステップＳ２）。
中心投影法で求められた視点は視点間が離散的で連続性のないものなので、スプライン補間等で補間する（ステップＳ３）。
【００４８】
第２の方法は、観察対象と観察対象外とのセグメントテーションを行うために２値化する（ステップＳ４）が、２値化画像はノイズを多く含むため、収縮拡張処理を行った後（ステップＳ５）、ラベリング処理によって観察対象だけを抽出し（ステップＳ６）、細線化処理（ステップＳ７）すると同時に、細線の分岐点交差点を算出する（ステップＳ８）。
なおこれらの処理は一般的に知られている処理なのでその説明は省略するが、これら処理によって、指定した経路の曲率を求めるための芯線情報を得ることができる（プテップ９）。
【００４９】
次に視点に沿った断面像を構成する（ステップＳ１１）。
曲率計算方法において、円近似を用いる方法（ステップＳ１２）と、円をフィットさせて円との相関値から求める方法がある（ステップＳ１３）。後者の方法では、視点の走行ベクトルに直交する横断面に曲率計算のための円を２つ設定する（ステップＳ１４）。上記相関値（相関関数）から曲率を求める（ステップＳ１５）。また、初期に設定された２つの円は、曲率が最小、最大となる円であり、その後、２分検索法によって、最も視点経路と円周の相関が高い円を求める（ステップＳ１６）。
【００５０】
なお、２つの円の曲率差が設定値で定めた値より小さくなった時点で（ステップＳ１７）、その断面像上の曲率計算を終了するもので、これらの処理をある切断面上のすべての視点に対して行い（ステップＳ１８）、ある切断角度分の１つの曲率計算が終了したら、続いて切断角度を変更して前記処理を繰り返し行うことによりそれらの曲率を求め（ステップＳ１９）、Ｘ線が視点番号、Ｙ軸が曲率、Ｚ軸が切断角度となる三次元的な曲率グラフが表示させる（ステップＳ２０）。
【００５１】
図６は本発明に係わる三次元的な視点経路に対する曲率計算の手順を示すフローチャートであり、指定した経路の曲率を求めるための芯線情報または視点経路情報を得るための処理は、図５で示した処理と同様である。
つまり、曲率計算方法を選択し（ステップＳ２１）、芯線上または視点経路上にある点に対する球近似から曲率を求める（ステップＳ２２）。もう一つの方法として、芯線上または視点経路上にある点に対する２つの視点ベクトルを求めたら（ステップＳ２３）、前記方法によって球の半径から曲率を求め（ステップＳ２４）、すべての視点に対して曲率を求めて（ステップＳ２５）、Ｘ線が視点番号、Ｙ軸が曲率となる二次元的な曲率グラフが表示される（ステップＳ２６）ようになっている。
【００５２】
【発明の効果】
以上詳述したように本発明に係る画像表示装置によれば、血管、腸等の観察対象をその観察対象に沿った曲面で縦切りにした断面像上の視点経路の曲率を示すことができるため、観察対象全体のあらゆる角度から観察したときの曲率を一度に表示することができるという利点が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態になる画像表示装置の構成を示すブロック図である。
【図２】本発明の実施形態になる画像表示装置の表示例を示す説明図である。
【図３】（ａ）及び（ｂ）は本発明の実施形態になる画像表示装置より断面像を構成する方法を示す説明図である。
【図４】（ａ）及び（ｂ）は視点を観察対象の中心位置に移動するための方法を示す説明図である。
【図５】曲線演算及び曲率グラフを示すまでの手順を示すフローチャートである。
【図６】曲線演算及び曲率グラフを示すまでの手順を示すフローチャートである。
【図７】曲率を計算する第１の方法を示す説明図である。
【図８】曲率を計算する第２の方法を示す説明図である。
【図９】切断面上のある一点を指定したときの曲率グラフを示す説明図である。
【図１０】切断面上の経路の曲率グラフを示す説明図である。
【図１１】三次元的な視点経路の曲率グラフを示す説明図である。
【符号の説明】
１ 磁気ディスク
２ 主メモリ
３ ＣＰＵ
４ 表示メモリ
５ ＣＲＴモニタ
６ キーボード
７ マウス
８ マウスコントローラ
９ 共通バス
１０ 三次元の原画像
１１ 内視鏡的画像
１２ 観察対象
１３ 断面像
１５ａ〜１５ｇ 視点
１５ａＬ１〜１５ｇＬ３ 断面像を構成する面
１６ 横断面
１８ 視点経路
２０ 点番号

Claims (3)

1. 三次元の原画像の観察対象の芯線を算出する芯線算出手段と、
   前記芯線上の点を通り、所定の方向と平行な直線を前記芯線上の点毎に求め、点毎に求められた複数の直線からなる曲面で切断された切断画像を作成し表示する切断画像作成手段と、を備えた画像表示装置であって、
   前記曲面と直交する面内における前記曲面の曲率を前記芯線上の点毎に求める曲率算出手段と、
   前記曲率と前記芯線上の点との関係を示すグラフを作成する曲率グラフ作成手段と、
   前記切断画像上の任意の位置を前記曲率グラフ上の位置と対応させて表示する表示手段をさらに備えたことを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置において、
   前記曲率グラフ作成手段は、前記所定の方向を変更させて前記グラフを作成することを特徴とする画像表示装置。
3. 請求項１または２に記載の画像表示装置において、
   前記曲率算出手段は、前記芯線上の複数の点に対して半径の異なる半円をフィットさせ、最もフィットする半円の半径の逆数を曲率とすることを特徴とする画像表示装置。

Images