【０００１】
【発明の属する技術分野】
本発明は、例えばＸ線ＣＴ装置で得られた多数の断層像（ＣＴ像）や、ＭＲＩ装置等の三次元計測によるボリューム画像を分解して得られた多数の断層像、あるいはその他の多数の断層像を積み上げて積上げ三次元画像を得、これを任意の方向から見た二次元画像に陰影付け等を行って再構成された三次元画像（疑似三次元画像）の表示方法の改良に関するものである。
以下、Ｘ線ＣＴ装置で得られた多数のＣＴ像による積上げ三次元画像を用いた場合を例に採って説明する。
【０００２】
【従来の技術】
近年、コンピュータを利用した上記三次元画像の構成，表示は、被検体目的部位の外面あるいは内面形状等、例えば頭部皮膚像や骨像、あるいは血管内壁面像の外観的な性状の観察，診断に供するものとして注目されている。
【０００３】
このような三次元画像を構成，表示する場合、それに用いる上記多数の断層像（原画像）の隣り合う断層像間のピッチ（距離）が粗いと、得られる三次元画像の画質が劣り、観察しにくいものとなる。そこで、隣り合う断層像間の画素を補間によって求め、その画素をも用いて三次元画像を構成，表示することにより画質を改善する方法が提案されている。
この種の画質改善方法の例として周藤安造，他、共著による「三次元表示における画質改善の一方法」（MEDICAL IMAGING TECHNOLOGY.August 1988.275頁）がある。以下、これにつき図１５を参照して説明する。
【０００４】
図１５は、隣り合う互いに平行な２つの原画像（ＣＴ像）１，２が存在し、視点Ｅから投影面Ｐへ投影を図った例を示す。視点Ｅは任意の点、投影面Ｐの位置も任意の位置に存在するものであり、この視点Ｅと投影面Ｐとの位置は投影目的、表示目的によって定まる。
視点Ｅからの投影面Ｐへの投影法は種々存在する。視点Ｅを面としてとらえ、この面から投影面Ｐへの平行な投影線で平行投影する方法や、視点Ｅを点としてとらえ、この点から投影面方向へ放射状に広がる中心投影線を想定して投影面Ｐに中心投影する方法等、種々の方法が採用され得る。
【０００５】
さて、視点Ｅから投影面Ｐ上の投影点ｐへの投影について述べる。視点Ｅから投影点ｐまでの直線Ｌが投影線であり、この投影線Ｌ上の各画素が、投影点ｐへの投影すべき画素となる。ここで投影線Ｌは、互いに平行な２つの原画像１，２に垂直に交わらない投影線である。すなわち、原画像１，２に対して斜め方向となる投影線Ｌを想定している。投影線Ｌ上にあって、Ｑ1が投影線ＬとＣＴ像１との交点、Ｑ2が投影線ＬとＣＴ像２との交点である。そして、点Ｑ1の画素値はＣＴ像１の当該位置の画素値、点Ｑ2の画素値はＣＴ像２の当該位置の画素値であり、点Ｑ1と点Ｑ2とを結ぶ投影線Ｌ上の当該Ｑ1，Ｑ2点間をＮ分割（Ｎは整数）したときの各点の画素値が補間によって求めるべき画素値ということになる。
【０００６】
そのためには、まず点Ｑ1と点Ｑ2とを結ぶ投影線Ｌ上の上記各点（補間点）の座標を特定する必要がある。いま、ｘ，ｙ，ｚの座標系のもとで、その任意の一点である補間点（新ＣＴ像点）Ａの位置（ｘ1，ｙ1，ｚ1）を特定したとする。ここで、ｘ，ｙ，ｚはＣＴ像１，２等の積み上げた状態での各点の座標を特定するための空間座標系であり、ｙは互いに平行な配置のＣＴ像１，２，…に直交する座標軸を示し、ｘ，ｚはｙに直交する平面の座標軸である。そして、各ＣＴ像の積上げ位置（スライス位置）はｙで表現でき、各ＣＴ像の各点画素位置はｘ，ｚで表現できる。また、ＣＴ像１のｙ位置をｙ01、ＣＴ値２のｙ位置をｙ02とする。
【０００７】
いま、点Ａを通るｙ軸に平行な直線ｍを与え、この直線ｍとＣＴ像１，２との交点ａ５，ｂ５を、ａ５（ｘ1，ｙ01，ｚ1），ｂ５（ｘ1，ｙ02，ｚ1）とする。点ａ５と補間点Ａとの距離は（ｙ01−ｙ1）、補間点Ａと点ｂ５との距離は（ｙ1−ｙ02）であり、これらから、補間点Ａの画素値Ｉａは、点ａ５，ｂ５での画素値を各々Ｉ01，Ｉ02とすると次式（１）の線形補間式で求められる。
Ｉａ＝｛Ｉ01（ｙ1−ｙ02）＋Ｉ02（ｙ01−ｙ1）／（ｙ01−ｙ02） …（１）
一方、ＣＴ像１，２上の上記点ａ５，ｂ５は、画素位置として実際には存在しないことが多い。これは、ＣＴ像１，２のＣＴ画素位置が投影分解能に比して粗いためである。例えば、図１５ではＣＴ像１，２の実際の隣り合う画素位置はａ1，ａ2，ａ3，ａ4，…、ｂ1，ｂ2，ｂ3，ｂ4，…のように粗い。そして点ａ５，ｂ５にはＣＴ像１，２の画素は存在しない。そこで、点ａ５，ｂ５の画素値もその周囲の実際の画素値から補間によって求める。点ａ５，ｂ５の画素値Ｉ01，Ｉ02を求めるには、例えばその点ａ５，ｂ５近傍の各４点ａ1，ａ2，ａ3，ａ4；ｂ1，ｂ2，ｂ3，ｂ4の画素値の加重平均値から算出する方法もあれば、近傍２点の画素値からの線形補間法によって求める方法もある。
【０００８】
以上は補間点Ａについてであるが、他の補間点Ｂ（ｘ1´，ｙ1´，ｚ1´）の画素値Ｉｂを求めるためには、同様にｙ軸に平行な直線ｍ´との交点ａ５´，ｂ５´を求め、この交点ａ５´，ｂ５´の画素値Ｉ01´，Ｉ02´を補間によって求める。この補間によって求めた画素値Ｉ01´，Ｉ02´と、交点ａ５´，ｂ５´との距離（ｙ01−ｙ1´），（ｙ1´−ｙ02）とを用いて上式（１）による線形補間を行い、補間点Ｂの画素値Ｉｂを求める。
【０００９】
上述演算を、投影線Ｌの点Ｑ1と点Ｑ2との間で基本ピッチ毎に行ってその基本ピッチ毎の補間画素値を求める。投影線Ｌはその投影法によって種々定められるものであり、このような演算処理を、ＣＴ像１，２に対する全ての投影線について行う。更に、ＣＴ像１，２以外での隣り合うＣＴ像についても同様の処理を行って画素値を求める。このようにして求めた画素値の表示に際しては、投影線Ｌ上の全ての画素値をそのまま表示したのでは表示内容が極めて不鮮明となるので、視点Ｅから遠い距離にある点（画素位置）の画素値は暗くし、すなわち小さい値とし、また、視点Ｅから近い距離にある点（画素位置）の画素値は明るくする、すなわち大きな値とする方法（ボクセル法あるいはデプス法等）をとる。この方法は陰影付け処理と呼ばれるものである。更に、必要に応じて奥側を除去し一番手前の位置の画素値のみを表示させる画像処理（隠面処理）を行う。
【００１０】
【発明が解決しようとする課題】
上述補間方法により補間された画素値をも用いて構成表示された三次元画像の画質は大幅に向上され、例えば頭部骨像あるいは血管内壁面像の外観的な性状の観察，診断をより有効なものとする。特に、血管内壁面像の画質の向上は、対血管術技における事前の観察，診断あるいはシミュレーション等に有用である。
しかしながら上述従来方法では、上記のように被検体目的部位の外面あるいは内面形状を見ること、例えば血管内壁面についていえば、その血管内壁面を外観的に見ることしかできず、血管内壁面の性状について観察，診断できるに過ぎなかった。しかし、血管内壁面に加えて血管壁中組織の性状をも同時観察できれば、血管全体についてより有効な診断をなし得ることはいうまでもなく、またこのことは血管のみならず、他の部位についても同様であり、従来、この点についての改善が要求されていた。
【００１１】
本発明の目的は、被検体目的部位の表面、例えば血管内壁面の性状について観察可能であり、かつそのうちの所望部分についてはその内部の性状、例えば血管壁中組織の性状をも同時観察可能で、血管全体等、目的部位全体についてより有効な観察，診断をなし得、容易に病巣と正常組織を見分けられる三次元画像の表示方法を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的は、多数の断層像を積み上げて積上げ三次元画像を得、これを任意の方向から見た二次元画像に所定の処理を行って再構成された三次元画像の表示方法において、所望方向については、その投影線上、所望のしきい値の条件を満たした位置から投影面方向に所定距離進んだ位置の断層像の画素値を前記処理を行うことなくそのまま表示することにより達成される。
【００１３】
病巣と正常組織を見分ける１つの方法として、画素値（断層像がＸ線ＣＴ装置のＣＴ像であるときにはＣＴ値、ＭＲＩ装置等の三次元計測によるボリューム画像を分解して得られた断層像であるときは濃度値）をそのまま表示する方法が有効である。これはＸ線ＣＴ装置やＭＲＩ装置による断層像で病巣の観察，診断が有効に行えることと同じ理由による。また、病巣を見つけるには目的部位の外面あるいは内面を表示するよりも組織の内部を表示するほうがよい。特に、血管に関してはそうである。
積上げ三次元画像による再構成三次元画像は、被検体目的部位の外面あるいは内面形状を見ることしかできず、内部の性状について観察，診断はできない。しかし、陰影付けや隠面処理等を行って再構成された三次元画像の表示方法において、所望方向の所定距離進んだ位置については断層像の画素値（補間方法によるものも含む）をそのまま表示することとすれば、目的部位の外面あるいは内面形状を見ると同時に、内部の所望部分の性状についても見ることができる。
【００１４】
これによれば、目的部位の表面の性状について観察可能で、かつ所望部分についてはその内部の性状をも同時観察可能となり、目的部位全体についてより有効な観察をなし得る。特に、血管内壁面の性状について観察可能で、かつ所望部分については血管壁中組織の性状をも同時観察可能であることによれば、血管全体についてより有効な観察，診断をなし得ることになる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明するが、それに先立って、まず本発明方法で用いられる三次元画像構成での中心投影法による座標変換方法及び隣接２ＣＴ像間での投影線上の位置の画素値（断層像）の補間方法について説明する。
【００１６】
図１１は上記座標変換方法において必要な座標系や視点Ｅ、投影面Ｐの定義及びそれらの関係を示す図である。図１１中、ｘ，ｙ，ｚは積上げ三次元画像（ＣＴ像１，２…）の空間座標系であり、ｙはＣＴ像１，２…に直交する座標軸、ｘ，ｚはｙに直交する平面の座標軸であってＣＴ像１，２…上での各画素位置を特定する座標軸である。投影面Ｐ及び視点Ｅは診断目的や投影目的によって定まる。また視点Ｅは、平行投影法での平面上の視点の１つとしても、中心投影法での視点としても考えられるが、図１１では中心投影法での視点を表わしている。
【００１７】
投影面Ｐは、３つのパラメータである角度α，β及び距離ｈで定義する。ｘ，ｙ，ｚ座標系での原点０から投影面Ｐに垂線を下ろし、その交点をＮ1とする。交点Ｎ1をｘ−ｚ平面に垂直に投影し、その投影点をＮ2とする。パラメータαは、原点０と交点Ｎ2とを結ぶ直線とｘ軸とのなす角度、パラメータβは、原点０と交点Ｎ2とを結ぶ直線と、原点０と交点Ｎ1とを結ぶ直線とのなす角度である。距離ｈは、視点Ｅから投影面Ｐへの垂線Ｌ1上の視点Ｅと垂直交点Ｃ間の距離であり、このパラメータｈは視点Ｅと投影点ｐとの関係を規定する。
【００１８】
投影面Ｐそのものの座標系をＸ，Ｙとする。視点Ｅの位置をＥ（ｘ0，ｙ0，ｚ0）とし、この視点Ｅからの投影線Ｌの投影面Ｐとの交点（すなわち投影点）ｐをｐ（ｘ，ｙ，ｚ）とする。またｐ（ｘ，ｙ，ｚ）は、Ｘ，Ｙ座標系でｐ（Ｘ，Ｙ）と表現する。視点Ｅから投影面Ｐへ垂直に交わる点をｃ（ｘ11，ｙ11，ｚ11）とし、これをＸ，Ｙ平面上ではＣ（Ｘ，Ｙ）とする。
更に、ＣＴ像１には、交点Ｑ1の周囲４点ａ1，ａ2，ａ3，ａ4に画素が存在し、ＣＴ像２には、交点Ｑ2の周囲４点ｂ1，ｂ2，ｂ3，ｂ4に画素が存在しているものとする。
【００１９】
以上の各座標系や位置定義のもとで、ＣＴ像１，２上の上記点Ｑ1，Ｑ2の算出方法を次に示す。まず、投影面Ｐのパラメータ（α，β，ｈ）と、視点Ｅの座標（ｘ0，ｙ0，ｚ0）と２つの隣り合うＣＴ像１，２及びそのＣＴ像１，２のｙ座標値ｙ01，ｙ02とをキーボード等からキー入力し、投影面Ｐを決定する定数ａ，ｂ，ｃを（２），（３），（４）式によって算出する。定数ａ，ｂ，ｃは、図１１に示すｘ，ｙ，ｚ座標系の原点からの、投影面Ｐへのｘ，ｙ，ｚ軸交点への距離である。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
【数３】
【００２３】
ここで、ｔ＝ｘ0・cosα＋ｚ0・sinα＋ｙ0・tanβである。（α，β，ｈ），（ｘ0，ｙ0，ｚ0）はオペレータによって設定される値である。
【００２４】
次に、視点Ｅから投影面Ｐへの垂線Ｌ1の、投影面Ｐとの交点Ｃ（ｘ11，ｙ11，ｚ11）を（５），（６），（７）式によって算出する。
【００２５】
【数４】
【００２６】
【数５】
【００２７】
【数６】
【００２８】
その後、視点Ｅからの投影線Ｌの、投影面Ｐとの交点（投影点）ｐの座標ｐ（ｘ，ｙ，ｚ）を（８），（９），（１０）式によって算出する。
【００２９】
【数７】
【００３０】
【数８】
【００３１】
【数９】
【００３２】
ただし、
【００３３】
【数１０】
【００３４】
【数１１】
【００３５】
である。
なお、Ｘ，Ｙは、投影点ｐの座標ｐ（ｘ，ｙ，ｚ）の、Ｘ，Ｙ座標系上での座標である。この投影点ｐの座標Ｐ（Ｘ，Ｙ）は走査時にＸ＝０〜±２５６，Ｙ＝０〜±２５６として与えられたものの任意のＸ，Ｙの組合せ値である。
【００３６】
次に、投影線ＬとＣＴ像１，２との交点Ｑ1，Ｑ2の座標Ｑ1（ｘ0１，ｙ01，ｚ0１）、Ｑ2（ｘ02，ｙ02，ｚ02）を、（１３），（１４），（１５），（１６）式によって算出する。
【００３７】
【数１２】
【００３８】
【数１３】
【００３９】
【数１４】
【００４０】
【数１５】
【００４１】
ここで、ｙ01はＣＴ像１のｙ座標値、ｙ02はＣＴ像２のｙ座標値であり、ＣＴ像１，２はｙ座標値に垂直な平面である。ｙ01，ｙ02はＣＴ像１，２の積上げ時に入力設定された値である。
【００４２】
次に、図１２を参照して本発明方法で用いられる画素値の補間方法の一例を説明する。本発明方法における補間画素位置は上記点Ｑ1，Ｑ2のようなＣＴ像（断層面）上に限らない。
図１２は、投影線Ｌ上の２つの点Ｄ1，Ｄ2の画素値を用いて補間によりＤ1，Ｄ2間の補間点Ｍ3の画素値を求める例を示している。ただし、点Ｄ1，Ｄ2はＣＴ像１，２上にない点である。なお、ＣＴ像１上の画素位置ａ1，ａ2，ａ3，ａ4の画素値を各々Ｑａ1，Ｑａ2，Ｑａ3，Ｑａ4とし、ＣＴ像２上の画素位置ｂ1，ｂ2，ｂ3，ｂ4の画素値を各々Ｑｂ1，Ｑｂ2，Ｑｂ3，Ｑｂ4とする。これらの画素値Ｑａ1，Ｑａ2，Ｑａ3，Ｑａ4；Ｑｂ1，Ｑｂ2，Ｑｂ3，Ｑｂ4は、画素位置ａ1，ａ2，ａ3，ａ4；ｂ1，ｂ2，ｂ3，ｂ4がＣＴ像１，２上にあるので既知である。
【００４３】
まず、点Ｄ1，Ｄ2の画素値ＱＤ1，ＱＤ2を画素位置ａ1，ａ2，ａ3，ａ4;ｂ1，ｂ2，ｂ3，ｂ4の画素値から補間によって下記の手順で求める。
【００４４】
点Ｄ1からＣＴ像１，２に垂線を延ばし、各ＣＴ像１，２との交点Ｒ1，Ｒ2の画素値を、画素値Ｑａ1，Ｑａ2，Ｑａ3，Ｑａ4と画素値Ｑｂ1，Ｑｂ2，Ｑｂ3，Ｑｂ4を用いて補間によって求める。次に、その点Ｒ1，Ｒ2の画素値を用いて点Ｄ1の画素値を補間によって求める。点Ｄ2の画素値についても同様の方法で求める。点Ｄ1，Ｄ2の画素値ＱＤ1，ＱＤ2を求める式（１７），（１８）を下記に示す。
【００４５】
ＱＤ1＝〔（１−ｄｚ1）｛Ｑａ4（１−ｄｘ1）＋Ｑａ3・ｄｘ1｝＋ｄｚ1｛Ｑａ1（１−ｄｘ1）＋Ｑａ2・ｄｘ1｝〕・（１−ｄｙ1）＋〔（１−ｄｚ1）｛Ｑｂ4（１−ｄｘ1）＋Ｑｂ3・ｄｘ1｝＋ｄｚ1｛Ｑｂ1（１−ｄｘ1）＋Ｑｂ2・ｄｘ1｝〕・ｄｙ1 ……（１７）
ＱＤ2＝〔（１−ｄｚ2）｛Ｑａ4（１−ｄｘ2）＋Ｑａ3・ｄｘ2｝＋ｄｚ2｛Ｑａ1（１−ｄｘ2）＋Ｑａ2・ｄｘ2｝〕・ｄｙ2＋〔（１−ｄｚ2）｛Ｑｂ4（１−ｄｘ2）＋Ｑｂ3・ｄｘ2｝＋ｄｚ2｛Ｑｂ1（１−ｄｘ2）＋Ｑｂ2・ｄｘ2｝〕・（１−ｄｙ2） ……（１８）
ここで、
ｄｘ1はａ1，ａ2間を１に正規化したときの距離を示す。
ｄｙ1はａ1，ｂ1間を１に正規化したときの距離を示す。
ｄｚ1はａ1，ａ4間を１に正規化したときの距離を示す。
ｄｘ2はｂ1，ｂ2間を１に正規化したときの距離を示す。
ｄｙ2はａ1，ｂ1間を１に正規化したときの距離を示す。
ｄｚ2はｂ1，ｂ4間を１に正規化したときの距離を示す。
ここで、視点Ｅの座標をＥ（ｘ0，ｙ0，ｚ0）、投影面Ｐ上の投影点ｐの座標をｐ（ｘ1，ｙ1，ｚ1）、視点Ｅと投影点ｐとの距離をｌとし、ｘ，ｙ，ｚ方向の増分を、
ｉｎｃｘ＝（ｘ1−ｘ0）／ｌ
ｉｎｃｙ＝（ｙ1−ｙ0）／ｌ
ｉｎｃｚ＝（ｚ1−ｚ0）／ｌ
としたとき、投影線Ｌ上の視点Ｅから距離ｓにある補間点Ｍ3の座標（ｘ，ｙ，ｚ）は、
ｘ＝ｘ0＋ｓ・ｉｎｃｘ
ｙ＝ｙ0＋ｓ・ｉｎｃｙ
ｚ＝ｚ0＋ｓ・ｉｎｃｚ
と表わされる。
【００４６】
また、補間点Ｍ3の画素値は、点Ｄ1，Ｄ2の画素値ＱＤ1，ＱＤ2を使用して次式（１９）で表わされる。
補間点Ｍ3の画素値＝ｒ2・ＱＤ1＋ｒ1・ＱＤ2 …（１９）
ただしｒ1，ｒ2は点Ｄ1，Ｄ2間を正規化した場合の補間点Ｍ3と点Ｄ1，Ｄ2間の正規化された距離であり、ｒ1＋ｒ2＝１である。
式（１９）において、補間点Ｍ3の画素値として臓器抽出用しきい値を与えた場合、投影線Ｌ上で該しきい値を満たす座標が直ちに求められことになる。
【００４７】
上述補間方法を図１３のフローチャートを併用して更に詳しく述べる。
まず、ステップ７０でｘ，ｙ，ｚ，ｓの初期化を行う。すなわち、ｘ＝ｘ0，ｙ＝ｙ0，ｚ＝ｚ0，ｓ＝0とする。
【００４８】
ステップ７１では、ｙ←（ｙ＋ｉｎｃｙ）としてＣＴ像１，２間の点を指定する。これで視点Ｅから距離ｓの位置が指定される。ここで、ｉｎｃｙを加える前の点を旧ｓ、ｉｎｃｙを加えた後の点を新ｓと定義する。旧ｓが図１２の点Ｄ1に対応し、新ｓが点Ｄ2に対応する。
【００４９】
ステップ７２では、旧ｓと新ｓとが同じＣＴ像間（ここではＣＴ像１，２間）に入るか否かを判定する。具体的には、旧ｓと新ｓのｙ座標の小数点以下を切り捨てて、整数部が同じか否かを判定する。同じと判定されたならば、同じＣＴ像間に入ると判定され、異なると判定されたならば異なるＣＴ像間に入いると判定される。
【００５０】
図１４は、旧ｓと新ｓとが同じＣＴ像間に入らない場合を例示する。この場合は、新ｓの位置がＣＴ像（図１４においてはＣＴ像ｊ＋１）上の点Ｗになるようにする。これにより補間に用いる画素点を同じにする。この場合、新ｓ点の座標はステップ７３で下記のように設定する。
ｙ＝ＣＴ像のｙ座標
ｘ←（ｘ＋ｉｎｃｘ´）
ｚ←（ｚ＋ｉｎｃｚ´）
ここで、
ｉｎｃｘ´＝ｉｎｃｘ・（ＣＴ像ｙ座標−旧ｓのｙ座標）／ｉｎｃｙ
ｉｎｃｚ´＝ｉｎｃｚ・（ＣＴ像ｙ座標−旧ｓのｙ座標）／ｉｎｃｙ
ステップ７２で旧ｓと新ｓとが同じＣＴ像間に入ると判定された場合、新ｓ点の座標はステップ７４で次のように設定される。
ｓ←（ｓ＋ｉｎｃｓ）
ｘ←（ｘ＋ｉｎｃｘ）
ｚ←（ｚ＋ｉｎｃｚ）
ステップ７５では、ｓの先端が投影面Ｐに達したか否かを判定し、達していないならばステップ７６に進む。達していたならば処理を終了する。
ステップ７６では、新ｓの画素値ＱＤ2を求める。
ステップ７７では、新ｓの画素値ＱＤ2を求める計算が１回目か否かを判定する。１回目ならばステップ７８でＱＤ1＝ＱＤ2としてメモリに格納する。この段階で、点Ｄ1の画素値ＱＤ1が求まったことになり、引き続き点Ｄ2の位置と画素値を求めるためにステップ７１に戻る。
ステップ７７で新ｓの画素値ＱＤ2を求める計算が１回目でなければ、ステップ７６で求められた画素値ＱＤ2は点Ｄ2の画素値に相当するので２つの補間点が求まっていると判断し、ステップ７９で旧ｓ，新ｓ間の補間点Ｍ3の画素値を補間によって求める。旧ｓの画素値はＱＤ1となる。線形補間による場合は式（１９）を用いて求めるが、非線形補間により求めてもよい。
ステップ８０では、ＱＤ2をＱＤ1とすることにより新ｓの画素値を旧ｓの画素値として設定し、新ｓの位置と画素値を求めるためにステップ７１に跳ぶ。
以後、上述処理を繰り返す。
【００５１】
以下、上述補間方法を用いた本発明による三次元画像の表示方法の実施形態について説明する。図１は、本発明による三次元画像の表示方法の一実施形態を説明するためのフローチャートである。
ここでは、血液に造影剤を投与した状態で血管のＣＴ像計測が行われ、多数の血管ＣＴ像が得られ、それらの積上げ三次元画像を任意の方向から見た血管の二次元画像に陰影付け等を行って再構成された三次元画像（疑似三次元画像）の表示において本発明方法が適用される場合について説明する。
【００５２】
上述のようにして得られた積上げ三次元画像において、臓器抽出用しきい値、ここでは造影剤と血管壁の境界に相当するＣＴ値（画素値）をしきい値として与え、しきい値処理すると血液と血管壁の境界付近の画素点、例えば図２中の画素点４０が求まる。
【００５３】
血管壁中組織の画素点４１を求めるには投影線Ｌに沿って点４０から所定距離だけ延長した点を求めればよい。これを図３により具体的に説明すると、点ａｉ（ｉ＝１，２，３…）でしきい値（血管壁と造影剤との境界を表わすＣＴ値）の条件を満たしたら各々所定距離ｄｓ（しきい値の検出点から所定距離進んだ点までの距離）だけ延長した点ｂｉ（ｉ＝１，２，３…）の画素点を抽出する。
【００５４】
図４は上記所定距離ｄｓを投影線Ｌ毎に変化させる例を示す。ここでは、デプス画像（視点Ｅから、しきい値処理で抽出した画素点までの距離を画素値とした画像）の濃度勾配面の法線と投影線Ｌとのなす立体角θｉ（ｉ＝１，２，３…）の大きいほど距離ｄｓを大きくする。実際には、ｄｓ＝Ｃ１−Ｃ２・cosθｘ・cosθｙで近似する。
【００５５】
ここで、Ｃ１，Ｃ２はＣ１＞Ｃ２の正の定数である。またθｘ，θｙは、図５で示すように、
tanθｘ＝（ｆ（ｍ＋１）−ｆ（ｍ−１））／２点間の距離
tanθｙ＝（ｆ（ｎ＋１）−ｆ（ｎ−１））／２点間の距離
である。ここで、ｆは視点と投影面間の距離を表わす。
【００５６】
したがって、投影線Ｌ上の最終抽出点の座標（ｘ，ｙ，ｚ）は、次のように表わされる。
ｘ＝ｘ＿ｅｘ＋ｄｓ・ｉｎｃｘ
ｙ＝ｙ＿ｅｘ＋ｄｓ・ｉｎｃｙ
ｚ＝ｚ＿ｅｘ＋ｄｓ・ｉｎｃｚ
ただし、（ｘ＿ｅｘ，ｙ＿ｅｘ，ｙ＿ｅｘ）は、しきい値の条件を満たす画素点の座標である。
【００５７】
これによる画素座標（ｘ，ｙ，ｚ）のＣＴ値（このＣＴ値は原画像に存在しなければ補間方法で求めたＣＴ値）を投影面Ｌ上の点Ｐ（Ｘ，Ｙ）に相当する表示メモリのアドレスに格納する。これにより、画素座標（ｘ，ｙ，ｚ）についてはＣＴ値がそのまま表示されることになる。
投影線Ｌが臓器面、ここでは血管壁内面に対して斜めに入射した場合、距離ｄｓを長く設定しないとＣＴ値がそのまま表示される画素座標（ｘ，ｙ，ｚ）は観察，診断に適した血管壁中組織の深い位置には達しない。図４の例は、そのような不都合を解消できる。
【００５８】
なお、図５はデプス画像濃度勾配を求める図で、Ｘ，Ｙは投影面の座標軸、Ｉは画素値を表わす軸、ｄｉｘ1はデプス画像のＸ方向の濃度差（＝ｉ（ｎ，ｍ＋１）−ｉ（ｎ，ｍ−１））、ｄｉｙはデプス画像のＹ方向の濃度差（＝ｉ（ｎ＋１，ｍ）−ｉ（ｎ−１，ｍ））、θｘはθｘ＝tan-1（ｄｉｘ1／２）で与えられる値、θｙはθｙ＝tan-1（ｄｉｙ1／２）で与えられる値、Ｎｘはθｘで定まる直角三角形の斜辺に垂直な法線ベクトル、Ｎｙはθｙで定まる直角三角形の斜辺に垂直な法線ベクトルである。
【００５９】
図６は投影，表示する画素点の抽出の他の例を示す。
図６において、ＣＴ像の画素値の等高線を考えると、しきい値の条件を満たす点ｘ（ベクトル表記）での等高線の法線ベクトルｎは、
ｎ＝（ｄｎｘ／ｄｎ，ｄｎｙ／ｄｎ，ｄｎｚ／ｄｎ）
ｄｎ＝ｓｑｒｔ（ｄｎｘ2＋ｄｎｙ2＋ｄｎｚ2）
と表記される。ここでｄｎｘ，ｄｎｙ，ｄｎｚは画素値のｘ，ｙ，ｚ方向の変化分である。
【００６０】
この例では、点ｘを投影せずに、ベクトルｎと反対方向の点ｘ´（表記はベクトル）
ｘ´＝ｘ−定数・ｎ
で指定される画素値を投影面Ｐ上の点Ｐ（Ｘ´，Ｙ´）に投影する。
【００６１】
このとき、Ｘ´，Ｙ´は前記Ｘ，Ｙを変数とした式（８），（９），（１０）をｘ，ｙ，ｚを変数として逆に解いた式（明示せず）にｘ´，ｙ´，ｚ´を代入して得る。これによれば、血管等の場合、壁に垂直方向のＣＴ値による三次元画像が構成できる。
【００６２】
次に、図１に戻り本発明方法を説明する。
まず、ステップ３０において、ｓを初期化する。ｓ＝0で、ｘ＝ｘ0、ｙ＝ｙ0、ｚ＝ｚ0（視点Ｅの位置）である。
次に、ステップ３１で、点（ｘ，ｙ，ｚ）がしきい値の条件を満たすか否かを判定する。満たすならばその点を（ｘ＿ｅｘ，ｙ＿ｅｘ，ｚ＿ｅｘ）とし、ステップ３３へ移り、満たさなければステップ３２へ移る。
ステップ３２では、ｓの長さをｉｎｃｓだけ長くして投影線Ｌ上の次の点を指定する。
【００６３】
ステップ３３では、デプス画像（視点−投影面の画像が格納してある）の点（Ｘ−１，Ｙ）と点（Ｘ，Ｙ−１）の値も用いてデプス画像の勾配を求める。ここで、θｘ，θｙが求まる。
ステップ３４では、上記θｘ，θｙの関数としてｓの延長分ｄｓを求める。
ステップ３５では、ｓをｄｓだけ延ばす。
またステップ３６では、血管壁中組織の点（ｘ，ｙ，ｚ）を求める。
ステップ３７では、点（ｘ，ｙ，ｚ）のＣＴ値を表示メモリに格納し、画像として表示する。
【００６４】
図７は、サーフェイス法、ボリュームレンダリング法等により陰影付けした画像１００の所望部分を上述本発明方法により得られたＣＴ像の画素値（補間方法によるものも含む）、ここではＣＴ値をそのまま表示する部分画像１０１で置き換え表示した血管分岐部分の表示画像例を示した図である。この場合、画像１００で血管内壁面の性状について観察し、部分画像１０１で所望部分の血管壁中組織の性状を同時観察し得る。
これにより、血管内壁面の性状について観察可能で、かつ所望部分については血管壁中組織の性状をも同時観察可能であり、血管全体についてより有効な観察，診断をなし得ることになる。
【００６５】
図８は、上記陰影付けした画像１００とＣＴ像のＣＴ値をそのまま表示した部分画像１０１とを図７のように重ねて表示せず、並べて表示する場合の例を示す。ここでは、一方の画像１０１（又は１００）上の所望の一箇所Ｐ１（Ｐ２）を、マウス等のポインティングデバイス１０２の操作で画面上を移動する矢印形カーソルＣＵＲ１（ＣＵＲ２）により指示した場合に、他方の画像１００（又は１０１）の対応位置Ｐ２（Ｐ１）に矢印形カーソルＣＵＲ２（ＣＵＲ１）が表示されるようになされている。これによれば、画像１００と部分画像１０１との相互位置関係が分かりやすくなる。
【００６６】
図９は、サーフェイス法、ボリュームレンダリング法等で陰影付けした画像１１０の微分画像１１１をラプラシアン等を用いて作成し、この上記微分画像１１１と、画像１１０の所望部分のＣＴ値をそのまま表示した画像１１２（上記画像１００に対する部分画像１０１に相当する画像）との合成画像１１３を表示する例を示す。これによれば、微分画像は線画であって、他の画像を合成しやすい。
【００６７】
図１０は本発明方法が適用可能なハードウェア構成例を示すブロック図である。
図１０において、２００はＣＰＵ、２０１は主メモリ、２０２は磁気ディスク、２０３は表示メモリ、２０４はマウスコントローラ、２０８はキーボードで、これらは共通バス２０７に接続されている。磁気ディスク２０２には、多数のＣＴ像及び座標変換や陰影付け、隠面処理、更には補間処理のためのプログラム等が格納されている。ＣＰＵ２００は、これら多数のＣＴ像及びプログラムを読み出し、主メモリ２０１を用いて目的部位、例えば血管壁中組織の所望部についてはＣＴ値をそのままその画素値とした三次元画像（疑似三次元画像）を構成し、その結果を表示メモリ２０３に格納し、ＣＲＴモニタ２０５に表示させる。キーボード２０８又はマウスコントローラ２０４に接続されたマウス２０６は、上記三次元画像を構成する際の、視点位置、補間処理時の所定距離等のパラメータ等を指定する。得られた三次元画像は必要に応じて磁気ディスク２０２に格納される。なお、磁気ディスク２０２に代えて光ディスク、光−磁気ディスク等、他の記憶装置を用いてもよい。
【００６８】
なお、上述実施形態における補間方法としては、線形補間や非線形補間等、種々の補間方法が適用可能である。また、原画像となる断層像として、Ｘ線ＣＴ装置によるＣＴ像を例に採って説明したが、これに限らず、ＭＲＩ装置等の三次元計測によるボリューム画像を分解して得られた多数の断層像、あるいは超音波断層装置の断層像等であってもよい。更に、断層像は血管像に限らない。
また、本発明方法で用いられるしきい値は、複数、例えば２値設定し、設定された範囲内の値で特定される位置から投影面方向に所定距離進んだ位置の断層像の画素値を、陰影付け、隠面処理を行うことなくそのまま表示するようにしてもよい。
【００６９】
【発明の効果】
以上説明したように本発明によれば、多数の断層像を積み上げて積上げ三次元画像を得、これを任意の方向から見た二次元画像に所定の処理を行って再構成された三次元画像を表示方法において、所望方向については、その投影線上、所望のしきい値の条件を満たした位置から投影面方向に所定距離進んだ位置の（断層像の）画素値を前記処理を行うことなくそのまま表示する。例えば前記断層像がＣＴ像の場合、ＣＴ値をそのまま表示する。したがって、被検体目的部位の表面、例えば血管内壁面の性状について観察可能であり、かつそのうちの所望部分についてはその内部の性状、例えば血管壁中組織の性状をも同時観察可能で、血管全体等、目的部位全体についてより有効な観察，診断をなし得、容易に病巣と正常組織を見分けられるようになるという効果がある。
【図面の簡単な説明】
【図１】本発明方法の一実施形態を説明するためのフローチャートである。
【図２】本発明方法を血管内壁の表示に適用した場合の説明図である。
【図３】本発明方法において投影，表示する画素点を抽出するときの所定距離ｄｓの設定の一例の説明図である。
【図４】本発明方法において投影，表示する画素点を抽出するときの所定距離ｄｓの設定の他の例の説明図である。
【図５】図４に示す所定距離ｄｓの設定例を説明するための図である。
【図６】本発明方法において投影，表示する画素点の抽出の他の例の説明図である。
【図７】本発明方法による表示画像の一例を示す図である。
【図８】本発明方法による表示画像の他の例を示す図である。
【図９】本発明方法による表示画像の更に異なる例の説明図である。
【図１０】本発明方法が適用可能なハードウェア構成例を示すブロック図である。
【図１１】本発明方法で用いられる三次元画像構成での中心投影法による座標変換方法の説明図である。
【図１２】本発明方法で用いられる隣接２ＣＴ像間での投影線上の位置の画素値補間方法の説明図である。
【図１３】同上補間方法を説明するためのフローチャートである。
【図１４】図１３に示すフローチャート中のステップ７２においてｎｏと判定されたときの処理の説明図である。
【図１５】従来公知の隣接２ＣＴ像間での投影線上の位置の画素値補間方法の説明図である。
【符号の説明】
２００…ＣＰＵ、２０１…主メモリ、２０２…磁気ディスク、２０３…表示メモリ、２０４…マウスコントローラ、２０５…ＣＲＴモニタ、２０６…マウス、２０７…共通バス、２０８…キーボード。[0001]
BACKGROUND OF THE INVENTION
For example, the present invention provides a large number of tomographic images (CT images) obtained by an X-ray CT apparatus, a large number of tomographic images obtained by decomposing a volume image obtained by three-dimensional measurement such as an MRI apparatus, or a number of other tomographic images. Regarding the improvement of the display method of 3D images (pseudo 3D images) reconstructed by accumulating tomographic images to obtain stacked 3D images and shading the 2D images viewed from any direction. It is.
Hereinafter, a case where a stacked three-dimensional image using a large number of CT images obtained by an X-ray CT apparatus is used will be described as an example.
[0002]
[Prior art]
In recent years, the configuration and display of the above-described three-dimensional image using a computer has been made by observing and diagnosing the appearance or external shape of the target region of the subject, such as the appearance of the head skin image, bone image, or blood vessel inner wall surface image. It has been attracting attention as a product to be used.
[0003]
When such a three-dimensional image is constructed and displayed, if the pitch (distance) between adjacent tomographic images of the above-mentioned many tomographic images (original images) is coarse, the image quality of the obtained three-dimensional image is inferior and observation is performed. It becomes difficult to do. In view of this, a method has been proposed in which pixels between adjacent tomographic images are obtained by interpolation, and a three-dimensional image is constructed and displayed using the pixels to improve image quality.
An example of this type of image quality improvement method is Yasuzou Saito et al., Co-authored “A method for improving image quality in 3D display” (MEDICAL IMAGING TECHNOLOGY. August 1988.275). This will be described below with reference to FIG.
[0004]
FIG. 15 shows an example in which there are two original images (CT images) 1 and 2 that are parallel to each other and are projected from the viewpoint E onto the projection plane P. The viewpoint E is an arbitrary point, and the position of the projection plane P is also at an arbitrary position. The position of the viewpoint E and the projection plane P is determined by the projection purpose and the display purpose.
There are various projection methods from the viewpoint E onto the projection plane P. Assuming a viewpoint E as a plane and parallel projection with parallel projection lines from this plane to the projection plane P, or a central projection line that takes the viewpoint E as a point and spreads radially from this point toward the projection plane Various methods such as a method of centrally projecting onto the projection plane P can be adopted.
[0005]
Now, the projection from the viewpoint E to the projection point p on the projection plane P will be described. A straight line L from the viewpoint E to the projection point p is a projection line, and each pixel on the projection line L is a pixel to be projected onto the projection point p. Here, the projection line L is a projection line that does not perpendicularly intersect two original images 1 and 2 that are parallel to each other. That is, a projection line L that is oblique to the original images 1 and 2 is assumed. On the projection line L, Q1 is the intersection of the projection line L and the CT image 1, and Q2 is the intersection of the projection line L and the CT image 2. The pixel value of the point Q1 is the pixel value at the corresponding position of the CT image 1, the pixel value of the point Q2 is the pixel value of the corresponding position of the CT image 2, and the pixel value on the projection line L connecting the point Q1 and the point Q2 The pixel value at each point when the Q1 and Q2 points are divided into N (N is an integer) is the pixel value to be obtained by interpolation.
[0006]
For this purpose, it is first necessary to specify the coordinates of the above points (interpolation points) on the projection line L connecting the points Q1 and Q2. Now, assume that the position (x1, y1, z1) of an interpolation point (new CT image point) A, which is an arbitrary point, is specified under the coordinate system of x, y, z. Here, x, y, and z are spatial coordinate systems for specifying the coordinates of each point in a state in which the CT images 1 and 2 are stacked, and y is the CT images 1, 2,. The coordinate axes orthogonal to are shown, and x and z are the coordinate axes of a plane orthogonal to y. The accumulated position (slice position) of each CT image can be expressed by y, and each point pixel position of each CT image can be expressed by x and z. The y position of CT image 1 is y01, and the y position of CT value 2 is y02.
[0007]
Now, a straight line m passing through the point A and parallel to the y-axis is given, and the intersection points a5 and b5 between the straight line m and the CT images 1 and 2 are designated as a5 (x1, y01, z1), b5 (x1, y02, z1). And The distance between the point a5 and the interpolation point A is (y01-y1), and the distance between the interpolation point A and the point b5 is (y1-y02). From these, the pixel value Ia of the interpolation point A is the points a5, b5. If the pixel values at are respectively I01 and I02, they can be obtained by the linear interpolation equation (1) below.
Ia = {I01 (y1-y02) + I02 (y01-y1) / (y01-y02) (1)
On the other hand, the points a5 and b5 on the CT images 1 and 2 often do not actually exist as pixel positions. This is because the CT pixel positions of the CT images 1 and 2 are coarser than the projection resolution. For example, in FIG. 15, the actual adjacent pixel positions of the CT images 1 and 2 are coarse like a1, a2, a3, a4,..., B1, b2, b3, b4,. The pixels of CT images 1 and 2 do not exist at points a5 and b5. Therefore, the pixel values of the points a5 and b5 are also determined by interpolation from the actual pixel values around them. In order to obtain the pixel values I01 and I02 of the points a5 and b5, for example, they are calculated from the weighted average values of the pixel values of the four points a1, a2, a3 and a4 near the points a5 and b5; b1, b2, b3 and b4. There is also a method for obtaining the value by a linear interpolation method from pixel values of two neighboring points.
[0008]
The above is for the interpolation point A. In order to obtain the pixel value Ib of the other interpolation point B (x1 ′, y1 ′, z1 ′), the intersection point a5 ′ with the straight line m ′ parallel to the y-axis is similarly used. , B5 ′, and the pixel values I01 ′, I02 ′ of the intersection points a5 ′, b5 ′ are obtained by interpolation. Using the pixel values I01 ′ and I02 ′ obtained by this interpolation and the distances (y01−y1 ′) and (y1′−y02) between the intersection points a5 ′ and b5 ′, linear interpolation is performed by the above equation (1). The pixel value Ib of the interpolation point B is obtained.
[0009]
The above calculation is performed for each basic pitch between the point Q1 and the point Q2 of the projection line L, and an interpolation pixel value for each basic pitch is obtained. The projection line L is variously determined depending on the projection method, and such calculation processing is performed for all the projection lines for the CT images 1 and 2. Further, similar processing is performed on adjacent CT images other than the CT images 1 and 2 to obtain pixel values. When displaying the pixel values obtained in this way, the display content becomes very unclear if all the pixel values on the projection line L are displayed as they are, so that the point (pixel position) at a distance far from the viewpoint E is displayed. The pixel value is darkened, that is, a small value, and the pixel value at a point (pixel position) that is close to the viewpoint E is brightened, that is, a large value is used (such as a voxel method or a depth method). This method is called a shading process. Further, if necessary, image processing (hidden surface processing) for removing only the back side and displaying only the pixel value at the foremost position is performed.
[0010]
[Problems to be solved by the invention]
The image quality of 3D images constructed and displayed using the pixel values interpolated by the interpolation method described above is greatly improved. For example, it is more effective to observe and diagnose the appearance of head bone images or blood vessel inner wall images. It shall be In particular, the improvement of the image quality of the blood vessel inner wall surface image is useful for prior observation, diagnosis, simulation, etc. in anti-vascular technique.
However, in the above-described conventional method, the shape of the outer surface or the inner surface of the target site of the subject can be seen as described above. For example, regarding the inner wall surface of the blood vessel, the inner wall surface of the blood vessel can only be viewed externally. I could only observe and diagnose However, if the characteristics of the tissue in the blood vessel wall can be simultaneously observed in addition to the inner wall surface of the blood vessel, it goes without saying that a more effective diagnosis can be made for the entire blood vessel. Similarly, there has been a demand for improvement in this regard.
[0011]
The object of the present invention is to observe the surface of a subject's target site, for example, the properties of the inner wall of the blood vessel, and at the same time, it is also possible to observe the internal properties of the desired portion, for example, the properties of the tissue in the blood vessel wall. Another object of the present invention is to provide a method for displaying a three-dimensional image, which enables more effective observation and diagnosis of the entire target site such as the entire blood vessel and the like and easily distinguishes the lesion from the normal tissue.
[0012]
[Means for Solving the Problems]
The object is to display a three-dimensional image obtained by stacking a large number of tomographic images to obtain a stacked three-dimensional image, and performing a predetermined process on the two-dimensional image viewed from an arbitrary direction. Is achieved by displaying the pixel values of the tomographic image at a position advanced by a predetermined distance in the projection plane direction from the position satisfying the desired threshold condition on the projection line without performing the above processing.
[0013]
One method of distinguishing a lesion from a normal tissue is a pixel value (when a tomographic image is a CT image of an X-ray CT apparatus, a CT value, a tomographic image obtained by decomposing a volume image by three-dimensional measurement such as an MRI apparatus) In some cases, it is effective to display the density value as it is. This is due to the same reason that a lesion can be effectively observed and diagnosed by a tomographic image by an X-ray CT apparatus or an MRI apparatus. In order to find a lesion, it is better to display the inside of the tissue than to display the outer surface or inner surface of the target site. This is especially true for blood vessels.
The reconstructed three-dimensional image based on the stacked three-dimensional image can only see the outer surface or inner surface shape of the target region of the subject, and cannot observe or diagnose the internal properties. However, in the method of displaying a three-dimensional image reconstructed by performing shading, hidden surface processing, etc., the pixel values of the tomographic image (including those by the interpolation method) are displayed as they are for the position advanced by a predetermined distance in the desired direction. By doing so, it is possible to see the shape of the desired portion inside as well as the shape of the outer surface or the inner surface of the target portion.
[0014]
According to this, it is possible to observe the surface properties of the target site, and it is possible to simultaneously observe the internal properties of the desired portion, and more effective observation can be performed for the entire target site. In particular, if the properties of the inner wall surface of the blood vessel can be observed and the properties of the tissue in the blood vessel wall can be simultaneously observed for the desired portion, more effective observation and diagnosis can be performed for the entire blood vessel. .
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. Prior to that, first, a coordinate conversion method based on a central projection method in a three-dimensional image configuration used in the method of the present invention and projection lines between adjacent 2CT images will be described. An interpolation method of the pixel value (tomographic image) at the position of will be described.
[0016]
FIG. 11 is a diagram showing the definition of the coordinate system, the viewpoint E, the projection plane P, and their relationships necessary for the coordinate conversion method. In FIG. 11, x, y, and z are spatial coordinate systems of stacked three-dimensional images (CT images 1, 2,...), Y is a coordinate axis orthogonal to the CT images 1, 2,..., And x, z are orthogonal to y. This is a plane coordinate axis that specifies each pixel position on the CT images 1, 2,. The projection plane P and the viewpoint E are determined depending on the purpose of diagnosis and the purpose of projection. The viewpoint E can be considered as one of the viewpoints on the plane in the parallel projection method and the viewpoint in the central projection method, but FIG. 11 represents the viewpoint in the central projection method.
[0017]
The projection plane P is defined by three parameters, angles α and β, and a distance h. A perpendicular line is drawn from the origin 0 in the x, y, z coordinate system to the projection plane P, and the intersection is defined as N1. The intersection N1 is projected perpendicularly to the xz plane, and the projection point is N2. Parameter α is the angle between the straight line connecting origin 0 and intersection N2 and the x axis, and parameter β is the angle between the line connecting origin 0 and intersection N2 and the line connecting origin 0 and intersection N1. is there. The distance h is a distance between the viewpoint E and the vertical intersection C on the perpendicular L1 from the viewpoint E to the projection plane P, and this parameter h defines the relationship between the viewpoint E and the projection point p.
[0018]
Let the coordinate system of the projection plane P itself be X and Y. The position of the viewpoint E is E (x0, y0, z0), and the intersection (namely, projection point) p of the projection line L from the viewpoint E with the projection plane P is p (x, y, z). P (x, y, z) is expressed as p (X, Y) in the X, Y coordinate system. Let c (x11, y11, z11) be a point perpendicular to the projection plane P from the viewpoint E, and C (X, Y) on the X, Y plane.
Furthermore, the CT image 1 has pixels at four points a1, a2, a3, a4 around the intersection point Q1, and the CT image 2 has pixels at four points b1, b2, b3, b4 around the intersection point Q2. Suppose you are.
[0019]
A method for calculating the points Q1 and Q2 on the CT images 1 and 2 based on the above coordinate system and position definition will be described below. First, the parameters (α, β, h) of the projection plane P, the coordinates (x0, y0, z0) of the viewpoint E, the two adjacent CT images 1, 2 and the y coordinate values y01, y02 is key-inputted from a keyboard or the like, and constants a, b, and c for determining the projection plane P are calculated by equations (2), (3), and (4). Constants a, b, and c are distances from the origin of the x, y, and z coordinate system shown in FIG. 11 to the intersection of the x, y, and z axes on the projection plane P.
[0020]
[Expression 1]
[0021]
[Expression 2]
[0022]
[Equation 3]
[0023]
Here, t = x0 · cosα + z0 · sinα + y0 · tanβ. (Α, β, h) and (x0, y0, z0) are values set by the operator.
[0024]
Next, the intersection C (x11, y11, z11) with the projection plane P of the perpendicular L1 from the viewpoint E to the projection plane P is calculated by the equations (5), (6), (7).
[0025]
[Expression 4]
[0026]
[Equation 5]
[0027]
[Formula 6]
[0028]
Thereafter, the coordinates p (x, y, z) of the intersection (projection point) p of the projection line L from the viewpoint E with the projection plane P are calculated by the equations (8), (9), and (10).
[0029]
[Expression 7]
[0030]
[Equation 8]
[0031]
[Equation 9]
[0032]
However,
[0033]
[Expression 10]
[0034]
## EQU11 ##
[0035]
It is.
X and Y are the coordinates on the X and Y coordinate system of the coordinates p (x, y, z) of the projection point p. The coordinates P (X, Y) of the projection point p are arbitrary X and Y combination values given as X = 0 to ± 256 and Y = 0 to ± 256 at the time of scanning.
[0036]
Next, the coordinates Q1 (x01, y01, z01) and Q2 (x02, y02, z02) of the intersections Q1, Q2 between the projection line L and the CT images 1, 2 are expressed as (13), (14), (15). , (16).
[0037]
[Expression 12]
[0038]
[Formula 13]
[0039]
[Expression 14]
[0040]
[Expression 15]
[0041]
Here, y01 is the y coordinate value of the CT image 1, y02 is the y coordinate value of the CT image 2, and the CT images 1 and 2 are planes perpendicular to the y coordinate value. y01 and y02 are values set when CT images 1 and 2 are stacked.
[0042]
Next, an example of a pixel value interpolation method used in the method of the present invention will be described with reference to FIG. The interpolation pixel position in the method of the present invention is not limited to the CT image (tomographic plane) such as the points Q1 and Q2.
FIG. 12 shows an example in which the pixel value of the interpolation point M3 between D1 and D2 is obtained by interpolation using the pixel values of the two points D1 and D2 on the projection line L. However, the points D1 and D2 are not on the CT images 1 and 2. The pixel values at the pixel positions a1, a2, a3, a4 on the CT image 1 are Qa1, Qa2, Qa3, Qa4, respectively, and the pixel values at the pixel positions b1, b2, b3, b4 on the CT image 2 are Qb1, respectively. , Qb2, Qb3, and Qb4. These pixel values Qa1, Qa2, Qa3, Qa4; Qb1, Qb2, Qb3, Qb4 are known because the pixel positions a1, a2, a3, a4; b1, b2, b3, b4 are on the CT images 1, 2. is there.
[0043]
First, the pixel values QD1, QD2 of the points D1, D2 are obtained by interpolation from the pixel values of the pixel positions a1, a2, a3, a4; b1, b2, b3, b4 by the following procedure.
[0044]
A perpendicular line is extended from the point D1 to the CT images 1 and 2, and the pixel values of the intersections R1 and R2 with the CT images 1 and 2 are set as the pixel values Qa1, Qa2, Qa3, Qa4 and the pixel values Qb1, Qb2, Qb3, Qb4. And obtained by interpolation. Next, the pixel value of the point D1 is obtained by interpolation using the pixel values of the points R1 and R2. The pixel value at the point D2 is obtained by the same method. Expressions (17) and (18) for obtaining the pixel values QD1 and QD2 of the points D1 and D2 are shown below.
[0045]
QD1 = [(1-dz1) {Qa4 (1-dx1) + Qa3 · dx1} + dz1 {Qa1 (1-dx1) + Qa2 · dx1}] · (1-dy1) + [(1-dz1) {Qb4 (1- dx1) + Qb3.dx1} + dz1 {Qb1 (1-dx1) + Qb2.dx1}]. dy1 (17)
QD2 = [(1-dz2) {Qa4 (1-dx2) + Qa3 · dx2} + dz2 {Qa1 (1-dx2) + Qa2 · dx2}] · dy2 + [(1-dz2) {Qb4 (1-dx2) + Qb3 · dx2 } + Dz2 {Qb1 (1-dx2) + Qb2 · dx2}]. (1-dy2) (18)
here,
dx1 represents the distance when a1 and a2 are normalized to 1.
dy1 indicates the distance when a1 and b1 are normalized to 1.
dz1 represents the distance when a1 and a4 are normalized to 1.
dx2 indicates the distance when b1 and b2 are normalized to 1.
dy2 indicates a distance when a1 and b1 are normalized to 1.
dz2 represents the distance when b1 and b4 are normalized to 1.
Here, the coordinate of the viewpoint E is E (x0, y0, z0), the coordinate of the projection point p on the projection plane P is p (x1, y1, z1), the distance between the viewpoint E and the projection point p is l, x, y, z direction increments
incx = (x1-x0) / l
incy = (y1-y0) / l
incz = (z1-z0) / l
, The coordinates (x, y, z) of the interpolation point M3 at a distance s from the viewpoint E on the projection line L are
x = x0 + s · incx
y = y0 + s · incy
z = z0 + s · incz
It is expressed as
[0046]
Further, the pixel value of the interpolation point M3 is expressed by the following equation (19) using the pixel values QD1 and QD2 of the points D1 and D2.
Pixel value of interpolation point M3 = r 2 · QD 1 + r 1 · QD 2 (19)
However, r1 and r2 are normalized distances between the interpolation point M3 and the points D1 and D2 when the points D1 and D2 are normalized, and r1 + r2 = 1.
In the equation (19), when an organ extraction threshold value is given as the pixel value of the interpolation point M3, coordinates that satisfy the threshold value on the projection line L are immediately obtained.
[0047]
The above interpolation method will be described in more detail using the flowchart of FIG.
First, at step 70, x, y, z, and s are initialized. That is, x = x0, y = y0, z = z0, and s = 0.
[0048]
In step 71, a point between the CT images 1 and 2 is designated as y ← (y + incy). Thus, the position of the distance s from the viewpoint E is designated. Here, the point before adding incy is defined as the old s, and the point after adding incy is defined as the new s. The old s corresponds to the point D1 in FIG. 12, and the new s corresponds to the point D2.
[0049]
In step 72, it is determined whether or not the old s and the new s fall between the same CT images (here, between the CT images 1 and 2). Specifically, it is determined whether or not the integer part is the same by rounding off the decimal point of the y coordinate of the old s and the new s. If it is determined that they are the same, it is determined that they are between the same CT images, and if they are determined to be different, it is determined that they are between different CT images.
[0050]
FIG. 14 illustrates a case where the old s and the new s do not fall between the same CT images. In this case, the position of the new s is set to a point W on the CT image (CT image j + 1 in FIG. 14). This makes the pixel points used for interpolation the same. In this case, the coordinates of the new s point are set in step 73 as follows.
y = y coordinate of CT image
x ← (x + incx ′)
z ← (z + incz ′)
here,
incx ′ = incx · (CT image y coordinate−y s y coordinate) / incy
incz ′ = incz · (CT image y coordinate−y s y coordinate) / incy
If it is determined in step 72 that the old s and the new s fall within the same CT image, the coordinates of the new s point are set in step 74 as follows.
s ← (s + incs)
x ← (x + incx)
z ← (z + incz)
In step 75, it is determined whether or not the tip of s has reached the projection plane P. If not, the process proceeds to step 76. If it has reached, the process is terminated.
In step 76, a new s pixel value QD2 is obtained.
In step 77, it is determined whether or not the calculation for obtaining the new s pixel value QD2 is the first time. If it is the first time, it is stored in the memory at step 78 as QD1 = QD2. At this stage, the pixel value QD1 of the point D1 has been obtained, and the process returns to step 71 in order to obtain the position and pixel value of the point D2.
If the calculation for obtaining the new s pixel value QD2 in step 77 is not the first calculation, it is determined that two interpolation points are obtained because the pixel value QD2 obtained in step 76 corresponds to the pixel value of the point D2, In step 79, the pixel value of the interpolation point M3 between the old s and new s is obtained by interpolation. The old s pixel value is QD1. In the case of linear interpolation, it is obtained using equation (19), but may be obtained by nonlinear interpolation.
In step 80, the new s pixel value is set as the old s pixel value by setting QD2 to QD1, and the process jumps to step 71 to obtain the new s position and pixel value.
Thereafter, the above process is repeated.
[0051]
Hereinafter, an embodiment of a method for displaying a three-dimensional image according to the present invention using the above-described interpolation method will be described. FIG. 1 is a flowchart for explaining an embodiment of a 3D image display method according to the present invention.
Here, blood vessel CT images are measured in a state in which a contrast medium is administered to the blood, and a large number of blood vessel CT images are obtained. The accumulated three-dimensional images are shaded on the two-dimensional image of the blood vessels viewed from any direction. A case will be described in which the method of the present invention is applied to the display of a three-dimensional image (pseudo three-dimensional image) reconstructed by attaching and the like.
[0052]
In the stacked three-dimensional image obtained as described above, a threshold for organ extraction, here, a CT value (pixel value) corresponding to the boundary between the contrast agent and the blood vessel wall is given as a threshold, and threshold processing is performed. Then, a pixel point near the boundary between the blood and the blood vessel wall, for example, a pixel point 40 in FIG. 2 is obtained.
[0053]
In order to obtain the pixel point 41 of the tissue in the blood vessel wall, a point extended by a predetermined distance from the point 40 along the projection line L may be obtained. This will be described in detail with reference to FIG. 3. When a point ai (i = 1, 2, 3...) Satisfies a threshold value (CT value representing a boundary between a blood vessel wall and a contrast medium), a predetermined distance ds is obtained. Pixel points of points bi (i = 1, 2, 3,...) Extended by (distance from the threshold detection point to a point advanced by a predetermined distance) are extracted.
[0054]
FIG. 4 shows an example in which the predetermined distance ds is changed for each projection line L. Here, the solid angle θi (i = 1) formed by the normal line of the density gradient surface of the depth image (image from the viewpoint E to the pixel point extracted by the threshold value processing as the pixel value) and the projection line L. , 2, 3...) Increases the distance ds. Actually, it is approximated by ds = C1−C2 · cos θx · cos θy.
[0055]
Here, C1 and C2 are positive constants of C1> C2. Also, θx and θy are as shown in FIG.
tanθx = (f (m + 1) −f (m−1)) / 2 distance between two points
tanθy = (f (n + 1) −f (n−1)) / 2 distance between two points
It is. Here, f represents the distance between the viewpoint and the projection plane.
[0056]
Therefore, the coordinates (x, y, z) of the final extraction point on the projection line L are expressed as follows.
x = x_ex + ds · incx
y = y_ex + ds · incy
z = z_ex + ds · incz
However, (x_ex, y_ex, y_ex) is the coordinates of the pixel point that satisfies the threshold condition.
[0057]
The CT value of the pixel coordinates (x, y, z) thus obtained (the CT value obtained by the interpolation method if this CT value does not exist in the original image) corresponds to the point P (X, Y) on the projection plane L. Store at display memory address. As a result, the CT value is displayed as it is for the pixel coordinates (x, y, z).
When the projection line L is obliquely incident on the organ surface, here the inner surface of the blood vessel wall, the pixel coordinates (x, y, z) where the CT value is displayed as it is unless the distance ds is set long are suitable for observation and diagnosis. It does not reach deep positions in the vascular wall middle tissue. The example of FIG. 4 can eliminate such inconvenience.
[0058]
FIG. 5 is a diagram for obtaining a depth image density gradient, where X and Y are coordinate axes of the projection plane, I is an axis representing a pixel value, and dix1 is a density difference in the X direction of the depth image (= i (n, m + 1) − i (n, m-1)), diy is the density difference in the Y direction of the depth image (= i (n + 1, m) -i (n-1, m)), and θx is θx = tan -1 The value given by (dix1 / 2), θy is θy = tan -1 A value given by (diy1 / 2), Nx is a normal vector perpendicular to the hypotenuse of the right triangle determined by θx, and Ny is a normal vector perpendicular to the hypotenuse of the right triangle determined by θy.
[0059]
FIG. 6 shows another example of extraction of pixel points to be projected and displayed.
In FIG. 6, when considering the contour lines of the pixel values of the CT image, the contour normal vector n at the point x (vector notation) that satisfies the threshold condition is
n = (dnx / dn, dny / dn, dnz / dn)
dn = sqrt (dnx 2 + Dny 2 + Dnz 2 )
It is written. Here, dnx, dny, and dnz are changes in pixel values in the x, y, and z directions.
[0060]
In this example, the point x ′ in the direction opposite to the vector n without projecting the point x (notation is a vector)
x ′ = x−constant · n
Is projected onto a point P (X ′, Y ′) on the projection plane P.
[0061]
At this time, X ′ and Y ′ are the expressions (not explicitly shown) obtained by reversing equations (8), (9), and (10) with x, y, and z as variables. It is obtained by substituting ', y', z '. According to this, in the case of a blood vessel or the like, a three-dimensional image with CT values in the direction perpendicular to the wall can be constructed.
[0062]
Next, returning to FIG. 1, the method of the present invention will be described.
First, in step 30, s is initialized. s = 0, x = x0, y = y0, z = z0 (the position of the viewpoint E).
Next, in step 31, it is determined whether or not the point (x, y, z) satisfies the threshold condition. If it is satisfied, the point is set to (x_ex, y_ex, z_ex), and the process proceeds to step 33. Otherwise, the process proceeds to step 32.
In step 32, the length of s is increased by incs and the next point on the projection line L is designated.
[0063]
In step 33, the gradient of the depth image is obtained using the values of the point (X-1, Y) and the point (X, Y-1) of the depth image (the viewpoint-projection plane image is stored). Here, θx and θy are obtained.
In step 34, an extension ds of s is obtained as a function of the above θx and θy.
In step 35, s is extended by ds.
In step 36, the point (x, y, z) of the tissue in the blood vessel wall is obtained.
In step 37, the CT value of the point (x, y, z) is stored in the display memory and displayed as an image.
[0064]
FIG. 7 shows a desired portion of the image 100 shaded by the surface method, the volume rendering method, etc., and the pixel values (including those obtained by the interpolation method) of the CT image obtained by the above-described method of the present invention. It is the figure which showed the example of a display image of the blood vessel branch part replaced and displayed by the partial image 101 to be performed. In this case, the properties of the inner wall surface of the blood vessel can be observed with the image 100, and the properties of the tissue in the blood vessel wall of the desired portion can be simultaneously observed with the partial image 101.
As a result, the properties of the inner wall surface of the blood vessel can be observed, and the properties of the tissue in the blood vessel wall can be simultaneously observed for the desired portion, so that more effective observation and diagnosis can be performed for the entire blood vessel.
[0065]
FIG. 8 shows an example in which the shaded image 100 and the partial image 101 in which the CT value of the CT image is displayed as it is are displayed side by side without being superimposed as shown in FIG. Here, when one desired location P1 (P2) on one image 101 (or 100) is indicated by an arrow cursor CUR1 (CUR2) that moves on the screen by operating a pointing device 102 such as a mouse, An arrow cursor CUR2 (CUR1) is displayed at the corresponding position P2 (P1) of the other image 100 (or 101). This makes it easy to understand the mutual positional relationship between the image 100 and the partial image 101.
[0066]
FIG. 9 shows an image in which a differential image 111 of an image 110 shaded by a surface method, a volume rendering method, or the like is created using Laplacian or the like, and the differential image 111 and a CT value of a desired portion of the image 110 are displayed as they are. An example in which a composite image 113 with 112 (an image corresponding to the partial image 101 with respect to the image 100) is displayed is shown. According to this, the differential image is a line drawing, and it is easy to synthesize other images.
[0067]
FIG. 10 is a block diagram showing a hardware configuration example to which the method of the present invention can be applied.
In FIG. 10, 200 is a CPU, 201 is a main memory, 202 is a magnetic disk, 203 is a display memory, 204 is a mouse controller, 208 is a keyboard, and these are connected to a common bus 207. The magnetic disk 202 stores a number of CT images and programs for coordinate conversion, shading, hidden surface processing, and interpolation processing. The CPU 200 reads out a large number of these CT images and programs, and uses the main memory 201 to obtain a three-dimensional image (pseudo three-dimensional image) with the CT value as it is as the pixel value of a desired portion, for example, a desired portion of the vascular wall tissue. The result is stored in the display memory 203 and displayed on the CRT monitor 205. A mouse 206 connected to the keyboard 208 or the mouse controller 204 specifies parameters such as a viewpoint position and a predetermined distance during interpolation processing when the three-dimensional image is formed. The obtained three-dimensional image is stored in the magnetic disk 202 as necessary. Instead of the magnetic disk 202, another storage device such as an optical disk or an optical-magnetic disk may be used.
[0068]
Note that various interpolation methods such as linear interpolation and nonlinear interpolation can be applied as the interpolation method in the above-described embodiment. In addition, the CT image obtained by the X-ray CT apparatus has been described as an example of the tomographic image as the original image. However, the present invention is not limited to this. It may be a tomographic image or a tomographic image of an ultrasonic tomographic apparatus. Furthermore, the tomographic image is not limited to a blood vessel image.
The threshold value used in the method of the present invention is set to a plurality of, for example, binary values, and the pixel value of the tomographic image at a position advanced by a predetermined distance in the projection plane direction from the position specified by the value within the set range. Alternatively, the image may be displayed as it is without performing shading or hidden surface processing.
[0069]
【The invention's effect】
As described above, according to the present invention, a large number of tomographic images are stacked to obtain a stacked three-dimensional image, and the two-dimensional image viewed from an arbitrary direction is subjected to predetermined processing and reconstructed. In the display method, with respect to the desired direction, the pixel value (tomographic image) at a position advanced by a predetermined distance in the projection plane direction from the position satisfying the desired threshold condition on the projection line without performing the above processing. Display as it is. For example, when the tomographic image is a CT image, the CT value is displayed as it is. Therefore, it is possible to observe the surface of the subject's target site, for example, the properties of the inner wall of the blood vessel, and the desired portion of the same can be observed simultaneously, for example, the properties of the tissue in the blood vessel wall. This makes it possible to make more effective observation and diagnosis of the entire target site, and to easily distinguish a lesion from a normal tissue.
[Brief description of the drawings]
FIG. 1 is a flowchart for explaining an embodiment of a method of the present invention.
FIG. 2 is an explanatory diagram when the method of the present invention is applied to display of an inner wall of a blood vessel.
FIG. 3 is an explanatory diagram showing an example of setting a predetermined distance ds when extracting pixel points to be projected and displayed in the method of the present invention.
FIG. 4 is an explanatory diagram of another example of setting a predetermined distance ds when extracting pixel points to be projected and displayed in the method of the present invention.
FIG. 5 is a diagram for explaining an example of setting the predetermined distance ds shown in FIG. 4;
FIG. 6 is an explanatory diagram of another example of extraction of pixel points to be projected and displayed in the method of the present invention.
FIG. 7 is a diagram showing an example of a display image according to the method of the present invention.
FIG. 8 is a diagram showing another example of a display image according to the method of the present invention.
FIG. 9 is an explanatory diagram of still another example of a display image according to the method of the present invention.
FIG. 10 is a block diagram showing a hardware configuration example to which the method of the present invention can be applied.
FIG. 11 is an explanatory diagram of a coordinate conversion method using a center projection method in a three-dimensional image configuration used in the method of the present invention.
FIG. 12 is an explanatory diagram of a pixel value interpolation method for positions on a projection line between adjacent 2CT images used in the method of the present invention.
FIG. 13 is a flowchart for explaining the interpolation method of the above.
FIG. 14 is an explanatory diagram of processing when it is determined no in step 72 in the flowchart shown in FIG. 13;
FIG. 15 is an explanatory diagram of a pixel value interpolation method for a position on a projection line between adjacent two CT images that is conventionally known.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 200 ... CPU, 201 ... Main memory, 202 ... Magnetic disk, 203 ... Display memory, 204 ... Mouse controller, 205 ... CRT monitor, 206 ... Mouse, 207 ... Common bus, 208 ... Keyboard.
