JP3623276B2

JP3623276B2 - 3D image display method

Info

Publication number: JP3623276B2
Application number: JP09758695A
Authority: JP
Inventors: 尚子中村; 良洋後藤
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 1995-03-31
Filing date: 1995-03-31
Publication date: 2005-02-23
Anticipated expiration: 2020-02-23
Also published as: JPH08273004A

Description

【０００１】
【産業上の利用分野】
本発明は、三次元原画像の内視鏡的映像化を行う疑似三次元画像を形成して表示する方法に関し、特に新たな視点位置の入力に関する。
【０００２】
【従来の技術】
従来、三次元原画像の内視鏡的映像化を行い、形状観察のために三次元空間内の視点を変える際の視点と投影面の更新は、三次元の視点位置、視線方向、視点と投影面の距離を試行錯誤しながら設定し、キー入力することで行われてきた。
【０００３】
【発明が解決しようとしている課題】
キー入力による視点位置の更新では、画像上での視点と画像の対応関係がつきにくく、視点の更新がやりにくいという問題があった。そこで、画面上で画像との位置関係を把握しながら自由に視点を設定し、視点更新を行えることが必要となる。
【０００４】
本発明の目的は、表示画面上の画像に対し、マウスによって二次元ＣＲＴ上で次の三次元空間内の視点位置を入力する方法を提供し、キー入力なしで画面の更新を行えるようにすることである。
【０００５】
【課題を解決するための手段】
上記目的は、視点からの視線方向に三次元原画像、投影面の順で配置し、その配置状態で前記投影面に前記三次元原画像を投影して疑似三次元画像を形成し、該形成された疑似三次元画像を表示装置に表示する工程と、該表示された疑似三次元画像内に現視点とは異なる位置に視点移動方向を設定する点を入力する工程と、前記現視点と前記視点移動方向設定点とを結ぶライン上に基準点を設定する工程と、該設定された基準点を通る仮想平面を求める工程と、前記仮想平面内に新たな視点を設定する工程と、を含むことで達成される。
【０００６】
【作用】
上記達成手段は、以上のような構成を有しているので、基準点を表示された三次元画像内に任意に設定し、この基準点と現に表示されている三次元画像の視点とに基づいて設定した視点設定平面とを表示し、この視点設定平面上に新たな視点を設定するから、キー入力なしで画面の更新を行える。
【０００７】
【実施例】
図１は、本発明の処理の流れである。ただし、ステップ１の初期画面設定は、上記公報に記載した既存の手順による。
各ステップを説明する。
【０００８】
ステップ１では、疑似三次元画像の初期画像を表示する。疑似三次元画像は、中心投影法により視点と投影面との間に介在する三次元画像を投影面に投影した画像を、陰影化処理して得た画像である。表示方法は特願平６−３４９２号に記載の方法を用いる。
初期画像の表示において、視点と視線方向と投影面は初期設定されたものである。
また、表示画面には、図２に示すように、「設定」「再構成」「終了」の３つのアイコンを表示する。
【０００９】
ステップ２では、終了アイコンが選択されたか否かの判断を行う。終了アイコンが選択された場合、プログラムを終了させる。この選択は操作者が行う。
【００１０】
ステップ３では、設定アイコンが選択されたか否かの判断を行う。設定アイコンが選択された場合、ステップ５に移る。この選択は操作者が行う。
【００１１】
ステップ４では、再構成アイコンが選択されたか否かの判断を行う。このステップで再構成アイコンが選択された場合は無視する。この選択は操作者が行う。
【００１２】
ステップ５では、次に見たいと思う方向の任意点Ａを指定する。この指定は操作者が行う。
【００１３】
ステップ６では、新視点を設定するための画面の表示を行う。図２に、新視点の設定のための表示画面遷移図を示す。マウスで画面上の視点を移動させたい方向Ａを指定する（図２（ａ））。現視点の投影面である画面中心ＣとＡを結ぶ線分を表示し、線分上に仮想設定のためのＭ点と直線Ｊ，Ｋを表示する（図２（ｂ））。Ｍをドラックすることで仮想平面を任意に設定する（図２（ｃ））。仮想平面に新視点Ｅ’を設定する（図２（ｄ））。
仮想平面を表す直線Ｊ，Ｋを表示する際、直線Ｊ，Ｋの位置がＣＴ断層像より視点の近くにあるか、遠くにあるかで、区別して表示することにする。投影面上と空間上の位置関係の変換は、以下のように行う。
視点と断層像、投影面、座標軸の位置関係を図３に示す。これは特願平６−３４９２号に示された図であり、三次元座標系と投影面座標系の変換も特願平６−３４９２号に示された変換式を用いて行う。
【００１４】
図３において、座標変換は次のように行われる。
ここで、
ａはｘ軸と投影面２１の交わる点、ｂはｙ軸と投影面２１の交わる点、ｃはｚ軸と投影面２１の交わる点である。
また、αは原点から投影面２１に降ろした垂線をｚ−ｘ面に投影した線がｘ軸となす角度、βは前記垂線がｘ−ｚ面となす角度である。
ｅ点（ｘ１，ｙ１，ｚ１）は視点ｅの位置、Ｐ点（（ｘ，ｙ，ｚ）は投影面（表示画面に相当する）２１上の点、Ｓ点（ｘ０，ｙ０，ｚ０）はｅ点（ｘ１，ｙ１，ｚ１）とＰ点（（ｘ，ｙ，ｚ）を通る直線２２と断層像２３の交わる点とすると、投影面Ｃ１点（ｘｃ１，ｙｃ１，ｚｃ１）を通るとき、特願平６−３４９２号より、
ｋ１＝ｓｉｎ α
ｋ２＝ｃｏｓ α／ｓｉｎ β
ｋ３＝ｃｏｓ α・ｃｏｓ α／ｓｉｎ β
ａｉ＝１／ａ
ｂｉ＝１／ｂ
ｃｉ＝１／ｃ
として、
【数１】

【数２】

【数３】

を用いて（Ｘ，Ｙ）から（ｘ，ｙ，ｚ）へ変換を行う。
【００１５】
さらに、これに新視点設定のための平面が加わると、図４のような位置関係になる。
直線Ｊ，Ｋで示される平面Ｑは、三次元座標系では、投影面上の点Ｍに投影されたｍは、点Ａに投影されたＣＴ画像上の点Ａ０と視点ｅを結ぶ線分Ａ０ｅを、投影面上でのＡＭ：ＭＣの割合で分割する点として定義する。
直線Ｊ，Ｋは、投影面上において点Ｍで直交して表示する。
投影面上の直線上の点（ＸＪ，ＹＪ）の投影前の位置（ｘＪ，ｙＪ，ｚＪ）は、点（ＸＪ，ＹＪ）の三次元座標（ｘＪ，ｙＪ，ｚＪ）を通り、点Ｍと点ｍを結ぶ直線に平行直線が、平面Ｑと交わる点として算出する。算出した点と視点の距離を求め、現在表示されている像より、視点に近い位置の場合、直線をかく。
【００１６】
以下、具体的に説明する。
画面の表示課程を図５に示す。
【００１７】
ステップ５０では、指定された点Ａと画面中央の点Ｃの、表示面での座標値を用いて、線分ＡＣを表示する。
【００１８】
ステップ５１では、ステップ５０で表示した線分ＡＣの中点Ｍ点の初期位置トロイダルして表示する。
【００１９】
ステップ５２では、点Ａに対応するＣＴ画像上の点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を算出する。
（数１）〜（数３）を用いて点Ａの投影面上の座標（ＸＡ，ＹＡ）から三次元座標値（ｘＡ，ｙＡ，ｚＡ）を算出する。また、輝度値として保存されている値から、視点と断層像上の点Ａ０の距離を算出して、視点ｅと点Ａの間を線分ＡＡ０：線分Ａ０ｅに分割する座標として、点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を求める。
【００２０】
ステップ５３では、点ｍの座標点を求める。
点Ａ（ＸＡ，ＹＡ）、点Ｃ（ＸＣ，ＹＣ）、点Ｍ（ＸＭ，ＹＭ）とし、以下の（数４）、（数５）にてＡＭとＣＭの長さを求める。
【数４】

【数５】

さらに、現視点ｅ（ｘ１，ｙ１，ｚ１）と点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を結ぶ線分Ａ０ｅをＡＭ：ＣＭで分ける点ｍ（ｘｍ，ｙｍ，ｚｍ）を以下から算出する。
【数６】

【数７】

【数８】

【００２１】
ステップ５４では、点Ｍ（ＸＭ，ＹＭ）の三次元座標（ｘＭ，ｙＭ，ｚＭ）を（数１）〜（数３）を用いて算出する。
【００２２】
ステップ５５では、直線Ｍｍの式を求める。点ｍ（ｘｍ，ｙｍ，ｚｍ）から直線Ｍｍは（数９）で表される。
【数９】

【００２３】
ステップ５６では、点ｍを通り線分Ａ０ｅに垂直な平面Ｑを求める。点ｍ（ｘｍ，ｙｍ，ｚｍ）を通り、法線ベクトルが（ｘ１−ｘＡ０ｅ，ｙ１−ｙＡ０ｅ，ｚ１−ｚＡ０ｅ）である平面なので、（数１０）で表される。
【数１０】

【００２４】
ステップ５７では、投影面上で仮想平面を表す直線上の点（ＸＪ，ＹＪ）を、三次元座標上の座標（ｘＪ，ｙＪ，ｚＪ）に変換する。
【００２５】
ステップ５８では、ステップ５７で求めた座標をとり、直線Ｍｍに平行直線を求める。直線Ｍｍに平行であるから方向ベクトルが同じであり、ステップ５７で求めた座標も通るので、
【数１１】

のようになる。
【００２６】
ステップ５９では、平面Ｑとステップ５８で求めた直線の交点を求める。
（数１１）＝ｔとおくと、
【数１２】

【数１３】

【数１４】

これらで求めたｘ，ｙ，ｚで（数１０）をみたすものが交点となる。（数１２）〜（数１４）を（数１０）に代入して、ｔの値を求めると、以下のようになる。
【数１５】

このｔの値を、（数１２）〜（数１４）に代入して得られた交点を投影面上の直線Ｊ（あるいは直線Ｋ）上のある点の、投影前の三次元位置とする。
【００２７】
ステップ６０では、ステップ５９で求めた点の視点からの距離を求める。
【００２８】
ステップ６１では、ステップ６０で求めた距離が、ＣＴ画像の位置より視点に近い場合、投影面に直線を引く。
【００２９】
ステップ７では、終了アイコンが選択されたか否かの判断を行う。終了アイコンが選択された場合、プログラムを終了させる。この選択は操作者が行う。
【００３０】
ステップ８では、点Ｍが移動したかどうかを判断する。Ｍの移動は、操作者がＭ上をクリックしながら線分ＡＣ上を動かすことで行う（図２（ｃ））。移動した場合、ステップ９へ移る。
【００３１】
ステップ９では、Ｍの移動に合わせ、Ｍで直交するＪ，Ｋを移動して、仮想平面を移動する。移動した際の、Ｍと仮想平面の再表示は、上記ステップ５１〜６１と同様に行う。
【００３２】
ステップ１０では、仮想平面上の点がクリックされたかどうかを判断する。仮想平面上の点のクリックは、操作者が行う。仮想平面上の点がクリックされた場合は、ステップ１１に移る。
【００３３】
ステップ１１では、仮想平面上でクリックされた点を新視点位置として、画面上に表示する（図２（ｄ））。
【００３４】
ステップ１２では、新視点位置で画像の再構成を行うかの判断をする。再構成が選択された場合、ステップ１３に移る。
【００３５】
ステップ７からステップ１２の間で「設定」がクリックされても無視する。
ステップ１３では、仮想平面上の指定点から三次元空間内の視点位置を算出し、画像の再構成を行う。再構成の際、指定点から三次元空間内の視点位置を算出する方法は、上記、投影面状の直線の各点の三次元位置を求める方法と同じく、指定点Ｅ’を通り直線Ｍｍに平行な直線と平面と交点を新視点ｅ’の位置とする。
【００３６】
新投影面を決めるためには、ｘｙｚ座標系の原点から投影面に降ろした垂線のｚ−ｘ面への投影線がｘ軸となす角αと、前記垂線がｘ−ｚ面となす角βの値が必要となる。視線方向はｅ’Ａ０となるので、そこからα、βの値を求める。その後、初期画面表示と同様の処理にて、画像を表示する。
【００３７】
図６は再構成処理の流れである。各ステップを説明する。
【００３８】
ステップ１３０では、投影面上の線分ＡＭとＣＭの長さの比を（数４）、（数５）にて求める。
【００３９】
ステップ１３１では、点Ａに対応するＣＴ画像上の点Ａ０の座標を計算する。
【００４０】
ステップ１３２では、現視点ｅ（ｘ１，ｙ１，ｚ１）と点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を結ぶ線分Ａ０ｅをＡＭ：ＣＭで分ける点ｍ（ｘｍ，ｙｍ，ｚｍ）を（数４）、（数５）、（数６）、（数７）、（数８）によって算出する。
【００４１】
ステップ１３３では、点ｍを通り線分Ａ０ｅに垂直な平面Ｑを（数１０）から求める。
【００４２】
ステップ１３４では、直線Ｍｍを（数９）から求める。
【００４３】
ステップ１３５では、新視点Ｅ’のｘｙｚ座標（ｘＥ’，ｙＥ’，ｚＥ’）を上記（数１）、（数２）、（数３）にて求める。この際、Ｘ＝ＸＥ’，Ｙ＝ＹＥ’である。
【００４４】
ステップ１３６では、直線Ｍｍに平行で点Ｅ’を通る直線Ｒを求める。直線Ｍｍに平行であるから方向ベクトルが同じであり、点Ｅ’をとおるから、以下で表される。
【数１６】

【００４５】
ステップ１３７では、平面Ｑ（数１０）と直線Ｒ（数１６）の交点を求める。（数１６）＝ｔとおくと、
【数１７】

【数１８】

【数１９】

これら、ｘ，ｙ，ｚで（数１０）をみたすものが交点となる。（数１７）〜（数１９）を（数１０）に代入してｔの値を求めると、以下のようになる。
【数２０】

【００４６】
ステップ１３８では、このｔの値を、（数１７）〜（数１９）に代入して得られた交点を新視点ｅ’の座標（ｘｅ’，ｙｅ’，ｚｅ’）とする。
【００４７】
ステップ１３９では、新視点ｅ’とＣＴ画像上の点Ａ０を結んだ方向を新しい視線方向とし、新たな投影面のα、βは、図７のような位置関係になる。
【数２１】

【数２２】

とおくと、
【数２３】

【数２４】

であるから、
【数２５】

【数２６】

以上により、α、βが定まる。
【００４８】
ステップ１４０では、上記ステップにて算出されたパラメータを用いて、新しい投影面を算出し投影像を作り、陰影化、陰面化処理を行い表示する。手順はステップ１の初期画面の設定と同様である。
【００４９】
図８は本発明が適用可能なハードウエア構成例を示すブロック図である。この図８において、７０はＣＰＵ、７１は主メモリ、７２は磁気ディスク、７３は表示メモリ、７５はマウスコントローラで、これらは共通バス７７に接続されている。磁気ディスク７２には、複数の断層像および座標変換や陰影づけのためのプログラムなどが格納されている。
ＣＰＵ７０は、これら複数の断層像および座標変換や陰影づけのためのプログラムを読み出し、主メモリ７１を用いて三次元画像を再構成し、その結果を表示メモリ７３に送り、ＣＲＴモニタ７４に表示させる。マウスコントローラ７５に接続されてマウス７６は、表示された三次元画像に対し、視点位置の再指定に用いる。得られた画像は、必要に応じて磁気ディスク７２に格納される。
【００５０】
上記実施例では、視点設定平面を法線から求めたが、法線でなくても、ｍ点を通って、かつ視点設定平面が画面に表示でき、マウスによってその平面の一点をポイントできる如何なる場合も含む。例えば、視点決定平面を投影面に平行に配置される場合がある。
【００５１】
また、仮想視点設定平面を十字カーソルとしたのは、仮想視点設定平面が決定医されて視点設定平面となるまで移動させる必要が有るので、描画速度が遅くなることと、いくつも平面が表示されると画像が見づらくなるからであるが、描画速度はプロセッサの処理速度の問題であり高速処理ができるようになれば解決され、平面を多重させて表示することは表示色、表示濃度の組合せで対応することができる。さらに、十字カーソールとしないで、仮想視点設定平面を示せるものであれば、どのような表示でもよい。
【００５２】
さらに、マウスをポインティングデバイス入力の手段としたが、画面上を点入力できるものであれば、全ての入力手段による上記実施例の実施ができる。前記入力手段の一例を挙げれば、トラック・ボール、ジョイ・スティック、タッチパネル、ライトペンなどがある。
【００５３】
【発明の効果】
本発明によれば、キー入力なしで画面の更新を行える。
また、二次元である投影面上で、画像との位置関係を踏まえながら、次の視点を指定することができるようになる。
【図面の簡単な説明】
【図１】本発明の流れを示すフローチャートである。
【図２】新しい視点を指定するため、仮想平面を表示した場合のＣＲＴモニタ画面を示す図である。
【図３】断層像の画素座標の投影面上の座標への変換を説明するための図である。
【図４】投影面と新しい視点の存在する平面との位置関係を示す図である。
【図５】図２に示す仮想平面の画面表示を行うための手順を示すフローチャートである。
【図６】新しい視点で画像の再構成を行う場合の処理を示すフローチャートである。
【図７】新たな投影面の視線方向を表す図である。
【図８】本発明が適応可能なハードウエア構成を示すブロック図である。
【符号の説明】
ｘｘ軸
ｙｙ軸
ｚｚ軸
２１投影面
２２直線
２３断層像
２４平面Ｑ
ｅ視点（視点の位置）
Ｐ投影面上の点
ＳｅとＰを通る直線と断層像の交わる点
Ｘ投影面上のＸ軸
Ｙ投影面上のＹ
Ｃ１視点から投影面に下ろした垂線と投影面との交点
α 原点から投影面２１に下ろした垂線をｚ−ｘ面に投影した線がｘ軸となす角
β 原点から投影面２１に下ろした垂線がｘ−ｚ面となす角
ａｘ軸と投影面２１の交わる点
ｂｙ軸と投影面２１の交わる点
ｃｚ軸と投影面２１の交わる点
Ａ投影面上の任意の指定点
Ａ０断層像上の点
Ｃ画面中心点（視点の投影点）
Ｍ投影面上の線分ＡＣ上の点
Ｋ，Ｊ仮想平面
Ｅ’ 投影面上で指定した新視点
ｅ’ 新視点（新視点の位置）
ｍＭに対応する空間上の点[0001]
[Industrial application fields]
The present invention relates to a method for forming and displaying a pseudo three-dimensional image for performing endoscopic visualization of a three-dimensional original image, and more particularly to input of a new viewpoint position.
[0002]
[Prior art]
Conventionally, the 3D original image is converted into an endoscopic image, and the viewpoint and projection plane are updated when changing the viewpoint in the 3D space for shape observation. This has been done by setting the distance of the projection plane through trial and error and entering keys.
[0003]
[Problems to be solved by the invention]
In updating the viewpoint position by key input, there is a problem that it is difficult to establish a correspondence between the viewpoint on the image and the image, and it is difficult to update the viewpoint. Therefore, it is necessary to set the viewpoint freely while grasping the positional relationship with the image on the screen and to update the viewpoint.
[0004]
An object of the present invention is to provide a method for inputting a viewpoint position in the next three-dimensional space on a two-dimensional CRT by using a mouse with respect to an image on a display screen so that the screen can be updated without key input. That is.
[0005]
[Means for Solving the Problems]
The purpose is to arrange a three-dimensional original image in the order of the line of sight from the viewpoint and the projection plane in this order, and project the three-dimensional original image on the projection plane in the arrangement state to form a pseudo three-dimensional image. and displaying a pseudo three-dimensional image on the display device, and a step of inputting a point that sets a viewpoint movement direction at a position different from the current viewpoint to the displayed in pseudo three-dimensional image, and the current viewpoint the Including a step of setting a reference point on a line connecting the viewpoint movement direction setting point, a step of obtaining a virtual plane passing through the set reference point , and a step of setting a new viewpoint in the virtual plane Is achieved.
[0006]
[Action]
Since the above achievement means has the above-described configuration, a reference point is arbitrarily set in the displayed three-dimensional image, and based on the reference point and the viewpoint of the currently displayed three-dimensional image. The viewpoint setting plane set in this way is displayed and a new viewpoint is set on this viewpoint setting plane, so that the screen can be updated without key input.
[0007]
【Example】
FIG. 1 is a process flow of the present invention. However, the initial screen setting in step 1 is in accordance with the existing procedure described in the above publication.
Each step will be described.
[0008]
In step 1, an initial image of a pseudo three-dimensional image is displayed. The pseudo three-dimensional image is an image obtained by shading an image obtained by projecting a three-dimensional image interposed between the viewpoint and the projection plane onto the projection plane by the central projection method. As the display method, the method described in Japanese Patent Application No. 6-3492 is used.
In the display of the initial image, the viewpoint, the line-of-sight direction, and the projection plane are initially set.
Further, as shown in FIG. 2, three icons of “setting”, “reconfiguration”, and “end” are displayed on the display screen.
[0009]
In step 2, it is determined whether an end icon has been selected. When the end icon is selected, the program is terminated. This selection is made by the operator.
[0010]
In step 3, it is determined whether a setting icon has been selected. If the setting icon is selected, the process proceeds to step 5. This selection is made by the operator.
[0011]
In step 4, it is determined whether or not a reconstruction icon has been selected. Ignore if the reconfiguration icon is selected in this step. This selection is made by the operator.
[0012]
In step 5, an arbitrary point A in the direction that the user wants to see next is designated. This designation is made by the operator.
[0013]
In step 6, a screen for setting a new viewpoint is displayed. FIG. 2 shows a display screen transition diagram for setting a new viewpoint. The direction A in which the viewpoint on the screen is to be moved is designated with the mouse (FIG. 2 (a)). A line segment connecting the screen centers C and A, which is the projection plane of the current viewpoint, is displayed, and M points and straight lines J and K for virtual setting are displayed on the line segment (FIG. 2B). A virtual plane is arbitrarily set by dragging M (FIG. 2C). A new viewpoint E ′ is set on the virtual plane (FIG. 2D).
When the straight lines J and K representing the virtual plane are displayed, the lines J and K are distinguished from each other depending on whether the positions of the straight lines J and K are closer to the viewpoint or farther than the CT tomogram. The positional relationship between the projection plane and the space is converted as follows.
FIG. 3 shows the positional relationship between the viewpoint, the tomographic image, the projection plane, and the coordinate axes. This is a diagram shown in Japanese Patent Application No. 6-3492, and the conversion between the three-dimensional coordinate system and the projection plane coordinate system is also performed using the conversion formula shown in Japanese Patent Application No. 6-3492.
[0014]
In FIG. 3, the coordinate conversion is performed as follows.
here,
a is a point where the x-axis and the projection plane 21 intersect, b is a point where the y-axis and the projection plane 21 intersect, and c is a point where the z-axis and the projection plane 21 intersect.
Further, α is an angle formed by a line projected from the origin to the projection plane 21 on the zx plane and the x axis, and β is an angle formed by the perpendicular and the xz plane.
The point e (x1, y1, z1) is the position of the viewpoint e, the point P ((x, y, z) is the point on the projection plane (corresponding to the display screen) 21, and the point S (x0, y0, z0) is Assuming that the line 22 passing through the point e (x1, y1, z1) and the point P ((x, y, z) and the tomographic image 23 intersect, when passing through the projection plane C1 point (xc1, yc1, zc1) From No. 6-3492
k1 = sin α
k2 = cos α / sin β
k3 = cos α · cos α / sin β
ai = 1 / a
bi = 1 / b
ci = 1 / c
As
[Expression 1]

[Expression 2]

[Equation 3]

Is used to convert (X, Y) to (x, y, z).
[0015]
Furthermore, when a plane for setting a new viewpoint is added to this, the positional relationship is as shown in FIG.
In the three-dimensional coordinate system, the plane Q indicated by the straight lines J and K is a line segment A0e connecting the point A0 on the CT image projected onto the point A and the viewpoint e in the three-dimensional coordinate system. Is defined as a point to be divided at a ratio of AM: MC on the projection plane.
The straight lines J and K are displayed orthogonally at a point M on the projection plane.
The position (xJ, yJ, zJ) before projection of the point (XJ, YJ) on the straight line on the projection plane passes through the three-dimensional coordinates (xJ, yJ, zJ) of the point (XJ, YJ) and A straight line parallel to the straight line connecting the points m is calculated as a point where the plane Q intersects. The distance between the calculated point and the viewpoint is obtained, and if the position is closer to the viewpoint than the currently displayed image, a straight line is drawn.
[0016]
This will be specifically described below.
The screen display process is shown in FIG.
[0017]
In step 50, the line segment AC is displayed using the coordinate values on the display surface of the designated point A and the point C in the center of the screen.
[0018]
In step 51, the initial position of the midpoint M of the line segment AC displayed in step 50 is toroidal and displayed.
[0019]
In step 52, a point A0 (xA0, yA0, zA0) on the CT image corresponding to the point A is calculated.
The three-dimensional coordinate values (xA, yA, zA) are calculated from the coordinates (XA, YA) of the point A on the projection plane using (Equation 1) to (Equation 3). Further, the distance between the viewpoint and the point A0 on the tomographic image is calculated from the value stored as the luminance value, and the point A0 is used as a coordinate for dividing the line between the viewpoint e and the point A into the line segment AA0: line segment A0e. (XA0, yA0, zA0) is obtained.
[0020]
In step 53, the coordinate point of the point m is obtained.
The points A (XA, YA), C (XC, YC), and M (XM, YM) are used, and the lengths of AM and CM are obtained by the following (Equation 4) and (Equation 5).
[Expression 4]

[Equation 5]

Further, a point m (xm, ym, zm) for dividing the line segment A0e connecting the current viewpoint e (x1, y1, z1) and the point A0 (xA0, yA0, zA0) by AM: CM is calculated from the following.
[Formula 6]

[Expression 7]

[Equation 8]

[0021]
In step 54, the three-dimensional coordinates (xM, yM, zM) of the point M (XM, YM) are calculated using (Equation 1) to (Equation 3).
[0022]
In step 55, the equation of the straight line Mm is obtained. From the point m (xm, ym, zm), the straight line Mm is expressed by (Equation 9).
[Equation 9]

[0023]
In step 56, a plane Q that passes through the point m and is perpendicular to the line segment A0e is obtained. Since the plane passes through the point m (xm, ym, zm) and the normal vector is (x1−xA0e, y1−yA0e, z1−zA0e), it is expressed by (Equation 10).
[Expression 10]

[0024]
In step 57, the point (XJ, YJ) on the straight line representing the virtual plane on the projection plane is converted into coordinates (xJ, yJ, zJ) on the three-dimensional coordinates.
[0025]
In step 58, the coordinates obtained in step 57 are taken, and a straight line parallel to the straight line Mm is obtained. Since the direction vector is the same because it is parallel to the straight line Mm, and the coordinates obtained in step 57 also pass,
[Expression 11]

become that way.
[0026]
In step 59, the intersection of the plane Q and the straight line obtained in step 58 is obtained.
If (Expression 11) = t,
[Expression 12]

[Formula 13]

[Expression 14]

An intersection is obtained by satisfying (Equation 10) with x, y, and z obtained as described above. Substituting (Equation 12) to (Equation 14) into (Equation 10) to obtain the value of t is as follows.
[Expression 15]

The intersection obtained by substituting the value of t into (Equation 12) to (Equation 14) is the three-dimensional position before projection of a point on the straight line J (or straight line K) on the projection plane.
[0027]
In step 60, the distance from the viewpoint of the point obtained in step 59 is obtained.
[0028]
In step 61, when the distance obtained in step 60 is closer to the viewpoint than the position of the CT image, a straight line is drawn on the projection plane.
[0029]
In step 7, it is determined whether an end icon has been selected. When the end icon is selected, the program is terminated. This selection is made by the operator.
[0030]
In step 8, it is determined whether the point M has moved. The movement of M is performed by the operator moving on the line segment AC while clicking on M (FIG. 2C). If so, go to Step 9.
[0031]
In step 9, in accordance with the movement of M, the virtual plane is moved by moving J and K orthogonal to each other at M. The re-display of M and the virtual plane when moved is performed in the same manner as in steps 51 to 61 described above.
[0032]
In step 10, it is determined whether or not a point on the virtual plane has been clicked. The operator clicks a point on the virtual plane. If a point on the virtual plane is clicked, the process proceeds to step 11.
[0033]
In step 11, the clicked point on the virtual plane is displayed on the screen as the new viewpoint position (FIG. 2 (d)).
[0034]
In step 12, it is determined whether to reconstruct an image at the new viewpoint position. If reconfiguration is selected, go to step 13.
[0035]
Even if “Setting” is clicked between Step 7 and Step 12, it is ignored.
In step 13, the viewpoint position in the three-dimensional space is calculated from the designated point on the virtual plane, and the image is reconstructed. At the time of reconstruction, the method for calculating the viewpoint position in the three-dimensional space from the designated point is the same as the method for obtaining the three-dimensional position of each point of the projection plane-like straight line, passing through the designated point E ′ to the line Mm. The intersection of the parallel straight line, the plane and the plane is set as the position of the new viewpoint e ′.
[0036]
In order to determine a new projection plane, an angle α formed by the projection line on the z-x plane of the perpendicular drawn from the origin of the xyz coordinate system to the x-axis and an angle β formed by the perpendicular formed by the xz plane. The value of is required. Since the line-of-sight direction is e′A0, the values of α and β are obtained therefrom. Thereafter, the image is displayed by the same processing as the initial screen display.
[0037]
FIG. 6 shows the flow of the reconstruction process. Each step will be described.
[0038]
In step 130, the ratio of the length of the line segment AM and CM on the projection surface is obtained by (Equation 4) and (Equation 5).
[0039]
In step 131, the coordinates of the point A0 on the CT image corresponding to the point A are calculated.
[0040]
In step 132, a point m (xm, ym, zm) for dividing the line segment A0e connecting the current viewpoint e (x1, y1, z1) and the point A0 (xA0, yA0, zA0) by AM: CM is expressed by (Equation 4), Calculation is performed using (Equation 5), (Equation 6), (Equation 7), and (Equation 8).
[0041]
In step 133, a plane Q that passes through the point m and is perpendicular to the line segment A0e is obtained from (Equation 10).
[0042]
In step 134, the straight line Mm is obtained from (Equation 9).
[0043]
In step 135, the xyz coordinates (xE ′, yE ′, zE ′) of the new viewpoint E ′ are obtained by the above (Equation 1), (Equation 2), and (Equation 3). At this time, X = XE ′ and Y = YE ′.
[0044]
In step 136, a straight line R parallel to the straight line Mm and passing through the point E ′ is obtained. Since the direction vector is the same because it is parallel to the straight line Mm and passes through the point E ′, it is expressed below.
[Expression 16]

[0045]
In step 137, the intersection of the plane Q (Equation 10) and the straight line R (Equation 16) is obtained. If (Expression 16) = t,
[Expression 17]

[Expression 18]

[Equation 19]

Those that satisfy (Equation 10) with x, y, z are intersections. Substituting (Equation 17) to (Equation 19) into (Equation 10) to obtain the value of t is as follows.
[Expression 20]

[0046]
In step 138, the intersection obtained by substituting the value of t into (Equation 17) to (Equation 19) is set as the coordinates (xe ′, ye ′, ze ′) of the new viewpoint e ′.
[0047]
In step 139, the direction connecting the new viewpoint e ′ and the point A0 on the CT image is set as the new line-of-sight direction, and α and β of the new projection plane are in the positional relationship as shown in FIG.
[Expression 21]

[Expression 22]

After all,
[Expression 23]

[Expression 24]

Because
[Expression 25]

[Equation 26]

As described above, α and β are determined.
[0048]
In step 140, a new projection plane is calculated using the parameters calculated in the above step, a projection image is created, and shading and shading processing are performed and displayed. The procedure is the same as the initial screen setting in step 1.
[0049]
FIG. 8 is a block diagram showing a hardware configuration example to which the present invention can be applied. In FIG. 8, 70 is a CPU, 71 is a main memory, 72 is a magnetic disk, 73 is a display memory, 75 is a mouse controller, and these are connected to a common bus 77. The magnetic disk 72 stores a plurality of tomographic images and programs for coordinate conversion and shading.
The CPU 70 reads the plurality of tomographic images and programs for coordinate transformation and shading, reconstructs a three-dimensional image using the main memory 71, sends the result to the display memory 73, and displays it on the CRT monitor 74. . The mouse 76 connected to the mouse controller 75 is used for re-designating the viewpoint position for the displayed three-dimensional image. The obtained image is stored in the magnetic disk 72 as necessary.
[0050]
In the above embodiment, the viewpoint setting plane is obtained from the normal line. However, in any case where the viewpoint setting plane can be displayed on the screen through the m point even if it is not the normal line, and one point of the plane can be pointed with the mouse. Including. For example, the viewpoint determination plane may be arranged parallel to the projection plane.
[0051]
In addition, the cross point cursor is used as the virtual viewpoint setting plane because it is necessary to move the virtual viewpoint setting plane until the virtual viewpoint setting plane becomes the viewpoint setting plane, so that the drawing speed is slow and several planes are displayed. This is because it is difficult to see the image, but the drawing speed is a problem of the processing speed of the processor, and it will be solved if high-speed processing is possible, and the display of multiple planes is a combination of display color and display density. Can respond. Further, any display may be used as long as the virtual viewpoint setting plane can be displayed without using the cross cursor.
[0052]
Further, although the mouse is used as the pointing device input means, the above-described embodiment can be implemented by all input means as long as the point can be input on the screen. Examples of the input means include a track ball, a joy stick, a touch panel, and a light pen.
[0053]
【The invention's effect】
According to the present invention, the screen can be updated without key input.
Further, the next viewpoint can be designated on the two-dimensional projection plane while taking into account the positional relationship with the image.
[Brief description of the drawings]
FIG. 1 is a flowchart showing the flow of the present invention.
FIG. 2 is a diagram showing a CRT monitor screen when a virtual plane is displayed in order to designate a new viewpoint.
FIG. 3 is a diagram for explaining conversion of pixel coordinates of a tomographic image into coordinates on a projection plane.
FIG. 4 is a diagram illustrating a positional relationship between a projection plane and a plane where a new viewpoint exists.
FIG. 5 is a flowchart showing a procedure for performing screen display of the virtual plane shown in FIG. 2;
FIG. 6 is a flowchart illustrating processing when image reconstruction is performed from a new viewpoint.
FIG. 7 is a diagram illustrating a line-of-sight direction of a new projection plane.
FIG. 8 is a block diagram showing a hardware configuration to which the present invention can be applied.
[Explanation of symbols]
x x axis y y axis z z axis 21 projection plane 22 straight line 23 tomographic image 24 plane Q
e Viewpoint (viewpoint position)
P The point where the line passing the points Se and P on the projection plane and the tomographic image intersect X The X axis Y on the projection plane Y on the projection plane
C1 Intersection α between a perpendicular drawn from the viewpoint to the projection plane and the projection plane α An angle formed by a line projected from the origin to the projection plane 21 on the zx plane to the x axis β A perpendicular drawn from the origin to the projection plane 21 An angle a made by the xz plane a point where the x axis intersects the projection plane 21 a point where the y axis intersects the projection plane 21 a point A where the z axis intersects the projection plane 21 any designated point A0 on the projection plane A tomographic image Top point C Screen center point (projection point of viewpoint)
M Point K on line segment AC on projection plane, J Virtual plane E 'New viewpoint e' specified on projection plane e 'New viewpoint (position of new viewpoint)
point in space corresponding to m M

Claims

A three-dimensional original image is arranged in the direction of the line of sight from the viewpoint, and the projection plane is arranged in this order, and the pseudo three-dimensional image is formed by projecting the three-dimensional original image on the projection plane in the arrangement state. A step of displaying an original image on a display device, a step of inputting a point for setting a viewpoint movement direction at a position different from the current viewpoint in the displayed pseudo three-dimensional image, and setting of the current viewpoint and the viewpoint movement direction A step of setting a reference point on a line connecting the points, a step of obtaining a virtual plane passing through the set reference point , and a step of setting a new viewpoint in the virtual plane, 3D image display method.