JP3851364B2 - 投影画像表示装置 - Google Patents
投影画像表示装置 Download PDFInfo
- Publication number
- JP3851364B2 JP3851364B2 JP23149695A JP23149695A JP3851364B2 JP 3851364 B2 JP3851364 B2 JP 3851364B2 JP 23149695 A JP23149695 A JP 23149695A JP 23149695 A JP23149695 A JP 23149695A JP 3851364 B2 JP3851364 B2 JP 3851364B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- projection
- projection plane
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、三次元原画像の内視鏡的映像化を行う投影画像表示装置に関する。
【０００２】
【従来の技術】
Ｘ線ＣＴ画像を積み上げて三次元原画像を得、この三次元原画像を投影して二次元画面上に表現する分野がある。手術や診断のための支援画像として利用することが多い。
投影法には一般に平行投影法が利用される。平行投影法とは平行光源（又は線状視点）を与えて、投影面に平行投影像を投影する投影法である。投影面は、表示面と同一サイズの場合もあれば、表示面のサイズよりも２倍とか４倍とか大きい場合もある。表示面のサイズよりも大きい場合には、投影面から表示サイズの画面を切り出して表示することになる。
【０００３】
【発明が解決しようとする課題】
平行投影法の他に、中心投影法がある。中心投影法は、点光源又は点視点を与えて、この点光源又は点視点から投影面に投影しようとするものである。投影面への投影はその点から放射状に拡がるような投影法となる。平行投影法と中心投影法とは表示の目的によって使い分ける。
【０００４】
Ｘ線ＣＴ画像を積み上げての三次元原画像に対する平行投影法では、その原画像の外形表示、任意の切断面表示、その切断面の奥側の表示等に使われる。中心投影法は、小さい穴から穴の外側を大きく見ようとする如き画像、例えば内視鏡的な観察像をその三次元原画像から得ようとする際に使われる。
【０００５】
また、いずれの投影法でも投影面への投影に際し、奥行きのある現実感の画像を得るようにしており、そのための方法として陰影化処理及び隠面化処理がされる。陰影化処理とは、投影面の画素値を、距離に応じて付与するものであり、遠い距離の画素位置に対しては投影画素値を小さく設定し、近い距離の画素位置に対しては投影画素値を大きく設定する処理を云う。一方、隠面化処理とは、１つの投影点に２つ以上の投影対象点からの投影がある場合、一番手前（又は一番奥側）の位置にある投影対象点のみを選ぶ処理を云う。かかる陰影化、隠面化処理で投影面に得られる画像は、擬次三次元画像と呼ばれる。
【０００６】
本件出願人は、中心投影法を利用して三次元原画像の投影を行うと共に、視点（点視点のこと、以下同じ）を移動させ、この移動に伴う内視鏡的にみた動画像を表示させることを特徴とする特許出願を行った（特願平６−１４３４９６）。
しかし、視点は三次元画像の奥行き方向の位置であるため、二次元平面としての表示画面上で、感覚的に設定することは容易でなかった。更に、視点位置の更新に際しても、連続的な更新は困難であり、その結果、実際の内視鏡による観察像に比べて迫力に欠けるとの問題があった。
更に、視点位置の更新は前進のみでなく、後退の例もあり、こうした前進及び後退を自在に使い分けての動画像の作成も要求されてきている。
【０００７】
本発明の目的は、中心投影法による内視鏡的な動画像で代表される動画像を得るに際し、視点位置の前進及び後退の切り分け及びそれによる前方、及び後方透映像を得ることを可能にする透視画像表示装置を提供するものである。
【０００８】
本発明は、断層像を積み上げて形成する積み上げ三次元原画像の投影画像を表示する投影画像表示装置において、
前記投影画像に対する視点を設定する手段と、
前記設定された視点よりも前方か視点よりも後方かを選択的に設定する設定手段と、
前方が選択されたときに、上記視点より前方にある対応する前方投影面上へ、視点と前方投影面との間にある積み上げ三次元原画像を投影して、前方投影画像を得、後方が選択されたときに、上記視点より後方にある後方投影面上へ、視点と後方投影面との間にある積み上げ三次元原画像を投影して、後方投影画像を得る処理手段と、
上記前方投影画像及び後方投影画像を表示面上に表示する表示手段と、を含む投影画像表示装置を開示する。
【０００９】
更に本発明は、断層像を積み上げて形成する積み上げ三次元原画像の投影画像を表示する投影画像表示装置において、
前記投影画像に対する視点を更新設定する手段と、
前記更新設定された視点よりも前方か視点よりも後方かを選択的に更新設定する設定手段と、
前方が選択されたときに、各更新毎の上記視点より前方にある対応する前方投影面上
へ、その更新時の視点と前方投影面との間にある積み上げ三次元原画像を投影して、前方投影画像を得、後方が選択されたときに、上記視点より後方にある対応する後方投影面上に、その更新時の視点と後方投影面との間にある積み上げ三次元原画像を投影して、後方投影画像を得る処理手段と、
上記前方投影画像及び後方投影画像を表示画面上に表示する表示手段と、を含む投影画像表示装置を開示する。
【００１１】
【発明の実施の形態】
図１は視点更新処理を含む動画表示の処理フローである。各ステップを説明する。
ステップ１では、初期画面を設定し、これを画面に表示する。図２は初期画面の説明図である。ＣＴ断層像を平行に積み上げておき、初期視点ｅの前方に設定した前方投影面ａに、初期視点ｅから中心投影した前方投影画像を、及び初期視点ｅの後方に設定した後方投影面ｂに、初期視点ｅから中心投影した後方投影画像を作成する。前方投影面ａと後方投影面ｂとは互いに平行で、且つ視点ｅから同一距離にある。ＣＴ断層像の対象部位は、例えば気管支壁や胃、腸の内壁である。視点ｅからみての前方画像及び後方画像は、いわゆる擬次三次元画像であり、先願たる特願平６−１４３４９６に記載したやり方によって作成した画像である。この画像の作成方法は、三次元原画像に対して視点とこの視点からの視線方向と投影面とを対にして、その三次元原画像の奥行き方向に向い且つ投影面がその視点からの視線方向に対して垂直になるように更新し、その視点位置及び視線方向から投影面に中心投影して画像を形成する方法である。尚、実施例では投影面ａと投影面ｂは平行で、視点ｅからの視線方向は互いに逆方向になっているが、これはあくまで代表的な例であり、考え方としては、平行でなくともよい。
【００１２】
図３は、初期画面の表示内容を示す。画面内に前方画像、後方画像の両者を表示させておくと共に、視点更新アイコン群Ｃを併せて表示させておく。視点更新アイコン群ｃは、視点更新具体アイコンｄ、前進・後退アイコンｆ、キー入力アイコンｇ、視点軌跡表示アイコンｈ、終了アイコンｉより成る。視点更新具体アイコンｄが視点更新の具体的な例を指示し、前進・後退アイコンｆが視点位置の前進か後退かを指示する。
【００１３】
ステップ２では前進か後退かのモード選択を行う。この詳細が図４のステップ２１〜２６による前進・後退のモード選択処理である。
ステップ２１では、マウスで前進・後退アイコンｆがクリックされたかを判断する。
ステップ２２では、クリックされたアイコンｆが前方であるか判断する。前方であればステップ２３に、それ以外であればステップ２４に移る。
ステップ２３では、前方画面上で指定された点だけを有効とするように設定し、ステップ３に移る。
ステップ２４では、クリックされたアイコンｆが後方であるか判断する。後方であればステップ２５に、それ以外であればステップ２６に移る。
ステップ２５では、後方画面上で指定された点だけを有効とするように設定し、ステップ３に移る。
ステップ２６では、クリックされたアイコンｆが終了であるか判断する。終了であればプログラムを終了し、それ以外であればステップ２１に戻る。
【００１４】
ステップ３では視点更新処理を行う。この視点更新処理の詳細図が図５〜図１２である。図５は視点更新処理の全体の流れである。
視点更新は、図３のアイコンｄに示すように、その時点の視点をマウスによって指定した位置に平行に移動する「視点平行移動」、指定した位置に視点を移動してさらに対象に近づく「視点前進移動」、投影面の角度をかえる「角度変化」、移動する視点の座標値をキーボードから入力する「キー入力」の各アイコンを指示することで行う。
ステップ３１では、クリックされたアイコンが具体アイコンｄの「視点平行移動」であるか判断する。「視点平行移動」であればステップ３２に移り、それ以外であればステップ３３に移る。
ステップ３２では、「視点平行移動」処理を行う。図６は、視点位置算出のための断層像、投影面、視点、指定点の位置関係である。ここで、マウスによる指定点をＡ（ＸA、ＹA）、Ａに投影された断層像上の位置をＡ0（ｘA0、ｙA0、ｚA 0）、視点位置をｅ（ｘ0、ｙ0、ｚ0）、移動後の新視点位置をｅ′（ｘe、ｙe、ｚe）、視点ｅから投影面に下ろした垂線と投影面との交点の三次元空間上の位置をＣ（ｃx、ｃy、ｃz）、断層像に平行で視点ｅを通る平面をＱ、ｅＣに平行でＡ0を通る直線をＲとする。指定点Ａは、現視点から平行移動した新視点を得るために使う。
【００１５】
ここで図６による平行移動例について説明する。
マウスで指定するＡは表示画面（投影面）上の一点である。この指定点Ａは、現視点ｅからの中心投影法による投影点であり、視点ｅが他の新視点に平行移動して得られた時の中心投影法による投影点ではない。そこで、現視点ｅから指定点Ａまでを結ぶ投影線ＬとＣＴ断層像Ｓとの交点Ａ0を求め、現視点ｅと投影面直交点Ｃ（直交点Ｃは、視点ｅと投影面Ｔとが定まれば一義的に定まる）とを結ぶ直線Ｒに平行で且つ交点Ａ0を通る直線Ｒ′を求める。直線Ｒ′と視点ｅの平行移動面Ｑとの交点をｅ′とすると、この交点ｅ′が、投影面上でのマウス指定点Ａに対応する、平行移動した時の新視点となる。そして、視点ｅ′に移しての中心投影法による投影像は、特願平６−１４３４９６によって得る。かかる視点ｅ′が次の新しい更新対象視点となる。
【００１６】
図７は視点の算出処理の流れである。各ステップを説明する。
ステップ３２１では、画面上がマウスで視点平行移動アイコンがクリックされるのを待つ。クリックされたらステップ３２２へ移る。
ステップ３２２では、表示中の初期画面中の前方画像ａか後方画像ｂかのいずれかが有効画面としてクリックされたかを判断する。図３のアイコンｆで前方アイコンか後方アイコンかをクリックすることで定まる。有効画面のクリックがされた場合はステップ３２３に移る。それ以外の時はステップ３２７に移る。
ステップ３２３では、クリックされた画面上の位置座標（ＸA、ＹA）から断層像上の位置Ａ0（ｘA0、ｙA0、ｚA0）を求める。これは、二次元座標系の投影面から三次元座標系の断層面Ｓへの座標変換式によって求める。ここで、（ＸA、ＹA）は、三次元空間上に位置する二次元投影面上での位置であり、（ｘA0、ｙA 0、ｚA0）は三次元空間上の位置を表す。Ａ0（ｘA0、ｙA0、ｚA0）の値は、画像の再構成処理（投影処理）の中で投影面上の（Ｘ、Ｙ）に対応する（ｘ、ｙ、ｚ）を記憶してあるので、（ＸA、ＹA）の値からすぐ得られる。
ステップ３２４では、断層像に平行で視点ｅを含む平面Ｑを求める。断層像は、三次元空間上にｘ−ｚ面に平行に配置されているので、断層像に平行で視点ｅを含む平面Ｑはｙ座標で規定できる。例えばｙ＝ｙ0となる。
【００１７】
ステップ３２５では、Ａ0を通りｅＣと平行な直線Ｒを求める。方向ベクトルは、（ｃx−ｘ0、ｃy−ｙ0、ｃz−ｚ0）であり、Ａ0（ｘA0、ｙA0、ｚA0）を通ることから、
【数１】
となる。
ステップ３２６では、平面Ｑと直線Ｒの交点を求める。交点のｙ座標はｙ0であるから、
【数２】
（ｘ−ｘA0）／（ｃx−ｘ0）＝（ｙ0−ｙA0）／（ｃy−ｙ0)
（ｚ−ｚA0）／（ｃz−ｚ0）＝（ｙ0−ｙA0）／（ｃy−ｙ0)
であり、数２より求められるｘ、ｚが交点の座標である。座標が得られたら、ステップ４へ移る。
ステップ３２７では、終了アイコンがクリックされたかの判断をする。終了アイコンがクリックされた場合はプログラムを終了し、それ以外の時はステップ３２１に戻る。
【００１８】
ステップ３３では、クリックされた具体アイコンが「視点前進移動」であるか判断する。「視点前進移動」であればステップ３に移り、それ以外であればステップ３５に移る。
ステップ３４では、「視点前進移動」処理を行う。図８は、この視点前進移動による視点位置再構成のための断層像、投影面、視点、指定点の位置関係である。ここで、マウスによる指定点をＡ（ＸA、ＹA）、Ａに投影された断層像上の位置をＡ0（ｘA0、ｙA0、ｚA0）、視点位置をｅ（ｘ0、ｙ0、ｚ0）、移動する視点位置をｅ′（ｘe、ｙe、ｚe）、視点ｅから投影面に下ろした垂線と投影面との交点の三次元空間上の位置をＣ（ｃx、ｃy、ｃz）、断層像に平行で視点ｅを通る平面をＱ、ｅＣに平行でＡ0を通る直線Ｒ、平面Ｑと直線Ｒとの交点Ｐ（ｘr、ｙr、ｚr）とする。
この視点前進移動の考え方は、図６と同じくマウス指定点Ａに対応する平行移動視点Ｐを求め、この平行移動視点Ｐから直線Ｒ′上にある距離だけ前進した位置ｅ′を、前進移動による新視点とするものである。ここで、直線Ｒ′上に沿って平行移動視点Ｐから前進するある距離とは、直線ＣＡ上のマウス指示点Ｍの位置によって定める。
【００１９】
図９は視点前進移動での視点の算出処理の流れである。各ステップを説明する。
ステップ３４１では、画面上がマウスで図３の「前進」アイコンがクリックされるのを待つ。クリックされたらステップ３４２へ移る。
ステップ３４２では、図３のアイコンｆによる前方か後方かのマウス指示による有効画面がクリックされたのかを判断する。有効画面がクリックされた場合はステップ３４３に移る。それ以外の時はステップ３５２に移る。
ステップ３４３では、上記ステップ３２３と同様に、クリックされた画面上の位置座標（ＸA、ＹA）から断層像上の位置Ａ0（ｘA0、ｙA0、ｚA0）を求める。ステップ３４４では、断層像に平行で視点ｅを含む平面Ｑを求める。上記ステップ３２４と同様に、ｙ＝ｙ0である。
ステップ３４５では、Ａ0を通りｅＣと平行な直線Ｒを求める。直線Ｒは、ステップ３２５と同様に数１で表される。
ステップ３４６では、平面Ｑと直線Ｒの交点Ｐ（ｘr、ｙr、ｚr）を求める。ステップ３２６と同様に、ｙr＝ｙ0であり、数２より求められるｘ、ｚが交点の座標ｘr、ｙrである。
ステップ３４７では、有効画面（前方画像を有効画面とした）上の左側に視点移動を指定するためのカーソルを表示する。
【００２０】
図１０に画面表示例を示す。指定された点Ａと画面中心に当たる点Ｃを結ぶ線分を表示し、線分ＡＣ上にカーソルＭを表示する。カーソルＭは、マウスでドラッグすることで線分ＡＣ上を移動するようにする。
ステップ３４８では、操作者によるカーソル位置の決定を待つ。
ステップ３４９では、ステップ３４８で決定されたＭの位置を用いて、線分ＡＭと線分ＭＣの長さを求める。
ステップ３５０では、線分ＡＭの長さをｓ、線分ＭＣの長さｔとして線分Ａ０Ｐをｓ：ｔに分割する点を以下の式で求める。
【数３】
ｘ＝（ｓ・ｘr＋ｔ・ｘA0）／（ｓ＋ｔ）
ｙ＝（ｓ・ｙr＋ｔ・ＹA0）／（ｓ＋ｔ）
ｚ＝（ｓ・ｚr＋ｔ・ｚA0）／（ｓ＋ｔ）
求めたｘ、ｙ、ｚを次の視点ｅ′（ｘe、ｙe、ｚe）とする。座標が得られたら、ステップ６９へ移る。
ステップ３５１では、終了アイコンがクリックされたのかを判断する。終了アイコンがクリックされた場合はプログラムを終了し、それ以外の時はステップ３４１に戻る。
【００２１】
ステップ３５では、クリックされた具体アイコンｄが「角度変化」（図３では「角度（マウス）」と表示）であるか判断する。「角度変化」であればステップ３６に移り、それ以外であればステップ３７に移る。
ステップ３６では、「角度変化」処理を行う。投影面の角度変化とは、表示画像の中心点を真上からみている状態から少しずれてみたい場合に、マウスによってどの方向から中心点をみたいのかを指定し、投影面の角度を変える処理である。図１１に処理の流れを示す。
ステップ３６１では、画面上がマウスで角度変化アイコンがクリックされるのを待つ。クリックされたらステップ３６２へ移る。
ステップ３６２では、アイコンｆで前方か後方かのいずれか一方のアイコンをクリックし、有効画面がクリックされたかを判断する。有効画面がクリックされた場合はステップ３６３に移る。それ以外の時はステップ３６５に移る。
ステップ３６３では、表示画像の中心点から指定された点への変位αＸ、αＹを求める。
ステップ３６４では、ステップ３６３で求めた変位αＸ、αＹから角度変化を算出するプログラムを用いて、角度を算出して再構成のための角度のパラメータを更新する。
ステップ３６５では、終了アイコンがクリックされたかの判断をする。終了アイコンがクリックされた場合はプログラムを終了し、それ以外の時はステップ３６１に戻る。
【００２２】
ステップ３７では、クリックされたアイコンが「キー入力」アイコンｇの１つであるか判断する。ここで、キー入力アイコンとは、具体アイコンｄが画面上でマウスで位置、大きさ等を指定して各種処理を行うのに対して、マウス指定の代わりにキーボード上のキーによって位置、大きさ等を指定入力するようにしたものである。「キー入力」であればステップ３８に移り、それ以外であればステップ３９に移る。
【００２３】
ステップ３８では、「キー入力」処理を行う。図１２にその処理の流れを示す。図１２では、図３に示す如きキー入力アイコンによるキー入力できるパラメータを、視点（ＰＯＩＮＴ）のほかに投影面の角度（ＡＮＧＬＥ）、しきい値（ＴＨＲＥ）、視点と投影面との距離（ＤＩＳＴ）とした流れを示す。
ステップ３８１〜ステップ３８５では、どのパラメータ入力かを判断する。
ステップ３８６では、指定されたパラメータの入力待ちプロンプトを画面上に表示し入力を待つ。
ステップ３８７では、キー入力が終了したかを判断し、終了したならばステップ４へ移り、未終了ならばステップ３８６に戻る。
ステップ３７では、クリックされたアイコンが終了であるか判断する。終了であればプログラムを終了し、それ以外であればステップ３１に戻る。
【００２４】
ステップ４では、視点位置の保存を行う。
ステップ５では、更新した視点を用いて画像の再構成を行う。再構成方法はステップ１と同様である。再構成した画像は記憶媒体に記録する。
ステップ６では、ステップ５にて再構成された画像をモニタ上に表示する。
ステップ７では、視点更新を終了するかを判断する。終了であればステップ８へ移り、続けるならばステップ２へ戻る。
ステップ８では視点の補間処理を行うかの判断を行う。視点の補間処理を行う場合はステップ９へ移り、行わない場合はステップ１０へ移る。
【００２５】
ステップ９では、視点の補間処理を行う。図１３は、対象内の視点の移動を表した図である。ここで、Ｅ１、Ｅ２、Ｅ３、Ｅ４は上記ステップ３にて指定される視点更新位置である。滑らかな視点移動を行うためには、図１３に示すようにＥ１、Ｅ２、Ｅ３、Ｅ４の間を補う視点位置ｅijを算出すればよい。図１４は視点の補間処理の流れである。各ステップを説明する。
ステップ９１では、ステップ４で記憶された視点の更新位置（Ｅi）の座標を得る。
ステップ９２では、ステップ９１で得た視点間の座標をスプライン補間により求める。他の補間法も採用可能である。
ステップ９３では、ステップ９２にて算出した視点位置（ｅij）を用いて３Ｄ画像を再構成し、記憶する。
ステップ９４では、ステップ５で記憶した３Ｄ像とステップ９３にて記憶した３Ｄ画像を読み出して動画表示する。
【００２６】
ステップ１０では、ステップ５で記憶した３Ｄ像を読み出して動画表示する。また、処理の途中で視点移動の遷移を知りたい場合、軌跡表示アイコンｈを指示することで、図１５に示すような座標軸とその時点までの視点の遷移を示す軌跡及び移動距離（ｎi）がモニタ上の画像の脇に表示できるようにする。ここで図１５（イ）は三次元座標系による（ｘ1、ｙ1、ｚ1）→（ｘ6、ｙ6、ｚ6）への遷移軌跡例、図１５（ロ）はｙｘ平面上での（ｘ1、ｙ1）→（ｘ6、ｙ6）への遷移軌跡例、図１５（ハ）はｘｚ平面上での（ｘ6、ｚ6）→（ｘ1、ｚ1）への遷移軌跡例を示す。図１６には三次元座標系による遷移軌跡画像Ｗの表示例を示す。
【００２７】
図１７にその処理の流れを示す。
ステップ１００では、モニタ上に視点遷移図表示のアイコンｈを表示する。
ステップ１０１では、遷移フラグを初期設定する。ここでは、初期設定はこのフラグをＯＦＦ（“０”）にするものとする。
ステップ１０２では、視点遷移図表示のアイコンｈが選択（クリック）されたかを判断する。アイコンｈが選択されないときは、プログラム全体が終了するか、アイコンｈが選択されるまで待ち状態となる。アイコンｈが選択された場合は、ステップ１０３へ移る。
ステップ１０３では、フラグのＯＮ、ＯＦＦを判断する。フラグがＯＦＦの場合はステップ１０４に移り、フラグがＯＮの場合はステップ１０５に移る。
ステップ１０４では、フラグをＯＮにする。
ステップ１０５では、フラグをＯＦＦにする。
ステップ１０６では、フラグのＯＮ、ＯＦＦを判断する。フラグがＯＦＦの場合はステップ１０７に移り、フラグがＯＮの場合はステップ１０８に移る。
ステップ１０７では、視点遷移図をモニタ上から消去する。
ステップ１０８では、視点遷移図表示処理を行う。図１８は視点遷移図表示処理の流れである。
ステップ１１０では、ステップ４で記憶された視点の更新位置（Ｅi）の座標を得る。
ステップ１１１では、視点間の距離を求める。
ステップ１１２では、モニタ上に座標軸と視点を表示し、視点間を結ぶ。
ステップ１１３では、モニタ上の視点位置に座標値、線分上に距離を表示する。
尚、視点遷移図表示の処理は、ステップ３の視点更新処理の中で、必要に応じて使用する。
上記実施例では、視点位置を補間によって求めたが、補間により求められた視点位置でのその他のパラメータ（例えば、しきい値など）も同様に補間により求めてもよい。
【００２８】
図１９は、表示画面上に表示される前方像と後方像についての説明図である。前方像は視点位置から視線方向に投影された像であり、後方像は視線方向とは反対の向き（１８０度正反対とは限らない）に投影された像である。前進・後退処理により視点が変化した場合は、前方、後方画像双方を再構成（投影処理）する。後方投影面上の後方像は、視点方向とは反対の向きに投影された像を左右逆に表示した、バックミラーに移ったような後方の像である。このためには、後方投影面メモリのメモリアドレスは、前方投影面メモリのメモリアドレスと左右を逆にすればよい。ここで、視点位置は前方と後方とで同一にする必要はなく、例えば図のミラー視点のように少しずれた位置を視点として後方鏡投影面に投影するようにしてもよい。ただし、上述したように前進・後退処理により視点が変化した場合は、当然に前方、後方鏡画像双方を再構成（投影処理）する。後方像の角度を変える（バックミラーの角度を変える）こともできる。後方画像を表示するか、後方鏡画像を表示するかは操作者の意図により選択できるようにする。
【００２９】
図２０は、本発明が適用可能なハードウエア構成例を示すブロック図である。この図１８において、１２０はＣＰＵ、１２１は主メモリ、１２２は磁気ディスク、１２３は表示メモリ、１２５はマウスコントローラで、これらは共通バス１２７に接続されている。磁気ディスク１２２には、複数の断層像及び座標変換や視点補間のためのプログラムなどが格納されている。
【００３０】
ＣＰＵ１２０は、これら複数の断層像及び座標変換や視点補間のためのプログラムを読み出し、主メモリ１２１を用いて三次元画像を再構成し、その結果を表示メモリ１２３に送り、ＣＲＴモニタ１２４に表示させる。マウスコントローラ１２５に接続されたマウス１２６は、表示された三次元画像に対し、視点位置の再指定に用いる。再指定された視点位置は磁気ディスク１２２に格納され、必要に応じて補間処理に用いられる。再構成で得られた画像は、磁気ディスク１２２に格納される。動画表示をする場合にＣＰＵ１２０が磁気ディスク１２２から三次元画像を読み出し、表示メモリ１２３に送り、ＣＲＴモニタ１２４に表示させる。
【００３１】
尚、投影法は中心投影法で説明したが平行投影法での視点更新例にも適用できる。更に、ＣＴ画像例としたがＭＲＩの如きボリューム画像での適用もある。
【００３２】
【発明の効果】
本発明によれば、視点移動の遷移を確認しながら視点を前後に移動させることができ、さらに視点移動を少しずつ滑らかにできるようになる。
【図面の簡単な説明】
【図１】本発明を含む視点更新処理の流れを表すフローチャートである。
【図２】視点と前方投影面、後方投影の位置関係を表した図である。
【図３】画面表示例図である。
【図４】本発明の前進・後退処理の流れを示すフローチャートである。
【図５】視点の更新処理の流れを示すフローチャートである。
【図６】視点の更新処理のうち、視点の平行移動の場合の位置関係を表す図である。
【図７】視点の平行移動処理の流れを示すフローチャートである。
【図８】視点の更新処理のうち、視点の前進移動の場合の位置関係を表す図である。
【図９】視点の前進移動処理の流れを示すフローチャートである。
【図１０】視点の更新処理を行うための画面再構成図である。
【図１１】角度変化処理の流れを示すフローチャートである。
【図１２】キー入力処理の流れを示すフローチャートである。
【図１３】対象内の視点の移動を表した図である。
【図１４】本発明の視点位置の補間処理の流れを示すフローチャートである。
【図１５】視点の移動の遷移を表す図の一例である。
【図１６】視点の移動の遷移図を表示した画面構成の一例である。
【図１７】視点の移動の遷移図を表示・消去する際の流れを示すフローチャートである。
【図１８】視点遷移図表示処理の流れを示すフローチャートである。
【図１９】前方、後方画像の他の例を示す図である。
【図２０】本発明が適用可能なハードウエア構成を示すブロック図である。
【符号の説明】
ａ 前方投影面
ｂ 後方投影面
ｅ 視点
ｅ′ 更新視点
Ａ 画像上の指定点
Ａ0 Ａに投影された断層像上の点
Ｍ カーソル
Ｑ 平面
Ｒ 直線
Ｓ 断層像
Ｔ 投影面
Ｗ 遷移図画面
１２０ ＣＰＵ
１２１ 主メモリ
１２２ 磁気ディスク
１２４ ＣＲＴ
１２６ マウス
【発明の属する技術分野】
本発明は、三次元原画像の内視鏡的映像化を行う投影画像表示装置に関する。
【０００２】
【従来の技術】
Ｘ線ＣＴ画像を積み上げて三次元原画像を得、この三次元原画像を投影して二次元画面上に表現する分野がある。手術や診断のための支援画像として利用することが多い。
投影法には一般に平行投影法が利用される。平行投影法とは平行光源（又は線状視点）を与えて、投影面に平行投影像を投影する投影法である。投影面は、表示面と同一サイズの場合もあれば、表示面のサイズよりも２倍とか４倍とか大きい場合もある。表示面のサイズよりも大きい場合には、投影面から表示サイズの画面を切り出して表示することになる。
【０００３】
【発明が解決しようとする課題】
平行投影法の他に、中心投影法がある。中心投影法は、点光源又は点視点を与えて、この点光源又は点視点から投影面に投影しようとするものである。投影面への投影はその点から放射状に拡がるような投影法となる。平行投影法と中心投影法とは表示の目的によって使い分ける。
【０００４】
Ｘ線ＣＴ画像を積み上げての三次元原画像に対する平行投影法では、その原画像の外形表示、任意の切断面表示、その切断面の奥側の表示等に使われる。中心投影法は、小さい穴から穴の外側を大きく見ようとする如き画像、例えば内視鏡的な観察像をその三次元原画像から得ようとする際に使われる。
【０００５】
また、いずれの投影法でも投影面への投影に際し、奥行きのある現実感の画像を得るようにしており、そのための方法として陰影化処理及び隠面化処理がされる。陰影化処理とは、投影面の画素値を、距離に応じて付与するものであり、遠い距離の画素位置に対しては投影画素値を小さく設定し、近い距離の画素位置に対しては投影画素値を大きく設定する処理を云う。一方、隠面化処理とは、１つの投影点に２つ以上の投影対象点からの投影がある場合、一番手前（又は一番奥側）の位置にある投影対象点のみを選ぶ処理を云う。かかる陰影化、隠面化処理で投影面に得られる画像は、擬次三次元画像と呼ばれる。
【０００６】
本件出願人は、中心投影法を利用して三次元原画像の投影を行うと共に、視点（点視点のこと、以下同じ）を移動させ、この移動に伴う内視鏡的にみた動画像を表示させることを特徴とする特許出願を行った（特願平６−１４３４９６）。
しかし、視点は三次元画像の奥行き方向の位置であるため、二次元平面としての表示画面上で、感覚的に設定することは容易でなかった。更に、視点位置の更新に際しても、連続的な更新は困難であり、その結果、実際の内視鏡による観察像に比べて迫力に欠けるとの問題があった。
更に、視点位置の更新は前進のみでなく、後退の例もあり、こうした前進及び後退を自在に使い分けての動画像の作成も要求されてきている。
【０００７】
本発明の目的は、中心投影法による内視鏡的な動画像で代表される動画像を得るに際し、視点位置の前進及び後退の切り分け及びそれによる前方、及び後方透映像を得ることを可能にする透視画像表示装置を提供するものである。
【０００８】
本発明は、断層像を積み上げて形成する積み上げ三次元原画像の投影画像を表示する投影画像表示装置において、
前記投影画像に対する視点を設定する手段と、
前記設定された視点よりも前方か視点よりも後方かを選択的に設定する設定手段と、
前方が選択されたときに、上記視点より前方にある対応する前方投影面上へ、視点と前方投影面との間にある積み上げ三次元原画像を投影して、前方投影画像を得、後方が選択されたときに、上記視点より後方にある後方投影面上へ、視点と後方投影面との間にある積み上げ三次元原画像を投影して、後方投影画像を得る処理手段と、
上記前方投影画像及び後方投影画像を表示面上に表示する表示手段と、を含む投影画像表示装置を開示する。
【０００９】
更に本発明は、断層像を積み上げて形成する積み上げ三次元原画像の投影画像を表示する投影画像表示装置において、
前記投影画像に対する視点を更新設定する手段と、
前記更新設定された視点よりも前方か視点よりも後方かを選択的に更新設定する設定手段と、
前方が選択されたときに、各更新毎の上記視点より前方にある対応する前方投影面上
へ、その更新時の視点と前方投影面との間にある積み上げ三次元原画像を投影して、前方投影画像を得、後方が選択されたときに、上記視点より後方にある対応する後方投影面上に、その更新時の視点と後方投影面との間にある積み上げ三次元原画像を投影して、後方投影画像を得る処理手段と、
上記前方投影画像及び後方投影画像を表示画面上に表示する表示手段と、を含む投影画像表示装置を開示する。
【００１１】
【発明の実施の形態】
図１は視点更新処理を含む動画表示の処理フローである。各ステップを説明する。
ステップ１では、初期画面を設定し、これを画面に表示する。図２は初期画面の説明図である。ＣＴ断層像を平行に積み上げておき、初期視点ｅの前方に設定した前方投影面ａに、初期視点ｅから中心投影した前方投影画像を、及び初期視点ｅの後方に設定した後方投影面ｂに、初期視点ｅから中心投影した後方投影画像を作成する。前方投影面ａと後方投影面ｂとは互いに平行で、且つ視点ｅから同一距離にある。ＣＴ断層像の対象部位は、例えば気管支壁や胃、腸の内壁である。視点ｅからみての前方画像及び後方画像は、いわゆる擬次三次元画像であり、先願たる特願平６−１４３４９６に記載したやり方によって作成した画像である。この画像の作成方法は、三次元原画像に対して視点とこの視点からの視線方向と投影面とを対にして、その三次元原画像の奥行き方向に向い且つ投影面がその視点からの視線方向に対して垂直になるように更新し、その視点位置及び視線方向から投影面に中心投影して画像を形成する方法である。尚、実施例では投影面ａと投影面ｂは平行で、視点ｅからの視線方向は互いに逆方向になっているが、これはあくまで代表的な例であり、考え方としては、平行でなくともよい。
【００１２】
図３は、初期画面の表示内容を示す。画面内に前方画像、後方画像の両者を表示させておくと共に、視点更新アイコン群Ｃを併せて表示させておく。視点更新アイコン群ｃは、視点更新具体アイコンｄ、前進・後退アイコンｆ、キー入力アイコンｇ、視点軌跡表示アイコンｈ、終了アイコンｉより成る。視点更新具体アイコンｄが視点更新の具体的な例を指示し、前進・後退アイコンｆが視点位置の前進か後退かを指示する。
【００１３】
ステップ２では前進か後退かのモード選択を行う。この詳細が図４のステップ２１〜２６による前進・後退のモード選択処理である。
ステップ２１では、マウスで前進・後退アイコンｆがクリックされたかを判断する。
ステップ２２では、クリックされたアイコンｆが前方であるか判断する。前方であればステップ２３に、それ以外であればステップ２４に移る。
ステップ２３では、前方画面上で指定された点だけを有効とするように設定し、ステップ３に移る。
ステップ２４では、クリックされたアイコンｆが後方であるか判断する。後方であればステップ２５に、それ以外であればステップ２６に移る。
ステップ２５では、後方画面上で指定された点だけを有効とするように設定し、ステップ３に移る。
ステップ２６では、クリックされたアイコンｆが終了であるか判断する。終了であればプログラムを終了し、それ以外であればステップ２１に戻る。
【００１４】
ステップ３では視点更新処理を行う。この視点更新処理の詳細図が図５〜図１２である。図５は視点更新処理の全体の流れである。
視点更新は、図３のアイコンｄに示すように、その時点の視点をマウスによって指定した位置に平行に移動する「視点平行移動」、指定した位置に視点を移動してさらに対象に近づく「視点前進移動」、投影面の角度をかえる「角度変化」、移動する視点の座標値をキーボードから入力する「キー入力」の各アイコンを指示することで行う。
ステップ３１では、クリックされたアイコンが具体アイコンｄの「視点平行移動」であるか判断する。「視点平行移動」であればステップ３２に移り、それ以外であればステップ３３に移る。
ステップ３２では、「視点平行移動」処理を行う。図６は、視点位置算出のための断層像、投影面、視点、指定点の位置関係である。ここで、マウスによる指定点をＡ（ＸA、ＹA）、Ａに投影された断層像上の位置をＡ0（ｘA0、ｙA0、ｚA 0）、視点位置をｅ（ｘ0、ｙ0、ｚ0）、移動後の新視点位置をｅ′（ｘe、ｙe、ｚe）、視点ｅから投影面に下ろした垂線と投影面との交点の三次元空間上の位置をＣ（ｃx、ｃy、ｃz）、断層像に平行で視点ｅを通る平面をＱ、ｅＣに平行でＡ0を通る直線をＲとする。指定点Ａは、現視点から平行移動した新視点を得るために使う。
【００１５】
ここで図６による平行移動例について説明する。
マウスで指定するＡは表示画面（投影面）上の一点である。この指定点Ａは、現視点ｅからの中心投影法による投影点であり、視点ｅが他の新視点に平行移動して得られた時の中心投影法による投影点ではない。そこで、現視点ｅから指定点Ａまでを結ぶ投影線ＬとＣＴ断層像Ｓとの交点Ａ0を求め、現視点ｅと投影面直交点Ｃ（直交点Ｃは、視点ｅと投影面Ｔとが定まれば一義的に定まる）とを結ぶ直線Ｒに平行で且つ交点Ａ0を通る直線Ｒ′を求める。直線Ｒ′と視点ｅの平行移動面Ｑとの交点をｅ′とすると、この交点ｅ′が、投影面上でのマウス指定点Ａに対応する、平行移動した時の新視点となる。そして、視点ｅ′に移しての中心投影法による投影像は、特願平６−１４３４９６によって得る。かかる視点ｅ′が次の新しい更新対象視点となる。
【００１６】
図７は視点の算出処理の流れである。各ステップを説明する。
ステップ３２１では、画面上がマウスで視点平行移動アイコンがクリックされるのを待つ。クリックされたらステップ３２２へ移る。
ステップ３２２では、表示中の初期画面中の前方画像ａか後方画像ｂかのいずれかが有効画面としてクリックされたかを判断する。図３のアイコンｆで前方アイコンか後方アイコンかをクリックすることで定まる。有効画面のクリックがされた場合はステップ３２３に移る。それ以外の時はステップ３２７に移る。
ステップ３２３では、クリックされた画面上の位置座標（ＸA、ＹA）から断層像上の位置Ａ0（ｘA0、ｙA0、ｚA0）を求める。これは、二次元座標系の投影面から三次元座標系の断層面Ｓへの座標変換式によって求める。ここで、（ＸA、ＹA）は、三次元空間上に位置する二次元投影面上での位置であり、（ｘA0、ｙA 0、ｚA0）は三次元空間上の位置を表す。Ａ0（ｘA0、ｙA0、ｚA0）の値は、画像の再構成処理（投影処理）の中で投影面上の（Ｘ、Ｙ）に対応する（ｘ、ｙ、ｚ）を記憶してあるので、（ＸA、ＹA）の値からすぐ得られる。
ステップ３２４では、断層像に平行で視点ｅを含む平面Ｑを求める。断層像は、三次元空間上にｘ−ｚ面に平行に配置されているので、断層像に平行で視点ｅを含む平面Ｑはｙ座標で規定できる。例えばｙ＝ｙ0となる。
【００１７】
ステップ３２５では、Ａ0を通りｅＣと平行な直線Ｒを求める。方向ベクトルは、（ｃx−ｘ0、ｃy−ｙ0、ｃz−ｚ0）であり、Ａ0（ｘA0、ｙA0、ｚA0）を通ることから、
【数１】
ステップ３２６では、平面Ｑと直線Ｒの交点を求める。交点のｙ座標はｙ0であるから、
【数２】
（ｘ−ｘA0）／（ｃx−ｘ0）＝（ｙ0−ｙA0）／（ｃy−ｙ0)
（ｚ−ｚA0）／（ｃz−ｚ0）＝（ｙ0−ｙA0）／（ｃy−ｙ0)
であり、数２より求められるｘ、ｚが交点の座標である。座標が得られたら、ステップ４へ移る。
ステップ３２７では、終了アイコンがクリックされたかの判断をする。終了アイコンがクリックされた場合はプログラムを終了し、それ以外の時はステップ３２１に戻る。
【００１８】
ステップ３３では、クリックされた具体アイコンが「視点前進移動」であるか判断する。「視点前進移動」であればステップ３に移り、それ以外であればステップ３５に移る。
ステップ３４では、「視点前進移動」処理を行う。図８は、この視点前進移動による視点位置再構成のための断層像、投影面、視点、指定点の位置関係である。ここで、マウスによる指定点をＡ（ＸA、ＹA）、Ａに投影された断層像上の位置をＡ0（ｘA0、ｙA0、ｚA0）、視点位置をｅ（ｘ0、ｙ0、ｚ0）、移動する視点位置をｅ′（ｘe、ｙe、ｚe）、視点ｅから投影面に下ろした垂線と投影面との交点の三次元空間上の位置をＣ（ｃx、ｃy、ｃz）、断層像に平行で視点ｅを通る平面をＱ、ｅＣに平行でＡ0を通る直線Ｒ、平面Ｑと直線Ｒとの交点Ｐ（ｘr、ｙr、ｚr）とする。
この視点前進移動の考え方は、図６と同じくマウス指定点Ａに対応する平行移動視点Ｐを求め、この平行移動視点Ｐから直線Ｒ′上にある距離だけ前進した位置ｅ′を、前進移動による新視点とするものである。ここで、直線Ｒ′上に沿って平行移動視点Ｐから前進するある距離とは、直線ＣＡ上のマウス指示点Ｍの位置によって定める。
【００１９】
図９は視点前進移動での視点の算出処理の流れである。各ステップを説明する。
ステップ３４１では、画面上がマウスで図３の「前進」アイコンがクリックされるのを待つ。クリックされたらステップ３４２へ移る。
ステップ３４２では、図３のアイコンｆによる前方か後方かのマウス指示による有効画面がクリックされたのかを判断する。有効画面がクリックされた場合はステップ３４３に移る。それ以外の時はステップ３５２に移る。
ステップ３４３では、上記ステップ３２３と同様に、クリックされた画面上の位置座標（ＸA、ＹA）から断層像上の位置Ａ0（ｘA0、ｙA0、ｚA0）を求める。ステップ３４４では、断層像に平行で視点ｅを含む平面Ｑを求める。上記ステップ３２４と同様に、ｙ＝ｙ0である。
ステップ３４５では、Ａ0を通りｅＣと平行な直線Ｒを求める。直線Ｒは、ステップ３２５と同様に数１で表される。
ステップ３４６では、平面Ｑと直線Ｒの交点Ｐ（ｘr、ｙr、ｚr）を求める。ステップ３２６と同様に、ｙr＝ｙ0であり、数２より求められるｘ、ｚが交点の座標ｘr、ｙrである。
ステップ３４７では、有効画面（前方画像を有効画面とした）上の左側に視点移動を指定するためのカーソルを表示する。
【００２０】
図１０に画面表示例を示す。指定された点Ａと画面中心に当たる点Ｃを結ぶ線分を表示し、線分ＡＣ上にカーソルＭを表示する。カーソルＭは、マウスでドラッグすることで線分ＡＣ上を移動するようにする。
ステップ３４８では、操作者によるカーソル位置の決定を待つ。
ステップ３４９では、ステップ３４８で決定されたＭの位置を用いて、線分ＡＭと線分ＭＣの長さを求める。
ステップ３５０では、線分ＡＭの長さをｓ、線分ＭＣの長さｔとして線分Ａ０Ｐをｓ：ｔに分割する点を以下の式で求める。
【数３】
ｘ＝（ｓ・ｘr＋ｔ・ｘA0）／（ｓ＋ｔ）
ｙ＝（ｓ・ｙr＋ｔ・ＹA0）／（ｓ＋ｔ）
ｚ＝（ｓ・ｚr＋ｔ・ｚA0）／（ｓ＋ｔ）
求めたｘ、ｙ、ｚを次の視点ｅ′（ｘe、ｙe、ｚe）とする。座標が得られたら、ステップ６９へ移る。
ステップ３５１では、終了アイコンがクリックされたのかを判断する。終了アイコンがクリックされた場合はプログラムを終了し、それ以外の時はステップ３４１に戻る。
【００２１】
ステップ３５では、クリックされた具体アイコンｄが「角度変化」（図３では「角度（マウス）」と表示）であるか判断する。「角度変化」であればステップ３６に移り、それ以外であればステップ３７に移る。
ステップ３６では、「角度変化」処理を行う。投影面の角度変化とは、表示画像の中心点を真上からみている状態から少しずれてみたい場合に、マウスによってどの方向から中心点をみたいのかを指定し、投影面の角度を変える処理である。図１１に処理の流れを示す。
ステップ３６１では、画面上がマウスで角度変化アイコンがクリックされるのを待つ。クリックされたらステップ３６２へ移る。
ステップ３６２では、アイコンｆで前方か後方かのいずれか一方のアイコンをクリックし、有効画面がクリックされたかを判断する。有効画面がクリックされた場合はステップ３６３に移る。それ以外の時はステップ３６５に移る。
ステップ３６３では、表示画像の中心点から指定された点への変位αＸ、αＹを求める。
ステップ３６４では、ステップ３６３で求めた変位αＸ、αＹから角度変化を算出するプログラムを用いて、角度を算出して再構成のための角度のパラメータを更新する。
ステップ３６５では、終了アイコンがクリックされたかの判断をする。終了アイコンがクリックされた場合はプログラムを終了し、それ以外の時はステップ３６１に戻る。
【００２２】
ステップ３７では、クリックされたアイコンが「キー入力」アイコンｇの１つであるか判断する。ここで、キー入力アイコンとは、具体アイコンｄが画面上でマウスで位置、大きさ等を指定して各種処理を行うのに対して、マウス指定の代わりにキーボード上のキーによって位置、大きさ等を指定入力するようにしたものである。「キー入力」であればステップ３８に移り、それ以外であればステップ３９に移る。
【００２３】
ステップ３８では、「キー入力」処理を行う。図１２にその処理の流れを示す。図１２では、図３に示す如きキー入力アイコンによるキー入力できるパラメータを、視点（ＰＯＩＮＴ）のほかに投影面の角度（ＡＮＧＬＥ）、しきい値（ＴＨＲＥ）、視点と投影面との距離（ＤＩＳＴ）とした流れを示す。
ステップ３８１〜ステップ３８５では、どのパラメータ入力かを判断する。
ステップ３８６では、指定されたパラメータの入力待ちプロンプトを画面上に表示し入力を待つ。
ステップ３８７では、キー入力が終了したかを判断し、終了したならばステップ４へ移り、未終了ならばステップ３８６に戻る。
ステップ３７では、クリックされたアイコンが終了であるか判断する。終了であればプログラムを終了し、それ以外であればステップ３１に戻る。
【００２４】
ステップ４では、視点位置の保存を行う。
ステップ５では、更新した視点を用いて画像の再構成を行う。再構成方法はステップ１と同様である。再構成した画像は記憶媒体に記録する。
ステップ６では、ステップ５にて再構成された画像をモニタ上に表示する。
ステップ７では、視点更新を終了するかを判断する。終了であればステップ８へ移り、続けるならばステップ２へ戻る。
ステップ８では視点の補間処理を行うかの判断を行う。視点の補間処理を行う場合はステップ９へ移り、行わない場合はステップ１０へ移る。
【００２５】
ステップ９では、視点の補間処理を行う。図１３は、対象内の視点の移動を表した図である。ここで、Ｅ１、Ｅ２、Ｅ３、Ｅ４は上記ステップ３にて指定される視点更新位置である。滑らかな視点移動を行うためには、図１３に示すようにＥ１、Ｅ２、Ｅ３、Ｅ４の間を補う視点位置ｅijを算出すればよい。図１４は視点の補間処理の流れである。各ステップを説明する。
ステップ９１では、ステップ４で記憶された視点の更新位置（Ｅi）の座標を得る。
ステップ９２では、ステップ９１で得た視点間の座標をスプライン補間により求める。他の補間法も採用可能である。
ステップ９３では、ステップ９２にて算出した視点位置（ｅij）を用いて３Ｄ画像を再構成し、記憶する。
ステップ９４では、ステップ５で記憶した３Ｄ像とステップ９３にて記憶した３Ｄ画像を読み出して動画表示する。
【００２６】
ステップ１０では、ステップ５で記憶した３Ｄ像を読み出して動画表示する。また、処理の途中で視点移動の遷移を知りたい場合、軌跡表示アイコンｈを指示することで、図１５に示すような座標軸とその時点までの視点の遷移を示す軌跡及び移動距離（ｎi）がモニタ上の画像の脇に表示できるようにする。ここで図１５（イ）は三次元座標系による（ｘ1、ｙ1、ｚ1）→（ｘ6、ｙ6、ｚ6）への遷移軌跡例、図１５（ロ）はｙｘ平面上での（ｘ1、ｙ1）→（ｘ6、ｙ6）への遷移軌跡例、図１５（ハ）はｘｚ平面上での（ｘ6、ｚ6）→（ｘ1、ｚ1）への遷移軌跡例を示す。図１６には三次元座標系による遷移軌跡画像Ｗの表示例を示す。
【００２７】
図１７にその処理の流れを示す。
ステップ１００では、モニタ上に視点遷移図表示のアイコンｈを表示する。
ステップ１０１では、遷移フラグを初期設定する。ここでは、初期設定はこのフラグをＯＦＦ（“０”）にするものとする。
ステップ１０２では、視点遷移図表示のアイコンｈが選択（クリック）されたかを判断する。アイコンｈが選択されないときは、プログラム全体が終了するか、アイコンｈが選択されるまで待ち状態となる。アイコンｈが選択された場合は、ステップ１０３へ移る。
ステップ１０３では、フラグのＯＮ、ＯＦＦを判断する。フラグがＯＦＦの場合はステップ１０４に移り、フラグがＯＮの場合はステップ１０５に移る。
ステップ１０４では、フラグをＯＮにする。
ステップ１０５では、フラグをＯＦＦにする。
ステップ１０６では、フラグのＯＮ、ＯＦＦを判断する。フラグがＯＦＦの場合はステップ１０７に移り、フラグがＯＮの場合はステップ１０８に移る。
ステップ１０７では、視点遷移図をモニタ上から消去する。
ステップ１０８では、視点遷移図表示処理を行う。図１８は視点遷移図表示処理の流れである。
ステップ１１０では、ステップ４で記憶された視点の更新位置（Ｅi）の座標を得る。
ステップ１１１では、視点間の距離を求める。
ステップ１１２では、モニタ上に座標軸と視点を表示し、視点間を結ぶ。
ステップ１１３では、モニタ上の視点位置に座標値、線分上に距離を表示する。
尚、視点遷移図表示の処理は、ステップ３の視点更新処理の中で、必要に応じて使用する。
上記実施例では、視点位置を補間によって求めたが、補間により求められた視点位置でのその他のパラメータ（例えば、しきい値など）も同様に補間により求めてもよい。
【００２８】
図１９は、表示画面上に表示される前方像と後方像についての説明図である。前方像は視点位置から視線方向に投影された像であり、後方像は視線方向とは反対の向き（１８０度正反対とは限らない）に投影された像である。前進・後退処理により視点が変化した場合は、前方、後方画像双方を再構成（投影処理）する。後方投影面上の後方像は、視点方向とは反対の向きに投影された像を左右逆に表示した、バックミラーに移ったような後方の像である。このためには、後方投影面メモリのメモリアドレスは、前方投影面メモリのメモリアドレスと左右を逆にすればよい。ここで、視点位置は前方と後方とで同一にする必要はなく、例えば図のミラー視点のように少しずれた位置を視点として後方鏡投影面に投影するようにしてもよい。ただし、上述したように前進・後退処理により視点が変化した場合は、当然に前方、後方鏡画像双方を再構成（投影処理）する。後方像の角度を変える（バックミラーの角度を変える）こともできる。後方画像を表示するか、後方鏡画像を表示するかは操作者の意図により選択できるようにする。
【００２９】
図２０は、本発明が適用可能なハードウエア構成例を示すブロック図である。この図１８において、１２０はＣＰＵ、１２１は主メモリ、１２２は磁気ディスク、１２３は表示メモリ、１２５はマウスコントローラで、これらは共通バス１２７に接続されている。磁気ディスク１２２には、複数の断層像及び座標変換や視点補間のためのプログラムなどが格納されている。
【００３０】
ＣＰＵ１２０は、これら複数の断層像及び座標変換や視点補間のためのプログラムを読み出し、主メモリ１２１を用いて三次元画像を再構成し、その結果を表示メモリ１２３に送り、ＣＲＴモニタ１２４に表示させる。マウスコントローラ１２５に接続されたマウス１２６は、表示された三次元画像に対し、視点位置の再指定に用いる。再指定された視点位置は磁気ディスク１２２に格納され、必要に応じて補間処理に用いられる。再構成で得られた画像は、磁気ディスク１２２に格納される。動画表示をする場合にＣＰＵ１２０が磁気ディスク１２２から三次元画像を読み出し、表示メモリ１２３に送り、ＣＲＴモニタ１２４に表示させる。
【００３１】
尚、投影法は中心投影法で説明したが平行投影法での視点更新例にも適用できる。更に、ＣＴ画像例としたがＭＲＩの如きボリューム画像での適用もある。
【００３２】
【発明の効果】
本発明によれば、視点移動の遷移を確認しながら視点を前後に移動させることができ、さらに視点移動を少しずつ滑らかにできるようになる。
【図面の簡単な説明】
【図１】本発明を含む視点更新処理の流れを表すフローチャートである。
【図２】視点と前方投影面、後方投影の位置関係を表した図である。
【図３】画面表示例図である。
【図４】本発明の前進・後退処理の流れを示すフローチャートである。
【図５】視点の更新処理の流れを示すフローチャートである。
【図６】視点の更新処理のうち、視点の平行移動の場合の位置関係を表す図である。
【図７】視点の平行移動処理の流れを示すフローチャートである。
【図８】視点の更新処理のうち、視点の前進移動の場合の位置関係を表す図である。
【図９】視点の前進移動処理の流れを示すフローチャートである。
【図１０】視点の更新処理を行うための画面再構成図である。
【図１１】角度変化処理の流れを示すフローチャートである。
【図１２】キー入力処理の流れを示すフローチャートである。
【図１３】対象内の視点の移動を表した図である。
【図１４】本発明の視点位置の補間処理の流れを示すフローチャートである。
【図１５】視点の移動の遷移を表す図の一例である。
【図１６】視点の移動の遷移図を表示した画面構成の一例である。
【図１７】視点の移動の遷移図を表示・消去する際の流れを示すフローチャートである。
【図１８】視点遷移図表示処理の流れを示すフローチャートである。
【図１９】前方、後方画像の他の例を示す図である。
【図２０】本発明が適用可能なハードウエア構成を示すブロック図である。
【符号の説明】
ａ 前方投影面
ｂ 後方投影面
ｅ 視点
ｅ′ 更新視点
Ａ 画像上の指定点
Ａ0 Ａに投影された断層像上の点
Ｍ カーソル
Ｑ 平面
Ｒ 直線
Ｓ 断層像
Ｔ 投影面
Ｗ 遷移図画面
１２０ ＣＰＵ
１２１ 主メモリ
１２２ 磁気ディスク
１２４ ＣＲＴ
１２６ マウス
Claims (2)
- 断層像を積み上げて形成する積み上げ三次元原画像の投影画像を表示する投影画像表示装置において、
前記投影画像に対する視点を設定する手段と、
前記設定された視点よりも前方か視点よりも後方かを選択的に設定する設定手段と、
前方が選択されたときに、上記視点より前方にある対応する前方投影面上へ、視点と前方投影面との間にある積み上げ三次元原画像を投影して、前方投影画像を得、後方が選択されたときに、上記視点より後方にある後方投影面上へ、視点と後方投影面との間にある積み上げ三次元原画像を投影して、後方投影画像を得る処理手段と、
上記前方投影画像及び後方投影画像を表示面上に表示する表示手段と、を含む投影画像表示装置。 - 断層像を積み上げて形成する積み上げ三次元原画像の投影画像を表示する投影画像表示装置において、
前記投影画像に対する視点を更新設定する手段と、
前記更新設定された視点よりも前方か視点よりも後方かを選択的に更新設定する設定手段と、
前方が選択されたときに、各更新毎の上記視点より前方にある対応する前方投影面上
へ、その更新時の視点と前方投影面との間にある積み上げ三次元原画像を投影して、前方投影画像を得、後方が選択されたときに、上記視点より後方にある対応する後方投影面上に、その更新時の視点と後方投影面との間にある積み上げ三次元原画像を投影して、後方投影画像を得る処理手段と、
上記前方投影画像及び後方投影画像を表示画面上に表示する表示手段と、を含む投影画像表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23149695A JP3851364B2 (ja) | 1995-09-08 | 1995-09-08 | 投影画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23149695A JP3851364B2 (ja) | 1995-09-08 | 1995-09-08 | 投影画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0981787A JPH0981787A (ja) | 1997-03-28 |
| JP3851364B2 true JP3851364B2 (ja) | 2006-11-29 |
Family
ID=16924408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23149695A Expired - Lifetime JP3851364B2 (ja) | 1995-09-08 | 1995-09-08 | 投影画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3851364B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3664336B2 (ja) | 1996-06-25 | 2005-06-22 | 株式会社日立メディコ | 三次元画像構成法における視点位置及び視線方向の設定方法及び装置 |
| FR2795207B1 (fr) * | 1999-06-21 | 2001-08-17 | Ge Medical Syst Sa | Procede de visualisation d'une partie d'une image tridimensionnelle |
| JP5457841B2 (ja) * | 2010-01-07 | 2014-04-02 | 株式会社東芝 | 医用画像処理装置、及び医用画像処理プログラム |
| CN102222352B (zh) * | 2010-04-16 | 2014-07-23 | 株式会社日立医疗器械 | 图像处理方法和图像处理装置 |
-
1995
- 1995-09-08 JP JP23149695A patent/JP3851364B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0981787A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4200546B2 (ja) | 画像表示装置 | |
| EP0908849B1 (en) | Method and apparatus for determining viewpoint and direction of line of sight in three-dimensional image construction method | |
| US10758212B2 (en) | Automatic depth scrolling and orientation adjustment for semi-automated path planning | |
| US5891030A (en) | System for two dimensional and three dimensional imaging of tubular structures in the human body | |
| US7061484B2 (en) | User-interface and method for curved multi-planar reformatting of three-dimensional volume data sets | |
| CN110151116A (zh) | 用于导航通过虚拟支气管镜视图中的气道的系统和方法 | |
| JP2004534584A (ja) | ３ｄ画像に表示される３ｄサーフェイスとインタラクトする画像処理方法 | |
| JP4845566B2 (ja) | 画像表示装置 | |
| US5900878A (en) | Method of constructing pseudo-three-dimensional image for obtaining central projection image through determining view point position by using parallel projection image and apparatus for displaying projection image | |
| JP3632862B2 (ja) | 三次元画像表示方法及び装置 | |
| JP3851364B2 (ja) | 投影画像表示装置 | |
| JPH0528875B2 (ja) | ||
| JP4515615B2 (ja) | 画像表示装置 | |
| JP2006075216A (ja) | 医用画像処理システム、医用画像処理プログラムおよび医用画像処理方法 | |
| JP3627066B2 (ja) | パノラマ投影方法およびパノラマ投影装置 | |
| JPH1176228A (ja) | 三次元画像構成装置 | |
| JP3654977B2 (ja) | 三次元画像処理装置 | |
| JP4110226B2 (ja) | 三次元画像表示装置 | |
| JP2006068350A (ja) | 医用画像表示方法、医用画像表示装置及び医用画像表示のためのプログラム | |
| JP4318799B2 (ja) | 画像表示装置 | |
| JP3749322B2 (ja) | 擬似三次元画像上で距離計測をする距離計測装置 | |
| JP3146451B2 (ja) | ３次元画像表示方法とそのための装置 | |
| JP3623276B2 (ja) | 三次元画像表示方法 | |
| JP3597917B2 (ja) | 擬似三次元画像構成法並びに投影画像表示装置 | |
| JP2000235641A (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |