JP4141253B2 - 三次元画像のための点入力装置および方法 - Google Patents
三次元画像のための点入力装置および方法 Download PDFInfo
- Publication number
- JP4141253B2 JP4141253B2 JP2002511295A JP2002511295A JP4141253B2 JP 4141253 B2 JP4141253 B2 JP 4141253B2 JP 2002511295 A JP2002511295 A JP 2002511295A JP 2002511295 A JP2002511295 A JP 2002511295A JP 4141253 B2 JP4141253 B2 JP 4141253B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- dimensional image
- display surface
- orientation
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/008—Cut plane or projection plane definition
Description
【技術分野】
この発明は、表示面上に表示される三次元画像に対して任意の点を指定して入力するための装置および方法に関する。特に、医療画像分野において使用される、三次元画像に対する任意の指定点の入力装置および方法に関する。
【背景技術】
医療画像分野では、ＭＲＩ、ＣＴ等の断層画像を三次元構築した画像処理が広く用いられている。医用三次元画像の構築方法は、大別すると、サーフェイスレンダリング法とボリュームレンダリング法の２種類に分かれる。サーフェイスレンダリング法は、表示しようとしてる対象の輪郭、表面形状を（アルゴリズム上では三角パッチに代表されるような表面パッチやタイルにより）構築する手法である。ボリュームレンダリング法は、レイキャスティングのアルゴリズムに基づく手法であり、三次元物体を構成する各ボクセルに対して、不透明度および色情報を割り付けて、物体の中身を可視化する方法である。これら手法により三次元構築した画像を、臨床で使用するにあたっては、構築画像上での計測、マーキング、抽出等の画像処理を行うために、三次元画像上の任意の点（箇所）をピック（指定または特定）する必要がある。
サーフェスレンダリング法では、輪郭が抽出されているため、輪郭表示上の点はピックできるが、他の構造物と重なっている内部をピックすることはできない。
一方、ボリュームレンダリング法においては、内部情報のみであるため、三次元画像上で直接任意の点をピックすることは、全くできない。
そのため、従来、臨床における任意の点の指定は、三次元構築画像上ではなく、断層画像上（正面、上面、側面等の複数の視点上）で行うのが一般的である（なお、上述したように、サーフェイスレンダリング法では、直接三次元画像上でピックできるが、その指定点は外形輪郭上に限られてしまう）。そのため、画像上の任意の点を指定するのに、処理操作が多く、複雑で、しかも時間がかかるという課題があった。
【発明の開示】
【発明が解決しようとする課題】
この発明は、かかる背景のもとになされたもので、三次元画像の任意の点を簡単な操作によって指定できる点入力装置および方法を提供することを主たる目的とする。
この発明はまた、サーフェイスレンダリング、ボリュームレンダリング等の三次元構築手法に関係なく、三次元画像上で任意の点を特定でき、そのための処理操作が簡易で、かつ処理時間の短い点入力装置および方法を提供することを目的とする。
【課題を解決するための手段】
請求項１記載の発明は、三次元画像を表示面上に表示させるための表示手段、表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、表示面上に第１の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の面を作成する手段、表示面上に、前記第１の向きとは異なる第２の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の直線を作成する手段、および前記作成された面と直線との交点座標を求め、その交点を指定点として保持する手段、を含むことを特徴とする三次元画像のための点入力装置である。
請求項２記載の発明は、三次元画像に前記指定点を表示し、または前記指定点のデータ値を表示し、または指定点を中心とするその周囲部分の抽出を行う等の指定点関連処理手段をさらに含むことを特徴とする、請求項１記載の三次元画像のための点入力装置である。
請求項３記載の発明は、表示面上に表示された三次元画像における任意の点を指定するための方法であって、表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の面を作成するステップと、表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御するステップと、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の直線を作成するステップと、前記作成した面と直線との交点座標を求めて指定点として保持するステップと、を含むことを特徴とする、三次元画像に対する任意の点の入力方法である。
請求項４記載の発明は、三次元画像を表示面上に表示させるための表示手段、表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、表示面に第１の向きで表示されている三次元画像の任意の点が指定されたことに応じて、その点を通り、表示面に垂直方向の２つの面を作成する手段、表示面上に、前記第１の向きとは異なる第２の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成する手段、および前記記憶された３つの平面が交わる交点座標を求め、その交点を指定点として保持する手段、を含むことを特徴とする三次元画像のための点入力装置である。
請求項５記載の発明は、表示面上に表示された三次元画像における任意の点を指定するための方法であって、
（１）表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の２つの面または表示面に垂直方向の１本の直線を作成し、
（２）表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御し、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成し、
（３）前記（１）の処理で作成された２つの面と前記（２）の処理で作成された１つの面の３つの面が互いに交わる交点の座標を求めるか、または、前記第１の処理で作成された直線と前記第２の処理で作成された１つの面との交点の座標を求め、
（４）求めた交点座標の点を指定点として保持することを特徴とする、三次元画像に対する任意の点の入力方法である。
請求項６記載の発明は、請求項５記載の入力方法において、前記（１）の処理と前記（２）の処理とを前後逆にしたことを特徴とする、三次元画像に対する任意の点の入力方法である。
請求項７記載の発明は、表示面上に表示された三次元画像における任意の点を指定するためのプログラムであって、
（１）表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の２つの面または表示面に垂直方向の１本の直線を作成する処理、
（２）表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御し、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成する処理、
（３）前記（１）の処理で作成された２つの面と前記（２）の処理で作成された１つの面の３つの平面が互いに交わる交点の座標を求めるか、または、前記第１の処理で作成された直線と前記第２の処理で作成された１つの面との交点の座標を求める処理、
（４）求めた交点座標の点を指定点として保持する処理、
を含むことを特徴とする、三次元画像における任意の点を指定するためのプログラムである。
【発明の効果】
請求項１ないし７の発明によれば、ユーザは、表示面に表示される三次元画像を確認しながら、その三次元画像に現れる任意の点を指定することができる。そして、三次元画像における任意の点の指定は、第１の向きで表示される三次元画像と、第２の向きで表示される三次元画像で確認しながら行うことができ、所望の点を簡単に指定することができる。
この発明の点入力装置または点入力方法では、三次元画像の第１に指定された指定点を通り、表示面に垂直方向の平面と、第２に指定された指定点を通り表示面に垂直方向の直線との交点座標によって三次元画像における指定点を特定するため、指定点が正しくかつただ１点を特定することができる。
また、この発明の指定点の特定方法は、平面と直線との交点によって求める以外に、請求項４記載のように、第１の向きで表示される三次元画像に基づいて、指定された点を通り、表示面に垂直方向の２つの平面と、第２の向きで表示される三次元画像に基づいて、指定された点を通り、表示面に垂直方向の１つの平面との３つの平面の交わる交点座標によって、ただ１点を特定することができる。
また、指定点を特定するのに、３つの平面の交点により特定するか、１つの平面と直線との交点により特定するかが重要であり、まず三次元画像を第２の向きで表示させて、そのときに直線または１つの平面を作成し、次に三次元画像を第１の向きで表示させて、そのときに１つの平面または２つの平面を作成してもよく、平面および直線の作成手順に順序が定まっているわけではない。
請求項２の発明では、特定された指定点に関連して、その指定点を中心とした種々の処理を行うことができる。
【発明を実施するための最良の形態】
以下には、図面を参照して、この発明の一実施形態について具体的に説明をする。
図１は、この発明の一実施形態にかかる三次元画像のための点入力装置のハードウェア構成を示すブロック図である。この装置は、マイクロコンピュータ等を含む制御部１を有しており、制御部１には動作プログラムや種々のデータを記憶するためのメモリ２が含まれている。制御部１には三次元画像を表示するための表示器３が接続されている。表示器３は、ブラウン管を用いたディスプレイや、液晶ディスプレイ、その他で構成することができる。制御部１には、また、操作部４が接続されている。操作部４にはキーボード、マウスその他の信号やデータの入力機器が含まれる。
制御部１は、ＣＤ−ＲＯＭや光ディスクその他の情報記録媒体５に記録された情報を読み取り、その読取った情報を必要に応じてメモリ２に記録することができる。また、制御部１には通信用のモデム６が接続されており、このモデム６を介して情報ネットワーク等から必要な情報やデータを取り込んだり、情報ネットワークへ所定のデータを送信することが可能である。
この実施形態にかかる点入力装置の特徴は、表示器３の表示面上に表示される三次元画像に対して、ユーザが所望の位置を指定することができ、その指定された点が三次元画像に関連づけて記憶され、表示されることである。
かかる処理は、制御部１により行われる以下に説明するプログラムに従って実行される。この発明は、また、かかるプログラムによって実行される三次元画像上の任意の点の指定方法が特徴である。
この発明を実現するプログラムは、制御部１のメモリ２に予め記憶されていてもよいし、情報記録媒体５に記録されていてもよい。情報記録媒体５に記録されたプログラムは、制御部１にインストールされることによって、制御部１のメモリ２に記憶される。また、この発明にかかるプログラムは、モデム６を介して、外部の情報ネットワークから制御部１にダウンロードすることができてもよい。 以下、制御部１により実行される動作、つまりこの実施形態にかかるプログラムの特徴について具体的に説明をする。
制御部１は、上述したように情報記録媒体５に記録されたプログラムや、モデム６を介して受信したプログラムをメモリ２にインストールすることができるとともに、ＭＲＩやＣＴ等で撮影された断層画像データを取り込んでメモリ２に記憶することができる。断層画像データも、情報記録媒体５に記録されたものを取り込んでもよいし、モデム６を介して送られてくる断層画像データを取り込むことも可能である。また、断層画像データが制御部１に与えられ、制御部１において医用三次元画像が構築される場合に限らず、医用三次元画像データそのものが、制御部１に与えられてもよい。
図２は、表示器３の表示面７上に表示された三次元画像８の一例を示す図である。三次元画像８は、制御部１に与えられたＭＲＩ、ＣＴ等の断層画像を元に三次元に構築された画像である。あるいは、制御部１に与えられた三次元画像データ自体を表示したものである。ユーザは、操作部４を操作することにより、表示面７に表示された三次元画像８を、所望の向きになるように回転させたり、所望の部位を拡大させたり、所望の部位の断層面を表示させたりすることができる。 この実施形態では、表示面７に表示される三次元画像８の向きを所望の向きにし、三次元画像８に現れている任意の点を指定することができる。この点指定は、たとえばマウスによって、三次元画像８の指定したい部分にカーソルを合わせ、マウスをクリックすること等で行うことができる。
制御部１では、三次元画像８の任意の点が指定されると、それに応答して、その指定点を通り、表示面７に垂直方向のたとえば水平面を作成して記憶する。
図３に、作成して記憶された水平面を示す。この図３に示す水平面は、制御部１内で作成されてメモリ２に記憶されればよく、表示器３に表示される必要はない。
ユーザは、次いで、表示器３の表示面７に表示されている三次元画像８を、図２に表示される向きとは別の向きになるように操作する。たとえば図４に示す向きにする。図２に示す三次元画像８の向きや、図４に示す三次元画像８の向きは、ユーザが三次元画像内の任意の点を特定する場合において、その点が視認可能な向きであればよい。
図４に示す三次元画像８において、ユーザは、所望の点を指定する。この点指定も、上述した操作と同様、マウス等により行うことができる。
制御部１では、図４に示す三次元画像８が表示されているときに、ユーザにより任意の点が指定されると、その指定点を通り、表示面７に垂直方向の直線を作成して記憶する。この作成された直線は、表示器３に表示される必要はない。
そして制御部１は、図２の表示画面が表示されたときに作成して記憶した水平面と、図４の表示画面が表示されているときに作成した直線との交点座標を求めて、その交点座標の点を指定点として三次元画像上に表示する。たとえば、図５に示すように、指定点９を表示する。
以上の処理により、ユーザは、三次元画像８の任意の点を、三次元画像を見ながら直接指定することができる。しかも、点指定は、表示面７上に表示された第１の向きで表示されている三次元画像と、第２の向きで表示されている三次元画像とに基づいて行うので、確実かつ簡易に指定点を特定できる。
この実施形態における処理について、別の具体例を述べる。
図６に示すように、表示器３の表示面７上に任意の向きに三次元画像８を表示させ、特定した画像の部位を指定する。指定された点を×印で示す。
この点指定に応答して、その指定点を通り、表示面７に垂直方向の縦断面が作成される。作成される縦断面を図７に示す。
ユーザは、次に図６の表示面７に表示されている三次元画像を、たとえば図８の向きに回転，移動させ、図８の三次元画像８に現れている指定したい部位（×印で示す。この指定したい部位は、図６においても現れていた部位である。）を特定する。
この図８における点指定により、その指定点を通り、表示面７に垂直方向の直線が作成して記憶される。
図９は、図６〜図８の処理を、平面図的に表わした説明図である。図９における７Ａは、図６の表示面７であり、７Ｂは図８における表示面７である。図７で形成された表示面７に垂直方向の縦断面は、図９ではＶＳとして表わされる。一方、図８で指定した点を通り、表示面７Ｂに垂直な線は図９においてＶＬで表わされる。そして面ＶＳと直線ＶＬとの交点座標を求めれば、それが特定した三次元画像上の点Ｐとなる。
このようにして、三次元画像内の任意の点を、簡単な操作で正しく特定することができる。
図１０，図１１は、図１に示す制御部１の処理動作を示すフローチャートである。次に、図１０，図１１の流れに従って、図１〜図９を参照しながら説明をする。
まず、表示器３に三次元画像が表示される（ステップＳ１）。この表示される三次元画像は、ＭＲＩ、ＣＴ等の断層画像を基に三次元構築される画像である。かかる三次元構築のためのプログラムは、制御部１に予めインストールされており、制御部１はこの三次元画像構築のプログラムに基づいて、断層画像を三次元画像として表示する。三次元画像は、サーフェイスレンダリング法により構築された画像でもよいし、ボリュームレンダリング法により構築された画像でもよい。あるいは、疑似投影法等のデータに基づく三次元画像であってもよい。
次いで、制御部１は三次元点入力モードか否かの判別をする（ステップＳ２）。三次元点入力を行う場合は、装置はそのモードに設定される。もし三次元点入力モードでなければ、制御部１は他の処理を行う（ステップＳ１８）。
三次元点入力モードの場合は、ユーザは、表示器３の表示面７に表示された三次元画像８の向きを、所望の向き（第１の向き）になるように操作する。この操作に応じて、制御部１は表示３の表示面７に表示されている三次元画像３を、ユーザが所望する向きに表示する処理を行う（ステップＳ３）。
ユーザが所望する向きとは、ユーザが三次元画像中の指定したい点を視認することができる向きである。三次元画像の向きによっては、ユーザはその指定したい点を視認することができないから、その点が視認できる向きに三次元画像を回転させ、表示させる。従って、指定したい点を三次元画像上で確認しながら指定することができる。
表示面７に表示された三次元画像８に対し、ユーザは点を指定する。この点指定は、上述したように、マウス等によりカーソルを指定すべき箇所に合わせることにより行うことができる。
制御部１は、１点目の指定点入力ありと判定すると（ステップＳ４）、その入力点を通り、視点方向に平行で、表示面７に対して垂直方向の平面（表示面７に垂直方向とは、表示面７に対して、縦方向または横方向の断面である。）を作成してメモリ２に記憶する（ステップＳ５）。
次いで、２点目の指定点を入力すべき旨の指示を表示器３に出す。その指示に応じて、ユーザは表示面７に表示される画像の向きを第１の向きとは異なる向きになるように操作する。この操作に応じて表示面７の三次元画像８は、第２の向きに表示される（ステップＳ６）。
そしてその第２の向きにおいて、ユーザは指定すべき点を視認し、その点を２点目の指定点として入力する。これにより、制御部１は２点目の指定点入力ありの判別をし（ステップＳ７）、その指定された入力点を通り、視点方向に平行な線（表示面７に垂直方向の直線）を作成して記憶する（ステップＳ８）。
そして、ステップＳ５で作成した平面（断面）と、ステップＳ７で作成した直線との交点座標を算出し（ステップＳ８）、その交点座標を指定点としてメモリに記憶すると共に、当該交点座標で特定される点を、表示面７の三次元画像８上に表示する（ステップＳ９）。
この表示例は、前述した図５に示すものである。指定点の表示では、ステップＳ５で作成した平面や、ステップＳ８で作成した直線が、指定点と一緒に表示されていてもよいし、これら平面や直線は表示が省略されてもよい。
ユーザは、表示された指定点が、所望する点とは異なる位置であれば、キャンセルすべき旨を入力できる（ステップＳ１０）。キャンセル入力があれば、制御部１はステップＳ４，Ｓ７，Ｓ９で特定された点を無効にし（ステップＳ１１）、処理はステップＳ３に戻る。
交点座標で表わされる指定点が、ユーザが所望する点である場合は、次にユーザはその指定点を表わすマークの形、大きさおよび色を変更することができる。 ユーザが指定点を表わすマークの形、大きさおよび色を変更したい場合は、その旨を操作部４から入力すれば、制御部１でその変更処理が行われる（ステップＳ１３）。
表示される三次元画像との関係上、指定点を表わすマークが三次元画像上に表示されると、三次元画像が見にくい等の問題がある場合は、指定点を表わすマークを三次元画像上に表示しなくてもよい。この場合において、既に指定した指定点を呼び出したい場合、たとえば指定点の周囲部分を抽出して拡大表示させたい場合等に、その指定点を特定しやすいように、表示面の端部（画像表示領域外等）に指定点を特定するためのアイコンを表示してもよい。かかるアイコンを表示面の端部に表示することにより、一旦指定した三次元画像上の点を呼び出したい場合、指定した三次元画像上の点の周囲部分を抽出して拡大表示したい場合、あるいはその指定点を含む断層像を作成したい場合等に、三次元画像上で指定点をピックするのではなく、画像外の欄に表示されたアイコンをピックすることで、既存の指定点を選択することができ、操作が簡易化する。
また、指定点のＣＴ値（ＣＴ画像は、放射線を照射し、人体組織によって反射されてくる放射線の値を、Ｘ線吸収係数の相対値で表わしたものである。つまり、水のＸ線吸収係数を０としたときの人体組織のＸ線吸収係数の相対値であり、たとえば骨や石灰物では、８０〜１０００程度であり、血液や肝臓では２０〜７０程度である。指定点のＣＴ値を判断することによって、たとえば骨の石灰化の程度を判断できるし、肝臓の場合、その部位に腫瘍が生じているか否かの判断の参照になる。）を表示させることができる（ステップＳ１４）。表示させたい場合、ユーザは操作部４を操作すればよく、それに応じて、指定点近傍にＣＴ値が表示される（ステップＳ１５）。なお、指定点近傍にＣＴ値が表示されるのではなく、ＣＴ値は、表示面７の片隅等、特定の表示領域に表示されるような構成としてもよい。
さらに、指定した指定点を中心に、たとえば所定寸法の半径の領域を抽出することができる。抽出操作が行われたと判別されると、制御部１では、必要な抽出処理を行い（ステップＳ１７）、その抽出部位をたとえば拡大表示等させる。
以上説明した実施形態では、三次元画像を第１の向きに表示させて、そのときの表示面に対する垂直方向の面を作成し、次いで三次元画像を第２の向きにして、そのときの表示面に対する垂直方向の直線を作成する例を示したが、三次元画像を第１の向きに向けたときに、表示面に対して垂直方向の２つの面（たとえば、表示面に対して縦方向および横方向の２つの垂直方向の面）を作成し、三次元画像を第２の向きに向けたときに、表示面に対して垂直方向の１つの面を作成して、それら３つの面の交点を求めてその点を指定点としてもよい。
また、まず直線を作成し、次いで面を作成して、その交点を指定点として特定してもよい。
要は、２つの視点方向から三次元画像を見たとき、各視点方向から見た三次元画像上において、任意の点をそれぞれ指定し、その指定点を通り表示面に垂直方向の面または直線を作成して、それらの交点から指定点を特定するやり方であればよい。
上述の実施形態では、表示面に表示される画像は三次元構築された画像であるとして説明したが、表示面に表示される画像は、三次元構築画像に限らず、Ｍａｘ−ＩＰ、Ｍｉｎ−ＩＰ、Ｒａｙｓｕｍ等の任意方向からの三次元投影表示画像であってもよい。
医用画像として、ＭＩＰ（Maximum Intensity Projection) 法や、Laysum法という、任意方向からの三次元投影表示を行う表示法の画像が使用されることがある。この表示法の画像は、通常のレントゲン写真のような画像として表示されるが、三次元情報を持っている。そのため、画像を任意方向に回転させながら、その状態での投影画像を随時作成して表示することが可能である。この発明は、係る表示法の画像に対しても適用することが可能である。すなわち、図１２を参照して説明すると、１つの方向での投影表示画面上で、点指定を行うと、その点を通り、画面に垂直な面が作成される。この作成された面は投影画面上に直線として表示されるが、それは、視点方向から画面に垂直な面を投影したために直線として画像上に表示されるのであって、制御部１（コンピュータ）内では三次元情報を持っている。
次に、他の方向での投影表示画面を表示する。すなわち視点方向を変えた投影表示画面を表示させる。この場合に、先に点指定により作成された面を表示させると、直線ではなく面として表示される。そしてこの視点で、第２の点指定を行えば、その点を通り画面に垂直な直線と前記の面との交点の三次元的な座標を、制御部１内で算出することができ、指定点の座標を保持することができる。また、その指定点を画像の上に表示することができる。
以上のように、この発明は、任意の方向から三次元投影表示された医用画像における点入力に対しても適用することができる。
この発明のさらに他の実施形態として、次のようにして医用三次元画像における任意の点を特定することが可能である。
すなわち、表示面上に表示された三次元画像または三次元投影画像の向きを、ユーザの操作に応じて任意の第１の向きになるように表示制御する。そして表示画面上に第１の向きで表示されている三次元画像または三次元投影画像上の任意の点が指定されると、その点を通り、表示面に垂直方向の断面画像を作成する。そして作成された断面画像を表示面に表示させる。
ユーザは、表示された断面画像上の任意の点を指定することができる。そして指定された点は、断面画像上の点であるから、その点の三次元座標が制御部１で算出されて保持される。これにより、三次元画像における任意の点を特定することができる。
つまりこの実施形態では、第１の向きで表示される三次元画像または三次元投影画像において、任意の点が表示されると、表示面に垂直方向の面を作成する際に、作成した面、すなわち断面画像を表示させるのである。それにより、第２の向き（断面に直交方向）から行う点指定を断面画像上で直接行うことができることになる。これにより、三次元画像表示による重なり、遮りに関係なく点の指定ができる。
かかるやり方は、従来の二次元画像上での点入力に比べて、直接三次元表示画像上で操作を行えるため、三次元的な位置決めが容易である。また、操作の度に、三次元画像、二次元画像と切り換える必要がない。また、断面画像作成のための条件設定が、第１の向きで指定された点を通り、表示面に垂直な断面と特定されているため、従来のように、位置や向き等の断面画像作成のための複雑な設定をしなくても、第１の向きで１点を指定するだけで、その点を通り、表示面に垂直な断面が自動的に作成されるから、断面作成が容易である。
この発明は、以上説明した実施形態に限定されるものではなく、請求項記載の範囲内において種々の変更が可能である。
この出願は、２０００年６月１６日に日本国特許庁に提出された特願２０００−１８２０６９号に基づき、条約による優先権を主張しており、この出願の全開示はこの出願に組み込まれるものとする。
【図面の簡単な説明】
【図１】この発明の一実施形態に係る三次元画像のための点入力装置のハードウェア構成を示すブロック図である。
【図２】表示器の表示面上に表示された三次元画像の一例を示す図である。
【図３】作成された面（水平面）を示す図である。
【図４】図２の三次元画像を別の視点から見た状態の表示例を示す図である。
【図５】三次元画像上に表示された指定点の表示例を示す図である。
【図６】表示器の表示面上に表示された三次元画像の他の例を示す図である。
【図７】作成された面（縦断面）を示す図である。
【図８】図６の三次元画像を別の視点から見た状態の表示例を示す図である。
【図９】図６〜図８に示す処理を、平面的に表わした説明図である。
【図１０】制御部の処理動作を示すフローチャートである。
【図１１】制御部の処理動作を示すフローチャートである。
【図１２】任意方向からの三次元投影表示を行う表示法の画像に対し、この発明に係る点指定処理を行う場合の説明図である。
【符号の説明】
１ 制御部
２ メモリ
３ 表示器
４ 操作部
５ 情報記録媒体
６ モデム
この発明は、表示面上に表示される三次元画像に対して任意の点を指定して入力するための装置および方法に関する。特に、医療画像分野において使用される、三次元画像に対する任意の指定点の入力装置および方法に関する。
【背景技術】
医療画像分野では、ＭＲＩ、ＣＴ等の断層画像を三次元構築した画像処理が広く用いられている。医用三次元画像の構築方法は、大別すると、サーフェイスレンダリング法とボリュームレンダリング法の２種類に分かれる。サーフェイスレンダリング法は、表示しようとしてる対象の輪郭、表面形状を（アルゴリズム上では三角パッチに代表されるような表面パッチやタイルにより）構築する手法である。ボリュームレンダリング法は、レイキャスティングのアルゴリズムに基づく手法であり、三次元物体を構成する各ボクセルに対して、不透明度および色情報を割り付けて、物体の中身を可視化する方法である。これら手法により三次元構築した画像を、臨床で使用するにあたっては、構築画像上での計測、マーキング、抽出等の画像処理を行うために、三次元画像上の任意の点（箇所）をピック（指定または特定）する必要がある。
サーフェスレンダリング法では、輪郭が抽出されているため、輪郭表示上の点はピックできるが、他の構造物と重なっている内部をピックすることはできない。
一方、ボリュームレンダリング法においては、内部情報のみであるため、三次元画像上で直接任意の点をピックすることは、全くできない。
そのため、従来、臨床における任意の点の指定は、三次元構築画像上ではなく、断層画像上（正面、上面、側面等の複数の視点上）で行うのが一般的である（なお、上述したように、サーフェイスレンダリング法では、直接三次元画像上でピックできるが、その指定点は外形輪郭上に限られてしまう）。そのため、画像上の任意の点を指定するのに、処理操作が多く、複雑で、しかも時間がかかるという課題があった。
【発明の開示】
【発明が解決しようとする課題】
この発明は、かかる背景のもとになされたもので、三次元画像の任意の点を簡単な操作によって指定できる点入力装置および方法を提供することを主たる目的とする。
この発明はまた、サーフェイスレンダリング、ボリュームレンダリング等の三次元構築手法に関係なく、三次元画像上で任意の点を特定でき、そのための処理操作が簡易で、かつ処理時間の短い点入力装置および方法を提供することを目的とする。
【課題を解決するための手段】
請求項１記載の発明は、三次元画像を表示面上に表示させるための表示手段、表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、表示面上に第１の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の面を作成する手段、表示面上に、前記第１の向きとは異なる第２の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の直線を作成する手段、および前記作成された面と直線との交点座標を求め、その交点を指定点として保持する手段、を含むことを特徴とする三次元画像のための点入力装置である。
請求項２記載の発明は、三次元画像に前記指定点を表示し、または前記指定点のデータ値を表示し、または指定点を中心とするその周囲部分の抽出を行う等の指定点関連処理手段をさらに含むことを特徴とする、請求項１記載の三次元画像のための点入力装置である。
請求項３記載の発明は、表示面上に表示された三次元画像における任意の点を指定するための方法であって、表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の面を作成するステップと、表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御するステップと、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の直線を作成するステップと、前記作成した面と直線との交点座標を求めて指定点として保持するステップと、を含むことを特徴とする、三次元画像に対する任意の点の入力方法である。
請求項４記載の発明は、三次元画像を表示面上に表示させるための表示手段、表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、表示面に第１の向きで表示されている三次元画像の任意の点が指定されたことに応じて、その点を通り、表示面に垂直方向の２つの面を作成する手段、表示面上に、前記第１の向きとは異なる第２の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成する手段、および前記記憶された３つの平面が交わる交点座標を求め、その交点を指定点として保持する手段、を含むことを特徴とする三次元画像のための点入力装置である。
請求項５記載の発明は、表示面上に表示された三次元画像における任意の点を指定するための方法であって、
（１）表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の２つの面または表示面に垂直方向の１本の直線を作成し、
（２）表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御し、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成し、
（３）前記（１）の処理で作成された２つの面と前記（２）の処理で作成された１つの面の３つの面が互いに交わる交点の座標を求めるか、または、前記第１の処理で作成された直線と前記第２の処理で作成された１つの面との交点の座標を求め、
（４）求めた交点座標の点を指定点として保持することを特徴とする、三次元画像に対する任意の点の入力方法である。
請求項６記載の発明は、請求項５記載の入力方法において、前記（１）の処理と前記（２）の処理とを前後逆にしたことを特徴とする、三次元画像に対する任意の点の入力方法である。
請求項７記載の発明は、表示面上に表示された三次元画像における任意の点を指定するためのプログラムであって、
（１）表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の２つの面または表示面に垂直方向の１本の直線を作成する処理、
（２）表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御し、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成する処理、
（３）前記（１）の処理で作成された２つの面と前記（２）の処理で作成された１つの面の３つの平面が互いに交わる交点の座標を求めるか、または、前記第１の処理で作成された直線と前記第２の処理で作成された１つの面との交点の座標を求める処理、
（４）求めた交点座標の点を指定点として保持する処理、
を含むことを特徴とする、三次元画像における任意の点を指定するためのプログラムである。
【発明の効果】
請求項１ないし７の発明によれば、ユーザは、表示面に表示される三次元画像を確認しながら、その三次元画像に現れる任意の点を指定することができる。そして、三次元画像における任意の点の指定は、第１の向きで表示される三次元画像と、第２の向きで表示される三次元画像で確認しながら行うことができ、所望の点を簡単に指定することができる。
この発明の点入力装置または点入力方法では、三次元画像の第１に指定された指定点を通り、表示面に垂直方向の平面と、第２に指定された指定点を通り表示面に垂直方向の直線との交点座標によって三次元画像における指定点を特定するため、指定点が正しくかつただ１点を特定することができる。
また、この発明の指定点の特定方法は、平面と直線との交点によって求める以外に、請求項４記載のように、第１の向きで表示される三次元画像に基づいて、指定された点を通り、表示面に垂直方向の２つの平面と、第２の向きで表示される三次元画像に基づいて、指定された点を通り、表示面に垂直方向の１つの平面との３つの平面の交わる交点座標によって、ただ１点を特定することができる。
また、指定点を特定するのに、３つの平面の交点により特定するか、１つの平面と直線との交点により特定するかが重要であり、まず三次元画像を第２の向きで表示させて、そのときに直線または１つの平面を作成し、次に三次元画像を第１の向きで表示させて、そのときに１つの平面または２つの平面を作成してもよく、平面および直線の作成手順に順序が定まっているわけではない。
請求項２の発明では、特定された指定点に関連して、その指定点を中心とした種々の処理を行うことができる。
【発明を実施するための最良の形態】
以下には、図面を参照して、この発明の一実施形態について具体的に説明をする。
図１は、この発明の一実施形態にかかる三次元画像のための点入力装置のハードウェア構成を示すブロック図である。この装置は、マイクロコンピュータ等を含む制御部１を有しており、制御部１には動作プログラムや種々のデータを記憶するためのメモリ２が含まれている。制御部１には三次元画像を表示するための表示器３が接続されている。表示器３は、ブラウン管を用いたディスプレイや、液晶ディスプレイ、その他で構成することができる。制御部１には、また、操作部４が接続されている。操作部４にはキーボード、マウスその他の信号やデータの入力機器が含まれる。
制御部１は、ＣＤ−ＲＯＭや光ディスクその他の情報記録媒体５に記録された情報を読み取り、その読取った情報を必要に応じてメモリ２に記録することができる。また、制御部１には通信用のモデム６が接続されており、このモデム６を介して情報ネットワーク等から必要な情報やデータを取り込んだり、情報ネットワークへ所定のデータを送信することが可能である。
この実施形態にかかる点入力装置の特徴は、表示器３の表示面上に表示される三次元画像に対して、ユーザが所望の位置を指定することができ、その指定された点が三次元画像に関連づけて記憶され、表示されることである。
かかる処理は、制御部１により行われる以下に説明するプログラムに従って実行される。この発明は、また、かかるプログラムによって実行される三次元画像上の任意の点の指定方法が特徴である。
この発明を実現するプログラムは、制御部１のメモリ２に予め記憶されていてもよいし、情報記録媒体５に記録されていてもよい。情報記録媒体５に記録されたプログラムは、制御部１にインストールされることによって、制御部１のメモリ２に記憶される。また、この発明にかかるプログラムは、モデム６を介して、外部の情報ネットワークから制御部１にダウンロードすることができてもよい。 以下、制御部１により実行される動作、つまりこの実施形態にかかるプログラムの特徴について具体的に説明をする。
制御部１は、上述したように情報記録媒体５に記録されたプログラムや、モデム６を介して受信したプログラムをメモリ２にインストールすることができるとともに、ＭＲＩやＣＴ等で撮影された断層画像データを取り込んでメモリ２に記憶することができる。断層画像データも、情報記録媒体５に記録されたものを取り込んでもよいし、モデム６を介して送られてくる断層画像データを取り込むことも可能である。また、断層画像データが制御部１に与えられ、制御部１において医用三次元画像が構築される場合に限らず、医用三次元画像データそのものが、制御部１に与えられてもよい。
図２は、表示器３の表示面７上に表示された三次元画像８の一例を示す図である。三次元画像８は、制御部１に与えられたＭＲＩ、ＣＴ等の断層画像を元に三次元に構築された画像である。あるいは、制御部１に与えられた三次元画像データ自体を表示したものである。ユーザは、操作部４を操作することにより、表示面７に表示された三次元画像８を、所望の向きになるように回転させたり、所望の部位を拡大させたり、所望の部位の断層面を表示させたりすることができる。 この実施形態では、表示面７に表示される三次元画像８の向きを所望の向きにし、三次元画像８に現れている任意の点を指定することができる。この点指定は、たとえばマウスによって、三次元画像８の指定したい部分にカーソルを合わせ、マウスをクリックすること等で行うことができる。
制御部１では、三次元画像８の任意の点が指定されると、それに応答して、その指定点を通り、表示面７に垂直方向のたとえば水平面を作成して記憶する。
図３に、作成して記憶された水平面を示す。この図３に示す水平面は、制御部１内で作成されてメモリ２に記憶されればよく、表示器３に表示される必要はない。
ユーザは、次いで、表示器３の表示面７に表示されている三次元画像８を、図２に表示される向きとは別の向きになるように操作する。たとえば図４に示す向きにする。図２に示す三次元画像８の向きや、図４に示す三次元画像８の向きは、ユーザが三次元画像内の任意の点を特定する場合において、その点が視認可能な向きであればよい。
図４に示す三次元画像８において、ユーザは、所望の点を指定する。この点指定も、上述した操作と同様、マウス等により行うことができる。
制御部１では、図４に示す三次元画像８が表示されているときに、ユーザにより任意の点が指定されると、その指定点を通り、表示面７に垂直方向の直線を作成して記憶する。この作成された直線は、表示器３に表示される必要はない。
そして制御部１は、図２の表示画面が表示されたときに作成して記憶した水平面と、図４の表示画面が表示されているときに作成した直線との交点座標を求めて、その交点座標の点を指定点として三次元画像上に表示する。たとえば、図５に示すように、指定点９を表示する。
以上の処理により、ユーザは、三次元画像８の任意の点を、三次元画像を見ながら直接指定することができる。しかも、点指定は、表示面７上に表示された第１の向きで表示されている三次元画像と、第２の向きで表示されている三次元画像とに基づいて行うので、確実かつ簡易に指定点を特定できる。
この実施形態における処理について、別の具体例を述べる。
図６に示すように、表示器３の表示面７上に任意の向きに三次元画像８を表示させ、特定した画像の部位を指定する。指定された点を×印で示す。
この点指定に応答して、その指定点を通り、表示面７に垂直方向の縦断面が作成される。作成される縦断面を図７に示す。
ユーザは、次に図６の表示面７に表示されている三次元画像を、たとえば図８の向きに回転，移動させ、図８の三次元画像８に現れている指定したい部位（×印で示す。この指定したい部位は、図６においても現れていた部位である。）を特定する。
この図８における点指定により、その指定点を通り、表示面７に垂直方向の直線が作成して記憶される。
図９は、図６〜図８の処理を、平面図的に表わした説明図である。図９における７Ａは、図６の表示面７であり、７Ｂは図８における表示面７である。図７で形成された表示面７に垂直方向の縦断面は、図９ではＶＳとして表わされる。一方、図８で指定した点を通り、表示面７Ｂに垂直な線は図９においてＶＬで表わされる。そして面ＶＳと直線ＶＬとの交点座標を求めれば、それが特定した三次元画像上の点Ｐとなる。
このようにして、三次元画像内の任意の点を、簡単な操作で正しく特定することができる。
図１０，図１１は、図１に示す制御部１の処理動作を示すフローチャートである。次に、図１０，図１１の流れに従って、図１〜図９を参照しながら説明をする。
まず、表示器３に三次元画像が表示される（ステップＳ１）。この表示される三次元画像は、ＭＲＩ、ＣＴ等の断層画像を基に三次元構築される画像である。かかる三次元構築のためのプログラムは、制御部１に予めインストールされており、制御部１はこの三次元画像構築のプログラムに基づいて、断層画像を三次元画像として表示する。三次元画像は、サーフェイスレンダリング法により構築された画像でもよいし、ボリュームレンダリング法により構築された画像でもよい。あるいは、疑似投影法等のデータに基づく三次元画像であってもよい。
次いで、制御部１は三次元点入力モードか否かの判別をする（ステップＳ２）。三次元点入力を行う場合は、装置はそのモードに設定される。もし三次元点入力モードでなければ、制御部１は他の処理を行う（ステップＳ１８）。
三次元点入力モードの場合は、ユーザは、表示器３の表示面７に表示された三次元画像８の向きを、所望の向き（第１の向き）になるように操作する。この操作に応じて、制御部１は表示３の表示面７に表示されている三次元画像３を、ユーザが所望する向きに表示する処理を行う（ステップＳ３）。
ユーザが所望する向きとは、ユーザが三次元画像中の指定したい点を視認することができる向きである。三次元画像の向きによっては、ユーザはその指定したい点を視認することができないから、その点が視認できる向きに三次元画像を回転させ、表示させる。従って、指定したい点を三次元画像上で確認しながら指定することができる。
表示面７に表示された三次元画像８に対し、ユーザは点を指定する。この点指定は、上述したように、マウス等によりカーソルを指定すべき箇所に合わせることにより行うことができる。
制御部１は、１点目の指定点入力ありと判定すると（ステップＳ４）、その入力点を通り、視点方向に平行で、表示面７に対して垂直方向の平面（表示面７に垂直方向とは、表示面７に対して、縦方向または横方向の断面である。）を作成してメモリ２に記憶する（ステップＳ５）。
次いで、２点目の指定点を入力すべき旨の指示を表示器３に出す。その指示に応じて、ユーザは表示面７に表示される画像の向きを第１の向きとは異なる向きになるように操作する。この操作に応じて表示面７の三次元画像８は、第２の向きに表示される（ステップＳ６）。
そしてその第２の向きにおいて、ユーザは指定すべき点を視認し、その点を２点目の指定点として入力する。これにより、制御部１は２点目の指定点入力ありの判別をし（ステップＳ７）、その指定された入力点を通り、視点方向に平行な線（表示面７に垂直方向の直線）を作成して記憶する（ステップＳ８）。
そして、ステップＳ５で作成した平面（断面）と、ステップＳ７で作成した直線との交点座標を算出し（ステップＳ８）、その交点座標を指定点としてメモリに記憶すると共に、当該交点座標で特定される点を、表示面７の三次元画像８上に表示する（ステップＳ９）。
この表示例は、前述した図５に示すものである。指定点の表示では、ステップＳ５で作成した平面や、ステップＳ８で作成した直線が、指定点と一緒に表示されていてもよいし、これら平面や直線は表示が省略されてもよい。
ユーザは、表示された指定点が、所望する点とは異なる位置であれば、キャンセルすべき旨を入力できる（ステップＳ１０）。キャンセル入力があれば、制御部１はステップＳ４，Ｓ７，Ｓ９で特定された点を無効にし（ステップＳ１１）、処理はステップＳ３に戻る。
交点座標で表わされる指定点が、ユーザが所望する点である場合は、次にユーザはその指定点を表わすマークの形、大きさおよび色を変更することができる。 ユーザが指定点を表わすマークの形、大きさおよび色を変更したい場合は、その旨を操作部４から入力すれば、制御部１でその変更処理が行われる（ステップＳ１３）。
表示される三次元画像との関係上、指定点を表わすマークが三次元画像上に表示されると、三次元画像が見にくい等の問題がある場合は、指定点を表わすマークを三次元画像上に表示しなくてもよい。この場合において、既に指定した指定点を呼び出したい場合、たとえば指定点の周囲部分を抽出して拡大表示させたい場合等に、その指定点を特定しやすいように、表示面の端部（画像表示領域外等）に指定点を特定するためのアイコンを表示してもよい。かかるアイコンを表示面の端部に表示することにより、一旦指定した三次元画像上の点を呼び出したい場合、指定した三次元画像上の点の周囲部分を抽出して拡大表示したい場合、あるいはその指定点を含む断層像を作成したい場合等に、三次元画像上で指定点をピックするのではなく、画像外の欄に表示されたアイコンをピックすることで、既存の指定点を選択することができ、操作が簡易化する。
また、指定点のＣＴ値（ＣＴ画像は、放射線を照射し、人体組織によって反射されてくる放射線の値を、Ｘ線吸収係数の相対値で表わしたものである。つまり、水のＸ線吸収係数を０としたときの人体組織のＸ線吸収係数の相対値であり、たとえば骨や石灰物では、８０〜１０００程度であり、血液や肝臓では２０〜７０程度である。指定点のＣＴ値を判断することによって、たとえば骨の石灰化の程度を判断できるし、肝臓の場合、その部位に腫瘍が生じているか否かの判断の参照になる。）を表示させることができる（ステップＳ１４）。表示させたい場合、ユーザは操作部４を操作すればよく、それに応じて、指定点近傍にＣＴ値が表示される（ステップＳ１５）。なお、指定点近傍にＣＴ値が表示されるのではなく、ＣＴ値は、表示面７の片隅等、特定の表示領域に表示されるような構成としてもよい。
さらに、指定した指定点を中心に、たとえば所定寸法の半径の領域を抽出することができる。抽出操作が行われたと判別されると、制御部１では、必要な抽出処理を行い（ステップＳ１７）、その抽出部位をたとえば拡大表示等させる。
以上説明した実施形態では、三次元画像を第１の向きに表示させて、そのときの表示面に対する垂直方向の面を作成し、次いで三次元画像を第２の向きにして、そのときの表示面に対する垂直方向の直線を作成する例を示したが、三次元画像を第１の向きに向けたときに、表示面に対して垂直方向の２つの面（たとえば、表示面に対して縦方向および横方向の２つの垂直方向の面）を作成し、三次元画像を第２の向きに向けたときに、表示面に対して垂直方向の１つの面を作成して、それら３つの面の交点を求めてその点を指定点としてもよい。
また、まず直線を作成し、次いで面を作成して、その交点を指定点として特定してもよい。
要は、２つの視点方向から三次元画像を見たとき、各視点方向から見た三次元画像上において、任意の点をそれぞれ指定し、その指定点を通り表示面に垂直方向の面または直線を作成して、それらの交点から指定点を特定するやり方であればよい。
上述の実施形態では、表示面に表示される画像は三次元構築された画像であるとして説明したが、表示面に表示される画像は、三次元構築画像に限らず、Ｍａｘ−ＩＰ、Ｍｉｎ−ＩＰ、Ｒａｙｓｕｍ等の任意方向からの三次元投影表示画像であってもよい。
医用画像として、ＭＩＰ（Maximum Intensity Projection) 法や、Laysum法という、任意方向からの三次元投影表示を行う表示法の画像が使用されることがある。この表示法の画像は、通常のレントゲン写真のような画像として表示されるが、三次元情報を持っている。そのため、画像を任意方向に回転させながら、その状態での投影画像を随時作成して表示することが可能である。この発明は、係る表示法の画像に対しても適用することが可能である。すなわち、図１２を参照して説明すると、１つの方向での投影表示画面上で、点指定を行うと、その点を通り、画面に垂直な面が作成される。この作成された面は投影画面上に直線として表示されるが、それは、視点方向から画面に垂直な面を投影したために直線として画像上に表示されるのであって、制御部１（コンピュータ）内では三次元情報を持っている。
次に、他の方向での投影表示画面を表示する。すなわち視点方向を変えた投影表示画面を表示させる。この場合に、先に点指定により作成された面を表示させると、直線ではなく面として表示される。そしてこの視点で、第２の点指定を行えば、その点を通り画面に垂直な直線と前記の面との交点の三次元的な座標を、制御部１内で算出することができ、指定点の座標を保持することができる。また、その指定点を画像の上に表示することができる。
以上のように、この発明は、任意の方向から三次元投影表示された医用画像における点入力に対しても適用することができる。
この発明のさらに他の実施形態として、次のようにして医用三次元画像における任意の点を特定することが可能である。
すなわち、表示面上に表示された三次元画像または三次元投影画像の向きを、ユーザの操作に応じて任意の第１の向きになるように表示制御する。そして表示画面上に第１の向きで表示されている三次元画像または三次元投影画像上の任意の点が指定されると、その点を通り、表示面に垂直方向の断面画像を作成する。そして作成された断面画像を表示面に表示させる。
ユーザは、表示された断面画像上の任意の点を指定することができる。そして指定された点は、断面画像上の点であるから、その点の三次元座標が制御部１で算出されて保持される。これにより、三次元画像における任意の点を特定することができる。
つまりこの実施形態では、第１の向きで表示される三次元画像または三次元投影画像において、任意の点が表示されると、表示面に垂直方向の面を作成する際に、作成した面、すなわち断面画像を表示させるのである。それにより、第２の向き（断面に直交方向）から行う点指定を断面画像上で直接行うことができることになる。これにより、三次元画像表示による重なり、遮りに関係なく点の指定ができる。
かかるやり方は、従来の二次元画像上での点入力に比べて、直接三次元表示画像上で操作を行えるため、三次元的な位置決めが容易である。また、操作の度に、三次元画像、二次元画像と切り換える必要がない。また、断面画像作成のための条件設定が、第１の向きで指定された点を通り、表示面に垂直な断面と特定されているため、従来のように、位置や向き等の断面画像作成のための複雑な設定をしなくても、第１の向きで１点を指定するだけで、その点を通り、表示面に垂直な断面が自動的に作成されるから、断面作成が容易である。
この発明は、以上説明した実施形態に限定されるものではなく、請求項記載の範囲内において種々の変更が可能である。
この出願は、２０００年６月１６日に日本国特許庁に提出された特願２０００−１８２０６９号に基づき、条約による優先権を主張しており、この出願の全開示はこの出願に組み込まれるものとする。
【図面の簡単な説明】
【図１】この発明の一実施形態に係る三次元画像のための点入力装置のハードウェア構成を示すブロック図である。
【図２】表示器の表示面上に表示された三次元画像の一例を示す図である。
【図３】作成された面（水平面）を示す図である。
【図４】図２の三次元画像を別の視点から見た状態の表示例を示す図である。
【図５】三次元画像上に表示された指定点の表示例を示す図である。
【図６】表示器の表示面上に表示された三次元画像の他の例を示す図である。
【図７】作成された面（縦断面）を示す図である。
【図８】図６の三次元画像を別の視点から見た状態の表示例を示す図である。
【図９】図６〜図８に示す処理を、平面的に表わした説明図である。
【図１０】制御部の処理動作を示すフローチャートである。
【図１１】制御部の処理動作を示すフローチャートである。
【図１２】任意方向からの三次元投影表示を行う表示法の画像に対し、この発明に係る点指定処理を行う場合の説明図である。
【符号の説明】
１ 制御部
２ メモリ
３ 表示器
４ 操作部
５ 情報記録媒体
６ モデム
Claims (7)
- 三次元画像を表示面上に表示させるための表示手段、
表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、
表示面上に第１の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の面を作成する手段、
表示面上に、前記第１の向きとは異なる第２の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の直線を作成する手段、および
前記作成された面と直線との交点座標を求め、その交点を指定点として保持する手段、を含むことを特徴とする三次元画像のための点入力装置。 - 三次元画像に前記指定点を表示し、または前記指定点のデータ値を表示し、または指定点を中心とするその周囲部分の抽出を行う等の指定点関連処理手段をさらに含むことを特徴とする、請求項１記載の三次元画像のための点入力装置。
- 表示面上に表示された三次元画像における任意の点を指定するための方法であって、
表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の面を作成するステップと、
表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御するステップと、
表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の直線を作成するステップと、
前記作成した面と直線との交点座標を求めて指定点として保持するステップと、を含むことを特徴とする、三次元画像に対する任意の点の入力方法。 - 三次元画像を表示面上に表示させるための表示手段、
表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、
表示面に第１の向きで表示されている三次元画像の任意の点が指定されたことに応じて、その点を通り、表示面に垂直方向の２つの面を作成する手段、
表示面上に、前記第１の向きとは異なる第２の向きで表示されている三次元画像の任意の点が指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成する手段、および
前記記憶された３つの平面が交わる交点座標を求め、その交点を指定点として保持する手段、
を含むことを特徴とする三次元画像のための点入力装置。 - 表示面上に表示された三次元画像における任意の点を指定するための方法であって、
（１）表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の２つの面または表示面に垂直方向の１本の直線を作成し、
（２）表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御し、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成し、
（３）前記（１）の処理で作成された２つの面と前記（２）の処理で作成された１つの面の３つの面が互いに交わる交点の座標を求めるか、または、前記第１の処理で作成された直線と前記第２の処理で作成された１つの面との交点の座標を求め、
（４）求めた交点座標の点を指定点として保持することを特徴とする、三次元画像に対する任意の点の入力方法。 - 請求項５記載の入力方法において、前記（１）の処理と前記（２）の処理とを前後逆にしたことを特徴とする、三次元画像に対する任意の点の入力方法。
- 表示面上に表示された三次元画像における任意の点を指定するためのプログラムであって、
（１）表示面上に表示された三次元画像の向きを、ユーザの操作に応じた第１の向きになるように表示制御し、表示面上に第１の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の２つの面または表示面に垂直方向の１本の直線を作成する処理、
（２）表示面に表示された三次元画像の向きを、ユーザの操作に応じ前記第１の向きとは異なる第２の向きになるように制御し、表示面上に、第２の向きで表示されている三次元画像の任意の点がユーザによって指定されたことに応答して、その点を通り、表示面に垂直方向の１つの面を作成する処理、
（３）前記（１）の処理で作成された２つの面と前記（２）の処理で作成された１つの面の３つの平面が互いに交わる交点の座標を求めるか、または、前記第１の処理で作成された直線と前記第２の処理で作成された１つの面との交点の座標を求める処理、
（４）求めた交点座標の点を指定点として保持する処理、
を含むことを特徴とする、三次元画像における任意の点を指定するためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000182069 | 2000-06-16 | ||
| PCT/JP2001/005167 WO2001097174A1 (fr) | 2000-06-16 | 2001-06-18 | Dispositif et procede d'entree de points pour images tridimensionnelles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4141253B2 true JP4141253B2 (ja) | 2008-08-27 |
Family
ID=18682907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002511295A Expired - Fee Related JP4141253B2 (ja) | 2000-06-16 | 2001-06-18 | 三次元画像のための点入力装置および方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7215325B2 (ja) |
| EP (1) | EP1308903B1 (ja) |
| JP (1) | JP4141253B2 (ja) |
| KR (1) | KR100770248B1 (ja) |
| CN (1) | CN1248168C (ja) |
| AT (1) | ATE464623T1 (ja) |
| CA (1) | CA2411193C (ja) |
| DE (1) | DE60141834D1 (ja) |
| WO (1) | WO2001097174A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1449481A4 (en) * | 2001-10-31 | 2010-06-23 | Imagnosis Inc | MEDICAL PICTURE PROCESSING DEVICE, METHOD AND PROGRAM |
| EP1816961A1 (en) * | 2004-11-23 | 2007-08-15 | Koninklijke Philips Electronics N.V. | Image processing system and method for displaying images during interventional procedures |
| JP4319156B2 (ja) * | 2005-03-02 | 2009-08-26 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
| EP1935344B1 (en) * | 2005-10-07 | 2013-03-13 | Hitachi Medical Corporation | Image displaying method and medical image diagnostic system |
| JP4638330B2 (ja) * | 2005-11-10 | 2011-02-23 | イマグノーシス株式会社 | 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム |
| US8270697B2 (en) * | 2006-03-09 | 2012-09-18 | Imagnosis Inc. | Medical 3-dimensional image display control program and medical 3-dimensional image display method |
| JP4732925B2 (ja) * | 2006-03-09 | 2011-07-27 | イマグノーシス株式会社 | 医用画像の表示方法およびそのプログラム |
| US20100328304A1 (en) * | 2006-12-14 | 2010-12-30 | Imagnosis Inc. | Display direction correcting device, correcting method, and correction program for medical 3d image |
| JP5224451B2 (ja) * | 2008-06-03 | 2013-07-03 | 富士フイルム株式会社 | 投影画像作成装置、方法およびプログラム |
| ATE529841T1 (de) | 2008-11-28 | 2011-11-15 | Agfa Healthcare Nv | Verfahren und vorrichtung zur bestimmung einer position in einem bild, insbesondere einem medizinischen bild |
| US20100150418A1 (en) * | 2008-12-15 | 2010-06-17 | Fujifilm Corporation | Image processing method, image processing apparatus, and image processing program |
| JP5387906B2 (ja) | 2009-12-28 | 2014-01-15 | 学校法人福岡大学 | ３次元座標特定装置、その方法、及びプログラム |
| KR101941644B1 (ko) * | 2011-07-19 | 2019-01-23 | 삼성전자 주식회사 | 휴대 단말기의 피드백 제공 방법 및 장치 |
| JP6265027B2 (ja) * | 2014-04-22 | 2018-01-24 | 富士通株式会社 | 表示装置、位置特定プログラム、および位置特定方法 |
| CN111772664B (zh) * | 2020-06-24 | 2024-02-13 | 北京朗视仪器股份有限公司 | 一种快速头影测量装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0198084A (ja) * | 1987-10-09 | 1989-04-17 | Toshiba Corp | ３次元画像処理装置 |
| JPH03231643A (ja) * | 1990-02-08 | 1991-10-15 | Toshiba Corp | 画像表示装置 |
| JPH06337920A (ja) * | 1993-05-28 | 1994-12-06 | Toshiba Medical Eng Co Ltd | 画像処理装置 |
| JPH0916814A (ja) * | 1995-06-30 | 1997-01-17 | Shimadzu Corp | 医用画像表示装置 |
| JPH119590A (ja) * | 1997-06-23 | 1999-01-19 | Toshiba Iyou Syst Eng Kk | 画像処理装置 |
| JPH1186039A (ja) * | 1997-09-04 | 1999-03-30 | Toshiba Iyou Syst Eng Kk | 画像処理支援装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5602564A (en) | 1991-11-14 | 1997-02-11 | Hitachi, Ltd. | Graphic data processing system |
| US6052100A (en) * | 1994-03-16 | 2000-04-18 | The United States Of America Represented By The Secertary Of The Navy | Computer controlled three-dimensional volumetric display |
| US6273896B1 (en) * | 1998-04-21 | 2001-08-14 | Neutar, Llc | Removable frames for stereotactic localization |
| US6546277B1 (en) * | 1998-04-21 | 2003-04-08 | Neutar L.L.C. | Instrument guidance system for spinal and other surgery |
| JP4290273B2 (ja) | 1999-01-13 | 2009-07-01 | 株式会社日立メディコ | 画像表示装置 |
-
2001
- 2001-06-18 AT AT01938717T patent/ATE464623T1/de not_active IP Right Cessation
- 2001-06-18 CA CA002411193A patent/CA2411193C/en not_active Expired - Fee Related
- 2001-06-18 KR KR1020027016155A patent/KR100770248B1/ko not_active IP Right Cessation
- 2001-06-18 US US10/296,717 patent/US7215325B2/en not_active Expired - Fee Related
- 2001-06-18 DE DE60141834T patent/DE60141834D1/de not_active Expired - Lifetime
- 2001-06-18 WO PCT/JP2001/005167 patent/WO2001097174A1/ja active Application Filing
- 2001-06-18 CN CNB018112927A patent/CN1248168C/zh not_active Expired - Fee Related
- 2001-06-18 JP JP2002511295A patent/JP4141253B2/ja not_active Expired - Fee Related
- 2001-06-18 EP EP01938717A patent/EP1308903B1/en not_active Expired - Lifetime
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0198084A (ja) * | 1987-10-09 | 1989-04-17 | Toshiba Corp | ３次元画像処理装置 |
| JPH03231643A (ja) * | 1990-02-08 | 1991-10-15 | Toshiba Corp | 画像表示装置 |
| JPH06337920A (ja) * | 1993-05-28 | 1994-12-06 | Toshiba Medical Eng Co Ltd | 画像処理装置 |
| JPH0916814A (ja) * | 1995-06-30 | 1997-01-17 | Shimadzu Corp | 医用画像表示装置 |
| JPH119590A (ja) * | 1997-06-23 | 1999-01-19 | Toshiba Iyou Syst Eng Kk | 画像処理装置 |
| JPH1186039A (ja) * | 1997-09-04 | 1999-03-30 | Toshiba Iyou Syst Eng Kk | 画像処理支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1308903B1 (en) | 2010-04-14 |
| KR20030013432A (ko) | 2003-02-14 |
| CA2411193A1 (en) | 2002-11-25 |
| EP1308903A4 (en) | 2009-05-13 |
| KR100770248B1 (ko) | 2007-10-25 |
| US7215325B2 (en) | 2007-05-08 |
| CA2411193C (en) | 2009-02-03 |
| WO2001097174A1 (fr) | 2001-12-20 |
| EP1308903A1 (en) | 2003-05-07 |
| ATE464623T1 (de) | 2010-04-15 |
| US20030132933A1 (en) | 2003-07-17 |
| CN1248168C (zh) | 2006-03-29 |
| CN1443342A (zh) | 2003-09-17 |
| DE60141834D1 (de) | 2010-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4141253B2 (ja) | 三次元画像のための点入力装置および方法 | |
| US9058679B2 (en) | Visualization of anatomical data | |
| US20070279436A1 (en) | Method and system for selective visualization and interaction with 3D image data, in a tunnel viewer | |
| JP5705403B2 (ja) | 超音波画像内の所定の点を追跡するための方法及び装置 | |
| US7061484B2 (en) | User-interface and method for curved multi-planar reformatting of three-dimensional volume data sets | |
| US20070279435A1 (en) | Method and system for selective visualization and interaction with 3D image data | |
| US9014438B2 (en) | Method and apparatus featuring simple click style interactions according to a clinical task workflow | |
| KR20020021798A (ko) | 3차원 영상의 표시장치, 표시방법 및 표시를 위한 프로그램 | |
| JP2011520190A (ja) | 画像アラインメントを使用してオブジェクトを別画像に亘ってマッピングするシステム | |
| US7889894B2 (en) | Method of navigation in three-dimensional image data | |
| CN113645896A (zh) | 手术计划、手术导航和成像用系统 | |
| JP2000210261A (ja) | 指示モニタ―に再現可能な像を表示かつ処理するための方法および装置 | |
| JPH09131339A (ja) | 三次元画像処理装置 | |
| KR20130089645A (ko) | 정보 비주얼화를 위한 방법, 장치 및 어레인지먼트 | |
| JP2001195610A (ja) | 画像処理装置 | |
| US20160205390A1 (en) | Method for displaying on a screen an object shown in a 3d data set | |
| JPH11283018A (ja) | 医用画像処理装置 | |
| JPH07146954A (ja) | 医用画像診断装置 | |
| JPH08318001A (ja) | 放射線治療計画システム | |
| JP5472892B2 (ja) | ３次元医用画像表示装置及びその表示方法 | |
| Chen et al. | Interactive manipulation of 3D data via a 2D display device | |
| JPH06149967A (ja) | 三次元画像診断装置 | |
| JPH07141529A (ja) | 医用画像処理装置 | |
| JPH1186039A (ja) | 画像処理支援装置 | |
| JP2001070248A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080610 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140620 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |