JP4342072B2 - 画像形成装置 - Google Patents
画像形成装置 Download PDFInfo
- Publication number
- JP4342072B2 JP4342072B2 JP2000058794A JP2000058794A JP4342072B2 JP 4342072 B2 JP4342072 B2 JP 4342072B2 JP 2000058794 A JP2000058794 A JP 2000058794A JP 2000058794 A JP2000058794 A JP 2000058794A JP 4342072 B2 JP4342072 B2 JP 4342072B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- projection
- update
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 description 33
- 210000004204 blood vessel Anatomy 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、Ｘ線ＣＴ装置やＭＲＩ装置などにより得られる三次元的な医用画像を基に、例えば血管や気管支の内面などについて、内視鏡的映像の形成を可能とする画像形成に関する。
【０００２】
【従来の技術】
Ｘ線ＣＴ装置やＭＲＩ装置などにより得られる三次元的な医用画像を三次元原画像として内視鏡的映像を疑似的に得る技術の一つとしては、例えば特願平６−１４３４９６号（特開平８−１６８１３号）などを優先権の基礎とした米国特許第５６９４５３０号に開示の例が知られている。この技術では、Ｘ線ＣＴ装置やＭＲＩ装置などにより与えられる三次元原画像を基にして内視鏡的映像のための疑似三次元画像（陰影付けなどにより奥行感を与えた画像）を得るについて、与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、望みの方向（血管の場合であればその延在方向）に更新しながら三次元原画像の部分部分を順次投影するようにしている。つまり対の視点と投影面との間に三次元原画像の一部として介在する単位三次元原画像を、視点と投影面との対の更新ごとに、更新視点から更新投影面に投影することで、三次元原画像に基づく部分的疑似三次元画像の連続的表示、つまり内視鏡映像的表示をなすようにしている。またこのような連続的部分表示において必要となる、望みの更新方向のための更新視点の決定、つまり視点経路の決定は、視点から投影画像の画素点までの距離情報で構成した“デプス画像”を利用することで視点から最も深い画素点を探し、これに基づいて視点経路の決定を行なうようにしている。
【０００３】
また他の技術としてD.S.Paikその他による“Automatedflight path planning for virtualy endoscopy ”Med.Phys.25(5),May1998 629-637ページに開示の例が知られている。この例では、始点と終点を指定し、これら始点と終点の間を最短にする経路を視点経路とする方法が提案されている。
【０００４】
【発明が解決しようとする課題】
上記の“デプス画像”を利用した視点経路の決定方法は、基本的には有効性の高いものであるが、ある種の条件の場合に問題を生じることがある。例えば血管を内視鏡映像的表示のための連続的表示の対象とするとして、その血管に分岐部分が含まれている場合などがそのような例である。この場合には、視点から最も深い画素点という基準だけであると、分岐点から先において操作者が連続的表示を意図しているのとは異なる血管中にたまたま最も深い画素点があることにより、その方向に誤って視点経路が選択されてしまう可能性がある。
【０００５】
また上記の始点と終点を指定する方法においては、始点と終点の間を最短にする経路を見出すのに多数の経路を比較する必要があるし、またそのために結果的に不要になる経路までも求めるという無駄な処理を含む可能性があるという問題を抱えている。
【０００６】
本発明は、上記のような従来の事情を背景になされたものであり、内視鏡映像的表示の対象に分岐部分などがある場合でも、操作者の意図通りの視点経路を的確に選択することができるような画像形成技術の提供を目的としている。
【０００７】
【課題を解決するための手段】
上記目的のために本発明では、与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、前記三次元原画像に関する所望の方向に更新しながら、前記対の視点と投影面との間に前記三次元原画像の一部として介在する単位三次元原画像を、前記視点と投影面との対の更新ごとに、更新視点から更新投影面に投影して投影像を形成する投影像形成手段と、この投影像形成手段で得られる各更新ごとの投影像を表示する表示手段とを備え、前記三次元原画像に基づく部分的疑似三次元画像の連続的表示をなせるようにされている画像形成装置において、前記三次元原画像を複数の予備処理用視点からこれら各予備処理用視点に対応する予備処理用投影面に投影して予備処理用投影像を形成する予備処理用投影像形成手段と、この予備処理用投影像形成手段で形成した投影像を前記表示手段に表示した状態でトレースしてトレース曲線を作成するためのトレース手段と、このトレース手段で作成した各トレース曲線ごとに、それぞれの上に設定した複数の点と各トレース曲線が形成されている投影像に対応する予備処理用視点とを結ぶ直線群を作成する直線群作成手段と、この直線群作成手段で作成された各直線群に関して、前記各直線群中の各直線同士の最近接点を求め、この各最近接点からガイド曲線を作成するガイド曲線作成手段と、このガイド曲線作成手段で作成したガイド曲線に基づいて前記所望の方向のための更新視点を決定するための更新視点決定手段とを備えていることを特徴としている。
【０００８】
また上記目的のために本発明では、与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、前記三次元原画像に関する所望の方向に更新しながら、前記対の視点と投影面との間に前記三次元原画像の一部として介在する単位三次元原画像を、前記視点と投影面との対の更新ごとに、更新視点から更新投影面に投影することで、前記三次元原画像に基づく部分的疑似三次元画像の連続的表示をなすようにされている画像形成方法において、前記三次元原画像を複数の予備処理用視点からこれら各予備処理用視点に対応する予備処理用投影面に投影するとともに、これら各予備処理用投影面上の投影像をトレースしてトレース曲線を求め、さらに前記各トレース曲線ごとに、それぞれの上に設定した複数の点と各トレース曲線が形成されている投影像に対応する予備処理用視点とを結ぶ直線群を作成するとともに、これら各直線群に関して、前記各直線群中の各直線同士の最近接点を求め、さらにこれら各最近接点からガイド曲線を作成し、そしてこのガイド曲線に基づいて前記所望の方向のための更新視点の決定をなすようにされていることを特徴としている。
【０００９】
また本発明では、上記のような画像形成方法において、ガイド曲線に基づく更新視点の決定は、ガイド曲線との距離関係によりなすようにしており、そして更新方向に関する進路候補点が複数あり、これに伴って更新視点候補点が複数ある場合に、複数の進路候補点の内からガイド曲線に最も近い進路候補点を求め、この進路候補点に基づいて更新視点を決定するか、または複数の更新視点候補点の内からガイド曲線に最も近い更新視点候補点を求め、この更新視点候補点を更新視点とするようにしている。
【００１０】
【発明の実施の形態】
図４に本発明の一実施形態による画像形成装置のブロック構成を示す。画像形成装置は、後述する様々な処理や全体管理を行なうＣＰＵ４０、ＣＰＵ４０による処理に必要なプログラムやデータの格納に用いられる主メモリ４１、Ｘ線ＣＴ装置やＭＲＩ装置などにより得られる三次元医用画像などを三次元原画像として格納したり、またＣＰＵ４０による処理で得られた画像を格納するのに用いられる磁気ディスク４２、ＣＰＵ４０による処理で得られた画像などの表示に介在する表示メモリ４３、表示メモリ４３を介して出力される画像を表示する表示装置４４、コントローラ４５を介して入力を行なうマウス４６、およびキーボード４７を含んでなる。
【００１１】
このような画像形成装置による内視鏡的映像の形成は、基本的には上記米国特許第５６９４５３０号に述べられている方法でなされる。このことを簡単に説明すると以下の通りである。Ｘ線ＣＴ装置やＭＲＩ装置などにより与えられる三次元原画像に対し、これを投影するための視点と投影面との対を、望みの方向に更新しながら三次元原画像の部分部分を順次投影することで内視鏡的映像を形成する。つまり対の視点と投影面との間に三次元原画像の一部として介在する単位三次元原画像を、視点と投影面との対の更新ごとに、更新視点から更新投影面に投影することで、三次元原画像に基づく部分的疑似三次元画像の連続的表示をなし、このことで内視鏡的映像を形成する。これら一連の処理には、上記のＣＰＵ４０以下の処理手段が用いられる。このような画像形成においては、望みの方向へ更新してゆくための更新視点の決定基準が必要となる。上記のように米国特許第５６９４５３０号ではこれを“デプス画像”によっているが、本発明では以下に説明するような方法を用いるものとしている。
【００１２】
本発明における更新視点の決定に関する処理の流れを図１に示す。以下では血管を連続的表示の対象とする場合を例にとって、各ステップにおける処理について説明する。ステップ０では、異なる視点（予備処理用視点）から構成した複数の画像を表示装置４４に表示する。すなわち磁気ディスク４２から連続的表示の対象とする血管の三次元原画像を読み出し、この三次元原画像について、図２の（ａ）にその概念を示すように、複数、例えば二つの予備処理用視点Ｖ1、Ｖ2からこれら各予備処理用視点に対応する予備処理用投影面Ｓ1、Ｓ2に中心投影法（図の例）や平行投影法で投影した画像を表示装置４４の画面に図２の（ｂ）に示すようにして並列表示する。この投影する画像には、例えば、上記米国特許第５６９４５３０号に述べられているような陰影付けした疑似三次元画像や特願平９−２６５４３８号に述べられているような、投影線上の特定の濃度の画素数を重み付けして構成した画像を用いることができる。
【００１３】
ステップ１では、表示装置４４の画面に表示されている血管の各投影像Ｉ1、Ｉ2をマウス４６によりトレースしてトレース曲線Ｔ1、Ｔ2を作成する。このトレース曲線Ｔ1、Ｔ2の作成は、図の例のように血管に分岐部分が含まれている場合には、分岐先でトレース曲線Ｔ1とトレース曲線Ｔ2が同じ血管に対して作成されるようにトレースする。ここで、この投影像やトレース曲線の数は予備処理用視点の数に応じて定まるものであり、ここで説明している例は予備処理用視点を二つにしてある関係から、投影像とトレース曲線の数も二つとなっている。
【００１４】
ステップ２では、ステップ１で作成したトレース曲線Ｔ1、Ｔ2に基づいてガイド曲線を作成する。そのためには、まずトレース曲線Ｔ1、Ｔ2ごとに、それぞれの上に複数の点を適当に設定する（図２の（ｂ）の例では各トレース曲線ごとに５点ずつ設定している）。それから各トレース曲線Ｔ1、Ｔ2が形成されている投影像に対応する予備処理用視点Ｖ1、Ｖ2と前記設定の各点とを結ぶ直線群Ｇ1、Ｇ2を作成する。それからさらに、これらの直線群Ｇ1、Ｇ2に関して、各直線群中の各直線同士の最近接点Ｎａ〜Ｎｅを求め、これらの最近接点Ｎａ〜Ｎｅからガイド曲線Ｃを作成する。最近接点は、例えば数式により解析的に求めることもできるし、また計算機により数値的に求めることも可能である。数値的に求める場合には、２直線上にそれぞれ移動点を設定し、２点を少しずつ移動させて２点間の距離を計算し、距離が最短になる２直線上の２点の座標の平均をとることで最近接点が求まる。なお、図２の（ｂ）の例では最近接点Ｎａ〜Ｎｅが何れも直線同士の交点となっているが、これはたまたまそうなっているだけであり、一般的には最近接点は交点以外にもあり、交点は最近接点の代表的な例にすぎない。
【００１５】
このようにしてガイド曲線Ｃが求まったら、これに基づいて更新視点を決める、つまり視点経路を決定する。ガイド曲線Ｃに基づく視点経路の決定においては、気管支などのように十分に太いものの場合であれば、ガイド曲線Ｃをそのまま視点経路とすることで足りる。その場合には、順次更新してゆく視点と投影面とに関する視線方向をガイド曲線Ｃの接線方向としてもよい。一方、本例のように連続的表示の対象を血管とする場合には、その血管が細いと、マウスによる投影像のトレースに際して、トレース曲線が血管の外にはみ出してしまうことも考えられる。この場合にはガイド曲線をそのまま視点経路とするのは適切でなく、以下のステップ３以降の処理が必要となる。
【００１６】
ステップ３では、ガイド曲線を参照しながら視点を更新する。更新による次の視点は、現在視点の位置情報から決めるのが基本である。この場合に、次の視点のための候補点が一つだけの場合と複数の場合とがある。視点候補点が複数ある場合とは、更新視点の進路方向に関する進路候補点が複数ある場合であり、図３に示すように血管が分岐している部分における例の場合などである。この場合に次の視点を決定するには、進路候補点が複数であることから生じた複数の視点候補点に対するガイド曲線との距離関係を用いる。すなわち複数の視点候補点の内でガイド曲線との距離が最小のものを次の視点として選択する。それに関する処理はステップ４以降でなされる。
【００１７】
ステップ４では、図３の（ａ）にその概念を示すようにして、中心投影法により三次元原画像を再構成し、これをステップ５で表示装置４４の画面上に表示する。ステップ６では、終了ボタン（表示装置４４の画面上に表示したアイコン）がオンかどうかを判定する。オンならば終了。そうでないならば次のステップ７に進む。なお図３の（ａ）におけるＰa、Ｐb、Ｐc……はＸ線ＣＴ装置やＭＲＩ装置などによる断層像である。
【００１８】
ステップ７では、次の視点のための進路候補点を見つける。進路候補点の求め方にはさまざまな方法が可能である。例えば上記米国特許第５６９４５３０号に述べられている方法のように、“デプス画像”を用い現在視点から最も深いところを進路候補点の計算に用いる方法、あるいは血管の断面を抽出し、その抽出点の座標の平均値、つまり血管の断面の中心を求める方法などをその例として挙げることができる。
【００１９】
ステップ８では、進路候補点が複数かどうか、したがって更新視点候補点が複数かどうかを判定する。複数でなければ次のステップ９に進み、複数の場合にはステップ１０に進む。
【００２０】
ステップ９では、一つだけである進路候補点を更新視点（次の視点）の決定に用いる。更新視点は、進路候補点（上記の“デプス画像”を用いる方法の場合であれば、最深点がそれである）と現視点（更新前の視点）を結ぶ線上の何れかの位置にある点にとる。例えば、現視点と進路候補点の距離（現視点と進路候補点を結ぶ線の長さ）の３０％だけ現視点から離れた位置を更新視点とする。
【００２１】
ステップ１０では、複数ある進路候補点（図３の（ａ）の例では深点Ｄ1、Ｄ2）のそれぞれについてガイド曲線との距離を求め、ガイド曲線に最も近い深点（図３の（ａ）の例では深点Ｄ1）を更新視点の決定に用いる。深点Ｄ1を基にした更新視点の決定はステップ９の場合と同様である。すなわち進路候補点（深点Ｄ1）と現視点を結ぶ線上において、現視点Ｅ0と進路候補点の距離の例えば３０％だけ現視点から離れた位置を更新視点Ｅnとする。
【００２２】
以上のような本発明による更新視点の決定方法は、上記のように進路候補点が複数あり、これに伴って更新視点候補点が複数ある場合に、その候補点に関し操作者が意図する方向を確実に選択することができるという点で、特に有効である。このことは上記米国特許第５６９４５３０号における“デプス画像”を利用する方法と比較してみるとよく理解できる。米国特許第５６９４５３０号における方法であると、図３の（ａ）の例のように血管の分岐に起因して深点Ｄ1とＤ2がある場合に、最も深い深点Ｄ2を選択してしまうことになる。つまり、分岐部分から先において、操作者が連続的表示を意図しているのとは異なる血管を連続的表示の対象としてしまうことになるが、本発明によればこのようなことを確実に避けることができる。このように進路候補点が複数ある場合に確実に正しい方向を選択できるという利点を有する本発明による方法は、米国特許第５６９４５３０号に述べられている方法と組み合わせて用いることができ、そのようにするのが好ましい形態の一つである。その場合には、進路候補点が複数ある場合にのみ本発明による方法を適用するような構成とすのが好ましいといえる。
【００２３】
以上の実施形態では、ステップ１０において、複数の進路候補点の内でガイド曲線に最も近い進路候補点を求め、これを更新視点の決定に用いるようにしていたが、これに代わる方法も可能である。それは、複数の進路候補点に起因する複数の更新視点候補点のそれぞれについてガイド曲線との距離を求め、ガイド曲線に最も近い更新視点候補点を実際の更新視点とする方法である。より具体的には、まず各進路候補点ごとに現視点と結ぶ直線を得る。それからこの各直線上に所定距離比率の位置で更新視点候補点を求める。そしてこの求められた各更新視点候補点とガイド曲線との距離を計算し、最小のものを実際の更新視点とする。
【００２４】
【発明の効果】
以上説明したように本発明によれば、進路候補点が複数あり、これに伴って更新視点候補点が複数ある場合でも、操作者が意図している方向を確実に選択することができ、より適切な画像表示が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態による画像形成方法における処理の流れ図である。
【図２】ガイド曲線の求め方に関する概念図である。
【図３】候補点の選択に関する概念図である。
【図４】本発明の一実施形態による画像形成装置のブロック構成図である。
【符号の説明】
Ｖ1，Ｖ2 予備処理用視点
Ｓ1，Ｓ2 予備処理用投影面
Ｔ1，Ｔ2 トレース曲線
Ｇ1，Ｇ2 直線群
Ｎa〜Ｎe 最近接点
Ｃ ガイド曲線
Ｅn 更新視点
【発明の属する技術分野】
本発明は、Ｘ線ＣＴ装置やＭＲＩ装置などにより得られる三次元的な医用画像を基に、例えば血管や気管支の内面などについて、内視鏡的映像の形成を可能とする画像形成に関する。
【０００２】
【従来の技術】
Ｘ線ＣＴ装置やＭＲＩ装置などにより得られる三次元的な医用画像を三次元原画像として内視鏡的映像を疑似的に得る技術の一つとしては、例えば特願平６−１４３４９６号（特開平８−１６８１３号）などを優先権の基礎とした米国特許第５６９４５３０号に開示の例が知られている。この技術では、Ｘ線ＣＴ装置やＭＲＩ装置などにより与えられる三次元原画像を基にして内視鏡的映像のための疑似三次元画像（陰影付けなどにより奥行感を与えた画像）を得るについて、与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、望みの方向（血管の場合であればその延在方向）に更新しながら三次元原画像の部分部分を順次投影するようにしている。つまり対の視点と投影面との間に三次元原画像の一部として介在する単位三次元原画像を、視点と投影面との対の更新ごとに、更新視点から更新投影面に投影することで、三次元原画像に基づく部分的疑似三次元画像の連続的表示、つまり内視鏡映像的表示をなすようにしている。またこのような連続的部分表示において必要となる、望みの更新方向のための更新視点の決定、つまり視点経路の決定は、視点から投影画像の画素点までの距離情報で構成した“デプス画像”を利用することで視点から最も深い画素点を探し、これに基づいて視点経路の決定を行なうようにしている。
【０００３】
また他の技術としてD.S.Paikその他による“Automatedflight path planning for virtualy endoscopy ”Med.Phys.25(5),May1998 629-637ページに開示の例が知られている。この例では、始点と終点を指定し、これら始点と終点の間を最短にする経路を視点経路とする方法が提案されている。
【０００４】
【発明が解決しようとする課題】
上記の“デプス画像”を利用した視点経路の決定方法は、基本的には有効性の高いものであるが、ある種の条件の場合に問題を生じることがある。例えば血管を内視鏡映像的表示のための連続的表示の対象とするとして、その血管に分岐部分が含まれている場合などがそのような例である。この場合には、視点から最も深い画素点という基準だけであると、分岐点から先において操作者が連続的表示を意図しているのとは異なる血管中にたまたま最も深い画素点があることにより、その方向に誤って視点経路が選択されてしまう可能性がある。
【０００５】
また上記の始点と終点を指定する方法においては、始点と終点の間を最短にする経路を見出すのに多数の経路を比較する必要があるし、またそのために結果的に不要になる経路までも求めるという無駄な処理を含む可能性があるという問題を抱えている。
【０００６】
本発明は、上記のような従来の事情を背景になされたものであり、内視鏡映像的表示の対象に分岐部分などがある場合でも、操作者の意図通りの視点経路を的確に選択することができるような画像形成技術の提供を目的としている。
【０００７】
【課題を解決するための手段】
上記目的のために本発明では、与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、前記三次元原画像に関する所望の方向に更新しながら、前記対の視点と投影面との間に前記三次元原画像の一部として介在する単位三次元原画像を、前記視点と投影面との対の更新ごとに、更新視点から更新投影面に投影して投影像を形成する投影像形成手段と、この投影像形成手段で得られる各更新ごとの投影像を表示する表示手段とを備え、前記三次元原画像に基づく部分的疑似三次元画像の連続的表示をなせるようにされている画像形成装置において、前記三次元原画像を複数の予備処理用視点からこれら各予備処理用視点に対応する予備処理用投影面に投影して予備処理用投影像を形成する予備処理用投影像形成手段と、この予備処理用投影像形成手段で形成した投影像を前記表示手段に表示した状態でトレースしてトレース曲線を作成するためのトレース手段と、このトレース手段で作成した各トレース曲線ごとに、それぞれの上に設定した複数の点と各トレース曲線が形成されている投影像に対応する予備処理用視点とを結ぶ直線群を作成する直線群作成手段と、この直線群作成手段で作成された各直線群に関して、前記各直線群中の各直線同士の最近接点を求め、この各最近接点からガイド曲線を作成するガイド曲線作成手段と、このガイド曲線作成手段で作成したガイド曲線に基づいて前記所望の方向のための更新視点を決定するための更新視点決定手段とを備えていることを特徴としている。
【０００８】
また上記目的のために本発明では、与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、前記三次元原画像に関する所望の方向に更新しながら、前記対の視点と投影面との間に前記三次元原画像の一部として介在する単位三次元原画像を、前記視点と投影面との対の更新ごとに、更新視点から更新投影面に投影することで、前記三次元原画像に基づく部分的疑似三次元画像の連続的表示をなすようにされている画像形成方法において、前記三次元原画像を複数の予備処理用視点からこれら各予備処理用視点に対応する予備処理用投影面に投影するとともに、これら各予備処理用投影面上の投影像をトレースしてトレース曲線を求め、さらに前記各トレース曲線ごとに、それぞれの上に設定した複数の点と各トレース曲線が形成されている投影像に対応する予備処理用視点とを結ぶ直線群を作成するとともに、これら各直線群に関して、前記各直線群中の各直線同士の最近接点を求め、さらにこれら各最近接点からガイド曲線を作成し、そしてこのガイド曲線に基づいて前記所望の方向のための更新視点の決定をなすようにされていることを特徴としている。
【０００９】
また本発明では、上記のような画像形成方法において、ガイド曲線に基づく更新視点の決定は、ガイド曲線との距離関係によりなすようにしており、そして更新方向に関する進路候補点が複数あり、これに伴って更新視点候補点が複数ある場合に、複数の進路候補点の内からガイド曲線に最も近い進路候補点を求め、この進路候補点に基づいて更新視点を決定するか、または複数の更新視点候補点の内からガイド曲線に最も近い更新視点候補点を求め、この更新視点候補点を更新視点とするようにしている。
【００１０】
【発明の実施の形態】
図４に本発明の一実施形態による画像形成装置のブロック構成を示す。画像形成装置は、後述する様々な処理や全体管理を行なうＣＰＵ４０、ＣＰＵ４０による処理に必要なプログラムやデータの格納に用いられる主メモリ４１、Ｘ線ＣＴ装置やＭＲＩ装置などにより得られる三次元医用画像などを三次元原画像として格納したり、またＣＰＵ４０による処理で得られた画像を格納するのに用いられる磁気ディスク４２、ＣＰＵ４０による処理で得られた画像などの表示に介在する表示メモリ４３、表示メモリ４３を介して出力される画像を表示する表示装置４４、コントローラ４５を介して入力を行なうマウス４６、およびキーボード４７を含んでなる。
【００１１】
このような画像形成装置による内視鏡的映像の形成は、基本的には上記米国特許第５６９４５３０号に述べられている方法でなされる。このことを簡単に説明すると以下の通りである。Ｘ線ＣＴ装置やＭＲＩ装置などにより与えられる三次元原画像に対し、これを投影するための視点と投影面との対を、望みの方向に更新しながら三次元原画像の部分部分を順次投影することで内視鏡的映像を形成する。つまり対の視点と投影面との間に三次元原画像の一部として介在する単位三次元原画像を、視点と投影面との対の更新ごとに、更新視点から更新投影面に投影することで、三次元原画像に基づく部分的疑似三次元画像の連続的表示をなし、このことで内視鏡的映像を形成する。これら一連の処理には、上記のＣＰＵ４０以下の処理手段が用いられる。このような画像形成においては、望みの方向へ更新してゆくための更新視点の決定基準が必要となる。上記のように米国特許第５６９４５３０号ではこれを“デプス画像”によっているが、本発明では以下に説明するような方法を用いるものとしている。
【００１２】
本発明における更新視点の決定に関する処理の流れを図１に示す。以下では血管を連続的表示の対象とする場合を例にとって、各ステップにおける処理について説明する。ステップ０では、異なる視点（予備処理用視点）から構成した複数の画像を表示装置４４に表示する。すなわち磁気ディスク４２から連続的表示の対象とする血管の三次元原画像を読み出し、この三次元原画像について、図２の（ａ）にその概念を示すように、複数、例えば二つの予備処理用視点Ｖ1、Ｖ2からこれら各予備処理用視点に対応する予備処理用投影面Ｓ1、Ｓ2に中心投影法（図の例）や平行投影法で投影した画像を表示装置４４の画面に図２の（ｂ）に示すようにして並列表示する。この投影する画像には、例えば、上記米国特許第５６９４５３０号に述べられているような陰影付けした疑似三次元画像や特願平９−２６５４３８号に述べられているような、投影線上の特定の濃度の画素数を重み付けして構成した画像を用いることができる。
【００１３】
ステップ１では、表示装置４４の画面に表示されている血管の各投影像Ｉ1、Ｉ2をマウス４６によりトレースしてトレース曲線Ｔ1、Ｔ2を作成する。このトレース曲線Ｔ1、Ｔ2の作成は、図の例のように血管に分岐部分が含まれている場合には、分岐先でトレース曲線Ｔ1とトレース曲線Ｔ2が同じ血管に対して作成されるようにトレースする。ここで、この投影像やトレース曲線の数は予備処理用視点の数に応じて定まるものであり、ここで説明している例は予備処理用視点を二つにしてある関係から、投影像とトレース曲線の数も二つとなっている。
【００１４】
ステップ２では、ステップ１で作成したトレース曲線Ｔ1、Ｔ2に基づいてガイド曲線を作成する。そのためには、まずトレース曲線Ｔ1、Ｔ2ごとに、それぞれの上に複数の点を適当に設定する（図２の（ｂ）の例では各トレース曲線ごとに５点ずつ設定している）。それから各トレース曲線Ｔ1、Ｔ2が形成されている投影像に対応する予備処理用視点Ｖ1、Ｖ2と前記設定の各点とを結ぶ直線群Ｇ1、Ｇ2を作成する。それからさらに、これらの直線群Ｇ1、Ｇ2に関して、各直線群中の各直線同士の最近接点Ｎａ〜Ｎｅを求め、これらの最近接点Ｎａ〜Ｎｅからガイド曲線Ｃを作成する。最近接点は、例えば数式により解析的に求めることもできるし、また計算機により数値的に求めることも可能である。数値的に求める場合には、２直線上にそれぞれ移動点を設定し、２点を少しずつ移動させて２点間の距離を計算し、距離が最短になる２直線上の２点の座標の平均をとることで最近接点が求まる。なお、図２の（ｂ）の例では最近接点Ｎａ〜Ｎｅが何れも直線同士の交点となっているが、これはたまたまそうなっているだけであり、一般的には最近接点は交点以外にもあり、交点は最近接点の代表的な例にすぎない。
【００１５】
このようにしてガイド曲線Ｃが求まったら、これに基づいて更新視点を決める、つまり視点経路を決定する。ガイド曲線Ｃに基づく視点経路の決定においては、気管支などのように十分に太いものの場合であれば、ガイド曲線Ｃをそのまま視点経路とすることで足りる。その場合には、順次更新してゆく視点と投影面とに関する視線方向をガイド曲線Ｃの接線方向としてもよい。一方、本例のように連続的表示の対象を血管とする場合には、その血管が細いと、マウスによる投影像のトレースに際して、トレース曲線が血管の外にはみ出してしまうことも考えられる。この場合にはガイド曲線をそのまま視点経路とするのは適切でなく、以下のステップ３以降の処理が必要となる。
【００１６】
ステップ３では、ガイド曲線を参照しながら視点を更新する。更新による次の視点は、現在視点の位置情報から決めるのが基本である。この場合に、次の視点のための候補点が一つだけの場合と複数の場合とがある。視点候補点が複数ある場合とは、更新視点の進路方向に関する進路候補点が複数ある場合であり、図３に示すように血管が分岐している部分における例の場合などである。この場合に次の視点を決定するには、進路候補点が複数であることから生じた複数の視点候補点に対するガイド曲線との距離関係を用いる。すなわち複数の視点候補点の内でガイド曲線との距離が最小のものを次の視点として選択する。それに関する処理はステップ４以降でなされる。
【００１７】
ステップ４では、図３の（ａ）にその概念を示すようにして、中心投影法により三次元原画像を再構成し、これをステップ５で表示装置４４の画面上に表示する。ステップ６では、終了ボタン（表示装置４４の画面上に表示したアイコン）がオンかどうかを判定する。オンならば終了。そうでないならば次のステップ７に進む。なお図３の（ａ）におけるＰa、Ｐb、Ｐc……はＸ線ＣＴ装置やＭＲＩ装置などによる断層像である。
【００１８】
ステップ７では、次の視点のための進路候補点を見つける。進路候補点の求め方にはさまざまな方法が可能である。例えば上記米国特許第５６９４５３０号に述べられている方法のように、“デプス画像”を用い現在視点から最も深いところを進路候補点の計算に用いる方法、あるいは血管の断面を抽出し、その抽出点の座標の平均値、つまり血管の断面の中心を求める方法などをその例として挙げることができる。
【００１９】
ステップ８では、進路候補点が複数かどうか、したがって更新視点候補点が複数かどうかを判定する。複数でなければ次のステップ９に進み、複数の場合にはステップ１０に進む。
【００２０】
ステップ９では、一つだけである進路候補点を更新視点（次の視点）の決定に用いる。更新視点は、進路候補点（上記の“デプス画像”を用いる方法の場合であれば、最深点がそれである）と現視点（更新前の視点）を結ぶ線上の何れかの位置にある点にとる。例えば、現視点と進路候補点の距離（現視点と進路候補点を結ぶ線の長さ）の３０％だけ現視点から離れた位置を更新視点とする。
【００２１】
ステップ１０では、複数ある進路候補点（図３の（ａ）の例では深点Ｄ1、Ｄ2）のそれぞれについてガイド曲線との距離を求め、ガイド曲線に最も近い深点（図３の（ａ）の例では深点Ｄ1）を更新視点の決定に用いる。深点Ｄ1を基にした更新視点の決定はステップ９の場合と同様である。すなわち進路候補点（深点Ｄ1）と現視点を結ぶ線上において、現視点Ｅ0と進路候補点の距離の例えば３０％だけ現視点から離れた位置を更新視点Ｅnとする。
【００２２】
以上のような本発明による更新視点の決定方法は、上記のように進路候補点が複数あり、これに伴って更新視点候補点が複数ある場合に、その候補点に関し操作者が意図する方向を確実に選択することができるという点で、特に有効である。このことは上記米国特許第５６９４５３０号における“デプス画像”を利用する方法と比較してみるとよく理解できる。米国特許第５６９４５３０号における方法であると、図３の（ａ）の例のように血管の分岐に起因して深点Ｄ1とＤ2がある場合に、最も深い深点Ｄ2を選択してしまうことになる。つまり、分岐部分から先において、操作者が連続的表示を意図しているのとは異なる血管を連続的表示の対象としてしまうことになるが、本発明によればこのようなことを確実に避けることができる。このように進路候補点が複数ある場合に確実に正しい方向を選択できるという利点を有する本発明による方法は、米国特許第５６９４５３０号に述べられている方法と組み合わせて用いることができ、そのようにするのが好ましい形態の一つである。その場合には、進路候補点が複数ある場合にのみ本発明による方法を適用するような構成とすのが好ましいといえる。
【００２３】
以上の実施形態では、ステップ１０において、複数の進路候補点の内でガイド曲線に最も近い進路候補点を求め、これを更新視点の決定に用いるようにしていたが、これに代わる方法も可能である。それは、複数の進路候補点に起因する複数の更新視点候補点のそれぞれについてガイド曲線との距離を求め、ガイド曲線に最も近い更新視点候補点を実際の更新視点とする方法である。より具体的には、まず各進路候補点ごとに現視点と結ぶ直線を得る。それからこの各直線上に所定距離比率の位置で更新視点候補点を求める。そしてこの求められた各更新視点候補点とガイド曲線との距離を計算し、最小のものを実際の更新視点とする。
【００２４】
【発明の効果】
以上説明したように本発明によれば、進路候補点が複数あり、これに伴って更新視点候補点が複数ある場合でも、操作者が意図している方向を確実に選択することができ、より適切な画像表示が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態による画像形成方法における処理の流れ図である。
【図２】ガイド曲線の求め方に関する概念図である。
【図３】候補点の選択に関する概念図である。
【図４】本発明の一実施形態による画像形成装置のブロック構成図である。
【符号の説明】
Ｖ1，Ｖ2 予備処理用視点
Ｓ1，Ｓ2 予備処理用投影面
Ｔ1，Ｔ2 トレース曲線
Ｇ1，Ｇ2 直線群
Ｎa〜Ｎe 最近接点
Ｃ ガイド曲線
Ｅn 更新視点
Claims (1)
- 与えられた三次元原画像に対し、これを投影するための視点と投影面との対を、前記三次元原画像に関する所望の方向に更新しながら、前記対の視点と投影面との間に前記三次元原画像の一部として介在する単位三次元原画像を、前記視点と投影面との対の更新ごとに、更新視点から更新投影面に投影して投影像を形成する投影像形成手段と、この投影像形成手段で得られる各更新ごとの投影像を表示する表示手段とを備え、前記三次元原画像に基づく部分的擬似三次元画像の連続的表示をなせるようにされている画像形成装置において、
前記三次元原画像を複数の予備処理用視点からこれら各予備処理用視点に対応する予備処理用投影面に投影して予備処理用投影像を形成する予備処理用投影像形成手段と、この予備処理用投影像形成手段によって形成された投影像を前記表示手段に表示した状態で更新視点を決定するためのガイド曲線を作成するガイド曲線作成手段と、このガイド曲線作成手段によって作成されたガイド曲線に基づいて前記所望の方向のための更新視点を決定するための更新視点決定手段と、を備え、
前記更新視点決定手段は、複数の視点候補点がある場合に前記複数の視点候補点の中から前記ガイド曲線との距離が最小である点を前記更新視点に決定することを特徴とする画像形成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000058794A JP4342072B2 (ja) | 2000-03-03 | 2000-03-03 | 画像形成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000058794A JP4342072B2 (ja) | 2000-03-03 | 2000-03-03 | 画像形成装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001250131A JP2001250131A (ja) | 2001-09-14 |
| JP2001250131A5 JP2001250131A5 (ja) | 2007-02-22 |
| JP4342072B2 true JP4342072B2 (ja) | 2009-10-14 |
Family
ID=18579336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000058794A Expired - Fee Related JP4342072B2 (ja) | 2000-03-03 | 2000-03-03 | 画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4342072B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728566B1 (en) * | 2001-11-21 | 2004-04-27 | Koninklijke Philips Electronics, N.V. | Vessel tracking and tree extraction method and apparatus |
| JP4343723B2 (ja) * | 2004-01-30 | 2009-10-14 | オリンパス株式会社 | 挿入支援システム |
| WO2013080131A1 (en) * | 2011-12-03 | 2013-06-06 | Koninklijke Philips Electronics N.V. | Automatic depth scrolling and orientation adjustment for semi-automated path planning |
-
2000
- 2000-03-03 JP JP2000058794A patent/JP4342072B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001250131A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200118254A1 (en) | Video inpainting via confidence-weighted motion estimation | |
| JP4746640B2 (ja) | 動的イメージのモーション遷移処理方法とそのシステム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6806879B2 (en) | Manipulation of motion data in an animation editing system | |
| JP2006167287A (ja) | 血管狭窄率解析システム | |
| JPH1011614A (ja) | 三次元画像構成法における視点位置及び視線方向の設定方法及び装置 | |
| CN105308652A (zh) | 轮廓修正装置、方法及程序 | |
| JP4998787B2 (ja) | 物体領域抽出処理プログラム、物体領域抽出装置、および物体領域抽出方法 | |
| JP2740280B2 (ja) | 三次元線画像の合成のため隠れた画を除去する方法 | |
| JP3878270B2 (ja) | 画像処理装置 | |
| JP2008259697A (ja) | 画像処理方法および装置ならびにプログラム | |
| JP5755122B2 (ja) | 画像処理装置、方法、及びプログラム | |
| JP6900180B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5706870B2 (ja) | シーンのビューの可視化 | |
| JP4342072B2 (ja) | 画像形成装置 | |
| CN110389992B (zh) | 导航矢量数据的可视化方法、装置、设备及存储介质 | |
| JP4515615B2 (ja) | 画像表示装置 | |
| JP4738236B2 (ja) | 画像表示装置 | |
| US8744146B2 (en) | Vascular reformatting using curved planar reformation | |
| KR101626057B1 (ko) | 3뷰 영상의 디스패리티 추정 방법 및 장치 | |
| JP2002008014A (ja) | ３次元形状抽出方法及び装置並びに記録媒体 | |
| JP6051835B2 (ja) | 映像出力装置、映像出力方法、及びプログラム | |
| JP3976200B2 (ja) | データ処理方法、データ処理装置 | |
| JP2006334684A (ja) | 面沿い加工工具経路決定方法、面沿い加工工具経路決定プログラム、面沿い加工工具経路決定装置 | |
| JP2003099804A (ja) | ３次元構造モデル化装置 | |
| JP4153322B2 (ja) | 写真測量における計測点の対応付け方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |