JP3856406B2

JP3856406B2 - 画像処理装置

Info

Publication number: JP3856406B2
Application number: JP4443697A
Authority: JP
Inventors: 智久福永
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-02-27
Filing date: 1997-02-27
Publication date: 2006-12-13
Anticipated expiration: 2017-02-27
Also published as: JPH10234663A

Description

【０００１】
【発明の属する技術分野】
本発明は、被検体に、実際に内視鏡スコープを挿入していくときの内視鏡スコープの先端を進めて行く方向を容易に把握させる画像処理装置に関する。
【０００２】
【従来の技術】
一般に、電子内視鏡装置１は、図１７に示すように、内視鏡スコープ２を治療台３上の被検体の体内に挿入し、この内視鏡スコープ２からの撮像信号に基づく画像を本体部４のモニタ５に映し出す。そして、術者はモニタ５の画像を見ながら内視鏡スコープ２を操作しながら挿入して行くものである。
【０００３】
このような電子内視鏡装置１においては、管腔内を傷つけないで、かつ早く正確に病巣部に、内視鏡スコープ２の先端を如何に到達させるかが重要なポイントである。
【０００４】
このため、図１７に示すように電子内視鏡装置１の近傍に画像処理装置６を設け、この画像処理装置６に、事前に例えば被検体の臓器の３次元画像（以下３Ｄ臓器画像という）を記憶しておく。そして、術者は内視鏡スコープ２の操作に伴って画像処理装置６に記憶されている被検体の３Ｄ臓器画像をモニタ７に表示させる。
【０００５】
術者は、この画像処理装置６のモニタ７の３Ｄ臓器画像を内視鏡スコープ２を先に進めるための案内画像とし、この案内画像と電子内視鏡装置１のモニタ５の実際の画像とを見比べながら内視鏡スコープ２を被検体に挿入していく。
【０００６】
そして、例えば電子内視鏡装置１のモニタ５の実際の画像が分岐している管腔を表示している場合は、術者は画像処理装置６のモニタ７の臓器を外側から見た３Ｄ臓器画像により、内視鏡スコープ２の先端をどちらの管腔に進めていけばよいかを決定して挿入していた。
【０００７】
また、ＣＴ装置又はＭＲ装置等により、事前に被検体の断層像又はＸ線写真を得た場合は、この断層像又はＸ線写真等を見ながら内視鏡スコープ２の先端をどちらの管腔に進めていけばよいかを判断していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、電子内視鏡装置に用いる従来の画像処理装置は、内視鏡スコープを先に進めるための案内画像を３Ｄ臓器画像で表示している。つまり、臓器を外側から見た案内画像を表示している。
【０００９】
このため、術者は内視鏡スコープの先端が管腔内でどのような方向を向いているのか又はどのような位置関係にあるかが画像処理装置のモニタ画面からは判断できないので、実際に電子内視鏡装置のモニタを見ながら内視鏡スコープの先端を病巣部に送っていくのは、熟練した術者でなけば容易に到達させることができないという問題点があった。
【００１０】
特に、管腔が複数に分岐している場合は、内視鏡スコープによって得られる限られた画像上より、分岐している管腔から内視鏡スコープの先端を進めていくための正しい管腔を選択していかなければならない。
【００１１】
ところが電子内視鏡で用いる従来の画像処理装置は、外側から見た３Ｄ臓器画像を表示しているので、実際に内視鏡スコープの先端をどの管腔に向けて進めていけばよいかが容易に判断できないという問題点があった。
【００１２】
また、ＣＴ装置又はＭＲ装置の断層像又は写真等により、内視鏡スコープの先端を進めていく管腔が判断できて、内視鏡スコープの先端を進める方向が分かったとしても、その管腔の奥は複雑に入り込んでいる場合が多い。
【００１３】
このため、術者は選択した管腔の先の複数の断層像又は写真を参照して、奥がどのようになっているかを推定して、内視鏡スコープの先端を進めていかなければならなかったという問題点があった。
【００１４】
すなわち、実際に内視鏡スコープを体内に挿入していくには、断層像、外側から見た３Ｄ臓器画像だけでは、分岐点や狭窄部分を容易に進んで目的の病巣部まで到達する経路を判断するのは非常に困難であるため、熟練した術者が試行錯誤的に手技で電子内視鏡のモニタ画面を見ながら内視鏡スコープの先端を進めていた。
【００１５】
本発明は以上の問題点を解決するためになされたもので、熟練した術者でなくとも画面上で内視鏡スコープの先端を進めて行く方向を容易に把握させることができる画像処理装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を解決するため請求項１記載の本発明は、予め被検体から収集された多数の断層像に基づき、前記被検体の所望とする部位に係る３次元画像を表示する画像処理装置において、前記多数の断層像に基づき前記被検体内の管腔構造を示す立体モデルを作成する立体モデル作成部と、この立体モデル作成部で作成された立体モデルの内面を隠面消去した外形画像を作成し、この外形画像を前記内視鏡的画像が表示される領域とは異なる第２の領域に表示させる外形画像作成部と、前記立体モデル作成部で作成された管腔構造における所望の視点位置及び視線方向を視野とする内視鏡的画像を作成して表示に供させる画像作成部と、この画像作成部より、現在の視点位置及び視線方向を読み、これらの位置及び方向に対応する先端状況画像を作成し、この先端状況画像に、前記視点位置における先端の基準方向を示す形状の画像を付加し前記外形画像上に表示させる先端状況画像作成部と、前記画像作成部で作成された前記内視鏡的画像の背面にある前記管腔構造を示す管腔構造画像を前記内視鏡的画像に重畳して表示に共させる背面画像浮上部と、この背面画像浮上部で合成された画像を表示する表示部とを有することを要旨とする。
【００４０】
【発明の実施の形態】
図１は本発明の実施の形態の画像処理装置の概略構成図である。図２は本実施の形態の画像処理装置の表示画像を説明する説明図である。また、本実施の形態では部位を管腔又は血管の場合を説明する。
【００４１】
図１の画像処理装置１０は、表示部１１と、マウス１２及びキーボード１３を接続した入力部１４と、画像データ抽出部１５と、内視鏡的画像作成部１６と、色情報記憶部１７と、任意物体作成部１８と、立体モデル作成部１９と、体位方向記憶部２０と、スコープ先端状況算出部２１と、メッシュ化部２２と、半透明化部２３と、画像制御部２４とを備えて、事前にＣＴ装置又はＭＲ装置によって得た被検体の複数の断層像（以下複数の原画像という）をファイル２５に記憶し、この複数の原画像に基づく立体モデルを所望の視点位置及び視線方向から見たときの第１の画像（以下内視鏡的画像Ａｉという）をメイン画面１１ａに表示すると共に、立体モデルの外観を示す立体モデル画像Ｂｉをサブ画面１１ｂに表示する。
【００４２】
そして、内視鏡的画像Ａｉをメッシュ化又は透明化し、背面に隠れている管腔の立体モデル画像Ｑｉを鮮明に見せるようにする。また、立体モデル画像Ｂｉにおいて内視鏡画面Ａｉを得たときの内視鏡スコープの先端の位置（以下視点位置という）と、その視線方向と、これらの視点位置及び視線方向等を示すインジケータ画像Ｃｉを表示する。
【００４３】
＜各部の説明＞
入力部１４は、マウス１２又はキーボード１３の操作に伴うイベント情報を受付け、前述の画像データ抽出部１５、内視鏡的画像作成部１６、色情報記憶部１７、任意物体作成部１８、立体モデル作成部１９、体位方向記憶部２０、スコープ先端状況算出部２１、メッシュ化部２２、半透明化部２３、画像制御部２４のいずれかを起動させる。
【００４４】
画像データ抽出部１５は、ファイル２５に記憶されている被検体の複数の原画像を全てロードした後に、最上位に位置する原画像を表示部１１に表示する。
【００４５】
内視鏡的画像作成部１６は、視点位置及び視線方向より、後述する立体モデルの全体を視野とする内視鏡的画像Ａｉを作成する。
【００４６】
色情報記憶部１７は、腫瘍等を示す図形（星型、立方体等）と、この図形の色情報と、腫瘍等が位置している座標とが対応づけられて予め記憶されている。また、病巣部をより明確にするための色情報が病巣部の座標範囲に対応させられて予め記憶されている。
【００４７】
任意物体作成部１８は、腫瘍等を示す図形（星型、立方体等）と、この腫瘍等が位置している座標とを予め記憶し、必要に応じてサブ画面１１ｂの座標系の対応する座標位置に記憶されている図形（星型、立方体等）を作成する。
【００４８】
立体モデル作成部１９は、画像データ抽出部１５がロードした複数の原画像を集め、これらの原画像の立体モデルを作成する。
【００４９】
体位方向記憶部２０は、ＣＴ装置又はＭＲ装置で被検体の原画像を得たときの被検体の体位情報を記憶している。
【００５０】
スコープ先端状況画像作成部２１（単に先端状況画像作成部ともいう）は、内視鏡的画像作成部１６が把握している視点位置及び視線方向並びに体位方向記憶部２０に記憶されている体位情報に基づいて内視鏡スコープの先端状況（視線方向、視点位置、先端の頭方向）を示すインジケータ画像Ｃｉを立体モデル画像Ｂｉ上に表示させる。このインジケータ画像Ｃｉについては図面を用いて後述する。
【００５１】
また、このスコープ先端状況画像作成部２１は、立体モデルの内面を隠面消去した立体モデル画像Ｂｉ（外形画像ともいう）を生成し、この立体モデル画像Ｂｉを第２の画面に表示させる外形画像作成部（図示せず）を備えている。
【００５２】
メッシュ化部２２は、内視鏡的画像作成部１６で作成した内視鏡的画像Ａｉを読み込む。そして、読み込んだ内視鏡的画像Ａｉを形成する各原画像から対象領域の輪郭線を抽出し、それぞれの上下の輪郭線を点列データに分解し、これらを線で結んでメッシュ化してメイン画面１１ａに表示させる。
【００５３】
半透明化部２３は、内視鏡的画像作成部１６の内視鏡画面Ａｉを読み込む。そして、読み込んだ内視鏡的画像Ａｉから所定の条件（透明度等）に基づいて画素を間引きした半透明の内視鏡的画像Ａｉをメイン画面１１ａに表示する。この半透明化部２３及びメッシュ化部２２を総称して背面画像浮上部という。
【００５４】
画像制御部２４は、入力部１４から送出されるイベント、及び前述の各部からの指示に基づいて表示部１１の画像を制御する
一方、前述のインジケータ画像Ｃｉは、図３の（ａ）及び（ｂ）に示すように、黄色の大きな球３５上に緑の半球３６を乗せ、大きな球３５に赤いバー３７を付加した画像である。そして、大きな球３５は、視点位置を示し、上の半球３６は先端の基準位置の方向（頭方向ともいう）を示し、バー３７は視線方向を示す。
【００５５】
＜動作説明＞
上記のように構成された画像処理装置の動作を以下に説明する。図４は本実施の形態の画像処理装置の動作を説明するフローチャートである。
【００５６】
初めに画像データ抽出部１５は、ファイル２５に予め記憶されている被検体の複数の原画像を全て読み、立体モデル作成部１９がこれらの原画像をボクセル化処理、シェーディング処理等を行って、その管腔の立体モデルを作成する。そして、内視鏡的画像作成部１６は、視点位置及び視線方向を視野とする立体モデルの３次元画像（以下内視表示データという）を読み込む（Ｓ１）。すなわち、仮想の内視鏡スコープ２の先端の視点位置及び視線方向から管腔を見たときの内視鏡的画像を内視表示データとして読み込む。このため、立体モデルの上から見たときは管腔の内部と、分岐している管腔の外観とが内視鏡画像Ａｉとして得られる。また、立体モデルの内部に入り込んだ視点位置とした場合は、立体モデルの内部の内視鏡的画像Ａｉが得られる。この内視表示データの読み込み開始はマウス１２操作によって行う。
【００５７】
次に、マウス１２又はキーボード１３を用いて、表示部１１のメイン画面１１ａに表示される内視鏡的画像Ａｉの色及びサブ画面１１ｂに表示される管腔の立体モデル画像Ｂｉの色等を画像制御部２４に設定する（Ｓ２）。
【００５８】
次に、スコープ先端状況画像作成部２１は、ステップＳ１で読み込まれた内視表示データに基づいて、先端の現在の視点位置と視線方向とを求めるスコープ先端状況算出処理（現在値算出処理ともいう）を行う。また、スコープ先端状況画像作成部２１はサブ画面１１ｂ上における現在値の変更のイベントの場合は、変更された位置までの距離、方向等を求める現在値算出処理を行う（Ｓ３）。
【００５９】
次に、外形画像作成部は、立体モデルの内部を隠面消去した立体モデル画像Ｂｉを作成し、この画像Ｂｉを外形画像としてサブ画面１１ｂに表示させる。また、スコープ先端状況画像作成部２１がステップＳ３で求めた視点位置、視線方向及び頭方向を示すインジケータ画像Ｃｉを立体モデル画像Ｂｉ内に表示させる（Ｓ４）。例えば、器官の内視表示データを読み込んだときは、図５に示すような管腔の立体モデル画像Ｂｉと、インジケータ画像Ｃｉとが表示される。
【００６０】
また、頭部の内視表示データを読み込んだときは、例えば図６に示すように、動脈の立体モデル画像Ｂｉとインジケータ画像Ｃｉとが表示される。
【００６１】
従って、術者はどの視点位置のどのような方向から見た内視鏡的画像Ａｉが表示されるかを容易に把握できると共に、先端の基準がどちらを向いているかを把握できる。
【００６２】
次に、内視鏡的画像作成部１６は、ステップＳ１で読み込んだ内視表示データから内視鏡的画像Ａｉを作成して表示させる（Ｓ５）。例えば、器官の内視表示データの場合は図７に示すような内視鏡的画像Ａｉがメイン画面１１ａに表示され、この内視鏡的画像Ａｉの下に、所望の視点位置及び視線方向を視野としたときの内視鏡的画像である残りの立体モデル画像Ｑｉが隠れていることになる。
【００６３】
次に、入力部１４は、イベントが出力されたかどうかを判定する（Ｓ６）。ステップＳ６でイベントが出力されたと判定したときは、そのイベントが現在値（視点位置、視線方向を含む）の変更を示しているかどうかを判定する（Ｓ７）。
【００６４】
ステップＳ７において、現在値の変更と判断したときは、処理をステップＳ３に戻して変更後の位置にインジケータ画像Ｃｉを移動させ、その変更後の位置を内視鏡的画像作成部１６に知らせ、その変更後の位置から見た内視鏡的画像Ａｉをメイン画面１１ａに表示させる。この現在値の移動は、サブ画面１１ｂ上にカーソルを表示し、マウス１２操作によってカーソルを移動させることによって実現する。
【００６５】
すなわち、表示部１１が図８の（ａ）の画面を表示しているとき、病巣部へ直接行きたい場合には、図８の（ｂ）に示すように、サブ画面１１ｂの立体モデル画像Ｂｉ上で行きたい場所にカーソルをもって行って、その場所をマウス１２でクリックすると、図８の（ｂ）に示すメイン画面３１には、その移動場所からの視線方向の内視鏡的画像Ａｉｐが表示される。
【００６６】
ステップＳ７で現在値の変更ではないと判断したときは、メッシュ又は半透明表示要求のイベントかどうかを判断する（Ｓ８）。
【００６７】
ステップＳ８でメッシュ又は半透明表示要求のイベントではないと判断したときは処理をステップＳ６に戻してイベントの入力を待つ。
【００６８】
また、ステップＳ８でメッシュ化のイベントと判定したときは、メッシュ化部２２が図９又は図１０に示すようにメイン画面１１ａに表示されている内視鏡的画像Ａｉをメッシュ化して、その先の管腔を見せるようにする。また、半透明化のイベントと判定したときは半透明化部２３がメイン画面１１ａに表示されている内視鏡的画像Ａｉを図１１に示すように半透明化して、その先の管腔を見せるようにして（Ｓ９）、処理をステップＳ５に戻す。
【００６９】
従って、フライスルー表示においては、奥行きを正確に表現するために、見ることができる範囲を限定していたが、前述の処理によって今いる場所からその先を確認できるので、例えば複雑に入り組んだ血管系の走行や、気管支の分岐点の先が右に行くのか左に行くのかを確認できる。
【００７０】
上記の現在値算出処理（先端状況画像作成処理）、メッシュ化処理及び半透明化処理について以下に詳細に説明する。
【００７１】
図１２は現在値算出処理を詳細に説明するためのブロック図である。本ブロック図では主要な部分のみを示す。
【００７２】
画像データ抽出部１５は被検体の領域が設定されると、この設定された領域の原画像（断層像）をファイル２５から全てロードして、表面の原画像（図示せず）を表示部１１に表示し、抽出したい部位を選択させる。本説明では気管を選択する。
【００７３】
次に、立体モデル作成部１９は気管が選択されると、この気管だけの原画像を多数集め、これらの原画像の立体モデルを作成する。そして、スコープ先端状況画像作成部２１に設けられている外形画像作成部（図示せず）は、この立体モデルの内部を隠面消去した立体モデル画像Ｂｉを作成してサブ画面１１ｂに表示させる。この立体モデル画像Ｂｉは、例えば図５に示すように、インジケータ画像Ｃｉが見やすいように点列データで表示させる。
【００７４】
また、外形画像作成部はマウス１２の操作に基づいて、立体モデル画像Ｂｉを回転、拡大、縮小する機能を備えている。
【００７５】
一方、内視鏡的画像作成部１６は、選択された気管の立体モデルを、内視鏡スコープ２の先端（視点位置）から見た内視鏡的画像Ａｉを作成する。
【００７６】
この内視鏡的画像Ａｉは、立体モデルを視点位置からの視線方向から見たときの視野とする全体の立体モデル画像Ｑｉである。又は立体モデルの内部に入り込んだ場合は、その視線位置の視線方向の視野の画像が拡大されたような内視鏡的画像である。
【００７７】
また、内視鏡的画像作成部１６はマウス１２の操作によるカーソルが示す方向に従った内視鏡画面Ａｉを表示する機能を備えている。
【００７８】
次に、スコープ先端状況画像作成部２１は、現在値表示モード指令の入力に伴って、内視鏡的画像作成部１６が集めた各原画像の３次元座標（Ｘ、Ｙ、Ｚ）より、内視鏡スコープ２の先端である視点位置、視線方向を求めると共に、体位方向記憶部２０の体位情報を読み込む。そして、こらの視点位置、視線方向及び体位情報に基づきサブ画面１１ｂの立体モデル画像Ｂｉ上に於けるインジケータ画像Ｃｉの位置及びバー３７の方向並びに先端の頭方向を求めて例えば図５に示すように表示する。
【００７９】
また、メイン画面１１ａにおいて視点位置を、前進又は後退させた内視鏡的画像ａｉに更新するに伴って、若しくは視線方向を変更した内視鏡的画像Ａｉに更新するに伴って、スコープ先端状況画像作成部２１は、内視鏡的画像作成部１６が把握している視点位置と視線方向と、体位方向記憶部２０の体位情報とを読む。
【００８０】
そして、これらの視点位置、視線方向及び体位情報に基づき、サブ画面１１ｂの立体モデル画像Ｂｉ上に於けるインジケータ画像Ｃｉの位置を求めて表示する。
【００８１】
従って、本画像処理装置１０を見ている術者は、管腔の内視鏡的画像Ａｉと管腔の外観を示す立体モデル画像Ｂｉと、管腔の内視鏡的画像Ａｉの表示と連動しているインジケータ画像Ｃｉとを見比べながら、実際に内視鏡スコープ２を操作していくときのイメージを得ることができる。
【００８２】
次に、メッシュ化処理及び透明化処理について図を用いて説明する。図１３はメッシュ化処理及び透明化処理を説明するブロック図である。本図面ではスコープ先端状況算出部２１及び画像制御部２４等は図示しない。
【００８３】
また、本説明では、図７に示す内視鏡的画像Ａｉを表示部１１のメイン画面１１ａに表示しているとする。また、立体モデルから立体モデル画像Ｑｉを生成して内視鏡的画像Ａｉを表示している。
【００８４】
このような内視鏡的画像Ａｉを表示しているとき、キーボード１３操作によってメッシュ表示モードにされると、メッシュ化部２２は、内視鏡的画像作成部１６からの内視鏡的画像Ａｉをメッシュ化する。
【００８５】
このメッシュ化は、内視鏡的画像作成部１６が生成した内視鏡的画像Ａｉの輪郭抽出又は心線抽出（血管等の場合）を行い、上述の各輪郭線の点列を線で結んだ３角形のワイヤーフレームモデルで定義付けする。
【００８６】
従って、図９に示すように上面がメッシュで示した内視鏡的画像Ａｉとなり、この画像の奥にある管腔の立体モデル画像Ｑｉが表示される。
【００８７】
また、半透明表示モードにされたときは、半透明化部２３は、予め設定されている透明度に基づいて内視鏡的画像作成部１６からの内視鏡的画像Ａｉの画素を間引きして透明化する。この半透明度は任意に設定可能である。
【００８８】
従って、図１１に示すように上面が半透明の内視鏡的画像となり、この画像の奥にある管腔の立体モデル画像Ｑｉが表示される。
【００８９】
すなわち、メッシュ化処理及び半透明透明化処理は、図１４に示すように、画像データ抽出部１５でロードした複数の断層画像Ｋｉの内で、内視鏡的画像作成部１６が必要とするｈｉの領域の断層画像をメッシュ化又は半透明化させる。そして、断層画像ｈｉの下にある断層画像Ｊｉを視線方向から立体モデルにしたものを表示させている。
【００９０】
また、医療用に用いられる画像処理装置は、正常部と病巣部とを明瞭に区別することが必要である。
【００９１】
特に、上記のようなフライスルー表示においては、外側から管腔等を観察する従来の画像処理装置に対して、本画像処理装置１０は管腔等を内側から観察している。このため、病巣部の位置がサブ画面１１ｂ上でどこにあるか分からない。例えば、複雑な構造の管腔においては見る位置によって病巣部が隠れて表示されたり、周囲と同化して見えにくい場合がある。
【００９２】
そこで、任意物体作成部１８は、管腔の立体モデル画像Ｂｉをサブ画面１１ｂに表示するとき、図１５に示すように任意物体記憶部１８から病巣部の図形データ（星型、立方体等）と座標位置等を読み込んでサブ画面１１ｂの座標系に対応する座標位置に図形Ｄｉを表示する。又は、色情報記憶部１７に記憶している病巣部の色と座標位置とを読み、サブ画面１１ｂの座標系に対応する座標位置に表示する。
【００９３】
従って、半透明、メッシュ表示等においては、正常部と病巣部との位置関係が一目で分かるので、病巣部までの最短経路を容易に把握できる。
【００９４】
上記のような本発明の画像処理装置１０を図１６に示すように電子内視鏡装置１の近傍に設けた場合は、画像処理装置１０のメイン画面１１ａとサブ画面１１ｂとを見比べながら実際に内視鏡スコープ２を被検体に挿入していけるので、熟練していない術者であっても内視鏡スコープ２をスムーズに挿入させることが可能となる。
【００９５】
なお、上記実施の形態では、サブ画面１１ｂにおける現在値表示が先に表示されるとして説明したが、メイン画面１１ａに内視鏡的画像Ａｉを表示させた後に、サブ画面１１ｂに現在値を表示するようにしてもよい。
【００９６】
さらに、メイン画面１１ａに内視鏡的画像Ａｉを表示するようにしたが、サブ画面１１ｂに内視鏡的画像Ａｉを表示し、メイン画面１１ａに立体モデルＢｉを表示するようにしてもよい。
【００９７】
【発明の効果】
以上のように請求項１によれば、部位の立体モデルを作成した後に、この立体モデルの所望の視点位置及び視線方向を視野とする内視鏡的画像を作成し、この内視鏡的画像に対しその背面にある管腔構造を示す画像を重ねて表示する。
【００９８】
従って、内視鏡的画像と、この内視鏡的画像の背面の管腔構造を示す画像の外観が見えるので、実際に内視鏡スコープを操作していくときのイメージを得ることができ、術者はスコープの先端をどのような方向に進めていけばよいかが容易に把握できるという効果が得られている。
【００９９】
請求項２によれば、内視鏡的画像をメッシュにより立体的特徴を示して、背面の管腔構造を示す画像を見せるので、術者は視線方向からの部位の立体的特徴を把握できると共に、背面の部位の外観を把握できるという効果が得られている。
【０１００】
請求項３によれば、内視鏡的画像の立体的特徴をより正確に把握させると共に、背面の立体モデル画像が透けて見えるので、術者は視線方向からの部位の立体的特徴をより正確に把握できると共に、背面の部位の外観を把握できるという効果が得られている。
【０１０１】
請求項４によれば、術者は一台の表示部で内視鏡的画像と、この管腔の外観を示す画像とを見比べながら内視鏡スコープを操作することができるという効果が得られている。
請求項５によれば、内視鏡画面が表示されている領域の近傍に設けられた領域に表示させる先端状況画像を見ているだけで、管腔内の現在の内視鏡スコープの視点位置、視線方向とが分かるので、術者は容易に内視鏡スコープの先端をどのように進めていけばよいかが正確に把握できるという効果が得られている。
【０１０２】
請求項６によれば、先端状況画像を見ているだけで、被検体の部位と、内視鏡スコープの先端の相対位置関係を把握することできるという効果が得られている。
【０１０３】
請求項７によれば、先端状況画像の形色等から、視点位置、視線方向及び先端の基準方向である頭方向を一目で把握することができるという効果が得られている。
【０１０４】
請求項８によれば、所望の位置にいつでも先端状況画像を移動させることができるという効果が得られている。
【０１０５】
請求項９によれば、先端状況画像の移動に連動した内視鏡的画像を同時に開くことにより、内視鏡スコープの先端の状況及び管腔内の状況を同時に把握できるので、実際に内視鏡スコープを進めていくときは、より正確に内視鏡スコープの先端を進めて行くことができるという効果が得られている。
【０１０６】
請求項１０によれば、病巣部が図形で示されるので、外形画像から病巣部に向かう経路を容易に把握することができるという効果が得られている。
【０１０７】
請求項１１によれば、病巣部を示す図形が正常部とは異なる色で表示されるので、一目で病巣部への経路を把握できるという効果が得られている。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置の概略構成図である。
【図２】本実施の形態の画像処理装置の表示画像を説明する説明図である。
【図３】インジケータ画像Ｃｉを説明する説明図である。
【図４】本実施の形態の画像処理装置の動作を説明するフローチャートである。
【図５】サブ画面における管腔の立体モデル画像を説明する説明図である。
【図６】サブ画面における血管の立体モデル画像を説明する説明図である。
【図７】気管の内視鏡的画像を説明する説明図である。
【図８】サブ画面におけるインジケータ画像を移動させたときのメイン画面の表示を説明する説明図である。
【図９】メッシュ化を説明する説明図である。
【図１０】メッシュ化を説明する説明図である。
【図１１】半透明化を説明する説明図である。
【図１２】現在値算出処理の詳細を説明するブロック図である。
【図１３】メッシュ化処理及び透明化処理を説明するブロック図である。
【図１４】メッシュ化処理及び透明化処理における画像構成を説明する説明図である。
【図１５】サブ画面における病巣部を図形表示した説明図である。
【図１６】実際に用いられるときの電子内視鏡配置と本発明の画像処理装置との配置例の説明図である。
【図１７】従来の画像処理装置を説明する説明図である。
【符号の説明】
２内視鏡スコープ
１１表示部
１２マウス
１３キーボード
１４入力部
１５画像データ抽出部
１６内視鏡的画像作成部
１７色情報記憶部
１８任意物体作成部
１９立体モデル作成部
２０体位方向記憶部
２１スコープ先端状況算出部
２２メッシュ化部
２３半透明化部
２４画像制御部

Claims

予め被検体から収集された多数の断層像に基づき、前記被検体の所望とする部位に係る３次元画像を表示する画像処理装置において、前記多数の断層像に基づき前記被検体内の管腔構造を示す立体モデルを作成する立体モデル作成部と、この立体モデル作成部で作成された立体モデルの内面を隠面消去した外形画像を作成し、この外形画像を前記内視鏡的画像が表示される領域とは異なる第２の領域に表示させる外形画像作成部と、前記立体モデル作成部で作成された管腔構造における所望の視点位置及び視線方向を視野とする内視鏡的画像を作成して表示に供させる画像作成部と、この画像作成部より、現在の視点位置及び視線方向を読み、これらの位置及び方向に対応する先端状況画像を作成し、この先端状況画像に、前記視点位置における先端の基準方向を示す形状の画像を付加し前記外形画像上に表示させる先端状況画像作成部と、前記画像作成部で作成された前記内視鏡的画像の背面にある前記管腔構造を示す管腔構造画像を前記内視鏡的画像に重畳して表示に共させる背面画像浮上部と、この背面画像浮上部で合成された画像を表示する表示部とを有することを特徴とする画像処理装置。
前記背面画像合成部は、前記内視鏡的画像の各断層像の輪郭線を抽出し、これらの輪郭線の各点を線で結んでメッシュ化して前記背面にある管腔構造画像を見せることを特徴とする請求項１記載の画像処理装置。
前記背面画像合成部は、前記内視鏡的画像を所定条件に基づいて半透明化して前記背面にある管腔構造画像を見せることを特徴とする請求項１又は２記載の画像処理装置。
前記先端状況画像作成部は、前記視点位置を示す丸玉に、視線方向を示す棒を付加し、かつ前記丸玉より径が小さい前記頭方向を示す半球を前記丸玉上に重ねる一方、それぞれを互いに異なる色にして表示させることを特徴とする請求項１記載の画像処理装置。
前記先端状況画像作成部は、前記先端状況画像の移動操作を受付け、該移動操作に基づく前記第２の領域上の外形画像の位置に、前記先端状況画像を移動表示させることを特徴とする請求項１又は４記載の画像処理装置。
前記画像作成部は、前記外形画像の先端状況画像の移動表示に伴って、その移動位置に対応する視点位置、視線方向を視野とする前記内視鏡的画像を作成し、この内視鏡的画像を表示させることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
前記立体モデル作成部で作成された立体モデル上の病巣部の位置を予め把握し、前記第２の領域上の前記病巣部の位置に、前記病巣部に応じて予め記憶されている図形を表示させる任意物体作成部とを有することを特徴とする請求項１乃至６のいずれに記載の画像処理装置。