JP3878270B2

JP3878270B2 - 画像処理装置

Info

Publication number: JP3878270B2
Application number: JP4449597A
Authority: JP
Inventors: 智久福永
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-02-27
Filing date: 1997-02-27
Publication date: 2007-02-07
Anticipated expiration: 2017-02-27
Also published as: JPH10234662A

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡スコープの先端を進めて行く方向を容易に知らせることができる画像処理装置に関する。
【０００２】
【従来の技術】
一般に、電子内視鏡装置１は、図１５に示すように、内視鏡スコープ２を治療台３上の被検体の体内に挿入し、この内視鏡スコープ２からの撮像信号に基づく画像を本体部４のモニタ５に映し出す。そして、術者はモニタ５の画像を見ながら内視鏡スコープ２を操作しながら挿入して行くものである。
【０００３】
このような電子内視鏡装置１においては、管腔内を傷つけないで、かつ早く正確に病巣部に、内視鏡スコープ２の先端を如何に到達させるかが重要なポイントである。
【０００４】
このため、図１５に示すように電子内視鏡装置１の近傍に画像処理装置６を設け、この画像処理装置６に、事前に例えば被検体の臓器の３次元画像（以下３Ｄ臓器画像という）を記憶しておく。そして、術者は内視鏡スコープ２の操作に伴って画像処理装置６に記憶されている被検体の３Ｄ臓器画像をモニタ７に表示させる。
【０００５】
術者は、この画像処理装置６のモニタ７の３Ｄ臓器画像を内視鏡スコープ２を先に進めるための案内画像とし、この案内画像と電子内視鏡装置１のモニタ５の実際の画像とを見比べながら内視鏡スコープ２を被検体に挿入していく。
【０００６】
そして、例えば電子内視鏡装置１のモニタ５の実際の画像が分岐している管腔を表示している場合は、術者は画像処理装置６のモニタ７の臓器を外側から見た３Ｄ臓器画像により、内視鏡スコープ２の先端をどちらの管腔に進めていけばよいかを決定して挿入していた。
【０００７】
また、ＣＴ装置又はＭＲ装置等により、事前に被検体のスライス画像又はＸ線写真を得た場合は、このスライス画像又はＸ線写真等を見ながら内視鏡スコープ２の先端をどちらの管腔に進めていけばよいかを判断していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、電子内視鏡装置に用いる従来の画像処理装置は、内視鏡スコープを先に進めるための案内画像を３Ｄ臓器画像で表示している。つまり、臓器を外側から見た案内画像で表示している。
【０００９】
このため、熟練した術者でなければ内視鏡スコープの先端をどの管腔に進めていけばよいかが判断できない場合があるという問題点があった。
【００１０】
特に、管腔が複雑に複数に分岐している場合は、内視鏡スコープの先端をどの管腔に向かって進めてよいかが容易には分からない。
【００１１】
また、ＣＴ装置又はＭＲ装置のスライス画像、写真等により、内視鏡スコープの先端を進めて行く管腔を判断する場合は、熟練した術者でなければどの管腔が所望の管腔であるかを容易に判断できないという問題点があった。
【００１２】
本発明は以上の問題点を解決するためになされたもので、熟練した術者でなくとも画面上で内視鏡スコープの先端を進めて行く方向を容易に判断させることができる画像処理装置を得ることを目的とする。
【００１３】
【課題を解決するための手段】
請求項１は、予め被検体から収集された多数の断層像に基づき、前記被検体の所望とする部位に係る３次元画像を表示する画像処理装置において、前記多数の断層像に基づく立体モデルを作成する立体モデル作成部と、この立体モデル作成部で作成された立体モデルにおける所望の視点位置及び視線方向を視野とする第１の画像を作成して第１の画面に表示させる画像作成部と、前記所望とする部位に、正確に案内させるための案内標識を選択させて前記第１の画像上における表示指定位置を指定させ、この表示指定位置に前記選択された案内標識を生成しこの案内標識と前記位置を記憶させる案内標識生成部と、この案内標識生成部で記憶された案内標識を前記第１の画像上に表示する表示部とを有することを要旨とする。
【００１４】
請求項１においては、立体モデルにおける所望の視点位置及び視線方向を視野とする第１の画像が第１の画面に表示される。つまり、立体モデルにおける内視鏡スコープの所望の視点位置及び視線方向を視野とする内視鏡的画像が表示される。
【００１５】
そして、この内視鏡的画像上において、目的の腔に正確に案内させるための案内標識が表示指定位置に表示される。
【００１６】
請求項２は、案内標識生成部における案内標識は、進入禁止を示す標識と、進入方向を示す矢印標識とからなることを要旨とする。
【００１７】
請求項２においては、第１の画像である内視鏡的画像において、進入不可である腔には、進入禁止の標識が表示され、また進入する腔には進入方向を示す矢印が表示される。
【００１８】
請求項３は、案内標識生成部は、表示指定位置と選択された案内標識とを対応させて登録することを要旨とする。
【００１９】
請求項３においては、内視鏡的画像上で指定した標識と、このときの３次元座標とが対応させられて登録される。このため、後で実際に内視鏡スコープを被検体に挿入する場合に、本装置を用いて被検体の内視鏡的画像を表示したときは、腔内には標識が表示されているので、どの腔に進めていけばよいかが分かる。
【００２０】
請求項４は、立体モデルにおける視点位置及び視線方向を、操作指示に基づいて上下移動、左右移動又は回転させた第１の画像を画像作成部により第１の画面に表示させる画像移動部とを備えたことを要旨とする。
【００２１】
請求項４においては、視点位置及び視線方向を変えた内視鏡的画像が第１の画面に表示される。例えば、第１の画像である内視鏡的画像が上下移動、左右移動又回転した画像となる。
【００２２】
請求項５は、立体モデル作成部で作成された立体モデルの内面を隠面消去した外形画像を第１の画面とは異なる第２の画面に表示する外形画像作成部とを備えたことを要旨とする。
【００２３】
請求項５においては、目的の管腔に正確に案内させるための標識を表示した内視鏡画像と、この内視鏡画像の腔の外形画像とを同一画面上で見ることが可能となる。
【００２４】
請求項６は、第２の画面の外形画像上において、複数の視点位置を指示させ、これらの視点位置を結ぶ立体モデル内の最短経路を求め、この最短経路を外形画像上に表示する最短コース算出部とを備えたことを要旨とする。
【００２５】
請求項６においては、部位の立体モデルの外形画像上において、複数の視点位置が指示されると、これらの位置を結ぶ最短経路が立体モデルから求められて、この最短経路を示す線が外形画像上に表示される。
【００２６】
請求項７は、最短コース算出部は、最短経路を求めたとき、立体モデル上における最短経路の各３次元座標を所望の視点位置及び視線方向として順次、画像作成部に送出することを要旨とする。
【００２７】
請求項７においては、最短経路が求められると、この最短経路の各３次元座標に対応する前記立体モデル内の内視鏡的画像が第１の画面に順次表示される。
【００２８】
請求項８は、立体モデルにおける視点位置及び視線方向が更新される毎に、これらの位置及び方向を順次登録する操作進路履歴管理部とを備えたことを要旨とする。
【００２９】
請求項８においては、立体モデル上における視点位置及び視線方向が更新される毎に、これらの位置及び方向が登録される。このため、後でどのような経路を通過してきたかを再現できる。
【００３０】
請求項９は、操作進路履歴管理部は、再生要求に伴って登録している視点位置及び視線方向を順次、内視鏡的画像作成部に送出することを要旨とする。
【００３１】
請求項９においては、再生要求があると、予め登録している立体モデルの視線位置及び視線方向とが順次、画像作成部に送出される。
【００３２】
このため、予め登録している視線位置及び視線方向に対応する内視鏡的画像を画面に再生できる。
【００３３】
請求項１０は、第１の画面の第１の画像をメッシュ化又は半透明化する背面画像浮上部とを有することを要旨とする。
【００３４】
請求項１０においては、メッシュ化又は半透明化された第１の画像である内視鏡的画像上に、目的の腔に進めさせる標識が表示される。
【００３５】
【発明の実施の形態】
＜実施の形態１＞
図１は本発明の実施の形態１の画像処理装置の概略構成図である。本実施の形態では、部位を例えば管腔として説明する。
【００３６】
図１の画像処理装置１０は、表示部１１と、マウス１２及びキーボード１３を接続した入力部１４と、画像データ抽出部１５と、内視鏡的画像作成部１６と、色情報記憶部１７と、立体モデル作成部１８と、案内標識生成部２０と、画像移動回転部２１と、最短コース算出部２２と、操作進路履歴管理部２３と、スコープ先端状況画像作成部２４と、画像制御部２５とを備え、図１に示すようにファイル２６に予め記憶されている被検体のスライス画像（以下原画像という）から得た内視鏡的画像Ａｉをメイン画面１１ａに表示すると共に、サブ画面１１ｂに外観を示す立体モデル画像Ｂｉを表示する。
【００３７】
そして、内視鏡的画像Ａｉ上にどの管腔を進んでいけばよいかを示す案内標識を表示する。
【００３８】
＜各部の説明＞
入力部１４は、マウス１２又はキーボード１３の操作に伴うイベント情報を受付け、画像データ抽出部１５、内視鏡的画像作成部１６、色情報記憶部１７、立体モデル作成部１８、案内標識生成部２０、画像移動回転部２１、最短コース算出部２２、操作進路履歴管理部２３、スコープ先端状況画像作成部２４のいずれかを起動させる。
【００３９】
画像データ抽出部１５は、ファイル２６に記憶されている被検体の複数の原画像より、所定領域の所定数の原画像を全てロードした後に、初めの原画像を表示部１１に表示する。
【００４０】
内視鏡的画像作成部１６は、視点位置及び視線方向を視野とする立体モデルの内視鏡的画像Ａｉ（第１の画像）を作成して表示させる。
【００４１】
色情報記憶部１７は、コンピュータグラフィック表示するための内視鏡的画像Ａｉの色情報を記憶している。
【００４２】
立体モデル作成部１８は、画像データ抽出部１５がロードした所定数の原画像を集めて、ボクセル処理、シェーデング処理等を行って立体モデルを作成する。
【００４３】
案内標識生成部２０は、案内標識表示の要求に伴って、後述する案内標識を内視鏡的画像Ａｉ上に生成させる一方、その矢印と内視鏡的画像Ａｉにおける３次元座標位置とを記憶する。
【００４４】
この案内標識は予めメモり（図示せず）に記憶され、例えば右方向の矢印、左方向の矢印、進入禁止を示す×印、上方向の矢印、下方向の矢印、任意方向の矢印等からなっている。また、メモリは病巣部の名称を示す文字を記憶している。
【００４５】
画像移動回転部２１は、メイン画面１１ａの内視鏡的画像Ａｉを後述すツールボックス１１ｄの操作に基づいて移動又は回転させる。
【００４６】
最短コース算出部２２は、サブ画面１１ｂのツールボックス１１ｅのキー１１ｅ２の操作に基づいて立体モデル画像Ｂｉ上にて指示された２点間の最短コースを求め、このコースを表示させる。
【００４７】
操作進行履歴管理部２３は、ツールボックス１１ｃの操作に基づいて、視点位置の移動に伴い立体モデル上の３次元座標をファイル２７に記憶する。または記憶した３次元座標に対応する内視鏡的画像Ａｉを表示させる。
【００４８】
スコープ先端状況画像作成部２４（単に先端状況画像作成部ともいう）は、内視鏡的画像作成部１６が把握している視点位置及び視線方向に基づいて内視鏡スコープの先端状況（視線方向、視点位置、先端の頭方向）を示すインジケータ画像Ｃｉを立体モデル画像Ｂｉ上に表示させる。
【００４９】
また、このスコープ先端状況画像作成部２４は、立体モデルの内面を隠面消去した立体モデル画像Ｂｉ（外形画像ともいう）を生成し、この立体モデル画像Ｂｉを第２の画面に表示させる外形画像作成部（図示せず）を備えている。
【００５０】
画像制御部２５は、入力部１４から送出されるイベント、及び前述の各部からの指示に基づいて表示部１１の画像を表示を制御する。
【００５１】
また、表示部１１に表示されるツールボックス１１ｃ、１１ｄ及び１１ｅを図２に示す。図２の（ａ）はツールボックス１１ｅを示し、このツールボックス１１ｅは計測機能（距離計測）を行わせるキー１１ｅ２を備えている。
【００５２】
図２の（ｂ）はツールボックス１１ｄを示し、このツールボックス１１ｄは、左方向の視線に変更させる指示を行うキー１１ｄ１と、右方向に視線を変更させる指示を行うキー１１ｄ２と、上方向に視線を変更させる指示を行うキー１１ｄ３と、下方向に視線を変更させる指示を行うキー１１ｄ４と、後ろへ視線を変更させる指示を行うキー１１ｄ５とからなっている。
【００５３】
さらに、図２の（ｃ）のツールボックス１１ｃは、記録の停止又は再生の停止を指示するキー１１ｃ１と、記録開始を指示するキー１１ｃ２と、一時停止を指示するキー１１ｃ３と、コマ戻りを指示するキー１１ｃ４と、再生を指示するキー１１ｃ５と、コマ送りを指示するキー１１ｃ６とからなっている。
【００５４】
＜動作説明＞
上記のように構成された実施の形態１の画像処理装置の動作を以下に説明する。図３及び図４は本実施の形態１の画像処理装置の動作を説明するフローチャートである。
【００５５】
初めに画像データ抽出部１５は、ファイル２６に予め記憶されている被検体の複数の原画像から所定領域の所定数の原画像を全て読み、立体モデル作成部１８がこれらの原画像に基づく立体モデルを作成する。そして、内視鏡的画像作成部１６は立体モデルを内部を視線方向から見たときの内視表示データを読み込む（Ｓ１）。この内視表示データの読み込み開始はマウス１２操作によって行う。
【００５６】
そして、内視鏡的画像作成部１５は、読み込んだ内視表示データを視線方向から撮像した内視鏡的画像Ａｉを求める内視表示算出処理を行い（Ｓ２）、画像制御部２５によりメイン画面１１ａに表示（単に内視表示ともいう）させる（Ｓ３）。
【００５７】
次に、入力部１４は、マウス１２又はキーボード１３若しくはツールボックス等の操作に伴う処理要求イベントが発生したかどうかを判断する（Ｓ４）。
【００５８】
ステップＳ４で処理要求イベントが発生したと判断したときは、そのイベントが視点位置の変更かどうかを判断する（Ｓ５）。ステップＳ５で視点位置の変更と判断した場合は、入力部１４は画像移動回転部２１を起動させる。画像移動回転部２１は、視点位置変更の場合は、左方向の視線に変更させる指示を行うキー１１ｄ１、右方向に視線を変更させる指示を行うキー１１ｄ２、上方向に視線を変更させる指示を行うキー１１ｄ３、下方向に視線を変更させる指示を行うキー１１ｄ４、後ろへ視線を変更させる指示を行うキー１１ｄ５のいずれかの選択かを判断し、以下に説明する視点位置再計算処理及び視線方向ベクトル計算処理を行って処理をステップＳ２に戻す（Ｓ６）。
【００５９】
例えば、ツールボックス１１ｄのキー１１ｄ１が選択された場合は、図５の（ａ）の内視鏡的画像Ａｉ上において視線方向を左側に移動させ、この移動位置において内視鏡的画像作成部１６が再撮像することによって図５の（ｂ）に示す方向によった内視鏡的画像Ａｉを表示させる。
【００６０】
キー１１ｄ２が選択された場合は、図５の（ａ）の内視鏡的画像Ａｉ上において視線方向を右側に移動させ、この移動位置において内視鏡的画像作成部１６が再撮像することによって図５の（ｃ）に示す方向によった内視鏡的画像Ａｉを表示させる。
【００６１】
キー１１ｄ３が選択された場合は、図５の（ａ）の内視鏡的画像Ａｉ上において視線方向を上側に移動させ、この移動位置において内視鏡的画像作成部１６が再撮像することによって図５の（ｄ）に示す方向によった内視鏡的画像Ａｉを表示させる。
【００６２】
キー１１ｄ４が選択された場合は、図５の（ａ）の内視鏡的画像Ａｉ上において視線方向を下側に移動させ、この移動位置において内視鏡的画像作成部１６が再撮像することによって図５の（ｅ）に示す方向によった内視鏡的画像Ａｉを表示させる。さらに、キー１１ｄ５が選択された場合は、図６の（ａ）のような画面の内視鏡的画像Ａｉにおける視線方向を軸として、左回転させた図６の（ｂ）に示す内視鏡的画像Ａｉ又は右回転させた図６の（ｃ）の内視鏡的画像ａｉを表示させる。
【００６３】
すなわち、画像移動回転部２１は、ツールボックス１１ｄの各キーの押下時間等から立体モデル上における視点位置及び視線方向を３次元座標で求め、求めた座標値を内視鏡的画像作成部１６に送出して再撮像させて前述の移動又は回転させた画像をメイン画面１１ａに表示させている。
【００６４】
また、ステップＳ５で視点位置変更要求のイベントではないと判断したときは、２点間の最短コース算出要求のイベントかどうかを判断する（Ｓ７）。
【００６５】
ステップＳ７において、最短コース算出要求のイベントであると判断した場合は入力部１４は、最短コース算出部２２を起動させる。
【００６６】
最短コース算出部２２は、最短コース算出要求のイベントの場合（ツールボックス１１ｅのキー１１ｅ２が選択された場合）は、図７に示すようにサブ画面１１ｂの立体モデル画像Ｂｉ上に、第１ポイント（Ｘ１）と第２ポイント（Ｘ２）とを指定させる指示要求を行い、両ポイントが指示されると、これらのポイントの３次元座標を記憶する（Ｓ８）。
【００６７】
そして、第１ポイント（Ｘ１）と第２ポイント（Ｘ２）と結ぶ最短コースを立体モデル上で求め（Ｓ９）、両ポイントを結ぶ直線を画像制御部２５を用いて図７に示すようにサブ画面１１ｂに表示させる。この直線上に沿って視点位置を移動させると共に、内視鏡的画像作成部１６により、移動に伴う内視鏡的画像Ａｉを算出させる処理を行わせて（Ｓ１０）、メイン画面１１ａに表示させる（Ｓ１１）。このステップＳ１０及びＳ１１の処理は直線の始点Ｘ１からＸ２まで、単位座標毎に繰り返す。
【００６８】
また、ステップＳ７で最短コース算出のイベントではないと判断したときは、入力部１４は、案内標識表示（３Ｄアノテーション作成ともいう）の要求かどうかを判断する（Ｓ１２）。ステップＳ１２において、案内標識表示のイベントと判断した場合は、案内標識生成部２０が、画面に予め記憶されている上記説明の案内標識を表示し、いずれかを選択させる（Ｓ１３）。
【００６９】
そして、案内標識を表示させる位置をカーソル等でメイン画面１１ａの内視鏡的画像Ａｉ上で指示させ、この指示された位置の内視鏡的画像Ａｉ上の描画位置算出を行い（Ｓ１４）、画像制御部２５を用いてその位置に表示させて（Ｓ１５）、処理をステップＳ２に戻す。つまり、各矢印は３次元的な表示となる。
【００７０】
従って、図８又は図９に示すように内視鏡的画像Ａｉ上に、内視鏡スコープ２の先端を導くための案内標識が表示される。
【００７１】
図８においては、内視鏡スコープ２の先端を進めて行く管腔は案内標識Ｙ１、Ｙ２で表示され、また、先端を進めて行ってはいけない管腔は×印で表示している。このため、実際に内視鏡スコープ２の先端を進めて行く場合は、これらの案内標識に従って、進めていけばよいので、複数に分岐している管腔であっても容易に目的の病巣部に向かって進めていくことができる。
【００７２】
また、ステップＳ１２で案内標識の表示要求ではないと判断した場合は、操作進路履歴管理の要求かどうかを判断する（Ｓ１６）。
【００７３】
操作進路履歴管理部２３は、操作進路履歴管理の要求のイベントの場合は、記録要求のイベントかどうかを判断する（Ｓ１７）。つまり、図２の（ｃ）のツールボックス１１ｃのキー１１ｃ２が選択されたかどうかを判断する。
【００７４】
ステップＳ１７で記録要求のイベントと判断したときは、通過点の３次元座標を順次記憶して（Ｓ１８）、処理をステップＳ１７に戻す。例えば、２点間の最短コースを求めたときの視点位置の座標を記憶する。
【００７５】
また、ステップＳ１７で記録要求のイベントではないと判断したときは、操作進路履歴管理部２３は再生要求のイベントかどうかを判断する（Ｓ１９）。つまり、図２の（ｃ）のツールボックス１１ｃのキー１１ｃ５が選択されたかどうかを判断する。
【００７６】
ステップＳ１９で再生要求のコマンドと判断した場合は、ステップＳ１８で記憶した通過点の３次元座標を順次読み出し（Ｓ２０）、この３次元座標を内視鏡算出部１６に出力して、各座標位置毎の内視鏡座標Ａｉを生成させる内視表示算出処理を行わせて（Ｓ２１）、メイン画面１１ａに表示させる（Ｓ２２）。そして、記録地点の終了かどうかを判断する（Ｓ２３）。ステップＳ２３において、記録地点の終了でない場合は処理をステップＳ２１に戻して、記憶している次ぎの３次元座標の内視鏡的画像Ａｉを表示させる。また、ステップＳ２３で記録地点の終了と判断した場合は、処理を図３のステップＳ１に戻して最初の内視鏡的画像Ａｉを表示させる（Ｓ２４）。
【００７７】
さらに、ステップＳ１９において再生要求のイベントではないと判断したときは、コマ送り又はコマ戻しのイベントかどうかを判断する（Ｓ２４）。つまり、図２の（ｃ）のツールボックス１１ｃのキー１１ｃ３又はキー１１ｃ４のいずれかが選択されたかどうかを判断する。
【００７８】
ステップＳ２４において、コマ送り又はコマ戻しのイベントと判断した場合は、１コマ前の通過点の３次元座標又は１コマ戻した３次元座標を読み出し（Ｓ２５）、内視鏡的画像作成部１６に知らせて処理をステップＳ２１に戻す。
【００７９】
また、ステップＳ２４でコマ送り又はコマ戻しのイベントではないと判断した場合は、履歴管理の終了かどうかを判断する（Ｓ２６）。つまり、図２の（ｃ）のツールボックス１１ｃのキー１１ｃ１が選択されたかどうかを判断する。
【００８０】
ステップＳ２６において、履歴管理の終了ではないと判断したときは、処理をステップＳ１７に戻して上記の説明の処理を行う。また、ステップＳ２６において、履歴管理の終了と判断した場合は処理をステップＳ２に戻して最初の内視鏡的画像Ａｉを表示させる。
【００８１】
すなわち、操作履歴管理においては、ビデオテープレコーダのように、視点位置を移動させたときの経路を覚えておき、後で繰り返し内視鏡的画像等を見直すことができるようにしている。
【００８２】
＜実施の形態２＞
実施の形態２においては、内視鏡的画像Ａｉをメッシュ化又は半透明化して案内標識Ｙを表示する場合を述べる。また、被検出体の右肩、左肩、頭方向等を示す体位方向コンパス画像Ｍｉ並びにサブ画面１１ｂの立体モデル画像Ｂｉにスコープ先端状況画像Ｃｉを表示することにする。
【００８３】
図１０は実施の形態２の画像処理装置の概略構成図である。図１１は本実施の形態２の画像処理装置の表示画像を説明する説明図である。図１０において、表示部１１〜案内標識生成部２０は図１と同様なものである。図１０の画像処理装置３５は、表示部１１〜案内標識生成部２０の他に、体位方向記憶部２９と、メッシュ化部３１と、半透明化部３２と、任意物体作成部３３と、画像制御部３４とを備えている。
【００８４】
コンパス画像作成部３０は、内視鏡的画像Ａｉを得たときの内視鏡スコープ２の先端の姿勢（視線位置及び方向）と、このときの先端に対する被検体の足、頭等の方向とを示した体位方向コンパス画像Ｍｉを作成して内視鏡的画像Ａｉ上に表示させる。
【００８５】
入力部２８は、マウス１２又はキーボード１３の操作に伴うイベント情報を受付け前述の各部のいずれかを起動させる。
【００８６】
スコープ先端状況画像作成部２４（先端状況画像作成部ともいう）は、内視鏡的画像作成部１６が把握している視点位置及び視線方向並びに体位方向記憶部２９に記憶されている体位情報に基づいて内視鏡スコープの先端状況（視線方向、視点位置、術者の頭方向）を示すインジケータ画像Ｃｉを図１１に示すように、立体モデル画像Ｂｉ上に表示する。
【００８７】
メッシュ化部３１は、内視鏡的画像作成部１６で作成した内視鏡的画像Ａｉを読み込む。そして、読み込んだ内視鏡的画像Ａｉを形成する各断層像の対象物体の輪郭抽出を行い、これらの輪郭線の点列データを線で結んでメッシュする。
【００８８】
半透明化部３２は、内視鏡的画像作成部１６の内視鏡画面Ａｉを読み込む。そして、読み込んだ内視鏡的画像Ａｉから所定の条件に基づいて画素を間引きした半透明の内視鏡的画像Ａｉをメイン画面１１ａに表示させる。この半透明化部３２及びメッシュ化部３１を総称して背面画像浮上部という。
【００８９】
任意物体作成部３３は、腫瘍等を示す図形（星型、立方体等）と、この腫瘍等が位置している座標とを予め記憶し、必要に応じてサブ画面１１ｂの座標系の対応する座標位置に記憶されている図形（星型、立方体等）を作成する。
【００９０】
画像制御部３４は、入力部２８から送出されるイベント、及び前述の各部からの指示に基づいて表示部１１の画像を制御する。
【００９１】
例えば、立体モデルを視点位置及び視線方向から撮像したときの立体モデル画像Ｑｉ上に、内視鏡的画像Ａｉ又はメッシュ化された内視鏡的画像Ａｉ若しくは半透明化された内視鏡的画像Ａｉを表示する。さらに、体位方向コンパス画像Ｍｉをこれらの画像上に表示する。
【００９２】
また、内視鏡的画像ａｉ上に案内標識生成部２０で生成された矢印を３次元的に内視鏡的画像Ａｉ上に表示する。
【００９３】
すなわち、上記実施の形態２の画像処理装置３５は、内視鏡的画像作成部１６によって作成された内視鏡的画像Ａｉを、メッシュ化部３１がメッシュ化したとき、案内標識の要求があると、案内標識生成部２０が、画面に予め記憶されている上記説明の案内標識を表示し、いずれかを選択させる。そして、案内標識を表示させる位置をカーソル等でメイン画面１１ａの内視鏡的画像Ａｉ上で指示させ、この指示された位置の内視鏡的画像Ａｉ上の描画位置算出を行い、画像制御部３４を用いてその位置に表示させる。
【００９４】
従って、図１２示すようにメッシュ化された内視鏡的画像Ａｉ上に、内視鏡スコープ２の先端を導くための案内標識が表示される。
【００９５】
また、内視鏡的画像作成部１６によって作成された内視鏡的画像Ａｉを、半透明化部３２が半透明化したとき、案内標識の要求があると、案内標識生成部２０が、画面に予め記憶されている上記説明の案内標識を表示し、いずれかを選択させる。そして、案内標識を表示させる位置をカーソル等でメイン画面１１ａの内視鏡的画像Ａｉ上で指示させ、この指示された位置の内視鏡的画像Ａｉ上の描画位置算出を行い、画像制御部３４を用いてその位置に表示させる。
【００９６】
従って、図１３示すように半透明化された内視鏡的画像Ａｉ上に、内視鏡スコープ２の先端を導くための案内標識が表示される。
【００９７】
さらに、体位方向コンパス画像Ｍｉの要求がある場合は、コンパス画像作成部３０が内視鏡的画像作成部１６が把握している視点位置（Ｘ、Ｙ、Ｚ）及び視線方向（Ｄｉｘ、Ｄｉｙ、Ｄｉｚ）を読み込む。そして、体位方向記憶部２９に記憶している体位情報を読み、この体位情報と視点位置と視線方向とに基づいて、内視鏡スコープ２の先端からの右肩の方向、左肩の方向、胸方向、背面方向、頭部方向、足方向を求める。
【００９８】
次に、これらの方向に基づいてコンパス画像作成部３０は、体位方向コンパス画像Ｍｉの姿勢を求めて、かつこれらの方向に対応する各バー２４に記号（Ｌ、Ｒ、Ａ、Ｐ、Ｈ、Ｆ）を付加する。
【００９９】
従って、図１４に示すように、内視鏡的画像Ａｉ上に、内視鏡スコープ２の先端の姿勢及び各部の方向を示す体位方向コンパス画像Ｍｉと、案内標識が表示されることになるので、背面の立体モデル画像Ｑｉを見ることができると共に、先端の姿勢に対する被検体の体軸方向の相対関係と、先端を進める方向とが表示される。
【０１００】
なお、上記実施の形態では、メイン画面１１ａに内視鏡的画像Ａｉを表示し、サブ画面１１ｂに立体モデル画像Ｂｉを表示したが内視鏡的画像Ａｉをサブ画面１１ｂに表示し、立体モデル画像Ｂｉをメイン画面１１ａに表示してもよい。
【０１０１】
【発明の効果】
以上のように請求項１によれば、第１の画像である内視鏡的画像上に目的の部位に正確に案内させるための標識を表示できるようにしたので、事前に進入する腔を決定できるという効果が得られている。
【０１０２】
請求項２によれば、進入不可の管腔と進入する腔とを事前に決定できるという効果が得られている。
【０１０３】
請求項３によれば、後で実際に内視鏡スコープを被検体に挿入する場合に、本装置を用いて被検体の内視鏡的画像を表示したときは、腔内には標識が表示されているので、熟練していない術者であってもどの腔に進めていけばよいかが容易に分かるという効果が得られている。
【０１０４】
請求項４によれば、第１の画面において、視点位置及び視線方向を変えた内視鏡的画像を表示できるようにしたので、術者が見る方向に応じた方向からの内視鏡的画像を第１の画面に表示させることができるという効果が得られている。
【０１０５】
請求項５によれば、内視鏡的画像上において、目的の腔に正確に案内させるための標識を表示した内視鏡画面と、この内視鏡画面の腔の立体モデル画像とを同一画面上で見ることができるという効果が得られている。
【０１０６】
請求項６によれば、複数の視点位置が指示されると、立体モデル上のこれらの位置を結ぶ最短経路を示す線が立体モデル画像上に表示されるので、操作負担を低減できるという効果が得られている。
【０１０７】
請求項７によれば、最短経路の各３次元座標に対応する断画像から立体モデルを撮像したときの内視鏡的画像が第１の画面に順次表示されるという効果が得られている。
【０１０８】
請求項８によれば、本装置上でシュミレーションを行ったときの経路を、後で再現できるという効果が得られている。
【０１０９】
請求項９によれば、再生要求があると、予め登録している視線位置及び視線方向に対応する内視鏡的画像を画面に再生できるという効果が得られている。
【０１１０】
請求項１０によれば、メッシュ化又は半透明化された内視鏡的画像上に、目的の管腔に進めさせる標識が表示されるので、矢印に従って進む方向の管腔がどのようになっているかを事前に把握できるという効果が得られている。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像処理装置の概略構成図である。
【図２】ツールボックスの構成を説明する説明図である。
【図３】本実施の形態の画像処理装置の動作を説明するフローチャートである。
【図４】本実施の形態の画像処理装置の動作を説明するフローチャートである。
【図５】内視鏡的画像の移動を説明する説明図である。
【図６】内視鏡的画像の回転を説明する説明図である。
【図７】最短コースの算出を説明する説明図である。
【図８】案内標識の表示を説明する説明図である。
【図９】案内標識の表示を説明する説明図である。
【図１０】第２の実施の形態の画像処理装置の概略構成図である。
【図１１】実施の形態２の表示画面を説明する説明図である。
【図１２】メッシュ化した内視鏡的画像上における案内標識の表示を説明する説明図である。
【図１３】半透明化した内視鏡的画像上における案内標識の表示を説明する説明図である。
【図１４】体位方向コンパス画像と案内標識の表示した説明図である。
【図１５】従来の画像処理装置を説明する説明図である。
【符号の説明】
２内視鏡スコープ
１１表示部
１２マウス
１３キーボード
１４入力部
１５画像データ抽出部
１６内視鏡的画像作成部
１７色情報記憶部
１８立体モデル作成部
２０案内標識生成部
２１画像移動回転部
２２最短コース算出部
２３操作進路履歴管理部

Claims

予め被検体から収集された多数の断層像に基づき、前記被検体の所望とする部位に係る３次元画像を表示する画像処理装置において、
前記多数の断層像に基づく立体モデルを作成する立体モデル作成部と、
この立体モデル作成部で作成された立体モデルにおける所望の視点位置及び視線方向を視野とする第１の画像を作成して第１の画面に表示させる画像作成部と、
前記所望とする部位に、正確に案内させるための案内標識を選択させて前記第１の画像上における表示指定位置を指定させ、この表示指定位置に前記選択された案内標識を生成しこの案内標識と前記位置を記憶させる案内標識生成部と、
この案内標識生成部で記憶された案内標識を前記第１の画像上に表示する表示部と
を有することを特徴とする画像処理装置。
前記案内標識生成部における案内標識は、進入禁止を示す標識と、進入方向を示す矢印標識とからなることを特徴とする請求項１記載の画像処理装置。
前記案内標識生成部は、
前記表示指定位置と前記選択された案内標識とを対応させて登録することを特徴とする請求項１又は２記載の画像処理装置。
前記立体モデルにおける視点位置及び視線方向を、操作指示に基づいて上下移動、左右移動又は回転させた前記第１の画像を前記画像作成部により前記第１の画面に表示させる画像移動部と
を有することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
前記立体モデル作成部で作成された立体モデルの内面を隠面消去した外形画像を前記第１の画面とは異なる第２の画面に表示する外形画像作成部とを有することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
前記第２の画面の外形画像上において、複数の視点位置を指示させ、これらの視点位置を結ぶ前記立体モデル内の最短経路を求め、この経路を前記外形画像上に表示させる最短コース算出部と
を有することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
前記最短コース算出部は、
前記最短経路を求めたとき、前記立体モデル上における前記最短経路の各３次元座標を前記所望の視点位置及び視線方向として順次、前記画像作成部に送出することを特徴とする請求項６記載の画像処理装置。
前記立体モデルにおける視点位置及び視線方向が更新される毎に、これらの位置及び方向を順次登録する操作進路履歴管理部と
を有することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
前記操作進路履歴管理部は、
再生要求に伴って前記登録している前記視点位置及び視線方向を順次、前記画像作成部に送出することを特徴とする請求項８記載の画像処理装置。
前記第１の画面の第１の画像をメッシュ化又は半透明化する背面画像浮上部とを有することを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。