JP5504028B2 - 観察支援システムおよび方法並びにプログラム - Google Patents

Description

本発明は、例えば被検体の体腔内に挿入された内視鏡下での手術あるいは検査等における、内視鏡観察を支援する技術に関するものである。

近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むので、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。

一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、とくに大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。そして、仮想内視鏡画像を用いて内視鏡手術あるいは検査等を安全かつ迅速に行うための手法が提案されている。

例えば、特許文献１には、内視鏡観察下において、内視鏡画像では見えない周辺部の仮想内視鏡画像を内視鏡画像に重畳表示することにより、内視鏡手術を支援するための手法が記載されている。また、特許文献２には、気管支等の管路についての仮想内視鏡画像を作成し、仮想内視鏡画像上において管路に沿って目的点までの経路を事前に求めておき、この経路の沿った仮想内視鏡画像を実際の内視鏡観察時における案内画像として使用する手法が提案されている。特許文献１，２に記載された手法によれば、内視鏡画像とともに仮想内視鏡画像を表示することにより、安全かつ迅速に内視鏡観察を行うことができる。

一方、実際の画像診断の現場では、画像診断の依頼元である各診療科の医師（以下、依頼医）と３次元ボリューム画像等の医用画像の読影を専門とする医師（以下、読影医）との連携により診断が行われる。具体的には、依頼医からの検査オーダーに基づいて、放射線技師が患者の撮影を行って医用画像を取得した後、読影医がその医用画像の読影を行い、読影結果をまとめた読影レポートを作成して依頼医に返し、依頼医は、作成された読影レポートに記載された所見を読み、読影レポートを取得した画像を参照しつつ、問診結果や他の検査結果等の種々の情報も考慮して最終的な診断を行っている。また、内視鏡画像を読影して読影レポートを作成することも行われている。なお、読影レポートにはその読影レポートに関連する病変あるいは血管等の位置の情報および所見が記載される。このため、読影レポートを参照することにより、位置情報に基づいて病変等が含まれる位置の医用画像とともに所見を確認することが可能となる。

特開２００６−１９８０３２号公報 特開２０００−１３５２１５号公報

しかしながら、上記特許文献１，２に記載された手法を用いての内視鏡観察中に、仮想内視鏡画像を作成するために取得した３次元ボリューム画像等についての所見を確認したい場合には、別途読影レポートに記載されている所見を表示する必要がある。このため、内視鏡観察中は所見を迅速に確認することができない。また、内視鏡観察中に得た内視鏡画像についての所見を、内視鏡観察後においても容易に確認できるようにすることが望ましい。

本発明は上記事情に鑑みなされたものであり、例えば内視鏡画像、３次元医用画像等のある医用画像の表示中に、他の医用画像において取得した所見を簡易かつ迅速に確認できるようにすることを目的とする。

本発明による第１の観察支援システムは、被検体の３次元医用画像を取得する第１の画像取得手段と、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
前記内視鏡画像を表示する表示手段と、
前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶する記憶手段と、
前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知する通知手段とを備えたことを特徴とするものである。

「所定範囲内に位置する」とは、第１の位置情報により表される位置と完全に一致する場合も含む。

なお、本発明による第１の観察支援システムにおいては、前記通知手段を、前記表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段としてもよい。

また、本発明による第１の観察支援システムにおいては、前記表示手段を、前記所見の通知がなされると、通知する所見を取得した位置における前記３次元医用画像を表示する手段としてもよい。

本発明による第２の観察支援システムは、被検体の３次元医用画像を取得する第１の画像取得手段と、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
前記内視鏡画像を表示する表示手段と、
前記体腔内の少なくとも１つの位置についての所見を取得する所見取得手段と、
該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶する記憶手段とを備えたことを特徴とするものである。

なお、本発明による第２の観察支援システムにおいては、前記特定位置情報により表される位置における前記３次元医用画像を表示する他の表示手段と、
前記特定位置情報により表される位置の前記３次元医用画像を前記他の表示手段に表示する際に、該位置に対応づけられた前記所見を通知する通知手段とをさらに備えるものとしてもよい。

また、本発明による第２の観察支援システムにおいては、前記通知手段を、前記他の表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段としてもよい。

また、本発明による第２の観察支援システムにおいては、前記他の表示手段を、前記所見の通知がなされると、通知する所見を取得した位置における前記内視鏡画像を表示する手段としてもよい。

本発明による第１の観察支援方法は、被検体の３次元医用画像を取得するステップと、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
前記内視鏡画像を表示するステップと、
前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶するステップと、
前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得するステップと、
前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知するステップとを有することを特徴とするものである。

本発明による第２の観察支援方法は、被検体の３次元医用画像を取得するステップと、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
前記内視鏡画像を表示するステップと、
前記体腔内の少なくとも１つの位置についての所見を取得するステップと、
該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得するステップと、
前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶するステップとを有することを特徴とするものである。

なお、本発明による第１および第２の観察支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１の観察支援システムおよび方法によれば、被検体の３次元医用画像が取得され、被検体の体腔内に挿入された内視鏡により撮影した、体腔内の内視鏡画像が取得される。そして、３次元医用画像についての少なくとも１つの所見が、３次元医用画像内における所見を得た位置を表す所見位置情報と対応づけられて記憶される。一方、内視鏡画像が表示され、体腔内の内視鏡のリアルタイムの位置を表す内視鏡位置情報が取得され、内視鏡位置情報により表される位置が、所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に所見が通知される。このため、ユーザである医師は内視鏡画像の観察中に、内視鏡が３次元医用画像内における所見を取得した位置の近くに到達した際に、３次元医用画像内において取得した所見を簡易かつ迅速に確認できる。とくに、所見は、病変がある位置あるいは動脈等の血管がある位置等の内視鏡を用いての手術、検査等の内視鏡観察を行うに際して重要な位置において作成されるため、ユーザである医師は、内視鏡観察を行っている最中に、そのような重要な位置に内視鏡が近づいたことを所見の通知により知ることができる。したがって、内視鏡を用いての手術、検査を安全かつ確実に行うことができる。

また、所見の通知とともに、通知する所見を取得した位置における３次元医用画像を表示することにより、医師は重要な位置における３次元医用画像をも参照して、内視鏡観察を行うことができる。したがって、内視鏡観察をより精度良く行うことができる。

また、本発明の第２の観察支援システムおよび方法によれば、被検体の３次元医用画像が取得され、被検体の体腔内に挿入された内視鏡により撮影した、体腔内の内視鏡画像が取得される。そして、内視鏡画像が表示され、体腔内の少なくとも１つの位置についての所見が取得され、所見を得た体腔内の内視鏡の位置を表す内視鏡位置情報が取得される。さらに、内視鏡位置情報に対応する３次元医用画像内における位置が特定され、特定された位置を表す特定位置情報と所見とが対応づけられて記憶される。

このため、医師は、３次元医用画像を観察する際に、内視鏡を用いての手術、検査等の内視鏡観察時に作成された所見を、その所見を作成した位置に対応する位置の３次元医用画像とともに簡易かつ迅速に確認することができる。とくに、所見は、被検体の体腔内の病変がある位置等の内視鏡を用いての手術、検査を行うに際して重要な位置において作成されるため、医師は、内視鏡観察中あるいは内視鏡観察後に、そのような重要な位置についての３次元医用画像を所見とともに確認することができる。したがって、３次元医用画像を用いての、内視鏡観察時に重要であるとされた位置における診断を安全かつ確実に行うことができる。

また、所見の通知とともに、通知する所見を取得した位置における内視鏡画像を表示することにより、医師は重要な位置における内視鏡画像をも参照して、３次元医用画像を用いた診断を行うことができる。したがって、３次元医用画像を用いた診断をより精度良く行うことができる。

本発明の第１の実施形態による内視鏡観察支援システムの概要を示すハードウェア構成図 本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図 本発明の第１の実施形態において行われる処理を示すフローチャート 内視鏡画像用ディスプレイにおける内視鏡画像および所見の表示を説明するための図 内視鏡画像用ディスプレイにおける内視鏡画像および所見の表示を説明するための図 内視鏡画像用ディスプレイにおける内視鏡画像および所見の表示を説明するための図 本発明の第１の実施形態の変形例における内視鏡観察支援システムを機能レベルで分割したブロック図 本発明の第２の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図 本発明の第２の実施形態において行われる処理を示すフローチャート（その１） 本発明の第１の実施形態において行われる処理を示すフローチャート（その２） 画像処理ワークステーション用ディスプレイにおける３次元医用画像および所見の表示を説明するための図 画像処理ワークステーション用ディスプレイにおける３次元医用画像および所見の表示を説明するための図 画像処理ワークステーション用ディスプレイにおける３次元医用画像および所見の表示を説明するための図

以下、本発明の実施形態による内視鏡観察支援システムについて説明する。図１は、本発明の第１の実施形態による内視鏡観察支援システムの概要を示すハードウェア構成図である。図１に示すように、本発明の第１の実施形態による内視鏡観察支援システムは、内視鏡１、デジタルプロセッサ２、光源装置３、内視鏡画像用ディスプレイ４、モダリティ５、内視鏡用マーカー７、位置センサ８、読影ワークステーション９、読影ワークステーション用ディスプレイ１０（以下単にディスプレイ１０とすることもある）、画像処理ワークステーション１１、画像処理ワークステーション用ディスプレイ１２（以下単位ディスプレイ１２とすることもある）から構成されており、被検体の腹腔内に内視鏡１および処置具６を挿入して、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術を行う際の内視鏡の観察を支援するためのものである。

本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行うことにより、内視鏡画像データＳを取得し、内視鏡画像Ｓを内視鏡画像用ディスプレイ４に表示する。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、内視鏡画像用ディスプレイ４には、内視鏡画像Ｓが腹腔内を表す動画として表示される。

また、デジタルプロセッサ２は、キーボード等の入力装置２Ａを備えており、内視鏡画像用ディスプレイ４に動画として表示された内視鏡画像Ｓにおいて病変等が観察された場合に、ユーザである医師が入力装置２Ａを用いて、静止画撮影を行うことが可能となっている。また、医師が静止画撮影により取得した静止画の内視鏡画像（静止内視鏡画像）Ｓｓを読影することにより、静止内視鏡画像Ｓｓに対する所見を入力することも可能となっている。この際、デジタルプロセッサ２は、読影レポートの作成を支援するレポート作成画面をディスプレイ４に表示し、読影に基づいて行った所見等の内容を示すテキスト（以下、所見情報Ｋｓとする）が入力されたときに、所見情報Ｋｓおよび読影の対象とされた静止内視鏡画像Ｓｓを撮影した際の内視鏡１の位置を表す内視鏡位置情報Ｐｓを記録した読影レポートＲｓを作成する。なお、読影レポートＲｓには、所見を作成した位置の静止内視鏡画像Ｓｓを記録してもよい。

また、所見の入力は入力装置２Ａのみならず音声を用いてもよい。また、内視鏡画像用ディスプレイ４がタッチパネル式の入力装置となっている場合には、タッチパネル式の入力装置を用いて入力してもよい。また、医師のみならず手術のアシスタント（看護士）が入力するようにしてもよい。これにより、手術中における医師の負担を軽減できる。デジタルプロセッサ２は、作成した読影レポートＲｓをＬＡＮ経由で画像処理ワークステーション１１に送信する。

また、静止内視鏡画像Ｓｓが複数あるときは、読影レポートＲｓには、静止内視鏡画像毎に所見情報Ｋｓおよび内視鏡位置情報Ｐｓが対応づけられて記録される。

なお、デジタルプロセッサ２は、内視鏡画像Ｓを表す内視鏡画像データＳおよび静止内視鏡画像Ｓｓを表す静止内視鏡画像データＳｓにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、内視鏡画像データＳおよび静止内視鏡画像データＳｓを出力する。出力された静止内視鏡画像データＳｓは、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１１に送信される。

モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データＶを生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データＶにもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データＶも、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で読影ワークステーション９および画像処理ワークステーション１１に送信される。

読影ワークステーション９は、モダリティ５から受け取った３次元医用画像Ｖをディスプレイ１０に表示して、読影医による読影に供する。さらに、読影ワークステーション９は、読影レポートの作成を支援するレポート作成画面をディスプレイ１０に表示し、読影に基づいて所見等の内容を示すテキスト（以下、所見情報Ｋｖとする）が入力されたときに、所見情報Ｋｖおよび３次元医用画像Ｖ内における所見を取得した位置を表す所見位置情報Ｐｖを記録した読影レポートＲｖを作成する。なお、読影レポートＲｖには、３次元医用画像Ｖの所見情報Ｋｖを作成した位置における画像（以下、読影対象画像）を記録してもよい。なお、読影を行って所見を作成した箇所が複数あるときは、読影レポートＲｖには、読影毎に所見情報Ｋｖおよび所見位置情報Ｐｖが対応づけられて記録される。読影ワークステーション９は、生成した読影レポートを、ＬＡＮ経由で画像処理ワークステーション１１に送信する。

なお、読影ワークステーション９においては、例えば特開２００４−１３５８６７号公報に記載されたようなアイリスフィルタを用いた異常陰影候補検出手法に代表される、計算機支援診断(CAD:Computer Aided Diagnosis) システムを用いて、３次元医用画像Ｖから病変を自動的に検出し、病変が含まれる部分の３次元医用画像Ｖをディスプレイ１０に表示して読影に供するようにしてもよい。

内視鏡用マーカー７および位置センサ８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー７は内視鏡１の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔でマーカー７の３次元位置が検出される。内視鏡用マーカー７は、複数のマーカー片から構成されているため、位置センサ８はマーカー片の位置関係から内視鏡１の向きも検出可能であり、オフセット計算によって、内視鏡１の先端部の３次元位置を算出することができる。位置センサ８は、算出された内視鏡１の３次元位置および向きを表す内視鏡位置情報Ｐｓを、ＵＳＢインターフェースを介してデジタルプロセッサ２および画像処理ワークステーション１１に送信する。

画像処理ワークステーション１１は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）およびディスプレイ１０が接続されている。また、画像処理ワークステーション１１は、デジタルプロセッサ２、モダリティ５および読影ワークステーション９とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１１は、周知のオペレーティングシステムおよび各種アプリケーション・ソフトウェア等がインストールされたものであり、本実施形態の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

なお、画像処理ワークステーション１１は、内視鏡手術を行う手術室または手術室に隣接する控え室に設置されており、手術中または手術後に医師が適宜情報を確認可能なようになっている。

図２は本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図２に示すように、本発明の第１の実施形態による内視鏡観察支援システムは、内視鏡１、内視鏡画像形成部２、内視鏡画像用ディスプレイ４、３次元医用画像形成部５、所見作成部９、内視鏡位置検出部２０、内視鏡位置取得部２１、３次元医用画像取得部２２、所見取得部２３、画像情報データベース２４、検索部２５および内視鏡画像取得部２６から構成されている。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現され、所見作成部９の機能は図１の読影ワークステーションによって実現される。一方、内視鏡位置検出部２０の機能は、内視鏡用マーカー７および位置センサ８によって実現される。また、破線枠は画像処理ワークステーション１１を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１１で所定のプログラムを実行することによって実現される。

次に、第１の実施形態において行われる処理について説明する。図３は本発明の第１の実施形態による内視鏡観察支援システムで行われる処理を示すフローチャートである。

まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の撮影によって３次元医用画像Ｖが形成される。また、所見作成部９において、読影医による３次元医用画像Ｖの読影が行われ、３次元医用画像Ｖについての所見情報Ｋｖおよびその所見情報Ｋｖを取得した３次元医用画像Ｖ上の位置を表す所見位置情報Ｐｖが記録された読影レポートＲｖが作成される。

画像処理ワークステーション１１では、３次元医用画像取得部２２が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得し（ステップＳＴ１）、さらに所見取得部２３が、所見作成部９によって作成された読影レポートＲｖを取得する（ステップＳＴ２）。３次元医用画像Ｖおよび読影レポートＲｖは、互いに対応づけられて画像情報データベース２４に登録される（ステップＳＴ３）。以上の処理は、内視鏡下手術の前に行われる。

そして、内視鏡下手術中、すなわち内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで（ステップＳＴ１０肯定）、内視鏡画像形成部２は、所定のフレームレートで体腔内に挿入された内視鏡１による内視鏡画像Ｓを繰り返し形成し、形成された内視鏡画像Ｓを内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示する（ステップＳＴ４）。なお、内視鏡画像Ｓは内視鏡画像取得部２６により取得され、画像処理ワークステーション１１内の所定のメモリ領域に逐次格納される。また、内視鏡位置検出部２０は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置を繰り返しリアルタイムに検出する。

画像処理ワークステーション１１では、内視鏡位置取得部２１が、内視鏡位置検出部２０で検出された内視鏡１の位置を表す内視鏡位置情報Ｐｓを取得し（ステップＳＴ５）、内視鏡位置情報Ｐｓを３次元医用画像Ｖの座標系における位置に変換して得られた変換位置Ｐｓ′を取得する（ステップＳＴ６）。

そして検索部２５が、画像情報データベース２４における同一被検体の３次元医用画像Ｖについての読影レポートＲｖを参照し、変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索する（ステップＳＴ７）。この場合、変換位置Ｐｓ′と所見位置情報Ｐｖにより表される位置とが完全に一致したときに検索されたと判定してもよいが、所見位置情報Ｐｖにより表される位置を基準とした所定の空間的な範囲を定めるしきい値を設定し、このしきい値により定められる空間的な範囲内に変換位置Ｐｓ′が含まれている場合に、所見情報Ｋｖが検索されたと判定するようにしてもよい。なお、しきい値はユーザが設定できるようにすればよい。

また、内視鏡位置情報Ｐｓには内視鏡１の向きも含まれているため、内視鏡１の向きから内視鏡の画角を求めることができる。したがって、検索部２５は、内視鏡位置情報Ｐｓに含まれる内視鏡１の向きの情報から内視鏡１の画角を算出し、内視鏡１の画角よりも所定量広い画角の範囲に３次元医用画像Ｖの所見位置情報Ｐｖにより表される位置が存在する場合に、所見情報Ｋｖが検索されたと判定するようにしてもよい。

また、上記特許文献２に記載された手法を用いて、３次元医用画像Ｖから内視鏡観察を行う際の経路をあらかじめ求め、求めた経路についての仮想内視鏡画像を作成して画像情報データベース２４に登録しておき、リアルタイムで取得した内視鏡画像Ｓと仮想内視鏡画像との類似度を算出し、類似度が所定範囲（例えば２つの画像の相関値が所定のしきい値以内）となった仮想内視鏡画像内の位置を検出し、その位置が所見位置情報Ｐｖにより表される位置を基準とした所定のしきい値により定められる空間的な範囲内に含まれたときに、所見情報Ｋｖが検索されたと判定するようにしてもよい。

ステップＳＴ７が否定されると、ステップＳＴ１０の処理に進む。ステップＳＴ７が肯定されると、検索部２５は画像情報データベース２４から検索した所見情報Ｋｖを取得し（ステップＳＴ８）、内視鏡画像用ディスプレイ４に送信する。内視鏡画像用ディスプレイ４は、所見情報Ｋｖにより表される所見Ｋｖを内視鏡画像Ｓとともに表示する（ステップＳＴ９）。

図４および図５は、内視鏡画像用ディスプレイ４における内視鏡画像Ｓおよび所見情報Ｋｖの表示を説明するための図である。所見情報Ｋｖが検索されていないときには、図４に示すように内視鏡画像Ｓのみが表示されている。一方、所見情報Ｋｖが検索されると、図５に示すように所見Ｋｖが内視鏡画像Ｓに重畳されて表示される。なお、図６に示すように、所見情報Ｋｖを取得した位置における読影対象画像である３次元医用画像Ｖ０を所見Ｋｖとともに表示してもよい。

続いて、画像処理ワークステーション１１では、観察終了を指示する操作がなされたか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が否定されるとステップＳＴ４に戻り、ステップＳＴ４以降の処理を繰り返す。ステップＳＴ１０が肯定されると、それまでにメモリに格納した内視鏡画像Ｓ（動画）を画像情報データベース２４に登録し（ステップＳＴ１１）、処理を終了する。

次に、第１の実施形態における画像処理ワークステーション１１内の各処理部で行われる処理の詳細について説明する。

内視鏡位置取得部２１は、内視鏡位置検出部２０との通信により内視鏡位置を表す内視鏡位置情報Ｐｓを取得する通信インターフェースとしての機能と、取得した内視鏡位置情報Ｐｓを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された変換位置Ｐｓ′に変換して画像処理ワークステーション１１の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部２１からの要求ベースで内視鏡位置検出部２０から内視鏡位置情報Ｐｓが取得される。また、後者の座標変換機能では、位置センサ８の３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量をあらかじめ求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値をあらかじめ計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡位置情報Ｐｓを３次元医用画像Ｖの３次元座標系の座標値で表現された変換位置Ｐｓ′に変換することができる。

３次元医用画像取得部２２は、３次元医用画像形成部５から３次元医用画像Ｖを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納するとともに、読影レポートＲｖと対応づけて画像情報データベース２４に登録する通信インターフェース機能を有する。

所見取得部２３は、読影ワークステーション９から読影レポートＲｖを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納するとともに、３次元医用画像Ｖと対応づけて画像情報データベース２４に登録する通信インターフェース機能を有する。

画像情報データベース２４は、内視鏡画像データＳ、静止内視鏡画像データＳｓ、その付帯情報および読影レポートＲｓ、並びに３次元医用画像データＶ、その付帯情報および読影レポートＲｖを対応づけて記憶することが可能となっている。付帯情報は、例えば、個々の画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報毎に割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無や、放射線量等）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。

検索部２５は、内視鏡位置取得部２１から変換位置Ｐｓ′を受け取り、変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索する。また、所見情報Ｋｖが検索された場合には、画像情報データベース２４から検索された所見情報Ｋｖをデジタルプロセッサ２に送信する通信インターフェース機能を有する。

内視鏡画像取得部２６は、内視鏡画像形成部（デジタルプロセッサ）２との通信により、内視鏡画像Ｓを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納する通信インターフェースであり、内視鏡画像取得部２６からの要求に基づいて内視鏡画像形成部２から内視鏡画像が転送される。

このように、本発明の第１の実施形態においては、３次元医用画像形成部５が、被検体の３次元医用画像Ｖを取得し、内視鏡画像形成部２が、被検体の体腔内に挿入された内視鏡により撮影した体腔内の内視鏡画像Ｓを取得し、３次元医用画像Ｖについての所見を表す所見情報Ｋｖとその所見情報Ｋｖを取得した位置を表す所見位置情報Ｐｖとを対応づけて読影レポートＲｖに記録し、この読影レポートＲｖを画像情報データベース２４に登録するようにしたものである。そして、内視鏡画像形成部２が、内視鏡画像Ｓを内視鏡画像用ディスプレイ４に表示し、内視鏡位置取得部２１が、体腔内の内視鏡のリアルタイムの位置を表す内視鏡位置情報Ｐｓを取得し、検索部２５が、内視鏡位置情報Ｐｓから得られる変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索し、検索した所見情報Ｋｖにより表される所見Ｋｖを内視鏡画像用ディスプレイ４に表示するようにしたものである。

このため、ユーザである医師は内視鏡画像Ｓの観察中に、内視鏡１が３次元医用画像Ｖ内における所見Ｋｖを取得した位置の近くに到達した際に、３次元医用画像Ｖ内において取得した所見Ｋｖを簡易かつ迅速に確認できる。とくに、所見Ｋｖは、病変がある位置、あるいは動脈等の血管がある位置等の内視鏡を用いての手術、検査等の内視鏡観察を行うに際して重要な位置において作成されるため、医師は、内視鏡観察を行っている最中に、そのような重要な位置に内視鏡が近づいたことを所見Ｋｖの通知により知ることができる。したがって、内視鏡を用いての手術、検査を安全かつ確実に行うことができる。

なお、上記第１の実施形態においては、所見Ｋｖを内視鏡画像用ディスプレイ４に表示することにより通知しているが、図７に示すように内視鏡画像形成部２（すなわちデジタルプロセッサ）にスピーカー等からなる音声出力部２Ｂを設け、音声出力部２Ｂから所見Ｋｖを音声により出力することにより通知してもよい。この際、所見Ｋｖを内視鏡画像用ディスプレイ４に併せて表示するようにしてもよい。さらに、ビープ音等により所見Ｋｖが表示されたことを通知するようにしてもよい。

また、上記第１の実施形態においては、内視鏡画像Ｓを画像情報データベース２４に登録する際に、所見情報Ｋｖに対応づけられた位置に対応する内視鏡１の位置を表す内視鏡位置情報Ｐｓおよびその位置における３次元医用画像Ｖの所見情報Ｋｖを、内視鏡画像Ｓと対応づけるようにしてもよい。これにより、後で内視鏡画像Ｓを表示した際に、表示される内視鏡画像Ｓが内視鏡位置情報Ｐｓにより表される位置に近づいた際に、３次元医用画像Ｖの所見Ｋｓを併せて表示することが可能となる。

次いで、本発明の第２の実施形態について説明する。なお、本発明の第２の実施形態による内視鏡観察支援システムのハードウェア構成は、第１の実施形態による内視鏡観察支援システムのハードウェア構成と同一であるためここでは詳細な説明は省略する。図８は本発明の第２の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。なお、図８において図２と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による内視鏡観察支援システムは、第１の実施形態による内視鏡観察支援システムの所見作成部９、所見取得部２３および検索部２５に代えて、内視鏡画像Ｓについての読影レポートＲｓを作成する所見作成部２Ｃ、読影レポートＲｓを取得する所見取得部２７、位置情報取得部２８、および表示制御部２９を備えた点が第１の実施形態と異なる。

なお、図１に示したハードウェア機器と図８に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、内視鏡画像形成部２および所見作成部２Ｃの機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現され、内視鏡位置検出部２０の機能は、内視鏡用マーカー７および位置センサ８によって実現される。また、破線枠は画像処理ワークステーション１１を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１１で所定のプログラムを実行することによって実現される。

次に、第２の実施形態において行われる処理について説明する。図９は本発明の第２の実施形態による内視鏡観察支援システムで行われる処理を示すフローチャートである。

まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の撮影により、３次元医用画像Ｖが形成される。画像処理ワークステーション１１では、３次元医用画像取得部２２が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得し（ステップＳＴ２１）、３次元医用画像Ｖを画像情報データベース２４に登録する（ステップＳＴ２２）。以上の処理は、内視鏡下手術の前に行われる。

そして、内視鏡下手術中、すなわち内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで（ステップＳＴ３２肯定）、内視鏡画像形成部２は、所定のフレームレートで体腔内に挿入された内視鏡１による内視鏡画像Ｓを繰り返し形成し、形成された内視鏡画像Ｓを内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示する（ステップＳＴ２３）。また、内視鏡位置検出部２０は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置を繰り返しリアルタイムに検出し、内視鏡画像形成部２に入力する。なお、内視鏡画像Ｓは内視鏡画像取得部２６により取得され、画像処理ワークステーション１１内の所定のメモリ領域に逐次格納される。

そして、デジタルプロセッサ２においてユーザである医師による所見入力の操作が行われると（ステップＳＴ２４肯定）、内視鏡画像形成部２が、表示中の内視鏡画像Ｓ０の静止画像を撮影、すなわちキャプチャして、静止内視鏡画像Ｓｓを内視鏡画像用ディスプレイ４に表示する（ステップＳＴ２５）。また、内視鏡画像取得部２６は、キャプチャされた静止内視鏡画像Ｓｓを取得し（ステップＳＴ２６）、画像処理ワークステーション１１内の所定のメモリ領域に格納する。さらに、所見作成部２Ｃは、医師による所見の入力を受け付け、所見情報Ｋｓおよび読影の対象とされた静止内視鏡画像Ｓｓの位置を表す内視鏡位置情報Ｐｓを記録した読影レポートＲｓを作成する（ステップＳＴ２７）。

画像処理ワークステーション１１では、所見取得部２７が所見作成部９ｃによって作成された読影レポートＲｓを取得して、位置情報取得部２８が読影レポートＲｓに記録された内視鏡位置情報Ｐｓを取得し（ステップＳＴ２８）、さらに内視鏡位置情報Ｐｓを３次元医用画像Ｖの座標系における位置に変換して得られた変換位置Ｐｓ′を取得する（ステップＳＴ２９）。

そして位置情報取得部２８が、画像情報データベース２４に登録された３次元医用画像Ｖにおいて、変換位置Ｐｓ′に対応する位置を特定し（ステップＳＴ３０）、特定した位置を表す特定位置情報Ｐｖ１と読影レポートＲｓに記録された所見情報Ｋｓとを対応づけ、さらに静止内視鏡画像Ｓｓと読影レポートＲｓとを対応づけて画像情報データベース２４に登録する（ステップＳＴ３１）。この後、内視鏡画像用ディスプレイ４への静止内視鏡画像Ｓｓの表示が解除され、内視鏡画像Ｓがリアルタイムで再度表示されることとなる。

続いて、画像処理ワークステーション１１は、観察終了を指示する操作がなされたか否かを判定し（ステップＳＴ３２）、ステップＳＴ３２が否定されるとステップＳＴ２３に戻り、ステップＳＴ２３以降の処理を繰り返す。ステップＳＴ３２が肯定されると、それまでにメモリに格納した内視鏡画像Ｓ（動画）を画像情報データベース２４に登録し（ステップＳＴ３３）、処理を終了する。

図１０は第２の実施形態における３次元医用画像の表示時の処理を示すフローチャートである。内視鏡手術後または手術中に、確認等のために３次元医用画像Ｖを医師が観察する場合、医師は画像処理ワークステーション１１の入力装置を用いて３次元医用画像Ｖの表示の操作を行う（ステップＳＴ４１肯定）。これにより、表示制御部２９が画像処理ワークステーション１１のディスプレイ１２に３次元医用画像Ｖを表示するが、表示制御部２９は、これから表示する３次元医用画像Ｖの位置（ＰｖＲとする）が特定位置情報Ｐｖ１により表される位置と一致するか否かを判定する（ステップＳＴ４２）。

この場合、位置ＰｖＲと特定位置情報Ｐｖ１により表される位置とが完全に一致したときに一致すると判定してもよいが、特定位置情報Ｐｖ１により表される位置を基準とした所定の空間的な範囲を定めるしきい値を設定し、このしきい値により定められる空間的な範囲内に位置ＰｖＲが含まれている場合には、一致すると判定するようにしてもよい。なお、しきい値はユーザが設定できるようにすればよい。

ステップＳＴ４２が否定されると、表示制御部２９はその位置の３次元医用画像Ｖを画像情報データベース２４から取得してディスプレイ１２に表示する（ステップＳＴ４３）。なお、３次元医用画像Ｖは、複数の断層位置でのスライス画像あるいはボリュームレンダリング表示等により、ディスプレイ１２に表示される。ステップＳＴ４２が肯定されると、表示制御部２９は、その位置の３次元医用画像Ｖおよび所見情報Ｋｓを取得し、所見情報Ｋｓにより表される所見Ｋｓを３次元医用画像Ｖとともにディスプレイ１２に表示する（ステップＳＴ４４）。

図１１および図１２は、ディスプレイ１２における３次元医用画像Ｖおよび所見Ｋｓの表示を説明するための図である。位置ＰｖＲが特定位置情報Ｐｖ１により表される位置と一致しないときには、図１１に示すように３次元医用画像Ｖ（ここではあるスライス面のスライス画像）のみが表示されている。一方、位置ＰｖＲが特定位置情報Ｐｖ１により表される位置と一致する場合、図１２に示すように、所見Ｋｓが３次元医用画像Ｖに重畳されて表示される。なお、図１３に示すように、所見情報Ｋｓを取得した位置における静止内視鏡画像Ｓｓを所見Ｋｓとともに表示してもよい。

そして、医師により３次元医用画像Ｖの表示位置の変更操作がなされると（ステップＳＴ４５肯定）、ステップＳＴ４２に戻り、ステップＳＴ４２以降の処理を繰り返す。ステップＳＴ４５が否定されると、観察終了を指示する操作がなされたか否かを判定し（ステップＳＴ４６）、ステップＳＴ４６が否定されるとステップＳＴ４５に戻る。ステップＳＴ４６が肯定されると処理を終了する。

次に、第２の実施形態における画像処理ワークステーション１１内の各処理部で行われる処理の詳細について説明する。

所見作成部２Ｃの機能はデジタルプロセッサにより実現され、上述したように所見情報Ｋｓおよび読影の対象とされた静止内視鏡画像Ｓｓを取得した際の内視鏡１の位置を表す内視鏡位置情報Ｐｓを記録した読影レポートＲｓを作成する。

所見取得部２７は、デジタルプロセッサ２から読影レポートＲｓを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納する通信インターフェース機能を有する。

位置情報取得部２８は、読影レポートＲｓから取得した内視鏡位置情報Ｐｓを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された変換位置Ｐｓ′に変換して画像処理ワークステーション１１の所定のメモリ領域に格納する機能を有するとともに、変換位置Ｐｓ′に対応する位置を、画像情報データベース２４に登録された３次元医用画像Ｖにおいて特定し、特定した位置を表す特定位置情報Ｐｖ１を、読影レポートＲｓに記録された所見情報Ｋｓと対応づけて画像情報データベース２４に登録する機能を有する。なお、この座標変換機能は、第１の実施形態において内視鏡位置取得部２１が行う機能と同一である。

表示制御部２９は、３次元医用画像Ｖおよび必要な場合には所見Ｋｓを１画面に並べた表示画面を生成し、ディスプレイ１２に出力する。

このように、本発明の第２の実施形態においては、所見情報作成部２Ｃが静止内視鏡画像Ｓｓについての所見を得た体腔内の内視鏡の位置を表す内視鏡位置情報Ｐｓと所見情報Ｋｓとを記録した読影レポートＲｓを作成し、位置情報取得部２８が、読影レポートＲｖに記録された内視鏡位置情報Ｐｓに対応する３次元医用画像Ｖ上の位置を特定し、特定された位置を表す特定位置情報Ｐｖ１と所見情報Ｋｓとを対応づけて画像情報データベース２４に登録するようにしたものである。

このため、ユーザである医師は、３次元医用画像Ｖを観察する際に、内視鏡１を用いての手術、検査等の内視鏡観察時に作成された所見を、その所見を作成した位置に対応する位置の３次元医用画像Ｖとともに簡易かつ迅速に確認することができる。とくに、所見は、被検体の体腔内の病変がある位置等の内視鏡を用いての手術、検査を行うに際して重要な位置において作成されるため、医師は、内視鏡観察中あるいは内視鏡観察後に、そのような重要な位置についての３次元医用画像Ｖを所見Ｋｓとともに確認することができる。したがって、内視鏡観察時に重要であるとされた位置における３次元医用画像Ｖを用いての診断を安全かつ確実に行うことができる。

なお、上記第２の実施形態においては、所見Ｋｓをディスプレイ１２に表示することにより通知しているが、第１の実施形態と同様に、画像処理ワークステーション１１にスピーカー等からなる音声出力部（不図示）を設け、音声出力部から所見Ｋｓを音声により出力することにより通知してもよい。この際、所見Ｋｓをディスプレイ１２に併せて表示するようにしてもよい。さらに、ビープ音等により所見Ｋｓが表示されたことを通知するようにしてもよい。

また、上記第２の実施形態において、特定位置情報Ｐｖ１は内視鏡位置情報Ｐｓに基づいて求められている。内視鏡１は、それが存在する位置よりも先にある部位を撮影するものであるため、３次元医用画像Ｖ内の特定位置情報Ｐｖ１により表される位置には、その位置に対応する位置の静止内視鏡画像Ｓｓに含まれる病変等が含まれない場合がある。このため、３次元医用画像Ｖの表示中において所見Ｋｓを表示した際に、所見Ｋｓが対応づけられている３次元医用画像Ｖ上の位置を編集できるようにし、３次元医用画像Ｖ上において実際に病変が視認される位置と所見Ｋｓとを正確に対応づけられるようにしてもよい。

また、上記第２の実施形態においては、静止内視鏡画像Ｓｓと読影レポートＲｓとを対応づけて画像情報データベース２４に登録する際に、３次元医用画像Ｖにおける特定位置情報Ｐｖ１を併せて登録するようにしてもよい。また、静止内視鏡画像Ｓｓの画像データの付帯情報に、３次元医用画像Ｖにおける特定位置情報Ｐｖ１を記述するようにしてもよい。これにより、複数の静止内視鏡画像Ｓｓがキャプチャされた場合において、所望とする静止内視鏡画像Ｓｓを術後または術中に表示する際に、画像情報データベース２４に登録されたあるいは付帯情報に記述された特定位置情報Ｐｖ１を参照して、その位置に対応する３次元医用画像Ｖを内視鏡画像Ｓとともに表示することが可能となる。

ところで、内視鏡１にはバルーンが取り付けられ、体腔内でバルーンを膨らませることにより、内視鏡観察を容易にしたバルーン内視鏡が知られている。このようなバルーン内視鏡を体腔内で膨らませると、その周辺の臓器が拡張するように変形するため、対応する位置の３次元医用画像Ｖに含まれる臓器の形状と、内視鏡画像Ｓに含まれる臓器の形状とが一致しなくなる。このように３次元医用画像Ｖに含まれる臓器の形状と、内視鏡画像に含まれる臓器の形状とが一致しないと、上記第１および第２の実施形態において、内視鏡画像Ｓと３次元医用画像Ｖとを同時に表示した際に、表示されている部位が一致しないように見えてしまう。

このため、バルーン内視鏡を用いての観察下においては、膨らませたバルーンの大きさの情報に基づいて、３次元医用画像Ｖにおける変換位置Ｐｓ′に対応する位置を変形させることが好ましい。なお、変形は、例えばＷＯ２００７／０１５３６５号明細書に記載されているように、３次元医用画像Ｖを四面体の集合により近似し、公知の有限要素法の手法を用いて四面体のメッシュ構造を変形する手法を用いることができる。これにより、３次元医用画像Ｖに含まれる臓器の形状を内視鏡画像Ｓに含まれる臓器の形状と一致させることができる。なお、３次元医用画像Ｖの変形は、内視鏡を用いての観察中に行うことができるが、バルーンを膨らませる位置があらかじめ分かっている場合には、観察前に３次元医用画像Ｖを変形しておくようにしてもよい。

また、内視鏡画像Ｓとその表示中の位置に対応する３次元医用画像Ｖとを併せて表示し、バルーンを膨らませることによる内視鏡画像Ｓに含まれる臓器の形状の変更を反映させるように、表示中の３次元医用画像Ｖを変形するようにしてもよい。

なお、３次元医用画像Ｖを変形させると、所見情報Ｋｖが対応づけられている位置が変更される場合がある。このような場合は、３次元医用画像Ｖの変形に伴い、画像情報データベース２４に登録されている読影レポートＲｖに記録された位置情報Ｋｖを更新することが好ましい。

なお、上記第１および第２の実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

この他、上記第１および第２の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

例えば、システム構成については、上記実施形態では、図１のハードウェア構成では、モダリティ５と読影ワークステーション９および画像処理ワークステーション１１とが直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｖを、一旦画像保管サーバのデータベースに格納されるようにし、読影ワークステーション９および画像処理ワークステーション１１からの要求に応じて、画像保管サーバから読影ワークステーション９および画像処理ワークステーション１１に３次元医用画像Ｖが転送されるようにしてもよい。

また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。

モダリティ５は、上記のＣＴ装置の他、超音波診断装置またはＭＲＩ装置等を用いてもよい。

内視鏡位置検出部２０は、磁気式のものを用いてもよいし、例えば特開２００５−２１３５３号公報に記載されているジャイロやロータリーエンコーダ等を用いてもよい。

さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。

１ 内視鏡
２ デジタルプロセッサ
３ 光源装置
４ 内視鏡画像用ディスプレイ
５ モダリティ
７ 内視鏡用マーカー
８ 位置センサ
９ 読影ワークステーション
１０ 読影ワークステーション用ディスプレイ
１１ 画像処理ワークステーション
１２ 画像処理ワークステーション用ディスプレイ
２０ 内視鏡位置検出部
２１ 内視鏡位置取得部
２２ ３次元医用画像取得部
２３ 所見取得部
２４ 画像情報データベース
２５ 検索部
２６ 内視鏡画像取得部
２７ 所見取得部
２８ 位置情報取得部
２９ 表示制御部

Claims (10)

1. 被検体の３次元医用画像を取得する第１の画像取得手段と、
   前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
   前記内視鏡画像を表示する表示手段と、
   前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶する記憶手段と、
   前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
   前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知する通知手段とを備え、
   前記表示手段は、前記所見の通知がなされると、通知する所見を取得した位置における前記３次元医用画像を表示する手段であることを特徴とする観察支援システム。
2. 前記通知手段は、前記表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段であることを特徴とする請求項１記載の観察支援システム。
3. 前記表示手段は、バルーン内視鏡を用いての観察下において、前記内視鏡画像に含まれる臓器が変形された場合、前記内視鏡位置情報に対応する位置の前記３次元医用画像を変形する手段であることを特徴とする請求項１または２記載の観察支援システム。
4. 被検体の３次元医用画像を取得する第１の画像取得手段と、
   前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
   前記内視鏡画像を表示する表示手段と、
   前記体腔内の少なくとも１つの位置についての所見を取得する所見取得手段と、
   該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
   前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶する記憶手段と、
   前記特定位置情報により表される位置における前記３次元医用画像を表示する他の表示手段と、
   前記特定位置情報により表される位置の前記３次元医用画像を前記他の表示手段に表示する際に、該位置に対応づけられた前記所見を通知する通知手段とを備え、
   前記他の表示手段は、前記所見の通知がなされると、通知する所見を取得した位置における前記内視鏡画像を表示する手段であることを特徴とする観察支援システム。
5. 前記通知手段は、前記他の表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段であることを特徴とする請求項４記載の観察支援システム。
6. 前記表示手段は、バルーン内視鏡を用いての観察下において、前記内視鏡画像に含まれる臓器が変形された場合、前記内視鏡位置情報に対応する位置の前記３次元医用画像を変形する手段であることを特徴とする請求項４または５記載の観察支援システム。
7. 第１の画像取得手段が、被検体の３次元医用画像を取得するステップと、
   第２の画像取得手段が、前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
   表示手段が、前記内視鏡画像を表示するステップと、
   記憶手段が、前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶するステップと、
   内視鏡位置取得手段が、前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得するステップと、
   通知手段が、前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知するステップと、
   前記表示手段が、前記所見の通知がなされると、通知する所見を取得した位置における前記３次元医用画像を表示するステップとを有することを特徴とする観察支援システムの作動方法。
8. 第１の画像取得手段が、被検体の３次元医用画像を取得するステップと、
   第２の画像取得手段が、前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
   表示手段が、前記内視鏡画像を表示するステップと、
   所見取得手段が、前記体腔内の少なくとも１つの位置についての所見を取得するステップと、
   内視鏡位置取得手段が、該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得するステップと、
   記憶手段が、前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶するステップと、
   他の表示手段が、前記特定位置情報により表される位置における前記３次元医用画像を表示するステップと、
   通知手段が、前記特定位置情報により表される位置の前記３次元医用画像を前記他の表示手段に表示する際に、該位置に対応づけられた前記所見を通知するステップと、
   前記他の表示手段が、前記所見の通知がなされると、通知する所見を取得した位置における前記内視鏡画像を表示するステップとを有することを特徴とする観察支援システムの作動方法。
9. コンピュータに、被検体の３次元医用画像を取得する手順と、
   前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する手順と、
   前記内視鏡画像を表示する手順と、
   前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶する手順と、
   前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得する手順と、
   前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知する手順と、
   前記所見の通知がなされると、通知する所見を取得した位置における前記３次元医用画像を表示する手順とを実行させることを特徴とする観察支援プログラム。
10. コンピュータに、被検体の３次元医用画像を取得する手順と、
    前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する手順と、
    前記内視鏡画像を表示する手順と、
    前記体腔内の少なくとも１つの位置についての所見を取得する手順と、
    該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得する手順と、
    前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶する手順と、
    前記特定位置情報により表される位置における前記３次元医用画像を表示する手順と、
    前記特定位置情報により表される位置の前記３次元医用画像を前記他の表示手段に表示する際に、該位置に対応づけられた前記所見を通知する手順と、
    前記所見の通知がなされると、通知する所見を取得した位置における前記内視鏡画像を表示する手順とを実行させることを特徴とする観察支援プログラム。