JP6335839B2 - 医療装置、医療画像生成方法及び医療画像生成プログラム - Google Patents

Description

本発明は、内視鏡観察を支援する医療装置、医療画像生成方法及び医療画像生成プログラムに関する。

近年、被検体内に挿入され、被検体内部を観察したり、処置具などを用いて処置する内視鏡を備えた医療装置としての内視鏡装置が広く普及している。内視鏡を用いて、観察（又は検査）対象の所定の管腔臓器内部を観察する場合において、画像上に観察範囲を表示する医療装置がある。

例えば、特許文献１においては、被挿入体の内部を観察する場合、観察済みの領域を、被挿入体形状情報を基にした２次元画像や３次元画像上に識別可能となるように表示する装置が開示されている。特許文献１の装置による画像上の表示を参照することで、例えば被挿入体内のいずれの位置を観察しているかをある程度把握することができ、同じ領域を重複して観察することを防止しやすいという利点がある。

特開２０１４−７９３７６号公報

しかしながら、特許文献１の装置は、視野の中心を基に被挿入体形状情報を基にした２次元画像や３次元画像上のどの辺の部位を観察しているかを示すものに過ぎず、観察範囲を正確に示すことはできないという問題があった。特に撮像素子が設けられた内視鏡先端部が臓器表面に対して垂直に配置されていない場合、つまり、撮像素子の視野方向が臓器表面の法線方向から傾斜している場合には、撮影範囲（観察範囲）は傾斜に従って変形するはずであるが、それに対応する方法については言及されていない。また、検査対象物である被検体内部（臓器表面）は、一般に平面ではなく、湾曲していたり折れ曲がっていたりする。このような凹凸に応じて、撮影範囲は複雑に変形するはずであるが、それに対応する方法についても言及されていない。このため、例えば、内視鏡の観察範囲を変更しながら病変の数を数える場合等において、発見した病変が既に観察した範囲のものであるか、そうでないかの区別がつかず、病変の数を正確に把握することができないことがあった。

本発明は、内視鏡等の観察装置の観察範囲を正確に示すことができる医療装置、医療画像生成方法及び医療画像生成プログラムを提供することを目的とする。

本発明に係る医療装置は、被検体内部の形状を表す情報を記録する記憶部と、前記被検体内部に挿入される挿入部と、前記挿入部に設けられ前記被検体内部の表面を撮像して撮像画像を出力する撮像部と、前記撮像画像上において３点以上の複数の画像上対象点を設定する対象点設定部と、前記撮像部によって規定される前記撮像画像の視点と前記複数の画像上対象点にそれぞれ対応する前記被検体内部の表面上の複数の実対象点との間の距離を前記実対象点毎に求める距離算出部と、前記距離算出部の算出結果に基づいて前記視点を基準とした前記実対象点の座標を求めると共に、３点以上の前記実対象点が属する平面に基づいて前記被検体内部の表面上における撮影範囲の座標を求める視野範囲算出部と、前記視野範囲算出部が求めた撮影範囲の座標を前記記憶部に記録された前記被検体内部の形状情報から抽出されたモデル画像の座標系に変換する座標系変換部と、前記モデル画像上に前記撮影範囲を示す指標を表示するための画像を生成する画像生成部と、を具備する。

また、本発明に係る医療画像生成方法は、被検体内部に挿入される挿入部に設けられた撮像部が、前記被検体内部の表面を撮像して撮像画像を出力し、対象点設定部が、前記撮像画像上において３点以上の複数の画像上対象点を設定し、距離算出部が、前記撮像部によって規定される前記撮像画像の視点と前記複数の画像上対象点にそれぞれ対応する前記被検体内部の表面上の複数の実対象点との間の距離を前記実対象点毎に求め、視野範囲算出部が、前記複数の画像上対象点の前記撮像画像上の位置及び前記距離算出部の算出結果に基づいて前記視点を基準とした前記実対象点の座標を求めると共に、３点以上の前記実対象点が属する平面と前記撮像部の視野角とに基づいて前記被検体内部の表面上における撮影範囲の座標を求め、座標系変換部が、前記視野範囲算出部が求めた撮影範囲の座標を前記被検体内部のモデル画像の座標系に変換し、画像生成部が、前記モデル画像上に前記撮影範囲を示す指標を表示するための画像を生成する。

また、本発明に係る医療画像生成プログラムは、コンピュータに、被検体内部に挿入される挿入部に設けられた撮像部が前記被検体内部の表面を撮像して得た撮像画像上において３点以上の複数の画像上対象点を設定し、前記撮像部によって規定される前記撮像画像の視点と前記複数の画像上対象点にそれぞれ対応する前記被検体内部の表面上の複数の実対象点との間の距離を前記実対象点毎に求め、前記複数の画像上対象点の前記撮像画像上の位置及び前記距離の算出結果に基づいて前記視点を基準とした前記実対象点の座標を求めると共に、３点以上の前記実対象点が属する平面と前記撮像部の視野角とに基づいて前記被検体内部の表面上における撮影範囲の座標を求め、前記撮影範囲の座標を前記被検体内部のモデル画像の座標系に変換し、前記モデル画像上に前記撮影範囲を示す指標を表示するための画像を生成する手順を実行させる。

本発明によれば、内視鏡等の観察装置の観察範囲を正確に示すことができるという効果を有する。

本発明の一実施の形態に係る医療装置を示すブロック図。 図１の医療装置の外観を示す説明図。 画像処理装置５によって表示される画像を説明するための説明図。 撮影範囲の求め方の原理を説明するための説明図。 撮影範囲の求め方の原理を説明するための説明図。 撮影範囲の求め方の原理を説明するための説明図。 撮影範囲の求め方の原理を説明するための説明図。 観察対象を複数の領域（対象面）に分割して撮影範囲を求める場合の一例を示す説明図。 観察対象を複数の領域（対象面）に分割して撮影範囲を求める場合の一例を示す説明図。 観察対象を複数の領域（対象面）に分割して撮影範囲を求める場合の一例を示す説明図。 観察対象を複数の領域（対象面）に分割して撮影範囲を求める場合の一例を示す説明図。 本実施の形態における動作フローを示すフローチャート。 モデル画像上の指標を説明するための説明図。 モデル画像上の指標を説明するための説明図。 輝度勾配が比較的大きく変化する部分を示す説明図。 画像上対象点を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る医療装置を示すブロック図である。また、図２は図１の医療装置の外観を示す説明図である。

観察装置である内視鏡の視野角は、内視鏡の例えば先端部に設けた撮像素子及び撮像素子に被検体光学像を導く光学系の特性によって決定される。しかし、例えば、撮像素子が設けられた内視鏡先端部が臓器表面に対して垂直に配置されていない場合、つまり、撮像素子の視野方向が臓器表面の法線方向から傾斜している場合には、撮影範囲（観察範囲）は傾斜に従って変形する。また、検査対象物である被検体内部（臓器表面）は、一般に平面ではなく、湾曲していたり折れ曲がっていたりする。この場合、このような凹凸に応じて、撮影範囲は更に変形することが考えられる。

そこで、正確な撮影範囲をモデル画像上に表示するためには、観察対象である被検体内部の形状、撮像素子の観察対象に対する向き及び位置関係を考慮する必要がある。本実施の形態は、内視鏡先端部（撮像素子）に対する位置、向き、形状が未知の観察対象を観察する場合でも、正確な撮影範囲を求めて提示するものである。

図２において医療装置１は、被検体内部の観察を行うものである。本実施の形態では、被検体内部として患者Ｐａ内部の所定の管腔臓器（具体例では膀胱Ｂ）内部を観察（又は検査）する例について説明する。医療装置１は、観察装置である内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、磁場発生装置７とを備えて構成される。医療装置１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有していてもよい。医療装置１のユーザとしての術者は、ベッド８上に仰向け等で載置されている患者Ｐａにおける所定の管腔臓器（単に管腔臓器、又は臓器とも言う）としての膀胱Ｂ内部の内視鏡検査を行う。
内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡である。ユニバーサルケーブル２ｃ内には、図１に示すライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射する。この照明光によって、挿入部２ｂの先端部２ｄが挿入された被検体内部である所定の管腔臓器（としての膀胱Ｂ）内部が照明されるようになっている。

図１に示すように、挿入部２ｂの先端部２ｄには、対物光学系１０と撮像素子１１とが設けられている。撮像素子１１は、対物光学系１０の結像位置に撮像面が配置され、撮像面に結像された被検体光学像を光電変換して撮像信号として出力するようになっている。こうして、撮像素子１１は、光源装置３の照明光により照明された膀胱Ｂの内壁を撮像する。対物光学系１０及び撮像素子１１によって、管腔臓器内部を撮像して撮像画像を出力する撮像部（又は撮像装置）１２が構成される。

撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介してプロセッサ４に入力される。プロセッサ４には画像生成回路４ａが設けられており、画像生成回路４ａは、入力された撮像信号を用いた画像生成処理を行い、管腔臓器としての膀胱Ｂ内部の内視鏡画像（撮像画像）を生成するようになっている。

画像生成回路４ａは、生成した撮像画像を画像処理装置５に出力する。画像処理装置５の画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む処理を行う画像取込部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。画像取込回路２４は、画像生成回路４ａからの撮像画像を取り込んで、表示Ｉ／Ｆ２３を介してモニタ６に与える。これにより、内視鏡２によって取得された内視鏡画像は、モニタ６における内視鏡画像表示エリアに表示されるようになっている。

プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有している。画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モード信号が入力され、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、画像生成回路４ａは、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。
また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａにも入力される。ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するようにＬＥＤ３ｂ，３ｃを制御する。即ち、ＬＥＤ制御回路３ａは、切換スイッチ４ｂにより通常光観察モードが指定された場合には、通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。
狭帯域の青色ＬＥＤ３ｃが発光した場合には、狭帯域の青色の光は、この青色光の光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射される。こうして、この場合には、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）が行われる。

また、白色ＬＥＤ３ｂが発光した場合には、白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過され、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端に取り付けられた照明窓から出射される。こうして、この場合には、通常光観察モード用の照明が行われる。

内視鏡２の操作部２ａには、レリーズボタン（又はレリーズスイッチ）１４が設けられている。レリーズボタン１４は、術者等のユーザが内視鏡画像を記録（又は記憶）するときに、押すためのボタンである。レリーズボタン１４が押されると、レリーズボタン操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。レリーズボタン１４が押されたときの内視鏡画像は、画像処理装置５の後述するメモリ２２に記録（又は記憶）される。また、医療装置１は、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０を有する。
画像処理装置５は、内視鏡画像をモニタ６に表示させると共に、観察対象に対応するモデル画像を表示し、内視鏡画像の撮影範囲をモデル画像上に表示する機能を有する。図３は画像処理装置５によって表示される画像を説明するための説明図である。図３において、モニタ６の表示画面６ａ上には、内視鏡画像Ｉｅｎの表示領域Ａ１、２次元モデル画像Ｍ２を表示する表示領域Ａ２及び３次元モデル画像Ｍ１を表示する表示領域Ａ３が設けられる。なお、２次元モデル画像Ｍ２は、３次元モデル画像Ｍ１で近似される膀胱Ｂの内壁面を所定の平面に沿って展開、又は投影したものである。図３中のモデル画像Ｍ２においては、代表的な領域である頸部ＰＲ、頸部ＰＲに対応する頂部（Top）、左壁（Left）、右壁（Right）、前壁（Front）、後壁（Back）を示している。
画像処理装置５は、表示領域Ａ１にプロセッサ４によって生成された内視鏡画像を表示し、表示領域Ａ２，Ａ３にはそれぞれ２次元モデル画像、３次元モデル画像を表示する。そして、画像処理装置５は、表示領域Ａ２，Ａ３の２次元モデル画像上に、表示領域Ａ１に表示した内視鏡画像の画像の範囲（撮影範囲）を示す指標を表示するようになっている。

画像処理装置５は、制御部２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、駆動回路２７とを備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５とは、バス２８を介して互いに接続されている。内視鏡画像は、画像取込回路２４からバス２８を介して制御部２１に供給される。

記憶部としてのメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ等によって構成されている。メモリ２２は、制御部２１により実行される各種処理プログラム及び各種データを記憶する。また、メモリ２２は、画像生成回路４ａにより生成された内視鏡画像の情報を記憶する内視鏡画像記憶部２２ａ及び位置方向取得回路２５により取得された位置情報及び視線方向情報を記憶する位置方向情報記憶部２２ｂを有している。また、メモリ２２は、２次元（２Ｄ）及び３次元（３Ｄ）のモデル画像の画像データを記憶する２Ｄ／３Ｄモデル画像記憶部２２ｃを有している。

制御部２１は、図示しないＣＰＵ等のプロセッサによって構成することができ、メモリに記憶されたプログラムに従って動作して各部を制御するものであってもよい。制御部２１によって、内視鏡画像の撮影範囲が求められると共に、モデル画像の表示及びモデル画像上の撮影範囲の表示が制御される。

本実施の形態において、観察装置である内視鏡２の撮影範囲、即ち、モニタ６の内視鏡画像の表示領域Ａ１に表示される画像の範囲を正確に求めるために、撮像部１２の位置及び撮影方向をそれぞれ撮像画像の視点及び視線方向として定義する。図１では、先端部２ｄに配置された対物光学系１０により、先端部２ｄに配置された撮像素子１１の撮像面に被検体の光学像を結像する内視鏡２の例を示したが、先端部２ｄに配置された対物光学系１０により結像した光学像を挿入部２ｂの後方（基端）側に伝送し、挿入部２ｂの基端側に配置された撮像素子で撮像する内視鏡にも本実施の形態を適用することができる。

そこで、撮像画像の視点及び視線方向は、撮像素子１１の撮像面に光学像を結像する対物光学系１０の光軸の起点によって定義してもよい。なお、近似的には、視点として、対物光学系１０の先端中心位置、撮像素子１１の撮像面の例えば中心位置、挿入部先端部の先端位置等を採用してもよい。

（撮影範囲の求め方）
図４Ａ〜図４Ｄは本実施の形態における撮影範囲の求め方の原理を説明するための説明図である。図４Ａは内視鏡２によって観察対象である膀胱の壁面を撮影している様子を示す説明図であり、図４Ｂは図４Ａの状態において得られる内視鏡画像（撮像画像）４３を示している。

図４Ａの例は観察対象ＰＰが平面であるものと仮定し、撮像部１２の光軸（視線方向）が観察対象の表面（対象面）に対して直交しておらず傾斜している例を示している。内視鏡２の撮像部１２は視野角ＡＩに設定されており、視野角ＡＩに対応した結像光束４１が受光面に結像する。こうして、内視鏡２によって、図４Ａの結像光束４１に対応した撮影範囲４２の内視鏡画像である撮像画像４３（図４Ｂ）が得られる。なお、観察対象に対する撮像部１２の位置（視点）及び視線方向は、固定されておらず観察途中で変化する、即ち未知であるものとする。

制御部２１には対象点設定部２１ａが設けられている。対象点設定部２１ａは、撮像画像４３内に任意の３つの点（以下、画像上対象点という）４４Ａ，４４Ｂ，４４Ｃ（以下、これらの各点を区別する必要がない場合には、画像上対象点４４という）を設定する。

距離算出部２１ｂは、各画像上対象点４４Ａ〜４４Ｃにそれぞれ対応する観察対象の対象面上の点（以下、実対象点という）４５Ａ〜４５Ｃ（（以下、これらの各点を区別する必要がない場合には、実対象点４５という））と視点との間の距離を求める。図４Ｃでは線分４６の長さが距離に相当する。

仮に、撮像部１２として、２眼カメラを採用してステレオ画像が得られる場合には、距離算出部２１ｂは、左右画像の対応する画像部分の視差によって、視点と実対象点４５までの距離を算出することができる。また、図１の例のように、撮像部１２が１つの撮像素子１１しか有していない場合には、撮像部１２を移動させながら撮像画像を取得し、撮像部１２の位置情報をメモリ２２の位置方向情報記憶部２２ｂに記憶させ、各位置における撮像画像を内視鏡画像記憶部２２ａに記憶させることで、２眼カメラを用いた場合と同様の手法によって距離算出が可能である。なお、距離算出部２１ｂは、公知の種々の距離計測法を採用して、各実対象点と視点との間の距離を求めてもよい。例えば、図示しない測距センサや赤外線カメラ等を用いてもよい。なお、距離算出部２１ｂにおいて距離の算出を容易にするために、対象点設定部２１ａは、画像中の特徴点を画像上対象点としてもよい。

視野範囲算出部２１ｄ中の座標演算部２１ｃは、視点を基準として各実対象点４５の座標を算出する。例えば、座標演算部２１ｃは、各画像上対象点４４の画像４３上の位置と視野角ＡＩとの関係に基づいて、視点と各実対象点４５とを結ぶ線分４６の視線方向に対する角度を求め、求めた角度と距離算出部２１ｂが求めた距離とに基づいて、各実対象点４５の座標を求めてもよい。

視野範囲算出部２１ｄは、座標演算部２１ｃが求めた３つの実対象点４５の座標から、観察対象である平面（以下、対象面ともいう）を求め、視野方向（一点鎖線矢印）に対する観察対象の対象面との角度θｐを求める（図４Ｄ）。視野範囲算出部２１ｄは、求めた角度と視野角ＡＩとに基づいて、視野範囲の端部の座標４７を求める。なお、視野範囲算出部２１ｄは、撮像画像４３の各頂点に対応する座標４７のみを求めればよい。なお、視野範囲算出部２１ｄは、視野範囲の座標４７の算出時に、対物光学系１０の歪を考慮してもよい。

こうして、観察対象と撮像部１２との位置関係が未知の場合、即ち、観察対象に対して視点及び視線方向がどのような関係にある場合であっても、観察対象の撮影範囲を求めることが可能である。

以上の説明は、観察対象が平面であるものと仮定したものである。実際には、観察対象は平面であるとは限らない。しかし、ある範囲では観察対象は略平面であると仮定しても問題はない。そこで、本実施の形態においては、観察対象の表面は複数の平面（対象面）によって構成されているものと仮定し、各対象面毎に３つの画像上対象点（実対象点）を設定して撮影範囲を求めることで、観察対象の全体の撮影範囲を求めるようになっている。これにより、本実施の形態においては、観察対象の形状及び観察対象と撮像部１２との位置関係が未知の場合であっても、正確に撮影範囲を求めることができる。

図５Ａ〜図５Ｄは観察対象を複数の領域（対象面）に分割して撮影範囲を求める場合の一例を示す説明図である。例えば、対象点設定部２１ａは、図５Ａに示すように、内視鏡２が観察対象を撮像して得た内視鏡画像（撮像画像）５１上に複数の画像上対象点５２を設定する。距離算出部２１ｂは、各画像上対象点５２に対応する各実対象点と視点との間の距離を求める。座標演算部２１ｃは、各実対象点４５の座標を求める。

視野範囲算出部２１ｄは、内視鏡画像５１を、少なくとも３点の画像上対象点５２が含まれるように分割する。図５Ｂの破線は、分割位置を示しており、図５Ｂの例では、内視鏡画像５１を４つの領域に分割したことを示している。視野範囲算出部２１ｄは、分割した４つの領域に対応する観察対象の各表面は平面（対象面）であると仮定し、図５Ｃに示すように、各領域に対応する対象面ｐ１〜ｐ４（以下、これらの対象面を区別する必要がない場合には、対象面ｐという）毎に、視野方向に対する角度を推定する。

視野範囲算出部２１ｄは、求めた角度と視野角とに基づいて、対象面ｐ毎に視野範囲の座標を求める。図５Ｄでは、視野範囲算出部２１ｄは、対象面ｐ１について、視野範囲の境界を規定する頂点Ｐ１ａ〜Ｐ１ｄの座標を求めることを示している。

なお、内視鏡画像５１に対応する視野範囲は、各対象面ｐの縁辺のうち、各対象面ｐ同士が接しない縁辺によって得られるので、この縁辺近傍、即ち、内視鏡画像５１の縁辺近傍に画像上対象点５２を設定することで、視野範囲を規定する座標を高精度に取得することが可能である。

なお、撮像部１２の視野角の情報は、内視鏡２から取得してもよく、また、入力装置３０によって入力するようにしてもよい。内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５が設けられている。このＩＤ発生部１５は、画像処理装置５内の位置方向取得回路２５にＩＤを出力するようになっている。なお、ＩＤ発生部１５は、ＩＤをプロセッサ４を介して画像処理装置５に送信するようになっていてもよい。

位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ、視野角等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部２５ｂの機能を備える。位置方向取得回路２５は取得した撮像情報を制御部２１に出力することができ、制御部２１は視野範囲の算出に位置方向取得回路２５からの撮像情報を用いることができるようになっている。

（座標変換）
上述した説明において視野範囲算出部２１ｄが求めた視野範囲の座標は、視点を基準とした座標である。例えば、視野範囲算出部２１ｄは、視点位置を直交座標系の原点に設定して、視野範囲の形状を規定する例えば各頂点の３次元座標（ｘ，ｙ，ｚ）座標を求める。

本実施の形態においては、視野範囲をモデル画像上に表示するようになっており、視点を基準とした視野範囲の座標をモデル画像上の座標系に変換する必要がある。座標演算部２１ｃはこの座標変換を行う座標系変換部としても機能するようになっている。視点を基準とした視野範囲が実際の臓器のいずれの範囲に対応するかについては、視点が実際の臓器内のいずれの位置に存在するかを検出することで求めることができる。即ち、視点を基準とした座標を、患者Ｐａが存在する実際の空間を基準とした座標（以下、実空間座標という）に変換することで、実際の臓器表面の視野範囲の座標を得ることができる。

この変換のために、実空間座標の基準となる磁場発生装置７と、実空間における視点位置を検出するための磁気センサ１３とが設けられている。挿入部２ｂの先端部２ｄには、位置センサとしての磁気センサ１３が配置されている。例えば、磁気センサ１３は、図１に示すように先端部２ｄの撮像部１２を構成する対物光学系１０と撮像素子１１の近傍に設けてもよい。この磁気センサ１３は、先端部２ｄにおける撮像部１２の位置、即ち、視点の３次元位置と、その位置での視線方向の検出に利用される。
位置方向取得回路２５は、磁場発生装置７を駆動する駆動回路２７を制御して、磁場発生装置７に所定の磁場を発生させることができるようになっている。図２の拡大図に示すように、磁気センサ１３は、例えば２つのコイルを有する。これらのコイルは磁場発生装置７が発生した磁界を検出して検出結果を位置方向取得回路２５に出力する。これにより、磁気センサ１３は、先端部２ｄの位置及び方向をリアルタイムで検出するセンサとなる。

なお、図１に示す内視鏡２は、先端部２ｄに搭載された撮像部１２を構成する対物光学系１０の光軸方向が、先端部２ｄの軸方向と平行であるので、撮像部１２の位置及び視線方向は、先端部２ｄの位置及びその軸方向と近似してもよい。

磁場発生装置７は既知となる所定の位置において磁場を発生する。位置方向取得回路２５の情報取得部２５ａは、磁気センサ１３から、磁場発生装置７が発生した磁場の検出信号が与えられ、入力された検出信号の振幅と位相とから先端部２ｄに配置された対物光学系１０の位置（視点位置）及び視線方向を求める。情報取得部２５ａは、磁場発生装置７の位置を基準として取得した視点位置及び視線方向の情報を制御部２１に与える。

座標演算部２１ｃは、情報取得部２５ａからの情報に基づいて、視点を基準とした撮影範囲の座標を、磁場発生装置７の位置を基準とした実空間座標に変換する。更に、観察対象の臓器の位置とモデル画像上の位置との対応をとるために、磁場発生装置７の位置に対する観察対象である臓器の位置を求めておく。即ち、座標演算部２１ｃは、実空間座標として、臓器の所定位置を基準とした座標を用いる。例えば、挿入部２ｂの先端部２ｄが観察対象の臓器の入口に到達した時点において磁気センサ１３による位置検出を行い、この位置を基準とすることで、撮影範囲の座標として、臓器の入口を基準とした実空間座標を得ることができる。

モデル画像としては、２次元（２Ｄ）画像及び３次元（３Ｄ）画像を採用することができる。これらのモデル画像は、観察対象の臓器をモデル化したものであり、実際の臓器とは形状が異なる。従って、モデル画像上で正確な撮影範囲を表示するためには、実空間座標をモデル画像の形状に応じた座標系（以下、モデル画像座標系という）に変換する必要がある。実空間とモデル画像座標系との対応は既知であり、座標演算部２１ｃは、この対応関係に基づいて、撮影範囲の実空間座標をモデル画像座標に変換する。

指標生成部２１ｅは、撮影範囲のモデル画像座標が与えられて、モデル画像上に撮影範囲を示す指標を表示するための表示用のデータ（以下、指標データという）を生成する。指標生成部２１ｅは指標データを画像生成部２１ｆに出力する。画像生成部２１ｆは、メモリ２２から内視鏡画像及びモデル画像を読み出し、内視鏡画像及びモデル画像を表示すると共に、モデル画像上に撮影範囲を示す指標を表示するための表示データを生成して、表示Ｉ／Ｆ２３を介してモニタ６に出力することができるようになっている。

なお、指標生成部２１ｅは、指標データをメモリ２２に記憶させてもよい。この場合には、画像生成部２１ｆは、現在観察中の領域（撮影範囲）を示す指標だけでなく、撮影範囲の移動に応じて過去に順次撮影された範囲についても指標として表示することが可能である。

次にこのように構成された実施の形態の動作について図６乃至図８を参照して説明する。 図６は本実施の形態における動作フローを示すフローチャートである。また、図７及び図８はモデル画像上の指標を説明するための説明図である。

医療装置１が動作状態になると、最初のステップＳ１において、術者は、内視鏡２を患者Ｐａの尿道内に挿入する。ここで、例えば膀胱Ｂの入口に内視鏡先端の磁気センサ１３が到達した時点で図示しないスイッチを押下することで、既知の位置を基準とした膀胱Ｂの入口の位置と方向とを算出する。次のステップＳ２において制御部２１は、ステップ１で検出した既知の位置を基準とした実空間座標上の膀胱Ｂの入り口の位置と方向と、モデル画像上の膀胱Ｂの入り口の位置と方向とから、実空間座標とモデル画像座標との対応関係を求める。なお、この対応関係は、予めメモリ２２に記憶させておいてもよい。なお、術者は、入力装置３０から、膀胱Ｂ内を観察する場合において、現在観察中の領域（撮影範囲）又は観察済みの領域であることを示す指標を表示するか否かの条件（具体例としては視点から膀胱Ｂの内壁までの距離の閾値ＴＬ）を設定してもよい。閾値ＴＬが設定されると、この閾値ＴＬ以内の距離範囲において、指標が生成される。術者は、術者の判断においてこの閾値ＴＬを設定できるが、予め用意された設定値（例えば後述する３０ｍｍ）を用いるようにしても良い。

実空間座標とモデル画像座標の対応関係が求まると、内視鏡画像（撮像画像）が、画像取込回路２４を介して制御部２１に供給される（ステップＳ３）。対象点設定部２１ａは、ステップＳ４において、撮像画像中に複数の画像上対象点を設定する。距離算出部２１ｂは、ステップＳ５において、画像上対象点に対応する臓器表面の位置（実対象点）と視点との間の距離を実対象点毎に求める。次のステップＳ６において、座標演算部２１ｃは、視点を基準として実対象点の座標を求める。

視野範囲算出部２１ｄは、ステップＳ７において、内視鏡画像を複数の領域に分割し、各領域にそれぞれ対応する対象面毎に視線方向との角度を求める（ステップＳ８）。視野範囲算出部２１ｄは、ステップＳ９において、各対象面の縁辺のうち他の対象面に接しない縁辺の座標を求め、全対象面の縁辺の座標から撮影範囲の座標を求める（ステップＳ１０）。

ステップＳ１０において求めた撮影範囲の座標は、視点を基準とするものである。座標演算部２１ｃは、ステップＳ１１において、視点基準の撮影範囲の座標を既知の位置を基準とする実空間座標に変換し、更に、ステップＳ１２において、撮影範囲の実空間座標をモデル画像座標に変換する。

指標生成部２１ｅは、撮影範囲のモデル画像座標が与えられて、モデル画像上に撮影範囲を示す指標を表示するための指標データを生成する。なお、指標生成部２１ｅは、指標として撮影範囲を示す枠表示を表示するものであってもよい。画像生成部２１ｆは、メモリ２２からモデル画像を読み出し、指標データを元に、指標を含むモデル画像を生成する。画像生成部２１ｆは、内視鏡画像と指標を含むモデル画像を表示Ｉ／Ｆ２３を介してモニタ６に出力する。こうして、撮影範囲を示す指標を含むモデル画像が表示される。

制御部２１は、観察対象における実際の撮影範囲の３次元座標を求めており、観察対象の表面形状が未知である場合や視点の位置及び視線方向と観察対象の対象面との関係が未知である場合でも、正確な撮影範囲の指標をモデル画像上に表示することができる。

図７及び図８はモデル画像上の表示の一例を示している。図７及び図８は挿入部２ｂの先端部２ｄの位置及び向きによって、視線方向が観察対象の表面の法線方向に一致しない例を示している。図７の表示範囲６０ａには、３次元モデル画像Ｍ１が表示され、図８の表示範囲６０ｂには、２次元モデル画像Ｍ２が表示される。３次元モデル画像Ｍ１上には、内視鏡２の挿入状態を示してあり、内視鏡２は結像光束４１に対応した撮影範囲で撮像を行う。３次元モデル画像Ｍ１上には、撮影範囲を示す指標６１ａが表示され、図８の２次元モデル画像Ｍ２上には、撮影範囲を示す指標６１ｂが表示されている。

図７及び図８に示すように、観察対象の表面に対して視線方向が直交せず傾斜している場合でも、正確な撮影範囲を表示することが可能である。術者は、モニタ６に表示されるモデル画像上の指標６１ａ，６１ｂによって、現在の正確な撮影範囲を把握することができる。

また、制御部２１は、撮影範囲の算出をリアルタイムで実施することができ、時々刻々変化する内視鏡挿入部２ｂ位置及び向き（視点及び視線方向）に応じた撮影範囲を順次表示することができる。なお、制御部２１は、現在の撮影範囲と過去の撮影範囲とを併せて表示されるように制御することもできる。

（対象面の設定方法）
上記説明では、観察対象の撮像画像の縁辺部に複数の画像上対象点を設定し、３つの画像上対象点が含まれるように撮像画像を複数の領域に分割することで、撮像画像の範囲を求めた例を示した。観察対象の表面形状が平面上ではなく複雑な凹凸を含む形状であることを考慮すると、撮影範囲を高精度に求めるためには、多くの画像上対象点（実対象点）を設定して、撮像画像を多くの領域に分割して演算を行った方がよい。しかしながら、各対象点の数を増加させると演算量が増大し、場合によっては表示が遅延してしまうことも考えられる。

そこで、対象点の設定数を比較的少なくしながら、高精度に撮影範囲を求めるために、対象点設定部２１ａ及び視野範囲算出部２１ｄは相互に協働して動作し、観察対象の表面の凹凸形状が変化するラインを対象面の境界に設定することができるように画像上対象点（実対象点）を設定する。

例えば、対象点設定部２１ａ及び視野範囲算出部２１ｄは、撮像画像の輝度解析を行い、解析結果に従って、対象面同士の境界を設定すると共に、各対象面内に設定する画像上対象点を設定する。例えば、対象点設定部２１ａ及び視野範囲算出部２１ｄは、輝度の変化又は輝度勾配の変化が、所定の閾値よりも大きい場合に、当該変化部分を対象面同士の境界に設定する。

図９は輝度勾配が比較的大きく変化する部分を示す説明図である。図９は内視鏡２によって得られた内視鏡画像６５を示しており、内視鏡画像６５に対する輝度解析によって、図９の破線６６の部分において、輝度勾配が所定の閾値よりも大きく変化したことを示している。

図１０はこの場合において設定される画像上対象点を示す説明図である。図１０の例では、破線６６の部分に対応する表面を対象面同士の境界に設定し、この境界によって区画される各対象面に対応する画像上の各３箇所に画像上対象点６７，６８を設定したことを示している。

なお、上記説明においては、撮影範囲の全域を１つ以上の対象面に分割する例を示したが、撮影範囲を求めるために必要な座標は、撮影範囲の縁辺部の座標であり、撮影範囲の全ての縁辺部近傍の領域のみに画像上対象点が設定するようにしてもよい。

また、病変部やハレーションが生じている部分は、同一対象面内であっても局所的に凹凸が大きいことが考えられる。そこで、対象点設定部２１ａは、病変部やハレーションが生じている部分を輝度分布によって判定して、当該部分に画像上対象点を設定しないようにする。例えば、対象点設定部２１ａは、同一対象面内の他の部分の輝度よりも所定の閾値以上高い輝度部分は、病変部やハレーションが生じている部分と判定して、画像上対象点の設定を行わないようにしてもよい。即ち、対象点設定部２１ａは、同一対象面内では、他の部分との輝度差（同一対象面内の平均輝度との輝度差）が所定の閾値よりも小さい部分であって、撮影範囲の縁辺部近傍に画像上対象点を設定すればよい。

このように本実施の形態においては、撮像画像中に対象点を設定し、この対象点を用いて実際の観察対象の表面上の撮影範囲の座標を求めており、観察対象の形状、撮像部の位置や視線方向に拘わらず、撮影範囲を正確に求めることが可能であり、モデル画像上に正確な撮影範囲を示す指標を表示することができる。これにより、例えば、内視鏡の撮影範囲を変更しながら病変の数を数える場合等において、撮影範囲を正確に把握することができるので、病変の数の正確な計測が可能である。

なお、上記実施の形態においては、モデル画像上に撮影範囲を示す指標を表示する例を説明したが、モデル画像上の撮影範囲を示す表示位置に、実際の撮像画像を撮影範囲の形状に併せて変形させた撮像画像を表示させるようにしてもよい。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の医療装置を実現することができる。

１…医療装置、２…内視鏡、３…光源装置、４…プロセッサ、５…画像処理装置、６…モニタ、７…磁場発生装置、１０…対物光学系、１１…撮像素子、１２…撮像部、１３…磁気センサ、２１…制御部、２１ａ…対象点設定部、２１ｂ…距離算出部、２１ｃ…座標演算部、２１ｄ…視野範囲算出部、２１ｅ…指標生成部、２１ｆ…画像生成部、２２…メモリ、２４…画像取込回路、２５…位置方向取得回路。

Claims (11)

1. 被検体内部の形状を表す情報を記録する記憶部と、
   前記被検体内部に挿入される挿入部と、
   前記挿入部に設けられ前記被検体内部の表面を撮像して撮像画像を出力する撮像部と、
   前記撮像画像上において３点以上の複数の画像上対象点を設定する対象点設定部と、
   前記撮像部によって規定される前記撮像画像の視点と前記複数の画像上対象点にそれぞれ対応する前記被検体内部の表面上の複数の実対象点との間の距離を前記実対象点毎に求める距離算出部と、
   前記距離算出部の算出結果に基づいて前記視点を基準とした前記実対象点の座標を求めると共に、３点以上の前記実対象点が属する平面に基づいて前記被検体内部の表面上における撮影範囲の座標を求める視野範囲算出部と、
   前記視野範囲算出部が求めた撮影範囲の座標を前記記憶部に記録された前記被検体内部の形状情報から抽出されたモデル画像の座標系に変換する座標系変換部と、
   前記モデル画像上に前記撮影範囲を示す指標を表示するための画像を生成する画像生成部と、
   を具備したことを特徴とする医療装置。
2. 前記視野範囲算出部は、３点以上の前記実対象点が属する平面と前記撮像部の視野角とに基づいて前記被検体内部の表面上における撮影範囲の座標を求める
   ことを特徴とする請求項１に記載の医療装置。
3. 前記視野範囲算出部は、前記撮像画像を複数の領域に分割し、各領域に対応する前記被検体内部の表面上の複数の対象面毎に各対象面に対応する撮影範囲の座標を求めて、前記撮像部が撮像した被検体内部の表面上における撮影範囲の座標を求める
   ことを特徴とする請求項１又は２に記載の医療装置。
4. 前記対象点設定部は、前記撮像画像の輝度分布に基づいて前記複数の画像上対象点を設定する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の医療装置。
5. 前記対象点設定部は、前記撮像画像の分割された各領域内において、領域内の平均輝度との差が所定の閾値内の部分において前記画像上対象点を設定する
   ことを特徴とする請求項４に記載の医療装置。
6. 前記対象点設定部は、前記撮像画像の縁辺部近傍に前記画像上対象点を設定する
   ことを特徴とする請求項１乃至５のいずれか１つに記載の医療装置。
7. 前記座標系変換部は、前記視野範囲算出部が求めた撮影範囲の座標を、前記被検体内部の実空間に対応する実空間座標系に変換する第１の座標変換処理と、前記実空間座標系を前記モデル画像の座標系に変換する第２の座標変換処理を行う
   ことを特徴とする請求項１乃至６のいずれか１つに記載の医療装置。
8. 前記座標系変換部は、前記第２の座標変換処理において、前記被検体内部の所定位置と前記所定位置に対応する前記モデル画像の位置とに基づいて座標変換を行う
   ことを特徴とする請求項７に記載の医療装置。
9. 前記画像生成部は、前記指標として前記撮影範囲を示す枠表示を有する画像を生成する
   ことを特徴とする請求項１乃至８のいずれか１つに記載の医療装置。
10. 被検体内部に挿入される挿入部に設けられた撮像部が、前記被検体内部の表面を撮像して撮像画像を出力し、
    対象点設定部が、前記撮像画像上において３点以上の複数の画像上対象点を設定し、
    距離算出部が、前記撮像部によって規定される前記撮像画像の視点と前記複数の画像上対象点にそれぞれ対応する前記被検体内部の表面上の複数の実対象点との間の距離を前記実対象点毎に求め、
    視野範囲算出部が、前記複数の画像上対象点の前記撮像画像上の位置及び前記距離算出部の算出結果に基づいて前記視点を基準とした前記実対象点の座標を求めると共に、３点以上の前記実対象点が属する平面と前記撮像部の視野角とに基づいて前記被検体内部の表面上における撮影範囲の座標を求め、
    座標系変換部が、前記視野範囲算出部が求めた撮影範囲の座標を前記被検体内部のモデル画像の座標系に変換し、
    画像生成部が、前記モデル画像上に前記撮影範囲を示す指標を表示するための画像を生成する
    ことを特徴とする医療画像生成方法。
11. コンピュータに、
    被検体内部に挿入される挿入部に設けられた撮像部が前記被検体内部の表面を撮像して得た撮像画像上において３点以上の複数の画像上対象点を設定し、
    前記撮像部によって規定される前記撮像画像の視点と前記複数の画像上対象点にそれぞれ対応する前記被検体内部の表面上の複数の実対象点との間の距離を前記実対象点毎に求め、
    前記複数の画像上対象点の前記撮像画像上の位置及び前記距離の算出結果に基づいて前記視点を基準とした前記実対象点の座標を求めると共に、３点以上の前記実対象点が属する平面と前記撮像部の視野角とに基づいて前記被検体内部の表面上における撮影範囲の座標を求め、
    前記撮影範囲の座標を前記被検体内部のモデル画像の座標系に変換し、
    前記モデル画像上に前記撮影範囲を示す指標を表示するための画像を生成する
    手順を実行させるための医療画像生成プログラム。

Images