JP6022133B2 - 医療装置 - Google Patents

Description

本発明は、被検体内に挿入され、画像を取得する医療装置に関する。

近年、被検体内に挿入され、被検体内部を観察したり、処置具などを用いて処置する医療装置としての内視鏡を備えた内視鏡装置が広く普及している。内視鏡を用いて、観察（又は検査）対象の所定の管腔臓器内部を観察し、病変部を発見したような場合には、病変画像を記録し、病変画像がどこに存在したかを病変画像とリンクして記録する装置がある。
例えば、第１の従来例としての日本国特開２００６−６１４６９号公報は、所望の被写体が時系列に沿って撮像された一連の画像を表示する表示部を備えた画像表示装置において、一連の画像の撮像期間を示す時間スケールが付されたタイムバーを表示すると共に、一連の画像から選択された所望の画像の撮像時刻に対応する時間スケール上の位置を示す指標を表示するように表示部を制御する制御部を備えた構成を開示している。
また、第２の従来例としての日本国特開２００８−１７３４９０号公報は、被検体内を時系列に沿って撮像された一連の画像を表示すると共に、一連の画像の撮像期間を示すタイムバーを被検体内の部位毎に色分けして表示する表示部と、一連の画像に表示された被検体内の各部位を判別し、判別した被検体内の各部位の画像群にそれぞれ時間的に対応するタイムバーの各領域に、被検体内の各部位に対応する代替色をそれぞれ表示する制御を行う制御部と、を備えた構成を開示している。

記録された複数の画像を確認する場合において、術者が望むような順序に従って複数の画像を確認したい場合がしばしばあるが、第１の従来例においては、各画像は時間スケールに関連付けてあるために、時系列に撮像された複数の画像から術者が望むような順序で画像を確認することが困難である。また、第２の従来例においては、撮像期間を示すタイムバーを被検体内の部位毎に色分けしているので、第１の従来例に比較すると術者は、色分けの情報により、特定の部位の画像を優先して確認し易くなる。
しかしながら、第２の従来例においては、優先準位を付ける指標のような情報を関連付けていないために、術者等が望むような順序などで複数の画像を優先して確認することが困難である。
本発明は上述した点に鑑みてなされたもので、術者が望む順序で複数の画像を優先して確認することを可能とする医療装置を提供することを目的とする。

本発明の一態様の医療装置は、所定の臓器内に挿入された内視鏡における位置情報と視線情報を取得する情報取得部と、所定の視点から前記所定の臓器内を観察した画像を取得する画像取得部と、前記情報取得部により取得された前記位置情報及び前記視線情報を、前記所定の臓器のモデルの座標系に変換する位置合わせ部と、前記位置合わせ部によって前記所定の臓器のモデルの座標系に変換された前記位置情報及び前記視線情報に基づき、前記所定の視点から視線方向に対向する前記所定の臓器の内壁の位置情報を算出する位置算出部と、前記画像取得部による画像取得、若しくは前記内壁における所定の特徴に基づき規定される指標を生成する指標生成部と、前記画像取得部により取得された前記画像に対して、前記指標生成部により生成された前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部と、を備える。

図１は本発明の第１の実施形態の医療装置の全体構成を示す図。 図２は図１における画像処理装置等の構成を示すブロック図。 図３Ａは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図。 図３Ｂは図３Ａから優先度が最も高い内視鏡画像を表示した様子を示す図。 図３Ｃは優先度が最も高い内視鏡画像のみを表示した様子を示す図。 図４は膀胱を球体で近似した３Ｄ画像中に設定した第２の座標系等を示す図。 図５はモニタに内視鏡画像、２Ｄモデル画像、３Ｄ画像を同時に表示した場合の図。 図６Ａは病変発生頻度の高い領域ほど高い優先度を付けた情報を記録したテーブルの内容を表形式で示す図。 図６Ｂは同じ名称の領域においても、３次元位置が異なる領域に対しては、異なる優先度を付けた情報を記録したテーブルの内容の一部を表形式で示す図。 図６Ｃは病変発生頻度（図６Ａ）の優先度により２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図。 図７は第１の実施形態の観察の際の動作を示すフローチャート。 図８Ａはレリーズ操作された場合にテーブルの内容に沿った優先度を設定する指標を生成する処理を示すフローチャート。 図８Ｂは、図８Ａの動作の説明図。 図９Ａは記録された内視鏡画像を表示する場合の処理手順を示すフローチャート。 図９Ｂは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図（優先度Ｐ１に対応）。 図９Ｃは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図（優先度Ｐ１、優先度Ｐ２に対応）。 図９Ｄは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図（図９Ｂの表示の変形で、優先度Ｐ２のみに対応）。 図１０は指標を生成する項目として、時系列の順序を選択した場合の関連付け画像を示す図。 図１１は指標を生成する項目として、病変の大きさ順を選択した場合の関連付け画像を示す図。 図１２は、図１１の指標を生成する処理を示すフローチャート。 図１３は指標を生成する項目として、尿道からの距離に近い順を選択した場合の関連付け画像を示す図。 図１４は指標を生成する項目として、ランダムバイオプシーを行う場所順を選択した場合の関連付け画像を示す図。 図１５はランダムバイオプシーを行った場所を膀胱の内壁上において示す図。 図１６は図８Ａの変形例の処理を示すフローチャート。 図１７は図１６の処理の内容を表形式で示す説明図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の医療装置１は、被検体としての患者Ｐ内部の所定の管腔臓器（具体例では膀胱Ｂ）内部を観察（又は検査）する内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、磁場発生装置７とを備えて構成される。医療装置１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有する。医療装置１のユーザとしての術者は、ベッド８上に仰向け等で載置されている患者Ｐにおける所定の管腔臓器（単に管腔臓器、又は臓器とも言う）としての膀胱Ｂ内部の内視鏡検査を行う。
内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡により構成される。
さらに、ユニバーサルケーブル２ｃ内には、図２に示すようなライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射し、挿入部２ｂの先端部２ｄが挿入された被検体内の所定の管腔臓器（としての膀胱Ｂ）内部を照明する。

また、図２に示すように、挿入部２ｂの先端部２ｄには、被検体からの光を受けてその光学像を結ぶ対物光学系１０と、その結像位置に撮像面が配置され、撮像面に結像された光学像を光電変換して撮像信号として出力する撮像素子１１とが設けられている。光源装置３の照明光により照明された膀胱Ｂの内壁は、撮像素子１１により撮像される。従って、対物光学系１０と撮像素子１１は、管腔臓器内部を撮像する撮像部（又は撮像装置）１２を形成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介して管腔臓器としての膀胱Ｂ内部の撮像画像を生成するプロセッサ４に入力され、撮像信号は、プロセッサ４内の画像生成回路４ａにおいて画像生成の処理が行われ、膀胱Ｂ内部を撮像した撮像画像としての内視鏡画像が生成される。
本実施形態においては、プロセッサ４内の画像生成回路４ａは、先端部２ｄに搭載された撮像部１２の撮像素子１１の撮像面に結像された被検体の光学像を電気的な撮像信号に変換して、光学像に対応する撮像画像を生成し、生成された撮像画像はモニタ６における内視鏡画像表示エリアに表示される。図２の構成においては、画像生成回路４ａにより生成した内視鏡画像は、画像処理装置５を経由してモニタ６の内視鏡画像表示エリアに、画像処理装置５により生成された他の画像と重畳又は合成して表示される。

膀胱Ｂの内壁を撮像する撮像部１２の位置及び撮像する撮像方向（対物光学系１０の光軸方向）が、撮像画像を生成する場合の視点の位置及び視線方向となる。
プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有し、切換スイッチ４ｂにより指定された観察モード信号は画像生成回路４ａに入力され、画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。
また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａに入力され、ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するように制御する。

切換スイッチ４ｂにより、通常光観察モードが指定された場合には、ＬＥＤ制御回路３ａは通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、ＬＥＤ制御回路３ａは特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。
狭帯域の青色ＬＥＤ３ｃが発光した場合には、この狭帯域の青色の光が進行する光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）を行う。
また、白色ＬＥＤ３ｂが発光した場合の白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過し、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、通常光観察モード用の照明を行う。

また、プロセッサ４（の画像生成回路４ａ）により生成された内視鏡画像は、モニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う術者は、挿入部２ｂの先端部２ｄを患者Ｐの尿道から挿入し、患者Ｐの膀胱Ｂ（図１において点線で示す）内を観察することができる。
さらに、挿入部２ｂの先端部２ｄには、位置センサとしての磁気センサ１３が配置されている。具体的には、図２に示すように先端部２ｄの撮像部１２を構成する対物光学系１０と撮像素子１１の近傍には、磁気センサ１３が設けられている。この磁気センサ１３は、先端部２ｄにおける撮像部１２の視点となる３次元位置（単に位置）と、その位置での視線方向との検出に利用される。
図２に示す内視鏡２は、先端部２ｄに搭載された撮像部１２を構成する対物光学系１０の光軸方向が、先端部２ｄの軸方向と平行となるために、撮像部１２の位置及び視線方向は、先端部２ｄの位置及びその軸方向（単に方向）と近似できる。

なお、本実施形態は、図２に示すように先端部２ｄに配置された対物光学系１０により、先端部２ｄに配置された撮像素子１１の撮像面に被検体の光学像を結像する内視鏡２の場合に限らず、先端部２ｄに配置された対物光学系１０により結像した光学像を挿入部２ｂの後方（基端）側に伝送し、挿入部２ｂの基端側に配置された撮像素子で撮像する内視鏡の場合にも適用できる。
この場合を含めた表現としては、撮像部の視点の位置（及び視線方向）の表現を用いるよりも（先端部２ｄに配置された）対物光学系１０の視点の位置（及び視線方向）を用いる方が妥当である。このため、以下においては、主に、視点の位置及び視線方向を対物光学系１０の視点の位置及び視線方向として用いたり、近似的な表現として視点の位置及び視線方向の代わりに（対物光学系１０又は先端部２ｄ又は先端の）位置及び方向を用いる場合もある。
図１の拡大図に示すように、磁気センサ１３は、例えば２つのコイル２ｅを有する。磁気センサ１３は、先端部２ｄの位置及び方向を検出するセンサとなる。磁気センサ１３の信号線２ｆは、内視鏡２から延出され、画像処理装置５（内の位置方向取得回路２５）に接続される。

磁場発生装置７は既知となる所定の位置において磁場を発生し、磁気センサ１３は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から画像処理装置５（内の位置方向取得回路２５）に入力される。
位置方向取得回路２５は、入力された検出信号の振幅と位相とから先端部２ｄに配置された対物光学系１０の視点となる位置及び視線方向の情報としての視点の位置情報（視点位置情報とも言う）と視線方向情報とを取得する情報取得部（又は情報取得回路）２５ａの機能を備える。なお、本実施形態においては、観察対象の管腔臓器は膀胱Ｂの内壁であり、膀胱Ｂは、後述するように球体の３次元（３Ｄ）画像で近似することができる。つまり、膀胱Ｂは、球体で表される３Ｄ画像Ｍ３（図４）で近似される。
内視鏡２の操作部２ａには、レリーズスイッチ（又はレリーズボタン）１４が設けられている。レリーズスイッチ１４は、術者等のユーザが内視鏡画像を記録するときに、押すためのスイッチである。レリーズスイッチ１４が押されると、レリーズスイッチ操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。

レリーズスイッチ１４が押されたときの内視鏡画像は、画像処理装置５における後述する画像取得部を形成する画像取込回路２４を経て画像処理装置５内部のメモリ２２に記録される。なお、画像取込回路２４とメモリ２２が画像取得部を形成すると定義しても良い。
また、本実施形態においては、後述するようにレリーズスイッチ１４が押されたときの内視鏡画像を記録する場合、例えば術者が設定した所定の特徴や、設定された所定の特徴、又は複数の所定の特徴から選択された所定の特徴を反映した優先度が付けられた指標を、記録される内視鏡画像の（記録された際の内壁上の中心付近の）位置情報と関連付けた状態で記録することにより、記録された内視鏡画像を確認するような場合、優先順位付けを表す優先度が高い複数の内視鏡画像を優先して確認（再生の表示を）することができるようにしている。
また、内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５を有し、このＩＤ発生部１５は、プロセッサ４を経て画像処理装置５（内の位置方向取得回路２５）に入力される。

図２に示すように、ＩＤがプロセッサ４を介することなく、画像処理装置５（内の位置方向取得回路２５）に入力されるようにしても良い。位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部（又は撮像情報取得回路）２５ｂの機能を備える。取得された撮像情報を、後述する指標を生成する場合に利用しても良い。
画像処理装置５は、中央処理装置（以下、ＣＰＵという）２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、駆動回路２７を備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５は、バス２８を介して互いに接続されている。また、医療装置１は、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０を有する。

ＣＰＵ２１は、画像処理装置５内の各部の処理を制御する制御部（又は制御回路）を構成すると共に、位置方向取得回路２５が取得した視点の位置情報と視線方向情報と撮像情報を用いて、先端部２ｄに配置された対物光学系１０の視点と、この視点から（少なくとも）視線方向上となる管腔臓器としての膀胱Ｂの内壁（面）に交差する位置（又は位置を含む位置情報）を算出する位置算出部を形成する位置算出回路２１ｃと、画像生成回路４ａにより生成され、画像取込回路２４を経てメモリ２２内に取得（記録）された内視鏡画像、若しくは膀胱Ｂの内壁における所定の特徴に基づいて規定（又は決定）される指標を生成する指標生成部を形成する指標生成回路２１ｂと、を備える。
換言すると、指標生成回路２１ｂは、所定の特徴を反映した指標を生成する。本実施形態においては、後述するように、種類の異なる特徴を反映する複数種類の指標生成用の項目から任意の項目を選択することにより、選択された項目に対応した特徴を反映する指標を生成することができるようにしている。

位置算出回路２１ｃは、該位置算出回路２１ｃにより算出された内壁上の位置（又は位置を含む位置情報）と視点との距離を算出する距離算出回路２１ａを備える。

また、ＣＰＵ２１は、管腔臓器の３Ｄ画像（又はその近似画像としての３Ｄモデル画像）Ｍ３と、該管腔臓器を展開した二次元（２Ｄ）画像のモデル画像としての２Ｄモデル画像Ｍ２（膀胱シェーマ又は単にシューマとも言う）とを生成する３Ｄ／２Ｄ画像生成回路２１ｄと、３Ｄ画像Ｍ３又は２Ｄモデル画像Ｍ２上において、上記指標と、該指標を生成した場合の管腔臓器の内壁上の位置（情報）とを関連付けた画像（関連付け画像とも言う）を生成する画像生成部を形成する画像生成回路２１ｅとを有する。

この画像生成回路２１ｅは、膀胱Ｂの内壁における所定の特徴などに基づいて生成される指標を、画像取込回路２４を介して取得したレリーズ操作により記録される（又は記録された）内視鏡画像に関連付ける関連付け部を形成する関連付け回路２１ｆの機能を有する。なお、画像生成回路２１ｅの外部に関連付け回路２１ｆを設けるようにしても良いし、関連付け回路２１ｆが画像生成回路２１ｅを含む構成にしても良い。また、図２における画像生成回路２１ｅが、指標生成回路２１ｂを含む構成にしても良いし、逆に指標生成回路２１ｂが画像生成回路２１ｅを含む構成でも良い。また、指標生成回路２１ｂが関連付け回路２１ｆの機能を備える構成でも良い。
画像生成回路２１ｅは、例えば図３Ａに示すように２Ｄモデル画像Ｍ２上及び３Ｄ画像上において（関連付け）画像を生成し、モニタ６で表示する。
図３Ａにおける最も左側の列は、所定の特徴を反映する指標を形成する優先度Ｐｉ（順序ｉが小さい数ほど優先度が高い）が付けられた状態でメモリ２２に記録された内視鏡画像（のサムネイル画像）Ｉｉ（ｉ＝１，２，…，９）を模式的に示し、中央の２Ｄモデル画像Ｍ２（膀胱シェーマ）には記録された内視鏡画像が撮像された膀胱Ｂの内壁上の位置を膀胱シェーマ上において、内視鏡画像（のサムネイル画像）Ｉｉを付けて示す。なお、Ｉｉを内視鏡画像（のサムネイル画像）の画像Ｎｏとも言う。

また、図３Ａの最も右側の３Ｄ画像には、中央の膀胱シューマ上の場合と同様に、記録された内視鏡画像が撮像された内壁上の位置を３Ｄ画像上において、内視鏡画像（のサムネイル画像）Ｉｉを付けて示す。また、図３Ａの画像をモニタ６で表示した後、優先度の高い内視鏡画像から順次モニタ６に表示する。図３Ｂ、図３Ｃは、最も優先度が高い優先度Ｐ１の内視鏡画像Ｉ１を表示した様子を示す。なお、図３Ａの画像を表示することなく、図３Ｂ又は図３Ｃの画像を表示するようにしても良い。
また、ＣＰＵ２１は、位置方向取得回路２５が取得した視点の位置情報と視線方向情報を取得した際に、磁場発生装置７を基準とした座標系としての第１の座標系（X_０Y_０Z_０）（図１参照）から膀胱の入り口を基準とする中間座標系（X_１Y_１Z_１）（図１参照）に変換する座標変換回路２１ｇの機能を持つ。
なお、後述するように座標変換回路２１ｇは、中間座標系（X_１Y_１Z_１）から第２の座標系（X_２Y_２Z_２）に変換する機能も備える。従って、座標変換回路２１ｇは、第１の座標系（X_０Y_０Z_０）から第２の座標系（X_２Y_２Z_２）に変換する機能を持つ。また、２つの座標系間において座標変換する場合、両座標系において既知となる位置において変換係数、変換行列等を決定する位置合わせの処理を行う位置合わせ部を形成する位置合わせ回路２１ｈの機能を持つ。

座標変換回路２１ｇは、例えば膀胱Ｂの入口の位置（図４でＰＲ）と方向を位置合わせの基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向取得回路２５の位置方向情報を、膀胱Ｂの入口を基準とする中間座標系（X_１Y_１Z_１）の位置方向情報に変換する。
Ｐ_１＝Ｒ_０１Ｐ_０＋Ｍ_０１ ・・・式（１）
Ｖ_１＝Ｒ_０１Ｖ_０ ・・・式（２）
ここで、Ｐ_０とＶ_０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X_０Y_０Z_０）における位置（のベクトル表記）と（大きさが１の）方向ベクトルである。Ｒ_０１は、次の式（３）で示される回転行列であり、Ｍ_０１は、次の式（４）で示される並進行列である。
［数３］

［数４］

よって、第１の座標系（X_０Y_０Z_０）上の点（ｘ_０，ｙ_０，ｚ_０）は、次の式（５）に示すように、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）に変換される。

［数５］

内視鏡２の先端部２ｄ（の対物光学系１０）の膀胱Ｂ内への挿入が検出されたときに位置方向取得回路２５により取得される位置と方向のベクトルをＰ´₀、Ｖ´₀とすると、並進行列Ｍ_０１は以下の式（６）により求められる。
Ｍ_０１＝−Ｐ´₀ ・・・式（６）
また、回転行列Ｒ_０１は以下の条件を満たすように求める。回転行列Ｒ_０１の満たす条件は、Ｚ₁軸が重力方向と平行であること、及びＺ₁軸に対して垂直なX₁Y₁平面にV´₀を投影し、その投影したベクトル方向をY₁軸、Y₁Z₁平面に垂直なベクトルをX₁軸とする、ことである。
更に、上記座標変換回路２１ｇは、次の式（７）と式（８）に従って、中間座標系（X_１Y_１Z_１）の位置ベクトルと方向ベクトルを、球形の３Ｄ画像Ｍ３の中心Ｏ_２を基準とする第２の座標系（X_２Y_２Z_２）における位置ベクトルと方向ベクトルに変換する。図４は、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。

Ｐ_２＝Ｒ_１２Ｐ_１＋Ｍ_０２ ・・・式（７）
Ｖ_２＝Ｒ_１２Ｖ_１ ・・・式（８）
ここで、Ｐ_１、Ｖ_１は、それぞれ、中間座標系（X_１Y_１Z_１）における任意の位置における位置（ベクトル）と方向ベクトルであり、Ｐ_２、Ｖ_２は、それぞれ、第２の座標系（X_２Y_２Z_２）に変換された場合の位置ベクトルと方向ベクトルである。
Ｐ_０、Ｖ_０を位置方向取得回路２５から算出される先端部２ｄの対物光学系１０の視点の位置を表す位置（ベクトル）、視線方向の方向ベクトルに設定すると、Ｐ_０、Ｖ_０は、Ｐ_１、Ｖ_１に変換され、更に該Ｐ_１、Ｖ_１は、Ｐ_２とＶ_２に変換される。
つまり、Ｐ_０、Ｖ_０を視点の位置、視線方向の方向ベクトルとして取得すると、対応するＰ_２、Ｖ_２は、第２の座標系（X_２Y_２Z_２）における対物光学系１０の視点Ｐｖの位置ベクトル（Ｐｖで兼用）、視線方向Ｖの方向ベクトル（Ｖで兼用）となる。Ｒ_１２は、次の式（９）で示される回転行列であり、Ｍ_０２は、次の式（１０）で示される並進行列である。

［数９］

［数１０］

よって、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）は、次の式（１１）に示すように、第２の座標系（X_２Y_２Z_２）上の点（ｘ_２，ｙ_２，ｚ_２）に変換される。
［数１１］

X₁Y₁Z₁座標系をY₁軸方向にR₂移動した場合、並進M₁₂と回転R₁₂は、それぞれ、式（１２）と式（１３）のようになる。
［数１２］

［数１３］

以上のように、磁場発生装置７の第１の座標系（X_０Y_０Z_０）における位置Ｐ_０は、式（５）と式（１１）より、３Ｄ画像Ｍ３の中心Ｏ_２を基準（原点）とする第２の座標系（X_２Y_２Z_２）の位置Ｐ_２に変換され、第１の座標系（X_０Y_０Z_０）における方向V_０は、次の式（１４）に従って、第２の座標系（X_２Y_２Z_２）の方向V_２に変換される。
V_２＝Ｒ_１２Ｒ_０１V_０ ・・・式（１４）
また、図４は、内視鏡２の挿入部２ｂが膀胱Ｂ内に挿入された様子を３Ｄ画像Ｍ３で示し、対物光学系１０の視点Ｐｖの位置から視線方向Ｖが交差する球体の内壁面（膀胱Ｂの内壁面）の位置も第２の座標系（X_２Y_２Z_２）を用いて扱うことができる。

第２の座標系（X_２Y_２Z_２）の原点となる中心Ｏ_２は、膀胱Ｂへの入口となる頸部ＰＲとその対向部位ＰＴとを結ぶ線分の中点の位置となる。また、第２の座標系（X_２Y_２Z_２）は、膀胱Ｂにおける左側壁側がＸ_２方向、右側壁側が−Ｘ_２方向、患者Ｐの前壁（腹部）側がＺ_２方向、患者Ｐの後壁（背中）側が−Ｚ_２方向となるように設定される。
また、図３Ａ等に示す２Ｄモデル画像Ｍ２は、図４に示す３Ｄ画像（で近似される膀胱Ｂの内壁面）をＸ_２，Ｙ_２を含む平面に沿って展開、又は投影したものとなる。
また、図５は、レリーズ操作が行われていない状態におけるモニタ６に表示される画像を示す。図５における最も左側の内視鏡画像表示エリアＡ１には、内視鏡画像Ｉｅｎが表示され、その右側の２Ｄモデル画像表示エリアＡ２には、レリーズ操作が行われていない状態の２Ｄモデル画像Ｍ２が表示され、その右側の３Ｄ画像表示エリアＡ３には３Ｄ画像が表示される。

図５においては、２Ｄモデル画像Ｍ２には上記の代表的な領域となる頸部ＰＲ、頸部ＰＲに対応する頂部（Top）、左側壁（Left）、右側壁（Right）、前壁（Front）、後壁（Back）、頸部ＰＲと左右の尿管を示す三角部（Tr）を示している。図５において、２Ｄモデル画像Ｍ２上に、例えば内視鏡２により現在撮像（観察）している領域Ａｒ（２Ｄモデル画像Ｍ２に示すように後壁部分）を表示するようにしても良い。
図４に示すように先端部２ｄの対物光学系１０の第２の座標系（X_２Y_２Z_２）における視点Ｐｖの位置と視線方向Ｖが決定すると、撮像素子１１の撮像面１１ａの中心位置に結像される（膀胱Ｂを表す）球体の内壁面上の座標位置となる位置Ｐｓは、以下のように球体の半径Ｒを用いて求める。次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X_２Y_２Z_２）における位置Ｐｓを求める。
Ｐｓ＝Ｐｖ＋ｋＶ ・・・式（１５）
｜Ｐｓ｜＝Ｒ ・・・式（１６）
位置算出回路２１ｃは、式（１５）、式（１６）を用いて、各視点Ｐｖにおいてその視線方向Ｖ上となる内壁の位置Ｐｓを算出する。また、この位置Ｐｓが算出されると、距離算出回路２１ａは、｜Ｐｖ−Ｐｓ｜を算出して、視点Ｐｖから内壁までの距離（情報）を算出する。

膀胱Ｂの形状を半径Ｒの球体（Ｒの値を所定の値）としたが、例えば、操作者が先端部２ｄを膀胱の入り口から距離が最大になる膀胱の内壁（例えば、頂部）に接触させて球体の半径の値を設定しても良い。

図２に示すメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどを用いて形成され、このメモリ２２は、ＣＰＵ２１により実行される各種処理プログラム及び各種データを記録（又は記憶）し、レリーズ操作がされた場合の内視鏡画像を記録（記憶）する。レリーズ操作がされた場合に、画像生成回路４ａにより生成され、画像取込回路２４を経て画像処理装置５内部に取り込まれた内視鏡画像の情報と、位置方向取得回路２５により取得された位置情報と視線方向情報とを記録（格納）する内視鏡画像情報記録部（又は内視鏡画像情報格納部）２２ａを有する。
また、このメモリ２２は、選択的に使用された所定の特徴に基づいて、記録される内視鏡画像に、前記所定の特徴を反映する指標を形成する優先度Ｐｉを関連付けて記録する関連付け情報記録部２２ｂを有する。また、例えば関連付け情報記録部２２ｂは、上記所定の特徴として、病変の発生し易い膀胱Ｂにおける（位置の範囲を示す）領域又は部位を優先度に設定するテーブルデータ（テーブルと言う）を格納するテーブル格納部２２ｃを備える。なお、関連付け回路２１ｆが上記テーブルを備える構成にしても良い。

図６Ａは、上記テーブル格納部２２ｃに格納されているテーブルの内容を示す。図６Ａに示すように膀胱Ｂの内壁を複数の領域に分類した場合、三角部（の領域）が最も優先度が高く、頂部が最も優先度が低い設定となっている。この場合には番号が優先度を示し、番号が小さい程優先度が高い。
そして、所定の特徴として、病変の発生し易い領域を優先するテーブルの内容を利用すると、テーブルの内容を反映した指標の画像が生成されることになる。
なお、図６Ａにおいては、領域の名称毎にそれぞれに異なる優先度を割り当てた場合を示しているが、例えば同じ名称の領域を複数の領域に区分けして、異なる優先度を付けるようにしても良い。図６Ｂは、例えば名称が後壁の領域を複数の領域に区分けして、異なる優先度を付けるようにした例を示す。
図６Ａ、図６Ｂでは、各領域における座標の範囲を、優先度が高い２つ、又は３つの領域に対して示し、優先度が低いものでは省略している。後述するように図６Ａ、又は図６Ｂのテーブルの内容を利用することにより、図６Ｃに示すような画像が生成される。

本実施形態においては、上述したように画像生成部を形成する画像生成回路２１ｅは、内壁における複数種類の特徴、又は画像取得部により取得された画像に基づいて、２Ｄモデル画像Ｍ２上又は３Ｄ画像上に指標と内壁の位置情報とを関連付けた画像を生成するようにしていることが主要な特徴となる。
複数種類の特徴としては、膀胱Ｂの内壁における病変発生頻度のような統計的な特徴、病変の大きさや、内壁までの距離等の視覚的な特徴であったり、視覚的な特徴を定量化した定量値の大小に応じて、指標を決定したりする。
また、生成される指標は、後述するように規則性を備えた記号であり、関連付け回路２１ｆ又は指標生成回路２１ｂは、上記定量値の大又は小の順番を前記記号に対応付ける。レリーズされて記録（取得）される内視鏡画像に応じて、対応する観察部位（領域）の定量値に基づき、前記記号を付け直す（修正する）ようにしても良い。

また、メモリ２２における関連付け情報記録部２２ｂは、図３Ａに示す関連付け画像を記録する。膀胱Ｂは、球体の３次元（３Ｄ）画像で近似することができ、球体を表す半径等のパラメータが、３Ｄ画像Ｍ３として、メモリ２２内における患者画像情報記憶部２２ｄに格納される。また、管腔臓器としての膀胱Ｂの３次元画像を展開した２Ｄモデル画像Ｍ２の画像情報もメモリ２２内における患者画像情報記録部２２ｄに格納される。
このため、患者画像情報記録部２２ｄは、３Ｄ画像Ｍ３及び２Ｄモデル画像Ｍ２の３Ｄ／２Ｄ画像記録部２２ｅの機能を持つ。

メモリ２２内に格納された３Ｄ画像Ｍ３と２Ｄモデル画像Ｍ２は、例えばＣＰＵ２１により読み出され、表示Ｉ／Ｆ２３を介してモニタ６に表示される。この場合、図５に示すように例えば動画となる内視鏡画像Ｉｅｎに隣接して２Ｄモデル画像Ｍ２と３Ｄ画像Ｍ３とが表示される。
尚、ここでは患者画像情報記憶部２２ｄから読み出した３Ｄ画像Ｍ３と２Ｄモデル画像Ｍ２を説明したが、３Ｄ画像Ｍ３と２Ｄモデル画像Ｍ２の取得方法はこれに限られるものではない。例えば、３Ｄ／２Ｄ画像生成回路２１ｄが撮像部１２が撮像した内視鏡画像Ienに基づいた観察位置、視線方向データを用いて、内視鏡２の撮像部１２により撮像（観察）された２次元画像データに対応する３Ｄ画像Ｍ３や２Ｄモデル画像Ｍ２を生成するようにしても良い。

この場合、３Ｄ／２Ｄ画像生成回路２１ｄは例えば日本国特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３Ｄ形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３Ｄ形状を推定する手法でも良い。また、３Ｄ形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３Ｄ画像データを参照して３Ｄ形状データを構築するようにしても良い。

そして、レリーズ操作がされると、選択された選択情報に従って、内視鏡画像が指標と関連付けて記録され、例えば入力装置３０の画像再生スイッチ３０ｂ、又は内視鏡２に設けた画像再生スイッチ（図示せず）の指示操作を行うと、画像生成回路２１ｅは、図３Ａに示すような画像を表示する。
図２に示す画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む（又は取得する）処理を行う画像取得部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。

位置方向取得回路２５は、磁場発生装置７を駆動する駆動回路２７を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１３により検出し、その検出された磁場の検出信号から、対物光学系１０の視点となる位置座標（ｘ、ｙ、ｚ）と視線方向となる配向（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち視点の位置情報及び視線方向情報を第１の座標系（X_０Y_０Z_０）においてリアルタイムで生成する。すなわち、位置方向取得回路２５は、磁気センサ１３からの位置情報及び方向情報を取得して、対物光学系１０の視点の位置情報と視線方向情報（簡略化して位置視線方向情報とも言う）とを取得する情報取得部を構成する。
ＣＰＵ２１は、画像取込回路２４が取り込んだ内視鏡画像（の情報）と、位置方向取得回路２５が検出した位置方向情報から算出された位置方向情報とを（例えば座標変換回路２１ｇにより球体の中心Ｏ_２を基準とした第２の座標系（X_２Y_２Z_２）に変換した後）変換した座標情報を、メモリ２２に記憶する。なお、第２の座標系（X_２Y_２Z_２）に変換しない状態でメモリ２２に記憶しても良い。

メモリ２２は、画像取込回路２４が取り込んだ内視鏡画像と、該内視鏡画像を取り込んだ際の位置方向情報とを関連付ける関連付け情報を、関連付け情報記録部２２ｂに記録する。
また、本実施形態においては、例えば入力装置３０は、予め用意された複数の指標生成用の項目から所望とする項目を選択する選択スイッチ３０ａを備えている。術者は、選択スイッチ３０ａを操作して、予め用意された複数（種類）の特徴を反映する複数の指標生成用の項目から術者が望むような特徴を反映した項目を選択することができる。なお、入力装置３０から術者が望む特徴を入力することにより、指標生成回路２１ｂが入力された特徴を反映する指標を生成することもできるようにしても良い。つまり、予め用意されていない特徴に対しても、該特徴を反映した指標を生成したり、該指標と位置情報を関連付けた関連付け画像を生成することができるようにしても良い。なお、図２においては、ＣＰＵ２１により距離算出回路２１ａ、指標生成回路２１ｂ、３Ｄ／２Ｄ画像生成回路２１ｄ、画像生成回路２１ｅ、座標変換回路２１ｇ等を構成しているが、電子回路等のハードウェアを用いてこれらの回路を構成しても良い。

本実施形態の医療装置１は、所定の管腔臓器の形状を表す情報を記録する記憶部を形成する患者画像情報記憶部２２ｄ（又はメモリ２２）と、前記所定の管腔臓器内に設けられた所定の視点の位置情報と視線情報を取得する情報取得部を形成する位置方向取得回路２５（の情報取得部２５ａ）と、前記所定の視点から前記所定の管腔臓器内を観察した画像を取得する画像取得部を形成する画像取込回路２４と、前記位置情報及び前記視線情報を、前記所定の管腔臓器の形状の座標系に合わせ込む位置合わせ部を形成する位置合わせ回路２１ｈと、前記位置合わせ部によって前記所定の管腔臓器の形状に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点から前記視線方向に対向する前記所定の管腔臓器の内壁の位置情報を算出する位置算出部を形成する位置算出回路２１ｃと、前記内壁における所定の特徴に基づき規定される指標を生成する指標生成部を形成する指標生成回路２１ｂと、前記指標生成部により生成された前記指標を、前記画像取得部により取得された画像に関連付ける関連付け部を形成する関連付け回路２１ｆと、前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部を形成する画像生成回路２１ｅと、を備えることを特徴とする。

次に図７のフローチャートを参照して本実施形態の観察時における動作を説明する。

医療装置１が動作状態になると、最初のステップＳ１において、術者は初期設定を行う。術者は、入力装置３０から、膀胱Ｂ内を観察し、病変部等の内視鏡画像を記録した場合、確認する場合の優先順位付け等を表す指標を生成する指標生成用の項目を選択する。以下の例では、主に病変発生頻度に対応した優先度の指標を生成するための項目を選択したことを想定する。
次のステップＳ２において術者は、内視鏡２を患者Ｐの尿道内に挿入し、既知となる位置において、座標系の位置合わせを行う。先端部２ｄの磁気センサ１３に対して位置方向取得回路２５が取得する位置情報及び視線方向情報は、第１の座標系（X_０Y_０Z_０）の下での情報となるために、膀胱Ｂ内で用いる第２の座標系（X_２Y_２Z_２）との位置合わせを行う。ここでの第１の座標系と中間座標系との位置合わせは、膀胱入口の位置・向き情報から求めることで位置合わせをする。また、中間座標系と第２の座標系の位置合わせは、膀胱の中心位置を求めることで位置合わせをする。また、位置方向取得回路２５は、先端部２ｄの磁気センサ１３により、先端部の位置情報及び視線方向情報を経時的に取得する。
本実施形態においては、第１の座標系（X_０Y_０Z_０）と、中間座標系（X_１Y_１Z_１）との位置合わせを行い、さらに中間座標系（X_１Y_１Z_１）と、第２の座標系（X_２Y_２Z_２）との位置合わせを行うことにより第１の座標系（X_０Y_０Z_０）と第２の座標系（X_２Y_２Z_２）との位置合わせを行う。これにより、位置方向取得回路２５が取得する位置情報及び視線方向情報は、座標変換回路２１ｇにより第２の座標系（X_２Y_２Z_２）における位置情報及び視線方向情報に変換される状態となる。

次のステップＳ３において術者は、内視鏡２の先端部２ｄを膀胱Ｂ内に挿入する。ステップＳ４に示すようにモニタ６は、例えば図５に示すように膀胱Ｂの内壁を観察（撮像）した場合の内視鏡画像を表示する共に、２Ｄモデル画像Ｍ２と３Ｄ画像Ｍ３とを表示する。但し、この段階においては、３Ｄ画像Ｍ３上においては、内視鏡２の位置及び視線方向は、表示されていない（以下のステップＳ５以降の処理後に、３Ｄ画像Ｍ３上において、内視鏡２の位置及び視線方向が確定する。また、２Ｄモデル画像Ｍ２上での撮像される位置も確定する）。このため、図５の表示例として内視鏡画像のみを表示するようにしても良い。
次のステップＳ５において位置方向取得回路２５は、膀胱Ｂ内において先端部２ｄの対物光学系１０の視点と視線方向の情報を取得し、ステップＳ６に示すように座標変換回路２１ｇは、この情報を第２の座標系（X_２Y_２Z_２）における視点と視線方向の情報に変換する。
次のステップＳ７において位置算出回路２１ｃは、視線方向上となる膀胱Ｂの内壁の位置（図４の位置Ｐｓ）を算出する（上述した式（１５）、式（１６））。なお、更に視点から内壁（上の位置）までの距離Ｌを算出するようにしても良い。

次のステップＳ８においてＣＰＵ２１は、レリーズ操作がされたかを判定する。レリーズ操作がされた場合には、次のステップＳ９において指標生成回路２１ｂは、上記項目の情報に基づいて、レリーズ操作された際の内視鏡画像に優先順位付け（優先度）の情報を含む指標を生成する。より具体的には、レリーズ操作により記録される内視鏡画像に対して、確認のために再生する場合の再生順序を規定（又は決定）する優先度と、記録される内視鏡画像の内壁の位置（情報）とを表す指標を生成する。なお、ステップＳ８におけるレリーズ操作の判定を、ステップＳ３とＳ４の間に行うようにしても良い。換言すると、レリーズ操作が行われた後に、視点から視線方向となる膀胱Ｂの内壁の位置を算出するようにしても良い。
次のステップＳ１０においてメモリ２２（の関連付け情報記録部２２ｂ）は、内視鏡画像と優先度の情報、位置情報を関連付けて記録する。なお、図７の処理例においては画像取得を行う毎に優先順位を生成しているが、画像取得を全て完了した後に優先順位付けを行うようにしても良い。又は、画像取得毎に暫定的な優先順位を生成（決定）し、画像取得を全て完了した後に、最終的な優先順位付けを行うようにしても良い。
次のステップＳ１１においてＣＰＵ２１は、観察終了の指示が例えば入力装置３０から入力されたか否かを判定し、入力されない場合には、ステップＳ４の処理に戻り、入力された場合には図７の処理を終了する。また、ステップＳ８においてレリーズ操作がされない場合にはステップＳ４の処理に移る。

このようにして、膀胱Ｂの内壁を観察し、術者がレリーズ操作を行うと、レリーズ操作がされたタイミングの内視鏡画像がメモリ２２に記録されると共に、内壁の位置に基づく情報に基づいて優先度の情報が生成され、これら（内視鏡画像、位置情報、優先度の情報）が関連付けてメモリ２２に記録される。
図８Ａは、病変発生頻度に対応した優先度の指標を生成する項目を選択した場合における処理例を示し、図８Ｂは、その動作の説明図を示す。
図８Ｂは、膀胱Ｂ内に内視鏡２の先端部２ｄが挿入され、膀胱Ｂの内壁のうち後壁を観察している様子と、膀胱Ｂの後壁部分と膀胱シェーマの後壁に相当する部分との対応関係を示す。図８Ｂにおいては、先端部２ｄ内の（対物光学系１０の）視点Ｐｖから視線方向Ｖに沿った内壁の位置Ｐｓの周辺の領域を観察している様子を示すと共に、その左側には観察されている領域に対応する膀胱シェーマの一部を示す。
レリーズスイッチ１４がＯＮされた場合には、最初のステップＳ２１において位置算出回路２１ｃは、視点Ｐｖから視線方向Ｖ上に対向する膀胱内壁の位置Ｐｓの３次元位置（Ｘ，Ｙ，Ｚ）を（第２の座標系（X_２Y_２Z_２）において）算出する。

次のステップＳ２２において指標生成回路２１ｂは、図６Ａ又は図６Ｂのテーブルを参照し、位置Ｐｓが該当する（又は含まれる）領域を求め、その領域に該当する場合の優先度を求める。位置Ｐｓが、例えば図８Ｂに示すように後壁（Back）内の領域である場合には、図６Ａを参照すると、Ｐ２，図６Ｂを参照した場合にはＰ２、又はＰ３の優先度が該当する。
次のステップＳ２３において、複数の位置においてレリーズ操作を行った場合には、優先度が高い順にソートして、位置情報と共に、メモリ２２に記録し、図８Ａの処理を終了する。
このようにして、膀胱Ｂの内壁における複数箇所でレリーズ操作を行った場合には、画像生成回路２１ｅは、例えば図６Ｃに示すような関連付け画像を生成し、メモリ２２は、生成された関連付け画像を記録する。なお、図６Ｃの関連付け画像においては、２Ｄモデル画像Ｍ２上と、３Ｄ画像Ｍ３上との両方の画像上に、内視鏡画像（のサムネイル画像）Ｉｉを付けて記録された内視鏡画像の位置を示すようにしているが、２Ｄモデル画像Ｍ２と、３Ｄ画像とにおける一方の画像上に内視鏡画像（のサムネイル画像）Ｉｉを付けて記録された内視鏡画像の位置を示すようにしても良い。後述する図１０以降の関連付け画像においては、例えば２Ｄモデル画像Ｍ２上において、内視鏡画像（のサムネイル画像）Ｉｉを付けて記録された内視鏡画像の位置を示すようにしている。

術者は、関連付け画像の表示（再生表示）の指示操作を入力装置３０等から行うと、ＣＰＵ２２は図６Ｃに示す関連付け画像をモニタ６に表示するように制御する。図９Ａは関連付け画像の表示の処理を示す。
最初のステップＳ３１においてＣＰＵ２１は入力装置３０等から関連付け画像の表示の指示の入力を待つ。指示が入力されると、次のステップＳ３２においてＣＰＵ２１は、優先度Ｐｉのパラメータｉを１に設定する。
次のステップＳ３３においてＣＰＵ２２は、入力装置３０等から個別の内視鏡画像の表示の指示が有るか否かを判定する。術者は、優先順位に従って、記録された内視鏡画像を確認することができるが、優先順位とは別に、術者の意思で個別の内視鏡画像の表示を選択することができる。

個別の内視鏡画像の表示の指示が無い判定結果の場合には、次のステップＳ３４においてＣＰＵ２１は、現在最も優先度Ｐｉが高い（つまり、病変発生頻度が最も高い部位の）内視鏡画像を表示するように制御する。現時点ではｉ＝１となる優先度Ｐｉ（ｉ＝１）の内視鏡画像がモニタ６に表示される。この場合の画像は、例えば図９Ｂとなる。また、図９Ｂ以外に、図３Ｂのように、優先度Ｐｉ（ｉ＝１）の内視鏡画像と共に、その右側に２Ｄモデル画像Ｍ２，３Ｄ画像Ｍ３も表示した表示形態や、図３Ｃに示すように優先度Ｐｉ（ｉ＝１）の内視鏡画像のみを表示するようにしても良い。
次のステップＳ３５においてＣＰＵ２１は、入力装置３０等から次の内視鏡画像の表示指示が有るか否かを判定する。次の内視鏡画像の表示指示が有る場合には次のステップＳ３６においてＣＰＵ２１は、優先度Ｐｉのｉを１つ大きくした後、ステップＳ３４の処理に戻る。この場合には図９Ｃ、または図９Ｄに示すように、２番目の優先度Ｐｉ（ｉ＝２）の内視鏡画像が表示されることになる。ステップＳ３５において、次の内視鏡画像の表示指示が無い場合にはステップＳ３６の処理を行うことなくステップＳ３９の処理に移る。

一方、ステップＳ３３において個別の内視鏡画像の表示の指示が有る場合には、ステップＳ３７においてＣＰＵ２１は、指示された内視鏡画像を表示するように制御した後、次のステップＳ３８の処理に進む。ステップＳ３８においてＣＰＵ２１は、指示された内視鏡画像の表示を停止する指示が入力されるまで、指示された内視鏡画像の表示を続行する。
停止する指示が入力されると、ステップＳ３９においてＣＰＵ２１は、入力装置３０等から、表示終了の指示が入力されたか否かを判定し、表示終了の指示が入力されない場合にはステップＳ３３の処理に戻り、表示終了の指示が入力された場合には図９Ａの処理を終了する。
このように動作することにより、術者が望む指標生成用の項目（換言すると術者が望む特徴を反映した内容）に従って、優先度と関連付けて内視鏡画像を記録するようにしているので、術者が望む特徴を反映した内視鏡画像を優先して順次、複数の内視鏡画像を確認することが可能になる。このため、術者は、確認したいと望む複数の内視鏡画像を効率良く確認できる。上記の例では、病変発生頻度が高い部位の内視鏡画像から優先して順次確認することができる。

上述した動作は、指標生成用の項目として膀胱Ｂの内壁における特徴となる病変発生頻度を選択した場合に、病変発生頻度に対応した指標を有する関連付け画像が生成される例で説明したが、病変発生頻度とは種類、又は内容が異なる特徴を反映する項目を選択することができる。以下、入力装置３０から病変発生頻度の項目以外の指標生成用の項目を選択した場合を説明する。
術者がレリーズ操作の順序に従って時系列に記録した複数の内視鏡画像を、時系列の記録順に優先するような特徴を反映した指標生成用の項目を選択した場合には、図８Ａに示す処理として、ステップＳ２１の次のステップＳ２２としてテーブルを参照することなく、レリーズ操作の順に優先度を決定し、レリーズ操作の順に内視鏡画像と共に、優先度、位置等の情報をメモリ２２に記録する。この場合、レリーズ操作の時間を記録し、該時間から優先度を決定するようにしても良い。

この場合には、図１０に示すような関連付け画像が生成され、該関連付け画像がメモリ２２に記録される。図１０における優先度Ｐｉは、レリーズ操作の順序をＲｉとすると、レリーズ操作の順序Ｒｉと同じとなる。また、レリーズ操作の順序Ｒｉでなく、レリーズ操作の時間をＴｉとすると、優先度Ｐｉは、レリーズ操作の時間Ｔｉと同じとなる（つまりレリーズ操作の時間Ｔｉとしてレリーズ操作が時間的に前に操作された時間ほど優先度Ｐｉが高くなる）。
なお、図１０以降において図示する関連付け画像としては、２Ｄモデル画像Ｍ２上においてのみサムネイル画像の画像Ｎｏを付けて記録された内視鏡画像の位置を示している。図３Ａに示すように３Ｄ画像Ｍ３上においてもサムネイル画像の画像Ｎｏを付けて記録された内視鏡画像の位置を示すようにしても良い。また、３Ｄ画像Ｍ３上においてのみに、サムネイル画像の画像Ｎｏを付けて記録された内視鏡画像の位置を示す関連付け画像を生成するようにしても良い。

図１１は病変の大きさを優先して指標生成用の項目を選択した場合に、生成される関連付け画像の１例を示す。この場合には、所定の特徴は、視覚的特徴であり、該視覚的特徴は幾何学的特徴ともなっている。また、以下に説明するように幾何学的特徴を定量化した定量値を生成する定量値生成部（又は定量値生成回路）を備える。
この場合には、例えば図１２に示す処理により優先度Ｐｉを付けた指標を生成する。最初のステップＳ４１においてＣＰＵ２１は、レリーズ操作の回数を表すパラメータｊを１に設定し、次のステップＳ４２においてＣＰＵ２１は、レリーズ操作を行うレリーズスイッチ１４がＯＮされるのを待つ。
レリーズスイッチ１４がＯＮされると、次のステップＳ４３においてＣＰＵ２１は、レリーズされたタイミングの内視鏡画像をメモリ２２に記録する。また、ステップＳ４４に示すようにＣＰＵ２１は、視点Ｐｖにおける視線方向Ｖ上に対向する膀胱内壁の位置Ｐｓの３次元座標（Ｘ，Ｙ，Ｚ）を算出し、算出した位置Ｐｓの３次元座標の情報も内視鏡画像に関連付けて記録する。これにより２Ｄモデル画像上又は３Ｄ画像上において記録された内視鏡画像の位置を重畳（付加）することができる状態となる。

また、ステップＳ４５に示すようにＣＰＵ２１は、視点Ｐｖから位置Ｐｓまでの距離Ｌを算出する。換言すると、定量値生成部を形成する距離算出回路２１ａは、視点を所定の定量化基準位置（定量化の基準位置）とし、視点から内壁上の位置Ｐｓまでの距離Ｌを定量値として算出する。なお、後述するように膀胱Ｂにおける所定の特徴位置としての尿道（頸部）を所定の定量化基準位置に設定して指標を生成したり、該指標と内視鏡画像等を関連付けた関連付け画像を生成するようにしても良い。
次のステップＳ４６においてＣＰＵ２１は、内視鏡画像における病変（部分）を抽出し、距離Ｌの情報を用いて、幾何学的特徴を形成する病変（部分）の大きさを算出し、内視鏡画像に関連付けて記録する。
次のステップＳ４７においてＣＰＵ２１は、レリーズ操作による記録の終了の指示が入力されたか否かを判定し、終了でない場合には次のステップＳ４８においてＣＰＵ２１は、パラメータｊを１つ大きくしてステップＳ４２の処理に戻る。記録の終了の指示が入力された場合には、次のステップＳ４９においてＣＰＵ２１は、ｊ回の内視鏡画像の記録において病変が大きい順に優先度を付ける。

次のステップＳ５０においてＣＰＵ２１は、記録した内視鏡画像に関連付けて記録した大きさの情報を優先度の情報に置換して、メモリ２２に記録し、図１２の処理を終了する。このような処理を行うことにより、画像生成回路２１ｅは、図１１に示した関連付け画像を生成する。
図１２に示す処理により、図１１に示すような関連付け画像が生成されるが、上記幾何学的特徴を形成する病変の大きさの代わりに、幾何学的特徴を形成する幾何学的形状となる病変の形状（より具体的には病変の悪性度の高い形状）順を優先度の高い順序とする指標と、関連付け画像を生成するようにしても良い。
この場合には、例えば図１２において、ステップＳ４５を削除し、ステップＳ４６，Ｓ４９，Ｓ５０を病変の形状に対応した処理内容に変更すれば良い。
また、上記幾何学的特徴を形成する幾何学的形状となる病変の形状（病変の悪性度の高い形状）順の代わりに病変の色彩又は色（色彩的特徴）を優先度の高い順序とする指標と、関連付け画像を生成するようにしても良い。この場合には、レリーズされて記録される内視鏡画像（観察画像とも言う）における例えばＲ，Ｇ，Ｂ成分画像における各画素値を抽出して、該内視鏡画像における色彩的特徴の定量値を算出する処理を行う。

また、レリーズ操作した場合の視点から内壁までの距離が小さい程、優先度を高くする指標を生成し（て関連付け画像を生成し）ても良い。この場合、近接した距離が小さい状態で記録した内視鏡画像程、術者にとっての情報量が多いと考えられるために優先度を高くする。この場合に対しても、図１２の処理を、より簡略化した処理により優先度を付けて指標等を生成できる。
図１３は、所定の特徴位置としての尿道（頸部）から内壁の位置Ｐｓまでの距離に応じて、該距離が小さい場合を優先する指標生成用の項目を選択（設定）した場合に、生成される関連付け画像の１例を示す。
図１３の関連付け画像は、図１２に示す処理における距離Ｌを、視点Ｐｖを尿道（頸部）に置換した距離とし、距離の小さい順に優先度を付けるようにすることにより得られる。

図１４は、膀胱Ｂの内部でランダムバイオプシーを行う場合の順序を指標を生成する項目として選択した場合に、生成される関連付け画像の１例を示す。この場合、ランダムバイオプシーを行う場合の順序Ｂｉが優先度Ｐｉとなる。なお、図１５は、膀胱Ｂの断面図においてランダムバイオプシーを行う場合の順序Ｂｉを示す。
この他に、過去に手術した箇所からの距離に応じた特徴を反映する（項目を選択して）指標を生成し（て関連付け画像を生成し）ても良い。
また、通常光観察モードと特殊光観察モード（狭義には狭帯域光観察モード）とにおいて、内視鏡画像を記録した場合においては、特殊光観察モードにおいて記録した内視鏡画像を優先するように指標を生成し（て関連付け画像を生成し）ても良い。
また、上述した例では、主に複数の項目又は複数の特徴から１つの項目又は特徴を選択して、指標や関連付け画像を生成する場合を説明したが、複数の項目や複数の特徴を組み合わせて指標を生成するようにしても良い。

図１６は、例えば図６Ａ又は図６Ｂに示すテーブルによる優先度（病変発生頻度の特徴に基づく優先度）の他に、視点Ｐｖからの距離Ｌを考慮して指標を生成する処理を示す。
この場合の処理は、例えば図１２の処理を一部変更した処理となる。ステップＳ４１からステップＳ４５までは図１２の処理と同様であり、ステップＳ４５の次にステップＳ６１に示すようにテーブルを参照し、位置Ｐｓが該当する領域を求め、該領域の優先度Ｐｉを暫定的な優先度として算出し、その場合、距離Ｌの情報も付加する。例えばパラメータｊでの位置Ｐｓの暫定的な優先度Ｐｉ（Ｌ）を付加して、内視鏡画像に関連付けてメモリ２２に記録する。次にステップＳ４７の処理を行い、記録終了の指示でない場合にはステップＳ４８を経てステップＳ４３の処理に戻る。
一方、記録終了の指示の場合にはステップＳ６２に示すように暫定的な優先度Ｐｉ（Ｌ）を、テーブルの優先度の区分け順に従って、順序づける。この場合、距離Ｌを除外した場合に、優先度が等しくなる場合には、距離Ｌが小さい方を、優先度が高いと判定する。

例えば、図６Ａ又は図６Ｂのテーブルにおいては同じ領域に含まれる領域部分を、異なる距離から観察して（複数回）記録した場合には、テーブルにより決定される優先度は同じ優先度として算出されるが、図１６の処理により、距離が小さい方をより高い優先度にするように修正する。
次のステップＳ６３において、ステップＳ６２により修正した優先度を最終的な優先度としてメモリ２２に内視鏡画像に関連付けて記録し、図１６の処理を終了する。
図１７は図１６の動作の説明図を示す。図１７においては、例えば５回、内視鏡画像を記録し、その場合、図６Ａ又は図６Ｂのテーブルにおいて等しい優先度の領域内で複数回、記録した場合、テーブルから求められる優先度と共に、距離Ｌを付けて記録している。上記のように優先度が等しくなる場合には、最終的な優先度（図１７における最も右の欄）として距離Ｌが小さい方を、優先度が高いと判定する。なお、括弧で示すように等しい優先度のものに関して、さらに順序づける番号を付けて、最終的な優先度を表すようにしても良い。例えばＰ２−２はＰ２−３よりも優先度が高く、Ｐ２−１よりも優先度が低い。

図１６の処理のように行うことにより、１つの項目のみの特徴においては等しい優先度が発生するような場合に対しても、適切に優先度の順序付けができる。
このように本実施形態によれば、術者が望む順序で複数の画像を優先して確認することを可能とする医療装置を提供することができる。
また、本実施形態によれば、互いに異なる複数の特徴を反映した項目から選択して、選択された特徴を反映する指標を付けた関連付け画像を生成することができるので、術者の要望が異なる場合にも、広範囲に対応できる。
また、複数の特徴を組み合わせた内容の指標を付けた関連付け画像を生成することができるので、術者の詳細な要望にも対応することができる。
なお、図１６，図１７は、１つの項目に対して、この項目とは異なる距離に関する項目を組み合わせた例を説明したが、上述した複数の項目又は特徴における任意の２つ又は３つの項目又は特徴を適宜に組み合わせて関連付け画像を生成するようにしても良い。

本実施形態では、膀胱Ｂの球体としたが、膀胱Ｂの形状を楕円体、円錐体等の既知の形状としても良い。
さらに、検査前にＣＴ、ＭＲＩ、超音波等の装置で撮影した画像を利用して膀胱Ｂの内壁形状を取得するようにしても良い。

本出願は、２０１４年１１月１７日に日本国に出願された特願２０１４―２３２９３６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本明細書、請求の範囲、図面に引用されたものとする。

Claims (15)

1. 所定の臓器内に挿入された内視鏡における位置情報と視線情報を取得する情報取得部と、
   所定の視点から前記所定の臓器内を観察した画像を取得する画像取得部と、
   前記情報取得部により取得された前記位置情報及び前記視線情報を、前記所定の臓器のモデルの座標系に変換する位置合わせ部と、
   前記位置合わせ部によって前記所定の臓器のモデルの座標系に変換された前記位置情報及び前記視線情報に基づき、前記所定の視点から視線方向に対向する前記所定の臓器の内壁の位置情報を算出する位置算出部と、
   前記画像取得部による画像取得、若しくは前記内壁における所定の特徴に基づき規定される指標を生成する指標生成部と、
   前記画像取得部により取得された前記画像に対して、前記指標生成部により生成された前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部と、
   を備えることを特徴とする医療装置。
2. 前記指標生成部により生成された前記指標を、前記画像取得部により取得された前記画像に関連付ける関連付け部をさらに備え、
   前記画像生成部は、前記所定の臓器の３次元モデル画像又は前記所定の臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成することを特徴とする請求項１に記載の医療装置。
3. 更に、前記所定の視点の位置から前記位置算出部により算出された前記内壁の位置までの距離を算出する距離算出部を有することを特徴とする請求項１に記載の医療装置。
4. 前記指標生成部は、前記画像取得部により取得された前記画像に対して、前記所定の特徴に基づいて優先順位付けの情報を有する前記指標を生成することを特徴とする請求項１に記載の医療装置。
5. 更に、レリーズ操作が行われた際に前記画像取得部により取得された観察画像を記録する画像記録部を有し、
   前記指標生成部は、前記レリーズ操作が行われた際に前記画像取得部により取得された前記観察画像に対して、前記所定の特徴に基づいて優先順位付けの情報を有する前記指標を生成し、
   前記画像記録部は、前記優先順位付けの情報を有する前記指標を、前記観察画像と、前記観察画像が取得された前記所定の臓器の内壁上の位置の情報に関連付けて記録することを特徴とする請求項４に記載の医療装置。
6. 前記指標生成部が生成する指標を決定する前記所定の特徴は、前記レリーズ操作により前記画像記録部が前記観察画像を取得した時間であることを特徴とする請求項５に記載の医療装置。
7. 更に、前記所定の特徴としての視覚的特徴を定量化した定量値を生成する定量値生成部を有し、
   前記指標生成部は、前記定量値の大きさに基づき、前記内壁に対応付ける前記指標を決定することを特徴とする請求項１に記載の医療装置。
8. 前記関連付け部は、前記所定の特徴として前記内壁における病変発生頻度が指定された場合には、前記病変発生頻度に応じて区分された領域と、前記画像取得部により取得された前記画像とを関連付けることを特徴とする請求項２に記載の医療装置。
9. 更に、前記内壁において、前記所定の特徴に基づいて予め区分けした複数の領域に対して、各領域毎にそれぞれ異なる優先準位を付けたテーブルデータを格納するテーブルデータ格納部を有し、
   前記指標生成部は、前記画像取得部により取得された前記画像における前記視線方向上となる前記位置情報が前記テーブルデータにおけるいずれの領域に含まれるかに応じて前記優先順位付けの情報を有する前記指標を生成することを特徴とする請求項４に記載の医療装置。
10. 更に、前記所定の特徴としての視覚的特徴を定量化した定量値を生成する定量値生成部を有し、
    前記定量値は、所定の定量化基準位置からの距離であり、前記所定の定量化基準位置は、前記所定の視点又は前記所定の臓器中の所定の特徴位置であることを特徴とする請求項１に記載の医療装置。
11. 更に、前記所定の特徴としての視覚的特徴を形成する色彩的特徴を定量化した定量値を生成する定量値生成部を有することを特徴とする請求項１に記載の医療装置。
12. 被検体からの光を受け、前記被検体の光学像を結像する対物光学系と、
    前記位置情報と前記視線情報として前記情報取得部によって取得された前記対物光学系の位置情報と視線情報を、前記所定の臓器の形状に対して合わせ込む位置合わせ部と、を備えることを特徴とする請求項１に記載の医療装置。
13. 前記指標生成部が生成する指標を決定する前記所定の特徴として、前記内壁における病変発生頻度を選択する選択部を有することを特徴とする請求項１に記載の医療装置。
14. 前記画像記録部に記録された前記観察画像の再生指示がされた場合には、前記優先順位付けの情報を有する前記指標における前記優先順位付けが高い指標に関連付けられた観察画像を優先して読み出し、表示装置に表示する制御部を有することを特徴とする請求項５に記載の医療装置。
15. 前記画像記録部に記録された前記観察画像における複数枚の画像再生の指示がされた場合には、前記優先順位付けが高い指標に関連付けられた観察画像を優先して前記複数枚だけ読み出して表示装置に表示すると共に、前記表示装置に表示された前記複数枚の観察画像に関連付けた前記優先順位付けの情報を有する前記指標を前記所定の臓器の３次元画像上又は前記所定の臓器の２次元モデル画像上に重畳して表示する制御部を有することを特徴とする請求項５に記載の医療装置。

Images