JPWO2015190186A1 - 内視鏡システム、内視鏡システムの作動方法 - Google Patents

Abstract

予め取得した被検体画像を記憶する第１の記憶部（２１）と、被検体画像から３次元画像を構築して管腔臓器画像を抽出する管腔臓器抽出部（２２）と、取得された対物光学系の位置を管腔臓器画像に位置合わせする位置合わせ部（２６）と、対物光学系を含む撮像系によって撮像された撮像画像に係る画角表示を生成する画角表示情報生成部（２７）と、所定の管腔臓器画像における位置合わせされた位置に画角表示を重畳した重畳画像を作成する画像処理部（２３）と、を備える内視鏡システム。

Description

本発明は、構築した３次元画像情報内の管腔臓器画像情報を参考に管腔臓器を観察し得る内視鏡システム、内視鏡システムの作動方法に関する。

内視鏡装置は、例えば、体腔内臓器の観察や必要に応じて処置具を用いて治療処置を行う医療用内視鏡として、広く用いられている。このような内視鏡装置で観察や治療処置を行う場合、内視鏡の挿入部を管腔内に挿入していき、挿入部の先端部を病変部等の目的地に早くかつ正確に到達させる必要がある。

そこで、内視鏡の挿入部を目的地まで到達させるために、ナビゲーション画像を表示して案内を行うナビゲーション技術が従来より提案されている。

例えば、日本国特開２０１２−１１０５４９号公報には、仮想内視鏡画像と実内視鏡画像との視点位置の対応関係を、例えば観察経路の端点からの距離に基づいて特定し、仮想内視鏡画像と実内視鏡画像とを、並べる、あるいは中心位置が重なるように重畳する、等で同時に表示する技術が記載されている。

また、日本国特開２０１１−２１２２４４号公報には、仮想内視鏡の視点、中心視線ベクトル、画角を、注目構造物の位置を考慮しながら、内視鏡位置、中心視線ベクトル、および内視鏡の画角に基づいて決定し、３次元医用画像から仮想内視鏡画像を生成する技術が記載されている。

従来のナビゲーションシステムでは、視点となる内視鏡先端が所望の位置へ挿入されたか否かを判断することができ、このときには視点の位置だけでなく視点からの視線方向をナビゲーション画像から判断することも可能であった。

ところで、体腔内臓器の中には、気管支や腎臓などの、複数に分岐した管腔を有する管腔臓器がある。

これらの内の例えば腎臓では結石が生じることがあり、こうした結石を取り除く処置が、内視鏡の先端から突出する処置具等を用いて、腎盂、腎杯内を内視鏡で観察しながら行われている。

具体的に、結石は、まず破砕されて細分化される。このときに、破砕後の残石の有無を確認するために、腎盂、腎杯内を内視鏡でくまなく観察することが望まれる。

しかしながら、腎盂尿管用の内視鏡は細径であるために、対物光学系に対する構造上の制約が大きく、広い視野角の対物光学系を採用することは技術的に難易度が高い。さらに、観察は、例えば生理食塩水中で行われ、生理食塩水の屈折率は空気よりも大きいために、空気中で観察する場合に比べて視野角がより狭くなってしまう。従って、ある位置に内視鏡先端があるからといって、その位置よりも先端側が全て観察されるとは限らない。

加えて、腎杯は、入口が狭く奥が広い円錐状をなしている場合が多いために、内視鏡先端が小腎杯に入って正面に当たる円錐の底面部分を観察することができたからといって、側面部分の全てを観察したことにはならず、つまり腎杯内の表面粘膜の全てを観察したとは言い切れない。

そして、管腔臓器の俯瞰画像上に視点位置や視線方向が表示されたとしても、俯瞰画像における観察範囲を術者が直感的に把握することは困難であった。

また、カルテ等に載せるために記録写真を撮像した場合にも、従来のナビゲーションシステムでは、記録写真の撮像範囲を容易に把握することは困難であった。

本発明は上記事情に鑑みてなされたものであり、管腔臓器における観察範囲を分かり易く提示することができる内視鏡システム、内視鏡システムの作動方法を提供することを目的としている。

本発明のある態様による内視鏡システムは、３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶する第１の記憶部と、前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する管腔臓器抽出部と、前記被検体内の光学像を結像する対物光学系の位置情報を取得する位置情報取得部と、前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせする位置合わせ部と、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成する画角表示情報生成部と、前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成する画像処理部と、を具備する。

本発明のある態様による内視鏡システムの作動方法は、第１の記憶部と、管腔臓器抽出部と、位置情報取得部と、位置合わせ部と、画角表示情報生成部と、画像処理部と、を具備する内視鏡システムの作動方法であって、前記第１の記憶部が、３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶し、前記管腔臓器抽出部が、前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出し、前記位置情報取得部が、前記被検体内の光学像を結像する対物光学系の位置情報を取得し、前記位置合わせ部が、前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせし、前記画角表示情報生成部が、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成し、前記画像処理部が、前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成する。

本発明の実施形態１における内視鏡システムの構成を示す図。 上記実施形態１の画像処理装置の構成を示すブロック図。 上記実施形態１における内視鏡システムの作用を示すフローチャート。 上記実施形態１における表示装置の表示画面の表示例を示す図。 上記実施形態１において、画角表示情報が重畳された俯瞰画像の一例を示す図。 上記実施形態１において、俯瞰画像に画角表示情報と共に観察可能／不能マークを付した例を示す図。 上記実施形態１において、画角表示情報が重畳された俯瞰画像の他の例を示す図。 上記実施形態１において、異なる複数方向から見た複数の俯瞰画像に画角表示情報を表示する例を示す図。 上記実施形態１において、フリーズ画角表示ボタンが操作されたときに表示される画角表示情報の例を示す図。 上記実施形態１において、累積画角表示ボタンが操作されたときに俯瞰画像に表示される画角表示情報の例を示す図。 上記実施形態１において、累積画角表示ボタンが操作されたときに異なる方向から見た俯瞰画像に表示される画角表示情報の例を示す図。 本発明の実施形態２の内視鏡システムにおける自動重畳画像表示処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は内視鏡システム１の構成を示す図である。

図１に示すように、内視鏡システム１は、内視鏡２とカメラコントロールユニット（ＣＣＵ）３とを有する内視鏡装置４と、位置検出装置５と、サーバ６と、画像処理装置７と、表示装置８と、を備えている。

内視鏡２は、被検体内に挿入される可撓性を有する細長の挿入部１１と、この挿入部１１の基端部に連設された操作部１２と、この操作部１２の側面から延設されたケーブル１３と、を備えている。

操作部１２には、記録用の撮像画像を取得するための撮像指示データを発生させる（撮像指示が入力される）撮像指示部であるレリーズボタン１２ａと、被検体を観察している画像の画角を表示するための画角表示指示データを発生させる（画角表示指示が入力される）画角表示ボタン１２ｂと、有効期間中は操作された時点の画角を表示するためのフリーズ画角表示指示データを発生させる（フリーズ画角表示指示が入力される）取得指示部たるフリーズ画角表示ボタン１２ｃと、過去の画角表示情報を累積して表示するための累積画角表示指示データを発生させる（累積画角表示指示が入力される）累積表示指示部たる累積画角表示ボタン１２ｄと、が設けられている。ここに、画角表示ボタン１２ｂは、重畳画像生成オン／オフを選択するための選択指示が入力される重畳画像選択指示部となっている。

なお、上述したような各ボタン１２ａ〜１２ｄは、内視鏡２の操作部１２に設けるに限るものではなく、例えばフットスイッチとして設けても良いし、その他の構成のスイッチ等として設けても構わない。

挿入部１１の先端部には、被検体内を撮像するための撮像系１０が設けられている。この撮像系１０は、具体的には、被検体内の光学像を結像する対物光学系と、この対物光学系により結像された光学像を光電変換して撮像信号を生成するＣＣＤ等の撮像素子と、を備えている。内視鏡２は、ケーブル１３を介してＣＣＵ３に接続されていて、撮像系１０で撮像された撮像信号はＣＣＵ３へ送信される。

ＣＣＵ３は、内視鏡２から送信された撮像信号に所定の画像処理を施して、内視鏡画像データを生成する。また、ＣＣＵ３は、接続された内視鏡２の型番等や内視鏡装置４の動作状態などに基づいて、画角情報を含む内視鏡仕様データを生成する。ここに、例えばＣＣＵ３の画像処理により電子ズームが行われる場合には観察画像の画角範囲が変化し、また、内視鏡２がズーム可能な対物光学系を備えている場合にも画角範囲が変化することになるために、画角情報は送信に際してのリアルタイムデータが用いられる。

また、挿入部１１の先端部から基端部には、所定の間隔で図示しない複数の受信コイルが設けられている。これら複数の受信コイルは、位置検出装置５が発生する磁界に応じて、電気信号をそれぞれ出力する。内視鏡２は、ケーブル１４を介して位置検出装置５に接続されており、受信コイルから出力された各電気信号は位置検出装置５へ送信される。

位置情報取得部としての位置検出装置５は、複数の受信コイルの内の、挿入部１１の先端部に設けられた受信コイルからの電気信号に基づき、挿入部１１の先端、より具体的には撮像系１０における対物光学系（あるいは、視点ということもできる）の位置情報（この位置情報は、対物光学系の３次元位置および対物光学系の光軸方向の各情報を含む）を演算して取得する。この位置検出装置５による位置情報の取得は、例えば、一定の時間間隔毎に繰り返して行われる。

そして、位置検出装置５は、上述した複数の受信コイルからの電気信号に基づいて、挿入部１１の挿入形状を示す挿入形状データを演算して取得する。なお、ここでは受信コイルを利用して湾曲形状データを取得するようにしたが、これに限らず、例えばＦＢＧ（ファイバブラッググレーティング：Fiber Bragg Grating）センサ等を用いて湾曲形状データを取得するようにしても構わない。

上述したＣＣＵ３、位置検出装置５、およびサーバ６は、画像処理装置７に接続されている。これらの内のサーバ６は、例えば、院内のＬＡＮ等の通信回線を介して、画像処理装置７に接続されている。

ＣＣＵ３は、内視鏡画像データと、内視鏡仕様データと、上述した撮像指示データ、画角表示指示データ、フリーズ画角表示指示データ、累積画角表示指示データ、等の各指示データと、を画像処理装置７へ送信する。

位置検出装置５は、対物光学系の位置情報（位置および方向データ）と、挿入部１１の挿入形状データと、を画像処理装置７へ送信する。

一方、サーバ６は、例えば、この内視鏡システム１による検査を行う前にＣＴ、ＭＲＩ、あるいはＰＥＴ等により予め取得されている術前マルチスライス画像データ１６ａ〜１６ｎを格納している。そして、サーバ６は、これらの術前マルチスライス画像データ１６ａ〜１６ｎを画像処理装置７へ送信する。なお、ここでは画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ〜１６ｎを読み込んだが、これに代えて、術前マルチスライス画像データ１６ａ〜１６ｎを記憶させたＣＤ−ＲＯＭ等の可搬な記録媒体から読み込むようにしても構わないことは勿論である。

画像処理装置７は、ＣＣＵ３、位置検出装置５、およびサーバ６から取り込んだ各データに基づいて、後述する処理を行って画像データを作成する。

画像処理装置７は表示装置８と接続されていて、表示装置８は、画像処理装置７により作成された画像データを受信して表示する。この表示装置８は、後述するように画像処理装置７により作成される重畳画像を表示する表示部となっている。

次に、図２は、画像処理装置７の構成を示すブロック図である。

画像処理装置７は、第１の記憶部２１と、管腔臓器抽出部２２と、画像処理部２３と、第２の記憶部２４と、を備えている。

第１の記憶部２１は、３次元画像情報を構築するための、予め取得した被検体に関する画像情報である術前マルチスライス画像データ１６ａ〜１６ｎを記憶する。

管腔臓器抽出部２２は、第１の記憶部２１に記憶されている画像情報を読み出して３次元画像情報を構築し、さらに、３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する。ここでは、抽出する管腔臓器画像情報は、腎臓の管腔構造を示す画像情報であるものとする。このとき、管腔臓器抽出部２２は、管腔臓器４１として、例えば尿管４２、腎盂４３、大腎杯４４、小腎杯４５、腎乳頭４６（あるいはさらに必要に応じて膀胱や尿道）を含む所定の管腔臓器を抽出する（図４参照）。

画像処理部２３は、位置合わせ部２６と、画角表示情報生成部２７と、重畳画像作成部２８と、画像読出部２９と、を備えている。

位置合わせ部２６は、管腔臓器抽出部２２により抽出された３次元画像情報としての所定の管腔臓器画像情報に対して、位置検出装置５で取得された位置情報（対物光学系の位置情報を含む）を位置合わせする。この位置合わせ部２６による位置合わせは、例えば、位置検出装置５で取得される実空間座標から、３次元画像情報が構築される３次元画像座標への変換式の算出により行われる。

なお、位置合わせの方法は、上述した変換式を用いる方法に限るものでなく、例えば、日本国特開２００５−３１２７７０号公報に開示されているような、患者の体表の特徴点の位置検出と３次元画像データ上での特徴点指定とに基づく位置合わせ方法や、日本国特開２００９−２７９２５１号公報に開示されているような、内視鏡画像と仮想内視鏡画像とのマッチングによる位置合わせ方法などを採用しても構わない。

画角表示情報生成部２７は、ＣＣＵ３から受信した内視鏡仕様データ中の画角情報に基づき、対物光学系を含む撮像系１０によって撮像された撮像画像の画角情報を示す画角表示情報を生成する。具体的に、画角表示情報生成部２７が生成する画角表示情報は、一点を起点として延伸する画角範囲を示す境界線を含むものとなっており、具体例としては、扇形、円錐形、四角錐形などが挙げられる。ここに扇形は例えば３次元画像情報から作成された２次元画像情報に重畳するのに適しており、円錐形は３次元画像情報に対して重畳するのに適しており、四角錐形は撮像素子の撮像面の形状（一般的には四角形状）を考慮して３次元画像情報に対して重畳するのに適している。

画像処理部２３は、画角表示情報における境界線の起点を、位置合わせ部２６により位置合わせされた位置情報で示される対物光学系の位置に設定する。

画像処理部２３の重畳画像作成部２８は、所定の管腔臓器画像情報における位置合わせ部２６によって位置合わせされた位置情報で示される位置に、画角表示情報生成部２７により生成された画角表示情報を重畳して、重畳画像を作成する。

この重畳画像作成部２８による重畳画像の作成は、画角表示ボタン１２ｂにより重畳画像生成オンが選択されると、重畳画像生成オフが選択されるまでは、上述したように一定の時間間隔毎に繰り返して行われる位置検出装置５による位置情報の取得に応じて行うことになる。このときに表示装置８は、選択指示が重畳画像生成オンである間は重畳画像を表示する。これにより、画角表示情報がリアルタイムで表示されることになる。また、重畳画像作成部２８は、画角表示ボタン１２ｂにより重畳画像生成オフが選択されると、例えば重畳画像を生成しない（ただし、後述するように第２の記憶部２４に重畳画像を記憶して下記の累積画角表示を行う場合には、画角表示ボタン１２ｂの操作状態に関わらず重畳画像を作成しても構わない）。

そして、累積画角表示ボタン１２ｄが操作された場合に備えるためには、重畳画像作成部２８は、一定の時間間隔毎に繰り返して行われる位置検出装置５による位置情報の取得に応じて重畳画像の作成を行うことになる。

一方、フリーズ画角表示ボタン１２ｃが操作された場合には、重畳画像作成部２８は、操作がなされた時点で重畳画像を作成すれば良い。

また、重畳画像作成部２８による重畳処理は、管腔臓器抽出部２２により抽出された３次元画像情報としての所定の管腔臓器画像情報に対して画角表示情報を重畳する場合と、３次元画像情報としての所定の管腔臓器画像情報から２次元画像情報としての所定の管腔臓器画像情報を俯瞰画像や切出画像などとして作成してから画角表示情報を重畳する場合と、がある。

作成された重畳画像が２次元画像である場合には、この２次元重畳画像が表示装置８へ出力する画像データとなるが、作成された重畳画像が３次元画像である場合には、画像処理部２３は、重畳画像から俯瞰画像や切出画像などの２次元重畳画像を作成して表示装置８へ出力する画像データとする。

第２の記憶部２４は、作成された２次元重畳画像と、位置情報および画角情報（具体的には、サーバ６に記憶されている術前マルチスライス画像データ１６ａ〜１６ｎに基づいて２次元重畳画像を作成するためのデータである対物光学系の位置情報（位置および方向データ）および撮像画像の画角情報）と、の少なくとも一方を記憶する。

ここに、第２の記憶部２４は、カルテ等に載せる記録写真が撮影された位置や方向を後で把握し易くするために、２次元重畳画像と、位置情報および画角情報と、の少なくとも一方の記憶を、撮像系１０によって撮像された撮像画像に関連付けて行うと良い。このとき、関連付けた記憶を行うタイミングに、撮像指示部であるレリーズボタン１２ａから撮像指示が入力されたタイミングを含むようにすると良い。

画像読出部２９は、第２の記憶部２４から読み出した２次元重畳画像、または、第２の記憶部２４から読み出した位置情報および画角情報に基づき作成された２次元重畳画像を、表示装置８へ表示用に出力するものである。上述した取得指示部であるフリーズ画角表示ボタン１２ｃが発生させるフリーズ画角表示指示データは、第２の記憶部２４から情報を取得するための取得指示となっている。

従って、画像読出部２９は、取得指示に応じて、取得指示の入力開始時点における２次元重畳画像を第２の記憶部２４から読み出す。

あるいは、画像読出部２９は、取得指示に応じて、取得指示の入力開始時点における位置情報および画角情報を第２の記憶部２４から読み出して、読み出した位置情報および画角情報に基づき、画像処理部２３に２次元重畳画像を作成させる。

そして、画像読出部２９は、取得指示が有効である間は、２次元重畳画像を表示用に出力し続ける。これにより、取得指示が有効である期間中は、フリーズ画角表示ボタン１２ｃが操作された時点の画角が表示され続けることになる。

次に、図３は内視鏡システム１の作用を示すフローチャート、図４は表示装置８の表示画面８ａの表示例を示す図である。

なお、図４の表示画面８ａに表示される画像は、画像処理装置７で処理された後の最終的な２次元画像データであるが、以下においては、図４中に示す２次元画像データの符号を適宜用いて説明を行う。

図４に示すように、表示装置８の表示画面８ａには、例えば俯瞰画像３１と、仮想内視鏡画像３２と、内視鏡画像３３と、が表示されている。ここに、俯瞰画像３１は３次元画像データとして構築された管腔臓器を俯瞰したときの、立体的に観察される管腔臓器の２次元画像である。また、仮想内視鏡画像３２は、３次元画像データとして構築された管腔臓器を、対物光学系の視点から観察したときの２次元画像である。そして、内視鏡画像３３は撮像系１０によって撮像された撮像画像である。なお、図４に示す表示例は単なる一例であり、その他の情報を表示する、あるいは幾つかの情報の表示を省略する等を行っても構わない。

図４に示す俯瞰画像３１には、管腔臓器４１における、尿管４２、腎盂４３、大腎杯４４、小腎杯４５、腎乳頭４６が表示され、さらに、ナビゲーションとしての現在の挿入部１１の挿入形状を示す挿入部画像５１が表示されている。この挿入部画像５１の先端が、現在の対物光学系の位置５０である。図４の俯瞰画像３１に示す例では、現在の対物光学系の位置５０は大腎杯４４内となっている。

図４に示す内視鏡画像３３は、挿入部１１の対物光学系が大腎杯４４内にあるのに対応して、大腎杯４４から観察される複数の小腎杯４５の開口が表示されている。

また、仮想内視鏡画像３２は、現在の対物光学系の位置５０から観察されるはずの複数の小腎杯４５の開口が表示されている。

次に、例えば、腎臓結石を破砕して細分化した後に、結石の破片が残存しているかどうかを検査する際に内視鏡システム１を用いる場合を例に挙げて説明する。このような検査においては、結石の破片の見落としがないように、腎臓の管腔内をくまなく検査することが必要である。

このときに術者は、まず、従来と同様のナビゲーションを利用して、目的の小腎杯４５まで挿入を行う。そして、目的の小腎杯４５内を内視鏡でくまなく見回す検査を行う。このような検査において、術者が所望のタイミングで操作部１２の画角表示ボタン１２ｂを操作することにより、画角表示が行われる。

また、画角表示を参照しながら小腎杯４５の観察を行って、１つの小腎杯４５内を全て観察したと術者が判断した場合には、再び従来と同様のナビゲーションを利用して、次の小腎杯４５に移動して観察を行うことになる。この小腎杯４５間の移動に際して、画角表示が不要である場合には、術者は、画角表示ボタン１２ｂを操作して画角表示をオフにすることも可能となっている。

続いて、図３を参照して、内視鏡システム１の作用の詳細について説明する。

図３に示す処理を開始すると、管腔臓器抽出部２２が、上述したように術前マルチスライス画像データ１６ａ〜１６ｎを読み出して３次元画像情報を構築し、さらに、構築した３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する（ステップＳ１）。

一方で、位置合わせ部２６は、位置検出装置５から対物光学系の位置情報（位置および方向データ）を取得する（ステップＳ２）。

そして、位置合わせ部２６は、取得した位置情報で示される実空間座標と、３次元画像情報が構築されている３次元画像座標と、の位置合わせを行う（ステップＳ３）。

また、画角表示情報生成部２７は、ＣＣＵ３から内視鏡仕様データを取得して、内視鏡仕様データに含まれる画角情報に基づいて、画角範囲を示す境界線を含む画角表示情報を生成する（ステップＳ４）。

その後、画像処理部２３は、画角表示ボタン１２ｂが操作されてＣＣＵ３から画角表示指示データが入力されたか否かを判定する（ステップＳ５）。

ここで、画角表示指示データが入力されたと判定された場合には、重畳画像作成部２８が、位置合わせ部２６により位置合わせされた位置情報に基づいて、管腔臓器抽出部２２により抽出された管腔臓器の３次元画像上に、挿入部画像５１および画角表示情報生成部２７により生成された画角表示情報を重畳した重畳画像を作成する（ステップＳ６）。

一方、画角表示指示データが入力されなかったと判定された場合には、重畳画像作成部２８が、位置合わせ部２６により位置合わせされた位置情報に基づいて、管腔臓器抽出部２２により抽出された管腔臓器の３次元画像上に、挿入部画像５１を重畳した重畳画像を作成する（ステップＳ７）。

画像処理部２３は、作成された重畳画像から俯瞰画像３１を作成し、仮想内視鏡画像３２や内視鏡画像３３と共に表示用の画像データを構成してから、画像データを表示装置８へ出力する。これにより、表示装置８には重畳画像としての俯瞰画像３１を含む画像が表示される（ステップＳ８）。

その後、この処理を終了するか否かを判定して（ステップＳ９）、未だ終了しないと判定された場合にはステップＳ２へ戻って上述したような処理を繰り返して行い、終了すると判定された場合にはこの処理を終える。

図５は、画角表示情報５２が重畳された俯瞰画像３１の一例を示す図である。

俯瞰画像３１の挿入部画像５１の先端における対物光学系の位置５０を起点として、画角範囲を示す角度の扇形をなす境界線として生成された画角表示情報５２が、対物光学系の光軸方向に合わせた方向を中心として広がるように表示されている。

このように表示された画角表示情報５２を、内視鏡画像３３や仮想内視鏡画像３２と併用すると、観察される小腎杯４５の開口と、観察されない小腎杯４５の開口と、を判別することができる。すなわち、内視鏡画像３３や仮想内視鏡画像３２に表示されている小腎杯４５の開口は、図４に示す例においては３つであるのに対して、図５に示す俯瞰画像３１においては４つ存在している場合に、１つの小腎杯４５の開口が観察されていないと判別される。

この判別は、図５に示すような俯瞰画像３１と、内視鏡画像３３または仮想内視鏡画像３２とを見比べることにより術者が行っても良いが、画像処理部２３により判別処理を行って判別結果をナビゲーション情報の１つとして表示等するようにしても構わない。

図６は俯瞰画像３１に画角表示情報５２と共に観察可能／不能マークを付した例を示す図である。

すなわち、図６に示すように、俯瞰画像３１における管腔臓器４１の画角表示情報５２により示される範囲内にある小腎杯４５の開口に、例えば、観察可能マーク５３と、観察不能マーク５４と、を表示するようにしても良い。ただし、図６に示す表示は一例であり、その他の表示態様をとっても良いし、表示と共に、あるいは表示に代えて、音声やその他の方法によりナビゲーションを行うようにしても構わない。

また、図７は、画角表示情報５２が重畳された俯瞰画像３１の他の例を示す図である。

図５に示した画角表示情報５２は扇形の境界線のみであったが、実際の観察範囲は立体角であるために、この図７に示す例では画角表示情報５５を円錐形の表示情報としている。ただし、撮像素子の撮像面の形状を考慮して例えば四角錐形の表示情報としても良いのは上述した通りである。

次に、図８は、異なる複数方向から見た複数の俯瞰画像３１，３４に画角表示情報を表示する例を示す図である。

画像処理部２３は、異なる複数方向から見た複数の２次元重畳画像を作成可能となっている。

この場合には、表示装置８の表示画面８ａに、内視鏡画像３３と、俯瞰画像３１と、この俯瞰画像３１とは別の角度から見た第２の俯瞰画像３４と、が表示される。なお、この図８に示す例では仮想内視鏡画像３２に代えて第２の俯瞰画像３４を表示しているが、俯瞰画像３１、仮想内視鏡画像３２、および内視鏡画像３３にさらに追加して第２の俯瞰画像３４を表示する等であっても構わない。

ここに、第２の俯瞰画像３４は、図８において矢印Ａの方向から俯瞰したときの画像となっていて、３次元画像情報として構築された管腔臓器を画像処理部２３が３次元画像座標内で回転させることにより、生成される。

そして、俯瞰画像３１には図５と同様に所定長さの扇形の境界線で構成される画角表示情報５２が表示され、第２の俯瞰画像３４には矢印Ａの方向から境界線の先端を見たときの形状である例えば円形の画角範囲を示す画角表示情報５２ａが表示される。なお、撮像素子の撮像面の形状を考慮して、この画角表示情報５２ａを例えば四角形としても良いことは上述と同様である。

こうして、異なる複数方向から見た複数の俯瞰画像３１，３４において画角表示情報５２，５２ａを表示することによっても、観察範囲を立体的に把握することが可能となる。

続いて、図９は、フリーズ画角表示ボタン１２ｃが操作されたときに表示される画角表示情報の例を示す図である。

上述したように、画角表示ボタン１２ｂが操作されたときには、現在の対物光学系の位置５０を起点として画角表示情報をリアルタイムに表示するようになっている。

これに対して、取得指示部であるフリーズ画角表示ボタン１２ｃが操作されたときには、操作された時点の画角表示情報を、フリーズ画角表示指示が有効である間は継続して表示し続けるようになっている。

すなわち、画像処理部２３にフリーズ画角表示指示データが入力されると、画像読出部２９は、取得指示の入力開始時点における、２次元重畳画像、または、位置情報および画角情報を第２の記憶部２４から読み出す。従って、フリーズ画角表示ボタン１２ｃは、第２の記憶部２４から情報を取得するための取得指示が入力される取得指示部となっている。

ここで読み出したデータが位置情報および画角情報である場合には、画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ〜１６ｎを読み出して、第２の記憶部２４から読み出した位置情報および画角情報を位置合わせ部２６により位置合わせした後に、取得指示の入力開始時点における２次元重畳画像を作成する。

画像読出部２９は、読み出された、または読み出された情報に基づき作成された、取得指示の入力開始時点における２次元重畳画像を、取得指示が有効である間は表示用として表示装置８へ出力し続けるようになっている。

これにより、図９に示すように、フリーズ画角表示ボタン１２ｃが操作された後に対物光学系の位置５０が変化したとしても、画角表示情報６２は、フリーズ画角表示ボタン１２ｃが操作された時点の対物光学系の位置６１を起点としてフリーズ表示され続けることになる。

このフリーズ表示は、その後にフリーズ画角表示ボタン１２ｃが操作されてフリーズ画角表示指示が取り消された時点で、画面から消去される。

次に、図１０は累積画角表示ボタン１２ｄが操作されたときに俯瞰画像に表示される画角表示情報の例を示す図、図１１は累積画角表示ボタン１２ｄが操作されたときに異なる方向から見た俯瞰画像に表示される画角表示情報の例を示す図である。ここに、図１１は、図１０において矢印Ｂの方向から見たときの画像となっている。

累積表示指示部である累積画角表示ボタン１２ｄが操作され、累積画角表示指示が入力されると、過去の画角表示情報が累積して表示されるようになっている。

まず、第２の記憶部２４は、過去の複数の時点における、２次元重畳画像と、位置情報および画角情報と、の少なくとも一方を記憶している。なお、累積画角表示をリセットすることも可能であるために、リセット操作が行われた場合には、リセット操作以前の時点で取得された２次元重畳画像、および、リセット操作以前の時点で取得された位置情報および画角情報を消去するようにしても良い。

そして、画像処理部２３は、累積画角表示指示が入力された場合には、過去の複数の時点における２次元重畳画像を累積的に重畳した累積２次元重畳画像と、過去の複数の時点における位置情報および画角情報と、の少なくとも一方を第２の記憶部２４から読み出す。

ここで、第２の記憶部２４から読み出したのが、過去の複数の時点における位置情報および画角情報である場合には、画像処理装置７は、サーバ６から術前マルチスライス画像データ１６ａ〜１６ｎを読み出して、第２の記憶部２４から読み出した過去の複数の時点における位置情報および画角情報を位置合わせ部２６により位置合わせした後に、過去の複数の時点における２次元重畳画像を作成する。

その後、画像処理部２３は、第２の記憶部２４から読み出した、または、第２の記憶部２４から読み出した位置情報および画角情報に基づき作成された、過去の複数の時点における２次元重畳画像を累積的に重畳して、過去の画角が累積して表示される累積２次元重畳画像を作成する。

こうして表示装置８には、例えば図１０や図１１に示すような累積２次元重畳画像が表示される。

まず、図１０および図１１は、小腎杯４５の開口４５ａから、小腎杯４５の内部を観察するときの様子を示している。この例においては、小腎杯４５の内部４５ｂは、開口４５ａよりも広くなっている。

そして、ハッチングを付して示す累積画角表示情報７１は、小腎杯４５の内部４５ｂにおける観察済みの画角範囲を示している。

また、画角表示情報５２，５２ａは、現在の対物光学系の位置５０から観察される小腎杯４５の内部４５ｂの範囲を示している。

一方、領域７２は、小腎杯４５における未観察の領域を示している。

なお、このような特定の小領域（ここでは小腎杯４５）をくまなく観察しようとしている場合には、特定の小領域を含む領域、つまり図１０において２点鎖線で示すような拡大対象領域７３を拡大して表示するようにすると良い。例えば、累積画角表示ボタン１２ｄが操作されて累積画角表示指示が有効である期間は、拡大対象領域７３を自動的に拡大して表示する等を行うようにしても良い。

このような実施形態１によれば、管腔臓器画像における位置合わせ部２６によって位置合わせされた位置に画角表示情報を重畳した重畳画像を作成するようにしたために、管腔臓器における観察範囲を分かり易く提示することが可能となる。

また、２次元重畳画像と、位置情報および画角情報と、の少なくとも一方を記憶する第２の記憶部２４を設けたために、ある時点における観察範囲を、後の時点で確認することが可能となる。特に、位置情報および画角情報を記憶する場合には、２次元重畳画像を記憶する場合に比して、記憶容量を削減することが可能となる。

さらに、第２の記憶部２４による２次元重畳画像と、位置情報および画角情報と、の少なくとも一方の記憶を、撮像系１０によって撮像された撮像画像に関連付けて行うようにしたために、カルテ等に載せるための記録写真として撮像画像を撮像した場合に、関連付けられた２次元重畳画像、もしくは関連付けられた位置情報および画角情報から作成される２次元重畳画像を参照すれば、記録写真の撮像範囲を容易に把握することが可能となる。

このとき、第２の記憶部２４による２次元重畳画像と、位置情報および画角情報と、の少なくとも一方の撮像画像に関連付けた記憶を、撮像指示部から撮像指示が入力された場合に行うようにすれば（つまり、関連付けた記憶を行うタイミングに、撮像指示部であるレリーズボタン１２ａから撮像指示が入力されたタイミングを含むようにすれば）、撮像画像が取得された時点の撮像範囲を確実に把握することが可能となる。

そして、画像読出部２９が、取得指示に応じて第２の記憶部２４から読み出した取得指示の入力開始時点における２次元重畳画像、または、取得指示に応じて第２の記憶部２４から読み出した取得指示の入力開始時点における位置情報および画角情報に基づき作成された２次元重畳画像を、取得指示が有効である間は表示用に出力し続けるようにしたために、フリーズ画角表示指示がなされた時点の観察範囲を、フリーズ表示が有効である期間中、継続して見ることが可能となる。これにより、現在の対物光学系の位置５０が例えば細かく変化したとしても、フリーズ画角表示指示時点の観察範囲を、安定して見ることができる。

加えて、位置検出装置５により位置情報が取得されることに応じて画像処理部２３が重畳画像を作成するようにした場合には、画角表示情報をリアルタイムで表示することが可能となる。また、累積画角表示を行うための重畳画像を予め蓄積しておくことも可能となる。

画像処理部２３が、画角表示ボタン１２ｂにより重畳画像生成オンが選択された場合に重畳画像を生成し、重畳画像生成オフが選択された場合に重畳画像を生成しないようにしたために、リアルタイム表示が必要な場合にのみ重畳画像が生成され、リアルタイム表示が不要な場合に処理負荷を軽減することが可能となる。

そして、選択指示が重畳画像生成オンである間は表示装置８が重畳画像を表示するようにした場合には、リアルタイムで表示される画角表示情報を観察することが可能となる。また、画角表示情報が常に重畳して表示されるのを好まない術者の場合にも、重畳画像生成オン／オフを選択することにより、画角表示情報の表示のオン／オフを所望に切り替えることが可能となる。

また、図８に示したような、異なる複数方向から見た複数の２次元重畳画像を作成して表示する場合には、観察範囲を立体的に把握することが可能となる。

さらに、画角表示情報が、位置情報で示される対物光学系の位置を起点として延伸する画角範囲を示す境界線を含むようにしたために、対物光学系の位置から観察される範囲を容易に把握することが可能となる。

画像処理部２３が、累積画角表示指示が入力された場合に、過去の複数の時点における２次元重畳画像を累積的に重畳した累積２次元重畳画像を作成するようにしたために、過去に観察済みの領域と、まだ未観察の領域とを容易に確認することが可能となる。

［実施形態２］
図１２は本発明の実施形態２を示したものであり、内視鏡システム１における自動重畳画像表示処理を示すフローチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１においては、重畳画像の表示、つまり画角表示情報の表示を術者からのボタン操作に応じて行っていたが、本実施形態は、自動処理により行うようにしたものとなっている。

すなわち、図１２に示す処理を開始すると、対物光学系が所定領域内、具体例を挙げれば小腎杯４５内に存在するか否かを判定する（ステップＳ１１）。

ここで、所定領域内に存在すると判定された場合には、所定領域に存在する継続時間が第１の閾値以上であるか否かを判定する（ステップＳ１２）。

ここで、第１の閾値以上であると判定された場合には、自動重畳画像表示をオンしてから（ステップＳ１３）、また第１の閾値未満であると判定された場合にはステップＳ１３の処理を行うことなく、ステップＳ１１の判定へ戻る。ここに、ステップＳ１３において自動重畳画像表示がオンになると、上述した実施形態１において説明したような重畳画像をリアルタイムで作成して表示する処理が行われる。

また、ステップＳ１１において、対物光学系が所定領域内に存在しないと判定された場合には、現在、自動重畳画像表示がオンであるか否かを判定する（ステップＳ１４）。

ここで自動重畳画像表示がオンであると判定された場合には、所定領域に存在しない継続時間が第２の閾値以上であるか否かを判定する（ステップＳ１５）。

ここで第２の閾値以上であると判定された場合には、自動重畳画像表示をオフしてから（ステップＳ１６）、また、ステップＳ１４において自動重畳画像表示がオフであると判定された場合およびステップＳ１５において第２の閾値未満であると判定された場合にはそのまま、ステップＳ１１の処理へ戻る。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、対物光学系が所定領域内に存在する継続時間が第１の閾値以上となった場合に重畳画像を自動的に作成するようにしたために、小腎杯４５等の特定領域を観察する際に、手動操作を行う手間を要することなく、観察される範囲を把握することが可能となる。

さらに、対物光学系が所定領域内に存在しない継続時間が第２の閾値未満である間は重畳画像を自動的に作成し続けるために、小腎杯４５等の特定領域の入口付近で画角表示情報の表示オン／オフが不安定に切り替わるのを防止して、安定した表示画面を見ながら観察を行うことができる。

そして、対物光学系が所定領域内に存在しない継続時間が第２の閾値以上になった場合には重畳画像の表示がオフになるために、手動操作を行う手間を要することなく、画角表示情報が表示されていない画面を観察しながら挿入位置の移動等を行うことが可能となる。

なお、上述では主として内視鏡システムについて説明したが、内視鏡システムを上述したように作動させる内視鏡システムの作動方法であっても良いし、コンピュータに該作動方法を実行させるためのプログラム、該プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１４年６月１０日に日本国に出願された特願２０１４−１１９７５４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

本発明のある態様による内視鏡システムは、被検体内に挿入される挿入部を有する内視鏡と、前記挿入部に設けられ、前記被検体内の光学像を結像する対物光学系と、前記対物光学系の位置情報を取得する位置情報取得部と、前記被検体に関わる３次元画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせする位置合わせ部と、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成する画角表示情報生成部と、ユーザにより操作可能に構成され、前記３次元画像情報に対して前記画角表示情報生成部で生成された前記画角表示情報を重畳させるよう指示する指示信号を出力する指示部と、前記指示部による前記指示信号の入力時点において取得された前記対物光学系の位置情報に対応する前記３次元画像情報上の位置に、前記画角表示情報を重畳した重畳画像を作成する画像処理部と、を具備する。

本発明のある態様による内視鏡システムの作動方法は、内視鏡と、対物光学系と、位置情報取得部と、位置合わせ部と、画角表示情報生成部と、指示部と、画像処理部と、を具備する内視鏡システムの作動方法であって、前記内視鏡の挿入部に設けられた前記対物光学系が、被検体内の光学像を結像し、前記位置情報取得部が、前記対物光学系の位置情報を取得し、前記位置合わせ部が、前記被検体に関わる３次元画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせし、前記画角表示情報生成部が、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成し、ユーザにより操作可能に構成された前記指示部が、前記３次元画像情報に対して前記画角表示情報生成部で生成された前記画角表示情報を重畳させるよう指示する指示信号を出力し、前記画像処理部が、前記指示部による前記指示信号の入力時点において取得された前記対物光学系の位置情報に対応する前記３次元画像情報上の位置に、前記画角表示情報を重畳した重畳画像を作成する。

Claims (13)

1. ３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶する第１の記憶部と、
   前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出する管腔臓器抽出部と、
   前記被検体内の光学像を結像する対物光学系の位置情報を取得する位置情報取得部と、
   前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせする位置合わせ部と、
   前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成する画角表示情報生成部と、
   前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成する画像処理部と、
   を具備することを特徴とする内視鏡システム。
2. 前記画像処理部は、さらに、前記重畳画像から２次元重畳画像を作成可能であり、
   前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を記憶する第２の記憶部をさらに具備することを特徴とする請求項１に記載の内視鏡システム。
3. 前記第２の記憶部は、前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を、前記撮像画像に関連付けて記憶することを特徴とする請求項２に記載の内視鏡システム。
4. 前記撮像画像を取得するための撮像指示が入力される撮像指示部をさらに具備し、
   前記第２の記憶部は、前記撮像指示部から前記撮像指示が入力された場合に、前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を、前記撮像画像に関連付けて記憶することを特徴とする請求項３に記載の内視鏡システム。
5. 前記第２の記憶部から情報を取得するための取得指示が入力される取得指示部と、
   前記取得指示に応じて前記第２の記憶部から読み出した該取得指示の入力開始時点における前記２次元重畳画像、または、前記取得指示に応じて前記第２の記憶部から読み出した該取得指示の入力開始時点における前記位置情報および前記画角情報に基づき作成された２次元重畳画像を、該取得指示が有効である間は表示用に出力し続ける画像読出部と、
   をさらに具備することを特徴とする請求項２に記載の内視鏡システム。
6. 前記画像処理部は、前記位置情報取得部により前記位置情報が取得されることに応じて前記重畳画像を作成することを特徴とする請求項１に記載の内視鏡システム。
7. 重畳画像生成オン／オフを選択するための選択指示が入力される重畳画像選択指示部をさらに具備し、
   前記画像処理部は、前記選択指示が重畳画像生成オンであるときには前記重畳画像を生成し、前記選択指示が重畳画像生成オフであるときには前記重畳画像を生成しないことを特徴とする請求項１に記載の内視鏡システム。
8. 前記重畳画像を表示する表示部をさらに具備し、
   前記表示部は、前記選択指示が重畳画像生成オンである間は前記重畳画像を表示することを特徴とする請求項７に記載の内視鏡システム。
9. 前記画像処理部は、さらに、前記重畳画像から、異なる複数方向から見た複数の２次元重畳画像を作成することを特徴とする請求項１に記載の内視鏡システム。
10. 前記画角表示情報は、前記位置情報で示される前記対物光学系の位置を起点として延伸する画角範囲を示す境界線を含むことを特徴とする請求項１に記載の内視鏡システム。
11. 過去の画角表示情報を累積して表示するための累積画角表示指示が入力される累積表示指示部をさらに具備し、
    前記第２の記憶部は、過去の複数の時点における、前記２次元重畳画像と、前記位置情報および前記画角情報と、の少なくとも一方を記憶し、
    前記画像処理部は、さらに、前記累積画角表示指示が入力された場合には、過去の複数の時点における前記２次元重畳画像を累積的に重畳した累積２次元重畳画像と、過去の複数の時点における前記位置情報および前記画角情報に基づき作成された累積２次元重畳画像と、の少なくとも一方を作成することを特徴とする請求項２に記載の内視鏡システム。
12. 前記画像処理部は、前記位置情報に基づき前記対物光学系が所定領域内に存在すると判定される継続時間が第１の閾値以上となった場合には、その後に該所定領域内に存在しないと判定される継続時間が第２の閾値以上になるまでは、重畳画像を自動的に作成することを特徴とする請求項１に記載の内視鏡システム。
13. 第１の記憶部と、管腔臓器抽出部と、位置情報取得部と、位置合わせ部と、画角表示情報生成部と、画像処理部と、を具備する内視鏡システムの作動方法であって、
    前記第１の記憶部が、３次元画像情報を構築するための、予め取得した被検体に関する画像情報を記憶し、
    前記管腔臓器抽出部が、前記画像情報から前記３次元画像情報を構築して当該３次元画像情報内に存在する所定の管腔臓器画像情報を抽出し、
    前記位置情報取得部が、前記被検体内の光学像を結像する対物光学系の位置情報を取得し、
    前記位置合わせ部が、前記所定の管腔臓器画像情報に対して、前記位置情報取得部で取得された位置情報を位置合わせし、
    前記画角表示情報生成部が、前記対物光学系を含む撮像系によって撮像された撮像画像の画角情報を示す画角表示情報を生成し、
    前記画像処理部が、前記所定の管腔臓器画像情報における前記位置合わせ部によって位置合わせされた前記位置情報で示される位置に、前記画角表示情報を重畳した重畳画像を作成することを特徴とする内視鏡システムの作動方法。

Images