JPWO2017203814A1 - 内視鏡装置 - Google Patents

Abstract

被検体の内部の画像を取得する内視鏡（１）と、被検体の３次元モデルデータを生成する３次元モデル生成部（２２）と、３次元モデルデータに基づいて３次元モデル画像を生成する画像生成部（２３）と、内視観察の進捗状況を示す進捗情報を生成する進捗情報生成部（２７）と、３次元モデル画像に関連付けて進捗情報を提示する提示制御部（２４）と、を備える内視鏡装置。

Description

本発明は、内視鏡観察を行う際に、被検体の３次元モデル画像を生成して表示可能とする内視鏡装置、内視鏡装置の作動方法に関する。

管腔臓器の３次元モデル画像を生成して、生成した３次元モデル画像上で未観察領域を術者へ提示する内視鏡観察支援技術が知られている。

例えば、ＷＯ２０１２／１０１８８８号公報には、予め取得した被検者の３次元画像に基づいて、挿入部の先端部を目標部位まで挿入するための挿入経路を生成し、３次元画像データから生成した断層画像に、生成した挿入経路を重畳して表示する医療機器が記載されている。さらに該公報には、既に通過した挿入経路と、目標位置までの挿入経路と、を異なる線種で３次元モデル画像に表示することが記載されている。

また、日本国特開２０１６−００２２０６号公報には、被検体の観察画像と、被検体の過去の検査情報に含まれる観察部位に関する情報と、を表示装置に表示し、表示装置に表示された情報に対応する観察部位の観察が完了したことを示す部位観察完了情報を登録する医療情報処理システムが記載されている。さらに該公報には、観察が完了した部位を例えば四角マークで、これから観察するべき部位を例えば三角マークで、未観察の部位を例えば丸マークで、それぞれ表示する技術が記載されている。

こうした内視鏡観察支援技術を用いれば、未観察領域のおおよその位置や個数を視覚的に判断することができ、見落としを防止するのに役立てることができる。

しかしながら、上述したような従来の技術では、現在の内視鏡観察が、全ての観察工程の中でどの段階まで進んでいるかの進捗状況を、直感的に把握するのが難しかった。

本発明は上記事情に鑑みてなされたものであり、内視鏡観察の進捗状況を直感的により容易に把握することができる内視鏡装置、内視鏡装置の作動方法を提供することを目的としている。

本発明の一態様による内視鏡装置は、３次元形状を有する被検体の内部の画像を取得する内視鏡と、前記被検体の３次元モデルデータを生成する３次元モデル生成部と、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成する画像生成部と、前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成する進捗情報生成部と、前記３次元モデル画像に関連付けて前記進捗情報を提示する提示制御部と、を備える。

本発明の他の態様による内視鏡装置の作動方法は、内視鏡が、３次元形状を有する被検体の内部の画像を取得し、３次元モデル生成部が、前記被検体の３次元モデルデータを生成し、画像生成部が、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成し、進捗情報生成部が、前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成し、提示制御部が、前記３次元モデル画像に関連付けて前記進捗情報を提示する方法である。

本発明の実施形態１の内視鏡装置の構成を示すブロック図。 上記実施形態１において、第１の例の進捗情報表示部を含む表示装置の表示画面の、観察途中の様子を示す図。 上記実施形態１において、第１の例の進捗情報表示部の観察開始時の様子を示す図。 上記実施形態１において、第２の例の進捗情報表示部の観察開始時の様子を示す図。 上記実施形態１において、第２の例の進捗情報表示部の観察途中の様子を示す図。 上記実施形態１の内視鏡装置の作用を示すフローチャート。 上記実施形態１において、第３の例の進捗情報表示部の観察開始時の様子を示す図。 上記実施形態１において、第３の例の進捗情報表示部の観察途中の様子を示す図。 上記実施形態１において、第４の例の進捗情報表示部の観察途中の様子を示す図。 上記実施形態１において、第５の例の進捗情報表示部の観察途中の様子を示す図。 本発明の実施形態２における内視鏡装置の、制御部に関連する構成を示すブロック図。 上記実施形態２において、進捗情報表示部の観察途中の例を示す図。 上記実施形態３における内視鏡装置の、制御部に関連する構成を示すブロック図。 上記実施形態３において、内視鏡により腎杯を観察しているときの、観察済み領域および未観察領域の例を示す図。 上記実施形態３において、図１４に示す観察状態のときに進捗情報生成部により生成される進捗情報の例を示す図。 上記実施形態３において、図１４に示す観察状態よりも観察が幾らか進んだときの、観察済み領域および未観察領域の例を示す図。 上記実施形態３において、図１６に示す観察状態のときに進捗情報生成部により生成される進捗情報の例を示す図。 上記実施形態３において、観察が完了して観察済み領域のみとなったときの例を示す図。 上記実施形態３において、図１８に示す観察完了状態のときに進捗情報生成部により生成される進捗情報の例を示す図。 上記実施形態３において、図１９に示す進捗情報を３次元モデル画像に重畳して表示する例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１０は本発明の実施形態１を示したものであり、図１は内視鏡装置の構成を示すブロック図である。

この内視鏡装置は、内視鏡１と、処理システム２と、表示装置４とを備え、必要に応じてさらにデータベース３を備えていてもよい。以下では、データベース３を備えていない場合を例に挙げて説明し、データベース３を備えている場合については適宜説明する。

内視鏡１は、３次元形状を有する被検体の内部を観察するために、被検体の内部の画像を取得する画像取得装置であり、撮像部１１と、照明部１２と、位置方位検出部１３と、を備えている。これら撮像部１１、照明部１２、および位置方位検出部１３は、例えば、内視鏡１の、被検体に挿入される挿入部の先端部に配置されている。

なお、本実施形態においては、３次元形状を有する被検体として腎臓の腎盂腎杯を例に挙げるが、これに限定されるものではなく、複数の管路を有し内視鏡観察が可能な被検体であれば広く適用することができる。

照明部１２は、被検体の内部へ向けて照明光を照射する。

撮像部１１は、照明光を照射された被検体の内部の光学像を光学系により結像して、撮像素子等により光電変換を行い、撮像画像信号を生成する。

位置方位検出部１３は、内視鏡１の挿入部の先端部の３次元位置を検出して位置情報として出力すると共に、内視鏡１の挿入部の先端部が向く方向を検出して方位情報として出力する。例えば、ｘｙｚ座標系を設定する場合には、位置情報は（ｘ，ｙ，ｚ）座標により表され、方位情報はｘ軸周りの角度、ｙ軸周りの角度、およびｚ軸周りの角度により表される（従って、位置方位検出部１３は、例えば６Ｄセンサなどとも呼ばれる）。なお、内視鏡１の位置情報および方位情報は、その他の適宜の方法（例えば極座標系など）を用いて表しても勿論構わない。

処理システム２は、内視鏡１の制御を行うと共に、必要に応じてデータベース３と通信し、内視鏡１から取得された撮像画像信号、位置情報および方位情報を処理して、表示用の画像データや記録用の画像データを生成し、表示装置４等へ出力するものである。なお、この処理システム２は、単一の装置として構成されていてもよいし、光源装置やビデオプロセッサなどの複数の装置から構成されていても構わない。

この処理システム２は、画像処理部２１と、３次元モデル生成部２２と、画像生成部２３と、提示制御部２４と、照明制御部２５と、制御部２６と、を備えている。

画像処理部２１は、撮像部１１から出力された撮像画像信号から撮像画像を生成し、生成した撮像画像に対して、例えば、デモザイキング処理（または同時化処理）、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理などの各種の画像処理を行って、内視鏡画像ＥＩ（図２参照）を生成する。

３次元モデル生成部２２は、被検体の３次元モデルデータを生成する。例えば、３次元モデル生成部２２は、画像処理部２１により生成された内視鏡画像ＥＩ（あるいは、画像処理部２１により３次元モデル生成用に画像処理された内視鏡画像ＥＩ）と、この内視鏡画像ＥＩを生成する元となった撮像画像が撮像されたときに位置方位検出部１３により検出された位置情報および方位情報と、を制御部２６を介して複数フレーム分取得する。

そして、３次元モデル生成部２２は、複数フレームの内視鏡画像ＥＩの位置関係を各フレームの位置情報および方位情報に基づき整合させながら、立体的な３次元モデルデータを生成するようになっている。この場合には、観察が進むにつれて３次元モデルデータが次第に構築され、ひいては、画像生成部２３による３次元モデル画像Ｍ３（図２等参照）の生成が次第に進むことになる。

ただし、３次元モデル生成部２２による３次元モデルデータの生成方法は、これに限定されるものではない。例えば、被検体に対する内視鏡検査が２回目もしくはそれ以降であり、過去の内視鏡検査によって生成された３次元モデルデータがデータベース３に既に記録されている場合には、その３次元モデルデータを用いてもよい。あるいは、被検体に対して造影ＣＴ撮影を行って取得したデータがデータベース３に既に記録されている場合には、その造影ＣＴデータを用いて３次元モデルデータを生成するようにしても構わない。

このデータベース３には、さらに、後述する図２に示すような進捗マップＰＭの元となる腎盂腎杯モデルが予め記憶されている。ここに、記憶する腎盂腎杯モデルは、例えば標準的な腎盂腎杯モデル（すなわち、人体の平均的な腎盂腎杯形状に基づくモデル）であってもよいし、近年提案されているような、多数の症例に基づいて分類を行った複数パターンの腎盂腎杯モデルであっても構わないし、被検体の３次元モデルデータを模式化して生成された腎盂腎杯モデルであってもよいし、その他のモデルであっても構わない（すなわち、腎盂腎杯モデルは特定のモデルに限定されるものではない）。また、腎盂腎杯モデルは、データベース３に記憶されるに限るものではなく、処理システム２内の制御部２６が備える記憶装置等に記憶されていても構わない。

画像生成部２３は、３次元モデル生成部２２により生成された３次元モデルデータに基づいて３次元モデル画像Ｍ３（図２等参照）を生成する。この３次元モデル画像Ｍ３は、例えば、３次元の被検体像をある視線方向から見たときの像であり、視線方向は変更可能となっている（すなわち、視線方向の変更に伴い、３次元モデル画像Ｍ３が回転するようになっている）。なお、上述した３次元モデル生成部２２および画像生成部２３は、３次元モデル画像生成部を構成している。

提示制御部２４は、画像生成部２３が生成した３次元モデル画像Ｍ３に関連付けて、後述する進捗情報生成部２７が生成した進捗情報ＰＩ（図２等参照）を提示する。ここに、提示制御部２４は、３次元モデル画像Ｍ３と進捗情報ＰＩとを並べて提示する（図２等参照）ことで、３次元モデル画像Ｍ３と進捗情報ＰＩとの関連付けを行ってもよい。あるいは、提示制御部２４は、３次元モデル画像Ｍ３に進捗情報ＰＩを重畳して提示することで、３次元モデル画像Ｍ３と進捗情報ＰＩとの関連付けを行っても構わない。また、提示制御部２４は、画像処理部２１により生成された内視鏡画像ＥＩも提示する。この提示制御部２４による進捗情報ＰＩ、３次元モデル画像Ｍ３、および内視鏡画像ＥＩの提示は、表示装置４や図示しない記録装置（この記録装置はデータベース３であっても構わない）への出力であるために、提示制御部２４を出力情報制御部と呼ぶこともできる。

照明制御部２５は、照明部１２が照射する照明光のオン／オフや光量を制御するものである。ここに、照明制御部２５が光源装置であって照明部１２がライトガイド等であってもよいし、照明制御部２５が発光制御回路であって照明部１２がＬＥＤ等の発光源であっても構わない。

制御部２６は、処理システム２の全体を制御し、さらに内視鏡１の制御も行うものであり、上述した画像処理部２１、３次元モデル生成部２２、画像生成部２３、提示制御部２４、および照明制御部２５と接続されている。

この制御部２６は、内視鏡１による被検体の観察の進捗状況を示す進捗情報ＰＩを生成する進捗情報生成部２７を備えている。進捗情報生成部２７が生成する進捗情報ＰＩの具体例については、後で図面を参照して説明する。

データベース３は、例えば院内システム等を介して処理システム２に接続されており、上述したように、被検体の造影ＣＴデータ、造影ＣＴデータに基づき生成された被検体の３次元モデルデータ、過去の内視鏡検査によって生成された被検体の３次元モデルデータ、あるいは進捗マップＰＭの元となる腎盂腎杯モデルなどを記録している。

表示装置４は、１つまたは複数のモニタ等を有して構成されており、提示制御部２４から出力された内視鏡画像ＥＩ、３次元モデル画像Ｍ３、および進捗情報ＰＩを含む提示画像を表示する。

図２は、第１の例の進捗情報表示部４ｃを含む表示装置４の表示画面４ｉの、観察途中の様子を示す図である。

表示画面４ｉには、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、進捗情報表示部４ｃと、が設けられている。

内視鏡画像表示部４ａには、画像処理部２１により生成された内視鏡画像ＥＩが表示されている。

３次元モデル画像表示部４ｂには、画像生成部２３により生成された３次元モデル画像Ｍ３が表示されている。この図２に示す３次元モデル画像Ｍ３は、上述したような、観察が進むにつれて構築されていく３次元モデル画像Ｍ３であるために、既に観察が行われた観察済み領域ＯＲが表示されると共に、未観察領域ＵＯＲが存在することを、未観察領域ＵＯＲへの接続部分の表示態様（例えば、色（色相、彩度、明度）、模様、または色と模様の組み合わせなど）を異ならせることで表示している。幾つかの具体例を挙げれば、未観察領域ＵＯＲを赤の色相で表示する（赤色表示）、未観察領域ＵＯＲの彩度を下げて表示する（モノクロ表示）、未観察領域ＵＯＲの明度を上げて表示する（ハイライト表示）、等である。また、ここで表示された未観察領域ＵＯＲをさらに強調して表示するために、点滅させながら表示させる態様であってもよい。

進捗情報表示部４ｃには、進捗情報ＰＩが表示されている。なお、図示の例では、進捗情報表示部４ｃは、３次元モデル画像表示部４ｂよりもやや小さめの表示部となっているが、後述するように、各表示部の表示位置や表示サイズを可変としてもよい。

この進捗情報ＰＩは、例えば、進捗マップＰＭと、結石マーク表示ＰＲと、を含んでいる。

進捗マップＰＭは、観察対象（ここでは、例えば腎臓）の腎盂腎杯構造を模式化して表示すると共に、観察済み領域ＯＲと未観察領域ＵＯＲとで表示態様（上述したように、例えば、色、模様、または色と模様の組み合わせなど）を異ならせたものである（図２においては、表示態様が異なることをハッチングを付して示している）。

具体的に、腎臓は、管路構造をなす複数の部分領域である腎杯を備えている。そこで例えば、腎臓が備える全ての腎杯の個数（あるいは、腎臓が備えると推定された全ての腎杯の個数）に対する観察済みの腎杯の個数の割合を示す情報を、表示態様を異ならせることで表示する等を行えばよい。

より詳細に、腎杯を、上腎杯、中腎杯、下腎杯に分類して、各部分毎の進捗情報ＰＩを表示する場合には、上腎杯に存在する腎杯の全個数に対して、上腎杯において観察済みとなって腎杯の個数の割合を進捗マップＰＭにおける上腎杯の部分に表示し、同様に算出した結果の表示を中腎杯、下腎杯についてもそれぞれ行えばよい（図２等参照）。

こうして、進捗マップＰＭを見れば、観察対象全体のどの程度の割合が観察済みとなったかを直感的により容易に判別することができるようにしている。

ただし、進捗情報ＰＩは、部分領域の個数の割合に基づき算出するに限るものではなく、例えば、体積の割合、あるいは面積の割合に基づき算出しても構わない。

体積の割合に基づき算出する場合には、被検体の予め定められた領域の体積、例えば被検体の全領域の体積（既知でない場合には、被検体の全領域の推定された体積）に対する観察済み領域ＯＲの体積の割合を算出して、進捗情報ＰＩとして用いればよい。

また、面積の割合に基づき算出する場合には、被検体の予め定められた領域の面積、例えば被検体の全領域の面積（既知でない場合には、被検体の全領域の推定された面積）に対する観察済み領域ＯＲの面積の割合を算出して、進捗情報ＰＩとして用いればよい。

さらにあるいは、進捗情報ＰＩとして割合を算出するのに代えて、被検体が備える全ての部分領域の個数、および観察済みの部分領域の個数を、進捗情報ＰＩとして用いてもよい。

加えて、進捗情報ＰＩとして、未観察の部分領域の個数を（必要に応じて、全ての部分領域の個数と共に）表示しても構わない。ここに、未観察の部分領域の個数は、推定される全体の部分領域の個数から、観察済みの部分領域の個数を減算することにより算出される。

なお、腎杯が観察済みであることは、腎杯内部の観察が完全に（つまり、１０割）済んだことにより判定するに限るものではなく、例えば、腎杯内部の観察が８割程度済んだことにより判定するようにしても構わないし、事前に任意の割合を設定しても良い。

この図２に示す進捗マップＰＭは、腎杯を、上腎杯、中腎杯、下腎杯の３つに区分する標準的なモデルを採用したものであるが、これに限らず、さらに詳細なモデルを用いてもよい。例えば、上述したような、多数の症例に基づいて分類された複数の腎盂腎杯モデルがあって、例えば被検体の３次元モデルデータが既に存在する場合には、３次元モデルデータに基づいて複数の腎盂腎杯モデルの中から適合するものを選択して進捗マップＰＭとして用いてもよい。また、上述したように、被検体の３次元モデルデータを模式化して生成された進捗マップＰＭでも構わない。さらにあるいは、後述するように、被検体の３次元モデル画像を進捗マップＰＭとして利用してもよい。

また、結石マーク表示ＰＲは、マーキングを行う対象の個数に対する、既にマーキングを行った対象の個数を示す情報を表示する部分である。本実施形態におけるマーキングを行う対象は、例えば結石である。すなわち、他の方法（例えば単純ＣＴ撮影など）で予め取得されている結石の個数に対して、マーキングが既に行われた結石の個数が表示されている。

具体的に、図２に示す例では、上腎杯に存在する２つの結石の内の１つが既にマーキングされ、中腎杯には結石が存在しておらず、下腎杯に存在する１つの結石が既にマーキングされた状態が示されている。

なお、図２に示した例において、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、進捗情報表示部４ｃと、の表示位置や表示サイズを、それぞれ独立に所望に変更することができるようにしてもよい。一例を挙げれば、内視鏡画像表示部４ａを表示画面４ｉの右側に大きく表示し、進捗情報表示部４ｃを表示画面４ｉの左上に小さく表示し、３次元モデル画像表示部４ｂを表示画面４ｉの左下に中程度の大きさで表示する、等である。例えば、内視鏡画像表示部４ａ、３次元モデル画像表示部４ｂ、および進捗情報表示部４ｃを、それぞれ１つのウィンドウとして表示するようにすれば、こうした表示位置や表示サイズの変更を容易に行うことができる。

また、図２に示した例では、表示装置４が１つのモニタで構成される場合を想定して、表示画面４ｉを１つとしたが、上述したように、複数のモニタに分けて表示してもよい。例えば、表示装置４が２つのモニタを備える構成として、内視鏡画像表示部４ａを第１のモニタに表示し、３次元モデル画像表示部４ｂおよび進捗情報表示部４ｃを第２のモニタに表示するようにしてもよい。さらには、表示装置４が３つのモニタを備える構成として、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、進捗情報表示部４ｃと、をそれぞれ異なるモニタに表示するようにしても構わない。

また、図３は、第１の例の進捗情報表示部４ｃの観察開始時の様子を示す図である。

図示のように、観察開始時には、進捗マップＰＭは全て未観察領域ＵＯＲに対応する表示態様となっており、結石マーク表示ＰＲもマーキングされた結石が０であることを示している。

図４は第２の例の進捗情報表示部４ｃの観察開始時の様子を示す図、図５は第２の例の進捗情報表示部４ｃの観察途中の様子を示す図である。

図４および図５に示す進捗情報表示部４ｃの第２の例においては、進捗マップＰＭとして単に円グラフが表示されている。また、進捗マップＰＭが上腎杯、中腎杯、下腎杯に区分されていないのに対応して、結石マーク表示ＰＲも、腎臓の全ての腎杯に存在する３つの結石に対して、何個の結石がマーキング済みであるかを表示するものとなっている。

図６は、内視鏡装置の作用を示すフローチャートである。なお、ここでは、被検体の腎盂腎杯の正確な形状がまだ不明であるために、標準的な腎盂腎杯モデルに基づき進捗情報ＰＩを表示する例について説明する。

この処理を開始すると、まず、標準的な腎盂腎杯モデルに基づく腎杯の総数を取得すると共に、既知となっている被検体の結石の総数を取得する（ステップＳ１）。ここに、被検体の結石の数は、図２および図３に示したように、例えば、上腎杯、中腎杯、下腎杯のそれぞれにおいて何個ずつであるかを取得することが好ましいが、図４および図５に示したように、全腎杯で何個であるかを取得することであっても構わない。

そして、内視鏡１による腎杯の観察を開始する（ステップＳ２）。

腎杯を観察している途中で、標準的な腎盂腎杯モデルとは異なる新たな腎杯を発見したか否かを判定し（ステップＳ３）、発見した場合には、観察対象となる腎杯の総数を更新する（ステップＳ４）。

このステップＳ４の処理を行うか、またはステップＳ２において新たな腎杯を発見していないと判定された場合には、ステップＳ１において取得した結石以外の新たな結石を発見したか否かを判定し（ステップＳ５）、発見した場合には、結石の総数を更新する（ステップＳ６）。

ステップＳ６の処理を行うか、またはステップＳ５において新たな結石を発見していないと判定された場合には、１つの腎杯が観察済みになったか否かを判定する（ステップＳ７）。

ここで、１つの腎杯が観察済みになったと判定された場合には、腎杯の総数に対する観察済みの腎杯の数の割合を示す進捗マップＰＭを生成して、生成した進捗マップＰＭにより進捗情報表示部４ｃの表示を更新する（ステップＳ８）。このときには、図２および図３に示したように、上腎杯、中腎杯、下腎杯のそれぞれにおいてどの程度の割合まで観察が行われたかを示す進捗マップＰＭを生成すると、より効率的に観察を進めることができて好ましい。

ステップＳ８の処理を行うか、またはステップＳ７においてまだ腎杯が観察済みに至っていないと判定された場合には、上述したステップＳ３から後述するステップＳ１１までのループを回っている間に、新たに１つの結石にマーキングを行ったか否かを判定し（ステップＳ９）、マーキングを行った場合には、結石マーク表示ＰＲを更新する（ステップＳ１０）。

その後、内視鏡観察を終了するか否かを判定し（ステップＳ１１）、終了しない場合には、上述したステップＳ３へ戻って内視鏡観察を続行する。

一方、ステップＳ１１において、内視鏡観察を終了すると判定された場合には、この処理を終了する。

なお、上述では、内視鏡観察を開始する段階では被検体の腎盂腎杯の正確な形状が不明であることを前提としていたが、内視鏡観察が２回目以降である場合や造影ＣＴデータを予め取得している場合などの、腎盂腎杯の形状が予め分かっている場合には、被検体に合わせた腎盂腎杯モデルを用いることで、進捗情報ＰＩをより適切に表示することが可能となる。

図７および図８を参照して、被検体に合わせた腎盂腎杯モデルを用いる例を説明する。図７は、第３の例の進捗情報表示部４ｃの観察開始時の様子を示す図、図８は第３の例の進捗情報表示部４ｃの観察途中の様子を示す図である。

進捗情報表示部４ｃに表示された進捗マップＰＭは、図７および図８に示す第３の例では、被検体の腎盂腎杯形状に合わせたより詳細な腎盂腎杯モデルに基づくものとなっている。さらに、結石のマーキングが行われた場合には、図８に示すように、進捗マップＰＭ上に、マーキングが行われた結石が存在することを示すマークＭＫが、マーキングが行われた結石の位置に概略対応する位置に表示される（すなわち、進捗情報生成部２７が、マークＭＫを含むように進捗情報を生成する）。

また、図９は、第４の例の進捗情報表示部４ｃの観察途中の様子を示す図である。

被検体の腎盂腎杯の形状が不明である場合には、進捗マップＰＭとして標準的な腎盂腎杯モデルを使用することになり、進捗情報表示は、概略の進捗の度合いを示す表示となる。これに対して、内視鏡観察の前に被検体の腎盂腎杯形状が分かっている場合には、上述したように、被検体の全領域の体積（または面積）に対する観察済み領域ＯＲの体積（または面積）の割合は、進捗の度合いを高い精度で示す情報となる。この場合には、図９に示すように、進捗情報ＰＩとして、進捗割合ＮＶをさらに表示するようにしてもよい。この図９の例では、進捗割合ＮＶがパーセント数値により表示されていて、上腎杯の観察が５０％完了し、中腎杯の観察が５０％完了し、下腎杯の観察が７０％完了したことが示されている。

なお、ここでは上腎杯、中腎杯、下腎杯に分けて％表示を行ったが、さらに詳細に、全ての腎杯に対してそれぞれの腎杯毎に％表示してもよいし、あるいは結石が存在する腎杯のみについて％表示しても構わない。

図１０は、第５の例の進捗情報表示部４ｃの観察途中の様子を示す図である。

この図１０に示す例では、進捗情報表示部４ｃの表示をより簡略化して、上腎杯（Ｕ）の観察が５０％完了し、中腎杯（Ｍ）の観察が５０％完了し、下腎杯（Ｄ）の観察が７０％完了したことを、例えば表における数値として示したものとなっている。このとき、上述した各例と同様に、全結石の個数に対する結石マーク表示の完了個数をさらに追加して表示しても勿論構わない。

このような実施形態１によれば、内視鏡１による被検体の観察の進捗状況を示す進捗情報ＰＩを生成して、３次元モデル画像Ｍ３に関連付けて提示するようにしたために、内視鏡観察の進捗状況、つまり内視鏡観察がどの程度の段階まで進んだかの状況を直感的により容易に把握することができ、ユーザビリティーが向上する。

また、進捗情報ＰＩが、被検体の全領域の体積に対する観察済み領域ＯＲの体積の割合を示す情報を含むようにしたために、体積割合に基づく正確な進捗状況の表示が可能となる。

あるいは、進捗情報ＰＩが、被検体の全領域の面積に対する観察済み領域ＯＲの面積の割合を示す情報を含むようにした場合には、面積割合に基づく正確な進捗状況の表示が可能となる。

そして、進捗情報ＰＩが、被検体が備える全ての部分領域の個数に対する観察済みの部分領域の個数の割合を示す情報を含むようにした場合には、内視鏡観察における残りの工程を、部分領域の個数単位で把握することが可能となる。

加えて、進捗情報ＰＩが、マーキングを行う対象（ここでは結石）の個数に対する、既にマーキングを行った対象の個数（同、結石）を示す情報をさらに含むようにしたために、対象に対するマーキングがどの段階まで進んだかも容易に把握することが可能となる。

また、進捗情報ＰＩを、３次元モデル画像Ｍ３と並べて提示するようにしたために、３次元的な観察対象に対して、どの部分までの内視鏡観察を行ったかをより的確に把握することができる。これにより、視認不可能な位置にある未観察領域ＵＯＲの見落としを防止することができる。

さらに、３次元モデル画像Ｍ３をユーザから見た方向の裏側に未観察領域ＵＯＲが隠れている場合でも、進捗状況ＰＩにより、ユーザは未観察領域ＵＯＲの存在を確認できる。これによっても視認不可能な位置にある未観察領域ＵＯＲの見落としを防止することができる。

［実施形態２］
図１１および図１２は本発明の実施形態２を示したものであり、図１１は、内視鏡装置の、制御部２６に関連する構成を示すブロック図、図１２は、進捗情報表示部４ｃの観察途中の例を示す図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

図１１に示すように、本実施形態の制御部２６は、進捗情報生成部２７に加えて、領域分割部２８をさらに備えている。

領域分割部２８は、画像生成部２３により生成された３次元モデル画像Ｍ３を、背景画像と共に複数の分割領域ＲＧ（図１２参照）に分割する。

進捗情報生成部２７は、領域分割部２８により分割された複数の分割領域ＲＧの内の、未観察領域ＵＯＲを含む分割領域ＲＧの３次元モデル画像と背景画像との少なくとも一方を、未観察領域ＵＯＲを含まない他の分割領域ＲＧと識別可能となるように画像処理して、進捗情報ＰＩを生成する。この進捗情報生成部２７は、内視鏡観察の進捗状況を俯瞰的に把握するための情報を生成するために、俯瞰情報生成部と呼ぶこともできる。

まず、本実施形態においては、図１２に示すように、進捗マップＰＭとして３次元モデル画像Ｍ３および上述の画像処理を施した背景画像を用いている。このとき、進捗情報表示部４ｃに３次元モデル画像表示部４ｂと同様の３次元モデル画像Ｍ３を表示してもよいし、３次元モデル画像表示部４ｂが進捗情報表示部４ｃを兼ねるようにしても構わない。すなわち、進捗情報ＰＩは、３次元モデル画像表示部４ｂと別途に設けられた進捗情報表示部４ｃに表示するに限るものではなく、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３に対して重畳して表示するようにしても構わない。

なお、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３は、上述したように例えば回転可能であるために、進捗情報表示部４ｃに３次元モデル画像表示部４ｂと同様の３次元モデル画像Ｍ３を表示する場合には、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３が回転するのに同期して、進捗情報表示部４ｃの３次元モデル画像Ｍ３も回転するように構成してもよい。

そして、図１２に示す例においては、３次元モデル画像Ｍ３および背景画像が複数の分割領域ＲＧ（ここでは水平方向の帯状をなす複数の分割領域ＲＧ）に分割されている。この際、未観察領域ＵＯＲを含む分割領域ＲＧの背景画像の表示態様を、未観察領域ＵＯＲを含まない他の分割領域ＲＧの背景画像の表示態様と異ならせることで、未観察領域ＵＯＲを含む分割領域ＲＧが識別可能となるようにしている。

ここで、背景画像の表示態様を異ならせる代わりに、３次元モデル画像Ｍ３の表示態様を異ならせてもよいし、背景画像および３次元モデル画像Ｍ３の表示態様を異ならせても構わない。

また、図１２に示す例においては、未観察領域ＵＯＲを含む分割領域ＲＧが１箇所の場合を示したが、未観察領域ＵＯＲを含む分割領域ＲＧが複数箇所ある場合は、上述の表示態様を異ならせる箇所も複数となる。

このとき、未観察領域ＵＯＲの大きさ等によって、表示態様を段階的に異ならせてもよい。即ち、小さな未観察領域ＵＯＲを含む分割領域ＲＧでは、表示態様を小さく異ならせ、大きな未観察領域ＵＯＲを含む分割領域ＲＧでは、表示態様を大きく異ならせてもよい。例えば、小さな未観察領域ＵＯＲを含む分割領域ＲＧは、薄い色で塗りつぶして表示させ、大きな未観察領域ＵＯＲを含む分割領域ＲＧは、濃い色で塗りつぶして表示させてもよい。

なお、上述したような、内視鏡観察が進むにつれて構築されていく３次元モデル画像Ｍ３を採用する場合には、構築が済んだ部分のみに対して分割領域ＲＧへの分割を行うようにしてもよい。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、進捗情報ＰＩを３次元モデル画像Ｍ３に重畳して提示しているために、３次元モデル画像Ｍ３と進捗情報ＰＩを見比べる必要がなく、３次元モデル画像Ｍ３を見るだけで、内視鏡観察の進捗状況を把握することが可能となる。

そして、未観察領域ＵＯＲを含むか否かを示す表示態様を、分割領域ＲＧ毎に異ならせているために、領域単位での段階的な進捗状況を把握することができる。

［実施形態３］
図１３から図２０は本発明の実施形態３を示したものであり、図１３は内視鏡装置の制御部２６に関連する構成を示すブロック図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

図１３に示すように、本実施形態の制御部２６は、進捗情報生成部２７に加えて、管路長推定部２９をさらに備えている。

管路長推定部２９は、被検体が有する複数の管路の内の、１つ以上の観察済みの管路の長さを検出して、検出した観察済みの管路の長さに基づき未観察の管路の長さを推定する。

進捗情報生成部２７は、観察済みの管路の芯線情報を生成すると共に、管路長推定部２９により推定された未観察の管路の長さに基づいて未観察の管路の芯線情報を生成し、観察済みの管路の芯線情報と未観察の管路の芯線情報とを識別可能な表示態様で表示する進捗情報ＰＩを生成する。この進捗情報生成部２７により生成された進捗情報ＰＩは、進捗マップＰＭとして進捗情報表示部４ｃに表示される。

具体的には、内視鏡１により管路としての腎杯を観察し、図１４に示すように、１つの腎杯が観察済み領域ＯＲになったものとする。ここに、図１４は、内視鏡１により腎杯を観察しているときの、観察済み領域ＯＲおよび未観察領域ＵＯＲの例を示す図である。

このときには、管路長推定部２９が、例えば３次元モデル生成部２２により生成された３次元モデルデータに基づいて、図１５に示すような、観察済み領域ＯＲの管路の長さＬ１を検出する。ここに、図１５は、図１４に示す観察状態のときに進捗情報生成部２７により生成される進捗情報ＰＩの例を示す図である。

観察済み領域ＯＲが、図１４の実線に示すような範囲である場合には、図１４の点線に示すような未観察領域ＵＯＲに２つの腎杯があることは未だ不明である。そこで、管路長推定部２９は、未観察の腎杯が１つであると推定する。そして、管路長推定部２９は、検出した観察済み領域ＯＲの管路の長さＬ１に基づいて、未観察の管路である未観察領域ＵＯＲの１つの腎杯の長さＬ２を推定する。

この推定は、例えば、各腎杯の大きさ（あるいは奥行き）は略同一であるとの想定に基づき、Ｌ２＝Ｌ１であるとすることにより行う。また、観察済みの腎杯が複数あり、複数の腎杯の管路の長さが既に検出されている場合には、検出された長さの例えば平均値を未観察の腎杯の推定長さとして設定すればよい。

そして、進捗情報生成部２７は、３次元モデル生成部２２により生成された３次元モデルデータ（あるいはさらに、管路長推定部２９により検出された観察済み領域ＯＲの腎杯の長さＬ１）に基づいて、観察済み領域ＯＲの腎杯の芯線情報ＣＬを図１５の実線で示すように生成する。

さらに、進捗情報生成部２７は、管路長推定部２９により推定された未観察領域ＵＯＲの腎杯の長さＬ２に基づいて、観察済み領域ＯＲの芯線の曲線を外挿して長さＬ２だけ延長することにより、図１５の点線で示すような芯線情報を生成する。これにより、２回目以降の内視鏡観察でなくても、あるいは造影ＣＴデータがなくても、観察済み領域ＯＲおよび未観察領域ＵＯＲを含む観察対象全体の芯線情報（観察対象の仮想的な全体形状を示す芯線情報）を生成することができる。

このとき、進捗情報生成部２７は、観察済み領域ＯＲの芯線と未観察領域ＵＯＲの芯線とを、表示態様（上述したように、例えば、色、模様、または色と模様の組み合わせなど）を異ならせることで識別可能なように、進捗情報ＰＩを生成する。一例を挙げれば、観察済み領域ＯＲの芯線と未観察領域ＵＯＲの芯線との内の、一方を赤線、他方を青線とする等である。また、ここで表示された未観察領域ＵＯＲをさらに強調するために、未観察領域ＵＯＲの芯線を点滅させながら表示させる態様であってもよい。

進捗情報表示部４ｃの進捗マップＰＭに表示された図１５のような進捗情報ＰＩを見ることにより、ユーザは、未観察の腎杯が少なくとも１つ残っていると把握することができる。

内視鏡１による腎杯の観察が、図１４に示すような状態から、図１６に示すような状態に進んだものとする。ここに、図１６は、図１４に示す観察状態よりも観察が幾らか進んだときの、観察済み領域ＯＲおよび未観察領域ＵＯＲの例を示す図である。

このときには、管路長推定部２９は、未観察領域ＵＯＲに、２つの腎杯があると推定することができる。そこで、管路長推定部２９は、検出した観察済み領域ＯＲの管路の長さＬ１に基づいて、未観察の管路である未観察領域ＵＯＲの２つの腎杯の長さＬ２，Ｌ３を、Ｌ２＝Ｌ１、およびＬ３＝Ｌ１であると推定する。これにより、進捗情報生成部２７は、芯線情報ＣＬを図１７の実線および点線で示すように生成する。ここに、図１７は、図１６に示す観察状態のときに進捗情報生成部２７により生成される進捗情報ＰＩの例を示す図である。こうして、図１６に示す観察状態では、未観察領域ＵＯＲに対して２本の芯線情報ＣＬが生成される。

進捗情報表示部４ｃの進捗マップＰＭに表示された図１７のような進捗情報ＰＩを見ることにより、ユーザは、未観察の腎杯が２つ残っていると判断することができる。

内視鏡１による腎杯の観察が、図１６に示すような状態から、図１８に示すような状態にさらに進んだものとする。ここに、図１８は、観察が完了して観察済み領域ＯＲのみとなったときの例を示す図である。

このときには、管路長推定部２９により検出された観察済み領域ＯＲの芯線情報に基づいて、進捗情報生成部２７は、図１９の実線で示すような芯線情報ＣＬ、つまり、全てが観察済みの表示態様の芯線情報ＣＬを生成する。ここに、図１９は、図１８に示す観察完了状態のときに進捗情報生成部２７により生成される進捗情報ＰＩの例を示す図である。

進捗情報表示部４ｃの進捗マップＰＭに表示された図１９のような進捗情報ＰＩを見ることにより、ユーザは、腎杯の観察が終了したと判断することができる。

なお、上述では、内視鏡観察が進むにつれて構築されていく３次元モデルデータに基づき芯線情報ＣＬを生成することを想定していたために、図１５に示す状態においては、未観察の腎杯が２つあるにも関わらず、未観察であることを示す芯線は１本表示されているだけであった。しかし、被検体の腎盂腎杯形状が既に分かっている３次元モデルデータ（内視鏡観察が２回目以降である場合や造影ＣＴデータに基づくものである場合など）に基づき芯線情報ＣＬを生成する場合には、芯線の形状が予め定まっていて観察済みであるか未観察であるかに応じて表示態様を異ならせるだけとなるために、進捗の度合いをより正確に把握することが可能となる。

また、図２０は、図１９に示す進捗情報ＰＩを３次元モデル画像Ｍ３に重畳して表示する例を示す図である。

進捗情報生成部２７により生成された芯線情報ＣＬは、進捗情報表示部４ｃの進捗マップＰＭとして（つまり、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３と並べて）表示してもよいが、図２０に示すように、３次元モデル画像表示部４ｂの３次元モデル画像Ｍ３に重畳して表示するようにしても構わない。この場合には、３次元モデル画像表示部４ｂが、進捗情報表示部４ｃを兼ねることになる。

ユーザは、この図２０に示すような表示を見ることにより、３次元モデル画像Ｍ３として表示されている腎杯の観察がどの程度進捗しているかを、容易に判断することができる。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、検出した観察済みの管路の長さに基づき未観察の管路の長さを推定し、観察済みおよび未観察の管路の芯線情報を生成し、観察済みであるか未観察であるかを識別可能な表示態様で表示する進捗情報ＰＩを生成するようにしたために、内視鏡観察の進捗の度合いを容易に認識することができる。

なお、内視鏡装置を、上述したような実施形態１の表示態様と、実施形態２の表示態様と、実施形態３の表示態様と、の何れも取り得るように構成して、１回の内視鏡検査において、所望の表示態様をユーザが選択して切り替えることができるようにしてもよい。この場合には、ユーザが、例えば、内視鏡１に設けられた図示しない操作部、あるいは処理システム２に設けられた図示しない操作部を操作することで、所望の表示態様に切り替える設定を行う。

そして、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

さらに、上述では主として内視鏡装置について説明したが、内視鏡装置を上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１６年５月２５日に日本国に出願された特願２０１６−１０４５２５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

本発明は、内視鏡観察を行う際に、被検体の３次元モデル画像を生成して表示可能とする内視鏡装置に関する。

本発明は上記事情に鑑みてなされたものであり、内視鏡観察の進捗状況を直感的により容易に把握することができる内視鏡装置を提供することを目的としている。

本発明の一態様による内視鏡装置は、被検体内の画像を取得する内視鏡と、前記被検体の３次元モデルデータを生成する３次元モデル生成部と、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて所定の視線方向から視認可能な３次元モデル画像を生成する画像生成部と、前記３次元モデルデータに基づく観察対象において、前記内視鏡による観察の進捗状況を割合として視認可能な進捗情報を生成する進捗情報生成部と、前記進捗情報を前記３次元モデル画像に関連付けるとともに当該３次元モデル画像に対して並べて提示する提示制御部と、を備える。

Claims (10)

1. ３次元形状を有する被検体の内部の画像を取得する内視鏡と、
   前記被検体の３次元モデルデータを生成する３次元モデル生成部と、
   前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成する画像生成部と、
   前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成する進捗情報生成部と、
   前記３次元モデル画像に関連付けて前記進捗情報を提示する提示制御部と、
   を備えることを特徴とする内視鏡装置。
2. 前記進捗情報は、前記被検体の予め定められた領域の体積または面積に対する前記観察済み領域の割合を示す情報を含むことを特徴とする請求項１に記載の内視鏡装置。
3. 前記予め定められた領域は、前記被検体の全領域であることを特徴とする請求項２に記載の内視鏡装置。
4. 前記被検体は、複数の部分領域を有し、
   前記進捗情報は、前記被検体が備える全ての部分領域の個数に対する観察済みの部分領域の個数の割合を示す情報を含むことを特徴とする請求項１に記載の内視鏡装置。
5. 前記３次元モデル画像を背景画像と共に複数の分割領域に分割する領域分割部をさらに備え、
   前記進捗情報生成部は、前記領域分割部により分割された前記複数の分割領域の内の、未観察領域を含む分割領域の前記３次元モデル画像と前記背景画像との少なくとも一方を、前記未観察領域を含まない他の分割領域と識別可能となるように画像処理して、前記進捗情報を生成することを特徴とする請求項１に記載の内視鏡装置。
6. 前記被検体は、複数の管路を有し、
   前記複数の管路の内の、１つ以上の観察済みの管路の長さを検出して、検出した前記観察済みの管路の長さに基づき未観察の管路の長さを推定する管路長推定部をさらに備え、
   前記進捗情報生成部は、前記観察済みの管路の芯線情報を生成すると共に、前記管路長推定部により推定された前記未観察の管路の長さに基づいて該未観察の管路の芯線情報を生成し、前記観察済みの管路の芯線情報と前記未観察の管路の芯線情報とを識別可能な表示態様で表示する進捗情報を生成することを特徴とする請求項１に記載の内視鏡装置。
7. 前記進捗情報は、マーキングを行う対象の個数に対する、既にマーキングを行った対象の個数を示す情報をさらに含むことを特徴とする請求項１に記載の内視鏡装置。
8. 前記提示制御部は、前記３次元モデル画像と前記進捗情報とを並べて提示することを特徴とする請求項１に記載の内視鏡装置。
9. 前記提示制御部は、前記３次元モデル画像に前記進捗情報を重畳して提示することを特徴とする請求項１に記載の内視鏡装置。
10. 内視鏡が、３次元形状を有する被検体の内部の画像を取得し、
    ３次元モデル生成部が、前記被検体の３次元モデルデータを生成し、
    画像生成部が、前記３次元モデル生成部により生成された前記３次元モデルデータに基づいて３次元モデル画像を生成し、
    進捗情報生成部が、前記内視鏡による前記被検体の観察の進捗状況を示す進捗情報を生成し、
    提示制御部が、前記３次元モデル画像に関連付けて前記進捗情報を提示することを特徴とする内視鏡装置の作動方法。

Images