JPWO2018230098A1 - 内視鏡システム、内視鏡システムの作動方法 - Google Patents

Abstract

被検体内を撮像して画像を取得する内視鏡（１）と、画像に基づいて被検体内における対象部分の３次元位置を推定する３次元位置推定部（２２）と、内視鏡システムに係る所定のパラメータに基づいて３次元位置推定部（２２）により推定された３次元位置の信頼度を判定する判定部（２７）と、を備える内視鏡システム。

Description

本発明は、内視鏡により取得した画像に基づいて被検体内における対象部分の３次元位置を推定する内視鏡システム、内視鏡システムの作動方法に関する。

内視鏡により取得した画像に基づいて被検体内における対象部分の３次元位置を推定する技術は、従来より提案されている。

例えば、日本国特開２０１４−１６１３５５号公報には、撮像部の撮像により、被写体の像を含む撮像画像を取得する画像取得部と、撮像の際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部と、距離情報に基づいて、撮像画像に対して明るさ調整処理を行う明るさ改善部と、距離情報に基づいて、明るさ調整処理後の撮像画像に対して、被写体の構造を強調する強調処理を行う画像強調部と、を含む内視鏡装置が記載されている。

また、日本国特開２０１４−１４４０３４号公報には、被写体の像を含む撮像画像を取得する画像取得部と、その撮像画像を撮像する際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部と、距離情報に基づいて被写体の凹凸情報を抽出凹凸情報として取得する凹凸情報取得部と、撮像画像の所定領域毎に、抽出凹凸情報を除外または抑制するか否かの判定を行う判定部と、除外または抑制すると判定された所定領域の抽出凹凸情報を除外し、または凹凸の度合いを抑制する凹凸情報修正部と、を含む内視鏡装置が記載されている。

さらに、日本国特開２０１６−６４２８１号公報には、光源部からの照明光を被写体に照射することにより得られた被写体像を含む撮像画像を取得する画像取得部と、撮像画像に基づいて特徴量を算出し、所定の特徴量を有する領域に基づいて注目領域を設定する注目領域設定部と、設定された注目領域に基づいて、照明光の光量を調光制御する調光制御部と、を含む内視鏡装置が記載されている。

上述したような、画像に基づいて推定された３次元位置は、例えば、被検体内における対象部分の形状を推定する際に用いられる。しかしながら、さまざまなノイズ等の影響で、推定された３次元位置は、推定精度が高いものと低いものとが混在することがある。こうした種々の推定精度の３次元位置に基づいて被検体内における対象部分の形状を推定すると、形状が正しく推定されないことがある。また、同一の対象部分を複数回観察して得た複数の画像から推定される３次元位置は、画像によって推定される３次元位置が一致せず、複数の画像に基づいて形状を正しく再現できないことがある。

本発明は上記事情に鑑みてなされたものであり、推定された３次元位置の信頼性を高めることを可能とする内視鏡システム、内視鏡システムの作動方法を提供することを目的としている。

本発明の一態様による内視鏡システムは、被検体内を撮像して画像を取得する内視鏡と、前記画像に基づいて、前記被検体内における対象部分の３次元位置を推定する３次元位置推定部と、内視鏡システムに係る所定のパラメータに基づいて、前記３次元位置推定部により推定された前記３次元位置の信頼度を判定する判定部と、を備える。

本発明の他の態様による内視鏡システムの作動方法は、３次元位置推定部が、内視鏡により被検体内を撮像して取得された画像に基づいて、前記被検体内における対象部分の３次元位置を推定するステップと、判定部が、内視鏡システムに係る所定のパラメータに基づいて、前記３次元位置推定部により推定された前記３次元位置の信頼度を判定するステップと、を有する。

本発明の実施形態１における内視鏡システムの構成を示すブロック図。 上記実施形態１における内視鏡システムの作用を示すフローチャート。 上記実施形態１の内視鏡システムにおいて、輝度に応じて設定される信頼度の一例を示す図。 上記実施形態１の内視鏡システムにおいて、輝度に応じてより簡易に設定される信頼度の例を示す図。 上記実施形態１の内視鏡システムにおける３次元位置削除の処理を示すフローチャート。 上記実施形態１において、内視鏡の先端がある位置にあるときに取得された画像に基づいて推定された３次元位置と、内視鏡の先端の位置とを直線で結ぶ様子を示す図。 上記実施形態１の内視鏡システムにおける３次元位置削除の処理の変形例を示すフローチャート。 本発明の実施形態２における内視鏡システムの構成を示すブロック図。 上記実施形態２における内視鏡システムの構成の変形例を示すブロック図。 上記実施形態２における内視鏡システムの作用を示すフローチャート。 上記実施形態２の内視鏡システムにおける移動時３次元位置削除の処理を示すフローチャート。 上記実施形態２において、被検体内における、内視鏡が画像を取得した撮像位置と、対象部分と、の位置関係の例を示す図。 上記実施形態２において、各撮像位置において取得された各画像における対象部分と、各画像からそれぞれ推定された３次元位置と、総合的なトータル３次元位置と、を示す図表。 上記実施形態２において、第１の撮像位置で取得された画像から推定された３次元位置に、内視鏡の先端の位置から直線を引く様子を示す図。 上記実施形態２において、図１４で引いた直線に基づいて、３次元位置削除の処理を行う例を示す図。 上記実施形態２において、第２の撮像位置で取得された画像から推定された３次元位置に、内視鏡の先端の位置から直線を引く様子を示す図。 上記実施形態２において、図１６で引いた直線に基づいて、３次元位置削除の処理を行う例を示す図。 上記実施形態２において、第３の撮像位置で取得された画像から推定された３次元位置に、内視鏡の先端の位置から直線を引く様子を示す図。 上記実施形態２において、図１８で引いた直線に基づいて、３次元位置削除の処理を行う例を示す図。 本発明の実施形態３における内視鏡システムの作用を示すフローチャート。 上記実施形態３の内視鏡システムにおける３次元位置削除の処理を示すフローチャート。 上記実施形態３において、注目３次元位置に対して設定された信頼度に応じて設定される近傍範囲の大きさの一例を示す線図。 上記実施形態３において、３次元位置に対して設定された信頼度に応じて設定される近傍範囲の一例を示す線図。 本発明の実施形態４において、評価値変化量に応じて３次元位置の信頼度を設定する例を示す線図。 上記実施形態４において、３次元位置を取得した対象部分が写っている画素の、画像における光学中心からの距離に応じて、３次元位置の信頼度を設定する例を示す線図。 上記実施形態４において、３次元位置を取得した対象部分が写っている画素の色相に応じて３次元位置の信頼度を設定する例を示す線図。 上記実施形態４において、内視鏡の先端の移動速度に応じて３次元位置の信頼度を設定する例を示す線図。 上記実施形態４において、内視鏡の先端の位置の計測信頼度に応じて、３次元位置の信頼度を設定する例を示す線図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は内視鏡システムの構成を示すブロック図である。

この内視鏡システムは、内視鏡１と、処理システム２と、光源３と、表示装置４と、を備えている。なお、図１に示す例では処理システム２と光源３とを別体としているが、一体であっても構わない。

内視鏡１は、３次元形状をなす被検体内を撮像して画像を取得する画像取得装置であり、撮像部１１と、照射部１２と、操作部１３と、を備えている。これら内の撮像部１１、および照射部１２は例えば内視鏡１の挿入部の先端１ａ（図６等参照）の部分に配置され、操作部１３は挿入部の手元側に連設されている。

なお、本実施形態においては、３次元形状をなす被検体として腎臓の腎盂腎杯を例に挙げるが、これに限定されるものではなく、内視鏡観察が可能な被検体であれば広く適用することができる。

照射部１２は、光源３から例えばライトガイドを介して伝送された照明光を、被検体の内部へ向けて照射する。ただし、照射部１２をＬＥＤ等の発光源として構成し、光源３から供給された電力により照明光を発光する構成としても構わない。

撮像部１１は、撮像素子１１ａを備え、照明光を照射された被検体の内部の光学像を対物光学系により結像して撮像素子１１ａにより光電変換を行うことで撮像し、撮像画像を生成して取得する。

操作部１３は、画像の撮影、挿入部に湾曲部が設けられている場合には湾曲部の湾曲操作などの内視鏡１に係る各種の操作を行うためのものである。

処理システム２は、内視鏡１および光源３を制御すると共に、内視鏡１から取得された撮像画像を処理して、表示用の画像データを生成するものである。さらに、処理システム２は、取得した画像に基づいて被検体内の３次元位置Ｄ３Ｐ（図６等参照）を推定し、推定した３次元位置Ｄ３Ｐに基づいて被検体内の３次元画像を例えばガイド画像として生成し、表示装置４へ出力するようになっている。

この処理システム２は、画像処理部２１と、３次元位置推定部２２と、３次元画像生成部２３と、画像合成出力部２４と、制御部２５と、を備えている。

画像処理部２１は、撮像部１１から出力された撮像画像に、例えば、同時化処理（あるいはデモザイキング処理）、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理などの各種の画像処理を行って、内視鏡画像を生成する。

３次元位置推定部２２は、画像（撮像素子１１ａにより取得された撮像画像、あるいは画像処理部２１により処理された内視鏡画像）に基づいて、被検体内における対象部分の３次元位置Ｄ３Ｐを推定する。

具体的に、３次元位置推定部２２は、後述する距離推定部２６により推定された、内視鏡１の先端１ａから被検体の対象部分までの距離と、画像における対象部分の位置（画像中における対象部分が写っている画素の位置）と、に基づいて、対象部分の３次元位置Ｄ３Ｐを推定するようになっている。

ここに、内視鏡１の対物光学系の構成は既知であり、画角などの情報は予め分かっている。このときには、内視鏡１により取得された画像中における対象部分が写っている画素の位置によって、内視鏡１の先端１ａから見た対象部分の方位を知ることができる。従って、内視鏡１の先端１ａから見た対象部分の距離および方位、すなわち、内視鏡１に対する対象部分の相対的な３次元位置（相対座標系における３次元位置）を知ることができる。

また、本実施形態においては、内視鏡１が被検体に対して固定的な位置関係に配置される（一例としては、腹腔鏡など）を想定しており、つまり、処置室内等の絶対座標系における内視鏡１自体の位置および方位が既知であるものとする。

こうして、絶対座標系における対象部分の３次元位置Ｄ３Ｐが、３次元位置推定部２２により推定される。

３次元画像生成部２３は、３次元位置推定部２２により推定された３次元位置Ｄ３Ｐに基づいて、信頼度に応じた３次元形状画像を生成する。

より具体的に、３次元画像生成部２３は、３次元位置推定部２２により推定された被検体に係る複数の３次元位置Ｄ３Ｐに基づいて、例えばボール・ピボーティング（Ball-Pivoting）アルゴリズムなどの公知の方法を用いてポリゴンを算出し、複数のポリゴンにより構成される３次元形状画像（この３次元形状画像は、ポリゴンの構成により形状のみを示すものであってもよいし、さらに各ポリゴンに内視鏡画像を貼り付けたものであっても構わない）を生成する。

画像合成出力部２４は、画像処理部２１により生成された内視鏡画像と、３次元画像生成部２３により生成された３次元形状画像とを、１つの画像に合成して表示装置４へ出力する。これにより、ユーザは、表示装置４を介して、３次元形状画像をガイドとしながら内視鏡１の挿入や抜脱を行い、内視鏡画像により被検体内を観察して処置等を行うことができる。

制御部２５は、上述した画像処理部２１、３次元位置推定部２２、３次元画像生成部２３、および画像合成出力部２４と接続されていて、処理システム２の全体を制御すると共に、内視鏡１の制御、および光源３のオン／オフや光量などの制御も行うものである。

この制御部２５は、距離推定部２６と、判定部２７と、を備えている。

距離推定部２６は、画像に基づいて、内視鏡１と被検体との距離を推定する。ここに、距離推定部２６が、画像に基づいて、内視鏡１の先端１ａから被検体の対象部分までの距離を推定する方法の一例としては、次の方法が挙げられる。

被検体の各部位の光反射率が同一であると仮定すると、照射部１２から照射され、被検体で反射されて戻ってくる戻り光は、内視鏡１の先端１ａからの距離が遠いほど暗くなり、逆に距離が近いほど明るくなる。そこで、画像の輝度（画像に写っている対象部分の輝度）に応じて被検体の対象部分までの距離を推定することができる。

なお、ここでは画像の輝度に基づいて内視鏡１と被検体との距離を推定する方法を説明したが、これに限定されるものではない。例えば、内視鏡１が視差を有する複数の撮像部を備える構成の場合には、複数の撮像部から得られた複数の画像の位相差に基づいて内視鏡１と被検体との距離を算出するようにしてもよい。または、パターン照射方式あるいはＴＯＦ（Time Of Flight）方式などに基づいた距離画像センサを内視鏡システムが備えるように構成して、内視鏡１と被検体との距離を算出するようにしてもよい。

判定部２７は、この内視鏡システムに係る所定のパラメータに基づいて、３次元位置推定部２２により推定された３次元位置Ｄ３Ｐの信頼度を判定するものである。ここに、所定のパラメータは、本実施形態および後述する実施形態で説明するように、画像に写っている対象部分の輝度、被検体へ照射する照明光の光量を制御する光源絞り３１の光源絞り値、画像を取得する撮像素子１１ａのゲイン、画像に写っている対象部分の、画像の光学中心に対する位置、画像に写っている対象部分の色相、内視鏡１の先端１ａの移動速度、後述する計測部による計測値の信頼度の内の少なくとも１つを含む。

光源３は、被検体へ照射する照明光を発生するものであり、光の通過範囲を制限することで照明光の光量を制御する光源絞り３１を備えている。

表示装置４は、画像合成出力部２４から出力された、内視鏡画像と３次元形状画像とを含む画像を、観察可能に表示する。

次に、図２は、内視鏡システムの作用を示すフローチャートである。

内視鏡１が被検体内の所定位置および所定方位に設置されて位置方位が定まったところで、この処理を開始すると、画像の明るさが予め定められた初期値の明るさになるように、制御部２５が、光源３の光源絞り３１の光源絞り値や撮像部１１から出力される撮像画像に対するゲインなどの撮影条件を設定する（ステップＳ１）。

そして、設定した撮影条件で撮像素子１１ａにより露光を行い、生成された撮像画像を撮像部１１から出力することで、画像を取得する（ステップＳ２）。処理システム２は、取得した撮像画像を画像処理部２１により処理して、内視鏡画像を生成する。

距離推定部２６は、撮像画像または内視鏡画像に基づいて、例えば画像上の決められた位置の画素の輝度を用いて、内視鏡１の先端１ａから画素に写っている被検体内の対象部分までの距離を推定する。ここに、決められた位置は、一般的に、画像上に複数箇所設定されており、従って、１枚の画像から推定される対象部分までの距離も複数となる。

３次元位置推定部２２は、距離推定部２６により推定された対象部分までの距離と、対象部分が写っている画素の画像内における位置と、内視鏡１の所定位置および所定方位とに基づいて、対象部分の３次元位置Ｄ３Ｐを推定する（ステップＳ３）。

判定部２７は、３次元位置推定部２２により推定された３次元位置Ｄ３Ｐの信頼度を判定して設定する（ステップＳ４）。

ここで、図３は輝度に応じて設定される信頼度の一例を示す図、図４は輝度に応じてより簡易に設定される信頼度の例を示す図である。

本実施形態においては、距離を推定するのに用いた画素の輝度に応じて、図３または図４に示すように、３次元位置Ｄ３Ｐの信頼度を判定して設定するようになっている。すなわち、本実施形態では、内視鏡システムに係る所定のパラメータとして、画像に写っている対象部分の輝度を用いている。

まず、図３は、輝度に応じて信頼度を連続的に変化させる例を示している。一方、図４は、輝度に応じて信頼度を不連続に変化させる部分を有する例となっており、図３に示す曲線を折れ線で近似することで処理の簡易化を図ったものである。

これら図３と図４の何れの例においても、画素の輝度が、低輝度域に入る場合には低い信頼度を与え、中輝度域に入る場合には高い信頼を与え、高輝度域に入る場合には輝度が高くなるにつれて単調減少する信頼度を与えるようになっている。

なお、図３および図４に示した信頼度曲線等は一例であるので、被検体や撮影環境などに応じて適宜の信頼度曲線等を構築するとよい。

こうして、３次元位置推定部２２により推定された全ての３次元位置Ｄ３Ｐに対して信頼度を設定したら、制御部２５は、形状算出の処理に進むか否かを判定する（ステップＳ５）。

ここで、まだ形状算出の処理に進まないと判定された場合には、制御部２５は、撮影条件、つまり光源絞り３１の光源絞り値や撮像画像に対するゲインなどの値を変化させる（ステップＳ６）。なお、このときには、内視鏡１の位置および方位は、上述した所定位置および所定方位が維持され、変化しないものとする。

そして、ステップＳ６により変化させた撮影条件の下で、上述したステップＳ２の処理を行って画像を取得する。こうしたステップＳ２〜Ｓ６の処理を複数回繰り返して行うことにより、撮影条件が異なる複数の画像が取得され、取得された複数の画像に基づいて、被検体内の同一の対象部分に対して複数の３次元位置Ｄ３Ｐが推定される。

撮影条件が異なる画像が必要な数だけ揃ったところで、ステップＳ５において形状算出の処理に進むと判定されて、同一の対象部分に対して推定された複数の３次元位置Ｄ３Ｐを信頼度に応じて削除する３次元位置削除の処理を、後で図５を参照して説明するように３次元画像生成部２３が行う（ステップＳ７）。

こうして、信頼度が低い３次元位置Ｄ３Ｐが削除された後に残った３次元位置Ｄ３Ｐに基づいて、３次元画像生成部２３が、上述したように、例えばボール・ピボーティング（Ball-Pivoting）アルゴリズムを用いてポリゴンを算出することで、複数のポリゴンにより構成される３次元形状画像を生成する（ステップＳ８）。

すなわち、３次元画像生成部２３は、対象部分に対する複数の３次元位置Ｄ３Ｐが存在する場合に、信頼度が最も高い３次元位置Ｄ３Ｐ以外の３次元位置Ｄ３Ｐを削除し、削除後に残った３次元位置Ｄ３Ｐに基づいて３次元形状画像を生成するようになっている。

その後、この処理を終了するか否かを判定し（ステップＳ９）、終了しないと判定された場合にはステップＳ２へ戻って次の画像取得を行い、一方、終了すると判定された場合には、この処理を終える。

次に、図５は、内視鏡システムにおける３次元位置削除の処理を示すフローチャートである。

この処理を開始すると、内視鏡１の先端１ａの位置（図６参照）と、先端１ａの位置で取得した画像から推定された複数の３次元位置Ｄ３Ｐのそれぞれと、を結ぶ直線を設定する（ステップＳ１１）。

なお、直線は、無限の長さをもつ直線であるに限るものではなく、有限の長さを持つ線分（内視鏡１の先端１ａの位置と３次元位置Ｄ３Ｐを両端とする線分）であってもよいし、内視鏡１の先端１ａの位置と３次元位置Ｄ３Ｐとの何れか一方から他方へ向かうベクトルであっても構わない。

図６は、内視鏡１の先端１ａがある位置にあるときに取得された画像に基づいて推定された３次元位置Ｄ３Ｐと、内視鏡１の先端１ａの位置とを直線で結ぶ様子を示す図である。

ステップＳ１１の処理を終えると、次に、３次元位置Ｄ３Ｐの１つを注目位置とする処理が未だ行われていない未注目３次元位置Ｄ３Ｐがあるか否かを判定する（ステップＳ１２）。

ここで、未注目３次元位置Ｄ３Ｐがあると判定された場合には、未注目３次元位置Ｄ３Ｐの内の、例えば信頼度が最も高い３次元位置Ｄ３Ｐの１つを、注目３次元位置Ｄ３Ｐに設定する（ステップＳ１３）。

なお、ここで信頼度が最も高い３次元位置Ｄ３Ｐの１つを注目３次元位置Ｄ３Ｐに設定するのは、処理を効率的に行うためであるので、高い処理効率を求めないのであれば、信頼度が高い順に行うに限定されるものではない。

内視鏡１の先端１ａの位置と注目３次元位置Ｄ３Ｐとを結ぶ直線上に、注目３次元位置Ｄ３Ｐ以外の他の３次元位置Ｄ３Ｐがあるか否かを判定する（ステップＳ１４）。なお、数学的な点と直線、つまり、大きさが無限小の点と太さが無限小の直線との組み合わせでは、直線上に複数の点が存在することは極めて希となってしまう。そこで、この判定においては、他の３次元位置Ｄ３Ｐと、直線との少なくとも一方が、有限な大きさ（点でも面でもない３次元的な立体）であるとして扱う。

有限な大きさとして扱う第１の方法は、注目３次元位置Ｄ３Ｐを中心とした一定の大きさの領域（例えば、一定の半径の球領域）に対して、内視鏡１の先端１ａの位置を頂点として接する円錐面を算出し、直線がこの円錐面内の立体領域（円錐）であるとして扱って、円錐が数学的な点である他の３次元位置Ｄ３Ｐと交わるかを判定する方法である。

また、第２の方法は、内視鏡１の先端１ａの位置と注目３次元位置Ｄ３Ｐとを結ぶ直線が、一定の半径を持つ円柱であるとして扱って、円柱が数学的な点である他の３次元位置Ｄ３Ｐと交わるかを判定する方法である。

さらに、第３の方法は、内視鏡１の先端１ａの位置と注目３次元位置Ｄ３Ｐとを結ぶ直線は数学的な直線であるが、他の３次元位置Ｄ３Ｐが一定の大きさを持った領域（例えば、一定の半径を持つ球領域）であるとして扱う方法である。

なお、上述した第１〜第３の方法を組み合わせても構わない。例えば、第３の方法においては数学的な直線として扱ったが、これに代えて、第１の方法で説明したような円錐、あるいは第２の方法で説明したような円柱を用いて、一定の大きさを持った他の３次元位置Ｄ３Ｐと交わるかを判定するようにしても構わない。

加えて、上述した第１〜第３の方法においては、他の３次元位置Ｄ３Ｐまたは直線の大きさを一定としたが、これに限定されるものではなく、３次元位置Ｄ３Ｐの信頼度に応じて大きさを設定するようにしてもよい。例えば、第１または第２の方法においては、注目３次元位置Ｄ３Ｐの信頼度に応じた半径に基づき、円錐または円柱を算出すればよい。また、第３の方法においては、他の３次元位置Ｄ３Ｐの信頼度に応じて、例えば球領域の半径を定めればよい。ここに、信頼度と半径（大きさ）との具体的な関係としては、例えば、信頼度が高い場合には半径を大きくし、信頼度が低い場合には半径を小さくする（つまり、信頼度の高さに対して半径が単調増加するようにする）とよい。

ここで、他の３次元位置Ｄ３Ｐがあると判定された場合には、注目３次元位置Ｄ３Ｐの信頼度が、他の３次元位置Ｄ３Ｐの信頼度以下であるか否かを判定する（ステップＳ１５）。

そして、注目３次元位置Ｄ３Ｐの信頼度が他の３次元位置Ｄ３Ｐの信頼度よりも大きいと判定された場合には、他の３次元位置Ｄ３Ｐを削除する（ステップＳ１６）。

続いて、注目している直線上にさらに他の３次元位置Ｄ３Ｐがあるか否かを判定する（ステップＳ１７）。

ここで、さらに他の３次元位置Ｄ３Ｐがあると判定された場合には、ステップＳ１５へ戻って、注目３次元位置Ｄ３Ｐの信頼度と、さらに他の３次元位置Ｄ３Ｐの信頼度と、に基づいて、上述したような信頼度の比較および３次元位置Ｄ３Ｐの削除の処理を行う。

一方、ステップＳ１５において、注目３次元位置Ｄ３Ｐの信頼度が他の３次元位置Ｄ３Ｐの信頼度以下であると判定された場合には、注目３次元位置Ｄ３Ｐを削除する（ステップＳ１８）。

このように３次元画像生成部２３は、３次元位置推定部２２により推定された複数の３次元位置Ｄ３Ｐの内の１つを注目３次元位置Ｄ３Ｐに設定し、注目３次元位置Ｄ３Ｐが推定された基となる画像が取得されたときの内視鏡１の先端１ａの位置と、注目３次元位置Ｄ３Ｐとに直線を引いて、直線の上にある他の３次元位置Ｄ３Ｐの信頼度を注目３次元位置Ｄ３Ｐの信頼度と比較し、信頼度が低い方の注目３次元位置Ｄ３Ｐまたは他の３次元位置Ｄ３Ｐを削除するようになっている。

なお、ステップＳ１５，Ｓ１６，Ｓ１８においては、信頼度が等しい場合に注目３次元位置Ｄ３Ｐを削除して他の３次元位置Ｄ３Ｐを残したが、これとは逆に、他の３次元位置Ｄ３Ｐを削除して注目３次元位置Ｄ３Ｐを残すように処理しても構わない。または、注目３次元位置Ｄ３Ｐと、注目３次元位置Ｄ３Ｐと信頼度が等しい他の３次元位置Ｄ３Ｐと、の平均３次元位置Ｄ３Ｐを新たに算出して、算出した平均３次元位置Ｄ３Ｐを残し、注目３次元位置Ｄ３Ｐおよび他の３次元位置Ｄ３Ｐの両方を削除するように処理してもよい。このように、信頼度が低い方の注目３次元位置Ｄ３Ｐを削除することは処理の基本であるが、信頼度が等しい複数の３次元位置Ｄ３Ｐがあるときに、どれを削除してどれを残すかは適宜に決定することが可能である。

ステップＳ１８の処理を行った場合、ステップＳ１７においてさらに他の３次元位置Ｄ３Ｐはないと判定された場合、あるいはステップＳ１４において、直線上に他の３次元位置Ｄ３Ｐがないと判定された場合には、ステップＳ１２へ戻って上述したような処理を行う。

こうして、ステップＳ１２において、未注目３次元位置Ｄ３Ｐがないと判定された場合には、この処理から図２に示した処理にリターンする。

続いて、図７は、内視鏡システムにおける３次元位置削除の処理の変形例を示すフローチャートである。

この処理を開始すると、上述したステップＳ１２およびステップＳ１３の処理を行う。ただし、ステップＳ１３においては、何れの未注目３次元位置Ｄ３Ｐを注目３次元位置Ｄ３Ｐに設定してもよく、信頼度が高い順に設定する必要はない。

そして、注目３次元位置Ｄ３Ｐの信頼度が、閾値未満であるか否かを判定する（ステップＳ１５Ａ）。この判定に用いる閾値は、予め設定された固定値でもよいし、全ての３次元位置Ｄ３Ｐの信頼度の統計に基づいて算出した値であっても構わない。

ここで、注目３次元位置Ｄ３Ｐの信頼度が閾値未満であると判定された場合には、ステップＳ１８の処理を行って、注目３次元位置Ｄ３Ｐを削除する。

ステップＳ１８の処理を行うか、またはステップＳ１５Ａにおいて注目３次元位置Ｄ３Ｐの信頼度が閾値以上であると判定された場合には、ステップＳ１２へ戻って上述したような処理を行う。

こうして、ステップＳ１２において、未注目３次元位置Ｄ３Ｐがないと判定された場合には、この処理から図２に示した処理にリターンする。

なお、信頼度が低い３次元位置Ｄ３Ｐを削除した結果残った３次元位置Ｄ３Ｐに基づき、３次元画像生成部２３がポリゴンを算出して、３次元形状画像を生成しているが、残った３次元位置Ｄ３Ｐにも信頼度の大小がある。そこで、３次元画像生成部２３は、３次元形状画像を生成する際に、高い信頼度の３次元位置Ｄ３Ｐから構築されたポリゴンと、低い信頼度の３次元位置Ｄ３Ｐから構築されたポリゴンとで、色を異ならせた（つまり、信頼度に応じて部分毎の色を異ならせた）３次元形状画像を生成するようにしても構わない。これによりユーザは、３次元形状画像における形状の信頼性が高い部分と、信頼性が低い部分とを、３次元形状画像を一目見ただけで簡単に識別することが可能となる。

このような実施形態１によれば、内視鏡システムに係る所定のパラメータに基づいて、３次元位置推定部２２により推定された３次元位置Ｄ３Ｐの信頼度を判定するようにしたために、推定された３次元位置Ｄ３Ｐの信頼性を高めることが可能となる。

このとき、３次元画像生成部２３が信頼度に応じた３次元形状画像を生成することで、信頼性を高めた３次元形状画像を観察することが可能となる。

特に、対象部分に対する複数の３次元位置Ｄ３Ｐが存在する場合に、信頼度が最も高い３次元位置Ｄ３Ｐ以外の３次元位置Ｄ３Ｐを削除し、削除後に残った３次元位置Ｄ３Ｐに基づいて３次元形状画像を生成することで、誤差が大きいと推定される３次元位置Ｄ３Ｐの影響を受けることなく、３次元形状を再現することができる。

また、複数の３次元位置Ｄ３Ｐの内の１つを注目３次元位置Ｄ３Ｐに設定し、注目３次元位置Ｄ３Ｐが推定された基となる画像が取得されたときの内視鏡１の先端１ａの位置と、注目３次元位置Ｄ３Ｐとに直線を引いて、直線の上にある他の３次元位置Ｄ３Ｐの信頼度を注目３次元位置Ｄ３Ｐの信頼度と比較し、信頼度が低い方の注目３次元位置Ｄ３Ｐまたは他の３次元位置Ｄ３Ｐを削除することで、内視鏡１から見たときに重複する３次元位置Ｄ３Ｐを適切に削除することができる。

［実施形態２］
図８から図１９は本発明の実施形態２を示したものであり、図８は内視鏡システムの構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では内視鏡１が被検体に対して固定的な位置関係に配置されることを想定していたが、本実施形態においては、内視鏡１を被検体内へ挿入しながら、被検体内の観察を行うこと、つまり、被検体に対する内視鏡１の位置関係が変化することを想定している。従って、本実施形態の内視鏡システムは、実施形態１の図１に示した構成に加えて、内視鏡１の位置情報および姿勢情報を取得する位置姿勢情報取得部を備えている。

まず、図８に示す構成では、内視鏡１は、上述した撮像部１１と照射部１２と操作部１３とに加えて、例えば内視鏡１の挿入部の先端１ａに配置された計測部である位置方位検出部１４をさらに備えている。

位置方位検出部１４は、内視鏡１の挿入部の先端１ａの位置を検出して位置検出信号を出力すると共に、内視鏡１の挿入部の先端１ａが向く方向を検出して方位検出信号を出力する。この位置方位検出部１４は、空間座標である３軸（ｘｙｚ軸）の座標および３軸周りの角度を例えば磁界などに基づいて検出するものとなっており、６Ｄセンサなどとも呼ばれる。

また、処理システム２の制御部２５は、距離推定部２６および判定部２７に加えて、位置姿勢算出部２８を備えている。

この位置姿勢算出部２８は、位置方位検出部１４により検出された位置検出信号および方位検出信号に基づいて、内視鏡１の先端１ａの位置情報および姿勢情報を生成する。

こうして、位置方位検出部１４および位置姿勢算出部２８は、内視鏡１の位置情報および姿勢情報を取得する位置姿勢情報取得部を構成している。

位置姿勢算出部２８により取得された内視鏡１の位置情報および姿勢情報は、３次元位置推定部２２へ出力される。こうして、３次元位置推定部２２は、内視鏡１から取得された画像に加えて、さらに位置姿勢算出部２８から取得した位置情報および姿勢情報を用いて、被検体内の対象部分の３次元位置Ｄ３Ｐを推定するようになっている。

また、図９は、内視鏡システムの構成の変形例を示すブロック図である。

この図９に示す変形例においては、図８の位置方位検出部１４および位置姿勢算出部２８に代えて、処理システム２の制御部２５内に位置姿勢推定部２９が、位置姿勢情報取得部として設けられている。

内視鏡１の位置情報および姿勢情報は、センサ等により検出する技術以外に、画像等から推定する技術が知られている。そこで、この位置姿勢推定部２９は、例えば、内視鏡１により取得された画像に基づいて、演算等を行うことにより内視鏡１の位置および姿勢を推定し、位置情報および姿勢情報を取得するものとなっている。取得した内視鏡１の位置情報および姿勢情報が、３次元位置推定部２２による３次元位置Ｄ３Ｐの推定に用いられるのは上述と同様である。

次に、図１０は、内視鏡システムの作用を示すフローチャートである。

この処理を開始すると、上述したステップＳ１〜Ｓ５の処理を行う。

そして、ステップＳ５において、まだ形状算出の処理に進まないと判定された場合には、内視鏡１の挿入等にともなって撮影位置（方位も含む、以下同様）が変化し、新たな撮影位置に応じて制御部２５が撮影条件を変化させる（ステップＳ６Ｂ）。なお、ここで、上述した実施形態１と同様に、撮影位置が変化しなくても、撮影条件を意図的に変化させるようにしても構わない。

そして、変化された撮影条件および撮影位置の下で、上述したステップＳ２の処理を行って画像を取得する。こうしたステップＳ２〜Ｓ６Ｂの処理を複数回繰り返して行うことにより、撮影条件と撮影位置との少なくとも一方が異なる複数の画像が取得され、取得された複数の画像に基づいて、被検体内の同一の対象部分に対して複数の３次元位置Ｄ３Ｐが推定される。

ここで、図１２は、被検体ＯＢＪ内における、内視鏡１が画像を取得した撮像位置Ｐ１〜Ｐ３と、対象部分ＯＰと、の位置関係の例を示す図である。

内視鏡１が被検体ＯＢＪ内に挿入されると、先端１ａの撮像位置は、例えばＰ１→Ｐ２→Ｐ３のように移動する。ここに、撮像位置Ｐ１〜Ｐ３は、撮像位置Ｐ１において画像が１枚取得され、内視鏡１が挿入された撮像位置Ｐ２において画像が１枚取得され、内視鏡１がさらに挿入された撮像位置Ｐ３においてさらに画像が１枚取得されたことを示している。

撮像位置が異なると、取得された画像における対象部分ＯＰの写り方も異なる。

図１３は、各撮像位置Ｐ１〜Ｐ３において取得された各画像における対象部分ＯＰと、各画像からそれぞれ推定された３次元位置Ｄ３Ｐと、総合的なトータル３次元位置Ｄ３Ｐと、を示す図表である。

図１３において、左から１番目の縦欄は、撮像位置が上述したＰ１〜Ｐ３の何れであるかを示している。

そして、左から２番目の縦欄が、各撮像位置において撮像された画像と、画像内における対象部分ＯＰと、を示している。図示のように、撮像位置が対象部分ＯＰに近接するにつれて、画像内における対象部分ＯＰの大きさが大きくなっている。また、一般に、内視鏡１の方位が変化すれば、画像内における対象部分ＯＰの位置も変化する。

また、左から３番目の縦欄は、各撮像位置において撮像された画像から推定された３次元位置Ｄ３Ｐと、実際の被検体ＯＢＪの位置と、を比較して示している。ここに、撮像位置Ｐ１において撮像された画像から推定された３次元位置を四角マークのＤ３Ｐ１により、撮像位置Ｐ２において撮像された画像から推定された３次元位置を丸マークのＤ３Ｐ２により、撮像位置Ｐ３において撮像された画像から推定された３次元位置を三角マークのＤ３Ｐ３により、それぞれ示している。

さらに、左から４番目の縦欄は、各撮像位置Ｐ１〜Ｐ３において撮像された各画像から推定された３次元位置Ｄ３Ｐ１〜Ｄ３Ｐ３をまとめて、実際の被検体ＯＢＪの位置と比較して示している。

複数の画像が得られて形状算出の処理に進むことがステップＳ５において判定されると、移動時３次元位置削除の処理を、後で図１１を参照して説明するように３次元画像生成部２３が行う（ステップＳ２０）。

こうして、信頼度が低い３次元位置Ｄ３Ｐが削除された後に残った３次元位置Ｄ３Ｐに基づき、ステップＳ８において、３次元画像生成部２３が上述したように３次元形状画像を生成する。

その後、ステップＳ９において、この処理を終了するか否かを判定し、終了しないと判定された場合にはステップＳ２へ戻って次の画像取得を行い、一方、終了すると判定された場合には、この処理を終える。

次に、図１１は、内視鏡システムにおける移動時３次元位置削除の処理を示すフローチャートである。

図１０のステップＳ２０においてこの処理に入ると、画像取得時に位置姿勢情報取得部（図８に示した位置方位検出部１４および位置姿勢算出部２８、または図９に示した位置姿勢推定部２９）により取得された内視鏡１の位置情報に基づいて、３次元形状画像を構築する空間における内視鏡１の先端１ａの位置を設定する（ステップＳ２１）。

内視鏡１の先端１ａの位置が設定されれば、内視鏡１の先端１ａの位置から相対的に見た対象部分の位置も、３次元形状画像を構築する空間において定まる。

そして、ステップＳ７において、ステップＳ２１で設定した内視鏡１の先端１ａの位置において取得した画像に基づき推定された３次元位置Ｄ３Ｐに着目して、図５に示した３次元位置削除の処理を行う。

その後、ステップＳ２１においてまだ設定されていない内視鏡１の先端１ａの位置があるか否かを判定する（ステップＳ２２）。

ここで、未設定の内視鏡１の先端１ａの位置があると判定された場合には、ステップＳ２１へ戻って、内視鏡１の先端１ａの次の位置を設定し、上述したような処理を行う。

図１４は、第１の撮像位置Ｐ１で取得された画像から推定された３次元位置Ｄ３Ｐ１に、内視鏡１の先端１ａの位置から直線を引く様子を示す図、図１５は、図１４で引いた直線に基づいて、３次元位置削除の処理を行う例を示す図である。

上述した図１１のステップＳ２１において、内視鏡１の先端１ａの位置を第１の撮像位置Ｐ１に設定した場合には、この図１４に示すような直線が引かれる。そして、１つの直線上に複数の３次元位置Ｄ３Ｐ（この３次元位置Ｄ３Ｐは、Ｄ３Ｐ１だけでなく、Ｄ３Ｐ２、Ｄ３Ｐ３などの他の撮像位置の画像に係る３次元位置も対象に含まれる）がある場合には、図５において説明したように、信頼度が低い方の３次元位置Ｄ３Ｐが削除される（信頼度が等しいときには何れか一つを残すか、または上述した平均３次元位置Ｄ３Ｐを新たに算出して残し、注目３次元位置Ｄ３Ｐおよび他の３次元位置Ｄ３Ｐの両方を削除する）。図１４において６つある四角マークの３次元位置Ｄ３Ｐ１が、３次元位置削除の処理を行った後の図１５においては１つ削除されて５つとなっている。

次に、図１６は、第２の撮像位置Ｐ２で取得された画像から推定された３次元位置Ｄ３Ｐ２に、内視鏡１の先端１ａの位置から直線を引く様子を示す図、図１７は、図１６で引いた直線に基づいて、３次元位置削除の処理を行う例を示す図である。

第１の撮像位置Ｐ１に着目した処理が終わったら、図１１のステップＳ２２からステップＳ２１の処理へ戻って、次に第２の撮像位置Ｐ２に着目して、同様の処理を行う。すなわち、図１６に示すように、先端１ａの位置から各３次元位置Ｄ３Ｐ２までの直線を引いて、１つの直線上に複数の３次元位置Ｄ３Ｐがある場合に、信頼度が低い方の３次元位置Ｄ３Ｐが削除される（信頼度が等しいときには何れか一つを残すか、または上述した平均３次元位置Ｄ３Ｐを新たに算出して残し、注目３次元位置Ｄ３Ｐおよび他の３次元位置Ｄ３Ｐの両方を削除する）。

具体的に、図１６において５つある四角マークの３次元位置Ｄ３Ｐ１および６つある丸マークの３次元位置Ｄ３Ｐ２が、３次元位置削除の処理を行った後の図１７においては幾つか削除されて、それぞれ２つの四角マークおよび５つの丸マークとなっている。

図１８は、第３の撮像位置Ｐ３で取得された画像から推定された３次元位置Ｄ３Ｐ３に、内視鏡１の先端１ａの位置から直線を引く様子を示す図、図１９は、図１８で引いた直線に基づいて、３次元位置削除の処理を行う例を示す図である。

第２の撮像位置Ｐ２に着目した処理が終わったら、再び図１１のステップＳ２２からステップＳ２１の処理へ戻って、次に第３の撮像位置Ｐ３に着目して、同様の処理を行う。すなわち、図１８に示すように、先端１ａの位置から各３次元位置Ｄ３Ｐ３までの直線を引いて、１つの直線上に複数の３次元位置Ｄ３Ｐがある場合に、信頼度が低い方の３次元位置Ｄ３Ｐが削除される（信頼度が等しいときには何れか一つを残すか、または上述した平均３次元位置Ｄ３Ｐを新たに算出して残し、注目３次元位置Ｄ３Ｐおよび他の３次元位置Ｄ３Ｐの両方を削除する）。

具体的に、図１８において２つある四角マークの３次元位置Ｄ３Ｐ１、５つある丸マークの３次元位置Ｄ３Ｐ２、および６つある三角マークの３次元位置Ｄ３Ｐ３が、３次元位置削除の処理を行った後の図１９においては幾つか削除されて、それぞれ２つの四角マーク、５つの丸マーク、および１つの三角マークとなっている。

このようにして、未設定の内視鏡１の先端１ａの位置がある場合には、ステップＳ２１において先端１ａの次の位置を設定することを順次行い、その結果、ステップＳ２２において、未設定の内視鏡１の先端１ａの位置がないと判定された場合には、この処理から図１０に示した処理にリターンする。

なお、上述では、画像が撮像された撮像位置の順に処理を行っているが、これに限定されるものではなく、撮像位置に関わらず、１つの３次元位置Ｄ３Ｐに着目して直線を引き、直線上に複数の３次元位置Ｄ３Ｐがある場合に、信頼度が低い方の３次元位置Ｄ３Ｐを削除する（信頼度が等しいときには何れか一つを残すか、または上述した平均３次元位置Ｄ３Ｐを新たに算出して残し、注目３次元位置Ｄ３Ｐおよび他の３次元位置Ｄ３Ｐの両方を削除する）、という処理を、着目する３次元位置Ｄ３Ｐを順次変更しながら行っても構わない。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、位置姿勢情報取得部により取得した内視鏡１の位置情報および姿勢情報を用いて対象部分ＯＰの３次元位置Ｄ３Ｐを推定するようにしたために、内視鏡１を移動しながら、同じ対象部分ＯＰを複数回観察して形状を推定する場合でも、形状を正しく推定し、ひいては正しく再現することができる。

また、位置姿勢情報取得部として計測部である位置方位検出部１４および位置姿勢算出部２８を用いる場合には、計測結果に基づいて、内視鏡１の位置情報および姿勢情報を正確に取得することができる。

一方、位置姿勢情報取得部として位置姿勢推定部２９を用いる場合には、磁界発生装置などの構成を用いることなく内視鏡１の位置情報および姿勢情報を取得することができ、構成を簡単にすることが可能となる。

［実施形態３］
図２０から図２３は本発明の実施形態３を示したものであり、図２０は内視鏡システムの作用を示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、上述した実施形態１に対して、３次元位置削除の処理を行うタイミングを異ならせ、かつ３次元位置削除の処理を行う方法を異ならせたものとなっている。なお、ここでは実施形態１をベースとして説明するが、３次元位置削除の処理を行うタイミングを異ならせることと、３次元位置削除の処理を行う方法を異ならせることと、の少なくとも一方を行う変更は、実施形態１，２の何れに対して適用しても構わない（すなわち、被検体に対する内視鏡１の位置関係が、固定的となる場合と、変化する場合と、の何れに対して適用しても構わない）。

具体的に、図２０に示す処理を開始すると、ステップＳ１〜Ｓ４の処理を行った後に、３次元位置削除の処理を行う（ステップＳ３０）。

つまり、上述した実施形態１，２においては、複数枚の画像を取得し終えて形状算出の処理に進むと判定されてから３次元位置削除の処理を行ったが、本実施形態は、１枚の画像を取得する毎に、３次元位置削除の処理を行うものとなっている。

その後、ステップＳ５において形状算出の処理に進むか否かを判定し、進まないと判定された場合にはステップＳ６の処理を行い、進むと判定された場合にはステップＳ８およびステップＳ９の処理に進む。そして、ステップＳ９において、この処理を終了すると判定された場合に、この処理を終える。

次に、図２１は、内視鏡システムにおける３次元位置削除の処理を示すフローチャートである。

この処理を開始すると、ステップＳ１２の処理を行って、未注目３次元位置Ｄ３Ｐがあると判定された場合に、未注目３次元位置Ｄ３Ｐの内の、信頼度が最も高い３次元位置Ｄ３Ｐの１つを、注目３次元位置Ｄ３Ｐに設定する（ステップＳ１３Ｃ）。

続いて、注目３次元位置Ｄ３Ｐの信頼度に応じた範囲の近傍を、注目３次元位置Ｄ３Ｐに対して設定する（ステップＳ３１）。

ここに、図２２は、注目３次元位置Ｄ３Ｐに対して設定された信頼度に応じて設定される近傍範囲の大きさの一例を示す線図、図２３は、３次元位置Ｄ３Ｐに対して設定された信頼度に応じて設定される近傍範囲の一例を示す線図である。

まず、図２２に示すように、近傍範囲は、信頼度が高いほど大きくなるように設定される。その結果、図２３に示すように、信頼度が高い３次元位置Ｄ３Ｐ２の近傍範囲ＮＨ２は最も大きく、信頼度が中である３次元位置Ｄ３Ｐ１の近傍範囲ＮＨ１は近傍範囲ＮＨ２よりも小さく、信頼度が小である３次元位置Ｄ３Ｐ３の近傍範囲ＮＨ３は近傍範囲ＮＨ１よりもさらに小さく設定される。

その後、注目３次元位置Ｄ３Ｐに対して設定された近傍範囲に、他の３次元位置Ｄ３Ｐがあるか否かを判定する（ステップＳ１４Ｃ）。

ここで、他の３次元位置Ｄ３Ｐがあると判定された場合には、上述したステップＳ１５の処理と、ステップＳ１６またはステップＳ１８の処理と、を行う。

ステップＳ１６の処理を行った場合には、さらに、注目３次元位置Ｄ３Ｐに対して設定された近傍範囲に、さらに他の３次元位置Ｄ３Ｐがあるか否かを判定する（ステップＳ１７Ｃ）。

ここで、さらに他の３次元位置Ｄ３Ｐがあると判定された場合には、ステップＳ１５へ戻って、注目３次元位置Ｄ３Ｐの信頼度と、さらに他の３次元位置Ｄ３Ｐの信頼度と、に基づいて、上述したような信頼度の比較および３次元位置Ｄ３Ｐの削除の処理を行う。

このように３次元画像生成部２３は、３次元位置推定部２２により推定された複数の３次元位置Ｄ３Ｐの内の１つを注目３次元位置Ｄ３Ｐに設定し、注目３次元位置Ｄ３Ｐの信頼度に応じた大きさの近傍範囲を設定して、近傍範囲内にある他の３次元位置Ｄ３Ｐの信頼度を注目３次元位置Ｄ３Ｐの信頼度と比較し、信頼度が低い方の注目３次元位置Ｄ３Ｐまたは他の３次元位置Ｄ３Ｐを削除するようになっている。

ステップＳ１８の処理を行った場合、ステップＳ１７Ｃにおいてさらに他の３次元位置Ｄ３Ｐはないと判定された場合、あるいはステップＳ１４Ｃにおいて、近傍範囲に他の３次元位置Ｄ３Ｐがないと判定された場合には、ステップＳ１２へ戻って上述したような処理を行う。

こうして、ステップＳ１２において、未注目３次元位置Ｄ３Ｐがないと判定された場合には、この処理から図２０に示した処理にリターンする。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、注目３次元位置Ｄ３Ｐの信頼度に応じた大きさの近傍範囲を設定して、近傍範囲内にある他の３次元位置Ｄ３Ｐの信頼度を注目３次元位置Ｄ３Ｐの信頼度と比較し、信頼度が低い方の注目３次元位置Ｄ３Ｐまたは他の３次元位置Ｄ３Ｐを削除するようにしたために、近接した位置にある複数の３次元位置Ｄ３Ｐを、信頼度により適切に整理することができる。

このとき、信頼度が高い順に注目３次元位置Ｄ３Ｐを設定することで、効率的な処理を行うことが可能となる。

また、１枚の画像が取得される毎に３次元位置削除の処理を行うようにしたために、３次元位置Ｄ３Ｐを記憶するメモリの記憶容量を削減することができる。さらに、管理する３次元位置Ｄ３Ｐの数も少なくなるために、処理を高速化することができる。

［実施形態４］
図２４から図２８は本発明の実施形態４を示したものである。この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した各実施形態においては、図３または図４に示したように、信頼度の設定を画像に写っている対象部分の輝度に応じて行っていた。これに対して本実施形態は、信頼度の設定に対する種々のバリエーションを与えるものとなっている。

まず、図２４は、評価値変化量に応じて３次元位置Ｄ３Ｐの信頼度を設定する例を示す線図である。

ここに、評価値Ｅは、例えば光源絞り３１の光源絞り値Ｆ、画像を取得する撮像素子１１ａのゲインＧ、などに応じて設定され、例えばＦおよびＧの２変数関数である評価関数ｆを用いて、次のように記載される。

Ｅ＝ｆ（Ｆ，Ｇ）
このように求められる評価値Ｅが、フレーム間でどれだけ変化したかが評価値変化量ΔＥであり、現フレームの評価値をＥｎ、現フレームの１つ前のフレームの評価値をＥ（ｎ−１）とすると、例えば、
ΔＥ＝Ｅｎ−Ｅ（ｎ−１）
により求められる。

この評価値変化量ΔＥが大きいと、例えば、内視鏡１の先端１ａの方向が変化するなどにより、撮像対象となる部位が異なる部位に変化した等が生じたと考えられる。

従って、評価値変化量ΔＥが大きい場合に信頼度を低く設定する様子を示すのが図２４の線図である。

なお、上述した評価関数は一例であるので、光源絞り値ＦとゲインＧとの何れか一方のみを用いる評価関数を用いてもよいし、その他の変数により値が変化する多変数関数などの評価関数を用いても構わない。

次に、図２５は、３次元位置Ｄ３Ｐを取得した対象部分が写っている画素の、画像における光学中心からの距離に応じて、３次元位置Ｄ３Ｐの信頼度を設定する例を示す線図である。

内視鏡１の対物光学系は一般に広角であるために、画像の周辺には歪みがある。３次元位置Ｄ３Ｐを推定する際には、この歪みを補正した画像を用いるが、画像の周辺になるほど使用する画素の間隔が広がって補正の誤差が増えるために、画像の周辺部は中央部に比べて画質が低い。そこで、この図２５に示す例は、画質が比較的高く保たれる領域の信頼度に比べて、画質が低くなる周辺部の信頼度を低くするようにしたものとなっている。

なお、ここでは、光学中心からの距離に応じて設定する例を説明したが、画質の相違は距離のみに依存するに限るものではない（例えば、光学中心からの距離は同一でも、左右方向と上下方向とで画質が異なるなど）ために、より一般には、画像に写っている対象部分の画像の光学中心に対する位置に応じて、３次元位置Ｄ３Ｐの信頼度を設定するとよい。例えば、光学中心に対する位置に応じて画像を複数の領域に分けて、領域毎に信頼度を与えるようにしてもよいし、光学中心に対する位置と信頼度との対応関係が記載されたテーブルを作成して制御部２５内の記憶部に記憶するようにしても構わない。

続いて、図２６は、３次元位置Ｄ３Ｐを取得した対象部分が写っている画素の色相に応じて３次元位置Ｄ３Ｐの信頼度を設定する例を示す線図である。

内視鏡１が例えば医療用内視鏡である場合には、被検体となる体腔内の多くは、特定の色相領域に入っている。そこで、この図２６に示す例では、画像に写っている対象部分の色相が、赤と黄との間のオレンジ付近の色相領域に入る場合にのみ所定の信頼度を与え、それ以外の色相である場合に信頼度を低くする（この例では信頼度を０に設定する）ようにしている。

例えば、内視鏡１の先端１ａからの距離が同一であっても、体腔内における血管部分と血管部分以外とでは輝度が異なる。従って、輝度に基づいて対象部分までの距離を推定すると、血管部分と血管部分以外とでは異なる距離として測定されてしまう。

一方、血管部分と血管部分以外とでは、輝度が異なるだけでなく、色相も異なる。そこで、図２６に示すような特定の色相領域にのみ所定の信頼度を与える設定を行うことで、血管などの影響を受け難いようにして、推定される３次元位置Ｄ３Ｐの精度を向上することができる。

図２７は、内視鏡１の先端１ａの移動速度に応じて３次元位置Ｄ３Ｐの信頼度を設定する例を示す線図である。

内視鏡１の先端１ａの移動速度が大きいと、取得される画像にブレが生じる。従って、内視鏡１の先端１ａの移動速度が一定値以上であるときには、移動速度の大きさに応じて、信頼度を低く設定するようにしている。なお、内視鏡１の先端１ａの移動速度は、例えば、図８に示した位置方位検出部１４および位置姿勢算出部２８により取得された複数フレームの位置情報に基づき算出することができる。内視鏡１の先端１ａに速度センサ等を別途に設けて移動速度を検出するようにしても構わない。

図２８は、内視鏡１の先端１ａの位置の計測信頼度に応じて、３次元位置Ｄ３Ｐの信頼度を設定する例を示す線図である。

位置姿勢情報取得部として、図８に示したような計測部である位置方位検出部１４および位置姿勢算出部２８を用いる場合（具体的に、磁界センサ等を用いる場合）には、計測値の信頼度がどのくらい高いかを示す計測信頼度が得られる構成となっている。

そして、高い計測信頼度の内視鏡１の先端１ａの位置に基づいて推定される３次元位置Ｄ３Ｐの信頼度は高く、逆に、低い計測信頼度の内視鏡１の先端１ａの位置に基づいて推定される３次元位置Ｄ３Ｐの信頼度は低い。

従って、内視鏡１の先端１ａの位置の計測信頼度がある一定値よりも低いときには、計測信頼度の低さに応じて、３次元位置Ｄ３Ｐの信頼度を低く設定するようにしている。

また、上述した幾つかの信頼度の設定方法は、１つのみを使用してもよいが、複数を組み合わせても構わない。

例えば、画像に写っている対象部分の輝度に基づき設定される信頼度をＣ１（図３または図４）、評価値変化量ΔＥに基づき設定される信頼度をＣ２（図２４）、光学中心からの距離（より一般には、光学中心に対する位置）に基づき設定される信頼度をＣ３（図２５）、色相に基づき設定される信頼度をＣ４（図２６）、内視鏡１の先端１ａの移動速度に基づき設定される信頼度をＣ５（図２７）、内視鏡１の先端１ａの位置の計測信頼度に基づき設定される信頼度をＣ６（図２８）とすると、トータル信頼度Ｃを、これら６つの信頼度Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６を用いた評価関数Ｃにより求めるようにしてもよい。

Ｃ＝Ｃ（Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６）
このような実施形態４によれば、上述した実施形態１〜３とほぼ同様の効果を奏するとともに、所定のパラメータとして、画像に写っている対象部分の輝度、被検体へ照射する照明光の光量を制御する光源絞り値、画像を取得する撮像素子のゲイン、画像に写っている対象部分の画像の光学中心に対する位置、画像に写っている対象部分の色相、内視鏡１の先端１ａの移動速度、計測部による計測値の信頼度の内の少なくとも１つを用いて、３次元位置Ｄ３Ｐの信頼度を判定するようにしたために、信頼度の精度を向上することができる。これにより、３次元画像生成部２３により生成される３次元形状画像の、形状の再現性を向上することができる。

さらに、上述したトータル信頼度Ｃを用いるようにすれば、３次元位置Ｄ３Ｐの信頼度をより高い精度で設定することができ、３次元形状画像の形状再現性をさらに向上することが可能となる。

なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。

また、上述では主として内視鏡システムについて説明したが、内視鏡システムを上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１７年６月１５日に日本国に出願された特願２０１７−１１７９９０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

本発明の一態様による内視鏡システムは、被検体内を撮像して画像を取得する内視鏡と、前記画像に基づいて、前記被検体内における対象部分の３次元位置を推定する３次元位置推定部と、内視鏡システムに係る所定のパラメータに基づいて、前記３次元位置推定部により推定された前記３次元位置の信頼度を判定する判定部と、前記対象部分に対する複数の３次元位置が存在する場合に、前記信頼度に応じて前記複数の３次元位置の内の所定の３次元位置を選択し、選択した前記所定の３次元位置に基づいて３次元形状画像を生成する３次元画像生成部と、を備える。

本発明の他の態様による内視鏡システムの作動方法は、３次元位置推定部が、内視鏡により被検体内を撮像して取得された画像に基づいて、前記被検体内における対象部分の３次元位置を推定するステップと、判定部が、内視鏡システムに係る所定のパラメータに基づいて、前記３次元位置推定部により推定された前記３次元位置の信頼度を判定するステップと、前記対象部分に対する複数の３次元位置が存在する場合に、前記信頼度に応じて前記複数の３次元位置の内の所定の３次元位置を選択し、選択した前記所定の３次元位置に基づいて３次元形状画像を生成するステップと、を有する。

Claims (14)

1. 被検体内を撮像して画像を取得する内視鏡と、
   前記画像に基づいて、前記被検体内における対象部分の３次元位置を推定する３次元位置推定部と、
   内視鏡システムに係る所定のパラメータに基づいて、前記３次元位置推定部により推定された前記３次元位置の信頼度を判定する判定部と、
   を備えることを特徴とする内視鏡システム。
2. 前記３次元位置推定部により推定された前記３次元位置に基づいて、前記信頼度に応じた３次元形状画像を生成する３次元画像生成部をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
3. 前記３次元画像生成部は、前記対象部分に対する複数の３次元位置が存在する場合に、前記信頼度が最も高い３次元位置以外の３次元位置を削除し、削除後に残った３次元位置に基づいて前記３次元形状画像を生成することを特徴とする請求項２に記載の内視鏡システム。
4. 前記３次元画像生成部は、前記３次元位置推定部により推定された前記複数の３次元位置の内の１つを注目３次元位置に設定し、前記注目３次元位置が推定された基となる前記画像が取得されたときの前記内視鏡の先端位置と、前記注目３次元位置とに直線を引いて、前記直線の上にある他の３次元位置の信頼度を前記注目３次元位置の信頼度と比較し、信頼度が低い方の前記注目３次元位置または前記他の３次元位置を削除することを特徴とする請求項３に記載の内視鏡システム。
5. 前記３次元画像生成部は、前記３次元位置推定部により推定された前記複数の３次元位置の内の１つを注目３次元位置に設定し、前記注目３次元位置の信頼度に応じた大きさの近傍範囲を設定して、前記近傍範囲内にある他の３次元位置の信頼度を前記注目３次元位置の信頼度と比較し、信頼度が低い方の前記注目３次元位置または前記他の３次元位置を削除することを特徴とする請求項３に記載の内視鏡システム。
6. 前記３次元画像生成部は、前記３次元位置推定部により推定された前記複数の３次元位置の内の、前記信頼度が高い前記３次元位置から順に、前記注目３次元位置に設定することを特徴とする請求項４または請求項５に記載の内視鏡システム。
7. 前記３次元画像生成部は、前記３次元位置推定部により推定された複数の３次元位置の内の、前記信頼度が閾値よりも低いと判定された３次元位置を削除し、削除後に残った３次元位置に基づいて前記３次元形状画像を生成することを特徴とする請求項２に記載の内視鏡システム。
8. 前記３次元画像生成部は、前記信頼度に応じて部分毎の色を異ならせた前記３次元形状画像を生成することを特徴とする請求項２に記載の内視鏡システム。
9. 前記画像に基づいて、前記内視鏡と前記被検体との距離を推定する距離推定部をさらに備え、
   前記３次元位置推定部は、前記距離推定部により推定された前記距離と、前記画像における前記対象部分の位置と、に基づいて、前記対象部分の前記３次元位置を推定することを特徴とする請求項１に記載の内視鏡システム。
10. 前記内視鏡の位置情報および姿勢情報を取得する位置姿勢情報取得部をさらに備え、
    前記３次元位置推定部は、さらに前記位置情報および前記姿勢情報を用いて、前記対象部分の前記３次元位置を推定することを特徴とする請求項１に記載の内視鏡システム。
11. 前記位置姿勢情報取得部は、前記内視鏡の位置および姿勢を計測して前記位置情報および前記姿勢情報を取得する計測部を備えることを特徴とする請求項１０に記載の内視鏡システム。
12. 前記所定のパラメータは、前記画像に写っている前記対象部分の輝度、前記被検体へ照射する照明光の光量を制御する光源絞り値、前記画像を取得する撮像素子のゲイン、前記画像に写っている前記対象部分の前記画像の光学中心に対する位置、前記画像に写っている前記対象部分の色相、前記内視鏡の先端の移動速度、前記計測部による計測値の信頼度の内の少なくとも１つを含むことを特徴とする請求項１１に記載の内視鏡システム。
13. 前記位置姿勢情報取得部は、前記内視鏡により取得された前記画像に基づいて前記内視鏡の位置および姿勢を推定し、前記位置情報および前記姿勢情報を取得する位置姿勢推定部を備えることを特徴とする請求項１０に記載の内視鏡システム。
14. ３次元位置推定部が、内視鏡により被検体内を撮像して取得された画像に基づいて、前記被検体内における対象部分の３次元位置を推定するステップと、
    判定部が、内視鏡システムに係る所定のパラメータに基づいて、前記３次元位置推定部により推定された前記３次元位置の信頼度を判定するステップと、
    を有することを特徴とする内視鏡システムの作動方法。

Images