JP6218991B2 - 内視鏡の状態推定装置の作動方法および内視鏡システム - Google Patents

Description

本発明は、内視鏡の状態推定装置の作動方法および内視鏡システムに関する。

従来、内視鏡の位置や姿勢等を推定する様々な手法が知られている（たとえば特許文献１〜５参照）。

特開２００５−３３８５５１号公報 国際公開第２０１２／１１７８１６号 特開２０１４−１７８３２８号公報 特開２００７−３０１３７８号公報 特開２０１４−２２２５５１号公報

内視鏡の位置や姿勢等の状態を推定するための情報を算出する場合、算出に必要な要素が不十分であったり、誤差が蓄積されたりすることにより、推定精度が低下する場合がある。
本発明は、内視鏡の位置や姿勢等の状態の推定精度が低下しにくい内視鏡の状態推定装置の作動方法および内視鏡システムを提供することを目的とする。

本発明の第一の態様は、内視鏡が撮像する第一画像から第一特徴点を抽出する第一抽出ステップと、前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する第二抽出ステップと、前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する第三抽出ステップと、前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一推定ステップと、前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二推定ステップと、前記第一推定ステップにおける推定精度および前記第二推定ステップにおける第二推定精度を算出し、前記推定精度および前記第二推定精度に基づいて前記第一推定ステップにおける推定結果と前記第二推定ステップにおける推定結果とのうち信頼性を有するいずれか一方を採用し、前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三推定ステップと、を含む内視鏡の状態推定装置の作動方法である。

本発明の第二の態様は、内視鏡が撮像する第一画像から第一特徴点を抽出する第一抽出ステップと、前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する第二抽出ステップと、前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する第三抽出ステップと、前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一推定ステップと、前記第一推定ステップにおける推定精度を算出して前記第一推定ステップにおける推定の信頼性の有無を判定する第一判定ステップと、前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二推定ステップと、前記第二推定ステップにおける推定精度を算出して前記第二推定ステップにおける推定の信頼性の有無を判定する第二判定ステップと、前記第一判定ステップにおける判定結果と前記第二判定ステップにおける判定結果とに基づいて、前記第一推定ステップにおける推定結果と前記第二推定ステップにおける推定結果とのうち信頼性を有するいずれか一方を採用して前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三推定ステップとを含む内視鏡の状態推定装置の作動方法である。

前記第一推定ステップにおいて、前記第一推定ステップの直前に行われた前記第三推定ステップにより推定された前記内視鏡の位置及び姿勢並びに前記対応点の座標を用いて前記内視鏡の位置及び姿勢の変化量を推定してもよい。

また、上記態様の内視鏡の状態推定装置の作動方法は、前記第三推定ステップにより推定された前記内視鏡の位置及び姿勢に基づいて前記内視鏡の搖動中心の有無を判定して体内への内視鏡の刺入点の位置を推定する刺入点位置推定ステップをさらに備えていてもよい。
本発明の第三の態様は、内視鏡と、前記内視鏡を制御するためのシステム本体と、を備える内視鏡システムであって、前記システム本体は、前記内視鏡が撮像する第一画像から第一特徴点を抽出し、前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する特徴点抽出部と、前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する対応点抽出部と、前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一状態推定部と、前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二状態推定部と、前記第一状態推定部における推定精度および前記第二状態推定部における第二推定精度を算出し、前記推定精度および前記第二推定精度に基づいて前記第一状態推定部における推定結果と前記第二状態推定部における推定結果とのうち信頼性を有するいずれか一方を採用し、前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三状態推定部と、を有する、内視鏡システムである。
本発明の第四の態様は、内視鏡と、前記内視鏡を制御するためのシステム本体と、を備える内視鏡システムであって、前記システム本体は、内視鏡が撮像する第一画像から第一特徴点を抽出し、前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する特徴点抽出部と、前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する対応点抽出部と、前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一状態推定部と、前記第一状態推定部における推定精度を算出して前記第一状態推定部における推定の信頼性の有無を判定する第一判定部と、前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二状態推定部と、前記第二状態推定部における推定精度を算出して前記第二状態推定部における推定の信頼性の有無を判定する第二判定部と、前記第一判定部における判定結果と前記第二判定部における判定結果とに基づいて、前記第一状態推定部における推定結果と前記第二状態推定部における推定結果とのうち信頼性を有するいずれか一方を採用して前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三状態推定部と、を有する、内視鏡システムである。
また、上記態様の内視鏡システムは、前記第一状態推定部が、直前に第三状態推定部により推定された前記内視鏡の位置及び姿勢並びに前記対応点の座標を用いて前記内視鏡の位置及び姿勢の変化量を推定してもよい。
また、上記態様の内視鏡システムは、前記第三状態推定部に接続されており、前記第三状態推定部により推定された前記内視鏡の位置及び姿勢に基づいて前記内視鏡の搖動中心の有無を判定して体内への内視鏡の刺入点の位置を推定する刺入点推定部をさらに有してもよい。

本発明によれば、内視鏡の位置や姿勢等の状態の推定精度が低下しにくい内視鏡の状態推定装置の作動方法および内視鏡システムを提供することができる。

本発明の第１実施形態の内視鏡の状態推定装置の作動方法が適用される処置システムの模式図である。 同処置システムのブロック図である。 同処置システムにおける内視鏡の状態推定装置の作動方法を示すフローチャートである。 同実施形態の変形例の構成を示すブロック図である。 本発明の第２実施形態の内視鏡の状態推定装置の作動方法が適用される処置システムのブロック図である。 同処置システムにおける内視鏡の状態推定装置の作動方法を示すフローチャートである。 本発明の第３実施形態の内視鏡の状態推定装置の作動方法が適用される処置システムのブロック図である。 同処置システムにおける内視鏡の状態推定装置の作動方法を示すフローチャートである。 本発明の第４実施形態の内視鏡の状態推定装置の作動方法が適用される処置システムのブロック図である。

（第１実施形態）
本発明の第１実施形態について説明する。
本実施形態の内視鏡２の状態推定装置の作動方法は、内視鏡２を備えた処置システム１において内視鏡２の状態（内視鏡２の位置、姿勢、移動速度、及び加速度等）を推定するための方法である。

本実施形態における処置システム１の一例を図１〜図３で示して説明する。
図１に示すように、処置システム１は、内視鏡２と、センシングトロッカ１０と、システム本体２０とを備えている。

内視鏡２は、体内に挿入される挿入部３と、挿入部３の端部に配された把持部６とを備えている。

挿入部３は、体内を観察するための撮像部４と、筒状の軸部５とを有している。撮像部４は、システム本体２０と電気的に接続されている。撮像部４は、所定のフレームレートで複数の画像を撮像することにより動画及び静止画を取得する（第一撮像ステップＳ１０１，第二撮像ステップＳ１０２）。

センシングトロッカ１０は、内視鏡２の挿入部３を体内に導入するための筒状の部材である。さらに、センシングトロッカ１０は、内視鏡２の位置及び姿勢を検知するためのセンサを有している。一例として、センシングトロッカ１０は、患者の腹壁等に取り付けることができる筒状部１１と、センシングトロッカ１０の姿勢を検知するための姿勢検知センサ１２と、筒状部１１に対する挿入部３の挿入量を検知するための挿入量検知センサ１３とを有している。姿勢検知センサ１２及び挿入量検知センサ１３は、システム本体２０と電気的に接続され、内視鏡２の位置及び姿勢を検知する（検知ステップＳ１０７）。

システム本体２０は、光源装置２１と、画像処理装置２２と、マッピング装置２３と、モニタ３４とを備えている。

光源装置２１は、内視鏡２に照明光を伝えるために内視鏡２に接続される。

画像処理装置２２は、内視鏡２が撮像した画像を映像信号としてモニタ３４へ出力する。また、画像処理装置２２は、内視鏡２が撮像した画像を静止画データとしてマッピング装置２３へ出力する。

マッピング装置２３は、センシングトロッカ１０の姿勢検知センサ１２及び挿入量検知センサ１３と電気的に接続されている。また、マッピング装置２３は、画像処理装置２２と電気的に接続されている。マッピング装置２３は、観測部２４と、第一状態推定部２８と、第一判定部２９と、第二状態推定部３０と、第二判定部３１と、第三状態推定部３２と、マップ構築部３３とを備えている。

観測部２４は、画像処理装置２２と接続される。また、観測部２４は、第一状態推定部２８及び第一判定部２９と接続されている。
観測部２４は、記憶部２５と、特徴点抽出部２６と、対応点抽出部２７とを備えている。

記憶部２５は、画像処理装置２２から出力された静止画データや、観測部２４が算出したデータを記憶する。

特徴点抽出部２６は、画像処理装置２２から出力された静止画データのうち、所定時間あるいは所定のフレーム数だけ離れた２つの静止画データ（第一画像及び第二画像）を用いて、各静止画データ中の特徴点を抽出する。特徴点抽出部２６は、第一画像中の特徴点及び第二画像中の特徴点を抽出して記憶部２５に記憶させる。特徴点抽出部２６は、並列動作する２つの特徴点抽出エンジンを含んでいる。本実施形態では、１つの特徴点抽出エンジンが１つの静止画データからの特徴点の抽出処理に割り当てられる（第一抽出ステップＳ１０３，第二抽出ステップＳ１０４）。これにより、静止画データ中の特徴点の数が膨大であっても処理の遅延が起こりにくい。

対応点抽出部２７は、第一画像中の特徴点及び第二画像中の特徴点を読み込み、第一画像中の特徴点と第二画像中の特徴点との対応付けを行う。対応点抽出部２７は、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）等の特徴点抽出アルゴリズムにより対応点の抽出を行う。対応点抽出部２７は、対応点の抽出を行い、対応点の座標及び対応点の数を記憶部２５に記憶させる（第三抽出ステップＳ１０５）。

第一状態推定部２８は、対応点の座標を記憶部２５から読み込み、第一画像の取得時から第二画像の取得時までの内視鏡２の移動量を算出する。さらに、第一状態推定部２８は、第一画像の取得時における内視鏡２の位置及び姿勢と、算出した上記の移動量とに基づいて、第二画像の取得時における内視鏡２の位置及び姿勢を推定する（第一推定ステップＳ１０６）。第一状態推定部２８は、推定結果を第三状態推定部３２へと出力する。

第一判定部２９は、対応点の数を記憶部２５から読み込み、対応点の数が所定の閾値以上あるか否かを判定する（第一判定ステップＳ１０９）。第一判定部２９における所定の閾値は、内視鏡２の移動量の算出が可能となる最小の対応点の数に基づいて予め設定されている。対応点の数が所定の閾値以上である場合には、第一判定部２９は、第一状態推定部２８による推定結果に信頼性があると判定し、第一状態推定部２８による推定結果を第三状態推定部３２が採用することを許可する（ステップＳ１１０）。対応点の数が所定の閾値未満である場合には、第一判定部２９は、第一状態推定部２８による推定結果に信頼性がないと判定し、第一状態推定部２８による推定結果を第三状態推定部３２が採用することを禁止する。対応点の数が所定の閾値未満である場合とは、例えば、第一画像と第二画像とに共通する部分がなく対応点が存在しない場合や、第一画像または第二画像が煙やミストにより視野不良状態で撮像されたものである場合等である。

第二状態推定部３０は、センシングトロッカ１０の姿勢検知センサ１２及び挿入量検知センサ１３と電気的に接続されている。第二状態推定部３０は、姿勢検知センサ１２及び挿入量検知センサ１３による検知（検知ステップＳ１０７）の結果に基づいて、内視鏡２の位置及び姿勢を推定する（第二推定ステップＳ１０８）。第二状態推定部３０は、推定結果を第三状態推定部３２へと出力する。

第二判定部３１は、センシングトロッカ１０の姿勢検知センサ１２及び挿入量検知センサ１３と電気的に接続されている。第二判定部３１は、姿勢検知センサ１２及び挿入量検知センサ１３から取得された検知結果が外乱の影響等を受けているか否かを判定することにより、第二状態推定部３０における推定の信頼性の有無を判定する（第二判定ステップＳ１１１）。たとえば、姿勢検知センサ１２と挿入量検知センサ１３との両方が正常範囲内の検知結果を示している場合には、第二判定部３１は、姿勢検知センサ１２及び挿入量検知センサ１３が外乱の影響等を受けておらず第二状態推定部３０による推定結果に信頼性があると判定し、第二状態推定部３０による推定結果を第三状態推定部３２が採用することを許可する（ステップＳ１１２）。姿勢検知センサ１２と挿入量検知センサ１３との少なくともいずれかが外乱の影響等により異常値を示している場合には、第二判定部３１は、第二状態推定部３０による推定結果に信頼性がないと判定し、第二状態推定部３０による推定結果を第三状態推定部３２が採用することを禁止する。

第三状態推定部３２は、第一状態推定部２８から出力された推定結果及び第二状態推定部３０から出力された推定結果を受け付け、第一判定部２９及び第二判定部３１における判定結果に基づいて、採用が許可されている推定結果を内視鏡２の状態情報として採用し、内視鏡２の状態情報をマップ構築部３３へと出力する（第三推定ステップＳ１１３，算出ステップ）。本実施形態における状態情報は、内視鏡２の位置及び姿勢の情報を含んでいる。

なお、第一状態推定部２８による推定結果と第二状態推定部３０による推定結果の両方が信頼性を有するものである場合には、あらかじめ定めた優先順位に従って、第一状態推定部２８による推定結果と第二状態推定部３０による推定結果とのいずれか一方を第三状態推定部３２が採用する。たとえば、本実施形態では、第一状態推定部２８による推定結果と第二状態推定部３０による推定結果の両方が信頼性を有するものである場合には、第一状態推定部２８による推定結果を第三状態推定部３２が採用する。

また、第一状態推定部２８による推定結果と第二状態推定部３０による推定結果の両方が信頼性を有していない場合には、第一状態推定部２８による推定結果と第二状態推定部３０による推定結果との双方を破棄する（ステップＳ１１４）。

マップ構築部３３は、内視鏡２を用いて撮像された対象の地図を構築するとともに、構築された地図における内視鏡２の位置及び姿勢を推定する。一例として、マッピング装置２３は、内視鏡２の撮像部４が撮像した画像を用いたVSLAM(Visual Simultaneous Localization and Mapping)技法により、体内の地図の構築と内視鏡２の位置及び姿勢の推定を行う。本実施形態では、第一状態推定部２８による推定結果を第三状態推定部３２が採用した場合には、撮像部４が撮像した画像（第一画像または第二画像）を用いて、体内の地図の構築と内視鏡２の位置及び姿勢の推定を行う。また、本実施形態では、第二状態推定部３０による推定結果を第三状態推定部３２が採用した場合には、体内の地図の構築を休止し、構築済みの地図における内視鏡２の位置及び姿勢の推定を行う。
マップ構築部３３が構築した体内の地図は、例えば画像化されて、画像処理装置２２を介してモニタ３４へ出力可能であってもよい。

本実施形態では、撮像部４が撮像した画像を用いて内視鏡２の位置及び姿勢を推定することができるとともに、センシングトロッカ１０に配された姿勢検知センサ１２及び挿入量検知センサ１３を用いて内視鏡２の位置及び姿勢を推定することができる。

また、本実施形態では、撮像部４が撮像した画像を用いた内視鏡２の位置及び姿勢の推定の信頼性がない場合には自動的に姿勢検知センサ１２及び挿入量検知センサ１３を用いた内視鏡２の位置及び姿勢の推定結果が第三状態推定部３２により採用されるので、内視鏡２の位置及び姿勢の推定が中断されにくい。

また、本実施形態では、姿勢検知センサ１２及び挿入量検知センサ１３を用いた内視鏡２の位置及び姿勢の推定の信頼性がない場合には自動的に撮像部４が撮像した画像を用いた内視鏡２の位置及び姿勢の推定結果が第三状態推定部３２により採用されるので、内視鏡２の位置及び姿勢の推定が中断されにくい。

このように、本実施形態では、内視鏡２の位置及び姿勢の推定に関して２系統の状態推定部（第一状態推定部２８及び第二状態推定部３０）が相互に補完し合うようになっているので、外乱に対するロバスト性が高い。

なお、第一状態推定部２８及び第二状態推定部３０は、内視鏡２の位置及び姿勢の他、内視鏡２の移動速度、内視鏡２の角速度、内視鏡２の加速度等を推定結果に含めるようになっていてもよい。
また、センシングトロッカ１０は、加速度センサ，ジャイロセンサ，地磁気センサ等のセンサやその他公知のセンサを備えていてもよい。

また、第一判定部２９において信頼性の有無を判定するための判定基準として、対応点の数の他、対応点の移動量（第一画像における対応点の座標と第二画像における対応点の座標との差など）、第一画像および第二画像における対応点の移動ベクトルの相関性、第一画像および第二画像におけるブレの程度、第一画像および第二画像における煙等による視野不良の程度、及び第一画像および第二画像におけるハレーション等による視野不良の程度等が含まれてもよい。

また、第二判定部３１において信頼性の有無を判定するための判定基準として、検知原理が互いに異なる３つ以上のセンサをセンシングトロッカ１０が備え、３つのセンサのうち１つが異常値を示していても他の２つのセンサが正常範囲内であれば信頼性を有すると第二判定部３１が判定するようになっていてもよい。

また、内視鏡２の挿入部３は能動湾曲部を有していてもよい。この場合、内視鏡２の能動湾曲部の湾曲状態を検知するためのセンサを内視鏡２が備え、このセンサがセンシングトロッカ１０の各センサと同様にマッピング装置２３に電気的に接続されていることが好ましい。

（変形例）
上記実施形態の変形例について図４を用いて説明する。
本変形例では、マッピング装置２３が状態予測部３５を備えている点で上記の第１実施形態と異なっている。
状態予測部３５は、第一状態推定部２８に接続されており、第一状態推定部２８による推定結果を受け付けて内視鏡２の位置及び姿勢の予測を行う。この場合、内視鏡２の位置及び姿勢を予め予測しておくことで、観測部２４が抽出した対応点の座標の情報のみを利用する場合と比較して計算量を削減できる。

（第２実施形態）
本発明の第２実施形態について図５及び図６を用いて説明する。なお、以下の各実施形態において、第１実施形態と同様あるいは対応する構成要素には、第１実施形態と同一の符号が付され、重複する説明は省略される。また、以下の各実施形態における内視鏡の状態推定装置の作動方法のステップについても同様に、第１実施形態における処理と同様の処理には第１実施形態と同一の符号が付されている。

本実施形態では、上記の第１実施形態の変形例と比較して、第一状態推定部２８と状態予測部３５との間に更新部３６が介在しており、さらに、第二状態推定部３０が更新部３６に接続されている。第一状態推定部２８及び第二状態推定部３０は、推定結果を更新部３６へ出力する（ステップＳ２０１）。
また、第一判定部２９及び第二判定部３１は、上記第１実施形態と同様に第三状態推定部３２に接続され、さらに上記の更新部３６にも接続されている。

更新部３６は、状態予測部３５において、第一状態推定部２８による推定結果と第二状態推定部３０による推定結果とのうち、信頼性を有する方を選択して状態予測部３５へ出力する。更新部３６における信頼性の有無の判定は、第一判定部２９および第二判定部３１における判定結果に従う。

本実施形態では、例えば第一状態推定部２８による推定結果が信頼性を有していない場合には、第二状態推定部３０による推定結果が状態予測部３５に入力される。このため、本実施形態では、信頼性の低い推定結果に基づいて状態予測部３５が予測を行うのを防ぐことができる。

（第３実施形態）
本発明の第３実施形態について図７及び図８を用いて説明する。
本実施形態では、上記の第１実施形態の変形例と比較して、第三状態推定部３２と状態予測部３５とに接続された刺入点推定部３７をさらに備えている点が異なっている。

刺入点推定部３７は、第三状態推定部３２から出力された状態情報を用いて、センシングトロッカ１０が体壁に留置されている位置を推定する（刺入点位置推定ステップＳ３０１）。本実施形態においてセンシングトロッカ１０が体壁に留置されている位置は、体内への内視鏡２の刺入点の位置である。

状態予測部３５は、刺入点推定部３７において刺入点の位置が推定された場合には、刺入点を搖動中心として内視鏡２が搖動するものとして、予測の計算範囲を制限する。本実施形態では、内視鏡２はセンシングトロッカ１０により移動が制限されているので、センシングトロッカ１０の位置（刺入点）が大きく移動するような内視鏡２の移動を予測する必要がない。このため、刺入点推定部３７により刺入点の位置を推定することにより計算量を大幅に削減できる。さらに、内視鏡２は刺入点を搖動中心として搖動するものだと仮定した予測をすることができるので、予測モデルの精度を高めることができる。その結果、本実施形態によれば、内視鏡２の位置及び姿勢を短時間で精度よく推定することができる。

（第４実施形態）
本発明の第４実施形態について図９を用いて説明する。
本実施形態の処置システム１Ａは、上記各実施形態に開示されたマッピング装置２３とは構成が異なるマッピング装置２３Ａを備えている。また、マッピング装置２３Ａは、上記の各実施形態に開示されたマッピング装置２３とは異なる方法で内視鏡２の状態を推定する。

本実施形態では、センシングトロッカ１０に設けられた姿勢検知センサ１２及び挿入量検知センサ１３が状態予測部３５に接続されている。また、本実施形態のマッピング装置２３Ａは、第一判定部２９，第二判定部３１，第二状態推定部３０，及び第三状態推定部３２（たとえば図２参照）を有していない。
さらに本実施形態では、第一状態推定部２８による推定結果が内視鏡の状態情報としてマップ構築部３３へ出力される。

本実施形態では、センシングトロッカ１０に設けられた姿勢検知センサ１２及び挿入量検知センサ１３による検知結果は、状態予測部３５における予測の処理において、第一状態推定部２８による推定結果を補完する。これにより、本実施形態では、第一状態推定部２８による推定結果のみを用いた予測よりも予測精度を高めることができる。

なお、本実施形態では、センシングトロッカ１０に姿勢検知センサ１２と挿入量検知センサ１３との両方が設けられていることは必須でない。センシングトロッカ１０又は内視鏡２に１つ以上のセンサが取り付けられて内視鏡２の位置、姿勢、移動速度、角速度、加速度等の情報を状態予測部３５に出力できるようになっていれば、状態予測部３５は、第一状態推定部２８による推定結果のみを用いた予測よりも高精度の予測を行うことができる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明は、内視鏡及び内視鏡を含んだシステムに利用できる。

１，１Ａ 処置システム
２ 内視鏡
３ 挿入部
４ 撮像部
５ 軸部
６ 把持部
１０ センシングトロッカ
１１ 筒状部
１２ 姿勢検知センサ
１３ 挿入量検知センサ
２０ システム本体
２１ 光源装置
２２ 画像処理装置
２３，２３Ａ マッピング装置
２４ 観測部
２５ 記憶部
２６ 特徴点抽出部
２７ 対応点抽出部
２８ 第一状態推定部
２９ 第一判定部
３０ 第二状態推定部
３１ 第二判定部
３２ 第三状態推定部
３３ マップ構築部
３４ モニタ
３５ 状態予測部
３６ 更新部
３７ 刺入点推定部

Claims (8)

1. 内視鏡が撮像する第一画像から第一特徴点を抽出する第一抽出ステップと、
   前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する第二抽出ステップと、
   前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する第三抽出ステップと、
   前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一推定ステップと、
   前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二推定ステップと、
   前記第一推定ステップにおける推定精度および前記第二推定ステップにおける第二推定精度を算出し、前記推定精度および前記第二推定精度に基づいて前記第一推定ステップにおける推定結果と前記第二推定ステップにおける推定結果とのうち信頼性を有するいずれか一方を採用し、前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三推定ステップと、
   を含む内視鏡の状態推定装置の作動方法。
2. 内視鏡が撮像する第一画像から第一特徴点を抽出する第一抽出ステップと、
   前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する第二抽出ステップと、
   前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する第三抽出ステップと、
   前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一推定ステップと、
   前記第一推定ステップにおける推定精度を算出して前記第一推定ステップにおける推定の信頼性の有無を判定する第一判定ステップと、
   前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二推定ステップと、
   前記第二推定ステップにおける推定精度を算出して前記第二推定ステップにおける推定の信頼性の有無を判定する第二判定ステップと、
   前記第一判定ステップにおける判定結果と前記第二判定ステップにおける判定結果とに基づいて、前記第一推定ステップにおける推定結果と前記第二推定ステップにおける推定結果とのうち信頼性を有するいずれか一方を採用して前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三推定ステップと、
   を含む内視鏡の状態推定装置の作動方法。
3. 前記第一推定ステップにおいて、前記第一推定ステップの直前に行われた前記第三推定ステップにより推定された前記内視鏡の位置及び姿勢並びに前記対応点の座標を用いて前記内視鏡の位置及び姿勢の変化量を推定する
   請求項２に記載の内視鏡の状態推定装置の作動方法。
4. 前記第三推定ステップにより推定された前記内視鏡の位置及び姿勢に基づいて前記内視鏡の搖動中心の有無を判定して体内への前記内視鏡の刺入点の位置を推定する刺入点位置推定ステップをさらに備える
   請求項２に記載の内視鏡の状態推定装置の作動方法。
5. 内視鏡と、前記内視鏡を制御するためのシステム本体と、を備える内視鏡システムであって、
   前記システム本体は、
   前記内視鏡が撮像する第一画像から第一特徴点を抽出し、前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する特徴点抽出部と、
   前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する対応点抽出部と、
   前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一状態推定部と、
   前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二状態推定部と、
   前記第一状態推定部における推定精度および前記第二状態推定部における第二推定精度を算出し、前記推定精度および前記第二推定精度に基づいて前記第一状態推定部における推定結果と前記第二状態推定部における推定結果とのうち信頼性を有するいずれか一方を採用し、前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三状態推定部と、
   を有する、
   内視鏡システム。
6. 内視鏡と、前記内視鏡を制御するためのシステム本体と、を備える内視鏡システムであって、
   前記システム本体は、
   前記内視鏡が撮像する第一画像から第一特徴点を抽出し、前記第一画像の取得後に前記内視鏡が撮像する第二画像から第二特徴点を抽出する特徴点抽出部と、
   前記第一特徴点と前記第二特徴点との対応付けをして対応点の座標を抽出する対応点抽出部と、
   前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を前記対応点の座標を用いて推定する第一状態推定部と、
   前記第一状態推定部における推定精度を算出して前記第一状態推定部における推定の信頼性の有無を判定する第一判定部と、
   前記内視鏡の位置、姿勢、移動速度、及び加速度のうちの少なくとも１つを検知するために前記内視鏡に取り付けられたセンサを用いて前記第一画像の取得時から前記第二画像の取得時までの前記内視鏡の位置及び姿勢の変化量を推定する第二状態推定部と、
   前記第二状態推定部における推定精度を算出して前記第二状態推定部における推定の信頼性の有無を判定する第二判定部と、
   前記第一判定部における判定結果と前記第二判定部における判定結果とに基づいて、前記第一状態推定部における推定結果と前記第二状態推定部における推定結果とのうち信頼性を有するいずれか一方を採用して前記第二画像の取得時における前記内視鏡の位置及び姿勢を推定する第三状態推定部と、
   を有する、
   内視鏡システム。
7. 前記第一状態推定部は、直前に第三状態推定部により推定された前記内視鏡の位置及び姿勢並びに前記対応点の座標を用いて前記内視鏡の位置及び姿勢の変化量を推定する、
   請求項６に記載の内視鏡システム。
8. 前記第三状態推定部に接続されており、前記第三状態推定部により推定された前記内視鏡の位置及び姿勢に基づいて前記内視鏡の搖動中心の有無を判定して体内への前記内視鏡の刺入点の位置を推定する刺入点推定部をさらに有する、
   請求項６に記載の内視鏡システム。

Images