WO2010082383A1

WO2010082383A1 - 内視鏡システム

Info

Publication number: WO2010082383A1
Application number: PCT/JP2009/067555
Authority: WO
Inventors: 秀樹田中
Original assignee: オリンパスメディカルシステムズ株式会社
Priority date: 2009-01-15
Filing date: 2009-10-08
Publication date: 2010-07-22
Also published as: JP4585048B2; EP2301411A4; CN102123651A; EP2301411B1; US8167791B2; JPWO2010082383A1; EP2301411A1; US20100298641A1; CN102123651B

Abstract

　本発明の内視鏡システムは、被写体を撮像する撮像部と、撮像部により得られた被写体の画像において所定の対象を示す位置を検出する位置検出部と、その画像から得られる第１の情報と、第１の情報とは異なる第２の情報とを用い、その位置が所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、を有する。

Description

内視鏡システム

　本発明は、内視鏡システムに関し、特に、体腔等の被検体内における内視鏡の挿入をサポートすることが可能な内視鏡システムに関するものである。

　内視鏡は、医療分野及び工業分野等において従来広く用いられており、例えば医療分野においては、体腔内の生体組織等に対して観察及び種々の処置を行う際に用いられている。

　また、内視鏡により得られた観察画像内における暗部領域を抽出し、該暗部領域の中心位置が観察画像の中心位置となるように、該内視鏡を挿入してゆく際の目標位置（移動方向及び移動量）を適宜設定するための技術が日本国特開平７－１５５２８９号公報に開示されている。

　一般的に、術者等は、内視鏡の挿入操作を自ら行う際に、該内視鏡により得られた観察画像から直接読み取ることが可能な各種の情報に加え、該観察画像からは直接読み取ることが不可能な他の様々な要素を統合しつつ考慮した結果として、該内視鏡の先端部を向かわせる目標位置を適宜決定している。具体的には、術者等は、例えば、内視鏡により得られた観察画像を見ながら該内視鏡の先端部の周辺の状況を確認し、さらに、該内視鏡の湾曲速度及び被検者の体位等の各要素を統合しつつ考慮することにより、該先端部を次にどこへ向かわせるべきかを適宜決定している。

　これに対し、日本国特開平７－１５５２８９号公報に開示されている技術は、体腔内に配置された内視鏡の先端部の目標位置を設定する際に、該内視鏡により得られた観察画像内における暗部領域の抽出結果に依存した演算を行っているに過ぎず、すなわち、該暗部領域の抽出結果以外の様々な要素を略無視した演算を行っているといえる。

　その結果、日本国特開平７－１５５２８９号公報に開示されている技術においては、内視鏡の先端部を向かわせる目標位置の設定結果の正確性が低下してしまうことにより、該内視鏡をスムーズに挿入することができない、という課題が生じている。

　本発明は、前述した事情に鑑みてなされたものであり、内視鏡の挿入を従来に比べてスムーズにすることが可能な内視鏡システムを提供することを目的としている。

　本発明における内視鏡システムは、被写体を撮像する撮像部と、前記撮像部により得られた前記被写体の画像において所定の対象を示す位置を検出する位置検出部と、前記画像から得られる第１の情報と、前記第１の情報とは異なる第２の情報とを用い、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、体腔内に挿入される挿入部、及び、該挿入部の先端部に設けられた撮像部を具備する内視鏡と、前記先端部を通過させる目標位置を、前記撮像部により得られた被写体の画像において設定する位置設定部と、前記画像から得られる第１の情報と、前記第１の情報とは異なる第２の情報とを用い、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、被写体を撮像する撮像部と、前記撮像部により得られた前記被写体の画像において所定の対象を示す位置を検出する位置検出部と、前記画像から複数の画素特徴量を取得する画素特徴量算出部と、前記複数の画素特徴量に基づき、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、被写体を撮像する撮像部と、前記撮像部により得られた前記被写体の画像において所定の対象を示す位置を検出する位置検出部と、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を、前記画像の画素毎に算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、被検体の内部を移動し、該被検体の内部の被写体の像を取得する撮像部と、前記被写体の像に応じた画像における暗部領域を抽出する抽出部と、前記抽出部による暗部領域の抽出結果とは異なる所定の情報を取得する情報取得部と、前記撮像部の通過目標位置としての正確さを示す確率値を、前記抽出部による暗部領域の抽出結果、及び、前記所定の情報を用いて算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、被検体の体腔内に挿入される挿入部と、該挿入部の先端部に設けられ、該体腔内の被写体の像を取得する撮像部と、を具備する内視鏡と、前記被写体の像に応じた画像における暗部領域を抽出する抽出部と、前記抽出部による暗部領域の抽出結果とは異なる所定の情報を取得する情報取得部と、前記撮像部の通過目標位置としての正確さを示す確率値を、前記抽出部による暗部領域の抽出結果、及び、前記所定の情報を用いて算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、被検体の内部を移動し、該被検体の内部の被写体の像を取得する撮像部と、前記撮像部の通過目標位置を、前記被写体の像に応じた画像の暗部領域内における一の画素位置として設定する位置設定部と、前記暗部領域の真偽の度合いを示す状態変数を算出する状態変数算出部と、前記状態変数に基づき、前記通過目標位置の正確さを示す確率値を算出する確率算出部と、を有することを特徴とする。

　本発明における内視鏡システムは、被検体の体腔内に挿入される挿入部と、該挿入部の先端部に設けられ、該体腔内の被写体の像を取得する撮像部と、を具備する内視鏡と、前記先端部の通過目標位置を、前記被写体の像に応じた画像の暗部領域内における一の画素位置として設定する位置設定部と、前記暗部領域の真偽の度合いを示す状態変数を算出する状態変数算出部と、前記状態変数に基づき、前記通過目標位置の正確さを示す確率値を算出する確率算出部と、を有することを特徴とする。

本発明の実施形態に係る内視鏡システムの要部の構成の一例を示す図。第１の確率マップを生成する際に行われる処理の一例を示す図。暗部領域を近似的に表す楕円の一例を示す図。第２の確率マップを生成する際に行われる処理の一例を示す図。第３の確率マップを生成する際に行われる処理の一例を示す図。移動速度ｖ、回転速度θ及び湾曲速度ベクトルの相関を示した図。第４の確率マップを生成する際に行われる処理の一例を示す図。確率マップを用いて湾曲目標位置を設定する際に行われる処理の一例を示す図。原画像に存在する暗部領域の信頼度を算出する際に行われる処理の一例を示す図。図９の処理に用いられる原画像の一例を示す図。図１０の原画像を用いて生成される暗部領域マスク画像の一例を示す図。図１１の暗部領域マスク画像に対してモルフォロジー処理を適用することにより得られる膨張画像の一例を示す図。図１１の暗部領域マスク画像に対してモルフォロジー処理を適用することにより得られる収縮画像の一例を示す図。図１２の膨張画像及び図１３の収縮画像を用いて生成される境界マスク画像の一例を示す図。図１０の原画像を用いて生成されるエッジ画像の一例を示す図。第１の状態変数Ｆ１を取得する際に用いられる第１のメンバーシップ関数の一例を示す図。第２の状態変数Ｆ２を取得する際に用いられる第２のメンバーシップ関数の一例を示す図。第１の状態変数Ｆ１及び第２の状態変数Ｆ２を出力ファジィ集合に適用することにより、第３の状態変数Ｇ１を算出する様子を示した模式図。図１８とは異なる出力ファジィ集合の例を示す図。

　以下、図面を参照して本発明の実施形態を説明する。

　図１から図１９は、本発明の実施形態に係るものである。図１は、本発明の実施形態に係る内視鏡システムの要部の構成の一例を示す図である。図２は、第１の確率マップを生成する際に行われる処理の一例を示す図である。図３は、暗部領域を近似的に表す楕円の一例を示す図である。図４は、第２の確率マップを生成する際に行われる処理の一例を示す図である。図５は、第３の確率マップを生成する際に行われる処理の一例を示す図である。図６は、移動速度ｖ、回転速度θ及び湾曲速度ベクトルの相関を示した図である。図７は、第４の確率マップを生成する際に行われる処理の一例を示す図である。図８は、確率マップを用いて湾曲目標位置を設定する際に行われる処理の一例を示す図である。

　図９は、原画像に存在する暗部領域の信頼度を算出する際に行われる処理の一例を示す図である。図１０は、図９の処理に用いられる原画像の一例を示す図である。図１１は、図１０の原画像を用いて生成される暗部領域マスク画像の一例を示す図である。図１２は、図１１の暗部領域マスク画像に対してモルフォロジー処理を適用することにより得られる膨張画像の一例を示す図である。図１３は、図１１の暗部領域マスク画像に対してモルフォロジー処理を適用することにより得られる収縮画像の一例を示す図である。図１４は、図１２の膨張画像及び図１３の収縮画像を用いて生成される境界マスク画像の一例を示す図である。図１５は、図１０の原画像を用いて生成されるエッジ画像の一例を示す図である。図１６は、第１の状態変数Ｆ１を取得する際に用いられる第１のメンバーシップ関数の一例を示す図である。図１７は、第２の状態変数Ｆ２を取得する際に用いられる第２のメンバーシップ関数の一例を示す図である。図１８は、第１の状態変数Ｆ１及び第２の状態変数Ｆ２を出力ファジィ集合に適用することにより、第３の状態変数Ｇ１を算出する様子を示した模式図である。図１９は、図１８とは異なる出力ファジィ集合の例を示す図である。

　内視鏡システム１は、図１に示すように、被検体としての患者の体腔内に挿入されるとともに、該体腔内の被写体の像を撮像する内視鏡２と、内視鏡２に設けられたコネクタ１４の着脱が可能なプロセッサ６と、該患者が横たわるベッドの周辺部に配置されるセンスコイルユニット７と、内視鏡挿入形状検出装置８と、端末装置９と、モニタ１０ａ及び１０ｂと、を有して構成されている。

　また、プロセッサ６は、撮像対象となる被写体を照明するための照明光を内視鏡２に供給する光源部３と、内視鏡２から出力される撮像信号に対して信号処理を行うことにより、映像信号を生成して出力する信号処理部４と、内視鏡２に対する湾曲制御を行う湾曲制御部５と、ソースコイル駆動部４３と、を有している。

　内視鏡２は、被検体の体腔内に挿入される細長の挿入部１１と、挿入部１１の後端に設けられた操作部１２と、操作部１２から延出されたユニバーサルコード１３とを有している。そして、このユニバーサルコード１３の後端には、プロセッサ６への着脱が可能なコネクタ１４が設けられている。

　挿入部１１は、術者等の挿入操作に応じて被検体の体腔内を移動する。また、挿入部１１は、先端側に設けられた硬質の先端部１５と、先端部１５の後端に接続された湾曲部１６と、湾曲部１６の後端と操作部１２の前端との間に設けられた、可撓性を有する可撓管部１７と、を有している。また、挿入部１１の内部には、ソースコイル駆動部４３により印加されるソースコイル駆動信号に応じた磁界を発生するｎ個のソースコイルＣ１、Ｃ２、・・・Ｃｎが略等間隔に設けられている。

　先端部１５には、被写体の像を結像する対物光学系と、該対物光学系を経て結像された該被写体の像を撮像信号として出力する撮像素子等とを具備する撮像部１５ａが設けられている。

　操作部１２には、フリーズ画像（静止画像）取得等の指示を行うスコープスイッチ１８と、湾曲部１６の湾曲モードを手動モードまたは自動モードのいずれかに切り替えるための指示を行う湾曲モード切替スイッチ１９と、該手動モードが選択された場合に、湾曲部１６の湾曲方向及び湾曲角度の指示を行う湾曲用ジョイスティック２０と、が設けられている。また、可撓管部１７の後端側であって、操作部１２の前端付近にあたる部分には、処置具等を挿通可能な図示しない処置具用チャンネルへ通ずる処置具挿入口３９が設けられている。

　内視鏡２の挿入部１１等の内部には、光源部３から供給される照明光を先端部１５へ伝送するライトガイド２１が挿通されている。

　ライトガイド２１の一方の端面（入射端面）は、コネクタ１４から突出した状態として配置されている。また、ライトガイド２１の他方の端面（出射端面）は、先端部１５に設けられた図示しない照明光学系の近傍に配置されている。このような構成により、光源部３から供給された照明光は、コネクタ１４がプロセッサ６に接続された状態において、ライトガイド２１及び図示しない照明光学系を経た後、撮像部１５ａの撮像対象となる被写体を照明する。

　光源装置としての機能を具備する光源部３は、例えば白色光である照明光を発するランプ２２と、ランプ２２が駆動する際に要する電源を供給するランプ駆動部２３と、絞り２４と、信号処理部４から出力される映像信号に基づいて絞り２４の絞り量（開口量）を増減させる絞り制御部２５と、絞り２４を通過した照明光を集光しつつライトガイド２１の入射端面へ供給する集光光学系２６と、を有している。

　絞り制御部２５は、例えば、入力される映像信号の輝度成分に基づいて平均の明るさを算出した後、該平均の明るさから適切な明るさに相当する基準値を減じた値である、差分値に基づいて絞り２４の絞り量（開口量）を増減させることにより、絞り２４を通過する照明光の光量を適宜変化させる。

　信号処理部４は、撮像部１５ａに設けられた撮像素子を駆動するための撮像素子駆動信号を出力する撮像素子駆動部３６と、撮像部１５ａから出力される撮像信号に対して信号処理を行うことにより、映像信号を生成して出力する映像処理部３７と、を有している。これにより、モニタ１０ａには、前記映像信号に応じた内視鏡画像Ｉａが表示される。

　湾曲制御部５は、湾曲モード切替スイッチ１９においてなされた指示に基づき、湾曲部１６の湾曲モードが手動モードに切り替えられた場合には、湾曲用ジョイスティック２０の傾き方向及び傾き量に基づいて湾曲部１６の湾曲方向及び湾曲角度を変更するための制御を行う。また、駆動制御部としての機能を具備する湾曲制御部５は、湾曲モード切替スイッチ１９においてなされた指示に基づき、湾曲部１６の湾曲モードが自動モードに切り替えられた場合には、端末装置９の演算結果に基づいて湾曲部１６の湾曲方向及び湾曲角度を変更するための制御を行う。

　ソースコイル駆動部４３は、挿入部１１の内部に設けられたｎ個のソースコイルＣ１、Ｃ２、・・・Ｃｎに接続されており、該ソースコイル各々に対して交流のソースコイル駆動信号を順次印加する。これにより、挿入部１１の内部に設けられたソースコイル各々の周囲には、交流磁界が発生する。

　センスコイルユニット７には、挿入部１１の内部に設けられたｎ個のソースコイルＣ１、Ｃ２、・・・Ｃｎから発せられる磁界を各々検出し、磁界検出信号として出力するセンスコイル群４４が設けられている。

　内視鏡挿入形状検出装置８は、センスコイルユニット７から出力される磁界検出信号を増幅するアンプ４５と、アンプ４５から出力される磁界検出信号に基づいてｎ個のソースコイルＣ１、Ｃ２、・・・Ｃｎの３次元座標位置及び向きを検出し、挿入形状情報として出力するソースコイル位置／向き検出部４６と、ソースコイル位置／向き検出部４６から出力される挿入形状情報に基づいて挿入部１１の挿入形状を推定し、挿入形状画像信号として出力する挿入形状推定部４７と、を有している。これにより、モニタ１０ｂには、前記挿入形状画像信号に応じた挿入部１１の挿入形状画像Ｉｂが表示される。

　端末装置９は、映像処理部３７から出力される映像信号、及び、挿入形状推定部４７から出力される挿入形状画像信号等に基づき、湾曲部１６の湾曲モードが自動モードである場合に行われる湾曲制御に関する演算を行い、演算結果を湾曲制御部５へ出力する演算処理部９１を有している。なお、演算処理部９１において行われる前記演算の具体的な内容は、後程述べるものとする。

　また、端末装置９には、演算処理部９１における演算結果等を一時的に記憶可能な図示しないメモリが設けられている。

　次に、内視鏡システム１の作用について説明を行う。なお、以降においては、湾曲モード切替スイッチ１９が手動湾曲モードに切り替えられた場合の制御についての説明を省略するとともに、湾曲モード切替スイッチ１９が自動湾曲モードに切り替えられた場合の制御について主に説明を行うものとする。

　まず、術者は、内視鏡システム１の各部を接続及び起動した後、内視鏡２の挿入部１１を患者の体腔内に挿入するとともに、湾曲モード切替スイッチ１９を自動湾曲モードに切り替える。これに応じて、内視鏡２の撮像部１５ａにおける被写体の撮像が開始されるとともに、挿入部１１に設けられた各ソースコイルにおいて磁界が発せられ始める。

　被写体の撮像に伴って撮像部１５ａから出力される撮像信号は、ユニバーサルコード１３及びコネクタ１４を経てプロセッサ６へ出力され、映像処理部３７において映像信号に変換された後、端末装置９の演算処理部９１に入力される。また、挿入部１１に設けられた各ソースコイルにおける磁界の発生に伴ってセンスコイルユニット７から出力される磁界検出信号は、アンプ４５により増幅され、ソースコイル位置／向き検出部４６により該各ソースコイルの３次元座標情報として変換され、挿入形状推定部４７により挿入形状の推定がなされた後、挿入形状画像信号として端末装置９の演算処理部９１に入力される。

　端末装置９の演算処理部９１は、入力される映像信号及び挿入形状画像信号等に基づく処理を行うことにより、先端部１５の通過目標となる湾曲目標位置（通過目標位置）を設定し、設定した該湾曲目標位置の情報を湾曲制御部５へ出力する。

　ここで、前述の湾曲目標位置を設定する際に演算処理部９１が行う処理について述べる。

　抽出部としての機能を具備する演算処理部９１は、入力される映像信号に応じた画像（内視鏡画像）の暗部領域、及び、該暗部領域の重心を算出する（図２のステップＳ１）。

　図２のステップＳ１において算出される暗部領域の重心は、該暗部領域の画素値のモーメントの中心と一致するものであり、すなわち、デジタル画像のモーメントの算出手法としての下記数式（１）を用いることにより、（μ１０／μ００，μ０１／μ００）の画素位置として算出される。

　その後、演算処理部９１は、暗部領域の画素値の２次モーメントμ２０、μ１１及びμ０２と、該暗部領域の画素値の０次モーメントμ００とに基づき、図２のステップＳ１において算出した該暗部領域の重心（μ１０／μ００，μ０１／μ００）を中心とする楕円を算出する（図２のステップＳ２）。

　具体的には、演算処理部９１は、暗部領域の画素値の２次モーメントμ２０、μ１１及びμ０２と、該暗部領域の画素値の０次モーメントμ００とに基づき、例えば図３に示すような形状の暗部領域の算出結果に対し、中心座標（μ１０／μ００，μ０１／μ００）、長軸の長さａ、短軸の長さｂ、及び、画像の水平方向に対する長軸の傾きφを具備する、該暗部領域を近似的に表す楕円を算出する。なお、長軸の長さａ、短軸の長さｂ、及び、画像の水平方向に対する長軸の傾きφは、下記数式（２）～（４）を用いてそれぞれ示される。

　そして、演算処理部９１は、図２のステップＳ２において算出した楕円における２次元正規分布を確率マップに投影する（図２のステップＳ３）。

　すなわち、演算処理部９１は、図２のステップＳ１～ステップＳ３の処理を行うことにより、内視鏡２により得られた内視鏡画像の画素値に応じた第１の確率マップを生成する。

　なお、本実施形態において生成される各確率マップは、内視鏡画像の１画素に対して１つの確率値が付与されたものであるとする。

　また、前述の第１の確率マップは、図２のステップＳ１～ステップＳ３の処理により生成されるものに限らず、例えば、明部領域の確率値を相対的に低くし、かつ、暗部領域の確率値を相対的に高くするような所定の関数を内視鏡画像の各画素値に対して適用することにより生成されるものであっても良い。具体的には、例えば、前述の第１の確率マップは、原画像の画素値Ｃ（ｘ，ｙ）に対応する確率値をＰ（ｘ，ｙ）とした場合、下記数式（５）を用いて生成されるものであっても良い。

　なお、上記数式（５）における画素値Ｃ（ｘ，ｙ）は、０以上２５５以下の値をとるものとする。

　一方、情報取得部としての機能を有する演算処理部９１は、少なくとも患者の背腹方向に関する情報が含まれる所定の入力信号に基づき、該患者が現在どのような体位であるかを検出する（図４のステップＳ１１）。

　なお、前記所定の入力信号は、患者に取り付けられた図示しないコイルの位置及び向きの検出結果に応じて出力される信号であっても良く、または、スコープスイッチ１８等に設けられた体位選択スイッチにおける指示内容に応じて出力される信号であっても良い。

　その後、演算処理部９１は、図４のステップＳ１１における検出結果と、挿入形状画像信号とに基づき、入力される映像信号に応じた画像（内視鏡画像）における背腹方向（背側及び腹側）を特定する（図４のステップＳ１２）。

　ところで、一般的な内視鏡の挿入操作を考慮した場合、該内視鏡の先端部を該患者の腹側または背中側へ向かって湾曲させることは比較的稀であると仮定できる。そして、演算処理部９１は、このような仮定に則して構築された第１のアルゴリズムと、図４のステップＳ１２における特定結果とに基づき、内視鏡画像の背側及び腹側に相当する領域の確率を相対的に低く設定した確率マップを生成する（図４のステップＳ１３）。

　すなわち、演算処理部９１は、図４のステップＳ１１～ステップＳ１３の処理を行うことにより、内視鏡２が挿入されている患者の現在の体位に応じた第２の確率マップを生成する。

　一方、情報取得部としての機能を有する演算処理部９１は、例えば湾曲制御部５の制御内容を読み込むことにより、先端部１５（撮像部１５ａ）の移動速度に相当する湾曲速度ベクトルを算出する（図５のステップＳ２１）。

　具体的には、演算処理部９１は、湾曲制御部５の制御内容に基づき、内視鏡画像の画像平面上において、該内視鏡画像の中心を始点とし、先端部１５が１フレームの間に移動した移動量を示す移動速度をｖとし、さらに、該内視鏡画像の画像平面上において先端部１５が１フレームの間に回転した回転量を示す回転速度をθとした湾曲速度ベクトルを算出する。なお、前述の移動速度ｖ、回転速度θ及び湾曲速度ベクトルは、現フレームの内視鏡画像において、例えば図６に示すようなものとなる。

　その後、演算処理部９１は、図５のステップＳ２１において得られた湾曲速度ベクトルの算出結果に基づき、先端部１５が次に向かう方向を、該湾曲速度ベクトルの始点（内視鏡画像の中心）から終点に向かう方向として推定する（図５のステップＳ２２）。

　ところで、一般的な内視鏡の湾曲操作を考慮した場合、湾曲部が実際に湾曲駆動している方向及び速度を継続した場合の画像位置、すなわち、前述の湾曲速度ベクトルの終点に湾曲目標位置が存在する可能性が高いと仮定できる。

　そして、演算処理部９１は、このような仮定に則して構築された第２のアルゴリズムと、図５のステップＳ２２における推定結果とに基づき、現フレームの内視鏡画像における湾曲速度ベクトルの終点（ｖ，θ）を中心とした、楕円状の２次元正規分布を確率マップに投影する（図５のステップＳ２３）。

　すなわち、演算処理部９１は、図５のステップＳ２１～ステップＳ２３の処理を行うことにより、患者の体腔内に挿入されている内視鏡２の湾曲速度に応じた第３の確率マップを生成する。

　一方、演算処理部９１は、図４のステップＳ１１として述べた処理と同様の処理を行うことにより、患者が現在どのような体位であるかを検出する（図７のステップＳ３１）。

　その後、演算処理部９１は、図７のステップＳ３１における検出結果と、挿入形状画像信号とに基づき、先端部１５が存在する生体器官の外観形状、及び、該生体器官における先端部１５の現在の位置及び向きを推定する（図７のステップＳ３２）。

　そして、演算処理部９１は、図７のステップＳ３２における推定結果に応じた確率マップを生成する（図７のステップＳ３３）。具体的には、演算処理部９１は、例えば、先端部１５の現在位置が下行結腸であり、かつ、先端部１５の向きが患者の頭側を向いているという推定結果を得た場合、先端部１５の正面及び略正面に相当する領域の確率を相対的に高く設定した確率マップを生成する。

　すなわち、演算処理部９１は、図７のステップＳ３１～ステップＳ３３の処理を行うことにより、先端部１５の現在の位置及び向きに応じた第４の確率マップを生成する。

　一方、演算処理部９１は、過去に設定した一の湾曲目標位置（例えば前回設定した湾曲目標位置）に基づき、該一の湾曲目標位置を中心とした２次元正規分布を投影することにより、第５の確率マップを生成する。

　そして、演算処理部９１は、図８のステップＳ４１に示す処理として、以上に述べた第１の確率マップ～第５の確率マップを生成する処理を行う。

　次に、演算処理部９１は、図８のステップＳ４１の処理において生成した各確率マップを統合するための処理を行う（図８のステップＳ４２）。

　具体的には、演算処理部９１は、第１の確率マップにおける一の位置（画素位置）の確率値をＰ１、第２の確率マップにおける該一の位置の確率値をＰ２、第３の確率マップにおける該一の位置の確率値をＰ３、第４の確率マップにおける該一の位置の確率値をＰ４、及び、第５の確率マップにおける該一の位置の確率値をＰ５とした場合、該一の位置における統合値Ｃｘを下記数式（６）により算出する。

　なお、上記数式（６）において、μａは第１の確率マップに対する重み付け値を示し、μｂは第２の確率マップに対する重み付け値を示し、μｃは第３の確率マップに対する重み付け値を示し、μｄは第４の確率マップに対する重み付け値を示し、μｅは第５の確率マップに対する重み付け値を示すものとする。

　また、前述の統合値Ｃｘは、上記数式（６）に示したような重み付け演算により算出されるものに限らず、例えば、ファジィ論理演算または混合エキスパートモデル等の他の演算手法を用いて算出されるものであっても良い。

　その後、演算処理部９１は、上記数式（６）を用いて統合値Ｃｘを算出する処理を１画面内の全ての位置（画素位置）に対して行った後、算出した各統合値Ｃｘが０以上１以下の値となるように正規化処理を施す。

　そして、図８のステップＳ４２の処理として以上に述べたような処理が行われることにより、第１の確率マップ～第５の確率マップからなる５つの確率マップが統合された、新たな１つの確率マップが生成される。

　すなわち、前述の正規化処理が施された後の統合値Ｃｘは、湾曲目標位置（先端部１５または撮像部１５ａの通過目標位置）としての正確さを示す確率値に相当する。

　演算処理部９１は、図８のステップＳ４２の処理により生成した統合後の確率マップにおいて、最も確率値が高い位置（画素位置）を抽出した（図８のステップＳ４３）後、該位置（画素位置）が複数存在するか否かの判定を行う（図８のステップＳ４４）。

　演算処理部９１は、図８のステップＳ４３の処理により抽出した位置が複数存在する場合、統合後の確率マップにおける確率値の重心（モーメントの中心）を算出し（図８のステップＳ４５）、該重心に相当する位置（画素位置）を湾曲目標位置として設定する（図８のステップＳ４６）。

　また、演算処理部９１は、図８のステップＳ４３の処理により抽出した位置が１つのみ存在する場合、該位置（画素位置）を湾曲目標位置として設定する（図８のステップＳ４６）。

　そして、演算処理部９１は、図８のステップＳ４６の処理において設定した湾曲目標位置の情報を湾曲制御部５へ出力した後、一連の処理を図８のステップＳ４１から再度繰り返し行う。

　以上に述べたように、本実施形態の内視鏡システム１は、図２～図８に関する一連の処理を自動湾曲モードにおいて行うことにより、内視鏡の先端部を向かわせる目標位置を正確に算出することができる。その結果、本実施形態の内視鏡システム１は、内視鏡の挿入を従来に比べてスムーズにすることができる。

　なお、図２～図８に示した一連の処理によれば、第１の確率マップ～第５の確率マップを全て用いて統合後の確率マップを作成するものに限らず、例えば、第１の確率マップ及び第２の確率マップのみを用いて統合後の確率マップを作成するものであっても良い。

　また、図２～図８に示した一連の処理において生成される第５の確率マップは、過去に設定した一の湾曲目標位置に基づいて生成されるものに限らず、例えば、前回作成された統合後の確率マップをそのまま用いるものであっても良い。

　一方、本実施形態の内視鏡システム１によれば、内視鏡の挿入をスムーズにするために、図９～図１９に関する一連の処理が自動湾曲モードにおいて行われるものであっても良い。

　まず、演算処理部９１は、入力される映像信号に応じた、例えば図１０に示すような原画像を取得する（図９のステップＳ５１）。

　その後、演算処理部９１は、図９のステップＳ５１において得られた原画像に存在する暗部領域を抽出する（図９のステップＳ５２）。具体的には、演算処理部９１は、例えば、図９のステップＳ５１において得られた原画像のうち、所定値未満の画素値を具備する孤立した領域を暗部領域として抽出する。そして、このような処理を行うことにより、演算処理部９１は、図１０に示した原画像から、暗部領域の画素値を一律に２５５とし、かつ、非暗部領域の画素値を一律に０とした、図１１に示すような暗部領域マスク画像を生成する。

　演算処理部９１は、図１０に示した原画像のうち、図１１に示した暗部領域マスク画像によりマスクされた領域に存在する各画素を暗部領域内の画素とみなしつつ、該暗部領域内における全画素の画素値の平均値を算出する（図９のステップＳ５３）。

　その後、演算処理部９１は、図９のステップＳ５３の処理により算出した、暗部領域内に存在する全画素の画素値の平均値を、図１６に示す第１のメンバーシップ関数に適用することにより、ファジィ論理計算に用いる第１の状態変数Ｆ１を取得する（図９のステップＳ５４）。

　前述の第１のメンバーシップ関数は、図９のステップＳ５２及びステップＳ５３の処理により抽出した暗部領域の暗さの度合いを０≦Ｆ１≦１の値により示した関数であって、該暗部領域がより暗い場合にはＦ１＝０に近い値をとり、かつ、該暗部領域がより明るい場合にはＦ１＝１に近い値をとるように設定されている。具体的には、本実施形態における第１のメンバーシップ関数は、図１６に示すように、暗部領域内の全画素の画素値の平均値が、４０以下である場合にＦ１＝０となり、１４０以上である場合にはＦ１＝１となり、４０を超過しかつ１４０未満である場合には０＜Ｆ１＜１において線形的に増加するように設定されている。

　また、演算処理部９１は、図９のステップＳ５２において生成した暗部領域マスク画像に対してモルフォロジー処理を適用する（図９のステップＳ５５）。そして、演算処理部９１は、図９のステップＳ５５の処理を行うことにより、図９のステップＳ５２において抽出した暗部領域（画素値＝２５５の領域）を膨張させた膨張画像と、該暗部領域を収縮させた収縮画像とを取得する。なお、図９のステップＳ５５の処理を行うことにより得られる膨張画像及び収縮画像は、例えば、図１２及び図１３に示すようなものとなる。

　演算処理部９１は、図９のステップＳ５５の処理により得られた膨張画像及び収縮画像を用い、境界マスク画像を生成する（図９のステップＳ５６）。具体的には、演算処理部９１は、膨張画像の暗部領域（画素値＝２５５の領域）のうち、収縮画像の暗部領域（画素値＝２５５の領域）と重複する領域の画素値を０とした、例えば図１４に示すような境界マスク画像として生成する。

　一方、演算処理部９１は、図９のステップＳ５１において得られた原画像に存在するエッジ部を抽出する（図９のステップＳ５７）ことにより、エッジ画像を取得する。具体的には、演算処理部９１は、図９のステップＳ５１において得られた原画像に対してラプラシアンフィルタを適用することにより、該原画像におけるエッジ部が抽出された、例えば図１５に示すようなエッジ画像を取得する。

　そして、演算処理部９１は、図９のステップＳ５７において得られたエッジ画像のうち、図９のステップＳ５６において得られた境界マスク画像によりマスクされた領域に存在する各画素を暗部領域の境界部に存在する画素とみなしつつ、該境界部における全画素の画素値の平均値を算出する（図９のステップＳ５８）。

　その後、演算処理部９１は、図９のステップＳ５８の処理により算出した、暗部領域の境界部に存在する全画素の画素値の平均値を、図１７に示す第２のメンバーシップ関数に適用することにより、ファジィ論理計算に用いる第２の状態変数Ｆ２を取得する（図９のステップＳ５９）。

　前述の第２のメンバーシップ関数は、図９のステップＳ５５～ステップＳ５８の処理により抽出した（暗部領域の）境界部の明るさの度合いを０≦Ｆ２≦１の値により示した関数であって、該境界部がぼやけている場合にはＦ２＝０に近い値をとり、かつ、該境界部がくっきりとしている場合にはＦ２＝１に近い値をとるように設定されている。具体的には、本実施形態における第２のメンバーシップ関数は、図１７に示すように、暗部領域の境界部におけるエッジ画像の全画素の画素値の平均値が、０である場合にＦ２＝０となり、４５以上である場合にはＦ２＝１となり、０を超過しかつ４５未満である場合には０＜Ｆ２＜１において線形的に増加するように設定されている。

　演算処理部９１は、所定のルールに則って作成された出力ファジィ集合と、図９のステップＳ５４において得られた第１の状態変数Ｆ１と、図９のステップＳ５９において得られた第２の状態変数Ｆ２とを用いることにより、暗部領域の真偽の度合いを示す値としての第３の状態変数Ｇ１を算出する（図９のステップＳ６０）。

　なお、本実施形態において、前述の所定のルールは、例えば、第１の状態変数Ｆ１の論理否定を＊Ｆ１と表記した場合、「ＩＦ　（＊Ｆ１　ａｎｄ　Ｆ２）　ＴＨＥＮ　暗部領域」という、ファジィ論理に基づく論理式として定義されている。

　また、前述の所定のルールにおいては、暗部領域の内側の画素値が小さく（大きくなく）、かつ、該暗部領域の境界部がくっきりとしている場合、すなわち、真の暗部領域である場合にＧ１＝１となるように定義されている。

　さらに、前述の所定のルールにおいては、暗部領域の内側の画素値が大きく、かつ、該暗部領域の境界部がぼやけている場合、すなわち、偽の暗部領域である場合にＧ１＝－１となるように定義されている。

　以上のように定義された各要素を用いて作成された出力ファジィ集合は、第１の状態変数Ｆ１及び第２の状態変数Ｆ２の値を縦軸とし、かつ、第３の状態変数Ｇ１の値を横軸とした座標軸において、第１の状態変数Ｆ１及び第２の状態変数Ｆ２にそれぞれ対応する三角形を配した、例えば図１８に示すようなものとなる。

　第１の状態変数Ｆ１に対応する三角形は、偽の暗部領域を示す集合であって、図１８に示すように、頂点がＦ１＝１かつＧ１＝－１となる座標位置に配置され、かつ、底辺がＦ１＝０に配置された二等辺三角形Ｔ１として形成されている。また、第２の状態変数Ｆ２に対応する三角形は、真の暗部領域を示す集合であって、図１８に示すように、頂点がＦ２＝１かつＧ１＝１となる座標位置に配置され、かつ、底辺がＦ２＝０に配置された二等辺三角形Ｔ２として形成されている。

　ここで、第３の状態変数Ｇ１を算出する際に行われる処理の概要を、図１８を用いつつ説明する。

　演算処理部９１は、図９のステップＳ５４において得られた第１の状態変数Ｆ１の値を、図１８に例示する出力ファジィ集合に対して適用する。このような処理を視覚的に示した場合、図１８の二等辺三角形Ｔ１の内部が第１の状態変数Ｆ１の値に相当する高さ（縦軸の値）まで塗りつぶされることに相当する。

　また、演算処理部９１は、図９のステップＳ５９において得られた第２の状態変数Ｆ２の値を、図１８に例示する出力ファジィ集合に対して適用する。このような処理を視覚的に示した場合、図１８の二等辺三角形Ｔ２の内部が第２の状態変数Ｆ２の値に相当する高さ（縦軸の値）まで塗りつぶされることに相当する。

　演算処理部９１は、図１８の二等辺三角形Ｔ１及びＴ２において塗りつぶされた部分全体からなる図形の重心を算出し、該重心の座標位置の横軸の値を第３の状態変数Ｇ１として算出する。

　以上に述べた処理によれば、第３の状態変数Ｇ１の出力特性は、二等辺三角形Ｔ１及びＴ２の底辺の長さに依存しているといえる。そのため、例えば、二等辺三角形Ｔ１及びＴ２の底辺の長さを略０とした、図１９の出力ファジィ集合に対して第１の状態変数Ｆ１及び第２の状態変数Ｆ２を適用することにより、図１８の出力ファジィ集合を用いた場合とは異なる演算結果を得ることができる。

　なお、図１９の出力ファジィ集合に対して第１の状態変数Ｆ１及び第２の状態変数Ｆ２を適用した場合の第３の状態変数Ｇ１は、下記数式（７）により求めることができる。

　但し、上記数式（７）においては、ｘ１＝－１及びｘ２＝１とする。

　その後、演算処理部９１は、図９のステップＳ６０において算出した第３の状態変数Ｇ１を、下記数式（８）を用いて正規化することにより、原画像に存在する暗部領域が先端部１５を向かわせる方向として正確か否かを確率的に示す値としての、信頼度Ｒを算出する（図９のステップＳ６１）。

　一方、演算処理部９１は、図９のステップＳ５１において取得した原画像に対して図２～図８に関する一連の処理または公知の処理を施すことにより、湾曲部１６の湾曲目標位置（先端部１５の通過目標位置）を、該原画像の暗部領域内における一の画素位置として算出する。

　ここで、原画像の中心から湾曲目標位置までの距離をｄとし、画像内の距離を実際の距離に変換するための係数をｋとした場合、単位時間あたりの湾曲部１６（挿入部１１）の湾曲量を表す湾曲ステップ量Ｓａは、例えば下記数式（９）を用いることにより求められる。

　一方、演算処理部９１は、単位時間あたりの湾曲部１６の湾曲量に対し、下記数式（１０）を用いた線形変換を行うことにより、信頼度Ｒに応じた湾曲ステップ量Ｓｂを算出する（図９のステップＳ６２）。

　なお、演算処理部９１は、単位時間あたりの湾曲部１６の湾曲量に対して線形変換を行うことにより湾曲ステップ量Ｓｂを算出するものに限らない。具体的には、演算処理部９１は、信頼度Ｒの値が大きくなるにつれて湾曲ステップ量Ｓｂの値が大きくなり、かつ、信頼度Ｒの値が小さくなるにつれて湾曲ステップ量Ｓｂの値が小さくなるような演算を行うものであれば、単位時間あたりの湾曲部１６の湾曲量に対して非線形変換を行うことにより湾曲ステップ量Ｓｂを算出するものであっても良い。

　その後、演算処理部９１は、算出した湾曲ステップ量Ｓｂを湾曲制御部５に対して出力する。これにより、湾曲部１６は、原画像の取得タイミング毎に算出される湾曲ステップ量Ｓｂに応じて湾曲する。

　以上に述べたように、本実施形態の内視鏡システム１は、図９～図１９に関する一連の処理を自動湾曲モードにおいて行うことにより、原画像に存在する暗部領域の真偽の度合いに応じて湾曲部の単位時間当たりの湾曲量を設定することができる。

　そのため、本実施形態の内視鏡システム１によれば、取得した原画像にノイズが混入し、内視鏡の先端部を向かわせる方向として適切とは考え難い目標位置が得られた場合には、単位時間当たりの湾曲量を少なくすることにより、該目標位置への湾曲動作を抑制することができる。また、本実施形態の内視鏡システム１によれば、内視鏡の先端部を向かわせる方向として適切な目標位置が得られた場合には、該目標位置への湾曲動作を素早く行わせることができる。

　なお、前述の信頼度Ｒの値は、図９～図１９に関する一連の処理として示したファジィ論理演算を用いて算出されるものに限らず、例えば、混合エキスパートモデル等の他の演算手法を用いて算出されるものであっても良い。

　また、図９～図１９に関する一連の処理は、原画像から抽出した１つの暗部領域の信頼度を算出した後、該信頼度に応じたものとして単位時間あたりの湾曲部１６の湾曲量を設定する、という場合に用いられるものに限らない。具体的には、図９～図１９に関する処理は、例えば、原画像から抽出した２つ以上の暗部領域における信頼度をそれぞれ算出した後、相対的に最も高い信頼度を具備する一の暗部領域へ先端部１５が向かうように湾曲部１６を湾曲させる、という制御に応用することができる。

　ところで、本実施形態によれば、図９～図１９に示した一連の処理において算出した信頼度Ｒを、図２～図８に示した一連の処理において生成した第１の確率マップの修正に用いることにより、さらに正確な統合後の確率マップを生成することができる。具体的には、例えば、上記数式（５）に示す確率値Ｐ（ｘ，ｙ）に対して信頼度Ｒを乗算した、下記数式（１１）を用いて確率値Ｐｃ（ｘ，ｙ）を算出することにより、第１の確率マップを修正する方法が挙げられる。

　そして、上記数式（１１）を用いて第１の確率マップが修正されることにより、統合後の確率マップにおける該第１の確率マップの寄与度が信頼度Ｒに応じたものとして適切に調整されるため、さらに正確な統合後の確率マップを生成することができる。

　また、以上に述べた各処理は、湾曲可能な挿入部を具備する内視鏡の湾曲目標位置の設定に併せて用いられるものに限らず、例えば、生体の蠕動運動に応じて移動するカプセル型内視鏡の移動先の設定に併せて用いられるものであっても良い。

　なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

　本出願は、２００９年１月１５日に日本国に出願された特願２００９－７０２４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

　被写体を撮像する撮像部と、
　前記撮像部により得られた前記被写体の画像において所定の対象を示す位置を検出する位置検出部と、
　前記画像から得られる第１の情報と、前記第１の情報とは異なる第２の情報とを用い、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　前記第１の情報は、前記画像における暗部領域の抽出結果であり、前記第２の情報は、前記撮像部の移動速度の算出結果を少なくとも具備する情報であることを特徴とする請求項１に記載の内視鏡システム。
　前記位置検出部は、前記確率算出部において算出された前記確率値に基づいて前記位置の修正を行うことにより、前記所定の対象を示す新たな位置を検出することを特徴とする請求項１または請求項２に記載の内視鏡システム。
　体腔内に挿入される挿入部、及び、該挿入部の先端部に設けられた撮像部を具備する内視鏡と、
　前記先端部を通過させる目標位置を、前記撮像部により得られた被写体の画像において設定する位置設定部と、
　前記画像から得られる第１の情報と、前記第１の情報とは異なる第２の情報とを用い、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　前記第１の情報は、前記画像における暗部領域の抽出結果であり、前記第２の情報は、前記撮像部の移動速度の算出結果、及び、前記内視鏡が挿入される被検体の体位の検出結果のうちの少なくとも１つであることを特徴とする請求項４に記載の内視鏡システム。
　前記位置設定部は、前記確率算出部において算出された前記確率値に基づいて前記目標位置の修正を行うことにより、新たな目標位置を設定することを特徴とする請求項４または請求項５に記載の内視鏡システム。
　前記確率算出部において算出された確率値に基づき、前記内視鏡の駆動制御を行う駆動制御部をさらに有することを特徴とする請求項４または請求項５に記載の内視鏡システム。
　被写体を撮像する撮像部と、
　前記撮像部により得られた前記被写体の画像において所定の対象を示す位置を検出する位置検出部と、
　前記画像から複数の画素特徴量を取得する画素特徴量算出部と、
　前記複数の画素特徴量に基づき、前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　被写体を撮像する撮像部と、
　前記撮像部により得られた前記被写体の画像において所定の対象を示す位置を検出する位置検出部と、
　前記位置が前記所定の対象であることについての正確さを示す度合いとしての確率値を、前記画像の画素毎に算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　被検体の内部を移動し、該被検体の内部の被写体の像を取得する撮像部と、
　前記被写体の像に応じた画像における暗部領域を抽出する抽出部と、
　前記抽出部による暗部領域の抽出結果とは異なる所定の情報を取得する情報取得部と、
　前記撮像部の通過目標位置としての正確さを示す確率値を、前記抽出部による暗部領域の抽出結果、及び、前記所定の情報を用いて算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　前記所定の情報は、前記撮像部の移動速度の算出結果を少なくとも具備する情報であることを特徴とする請求項１０に記載の内視鏡システム。
　被検体の体腔内に挿入される挿入部と、該挿入部の先端部に設けられ、該体腔内の被写体の像を取得する撮像部と、を具備する内視鏡と、
　前記被写体の像に応じた画像における暗部領域を抽出する抽出部と、
　前記抽出部による暗部領域の抽出結果とは異なる所定の情報を取得する情報取得部と、
　前記撮像部の通過目標位置としての正確さを示す確率値を、前記抽出部による暗部領域の抽出結果、及び、前記所定の情報を用いて算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　前記所定の情報は、前記撮像部の移動速度の算出結果、及び、前記内視鏡が挿入される被検体の体位の検出結果のうちの少なくとも１つであることを特徴とする請求項１２に記載の内視鏡システム。
　前記確率算出部は、前記確率値が前記画像の画素毎に付与された確率マップを生成するとともに、該確率マップのうち、最も確率値の高い画素位置を前記通過目標位置として設定することを特徴とする請求項１０乃至請求項１３のいずれか一項に記載の内視鏡システム。
　前記確率算出部は、前記確率マップにおける確率値の重心を前記通過目標位置として設定することを特徴とする請求項１０乃至請求項１３のいずれか一項に記載の内視鏡システム。
　前記確率値の大きさに基づき、前記内視鏡の駆動制御を行う駆動制御部をさらに有することを特徴とする請求項１０乃至請求項１３のいずれか一項に記載の内視鏡システム。
　被検体の内部を移動し、該被検体の内部の被写体の像を取得する撮像部と、
　前記撮像部の通過目標位置を、前記被写体の像に応じた画像の暗部領域内における一の画素位置として設定する位置設定部と、
　前記暗部領域の真偽の度合いを示す状態変数を算出する状態変数算出部と、
　前記状態変数に基づき、前記通過目標位置の正確さを示す確率値を算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　被検体の体腔内に挿入される挿入部と、該挿入部の先端部に設けられ、該体腔内の被写体の像を取得する撮像部と、を具備する内視鏡と、
　前記先端部の通過目標位置を、前記被写体の像に応じた画像の暗部領域内における一の画素位置として設定する位置設定部と、
　前記暗部領域の真偽の度合いを示す状態変数を算出する状態変数算出部と、
　前記状態変数に基づき、前記通過目標位置の正確さを示す確率値を算出する確率算出部と、
　を有することを特徴とする内視鏡システム。
　前記状態変数は、前記暗部領域内における画素値の平均値と、前記暗部領域の境界部におけるエッジ画像の画素値の平均値とを用いて算出されることを特徴とする請求項１７または請求項１８に記載の内視鏡システム。
　前記先端部を前記通過目標位置に近づける際の移動量が、前記確率値の大きさに応じたものとして設定されることを特徴とする請求項１８に記載の内視鏡システム。
　前記移動量は、単位時間あたりの前記挿入部の湾曲量であることを特徴とする請求項２０に記載の内視鏡システム。