JPWO2020059377A1 - 位置推定装置、位置推定方法、及びプログラム - Google Patents

Abstract

位置推定装置１は、内視鏡を用いて撮像した生体内部画像から、生体内部画像の特徴量を抽出する、特徴量抽出部２と、特徴量を用いて、生体内部の複数の位置との類似度を出力する、類似度出力部３と、類似度を用いて、撮像している生体内部画像の生体内部における位置を推定する、推定部４とを有する。

Description

本発明は、生体内の撮影位置を推定する位置推定装置、位置推定方法に関し、更には、これらを実現するためのプログラムを記録したしているコンピュータ読み取り可能な記録媒体に関する。

施術において、生体内を撮影する場合、現在撮像している位置が、生体内のどの位置に該当するのかを、観察者はリアルタイムで正確に把握したい。その理由として、観察者は、生体内を撮像した画像を頼りに施術を実施するからである。

そこで、観察者に、生体内のどの位置を撮像しているかを、把握させるための技術が提案されている。例えば、Ｘ線検査装置を用いて内視鏡の挿入部の形状を撮像する装置、又は、磁気共鳴画像診断装置を用いて内視鏡の撮像部の位置、姿勢を検出する装置が提案されている。

また、関連する技術として、特許文献１には撮像部（内視鏡の挿入部の先端部）の位置を精度よく検出する内視鏡装置が開示されている。その内視鏡装置よれば、挿入部に設けられた複数の送信コイルを駆動させ、その送信コイルが発生する磁界を検出することで、先端部の位置、及び挿入部の形状を特定する。

特開２００２−０００５４６号公報

しかしながら、上述した技術では、Ｘ線検査装置、磁気共鳴画像診断装置などを用いて、撮像部の位置、及び内視鏡の挿入部の形状を検出しているため、施術が煩雑になる。また、高額な設備投資が必要となる。

また、特許文献１で開示された内視鏡装置では、位置及び形状検出装置を用いて、先端部の位置、及び挿入部の形状を特定できるが、施術中にリアルタイムに、観察者に生体内部の位置を把握させるものではない。

本発明の目的の一例は、生体内部画像を用いて生体の位置を推定する位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

上記目的を達成するため、本発明の一側面における位置推定装置は、
内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、特徴量抽出部と、
前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、類似度出力部と、
前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、推定部と、
を有することを特徴とする。

また、上記目的を達成するため、本発明の一側面における位置推定方法は、
（ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を算出する、ステップと、
（ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
（ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を有することを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムをコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を算出する、ステップと、
（ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
（ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。

以上のように本発明によれば、生体内部画像を用いて生体の位置を推定することができる。

図１は、位置推定装置の一例を説明するための図である。 図２は、位置推定装置を有するシステムの一例を説明するための図である。 図３は、生体内部画像の一例を説明するための図である。 図４は、類似度結果の一例を説明するための図である。 図５は、推定結果の出力の一例を説明するための図である。 図６は、位置推定装置の動作の一例を説明するための図である。 図７は、代表的な生体内部画像を用いた場合の動作の一例を説明するための図である。 図８は、分類器を用いた場合の動作の一例を説明するための図である。 図９は、変形例における位置推定装置の動作の一例を説明するための図である。 図１０は、位置推定装置を実現するコンピュータの一例を説明するための図である。

（実施の形態）
以下、本発明の実施の形態について、図１から図１０を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における位置推定装置１の構成について説明する。図１は、位置推定装置の一例を説明するための図である。

図１に示す位置推定装置１は、生体内部画像を用いて生体の位置を推定する装置である。また、図１に示すように、位置推定装置１は、特徴量抽出部２と、類似度出力部３と、推定部４とを有する。

このうち、特徴量抽出部２は、内視鏡を用いて撮像した生体内部画像から、生体内部画像の特徴量を抽出する。類似度出力部３は、特徴量を用いて、生体内部の複数の位置との類似度を出力する。推定部４は、類似度を用いて、撮像している生体内部画像の生体内部における位置を推定する。

このように、本実施の形態においては、撮像している生体内部画像だけを用いて、生体内部を撮像している位置を推定できる。その結果、Ｘ線検査装置、磁気共鳴画像診断装置などを用いなくても、生体内部を撮像している位置を推定できるので、高額な設備投資を必要としない。

また、撮像している生体内部画像だけを用いて、生体内部の撮像している位置を推定できるので、施術が煩雑にならないようにできる。更に、施術中にリアルタイムに、観察者に生体内部の位置を把握させることができる。

［システム構成］
続いて、図２を用いて、本実施の形態における位置推定装置１の構成をより具体的に説明する。図２は、位置推定装置を有するシステムの一例を説明するための図である。

図２に示すように、本実施の形態におけるシステムは、生体内部の撮像位置を推定する位置推定装置１と、内視鏡２０と、出力装置２１とを有する。また、図２において位置推定装置１は、特徴量抽出部２、類似度出力部３、推定部４に加えて、出力情報生成部２２を有する。

内視鏡２０は、生体内部を撮像した生体内部画像を、内視鏡２０と接続されている位置推定装置１へ送信する。内視鏡２０は、例えば、生体内部に挿入する挿入部と、挿入部の先端側に設けられている撮像部と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡２０と位置推定装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像部以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。

出力装置２１は、出力情報生成部２２から出力可能な形式に変換された、後述する出力情報を取得し、その出力情報に基づいて生成した画像及び音声などを出力する。出力装置２１は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２１は、プリンタなどの印刷装置でもよい。

特徴量抽出部２は、内視鏡２０が撮像した生体内部画像を用いて、生体内部画像から特徴量を抽出する。具体的には、特徴量抽出部２は、まず、内視鏡２０を用いて時系列に撮像した生体内部画像を取得する。続いて、特徴量抽出部２は、取得した生体内部画像から生体内部の対象部位に対応する特徴量を抽出する。

生体内部画像の特徴量は、例えば、大腸の場合、腸内のヒダの有無、ヒダの大きさ、ヒダの位置関係、腸の管径の大きさ、腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いることが考えられる。具体的には、盲腸には回盲弁（バウヒン弁）があり、上行結腸は管径が広く、ヒダが大きく深い、横行結腸のヒダは三角形のような形状をなし、下行結腸はヒダが浅く管径は狭めであるという特徴がある。更に、大腸には、肝曲（肝臓湾曲部）、脾曲（脾臓湾曲部）、Ｓ状結腸、直腸、肛門などにも特徴がある。特に、Ｓ状結腸は複雑な湾曲をし、直腸は容量が大きく広い空間を有するという特徴を有する。

なお、画像の特徴量を抽出する方法としてＬＢＰ（Local Binary Pattern）が知られている。例えば、文献「T. Ojala, M. Pietikainen, and D. Harwood, “Performance evaluation of texture measures with classification based on Kullback discrimination of distributions,” In:Proc. IEEE Int.Conf. Patt. Recogn., 1994.」などを参照。

類似度出力部３は、特徴量を用いて、生体内部の複数の位置との類似度を出力する。具体的には、（１）類似度出力部３は、特徴量抽出部２において抽出した特徴量と、あらかじめ記憶した生体内部画像から抽出した特徴量とを用いて、類似度を算出する。又は、（２）類似度出力部３は、特徴量抽出部２において抽出した特徴量を入力とし、分類器を用いてスコア（類似度）を出力してもよい。分類器としては、ニューラルネットワークモデル、サポートベクターマシンなどを用いることができる。

（１）（２）について、図３を用いて説明する。図３は、生体内部画像の一例を説明するための図である。図３に示す生体内部画像は、大腸内を撮像した画像で、図３Ａは盲腸を撮像した画像を示し、図３Ｂは上行結腸を撮像した画像を示し、図３Ｃは横行結腸を撮像した画像を示し、図３Ｄは下行結腸を撮像した画像を示している。

（１）について説明をする。（１）の場合、まず、生体内部をあらかじめ撮像し、撮像した生体内部画像から抽出した特徴量を記憶部に記憶しておく。例えば、図３に示すような、大腸内部の所定位置を代表する生体内部画像について特徴量を抽出し、大腸内部の位置を識別する位置識別情報（上行結腸、横行結腸、下行結腸、肝曲（肝臓湾曲部）、脾曲（脾臓湾曲部）、Ｓ状結腸、直腸、肛門などの名称を表す情報）と、その位置に対応する特徴量（腸内のヒダの有無、ヒダの大きさ、腸の管径の大きさ、腸の形状、回盲弁の有無などを表す情報）とを関連付けて記憶部に記憶しておく。なお、記憶部は、例えば、位置推定装置１内、又は、位置推定装置１の外部に設けられている。

次に、類似度出力部３は、特徴量抽出部２において抽出した特徴量と、あらかじめ記憶した生体内部画像から抽出した特徴量とを用いて、類似度を算出する。例えば、上行結腸が撮像された生体内部画像が入力された場合、図４に示すような結果となる。すなわち、上行結腸に対する類似度が最も高くなる。図４は、類似度結果の一例を説明するための図である。

（２）について説明をする。（２）の場合、まず、生体内部をあらかじめ撮像し、撮像した生体内部画像から抽出した特徴量を入力として、分類器（例えば、ニューラルネットワークモデル）のパラメータの学習をする。そして、学習した分類器を、類似度出力部３として用いる。

次に、類似度出力部３は、特徴量抽出部２において抽出した特徴量を入力し、分類器を用いてスコアを出力する。この出力は、分類器の入力に対する各クラスらしさを示すスコアであり類似度と見做すことができる。具体的には、上行結腸が撮像された生体内部画像が入力された場合、図４に示すような結果となる。

推定部４は、類似度出力部３が出力した類似度を用いて、撮像している生体内部画像の生体内部における位置を推定する。具体的には、推定部４は、図４に示す類似度を取得し、最も大きい類似度を選択し、選択した類似度に対応する識別情報を、撮像している生体内部画像が示す生体内部の位置とする。図４の例では、上行結腸を撮像していると推定する。

また、推定部４は、所定時間において推定した複数の生体内部画像の位置が同じ場合、生体内部画像の位置を決定する。例えば、所定時間において、盲腸、横行結腸、盲腸の順に推定結果を得た場合、横行結腸を推定結果として用いないようにする。理由は、盲腸と推定した後に、所定時間内に盲腸から横行結腸へと内視鏡を移動させることが困難であると考えられるので、このような結果を得た場合には、横行結腸との推定は誤推定と判定する。こうすることで、誤推定を削減することができる。

更に、推定部４は、類似度が所定値以上で、かつ最も大きい類似度に対応する識別情報を、撮像している生体内部画像が示す生体内部の位置とする。こうすることで、誤推定を削減することができる。なお、所定値は、実験、シミュレーションにより求めて設定する。

出力情報生成部２２は、少なくとも類似度又は推定した位置又はそれら両方を出力装置２１に出力するための表示情報を生成する。具体的には、出力情報生成部２２は、図５に示すような表示を、出力装置２１に表示するための出力情報を生成し、生成した出力情報を出力装置２１に送信する。図５は、推定結果の出力の一例を説明するための図である。図５においては、大腸全体を表示するとともに、大腸内部の推定した位置が上行結腸であることを表示している。

続いて、出力装置２１は、出力情報を取得した後、出力情報に基づいて、類似度と推定した位置とを表す画面、又は音声、又はそれら両方を出力する。図５の例においては、大腸の推定した位置を表す「上行結腸」と、類似度を表す「類似度：０．９」とを表示する。更に、上行結腸の範囲（破線範囲）を表示する。また、上行結腸の範囲を点滅させるなどしてもよい。ただし、表示方法は、上述した図５に示した表示に限定されるものではない。

［装置動作］
次に、本発明の実施の形態における位置推定装置１の動作について図６を用いて説明する。図６は、位置推定装置の動作の一例を説明するための図である。以下の説明においては、適宜図２から図５を参酌する。また、本実施の形態では、位置推定装置を動作させることにより、位置推定方法が実施される。よって、本実施の形態における位置推定方法の説明は、以下の位置推定装置１の動作説明に代える。

図６に示すように、最初に、特徴量抽出部２は、内視鏡２０が撮像した生体内部画像を取得する（ステップＡ１）。続いて、特徴量抽出部２は、撮像した生体内部画像を用いて、生体内部画像から特徴量を抽出する（ステップＡ２）。

類似度出力部３は、生体内部画像の特徴量を用いて、生体内部の複数の位置との類似度を出力する（ステップＡ３）。具体的には、（１）類似度出力部３は、特徴量抽出部２において抽出した特徴量と、あらかじめ記憶した生体内部画像から抽出した特徴量とを用いて、類似度を算出する。又は、（２）類似度出力部３は、特徴量抽出部２において抽出した特徴量を入力とし、ニューラルネットワークモデル、サポートベクターマシンなどの分類器を用いて、スコアを出力する。

推定部４は、類似度出力部３が出力した類似度を用いて、撮像している生体内部画像の生体内部における位置を推定する（ステップＡ４）。また、推定部４は、所定時間において推定した少なくとも一つ以上の生体内部画像の位置が同じ場合、生体内部画像の位置を決定する。

出力情報生成部２２は、少なくとも類似度又は推定した位置又はそれら両方を出力装置２１に出力するための表示情報を生成する（ステップＡ５）。出力装置２１は、出力情報を取得した後、出力情報に基づいて、類似度と推定した位置とを表す画面、又は音、又はそれら両方を出力する（ステップＡ６）。

続いて、位置推定装置１は、位置推定を行う処理を終了するための指示を取得した場合（ステップＡ７：Ｙｅｓ）、位置推定を終了する。また、位置推定装置１は、位置推定を行う処理を継続する場合（ステップＡ７：Ｎｏ）、ステップＡ１に移行して位置推定を継続する。

位置推定装置１の動作について、図７、図８を用いて、更に、具体的に説明する。
図７は、代表的な生体内部画像を用いた場合の動作の一例を説明するための図である。図８は、分類器を用いた場合の動作の一例を説明するための図である。

まず、図７を用いて、（１）類似度出力部３が、特徴量抽出部２において抽出した特徴量ｆと、あらかじめ記憶した代表的な生体内部画像から抽出した特徴量ｃ（ｃ１からｃ４……）とを用いて、類似度を算出する場合について説明する。

ステップＡ１において、特徴量抽出部２は、上行結腸を撮像した画像である生体内部画像７１を取得する。続いて、ステップＡ２において、特徴量抽出部２は、取得した生体内部画像７１を用いて特徴量ｆを抽出する。

続いて、ステップＡ３において、類似度出力部３は奥行き情報が関連付けられた生体内部画像の特徴量ｆと、あらかじめ記憶した代表的な生体内部画像から抽出した特徴量ｃ（ｃ１からｃ４……）を有する特徴量情報７２とを用いて、識別情報ごとの類似度を算出する。その結果、類似度情報７３を得る。類似度情報７３は、例えば、図４に示すような結果となる。すなわち、上行結腸に対する類似度が最も高くなる。

続いて、ステップＡ４において、推定部４は、類似度情報７３を用いて、撮像している生体内部画像の生体内部における位置を推定する。具体的には、推定部４は、取得した類似度のうち、最も大きい類似度を選択し、選択した類似度に対応する識別情報を、撮像している生体内部画像が示す生体内部の位置とする。なお、ステップＡ５において、推定部４は、所定時間において推定した少なくとも一つ以上の生体内部画像の位置が同じ場合、生体内部画像の位置を決定する。

続いて、ステップＡ５において、出力情報生成部２２は、図５に示すような表示を、出力装置２１に表示するための出力情報を生成し、生成した出力情報を出力装置２１に送信する。続いて、ステップＡ６では、出力装置２１は、出力情報を取得した後、出力情報に基づいて、類似度と推定した位置とを表す画面、又は音、又はそれら両方を出力する。

次に、図８を用いて、（２）特徴量抽出部２において抽出した特徴量を入力し、分類器を用いて、スコアを出力する場合について説明する。ステップＡ１からＡ２までの処理、及び、ステップＡ５からＡ７までの処理は同じであるので省略する。

（２）のステップＡ３において、類似度出力部３は、生体内部画像の特徴量ｆを入力として、分類器８１を用いて、識別情報ごとのスコアとする。その結果、類似度出力部３は類似度情報８２を得る。類似度情報８２は、例えば、図４に示すような結果となる。すなわち、上行結腸に対する類似度が最も高くなる。

続いて、ステップＡ４において、推定部４は、類似度情報８２を用いて、撮像している生体内部画像の生体内部における位置を推定する。具体的には、推定部４は、取得した類似度のうち、最も大きい類似度を選択し、選択した類似度に対応する識別情報を、撮像している生体内部画像が示す生体内部の位置とする。なお、ステップＡ４では、推定部４は、所定時間において推定した少なくとも一つ以上の生体内部画像の位置が同じ場合、生体内部画像の位置を決定する。更に、ステップＡ４において、推定部４は、類似度が所定値以上で、かつ最も大きい類似度に対応する識別情報を、撮像している生体内部画像が示す生体内部の位置としてもよい。

［変形例］
変形例について説明をする。変形例における位置推定装置１は、特徴量抽出部２が奥行き情報を抽出した場合、類似度を算出し、生体内部の位置を推定し、出力情報を生成し、出力情報に基づいて生体内部の位置を出力装置２１に出力する。

変形例において、特徴量抽出部２は、更に、抽出する特徴量として、生体内部画像における生体内部の奥行き情報を抽出する。具体的には、特徴量抽出部２は、まず、内視鏡のレンズから腸の壁面までの奥行き（距離）を推定する。続いて、特徴量抽出部２は、生体内部画像中のヒダと、内視鏡のレンズから腸の壁面までの距離とを関連付けて、奥行き情報を生成する。なお、奥行き情報を抽出する処理は、特徴量抽出部２と分けてもよい。

奥行き情報は、例えば、文献「K. Karsch, C. Liu, and S. B. Kang, “Depth extraction from video using non-parametric sampling,”in European Conference on Computer Vision. Springer, 2012, pp. 775-788.」などに記載の技術を用いて求める。

また、変形例において、類似度出力部３は、奥行き情報を有する生体内部画像の特徴量を用いて類似度を算出する。具体的には、類似度出力部３は、奥行き情報があるか否かを判定し、奥行き情報を抽出した場合、生体内部画像の特徴量を用いて類似度を算出する。なお、奥行き情報が抽出できない場合、類似度出力部３は、類似度を算出しない。

推定部４は、奥行き情報を抽出した場合、算出した類似度を用いて、生体内部の位置を推定する。続いて、出力情報生成部２２は、出力情報を生成して、出力情報を出力装置２１へ出力する。出力装置２１は、出力情報に基づいて生体内部の位置を出力装置２１に出力する。なお、推定部４が奥行き情報を抽出していない場合、位置推定装置１は、出力情報に基づいて生体内部の位置を出力装置２１に出力する。

続いて、変形例の位置推定装置１の動作について、図９を用いて説明をする。図９は、変形例における位置推定装置の動作の一例を説明するための図である。

図９に示すように、最初に、特徴量抽出部２は、内視鏡２０が撮像した生体内部画像を取得する（ステップＡ１）。続いて、特徴量抽出部２は、撮像した生体内部画像を用いて、生体内部画像から特徴量を抽出する（ステップＡ２）。更に、ステップＡ２において、特徴量抽出部２は、抽出する特徴量として、生体内部画像における生体内部の奥行き情報を抽出する。

続いて、特徴量抽出部２は、生体内部画像が奥行き情報を有する画像であるか否かを判定し、撮像した生体内部画像に奥行き情報がある場合（ステップＢ１：Ｙｅｓ）、撮像した生体内部画像に奥行き情報を関連付ける（ステップＢ２）。

続いて、奥行き情報が抽出できた場合、類似度出力部３は、奥行き情報が関連付けられた生体内部画像の特徴量を用いて、生体内部の複数の位置との類似度を出力する（ステップＡ３）。具体的には、類似度出力部３は、上述した（１）又は（２）の処理を用いて、類似度を求める。

推定部４は、類似度出力部３が出力した類似度を用いて、撮像している生体内部画像の生体内部における位置を推定する（ステップＡ４）。また、推定部４は、所定時間において推定した少なくとも一つ以上の生体内部画像の位置が同じ場合、生体内部画像の位置を決定する。

出力情報生成部２２は、少なくとも類似度又は推定した位置又はそれら両方を出力装置２１に出力するための表示情報を生成する（ステップＡ５）。出力装置２１は、出力情報を取得した後、出力情報に基づいて、類似度と推定した位置とを表す画面、又は音、又はそれら両方を出力する（ステップＡ６）。

続いて、位置推定装置１は、位置推定を行う処理を終了するための指示を取得した場合（ステップＡ７：Ｙｅｓ）、位置推定を終了する。また、位置推定装置１は、位置推定を行う処理を継続する場合（ステップＡ７：Ｎｏ）、ステップＡ１に移行して位置推定を継続する。

［本実施の形態の効果］
以上のように本実施の形態によれば、撮像している生体内部画像だけを用いて、生体内部を撮像している位置を推定できる。その結果、Ｘ線検査装置、磁気共鳴画像診断装置などを用いなくても、生体内部を撮像している位置を推定できるので、高額な設備投資を必要としない。

また、撮像している生体内部画像だけを用いて、生体内部を撮像している位置を推定できるので、施術が煩雑にならないようにできる。更に、施術中にリアルタイムに、観察者に生体内部の位置を把握させることができる。

更に、特徴量抽出部２より後の処理において、奥行き情報が有りの生体内部画像に対してのみ処理を行うので、処理時間を短縮させることができる。また、生体内部の位置推定をする精度を向上させることができる。

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１からＡ７、図９に示すステップＡ１、Ａ２、Ｂ１、Ｂ２、Ａ３からＡ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における位置推定装置と位置推定方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴量抽出部２、類似度出力部３、推定部４、出力情報生成部２２として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、特徴量抽出部２、類似度出力部３、推定部４、出力情報生成部２２のいずれかとして機能してもよい。

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、位置推定装置１を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態における位置推定装置を実現するコンピュータの一例を示すブロック図である。

図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

なお、本実施の形態における位置推定装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、位置推定装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記２１）により表現することができるが、以下の記載に限定されるものではない。

（付記１）
内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、特徴量抽出部と、
前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、類似度出力部と、
前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、推定部と、
を有することを特徴とする位置推定装置。

（付記２）
付記１に記載の位置推定装置であって、
前記特徴量抽出手段は、前記特徴量として奥行き情報を抽出する、
ことを特徴とする位置推定装置。

（付記３）
付記２に記載の位置推定装置であって、
類似度出力部は、前記奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
ことを特徴とする位置推定装置。

（付記４）
付記１から３のいずれか一つに記載の位置推定装置であって、
前記推定部は、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
ことを特徴とする位置推定装置。

（付記５）
付記１から４のいずれか一つに記載の位置推定装置であって、
少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する、出力情報生成部を有する
ことを特徴とする位置推定装置。

（付記６）
付記１から５のいずれか一つに記載の位置推定装置であって、
前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
ことを特徴とする位置推定装置。

（付記７）
付記１から６のいずれか一つに記載の位置推定装置であって、
前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
ことを特徴とする位置推定装置。

（付記８）
（ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を算出する、ステップと、
（ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
（ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を有することを特徴とする位置推定方法。

（付記９）
付記８に記載の位置推定方法であって、
前記（ａ）のステップにおいて、前記特徴量として奥行き情報を抽出する、
ことを特徴とする位置推定方法。

（付記１０）
付記９に記載の位置推定方法であって、
前記（ｂ）のステップにおいて、奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
ことを特徴とする位置推定方法。

（付記１１）
付記８から１０のいずれか一つに記載の位置推定方法であって、
前記（ｃ）のステップにおいて、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
ことを特徴とする位置推定方法。

（付記１２）
付記８から１１のいずれか一つに記載の位置推定方法であって、
（ｄ）少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する、ステップを有する
ことを特徴とする位置推定方法。

（付記１３）
付記８から１２のいずれか一つに記載の位置推定方法であって、
前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
ことを特徴とする位置推定方法。

（付記１４）
付記８から１３のいずれか一つに記載の位置推定方法であって、
前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
ことを特徴とする位置推定方法。

（付記１５）
コンピュータに、
（ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を算出する、ステップと、
（ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
（ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。

（付記１６）
付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ａ）のステップにおいて、前記特徴量として奥行き情報を抽出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１７）
付記１６に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１８）
付記１５から１７のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１９）
付記１５から１８のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ｄ）少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する、ステップを実行させる
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記２０）
付記１５から１９のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記２１）
付記１５から２０のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
ことを特徴とするコンピュータ読み取り可能な記録媒体。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年９月２０日に出願された日本出願特願２０１８−１７５７４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、生体内部画像を用いて生体の位置を推定することができる。本発明は、生体内部画像を用いて生体の位置を推定することが必要な分野において有用である。

１ 位置推定装置
２ 特徴量抽出部
３ 類似度出力部
４ 推定部
２０ 内視鏡
２１ 出力装置
２２ 出力情報生成部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

本発明は、生体内の撮影位置を推定する位置推定装置、位置推定方法に関し、更には、これらを実現するためのプログラムに関する。

本発明の目的の一例は、生体内部画像を用いて生体の位置を推定する位置推定装置、位置推定方法、及びプログラムを提供することにある。

また、上記目的を達成するため、本発明の一側面における位置推定方法は、
内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、ステップと、
前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を有することを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、ステップと、
前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を実行させることを特徴とする。

続いて、ステップＡ４において、推定部４は、類似度情報７３を用いて、撮像している生体内部画像の生体内部における位置を推定する。具体的には、推定部４は、取得した類似度のうち、最も大きい類似度を選択し、選択した類似度に対応する識別情報を、撮像している生体内部画像が示す生体内部の位置とする。なお、ステップＡ４において、推定部４は、所定時間において推定した少なくとも一つ以上の生体内部画像の位置が同じ場合、生体内部画像の位置を決定する。

推定部４は、奥行き情報を抽出した場合、算出した類似度を用いて、生体内部の位置を推定する。続いて、出力情報生成部２２は、出力情報を生成して、出力情報を出力装置２１へ出力する。出力装置２１は、出力情報に基づいて生体内部の位置を出力装置２１に出力する。なお、推定部４が奥行き情報を抽出していない場合、位置推定装置１は、出力情報に基づいて生体内部の位置を出力装置２１に出力しない。

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１からＡ７、図９に示すステップＡ１、Ａ２、Ｂ１、Ｂ２、Ａ３からＡ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における位置推定装置と位置推定方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴量抽出部２、類似度出力部３、推定部４、出力情報生成部２２として機能し、処理を行なう。

図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

（付記２）
付記１に記載の位置推定装置であって、
前記特徴量抽出部は、前記特徴量として奥行き情報を抽出する、
ことを特徴とする位置推定装置。

（付記８）
（ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、ステップと、
（ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
（ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を有することを特徴とする位置推定方法。

（付記１５）
コンピュータに、
（ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、ステップと、
（ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
（ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
を実行させるプログラム。

（付記１６）
付記１５に記載のプログラムであって、
前記（ａ）のステップにおいて、前記特徴量として奥行き情報を抽出する、
ことを特徴とするプログラム。

（付記１７）
付記１６に記載のプログラムであって、
前記（ｂ）のステップにおいて、奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
ことを特徴とするプログラム。

（付記１８）
付記１５から１７のいずれか一つに記載のプログラムであって、
前記（ｃ）のステップにおいて、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
ことを特徴とするプログラム。

（付記１９）
付記１５から１８のいずれか一つに記載のプログラムであって、
前記コンピュータに、
（ｄ）少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する、ステップを実行させる
ことを特徴とするプログラム。

（付記２０）
付記１５から１９のいずれか一つに記載のプログラムであって、
前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
ことを特徴とするプログラム。

（付記２１）
付記１５から２０のいずれか一つに記載のプログラムであって、
前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
ことを特徴とするプログラム。

Claims (21)

1. 内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を抽出する、特徴量抽出手段と、
   前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、類似度出力手段と、
   前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、推定手段と、
   を有することを特徴とする位置推定装置。
2. 請求項１に記載の位置推定装置であって、
   前記特徴量抽出手段は、前記特徴量として奥行き情報を抽出する、
   ことを特徴とする位置推定装置。
3. 請求項２に記載の位置推定装置であって、
   前記類似度出力手段は、前記奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
   ことを特徴とする位置推定装置。
4. 請求項１から３のいずれか一つに記載の位置推定装置であって、
   前記推定手段は、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
   ことを特徴とする位置推定装置。
5. 請求項１から４のいずれか一つに記載の位置推定装置であって、
   少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する、出力情報生成手段を有する
   ことを特徴とする位置推定装置。
6. 請求項１から５のいずれか一つに記載の位置推定装置であって、
   前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
   ことを特徴とする位置推定装置。
7. 請求項１から６のいずれか一つに記載の位置推定装置であって、
   前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
   ことを特徴とする位置推定装置。
8. （ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を算出し、
   （ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力し、
   （ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する
   ことを特徴とする位置推定方法。
9. 請求項８に記載の位置推定方法であって、
   前記（ａ）において、前記特徴量として奥行き情報を抽出する
   ことを特徴とする位置推定方法。
10. 請求項９に記載の位置推定方法であって、
    前記（ｂ）において、奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
    ことを特徴とする位置推定方法。
11. 請求項８から１０のいずれか一つに記載の位置推定方法であって、
    前記（ｃ）において、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
    ことを特徴とする位置推定方法。
12. 請求項８から１１のいずれか一つに記載の位置推定方法であって、
    （ｄ）少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する
    ことを特徴とする位置推定方法。
13. 請求項８から１２のいずれか一つに記載の位置推定方法であって、
    前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
    ことを特徴とする位置推定方法。
14. 請求項８から１３のいずれか一つに記載の位置推定方法であって、
    前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
    ことを特徴とする位置推定方法。
15. コンピュータに、
    （ａ）内視鏡を用いて撮像した生体内部画像から、前記生体内部画像の特徴量を算出する、ステップと、
    （ｂ）前記特徴量を用いて、生体内部の複数の位置との類似度を出力する、ステップと、
    （ｃ）前記類似度を用いて、撮像している前記生体内部画像の前記生体内部における位置を推定する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
16. 請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
    前記（ａ）のステップにおいて、前記特徴量として奥行き情報を抽出する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
17. 請求項１６に記載のコンピュータ読み取り可能な記録媒体であって、
    前記（ｂ）のステップにおいて、奥行き情報を抽出した場合、前記生体内部画像の前記特徴量を用いて類似度を算出する
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
18. 請求項１５から１７のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    前記（ｃ）のステップにおいて、所定時間において推定した複数の前記生体内部画像の位置が同じ場合、前記生体内部画像の位置を決定する
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
19. 請求項１５から１８のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    （ｄ）少なくとも前記類似度又は前記推定した位置又はそれら両方を表示装置に出力する表示情報を生成する、ステップを実行させる
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
20. 請求項１５から１９のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    前記生体内部画像の特徴量は、腸内のヒダの有無、前記ヒダの大きさ、前記ヒダの位置関係、前記腸の管径の大きさ、前記腸の形状、回盲弁の有無のうち少なくとも一つ以上を用いる
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
21. 請求項１５から２０のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    前記生体内部の位置は、少なくとも盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、肛門の位置のいずれか一つ以上を用いる
    ことを特徴とするコンピュータ読み取り可能な記録媒体。

Images