JP7183449B2

JP7183449B2 - 工業用内視鏡画像処理装置、工業用内視鏡システム、工業用内視鏡画像処理装置の作動方法及びプログラム

Info

Publication number: JP7183449B2
Application number: JP2021561067A
Authority: JP
Inventors: 秀彰高橋
Original assignee: Evident Corp
Current assignee: Evident Corp
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2022-12-05
Anticipated expiration: 2039-11-28
Also published as: JPWO2021106140A1; WO2021106140A1; US20220051472A1; US12067672B2

Description

本発明は、工業用内視鏡画像処理装置、工業用内視鏡システム、工業用内視鏡画像処理装置の作動方法及びプログラムに関する。

工業分野の内視鏡検査は、タービン及びエンジン等の被検体を非破壊で検査するための手法として従来利用されている。また、工業分野の内視鏡検査においては、例えば、測距または姿勢検出に用いられる物理的な構成要素（モーションセンサ等）を内視鏡に極力設けることなく、被検体の内部に存在する不具合箇所のサイズ等のような当該被検体の検査に有用な情報を得るための手法として、ＶｉｓｕａｌＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）に係る手法の採用が近年検討されている。そして、例えば、日本国特開２０１７－１２９９０４号公報には、実空間に存在する物体を撮像して得られた画像に対してＶｉｓｕａｌＳＬＡＭ（以降、ＶＳＬＡＭとも称する）に係る手法を適用することにより当該物体のサイズを推定する観点が開示されている。

ここで、工業分野の内視鏡検査においてＶＳＬＡＭに係る手法を用いた場合には、例えば、実空間に存在する被検体と、当該被検体の内部に挿入される内視鏡に設けられた撮像部と、の間の相対的な位置関係に応じた情報が取得されるとともに、当該取得した情報に基づいて当該被検体の３次元形状が順次復元される。

但し、従来知られているＶＳＬＡＭに係る手法によれば、実空間におけるスケールと、当該手法を用いて復元された３次元形状モデルのスケールと、の間の対応関係を特定することができない。そのため、工業分野の内視鏡検査においてＶＳＬＡＭに係る手法を用いた場合には、実空間におけるスケールが未知の被検体を検査する際の検査効率が低下してしまうおそれがある、という課題が生じている。そして、日本国特開２０１７－１２９９０４号公報には、前述の課題を解消可能な手法について特に開示等されていない。

本発明は、前述した事情に鑑みてなされたものであり、実空間におけるスケールが未知の被検体を検査する際の検査効率を向上させることが可能な工業用内視鏡画像処理装置、工業用内視鏡システム、工業用内視鏡画像処理装置の作動方法及びプログラムを提供することを目的としている。

本発明の一態様の工業用内視鏡画像処理装置は、細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、前記被検体の３次元形状モデルを作成するように構成された内視鏡画像処理装置であって、制御部を有し、前記制御部は、前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、前記複数の特徴点に基づいて前記撮像部の自己位置を推定する推定部と、前記推定部により得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出する第１の変位量算出部と、前記被検体の内部に挿入された前記挿入部の挿抜状態を検知する挿抜状態検知装置から出力される検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出する第２の変位量算出部と、前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成するスケール情報生成部と、を有し、前記制御部は、前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する。

本発明の一態様の工業用内視鏡システムは、細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像するように構成された内視鏡と、制御部を有し、前記制御部は、前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、前記複数の特徴点に基づいて前記撮像部の自己位置を推定する推定部と、前記推定部により得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出する第１の変位量算出部と、前記被検体の内部に挿入された前記挿入部の挿抜状態を検知して検知信号を出力する挿抜状態検知装置と、前記挿抜状態検知装置から出力される前記検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出する第２の変位量算出部と、前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成するスケール情報生成部と、を有し、前記制御部は、前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する。

本発明の一態様の工業用内視鏡画像処理装置の作動方法は、細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、前記被検体の３次元形状モデルを作成するように構成された工業用内視鏡画像処理装置の作動方法であって、制御部を有し、前記制御部は、前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、前記複数の特徴点に基づいて前記撮像部の自己位置を推定する推定部と、前記推定部が、前記内視鏡画像群に基づいて前記撮像部の自己位置を推定し、第１の変位量算出部が、前記推定部により得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出し、第２の変位量算出部が、前記被検体の内部に挿入された前記挿入部の挿抜状態を検知する挿抜状態検知装置から出力される検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出し、スケール情報生成部が、前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成し、前記制御部は、前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する。
本発明の一態様のプログラムは、細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、前記被検体の３次元形状モデルを作成するように構成された工業用内視鏡画像処理装置の作動方法のプログラムであって、制御部を有し、前記制御部は、前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、前記複数の特徴点に基づいて前記撮像部の自己位置を推定する機能と、推定して得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出する機能と、前記被検体の内部に挿入された前記挿入部の挿抜状態を検知する挿抜状態検知装置から出力される検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出する機能と、前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成する機能と、を有し、前記制御部は、前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する機能と、をコンピュータに実現させる。

実施形態に係る内視鏡画像処理装置を含む内視鏡システムの外観構成の一例を示す図。実施形態に係る内視鏡画像処理装置を含む内視鏡システムの構成を説明するためのブロック図。挿入部の挿入方向及び抜去方向と、撮像部の視野方向と、の間の関係を説明するための図。実施形態に係る内視鏡画像処理装置において行われる処理等を説明するためのフローチャート。被検体内に挿入された挿入部に撓みが発生している状態の一例を示す図。被検体内に挿入された挿入部に撓みが発生していない状態の一例を示す図。被検体内に挿入された挿入部に撓みが発生している状態の一例を示す図。被検体内に挿入された挿入部において発生した撓みが抜去操作により解消される様子を示す図。被検体内に挿入された挿入部において発生した撓みが抜去操作により解消される様子を示す図。被検体内に挿入された挿入部において発生した撓みが抜去操作により完全に解消された状態の一例を示す図。被検体内に挿入された挿入部において発生した撓みが抜去操作により完全に解消された状態の一例を示す図。変位速度ＶＺの時間的な変化の一例を示す図。変位速度ＶＬの時間的な変化の一例を示す図。変位速度ＶＺの時間的な変化の一例を示す図。変位速度ＶＬの時間的な変化の一例を示す図。

以下、本発明の実施形態について、図面を参照しつつ説明を行う。

内視鏡システム１は、例えば、図１に示すように、内視鏡２と、内視鏡２を接続可能な本体装置３と、を有して構成されている。また、本体装置３には、画像等を表示可能な表示部３５が設けられている。図１は、実施形態に係る内視鏡画像処理装置を含む内視鏡システムの外観構成の一例を示す図である。

内視鏡２は、タービン及びエンジン等の被検体の内部に挿入可能な細長形状を具備して形成された挿入部５と、挿入部５の基端側に設けられた操作部６と、操作部６から延出したユニバーサルコード７と、を有して構成されている。また、内視鏡２は、ユニバーサルコード７により、本体装置３に対して着脱自在に接続されるように構成されている。

挿入部５は、先端部１１と、湾曲自在に形成された湾曲部１２と、可撓性を有する長尺な可撓管部１３と、を先端側から順に設けて構成されている。

操作部６には、湾曲部１２を所望の方向に湾曲させるための操作を行うことが可能なジョイスティックを有して構成された湾曲操作子６ａが設けられている。また、操作部６には、図示しないが、例えば、フリーズボタン、湾曲ロックボタン、及び、記録指示ボタン等のような、内視鏡システム１において利用可能な機能に応じた１つ以上の操作ボタンが設けられている。

先端部１１には、図２に示すように、１つ以上の光源部２１と、撮像部２２と、が設けられている。なお、図２においては、図示の便宜上、２つの光源部２１が先端部１１に設けられている場合を例示している。図２は、実施形態に係る内視鏡画像処理装置を含む内視鏡システムの構成を説明するためのブロック図である。

光源部２１は、発光素子２１ａと、照明光学系２１ｂと、を有して構成されている。

発光素子２１ａは、例えば、ＬＥＤを有して構成されている。また、発光素子２１ａは、本体装置３から供給される発光素子駆動信号に応じた光量を有する照明光を発生するように構成されている。

照明光学系２１ｂは、例えば、照明レンズを含む光学系として構成されている。また、照明光学系２１ｂは、発光素子２１ａから発せられた照明光を先端部１１の外部の被写体へ照射するように構成されている。

撮像部２２は、観察光学系２２ａと、撮像素子２２ｂと、を有するカメラとして構成されている。

観察光学系２２ａは、例えば、結像レンズを含む光学系として構成されている。また、観察光学系２２ａは、光源部２１からの照明光の照射に応じて先端部１１の外部の被写体から発せられる戻り光（反射光）が入射されるとともに、当該戻り光を撮像素子２２ｂの撮像面上に結像するように構成されている。

撮像素子２２ｂは、例えば、ＣＣＤまたはＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像素子２２ｂは、本体装置３から供給される撮像素子駆動信号に応じて駆動するように構成されている。また、撮像素子２２ｂは、観察光学系２２ａにより結像された戻り光を撮像することにより撮像信号を生成し、当該生成した撮像信号を本体装置３へ出力するように構成されている。

湾曲部１２は、例えば、複数の湾曲駒を有して構成されている。また、湾曲部１２は、可撓管部１３、操作部６及びユニバーサルコード７の内部に挿通された複数の湾曲用ワイヤＢＷ各々の先端部に接続されている。また、湾曲部１２は、複数の湾曲用ワイヤＢＷ各々の牽引状態に応じて湾曲することにより、先端部１１を挿入部５の長手軸方向に対して交差する方向へ向けることができるように構成されている。

すなわち、内視鏡２は、細長な挿入部５の先端部１１に設けられた撮像部２２により被検体の内部を撮像するように構成されている。

本体装置３は、図２に示すように、光源駆動部３１と、撮像素子駆動部３２と、湾曲駆動部３３と、画像生成部３４と、表示部３５と、記憶部３６と、入力Ｉ／Ｆ（インターフェース）部３７と、制御部３８と、を有して構成されている。また、本体装置３には、ＵＳＢメモリ等のような可搬型の外部記憶装置５１を接続するための接続ポート（不図示）が設けられている。

光源駆動部３１は、例えば、光源駆動回路を具備して構成されている。また、光源駆動部３１は、制御部３８の制御に応じ、発光素子２１ａを駆動させるための発光素子駆動信号を生成して出力するように構成されている。

撮像素子駆動部３２は、例えば、撮像素子駆動回路を具備して構成されている。また、撮像素子駆動部３２は、制御部３８の制御に応じ、撮像素子２２ｂを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。

湾曲駆動部３３は、例えば、モータ等を有して構成されている。また、湾曲駆動部３３は、複数の湾曲用ワイヤＢＷ各々の基端部に接続されている。また、湾曲駆動部３３は、制御部３８の制御に応じ、複数の湾曲用ワイヤＢＷの牽引量を個別に変化させることができるように構成されている。すなわち、湾曲駆動部３３は、制御部３８の制御に応じ、当該複数の湾曲用ワイヤＢＷ各々の牽引状態を変化させることができるように構成されている。

画像生成部３４は、例えば、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路により構成されている。また、画像生成部３４は、撮像素子２２ｂから出力される撮像信号に対して所定の信号処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を制御部３８へ順次出力するように構成されている。

表示部３５は、例えば、液晶パネルを具備して構成されている。また、表示部３５は、制御部３８から出力される表示画像を表示画面に表示するように構成されている。また、表示部３５は、表示画面に表示されるＧＵＩ（グラフィカルユーザインターフェース）ボタン等に対するタッチ操作を検出するとともに、当該検出したタッチ操作に応じた指示を制御部３８へ出力するタッチパネル３５ａを有して構成されている。

記憶部３６は、例えば、メモリ等のような記憶媒体を具備して構成されている。また、記憶部３６には、例えば、内視鏡システム１の各部の制御に用いられるプログラム、及び、後述のＶＳＬＡＭに係る処理を行うためのプログラム等のような、制御部３８の動作に対応する種々のプログラムが格納されている。また、記憶部３６には、制御部３８によるＶＳＬＡＭに係る処理において用いられる内視鏡画像等を格納することができるように構成されている。

入力Ｉ／Ｆ部３７は、ユーザの入力操作に応じた指示を制御部３８に対して行うことが可能なスイッチ等を具備して構成されている。

制御部３８は、例えば、ＣＰＵ等のような１つ以上のプロセッサ３８ａを有して構成されている。また、制御部３８は、タッチパネル３５ａまたは入力Ｉ／Ｆ部３７の操作に応じてなされた指示に基づき、光源駆動部３２及び撮像素子駆動部３３に対する制御を行うことができるように構成されている。また、制御部３８は、湾曲操作子６ａの操作に応じてなされた指示に基づき、湾曲部１２を湾曲させるための制御を湾曲駆動部３３に対して行うことができるように構成されている。また、制御部３８は、画像生成部３４から出力される内視鏡画像等に対してＧＵＩボタン等を重畳した表示画像を生成して表示部３５へ出力することができるように構成されている。また、制御部３８は、画像生成部３４から出力される内視鏡画像と、後述のＶＳＬＡＭに係る処理により作成した被検体の３次元形状モデルと、を含む表示画像を生成して表示部３５へ出力することができるように構成されている。また、制御部３８は、画像生成部３４から出力される内視鏡画像をＪＰＥＧ等の静止画像用のフォーマット、及び、ＭＰＥＧ４等の動画像用のフォーマットを用いてエンコードして外部記憶装置５１に格納させることができるように構成されている。また、制御部３８は、タッチパネル３５ａまたは入力Ｉ／Ｆ部３７の操作に応じてなされた指示に基づき、外部記憶装置５１に格納された画像を読み込むとともに、当該読み込んだ画像に応じた表示画像を生成して表示部３５へ出力することができるように構成されている。また、制御部３８は、表示部３５へ出力する表示画像に対して色空間変換、インターレース／プログレッシブ変換及びガンマ補正等の所定の画像処理を施すように構成されている。

制御部３８は、撮像部２２の動作と、挿抜状態検知装置４１の動作と、を同期させるための同期信号を生成し、当該生成した同期信号を撮像素子駆動部３２及び挿抜状態検知装置４１へ出力するように構成されている。また、制御部３８は、前述の同期信号を出力しつつ、画像生成部３４から順次出力される複数の内視鏡画像を含む内視鏡画像群と、挿抜状態検知装置４１から出力される検知信号と、に基づいてＶＳＬＡＭに係る処理を行うように構成されている。

なお、本実施形態においては、ＶＳＬＡＭに係る処理として、例えば、画像生成部３４から出力される内視鏡画像群においてマッチングする複数の特徴点（対応点）を抽出する処理、当該複数の特徴点に対応する撮像部２２の自己位置を推定して推定結果を取得する処理、及び、当該複数の特徴点及び当該推定結果に応じた被検体の３次元形状モデルを環境マップとして作成する処理が少なくとも含まれているものとして説明を行う。また、制御部３８により行われる処理の具体例については、後程説明する。

本実施形態においては、プロセッサ３８ａが、記憶部３６から読み込んだプログラムを実行することにより、制御部３８と同様の処理及び動作等を行うものであってもよい。また、本実施形態においては、制御部３８が、プロセッサ３８ａの代わりに、例えば、ＦＰＧＡ等の集積回路を有して構成されていてもよい。

すなわち、本体装置３は、内視鏡画像処理装置としての機能を有し、挿入部５の先端部１１に設けられた撮像部２２により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、当該被検体の３次元形状モデルを作成するように構成されている。

ここで、本実施形態においては、内視鏡２を用いた被検体の検査が行われる際に、挿入部５の挿抜状態を検知可能な挿抜状態検知装置４１が併用される。

挿抜状態検知装置４１は、本体装置３との間で信号等を送受信することができるように構成されている。また、挿抜状態検知装置４１は、被検体の内部に挿入された挿入部５の挿抜状態を検知するとともに、当該検知した挿入部５の挿抜状態を示す検知信号を生成して本体装置３へ出力するように構成されている。また、挿抜状態検知装置４１には、例えば、挿入部５を挿通した状態で挿入部５を長手軸方向に沿って変位させることが可能な形状を有して形成された貫通孔（不図示）が形成されている。また、挿抜検知装置４１は、ローラ４１ａと、エンコーダ４１ｂと、を有して構成されている。

ローラ４１ａは、例えば、挿抜状態検知装置４１の貫通孔の内部における所定の位置に設けられている。また、ローラ４１ａは、挿抜検知装置４１の貫通孔の内部に挿通されている挿入部５の外表面に接触した状態において、挿入部５の変位方向に応じた回転方向に回転するとともに、挿入部５の変位量に応じた回転量だけ回転することができるように構成されている。

エンコーダ４１ｂは、制御部３８から出力される同期信号により設定されるタイミングにおいて、ローラ４１ａの回転方向及び回転量に応じた波形を有する検知信号を生成して本体装置３へ出力するように構成されている。

具体的には、エンコーダ４１ｂは、制御部３８から出力される同期信号により設定されるタイミングにおいて、例えば、Ａ相及びＢ相の２つの位相に対応する２種類のパルス信号を生成し、当該生成した２種類のパルス信号を検知信号として本体装置３へ出力するように構成されている。

以上に述べたような構成を有する挿抜状態検知装置４１によれば、被検体の内部に挿入された挿入部５を前進させた場合と、当該被検体の内部に挿入された挿入部５を後退させた場合と、において、互いに異なる波形を有する検知信号を本体装置３へ出力することができる。また、以上に述べたような構成を有する挿抜状態検知装置４１によれば、被検体の内部に挿入された挿入部５を変位させた際の変位量に応じて異なる波形を有する検知信号を本体装置３へ出力することができる。すなわち、以上に述べたような構成を有する挿抜状態検知装置４１によれば、被検体の内部に挿入された挿入部５の挿抜状態として、挿入部５の長手軸方向における変位量及び変位方向をそれぞれ検知することができる。

続いて、本実施形態の作用について説明する。なお、以降においては、管路等の管状の被検体の内部に挿入部５を挿入して検査を行うものとして説明する。

ユーザは、内視鏡２を用いて被検体の検査を行う前に、当該被検体の内部に挿入部５を挿入するための挿入口付近の所定の位置に挿抜検知装置４１を固定する。

なお、本実施形態によれば、挿入部５が挿入されている被検体に対する相対位置が変化しない位置に挿抜検知装置４１が配置されていればよい。そのため、本実施形態によれば、例えば、前述の挿入口から離れた位置に挿抜検知装置４１が固定されていてもよい。

ユーザは、内視鏡システム１の各部の電源を投入した後、被検体の内部へ挿入部５を挿入するための挿入操作を行うことにより、当該被検体の内部の所望の部位に先端部１１を到達させる。そして、このようなユーザの操作に応じ、発光素子２１ａから発せられた照明光が被検体の内部の被写体に照射され、当該被写体からの反射光を撮像することにより生成された撮像信号が撮像素子２２ｂから出力され、当該撮像信号に基づいて生成された内視鏡画像が画像生成部３４から制御部３８へ順次出力される。また、ユーザは、被検体の内部の所望の部位に先端部１１を到達させた後、当該被検体の内部から挿入部５を抜去するための抜去操作を行う。

前述のユーザの挿入操作によれば、先端部１１の前方に相当する撮像部２２の視野方向と、挿入部５の長手軸方向における挿入部５の基端側から先端側へ向かう方向に相当する挿入方向（図３参照）と、を一致させることができる。また、前述のユーザの抜去操作によれば、撮像部２２の視野方向と、挿入部５の長手軸方向における挿入部５の先端側から基端側へ向かう方向に相当する抜去方向（図３参照）と、を一致させることができる。図３は、挿入部の挿入方向及び抜去方向と、撮像部の視野方向と、の間の関係を説明するための図である。

制御部３８は、本体装置３と挿抜状態検知装置４１との間において信号等を送受信可能な状態になったことを検知した際に、撮像部２２の動作と、挿抜状態検知装置４１の動作と、を同期させるための同期信号を生成し、当該生成した同期信号を撮像素子駆動部３２及び挿抜状態検知装置４１へ出力する。

具体的には、制御部３８は、撮像部２２の撮像素子２２ｂが撮像信号を出力する周期と、挿抜状態検知装置４１のエンコーダ４１ｂが検知信号を出力する周期と、を所定の周期（例えば１／６０秒）に揃えるための同期信号を生成し、当該生成した同期信号を撮像素子駆動部３２及び挿抜状態検知装置４１へ出力する。

制御部３８は、先端部１１が被検体の内部に配置されている期間中において、前述の同期信号を出力しつつ、画像生成部３４から出力される内視鏡画像群と、挿抜状態検知装置４１から出力される検知信号と、に基づき、例えば、図４に示すような処理を行う。このような処理の詳細について、以下に説明する。図４は、実施形態に係る内視鏡画像処理装置において行われる処理等を説明するためのフローチャートである。

制御部３８は、画像生成部３４から出力される内視鏡画像群においてマッチングする複数の特徴点ＣＰを抽出するための処理を行う（図４のステップＳ１）。

具体的には、制御部３８は、例えば、画像生成部３４から出力される内視鏡画像群に対してＯＲＢ（ＯｒｉｅｎｔｅｄＦＡＳＴａｎｄＲｏｔａｔｅｄＢＲＩＥＦ）のようなアルゴリズムを適用することにより、当該内視鏡画像群においてマッチングする複数の特徴点ＣＰを抽出する。

制御部３８は、図４のステップＳ１の処理により抽出された複数の特徴点ＣＰに基づき、撮像部２２の自己位置を推定するための処理を行う（図４のステップＳ２）。

具体的には、制御部３８は、例えば、５点アルゴリズム等の手法を用いて取得したＥ行列（ＥｓｓｅｎｔｉａｌＭａｔｒｉｘ）に基づく処理を行うことにより、複数の特徴点ＣＰに対応する撮像部２２の自己位置を推定する。

すなわち、制御部３８は、推定部としての機能を具備し、内視鏡２により被検体の内部を撮像して得られた内視鏡画像群に基づいて撮像部２２の自己位置を推定するように構成されている。

制御部３８は、図４のステップＳ１の処理により抽出された複数の特徴点ＣＰと、図４のステップＳ２の処理により得られた撮像部２２の自己位置の推定結果と、に基づき、当該複数の特徴点ＣＰの抽出に用いた内視鏡画像群の中から１つ以上の処理対象画像ＩＧを取得するための処理を行う（図４のステップＳ３）。

具体的には、制御部３８は、例えば、図４のステップＳ１の処理により抽出された特徴点ＣＰの個数、及び、図４のステップＳ２の処理により撮像部２２の自己位置の最新の推定結果が取得されてからの経過時間等に基づいて１つ以上の処理対象画像ＩＧを取得する。

制御部３８は、図４のステップＳ２の処理により得られた撮像部２２の自己位置の推定結果に基づき、撮像部２２の変位量ΔＺを算出するための処理を行う（図４のステップＳ４）。

具体的には、制御部３８は、変位量ΔＺを算出するための処理として、例えば、時刻Ｔ１における推定結果として得られた撮像部２２の自己位置と、当該時刻Ｔ１よりも後の時刻Ｔ２における推定結果として得られた撮像部２２の自己位置と、の間の距離を算出する処理を行う。

すなわち、制御部３８は、第１の変位量算出部としての機能を具備し、図４のステップＳ２の処理により得られた撮像部２２の自己位置の推定結果に基づき、撮像部２２の変位量に相当する第１の変位量を算出するように構成されている。

制御部３８は、エンコーダ４１ｂから出力される検知信号に基づき、挿入部５の変位量ΔＬを算出するための処理を行う（図４のステップＳ５）。

具体的には、制御部３８は、エンコーダ４１ｂから出力される検知信号に基づき、挿入部５の変位量ΔＬを算出するための処理として、例えば、時刻Ｔ１における挿入部５の変位量ΔＬ１と、時刻Ｔ２における挿入部５の変位量ΔＬ２と、の間の差分値を算出する処理を行う。

なお、本実施形態においては、挿入部５の長手軸方向の変位量が変位量ΔＬとして算出される。すなわち、制御部３８は、第２の変位量算出部としての機能を具備し、挿抜状態検知装置４１から出力される検知信号に基づき、挿入部５の長手軸方向の変位量に相当する第２の変位量を算出するように構成されている。

制御部３８は、図４のステップＳ４の処理により算出した変位量ΔＺと、図４のステップＳ５の処理により算出した変位量ΔＬと、を関連付けることによりスケール情報ＳＪを生成する処理を行う（図４のステップＳ６）。

すなわち、スケール情報ＳＪは、スケールが不明な変位量ΔＺに対し、挿入部５の挿抜状態に応じて計測される物理量に相当する変位量ΔＬの長さを付与した情報として生成される。また、制御部３８は、スケール情報生成部としての機能を具備し、被検体の３次元形状モデルの作成に係る処理において用いられる情報として、変位量ΔＺと変位量ΔＬとを関連付けたスケール情報を生成するように構成されている。

制御部３８は、図４のステップＳ２の処理により得られた撮像部２２の自己位置の推定結果と、スケール情報ＳＪと、に基づき、被検体の３次元形状モデルが作成される３次元空間のワールド座標系における撮像部２２の３次元座標位置を特定するための処理を行う（図４のステップＳ７）。

制御部３８は、図４のステップＳ７の処理により得られた撮像部２２の３次元座標位置に基づき、１つ以上の処理対象画像ＩＧにおける複数の特徴点ＣＰに対応するワールド座標系の３次元座標位置を含む３次元点群座標を取得するための処理を行う（図４のステップＳ８）。

そして、制御部３８は、例えば、図４の一連の処理を複数回繰り返し行うことにより複数の３次元点群座標を取得し、さらに、当該取得した複数の３次元点群座標を１つに統合するための高密度化処理を行うことにより被検体の３次元形状モデルを作成する。

以上に述べたように、本実施形態によれば、変位量ΔＺと変位量ΔＬとの間の対応関係を示すスケール情報ＳＪに基づいて撮像部２２の３次元座標位置が特定されるとともに、当該特定された撮像部２２の３次元座標位置に応じて３次元点群座標が取得されるため、当該取得した３次元点群座標を用いて高精度な被検体の３次元形状モデルを作成することができる。従って、本実施形態によれば、実空間におけるスケールが未知の被検体を検査する際の検査効率を向上させることができる。

本実施形態によれば、図４のステップＳ６の処理が、被検体の内部に挿入部５が挿入されている状態において１回以上行われればよい。すなわち、本実施形態によれば、制御部３８が、図４の処理を繰り返し行っている最中において少なくとも１つのスケール情報ＳＪを生成するようにすればよい。

本実施形態によれば、例えば、湾曲部１２を湾曲させることにより先端部１１を挿入部５の長手軸方向に対して交差する方向へ向けるための制御が制御部３８により行われている場合、すなわち、撮像部２２の視野方向と、挿入部５の変位方向（挿入方向または抜去方向）と、が一致しない状態で変位量ΔＬが算出され得る場合において、図４のステップＳ４～ステップＳ７の処理に相当するスケール情報ＳＪに係る処理が行われないようにしてもよい。

なお、スケール情報ＳＪに係る処理には、当該スケール情報ＳＪを生成する処理、及び、当該スケール情報ＳＪを用いた処理が含まれる。そのため、スケール情報ＳＪに係る処理が行われない場合には、図４のステップＳ８の処理の代わりに、図４のステップＳ２の処理により得られた撮像部２２の自己位置の推定結果に基づき、１つ以上の処理対象画像ＩＧにおける複数の特徴点ＣＰに対応するワールド座標系の３次元座標位置を含む３次元点群座標を取得するための処理が制御部３８により行われるようにすればよい。

本実施形態は、軟性の（可撓性を有する）挿入部５が設けられた内視鏡２を含む内視鏡システム１に限らず、硬性の（可撓性を有しない）挿入部が設けられた内視鏡を含む他の内視鏡システムに対しても略同様に適用することができる。

ところで、軟性の挿入部５が設けられた内視鏡２においては、ユーザによる挿入操作に応じ、例えば、図５に示すような撓みが発生し得る。そして、図５のような撓みが発生した状態においては、先端部１１（撮像部２２）の実際の変位量ΔＺｒと、挿抜状態検知装置４１から出力される検知信号に基づいて算出される挿入部５の変位量ΔＬと、が乖離することに起因し、スケール情報ＳＪの正確性を確保することができない場合がある。図５は、被検体内に挿入された挿入部に撓みが発生している状態の一例を示す図である。

そのため、内視鏡２を含む内視鏡システム１において本実施形態を適用する場合には、例えば、図６に示すような、挿入部５に撓みが発生していない状態において、スケール情報ＳＪに係る処理が行われることが望ましい。また、ユーザにより挿入部５の抜去操作が行われている最中においては、挿入部５が抜去方向に変位することにより図５のような撓みが解消され得るため、変位量ΔＺｒと変位量ΔＬとが一致しやすくなる。図６は、被検体内に挿入された挿入部に撓みが発生していない状態の一例を示す図である。

すなわち、内視鏡２を含む内視鏡システム１において本実施形態を適用する場合には、例えば、制御部３８が、挿抜状態検知装置４１から出力される検知信号に基づいて挿入部５の変位方向を検知し、当該検知した挿入部５の変位方向が抜去方向であればスケール情報ＳＪに係る処理を行う一方で、当該検知した挿入部５の変位方向が挿入方向であればスケール情報ＳＪに係る処理を行わないようにすればよい。そして、このような処理によれば、スケール情報ＳＪの正確性を確保することができる。

また、本実施形態によれば、挿入部５の変位方向が抜去方向である場合に生成されるスケール情報ＳＪの正確性をさらに向上させるための処理が制御部３８により行われるようにしてもよい。このような本実施形態の変形例に係る処理について、以下に説明する。なお、以降においては、既述の動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

ユーザは、内視鏡システム１の各部の電源を投入した後、被検体の内部へ挿入部５を挿入するための挿入操作を行うことにより、当該被検体の最奥部に先端部１１を到達させる。また、ユーザは、被検体の最奥部に先端部１１を到達させた後、当該被検体の内部から挿入部５を抜去するための抜去操作を行う。

制御部３８は、例えば、挿抜状態検知装置４１から出力される検知信号に基づいて検知した挿入部５の変位方向が抜去方向である場合に、図４のステップＳ４の処理により得られた変位量ΔＺを所定の単位時間ＴＰで除することにより、撮像部２２の変位速度ＶＺを算出する。また、制御部３８は、例えば、挿抜状態検知装置４１から出力される検知信号に基づいて検知した挿入部５の変位方向が抜去方向である場合に、図４のステップＳ５の処理により得られた変位量ΔＬを所定の単位時間ＴＰで除することにより、挿入部５の変位速度ＶＬを算出する。また、制御部３８は、所定の時間幅ＴＷにおける変位速度ＶＺの変動状態と、当該所定の時間幅ＴＷにおける変位速度ＶＬの変動状態と、の間の相関の高さに基づき、図４のステップＳ６の処理（スケール情報ＳＪの生成）を行うか否かを決定する。

ここで、ユーザによる挿入操作に応じて先端部１１が被検体の最奥部に到達した状態においては、例えば、図７Ａに示すような撓みが発生し得る。そのため、挿入部５に撓みが発生した場合には、例えば、図７Ｂ及び図７Ｃに示すように、挿入部５の抜去が開始されてから挿入部５の撓みが完全に解消されるまでの期間において、変位量ΔＺｒと変位量ΔＬとが乖離しやすい状態が継続する。また、例えば、図７Ｄ及び図７Ｅに示すように、ユーザによる挿入部５の抜去操作に応じて挿入部５の撓みが完全に解消された以降の期間においては、変位量ΔＺｒと変位量ΔＬとが乖離し難くなる。なお、図７Ａ～図７Ｅにおいては、挿抜状態検知装置４１の図示を省略しているものとする。図７Ａは、被検体内に挿入された挿入部に撓みが発生している状態の一例を示す図である。図７Ｂ及び図７Ｃは、被検体内に挿入された挿入部において発生した撓みが抜去操作により解消される様子を示す図である。図７Ｄ及び図７Ｅは、被検体内に挿入された挿入部において発生した撓みが抜去操作により完全に解消された状態の一例を示す図である。

そして、図７Ａの状態が時刻ｔａにおいて発生し、図７Ｂの状態が時刻ｔｂにおいて発生し、図７Ｃの状態が時刻ｔｃにおいて発生し、図７Ｄの状態が時刻ｔｄにおいて発生し、かつ、図７Ｅの状態が時刻ｔｅにおいて発生した場合には、変位速度ＶＺの時間的な変化を図８Ａのように表すことができるとともに、変位速度ＶＬの時間的な変化を図８Ｂのように表すことができる。図８Ａは、変位速度ＶＺの時間的な変化の一例を示す図である。図８Ｂは、変位速度ＶＬの時間的な変化の一例を示す図である。

制御部３８は、所定の時間幅ＴＷにおける変位速度ＶＺの変動状態と、当該所定の時間幅ＴＷにおける変位速度ＶＬの変動状態と、の間の相関が低い期間、すなわち、時刻ｔａから時刻ｔｄまでの期間Ｐａにおいては、図４のステップＳ６の処理を行わないようにする。また、制御部３８は、所定の時間幅ＴＷにおける変位速度ＶＺの変動状態と、当該所定の時間幅ＴＷにおける変位速度ＶＬの変動状態と、の間の相関が高い期間、すなわち、時刻ｔｄの直後から時刻ｔｅまでの期間Ｐｂにおいて、図４のステップＳ６の処理を行う。

なお、本変形例に係る制御部３８の処理は、図８Ａ及び図８Ｂに示したような場合に限らず、例えば、図９Ａ及び図９Ｂに示すような場合に対しても略同様に適用することができる。図９Ａは、変位速度ＶＺの時間的な変化の一例を示す図である。図９Ｂは、変位速度ＶＬの時間的な変化の一例を示す図である。

具体的には、制御部３８は、所定の時間幅ＴＷにおける変位速度ＶＺの変動状態と、当該所定の時間幅ＴＷにおける変位速度ＶＬの変動状態と、の間の相関が低い期間に相当する期間Ｐｃにおいては、図４のステップＳ６の処理を行わないようにすればよい。また、制御部３８は、所定の時間幅ＴＷにおける変位速度ＶＺの変動状態と、当該所定の時間幅ＴＷにおける変位速度ＶＬの変動状態と、の間の相関が高い期間に相当する期間Ｐｄにおいて、図４のステップＳ６の処理を行うようにすればよい。

以上に述べたように、本変形例に係る制御部３８の処理によれば、被検体の内部から挿入部５が抜去されている期間のうち、変位量ΔＺｒと変位量ΔＬとが乖離し難い期間においてスケール情報ＳＪが生成される。そのため、本変形例に係る制御部３８の処理によれば、挿入部５の変位方向が抜去方向である場合に生成されるスケール情報ＳＪの正確性をさらに向上させることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims

細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、前記被検体の３次元形状モデルを作成するように構成された工業用内視鏡画像処理装置であって、
制御部を有し、前記制御部は、
前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、
前記複数の特徴点に基づいて前記撮像部の自己位置を推定する推定部と、
前記推定部により得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出する第１の変位量算出部と、
前記被検体の内部に挿入された前記挿入部の挿抜状態を検知する挿抜状態検知装置から出力される検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出する第２の変位量算出部と、
前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成するスケール情報生成部と、を有し、
前記制御部は、
前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する
ことを特徴とする工業用内視鏡画像処理装置。
前記スケール情報生成部は、前記検知信号に基づいて前記挿入部の変位方向を検知し、当該検知した前記挿入部の変位方向が抜去方向であれば前記スケール情報を生成する処理を行う一方で、当該検知した前記挿入部の変位方向が挿入方向であれば前記スケール情報を生成する処理を行わない
ことを特徴とする請求項１に記載の工業用内視鏡画像処理装置。
前記スケール情報生成部は、前記第１の変位量に基づいて前記撮像部の変位速度に相当する第１の変位速度を算出し、前記第２の変位量に基づいて前記挿入部の変位速度に相当する第２の変位速度を算出し、所定の時間幅における前記第１の変位速度の変動状態と、前記所定の時間幅における前記第２の変位速度の変動状態と、の間の相関の高さに基づいて前記スケール情報を生成する処理を行うか否かを決定する
ことを特徴とする請求項１又は２に記載の工業用内視鏡画像処理装置。
前記スケール情報生成部は、前記先端部を前記挿入部の長手軸方向に対して交差する方向へ向けるための制御が行われている場合には、前記スケール情報を生成する処理を行わない
ことを特徴とする請求項１に記載の工業用内視鏡画像処理装置。
前記挿抜状態検知装置は、前記挿入部が挿入されている前記被検体に対する相対位置が変化しない位置に配置される
ことを特徴とする請求項１に記載の工業用内視鏡画像処理装置。
前記挿抜状態検知装置は、前記被検体の内部に前記挿入部を挿入するための挿入口付近の所定の位置に固定される
ことを特徴とする請求項５に記載の工業用内視鏡画像処理装置。
前記スケール情報生成部は、前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、スケールが不明な前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成する、
ことを特徴とする請求項１に記載の工業用内視鏡画像処理装置。
前記制御部が、前記３次元座標位置に基づき、前記複数の特徴点に対応する前記ワールド座標系の前記３次元座標位置を含む３次元点群座標を取得する
請求項１に記載の工業用内視鏡画像処理装置。
前記制御部が、少なくとも１つの前記3次元点群座標に基づき、前記被検体の前記3次元形状モデルを作成する
請求項８に記載の工業用内視鏡画像処理装置。
細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像するように構成された内視鏡と、
制御部を有し、前記制御部は、
前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、
前記複数の特徴点に基づいて前記撮像部の自己位置を推定する推定部と、
前記推定部により得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出する第１の変位量算出部と、
前記被検体の内部に挿入された前記挿入部の挿抜状態を検知して検知信号を出力する挿抜状態検知装置と、
前記挿抜状態検知装置から出力される前記検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出する第２の変位量算出部と、
前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成するスケール情報生成部と、
を有し、
前記制御部は、
前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定
することを特徴とする工業用内視鏡システム。
細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、前記被検体の３次元形状モデルを作成するように構成された工業用内視鏡画像処理装置の作動方法であって、
制御部を有し、前記制御部は、
前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、
前記複数の特徴点に基づいて前記撮像部の自己位置を推定する推定部と、
前記推定部が、前記内視鏡画像群に基づいて前記撮像部の自己位置を推定し、
第１の変位量算出部が、前記推定部により得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出し、
第２の変位量算出部が、前記被検体の内部に挿入された前記挿入部の挿抜状態を検知する挿抜状態検知装置から出力される検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出し、
スケール情報生成部が、前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成し、
前記制御部は、
前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する
ことを特徴とする工業用内視鏡画像処理装置の作動方法。
細長な挿入部の先端部に設けられた撮像部により被検体の内部を撮像して得られた内視鏡画像群に対して処理を行うことにより、前記被検体の３次元形状モデルを作成するように構成された工業用内視鏡画像処理装置の作動方法のプログラムであって、
前記撮像部により撮像された前記内視鏡画像群において、マッチングする複数の特徴点を抽出し、
前記複数の特徴点に基づいて前記撮像部の自己位置を推定する機能と、
推定して得られた前記撮像部の自己位置の推定結果に基づき、前記撮像部の変位量に相当する第１の変位量を算出する機能と、
前記被検体の内部に挿入された前記挿入部の挿抜状態を検知する挿抜状態検知装置から出力される検知信号に基づき、前記挿入部の長手軸方向に対して平行な方向の変位量に相当する第２の変位量を算出する機能と、
前記被検体の３次元形状モデルの作成に係る処理において用いられる情報として、前記第１の変位量と前記第２の変位量とを関連付けたスケール情報を生成する機能と、を有し、
前記撮像部の前記自己位置の推定結果と、前記スケール情報に基づき、前記被検体の前記3次元形状モデルが生成される3次元空間のワールド座標系における前記撮像部の3次元座標位置を特定する機能と、
を工業用内視鏡画像処理装置のコンピュータに実現させるためのプログラム。