JPWO2020121380A1 - 画像処理装置、消化管の形状モデルの生成方法、及び画像処理装置の作動プログラム - Google Patents

Abstract

画像処理装置は、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出する位置算出部と、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出する方向検出部と、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成するモデル生成部と、を備える。これにより、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる画像処理装置を提供する。

Description

本発明は、画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。

従来、被検体の消化管内をカプセル型内視鏡が時系列順に撮像することにより取得した一連の画像群を用いて、被検体の観察を行う技術が知られている。さらに、カプセル型内視鏡の位置情報に基づいて、消化管の形状モデルを生成する技術が知られている。

特許第５２４８８３４号公報

しかしながら、消化管は蠕動運動により形状が一時的に変化するため、カプセル型内視鏡の位置情報に基づいて消化管の形状モデルを生成すると、実際にはない消化管の湾曲形状が現れてしまう場合があった。

本発明は、上記に鑑みてなされたものであって、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出する位置算出部と、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出する方向検出部と、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成するモデル生成部と、を備える。

また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、前記位置情報の変化量が第１の閾値よりも小さく、かつ、前記管腔方向への移動量が第２の閾値よりも小さい位置情報を前記第１の位置情報として選択する。

また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、前記位置情報のうち、前記第１の位置情報以外の位置情報である第２の位置情報を、前記形状モデル上の位置を示す位置情報に補正する。

また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、撮像された順番に沿って、隣り合う前記第１の位置情報間の距離と、隣り合う前記位置情報間の距離との比に基づいて、前記第２の位置情報を前記形状モデル上の位置を示す位置情報に補正する。

また、本発明の一態様に係る画像処理装置は、前記モデル生成部は、前記第２の位置情報を前記形状モデル上に投影した位置を示す位置情報に補正する。

また、本発明の一態様に係る画像処理装置の作動方法は、位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する。

また、本発明の一態様に係る画像処理装置の作動プログラムは、位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する処理を画像処理装置に実行させる。

本発明によれば、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。

図１は、本発明の実施の形態１に係る画像処理装置を含む内視鏡システムを示す模式図である。 図２は、図１に示す記録媒体が画像処理装置に接続された状態のブロック図である。 図３は、体内画像の一例を表す図である。 図４は、体内画像の一例を表す図である。 図５は、図２に示した画像処理装置の動作を示すフローチャートである。 図６は、モデル生成部が消化管の形状モデルを生成する様子を表す図である。 図７は、変形例１のモデル生成部が消化管の形状モデルを生成する様子を表す図である。 図８は、変形例２のモデル生成部が消化管の形状モデルを生成する様子を表す図である。 図９は、変形例３のモデル生成部が消化管の形状モデルを生成する様子を表す図である。 図１０は、変形例４の表示制御部が消化管の形状モデルを表示装置に表示させた様子を表す図である。

以下に、図面を参照して本発明に係る画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、カプセル型内視鏡が被検体の消化管内を撮像した画像に画像処理を施す画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム一般に適用することができる。

また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を含む内視鏡システムを示す模式図である。内視鏡システム１は、飲み込み型の医療装置としてのカプセル型内視鏡２を用いて、被検体１００内部の体内画像を取得し、当該体内画像を医師等に観察させるシステムである。この内視鏡システム１は、図１に示すように、カプセル型内視鏡２の他、受信装置３と、画像処理装置４と、可搬型の記録媒体５と、入力装置６と、表示装置７と、を備える。

記録媒体５は、受信装置３と画像処理装置４との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置３及び画像処理装置４に対してそれぞれ着脱可能に構成されている。

カプセル型内視鏡２は、被検体１００の臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、経口摂取等によって被検体１００の臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次、撮像する。そして、カプセル型内視鏡２は、撮像することにより生成した画像データを順次、送信する。

受信装置３は、複数の受信アンテナ３ａ〜３ｈを備え、これら複数の受信アンテナ３ａ〜３ｈのうち少なくとも一つを用いて被検体１００内部のカプセル型内視鏡２からの画像データを受信する。そして、受信装置３は、当該受信装置３に挿着された記録媒体５内に、受信した画像データを蓄積する。なお、受信アンテナ３ａ〜３ｈは、図１に示したように被検体１００の体表上に配置されていてもよいし、被検体１００に着用させるジャケットに配置されていてもよい。また、受信装置３が備える受信アンテナ数は、１つ以上であればよく、特に８つに限定されない。

図２は、図１に示す記録媒体が画像処理装置に接続された状態のブロック図である。図２に示すように、画像処理装置４は、リーダライタ４１と、記憶部４２と、制御部４３と、を備える。

リーダライタ４１は、外部から処理対象となる画像データを取得する画像取得部としての機能を有する。具体的には、リーダライタ４１は、当該リーダライタ４１に記録媒体５が挿着された際に、制御部４３による制御のもと、記録媒体５に保存された画像データ（カプセル型内視鏡２により時系列順に撮像（取得）された複数の体内画像を含む体内画像群）を取り込む。また、リーダライタ４１は、取り込んだ体内画像群を制御部４３に転送する。そして、制御部４３に転送された体内画像群は、記憶部４２に記憶される。

記憶部４２は、制御部４３から転送された体内画像群を記憶する。また、記憶部４２は、制御部４３が実行する各種プログラム（画像処理装置の作動プログラムを含む）や制御部４３の処理に必要な情報等を記憶する。記憶部４２は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、及び内蔵若しくはデータ通信端子により電気的に接続されたハードディスク等によって実現される。

制御部４３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成されている。制御部４３は、記憶部４２に記憶されたプログラム（画像処理装置の作動プログラムを含む）を読み出し、当該プログラムに従って内視鏡システム１全体の動作を制御する。制御部４３は、図２に示すように、位置算出部４３１と、方向検出部４３２と、モデル生成部４３３と、表示制御部４３４と、を有する。

位置算出部４３１は、消化管内に導入されたカプセル型内視鏡２が複数の画像それぞれを撮像した位置を示す位置情報を算出する。具体的には、位置算出部４３１は、受信アンテナ３ａ〜３ｈの各アンテナがカプセル型内視鏡２から受信した信号強度に基づいて、各画像がそれぞれ撮像された位置を示す位置情報を算出する。さらに、位置算出部４３１は、時系列順に隣り合う各画像間の位置情報の差分を算出することにより、各画像間の位置情報の変化量を算出する。ただし、位置算出部４３１は、カプセル型内視鏡２内に設けられた磁界発生部からの磁界を、被検体１００外に配置された磁界検出部により検出することにより、カプセル型内視鏡２の位置情報を算出してもよい。

方向検出部４３２は、複数の画像それぞれを撮像した際のカプセル型内視鏡２の管腔方向への移動量を検出する。図３、図４は、体内画像の一例を表す図である。図３、図４は、時系列順に隣り合う画像である。図３に示すように、方向検出部４３２は、画像内に特徴点Ａを設定する。特徴点Ａは、例えば消化管内のひだや凹凸の端部である。図３に示す状態から、図４に示すように、特徴点Ａが移動した場合、方向検出部４３２は、特徴点Ａの移動量からカプセル型内視鏡２の管腔方向への移動量を検出する。ただし、方向検出部４３２は、時系列順に隣り合う画像間の類似度等を算出することにより、カプセル型内視鏡２の管腔方向への移動量を検出してもよい。また、方向検出部４３２は、カプセル型内視鏡２に搭載された加速度センサ等のセンサが検出した情報に基づいて、カプセル型内視鏡２の管腔方向への移動量を検出してもよい。

モデル生成部４３３は、位置情報の変化量及び管腔方向への移動量に基づいて、位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて消化管の形状モデルを生成する。具体的には、モデル生成部４３３は、位置情報の変化量が第１の閾値よりも小さく、かつ、管腔方向への移動量が第２の閾値よりも小さい位置情報を第１の位置情報として選択する。なお、第１の閾値及び第２の閾値は、位置情報が消化管の蠕動運動の影響を受けない程度に十分小さい値であり、予め定められた値であってよいが、医師等のユーザが設定した値であってもよい。また、第１の閾値及び第２の閾値は、カプセル型内視鏡２のフレームレート等の撮像条件に応じて可変であってもよい。

表示制御部４３４は、記憶部４２に記憶されている画像に所定の画像処理を施し、表示装置７における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、代表画像を表示装置７に表示させる。

入力装置６は、キーボード及びマウス等を用いて構成されており、ユーザによる操作を受け付ける。

表示装置７は、液晶ディスプレイ等を用いて構成されており、表示制御部４３４による制御のもと、代表画像等を含む画像を表示する。

次に、画像処理装置４が形状モデルを生成する処理について説明する。図５は、図２に示した画像処理装置の動作を示すフローチャートである。図５に示すように、位置算出部４３１は、カプセル型内視鏡２が体内画像群のそれぞれを撮像した位置を示す位置情報を算出し、さらに各画像間の位置情報の変化量を算出する（ステップＳ１）。

続いて、方向検出部４３２は、体内画像群のそれぞれが撮像された際のカプセル型内視鏡２の管腔方向への移動量を検出する（ステップＳ２）。

そして、モデル生成部４３３は、位置情報の変化量及び管腔方向への移動量に基づいて、位置情報の中から第１の位置情報を選択し、選択した第１の位置情報を用いて消化管の形状モデルを生成する（ステップＳ３）。

図６は、モデル生成部が消化管の形状モデルを生成する様子を表す図である。図６に示すように、モデル生成部４３３は、位置情報Ｐ１〜Ｐ８のうち、位置情報Ｐ１及びＰ８を第１の位置情報に選択したとする。そして、モデル生成部４３３は、位置情報Ｐ１及びＰ８を用いて消化管の形状モデルを生成する。

位置情報Ｐ１〜Ｐ８を用いて形状モデルを生成すると、消化管の蠕動運動の影響により実際にはない湾曲形状が現れてしまうため、線Ｌ１のような曲線となる。これに対して、モデル生成部４３３は、第１の位置情報である位置情報Ｐ１及びＰ８を例えば直線で結ぶことにより消化管の蠕動運動の影響を低減した線Ｌ２を生成することができる。

その後、表示制御部４３４は、モデル生成部４３３が生成した消化管の形状モデルを表示装置７に表示させ（ステップＳ４）、一連の処理が終了する。

以上説明したように、実施の形態１によれば、モデル生成部４３３が、位置情報の変化量及び管腔方向への移動量が十分小さいときに取得された第１の位置情報を用いて形状モデルを生成するため、消化管の蠕動運動の影響を低減した消化管の形状モデルを生成することができる。

（変形例１）
変形例１において、モデル生成部４３３は、位置情報のうち、第１の位置情報以外の位置情報である第２の位置情報を、形状モデル上の位置を示す位置情報に補正する。具体的には、モデル生成部４３３は、撮像された順番に沿って、隣り合う第１の位置情報間の距離と、隣り合う位置情報間の距離との比に基づいて、第２の位置情報を形状モデル上の位置を示す位置情報に補正する。

図７は、変形例１のモデル生成部が消化管の形状モデルを生成する様子を表す図である。図７に示すように、モデル生成部４３３は、線Ｌ１における累積的な隣り合う第１の位置情報間の距離ＬＮ１と、隣り合う位置情報間の距離ＬＮ１１〜ＬＮ１７とを算出する。ＬＮ１＝ＬＮ１１＋ＬＮ１２＋・・・＋ＬＮ１７である。さらに、モデル生成部４３３は、線Ｌ２における隣り合う第１の位置情報間の距離ＬＮ２を算出する。続いて、モデル生成部４３３は、第２の位置情報Ｐ２〜Ｐ７を形状モデル上の位置を示す位置情報に補正する。具体的には、モデル生成部４３３は、ＬＮ２１＝（ＬＮ１１／ＬＮ１）×ＬＮ２、ＬＮ２２＝（ＬＮ１２／ＬＮ１）×ＬＮ２、・・・、ＬＮ２７＝（ＬＮ１７／ＬＮ１）×ＬＮ２が満たされるように、第２の位置情報Ｐ２〜Ｐ７を第２の位置情報Ｐ１２〜Ｐ１７に補正する。

以上説明したように、変形例１によれば、第１の位置情報以外の第２の位置情報に対応する画像についても形状モデル上の位置を把握することができる。

（変形例２）
変形例２において、モデル生成部４３３は、第２の位置情報を形状モデル上に投影した位置を示す位置情報に補正する。

図８は、変形例２のモデル生成部が消化管の形状モデルを生成する様子を表す図である。図８に示すように、モデル生成部４３３は、第２の位置情報Ｐ２〜Ｐ７を形状モデル上に投影した第２の位置情報Ｐ２２〜Ｐ２７に補正する。具体的には、モデル生成部４３３は、第２の位置情報Ｐ２〜Ｐ７それぞれを線Ｌ２に直交する方向に投影し、第２の位置情報Ｐ２２〜Ｐ２７に補正する。

（変形例３）
図９は、変形例３のモデル生成部が消化管の形状モデルを生成する様子を表す図である。図９に示すように、モデル生成部４３３は、第１の位置情報Ｐ１、Ｐ８、Ｐ１１を曲線Ｌ１２によりフィッティングしてもよい。具体的には、モデル生成部４３３は、スプライン関数を用いて第１の位置情報Ｐ１、Ｐ８、Ｐ１１を滑らかに結ぶ曲線Ｌ１２を算出することができる。

（変形例４）
図１０は、変形例４の表示制御部が消化管の形状モデルを表示装置に表示させた様子を表す図である。図１０に示すように、表示制御部４３４は、モデル生成部４３３が生成した形状モデルを表す画像Ｉｍ１と、形状モデルにおける印Ｍに対応する体内画像Ｉｍ２とを並べて表示装置７の画面７１に表示してもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付の請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

１ 内視鏡システム
２ カプセル型内視鏡
３ 受信装置
３ａ〜３ｈ 受信アンテナ
４ 画像処理装置
５ 記録媒体
６ 入力装置
７ 表示装置
４１ リーダライタ
４２ 記憶部
４３ 制御部
１００ 被検体
４３１ 位置算出部
４３２ 方向検出部
４３３ モデル生成部
４３４ 表示制御部

Claims (7)

1. 消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出する位置算出部と、
   前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出する方向検出部と、
   前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成するモデル生成部と、
   を備える画像処理装置。
2. 前記モデル生成部は、前記位置情報の変化量が第１の閾値よりも小さく、かつ、前記管腔方向への移動量が第２の閾値よりも小さい位置情報を前記第１の位置情報として選択する請求項１に記載の画像処理装置。
3. 前記モデル生成部は、前記位置情報のうち、前記第１の位置情報以外の位置情報である第２の位置情報を、前記形状モデル上の位置を示す位置情報に補正する請求項１又は２に記載の画像処理装置。
4. 前記モデル生成部は、撮像された順番に沿って、隣り合う前記第１の位置情報間の距離と、隣り合う前記位置情報間の距離との比に基づいて、前記第２の位置情報を前記形状モデル上の位置を示す位置情報に補正する請求項３に記載の画像処理装置。
5. 前記モデル生成部は、前記第２の位置情報を前記形状モデル上に投影した位置を示す位置情報に補正する請求項３に記載の画像処理装置。
6. 位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、
   方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、
   モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する画像処理装置の作動方法。
7. 位置算出部が、消化管内に導入されたカプセル型内視鏡が複数の画像それぞれを撮像した位置を示す位置情報を算出し、各画像間の前記位置情報の変化量を算出し、
   方向検出部が、前記複数の画像それぞれを撮像した際の前記カプセル型内視鏡の管腔方向への移動量を検出し、
   モデル生成部が、前記位置情報の変化量及び前記管腔方向への移動量に基づいて、前記位置情報の中から第１の位置情報を選択し、該第１の位置情報を用いて前記消化管の形状モデルを生成する処理を画像処理装置に実行させる画像処理装置の作動プログラム。

Images