以下、図面を参照して本発明の実施の形態に係わる管腔画像処理装置を説明する。
(実施の形態)
まず、本発明の実施の形態に係るカプセル型内視鏡装置を利用した管腔画像処理装置及びその方法について、図面を用いて説明する。最初に、本発明の実施の形態に係るカプセル型内視鏡装置を利用した管腔画像処理装置について、図1と図2を用いて説明する。図1は本実施の形態に係るカプセル型内視鏡装置1と、管腔画像処理装置としての端末装置7の概略構成を示すブロック図である。
本実施の形態の画像処理方法を用いるカプセル型内視鏡装置1は、図1(A)に示すように、カプセル型内視鏡3、アンテナユニット4、及び外部装置5からなっている。カプセル型内視鏡3は、詳細は後述するが、被検体である患者2の口から体腔内に飲み込まれて食道及び消化管内を進行する形状に形成され、かつ、内部に食道及び消化管内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット4は、患者2の身体表面上に設置され、前記カプセル型内視鏡3から送信される撮像画像情報を受信する複数の受信アンテナ11を有している。外部装置5は、外形が箱形形状に形成されており、前記アンテナユニット4が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置5の外装の表面に前記撮像画像を表示させる液晶モニタ12と、各種機能の操作指示を行う操作部13が設けられている。また、この外部装置5は、駆動電源用の電池の残量に関する警告表示用のLED、操作部13として電源スイッチが設けられている。
この外部装置5は、患者2の身体に装着されると共に、図1(B)に示すように、クレードル6に装着されることにより端末装置7に接続されるようになっている。管腔画像処理装置である噴門検出装置としての端末装置7は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体9、各種操作処理入力用のキーボード8aとマウス8b、及び各種処理結果を表示するディスプレイ8cからなっている。この端末装置7の基本的機能としては、前記外部装置5に記録されている撮像画像情報をクレードル6を介して取り込み、端末本体9に内蔵されている書き換え可能なメモリ、或いは端末本体9に着脱自在な書き換え可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ8cに表示する画像処理を行う。さらに、端末装置7は、後述する実施の形態に係る画像処理方法によって噴門検出処理を実行する。なお、前記外部装置5に記憶されている撮像画像情報は、前記クレードル6に代えて、USBケーブル等によって端末装置7に取り込まれるようにしても良い。このようなクレードル6等が、カプセル型内視鏡3により撮像された画像を入力する画像入力手段である。
次に、前記カプセル型内視鏡3の外形と内部構造について、図2を用いて説明する。カプセル型内視鏡3は、断面がU字状の外装部材14と、この外装部材14の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材14aとからなるカプセル形に形成されている。
この外装部材14とカバー部材14aからなるカプセル形状の内部中空部には、前記カバー部材14aの半球の円弧の中央部分の内部には、カバー部材14aを介して入射された観察部位像を取り込む対物レンズ15がレンズ枠16に収納されて配置されている。この対物レンズ15の結像位置には、撮像素子である電荷結合素子(以下、CCDと称する)17が配置されている。また、前記対物レンズ15を収納するレンズ枠16の周囲には、照明光を発光放射させる4つの白色系のLED18が同一平面上に配置されている(図中には2つのLEDのみを表記している)。前記CCD17の後端側の前記外装部材14の中空部には、前記CCD17を駆動制御して光電変換された撮像信号の生成と、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理と、及び前記LED18の点灯・非点灯の動作を制御するLED駆動の処理とを行う処理回路19、この処理回路19の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路20、この通信処理回路20からの無線信号を外部に送信する送信アンテナ23、前記処理回路19と通信処理回路20の駆動用電源を供給する複数のボタン型の電池21が配置されている。なお、CCD17、LED18、処理回路19、通信処理回路20、及び送信アンテナ23は、図示しない基板上に配置され、それらの基板の間は、フレキシブル基板にて接続されている。
カプセル型内視鏡3は、患者2の体内を移動しながら、所定の時間間隔で撮像した体内画像を外部装置5に送信し、外部装置5は、内蔵する記憶装置に受信した内視鏡画像を記録する。外部装置5に記録された内視鏡画像は、クレードル6を介して端末装置7に転送され図示しない記憶装置に記憶され、端末装置7は、転送されて記憶された内視鏡画像に基づいて噴門部の検出処理を行う。この噴門検出処理は、内視鏡画像の画像データに対して画像処理を行う画像処理ソフトウエアすなわちプログラムによって行われる。その画像処理ソフトウエアは、端末装置7のCPU等の処理装置によって実行される。
以下に説明する画像処理は、ソフトウエアにより実現されるもので、前記カプセル型内視鏡3、外部装置5、または端末装置7のいずれにおいてもこの画像処理を実行することができるが、ここでは、パーソナルコンピュータを用いた端末装置7において実行される例を用いて説明する。また、画像処理内容の説明において、1フレームの画像の大きさは、ISX×ISY(1≦ISX、ISY。例えばISX=640、ISY=480)の赤(R)、緑(G)、青(B)の3プレーンからなり、各プレーンの画素の階調数は、8bit、すなわち0乃至255の値をとるものとする。
また、前記カプセル型内視鏡3は、例えば、食道の検査の場合は、毎秒15〜30枚の画像(15fps〜30fps)を撮像する。なお、カプセル型内視鏡3は、食道を通過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるよう撮像機能制御を行う。これは、図示しないタイマー回路を設け、このタイマー回路によるタイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は毎秒当たりの撮像枚数の少ない低速撮像となるように制御する等によって実現することができる。
図3は、得られた一連の内視鏡画像に基づいて、端末装置7において実行される食道・胃接合部の通過により噴門部の検出を行う処理の流れの例を示すフローチャートである。被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図3の処理が実行される。なお、各内視鏡画像の画像データは、図3の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。
図3の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS1)。iは1からnの整数である。
次に、フレーム番号iの画像Fiの画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS2)。画像Fiは、RGBの3つのプレーンからなる。
読み出した画像Fiの画像データに基づいて、内視鏡画像の所定の特徴量として色調の特徴量、ここでは平均色調特徴量μiを算出する(ステップS3)。平均色調特徴量μiは、各画像に含まれる全画素の色調特徴量の平均値である。ステップS3が、各画像Fiについての全画素の値に基づく色調の特徴量としての、平均色調特徴量を算出する特徴量算出工程あるいは特徴量算出手段を構成し、ステップS3からS5が消化管の境界部を検出する検出手段を構成する。
次に、平均色調特徴量μiが、所定の閾値Thを超えているか否かを判断する(ステップS4)。色調特徴量として、後述するR/(R+G+B)の値を用いる場合であれば、閾値Thは例えば0.5である。
なお、この閾値Thの値を調整することによって、読み出した画像Fiが、消化管の境界部である食道・胃接合部(EGジャンクション)に入った近辺を撮像している画像であるか、食道・胃接合部の中央部を撮像している画像であるか、胃に入った部分を撮像している画像であるかの判定とすることができる。この点については、後で、図4を用いて説明する。
ステップS4においてYESの場合、すなわち平均色調特徴量μiが所定の閾値Thを超えているときは、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)に入ろうとしている、あるいは食道・胃接合部(EGジャンクション)を通過している時なので、読み出された画像Fiは、その時に撮像された画像であると判定する(ステップS5)。
ステップS4においてNOの場合、すなわち平均色調特徴量μiが所定の閾値Thを超えていないときは、図3の処理を施したい一連の画像の全てについて図3の処理が終了したか否かを判定し(ステップS6)、全て終了しているときは、ステップS6でYESとなり、処理は終了する。ステップS6でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS7)、以降、次の画像に対して、ステップS2からS4の処理を繰り返す。
なお、上述したように、ステップS5では、平均色調特徴量μiが所定の閾値Thを超えた時は、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)を通過している、あるいは食道・胃接合部(EGジャンクション)に入ろうとしている時と判断しているが、言い換えると、その後噴門部に到達しようとしている、あるいはその後胃内へ到達しようとしているという判定ということもできる。よって、噴門部の検出がされているということができる。
ここで、食道から胃にかけての生体組織の色調について説明する。図4は、得られる一連の内視鏡画像における色調の変化を説明するための模式的グラフである。図4において、横軸は、食道扁平上皮部から食道・胃接合部を経て胃に到達するまでに得られる内視鏡画像の時系列に沿った画像番号(フレーム番号)を示し、縦軸は、各画像番号に対応する内視鏡画像の色調特徴量を示す。
被検者の口から入って得られるカプセル型内視鏡3によって得られた各画像の色調は、図4に示すように変化する。すなわち、食道の扁平上皮部RAと円柱上皮の胃部RCにおける色調は異なっており、それらの間の食道・胃接合部RBでは段階的に徐々に変化している。図4では、例えば、後述するようなRGBの3つの画素値から算出される色調特徴量R/(R+G+B)においては、食道扁平上皮部RAは白色調であるため色調特徴量は小さく、胃部RCでは赤色調であるため色調特徴量は大きい。それらの間の食道・胃接合部RBでは、色調特徴量は、白色調から赤色調に徐々に変化する。
そこで、図3のステップS4のような色調特徴量が、その徐々に変化する途中において所定の閾値Thを超えたときに(色調が赤くなったとき)、その画像は、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時に撮像した画像である等の判定、言い換えると、消化管の境界部である噴門部の検出が実行される。すなわち、食道粘膜から胃粘膜へかけての色調の違いに基づき、噴門部の検出が行われる。具体的には、その通過等の判断を確実に行うために、色調特徴量の平均値等が利用される。
次に、図3において説明した平均色調特徴量μiの具体的な例を説明する。
図5は、各フレームの画像について実行され、平均色調特徴量μiとして、RGBの3つの画素値から算出されるR/(R+G+B)を用いた場合における図3のステップS3の処理の流れの例を示すフローチャートである。図5の処理では、1フレームの画素毎における、RGBの3つの各画素値rj、gj、bjから、色度rj/(rj+gj+bj)を算出することによって平均色調特徴量μiが算出される。jは、各フレームの画像データにおいて画素を特定するための番号を示す。
初めに、j=1,val=0,count=0とする(ステップS11)。ここで、valは色調特徴量の総和を求めるための変数であり、countは、平均色調特徴量μiの算出に用いられた画素数を求めるための変数である。
次に、ステップS12において、j番目の画素が暗部に属する画素か否かを判定する。具体的には、R画像、G画像、及びB画像の各画像におけるj番目の画素の値をrj、gj、及びbjとしたときに、rj≦thd、gj≦thd、及びbj≦thdであれば、その画素は暗部に属する画素と判定する。ここで、thdは、暗部画素であるかを判定するための各色の閾値であり、本実施の形態においては、例えばthd=10に設定している。j番目の画素が暗部に属する画素であると判定された場合、ステップS16に進み、j番目の画素が暗部に属さない画素である判定された場合、ステップS13に進む。
次に、ステップS13において、j番目の画素が、極端に明るい画素、すなわちハレーション部に属する画素か否かを判定する。具体的には、rj≧thh、gj≧thh、及びbj≧thhであればハレーション画素と判定する。ここで、thhは、ハレーション画素であるかを判定するための各色の閾値であり、本実施の形態においては、例えばTh=200に設定している。j番目の画素がハレーション画素であると判定された場合、ステップS16に進み、j番目の画素がハレーション画素でない判定された場合、ステップS14に進む。
尚、ステップS12とS13において、R画像、G画像、及びB画像についての閾値thdとthhは各画素rj、gj、及びbjについてそれぞれ同じ値としているが、生体粘膜は総じてR画像が最も明るい傾向にあるため、例えばrjに対する閾値を、gj、bjに対する閾値よりも高く設定してもよい。また、rj、gj、bjのそれぞれに対する閾値を異なる値に設定してもよい。
ステップS14では、val=val+rj/(rj+gj+bj))と、count=count+1が演算される。色調特徴量の総和を求めるための変数valに、色調特徴量rj/(rj+gj+bj)を加算し、変数countを1だけインクリメントする。
そして、ステップS15においては、全ての画素について、ステップS12からステップS14の処理を行ったか否かを判定する。具体的には、j<ISX×ISYである場合、ステップS16において、画素を特定する番号jに1を加算(j=j+1)して、次の画素に対して前記ステップS12からステップS14を実行する。j=ISX×ISYである場合、すなわち全ての画素についてステップS12からステップS14の処理を行った場合、countが所定の閾値thcより大きいか否かを判定する(ステップS17)。閾値thcは、色調評価には不充分な画素数を示し、その閾値thc以上の数であれば、色調評価に有効な画素が充分な数だけ存在したことになる数である。ステップS17において、YESの場合、すなわち色調評価に有効な画素が充分な数だけ存在した場合、平均色調特徴量μiが、色調特徴量総和valを、平均色調特徴量μiの算出に用いられる画素数countによって割り算することによって、算出される(ステップ18)。具体的には、μi=val/countである。
ステップS17においてNOの場合、すなわち色調評価に有効な画素が充分な数だけ存在しなかった場合、そのフレームの画像は、エラーすなわち異常画像として(ステップS19)、平均色調特徴量μiを例えば0(ゼロ)として、図3のステップS4においては、閾値Thを超えないものとして判断されることになる。
次に、本実施の形態における各種変形例を説明する。
第1の変形例として、上述した図3から図5においては、各フレームの画像に基づいて、食道・胃接合部の通過、噴門部の通過等の判断を行っているが、連続する複数の画像が、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上が、ステップS4の判定結果がμi>Thであった場合に、カプセル内視鏡3が、食道・胃接合部を通過した等の、判断をするようにしてもよい。
また、第2の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図3の処理は、特定の1枚の画像に対して行うようにしてもよい。
さらになお、第3の変形例として、連続する複数の画像における平均色調特徴量μiの移動平均を算出して、その移動平均値が所定の閾値を超えたか否かによって、カプセル型内視鏡3の食道・胃接合部の通過等の判定を行うようにしてもよい。例えば、m=2,3,4,・・、かつi>=m+1としたとき(すなわち、n枚の画像の中から、連続するm枚の画像を取り出し、そのとき、(m+1)はi以下であることの意)、連続するm枚の各画像から得られる画像F(i−m)からFiの平均色調特徴量μiに基づいて移動平均値を算出し、その移動平均値が所定の閾値を超えたか否かが判断される。このような移動平均を用いることによれば、観察距離、角度等の違いによる照明条件の変化から生じ得る赤みの強い食道内の画像等であっても、平均色調特徴量の小さな変動による影響を除去して、より精度の高い、カプセル型内視鏡3の食道・胃接合部の通過等を検出することができる。
また、第4の変形例として、以上の例では、色調特徴量として、RGBの3つの画素値から算出される画素値の比率としてR/(R+G+B)を用いているが、他のパラメータでもよい。他の色調特徴量のパラメータとしては、例えば、G/(R+G+B)でもよいし、IHb(=32log2(R/G))、色相、彩度などでもよい。
さらにまた、第5の変形例として、複数の色調特徴量を用いてもよい。例えば、図3のステップS3において、RGBの3つの画素値から算出される画素値の比率としてR/(R+G+B)とG/(R+G+B)とを用い、それらの平均値、すなわち各画像における全画素の色調特徴量(R/(R+G+B))の平均値μ1iと、色調特徴量(G/(R+G+B))の平均値μ2iとを算出する。そして、ステップS4において、平均値μ1iと平均値μ2iが、μ1i>Th1、かつμ2i<Th2か否かの判断を行うようにしてもよい。
また、第6の変形例として、平均色調特徴量の変化量に基づいて、カプセル型内視鏡3の食道・胃接合部の通過等を検出するようにしてもよい。すなわち、連続する一連の画像の各画像から得られる平均色調特徴量が所定の閾値を超えたか否かではなく、2枚の画像の平均色調特徴量の変化量が所定の閾値を超えたか否かを判定するようにしてもよい。すなわち、各画像の平均色調特徴量について、例えば、一つ前の画像あるいは一つ後の画像の平均色調特徴量とを比較し、その2つの平均色調特徴量の差が、所定の閾値を超えていれば、例えばカプセル型内視鏡3が食道から食道・胃接合部へ入った、食道・胃接合部から胃に入った等の判定を行うようにしてもよい。画像F(i−m1)と画像Fiにおける平均色調特徴量μ(i−m1)とμiの差分値(μi−μ(i−m1))が、所定の閾値以上変化したか否かの判断が行われる。m1は、1,2,3,・・である。
これは、粘膜色の個人差、Barret食道等の病変部の存在、撮像系のバラツキ等により粘膜の色調は、常に一定ではないため、そのような個人差等の影響を受けないで、カプセル型内視鏡3が食道・胃接合部を通過したか等の判定ができるようにするためである。
さらに、その場合、平均色調特徴量の変化を、平均色調特徴量の微分値を算出することによって検出するようにしてもよい。
図6は、その平均色調特徴量の微分値を算出することによって、平均色調特徴量の変化を検出する処理の流れの例を示すフローチャートである。
なお、各画像の画像データも、図3の処理で説明したように、図6の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。ステップS1からステップS3の処理は、図3の処理のステップS1からステップS3の処理と同じである。すなわち、最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS1)。次に、フレーム番号iの画像Fiの画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS2)。読み出した画像Fiの画像データから平均色調特徴量μiを算出する(ステップS3)。
全ての画像について処理をしたか、すなわち全画像終了かを判定する(ステップS21)。全画像終了でなければ、ステップS21でNOとなり、i=i+1とし(ステップS7)、処理はステップS2に移行する。
全画像終了のときは、ステップS21でYESとなり、得られた複数の平均色調特徴量μiについて、平滑化のために所定の範囲すなわち連続する所定枚数の画像の範囲に亘って移動平均値f(μi)を算出する(ステップS22)。そして、移動平均値f(μi)の時間経過に基づいて微分値Δf(μi)を算出する(ステップS23)。
そして、所定の閾値thfを超える微分値Δf(μi)に対応する画像Fiを特定し検出する(ステップS24)。ステップS3からS24が消化管の境界部を検出する検出手段を構成する。
以上により、複数の画像間で色調の変化量が所定の閾値を超える画像が検出できるので、粘膜色の個人差等があっても、個人差等の影響を受けないで、カプセル型内視鏡3の食道・胃接合部の通過等の判定をすることができる。
さらに、第7の変形例として、色調特徴量の平均値ではなく、標準偏差あるいは分散を用いることもできる。
例えば、図7は、得られる一連の内視鏡画像における色調特徴量の標準偏差あるいは分散の変化を説明するためのグラフである。図7において、横軸は、食道扁平上皮部から食道・胃接合部を経て胃に関して得られる内視鏡画像の時系列に沿った画像番号(フレーム番号)を示し、縦軸は、各画像番号に対応する内視鏡画像の色調特徴量の標準偏差σiあるいは分散viを示す。
被検者の口から入って得られるカプセル型内視鏡3によって得られた各画像の色調は、図4に示すように変化するが、算出して得られる色調特徴量R/(R+G+B)の標準偏差あるいは分散は、図7に示すように変化する。すなわち、食道の扁平上皮部RAと円柱上皮の胃部RCの画像における色調はそれぞれ一様であるため、色調特徴量R/(R+G+B)の標準偏差σiあるいは分散viは小さいが、それらの間の食道・胃接合部RBでは、その標準偏差σiあるいは分散viは大きくなる。
従って、各画像の色調特徴量の標準偏差σiあるいは分散viに基づいて、カプセル型内視鏡3が食道・胃接合部を通過しようとしている等の判定をすることができる。
さらになお、色調特徴量の標準偏差σiあるいは分散viの代わりに、それらの変動係数(=標準偏差σi/平均色調特徴量μi)を用いてもよい。
さらに、第8の変形例として、以上説明した例では、各フレームの画像の全ての画素の画素データを用いているが、図8に示すように、全画素を処理対象とするのではなく、各フレームの所定の領域内の画素についてのみサンプリングして処理対象としてもよい。図8は、各フレームの画像31において、上述した本実施の形態及び変形例における画像処理を行う領域の例を示す図である。
各フレームの画像31を、所定の領域に分割する。図8では、各画像31は、各分割された領域が矩形となるように16分割され、その分割された領域の中で、所定の領域(R2,R3,R5,R8,R9,R12,R14,R15)についてのみ、すなわち関心領域(ROI)についてのみ、上述した処理が行われる。特に、食道は管腔臓器であるため、より正確に粘膜表面の色調を算出するために、視野の中央部を除いて、関心領域(ROI)を設定することもできる。
従って、関心領域(ROI)のみを処理対象とすれば、演算量が少なくなるため処理の高速化が図れる。
さらになお、より高速処理を図るために、関心領域(ROI)のみを処理対象とするときに、全てのフレームについて処理を行うのではなく、k枚(k=1,2,3,・・)おきのフレーム毎に、関心領域(ROI)の画素のみについて処理対象とするようにしてもよい。特に、食道内では、毎秒の撮像枚数が多いので、多少の間引きを行っても、正確な判定を行うことができる場合があるからである。
以上のように、本実施の形態(変形例を含む)によれば、管腔画像の色調特徴量に基づいて、各画像が、カプセル型内視鏡が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時の画像であるか否かの判定をすることができる。
なお、本実施の形態においては、算出した特徴量に対する閾値処理の適用により、各画像が、カプセル型内視鏡が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時の画像であるかの検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、他の実施の形態における特徴量を組み合わせて使用してもよい。
以下、上述した実施形態の参考となる例について説明する。
(第1の参考例)
次に、本発明の第1の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
上述した実施の形態では色調特徴量が用いられているが、本参考例に係る管腔画像処理装置である噴門検出装置は、各画像の明るさ情報を用いて、各画像が、カプセル型内視鏡が食道・胃接合部(EGジャンクション)を通過している等のときの画像であるか否かの判定を行うようにした点が、上述した実施の形態と異なる。
図9は、得られる一連の内視鏡画像における明るさの変化、具体的には輝度の変化を説明するための模式的グラフである。図9において、横軸は、食道扁平上皮部から食道・胃接合部を経て胃に到達するまでに得られる内視鏡画像の時系列に沿った画像番号(フレーム番号)を示し、縦軸は、各画像番号に対応する内視鏡画像の輝度を示す。
被検者の口から入って得られるカプセル型内視鏡3によって得られた各画像の輝度は、画像の明るさを示し、図9に示すように変化する。すなわち、食道の扁平上皮部RAと円柱上皮の胃部RCにおける輝度は異なっており、さらにそれらの間の食道・胃接合部RBも輝度は、食道の扁平上皮部RAと円柱上皮の胃部RCとは異なっている。図9に示すように、例えば、RGBの3つの画素値から算出される輝度においては、食道扁平上皮部RAは比較的狭い管腔臓器であり粘膜壁までの距離が近いため、暗部とハレーション部を除くと、平均輝度値は大きく、胃部RC内では相対的に輝度は小さい。それらの間の食道・胃接合部RBでは、食道という管腔内において閉じた噴門部を正面視するために、輝度値は、食道扁平上皮部RAよりも大きい。
よって、画像の明るさ情報が、その徐々に変化する途中において所定の閾値Th1を超えたときに、食道・胃接合部(EGジャンクション)を通過している、あるいは食道・胃接合部(EGジャンクション)に入ろうとしている、等の判定が実行される。すなわち、撮像した画像における明るさ情報の違いに基づき、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時に閉じた噴門部の検出が行われる。具体的には、その通過等の判断を確実に行うために、明るさ情報として、平均輝度値等が利用される。
図10は、図3と同様に、得られた一連の内視鏡画像に基づいて、端末装置7において実行される食道・胃接合部の通過時に噴門部の検出を行う処理の流れの例を示すフローチャートである。図10の処理は、図3の処理と略同様であり、被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図10の処理が実行される。なお、各内視鏡画像の画像データは、図10の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。図10において、図3と同様の処理は、同じステップ番号を付し、説明は簡略化する。また、以下では、明るさ情報として輝度値を用いた場合を説明するが、明るさ情報としてG又はBの画素データ値を用いた場合は、閾値データが異なることと、画素データが閾値を下回ったか否かの判断となることの違いだけであるので、説明は省略する。
まず、図10の処理を施したい一連の画像の中における最初のフレームから処理するために、フレーム番号iを1にし(ステップS1)、次に、フレーム番号iの画像Fiの画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS2)。
読み出した画像Fiの画像データから平均輝度値Iiを算出する(ステップS33)。平均輝度値Iiは、各画像に含まれる全画素の輝度値の平均値である。ここでは、輝度値Iは、上述したように、画像の明るさを示す特徴量であり、例えば、輝度値I=0.6R+0.3G+0.1Bで算出される。ステップS33が、明るさ情報の特徴量として、各画像Fiについて全画素の輝度値に基づく平均輝度値を算出する特徴量算出工程あるいは特徴量算出手段を構成する。
次に、平均輝度値Iiが、所定の閾値Th11を超えたか否かを判断する(ステップS34)。
なお、この閾値Th11の値を調整することによって、読み出した画像Fiが、食道・胃接合部(EGジャンクション)に入った近辺において撮像した画像であるか、食道・胃接合部の中央部において撮像した画像であるかの判定とすることができる。
ステップS34においてYESの場合、すなわち平均輝度値Iiが所定の閾値Th11を超えたときは、その画像Fiは、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時に撮像された画像であると判定する(ステップS5)。
ステップS34においてNOの場合、すなわち平均輝度値Iiが所定の閾値Th11を超えていないときは、図10の処理を施したい一連の画像の全てについて図10の処理が終了したか否かを判定し(ステップS6)、全て終了しているときは、ステップS6でNOとなり、処理は終了する。ステップS6でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS7)、以降、ステップS2からS34の処理を繰り返す。ステップS33からS5が消化管の境界部を検出する検出手段を構成する。
なお、本参考例においても、ステップS5では、明るさ情報である平均輝度値Iiが所定の閾値Th11を超えているときは、その画像Fiは、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時に撮像された画像と判定しているが、言い換えると、その後、閉じた噴門部を通過しようとしている、あるいは胃内へ到達しようとしているという判定ということもできる。よって、噴門部の検出がされているということができる。
次に、図10において説明した平均輝度値Iiの具体的な例を説明する。
図11は、各フレームの画像について実行され、平均輝度値Iiとして、RGBの3つの画素値から算出される(0.6R+0.3G+0.1B)を用いた場合における図10のステップS33の処理の流れの例を示すフローチャートである。図11の処理では、1フレームの画素毎における、RGBの3つの各画素値rj、gj、bjから、輝度値(0.6R+0.3G+0.1B)を算出することによって平均輝度値Iiが算出される。
なお、図11は、図5と同様の処理ステップを含むため、同様の処理は同じステップ番号を付し、説明は簡略化する。jは、各フレームの画像データにおいて画素を特定するための番号を示す。
初めに、j=1,val1=0,count1=0とする(ステップS11)。ここで、val1は明るさの特徴量の総和を求めるための変数であり、count1は、平均輝度値Iiの算出に用いられた画素数を求めるための変数である。
次に、ステップS12において、j番目の画素が暗部に属する画素か否かを判定する。j番目の画素が暗部に属する画素であると判定された場合、ステップS16に進み、j番目の画素が暗部に属さない画素であると判定された場合、ステップS13に進む。
次に、ステップS13において、j番目の画素が、極端に明るい画素、すなわちハレーション部に属する画素か否かを判定する。j番目の画素がハレーション画素であると判定された場合、ステップS16に進み、j番目の画素がハレーション画素でないと判定された場合、ステップS44に進む。
尚、ステップS12とS13において、R画像、G画像、及びB画像についての閾値thdとthhは各画素rj、gj、及びbjについてそれぞれ同じ値としているが、生体粘膜は総じてR画像が最も明るい傾向にあるため、例えばrjに対する閾値を、gj、bjに対する閾値よりも高く設定してもよい。また、rj、gj、bjのそれぞれに対する閾値を異なる値に設定してもよい。
ステップS44では、val1=val1+(0.6rj+0.3gj+0.1bj)と、count1=count1+1が演算される。明るさ特徴量の総和を求めるための変数val1に、明るさ特徴量である輝度値(0.6rj+0.3gj+0.1bj)を加算し、変数count1を1だけインクリメントする。
そして、ステップS15においては、全ての画素について、ステップS12からステップS14の処理を行ったか否かを判定する。全ての画素についてステップS12からステップS44の処理を行っていない場合、ステップS16において、画素を特定する番号jに1を加算(j=j+1)して、次の画素に対して前記ステップS12からステップS44を実行する。全ての画素についてステップS12からステップS44の処理を行った場合、count1が所定の閾値thcより大きいか否かを判定する(ステップS17)。明るさの評価に有効な画素が充分な数だけ存在した場合、平均輝度値Iiが、変数val1を、変数count1によって割り算することによって、算出される(ステップ18)。具体的には、Ii=val1/count1である。
明るさの評価に有効な画素が充分な数だけ存在しなかった場合、そのフレームの画像は、エラーすなわち異常画像として(ステップS19)、平均輝度値Iiを例えば0(ゼロ)として、図10のステップS34においては、閾値Th11を超えないものとして判断されることになる。
なお、以上の説明では、噴門部が閉じている場合で説明したが、開いていても、本参考例の処理は適用でき、輝度量が所定の閾値を超えたか否かによって、噴門部を検出することができる。
次に、本参考例における各種変形例を説明する。
第1の変形例として、上述した図10から図11においては、各フレームの画像に基づいて、食道・胃接合部の通過、噴門部の通過等の判断を行っているが、連続する複数の画像が、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上が、ステップS34の判定結果がIi>Th11であった場合に、カプセル内視鏡3が、食道・胃接合部を通過した等の、判断をするようにしてもよい。
また、第2の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図10の処理は、特定の1枚の画像に対して行うようにしてもよい。
さらになお、第3の変形例として、連続する複数の画像における平均輝度値Iiの移動平均を算出して、その移動平均値が所定の閾値を超えたか否かによって、カプセル型内視鏡3の食道・胃接合部の通過等の判定を行うようにしてもよい。例えば、m=2,3,4,・・、かつi>=m+1としたとき(すなわち、n枚の画像の中から、連続するm枚の画像を取り出し、そのとき、(m+1)はi以下であることの意)に、連続するm枚の各画像から得られる画像F(i−m)からFiの平均輝度値に基づいて移動平均値を算出し、その移動平均値が所定の閾値を超えたか否かが判断される。このような移動平均を用いることによれば、観察距離、角度等の違いによる照明条件の変化から生じ得る赤みの強い食道内の画像等であっても、平均輝度値の小さな変動による影響を除去して、より精度の高い、カプセル型内視鏡3の食道・胃接合部の通過等を検出することができる。
また、第4の変形例として、以上の例では、明るさの特徴量として、上述したようなRGBの3つの画素値から算出される輝度の代わりに、GあるいはBの画素データを用いてもよい。
図12は、画像の明るさ情報として、上述したようなRGBの3つの画素値から算出される輝度の代わりに、GあるいはBの画素データを用いた場合における一連の内視鏡画像におけるGあるいはBの画素データの変化を説明するための模式的グラフである。図12において、横軸は、食道扁平上皮部から食道・胃接合部を経て胃に到達するまでに得られる内視鏡画像の時系列に沿った画像番号(フレーム番号)を示し、縦軸は、各画像番号に対応する内視鏡画像のG又はBの画素データ値を示す。
すなわち、図12に示すように、食道の扁平上皮部RAと円柱上皮の胃部RCにおいて、G又はBの画素データ値は異なっており、さらにそれらの間の食道・胃接合部RBもG又はBの画素データ値は、食道の扁平上皮部RAと円柱上皮の胃部RCとは異なっている。具体的には、食道・胃接合部RBでは、G又はBの画素データ値は、画素データ値の大きい白色調の食道の扁平上皮部RAから、画素データ値の小さな円柱上皮及び胃底腺粘膜の胃部RCにかけて徐々に低下する。
よって、画像の明るさ情報が、その徐々に変化する途中において所定の閾値Th12を下回ったときに、カプセル型内視鏡3が食道・胃接合部(EGジャンクション)を通過している、あるいは食道・胃接合部(EGジャンクション)に入ろうとしている、等の判定が実行される。すなわち、撮像した画像の明るさ情報の違いに基づき、カプセル型内視鏡3の食道・胃接合部の通過等の判定が行われる。具体的には、その通過等の判断を確実に行うために、明るさ情報として、G又はBの画素データ値の平均値等が利用される。
さらにまた、第5の変形例として、複数の明るさの情報を用いてもよい。例えば、図10のステップS33において、RGBの3つの画素値から算出される画素の輝度値とGの画素データとを用い、それらの平均値、すなわち各画像における全画素の平均輝度値I1iと、Gの画素データの平均値I2iとを算出する。そして、ステップS34において、平均輝度値I1iとGの画素データの平均値I2iが、I1i>Th13、かつI2i<Th14か否かの判断を行うようにしてもよい。
また、第6の変形例として、明るさの情報の変化量に基づいて、カプセル型内視鏡3の食道・胃接合部の通過等を検出するようにしてもよい。すなわち、連続する一連の画像の各画像から得られる明るさの情報が所定の閾値を超えたか否かではなく、連続する2枚の画像の明るさの情報の変化量が所定の閾値を超えたか否かを判定するようにしてもよい。すなわち、各画像の明るさの情報について、例えば、一つ前の画像あるいは一つ後の画像の平均輝度値とを比較し、その2つの平均輝度値の差が、所定の閾値を超えていれば、例えばカプセル型内視鏡3が食道から食道・胃接合部へ入った、食道・胃接合部から胃に入った等の判定を行うようにしてもよい。画像F(i−m1)と画像Fiにおける平均輝度値I(i−m1)とIiの差分値(Ii−I(i−m1))が、所定の閾値以上変化したか否かの判断が行われる。m1は、1,2,3,・・である。
これは、粘膜色の個人差、Barret食道等の病変部の存在、撮像系のバラツキ等により粘膜の色調は、常に一定ではないため、そのような個人差等の影響を受けないで、カプセル型内視鏡3が食道・胃接合部を通過したか等の判定ができるようにするためである。
さらに、その場合、明るさの情報の変化を、平均輝度値の微分値を算出することによって検出するようにしてもよい。
図13は、その平均輝度値の微分値を算出することによって、明るさの変化を検出する処理の流れの例を示すフローチャートである。図6と同様の処理に係るものは、同じステップ番号を付して、説明は簡略化する。
なお、各画像の画像データも、図10の処理で説明したように、図13の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。ステップS1からステップS33の処理は、図10の処理のステップS1からステップS33の処理と同じである。
全ての画像について処理をしたか、すなわち全画像終了かを判定し(ステップS21)、全画像終了でなければ、ステップS21でNOとなり、i=i+1とし(ステップS7)、処理はステップS2に移行する。
全画像終了のときは、ステップS21でYESとなり、得られた複数の平均輝度値Iiについて、平滑化のために所定の範囲すなわち連続する所定枚数の画像の範囲に亘って移動平均値f(Ii)を算出する(ステップS52)。そして、移動平均値f(Ii)の時間経過に基づいて微分値Δf(Ii)を算出する(ステップS53)。
そして、所定の閾値thf1を超える微分値Δf(Ii)に対応する画像Fiを特定し検出する(ステップS54)。ステップS33からS54が消化管の境界部を検出する検出手段を構成する。
以上により、複数の画像間で明るさの変化量が所定の閾値を超える画像が検出できるので、粘膜色の個人差等があっても、個人差等の影響を受けないで、カプセル型内視鏡3の食道・胃接合部の通過等の判定をすることができる。
さらに、第7の変形例として、閉じた状態の噴門部を、明るさの分布に基づいて検出するようにしてもよい。例えば、明るさ情報の平均値ではなく、上述した実施の形態と同様に、標準偏差あるいは分散を用いることもできる。得られる一連の内視鏡画像における明るさの情報の標準偏差あるいは分散の値に基づいて、カプセル型内視鏡3が食道・胃接合部を通過しようとしている等の判定をすることができる。具体的には、R画像データの明るさの標準偏差を求め、その標準偏差が所定の閾値よりも小さければ、閉じた噴門部を正面視していると判定する。これは、閉じた状態の噴門部を正面視したときの画像の明るさは比較的均一であるからである。さらになお、平均輝度値の標準偏差あるいは分散の代わりに、それらの変動係数(=標準偏差/平均輝度値)を用いてもよい。
さらに、第8の変形例として、以上説明した例では、各フレームの画像の全ての画素の画素データを用いているが、上述した実施の形態の図8で説明したように、全画素を処理対象とするのではなく、各フレームの所定の領域内の画素についてのみサンプリングして処理対象としてもよい。図8は、各フレームの画像において、上述した本参考例及び変形例における画像処理を行う領域の例を示す図である。
各フレームの画像を、所定の領域に分割する。図8では、各画像は、各分割された領域が矩形となるように16分割され、その分割された領域の中で、予め設定された領域(R2,R3,R5,R8,R9,R12,R14,R15)についてのみ、すなわち関心領域(ROI)についてのみ、上述した処理が行われる。特に、食道は管腔臓器であるため、より正確に粘膜表面の色調を算出するために、若干視野の中央部を除いて、関心領域(ROI)を設定することもできる。
従って、関心領域(ROI)のみを処理対象とすれば、演算量が少なくなるため処理の高速化が図れる。
さらになお、より高速処理を図るために、関心領域(ROI)のみを処理対象とするときに、全てのフレームについて処理を行うのではなく、k枚(k=1,2,3,・・)おきのフレーム毎に、関心領域(ROI)の画素のみについて処理対象とするようにしてもよい。特に、食道内では、毎秒の撮像枚数が多いので、多少の間引きを行っても、正確な判定を行うことができる場合があるからである。
以上のように、本参考例(変形例を含む)によれば、画像の明るさの情報に基づいて、各画像が、カプセル型内視鏡が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時等の画像であるか否かの判定をすることができる。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、各画像が、カプセル型内視鏡が食道・胃接合部(EGジャンクション)に入ろうとしている時、あるいは食道・胃接合部(EGジャンクション)を通過している時の画像であるかの検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
(第2の参考例)
次に、本発明の第2の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
上述した実施の形態では色調特徴量が用いられているが、本参考例に係る管腔画像処理装置である噴門検出装置は、開いた状態の噴門部の検出を行うことによって、各画像が、カプセル型内視鏡が食道から胃に向かう噴門部の手前の近傍にある等のときの画像であるか否かの判定を行うようにした点が特徴である。
図14は、カプセル型内視鏡3が開いている噴門部の手前にある場合の画像の例を示す図である。
カプセル型内視鏡3が管腔内において、開いた噴門部を撮像した場合、開いた噴門部には、周辺部と比較して顕著な明るさの低下がある。図14に示すように、噴門部32が開いている場合、カプセル型内視鏡3が撮像した画像31において、開いた噴門部32は暗部領域となる。従って、カプセル型内視鏡3が食道から食道・胃接合部(EGジャンクション)を通って噴門に近づくにつれて、画像31における噴門部32の面積は大きくなる。本参考例は、開いた噴門部領域の面積が所定の大きさを超えているときに、カプセル型内視鏡3が胃の食道側から噴門部を通過しようとしているという判定を行う。
図15は、得られた一連の内視鏡画像に基づいて、開いた噴門部の検出を行う処理の流れの例を示すフローチャートである。被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図15の処理が実行される。なお、各内視鏡画像の画像データは、図15の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。
図15の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS61)。iは1からnの整数である。
次に、フレーム番号iの画像FiのR画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS62)。画像Fiは、RGBの3つのプレーンからなるが、ここでは、R画像データのみが読み出される。
なお、ここでは、後述する噴門部の判定のために、R画像データが読み出されるが、画像FiのG画像データ、あるいはB画像データを用いてもよい。
読み出した画像FiのR画像データの全画素について、暗部画素の2値化処理を施す(ステップS63)。具体的には、各画素の画素値について、所定の閾値Th2と比較して2値化処理を施し、暗部画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素の値rjが、閾値Th2を下回るか否かをチェックすることにより、閾値Th2を下回った画素を1とし、それ以外の画素を0(ゼロ)とする。
次に、全画素に対する暗部画素の割合εを算出する(ステップS64)。割合εは、言い換えると、画像中の暗部の面積の割合である。具体的には、ステップS63の2値化処理によって暗部画素とされた画素の数をカウントし、その数をR画像データの全画素数で除算することによって、割合εが算出される。暗部画素数をp1とし、画像FiのサイズをISX×ISYとすれば、割合εは、p1/(ISX×ISY)となる。ステップS64が、各画像Fiについての暗部画素の割合を算出する暗部割合算出工程あるいは暗部割合算出手段を構成する。
そして、暗部画素の割合εが、所定の閾値Thrを超えたか否かを判断する(ステップS65)。閾値Thrは例えば0.8である。
ステップS65でYESの場合、すなわち、画像全体の80%を超えて暗部がある場合は、開いた噴門部が検出されたと判定し(ステップS66)、処理は終了する。
ステップS65でNOの場合、すなわち、暗部が画像全体の80%以下である場合は非噴門と判定し(ステップS67)、図15の処理を施したい一連の画像の全てについて図15の処理が終了したか否かを判定し(ステップS68)、全て終了しているときは、ステップS68でYESとなり、処理は終了する。ステップS68でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS69)、以降、次の画像に対して、ステップS62からS65の処理を繰り返す。
なお、ステップS66では、暗部画素の割合εが所定の閾値Thrを超えているときは、開いた噴門部を検出と判定しているが、言い換えると、その後、噴門部を通過しようとしている、あるいは胃内へ到達しようとしているという判定ということもできる。ステップS63からS66が消化管の境界部を検出する検出手段を構成する。
次に、本参考例における各種変形例を説明する。
上述した例では、噴門部の判定のために、R画像データだけが読み出されるが、さらに、G画像データ若しくはB画像データ、またはG画像データ及びB画像データを読み出し、2つ以上の画像データについて暗部画素の2値化処理を行い、2つの以上の画像データにおける暗部画素の割合εが全て所定の閾値Thrを超えたときに、噴門部を検出したと判定するようにしてもよい。
また、第2の変形例として、上述した図15においては、各フレームの画像に基づいて、噴門部の検出を行っているが、連続する複数の画像が、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上が、ステップS65の判定結果がε>Thrであった場合に、噴門部を検出したと判定するようにしてもよい。
第3の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図15の処理は、1枚の画像に対して行うようにしてもよい。
さらに、第4の変形例として、全画素に対する暗部画素の割合εを算出するのではなく、非暗部の画素、上述した例では閾値Th2を下回わらなかった画素P0の総数をカウントし、その数を全画素数で除算し、非暗部の画素の割合ε1を算出したり、暗部画素数p1に対する非暗部画素数p0の割合(p0/p1。但し、p1は0(ゼロ)でない)を算出したりする等して、噴門検出の判定を行うようにしてもよい。
また、第5の変形例として、噴門部を検出するときのカプセル型内視鏡3と噴門との距離に応じて閾値Thrは変更することができる。言い換えると、噴門部を検出したいときの、カプセル型内視鏡3と噴門との距離に応じて、閾値Thrを変更することができる。例えば、Thrを0.5とすることにより、上述したThrが0.8のときよりも、早めの噴門検出が可能となる。
以上のように、本参考例によれば、画像中の暗部の面積に基づいて開いた噴門部の検出をすることができる。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、開いた噴門部の検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
(第3の参考例)
次に、本発明の第3の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例では、形状に基づいて開いた噴門部を検出するようにしたことが特徴である。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
本参考例に係る管腔画像処理装置である噴門検出装置は、開いた状態の噴門部の形状を検出することによって、各画像が、食道から胃に向かうカプセル型内視鏡が噴門部の手前の近傍にある等のときの画像であるか否かの判定を行うようにした点が特徴である。
図16は、カプセル型内視鏡3が開いている噴門部を通過する場合の画像の例を示す図である。画像31A内には、暗部画像である開いた噴門部32Aが含まれている。
図17は、得られた一連の内視鏡画像に基づいて、開いた噴門部の検出を行う処理の流れの例を示すフローチャートである。被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図17の処理が実行される。なお、各内視鏡画像の画像データは、図17の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。
図17の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS71)。iは1からnの整数である。
次に、フレーム番号iの画像FiのR画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS72)。画像Fiは、RGBの3つのプレーンからなるが、ここでは、R画像データのみが読み出される。
読み出した画像FiのR画像データに対してバンドパスフィルタリング処理を施す(ステップS73)。バンドパスフィルタリングは、公知のディジタルフィルタを用いた畳み込み処理により、又はフーリエ面上において適用される。
バンドパスフィルタの特性は、例えば、図18に示すような特性を有する。図18は、バンドパスフィルタリング処理におけるフィルタ特性を示す図である。そのフィルタ特性は、図18に示すように、血管等の微細なエッジ成分の影響を受け難くするために、若干低周波数帯域において通過成分が多い特性である。フィルタ特性は、例えば、空間周波数が0(ゼロ)からπ(rad)の周波数において、π/4に通過特性のピーク値(1.0)を有する。
次に、バンドパスフィルタリング処理の処理結果画像に対して、閾値を用いてエッジ成分の2値化処理を施す(ステップS74)。2値化処理は、例えば、所定の閾値Th3を10.0として、この閾値Th3よりも大きな変動を有するエッジ成分を抽出する。閾値Th3よりも大きな変動のエッジ成分を有する画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素のエッジ成分が、閾値Th3を超えるか否かをチェックすることにより、閾値Th3を上回った画素rjを1とし、それ以外の画素を0(ゼロ)とする。上述したように画像に噴門部が含まれる場合、その画像は急峻な明暗変化を有するため、閾値Th3を高めに設定することによって、他のエッジ成分、例えば粘膜の変形による皺などが除外できる。
そして、抽出されたエッジ成分の画像が噴門により生じたものであるか否かの噴門判定処理により、噴門か否かの判定が行われる(ステップS75)。本参考例では、抽出したエッジ成分を細線化し、近似円との一致度を評価値として、エッジ成分が略円形状であるか否かにより、噴門であるか否かが判定される。エッジ成分が略円形状であるか否かは、ハフ変換処理により判定することができる。
図19は、図16の画像に対して、所定のバンドパスフィルタリング及び2値化の処理を施した結果の画像の例を示す図である。図19に示すように、開いた噴門部は略円形の形状32Bを有している。従って、図19のエッジ成分画像31Bに対して、ハフ変換などを施して、エッジ成分32Bが円形状であるか否かの判定が行われる。
噴門判定処理の結果に基づいて、噴門である場合は、ステップS75でYESとなり、噴門部が検出されたと判定し(ステップS76)、処理は終了する。
ステップS75でNOの場合、すなわち、噴門でない場合は非噴門と判定し(ステップS77)、図17の処理を施したい一連の画像の全てについて図17の処理が終了したか否かを判定し(ステップS78)、全て終了しているときは、ステップS78でYESとなり、処理は終了する。ステップS78でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS79)、以降、次の画像に対して、ステップS72からS74の処理を繰り返す。ステップS73からS76が消化管の境界部を検出する検出手段を構成する。
次に、本参考例における各種変形例を説明する。
上述した例では、噴門部の判定のために、R画像データだけが読み出されるが、さらに、G画像データ若しくはB画像データ、またはG画像データ及びB画像データを読み出し、2つ以上の画像データについて暗部画素の2値化処理を行い、2つの以上の画像データにおける暗部画素の形状が円形状であるときに、噴門部を検出したと判定するようにしてもよい。
また、第2の変形例として、上述した図17においては、各フレームの画像に基づいて、噴門部の検出を行っているが、連続する複数の画像、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上において、暗部画素の形状が円形状である場合に、噴門部を検出したと判定するようにしてもよい。
第3の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図17の処理は、1枚の画像に対して行うようにしてもよい。
以上のように、本参考例によれば、画像中の開いた噴門部の形状に基づいて噴門部の検出をすることができる。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、開いた噴門部の検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
(第4の参考例)
次に、本発明の第4の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例では、形状に基づいて開いた噴門部を検出する際に、暗部領域の境界検出と、第3の参考例において説明したエッジ検出の両方を利用して、撮像して得られた画像に開いた噴門部が有るか否かの判定を行うようにしたことが特徴である。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、管腔画像処理装置である噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
図20は、得られた一連の内視鏡画像に基づいて、噴門部の検出を行う処理の流れの例を示すフローチャートである。被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図20の処理が実行される。なお、各内視鏡画像の画像データは、図20の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。
図20の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS81)。iは1からnの整数である。
次に、フレーム番号iの画像FiのR画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS82)。画像Fiは、RGBの3つのプレーンからなるが、ここでは、R画像データのみが読み出される。
読み出した画像FiのR画像データの全画素について、暗部画素の2値化処理を施す(ステップS83)。具体的には、各画素の画素値について、所定の閾値Th2と比較して2値化処理を施し、暗部画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素の値rjが、閾値Th2を下回るか否かをチェックすることにより、閾値Th2を下回った画素を1とし、それ以外の画素を0(ゼロ)とする。
次に、抽出した暗部領域の境界を抽出、言い換えると辺縁を抽出する境界抽出処理を行う(ステップS84)。境界抽出処理は、例えば、値が1の画素(暗部画素)を注目画素として、その注目画素を中心とするサイズ3×3のマスク領域を設定し、マスク領域内の8つの画素に1つでも値が0(ゼロ)の画素があるときには、その注目画素を境界画素として、値を1とする処理である。ステップS84が、各画像Fiについての暗部画素の境界を抽出する暗部境界抽出工程あるいは暗部境界抽出手段を構成する。この境界抽出処理を、すべての暗部画素について施す。図21は、抽出された境界の画像を示す図である。図21の画像31Cにおいて、境界抽出をすると、開いた噴門部の境界に沿った略円形の形状32Cが生成される。
次に、読み出した画像FiのR画像データに対してバンドパスフィルタリング処理を施す(ステップS85)。バンドパスフィルタリングは、第3の参考例において説明したように、公知のディジタルフィルタを用いた畳み込み処理により、又はフーリエ面上において適用する。
ここでも、バンドパスフィルタの特性は、例えば、上述した図18に示すような特性を有し、血管等の微細なエッジ成分の影響を受け難くするために、若干低周波数帯域において通過成分が多い特性である。
次に、バンドパスフィルタリング処理の処理結果画像に対して、閾値を用いてエッジ成分の2値化処理を施す(ステップS86)。この2値化処理も、第3の参考例で説明したように、例えば、所定の閾値Th3よりも大きな変動を有するエッジ成分を抽出する。エッジ成分として抽出された画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素のエッジ成分が、閾値Th3を超えるか否かをチェックすることにより、閾値Th3を上回った画素rjを1とし、それ以外の画素を0(ゼロ)とする。上述したように画像に噴門部が含まれる場合、その画像は急峻な明暗変化を有するため、閾値Th3を高めに設定することによって、他のエッジ成分、例えば粘膜の変形による皺などが除外できる。なお、暗部境界の検出のずれの影響を受け難くするために、抽出された画素に対して膨張処理を施してもよい。
そして、ステップS84で抽出された境界画素と、ステップS86でエッジ成分として抽出されたエッジ成分抽出画素との一致度を算出する(ステップS87)。具体的には、例えば、抽出された境界画素ek1(k1=1,2,3,・・,K。Kは、境界画素として検出された画素の総数。)のそれぞれについて、画像上の同じ座標の画素が、エッジ成分画素としても抽出されているか否かを判定し、境界画素ek1であってエッジ成分画素としても抽出されている画素の個数n1をカウントする。その判定は、例えば、境界画素ek1と画像上の同じ座標の画素のエッジ成分との論理積(AND)をとることによって行われる。そして、境界画素の総数Kに対する、その個数n1の割合(n1/K)を算出する。
次に、境界画素とエッジ成分抽出画素との一致度を示す割合(n1/K)に基づいて、画像が噴門部を含むか否かの判断を行う(ステップ88)。図22は、処理対象の画像に対して、所定のバンドパスフィルタリング及び2値化の処理を施した結果の画像の例を示す図である。開いた噴門部は略円形の形状32Bを有しているが、図22は、一部に円の途切れがある。このような場合に、図21の暗部領域の境界部分と図22のエッジ部分との比率が算出され、噴門であるか否かの判定が行われる。
噴門判定処理の結果に基づいて、噴門である場合は、ステップS88でYESとなり、噴門部が検出されたと判定し(ステップS89)、処理は終了する。具体的には、割合(n1/K)が、所定の閾値theを超えていると、ステップS88でYESとなって、噴門と判定し(ステップS89)、処理は終了する。
ステップS88でNOの場合、すなわち、割合(n1/K)が、所定の閾値theを超えていない場合は非噴門と判定し(ステップS90)、図20の処理を施したい一連の画像の全てについて図20の処理が終了したか否かを判定し(ステップS91)、全て終了しているときは、ステップS91でYESとなり、処理は終了する。ステップS91でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS92)、以降、次の画像に対して、ステップS82からS88の処理を繰り返す。ステップS83からS89が消化管の境界部を検出する検出手段を構成する。
次に、本参考例における各種変形例を説明する。
上述した例では、噴門部の判定のために、R画像データだけが読み出されるが、さらに、G画像データ若しくはB画像データ、またはG画像データ及びB画像データを読み出し、2つ以上の画像データについて暗部画素の2値化処理を行い、2つの以上の画像データにおける一致度が所定の閾値を超えるときに、噴門部を検出したと判定するようにしてもよい。
また、第2の変形例として、上述した図20においては、各フレームの画像に基づいて、噴門部の検出を行っているが、連続する複数の画像、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上において、一致度が所定の閾値を超える場合に、噴門部を検出したと判定するようにしてもよい。
第3の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図20の処理は、1枚の画像に対して行うようにしてもよい。
本参考例によれば、暗部として抽出された領域が大きなエッジを伴っているか否かの判断を行うので、噴門判定を高精度に行うことができる。
また、噴門部が円形に開いていない状態にある場合、あるいは、カプセル型内視鏡3から噴門までの距離が遠く、噴門部が遠景像である場合においても、噴門判定を高精度に行うことができる。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、開いた噴門部の検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
(第5の参考例)
次に、本発明の第5の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例では、形状に基づいて噴門部を検出する際に、暗部領域の重心検出と、第3の参考例において説明したエッジ検出の両方を利用して、撮像して得られた画像に、開いた噴門部が有るか否かの判定を行うようにしたことが特徴である。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、管腔画像処理装置である噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
なお、第4の参考例と同様の処理ステップについては、同様のステップ番号を付して、説明は簡略化する。
図23は、得られた一連の内視鏡画像に基づいて、噴門部の検出を行う処理の流れの例を示すフローチャートである。なお、図23において、第4の参考例と同様の処理ステップについては、同様のステップ番号を付して、説明は簡略化する。
被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図23の処理が実行される。なお、各内視鏡画像の画像データは、図23の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。
図23の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS81)。iは1からnの整数である。
次に、フレーム番号iの画像FiのR画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS82)。
読み出した画像FiのR画像データの全画素について、暗部画素の2値化処理を施す(ステップS83)。具体的には、各画素の画素値について、所定の閾値Th2と比較して2値化処理を施し、暗部画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素の値rjが、閾値Th2を下回るか否かをチェックすることにより、閾値Th2を下回った画素を1とし、それ以外の画素を0(ゼロ)とする。
次に、2値化処理によって検出された暗部領域の座標データに基づいて、暗部領域の重心座標を算出する(ステップS101)。ステップS101が、画像Fiについての暗部領域の重心座標を算出する暗部領域重心座標算出工程あるいは暗部領域重心座標算出手段を構成する。図24は、暗部領域重心座標算出処理によって算出された重心位置を示す図である。図24の画像31Eにおいて、略円形の形状である開いた噴門部の暗部領域32Eの重心32Ecが、算出された重心座標の位置に示されている。
次に、第4の参考例で説明したように、読み出した画像FiのR画像データに対してバンドパスフィルタリング処理を施し(ステップS85)、さらに、バンドパスフィルタリング処理の処理結果画像に対して、閾値を用いてエッジ成分の2値化処理を施す(ステップS86)。
そして、ステップS86で抽出されたエッジ成分の画素が、暗部領域を囲むように存在しているか否かを判定する全周性の評価が行われる(ステップS107)。具体的には、図25に示すように、算出された重心座標32Ecから放射状の所定の方向において、抽出されたエッジ成分画素を透過するか否かのチェックが行われる。図25は、全周性の評価を説明するための図である。図25に示す例では、重心座標32Ecから延びる放射状の複数の線32Edにおいて、エッジ成分画素と交差する線分の数(以下、交差数という)m2をカウントすると、8方向中において32Ed線は7つのエッジ成分と交差あるいは透過しているので、交差数m2は7である。
次に、交差数m2に基づいて、画像が噴門部を含むか否かの判断を行う(ステップ88)。図25に示すように、エッジ成分画素の描く円の一部に途切れがあっても、複数の線32Edの数m3に対する交差数m2の割合(m2/m3)が、所定の閾値Thmを超えるときには、画像は噴門部を含むと判定する。言い換えると、図24の暗部領域の重心位置から放射状に延びた複数の線分が、図25のエッジ成分画素との交差する割合(m2/m3)に基づいて、噴門であるか否かの判定が行われる。
複数の線分32Edの数m3に対する交差数m2の割合が所定の閾値Thmを超える場合は、ステップS88でYESとなり、噴門部が検出されたと判定し(ステップS89)、処理は終了する。具体的には、全周性の評価値を示す割合(m2/m3)が、所定の閾値thm、例えば0.7を超えていると、ステップS88でYESとなって、噴門と判定し(ステップS89)、処理は終了する。
ステップS88でNOの場合、すなわち、割合(m2/m3)が、所定の閾値thmを超えていない場合は非噴門と判定し(ステップS90)、図23の処理を施したい一連の画像の全てについて図23の処理が終了したか否かを判定し(ステップS91)、全て終了しているときは、ステップS91でYESとなり、処理は終了する。ステップS91でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS92)、以降、次の画像に対して、図23のステップS82からS88の処理を繰り返す。ステップS83からS89が消化管の境界部を検出する検出手段を構成する。
次に、本参考例における各種変形例を説明する。
上述した例では、噴門部の判定のために、R画像データだけが読み出されるが、さらに、G画像データ若しくはB画像データ、またはG画像データ及びB画像データを読み出し、2つ以上の画像データについて暗部画素の2値化処理を行い、2つの以上の画像データにおける全周性の評価値が所定の閾値を超えるときに、噴門部を検出したと判定するようにしてもよい。
また、第2の変形例として、上述した図23においては、各フレームの画像に基づいて、噴門部の検出を行っているが、連続する複数の画像、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上において、全周性の評価値が所定の閾値を超える場合に、噴門部を検出したと判定するようにしてもよい。
第3の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図23の処理は、1枚の画像に対して行うようにしてもよい。
第4の変形例として、全周性の評価を、所定の複数の領域内において、いくつの領域、あるいはどれぐらいの割合の領域においてエッジ成分画像が存在するかに基づいて行うようにしてもよい。図26は、第4の変形例に係わる全周性の評価を領域の割合に基づいて行うことを説明するための図である。例えば、図26に示すように、求めた重心32Ecを中心として、例えば8つの領域、0度から45度、45度から90度、90度から135度、135度から180度、180度から225度、225度から270度、270度から315度、315度から360の8つに分割する。そして、その各領域に、ステップS86で得られたエッジ成分画素が含まれるか否かを判定し、エッジ成分画素32Gが含まれている領域数が、所定の閾値以上であるときには、噴門部を検出したと判定してもよい。図26においては、斜線で示す6つの領域にエッジ成分画素が存在することを示している。閾値が6であれば、図26の場合は、噴門部を検出した判定される。
さらに、領域数ではなく、エッジ成分画素が存在する角度範囲に基づいて、噴門部を検出したと判定してもよい。例えば、図27に示すように、重心32Ecの周りに、エッジ成分画素が存在する角度範囲θを求め、その角度範囲θが所定の閾値、例えば270度以上か否かによって、噴門部を検出したと判定するようにしてもよい。図27は、さらに、全周性の評価を角度範囲に基づいて行うことを説明するための図である。なお、複数のエッジ成分画素の線が存在するときは、最大角度範囲のエッジ成分画素について、所定の閾値と比較して噴門部を検出したと判定するようにしてもよい。
以上のように、暗部領域の2値化処理においては閾値Th2に応じて境界の位置は変動するが、本参考例によれば、そのような境界位置の変動があっても、そのような変動の影響を受けないで、噴門判定を高精度に行うことができる。
また、噴門部が円形に開いていない状態にある場合、あるいは、カプセル型内視鏡3から噴門までの距離が遠く、噴門部が遠景像である場合においても、噴門判定を高精度に行うことができる。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、開いた噴門部の検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
(第6の参考例)
次に、本発明の第6の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、管腔画像処理装置である噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
上述した第2の参考例から第5の参考例においては、開いた状態の噴門部を検出する場合であるが、噴門部は閉じている状態のときもある。本参考例に係る噴門検出装置は、閉じた状態の噴門部を検出することによって、各画像が、食道から胃に向かうカプセル型内視鏡が噴門部の手前の近傍にある等のときの画像であるか否かの判定を行うようにした点に特徴がある。
図28は、カプセル型内視鏡3が閉じている噴門部の手前にある場合の画像の例を示す図である。
カプセル型内視鏡3が管腔内において、閉じた噴門部を撮像した場合、噴門部が閉じていることから、撮像して得られた画像には明確な暗部領域が存在せず、さらに食道の末端で噴門部の周辺を正面視することから画面内の明るさが比較的均一な状態である。本参考例は、閉じた噴門部領域の面積が所定の大きさ未満であるときに、閉じた噴門部を検出したという判定を行う。
図29は、得られた一連の内視鏡画像に基づいて、閉じた噴門部の検出を行う処理の流れの例を示すフローチャートである。被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図29の処理が実行される。なお、各内視鏡画像の画像データは、図29の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。また、図29の処理は、図15の処理と同様の処理ステップを含むため、図15と同様の処理については同様のステップ番号を付し、説明は簡略化する。
図29の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS61)。iは1からnの整数である。
次に、フレーム番号iの画像FiのR画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS62)。画像Fiは、RGBの3つのプレーンからなるが、ここでは、R画像データのみが読み出される。
なお、ここでは、後述する噴門部の判定のために、R画像データが読み出されるが、画像FiのG画像データ、あるいはB画像データを用いてもよい。
読み出した画像FiのR画像データの全画素について、暗部画素の2値化処理を施す(ステップS63)。具体的には、各画素の画素値について、所定の閾値Th2と比較して2値化処理を施し、暗部画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素の値rjが、閾値Th2を下回るか否かをチェックすることにより、閾値Th2を下回った画素を1とし、それ以外の画素を0(ゼロ)とする。
次に、暗部画素の複数の領域をラベリング処理により、ラベリングを行い、その中で最大面積Dの暗部領域を特定する(ステップS114)。ステップS114が、各画像Fiについての最大面積Dの暗部領域を特定する最大暗部領域特定工程あるいは最大暗部領域特定手段を構成する。図28において、画像32Iにおいて、最大面積Dの暗部領域32Iが示されている。
そして、最大面積Dが、所定の閾値Thd1未満であるか否かを判断する(ステップS115)。閾値Thd1は例えば0.1である。
ステップS115でYESの場合、すなわち、画像全体の10%未満の暗部がある場合は、噴門部が検出されたと判定し(ステップS66)、処理は終了する。
ステップS115でNOの場合、すなわち、暗部が画像全体の10%未満でない場合は非噴門と判定し(ステップS67)、図29の処理を施したい一連の画像の全てについて図29の処理が終了したか否かを判定し(ステップS68)、全て終了しているときは、ステップS68でYESとなり、処理は終了する。ステップS68でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS69)、以降、次の画像に対して、ステップS62からS64の処理を繰り返す。
なお、ステップS66では、最大の暗部領域の面積Dが所定の閾値Thd1未満であるときは、噴門部を検出と判定しているが、言い換えると、画像は、カプセル型内視鏡がその後噴門部を通過しようとしている、あるいは胃内へ到達しようとしているという判定ということもできる。ステップS63からS66が消化管の境界部を検出する検出手段を構成する。
次に、本参考例における各種変形例を説明する。
上述した例では、噴門部の判定のために、R画像データだけが読み出されるが、さらに、G画像データ若しくはB画像データ、またはG画像データ及びB画像データを読み出し、2つ以上の画像データについて暗部画素の2値化処理を行い、2つの以上の画像データにおける最大面積の暗部領域の面積Dが全て所定の閾値Thd1未満のときに、噴門部を検出したと判定するようにしてもよい。
また、第2の変形例として、上述した図29においては、各フレームの画像に基づいて、噴門部の検出を行っているが、連続する複数の画像が、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上が、ステップS115の判定結果がD<Thd1であった場合に、噴門部を検出したと判定するようにしてもよい。
第3の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図27の処理は、1枚の画像に対して行うようにしてもよい。
第4の変形例として、上述した最大面積の暗部領域の周辺に、図28に点線で示すような所定の大きさの関心領域(ROI)を設定し、その関心領域(ROI)内の明るさの標準偏差、分散あるいは変動係数分を算出し、その算出された標準偏差等の値が、所定の閾値未満であるか否かによって、閉じた状態の噴門部を検出するようにしてもよい。
以上のように、本参考例によれば、画像中の暗部の面積に基づいて閉じた噴門部の検出をすることができる。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、閉じた噴門部の検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
(第7の参考例)
次に、本発明の第7の参考例に係るカプセル型内視鏡装置を利用した噴門検出装置及びその方法について、図面を用いて説明する。本参考例において画像処理の対象となる内視鏡画像は、上述した実施の形態と同様に、カプセル型内視鏡装置1によって得られた連続した一連の内視鏡画像であるので、噴門検出装置の構成は、上述した実施の形態と同様であるので、説明は省略する。
本参考例に係る管腔画像処理装置である噴門検出装置は、閉じた状態の噴門部を検出することによって、各画像が、食道から胃に向かうカプセル型内視鏡が噴門部の手前の近傍にある等のときの画像であるか否かの判定であるか否かの判定を行うようにした点に特徴がある。
図30は、得られた一連の内視鏡画像に基づいて、閉じた噴門部の検出を行う処理の流れの例を示すフローチャートである。被検者の口から入ってから撮像されて得られた一連の内視鏡画像は、複数のフレームからなり、各フレームについて図30の処理が実行される。なお、各内視鏡画像の画像データは、図30の処理がされる前に、逆ガンマ補正、ノイズ除去等の前処理がされているものである。
図30の処理を施したい一連の画像の中における最初のフレームから処理するために、まず、フレーム番号iを1にする(ステップS121)。iは1からnの整数である。
次に、フレーム番号iの画像FiのR画像データを、端末装置7の記憶装置(図示せず)から読み出す(ステップS122)。画像Fiは、RGBの3つのプレーンからなるが、ここでは、R画像データのみが読み出される。
なお、ここでは、後述する噴門部の判定のために、R画像データが読み出されるが、画像FiのG画像データ、あるいはB画像データを用いてもよい。
読み出した画像FiのR画像データの全画素について、暗部画素の2値化処理を施す(ステップS123)。具体的には、各画素の画素値について、所定の閾値Th2と比較して2値化処理を施し、暗部画素を1とし、それ以外の画素を0(ゼロ)とする。jを、各フレームの画像データにおいて画素を特定するための番号とすれば、各画素の値rjが、閾値Th2を下回るか否かをチェックすることにより、閾値Th2を下回った画素を1とし、それ以外の画素を0(ゼロ)とする。
次に、2値化処理された画像に対して細線化処理を施す(ステップS124)。図31において、画像31Jにおいて、閉じた噴門部の画像から細線化された噴門形状32Jが示されている。図31は、閉じた噴門部の画像から細線化された噴門形状を説明するための図である。そして、細線化されて生成された各線において、分岐あるいは交差をする点(以下、分岐点という)を算出し(ステップS125)、その分岐点の座標データは、集中度を示すデータとして記憶装置に記憶される。
次に、算出された分岐点の集中度を算出する(ステップS126)。ステップS126が、各画像Fiについての分岐点の集中度を算出する集中度算出工程あるいは集中度算出手段を構成する。集中度は、例えば、分岐点の座標値の分散値をパラメータとして用いる。
図32は、集中度のパラメータである分散値を算出する処理の流れの例を示すフローチャートである。まず、算出された分岐点の座標データを記憶装置から取得する(ステップS141)。例えば、N個の分岐点が算出して得られたとすれば、N個の分岐点のx座標値の分散vxと、y座標値の分散vyをそれぞれ算出する(ステップS142)。N個の分岐点について、それぞれ分散vx、vyを記憶装置に記憶する。
図30に戻って、集中度を示すデータである分散vx、vyが、それぞれ所定の閾値thv1、thv2未満であるかによって、集中度が高いか否かを判定する(ステップS127)。
ステップS127でYESの場合、すなわち、分散vx、vyが、それぞれ所定の閾値thv1、thv2未満である場合は、噴門部が検出されたと判定し(ステップS128)、処理は終了する。
ステップS127でNOの場合、すなわち、分散vx、vyが、それぞれ所定の閾値thv1、thv2未満でない場合は非噴門と判定し(ステップS129)、図30の処理を施したい一連の画像の全てについて図30の処理が終了したか否かを判定し(ステップS130)、全て終了しているときは、ステップS130でYESとなり、処理は終了する。ステップS130でNOの場合は、未処理の画像が残っているので、i=i+1の処理を行い(ステップS131)、以降、次の画像に対して、ステップS122からS127の処理を繰り返す。ステップS123からS128が消化管の境界部を検出する検出手段を構成する。
図33は、分岐点を説明するための画像の例を示す図である。図33において、閉じた噴門部の場合、画像31Jの線の分岐点33Jは、画像31Jの一部に集中している。その集中の度合いを、上述した分散によって数値化し、例えば上述したような分散値を求め、その度合い、例えば分散値と所定の閾値とを比較することによって、閉じた噴門部が検出されたか否かの判定が行われる。本参考例は、閉じた噴門部を細線化したときの分岐点は集中するので、集中しているときは、噴門部を検出したという判定を行う。
なお、ステップS128では、分散値が所定の閾値未満のときは、閉じた噴門部を検出と判定しているが、言い換えると、カプセル内視鏡3は、その後噴門部を通過しようとしている、あるいは胃内へ到達しようとしているという判定ということもできる。
次に、本参考例における各種変形例を説明する。
上述した例では、噴門部の判定のために、R画像データだけが読み出されるが、さらに、G画像データ若しくはB画像データ、またはG画像データ及びB画像データを読み出し、2つ以上の画像データについて集中度を算出し、2つの以上の画像データにおける集中度に基づいて、閉じた噴門部を検出したと判定するようにしてもよい。
また、第2の変形例として、上述した図30においては、各フレームの画像に基づいて、噴門部の検出を行っているが、連続する複数の画像が、あるいは連続する複数の画像の中の所定の割合(例えば80%)以上が、ステップS127の判定結果がYESの場合であった場合に、閉じた噴門部を検出したと判定するようにしてもよい。
第3の変形例として、以上の説明は、連続する複数の画像に対して、処理を行っているが、図30の処理は、1枚の画像に対して行うようにしてもよい。
なお、本参考例においては、算出した特徴量に対する閾値処理の適用により、閉じた噴門部の検出をしたが、例えば、公知の線形判別関数等の識別関数を用いて、その検出を行うようにしてもよい。また、上述した実施の形態あるいは他の参考例における特徴量を組み合わせて使用してもよい。
以上説明した実施の形態及び複数の参考例のそれぞれによれば、一枚の、あるいは連続した一連の内視鏡画像に基づいて、その画像が、食道・胃接合部を通過した時、噴門部に達しようとしている時等を検出することができるので、大量に撮像された内視鏡画像の中から食道疾患の診断に必要な画像を選択して食道疾患の診断が迅速に行うことができる。
従って、以上説明した実施の形態及び複数の参考例によれば、噴門部の検出ができる管腔画像処理装置を実現することができる。
例えば、Barret食道の判定は、食道・胃接合部の近辺の画像を基づいて行われる。そこで、上述したような噴門部の検出ができれば、その画像のみ、あるいは前後の画像のみを観ながら入念に診断することができるので、診断の迅速化が図れる。
以上の説明は、カプセル型内視鏡3を用いて得られた画像を用いた処理の例であるが、通常の内視鏡、すなわち細長い可撓性の挿入部を有する内視鏡により得られた画像に対して上述した処理を行うようにしてもよいことは言うまでもない。カプセル型内視鏡と通常の内視鏡は、共に管腔内の画像を得ることができるからである。
さらに、以上説明した実施の形態及び複数の参考例に係る手法(変形例を含む)のそれぞれにおいても、噴門部の検出ができるが、複数の手法組み合わせて用いて噴門部の検出をするようにしてもよい。