以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
1.1 内視鏡装置の構成例
図1は、本実施形態にかかる画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、照明部12と、撮像部13と、処理部11と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
照明部12は、光源装置S01と、外装S05と、ライトガイドファイバS06と、照明光学系S07とを含む。そして、光源装置S01は、白色光源S02と、回転フィルタS03と、集光レンズS04とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
撮像部13は、外装S05と、集光レンズS08と、撮像素子S09とを含む。撮像素子S09はベイヤ配列の色フィルタを持つ撮像素子である。撮像素子S09の色フィルタR・G・Bは例えば図2に示すような分光特性を持っている。
ここでは撮像素子にR・G・BがBayer配列された例を挙げているが、別の撮像方式のものでも良い。例えば補色を受光するものでもかまわない。
また、ここでは通常光画像と特殊光画像とをほぼ同時に撮像する構成にしているがこれに限らない。通常光画像だけを取得するのでも良いし、R・G・Bのそれぞれの撮像素子を設けて3板の画像を撮像しても良い。
処理部11は、A/D変換部110と、画像取得部120と、操作部130と、バッファ140と、状況検出部160と、抽出部170と、表示制御部180と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
撮像素子S09からのアナログ信号が入力されるA/D変換部110は、画像取得部120に接続されている。画像取得部120は、バッファ140に接続されている。操作部130は、照明部12と、撮像部13と、後述する状況検出部160の操作量情報取得部166とに接続されている。バッファ140は、状況検出部160と、抽出部170とに接続されている。抽出部170は、表示制御部180に接続されている。状況検出部160は、抽出部170に接続されている。
A/D変換部110は、撮像素子S09からのアナログ信号をデジタル信号に変換する。画像取得部120は、A/D変換部110によって変換されたデジタル画像信号を基準画像として取得する。操作部130は、ユーザが操作するボタンなどのインターフェースを含む。また、操作部130にはスコープを操作するダイヤルなども含まれる。バッファ140は、画像取得部から送られた基準画像を受け取り保持する。
状況検出部160は、内視鏡装置の操作状況を検出し、検出結果を示す操作状況情報を取得する。状況検出部160は、停止近接検出部161と、注目領域検出部162と、部位検出部163と、観察状態検出部164と、倍率取得部165と、操作量情報取得部166と、送気送水検出部167とを含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。また、状況検出部160の各部は、本実施形態において必ずしも全てが同時に備わっている必要はなく、このうちの少なくとも1つを含む構成であればよい。
停止近接検出部161は、内視鏡装置の挿入部(スコープ)の動きを検出する。具体的には、内視鏡装置の挿入部が停止しているか否か、もしくは、被写体に対して接近しているか否かを検出する。注目領域検出部162は、取得された基準画像の中から、注目すべき領域である注目領域を検出する。なお、注目領域の詳細については後述する。部位検出部163は、内視鏡装置の挿入部が挿入されている、生体内の部位を検出する。観察状態検出部164は、内視鏡装置の観察状態を検出する。具体的には通常観察モードと拡大観察モードを持つ内視鏡装置において、現在どちらのモードになっているのかを検出する。倍率取得部165は、撮像部13における撮像倍率を取得する。操作量情報取得部166は、操作部130における操作量の情報を取得する。具体的には例えば、操作部130に設けられたダイヤルがどの程度回されたか等を取得する。送気送水検出部167は、内視鏡装置による送気処理又は送水処理が行われたことを検出する。あるいは、送気量、送水量を検出してもよい。
抽出部170は、状況検出部160が検出した操作状況情報に基づいて、被検体像の位置ずれの補正度合い(補正の強弱)を決定し、決定した補正の度合いに対応した抽出態様で、基準画像から抽出画像を抽出する。ここで、抽出画像とは、基準画像から対象となる被検体像を含む領域を抽出した画像のことである。
表示制御部180は、抽出画像の表示する制御を行う。また、抽出部170において決定された補正の度合いを表す補正度合い情報を表示する制御を行ってもよい。
1.2 処理の流れ
次に、処理の流れについて説明する。まず、白色光光源S02から白色光が発光される。図3に示すように、回転フィルタS03には白色光透過フィルタS16と狭帯域透過フィルタS17がセットされている。白色光透過フィルタS16は例えば、図4のような分光特性であり、狭帯域透過フィルタS17は例えば、図5のような分光特性である。
白色光光源S02から発光された白色光が、回転フィルタS03の白色光透過フィルタS16と狭帯域透過フィルタS17を交互に透過する。よって、白色光透過フィルタS16を透過した白色光と、狭帯域透過フィルタS17を透過した特殊光が交互に集光レンズS04に達し集光されることになる。集光された白色光または特殊光はライトガイドファイバS06を通って照明光学系S07から被写体に照射される。
被写体から反射した反射光が集光レンズS08により集光され、R・G・Bを受光する撮像素子がBayer型に配置された撮像素子S09に到達し光電変換を行いアナログの信号となりA/D変換部110へ送られる。
白色光を照射することにより取得されA/D変換部110でデジタルの信号に変換された信号は画像取得部120へ送られ、通常光画像として保持される。また、特殊光を照射することにより取得されA/D変換部110でデジタルの信号に変換された信号を画像取得部120に送り、特殊光画像として保持してもよい。なお、本実施形態においては、特殊光画像は、注目領域検出部162における注目領域の検出処理に用いられることが考えられる。よって、注目領域検出部162がない構成を採用した場合、もしくは、注目領域検出部162における注目領域の検出処理を通常光画像に基づいて行う場合等では、特殊光画像は使われない。そのような場合には、特殊光画像を取得する必要はなく、回転フィルタS03がなくてもよい構成となる。
画像取得部120で取得された画像を基準画像とする。基準画像は、最終的な出力の画像のサイズよりも大きな領域を持つ。画像取得部120で取得された基準画像は、一旦バッファ140に保持される。そして、抽出部170は、状況取得部160で取得された操作状況情報に基づいて、位置ずれの補正度合いの強弱を決定し、シーケンシャルに見てブレの少ないような領域を抽出画像として切り出し、表示制御部180へ送信する。これにより、ブレの少ない動画像が得られる。表示制御部180へ送信された動画像は、モニタなどの表示装置へ送信されユーザに提示される。
1.3 操作状況情報に応じた補正度合いの決定
以上の処理により、ブレ補正が行われた動画像をユーザに提示することが可能になるが、本実施形態においては、抽出部170による抽出処理(具体的には位置ずれの補正度合いの強弱の決定)を、状況検出部160からの操作状況情報により制御する点が特徴となる。抽出部170は、状況検出部160の停止近接検出部161、注目領域検出部162、部位検出部163、観察状態検出部164、倍率取得部165、操作量情報取得部166、送気送水検出部167の少なくとも1つからの情報を受け取り、位置ずれの補正度合いの強弱を制御する。
以下、各部からの情報に基づいて、どのように位置ずれの補正度合いが決定されるのかについて詳述する。
1.3.1 停止・近接検出に基づく補正度合いの決定
近づいているか、遠ざかっているか、或いは停止しているかの判断は、停止近接検出部161で行われ、具体的な手法としては例えば、画像に基づくマッチング処理等が考えられる。つまり、撮像画像内の被検体のエッジ形状等をエッジ抽出等で認識し、認識したエッジ形状の大きさが時間的に後のフレームの画像において、大きくなっているか小さくなっているかを判定することで、近づいているか否かの判定を行う。なお、近づいているか否かを判定する手法は画像処理に限定されるものではなく、例えば、赤外線アクティブセンサ等の測距センサを用いて被写体との距離の変化を見る手法等、種々の手法が考えられる。
スコープが被写体に近づいているときには、ユーザは近づく先の被写体の部分を詳細に観察しようとしていると判断できるため、抽出部170で行われる位置ずれの補正度合いの強度を強くする。また、遠ざかっているときには、詳細な観察は終了していると判断できるため、補正度合いの強度は弱くしてよい。また、スコープが停止しているときには、特定の箇所を詳細に観察しようとしていると判断できるため、補正度合いの強度を強くする。
1.3.2 注目領域検出部からの注目領域情報に基づく補正度合いの決定
注目領域検出部162は、公知の領域検出、例えば病変検出のような処理を行うことで注目領域に関する情報である注目領域情報を検出する。画像の中に注目領域(病変領域)を検出したときには当該注目領域をじっくりと観察したい場合が多いので、抽出部170は位置ずれの補正度合いを強くする制御を行う。一方、病変等が検出されていないときにはじっくりと観察する必要がない場合が多いので、位置ずれの補正を弱くする(例えばオフにする)制御を行う。
操作部130には、更に領域検出を行うボタンが準備されていて、ユーザがそのボタンを押下すると注目領域検出部162にて画面の中心を含む領域を注目領域として抽出し、抽出した領域が中心に来るように抽出部170にて位置ずれの補正を行ってもよい。抽出した領域が中心に来るようなブレ補正を行うためには、抽出領域を認識する必要があるが、ここでは例えばエッジ抽出処理等を用いるものとする。ただし、領域の認識手法はエッジ抽出処理に限定されるものではない。
1.3.3 部位検出に基づく補正度合いの決定
部位検出部163により、スコープが位置する部位を判定し、補正度合いを決定してもよい。スコープが生体内のどの部位(例えば、十二指腸、結腸等)にあるかの判定には、例えばテンプレートマッチングなどの既知の認識アルゴリズム等を用いる。また、既知のシーン変化認識アルゴリズムを用いて基準画像の画素の特徴量変化に基づいて、どの器官か判定することも可能である。
例えばスコープが位置する部位が食道である場合には、心臓に近いため被写体が常に拍動していて動いている。そのため、電子式ブレ補正を行おうとすると、動きが大きいため注目領域が視野から外れやすくなってしまい、うまく位置ずれの補正を行うことができない。そのような器官では補正の度合いを弱くしておくことでエラーを防止することができる。
1.3.4 観察状態に基づく補正度合いの決定
近年の内視鏡装置では、通常観察の他に、高倍率(例えば100倍以上)での観察である拡大観察を行うことができるものがある。拡大観察モードにおいては、高倍率での観察を行っているため、基準画像から抽出領域が外れてしまう可能性が非常に高くなる。そのため、拡大観察モードにおいては、位置ずれの補正度合いを弱くする処理を行う。
なお、拡大観察モードか否かは操作部130からの操作情報を用いて判断してもよいし、倍率取得部165で取得した倍率情報を用いてもよい。例えば、操作部130に拡大観察モードと他のモードとの切り替えを行う切り替えボタンが設けられているような場合には、そのボタンが押されたか否かの情報を操作量情報取得部166が取得し、それに基づき、観察状態検出部164が観察状態を検出する。また、倍率から判断する場合には、倍率取得部165が取得した倍率情報により、撮像部13における倍率が拡大観察モードに対応する倍率になっていることを観察状態検出部164で検出すればよい。
1.3.5 倍率取得部からの倍率情報に基づく補正度合いの決定
倍率取得部165は、撮像部13における撮像倍率を倍率情報として取得する。そして、倍率情報により表される撮像倍率が所与の閾値より小さい場合には、ユーザは拡大観察を用いて被写体を詳細に観察しようとしていると判断できるため、図6に示したように、抽出部170は、倍率が大きくなるほど、位置ずれの補正度合いの強度を強くする制御を行う。しかし、倍率情報により表される撮像倍率が所与の閾値より大きい場合には、ユーザは所定の部分を詳細に観察しようとしていると判断できるものの、高倍率のためブレの影響が大きく、基準画像から抽出領域が外れてしまう可能性が高まる。そのため、図6に示したように、倍率が大きくなるほど、位置ずれの補正度合いの強度を弱くする制御を行う。
1.3.6 操作部からの操作量情報に基づく補正度合いの決定
操作部130は、ユーザの操作による情報である操作量情報を取得し、抽出部170へ送信する。そして、抽出部170ではそのユーザの操作による情報に応じて位置ずれの補正度合いが決定される。
一例としては、図7のように内視鏡のスコープ先端部の動作と連動するダイヤルがスコープ付近に配置されていて、そのダイヤルの操作がある。この操作が行われると、ユーザのダイヤルの操作に対応する操作量情報を抽出部170へ送信する。そのダイヤルの動きに応じて抽出部170で行う位置ずれの補正度合いを調整する。ダイヤルの操作量が所与の閾値よりも大きい場合には、補正の度合いを小さくする(大きく動かすとき、ユーザはブレ補正よりも視界を変えたいと思われるため。)処理を行う。なお大きく動かすときは被写体を追随しきれず電子ブレ補正を適用できない場面も多くなる。追随できないときには無理にブレ補正は行わない。
1.3.7 送気・送水情報に基づく補正度合いの決定
送気送水検出部167は、内視鏡装置による送気処理、送水処理を検出する。具体的には送気量や送水量を検出する。送気とは空気を送ることで、例えば管状の部位を広げたりすることに用いられる。また、送水とは水を流すことで、例えば観察位置にある残渣を洗い流したりすることに用いられる。
送気や送水が行われるケースでは、ドクターの目的はあくまで送気・送水であり、送気処理又は送水処理が終了するまでは観察や診断は行われないことが想定される。なにより、送気により被写体が細かく振動したり、送水により被写体上を水が流れているような状況では、効率的な位置ずれ補正を行うことは難しいと考えられる。そのため、送気送水検出部167により、送気量や送水量が所与の閾値以上であると判定された場合には、位置ずれの補正度合いは弱く設定する。
1.4 通常の電子式位置ずれ補正と弱い位置ずれ補正
まず、公知の技術である通常の電子式位置ずれ補正について図8を用いて説明する。図8の縦軸が時間軸であり、左側の画像が画像取得部120で取得されバッファ140に保持される画像(基準画像)である。また、右側の基準画像に比べて小さい領域を切り出した後の画像がユーザに対して提示される画像(抽出画像)である。そして、画像中の線で囲まれた領域が注目領域であるとする。
このとき、電子式位置ずれ補正では、常に注目領域が抽出画像の所定位置に来るような領域を、基準画像から抽出し抽出画像とする。図8の例では所定位置とは抽出画像の中央位置となっているが、これに限定されるものではない。
まず時刻t1では、注目領域が所定位置(中央位置)に来るような領域を抽出して、抽出画像とする。このようにすることで、注目領域を所定位置に表示するような抽出画像を取得できる。続いて時刻t2では、t1と同様に注目領域が所定位置(中央位置)に来るような領域を抽出して、抽出画像とするが、図8の例では、撮像部13が右下方向にぶれたことにより、被写体が左上方向に移動してしまっている。そこで、t2ではt1よりも左上方向に移動した領域を抽出領域とする。このようにすることで、時刻t2においても所定位置に注目領域が位置するような画像を表示することができ、結果として、t1、t2の両方で注目領域の画像上位置が変化しないことになる。
また、時刻t3以降も同様で、図8の例では撮像部13が左方向にぶれたことにより、被写体が右方向に移動してしまっている。そこで、t3では右方向に移動した領域を抽出領域とする。このようにすることで、時刻t3においても、表示される画像(抽出画像)における注目領域の画像上位置が変化しないことになり、時系列的にブレのない動画像をユーザに提示することができる。
次に、本実施形態の手法である弱い位置ずれ補正について図9を参照して説明する。図8と同様に、縦軸が時間軸、左側が基準画像、右側が抽出画像となっている。時刻T1での抽出態様は通常の電子式位置ずれ補正と同様であり、注目領域が抽出画像の所定位置に来るような領域を抽出する。
次に時刻T2では、図9の例では被写体が左上方向に移動している。ここで、位置ずれ補正を全く行わない(ブレが生じた画像を取得する)場合には、直前の時刻T1と同じ位置の領域A1を抽出することになる。A1を抽出したときには、基準画像における注目領域の位置の変化が、そのまま抽出画像にも反映されることになる。それに対して、上述した通常の電子式位置ずれ補正を行った(ブレが全く生じない画像を取得する)場合には、図9のA2で示した領域を抽出することになる。A2を抽出すれば、抽出画像においては位置ずれのない連続した画像を取得できる。
本実施形態における弱い位置ずれ補正とは、A1とA2の間に位置する領域であるA3を抽出領域とする手法である。このようにすることで、抽出画像においても位置ずれ事態は発生してしまうものの、基準画像における注目領域の位置ずれに比べて、抽出画像における位置ずれを小さく抑えることが可能になる。
また、時刻T3のように、注目領域が基準画像の端に近いところに位置する場合にも、A1に対応する領域B1、及び、A2に対応する領域B2を設定し、B1とB2の間に位置する領域を抽出領域とすればよい。ただし、この場合には、抽出領域B3の位置が問題となる。なぜなら、画像情報は基準画像の大きさ分しか取得されていない(基準画像の外側は画像情報が存在しない)ため、抽出領域が基準画像をはみ出すように設定されてしまうことは好ましくない。そのため、B3は基準画像からはみ出さない範囲で設定されることになる。図9の例で言えばB3はB2に比べてB1に近い位置に設定されることになる。
ここで、弱い位置ずれ補正を行うことのメリットについて説明する。通常の(ブレが生じない)位置ずれ補正を行っていると、抽出画像において注目領域が所定位置に来るようにする必要が生じる。そのため、図10(A)のような大きさの基準画像と、図10(B)のような大きさの抽出画像及び注目領域を考えたとき、位置ずれ補正が可能な注目領域(もしくは抽出領域)の左上限界位置、右上限界位置、左下限界位置及び右下限界位置は図10(C)〜図10(F)のようになる。図10(C)〜図10(F)よりも外側に注目領域が移動した場合には、抽出領域が基準画像から外れてしまうことになり好ましくない。結果として、基準画像において位置ずれ補正が可能な注目領域の移動範囲は図10(G)で示したC1に限定されてしまう。つまり、基準画像のC1以外の領域をC2としたときに、C1では完全に位置ずれ補正を行うことができる反面、C2では位置ずれ補正が行えない。つまり通常の電子式位置ずれ補正では、注目領域の位置に応じて位置ずれ補正を行うか行わないかの選択しかなく、挙動が極端になってしまう。
それに対して、弱い位置ずれ補正では、上述したようなC1、C2の区別がなく、基準画像内に注目領域を捉えられていれば、いつでも位置ずれ補正を行うことが可能となる。もちろん、弱い位置ずれ補正では、抽出画像においてもある程度の位置ずれを許容しているため、通常の位置ずれ補正のように全くブレのない画像を提供できるわけではない。しかし、位置ずれ補正を行わない場合に比べて、位置ずれの程度(ズレ量の大きさ)を小さくすることが可能になるという効果があり、かつ注目領域が基準画像の端に近い位置に移動したとしても効果を持続することが可能である。
つまり、通常の位置ずれ補正を行う場合と、弱い位置ずれ補正を行う場合との挙動を比較した場合、通常の位置ずれ補正は、狭い範囲で完全に停止しているか、高速で移動してしまうかという段階的な変化をするのに対して、弱い位置ずれ補正では広い範囲で低速で移動することになる。ここで、狭い範囲、広い範囲とは、位置ずれ補正が可能な注目領域の移動範囲のことを指すものとする。
本実施形態を内視鏡装置に適用することを考えた場合、ユーザ(ドクター)は、注目領域を詳細に観察して、診断や処置を行うことになる。その場合、注目領域の画像上位置が極端に変化するよりも、多少のブレがあっても変化が少ない方が診断、処置には適していると考えられる。また、被写体(生体内の組織)は拍動等の理由により静止していないことが想定される。そのため、注目領域の画像上位置も頻繁に変化することが考えられる。その際、画像上位置の変化が図10のC1に収まらないような場合には、通常の位置ずれ補正はほとんど機能しないことになり、弱い位置ずれ補正の優位性が高まることになる。
また、位置ずれ補正が稼働している状態から、急激な変化により、注目領域が基準画像から外れてしまう状態に移行してしまうケースも想定される。その場合、通常の位置ずれ補正では、注目領域は抽出画像の所定位置で静止していた状態から、画面から外れ観察できない状態へ変化することになる。そのため、注目領域の移動方向がわからず、見失った注目領域を再発見することが非常に困難である。それに対して、弱い位置ずれ補正では、位置ずれ補正が稼働している状態においても、ある程度のブレを許容しているため、大まかな動きの方向を判断することが可能である(これは、ユーザが判断してもよいし、システムが検出してもよい)。よって、基準画像から注目領域が外れてしまった場合でも、注目領域がフレーミングアウトしていく方向がわかるため、注目領域の再発見が容易になるというメリットがある。
なお、上述した図10を用いた例では、抽出画像にしめる注目領域の面積が大きければ(注目領域を拡大すれば)、C1の領域も大きくできると考えることも可能である。そのようにすれば、C1とC2の間での段階的な変化は抑止できる。しかし、このようなケースでも、通常の位置ずれ補正では、C1においてブレのない画像を提供している状態から、注目領域が基準画像から外れ観察できない状態へ、急激に移行してしまうことがありうることに変わりはない。むしろ、高倍率での観察を行っているとすれば、基準画像から注目領域が外れてしまう可能性が高くなり、注目領域を見失う可能性も高くなる。よって、注目領域の画像上での面積を大きくした場合であっても、上述したように、弱いブレ補正にメリットがあることには変わりがない。
2.具体的な実施形態例
次に、実際の診断・観察処理を想定した、具体的な実施形態例について説明する。
2.1 下部内視鏡
まず、肛門から挿入し、大腸等を観察するために用いられる下部内視鏡の実施形態例について説明する。なお本例においては、下部内視鏡は、最初に挿入しきってしまい、引き抜きながら観察していくものとする。
ここで、内視鏡のスコープには図1の外装S05の内部が含まれる。なお、照明光学系S07や集光レンズS08がある側が、スコープの先端部である。挿入時には撮像部13,A/D変換部110を通じて、画像取得部120において画像が取得されている。
診断・観察処理が開始されると、まず、肛門から内視鏡を挿入する。この際、挿入可能なところまで挿入する(観察は引き抜きながら行う)。このようにすることで、生体内における観察位置の特定が容易になる。つまり、挿入時において、どの程度挿入することでどの部位に到達するかを認識することが出来る(例えば、L1cm〜L2cmが下行結腸であり、L2cm〜L3cmが横行結腸である等)ため、引き抜いた長さにより、どの部位のどの程度の位置を観察しているかがわかる。この挿入操作の際は、挿入しきってしまうことが目的であり、じっくりとは観察しないのでブレ補正は必要ない。そのため、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部170は、位置ずれの補正度合いの強弱を弱く(例えばオフに)設定する。
挿入しきったら、次に、引き抜きながら観察していく。この際、まずは病変部等をサーチする必要があるため、広域に観察することが想定される。視野を広くして注目領域があるかどうか探している状態なのでブレ補正は必要ない。よって、ユーザの引き抜く操作と連動して補正の度合いを弱くする。
広域観察中には、例えば注目領域検出部162において、注目領域の検出処理が行われている。ここで、注目領域検出部162により注目領域が検出されたら、検出された領域をじっくり観察するべきなのでなるべく静止した画を提示したい。よって、抽出部170は、注目領域検出部162で注目領域が検出されたら補正度合いを強くする制御を行う。一方、注目領域が検出されていない場合には位置ずれ補正は必要ないので補正度合いを弱くする制御を行う。つまり、注目領域検出部162での結果に応じて位置ずれ補正を制御することになる。
また、ユーザが気になる領域を見つけたとする。その場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、ユーザに対してブレの少ない静止した画像を提示する必要がある。そこで、所与の時間、挿入操作やダイヤル操作をしていないというのと連動して(挿入していない・ダイヤル操作をしていないという操作により制御されて)、抽出部170は、補正度合いを強くする制御を行う。
また、領域検出以外にも、ユーザがある領域を大きく表示させて観察するために、当該領域に向けてスコープ先端を近づける操作を行う場合が考えられる。この場合、状況検出部160の停止近接検出部161では、エッジ検出などを行って検出したエッジ形状を、時間的に前後のフレームの画像で比較し、検出したエッジ形状の大きさが大きくなっていれば近づいていると判定する。そして、近づいていると判定されたら、抽出部170は、補正度合いを強くする制御を行い、特定領域の詳細観察を意図していると考えられるユーザに対して静止している動画像を提供する。
生体内を観察している場合、観察しているところに残渣があるケースが想定される。この場合残渣は観察の邪魔になるため、ユーザは送水して洗い流すことが考えられる。送水しているときには得られる画像は、大きく変わるのでブレ補正が困難である。そもそも送水するときには残渣を洗い流すことが目的であり、観察しているわけではないのでブレ補正する必要がない。よって、抽出部170は、送気送水検出部167において送水操作していることが検出されたときには補正度合いを弱くする制御を行う。
なお、送気送水検出部167における検出処理は、操作部130による操作状況を取得することにより行ってもよい。この場合、操作部130の送水ボタン(不図示)が押下され送水タンクS14から送水管S15を通じて、水がスコープの先端から放出され、再度送水ボタンが押下されると水の放出が止まる。つまり、操作部130の操作情報を例えば操作量情報取得部166等で取得し、取得した情報に基づいて送気送水検出部167は送気処理、送水処理が行われたことを検出する。また、送水管S15の先端にセンサを設けて、水が放出されているかを監視したり、送水タンクS14の水の残量を監視することにより、送水しているかどうかの情報を取得してもよい。
2.2 上部内視鏡
次に口や鼻から挿入され、食道や胃等を観察するために用いられる上部内視鏡について説明する。
観察処理が開始されると、まず、口(鼻)から内視鏡が挿入される。最初は、どんどん挿入している段階なので、ブレ補正をする必要がない。よって、ユーザによる操作部130の操作(スコープを挿入するという操作やダイヤルの操作)と連動して、抽出部170は、補正度合いを弱くする制御を行う。
ここで、状況検出部160の操作量情報取得部166等において、例えば挿入した長さ情報を取得することで、単位時間あたりに挿入した長さがどれだけ長くなっていったかで挿入スピードを推測してもよい。挿入スピードが所与の閾値よりも大きければ、詳細観察のための挿入ではなく、初期段階(どんどん挿入している段階)であると判断できる。
ある程度挿入することで、スコープ先端部が食道に達する。食道は心臓に近くその拍動によりほとんど動いている(ぶれている)状態であるため、ブレ補正を適切に行うことは困難である。よって、状況検出部160の部位検出部163により観察部位が食道と判定されたら、抽出部170は、補正度合いを弱くする(基本的にはオフにする)制御を行う。
食道を移動中にユーザが気になる領域を見つけた場合には、ユーザに対して静止した画像を提示することが求められる。この場合、ユーザはじっくり観察するために挿入操作やダイヤル操作を止めることが想定される。よって、下部内視鏡の例で示したように、所与の時間、操作が行われなかったことを持って、ブレ補正をオンにする制御を行いたい。しかし心臓に近く動き量が大きいので、ブレ補正が効きにくい。その際には抽出部170は、補正度合いを弱くする制御を行えばよい。弱くブレ補正をかける方法の例は上述したとおりである。
なお、部位の検出については状況検出部160の部位検出部163において行う。例えば、画像取得部120で取得され、バッファ140に格納された画像から、所定の部位を検出する認識処理を行えばよい。また、スコープの挿入長さを測定し、挿入長さと一般的な部位の長さとを比較することで、スコープの先端がどの部位にあるか推測してもよい。或いは、スコープの先端部に発信器を設置し、体表面に受信機を装着することで、スコープ先端が体内のどの位置にあるかを捕捉してもよい。この場合、一般的な体内の器官のマップと比較を行い、スコープの先端がどの器官にあるかを推測する。
更に挿入を続けることで、胃に到達する。胃に到達したかどうかの判断は部位検出部163で行う。進んでいるときはブレ補正の必要がない。よって、上述したように、ユーザのスコープを挿入するという操作やダイヤルの操作と連動して、抽出部170は、ブレ補正をオフにする制御を行う。
胃の中の観察では、ユーザは胃の壁面に病変などの注目領域があるか探す。この際、操作部130において、ダイヤル操作でアングルを変えることが想定される。サーチ中は特定の範囲を観察しているわけではないので、また、視点が大きく変わるため、ブレ補正は行われない。よって、ダイヤル操作と連動して、抽出部170は、ブレ補正をオフにする制御を行う。
そして、サーチの結果ユーザが胃の壁面に気になる領域を見つけたとする。その場合、ユーザは拡大してじっくり観察したいのでズーム操作(ただし、所与の閾値よりも小さい倍率内でのズームであるとする)を行う。じっくり観察する場合にはブレの少ない画像を提示する必要があるため、ズーム操作に連動して、抽出部170は、ブレ補正をオンにする制御を行う。
また、ズームレンズS13と撮像素子S08を前方(スコープの先端側)に動作させることで、集光レンズS08で集められた光を拡大させて拡大画像を取得することができる。或いは、画像取得部120で取得されている画像に対して、画像拡大処理(デジタルズーム)を行うことで拡大画像を取得してもよい。これらの場合にも、倍率取得部165により、倍率情報を取得して、操作状況情報として抽出部170に送信する。
そして、場合によっては発見した病変に対してその場で切り取る等の処置を行う。この場合、スコープの先端から鉗子等の処置具を出して処置を行う。処置具での処置の際には本当はブレのない画像が望ましいが、被写体のブレと処置具とのブレは同期しておらず、被写体をベースにブレ補正を行ってしまうと処置具の方がブレてしまうので、ブレ補正を行わない。
具体的には、ユーザは挿入口S11から処置具を挿入して誘導管S12をたどらせ、誘導管S12の先から出して処置を行う。状況検出部160では、処置具を挿入している情報を取得する。その取得は例えば、誘導管S12の先端にセンサ(不図示)を設けて処置具が飛び出しているかどうかを監視してもよいし、誘導管S12の長さと処置具の挿入長さとの比較から処置具が誘導管S12の先から出ているかという判断をしてもよい。処置具が誘導管S12の先から出ていたら抽出部170では、位置ズレの補正を考慮せずに抽出画像を抽出する。
以上の本実施形態では、画像処理装置は、図1に示したように、内視鏡装置の撮像部13による連続的な撮像により、基準画像を連続的に取得する画像取得部120と、内視鏡装置の操作状況を検出し、検出結果を表す操作状況情報を取得する状況検出部160と、基準画像から抽出領域を抽出し抽出画像を取得する抽出部170とを含む。そして抽出部170は、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する。
ここで、操作状況情報とは、内視鏡装置の状況情報を検出することにより取得される。状況情報とは内視鏡装置が操作されることにより検出される情報等である。ここでの操作とは、内視鏡装置のスコープ部の操作に限定されるものではなく、内視鏡装置全体の操作をも含むものとする。そのため、操作状況情報には、スクリーニングという内視鏡装置の操作状況に基づく、注目領域の検出という状況も含まれうる。
これにより、操作状況情報を取得した上で、取得した操作状況情報に基づいて位置ずれの補正度合いの強弱を決定することができる。そして、決定した補正度合いの強弱に対応した抽出態様で抽出画像を抽出する。よって、操作状況に対応させて適切な強さで位置ずれの補正を行うことが可能になる。なお、弱い位置ずれ補正を行うことのメリットは上述したとおりである。
また、抽出部170は、操作状況情報に基づいて位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に基づいて、基準画像における抽出領域の位置を決定してもよい。
これにより、補正度合いの強弱に対応した抽出態様として、基準画像における抽出領域の位置を変化させる抽出手法を用いることが可能になる。具体的には例えば、図9に示したように、位置ずれ補正を行わないA1と、完全に位置ずれ補正を行うA2との間に位置する領域A3の位置を変化させる。図9の例では、A1に近づけるほど位置ずれの補正度合いは弱くなり、A2に近づけるほど位置ずれの補正度合いは強くなる。
また、状況検出部160は、内視鏡装置のスコープ部が停止しているか否かの情報を操作状況情報として取得し、抽出部170は、操作状況情報により内視鏡装置のスコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、内視鏡装置の操作部が所与の期間操作されていないことを検出した場合に、スコープ部が停止していると判断すればよい。
ここで、位置ずれの補正度合いを強くするとは、スコープ部が停止していると判断されなかった場合よりも強くすることを意味する。また、補正度合いを強くするとは、所与の基準よりも強くする絶対的な変化を意味する場合もあるし、前の時刻よりも強くするという相対的な変化を意味する場合もある。なお、補正度合いを弱くする場合も、絶対的な変化と相対的な変化の両方のケースが考えられる。また、位置ずれの補正度合いを強くするとは位置ずれ補正の機能をオンにする場合も含まれるものとする。同様に、位置ずれの補正度合いを弱くするとは位置ずれ補正の機能をオフにする場合も含まれる。
これにより、スコープ部が停止していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープ部が停止している状況では、取得された基準画像における注目領域の画像上位置は大きく変化しないと考えられるため、強い位置ずれ補正をかけても支障がないと考えられる。また、スコープ部が停止しているときには、ドクターが特定の領域を詳細に観察しようとしていることが考えられるため、強い位置ずれ補正をかけてブレのすくない動画像を提供することが望ましく、その要求にも合致することになる。
また、状況検出部160は、内視鏡装置のスコープ部が被検体に接近しているか否かの情報を操作状況情報として取得し、抽出部170は、操作状況情報により内視鏡装置のスコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くする。具体的には例えば、基準画像にラプラシアンフィルタ等を適用し、被検体のエッジ形状を抽出した上で、エッジ形状の大きさの変化に基づいて、接近しているか否かを検出してもよい。また例えば、基準画像において複数の局所領域を設定し、局所領域間の距離情報の変化に基づいて接近しているか否かを検出してもよい。ここで、領域間の距離情報とは、各局所領域に設定された基準位置(例えば中央位置の座標情報)間の距離情報とすればよい。
ここで、位置ずれの補正度合いを強くするとは、スコープ部が被検体に接近していると判断されなかった場合よりも強くすることを意味する。
これにより、スコープ部が被検体に接近していると判断された場合には、位置ずれの補正度合いを強くすることが可能になる。スコープが被検体に接近している状況では、ユーザが対象の被検体を拡大して、より詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いを強くすることで、ブレのすくない動画像を提供することができる。その際の接近を検出する手法は任意であり、例えば、被写体のエッジ形状が大きくなっているとき、もしくは設定された複数の局所領域間の距離情報が大きくなっているときに、被検体に接近していると判断すればよい。
また、状況検出部160は、基準画像内において注目領域を検出したか否かの情報を操作状況情報として取得し、抽出部170は、操作状況情報により注目領域が検出されたと判断された場合には、位置ずれの補正度合いを強くしてもよい。
ここで、位置ずれの補正度合いを強くするとは、注目領域が検出されたと判断されなかった場合よりも強くすることを意味する。また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザがドクターであり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、ドクターが観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目領域をシステムが自動的に検出する場合には、図15に示したように、ユーザに対して注目領域を検出した旨を知らせてもよい。図15の例では画面の下部に特定の色のラインを表示している。
これにより、基準画像において注目領域を検出した場合には、位置ずれの補正度合いを強くすることが可能になる。注目領域は上述したようにユーザにとって観察の優先順位が他の領域よりも高い領域であるため、注目領域が検出された場合には、ユーザは注目領域を詳細に観察することが想定される。そのため、位置ずれの補正度合いを強くして、ブレの少ない動画像を提供する。
また、状況検出部160は、内視鏡装置のスコープ部が位置する部位に関する情報を操作状況情報として取得し、抽出部170は、操作状況情報によりスコープ部が所与の部位に位置すると判断された場合には、注目領域が検出されたとしても、位置ずれの補正度合いを強くせずに弱くしてもよい。
ここで、位置ずれの補正度合いを弱くするとは、スコープ部が所与の部位に位置すると判断されなかった場合よりも弱くすることを意味する。
これにより、所与の部位を観察している場合には、注目領域が検出されたとしても位置ずれの補正度合いを弱くすることが可能になる。ここでの所与の部位とは例えば食道等である。食道等は心臓に近いため拍動の影響を強く受ける。そのため、食道を観察しているときは被写体が大きく動いてしまい、強いブレ補正をかけても機能しないことが考えられる。そのため、食道等を観察しているときには位置ずれの補正度合いを弱くする。
また、状況検出部160は、基準画像の画素の特徴量に基づいて、内視鏡装置のスコープ部が位置する部位を検出してもよい。また、スコープ部が被験者の体内に挿入された長さを表す挿入長と、基準長とを比較することでスコープ部が位置する部位を検出してもよい。
ここで、基準長とは、挿入長と部位の位置とを対応付けるものである。例えば、基準長としては被験者の性別、年齢から想定される一般的な体内器官の長さを用いることが考えられる。挿入開始地点(例えば肛門等)からL1cm〜L2cmが下行結腸であり、L2cm〜L3cmが横行結腸であるといったような情報を基準長として保持しておけば、挿入長と基準腸を比較することで部位を推定できる。例えば、挿入長がL2<L4<L3となる長さL4だったとすれば、上述の例ではスコープ部は横行結腸に位置すると推定できる。
これにより、画像処理、或いは、挿入長と基準長との比較に基づいて、スコープ部が位置する部位を推定することが可能になる。
また、状況検出部160は、撮像部13が拡大観察状態か否かの情報を操作状況情報として取得し、抽出部170は、操作状況情報により撮像部13が拡大観察状態であると判断された場合には、位置ずれの補正度合いを弱くしてもよい。
ここで、位置ずれの補正度合いを弱くするとは、撮像部13が拡大観察状態であると判断されなかった場合よりも弱くすることを意味する。
これにより、撮像部13が拡大観察状態にあると判断された場合には、位置ずれの補正度合いを弱くすることが可能になる。内視鏡の拡大観察とは、例えば100倍以上の高倍率での観察が想定される。そのため、基準画像として取得される被写体の範囲は非常に狭い領域になっており、少しのブレでも被写体の画像上位置は大きく変化してしまう。そのため、強いブレ補正をかけても効果は期待できないため、補正度合いを弱くする。
また、状況検出部160は、拡大観察状態にある内視鏡装置の撮像部13のズーム倍率に関する情報を操作状況情報として取得し、抽出部170は、ズーム倍率が所与の閾値より小さいときにはズーム倍率が大きくなるほど補正度合いを強くし、ズーム倍率が所与の閾値よりも大きいときにはズーム倍率が大きくなるほど補正度合いを弱くしてもよい。この際、基準補正度合いよりも弱いことを前提とする。
ここで、基準補正度合いとは、補正度合いの絶対的な基準となる補正度合いの強度のことであり、図6においては点線で示された補正度合いの強度に対応する。
これにより、図6に示したような補正度合いの制御が可能になる。ユーザがズーム倍率を上げる操作を行うときには、特定の領域を詳細に観察しようとしていることが想定されるため、位置ずれの補正度合いは強くすることが基本となる。これは、被検体にスコープ部を接近させるケースと同様である。そのため、ある程度(所与の閾値以下の範囲)まではズーム倍率が大きくなるほど補正度合いも強くする。ただし、倍率が大きくなるほど、上述したように、少しのブレでも被写体の画像上位置が大きく変化してしまうことによる影響を無視できなくなってくる。この場合には、強いブレ補正をかけても効果が期待できないため、ズーム倍率が大きくなるほど(ブレの影響が強くなるほど)位置ずれの補正度合いを弱くする制御を行う。
また、状況検出部160は、ユーザによる内視鏡装置のダイヤルの操作量に関する情報を操作状況情報として取得し、抽出部170は、ダイヤルの操作量が所与の基準操作量よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。
ここで、位置ずれの補正度合いを弱くするとは、ダイヤルの操作量が基準操作量よりも大きいと判断されなかった場合よりも弱くすることを意味する。
これにより、図11に示したように、ダイヤルの操作量が大きい場合には位置ずれの補正度合いを弱くすることが可能になる。ダイヤルの操作は例えば、内視鏡装置のスコープ部の先端の移動量に相当する。そのため、ダイヤルの操作量が大きいとは、スコープを大きく移動させていることに相当することになる。よって、そのような場合には、ユーザは特定の領域を観察しているのではなく、スクリーニング操作等を行っていると考えられるため、位置ずれの補正度合いは弱く設定する。
また、状況検出部160は、内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を操作状況情報として取得し、抽出部170は、送気量又は送水量が所与の閾値よりも大きい場合には、位置ずれの補正度合いを弱くしてもよい。
ここで、位置ずれの補正度合いを弱くするとは、送気量又は送水量が所与の閾値よりも大きいと判断されなかった場合よりも弱くすることを意味する。
これにより、図12に示したように、送気量、送水量が大きい場合には、位置ずれの補正度合いを弱くすることが可能になる。送気量又は送水量が所与の閾値よりも大きいときには、ユーザは送気又は送水操作を行うことを目的としており、その際には観察に主眼をおいていないと考えられる。また、送水操作により水が流されていては被検体の観察そのものが困難である。よってこのような場合には位置ずれ補正を行っても効果がないため、補正度合いを弱くする。
また、画像処理装置は、基準画像の画素の画素値に基づいて、基準画像から同一の被検体像を含む領域である位置ずれ補正対象領域を検出する位置ずれ補正対象領域検出部を含み、抽出部170は、位置ずれ補正対象領域の位置に応じて抽出領域の位置を変更してもよい。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置に来るように抽出領域の位置を変更してもよい。
これにより、位置ずれの補正度合いの強弱に対応した抽出態様として、位置ずれ補正対象領域に応じた抽出領域の位置の変更を行う手法を用いることが可能になる。具体的には、位置ずれ補正対象領域が抽出領域内の所定の位置(例えば中央位置)に来るように抽出領域の位置を変更する態様が考えられる。
また、位置ずれ補正を行わない場合の抽出領域の位置を第1の抽出領域位置とし、完全な位置ずれ補正を行った場合(抽出画像において被検体の位置ずれがない場合)の抽出領域の位置を第2の抽出領域位置とした場合に、抽出部170は、位置ずれの補正度合いの強弱を弱くする場合には、第1の抽出領域位置と第2の抽出領域位置の間の位置にある領域を抽出領域として設定する。
ここで、各領域(第1の抽出領域位置に対応する領域、第2の抽出領域位置に対応する領域、抽出領域)の位置関係は、各領域に設定された基準位置の位置関係に基づいて判断するものとする。基準位置とは、領域に対応して設定される位置情報のことであり、例えば領域の中央位置の座標情報や、領域の左下端の座標情報等である。つまり、抽出領域が第1の抽出領域位置と第2の抽出領域位置の間にあるとは、第1の抽出領域位置に対応する領域の基準位置と、第2の抽出領域位置に対応する領域の基準位置との間に、抽出領域の基準位置が存在するということである。
これにより、図9に示したような、弱い位置ずれ補正を行うことが可能になる。具体的な手法や、手法の利点等は上述したとおりである。
また、画像処理装置は、表示制御部180を含んでもよい。表示制御部180は、抽出部170により抽出された抽出画像を連続して表示する制御を行ってもよいし、補正度合いを表す補正度合い情報を表示する制御を行ってもよい。
これにより、抽出部170により抽出された抽出画像を表示することが可能になるとともに、抽出画像を取得する際に用いられた位置ずれの補正度合いの強弱の情報を表示することも可能になる。
また、本実施形態の手法は、上述してきた画像処理装置と、内視鏡スコープとを含む内視鏡装置に関係する。
これにより、画像処理装置にとどまらず、内視鏡装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
また、本実施形態の手法は、撮像部13による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、内視鏡装置の操作状況を検出しその検出結果を示す操作状況情報を取得し、基準画像から被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、操作状況情報に基づいて、被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、基準画像から抽出画像を抽出する画像処理装置の制御方法に関係する。
これにより、画像処理装置にとどまらず、画像処理装置の制御方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
また、本実施形態の手法は、図13に示したように、画像取得部120と、設定部150と、状況検出部160と、抽出部170とを含む画像処理装置に関係する。画像取得部120は基準画像を連続的に取得する。設定部150は、基準画像から抽出画像を抽出するにあたって、第1抽出モードと第2抽出モードを設定する。状況検出部160は、操作状況情報を取得する。抽出部170は、操作状況情報に基づいて第1抽出モードと第2抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部160は、内視鏡装置のスコープ部が送気又は送水に使用されているかに関する情報を操作状況情報として取得し、抽出部170は、内視鏡装置のスコープ部が送気又は送水に使用されていると判断された場合には、第2抽出モードを選択する。具体的には例えば、内視鏡装置の操作部において、送気指示又は送水指示が行われたか否かを検出することで、内視鏡装置のスコープ部が送気又は送水に使用されているか否かを検出してもよい。
ここで、第1抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第2抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。
これにより、位置ずれ補正オンに対応する第1抽出モードと、位置ずれ補正オフに対応する第2抽出モードを設定した上で、送気又は送水に関する情報に基づいて、適切な抽出モードを選択することが可能になる。具体的には送気又は送水が行われているときは、位置ずれ補正オフに対応する第2抽出モードを選択することになる。第2抽出モードを選択する理由は、送気、送水時に位置ずれの補正度合いを弱く設定する理由と同様で、上述したとおりである。
また、本実施形態の手法は、図14に示したように、画像取得部120と、設定部150と、状況検出部160と、抽出部170とを含む画像処理装置に関係する。画像取得部120は基準画像を連続的に取得する。設定部150は、基準画像から抽出画像を抽出するにあたって、第1抽出モードと第2抽出モードを設定する。状況検出部160は、操作状況情報を取得する。抽出部170は、操作状況情報に基づいて第1抽出モードと第2抽出モードのいずれかを選択し、選択したモードに対応した抽出態様で抽出を行う。さらに、状況検出部160は、内視鏡装置のスコープ部が被検体の治療処置に使用されているかに関する情報を操作状況情報として取得し、抽出部170は、スコープ部が被検体の治療処置に使用されていると判断された場合には、第2抽出モードを選択する。具体的には例えば、スコープ部の先端に設けられたセンサからのセンサ情報に基づいて、スコープ部が被検体の治療処置に使用されているか否かを検出してもよい。
ここで、抽出モードは上述した場合と同様であり、第1抽出モードとは、被検体像の位置ずれを補正する抽出モードであり、第2抽出モードとは、被検体像の位置ずれを補正しない抽出モードである。
これにより、位置ずれ補正オンに対応する第1抽出モードと、位置ずれ補正オフに対応する第2抽出モードを設定した上で、スコープ部が被検体の治療処置に使用されているかに応じて、適切な抽出モードを選択することが可能になる。具体的には、スコープ部が被検体の治療処置に使用されているときは、位置ずれ補正オフに対応する第2抽出モードを選択することになる。これは、被検体の治療処置に使用される処置具の位置ずれと、被検体の位置ずれが同期しないことによる。つまり、治療処置時には、スコープ部の先端から処置具を出して処置を行うことになり、取得する基準画像内にも処置具が写り込む。しかし、被検体のブレと処置具とのブレは同期しないため、両方のブレを解消するような位置ずれ補正を行うことは困難である。そのため、治療処置時には位置ずれ補正をオフにする第2の抽出モードを選択することになる。その際、治療処置を行っているか否かは、例えば処置具をスコープ部の先端から出しているか否かで判断すればよい。つまり、スコープ部の先端に処置具を出しているか否かを検出するセンサを設けておき、センサからのセンサ情報に基づいて判断を行う。
また、第2抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、抽出領域を設定する抽出態様であり、抽出部170は、設定された抽出領域に含まれる画像を抽出画像として抽出する。また、第2抽出モードに対応した抽出態様は、被検体の位置ずれの補正を考慮せずに、基準画像上の予め決まった場所に抽出領域を設定する抽出態様であってもよい。
これにより、第2抽出モードに対応した抽出態様として、位置ずれ補正を考慮しない抽出領域の設定を行う態様を用いることが可能になる。特に、基準画像上の予め決まった場所に抽出領域を設定してもよい。よって、抽出領域を容易に決定することが可能になり、処理を簡単化することができる。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。