JP6707083B2 - 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、生体内を観察する内視鏡により撮像された画像から異常部を検出する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムに関する。

近年、生体の管腔内を非侵襲に観察可能な医用観察装置として、内視鏡が広く普及している。また、内視鏡により撮像された画像から観察に適さない画像を予め除去したり、病変等の特定の特徴を有する画像を抽出したり、観察対象の画像に対して事前に画質改善を行ったりする診断支援技術の開発も進められている。

例えば特許文献１には、ピットパターン解析等により診断を行う際に、前処理として、ぼけや鏡面反射等を含み、診断に不要な低品質画像の削除、並びに、高コントラスト化及び超解像等の画質改善を行う技術が開示されている。

特表２０１０−５１２１７３号公報

内視鏡により撮像された画像に対して必要な処理は、医師である内視鏡の操作者が撮像中に行った動作によってある程度想定することができる。例えば、操作者が被検体に対して何等かの処置を行っている場合、既に病変が発見されている可能性が高いので、処置中に撮像された画像を診断する必要性は低い。また、操作者が狭帯域光等の特殊光を用いて観察を行っている場合、既に発見された病変を鑑別している可能性が高いので、特殊光の下で撮像された画像からあらためて病変を探す必要性は低い。

この点に関し、上記特許文献１においては、画質に基づいて診断に不要な画像を判別すると共に診断対象の画像の画質を改善するなどして、診断支援の効率化を図っているものの、操作者の動作に応じた画像の判別は行っておらず、本来診断が不要な画像に対して過剰な処理を行ってしまうなど、診断支援の効率化が限定的となっていた。

本発明は、上記に鑑みて為されたものであって、内視鏡により撮像された画像に対し、診断の必要性の低い画像を内視鏡の操作者の動作に応じて判別し、効率の良い診断支援を行うことができる画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体に挿入された内視鏡が撮像した画像に基づき、前記画像の撮像時における当該内視鏡の操作者の動作が、前記被検体に対して処置を行う処置動作、前記画像内の任意の部分を鑑別する鑑別動作、被写体を注視する注視動作、及び前記内視鏡を前記被検体内に挿入する挿入動作の少なくともいずれかの動作であるか否かを判定する動作判定部と、前記動作判定部による判定結果に基づいて、前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の少なくともいずれかの動作時に撮像された前記画像を特定領域の検出対象画像から外し、それ以外の前記画像を前記検出対象画像とする画像決定部と、前記検出対象画像から前記特定領域を検出する検出部と、備えることを特徴とする。

本発明に係る内視鏡システムは、前記画像処理装置と、前記内視鏡と、を備えることを特徴とする。

本発明に係る画像処理方法は、演算部が、被検体に挿入された内視鏡が撮像した画像に基づき、前記画像の撮像時における当該内視鏡の操作者の動作が、前記被検体に対して処置を行う処置動作、前記画像内の任意の部分を鑑別する鑑別動作、被写体を注視する注視動作、及び前記内視鏡を前記被検体内に挿入する挿入動作の少なくともいずれかの動作であるか否かを判定する動作判定ステップと、前記演算部が、前記動作判定ステップにおける判定結果に基づいて、前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の少なくともいずれかの動作時に撮像された前記画像を特定領域の検出対象画像から外し、それ以外の前記画像を前記検出対象画像とする画像決定ステップと、前記演算部が、前記検出対象画像から前記特定領域を検出する検出ステップと、含むことを特徴とする。

本発明に係る画像処理プログラムは、被検体に挿入された内視鏡が撮像した画像に基づき、前記画像の撮像時における当該内視鏡の操作者の動作が、前記被検体に対して処置を行う処置動作、前記画像内の任意の部分を鑑別する鑑別動作、被写体を注視する注視動作、及び前記内視鏡を前記被検体内に挿入する挿入動作の少なくともいずれかの動作であるか否かを判定する動作判定ステップと、前記動作判定ステップにおける判定結果に基づいて、前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の少なくともいずれかの動作時に撮像された前記画像を特定領域の検出対象画像から外し、それ以外の前記画像を前記検出対象画像とする画像決定ステップと、前記検出対象画像から前記特定領域を検出する検出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、画像の撮像時における内視鏡の操作者の動作に応じて、特定領域の検出対象画像を決定するので、診断に必要な画像を抽出して特定領域を検出することができる。従って、効率の良い診断支援を行うことが可能となる。

図１は、本発明の実施の形態１に係る内視鏡システムの構成を示す模式図である。 図２は、図１に示す画像処理装置の構成を示すブロック図である。 図３は、図２に示す処置動作判定部の構成を示すブロック図である。 図４は、図２に示す鑑別動作判定部の構成を示すブロック図である。 図５は、図２に示す注視動作判定部の構成を示すブロック図である。 図６は、襞裏確認動作を説明するための模式図である。 図７は、図２に示す挿入動作判定部の構成を示すブロック図である。 図８は、本発明の実施の形態１に係る画像処理方法を示すフローチャートである。 図９は、画像をもとに動作を判定する処理の詳細を示すフローチャートである。 図１０は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１１は、本発明の実施の形態２に係る画像処理方法を示すフローチャートである。 図１２は、検出対象領域の設定処理の詳細を示すフローチャートである。 図１３は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１４は、本発明の実施の形態３に係る画像処理方法を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る内視鏡システムの構成例を示す模式図である。図１に示す内視鏡システム１は、被検体の体内に挿入されて撮像を行い、画像を生成して出力する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が生成した画像に対して各種画像処理を施す画像処理装置４と、画像処理装置４により画像処理が施された画像を表示する表示装置５とを備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、画像処理装置４及び光源装置３と接続する各種ケーブルを内蔵するユニバーサルコード２３とを備える。

挿入部２１は、先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓針管２６とを有する。この挿入部２１の先端部２４に、光源装置３が発生した照明光により被検体内を照射する照明部と、被検体内において反射された照明光を集光する光学系と、光学系により集光された照明光を受光して光電変換することにより画像信号を生成するＣＣＤ又はＣＭＯＳ等の撮像素子とが設けられている。以下、これらの光学系及び撮像素子をまとめて、撮像部ともいう。

操作部２２と先端部２４との間には、画像処理装置４との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルと、光を伝送するライトガイドとが接続されている。複数の信号線には、撮像素子が出力した画像信号を画像処理装置４に伝送する信号線及び画像処理装置４が出力する制御信号を撮像素子に伝送する信号線等が含まれる。

操作部２２は、湾曲部２５を上下方向及び左右方向に湾曲させる湾曲ノブ２２ａと、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部２２ｂと、画像処理装置４、光源装置３に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する入力部である複数のスイッチ２２ｃと、を有する。

ユニバーサルコード２３は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード２３の操作部２２に連なる側と異なる側の端部には、光源装置３に着脱自在なコネクタ部２７と、コイル状をなすコイルケーブル２８を介してコネクタ部２７と電気的に接続され、画像処理装置４と着脱自在な電気コネクタ部２９とが設けられている。撮像素子から出力された画像信号は、コイルケーブル２８及び電気コネクタ部２９を介して画像処理装置４に入力される。また、操作部２２に対してなされた操作に関する情報や、光源装置３から出力された照明光の種類（通常光、特殊光等）や強度等に関する情報等は、システム情報としてコイルケーブル２８及び電気コネクタ部２９を介して画像処理装置４に入力される。

図２は、図１に示す画像処理装置４の構成を示すブロック図である。画像処理装置４は、内視鏡２による検査中に撮像された画像に対し、内視鏡の操作者が撮像時に行っていた動作に応じた画像処理を行う。内視鏡２により撮像される画像は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。

図２に示すように、画像処理装置４は、該画像処理装置４全体の動作を制御する制御部１０と、内視鏡から画像を取得する画像取得部１１と、外部からなされる操作に応じた入力信号を制御部１０に入力する操作入力部１２と、表示装置５に対して表示用の画像信号を出力するインタフェースである出力部１３と、画像取得部１１が取得した画像や種々のプログラムを格納する記憶部１４と、画像データに対して所定の画像処理を実行する演算部１５とを備える。

制御部１０は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１０が汎用プロセッサである場合、記憶部１４が記憶する各種プログラムを読み込むことによって画像処理装置４を構成する各部への指示やデータの転送等を行い、画像処理装置４全体の動作を統括して制御する。また、制御部１０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１４が記憶する各種データ等を用いることで、プロセッサと記憶部１４が協働又は結合して種々の処理を実行してもよい。

画像取得部１１は、内視鏡２から画像を取り込むインタフェースによって構成される。或いは、内視鏡２から出力された画像を一旦サーバ等の記憶装置に蓄積する構成としても良く、この場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って画像を取得する。

操作入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生した入力信号を制御部１０に入力する。

出力部１３は、制御部１０の制御の下で、表示用の画像信号を表示装置５に出力し、各種画面を表示させる。

記憶部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部１４は、画像取得部１１が取得した画像データの他、画像処理装置４を動作させると共に、種々の機能を画像処理装置４に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部１４は、内視鏡により撮像された画像に対し、撮像時における操作者の動作に応じた画像処理を当該画像処理装置４に実行させる画像処理プログラムを記憶するプログラム記憶部１４１を有する。

演算部１５は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１５が汎用プロセッサである場合、プログラム記憶部１４１が記憶する画像処理プログラムを読み込むことにより、内視鏡により撮像された画像に対し、撮像時における操作者の動作に応じた画像処理を実行する。また、演算部１５が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部１４が記憶する各種データ等を用いることで、プロセッサと記憶部１４が協働又は結合して画像処理を実行してもよい。

次に、演算部１５の構成について説明する。図２に示すように、演算部１５は、内視鏡２により撮像された被検体内の画像に基づき、当該画像の撮像時における操作者の動作を判定する動作判定部１１０と、操作者の動作の判定結果に応じて、当該画像を異常領域の検出対象画像とするか否かを決定する画像決定部１２０と、検出処理画像から異常領域を検出する検出部１３０とを備える。ここで、異常領域とは、病変部のように、正常な粘膜領域と異なる様相を呈する特定領域のことであり、異常の種類に応じて色特徴量や、形状特徴量や、テクスチャ特徴量等によって識別される。

動作判定部１１０は、処置動作判定部１１１と、鑑別動作判定部１１２と、注視動作判定部１１３と、挿入動作判定部１１４とを備える。動作判定部１１０は、これらの判定部の内の少なくとも１つを備えていれば良く、これらの４つの判定部を全て備えていても良い。

処置動作判定部１１１は、判定対象の画像の撮像時における操作者の動作が、被検体に対して処置を行う処置動作であるか否かを判定する。処置動作には、各種処置具を用いて治療等を行う動作と、被検体内に送水して洗浄を行う動作とが含まれる。

図３は、処置動作判定部１１１の構成を示すブロック図である。図３に示すように、処置動作判定部１１１は、処置具判定部１１１ａと、洗浄動作判定部１１１ｂとを有する。処置動作判定部１１１は、処置具判定部１１１ａと洗浄動作判定部１１１ｂとのうちの少なくともいずれかを有していれば良く、両方有していても良い。処置動作判定部１１１は、これらの判定部の判定結果に基づいて処置動作の有無を判定する。

処置具判定部１１１ａは、被検体の処置に用いた処置具が写った処置具領域が画像内から検出されるか否かを判定する。内視鏡検査において用いられる処置具には、粘膜上皮に局所的に隆起した病変であるポリープを切除するポリペクトミーに使われる高周波スネア、くびれのない小さなポリープをつまんで切除するホットバイオプシーに使われるホットバイオプシー鉗子、隆起が少なく平らな早期の腫瘍等の病変を切除する際に、粘膜下層に生理食塩水などを注入するための局注針等がある。

これらの処置具はいずれも、先端が金属製であり、管形状の軸の先端部に設けられている。そのため、内視鏡により照明光が照射されると高輝度の管形状領域として画像内に現れる。そこで、処置具判定部１１１ａは、輝度が閾値よりも高く、且つ、管形状をなす領域を処置具領域として検出する。詳細には、処置具判定部１１１ａは、まず、画像内の各画素のＲＧＢ色成分から輝度ヒストグラムを作成し、粘膜領域等で構成される主要な分布の山をもとに閾値を決定して閾値処理を行うことにより高輝度領域を抽出する。続いて、この高輝度領域の輪郭を抽出し、この輪郭が直線及び円形からなる幾何学的形状により構成されているか否かを、ハフ変換等により判定する。高輝度領域の輪郭が幾何学的形状により構成されている場合、この高輝度領域は処置具領域と判定される。画像内から処置具領域が検出された場合、処置具判定部１１１１は、撮像時に処置具を用いた処置動作がなされていたと判定する。

洗浄動作判定部１１１ｂは、被検体内に送水された洗浄用の水が写った洗浄領域が画像内から検出されるか否かを判定する。洗浄領域は、照明光が水面や水滴に反射されることによって生じる鏡面反射を呈し、且つ面積及び位置の時間変化が大きい。そこで、洗浄動作判定部１１１ｂは、輝度が高く、面積及び位置の時間変化が大きい領域を洗浄領域として検出する。詳細には、洗浄動作判定部１１１ｂは、まず、画像内の各画素の画素値から輝度を算出し、輝度に対する閾値処理により、高輝度領域を抽出する。そして、抽出した高輝度領域の境界付近における輝度をもとに、境界付近における輝度の差の大きい高輝度領域を鏡面反射領域として抽出する。さらに、当該画像に対して所定フレーム先行する（例えば直前フレーム）画像との間で、鏡面反射領域の面積及び位置の差分を取得し、これらの差分が閾値よりも大きい場合に、当該鏡面反射領域は洗浄領域であると判定する。

或いは、洗浄動作判定部１１１ｂは、画像内の特定の周波数成分（例えば高周波数成分）の時間変化が大きい領域を洗浄領域として検出しても良い。画像内から洗浄領域が検出された場合、洗浄動作判定部１１１ｂは、撮像時に洗浄動作がなされていたと判定する。

処置動作を判定する別の手法として、内視鏡２の処置具挿入部２２ｂに、処置具が被検体内に挿入されていることを検出するセンサを設け、このセンサから出力される検出信号を内視鏡２から取得することにより、処置動作が行われているか否かをシステム的に判定しても良い。或いは、送水タンクから内視鏡２に送水するためのポンプが作動中であることを示す信号を内視鏡システム１から取得することにより、洗浄動作行われていることをシステム的に判定しても良い。

鑑別動作判定部１１２は、判定対象の画像の撮像時における操作者の動作が、画像内において観察される病変等に対して病変の程度を判断（鑑別）する鑑別動作であるか否かを判定する。図４は、鑑別動作判定部１１２の構成を示すブロック図である。図４に示すように、鑑別動作判定部１１２は、拡大判定部１１２ａと、染色判定部１１２ｂと、特殊光判定部１１２ｃと、正面視判定部１１２ｄと、動き判定部１１２ｅとを有する。鑑別動作判定部１１２は、これらの判定部のうち少なくとも１つを有していれば良く、全てを有していても良い。鑑別動作判定部１１２は、これらの判定部の判定結果に基づいて鑑別動作の有無を判定する。

拡大判定部１１２ａは、判定対象の画像が拡大画像であるか否か、即ち、内視鏡２の先端部２４を粘膜に所定距離以下まで近づけて撮像した画像であるか否かを判定する。詳細には、拡大判定部１１２ａは、まず、画像の中心付近における距離情報を取得する。ここで、距離情報とは、内視鏡２の先端部２４から被写体までの距離を表す情報である。距離情報としては、被写体である粘膜表面に写る血管等による吸収が少なく、粘膜表面との距離の相関が見られる値が用いられる。例えば、画素値のＲＧＢの各色成分のうちＲ成分に対応する波長成分は、ヘモグロビンの吸光帯域から離れており、且つ長波長であるため生体内での吸収、散乱の影響を受け難いので、この波長成分の減衰量は被検体内で進行する距離に対応する。従って、Ｒ成分の値を距離情報として用いることができる。この場合、Ｒ成分の値が大きいほど距離が近く、Ｒ成分の値が小さいほど距離が遠いと判断することができる。拡大判定部１１２ａは、このような距離情報をもとに、画像の中心付近における距離が閾値よりも小さい画像を拡大画像として判定する。例えば距離情報としてＲ成分の値を用いる場合、画像の中心付近の画素における画素値のＲ成分の値が閾値よりも大きい画像を拡大画像として判定する。

或いは、拡大画像を判定する別の手法として、拡大判定部１１２ａは、画像内のピットパターンを解析しても良い。操作者が画像を拡大するときは、粘膜上のピットパターンを詳しく観察したい場合であることが多い。そのため、操作者は、ピットパターンがある程度明瞭且つ大きく写るように内視鏡２を操作する。そこで、画像を拡大した際のピットパターンから抽出される周波数成分を予め取得しておき、この周波数成分と、判定対象の画像から抽出した周波数成分とを比較することにより、当該判定対象の画像が拡大画像であるか否かを判定することができる。

拡大画像を判定するさらに別の手法として、拡大判定部１１２ａは、内視鏡２における撮像モードを拡大観察に切り換えたときの切換え信号を内視鏡２から取得することにより、システム的に判定を行っても良い。

染色判定部１１２ｂは、判定対象の画像が、被写体である粘膜に染色が施した染色画像であるか否かを判定する。詳細には、染色判定部１１２ｂは、まず、画像内に注目領域を設定し、この注目領域内の各画素のＲＧＢ各色成分から平均色を算出する。そして、この平均色が、通常の粘膜領域の色相分布から外れているか否かを判定する。例えば、大腸検査において用いられるインジゴカルミンによって粘膜が染色されている場合、平均色は青色方向にずれる。そのような場合、染色判定部１１２ｂは、当該画像は染色画像であると判定する。

特殊光判定部１１２ｃは、判定対象の画像が特殊光を用いて撮像された特殊光画像である否かを判定する。詳細には、特殊光判定部１１２ｃは、まず、画像内に注目領域を設定し、この注目領域内の各画素のＲＧＢ各色成分から平均色を算出する。そして、この平均色が、通常の粘膜領域における色相分布から外れているか否かを判定する。例えば、粘膜深部の血管を写し出す緑色の波長帯域の狭帯域光を用いて撮像が行われた場合、平均色は緑色方向にずれる。そのような場合、特殊光判定部１１２ｃは、当該画像が特殊光画像であると判定する。

或いは、特殊光画像を判定する別の手法として、特殊光判定部１１２ｃは、内視鏡２における撮像モードを特殊光撮像モードに切り換えたときの切換え信号を内視鏡２から取得することにより、システム的に判定を行っても良い。

正面視判定部１１２ｄは、判定対象の画像が、被写体である粘膜を正面から撮像した正面視画像であるか否かを判定する。正面視とは、内視鏡２の先端部２４に設けられた撮像部の視野が、管腔の側面にあたる粘膜を正面から捉えている状態をいう。

ここで、管腔の奥方向である管深部には照明光が届き難いため、撮像部の視野が管深部方向を向いている場合、画像内の中心付近に輝度の低い管深部領域が写る。また、この場合、管腔の側面にあたる粘膜が斜めに写っているため、画像内の粘膜領域の勾配強度が大きくなる。それに対し、撮像部の視野が粘膜の方向を向いている場合、管深部領域が画像内に写らなくなると共に、粘膜領域が支配的になり、さらに、粘膜領域の勾配強度が小さくなる。そこで、正面視判定部１１２ｄは、管深部領域が検出されず、粘膜領域が支配的、即ち、画像内の面積の所定比率以上を占め、且つ粘膜領域の勾配強度が閾値以下である画像を、正面視画像と判定する。粘膜領域の勾配強度は、粘膜領域における距離情報をもとに算出すれば良い。

管深部領域は、輝度が低く、ある程度の大きさの面積を有し、且つ、比較的円形に近い形状（細長くない形状）の領域として検出される。そこで、正面視判定部１１２ｄは、まず、画像内から輝度が閾値以下である低輝度領域を検出し、この低輝度領域の面積が所定値以上であるか否かを判定する。低輝度領域の面積が所定値以上である場合、正面視判定部１１２ｄはさらに、低輝度領域が細長い形状であるか否かを判定する。細長い形状の判定は、例えば、低輝度領域の外接矩形の面積に対する低輝度領域の面積の比率を算出し、この比率に基づいて行うことができる。具体的には、この比率が所定値以下である場合、低輝度領域の形状は細長い形状であり、当該低輝度領域は管深部領域ではないと判定される。一方、上記比率が所定値よりも大きい場合、当該低輝度領域は比較的円形に近い形状（細長くない形状）であり、当該低輝度領域は管深部領域であると判定される。

動き判定部１１２ｅは、画像内に写った構造の動きの小さい画像が一定期間以上連続して撮像されたか否かを判定する。詳細には、動き判定部１１２ｅは、まず、所定フレーム（例えば１フレーム又は数フレーム）先行する画像との間で対応する構造の動きを表す量を算出し、この量が閾値以下である画像を動きが小さい動き小画像として抽出する。そして、判定対象の画像が動き小画像であり、且つ、判定対象の画像に先立って、動き小画像が一定期間以上連続して撮像されたか否かを判定する。

画像内に写った構造の動きを表す量の一例を説明する。まず、画像内を複数の矩形領域に分割し、各矩形領域に対してブロックマッチング法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第二版、第２４３頁）により動きベクトルを算出する。そして、対比する画像間で相関値の高い矩形領域同士の動き量を表す動きベクトルの長さの代表値（最大値や平均値等）を、構造の動きを表す量として用いることができる。

注視動作判定部１１３は、判定対象の画像の撮像時における操作者の動作が、被検体内のある領域を操作者が注視する注視動作であるか否かを判定する。図５は、注視動作判定部１１３の構成を示すブロック図である。図５に示すように、注視動作判定部１１３は、処置領域判定部１１３ａと、正面視判定部１１３ｂと、近景判定部１１３ｃと、動き判定部１１３ｄと、襞裏確認判定部１１３ｅとを有する。なお、注視動作判定部１１３は、これらの各部のうちの少なくとも１つを有していれば良く、全てを有していても良い。注視動作判定部１１３は、これらの判定部の判定結果に基づいて注視動作の有無を判定する。

処置領域判定部１１３ａは、判定対象の画像に処置が施されて間もない領域が存在するか否かを判定する。処置が施されて間もない領域が存在すれば、操作者は当然その処置領域を注視していたと考えられるからである。被検体内において処置が施された場合、画像内に止血用のクリップ等の器具や、出血の跡が写った領域が観察される。処置領域判定部１１３ａは、このような器具及び出血の跡が写った領域を処置が施されて間もない処置領域として検出する。

クリップ等の器具は、画像内においては粘膜領域とは異なる色の管形状領域として観察される。そこで、処置領域判定部１１３ａは、まず、画像内の各画素のＲＧＢ各色成分から色特徴量の分布を算出し、粘膜領域の色特徴量の分布と異なる分布を呈する領域を候補領域として抽出する。そして、候補領域から輪郭を抽出し、さらに、この輪郭から直線や曲線といった幾何学的形状をハフ変換等により抽出する処理を行う。そして、輪郭から幾何学的形状が抽出された候補領域を器具が写った領域と判定する。また、出血領域については、画像内の各画素のＲＧＢ各色成分から色比Ｇ／Ｒを算出し、この色比を閾値処理することにより、鮮やかな赤色の領域を抽出する。

正面視判定部１１３ｂは、判定対象の画像が粘膜を正面から撮像した正面視画像であるか否かを判定する。正面視画像の判定方法は、鑑別動作判定部１１２の正面視判定部１１２ｄと同様である。

近景判定部１１３ｃは、判定対象の画像が、内視鏡２の先端部２４からの距離が所定値以下の領域を撮像した近景画像であるか否かを判定する。詳細には、近景判定部１１３ｃは、まず、画像内の各部における距離情報を取得し、これらの距離情報の代表値（最大値や平均値等）を算出する。そして、この代表値が所定の範囲内である場合に、当該画像は近景画像であると判定する。距離情報としては、上述した拡大画像の判定と同様、画素値のＲ成分の値を用いることができる。

動き判定部１１３ｄは、画像内に写った構造の動きの小さい画像が一定期間以上連続して撮像されたか否かを判定する。構造の動きを表す量の算出方法及び判定方法は、鑑別動作判定部１１２の動き判定部１１２ｅと同様である。

襞裏確認判定部１１３ｅは、判定対象の画像が、粘膜の襞裏の確認動作中に撮像されたものであるか否かを判定する。この判定は、画像内に内視鏡２の挿入部２１の一部が写っているか否かの判定により行われる。図６は、襞裏確認動作を説明するための模式図である。図６に示すように、内視鏡２（図１参照）の挿入部２１の挿入方向に対して粘膜の襞Ｐ１の裏側を観察する場合、基端側を振り返るように湾曲部２５を湾曲させる。そのため、先端部２４に設けられた撮像部の視野Ｖに挿入部２１自体が写り込んでしまう場合がある。このように画像に内視鏡２の一部が写っている場合、襞裏確認判定部１１３ｅは、当該画像は襞裏確認動作中に撮像されたものと判定する。

内視鏡２の挿入部２１が写った領域は、粘膜領域の色特徴量の分布と異なる分布を呈し、且つ、管形状をなす領域として検出される。具体的には、挿入部２１は、黒色近傍の色分布を呈する。そこで、襞裏確認判定部１１３ｅは、まず、画像内の各画素のＲＧＢ色成分をもとに、挿入部２１が取り得る色特徴量の分布に含まれる領域を候補領域として抽出する。そして、候補領域から輪郭を抽出し、この輪郭から直線又は曲線の幾何学的形状をハフ変換等により抽出する。そして、輪郭から幾何学的形状が抽出された場合、候補領域は挿入部２１の一部であると判定する。

挿入動作判定部１１４は、判定対象の画像の撮像時における操作者の動作が、被検体の肛門から盲腸に向かう方向に内視鏡を挿入する挿入動作であるか否かを判定する。ここで、内視鏡により大腸の検査を行う場合、通常は、内視鏡を肛門から大腸内に挿入し、内視鏡２の先端部２４を盲腸近傍まで進めた後、内視鏡２を大腸から引き抜く復路において病変部等の観察を行う。そのため、内視鏡２を挿入する往路において、操作者は挿入動作に注力し、診断としての観察はあまり行っていない。そのため、操作者の動作が内視鏡２の挿入動作（往路）であるか抜去動作（復路）であるかの判定は、診断対象とする画像の選別に関わってくる。

図７は、挿入動作判定部１１４の構成を示すブロック図である。図７に示すように、挿入動作判定部１１４は、往路判定部１１４ａと、移動方向判定部１１４ｂとを備える。挿入動作判定部１１４は、往路判定部１１４ａと移動方向判定部１１４ｂとのうち少なくともいずれかを有していれば良く、両方有していても良い。挿入動作判定部１１４は、これらの判定部の判定結果に基づいて挿入動作の有無を判定する。

往路判定部１１４ａは、被検体内に挿入された内視鏡２（図１参照）が往路、即ち、肛門から小腸側に向かう方向に移動中であるか否かを判定する。詳細には、往路判定部１１４ａは、内視鏡２の挿入部２１（図６参照）のうち大腸に挿入された部分の長さである挿入長と、大腸の形状に沿って湾曲する挿入部２１の挿入形状とのうちの少なくともいずれかに基づいて、内視鏡２が往路を移動中であるか否かを判定する。挿入長や挿入形状は、内視鏡２に内視鏡挿入形状観測装置（ＵＰＤ）を設けることにより、システム情報として取得することができる。往路判定部１１４ａは、ＵＰＤから得られる挿入長又は挿入形状をもとに、内視鏡２の先端部２４が盲腸付近に到達するまでの区間を往路として判定する。

或いは、往路判定部１１４ａは、内視鏡２により順次撮像される画像に対し、盲腸近傍が写っているか否かを判定し、盲腸近傍が写った画像が最初に出現するまでの区間を往路と判定しても良い。

ここで、大腸側から盲腸を観察すると、盲腸は回盲弁で小腸と繋がる以外は行止まりとなるため、画像には管深部領域が写らない。そこで、内視鏡２を大腸の管形状に沿って進めているにもかかわらず、画像に管深部領域が写らなくなった場合に、内視鏡２の先端部２４が盲腸近傍に到達したと判定することができる。管深部領域の検出方法は、鑑別動作判定部１１２の正面視判定部１１２ｄ（図４参照）と同様である。

ただし、先端部２４が粘膜を正面視している場合、盲腸近傍でなくても、画像に管深部領域が写らなくなる。そのため、画像内において粘膜領域が支配的である場合には、粘膜領域における輝度の勾配強度に基づいて、先端部２４が盲腸近傍に到達したか否かを判定しても良い。粘膜領域の輝度の勾配強度が小さい（閾値以下）場合には、先端部２４が粘膜を正面視しているため、先端部２４の向きを変えると、管深部領域が現れる可能性がある。一方、粘膜領域の輝度の勾配強度が大きい（閾値以上）場合には、先端部２４は管の奥（進行方向）向いているため、このような状態で管深部領域が検出されなくなった場合には、盲腸近傍に到達したと判定することができる。

移動方向判定部１１４ｂは、内視鏡２が当該内視鏡２の先端部２４に向かって移動しているのか、或いは、当該内視鏡２の基端部に向かって移動しているのかを判定する。内視鏡２が内視鏡２の先端部２４に向かって移動している場合、内視鏡２は往路を移動中と言える。一方、内視鏡２が内視鏡２の基端部に向かって移動している場合、内視鏡２は復路を移動中と言える。

移動方向判定部１１４ｂは、挿入部２１の挿入形状を取得し、この挿入形状に基づいて、画像内における管深部方向を決定する。なお、挿入形状は、往路判定部１１４ａと同様にシステム情報として取得することができる。例えば、内視鏡挿入形状観測装置（Endoscope Position Detecting Unit：ＵＰＤ）を用いることにより、内視鏡の先端位置や挿入長のデータを取得することができるため、挿入長が伸びた場合には内視鏡２が先端部２４に向かって移動していると判定し、挿入長が短くなった場合には内視鏡２が基端部に向かって移動していると判定する。或いは、画像内における管深部方向を、粘膜襞の輪郭エッジ形状に基づいて検出しても良い。ここで、粘膜襞の輪郭エッジは、基本的に、管深部方向と逆側に凸となる。そこで、粘膜襞の輪郭エッジを抽出し、この輪郭エッジの凹凸を判定することにより、管深部方向を決定することができる。

移動方向判定部１１４ｂは、さらに、判定対象の画像に対して所定フレーム先行する（例えば直前フレーム）画像との間における動きベクトルを取得し、この動きベクトルと画像内における管深部方向との関係から、内視鏡２の移動方向を検出する。つまり、動きベクトルの方向と画像内における奥方向が一致している場合、内視鏡２は先端部２４に向かって移動していると言える。一方、動きベクトルの方向と画像内における管深部方向が反対向きである場合、内視鏡２は基端部に向かって移動していると言える。

画像決定部１２０は、動作判定部１１０による判定結果に応じて、異常領域の検出対象画像を決定する。具体的には、動作判定部１１０により何等かの動作中に撮像された画像は、異常領域の検出対象画像から外され、それ以外の画像が、異常領域の検出対象画像として決定される。

検出部１３０は、画像決定部１２０が検出対象画像として決定した画像から異常領域を検出する処理を実行する。

次に、本実施の形態１に係る画像処理方法を説明する。図８は、本実施の形態１に係る画像処理方法を示すフローチャートである。

まず、ステップＳ１０において、演算部１５は、内視鏡２により撮像された画像を判定対象の画像として取得する。詳細には、操作者が操作入力部１２に対する操作により、内視鏡システム１による被検体内の検査を開始する命令を入力すると、操作入力部１２は、この命令を表す入力信号を発生して制御部１０に入力する。これに応じて、制御部１０の制御の下で、画像取得部１１が内視鏡２からの画像取得を開始する。画像取得部１１が取得した画像は一旦記憶部１４に保存され、演算部１５は、記憶部１４から画像を時系列的に順次読み出すことにより取得する。

続くステップＳ１１において、動作判定部１１０は、取得した画像をもとに、当該画像の撮像時になされていた動作を判定する。上述したように、動作判定部１１０は、処置動作判定部１１１と、鑑別動作判定部１１２と、注視動作判定部１１３と、挿入動作判定部１１４とのうちの少なくとも１つを備えていれば良いが、本実施の形態１においては、これらの全てを備えるものとして説明する。

図９は、画像をもとに動作を判定する処理の詳細を示すフローチャートである。まず、ステップＳ１１１において、処置動作判定部１１１は、当該画像の撮像時に処置動作がなされていたか否かを判定する。本実施の形態１においては、処置動作判定部１１１が処置具判定部１１１ａ及び洗浄動作判定部１１１ｂの両方を有するものとし、各々が画像に対する判定を行う。処置動作判定部１１１は、処置具判定部１１１ａが当該画像から処置具領域を検出した場合、又は洗浄動作判定部１１１ｂが画像から洗浄領域を検出した場合に、当該画像の撮像時に処置動作がなされていたと判定する。

当該画像の撮像時に処置動作がなされていたと判定された場合（ステップＳ１１１：Ｙｅｓ）、動作判定部１１０は、当該画像は動作中に撮像されたと判定する（ステップＳ１１２）。その後、処理はメインルーチンに戻る。一方、当該画像の撮像時に処置動作がなされていないと判定された場合（ステップＳ１１１：Ｎｏ）、処理はステップＳ１１３に移行する。

ステップＳ１１３において、鑑別動作判定部１１２は、当該画像の撮像時に鑑別動作がなされていたか否かを判定する。本実施の形態１においては、鑑別動作判定部１１２が拡大判定部１１２ａ〜動き判定部１１２ｅの全てを有するものとし、各々が当該画像に対する判定を行う。鑑別動作判定部１１２は、拡大判定部１１２ａが当該画像は拡大画像であると判定した場合、染色判定部１１２ｂが当該画像は染色画像であると判定した場合、特殊光判定部１１２ｃが当該画像は特殊光画像であると判定した場合、正面視判定部１１２ｄが当該画像は正面視画像であると判定した場合、又は、動き判定部１１２ｅが、当該画像に至るまで動き小画像が一定期間以上連続して撮像されたと判定した場合に、当該画像の撮像時に鑑別動作がなされていたと判定する。

当該画像の撮像時に鑑別動作がなされていたと判定された場合（ステップＳ１１３：Ｙｅｓ）、処理はステップＳ１１２に移行する。一方、当該画像の撮像時に鑑別動作がなされていないと判定された場合（ステップＳ１１３：Ｎｏ）、処理はステップＳ１１４に移行する。

ステップＳ１１４において、注視動作判定部１１３は、当該画像の撮像時に注視動作がなされていたか否かを判定する。本実施の形態１においては、注視動作判定部１１３が処置領域判定部１１３ａ〜襞裏確認判定部１１３ｅの全てを有するものとし、各々が当該画像に対する判定を行う。注視動作判定部１１３は、処置領域判定部１１３ａが当該画像内から処置領域を検出した場合、正面視判定部１１３ｂが当該画像は正面視画像であると判定した場合、近景判定部１１３ｃが当該画像は近景画像であると判定した場合、動き判定部１１３ｄが、当該画像に至るまで動き小画像が一定期間以上連続して撮像されたと判定した場合、又は、襞裏確認判定部１１３ｅが当該画像は襞裏確認動作中に撮像されたと判定した場合に、当該画像の撮像時に注視動作がなされていたと判定する。

当該画像の撮像時に注視動作がなされていたと判定された場合（ステップＳ１１４：Ｙｅｓ）、処理はステップＳ１１２に移行する。一方、当該画像の撮像時に注視動作がなされていないと判定された場合（ステップＳ１１４：Ｎｏ）、処理はステップＳ１１５に移行する。

ステップＳ１１５において、挿入動作判定部１１４は、当該画像の撮像時に内視鏡の挿入動作がなされていたか否かを判定する。本実施の形態１においては、挿入動作判定部１１４が往路判定部１１４ａ及び移動方向判定部１１４ｂの両方を備えているものとし、各々が当該画像に対する判定を行う。挿入動作判定部１１４は、往路判定部１１４ａが内視鏡２は往路を進行中と判定した場合、又は、移動方向判定部１１４ｂが内視鏡２は管深部方向に進行中と判定した場合に、当該画像の撮像時に内視鏡の挿入動作がなされていたと判定する。

当該画像の撮像時に挿入動作がなされていたと判定された場合（ステップＳ１１５：Ｙｅｓ）、処理はステップＳ１１２に移行する。一方、当該画像の撮像時に挿入動作がなされていないと判定された場合（ステップＳ１１５：Ｎｏ）、動作判定部１１０は、当該画像は操作者が所定の動作を行っていないときに撮像されたと判定する（ステップＳ１１６）。その後、処理はメインルーチンに戻る。

なお、上記ステップＳ１１１、Ｓ１１３、Ｓ１１４、Ｓ１１５の全て又は一部の判定を同時並行に行い、それにより得られる複数の判定結果に対して、予め判定の優先順位を決めておいても良い。例えば、処置動作判定、鑑別動作判定、注視動作判定、挿入動作判定の順に優先順位を設定し、優先順位の高い順に判定結果を照会することとしても良い。或いは、これらの判定結果を同時に照会し、少なくとも１つが動作中と判定された場合に当該画像は動作中に撮像されたと判定しても良い。

ステップＳ１１に続くステップＳ１２において、画像決定部１２０は、操作者が所定の動作を行っていないときに撮像されたと判定された画像を、異常領域の検出対象画像として決定する。具体的には、処置動作、鑑別動作、注視動作、及び挿入動作のいずれも行っていないときに撮像された画像が検出対象画像として決定される。

続くステップＳ１３において、検出部１３０は、検出対象画像から異常領域を検出する。詳細には、まず、検出対象画像に対し、粘膜領域を検出対象領域として設定する。具体的には、検出対象画像内の色特徴量や形状特徴量や周波数成分をもとに、非粘膜領域である残渣領域、泡領域、暗部領域、及び鏡面反射領域を除去する。

残渣領域、泡領域、暗部領域、及び鏡面反射領域の検出方法は、公知の種々の方法を用いることができる。一例として、残渣領域は、画像内の各画素の画素値（ＲＧＢの各色成分）から算出した色特徴量をもとに、粘膜の色特徴量の分布域よりも相対的に黄緑側に分布する領域として検出することができる。粘膜の色特徴量の分布域は、画像内の平均色や主要な色特徴量の分布範囲等に基づいて予め取得しておく。また、泡領域は、所定範囲の周波数成分を持つ領域として検出することができる。暗部領域は、画像内の各画素のＲＧＢ各色成分から輝度を算出し、この輝度を閾値処理することにより検出することができる。鏡面反射領域は、各画素のＲＧＢ各色成分から算出した色特徴量をもとに白色領域を抽出し、この白色領域の周囲（粘膜領域）の画素の画素値の変化に基づき、曲面近似等で境界を補間することにより検出することができる。なお、色特徴量としては、ＲＧＢ各色成分をＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比を用いることができる。或いは、ＲＧＢ各色成分をそのまま色特徴量として用いても良い。

続いて、検出部１３０は、検出対象領域内の任意の１つ以上の領域を判別領域として設定し、各判別領域に対して特徴量を算出する。特徴量としては、色特徴量、輪郭（エッジ）や面形状（画素値勾配）等の形状特徴量、テクスチャ特徴量等の種々の特徴量を用いることができる。そして、これらの特徴量を１つの特徴ベクトルとして統合し、この特徴ベクトルをもとに、各判別領域が異常領域であるか否かを判別するための判別指標を算出する。判別指標の算出方法は公知の技術を用いることができる。一例として、次式（１）に示す確率モデルに基づく判別指標Ｐ（ｘ）を算出する。検出部１３０は、判別指標Ｐ（ｘ）が事前に取得された閾値よりも大きい判別領域を異常領域として検出する。

判定指標Ｐ（ｘ）は、判別領域の特徴ベクトルが異常領域の特徴ベクトルらしいか否かを示す指標である。判定指標Ｐ（ｘ）の値が大きいほど、判別領域は異常領域らしいと言える。つまり、判定指標Ｐ（ｘ）は、判別領域と異常領域との一致度を表す。また、式（１）に示す記号ｘは、判定領域の特徴ベクトル（ｋ行１列）を示す。また、記号μは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの平均ベクトル（ｋ行１列）である。記号Ｚは、事前に取得された異常領域の複数のサンプルにおける特徴ベクトルの分散共分散行列（ｋ行ｋ列）である。記号｜Ｚ｜はこの行列Ｚの行列式であり、記号Ｚ^-1は、行列Ｚの逆行列である。

なお、判別領域が異常領域であるか否かの判別については、式（１）を用いる方法以外にも種々の方法を用いることができる。例えば、判別領域の特徴ベクトルと異常領域の代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内に分類境界を設定する方法が挙げられる。

続くステップＳ１４において、演算部１５は、検出部１３０による異常領域の検出結果を出力する。詳細には、判定対象の画像から異常領域が検出された場合、制御部１０は検出された異常領域を強調表示する画像を生成して、表示装置５に表示させる。強調表示の一例として、異常領域を囲むラインや異常領域を指す矢印などを元の判定対象の画像に重畳表示する。或いは、元の判定対象の画像に、「異常領域あり」といったテキストを重畳表示しても良い。その後、当該判定対象画像に対する処理は終了する。

以上説明したように、本実施の形態１によれば、判定対象の画像の撮像時における操作者の動作を判定し、所定の動作がなされていた画像は異常領域の検出対象とせず、それ以外の画像からのみ異常領域を検出するので、効率の良い診断支援を行うことが可能となる。

（変形例）
次に、本発明の実施の形態１の変形例について説明する。上記実施の形態１において、動作判定部１１０は、判定対象の画像の各々に対し、処置動作判定、鑑別動作判定、注視動作判定、及び挿入動作判定の全てを実行した。しかしながら、これらの動作判定は必ずしも全てを行う必要はなく、実行させる動作判定の種類を操作者が選択できるようにしても良い。

例えば、被検体内を観察するのみで何ら処置を行わない場合には、処置動作判定を行う必要はない。また、既に挿入動作が終了しているフェーズでは、挿入動作判定を行う必要はない。このように、検査の目的や検査中のフェーズに応じて、動作判定部１１０に実行させる動作判定の種類を操作者が適宜選択することにより、画像処理を効率的に行うことができる。

実行させる動作判定の種類は、操作入力部１２に対する操作により入力することができる。操作入力部１２から、１つ以上の動作判定を選択する信号が入力された場合、動作判定部１１０は、選択された動作判定の種類に応じた判定部に処理を実行させれば良い。

（実施の形態２）
次に本発明の実施の形態２について説明する。図１０は、本実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。本実施の形態２に係る画像処理装置は、図１に示す演算部１５の代わりに、図１０に示す演算部１６を備える。演算部１６以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

演算部１６は、判定対象の画像の撮像時における操作者の動作を判定する動作判定部１１０と、異常領域の検出対象画像を決定する画像決定部１２０と、異常領域の検出対象画像を所定の条件で分類する分類部２１０と、分類部２１０による分類結果に応じて異常領域の検出処理を行う検出部２２０とを備える。このうち、動作判定部１１０及び画像決定部１２０の構成及び動作は、実施の形態１と同様である。

分類部２１０は、照明光分類部２１１と、非粘膜領域検出部２１２と、画像変化分類部２１３とを有し、画像決定部１２０が決定した検出対象画像に対し、これらの各部が各々の条件で分類を行う。なお、分類部２１０は、これらの各部の内の少なくとも１つを有していれば良く、全てを有していても良い。

照明光分類部２１１は、撮像時に用いられた照明光に応じて検出対象画像を分類する。具体的には、検出対象画像を、白色光により撮像された画像と、特定の波長帯域の狭帯域光である特殊光により撮像された画像とに分類する。この分類は、鑑別動作判定部１１２の特殊光判定部１１２ｃと同様に、判定対象の画像における平均色に基づいて行う。照明光分類部２１１は、画像内に設定した注目領域の平均色が粘膜領域における色相分布に対して緑色方向にずれる画像を特殊光により撮像された画像と分類し、それ以外の画像を通常光により撮像された画像と分類する。

非粘膜領域検出部２１２は、検出対象画像から鉗子等の処置具や、クリップ等の器具や、内視鏡２の一部等が写った領域など、粘膜以外の領域、即ち非粘膜領域を検出する処理を行い、このような非粘膜領域が検出されるか否かで検出対象画像を分類する。鉗子等の処置具が写った領域の検出方法は、処置動作判定部１１１の処置具判定部１１１ａ（図３参照）と同様である。クリップ等の器具が写った領域の検出方法は、注視動作判定部１１３の処置領域判定部１１３ａ（図５参照）と同様である。内視鏡２の一部が写った領域の検出方法は、注視動作判定部１１３の襞裏確認判定部１１３ｅ（同上）と同様である。

画像変化分類部２１３は、先行するフレームの画像に対する検出対象画像の変化の大小により検出対象画像を分類する。詳細には、画像変化分類部２１３は、所定フレーム先行する（例えば直前フレーム）画像と当該画像との間における動きベクトルを算出する。なお、動きベクトルは、鑑別動作判定部１１２の動き判定部１１２ｅ（図４参照）と同様に、画像内を複数の矩形領域に分割し、各矩形領域に対するブロックマッチング法により算出する。

そして、画像変化分類部２１３は、対比する画像間で相関値の高い矩形領域の数を、画像の変化を表す量として分類を行う。即ち、相関値の高い矩形領域が所定数未満である画像を、変化の大きい画像として分類する。一方、相関値の高い矩形領域が所定数以上存在する画像を、変化の小さい画像として分類する。さらに、画像変化分類部２１３は、変化の小さい画像が時系列に沿って所定期間連続する場合に、当該連続する期間に含まれる画像を、変化小継続画像と判定する。

検出部２２０は、分類部２１０による分類結果に応じて、検出対象画像内に検出対象領域を設定する検出対象領域設定部２２１を備える。検出対象領域設定部２２１は、分類部２１０の構成に応じて、不鮮明領域限定部２２１ａと、非粘膜領域除外部２２１ｂと、新出領域限定部２２１ｃとのうちの少なくとも１つを有する。分類部２１０が照明光分類部２１１、非粘膜領域検出部２１２、及び画像変化分類部２１３の全てを有する場合、検出対象領域設定部２２１も、不鮮明領域限定部２２１ａ、非粘膜領域除外部２２１ｂ、及び新出領域限定部２２１ｃの全てを有する。

不鮮明領域限定部２２１ａは、照明光分類部２１１が特殊光により撮像されたと分類した検出対象画像に対し、テクスチャ構造が不鮮明な領域に限定して検出対象領域を限定する。

非粘膜領域除外部２２１ｂは、非粘膜領域検出部２１２が非粘膜領域を検出した検出対象画像に対し、非粘膜領域以外の領域を検出対象領域として設定する。

新出領域限定部２２１ｃは、画像変化分類部２１３が検出対象画像の変化の大小に応じて分類した検出対象画像に対して検出対象領域を設定する。ここで、新出領域とは、先行するフレームの画像内には存在せず、当該検出対象画像において新たに出現した領域、即ち、内視鏡２の進行方向において新たに視野に入った領域のことである。

次に、本実施の形態２に係る画像処理方法を説明する。図１１は、本実施の形態２に係る画像処理方法を示すフローチャートである。なお、図１１のステップＳ１０〜Ｓ１２は、実施の形態１と同様である（図８参照）。

ステップＳ１２に続くステップＳ２１において、分類部２１０は、ステップＳ１２において決定された検出対象画像を分類する。本実施の形態２においては、分類部２１０が照明光分類部２１１、非粘膜領域検出部２１２、及び画像変化分類部２１３の全てを備えているものとし、各部が検出対象画像の分類を行う。即ち、検出対象画像が特殊光により撮像された画像であるか否かの分類と、検出対象画像から非粘膜領域が検出されたか否かの分類と、先行するフレームの画像に対する検出対象画像の変化の大小の分類とがなされる。

続くステップＳ２２において、検出対象領域設定部２２１は、ステップＳ２１における検出対象画像の分類結果に基づいて検出対象領域を設定する。図１２は、検出対象領域の設定処理の詳細を示すフローチャートである。本実施の形態２においては、検出対象領域設定部２２１が不鮮明領域限定部２２１ａ、非粘膜領域除外部２２１ｂ、及び新出領域限定部２２１ｃの全てを備えているものとして説明する。

ステップＳ２２１において、検出対象領域設定部２２１は、検出対象画像が特殊光で撮像された画像に分類されたか否かを判定する。特殊光で撮像された画像に分類されていない場合(ステップＳ２２１：Ｎｏ)、処理は直接ステップＳ２２３に移行する。

一方、検出対象画像が特殊光で撮像された画像に分類された場合（ステップＳ２２１：Ｙｅｓ）、不鮮明領域限定部２２１ａは、当該検出対象画像内においてテクスチャ構造が不鮮明な領域を検出対象領域として設定する（ステップＳ２２２）。

ここで、特殊光撮像は、通常、鑑別動作中に注目領域のテクスチャ構造の状態を分類するために行われる。そのため、テクスチャ構造が不鮮明な領域、即ち、ぼけている領域は鑑別対象とされていないと考えられる。そこで、本ステップＳ２２２においては、鑑別対象にされていない、このぼけている領域を検出対象領域として設定する。ぼけている領域は、画像内の周波数成分のコントラストが、鑑別動作時の許容範囲内であるか否かによって抽出することができる。つまり、コントラストが鑑別動作時の許容範囲外である領域が、検出対象領域として設定される。その後、処理はステップＳ２２３に移行する。

ステップＳ２２３において、検出対象領域設定部２２１は、検出対象画像が非粘膜領域が検出された画像に分類されたか否かを判定する。非粘膜領域が検出された画像に分類されていない場合（ステップＳ２２３：Ｎｏ）、処理は直接ステップＳ２２５に移行する。

一方、非粘膜領域が検出された画像に分類された場合（ステップＳ２２３：Ｙｅｓ）、非粘膜領域除外部２２１ｂは、当該検出対象画像に対して非粘膜領域以外の領域を検出対象領域に設定する（ステップＳ２２４）。具体的には、非粘膜領域に対してマスク処理を行う。なお、ステップＳ２２２において既に検出対象領域が設定されている場合には、検出対象領域が新たに加えられる。その後、処理はステップＳ２２５に移行する。

ステップＳ２２５において、検出対象領域設定部２２１は、検出対象画像が変化の大きい画像に分類されたか否かを判定する。変化の大きい画像に分類された場合（ステップＳ２２５：Ｙｅｓ）、新出領域限定部２２１ｃは画像全体を検出対象領域に設定する（ステップＳ２２６）。その後、処理はメインルーチンに戻る。

一方、検出対象画像が変化の小さい画像に分類された場合（ステップＳ２２５：Ｎｏ）、新出領域限定部２２１ｃは、当該検出対象画像において新たに出現した新出領域を検出対象領域に設定する（ステップＳ２２７）。なお、ステップＳ２２２又はＳ２２４において既に検出対象領域が設定されている場合には、検出対象領域が新たに加えられる。

新出領域の位置及び大きさは、画像変化分類部２１３からブロックマッチング法によって得られた動き方向及び動き幅をもとに決定される。詳細には、まず、動き方向をもとに内視鏡２の動きを分類する。具体的には、動き方向が所定以上の数において同じ方向を向く場合、内視鏡２の動きを平行移動と分類する。また、動き方向が１点を基準に外側を向く場合、即ち、動き方向が１点から外側に向かって拡散している場合、内視鏡２の動きを前進と分類する。動き方向が１点を基準に内側を向く場合、即ち、動き方向が１点に向かって集束している場合、内視鏡２の動きを後進と分類する。それ以外のパターンの場合には新出領域が未検出として、当該検出対象画像を変化の大きい画像と同じ扱いとする。

続いて、動き方向及び動き幅から新出領域の位置及びサイズを推定する。具体的には、内視鏡２の動きの分類が平行移動の場合、新出領域の位置は画像端(左右上下)の４方向の何れかであり、動き方向の基端側の方向、即ち、動きの出発点の方向によって決まる。例えば、動き方向が左下から右上に向かっている場合、新出領域の位置は画像の左端及び下端となる。また、新出領域の大きさは、動き幅をベクトル量とする動き方向ベクトルを新出領域の位置の方向の成分に分解した時の各成分の大きさで決まる。

内視鏡２の動きの分類が前進の場合、新出領域の位置は、動き方向の基端側が集中する上記１点であり、新出領域の大きさは動き幅に決定される。内視鏡２の動きの分類が後進の場合、新出領域の位置は画像端の４方向全てであり、新出領域の大きさは動き幅に決定される。その後、処理はメインルーチンに戻る。

ステップＳ２２に続くステップＳ２３において、検出部２２０は、ステップＳ２２において設定された検出対象領域から異常領域を検出する。異常領域の検出処理は、検出対象が検出対象領域に限定される点を除いて、実施の形態１（図８のステップＳ１３参照）と同様である。続くステップＳ１４も、実施の形態１と同様である。

以上説明したように、本実施の形態２によれば、画像の撮像時における操作者の動作に基づいて決定された異常領域の検出対象画像に対し、さらに操作者の動作に基づく分類を行い、この分類結果に基づいて異常領域の検出対象領域を絞り込むので、より効率の良い画像処理を行うことが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図１３は、本実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。本実施の形態３に係る画像処理装置は、図１に示す演算部１５の代わりに、図１３に示す演算部１７を備える。演算部１７以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。

演算部１７は、図１０に示す演算部１６に対し、検出対象領域設定部２２１に加えて検出パラメータ設定部３１１を有する検出部３１０を備える。検出パラメータ設定部３１１以外の演算部１７の各部の構成は、実施の形態２と同様である。

検出パラメータ設定部３１１は、画像決定部１２０が決定した検出対象画像に対して分類部２１０が行った分類結果に応じて、検出対象領域設定部２２１が設定した検出対象領域に対する異常領域の検出処理において用いられる検出パラメータを設定する。

次に、本実施の形態３に係る画像処理方法を説明する。図１４は、本実施の形態３に係る画像処理方法を示すフローチャートである。なお、図１４のステップＳ１０〜Ｓ２２は、実施の形態２と同様である（図１１参照）。

ステップＳ２２に続くステップＳ３１において、検出パラメータ設定部３１１は、ステップＳ２１における分類結果に基づいて、ステップＳ２２において設定された検出対象領域の各々から異常領域を検出する際の検出パラメータを設定する。ここで、検出パラメータには、異常領域を表す特徴量の特徴空間における識別境界、異常領域の特徴量の分布モデル、識別関数、代表的な分布パターン等が含まれる。このような検出パラメータは、分類部２１０によって分類され得るバリエーションに応じて、教師データを用いて事前に作成され、記憶部１４に記憶される。

具体例として、特殊光により撮像された画像と分類された検出対象画像のうち、テクスチャ構造の鮮明な領域が検出対象領域として設定された場合（図１２のステップＳ２２２参照）、当該検出対象領域に対し、通常光とは異なる特殊光の色分布モデルに基づいて作成された検出パラメータが記憶部１４から読み出されて設定される。また、非粘膜領域を除いた粘膜領域が検出対象領域として設定された場合（図１２のステップＳ２２４参照）、通常光の下での粘膜の色分布モデルに基づいて作成された検出パラメータが記憶部１４から読み出されて設定される。さらに、粘膜領域且つ新出領域といった複数の撮像状況が複合的に生じている領域が検出対象領域として設定された場合、これらの撮像状況に応じた教師データをもとに作成された検出パラメータが記憶部１４から読み出されて設定される。

本発明は、実施の形態１〜３及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 内視鏡システム
２ 内視鏡
３ 光源装置
４ 画像処理装置
５ 表示装置
１０ 制御部
１１ 画像取得部
１２ 操作入力部
１３ 出力部
１４ 記憶部
１４１ プログラム記憶部
１５、１６、１７ 演算部
２１ 挿入部
２２ 操作部
２２ａ 湾曲ノブ
２２ｂ 処置具挿入部
２２ｃ スイッチ
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓針管
２７ コネクタ部
２８ コイルケーブル
２９ 電気コネクタ部
１１１ 処置動作判定部
１１１ａ 処置具判定部
１１１ｂ 洗浄動作判定部
１１２ 鑑別動作判定部
１１２ａ 拡大判定部
１１２ｂ 染色判定部
１１２ｃ 特殊光判定部
１１２ｄ、１１３ｂ 正面視判定部
１１２ｅ、１１３ｄ 動き判定部
１１３ 注視動作判定部
１１３ａ 処置領域判定部
１１３ｃ 近景判定部
１１３ｅ 襞裏確認判定部
１１４ 挿入動作判定部
１１４ａ 往路判定部
１１４ｂ 移動方向判定部
１２０ 画像決定部
１３０、２２０、３１０ 検出部
２１０ 分類部
２１１ 照明光分類部
２１２ 非粘膜領域検出部
２１３ 画像変化分類部
２２１ 検出対象領域設定部
２２１ａ 不鮮明領域限定部
２２１ｂ 非粘膜領域除外部
２２１ｃ 新出領域限定部
３１１ 検出パラメータ設定部

Claims (28)

1. 被検体に挿入された内視鏡が撮像した画像に基づき、前記画像の撮像時における当該内視鏡の操作者の動作が、前記被検体に対して処置を行う処置動作、前記画像内の任意の部分を鑑別する鑑別動作、被写体を注視する注視動作、及び前記内視鏡を前記被検体内に挿入する挿入動作の少なくともいずれかの動作であるか否かを判定する動作判定部と、
   前記動作判定部による判定結果に基づいて、前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の少なくともいずれかの動作時に撮像された前記画像を特定領域の検出対象画像から外し、それ以外の前記画像を前記検出対象画像とする画像決定部と、
   前記検出対象画像から前記特定領域を検出する検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記動作判定部は、前記撮像時における操作者の動作が、前記処置動作であるか否かを判定する処置動作判定部を備える、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処置動作判定部は、
   前記画像内から、輝度が閾値よりも高く、且つ管形状をなす領域を処置具領域として検出する処置具判定部を有し、
   前記処置具判定部が前記処置具領域を検出した場合に、前記撮像時における操作者の動作が前記処置動作であると判定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記処置動作判定部は、
   前記画像内から、鏡面反射を呈し、且つ面積及び位置の時間変化が大きい領域を洗浄領域として検出する洗浄動作判定部を有し、
   前記洗浄動作判定部が前記洗浄領域を検出した場合に、前記撮像時における操作者の動作が前記処置動作であると判定する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記動作判定部は、前記撮像時における操作者の動作が、前記鑑別動作であるか否かを判定する鑑別動作判定部を備える、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記鑑別動作判定部は、
   前記画像が前記内視鏡の先端部を被写体に所定距離以下まで近づけて撮像した拡大画像であるか否かを判定する拡大判定部を有し、
   前記拡大判定部が前記画像は前記拡大画像であると判定した場合に、前記撮像時における操作者の動作が前記鑑別動作であると判定する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記鑑別動作判定部は、
   前記画像が染色された被写体を撮像した染色画像であるか否かを判定する染色判定部を有し、
   前記染色判定部が前記画像は前記染色画像であると判定した場合に、前記撮像時における操作者の動作が前記鑑別動作であると判定する、
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記鑑別動作判定部は、
   前記画像が特殊光を用いて撮像した特殊光画像であるか否かを判定する特殊光判定部を有し、
   前記特殊光判定部が前記画像は前記特殊光画像であると判定した場合に、前記撮像時における操作者の動作が前記鑑別動作であると判定する、
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記鑑別動作判定部は、
   前記画像が被写体を正面から撮像した正面視画像であるか否かを判定する正面視判定部を有し、
   前記正面視判定部が前記画像は前記正面視画像であると判定した場合に、前記撮像時における操作者の動作が前記鑑別動作であると判定する、
   ことを特徴とする請求項５に記載の画像処理装置。
10. 前記鑑別動作判定部は、
    前記画像が、所定フレーム先行する画像との間において対応する構造の動きを表す量が閾値以下である動き小画像であり、且つ、前記画像に先立って前記動き小画像が一定期間以上連続して撮像されたか否かを判定する動き判定部を有し、
    前記動き判定部が、前記画像が前記動き小画像であり、且つ前記画像に先立って前記動き小画像が一定期間以上連続して撮像されたと判定した場合に、前記撮像時における操作者の動作が前記鑑別動作であると判定する、
    ことを特徴とする請求項５に記載の画像処理装置。
11. 前記動作判定部は、前記撮像時における操作者の動作が、前記注視動作であるか否かを判定する注視動作判定部を備える、ことを特徴とする請求項１に記載の画像処理装置。
12. 前記注視動作判定部は、
    前記画像内から、粘膜領域とは異なる色を有する管形状の領域と、出血領域とを検出する処置領域判定部を有し、
    前記処置領域判定部が前記管形状の領域及び前記出血領域を検出した場合に、前記撮像時における操作者の動作が前記注視動作であると判定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記注視動作判定部は、
    前記画像が被写体を正面から撮像した正面視画像であるか否かを判定する正面視判定部を有し、
    前記正面視判定部が前記画像は前記正面視画像であると判定した場合に、前記撮像時における操作者の動作が前記注視動作であると判定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記注視動作判定部は、
    前記画像が、前記内視鏡の先端部からの距離が所定値以下の領域を撮像した近景画像であるか否かを判定する近景判定部を有し、
    前記近景判定部が前記画像は前記近景画像であると判定した場合に、前記撮像時における操作者の動作が前記注視動作であると判定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
15. 前記注視動作判定部は、
    前記画像が、所定フレーム先行する画像との間において対応する構造の動きを表す量が閾値以下である動き小画像であり、且つ、前記画像に先立って前記動き小画像が一定期間以上連続して撮像されたか否かを判定する動き判定部を有し、
    前記動き判定部が、前記画像が前記動き小画像であり、且つ前記画像に先立って前記動き小画像が一定期間以上連続して撮像されたと判定した場合に、前記撮像時における操作者の動作が前記注視動作であると判定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
16. 前記注視動作判定部は、
    前記画像から、前記内視鏡の一部が写った内視鏡領域を検出し、
    前記画像から前記内視鏡領域が検出された場合に、前記撮像時における操作者の動作が前記注視動作であると判定する、
    ことを特徴とする請求項１１に記載の画像処理装置。
17. 前記動作判定部は、前記撮像時における操作者の動作が、前記挿入動作であるか否かを判定する挿入動作判定部を備える、ことを特徴とする請求項１に記載の画像処理装置。
18. 前記挿入動作判定部は、
    前記被検体の肛門から挿入された前記内視鏡が前記被検体の大腸から盲腸に向かう往路を移動中であるか否かを判定する往路判定部を有し、
    前記往路判定部が前記内視鏡は前記往路を移動中であると判定した場合に、前記撮像時における操作者の動作は前記挿入動作であると判定する、
    ことを特徴とする請求項１７に記載の画像処理装置。
19. 前記挿入動作判定部は、
    前記内視鏡が当該内視鏡の先端部と基端部とのいずれの方向に移動しているかを判定する移動方向判定部を有し、
    前記移動方向判定部が、前記内視鏡は当該内視鏡の先端部に向かって移動していると判定した場合に、前記撮像時における操作者の動作は前記挿入動作であると判定する、
    ことを特徴とする請求項１７に記載の画像処理装置。
20. 当該画像処理装置に対して、前記動作判定部に実行させる前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の動作判定の種類を入力する操作入力部をさらに備える、
    ことを特徴とする請求項１に記載の画像処理装置。
21. 前記検出対象画像を所定の条件で分類する分類部をさらに備え、
    前記検出部は、前記分類部による分類結果に応じて、前記検出対象画像に対して前記特定領域の検出対象領域を設定する検出対象領域設定部を備える、
    ことを特徴とする請求項１に記載の画像処理装置。
22. 前記分類部は、撮像時における照明光の種類に応じて前記検出対象画像を分類する照明光分類部を有し、
    前記検出対象領域設定部は、撮像時における照明光が特殊光であると分類された検出対象画像に対し、当該検出対象画像の周波数成分のコントラストに基づいて前記検出対象領域を設定する、
    ことを特徴とする請求項２１に記載の画像処理装置。
23. 前記分類部は、前記検出対象画像内から非粘膜領域を検出する非粘膜領域検出部を有し、
    前記検出対象領域設定部は、前記非粘膜領域が検出された検出対象画像に対し、前記非粘膜領域以外の領域を前記検出対象領域に設定する、
    ことを特徴とする請求項２１に記載の画像処理装置。
24. 前記分類部は、所定フレーム先行する画像に対する前記検出対象画像の変化の大きさに応じて前記検出対象画像を分類する画像変化分類部を有し、
    前記検出対象領域設定部は、前記変化が大きいと分類された検出対象画像に対し、当該検出対象画像全体を前記検出対象領域に設定し、前記変化が小さいと分類された検出対象画像に対し、前記先行するフレームの画像に存在しない新出領域を前記検出対象領域に設定する、
    ことを特徴とする請求項２１に記載の画像処理装置。
25. 前記分類部による分類結果に応じて、前記検出対象領域から前記特定領域を検出する際に用いられる検出パラメータを設定する検出パラメータ設定部をさらに備えることを特徴とする請求項２１に記載の画像処理装置。
26. 請求項１〜２５のいずれか１項に記載の画像処理装置と、
    前記内視鏡と、
    を備えることを特徴とする内視鏡システム。
27. 演算部が、被検体に挿入された内視鏡が撮像した画像に基づき、前記画像の撮像時における当該内視鏡の操作者の動作が、前記被検体に対して処置を行う処置動作、前記画像内の任意の部分を鑑別する鑑別動作、被写体を注視する注視動作、及び前記内視鏡を前記被検体内に挿入する挿入動作の少なくともいずれかの動作であるか否かを判定する動作判定ステップと、
    前記演算部が、前記動作判定ステップにおける判定結果に基づいて、前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の少なくともいずれかの動作時に撮像された前記画像を特定領域の検出対象画像から外し、それ以外の前記画像を前記検出対象画像とする画像決定ステップと、
    前記演算部が、前記検出対象画像から前記特定領域を検出する検出ステップと、
    を含むことを特徴とする画像処理方法。
28. 被検体に挿入された内視鏡が撮像した画像に基づき、前記画像の撮像時における当該内視鏡の操作者の動作が、前記被検体に対して処置を行う処置動作、前記画像内の任意の部分を鑑別する鑑別動作、被写体を注視する注視動作、及び前記内視鏡を前記被検体内に挿入する挿入動作の少なくともいずれかの動作であるか否かを判定する動作判定ステップと、
    前記動作判定ステップにおける判定結果に基づいて、前記処置動作、前記鑑別動作、前記注視動作、及び前記挿入動作の少なくともいずれかの動作時に撮像された前記画像を特定領域の検出対象画像から外し、それ以外の前記画像を前記検出対象画像とする画像決定ステップと、
    前記検出対象画像から前記特定領域を検出する検出ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images