JP6833870B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に内視鏡検査のための画像処理装置に関する。

従来より、内視鏡が医療分野等で広く利用されている。内視鏡を用いることにより、例えば、術者は、表示装置に表示された被検体内の内視鏡画像を見て、病変部の発見及び鑑別、さらに病変部に対する処置具を用いた処置を行うことができる。

術者は、表示装置に表示される内視鏡画像を見ながら、被検体内の病変部の有無を判断する。術者は、内視鏡の挿入部を動かしながら、病変部の有無を判断し、病変部を発見すると、挿入部の先端部を静止させて、内視鏡画像を見て病変部の鑑別、すなわち病気の特定を行う。

術者が被検体内を観察しているときに、発見した病変部の鑑別を行いたいときは、内視鏡画像をしっかりと観察すると共に、内視鏡画像に対して所望の画像処理を施してみたり、その画像処理の結果から所望の特徴量情報等を支援情報として表示させたりする場合もある。

また、特開２０１０−６３５８号公報には、観察部位と挿入部の先端部との相対的な動きの量を検出して、動きの量が所定の閾値を超える場合には、特殊光観察用の照明光の照射を停止する内視鏡システムが提案されている。

しかし、従来の装置の場合、上述したような支援情報をモニタに表示させるには、術者は、繁雑な指示操作が必要となり、鑑別をスムーズに行うことができないという問題がある。また、上述した提案の内視鏡システムでは、病変部の鑑別のための支援情報を術者へ提示することについては何ら考慮されていない。従来の装置は、術者への鑑別支援をスムーズに提供するものではなかった。

そこで、本発明は、術者が内視鏡を用いて病変部の鑑別を行うときに、術者がその鑑別支援をスムーズに受けることができる画像処理装置を提供することを目的とする。

本発明の一態様の画像処理装置は、内視鏡からの信号若しくは前記内視鏡に対する信号に基づいて、前記内視鏡の操作者が、前記内視鏡の観察対象における病変部を分類する鑑別を行っている鑑別状態にあることを判定する鑑別状態判定部と、前記鑑別状態判定部の判定結果に応じて、前記操作者による前記病変部の前記鑑別を支援する鑑別支援部と、を備え、前記鑑別支援部は、鑑別分類結果を推定する鑑別分類結果推定部と、前記鑑別分類結果推定部により推定された前記鑑別分類結果を、支援情報として、文字情報により表示装置に表示するために出力する情報出力部と、を有し、前記鑑別分類結果推定部は、観察光が通常光か特殊光かを判定する観察光判定部と、前記鑑別のための鑑別指標を切り替える鑑別指標切替部と、を備え、前記鑑別指標切替部は、前記観察光判定部により判定された前記観察光に基づいて前記鑑別指標を切り替え、前記鑑別分類結果推定部は、前記鑑別指標切替部により切り替えられた前記鑑別指標に基づいて前記病変部についての前記鑑別分類結果を推定する。

本発明の第１の実施の形態に関わる内視鏡装置の構成図である。 本発明の第１の実施の形態に関わるプロセッサ１２の画像処理に関わる構成を示すブロック図である。 本発明の第１の実施の形態に関わる制御演算部２２の演算部２２ｂの構成を示すブロック図である。 本発明の第１の実施の形態に関わる鑑別状態判定部３２の構成を示すブロック図である。 本発明の第１の実施の形態に関わる鑑別支援部３３の構成を示すブロック図である。 本発明の第１の実施の形態に関わる、制御演算部２２における鑑別支援処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に関わる鑑別状態判定処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に関わる、鑑別支援処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に関わる、モニタ１３に表示された鑑別支援情報の例を説明するための図である。 本発明の第２の実施の形態に関わる内視鏡装置の構成図である。 本発明の第２の実施の形態に関わる、プロセッサ１２の画像処理に関わる構成を示すブロック図である。 本発明の第２の実施の形態における鑑別状態判定処理の流れの例を示すフローチャートである。 本発明の第３の実施の形態に関わる、プロセッサ１２の画像処理に関わる構成を示すブロック図である。 本発明の第３の実施の形態における鑑別状態判定処理の流れの例を示すフローチャートである。 変形例１の鑑別状態判定処理の流れの例を示すフローチャートである 変形例２の鑑別状態判定処理の流れの例を示すフローチャートである。 変形例３の鑑別支援処理の流れの例を示すフローチャートである。 変形例４の鑑別支援処理の流れの例を示すフローチャートである。 変形例４の病変サイズ推定処理の流れの例を示すフローチャートである。 変形例５の鑑別支援処理の流れの例を示すフローチャートである。 変形例６の鑑別支援処理の流れの例を示すフローチャートである。 変形例７の鑑別支援処理の流れの例を示すフローチャートである。 変形例８の鑑別支援処理の流れの例を示すフローチャートである。 変形例９における挿入部の先端部の移動量に応じて、支援情報の表示状態が変化する様子を説明するための図である。 変形例１０の鑑別支援処理の流れの例を示すフローチャートである。

以下、図面を用いて、本発明の実施の形態を説明する。
（第１の実施の形態）
図１は、第１の実施の形態に関わる内視鏡装置の構成図である。

内視鏡装置１は、内視鏡１１と、ビデオプロセッサ１２と、表示装置であるモニタ１３とを含む。内視鏡１１とビデオプロセッサ１２は、ユニバーサルケーブルなどのケーブル１４により接続されている。ビデオプロセッサ１２とモニタ１３は、ケーブル１５により接続されている。内視鏡装置１は、複数の観察モードを有している。

内視鏡１１は、細長の挿入部１１ａと、挿入部１１ａの基端部に接続された操作部１１ｂを有する。挿入部１１ａの先端部１１ａ１には、図示しない照明窓及び観察窓が設けられており、照明光が照明窓から被検体へ出射され、被検体からの戻り光が観察窓へ入射される。挿入部１１ａの先端部１１ａ１の基端側には湾曲部１１ａ２が設けられている。

操作部１１ｂは、フリーズボタンなどの各種操作ボタン１６、及び湾曲部１１ａ２の湾曲操作のための湾曲ノブ１７を有している。
撮像素子１８が挿入部１１ａの先端部１１ａ１内に配設され。観察窓から入射した光による被写体像を光電変換して撮像信号を出力する。撮像信号は、ケーブル１４を介してビデオプロセッサ１２へ供給される。

画像処理装置であるビデオプロセッサ（以下、プロセッサという）１２は、後述するように画像処理回路を有し、内視鏡１１からの撮像信号に基づいて内視鏡画像を生成して、内視鏡画像の画像信号をモニタ１３にケーブル１５を介して出力する。モニタ１３には、内視鏡画像が表示される。

プロセッサ１２は、光源を含み、光源から出射された照明光は、ケーブル１４及び内視鏡１１内に挿通されたライトガイド（図示せず）を通って、挿入部１１ａの先端部の照明窓から出射される。

また、プロセッサ１２は、観察モードに応じて、光源及び画像処理回路を制御して、術者により設定された観察モードに応じた内視鏡画像を生成して、その画像信号をモニタ１３へ出力する。よって、モニタ１３には、観察モードに応じた内視鏡画像が表示される。

図２は、プロセッサ１２の画像処理に関わる構成を示すブロック図である。
プロセッサ１２は、撮像信号取得部２１と、制御演算部２２と、記憶装置２３と、入力部２４とを有する画像処理装置である。制御演算部２２は、制御部２２ａと、演算部２２ｂを含む回路である。

撮像信号取得部２１は、制御部２２ａの制御の下、内視鏡１１の撮像素子１８からの撮像信号を受信して取得し、制御演算部２２へ出力する回路である。
制御部２２ａは、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を含み、プロセッサ１２全体の動作の制御を行うと共に、術者による入力部２４への指示に応じて、内視鏡１１の撮像素子１８の駆動の制御、内視鏡１１の操作部１１ｂからの各種操作信号に基づく各種回路の制御、記憶装置２３への各種データの記録及び記憶装置２３からの各種データの読み出し制御、及び画像処理の制御を行う。さらに、制御演算部２２は、図示しない光源の制御なども行う。

すなわち、制御部２２ａは、入力部２４においてされた指示あるいは入力に基づいて、内視鏡装置１の動作を制御し、各部への制御信号あるいは設定信号を出力する。
演算部２２ｂは、制御部２２ａの制御の下で、撮像信号取得部２１で取得された撮像信号に基づき、各種画像処理及び各種演算処理を実行すると共に、モニタ１３に表示される内視鏡画像の画像信号及び各種表示情報を生成し、モニタ１３へ出力する回路である。

なお、制御演算部２２における制御部２２ａ及び演算部２２ｂの処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。
記憶装置２３は、ハードディスク装置などの大容量の記憶装置であり、内視鏡検査で得られた被検体内の内視鏡画像の画像データ、及び支援情報等の各種データを記憶する。

入力部２４は、各種ボタンを有する操作パネルであり、術者が内視鏡装置１の各種設定、各種指示などをプロセッサ１２へ与えるための入力装置である。
図３Ａは、制御演算部２２の演算部２２ｂの構成を示すブロック図である。

演算部２２ｂは、画像生成部３１、鑑別状態判定部３２及び鑑別支援部３３を含む回路である。
画像生成部３１は、撮像信号を受信して、観察モードに応じて、撮像信号に基づいて内視鏡画像を生成する回路である。内視鏡装置１は、観察モードが通常光観察モードであれば、通常光観察モードに応じた内視鏡画像を生成し、観察モードが特殊光観察モードであれば、特殊光観察モードに応じた内視鏡画像を生成する。さらに、画像生成部３１は、内視鏡画像に対して所定の強調処理、各種補正処理、支援情報及びメニュー画面などを重畳表示させる重畳処理などを行う。

鑑別状態判定部３２は、術者が病変部の鑑別を行っているかを推定して、鑑別状態を判定する回路である。本実施の形態では、鑑別状態判定部３２は、内視鏡１１からの信号に基づいて、内視鏡１１の操作者が、内視鏡１１の観察対象における病変部の鑑別を行っている鑑別状態にあることを判定する。

鑑別支援部３３は、鑑別支援のための各種処理を行う回路である。すなわち、鑑別支援部３３は、鑑別状態判定部３２の判定結果に応じて、操作者による病変部の鑑別を支援する。

図３Ｂは、鑑別状態判定部３２の構成を示すブロック図である。図３Ｃは、鑑別支援部３３の構成を示すブロック図である。

図３Ｂ及び図３Ｃに示す鑑別状態判定部３２及び鑑別支援部３３中の各部の動作については、下記の説明の対応する箇所で後述する。図３Ｂ及び図３Ｃは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第２及び第３の実施の形態及び複数の変形例に関わる構成も含めて示している。

図４は、制御演算部２２における鑑別支援処理の流れの例を示すフローチャートである。図４の処理は、所定の周期で実行される。

制御部２２ａが、設定された観察モードに応じて、光源の駆動と内視鏡１１の撮像素子１８の駆動とを制御しかつ撮像信号取得部２１を制御することによって、演算部２２ｂは、内視鏡１１からの撮像信号を取得する。演算部２２ｂの画像生成部３１は、制御部２２ａの制御の下、撮像信号に基づいて、所定のフレームレートの動画像の内視鏡画像を生成する。

例えば、図４の処理は、所定の周期で実行される。制御演算部２２は、複数枚のフレーム画像を取得し、時刻ｔ１の画像と、その時刻ｔ１から所定の時間Ｔだけ経過した後の時刻ｔ２に取得された画像とに基づいて、術者が病変部の鑑別を行っているか、すなわち鑑別中であるか否かを判定し、かつ支援情報を生成する。
具体的には、鑑別状態判定部３２は、画像生成部３１において生成された動画像の内視鏡画像を取得する（Ｓ１）。

鑑別状態判定部３２は、取得した内視鏡画像に基づいて鑑別状態判定処理を実行する（Ｓ２）。
Ｓ２の鑑別状態判定処理は、術者が病変部の鑑別を行っている状態にあるか否かを推定し、術者が鑑別中であるかを判定する。

ここでは、鑑別状態にあるか否かは、動画像から所定の時間Ｔの間隔（あるいはフレーム間隔）で抽出された２枚の画像全体の移動量に基づいて判定される。すなわち、病変部の発見中は、所定の時間Ｔの間隔を有する２枚の画像における被検体内の撮像領域が移動する。しかし、術者が病変部の鑑別を行っているときは、挿入部１１ａの先端部１１ａ１はほとんど動かないので、所定の時間間隔を有する２枚の画像は同じ画像となる。

図５は、鑑別状態判定処理の流れの例を示すフローチャートである。図５の処理には、図３Ｂにおける静止判定部３２Ａの移動量算出部３２Ａ１が関わる。
本実施の形態では、図５の鑑別状態判定処理が、内視鏡１１により得られた内視鏡画像に基づいて内視鏡１１の挿入部１１ａの先端部１１ａ１が静止していることを判定する静止判定部３２Ａを構成する。先端部１１ａ１が静止していると判定されたときに、鑑別状態判定部３２は、内視鏡１１の操作者が鑑別状態にあると判定する。

図５において、鑑別状態判定部３２は、所定の時間Ｔの間隔を有する２枚の画像に基づいて画像全体の移動量を算出する（Ｓ１１）。
時刻ｔ１の画像と、時刻ｔ１から所定の時間Ｔの経過後の時刻ｔ２の画像に基づく画像全体の移動量は、例えば、二次元フーリエ変換による相関マップから算出される。時刻ｔ１の画像に含まれる領域が、時刻ｔ２の画像中においてどの程度移動しているかを判定することにより、画像全体の移動量が算出される。

具体的には、次の式（１）により、時刻ｔ１の画像ＩＭＧ１および時刻ｔ２の画像ＩＭＧ２から、周波数情報Ｆ_１（ｕ，ｖ）およびＦ_２（ｕ，ｖ）を算出する。このとき、画像ＩＭＧ１に関しては、画像を１８０度回転させてから周波数情報は算出される。

ここで、ｊは、虚数単位を示し、ｕは、ｘ方向のｐ空間周波数、ｖは、ｙ方向の空間周波数を示し、Ｎは、正の整数を示す。

得られた周波数情報Ｆ_１（ｕ，ｖ）とＦ_２（ｕ，ｖ）の積をとることで、相関マップＭ（ｘ，ｙ）を作成することができる。この相関マップにおいて、相関値が最大となる座標（Ｘ_Ｍ，Ｙ_Ｍ）と画像の中心座標（Ｘ_Ｃ，Ｙ_Ｃ）の差分を算出することにより、２枚の画像間の移動量が得られる。

なお、画像間の移動量は、公知の、画像全体のテンプレートマッチングやＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量などに基づく特徴点マッチングにより得られる特徴量ごとの移動量を平均化することにより、算出するようにしても良い。

画像全体のテンプレートマッチングについては、財団法人画像処理教育振興協会（ＣＧ−ＡＲＴ協会）が発行する「ディジタル画像処理」（改訂新版）、Ｐ．２１８に説明されており、ＳＩＦＴ特徴量などに基づく特徴点マッチングについては、財団法人画像処理教育振興協会（ＣＧ−ＡＲＴ協会）が発行する「ディジタル画像処理」（改訂新版）、Ｐ．２３４に説明されている。

Ｓ１１の後、鑑別状態判定部３２は、算出した画像全体の移動量に基づいて、挿入部１１ａの先端部１１ａ１の静止状態を判定する（Ｓ１２）。
図４に戻り、鑑別状態判定部３２は、Ｓ２の処理の結果に基づき、挿入部１１ａの先端部１１ａ１が静止状態にある、すなわち病変部の鑑別中であるか否かを判定する（Ｓ３）。すなわち、先端部１１ａ１が静止状態にあるとき、術者が病変部の鑑別中であると推定する。

鑑別状態判定部３２は、算出した画像全体の移動量が所定の閾値ＴＨ１以下であるとき、術者が病変部の鑑別中であるすなわち病変部の鑑別が行われていると判定し、算出した画像全体の移動量が所定の閾値ＴＨ１を超えるとき、病変部の鑑別中でないと判定する。

以上のように、Ｓ１１の処理が、所定の時間Ｔにおける内視鏡画像の画像全体の移動量を算出する画像移動量算出部を構成し、その移動量が所定の閾値ＴＨ１未満であるときに、静止判定部３２Ａは、先端部１１ａ１が静止していると判定する。

図４に戻り、術者が病変部の鑑別中であるとき（Ｓ３：ＹＥＳ）、鑑別支援部３３は、病変領域を特定する（Ｓ４）。Ｓ４の処理が、病変部の病変領域を特定する病変領域特定部３３Ａ１を構成する。

病変領域の特定は、例えば特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理により行われる。上述した例の場合、例えば、時刻ｔ２の画像ＩＭＧ２に対して病変領域の特定処理が行われる。

Ｓ４の後、鑑別支援部３３は、鑑別支援処理を実行する（Ｓ５）。
図６は、鑑別支援処理の流れの例を示すフローチャートである。図６の処理には、図３Ｃにおける鑑別分類結果推定部３３Ａの表層構造鑑別分類部３３Ａ２が関わる。

鑑別支援部３３は、表層構造に基づいて、病変部の鑑別分類を行う（Ｓ２１）。
鑑別支援部３３は、特定周波数帯域を抽出するバンドパスフィルタや、ヘッセ行列、ガボールフィルタなどにより、表層構造の抽出を行うことができる。そして、鑑別支援部３３は、抽出した表層構造のテクスチャ特徴量を算出し、機械学習によりクラス分類する。ここで、テクスチャ特徴量は、ＳＩＦＴ特徴量やＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量、ＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｅｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ Ｏｆ Ｇｒａｄｉｅｎｔｓ）といった公知の技術を用いる。また、機械学習はＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの強力な分類器で分類する。例えば、大腸であれば、病変は過形成ポリープと腺腫病変、浸潤癌などの分類がなされる。

すなわち、Ｓ２１の処理は、鑑別分類結果を推定する鑑別分類結果推定部を構成する。特に、Ｓ２１の処理は、病変領域特定部３３Ａ１により特定された病変領域の表層構造に基づいた鑑別分類を行う表層構造鑑別分類部３３Ａ２を構成する。

制御部２２ａは、Ｓ２１において得られた鑑別分類結果をモニタ１３に表示する（Ｓ２２）。
図７は、モニタ１３に表示された鑑別支援情報の例を説明するための図である。

モニタ１３の画面１３ａ上には、内視鏡画像が表示され、かつ特定された病変領域ＬＳについての分類結果情報が、支援情報として、ウインドウ４１に示されている。ウインドウ４１には、支援情報として、「腺腫病変」の分類結果情報が表示されている。

よって、Ｓ２２の処理が、鑑別分類結果推定部３３Ａにより推定された鑑別分類結果を、鑑別支援情報として表示装置であるモニタ１３に表示するための情報出力部を構成する。

以上のように、上述した実施の形態の内視鏡装置によれば、術者が内視鏡を用いて病変部の鑑別を行うときに、術者がその鑑別支援をスムーズに受けることができる画像処理装置を提供することができる。

（第２の実施の形態）
第１の実施の形態では、撮像素子を用いて取得された内視鏡画像に基づいて挿入部の先端部が静止しているか否かを判定することにより、術者が鑑別中か否かが判定されているが、本実施の形態では、センサにより挿入部１１ａの先端部１１ａ１の動きを検出し、その検出結果に基づいて術者が鑑別中か否かが判定される。

本実施の形態の内視鏡装置は、第１の実施の形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略し、異なる構成についてのみ説明する。

図８は、第２の実施の形態に関わる内視鏡装置の構成図である。図９は、プロセッサ１２の画像処理に関わる構成を示すブロック図である。
挿入部１１ａの先端部１１ａ１内には、加速度センサ１９が設けられている。加速度センサ１９は、例えば３軸加速度センサであり、先端部１１ａ１の３次元方向における動きを検出する。加速度センサ１９の出力信号は、制御部２２ａに供給される。

加速度センサ１９は、３軸方向の加速度信号を出力するので、制御部２２ａは、加速度センサ１９の出力信号の大きさにより、先端部１１ａ１の３次元方向における動きの有無及び加速度の大きさを検出することができる。制御部２２ａの鑑別状態判定部３２が、加速度センサ１９の出力信号に基づいて、先端部１１ａ１の静止状態を判定する。
本実施の形態においても、図４から図６の処理が実行されるが、図５の処理が異なる。

図１０は、本第２の実施の形態における鑑別状態判定処理の流れの例を示すフローチャートである。図１０の処理には、図３Ｂにおける静止判定部３２Ａの先端部移動量算出部３２Ａ２が関わる。

鑑別状態判定部３２は、加速度センサ１９の出力信号に基づいて先端部１１ａ１の静止状態を判定する（Ｓ３１）。
すなわち、Ｓ３１の処理が、静止判定部３２Ａを構成する。静止判定部３２Ａは、先端部１１ａ１の動きを検出するセンサの検出信号に基づいて、先端部１１ａ１の移動量を算出する先端部移動量算出部３２Ａ２を構成し、先端部移動量算出部３２Ａ２が算出した移動量が所定の閾値ＴＨ２未満であるときに、先端部１１ａ１が静止していると判定される。移動量は、先端部１１ａ１の軸回りの回転量も含まれる。

図４において、鑑別状態判定部３２は、図１０のＳ３１の処理の結果に基づき、挿入部１１ａの先端部１１ａ１が静止状態にある、すなわち病変部の鑑別中であるか否かを判定する（Ｓ３）。

以上のように、鑑別状態判定部３２は、内視鏡１１のセンサからの信号に基づいて、内視鏡１１の操作者が内視鏡１１の観察対象における病変部の鑑別を行っている鑑別状態にあることを判定する。

本実施の形態においても、図４の病変領域を特定する処理（Ｓ４）、及び図６に示すような鑑別支援処理（Ｓ５）が実行される。
従って、本実施の形態によっても、第１の実施の形態と同様の効果を得ることができる。

（第３の実施の形態）
第１の実施の形態では、撮像素子１８を用いて取得された内視鏡画像に基づいて挿入部１１ａの先端部１１ａ１が静止しているか否かを判定することにより、術者が鑑別中か否かが判定され、第２の実施の形態では、センサにより挿入部１１ａの先端部１１ａ１の動きを検出し、その検出結果に基づいて術者が鑑別中か否かが判定されているが、本実施の形態では、操作部１１ｂにおける観察状態の設定操作に基づいて術者が鑑別中か否かが判定される。

本実施の形態の内視鏡装置は、第１の実施の形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略し、異なる構成についてのみ説明する。

図１１は、プロセッサ１２の画像処理に関わる構成を示すブロック図である。
制御部２２ａには、操作部１１ｂにおける各種操作ボタン１６の中の近点／遠点観察切り換えボタンの状態信号が入力される。

術者は、鑑別するときには、病変部をしっかりと観察するために近点観察モードに切り換える。近点観察モードでは、被検体内の画像は、画像処理によりあるいは図示しないズームレンズ機構により拡大されて、モニタ１３に表示される。近点観察モード、すなわち拡大観察時には、鑑別が行われていると推定することができる。

図１２は、本第３の実施の形態における鑑別状態判定処理の流れの例を示すフローチャートである。図１２の処理には、図３Ｂにおける鑑別状態判定部３２の鑑別操作判定部３２Ｂが関わる。

鑑別状態判定部３２は、内視鏡１１に対する操作信号に基づいて、内視鏡１１の操作者が、内視鏡１１の観察対象における病変部の鑑別を行っている鑑別状態にあることを判定する。ここでは、鑑別状態判定部３２は、近点／遠点観察切り換えボタンの操作状態信号に基づいて先端部１１ａ１の静止状態を判定する（Ｓ４１）。近点／遠点観察切り換えボタンが近点観察状態に設定されているとき、術者が鑑別中であると判定される。Ｓ４１の処理が、内視鏡１１の観察状態に基づいて操作者が鑑別状態にあると判定する鑑別操作判定部３２Ｂを構成する。

図４において、鑑別状態判定部３２は、図１２のＳ４１の処理の結果に基づき、すなわち内視鏡１１に対する近点観察あるいは拡大観察への設定操作信号に基づき、病変部の鑑別中であるか否かを判定する（Ｓ３）。

本実施の形態においても、図４の病変領域を特定する処理（Ｓ４）、及び図６に示すような鑑別支援処理（Ｓ５）が実行される。
従って、本実施の形態によっても、第１の実施の形態と同様の効果を得ることができる。

次に上述した３つの実施の形態の変形例について説明する。
以下の各変形例は、上述した各実施の形態の内視鏡装置と同じ構成要素からなる内視鏡装置において実現されるので、各変形例において、各実施の形態の内視鏡装置と同じ構成要素については同じ符号を用い、変形例に関わる構成についてのみ説明する。

（変形例１）
第１の実施の形態では、挿入部１１ａの先端部１１ａ１が静止しているか否かを画面全体の移動量に基づいて判定し、その移動量が所定の閾値ＴＨ１以下であるとき、術者は鑑別中であると判定しているが、本変形例では、挿入部１１ａの先端部１１ａ１に動きがあっても、術者がある領域を注視しているか否かに基づいて、術者は鑑別中であると判定する。

本変形例のプロセッサ１２の鑑別状態判定部３２は、図４から図６の処理を実行するが、図４のＳ２の鑑別状態判定処理（図５の処理）が、第１の実施の形態とは異なる。
図１３は、本変形例の鑑別状態判定処理の流れの例を示すフローチャートである。図１３の処理には、図３Ｂにおける注視判定部３２Ｃの画素移動量算出部３２Ｃ１が関わる。

鑑別状態判定部３２は、所定の時間Ｔの間隔を有する２枚の画像に基づいて、画像内の各画素における所定の時間内の移動量を算出する（Ｓ１０１）。
具体的には、例えば、公知のＬｕｃａｓ−Ｋａｎａｄｅ法などの、画像内の小領域毎に、移動先の小領域として相応しい箇所を探索する手法を用いて、画素毎の移動量を算出する。

Ｌｕｃａｓ−Ｋａｎａｄｅ法については、財団法人画像処理教育振興協会（ＣＧ−ＡＲＴ協会）が発行する「ディジタル画像処理」（改訂新版）、Ｐ．２９１に説明されている。

鑑別状態判定部３２は、移動量が所定値より小さい画素が所定の面積分以上あるとき、術者がその画素領域を注視していると判定する（Ｓ１０２）。
すなわち、鑑別状態判定部３２は、操作者が観察対象の同じ領域を注視していることを判定する注視判定部３２Ｃを備え、注視判定部３２Ｃが操作者が同じ領域を注視していると判定したとき、操作者が鑑別状態にあると判定する。注視判定部３２Ｃは、内視鏡画像の画素毎の移動量を算出する画素移動量算出部３２Ｃ１を備え、移動量の少ない画素が一定数を占めていたとき、操作者が前記同じ領域を注視していると判定する。

術者は、先端部１１ａ１を静止させてある部位を観察するだけでなく、種々の方向からその部位を観察して、病変部の鑑別を行う場合もある。
よって、本変形例では、術者が、視線方向を変化させるように先端部１１ａ１を動かして、ある領域を種々の異なる方向から観察しているか否かを、上述したＳ１０１とＳ１０２において、所定の時間内の移動量が所定値よりも小さい画素の領域が、所定の面積以上あるか否かによって、判定している。

Ｓ１０２において術者が注視中であると判定されると、図４のＳ３において、術者は鑑別中であると判定される。
よって、本変形例によれば、先端部１１ａ１が静止していない場合であっても、術者が鑑別中であることを判定することができる。

従って、第１及び第２の実施の形態における先端部１１ａ１の静止状態であるか否かの判定に加えて、本変形例の注視判定も行うことによって、術者が鑑別中であるかをより精度よく判定することができる。

（変形例２）
第１の実施の形態では、挿入部１１ａの先端部１１ａ１が静止しているか否かを画面全体の移動量に基づいて判定し、その移動量が所定の閾値ＴＨ１以下であるとき、術者は鑑別中であると判定し、上述した変形例１では、挿入部１１ａの先端部１１ａ１に動きがあっても、術者がある領域を注視しているか否かに基づいて、術者は鑑別中であると判定しているが、本変形例２では、被検体内の部位を拡大観察あるいは近接観察をしているかを画像から判定し、その判定結果に基づいて術者は鑑別中であると判定している。

本変形例のプロセッサ１２の鑑別状態判定部３２は、図４から図６の処理を実行するが、図４のＳ２の鑑別状態判定処理（図５の処理）が、第１の実施の形態とは異なる。
図１４は、本変形例の鑑別状態判定処理の流れの例を示すフローチャートである。図１４の処理には、図３Ｂにおける血管領域抽出部３２Ｄが関わる。

鑑別状態判定部３２は、所定の周期で得られた画像における血管領域を抽出する（Ｓ１１１）。
具体的には、公知の、ガボールフィルタやヘッセ行列などを用いて、画素の輝度値が凹、すなわち輝度値が低い領域が、血管領域として抽出される。

例えば、中心波長が４１５ｎｍの狭帯域光と中心画像が５４０ｎｍの狭帯域光を利用した狭帯域光観察モードであれば、粘膜表面の強調された毛細血管の領域が抽出され、通常光観察モードであれば、画像中の血管の領域が抽出される。

鑑別状態判定部３２は、Ｓ１１１で抽出された血管領域における血管の太さから、拡大あるいは近接観察かを判定する（Ｓ１１２）。
具体的には、抽出された血管領域に対して、二次元フーリエ変換を施し、周波数成分を取得し、取得した周波数成分において、所定の閾値よりも低周波数成分に偏りがある場合には、拡大あるいは近接観察が行われていると判定される。すなわち、鑑別状態判定部３２は、内視鏡画像から血管領域を抽出する血管領域抽出部３２Ｄを備え、血管領域抽出部３２Ｄが抽出した血管の太さに基づいて、操作者が鑑別状態にあると判定する。

また、拡大観察が行われていると判定されたときには、鑑別支援部３３においても、拡大観察に応じた鑑別分類を行うことができる。例えば、大腸の場合、病変分類である広島分類に基づいて収集された画像データを教師データとして学習させるなどしたＳＶＭを用いて、鑑別分類を行うことができる。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができる。

（変形例３）
上述した各実施の形態及び各変形例の鑑別支援処理では、病変部の鑑別分類が、表層構造に基づいて行われているが、病変部の形状情報に基づいて行うようにしてもよい。

本変形例では、病変部の鑑別分類は、病変部の形状情報に基づいて行われ、その鑑別結果がモニタに表示される。
図１５は、本変形例の鑑別支援処理の流れの例を示すフローチャートである。図１５の処理には、図３Ｃにおける形状鑑別分類部３３Ａ３が関わる。

鑑別支援部３３は、形状情報に基づいて、病変部の鑑別分類を行う（Ｓ１２１）。Ｓ１２１の処理が、形状鑑別分類部を構成する。すなわち、鑑別支援部３３は、病変部の形状に基づいた鑑別分類を行う形状鑑別分類部３３Ａ３を備える。

具体的には、鑑別支援部３３は、病変領域を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。

例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、隆起型の中でも、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)がある。表面型では、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)などの分類がなされる。
制御部２２ａは、Ｓ１２１において得られた鑑別分類結果をモニタに表示する（Ｓ２２）。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、支援情報として、病変部の形状情報が術者に提示されるので、術者は、より詳細な病変部の情報を得ることができる。

なお、病変部の鑑別分類を、病変部の表層構造と病変部の形状情報について同時に行うようにしてもよい。

（変形例４）
上述した各実施の形態及び各変形例の鑑別支援処理では、病変部の鑑別分類が、表層構造に基づいて行われているが、病変部のサイズに基づいて行うようにしてもよい。

本変形例では、病変部の鑑別分類は、病変部のサイズ情報に基づいて行われ、その鑑別結果がモニタに表示される。
図１６は、本変形例の鑑別支援処理の流れの例を示すフローチャートである。図１６の処理には、図３Ｃにおけるサイズ推定部３３Ａ４が関わる。

鑑別支援部３３は、病変部のサイズを推定する（Ｓ１３１）。Ｓ１３１の処理が、病変部のサイズを推定するサイズ推定部３３Ａ４を構成する。すなわち、鑑別支援部３３は、病変部のサイズを推定するサイズ推定部３３Ａ４を備える。

具体的には、鑑別支援部３３は、図１７の病変サイズ推定処理により、病変部のサイズを推定する。
図１７は、病変サイズ推定処理の流れの例を示すフローチャートである。

鑑別支援部３３は、管腔を検出する（Ｓ１３２）。
Ｓ１３２では、まず、画像内の各画素までの撮像距離を推定する。ここでは、公知の様々な技術のうち、画像を基に撮影対象を均等拡散面と仮定した撮影距離推定について説明する。

具体的には、まず、低吸収波長成分として、生体内での吸収あるいは散乱の度合いが最も低い低吸収波長（例えば赤色（Ｒ）の波長）成分が選択される。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像においては、赤（Ｒ）成分が血液の吸収帯域から離れる波長、かつ長波長の成分で、生体内での吸収、散乱の影響を受け難いためであり、赤（Ｒ）成分が選択される。

そして、鑑別支援部３３は、低吸収波長成分の画素値を基に均等拡散面を仮定した撮像距離を推定する。具体的には、撮像距離は、次の式（２）により算出される。

ここで、ｒは、撮像距離を示し、Ｉは、事前に測定して得られた光源の放射強度を示し、Ｋは、事前に測定された、平均値である粘膜表面の拡散反射係数を示す。θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角を示し、挿入部１１ａの先端部１１ａ１の光源と粘膜表面の位置関係により決まる値であり、平均的な値が事前に設定される。Ｌは、撮像距離推定対象の粘膜表面が映る画素のＲ成分値を示す。

なお、撮像距離推定の前に、各処理の精度低下要因と成り得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行っても良い。

また、ここでは、画像に基づく方法を示したが、その他にも測距センサ等に基づいて算出しても良い。また、必ずしも撮像距離の推定まで行わず、撮像距離と相関する画素値で後段の適応的な処理を行っても良い。

次に、鑑別支援部３３は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。鑑別支援部３３は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。

鑑別支援部３３は、Ｓ１３１の後に、管腔と病変部を比較し、病変部のサイズを推定する（Ｓ１３３）。
具体的には、鑑別支援部３３は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部１１ａの挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。

以上のように、サイズ推定部３３Ａ４は、内視鏡画像に写る管腔の円形サイズと比較して病変部のサイズを推定する。
制御部２２ａは、Ｓ１３３において得られた病変部のサイズ情報を、鑑別分類結果としてモニタ１３に表示する（Ｓ２２）。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、支援情報として、病変部のサイズ情報が術者に提示されるので、術者は、より詳細な病変部の情報を得ることができる。

なお、病変部の鑑別分類を、病変部の表層構造と病変部のサイズ推定を同時に、あるいは病変部の形状情報と病変部のサイズ推定とを同時に、あるいは病変部の表層構造と形状情報と病変部のサイズ推定を同時に行うようにしてもよい。

（変形例５）
上述した各実施の形態及び各変形例の鑑別支援処理では、病変部の鑑別分類は、設定されている観察光との関係はないが、観察光に応じて行われるようにしてもよい。

本変形例では、病変部の鑑別分類は、観察光に応じて行われ、その鑑別結果がモニタに表示される。
図１８は、本変形例５の鑑別支援処理の流れの例を示すフローチャートである。図１８の処理には、図３Ｃにおける鑑別動作判定部３３Ａ５の鑑別動作分類部３３Ａ５ａ、観察光判定部３３Ａ５ａ１、及び鑑別指標切替部３３Ａ６が関わる。

図１８は、内視鏡装置が、通常光観察モードと狭帯域光観察モードの２つの観察モードを有しているときに、各観察モードにおいて出力される支援情報、例えば鑑別指標、が異なっている。通常光は、白色光を被写体に照射したときの内視鏡画像を得るための光であり、特殊光としての狭帯域光は、所定の狭帯域光を被写体に照射したときの内視鏡画像を得るための光である。

鑑別支援部３３は、現在出射している観察光が、通常光であるか否かを判定する（Ｓ１４１）。言い換えれば、観察モードが通常光観察モードであるか狭帯域光観察モードであるが判定される。よって、観察光が通常光であるかは、設定されている観察モードの情報あるいは光源への制御に基づいて判定することができる。

観察光が通常光であるとき（Ｓ１４１：ＹＥＳ）、鑑別支援部３３は、病変部のサイズ推定や形状情報に基づいた鑑別分類を行う（Ｓ１４２）。
観察光が通常光でないとき（Ｓ１４１：ＮＯ）、鑑別支援部３３は、表層構造情報に基づいて鑑別分類を行う（Ｓ１４３）。

Ｓ１４２及びＳ１４３の後、鑑別支援部３３は、鑑別分類結果として、病変部のサイズ情報や形状情報に基づいた鑑別分類結果、あるいは表層構造情報に基づいた鑑別分類結果をモニタ１３に表示する（Ｓ２２）。

以上のように、鑑別動作判定部３３Ａ５は、操作者の鑑別動作を分類する鑑別動作分類部３３Ａ５ａを備え、鑑別動作分類部３３Ａ５ａは、観察光が通常光か特殊光かを判定する観察光判定部３３Ａ５ａ１を備える。鑑別分類結果推定部３３Ａは、鑑別動作分類部３３Ａ５ａにより分類された鑑別動作に基づいて鑑別指標を切り替える鑑別指標切替部３３Ａ６を備え、鑑別指標切替部３３Ａ６は、観察光判定部３３Ａ５ａ１により判定された観察光に基づいて鑑別指標を切り替える。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、術者は、観察光に応じた支援情報を得ることができる。
なお、上述した変形例２では、拡大観察あるいは近接観察をしているかが画像から判定されているが、変形例２においても、鑑別動作分類部３３Ａ５ａが拡大及び近接観察の動作を判定する拡大／近接判定部３３Ａ５ａ２を備えて鑑別動作を分類し、鑑別分類結果推定部３３Ａは、鑑別動作分類部３３Ａ５ａにより分類された鑑別動作に基づいて鑑別指標を切り替えるようにしてもよい。

（変形例６）
上述した各実施の形態及び各変形例の鑑別支援処理では、支援情報として、「腺腫病変」などの分類結果情報が出力されているが、臓器の部位情報を出力するようにしてもよい。

図１９は、本変形例の鑑別支援処理の流れの例を示すフローチャートである。図１９の処理には、図３Ｃにおける臓器部位推定部３３Ｂが関わる。
鑑別支援部３３は、観察部位の推定を行う（Ｓ１５１）。例えば、観察する臓器が大腸の場合は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸及び盲腸を認識し、観察する臓器が胃の場合は、噴門、胃底部、胃体部、胃角部、前庭部、幽門及び十二指腸を認識し、小腸の場合は、空腸、回腸を認識し、食道の場合は、頸部食道、胸部食道、腹部食道を認識する。具体的には、それぞれの写った画像データを収集し、その画像データを用いて機械学習させることで、ＳＶＭ等を用いて部位（位置）推定を行うことができる。

鑑別支援部３３は、推定結果をモニタ１３に表示する（Ｓ１５２）。例えば、図７のウインドウ４１に、推定結果、例えば「噴門」などの観察している部位を示す文字が、支援情報として、示される。

以上のように、鑑別支援部３３は、内視鏡１１の観察対象である臓器の部位（位置）を推定する臓器部位推定部３３Ｂを備える。その臓器部位推定部３３Ｂは、臓器が大腸のときは直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸を推定し、臓器が胃のときは噴門、胃底部、胃体部、胃角部、前庭部、幽門又は十二指腸を推定し、臓器が小腸のときは空腸又は回腸を推定し、臓器が食道のときは頸部食道、胸部食道又は腹部食道を推定する。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、術者は、観察部位の情報を、支援情報として得ることができる。

（変形例７）
上述した各実施の形態及び各変形例では、鑑別支援では、支援情報をモニタ１３上にメッセージとして出力しているが、本変形例では、得られた複数の画像の中から明瞭な画像を選択してモニタ１３に表示する。
図２０は、本変形例の鑑別支援処理の流れの例を示すフローチャートである。図２０の処理には、図３Ｃにおける鑑別対象画像選出部３３Ｃの明瞭度算出部３３Ｃ１が関わる。

鑑別支援部３３は、被写体の明瞭度を算出する（Ｓ１６１）。
具体的には、病変領域特定部３３Ａ１により特定された画像中の病変領域に対して、明瞭度を算出する。ここで、明瞭度とは色ずれ量、ボケ度合い、ノイズ量、輝度飽和面積率、コントラスト情報、周波数情報、エッジ情報の何れか、もしくは何れか２つ以上の組み合わせ、もしくはそれぞれ複数の明瞭度を算出することで取得する。これらの値は公知技術として次のように算出できる。色ズレ量は、彩度平均値を算出する。ボケ度合いは、特定周波数成分の範囲の平均値を算出する。ノイズ量は、標準偏差の所定値以上の外れ画素数を算出する。輝度飽和面積率は、R色成分が所定値以上の領域を病変領域の面積で割った値を算出する。エッジ情報は、所定強度のエッジ判定画素量を算出する。

鑑別支援部３３は、病変部の明瞭度が所定値以上の画像を鑑別対象画像として選択する（Ｓ１６２）。鑑別支援部３３は、その選択された画像に基づいて、支援情報を生成して出力することができる。

以上のように、鑑別支援部３３は、鑑別に有意な対象画像を選出する鑑別対象画像選出部３３Ｃを備える。鑑別対象画像選出部３３Ｃは、病変領域特定部３３Ａ１により特定された病変領域の明瞭度を算出する明瞭度算出部３３Ｃ１を備える。明瞭度算出部３３Ｃ１が算出する明瞭度は，色ずれ量、ボケ度合い、ノイズ量、輝度飽和面積率、若しくはエッジ情報の１つ以上である。
鑑別支援部３３は、Ｓ１６２で選択された画像を、モニタ１３に表示する（Ｓ１６３）。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、術者は、病変部が明瞭な内視鏡画像を見ることができる。

（変形例８）
上述した各実施の形態及び各変形例では、鑑別支援では、支援情報をモニタ１３上にメッセージとして出力しているが、本変形例では、所定の重要領域の写った画像を選択してモニタ１３に表示する。
図２１は、本変形例の鑑別支援処理の流れの例を示すフローチャートである。図２１の処理には、図３Ｃにおける鑑別対象画像選出部３３Ｃの所定領域算出部３３Ｃ２が関わる。

鑑別支援部３３は、被写体の重要領域を抽出する（Ｓ１７１）。重要領域は、所定の形状特徴量に基づいて、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。重要領域は、例えば、大腸ポリープの場合であれば、隆起頂部および隆起立ち上がり部などの所定の領域である。例えば、そのような重要領域の写った画像データを収集し、画像データを教師データとして、その傾向を学習させることで、重要領域の抽出を行うことができる。

鑑別支援部３３は、重要領域が所定の割合以上写っている画像を鑑別対象画像として選択する（Ｓ１７２）。鑑別支援部３３は、その選択された画像に基づいて、支援情報を生成して出力することができる。

以上のように、鑑別対象画像選出部３３Ｃは、所定の領域の割合を算出する所定領域割合算出部３３Ｃ２を備える。ここでは、大腸ポリープの場合の所定の領域は、病変部の隆起頂部若しくは隆起立ち上がり部である。
鑑別支援部３３は、Ｓ１７２で選択された画像を、モニタ１３に表示する（Ｓ１７３）。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、術者は、隆起頂部の大腸ポリープ等の重要領域を含む内視鏡画像を見ることができる。

（変形例９）
上述した各実施の形態及び各変形例においては、先端部１１ａ１が静止しているときに、鑑別支援部３３は、支援情報をモニタ１３に表示しているが、静止状態に応じて、すなわち先端部１１ａ１が完全に生成しているのか、わずかに動いているのか、かなり動いているかに応じて、支援情報の表示量を変化させるようにしてもよい。

図２２は、本変形例における挿入部１１ａの先端部１１ａ１の移動量に応じて、支援情報の表示状態が変化する様子を説明するための図である。
静止判定部３２Ａは、画像あるいはセンサにより先端部１１ａ１の静止状態を判定する。先端部１１ａ１は、略完全に生成している場合と、少しだけ動いている場合など、先端部１１ａ１の移動量が小から大までの間で変化する。

移動量算出部３２Ａ１あるいは先端部移動量算出部３２Ａ２は、先端部１１ａ１の移動量を算出する。そこで、その算出された移動量が、小さいときから大きいときまでの範囲を、複数レベルに分け、各レベルに応じて、鑑別支援部３３で表示する支援情報の量を変更する。

図２２のウインドウ４１ａに示すように、移動量が大きい場合でも、支援情報が算出可能な場合は、算出される支援情報は少なくなるが、その少ない支援情報をウインドウ４１に表示する。

移動量が小さい場合は、算出可能な支援情報をウインドウ４１ｃに表示する。移動量が中程度の場合は、支援情報が算出可能な範囲で、支援情報をウインドウ４１ｂに表示する。これは、移動量がある程度の移動量のときでも推定できる鑑別分類結果もあれば、移動量が小さければ推定できる他の鑑別分類結果もあり、さらに、移動量が０あるいはほとんど０でなければ推定できない鑑別分類結果もあるからである。その結果、支援情報が、先端部１１ａ１の移動量に応じて、あるいは先端部１１ａ１の静止状態の程度に応じて適応的に切り替わる。

すなわち、鑑別状態判定部３２の移動量算出部３２Ａ１又は先端部移動量算出部３２Ａ２が、内視鏡１１の挿入部１１ａの先端部１１ａ１の移動量を算出し、算出された移動量の移動レベルを判定する。移動量が複数のレベルのどのレベルかが判定される。そして、鑑別支援部３３の鑑別分類結果推定部３３Ａは、鑑別状態判定部３２において判定された判定レベルに応じて、出力する支援情報の量を変更する。レベルに応じてモニタ１３に表示される支援情報が変化する。

以上のように、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、術者は、静止状態に応じて算出可能な支援情報を把握することができる。

（変形例１０）
上述した各実施の形態及び各変形例では、鑑別支援では、支援情報をモニタ１３上にメッセージとして出力しているが、本変形例では、観察し易い画像強調処理を施した内視鏡画像をモニタ１３に表示する。

図２３は、本変形例の鑑別支援処理の流れの例を示すフローチャートである。図２３の処理には、図３Ｃにおける画像強調部３３Ｄが関わる。
鑑別支援部３３は、生成した内視鏡画像に対して観察し易い画像強調処理を施す（Ｓ１８１）。

すなわち、鑑別支援部３３は、鑑別状態判定部３２が操作者が内視鏡１１の観察対象についての鑑別を行っている鑑別状態にあると判定したときは、内視鏡１１によって得られた内視鏡画像に対して所定の強調処理、すなわち術者にとって病変部を鑑別しやすくなる強調処理、を施す画像強調部３３Ｄを備える。

よって、本変形例によれば、上述した各実施の形態と同様の効果を得ることができると共に、術者は、術者にとって病変部の鑑別がし易い画像強調がされた内視鏡画像を見ることができる。

以上のように、上述した各実施の形態及び各変形例によれば、術者が内視鏡を用いて病変部の鑑別を行うときに、術者がその鑑別支援をスムーズに受けることができる画像処理装置を提供することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (22)

1. 内視鏡からの信号若しくは前記内視鏡に対する信号に基づいて、前記内視鏡の操作者が、前記内視鏡の観察対象における病変部を分類する鑑別を行っている鑑別状態にあることを判定する鑑別状態判定部と、
   前記鑑別状態判定部の判定結果に応じて、前記操作者による前記病変部の前記鑑別を支援する鑑別支援部と、
   を備え、
   前記鑑別支援部は、鑑別分類結果を推定する鑑別分類結果推定部と、前記鑑別分類結果推定部により推定された前記鑑別分類結果を、支援情報として、文字情報により表示装置に表示するために出力する情報出力部と、を有し、
   前記鑑別分類結果推定部は、観察光が通常光か特殊光かを判定する観察光判定部と、前記鑑別のための鑑別指標を切り替える鑑別指標切替部と、を備え、
   前記鑑別指標切替部は、前記観察光判定部により判定された前記観察光に基づいて前記鑑別指標を切り替え、
   前記鑑別分類結果推定部は、前記鑑別指標切替部により切り替えられた前記鑑別指標に基づいて前記病変部についての前記鑑別分類結果を推定する、ことを特徴とする画像処理装置。
2. 前記鑑別状態判定部は、前記内視鏡により得られた内視鏡画像に基づいて前記内視鏡の挿入部の先端部が静止していることを判定する静止判定部を備え、前記静止判定部が前記先端部が静止していると判定したときに、前記操作者が前記鑑別状態にあると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記静止判定部は、所定の時間における前記内視鏡画像の画像全体の移動量を算出する画像移動量算出部を備え、前記移動量が所定の閾値未満であるときに、前記先端部が静止していると判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記鑑別状態判定部は、前記操作者が前記観察対象の同じ領域を注視していることを判定する注視判定部を備え、前記注視判定部が前記操作者が前記同じ領域を注視していると判定したとき、前記操作者が鑑別状態にあると判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記注視判定部は、前記内視鏡により得られた内視鏡画像の画素毎の移動量を算出する画素移動量算出部を備え、前記移動量の少ない画素が一定数を占めていたとき、前記操作者が前記同じ領域を注視していると判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記鑑別状態判定部は、前記内視鏡により得られた内視鏡画像から血管領域を抽出する血管領域抽出部を備え、前記血管領域抽出部が抽出した血管の太さに基づいて、前記操作者が鑑別状態にあると判定することを特徴とする請求項１に記載の画像処理装置。
7. 前記静止判定部は、前記先端部の移動量を算出する先端部移動量算出部を備え、前記先端部移動量算出部が算出した前記移動量が所定の閾値未満であるときに、前記先端部が静止していると判定することを特徴とする請求項２に記載の画像処理装置。
8. 前記先端部移動量算出部は、前記先端部の動きを検出するセンサの検出信号に基づいて前記先端部の移動量を算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記鑑別状態判定部は、前記内視鏡の観察状態に基づいて前記操作者が前記鑑別状態にあると判定することを特徴とする請求項１に記載の画像処理装置。
10. 前記鑑別状態判定部は、前記内視鏡に対する前記観察状態の設定操作信号に応じて前記観察状態を判定することを特徴とする請求項９に記載の画像処理装置。
11. 前記鑑別分類結果推定部は、前記病変部の病変領域を特定する病変領域特定部を備えることを特徴とする請求項１記載の画像処理装置。
12. 前記鑑別支援部は、前記病変領域特定部により特定された前記病変領域の表層構造に基づいた鑑別分類を行う表層構造鑑別分類部、前記病変部の形状に基づいた鑑別分類を行う形状鑑別分類部、及び前記病変部のサイズを推定するサイズ推定部の少なくとも１つを備えることを特徴とする請求項１１に記載の画像処理装置。
13. 前記サイズ推定部は、前記内視鏡により得られた内視鏡画像に写る管腔の円形サイズと比較して前記病変部のサイズを推定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記鑑別支援部は、前記鑑別に有意な対象画像を選出する鑑別対象画像選出部を備えることを特徴とする請求項１記載の画像処理装置。
15. 前記鑑別支援部は、前記病変部の病変領域を特定する病変領域特定部を備え、
    前記鑑別対象画像選出部は、前記病変領域特定部により特定された前記病変領域の明瞭度を算出する明瞭度算出部を備えることを特徴とする請求項１４に記載の画像処理装置。
16. 前記明瞭度算出部が算出する前記明瞭度は，色ずれ量、ボケ度合い、ノイズ量、輝度飽和面積率、若しくはエッジ情報の１つ以上であることを特徴とする請求項１５記載の画像処理装置。
17. 前記鑑別対象画像選出部は、所定の領域の割合を算出する所定領域割合算出部を備えることを特徴とする請求項１４記載の画像処理装置。
18. 前記所定の領域は、前記病変部の隆起頂部若しくは隆起立ち上がり部であることを特徴とする請求項１７記載の画像処理装置。
19. 前記鑑別支援部は、前記内視鏡の観察対象である臓器の部位を推定する臓器部位推定部を備えることを特徴とする請求項１記載の画像処理装置。
20. 前記臓器部位推定部は、前記臓器が大腸のときは直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸を推定し、前記臓器が胃のときは噴門、胃底部、胃体部、胃角部、前庭部、幽門又は十二指腸を推定し、前記臓器が小腸のときは空腸又は回腸を推定し、前記臓器が食道のときは頸部食道、胸部食道又は腹部食道を推定することを特徴とする請求項１９記載の画像処理装置。
21. 前記鑑別状態判定部は、前記内視鏡の挿入部の先端部の移動量を算出し、算出された前記移動量の移動レベルを判定し、
    前記鑑別支援部は、前記鑑別状態判定部において判定された判定レベルに応じて、出力する支援情報の量を変更することを特徴とする請求項１記載の画像処理装置。
22. 前記鑑別支援部は、前記鑑別状態判定部が前記操作者が前記内視鏡の前記観察対象についての前記鑑別を行っている鑑別状態にあると判定したときは、前記内視鏡によって得られた内視鏡画像に対して所定の強調処理を施す画像強調部を備えることを特徴とする請求項１記載の画像処理装置。

Images