JP6957771B2 - 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム - Google Patents

Description

本発明は、内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムに関する。

従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処理を行うことができる。

近年、術者が病変部の見落としを抑制するために、内視鏡の動画画像に対して病変候補の位置を示したり鑑別情報を表示したりする、コンピュータ支援画像診断（CAD：Computer Aided Detection/Diagnosis）が開発されている。例えば、CADにより病変部が発見されると、内視鏡画像上に枠などのマーカによる強調表示を提示することで、病変部が存在することを術者に報知する内視鏡システムが提案されている。

診断支援機能は、病変部の見落としを抑制するために有効な機能であるが、画像の状況によってはユーザが病変部を見逃す可能性があった。そこで、例えば、日本国特開2015-160083号公報などにおいて、ユーザの視線を検出して病変部を見ているか否かを判断し、病変部を見ていないと判断した場合にはアラームを出す、見落とし防止機能を備えた内視鏡システムが提案されている。

しかし、日本国特開2015-160083号公報による内視鏡システムでは、ユーザの視線を検出するために、視線検出機構を内視鏡システムに組み込まなくてはならないため、装置が大型化したりコストが高くなったりするという問題があった。また、ユーザの病変部見落としの判定精度を確保するためには、視線検出機構のキャリブレーションが必要となるため、ユーザに作業負荷がかかり利便性が損なわれるという問題もあった。

本発明は、前述した事情に鑑みてなされたものであり、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる、内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。

本発明の一態様の内視鏡システムは、被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断する見落としリスク解析部と、前記見落としリスクの度合いに基づき、前記病変部の検出の報知方法を制御する報知制御部と、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知する報知部と、を備え、前記報知部は、前記病変部を示すマーカ画像を表示する第１の画像領域及び前記第１の画像領域よりも小さい第２の画像領域を備えた表示部であり、前記報知制御部は、前記病変部にかかる前記見落としリスクが第１の大きさだったときには、前記第２の画像領域のみに前記マーカ画像を表示させ、前記病変部にかかる前記見落としリスクが前記第１の大きさよりも大きい第２の大きさだったときには、前記第１の画像領域と前記第２の画像領域の両方に前記マーカ画像を表示する。

本発明の一態様の内視鏡用画像処理方法は、画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出し、見落としリスク解析部が、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断し、報知制御部が、前記見落としリスクの度合いに基づき、前記病変部の検出の報知方法を制御し、前記病変部を示すマーカ画像を表示する第１の画像領域及び前記第１の画像領域よりも小さい第２の画像領域を備えた表示部である報知部が、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知し、前記報知制御部が、前記病変部にかかる前記見落としリスクが第１の大きさだったときには、前記第２の画像領域のみに前記マーカ画像を表示させ、前記病変部にかかる前記見落としリスクが前記第１の大きさよりも大きい第２の大きさだったときには、前記第１の画像領域と前記第２の画像領域の両方に前記マーカ画像を表示する。

本発明の一態様の内視鏡用画像処理プログラムは、画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、見落としリスク解析部が、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断するステップと、報知制御部が、前記見落としリスクの度合いに基づき、前記病変部の検出の報知方法を制御するステップと、前記病変部を示すマーカ画像を表示する第１の画像領域及び前記第１の画像領域よりも小さい第２の画像領域を備えた表示部である報知部が、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知するステップと、前記報知制御部が、前記病変部にかかる前記見落としリスクが第１の大きさだったときには、前記第２の画像領域のみに前記マーカ画像を表示させ、前記病変部にかかる前記見落としリスクが前記第１の大きさよりも大きい第２の大きさだったときには、前記第１の画像領域と前記第２の画像領域の両方に前記マーカ画像を表示するステップと、をコンピュータに実行させる。

本発明の実施形態に係わる内視鏡システムの全体構成の一例を示す斜視図。 プロセッサ４の画像処理に係る構成の一例を説明するためのブロック図。 制御演算部２２の演算部２２ｂの構成を示すブロック図。 見落としリスク解析部３４の構成を示すブロック図。 本発明の実施形態に係わる内視鏡用画像処理方法の一例を説明するフローチャート。 モニタ５に表示される内視鏡画像の一例を示す図。 モニタ５に表示される内視鏡画像の一例を示す図。 第２の実施形態に係わる報知制御部３５の構成を示すブロック図。 第３の実施形態に係わる画像重畳部３６により生成される内視鏡画像の一例を示す図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

（第１の実施形態）
図１は、本発明の実施形態に係わる内視鏡システムの全体構成の一例を示す斜視図である。本実施形態の内視鏡システム１は、内視鏡スコープとしての電子内視鏡（以下、単に内視鏡という）２と、光源装置３と、プロセッサ４と、モニタ５と、から主に構成されている。

内視鏡２は、長尺で細長な挿入部９と、操作部１０と、電気ケーブルであるユニバーサルケーブル１９と、を有して構成されている。内視鏡２の挿入部９は、先端から順に、先端部６と、湾曲部７と、可撓管部８と、を有して構成されている。先端部６には、図示しない照明窓及び観察窓が設けられており、照明光が照明窓から被検体へ出射され、被検体からの戻り光が観察窓へ入射される。先端部６には、被写体を撮像する手段として、ＣＣＤ、ＣＭＯＳなどの固体撮像素子が配置されおり、観察窓から入射した光による被写体像を光電変換して撮像信号を出力する。撮像信号は、ユニバーサルケーブル１９を介してプロセッサ４へ供給される。

操作部１０には、挿入部９の湾曲部７を湾曲操作するための湾曲操作部１４が回転自在に配設されると共に、フォーカススイッチ１５を含む、各種内視鏡機能のスイッチ類などが設けられている。なお、湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とが重畳するように配設されている。

また、挿入部９と操作部１０の連結部は、ユーザによる把持部を兼ねる把持部１１と、この把持部１１及び挿入部９の可撓管部８の一端の間に設けられた折れ止め部に配設されて、挿入部９に配設された各種処置部を挿通する処置具チャネルの開口部となる処置具チャネル挿通部１８とを有して構成されている。

操作部１０から延設されたユニバーサルケーブル１９は、延出端に光源装置３と着脱自在なスコープコネクタ１９ａを有している。また、スコープコネクタ１９ａは、コイル状のコイルケーブル２０が延設しており、このコイルケーブル２０の延出端にプロセッサ４と着脱自在なコネクタとしてのスコープコネクタ２０ａが設けられている。なお、本実施形態の内視鏡２は、ユニバーサルケーブル１９、操作部１０及び挿入部９に配設された照明手段のライトガイドケーブルによって、光源装置３から先端部６まで照明光を伝送するものである。

プロセッサ４は、内視鏡画像を表示するモニタ５と電気的に接続され、内視鏡２に搭載されているＣＣＤなどの撮像手段によって光電変換された撮像信号を処理して、画像信号としてモニタ５に出力する。
モニタ５は、内視鏡画像が表示される。また、モニタ５は、音声を出力するスピーカー５aを備えている。なお、モニタ５は、報知部としての機能も有する。

図２は、プロセッサ４の画像処理に関わる構成を示すブロック図である。プロセッサ４は、撮像信号取得部２１と、制御演算部２２と、記憶装置２３と、入力部２４とを有する画像処理装置である。制御演算部２２は、制御部２２ａと、演算部２２ｂを含む回路である。

撮像信号取得部２１は、制御部２２ａの制御の下、内視鏡２の撮像素子からの撮像信号を受信して取得し、制御演算部２２へ出力する回路である。
制御部２２ａは、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を含み、プロセッサ４全体の動作の制御を行うと共に、術者による入力部２４への指示に応じて、内視鏡２の撮像素子の駆動の制御、内視鏡２の操作部１０からの各種操作信号に基づく各種回路の制御、記憶装置２３への各種データの記録及び記憶装置２３からの各種データの読み出し制御、及び画像処理の制御を行う。

すなわち、制御部２２ａは、入力部２４においてされた指示あるいは入力に基づいて、内視鏡システム１の動作を制御し、各部への制御信号あるいは設定信号を出力する。

演算部２２ｂは、制御部２２ａの制御の下で、撮像信号取得部２１で取得された撮像信号に基づき、各種画像処理及び各種演算処理を実行すると共に、モニタ５に表示される内視鏡画像の画像信号及び各種表示情報を生成し、モニタ５へ出力する回路である。
なお、制御演算部２２における制御部２２ａ及び演算部２２ｂの処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。

記憶装置２３は、ハードディスク装置などの大容量の記憶装置であり、内視鏡検査で得られた被検体内の内視鏡画像の画像データ、及び支援情報等の各種データを記憶する。
入力部２４は、各種ボタンを有する操作パネルであり、術者が内視鏡システム１の各種設定、各種指示などをプロセッサ４へ与えるための入力装置である。

図３は、本実施の形態における、制御演算部２２の演算部２２ｂの構成を示すブロック図である。演算部２２ｂは、画像入力部３１と、支援情報生成部３２とを含む回路である。なお、図示しないが、演算部２２ｂは、受信した撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像入力部３１へ１フレームずつ順次出力する、画像生成部も備えている。

画像入力部３１は、入力された観察画像Ｇ１を、支援情報生成部３２へ１フレームずつ順次出力する。

支援情報生成部３２は、病変検出部３３と、見落としリスク解析部３４と、報知制御部３５と、画像重畳部２６と、を有して構成される。
病変検出部３３は、画像入力部３１から順次出力される生成画像に含まれる病変部を検出するように構成されている。病変検出部３３は、例えば、ディープラーニング等の学習手法でポリープ画像を鑑別可能な機能を予め取得した画像鑑別器を生成画像に対して適用する処理を行うことにより、当該生成画像から病変部を検出する。なお、病変部の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。

見落としリスク解析部３４は、病変検出部３３によって検出された病変部が含まれる画像を解析し、ユーザである術者が病変部を見落とす可能性をリスクとして判断する回路である。図４は、見落としリスク解析部３４の構成を示すブロック図である。見落としリスク解析部３４は、病変解析部３４Ａと、画像状態解析部３４Ｂと、移動解析部３４Ｃとから構成されている。

病変解析部３４Ａでは、入力画像を解析し、病変部のサイズや位置、濃度、形状などを判定して、病変部を見落とすリスクを評価する。画像状態解析部３４Ｂでは、入力画像を解析し、該画像の撮像状態が診断支援機能に適した状態であるか否かを判定し、病変部を見落とすリスクを評価する。移動解析部３４Ｃでは、入力画像を解析し、ユーザが内視鏡２を操作することにより病変部の移動度合いを判定し、病変部を見落とすリスクを評価する。

図４に示す、病変解析部３４Ａ、画像状態解析部３４Ｂ、及び、移動解析部３４Ｃ中の各部の動作については、下記の説明の対応する箇所で後述する。図４は、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第２、第３の実施形態に関わる構成も含めて示している。

報知制御部３５は、病変検出部３３で検出された病変部の存在をユーザに認知させるための、報知手段と報知方法とを制御する。本実施形態においては、モニタ５への表示画像を用いた報知を行なう。また、病変部が存在することを術者に認知させるための支援情報として、例えば、当該病変部を囲むマーカ画像を生成して生成画像に付加する。

マーカ画像は、病変部の存在を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像は、病変部の存在を示すことができるものであれば、病変部を囲まない画像であっても構わない。例えば、病変部の明るさや色調を周辺領域とは異なるものとすることによって病変部の存在を示してもよい。更には、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。

報知制御部３５は、見落としリスク解析部３４で評価された、病変部を見落とすリスクに応じて、支援情報の報知方法を制御する。例えば、病変部に対して付加するマーカ画像の色、太さ、サイズを、見落としリスクの度合いに応じて変更する。

続いて、本実施形態の作用について説明する。図５は、本発明の実施形態に係わる内視鏡用画像処理方法の一例を説明するフローチャートである。すなわち、本実施の形態の内視鏡システムにおいて行なわれる診断支援機能の実行手順を示している。

制御部２２ａが、設定された観察モードに応じて、光源装置３の駆動と内視鏡２の撮像素子の駆動とを制御しかつ撮像信号取得部２１を制御することによって、演算部２２ｂは、内視鏡２からの撮像信号を取得する。演算部２２ｂの画像入力部３１は、図示しない画像生成部において生成された、撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を取得し、支援情報生成部３２へ１フレームずつ順次出力する。すなわち、支援情報生成部３２は、画像入力部３１から生体内管腔画像である内視鏡画像（観察画像Ｇ１）を取得する（Ｓ１）。

支援情報生成部３２では、まず、病変検出部３３において、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変部Ｌｎを検出する（Ｓ２）。病変部Ｌｎの検出結果は、見落としリスク解析部３４に出力される。

見落としリスク解析部３４では、観察画像Ｇ１における病変部Ｌｎを見落とす可能性をリスクとして判断する（見落としリスク解析処理、Ｓ３）。見落としリスク解析部３４は、画像解析によって、病変部の状態や、画像の状態、内視鏡の操作状態（画像における病変部の移動状態）を判定し、見落としリスクを判断する。

病変部の状態によって見落としリスクを判断する場合、見落としリスク解析部３４の病変解析部３４Ａによってリスク判断のための解析処理が行われる。病変部の状態による見落としリスクの解析項目としては、例えば、（ａ）病変部Ｌｎのサイズ、（ｂ）観察画像Ｇ１における病変部Ｌｎの位置、（ｃ）病変部Ｌｎの濃度、（ｄ）病変部Ｌｎの形状、などの項目があげられる。病変解析部３４Ａは、これらの中から選択された項目について解析を行い、病変部Ｌｎを見落とすリスクを判断する。

（ａ）病変部Ｌｎのサイズ
本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変サイズ解析部３４Ａ１が係る。

病変サイズ解析部３４Ａ１は、まず、画像内の各画素までの撮像距離を推定する。撮像距離の推定は、ここでは、公知の様々な技術のうち、画像を基に撮影対象を均等拡散面と仮定した撮影距離推定について説明する。

具体的には、まず、低吸収波長成分として、生体内での吸収あるいは散乱の度合いが最も低い低吸収波長（例えば赤色（Ｒ）の波長）成分が選択される。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像においては、赤（Ｒ）成分が血液の吸収帯域から離れる波長、かつ長波長の成分で、生体内での吸収、散乱の影響を受け難いためであり、赤（Ｒ）成分が選択される。

そして、病変サイズ解析部３４Ａ１は、低吸収波長成分の画素値を基に均等拡散面を仮定した撮像距離を推定する。具体的には、撮像距離は、次の式（１）により算出される。

ここで、ｒは、撮像距離を示し、Ｉは、事前に測定して得られた光源の放射強度を示し、Ｋは、事前に測定された、平均値である粘膜表面の拡散反射係数を示す。θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角を示し、内視鏡２の挿入部先端部の光源と粘膜表面の位置関係により決まる値であり、平均的な値が事前に設定される。Ｌは、撮像距離推定対象の粘膜表面が映る画素のＲ成分値を示す。

なお、撮像距離推定の前に、各処理の精度低下要因と成り得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行っても良い。
また、ここでは、画像に基づく方法を示したが、その他にも測距センサ等に基づいて算出しても良い。

以上のように、内視鏡２と病変部Ｌｎとの距離を推定した後、病変サイズ解析部３４Ａ１は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。病変サイズ解析部３４Ａ１は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。
最後に、病変サイズ解析部３４Ａ１は、管腔と病変部を比較し、病変部のサイズを推定する。

具体的には、病変サイズ解析部３４Ａ１は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部の挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。

以上のように、病変サイズ解析部３４Ａ１は、内視鏡画像に写る管腔の円形サイズと比較して病変部Ｌｎのサイズを推定する。推定した病変部Ｌｎのサイズが、予め設定された所定のサイズ（例えば、５ｍｍなど）より大きい場合、見落としリスクは小さいと判定する。一方、推定した病変部Ｌｎのサイズが、所定のサイズよりも小さい場合、見落としリスクは大きいと判定する。

（ｂ）観察画像Ｇ１における病変部Ｌｎの位置
本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変位置解析部３４Ａ２が係る。

病変位置解析部３４Ａ２は、まず、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変部Ｌｎを検出し、位置情報を取得する。なお、病変部Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。また、病変領域Ｌｎの位置情報は、病変検出部３３から取得してもよい。

次に、観察画像Ｇ１における病変部Ｌｎの位置を解析する。具体的な手法の一例を以下に説明する。まず、観察画像Ｇ１中における観察画像Ｇ１を垂直方向に３等分、水平方向に３等分し、９つのブロックに分割する。例えば、観察画像Ｇ１が１９２０×１０８０画素の場合、画像の左上を原点（０、０）とすると、（０、０）〜（６４０、３６０）の領域（１Ａ）、（６４１、０）〜（１２８０、３６０）の領域（１Ｂ）、（１２８１、０）〜（１９２０、３６０）の領域（１Ｃ）、（０、３６１）〜（６４０、７２０）の領域（２Ａ）、（６４１、３６１）〜（１２８０、７２０）の領域（２Ｂ）、（１２８１、３６１）〜（１９２０、７２０）の領域（２Ｃ）、（０、７２１）〜（６４０、１０８０）の領域（３Ａ）、（６４１、７２１）〜（１２８０、１０８０）の領域（３Ｂ）、（１２８１、７２１）〜（１９２０、１０８０）の領域（３Ｃ）、に分割する。なお、各ブロックには、見落としリスク（見落としリスク大、または、見落としリスク小、のいずれか）が登録されている。

この１Ａ〜３Ｃの９ブロックのうち、病変部Ｌｎが存在するブロックを特定し、病変部Ｌｎの位置として出力する。なお、病変部Ｌｎが複数ブロックに跨って存在する場合、病変部Ｌｎが存在する面積が最も大きいブロックを、病変部Ｌｎが存在するブロックとする。なお、病変部Ｌｎが存在するブロックの特定方法は、上述の方法に限定されず、例えば、病変部Ｌｎの中心に位置する画素が存在するブロックとするなど他の方法を用いてもよい。また、観察画像Ｇ１を分割して生成するブロック数は９ブロックに限定されず、例えば、２×２＝４ブロック、４×４＝１６ブロックなどとしてもよい。

以上のように、病変位置解析部３４Ａ２は、病変部Ｌｎの位置を推定する。病変部Ｌｎの位置するブロックに登録されている見落としリスクを、病変部Ｌｎの見落としリスクとして判定する。すなわち、見落としリスク大と登録されているブロックに病変部Ｌｎが存在すると推定された場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、見落としリスク小と登録されているブロックに病変部Ｌｎが存在すると推定された場合、病変部Ｌｎの見落としリスクは小さいと判定する。

なお、病変部Ｌｎの位置は、上述したブロック位置でなく、観察画像Ｇ１の中心画素位置からの距離として算出してもよい。この場合、算出された距離が予め設定された閾値よりも大きい場合、見落としリスクは大きいと判定する。一方、算出された距離が予め設定された閾値よりも小さい場合、見落としリスクは小さいと判定する。

（ｃ）病変部Ｌｎの濃度
本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変濃度解析部３４Ａ３が係る。

病変濃度解析部３４Ａ３は、病変部Ｌｎに含まれる画素について、それぞれの濃度値（輝度値）を抽出して平均値を求め、病変部Ｌｎの濃度値とする。なお、濃度値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。算出した濃度値が、閾値（例えば、正常粘膜の濃度値）よりも大きい場合、見落としリスクは小さいと判定する。一方、推定した病変部Ｌｎの濃度値が、閾値よりも小さい場合、見落としリスクは大きいと判定する。なお、判定基準となる濃度値は、予め登録したものを用いてもよいし、病変部Ｌｎが存在する観察画像Ｇ１における、正常粘膜部分の値を用いてもよい。

（ｄ）病変部Ｌｎの形状
本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変形状解析部３４Ａ４が係る。

病変形状解析部３４Ａ４は、病変部の形状に基づいた鑑別分類を行う。具体的には、病変部を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。

例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、病変部Ｌｎの形状はどちらかに分類される。なお、更に詳細な形状分類を行ってもよい。例えば、隆起型であれば、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)、のいずれかに分類し、表面型であれば、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)、のいずれかに分類してもよい。

それぞれの分類には、見落としリスク（見落としリスク大、または、見落としリスク小、のいずれか）が登録されている。例えば、隆起型(Ｉ型)は見落としリスク小、表面型(ＩＩ型)は見落としリスク大と登録されている。病変形状解析部３４Ａ４は、病変部Ｌｎの形状分類に登録されている見落としリスクを、病変部Ｌｎの見落としリスクとして判定する。すなわち、病変部Ｌｎの形状が、見落としリスク大と登録されている形状（例えば、表面型(ＩＩ型)）であると分類された場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、見落としリスク小と登録されている形状（例えば、隆起型(Ｉ型)）であると分類された場合、病変部Ｌｎの見落としリスクは小さいと判定する。

画像の状態によって見落としリスクを判断する場合、見落としリスク解析部３４の画像状態解析部３４Ｂによってリスク判断のための解析処理が行われる。画像の状態による見落としリスクの解析項目としては、例えば、（ｅ）露出の状態（ｆ）焦点の状態（ｇ）被写体の表面状態（ｈ）レンズの状態、などの項目があげられる。画像状態解析部３４Ｂは、これらの中から選択された項目について解析を行い、病変部Ｌｎを見落とすリスクを判断する。

（ｅ）露出の状態
本項目が解析項目として選択された場合、図４における露出状態解析部３４Ｂ１は、観察画像Ｇ１の露出の状態を解析する。内視鏡２の撮像素子の露光時間が短すぎるために画像が暗くなっている場合や、強い光が照射されている部分が白くぼやけるハレーションを起こしてしまっている場合など、露出が不適切である場合、露出状態解析部３４Ｂ１は、病変部Ｌｎの見落としリスクは大きいと判定する。一方、露出が適切である場合、病変部Ｌｎの見落としリスクは小さいと判定する。

（ｆ）焦点の状態
本項目が解析項目として選択された場合、図４における焦点状態解析部３４Ｂ２は、観察画像Ｇ１の焦点の状態を解析する。内視鏡２の撮像系を構成するレンズの焦点制御が適切に行われておらず、被写体に対して合焦していない場合（いわゆるピンボケ状態である場合）、焦点状態解析部３４Ｂ２は、病変部Ｌｎの見落としリスクは大きいと判定する。一方、合焦している場合、病変部Ｌｎの見落としリスクは小さいと判定する。

（ｇ）被写体の表面状態
本項目が解析項目として選択された場合、図４における被写体表面解析部３４Ｂ３は、観察画像Ｇ１における被写体の状態を解析する。被写体に残渣や出血や治療痕などがある場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、残渣や出血や治療痕などがない場合、病変部Ｌｎの見落としリスクは小さいと判定する。

（ｈ）レンズの状態
本項目が解析項目として選択された場合、図４におけるレンズ状態解析部３４Ｂ４は、観察画像Ｇ１から内視鏡２の撮像系を構成するレンズの状態を解析する。レンズに曇りや汚れがある場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、レンズに曇りや汚れがない場合、病変部Ｌｎの見落としリスクは小さいと判定する。

内視鏡の操作状態（画像における病変部の移動状態）によって見落としリスクを判断する場合、見落としリスク解析部３４の移動解析部３４Ｃによってリスク判断のための解析処理が行われる。内視鏡の操作状態による見落としリスクの解析項目としては、例えば、（ｉ）内視鏡の移動速度（ｊ）病変部Ｌｎの位置変化、などの項目があげられる移動解析部３４Ｃは、これらの中から選択された項目について解析を行い、病変部Ｌｎを見落とすリスクを判断する。

（ｉ）病変部Ｌｎの移動速度
本項目が解析項目として選択された場合、図４における移動解析部３４Ｃ１は、内視鏡の移動速度（引き抜き速度）の変化を解析する。病変部Ｌｎが検出される前の状態での内視鏡２の移動速度と、病変部Ｌｎが検出された状態における内視鏡２の移動速度とを比較する。

通常、術者は、観察画像Ｇ１中に病変部Ｌｎを発見すると、病変部Ｌｎの観察を行うために、内視鏡２の引き抜き速度を低下させる（または引き抜きを停止する）。観察画像Ｇ１中に病変部Ｌｎが出現しているにもかかわらず、内視鏡２の引き抜き速度が変化していない場合、術者が病変部Ｌｎを見落としている可能性が高いと推測される。従って、速度の変化が予め設定された閾値よりも小さい場合、すなわち、内視鏡２の引き抜き速度の変化が小さい場合、病変部Ｌｎの見落としリスクは大きいと判定する。

一方、速度の変化が予め設定された閾値よりも大きい場合、すなわち、内視鏡２の引き抜き速度の変化が大きい場合、病変部Ｌｎの見落としリスクは小さいと判定する。

（ｊ）病変部Ｌｎの位置変化
本項目が解析項目として選択された場合、図４における位置解析部３４Ｃ２は、観察画像Ｇ１における病変部Ｌｎの位置の変化を解析する。位置解析部３４Ｃ２病変部Ｌｎが観察画像Ｇ１に検出されている状態から、継続的に病変部Ｌｎの位置をモニタする。病変部Ｌｎが観察画像Ｇ１外に移動し、観察画像Ｇ１中に検出されなくなった場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、観察画像Ｇ１中に継続的に検出されている間は、病変部Ｌｎの見落としリスクは小さいと判定する。

以上のようにして、図５のフローチャートにおける見落としリスク解析処理（Ｓ３）が終了すると、見落としリスク解析部３４から報知制御部３５に対し、見落としリスクの判定結果が出力される。報知制御部３５では、入力された見落としリスクの大小に応じて、報知方法を決定する（Ｓ４）。

報知制御部３５は、見落としリスク解析部３４から入力された、病変部を見落とすリスクに応じて、支援情報の報知方法を制御する。モニタ５の表示画像に支援情報（例えば、マーカ画像）を表示させることで報知する場合、病変部に対して付加するマーカ画像の色、太さ、サイズを、見落としリスクの度合いに応じて変更する。例えば、見落としリスクが大きい場合はマーカ画像の太さを太くし、見落としリスクが小さい場合はマーカ画像の太さを細くする。また、例えば、見落としリスクが大きい場合はマーカ画像のサイズを大きくし、見落としリスクが小さい場合はマーカ画像のサイズを小さくする。

なお、マーカ画像の変更項目は、１項目に限定されず、複数の項目をリスクの度合いに応じて変更してもよい。例えば、マーカ画像の太さとサイズの両方を変更してもよい。また、見落としリスクが小さい場合はマーカ画像のみ、見落としリスクが大きい場合はマーカ画像に加えてポップアップメッセージを表示させるなど、支援情報の種類を増やすなどの変更を行ってもよい。

最後に、報知制御部３５は、Ｓ４で決定された報知方法に基づいて支援情報を生成し、報知する（Ｓ５）。具体的には、支援情報として、見落としリスクの度合いに応じたマーカ画像Ｇ２を生成し、画像重畳部３６に出力する。画像重畳部３６は、画像入力部３１から入力された観察画像Ｇ１に、報知制御部３５から入力されたマーカ画像Ｇ２を重畳させた内視鏡画像を、モニタ５に出力して表示させる。

図６、図７は、モニタ５に表示される内視鏡画像の一例を示す図である。すなわち、支援情報が重畳された内視鏡画像を示しており、図６は、見落としリスクが小さい場合の一例を、図７は、見落としリスクが大きい場合の一例を示している。

図６、図７に示すように、モニタ５の表示画面５１Ａの表示領域Ｄ１には、マーカ画像Ｇ２を付与した観察画像Ｇ１が表示される。図６に示すように、見落としリスクが小さい場合、病変部Ｌ１の周辺を取り囲むサイズのマーカ画像Ｇ２が、観察画像Ｇ１に重畳されている。一方、図７に示すように、見落としリスクが大きい場合、観察画像Ｇ１の周縁部を取り囲むサイズのマーカ画像Ｇ２が、観察画像Ｇ１に重畳されている。また、図６に示すマーカ画像Ｇ２の太さより、図７に示すマーカ画像Ｇ２の太さのほうが、太くなされている。

このように、上述の実施形態によれば、観察画像Ｇ１を解析することにより、病変部Ｌ１の見落としリスクを解析し、見落としリスクの度合いに応じて、病変部Ｌ１の存在を術者に認識させる支援情報の報知方法を制御する。従って、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる。

なお、上述では、見落としリスクの度合いを大小の２段階に分類しているが、３段階以上設定し、各段階に応じて支援情報の報知方法を制御してもよい。

また、上述では、プロセッサ４内の図示しない画像生成部において、被写体を内視鏡２にて撮像して得られた撮像信号に基づいて観察画像を生成しているが、内視鏡２とプロセッサ４との間に画像処理装置を設け、当該画像処理装置において観察画像を生成し、プロセッサ４では入力された観察画像を用いて支援情報の生成を行うように構成してもよい。

（第２の実施形態）
上述の第１の実施形態では、支援情報をモニタ５上に画像表示する際に、見落としリスクの度合いに応じて表示方法を変えて報知していた。これに対し、本実施形態では、画面表示による報知以外の報知手段も用い、複数の報知手段によって報知する点が異なっている。

本実施形態の内視鏡システムは、第１の実施形態の内視鏡システム１と同様の構成を有する。本実施の形態の内視鏡システムは、演算部２２ｂの報知制御部３５の構成に特徴を有する。以下、報知制御部３５の詳細な構成について、図８を用いて説明する。なお、同じ構成要素については、同じ符号を付して説明は省略する。
図８は、第２の実施形態に係わる報知制御部３５の構成を示すブロック図である。報知制御部３５は、報知手段選択部３５Ａと、報知対象リスク設定部３５Ｂと、報知方法設定部３５Ｃとから構成されている。

報知手段選択部３５Ａは、支援情報をモニタ５上に表示する旨を報知する手段を選択する。選択可能な報知手段としては、上述したモニタ５への画像表示（以下、画像報知と記す）に加え、スピーカー５ａからの音声による報知（以下、音声報知と記す）、操作部１０など術者が把持する部分の振動による報知（以下、振動報知と記す）、などがあげられる。

報知対象リスク設定部３５Ｂは、報知制御の対象となる見落としリスクを設定する。設定可能な見落としリスクは、見落としリスク解析部３４の解析結果に基づきリスク度合いを判定可能なリスクである。設定項目としては、例えば、（Ａ）病変部Ｌｎの検出個数、（Ｂ）病変部Ｌｎの発見困難度、（Ｃ）病変部Ｌｎのサイズ、（Ｄ）病変部Ｌｎの種類、（Ｅ）病変部Ｌｎの検出信頼性、（Ｆ）病変部Ｌｎの検出経過時間、などがあげられる。報知対象リスク設定部３５Ｂは、これらの中から報知対象リスクとして設定する項目を選択する。

（Ａ）病変部Ｌｎの検出個数
本項目は、観察画像Ｇ１中に存在する病変部Ｌｎの個数に基づき判定された見落としリスクである。観察画像Ｇ１中に存在する病変部Ｌｎの個数の検出は、見落としリスク解析部３４の病変個数解析部３４Ａ５において行われる。病変個数解析部３Ａ５は、観察画像Ｇ１中において検出された病変部Ｌｎの個数に基づき、見落としリスクを判定する。すなわち、病変部Ｌｎの個数が予め設定された閾値（例えば、２個）よりも多い場合、見落としリスクが小さいと判定する。一方、病変部Ｌｎの個数が予め設定された閾値以下である場合、見落としリスクが大きいと判定する。

（Ｂ）病変部Ｌｎの発見困難度
本項目は、病変部Ｌｎの形状、位置、サイズなどに基づく見落としリスクを総合的に勘案して判定する、見落としリスクである。具体的には、見落としリスク解析部３４の病変形状解析部３４Ａ３、病変位置解析部３４Ａ２、病変サイズ解析部３４Ａ１における解析結果、または、リスク判定結果を用いて、発見困難度を判断する。例えば、病変部Ｌｎの形状が隆起性の形状を有していたり、位置が観察画像Ｇ１の中央付近であったり、病変部Ｌｎのサイズが大きかったりする場合は、発見困難度が小さいと判断する。また、例えば、病変部Ｌｎの形状が平坦であったり、位置が観察画像Ｇ１の周縁部近傍であったり、病変部Ｌｎのサイズが小さかったりする場合は、発見困難度が大きいと判断する。発見困難度が小さい場合、見落としリスクが小さいと判定する。一方、発見困難度が大きい場合、見落としリスクが大きいと判定する。

（Ｃ）病変部Ｌｎのサイズ
本項目は、病変部Ｌｎのサイズに基づき判定された見落としリスクである。見落としリスク解析部３４の病変サイズ解析部３４Ａ１において判定された見落としリスクを用いる。

（Ｄ）病変部Ｌｎの種類
本項目は、形状や重篤度などに基づく病変部Ｌｎの種類に応じて判定された見落としリスクである。具体的には、見落としリスク解析部３４の病変形状解析部３４Ａ３、病変重篤度解析部３６Ａの解析結果、または、リスク判定結果を用いて、見落としリスクを判定する。

病変重篤度解析部３６Ａは、病変部Ｌｎの重篤度を、病変部Ｌｎである腫瘍が良性であるか悪性であるかに基づき解析する。腫瘍の良性・悪性の判定は、例えば、腫瘍と正常粘膜部分との境界線の状態を観察し、境界線が不明瞭で形状がギザギザなど不均一である場合には悪性と判定し、境界線が明瞭である場合には良性と判定する。良性である場合は重篤度が低く見落としリスクが小さいと判定し、悪性である場合は重篤度が高く見落としリスクが大きいと判定する。

病変部Ｌｎの形状が隆起型であったり、重篤度が低かったりする場合は、見多しリスクが低いと判定する。一方、病変部Ｌｎの形状が平坦であったり、重篤度が高かったりする場合は、見多しリスクが大きいと判定する。

（Ｅ）病変部Ｌｎの検出信頼性
本項目は、画像の状態（露出の状態、焦点の状態、被写体の表面状態、レンズの状態）に基づく見落としリスクを総合的に勘案して判定する、見落としリスクである。具体的には、見落としリスク解析部３４の画像状態解析部３４Ｂにおける解析結果、または、リスク判定結果を用いて、検出信頼性を判断する。

例えば、露出の状態が適切であったり、被写体に対して合焦していたり、被写体表面に残渣や出血や治療痕などがなかったり、レンズに曇りや汚れがなかったりする場合は、検出信頼性が高いと判断する。一方、露出の状態が不適切であったり、被写体に対して合焦していなかったり、被写体表面に残渣や出血や治療痕などがあったり、レンズに曇りや汚れがあったりする場合は、検出信頼性が低いと判断する。検出信頼性が高い場合、見落としリスクが小さいと判定する。一方、検出信頼性が低い場合、見落としリスクが大きいと判定する。

（Ｆ）病変部Ｌｎの検出経過時間
本項目は、観察画像Ｇ１中に病変部Ｌｎが検出されてから継続的に検出が継続されている時間である、検出経過時間に基づき判定された見落としリスクである。検出経過時間は、検出時間計測部３５Ｂ１において計測される。検出経過時間が予め設定された閾値（例えば、５秒）よりも短い場合、見落としリスクが小さいと判定する。一方、検出経過時間が予め設定された閾値以上である場合、見落としリスクが大きいと判定する。

報知方法設定部３５Ｃは、各報知手段における報知方法が設定されている。報知手段選択部３５Ａで選択された各報知手段について、報知対象リスク設定部３５Ｂで設定された報知制御対象の見落としリスクに対応する報知方法を、予め設定されている報知方法から抽出する。そして、抽出した報知方法に従って、選択された報知手段を制御する。

画像報知における報知方法は、画像報知設定部３５Ｃ１に設定されている。また、音声報知における報知方法は音声報知設定部３５Ｃ２に、設定振動における報知方法は振動報知設定部３５Ｃ３に、それぞれ設定されている。以下、各報知設定部における設定内容の一例について説明する。

まず、画像報知設定部３５Ｃ１の設定内容の一例を説明する。報知対象リスクとして設定された項目ごとに、設定内容を記す。
（Ａ）病変部Ｌｎの検出個数
見落としリスクの高低にかかわらず、報知を行う。ただし、見落としリスクに応じてマーカ画像Ｇ２の色や大きさを異ならせる。例えば、例えば、見落としリスクが小さい場合はマーカ画像Ｇ２の色を緑色、見落としリスクが大きい場合はマーカ画像Ｇ２の色を赤色に設定する。また、マーカ画像Ｇ２を検出個数の回数だけ点滅させたり、マーカ画像Ｇ２に検出個数の数だけフラグを表示させたりしてもよい。

（Ｂ）病変部Ｌｎの発見困難度
見落としリスクの高低にかかわらず、報知を行う。

（Ｃ）病変部Ｌｎのサイズ
見落としリスクの高低にかかわらず、報知を行う。

（Ｄ）病変部Ｌｎの種類
見落としリスクの高低にかかわらず、報知を行う。

（Ｅ）病変部Ｌｎの検出信頼性
見落としリスクの高低にかかわらず、報知を行う。

（Ｆ）病変部Ｌｎの検出経過時間
見落としリスクに応じてマーカ画像Ｇ２の表示開始タイミングや、表示時間を異ならせる。例えば、検出経過時間が閾値より短く見落としリスクが小さい段階ではマーカ画像Ｇ２は表示せず、検出経過時間が閾値を超えて見落としリスクが高くなったタイミングで、マーカ画像の表示を開始する。また例えば、検出経過時間が長い場合、マーカ画像Ｇ２の表示時間も長く設定する。

次に、音声報知設定部３５Ｃ２の設定内容の一例を説明する。
（Ａ）病変部Ｌｎの検出個数
見落としリスクの高低にかかわらず、報知を行う。ただし、見落としリスクに応じて音声の報知内容異ならせる。例えば、検出個数の回数だけアラートを発する。また、例えば、見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定してもよい。

（Ｂ）病変部Ｌｎの発見困難度
見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。

（Ｃ）病変部Ｌｎのサイズ
見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。

（Ｄ）病変部Ｌｎの種類
見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、画像報知と音声報知とを組み合わせて行う場合には、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。更に、音声報知と振動報知とを組み合わせて場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。

（Ｅ）病変部Ｌｎの検出信頼性
画像報知と音声報知とを組み合わせて行う場合には、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定する。更に、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定する。

（Ｆ）病変部Ｌｎの検出経過時間
見落としリスクの高低にかかわらず検出開始時点から報知を行う。なお、アラート時間は、見落としリスクに応じて設定してもよいし、所定の設定時間としてもよい。アラート時間を所定の設定時間とする場合、病変部Ｌｎの検出が継続していても、設定時間を超えたらアラートを停止する。

最後に、振動報知設定部３５Ｃ３の設定内容の一例を説明する。
（Ａ）病変部Ｌｎの検出個数
見落としリスクの高低にかかわらず、報知を行う。ただし、見落としリスクに応じて振動の報知内容異ならせる。例えば、検出個数の回数だけ報知手段を振動させる。また、例えば、見落としリスクが小さい場合は振動周波数を低くしたりし、見落としリスクが大きい場合は振動周波数を高く設定してもよい。なお、見落としリスクに応じて、振動パターンを異なるパターンにしてもよい。

（Ｂ）病変部Ｌｎの発見困難度
見落としリスクが小さい場合は振動周波数を低くし、見落としリスクが大きい場合は振動周波数を高く設定する。見落としリスクに応じて、振動パターンを変化させてもよい。なお、画像報知と振動報知の両方を行う場合には、見落としリスクが小さい場合は振動報知を行わず、見落としリスクが大きい場合のみ振動報知を行うように設定してもよい。更に、音声報知と振動報知の両方を行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。

（Ｃ）病変部Ｌｎのサイズ
見落としリスクが小さい場合は振動周波数を低くし、見落としリスクが大きい場合は振動周波数を高く設定する。見落としリスクに応じて、振動パターンを変化させてもよい。なお、画像報知と振動報知とを組み合わせて行う場合には、見落としリスクが小さい場合は振動報知を行わず、見落としリスクが大きい場合のみ振動報知を行うように設定してもよい。更に、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。

（Ｄ）病変部Ｌｎの種類
見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、画像報知と音声報知の両方を行う場合には、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。更に、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。

（Ｅ）病変部Ｌｎの検出信頼性
見落としリスクが小さい場合は振動報知を行わず、見落としリスクが大きい場合のみ振動報知を行うように設定する。

（Ｆ）病変部Ｌｎの検出経過時間
画像報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず検出開始時点から報知を行う。一方、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクが小さい間は振動報知を行わず、見落としリスクが高くなった時点から報知を行う。なお、アラート時間は、見落としリスクに応じて設定してもよいし、所定の設定時間としてもよい。アラート時間を所定の設定時間とする場合、画像報知と振動報知とを組み合わせて場合には、病変部Ｌｎの検出が継続していても、設定時間を超えたらアラートを停止する。音声報知と振動報知とを組み合わせて行う場合には、病変部Ｌｎの検出が継続している間は報知を継続する。

以上のように構成された内視鏡システムを用いて行われる診断支援機能の実行手順は、図５に示す第１の実施形態の診断支援手順と同様である。ただし、Ｓ４の報知方法の決定においては、術者によって選択された複数の報知手段について、設定された見落としリスクに応じた報知方法が設定される。

例えば、画像報知と音声報知が選択されており、報知対象リスクとして（Ａ）病変部Ｌｎの検出個数が設定されている場合、報知方法設定部３５Ｃは、画像報知設定部３５Ｃ１において画像報知の方法を設定し、また、音声報知設定部３５Ｃ２において音声報知の方法を設定する。例えば、画像報知設定部３５Ｃ１において、病変部Ｌｎの検出個数だけマーカ画像Ｇ２を点滅させるよう設定し、音声報知設定部３５Ｃ２において、検出個数だけアラームを発するように設定する。

このように、上述の実施形態によれば、支援情報の報知を複数の報知手段を用いて行い、また、見落としリスクの度合いと選択した報知手段の組み合わせに応じて、病変部Ｌ１の存在を術者に認識させる支援情報の報知方法を制御する。従って、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる。

なお、報知手段は、上述の３種類（画像、音声、振動）に限定されず、他の手段を組み合わせて用いてもよい。また、報知対象リスク項目や、具体的な報知方法は、上述の一例に限定されない。更に、上述の一例では、２種類の報知手段を組み合わせて用いる場合について説明したが、３種類以上の報知手段を組み合わせて用いてもよい。
（第３の実施形態）
上述の第１の実施形態では、モニタ５の表示画面５１Ａに、画像の表示領域Ｄ１が１つのみ配置されていた。これに対し、本実施形態では、表示画面５１Ａに画像の表示領域Ｄ１、Ｄ２が２つ配置されており、各表示領域Ｄ１、Ｄ２への報知方法を見落としリスクの度合いによって制御する点が異なっている。

本実施形態の内視鏡システムは、第１の実施形態の内視鏡システム１と同様の構成を有する。本実施の形態の内視鏡システムは、報知制御部３５において、２つの表示領域Ｄ１、Ｄ２のそれぞれに対して、病変部Ｌｎの見落としリスクに応じた支援情報を生成し、モニタ５に表示させる点に特徴を有する。以下、図９を用いて説明する。

図９は、第３の実施形態に係わる画像重畳部３６により生成される内視鏡画像の一例を示す図である。図９に示すように、モニタ５の表示画面５１Ａには、観察画像Ｇ１を表示させる表示領域Ｄ１と、表示領域Ｄ１よりも小さなサイズを有する表示領域Ｄ２の、２つの表示領域が配置されている。通常、術者はメイン画面としての表示領域Ｄ１に表示される内視鏡画像を観察しながら手技を行い、サブ画面としての表示領域Ｄ２には、表示領域Ｄ１に表示されている内視鏡画像の観察をサポートする画像（例えば、特定領域の拡大画像）や、記録画像などが表示される。

本実施形態においては、表示領域Ｄ１に表示させる支援情報（マーカ画像Ｇ２）の報知方法と、表示領域Ｄ２に表示させるマーカ画像Ｇ２の報知方法とを異ならせている。すなわち、表示領域Ｄ２に表示させるマーカ画像Ｇ２は、見落としリスクに対する感度を高くしている。例えば、病変部Ｌｎの見落としリスクが小さい場合は、表示領域Ｄ２にのみマーカ画像Ｇ２を表示させ、病変部Ｌｎの見落としリスクが高い場合は、表示領域Ｄ１とＤ２の両方にマーカ画像Ｇ２を表示させる。

このように、本実施の形態によれば、術者が主に観察する内視鏡画像が表示されている領域には、リスク感度を下げて支援情報であるマーカ画像Ｇ２を表示させることで、マーカ画像Ｇ２が手技の妨げになるのを抑制することができる。そして、サブ画面には、リスク感度を上げて支援情報であるマーカ画像Ｇ２を表示させることで、病変部Ｌｎの見落としを抑制することができる。従って、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる。

なお、見落としリスクに応じた支援情報の報知方法は、マーカ画像Ｇ２の表示タイミングの制御に限定されず、マーカ画像Ｇ２の形式（太さや色、大きさ、点滅の有無など）により制御してもよい。また、見落としリスクの度合いは２段階に限定されず、３段階以上設定し、各段階に応じて支援情報の報知方法を制御してもよい。

本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (21)

1. 被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、
   前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、
   前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断する見落としリスク解析部と、
   前記見落としリスクの度合いに基づき、前記病変部の検出の報知方法を制御する報知制御部と、
   前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知する報知部と、
   を備え、
   前記報知部は、前記病変部を示すマーカ画像を表示する第１の画像領域及び前記第１の画像領域よりも小さい第２の画像領域を備えた表示部であり、
   前記報知制御部は、前記病変部にかかる前記見落としリスクが第１の大きさだったときには、前記第２の画像領域のみに前記マーカ画像を表示させ、前記病変部にかかる前記見落としリスクが前記第１の大きさよりも大きい第２の大きさだったときには、前記第１の画像領域と前記第２の画像領域の両方に前記マーカ画像を表示することを特徴とする、内視鏡システム。
2. 前記見落としリスク解析部は、前記病変部の状態に基づき前記見落としリスクを解析する病変解析部を備えることを特徴とする、請求項１に記載の内視鏡システム。
3. 前記病変解析部は、前記病変部自体の大きさを推定する病変サイズ解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
4. 前記病変解析部は、前記観察画像における前記病変部の位置を解析する病変位置解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
5. 前記病変解析部は、前記病変部の濃度を解析する病変濃度解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
6. 前記病変解析部は、前記病変部の形状を解析する病変形状解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
7. 前記見落としリスク解析部は、前記観察画像の状態に基づき前記見落としリスクを解析する画像状態解析部を備えることを特徴とする、請求項１に記載の内視鏡システム。
8. 前記画像状態解析部は、前記観察画像の露出の状態を解析する露出状態解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
9. 前記画像状態解析部は、前記観察画像の焦点の合焦度合いを解析する焦点状態解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
10. 前記画像状態解析部は、前記観察画像に、残渣や出血が存在するか否かを解析する被写体表面解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
11. 前記画像状態解析部は、前記観察画像に、曇りやレンズ汚れが存在するか否かを解析するレンズ状態解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
12. 前記見落としリスク解析部は、前記観察画像における前記病変部の移動状態に基づき前記見落としリスクを解析する移動解析部を備えることを特徴とする、請求項１に記載の内視鏡システム。
13. 前記移動解析部は、前記観察画像における前記病変部の移動速度の変化を解析する速度解析部を備えることを特徴とする、請求項１２に記載の内視鏡システム。
14. 前記移動解析部は、前記観察画像における前記病変部の位置の変化を解析する位置解析部を備えることを特徴とする、請求項１２に記載の内視鏡システム。
15. 前記報知制御部は、前記病変部を示すマーカ画像を生成して前記観察画像に重畳するよう報知制御を行い、前記病変部の前記見落としリスクの度合いに応じて、前記マーカ画像の色、または太さ、またはサイズの少なくとも一つを異ならせることを特徴とする、請求項１に記載の内視鏡システム。
16. 前記報知部を複数備え、各々の前記報知部は互いに異なる報知手段で前記病変部の検出を報知することを特徴とする、請求項１に記載の内視鏡システム。
17. 前記報知制御部は、前記複数の報知部から報知対象となる報知部を選択する報知手段選択部と、前記選択されたそれぞれの報知部に対して前記報知方法を制御する報知方法設定部とを備えることを特徴とする、請求項１６に記載の内視鏡システム。
18. 画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、
    病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出し、
    見落としリスク解析部が、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断し、
    報知制御部が、前記見落としリスクの度合いに基づき、前記病変部の検出の報知方法を制御し、
    前記病変部を示すマーカ画像を表示する第１の画像領域及び前記第１の画像領域よりも小さい第２の画像領域を備えた表示部である報知部が、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知し、
    前記報知制御部が、前記病変部にかかる前記見落としリスクが第１の大きさだったときには、前記第２の画像領域のみに前記マーカ画像を表示させ、前記病変部にかかる前記見落としリスクが前記第１の大きさよりも大きい第２の大きさだったときには、前記第１の画像領域と前記第２の画像領域の両方に前記マーカ画像を表示することを特徴とする、内視鏡用画像処理方法。
19. 画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、
    病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、
    見落としリスク解析部が、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断するステップと、
    報知制御部が、前記見落としリスクの度合いに基づき、前記病変部の検出の報知方法を制御するステップと、
    前記病変部を示すマーカ画像を表示する第１の画像領域及び前記第１の画像領域よりも小さい第２の画像領域を備えた表示部である報知部が、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知するステップと、
    前記報知制御部が、前記病変部にかかる前記見落としリスクが第１の大きさだったときには、前記第２の画像領域のみに前記マーカ画像を表示させ、前記病変部にかかる前記見落としリスクが前記第１の大きさよりも大きい第２の大きさだったときには、前記第１の画像領域と前記第２の画像領域の両方に前記マーカ画像を表示するステップと、
    をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
20. 前記報知手段は、画像、音声、振動、のいずれかであることを特徴とする、請求項１６に記載の内視鏡システム。
21. 前記報知方法設定部は、前記報知手段選択部により選択された複数の前記報知部の組み合わせに応じて、それぞれの前記報知部に対する前記報知方法を決定することを特徴とする、請求項１７に記載の内視鏡システム。

Images