JPWO2020136858A1

JPWO2020136858A1 - 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Info

Publication number: JPWO2020136858A1
Application number: JP2020562259A
Authority: JP
Inventors: 健人速水; 大和神田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2018-12-28
Filing date: 2018-12-28
Publication date: 2021-11-04
Anticipated expiration: 2038-12-28
Also published as: CN113226151A; US20210327067A1; WO2020136858A1; JP7123173B2

Abstract

内視鏡画像処理装置は、内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するとともに、内視鏡画像に含まれる病変領域の位置を示す情報を含む病変情報を取得するための処理を行う病変検出部と、内視鏡画像に病変領域が含まれているか否かを判定する判定部と、病変情報と、判定部により得られた判定結果と、に基づき、病変検出部による病変領域の検出状態の概要を示す１つ以上のマークを生成するとともに、内視鏡画像を内視鏡画像表示領域に表示させつつ、内視鏡画像表示領域の外部の所定の位置に設定されるとともに、１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに１つ以上のマークを表示させるための表示画像を生成する表示制御部と、を有する。

Description

本発明は、内視鏡画像処理装置、内視鏡画像処理方法及びプログラムに関するものである。

医療分野においては、被検者の所望の部位を撮像して得られた画像から病変部を検出し、当該検出した病変部に関する情報を当該画像に付加して表示するような技術が従来知られている。

具体的には、例えば、日本国特開２００４−７３４８８号公報には、被検者の胸部を撮像して得られたＸ線画像から病変部を検出し、当該検出した病変部の位置を特定可能なマークを当該Ｘ線画像に対応する診断画像の外枠部分に表示するような技術が開示されている。

ここで、医療分野の内視鏡観察においては、内視鏡に設けられた細長な挿入部が被験者の内部に挿入され、当該挿入部の先端部に設けられた光学素子等により規定される観察視野内の被写体が撮像されるとともに、当該被写体を撮像して得られた画像がモニタ等の表示装置に表示される。また、医療分野の内視鏡観察においては、例えば、被験者の内部に挿入された挿入部の先端部と当該被験者の内部に存在する病変部との相対的な位置関係に応じ、当該被験者の内部の被写体を撮像して得られた画像における当該病変部の位置が変化する。

しかし、日本国特開２００４−７３４８８号公報には、内視鏡観察時に被写体を撮像して得られた画像における病変部の位置を特定可能なマークを表示する際の具体的な表示方法等について特に言及されていない。

そのため、日本国特開２００４−７３４８８号公報に開示された構成によれば、例えば、内視鏡観察時に被写体を撮像して得られた画像における病変部の位置の変化に応じ、当該病変部の位置を特定可能なマークの表示位置が頻繁に変化するような状況が発生し得る。そして、日本国特開２００４−７３４８８号公報に開示された構成によれば、前述のような状況が発生した際に、病変部の診断等の作業を行うユーザがマークの表示位置に細心の注意を払わなければならなくなる、という問題点が生じている。

すなわち、日本国特開２００４−７３４８８号公報に開示された構成によれば、内視鏡観察により病変部の診断等の作業を行うユーザに対して過度な負担を強いるおそれがある、という前述の問題点に応じた課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察により病変部の診断等の作業を行うユーザの負担を軽減可能な内視鏡画像処理装置、内視鏡画像処理方法及びプログラムを提供することを目的としている。

本発明の一態様の内視鏡画像処理装置は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行うように構成された病変検出部と、前記内視鏡画像に前記病変領域が含まれているか否かを判定するように構成された判定部と、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行うとともに、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行うように構成された表示制御部と、を有する。

本発明の一態様の内視鏡画像処理方法は、病変検出部が、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行い、判定部が、前記内視鏡画像に前記病変領域が含まれているか否かを判定し、表示制御部が、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行い、前記表示制御部が、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行う。

本発明の一態様のプログラムは、コンピュータに、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理と、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理と、前記内視鏡画像に前記病変領域が含まれているか否かを判定する判定処理と、前記病変情報と、前記判定処理により得られた判定結果と、に基づき、前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理と、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理と、を実行させる。

実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。第１の実施形態に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャート。表示装置の表示画面上に設定される内視鏡画像表示領域及びマーク表示領域の一例を示す図。内視鏡画像に設定される参照領域の一例を示す図である。第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第２の実施形態に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャート。第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。第２の実施形態の変形例に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャート。

以下、本発明の実施形態について、図面を参照しつつ説明を行う。

（第１の実施形態）
図１から図８は、第１の実施形態に係るものである。

内視鏡システム１は、図１に示すように、内視鏡１１と、本体装置１２と、内視鏡画像処理装置１３と、表示装置１４と、を有して構成されている。図１は、実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。

内視鏡１１は、例えば、被検体内に挿入可能な細長形状の挿入部（不図示）と、当該挿入部の基端部に設けられた操作部（不図示）と、を具備して構成されている。また、内視鏡１１は、例えば、操作部から延びるユニバーサルケーブル（不図示）を介し、本体装置１２に対して着脱自在に接続されるように構成されている。また、内視鏡１１の内部には、例えば、本体装置１２から供給される照明光を導光して挿入部の先端部から出射するための光ファイバ等の導光部材（不図示）が設けられている。また、内視鏡１１の挿入部の先端部には、撮像部１１１が設けられている。

撮像部１１１は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子を具備して構成されている。また、撮像部１１１は、内視鏡１１の挿入部の先端部を経て出射された照明光により照明された被写体からの戻り光を撮像し、当該撮像した戻り光に応じた撮像信号を生成して本体装置１２へ出力するように構成されている。

本体装置１２は、内視鏡１１及び内視鏡画像処理装置１３のそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置１２は、例えば、図１に示すように、光源部１２１と、画像生成部１２２と、制御部１２３と、記憶媒体１２４と、を有して構成されている。

光源部１２１は、例えば、ＬＥＤ等のような１つ以上の発光素子を具備して構成されている。具体的には、光源部１２１は、例えば、青色光（以降、Ｂ光とも称する）を発生する青色ＬＥＤと、緑色光（以降、Ｇ光とも称する）を発生する緑色ＬＥＤと、赤色光（以降、Ｒ光とも称する）を発生する赤色ＬＥＤと、を有して構成されている。また、光源部１２１は、制御部１２３の制御に応じた照明光を発生して内視鏡１１に供給することができるように構成されている。

画像生成部１２２は、内視鏡１１から出力される撮像信号に基づいて内視鏡画像を生成し、当該生成した内視鏡画像を内視鏡画像処理装置１３へ１フレームずつ順次出力することができるように構成されている。

本実施形態においては、本体装置１２の画像生成部１２２及び制御部１２３が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置１２が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、本体装置１２が、画像生成部１２２及び制御部１２３の機能を実行させるためのプログラムをメモリ等の記憶媒体１２４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

内視鏡画像処理装置１３は、本体装置１２及び表示装置１４のそれぞれに対して着脱自在に接続されるように構成されている。また、内視鏡画像処理装置１３は、本体装置１２から出力される内視鏡画像に基づく処理を行うことにより、当該内視鏡画像における病変領域の検出状態の概要を示す１つ以上のマークを生成するように構成されている。また、内視鏡画像処理装置１３は、本体装置１２から出力される内視鏡画像と、前述のように生成した１つ以上のマークと、を含む表示画像を生成して表示装置１４へ出力することができるように構成されている。また、内視鏡画像処理装置１３は、病変検出部１３１と、判定部１３２と、表示制御部１３３と、記憶媒体１３４と、を有して構成されている。

病変検出部１３１は、本体装置１２から順次出力される内視鏡画像において病変部を含むと推定される領域に相当する病変領域Ｌを検出するための処理を行うとともに、当該検出した病変領域Ｌを示す情報に相当する病変情報ＩＬを取得するための処理を行うように構成されている。

なお、本実施形態においては、病変領域Ｌが、例えば、ポリープを含む領域として検出されるものとする。また、本実施形態においては、病変情報ＩＬが、例えば、本体装置１２から出力される内視鏡画像に含まれる病変領域Ｌの位置（画素位置）を示す情報と、当該内視鏡画像に含まれる当該病変領域Ｌのサイズ（画素数）を示す情報と、を含む情報として取得されるものとする。

判定部１３２は、病変検出部１３１における病変情報ＩＬの取得状態に応じ、本体装置１２から出力される内視鏡画像に病変領域Ｌが含まれているか否かを判定するように構成されている。

具体的には、判定部１３２は、例えば、病変検出部１３１において病変情報ＩＬが取得されたことを検出した場合に、本体装置１２から出力される内視鏡画像に病変領域Ｌが含まれているとの判定結果を取得する。また、判定部１３２は、例えば、病変検出部１３１において病変情報ＩＬが取得されなかったことを検出した場合に、本体装置１２から順次出力される内視鏡画像に病変領域Ｌが含まれていないとの判定結果を取得する。

判定部１３２は、病変検出部１３１により得られた病変情報ＩＬを順次格納するためのメモリ（不図示）を有して構成されている。また、判定部１３２は、病変検出部１３１により得られた病変情報ＩＬに基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出が途絶したか否かを判定するための処理を行うように構成されている。

具体的には、判定部１３２は、例えば、注目領域検出部１３１により得られた第１の病変情報と、当該第１の病変情報よりも１フレーム前にメモリに格納された第２の病変情報と、に基づき、当該第１の病変情報により示される第１の病変領域と、当該第２の病変情報により示される第２の病変領域と、が同一の病変領域Ｌであるか否かを検出する。そして、判定部１３２は、前述の第１及び第２の病変領域が同一の病変領域Ｌであることを検出できた場合に、病変領域Ｌの検出が途絶していないとの判定結果を取得する。また、判定部１３２は、前述の第１及び第２の病変領域が同一の病変領域Ｌであることを検出できなかった場合に、病変領域Ｌの検出が途絶したとの判定結果を取得する。

表示制御部１３３は、表示装置１４の表示画面上に内視鏡画像表示領域を設定するとともに、当該表示画面上における当該内視鏡画像表示領域の外部の所定の位置に、後述のマークの最大表示数に対応するＮ個のマーク表示領域を設定するための処理を行うように構成されている。すなわち、Ｎ個のマーク表示領域は、表示装置１４の表示画面上における内視鏡画像表示領域の外部の所定の位置に設定されるとともに、後述のマークの最大表示数に応じた個数を有する領域として設定される。なお、本実施形態よれば、後述のマークの最大表示数に対応する値である限りにおいては、前述のＮの値を任意の値に設定してもよい。

表示制御部１３３は、病変検出部１３１により得られた病変情報ＩＬと、判定部１３２により得られた判定結果と、に基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出状態の概要を示す１つ以上のマークを生成するための処理を行うように構成されている。

表示制御部１３３は、本体装置１２から出力される内視鏡画像を内視鏡画像表示領域に表示させつつ、前述のように生成した１つ以上のマークをＮ個のマーク表示領域のうちの少なくとも１つに表示させるための表示画像を生成して出力するための処理を行うように構成されている。すなわち、表示制御部１３３は、本体装置１２から出力される内視鏡画像と、前述のように生成した１つ以上のマークと、を含む表示画像を生成して表示装置１４へ出力することができるように構成されている。

本実施形態においては、内視鏡画像処理装置１３の病変検出部１３１、判定部１３２及び表示制御部１３３が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、内視鏡画像処理装置１３が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、内視鏡画像処理装置１３が、病変検出部１３１、判定部１３２及び表示制御部１３３の機能を実行させるためのプログラムをメモリ等の記憶媒体１３４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

表示装置１４は、内視鏡画像処理装置１３に対して着脱自在に接続されるように構成されている。また、表示装置１４は、モニタ等を具備し、内視鏡画像処理装置１３から出力される表示画像を表示することができるように構成されている。

続いて、本実施形態の作用について説明する。

術者等のユーザは、内視鏡システム１の各部を接続して電源を投入した後、被検者の内部へ内視鏡１１の挿入部を挿入するとともに、当該被検者の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。

制御部１２３は、本体装置１２の電源が投入された際に、Ｂ光、Ｇ光及びＲ光を照明光として順次または同時に発生させるための制御を光源部１２１に対して行う。そして、このような制御部１２３の制御に応じ、光源部１２１から内視鏡１１へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部１１１において撮像され、撮像部１１１から本体装置１２へ出力される撮像信号に応じた内視鏡画像ＥＧが画像生成部１２２において生成され、当該生成された内視鏡画像ＥＧが内視鏡画像処理装置１３へ１フレームずつ順次出力される。

ここで、本実施形態の内視鏡画像処理装置１３の各部において行われる処理の具体例について、図２等を参照しつつ説明する。図２は、第１の実施形態に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャートである。

病変検出部１３１は、内視鏡画像ＥＧにおいて病変部を含むと推定される領域に相当する病変領域Ｌを検出するための処理を行うとともに、当該検出した病変領域Ｌを示す情報に相当する病変情報ＩＬを取得するための処理を行う。

表示制御部１３３は、表示装置１４の表示画面上に内視鏡画像表示領域を設定するとともに、当該表示画面上における当該内視鏡画像表示領域の外部の所定の位置にＮ個のマーク表示領域を設定するための処理を行う。

具体的には、表示制御部１３３は、例えば、図３に示すような、１つの内視鏡画像表示領域ＡＧと、４つのマーク表示領域ＡＭ１、ＡＭ２、ＡＭ３及びＡＭ４と、を表示装置１４の表示画面上にそれぞれ設定する。図３は、表示装置の表示画面上に設定される内視鏡画像表示領域及びマーク表示領域の一例を示す図である。

内視鏡画像表示領域ＡＧは、例えば、内視鏡画像ＥＧのサイズと同一のサイズまたは内視鏡画像ＥＧのサイズよりも大きなサイズを有する八角形の領域として設定される（図３参照）。また、マーク表示領域ＡＭ１〜ＡＭ４は、例えば、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部に位置し、かつ、当該内視鏡画像表示領域ＡＧの中心から見て左上側、左下側、右上側及び右下側の４方向に位置する４つの三角形の領域として設定される（図３参照）。すなわち、マーク表示領域ＡＭ１〜ＡＭ４は、内視鏡画像表示領域ＡＧの外部の所定の位置に設定されるとともに、後述の各表示例におけるマークの最大表示数に対応する４つの領域として設定される。なお、図３の表示画面内の破線は、内視鏡画像表示領域ＡＧ及びマーク表示領域ＡＭ１〜ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。

表示制御部１３３は、内視鏡画像ＥＧに所定の複数の参照領域を設定するための処理を行う。

具体的には、表示制御部１３３は、例えば、図４に示すような、八角形の内視鏡画像ＥＧを左上部、左下部、右上部及び右下部の各部に分割した領域に相当する４つの参照領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４を設定する。なお、図４においては、図示及び説明の便宜上、内視鏡画像ＥＧに含まれる病変領域Ｌ等の被写体の描画を省略している。図４は、内視鏡画像に設定される参照領域の一例を示す図である。

本実施形態によれば、表示制御部１３３が、内視鏡画像ＥＧに所定の複数の参照領域を設定する限りにおいては、図４に例示した参照領域ＡＲ１〜ＡＲ４とは異なる数及び／または形状を有する参照領域を設定するようにしてもよい。

判定部１３２は、病変検出部１３１における病変情報ＩＬの取得状態に応じ、内視鏡画像ＥＧに病変領域Ｌが含まれているか否かを判定する（図２のステップＳ１）。

表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれていないとの判定結果が判定部１３２により得られた場合（Ｓ１：ＮＯ）に、当該内視鏡画像ＥＧを内視鏡画像表示領域に表示させるための表示画像を生成して表示装置１４へ出力した（図２のステップＳ４）後、一連の処理を終了させる。すなわち、本実施形態においては、内視鏡画像ＥＧに病変領域Ｌが含まれていない場合には、当該病変領域Ｌの検出状態の概要を示すマークがマーク表示領域に表示されない。

表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合（Ｓ１：ＹＥＳ）に、病変検出部１３１により得られた病変情報ＩＬと、当該内視鏡画像ＥＧに設定した所定の複数の参照領域と、に基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出状態の概要を示すマークを生成するための処理を行う（図２のステップＳ２）。

表示制御部１３３は、内視鏡画像ＥＧを内視鏡画像表示領域に表示させつつ、図２のステップＳ２により生成したマークをマーク表示領域に表示させるための表示画像を生成して表示装置１４へ出力した（図２のステップＳ３）後、一連の処理を終了させる。

ここで、図２のステップＳ２及びステップＳ３の処理によれば、例えば、図５〜図８のいずれかに示すような表示画像が表示装置１４に表示される。図５〜図８は、第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。

図５の表示画像ＤＧＡの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＡが表示されている。また、図５の内視鏡画像ＥＧＡによれば、当該内視鏡画像ＥＧＡの左下部に設定された参照領域ＡＲ２（図４参照）に病変領域ＬＡが含まれている。そのため、図５の表示画像ＤＧＡによれば、内視鏡画像ＥＧＡの参照領域ＡＲ２において病変領域ＬＡが検出されたことを示すマークＭＡがマーク表示領域ＡＭ２に表示されている。なお、図５の表示画面内の破線は、病変領域ＬＡ及びマーク表示領域ＡＭ１〜ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。

図５の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＡの現在の位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図５の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＡの参照領域ＡＲ２において病変領域ＬＡが検出されたことを示すマークＭＡを生成するための処理が表示制御部１３３により行われる。また、図５の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＡ及びマークＭＡを含む表示画像ＤＧＡを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。

すなわち、図５の表示例によれば、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域ＬＡの現在の位置を含む一の参照領域ＡＲ２を特定する処理と、当該一の参照領域ＡＲ２を示す一のマークＭＡを生成する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に当該一のマークＭＡを表示させる処理と、が表示制御部１３３により行われる。

なお、本実施形態によれば、病変領域ＬＡが検出された参照領域ＡＲ２に対応するマーク表示領域ＡＭ２にマークを表示させるための処理が行われる代わりに、例えば、当該病変領域ＬＡが検出されなかった参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４にマークを表示させるための処理が行われるようにしてもよい。

また、本実施形態によれば、例えば、病変領域ＬＡが参照領域ＡＲ１〜ＡＲ４における複数の参照領域に含まれるようなサイズを有している場合に、当該複数の参照領域に対応する各マーク表示領域にマークを表示させるための処理が行われるようにしてもよい。具体的には、例えば、病変領域ＬＡが参照領域ＡＲ１及びＡＲ２に含まれる場合に、当該参照領域ＡＲ１及びＡＲ２に対応するマーク表示領域ＡＭ１及びＡＭ２にマークを表示させるための処理が表示制御部１３３により行われるようにしてもよい。

また、本実施形態によれば、例えば、病変領域ＬＡが参照領域ＡＲ１〜ＡＲ４における複数の参照領域に含まれるようなサイズを有している場合に、当該複数の参照領域のうちの当該病変領域Ｌを含む面積が最も大きな一の参照領域に対応する一のマーク表示領域にマークを表示させるための処理が行われるようにしてもよい。

図６の表示画像ＤＧＢの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＢが表示されている。また、図６の内視鏡画像ＥＧＢによれば、当該内視鏡画像ＥＧＢの左上部に設定された参照領域ＡＲ１（図４参照）に病変領域ＬＢが含まれている。そのため、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢにおいて病変領域ＬＢが検出されたことを示す４つのマークＭＢ１、ＭＢ２、ＭＢ３及びＭＢ４がマーク表示領域ＡＭ１〜ＡＭ４に表示されている。また、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢの参照領域ＡＲ１において病変領域ＬＢが検出されたことを示すような形状を有するマークＭＢ１が表示されている。換言すると、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢにおける病変領域ＬＢが検出された領域に相当する参照領域ＡＲ１を指し示すような三角形のマークＭＢ１が表示されている。また、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢの参照領域ＡＲ２、ＡＲ３及びＡＲ４において病変領域ＬＢが検出されなかったことを示すような形状を有するマークＭＢ２、ＭＢ３及びＭＢ４が表示されている。なお、図６の表示画面内の破線は、病変領域ＬＢ及びマーク表示領域ＡＭ１〜ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。

図６の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＢにおいて病変領域ＬＢが検出されたことを示すマークＭＢ１、ＭＢ２、ＭＢ３及びＭＢ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＢの現在の位置が参照領域ＡＲ１に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＢにおける病変領域ＬＢが検出された領域に相当する参照領域ＡＲ１を指し示すような三角形のマークＭＢ１を生成するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＢにおける参照領域ＡＲ１が存在する方向とは異なる方向を指し示すような三角形のマークＭＢ２、ＭＢ３及びＭＢ４を生成するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＢ及びマークＭＢ１〜ＭＢ４を含む表示画像ＤＧＢを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。

すなわち、図６の表示例によれば、Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域ＬＢの現在の位置を含む一の参照領域ＡＲ１を特定する処理と、当該Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ１に最も近い位置に設定された一のマーク表示領域ＡＭ１に表示されている一のマークＭＢ１の形状を当該一の参照領域ＡＲ１を指し示すような形状に設定する処理と、が表示制御部１３３により行われる。

図７の表示画像ＤＧＣの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＣが表示されている。また、図７の内視鏡画像ＥＧＣによれば、当該内視鏡画像ＥＧＣの左下部に設定された参照領域ＡＲ２（図４参照）に病変領域ＬＣが含まれている。そのため、図７の表示画像ＤＧＣによれば、内視鏡画像ＥＧＣにおいて病変領域ＬＣが検出されたことを示す４つのマークＭＣ１、ＭＣ２、ＭＣ３及びＭＣ４がマーク表示領域ＡＭ１〜ＡＭ４に表示されている。また、図７の表示画像ＤＧＣによれば、内視鏡画像ＥＧＣの参照領域ＡＲ２において病変領域ＬＣが検出されたことを示すような輝度を有するマークＭＣ２が表示されている。また、図７の表示画像ＤＧＣによれば、内視鏡画像ＥＧＣの参照領域ＡＲ１、ＡＲ３及びＡＲ４において病変領域ＬＣが検出されなかったことを示すような輝度を有するマークＭＣ１、ＭＣ３及びＭＣ４が表示されている。なお、図７の表示画面内の破線は、病変領域ＬＣ及びマーク表示領域ＡＭ１〜ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。

図７の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＣにおいて病変領域ＬＣが検出されたことを示すマークＭＣ１、ＭＣ２、ＭＣ３及びＭＣ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＣの現在の位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ２の処理として、輝度ＢＨＡを有するマークＭＣ２を生成するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ２の処理として、輝度ＢＨＡよりも低い輝度ＢＬＡを有するマークＭＣ１、ＭＣ３及びＭＣ４を生成するための処理が表示制御部１３３により行われる。換言すると、図７の表示例によれば、図２のステップＳ２の処理として、マークＭＣ２の輝度をマークＭＣ１、ＭＣ３及びＭＣ４の輝度よりも高い輝度に設定するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＣ及びマークＭＣ１〜ＭＣ４を含む表示画像ＤＧＣを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。

すなわち、図７の表示例によれば、Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域Ｌの現在の位置を含む一の参照領域ＡＲ２を特定する処理と、当該Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＣ２の輝度を当該一のマークＭＣ２以外の（Ｎ−１）個のマークの輝度とは異なる輝度に設定する処理と、が表示制御部１３３により行われる。

図８の表示画像ＤＧＤの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＤが表示されている。また、図８の内視鏡画像ＥＧＤによれば、当該内視鏡画像ＥＧＤの左上部に設定された参照領域ＡＲ１（図４参照）に病変領域ＬＤが含まれている。そのため、図８の表示画像ＤＧＤによれば、内視鏡画像ＥＧＤにおいて病変領域ＬＤが検出されたことを示す４つのマークＭＤ１、ＭＤ２、ＭＤ３及びＭＤ４がマーク表示領域ＡＭ１〜ＡＭ４に表示されている。また、図８の表示画像ＤＧＤによれば、内視鏡画像ＥＧＤの参照領域ＡＲ１において病変領域ＬＤが検出されたことを示すような形状を有するＭＤ１〜ＭＤ４が表示されている。換言すると、図８の表示画像ＤＧＤによれば、内視鏡画像ＥＧＤにおける病変領域ＬＤが検出された領域に相当する参照領域ＡＲ１を指し示すような三角形のマークＭＤ１〜ＭＤ４が表示されている。なお、図８の表示画面内の破線は、病変領域ＬＤ及びマーク表示領域ＡＭ１〜ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。

図８の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＤにおいて病変領域ＬＤが検出されたことを示すマークＭＤ１、ＭＤ２、ＭＤ３及びＭＤ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図８の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＤの現在の位置が参照領域ＡＲ１に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図８の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＤにおける病変領域ＬＤを含む参照領域ＡＲ１が存在する方向（内視鏡画像ＥＧＤの左上側に相当する方向）を指し示すような三角形のマークＭＤ１〜ＭＤ４を生成するための処理が表示制御部１３３により行われる。また、図８の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＤ及びマークＭＤ１〜ＭＤ４を含む表示画像ＤＧＤを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。

すなわち、図８の表示例によれば、Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域Ｌの現在の位置を含む一の参照領域ＡＲ１を特定する処理と、当該Ｎ個のマーク表示領域に表示されているＮ個のマークの形状を内視鏡画像ＥＧにおける当該一の参照領域ＡＲ１が存在する方向を指し示すような形状に設定する処理と、が表示制御部１３３により行われる。

本実施形態に係る各表示例によれば、病変検出部１３１による病変領域Ｌの検出状態の概要として、内視鏡画像ＥＧにおいて病変領域Ｌが検出されたか否かを示すとともに、当該病変領域Ｌの現在の位置が当該内視鏡画像ＥＧに設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような１つ以上のマークを生成してＮ個のマーク表示領域のうちの少なくとも１つに表示させるための処理が表示制御部１３３により行われる。また、本実施形態に係る各表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づき、病変検出部１３１による病変領域Ｌの検出状態の概要を示す１つ以上かつ４つ以下のＭ個のマークを生成するための処理と、４つのマーク表示領域ＡＭ１〜ＡＭ４のうちのＭ個のマーク表示領域に当該Ｍ個のマークを１つずつ表示させるための処理と、が表示制御部１３３により行われる。

以上に述べたように、本実施形態によれば、例えば、病変領域Ｌの位置が内視鏡画像ＥＧの内部で頻繁に変化するような状況が発生した場合であっても、当該病変領域Ｌが現在検出されている箇所に応じた表示態様を有する１つ以上のマークを、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定されたマーク表示領域に表示させることができる。そのため、本実施形態によれば、例えば、ユーザが、表示装置１４の表示画面上における所定の位置に設定された１つ以上のマーク表示領域に表示されるマークを見ることにより、病変領域Ｌの検出状態を容易に把握することができる。従って、本実施形態によれば、内視鏡観察により病変部の診断等の作業を行うユーザの負担を軽減することができる。

また、以上に述べたように、本実施形態によれば、ユーザが１つ以上のマーク表示領域に表示されるマークを見た際に得られる情報を、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要を示す情報に制限するような処理が行われる。そのため、本実施形態によれば、例えば、内視鏡画像ＥＧに含まれる病変領域Ｌの診断を行うユーザに対して無用な先入観を与えてしまうことを極力防ぐことができる。

なお、本実施形態によれば、例えば、日本国特開２０１３−２５５６５６号公報に開示された撮像距離の推定に係る手法を応用することにより、内視鏡１１の挿入部の先端部から病変部の表面までの推定距離ＥＬを（内視鏡画像ＥＧの赤色成分等に基づいて）検出するための処理が病変検出部１３１により行われるとともに、当該推定距離ＥＬに基づいて生成したマークをマーク表示領域に表示させるための処理が表示制御部１３３により行われるようにしてもよい。そして、このような処理によれば、例えば、推定距離ＥＬが近い場合に相対的に大きなサイズを有するマークをマーク表示領域に表示させる一方で、当該推定距離ＥＬが遠い場合に相対的に小さなサイズを有するマークを当該マーク表示領域に表示させることができる。また、前述のような処理によれば、例えば、推定距離ＥＬが近い場合に相対的に高い輝度を有するマークをマーク表示領域に表示させる一方で、当該推定距離ＥＬが遠い場合に相対的に低い輝度を有するマークを当該マーク表示領域に表示させることができる。すなわち、前述のような処理によれば、内視鏡１１の挿入部の先端部と病変領域Ｌに含まれる病変部とがどれだけ離れているかを当該病変領域Ｌの検出状態の概要としてさらに示すような１つ以上のマークを推定距離ＥＬに基づいて生成するための処理が表示制御部１３３により行われる。

また、本実施形態の表示制御部１３３は、図５〜図８の表示例各々に対応するマークの表示方法に係る処理を複数組み合わせて行うように構成されていてもよい。

また、本実施形態によれば、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定され、かつ、当該内視鏡画像表示領域ＡＧに表示される内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な位置に設定される限りにおいては、当該表示画面上のマーク表示領域を図３に示した位置とは異なる位置に設定してもよい。

また、本実施形態によれば、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定され、かつ、当該内視鏡画像表示領域ＡＧに表示される内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要を示すマークの最大表示数に対応する個数を有する領域として設定される限りにおいては、当該表示画面に含まれるマーク表示領域の個数を任意の個数に設定してもよい。

また、本実施形態によれば、内視鏡画像表示領域ＡＧに表示される内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な形状を有している限りにおいては、マーク表示領域に表示されるマークの形状を任意の形状に変形してもよい。

また、本実施形態によれば、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な色を有するマークを生成するための処理が行われるとともに、当該内視鏡画像ＥＧ及び当該マークを含む表示画像を表示装置１４に表示させるための処理が行われるようにしてもよい。そして、このような構成によれば、例えば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域Ｌの現在の位置を含む一の参照領域を特定する処理と、当該Ｎ個のマーク表示領域のうちの当該一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を当該所定の色とは異なる色に変化させる処理と、が表示制御部１３３により行われる。

（第２の実施形態）
図９から図１５は、第２の実施形態に係るものである。

なお、本実施形態においては、第１の実施形態と同様の構成を有する内視鏡システム１を利用することができる一方で、第１の実施形態とは異なる処理が内視鏡画像処理装置１３において行われる。そのため、以降においては、図９等を参照しつつ内視鏡画像処理装置１３の各部において行われる処理の具体例を説明する一方で、第１の実施形態で既述の処理等を適用可能な部分に関する具体的な説明を適宜省略するものとする。具体的には、以降においては、図３に例示したような内視鏡画像表示領域ＡＧ及びマーク表示領域ＡＭ１〜ＡＭ４が表示装置１４の表示画面上に設定されるとともに、図４に例示したような参照領域ＡＲ１〜ＡＲ４が内視鏡画像ＥＧに設定された状態で処理が行われるものとして説明を行う。図９は、第２の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャートである。

判定部１３２は、病変検出部１３１における病変情報ＩＬの取得状態に応じ、内視鏡画像ＥＧに病変領域Ｌが含まれているか否かを判定する（図９のステップＳ１１）。

表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれていないとの判定結果が判定部１３２により得られた場合（Ｓ１１：ＮＯ）に、当該内視鏡画像ＥＧを内視鏡画像表示領域に表示させるための表示画像を生成して表示装置１４へ出力した（図９のステップＳ１６）後、一連の処理を終了させる。

表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合（Ｓ１１：ＹＥＳ）に、当該内視鏡画像ＥＧにおいて当該病変領域Ｌが検出されたことを示すマークを生成するための処理を行う（図９のステップＳ１２）。

表示制御部１３３は、内視鏡画像ＥＧを内視鏡画像表示領域に表示させつつ、図９のステップＳ１２により生成したマークをマーク表示領域に表示させるための表示画像を生成して表示装置１４へ出力する（図９のステップＳ１３）。

ここで、図９のステップＳ１２及びステップＳ１３の処理によれば、例えば、図１０に示すような表示画像ＤＧＥが表示装置１４に表示される。図１０は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。

図１０の表示画像ＤＧＥの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＥが表示されている。また、図６の内視鏡画像ＥＧＥによれば、当該内視鏡画像ＥＧＥの左下側に設定された参照領域ＡＲ２（図４参照）に病変領域ＬＥが含まれている。そのため、図１０の表示画像ＤＧＥによれば、内視鏡画像ＥＧＥにおいて病変領域ＬＥが検出されたことを示す４つのマークＭＥ１、ＭＥ２、ＭＥ３及びＭＥ４がマーク表示領域ＡＭ１〜ＡＭ４に表示されている。なお、図１０の表示画面内の破線は、病変領域ＬＥ及びマーク表示領域ＡＭ１〜ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。

図１０の表示例によれば、図９のステップＳ１２の処理として、内視鏡画像ＥＧＥにおいて病変領域ＬＥが検出されたことを示すマークＭＥ１、ＭＥ２、ＭＥ３及びＭＥ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図１０の表示例によれば、図９のステップＳ１３の処理として、内視鏡画像ＥＧＥ及びマークＭＥ１〜ＭＥ４を含む表示画像ＤＧＥを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。

判定部１３２は、図９のステップＳ１１の処理以降に病変検出部１３１により得られた病変情報ＩＬをメモリに順次格納する。また、判定部１３２は、メモリに格納された病変情報ＩＬに基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出が途絶したか否かを判定するための処理を行う（図９のステップＳ１４）。

表示制御部１３３は、病変領域Ｌの検出が途絶していないとの判定結果が判定部１３２により得られた場合（Ｓ１４：ＮＯ）に、図９のステップＳ１３に戻って処理を行う。すなわち、本実施形態によれば、病変検出部１３１による病変領域Ｌの検出が継続している期間中において、図１０に例示したような、図９のステップＳ１３により生成されたマークを含む表示画像が表示装置１４に表示され続ける。

表示制御部１３３は、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合（Ｓ１４：ＹＥＳ）に、当該判定結果を得る直前の病変情報ＩＬから特定される当該病変領域Ｌの位置、すなわち、当該病変領域Ｌの検出が途絶する直前に当該病変領域Ｌが存在していた位置が内視鏡画像ＥＧに設定した所定の複数の参照領域のうちのどの参照領域に含まれているかに応じ、表示装置１４に現在表示されている少なくとも１つのマークの表示態様を変更するための処理を行った（図９のステップＳ１５）後、一連の処理を終了させる。なお、本実施形態においては、図９のステップＳ１５の処理によりマークの表示態様が変更された場合に、変更後の表示態様が一定期間維持されるものとする。

ここで、例えば、図１０の内視鏡画像ＥＧＥに含まれる病変部が当該内視鏡画像ＥＧＥの外部へ変位したことに起因して病変領域ＬＥの検出が途絶した直後に図９のステップＳ１５の処理が行われた場合には、図１１〜図１３のいずれかに示すような表示画像が表示装置１４に表示される。図１１〜図１３は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。

図１１の表示画像ＤＧＦの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部がフレームアウトした画像に相当する内視鏡画像ＥＧＦが表示されている。また、図１１の表示画像ＤＧＦによれば、内視鏡画像ＥＧＦにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２にはマークが表示されていない。また、図１１の表示画像ＤＧＦによれば、図１０と同様のマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＦにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。

図１１の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１１の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が内視鏡画像ＥＧＥの外部へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２をマーク表示領域ＡＭ２から消去するための処理が表示制御部１３３により行われる。

すなわち、図１１の表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、図１１の表示例によれば、病変領域ＬＥの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２を消去する処理と、が表示制御部１３３により行われる。

なお、本実施形態によれば、図９のステップＳ１５の処理として、参照領域ＡＲ２に対応するマークＭＥ２をマーク表示領域ＡＭ２から消去するための処理が行われる代わりに、例えば、参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４からマークを消去するための処理が表示制御部１３３により行われるようにしてもよい。

図１２の表示画像ＤＧＧの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部がフレームアウトした画像に相当する内視鏡画像ＥＧＧが表示されている。また、図１２の表示画像ＤＧＧによれば、図１０のマークＭＥ２とは異なる形状を有するマークＭＧ２が、内視鏡画像ＥＧＧにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２に表示されている。また、図１２の表示画像ＤＧＧによれば、図１０と同様の形状を有するマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＧにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。

図１２の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１２の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が内視鏡画像ＥＧＥの外部へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２の形状を変化させることにより、当該参照領域ＡＲ２を指し示すような三角形のマークＭＧ２を生成するための処理が表示制御部１３３により行われる。

すなわち、図１２の表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、図１２の表示例によれば、病変領域ＬＥの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２の形状を当該一の参照領域ＡＲ２を指し示すような形状に設定する処理と、が表示制御部１３３により行われる。

なお、本実施形態によれば、図９のステップＳ１５の処理として、例えば、参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマークＭＥ１、ＭＥ３及びＭＥ４の形状を変化させることにより、参照領域ＡＲ２を指し示すようなマークを生成するための処理が表示制御部１３３により行われるようにしてもよい。そして、このような処理によれば、例えば、マークＭＥ１、ＭＥ３及びＭＥ４が、マークＭＥ２と同じ形状を有する三角形として表示装置１４に表示される。

図１３の表示画像ＤＧＨの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部がフレームアウトした画像に相当する内視鏡画像ＥＧＨが表示されている。また、図１３の表示画像ＤＧＨによれば、図１０のマークＭＥ２の輝度ＢＬＢよりも高い輝度ＢＬＨを有するマークＭＨ２が、内視鏡画像ＥＧＨにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２に表示されている。また、図１３の表示画像ＤＧＨによれば、図１０のマークＭＥ２の輝度ＢＬＢと同じ輝度を有するマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＨにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。

図１３の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１３の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が内視鏡画像ＥＧＥの外部へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２の輝度ＢＬＢを増加させることにより、当該輝度ＢＬＢよりも高い輝度を有するマークＭＨ２を生成するための処理が表示制御部１３３により行われる。換言すると、図１３の表示例によれば、図９のステップＳ１５の処理として、マークＭＥ２の輝度をマークＭＥ１、ＭＥ３及びＭＥ４の輝度よりも高い輝度に設定するための処理が表示制御部１３３により行われる。

すなわち、図１３の表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、図１３の表示例によれば、病変領域ＬＥの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２の輝度を当該一のマークＭＥ２以外の（Ｎ−１）個のマークの輝度とは異なる輝度に設定する処理と、が表示制御部１３３により行われる。

なお、本実施形態によれば、図９のステップＳ１５の処理として、参照領域ＡＲ２に対応するマークＭＥ２の輝度ＢＬＢを増加させるための処理が行われる代わりに、例えば、参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマークＭＥ１、ＭＥ３及びＭＥ４の輝度ＢＬＢを減少させるための処理が表示制御部１３３により行われるようにしてもよい。

本実施形態に係る各表示例によれば、病変領域Ｌの検出状態の概要として、内視鏡画像ＥＧにおいて当該病変領域Ｌが検出されたか否かを示すとともに、当該病変領域Ｌの検出が途絶する直前に当該病変領域Ｌが存在していた位置が当該内視鏡画像ＥＧに設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような１つ以上のマークを生成してＮ個のマーク表示領域のうちの少なくとも１つに表示させるための処理が表示制御部１３３により行われる。また、本実施形態に係る各表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、当該病変領域Ｌが検出されたことを示す４つのマークを生成するための処理と、４つのマーク表示領域ＡＭ１〜ＡＭ４に当該４つのマークを１つずつ表示させるための処理と、が表示制御部１３３により行われる。

以上に述べたように、本実施形態によれば、例えば、病変領域Ｌが内視鏡画像ＥＧにおいて頻繁にフレームイン及びフレームアウトを繰り返すような状況が発生した場合であっても、当該病変領域Ｌが検出されているか否かを示すマークを、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定されたマーク表示領域に表示させることができる。さらに、以上に述べたように、本実施形態によれば、例えば、病変領域Ｌが内視鏡画像ＥＧの内部から外部へ変位するような状況が発生した場合であっても、当該病変領域Ｌが最後に検出された箇所に応じた表示態様を有する１つ以上のマークを、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定されたマーク表示領域に表示させることができる。そのため、本実施形態によれば、例えば、ユーザが、表示装置１４の表示画面上における所定の位置に設定された１つ以上のマーク表示領域に表示されるマークを見ることにより、病変領域Ｌの検出状態を容易に把握することができる。従って、本実施形態によれば、内視鏡観察により病変部の診断等の作業を行うユーザの負担を軽減することができる。

なお、本実施形態において説明した各表示例は、内視鏡画像ＥＧに含まれる病変部が残渣等の遮蔽物の裏側へ変位したことに起因して病変領域Ｌの検出が途絶した場合においても略同様に適用される。そして、このような場合においては、例えば、図９のステップＳ１５の処理に応じ、図１４に示すような表示画像ＤＧＰが表示装置１４に表示される。図１４は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。

図１４の表示画像ＤＧＰの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部が残渣等の遮蔽物ＳＰの裏側へ変位した画像に相当する内視鏡画像ＥＧＰが表示されている。また、図１４の表示画像ＤＧＰによれば、内視鏡画像ＥＧＰにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２にはマークが表示されていない。また、図１４の表示画像ＤＧＰによれば、図１０と同様のマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＰにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。なお、図１４の表示画面内の破線は、病変領域ＬＥに含まれていた病変部が遮蔽物ＳＰの裏側に位置することを表すために描画されたものであるため、表示装置１４には実際には表示されないものとする。

図１４の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１４の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が遮蔽物ＳＰの裏側へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２をマーク表示領域ＡＭ２から消去するための処理が表示制御部１３３により行われる。

本実施形態の表示制御部１３３は、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合に、図９のステップＳ１５の処理の代わりに、例えば、図１５に示すような処理を行うように構成されていてもよい。このような変形例に係る表示制御部１３３の処理の具体例について、以下に説明する。図１５は、第２の実施形態の変形例に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャートである。

表示制御部１３３は、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合（Ｓ１４：ＹＥＳ）に、当該判定結果を得る直前の病変情報ＩＬから特定される当該病変領域Ｌの位置、すなわち、当該病変領域Ｌの検出が途絶する直前における当該病変領域Ｌの位置が内視鏡画像ＥＧの端部に相当する位置であるか否かを判定するための処理を行う（図１５のステップＳ２１）。

表示制御部１３３は、病変領域Ｌの検出が途絶する直前における当該病変領域Ｌの位置が内視鏡画像ＥＧの端部に相当する位置であるとの判定結果を得た場合（Ｓ２１：ＹＥＳ）に、当該病変領域Ｌに含まれていた病変部が当該内視鏡画像ＥＧの外部へ変位したことを示すように、表示装置１４に現在表示されている少なくとも１つのマークの表示態様を変更するための処理を行った（図１５のステップＳ２２）後、一連の処理を終了させる。

具体的には、表示制御部１３３は、例えば、図１０に示した病変領域ＬＥの検出が途絶する直前における当該病変領域ＬＥの位置が、参照領域ＡＲ２に含まれていることを特定し、かつ、当該参照領域ＡＲ２の端部に相当する位置であるとの判定結果を得た場合に、図１３の表示例と同様の表示態様を有するマークＭＨ２を生成してマーク表示領域ＡＭ２に表示させるための処理を行う。

表示制御部１３３は、病変領域Ｌの検出が途絶する直前における当該病変領域Ｌの位置が内視鏡画像ＥＧの端部よりも内側に相当する位置であるとの判定結果を得た場合（Ｓ２１：ＮＯ）に、当該病変領域Ｌに含まれていた病変部が残渣等の遮蔽物の裏側へ変位したことを示すように、表示装置１４に現在表示されている少なくとも１つのマークの表示態様を変更するための処理を行った（図１５のステップＳ２３）後、一連の処理を終了させる。

具体的には、表示制御部１３３は、例えば、図１０に示した病変領域ＬＥの検出が途絶する直前における当該病変領域ＬＥの位置が、参照領域ＡＲ２に含まれていることを特定し、かつ、当該参照領域ＡＲ２の端部よりも内側に相当する位置であるとの判定結果を得た場合に、図１２の表示例と同様の表示態様を有するマークＭＧ２を生成してマーク表示領域ＡＭ２に表示させるための処理を行う。

すなわち、図１５に示した処理によれば、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２の表示態様を当該病変領域ＬＥの検出が途絶した要因に応じて異なる表示態様に設定する処理と、が表示制御部１３３により行われる。また、図１５に示した処理によれば、病変部が内視鏡画像ＥＧの外部へ変位したことに起因して病変領域ＬＥの検出が途絶した場合に、前述の一のマークＭＥ２の表示態様を（マークＭＨ２のような）第１の表示態様に設定する処理が表示制御部１３３により行われる。また、図１５に示した処理によれば、病変部が内視鏡画像ＥＧに含まれる遮蔽物の裏側へ変位したことに起因して病変領域Ｌの検出が途絶した場合に、前述の一のマークの表示態様を前述の第１の表示態様とは異なる（マークＭＧ２のような）第２の表示態様に設定する処理が表示制御部１３３により行われる。

また、本実施形態の表示制御部１３３は、図１１〜図１３の表示例各々に対応するマークの表示方法に係る処理を複数組み合わせて行うように構成されていてもよい。

また、本実施形態によれば、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な色を有するマークを生成するための処理が行われるとともに、当該内視鏡画像ＥＧ及び当該マークを含む表示画像を表示装置１４に表示させるための処理が行われるようにしてもよい。そして、このような構成によれば、例えば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、前述のような構成によれば、例えば、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域Ｌの検出が途絶する直前に当該病変領域Ｌが存在していた位置を含む一の参照領域を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を当該所定の色とは異なる色に変化させる処理と、が表示制御部１３３により行われる。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能である。

本発明の一態様の内視鏡画像処理装置は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行うように構成された病変検出部と、前記内視鏡画像に前記病変領域が含まれているか否かを判定するように構成された判定部と、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行うとともに、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行うように構成された表示制御部と、を有し、前記表示制御部は、前記病変領域の現在、または検出が途絶する直前の位置が、前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理を行う。

本発明の一態様の内視鏡画像処理方法は、病変検出部が、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行い、判定部が、前記内視鏡画像に前記病変領域が含まれているか否かを判定し、表示制御部が、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行い、前記表示制御部が、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行う内視鏡画像処理方法であって、前記表示制御部は、前記病変領域の現在、または検出が途絶する直前の位置が、前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理を行う。

本発明の一態様のプログラムは、コンピュータに、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理と、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理と、前記内視鏡画像に前記病変領域が含まれているか否かを判定する判定処理と、前記病変情報と、前記判定処理により得られた判定結果と、に基づき、前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理と、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理と、を実行させるためのプログラムであって、前記表示画像を生成するための処理は、前記病変領域の現在、または検出が途絶する直前の位置が、前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理である。

Claims

被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行うように構成された病変検出部と、
前記内視鏡画像に前記病変領域が含まれているか否かを判定するように構成された判定部と、
前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行うとともに、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行うように構成された表示制御部と、
を有することを特徴とする内視鏡画像処理装置。
前記表示制御部は、前記病変領域の検出状態の概要として、前記内視鏡画像において前記病変領域が検出されたか否かを示すとともに、前記病変領域の現在の位置が前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理を行う
ことを特徴とする請求項１に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記一の参照領域を示す一のマークを生成する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に前記一のマークを表示させる処理と、を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの形状を前記一の参照領域を指し示すような形状に設定する処理と、を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの輝度を前記一のマーク以外の（Ｎ−１）個のマークの輝度とは異なる輝度に設定する処理と、を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域に表示されているＮ個のマークの形状を前記内視鏡画像における前記一の参照領域が存在する方向を指し示すような形状に設定する処理と、を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を前記所定の色とは異なる色に変化させる処理と、を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記病変検出部は、前記内視鏡の挿入部の先端部から前記病変部の表面までの推定距離を検出するための処理をさらに行い、
前記表示制御部は、前記内視鏡の挿入部の先端部と前記病変領域に含まれる前記病変部とがどれだけ離れているかを前記病変領域の検出状態の概要としてさらに示すような前記１つ以上のマークを前記推定距離に基づいて生成するための処理を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上かつ４つ以下のＭ個のマークを生成するための処理と、前記内視鏡画像表示領域の中心から見て左上側、左下側、右上側及び右下側の４方向に位置するように設定された４つのマーク表示領域のうちのＭ個のマーク表示領域に前記Ｍ個のマークを１つずつ表示させるための処理と、を行う
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記判定部は、さらに、前記病変情報に対応する前記病変領域の検出が途絶したか否かを判定し、
前記表示制御部は、前記病変領域の検出状態の概要として、前記内視鏡画像において前記病変領域が検出されたか否かを示すとともに、前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置が前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理を行う
ことを特徴とする請求項１に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークを消去する処理と、を行う
ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの形状を前記一の参照領域を指し示すような形状に設定する処理と、を行う
ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの輝度を前記一のマーク以外の（Ｎ−１）個のマークの輝度とは異なる輝度に設定する処理と、を行う
ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を前記所定の色とは異なる色に変化させる処理と、を行う
ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの表示態様を前記病変領域の検出が途絶した要因に応じて異なる表示態様に設定する処理と、を行う
ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
前記表示制御部は、前記病変部が前記内視鏡画像の外部へ変位したことに起因して前記病変領域の検出が途絶した場合に、前記一のマークの表示態様を第１の表示態様に設定する処理を行うとともに、前記病変部が前記内視鏡画像に含まれる遮蔽物の裏側へ変位したことに起因して前記病変領域の検出が途絶した場合に、前記一のマークの表示態様を前記第１の表示態様とは異なる第２の表示態様に設定する処理を行う
ことを特徴とする請求項１５に記載の内視鏡画像処理装置。
前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記病変領域が検出されたことを示す４つのマークを生成するための処理と、前記内視鏡画像表示領域の中心から見て左上側、左下側、右上側及び右下側の４方向に位置するように設定された４つのマーク表示領域に前記４つのマークを１つずつ表示させるための処理と、を行う
ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
病変検出部が、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行い、
判定部が、前記内視鏡画像に前記病変領域が含まれているか否かを判定し、
表示制御部が、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行い、
前記表示制御部が、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行う
ことを特徴とする内視鏡画像処理方法。
コンピュータに、
被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理と、
前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理と、
前記内視鏡画像に前記病変領域が含まれているか否かを判定する判定処理と、
前記病変情報と、前記判定処理により得られた判定結果と、に基づき、前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理と、
前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理と、
を実行させるためのプログラム。