WO2019146075A1 - 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法 - Google Patents

Abstract

内視鏡画像処理装置１は、内視鏡画像Ｘを順次入力する入力部Ｉと、内視鏡画像Ｘの病変候補Ｌを検出する検出部３２と、検出された病変候補Ｌを鑑別して鑑別情報Ｃを出力する鑑別部３３と内視鏡画像Ｘ中に２つ以上の病変候Ｌを検出したとき、鑑別対象の鑑別対象病変候補Ｌｄを選択する病変候補選択部３４と内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを出力する。

Description

内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法

　本発明は、内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法に関する。

　従来、医用画像に含まれる病変候補の箇所を示すことができる内視鏡画像処理装置がある。

　また、日本国特開２００４－１３５８６８号公報には、マンモグラフィ等によって撮像された医用画像から異常陰影候補を検出し、異常陰影候補の悪性陰影である可能性の程度を示す悪性確信度を算出し、異常陰影候補の位置や形、大きさを特定するためのマーカとともに悪性確信度を表示する、異常陰影候補検出処理システムの例が開示されている。

　しかし、従来の内視鏡画像処理装置では、内視鏡画像が動画表示されることがあり、動画表示された内視鏡画像にマーカ等の病変候補の位置情報と、重篤度等の鑑別情報が複数表示されると、内視鏡画像が見難くなることがある。

　そこで、本発明は、内視鏡画像が見難くならないように、病変候補の位置情報及び鑑別情報を表示することができる、内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法を提供することを目的とする。

　実施形態の内視鏡画像処理装置は、内視鏡画像を順次入力する入力部と、前記内視鏡画像の病変候補を検出する検出部と、検出された前記病変候補を鑑別して鑑別情報を出力する鑑別部と前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択する病変候補選択部と前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力する表示画像出力部と、を有する。

　実施形態の内視鏡画像処理プログラムは、内視鏡画像の病変候補を検出するコードと、検出された前記病変候補を鑑別して鑑別情報を出力するコードと、前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択するコードと、前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力するコードと、をコンピュータに実行させる。

　実施形態の内視鏡画像処理方法は、入力部によって内視鏡画像の順次入力を行い、検出部によって前記内視鏡画像の病変候補の検出を行い、鑑別部によって検出された前記病変候補を鑑別して鑑別情報の出力を行い前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、病変候補選択部によって鑑別対象の鑑別対象病変候補の選択を行い、表示画像出力部によって前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報の出力を行う。

本発明の第１実施形態に係わる、内視鏡画像処理装置の構成の一例を示すブロック図である。 本発明の第２実施形態に係わる、内視鏡装置の構成の一例を示すブロック図である。 本発明の第２実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。 本発明の第２実施形態に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第３実施形態に係わる、内視鏡装置の病変候補のパラメータの一例を説明する図である。 本発明の４実施形態に係わる、内視鏡装置の構成の一例を示すブロック図である。 本発明の第４実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。 本発明の第４実施形態に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第４実施形態の変形例１に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第４実施形態の変形例２に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第４実施形態の変形例３に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第５実施形態に係わる、内視鏡装置の構成の一例を示すブロック図である。 本発明の第５実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。 本発明の第６実施形態に係わる、内視鏡装置の表示画像の一例を示す図である。 本発明の第６実施形態に係わる、内視鏡装置の画像処理の流れの一例を示すフローチャートである。

　以下、図面を参照しながら、本発明の実施形態を説明する。

　（第１実施形態）
　図１は、本発明の第１実施形態に係わる、内視鏡画像処理装置１の構成の一例を示すブロック図である。

　内視鏡画像処理装置１は、画像生成部２と診断支援情報生成部３を有する。

　画像生成部２は、図示しない先端の撮像部が被検体内に挿入され、被検体を照明し、被検体を撮像して内視鏡画像Ｘを生成する装置である。

　診断支援情報生成部３は、内視鏡画像Ｘに基づいて、鑑別対象病変候補Ｌｄ及び鑑別情報Ｃｄを含む表示画像Ｙを生成して出力する装置である。診断支援情報生成部３は、入力部Ｉ、検出部４、鑑別部５、病変候補選択部６、表示画像出力部７を有する。検出部４、鑑別部５、病変候補選択部６及び表示画像出力部７は、回路によって構成されるが、制御部８によって実行される処理部によって構成されてもよい。

　入力部Ｉは、画像生成部２及び検出部４と接続され、画像生成部２から内視鏡画像Ｘを順次入力し、検出部４及び表示画像出力部７に内視鏡画像Ｘを出力する回路である。

　検出部４は、内視鏡画像Ｘの病変候補Ｌを検出する。

　鑑別部５は、検出された病変候補Ｌを鑑別して鑑別情報Ｃを出力する。

　病変候補選択部６は、内視鏡画像Ｘ中に２つ以上の病変候補Ｌを検出したとき、病変候補Ｌの中から鑑別対象の鑑別対象病変候補Ｌｄを選択し、鑑別対象病変候補Ｌｄ及び鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを表示画像出力部７に出力する。

　表示画像出力部７は、内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを有する表示画像Ｙを出力する回路である。

　制御部８は、内視鏡画像処理装置１内の各部を制御する回路である。制御部８は、ＣＰＵ８ａ及びメモリ８ｂを有する。制御部８の機能は、ＣＰＵ８ａがメモリ８ｂに格納された各種処理部のプログラムや各種情報を読み込み、実行することによって実現する。

　実施形態によれば、内視鏡画像処理装置１は、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを表示することができる。

　（第２実施形態）
　図２は、本発明の第２実施形態に係わる、内視鏡装置Ｅｓの構成の一例を示すブロック図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　内視鏡装置Ｅｓは、光源装置１１と、内視鏡２１と、診断支援情報生成部３１と、表示部４１と、を有する。光源装置１１は、内視鏡２１及び診断支援情報生成部３１の各々と接続される。内視鏡２１は、診断支援情報生成部３１と接続される。診断支援情報生成部３１は、表示部４１と接続される。

　内視鏡２１と診断支援情報生成部３１は、内視鏡画像処理装置１を構成する。

　光源装置１１は、診断支援情報生成部３１の制御の下、内視鏡２１のスコープ２２の先端部に設けられた照明部２３に照明光を出力する。光源装置１１は、制御部３６の制御の下、図示しない操作部を介したユーザの指示により、白色光の他、狭帯域光も出力可能である。

　内視鏡２１は、被検体内を撮像できるように構成される。内視鏡２１は、スコープ２２と、照明部２３と、イメージャ２４と、コントロールユニット２５と、画像処理部２６とを有する。

　スコープ２２は、被検体内に挿入できるように、細長状に形成される。スコープ２２は、図示しない各種の管路及び信号線が内挿される。また、スコープ２２は、操作部及び湾曲機構により、ユーザの指示入力に応じて湾曲可能である。

　照明部２３は、スコープ２２の先端部に設けられ、光源装置１１から入力された照明光を被検体に照射する。

　イメージャ２４は、スコープ２２の先端部に設けられる。イメージャ２４は、例えば、ＣＣＤ等の撮像素子によって構成される。イメージャ２４は、照明部２３によって照明された被検体を撮像し、撮像信号をコントロールユニット２５に出力する。

　コントロールユニット２５は、スコープ２２の基端部に設けられ、診断支援情報生成部３１と接続される。コントロールユニット２５は、図示しない操作部を有し、照明部２３から照射する照明光の切り替え、スコープ２２の湾曲等の指示入力が可能である。

　画像処理部２６は、コントロールユニット２５に設けられる。画像処理部２６は、イメージャ２４から入力された撮像信号に、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ｘを生成し、診断支援情報生成部３１に出力する。

　イメージャ２４と画像処理部２６は、画像生成部２７を構成する。なお、画像生成部２７によって行われる画像処理の一部は、診断支援情報生成部３１内において行われてもよい。

　診断支援情報生成部３１は、内視鏡画像Ｘに基づいて、表示画像Ｙを生成して出力する装置である。診断支援情報生成部３１は、入力部Ｉ、検出部３２、鑑別部３３、病変候補選択部３４、表示画像出力部３５、制御部３６を有する。検出部３２、鑑別部３３、病変候補選択部３４及び表示画像出力部３５は、回路によって構成されるが、制御部３６によって実行される処理部によって構成されてもよい。

　入力部Ｉは、画像生成部２７及び検出部３２と接続され、画像生成部２７から内視鏡画像Ｘを順次入力し、検出部３２及び表示画像出力部３５に内視鏡画像Ｘを出力する回路である。

　検出部３２は、所定の検出処理によって内視鏡画像Ｘから複数の病変候補Ｌを検出する。検出部３２は、内視鏡画像Ｘから１又は複数の病変候補Ｌを検出し、病変候補Ｌを鑑別部３３に出力する。

　所定の検出処理は、例えば、互いに隣り合う画素との変化量から所定の輪郭抽出処理を行い、抽出した輪郭と、メモリ３８から読み込まれたモデル情報とのマッチングによって病変候補Ｌの抽出を行う。所定の検出処理は、これに限定されず、例えば、内視鏡画像Ｘの色、空間周波数の算出によって行われてもよいし、又は、機械学習等の人工知能技術を用いた演算装置によって病変候補Ｌを検出する処理であってもよい。また、所定の検出処理は、人工知能技術を用いた演算装置によって色や空間周波数を解析することによって行われてもよい。

　病変候補Ｌには、病変候補Ｌの位置情報が含まれる。位置情報は、例えば、内視鏡画像Ｘにおける、病変候補Ｌの中心位置の座標である。

　鑑別部３３は、所定の鑑別処理によって病変候補Ｌを鑑別し、病変候補Ｌの重篤度を示す鑑別情報Ｃを出力する。所定の鑑別処理は、病変候補Ｌのユーザの診断を支援できるように、例えば、メモリ３８から読み込まれたＮＩＣＥ分類の分類情報に基づいて、鑑別情報Ｃを生成する。検出部３２から病変候補Ｌが入力されると、鑑別部３３は、病変候補Ｌの画像を抽出し、抽出した画像に基づいて所定の鑑別処理を行い、病変候補Ｌ及び病変候補Ｌに対応付けられた鑑別情報Ｃを病変候補選択部３４に出力する。所定の鑑別処理は、これに限定されず、人口知能技術を用いた演算装置によって行われてもよい。また、検出部３２と鑑別部３３の処理は、まとめて処理してもよい。　病変候補選択部３４は、内視鏡画像Ｘ中に２つ以上の病変候補Ｌが含まれるとき、鑑別対象の鑑別対象病変候補Ｌｄを選択する。鑑別部３３から病変候補Ｌ及び病変候補Ｌに対応付けられた鑑別情報Ｃが入力されると、病変候補選択部３４は、病変候補Ｌの中から、所定の条件によって鑑別対象病変候補Ｌｄを選択し、鑑別対象病変候補Ｌｄ及び鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを表示画像出力部３５に出力する。

　所定の条件は、一例として、内視鏡画像Ｘの中心位置に最も近い位置にある病変候補Ｌを鑑別対象病変候補Ｌｄに選択するように設定される。

　すなわち、病変候補選択部３４は、内視鏡画像Ｘに基づいて、鑑別対象病変候補Ｌｄを選択する。より具体的には、病変候補選択部３４は、鑑別部３３によって鑑別情報Ｃを出力した後、鑑別対象病変候補Ｌｄを選択する。また、病変候補選択部３４は、病変候補Ｌの位置情報に基づいて、鑑別対象病変候補Ｌｄを選択する。

　表示画像出力部３５は、内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを有する表示画像Ｙを出力する。より具体的に、表示画像出力部３５は、内視鏡画像Ｘに鑑別対象病変候補Ｌｄの位置情報を重畳し、内視鏡画像Ｘとは異なる位置に、鑑別対象病変候補Ｌｄに対応付けられた鑑別情報Ｃｄを重畳した、表示画像Ｙを出力する。

　制御部３６は、内視鏡装置Ｅｓ内の各部を制御する回路である。制御部３６は、ＣＰＵ３７とメモリ３８を有し、ＣＰＵ３７によってメモリ３８に記憶されたプログラムや各種情報を読み込み、実行することよって機能を実現する。

　また、制御部３６は、ゲイン調整の量、又は、内視鏡画像Ｘの明るさを検出し、制御信号を出力し、光源装置１１の発光量を制御する。

　また、制御部３６は、制御信号を出力し、光源装置１１の光源モードを制御する。

　メモリ３８は、例えば、フラッシュＲＯＭ等の読み書き可能な記憶素子によって構成される。メモリ３８には、内視鏡装置Ｅｓを制御するための各種データ又は各種処理部のプログラムの他、検出部３２によって読み込まれるモデル情報、鑑別部３３によって読み込まれるＮＩＣＥ分類の分類情報も記憶される。また、メモリ３８は、内視鏡画像Ｘ等の情報を一時保存するワーキングメモリとして使用されてもよい。

　表示部４１は、例えば、カラー画像の表示をすることができるモニタによって構成される。表示部４１は、出力端子Ｖｏと有線によって接続され、出力端子Ｖｏから入力した表示画像Ｙを表示する。なお、表示部４１は、診断支援情報生成部３１の図示しない無線通信部を介し、無線通信によって診断支援情報生成部３１と接続されてもよい。

　次に、第２実施形態の内視鏡装置Ｅｓの動作について説明をする。

　図３は、本発明の第２実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。図４は、本発明の第２実施形態に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。

　内視鏡画像Ｘを取得する（Ｓ１）。ユーザは、スコープ２２を被検体に挿入し、照明部２３を駆動して照明光を被検体に照射する。画像生成部２７は、被検体を撮像し、画像処理を行って内視鏡画像Ｘを診断支援情報生成部３１に出力する。

　病変候補Ｌを検出する（Ｓ２）。検出部３２は、所定の検出処理によって内視鏡画像Ｘから病変候補Ｌを検出して鑑別部３３に出力する。

　病変候補Ｌを鑑別する（Ｓ３）。鑑別部３３は、所定の鑑別処理によってＳ２で検出された病変候補Ｌを鑑別する。具体的には、鑑別部３３は、メモリ３８に予め記憶された分類情報を読み込む。分類情報には、ＮＩＣＥ分類の所定の分類条件及び基準画像が含まれる。鑑別部３３は、画像の輝度値によって色調を検出し、所定の輪郭抽出処理によって血管模様及び表面模様を検出する。鑑別部３３は、検出した結果と、ＮＩＣＥ分類の所定の分類条件及び基準画像とを比較し、分類であるＴｙｐｅ１からＴｙｐｅ３の各々の適合率を算出し、鑑別情報Ｃを生成する。鑑別部３３は、病変候補Ｌ及び病変候補Ｌに対応付けられた鑑別情報Ｃを病変候補選択部３４に出力する。

　鑑別対象病変候補Ｌｄを選択する（Ｓ４）。図４に示すように、病変候補選択部３４は、複数の病変候補Ｌの中からより内視鏡画像Ｘの中心位置に近い、鑑別対象病変候補Ｌｄを選択し、表示画像出力部３５に、鑑別対象病変候補Ｌｄ及び鑑別情報Ｃｄを出力する。

　表示画像Ｙを出力する（Ｓ５）。表示画像出力部３５は、表示画像Ｙに、鑑別対象病変候補Ｌｄの位置情報を重畳する。より具体的には、表示画像出力部３５は、内視鏡画像Ｘ内に鑑別対象病変候補Ｌｄの位置を示す位置表示画像Ｗを重畳する。図４の例では、位置表示画像Ｗは、鑑別対象病変候補Ｌｄを囲むように重畳される四角形画像である。

　また、表示画像出力部３５は、内視鏡画像Ｘが重畳される領域とは異なる情報表示領域Ｚａに、鑑別情報Ｃｄを重畳する。鑑別情報Ｃｄは、図４の例では、ＮＩＣＥ分類のＴｙｐｅ１の適合率が２０％、Ｔｙｐｅ２の適合率が８０％のように示される。鑑別情報Ｃｄには、適合率に応じて増減表示するインジケータＣｉが設けられてもよい。

　すなわち、実施形態の内視鏡画像処理方法は、入力部Ｉによって内視鏡画像Ｘの順次入力を行い、検出部３２によって内視鏡画像Ｘの病変候補Ｌの検出を行い、鑑別部３３によって検出された病変候補Ｌを鑑別して鑑別情報Ｃの出力を行い、内視鏡画像Ｘ中に２つ以上の病変候補Ｌを検出したとき、病変候補選択部３４によって鑑別対象の鑑別対象病変候補Ｌｄの選択を行い、表示画像出力部３５によって内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄの出力を行う。

　これにより、内視鏡画像処理装置１は、病変候補Ｌの中から、内視鏡画像Ｘの中心位置に最も近い位置にある鑑別対象病変候補Ｌｄを選択できる。また、内視鏡画像処理装置１は、内視鏡画像Ｘが見難くならないように、内視鏡画像Ｘに鑑別対象病変候補Ｌｄの位置情報を表示し、内視鏡画像Ｘとは異なる位置に鑑別情報Ｃｄを表示する。

　例えば、ユーザが、注目している病変候補Ｌが中心位置に表示されるように内視鏡２１を操作したとき、内視鏡画像処理装置１は、病変候補Ｌの中から内視鏡画像Ｘの中心位置に最も近い鑑別対象病変候補Ｌｄの位置情報を表示し、内視鏡画像Ｘとは異なる位置に鑑別情報Ｃｄを表示する。

　実施形態によれば、内視鏡画像処理装置１は、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。

　（第３実施形態）
　第１実施形態及び第２実施形態では、病変候補Ｌの位置情報に応じて鑑別対象病変候補Ｌｄを選択するが、位置情報以外の情報に応じて鑑別対象病変候補Ｌｄを選択してもよい。

　図５は、本発明の第３実施形態に係わる、内視鏡装置Ｅｓの病変候補Ｌのパラメータの一例を説明する図である。図５における「ｘｘｘ」は、パラメータ値を示す。図５における「病変候補１」「病変候補２」の各々は、検出された複数の病変候補Ｌを示す。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　図５に示すように、検出部３２は、病変候補Ｌの各々の位置情報の他、面積、内視鏡先端の撮像部と病変候補Ｌ間の距離情報、合焦値、露出適正度、光源モード、色、形状、病変候補Ｌと処置具間の距離情報、検出確信度の各パラメータ値を生成し、各パラメータを含む病変候補Ｌを鑑別部３３に出力する。

　面積は、例えば、所定の輪郭抽出処理によって病変候補Ｌの輪郭を抽出し、抽出した輪郭に基づいて、所定の演算によって算出される。

　内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、例えば、画素の輝度値に基づいて、所定の演算によって算出される。内視鏡先端の撮像部と病変候補Ｌ間の距離が短くなると、輝度値は、大きくなる。画素は、赤色であることが望ましいがこれに限定されない。

　また、内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、制御部３６から取得するゲイン調整の量に基づいて、所定の演算によって算出してもよい。ゲイン調整の量は、内視鏡画像Ｘの明るさを補正する量である。内視鏡先端の撮像部と病変候補Ｌ間の距離情報が短くなると、ゲイン調整の量は、小さくなる。

　また、内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、スコープ２２の先端部にステレオアダプタを装着してステレオ画像を取得し、三角測距法に基づいて、所定の演算によって算出してもよい。

　また、内視鏡先端の撮像部と病変候補Ｌ間の距離情報は、所定の輪郭抽出処理によって血管の輪郭を抽出し、抽出した輪郭に基づいて、血管の幅を検出し、検出した血管の幅に基づいて、所定の演算によって算出してもよい。内視鏡２１と病変候補Ｌ間の距離情報が短くなると、血管の幅は、大きくなる。

　合焦値は、例えば、内視鏡画像Ｘの空間周波数に基づいて、所定の演算によって算出される。空間周波数が高くなると、合焦値は、高くなる。

　露出適正度は、例えば、内視鏡画像Ｘと撮像素子感度に基づいて、所定の演算によって算出される。露出適正度は、病変候補Ｌの露出値を検出し、適正露出値との乖離度に基づいて算出してもよい。

　光源モードは、例えば、各色の画素の平均輝度値を算出し、平均輝度値に基づいて、検出される。例えば、光源モードは、平均輝度値が第１所定範囲内の値であるとき、白色光源モードであると検出され、また、平均輝度値が第２所定範囲内の値であるとき、狭帯光源モードであると検出される。なお、検出部３２は、平均輝度値に基づいた検出ではなく、制御部３６から光源モードを示すパラメータを取得するように構成してもよい。

　色は、例えば、各色の画素の輝度値に基づいて、所定の演算によって検出される。

　形状は、例えば、所定の輪郭抽出処理に基づいて、所定の演算によって検出される。

　病変候補Ｌと処置具間の距離情報は、例えば、所定の輪郭抽出処理によって処置具画像を抽出し、抽出した処置具画像と病変候補Ｌに基づいて、所定の演算によって算出される。

　検出確信度は、例えば、病変候補Ｌとモデル情報とに基づいて、所定の演算によって算出される。

　鑑別部３３は、鑑別情報Ｃに基づいて、所定の演算によって重篤度算出値を算出し、重篤度算出値を含む病変候補Ｌを病変候補選択部３４に出力する。重篤度算出値は、鑑別情報Ｃに基づいて、算出される。

　病変候補選択部３４は、検出部３２及び鑑別部３３によって検出又は算出した、位置情報、面積、内視鏡先端の撮像部と病変候補Ｌ間の距離情報、合焦値、露出適正度、光源モード、色、形状、処置具からの距離情報、検出確信度及び重篤度算出値の各々に応じ、鑑別対象病変候補Ｌｄを選択する。

　例えば、病変候補選択部３４は、面積の大きい病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌが大きく表示されるように内視鏡２１を操作したとき、病変候補選択部３４は、病変候補Ｌの中から面積の大きい鑑別対象病変候補Ｌｄを選択可能である。

　また、病変候補選択部３４は、距離情報に基づいて、内視鏡先端の撮像部から距離の近い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌに内視鏡先端の撮像部を近付けたとき、病変候補選択部３４は、病変候補Ｌの中から内視鏡先端の撮像部と病変候補Ｌ間の距離の短い鑑別対象病変候補Ｌｄを選択可能である。

　また、病変候補選択部３４は、焦点又は露出の合った病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌに焦点又は露出を合わせたとき、病変候補選択部３４は、病変候補Ｌの中から焦点又は露出の合った鑑別対象病変候補Ｌｄを選択可能である。

　また、病変候補選択部３４は、光源モード及び色に基づいて、残渣及びハレーションのある病変候補Ｌを除外するように構成してもよい。例えば、白色光の光源モードであれば、白色又は黄色の強い病変候補Ｌを鑑別対象病変候補Ｌｄから除外する。なお、病変候補選択部３４は、検出した形状に基づいてハレーションのある病変候補Ｌを鑑別対象病変候補Ｌｄから除外するように構成してもよい。

　また、病変候補選択部３４は、検出した形状に基づいて、より円形に近い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが、注目している病変候補Ｌの正面を撮像するように内視鏡２１を操作したとき、病変候補選択部３４は、病変候補Ｌの中から正面を撮像した鑑別対象病変候補Ｌｄを選択可能である。

　また、病変候補選択部３４は、処置具に近い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。これにより、ユーザが注目している病変候補Ｌに処置具を近付けたとき、病変候補選択部３４は、病変候補Ｌの中から処置具と病変候補Ｌ間の距離の短い鑑別対象病変候補Ｌｄを選択可能である。

　また、病変候補選択部３４は、検出確信度の高い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。

　また、病変候補選択部３４は、重篤度算出値の高い病変候補Ｌを優先的に鑑別対象病変候補Ｌｄに選択してもよい。

　例えば、病変候補選択部３４は、位置情報、面積、内視鏡先端の撮像部と病変候補Ｌ間の距離情報、合焦値、露出適正度、光源モード、色、形状、処置具と病変候補Ｌ間の距離情報、検出確信度及び重篤度算出値の各々について、重み付けを行うことによって評価値を算出し、評価値に応じて鑑別対象病変候補Ｌｄを選択してもよい。

　すなわち、病変候補選択部３４は、病変候補Ｌのサイズに基づいて、鑑別対象病変候補Ｌｄを選択する。また、病変候補選択部３４は、内視鏡先端の撮像部と病変候補Ｌ間の距離情報に基づいて、鑑別対象病変候補Ｌｄを選択する。また、病変候補選択部３４は、病変候補Ｌの色に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、病変候補Ｌの形状に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、内視鏡画像Ｘに表れた処置具と病変候補Ｌ間の距離情報に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、病変候補Ｌの検出確信度に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、鑑別情報Ｃに基づいて算出された重篤度算出値に基づいて、鑑別対象病変候補Ｌｄを選択する。病変候補選択部３４は、病変候補Ｌ及び鑑別情報Ｃから取得される複数のパラメータの重み付けを行うことによって評価値を算出し、評価値に基づいて、鑑別対象病変候補Ｌｄを選択する。

　実施形態によれば、内視鏡画像処理装置１は、よりユーザの注目度の高い鑑別対象病変候補Ｌｄを選択することができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。

　（第４実施形態）
　第１実施形態から第３実施形態では、内視鏡画像処理装置１は、病変候補Ｌの中から鑑別対象病変候補Ｌｄを表示するが、さらに、複数の病変候補Ｌが検出されたことを報知するように構成してもよい。

　図６は、本発明の４実施形態に係わる、内視鏡装置Ｅｓの構成の一例を示すブロック図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　内視鏡画像処理装置１は、複数病変候補検出部３９を有する。

　複数病変候補検出部３９は、病変候補Ｌが複数存在することを検出する。複数病変候補検出部３９は、鑑別部３３から入力した病変候補Ｌが複数存在するとき、病変候補選択部３４に病変候補Ｌが複数存在することを示すフラグ情報を出力する。病変候補検出部３９は、回路によって構成されるが、制御部３６によって実行される処理部によって構成されてもよい。

　病変候補Ｌが複数存在するとき、鑑別対象病変候補Ｌｄ以外の病変候補Ｌは、非表示である。複数検出部３９から病変候補Ｌが複数存在することを示すフラグ情報が入力されると、表示画像出力部３５は、表示画像Ｙに、非表示の病変候補Ｌが存在することを示す報知画像Ｆ１を重畳して出力する。

　図７は、本発明の第４実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。図８は、本発明の第４実施形態に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。

　Ｓ１１からＳ１３は、Ｓ１からＳ３と同じであるため、説明を省略する。

　病変候補Ｌが複数検出されたか否かを判定する（Ｓ１４ａ）。複数検出部３９は、鑑別部３３から病変候補Ｌが複数入力されたか否かを判定する。病変候補Ｌが複数入力されているとき（Ｓ１４ａ：ＹＥＳ）、処理はＳ１４ｂに進む。一方、病変候補Ｌが複数以外の１つ入力されているとき（Ｓ１４ａ：ＮＯ）、処理はＳ１４ｃに進む。

　Ｓ１４ｂでは、表示画像Ｙに報知を行う。複数検出部３９は、表示画像出力部３５に複数報知の指示を行う。図８に示すように、表示画像出力部３５は、表示画像Ｙに、円形のアイコンによって構成された報知画像Ｆ１を重畳する。

　Ｓ１４ｃ及びＳ１５は、Ｓ４及びＳ５と同じであるため、説明を省略する。

　実施形態によれば、内視鏡画像処理装置１は、非表示の病変候補Ｌの存在の報知を行うことができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。

　（第４実施形態の変形例１）
　図９は、本発明の第４実施形態の変形例１に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　第４実施形態では、報知画像Ｆ１は、円形のアイコンによって構成されるが、図９に示すように、報知画像Ｆ２は、非表示の病変候補Ｌの存在を報知する「非表示病変候補あり」のメッセージによって構成してもよい。

　（第４実施形態の変形例２）
　図１０は、本発明の第４実施形態の変形例２に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　第４実施形態及びその変形例１では、報知画像Ｆ１が円形のアイコンによって構成され、報知画像Ｆ２がメッセージによって構成されるが、報知画像Ｆ３は、鑑別対象病変候補Ｌｄを囲むように重畳される画像によって構成されてもよい。

　非表示の病変候補Ｌが存在しないとき、鑑別対象病変候補Ｌｄを囲むように、四角形模様の位置表示画像Ｗが重畳される。図１０に示すように、非表示の病変候補Ｌが存在するとき、位置表示画像Ｗを非表示にし、鑑別対象病変候補Ｌｄを囲むように、位置表示画像Ｗとは異なる六角形模様の報知画像Ｆ３が重畳される。なお、報知画像Ｆ３は、位置表示画像Ｗと異なる色に変えてもよい。

　（第４実施形態の変形例３）
　図１１は、本発明の第４実施形態の変形例３に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　第４実施形態及びその変形例１と２では、報知画像Ｆ１が円形のアイコンによって構成され、報知画像Ｆ２がメッセージによって構成され、報知画像Ｆ３が、鑑別対象病変候補Ｌｄを囲むように重畳される画像によって構成されるが、報知画像Ｆ４は、非表示の病変候補Ｌの数を重畳して出力してもよい。

　すなわち、表示画像出力部３５は、内視鏡画像Ｘに、鑑別対象病変候補Ｌｄ以外の非表示の病変候補Ｌがあるとき、表示画像Ｙに、非表示の病変候補Ｌの数を重畳する。

　図１１は、非表示の病変候補Ｌが２つ存在することを示す報知画像Ｆ４の例である。

　第４実施形態及びその変形例１から３によれば、表示画像出力部３５は、内視鏡画像Ｘに、鑑別対象病変候補Ｌｄ以外の非表示の病変候補Ｌがあるとき、表示画像Ｙに、報知画像Ｆ１、Ｆ２、Ｆ３、Ｆ４を重畳する。

　（第５実施形態）
　第１から第４の実施形態及びその変形例では、病変候補選択部３４は、内視鏡画像Ｘに基づいて、病変候補Ｌの中から鑑別対象病変候補Ｌｄを選択したが、ユーザの指示入力に基づいて、鑑別対象病変候補Ｌｄを選択してもよい。

　図１２は、本発明の第５実施形態に係わる、内視鏡装置Ｅｓの構成の一例を示すブロック図である。図１３は、本発明の第５実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　内視鏡２１及び診断支援情報生成部３１は、指示入力部Ｏｐを有する。指示入力部Ｏｐは、例えば、操作スイッチを有する。

　Ｓ２１からＳ２４ｂ及びＳ２５は、Ｓ１１からＳ１４ｂ及びＳ１５と同じであるため、説明を省略する。

　病変候補選択部３４は、指示入力部Ｏｐの指示入力に応じ、鑑別対象病変候補Ｌｄを選択する（Ｓ２４ｃ）。

　実施形態によれば、内視鏡画像処理装置１は、ユーザの指示入力によって鑑別対象病変候補Ｌｄを選択することができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。

　（第６実施形態）
　第１から第４の実施形態及びその変形例では、検出部３２、鑑別部３３及び病変候補選択部３４の順に、処理が進むが、検出部３２、病変候補選択部３４ａ及び鑑別部３３ａの順に処理が進むように構成してもよい。

　図１４は、本発明の第６実施形態に係わる、内視鏡装置Ｅｓの表示画像Ｙの一例を示す図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　図１４に示すように、検出部３２は、所定の検出処理を行って病変候補Ｌを病変候補選択部３４ａに出力する。病変候補選択部３４ａは、病変候補Ｌの中から鑑別対象病変候補Ｌｄを選択し、鑑別部３３ａに出力する。鑑別部３３ａは、鑑別対象病変候補Ｌｄに基づいて、所定の鑑別処理によって鑑別対象病変候補Ｌｄの重篤度を示す鑑別情報Ｃｄを生成し、表示画像出力部３５に出力する。

　図１５は、本発明の第６実施形態に係わる、内視鏡装置Ｅｓの画像処理の流れの一例を示すフローチャートである。

　Ｓ３１及びＳ３２は、Ｓ１及びＳ２と同じであるため、説明を省略する。

　鑑別対象病変候補Ｌｄを選択する（Ｓ３３）。病変候補選択部３４ａは、鑑別対象病変候補Ｌｄを選択し、鑑別部３３ａに出力する。

　鑑別対象病変候補Ｌｄを鑑別する（Ｓ３４）。鑑別部３３ａは、鑑別対象病変候補Ｌｄを鑑別し、鑑別対象病変候補Ｌｄ及び鑑別情報Ｃｄを表示画像出力部３５に出力する。

　Ｓ３５は、Ｓ５と同じであるため、説明を省略する。

　すなわち、鑑別部３３ａは、病変候補選択部３４ａによって鑑別対象病変候補Ｌｄを選択した後、所定の鑑別処理によって鑑別対象病変候補Ｌｄの鑑別情報Ｃｄを出力する。

　実施形態によれば、内視鏡画像処理装置１は、鑑別部３３ａによる所定の鑑別処理を行う前に鑑別対象病変候補Ｌｄを選択して演算量を減少させることができ、内視鏡画像Ｘが見難くならないように、鑑別対象病変候補Ｌｄの位置情報及び鑑別情報Ｃｄを表示することができる。

　なお、実施形態及び変形例では、画像生成部２、２７と診断支援情報生成部３、３１は、別体であるが、一体化してもよい。

　なお、実施形態及び変形例では、一例として、鑑別部３３、３３ａがＮＩＣＥ分類に基づく鑑別情報Ｃ、Ｃｄを出力する例を説明したが、これに限定されない。例えば、鑑別部３３、３３ａが広島分類又はＪＮＥＴ分類等の医学的な分類に基づく鑑別情報Ｃを出力してもよい。

　本明細書における各「部」は、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各「部」の全て又は一部をソフトウェアによって実現してもよい。さらに、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

　例えば、ＣＰＵ８ａ、３７がメモリ８ｂ、３８に記憶されたコードを実行することによって内視鏡画像処理装置１の機能を実現してもよい。

　すなわち、内視鏡画像処理装置１は、内視鏡画像Ｘの病変候補Ｌを検出するコードと、検出された病変候補Ｌを鑑別して鑑別情報Ｃを出力するコードと、内視鏡画像Ｘ中に２つ以上の病変候補Ｌを検出したとき、鑑別対象の鑑別対象病変候補Ｌｄを選択するコードと、内視鏡画像Ｘとともに鑑別対象病変候補Ｌｄの位置情報と鑑別情報Ｃｄを出力するコードと、をコンピュータに実行させるための内視鏡画像処理プログラムを有する。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (19)

1. 　内視鏡画像を順次入力する入力部と、
   　前記内視鏡画像の病変候補を検出する検出部と
   　検出された前記病変候補を鑑別して鑑別情報を出力する鑑別部と、
   　前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択する病変候補選択部と
   　前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力する表示画像出力部と、
   　を有する内視鏡画像処理装置。
2. 　前記病変候補選択部は、前記内視鏡画像に基づいて、前記鑑別対象病変候補を選択する、請求項１に記載の内視鏡画像処理装置。
3. 　前記検出部は、前記位置情報を検出し、
   　前記病変候補選択部は、前記位置情報に基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
4. 　前記検出部は、前記病変候補のサイズを検出し、
   　前記病変候補選択部は、前記病変候補のサイズに基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
5. 　内視鏡を有し、
   　前記検出部は、前記内視鏡先端の撮像部と前記病変候補間の距離情報を算出し、
   　前記病変候補選択部は、前記内視鏡先端の撮像部と前記病変候補間の距離情報に基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
6. 　前記検出部は、前記病変候補の色を検出し、
   　前記病変候補選択部は、前記病変候補の色に基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
7. 　前記検出部は、前記病変候補の形状を検出し、
   　前記病変候補選択部は、前記病変候補の形状に基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
8. 　処置具を有し、
   　前記検出部は、前記内視鏡画像に表れた前記処置具と前記病変候補間の距離情報を検出し、
   　前記病変候補選択部は、前記処置具と前記病変候補間の距離情報に基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
9. 　前記検出部は、前記病変候補の検出確信度を算出し、
   　前記病変候補選択部は、前記病変候補の検出確信度に基づいて、前記鑑別対象病変候補を選択する、
   　請求項１に記載の内視鏡画像処理装置。
10. 　前記鑑別部は、前記鑑別情報に基づいて、重篤度算出値を算出し、
    　前記病変候補選択部は、前記重篤度算出値に基づいて、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
11. 　前記病変候補選択部は、前記病変候補及び前記鑑別情報から取得される複数のパラメータの重み付けを行うことによって評価値を算出し、前記評価値に基づいて、前記鑑別対象病変候補を選択する、請求項１に記載の内視鏡画像処理装置。
12. 　前記表示画像出力部は、前記内視鏡画像に、前記鑑別対象病変候補以外の非表示の病変候補があるとき、報知画像を出力する、請求項１に記載の内視鏡画像処理装置。
13. 　前記表示画像出力部は、前記内視鏡画像に、前記鑑別対象病変候補以外の非表示の病変候補があるとき、前記非表示の病変候補の数を出力する、請求項１に記載の内視鏡画像処理装置。
14. 　指示入力部を有し、
    　前記病変候補選択部は、前記指示入力部の指示入力に応じ、前記鑑別対象病変候補を選択する、
    　請求項１に記載の内視鏡画像処理装置。
15. 　指示入力部は、操作スイッチである、請求項１３に記載の内視鏡画像処理装置。
16. 　前記病変候補選択部は、前記鑑別部によって前記鑑別情報を出力した後、前記鑑別対象病変候補を選択する、請求項１に記載の内視鏡画像処理装置。
17. 　前記鑑別部は、前記病変候補選択部によって前記鑑別対象病変候補を選択した後、所定の鑑別処理によって前記鑑別対象病変候補の前記鑑別情報を出力する、請求項１に記載の内視鏡画像処理装置。
18. 　内視鏡画像の病変候補を検出するコードと、
    　検出された前記病変候補を鑑別して鑑別情報を出力するコードと、
    　前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、鑑別対象の鑑別対象病変候補を選択するコードと、
    　前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報を出力するコードと、
    　をコンピュータに実行させるための内視鏡画像処理プログラム。
19. 　入力部によって内視鏡画像の順次入力を行い、
    　検出部によって前記内視鏡画像の病変候補の検出を行い、
    　鑑別部によって検出された前記病変候補を鑑別して鑑別情報の出力を行い、
    　前記内視鏡画像中に２つ以上の前記病変候補を検出したとき、病変候補選択部によって鑑別対象の鑑別対象病変候補の選択を行い、
    　表示画像出力部によって前記内視鏡画像とともに前記鑑別対象病変候補の位置情報と前記鑑別情報の出力を行う、
    　内視鏡画像処理方法。

Images