JPWO2020008651A1 - 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム - Google Patents

Abstract

内視鏡用画像処理装置３２は、被写体を内視鏡２１にて撮像して得られた複数の観察画像が順次入力される画像入力部３３と、内視鏡２１の観察対象である病変部を観察画像から検出する病変検出部３４と、病変部の検出結果を観察画像に付加して出力する表示制御部３６とを備える。表示制御部３６は、病変の状態を解析する病変状態解析部３６ｂと、病変部の状態に応じて病変部の検出結果の表示延長時間を設定する表示延長時間設定部３６ｃとを備える。

Description

本発明は、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムに関する。

従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び識別し、病変部に対する処置具を用いた処理を行うことができる。

術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカによる強調表示を付与して表示させる画像処理装置は、一般的に広く知られている。

ところで、内視鏡観察においては、内視鏡により撮像される体腔内の被写体と、当該体腔内に挿入される当該内視鏡の挿入部との相対位置が常時変化し得るため、一旦検出された病変部を、全フレームで正しく検出することは難しい。そこで、病変部が検出されなかったフレームに対し、病変部が検出された直近のフレームの情報を用いてマーカなどを延長表示させる方法が考えられる。

例えば、一般画像向けに表示情報を延長表示させる方法として提案されている、日本国特開２００９−１０５７０５号公報を内視鏡画像用画像処理装置に適用することにより、マーカなどの延長表示を実現することは可能である。

しかし、日本国特開２００９−１０５７０５号公報による延長表示手段では、どんな状況においても一定時間延長処理を行っている。このため、例えば、明らかな病変に対しては、必要以上にマーカが長く表示されることにより、視認性を損なってしまうという問題があった。また、例えば、気づきにくい病変部に対しては、病変部を識別する前にマーカが消失してしまうことにより、病変部を見落とす可能性があるという問題があった。

本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることが可能な内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。

本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、前記病変部の検出結果を前記観察画像に付加して出力する表示制御出力部とを備える。前記表示制御出力部は、病変の状態を解析する病変状態解析部と、前記病変部の状態に応じて前記病変部の検出結果の表示延長時間を設定する表示延長時間設定部とを備える。

本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、前記内視鏡の観察対象である病変部を前記観察画像から検出し、前記病変部の状態を解析し、前記状態に応じて前記病変部の検出結果の表示延長時間を設定し、前記病変部の検出結果を前記観察画像に付加して出力する。

本発明の一態様の内視鏡用画像処理プログラムは、画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、病変状態解析部が、病変部の状態を解析するステップと、表示延長時間設定部が、前記病変部の状態に応じて前記検出結果の表示延長時間を設定するステップと、表示制御出力部が、前記病変部の検出結果を前記観察画像に付加して出力するステップと、をコンピュータに実行させる。

第１の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。 第１の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図。 第１の実施形態に係る画像処理装置において行われる処理の一例を示すフローチャート。 第１の実施形態に係る画像処理装置において行われる処理の一例を説明するためのタイムチャート。 第１の実施形態に係る画像処理装置において行われる処理の、別の一例を説明するためのタイムチャート。 第１の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 第１の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図。 第１の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図。 第２の実施形態に係る病変状態解析部の構成の一例を説明するためのブロック図。 第２の実施形態に係る病変解析処理の流れの一例を示すフローチャート。 第２の実施形態の変形例に係る病変解析処理の流れの一例を示すフローチャート。 第３の実施形態に係る病変解析処理の流れの一例を示すフローチャート。 第３の実施形態の変形例に係る病変解析処理の流れの一例を示すフローチャート。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
（第１の実施形態）

図１は、第１の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム１は、図１に示すように、光源駆動装置１１と、内視鏡２１と、ビデオプロセッサ３１と、内視鏡用画像処理装置（以下、画像処理装置と示す）３２と、表示装置４１と、を有して構成されている。

光源駆動装置１１は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置１１は、内視鏡２１及びビデオプロセッサ３１に接続されている。また、光源駆動装置１１は、ビデオプロセッサ３１からの光源制御信号に基づき、内視鏡２１の光源部２３を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡２１へ出力するように構成されている。

内視鏡２１は、光源駆動装置１１及びビデオプロセッサ３１に接続されている。また、内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２２を有して構成されている。また、挿入部２２の先端部には、光源部２３と、撮像部２４と、が設けられている。

光源部２３は、例えば、白色ＬＥＤのような発光素子を具備して構成されている。また、光源部２３は、光源駆動装置１１から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。

撮像部２４は、例えば、カラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像部２４は、ビデオプロセッサ３１から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部２４は、光源部２３からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力するように構成されている。

ビデオプロセッサ３１は、光源駆動装置１１及び内視鏡２１に接続されている。また、ビデオプロセッサ３１は、光源部２３の発光状態を制御するための光源制御信号を生成して光源駆動装置１１へ出力するように構成されている。また、ビデオプロセッサ３１は、撮像部２４の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力するように構成されている。

画像処理装置３２は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置３２は、ビデオプロセッサ３１から出力される観察画像Ｇ１に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置４１に表示させるための動作を行うように構成されている。また、画像処理装置３２は、図２に示すように、画像入力部３３と、病変検出部３４と、表示制御部３６と、を有して構成されている。図２は、第１の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。

画像入力部３３は、ビデオプロセッサ３１から入力される観察画像Ｇ１を、病変検出部３４へ出力する。

病変検出部３４は、画像入力部３３から順次出力される観察画像Ｇ１に含まれる病変領域Ｌｎ（ｎ＝１、２…）を検出するように構成されている。病変検出部３４は、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出する。なお、病変領域Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。

表示制御出力部としての表示制御部３６は、表示装置４１に接続されている。また、表示制御部３６は、強調処理部３６ａと、病変状態解析部３６ｂと、表示延長時間設定部３６ｃと、記録部３６ｄとを有して構成されている。表示制御部３６は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を用いて表示用画像を生成するための処理を行うとともに、当該生成した表示用画像を表示装置４１の表示画面４１Ａに表示させるための処理を行うように構成されている。

強調処理部３６ａは、病変検出部３４で検出された病変領域Ｌｎの位置を強調するために、当該病変領域Ｌｎを囲むマーカ画像Ｇ２を生成して、観察画像Ｇ１に付加する強調処理を行う。強調処理は、病変領域Ｌｎが検出された時点から開始される。また、強調処理は、病変領域Ｌｎの検出が途絶してから、表示延長時間設定部３６ｃにおいて設定された表示延長時間が経過後に終了する。なお、病変領域Ｌｎが検出された後、画面外に病変領域Ｌｎが移動してしまった場合や、病変領域Ｌｎの検出に失敗してしまった場合も、途絶に含まれる。

なお、強調処理部３６ａの強調処理により付加されるマーカ画像Ｇ２は、病変候補Ｌｎの位置を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像Ｇ２は、病変領域Ｌｎの位置を示すことができるものであれば、病変領域Ｌｎを囲まない画像であっても構わない。例えば、病変領域Ｌｎの明るさや色調を周辺領域とは異なるものとすることによって病変領域Ｌｎの位置を示してもよい。更には、支援情報として病変領域を示すメッセージを生成し、病変領域の近傍や観察画面の周辺等にポップアップメッセージなどの形式で表示したり、フラグを生成して表示したりすることによって、その存在を示してもよい。

病変状態解析部３６ｂは、病変検出部３４で検出された病変領域Ｌｎの状態を解析する。解析の結果は、表示延長時間設定部３６ｃに出力される。

表示延長時間設定部３６ｃは、強調処理部３６ａで生成されたマーカ画像Ｇ２の表示延長時間を、病変領域Ｌｎの状態の解析結果に基づき設定する。なお、表示延長時間設定部３６ｃで設定される表示延長時間とは、観察画像Ｇ１に付加表示されていたマーカ画像Ｇ２を、病変領域Ｌｎの検出が途絶した後においても表示用画像に表示させる時間のことである。表示延長時間設定部３６ｃには、２種類以上の表示延長時間が予め設定されており、病変状態解析部３６ｂから入力される解析結果に応じて、適切な表示延長時間が選択される。

表示延長時間は、フレーム数によって規定される。例えば、第１の表示延長時間として１フレーム、第２の表示延長時間として１０フレームが予め設定されている。１秒間のフレーム数が３０であるとき、第１の表示延長時間は約０．０３秒、第２の表示延長時間は約０．３３秒となる。

病変領域Ｌｎの状態を解析した結果、病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合、術者が病変部を見落とすことを防ぐために、第２の表示延長時間を選択する。一方、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合、視認性を向上させるために、第１の表示延長時間を選択する。

記録部３６ｄは、ビデオプロセッサ３１から順次出力される複数の観察画像Ｇ１を複数の記録画像Ｒ１として順次（時系列順に）記録するように構成されている。

表示装置４１は、モニタ等を具備し、画像処理装置３２から出力される表示用画像を表示することができるように構成されている。

続いて、本実施形態の作用について説明する。図３は、第１の実施形態に係る画像処理装置において行われる処理の一例を示すフローチャートである。

内視鏡２１は、例えば、光源駆動装置１１及びビデオプロセッサ３１の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力する。

ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力する。すなわち、画像入力部３３は、ビデオプロセッサ３１から生体内管腔画像である内視鏡画像（観察画像Ｇ１）を取得する（Ｓ１）。画像入力部３３は、取得した画像を病変検出部３４に出力する。

病変検出部３４は、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出する（Ｓ２）。病変領域Ｌｎの検出結果は、表示制御部３６に出力される。

表示制御部３６では、病変状態解析部３６ｂにおいて、病変領域Ｌｎの状態を解析する。病変状態解析部３６ｂでは、画像解析によって病変領域Ｌｎの重要性（悪性度など）や、位置などを判定し、見落としの可能性などを評価する（Ｓ３）。病変領域Ｌｎの状態の解析結果は、表示延長時間設定部３６ｃに入力される。

続いて、表示延長時間設定部３６ｃは、病変領域Ｌｎの状態の解析結果に基づき、病変領域Ｌｎを強調するために表示画面に付加するマーカ画像Ｇ２の表示延長時間を、病変領域Ｌｎの状態の解析結果に基づき設定する（Ｓ４）。病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合（Ｓ４、ＹＥＳ）、Ｓ６に進み、表示延長時間を長く設定する。一方、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合、（Ｓ４、ＮＯ）、Ｓ５に進み、表示延長時間を短く設定する。

Ｓ５、または、Ｓ６の処理によって、表示延長時間の設定が終了すると、Ｓ７の処理に進む。Ｓ７では、強調処理部３６ａにおいて、病変領域Ｌｎを囲むマーカ画像Ｇ２を生成して、観察画像Ｇ１に付加する強調処理を行う。強調処理は、病変領域Ｌｎが検出された時点から開始され、病変領域Ｌｎが画面外に移動したり検出に失敗したりすることにより、病変領域Ｌｎの検出が途絶してから表示延長時間が経過した時点で終了する。表示制御部３６は、観察画像Ｇ１に必要に応じてマーカ画像Ｇ２を付与した画像を、表示用画像として表示装置４１に出力し、一連の処理を終了する。

図４と図５とは、本実施形態に係る画像処理装置において行われる処理の一例を説明するためのタイムチャートである。図４は、病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合のタイムチャートであり、図５は、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合のタイムチャートである。また、図６は、本実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

表示制御部３６は、病変検出部３４による病変領域Ｌ１の検出が開始されたタイミング（＝時刻Ｔａ）において、病変領域Ｌ１にマーカ画像Ｇ２を付与した観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置した表示用画像を表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、図４及び図５の時刻ＴａからＴｂの期間において、図６に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。

また、表示制御部３６は、病変検出部３４による病変領域Ｌ１の検出が途絶したタイミング（＝時刻Ｔｂ）から、表示延長時間が経過したタイミング（＝時刻Ｔｃ、Ｔｄ）までの期間、観察画像Ｇ１へのマーカ画像Ｇ２の付与を継続する。

すなわち、病変検出部３４が病変領域Ｌ１の検出を継続している時間ＴＬの間は、病変領域Ｌｎの状態によらず、観察画像Ｇ１にマーカ画像Ｇ２が付加された状態の表示画像が生成され表示される。病変領域Ｌ１の検出が途絶したタイミング以降は、病変領域Ｌｎの状態に応じて、マーカ画像Ｇ２の付与時間が変わる。

すなわち、病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合には、病変領域Ｌ１の検出が途絶したタイミングから表示延長時間ＴＤ１の間、観察画像Ｇ１にマーカ画像Ｇ２が付加された状態の表示画像が生成され、表示装置４１の表示画面４１Ａに表示される。一方、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合には、病変領域Ｌ１の検出が途絶したタイミングから表示延長時間ＴＤ２（ＴＤ２＜ＴＤ１）の間、観察画像Ｇ１にマーカ画像Ｇ２が付加された状態の表示画像が生成され、表示装置４１の表示画面４１Ａに表示される。

このように、上述の実施形態によれば、病変領域Ｌｎの状態に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる。

なお、上述では、予め設定された２種類の時間ＴＤ１、ＴＤ２の中から適切な表示延長時間を選択しているが、病変領域Ｌｎの状態に応じ、３種類以上の表示延長時間から選択するように構成してもよい。

また、上述では、表示用画像は、動画像である観察画像Ｇ１を有して構成されるが、表示用画像は、観察画像Ｇ１と静止画像である記録画像Ｒ１とによって構成されても構わない。

図７は、本実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図である。表示制御部３６は、病変領域Ｌ１の検出が途絶した場合に、病変候補検出部３４ｂによる病変領域Ｌ１の検出が途絶したタイミングにおいて、観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置し、かつ、病変領域Ｌ１の検出中に記録部３６ｄが記録した記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に配置した表示用画像を表示させるための処理を開始する。そして、病変領域Ｌ１の検出が途絶したタイミングから表示延長時間が経過したタイミングにおいて、記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に配置する処理を終了する。

このような表示制御部３６の動作によれば、例えば、病変領域Ｌ１の検出が途絶したタイミング（＝時刻Ｔｂ）以降、表示延長時間が経過するまでの間、図６の観察画像Ｇ１に相当する記録画像Ｒ１が表示領域Ｄ２に配置された表示用画像が表示装置４１の表示画面４１Ａに表示される。なお、表示領域Ｄ２は、例えば、表示画面４１Ａ上において、前述の表示領域Ｄ１よりも小さなサイズを有する領域として予め設定されているものとする。

すなわち、上述のようにサブ画面を用いて病変領域Ｌ１の検出が途絶した後も、病変領域Ｌｎの位置を術者に示すことで、観察画像Ｇ１に対する視認性の低下を抑制しつつ、病変部の見落としを更に低減させることができる。

また、図８に示すように、表示画面４１Ａの表示領域Ｄ２には、記録画像Ｒ１だけでなく、当該画像の病変領域Ｌ１にマーカ画像Ｇ２を付加して表示してもよい。図８は、本施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図である。記録画像Ｒ１にも強調処理を施しマーカ画像Ｇ２を付加して表示することで、病変部の位置が更に識別容易になり、見落としを更に低減させることができる。

（第２の実施形態）

上述の第１の実施形態では、病変領域Ｌｎの状態に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整しているが、本実施形態では、病変領域Ｌｎの視認性を解析し、その結果に基づいて表示延長時間を決定する。

本実施形態の画像処理装置は、第１の実施形態の画像処理装置３２と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。

図９は、第２の実施形態に係る病変状態解析部の構成の一例を説明するためのブロック図である。なお、図９は、以下に説明する本実施形態に係る構成だけでなく、本実施形態の後に説明する第３の実施形態に係る構成も含めて示している。各部の動作については、下記の説明の対応する箇所で詳述する。

図１０は、第２の実施形態に係る病変解析処理の流れの一例を示すフローチャートである。図１０の処理には、図９における病変状態解析部３６ｂ中の視認性解析部３６１、特に、病変単位情報解析部３６１Ａが係る。

病変状態解析部３６ｂは、病変領域Ｌｎの視認性を解析する。まず、視認性の解析を行う項目を選択する（Ｓ１１）。視認性の解析項目としては、例えば、（ａ）内視鏡２１と病変領域Ｌｎとの距離、（ｂ）観察画像Ｇ１における病変領域Ｌｎの専有面積の割合、（ｃ）病変領域Ｌｎの形状、（ｄ）病変領域Ｌｎのサイズ、（ｅ）観察画像Ｇ１における病変領域Ｌｎの位置、（ｆ）病変領域Ｌｎの色・輝度、（ｇ）病変領域Ｌｎの位置する臓器部位、などの項目があげられる。病変状態解析部３６ｂは、これらの中から選択された項目について、解析を行う。なお、視認性の解析は、１つの項目のみを選択して行ってもよいし、複数の項目を選択して行ってもよい。

（ａ）内視鏡２１と病変領域Ｌｎとの距離

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１２）が行われる。Ｓ１２の処理には、図９における病変距離推定部３６１Ａ１が係る。

病変距離推定部３６１Ａ１は、画像内の各画素までの撮像距離を推定する。ここでは、公知の様々な技術のうち、画像を基に撮影対象を均等拡散面と仮定した撮影距離推定について説明する。

具体的には、まず、低吸収波長成分として、生体内での吸収あるいは散乱の度合いが最も低い低吸収波長（例えば赤色（Ｒ）の波長）成分が選択される。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像においては、赤（Ｒ）成分が血液の吸収帯域から離れる波長、かつ長波長の成分で、生体内での吸収、散乱の影響を受け難いためであり、赤（Ｒ）成分が選択される。

そして、病変距離推定部３６１Ａ１は、低吸収波長成分の画素値を基に均等拡散面を仮定した撮像距離を推定する。具体的には、撮像距離は、次の式（１）により算出される。

ここで、ｒは、撮像距離を示し、Ｉは、事前に測定して得られた光源の放射強度を示し、Ｋは、事前に測定された、平均値である粘膜表面の拡散反射係数を示す。θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角を示し、内視鏡２１の挿入部先端部の光源と粘膜表面の位置関係により決まる値であり、平均的な値が事前に設定される。Ｌは、撮像距離推定対象の粘膜表面が映る画素のＲ成分値を示す。

なお、撮像距離推定の前に、各処理の精度低下要因と成り得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行っても良い。

また、ここでは、画像に基づく方法を示したが、その他にも測距センサ等に基づいて算出しても良い。

以上のように、病変距離推定部３６１Ａ１は、内視鏡２１と病変領域Ｌｎとの距離とを推定し、解析結果として出力する。

（ｂ）観察画像Ｇ１における病変領域Ｌｎの専有面積の割合

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１３）が行われる。Ｓ１３の処理には、図９における病変専有面積算出部３６１Ａ２が係る。

病変専有面積算出部３６１Ａ２は、観察画像Ｇ１において病変領域Ｌｎが占める面積の割合を算出する。具体的には、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出する。そして、病変領域Ｌｎに含まれる画素数を算出する。最後に、病変領域Ｌｎに含まれる画素数を、観察画像Ｇ１を構成する全画素数で除することにより、専有面積率を算出する。

なお、病変領域Ｌｎの位置情報は、病変検出部３４から取得してもよい。また、病変領域Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。

以上のように、病変専有面積算出部３６１Ａ２は、観察画像Ｇ１における病変領域Ｌｎの専有面積の割合を算出し、解析結果として出力する。

（ｃ）病変領域Ｌｎの形状

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１４）が行われる。Ｓ１４の処理には、図９における病変形状解析部３６１Ａ３が係る。

病変形状解析部３６１Ａ３は、病変部の形状に基づいた鑑別分類を行う。具体的には、病変形状解析部３６１Ａ３は、病変領域を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。

例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、隆起型の中でも、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)がある。表面型では、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)などの分類がなされる。

例えば、胃ポリープの場合、粘膜下腫瘍型（隆起Ｉ型）、無茎型（隆起ＩＩ型）、亜有茎型（隆起ＩＩＩ型）、有茎型（隆起ＩＶ型）がある。また、例えば胃癌の場合、表在型（０型）、腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）などの分類がなされる。

以上のように、病変形状解析部３６１Ａ３は、病変部の形状を鑑別し、解析結果として出力する。

（ｄ）病変領域Ｌｎのサイズ

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１５）が行われる。Ｓ１５の処理には、図９における病変サイズ推定部３６１Ａ４が係る。

病変サイズ推定部３６１Ａ４は、まず、画像内の各画素までの撮像距離を推定する。撮像距離の推定は、上述した手法などを用いて病変サイズ推定部３６１Ａ４において行ってもよいし、病変距離推定部３６１Ａ１において処理を行い、結果を取得してもよい。

次に、病変サイズ推定部３６１Ａ４は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。病変サイズ推定部３６１Ａ４は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。

最後に、病変サイズ推定部３６１Ａ４は、管腔と病変部を比較し、病変部のサイズを推定する。

具体的には、病変サイズ推定部３６１Ａ４は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部の挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。

以上のように、病変サイズ推定部３６１Ａ４は、内視鏡画像に写る管腔の円形サイズと比較して病変部のサイズを推定し、解析結果として出力する。

（ｅ）観察画像Ｇ１における病変領域Ｌｎの位置

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１６）が行われる。Ｓ１６の処理には、図９における病変位置解析部３６１Ａ５が係る。

病変位置解析部３６１Ａ５は、まず、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出し、位置情報を取得する。なお、病変領域Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。また、病変領域Ｌｎの位置情報は、病変検出部３４や、病変専有面積算出部３６１Ａ２から取得してもよい。

次に、観察画像Ｇ１における病変領域Ｌｎの位置を解析する。具体的な手法の一例を以下に説明する。まず、観察画像Ｇ１中における観察画像Ｇ１を垂直方向に３等分、水平方向に３等分し、９つのブロックに分割する。例えば、観察画像Ｇ１が１９２０×１０８０画素の場合、画像の左上を原点（０、０）とすると、（０、０）〜（６４０、３６０）の領域（１Ａ）、（６４１、０）〜（１２８０、３６０）の領域（１Ｂ）、（１２８１、０）〜（１９２０、３６０）の領域（１Ｃ）、（０、３６１）〜（６４０、７２０）の領域（２Ａ）、（６４１、３６１）〜（１２８０、７２０）の領域（２Ｂ）、（１２８１、３６１）〜（１９２０、７２０）の領域（２Ｃ）、（０、７２１）〜（６４０、１０８０）の領域（３Ａ）、（６４１、７２１）〜（１２８０、１０８０）の領域（３Ｂ）、（１２８１、７２１）〜（１９２０、１０８０）の領域（３Ｃ）、に分割する。

この１Ａ〜３Ｃの９ブロックのうち、病変領域Ｌｎが存在するブロックを特定し、病変領域Ｌｎの位置として出力する。なお、病変領域Ｌｎが複数ブロックに跨って存在する場合、病変領域Ｌｎが存在する面積が最も大きいブロックを、病変領域Ｌｎが存在するブロックとする。なお、病変領域Ｌｎが存在するブロックの特定方法は、上述の方法に限定されず、例えば、病変領域Ｌｎの中心に位置する画素が存在するブロックとするなど他の方法を用いてもよい。また、観察画像Ｇ１を分割して生成するブロック数は９ブロックに限定されず、例えば、２×２＝４ブロック、４×４＝１６ブロックなどとしてもよい。

また、病変領域Ｌｎの位置は、上述したブロック位置でなく、観察画像Ｇ１の中心画素位置からの距離として算出してもよい。

以上のように、病変位置解析部３６１Ａ５は、観察画像Ｇ１における病変領域Ｌｎの位置を特定し、解析結果として出力する。

（ｆ）病変領域Ｌｎの色・輝度

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１７）が行われる。Ｓ１７の処理には、図９における病変色・輝度解析部３６１Ａ６が係る。

病変色・輝度解析部３６１Ａ６は、観察画像Ｇ１が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像である場合、病変領域Ｌｎに含まれる画素について、それぞれの画素値（Ｒ画素値、Ｇ画素値、Ｂ画素値）を抽出する。そして、Ｒ画素値、Ｇ画素値、Ｂ画素値のそれぞれについて平均を求め、病変領域Ｌｎの色画素値とする。なお、病変領域Ｌｎの画素値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。

また、病変領域Ｌｎに含まれる画素について、それぞれの輝度値を抽出して平均値を求め、病変領域Ｌｎの輝度値とする。なお、輝度値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。

以上のように、病変色・輝度解析部３６１Ａ６は、観察画像Ｇ１における病変領域Ｌｎの色画素値・輝度値を算出し、解析結果として出力する。

（ｇ）病変領域Ｌｎの位置する臓器部位

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１８）が行われる。Ｓ１８の処理には、図９における臓器部位解析部３６１Ａ７が係る。

臓器部位解析部３６１Ａ７は、観察部位の推定を行う。例えば、観察する臓器が大腸の場合は、直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を認識し、観察する臓器が胃の場合は、噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を認識し、小腸の場合は、空腸、回腸を認識し、食道の場合は、頸部食道、胸部食道、腹部食道を認識する。具体的には、それぞれの写った画像データを収集し、その画像データを用いて機械学習させることで、ＳＶＭ等を用いて部位（位置）推定を行うことができる。

以上のように、臓器部位解析部３６１Ａ７は、観察部位を推定し、解析結果として出力する。

Ｓ１２からＳ１８の処理のうち、選択された１つ以上の項目の処理が終了すると、病変状態解析部３６ｂは、これらの解析結果に基づき、視認性を判定する（Ｓ１９）。まず、解析項目ごとに視認性を判定する。

（ａ）内視鏡２１と病変領域Ｌｎとの距離

解析結果として病変距離推定部３６１Ａ１から出力された内視鏡２１と病変領域Ｌｎとの距離が、予め設定されている所定の距離より大きい場合、視認性が低いと判定する。一方、内視鏡２１と病変領域Ｌｎとの距離が、所定の距離以下である場合、視認性が高いと判定する。

（ｂ）観察画像Ｇ１における病変領域Ｌｎの専有面積の割合

解析結果として病変専有面積算出部３６１Ａ２から出力された病変領域Ｌｎの専有率が、予め設定されている所定の割合（例えば５パーセント）以下である場合、視認性が低いと判定する。一方、病変領域Ｌｎの専有率が、所定の割合より大きい場合、視認性が高いと判定する。

（ｃ）病変領域Ｌｎの形状

解析結果として病変形状解析部３６１Ａ３から出力された病変領域Ｌｎの形状が、予め設定された視認性の高い形状に該当する場合、視認性が高いと判定する。例えば、次にあげる形状が視認性の高い形状として設定される。

病変部が大腸である場合：表面平坦型(ＩＩｂ)、表面陥凹型(ＩＩｃ)。

病変部が胃である場合：粘膜下腫瘍型（隆起Ｉ型）。

また、病変領域Ｌｎの形状が、予め設定された視認性の低い形状に該当する場合、視認性が低いと判定する。例えば、次にあげる形状が視認性の低い形状として設定される。

病変部が大腸である場合：無茎性(Ｉｓ)、亜有茎性(Ｉｓｐ) 、有茎性(Ｉｐ)、表面隆起型(ＩＩａ)。

病変部が胃である場合：無茎型（隆起ＩＩ型）、亜有茎型（隆起ＩＩＩ型）、有茎型（隆起ＩＶ型）、腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）。

（ｄ）病変領域Ｌｎのサイズ

解析結果として病変サイズ推定部３６１Ａ４から出力された病変領域Ｌｎのサイズが、予め設定されている所定のサイズ（例えば５ｍｍ）以下である場合、視認性が低いと判定する。一方、病変領域Ｌｎのサイズが、所定のサイズより大きい場合、視認性が高いと判定する。

（ｅ）観察画像Ｇ１における病変領域Ｌｎの位置

解析結果として病変位置解析部３６１Ａ５から出力された病変領域Ｌｎの位置に応じて、視認性を判定する。すなわち、病変領域Ｌｎの位置が画像中心から離れている場合、視認性が低いと判定する。一方、病変領域Ｌｎの位置が画像中心に近い場合、視認性が高いと判定する。

例えば、解析結果として、病変領域Ｌｎが存在するブロック位置が出力された場合、予めブロックごとに登録されている視認性を判定結果とする。具体的には、例えば、観察画像Ｇ１が３×３＝９ブロックに分割されており、画像の４隅に位置する４つのブロック（ブロック１Ａ、３Ａ、１Ｃ、３Ｃ）は視認性が低いと登録されており、その他の５つのブロック（ブロック２Ａ、１Ｂ、２Ｂ、３Ｂ、２Ｃ）は視認性が高いと登録されているとする。この場合、病変領域Ｌｎが存在するブロック位置が、ブロック１Ａ、３Ａ、１Ｃ、３Ｃであれば、視認性が低いと判定し、ブロック２Ａ、１Ｂ、２Ｂ、３Ｂ、２Ｃであれば、視認性が高いと判定する。

解析結果として、観察画像Ｇ１の中心画素位置からの距離が出力された場合、予め設定されている所定の距離より大きい場合、視認性が低いと判定する。一方、所定の距離以下である場合、視認性が高いと判定する。

（ｆ）病変領域Ｌｎの色・輝度

解析結果として病変色・輝度解析部３６１Ａ６から出力された病変領域Ｌｎの色・輝度が、正常粘膜の色・輝度に近い場合、視認性が低いと判定する。一方、病変領域Ｌｎの色・輝度が、正常粘膜の色・輝度と離れている場合、視認性が高いと判定する。判定基準となる正常粘膜の色（色画素値）・輝度（輝度値）は、予め登録したものを用いてもよいし、病変領域Ｌｎが存在する観察画像Ｇ１における、正常粘膜部分の値を用いてもよい。

（ｇ）病変領域Ｌｎの位置する臓器部位

解析結果として臓器部位解析部３６１Ａ７から出力された病変領域Ｌｎの位置する臓器部位が、予め設定された視認性の高い部位に該当する場合、視認性が高いと判定する。例えば、次にあげる臓器部位が視認性の高い部位として設定される。

病変部が大腸である場合：下行結腸、横行結腸、盲腸。

病変部が胃である場合：噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸。

病変部が小腸である場合：空腸、回腸。

病変部が食道である場合：頸部食道、胸部食道、腹部食道。

また、病変領域Ｌｎの位置する臓器部位が、予め設定された視認性の低い部位に該当する場合、視認性が低いと判定する。例えば、次にあげる臓器部位が視認性の低い部位として設定される。

病変部が大腸である場合：直腸、Ｓ字結腸、左結腸曲（脾彎曲部）、右結腸曲（肝彎曲部）、上行結腸。

すなわち、病変が多発する部位や、検査画像が見づらく病変を見落としやすい部位である場合、視認性が低い部位として判定する。

Ｓ１１において、視認性の解析項目として１項目のみが選択された場合、病変状態解析部３６ｂは、当該項目に関する視認性判定結果を病変領域Ｌｎの視認性として出力し、一連の病変解析処理を終了する。Ｓ１１において、視認性の解析項目として２項目以上が選択された場合、選択された項目の視認性判定結果を参照し、病変領域Ｌｎの視認性を決定する。

複数の項目が選択された場合の視認性の決定方法としては、例えば、多数決方式があげられる。すなわち、選択された項目の視認性判定結果のうち、視認性が高いと判定された項目の数が、視認性が低いと判定された項目の数よりも多い場合、病変領域Ｌｎの視認性は高いと決定する。一方、視認性が高いと判定された項目の数が、視認性が低いと判定された項目の数以下の場合、病変領域Ｌｎの視認性は低いと決定する。

また、別の決定方法として、例えば、ポイント方式があげられる。すなわち、上述した（ａ）〜（ｇ）の各項目のそれぞれについて、視認性に応じてポイントが付与される。例えば、各項目において、視認性が低いと判定された場合は＋１ポイント、視認性が高いと判定された場合は−１ポイントが付与される。なお、特に視認性に寄与する項目（例えば、項目（ｃ）や項目（ｅ））に関しては、視認性が低いと判定された場合には＋３ポイント、視認性が高いと判定された場合には−３ポイントなど、他の項目に比べて重み付けされたポイントが付与されるように設定してもよい。

選択された項目の視認性判定結果をポイント換算して総和を算出し、予め設定された閾値（例えば１ポイント）よりもポイントの総和が大きい場合、病変領域Ｌｎの視認性が低いと判定し出力する。一方、ポイントの総和が、予め設定された閾値以下の場合、病変領域Ｌｎの視認性が高いと判定し、出力する。

判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの視認性判定結果に基づき、適切な表示延長時間を選択する。すなわち、視認性が低いほど、表示延長時間を長く設定する。また、視認性判定結果に基づき、表示延長時間設定部３６ｃにおいて表示延長時間を算出してもよい。例えば、上述した（ａ）〜（ｇ）の各項目のそれぞれについて、検出結果に応じて延長表示時間（フレーム数）の増減値を予め設定しておく。例えば、項目（ｄ）病変領域Ｌｎのサイズに関し、大きいサイズの場合は−２フレーム、普通のサイズの場合は±０フレーム、小さいサイズの場合は＋２フレームのように設定しておく。また、例えば、項目（ａ）内視鏡２１と病変領域Ｌｎとの距離に関し、所定距離範囲よりも離れている場合は＋２フレーム、所定の範囲内の場合は±０フレーム、所定距離範囲よりも近いの場合は−２フレームのように、全項目について設定しておく。そして、選択された項目の視認性判定結果に基づき延長表示時間（フレーム数）の増減値の総和を算出し、表示延長時間を設定することも可能である。

なお、ポイント方式を用いる場合、（ａ）〜（ｇ）の各項目における視認性判定もポイント方式で行ってもよい。例えば、項目（ｄ）に関し、病変領域Ｌｎの位置が観察画像Ｇ１の中心画素位置から第１の閾値までの範囲内に存在する場合は−１ポイント、第１の閾値から第２の閾値までの範囲内に存在する場合は０ポイント、第２の閾値から第３の閾値までの範囲内に存在する場合は＋１ポイント（ただし、第１の閾値＜第２の閾値＜第３の閾値）を付与する。付与されたポイントを視認性の判定結果として出力し、Ｓ１９においては、各項目の判定結果として出力されるポイントの総和を算出する方式を用いてもよい。

以上のように、上述の実施形態によれば、病変状態解析部３６ｂにより解析される病変領域Ｌｎの視認性に基づいて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる。
（第２の実施形態の変形例）

上述の第２の実施形態では、病変単位で視認性を判定しているが、本変形例では、画像単位で視認性を判定している。

図１１は、本変形例に係る病変解析処理の流れの一例を示すフローチャートである。図１１の処理には、図９における病変状態解析部３６ｂ中の視認性解析部３６１、特に、画像単位情報解析部３６１Ｂが係る。

病変状態解析部３６ｂは、観察画像Ｇ１における病変領域Ｌｎの視認性を解析する。画像単位で視認性を解析する場合、病変個数解析部３６１Ｂ１において、観察画像Ｇ１中に存在する病変領域Ｌｎの個数を抽出する（Ｓ２１）。

次に、病変状態解析部３６ｂは、病変個数解析部３６１Ｂ１において抽出された病変領域Ｌｎの個数に基づき、観察画像Ｇ１の視認性を判定する（Ｓ２２）。すなわち、個数病変領域Ｌｎの個数が予め設定された閾値（例えば、３個）よりも多い場合、視認性が低いと判定する。一方、個数病変領域Ｌｎの個数が予め設定された閾値以下である場合、視認性が高いと判定する。

判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの視認性判定結果に基づき、適切な表示延長時間を選択する。

なお、画像単位の解析結果と病変単位の解析結果の両方を用いて、視認性の判定を行ってもよい。すなわち、図１０に示すＳ１１からＳ１８の一連の手順を行って病変単位の視認性の解析を行った後、引き続き図１１に示すＳ２１の手順を行う。これらの手順によって取得した、病変単位の解析結果と画像単位の解析結果とを用いて、総合的に視認性の判定を行ってもよい。

以上のように、本変形例によれば、上述した各実施形態と同様の効果を得ることができる。
（第３の実施形態）

上述の第２の実施形態では、病変領域Ｌｎの視認性に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整しているが、本実施形態では、病変領域Ｌｎの重要度を解析し、その結果に基づいて表示延長時間を決定する。

本実施形態の画像処理装置は、第１の実施形態の画像処理装置３２と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。

図１２は、第３の実施形態に係る病変解析処理の流れの一例を示すフローチャートである。図１２の処理には、図９における病変状態解析部３６ｂ中の重要度解析部３６２、特に、病変種類解析部３６２Ａが係る。

病変状態解析部３６ｂは、病変領域Ｌｎの重要度を解析する。まず、重要度の解析を行う項目を選択する（Ｓ３１）。重要度の解析項目としては、例えば、（ｈ）病変領域Ｌｎの悪性度、（ｉ）病変領域Ｌｎの位置する臓器部位、（ｊ）病変領域Ｌｎの色・輝度、などの項目があげられる。病変状態解析部３６ｂは、これらの中から選択された項目について、解析を行う。なお、悪性度の解析は、１つの項目のみを選択して行ってもよいし、複数の項目を選択して行ってもよい。

（ｈ）病変領域Ｌｎの悪性度

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ２１）が行われる。Ｓ２１の処理には、図９における悪性度解析部３６２Ａ１が係る。

悪性度解析部３６２Ａ１は、病変領域Ｌｎの悪性度を分類する。悪性度の分類は、観察方法によって選択され、例えば、狭帯域観察を行っている場合には、ＮＩＣＥ（ＮＢＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒｅｃｔａｌ Ｅｎｄｏｓｃｏｐｉｃ）分類や、ＪＮＥＴ（Ｔｈｅ Ｊａｐａｎ ＮＢＩ Ｅｘｐｅｒｔ Ｔｅａｍ）分類などの、既存の悪性度分類を用いて、病変領域Ｌｎの悪性度を分類する。

ＮＩＣＥ分類は、単純なＴｙｐｅ１〜３の３つのカテゴリ分類で、（１）色調（ｃｏｌｏｒ）、（２）微細血管構築（ｖｅｓｓｅｌｓ）、（３）表面構造（ｓｕｒｆａｃｅ ｐａｔｔｅｒｎ）の３つの視点から分類を行う。Ｔｙｐｅ１は非腫瘍を、Ｔｙｐｅ２は腺腫から粘膜内癌を、Ｔｙｐｅ３はＳＭ深部浸潤癌の指標となっている。

また、色素拡大観察の場合、ＰＩＴパターン分類などを用いて、病変領域Ｌｎの悪性度を分類する。

以上のように、悪性度解析部３６２Ａ１は、病変領域Ｌｎの悪性度を分類し、解析結果として出力する。

（ｉ）病変領域Ｌｎの位置する臓器部位

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ３３）が行われる。Ｓ３３の処理には、図９における臓器部位解析部３６２Ａ２が係る。

臓器部位解析部３６２Ａ２は、観察部位の推定を行う。例えば、観察する臓器が大腸の場合は、直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を認識し、観察する臓器が胃の場合は、噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を認識し、小腸の場合は、空腸、回腸を認識し、食道の場合は、頸部食道、胸部食道、腹部食道を認識する。具体的には、それぞれの写った画像データを収集し、その画像データを用いて機械学習させることで、ＳＶＭ等を用いて部位（位置）推定を行うことができる。

以上のように、臓器部位解析部３６２Ａ２は、観察部位を推定し、解析結果として出力する。なお、臓器部位解析部３６２Ａ２の処理内容は、臓器部位解析部３６１Ａ７と同様であるので、臓器部位解析部３６１Ａ７の結果を用いてもよい。

（ｊ）病変領域Ｌｎの色・輝度

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ３４）が行われる。Ｓ３４の処理には、図９における病変色・輝度解析部３６２Ａ３が係る。

病変色・輝度解析部３６２Ａ３は、観察画像Ｇ１が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像である場合、病変領域Ｌｎに含まれる画素について、それぞれの画素値（Ｒ画素値、Ｇ画素値、Ｂ画素値）を抽出する。そして、Ｒ画素値、Ｇ画素値、Ｂ画素値のそれぞれについて平均を求め、病変領域Ｌｎの色画素値とする。なお、病変領域Ｌｎの画素値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。

また、病変領域Ｌｎに含まれる画素について、それぞれの輝度値を抽出して平均値を求め、病変領域Ｌｎの輝度値とする。なお、輝度値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。

以上のように、病変色・輝度解析部３６２Ａ３は、観察画像Ｇ１における病変領域Ｌｎの色画素値・輝度値を算出し、解析結果として出力する。なお、病変色・輝度解析部３６２Ａ３の処理内容は、病変色・輝度解析部３６１Ａ６と同様であるので、病変色・輝度解析部３６１Ａ６の処理結果を用いてもよい。

Ｓ３２からＳ３４の処理のうち、選択された１つ以上の項目の処理が終了すると、病変状態解析部３６ｂは、これらの解析結果に基づき、重要度を決定する（Ｓ３５）。まず、解析項目ごとに重要度を判定する。

（ｈ）病変領域Ｌｎの悪性度

解析結果として悪性度解析部３６２Ａ１から出力された病変領域Ｌｎの悪性度が、予め設定されたカテゴリに該当する場合、重要度が高いと判定する。

（ｉ）病変領域Ｌｎの位置する臓器部位

解析結果として臓器部位解析部３６２Ａ２から出力された病変領域Ｌｎの位置する臓器部位が、予め設定された重要度の高い部位に該当する場合、重要度が高いと判定する。例えば、次にあげる臓器部位が重要度の高い部位として設定される。例えば、次にあげる臓器部位が視認性の高い部位として設定される。

病変部が大腸である場合：Ｓ字結腸。

また、病変領域Ｌｎの位置する臓器部位が、上述の部位以外の場合、重要度が低いと判定する。すなわち、放置すると病状が悪化するリスクが高い部位の場合、重要度が高い部位として判定する。なお、病変領域Ｌｎの位置する臓器部位は、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。

（ｊ）病変領域Ｌｎの色・輝度

解析結果として病変色・輝度解析部３６２Ａ３から出力された病変領域Ｌｎの色・輝度が、予め登録されている重要度の高い病変部の色・輝度に近い場合、重要度が高いと判定する。なお、病変領域Ｌｎの色・輝度も、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。

Ｓ３１において、重要度の解析項目として１項目のみが選択された場合、病変状態解析部３６ｂは、当該項目に関する重要度判定結果を病変領域Ｌｎの重要度として出力し、一連の病変解析処理を終了する。Ｓ３１において、重要度の解析項目として２項目以上が選択された場合、選択された項目の重要度判定結果を参照し、病変領域Ｌｎの重要度を決定する。

複数の項目が選択された場合の重要度の決定方法は、視認性の決定方法と同様に、多数決方式やポイント方式などを用いることができる。

判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの重要度判定結果に基づき、適切な表示延長時間を選択する。すなわち、重要度が高いほど、表示延長時間を長く設定する。

以上のように、上述の実施形態によれば、病変状態解析部３６ｂにより解析される病変領域Ｌｎの重要度に基づいて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる。
（第３の実施形態の変形例）

上述の第３の実施形態では、病変の種類に基づき重要度を判定しているが、本変形例では、病変の形状やサイズにより重要度を判定している。

図１３は、本変形例に係る病変解析処理の流れの一例を示すフローチャートである。図１３の処理には、図９における病変状態解析部３６ｂ中の重要度解析部３６２、特に、病変形状・サイズ解析部３６２Ｂが係る。

病変状態解析部３６ｂは、病変領域Ｌｎの重要度を解析する。まず、重要度の解析を行う項目を選択する（Ｓ４１）。病変の形状やサイズに関する重要度の解析項目としては、例えば、（ｋ）病変領域Ｌｎの形状、（ｌ）病変領域Ｌｎのサイズ、などの項目があげられる。病変状態解析部３６ｂは、これらの中から選択された項目について、解析を行う。なお、悪性度の解析は、１つの項目のみを選択して行ってもよいし、複数の項目を選択して行ってもよい。

（ｋ）病変領域Ｌｎの形状

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ４２）が行われる。Ｓ４２の処理には、図９における病変形状解析部３６２Ｂ１が係る。

病変形状解析部３６２Ｂ１は、病変部の形状に基づいた鑑別分類を行う。具体的には、病変形状解析部３６２Ｂ１は、病変領域を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。

例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、隆起型の中でも、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)がある。表面型では、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)などの分類がなされる。

例えば、胃ポリープの場合、粘膜下腫瘍型（隆起Ｉ型）、無茎型（隆起ＩＩ型）、亜有茎型（隆起ＩＩＩ型）、有茎型（隆起ＩＶ型）がある。また、例えば胃癌の場合、表在型（０型）、腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）などの分類がなされる。

以上のように、病変形状解析部３６２Ｂ１は、病変部の形状を鑑別し、解析結果として出力する。なお、病変形状解析部３６２Ｂ１の処理内容は、病変形状解析部３６１Ａ３と同様であるので、病変形状解析部３６１Ａ３の結果を用いてもよい。

（ｌ）病変領域Ｌｎのサイズ

本項目が解析項目として選択された場合、以下に説明する処理（Ｓ４３）が行われる。Ｓ４３の処理には、図９における病変サイズ推定部３６２Ｂ２が係る。

病変サイズ推定部３６２Ｂ２は、まず、画像内の各画素までの撮像距離を推定する。撮像距離の推定は、上述した手法などを用いて病変サイズ推定部３６１Ａ４において行ってもよいし、病変距離推定部３６１Ａ１において処理を行い、結果を取得してもよい。

次に、病変サイズ推定部３６２Ｂ２は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。病変サイズ推定部３６２Ｂ２は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。

最後に、病変サイズ推定部３６２Ｂ２は、管腔と病変部を比較し、病変部のサイズを推定する。

具体的には、病変サイズ推定部３６２Ｂ２は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部の挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。

以上のように、病変サイズ推定部３６２Ｂ２は、内視鏡画像に写る管腔の円形サイズと比較して病変部のサイズを推定し、解析結果として出力する。なお、病変サイズ推定部３６２Ｂ２の処理内容は、病変サイズ推定部３６１Ａ４と同様であるので、病変サイズ推定部３６１Ａ４の結果を用いてもよい。

Ｓ４２、Ｓ４３の処理のうち、選択された１つ以上の項目の処理が終了すると、病変状態解析部３６ｂは、これらの解析結果に基づき、重要度を決定する（Ｓ４４）。まず、解析項目ごとに重要度を判定する。

（ｋ）病変領域Ｌｎの形状

解析結果として病変形状解析部３６２Ｂ１から出力された病変領域Ｌｎの形状が、予め設定された重要度の高い形状に該当する場合、重要度が高いと判定する。例えば、次にあげる形状が重要度の高い形状として設定される。

病変部が大腸である場合：表面平坦型(ＩＩｂ)、表面陥凹型(ＩＩｃ)。

病変部が胃である場合：腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）。

また、病変領域Ｌｎの形状が、上述の形状以外の場合、重要度が低いと判定する。すなわち、放置すると病状が悪化するリスクが高い形状の場合、重要度が高い部位として判定する。なお、病変領域Ｌｎの形状は、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。

（ｌ）病変領域Ｌｎのサイズ

解析結果として病変サイズ推定部３６２Ｂ２から出力された病変領域Ｌｎのサイズが、予め設定されている所定のサイズ（例えば５ｍｍ）以下である場合、重要度が低いと判定する。一方、病変領域Ｌｎのサイズが、所定のサイズより大きい場合、重要度が高いと判定する。なお、病変領域Ｌｎのサイズは、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。

複数の項目が選択された場合の重要度の決定方法は、視認性の決定方法と同様に、多数決方式やポイント方式などを用いることができる。

判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの重要度判定結果に基づき、適切な表示延長時間を選択する。すなわち、重要度が高いほど、表示延長時間を長く設定する。

なお、病変種類による解析結果と病変形状・サイズによる解析結果の両方を用いて、重要度の判定を行ってもよい。すなわち、図１２に示すＳ３１からＳ３４の一連の手順を行って病変種類による重要度の解析を行った後、引き続き図１３に示すＳ４１からＳ４３の手順を行う。これらの手順によって取得した、病変種類による解析結果と病変形状・サイズによる解析結果とを用いて、総合的に重要度の判定を行ってもよい。

また、視認性の解析結果と、重要度の解析結果の両方を用いて、病変の状態を判定してもよい。

以上のように、上述した各実施形態及び変形例によれば、病変領域Ｌｎの状態に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる内視鏡用画像処理装置を提供することができる。

本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、前記病変部の検出結果を前記観察画像に付加して出力する表示制御出力部とを備える。前記表示制御出力部は、検出された前記病変部に係る、前記内視鏡からの距離、占有面積、形状、大きさ、前記観察画像における位置、色、輝度および臓器部位の少なくとも１つである視認性を解析する視認性解析部を有する病変状態解析部と、解析された前記視認性に応じて前記病変部の検出結果の表示延長時間を設定する表示延長時間設定部とを備える。

本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、前記内視鏡の観察対象である病変部を前記観察画像から検出し、検出された前記病変部に係る、前記内視鏡からの距離、占有面積、形状、大きさ、前記観察画像における位置、色、輝度および臓器部位の少なくとも１つである視認性を解析し、解析された前記視認性に応じて前記病変部の検出結果の表示延長時間を設定し、前記病変部の検出結果を前記観察画像に付加して出力する。

本発明の一態様の内視鏡用画像処理プログラムは、画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、病変状態解析部が、検出された前記病変部に係る、前記内視鏡からの距離、占有面積、形状、大きさ、前記観察画像における位置、色、輝度および臓器部位の少なくとも１つである視認性を解析するステップと、表示延長時間設定部が、解析された前記視認性に応じて前記病変部の検出結果の表示延長時間を設定するステップと、表示制御出力部が、前記病変部の検出結果を前記観察画像に付加して出力するステップと、をコンピュータに実行させる。

Claims (29)

1. 被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、
   前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、
   前記病変部の検出結果を前記観察画像に付加して出力する表示制御出力部とを備え、
   前記表示制御出力部は、病変の状態を解析する病変状態解析部と、前記病変部の状態に応じて前記病変部の検出結果の表示延長時間を設定する表示延長時間設定部とを備えることを特徴とする内視鏡用画像処理装置。
2. 前記病変状態解析部は、前記病変部の視認性を解析する視認性解析部を備えることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
3. 前記視認性解析部は、前記病変部ごとの視認性を解析する病変単位情報解析部を備えることを特徴とする、請求項２に記載の内視鏡用画像処理装置。
4. 前記病変単位情報解析部は、前記病変部の前記内視鏡からの距離を推定する病変距離推定部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
5. 前記病変単位情報解析部は、前記観察画像における前記病変部の専有面積を算出する病変専有面積算出部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
6. 前記病変単位情報解析部は、前記病変部の形状を解析する病変形状解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
7. 前記病変形状解析部は、前記内視鏡の観察対象臓器部位が大腸のときは無茎性、亜有茎性、有茎性、表面隆起型、表面平坦型、表面陥凹型のいずれの形状であるかを解析し、前記観察対象臓器部位が胃のときは粘膜下腫瘍型、無茎型、亜有茎型、有茎型、表在型、腫瘤型、潰瘍限局型、潰瘍浸潤型、びまん性浸潤型のいずれの形状であるかを解析することを特徴とする、請求項６に記載の内視鏡用画像処理装置。
8. 前記病変単位情報解析部は、前記病変部自体の大きさを推定する病変サイズ推定部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
9. 前記病変単位情報解析部は、前記観察画像における前記病変部の位置を解析する病変位置解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
10. 前記病変単位情報解析部は、前記病変部の色及び輝度のうち少なくとも一方を解析する病変色輝度解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
11. 前記病変単位情報解析部は、前記内視鏡の観察対象である臓器の部位を解析する臓器部位解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
12. 前記臓器部位解析部は、前記臓器が大腸のときは直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を推定し、前記臓器が胃のときは噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を推定し、前記臓器が小腸のときは、空腸、回腸を推定し、前記臓器が食道のときは、頸部食道、胸部食道、腹部食道を推定することを特徴とする、請求項１１に記載の内視鏡用画像処理装置。
13. 前記視認性解析部は、前記観察画像ごとに視認性を解析する画像単位情報解析部を備えることを特徴とする、請求項２に記載の内視鏡用画像処理装置。
14. 前記画像単位情報解析部は、前記観察画像における前記病変部の個数を解析する病変個数解析部を備えることを特徴とする、請求項１３に記載の内視鏡用画像処理装置。
15. 前記表示延長時間設定部は、前記視認性解析部の解析結果に基づき、視認性が高いと判定された場合は前記表示延長時間を短く設定し、視認性が低いと判定された場合は前記表示延長時間を長く設定することを特徴とする、請求項２に記載の内視鏡用画像処理装置。
16. 前記病変状態解析部は、前記病変部の重要度を解析する重要度解析部を備えることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
17. 前記重要度解析部は、前記病変部の種類による重要度を解析する病変種類解析部を備えることを特徴とする、請求項１６に記載の内視鏡用画像処理装置。
18. 前記病変種類解析部は、前記病変部の悪性度を解析する悪性度解析部を備えることを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
19. 前記病変種類解析部は、前記内視鏡の観察対象である臓器の部位を解析する臓器部位解析部を備えることを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
20. 前記臓器部位解析部は、前記臓器が大腸のときは直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を推定し、前記臓器が胃のときは噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を推定し、前記臓器が小腸のときは、空腸、回腸を推定し、前記臓器が食道のときは、頸部食道、胸部食道、腹部食道を推定することを特徴とする、請求項１９に記載の内視鏡用画像処理装置。
21. 前記病変種類解析部は、前記病変部の色及び輝度を解析する病変色輝度解析部を備えることを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
22. 前記重要度解析部は、前記病変部の形状やサイズによる重要度を解析する病変形状サイズ解析部を備えることを特徴とする、請求項１６に記載の内視鏡用画像処理装置。
23. 前記病変形状サイズ解析部は、前記病変部の形状を解析する病変形状解析部を備えることを特徴とする、請求項２２に記載の内視鏡用画像処理装置。
24. 前記病変形状解析部は、前記内視鏡の観察対象臓器部位が大腸のときは無茎性、亜有茎性、有茎性、表面隆起型、表面平坦型、表面陥凹型のいずれの形状であるかを解析し、前記観察対象臓器部位が胃のときは粘膜下腫瘍型、無茎型、亜有茎型、有茎型、表在型、腫瘤型、潰瘍限局型、潰瘍浸潤型、びまん性浸潤型のいずれの形状であるかを解析することを特徴とする、請求項２３に記載の内視鏡用画像処理装置。
25. 前記病変形状サイズ解析部は、前記病変部自体の大きさを推定する病変サイズ推定部を備えることを特徴とする、請求項２２に記載の内視鏡用画像処理装置。
26. 前記表示延長時間設定部は、前記重要度解析部の解析結果に基づき、重要度が高いと判定された場合は前記表示延長時間を長く設定し、重要度が低いと判定された場合は前記表示延長時間を短く設定することを特徴とする、請求項１６に記載の内視鏡用画像処理装置。
27. 前記病変状態解析部は、前記病変部の視認性を解析する視認性解析部と前記病変部の重要度を解析する重要度解析部とを備え、前記表示延長時間設定部は、前記視認性解析部の解析結果と前記重要度解析部の解析結果に応じて前記表示延長時間を設定することを特徴とする、請求項１に記載の内視鏡用画像処理装置。
28. 被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、
    前記内視鏡の観察対象である病変部を前記観察画像から検出し、
    前記病変部の状態を解析し、前記状態に応じて前記病変部の検出結果の表示延長時間を設定し、
    前記病変部の検出結果を前記観察画像に付加して出力することを特徴とする、内視鏡用画像処理方法。
29. 画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、
    病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、
    病変状態解析部が、病変部の状態を解析するステップと、
    表示延長時間設定部が、前記病変部の状態に応じて前記検出結果の表示延長時間を設定するステップと、
    表示制御出力部が、前記病変部の検出結果を前記観察画像に付加して出力するステップと、
    をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。

Images