JPWO2018078724A1

JPWO2018078724A1 - 内視鏡画像処理装置及び内視鏡画像処理方法

Info

Publication number: JPWO2018078724A1
Application number: JP2018546972A
Authority: JP
Inventors: 岩城　秀和; 秀和岩城
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2016-10-25
Filing date: 2016-10-25
Publication date: 2019-09-05
Also published as: US10893792B2; US20190239718A1; WO2018078724A1

Abstract

内視鏡画像処理装置は、被写体を撮像して得られた観察画像が順次入力されるとともに、観察画像に対して注目領域を検出するための処理を行う注目領域検出部と、注目領域検出部により注目領域が検出された際に、注目領域が観察画像内に出現してからの経過時間である出現時間を算出する出現時間算出部と、出現時間が所定時間に達したタイミングにおいて、観察画像内に存在する注目領域の位置を強調するための強調処理を開始する強調処理部と、を有する。

Description

本発明は、内視鏡画像処理装置及び内視鏡画像処理方法に関する。

従来、内視鏡装置では、術者が、観察画像を見て病変部の有無等を判断している。術者が観察画像を見る際に病変部の見落としを抑止するため、例えば、日本国特開２０１１−２５５００６号公報に示されるように、画像処理により検出された注目領域にアラート画像を付加して観察画像を表示する内視鏡装置が提案されている。

しかしながら、従来の内視鏡装置では、術者が病変部を発見する前にアラート画像が表示されることがあり、アラート画像によって示されていない領域に対する術者の注意力を低下させ、また、術者の目視による病変部発見意欲を削ぎ、病変部発見能力の向上を妨げる懸念がある。

そこで、本発明は、術者に対し、観察画像に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示する内視鏡画像処理装置及び内視鏡画像処理方法を提供することを目的とする。

本発明の一態様の内視鏡画像処理装置は、被写体を撮像して得られた観察画像が順次入力されるとともに、当該観察画像に対して注目領域を検出するための処理を行う注目領域検出部と、前記注目領域検出部により前記注目領域が検出された際に、前記注目領域が前記観察画像内に出現してからの経過時間である出現時間を算出する出現時間算出部と、前記出現時間が所定時間に達したタイミングにおいて、前記観察画像内に存在する前記注目領域の位置を強調するための強調処理を開始する強調処理部と、を有する。

本発明の一態様の内視鏡画像処理方法は、被写体を撮像して得られた観察画像に対して注目領域を検出するための処理を行うステップと、前記注目領域が検出された際に、前記注目領域が前記観察画像内に出現してからの経過時間である出現時間を算出するステップと、前記出現時間が所定時間に達したタイミングにおいて、前記観察画像内に存在する前記注目領域の位置を強調するための強調処理を開始するステップと、を有する。

実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。実施形態に係る内視鏡画像処理装置の具体的な構成の一例を説明するためのブロック図。実施形態に係る内視鏡画像処理装置において行われる処理の一例を説明するための図。実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。実施形態に係る内視鏡画像処理装置の処理において用いられるテーブルデータの一例を示す図。実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

内視鏡システム１は、図１に示すように、光源駆動装置１１と、内視鏡２１と、ビデオプロセッサ３１と、内視鏡画像処理装置３２と、表示装置４１と、を有して構成されている。図１は、実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。

光源駆動装置１１は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置１１は、内視鏡２１及びビデオプロセッサ３１に接続されている。また、光源駆動装置１１は、ビデオプロセッサ３１からの光源制御信号に基づき、内視鏡２１の光源部２３を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡２１へ出力するように構成されている。

内視鏡２１は、光源駆動装置１１及びビデオプロセッサ３１に接続されている。また、内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２２を有して構成されている。また、挿入部２２の先端部には、光源部２３と、撮像部２４と、が設けられている。

光源部２３は、例えば、白色ＬＥＤのような発光素子を具備して構成されている。また、光源部２３は、光源駆動装置１１から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。

撮像部２４は、例えば、カラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像部２４は、ビデオプロセッサ３１から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部２４は、光源部２３からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力するように構成されている。

ビデオプロセッサ３１は、光源駆動装置１１及び内視鏡２１に接続されている。また、ビデオプロセッサ３１は、光源部２３の発光状態を制御するための光源制御信号を生成して光源駆動装置１１へ出力するように構成されている。また、ビデオプロセッサ３１は、撮像部２４の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を内視鏡画像処理装置３２へ１フレームずつ順次出力するように構成されている。

内視鏡画像処理装置３２は、ビデオプロセッサ３１から出力される観察画像Ｇ１に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置４１に表示させるための動作を行うように構成されている。また、内視鏡画像処理装置３２は、図２に示すように、注目領域検出部３４と、継続検出判定部３５と、表示制御部３６と、出現時間算出部３８と、を有して構成されている。なお、本実施形態によれば、例えば、内視鏡画像処理装置３２の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態によれば、例えば、内視鏡画像処理装置３２の少なくとも一部がＣＰＵにより構成されていてもよい。図２は、実施形態に係る内視鏡画像処理装置の具体的な構成の一例を説明するためのブロック図である。

注目領域検出部３４は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に関する所定の特徴量を算出し、さらに、当該算出した所定の特徴量に基づき、観察画像Ｇ１に含まれる注目領域である病変候補領域Ｌを検出するように構成されている。すなわち、注目領域検出部３４は、内視鏡２１により被写体を撮像して得られた複数の観察画像Ｇ１が順次入力されるとともに、当該複数の観察画像Ｇ１の各々に対して病変候補領域Ｌを検出するための処理を行うように構成されている。また、注目領域検出部３４は、図２に示すように、特徴量算出部３４ａと、病変候補検出部３４ｂと、を有して構成されている。

特徴量算出部３４ａは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に関する所定の特徴量を算出し、当該算出した所定の特徴量を病変候補検出部３４ｂへ出力するように構成されている。

具体的には、特徴量算出部３４ａは、例えば、観察画像Ｇ１を所定のサイズに分割して得られる複数の小領域のうちの一の小領域内の各画素と、当該一の小領域に隣接する小領域内の各画素と、における輝度の変化量または濃度の変化量を示す値である傾き値を、当該複数の小領域毎の特徴量として算出する。なお、特徴量算出部３４ａは、観察画像Ｇ１を定量的に評価可能な値を算出する限りにおいては、前述の傾き値とは異なる値を特徴量として算出するものであってもよい。

病変候補検出部３４ｂは、１つ以上のポリープモデル情報が予め格納されているＲＯＭ等の不揮発性のメモリ（不図示）を有して構成されている。

具体的には、病変候補検出部３４ｂのメモリに格納されているポリープモデル情報は、例えば、多数のポリープ画像における共通点及び／または類似点を定量化して得られる特徴量を具備して構成されている。

病変候補検出部３４ｂは、特徴量算出部３４ａから出力される所定の特徴量と、メモリから読み込んだ複数のポリープモデル情報と、に基づいて病変候補領域Ｌを検出し、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得し、当該取得した病変候補情報ＩＬを継続検出判定部３５、表示制御部３６及び出現時間算出部３８へそれぞれ出力するように構成されている。

具体的には、病変候補検出部３４ｂは、例えば、特徴量算出部３４ａから出力される一の小領域の特徴量と、メモリから読み込んだ複数のポリープモデル情報に含まれる少なくとも１つの特徴量と、が一致している場合に、当該一の小領域を病変候補領域Ｌとして検出する。また、病変候補検出部３４ｂは、前述の方法により検出した病変候補領域Ｌの位置情報及びサイズ情報を含む病変候補情報ＩＬを取得し、当該取得した病変候補情報ＩＬを継続検出判定部３５、表示制御部３６及び出現時間算出部３８へそれぞれ出力する。

なお、病変候補領域Ｌの位置情報は、観察画像Ｇ１内における病変候補領域Ｌの位置を示す情報であり、例えば、観察画像Ｇ１内に存在する病変候補領域Ｌの画素位置として取得される。また、病変候補領域Ｌのサイズ情報は、観察画像Ｇ１内における病変候補領域Ｌの大きさを示す情報であり、例えば、観察画像Ｇ１に存在する病変候補領域Ｌの画素数として取得される。

なお、注目領域検出部３４は、観察画像Ｇ１から病変候補領域Ｌを検出するための処理を行う限りにおいては、特徴量算出部３４ａ及び病変候補検出部３４ｂを有して構成されていなくてもよい。具体的には、注目領域検出部３４は、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変候補領域Ｌを検出するように構成されていてもよい。

継続検出判定部３５は、病変候補検出部３４ｂから出力される各病変候補情報ＩＬのうち、現フレームより１フレーム前の病変候補情報ＩＬを格納可能なＲＡＭ等の揮発性のメモリ（不図示）を有して構成されている。

継続検出判定部３５は、例えば、病変候補検出部３４ｂから出力される第１の病変候補情報と、当該第１の病変候補情報よりも１フレーム前にメモリに格納された第２の病変候補情報と、に基づき、当該第１の病変候補情報により示される第１の病変候補領域と、当該第２の病変候補情報により示される第２の病変候補領域と、が同一の病変候補領域Ｌであるか否かを判断するように構成されている。そして、継続検出判定部３５は、前述の第１及び第２の病変候補領域が同一の病変候補領域Ｌである場合に、観察画像Ｇ１における病変候補領域Ｌの検出が継続しているとの判定結果を取得して出現時間算出部３８へ出力するように構成されている。また、継続検出判定部３５は、前述の第１及び第２の病変候補領域が同一の病変候補領域Ｌではない場合に、観察画像Ｇ１における病変候補領域Ｌの検出が途絶したとの判定結果を取得して出現時間算出部３８へ出力するように構成されている。

表示制御部３６は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を用いて表示用画像を生成するための処理を行うとともに、当該生成した表示用画像を表示装置４１の表示画面４１Ａに表示させるための処理を行うように構成されている。また、表示制御部３６は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、出現時間算出部３８から出力される出現時間ＴＳ（後述）と、に基づき、当該観察画像Ｇ１内に存在する病変候補領域Ｌを強調するための強調処理（後述）を強調処理部３６ａにおいて行うとともに、当該強調処理を施した表示用画像を表示装置４１の表示画面４１Ａに表示させるように構成されている。

強調処理部３６ａは、出現時間ＴＳが所定時間ＴＨ（例えば０．５秒）に達したタイミングにおいて、病変候補情報ＩＬに基づき、観察画像Ｇ１内に存在する病変候補領域Ｌの位置を強調するためのマーカ画像Ｇ２を生成して当該観察画像Ｇ１に付加する処理である強調処理を開始するように構成されている。

なお、強調処理部３６ａの強調処理により付加されるマーカ画像Ｇ２は、病変候補領域Ｌの位置を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよい。換言すると、強調処理部３６ａは、病変候補領域Ｌの位置を強調するためのマーカ画像Ｇ２を生成する限りにおいては、病変候補情報ＩＬに含まれる位置情報のみを用いて強調処理を行うものであってもよく、または、病変候補情報ＩＬに含まれる位置情報及びサイズ情報の両方を用いて強調処理を行うものであってもよい。

出現時間算出部３８は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、継続検出判定部３５から出力される判定結果と、に基づき、当該病変候補情報ＩＬにより示される病変候補領域Ｌが検出された際に、当該病変候補領域Ｌが当該観察画像Ｇ１内に出現してからの経過時間である出現時間ＴＳを算出するための処理を行うように構成されている。また、出現時間算出部３８は、前述の処理により得られた出現時間ＴＳを表示制御部３６へ出力するように構成されている。また、出現時間算出部３８は、図２に示すように、注目領域逆追跡部３８ａと、注目領域速度推定部３８ｂと、推定検出時間設定部３８ｃと、出現時間算出部３８ｄと、を有して構成されている。

注目領域逆追跡部３８ａは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に基づき、当該観察画像Ｇ１に含まれる全ての画素の動きベクトルにより構成されるベクトル場である、当該観察画像Ｇ１のオプティカルフローを１フレーム毎に取得するための処理を行うように構成されている。また、注目領域逆追跡部３８ａは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１と、当該観察画像Ｇ１のオプティカルフローと、を時系列にかつ複数フレーム分格納することが可能なＲＡＭ等の揮発性のメモリ（不図示）を有して構成されている。また、注目領域逆追跡部３８ａは、前述のように取得した現在の観察画像Ｇ１のオプティカルフローと、メモリに格納された１または複数フレーム分の過去の観察画像Ｇ１のオプティカルフローと、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、に基づき、病変候補領域Ｌが最初に出現した観察画像Ｇ１が入力されてから現在の観察画像Ｇ１が入力されるまでの時間である画像入力時間ＴＰを算出するための処理（後述）を行うように構成されている。

注目領域速度推定部３８ｂは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に基づき、当該観察画像Ｇ１に含まれる全ての画素の動きベクトルにより構成されるベクトル場である、当該観察画像Ｇ１のオプティカルフローを１フレーム毎に取得するための処理を行うように構成されている。また、注目領域速度推定部３８ｂは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を時系列にかつ複数フレーム分格納することが可能なＲＡＭ等の揮発性のメモリを有して構成されている。また、注目領域速度推定部３８ｂは、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、前述のように取得した現在の観察画像Ｇ１のオプティカルフローと、に基づき、病変候補領域Ｌの推定移動速度ＶＱを算出するための処理（後述）を行うように構成されている。

推定検出時間設定部３８ｃは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、に基づき、病変候補検出部３４ｂにおける病変候補領域Ｌの検出に要したと推定される時間である推定検出時間ＴＭを設定するための処理（後述）を行うように構成されている。

出現時間算出部３８ｄは、病変候補検出部３４ｂから病変候補情報ＩＬが入力された際に、継続検出判定部３５から出力される判定結果に基づき、注目領域検出部３４による病変候補領域Ｌの検出が開始されてからの経過時間である継続検出時間ＴＫを計測するように構成されている。また、出現時間算出部３８ｄは、注目領域逆追跡部３８ａにより算出された画像入力時間ＴＰと、注目領域速度推定部３８ｂにより算出された推定移動速度ＶＱと、推定検出時間設定部３８ｃにより設定された推定検出時間ＴＭと、前述のように計測した継続検出時間ＴＫと、に基づき、出現時間ＴＳを算出するための処理（後述）を行うように構成されている。

表示装置４１は、モニタ等を具備し、内視鏡画像処理装置３２から出力される表示用画像を画面上に表示することができるように構成されている。

続いて、本実施形態の作用について、図３等を適宜参照しつつ説明する。なお、以下においては、簡単のため、１つの病変候補領域Ｌ１が観察画像Ｇ１内に出現する場合を例に挙げて説明する。図３は、実施形態に係る内視鏡画像処理装置において行われる処理の一例を説明するための図である。

内視鏡２１は、例えば、光源駆動装置１１及びビデオプロセッサ３１の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力する。

ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力する。

表示制御部３６は、病変候補領域Ｌ１が観察画像Ｇ１内に出現していない期間、すなわち、図３の時刻Ｔａよりも前の期間において、例えば、図４に示すような観察画像Ｇ１を含む表示用画像を表示装置４１に表示させるための処理を行う。また、表示制御部３６は、病変候補領域Ｌ１の少なくとも一部が観察画像Ｇ１内に出現したタイミング、すなわち、図３の時刻Ｔａのタイミングにおいて、例えば、図５に示すような観察画像Ｇ１を含む表示用画像を表示装置４１に表示させるための処理を行う。図４及び図５は、実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

病変候補検出部３４ｂは、図３の時刻Ｔａよりも後の時刻Ｔｂのタイミングにおいて、観察画像Ｇ１内に出現している病変候補領域Ｌ１を検出し、当該検出した病変候補領域Ｌ１を示す情報である病変候補情報ＩＬ１を取得し、当該取得した病変候補情報ＩＬ１を継続検出判定部３５、表示制御部３６及び出現時間算出部３８へそれぞれ出力する。

表示制御部３６は、図３の時刻Ｔｂのタイミング、すなわち、病変候補領域Ｌ１が観察画像Ｇ１内に出現しかつ病変候補検出部３４ｂにより検出されたタイミングにおいて、例えば、図６に示すような観察画像Ｇ１を含む表示用画像を表示装置４１に表示させるための処理を行う。図６は、実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

出現時間算出部３８は、時刻Ｔｂのタイミングにおいて、ビデオプロセッサ３１から順次出力される観察画像Ｇ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬ１と、継続検出判定部３５から出力される判定結果と、に基づいて出現時間ＴＳを算出するための処理を開始する。

ここで、出現時間算出部３８の各部において行われる出現時間ＴＳの算出に係る処理の具体例について説明する。

注目領域逆追跡部３８ａは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に基づき、当該観察画像Ｇ１のオプティカルフローを１フレーム毎に取得するとともに、当該観察画像Ｇ１と、当該観察画像Ｇ１のオプティカルフローと、を順次メモリに格納する。また、注目領域逆追跡部３８ａは、現フレーム（最新のフレーム）に相当するフレームＦＮの観察画像Ｇ１Ｎと、当該フレームＦＮの１つ前のフレームであるフレームＦＭの観察画像Ｇ１Ｍと、に基づき、当該観察画像Ｇ１Ｎのオプティカルフローを取得する。また、注目領域逆追跡部３８ａは、前述のように取得した観察画像Ｇ１Ｎのオプティカルフローと、メモリに格納された観察画像Ｇ１Ｍのオプティカルフローと、病変候補検出部３４ｂから出力される病変候補情報ＩＬ１と、に基づき、フレームＦＭの１つ前のフレームであるフレームＦＬの観察画像Ｇ１Ｌに含まれる病変候補領域Ｌ１の位置を逆追跡する。そして、注目領域逆追跡部３８ａは、前述のような逆追跡を１フレーム毎に連続的に行うことにより、病変候補領域Ｌ１が観察画像Ｇ１内に含まれなくなる直前のフレームを、当該病変候補領域Ｌ１が観察画像Ｇ１内に最初に出現したフレームであるフレームＦＡとして特定する。

注目領域逆追跡部３８ａは、フレームＦＡからフレームＦＮまでのフレーム数と、ビデオプロセッサ３１から出力される観察画像Ｇ１のフレームレート（フレーム毎秒）と、に基づき、当該フレームＦＡの観察画像Ｇ１Ａが内視鏡画像処理装置３２に入力されてから当該フレームＦＮの観察画像Ｇ１Ｎが内視鏡画像処理装置３２に入力されるまでの時間である画像入力時間ＴＰを算出する。

すなわち、注目領域逆追跡部３８ａは、フレームＦＮの観察画像Ｇ１Ｎを起点として病変候補領域Ｌ１の位置を１フレーム毎に連続的に逆追跡することによりフレームＦＡの観察画像Ｇ１Ａを特定するとともに、当該フレームＦＡから当該フレームＦＮまでのフレーム数に基づいて画像入力時間ＴＰを算出する。

なお、注目領域逆追跡部３８ａは、観察画像Ｇ１に含まれる全ての画素の動きベクトルにより構成されるベクトル場を当該観察画像Ｇ１のオプティカルフローとして取得するものに限らず、例えば、病変候補領域Ｌ１に含まれる各画素の動きベクトル群により構成される局所的なベクトル場を当該観察画像Ｇ１のオプティカルフローとして取得するようにしてもよい。

また、注目領域逆追跡部３８ａは、フレームＦＡの観察画像Ｇ１Ａを特定する際に、病変候補領域Ｌ１の位置を１フレーム毎に連続的に逆追跡するものに限らず、例えば、ぼけまたはハレーションの強い観察画像Ｇ１を１フレーム以上スキップしつつ病変候補領域Ｌ１の位置を逆追跡するようにしてもよい。

注目領域速度推定部３８ｂは、観察画像Ｇ１Ｎ及び観察画像Ｇ１Ｍに基づき、当該観察画像Ｇ１Ｎのオプティカルフローを取得する。また、注目領域速度推定部３８ｂは、病変候補検出部３４ｂから出力される病変候補情報ＩＬ１に基づき、前述のように取得した観察画像Ｇ１Ｎのオプティカルフローに含まれる各動きベクトルの中から、病変候補領域Ｌ１に含まれる各画素の動きベクトル群を特定するとともに、当該特定した動きベクトル群に基づき、当該観察画像Ｇ１Ｎに含まれる当該病変候補領域Ｌ１の推定移動速度ＶＱを算出する。

なお、注目領域速度推定部３８ｂは、前述のような処理を行うものに限らず、例えば、観察画像Ｇ１Ｎのオプティカルフローに含まれる全ての画素の動きベクトルに基づいて（病変候補領域Ｌ１及び背景領域を含む）画像全域の移動速度を算出するとともに、当該算出した画像全域の移動速度を推定移動速度ＶＱとして取得するようにしてもよい。

推定検出時間設定部３８ｃは、観察画像Ｇ１Ｎと、病変候補検出部３４ｂから出力される病変候補情報ＩＬ１と、に基づき、当該観察画像Ｇ１Ｎに含まれる当該病変候補領域Ｌ１の撮像状態を示す１つ以上のパラメータを取得するための処理を行う。また、推定検出時間設定部３８ｃは、前述の処理を経て取得したパラメータを用いて所定の演算を行うことにより、病変候補領域Ｌ１の検出難度に相当する値である評価値Ｅ１を算出する。

具体的には、推定検出時間設定部３８ｃは、観察画像Ｇ１Ｎと、病変候補検出部３４ｂから出力される病変候補情報ＩＬ１と、に基づき、例えば、当該病変候補情報ＩＬ１により特定される病変候補領域Ｌ１の位置、当該病変候補情報ＩＬ１により特定される病変候補領域Ｌ１のサイズ、当該観察画像Ｇ１Ｎにおけるコントラストの高さ、及び、当該観察画像Ｇ１Ｎにおけるぼけの強さのうちの少なくとも１つのパラメータを取得するための処理を行うとともに、当該取得したパラメータを用いて所定の演算を行うことにより評価値Ｅ１を算出する。

評価値Ｅ１は、例えば、病変候補領域Ｌ１の位置が観察画像Ｇ１Ｎの縁部に近い場合、当該病変候補領域Ｌ１のサイズが小さい場合、当該観察画像Ｇ１Ｎのコントラストが低い場合、及び、当該観察画像Ｇ１Ｎのぼけが強い場合において、相対的に大きな値として算出される。また、評価値Ｅ１は、例えば、病変候補領域Ｌ１の位置が観察画像Ｇ１Ｎの中心に近い場合、当該病変候補領域Ｌ１のサイズが大きい場合、当該観察画像Ｇ１Ｎのコントラストが高い場合、及び、当該観察画像Ｇ１Ｎのぼけが弱い場合において、相対的に小さな値として算出される。すなわち、評価値Ｅ１は、病変候補領域Ｌ１の検出難度の高低に応じて変動する値として算出される。

推定検出時間設定部３８ｃは、前述の所定の演算により算出される評価値Ｅと、注目領域検出部３４が観察画像Ｇ１内に出現した病変候補領域Ｌ１の検出に要する平均時間として予め設定されている平均検出時間ＡＴと、の間の対応関係を示すテーブルデータＴＤＡを参照することにより、評価値Ｅ１に等しいまたは最も近い評価値を特定する。そして、推定検出時間設定部３８ｃは、前述のように特定した評価値に対応する平均検出時間を、病変候補検出部３４ｂにおける病変候補領域Ｌ１の検出に要したと推定される時間である推定検出時間ＴＭとして設定する。

なお、テーブルデータＴＤＡは、例えば、図７に示すような、複数の評価値Ｅａ、Ｅｂ、Ｅｃ、…と、複数の平均検出時間ＡＴａ、ＡＴｂ、ＡＴｃ、…と、の間の対応関係を特定可能なデータとして構成されている。そのため、例えば、テーブルデータＴＤＡに含まれるＥｂが評価値Ｅ１に等しいまたは最も近いものとして特定された場合においては、当該テーブルデータＴＤＡに含まれるＡＴｂが推定検出時間ＴＭとして設定される。図７は、実施形態に係る内視鏡画像処理装置の処理において用いられるテーブルデータの一例を示す図である。

すなわち、以上に述べたような処理によれば、推定検出時間設定部３８ｃは、観察画像Ｇ１Ｎに含まれる病変候補領域Ｌ１の撮像状態を示す１つ以上のパラメータに基づいて推定検出時間ＴＭを設定する。

なお、本実施形態の推定検出時間設定部３８ｃは、例えば、後述の重み係数ＷＱが０以外の値である場合に、観察画像Ｇ１Ｎに含まれる病変候補領域Ｌ１の撮像状態を示す１つ以上のパラメータに加え、当該病変候補領域Ｌ１の推定移動速度ＶＱの大きさを用いて評価値Ｅ１の算出及び推定検出時間ＴＭの設定を行うようにしてもよい。そして、このような場合においては、例えば、推定移動速度ＶＱが大きくなるに従って評価値Ｅ１が増加し得るとともに、推定移動速度ＶＱが小さくなるに従って評価値Ｅ１が減少し得る。

出現時間算出部３８ｄは、観察画像Ｇ１Ｎの縁部と、病変候補情報ＩＬ１に基づいて得られる病変候補領域Ｌ１の重心位置と、の間の最短距離ＲＮを算出するとともに、当該算出した最短距離ＲＮと、注目領域速度推定部３８ｂにより算出された推定移動速度ＶＱと、に基づき、病変候補領域Ｌ１が観察画像Ｇ１内に入ってから現在の位置へ移動するまでに要したと推定される時間である推定移動時間ＴＱを算出する。具体的には、出現時間算出部３８ｄは、最短距離ＲＮを推定移動速度ＶＱの大きさである｜ＶＱ｜で除する（＝ＲＮ／｜ＶＱ｜）ことにより推定移動時間ＴＱを算出する。

出現時間算出部３８ｄは、推定検出時間設定部３８ｃにより設定された推定検出時間ＴＭと、図３の時刻Ｔｂのタイミングを起点として計測される継続検出時間ＴＫと、に基づき、病変候補領域Ｌ１が観察画像Ｇ１内に出現してからの経過時間を病変候補検出部３４ｂによる当該病変候補領域Ｌ１の検出状況に応じて推定した時間である推定経過時間ＴＲを算出する。具体的には、出現時間算出部３８ｄは、推定検出時間ＴＭと、推定検出時間ＴＭと、を加える（＝ＴＭ＋ＴＫ）ことにより推定経過時間ＴＲを算出する。

出現時間算出部３８ｄは、画像入力時間ＴＰと、推定移動時間ＴＱと、推定経過時間ＴＲと、を下記数式（１）に適用することにより、出現時間ＴＳを算出する。

なお、上記数式（１）のＷＰ、ＷＱ及びＷＲは、０以上１以下等の所定の範囲内に属する値としてそれぞれ設定される重み係数を表すものとする。また、上記数式（１）のＷＰ、ＷＱ及びＷＲは、例えば、画像入力時間ＴＰ、推定移動時間ＴＱ及び推定経過時間ＴＲの蓋然性を示す値である尤度としてそれぞれ算出されるものとする。

そして、上記数式（１）を用いた処理によれば、例えば、ＷＰ＝ＷＱ＝ＷＲ＝１に設定された場合には、画像入力時間ＴＰと、推定移動時間ＴＱと、推定経過時間ＴＲと、の平均値が出現時間ＴＳとして算出される。また、上記数式（１）を用いた処理によれば、例えば、ＷＱ＝ＷＲ＝０に設定された場合には、画像入力時間ＴＰと重み係数ＷＰとを乗じて（＝ＴＰ×ＷＰ）得られる値が出現時間ＴＳとして算出される。また、上記数式（１）を用いた処理によれば、例えば、ＷＰ＝ＷＲ＝０に設定された場合には、推定移動時間ＴＱと重み係数ＷＱとを乗じて（＝ＴＱ×ＷＱ）得られる値が出現時間ＴＳとして算出される。また、上記数式（１）を用いた処理によれば、例えば、ＷＰ＝ＷＱ＝０に設定された場合には、推定経過時間ＴＲと重み係数ＷＲとを乗じて（＝ＴＲ×ＷＲ）得られる値が出現時間ＴＳとして算出される。また、上記数式（１）を用いた処理によれば、重み係数ＷＰ、ＷＱまたはＷＲのいずれか１つを０に設定して出現時間ＴＳを算出することもできる。

すなわち、以上に述べたような処理によれば、出現時間算出部３８ｄは、画像入力時間ＴＰと、推定移動時間ＴＱと、推定経過時間ＴＲと、のうちの少なくとも１つに基づいて出現時間ＴＳを算出する。

出現時間算出部３８は、図３の時刻Ｔｄのタイミング、すなわち、病変候補領域Ｌ１が観察画像Ｇ１内から消失するタイミングの直前まで、以上に例示したような処理を繰り返し行うことにより、出現時間ＴＳをリアルタイムに算出するとともに、当該算出した出現時間ＴＳを表示制御部３６へ出力する。

表示制御部３６の強調処理部３６ａは、図３の時刻Ｔｃのタイミング、すなわち、出現時間算出部３８ｄにより算出された出現時間ＴＳが所定時間ＴＨに達したタイミングにおいて、病変候補領域Ｌ１の位置を強調するためのマーカ画像Ｇ２を観察画像Ｇ１に付加する強調処理を開始する。また、表示制御部３６の強調処理部３６ａは、図３の時刻Ｔｄのタイミングにおいて、前述の強調処理を停止する。そして、このような表示制御部３６の動作によれば、時刻Ｔｃのタイミングにおいて、例えば、図８に示すような、マーカ画像Ｇ２を含む観察画像Ｇ１が表示装置４１の画面上に表示される。また、前述のような表示制御部３６の動作によれば、時刻Ｔｄのタイミングにおいて、例えば、図９に示すような観察画像Ｇ１が表示装置４１の画面上に表示される。図８及び図９は、実施形態に係る内視鏡画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

ここで、時刻Ｔａから時刻Ｔｂに達する直前までの期間においては、病変候補領域Ｌ１の少なくとも一部が観察画像Ｇ１内に出現している一方で、注目領域検出部３４（病変候補検出部３４ｂ）による当該病変候補領域Ｌ１の検出が完了しないような状況が発生し得る。そのため、例えば、注目領域検出部３４による病変候補領域Ｌ１の検出が完了したタイミングに相当する時刻Ｔｃのタイミングを起点として所定時間ＴＨの計測が開始された場合には、当該病変候補領域Ｌ１の位置を強調するための強調処理が開始されるタイミングが、当該病変候補領域Ｌ１の検出に要した時間だけ遅れてしまうものと考えられる。従って、図３の時刻Ｔｃのタイミングを起点として所定時間ＴＨの計測が開始された場合には、観察画像Ｇ１内に出現したにも関わらず、強調処理部３６ａによる強調処理が施されないまま観察画像Ｇ１内から消失してしまうような病変候補領域Ｌ１の発生頻度が高くなることに伴い、術者の目視による病変部の見落としが発生し易くなってしまうものと考えられる。

これに対し、以上に述べたような表示制御部３６及び出現時間算出部３８の動作によれば、病変候補領域Ｌ１が観察画像Ｇ１内に出現してからの経過時間である出現時間ＴＳが算出されるとともに、当該出現時間ＴＳが所定時間ＴＨに達したタイミングにおいて強調処理部３６ａによる強調処理が開始されるため、術者の目視による病変部の見落としを極力防ぐことができる。すなわち、本実施形態によれば、術者に対し、観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims

被写体を撮像して得られた観察画像が順次入力されるとともに、当該観察画像に対して注目領域を検出するための処理を行う注目領域検出部と、
前記注目領域検出部により前記注目領域が検出された際に、前記注目領域が前記観察画像内に出現してからの経過時間である出現時間を算出する出現時間算出部と、
前記出現時間が所定時間に達したタイミングにおいて、前記観察画像内に存在する前記注目領域の位置を強調するための強調処理を開始する強調処理部と、
を有することを特徴とする内視鏡画像処理装置。
前記出現時間算出部は、前記注目領域検出部により検出された一の注目領域が最初に出現したフレームである第１のフレームの観察画像が入力されてから現フレームである第２のフレームの観察画像が入力されるまでの時間である第１の時間と、前記一の注目領域が前記観察画像内に入ってから現在の位置へ移動するまでに要したと推定される時間である第２の時間と、前記経過時間を前記注目領域検出部による前記一の注目領域の検出状況に応じて推定した時間である第３の時間と、のうちの少なくとも１つに基づいて前記出現時間を算出する
ことを特徴とする請求項１に記載の内視鏡画像処理装置。
前記出現時間算出部は、前記第２のフレームの観察画像を起点として前記一の注目領域の位置を逆追跡することにより前記第１のフレームの観察画像を特定するとともに、前記第１のフレームから前記第２のフレームまでのフレーム数に基づいて前記第１の時間を算出する
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記出現時間算出部は、前記第２のフレームの観察画像に含まれる前記一の注目領域の推定移動速度に基づいて前記第２の時間を算出する
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記出現時間算出部は、前記注目領域検出部における前記一の注目領域の検出に要したと推定される時間である推定検出時間と、前記注目領域検出部による前記一の注目領域の検出が開始されてからの経過時間である継続検出時間と、に基づいて前記第３の時間を算出する
ことを特徴とする請求項２に記載の内視鏡画像処理装置。
前記出現時間算出部は、前記第２のフレームの観察画像に含まれる前記一の注目領域の撮像状態を示す１つ以上のパラメータに基づいて前記推定検出時間を設定する
ことを特徴とする請求項５に記載の内視鏡画像処理装置。
被写体を撮像して得られた観察画像に対して注目領域を検出するための処理を行うステップと、
前記注目領域が検出された際に、前記注目領域が前記観察画像内に出現してからの経過時間である出現時間を算出するステップと、
前記出現時間が所定時間に達したタイミングにおいて、前記観察画像内に存在する前記注目領域の位置を強調するための強調処理を開始するステップと、
を有することを特徴とする内視鏡画像処理方法。
前記注目領域を検出するための処理により検出された一の注目領域が最初に出現したフレームである第１のフレームの観察画像が内視鏡画像処理装置に入力されてから現フレームである第２のフレームの観察画像が前記内視鏡画像処理装置に入力されるまでの時間である第１の時間と、前記一の注目領域が前記観察画像内に入ってから現在の位置へ移動するまでに要したと推定される時間である第２の時間と、前記経過時間を前記一の注目領域の検出状況に応じて推定した時間である第３の時間と、のうちの少なくとも１つに基づいて前記出現時間が算出される
ことを特徴とする請求項７に記載の内視鏡画像処理方法。
前記第２のフレームの観察画像を起点として前記一の注目領域の位置を逆追跡することにより前記第１のフレームの観察画像が特定されるとともに、前記第１のフレームから前記第２のフレームまでのフレーム数に基づいて前記第１の時間が算出される
ことを特徴とする請求項８に記載の内視鏡画像処理方法。
前記第２のフレームの観察画像に含まれる前記一の注目領域の推定移動速度に基づいて前記第２の時間が算出される
ことを特徴とする請求項８に記載の内視鏡画像処理方法。
前記一の注目領域の検出に要したと推定される時間である推定検出時間と、前記一の注目領域の検出が開始されてからの経過時間である継続検出時間と、に基づいて前記第３の時間が算出される
ことを特徴とする請求項８に記載の内視鏡画像処理方法。
前記第２のフレームの観察画像に含まれる前記一の注目領域の撮像状態を示す１つ以上のパラメータに基づいて前記推定検出時間が設定される
ことを特徴とする請求項１１に記載の内視鏡画像処理方法。