WO2017216922A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置は、被写体を撮像して得られた複数の観察画像が順次入力されるとともに、複数の観察画像の各々に対して注目領域を検出するための処理を行う注目領域検出部と、注目領域検出部による注目領域の検出が開始されてから途絶するまでの期間において、複数の観察画像を１つ以上の記録画像として記録する記録部と、注目領域検出部による注目領域の検出が開始されてから所定時間が経過した第１のタイミング、または、注目領域検出部による注目領域の検出が途絶した第２のタイミングのいずれかにおいて、複数の観察画像を表示装置の表示画面に順次表示させつつ、記録部に記録された記録画像のうちの少なくとも１つの記録画像を表示画面に表示させるための処理を行う表示制御部と、を有する。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に関する。

　医療分野においては、例えば、内視鏡により被写体を撮像して得られた画像を、表示装置の表示画面上において相対的に大きな一の表示領域と、当該表示画面上において相対的に小さな他の表示領域と、に同時に表示させるような構成が従来知られている。

　具体的には、例えば、日本国特開平１０－２６２９２３号公報には、電子内視鏡により被写体を撮像して得られた画像を、互いに異なるサイズを有する親画面及び子画面として同時にモニタに表示させるための構成が開示されている。

　ところで、医療分野の内視鏡観察においては、内視鏡により撮像される体腔内の被写体と、当該体腔内に挿入される当該内視鏡の挿入部と、の相対位置が常時変化し得るため、当該体腔内に存在する病変部の見落としが発生し易い、という問題点が存在している。

　しかし、日本国特開平１０－２６２９２３号公報には、前述の問題点を解消可能な手法等について特に言及されておらず、すなわち、前述の問題点に応じた課題が依然として存在している。

　本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察において発生し得る病変部の見落としを低減させることが可能な画像処理装置及び画像処理方法を提供することを目的としている。

　本発明の一態様の画像処理装置は、被写体を撮像して得られた複数の観察画像が順次入力されるとともに、当該複数の観察画像の各々に対して注目領域を検出するための処理を行う注目領域検出部と、前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの期間において、前記複数の観察画像を１つ以上の記録画像として記録する記録部と、前記注目領域検出部による前記注目領域の検出が開始されてから所定時間が経過した第１のタイミング、または、前記注目領域検出部による前記注目領域の検出が途絶した第２のタイミングのいずれかにおいて、前記複数の観察画像を表示装置の表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行う表示制御部と、を有する。

　本発明の一態様の画像処理方法は、注目領域検出部が、被写体を撮像して得られた複数の観察画像の各々に対して注目領域を検出するための処理を行うステップと、記録部が、前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの期間において、前記複数の観察画像を１つ以上の記録画像として記録するステップと、表示制御部が、前記注目領域検出部による前記注目領域の検出が開始されてから所定時間が経過した第１のタイミング、または、前記注目領域検出部による前記注目領域の検出が途絶した第２のタイミングのいずれかにおいて、前記複数の観察画像を表示装置の表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行うステップと、を有する。

実施例に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。 実施例に係る画像処理装置の具体的な構成の一例を説明するためのブロック図。 実施例に係る画像処理装置において行われる処理の一例を説明するためのタイムチャート。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置において行われる処理の、図３とは異なる例を説明するためのタイムチャート。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。

　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

　内視鏡システム１は、図１に示すように、光源駆動装置１１と、内視鏡２１と、ビデオプロセッサ３１と、画像処理装置３２と、表示装置４１と、を有して構成されている。

　光源駆動装置１１は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置１１は、内視鏡２１及びビデオプロセッサ３１に接続されている。また、光源駆動装置１１は、ビデオプロセッサ３１からの光源制御信号に基づき、内視鏡２１の光源部２３を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡２１へ出力するように構成されている。

　内視鏡２１は、光源駆動装置１１及びビデオプロセッサ３１に接続されている。また、内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２２を有して構成されている。また、挿入部２２の先端部には、光源部２３と、撮像部２４と、が設けられている。

　光源部２３は、例えば、白色ＬＥＤのような発光素子を具備して構成されている。また、光源部２３は、光源駆動装置１１から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。

　撮像部２４は、例えば、カラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像部２４は、ビデオプロセッサ３１から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部２４は、光源部２３からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力するように構成されている。

　ビデオプロセッサ３１は、光源駆動装置１１及び内視鏡２１に接続されている。また、ビデオプロセッサ３１は、光源部２３の発光状態を制御するための光源制御信号を生成して光源駆動装置１１へ出力するように構成されている。また、ビデオプロセッサ３１は、撮像部２４の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力するように構成されている。

　画像処理装置３２は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置３２は、ビデオプロセッサ３１から出力される観察画像Ｇ１に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置４１に表示させるための動作を行うように構成されている。また、画像処理装置３２は、図２に示すように、注目領域検出部３４と、継続検出判定部３５と、表示制御部３６と、を有して構成されている。図２は、実施例に係る画像処理装置の具体的な構成の一例を説明するためのブロック図である。

　注目領域検出部３４は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に関する所定の特徴量を算出し、さらに、当該算出した所定の特徴量に基づき、観察画像Ｇ１に含まれる注目領域である病変候補領域Ｌを検出するように構成されている。すなわち、注目領域検出部３４は、内視鏡２１により被写体を撮像して得られた複数の観察画像Ｇ１が順次入力されるとともに、当該複数の観察画像Ｇ１の各々に対して病変候補領域Ｌを検出するための処理を行うように構成されている。また、注目領域検出部３４は、特徴量算出部３４ａと、病変候補検出部３４ｂと、を有して構成されている。

　特徴量算出部３４ａは、ビデオプロセッサ３１及び病変候補検出部３４ｂに接続されている。また、特徴量算出部３４ａは、ビデオプロセッサ３１から順次出力される観察画像Ｇ１に関する所定の特徴量を算出し、当該算出した所定の特徴量を病変候補検出部３４ｂへ出力するように構成されている。

　具体的には、特徴量算出部３４ａは、例えば、観察画像Ｇ１を所定のサイズに分割して得られる複数の小領域のうちの一の小領域内の各画素と、当該一の小領域に隣接する小領域内の各画素と、における輝度の変化量または濃度の変化量を示す値である傾き値を、当該複数の小領域毎の特徴量として算出する。なお、特徴量算出部３４ａは、観察画像Ｇ１を定量的に評価可能な値を算出する限りにおいては、前述の傾き値とは異なる値を特徴量として算出するものであってもよい。

　病変候補検出部３４ｂは、継続検出判定部３５及び検出結果出力部３６に接続されている。また、病変候補検出部３４ｂは、１つ以上のポリープモデル情報が予め格納されているＲＯＭ３４ｃを有して構成されている。

　具体的には、ＲＯＭ３４ｃに格納されているポリープモデル情報は、例えば、多数のポリープ画像における共通点及び／または類似点を定量化して得られる特徴量を具備して構成されている。

　病変候補検出部３４ｂは、特徴量算出部３４ａから出力される所定の特徴量と、ＲＯＭ３４ｃから読み込んだ複数のポリープモデル情報と、に基づいて病変候補領域Ｌを検出し、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得し、当該取得した病変候補情報ＩＬを継続検出判定部３５及び表示制御部３６へそれぞれ出力するように構成されている。

　具体的には、病変候補検出部３４ｂは、例えば、特徴量算出部３４ａから出力される一の小領域の特徴量と、ＲＯＭ３４ｃから読み込んだ複数のポリープモデル情報に含まれる少なくとも１つの特徴量と、が一致している場合に、当該一の小領域を病変候補領域Ｌとして検出する。また、病変候補検出部３４ｂは、前述の方法により検出した病変候補領域Ｌの位置情報及びサイズ情報を含む病変候補情報ＩＬを取得し、当該取得した病変候補情報ＩＬを継続検出判定部３５及び表示制御部３６へそれぞれ出力する。

　なお、病変候補領域Ｌの位置情報は、観察画像Ｇ１内における病変候補領域Ｌの位置を示す情報であり、例えば、観察画像Ｇ１内に存在する病変候補領域Ｌの画素位置として取得される。また、病変候補領域Ｌのサイズ情報は、観察画像Ｇ１内における病変候補領域Ｌの大きさを示す情報であり、例えば、観察画像Ｇ１に存在する病変候補領域Ｌの画素数として取得される。

　なお、注目領域検出部３４は、観察画像Ｇ１から病変候補領域Ｌを検出するための処理を行う限りにおいては、特徴量算出部３４ａ及び病変候補検出部３４ｂを有して構成されていなくてもよい。具体的には、注目領域検出部３４は、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変候補領域Ｌを検出するように構成されていてもよい。

　継続検出判定部３５は、表示制御部３６に接続されている。また、継続検出判定部３５は、病変候補検出部３４ｂから出力される各病変候補情報ＩＬのうち、少なくとも１フレーム前の病変候補情報ＩＬを格納可能なＲＡＭ３５ａを有して構成されている。

　継続検出判定部３５は、例えば、病変候補検出部３４ｂから出力される第１の病変候補情報と、当該第１の病変候補情報よりも１フレーム分前にＲＡＭ３５ａに格納された第２の病変候補情報と、に基づき、当該第１の病変候補情報により示される第１の病変候補領域と、当該第２の病変候補情報により示される第２の病変候補領域と、が同一の病変候補領域Ｌであるか否かを判断するように構成されている。そして、継続検出判定部３５は、前述の第１及び第２の病変候補領域が同一の病変候補領域Ｌである場合に、観察画像Ｇ１における病変候補領域Ｌの検出が継続しているとの判定結果、すなわち、病変候補検出部３４ｂにより検出された病変候補領域Ｌが観察画像Ｇ１内に存在し続けているとの判定結果を取得して表示制御部３６へ出力するように構成されている。また、継続検出判定部３５は、前述の第１及び第２の病変候補領域が同一の病変候補領域Ｌではない場合に、観察画像Ｇ１における病変候補領域Ｌの検出が途絶したとの判定結果、すなわち、病変候補検出部３４ｂにより検出された病変候補領域Ｌが観察画像Ｇ１の内部から外部へ移動したとの判定結果を取得して表示制御部３６へ出力するように構成されている。

　表示制御部３６は、表示装置４１に接続されている。また、表示制御部３６は、病変候補検出部３４ｂから病変候補情報ＩＬが入力された際に、継続検出判定部３５から出力される判定結果に基づき、観察画像Ｇ１における病変候補領域Ｌの検出が開始されてからの経過時間である継続検出時間ＴＬを計測するように構成されている。また、表示制御部３６は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を用いて表示用画像を生成するための処理を行うとともに、当該生成した表示用画像を表示装置４１の表示画面４１Ａに表示させるための処理を行うように構成されている。

　表示制御部３６は、継続検出判定部３５から出力される判定結果に基づき、継続検出時間ＴＬが所定時間ＴＨ（例えば０．５秒）に達する前に病変候補領域Ｌの検出が途絶した場合に、後述の処理を行うように構成されている。また、表示制御部３６は、継続検出判定部３５から出力される判定結果に基づき、継続検出時間ＴＬが所定時間ＴＨに達したタイミングにおいて病変候補領域Ｌの検出が継続している場合に、後述の強調処理を行うように構成されている。また、表示制御部３６は、強調処理部３６ａと、記録部３６ｂと、を有して構成されている。

　強調処理部３６ａは、継続検出時間ＴＬが所定時間ＴＨに達したタイミングにおいて病変候補領域Ｌの検出が継続している場合に、病変候補検出部３４ｂから出力される病変候補情報ＩＬに基づき、当該病変候補領域Ｌの位置を強調するためのマーカ画像Ｇ２を生成して当該観察画像Ｇ１に付加する強調処理を開始するように構成されている。

　なお、強調処理部３６ａの強調処理により付加されるマーカ画像Ｇ２は、病変候補領域Ｌの位置を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよい。換言すると、強調処理部３６ａは、病変候補領域Ｌの位置を強調するためのマーカ画像Ｇ２を生成する限りにおいては、病変候補情報ＩＬに含まれる位置情報のみを用いて強調処理を行うものであってもよく、または、病変候補情報ＩＬに含まれる位置情報及びサイズ情報の両方を用いて強調処理を行うものであってもよい。

　記録部３６ｂは、継続検出時間ＴＬの計測期間中にビデオプロセッサ３１から順次出力される観察画像Ｇ１を記録画像Ｒ１として記録するように構成されている。すなわち、記録部３６ｂは、注目領域検出部３４の病変候補検出部３４ｂによる病変候補領域Ｌの検出が開始されてから途絶するまでの期間において、ビデオプロセッサ３１から順次出力される複数の観察画像Ｇ１を複数の記録画像Ｒ１として順次（時系列順に）記録するように構成されている。また、記録部３６ｂは、継続検出時間ＴＬの計測期間中に病変候補検出部３４ｂから出力される病変候補情報ＩＬと、記録画像Ｒ１と、を関連付けて記録することができるように構成されている。

　表示装置４１は、モニタ等を具備し、画像処理装置３２から出力される表示用画像を表示することができるように構成されている。

　続いて、本実施例の作用について説明する。なお、以下においては、簡単のため、病変候補検出部３４ｂが１つの病変候補領域Ｌ１を検出する場合を例に挙げて説明する。また、以下においては、病変候補領域Ｌ１の継続検出時間ＴＬが所定時間ＴＨ未満である場合、すなわち、図３のタイムチャートに応じた処理が表示制御部３６により行われる場合を例に挙げて説明する。図３は、実施例に係る画像処理装置において行われる処理の一例を説明するためのタイムチャートである。

　内視鏡２１は、例えば、光源駆動装置１１及びビデオプロセッサ３１の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力する。

　ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力する。

　表示制御部３６は、病変候補領域Ｌ１が注目領域検出部３４により検出されていない期間において、観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置した表示用画像を表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、図３の時刻Ｔａよりも前の期間において、図４に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。なお、表示領域Ｄ１は、例えば、表示画面４１Ａ上において、後述の表示領域Ｄ２よりも大きなサイズを有する領域として予め設定されているものとする。図４は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　表示制御部３６は、継続検出時間ＴＬの計測を開始したタイミング、すなわち、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が開始されたタイミングにおいて、病変候補領域Ｌ１を含む観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置した表示用画像を表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、図３の時刻Ｔａのタイミングにおいて、図５に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。また、前述のような表示制御部３６の動作によれば、例えば、図３の時刻Ｔａよりも後の時刻Ｔｂに達する直前のタイミングにおいて、図６に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。図５及び図６は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　表示制御部３６の記録部３６ｂは、継続検出時間ＴＬの計測が開始されたタイミングにおいて、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を記録画像Ｒ１として記録する処理を開始するとともに、当該記録画像Ｒ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、を関連付けて記録するための処理を開始する。そして、このような記録部３６ｂの動作によれば、例えば、図３の時刻Ｔａのタイミングにおいて、記録画像Ｒ１及び病変候補情報ＩＬを関連付けて記録するための処理が開始される。

　表示制御部３６の記録部３６ｂは、継続検出時間ＴＬの計測が停止されたタイミング、すなわち、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が途絶したタイミングにおいて、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を記録画像Ｒ１として記録する処理を停止するとともに、当該記録画像Ｒ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、を関連付けて記録するための処理を停止する。そして、このような記録部３６ｂの動作によれば、例えば、図３の時刻Ｔｂのタイミングにおいて、記録画像Ｒ１及び病変候補情報ＩＬを関連付けて記録するための処理が停止される。また、前述のような記録部３６ｂの動作によれば、例えば、図３の時刻ＴａからＴｂまでの期間に相当する継続検出時間ＴＬにおいて、少なくとも図５及び図６に示したような観察画像Ｇ１を含む、Ｎ（Ｎ≧２）フレームの観察画像Ｇ１が記録画像Ｒ１として順次記録される。

　表示制御部３６は、継続検出判定部３５から出力される判定結果に基づき、継続検出時間ＴＬが所定時間ＴＨに達する前に病変候補領域Ｌ１の検出が途絶した場合に、病変候補検出部３４ｂによる当該病変候補領域Ｌ１の検出が開始されてから所定時間ＴＨが経過したタイミングにおいて、観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置し、かつ、継続検出時間ＴＬの計測期間中に記録部３６ｂが記録した記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に配置した表示用画像を表示させるための処理を開始する。そして、このような表示制御部３６の動作によれば、例えば、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が開始されてから所定時間ＴＨが経過したタイミングに相当する、図３の時刻Ｔｂよりも後の時刻Ｔｃのタイミングにおいて、図７に示すような、図６の観察画像Ｇ１に相当する記録画像Ｒ１が表示領域Ｄ２に配置された表示用画像が表示装置４１の表示画面４１Ａに表示される。なお、表示領域Ｄ２は、例えば、表示画面４１Ａ上において、前述の表示領域Ｄ１よりも小さなサイズを有する領域として予め設定されているものとする。図７は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　表示制御部３６は、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が開始されてから所定時間ＴＨが経過したタイミング以降において、記録部３６ｂが記録画像Ｒ１を記録した順番とは逆の順番で記録画像Ｒ１を順次表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、記録部３６ｂにより順次記録されたＮフレームの記録画像Ｒ１が、Ｎフレーム目→Ｎ－１フレーム目→…２フレーム目→１フレーム目の順に表示領域Ｄ２に表示される。

　すなわち、以上に述べたような表示制御部３６の動作によれば、継続検出時間ＴＬが所定時間ＴＨ未満である場合に、図３の時刻Ｔｃのタイミングにおいて、ビデオプロセッサ３１から順次出力される複数の観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に順次表示させつつ、継続検出時間ＴＬの計測期間中に記録された複数の記録画像Ｒ１を記録部３６ｂによる記録順とは逆の順番で表示画面４１Ａの表示領域Ｄ２に表示させるための処理が開始される。

　ここで、例えば、図３に示すように、継続検出時間ＴＬが所定時間ＴＨよりも短い場合には、病変候補領域Ｌ１が病変候補検出部３４ｂにより検出されているにも関わらず、マーカ画像Ｇ２が表示されないまま、当該病変候補領域Ｌ１が観察画像Ｇ１の内部から外部へ移動してしまうような状況が発生し得る。そのため、継続検出時間ＴＬが所定時間ＴＨよりも短い場合には、ユーザの目視による病変候補領域Ｌ１の見落としが発生し易くなってしまうものと考えられる。

　これに対し、以上に述べたような表示制御部３６の動作によれば、例えば、図３及び図７に示すように、病変候補領域Ｌ１の検出が開始されてから所定時間ＴＨが経過した際に、病変候補検出部３４ｂにより検出済みの病変候補領域Ｌ１を含む記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に表示させることができる。従って、以上に述べたような表示制御部３６の動作によれば、内視鏡観察において発生し得る病変部の見落としを低減させることができる。また、以上に述べたような表示制御部３６の動作によれば、記録部３６ｂによる記録順とは逆の順番で記録画像Ｒ１が表示領域Ｄ２に表示されるため、例えば、マーカ画像Ｇ２が付与されずに観察画像Ｇ１の内部から外部へ移動した病変候補領域Ｌ１の位置をユーザに報知することができる。

　なお、本実施例によれば、継続検出時間ＴＬの計測期間中に記録画像Ｒ１の記録が行われる限りにおいては、例えば、図３の時刻ＴｂからＴｃまでの期間においても記録画像Ｒ１の記録が続けられるようにしてもよい。

　一方、本実施例によれば、例えば、病変候補領域Ｌ１の継続検出時間ＴＬが所定時間ＴＨ以上である場合において、図８のタイムチャートに応じた処理が表示制御部３６により行われるものであってもよい。このような処理の詳細について、以下に説明する。図８は、実施例に係る画像処理装置において行われる処理の、図３とは異なる例を説明するためのタイムチャートである。なお、以降においては、簡単のため、既述の処理等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

　表示制御部３６は、病変候補領域Ｌ１が注目領域検出部３４により検出されていない期間において、観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置した表示用画像を表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、図８の時刻Ｔｄよりも前の期間において、図４に示したような表示用画像が表示装置４１の表示画面４１Ａに表示される。

　表示制御部３６は、継続検出時間ＴＬの計測を開始したタイミング、すなわち、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が開始されたタイミングにおいて、病変候補領域Ｌ１を含む観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置した表示用画像を表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、図８の時刻Ｔｄのタイミングにおいて、図５に示したような表示用画像が表示装置４１の表示画面４１Ａに表示される。

　表示制御部３６の記録部３６ｂは、継続検出時間ＴＬの計測が開始されたタイミングにおいて、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を記録画像Ｒ１として記録する処理を開始するとともに、当該記録画像Ｒ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、を関連付けて記録するための処理を開始する。そして、このような記録部３６ｂの動作によれば、例えば、図８の時刻Ｔｄのタイミングにおいて、記録画像Ｒ１及び病変候補情報ＩＬを関連付けて記録するための処理が開始される。

　表示制御部３６の強調処理部３６ａは、継続検出判定部３５から出力される判定結果に基づき、継続検出時間ＴＬの計測が開始されてから所定時間ＴＨが経過したタイミングにおいて、病変候補検出部３４ｂにより検出された病変候補領域Ｌ１の位置を強調するためのマーカ画像Ｇ２を観察画像Ｇ１に付加する強調処理を開始する。そして、このような強調処理部３６ａの動作によれば、例えば、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が開始されてから所定時間ＴＨが経過したタイミングに相当する、図８の時刻Ｔｅのタイミングにおいて、図９に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。また、前述のような強調処理部３６ａの動作によれば、図８の時刻Ｔｅよりも後の時刻Ｔｆに達する直前のタイミングにおいて、図１０に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。なお、以降においては、強調処理部３６ａの強調処理により、図９及び図１０に示すような、病変候補領域Ｌ１の周囲を囲む矩形の枠がマーカ画像Ｇ２として付加される場合を例に挙げつつ説明を進める。図９及び図１０は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　表示制御部３６の記録部３６ｂは、継続検出時間ＴＬの計測が停止されたタイミング、すなわち、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が途絶したタイミングにおいて、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を記録画像Ｒ１として記録する処理を停止するとともに、当該記録画像Ｒ１と、病変候補検出部３４ｂから出力される病変候補情報ＩＬと、を関連付けて記録するための処理を停止する。そして、このような記録部３６ｂの動作によれば、例えば、図８の時刻Ｔｆのタイミングにおいて、記録画像Ｒ１及び病変候補情報ＩＬを関連付けて記録するための処理が停止される。また、前述のような記録部３６ｂの動作によれば、例えば、図８の時刻ＴｄからＴｆまでの期間に相当する継続検出時間ＴＬにおいて、少なくとも図９及び図１０に示したような観察画像Ｇ１を含む、Ｐ（Ｐ≧２）フレームの観察画像Ｇ１が記録画像Ｒ１として順次記録される。

　表示制御部３６は、継続検出判定部３５から出力される判定結果に基づき、継続検出時間ＴＬが所定時間ＴＨ以上になった後で病変候補領域Ｌ１の検出が途絶した場合に、当該病変候補領域Ｌ１の検出が途絶したタイミングにおいて、観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置し、かつ、継続検出時間ＴＬの計測期間中に記録部３６ｂが記録した記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に配置した表示用画像を表示させるための処理を開始する。そして、このような表示制御部３６の動作によれば、例えば、図８の時刻Ｔｆのタイミングにおいて、図１１に示すような、図１０の観察画像Ｇ１に相当する記録画像Ｒ１が表示領域Ｄ２に配置された表示用画像が表示装置４１の表示画面４１Ａに表示される。図１１は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　表示制御部３６は、病変候補検出部３４ｂによる病変候補領域Ｌ１の検出が途絶したタイミング以降において、記録部３６ｂが記録画像Ｒ１を記録した順番とは逆の順番で記録画像Ｒ１を順次表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、記録部３６ｂにより順次記録されたＰフレームの記録画像Ｒ１が、Ｐフレーム目→Ｐ－１フレーム目→…２フレーム目→１フレーム目の順に表示領域Ｄ２に表示される。

　すなわち、以上に述べたような表示制御部３６の動作によれば、継続検出時間ＴＬが所定時間ＴＨ以上である場合に、図８の時刻Ｔｆのタイミングにおいて、ビデオプロセッサ３１から順次出力される複数の観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に順次表示させつつ、継続検出時間ＴＬの計測期間中に記録された複数の記録画像Ｒ１を記録部３６ｂによる記録順とは逆の順番で表示画面４１Ａの表示領域Ｄ２に表示させるための処理が開始される。

　ここで、例えば、図８の時刻ＴｅからＴｆまでの期間に相当する、継続検出時間ＴＬと所定時間ＴＨとの差分時間ΔＴが極めて短い場合には、ユーザが表示領域Ｄ１に瞬間的に表示されるマーカ画像Ｇ２を視認できないまま、当該マーカ画像Ｇ２により強調された病変候補領域Ｌ１が観察画像Ｇ１の内部から外部へ移動してしまうような状況が発生し得る。そのため、差分時間ΔＴが極めて短い場合においても、ユーザの目視による病変候補領域Ｌ１の見落としが発生し易くなってしまうものと考えられる。

　これに対し、以上に述べたような表示制御部３６の動作によれば、例えば、図８及び図１１に示すように、所定時間ＴＨが経過した後で病変候補領域Ｌ１の検出が途絶した際に、病変候補検出部３４ｂにより検出済みの病変候補領域Ｌ１を含む記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に表示させることができる。従って、以上に述べたような表示制御部３６の動作によれば、内視鏡観察において発生し得る病変部の見落としを低減させることができる。また、以上に述べたような表示制御部３６の動作によれば、記録部３６ｂによる記録順とは逆の順番で記録画像Ｒ１が表示領域Ｄ２に表示されるため、例えば、マーカ画像Ｇ２が一瞬の間だけ付与された後で観察画像Ｇ１の内部から外部へ移動した病変候補領域Ｌ１の位置をユーザに報知することができる。

　なお、以上に述べたような表示制御部３６の動作は、複数の病変候補領域を含む記録画像Ｒ１を記録及び表示する場合においても略同様に適用される。

　また、本実施例によれば、記録部３６ｂによる記録順とは逆の順番で記録画像Ｒ１を表示領域Ｄ２に表示させるための処理が表示制御部３６において行われるものに限らず、例えば、記録部３６ｂによる記録順と同じ順番で記録画像Ｒ１を表示領域Ｄ２に表示させるための処理が表示制御部３６において行われるようにしてもよい。

　また、本実施例によれば、継続検出時間ＴＬの計測期間中に記録された各フレームの記録画像Ｒ１を表示領域Ｄ２に順次表示させるための処理が表示制御部３６において行われるものに限らず、例えば、当該各フレームの記録画像Ｒ１のうちの一部のフレームの記録画像Ｒ１を表示領域Ｄ２に表示させるための処理が表示制御部３６において行われるようにしてもよい。具体的には、例えば、継続検出時間ＴＬの計測期間中に記録された各フレームの記録画像Ｒ１のうち、最後に記録された１フレーム分の記録画像Ｒ１のみを表示領域Ｄ２に表示させるための処理が表示制御部３６において行われるようにしてもよい。または、例えば、継続検出時間ＴＬの計測期間中に記録された複数の記録画像Ｒ１を所定間隔で間引きつつ表示領域Ｄ２に表示させるための処理が表示制御部３６において行われるようにしてもよい。

　また、本実施例によれば、例えば、記録部３６ｂが、継続検出時間ＴＬの計測期間中にビデオプロセッサ３１から順次出力される複数の観察画像Ｇ１を所定間隔で間引いて得られる各観察画像Ｇ１を記録画像Ｒ１として記録するようにしてもよい。

　また、本実施例によれば、記録部３６ｂが複数フレームの観察画像Ｇ１を記録画像Ｒ１として順次記録するものに限らず、例えば、記録部３６ｂが１つのフレームの観察画像のみを記録画像Ｒ１として記録するものであってもよい。具体的には、記録部３６ｂは、例えば、継続検出時間ＴＬの計測が停止される直前のタイミングで表示制御部３６に入力された観察画像Ｇ１（図６及び図１０に示した観察画像Ｇ１）のみを記録画像Ｒ１として記録するものであってもよい。

　また、本実施例によれば、表示制御部３６が記録部３６ｂに記録された各フレームの記録画像Ｒ１を表示領域Ｄ２に表示させる際に、記録部３６ｂによる記録時と同じフレームレートで等倍速表示させるようにしてもよく、記録部３６ｂによる記録時よりも高いフレームレートで倍速表示させるようにしてもよく、または、記録部３６ｂによる記録時よりも低いフレームレートでスロー表示させるようにしてもよい。

　また、本実施例によれば、表示制御部３６が記録部３６ｂに記録された記録画像Ｒ１を表示領域Ｄ２に表示させる際に、記録部３６ｂによる記録時の色と同じ色で表示させるようにしてもよく、記録部３６ｂによる記録時の色から減色して表示させるようにしてもよく、または、所定の１つの色のみで表示させるようにしてもよい。

　また、本実施例によれば、継続検出時間ＴＬの計測期間中に記録画像Ｒ１の記録が行われる限りにおいては、例えば、病変候補領域Ｌ１の検出が開始されるタイミングより前の所望のタイミングから記録画像Ｒ１の記録が開始されるようにしてもよい。

　また、本実施例によれば、表示制御部３６が記録部３６ｂに記録された記録画像Ｒ１を表示領域Ｄ２に表示させる際に、例えば、当該記録画像Ｒ１に関連付けられた状態で記録されている病変候補情報ＩＬに基づいてマーカ画像Ｇ２を生成し、当該生成したマーカ画像Ｇ２を当該記録画像Ｒ１に付加するような強調処理が強調処理部３６ａにおいて行われるようにしてもよい。そして、このような表示制御部３６の動作によれば、例えば、図３の時刻Ｔｃのタイミングまたは図８の時刻Ｔｆのタイミングにおいて、図１２に示すような、表示領域Ｄ２の記録画像Ｒ１に含まれる病変候補領域Ｌ１の位置が強調された表示用画像を表示画面４１Ａに表示させることができる。図１２は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　また、本実施例によれば、記録部３６ｂに記録された記録画像Ｒ１を表示領域Ｄ１に配置してマーカ画像Ｇ２を付加した表示用画像を観察画像Ｇ１の代わりに一時的に表示させるとともに、観察画像Ｇ１の代わりに表示領域Ｄ１に表示された各記録画像Ｒ１を表示領域Ｄ２に順次再表示させるための処理が表示制御部３６により行われるようにしてもよい。そして、このような表示制御部３６の動作によれば、例えば、図３の時刻Ｔｃのタイミングまたは図８の時刻Ｔｆのタイミングにおいて、図１３に示すような、表示領域Ｄ１の記録画像Ｒ１に含まれる病変候補領域Ｌ１の位置が強調された表示用画像を表示画面４１Ａに表示させることができる。また、前述のような表示制御部３６の動作によれば、例えば、表示領域Ｄ１における各記録画像Ｒ１の表示が完了した後に、図１４に示すような表示用画像を表示画面４１Ａに表示させることができる。図１３及び図１４は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　一方、本実施例によれば、例えば、表示画面４１Ａ上に表示領域Ｄ２が設定されていない場合において、記録画像Ｒ１及び／またはマーカ画像Ｇ２を表示領域Ｄ１に表示させるための処理が表示制御部３６により行われるようにしてもよい。

　具体的には、例えば、ビデオプロセッサ３１から順次出力される観察画像Ｇ１と、記録部３６ｂに記録された記録画像Ｒ１と、を合成することにより合成画像ＧＲ１を生成し、当該記録画像Ｒ１に関連付けられている病変候補情報ＩＬに基づいてマーカ画像Ｇ２を生成し、当該マーカ画像Ｇ２を当該合成画像ＧＲ１に付加して表示領域Ｄ１に表示させるための処理が表示制御部３６により行われるようにしてもよい。そして、このような表示制御部３６の動作によれば、例えば、図３の時刻Ｔｃのタイミングまたは図８の時刻Ｔｆのタイミングにおいて、図１５に示すような、表示領域Ｄ１の合成画像ＧＲ１に含まれる病変候補領域Ｌ１の位置が強調された表示用画像を表示画面４１Ａに表示させることができる。図１５は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　または、例えば、記録部３６ｂに記録された病変候補情報ＩＬに基づいてマーカ画像Ｇ２を生成し、当該生成したマーカ画像Ｇ２をビデオプロセッサ３１から順次出力される観察画像Ｇ１に付加して表示領域Ｄ１に表示させるための処理が表示制御部３６により行われるようにしてもよい。そして、このような表示制御部３６の動作によれば、例えば、図３の時刻Ｔｃのタイミングまたは図８の時刻Ｔｆのタイミングにおいて、図１６に示すような表示用画像を表示装置４１の表示画面４１Ａに表示させることができる。図１６は、実施例に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。

　本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (20)

1. 　被写体を撮像して得られた複数の観察画像が順次入力されるとともに、当該複数の観察画像の各々に対して注目領域を検出するための処理を行う注目領域検出部と、
   　前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの期間において、前記複数の観察画像を１つ以上の記録画像として記録する記録部と、
   　前記注目領域検出部による前記注目領域の検出が開始されてから所定時間が経過した第１のタイミング、または、前記注目領域検出部による前記注目領域の検出が途絶した第２のタイミングのいずれかにおいて、前記複数の観察画像を表示装置の表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行う表示制御部と、
   　を有することを特徴とする画像処理装置。
2. 　前記表示制御部は、前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの時間が前記所定時間未満である場合に、前記第１のタイミングにおいて、前記複数の観察画像を前記表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
3. 　前記表示制御部は、前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの時間が前記所定時間以上である場合に、前記第２のタイミングにおいて、前記複数の観察画像を前記表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
4. 　前記記録部は、前記期間において、前記注目領域検出部により検出された前記注目領域の位置を示す位置情報と、前記複数の記録画像と、を関連付けて記録し、
   　前記表示制御部は、前記第１のタイミングまたは前記第２のタイミングのいずれかにおいて、前記位置情報に基づき、前記表示画面に表示させる少なくとも１つの記録画像に含まれる前記注目領域の位置を強調するための強調処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
5. 　前記表示制御部は、前記複数の観察画像を前記表示画面の第１の表示領域に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面の第２の表示領域に表示させるための処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
6. 　前記第２の表示領域は、前記表示画面上において、前記第１の表示領域よりも小さなサイズを有する領域として設定される
   　ことを特徴とする請求項５に記載の画像処理装置。
7. 　前記表示制御部は、前記記録部による記録順とは逆の順番で前記記録部に記録された記録画像を前記表示画面に順次表示させるための処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
8. 　前記表示制御部は、前記記録部に記録された記録画像のうち、前記記録部により最後に記録された記録画像を前記表示画面に表示させるための処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
9. 　前記表示制御部は、前記記録部に記録された記録画像を所定間隔で間引きつつ前記表示画面に表示させるための処理を行う
   　ことを特徴とする請求項１に記載の画像処理装置。
10. 　前記記録部は、前記期間において、前記複数の観察画像を所定間隔で間引いて得られる各観察画像を記録画像として記録する
    　ことを特徴とする請求項１に記載の画像処理装置。
11. 　注目領域検出部が、被写体を撮像して得られた複数の観察画像の各々に対して注目領域を検出するための処理を行うステップと、
    　記録部が、前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの期間において、前記複数の観察画像を１つ以上の記録画像として記録するステップと、
    　表示制御部が、前記注目領域検出部による前記注目領域の検出が開始されてから所定時間が経過した第１のタイミング、または、前記注目領域検出部による前記注目領域の検出が途絶した第２のタイミングのいずれかにおいて、前記複数の観察画像を表示装置の表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行うステップと、
    　を有することを特徴とする画像処理方法。
12. 　前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの時間が前記所定時間未満である場合に、前記表示制御部が、前記第１のタイミングにおいて、前記複数の観察画像を前記表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
13. 　前記注目領域検出部による前記注目領域の検出が開始されてから途絶するまでの時間が前記所定時間以上である場合に、前記表示制御部が、前記第２のタイミングにおいて、前記複数の観察画像を前記表示画面に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面に表示させるための処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
14. 　前記記録部が、前記期間において、前記注目領域検出部により検出された前記注目領域の位置を示す位置情報と、前記複数の記録画像と、を関連付けて記録し、
    　前記表示制御部が、前記第１のタイミングまたは前記第２のタイミングのいずれかにおいて、前記位置情報に基づき、前記表示画面に表示させる少なくとも１つの記録画像に含まれる前記注目領域の位置を強調するための強調処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
15. 　前記表示制御部が、前記複数の観察画像を前記表示画面の第１の表示領域に順次表示させつつ、前記記録部に記録された記録画像のうちの少なくとも１つの記録画像を前記表示画面の第２の表示領域に表示させるための処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
16. 　前記第２の表示領域は、前記表示画面上において、前記第１の表示領域よりも小さなサイズを有する領域として設定される
    　ことを特徴とする請求項１５に記載の画像処理方法。
17. 　前記表示制御部が、前記記録部による記録順とは逆の順番で前記記録部に記録された記録画像を前記表示画面に順次表示させるための処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
18. 　前記表示制御部が、前記記録部に記録された記録画像のうち、前記記録部により最後に記録された記録画像を前記表示画面に表示させるための処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
19. 　前記表示制御部が、前記記録部に記録された記録画像を所定間隔で間引きつつ前記表示画面に表示させるための処理を行う
    　ことを特徴とする請求項１１に記載の画像処理方法。
20. 　前記記録部が、前記期間において、前記複数の観察画像を所定間隔で間引いて得られる各観察画像を記録画像として記録する
    　ことを特徴とする請求項１１に記載の画像処理方法。

Images