JP5663283B2 - 内視鏡画像処理装置及びプログラム - Google Patents

Description

本発明は、内視鏡画像処理装置及びプログラム等に関する。

近年、細長な挿入部を体腔内に挿入し、挿入部の先端部に設けられた固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡画像処理装置が広く用いられている。

また、最近の内視鏡画像処理装置においては、高画質化、固体撮像素子（ＣＣＤ等）の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察（ズーミング）機能を有する拡大内視鏡の登場と普及によって、粘膜表面の極めて微細な毛細血管や胃・大腸の腺口形態（pit pattern）の観察が可能となってきている。そのため、μｍレベルの極めて微細な構造に対する所見が得られ、病変種別やがんの深達度診断などに応用されてきている。具体的には、大腸のpit patternの観察や、食道の粘膜内微細血管所見であるＩＰＣＬ（上皮乳頭内血管）が知られている。

一方、これらの内視鏡画像処理装置を用いた最終的な診断は、医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡画像処理装置の実現が望まれていた。例えば、特許文献１に記載の内視鏡画像処理装置では、画像内における粘膜微細構造成分の相互関係に基づいた配列特徴量を用いて、客観的な診断支援を行っている。

特開２００６―１４１７３４号公報

しかし、特許文献１においては、診断支援が粘膜微細構造の配列評価に留まっており、評価結果を受けてどのように処置を行うかは、多分に医師の主観および経験に基づいている。

また、拡大観察の結果医師が処置を行うと決定した場合、拡大観察画像における処置の範囲を、拡大観察時の記憶に基づき、実際に処置を行う通常観察画像と対応付ける必要があり、処置の正確さや処置に必要な時間は医師の能力に多分に影響される。

本発明の幾つかの態様によれば、画像処理による内視鏡画像の評価結果に基づき効率的な処置が可能となる、内視鏡画像処理装置及びプログラム等を提供できる。

また、本発明の幾つかの態様によれば、拡大観察画像における注目領域の境界を、実際に処置を行う画像である通常観察画像に対応付けることが可能な内視鏡画像処理装置及びプログラム等を提供できる。

本発明の一態様は、被写体の像を含む画像を通常観察画像として取得し、前記通常観察画像内の一部である観察領域内の被写体像を拡大した画像を拡大観察画像として取得する画像取得部と、前記拡大観察画像上において、注目すべき領域である注目領域を特定する注目領域特定部と、前記拡大観察画像内の画素値に基づいて、特定された前記拡大観察画像上の注目領域の境界に対応する前記通常観察画像上の境界の位置を検出し、検出した前記通常観察画像上の境界の位置に、前記注目領域の境界であることを示す境界画像を設定する境界設定部と、を含む内視鏡画像処理装置に関係する。

本発明の一態様では、拡大観察画像と通常観察画像を取得し、拡大観察画像から注目領域を特定した上で、拡大観察画像での注目領域の境界に対応する通常観察画像上での境界の位置に境界画像を設定する。よって、拡大観察画像で得られた情報を、通常観察画像に対応付けること等が可能になる。

本発明の他の態様は、被写体の像を含む画像を通常観察画像として取得し、前記通常観察画像内の一部である観察領域内の被写体像を拡大した画像を拡大観察画像として取得する画像取得部と、前記拡大観察画像上において、注目すべき領域である注目領域を特定する注目領域特定部と、前記拡大観察画像内の画素値に基づいて、特定された前記拡大観察画像上の注目領域の境界に対応する前記通常観察画像上の境界の位置を検出し、検出した前記通常観察画像上の境界の位置に、前記注目領域の境界であることを示す境界画像を設定する境界設定部として、コンピュータを機能させるプログラムに関係する。

本実施形態のシステム構成例。 通常観察画像と拡大観察画像の時系列的な取得例を説明する図。 注目領域特定部の構成例。 拡大観察時注目領域検出部の構成例。 画像分割部によるブロック分割の例。 境界設定部の構成例。 図７（Ａ）〜図７（Ｃ）は通常観察時注目領域の境界上に制御点を設定し、注目領域境界候補を求める手法の説明図。 図８（Ａ）〜図８（Ｄ）は通常観察画像上の境界画像を拡大観察の結果に基づいて更新する例を説明する図。 観察方向設定部の構成例。 観察候補領域の設定例。 拡大観察の済んでいない観察候補領域を説明する図。 観察優先度と観察方向情報の例。 通常観察画像と拡大観察画像の対応付けを説明する図。 観察領域位置の情報のデータ構造の例。 第１のタイミングと第２のタイミングの間に拡大観察画像が取得されない場合の、境界の移動手法を説明する図。 第１のタイミングと第２のタイミングの間に拡大観察画像が取得される場合の、境界の移動手法を説明する図。 注目領域特定部の他の構成例 拡大観察時における、ユーザによる注目領域及び非注目領域の入力例。 図１９（Ａ）、図１９（Ｂ）は通常観察時における、ユーザによる注目領域の入力例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法

まず、本実施形態の手法について説明する。本実施形態における内視鏡画像処理装置は、後述するように、光学系の拡大率を変更可能な拡大機能を有する対物レンズ２３０を含む。よって、通常の倍率による観察モードである通常観察モードと、通常観察に比べて高倍率による観察モードである拡大観察モードの２つのモードによる観察が可能となっている。

通常観察モードでは通常観察画像を取得し、拡大観察モードでは拡大観察画像を取得する。ユーザ（ドクター）は、通常観察画像を用いて、広い範囲の大まかな観察や病変部のサーチ等を行い、気になる領域を見つけたら拡大観察モードに変更し、拡大観察画像を用いて被写体を詳細に観察する。そして、拡大観察画像において取得した被写体の詳細な情報を用いて、通常観察モードにおいて実際に処置（病変部の切除等）を行う。

しかし、従来の内視鏡画像処理装置では、拡大観察画像において取得した情報と通常観察画像との間の対応付けはユーザ自身が行うしかなかった。つまり、例えば、拡大観察画像において、病変部と正常部との境界を見つけたとしても、実際に処置（境界に対応した領域の切除等）を行う通常観察画像において、見つけた境界がどこに位置するのかという判断はユーザにゆだねられていた。そのため、ユーザは拡大観察画像において取得した情報を記憶した上で、通常観察画像との対応付けを自身で行い処置する必要があり、内視鏡画像処理装置によって提示される情報を適切に活用するには熟練を要するという課題があった。

そこで本出願人は、拡大観察画像において取得した病変部の境界情報を、通常観察画像にも反映させてユーザに提示することで、通常観察画像と拡大観察画像との対応付けをスムーズに行うことが可能な内視鏡画像処理装置を提案する。

具体的な手法を、図２に示すように、時刻ｔｘからｔｘ＋ｋの間で通常観察画像を取得し、その後、時刻ｔｙからｔｙ＋ｍの間で拡大観察画像を取得し、その後、時刻ｔｚからｔｚ＋ｎの間で再度通常観察画像を取得する例を用いて説明する。対応付けの処理は、拡大観察が行われている間の更新処理と、通常観察が行われている間の移動処理とに分けられる。

１．１ 更新処理
まず、時刻ｔｘからｔｘ＋ｋまでの間は、拡大観察画像が取得されていないため、対応付け等の処理は行われない（ここでは、時刻ｔｘから観察が開始されたものとしている）。そして、時刻ｔｙにおいて、拡大観察がスタートすると、ｔｙからｔｙ＋ｍの間に取得した情報をｔｘ＋ｋの通常観察画像に反映させる。ここで、拡大観察結果を反映させる通常観察画像（参照通常観察画像）はｔｘ＋ｋの通常観察画像に限定されるものではないが、拡大観察を行っている領域は直前の通常観察の領域に含まれる可能性が高いことを鑑みれば、ｔｙの直前であるｔｘ＋ｋの通常観察画像を用いることが望ましい。

拡大観察画像の情報を通常観察画像に反映させる手法は、具体的には後述する図８（Ａ）〜図８（Ｄ）のような更新処理となる。前提として通常観察画像ｘ＋ｋにおいて注目領域の検出を行い、注目領域と非注目領域の境界の候補となる注目領域境界候補を設定しておく（もちろん精度は拡大観察に比べて低い）。そして、設定した注目領域境界候補を図８（Ａ）〜図８（Ｄ）のように更新することで境界を決定していく。具体的には、拡大観察画像により、注目領域境界候補の内部に非注目領域が存在すると判明した場合には、図８（Ｂ）のように注目領域境界候補で囲まれる図形の面積を小さくする更新処理を行う。また、拡大観察画像により、注目領域境界候補の外部に注目領域が存在すると判明した場合には、図８（Ｄ）のように注目領域境界候補で囲まれる図形の面積を大きくする更新処理を行う。

１．２ 移動処理
拡大観察が終了し、再度通常観察に戻った時刻ｔｚにおいては、拡大観察における情報が反映された画像である参照通常観察画像（ｘ＋ｋ）の情報に基づき、境界を設定する。具体的にはｔｘ＋ｋとｔｚとの間での動き情報（被写体と内視鏡装置の撮像部が相対的にどれだけ動いたかを表す情報）に基づいて、通常観察画像ｘ＋ｋにおける境界を移動させることで、通常観察画像ｚにおける境界とする。実際には例えば、後述する図１６に示すように、拡大観察画像ｙに対応するｘ＋ｋの位置と、拡大観察画像ｙ＋ｍに対応するｘ＋ｋの位置との間の距離分だけ、境界を移動させることで、ｚにおける境界の位置を求めればよい。

また、通常観察が継続される時刻ｔｚ＋１〜ｔｚ＋ｎの間では、通常観察画像間での動き情報に基づいて、境界を移動させる。例えば、時刻ｔｚ＋１での通常観察画像ｚ＋１における境界は、通常観察画像ｚと通常観察画像ｚ＋１との間の動き情報を求め、求めた動き情報に基づいてｚの境界を移動させることで設定すればよい。

以降の処理についても同様である。時刻ｚ＋ｎの後に拡大観察が開始されたら、通常観察画像ｚ＋ｎを参照通常観察画像として上述の更新処理を行えばよいし、さらにその後、通常観察に戻った場合には、上述の移動処理を行えばよい。

以下、注目領域の検出をシステムが自動的に行う例を第１の実施形態で説明し、注目領域をユーザの入力により決定する例を第２の実施形態で説明する。

２．第１の実施形態

本発明の第１の実施形態に係る内視鏡画像処理装置について、図１を参照して説明する。本実施形態に係る内視鏡画像処理装置は、光源部１００と、挿入部２００と、信号処理部３００と、出力部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光源１１０と、回転フィルタ１２０と、集光レンズ１３０を備えている。白色光源１１０は白色光を発する。回転フィルタ１２０は、該白色光源１１０が発した白色光の光路上に配置されており、特定波長を透過する。より具体的には、一般的な３原色光Ｒ，Ｇ，Ｂを透過させる通常光フィルタと、狭帯域光Ｇ２，Ｂ２を透過させる特殊光フィルタとを備えており、図示しない回転フィルタ切替機構により各々のフィルタを切り替えることができる。集光レンズ１３０は、該回転フィルタ１２０で透過された光を後述するライトガイドファイバ２１０に集光する。

挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、対物レンズ２３０と、撮像素子２４０を備えている。ライトガイドファイバ２１０は、光源部１００で集光された光を挿入部２００の先端まで導く。照明レンズ２２０は、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する。対物レンズ２３０は、観察対象から戻る反射光を撮像素子２４０に集光する。また、対物レンズ２３０は光学系の拡大率を変更可能な拡大機能を有しており、ユーザは外部Ｉ／Ｆ部５００を操作することにより任意のタイミングで該拡大率を変更できる。より具体的には、外部Ｉ／Ｆ部５００の操作により後述する制御部３５０が制御信号を生成し、該対物レンズ２３０は該制御信号に基づき該拡大率を変更する。撮像素子２４０は、検出した反射光に基づくアナログ信号を後述するＡ／Ｄ変換部３１０に出力する。

信号処理部３００は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、注目領域特定部３３０と、境界設定部３４０と、制御部３５０を備えている。画像取得部３２０は、注目領域特定部３３０と、境界設定部３４０と、出力部４００に接続されている。注目領域特定部３３０は、境界設定部３４０に接続されている。境界設定部３４０は出力部４００に接続されている。制御部３５０は、白色光源１１０と、回転フィルタ１２０と、Ａ／Ｄ変換部３１０と、画像取得部３２０と、注目領域特定部３３０と、境界設定部３４０と、出力部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを相互に制御する。

Ａ／Ｄ変換部３１０は、撮像素子２４０から出力されるアナログ信号をデジタル信号に変換し、画像取得部３２０に出力する。

画像取得部３２０は、制御部３５０より出力される制御信号に基づき通常光観察か特殊光観察かを識別し、Ａ／Ｄ変換部３１０から出力されるデジタル信号に対して既存の補間処理やホワイトバランス、色変換、階調変換等の画像処理を各々の観察方法に応じて行い、通常光画像若しくは特殊光画像を生成する。さらに、前記制御信号に基づき、生成した画像が拡大観察中に取得された拡大観察画像か、通常観察中に取得された通常観察画像かを識別する。即ち、画像取得部３２０が取得する画像は、該画像が取得された観察状態に応じて、通常光画像若しくは特殊光画像、および拡大観察画像若しくは通常観察画像、という２つの属性を備えている。

図２は、時系列に従い連続的に拡大観察画像および通常観察画像が前記画像取得部３２０により取得されたことを示している。ここでは、観察が開始された時間ｔｘから時間ｔｘ＋ｋまでは通常観察画像ｘから通常観察画像ｘ＋ｋが取得され、時間ｔｙから時間ｔｙ＋ｍまでは拡大観察画像ｙから拡大観察画像ｙ＋ｍが取得される。また、時間ｔｚから時間ｔｚ＋ｎまでは通常観察画像ｚから通常観察画像ｚ＋ｎが、前記画像取得部３２０により取得されており、この場合について本実施例における各構成要件の働きを以下に説明する。注目領域特定部３３０は、時間ｔｙに前記制御部３５０が生成する制御信号に基づき拡大観察の開始を検出すると、通常観察画像ｘ＋ｋの画素値に基づき通常観察画像ｘ＋ｋより注目領域を検出する。続いて、拡大観察画像ｙから拡大観察画像ｙ＋ｍまでのそれぞれの拡大観察画像の画素値に基づき、拡大観察画像毎に注目領域を検出する。境界設定部３４０は、前記制御信号に基づき拡大観察の実行を検出している間、通常観察画像ｘ＋ｋより検出された注目領域および拡大観察画像ｙから拡大観察画像ｙ＋ｍより検出された注目領域に基づき通常観察画像ｘ＋ｋ上に境界画像を設定する。続いて、時間ｔｚにおいて注目領域特定部３３０は、前記制御信号に基づき拡大観察の終了を検出し停止する。境界設定部３４０は、前記制御信号に基づき拡大観察の終了を検出すると、拡大率、拡大観察画像ｙと拡大観察画像ｙ＋ｍとの移動量および通常観察画像ｘ＋ｋ上に設定された前記注目領域および前記境界画像に基づき、通常観察画像ｚ上に前記注目領域および前記境界画像を設定する。

続いて、時間ｔｚ＋１において境界設定部３４０は、通常観察画像ｚと通常観察画像ｚ＋１との移動量および通常観察画像ｚ上に設定された前記注目領域および前記境界画像に基づき、通常観察画像ｚ＋１上に前記注目領域および前記境界画像を設定する。以降、境界設定部３４０は、前記制御信号に基づき通常観察の実行を検出している間、同様に通常観察画像上に前記注目領域および前記境界画像を設定する。これ以降の観察で拡大観察が行われた場合、拡大観察が開始される直前の通常観察画像上に設定された前記注目領域および前記境界画像および拡大観察により設定された注目領域に基づき、拡大観察後に取得された通常観察画像上に注目領域および境界画像を設定する。

注目領域特定部３３０の具体的な構成について説明する。図３は第１の実施形態における注目領域特定部３３０の構成の一例を説明するブロック図である。図に示すように、注目領域特定部３３０は、観察方法判定部３３１と、拡大観察時注目領域検出部３３２と、通常観察時注目領域検出部３３３を備えている。画像取得部３２０にて取得された拡大観察画像は、拡大観察時注目領域検出部３３２に出力される。画像取得部３２０にて取得された通常観察画像は、観察方法判定部３３１と、通常観察時注目領域検出部３３３に出力される。制御部３５０にて生成される制御信号は、観察方法判定部３３１と、拡大観察時注目領域検出部３３２と、通常観察時注目領域検出部３３３に出力され、これらを制御する。観察方法判定部３３１は、拡大観察時注目領域検出部３３２と、通常観察時注目領域検出部３３３に接続されている。拡大観察時注目領域検出部３３２は、境界設定部３４０に接続されている。通常観察時注目領域検出部３３３は、境界設定部３４０に接続されている。

観察方法判定部３３１は、前記制御信号に基づき、通常光観察および特殊光観察のいずれの観察方法かを判定する。該観察方法が通常光観察である場合、前記通常観察画像の色調により、色素法若しくは染色法といった薬剤を使用した観察方法か否かをさらに判定する。より具体的には、前記通常観察画像の彩度が一定以上で、色相が−１０°（３５０°）〜２０°の範囲にある画素数をα、色相が２０°〜３５０°の範囲にある画素数をβとして、α＞２．０×βなら非染色観察、α＜２．０×βなら色素法若しくは染色法による観察と判定する。画素数βに対応する色相の範囲は、観察に使用する薬剤に応じた値であっても構わない。

拡大観察時注目領域検出部３３２の具体的な構成について説明する。図４は第１の実施形態における拡大観察時注目領域検出部３３２の構成の一例を説明するブロック図である。図に示すように、拡大観察時注目領域検出部３３２は、画像分割部３３２１と、特徴量算出部３３２２と、基準値取得部３３２３と、特徴量比較部３３２４を備えている。画像取得部３２０にて取得された拡大観察画像は、画像分割部３３２１に出力される。観察方法判定部３３１にて判定された観察方法は、特徴量算出部３３２２と、基準値取得部３３２３に出力される。制御部３５０にて生成される制御信号は、画像分割部３３２１と、特徴量算出部３３２２と、基準値取得部３３２３と、特徴量比較部３３２４に出力され、これらを制御する。画像分割部３３２１は、特徴量算出部３３２２に接続されている。特徴量算出部３３２２は、特徴量比較部３３２４に接続されている。基準値取得部３３２３は、特徴量比較部３３２４に接続されている。特徴量比較部３３２４は、境界設定部３４０に接続されている。

画像分割部３３２１は、前記拡大観察画像を複数のブロック画像に分割する。例えば、サイズがＭ×Ｎである前記拡大観察画像を、図５に示す水平方向に４[個]、垂直方向に４[個]のブロック画像（サイズ（Ｍ／４）×（Ｎ／４））に分割する。このように前記拡大観察画像を分割し、後述する特徴量をブロック画像毎に算出することで、注目領域と非注目領域との境界を精度良く設定できる。

特徴量算出部３３２２は、前記画像分割部３３２１にて分割されたブロック画像毎に、前記観察方法判定部３３１にて判定した観察方法に対応した特徴量を算出する。例えば、前記観察方法が特殊光観察であった場合、拡大観察において癌の深達度診断に有用とされるＩＰＣＬの形態に基づいた特徴量を算出する。また、前記観察方法が通常観察であった場合、特許文献１に記載されているpit patternに基づいた特徴量を算出する。ここで、前記観察方法が非染色観察か色素法若しくは染色法による観察かに応じて、特許文献１の［００２１］に記載されている二値化処理において、異なる閾値を用いる。

基準値取得部３３２３は、癌の様々な深達度における代表的な前記特徴量を前記観察方法毎に基準値として記録保存しており、観察方法に対応した基準値を取得する。ここでは、既知の病変画像の中で顕著に前記深達度が判定できる病変画像より、予め前記観察方法に応じた前記特徴量を算出し基準値とする。そして、前記観察方法判定部３３１にて判定された前記観察方法に応じて、該基準値を取得する。

特徴量比較部３３２４は、前記ブロック画像ごとに、前記特徴量および前記基準値を比較し拡大観察時注目領域かどうかの判定を行う。具体的には、前記特徴量および前記基準値との差分を算出し、該差分が所定の閾値以上のブロック画像を拡大観察時注目領域として判定する。該拡大観察時注目領域は、境界設定部３４０に出力される。

通常観察時注目領域検出部３３３は、観察方法判定部３３１により判定された前記観察方法に対応した方法より前記通常観察画像の画素値に基づき前記注目領域を検出し、該注目領域を通常観察時注目領域として前記通常観察画像に対し設定する。具体的には、前記観察方法が特殊光観察であると判定された場合、例えば、全ての画素の色相が５°〜３５°の範囲にあり、かつ面積が一定以上である領域を該通常観察時注目領域として設定する。これは、前述のＩＰＣＬが特殊光による通常観察では、brown spotと呼ばれる褐色の領域となるためである。前記観察方法が通常光観察であると判定された場合、ユーザが該通常観察時注目領域を設定しても構わない。また、ユーザが該通常観察時注目領域を設定しない場合、例えば前記通常観察画像上に画素値のＲチャンネルが閾値以上かつ画像の中央に最も近い領域を、該通常観察時注目領域として設定する。また、本実施例では通常観察時注目領域検出部３３３は、前記通常観察画像に対し常に該通常観察時注目領域を設定するが、前記制御信号に基づき通常観察の終了を検出した時刻に出力された通常観察画像に対してのみ、該通常観察時注目領域を設定しても構わない。また、前記境界画像が設定されていない通常観察画像に対してのみ、該通常観察時注目領域を設定しても構わない。

境界設定部３４０の具体的な構成について説明する。図６は第１の実施形態における境界設定部３４０の構成の一例を説明するブロック図である。図６に示すように、境界設定部３４０は、観察領域位置検出部３４１と、拡大観察結果保存部３４２と、境界候補設定部３４３と、動き情報算出部３４４と、拡大観察結果移動部３４５と、境界更新部３４６と、境界移動部３４７と、観察方向設定部３４８を備えている。

画像取得部３２０にて取得された拡大観察画像は、観察領域位置検出部３４１に出力される。画像取得部３２０にて取得された通常観察画像は、観察領域位置検出部３４１と、動き情報算出部３４４に出力される。注目領域特定部３３０にて検出された拡大観察時注目領域は、拡大観察結果保存部３４２に出力される。注目領域特定部３３０にて検出された通常観察時注目領域は、境界候補設定部３４３に出力される。制御部３５０にて生成される制御信号は、観察領域位置検出部３４１と、拡大観察結果保存部３４２と、境界候補設定部３４３と、動き情報算出部３４４と、拡大観察結果移動部３４５と、境界更新部３４６と、境界移動部３４７と、観察方向設定部３４８に出力され、これらを制御する。観察領域位置検出部３４１は、拡大観察結果保存部３４２と、観察方向設定部３４８に接続されている。拡大観察結果保存部３４２は、動き情報算出部３４４と、拡大観察結果移動部３４５と、境界更新部３４６と、観察方向設定部３４８に接続されている。境界候補設定部３４３は、境界更新部３４６に接続されている。動き情報算出部３４４は、拡大観察結果移動部３４５と、境界移動部３４７に接続されている。拡大観察結果移動部３４５は、境界更新部３４６に接続されている。境界更新部３４６は、境界移動部３４７と、観察方向設定部３４８に接続されている。境界移動部３４７は、境界候補設定部３４３と、出力部４００に接続されている。観察方向設定部３４８は、出力部４００に接続されている。

観察領域位置検出部３４１は、前記制御信号に基づき拡大観察の開始を検出すると、直前の時刻に取得された前記通常観察画像を参照通常観察画像として保持し、前記制御信号に基づき拡大観察の終了を検出するまでに取得された全ての前記拡大観察画像が、該参照通常観察画像のどの位置を各々拡大しているのか検出する。具体的には、該参照通常観察画像と、拡大率に応じて解像度を低下させた前記拡大観察画像とを公知の方法により画像マッチングし、前記拡大観察画像の中心と対応する該参照通常観察画像上の座標を、観察領域位置として検出する。ここで、前記拡大観察画像の直前に取得された画像も拡大観察画像であった場合（各々図２の拡大観察画像ｙおよび時刻ｔｙ＋１に取得された拡大観察画像ｙ＋１に対応）、拡大観察画像ｙにおいて検出された観察領域位置と前述の方法により解像度を低下させた拡大観察画像ｙ＋１の中心とを合わせて画像マッチングを開始し、該参照通常観察画像における拡大観察画像ｙ＋１の観察領域位置を検出する。一方、前記拡大観察画像の直前に取得された画像が通常観察画像であった場合（各々図２の通常観察画像ｘ＋ｋおよび拡大観察画像ｙに対応）、該参照通常観察画像の中心と前述の方法により解像度を低下させた拡大観察画像ｙの中心とを合わせて画像マッチングを開始し、該参照通常観察画像における拡大観察画像ｙの観察領域位置を検出する。観察領域位置検出部３４１は、拡大観察の開始を検出すると該参照通常観察画像を拡大観察結果保存部３４２に出力する。また、拡大観察の終了を検出するまで検出した該観察領域位置を拡大観察結果保存部３４２に出力する。また、拡大観察開始時に検出された該観察領域位置および拡大観察終了時に検出された該観察領域位置を、それぞれ拡大開始位置および拡大終了位置として、拡大観察結果保存部３４２に出力する。

拡大観察結果保存部３４２は、前記観察領域位置検出部３４１にて出力された、前記参照通常観察画像上でどの領域が拡大観察されたか、及び、拡大観察の結果どの領域が前記注目領域かに関する情報を保存する。具体的には、各々の前記観察領域位置を中心に前記拡大観察画像における前記拡大観察時注目領域を拡大率Ｚで縮小した領域を注目領域、各々の前記観察領域位置を中心にした（Ｍ／Ｚ）×（Ｎ／Ｚ）の領域を拡大観察完了領域とし、さらにこれらを拡大観察結果として保存する。但し、画像のサイズはＭ×Ｎであるとする。また、前記観察領域位置検出部３４１にて出力された前記拡大開始位置を前記拡大終了位置が出力されるまで保存し、前記拡大終了位置が出力されると前記拡大開始位置と共に動き情報算出部３４４に出力する。

境界候補設定部３４３は、後述する境界移動部３４７により前記通常観察画像上に前記境界画像が移動されている場合（つまり、既に拡大観察の結果を反映した境界が設定されている場合）には、前記境界画像を境界画像候補として設定する。そうでない場合、前記通常観察時注目領域の輪郭を境界画像候補として設定する。より具体的には、図７（Ａ）に示すように、まず前記通常観察時注目領域の輪郭線を検出する。次に、輪郭線を構成する画素数Ｎｃに応じて制御点の個数Ｎｐを決定する。ここでは、Ｎｐ＝Ｎｃ／１０とする。次に、図７（Ｂ）に示すように、輪郭線を構成する画素から等間隔にＮｐ個の画素を抽出し制御点とする。そして、図７（Ｃ）に示すように、制御点間を線分で結んだＮｐ角形の領域を境界画像候補として設定する。

動き情報算出部３４４は、２つの前記通常観察画像の移動量を算出する。まず、図２に前述した通常観察画像ｘ＋ｋおよび通常観察画像ｚを例に、２つの前記通常観察画像が取得された時刻の間に拡大観察のみが行われた場合について説明する。この場合、前記拡大観察結果保存部３４２より拡大開始位置として出力される、図２に前述した拡大観察画像ｙより前記観察領域位置検出部３４１にて検出された観察領域位置Ｐｙと、前記拡大観察結果保存部３４２より拡大終了位置として出力される、図２に前述した拡大観察画像ｙ＋ｍより前記観察領域位置検出部３４１にて検出された観察領域位置Ｐｙ＋ｍとの差分を移動量とする。次に、図２に前述した通常観察画像ｚおよび時刻ｔｚ＋１に取得された通常観察画像ｚ＋１を例に、２つの前記通常観察画像が取得された時刻の間に通常観察のみが行われた場合について説明する。移動量は、通常観察画像ｚおよび通常観察画像ｚ＋１に基づき、公知の方法例えば画像マッチングにより算出する。次に、移動量を算出する２つの通常観察画像が取得された時刻の間に、拡大観察および通常観察が双方ともに行われた場合について説明する。この場合、移動量を算出する２つの前記通常観察画像の間に取得された画像を、拡大観察画像のみ、通常観察画像のみの区間に分解し、前述の場合に応じて算出した各々の区間における移動量を総和する。

拡大観察結果移動部３４５は、通常観察中に、前記移動量に基づき前記拡大観察結果を移動させる。具体的には、前記拡大観察結果として保存されている前記拡大観察完了領域および前記注目領域を前記移動量に基づき移動させる。このようにすることで、拡大観察の後に通常観察し、再度拡大観察を行う際以前に行われた拡大観察の結果を利用することができる。

境界更新部３４６は、拡大観察中に、まず前記拡大観察結果保存部３４２にて保存された前記拡大観察結果、および前記拡大観察結果移動部３４５より出力される前記拡大観察結果、および前記境界候補設定部３４３にて設定された前記境界画像候補に基づき、境界画像を設定する。具体的には、前記境界画像候補を構成する制御点の近傍が前記注目領域か否かにより前記境界画像候補を更新する。更新の具体的な方法について説明する。前述のように境界画像候補は、Ｎｐ個の制御点で表されている。ここで、各々の制御点を２次元ベクトルｐｉとする。ただし、ｐｉ−１とｐｉ、ｐｉとｐｉ＋１は隣接した制御点であり、ｉ＝０〜Ｎｐ−１でｐ０＝ｐＮｐであるとする。また、制御点の添え字ｉは前記境界画像の輪郭に対し、時計回りに増えるように割り当てるとする。今、制御点ｐｉをｐｉ’に以下の式により更新する。

αは制御点の更新の大きさおよび方向を示す係数である。αの絶対値が大きければ、制御点を大きく更新することを意味する。また、α＞０であれば前記境界画像内部の面積が増大する方向に、α＜０であれば前記境界画像内部の面積が減少する方向に制御点を更新する。ここでは、α＝±１０とする。また、1つでも制御点が更新されれば、全ての隣接する制御点間の距離が等間隔となるよう、全ての制御点を更新する。

続いて、前記境界画像候補若しくは前記境界画像を更新する場合分けについて説明する。図８（Ａ）に示すように、前記境界画像候補に内接する前記観察領域位置が前記拡大観察時注目領域でない場合、前記境界画像候補の内部面積が減少するようα＝−１０とし、図８（Ｂ）に示すように前記観察領域位置近傍の前記境界画像候補を更新し、前記境界画像とする。一方、図８（Ｃ）に示すように、前記境界画像候補に外接する前記観察領域位置が前記拡大観察時注目領域であった場合、前記境界画像候補の内部面積が増大するようα＝＋１０とし、図８（Ｄ）に示すように前記観察領域位置近傍の前記境界画像候補を更新し、前記境界画像とする。続いて、該境界画像を同様に前記拡大観察結果に基づき更新する。

境界移動部３４７は、通常観察中に前記動き情報算出部３４４にて算出された前記移動量に基づき、前記境界更新部３４６にて更新された前記境界画像を移動する。具体的には、前記境界画像を構成する制御点座標を前記移動量に基づき移動させる。このようにすることで、通常観察において内視鏡が移動しても、拡大観察によって設定された前記境界画像を追跡することができる。そして、内視鏡の移動により全ての前記制御点座標が前記通常観察画像外に移動し、全ての前記制御点座標が所定の距離以上前記通常観察画像から離れると、境界移動部３４７は前記境界画像を消去する。

観察方向設定部３４８は、前記制御信号に基づき拡大観察の開始を検出すると起動し、拡大観察が行われている間、次に観察すべき方向に関する情報を設定し出力部４００に出力する。観察方向設定部３４８の具体的な構成について説明する。図９は第１の実施形態における観察方向設定部３４８の構成の一例を説明するブロック図である。図９に示すように、観察方向設定部３４８は、観察候補領域設定部３４８１と、観察優先度設定部３４８２と、観察領域選択部３４８３と、観察方向情報出力部３４８４を備えている。

前記境界更新部３４６にて更新された前記境界画像は、観察候補領域設定部３４８１に出力される。前記拡大観察結果保存部３４２に保存された前記拡大観察結果は、観察優先度設定部３４８２に出力される。前記観察領域位置検出部３４１にて検出された前記観察領域位置は、観察領域選択部３４８３と、観察方向情報出力部３４８４に出力される。制御部３５０にて生成される制御信号は、観察候補領域設定部３４８１と、観察優先度設定部３４８２と、観察領域選択部３４８３と、観察方向情報出力部３４８４に出力され、これらを制御する。観察候補領域設定部３４８１は、観察優先度設定部３４８２と、観察領域選択部３４８３に接続されている。観察優先度設定部３４８２は、観察領域選択部３４８３に接続されている。観察領域選択部３４８３は、観察方向情報出力部３４８４に接続されている。観察方向情報出力部３４８４は、出力部４００に接続されている。

観察候補領域設定部３４８１は、前記境界画像上に観察すべき領域の候補を観察候補領域として設定する。より具体的には、前記境界画像上に一定間隔で観察候補領域を設定する。例えば、図１０に示すように、前記境界画像を構成する制御点を観察候補領域の中心とする。この観察候補領域のサイズを縦ＬＭ、横ＬＮとすると、これらは前記ブロック画像のサイズＭ，Ｎおよび前記拡大率Ｚより以下の式で決定する。

ＬＭ＝Ｍ／Ｚ ・・・・・（２）
ＬＮ＝Ｎ／Ｚ ・・・・・（３）

また、ここでは観察候補領域の形状を矩形としているが、円や楕円等の形状をとっても構わない。

観察優先度設定部３４８２は、前記境界画像および前記拡大観察結果に基づき前記観察候補領域に対し観察すべき優先度を設定する。より具体的には、前記観察候補領域のそれぞれに対し拡大観察が行われたか否かを、前記拡大観察結果に保存されている前記拡大観察完了領域に基づき判定し、拡大観察が行われていない観察候補領域に対して前記観察優先度を設定する。拡大観察が既に行われたと判定した観察候補領域は更なる拡大観察は必要ないため前記観察優先度は設定しない。例えば、図１１に示すように、前記観察候補領域でその面積のうち３０％未満しか前記拡大観察完了領域に含まれていない前記観察候補領域は、拡大観察が行われていないと判定し、前記観察優先度を設定する。拡大観察が行われていない観察候補領域が複数（Ｎ個）ある場合、前記拡大観察完了領域からそれぞれの観察候補領域までの最小距離を第１の観察優先度判別指標とし、第１の該観察優先度判別指標が大きい観察候補領域から順に第１の観察優先度を１，２，３…Ｎと設定する。前記第１の観察優先度は、値が小さければ小さいほど優先して観察するべき観察候補領域であることを示している。第１の観察優先度判別指標が等しい観察候補領域が複数存在する場合、隣接する観察候補領域における前記第１の観察優先度判別指標をさらに加えて比較し、より観察優先度判別指標の大きい前記観察候補領域の前記第１の観察優先度を上位に設定する。

観察領域選択部３４８３は、拡大観察中に次に観察すべき前記観察候補領域を選択する。より具体的には、前記第１の観察優先度が高く、現在拡大観察を行っている前記観察領域位置から近い前記観察候補領域を選択する。例えば、前記観察候補領域がＮ個存在し、前記第１の観察優先度が１〜Ｎまで割り当てられている場合、前記観察候補領域に対し前記観察領域位置から各々の観察候補領域中心までの距離が小さい前記観察候補領域から順に第２の観察優先度を１〜Ｎまで割り当て、前記第１の観察優先度および前記第２の観察優先度の和が最も小さい前記観察候補領域を選択する。例えば、第１の観察優先度をｘｉ（ｘｉ＝１〜Ｎ，ｉ：観察候補領域を識別する添え字、ｉ＝１〜Ｎ）、第２の観察優先度をｙｉ（ｙｉ＝１〜Ｎ，ｉ：観察候補領域を識別する添え字、ｉ＝１〜Ｎ）とすると、各々の観察候補領域ごとにｘｉ＋ｙｉを算出し、この値が最小となる観察候補領域を選択する。

観察方向情報出力部３４８４は、図１２に示すように、前記観察領域選択部３４８３にて選択された前記観察候補領域の位置および現在拡大観察を行っている前記観察領域位置に基づき次に観察すべき方向に関する方向情報を出力する。具体的には、選択された観察候補領域の位置、および現在拡大観察を行っている前記観察領域位置をそれぞれ２次元ベクトルｓ、ｔとすると、観察すべき方向ｄは以下の式であらわされる。

例えば、方向情報として方向ｄに対応した矢印を出力部４００にて出力する。また、矢印の大きさを、選択された観察候補領域の位置と現在拡大観察を行っている前記観察領域位置との距離｜ｓ−ｔ｜と対応させても構わない。また、該距離に応じて矢印の色の濃度を変化させても構わない。例えば、該距離が一定以上であれば最も濃い濃度で矢印を表示し、該選択された観察候補領域に近づくにつれ色を薄くしていき、該選択された観察候補領域が拡大観察されれば矢印の表示を終了する。続いて次の観察候補領域が前記観察領域選択部３４８３により選択されれば、そちらへの方向情報を示す矢印を表示する。そして、拡大観察すべき観察候補領域がなくなれば、その旨を出力部４００に出力する。

制御部３５０は、白色光源１１０と、回転フィルタ１２０と、Ａ／Ｄ変換部３１０と、画像取得部３２０と、注目領域特定部３３０と、境界設定部３４０と、出力部４００と、外部I／F部５００とに接続されており、これらを制御する制御信号を出力する。

出力部４００は、前記画像取得部３２０にて取得された前記通常観察画像若しくは前記拡大観察画像を出力する。例えば、出力部４００は、内視鏡モニタ等の画像表示装置である。そして、前記制御信号に基づき通常観察を検出すると、前記境界設定部３４０にて設定された前記境界画像を前記通常観察画像上に表示する。例えば、前記境界画像の輪郭を前記通常観察画像上に表示する。また、前記通常観察画像の内部領域を半透明なマスクとして、前記通常観察画像上に表示しても構わない。また、前記制御信号に基づき拡大観察を検出すると、前記境界設定部３４０にて設定された前記方向情報を前記内視鏡モニタ上に表示する。また、拡大観察すべき観察候補領域がなくなった旨が、前記境界設定部３４０より出力された場合、該内視鏡モニタ上にその旨を例えば文字情報で表示する。

外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。

以上の本実施形態では、内視鏡画像処理装置は、図１に示したように、通常観察画像と拡大観察画像を取得する画像取得部３２０と、拡大観察画像上において注目領域を特定する注目領域特定部３３０と、拡大観察画像の画素値に基づいて、拡大観察画像上で特定された注目領域の境界に対応する、通常観察画像上の境界の位置を検出し、検出した境界の位置に境界画像を設定する境界設定部３４０と、を含む。

ここで、通常観察画像とは、通常の観察倍率での観察において取得される画像のことであり、拡大観察画像とは、通常の観察倍率に比べて高倍率での観察において取得される画像のことである。具体的には、拡大観察画像とは通常観察画像内の一部である観察領域内の被写体像を拡大した画像である。また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザがドクターであり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、ドクターが観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また、境界画像とは、注目領域の境界であることを示す画像のことである。本実施形態においては、境界画像を通常観察画像上に設定することで、ユーザに対して境界の位置を明確に提示する。ただし、境界の提示手法は境界画像の設定に限定されるものではない。

これにより、通常観察画像及び拡大観察画像を取得可能な内視鏡画像処理装置において、拡大観察画像から注目領域を特定し、特定した注目領域の境界を通常観察画像上に境界画像として設定することが可能になる。よって、拡大観察画像により取得した情報（例えば注目領域の境界位置の情報等）を自動的に通常観察画像に反映させることが可能になる。そのため、拡大観察画像と通常観察画像との対応付けをユーザ自身で行う必要がなくなるため、ユーザの負担を軽減し、スムーズな診断・処置を行うことが可能になる。拡大観察画像は被写体の詳細な観察（例えば注目領域を精度よく特定すること等）に用いられ、通常観察画像は実際の処置（病変部の切除等）に用いられる。そのため、ユーザは、拡大観察と通常観察を適宜切り替えつつ診断・処置を行う必要があることを鑑みれば、通常観察画像と拡大観察画像との対応付けの負担を軽減することは、システムを使用する上でユーザの負担を大きく軽減することにつながる。

また、境界設定部３４０は、拡大観察画像の画素値と、通常観察画像の画素値とに基づいて、通常観察画像上の境界の位置を検出してもよい。

これにより、拡大観察画像の画素値だけでなく、通常観察画像の画素値も用いて、通常観察画像における境界の位置を検出することが可能となるため、精度の向上等をはかることができる。

また、境界設定部３４０は、図６に示したように、拡大観察画像の画素値と通常観察画像の画素値に基づいて、通常観察画像上の領域である観察領域の位置を検出する観察領域位置検出部３４１を含む。そして、境界設定部３４０は、拡大観察画像の画素値と、観察領域の画素値に基づいて、観察領域において境界の位置を検出してもよい。観察領域位置検出部３４１は、具体的には例えば、拡大観察画像の画素値と通常観察画像の画素値に基づいてマッチング処理を行うことで、観察領域の位置を検出してもよい。

ここで、観察領域とは、拡大観察画像で観察している領域に対応する通常観察画像上の領域である。

これにより、拡大観察画像で観察している領域が、通常観察画像上でどの位置にあるのか、という対応付けを行うことが可能になる。通常観察画像の画素値と拡大観察画像の画素値から、図１３のような対応付けがされたとすれば、通常観察画像上に網掛けで示した領域が観察領域となる。観察領域の位置の情報としては、例えば図１４に示したように、観察領域の基準点の座標（例えば通常観察画像の左上を原点とする図１３のような座標系における座標）と観察領域の大きさを保持しておけばよい。基準点としては例えば、観察領域の中央の点や、左上の点等が考えられる。また、大きさの変わりに拡大観察における倍率の情報を保持しておいてもよい。通常観察が１倍、拡大観察がＺ倍の倍率であり、通常観察画像が（Ｍ，Ｎ）の大きさであるとすれば、観察領域の大きさは（Ｍ／Ｚ，Ｎ／Ｚ）である（ここでは通常観察画像と拡大観察画像の縦横比は同一であるものとする）。

ここで、通常観察画像と拡大観察画像との対応付けは、例えばマッチング処理によって行えばよい。具体的には例えば、上述したように拡大観察の倍率Ｚから観察領域の大きさはわかるため、拡大観察画像を１／Ｚに縮小した画像と、通常観察画像との間でブロックマッチング等のマッチング処理を行えばよい。

また、境界設定部３４０は、図６に示したように、通常観察画像において検出された境界の動きを示す動き情報を算出する動き情報算出部３４４と、算出された動き情報に基づいて境界画像を移動させる境界移動部３４７とを含んでもよい。

これにより、撮像部と被写体との相対的な移動等により生じる境界の動きに対応する、動き情報を算出した上で、動き情報にあわせて境界（境界画像）を移動させることができる。そのため、観察対象となる被写体が画像内で移動したとしても、移動に追随させて境界を移動させることができるため、適切な位置に境界を表示することが可能になる。

また、画像取得部３２０は、第１のタイミングで第１の通常観察画像を取得し、第２のタイミングで第２の通常観察画像を取得する。そして、境界設定部３４０は、第１の通常観察画像上の境界の位置を検出し境界画像を設定する。動き情報算出部３４４は、設定した境界画像の、第１のタイミングと第２のタイミングとの間での移動量を表す動き情報を算出する。その上で、境界移動部３４７は、算出された動き情報に基づいて、第２の通常観察画像における境界の位置を求め、求めた位置に境界画像を設定する。

これにより、図１５に示したように、第１のタイミングと第２のタイミングで通常観察画像を取得した際には、第１のタイミングと第２のタイミングの間での境界の移動量に対応する動き情報を算出する。そして、算出した動き情報に基づいて第１のタイミングでの境界を移動させることで、第２のタイミングでも境界の位置を特定することが可能になる。よって、異なる２つのタイミングで通常観察画像が取得された場合にも、１つのタイミングでの境界画像と動き情報とから、他方のタイミングでの境界の位置を特定することができる。

また、動き情報算出部３４４は、第１の通常観察画像と第２の通常観察画像に基づいて動き情報を算出してもよい。具体的には、第１の通常観察画像と第２の通常観察画像の間の動きベクトルに基づいて動き情報を算出してもよい。

これにより、第１の通常観察画像と第２の通常観察画像との間の動き情報を、第１の通常観察画像と第２の通常観察画像に基づいて算出することが可能になる。具体的には例えば、第１のタイミングと第２のタイミングの間に、拡大観察画像が取得されないケース等に適用が可能である。さらに具体的には例えば、第１のタイミングと第２のタイミングとが隣接するタイミングであるケース等に適用が可能である（もちろん隣接するタイミングに限定されない）。

また、画像取得部３２０は、第１のタイミングと第２のタイミングとの間において、拡大観察画像を連続して取得してもよい。そして、動き情報算出部３４４は、拡大観察画像内の基準点に対応する第１の通常観察画像上の対応基準点の動きに基づいて、動き情報を算出してもよい。具体的には例えば、拡大観察画像のうち、最初に取得された拡大観察画像の基準点に対応する対応基準点の位置と、拡大観察画像のうち、最後に取得された拡大観察画像の基準点に対応する対応基準点の位置とに基づいて、動き情報を算出してもよい。

これにより、図１６に示すような処理が可能になる。図１６においては、基準点は拡大観察画像の中央の点としているが、これに限定されるものではない。対応基準点とは、図１６に示すＡ１やＡ２のことである。最初の拡大観察画像に対応する対応基準点Ａ１と、最後の拡大観察画像に対応する対応基準点Ａ２とから、動き情報を算出することが可能になる。図１６の例でいえば、Ａ１からＡ２へ、撮像部が右下に移動したことがわかるから、境界は対応する動き量分だけ左上に移動することになる。よって、通常観察画像の間に拡大観察画像が取得されるようなケースであっても、通常観察画像間における動き情報を適切に求めることが可能になる。図１６の例では第１の通常観察画像と第２の通常観察画像との間は、時間的に間隔が大きいため、直接２つの通常観察画像から動き量を求めたのでは精度の面で問題が残る。しかし、通常観察画像と拡大観察画像との間では動き量を求めることは難しいため、隣接するタイミングの間で動き量を算出し足しあわせるようなこともできない。そのようなケースでも、最初と最後の拡大観察画像を用いて動き量を求めることで問題を解決することができる。

また、境界設定部３４０は、図６に示したように、拡大観察画像における注目領域の情報に基づいて、通常観察画像における境界画像の設定位置を更新する境界更新部３４６を含む。

これにより、通常観察画像上に設定された境界画像を、拡大観察画像の情報を用いて更新することが可能になるため、拡大観察画像と通常観察画像の境界の対応付けができることになる。

また、境界更新部３４６は、第１の判定処理を行い、注目領域特定部３３０は第２の判定処理を行う。そして、境界更新部３４６は、第１の判定処理と第２の判定処理に基づいて、拡大観察画像において観察している領域に対応する通常観察画像上の領域である観察領域での、境界画像の設定位置を更新してもよい。

ここで、第１の判定処理とは、観察領域が、通常観察画像上に設定された境界画像に近接しているか否かを判定する処理である。また、第２の判定処理とは、観察領域が注目領域であるか否かを判定する処理である。具体的には、注目領域特定部３３０は、観察領域に対応する拡大観察画像内の画素値に基づいて、観察領域が注目領域であるか否かを判定してもよい。

第１の判定処理と第２の判定処理に基づく境界画像の更新は、具体的には例えば以下のような処理であってもよい。第１の判定処理により、観察領域と境界画像が近接していると判定され、かつ、第２の判定処理により、観察領域が注目領域であると判定された場合には、図８（Ｄ）に示したように、境界画像によって囲まれて形成される図形の面積が大きくなるように境界画像の設定位置を更新する。また、第１の判定処理により、観察領域と境界画像が近接していると判定され、かつ、第２の判定処理により、観察領域が非注目領域であると判定された場合には、図８（Ｂ）に示したように、境界画像によって囲まれて形成される図形の面積が小さくなるように境界画像の設定位置を更新する。

これにより、通常観察画像において設定された境界画像に近接する（近くにあればよく、必ずしも接している必要はない）拡大観察画像の情報に基づいて、境界画像の設定位置を更新することが可能になる。よって、拡大観察による詳細な被写体の情報を適切に通常観察画像に反映することが可能になり、ユーザ（ドクター）の診断・処置行為をスムーズにすることができる。

また、境界更新部３４６は、通常観察画像上に設定された境界画像上の点を制御点として選択し、観察領域と制御点とが近接しているか否かを第１の判定処理として判定する。そして、注目領域特定部３３０は、観察領域が注目領域であるか否かを第２の判定処理として判定する。境界更新部３４６は、第１の判定処理及び第２の判定処理に基づいて、観察領域に対して隣接する制御点の位置を更新することで、境界画像の設定位置を更新してもよい。

これにより、図８（Ａ）〜図８（Ｄ）に示したように、境界画像の設定位置を更新することが可能になる。図８において、×で示した点が制御点に相当する。制御点は図７（Ｂ）に示したように、注目領域境界上に等間隔になるように設定される点である。ただし、制御点の間隔は等間隔に限定されるものではない。このように、連続的な境界ではなく、離散的な制御点の更新により境界画像の更新を行うようにすることで、計算量を削減することができ、処理を簡単にすることが可能になる。

また、内視鏡画像処理装置は、図９に示したように、通常観察画像上において、観察領域の候補となる領域である観察候補領域を複数設定する観察候補領域設定部３４８１と、設定された観察候補領域ごとに、拡大観察の優先度を示す観察優先度を設定する観察優先度設定部３４８２と、設定された観察優先度に基づいて、次に観察すべき観察領域を選択する観察領域選択部３４８３とを含んでもよい。

ここで、観察候補領域は、例えば図１０のように設定される。図１０の例では制御点に対応した位置に観察候補領域が設定されるものとしたが、これに限定されるものではない。

これにより、観察領域（拡大観察により観察されている領域に対応する通常観察画像上の領域）の候補となる観察候補領域を設定した上で、観察優先度を設定し、次に観察すべき領域を選択することが可能になる。よって、観察優先度を適切に設定することで、選択された領域を観察していけば、注目領域全体を効率的に観察すること等が可能になる。

また、観察優先度設定部３４８２は、拡大観察が完了した範囲を示す拡大観察完了領域から、観察候補領域までの距離情報に基づいて、第１の観察優先度を設定する。また、観察優先度設定部３４８２は、現時点での観察地点を表す観察領域から、観察候補領域までの距離情報に基づいて、第２の観察優先度を設定する。

これにより、図１２のように、現時点の観察領域、観察候補領域、拡大観察完了領域が設定されている場合に、図１２のＢ１のように拡大観察完了領域からの距離情報を第１の観察優先度とし、図１２のＢ２のように観察領域からの距離情報を第２の観察優先度とすることが可能になる。よって例えば、拡大観察完了領域からの距離情報が大きいほど、第１の観察優先度を高くし、観察領域からの距離情報が小さいほど、第２の観察優先度を高くするような設定をすることで、観察候補領域に占める拡大観察が済んでいない領域が大きく、かつ、現在の観察地点に近い領域を次に観察領域として選択することができる。つまり、拡大観察が不十分な領域で、かつ、現地点に近い領域を優先的に観察することが可能になるため、注目領域全体を効率的に観察すること等が可能になる。

また、内視鏡画像処理装置は、図１２に示したように、観察領域から、選択された観察候補領域への方向を示す方向情報を出力する観察方向情報出力部３４８４を含んでもよい。

これにより、現在の観察地点（観察領域）から、選択された観察候補領域への方向情報を、図１２のように例えば矢印等の方向情報として出力することが可能になる。よって、ユーザに対して次に観察すべき領域を明示的に提示することが可能になる。

また、注目領域特定部３３０は、拡大観察画像内の画素の画素値に基づいて、注目領域を特定する。具体的には、拡大観察画像内の画素の画素値と、注目領域の検出の基準となる基準値とに基づいて注目領域を特定してもよい。

これにより、注目領域を拡大観察画像内の画素の画素値に基づいて特定することができるため、システムにより自動的に注目領域を特定することが可能になる。

また、注目領域特定部３３０は、図３に示したように、拡大観察画像の観察方法を判定する観察方法判定部３３１を含む。そして、注目領域特定部３３０は、判定された観察方法に応じて、基準値を設定してもよい。

ここで、観察方法とは、例えば特殊光観察を含んでもよい。

これにより、観察方法に応じて適切に基準値を設定することが可能になり、注目領域の特定精度を高めることが可能になる。

また、注目領域特定部３３０は、図４に示したように、拡大観察画像内の画素の画素値に基づいて、基準値との比較の対象となる特徴量を算出する特徴量算出部３３２２を含んでもよい。そして、注目領域特定部３３０は、特徴量と基準値との比較結果に基づいて注目領域を特定する。

これにより、拡大観察画像内の画素の画素値に基づいて特徴量を算出することが可能になる。画素の画素値をそのまま用いるのではなく、注目領域である場合により特徴的な値を示す特徴量を用いるため、注目領域の特定精度を高めることが可能になる。

また、注目領域特定部３３０は、図４に示したように、拡大観察画像を複数のブロックに分割する画像分割部３３２１を含んでもよい。そして、特徴量算出部３３２２はブロックごとに特徴量を算出し、注目領域特定部３３０は、ブロックごとに特徴量と基準値とを比較することで注目領域を特定してもよい。

これにより、拡大観察画像を複数のブロックに分割した上で、ブロックごとに特徴量を算出し基準値と比較することになる。よって、ブロックごとに注目領域を特定することが可能になるため、注目領域特定の精度を高めることが可能になる。

また、本実施形態の手法は、通常観察画像と拡大観察画像を取得する画像取得部３２０と、拡大観察画像上において注目領域を特定する注目領域特定部３３０と、拡大観察画像の画素値に基づいて、拡大観察画像上で特定された注目領域の境界に対応する、通常観察画像上の境界の位置を検出し、検出した境界の位置に境界画像を設定する境界設定部３４０として、コンピュータを機能させるプログラムに関係する。

これにより、本実施形態は、撮像装置や内視鏡システムのように、画像を取得し、システム内で画像処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。

３．第２の実施形態

注目領域特定部３３０以外は第１の実施形態と同様である。第２の実施形態における注目領域特定部３３０の具体的な構成について説明する。図１７は、第２の実施形態における注目領域特定部３３０の構成の一例を説明するブロック図である。図のように、注目領域特定部３３０は、拡大観察時注目領域受付部３３４と、通常観察時注目領域受付部３３５を備えている

外部Ｉ／Ｆ部５００にてユーザに指定された前記拡大観察時注目領域は、拡大観察時指定注目領域として拡大観察時注目領域受付部３３４に出力される。外部Ｉ／Ｆ部５００にてユーザに指定された前記通常観察時注目領域は、通常観察時指定注目領域として通常観察時注目領域受付部３３５に出力される。拡大観察時注目領域受付部３３４は、境界設定部３４０に接続されている。通常観察時注目領域受付部３３５は、境界設定部３４０に接続されている。

拡大観察時注目領域受付部３３４は、ユーザが指定した前記拡大観察時注目領域を拡大観察時指定注目領域として受け付ける。例えば、外部Ｉ／Ｆ部５００は内視鏡モニタに具備されたタッチパネルを含んでおり、ユーザは拡大観察時に前記拡大観察時注目領域と思われる領域に対し、該タッチパネル上をタッチペンで触ることで前記拡大観察時注目領域を拡大観察時指定注目領域として入力することができる。また、ユーザが拡大観察時指定注目領域を入力する外部Ｉ／Ｆ部５００は、ユーザの視線を検出するアイトラッキング装置や、マウスであっても構わない。例えば、ユーザは拡大観察時指定注目領域の入力方法として、図１８のように注目領域を×、非注目領域を○、と入力すると拡大観察時注目領域が設定される。また、ユーザは注目領域と非注目領域の境界を入力することで、拡大観察時指定注目領域の入力を行っても構わない。

通常観察時注目領域受付部３３５は、ユーザが指定した前記通常観察時注目領域を通常観察時指定注目領域として受け付ける。例えば、外部Ｉ／Ｆ部５００は内視鏡モニタに具備されたタッチパネルを含んでおり、ユーザは通常観察時に前記通常観察時注目領域と思われる領域に対し、該タッチパネル上をタッチペンで触ることで前記通常観察時注目領域を通常観察時指定注目領域として入力することができる。また、ユーザが通常観察時指定注目領域を入力する外部Ｉ／Ｆ部５００は、ユーザの視線を検出するアイトラッキング装置や、マウスであっても構わない。例えば、ユーザは前記通常観察時指定注目領域を図１９（Ａ）のように入力する。入力された通常観察時指定注目領域が開曲線であった場合、通常観察時指定注目領域が閉曲線となるように補正を行う。具体的には、まず通常観察時指定注目領域を構成する開曲線上に一定間隔で制御点を設定する。但し、制御点には必ず開曲線の端点を含むように設定する。次に図１９（Ｂ）のように、開曲線の端点および端点に隣接する制御点からスプライン補間により制御点を補間し、閉曲線となった内部の領域を通常観察時注目領域とする。

以上の本実施形態では、注目領域特定部３３０は、注目領域を特定するための情報である注目領域特定情報の入力をユーザから受け付け、受け付けた注目領域特定情報に基づいて、注目領域を特定する。

これにより、システムが自動的に注目領域を検出する形態に限定されず、ユーザが手動で注目領域を特定することが可能になる。

以上、本発明を適用した２つの実施の形態１，２について説明したが、本発明は、各実施の形態１，２そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１，２に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１，２に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００ 光源部、１１０ 白色光源、１２０ 回転フィルタ、１３０ 集光レンズ、
２００ 挿入部、２１０ ライトガイドファイバ、２２０ 照明レンズ、
２３０ 対物レンズ、２４０ 撮像素子、３００ 信号処理部、３１０ Ａ／Ｄ変換部、
３２０ 画像取得部、３３０ 注目領域特定部、３３１ 観察方法判定部、
３３２ 拡大観察時注目領域検出部、３３３ 通常観察時注目領域検出部、
３３４ 拡大観察時注目領域受付部、３３５ 通常観察時注目領域受付部、
３４０ 境界設定部、３４１ 観察領域位置検出部、３４２ 拡大観察結果保存部、
３４３ 境界候補設定部、３４４ 動き情報算出部、３４５ 拡大観察結果移動部、
３４６ 境界更新部、３４７ 境界移動部、３４８ 観察方向設定部、３５０ 制御部、
４００ 出力部、５００ 外部Ｉ／Ｆ部、３３２１ 画像分割部、
３３２２ 特徴量算出部、３３２３ 基準値取得部、３３２４ 特徴量比較部、
３４８１ 観察候補領域設定部、３４８２ 観察優先度設定部、
３４８３ 観察領域選択部、３４８４ 観察方向情報出力部

Claims (28)

1. 被写体の像を含む画像を通常観察画像として取得し、前記通常観察画像内の一部である観察領域内の被写体像を拡大した画像を拡大観察画像として取得する画像取得部と、
   前記拡大観察画像上において、注目すべき領域である注目領域を特定する注目領域特定部と、
   前記拡大観察画像内の画素値に基づいて、特定された前記拡大観察画像上の注目領域の境界に対応する前記通常観察画像上の境界の位置を検出し、検出した前記通常観察画像上の境界の位置に、前記注目領域の境界であることを示す境界画像を設定する境界設定部と、
   を含むことを特徴とする内視鏡画像処理装置。
2. 請求項１において、
   前記境界設定部は、
   前記拡大観察画像内の画素値と前記通常観察画像内の画素値に基づいて、前記通常観察画像上の境界の位置を検出することを特徴とする内視鏡画像処理装置。
3. 請求項２において、
   前記境界設定部は、
   前記拡大観察画像内の画素値と前記通常観察画像内の画素値に基づいて、前記拡大観察画像で観察している領域に対応する前記通常観察画像上の領域である前記観察領域の位置を、前記通常観察画像上において検出する観察領域位置検出部を含み、
   前記境界設定部は、
   前記拡大観察画像内の画素値と前記観察領域内の画素値に基づいて、前記観察領域において、前記境界の位置を検出することを特徴とする内視鏡画像処理装置。
4. 請求項３において、
   前記観察領域位置検出部は、
   前記拡大画像内の画素値と前記通常観察画像内の画素値に基づいて、マッチング処理を行うことで、前記通常観察画像上において前記観察領域を検出することを特徴とする内視鏡画像処理装置。
5. 請求項１において、
   前記境界設定部は、
   前記通常観察画像上において検出された前記境界の動きを示す動き情報を算出する動き情報算出部と、
   算出された前記境界の前記動き情報に基づいて、前記境界の位置に設定された前記境界画像を移動させる境界移動部と、
   を含むことを特徴とする内視鏡画像処理装置。
6. 請求項５において、
   前記画像取得部は、
   第１のタイミングにおいて第１の通常観察画像を取得するとともに、第２のタイミングにおいて第２の通常観察画像を取得し、
   前記境界設定部は、
   前記第１の通常観察画像上の境界の位置を検出し、検出した前記境界の位置に前記境界画像を設定し、
   前記動き情報算出部は、
   前記第１の通常観察画像上で検出された前記境界の、前記第１のタイミングと前記第２のタイミングの間での移動量を表す情報である前記動き情報を算出し、
   前記境界移動部は、
   算出された前記動き情報に基づいて、前記第１の通常観察画像上において検出された前記境界の位置に対応する、前記第２の通常観察画像上における前記境界の位置を求め、求めた前記境界の位置に対して前記境界画像を設定することを特徴とする内視鏡画像処理装置。
7. 請求項６において、
   前記動き情報算出部は、
   前記第１の通常観察画像および前記第２の通常観察画像に基づいて、前記動き情報を算出することを特徴とする内視鏡画像処理装置。
8. 請求項７において、
   前記動き情報算出部は、
   前記第１の通常観察画像および前記第２の通常観察画像の間の動きベクトルに基づいて、前記動き情報を算出することを特徴とする内視鏡画像処理装置。
9. 請求項６において、
   前記画像取得部は、
   第１のタイミングと第２のタイミングとの間において、前記第１の通常観察画像内の一部である前記観察領域内の被写体像を拡大した画像に対応する拡大観察画像を連続して取得し、
   前記動き情報算出部は、
   前記拡大観察画像内の基準点に対応する前記第１の通常観察画像上の対応基準点の動きに基づいて、前記境界の動き情報を算出することを特徴とする内視鏡画像処理装置。
10. 請求項９において、
    前記動き情報算出部は、
    連続して取得された前記拡大観察画像のうち最初に取得された拡大観察画像内の基準点に対応する前記第１の通常観察画像上の対応基準点の位置と、最後に取得された拡大観察画像内の基準点に対応する前記第１の通常観察画像上の対応基準点の位置とに基づいて、前記境界の前記動き情報を算出することを特徴とする内視鏡画像処理装置。
11. 請求項１において、
    前記境界設定部は、
    前記拡大観察画像における前記注目領域の情報に基づいて、前記通常観察画像における前記境界画像の設定位置を更新する境界更新部を含むことを特徴とする内視鏡画像処理装置。
12. 請求項１１において、
    前記境界更新部は、
    前記拡大観察画像において観察している領域に対応する前記通常観察画像上の領域である前記観察領域が、前記通常観察画像上に設定された前記境界画像に近接しているか否かを第１の判定処理として判定し、
    前記注目領域特定部は、
    前記観察領域が注目領域であるか否かを第２の判定処理として判定し、
    前記境界更新部は、
    前記第１の判定処理の結果および前記第２の判定処理の結果に基づいて、前記観察領域において、前記境界画像の設定位置を更新することを特徴とする内視鏡画像処理装置。
13. 請求項１２において、
    前記注目領域特定部は、
    前記観察領域に対応する前記拡大観察画像内の画素値に基づいて、前記観察領域が注目領域であるか否かを判定することを特徴とする内視鏡画像処理装置。
14. 請求項１２において、
    前記境界更新部は、
    前記第１の判定処理により前記観察領域と前記境界画像とが近接していると判定され、かつ、前記第２の判定処理により前記観察領域が注目領域であると判定された場合には、設定された前記境界画像によって囲まれて形成される図形の面積が大きくなるように、前記境界画像の設定位置を更新することを特徴とする内視鏡画像処理装置。
15. 請求項１２において、
    前記境界更新部は、
    前記第１の判定処理により前記観察領域と前記境界画像とが近接していると判定され、かつ、前記第２の判定処理により前記観察領域が注目領域でないと判定された場合には、設定された前記境界画像によって囲まれて形成される図形の面積が小さくなるように、前記境界画像の設定位置を更新することを特徴とする内視鏡画像処理装置。
16. 請求項１２において、
    前記境界更新部は、
    前記通常観察画像上に設定された境界画像上の点を制御点として選択し、前記観察領域と前記制御点とが近接しているか否かを、前記第１の判定処理として判定し、
    前記注目領域特定部は、
    前記観察領域が注目領域であるか否かを、前記第２の判定処理として判定し、
    前記境界更新部は、
    前記第１の判定処理の結果および第２の判定処理の結果に基づいて、前記観察領域に対して隣接する制御点の位置を更新することで、境界画像の設定位置を更新することを特徴とする内視鏡画像処理装置。
17. 請求項１において、
    前記通常観察画像上において、前記観察領域の候補となる領域である観察候補領域を複数設定する観察候補領域設定部と、
    設定された前記観察候補領域ごとに、前記観察候補領域の拡大観察の優先度を示す観察優先度を設定する観察優先度設定部と、
    設定された前記観察優先度に基づいて、次に観察すべき観察領域を選択する観察領域選択部と、
    を含むことを特徴とする内視鏡画像処理装置。
18. 請求項１７において、
    前記観察優先度設定部は、
    前記通常観察画像上において拡大観察が完了した範囲を示す拡大観察完了領域から、設定された前記観察候補領域の位置までの距離情報を算出し、算出した前記距離情報に基づいて前記観察優先度として第１の観察優先度を設定することを特徴とする内視鏡画像処理装置。
19. 請求項１７において、
    前記観察優先度設定部は、
    前記通常観察画像上における現時点での観察地点を表す前記観察領域から、設定された前記観察候補領域の位置までの距離情報を算出し、算出した前記距離情報に基づいて前記観察優先度として第２の観察優先度を設定することを特徴とする内視鏡画像処理装置。
20. 請求項１７において、
    現時点での観察地点を表す前記観察領域から選択された前記観察候補領域への方向を示す方向情報を出力する観察方向情報出力部を含むことを特徴とする内視鏡画像処理装置。
21. 請求項１において、
    前記注目領域特定部は、
    前記拡大観察画像内の画素の画素値に基づいて、前記注目領域を特定することを特徴とする内視鏡画像処理装置。
22. 請求項２１において、
    前記注目領域特定部は、
    前記拡大観察画像内の画素の画素値と、前記注目領域の検出の基準となる基準値とに基づいて、前記注目領域を特定することを特徴とする内視鏡画像処理装置。
23. 請求項２２において、
    前記注目領域特定部は、
    前記拡大観察画像の観察方法を判定する観察方法判定部を含み、
    前記注目領域特定部は、
    判定された前記観察方法に応じて前記基準値を設定することを特徴とする内視鏡画像処理装置。
24. 請求項２３において、
    前記観察方法は、
    特殊光観察を含むことを特徴とする内視鏡画像処理装置。
25. 請求項２３において、
    前記注目領域特定部は、
    前記拡大観察画像内の画素の画素値に基づいて、前記基準値との比較の対象となる特徴量を算出する特徴量算出部を含み、
    前記注目領域特定部は、
    前記特徴量及び前記基準値との比較結果に基づき、前記注目領域を特定することを特徴とする内視鏡画像処理装置。
26. 請求項２５において、
    前記注目領域特定部は、
    前記拡大観察画像を複数のブロックに分割する画像分割部を含み、
    前記特徴量算出部は、
    分割された前記ブロック毎に前記特徴量を算出し、
    前記注目領域特定部は、
    前記ブロック毎に算出された特徴量と前記基準値とを前記ブロック毎に比較することによって、前記注目領域を特定することを特徴とする内視鏡画像処理装置。
27. 請求項１において、
    前記注目領域特定部は、
    前記注目領域を特定するための情報である注目領域特定情報の入力をユーザから受け付け、受け付けた前記注目領域特定情報に基づいて、前記注目領域を特定することを特徴とする内視鏡画像処理装置。
28. 被写体の像を含む画像を通常観察画像として取得し、前記通常観察画像内の一部である観察領域内の被写体像を拡大した画像を拡大観察画像として取得する画像取得部と、
    前記拡大観察画像上において、注目すべき領域である注目領域を特定する注目領域特定部と、
    前記拡大観察画像内の画素値に基づいて、特定された前記拡大観察画像上の注目領域の境界に対応する前記通常観察画像上の境界の位置を検出し、検出した前記通常観察画像上の境界の位置に、前記注目領域の境界であることを示す境界画像を設定する境界設定部として、
    コンピュータを機能させることを特徴とするプログラム。

Images