JP6600356B2 - 画像処理装置、内視鏡装置及びプログラム - Google Patents

Description

本発明は、画像処理装置、内視鏡装置及びプログラム等に関する。

従来、入力された画像から泡を検出すること、すなわち入力画像のうち、泡が撮像された領域である泡領域を抽出することに対する需要がある。特に、被験者（患者）の体内を撮像した画像である生体内画像では、粘膜領域と区別するために泡領域を抽出する需要がある。

例えば特許文献１には、画像から泡形状を構成する候補点を検出し、候補点に基づいて円形状を検出することで泡領域として抽出する手法が開示されている。

また、非特許文献１には、複雑なパラメータ設定を必要としない円弧曲線の検出手法が開示されている。

特開２０１２−１２５４６９号公報

Viorica Patraucean, Pierre Gurdjos, Rafael Grompone von Gioi "A Parameterless Line Segment and Elliptical Arc Detector with Enhanced Ellipse Fitting" Computer Vision - ECCV 2012 Lecture Notes in Computer Science 2012, pp 572-585

特許文献１では、円形状を検出するため、円形状を有する泡以外の構造を誤って泡領域として抽出する問題がある。また、非特許文献１は円弧曲線の検出を行うものであるため、当該円弧曲線が泡であるか泡以外の構造であるかという点を考慮するものではない。その他の従来手法についても、泡を構成する円弧曲線の内側と外側での画像の明るさ（輝度）に基づく処理を行う手法は開示されていない。

本発明の幾つかの態様によれば、入力画像から精度よく泡領域を抽出する画像処理装置、内視鏡装置、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、入力画像を取得する画像取得部と、前記入力画像から泡領域を抽出する処理を行う処理部と、を含み、前記処理部は、前記入力画像から円弧曲線を検出し、前記円弧曲線の内側から外側へ向かう方向での画素の輝度の変化を判定し、前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を、代表泡領域として検出し、前記代表泡領域に基づいて、前記入力画像から前記泡領域を抽出する画像処理装置に関係する。

本発明の一態様では、円弧曲線の内側と外側での輝度の変化に基づいて代表泡領域を検出し、当該代表泡領域に基づいて泡領域を抽出する。これにより、泡領域に特有の輝度変化に基づいて代表泡領域を検出できるため、泡領域の抽出精度を高くすること等が可能になる。

また、本発明の一態様では、前記処理部は、前記円弧曲線上での画素値の勾配方向と、前記円弧曲線の離心方向との一致度合いを判定し、前記一致度合いが高いと判定された場合に、前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定してもよい。

これにより、勾配方向と離心方向の一致度合いに基づいて、円弧曲線の内側と外側での輝度変化を判定することが可能になる。

また、本発明の一態様では、前記処理部は、前記勾配方向が類似すると判断される複数の画素を結合することで、前記円弧曲線を検出してもよい。

これにより、円弧曲線の検出段階で、各画素での勾配方向の類似度が高い円弧曲線を検出対象とすること等が可能になる。

また、本発明の一態様では、前記処理部は、前記円弧曲線に含まれる対象画素での前記勾配方向と、前記対象画素での前記離心方向との前記一致度合いを判定することで、前記円弧曲線の前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化しているか否かを判定してもよい。

これにより、対象画素における勾配方向と離心方向の一致度合いに基づいて、円弧曲線の内側と外側での輝度変化を判定することが可能になる。

また、本発明の一態様では、前記処理部は、前記代表泡領域を含む領域を、前記泡領域として抽出してもよい。

これにより、泡領域として代表泡領域を含む領域を抽出することが可能になる。

また、本発明の一態様では、前記処理部は、前記代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、前記入力画像の画素のうち、前記特徴量が前記泡領域特徴量に類似すると判断される画素の集合を、前記泡領域として抽出してもよい。

これにより、代表泡領域から求められる泡領域特徴量と、各画素の特徴量の類似度から泡領域を抽出することが可能になる。

また、本発明の一態様では、前記処理部は、前記泡領域特徴量に基づいて、グラフカット処理により前記入力画像を領域分割することで、前記代表泡領域を含む領域を前記泡領域として抽出してもよい。

これにより、グラフカット処理により泡領域を抽出することが可能になる。

また、本発明の一態様では、前記処理部は、前記代表泡領域を表すノードと、前記入力画像の画素を表すノードを接続するリンクに対するコストとして、前記入力画像の画素の前記特徴量と前記泡領域特徴量との類似度に基づく値を設定し、前記コストに基づいて、前記グラフカット処理を実行してもよい。

これにより、泡領域特徴量と各画素の特徴量との類似度に基づいて、グラフカット処理で用いるコスト（エネルギー）を設定することが可能になる。

また、本発明の一態様では、前記処理部は、前記入力画像の画素のうち、前記泡領域特徴量との前記特徴量の類似度が所与の閾値以上である画素の集合を、前記泡領域として抽出してもよい。

これにより、泡領域特徴量と各画素の特徴量との類似度を用いた閾値判定に基づいて、泡領域を抽出することが可能になる。

また、本発明の一態様では、前記処理部は、画素値および座標に基づいて、前記特徴量を算出し、前記泡領域特徴量は、前記代表泡領域に含まれる画素の前記特徴量の分布を近似した関数であってもよい。

これにより、特徴量として画素の画素値と座標を用いること、及び、泡領域特徴量として特徴量の分布の近似関数を用いることが可能になる。

また、本発明の一態様では、前記処理部は、前記円弧曲線の中心角が所与の閾値以上である前記円弧曲線によって構成される領域を、前記代表泡領域として検出してもよい。

これにより、円弧曲線の中心角に基づいて代表泡領域を検出することが可能になる。

また、本発明の一態様では、前記処理部は、前記円弧曲線の半径が所与の範囲内である前記円弧曲線によって構成される領域を、前記代表泡領域として検出してもよい。

これにより、円弧曲線の半径に基づいて代表泡領域を検出することが可能になる。

また、本発明の一態様では、前記入力画像は生体内画像であり、前記処理部は、前記生体内画像のうち、抽出された前記泡領域を除いた領域から、注目領域を検出する処理を行ってもよい。

これにより、泡領域の抽出結果を注目領域の検出処理に利用すること等が可能になる。

また、本発明の他の態様は、入力画像を取得する画像取得部と、前記入力画像から泡領域を抽出する処理を行う処理部と、を含み、前記処理部は、前記入力画像から円弧曲線を検出し、前記円弧曲線のうちの少なくとも一部の円弧曲線によって構成される領域を代表泡領域として検出し、前記代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、前記泡領域特徴量に基づいて、グラフカット処理により前記入力画像を領域分割することで、前記入力画像から前記泡領域を抽出する画像処理装置に関係する。

本発明の他の態様では、円弧曲線から代表泡領域を検出し、代表泡領域から求めた泡領域特徴量を用いたグラフカット処理により泡領域を抽出する。これにより、グラフカット処理に基づいて、泡領域を抽出することが可能になる。

また、本発明の他の態様は、上記の画像処理装置を含む内視鏡装置に関係する。

また、本発明の他の態様は、入力画像を取得する画像取得部と、前記入力画像から泡領域を抽出する処理を行う処理部として、コンピュータを機能させ、前記処理部は、前記入力画像から円弧曲線を検出し、前記円弧曲線の内側での画素の輝度が、前記円弧曲線の外側での画素の輝度に比べて暗いか否かを判定し、前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を代表泡領域として検出し、前記代表泡領域に基づいて、前記入力画像から前記泡領域を抽出するプログラムに関係する。

また、本発明の他の態様は、入力画像から円弧曲線を検出し、前記円弧曲線の内側での画素の輝度が、前記円弧曲線の外側での画素の輝度に比べて暗いか否かを判定し、前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を代表泡領域として検出し、前記代表泡領域に基づいて、前記入力画像から泡領域を抽出する画像処理方法に関係する。

図１（Ａ）は泡以外の構造に起因する円弧曲線の例、図１（Ｂ）は泡に起因する円弧曲線の例。 泡で鏡面反射が起こる場合の円弧曲線の例。 本実施形態に係る画像処理装置の構成例。 泡が複数密集した場合の円弧曲線の例。 本実施形態に係る画像処理装置の詳細な構成例。 図６（Ａ）は入力画像の例、図６（Ｂ）は円弧曲線検出処理結果の例、図６（Ｃ）は代表泡領域検出処理結果の例、図６（Ｄ）は泡領域抽出処理結果の例。 本実施形態に係る内視鏡装置の構成例。 本実施形態の処理を説明するフローチャート。 円弧曲線検出処理を説明するフローチャート。 所与の画素における勾配方向を求める手法の説明図。 図１１（Ａ）、図１１（Ｂ）は類似勾配方向領域の検出処理を説明する図。 類似勾配方向領域の結合処理を説明する図。 代表泡領域検出処理を説明するフローチャート。 中心角の小さい円弧曲線を破棄することの説明図。 グラフカット法を説明する模式図。 泡領域特徴量（分布）から類似度を求める手法の説明図。 泡領域抽出処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。上述したように、入力画像から泡領域を抽出することに対する要求がある。一例としては、泡領域を抽出し、当該泡領域を不要領域として利用してもよい。例えば、泡が存在することでその後ろにある被写体（撮像部から見て泡と同じ方向にあり、且つ泡よりも撮像部からの距離が遠い被写体）の、入力画像上での観察が阻害される場合がある。そのため、泡領域を抽出しておけば、入力画像上で観察すべき領域を泡領域以外に限定することができるため、観察者（画像の閲覧者）の負担を軽減することが可能である。或いは、被写体検出等を行う画像処理の対象領域から泡領域を除外することも可能であり、その場合には処理負荷の軽減という効果もある。

これに対して、特許文献１では、円形状を検出することで泡領域を抽出する手法が開示されている。しかし特許文献１での泡領域の抽出手法は円形状の検出処理に基づくものであるため、画像上で円形状となる構造があれば、当該構造が泡でなかったとしても検出対象となってしまう。例えば、図１（Ａ）の断面図に示したように、全体として平面形状であって、そのうちの一部に他の部分に対して突出した凸形状部分を有する被写体を正面から撮像したケースを考える。この場合、平面的な部分と凸形状部分との境界が画像上でエッジとして検出される可能性が高く、図１（Ａ）のように入力画像上では円弧曲線Ａ１が検出される。つまり、従来手法では泡でない構造を泡であると誤検出するおそれがある。

なお、特許文献１では輝度の高い鏡面反射領域を検出し、その近傍に泡に対応する円形状があると判定する手法についても開示している。しかし、例えば図１（Ａ）に示した撮像部側に凸となる構造の場合、当該凸部分には光が入射しやすく、且つ当該凸部分での反射光は撮像部に到達しやすいことになるため、明るく撮像される可能性が高い。つまり、泡以外の構造でも、円弧曲線の近傍、具体的には円弧曲線の内部Ａ２において輝度の高い（明るい）領域が現れる場合があり、高輝度部に基づく判定だけでは泡以外の構造を泡と誤検出する可能性を否定できない。

そこで本出願人は、図１（Ａ）に示した構造等を泡と誤検出する可能性を抑止する泡領域抽出手法を提案する。本出願人は、泡構造に起因する円弧曲線では、当該円弧曲線の内部は暗く（輝度が低く）、外部は明るい（輝度が高い）という特性があり、且つそのような輝度特性は泡以外の構成ではほとんど見られない点に着目した。なお、円弧曲線が閉じた図形とならない（真円や楕円の一部の弧である）場合もあるが、その場合には円弧曲線により規定される円形状の内部及び外部を、当該円弧曲線の内部、外部と考えればよい。

具体例を図１（Ｂ）に示す。泡の境界部分は膜による反射光の影響で明るく撮像されるため、この膜部分がある程度の厚みを有するものとすれば、入力画像上では膜の内側に対応する円弧曲線Ｂ１と、膜の外側に対応する円弧曲線Ｂ２が撮像される。ここで、円弧曲線Ｂ１の内側部分において仮に鏡面反射が生じないものとすれば、当該領域では膜での反射光が撮像部に到達しにくかったり、膜での光の屈折が生じることにより、円弧部分と比較した場合暗く撮像される（Ｂ３）。

なお、図２に示したように、鏡面反射が生じる部分では上述してきたように輝度が非常に高くなる（Ｃ１）。ただし、泡は表面張力により球面状になることから、円弧曲線の内部の全体で鏡面反射が起こることは想定しにくく、円弧曲線の内部領域の少なくとも一部は、図１（Ｂ）のＢ３と同様に暗い領域となることが期待される（図２のＣ２）。

つまり、図１（Ｂ）の入力画像のうちＢ１に示した円弧曲線、或いは図２の入力画像のうちＣ３に示した円弧曲線では、当該円弧曲線の内部から外部へ向かう方向ＤＲにおいて、画素の輝度は暗いものから明るいものへと変化する。そして、図１（Ａ）に示したように、泡以外で円形状に撮像される典型的な構造では、これとは逆の変化、すなわち円弧曲線の内部から外部へ向かう方向において、画素の輝度は明るいものから暗いものへと変化する。このように、検出対象である泡と、検出対象でない泡以外の構造とでは、円弧曲線の内外での輝度変化の傾向が異なるものになるため、この点に着目することで精度のよい泡検出を行うことが可能になる。

また、本出願人の調査したところによれば、泡以外の構造であって、内部から外部へ向かう方向において輝度が明るく変化する円弧曲線を有する構造はほとんどないということが確認されている。よって、上記輝度の変化に基づく判定を行えば、図１（Ａ）以外の構造（円弧曲線を有するが泡でない構造）についても、泡であると誤検出する可能性を抑止可能である。

具体的には、本実施形態に係る画像処理装置は、図３に示したように、入力画像を取得する画像取得部２００と、入力画像から泡領域を抽出する処理を行う処理部１００を含む。そして処理部１００は、入力画像から円弧曲線を検出し、円弧曲線の内側から外側へ向かう方向での画素の輝度の変化を判定し、内側から外側へ向かう方向において、輝度が明るくなる方向で変化していると判定された円弧曲線によって構成される領域を代表泡領域として検出し、代表泡領域に基づいて、入力画像から泡領域を抽出する。

ここで、本実施形態の円弧曲線とは、円又は楕円の少なくとも一部を表す曲線である。そのため、本実施形態に係る円弧曲線は、真円や楕円（中心角＝３６０°）であってもよいし、真円や楕円の輪郭の一部に対応する曲線（中心角＜３６０°）でもよい。また、円弧曲線は、真円や楕円の一部に完全に一致するものには限定されず、一部に凹凸や歪みを有するものであってもよい。なお、円弧曲線を真円、真円の一部、或いはそれらに類する形状に限定してもよい。楕円、楕円の一部、或いはそれらに類する形状を対象から除外することで、例えば計算負荷を軽減することが可能になる。

また、本実施形態の手法では代表泡領域を抽出する。撮像画像が後述する図６（Ａ）である場合、代表泡領域とは例えば図６（Ｃ）である。図２のＣ１に示したように、泡を表す円弧曲線の内部であっても、鏡面反射が起きている領域では輝度が非常に高くなる。そのため、図２のＣ４に示したように、泡の境界部分との輝度差がないことでそもそも円弧曲線が検出できない可能性があるし、仮に境界部分に円弧曲線が検出されたとしても、当該円弧曲線では、円弧曲線の内側から外側へ向かう方向において、輝度が暗くなる方向で変化することになる。つまり、Ｃ１に対応する領域は、泡領域ではあるものの代表泡領域としては検出されないことになるが、本実施形態ではこれを許容する。すなわち、本実施形態での代表泡領域とは、泡領域のうちの代表的な領域、入力画像のうち泡領域であることが確からしい領域であって、泡領域全体を代表泡領域として検出する必要はない。なお、図６（Ａ）の場合、最終的に抽出したい泡領域は図６（Ｄ）となるため、図６（Ｃ）から図６（Ｄ）を求める処理（狭義の泡領域抽出処理）が実行されることになる。泡領域抽出処理の詳細については後述する。

なお、泡の膜の厚みにより、泡は二重の円弧曲線（Ｂ１，Ｂ２）を有する形状として撮像されることになるが、本実施形態で検出対象となるのはそのうちの内側の円弧曲線（Ｂ１、図２の例ではＣ３）であり、外側の円弧曲線（Ｂ２）は検出対象外である。なぜなら、円弧曲線Ｂ２では、内側が膜に対応する高輝度領域であり、外側が泡以外の被写体であるため比較的低輝度になることで、円弧曲線の内側から外側へ向かう方向において、輝度が暗くなる方向で変化するためである。しかし、泡の検出においては、内側の円弧曲線が検出できれば十分であるため、この点は問題とならない。

また、図４に示したように、複数の泡が密集しているような場合、泡同士が結合することで外側の円弧曲線が観察しづらくなる場合がある。図４では、例えば左上の泡は、外側の円弧曲線のうちの右下部分が他の膜と結合してなくなっている。図４のような場合でも、外側の円弧曲線は上述したように検出対象外であるため問題はない。また本出願人の調査により内側の円弧曲線は密集状態でも観察できる可能性が高いことがわかっており、本実施形態の手法は泡の密集度合いによらない泡領域の抽出が可能である。

また、本実施形態に係る入力画像は、特に生体内画像であってもよい。この場合、処理部１００は、例えば生体内画像のうち、抽出された泡領域を除いた領域から、注目領域を検出する処理を行う。

生体の内部を撮像した生体内画像では、泡が撮像されることが多い。その場合、泡は病変部等の注目すべき被写体を遮蔽する可能性があるため、泡領域を注目領域の検出処理から除外することで、計算負荷を軽減し効率的に処理を行うことが可能である。ここでの注目領域とは、上述した注目すべき被写体が撮像された領域であり、具体的には病変領域である。また、泡領域を注目領域（病変領域）と誤検出するケースもあり、この場合には注目領域の検出処理から泡領域を除外することで、処理精度を高めることも可能になる。いずれにせよ、生体内画像では一般的な風景画像等に比べて泡領域を抽出することによる利点が大きく、本実施形態の手法を適用した場合の効果が大きい。

ただし、本実施形態における入力画像は、泡が含まれる可能性がある種々の画像を対象とすることが可能である。例えば、薬品等の液体や、産業用機械等、泡が発生（付着）した場合に影響が生じうる対象を撮像した画像を入力画像としてもよいし、泡の散布を目的とする状況（例えば消火用薬剤の散布）で散布環境を撮像した画像を入力画像としてもよい。

以下、本実施形態の手法について詳細に説明する。具体的には、まず画像処理装置等のシステム構成例を説明した後、処理の流れをフローチャート等を用いて説明する。

２．システム構成例
図５に本実施形態に係る画像処理装置のシステム構成例を示す。画像処理装置は、画像取得部２００と、処理部１００を含み、処理部１００は、円弧曲線検出部１１０と、代表泡領域検出部１２０と、泡領域特徴量算出部１３０と、泡領域抽出部１４０を含む。ただし、画像処理装置は図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

画像取得部２００は、入力画像を取得する。ここでの入力画像は、例えば図６（Ａ）であり、入力画像には泡が撮像されている可能性がある。

円弧曲線検出部１１０は、入力画像から円弧曲線を検出する。例えば非特許文献１の手法を用いればよく、その場合、円弧曲線検出部１１０で検出される円弧曲線は、当該円弧曲線上での勾配方向がある程度類似するものとなる。図６（Ａ）の入力画像に対する円弧曲線の検出結果の例が図６（Ｂ）である。なお、図６（Ｂ）は非特許文献１の手法を直接的に適用した例であるため、円弧曲線だけでなく線分についても検出されている。

代表泡領域検出部１２０は、検出した円弧曲線に基づいて泡領域である可能性が高い領域を代表泡領域として検出する。代表泡領域を検出する際には、図６（Ｂ）で検出された円弧曲線の中から、泡に起因する円弧曲線である可能性が高いものを選択する。具体的には、上述したように円弧曲線の内側から外側に向かう方向で、画素の輝度が明るくなる変化をしていることを条件に、円弧曲線を選択すればよい。さらに具体的には、円弧曲線上で画素値の勾配方向と離心方向との一致度合いを判定すればよく、詳細については後述する。ここで検出される代表泡領域は例えば図６（Ｃ）の白抜きで表現された領域である。

泡領域特徴量算出部１３０は、代表泡領域に含まれる画素の情報に基づいて、泡領域を表す特徴量である泡領域特徴量を求める。

泡領域抽出部１４０は、泡領域特徴量に基づいて、入力画像から泡領域を抽出する。本実施形態に係る画像処理装置で行われる処理全体を広義の泡領域抽出処理と定義するのであれば、泡領域抽出部１４０における処理は狭義の泡領域抽出処理となる。狭義の泡領域抽出処理とは、代表泡領域を拡張して泡領域を求める処理であり、図６（Ｃ）から図６（Ｄ）を求める処理に対応する。一例としてはグラフカット法を用いればよく、詳細については後述する。

また、本実施形態の手法は画像処理装置に適用されるものには限定されず、例えば内視鏡装置に適用してもよい。本実施形態に係る内視鏡装置（内視鏡システム）について、図７を用いて説明する。本実施形態における内視鏡装置は、体内への挿入部である硬性鏡１０と、硬性鏡１０に接続される撮像部２０と、処理装置３０と、表示部４０と、外部Ｉ／Ｆ部５０と、光源部６０を備えている。

光源部６０は、白色光を発生する白色光源６１と、白色光源６１からの出射光を硬性鏡に導光するライトガイドケーブル６２を備えている。

硬性鏡１０は対物レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系１１と、ライトガイドケーブル６２からの出射光を、硬性鏡先端まで導光するライトガイド部１２を備えている。

撮像部２０は、レンズ系１１からの出射光を結像する撮像レンズ系２４を備える。撮像レンズ系２４は、合焦物体位置を調整するフォーカスレンズ２２を含んで構成されている。撮像部２０はさらに、撮像レンズ系２４で結像された反射光を光電変換して画像を生成する撮像素子２５と、フォーカスレンズ２２を駆動するフォーカスレンズ駆動部２３と、オートフォーカス（以下、ＡＦ）の開始、終了を制御するＡＦ開始／終了ボタン２１を備えている。

撮像素子２５は例えば、ＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている原色ベイヤ型の撮像素子である。ここでは他にも、補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。フォーカスレンズ駆動部２３は、例えばボイスコイルモータ（ＶＣＭ）等の任意のアクチュエータである。

処理装置３０は、上述した画像処理装置に対応し、図３を用いて上述したように、画像取得部３１（画像取得部２００に対応）と、処理部３２（処理部１００に対応）を備えている。

画像取得部３１は、撮像部２０で撮像された撮像画像を入力画像として取得する。ここで取得される撮像画像は、狭義には時間的に連続した（時系列的な）画像である。画像取得部３１は、例えばＡ／Ｄ変換部であってもよく、Ａ／Ｄ変換部は、撮像素子２５から順次出力されるアナログ信号をデジタルの画像に変換する処理を行う。また、画像取得部３１（或いは不図示の前処理部）において撮像画像に対する前処理を行ってもよい。ここでの前処理とは、例えばホワイトバランス、補間処理（デモザイキング処理）等の画像処理である。

処理部３２については、図５と同様の構成であり、広義の泡領域抽出処理を行う。また、上述したように処理部３２は、生体内画像のうち、抽出された泡領域を除いた領域から、注目領域を検出する処理を行ってもよい。また、処理部３２ではＡＦ制御等の他の処理を行ってもよい。例えば、処理装置３０（制御装置、制御部）は外部Ｉ／Ｆ部５０や撮像素子２５、ＡＦ開始／終了ボタン２１、光源部６０と相互に接続されており、制御信号の入出力を行う。外部Ｉ／Ｆ部５０は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。

表示部４０は例えば液晶モニタであり、処理部３２から順次出力される画像を表示する。

なお、図７では腹腔鏡手術等に用いられる硬性鏡を例にとって説明したが、内視鏡装置の構成はこれに限定されず、上部内視鏡や下部内視鏡等の他の内視鏡装置であってもよい。また、内視鏡装置は図７の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、図７ではＡＦを行う内視鏡装置を想定したため、フォーカスレンズ２２等を含むものとしたが、本実施形態の内視鏡装置はＡＦを行わない構成でもよく、これらの構成要素は省略可能である。

３．処理の詳細
図８に本実施形態における処理を説明するフローチャートを示す。以下、フローチャートに沿って画像処理装置の各部で行われる処理を詳細に説明する。

なお、図８に示す処理の前に、画像取得部２００による入力画像の取得処理が行われているものとする。ここでの入力画像は、例えばＲＧＢ３チャンネル画像であり、以下ではＲＧＢ３チャンネル画像を例に説明を行う。ただし、入力画像としてＧｒａｙ１チャンネル画像や、他色空間で定義された画像を用いる変形実施も可能である。

円弧曲線検出部１１０は入力画像から円弧曲線を検出する（Ｓ１０１）。図９のフローチャートを用いて、円弧曲線検出処理の詳細な流れを説明する。円弧曲線検出処理が開始されると、まず類似勾配方向領域を検出する（Ｓ２０１）。ここでの勾配方向とは、画素値の勾配、変化を表す方向であり、例えば入力画像の各画素に対して定義可能な情報であり、図１０に示した手法により求めてもよい。

なお、入力画像がＲＧＢ３チャンネル画像である場合、各画素の画素値としてＲＧＢの３つの値が用いられる。この場合、例えばＲＧＢの３つの画素値に基づいて輝度値を求め、当該輝度値の勾配、変化を表す方向を画素値の勾配方向とすればよい。或いは、ＲＧＢ３チャンネル画像をＧｒａｙ１チャンネル画像に変換し、変換後の画像の画素値の勾配、変化を表す方向を画素値の勾配方向としてもよい。或いは、ＲＧＢのうちのいずれかの画素値を用いて勾配方向を求めてもよいし、ＲＧＢのうちの２つの画素値に基づいて合成画素値を求め、当該合成画素値を用いて勾配方向を求めてもよい。或いは、一般的な輝度値Ｙを求める合成比率とは異なる合成比率でＲＧＢの３つの画素値を合成し、その結果から勾配方向を求めてもよい。すなわち、本実施形態に係る画素値の勾配方向とは、広義には各画素の画素値に基づく画素値情報の勾配、変化を表す方向であり、画素値情報として上述した輝度値等の種々の情報を用いることが可能である。以下、輝度値を用いる例について説明する。

図１０に示すように処理対象画素に対して、まず縦方向の勾配と、横方向の勾配を求める。縦方向の勾配としては、例えば処理対象画素の１つ上の画素の輝度値と、１つ下の画素の輝度値の差分値を用いればよい。縦方向での勾配方向は、輝度値の小さい方から大きい方へ向かう方向であり差分値の正負により表現される。例えば、上の画素の輝度値から下の画素の輝度値を引いた値が正であれば勾配方向は上方向となり、負であれば下方向となる。また、縦方向での勾配強度は差分値の絶対値を用いる。つまり、ここでの勾配とは、方向が勾配方向であり、大きさが勾配強度となるベクトルを考えればよい。同様に、例えば処理対象画素の１つ右の画素の輝度値と、１つ左の画素の輝度値の差分値に基づいて、横方向での勾配を表すベクトルを求める。

そして、処理対象画素での勾配方向は、縦方向での勾配を表すベクトルと、横方向での勾配を表すベクトルの合成ベクトルの方向とすればよい。図１０の例では、処理対象画素の勾配方向は、縦方向での勾配を表すベクトルＶ１と、横方向での勾配を表すベクトルＶ２の合成ベクトルＶ３の方向となる。なお、勾配方向は下式（１）により求めてもよい。下式（１）でのＹ１は処理対象画素の１つ上の画素の輝度値、Ｙ２は処理対象画素の１つ下の画素の輝度値、Ｙ３は処理対象画素の１つ右の画素の輝度値、Ｙ４は処理対象画素の１つ左の画素の輝度値を表し、θは右方向を基準として反時計回りを正方向とした場合の勾配方向を表す角度である。なお、図１０では縦方向と横方向の２方向から勾配方向を求めたが、周辺８画素を用いることで斜め方向も考慮して勾配方向を求めてもよく、勾配方向の算出処理は種々の変形実施が可能である。

類似勾配方向領域の検出処理（Ｓ２０１）では、各画素について求められた勾配方向に基づいて、勾配方向が類似する複数の画素を結合することで類似勾配方向領域を求める。例えば、所与の画素を基点として、隣接画素が類似の勾配方向を有する場合に、当該隣接画素を類似勾配方向領域に含める処理を行えばよい。勾配方向領域の検出処理の模式図が図１１（Ａ）、図１１（Ｂ）である。図１１（Ａ）は各画素での勾配方向の例であり、ここでは勾配強度が所定値以下の画素については勾配方向の表示を省略している。仮に、図１１（Ａ）の斜線で示された画素を基点とした場合、当該画素に結合される画素は、図１１（Ｂ）の斜線に示した画素となり、類似勾配方向領域は図１１（Ｂ）の破線の領域となる。図１１（Ｂ）に示すように、１つの類似勾配方向領域に含まれる画素は互いに勾配方向が類似している。

次に、隣接する類似勾配方向領域を結合する（Ｓ２０２）。その際、図１２に示すように隣接する類似勾配方向領域が凸形状に滑らかにつながるか否かを判定し、滑らかにつながると判定された場合に結合する。例えば、各類似勾配方向領域に対して、当該類似勾配方向領域の方向を求め、２つの類似勾配方向領域の方向により規定される角度が所与の角度範囲（滑らかな凸形状を形成する角度範囲）の場合に結合すればよい。なお、図１１（Ｂ）に示すように類似勾配方向領域が長方形となる場合、当該類似勾配方向領域の方向とは、長方形の長辺方向を用いればよい。

また、結合の際には凸形状に滑らかにつながることだけでなく、隣接する類似勾配方向領域間での勾配方向の類似度が高いことを条件にしてもよい。例えば、各類似勾配方向領域に対して、当該類似勾配方向領域の代表勾配方向を求め、２つの代表勾配方向により規定される角度が所与の角度範囲の場合に結合するものとしてもよい。代表勾配方向は、類似勾配方向領域に含まれる全画素の勾配方向の平均等を用いてもよいが、上述したように類似勾配方向領域内では各画素の勾配方向が類似するため、類似勾配方向領域に含まれる所与の画素の勾配方向を代表勾配方向としてもよい。

さらに、Ｓ２０２で結合された類似勾配方向領域を円弧曲線により近似する（Ｓ２０３）。これにより１つの円弧曲線が検出されることになる。Ｓ２０１〜Ｓ２０３の処理は、例えば非特許文献１の手法により実現可能である。以上の処理により、入力画像から円弧曲線が検出され、且つ１つの円弧曲線に着目した場合、当該円弧曲線上の各画素では勾配方向が類似している。

ただし、Ｓ１０１の円弧曲線検出処理は図９の処理に限定されず、他の変形実施が可能である。例えば、Hough変換等により円弧曲線を検出してもよい。この場合、円弧曲線上で画素値の勾配方向が一定である円弧曲線のみを検出するか、それ以外の円弧曲線を検出後に棄却すればよい。

次に、代表泡領域検出部１２０は、Ｓ１０１で検出された円弧曲線に基づいて、泡領域である可能性が高い代表泡領域を検出する（Ｓ１０２）。ただし、Ｓ１０２ではＳ１０１で検出された円弧曲線のうち、所与の条件を満たすものを採用する必要がある。

具体的には、Ｓ１０１の処理では、円弧曲線上で勾配方向がある程度類似するものとなっているものの、その方向と、円弧曲線の内部外部との関係についてはまだ考慮していない。本実施形態で検出すべき円弧曲線とは、その内側から外側へ向かう方向において、画素の輝度が明るく変化するものである。つまり、勾配方向を上述のように輝度値が大きくなる方向、すなわち輝度が明るく変化する方向であると定義した場合、勾配方向が円弧曲線の内側から外側へ向かう方向となるものを代表泡領域の検出に利用する。

図１３に代表泡領域検出処理の流れを説明するフローチャートを示す。代表泡領域検出処理では、Ｓ１０１で検出した円弧曲線の勾配方向と離心方向の一致度合いを判定し（Ｓ３０１）、一致度合いが高いものを検出対象とし、一致度合いが低いものを除外（破棄）する。ここでの離心方向とは、円弧曲線により規定される円形状の内側から外側へと向かう方向であり、具体的には中心から離れる方向である。よって例えば、円弧曲線により規定される円形状の中心を求め、当該中心から円弧曲線上の所与の画素へ向かう方向を、当該画素についての離心方向とすればよい。ただし、離心方向は円形状の内側から外側へ向かう方向であればよく、基準を円の中心、楕円の焦点や重心とするものには限定されない。

勾配方向と離心方向の一致度合いを判定する処理は、例えば２つの方向を表すベクトルの内積を用いてもよい。具体的には、内積が正の場合に一致度合いが高く、０以下の場合に一致度合いが低いと判定してもよい。これは言い換えれば、勾配方向と離心方向の差が９０度より小さい場合に一致度合いが高いと判定していることになる。或いは、２つの方向のなす角度を具体的に求め、当該角度を所与の角度閾値と比較してもよい。ここでの角度閾値を小さくすれば、２つの方向の一致度合いを厳密に判定することになる。

以上の処理により、内側から外側へ向かう方向において、画素の輝度が明るく変化する円弧曲線が入力画像から検出される。

さらに本実施形態では、代表泡領域の検出処理に用いる円弧曲線を他の条件により限定してもよい。具体的には、円弧曲線の中心角を求め、当該中心角θが所定の閾値κ＿θ以上であるかを判定し、閾値以上である円弧曲線を採用する（Ｓ３０２）。中心角が小さい円弧曲線とは、図１４に示すように曲率が小さい（曲率半径が大きい）ものとなる。この場合、当該円弧曲線Ｄ１は、円形状（Ｄ２）の一部を検出しているのではなく、円形状とは異なる形状（Ｄ３）の一部を検出している可能性があり、Ｄ３の場合は明らかに泡領域とは異なる構造に対応するものである。つまり、中心角が過剰に小さい円弧曲線を処理から除外することで、Ｄ３のような泡以外の構造を泡であると誤検出する可能性を抑止できる。

また、代表泡領域検出処理では、円弧曲線の半径ｒが所定の区間（例えばκ＿ｒ１以上κ＿ｒ２以下）に含まれるか否かを判定し、半径ｒが当該区間に含まれる円弧曲線を採用してもよい（Ｓ３０３）。これにより、半径が過剰に小さい円弧曲線や、過剰に大きい円弧曲線を処理から除外することができる。

半径が過剰に小さい円弧曲線は、偶然検出された円弧曲線であって、泡である可能性が低い。また、半径が大きい泡においては奥の対象物が観察可能であり、泡として検出しないほうがよい場合がある。つまり、半径ｒの区間を限定することで、泡として扱う必要性が高い円弧曲線を検出することができ、検出精度を高くすることが可能である。

Ｓ３０１〜Ｓ３０３により、Ｓ１０１で検出された円弧曲線から適切なものを選択（採用）し、選択された円弧曲線により構成される領域を代表泡領域とする。円弧曲線により構成される領域は種々考えられるが、一例としては円弧曲線を弧とする扇形の領域を用いればよい（Ｓ３０４）。

なお、図１３ではＳ３０１〜Ｓ３０３を上記の順序で行う例を示したが、これらの処理の順序を変更してもよい。また、Ｓ３０２、Ｓ３０３の処理を省略するといった変形実施も可能である。以上の処理により、図６（Ｃ）に示したように、入力画像のうち、泡領域である可能性が高い領域を代表泡領域として検出することができる。

次に、泡領域特徴量算出部１３０は、代表泡領域に含まれる画素について特徴量分布を算出し、泡領域特徴量とする（Ｓ１０３）。ここでの特徴量は種々考えられるが、例えば各画素の座標（ｘ，ｙ）及び各色での画素値（Ｒ，Ｇ，Ｂ）の５次元の特徴量を用いればよい。なお、図６（Ｃ）からわかるように、代表泡領域は複数の画素を含む領域であることが想定され、その各画素から５次元の特徴量が求められるため、特徴量の各要素（ｘ，ｙ，Ｒ，Ｇ，Ｂ）についてもある程度の範囲でばらつきを有する。よって本実施形態では、上述したようにそのような特徴量のばらつき（分布）を所与のモデルを用いて近似する。

例えば、ガウシアンミクスチャーモデルを用いて特徴量の分布を近似すればよい。入力画像では、２箇所以上に分かれて泡が存在することもあり、その場合には（ｘ，ｙ）は複数のピークを有する分布となる。また、泡の色味も状況（例えば生体内画像であれば撮像対象としている部位）に応じて変化するため、複数のピークを有する分布となる可能性がある。そのような場合にも、ガウシアンミクスチャーモデルでは精度のよい近似が可能となる。

ただし、特徴量の分布の表現はガウシアンミクスチャーモデルによる近似には限定されない。例えば、ヒストグラムを用いて特徴量の分布を表現してもよい。

次に、泡領域抽出部１４０は、代表泡領域から求められた泡領域特徴量に基づいて、泡領域を抽出する（Ｓ１０４）。泡領域の抽出は、例えばグラフカット法を用いればよい。グラフカット法は、画像の領域抽出等に利用される手法であり、画像の色分布とエッジの情報をエネルギーとするグラフ構造で画像全体を表し、その最大流問題（Ｍａｘｆｌｏｗ）として解き、エネルギーが最小になるように０と１のラベルを割り当てて２値マスク画像を求めるものである。

図１５はグラフカット法の処理を説明する模式図である。図１５の上側のノードＮＡが例えば泡領域を表すノードであり、下側のノードＮＢが非泡領域を表すノードである。また、平面Ｆ１が入力画像に対応し、Ｆ１上のノードＮ_１１〜Ｎ_ｐｑ（入力画像がｐ画素×ｑ画素である例）が入力画像中の各画素を表す。ＮＡとＮ_１１〜Ｎ_ｐｑの各ノード間、ＮＢとＮ_１１〜Ｎ_ｐｑの各ノード間、Ｎ_１１〜Ｎ_ｐｑのうち隣接画素に対応する２つのノード間はリンクで接続され、各リンクに対してはエネルギーが重みとして設定される。

図１５のようなグラフの例では、当該グラフをノードＮＡに接続した領域と、ノードＮＢに接続した領域とに分離することを考える。分離後にノードＮＡに接続されているノード（画素）は泡領域であると判定されるし、分離後にノードＮＢに接続されているノード（画素）は非泡領域であると判定される。グラフカット法では、その際の切断に要するコスト（エネルギー）を最小とするカットの仕方（最小切断）を探索する。

具体的には、入力画像のすべての隣接画素間について以下の処理を行う。まず画素間隣接エネルギーE_edgeを算出する。これは所与の画素を表すノードと、当該画素に隣接する画素を表すノードとの間のリンクに与えられるエネルギーである。画素間隣接エネルギーE_edgeは、例えば、D_frameを隣接画素の画素値のＲＧＢ色空間におけるユークリッド距離とした場合に、E_edge=exp?(-D_frame)により求めればよい。つまり、色が近いほどエネルギーが大きくなるため、その画素間のリンクは切断されにくくなる。言い換えれば、色が似た画素は同一の領域と判定されやすくなる。

また、入力画像のすべての画素について、以下のように前景尤度エネルギーと背景尤度エネルギーを算出する。前景尤度エネルギーＥ＿ｆは、泡領域を表すノードＮＡと、Ｎ_１１〜Ｎ_ｐｑの各ノード間のリンクに与えられるエネルギーである。前景尤度エネルギーＥ＿ｆは、対象画素の特徴量（画素の座標及び画素値）と、上述した泡領域特徴量との類似度を用いればよい。例えば、泡特徴量が図１６のＧ１に示した分布により近似されたとする。なお、図１６は説明を簡略化するために特徴量を１次元とし、近似された分布も単純なガウス分布である例を示している。ここで、画素の特徴量ｘ’が図１６に示した値である場合、当該画素の特徴量と泡領域特徴量の類似度（前景尤度エネルギー）は、φそのもの、或いはφに基づく値とすればよい。つまり、特徴量が泡領域特徴量に類似するほどエネルギーが大きくなるため、当該画素とＮＡとの間のリンクは切断されにくくなり、当該画素は泡領域と判定されやすくなる。

また、背景尤度エネルギーＥ＿ｂは、Ｅ＿ｂ＝κ（κは所定値）とする。仮に、入力画像中から泡領域でないことが確からしい領域が検出されていれば、Ｅ＿ｆの場合と同様に、当該領域に基づく特徴量と、各画素の特徴量の類似度をＥ＿ｂとすればよい。しかし、本実施形態の処理（Ｓ１０１〜Ｓ１０３まで）で検出されているのは、「泡領域であることが確からしい領域（代表泡領域）」と「それ以外の領域」のみである。そして、代表泡領域以外の領域には、実際には泡である領域も含まれている可能性があるため、代表泡領域以外の領域から求められる特徴量は、「泡以外の特徴量」として用いるには適切とは言えない。よって本実施形態では、背景らしさ（泡領域以外である確からしさ）を表す背景尤度エネルギーについては所与の固定値を用いるものとする。

以上により、グラフと各ノードのエネルギーが求められるため、画素間隣接エネルギー、前景尤度エネルギー、背景尤度エネルギーに基づき、入力画像にグラフカット法を適用して前景領域（泡領域）と背景領域（非泡領域）に分割すればよい。上記のグラフカット法を用いた泡領域抽出処理の具体的な手順は種々考えられるが、例えば図１７に示すフローチャートにより実現すればよい。

この処理が開始されると、まずエネルギー算出処理を行う（Ｓ４０１）。具体的には上述した画素間隣接エネルギーE_edge、前景尤度エネルギーＥ＿ｆ、背景尤度エネルギーＥ＿ｂを求める処理を行う。

次に、ノードの設定処理を行う（Ｓ４０２）。具体的には、入力画像の各画素をノードとする。さらに、前景領域、背景領域を表す特殊なノードとして、ｓｏｕｒｃｅノード（ＮＡに対応）、ｓｉｎｋノード（ＮＢに対応）を追加する。

次に、特殊ノードとの間のリンクの設定処理を行う（Ｓ４０３）。具体的には、各画素について、ｓｏｕｒｃｅノードと自身とを結合するリンクを設定し、当該リンクに対して、Ｓ４０１で求めた前景尤度エネルギーＥ＿ｆを重みとして設定する。同様に、ｓｉｎｋノードと自身とを結合するリンクを設定し、当該リンクに対して、Ｓ４０１で求めた背景尤度エネルギーＥ＿ｂを重みとして設定する。

さらに、隣接ノード間のリンクの設定処理を行う（Ｓ４０４）。具体的には、各画素と隣接画素との間にリンクを設定し、当該リンクに対して、Ｓ４０１で求めた隣接画素間エネルギーを重みとして設定する。

以上によりグラフが設定できたため、ｓｏｕｒｃｅノードに結合しているノードの集合とｓｉｎｋノードに結合しているノードの集合が完全に分離されるようにリンクを切断する（Ｓ４０５）。このとき、切断するリンクに設定された重みの合計値が最小となるようなリンクの組み合わせで切断する。グラフカット法により、上記のようなリンクの組み合わせを算出する。

最小切断が探索されたら、探索結果に基づいて前景領域（泡領域）と背景領域（非泡領域）を設定する（Ｓ４０６）。具体的には、当該切断が行われた状態において、ｓｏｕｒｃｅノード、ｓｉｎｋノードに結合しているノードの集合を、それぞれ前景領域、背景領域とする。

本実施形態では、泡領域の抽出を目的としているため、最後に、分割された領域のうち前景領域を、泡領域として抽出する（Ｓ４０７）。

なお、泡領域特徴量に基づいて泡領域を抽出する処理（Ｓ１０４の処理）は、上述したグラフカット法に限定されるものではない。例えば、単純に入力画像の各画素の特徴量と、泡領域特徴量との類似度を求め、当該類似度が所定の閾値κ＿ｓよりも大きい画素の集合を泡領域として抽出してもよい。

以上の本実施形態の手法により、非泡領域の誤抽出を抑制しつつ泡領域を画像から抽出することができる。

以上の本実施形態では、処理部１００（狭義には代表泡領域検出部１２０）は、円弧曲線上での画素値の勾配方向と、円弧曲線の離心方向との一致度合いを判定し、一致度合いが高いと判定された場合に、円弧曲線の内側から外側へ向かう方向において、輝度が明るくなる方向で変化していると判定する。

ここで、勾配方向は図１０を用いて上述したように、輝度の変化する方向を表す情報である。また、離心方向とは円弧曲線の内側から外側に向かう方向であり、狭義には円弧曲線により規定される（円弧曲線をその一部とする）円の中心から、円弧曲線上の対象画素へと向かう方向が、当該対象画素での離心方向となる。

このようにすれば、２つの方向を規定し、当該方向の一致度合いから、円弧曲線の内側から外側へ向かう方向において輝度が明るくなる方向で変化しているか否か、すなわち対象としている円弧曲線が泡に起因するものであるか否かを判定することができる。なお、一致度合いは上述したように内積の正負を用いて判定してもよいし、２つの方向のなす角度と所与の閾値との比較処理により判定してもよい。

また、処理部１００（狭義には円弧曲線検出部１１０）は、勾配方向が類似すると判断される複数の画素を結合することで、円弧曲線を検出してもよい。

図１０を用いて上述したように、ここでは各画素に対して勾配方向が求められる。そのため、画素間の勾配方向が類似するか否かは、対象となる２つの画素での勾配方向をそれぞれ求め、勾配方向間の差異が小さい場合に、類似すると判定すればよい。さらに具体的には、２つの勾配方向のなす角度を求め、角度の差異が小さい（例えば所与の閾値以下である）場合に勾配方向が類似すると判断してもよい。

これにより、図１１（Ａ）、図１１（Ｂ）に示したように、勾配方向が類似する画素の集合（類似勾配方向領域）を用いて円弧曲線を検出することが可能になる。上述したように、類似勾配方向領域に含まれる各画素での勾配方向は類似度が高いため、勾配方向と離心方向の一致度合いは、類似勾配方向領域内のいずれの画素においてもある程度類似したものとなる。

そのため、処理部１００（狭義には代表泡領域検出部１２０）は、円弧曲線に含まれる対象画素での勾配方向と、当該対象画素での離心方向との一致度合いを判定することで、円弧曲線の内側から外側へ向かう方向において、前記輝度が明るくなる方向で変化しているか否かを判定することが可能になる。

つまり、本実施形態では勾配方向と離心方向の一致度合いから、当該円弧曲線が泡に起因するものであるか否かを判定するところ、勾配方向と離心方向の関係性が類似勾配方向領域の全ての画素において類似するのであれば、１つの類似勾配方向領域では少数の点（狭義には１点）において、勾配方向と離心方向の一致度合いを判定すれば十分である。このようにすれば、勾配方向と離心方向の一致度合いの判定における処理負荷を軽減することが可能になる。つまりここでの対象画素とは、例えば１つの円弧曲線に対応する複数の類似勾配方向領域の各領域に対して１画素ずつ設定されるものであってもよい。

ただし、上述したように、類似勾配方向領域の結合の際には、隣接する類似勾配方向領域間が滑らかな凸形状となるような位置関係にあることや、代表勾配方向の変化がある程度小さいことを条件とできる（なお、後者の条件は必須ではない）。そのため、図１２のように３以上の類似勾配方向領域が結合された場合、各類似勾配方向領域での絶対的な勾配方向は一致しないかもしれないが、各類似勾配方向領域での勾配方向と滑らかな凸形状（すなわち円弧曲線）の内側から外側へ向かう方向との関係は、対象円弧曲線の全域において類似するものとなることが期待される。

図１２の例であれば、右側の類似勾配方向領域の代表勾配方向は右下方向であるのに対して、左側の類似勾配方向領域の代表勾配方向は左下方向となるが、「勾配方向と離心方向の一致度合いが高い」という関係性は、全類似勾配方向領域において共通となる。同様に、本実施形態の手法により検出された円弧曲線を形成する所与の類似勾配方向領域において、「勾配方向と離心方向の一致度合いが低い」との関係があれば、他の類似勾配方向領域においても勾配方向と離心方向の一致度合いが低いことが想定される。

そのため、勾配方向と離心方向の一致度合いを判定する上記「対象画素」は、各類似勾配方向領域に対して設定しなくてもよく、一例としては１つの円弧曲線に対して少数（狭義には１画素）設定するものであってもよい。

また、処理部１００（狭義には泡領域抽出部１４０）は、代表泡領域を含む領域を、泡領域として抽出してもよい。

これにより、適切に泡領域を抽出することが可能になる。本実施形態では、代表泡領域の検出段階では、泡領域の全てを検出することを必須としていない。例えば、図２の例であればＣ４の部分はそもそも円弧曲線として検出されなかったり、検出されても輝度変化が条件を満たさないため、代表泡領域となるのは例えばＣ３に対応する領域（Ｃ３を円弧とする扇形）となる。つまり本実施形態の手法では、円形の泡全体が撮像されている入力画像であっても、代表泡領域がその一部の領域だけになる可能性がある。そのため、泡領域の抽出においては、代表泡領域を含む領域を抽出することで、代表泡領域の検出段階で漏れてしまった領域についても、適切に泡領域と判定することが可能になる。また、代表泡領域の検出段階で泡領域全体を検出する必要がないということは、代表泡領域の検出では泡であることが確からしい（泡尤度の高い）領域のみを検出対象とすればよいということになり、泡領域以外の領域を代表泡領域であると誤検出する可能性を抑止できる。具体的には、図６（Ｃ）に示した代表泡領域に基づいて、当該領域を含む図６（Ｄ）の領域を泡領域として抽出すること等が可能になる。

また、処理部１００（狭義には泡領域特徴量算出部１３０、泡領域抽出部１４０）は、代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、入力画像の画素のうち、特徴量が泡領域特徴量に類似すると判断される画素の集合を、泡領域として抽出してもよい。

ここで、所与の画素の特徴量と、泡領域特徴量が類似するか否かは、２つの特徴量の間の類似度を求め、当該類似度に基づく判断をすればよい。例えば、各画素の特徴量と、泡領域特徴量が（ｘ，ｙ，Ｒ，Ｇ，Ｂ）の５次元ベクトルであれば、類似度は例えばＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）等を用いて求めればよい。ＳＡＤやＳＳＤは相違度を表す指標値であるため、類似度はＳＡＤ等が大きくなるほど小さくなる。ただし、本実施形態では、図１６を用いて上述したように、泡領域特徴量を分布（関数）として表現することを想定している。例えば、泡特徴領域がｘ，ｙ，Ｒ，Ｇ，Ｂについての関数ｆ（ｘ，ｙ，Ｒ，Ｇ，Ｂ）であり、所与の画素の特徴量が（ｘ’，ｙ’，Ｒ’，Ｇ’，Ｂ’）である場合には、類似度はｆ（ｘ’，ｙ’，Ｒ’，Ｇ’，Ｂ’）、或いはそれに基づく値とすればよい。なお、図１５等を用いて上述したように、グラフカット法では、単純に所与の画素の特徴量と泡領域特徴量が類似するか否か（前景尤度エネルギーが大きいか否か）だけでなく、他の観点も考慮して（隣接画素間エネルギー等も考慮して最小切断を探索することで）泡領域の抽出が行われる。

これにより、画素の特徴量に基づいて泡領域を抽出することが可能になる。上述したように、本実施形態では泡領域であることが確からしい領域を代表泡領域として検出することができる。よって、代表泡領域から求められた泡領域特徴量は泡の特徴をよく表す特徴量となることが期待される。そのため、泡領域特徴量との類似度の高低は、泡である可能性の高低を表すことになるため、当該類似度を用いることで各画素が泡領域であるか否かを精度よく判定することが可能になる。

また、処理部１００（狭義には泡領域抽出部１４０）は、泡領域特徴量に基づいて、グラフカット処理により入力画像を領域分割することで、代表泡領域を含む領域を泡領域として抽出してもよい。

これにより、グラフカット法により泡領域を抽出することが可能になる。グラフカット法は画像の領域分割においても広く用いられる手法であり、多項式時間で最小切断（最大流）を求めることが可能である。

また、処理部１００（狭義には泡領域抽出部１４０）は、代表泡領域を表すノードと、入力画像の画素を表すノードを接続するリンクに対するコストとして、入力画像の画素の特徴量と泡領域特徴量との類似度に基づく値を設定し、設定されたコストに基づいて、グラフカット処理を実行してもよい。

これにより、泡を表す特殊ノード（図１５のＮＡ）と、各画素を表すノードとの間のリンクに対して、特徴量の類似度に基づくコスト（エネルギー）を設定することが可能になる。上述したように、泡領域特徴量は泡の特徴をよく表す特徴量となることが期待されるため、当該泡領域特徴量との類似度は、ＮＡとの間のリンクのコストに適したものである。

また、処理部１００（狭義には泡領域抽出部１４０）は、入力画像の画素のうち、泡領域特徴量との特徴量の類似度が所与の閾値以上である画素の集合を、泡領域として抽出してもよい。

これにより、泡領域特徴量との類似度に基づいて、各画素が泡領域であるか否かを判定することが可能になる。類似度を用いた閾値判定を行えばよいため、グラフカット法等に比べて少ない計算負荷で泡領域を抽出すること等が可能になる。

また、処理部１００（狭義には泡領域特徴量算出部１３０）は、画素値および座標に基づいて、特徴量を算出し、泡領域特徴量は、代表泡領域に含まれる画素の特徴量の分布を近似した関数であってもよい。

ここで、「分布を近似」とは、それぞれが値を有する点の集合があった場合に、当該集合が所与の分布関数に従って分布するとの仮定を行い、集合に含まれる各点の値に基づいて、分布関数のパラメータを求める処理に相当する。例えば、特徴量の分布が正規分布となる、との仮定をした場合、「分布を近似した関数」とは正規分布を表す関数となり、当該関数を求める処理とは、各特徴量の値に基づいて、正規分布の平均μと分散σ^２を求める処理となる。また、分布としてガウシアンミクスチャーモデルを用いる場合、ガウシアンミクスチャーモデルは複数の正規分布の線形結合で表現されるため、各正規分布の平均、分散、及び複数の正規分布を線形結合する際のパラメータを推定（探索）する処理を行えばよい。

これにより、画素値（例えばＲ，Ｇ，Ｂ）と座標（ｘ，ｙ）を特徴量として用いることが可能になる。泡領域は、入力画像中で似たような色味で撮像されやすく、またある程度似たような位置に分布することが想定される。つまり、画素値と座標を特徴量とすることで、泡の特性を適切に表現することが可能になる。ただし、代表泡領域には多数の画素が含まれることが想定されるため、画素値や座標を特徴量に用いても、その値はある程度ばらつきを有する。その点、本実施形態では泡領域特徴量を所与の分布で近似するため、値のばらつきも反映した泡領域特徴量を求めることが可能である。さらに言えば、ガウシアンミクスチャーモデル等を用いて近似を行えば、泡領域特徴量を複数の正規分布の合成として近似できるため、ピークが複数ある場合でも泡領域特徴量を適切に求めることが可能である。

また、処理部１００（狭義には代表泡領域検出部１２０）は、円弧曲線の中心角が所与の閾値以上である円弧曲線によって構成される領域を、代表泡領域として検出してもよい。

これにより、図１４に示した例のように、泡でない構造（Ｄ３）の一部が偶然円弧曲線となってしまった場合であっても、そのような円弧曲線を代表泡領域の検出に利用しないため、泡領域を誤判定する可能性を抑止できる。なお、ここでの中心角とは、円弧曲線により規定される扇形の中心角を用いればよい。

また、処理部１００（狭義には代表泡領域検出部１２０）は、円弧曲線の半径が所与の範囲内である円弧曲線によって構成される領域を、代表泡領域として検出してもよい。

ここで、円弧曲線の半径とは、円弧曲線により規定される円形状の半径に相当する情報を考えればよい。例えば、円弧曲線が真円の一部であれば、当該真円の半径を円弧曲線の半径とすればよい。また、円弧曲線が楕円の一部であれば、当該楕円の長径や半径、或いはそれらから求められる値を円弧曲線の半径とすればよい。なお、上述したようにここでの処理はサイズが過剰に小さい円形状、或いは過剰に大きい円形状の一部を構成する円弧曲線を、代表泡領域の検出処理から除外することを考慮している。よって、用いる情報は半径に限定されるものではなく、円弧曲線により規定される円形状の直径や面積等であってもよい。言い換えれば、処理部１００（狭義には代表泡領域検出部１２０）は、円弧曲線により規定される円形状のサイズ情報が所与の範囲内である円弧曲線によって構成される領域を、代表泡領域として検出してもよい。

これにより、半径が過剰に小さい円弧曲線や過剰に大きい円弧曲線を代表泡領域の検出から除外することができる。図１４を用いて上述したように、泡でない構造であっても勾配のつながりにより偶然円弧曲線が検出されることがあるが、当該勾配のつながりはあくまで偶発的なものであるため、そのような円弧曲線の長さは比較的短いことが想定される。そのため、当該円弧曲線の半径が大きい場合、必然的に中心角が小さいものとなるため、上述した中心角の判定により代表泡領域の検出から除外できる。しかし、半径が小さいと、円弧曲線自体が短くても中心角が大きくなる（ある程度円に近づく）可能性があり、中心角を用いた判定では除外が難しい。その点、偶発的な勾配のつながりにより、中心角の大きい円弧曲線が形成された場合、その半径が非常に小さくなるため、半径が過剰に小さい円弧曲線を除外することで、精度の高い代表泡領域検出が可能になる。

一方、半径が大きい泡においては奥の対象物が観察可能である場合があり、その場合、実際に泡が存在していたとしても、当該領域は泡として取り扱わないほうがよいこともある。半径が過剰に大きい円弧曲線を処理から除外することで、大きな泡を泡領域に含めないことが可能になる。

なお、ここでの半径は画像上でのサイズ（例えばピクセル単位）を表すものを想定しているがこれには限定されず、実空間上のサイズを用いてもよい。なお、入力画像から、当該画像に撮像された被写体の実サイズを求める手法は種々知られており、本実施形態ではそれらを広く適用可能である。一例としては、入力画像に基づいて撮像部から被写体までの距離を推定し、当該距離と光学系（撮像レンズ系２４等）の状態に基づいて実サイズを推定すればよい。

また、本実施形態に係る画像処理装置は、入力画像を取得する画像取得部２００と、入力画像から泡領域を抽出する処理を行う処理部１００を含み、処理部１００は、入力画像から円弧曲線を検出し、円弧曲線のうちの少なくとも一部の円弧曲線によって構成される領域を代表泡領域として検出し、代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、当該泡領域特徴量に基づいて、グラフカット法により入力画像を領域分割することで、入力画像から泡領域を抽出するものであってもよい。

この画像処理装置では、代表泡領域から泡領域を抽出する際にグラフカット法を用いることが可能になる。そのため、多項式時間により入力画像を泡領域とそれ以外の領域に分けることが可能になる。その際、上述した勾配方向を用いる手法のように、代表泡領域の検出において厳密性を高めることで精度よく泡領域を抽出することが可能になる。厳密性を高めるとは、代表泡領域として泡領域である可能性が高い領域を検出するために、例えば検出条件を厳しくすることである。後段でグラフカット法を用いた処理が行われるため、代表泡領域の抽出の際には泡領域の一部が検出できなくても問題とならない。

なお、特許文献１においても、円弧曲線の検出と、色情報を用いた領域分割とを併用することで、泡領域を抽出する手法が開示されている。しかし特許文献１では、円弧曲線が多数検出された領域を泡領域としているため、画像中に含まれる泡の数が少ない場合は、適切な泡領域抽出が難しい。より正確に言えば、泡の数が少ない状況では、特許文献１の手法は円弧曲線部分を泡であると判定することはできても、円弧曲線以外の部分に泡領域を拡張するという処理が難しいことになる。その点、グラフカット法を用いた場合、円弧曲線の検出処理により泡領域特徴量を求めることができれば、当該泡領域特徴量との関係（類似度等）を用いて領域分割を行えるため、入力画像に含まれる泡の数に依存しない泡領域抽出処理が可能となる。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

また本実施形態は、内視鏡装置のように、画像を取得し装置内（システム内）で画像処理を行うものに適用されてもよいし、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものに適用されてもよい。

また、本実施形態の画像処理装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（a pplication specific integrated circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る画像処理装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、内視鏡装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０ 硬性鏡、１１ レンズ系、１２ ライトガイド部、２０ 撮像部、
２１ ＡＦ開始／終了ボタン、２２ フォーカスレンズ、
２３ フォーカスレンズ駆動部、２４ 撮像レンズ系、２５ 撮像素子、
３０ 処理装置、３１ 画像取得部、３２ 処理部、４０ 表示部、
５０ 外部Ｉ／Ｆ部、６０ 光源部、６１ 白色光源、
６２ ライトガイドケーブル、１００ 処理部、１１０ 円弧曲線検出部、
１２０ 代表泡領域検出部、１３０ 泡領域特徴量算出部、
１４０ 泡領域抽出部、２００ 画像取得部

Claims (16)

1. 入力画像を取得する画像取得部と、
   前記入力画像から泡領域を抽出する処理を行う処理部と、
   を含み、
   前記処理部は、
   前記入力画像から円弧曲線を検出し、
   前記円弧曲線の内側から外側へ向かう方向での画素の輝度の変化を判定し、
   前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を、代表泡領域として検出し、
   前記代表泡領域に基づいて、前記入力画像から前記泡領域を抽出し、
   前記処理部は、
   前記円弧曲線上での画素値の勾配方向と、前記円弧曲線の離心方向との一致度合いを判定し、
   前記一致度合いが高いと判定された場合に、前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定することを特徴とする画像処理装置。
2. 請求項１において、
   前記処理部は、
   前記勾配方向が類似すると判断される複数の画素を結合することで、前記円弧曲線を検出することを特徴とする画像処理装置。
3. 請求項２において、
   前記処理部は、
   前記円弧曲線に含まれる対象画素での前記勾配方向と、前記対象画素での前記離心方向との前記一致度合いを判定することで、前記円弧曲線の前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化しているか否かを判定することを特徴とする画像処理装置。
4. 入力画像を取得する画像取得部と、
   前記入力画像から泡領域を抽出する処理を行う処理部と、
   を含み、
   前記処理部は、
   前記入力画像から円弧曲線を検出し、
   前記円弧曲線の内側から外側へ向かう方向での画素の輝度の変化を判定し、
   前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を、代表泡領域として検出し、
   前記代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、
   前記入力画像の画素のうち、前記特徴量が前記泡領域特徴量に類似すると判断される画素の集合を、前記泡領域として抽出することによって、前記代表泡領域を含む領域を、前記泡領域として抽出することを特徴とする画像処理装置。
5. 請求項４において、
   前記処理部は、
   前記泡領域特徴量に基づいて、グラフカット処理により前記入力画像を領域分割することで、前記代表泡領域を含む領域を前記泡領域として抽出することを特徴とする画像処理装置。
6. 請求項５において、
   前記処理部は、
   前記代表泡領域を表すノードと、前記入力画像の画素を表すノードを接続するリンクに対するコストとして、前記入力画像の画素の前記特徴量と前記泡領域特徴量との類似度に基づく値を設定し、
   前記コストに基づいて、前記グラフカット処理を実行することを特徴とする画像処理装置。
7. 請求項４において、
   前記処理部は、
   前記入力画像の画素のうち、前記泡領域特徴量との前記特徴量の類似度が所与の閾値以上である画素の集合を、前記泡領域として抽出することを特徴とする画像処理装置。
8. 請求項４乃至７のいずれかにおいて、
   前記処理部は、
   画素値および座標に基づいて、前記特徴量を算出し、
   前記泡領域特徴量は、前記代表泡領域に含まれる画素の前記特徴量の分布を近似した関数であることを特徴とする画像処理装置。
9. 入力画像を取得する画像取得部と、
   前記入力画像から泡領域を抽出する処理を行う処理部と、
   を含み、
   前記処理部は、
   前記入力画像から円弧曲線を検出し、
   前記円弧曲線の内側から外側へ向かう方向での画素の輝度の変化を判定し、
   前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域であり、且つ、前記円弧曲線の半径が所与の範囲内である前記円弧曲線によって構成される領域を代表泡領域として検出し、
   前記代表泡領域に基づいて、前記入力画像から前記泡領域を抽出することを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記処理部は、
    前記円弧曲線の中心角が所与の閾値以上である前記円弧曲線によって構成される領域を、前記代表泡領域として検出することを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記入力画像は生体内画像であり、
    前記処理部は、
    前記生体内画像のうち、抽出された前記泡領域を除いた領域から、注目領域を検出する処理を行うことを特徴とする画像処理装置。
12. 入力画像を取得する画像取得部と、
    前記入力画像から泡領域を抽出する処理を行う処理部と、
    を含み、
    前記処理部は、
    前記入力画像から円弧曲線を検出し、
    前記円弧曲線のうちの少なくとも一部の円弧曲線によって構成される領域を代表泡領域として検出し、
    前記代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、
    前記泡領域特徴量に基づいて、グラフカット処理により前記入力画像を領域分割することで、前記入力画像から前記泡領域を抽出することを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
14. 入力画像を取得する画像取得部と、
    前記入力画像から泡領域を抽出する処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記入力画像から円弧曲線を検出し、
    前記円弧曲線の内側での画素の輝度が、前記円弧曲線の外側での画素の輝度に比べて暗いか否かを判定し、
    前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を代表泡領域として検出し、
    前記代表泡領域に基づいて、前記入力画像から前記泡領域を抽出し、
    前記処理部は、
    前記円弧曲線上での画素値の勾配方向と、前記円弧曲線の離心方向との一致度合いを判定し、
    前記一致度合いが高いと判定された場合に、前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定することを特徴とするプログラム。
15. 入力画像を取得する画像取得部と、
    前記入力画像から泡領域を抽出する処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記入力画像から円弧曲線を検出し、
    前記円弧曲線の内側での画素の輝度が、前記円弧曲線の外側での画素の輝度に比べて暗いか否かを判定し、
    前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域を代表泡領域として検出し、
    前記代表泡領域に含まれる画素の特徴量に基づいて、泡領域特徴量を求め、
    前記入力画像の画素のうち、前記特徴量が前記泡領域特徴量に類似すると判断される画素の集合を、前記泡領域として抽出することによって、前記代表泡領域を含む領域を、前記泡領域として抽出することを特徴とするプログラム。
16. 入力画像を取得する画像取得部と、
    前記入力画像から泡領域を抽出する処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記入力画像から円弧曲線を検出し、
    前記円弧曲線の内側での画素の輝度が、前記円弧曲線の外側での画素の輝度に比べて暗いか否かを判定し、
    前記内側から前記外側へ向かう方向において、前記輝度が明るくなる方向で変化していると判定された前記円弧曲線によって構成される領域であり、且つ、前記円弧曲線の半径が所与の範囲内である前記円弧曲線によって構成される領域を代表泡領域として検出し、
    前記代表泡領域に基づいて、前記入力画像から前記泡領域を抽出することを特徴とするプログラム。