WO2004049923A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本発明の画像処理方法は、画像を入力する入力ステップと、前記画像中の所定の構造成分をモデル化したテンプレートと前記入力ステップで入力された画像とのマッチングを行い、この画像中の抽出対象とする構造成分を抽出する抽出ステップを有する。

Description

明 細 書 画像処理装置および画像処理方法 . 技術分野

本発明は内視鏡画像等に対して特徴量を評価し易く する等の画 像処理を行う画像処理方法に関する。 背景技術

近年、 細長の挿入部を体腔内に挿入し、 固体撮像素子等を撮像 手段に用いて体腔内臓器等をモニタ画面によ り観察し、 検査ある いは診断する こ とのできる内視鏡装置が広く 用いられている。 ま た、 前記体腔内臓器へ超音波を照射し、 この超音波の反射あるい は透過度等によ り 該体腔内臓器の状況をモニタ画面によ り観察し 検査あるいは診断する こ と のでき る超音波内視鏡装置も広く 用い られている。

これらの内視鏡装置を用いた最終的な診断は医師の主観に依存 している部分が多大であ り 、 客観的 · 数値的な診断に直接結びつ く 内視鏡診断支援装置の実現が望まれている。

内視鏡診断支援装置は画像内における関心領域 （ R O I ) から 算出された様々な特徴量を用い、 閾値処理あるいは統計的 · 非統 計的識別器を用いて診断対象とする画像がどのよ う な所見や病変 に分類されるかを医師に提示する こ とによ り 、 客観的 · 数値的な 診断の支援を行う ものである。

特徴量は内視鏡画像上の様々な所見を反映した数値であ り 、 画 像処理手法の適用によ り得られる ものである。 例えば 「発赤によ り粘膜表面が赤い」 といった色調に関する所見を特徴量化する場 合には、 内視鏡画像を構成する RGB各データ を用いて、 RZ ( R + G + B ) を各画素ごと に求め、 その平均値を特徴量と して使用する こ とができ る （この特徴量は一般に色度と呼ばれる） 。 また、 近年 内視鏡分野においては胃粘膜血流量を反映した色調の特徴量と し て、 3 2 1 o g ₂ ( R / G) によ り 得られるヘモグロ ビン指標が広 く 用いられている。

さ らに、 透見血管像に見られる血管の拡張 · 蛇行や胃小区の形 態の大小 · 不整度 · 胃小区間の溝幅等、 内視鏡画像における粘膜 表面構造に関する所見も種々の疾患に対する診断の重要な要素と なってお り 、 これらに対しても画像処理手法の適用によ り特徴量 と して数値化する こ とができ る。 このよ う な特徴量算出において は、 特許第 2 9 1 8 1 6 2 号公報に示されている手法がある。

近年においては、 公知の G a b o r フィルタを用いて算出され る G a b o r 特徴に対し内視鏡画像への適用のための改良を加え た空間周波数解析手法によ り 、 粘膜表面構造の細かさ、 粘膜表面 構造が呈する模様の方向性等を特徴量と して数値化する内視鏡画 像処理方法がある。

また、 複数の異なる所見から得た各特徴量を組み合わせて特徴 ベタ トルと して用いる こ と によ り 、 よ り 複雑かつ正確な診断の支 援を行う こ とができ る。 内視鏡診断支援装置の精度向上において は、 重要な内視鏡画像所見を数値化するための高精度の特徴量算 出手法が非常に重要である といえる。

このよ う な内視鏡診断支援装置及び特徴量算出手法の例と して . 特開平 1 0 — 1 4 8 6 4号公報に示す例がある。

内視鏡観察における診断上重要な所見と して、 病変形状 · 大き さ、 粘膜色調、 透見血管像及び粘膜表面構造 （p i t等によ り構成さ れる模様像） があげられる。 本発明は、 これらの所見の中で透見 血管像及び粘膜表面構造に対する画像処理方法に関する ものであ る。

透見血管像が重要な所見と なる疾病と しては、 例えば潰瘍性大 腸炎があげられ、 炎症の程度、 寛解の判定等において重要なもの と なってレ、る。

また、 最近の内視鏡装置においては、 高画質化、 固体撮像素子

( CCD等） の高画素化、 さ らには通常の内視鏡と 同等の外径と操作 性を保ちつつ拡大観察 （ズー ミ ング） 機能を有する拡大内視鏡の 登場によ り 、 粘膜表面の極めて微細な毛細血管像や胃 · 大腸の腺 口 （Pit) 構造が明瞭に観察されるよ う になっている。

従来組織標本を実体顕微鏡下で観察していたのと同レベルの生 体像を内視鏡下で臨床検査時に観察する こ とが可能とな り 、 それ らの微細構造観察所見を用いた新たな診断学が消化管及び気管支 分野において盛んに研究 · 確立されてきている。

このよ う な例と しては、

文献 1 (H. Inoue, MAGNIFICATION ENDOSCOPY IN THE SOPHAGUS AND STOMACH, Digestive Endoscopy, JAPAN ASTR0ENTER0L0GICAL ENDOSCOPY SOCIETY, Vol.13, Supplement,

July 2001, pp. S40-S41) に示された食道粘膜の微小血管像

( Interpapillary capillary loop, IPCL) における开 態変ィ匕によ る食道腫瘍性病変 （腺腫、 がん） の診断。

文献 2 K. Yagi, ENDOSCOPIC FEATURES AND MAGNIFIED VIEWS OF THE CORPUS IN THE HELICOBACTER PYLORI-NEGATIVE STOMACH, Digestive Endoscopy, JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY, Vol.13, Supplement, July 2001, pp. S34-S35) における 胃集合細静脈観察によるヘリ コバク タ ピロ リ感染診断。

文献 3 (K. Yao他， MICR0GASTR0SC0PIC FINDINGS OF MUCOSAL MICROVASCULAR ARCHITECTURE AS VISUALIZED BY MAGNIFYING ENDOSCOPY, Digestive Endoscopy, JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY, Vol.13, Supplement,

July 2001, pp. S27-S33) における胃微細血管像観察による粘膜萎 縮及び腫瘍性病変種別診断。

文献 4 (ェ藤進英， 陥凹型早期大腸癌， 日本メディ カルセ ンタ 一， 1996, pp.33-40) における p i t pat t ern分類を用いた大腸腫瘍 性病変診断。

文献 5 (渋谷 潔 他， 拡大気管支 テ"ォスコ -フ。を用いた Bronchial Dysplasiaの微細観察， 第 22卷 第 8号， 2000年 12月 ， pp.613-616) における気管支の微細血管網観察による気管支炎 · がんに对する 診断。

があげられる。 - 一方、 これらの内視鏡所見に対する診断は医師の主観判断に基 づく ものである こ と から、 経験及び知識の違いによ り診断結果が 異なる可能性がある という 問題があ り 、 画像処理による定量的か つ客観的な診断支援情報の提供が望まれている。

よ り具体的には、 血管、 pit等の構造を画像から抽出 し、 その形 態、 大き さ、 均一性、 規則性等を様々な画像処理方法の適用によ り数値化 （特徴量と呼ばれる） し、 線形判別関数、 ニューラルネ ッ ト ワーク等の識別器を用いる こ とで客観的診断支援を実現する _c また、 本出願人においては例えば特許第 2 9 1 8 1 6 2号にお いて二値化処理を用いた画像処理 · 解析手法を開示している。

しかしなが ら、 二値化等によ る構造抽出をと もな う画像処理方 法の内視鏡画像への適用においては、以下のよ う な問題があった。

内視鏡画像は観察距離 · 角度が一定ではなく 、 さ らに観察対象 が曲面形状を有する場合も多々 ある こ と から画像中の明暗変化が 大きレ、。 また、 大腸 pit pattern観察像においては pitの明瞭化の ために一般にイ ンジゴカル ミ ンあるいはク リ ス タルバイ オレ ツ ト 等に代表される色素 · 染色剤を撒布するが、 染色濃度が異なった り 、 撒布むら （pit でない間質部にまで色素が残って しま う状態） が発生する場合がある。

二値化処理においては一般に閾値処理を実行するが、 これらの 理由から固定的な閾値を用いる こ とは困難である。 また、 画像ご とに閾値を変更 （文字認識分野等で研究されている） しても、 明 暗変化や色素の撒布状態によ り 、 画像内の局所ごと に抽出結果に 違いが現われ、 抽出漏れ等が発生するこ とがある と いう 問題があ る。

本発明'はこれらの問題を鑑みてなされたもので、 血管像、 p i t p a t t ern等の （内視鏡） 画像中の抽出対象となる構造部分を良好に 抽出するこ とができ る画像処理方法を提供する こ と を目的とする また、 血管像、 p i t p a t t ern等の （内視鏡） 画像中の抽出対象と なる構造部分を画像の撮像条件によ らず良好に抽出するこ とがで き る画像処理方法を提供する こ と も 目的とする。

さ らに、 高精度の診断支援情報を実現する特徴量算出のための 画像処理方法を合わせて提供する こ と を 目 的とする。 発明の開示

本発明の画像処理方法は、 画像を入力する入力ステ ップと 、 前 記画像中の所定の構造成分をモデル化したテンプレー ト と前記入 力ステップで入力された画像とのマッチングを行い、 この画像中 の抽出対象とする構造成分を抽出する抽出ステ ップを有する。 図面の簡単な説明

図 1 ： 本発明の第 1 の実施形態である、 画像処理方法を実行す るパーソナルコ ン ピュータ の構成を示すブロ ッ ク図。

図 2 ： 本実施形態における画像処理方法の処理内容を説明する ためのフ ローチヤ一ト。

図 3 ： 血管像を説明するための説明図。

図 4 ：本実施形態における血管モデルを説明するための説明図。 図 5 ： テンプレー 卜 の作成例を説明するための説明図。

図 6 ： テンプレー ト ' マッチングにおける 1 次元方向の組み合 わせの例を説明するための説明図。

図 7 ： テンプ レー ト ' マッチングによる血管位置の判定を説明 するための血管像の説明図。

図 8 ： テンプレー ト ' マッチングによ る血管位置の判定を説明 するための説明図。

図 9 本発明の第 2 の実施形態における一連の処理を説明する ためのフ ローチヤ一 ト。

図 1 0 ： 帯域通過型フ ィ ルタの周波数特性を説明するための説 明図。

図 1 本実施形態における原画像例を示す図。

図 1 2 処理経過の途中の第 1 の画像例を示す図。

図 1 3 処理経過の途中の第 2 の画像例を示す図。

4 処理経過の途中の第 3 の画像例を示す図。

5 処理経過の途中の第 4 の画像例を示す図。

図 6 処理結果画像例を示す図。

図 7 本発明の第 3 の実施形態における一連の処理の流れを 説明するためのフ ローチヤ一ト。

図 1 8 ： 図 1 7 に示すフローチャー トにおけるステップ S 2 4 の二値画像生成の処理内容を示すフローチヤ一ト。

図 1 9 ： 帯域通過型フィルタの特性例の説明図。

図 2 0 ： 本発明の第 4 の実施形態における画像処理方法の対象 と なる血管所見の説明図。

図 2 1 ： 本発明の第 4 の実施形態における一連の処理内容を示 すフ 口一チヤ一ト。

図 2 2 ： 特徴量を説明するための説明図。

図 2 3 ： 本発明の第 5 の実施形態における処理内容を示すフロ

、— - — f~ャ ·■ ト

発明を実施するための最良の形態

以下、 図面を参照して本発明の実施形態を説明する。

(第 1 の実施形態） まず、 本発明の第 1 の実施形態について図 1 〜図 8 を用いて説 明する。

図 1 〜図 8 は本発明の第 1 の実施形態に係 り 、 図 1 は本実施形 態におげる画像処理方法を実行するためのパー ソナルコ ン ビユー タ の構成を説明するための構成図、 図 2 は本実施形態における画 像処理方法の内容を説明するためのフ ローチヤ一 ト、 図 3 は血管 像を説明するための説明図、 図 4 は本実施形態における血管モデ ルを説明するための説明図、 図 5 はテンプレー 卜の作成例を説明 するための説明図、 図 6 はテンプレー ト · マッチングにおける 1 次元方向の組合わせ例を説明するための説明図、 図 7及び図 8 は テンプレー ト · マッチングによる血管位置の判定を説明するため の説明図である。

本発明の第 1 の実施形態は、 特に内視鏡画像における樹枝状の 血管像の抽出に有効な画像処理方法に関する。 以下、 図面を参照 して本実施形態における画像処理方法について説明する。

内視鏡画像における透見血管像は、 様々な太さの血管が樹枝の よ う な構造を呈する ものがある。 これは、 ド レナージ血管と呼ば れる太い血管と、 そこから分岐する細い血管によ り構成されてい る ₀

これらの血管は太さのみでなく 粘膜下に存在する深さ も異なる こ とから鮮鋭度 （一般に深い程ぼけて見える） にも違いが生じて いる。 このよ う な血管像に対して、 以下に説明する一連の抽出処 理を適用する。 そ して、 抽出対象となる構造部分と しての血管像 を良好に抽出 して、 客観的な診断支援ができ る よ う にする。

なお、 本発明における内視鏡画像は大き さ （横 X縦の画素数） 力 S I SX X I S Y、 RGBの 3 (色成分） 画像から構成され、 R、 G及び Bの 各画像はそれぞれ 0から 255の値からなる 8ビッ ト の階調を備える ものとする。

本実施形態における一連の画像処理方法は、 パーソナルコ ン ビ ュ一タ上で動作するプロ グラムと して実現される。 図 1 は本実施 形態に用いるパーソナルコンピュータ及び周辺機器等の構成の説 明図である。 .

パー ソナルコ ン ピュータ 1 は、 CPUである演算手段 2 と、 データ 格納や作業エ リ アに使用 されるメイ ンメモ リ 3 と、 プロ グラ ム等 を記憶するプロ グラム記憶手段 4 (本実施形態においてはハー ド ディスク （図 1 では HDと略記） であるものとする） を備える と共 に、 CRT等の表示手段 5 と 、マウス、キーボー ド等の入力手段 6 と、 光磁気ディ スク （M0) ドライブ等の外部記憶手段 7 とが接続され ている。

また、 ネッ ト ワークアダプタ 8等を介して LAN ( Lo c a l Ar e a Ne twork ) 等の外部ネ ッ ト ワーク 9 に接続されている。 また、 この 外部ネッ ト ワーク 9 には内視鏡検査を行う 内視鏡装置 1 1や、 内 視鏡装置 1 1 によ る内視鏡検査の画像データ をフアイ リ ング等す る画像フアイ リ ング装置 1 2 が接続されている。

そ してパー ソナルコ ン ピュータ 1 は、 外部ネ ッ ト ワーク 9 を介 して画像フアイ リ ング装置 1 2或いは内視鏡装置 1 1 等から画像 データの取得を行う こ と ができ るよ う になつている。

このパー ソナルコ ン ピュータ 1 は、 プロ グラ ム記憶手段 4 に記 憶されたプロ グラムをメ イ ンメモ リ 3 に読み込み、 演算手段 2 に おいて実行する。

また、 画像処理対象と なる画像データは、 フ ァ イ ルと して外部 記憶手段 7からオフ ライ ンも しく は外部ネ ッ ト ワーク 9 を経由 し たオンライ ンでの取得が可能となっている。 また、 プロ グラム記 憶手段 4 が十分な容量を備える場合には、 プロ グラムと同様にパ 一ソナルコンピュータ 1 内に保存するこ と も可能と なっている。

本実施形態では、 例えばプロ グラム記憶手段 4 を形成するハー ドディ スクには、 後述するよ う に入力される画像から抽出対象と する構造部分をモデル化 した血管モデル等のテ ンプレー トを格納 している。

そ して、 演算手段 2 を形成する CPUによ り 、 画像中の各画素に対 してテンプレー ト を用い、 テンプレー ト と の相関量を算出する演 算処理を'行い、 相関が高いものからその位置を特定して、 その構 造部分を抽出する。 つま り テンプレー トマッチングを行う こ と に よ り 、 抽出対象とする構造部分を抽出する。 この場合、 テンプレ 一卜のパラメータの値を変更するこ と によ り 、 複数の異なるテン プレー トを用意して、 異なる形状、 サイズの抽出対象に対しても 抽出ができ るよ う に している。

図 2は本実施形態における画像処理方法による処理内容を説明 するためのフローチヤ一トである。

始めに、 ステ ップ S 1 においてパーソナルコンピュータ 1 の演 算手段 2 は、 画像フアイ リ ング装置 1 2等から取り込む原画像と して G画像 （成分） を入力する。 通常の （色素、 染色剤等を使用 し ない） 内視鏡画像においては、 血管像、 粘膜表面模様等の構造成 分は、 主に粘膜内の血液による光の吸収変動によ り構成される。

よ り詳しく は、 血液中のヘモ グロ ビンの吸収帯域 （波長） に最 も依存し、構造成分は一般に G画像に多く 含まれる こ とが知られて いる。 具体的には血液量が多いほど吸収が大き く 、 G画像の画素の 値は低く な り 、 少ないほど吸収されず反射されるこ とから画素の 値は高く なる。

次のステ ップ S 2 においては、 前処理と してランダムノイズ等 に対するノイズ除去処理を適用する。 本実施形態においては公知 のメ ディ アンフイノレタ リ ング （注目画素を含むマスク内の画素値 を大き さで並べ替え、 中央値で注目画素の値を置き換える） を大 き さ 3 X 3 の画素サイ ズで適用する。

次のステ ップ S 3 においては逆 γ補正を適用する。 γ 補正は、 画像をモニタ等に表示する際に視覚的に線形な階調を与えるため に適用された非線形処理であ り 、 逆 Ύ補正はこれを元の線形階調 に戻すものである。

続く ステップ S 4 においては、 テンプレー ト を用いたマツチン グ、 つま り テンプレー ト · マッチングによる血管抽出処理を適用 する。 以下、 本ステップ 4 におけるテンプレー ト ' マ ッ チングの 詳細について説明する。

内視鏡画像における血管像に対して、 例えば図 3 に示すよ う に 1 次元方向 （ X方向）'で画素値の変動を抽出 して切 り 出 し した場 合、 図 4 に示す半楕円 （も しく は半円） に類した形状 （以下、 単 に半楕円形状とする） にモデル化 （以下、 これを血管モデルと称 する） する こ とができ る。

したがって、 半楕円形状を規定する W及び Dをパラメ タ と したテ ンプレー トを作成し、 相関が大である画素を抽出する こ とで血管 位置を特定し、 抽出する こ と ができ る。 また、 血管の幅について は該当するテ ンプレー ト のパラメ タ Wから決定する こ とができる。 図 4 における半楕円形状の関数は、xを 1 次元方向で見た画素の座 標、 yを画素値と して

v

と表すこ とができる。

こ こ で、 W及び Dはそれぞれ図 4 における血管モデルの半楕円形状 の幅及び深さを規定するパラメ タ、 kは固定的に与える実数で内視 鏡画像に対しては例えば 15とする。 さ らに、 実際の内視鏡画像に おいては焦点外れ等から様々 なぼけが加わるこ とから、 式 （ 1 ) から得られる血管モデルに対してガウシアン関数

を用いた平滑化処理 （ディ ジタル画像における畳み込み演算によ るフ ィ ルタ リ ング。 なお、 畳み込み演算については公知技術であ るため説明は省略する） を適用する。

こ こで、 σ はガウシアン関数における標準偏差で、 ぼけの強さ を規定するパラメ タ と して使用 され、 σ が大であるほど強く ぼけ る効果を有する。 さ らに、 本実施形態においては、 後述するマツ チングにおける画像め明る さの違いによ る影響を除外するために 対数変換によって y方向のスケール変換 （濃度変換） を適用する。

撮像時の光量の違いは画素値に対して乗算項と して影響を与え るが、 対数変換によ り加算項と して分離され、 影響を縮小する こ とができ、血管抽出精度をよ り 高める こ とが可能と なる。つま り 、 対数変換によるスケール変換を適用する こ とによ り 、 撮影条件に 殆ど依らないで血管像等を良好に抽出でき るよ う に している。

次に、 作成した血管モデルをステップ S 4 におけるテンプレー ト . マッチングでのテンプレー ト と して使用するための離散化を 行う。 本実施形態においては、 連続関数値である血管モデルをテ ンプレー ト 1 要素 （画像に対しては画素に相当する） あた り 1 0 個のサブ要素と なるよ うー且離散化し、 さ らにサブ要素値 1 0個 の平均値を算出する こ と によ り離散化されたテ ンプレー トを作成 する （平均化によ り 、 テンプレー ト の要素間の変動を滑らかにす る効果を与える） 。

さ らに、 実際の血管像は様々な幅 （太さ） 、 深さ （画素値の変 動の大き さ） を備えるため、 W、 Dの組合わせを変更する こ と によ り複数のテ ンプレー ト を作成する。 また、 ぼけの程度の変化に対 しては σ の変更によるテンプレー トの追加が可能である。

図 5 に W及び σ の変更によ り 得られるテンプレー トの例を示す。 なお、 ここでは D = 50に固定している。 図 5 においては、 W= l〜5 ( s t e p (亥 'Jみ） 1 . 0)、 σ =0. 0 ~ 4. 0 ( s t e p 1 . 0 )の各組み合わせのテ ンプレー ト を示している。テンプ レー 卜のサイズは W及び σ に応じ て適宜変更 し、 本実施形態においてはテ ンプレー 卜の両端におい て y=0.0 となる画素位置に 1画素分の余裕を持たせたる も の とす る。

続いて'、 上記テンプレー トを用いたテンプレー ト ' マッチング について説明する。マッチングは画像 f上の各画素に対して上記テ ンプレー ト を畳み込み演算と同様に重畳し、

で示される正規化相互相関 Rを算出する こ と によ り 実行する（正規 化相互相関については公知技術であるため説明は省略する） 。

こ こで、 Νはテ ンプレー 卜 のサイ ズ、 fx(i) は画像からテ ンプレ 一トに合わせて 1 次元で切 り 出 した N個の中の i番目 の画素、 fxM は fx (i)の平均値、 t (i)はテンプレー ト の i番 目 の要素の値、 tMは t(i)の平均値である。 Rは 0≤ R≤ 1の値を と り 、 1に近いほど一致度 が高いこ と を示す。

また、 実際の内視鏡画像における血管は様々な方向に走行して いる こ とから、 テンプレー ト及び切り 出す画素の方向を例えば図 6 に示す 0° 、 45° 、 90° 及び 135° の 4方向について適用する。 これらの 4方向に対し式 （ 3 ) の正規化相互相関を適用 した結果 をそれぞれ R0、 R45、 R90及び R135とする。

例えば、 図 7 に示すよ う に画像垂直方向に血管像が存在 し、 そ の幅が 5画素である場合には、 W= 5のテンプレー ト を方向 0° にお いて適用 し、 血管とテ ンプ レー 卜が一致する血管中央部で算出 し た正規化相互相関 R0 (W = 5)が最も高い値をと る。 こ の時、 テ ンプ レー ト の一次元移動に対する R0 (W = 5) の値は、 例えば図 8 に示 すよ う なものとなる。 図 8 においては、 R= 1.0となる Xが血管の幅 方向における中央に位置する画素に対応 し、 中央から 1 画素ずれ る毎に段階的に小さ く なる分布となる。

以上によ り 、 例えば K個のテンプレー トを用いた M個の方向のテ ンプレー ト · マ ッチングの適用によ り 、 各画素ごと に KXM個の正 規化相互相関 Rが算出される。 なお、 Dを固定的に設定した場合に おいても各テンプレー トによる正規化相互相関 Rの大小関係は不 変である こ と から、 以降の説明においては簡単のため固定値を設 定するものとする。 '

続く ステ ッ プ S 5 (図 2 ) においては、 ステ ップ S 4 において 算出した正規化相互相関 Rの値に基づき、注目する画素を中心とす る血管が存在しているかど うかを判定する。 判定処理は以下のよ う に行う。

得られた KXM個の Rij (1≤ i≤ K, 1≤ j≤ M) を比較 し、 その最大 値 Rmaxを求める。次に、最大値 Rmaxに対する閾値処理を適用する。 閾値 Th (例えば Th= 0.9とする） に対して Rmax≥ Thであれば、 最大 値 Rmaxに対応する W及び σ をパラメ タ とする血管モデルを対応す る方向 0 において適用 したテンプレー ト との一致度が高く 、 注目 画素を幅方向の中心とする血管が存在している ものと判定する。 血管が存在する と判定した場合にはステ ップ S 6へ 、 そ う でな い場合にはステップ S 7へ進む。 続く ステップ S 6 においては、 ステ ップ S 5 における判定結果を外部記憶手段 7等に保存をする _c この場合の保存は、 例えば以下のテーブル a [k] の結果が保存さ れる。

はじめに、 画像と同 じ大き さ ISXX ISYのテーブル a[ISXX ISY] を用意し、 すべての要素を 0に初期化 しておく 。

k番目 の画素 xkに対するステップ S 3及び S 4 の処理結果にお いて、 Rmax Thであるテ ンプレー ト及び方向が存在した場合には、 対応するテーブル a[k]にテ ンプレー ト及び方向を特定するための 値 t (ただし、 t≠ 0) を代入する。 本実施形態においては tは KXM 個の正規化相互相関 Rijに対して l≤ t≤KXMのよ う に連続する数 値で与える ものとする。 血管が存在しないと判定された場合につ いてはテ'一ブル a[k]は 0のまま となる。

続く ステップ S 7 においては、 画像上の全画素についてステ ツ プ S 4〜 S 6 の処理を適用 したかど う かを判定し、 終了 していな ければステップ S 4 に戻り 、 次の画素 （k番目 の画素 xkから （k + 1) 番目 の画素 x(k+l)へ） に対してステップ S 4〜 S 7 の処理を再度 適用する。 全画素に対する処理の適用が終了 していれば、 ステツ プ S 8 〖こ進む。

ステップ S 8 においては、 ステップ S 6 において作成した血管 抽出結果から、 血管抽出画像を作成する。 具体的には各画素に対 応するテーブル a[k] ( 1≤ k≤ ISXX ISY) の値を参照し、 も し a[k] ≠ 0であれば、 a [k]の値に対応するテンプレー 卜の幅 W及び適用 し た方向 Θ に したがレ、、画素 xkを中心とする幅 Wの線分を当てはめる すべての a[k]に対する線分当てはめを適用 した結果が血管抽出 画像となる。 プロ グラムでの実現においては、 血管抽出画像作成 用 と して大き さ ISXXISYの領域 b[ISXXISY]を用意し、 すべての画 素を 0に初期化の上、 線分の値を 1と して対応する各画素に代入す る

以上に説明 した一連の処理の適用によ り 、 内視鏡画像における 血管を血管の太さ （幅） とぼけの程度によ らず良好に抽出する こ とが可能となる。

なお、 ステップ S 8 において作成した血管抽出画像に対する後 処理と して、 一般的な膨張 · 収縮処理を適用する こ とで、 よ り 滑 らかな処理結果画像を得る こ と も可能である。

また、 ステップ S 8 における血管抽出画像作成において、 隣接 する画素の双方に血管が存在する と判定される こ とが考えられる が、 正規化相互相関 Rmaxが大である画素を採用 し、 一方を除外す る こ と によ り正しい結果を得る こ とができ る。 この場合は、 テー ブル a [ I SX X I SY]に加え、 各画素の Rmaxを記憶するための領域 b [ I SX X I SY]を用意し、 ステップ S 6 において値を代入する。

以上説明 したよ う に、 本実施形態における画像処理方法によれ ば、内視鏡画像から血管抽出画像を良好に作成する こ とができ る。

また、 多階調画像であれば内視鏡以外の画像と して例えば X線 ア ンギオグラフィ画像に対しても適用可能である。 また、 線状の 構造成分 （長さは問わない） であれば適用可能であるため、 抽出 対象は血管に限定される ものではない。

また、 本実施形態においては画像中の全画素に対してテ ンプレ ー ト · マッチングを含む一連の処理を適用 したが、 処理時間の短 縮のために数画素おきに適用する こ と も可能である。

また、 低い値をと る画素が血管である可能性が高いこ とから、 あ らかじめ局所的に低い値を有する画素を探索 し、 得られた画素 に対してのみ適用 してもよい。 この場合は例えば注目画素を中心 とする例えば 3 X 3の領域内で注目画素が最小値をと る場合に処理 対象と設定するこ とができ る。

従って、 本実施形態は以下の効果を有する。

本実施形態によれば、 内視鏡画像等から抽出対象とする血管抽 出画像等を良好に作成する こ とができ る。

(第 2 の実施形態）

次に本発明の第 2 の実施形態を図 9 〜図 1 6 を参照して説明す る。 図 9 〜図 1 6 は本実施形態に係 り 、 図 9 は本実施形態におけ る一連の処理を説明するためのフローチャー ト、 図 1 0 は帯域通 過型フ ィ ルタ の周波数特性を説明するための説明図、 図 1 1 〜図 1 6 は本実施形態における原画像、 処理経過及ぴ処理結果画像を 説明するための説明図である。

本実施形態における一連の画像処理 · 解析は、 第 1 の実施形態 と 同様、 パーソナルコ ンピュータ 1 上で動作するプログラム と し て実現される。 パーソナルコ ン ピュータ 1 の構成については図 1 と 同様であるので、 その説明を省略する。

本実施形態は、特に内視鏡画像における大腸 pi t の構造（以下、 pit patternとする） の抽出に有効な画像処理方法に関する。

内視鏡画像から pit pat ternを抽出 し、 形状等を解析する手法に おいては、 帯域通過フ ィ ルタ リ ング画像への閾値処理を用いた二 値化によ る抽出が行おれる。 しかしながら、 内視鏡画像において は明る さの変化、 色素濃度の違い · むらの発生等によ り 固定的あ るいは画像ごとの閾値設定では安定した抽出ができないとい う 問 題がある。 本実施形態においては、 これらの問題を有する画像に 対しても解析対象となる pitを安定的に抽出でき る画像処理方法 について説明する。

帯域通過フ ィ ルタ リ ング （Band Pass Filtering 以下 BPFと略 記） 処理画像に対し、 画像も しく は関心領域全体に同一の閾値処 理を適用 した場合、 明暗変化、 色素むら等によ り抽出漏れゃ途切 れが生じる。 したがって、 抽出処理における閾値は抽出対象とな る個々の pit に対し局所的かつ適応的に決定する必要がある。 本 実施形態においては、 抽出対象と なる pit を含む個々の領域を局 所的に抽出 し、 各々の領域ごとに最適な閾値を設定する。

本実施形態においては、 高周波数帯域通過特性を有するフ ィ ル タは構造の形状に沿つた抽出画像を得られるがノイ ズ等に弱く 、 低周波数帯域通過特性を有するフ ィ ルタは抽出形状が実際よ り 大 きめとなるがノイ ズ等に強い特性を有する こ と を利用 して、 抽出 対象と ノイズ等の各構造成分を含む領域を分離し、 抽出対象を含 む領域ごと に局所的に閾値設定を行う こ と によ り 良好な抽出結果 画像を得る。

以下、 図 9 に示すフ ローチヤ一卜に基づき画像処理方法を説明 する。 まず、 本実施形態においては原画像と して、 R画像を使用す る （ステ ップ S 1 1 ) 。 図 1 1 に原画像と して内視鏡 R画像の例を 示す。 pit pat tern観察においてはィ ンジゴカノレ ミ ンと呼ばれる色 素（薬剤）を撒布する。色素は粘膜表面の凹部である pitに貯留 し、 青緑系の色調を有する こ とから R画像において最も構造が反映さ れる。

次のステ ップ S 1 2 においては、 第 1 の実施形態における図 2 のステップ S 2及び S 3 と同様にノイ ズ除去及び逆 γ補正を適用 する。 ―

続く ステ ップ S 1 3 においては、 異なる通過周波数帯域特性を 備える帯域通過フィルタ BPF (Lo) 、 BPF (Hi) を適用し、 各々の 処理結果画像を得る。 帯域通過フィルタ BPF (Lo) 、 BPF (Hi) は ラプラシア ン · ガウシアンフィ ルタ等を使用 し、 通過周波数帯域 を相対的に高 （Hi) · 低 （Lo) に設定する。 Hiの通過周波数特性 は抽出 したい構造成分の周波数帯域分布に沿ったものと し、 Loは 例えば Hiの 1 オクターブ低い特性とする。

なお、ラプラ シアン♦ガウシアンフィルタは公知のものであ り 、 文献「ビジ ョ ン， 産業図書， デビッ ド ' マー， pp.58-66」に詳しい ため詳細は省略する。

図 1 0 に本実施形態に使用する帯域通過フ ィ ルタ BPF(Lo) 、 BPF (Hi) の周波数特性例 FLo、 FHiをそれぞれ示す （本来は画像にお ける周波数空間は 2次元であるが、 簡単のため 1 次元化した片側 に対して示している） 。

ステ ップ S 1 4 においては、 帯域通過フィルタ BPF (Lo) 、 BPF (Hi) 各々 の処理結果の画像に対して、 0.0を閾値と し、 二値化処 理をそれぞれ適用する。 得られた二値画像を各々 ResLo及び ResHi と し、 各画素が構造成分と して抽出されていれば 1、 そ う でなけれ ば 0の値を与える。

本実施形態においては色素によ る構造成分は第 1 の実施形態に おける血管と同様に画素値が小と なるため、帯域通過フ ィ ルタ BPF (Lo) 、 BPF (Hi) による結果が 0以下となる画素を構造成分と し て抽出する。 こ こでは負の変動であればすべて抽出するため、 明 喑変化、 色素のむら等による抽出漏れは発生しない。

図 1 1 に示す pit patternを含む内視鏡 R画像の例に対して、 図 9 のステ ツプ S 1 4 によ る二値化処理で得られる ResLo及び ResHi の二値画像の例を図 1 2及び図 1 3 にそれぞれ示す。

ステップ S 1 5 においては、 ResLo及び ResHiの各画素ごとの論 理演算を行い、 抽出対象の構造成分を含む np個の領域 （連結した 画素群） Pi ( 1≤ i≤ np) と nn個のノイ ズ等の領域 Nj ( 1≤ j≤ nn) を抽出する。

こ こで、 各領域 Pi及び Njは二値画像に対する ラベリ ング処理を 適用の上、 個々 の領域を特定するための番号が付与されている も のとする。 ResHi及び ResLo双方で抽出された画素は Pi, ResHiでは 抽出されているが ResLoでは抽出されていない （図 9 において

NotResLoと示す） 画素は Njに含まれる。

図 1 4及び図 1 5 に Pi及び Njの画像例を示す。

次のステ ップ S 1 6 においては、 ステップ S 1 5 で除外しきれ なかったノ イズ等の成分を除外する。 具体的には、 BPF ( Hi ) の処 理結果 ResHiの絶対値において、 個々の Piの平均値 μ Hiと 、 Piの重 心 (cxi, cyi)を中心とする大き さ s X sの近傍画素內に含まれる除 外済みノイ ズ領域 Njの平均値 i Heiと を比較する。構造成分はノィ ズ成分よ り 変動が大である こ とから、例えば μ Hi≤ μ Heiであれば 除外とする。

ステップ S 1 7 においては、 残った Piごとに適切な閾値を設定 し閾値処理、 つま り 再二値化を行う。 閾値の設定は、 例えば大津 の判別分析法を用いる。

さ らに、 このステ ップ S 1 7 の実行後も ノイ ズ領域が残る場合 があるため、 続く ステップ S 1 8での除外処理を適用する。 こ こ では、 まずステ ップ S 1 6 と同様の処理適用による除外処理を再 度適用する。 こ こでは、 除外基準を Hi≤ _W ' ix Hei ( w> 1. 0) と する こ と によ り 、 除外効果を高める。

図 1 6 はステ ッ プ S 1 8 の処理後に抽出された抽出結果画像 (さ らに関心領域を設定し、 輪郭部、 ハ レーショ ン等を除外 した） の例を示す。

以上に説明 した一連の処理によ り 、撮影条件に殆どよ らないで、 つま り 明る さの変化、 色素濃度の違い · むらの発生等がある場合 においても、内視鏡画像から良好な pit抽出画像を得るこ と が可能 となる。

また、本実施形態における画像処理方法は血管像等、 Pit (腺口） 以外の構造成分を抽出対象とする こ と も可能である。

従って、 本実施形態は以下の効果を有する。

本実施形態によれば、 明るさの変化、 色素濃度の違い · むらの 発生等がある場合においても内視鏡画像等から良好な pit抽出画 像を得る こ とが可能と なる。

(第 2の実施形態の変形例）

ResHiに差がないため除外できない領域 P iが存在する場合には、 ステ ップ S 1 8 に続いて色調の違いに基づく 除外処理を加える こ と も可能である。

具体的には pi こは色素が貯留する こ とから色調は青緑の成分 が強く なるこ と を利用 し、 例えば Pi及びその近傍内の Pk (k^ i) について、 ノイズ除去及び逆 γ補正を適用 した R画像及び G画像か ら比 R/G (さ らに Β画像を加え、 R/ (R+G+ Β) を使用 してもよい） を画素ごとに求め、 領域ごとの平均値 ^ rgiと rgkを比較し、 μ rgi> μ rgk (周辺の抽出領域よ り赤い） の場合は除外とする。

従来、 ノイ ズ領域の除外においては二値化抽出後の領域画素数 に対する閾値処理 （小領域の削除） 等が行われていたが、 局所的 な構造成分の色調情報に基づき除外する こ と によ り微小 pit等に 対する誤った除外のない抽出画像を得る こ とができ る。

以上に説明 した一連の処理によ り 、 明る さの変化、 色素濃度の 違い、 むらの発生等がある場合においても内視鏡画像から良好な p i t抽出画像を得る こ とが可能となる。

また、 本実施形態における画像処理方法は血管像等、 P i t以外の 構造成分—を抽出対象とする こ と も可能である。

(第 3 の実施形態）

次に本発明の第 3 の実施形態を図 1 7〜図 1 9 を参照 して説明 する。 図 1 7〜図 1 9'は第 3 の実施形態に係 り 、 図 1 7及び図 1 8 は本実施形態における一連の処理の流れを説明するためのフロ 一チャー ト、 図 1 9 は帯域通過型フィルタの特性例の説明図であ る。

本実施形態においては、 画像解析のための二値化処理において 効率的に最適な処理パラメ タ を設定するための方法について説明 する。 本実施形態における一連の画像処理 · 解析は、 第 1 の実施 形態と 同様、 パーソナルコンピュータ 1 上で動作するプロ グラム と して実現される。 パーソナルコンピュータ 1 の構成については 図 1 と 同様であるので、 その説明は省略する。

内視鏡画像における構造成分抽出のための二値化処理において は、 例えば帯域通過型フ ィルタの周波数特性、 各種閾値等のパラ メ タを設定する必要が生じる。 このよ う な調整は主と して目視に よ る p i t p a t t er n , 血管等の構造成分と二値化結果と の主観的一致 に基づいて行われ、 例えば複数の帯域通過型フ ィルタを適用 し、 二値化結果における抽出漏れの有無、 大き さや太さ等を原画像と 参照しながら各々の閾値設定を変更する。

しかしながら、このよ う な試行錯誤をと もな う調整においては、 画像処理方法の内容によってはパラメ タ及びその組み合わせが膨 大とな り 、 操作者の負担が大きいとい う 問題がある。

本実施形態においては、 あらかじめ内視鏡画像上に抽出対象と なる構造成分を指定した参照用画像を用意 し、 複数のパラメ タの 組合わせによる二値化抽出処理結果との一致度の比較に基づき最 適なパラメ タを設定する方法について説明する。

以下、 図 1 7及び図 1 8 に基づき本実施形態におけるパラメ タ 設定方法を説明する。 本実施形態においては第 2 の実施形態と 同 様に、 抽出対象を內視鏡画像にからのイ ンジゴカルミ ン撒布をと もな う大腸 pit pat ternとする。 また、 帯域通過フ ィ ルタ リ ング ( BPF)及びフィルタ リ ング結果に対する閾値処理による抽出を実 行するものとする。

はじめに、 ステップ S 2 1 において、 原画像と して R画像を入力 し、 第 2 の実施形態における図 9 のステ ップ S 1 2 と同様に、 ス テ ツプ S 2 2 でノイズ除去及ぴ逆 γ補正を適用する。

続く ステ ップ S 2 3 においては、 複数パラメ タ生成を行う。 つ ま り 、 次のステップ S 2 4 における二値画像作成のための処理パ ラメ タ と して、 異なる周波数帯域特性を備える N個 （1 N) の帯域 通過型フ ィ ルタ と 、 P個の抽出用閾値を設定する。

N個の帯域通過型フ ィ ルタ Fi (1≤ i≤N) の周波数特性は、 例え ば N= 3と し、 図 1 9 に示すよ う に、 1 オクターブおきに通過帯域 のピーク を備えるよ う にする。 図 1 9 では簡単化のため、 Fiでそ のフ ィルタ特性を示している。 また、 P個の閾値 Th j (1≤ j≤P) は 例えば Thl = 0.0, Th2= - 1.0, Th2= - 2.0, …， ThP= (一 1.0 XP) と設定する。 以下、 本実施形態においては P= 5と設定する。 続く ステ ップ S 2 4 においては、 ステ ップ S 2 3 において設定 したパラメ タを用いた二値画像 Bi jの作成を行う。図 1 8 にステ ツ プ S 2 4 における二値画像作成処理の詳細を示す。

図 1 8 のステ ップ S 3 1 においては、 ステ ップ S 2 2 において 作成したノ イ ズ除去及び逆 γ補正適用後の R画像を入力する。続く ステ ップ S 3 2 においては、 ステ ップ S 2 3 において設定した Ν 個の帯域通過型フィルタ Fiを用いた帯域通過フィルタ処理 （図 1 8 中では BPFと略記） を適用する。

次のステ ップ S 3 3 においては、 ステ ップ S 3 2 において得ら れた N個の帯域通過フィルタ処理した BPF処理結果画像の各々 に対 し、 ステップ S 2 3 において設定した P個の閾値 Thjを用いた二値 化処理を適用 し、 二値画像 Bijを作成する。

次のステップ S 3 4 に示す NXP個の二値画像 Bij すべてを作 成後、 このステップ S 2 4の処理が終わ り 、 図 1 7 のステ ップ S 2 5 に進む。

ステップ S 2 5 においては、 得られた N X P個の二値画像 Bi j の 各々に対し、 抽出結果一致度を以下のよ う に算出する。

は じめに、 あらかじめ原画像に対し操作者 （診断を行う 医師） が目視によ り 抽出対象となる構造成分を指定した参照用画像を用 意する。 参照用画像の作成は、 例えば一般的な描画 （ペイ ン ト） ソフ ト ウェア等を使用 し、 構造成分 （本実施形態においては大腸 の pit pattern) の形状を 目視状態に則して ト レース及び塗 り つぶ ししたものを使用する。

このと き、 構造成分である こ と を特定するための描画色と して 内視鏡画像における生体粘膜上には通常発生する こ とのない色と して、 例えば RGBの各々 に対して 0, 255, 255 (シアンとなる） を 用いる。 以下、 作成した参照用画像を Sとする。

次いで、 二値画像 Bijの各々 に対し、 参照用画像 Sとの抽出結果 一致度を算出する。 抽出一致度の算出においては、 二値画像 Bij 及び参照用画像 Sとの抽出及び非抽出画素の一致数に基づく 評価 関数を使用する。

本実施形態においてはすべての画素について二値画像 Bi j上で 抽出され、 かつ参照用画像 S上においても画素値が（0, 255, 255) と なっている画素を正し く 抽出されたものと し、 全画素数に対する 割合 j= (Mi j - Li j) / ( ISXX ISY) ( 4 ) を求める。 こ こ で、 M i jは二値画像 B i jと参照用画像 Sの抽出一致画 素数、 L i jは抽出不一致画素数 （一方で抽出され、 他方で抽出され ていない画素数） を示す。

式 （ 4 ) は抽出結果に対する評価関数とな り 、 a i jの値が大で あるほど一致度が高く 適切なパラ メ タである もの と判断でき る。 すべての B i jについて a i jを算出後、ステ ップ S 2 6 に進む。なお、 抽出及び非抽出画素数の一致についてはどち らを優先するかによ り重み付けをと もな う 関数を使用するこ と も考えられるが、 本実 施形態においては等しく 評価するものとする。

ステップ S 2 6 においては各 a i jを比較の上、 最大の a i jを与 える i及び jを特定し、対応する帯域通過型フ ィ ルタ F i及び閾値 Th j を処理パラメ タ と して決定する。

以上において設定した処理パラメ タを用い、 参照用画像以外の 内視鏡画像に対しても二値化処理を適用する こ と によ り 、 複雑な 試行錯誤によるパラメ タの設定をするこ となく 良好な抽出結果画 像を得る こ とが可能となる。

また、 画像ごと に撮像状態に基づく 明暗変化によ るコ ン ト ラ ス 卜の違い、 観察距離 · 倍率の違いによる画像中の構造成分の大き さの違い等が生じ、 適切な閾値や帯域通過型フ ィ ルタの周波数特 性が異なるこ とがある。 このよ う な状況を想定する場合には、 各 条件に応じた代表的なシーンを複数の参照用画像と して用意し、 各々に応 じたパラメ タ設定を行い、 選択的に適用する こ とで同様 に良好な抽出結果画像を得る こ とが可能となる。

従って、 本実施形態は以下の効果を有する。

本実施形態によれば、 複雑な試行錯誤によ るパラ メ タ の設定を する こ となく 良好な抽出結果画像を得る こ とが可能となる。

(第 4 の実施形態）

次に本発明の第 4 の実施形態を図 2 0〜図 2 2 を参照して説明 する。 図 2 0 〜図 2 2 は第 4 の実施形態に係 り 、 図 2 0 は本実施 形態における画像処理方法の対象となる血管所見を説明するため の説明図、図 2 1 は本実施形態における一連の処理内容の説明図、 図 2 2 は本実施形態における特徴量を説明するための説明図であ る。

本実施形態においては、 画像中の構造成分に対する二値化抽出 処理結果画像から病変の判別等に有用と なる特徴量を算出するた めの画像処理方法について説明する。 本実施形態における一連の 画像処理は、 第 1 の実施形態と同様に、 パーソナルコ ンピュータ 1 上で動作するプロ グラムと して実現される。 パーソナルコ ン ビ ユ ータ 1 の構成については図 1 と同様であるので、 その説明は省 略する。

また、 本実施形態における特徴量算出の説明においては、 すで に構造成分が抽出された二値画像に対し、 処理を適用する ものと する。

例えば内視鏡画像中の血管所見においては、 個々の血管形状の 不整が診断上重要となる場合がある。 一般に不整の度合いが増加 するにつれて腫瘍の悪性度、 病変の進行度等が高まるものと され ている。 このよ う な不整所見のひとつに血管の幅の変化があげら れる。

図 2 0 ( A ) に示すよ う に、 ほぼ均一な幅をもつ正常な血管像 に対して、 図 2 0 ( B ) に示す病変部の血管像は広狭の変化をと もな う。 本実施形態においては、 以下に示す一連の処理を適用す る こ と によ り このよ う な広狭の変化を特徴量と して算出する。 以下、 本実施形態における一連の処理について、 図 2 1 を参照 して説明する。 はじめに、 ステ ップ S 4 1 において血管抽出二値 画像を入力する。 本実施形態においては、 血管抽出二値画像を本 発明の第 1 〜第 3 の実施形態において説明 した二値化抽出処理の いずれかを用いる こ と によ り 作成する。

続く ステ ップ S 4 2 においては、 ラベリ ング処理の適用によ り 個々の抽出血管像に対する番号付けを行う。 本実施形態において は K個の領域 Pk ( l≤ k≤ K) が存在する ものとする。

次のステ ッ プ S 4 3 において距離変換 · 骨格処理を適用する。 距離変換 ' 骨格処理は一般にはスケル ト ン呼ばれる画像解析手法 の一つで、 図形の幅の情報の抽出、 形状特徴の抽出等に利用 され る。 距離変換 '骨格の詳細については文献「コンピュータ画像処理 入門、 総研出版、 田村秀行監修， pp . 77 - 80」に詳しいため、 その説 明は省略する。

距離変換 ·骨格処理の適用によ り 、例えば図 2 2 に示すよ う に、 血管像の中心線及び中心線上の M個の画素 Qm ( 1≤ m≤ M ) の位置に 対する血管の幅に相当する距離 Dmを求める こ とができ る。

Mは血管の長さに依存し、二値化された領域が円である場合には M = lとなる ものである。 実際には画素 Qm及び距離 Dmはラベリ ング された K個の領域の各々について各 Mk個ずつ算出されるため、各々 を Qkm及び Dkmとする。

続く ステップ S 4 4 においてはステ ッ プ S 4 3 において得られ た中心線上の画素 Qm及び距離 Dmに基づき、幅不整評価値 Vを算出す る。 本実施形態においてはすべての Qmにおける距離 Dmの標準偏差 も評価値と し、

と なる。 こ こ で、 n Dは D kmの平均値を示す。 Vの値が大であるほど 広狭の変動が大きいこ とを示してお り 、 正常及び病変の各症例画 像群から算出 した教師データを用いての識別器 （例えば線形判別 関数， ニューラルネ ッ ト ワーク等） に適用する こ と ができ る。 以上説明 したよ う に、 本実施形態における一連の画像処理方法 の適用によ り 、 画像中の構造成分に対する二値化抽出処理結果画 像から不整をと もな う病変の判別等に有用 となる特徴量を算出す る こ とが-可能と なる。

なお、 以上の説明においては内視鏡画像における血管像を例と したが、 本実施形態において算出する幅に関する特徴量が有用と なる処理 ·解析対象はこれらに限定される も のではなく 、 大腸 p i t 画像、 あるいは X線アンギオグラ フィ画像に対しても適用可能で ある。

従って、 本実施形態は以下の効果を有する。

本実施形態によれば、 画像中の構造成分に対する二値化抽出処 理結果画像から不整をと もな う病変の判別等に有用 となる特徴量 を算出する こ とが可能となる。

(第 5 の実施形態）

次に本発明の第 5 の実施形態を図 2 3 を参照 して説明する。 本 実施形態においては、 内視鏡画像中の血管像から病変の判別等に 有用と なる特徴量を算出するための画像処理方法について説明す る。よ り詳しく は、 RGBの 3 つの画像からなる内視鏡画像において、 各々に対する画像処理を適用 し、 得られた複数の特徴量を用いる こ と こ と を特徴と している。

生体粘膜下を走行する血管は粘膜下に存在する深さが異なって いる。 すなわち、 粘膜下の深い部位を走行する太い血管、 中間的 な部位を走行する血管及び表層に近い部位を走行する細かい血管 に大き く 分ける こ とができ る。 一方、 内視鏡画像を構成する RGB 画像の各々 は、 照射光の波長が Rが最も長く 、 Bが最も短く なつて レ、る。

生体粘膜においては波長の長い光が最も深部に到達し、 短い光 ほど表層に近い部位において吸収される こ とが知られている。 一 般に色素等を用いない通常の内視鏡画像に対する画像処理等は G 画像に対し適用 される力 本実施形態においては前述の理由から R 画像中に存在する よ り深い部位の血管及び B画像中に存在する よ り浅い部位の血管に関する特徴量を算出する こ とで、 血管像によ る病変の分類等によ り有用な画像処理方法について説明する。 本実施形態における一連の画像処理は、第 1 の実施形態と 同様、 パーソナルコ ン ピュータ 1 上で動作するプロ グラムと して実現さ れる。 パーソナルコンピュータ 1 の構成については図 1 と同様で あるので、 その説明は省略する。

また、 本実施形態における特徴量算出の説明においては、 すで に構造成分が抽出された二値画像に対し、 処理を適用する ものと する。

図 2 3 のフ ローチャー トを参照して説明する。 はじめに、 ステ ップ S 5 1 において RGB各々 に対する血管抽出二値画像を入力す る。 本実施形態における血管抽出二値画像は本発明の第 1 〜 3 の 実施形態において説明 した二値化抽出処理のいずれかを R、G及び B の各画像に対して適用する こ と によ り作成するこ とができる。 以 下、 ステ ップ S 5 2 〜 S 5 4 における一連の処理を各画像ごと に 適用する。

続く ステップ S 5 2 〜 S 5 4 においては、 各々本発明の第 4 の 実施形態において説明 した図 2 1 におけるステップ S 4 2 〜 S 4 4 と同様の処理の適用によ り 、 RGB各画像ごとの幅不整評価値 Vr、 V g及び V bを算出する。

ステップ S 5 5 において得られた V r、 V g及び V bを画像処理対象 と した内視鏡画像の血管像に対する特徴べク トルと して処理を終 了する。

特徴ベク トル （Vr、 V g , V b) を正常及び病変の各症例画像群か ら算出 した教師データ を用いての識別器 （例えば線形判別関数、 ニューラルネ ッ ト ワーク等） に適用する こ と によ り 、 存在する深 さの異なる血管に関する構造成分に関する情報を得られる こ と 力 ら、 V gのみを使用する場合よ り も精度の高い分類結果を得る こ と が可能となる。

なお、本実施形態においては算出する特徴量と して第 4 の実施形 態に示した幅不整評価値 Vを例に説明 したが、異なる波長の光によ り得られた粘膜下における存在する深さの異なる血管の情報を特 微量化し、 特徴べク トルと して識別処理等に使用するこ とが重要 な点となっている。 じたがって、 他の特徴量と して例えば二値化 抽出画像に対する細線化の適用によ り 、 分岐 · 交差点数等の他の 特徴量を使用する こ と も可能である。

従って、 本実施形態は以下の効果を有する。

本実施形態によれば、 生体粘膜下に存在する深さの異なる血管 に関する構造成分に関する情報を得る こ と によ り 、 有用な特徴量 を算出する こ とが可能となる。

(第 6 の実施形態）

次に本発明の第 6 の実施形態を説明する。 本実施形態において は、 RGBの 3 つの画像からなる内視鏡画像に対し、 各画像に含まれ る構造成分によ り 血管の色調差が生じている場合においても良好 な血管抽出結果を得る こ とが可能である画像処理方法について説 明する。

血管像の抽出においては、 G画像に対する処理の適用が一般的で あるが、 RGB (カ ラー） 画像上で青く 見える血管は R画像にその構 造成分が反映されている こ とから良好な抽出結果が得られない場 合がある。これは、本発明の第 5 の実施例における説明と 同様に、 粘膜下における血管が存在する深さの違い等による ものと考えら れている。

本実施形態においては、 R及び G画像の各々 に対する抽出処理を 適用 し、 その結果を合成する こ と によ り 良好な血管抽出画像を得 る こ と を可能とする。

本実施形態においては R及び G画像の各々に対する帯域通過型フ ィルタ リ ングによ る BPF処理結果画像及び閾値処理を用いた二値 化抽出処理を基本と し、 BPF処理結果画像を得る までの一連の処理 については他の実施形態と共通するので説明は省略する。

以下の説明においては、 R及び G画像の各々の BPF処理結果画像を それぞれ Br及び Bgとする。 また、 Br及び Bgにおける各画素を、各々 Br (X, y)及び Bg (x, y) ( 1≤ x≤ ISX, 1≤ y≤ ISY) とする。

BPF処理結果画像 Br及び Bgについて、 以下の合成画像 Brgを作成 する。

Brg (x, y) = a X Br (x, y) + β X Bg (x, y) ( 6 ) こで、 α及ぴ ]3 は以下のよ う に定める =0, β =1 ifBr(x,y)>Thr,

(7)

10, β =10 olse (ifBr(x,y)≤Thr) こ こで、 Thrは Brに血管像を反映する構造成分が存在しているか ど うかを判定するための閾値で、 例えば Thr = — 1. 0 と定める （血 管構造は負の変動のため、 符号が一 となつている） 。

式 （ 7 ) は Br (x, y)において構造成分が含まれていない場合には a = 0とする こ とによ り G画像のみを、 含まれている場合には a = β = 1. 0とするこ と によ り R及び G画像双方の構造成分を合成する ための係数となる。

以上、 式 （ 6 ) 及び （ 7 ) によ り 、 合成 BPF画像 Brgは画素ごと に R及び G画像の各々 に存在する構造成分を漏らすこ となく 抽出し たものとなる。 最後に、 Brg (x， y) に対し閾値処理を適用する こ と によ り 二値画像を作成する。

以上説明 したよ う に、 本実施形態における画像処理方法の適用 によ り 、 各画像に含まれる構造成分によ り生じる血管の色調差が 存在する場合においても良好な血管抽出結果を得る こ とが可能と なる。

なお、 —上述した各実施形態を部分的に組み合わせて構成される 実施形態等も本発明に属する。

なお、 本発明は上述した実施形態に限定される も のではなく 、 本発明の主旨を逸脱じない範囲内において種々 の変形や応用が可 能であるこ とは勿論である。 産業上の利用可能性

以上説明 したよ う に本発明によれば、 血管像、 pit pattern等の 抽出対象と なる構造部分を良好に抽出するこ とができ る。

関連出願へのク ロ ス リ フ ァ レンス

本出願は、 2 0 0 2年 1 2月 5 日 に 日本国に出願された特願 2 0 0 2 - 3 5 4 2 9 0号を優先権主張の基礎と して出願する もの であ り 、 上記の開示内容は、 本願明細書、 請求の範囲、 図面に引 用されたものとする。

Claims

請求の範囲

1 . 画像処理方法は以下を含む ；

画像を入力する入力ステップと、

前記画像中の所定の構造成分をモデル化したテンプレー 卜 と前 記入カステ ップで入力 された画像と のマ ツチングを行い、 この画 像中の抽出対象とする構造成分を抽出する抽出ステップ。

2 . ク レーム 1 の画像処理方法において、

前記テ ンプレー トを用いたマッチングによ り 、 前記抽出対象と する構造成分の前記入力された画像中の位置を特定する位置特定 ステ ップを更に有し、

前記抽出ステ ップでは、 前記位置特定ステ ップてのマ ッ チング 結果に基つき前記抽出対象とする構造成分を抽出する。

3 . ク レーム 1 の画像処理方法において、

前記テ ンプレー トは前記構造部分の画素幅及び変動の大き さに 基づき決定される。

4 . ク レーム 3 の画像処理方法において、

前記テ ンプレー トを複数種設定し、

前記複数のテンプレー トを用いたマッチングの結果を評価する 評価ステ ップを更に有し、

前記評価ステ ッ プでの評価結果に基づき前記構造成分を抽出す る。

5 . ク レーム 1 の画像処理方法において、

前記構造成分が生体粘膜観察画像における血管である と と もに 前記テンプレー トか画像上の血管の幅及びコン ト ラス トに基づ き決定される。

6 . ク レーム 2 の画像処理方法において、

前記構造成分の存在する位置及びテンプレー トに基づき構造成 分抽出画像を作成する抽出画像作成ステ ップをさ らに備える。

7 . ク レーム 4 の画像処理方法において、

前記マッチングは前記テンプレー 卜 と画像の局所的な相関演算 である と と もに、 前記相関演算結果によ り もつ と も高い相関をす るテンプレー トに対応する構造成分を抽出する。

8 . ク レーム 7 の画像処理方法において、

前記相関演算が正規化相互相関である。

9 . ク レーム 1 の画像処理方法において，

前記テ ンプレー トは大き さ N X 1 ， N≥ 3 の一次元形状である と と もに、 前記マッチングを画像に対する複数の方向に対して適 用する。

1 0 . 画像処理方法は以下を含む ；

画像を入力する入力ステップと、

前記入力ステ ッ プで入力された画像画像に第 1 の領域抽出処理 を適用する こ とによ り 1 個以上の第 1 の領域群を抽出する第 1 の 抽出ステ ップと 、

前記第 1 の領域群を構成する領域ごと に第 2 の領域抽出処理を 適用する こ と によ り第 2 の領域群を抽出する第 2 の抽出ステ ッ プ

1 1 . ク レーム 1 0 の画像処理方法において、

前記第 1 の抽出ステップでは抽出を行う画像中の構造成分を冗 長に含む領域群を抽出 し、

前記第 2 の抽出ステ ップでは前記第 1 の領域群から不要な構造 成分を除外した領域群を抽出する。

1 2 . ク レーム 1 0 の画像処理方法において、

前記第 1 の抽出ステ ップでは、 第 1 の通過周波数帯域特性を有 する第 1 のフ ィ ルタ リ ングの結果に基づく 第 1 の 2値画像と、 第 2 の通過周波数帯城特性を有する第 2 のフ ィ ルタ リ ングの結果に 基づく 第 2 の 2値画像の論理演算に基づく領域抽出を行う

1 3 . ク レーム 1 2 の画像処理方法において、

前記論理演算は前記第 1 のフ ィ ルタ リ ングの結果に基づく 第 1 の 2値画像において抽出された領域群の各領域を、 所望する構造 成分を含む領域及び含まない領域に分離する。

1 4 . ク レーム 1 3 の画像処理方法において、

前記第 1 の通過周波数帯域特性は画像中の構造成分に基づき定 められる と と もに、

前記第 2 の通過周波数帯域特性は前記第 1 の通過周波数帯域特 性よ り相対的に低い周波帯域を通過する よ う に定められる。

1 5 . ク レーム 1 3 の画像処理方法において、

前記論理演算は、 前記第 1 及び第 2 のフ ィ ルタ リ ング結果に基 づく 各々の 2値画像において双方において抽出された画素を前記 第 1 の領域群と して抽出する。

1 6 . ク レーム 1 5 の画像処理方法において、

前記第 2 の抽出ステ ッ プでは、 前記第 1 の領域抽出結果におけ る抽出領域ごと に対応する前記第 1 のフ ィ ルタ リ ングの結果に対 してのしきい値処理によ り領域を抽出する。

1 7 . 画像処理方法は以下を含む ；

画像に-対し第 1 及び第 2 の帯域通過型フ ィ ルタ リ ングを適用す る フ イ ノレタ リ ングステ ップと 、

前記第 1 及び第 2 の帯域通過型フィルタ リ ングの結果から第 1 及び第 2 の 2値画像を作成する第 1 の 2値画像生成ステ ッ プと 、 前記第 1 及び第 2 の 2値画像に対する論理演算に基づき前記画 像中の抽出する構造成分を含む第 1 の領域群と含まない第 2 の領 域群と を特定する領域.群特定ステップと、

前記領域群特定ステ ップで特定された前記第 2 の領域群に基づ き前記第 1 の領域群から所望の構造成分を再抽出する再抽出ステ ップと、

前記第 1 の領域群を構成する各領域ごとに 2値画像を作成する 第 2 の 2値画像生成ステ ップ

1 8 . 画像処理方法は以下を含む ；

画像を入力する入力ステ ッ プと 、

前記入力ステ ップで入力された画像中の抽出対象とする構造成 分を特定する情報を含む参照用画像を入力する参照画像入力ステ ップと、

前記構造成分を抽出するための処理のパラメータを複数作成す るパラメ ータ作成ステップと、

前記パラメータ作成ステ ップで作成された前記複数のパラメ一 タを用いて前記入力された画像に対する前記構造成分抽出のため の処理を適用する こ と によ り複数の抽出画像を作成する抽出画像 作成ステ ッ プと 、

前記抽出画像作成ステ ップで作成された前記複数の抽出画像の 各々における抽出結果と前記参照用画像における構造成分との一 致度を比較する比較ステ ッ プと 、

前記比較ステ ップでの比較結果に基づき一致度の高いパラメ一 タを特定するパラメータ特定ステップ。

1 9 . ク レーム 1 8 の画像処理方法において、

前記抽出処理は 2値化処理である。

2 0 . 画像処理方法は以下を含む ；

画像を入力する入力ステ ッ プと 、

前記入力ステ ップで入力した画像から所定の構造成分を抽出す る抽出ステップと、

前記抽出ステ ップで抽出 した構造成分の幅に基づく 特徴量を算 出する特徴量算出ステップ。

2 1 . ク レーム 2 0 の画像処理方法において、

前記抽出ステ ップでの抽出は前記画像の所定の構造成分に対す る 2値画像を作成する 2値画像作成ステップを含むと と もに、 前記構造成分の幅は前記 2値画像に対する距離変換 ， 骨格処理 の適用結果に基づく 。

2 2 . ク レーム 2 0 の画像処理方法において、

前記特徴量は、 前記構造成分の幅の変動の大小を評価する数値 である。

2 3 . ク レーム 2 2 の画像処理方法において、

前記数値は標準偏差または分散である。

2 4 . 画像処理方法は以下を含む ；

複数の色信号からなる画像を入力する入力ステップと、 前記入力ステ ッ プで入力 した画像を構成する複数の色信号の少 なく と も 2つから所望の構造成分を抽出する抽出ステ ッ プと 、 前記抽出ステップで抽出した構造成分に基づく 特徴量の組を算 出する算出ステ ッ プ。

2 5 . ク レーム 2 4 の画像処理方法において、

前記抽出ステ ッ プでの抽出は構造成分に対する 2値画像を作成 する 2値画像作成ステ ップを含むと と もに、

前記算出ステ ッ プにおける特徴量の算出は、 前記 2値画像に基 づく 特徴量の組を算出する。

2 6 . 画像処理方法は以下を含む ；

複数の色信号からなる画像を入力する入力ステ ッ プと 、 前記入力ステップで入力 した画像を構成する複数の色信号の少 なく と も 2つから所望の構造成分を抽出する抽出ステ ッ プと 、 前記抽出ステ ッ プで抽出した構造成分を合成する合成ステ ッ プ と 、

前記合成ステ ッ プでの合成の結果に基つく 特徴量を算出する算 出ステ ップ。

2 7 . ク レーム 2 6 の画像処理方法において、

前記合成ステップでの合成は前記構造成分の局所的な値に基づ く 合成を行う。

2 8 . ク レーム 1 の画像処理方法において、

前記入力ステ ッ プで入力する画像は内視鏡画像である。

2 9 . ク レーム 1 の画像処理方法において、

前記構造成分が画像における血管または腺口である。

3 0 . 画像処理装置は以下を含む ；

画像を入力する入力部と、

前記画像中の所定の構造成分をモデル化 したテ ンプレー ト と前 記入力ステップで入力された画像とのマ ッチンク を行い、 この画 像中の抽出対象とする構造成分を抽出する抽出部。

3 1 . ク レーム 3 0 の画像処理装置は、

前記テンプレー トを用いたマッチングによ り 、 前記抽出対象と する構造成分の前記入力された画像中の位置を特定する位置特定 部を更に有し、

前記抽出部は、 前記位置特定部によ るマッチング結果に基づき 前記抽出対象とする構造成分を抽出する。