JP4409166B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4409166B2 JP4409166B2 JP2002354290A JP2002354290A JP4409166B2 JP 4409166 B2 JP4409166 B2 JP 4409166B2 JP 2002354290 A JP2002354290 A JP 2002354290A JP 2002354290 A JP2002354290 A JP 2002354290A JP 4409166 B2 JP4409166 B2 JP 4409166B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- structural component
- blood vessel
- extraction
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は内視鏡画像等に対して特徴量を評価し易くする等の画像処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
【０００３】
これらの内視鏡装置を用いた最終的な診断は医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれている。
【０００４】
内視鏡診断支援装置は画像内における関心領域（ＲＯＩ）から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。
【０００５】
特徴量は内視鏡画像上の様々な所見を反映した数値であり、画像処理手法の適用により得られるものである。例えば「発赤により粘膜表面が赤い」といった色調に関する所見を特徴量化する場合には、内視鏡画像を構成するRGB各データを用いて、R／（R＋G＋B）を各画素ごとに求め、その平均値を特徴量として使用することができる（この特徴量は一般に色度と呼ばれる）。また、近年内視鏡分野においては胃粘膜血流量を反映した色調の特徴量として、３２ｌｏｇ２（R／G）により得られるヘモグロビン指標が広く用いられている。
【０００６】
さらに、透見血管像に見られる血管の拡張・蛇行や胃小区の形態の大小・不整度・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見も種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法の適用により特徴量として数値化することができる。このような特徴量算出においては、特許第２９１８１６２号公報に示されている手法がある。
【０００７】
近年においては、公知のＧａｂｏｒフィルタを用いて算出されるＧａｂｏｒ特徴に対し内視鏡画像への適用のための改良を加えた空間周波数解析手法により、粘膜表面構造の細かさ、粘膜表面構造が呈する模様の方向性等を特徴量として数値化する内視鏡画像処理方法がある。
【０００８】
また、複数の異なる所見から得た各特徴量を組み合わせて特徴ベクトルとして用いることにより、より複雑かつ正確な診断の支援を行うことができる。内視鏡診断支援装置の精度向上においては、重要な内視鏡画像所見を数値化するための高精度の特徴量算出手法が非常に重要であるといえる。
【０００９】
このような内視鏡診断支援装置及び特徴量算出手法の例として、特開平１０−１４８６４号公報がある。
【００１０】
【特許文献１】
特許第２９１８１６２号公報
【００１１】
【特許文献２】
特開平１０−１４８６４号公報
【００１２】
【発明が解決しようとする課題】
内視鏡観察における診断上重要な所見として、病変形状・大きさ、粘膜色調、透見血管像及び粘膜表面構造（pit等により構成される模様像）があげられる。本発明は、これらの所見の中で透見血管像及び粘膜表面構造に対する画像処理方法に関するものである。
【００１３】
透見血管像が重要な所見となる疾病としては、例えば潰瘍性大腸炎があげられ、炎症の程度、寛解の判定等において重要なものとなっている。
【００１４】
また、最近の内視鏡装置においては、高画質化、固体撮像素子（CCD等）の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察（ズーミング）機能を有する拡大内視鏡の登場により、粘膜表面の極めて微細な毛細血管像や胃・大腸の腺口（pit）構造が明瞭に観察されるようになっている。
【００１５】
従来組織標本を実体顕微鏡下で観察していたのと同レベルの生体像を内視鏡下で臨床検査時に観察することが可能となり、それらの微細構造観察所見を用いた新たな診断学が消化管及び気管支分野において盛んに研究・確立されてきている。
【００１６】
このような例としては、
文献１（H.Inoue，MAGNIFICATION ENDOSCOPY IN THE ESOPHAGUS AND STOMACH，Digestive Endoscopy，JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY，Vol.13,Supplement,July 2001, pp.S40-S41）に示された食道粘膜の微小血管像（Interpapillary capillary loop，IPCL）における形態変化による食道腫瘍性病変（腺腫、がん）の診断。
【００１７】
文献２（K.Yagi，ENDOSCOPIC FEATURES AND MAGNIFIED VIEWS OF THE CORPUS IN THE HELICOBACTER PYLORI-NEGATIVE STOMACH，Digestive Endoscopy，JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY，Vol.13,Supplement,July 2001, pp.S34-S35）における胃集合細静脈観察によるヘリコバクタピロリ感染診断。
【００１８】
文献３（K.Yao他，MICROGASTROSCOPIC FINDINGS OF MUCOSAL MICROVASCULAR ARCHITECTURE AS VISUALIZED BY MAGNIFYING ENDOSCOPY，Digestive Endoscopy，JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY，Vol.13,Supplement,July 2001, pp.S27-S33）における胃微細血管像観察による粘膜萎縮及び腫瘍性病変種別診断。
【００１９】
文献４（工藤進英，陥凹型早期大腸癌，日本メディカルセンター，1996，pp.33-40）におけるpit pattern分類を用いた大腸腫瘍性病変診断。
【００２０】
文献５（渋谷 潔 他，拡大気管支ビデオスコープを用いたBronchial Dysplasiaの微細観察，第22巻 第8号，2000年12月，pp.613-616）における気管支の微細血管網観察による気管支炎・がんに対する診断。
【００２１】
があげられる。
【００２２】
一方、これらの内視鏡所見に対する診断は医師の主観判断に基づくものであることから、経験及び知識の違いにより診断結果が異なる可能性があるという問題があり、画像処理による定量的かつ客観的な診断支援情報の提供が望まれている。
【００２３】
より具体的には、血管、pit等の構造を画像から抽出し、その形態、大きさ、均一性、規則性等を様々な画像処理方法の適用により数値化（特徴量と呼ばれる）し、線形判別関数、ニューラルネットワーク等の識別器を用いることで客観的診断支援を実現する。
【００２４】
また、本出願人においては例えば特許第２９１８１６２号において二値化処理を用いた画像処理・解析手法を開示している。
【００２５】
しかしながら、二値化等による構造抽出をともなう画像処理方法の内視鏡画像への適用においては、以下のような問題があった。
【００２６】
内視鏡画像は観察距離・角度が一定ではなく、さらに観察対象が曲面形状を有する場合も多々あることから画像中の明暗変化が大きい。また、大腸pit pattern観察像においてはpitの明瞭化のために一般にインジゴカルミンあるいはクリスタルバイオレット等に代表される色素・染色剤を撒布するが、染色濃度が異なったり、撒布むら（pitでない間質部にまで色素が残ってしまう状態）が発生する場合がある。
【００２７】
二値化処理においては一般に閾値処理を実行するが、これらの理由から固定的な閾値を用いることは困難である。また、画像ごとに閾値を変更（文字認識分野等で研究されている）しても、明暗変化や色素の撒布状態により、画像内の局所ごとに抽出結果に違いが現われ、抽出漏れ等が発生することがあるという問題がある。
【００２８】
（発明の目的）
本発明はこれらの問題を鑑みてなされたもので、血管像、pit pattern等の（内視鏡）画像中の抽出対象となる構造部分を良好に抽出することができる画像処理装置を提供することを目的とする。
【００２９】
また、血管像、pit pattern等の（内視鏡）画像中の抽出対象となる構造部分を画像の撮像条件によらず良好に抽出することができる画像処理装置を提供することも目的とする。
【００３０】
さらに、高精度の診断支援情報を実現する特徴量算出のための画像処理装置を併せて提供することを目的とする。
【００３１】
【課題を解決するための手段】
本発明の第１の画像処理装置は、内視鏡画像を入力する内視鏡画像入力手段と、前記内視鏡画像から所望の構造成分を抽出するためのデータであって、抽出対象の構造成分のモデルに基づくテンプレートデータを格納する記憶手段と、前記内視鏡画像における各画素に対して前記記憶手段に格納された前記テンプレートデータとの相関量の算出を行い、当該相関量に基づいて該当する構造成分の当該内視鏡画像中の位置を特定する位置特定手段と、前記位置特定手段により前記内視鏡画像中の位置が特定された構造成分を抽出する構造成分抽出手段と、を具備し、前記テンプレートデータは構造成分の画素幅及び当該画素幅方向における画素値の変化量に基づき決定されることを特徴とする。
また、本発明の第２の画像処理装置は、第１の画像処理装置において、前記構造成分が生体粘膜観察画像における血管またはｐｉｔ ｐａｔｔｅｒｎであるとともに、前記テンプレートデータが画像上の血管またはｐｉｔ ｐａｔｔｅｒｎの幅及びコントラストに基づき決定されることを特徴とする。
さらに、本発明の第３の画像処理装置は、第１または第２の画像処理装置において、前記構造成分の存在する位置及びテンプレートデータに基づき構造成分抽出画像を作成する構造成分抽出画像作成手段をさらに備えたことを特徴とする。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３３】
（第１の実施の形態）
図１ないし図８は本発明の第１の実施の形態に係り、図１は本実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を説明するための構成図、図２は本実施の形態における画像処理方法の内容を説明するためのフローチャート、図３は血管像を説明するための説明図、図４は本実施の形態における血管モデルを説明するための説明図、図５はテンプレートの作成例を説明するための説明図、図６はテンプレート・マッチングにおける１次元方向の組合わせ例を説明するための説明図、図７及び図８はテンプレート・マッチングによる血管位置の判定を説明するための説明図である。
【００３４】
本発明の第１の実施の形態は、特に内視鏡画像における樹枝状の血管像の抽出に有効な画像処理方法に関する。以下、図面を参照して本実施の形態における画像処理方法について説明する。
【００３５】
内視鏡画像における透見血管像は、様々な太さの血管が樹枝のような構造を呈するものがある。これは、ドレナージ血管と呼ばれる太い血管と、そこから分岐する細い血管により構成されている。
【００３６】
これらの血管は太さのみでなく粘膜下に存在する深さも異なることから鮮鋭度（一般に深い程ぼけて見える）にも違いが生じている。このような血管像に対して、以下に説明する一連の抽出処理を適用する。そして、抽出対象となる構造部分としての血管像を良好に抽出して、客観的な診断支援ができるようにする。
【００３７】
なお、本発明における内視鏡画像は大きさ（横×縦の画素数）がISX×ISY、RGBの３（色成分）画像から構成され、R、G及びBの各画像はそれぞれ0から255の値からなる8ビットの階調を備えるものとする。
【００３８】
本実施の形態における一連の画像処理方法は、パーソナルコンピュータ上で動作するプログラムとして実現される。図１は本実施の形態に用いるパーソナルコンピュータ及び周辺機器等の構成の説明図である。
【００３９】
パーソナルコンピュータ１は、CPUである演算手段２と、データ格納や作業エリアに使用されるメインメモリ３と、プログラム等を記憶するプログラム記憶手段４（本実施の形態においてはハードディスク（図１ではHDと略記）であるものとする）を備えると共に、CRT等の表示手段５と、マウス、キーボード等の入力手段６と、光磁気ディスク（MO）ドライブ等の外部記憶手段７とが接続されている。
【００４０】
また、ネットワークアダプタ８等を介してLAN（Local Area Network）等の外部ネットワーク９に接続されている。また、この外部ネットワーク９には内視鏡検査を行う内視鏡装置１１や、内視鏡装置１１による内視鏡検査の画像データをファイリング等する画像ファイリング装置１２が接続されている。
【００４１】
そしてパーソナルコンピュータ１は、外部ネットワーク９を介して画像ファイリング装置１２或いは内視鏡装置１１等から画像データの取得を行うことができるようになっている。
【００４２】
このパーソナルコンピュータ１は、プログラム記憶手段４に記憶されたプログラムをメインメモリ３に読み込み、演算手段２において実行する。
【００４３】
また、画像処理対象となる画像データは、ファイルとして外部記憶手段７からオフラインもしくは外部ネットワーク９を経由したオンラインでの取得が可能となっている。また、プログラム記憶手段４が十分な容量を備える場合には、プログラムと同様にパーソナルコンピュータ１内に保存することも可能となっている。
【００４４】
本実施の形態では、例えばプログラム記憶手段４を形成するハードディスクには、後述するように入力される画像から抽出対象とする構造部分をモデル化した血管モデル等のテンプレートを格納している。
【００４５】
そして、演算手段２を形成するCPUにより、画像中の各画素に対してテンプレートを用い、テンプレートとの相関量を算出する演算処理を行い、相関が高いものからその位置を特定して、その構造部分を抽出する。つまりテンプレートマッチングを行うことにより、抽出対象とする構造部分を抽出する。この場合、テンプレートのパラメータの値を変更することにより、複数の異なるテンプレートを用意して、異なる形状、サイズの抽出対象に対しても抽出ができるようにしている。
【００４６】
図２は本実施の形態における画像処理方法による処理内容を説明するためのフローチャートである。
【００４７】
始めに、ステップＳ１においてパーソナルコンピュータ１の演算手段２は、画像ファイリング装置１２等から取り込む原画像としてG画像（成分）を入力する。通常の（色素、染色剤等を使用しない）内視鏡画像においては、血管像、粘膜表面模様等の構造成分は、主に粘膜内の血液による光の吸収変動により構成される。
【００４８】
より詳しくは、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造成分は一般にG画像に多く含まれることが知られている。具体的には血液量が多いほど吸収が大きく、G画像の画素の値は低くなり、少ないほど吸収されず反射されることから画素の値は高くなる。
【００４９】
次のステップＳ２においては、前処理としてランダムノイズ等に対するノイズ除去処理を適用する。本実施の形態においては公知のメディアンフィルタリング（注目画素を含むマスク内の画素値を大きさで並べ替え、中央値で注目画素の値を置き換える）を大きさ３×３の画素サイズで適用する。
【００５０】
次のステップＳ３においては逆γ補正を適用する。γ補正は、画像をモニタ等に表示する際に視覚的に線形な階調を与えるために適用された非線形処理であり、逆γ補正はこれを元の線形階調に戻すものである。
【００５１】
続くステップＳ４においては、テンプレートを用いたマッチング、つまりテンプレート・マッチングによる血管抽出処理を適用する。以下、本ステップ４におけるテンプレート・マッチングの詳細について説明する。
【００５２】
内視鏡画像における血管像に対して、例えば図３に示すように１次元方向（ｘ方向）で画素値の変動を抽出して切り出しした場合、図４に示す半楕円（もしくは半円）に類した形状（以下、単に半楕円形状とする）にモデル化（以下、これを血管モデルと称する）することができる。
【００５３】
したがって、半楕円形状を規定するW及びDをパラメタとしたテンプレートを作成し、相関が大である画素を抽出することで血管位置を特定し、抽出することができる。また、血管の幅については該当するテンプレートのパラメタWから決定することができる。図４における半楕円形状の関数は、xを１次元方向で見た画素の座標、yを画素値として
【数１】
と表すことができる。
【００５４】
ここで、W及びDはそれぞれ図４における血管モデルの半楕円形状の幅及び深さを規定するパラメタ、kは固定的に与える実数で内視鏡画像に対しては例えば15とする。さらに、実際の内視鏡画像においては焦点外れ等から様々なぼけが加わることから、式（１）から得られる血管モデルに対してガウシアン関数
【数２】
を用いた平滑化処理（ディジタル画像における畳み込み演算によるフィルタリング。なお、畳み込み演算については公知技術であるため説明は省略する）を適用する。
【００５５】
ここで、σはガウシアン関数における標準偏差で、ぼけの強さを規定するパラメタとして使用され、σが大であるほど強くぼける効果を有する。さらに、本実施の形態においては、後述するマッチングにおける画像の明るさの違いによる影響を除外するために、対数変換によってy方向のスケール変換（濃度変換）を適用する。
【００５６】
撮像時の光量の違いは画素値に対して乗算項として影響を与えるが、対数変換により加算項として分離され、影響を縮小することができ、血管抽出精度をより高めることが可能となる。つまり、対数変換によるスケール変換を適用することにより、撮影条件に殆ど依らないで血管像等を良好に抽出できるようにしている。
【００５７】
次に、作成した血管モデルをステップＳ４におけるテンプレート・マッチングでのテンプレートとして使用するための離散化を行う。本実施の形態においては、連続関数値である血管モデルをテンプレート１要素（画像に対しては画素に相当する）あたり１０個のサブ要素となるよう一旦離散化し、さらにサブ要素値１０個の平均値を算出することにより離散化されたテンプレートを作成する（平均化により、テンプレートの要素間の変動を滑らかにする効果を与える）。
【００５８】
さらに、実際の血管像は様々な幅（太さ）、深さ（画素値の変動の大きさ）を備えるため、W、Dの組合わせを変更することにより複数のテンプレートを作成する。また、ぼけの程度の変化に対してはσの変更によるテンプレートの追加が可能である。
【００５９】
図５にW及びσの変更により得られるテンプレートの例を示す。なお、ここではD＝50に固定している。図５においては、W=1〜5 (step(刻み) 1.0)、σ=0.0〜4.0 (step 1.0)の各組み合わせのテンプレートを示している。テンプレートのサイズはW及びσに応じて適宜変更し、本実施の形態においてはテンプレートの両端においてy≒0.0 となる画素位置に1画素分の余裕を持たせたるものとする。
【００６０】
続いて、上記テンプレートを用いたテンプレート・マッチングについて説明する。マッチングは画像f上の各画素に対して上記テンプレートを畳み込み演算と同様に重畳し、
【数３】
で示される正規化相互相関Rを算出することにより実行する（正規化相互相関については公知技術であるため説明は省略する）。
【００６１】
ここで、Nはテンプレートのサイズ、fx(i) は画像からテンプレートに合わせて１次元で切り出したN個の中の i 番目の画素、fxMはfx(i)の平均値、t(i)はテンプレートのi番目の要素の値、tMはt(i)の平均値である。Rは0≦R≦1の値をとり、1に近いほど一致度が高いことを示す。
【００６２】
また、実際の内視鏡画像における血管は様々な方向に走行していることから、テンプレート及び切り出す画素の方向を例えば図６に示す0°、45°、90°及び135°の４方向について適用する。これらの４方向に対し式（３）の正規化相互相関を適用した結果をそれぞれR0、R45、R90及びR135とする。
【００６３】
例えば、図７に示すように画像垂直方向に血管像が存在し、その幅が５画素である場合には、W＝5のテンプレートを方向0°において適用し、血管とテンプレートが一致する血管中央部で算出した正規化相互相関R0(W＝5)が最も高い値をとる。この時、テンプレートの一次元移動に対するR0(W＝5) の値は、例えば図８に示すようなものとなる。図８においては、R＝1.0となるxが血管の幅方向における中央に位置する画素に対応し、中央から１画素ずれる毎に段階的に小さくなる分布となる。
【００６４】
以上により、例えばK個のテンプレートを用いたM個の方向のテンプレート・マッチングの適用により、各画素ごとにK×M個の正規化相互相関Rが算出される。なお、Dを固定的に設定した場合においても各テンプレートによる正規化相互相関Rの大小関係は不変であることから、以降の説明においては簡単のため固定値を設定するものとする。
【００６５】
続くステップＳ５（図２）においては、ステップＳ４において算出した正規化相互相関Rの値に基づき、注目する画素を中心とする血管が存在しているかどうかを判定する。判定処理は以下のように行う。
【００６６】
得られたK×M個のRij（1≦i≦K，1≦j≦M）を比較し、その最大値Rmaxを求める。次に、最大値Rmaxに対する閾値処理を適用する。閾値Th（例えばTh＝0.9とする）に対してRmax≧Thであれば、最大値Rmaxに対応するW及びσをパラメタとする血管モデルを対応する方向θにおいて適用したテンプレートとの一致度が高く、注目画素を幅方向の中心とする血管が存在しているものと判定する。
【００６７】
血管が存在すると判定した場合にはステップＳ６へ、そうでない場合にはステップＳ７へ進む。続くステップＳ６においては、ステップＳ５における判定結果を外部記憶手段７等に保存をする。この場合の保存は、例えば以下のテーブルａ［k］の結果が保存される。
【００６８】
はじめに、画像と同じ大きさISX×ISYのテーブルa[ISX×ISY]を用意し、すべての要素を0に初期化しておく。
【００６９】
k番目の画素xkに対するステップＳ３及びＳ４の処理結果において、Rmax≧Thであるテンプレート及び方向が存在した場合には、対応するテーブルa[k]にテンプレート及び方向を特定するための値t（ただし、t≠0）を代入する。本実施の形態においてはtはK×M個の正規化相互相関Rijに対して1≦t≦K×Mのように連続する数値で与えるものとする。血管が存在しないと判定された場合についてはテーブルa[k]は0のままとなる。
【００７０】
続くステップＳ７においては、画像上の全画素についてステップＳ４ないしＳ６の処理を適用したかどうかを判定し、終了していなければステップＳ４に戻り、次の画素（k番目の画素xkから(k+1)番目の画素x(k+1)へ）に対してステップＳ４ないしＳ７の処理を再度適用する。全画素に対する処理の適用が終了していれば、ステップＳ８に進む。
【００７１】
ステップＳ８においては、ステップＳ６において作成した血管抽出結果から、血管抽出画像を作成する。具体的には各画素に対応するテーブルa[k]（1≦k≦ISX×ISY）の値を参照し、もしa[k]≠0であれば、a[k]の値に対応するテンプレートの幅W及び適用した方向θにしたがい、画素xkを中心とする幅Wの線分を当てはめる。
【００７２】
すべてのa[k]に対する線分当てはめを適用した結果が血管抽出画像となる。プログラムでの実現においては、血管抽出画像作成用として大きさISX×ISYの領域b[ISX×ISY]を用意し、すべての画素を0に初期化の上、線分の値を1として対応する各画素に代入する。
【００７３】
以上に説明した一連の処理の適用により、内視鏡画像における血管を血管の太さ（幅）とぼけの程度によらず良好に抽出することが可能となる。
【００７４】
なお、ステップＳ８において作成した血管抽出画像に対する後処理として、一般的な膨張・収縮処理を適用することで、より滑らかな処理結果画像を得ることも可能である。
【００７５】
また、ステップＳ８における血管抽出画像作成において、隣接する画素の双方に血管が存在すると判定されることが考えられるが、正規化相互相関Rmaxが大である画素を採用し、一方を除外することにより正しい結果を得ることができる。この場合は、テーブルa[ISX×ISY]に加え、各画素のRmaxを記憶するための領域b[ISX×ISY]を用意し、ステップＳ６において値を代入する。
【００７６】
以上説明したように、本実施の形態における画像処理方法によれば、内視鏡画像から血管抽出画像を良好に作成することができる。
【００７７】
また、多階調画像であれば内視鏡以外の画像として例えばＸ線アンギオグラフィ画像に対しても適用可能である。また、線状の構造成分（長さは問わない）であれば適用可能であるため、抽出対象は血管に限定されるものではない。
【００７８】
また、本実施の形態においては画像中の全画素に対してテンプレート・マッチングを含む一連の処理を適用したが、処理時間の短縮のために数画素おきに適用することも可能である。
【００７９】
また、低い値をとる画素が血管である可能性が高いことから、あらかじめ局所的に低い値を有する画素を探索し、得られた画素に対してのみ適用してもよい。この場合は例えば注目画素を中心とする例えば3×3の領域内で注目画素が最小値をとる場合に処理対象と設定することができる。
【００８０】
従って、本実施の形態は以下の効果を有する。
【００８１】
本実施の形態によれば、内視鏡画像等から抽出対象とする血管抽出画像等を良好に作成することができる。
【００８２】
（第２の実施の形態）
次に本発明の第２の実施の形態を図９ないし図１６を参照して説明する。図９ないし図１６は本実施の形態に係り、図９は本実施の形態における一連の処理を説明するためのフローチャート、図１０は帯域通過型フィルタの周波数特性を説明するための説明図、図１１ないし図１６は本実施の形態における原画像、処理経過及び処理結果画像を説明するための説明図である。
【００８３】
本実施の形態における一連の画像処理・解析は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明を省略する。
本実施の形態は、特に内視鏡画像における大腸pit の構造（以下、pit patternとする）の抽出に有効な画像処理方法に関する。
【００８４】
内視鏡画像からpit patternを抽出し、形状等を解析する手法においては、帯域通過フィルタリング画像への閾値処理を用いた二値化による抽出が行われる。しかしながら、内視鏡画像においては明るさの変化、色素濃度の違い・むらの発生等により固定的あるいは画像ごとの閾値設定では安定した抽出ができないという問題がある。本実施の形態においては、これらの問題を有する画像に対しても解析対象となるpitを安定的に抽出できる画像処理方法について説明する。
【００８５】
帯域通過フィルタリング（Band Pass Filtering、以下BPFと略記）処理画像に対し、画像もしくは関心領域全体に同一の閾値処理を適用した場合、明暗変化、色素むら等により抽出漏れや途切れが生じる。したがって、抽出処理における閾値は抽出対象となる個々のpit に対し局所的かつ適応的に決定する必要がある。本実施の形態においては、抽出対象となるpit を含む個々の領域を局所的に抽出し、各々の領域ごとに最適な閾値を設定する。
【００８６】
本実施の形態においては、高周波数帯域通過特性を有するフィルタは構造の形状に沿った抽出画像を得られるがノイズ等に弱く、低周波数帯域通過特性を有するフィルタは抽出形状が実際より大きめとなるがノイズ等に強い特性を有することを利用して、抽出対象とノイズ等の各構造成分を含む領域を分離し、抽出対象を含む領域ごとに局所的に閾値設定を行うことにより良好な抽出結果画像を得る。
【００８７】
以下、図９に示すフローチャートに基づき画像処理方法を説明する。まず、本実施の形態においては原画像として、R画像を使用する（ステップＳ１１）。図１１に原画像として内視鏡R画像の例を示す。pit pattern観察においてはインジゴカルミンと呼ばれる色素（薬剤）を撒布する。色素は粘膜表面の凹部であるpitに貯留し、青緑系の色調を有することからR画像において最も構造が反映される。
【００８８】
次のステップＳ１２においては、第１の実施の形態における図２のステップＳ２及びＳ３と同様にノイズ除去及び逆γ補正を適用する。
【００８９】
続くステップＳ１３においては、異なる通過周波数帯域特性を備える帯域通過フィルタBPF（Lo）、BPF（Hi）を適用し、各々の処理結果画像を得る。帯域通過フィルタBPF（Lo）、BPF（Hi）はラプラシアン・ガウシアンフィルタ等を使用し、通過周波数帯域を相対的に高（Hi）・低（Lo）に設定する。Hiの通過周波数特性は抽出したい構造成分の周波数帯域分布に沿ったものとし、Loは例えばHiの１オクターブ低い特性とする。
【００９０】
なお、ラプラシアン・ガウシアンフィルタは公知のものであり、文献「ビジョン，産業図書，デビッド・マー，pp.58-66」に詳しいため詳細は省略する。
【００９１】
図１０に本実施の形態に使用する帯域通過フィルタBPF（Lo）、BPF（Hi）の周波数特性例FLo、FHiをそれぞれ示す（本来は画像における周波数空間は２次元であるが、簡単のため１次元化した片側に対して示している）。
【００９２】
ステップＳ１４においては、帯域通過フィルタBPF（Lo）、BPF（Hi）各々の処理結果の画像に対して、0.0を閾値とし、二値化処理をそれぞれ適用する。得られた二値画像を各々ResLo及びResHiとし、各画素が構造成分として抽出されていれば1、そうでなければ0の値を与える。
【００９３】
本実施の形態においては色素による構造成分は第１の実施の形態における血管と同様に画素値が小となるため、帯域通過フィルタBPF（Lo）、BPF（Hi）による結果が0以下となる画素を構造成分として抽出する。ここでは負の変動であればすべて抽出するため、明暗変化、色素のむら等による抽出漏れは発生しない。
図１１に示すpit patternを含む内視鏡R画像の例に対して、図９のステップＳ１４による二値化処理で得られるResLo及びResHiの二値画像の例を図１２及び図１３にそれぞれ示す。
【００９４】
ステップＳ１５においては、ResLo及びResHiの各画素ごとの論理演算を行い、抽出対象の構造成分を含むnp個の領域（連結した画素群）Pi（1≦i≦np）とnn個のノイズ等の領域Nj（1≦j≦nn）を抽出する。
【００９５】
ここで、各領域Pi及びNjは二値画像に対するラベリング処理を適用の上、個々の領域を特定するための番号が付与されているものとする。ResHi及びResLo双方で抽出された画素はPi，ResHiでは抽出されているがResLoでは抽出されていない（図９においてNotResLoと示す）画素はNjに含まれる。 図１４及び図１５にPi及びNjの画像例を示す。
【００９６】
次のステップＳ１６においては、ステップＳ１５で除外しきれなかったノイズ等の成分を除外する。具体的には、BPF（Hi）の処理結果ResHiの絶対値において、個々のPiの平均値μHiと、Piの重心(cxi，cyi)を中心とする大きさs×sの近傍画素内に含まれる除外済みノイズ領域Njの平均値μHeiとを比較する。構造成分はノイズ成分より変動が大であることから、例えばμHi≦μHeiであれば除外とする。
【００９７】
ステップＳ１７においては、残ったPiごとに適切な閾値を設定し閾値処理、つまり再二値化を行う。閾値の設定は、例えば大津の判別分析法を用いる。
【００９８】
さらに、このステップＳ１７の実行後もノイズ領域が残る場合があるため、続くステップＳ１８での除外処理を適用する。ここでは、まずステップＳ１６と同様の処理適用による除外処理を再度適用する。ここでは、除外基準をμHi≦w・μHei（w＞1.0）とすることにより、除外効果を高める。
【００９９】
図１６はステップＳ１８の処理後に抽出された抽出結果画像（さらに関心領域を設定し、輪郭部、ハレーション等を除外した）の例を示す。
【０１００】
以上に説明した一連の処理により、撮影条件に殆どよらないで、つまり明るさの変化、色素濃度の違い・むらの発生等がある場合においても、内視鏡画像から良好なpit抽出画像を得ることが可能となる。
【０１０１】
また、本実施の形態における画像処理方法は血管像等、pit（腺口）以外の構造成分を抽出対象とすることも可能である。
【０１０２】
従って、本実施の形態は以下の効果を有する。
【０１０３】
本実施の形態によれば、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像等から良好なpit抽出画像を得ることが可能となる。
【０１０４】
（第２の実施の形態の変形例）
ResHiに差がないため除外できない領域Piが存在する場合には、ステップＳ１８に続いて色調の違いに基づく除外処理を加えることも可能である。
【０１０５】
具体的にはpitには色素が貯留することから色調は青緑の成分が強くなることを利用し、例えばPi及びその近傍内のPk（k≠i）について、ノイズ除去及び逆γ補正を適用したR画像及びG画像から比R/G（さらにB画像を加え、R／（R＋G＋B）を使用してもよい）を画素ごとに求め、領域ごとの平均値μrgiとμrgkを比較し、μrgi＞μrgk（周辺の抽出領域より赤い）の場合は除外とする。
【０１０６】
従来、ノイズ領域の除外においては二値化抽出後の領域画素数に対する閾値処理（小領域の削除）等が行われていたが、局所的な構造成分の色調情報に基づき除外することにより微小pit等に対する誤った除外のない抽出画像を得ることができる。
【０１０７】
以上に説明した一連の処理により、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像から良好なpit抽出画像を得ることが可能となる。
【０１０８】
また、本実施の形態における画像処理方法は血管像等、pit以外の構造成分を抽出対象とすることも可能である。
【０１０９】
（第３の実施の形態）
次に本発明の第３の実施の形態を図１７ないし図１９を参照して説明する。図１７ないし図１９は第３の実施の形態に係り、図１７及び図１８は本実施の形態における一連の処理の流れを説明するためのフローチャート、図１９は帯域通過型フィルタの特性例の説明図である。
【０１１０】
本実施の形態においては、画像解析のための二値化処理において効率的に最適な処理パラメタを設定するための方法について説明する。本実施の形態における一連の画像処理・解析は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１１１】
内視鏡画像における構造成分抽出のための二値化処理においては、例えば帯域通過型フィルタの周波数特性、各種閾値等のパラメタを設定する必要が生じる。このような調整は主として目視によるpit pattern、血管等の構造成分と二値化結果との主観的一致に基づいて行われ、例えば複数の帯域通過型フィルタを適用し、二値化結果における抽出漏れの有無、大きさや太さ等を原画像と参照しながら各々の閾値設定を変更する。
【０１１２】
しかしながら、このような試行錯誤をともなう調整においては、画像処理方法の内容によってはパラメタ及びその組み合わせが膨大となり、操作者の負担が大きいという問題がある。
【０１１３】
本実施の形態においては、あらかじめ内視鏡画像上に抽出対象となる構造成分を指定した参照用画像を用意し、複数のパラメタの組合わせによる二値化抽出処理結果との一致度の比較に基づき最適なパラメタを設定する方法について説明する。
【０１１４】
以下、図１７及び図１８に基づき本実施の形態におけるパラメタ設定方法を説明する。本実施の形態においては第２の実施の形態と同様に、抽出対象を内視鏡画像にからのインジゴカルミン撒布をともなう大腸pit patternとする。また、帯域通過フィルタリング（BPF）及びフィルタリング結果に対する閾値処理による抽出を実行するものとする。
【０１１５】
はじめに、ステップＳ２１において、原画像としてR画像を入力し、第２の実施形態における図９のステップＳ１２と同様に、ステップＳ２２でノイズ除去及び逆γ補正を適用する。
【０１１６】
続くステップＳ２３においては、複数パラメタ生成を行う。つまり、次のステップＳ２４における二値画像作成のための処理パラメタとして、異なる周波数帯域特性を備えるN個（1≦N）の帯域通過型フィルタと、P個の抽出用閾値を設定する。
【０１１７】
N個の帯域通過型フィルタFi（1≦i≦N）の周波数特性は、例えばN＝3とし、図１９に示すように、１オクターブおきに通過帯域のピークを備えるようにする。図１９では簡単化のため、Fiでそのフィルタ特性を示している。また、P個の閾値Thj（1≦j≦P）は例えば Th1＝0.0，Th2＝−1.0，Th2＝−2.0，…，ThP＝（−1.0×P）と設定する。以下、本実施の形態においてはP＝5と設定する。
【０１１８】
続くステップＳ２４においては、ステップＳ２３において設定したパラメタを用いた二値画像Bijの作成を行う。図１８にステップＳ２４における二値画像作成処理の詳細を示す。
【０１１９】
図１８のステップＳ３１においては、ステップＳ２２において作成したノイズ除去及び逆γ補正適用後のR画像を入力する。続くステップＳ３２においては、ステップＳ２３において設定したN個の帯域通過型フィルタFiを用いた帯域通過フィルタ処理（図１８中ではBPFと略記）を適用する。
【０１２０】
次のステップＳ３３においては、ステップＳ３２において得られたN個の帯域通過フィルタ処理したBPF処理結果画像の各々に対し、ステップＳ２３において設定したP個の閾値Thjを用いた二値化処理を適用し、二値画像Bijを作成する。
【０１２１】
次のステップＳ３４に示すN×P個の二値画像 Bij すべてを作成後、このステップＳ２４の処理が終わり、図１７のステップＳ２５に進む。
【０１２２】
ステップＳ２５においては、得られたN×P個の二値画像 Bij の各々に対し、抽出結果一致度を以下のように算出する。
【０１２３】
はじめに、あらかじめ原画像に対し操作者（診断を行う医師）が目視により抽出対象となる構造成分を指定した参照用画像を用意する。参照用画像の作成は、例えば一般的な描画（ペイント）ソフトウェア等を使用し、構造成分（本実施の形態においては大腸のpit pattern）の形状を目視状態に則してトレース及び塗りつぶししたものを使用する。
【０１２４】
このとき、構造成分であることを特定するための描画色として内視鏡画像における生体粘膜上には通常発生することのない色として、例えばRGBの各々に対して0，255，255（シアンとなる）を用いる。以下、作成した参照用画像をSとする。
【０１２５】
次いで、二値画像Bijの各々に対し、参照用画像Sとの抽出結果一致度を算出する。抽出一致度の算出においては、二値画像Bij及び参照用画像Sとの抽出及び非抽出画素の一致数に基づく評価関数を使用する。
【０１２６】
本実施の形態においてはすべての画素について二値画像Bij上で抽出され、かつ参照用画像S上においても画素値が(0,255,255) となっている画素を正しく抽出されたものとし、全画素数に対する割合
αij＝（Mij−Lij）／（ISX×ISY） （４）
を求める。ここで、Mijは二値画像Bijと参照用画像Sの抽出一致画素数、Lijは抽出不一致画素数（一方で抽出され、他方で抽出されていない画素数）を示す。
【０１２７】
式（４）は抽出結果に対する評価関数となり、αijの値が大であるほど一致度が高く適切なパラメタであるものと判断できる。すべてのBijについてαijを算出後、ステップＳ２６に進む。なお、抽出及び非抽出画素数の一致についてはどちらを優先するかにより重み付けをともなう関数を使用することも考えられるが、本実施の形態においては等しく評価するものとする。
【０１２８】
ステップＳ２６においては各αijを比較の上、最大のαijを与えるi及びjを特定し、対応する帯域通過型フィルタFi及び閾値Thjを処理パラメタとして決定する。
【０１２９】
以上において設定した処理パラメタを用い、参照用画像以外の内視鏡画像に対しても二値化処理を適用することにより、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【０１３０】
また、画像ごとに撮像状態に基づく明暗変化によるコントラストの違い、観察距離・倍率の違いによる画像中の構造成分の大きさの違い等が生じ、適切な閾値や帯域通過型フィルタの周波数特性が異なることがある。このような状況を想定する場合には、各条件に応じた代表的なシーンを複数の参照用画像として用意し、各々に応じたパラメタ設定を行い、選択的に適用することで同様に良好な抽出結果画像を得ることが可能となる。
【０１３１】
従って、本実施の形態は以下の効果を有する。
【０１３２】
本実施の形態によれば、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【０１３３】
（第４の実施の形態）
次に本発明の第４の実施の形態を図２０ないし図２２を参照して説明する。図２０ないし図２２は第４の実施の形態に係り、図２０は本実施の形態における画像処理方法の対象となる血管所見を説明するための説明図、図２１は本実施の形態における一連の処理内容の説明図、図２２は本実施の形態における特徴量を説明するための説明図である。
【０１３４】
本実施の形態においては、画像中の構造成分に対する二値化抽出処理結果画像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。本実施の形態における一連の画像処理は、第１の実施の形態と同様に、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１３５】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【０１３６】
例えば内視鏡画像中の血管所見においては、個々の血管形状の不整が診断上重要となる場合がある。一般に不整の度合いが増加するにつれて腫瘍の悪性度、病変の進行度等が高まるものとされている。このような不整所見のひとつに血管の幅の変化があげられる。
【０１３７】
図２０（Ａ）に示すように、ほぼ均一な幅をもつ正常な血管像に対して、図２０（B）に示す病変部の血管像は広狭の変化をともなう。本実施の形態においては、以下に示す一連の処理を適用することによりこのような広狭の変化を特徴量として算出する。
【０１３８】
以下、本実施の形態における一連の処理について、図２１を参照して説明する。はじめに、ステップＳ４１において血管抽出二値画像を入力する。本実施の形態においては、血管抽出二値画像を本発明の第１ないし第３の実施の形態において説明した二値化抽出処理のいずれかを用いることにより作成する。
【０１３９】
続くステップＳ４２においては、ラベリング処理の適用により個々の抽出血管像に対する番号付けを行う。本実施の形態においてはK個の領域Pk（1≦k≦K）が存在するものとする。
【０１４０】
次のステップＳ４３において距離変換・骨格処理を適用する。距離変換・骨格処理は一般にはスケルトン呼ばれる画像解析手法の一つで、図形の幅の情報の抽出、形状特徴の抽出等に利用される。距離変換・骨格の詳細については文献「コンピュータ画像処理入門、総研出版、田村秀行監修，pp.77-80」に詳しいため、その説明は省略する。
【０１４１】
距離変換・骨格処理の適用により、例えば図２２に示すように、血管像の中心線及び中心線上のM個の画素Qm（1≦m≦M）の位置に対する血管の幅に相当する距離Dmを求めることができる。
【０１４２】
Mは血管の長さに依存し、二値化された領域が円である場合にはM＝1となるものである。実際には画素Qm及び距離DmはラベリングされたK個の領域の各々について各Mk個ずつ算出されるため、各々をQkm及びDkmとする。
【０１４３】
続くステップＳ４４においてはステップＳ４３において得られた中心線上の画素Qm及び距離Dmに基づき、幅不整評価値Vを算出する。本実施の形態においてはすべてのQmにおける距離Dmの標準偏差を評価値とし、
【数５】
となる。ここで、μDはDkmの平均値を示す。Vの値が大であるほど広狭の変動が大きいことを示しており、正常及び病変の各症例画像群から算出した教師データを用いての識別器（例えば線形判別関数，ニューラルネットワーク等）に適用することができる。
【０１４４】
以上説明したように、本実施の形態における一連の画像処理方法の適用により、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【０１４５】
なお、以上の説明においては内視鏡画像における血管像を例としたが、本実施の形態において算出する幅に関する特徴量が有用となる処理・解析対象はこれらに限定されるものではなく、大腸pit画像、あるいはＸ線アンギオグラフィ画像に対しても適用可能である。
【０１４６】
従って、本実施の形態は以下の効果を有する。
【０１４７】
本実施の形態によれば、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【０１４８】
（第５の実施の形態）
次に本発明の第５の実施の形態を図２３を参照して説明する。本実施の形態においては、内視鏡画像中の血管像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。より詳しくは、RGBの３つの画像からなる内視鏡画像において、各々に対する画像処理を適用し、得られた複数の特徴量を用いることことを特徴としている。
【０１４９】
生体粘膜下を走行する血管は粘膜下に存在する深さが異なっている。すなわち、粘膜下の深い部位を走行する太い血管、中間的な部位を走行する血管及び表層に近い部位を走行する細かい血管に大きく分けることができる。一方、内視鏡画像を構成するRGB画像の各々は、照射光の波長がRが最も長く、Bが最も短くなっている。
【０１５０】
生体粘膜においては波長の長い光が最も深部に到達し、短い光ほど表層に近い部位において吸収されることが知られている。一般に色素等を用いない通常の内視鏡画像に対する画像処理等はG画像に対し適用されるが、本実施の形態においては前述の理由からR画像中に存在するより深い部位の血管及びB画像中に存在するより浅い部位の血管に関する特徴量を算出することで、血管像による病変の分類等により有用な画像処理方法について説明する。
【０１５１】
本実施の形態における一連の画像処理は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１５２】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【０１５３】
図２３のフローチャートを参照して説明する。はじめに、ステップＳ５１においてRGB各々に対する血管抽出二値画像を入力する。本実施の形態における血管抽出二値画像は本発明の第１ないし３の実施の形態において説明した二値化抽出処理のいずれかをR、G及びBの各画像に対して適用することにより作成することができる。以下、ステップＳ５２ないしＳ５４における一連の処理を各画像ごとに適用する。
【０１５４】
続くステップＳ５２ないしＳ５４においては、各々本発明の第４の実施の形態において説明した図２１におけるステップＳ４２ないしＳ４４と同様の処理の適用により、RGB各画像ごとの幅不整評価値Vr、Vg及びVbを算出する。
【０１５５】
ステップＳ５５において得られたVr、Vg及びVbを画像処理対象とした内視鏡画像の血管像に対する特徴ベクトルとして処理を終了する。
【０１５６】
特徴ベクトル (Vr、Vg，Vb) を正常及び病変の各症例画像群から算出した教師データを用いての識別器（例えば線形判別関数、ニューラルネットワーク等）に適用することにより、存在する深さの異なる血管に関する構造成分に関する情報を得られることから、Vgのみを使用する場合よりも精度の高い分類結果を得ることが可能となる。
【０１５７】
なお、本実施の形態においては算出する特徴量として第４の実施の形態に示した幅不整評価値Vを例に説明したが、異なる波長の光により得られた粘膜下における存在する深さの異なる血管の情報を特徴量化し、特徴ベクトルとして識別処理等に使用することが重要な点となっている。したがって、他の特徴量として例えば二値化抽出画像に対する細線化の適用により、分岐・交差点数等の他の特徴量を使用することも可能である。
【０１５８】
従って、本実施の形態は以下の効果を有する。
【０１５９】
本実施の形態によれば、生体粘膜下に存在する深さの異なる血管に関する構造成分に関する情報を得ることにより、有用な特徴量を算出することが可能となる。
【０１６０】
（第６の実施の形態）
次に本発明の第６の実施の形態を説明する。本実施の形態においては、RGBの３つの画像からなる内視鏡画像に対し、各画像に含まれる構造成分により血管の色調差が生じている場合においても良好な血管抽出結果を得ることが可能である画像処理方法について説明する。
【０１６１】
血管像の抽出においては、G画像に対する処理の適用が一般的であるが、RGB（カラー）画像上で青く見える血管はR画像にその構造成分が反映されていることから良好な抽出結果が得られない場合がある。これは、本発明の第５の実施例における説明と同様に、粘膜下における血管が存在する深さの違い等によるものと考えられている。
【０１６２】
本実施の形態においては、R及びG画像の各々に対する抽出処理を適用し、その結果を合成することにより良好な血管抽出画像を得ることを可能とする。
【０１６３】
本実施の形態においてはR及びG画像の各々に対する帯域通過型フィルタリングによるBPF処理結果画像及び閾値処理を用いた二値化抽出処理を基本とし、BPF処理結果画像を得るまでの一連の処理については他の実施の形態と共通するので説明は省略する。
【０１６４】
以下の説明においては、R及びG画像の各々のBPF処理結果画像をそれぞれBr及びBgとする。また、Br及びBgにおける各画素を、各々Br(x,y)及びBg(x,y)（1≦x≦ISX，1≦y≦ISY）とする。
【０１６５】
BPF処理結果画像Br及びBgについて、以下の合成画像Brgを作成する。
【０１６６】
Brg(x,y)＝α×Br(x,y)＋β×Bg(x,y) （６）
ここで、α及びβは以下のように定める。
【０１６７】
【数７】
ここで、ThrはBrに血管像を反映する構造成分が存在しているかどうかを判定するための閾値で、例えばThr＝−1.0 と定める（血管構造は負の変動のため、符号が−となっている）。
【０１６８】
式（７）はBr(x,y)において構造成分が含まれていない場合にはα＝0とすることによりG画像のみを、含まれている場合にはα＝β＝1.0とすることによりR及びG画像双方の構造成分を合成するための係数となる。
【０１６９】
以上、式（６）及び（７）により、合成BPF画像Brgは画素ごとにR及びG画像の各々に存在する構造成分を漏らすことなく抽出したものとなる。最後に、Brg(x,y) に対し閾値処理を適用することにより二値画像を作成する。
【０１７０】
以上説明したように、本実施の形態における画像処理方法の適用により、各画像に含まれる構造成分により生じる血管の色調差が存在する場合においても良好な血管抽出結果を得ることが可能となる。
【０１７１】
なお、上述した各実施の形態を部分的に組み合わせて構成される実施の形態等も本発明に属する。
【０１７２】
［付記］
１．画像を入力するステップと、
前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、
前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、
前記マッチングの結果に基づき構造成分を抽出するステップと、
からなることを特徴とする画像処理方法。
【０１７３】
２．前記テンプレートは構造成分の画素幅及び変動の大きさに基づき決定されることを特徴とする付記１記載の画像処理方法。
【０１７４】
３．前記テンプレートを複数種用意するとともに、
前記複数のテンプレートを用いたマッチングの結果を評価するステップと、
前記評価の結果に基づき構造成分を抽出することを特徴とする付記２記載の画像処理方法。
【０１７５】
４．前記構造成分が生体粘膜観察画像における血管であるとともに
前記テンプレートが画像上の血管の幅及びコントラストに基づき決定されることを特徴とする付記１、２または３いずれか一つに記載の画像処理方法。
【０１７６】
５．前記構造成分の存在する位置及びテンプレートに基づき構造成分抽出画像を作成するステップをさらに備えたことを特徴とする付記１、２、３または４いずれか一つに記載の画像処理方法。
【０１７７】
６．前記マッチングは前記テンプレートと画像の局所的な相関演算であるとともに、
前記相関演算結果によりもっとも高い相関を有するテンプレートに対応する構造成分を抽出することを特徴とする付記５記載の画像処理方法。
【０１７８】
７．前記相関演算が正規化相互相関であることを特徴とする画像処理方法。
【０１７９】
８．前記テンプレートは大きさN×１、N≧3の１次元形状であるとともに、
前記マッチングを画像に対する複数の方向に対して適用することを特徴とする付記１、２、３、４、５、６または７いずれか一つに記載の画像処理方法。
【０１８０】
９．画像を入力するステップと
前記画像から第１の領域抽出処理を適用することにより１個以上の第１の領域群を抽出するステップと、
前記第１の領域群を構成する各領域ごとに第２の領域抽出処理を適用することにより第２の領域群を抽出するステップと、
からなることを特徴とする画像処理方法。
【０１８１】
１０．前記第１の領域抽出処理は抽出を所望する画像中の構造成分を冗長に含む領域群を抽出し、
前記第２の領域抽出処理は前記第１の領域群から不要な構造成分を除外した領域群を抽出することを特徴とする付記９記載の画像処理方法。
【０１８２】
１１．前記第１の領域抽出処理は、第１の通過周波数帯域特性を有する第１のフィルタリング結果に基づく第１の二値画像と第２の通過周波数帯域特性を有する第２のフィルタリングの結果に基づく第２の二値画像の論理演算に基づく領域抽出を行うことを特徴とする付記１０記載の画像処理方法。
【０１８３】
１２．前記論理演算は前記第１のフィルタリング結果に基づく第１の二値画像において抽出された領域群の各領域を、所望する構造成分を含む領域及び含まない領域に分離することを特徴とする付記１１記載の画像処理方法。
【０１８４】
１３．前記第１の通過周波数帯域特性は画像中の構造成分に基づき定められるとともに、
前記第２の通過周波数帯域特性は前記第１の通過周波数帯域特性より相対的に低い周波数帯域を通過するように定められることを特徴とする付記１２記載の画像処理方法。
【０１８５】
１４．前記論理演算は前記第１及び第２のフィルタリング結果に基づく各々の二値画像において双方において抽出された画素を前記第１の領域群として抽出することを特徴とする付記１３記載の画像処理方法。
【０１８６】
１５．前記第２の領域抽出処理は、前記第１の領域抽出結果における各抽出領域ごとに対応する前記第１のフィルタリング結果に対しての閾値処理により領域を抽出することを特徴とする付記１４記載の画像処理方法。
【０１８７】
１６．画像に対し第１及び第２の帯域通過型フィルタリングを適用するステップと、
前記第１及び第２の帯域通過型フィルタリング結果から第１及び第２の二値画像を作成するステップと、
前記第１及び第２の二値画像に対する論理演算に基づき抽出を所望する構造成分を含む第１の領域群と含まない第２の領域群とを特定するステップと、
前記第２の領域群に基づき前記第１の領域群から所望する構造成分を再抽出するステップと、
前記第１の領域群を構成する各領域ごとに二値画像を作成するステップと、
からなることを特徴とする画像処理方法。
【０１８８】
１７．画像を入力するステップと、
抽出を所望する前記画像中の構造成分を特定する情報を含む参照用画像を入力するステップと、
前記構造成分を抽出するための処理のパラメタを複数作成するステップと、
前記複数のパラメタを用いて前記画像に対する前記構造成分抽出のための処理を適用することにより複数の抽出画像を作成するステップと、
前記複数の抽出画像の各々における抽出結果と前記参照用画像における構造成分との一致度を比較するステップと、
前記比較結果に基づき一致度の高いパラメタを特定するステップと、
からなることを特徴とする画像処理パラメタ設定方法。
【０１８９】
１８．前記抽出処理は二値化処理であることを特徴とする付記１７記載の画像処理パラメタ設定方法。
【０１９０】
１９．画像を入力するステップと、
前記画像から構造成分を抽出するステップと、
前記抽出した構造成分の幅に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９１】
２０．前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記構造成分の幅は前記二値画像に対する距離変換・骨格処理の適用結果に基づくものであることを特徴とする付記１９記載の画像処理方法。
【０１９２】
２１．前記特徴量は前記構造成分の幅の変動の大小を評価する数値であることを特徴とする付記２０記載の画像処理方法。
【０１９３】
２２．前記数値は標準偏差または分散であることを特徴とする付記２１記載の画像処理方法。
【０１９４】
２３．複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも２つから所望する構造成分を抽出するステップと、
前記抽出した構造成分に基づく特徴量の組を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９５】
２４．前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記特徴量算出は前記二値画像に基づく特徴量の組を算出することを特徴とする画像処理方法。
【０１９６】
２５．複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも２つから所望する構造成分を抽出するステップと、
前記抽出した構造成分を合成するステップと、
前記合成の結果に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９７】
２６．前記合成は前記構造成分の局所的な値に基づく合成を行うことを特徴とする画像処理方法。
【０１９８】
２７．前記画像は内視鏡画像であることを特徴とする付記１ないし２６いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【０１９９】
２８．前記構造成分が前記画像における血管または腺口であることを特徴とする付記１、２、３、５ないし２７いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【０２００】
【発明の効果】
以上説明したように本発明によれば、血管像、pit pattern等の抽出対象となる構造部分を良好に抽出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を示すブロック図。
【図２】本実施の形態における画像処理方法の処理内容を説明するためのフローチャート図。
【図３】血管像を説明するための説明図。
【図４】本実施の形態における血管モデルを説明するための説明図。
【図５】テンプレートの作成例を説明するための説明図。
【図６】テンプレート・マッチングにおける１次元方向の組合わせ例を説明するための説明図。
【図７】テンプレート・マッチングによる血管位置の判定を説明するための血管像の説明図。
【図８】テンプレート・マッチングによる血管位置の判定を説明するための説明図。
【図９】本発明の第２の実施の形態における一連の処理を説明するためのフローチャート図。
【図１０】帯域通過型フィルタの周波数特性を説明するための説明図。
【図１１】本実施の形態における原画像例を示す図。
【図１２】処理経過の途中の第１の画像例を示す図。
【図１３】処理経過の途中の第２の画像例を示す図。
【図１４】処理経過の途中の第３の画像例を示す図。
【図１５】処理経過の途中の第４の画像例を示す図。
【図１６】処理結果画像例を示す図。
【図１７】本発明の第３の実施の形態における一連の処理の流れを説明するためのフローチャート図。
【図１８】図１７におけるステップＳ２４の二値画像生成の処理内容を示すフローチャート図。
【図１９】帯域通過型フィルタの特性例の説明図。
【図２０】本発明の第４の実施の形態における画像処理方法の対象となる血管所見の説明図。
【図２１】本発明の第４の実施の形態における一連の処理内容を示すフローチャート図。
【図２２】特徴量を説明するための説明図。
【図２３】本発明の第５の実施の形態における処理内容を示すフローチャート図。
【符号の説明】
１…パーソナルコンピュータ
２…演算手段
３…メインメモリ
４…プログラム記憶手段
５…表示手段
６…入力手段
７…外部記憶手段
８…ネットワークアダプタ
９…外部ネットワーク
１１…内視鏡装置
１２…画像ファイリング装置
【発明の属する技術分野】
本発明は内視鏡画像等に対して特徴量を評価し易くする等の画像処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
【０００３】
これらの内視鏡装置を用いた最終的な診断は医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれている。
【０００４】
内視鏡診断支援装置は画像内における関心領域（ＲＯＩ）から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。
【０００５】
特徴量は内視鏡画像上の様々な所見を反映した数値であり、画像処理手法の適用により得られるものである。例えば「発赤により粘膜表面が赤い」といった色調に関する所見を特徴量化する場合には、内視鏡画像を構成するRGB各データを用いて、R／（R＋G＋B）を各画素ごとに求め、その平均値を特徴量として使用することができる（この特徴量は一般に色度と呼ばれる）。また、近年内視鏡分野においては胃粘膜血流量を反映した色調の特徴量として、３２ｌｏｇ２（R／G）により得られるヘモグロビン指標が広く用いられている。
【０００６】
さらに、透見血管像に見られる血管の拡張・蛇行や胃小区の形態の大小・不整度・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見も種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法の適用により特徴量として数値化することができる。このような特徴量算出においては、特許第２９１８１６２号公報に示されている手法がある。
【０００７】
近年においては、公知のＧａｂｏｒフィルタを用いて算出されるＧａｂｏｒ特徴に対し内視鏡画像への適用のための改良を加えた空間周波数解析手法により、粘膜表面構造の細かさ、粘膜表面構造が呈する模様の方向性等を特徴量として数値化する内視鏡画像処理方法がある。
【０００８】
また、複数の異なる所見から得た各特徴量を組み合わせて特徴ベクトルとして用いることにより、より複雑かつ正確な診断の支援を行うことができる。内視鏡診断支援装置の精度向上においては、重要な内視鏡画像所見を数値化するための高精度の特徴量算出手法が非常に重要であるといえる。
【０００９】
このような内視鏡診断支援装置及び特徴量算出手法の例として、特開平１０−１４８６４号公報がある。
【００１０】
【特許文献１】
特許第２９１８１６２号公報
【００１１】
【特許文献２】
特開平１０−１４８６４号公報
【００１２】
【発明が解決しようとする課題】
内視鏡観察における診断上重要な所見として、病変形状・大きさ、粘膜色調、透見血管像及び粘膜表面構造（pit等により構成される模様像）があげられる。本発明は、これらの所見の中で透見血管像及び粘膜表面構造に対する画像処理方法に関するものである。
【００１３】
透見血管像が重要な所見となる疾病としては、例えば潰瘍性大腸炎があげられ、炎症の程度、寛解の判定等において重要なものとなっている。
【００１４】
また、最近の内視鏡装置においては、高画質化、固体撮像素子（CCD等）の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察（ズーミング）機能を有する拡大内視鏡の登場により、粘膜表面の極めて微細な毛細血管像や胃・大腸の腺口（pit）構造が明瞭に観察されるようになっている。
【００１５】
従来組織標本を実体顕微鏡下で観察していたのと同レベルの生体像を内視鏡下で臨床検査時に観察することが可能となり、それらの微細構造観察所見を用いた新たな診断学が消化管及び気管支分野において盛んに研究・確立されてきている。
【００１６】
このような例としては、
文献１（H.Inoue，MAGNIFICATION ENDOSCOPY IN THE ESOPHAGUS AND STOMACH，Digestive Endoscopy，JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY，Vol.13,Supplement,July 2001, pp.S40-S41）に示された食道粘膜の微小血管像（Interpapillary capillary loop，IPCL）における形態変化による食道腫瘍性病変（腺腫、がん）の診断。
【００１７】
文献２（K.Yagi，ENDOSCOPIC FEATURES AND MAGNIFIED VIEWS OF THE CORPUS IN THE HELICOBACTER PYLORI-NEGATIVE STOMACH，Digestive Endoscopy，JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY，Vol.13,Supplement,July 2001, pp.S34-S35）における胃集合細静脈観察によるヘリコバクタピロリ感染診断。
【００１８】
文献３（K.Yao他，MICROGASTROSCOPIC FINDINGS OF MUCOSAL MICROVASCULAR ARCHITECTURE AS VISUALIZED BY MAGNIFYING ENDOSCOPY，Digestive Endoscopy，JAPAN GASTROENTEROLOGICAL ENDOSCOPY SOCIETY，Vol.13,Supplement,July 2001, pp.S27-S33）における胃微細血管像観察による粘膜萎縮及び腫瘍性病変種別診断。
【００１９】
文献４（工藤進英，陥凹型早期大腸癌，日本メディカルセンター，1996，pp.33-40）におけるpit pattern分類を用いた大腸腫瘍性病変診断。
【００２０】
文献５（渋谷 潔 他，拡大気管支ビデオスコープを用いたBronchial Dysplasiaの微細観察，第22巻 第8号，2000年12月，pp.613-616）における気管支の微細血管網観察による気管支炎・がんに対する診断。
【００２１】
があげられる。
【００２２】
一方、これらの内視鏡所見に対する診断は医師の主観判断に基づくものであることから、経験及び知識の違いにより診断結果が異なる可能性があるという問題があり、画像処理による定量的かつ客観的な診断支援情報の提供が望まれている。
【００２３】
より具体的には、血管、pit等の構造を画像から抽出し、その形態、大きさ、均一性、規則性等を様々な画像処理方法の適用により数値化（特徴量と呼ばれる）し、線形判別関数、ニューラルネットワーク等の識別器を用いることで客観的診断支援を実現する。
【００２４】
また、本出願人においては例えば特許第２９１８１６２号において二値化処理を用いた画像処理・解析手法を開示している。
【００２５】
しかしながら、二値化等による構造抽出をともなう画像処理方法の内視鏡画像への適用においては、以下のような問題があった。
【００２６】
内視鏡画像は観察距離・角度が一定ではなく、さらに観察対象が曲面形状を有する場合も多々あることから画像中の明暗変化が大きい。また、大腸pit pattern観察像においてはpitの明瞭化のために一般にインジゴカルミンあるいはクリスタルバイオレット等に代表される色素・染色剤を撒布するが、染色濃度が異なったり、撒布むら（pitでない間質部にまで色素が残ってしまう状態）が発生する場合がある。
【００２７】
二値化処理においては一般に閾値処理を実行するが、これらの理由から固定的な閾値を用いることは困難である。また、画像ごとに閾値を変更（文字認識分野等で研究されている）しても、明暗変化や色素の撒布状態により、画像内の局所ごとに抽出結果に違いが現われ、抽出漏れ等が発生することがあるという問題がある。
【００２８】
（発明の目的）
本発明はこれらの問題を鑑みてなされたもので、血管像、pit pattern等の（内視鏡）画像中の抽出対象となる構造部分を良好に抽出することができる画像処理装置を提供することを目的とする。
【００２９】
また、血管像、pit pattern等の（内視鏡）画像中の抽出対象となる構造部分を画像の撮像条件によらず良好に抽出することができる画像処理装置を提供することも目的とする。
【００３０】
さらに、高精度の診断支援情報を実現する特徴量算出のための画像処理装置を併せて提供することを目的とする。
【００３１】
【課題を解決するための手段】
本発明の第１の画像処理装置は、内視鏡画像を入力する内視鏡画像入力手段と、前記内視鏡画像から所望の構造成分を抽出するためのデータであって、抽出対象の構造成分のモデルに基づくテンプレートデータを格納する記憶手段と、前記内視鏡画像における各画素に対して前記記憶手段に格納された前記テンプレートデータとの相関量の算出を行い、当該相関量に基づいて該当する構造成分の当該内視鏡画像中の位置を特定する位置特定手段と、前記位置特定手段により前記内視鏡画像中の位置が特定された構造成分を抽出する構造成分抽出手段と、を具備し、前記テンプレートデータは構造成分の画素幅及び当該画素幅方向における画素値の変化量に基づき決定されることを特徴とする。
また、本発明の第２の画像処理装置は、第１の画像処理装置において、前記構造成分が生体粘膜観察画像における血管またはｐｉｔ ｐａｔｔｅｒｎであるとともに、前記テンプレートデータが画像上の血管またはｐｉｔ ｐａｔｔｅｒｎの幅及びコントラストに基づき決定されることを特徴とする。
さらに、本発明の第３の画像処理装置は、第１または第２の画像処理装置において、前記構造成分の存在する位置及びテンプレートデータに基づき構造成分抽出画像を作成する構造成分抽出画像作成手段をさらに備えたことを特徴とする。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３３】
（第１の実施の形態）
図１ないし図８は本発明の第１の実施の形態に係り、図１は本実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を説明するための構成図、図２は本実施の形態における画像処理方法の内容を説明するためのフローチャート、図３は血管像を説明するための説明図、図４は本実施の形態における血管モデルを説明するための説明図、図５はテンプレートの作成例を説明するための説明図、図６はテンプレート・マッチングにおける１次元方向の組合わせ例を説明するための説明図、図７及び図８はテンプレート・マッチングによる血管位置の判定を説明するための説明図である。
【００３４】
本発明の第１の実施の形態は、特に内視鏡画像における樹枝状の血管像の抽出に有効な画像処理方法に関する。以下、図面を参照して本実施の形態における画像処理方法について説明する。
【００３５】
内視鏡画像における透見血管像は、様々な太さの血管が樹枝のような構造を呈するものがある。これは、ドレナージ血管と呼ばれる太い血管と、そこから分岐する細い血管により構成されている。
【００３６】
これらの血管は太さのみでなく粘膜下に存在する深さも異なることから鮮鋭度（一般に深い程ぼけて見える）にも違いが生じている。このような血管像に対して、以下に説明する一連の抽出処理を適用する。そして、抽出対象となる構造部分としての血管像を良好に抽出して、客観的な診断支援ができるようにする。
【００３７】
なお、本発明における内視鏡画像は大きさ（横×縦の画素数）がISX×ISY、RGBの３（色成分）画像から構成され、R、G及びBの各画像はそれぞれ0から255の値からなる8ビットの階調を備えるものとする。
【００３８】
本実施の形態における一連の画像処理方法は、パーソナルコンピュータ上で動作するプログラムとして実現される。図１は本実施の形態に用いるパーソナルコンピュータ及び周辺機器等の構成の説明図である。
【００３９】
パーソナルコンピュータ１は、CPUである演算手段２と、データ格納や作業エリアに使用されるメインメモリ３と、プログラム等を記憶するプログラム記憶手段４（本実施の形態においてはハードディスク（図１ではHDと略記）であるものとする）を備えると共に、CRT等の表示手段５と、マウス、キーボード等の入力手段６と、光磁気ディスク（MO）ドライブ等の外部記憶手段７とが接続されている。
【００４０】
また、ネットワークアダプタ８等を介してLAN（Local Area Network）等の外部ネットワーク９に接続されている。また、この外部ネットワーク９には内視鏡検査を行う内視鏡装置１１や、内視鏡装置１１による内視鏡検査の画像データをファイリング等する画像ファイリング装置１２が接続されている。
【００４１】
そしてパーソナルコンピュータ１は、外部ネットワーク９を介して画像ファイリング装置１２或いは内視鏡装置１１等から画像データの取得を行うことができるようになっている。
【００４２】
このパーソナルコンピュータ１は、プログラム記憶手段４に記憶されたプログラムをメインメモリ３に読み込み、演算手段２において実行する。
【００４３】
また、画像処理対象となる画像データは、ファイルとして外部記憶手段７からオフラインもしくは外部ネットワーク９を経由したオンラインでの取得が可能となっている。また、プログラム記憶手段４が十分な容量を備える場合には、プログラムと同様にパーソナルコンピュータ１内に保存することも可能となっている。
【００４４】
本実施の形態では、例えばプログラム記憶手段４を形成するハードディスクには、後述するように入力される画像から抽出対象とする構造部分をモデル化した血管モデル等のテンプレートを格納している。
【００４５】
そして、演算手段２を形成するCPUにより、画像中の各画素に対してテンプレートを用い、テンプレートとの相関量を算出する演算処理を行い、相関が高いものからその位置を特定して、その構造部分を抽出する。つまりテンプレートマッチングを行うことにより、抽出対象とする構造部分を抽出する。この場合、テンプレートのパラメータの値を変更することにより、複数の異なるテンプレートを用意して、異なる形状、サイズの抽出対象に対しても抽出ができるようにしている。
【００４６】
図２は本実施の形態における画像処理方法による処理内容を説明するためのフローチャートである。
【００４７】
始めに、ステップＳ１においてパーソナルコンピュータ１の演算手段２は、画像ファイリング装置１２等から取り込む原画像としてG画像（成分）を入力する。通常の（色素、染色剤等を使用しない）内視鏡画像においては、血管像、粘膜表面模様等の構造成分は、主に粘膜内の血液による光の吸収変動により構成される。
【００４８】
より詳しくは、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造成分は一般にG画像に多く含まれることが知られている。具体的には血液量が多いほど吸収が大きく、G画像の画素の値は低くなり、少ないほど吸収されず反射されることから画素の値は高くなる。
【００４９】
次のステップＳ２においては、前処理としてランダムノイズ等に対するノイズ除去処理を適用する。本実施の形態においては公知のメディアンフィルタリング（注目画素を含むマスク内の画素値を大きさで並べ替え、中央値で注目画素の値を置き換える）を大きさ３×３の画素サイズで適用する。
【００５０】
次のステップＳ３においては逆γ補正を適用する。γ補正は、画像をモニタ等に表示する際に視覚的に線形な階調を与えるために適用された非線形処理であり、逆γ補正はこれを元の線形階調に戻すものである。
【００５１】
続くステップＳ４においては、テンプレートを用いたマッチング、つまりテンプレート・マッチングによる血管抽出処理を適用する。以下、本ステップ４におけるテンプレート・マッチングの詳細について説明する。
【００５２】
内視鏡画像における血管像に対して、例えば図３に示すように１次元方向（ｘ方向）で画素値の変動を抽出して切り出しした場合、図４に示す半楕円（もしくは半円）に類した形状（以下、単に半楕円形状とする）にモデル化（以下、これを血管モデルと称する）することができる。
【００５３】
したがって、半楕円形状を規定するW及びDをパラメタとしたテンプレートを作成し、相関が大である画素を抽出することで血管位置を特定し、抽出することができる。また、血管の幅については該当するテンプレートのパラメタWから決定することができる。図４における半楕円形状の関数は、xを１次元方向で見た画素の座標、yを画素値として
【数１】
【００５４】
ここで、W及びDはそれぞれ図４における血管モデルの半楕円形状の幅及び深さを規定するパラメタ、kは固定的に与える実数で内視鏡画像に対しては例えば15とする。さらに、実際の内視鏡画像においては焦点外れ等から様々なぼけが加わることから、式（１）から得られる血管モデルに対してガウシアン関数
【数２】
【００５５】
ここで、σはガウシアン関数における標準偏差で、ぼけの強さを規定するパラメタとして使用され、σが大であるほど強くぼける効果を有する。さらに、本実施の形態においては、後述するマッチングにおける画像の明るさの違いによる影響を除外するために、対数変換によってy方向のスケール変換（濃度変換）を適用する。
【００５６】
撮像時の光量の違いは画素値に対して乗算項として影響を与えるが、対数変換により加算項として分離され、影響を縮小することができ、血管抽出精度をより高めることが可能となる。つまり、対数変換によるスケール変換を適用することにより、撮影条件に殆ど依らないで血管像等を良好に抽出できるようにしている。
【００５７】
次に、作成した血管モデルをステップＳ４におけるテンプレート・マッチングでのテンプレートとして使用するための離散化を行う。本実施の形態においては、連続関数値である血管モデルをテンプレート１要素（画像に対しては画素に相当する）あたり１０個のサブ要素となるよう一旦離散化し、さらにサブ要素値１０個の平均値を算出することにより離散化されたテンプレートを作成する（平均化により、テンプレートの要素間の変動を滑らかにする効果を与える）。
【００５８】
さらに、実際の血管像は様々な幅（太さ）、深さ（画素値の変動の大きさ）を備えるため、W、Dの組合わせを変更することにより複数のテンプレートを作成する。また、ぼけの程度の変化に対してはσの変更によるテンプレートの追加が可能である。
【００５９】
図５にW及びσの変更により得られるテンプレートの例を示す。なお、ここではD＝50に固定している。図５においては、W=1〜5 (step(刻み) 1.0)、σ=0.0〜4.0 (step 1.0)の各組み合わせのテンプレートを示している。テンプレートのサイズはW及びσに応じて適宜変更し、本実施の形態においてはテンプレートの両端においてy≒0.0 となる画素位置に1画素分の余裕を持たせたるものとする。
【００６０】
続いて、上記テンプレートを用いたテンプレート・マッチングについて説明する。マッチングは画像f上の各画素に対して上記テンプレートを畳み込み演算と同様に重畳し、
【数３】
【００６１】
ここで、Nはテンプレートのサイズ、fx(i) は画像からテンプレートに合わせて１次元で切り出したN個の中の i 番目の画素、fxMはfx(i)の平均値、t(i)はテンプレートのi番目の要素の値、tMはt(i)の平均値である。Rは0≦R≦1の値をとり、1に近いほど一致度が高いことを示す。
【００６２】
また、実際の内視鏡画像における血管は様々な方向に走行していることから、テンプレート及び切り出す画素の方向を例えば図６に示す0°、45°、90°及び135°の４方向について適用する。これらの４方向に対し式（３）の正規化相互相関を適用した結果をそれぞれR0、R45、R90及びR135とする。
【００６３】
例えば、図７に示すように画像垂直方向に血管像が存在し、その幅が５画素である場合には、W＝5のテンプレートを方向0°において適用し、血管とテンプレートが一致する血管中央部で算出した正規化相互相関R0(W＝5)が最も高い値をとる。この時、テンプレートの一次元移動に対するR0(W＝5) の値は、例えば図８に示すようなものとなる。図８においては、R＝1.0となるxが血管の幅方向における中央に位置する画素に対応し、中央から１画素ずれる毎に段階的に小さくなる分布となる。
【００６４】
以上により、例えばK個のテンプレートを用いたM個の方向のテンプレート・マッチングの適用により、各画素ごとにK×M個の正規化相互相関Rが算出される。なお、Dを固定的に設定した場合においても各テンプレートによる正規化相互相関Rの大小関係は不変であることから、以降の説明においては簡単のため固定値を設定するものとする。
【００６５】
続くステップＳ５（図２）においては、ステップＳ４において算出した正規化相互相関Rの値に基づき、注目する画素を中心とする血管が存在しているかどうかを判定する。判定処理は以下のように行う。
【００６６】
得られたK×M個のRij（1≦i≦K，1≦j≦M）を比較し、その最大値Rmaxを求める。次に、最大値Rmaxに対する閾値処理を適用する。閾値Th（例えばTh＝0.9とする）に対してRmax≧Thであれば、最大値Rmaxに対応するW及びσをパラメタとする血管モデルを対応する方向θにおいて適用したテンプレートとの一致度が高く、注目画素を幅方向の中心とする血管が存在しているものと判定する。
【００６７】
血管が存在すると判定した場合にはステップＳ６へ、そうでない場合にはステップＳ７へ進む。続くステップＳ６においては、ステップＳ５における判定結果を外部記憶手段７等に保存をする。この場合の保存は、例えば以下のテーブルａ［k］の結果が保存される。
【００６８】
はじめに、画像と同じ大きさISX×ISYのテーブルa[ISX×ISY]を用意し、すべての要素を0に初期化しておく。
【００６９】
k番目の画素xkに対するステップＳ３及びＳ４の処理結果において、Rmax≧Thであるテンプレート及び方向が存在した場合には、対応するテーブルa[k]にテンプレート及び方向を特定するための値t（ただし、t≠0）を代入する。本実施の形態においてはtはK×M個の正規化相互相関Rijに対して1≦t≦K×Mのように連続する数値で与えるものとする。血管が存在しないと判定された場合についてはテーブルa[k]は0のままとなる。
【００７０】
続くステップＳ７においては、画像上の全画素についてステップＳ４ないしＳ６の処理を適用したかどうかを判定し、終了していなければステップＳ４に戻り、次の画素（k番目の画素xkから(k+1)番目の画素x(k+1)へ）に対してステップＳ４ないしＳ７の処理を再度適用する。全画素に対する処理の適用が終了していれば、ステップＳ８に進む。
【００７１】
ステップＳ８においては、ステップＳ６において作成した血管抽出結果から、血管抽出画像を作成する。具体的には各画素に対応するテーブルa[k]（1≦k≦ISX×ISY）の値を参照し、もしa[k]≠0であれば、a[k]の値に対応するテンプレートの幅W及び適用した方向θにしたがい、画素xkを中心とする幅Wの線分を当てはめる。
【００７２】
すべてのa[k]に対する線分当てはめを適用した結果が血管抽出画像となる。プログラムでの実現においては、血管抽出画像作成用として大きさISX×ISYの領域b[ISX×ISY]を用意し、すべての画素を0に初期化の上、線分の値を1として対応する各画素に代入する。
【００７３】
以上に説明した一連の処理の適用により、内視鏡画像における血管を血管の太さ（幅）とぼけの程度によらず良好に抽出することが可能となる。
【００７４】
なお、ステップＳ８において作成した血管抽出画像に対する後処理として、一般的な膨張・収縮処理を適用することで、より滑らかな処理結果画像を得ることも可能である。
【００７５】
また、ステップＳ８における血管抽出画像作成において、隣接する画素の双方に血管が存在すると判定されることが考えられるが、正規化相互相関Rmaxが大である画素を採用し、一方を除外することにより正しい結果を得ることができる。この場合は、テーブルa[ISX×ISY]に加え、各画素のRmaxを記憶するための領域b[ISX×ISY]を用意し、ステップＳ６において値を代入する。
【００７６】
以上説明したように、本実施の形態における画像処理方法によれば、内視鏡画像から血管抽出画像を良好に作成することができる。
【００７７】
また、多階調画像であれば内視鏡以外の画像として例えばＸ線アンギオグラフィ画像に対しても適用可能である。また、線状の構造成分（長さは問わない）であれば適用可能であるため、抽出対象は血管に限定されるものではない。
【００７８】
また、本実施の形態においては画像中の全画素に対してテンプレート・マッチングを含む一連の処理を適用したが、処理時間の短縮のために数画素おきに適用することも可能である。
【００７９】
また、低い値をとる画素が血管である可能性が高いことから、あらかじめ局所的に低い値を有する画素を探索し、得られた画素に対してのみ適用してもよい。この場合は例えば注目画素を中心とする例えば3×3の領域内で注目画素が最小値をとる場合に処理対象と設定することができる。
【００８０】
従って、本実施の形態は以下の効果を有する。
【００８１】
本実施の形態によれば、内視鏡画像等から抽出対象とする血管抽出画像等を良好に作成することができる。
【００８２】
（第２の実施の形態）
次に本発明の第２の実施の形態を図９ないし図１６を参照して説明する。図９ないし図１６は本実施の形態に係り、図９は本実施の形態における一連の処理を説明するためのフローチャート、図１０は帯域通過型フィルタの周波数特性を説明するための説明図、図１１ないし図１６は本実施の形態における原画像、処理経過及び処理結果画像を説明するための説明図である。
【００８３】
本実施の形態における一連の画像処理・解析は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明を省略する。
本実施の形態は、特に内視鏡画像における大腸pit の構造（以下、pit patternとする）の抽出に有効な画像処理方法に関する。
【００８４】
内視鏡画像からpit patternを抽出し、形状等を解析する手法においては、帯域通過フィルタリング画像への閾値処理を用いた二値化による抽出が行われる。しかしながら、内視鏡画像においては明るさの変化、色素濃度の違い・むらの発生等により固定的あるいは画像ごとの閾値設定では安定した抽出ができないという問題がある。本実施の形態においては、これらの問題を有する画像に対しても解析対象となるpitを安定的に抽出できる画像処理方法について説明する。
【００８５】
帯域通過フィルタリング（Band Pass Filtering、以下BPFと略記）処理画像に対し、画像もしくは関心領域全体に同一の閾値処理を適用した場合、明暗変化、色素むら等により抽出漏れや途切れが生じる。したがって、抽出処理における閾値は抽出対象となる個々のpit に対し局所的かつ適応的に決定する必要がある。本実施の形態においては、抽出対象となるpit を含む個々の領域を局所的に抽出し、各々の領域ごとに最適な閾値を設定する。
【００８６】
本実施の形態においては、高周波数帯域通過特性を有するフィルタは構造の形状に沿った抽出画像を得られるがノイズ等に弱く、低周波数帯域通過特性を有するフィルタは抽出形状が実際より大きめとなるがノイズ等に強い特性を有することを利用して、抽出対象とノイズ等の各構造成分を含む領域を分離し、抽出対象を含む領域ごとに局所的に閾値設定を行うことにより良好な抽出結果画像を得る。
【００８７】
以下、図９に示すフローチャートに基づき画像処理方法を説明する。まず、本実施の形態においては原画像として、R画像を使用する（ステップＳ１１）。図１１に原画像として内視鏡R画像の例を示す。pit pattern観察においてはインジゴカルミンと呼ばれる色素（薬剤）を撒布する。色素は粘膜表面の凹部であるpitに貯留し、青緑系の色調を有することからR画像において最も構造が反映される。
【００８８】
次のステップＳ１２においては、第１の実施の形態における図２のステップＳ２及びＳ３と同様にノイズ除去及び逆γ補正を適用する。
【００８９】
続くステップＳ１３においては、異なる通過周波数帯域特性を備える帯域通過フィルタBPF（Lo）、BPF（Hi）を適用し、各々の処理結果画像を得る。帯域通過フィルタBPF（Lo）、BPF（Hi）はラプラシアン・ガウシアンフィルタ等を使用し、通過周波数帯域を相対的に高（Hi）・低（Lo）に設定する。Hiの通過周波数特性は抽出したい構造成分の周波数帯域分布に沿ったものとし、Loは例えばHiの１オクターブ低い特性とする。
【００９０】
なお、ラプラシアン・ガウシアンフィルタは公知のものであり、文献「ビジョン，産業図書，デビッド・マー，pp.58-66」に詳しいため詳細は省略する。
【００９１】
図１０に本実施の形態に使用する帯域通過フィルタBPF（Lo）、BPF（Hi）の周波数特性例FLo、FHiをそれぞれ示す（本来は画像における周波数空間は２次元であるが、簡単のため１次元化した片側に対して示している）。
【００９２】
ステップＳ１４においては、帯域通過フィルタBPF（Lo）、BPF（Hi）各々の処理結果の画像に対して、0.0を閾値とし、二値化処理をそれぞれ適用する。得られた二値画像を各々ResLo及びResHiとし、各画素が構造成分として抽出されていれば1、そうでなければ0の値を与える。
【００９３】
本実施の形態においては色素による構造成分は第１の実施の形態における血管と同様に画素値が小となるため、帯域通過フィルタBPF（Lo）、BPF（Hi）による結果が0以下となる画素を構造成分として抽出する。ここでは負の変動であればすべて抽出するため、明暗変化、色素のむら等による抽出漏れは発生しない。
図１１に示すpit patternを含む内視鏡R画像の例に対して、図９のステップＳ１４による二値化処理で得られるResLo及びResHiの二値画像の例を図１２及び図１３にそれぞれ示す。
【００９４】
ステップＳ１５においては、ResLo及びResHiの各画素ごとの論理演算を行い、抽出対象の構造成分を含むnp個の領域（連結した画素群）Pi（1≦i≦np）とnn個のノイズ等の領域Nj（1≦j≦nn）を抽出する。
【００９５】
ここで、各領域Pi及びNjは二値画像に対するラベリング処理を適用の上、個々の領域を特定するための番号が付与されているものとする。ResHi及びResLo双方で抽出された画素はPi，ResHiでは抽出されているがResLoでは抽出されていない（図９においてNotResLoと示す）画素はNjに含まれる。 図１４及び図１５にPi及びNjの画像例を示す。
【００９６】
次のステップＳ１６においては、ステップＳ１５で除外しきれなかったノイズ等の成分を除外する。具体的には、BPF（Hi）の処理結果ResHiの絶対値において、個々のPiの平均値μHiと、Piの重心(cxi，cyi)を中心とする大きさs×sの近傍画素内に含まれる除外済みノイズ領域Njの平均値μHeiとを比較する。構造成分はノイズ成分より変動が大であることから、例えばμHi≦μHeiであれば除外とする。
【００９７】
ステップＳ１７においては、残ったPiごとに適切な閾値を設定し閾値処理、つまり再二値化を行う。閾値の設定は、例えば大津の判別分析法を用いる。
【００９８】
さらに、このステップＳ１７の実行後もノイズ領域が残る場合があるため、続くステップＳ１８での除外処理を適用する。ここでは、まずステップＳ１６と同様の処理適用による除外処理を再度適用する。ここでは、除外基準をμHi≦w・μHei（w＞1.0）とすることにより、除外効果を高める。
【００９９】
図１６はステップＳ１８の処理後に抽出された抽出結果画像（さらに関心領域を設定し、輪郭部、ハレーション等を除外した）の例を示す。
【０１００】
以上に説明した一連の処理により、撮影条件に殆どよらないで、つまり明るさの変化、色素濃度の違い・むらの発生等がある場合においても、内視鏡画像から良好なpit抽出画像を得ることが可能となる。
【０１０１】
また、本実施の形態における画像処理方法は血管像等、pit（腺口）以外の構造成分を抽出対象とすることも可能である。
【０１０２】
従って、本実施の形態は以下の効果を有する。
【０１０３】
本実施の形態によれば、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像等から良好なpit抽出画像を得ることが可能となる。
【０１０４】
（第２の実施の形態の変形例）
ResHiに差がないため除外できない領域Piが存在する場合には、ステップＳ１８に続いて色調の違いに基づく除外処理を加えることも可能である。
【０１０５】
具体的にはpitには色素が貯留することから色調は青緑の成分が強くなることを利用し、例えばPi及びその近傍内のPk（k≠i）について、ノイズ除去及び逆γ補正を適用したR画像及びG画像から比R/G（さらにB画像を加え、R／（R＋G＋B）を使用してもよい）を画素ごとに求め、領域ごとの平均値μrgiとμrgkを比較し、μrgi＞μrgk（周辺の抽出領域より赤い）の場合は除外とする。
【０１０６】
従来、ノイズ領域の除外においては二値化抽出後の領域画素数に対する閾値処理（小領域の削除）等が行われていたが、局所的な構造成分の色調情報に基づき除外することにより微小pit等に対する誤った除外のない抽出画像を得ることができる。
【０１０７】
以上に説明した一連の処理により、明るさの変化、色素濃度の違い・むらの発生等がある場合においても内視鏡画像から良好なpit抽出画像を得ることが可能となる。
【０１０８】
また、本実施の形態における画像処理方法は血管像等、pit以外の構造成分を抽出対象とすることも可能である。
【０１０９】
（第３の実施の形態）
次に本発明の第３の実施の形態を図１７ないし図１９を参照して説明する。図１７ないし図１９は第３の実施の形態に係り、図１７及び図１８は本実施の形態における一連の処理の流れを説明するためのフローチャート、図１９は帯域通過型フィルタの特性例の説明図である。
【０１１０】
本実施の形態においては、画像解析のための二値化処理において効率的に最適な処理パラメタを設定するための方法について説明する。本実施の形態における一連の画像処理・解析は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１１１】
内視鏡画像における構造成分抽出のための二値化処理においては、例えば帯域通過型フィルタの周波数特性、各種閾値等のパラメタを設定する必要が生じる。このような調整は主として目視によるpit pattern、血管等の構造成分と二値化結果との主観的一致に基づいて行われ、例えば複数の帯域通過型フィルタを適用し、二値化結果における抽出漏れの有無、大きさや太さ等を原画像と参照しながら各々の閾値設定を変更する。
【０１１２】
しかしながら、このような試行錯誤をともなう調整においては、画像処理方法の内容によってはパラメタ及びその組み合わせが膨大となり、操作者の負担が大きいという問題がある。
【０１１３】
本実施の形態においては、あらかじめ内視鏡画像上に抽出対象となる構造成分を指定した参照用画像を用意し、複数のパラメタの組合わせによる二値化抽出処理結果との一致度の比較に基づき最適なパラメタを設定する方法について説明する。
【０１１４】
以下、図１７及び図１８に基づき本実施の形態におけるパラメタ設定方法を説明する。本実施の形態においては第２の実施の形態と同様に、抽出対象を内視鏡画像にからのインジゴカルミン撒布をともなう大腸pit patternとする。また、帯域通過フィルタリング（BPF）及びフィルタリング結果に対する閾値処理による抽出を実行するものとする。
【０１１５】
はじめに、ステップＳ２１において、原画像としてR画像を入力し、第２の実施形態における図９のステップＳ１２と同様に、ステップＳ２２でノイズ除去及び逆γ補正を適用する。
【０１１６】
続くステップＳ２３においては、複数パラメタ生成を行う。つまり、次のステップＳ２４における二値画像作成のための処理パラメタとして、異なる周波数帯域特性を備えるN個（1≦N）の帯域通過型フィルタと、P個の抽出用閾値を設定する。
【０１１７】
N個の帯域通過型フィルタFi（1≦i≦N）の周波数特性は、例えばN＝3とし、図１９に示すように、１オクターブおきに通過帯域のピークを備えるようにする。図１９では簡単化のため、Fiでそのフィルタ特性を示している。また、P個の閾値Thj（1≦j≦P）は例えば Th1＝0.0，Th2＝−1.0，Th2＝−2.0，…，ThP＝（−1.0×P）と設定する。以下、本実施の形態においてはP＝5と設定する。
【０１１８】
続くステップＳ２４においては、ステップＳ２３において設定したパラメタを用いた二値画像Bijの作成を行う。図１８にステップＳ２４における二値画像作成処理の詳細を示す。
【０１１９】
図１８のステップＳ３１においては、ステップＳ２２において作成したノイズ除去及び逆γ補正適用後のR画像を入力する。続くステップＳ３２においては、ステップＳ２３において設定したN個の帯域通過型フィルタFiを用いた帯域通過フィルタ処理（図１８中ではBPFと略記）を適用する。
【０１２０】
次のステップＳ３３においては、ステップＳ３２において得られたN個の帯域通過フィルタ処理したBPF処理結果画像の各々に対し、ステップＳ２３において設定したP個の閾値Thjを用いた二値化処理を適用し、二値画像Bijを作成する。
【０１２１】
次のステップＳ３４に示すN×P個の二値画像 Bij すべてを作成後、このステップＳ２４の処理が終わり、図１７のステップＳ２５に進む。
【０１２２】
ステップＳ２５においては、得られたN×P個の二値画像 Bij の各々に対し、抽出結果一致度を以下のように算出する。
【０１２３】
はじめに、あらかじめ原画像に対し操作者（診断を行う医師）が目視により抽出対象となる構造成分を指定した参照用画像を用意する。参照用画像の作成は、例えば一般的な描画（ペイント）ソフトウェア等を使用し、構造成分（本実施の形態においては大腸のpit pattern）の形状を目視状態に則してトレース及び塗りつぶししたものを使用する。
【０１２４】
このとき、構造成分であることを特定するための描画色として内視鏡画像における生体粘膜上には通常発生することのない色として、例えばRGBの各々に対して0，255，255（シアンとなる）を用いる。以下、作成した参照用画像をSとする。
【０１２５】
次いで、二値画像Bijの各々に対し、参照用画像Sとの抽出結果一致度を算出する。抽出一致度の算出においては、二値画像Bij及び参照用画像Sとの抽出及び非抽出画素の一致数に基づく評価関数を使用する。
【０１２６】
本実施の形態においてはすべての画素について二値画像Bij上で抽出され、かつ参照用画像S上においても画素値が(0,255,255) となっている画素を正しく抽出されたものとし、全画素数に対する割合
αij＝（Mij−Lij）／（ISX×ISY） （４）
を求める。ここで、Mijは二値画像Bijと参照用画像Sの抽出一致画素数、Lijは抽出不一致画素数（一方で抽出され、他方で抽出されていない画素数）を示す。
【０１２７】
式（４）は抽出結果に対する評価関数となり、αijの値が大であるほど一致度が高く適切なパラメタであるものと判断できる。すべてのBijについてαijを算出後、ステップＳ２６に進む。なお、抽出及び非抽出画素数の一致についてはどちらを優先するかにより重み付けをともなう関数を使用することも考えられるが、本実施の形態においては等しく評価するものとする。
【０１２８】
ステップＳ２６においては各αijを比較の上、最大のαijを与えるi及びjを特定し、対応する帯域通過型フィルタFi及び閾値Thjを処理パラメタとして決定する。
【０１２９】
以上において設定した処理パラメタを用い、参照用画像以外の内視鏡画像に対しても二値化処理を適用することにより、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【０１３０】
また、画像ごとに撮像状態に基づく明暗変化によるコントラストの違い、観察距離・倍率の違いによる画像中の構造成分の大きさの違い等が生じ、適切な閾値や帯域通過型フィルタの周波数特性が異なることがある。このような状況を想定する場合には、各条件に応じた代表的なシーンを複数の参照用画像として用意し、各々に応じたパラメタ設定を行い、選択的に適用することで同様に良好な抽出結果画像を得ることが可能となる。
【０１３１】
従って、本実施の形態は以下の効果を有する。
【０１３２】
本実施の形態によれば、複雑な試行錯誤によるパラメタの設定をすることなく良好な抽出結果画像を得ることが可能となる。
【０１３３】
（第４の実施の形態）
次に本発明の第４の実施の形態を図２０ないし図２２を参照して説明する。図２０ないし図２２は第４の実施の形態に係り、図２０は本実施の形態における画像処理方法の対象となる血管所見を説明するための説明図、図２１は本実施の形態における一連の処理内容の説明図、図２２は本実施の形態における特徴量を説明するための説明図である。
【０１３４】
本実施の形態においては、画像中の構造成分に対する二値化抽出処理結果画像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。本実施の形態における一連の画像処理は、第１の実施の形態と同様に、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１３５】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【０１３６】
例えば内視鏡画像中の血管所見においては、個々の血管形状の不整が診断上重要となる場合がある。一般に不整の度合いが増加するにつれて腫瘍の悪性度、病変の進行度等が高まるものとされている。このような不整所見のひとつに血管の幅の変化があげられる。
【０１３７】
図２０（Ａ）に示すように、ほぼ均一な幅をもつ正常な血管像に対して、図２０（B）に示す病変部の血管像は広狭の変化をともなう。本実施の形態においては、以下に示す一連の処理を適用することによりこのような広狭の変化を特徴量として算出する。
【０１３８】
以下、本実施の形態における一連の処理について、図２１を参照して説明する。はじめに、ステップＳ４１において血管抽出二値画像を入力する。本実施の形態においては、血管抽出二値画像を本発明の第１ないし第３の実施の形態において説明した二値化抽出処理のいずれかを用いることにより作成する。
【０１３９】
続くステップＳ４２においては、ラベリング処理の適用により個々の抽出血管像に対する番号付けを行う。本実施の形態においてはK個の領域Pk（1≦k≦K）が存在するものとする。
【０１４０】
次のステップＳ４３において距離変換・骨格処理を適用する。距離変換・骨格処理は一般にはスケルトン呼ばれる画像解析手法の一つで、図形の幅の情報の抽出、形状特徴の抽出等に利用される。距離変換・骨格の詳細については文献「コンピュータ画像処理入門、総研出版、田村秀行監修，pp.77-80」に詳しいため、その説明は省略する。
【０１４１】
距離変換・骨格処理の適用により、例えば図２２に示すように、血管像の中心線及び中心線上のM個の画素Qm（1≦m≦M）の位置に対する血管の幅に相当する距離Dmを求めることができる。
【０１４２】
Mは血管の長さに依存し、二値化された領域が円である場合にはM＝1となるものである。実際には画素Qm及び距離DmはラベリングされたK個の領域の各々について各Mk個ずつ算出されるため、各々をQkm及びDkmとする。
【０１４３】
続くステップＳ４４においてはステップＳ４３において得られた中心線上の画素Qm及び距離Dmに基づき、幅不整評価値Vを算出する。本実施の形態においてはすべてのQmにおける距離Dmの標準偏差を評価値とし、
【数５】
【０１４４】
以上説明したように、本実施の形態における一連の画像処理方法の適用により、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【０１４５】
なお、以上の説明においては内視鏡画像における血管像を例としたが、本実施の形態において算出する幅に関する特徴量が有用となる処理・解析対象はこれらに限定されるものではなく、大腸pit画像、あるいはＸ線アンギオグラフィ画像に対しても適用可能である。
【０１４６】
従って、本実施の形態は以下の効果を有する。
【０１４７】
本実施の形態によれば、画像中の構造成分に対する二値化抽出処理結果画像から不整をともなう病変の判別等に有用となる特徴量を算出することが可能となる。
【０１４８】
（第５の実施の形態）
次に本発明の第５の実施の形態を図２３を参照して説明する。本実施の形態においては、内視鏡画像中の血管像から病変の判別等に有用となる特徴量を算出するための画像処理方法について説明する。より詳しくは、RGBの３つの画像からなる内視鏡画像において、各々に対する画像処理を適用し、得られた複数の特徴量を用いることことを特徴としている。
【０１４９】
生体粘膜下を走行する血管は粘膜下に存在する深さが異なっている。すなわち、粘膜下の深い部位を走行する太い血管、中間的な部位を走行する血管及び表層に近い部位を走行する細かい血管に大きく分けることができる。一方、内視鏡画像を構成するRGB画像の各々は、照射光の波長がRが最も長く、Bが最も短くなっている。
【０１５０】
生体粘膜においては波長の長い光が最も深部に到達し、短い光ほど表層に近い部位において吸収されることが知られている。一般に色素等を用いない通常の内視鏡画像に対する画像処理等はG画像に対し適用されるが、本実施の形態においては前述の理由からR画像中に存在するより深い部位の血管及びB画像中に存在するより浅い部位の血管に関する特徴量を算出することで、血管像による病変の分類等により有用な画像処理方法について説明する。
【０１５１】
本実施の形態における一連の画像処理は、第１の実施の形態と同様、パーソナルコンピュータ１上で動作するプログラムとして実現される。パーソナルコンピュータ１の構成については図１と同様であるので、その説明は省略する。
【０１５２】
また、本実施の形態における特徴量算出の説明においては、すでに構造成分が抽出された二値画像に対し、処理を適用するものとする。
【０１５３】
図２３のフローチャートを参照して説明する。はじめに、ステップＳ５１においてRGB各々に対する血管抽出二値画像を入力する。本実施の形態における血管抽出二値画像は本発明の第１ないし３の実施の形態において説明した二値化抽出処理のいずれかをR、G及びBの各画像に対して適用することにより作成することができる。以下、ステップＳ５２ないしＳ５４における一連の処理を各画像ごとに適用する。
【０１５４】
続くステップＳ５２ないしＳ５４においては、各々本発明の第４の実施の形態において説明した図２１におけるステップＳ４２ないしＳ４４と同様の処理の適用により、RGB各画像ごとの幅不整評価値Vr、Vg及びVbを算出する。
【０１５５】
ステップＳ５５において得られたVr、Vg及びVbを画像処理対象とした内視鏡画像の血管像に対する特徴ベクトルとして処理を終了する。
【０１５６】
特徴ベクトル (Vr、Vg，Vb) を正常及び病変の各症例画像群から算出した教師データを用いての識別器（例えば線形判別関数、ニューラルネットワーク等）に適用することにより、存在する深さの異なる血管に関する構造成分に関する情報を得られることから、Vgのみを使用する場合よりも精度の高い分類結果を得ることが可能となる。
【０１５７】
なお、本実施の形態においては算出する特徴量として第４の実施の形態に示した幅不整評価値Vを例に説明したが、異なる波長の光により得られた粘膜下における存在する深さの異なる血管の情報を特徴量化し、特徴ベクトルとして識別処理等に使用することが重要な点となっている。したがって、他の特徴量として例えば二値化抽出画像に対する細線化の適用により、分岐・交差点数等の他の特徴量を使用することも可能である。
【０１５８】
従って、本実施の形態は以下の効果を有する。
【０１５９】
本実施の形態によれば、生体粘膜下に存在する深さの異なる血管に関する構造成分に関する情報を得ることにより、有用な特徴量を算出することが可能となる。
【０１６０】
（第６の実施の形態）
次に本発明の第６の実施の形態を説明する。本実施の形態においては、RGBの３つの画像からなる内視鏡画像に対し、各画像に含まれる構造成分により血管の色調差が生じている場合においても良好な血管抽出結果を得ることが可能である画像処理方法について説明する。
【０１６１】
血管像の抽出においては、G画像に対する処理の適用が一般的であるが、RGB（カラー）画像上で青く見える血管はR画像にその構造成分が反映されていることから良好な抽出結果が得られない場合がある。これは、本発明の第５の実施例における説明と同様に、粘膜下における血管が存在する深さの違い等によるものと考えられている。
【０１６２】
本実施の形態においては、R及びG画像の各々に対する抽出処理を適用し、その結果を合成することにより良好な血管抽出画像を得ることを可能とする。
【０１６３】
本実施の形態においてはR及びG画像の各々に対する帯域通過型フィルタリングによるBPF処理結果画像及び閾値処理を用いた二値化抽出処理を基本とし、BPF処理結果画像を得るまでの一連の処理については他の実施の形態と共通するので説明は省略する。
【０１６４】
以下の説明においては、R及びG画像の各々のBPF処理結果画像をそれぞれBr及びBgとする。また、Br及びBgにおける各画素を、各々Br(x,y)及びBg(x,y)（1≦x≦ISX，1≦y≦ISY）とする。
【０１６５】
BPF処理結果画像Br及びBgについて、以下の合成画像Brgを作成する。
【０１６６】
Brg(x,y)＝α×Br(x,y)＋β×Bg(x,y) （６）
ここで、α及びβは以下のように定める。
【０１６７】
【数７】
【０１６８】
式（７）はBr(x,y)において構造成分が含まれていない場合にはα＝0とすることによりG画像のみを、含まれている場合にはα＝β＝1.0とすることによりR及びG画像双方の構造成分を合成するための係数となる。
【０１６９】
以上、式（６）及び（７）により、合成BPF画像Brgは画素ごとにR及びG画像の各々に存在する構造成分を漏らすことなく抽出したものとなる。最後に、Brg(x,y) に対し閾値処理を適用することにより二値画像を作成する。
【０１７０】
以上説明したように、本実施の形態における画像処理方法の適用により、各画像に含まれる構造成分により生じる血管の色調差が存在する場合においても良好な血管抽出結果を得ることが可能となる。
【０１７１】
なお、上述した各実施の形態を部分的に組み合わせて構成される実施の形態等も本発明に属する。
【０１７２】
［付記］
１．画像を入力するステップと、
前記画像から所望の構造成分を抽出するためのテンプレートを用意するステップと、
前記テンプレートを用いたマッチングにより構造成分を有する画像中の位置を特定するステップと、
前記マッチングの結果に基づき構造成分を抽出するステップと、
からなることを特徴とする画像処理方法。
【０１７３】
２．前記テンプレートは構造成分の画素幅及び変動の大きさに基づき決定されることを特徴とする付記１記載の画像処理方法。
【０１７４】
３．前記テンプレートを複数種用意するとともに、
前記複数のテンプレートを用いたマッチングの結果を評価するステップと、
前記評価の結果に基づき構造成分を抽出することを特徴とする付記２記載の画像処理方法。
【０１７５】
４．前記構造成分が生体粘膜観察画像における血管であるとともに
前記テンプレートが画像上の血管の幅及びコントラストに基づき決定されることを特徴とする付記１、２または３いずれか一つに記載の画像処理方法。
【０１７６】
５．前記構造成分の存在する位置及びテンプレートに基づき構造成分抽出画像を作成するステップをさらに備えたことを特徴とする付記１、２、３または４いずれか一つに記載の画像処理方法。
【０１７７】
６．前記マッチングは前記テンプレートと画像の局所的な相関演算であるとともに、
前記相関演算結果によりもっとも高い相関を有するテンプレートに対応する構造成分を抽出することを特徴とする付記５記載の画像処理方法。
【０１７８】
７．前記相関演算が正規化相互相関であることを特徴とする画像処理方法。
【０１７９】
８．前記テンプレートは大きさN×１、N≧3の１次元形状であるとともに、
前記マッチングを画像に対する複数の方向に対して適用することを特徴とする付記１、２、３、４、５、６または７いずれか一つに記載の画像処理方法。
【０１８０】
９．画像を入力するステップと
前記画像から第１の領域抽出処理を適用することにより１個以上の第１の領域群を抽出するステップと、
前記第１の領域群を構成する各領域ごとに第２の領域抽出処理を適用することにより第２の領域群を抽出するステップと、
からなることを特徴とする画像処理方法。
【０１８１】
１０．前記第１の領域抽出処理は抽出を所望する画像中の構造成分を冗長に含む領域群を抽出し、
前記第２の領域抽出処理は前記第１の領域群から不要な構造成分を除外した領域群を抽出することを特徴とする付記９記載の画像処理方法。
【０１８２】
１１．前記第１の領域抽出処理は、第１の通過周波数帯域特性を有する第１のフィルタリング結果に基づく第１の二値画像と第２の通過周波数帯域特性を有する第２のフィルタリングの結果に基づく第２の二値画像の論理演算に基づく領域抽出を行うことを特徴とする付記１０記載の画像処理方法。
【０１８３】
１２．前記論理演算は前記第１のフィルタリング結果に基づく第１の二値画像において抽出された領域群の各領域を、所望する構造成分を含む領域及び含まない領域に分離することを特徴とする付記１１記載の画像処理方法。
【０１８４】
１３．前記第１の通過周波数帯域特性は画像中の構造成分に基づき定められるとともに、
前記第２の通過周波数帯域特性は前記第１の通過周波数帯域特性より相対的に低い周波数帯域を通過するように定められることを特徴とする付記１２記載の画像処理方法。
【０１８５】
１４．前記論理演算は前記第１及び第２のフィルタリング結果に基づく各々の二値画像において双方において抽出された画素を前記第１の領域群として抽出することを特徴とする付記１３記載の画像処理方法。
【０１８６】
１５．前記第２の領域抽出処理は、前記第１の領域抽出結果における各抽出領域ごとに対応する前記第１のフィルタリング結果に対しての閾値処理により領域を抽出することを特徴とする付記１４記載の画像処理方法。
【０１８７】
１６．画像に対し第１及び第２の帯域通過型フィルタリングを適用するステップと、
前記第１及び第２の帯域通過型フィルタリング結果から第１及び第２の二値画像を作成するステップと、
前記第１及び第２の二値画像に対する論理演算に基づき抽出を所望する構造成分を含む第１の領域群と含まない第２の領域群とを特定するステップと、
前記第２の領域群に基づき前記第１の領域群から所望する構造成分を再抽出するステップと、
前記第１の領域群を構成する各領域ごとに二値画像を作成するステップと、
からなることを特徴とする画像処理方法。
【０１８８】
１７．画像を入力するステップと、
抽出を所望する前記画像中の構造成分を特定する情報を含む参照用画像を入力するステップと、
前記構造成分を抽出するための処理のパラメタを複数作成するステップと、
前記複数のパラメタを用いて前記画像に対する前記構造成分抽出のための処理を適用することにより複数の抽出画像を作成するステップと、
前記複数の抽出画像の各々における抽出結果と前記参照用画像における構造成分との一致度を比較するステップと、
前記比較結果に基づき一致度の高いパラメタを特定するステップと、
からなることを特徴とする画像処理パラメタ設定方法。
【０１８９】
１８．前記抽出処理は二値化処理であることを特徴とする付記１７記載の画像処理パラメタ設定方法。
【０１９０】
１９．画像を入力するステップと、
前記画像から構造成分を抽出するステップと、
前記抽出した構造成分の幅に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９１】
２０．前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記構造成分の幅は前記二値画像に対する距離変換・骨格処理の適用結果に基づくものであることを特徴とする付記１９記載の画像処理方法。
【０１９２】
２１．前記特徴量は前記構造成分の幅の変動の大小を評価する数値であることを特徴とする付記２０記載の画像処理方法。
【０１９３】
２２．前記数値は標準偏差または分散であることを特徴とする付記２１記載の画像処理方法。
【０１９４】
２３．複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも２つから所望する構造成分を抽出するステップと、
前記抽出した構造成分に基づく特徴量の組を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９５】
２４．前記抽出は構造成分に対する二値画像を作成するステップを含むとともに、
前記特徴量算出は前記二値画像に基づく特徴量の組を算出することを特徴とする画像処理方法。
【０１９６】
２５．複数の色信号からなる画像を入力するステップと、
前記画像を構成する複数の色信号の少なくとも２つから所望する構造成分を抽出するステップと、
前記抽出した構造成分を合成するステップと、
前記合成の結果に基づく特徴量を算出するステップと、
からなることを特徴とする画像処理方法。
【０１９７】
２６．前記合成は前記構造成分の局所的な値に基づく合成を行うことを特徴とする画像処理方法。
【０１９８】
２７．前記画像は内視鏡画像であることを特徴とする付記１ないし２６いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【０１９９】
２８．前記構造成分が前記画像における血管または腺口であることを特徴とする付記１、２、３、５ないし２７いずれか一つに記載の画像処理方法または画像処理パラメタ設定方法。
【０２００】
【発明の効果】
以上説明したように本発明によれば、血管像、pit pattern等の抽出対象となる構造部分を良好に抽出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理方法を実行するためのパーソナルコンピュータの構成を示すブロック図。
【図２】本実施の形態における画像処理方法の処理内容を説明するためのフローチャート図。
【図３】血管像を説明するための説明図。
【図４】本実施の形態における血管モデルを説明するための説明図。
【図５】テンプレートの作成例を説明するための説明図。
【図６】テンプレート・マッチングにおける１次元方向の組合わせ例を説明するための説明図。
【図７】テンプレート・マッチングによる血管位置の判定を説明するための血管像の説明図。
【図８】テンプレート・マッチングによる血管位置の判定を説明するための説明図。
【図９】本発明の第２の実施の形態における一連の処理を説明するためのフローチャート図。
【図１０】帯域通過型フィルタの周波数特性を説明するための説明図。
【図１１】本実施の形態における原画像例を示す図。
【図１２】処理経過の途中の第１の画像例を示す図。
【図１３】処理経過の途中の第２の画像例を示す図。
【図１４】処理経過の途中の第３の画像例を示す図。
【図１５】処理経過の途中の第４の画像例を示す図。
【図１６】処理結果画像例を示す図。
【図１７】本発明の第３の実施の形態における一連の処理の流れを説明するためのフローチャート図。
【図１８】図１７におけるステップＳ２４の二値画像生成の処理内容を示すフローチャート図。
【図１９】帯域通過型フィルタの特性例の説明図。
【図２０】本発明の第４の実施の形態における画像処理方法の対象となる血管所見の説明図。
【図２１】本発明の第４の実施の形態における一連の処理内容を示すフローチャート図。
【図２２】特徴量を説明するための説明図。
【図２３】本発明の第５の実施の形態における処理内容を示すフローチャート図。
【符号の説明】
１…パーソナルコンピュータ
２…演算手段
３…メインメモリ
４…プログラム記憶手段
５…表示手段
６…入力手段
７…外部記憶手段
８…ネットワークアダプタ
９…外部ネットワーク
１１…内視鏡装置
１２…画像ファイリング装置
Claims (3)
- 内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像から所望の構造成分を抽出するためのデータであって、抽出対象の構造成分のモデルに基づくテンプレートデータを格納する記憶手段と、
前記内視鏡画像における各画素に対して前記記憶手段に格納された前記テンプレートデータとの相関量の算出を行い、当該相関量に基づいて該当する構造成分の当該内視鏡画像中の位置を特定する位置特定手段と、
前記位置特定手段により前記内視鏡画像中の位置が特定された構造成分を抽出する構造成分抽出手段と、
を具備し、
前記テンプレートデータは構造成分の画素幅及び当該画素幅方向における画素値の変化量に基づき決定される
ことを特徴とする画像処理装置。 - 前記構造成分が生体粘膜観察画像における血管またはｐｉｔ ｐａｔｔｅｒｎであるとともに、
前記テンプレートデータが画像上の血管またはｐｉｔ ｐａｔｔｅｒｎの幅及びコントラストに基づき決定されることを特徴とする請求項１に記載の画像処理装置。 - 前記構造成分の存在する位置及びテンプレートデータに基づき構造成分抽出画像を作成する構造成分抽出画像作成手段をさらに備えたことを特徴とする請求項１または２に記載の画像処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002354290A JP4409166B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置 |
| US10/537,755 US7599533B2 (en) | 2002-12-05 | 2003-12-05 | Image processing system and image processing method |
| PCT/JP2003/015582 WO2004049923A1 (ja) | 2002-12-05 | 2003-12-05 | 画像処理装置および画像処理方法 |
| EP03780684A EP1568307B1 (en) | 2002-12-05 | 2003-12-05 | Image processing device and image processing method |
| AU2003289291A AU2003289291A1 (en) | 2002-12-05 | 2003-12-05 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002354290A JP4409166B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004181096A JP2004181096A (ja) | 2004-07-02 |
| JP4409166B2 true JP4409166B2 (ja) | 2010-02-03 |
Family
ID=32463336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002354290A Expired - Fee Related JP4409166B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7599533B2 (ja) |
| EP (1) | EP1568307B1 (ja) |
| JP (1) | JP4409166B2 (ja) |
| AU (1) | AU2003289291A1 (ja) |
| WO (1) | WO2004049923A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014073527A1 (ja) | 2012-11-07 | 2014-05-15 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置 |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005000101A2 (en) * | 2003-06-12 | 2005-01-06 | University Of Utah Research Foundation | Apparatus, systems and methods for diagnosing carpal tunnel syndrome |
| ITPI20040066A1 (it) * | 2004-09-21 | 2004-12-21 | Cnr Consiglio Naz Delle Ricerche | Metodo e dispositivo per la valutazione automatica di indici di funzionalita' cardiovascolare mediante elaborazione di immagini ecografiche |
| JP4615963B2 (ja) * | 2004-10-29 | 2011-01-19 | オリンパス株式会社 | カプセル型内視鏡装置 |
| JP4799248B2 (ja) * | 2006-03-31 | 2011-10-26 | 富士フイルム株式会社 | 画像処理装置 |
| JP5094036B2 (ja) * | 2006-04-17 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入方向検出装置 |
| JP4247691B2 (ja) * | 2006-05-17 | 2009-04-02 | ソニー株式会社 | 登録装置、照合装置、登録方法、照合方法及びプログラム |
| JP4847795B2 (ja) * | 2006-06-06 | 2011-12-28 | Ｈｏｙａ株式会社 | 内視鏡用組織蛍光染色剤組成物 |
| US20080058593A1 (en) * | 2006-08-21 | 2008-03-06 | Sti Medical Systems, Llc | Computer aided diagnosis using video from endoscopes |
| JP5243706B2 (ja) * | 2006-08-28 | 2013-07-24 | 株式会社ミツトヨ | 光波干渉測定装置 |
| GB0705223D0 (en) * | 2007-03-19 | 2007-04-25 | Univ Sussex | Method, apparatus and computer program for analysing medical image data |
| JP5073361B2 (ja) * | 2007-05-15 | 2012-11-14 | 隆志 曽根 | 画像処理装置、画像処理システム、画像処理方法 |
| JP2008287436A (ja) | 2007-05-16 | 2008-11-27 | Sony Corp | 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造 |
| JP5435532B2 (ja) * | 2007-07-17 | 2014-03-05 | 富士フイルム株式会社 | 画像処理システム |
| US8144958B2 (en) | 2008-09-11 | 2012-03-27 | Carl Zeiss Meditec Ag | Medical systems and methods |
| US20100142766A1 (en) * | 2008-12-04 | 2010-06-10 | Alan Duncan Fleming | Image Analysis |
| JP5282343B2 (ja) * | 2008-12-05 | 2013-09-04 | 富士フイルム株式会社 | 撮像装置、及びプログラム |
| JP5455550B2 (ja) * | 2009-10-23 | 2014-03-26 | Ｈｏｙａ株式会社 | 電子内視鏡用プロセッサ |
| TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
| WO2011129176A1 (ja) * | 2010-04-12 | 2011-10-20 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理方法 |
| US8922633B1 (en) | 2010-09-27 | 2014-12-30 | Given Imaging Ltd. | Detection of gastrointestinal sections and transition of an in-vivo device there between |
| US8965079B1 (en) | 2010-09-28 | 2015-02-24 | Given Imaging Ltd. | Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween |
| JP5683888B2 (ja) | 2010-09-29 | 2015-03-11 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| JP5582948B2 (ja) * | 2010-09-29 | 2014-09-03 | 富士フイルム株式会社 | 内視鏡装置 |
| JP5371920B2 (ja) * | 2010-09-29 | 2013-12-18 | 富士フイルム株式会社 | 内視鏡装置 |
| JP5435746B2 (ja) * | 2011-01-24 | 2014-03-05 | 富士フイルム株式会社 | 内視鏡装置 |
| JP5139606B2 (ja) * | 2011-02-01 | 2013-02-06 | オリンパスメディカルシステムズ株式会社 | 診断支援装置及び診断支援装置の制御方法 |
| EP2679142B1 (en) * | 2011-02-22 | 2017-04-19 | Olympus Corporation | Medical image processing device and medical image processing method |
| KR101182729B1 (ko) * | 2011-03-10 | 2012-09-13 | 동국대학교 산학협력단 | 의료용 혈관영상 처리방법 |
| WO2012147505A1 (ja) * | 2011-04-27 | 2012-11-01 | オリンパスメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理方法 |
| JP5948203B2 (ja) | 2011-10-12 | 2016-07-06 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JP5844230B2 (ja) * | 2011-10-12 | 2016-01-13 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JP5931418B2 (ja) * | 2011-11-25 | 2016-06-08 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
| JP6061619B2 (ja) * | 2012-10-30 | 2017-01-18 | オリンパス株式会社 | 顕微鏡システム |
| CA2804439A1 (en) * | 2012-12-13 | 2014-06-13 | Ehsan Fazl Ersi | System and method for categorizing an image |
| CN104869884B (zh) * | 2012-12-19 | 2017-03-08 | 奥林巴斯株式会社 | 医用图像处理装置以及医用图像处理方法 |
| JP6112859B2 (ja) * | 2012-12-26 | 2017-04-12 | オリンパス株式会社 | 医用画像処理装置 |
| JP6045396B2 (ja) * | 2013-02-27 | 2016-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6099436B2 (ja) * | 2013-03-06 | 2017-03-22 | オリンパス株式会社 | 画像処理装置 |
| US9324145B1 (en) | 2013-08-08 | 2016-04-26 | Given Imaging Ltd. | System and method for detection of transitions in an image stream of the gastrointestinal tract |
| JP6608141B2 (ja) * | 2014-01-24 | 2019-11-20 | 国立大学法人九州工業大学 | 健康状態評価支援システム |
| JP6210962B2 (ja) * | 2014-09-30 | 2017-10-11 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| JP6651214B2 (ja) | 2015-06-19 | 2020-02-19 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
| SG11201911791RA (en) * | 2017-06-09 | 2020-01-30 | Ai Medical Service Inc | A disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein |
| US11468273B2 (en) * | 2018-09-20 | 2022-10-11 | Cable Television Laboratories, Inc. | Systems and methods for detecting and classifying anomalous features in one-dimensional data |
| JP7007324B2 (ja) * | 2019-04-25 | 2022-01-24 | ファナック株式会社 | 画像処理装置、画像処理方法、及びロボットシステム |
| CN112888356A (zh) * | 2019-04-26 | 2021-06-01 | Hoya株式会社 | 电子内窥镜系统与数据处理装置 |
| TWI711051B (zh) | 2019-07-11 | 2020-11-21 | 宏碁股份有限公司 | 血管狀態評估方法與血管狀態評估裝置 |
| CN113556968B (zh) * | 2019-09-27 | 2023-12-22 | Hoya株式会社 | 内窥镜系统 |
| US11940451B2 (en) * | 2021-12-20 | 2024-03-26 | Instrumentation Laboratory Co. | Microfluidic image analysis system |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2918162B2 (ja) | 1988-11-02 | 1999-07-12 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
| JPH0332635A (ja) | 1989-06-30 | 1991-02-13 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
| US5651047A (en) * | 1993-01-25 | 1997-07-22 | Cardiac Mariners, Incorporated | Maneuverable and locateable catheters |
| JPH08145628A (ja) * | 1994-11-18 | 1996-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 対象物位置特定方法 |
| JP3895400B2 (ja) | 1996-04-30 | 2007-03-22 | オリンパス株式会社 | 診断支援装置 |
| US7194117B2 (en) * | 1999-06-29 | 2007-03-20 | The Research Foundation Of State University Of New York | System and method for performing a three-dimensional virtual examination of objects, such as internal organs |
| JPH11271232A (ja) * | 1998-03-23 | 1999-10-05 | Hitachi Eng & Service Co Ltd | プリント基板の配線の欠陥検出方法および装置 |
| US6468265B1 (en) * | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
| JP2000197050A (ja) * | 1998-12-25 | 2000-07-14 | Canon Inc | 画像処理装置及び方法 |
| JP4311598B2 (ja) * | 2000-11-20 | 2009-08-12 | 富士フイルム株式会社 | 異常陰影検出方法および装置 |
| JP4450973B2 (ja) * | 2000-11-30 | 2010-04-14 | オリンパス株式会社 | 診断支援装置 |
| JP3958526B2 (ja) * | 2001-02-28 | 2007-08-15 | ペンタックス株式会社 | 電子内視鏡装置の観察部位表示システム |
| JP2002336193A (ja) | 2001-05-17 | 2002-11-26 | Olympus Optical Co Ltd | 診断支援装置 |
| JP2003265463A (ja) * | 2002-03-13 | 2003-09-24 | Nagoya Industrial Science Research Inst | 画像診断支援システム及び画像診断支援プログラム |
-
2002
- 2002-12-05 JP JP2002354290A patent/JP4409166B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-05 WO PCT/JP2003/015582 patent/WO2004049923A1/ja active Application Filing
- 2003-12-05 US US10/537,755 patent/US7599533B2/en active Active
- 2003-12-05 EP EP03780684A patent/EP1568307B1/en not_active Expired - Fee Related
- 2003-12-05 AU AU2003289291A patent/AU2003289291A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014073527A1 (ja) | 2012-11-07 | 2014-05-15 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置 |
| US9129384B2 (en) | 2012-11-07 | 2015-09-08 | Olympus Medical Systems Corp. | Medical image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1568307B1 (en) | 2012-04-18 |
| JP2004181096A (ja) | 2004-07-02 |
| WO2004049923A1 (ja) | 2004-06-17 |
| US20060050966A1 (en) | 2006-03-09 |
| EP1568307A1 (en) | 2005-08-31 |
| US7599533B2 (en) | 2009-10-06 |
| AU2003289291A1 (en) | 2004-06-23 |
| EP1568307A4 (en) | 2008-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4409166B2 (ja) | 画像処理装置 | |
| Hernandez-Matas et al. | FIRE: fundus image registration dataset | |
| EP2054852B1 (en) | Computer aided analysis using video from endoscopes | |
| Barbalata et al. | Laryngeal tumor detection and classification in endoscopic video | |
| US20030144585A1 (en) | Image processing using measures of similarity | |
| US8351667B2 (en) | Methods of contrast enhancement for images having blood vessel structures | |
| JP6580446B2 (ja) | 画像処理装置及び画像処理方法 | |
| Memon et al. | Segmentation of lungs from CT scan images for early diagnosis of lung cancer | |
| Boubakar Khalifa Albargathe et al. | Blood vessel segmentation and extraction using H-minima method based on image processing techniques | |
| Domingues et al. | Computer vision in esophageal cancer: a literature review | |
| CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
| CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| Bodzioch et al. | New approach to gallbladder ultrasonic images analysis and lesions recognition | |
| Aubreville et al. | Transferability of deep learning algorithms for malignancy detection in confocal laser endomicroscopy images from different anatomical locations of the upper gastrointestinal tract | |
| Gross et al. | Polyp segmentation in NBI colonoscopy | |
| Ali et al. | Arthroscopic multi-spectral scene segmentation using deep learning | |
| Grochowski et al. | Diagnosis of malignant melanoma by neural network ensemble-based system utilising hand-crafted skin lesion features | |
| KR20110130288A (ko) | 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법 | |
| Ohura et al. | Computer-aided diagnosis method for detecting early esophageal cancer from endoscopic image by using dyadic wavelet transform and fractal dimension | |
| Hu et al. | Toward real-time tumor margin identification in image-guided robotic brain tumor resection | |
| Behrens et al. | Intensity based multi-scale blending for panoramic images in fluorescence endoscopy | |
| JP6879520B2 (ja) | 画像処理装置及び画像処理方法 | |
| Ye et al. | Segmentation and feature extraction of endoscopic images for making diagnosis of acute appendicitis | |
| Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
| Ramesh et al. | Automatic Endoscopic Ultrasound Station Recognition with Limited Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4409166 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |