WO2005033678A1

WO2005033678A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2005033678A1
Application number: PCT/JP2004/013349
Authority: WO
Inventors: Satoshi Arai
Original assignee: Olympus Corporation
Priority date: 2003-10-03
Filing date: 2004-09-14
Publication date: 2005-04-14
Also published as: EP1669735A1; JPWO2005033678A1; US20050073685A1; US7227122B2

Abstract

　画像処理装置は、透過型の照明（１０）により照明された撮像対象（３０）を、光学フィルタ（１４）を介して、カメラ（１８）で撮像し、分光特性推定部（２２）及び色素量推定部（２４）によって、上記撮像された多バンド画像から、撮像対象（３０）の画素毎に上記撮像対象（３０）に関連した物理量を計算するとき、上記計算する物理量の独立成分数に等しい数の光学フィルタ（１４）を上記撮像に使用する。

Description

明細書

画像処理装置及び画像処理方法

技術分野

[0001] 本発明は、光学フィルタを用いて物体の物理特性を評価する画像処理装置及び画像処理方法に関する。

背景技術

[0002] 従来、画像処理を目的とした撮像を行う場合、 RGBカメラを使用し、色情報として取得する場合が多力つた。 RGBカメラで取得される色情報は、人間の視覚情報に類似して、る為、人間にとつて内容を受け入れ易、と、う特徴を持つ。

[0003] しかしながら、色情報は、人間の視覚認識処理の中間に位置する主観的な情報であって、物理的な客観ィ匕が難しい。即ち、観察環境や心理状態によって人間の色に対する認識は変化するのであって、定量ィ匕ゃ正規ィ匕が容易ではない。これは例えば、色情報に基づいて組織標本の病変を認識するような場合に、規準の形成を困難にする。

[0004] これに対して、対象の分光特性 (以下、スペクトルと称する）は、対象固有の物理特性であり、人間の主観の影響を受けない客観的な値として定量ィ匕でき、スペクトルから派生した特徴量を客観的な判断規準とすることが可能である。スペクトル画像は、画像の各画素毎に対象のスペクトルデータを取得し、画像状に配置したものであり、対象に関する重要な物理情報を含んでいる。

[0005] スペクトルを用いた画像処理については古くから着目されており、特に診断支援の分野では様々な試みがなされてきた。

[0006] 例えば、 W099Z16353は、眼底に照射した光の反射光を干渉計で分光し、そのスペクトルを処理することで網膜血管中のヘモグロビン濃度を認識する、眼のスぺタトル生物画像診断法を開示して!/、る。

[0007] また、スペクトル処理に関する他の技術として、「分光透過率を用いた組織標本の分析—染色状態の定量化手法の検討（Analysis of tissue samples using

transmittance spectra― The method of considering the differences of dying conditions)」（藤井ら、第 3回デジタル生体医用画像の「色」シンポジウム）が挙げられる。これは、病理標本の分光透過率と染色色素の透過率とを基に、標本に含まれる色素量を 2次元マップとして推定するものである。

[0008] し力しながら、スペクトル処理には以下のような欠点があり、現状十分普及しているとは言い難い状況である。即ち、まず、スペクトル画像を撮影する為には、分光手段を備えたカメラが必要である。このようなカメラは、従来の RGBカメラよりも大掛力りな構成となり、同時に高価である。また、撮像された画像のデータ量が膨大になり、これを記憶する容量や伝送する帯域に、大きな負担を与える。更に、多くのデータを処理する為に、スペクトル画像の処理には従来の画像処理以上の計算コストが掛かる。

[0009] 上記 W099Z16353は、眼底に照射した光の反射光を干渉計で分光し、スぺタトルを得る構成である力スペクトルを画像の全画素に渡って取得するには、メカ駆動による光線のスキャニングが必要である。従って、その構成上、装置の小型化は困難である。

[0010] また、上記藤井らの文献に開示されている手法では、色素量の推定精度を確保する為に、入力としてスペクトル画像、あるいは数バンド以上のバンド画像といった多量の情報が必要である。例えば RGBカメラのような僅かなバンド数の画像では、推定精度を確保できない。このような多数のバンドを持つバンド画像の撮像には、特別な機材と手間を要する。

[0011] 従来のスペクトル (分光特性)を用いた画像解析では、波長方向に数バンドから数 1 0バンド分の情報が必要であり、入力の手間、記憶容量、伝送速度、処理速度、何れの面を考慮しても扱、が難しぐ広く普及するには至って、な、。

発明の開示

[0012] 本発明は、上記の点に鑑みてなされたもので、少ないバンド数で撮像でき、精度良く分光特性を解析でき、更に有益な物理量を簡単な構成で取得可能な画像処理装置及び画像処理方法を提供することを目的とする。

[0013] 本発明の第 1の態様によれば、透過型照明により照明された対象を、光学フィルタを介して、撮像素子によって撮像するための撮像手段と、上記撮像手段によって撮像された画像から、対象の画素毎に上記対象に関連した物理量を計算するための計算手段と、を備え、上記撮像に使用する光学フィルタの数が、上記計算手段で計算する物理量の独立成分数に等しい画像処理装置が提供される。

[0014] また、本発明の第 2の態様によれば、透過型照明により照明された対象を、光学フィルタを介して撮像することと、その撮像された画像から、対象の画素毎に上記対象に関連した物理量を計算することと、を含み、上記撮像に使用する光学フィルタの数力上記計算する物理量の独立成分数に等ヽ画像処理方法が提供される。

[0015] また、本発明の第 3の態様によれば、所定の複数の色素で染色した対象を、複数の分光特性の異なる光学フィルタを介して撮像することと、その撮像された画像から、対象の画素毎に上記対象に関連した上記複数の色素の各々の色素量を計算して推定することと、その推定した各々の色素量の分布カゝら上記対象の解析を行うことと、を含み、上記複数の光学フィルタは、上記計算して推定する色素量の独立成分数に等しい数であり、上記複数の光学フィルタの各々異なる分光特性の組み合わせ力上記計算して推定する色素量の推定誤差を最小にするように、予め選択されている画像処理方法が提供される。

図面の簡単な説明

[0016] [図 1]図 1は、本発明の第 1実施例に係る画像処理装置の構成を示す図である。

[図 2]図 2は、染色された組織標本の断面を示す図である。

[図 3]図 3は、多バンド画像の撮像装置の一例として従来の色分類装置の構成を示す図である。

[図 4A]図 4Aは、図 3の色分類装置に使用される回転色フィルタに使用される複数のバンドパスフィルタの特性を示す図である。

[図 4B]図 4Bは、回転色フィルタの構成を示す図である。

[図 4C]図 4Cは、回転色フィルタの別の構成を示す図である。

[図 5]図 5は、第 1実施例に係る画像処理装置の変形例を示す図である。

[図 6]図 6は、第 1実施例に係る画像処理装置の別の変形例を示す図である。

[図 7]図 7は、本発明の第 2実施例に係る画像処理装置の構成を示す図である。

[図 8]図 8は、格子状に構成された光学フィルタを示す図である。

[図 9]図 9は、局所画像領域を示す図である。発明を実施するための最良の形態

[0017] 以下、本発明を実施するための最良の形態を図面を参照して説明する。

[0018] [第 1実施例]

本実施例は、色素を含んだ半透明物体を透過型照明を用いて多バンド撮像し、その各画素について分光透過率を推定し、更にこの分光透過率から対象の各画素に含まれる色素量を推定するものである。

[0019] なお、本実施例では、半透明物体として病理組織標本を、色素としてへマトキシリンとェォジンを想定する。即ち、最終的に得る物理量はへマトキシリンとェォジンの色素量であり、独立成分数としては「2」である。

[0020] 本実施例に係る画像処理装置は、図 1に示すように、照明 10、対物光学系 12、光学フィルタ 14、結像光学系 16、カメラ 18、メモリ 20、分光特性推定部 22、色素量推定部 24、表示部 26、及び制御部 28から構成されている。但し、制御部 28から装置各部位への接続は、図面の簡略化のため図示して!/、な!/、。

[0021] 即ち、本実施例に係る画像処理装置においては、図示しないステージ上に撮像対象 30を設置する。そして、このステージ上に設置された撮像対象 30に、図 2に示すように、カメラ 18とは反対側から、照明 10により光 (入射光 32)を照射する。なお、図 2 において、参照番号 30Aは、へマトキシリンで染織された部位 (主に細胞核)を示し、参照番号 30Bは、ェォジンで染織された部位 (主に細胞質)を示している。上記撮像対象 30を透過した光 (透過光 34)は、対物光学系 12及び結像光学系 16により、カメラ 18が有する図示しない撮像素子の撮像面上に結像される。更に、照明 10からカメラ 18の撮像面に至るまでのいずれかの光路上に、少なくともその時点での光束よりも径の大きい光学フィルタ 14が配置される。この時、該光学フィルタ 14は交換可能な構成とし、その枚数は、最終的に得る物理量の独立成分数と同数とする。即ち、本実施例では 2枚である。この構成の基で、光学フィルタ 14の交換と撮像とを逐次あるいは並行して行うことにより、多バンド画像を撮像することができる。本実施例では、各画素毎に 2バンドの画像が得られる。こうして撮像された多バンド（2バンド)画像は、メモリ 20に格納される。

[0022] なお、図 1の構成では、対物光学系 12と結像光学系 16との間に光学フィルタ 14を配置している力それに限定されるものではない。例えば、 USP5, 717, 605に開示されているような、可換型の光学フィルタ 14とカメラ 18とを一体化させ、フィルタをターレットで交換する構成を適用することも可能である。

[0023] 上記 USP5, 717, 605に開示された色分類装置は、図 3に示すように、絞りやレンズを含む光学系 36、それぞれ図 4Aに示されるような特性を持つ複数枚のバンドパスフィルタ 38A, 38B, · ··, 38Eで構成される回転色フィルタ 38、対象物 42及び参照板 44の画像を取り込むための CCD40、 A/D変換器 46、フレームメモリ 48、撮影している部分を表示するモニタ 50、 CCD駆動ドライバ 52、回転色フィルタ 38の駆動モータ 54、 CCD駆動ドライバ 52及び回転色フィルタ駆動モータ 54等を制御すると共に分類演算回路 58に命令を送るコントロール部 56、分類を行うための分類演算回路 58から構成される。上記回転色フィルタ 38は、図 4Bあるいは図 4Cに示すように、何種類かのバンドパスフィルタ 38A— 38Eから構成されており、各フィルタは図 4Aに示すような任意のバンド幅を透過するような特性を持っている。この図では、 5枚のバンドパスフィルタで回転色フィルタ 38を構成している。なお、上記 USPには、光学系 36と回転色フィルタ 38の配置は、光学系 36の前に回転色フィルタ 38を配置するような逆の配置でも良、ことが説明されて、る。

[0024] このように、上記 USPに開示されているのは、色分類装置であるが、フィルタの交換の構成については本実施例に適用可能である。勿論、本実施例においては、フィルタは 5枚ではなぐ 2枚だけで良!、ものである。

[0025] また、物理的に異なる光学フィルタ 14を交換して用いる代わりに、図 5に示すように、透過波長可変型光学フィルタ 60を用いても良い。あるいはまた、図 6に示すように、ハーフミラー 62等を用いて光学フィルタ数に応じて光路を分割し、光学フィルタ 14 ( 光学フィルタ" 1"14 1、光学フィルタ" 2"14— 2)と同数のカメラ 18 (カメラ" 1"18— 1、カメラ" 2"18— 2)で同時に撮像を行っても良い。

[0026] 光学フィルタ 14とカメラ 18に関して、いずれの構成を用いても対象の多バンド画像が取得できるが、撮影の期間を通じて、カメラ 18の撮像素子の撮像面上における対象の像位置は、静止して、なければならな!/、。

[0027] こうしてメモリ 20に多バンド画像が蓄積されたならば、次に、分光特性推定部 22により、上記多バンド画像力も画素毎に対象の分光透過率を求める。この処理は、例え、 'Spectral reflectance estimation from multi- oand image using color chart (^T_h ら、 Optics Communications 188 (2001) 47-54)にて開示された手法を、半透明物体の透過観察に適用したものである。

[0028] 即ち、上記文献に開示された手法に拠れば、光学フィルタ 14の分光透過率、照明 10の分光特性、カメラ 18の分光感度、撮像対象 30の分光透過率の相関行列、及び撮像ノイズの相関行列を用いて、位置 (X, y)において撮像された画素値 g (x, y)から撮像対象 30の分光透過率

[数 1] f ( x， y) を、 Wiener推定により推定することができる。

[0029] なお、光学フィルタ 14の分光透過率、照明 10の分光特性、カメラ 18の分光感度において、波長範囲、波長サンプリング間隔、波長サンプリング数、は揃えておく必要がある。この波長範囲、波長サンプリング間隔、波長サンプリング数力 Wiener推定結果の波長範囲、波長サンプリング間隔、波長サンプリング数に引き継がれる。従つて、分光特性として与えるデータを制御することで、任意の波長分解能で推定が行える。

[0030] 本実施例では、波長範囲は可視光領域で、波長サンプリング数は少なくとも「3」以上であるとする。

[0031] 多バンド画像の各画素を g (x, y)として、これを順次移動させながら推定処理を行えば、多バンド撮像した全画素について撮像対象 30の分光透過率を求めることができる。

[0032] なお、 Wiener推定行列を計算する際に撮像対象 30の分光透過率を用いてヽる為、得られる推定値も分光透過率となるのであって、これを更に照明 10の特性で正規化するような処理は不要である。

[0033] また、 Wiener推定では、撮像素子のノイズ特性が条件に組み込まれている為、 SN 比の観点も含めた最適な推定結果が得られる。 [0034] 次に、色素量推定部 24によって、上記分光特性推定部 22による分光透過率の推定結果力も画素毎に撮像対象 30の色素量を求める。この処理は、上記藤井らの文献「分光透過率を用いた組織標本の分析—染色状態の定量ィヒ手法の検討」にて開示された手法を用いる。

[0035] 即ち、上記藤井らの文献に開示された手法に拠れば、へマトキシリンの分光透過率及びェォジンの分光透過率を用いて、上記分光特性推定部 22で求めた位置 (X, y) における撮像対象 30の分光透過率の 2次元分布 Ι ( λ , X, y)から、へマトキシリン色素量の 2次元分布 c (X, y)とェォジン色素量の 2次元分布 c (X, y)を、 Lambert— B

h e

eerの法則を応用して推定することができる。

[0036] へマトキシリンとェォジンによる染色後、へマトキシリン色素はその殆どが細胞核の内部に存在するので、へマトキシリンの色素量分布 c (X, y)は細胞核の分布と見做

h

すことができる。また、ェォジン色素はその殆どが細胞質の内部に存在するので、ェォジンの色素量分布 c (X, y)は細胞質の分布と見做すことができる。

e

[0037] こうして推定された各色素量分布が表示部 26に表示される。

[0038] 以上の処理に使用する光学フィルタ 14は、撮像対象 30の分光透過率を決定する独立成分数、即ち色素の数が「2」であることから、少なくとも 2枚あれば色素量を推定可能であって、更に推定される色素量の誤差が最小になるように、分光特性を選択することができる。これは例えば、中心波長と半値幅の異なるバンドパスフィルタを複数用意し、色素量の推定誤差が最小となる組み合わせを探索すれば良い。

[0039] なお、 Wiener推定時に撮像素子のノイズ特性を使用して!/、る為、 Wiener推定の結果得られた撮像対象 30の分光特性、更には撮像対象 30の分光特性を元に得た色素量には、撮像素子のノイズ特性に関する条件が自ずと含まれる。従って、上記最適フィルタの選択には、色素量の誤差最小化の条件に加え、撮像素子のノイズ特性に関する条件も反映されている。

[0040] 以上説明した処理に従えば、病理組織標本の多バンド画像を撮影し、画素毎に分光透過率を求め、更に色素量という物理量を 2次元的に得ることができる。へマトキシリンとェォジンの色素量は組織の存在分布と強ヽ相関を有しており、組織標本の解祈に有益な情報を与える。一方、本実施例で使用する光学フィルタ 14は高々 2枚であり、 2バンドの画像を撮像すれば十分である。従って、スペクトル処理を含んだ手法でありながら、撮影時間と伝送時間を短縮し、記憶容量と処理時間を著しく低減することが可能である。

[0041] [第 2実施例]

本実施例は、上記第 1実施例における多バンド撮像部を更に改良し、メカ駆動によるフィルタ交換や、光路分割による撮像を不要としたものである。

[0042] なお、本実施例では、半透明物体として病理組織標本を、色素としてへマトキシリンとェォジンを想定する。即ち、最終的に得る物理量はへマトキシリンとェォジンの色素量であり、独立成分数としては「2」である。

[0043] 図 7は、本実施例に係る画像処理装置の構成を示す図である。但し、制御部 28から装置各部位への接続は図示していない。以下、この図に従って説明する。

[0044] 上記第 1実施例と同様、ステージ上に設置された撮像対象 30に、カメラ 18と反対側から照明 10を照射する。その透過光を、対物光学系 12及び結像光学系 16によりカメラ 18の撮像素子の撮像面上に結像させる。本実施例では更に、カメラ 18の撮像面上あるいは光学的に共役な位置に、図 8に示す外観の光学フィルタ 64を配置している。この光学フィルタ 64は、 2種類の分光特性を有する素材 64A, 64Bの区画を、巿松模様に敷き詰めたものであり、各区画がカメラ 18の各画素と対応するように位置が調整されている。

[0045] この構成に従って、 1バンドの画像を撮像する。撮像した画像から、上記第 1実施例と同様に分光特性と色素量を計算するが、本実施例では単一の画素に対して得られる画像は 1バンド分のみである。そこで、図 9で示すような隣接画素の集合を 1つの局所画像領域 66として考え、分光特性推定部 22では、次の処理を行って 2バンド相当の画素値を得る。即ち、

(1) 画素 68Aと画素 68Dの平均画素値を計算し、その局所画像領域 66の位置における第 1のバンドの画素値とし、

(2) 画素 68Bと画素 68Cの平均画素値を計算し、その局所画像領域 66の位置における第 2のバンドの画素値とし、そして、

これらの処理を局所画像領域 66毎に行う。 [0046] ここで、実効の画素分解能が半分に低下するものの、単板の撮像素子を用いて 2 バンド相当の画像を撮像できるようになる。このようにして得られた擬似的な 2バンド画像は、画素分解能が十分に高ければ、十分な精度で真の 2バンド画像を近似できる。

[0047] 次に、上記分光特性推定部 22は、上記第 1実施例と同じ手順により、分光特性を推定する。但し、分光透過率は画素毎ではなぐ局所画像領域 66毎に計算する。

[0048] 更に第 1実施例と同じ手順により、色素量推定部 24で色素量を推定する。但し、色素量は画素毎ではなぐ局所画像領域 66毎に計算する。

[0049] 以上説明した処理に従えば、単板の撮像素子を用いて多バンド画像を撮影し、近接する画素集合毎に分光透過率を求め、更に色素量という物理量を 2次元的に得ることができる。実効分解能は低下するものの、近年の CCDあるいは CMOS撮像素子の多画素化を考慮すれば、実用的な解像度の情報を得ることは難しくない。本実施例で撮像される画像は高々 1枚であり、上記第 1実施例と比較してデータ容量は更に小さい。上記第 1実施例と同様、スペクトル処理を含んだ手法でありながら、撮影時間と伝送時間を短縮し、記憶容量と処理時間を著しく低減することが可能である。

[0050] 上記第 1実施例と本実施例は、要求される分解能とデータ容量に応じて適切な形態を選択すると効果的である。

[0051] 以上、実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

Claims

請求の範囲

[1] 透過型照明（10)により照明された対象（30)を、光学フィルタ（14 ; 14 1, 14-2 ;

60 ; 64A, 64B)を介して、撮像素子によって撮像するための撮像手段（18 ; 18— 1, 18—2)と、

上記撮像手段によって撮像された画像から、対象の画素毎に上記対象に関連した物理量を計算するための計算手段（22, 24)と、

を備える画像処理装置において、

上記撮像に使用する光学フィルタの数が、上記計算手段で計算する物理量の独立成分数に等しい、

ことを特徴とする画像処理装置。

[2] 上記光学フィルタは、上記計算手段で計算する物理量の誤差最小化に関する条件に従って選択される、

ことを特徴とする請求項 1に記載の画像処理装置。

[3] 上記条件は、上記計算手段で計算する物理量の誤差を最小にする分光特性の組み合わせを含む、

ことを特徴とする請求項 2に記載の画像処理装置。

[4] 上記物理量は、色素量を含み、

上記条件は、上記対象に関連した色素の光学特性に基づき、上記計算手段で計算する上記色素量の推定誤差を最小にする分光特性の組み合わせを含む、ことを特徴とする請求項 2または 3に記載の画像処理装置。

[5] 上記条件は、更に、上記撮像手段のノイズ特性に関する条件を含む、

ことを特徴とする請求項 2乃至 4の何れかに記載の画像処理装置。

[6] 上記対象は、色素によって着色された半透明物体を含む、

ことを特徴とする請求項 1乃至 5の何れかに記載の画像処理装置。

[7] 上記対象に関連した物理量は、上記対象に含まれる色素の量を含む、

ことを特徴とする請求項 6に記載の画像処理装置。

[8] 上記対象は、生体組織標本を含む、

ことを特徴とする請求項 7に記載の画像処理装置。

[9] 上記色素は、へマトキシリンとェォジンを含む、

ことを特徴とする請求項 8に記載の画像処理装置。

[10] 上記計算手段は、上記対象に含まれる色素の量を計算する際に、 Wiener推定を用いるよう構成されている、

ことを特徴とする請求項 7に記載の画像処理装置。

[11] 上記計算手段は、上記対象に含まれる色素の量を計算する際に、 Lambert-Bee rの法則を用いるよう構成されている、

ことを特徴とする請求項 7に記載の画像処理装置。

[12] 上記光学フィルタの数は、 2である、

ことを特徴とする請求項 9に記載の画像処理装置。

[13] 上記光学フィルタは、透過波長を再設定できる 1つのフィルタ（60)で構成され、上記 1つのフィルタの撮像に使用する設定数が、計算する物理量の独立成分数に等しい、

ことを特徴とする請求項 2に記載の画像処理装置。

[14] 上記計算手段は、近接する少なくとも 2つの画素を含む局所画像領域 (66)毎に対象に関連した物理量を計算するよう構成されている、

ことを特徴とする請求項 2に記載の画像処理装置。

[15] 単一の画像に含まれる局所画像領域のサイズが全て等、、

ことを特徴とする請求項 14に記載の画像処理装置。

[16] 透過型照明（10)により照明された対象（30)を、光学フィルタ（14 ; 14 1, 14—2 ;

60 ; 64A, 64B)を介して撮像し、

その撮像された画像から、対象の画素毎に上記対象に関連した物理量を計算する画像処理方法において、

上記撮像に使用する光学フィルタの数が、上記計算する物理量の独立成分数に等しい、

ことを特徴とする画像処理方法。

[17] 所定の複数の色素で染色した対象 (30)を、複数の分光特性の異なる光学フィルタ (14 ; 14-1, 14-2 ; 60 ; 64A, 64B)を介して撮像し、

その撮像された画像から、対象の画素毎に上記対象に関連した上記複数の色素の各々の色素量を計算して推定し、

その推定した各々の色素量の分布から上記対象の解析を行う、

画像処理方法において、

上記複数の光学フィルタは、上記計算して推定する色素量の独立成分数に等し、数であり、

上記複数の光学フィルタの各々異なる分光特性の組み合わせが、上記計算して推定する色素量の推定誤差を最小にするように、予め選択されて、る、

ことを特徴とする画像処理方法。