JP3766803B2 - 光学顕微鏡使用における色彩閾値を与える方法およびその装置 - Google Patents

Description

【０００１】
【関連出願の相互参照】
本願は、１９９９年８月４日付けで出願された、米国仮特許願第６０／１４７，３７４号の優先権を主張するものである。
【０００２】
【背景】
本発明は、光学顕微鏡使用における、閾値の適用に関するものである。
【０００３】
光学顕微鏡画像は、色彩を含む独特の特性によって、他の部類(classes)の物体と区別できる、ある部類の物体の存在を検出するため、自動的に走査される。ある特定の部類に属する物体の存在に対する画像の自動走査は、その部類に属する物体の、特徴的色彩におけるわずかな変動も考慮しなければならない。その部類に属する実際の物体は、１つの均一な特徴的色彩よりも、むしろ、ある色彩の幅を持っているため、それらは１つの点というよりも、むしろ３次元色彩空間におけるボリュームを占めている。それゆえ、３次元色彩空間における色彩範囲が定められ、画像の自動走査が、その範囲内の色彩を検出すると、その部類に属する物体の検出が登録される。
【０００４】
その色彩によって、物体の真の部類を検出するには、その特徴的色彩ボリュームを他の物体の色彩ボリュームと区別することが必要である。物体のある部類の特徴的色彩ボリュームは、色彩空間中において３次元色彩ボリュームをデジタル化することによって定められる。物体の部類に属するある物体は、その物体の色彩を３次元色彩ボリュームのデジタル値を記憶した参照テーブルと比較することによって検出可能となる。しかしながら、３次元色彩空間を定める３つの色彩の各々を、ｎビットのデジタル値にデジタル化すると、物体が前もって定めた物体の部類に属するか否かを決定するために、ｎの３乗ビットの大きさの参照テーブルを必要とし、参照テーブルの大型化によって、可能な画像走査速度を低下させる。
【０００５】
それに代えて、ある部類の物体の色彩ボリュームは、３次元色彩空間の３つの色彩座標軸の各々に対する、最小色彩閾値および最大色彩閾値によって定められ得る。すなわち、より小さい任意の形状をした物体部類の色彩ボリューム特性を含んだ、直線によってできた色彩ボリュームによって定められるのである。それによって、その部類に属する物体は、その色彩を、直線によってできた色彩ボリュームを定める最小色彩閾値および最大色彩閾値と比較することにより、検出される。最小色彩閾値および最大色彩閾値を使用することは、色彩ボリュームを定めるために、たった６つのパラメータ値を記憶するのみでよく、画像のより高速の走査を可能とする。しかしながら、直線によってできた色彩ボリュームは、その部類の物体の実際の特徴的色彩ボリュームより大きいため、その物体の部類に属さないが、その色彩がその部類の特徴的色彩に類似した物体が、その部類の要素として誤って検出されるおそれがある。
【０００６】
【概略】
本願の色彩閾値アナライザは、画素色彩値(pixel color value)を表した信号、例えば、赤(R)、緑(G)および青(B)信号を、色相(hue)(H)、彩度(saturation)(S)および明度（輝度）(intensity)(I)の値を表す信号に変換するコンバータを備えている。コンパレータは、色相値(Hue value)を下限色相参照値(lower Hue reference value)および上限色相参照値(upper Hue reference value)と比較し、彩度値(Saturation value)を下限彩度参照値(lower Saturation reference value)および上限彩度参照値(upper Saturation reference value)と比較し、明度値(Intensity value)を下限明度参照値(lower Intensity reference value)および上限明度参照値(upper Intensity reference value)と比較する。上限色相参照値と下限色相参照値との間に値を定めるために、色相極スケール(polar hue scale)上に所望の方向（すなわち、時計回りあるいは反時計回り）を選択するスイッチを備えてもよい。
【０００７】
色彩識別装置は、画素色彩値が関連する範囲に属するＨ，Ｓ，およびＩの値の各々に応じて、所望の色彩範囲に相当する画素色彩値を表す信号を出力する。
【０００８】
参照値はアナログ信号であっても、デジタル信号であってもよい。デジタル参照信号は、コンパレータと連想したレジスタ内に記憶されてもよい。アナログ参照信号は、ホストコンピュータのバスから発信されたデジタル・アナログ変換信号によってコンパレータに供給されてもよい。
【０００９】
色彩閾値アナライザ(color threshold analyzer)は、ハードウェアによっても、ソフトウェアによっても、あるいは双方の組合せによって実現されてもよい。
【００１０】
【発明の実施の形態】
図において、同一符号は同一の構成を表す。
【００１１】
図１において、顕微鏡１１０は異なった種類の多数の物体を含むサンプル１００を映し、物体の画像１２０を作成する。サンプル１００は、異なった種類の多数の細胞(cells)で形成されたスライド(slide)でもよく、サンプル１００の中の異なった種類の細胞間の色彩上のコントラストを強調するために、色素によって細胞を着色してもよい。画像１２０は、デジタイザ１３０によって、デジタル信号化される。デジタイザ１３０は、顕微鏡１１０がデジタル顕微鏡であれば、顕微鏡１１０内に備えられ、顕微鏡１１０がサンプル１００のアナログ画像を作成するのであれば、顕微鏡１１０の外部に設置されてもよい。デジタイザ１３０は、サンプル１００のデジタルカラー画像１４０を作成する。
【００１２】
デジタルカラー画像１４０は、多数の画素から構成され、各々の画像は、それと関連した色彩を有する。デジタルカラー画像１４０の各々の画素は、カラーアナライザ１５０によって分析される。カラーアナライザ１５０は、異なった三色について、画素のカラー含有量を測定する。互いに区別可能であれば、いかなる三色を使用してもよいが、赤、緑、および青が、カラーアナライザ１５０において、標本として最も多用される色彩である。カラーアナライザ１５０は、区別可能な三色の各々について、デジタルカラー画像１４０の画素中に存在する色彩の量に応じた信号を作成する。カラーアナライザ１５０によって、一旦、デジタルカラー画像１４０の画素の色彩が分析されると、色彩信号を特定の種類の物体の特徴的な三次元色彩ボリュームと比較することによって、異なった種類の物体の検出が実行される。
【００１３】
図２において、三次元（３Ｄ）カラー座標空間１０が定義されており、この座標空間においては、黒は原点１２に割り当てられ、赤軸１３、青軸１４、および緑軸１５が空間の座標に定められている。共通な部類の物体の特徴的な色彩は、カラー空間１０中において、カラーサブボリューム(color subvolume)３０によって表される。ある種類の物体が特徴的な色彩を持っているとき、サブボリューム３０の輪郭(profile)は、その種類の多数の物体の色彩を検査することによって形成される。例えば、癌細胞、正常な細胞、および背景部位を備えた顕微鏡スライドサンプル１００が準備され、作像される。癌細胞、健康な細胞、および背景の特色である三色サブボリュームを明らかにするために、サンプル１００のデジタルカラー画像１４０の画素はカラー分析され、三次元カラー座標空間内にプロットされる。
【００１４】
図３において、特徴的なサブボリューム３０は、サブボリューム３０の赤、緑、および青色座標値の最小値および最大値を表す６つのパラメータによって定められる、より大きな直線的なボリューム(rectilinear volume)３３に接している。直線的なボリューム３３は、任意の形状をした特徴的なカラーサブボリューム３０を定めるのに必要とされるよりもはるかに少ないパラメータで定義可能である。
【００１５】
図４において、三次元サブボリューム３０の二次元（２Ｄ）投影２０が、二次元カラー座標空間２１内に示されている。特徴的なカラーサブボリューム３０の投影２０は、しばしば光学顕微鏡法において、白と濃い色彩(saturated color)との間の軸に沿って延びている。投影２０の伸びは、物体のサンプル、例えば細胞、が厚みにおいて変化したり、色素の取込みによって変化するときに発生する。軽い、あるいは薄い部位は、白光と混じったように現れ、濃密、あるいは厚い部位は色彩においてより濃く現れる。
【００１６】
区別可能な三次元（３Ｄ）サブボリューム３０の二次元（２Ｄ）投影２０は、異なるタイプの物体を区別するために使用してもよい。例えば、癌細胞の特徴的なサブボリュームの卵型の投影２２は、健康な細胞の特徴的なサブボリュームの卵型の投影２６と区別でき、すなわち、卵型の投影２２、２６は、二次元カラー空間２１内において重なっていない。しかしながら、もし、癌細胞および健康な細胞の特徴的なカラーボリューム３０が、最小および最大色彩値によってパラメータ化され、その結果、直線によってできたサブボリューム３３が二次元カラー空間に投影されたなら、その結果できた長方形の投影２３，２７は重なるかもしれない。もし、長方形の投影２３，２７が、異なるタイプの物体の検出のために使用されるならば、癌細胞の特徴であることを明らかにする領域２４内の点が、領域２３内だけでなく、領域２７内にもあるため、健康な細胞と混同され誤った検出がされるおそれがある。同様に、健康な細胞の特徴であることを明らかにする領域２８内の点が、領域２７内だけでなく、領域２３内にもあるため、癌細胞と混同されるおそれがある。これは、癌細胞と健康な細胞との色彩が似ていることと、三次元サブボリューム３０の二次元投影２０の伸びとの双方に起因する。
【００１７】
しかしながら、もし三次元色彩座標空間１０と、その中のすべての特徴的なサブボリューム３０の座標変換が最初に行われたならば、特徴的な３次元サブボリューム３０は、直線によって形成された領域を定義するための最小および最大色彩値を使用して区別できる。図５において、回路２００には、デジタルカラー画像１４０の各々の画素に対して、赤、緑、および青の３つの色彩信号入力２０２が入力される。カラー信号入力２０２は、コンバータ２１０に入力され、画素の色彩の表現を、赤、緑、および青（ＲＧＢ）信号２０２から、色相(Hue)、彩度(Saturation)、および明度(Intensity)信号（ＨＳＩ）２２０に変換する。ＲＧＢ信号２０２からＨＳＩ信号２２０への変換は、カラー空間１０内で使用される直線によって形成されたＲＧＢ座標系から、色相が極座標(polar coordinate)、彩度が径座標(radial coordinate)、明度が軸座標(axial coordinate)であって、その軸が座標空間１０において黒と白との間の線に存在するような円筒座標系(cylindrical coordinate system)への変換と等価である。この変換を達成する数々のアルゴリズムが知られており、コンピュータチップは、そのアルゴリズムを遂行するために利用され得る。
【００１８】
コンバータ２１０は、色相信号２２１、彩度信号２２２および明度信号２２３を含んだＨＳＩ信号２２０を発生する。ＨＳＩ信号２２０は、ＨＳＩ座標空間内において、サンプル１００中の、あるタイプの物体の特徴的な色彩を表すことに使用される。図６において、数個のタイプの物体の、特徴的な三次元カラーボリュームの二次元投影２３０は、色相が極座標で彩度が径座標である、二次元色相−彩度（ＨＳ）座標空間２２５に示される。例えば、サンプル１００における、癌細胞２３１の特徴的な色彩の二次元投影は、黄色い色相を備えており、健康な細胞２３２の特徴的な色彩の二次元投影は、緑色の色相を備えており、背景領域２３３の特徴的な色彩の二次元投影は、青緑色の色相を備えている。３つの異なったタイプの物体の特徴的な色彩は、それがＲＧ空間２１にあるように、ＨＳ空間２２５内において区別可能である。しかしながら、ＨＳ空間２２５内においては、ＲＧ空間２１内とは異なり、最小および最大座標値は、あるタイプの物体の特徴的なカラーサブボリュームと接するように定められ、また、ＨＳ空間２２５内において区別可能な領域を定めることができる。したがって、このような最小および最大座標値は、物体の所属を誤ることなく、あるタイプの物体の存在を検出することに使用される。例えば、癌細胞２３１の特徴的なサブボリュームと接した領域２４１は、最小彩度値、最小色相角(hue angle)、および最大色相角で定められる。領域２４１は、健康な細胞２３２の特徴的なサブボリュームに完全に接し、異なる最小彩度値、最小及び最大色相角によって定められる領域２５０と区別される。図６において、明度軸は明確性の目的のために表していないが、癌細胞および健康な細胞のサブボリュームを特徴付ける、最小および最大色相、最小および最大彩度、および最小および最大明度値によって定められた三次元領域は、三次元ＨＳＩ空間内でも重なることはない。
【００１９】
さらに、図５において、画素の色彩を表すＨＳＩ信号２２０は、その画素が、物体のある特定の部類に属する物体の画像の一部であることを検知し、それゆえ、サンプル１００にそのようなタイプの物体が存在することを検出することに使用されてもよい。同様の状況において、特定のタイプの多くの物体を映した後、ＨＳＩ空間における特徴的なカラーサブボリュームが構成され、色相、彩度および明度についての最小および最大閾値が、特徴的なカラーサブボリュームに接するように定められる。閾値は、画素が閾値によって定められた物体の特定の部類に入る物体に属するかを決定するために、回路２００において使用される。回路２００において、最大色相参照値２６０、最小色相参照値２６１、最小彩度参照値２６２、最小明度参照値２６３、および最大明度参照値２６４が参照信号として定められ、かつ記憶される。画素の色彩を特徴付ける色相信号２２１、彩度信号２２２、および明度信号２２３は、コンパレータ２７０〜２７４で使用される各々の参照信号と比較される。コンパレータ２７０〜２７４は、入力Ａと入力Ｂとを備え、入力Ａの値が入力Ｂの値より大きいとき、ＴＲＵＥ出力を発生する。色相は極座標であり、予め定められた色相レンジは、０を通過して色相の高い数字から低い数字に延びうるため、設定が可能である色相入／出ビット２８０とＸＯＲ（エクスクルーシブオワ）ゲート２８２が必要とされる。色相入／出ビット２８０がＬＯＷにセットされると、画素の色相が最小色相参照値２６１より大きく、最大色相参照値２６０未満であれば、ＸＯＲゲート２８２の出力はＴＲＵＥとなる。色相入／出ビット２８０がＨＩＧＨにセットされると、画素の色相が最小色相参照値２６１未満、あるいは最大色相参照値２６０より大きければ、ＸＯＲゲート２８２の出力はＴＲＵＥとなる。ＡＮＤゲート２８４は、画素の色彩に対応するＨＳＩ信号２２１〜２２３が、参照信号２６０〜２６４によって定められた範囲内にあるとき、ＴＲＵＥ信号を発生する。ＡＮＤゲート２８４からのＴＲＵＥ信号は、画素の色彩が検出されるべきタイプの物体の特徴的なサブボリューム内にあることを示す。ＨＳＩ信号２２１〜２２３および参照値信号２６０〜２６４は、デジタル信号でもアナログ信号でもよい。参照値信号２６０〜２６４は、数々の方法によって設定される、例えば、デジタルラッチをセットすることや、コンピュータのバスからセットされるデジタル・アナログ変換信号によってもよい。
【００２０】
図７は、図５に示した回路２００を含んだ実施形態によるマシン・ビジョン・システム(machine vision system)７００を表す。マシン・ビション・システムは、産業に応用し、色彩に基づいて物体を検査することに使用される。カメラ（あるいは電子顕微鏡）７０２、これはアナログ信号を生成するものでも、デジタル信号を生成するものでもよいのだが、背景７０６上の物体７０４の画像を走査する。カメラの出力は（もしアナログ信号であれば）、アナログ・デジタル変換器（ＡＤＣ）７０８によってデジタル化される。物体はカメラ７０２の下で、コンベアシステムによって、静止されたり動かされたりする。参照信号２６０〜２６４はホストコンピュータ７１２によって設定される。回路２００は、ドット・クロック７１４に接続されてもよい。物体のリアルタイムの分析のために、ドット・クロック・レートの割合で、回路２００が画素を分析してもよい。
【００２１】
実施の形態では、ＲＧＢおよびＨＩＳ色彩値は８ビットワードである。変形実施例においては、８ビットより多い、あるいは少ない色彩値によって、システムが機能するものでもよい。これらの実施の形態においては、コンパレータ、レジスタ、およびロジックユニットは、色彩値のデータに充分に適応し得る程度のデプス(depth)を有している。
【００２２】
実施の形態にあるマシン・ビジョン・システムは、例えば、製造部品内の着色されたコンポーネント、生産物、カラーコード化された丸薬、織物、および着色された細胞の検査を含む、産業上、医学上のさまざまなものに適用される。
【００２３】
本願で述べた技術は、ハードウェア、ソフトウェア、あるいは双方の組合せによって実現され得る。本願の技術は、１つあるいは複数のプログラマブルコンピュータであって、各々がプロセッサ、プロセッサによって読み取り可能な記憶媒体（揮発性、および不揮発性メモリ、および／または記憶エレメントを含む）、および適切な入出力装置を備えたものによって実行されるコンピュータプログラムによって実現され得る。プログラマブルコンピュータは、一般用途のものでも、システムに格納された特別用途のものでもよい。
【００２４】
本発明の数々の実施の形態について説明したが、本発明の精神および領域から出ない範囲でさまざまな変更が可能であり、その他の実施の形態においても、本願の特許請求の範囲内にあることは言うまでもない。
【００２５】
【図面の簡単な説明】
【図１】 顕微鏡によるサンプルの作像の概略図である。
【図２】 三次元ＲＧＢカラー座標システムを表す図である。
【図３】 ＲＧＢカラー空間におけるカラーサブボリュームに接する閾値領域を表す図である。
【図４】 ＲＧＢカラー空間における三次元カラーサブボリュームの二次元投影を表す図である。
【図５】 回路の概略図である。
【図６】 ＨＳＩカラー空間における三次元カラーサブボリュームの二次元投影を表す図である。
【図７】 本発明の一実施の形態におけるマシン・ビジョン・システムの概略図である。

Claims (2)

1. 画素色彩値を表す信号を、色相値、彩度値および明度値を含む成分色彩値を表す複数の信号に変換するコンバータと、
   前記色相値が第１値範囲にあるかどうかを検出する色相コンパレータと、
   前記彩度値が第２値範囲にあるかどうかを検出する彩度コンパレータと、
   前記明度値が第３値範囲にあるかどうかを検出する明度コンパレータと、
   前記色相コンパレータ、彩度コンパレータおよび明度コンパレータの各々に接続され、前記第１値範囲にある色相値、前記第２値範囲にある彩度値および前記第３値範囲にある明度値に応答して、選択された色彩範囲を表す信号を出力する色彩識別器と、かつ
   前記色相コンパレータと前記色彩識別器との間に接続されて、第１スケール方向における第１値レンジ、または第２スケール方向における第２値レンジのうちのいずれかを、前記第１値範囲とするように採用された色相スケール方向スイッチとを備え、
   前記第１値範囲、第２値範囲および第３値範囲は、色相、彩度、明度（ＨＳＩ）色彩空間内において、非長方形サブボリュームを定める装置。
2. 前記色相スケール方向スイッチを、
   色相入／出スイッチと、
   前記色相入／出スイッチに接続された第１入力、前記色相コンパレータに接続された第２入力および前記色彩識別器に接続された出力を有するエクスクルーシブオワロジックユニットとで構成した請求項１の装置。

Images