JP5461630B2 - 合焦位置を決定する方法及びビジョン検査システム - Google Patents

Description

本発明は、概して、試料位置と合焦位置との間の差分を求める方法、ビジョン検査システム及び制御装置に関する。

生物材料のコンピュータ支援画像解析はここ数年間一般的になっている。例えば、血液塗抹標本中の白血球を計数・分類するコンピュータ支援プロセスが開発されている。これらのタイプの検査は、例えば、患者が、感染症、アレルギー又は血液癌を患っているのかを判定するプロセスにおいて重要なステップである。

信頼性の高い解析をすることができるためには、画像データが適質であることが大いに重要であり、例えば、画像データが鮮明、即ち、正確な焦点設定にて獲得されることを含む。

現在、合焦位置を見出す一般的な方法は、異なる位置にて複数の画像を獲得する第一のステップと、獲得画像における高周波成分を同定する第二のステップと、最大量の高周波成分を有する画像を特定する第三のステップとを含む。その後、最大量の高周波成分を有する画像として対応する位置が合焦位置に選択される。合焦位置を見出すため、異なる位置における２０個もの画像が獲得される必要がある可能性が低いことはない。

更に、画像データが各分類対象物に対して獲得されることになっている場合、画像獲得プロセスはすべての対象物に対して多数回、例えば、２０回繰り返されねばならず、これは、同様に、すべての試料に対して大量の画像データが獲得される必要があり、且つビジョン検査システムがすべての試料に対して多数回再調整されねばならないということを示唆する。従って、この方法は多くの時間を費やし、大量の再調整は該システムを消耗させうる。

上記の点から、本発明の目的は上述の課題を解決又は少なくとも低減することにある。
特に、目的の１つは画像データに基づいて試料位置と合焦位置との間の差分を求める方法を提供することである。これは、合焦位置を決定するためにより少ない画像が獲得される必要があることを示唆し、多くの場合、１つのみの画像が必要とされる。画像数を減少させることにより、処理時間及びステアリングモーターシステムを消耗させるリスクが低減されるであろう。

第一の態様に従って、上記目的は試料位置と合焦位置との間の差分を求める方法により示され、前記方法は、
試料を示す画像データを獲得するステップと、
前記獲得データから特徴セットを抽出するステップと、
画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることにより、前記特徴セットを前記位置差分値に分類するステップと
を含み、前記位置差分値が前記差分に対応する。

任意に、前記特徴セットは対比特徴のサブセットを含みうる。

任意に、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数及び前記画像データに基づく自己相関関数、例えば、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せ、全画像データの分散及び並びにＬａｐｌａｃｅベースの焦点測定からなる群より選択されうる。

任意に、前記対比特徴は複数のカラー層に対して決定されうる。

任意に、前記対比特徴は前記画像データのサブセットに対して決定されうる。

任意に、前記特徴セットは方向特徴のサブセットを含みうる。

任意に、前記方向特徴のサブセットの複数の特徴は、複数のカラー層間の差異を特定し、前記特定差異に基づいて少なくとも１つの特徴値を求めることにより決定されうる。

任意に、前記方向特徴のサブセットの複数の特徴は、前記試料において異なる高さを有する複数の異なる対象物を特定し、前記異なる対象物の差異を特定し、前記異なる対象物の前記特定差異に基づいて少なくとも１つの特徴値を求めることにより決定されうる。

任意に、前記方向特徴のサブセットは、数式

に従って異なるＬａｐｌａｃｅベースの焦点測定間の指数を含みうる。

任意に、前記方向特徴は前記画像データのサブセットに対して決定されうる。

任意に、前記特徴セットはコンテンツ特徴のサブセットを含みうる。

任意に、前記コンテンツ特徴のサブセットは全体的コンテンツ特徴及び部分的コンテンツ特徴を含みうる。

任意に、前記全体的コンテンツ特徴は、全画像データの平均強度及び全画像データの分散からなる群より選択されうる。

任意に、前記全体的コンテンツ特徴は複数のカラー層に対して決定されうる。

任意に、該方法は、前記画像データにおける前景及び背景セグメントを決定するステップを更に含みうる。

任意に、該方法は、前記前景及び背景セグメントを対象物クラスのセグメントに分割するステップを更に含みうる。

任意に、該方法は、少なくとも１つの前記対象物クラスにおける複数の対象物を決定するステップを更に含みうる。

任意に、該方法は、少なくとも１つの前記対象物クラスに対して、１つの対象物クラスの対象物に属する複数の画素を決定するステップを更に含みうる。

任意に、前記部分的コンテンツ特徴は、前景セグメントの平均強度、背景セグメントの平均強度、前景セグメントの分散、背景セグメントの分散及び異なるセグメント間の面積分布を示す面積関数からなる群より選択されうる。

任意に、前記部分的コンテンツ特徴は、少なくとも１つの前記対象物クラスの平均強度、少なくとも１つの前記対象物クラスの分散及び異なる対象物クラス間の面積分布を示す面積関数からなる群より選択されうる。

任意に、少なくとも１つの前記対象物クラスは、赤血球（ＲＢＣ）対象物クラス及び白血球（ＷＢＣ）対象物クラスからなる群より選択されうる。

任意に、前記前景及び背景セグメントは複数のカラー層に対して決定されうる。

該面積関数は、例えば、例えば、複数の背景セグメント画素で除される複数の前景セグメント画素のような、前景セグメントと背景セグメントとの関係を示す関数でありうる。

該コンテンツ特徴の主要目的は、焦点の程度／レベルには影響を及ぼさないが、それでも該対比特徴及び該方向特徴に影響を及ぼす画像の変動を補償することにある。

任意に、前記特徴セットを位置差分値に分類する前記ステップは、サポートベクターマシンにより行われうる。

第二の態様に従って、上記目的は、
試料を含む少なくとも１つのスライドを保持するように適合されたスライドホルダー、前記試料を示す画像データを獲得するように構成され、光学システム及び画像センサーを含む画像獲得装置、
前記試料と前記光学システムの間の距離を変更するように構成されたステアリングモーターシステム、
前記画像獲得装置及び前記ステアリングモーターシステムに接続されたプロセッサーであって、メモリーと関連して、前記画像獲得装置から前記試料を示す前記画像データを受け取り、前記画像データから特徴セットを抽出し、画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって前記特徴セットを試料位置と合焦位置との間の差分に対応する前記位置差分値に分類し、確定された前記差分に従って前記試料と前記光学システムの間の前記距離を変更するように前記ステアリングモーターシステムに命令することにより、前記差分を求めるように構成されるプロセッサー、
を含むビジョン検査システムによって示される。

任意に、前記特徴セットは対比特徴のサブセットを含みうる。

任意に、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数及び前記画像データに基づく自己相関関数、例えば、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せ、全画像データの分散及びＬａｐｌａｃｅベースの焦点測定からなる群より選択されうる。

任意に、前記特徴セットは方向特徴のサブセットを含みうる。

任意に、前記方向特徴のサブセットの複数の特徴は、複数のカラー層間の差異を特定し、前記特定差異に基づいて少なくとも１つの特徴値を求めることにより決定されうる。任意に、前記方向特徴のサブセットは、数式

に従って異なるＬａｐｌａｃｅベースの焦点測定間の指数を含みうる。

任意に、前記特徴セットはコンテンツ特徴のサブセットを含みうる。

任意に、前記特徴は複数のカラー層に対して決定されうる。

任意に、前記特徴は前記画像データのサブセットに対して決定されうる。

任意に、前記特徴セットを位置差分値に分類する前記ステップは、サポートベクターマシンにより行われうる。

第一の態様の選択肢はこの第二の態様にも適用可能である。

第三の態様に従って、上記目的は、
前記試料を示す画像データを受け取るように構成された受信機、
メモリーと関連して、前記画像データから特徴セットを抽出し、画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって前記特徴セットを試料位置と合焦位置との間の差分に対応する前記位置差分値に分類することにより、前記差分を求めるように構成されたプロセッサー及び
確定された前記差分を送信するように構成された送信機
を含む制御装置により示される。

第一の態様の選択肢はこの第三の態様にも適用可能である。

第四の態様に従って、上記目的は、装置にダウンロードされ、実行されると、上述の方法を実行するように設定された、ソフトウェア命令を含むコンピュータプログラムにより示される。

本発明の他の目的、特徴及び利点は、以下の詳細な開示内容、従属クレーム及び図面から明らかになるであろう。

概して、本明細書で別様に明示されない限り、特許請求の範囲において用いられる用語はすべて、当該技術分野におけるその通常の意味に従って解釈されるべきである。別様に明示されない限り、「１つの（ａ）／１つの（ａｎ）／その（ｔｈｅ）［要素、装置、構成要素、手段、ステップなど］」への言及はすべて、前記要素、装置、構成要素、手段、ステップなどの少なくとも一例を指すものと広く解釈されるべきである。明示されない限り、本明細書で開示されるいずれの方法のステップも、開示される正確な順序で実施される必要はない。

ビジョン検査システムを示す概略図である。 ビジョン検査システムを用いて試料を検査する一般的方法を示す流れ図である。 負の焦点ずれビジョン検査システムの一例を示す概略図である。 正の焦点ずれビジョン検査システムの一例を示す概略図である。 正の焦点ずれビジョン検査システムの別例を示す概略図である。 試料位置と合焦位置との間の差分を求める方法を示す全体の概要図である。 試料中の小型の対象物が合焦位置にないのと同時に、試料中の大型の対象物が合焦位置にある状態の一例を示す概略図である。 試料位置と合焦位置との間の差分を求める方法を示す流れ図である。 試料位置と合焦位置との間の差分を求めるように適合された制御装置を示す概略図である。

本発明の上記並びに追加の目的、特徴及び利点は、添付図面を参照し、以下の本発明の好ましい実施形態の例示的且つ非限定的な詳細な説明を通じてより理解されるであろう。

図１はビジョン検査システム１００を概略的に示す。血液試料のような試料を含むスライド１０２はスライドホルダー１０４に配置される。図１に示すように、スライドホルダー１０４は複数のスライド又は１枚のみを保持するように適合されうる。光学システム１０８及び画像センサー１１０を含む画像獲得装置１０６は、スライド１０２における試料を示す画像データを獲得するように適合される。更に、光環境を制御して、解析がより容易な画像データを得るため、発光装置（図示せず）が用いられうる。

画像獲得装置１０６によって獲得された画像データは画像処理装置１１２に転送されうる。画像処理装置１１２は画像獲得装置１０６に接続されたパソコンのような外部装置でありうる。或いは、画像処理装置１１２は画像獲得装置１０６に組み込まれうる。

画像処理装置１１２は、試料位置と合焦位置との間の差分を求めるように構成された、メモリー１１６と関連するプロセッサー１１４を含みうる。このプロセスは図８に更に示される。

該差分が求められると、ステアリングモーターシステム１１８に命令が転送されうる。
ステアリングモーターシステム１１８は画像処理装置１１２からの命令に基づき、スライド１０２と光学システム１０８の間の距離ｚを変更することができる。

該ビジョン検査システムを用いることにより試料を検査する方法が図２に概略的に示される。

第一のステップ２００において、該ビジョン検査システムは１枚又は複数のスライドをロードされうる。各スライドは試料を保持する。試料は生物試料でよいが、これに限定されない。

次に、ステップ２０２において、１枚又は複数のスライドの最初のスライドが分析される。これは、最初のスライドが画像獲得装置の視野にあるようにスライドホルダーを移動させることにより行われうる。或いは、最初のスライドが画像獲得装置の視野にあるように、画像獲得装置が移動されうる。

第三のステップ２０４において、更に詳細に分析される白血球のような複数の対象物が認識される。更に詳細に分析することができるように、対象物の位置は保存されうる。

第四のステップ２０６において、各検出対象物に対して対象物画像データが獲得される。各検出対象物に対して対象物画像データを獲得するため、スライドホルダーは保存位置に従って移動されうる。或いは、スライドホルダーを移動させる代わりに、画像獲得装置が保存位置に従って移動されうる。

第五のステップ２０８において、対象物画像データは所定の分類に事前に分類されうる。例えば、対象物が白血球である場合、このステップは白血球を特定のタイプの白血球に分類するステップを含みうる。

第六のステップ２１０において、対象物画像データ及び関連する事前分類は保存されうる。従って、該ビジョン検査システムの運用者が、関連する事前分類と共に各試料の対象物を示す画像データを検討することが可能である。

該ビジョン検査システムが２枚以上のスライドをロードされる場合、第二のステップ２０２から第六のステップ２１０は該ビジョン検査システムの他のスライドに対して反復されうる。

更に、ステップ２０４において、スライド全体画像が獲得されうる。スライド全体画像を獲得する場合、画像獲得装置の倍率は１０倍、即ち、１０倍拡大であり得、対象物画像データを獲得する場合、画像獲得装置の倍率は１００倍、即ち、１００倍拡大に切り替えられうる。倍率は異なるシステムで異なりうるが、一般的に、画像獲得装置の倍率は、スライド全体画像の獲得から対象物画像データの獲得に切り替える場合に高くされる。

上述の図２のステップ２０４及び２０６において、試料中の各検出対象物を示す画像データを獲得するため、該光学システムは移動されうる。対象物の正確な事前分類を行う可能性を向上させるため、該スライドは合焦位置に配置されるべきであり、それは、該スライドと該光学システムの間の距離ｚが焦点距離ｆに等しく、又は少なくとも近いということである。距離ｚが焦点距離ｆより長い場合、該システムは正の焦点ずれであると言われ得、逆もまた同様に、距離ｚが焦点距離ｆより短い場合、該システムは負の焦点ずれであると言われうる。

試料が、例えば、血液試料である場合、該試料は該スライド上に塗抹されうる。これは、試料が十分に単純ではないことを示唆し、それは、次に、新たな対象物画像データが獲得されようとするたび毎に距離ｚと焦点距離ｆの間の差分が求められねばならないということを示唆する。

更に、該ステアリングモーターシステムはわずかに調整を誤り得、それは、次に、新たな対象物画像データが獲得されようとするたび毎に距離ｚと焦点距離ｆの間の差分が求められねばならないということを示唆する。

更に、該ビジョン検査システムに干渉する他の因子、例えば、機械誘導振動が、新たな対象物画像データが獲得されようとするたび毎に距離ｚと焦点距離ｆの間の差分が求められることが好ましいということをもたらしうる。

図３は負の焦点ずれシステムの一例を示す。この例では、画像獲得装置３００は固定され、試料を含むスライド３０４ａ／３０４ｂを保持するスライドホルダー３０２ａ／３０２ｂは、垂直方向に変更されるように適合される。

第一の位置において、スライドホルダー３０２ａ上に配置されたスライド３０４ａはｚ_ｏｂｊ位置に配置されている。この位置では、該システムは負の焦点ずれであり、それは、対象物画像データが該ビジョン検査システムの運用者により不鮮明と認識されるということである。

この第一の位置において獲得される画像データを解析することにより、差分Δｚが見出されうる。次に、この確定差分Δｚに従って該スライドホルダーを移動させることにより、新たな位置ｚ_ｆが到達される。この新たな位置ｚ_ｆにおいて、該光学システムとスライド３０４ｂの間の距離ｚは該ビジョン検査システムの焦点距離ｆに等しく、又は近い。従って、この位置において獲得される対象物画像データは運用者により鮮明と認識される。

図３に示されるビジョン検査システムと対照的に、図４に示されるビジョン検査システムは正の焦点ずれであり得、即ち、画像獲得装置４００の光学システムとスライドホルダー４０２上に配置されたスライド４０４の間の距離が、該ビジョン検査システムの焦点距離より長い。

画像データを獲得し、この獲得画像データに基づいて差分Δｚを求めることにより、距離ｚが該ビジョン検査システムの焦点距離ｆに等しく、又は近くなるように、該ビジョン検査システムは変更されうる。これは、例えば、画像獲得装置４００を、確定差分Δｚに対応する距離だけスライド４０４により近くなるように移動させることによって達成されうる。

距離ｚが焦点距離ｆに等しく、又は近くなるように、正の焦点ずれビジョン検査システムを変更する別の可能性が図５に示される。

該ビジョン検査システムは、画像獲得装置５００及びスライドホルダー５０２上に配置されたスライド５０４を含む。確定差分Δｚに従って該ビジョン検査システムを補償するため、図３及び図４に示される方法の組合せが利用されうる。図３に示されるように、スライド５０４及びスライドホルダー５０２は画像獲得装置５００方向に移動され、図４に示されるように、画像獲得装置５００はスライド５０４及びスライドホルダー５０２方向に移動される。スライド５０４及びスライドホルダー５０２は画像獲得装置５００方向に距離（１−α）Δｚ（式中、０≦α≦１）だけ移動され、該画像獲得装置はスライド５０２及びスライドホルダー５０４方向に距離αΔｚ（式中、０≦α≦１）だけ移動される。

該ビジョン検査システムの一実施形態では、焦点距離ｆは約１００μｍであり、差分｜ｚ−ｆ｜が０．５μｍ超である場合、画像データは不鮮明と認識されるであろう（式中、ｚは該光学システムと該試料の間の距離であり、ｆは焦点距離である）。上述の距離は他の実施形態では異なりうる。

試料位置と合焦位置との間の差分を求める方法の概要が図６に示される。この概要において、画像データ６００は背景及び前景からなると想定される。該前景は赤血球（ＲＢＣ）及び白血球（ＷＢＣ）を含みうる。ＷＢＣ及びＲＢＣの代わりに他の対象物が同定されるように該システムが変更されうることは当業者には理解されるであろう。

該画像獲得装置により獲得される画像データ６００は、セグメンテーションモジュール６０２に、そして特徴抽出モジュール６０４に転送される。

セグメンテーションモジュール６０２は複数の異なる対象物、この場合、ＲＢＣ及びＷＢＣを同定する。その後、各同定対象物に対するマスクが生成され、特徴抽出モジュール６０４に転送されうる。この特定の場合、ＷＢＣ用マスク、ＲＢＣ用マスク及び背景用マスクが生成され、特徴抽出モジュール６０４に転送される。

一部の実施形態では、ＷＢＣの核が特に興味深いといえる。従って、これらの実施形態では、ＷＢＣマスクの代わりに、又はこれと組み合わせてＷＢＣ核マスクが用いられうる。

更に、一部の実施形態では、ＷＢＣの核はＷＢＣ全体より同定が容易でありうる。従って、これらの実施形態では、ＷＢＣマスクはＷＢＣ核マスクに置き換えられうる。或いは、これらの実施形態では、ＷＢＣマスク及びＷＢＣ核マスクが共に用いられうる。

更に、一部の実施形態では、核の一部が特に興味深く、又は同定がより容易である。これらの実施形態では、ＷＢＣ核部分マスクが利用されうる。

受信画像データ６００及びセグメンテーションモジュール６０２から転送されるマスクに基づき、特徴抽出モジュール６０４は３つのカテゴリーの特徴を抽出することができる。

第一のカテゴリーは本明細書で対比特徴６０６と称される。簡潔には、このカテゴリーは、画像データ６００における高周波成分量を異なる方法にて表す複数の特徴を含みうる。コンテンツ特徴６０６は、例えば、ウェーブレット関数及びＶｏｌｌａｔｈ Ｆ_４関数を含みうる。更に、セグメンテーションモジュール６０２によって生成されるマスクの１つを利用することにより、画像データのサブセットの特徴が決定され得、例えば、ＷＢＣマスク又はＲＢＣマスクを利用することにより、画像データのＷＢＣ領域又はＲＢＣ領域のコンテンツ特徴が決定されうる。

第二のカテゴリーは本明細書で方向特徴６０８と称される。このカテゴリーは、簡潔には、該システムが正の焦点ずれ又は負の焦点ずれであるかを示す複数の特徴を含みうる。

第三のカテゴリーは本明細書でコンテンツ特徴６１０と称される。簡潔には、このカテゴリーは画像データ６００を特徴付ける複数の特徴を含みうる。該コンテンツ特徴の主要目的は、焦点の程度／レベルには影響を及ぼさないが、それでも該対比特徴及び該方向特徴に影響を及ぼす画像の変動を補償することにある。

特徴抽出モジュール６０４において決定される特徴は分類モジュール６１２に転送されうる。例えば、サポートベクターマシン（ＳＶＭ）を含みうるこの分類モジュールにおいて、距離ｚと焦点距離ｆの間の差分が求められうる。図６に示されるように、該差分は、例えば、０．５μｍずつにて表されうる。

或いは、ＳＶＭを用いる代わりに別のタイプの機械学習アルゴリズム、例えば、人工神経ネットワーク、ファジー論理アルゴリズム又はｋ‐最近傍アルゴリズムが用いられうる。

上述のモジュールは、ソフトウェア実行、ハードウェア実行又はその組合せ、例えば、ＡＳＩＣ（「特定用途集積回路」）でもよい。モジュールの実行は、異なるプログラミング言語、異なるフレームワーク及び異なるプラットフォームについて異なりうることが当業者には理解されるであろう。

該対比特徴は画像における高周波成分量を異なる方法にて表す特徴とみなされうる。

対比特徴６０６は複数の関数を含みうるが、信頼できる結果を出すため、可能な限り以下の因子を満たすことが望ましい。
精度
現位置と合焦位置の間の距離が関数に基づいて求められ得、例えば、関数の最大（又は最小）が合焦位置において獲得される画像と一致するように関数が表されれば有利である。
ユニモダリティ
関数が１つのみの最大値（又は最小値）を有すれば有利である。
速度
関数をリアルタイムアプリケーションにて用いることができるためには、関数が高速であれば有利である。

異なる関数は異なる因子と一致しうる。従って、対比特徴として複数の関数が選択されうる。これらの関数の一部は全因子とかなり良く一致しうるが、他の関数は因子の１つと極めて良く一致し、他の因子に関しては許容しうる。分類モジュール６１２において良好な分類を行うためには、すべての対比特徴全体が上記に示される因子を満たせば有利である。従って、一部の実施形態では、少なすぎる対比特徴より多すぎる対比特徴を分類モジュール６１２に転送するほうが良い。それは、分類モジュール６１２が正確に構成され、関連する訓練データを教え込まれていれば、分類モジュール６１２は入来対比特徴の関連性を推定することができうるためである。

微分に基づく焦点関数は次のように示されうる。

（式中、ｇ（ｘ，ｙ）は（ｘ，ｙ）における強度レベルであり、Θは閾値であり、ｚ≧０の場合、Ｅ（ｚ）＝ｚであり、ｚ＜０の場合、Ｅ（ｚ）＝０である。これらの関数は画像を微分し、微分値を合計することにより、画像における高周波量を測定する）

パラメータをΘ＝０，ｍ＝２及びｎ＝１のように設定して二乗勾配関数が得られる。この関数の利点は閾値が必要ではないことである。別の利点は、微分値を二乗することによってより鮮明なピークが得られ得、それは関数の最大を見出すことがより容易でありうることを示唆する。

画像データの分散に基づく焦点関数は次のように示されうる。

（式中、ｇは画像における平均グレーレベルである）

ｍ＝２により、画像データの標準分散が得られる。これは対比特徴及び／又はコンテンツ特徴として用いられうる。

更に、自己相関関数であるＶｏｌｌａｔｈのＦ_４と称される焦点関数が対比特徴として含まれうる。ＶｏｌｌａｔｈのＦ_４は次のように示されうる。

加えて、ＶｏｌｌａｔｈのＦ_４とＶｏｌｌａｔｈのＦ_５との組合せが対比特徴として含まれうる。その組合せは次のように示されうる。

更に、ウェーブレット関数が対比特徴として用いられうる。ウェーブレット関数の一例は、画像データを複数のサブサンプル化画像、例えば、ＬＬ１，ＨＬ１，ＬＨ１及びＨＨ１と称される４つのサブサンプル化画像にサブサンプリングすることにより得られ、その場合、ＨＬ１，ＬＨ１及びＨＨ１は差分を含み、ＬＬ１は画像データの圧縮版を含み、次のステップにおいて、ＬＬ１は二重サブサンプル化画像にサブサンプリングされ得、例えば、ＬＬ１画像はＬＬ２，ＨＬ２，ＬＨ２及びＨＨ２と称される４つの二重サブサンプル化画像にサブサンプリングされ、その場合、ＨＬ２，ＬＨ２及びＨＨ２は差分を含み、ＬＬ２はＬＬ１の圧縮版である。次に、該サブサンプル化画像の１つにおいて高周波成分が同定され、例えば、高強度を有するＨＬ２画像において複数の画素を同定し、ノイズの影響を低減するために極めて高い強度を有する画素を除去し、残りの数の高強度画素を高強度測定に合計し、該高強度測定をＬＬ２画像の平均強度で除することによって該高強度測定を正規化することにより、高周波測定が求められる。

該対比特徴はＬａｐｌａｃｅベースの焦点測定、即ち、Ｌａｐｌａｃｅ様カーネルによる畳み込みに基づく焦点測定を更に含みうる。一実施形態では、この焦点測定は二次元畳み込みとして実行されうる。別の実施形態では、この焦点測定は２つの一次元畳み込みの二乗和、例えば、Ｆ_Ｘ（Ｒ）＋Ｆ_Ｙ（Ｒ）として実行されうる。

この場合、Ｉ_ｃ（ｘ，ｙ）は（ｘ，ｙ）点において評価されるカラー層ｃの強度であり、Ｒは像点のサブセットであり、ｎ≧０はＬａｐｌａｃｅ様カーネルにおいてゼロの数を制御するパラメータである。対比特徴としてＦ_Ｘ（Ｒ）及びＦ_Ｙ（Ｒ）の１つのみを用いることも可能である。

更に、畳み込みは所定の閾値より大きい画素値のみにされるように限定されうる。

セグメンテーションモジュール６０２から受け取るＲＢＣマスク、ＷＢＣマスク及び背景マスクにより、上述の対比特徴は画像データの特定領域に対しても決定されうる。画像データの異なる領域間に明確な差異がある場合、このタイプの対比特徴は分類モジュール６１２の結果を向上させうる。

該ビジョン検査システムが正又は負の焦点ずれであるかを判定するため、方向特徴のサブセットが決定されうる。

試料に含まれる対象物がサイズで異なりうるため、ＷＢＣのような大型の対象物は焦点を合わせられうるが、ＲＢＣのようなより小さいタイプの対象物は焦点が合わない。この現象は図７に概略的に示され、スライドホルダー７００が試料を含むスライド７０２を保持し、次に、該試料が大型の対象物７０４及び小型の対象物７０６を含む。ビジョン検査システム（図示せず）の光学システム７０８と大型の対象物７０４の間の距離は焦点距離ｆに等しく、又は近くなり得、同時に、小型の対象物７０６と光学システム７０８の間の距離は焦点距離ｆに等しくなく、又は近くない。これは、大型の対象物を含む画像データの領域の画素強度の標準偏差が、小型の対象物を含む画像データの領域より大きい可能性があることを示唆する。従って、画像データの異なる領域の標準偏差の差異が方向特徴として用いられうる。

更に、異なるカラーが異なる波長を有するため、異なるカラー層は異なる焦点距離を有しうる。各カラー層の標準偏差を求めることにより、差異が検出され得、この差異に基づいて該システムが正又は負の焦点ずれであるかの指標が得られうる。従って、異なるカラー層の標準偏差の差異が方向特徴として用いられうる。異なるカラー層における標準偏差の差異は、全画像データ或いは画像データの特定領域、例えば、大型の対象物を含む画像データの領域及び／又は小型の対象物を含む領域について求められうる。

標準偏差は次のように示されうる。

（式中、Ｉ_ｃ（ｘ，ｙ）は（ｘ，ｙ）点において評価されるカラー層ｃの強度であり、Ｒは像点のサブセットであり、Ｉ_ｃ（Ｒ）はＲにおける像点上のカラー層ｃの平均強度である）

異なるＬａｐｌａｃｅ様畳み込み間の指数を形成し、カーネルのゼロの数を変え、複数の層を用いることにより、別の方向特徴が決定されうる。

（式中、ＡはＸ又はＹを示し、即ち、Ｆ_ＡはＬａｐｌａｃｅベースの焦点測定の定義に用いられる関数Ｆ_Ｘ及びＦ_Ｙの１つであり、ｍ＞ｎ，ｐ＞ｑであり、ｃ１及びｃ２は２つの異なるカラー層を示し、Ｒは像点のサブセットである。Ｒは該セグメンテーションモジュール由来のマスクに対応しうる）

上述による方向特徴の一例は次のようになりうる。

（式中、ｇは緑色層を示し、ｂは青色層を示し、ＲはＲのすべての第二列及びすべての第四行の交点である）

該コンテンツ特徴は画像データのコンテンツを異なる方法にて表す特徴とみなされうる。例えば、多数の血球が存在する場合、高周波成分量は少数の血球が存在する場合より多い。該コンテンツ特徴の主要目的は、焦点の程度／レベルには影響を及ぼさないが、それでも該対比特徴及び該方向特徴に影響を及ぼす画像の変動を補償することにある。

該コンテンツ特徴は、全画像データの平均強度、背景の平均強度、ＲＢＣの平均強度、ＷＢＣの平均強度、全画像データの像標準偏差、ＲＢＣの像標準偏差、ＷＢＣの像標準偏差、ＲＢＣによって占められる画素数、ＷＢＣによって占められる画素数、ＲＢＣ数及び／又はＷＢＣ数を含みうる。

該セグメンテーションモジュールによって生成されるマスクを利用することにより、対比特徴、方向特徴及び／又はコンテンツ特徴は画像データのサブセットに対して決定されうる。

更に、対比特徴、方向特徴及び／又はコンテンツ特徴は、１つの特定のカラー層又は複数のカラー層の組合せに対して決定されうる。

更に、対比特徴、方向特徴及び／又はコンテンツ特徴は、１つの特定のカラー層又は複数のカラー層の組合せの画像データのサブセットに対して決定されうる。

図８は試料位置と合焦位置との間の差分を求める方法を示す。

第一のステップ８００において、試料を示す画像データが獲得される。

第二のステップ８０２において、該画像データから特徴セットが抽出される。

第三のステップ８０４において、該特徴セットは位置差分値に分類され、該位置差分値が該差分に対応する。

図９は試料位置と合焦位置との間の差分を求めるように適合された制御装置９００を示す。制御装置９００は画像獲得装置から画像データを受け取るように構成された受信機９０２を含みうる。受信画像データはプロセッサー９０４に転送され、プロセッサー９０４はメモリー９０６と関連して、該画像データから特徴セットを抽出し、該特徴セットを位置差分値に分類するように適合され得、前記位置差分値が該差分に対応する。更に、該制御装置は該位置差分値を、例えば、ステアリングモーターシステムに転送するように適合された送信機９０８を含みうる。

本発明は、主に、数例の実施形態に関連して上記に述べられている。しかし、当業者には容易に理解されるように、上記に開示された実施形態以外の実施形態が、添付の特許請求の範囲により定義されるように、本発明の範囲内にて同様に可能である。

Claims (22)

1. 試料位置と画像獲得装置の合焦位置との間の差分を前記試料位置にある試料の一つの画像に基づいて、求める方法であって、
   前記試料位置にある試料を示す画像データを獲得するステップと、
   前記獲得データによる特徴から特徴セットを抽出するステップであって、前記特徴セットは対比特徴のサブセットを含み、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びＬａｐｌａｃｅベースの焦点測定からなる群より選択される複数の対比特徴を含む、ステップと、
   画像から抽出された特徴セットを予め定められた位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることにより、前記特徴セットを、前記試料位置と前記合焦位置との間の差分に対応する、対応位置差分値に分類する
   ステップと、
   を備えた方法。
2. 前記対比特徴のサブセットは、前記画像データに基づくウェーブレット関数を含む、請求項１に記載の方法。
3. 前記対比特徴のサブセットは、ＶｏｌｌａｔｈのＦ_４関数又はＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような、前記画像データに基づく自己相関関数を含む、請求項１又は２のいずれかに記載の方法。
4. 前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びＬａｐｌａｃｅベースの焦点測定を含む、請求項１から３のいずれか一項に記載の方法。
5. 前記対比特徴が複数のカラー層に対して決定される、請求項１から４のいずれか一項に記載の方法。
6. 前記対比特徴が前記画像データのサブセットに対して決定される、請求項１から５のいずれか一項に記載の方法。
7. 前記特徴セットが方向特徴のサブセットを含む、請求項１から６のいずれか一項に記載の方法。
8. 少なくとも前記方向特徴が１つのカラー層に対して決定される、請求項７に記載の方法。
9. 前記方向特徴のサブセットの複数の特徴が、前記試料において異なる高さを有する複数の異なる対象物を特定し、
   前記異なる対象物の差異を特定し、
   前記異なる対象物の前記特定差異に基づいて少なくとも１つの特徴値を求めることにより決定される、請求項７又は８のいずれか一項に記載の方法。
10. 前記方向特徴が前記画像データのサブセットに対して決定される、請求項７から９のいずれか一項に記載の方法。
11. 前記特徴セットを位置差分値に分類する前記ステップが、サポートベクターマシンによって行われる、請求項１から１０のいずれか一項に記載の方法。
12. 試料を含む少なくとも１つのスライドを保持するように適合されたスライドホルダーと、
    前記試料を示す画像データを獲得するように構成され、光学システム及び画像センサーを含む画像獲得装置と、
    前記試料と前記光学システムの間の距離を変更するように構成されたステアリングモーターシステムと、
    前記画像獲得装置及び前記ステアリングモーターシステムに接続されたプロセッサーであって、メモリーと関連して、前記画像獲得装置から試料位置にある前記試料を示す前記画像データを受け取り、前記画像データによる特徴から特徴セットを抽出し、前記特徴セットは対比特徴のサブセットを含み、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びＬａｐｌａｃｅベースの焦点測定からなる群より選択される複数の対比特徴を含み、画像から抽出された特徴セットを予め定められた位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって、前記特徴セットを、試料位置と画像獲得装置の合焦位置との間の差分に対応する、対応位置差分値に分類し、前記対応位置差分値に従って前記試料と前記光学システムの間の前記距離を変更するように前記ステアリングモーターシステムに命令することによって、前記試料位置と前記合焦位置との間の差分を前記試料位置にある試料の一つの画像に基づいて求めるように構成されたプロセッサーと、
    を備えたビジョン検査システム。
13. 前記対比特徴のサブセットは、前記画像データに基づくウェーブレット関数を含む、請求項１２に記載のビジョン検査システム。
14. 前記対比特徴のサブセットは、ＶｏｌｌａｔｈのＦ_４関数又はＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような、前記画像データに基づく自己相関関数を含む、請求項１２又は１３のいずれかに記載のビジョン検査システム。
15. 前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びＬａｐｌａｃｅベースの焦点測定を含む、請求項１２から１４のいずれか一項に記載のビジョン検査システム。
16. 前記対比特徴が複数のカラー層に対して決定される、請求項１２から１５のいずれか一項に記載のビジョン検査システム。
17. 前記特徴セットが方向特徴のサブセットを含む、請求項１２から１６のいずれか一項に記載のビジョン検査システム。
18. 少なくとも前記方向特徴が１つのカラー層に対して決定される、請求項１７に記載の方法。
19. 前記特徴が前記画像データのサブセットに対して決定される、請求項１２から１８のいずれか一項に記載のビジョン検査システム。
20. 前記特徴セットを位置差分値に分類する前記ステップが、サポートベクターマシンによって行われる、請求項１２から１９のいずれか一項に記載のビジョン検査システム。
21. 試料位置にある試料を示す画像データを受け取るように構成された受信機と、
    メモリーと関連して、前記画像データによる特徴から特徴セットを抽出し、前記特徴セットは対比特徴のサブセットを含み、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、ＶｏｌｌａｔｈのＦ_４関数若しくはＶｏｌｌａｔｈのＦ_４関数とＶｏｌｌａｔｈのＦ_５関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びＬａｐｌａｃｅベースの焦点測定からなる群より選択される複数の対比特徴を含み、画像から抽出された特徴セットを予め定められた位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって、前記特徴セットを試料位置と画像獲得装置の合焦位置との間の差分に対応する対応位置差分値に分類することにより、前記試料位置と前記合焦位置との間の差分を前記試料位置にある試料の一つの画像に基づいて求めるように構成されたプロセッサーと、
    確定された前記差分を送信するように構成された送信機と
    を含む制御装置。
22. 装置にダウンロードされ、実行されると、請求項１から１１のいずれか一項に記載の方法を実行するように設定された、ソフトウェア命令を含むコンピュータプログラム。

Images