JP6616407B2 - フォーカシング方法 - Google Patents

Description

本発明は、画像化装置の視野を通過して流動する液体サンプルに、該画像化装置をフォーカスする方法及びシステムに関する。

画像化装置をフォーカスするための異なるアルゴリズムは多数知られている。強固で効果的なフォーカスアルゴリズム、特に流動液体サンプルをフォーカスするのに適したアルゴリズムが得られることが望まれる。

本発明の諸態様は独立請求項に記載される。更に本発明の諸態様の選択的特徴は、該独立請求項に従属する従属請求項に記載される。

いくつかの実施形態では、画像化装置の視野を通過して流動する液体サンプルに、該画像化装置をフォーカスする方法が与えられる。対象物を含むサンプルが画像化装置の視野を通過して流動するとき、該画像化装置のフォーカスメカニズムは該サンプルのフレームを取得しつつ、複数のフォーカス値を用いて進行される。取得されたフレーム内の対象物はセグメント化され、各フォーカス値に関するフォーカス尺度が、取得されたフレームから決定される。少なくともいくつかのフレーム内にある少なくとも１つの対象物に関し、対象物速度が決定される。これらの決定されたフォーカス尺度と対象物速度とに基づいて、複数のフォーカス値の中から１つのフォーカス値が選択される。この選択されたフォーカス値を用いて、フォーカスメカニズムの設定がされる。

有利なことに、流動サンプル内では対象物が運動することが分かっているため、フォーカス値の選択において対象物速度を考慮することにより、サンプルが流動する（すなわち対象物が運動する）フォーカス面に相当するフォーカス値の選択が容易となる。

いくつかの実施形態では、１つのフォーカス値を選択することは、そのフォーカス値に相当するフォーカス尺度が極値を取り、かつ、そのフォーカス値に相当する対象物速度が、決定されたフォーカス尺度の他のいかなる極値における対象物速度より大きいような１つのフォーカス値を選択することを含む。例えば候補フォーカス値として、その値に相当するフォーカス尺度が極値を取るものが決定されてよい。そしてこの候補フォーカス値の中で、取得されたフレームから求められた対象物速度がそのファーカス値において最大となるものが選択されてよい。これにより、人為的要因、例えばカバーガラスの擦り傷などにより大きなフォーカス尺度を持つフォーカス面に相当するフォーカス値が、運動する対象物、すなわち流動サンプルを含むフォーカス面に相当するフォーカス値から区別される。いくつかの実施形態では別の選択基準、例えば相当する対象物速度であって、ある閾値を超えるものが用いられる。好適な閾値を選ぶことにより、選択されたフォーカス値に相当する対象物速度が、フォーカス尺度の他のいかなる極値における対象物速度より大きいことが保証され得る。所与のフォーカス値に相当する対象物速度は、該フォーカス値において取得された対象物に関する各対象物速度の最大値、最小値、平均値、中間値、又はその他の全体的尺度であってよい。あるいは対象物又は対象物速度は、該フォーカス値において取得された対象物に関するすべての対象物／対象物速度の中から無作為に、又は所与の基準に従って、選択されてもよい。

いくつかの実施形態では、各フォーカス値に関するフォーカス尺度を決定することは、フォーカス尺度の強度が各フレーム内の対象物の数と独立であるように、セグメント化された対象物の近辺の画像パッチを用いてフォーカス尺度を決定することを含む。例えばフォーカス尺度は、各フォーカス尺度の平均値、すなわちフォーカスメカニズムが該フォーカス値に設定されているときに取得された各対象物に関して算出された各フォーカス尺度の平均値を用いて決定されてもよい。いくつかの実施形態では、平均値の代わりに最大値、最小値、中間値、又はその他の全体的尺度が使われてもよい。この計算のために、セグメント化された対象物のすべて、又は一部が使われてもよい。いくつかの実施形態では、対象物／画像のパッチは、各フォーカス値において取得された対象物の中から無作為に、又は所与の基準に従って選択される。いくつかの実施形態では、画像に関するフォーカス尺度は、すべての画像について計算され、検出された対象物の数によって正規化される。従ってより一般的には、画像に関するフォーカス尺度は、該フォーカス尺度が画像内の対象物の数と独立であるように計算されてよい。

いくつかの実施形態ではフォーカス尺度は、コントラストに基づくフォーカス尺度である。例えばフォーカス尺度を導出するために、取得されたピクセルにソーベルオペレータを畳み込むことで、ソーベルオペレータが利用されてもよい。例えば以下を参照されたい。
ｈｔｔｐ：／／ｒｅｓｅａｒｃｈｇａｔｅ．ｎｅｔ／ｐｕｂｌｉｃａｔｉｏｎ／２３９３９８６７４＿Ａｎ＿ｉｓｏｔｒｏｐｉｃ＿３＿３＿Ｉｍａｇｅ＿Ｇｒａｄｉｅｎｔ＿Ｏｐｅｒａｔｏｒ
例えばフォーカス尺度は、画像パッチ又はセグメント化された対象物近辺のパッチにこのオペレータを畳み込むことにより算出されてもよい。他の実施形態では、このオペレータがすべての画像に適用されてもよい。当該分野で周知の通り、フォーカス尺度を算出するために別のオペレータが使用されてもよい。

有利なことに、パー・パッチ／パッチ平均に基づいてフォーカス尺度を計算することにより、流動サンプルの任意の取得されたフレームに存在する対象物数の変動に起因する効果が、フレーム間におけるフォーカス尺度の比較に影響しなくなる。従って画像コントラスト全体に関して、相当する変動が理解される。

いくつかの実施形態では、選択されたフォーカス値の近辺の複数のフォーカス値を用いて該フォーカス値を進行させることにより、該フォーカス値が改善される。改善されたフォーカス値は、フォーカスメカニズムを設定するために使用される。いくつかの実施形態では、選択されたフォーカス値の近辺の複数のフォーカス値の各々について、各フォーカス尺度が計算される。改善されたフォーカス値は、その値に相当するフォーカス尺度が最大となる（より一般的には、最良のフォーカスを示す）ように選択される。これらの実施形態では、選択されたフォーカス値を用いてフォーカスメカニズムを設定することは、前述のようにフォーカス値を改善することを含み、この改善されたフォーカス値を用いてフォーカスメカニズムを設定することを含む。

有利なことに、前述の改善処理により、フォーカス値は精密に調整され得る。いくつかの実施形態では、複数の選択されたフォーカス値を得るために、改善を伴って又は伴わずに、前述のステップが反復される。いくつかの実施形態では、改善のみが反復される。フォーカスメカニズムを設定するために用いる最終フォーカス値を得るために、結果として選択された（又は改善された）フォーカス値は、例えば平均値、中間値、その他の全体的尺度とすることにより統合される。

以下、添付図面を参照しながら、例のみを用いて特定の実施形態を説明する。

流動サンプルを画像化するための画像化装置を示す概略図である。 図１に記載されるような画像化装置をフォーカスする方法のフロー図である。

図１を参照すると、画像化装置２は、画像化装置２内で視野５の画像を生成する対物（レンズ）部品４を備える。視野内の所与の深さにフォーカスする目的で、光学軸に沿ってこの対物部品を動かすために、フォーカスメカニズム６が対物部品４に結合する。フォーカス値は、どこに画像化装置２がフォーカスされるかを示す値である。フォーカス値は、対物部品４の光学軸に沿った画像化装置２の位置、フォーカスされた画像面の画像化装置２からの距離、フォーカスメカニズムの配置に関する値（例えば、フォーカス駆動モータの回転子の位置）、あるいはどこに画像化装置がフォーカスされるかを示す任意の値となるように選択されてよい。

プロセッサ８が画像化装置２に結合される。プロセッサ８は、画像、及び処理に関するその他の信号を画像化装置２から受信する。同様にこのプロセッサは、制御情報を画像化装置２に送信する。この制御情報は、フォーカス値を設定するための制御情報と、フォーカスメカニズム６が該フォーカス値に基づいて対物部品４を位置合わせする（又は配置する）ための制御情報とを含む。更にいくつかの実施形態ではこの制御情報は、画像化装置に関する１以上の他のパラメータ、例えば画像化装置２内の画像センサの画像利得を制御するための制御情報を含む。画像化装置２とプロセッサ８とは、別個のユニットとして与えられてもよいし、単一のユニットに収められてもよいことは理解できるであろう。例えばプロセッサ８と画像化装置との部品は、単一の集積回路上に与えられてもよい。

サンプル流路１０は、対象物１４を含む流動サンプル１２を輸送する。サンプルは例えば血液サンプルであってよく、対象物は血液細胞、例えば白血球であってよい。画像化装置によってサンプル１２と対象物１４とが画像化され得るように、例えばフレームの時間的連続を所与のサンプルレートで取得するように、サンプル流路１０は視野５内に配置される。明確化のため図１には示されていないが、サンプル流路１０は、画像化装置２に対して固定的な方法で配置される。サンプル流路１０と画像化装置２とは、単一の装置の一部を形成してよい。あるいはサンプル流路１０を画像化装置２に対して固定的に配置するために、サンプル流路１０は、例えば画像化装置２に紐づくホルダーに挿入され得るマイクロ流体分析カートリッジ上に与えられてもよい。いくつかの実施形態では、サンプル流路１０は、ディスク装置上のラボ（ｌａｂ ｏｎ ａ ｄｉｓｋ ｄｅｖｉｃｅ）と、画像化装置と、プロセッサとを備えるディスクカートリッジ上に与えられる。このディスクカートリッジは、ＤＶＤリーダ、例えばディスク装置上のラボをロードするメカニズムを含むリーダ装置の一部であってよい。サンプルの流動は、毛細管力、遠心力、電気泳動力、その他の好適な駆動メカニズムを含む、様々な駆動メカニズムによって駆動されてよい。

図２は、フォーカスメカニズム６とプロセッサ８とを用いて、対物部品４をフォーカスする手順を示す。

ステップ１６でプロセッサは、フォーカスメカニズムが対物部品４を位置決めするためのフォーカス値を設定する。これに続けてステップ１８で、画像化装置で取得されたフレームがプロセッサにより受信される。ステップ２０で、既知の画像セグメント化技術に従って、取得されたフレーム内の対象物がセグメント化される。

ステップ２２で、フォーカス値の組に相当するフォーカス尺度が得られる。各セグメント化された対象物の近辺で画像パッチが定義され、この各画像パッチにソーベルオペレータが畳み込まれる。前記フォーカス値に関するフォーカス尺度を計算するために、これらの畳み込みの結果は画像パッチの間で平均化される。

特定の実施形態では、各画像パッチに関するフォーカス尺度として平均微分強度を導出するために、以下のソーベルオペレータと強度計算が用いられる。

画像パッチがＡで表され、Ｇｘ及びＧｙが、各点における水平及び垂直方向の微分近似値を含む２つの画像パッチを定義する場合、計算は以下の通りである。

ここで＊は２次元の畳み込み操作を示す。

微分強度を与える目的で、微分強度の結果値は、ピクセルにおけるＧｘとＧｙの２乗和の平方根、あるいは近似値では絶対値の和として、画像の各ピクセルにおいて統合されてもよい。その後フォーカス尺度を与える目的で、この量は画像パッチピクセル全体に関して平均化又は総和される。

ステップ２４でプロセッサは、所望の数のフォーカス値／尺度のペアが得られたか、あるいは更なるペアを得る必要があるかについての判断をする。更なるペアが必要な場合、一定の進行サイズを加算するとか、フォーカス値の組の中から次のフォーカス値を探すとかいった方法でフォーカス値がインクリメントされ、その後処理はステップ１６にループバックする。所定の数のペアが得られた場合は、フォーカス値はそれ以上インクリメントされず、処理はステップ２６に進む。

ステップ２６で、フォーカス尺度の極値がフォーカス値の関数として見出される。当業者は極値を見出すための多数の方法に精通しているだろう。その一例としてヒステリシス閾アルゴリズムがある。フォーカスの品質が上がるとともにフォーカス尺度が増加する場合極値は極大値であり、フォーカスの品質が上がるとともにフォーカス尺度が減少する場合極値は極小値であろう。従って極値は常にフォーカス（フォーカスの品質、フォーカスの鋭さ等）の局所的な最良値である。

ステップ２６で極値が１つだけ見出された場合、処理はステップ３０に跳ぶが。詳細は後述する。フォーカス尺度の極値が複数見出された場合、処理はステップ２８に進み、これらの極値の中からその内の１つが選択される。複数のフォーカスの極値は次のようなとき、すなわちサンプル流路１０の外側表面上の塵埃粒子、サンプル流路１０の内側表面上の気泡、場合によっては反対側外側表面上の擦り傷などが、サンプル流路１０内を流動するサンプル１２内の対象物１４を含む画像面に追加して、強いコントラスト特性を持つ付加的な画像面を形成したとき発生すると考えられる。対象物１４を含む画像面のみが、フォーカスされるべき面である。サンプル内を流動する興味対象の対象物は運動しているという点で、この面は他の面から区別され得る。従って所望の対物面は、フォーカス尺度が計算される際の対象物速度に基づいて特定され得る。

従ってステップ２８で、フォーカス値／フォーカス尺度の各ペアに相当するフレームから、対象物速度が計算される。取得された画像内にある対象物の対象物速度を計算する方法は既知である。例えば第１フレーム内で検出された対象物については、次のフレーム内で、第１フレームにおける対象物の位置から測った検出半径内に対象物が１つだけ存在するかのチェックが行われる。結果が肯定的だった場合、これら２つの対象物は物理的に同一対象物であると判断され、２つのフレーム間の対象物位置の相違とサンプルレートとを用いて速度が計算される。次のフレーム内で、検出半径内に対象物が複数検出された場合、当該対象物に関する計算は中止される。次に前述のフレームに関して決定された個々の対象物速度を平均化することにより、全体での対象物速度が決定される。平均対象物速度が最大になるときの極値（フォーカス値／尺度のペア）が、続けてフォーカシング（フォーカスメカニズム４２の設定）で使用されるために選定される。

ステップ２６又はステップ２８で選定されたフォーカス値は、ステップ３０で、フォーカス改善の出発点として使われる。選択されたフォーカス値の近辺にあるフォーカス値の組、例えば該選択されたフォーカス値の両側で所与の進行幅内にある所定の数の値が定義される。この進行幅は、ステップ２４におけるインクリメントの進行幅より小さいだろう。従って、ステップ１６から２４におけるフォーカス値探索は最初の粗探索を表し、ステップ３０で定義されるフォーカス値の組は、この粗探索で見出されたフォーカス値の近辺における精密探索を表す。ステップ１６から２４と同様、プロセッサは、フォーカスメカニズムが、これらのフォーカス値の組を用いて進行し、相当するフォーカス尺度の計算のために各フォーカス値においてフレームを取得するように、フォーカスメカニズムを制御する。次にこのフォーカス値の組の中から、最高／最良のフォーカス尺度を持つものが決定される。ステップ３２でプロセッサが、フォーカスメカニズムをこの値に設定するために、この値を使用する。

特定の実施形態が概説のみを用いて説明され、前述のあるいは別の方法により、記述された特徴の改良、変形、並列が本発明からの逸脱なく可能であることが理解できるだろう。特に、上記で図２を参照して説明された処理のステップは、ある程度順序の変更が可能であるし、適当な方法でグループ化や併合がされてもよい。フレームは必要に応じて各ステップにおいて取得され受信されてよい。あるいはフレームの取得は、使用される関連フレームに対してのみ実行されてもよい。適当であれば、前述のステップシーケンスは、相当するバッチ処理で置き換えられてもよい。例えばステップ１６、１８及び２４はバッチプロセスとしてグループ化され、相当するフォーカス値に関連するフレームの組が与えられてもよい。対象物のセグメント化とフォーカス尺度の計算については、更なるバッチプロセスとして実行されてもよい。

前述のプロセスは、任意の好適なスタンドアロン又は分散コンピュータ環境を用いて実行され得る。これらのコンピュータ環境は、任意の好適なコンピュータプラットフォーム又はプロセッサ、例えば集積回路、内蔵式又は他の部品と結合したシステム、システムの他の部品とともに適当なカードに実装された専用計算機、あるいはパーソナルコンピュータ、タブレットコンピュータ、携帯電話、サーバなどのスタンドアロンコンピュータなどを使用する。これらのプラットフォームやプロセッサは少なくともその一部において、ネットワーク接続を用いて遠隔的にデータを交換して必要なプロセスを実行する。

Claims (15)

1. 画像化装置の視野を通過して流動する液体サンプルに、該画像化装置をフォーカスする方法であって、
   ａ）複数のフォーカス値を用いて前記画像化装置のフォーカスメカニズムを進行させるステップと、
   ｂ）前記画像化装置を用いて、前記複数のフォーカス値の各々において、少なくとも１つのフレームを取得するステップと、
   ｃ）少なくとも１つのビデオフレームの各々から、前記複数のフォーカス値の各々に関するフォーカス尺度を計算するステップと、
   ｄ）前記フォーカス尺度が実質的に極値を取るときの、各フォーカス値を複数選択するステップと、
   ｅ）前記選択されたフォーカス値の各々に関し、複数のフレームの各々の内部にある１つ以上の対象物に関してそれぞれの対象物速度を決定するステップと、
   ｆ）前記対象物速度の各々に基づいて、前記複数のフォーカス値の中から１つのフォーカス値を選択するステップと、
   ｇ）前記選択されたフォーカス値を用いて、前記画像化装置をフォーカスするステップと、を備える方法。
2. フォーカス値の各々に関するフォーカス尺度を計算するステップは、
   各フレーム内で１つ以上の対象物を検出するステップと、
   前記１つ以上の対象物の各々に関する画像パッチを定義するステップと、
   各フレームにおいて、少なくとも１つの前記画像パッチに関してフォーカス尺度を計算するステップと、を含む、請求項１に記載の方法。
3. フォーカス値の各々に関するフォーカス尺度を計算するステップは、前記フォーカス尺度を対象物に関して平均化するステップを含む、請求項２に記載の方法。
4. ステップｇ）は、
   ｈ）更なる複数のフォーカス値であって、前記選択されたフォーカス値より大きいフォーカス値を少なく１つ備え、前記選択されたフォーカス値より小さいフォーカス値を少なくとも１つ備える更なる複数のフォーカス値を用いて、前記画像化装置のフォーカスメカニズムを進行させるステップと、
   ｉ）前記画像化装置を用いて、前記更なる複数のフォーカス値の各々において、少なくとも１つのビデオフレームを取得するステップと、
   ｊ）前記少なくとも１つのビデオフレームの各々から、前記更なる複数のフォーカス値の各々に関するフォーカス尺度を計算するステップと、
   ｋ）前記更なる複数のフォーカス値に関する前記フォーカス尺度に基づいて、更なるフォーカス値の１つを選択するステップと、
   ｌ）前記選択された更なるフォーカス値を用いて、前記画像化装置をフォーカスするステップと、を備える請求項１から３のいずれか一項に記載の方法。
5. ステップｌ）は、
   ｍ）前記更なるフォーカス値を少なくとももう１つ選択するために、ステップａ）からｋ）を反復するステップと、
   ｎ）最終フォーカス値を導出するために、前記更なるフォーカス値を統合するステップと、
   ｏ）前記最終フォーカス値を用いて、前記画像化装置をフォーカスするステップと、を備える、請求項４に記載の方法。
6. 前記更なる複数のフォーカス値の間の進行サイズは、前記複数のフォーカス値の間の進行サイズより小さい、請求項４又は５に記載の方法。
7. 前記サンプルは、マイクロ流体流路内を流動する、請求項１から６のいずれか一項に記載の方法。
8. 視野を通過して流動する液体サンプルを画像化する画像化装置と、プロセッサとを備え、
   前記画像化装置は、前記視野内にある１つ以上の対象物のフォーカスされた画像を形成するために、フォーカス値に従って前記画像化装置の少なくとも一部を位置決めするフォーカスメカニズムを有し、
   前記プロセッサは、
   ａ）複数のフォーカス値を用いて前記画像化装置のフォーカスメカニズムを進行させ、
   ｂ）前記画像化装置を用いて、前記複数のフォーカス値の各々において、少なくとも１つのフレームを取得し、
   ｃ）前記少なくとも１つのビデオフレームの各々から、前記複数のフォーカス値の各々に関するフォーカス尺度を計算し、
   ｄ）フォーカス尺度が実質的に極値を取るときの、各フォーカス値を複数選択し、
   ｅ）前記選択されたフォーカス値の各々に関し、複数のフレームの各々の内部にある１つ以上の対象物に関してそれぞれの対象物速度を決定し、
   ｆ）前記対象物速度の各々に基づいて、前記複数のフォーカス値の中から１つのフォーカス値を選択し、
   ｇ）前記選択されたフォーカス値を用いて、前記画像化装置をフォーカスする、ように構成される画像化システム。
9. フォーカス値の各々に関するフォーカス尺度を計算することは、
   各フレーム内で１つ以上の対象物を検出することと、
   前記１つ以上の対象物の各々に関する画像パッチを定義することと、
   各フレームにおいて、少なくとも１つの前記画像パッチに関してフォーカス尺度を計算することと、を含む、請求項８に記載のシステム。
10. フォーカス値の各々に関するフォーカス尺度を計算することは、前記フォーカス尺度を対象物に関して平均化することを含む、請求項９に記載のシステム。
11. ステップｇ）は、
    ｈ）更なる複数のフォーカス値であって、前記選択されたフォーカス値より大きいフォーカス値を少なく１つ備え、前記選択されたフォーカス値より小さいフォーカス値を少なくとも１つ備える更なる複数のフォーカス値を用いて、前記画像化装置のフォーカスメカニズムを進行させることと、
    ｉ）前記画像化装置を用いて、前記更なる複数のフォーカス値の各々において、少なくとも１つのビデオフレームを取得することと、
    ｊ）前記少なくとも１つのビデオフレームの各々から、前記更なる複数のフォーカス値の各々に関するフォーカス尺度を計算することと、
    ｋ）前記更なる複数のフォーカス値に関する前記フォーカス尺度に基づいて、更なるフォーカス値の１つを選択することと、
    ｌ）前記選択された更なるフォーカス値を用いて、前記画像化装置をフォーカスすることと、を備える請求項８から１０のいずれか一項に記載のシステム。
12. ステップｌ）は、
    ｍ）前記更なるフォーカス値を少なくとももう１つ選択するために、ステップａ）からｋ）を反復することと、
    ｎ）最終フォーカス値を導出するために、前記更なるフォーカス値を統合することと、
    ｏ）前記最終フォーカス値を用いて、前記画像化装置をフォーカスすることと、を備える、請求項１１に記載のシステム。
13. 前記サンプルは、マイクロ流体流路内を流動する、請求項８から１２のいずれか一項に記載のシステム。
14. 前記更なる複数のフォーカス値の間の進行サイズは、前記複数のフォーカス値の間の進行サイズより小さい、請求項６又は７に記載の方法。
15. プロセッサ上で実行されたとき、請求項１から７、および１４のいずれか一項の方法を実行するようにコード化された命令を備える、コンピュータプログラム製品。

Images