JPWO2020021603A1 - マイクロ流体デバイス観察装置 - Google Patents

Abstract

少なくとも一部の領域に同一幅の複数の流路が平行に配設されたマイクロ流体デバイス１００を観察するマイクロ流体デバイス観察装置１において、マイクロ流体デバイス１００の画像を取得する撮像部４と、取得された前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部２１と、それぞれが線状に連続に並ぶ所定個数以上の抽出画素からなる複数の抽出画素群のうち予め決められた平行度以上である複数の抽出画素群を特徴画素群として検出する特徴画素群検出部２２と、複数の特徴画素群の中から、離間距離が流路１０３a〜１０３eの幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部２３と、前記画像における流路境界画素群の位置に基づき前記1乃至複数の流路１０３a〜１０３eの境界の位置を特定して各流路１０３a〜１０３eの画像を抽出する流路画像抽出部２４とを備える。

Description

本発明は、1乃至複数の流路が配設されたマイクロ流体デバイスについて、それら流路の内部を観察するために用いられるマイクロ流体デバイス観察装置に関する。

マイクロ流体デバイスは、微小機械システム（MEMS: Micro Electro Mechanical System）等を用いた微細加工技術によって基板に1乃至複数の流路を形成したものである（例えば特許文献１）。マイクロ流体デバイスは、例えば、下面側に流路となる凹部を形成し、また該流路の端部にあたる位置に被検流体の導入等に用いられる貫通孔を形成した上基板と、下基板とを接合することにより作製される。マイクロ流体デバイスは、例えば特許文献２に記載のように、細菌や真菌（対象菌）の抗菌薬に対する感受性を検査するために用いられる。

特開２０１３−３０１１号公報 特開２０１５−１７７８０６号公報 特開平１１−９７５１２号公報

本発明により解決しようとする課題を具体的に説明するために、前記検査で用いられるマイクロ流体デバイスの一例を説明する（図１を参照）。このマイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a〜１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a〜１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a〜１０２eの直下まで延びている。5つの分岐流路１０３a〜１０３eは、空気口１０２a〜１０２eの近傍では相互に平行に配設されている。

上記マイクロ流体デバイス１００を用いた対象菌の検査では、まず、空気口１０２a〜１０２dから分岐流路１０３a〜１０３dに、同じ種類の抗菌薬を異なる濃度で含む抗菌液ａ〜ｄを導入する。ここで導入される抗菌液ａ〜ｄの量は、分岐流路１０３a〜１０３dの内部に留まる（菌液導入流路１０３まで達しない）程度の量である。分岐流路１０３eには抗菌液を導入しない。そして、各分岐流路１０３a〜１０３dに導入した抗菌液ａ〜ｄを乾燥させて抗菌薬を各分岐流路１０３a〜１０３dの壁面に定着させる。続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。分岐流路１０３a〜１０３eの端部に通気のための空気口１０２a〜１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a〜１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a〜１０３eに流入する。分岐流路１０３a〜１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。菌液導入後は所定時間毎に対象菌の状態を確認する。

対象菌の状態の確認を行う際には、検査者がマイクロ流体デバイス１００を顕微鏡の所定位置にセットし、該顕微鏡の視野に捉えた領域（観察領域）１０４の画像を取得する。検査者はさらに、その画像から各分岐流路１０３a〜１０３eにあたる部分を特定する。そして、各分析流路１０３a〜１０３eの内部に存在する菌の数や状態を確認する。

上記の通り、分岐流路のうちの1つ（上記例では分岐流路１０３e）には抗菌液を導入していないため、該分岐流路１０３eの画像から確認した菌の数や状態と、それ以外の分岐流路１０３ａ〜１０３ｄの画像から確認した菌の数や状態を比較することにより、どのくらいの濃度で抗菌薬を含む抗菌液を用いれば対象菌に対する効果が現れるかを知ることができる。

上記の検査では、使用する抗菌液の数（抗菌薬の濃度の数）に応じた数の分岐流路が形成されたマイクロ流体デバイスが使用される。上記の例では抗菌薬の濃度が4種であるため分岐流路は5本であったが、例えば9種の濃度の抗菌薬を用いる場合は分岐流路が10本の分岐流路が形成されたマイクロ流体デバイスを用いる必要がある。そのため、検査者はマイクロ流体デバイス毎に異なる位置にある分岐流路の画像を特定する必要があり、その作業に手間がかかっていた。また、こうした検査では、所定時間、抗菌薬を対象菌に作用させて対象菌の状態を観察する、という作業を繰り返し行うことが一般的である。さらに、多くの場合、その検査に用いられるマイクロ流体デバイスの数も多い。そのため、多数のマイクロ流体デバイスのそれぞれを繰り返し撮像して得た画像の分岐流路を特定しなければならず、検査者にとって大きな負担となっていた。

本発明が解決しようとする課題は、マイクロ流体デバイスに配設された複数の流路の画像を簡便に得ることができるマイクロ流体デバイス観察装置を提供することである。

上記課題を解決するために成された本発明は、少なくとも一部の領域において同一の幅を有する複数の流路が平行に配設されたマイクロ流体デバイスを観察するマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの前記少なくとも一部の領域の画像を取得する撮像部と、
取得された前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ特徴画素群として検出する特徴画素群検出部と、
複数の前記特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
前記画像における前記流路境界画素群の位置に基づき前記複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
を備えることを特徴とする。

マイクロ流体デバイスの少なくとも一部の領域に形成される複数の流路は、典型的には直線状の流路（即ち流路の境界が直線であるもの）であるが、円弧状や楕円弧状、Ｓ字状の流路であってもよい。
前記撮像部は、マイクロ流体デバイスに形成された流路の境界にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。前記撮像部には、例えば、光学顕微鏡、光学カメラ、位相差顕微鏡、微分干渉顕微鏡を用いることができる。

本発明に係るマイクロ流体デバイス観察装置では、まず、複数の流路が平行に配設されている領域（前記少なくとも一部の領域）が視野に捉えられるようにマイクロ流体デバイスを撮像部の所定の位置にセットし、該領域の画像を取得する。そして、前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する。これは、例えば、流路の境界及び被検物のいずれもが存在しない位置の画素について想定される輝度値（バックグラウンド輝度値）を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定することにより行うことができる。あるいは、全画素の輝度の平均値や、画像の四隅のように流路の境界と被検物のいずれもが存在しないと考えられる位置の画素の輝度値を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定するようにしてもよい。また、輝度値そのものを用いるのではなく、微分フィルタを用いて画像データからエッジ強度（輝度の変化量）を求め、その値を予め決められた値と比較した結果に基づいて抽出画素を選択するようにしてもよい。このような微分フィルタを用いることにより、バックグラウンドを除去して流路の境界等の構造に対応する抽出画素を選択しやすくすることができる。なお、輝度が高い画素を選択するか、輝度が低い画素を選択するかは、使用する撮像部の特性（流路の境界が明暗のいずれとなって現れるか）に応じて決めればよい。

前記画像では、流路の境界、該流路の内部に存在する被検物（例えば菌）のような構造物、あるいはノイズによってコントラストが生じる。そのため、抽出画素選択部により選択される抽出画素には、これらが存在する位置に対応する画素が混在している。そこで、次に、それぞれが線状に連続に並ぶ所定個数以上の抽出画素からなる抽出画素群のうち、相互の平行度が予め決められた平行度以上であるものを特徴画素群として検出する。ここでいう線状は、その幅が1画素であるものに限定されず、幅と長さの比が所定値以上であるものをいう。また、この線状は流路の形状に応じたものであればよく、必ずしも直線状に限定されず、円弧状、Ｓ字状などであってもよい。この処理は、例えば隣接して位置する複数の抽出画素により形成される形状を求め、その形状から当該線が延びる方向を特定し、該方向に並ぶ抽出画素の数が所定個数以上であるものを抽出することにより行うことができる。なお、前記所定個数は、該所定個数の画素を並べた長さから、それらの画素に対応する位置に存在する構造を推定可能な程度の数とすればよい。一般に、ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、ノイズに対応する抽出画素を除外することができる。また、複数の抽出画素群の平行度は、例えば各抽出画素群の位置から近似直線を求め、その傾きを相互に比較することにより決定することができる。

次に、複数の特徴画素群の中から、離間距離が流路の幅に対応する特徴画素群の組を流路境界画素群として選択する。これにより画像における流路の境界の位置が特定される。最後に、流路境界画素群の位置に基づき複数の流路の境界の位置を特定して各流路の画像を抽出する。

このように、本発明に係るマイクロ流体デバイス観察装置では、撮像部により取得される画像が、抽出画素選択部、特徴画素群検出部、流路境界画素群選択部、及び流路画像抽出部によって順に処理され各流路の画像が得られる。従って、検査者が自ら観察領域の画像から各流路の画像を手作業で抽出する必要がなく、各流路の画像を簡便に得ることができる。

多くの場合、マイクロ流体デバイスの少なくとも一部の領域に形成される複数の流路の間隔も同一である。そこで、本発明に係るマイクロ流体デバイス観察装置では、
前記流路境界画素群選択部が、隣接する2つの前記特徴画素群の離間距離が等しいものを前記流路境界画素群として選択する
ように構成することができる。これにより、流路の境界部にあたる画素をさらに精確に抽出することができる。

本発明に係るマイクロ流体デバイス観察装置を用いることにより、マイクロ流体デバイスに配設された複数の流路の画像を簡便に得ることができる。

マイクロ流体デバイスの一構成例。 本発明に係るマイクロ流体デバイス観察装置の一実施例の要部構成図。 本実施例においてマイクロ流体デバイスの流路の画像を抽出する手順を説明するフローチャート。 本実施例において観察画像データの輝度値を二値化した画像の例。 本実施例において直線の離間距離を求める方法を説明する図。 本実施例において作成されるヒストグラムの例。 本実施例において観察画像から流路を抽出する方法を説明する図。

本発明に係るマイクロ流体デバイス観察装置の一実施例について、以下、図面を参照して説明する。本実施例では、図１を参照して説明したマイクロ流体デバイス１００を用いて、同じ抗菌薬を互いに異なる4種類の濃度で含む抗菌液ａ〜ｄに対する対象菌の感受性を検査する場合を例に挙げて説明する。

図２は本実施例のマイクロ流体デバイス観察装置１の要部構成図である。本実施例のマイクロ流体デバイス観察装置１は、大別して分注部２、インキュベータ３、位相差顕微鏡４（撮像部）、及び制御・処理部１０から構成される。分注部２とインキュベータ３の間、インキュベータと位相差顕微鏡４の間には、制御・処理部１０からの指示を受けて両者の間でマイクロ流体デバイス１００を搬送するためのデバイス搬送経路及び搬送機構（図示略）が設けられている。

制御・処理部１０は、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０は、記憶部１１を備え、さらに機能ブロックとして抽出画素選択部２１、特徴画素群検出部２２、流路境界画素群選択部２３、及び流路画像抽出部２４を備えている。制御・処理部１０の実態は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０を実行することにより、これらの機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部３０と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４０が接続されている。

マイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a〜１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a〜１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a〜１０２eの直下まで直線状に延びている。5つの分岐流路１０３a〜１０３eは、空気口１０２a〜１０２eの近傍では相互に平行に配設されている。なお、図１は各分岐流路１０３a〜１０３eを分かりやすく示したものであり、実際のマイクロ流体デバイスでは分岐流路１０３a〜１０３eの流路幅の方が流路間隔よりも長い。

次に、本実施例のマイクロ流体デバイス観察装置１を用いた、対象菌の抗菌薬に対する感受性の検査の流れを説明する。

検査者は、対象菌を所定の割合（例えば対象菌の数とその培養液の量により規定）で含む菌液と、検査に使用する抗菌薬を異なる濃度で含む抗菌液ａ〜ｄを準備し、分注部２にセットしておく。

検査者が、入力部３０を通じて検査の開始を指示すると、制御・処理部１０から分注部２に分注動作の開始を指示する制御信号が送信される。

分注部２では、マイクロ流体デバイス１００の分岐流路１０３a〜１０３dのそれぞれに抗菌液ａ〜ｄを導入し、続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。菌液の導入量は、分岐流路１０３a〜１０３dに定着させた抗菌薬の位置に達する程度の量に、予め決められている。分岐流路１０３a〜１０３eの端部に通気のための空気口１０２a〜１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a〜１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a〜１０３eに流入する。分岐流路１０３a〜１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。

抗菌液ａ〜ｄと菌液を導入した後、マイクロ流体デバイス１００をインキュベータ３に搬送し、所定時間、所定の温度に加温して対象菌を培養する。所定時間の培養後、マイクロ流体デバイス１００をインキュベータ３から位相差顕微鏡４に搬送する。以下、図３のフローチャートを参照して、本実施例のマイクロ流体デバイス観察装置１においてマイクロ流体デバイスの流路の画像を抽出する手順を説明する。

位相差顕微鏡４に搬送されたマイクロ流体デバイス１００は所定の撮像位置に所定の向きで保持される。位相差顕微鏡４ではその視野に捉えたマイクロ流体デバイス１００の領域を撮像する。マイクロ流体デバイス１００全体のうち、位相差顕微鏡４の視野に捉えられた領域（本発明における少なくとも一部の領域に相当。）が観察領域１０４となり、位相差顕微鏡４では観察領域１０４の画像（以下、これを「観察画像」と呼ぶ。）が取得される（ステップＳ１）。位相差顕微鏡４は、取得した観察領域１０４の画像データを制御・処理部１０に送信する。制御・処理部１０では受信した撮像データが記憶部１１に保存される。

画像データが記憶部１１に保存されると、抽出画像選択部２１は、微分フィルタを用いて画像内のエッジ強度（輝度の変化量）を算出する（ステップＳ２）。位相差顕微鏡４により得られた画像をそのまま用いて後述する処理を行っても良いが、微分フィルタを用いて前処理を施すことにより、画像内のエッジ強度を用いてより高い精度で後述の処理を進めることができる。微分フィルタとしては、sobelフィルタ、prewittフィルタ、cannyフィルタといった一次微分フィルタのほか、laplacianフィルタなどの二次微分フィルタを用いることができる。また、微分フィルタを用いる代わりに、モーフォロジー（morphology）演算など、画像データに含まれる輝度変化を検出する種々の方法を用いることができる。

抽出画像選択部２１は、微分フィルタを用いてエッジ強度を抽出した画像データについて、そのエッジ強度の値が所定値以上である画素を抽出画素として選択し（ステップＳ３）、選択した画素に１、非選択の画素に０の値を付して画像データを二値化する（ステップＳ４。図４参照）。ここでは、０と１という値により二値化したが、他の値や符号などにより二値化してもよい。また、ここでは、画素内での位置を問わず、同一の値を基準として抽出画素を選択するが、各画素の輝度値の大きさに応じた所定値を用いる（例えば、対象画素の輝度値に対して所定割合以上のエッジ強度の値である画素を抽出画素とする）こともできる。これにより、撮像時の環境によって画像内に明るい（輝度値が大きい）部分と暗い（輝度値が小さい）部分が存在している場合でも適切に抽出画素を選択することができる。また、画像全体のうち、注目画素を中心とする所定の範囲（例えば9画素×9画素の範囲）における輝度値の分散に応じて異なる値を用いるようにしてもよい。なお、菌の大きさは流路の幅や長さに比べると微小であるが、図４では対象菌の存在を分かりやすく示すために実際よりも大きく示している。

上記処理により選択された抽出画素の中には、流路の境界に位置する画素、対象菌が存在する位置の画素、及びノイズが発生した位置の画素などが混在している。そこで、次に、特徴画素群検出部２２が、二値化された画像データの中から、線状に連続に並ぶ所定個数以上の抽出画素を特徴画素群として検出する（ステップＳ５）。ここで、所定個数は、該個数の画素の位置から特徴画素群の形状を推定することが可能な数としておく。所定個数をどの程度の数にすればよいかは流路の形状によって異なる。本実施例では、特徴画素群を構成する画素の位置（座標）に基づいて該特徴画素群を表す直線式を求めるため、最低2個抽出画素を含んでいればよいが、所定個数が少なすぎると直線式の精度が悪い。一方、所定個数を多くするほど特徴画素群を表す直線式を高い精度で求めることができるが、所定個数が多すぎると、流路の境界に位置する画素の一部にコントラストが現れず抽出画素として選択されなかった場合（つまり、抽出画素の連続する数が少ない場合）に、流路の境界に位置する抽出画素が特徴画素群として検出されなくなってしまう。これらを勘案すると、上記所定個数は、画像サイズ（矩形画像の場合は短径、円形画像の場合は直径）の1割にあたる長さに相当する画素数程度とすることが好ましい。

次に、流路境界画素群選択部２３は、特徴画素群検出部２２により検出されたn個の特徴画素群に番号m（mは1以上n以下の整数）を付し、各特徴画素群を表す直線式L_mを求める（ステップＳ６）。特徴画素群を表す直線式L_mとは、当該特徴画素群を構成する複数の抽出画素の座標に基づく近似直線を意味する。本実施例では、各特徴画素群を表す直線式L_mを求めるためにハフ変換を用いる。

ハフ変換は、画像処理の分野で画像の特徴を抽出する際に用いられる手法の1つである。ハフ変換では、二次元平面（x-y平面）上で、原点から直線への法線の距離rと、法線とx軸とがなす角度θで直線式を表現する。ハフ変換では、次式（1）で表される直線式を用いる。
r=x cosθ+y sinθ …(1)

まず、特徴画素群を構成する抽出画素の1つについて式（1）を用いた直線式を求める。この段階では座標値が1つしか指定されていないことから直線式は一意に決まらず、rとθの関数となる。特徴画素群を構成する抽出画素のそれぞれについて、該抽出画素の座標を用いてrとθの関数を求める。そして、抽出画素の数だけ得られたrとθの関数を、これらを二軸とするハフ空間に投影し、投影数の多い（最も一致度が高い）rとθの値を求める。これにより特徴画素群を表す直線式を決定する。特徴画素群を構成する抽出画素が一直線上に位置している場合には、それら抽出画素のそれぞれについて求められたrとθの関数が1点で交わり、その交点にあたるrとθの値により直線を厳密に決めることができる。しかし、実際の画像では、特徴画素群が、その幅方向において複数の画素にまたがっていたり、部分的に階段状になっていたりするため、抽出画素が完全に一直線上に位置することは少ない。そこで、ハフ空間において投影数の多いrとθの値により、当該特徴画素群に対応する直線式を決定する。こうして、m番目の特徴画素群に対する直線式L_mとして次式(2)が得られる。
a_mx+b_my=1 （a_m, b_mは係数）…(2)

本実施例ではハフ変換により特徴画素群のそれぞれに対応する直線式L_mを求めているが、別の方法により直線式L_mを求めることもできる。例えば、最小二乗法を用いて特徴画素群を構成する各抽出画素の座標に対する近似直線を求めることができる。

流路境界画素群選択部２３は、次に、特徴画素群のそれぞれについて得られた直線式L_mの傾き判定を行う。上式（2）で表される直線式L_mの傾きを表す単位ベクトルv_mは次式（3）のように表される。
v_m=（-b_m/l_m, a_m/l_m） （ただし、l_m=(a_m ²+b_m ²)^1/2） …(3)

全ての直線式L_mについて傾きv_mが得られた後、その傾きの中央値v_ctrを求める。そして、次式（4）を満たさない傾きを有する直線に対応する特徴画素群（外れ値）を処理対象から除外する（ステップＳ７）。
｜＜v_m・v_ctr＞｜≧α （αは0以上1未満の値） …(4)

式（4）は、各特徴画素群に対応する直線式L_mの傾きv_mと、それら全ての中央値v_ctrの内積である。また、αは0以上1未満の実数である。つまり、式(4)は、平均値v_ctrの傾きを有する直線に対する平行度が一定以上である（直線式L_mの傾きv_mが他の直線式の傾きと近い）ことを意味する。本実施例のマイクロ流体デバイス１００では、観察領域１０４内に複数の分岐流路１０３a〜１０３eが平行に形成されていることから、各流路の境界に位置する特徴画素群に対応する直線は相互に平行になるはずである。従って、上式（4）を満たさない傾きを有する直線に対応する特徴画素群を処理対象から除外することにより、流路の境界ではないと考えられる特徴画素群（対象菌の位置に対応する特徴画素群等）を除外することができる。

ここでは各特徴画素群に対応する直線式L_mの中央値v_ctrを用いたが、必ずしも中央値である必要はなく、各特徴画素群に対応する直線式L_mの傾きv_mの平均や、各特徴画素群に対応する直線式L_mの傾きv_mの分布を求め、その分布の端部に当たる所定個の傾きを除いた平均など、適宜のものを用いることができる。また、流路の境界に相当する直線のおおよその傾き（観察画像内での流路の傾き）を推定することが可能な場合はその推定値を用いることもできる。

上記の処理後に残ったk個（k≦n）の直線式L_p（pは1以上k以下の整数）について、それぞれの直線から見て特定の方向（例えばx軸の正方向）に隣接する別の直線との離間距離を求める（ステップＳ８）。これらの直線式L_pは相互に厳密に平行なものではないため、以下のように直線の離間距離d_pを規定する。

本実施例では、図５(a)に示すように、注目する直線式L_p及び隣接する直線式L_p+1で表される直線のそれぞれについて、観察画像の中心Cを通る、y軸と平行な直線（直線式L_y）との交点を求める。そして、これらの交点間の距離を両直線の離間距離d_pとする。なお、図５(b)に示すように、注目する直線式L_p及び隣接する直線式L_p+1で表される直線のそれぞれについて、観察画像の中心Cを通る、x軸と平行な直線（直線式L_x）との交点を求め、これらの交点間の距離を両直線の離間距離d_pとすることもできる。さらに、図５(c)に示すように、注目する直線L_p及び隣接する直線L_p+1で表される直線のそれぞれについて、観察画像の中心Cを通る直線（直線式L_pの法線L’）との交点を求め、これらの交点間の距離を両直線の離間距離d_pとすることもできる。

次に、k-1本の直線のそれぞれについて求めた直線の離間距離d_pについて、所定の階級幅でヒストグラムを作成する（ステップＳ９）。本実施例のマイクロ流体デバイス１００に形成されている分岐流路１０３a〜１０３eの流路幅と流路間隔はいずれも一定である。従って、作成されたヒストグラムでは、その流路幅に相当する離間距離d_pが最も多くなり、次いで流路間隔に相当する離間距離d_pが多くなるはずである。そこで、k-1本の直線のそれぞれについて、当該直線に関する離間距離d_pが最大階級に含まれているか否かを判定する。

本実施例のマイクロ流体デバイス１００には5本の分岐流路１０３a〜１０３eが平行に形成されている。従って、理想的には図６(a)に示すように、流路間の距離に対応する位置に4つのデータが、流路幅に対応する位置に5つのデータが存在し、それ以外の位置にはデータが存在しない。もし、このようなヒストグラムが得られた場合には、5本の直線について求めた離間距離d_pが最大階級に含まれていると判断されることになる。最大階級に含まれていると判断されたものについて、それに対応する直線L_pと、その直線に隣接する直線L_p+1の組を抽出することにより、流路の境界を構成する画素群（流路境界画素群）を選択することができる。

しかし、実際には、上述の各処理を経てもなお、流路の境界を構成する直線以外の直線（対象菌由来のものやノイズ由来の直線）が含まれている場合があり得る。その場合、例えば図６(b)や図６(c)に示すようなヒストグラムとなる。そうした場合でも、流路の境界を構成する直線が流路幅や流路間距離に応じた一定の間隔で位置するのに対し、それ以外の直線はランダムに位置する。そのため、ヒストグラムにおける最大階級を選択すると、流路幅（図６(b)）あるいは流路間距離（図６(c)）のいずれかが選択されることになる。従って、それに対応する直線L_pと、その直線に隣接する直線L_p+1の組を抽出することにより（ステップＳ１０）、流路の境界を構成する画素群（流路境界画素群）を選択することができる（ステップＳ１１）。

上記の処理によって流路境界画素群を選択すると、図７(a)または図７(b)に示すように観察画像における流路の境界の位置が分かる。図７(a)に示す状態（図６(a)あるいは図６(b)のヒストグラムから得られる状態）では、画像の端部から2本を1組としてその間に挟まれた領域（ハッチングを付した部分）を流路とすればよい。一方、図７(b)に示す状態（図６(c)のヒストグラムから得られる状態）では、画像の端部から2本を1組としてその間に挟まれた領域（ハッチングを付した部分）は流路ではない。

そこで、観察画像における流路の位置を決めた後、その端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較する。上述のとおり、図１では流路を分かりやすく示すために流路幅を狭く示しているが、実際に用いられるマイクロ流体デバイスでは、流路幅の方が流路間隔よりも広い。そこで、上記比較の結果、より広いと判定された方を流路とする。後者（端部から2本目の直線から順に2本を1組として選択した場合）の流路幅の方が広いと判定された場合、直線状に位置する流路境界画素群が画像の両端に1本ずつ残った状態となる。両端に残された直線のそれぞれの外側に、他の流路と同じ幅の流路を追加可能であるか（つまり、当該直線の外側に流路幅に相当する空間が残っているか）を判定し、可能である場合には流路の境界に相当する直線（図７(c)に一点鎖線で表示）を追加する。これにより流路が追加される。

上記の処理によって観察画像における流路の位置が確定すると、流路画像抽出部２４は、観察画像から確定した各流路１０３a〜１０３eの画像を抽出する（ステップＳ１２）。そして、それらの画像データを記憶部１１に保存し、それらの画像を表示部４０に表示する。このとき、確定された流路の位置の画像をそのまま抽出してもよいが、流路の境界のコントラストが流路の画像に影響し、そのコントラストが対象菌と誤認されるのを防止するために、確定した流路の位置よりも所定数の画素分だけ内側の領域を流路の画像として抽出するようにしてもよい。あるいは、各流路の画像を個別に抽出するのではなく、観察画像の流路以外の部分に黒や白のマスク処理を施した画像を作成したり、観察画像の流路部分を強調表示した画像を作成したりしてもよい。

上記実施例は一例であって、本発明の趣旨に沿って適宜に変更することができる。
上記実施例では対象菌の抗菌薬に対する感受性の検査を行う場合を説明したが、他の目的の検査等においても上記同様のマイクロ流体デバイス観察装置を用いることができる。

上記実施例ではマイクロ流体デバイス１００に5本の直線状の分岐流路１０３a〜１０３eが形成されている場合を例に説明したが、流路の数は検査に使用する抗菌液の数（濃度の種類）に応じて適宜に変更可能である。また、流路の形状は直線状に限定されず、曲線状であってもよい。曲線状は、例えば円弧状（楕円弧を含む）やＳ字状（蛇行形状）とすることができる。流路形状が曲線状であっても、本明細書で説明しているハフ変換を適用可能である。特に、流路形状が円弧や楕円弧である場合には、上記実施例のハフ変換に代えて円や楕円を表す数式により特徴画素群の形状を求め、上記実施例における直線の平行度に代えて曲線の平行度を用いればよい。例えば、ある曲線に対して、その曲線上の各点から法線方向へ一定の距離にある曲線として定義される平行曲線の考え方を用いることができる。

上記実施例では撮像部として位相差顕微鏡を用いたが、撮像部はマイクロ流体デバイスに形成された流路の境界にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。例えば、光学顕微鏡、光学カメラ、微分干渉顕微鏡を用いることができる。

上記実施例では、観察画像における流路の位置を決めた後に、画像の端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較することにより流路を決定したが、観察画像における流路の位置を特定した画像を表示部４０に表示し、入力部３０を通じた操作によっていずれが流路であるかを検査者に選択させるようにしてもよい。あるいは、上記の比較を行うことなく流路を決定して流路画像抽出部２４に該流路の画像を抽出させたものを表示部４０に表示し、検査者がこれを確認して流路でないと判断した場合に、反転操作（先に流路を構成する境界として使用した直線の組と異なる2本の直線に挟まれた領域を流路とし、流路画像抽出部２４にその画像を抽出させる操作）を指示するように構成することもできる。

１…マイクロ流体デバイス観察装置
２…分注部
３…インキュベータ
４…位相差顕微鏡
１０…制御・処理部
１１…記憶部
２０…マイクロ流体デバイス観察用プログラム
２１…抽出画像選択部
２２…特徴画素群検出部
２３…流路境界画素群選択部
２４…流路画像抽出部
３０…入力部
４０…表示部
１００…マイクロ流体デバイス
１０１…導入口
１０２a〜１０２e…空気口
１０３…菌液導入流路
１０３a〜１０３e…分岐流路
１０４…観察領域

対象菌の状態の確認を行う際には、検査者がマイクロ流体デバイス１００を顕微鏡の所定位置にセットし、該顕微鏡の視野に捉えた領域（観察領域）１０４の画像を取得する。検査者はさらに、その画像から各分岐流路１０３a〜１０３eにあたる部分を特定する。そして、各分岐流路１０３a〜１０３eの内部に存在する菌の数や状態を確認する。

上記課題を解決するために成された本発明は、少なくとも一部の領域において同一の幅を有する複数の流路が平行に配設されたマイクロ流体デバイスを観察するマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの少なくとも前記一部の領域の画像を取得する撮像部と、
取得された前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ特徴画素群として検出する特徴画素群検出部と、
複数の前記特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
前記画像における前記流路境界画素群の位置に基づき前記複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
を備えることを特徴とする。

本発明に係るマイクロ流体デバイス観察装置では、まず、同一の幅を有する複数の流路が平行に配設されている領域（前記少なくとも一部の領域）が視野に捉えられるようにマイクロ流体デバイスを撮像部の所定の位置にセットし、該領域の画像を取得する。そして、前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する。これは、例えば、流路の境界及び被検物のいずれもが存在しない位置の画素について想定される輝度値（バックグラウンド輝度値）を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定することにより行うことができる。あるいは、全画素の輝度の平均値や、画像の四隅のように流路の境界と被検物のいずれもが存在しないと考えられる位置の画素の輝度値を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定するようにしてもよい。また、輝度値そのものを用いるのではなく、微分フィルタを用いて画像データからエッジ強度（輝度の変化量）を求め、その値を予め決められた値と比較した結果に基づいて抽出画素を選択するようにしてもよい。このような微分フィルタを用いることにより、バックグラウンドを除去して流路の境界等の構造に対応する抽出画素を選択しやすくすることができる。なお、輝度が高い画素を選択するか、輝度が低い画素を選択するかは、使用する撮像部の特性（流路の境界が明暗のいずれとなって現れるか）に応じて決めればよい。

画像データが記憶部１１に保存されると、抽出画素選択部２１は、微分フィルタを用いて画像内のエッジ強度（輝度の変化量）を算出する（ステップＳ２）。位相差顕微鏡４により得られた画像をそのまま用いて後述する処理を行っても良いが、微分フィルタを用いて前処理を施すことにより、画像内のエッジ強度を用いてより高い精度で後述の処理を進めることができる。微分フィルタとしては、sobelフィルタ、prewittフィルタ、cannyフィルタといった一次微分フィルタのほか、laplacianフィルタなどの二次微分フィルタを用いることができる。また、微分フィルタを用いる代わりに、モーフォロジー（morphology）演算など、画像データに含まれる輝度変化を検出する種々の方法を用いることができる。

抽出画素選択部２１は、微分フィルタを用いてエッジ強度を抽出した画像データについて、そのエッジ強度の値が所定値以上である画素を抽出画素として選択し（ステップＳ３）、選択した画素に１、非選択の画素に０の値を付して画像データを二値化する（ステップＳ４。図４参照）。ここでは、０と１という値により二値化したが、他の値や符号などにより二値化してもよい。また、ここでは、画素内での位置を問わず、同一の値を基準として抽出画素を選択するが、各画素の輝度値の大きさに応じた所定値を用いる（例えば、対象画素の輝度値に対して所定割合以上のエッジ強度の値である画素を抽出画素とする）こともできる。これにより、撮像時の環境によって画像内に明るい（輝度値が大きい）部分と暗い（輝度値が小さい）部分が存在している場合でも適切に抽出画素を選択することができる。また、画像全体のうち、注目画素を中心とする所定の範囲（例えば9画素×9画素の範囲）における輝度値の分散に応じて異なる値を用いるようにしてもよい。なお、菌の大きさは流路の幅や長さに比べると微小であるが、図４では対象菌の存在を分かりやすく示すために実際よりも大きく示している。

１…マイクロ流体デバイス観察装置
２…分注部
３…インキュベータ
４…位相差顕微鏡
１０…制御・処理部
１１…記憶部
２０…マイクロ流体デバイス観察用プログラム
２１…抽出画素選択部
２２…特徴画素群検出部
２３…流路境界画素群選択部
２４…流路画像抽出部
３０…入力部
４０…表示部
１００…マイクロ流体デバイス
１０１…導入口
１０２a〜１０２e…空気口
１０３…菌液導入流路
１０３a〜１０３e…分岐流路
１０４…観察領域

Claims (6)

1. 少なくとも一部の領域において同一の幅を有する複数の流路が平行に配設されたマイクロ流体デバイスを観察するマイクロ流体デバイス観察装置であって、
   前記マイクロ流体デバイスの前記少なくとも一部の領域の画像を取得する撮像部と、
   取得された前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
   それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ特徴画素群として検出する特徴画素群検出部と、
   前記複数の特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
   前記画像における前記流路境界画素群の位置に基づき前記複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
   を備えることを特徴とするマイクロ流体デバイス観察装置。
2. 前記抽出画素選択部が、微分フィルタを用いて前記画像のエッジ強度を求めることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
3. 前記流路が直線状に形成されており、
   前記特徴画素群検出部が、前記抽出画素群のそれぞれについて、当該抽出画素群を構成する画素の位置に対応する近似直線を求め、該近似直線の傾きと他の近似曲線の傾きの差が予め決められた大きさ以下であるものを特徴画素群として検出することを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
4. 前記特徴画素群検出部が、ハフ変換により前記近似直線を求めることを特徴とする請求項３に記載のマイクロ流体デバイス観察装置。
5. 前記流路境界画素群選択部が、隣接する2つの前記特徴画素群の離間距離が等しいものを前記流路境界画素群として選択することを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
6. 前記流路境界画素群選択部が、前記離間距離に関するヒストグラムを作成し、その最大階級に属するものを前記流路境界画素群として選択することを特徴とする請求項５に記載のマイクロ流体デバイス観察装置。

Images