JP7478248B2 - レンズレス顕微撮像システムとその方法、及び生化学物質検出システムとその方法 - Google Patents

Description

本発明は、生化学物質検出分野に関し、特に、生化学物質検出におけるレンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法に関する。

現在、複雑な高分子試料の多数の測定は、一般的に２つのステップから構成されている。第１ステップにおいて、標的高分子を特異的に捕捉可能な試薬を固相の表面に付着させる。これらの固定の分子は、ハイブリダイゼーション（例えば、ＤＮＡ、ＲＮＡによる測定中）や抗原－抗体相互作用（免疫測定中）のような様々な方法によって、複雑な試料から、標的高分子を捕捉するために使用され得る。第２ステップでは、検出分子は、捕捉分子と標的との複合体と共にインキュベートされ、複合体に結合され、それによって、蛍光または他の電磁信号のような信号を放出する。その後、信号の強度により標的の量を定量する。

多重測定は、複数の捕捉剤を用いて行うことができ、捕捉剤毎に異なる標的高分子に特異的である。チップによるアレイ多重測定において、チップ上の所定の位置に各タイプの捕捉剤を付着させる。１種類の捕捉剤に対応した各位置で検出分子の信号を計測することで、複雑な試料中の多重標的の量を測定する。浮遊アレイ多重測定において、ビーズ／磁気ビーズは、測定溶液中に浮遊しており、これらのビーズ／磁気ビーズは、ビーズ／磁気ビーズの１つ又は複数の素子によって埋め込み、印刷又は他の態様による認識素子を含む。各タイプの捕捉剤は、同一のＩＤを有する粒子に固定され、特定のＩＤを有する粒子の表面から検出分子が発する信号は、対応する標的の量を反映している。顕微鏡と画像認識アルゴリズムにより、様々なビーズ／磁気ビーズを識別し、捕捉剤が検出した分子信号とＩＤを関連づけて多重測定が実現できる。

ビーズ／磁気ビーズのサイズが小さいほど、１回の検出において得られるＩＤの数が多くなり、同時に検出に必要な顕微鏡倍率も大きくなる。このため、撮像システムには大視野、高解像度の撮像を実現することが求められる。従来の光学顕微鏡はその光学設計原理の制約から、一般的に空間帯域積は常に百万画素分に制限されており、高解像と大視野との両立はできなかった。

いずれにしても、一般的な顕微鏡では、ビーズ／磁気ビーズの鮮明な撮像と、対応する信号（例えば蛍光信号）の撮像は可能であるが、顕微鏡の視野の制限を受けて、一度に全部の顕微鏡撮像視野中のビーズ/磁気ビーズを見ることができず、すべての種類のマイクロチップビーズ/磁気ビーズをトラバースし、あるいは同じ種類のビーズ/磁気ビーズが十分な数量を確保するためには、繰り返し視野を移動しなければならない。しかも、伝統的な光学顕微鏡は、必ずレンズの焦点合わせの過程があり、時間と手間がかかるだけでなく、焦点面を見つけるのも容易ではない。従来の光学顕微鏡は、光学レンズ系と移動視野のためのスライドテーブルを有するため、コストが高く、体積が大きい。

そこで、従来技術が有する課題の少なくとも１つを解決するために、レンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法を提供することを目的とする。

第１態様において、本発明は、レンズレス顕微撮像システムを提供し、前記レンズレス顕微撮像システムは、図形コード付きビーズを撮像するレンズレス顕微撮像システムであり、前記レンズレス顕微撮像システムは、照明光源および励起光源を含む照明システムと、イメージセンサを含む撮像システムとを備え、前記照明光源は、照明光を発して前記ビーズを照射して前記ビーズを前記イメージセンサ上に撮像させ、前記励起光源は、励起光を発して前記ビーズを励起させて前記ビーズに特定の信号を発し、前記イメージセンサは、前記ビーズ及び前記特定の信号の映像を収集して画像を生成し、前記撮像システム内にレンズ系が設置されていない。

さらに、前記照明光源は、前記ビーズを照射し、前記ビーズの投影を前記イメージセンサ上に投影して撮像させる。

さらに、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉される。

さらに、前記照明光源は、単色光源、又は単色レーザ光源、又は単色ＬＥＤ光源である。

さらに、前記照明光源から前記ビーズまでの光路にピンホールが設けられている。

さらに、前記照明光源は、第１方位から第２方位に向かって前記照明光を放射して前記ビーズを照射し、前記励起光源は、前記第１方位から前記第２方位に向かって前記励起光を照射する。

さらに、前記照明システムは、前記励起光源から発せられた前記励起光を前記ビーズに反射するための全反射面を含む全反射装置をさらに含む。

さらに、前記全反射面は、前記第２方位に設けられ、前記第２方位から前記第１方位に向かって前記励起光を反射する。

さらに、前記照明光源は、第１方位から第２方位に向かって前記照明光を出射して前記ビーズを照射し、前記励起光源は、前記第２方位から前記第１方位に向かって前記励起光を出射する。

さらに、フィルタ装置をさらに備え、前記フィルタ装置段は、前記イメージセンサの前に配置されるか、または前記フィルタ装置は、前記イメージセンサの上に配置される。

第２態様において、本発明は、レンズレス顕微撮像方法を提供し、前記レンズレス顕微撮影方法は、特定の生化学物質を捕捉するための図形コード付きビーズを撮影し、前記方法は、照明光源とイメージセンサとの間に前記ビーズを受けることにより、前記ビーズを前記照明光源から発せられる照明光により照射させて前記イメージセンサに撮像させることと、前記照明光源を起動することにより前記照明光源に前記照明光を発光させことと、励起光源を起動して励起光を発して前記ビーズに照射させることにより、前記ビーズが捕捉した前記特定の生化学物質を励起して特定の信号を発し、または、捕捉過程において生じた生化学物質を励起して特定の信号を発することと、前記イメージセンサにより前記ビーズの映像および前記特定信号の映像を同時に収集して、少なくとも２つのチャンネルの画像を生成することと、を含む。

さらに、前記レンズレス顕微撮像方法において、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサ上に前記ビーズの投影を投射させる。

さらに、前記レンズレス顕微撮像方法において、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉される。

第３態様において、本発明は、生化学物質検出装置を提供し、前記生化学物質検出装置は、請求項１から１０のいずれか１項に記載のレンズレス顕微撮像システムと、前記イメージセンサが出力する画像を受信し、前記画像中のビーズとビーズごとの識別番号と、毎種類のビーズが捕捉される特定の生化学物質の量とを識別するための識別及び検出装置とを備え、同一の識別番号を有する全ての磁気ビーズが同一のクラスに分類される。

さらに、前記識別及び検出装置は、識別及び検出システムを含み、前記識別及び検出システムは、ビーズ識別モジュールおよび生化学物質検出モジュールを含み、前記ビーズ識別モジュールは、前記画像中のビーズと、ビーズごとの識別番号と、ビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号とを識別し、前記生化学物質検出モジュールは、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出し、前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出する。

さらに、前記識別および検知システムは、前記イメージセンサが出力する前記画像を再構成し、再構成された画像を前記ビーズ識別モジュールが識別するために前記ビーズ識別モジュールに出力する画像再構成モジュールをさらに備える。

さらに、前記画像再構成モジュールはデジタルホログラフィ再構成技術を用いて前記画像を再構成する。

さらに、前記識別および検知システムは、識別モジュールの毎回の識別結果を自動学習して各種の特徴量を抽出し、生化学物質検出システムがその後に検出使用を実行するための機械学習モジュールをさらに備える。

第４態様において、本発明は、生化学物質検出方法を提供し、前記生化学物質検出方法は、上記記載のレンズレス顕微撮像方法を実行して画像を出力することと、前記画像を受信し、前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出し、同じ識別番号を有する全てのビーズを同じクラスに分類されることと、を含む。

さらに、前記生化学物質検出方法において、「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことは、さらに、前記画像中のビーズを識別すること、ビーズごとの図形コードを識別すること、及びビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号を識別すること、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出すること、及び前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出すること、をさらに含む。

さらに、前記生化学物質検出方法において、「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことの前に、前記イメージセンサが出力する画像を再構成するか、又は、デジタルホログラフィ再構成技術を用いて前記イメージセンサが出力する画像を再構成する、ことを更に含む。

さらに、前記生化学物質検出方法において、前記識別及び検出で得られた各種類の識別結果、検出結果を自動学習して各種特徴値を抽出する。

本発明実施形態は、従来の光学顕微鏡に代わって図形コード付きビーズを検出し、従来の光学顕微鏡を用いる際に必要であったレンズ合焦過程と視野を繰り返しシフトする過程を回避し、より撮像速度が速く、画像処理による最適化された撮像結果のみを実現し、超高解像性を達成するレンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法を提供する。光学レンズ系を省いたため、レンズレス顕微撮像システムは、全体としてよりコンパクトでコストがより低く、視野がより広く、スライドテーブル等の部品による視野移動を必要とせずに、反応容器内のあらゆるパターンコーディングビーズを行える。

本発明の実施形態をより明確に説明するため、以下、実施形態で用いるべき図面を簡単に紹介するため、以下の説明における図面は本発明のいくつかの実施形態のみであり、当業者であれば、創造的な労働を伴わずに、これらの図面から他の図面を取得することができることは明らかである。

図１は、本発明の実施例１に係る生化学物質検出システムの構成概略図である。 図２は、本発明の実施例２に係る生化学物質検出システムの構成概略図である。 図３は、本発明の実施例３に係る生化学物質検出システムの構成概略図である。 図４は、本発明の実施例４に係る生化学物質検出システムの識別及び検出装置を示す模式図である。 図５は、本発明の実施例６に係る生化学物質検出システムの識別及び検出装置を示す模式図である。 図６は、本発明の実施例７に係る生化学物質検出方法のフローチャートである。

以下の具体的な実施形態について、上述の図面に基づいて本発明をさらに説明する。

以下、本発明の実施形態の図面に関連して、本発明の実施例に係る発明を明確に、完全に説明する。明らかに、説明された実施形態は本発明の一部の実施形態にすぎず、すべての実施形態ではない。

本発明における実施例に基づいて、当業者が創造的な労働を行うことなく取得した他のすべての実施例は、本発明の保護を求めようとしている。

なお、一方の構成要素は、他方の構成要素に「配置される」と考えられ、他方の構成要素に直接配置されてもよいし、センタリングユニットが混在してもよい。ここで用いられる用語「および／または」は、一つまたは複数の関連する列挙された項目のすべてと任意の組み合わせを含む。

従来、磁気ビーズのようなビーズの中には、ビーズ内部に不透明物質や蛍光物質を標識し、ビーズの周囲に深さ、形状、及び／又は間隔の異なる図形コードを刻設し、全部又は一部の図形コードが組み合わされてビーズの識別番号を形成しており、顕微撮像後にビーズに刻設された図形コードとその組み合わせを認識することで、ビーズの識別番号が得られるが、蛍光物質を励起して発光させ、蛍光強度を検出することで、特定の生化学物質の量が得られる。
実施例１

図１を参照して、本発明の第１実施形態に係る生化学物質検出システムの模式図である。前記生化学物質検出システム１は、図形コード付きビーズを検出し、図形コード付きビーズが捕捉された特定の生化学物質の量を取得し、前記生化学物質検出システムは、レンズレス顕微撮像システム１１と、認識及び検出装置１３とを含む。前記レンズレス顕微撮像システム１１は、ビーズとビーズから送信された信号の映像を同時に得るためにビーズを顕微撮像するためのものであり、前記識別及び検出装置１３は、前記映像から前記ビーズ及び前記ビーズの識別番号、及び前記映像から毎種類のビーズが捕捉された特定の生化学物質の量を検出するために用いられる。前記レンズレス顕微撮像システム１１は、照明光源１１１および励起光源１１２を含む照明システム１１ａと、イメージセンサ１１３を含む撮像システム１１ｂとを有する。前記照明光源１１１は、照明光を発光してビーズ１５を照射し、イメージセンサ１１３に投影させて撮像させるためのものである。励起光源１１２は、励起光を発光してビーズ１５を照射し、励起したビーズ１５で捕捉された特定の生化学物質放出信号をイメージセンサ１１３に投射して撮像するために用いられる。励起光の一部がイメージセンサ１１３に漏れることを防止するために、本実施形態では、前記イメージセンサ１１３の前に励起光波長に合わせたフィルタ装置１１４をさらに設け、前記フィルタ装置１１４はフィルタ又はフィルタ片であってもよい。前記撮像システム１１ｂにはレンズ系が設けられておらず、すなわち、前記イメージセンサ１１３とビーズ１５との間にはレンズ系が設けられていない。

本実施形態では、ビーズ１５は、透明な材質の図形コード付きビーズである。ビーズ１５は、蛍光反応容器１６内に配置され、通常、多重測定を実現するために、蛍光反応容器１６内には複数種類のビーズ１５が配置され、毎種類のビーズ１５は同一の図形コード配列順序を有するので、毎種類のビーズ１５は同一の識別番号を有し、異なる種類のビーズ１５は異なる識別番号を有する。毎種類のビーズ１５は特定の生化学物質を捕捉し、異なる種類のビーズ１５は異なる生化学物質を捕捉する。

一種類のビーズ１５が特定の生化学物質を捕捉した後に、ビーズ１５が捕捉した特定の生化学物質が励起光源１１２から発せられる励起光によって励起されて蛍光信号を発生させる。毎種類のビーズ１５が発する蛍光信号の強度を検出することにより、その種類のビーズ１５が捕捉される特定の生化学物質の量を得ることができる。

本実施形態では、ビーズ１５を境に第１方位と第２方位が区分されており、照明光源１１１と励起光源１１２はいずれもビーズ１５の第１方位に設けられ、フィルタ装置１１４とイメージセンサ１１３はビーズ１５の第２方位に設けられている。照明光源１１１は、空間的コヒーレンスが有限（即ち、低空間的コヒーレンス）な点光源又は光源アレイである。このような前記レンズレス顕微撮像システム１１を用いて実施される撮像方法は、以下のとおりである。照明光源１１１を起動して第１方位から第２方向に向かってビーズ１５を照射し、ビーズ１５の投影をイメージセンサ１１３に投射するとともに、励起光源１１２を起動して第１方位から第２方向に向かって励起光を出射してビーズ１５を照射し、ビーズ１５を蛍光信号を発してイメージセンサ１１３に投射し、イメージセンサ１１３は、ビーズ１５の投影及び蛍光信号を収集し、ビーズ１５の映像と蛍光信号の映像とを含む画像を生成する。前記画像は前記認識及び検出装置１３に出力され、前記認識及び検出装置１３は、前記画像を識別して毎種類のビーズ１５の識別番号を取得し、毎種類のビーズ１５が捕捉された特定の生化学物質の量を検出する。具体的には、前記識別及び検出装置１３は、コンピュータ装置であり、プロセッサ１３１と、メモリ１３２と、メモリ１３２に記憶され、プロセッサ１３１上で実行可能な、識別及び検出システム１３４のようなコンピュータプログラムとを含み、前記識別および検出システム１３４は、実行される機能に応じて、ビーズ識別モジュール１３５および生化学物質検出モジュール１３６のような複数の機能モジュールに分割される。なお、前記ビーズ識別モジュール１３５は、前記画像中のビーズおよびビーズの識別番号を識別するものである。具体的には、前記ビーズ識別モジュール１３５は、予めモデリング又は予め設定された特徴量に基づいてビーズを識別し、さらに予めモデリング又は予め設定された特徴量に基づいてビーズの図形コードを識別し、最後にビーズの図形コードの配列の組み合わせに基づいてビーズの識別番号を識別する。前記生化学物質検出部１３６は、前記画像中の毎種類のビーズに対応する信号の強度を検出し、前記信号の強度に基づいて毎種類のビーズに捕捉された特定の生化学物質の量を検出する。

本実施形態における生化学物質検出システム１およびその検出方法は、大きさが５００μｍ一１ｍｍで図形コードの特徴点距離が５０μｍ以上の図形コード付きビーズを検出するのに適している。仮に、照明光源１１１からビーズ１５までの距離をｚ１、ビーズ１５からイメージセンサ１１３までの距離をｚ２とし、ビーズ１５の情報を運ぶライトフィールド伝播距離ｚ２をイメージセンサ１１３で捉えたとすると、現在の半導体プロセスにおいて、イメージセンサ１１３の画素サイズは一般的に比較的大きい（現在最小の画素サイズは概ね０．８μｍである）ため、本実施形態では、イメージセンサ１１３は、投影型撮像（ビーズ投影による撮像、投影型撮像、以下同様）を収集する際に画素化があり、また直接取得されたのは、ビーズ１５のぼけ情報であり、認識及び検出装置１３は、収集されたアンダサンプリング画像からビーズ１５のフォーカス情報を再構成することなく、ビーズ１５の識別番号をビーズ１５の投影情報のみに依存して解析することができる。
実施例２

図２を参照して、本発明の第２実施形態に係る生化学物質検出システムの模式図である。前記生化学物質検出システム２は、図形コード付きビーズを検出し、図形コード付きビーズが捕捉された特定の生化学物質の量を取得し、前記生化学物質検出システム２は、レンズレス顕微撮像システム２１と、認識及び検出装置２３とを含む。前記レンズレス顕微撮像システム２１は、ビーズとビーズから送信された信号の映像を同時に得るためにビーズを顕微撮像するためのものであり、前記識別及び検出装置２３は、前記映像からビーズ及びビーズの識別番号、及び毎種類のビーズが捕捉された特定の生化学物質の量を検出するために用いられる。前記レンズレス顕微撮像システム２１は、照明光源２１１および励起光源２１２を含む照明システム２１ａと、イメージセンサ２１３及びイメージセンサ２１３の前に設けられたフィルタ装置２１４を含む撮像システム２１ｂとを有する。前記照明光源２１１は、空間コヒーレンスの限られたスポット光源又は光源アレイが用いられており、照明光を発光してビーズ２５を照射し、イメージセンサ２１３に投影させて撮像させるためのものである。本実施形態では、ビーズ２５は不透明材質を採用しており、あるいは、前記ビーズ２５が透過可能な光波長がイメージセンサ２１３の検知範囲内にない。ビーズ２５を境に第１方位と第２方位とが区分され、照明光源２１１が第１方位に設けられ、励起光源２１２、イメージセンサ２１３及びフィルタ装置２１４が第２方位に設けられ、照明光源２１１から出射された照明光は、第１方位から第２方位に向けてビーズ２５を照射し、ビーズ２５の投影をイメージセンサ２１３上に投射させる。同時に励起光源２１２が第２方位から第１方位に向けてビーズ２５を照射し、ビーズ２５を励起して蛍光信号を発生させてイメージセンサ２１３に投射する。

前記撮像システム２１ｂにはレンズ系が設けられておらず、すなわち、イメージセンサ２１３とビーズ２５との間にはレンズ系が設けられておらず、イメージセンサ２１３は、ビーズ２５の投影及び蛍光信号を直接収集し、ビーズ２５の映像と蛍光信号の映像を含む画像を生成する。

前記画像は認識及び検出装置２３に出力され、前記認識及び検出装置２３は、前記画像を識別して毎種類のビーズ２５の識別番号を取得し、毎種類のビーズ２５が捕捉された特定の生化学物質の量を検出する。

認識及び検出手段２３の設定は実施例１を参照することができるためここでは説明を割愛する。本実施形態における生化学物質検出システム２およびその検出方法は、同様に大きさが５００μｍ一１ｍｍで図形コードの特徴点距離が５０μｍ以上の図形コード付きビーズを検出するのに適している。
実施例３

図３を参照して、本発明の第３実施形態に係る生化学物質検出システムの模式図である。前記生化学物質検出システム３は、図形コード付きビーズを検出することで、図形コード付きビーズが捕捉された特定の生化学物質の量を取得し、前記生化学物質検出システム３は、レンズレス顕微撮像システム３１と、認識及び検出装置３３とを含む。前記レンズレス顕微撮像システム３１は、ビーズの識別番号とビーズから送信された信号の映像を同時に得るためにビーズを顕微撮像するためのものであり、前記識別及び検出装置３３は、前記映像からビーズ及びビーズの識別番号、及び毎種類のビーズが捕捉された特定の生化学物質の量を検出するために用いられる。前記レンズレス顕微撮像システム３１は、照明光源３１１と励起光源３１２と全反射装置３１７とを含む照明システム３１ａと、イメージセンサ３１３及びフィルタ装置３１４を含む撮像システム２１ｂとを有する。前記照明光源３１１は、空間コヒーレンスの限られたスポット光源又は光源アレイが用いられる。本実施形態では、ビーズ３５は不透明な材質の図形コード付きビーズであり、あるいは、ビーズ２５が投射可能な光波長がイメージセンサ２１３の検知範囲内にない。ビーズ３５を境に第１方位と第２方位とが区分され、照明光源３１１と励起光源３１２は第１方位に設けられ、イメージセンサ３１３、フィルタ装置３１４及び全反射装置３１７は、第２方位に設けられる。

前記フィルタ装置３１４はイメージセンサ３１３の前方に、全反射装置３１７はフィルタ装置３１４の前方に設けられている。照明光源３１１は、第１方位から第２方位に向けて照明光を発してビーズ３５を照射し、ビーズ３５をイメージセンサ３１３に投影させる。

励起光源３１２は、第１方位から第２方位に向けて励起光を発してビーズ３５を照射し、ビーズ３５に蛍光信号をイメージセンサ３１３に発させる。ビーズ３５の後方には、全反射面３１７１を有する全反射装置３１７が設けられている。本実施形態では、前記全反射面３１７１が励起光波長に対して反射して照明光を透過し、ビーズ３５がイメージセンサ３１３に臨む側に励起光を照射し、当該側の捕捉剤に蛍光信号を生じさせる。ビーズ３５から発せられた蛍光信号は、イメージセンサ３１３に投射され、イメージセンサ３１３に撮像される。

前記イメージセンサ３１３は、ビーズ３５の映像と蛍光信号の映像を含む画像を生成する。

前記画像は認識及び検出装置３３に出力され、前記認識及び検出装置３３は、前記画像を識別して毎種類のビーズ３５の識別番号を取得し、毎種類のビーズ３５が捕捉された特定の生化学物質の量を検出する。

認識及び検出手段３３の設定は実施例１を参照することができるためここでは説明を割愛する。他の実施形態では、全反射装置３１７の全ての部位がビーズ３５の後方に位置している必要はなく、その少なくとも一部の全反射表面３１７１がビーズ３５の後方に位置しているだけでよいことが理解される。

ビーズ３５からイメージセンサ３１３までの距離ｚ２は撮像品位の重要な要素であり、本実施形態は第２実施形態に比べて、励起光源３２を第１方位に設置することで、ビーズ３５からイメージセンサ３３までの距離ｚ２を減らすことができ、ビーズ３５の投影及び蛍光信号の撮像をより明瞭にできる。

本実施形態における生化学物質検出システム３およびその検出方法は、同様に大きさが５００μｍ一１ｍｍで図形コードの特徴点距離が５０μｍ以上の図形コード付きビーズを検出するのに適している。
実施例４

本実施形態では、レンズレス顕微撮像システムは、空間的コヒーレンスと時間的コヒーレンスが良い（すなわち高い空間的コヒーレンスと高い時間的コヒーレンス）照明光源を用いてビーズを照射し、イメージセンサ上に干渉縞を形成し、イメージセンサは、前記干渉縞及び励起光源励起下で発生した蛍光信号を収集し、画像を生成して識別及び検出装置に伝送する。図４に示すように、前記識別及び検出装置４３は、プロセッサ４３１と、メモリ４３２と、メモリ４３２に記憶され、識別及び検出システム４３４のように、プロセッサ４３１上で実行可能なコンピュータプログラムとを含む。本実施形態では、前記識別及び検出システム４３４は、ビーズ識別モジュール４３５と、生化学物質検出モジュール４３６と、画像再構成モジュール４３７と、を含む。これらのうち、前記画像再構成モジュール４３７は、イメージセンサが出力する画像を画像再構成して、再構成後のより高解像度の画像を得るためのものであり、前記ビーズ識別モジュール４３５は、前記再構成された画像におけるビーズおよびビーズの識別番号を認識するためのものである。前記生化学物質検出モジュール４３６は、前記再構成後の画像における毎種類のビーズに対応する信号の強度を検出し、前記信号の強度から毎種類のビーズに捕捉された特定の生化学物質の量を検出する。

具体的には、前記干渉縞は、画像再構成モジュール４３７によって、集積平面におけるビーズの強度情報と位相情報を計算し、ビーズの識別番号を取得する。

前記集積平面とは、ビーズの鮮明な画像を取得できる平面を指し、仮想的な平面であり、従来のレンズの意味での合焦平面ではない。

ここで、イメージセンサにより収集される画像Ｕ（ｘ、ｙ）は、ビーズにより散乱された光（物光）Ｕ_０（ｘ、ｙ）と、干渉を受けることなく透明基板およびフィルタを直接に通過する参照光Ｕ_Ｒ（ｘ、ｙ）との干渉である。

画像再構成モジュール４３７は、デジタルホログラフィ再構成技術を利用して、イメージセンサで得られた画像をアルゴリズムにより再構成する。再構成ステップは、主に、（１）ビーズとセンサの間隔による回折効果を主に打ち消す位相回復又は共役像除去、を含むことができる。（２）画素超解像は、主に、イメージセンサの画素サイズによる解像度低下を克服し、レンズなしサブピクセルの解像度を実現するのに用いられる。これら２つの大きなステップは順に行ってもよいし、相量伝播方法を用いて、２つのステップを同時に行ってもよい。相量伝播方法は、レンズレス顕微鏡画像の画素超解像及び位相回復を実現し、ひいては画像再構成を実現することができる。空間的コヒーレンスの悪いＬＥＤ光源に対しては、相量伝播方法に加えて、点拡散関数のデコンボリューションを加えることで、再構成画像の空間分解能をさらに高めることができる。本実施形態において、空間コヒーレンス性及び時間コヒーレンスの良い照明光源を得るために採用可能な技術的手段としては、以下のようなものが挙げられる。
１、照明光源として単色レーザあるいは単色均一レーザを用いる。
２、照明光源として単色ＬＥＤ又は単色光源を用い、時間コヒーレンスを向上させる。
３、単色レーザ、単色ＬＥＤ、又は単色光源が発する光路上にピンホールを設け、空間コヒーレンスを向上させる。
４、照明光源の光強度を高めて光源からビーズまでの距離を向上させる。

以上の技術的手段は、必要に応じて組み合わせることができる。

採用する照明光源が異なる以外、本実施形態のレンズレス顕微撮像システムにおける照明光源の配置位置、その他の部材の配置位置、作用は、前述したいずれの実施例も参照可能であり、例えば、透明材質ビーズに対して、上記実施例１のように照明光源、励起光源、イメージセンサ、フィルタ装置を設置してもよい。不透明材質ビーズ又はビーズが透過可能な光波長がイメージセンサの検知範囲内にない場合には、前述の実施例２の態様を参考して照明光源、励起光源、イメージセンサ、フィルタ装置を設置したり、前述の実施例３の態様を参考して照明光源、励起光源、イメージセンサ、フィルタ装置、全反射装置を設置したりすることができる。

前記実施形態において空間的コヒーレンスの限られた点光源又は光源アレイを用いてビーズを照射して投影型撮像を行うよりも、本実施形態では、空間的及び時間的コヒーレンスの良い照明光源を用いてビーズを照射して干渉縞を発生させ、更にデジタルホログラフィ技術によりビーズの識別番号を得て、より解像度が高く、より正確な識別を行っている。
実施例５

本実施形態におけるレンズレス顕微撮像システムの設置は、実施例１～３を参考にすることができるが、認識及び検出装置と撮像方法が主に異なる。

本実施形態では、上述の投影型撮像方式に代えて、フーリエ積層撮像を利用し、ビーズの識別番号を識別し、本実施形態では、励起光源でビーズを励起して蛍光信号を発し、蛍光信号はイメージセンサによって収集され、最後に特定のコンピュータ装置で捕獲された特定の分子の量が識別取得される。
実施例６

上記実施形態１～４のように、ビーズの図形コードを識別し、ビーズの識別番号を識別するためには、各ステップを正確にモデリングする必要がある。上記「各ステップ」は、一般に、光学素子の載置、光源、照射のモデリング、被検出物体のモデリング、撮像プロセスのモデリングなどのステップを含む。本実施形態では、上述した実施例１～５のいずれかの生化学物質検出システムと同様に生化学物質検出を行うことができる他、実施の形態における生化学物質検出システムは、毎回の検出結果を自動学習し、異なる特徴量を抽出し、生化学物質検出システムがその後に検出使用を実行するための機械学習機能を含む。

図５に示すように、前記識別及び検出装置５３は、プロセッサ５３１と、メモリ５３２と、メモリ５３２に記憶され、プロセッサ５３１で実行可能な、識別及び検出システム５３４のように、コンピュータプログラムとを含む。本実施形態では、前記識別及び検出系５３４は、ビーズ認識モジュール５３５と、生化学物質検出モジュール５３６と、機械学習モジュール５３７と、を含む。なお、ビーズ認識モジュール５３５、生化学物質検出モジュール５３６は、それぞれ、実施例１におけるビーズ認識モジュール１３５、生化学物質検出モジュール１３６と実質的に同一であり、説明を省略する。前記機械学習モジュール５３７は、機械学習の方法を適用するものであり、監督学習方法と無監督学習方法を採用し、大量のデータセットを通じて訓練を行うことにより、ビーズおよびその図形コードにおける多数の特徴量の抽出を行うことができる。機械学習モジュール５３７を加えることで、生化学物質検出系を利用して毎回の検出結果に対して自動学習して特徴量を得ることで、それによって全体の撮像プロセスの各ステップの正確なモデリングを回避し、大視野でのビーズの認識、分割、抽出、計数、ビーズの識別番号の認識、計数などを実現する。このうち、監督学習方法は、大きく分けて、データの前処理、ニューラルネットワークの構築、ネットワークの訓練、最適解の保存などの過程を含む。
実施例７

図６を参照すれば、本発明の第７実施形態に係る生化学物質検出方法のフローチャートである。このフローチャートは、いくつかのステップの順序が変更可能であり、いくつかのステップは省略可能であり、説明の便宜上、本発明の実施例に関連する部分のみを示す。

本実施形態では、前記生化学物質検出方法は、特定の生化学物質を捕捉するための図形コード付きビーズを撮像するためのものである。前記生化学物質検出方法は、レンズレス顕微撮像方法と、識別及び検出方法とを含む。

このうち、レンズレス顕微撮像方法は、以下のステップを含む。

ステップＳ６１において、照明光源とイメージセンサとの間に前記ビーズを受けることにより、前記ビーズを前記照明光源から発せられる照明光により照射させて前記イメージセンサに撮像させることができる。

ステップＳ６２において、前記照明光源を起動することにより前記照明光源に前記照明光を発光させる。

ステップＳ６３において、励起光源を起動して励起光を発してビーズに照射させることにより、ビーズが捕捉した特定の生化学物質を励起して特定の信号を発する、または、捕捉過程において生じた生化学物質を励起して特定の信号を発する。上記捕捉過程は、一般に一連の生化学反応過程を引き起こすものであり、一段階法、サンドイッチ法、クエンチング法等に限定されるものではない。

ステップＳ６４において、前記イメージセンサにより前記ビーズの映像および前記特定の信号の映像をそれぞれ収集して、少なくとも２つのチャンネルの画像を生成する。

その中で、識別および検出方法は、以下のステップを含む。

ステップＳ６５において、前記画像を受信し、前記画像中のビーズを識別し、ビーズごとの識別番号を識別し、および毎種類のビーズが捕捉された特定の生化学物質の量を検出し、ここで、同じ識別番号を有する全ての磁気ビーズは同一種類に分類される。

ステップＳ６５については、具体的には、前記画像を受信し、一方のチャンネルが前記画像中のビーズを識別するとともにビーズごとの識別番号を識別し、他方のチャンネルで蛍光信号を得る位置と強度を検出し、蛍光信号の位置とビーズの位置とをアライメントするか、又は、２つのチャンネルの画像を全体的にアライメントし、ビーズごとの識別番号と、それに対応して捕捉された特定の信号の有無と信号の量とを検出し、同じ識別番号を有する全てのビーズを同じクラスに分類され、同一種類のビーズにおける複数のビーズに対応する信号により、その種類の微小ビーズの複数回サンプリング後の信号強度と分布を知ることができるようにしてもよい。

別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源が低空間コヒーレンスの点光源又は光源アレイであるように配置することを含む。

別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源が発する照明光は、前記ビーズを照射し、前記ビーズの投影を前記イメージセンサに投射させることを含む。

別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源を配置して、前記照明光源に高時間コヒーレンスと高空間コヒーレンスを持たせることを含む。

別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサに干渉縞を形成し、前記干渉縞は前記イメージセンサによって収集されることを含む。

別の実施態様において、前記生化学物質検出方法における識別及び検出方法は、前記画像中のビーズを識別すること、ビーズごとの図形コードを識別すること、及びビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号をを識別すること、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出すること、及び前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出することを具体的に含む。

別の実施形態において、「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことの前に、前記生化学物質検出方法における識別及び検出方法は、前記イメージセンサが出力する画像を再構成するか、又は、デジタルホログラフィ再構成技術を用いて前記イメージセンサが出力する画像を再構成する、ことを更に含む。

別の実施形態では、前記生化学物質検出方法における識別及び検出方法は、前記識別及び検出で得られた各種類の識別結果、検出結果を自動学習して各種特徴値を抽出することを更に含む。

以上の実施例１～７では、撮像の解像度をより高めるために、必要に応じて、次のような技術的手段またはその組み合わせも取ることができる。
１、フィルタ装置とイメージセンサとの距離を減少させ、例えば、フィルタ装置をイメージセンサに設置し、フィルタ装置の画素とイメージセンサの画素を一対一に対応させることができ、それによってビーズからイメージセンサまでの距離ｚ２を減少させる。
２、緊密に配列された光ファイバアレイを用いて励起光を中継する。
３、ナノ構造のマスクを測定対象物のビーズに近い位置に設置し、この時、光学系全体の点拡散関数は空間不変性を持たず、ナノ構造マスクに依存し、具体的には、点拡散関数で特定のパターンと規則を形成することができ、画像処理をより便利にし、位置合わせがより正確にすることができる。
４、位置が精密にかつ密に配列された励起点とタルボット効果を利用して解像度を向上させる。
５、画像再構成過程でデコンボリューション計算方法、例えば、Ｌｕｃｙ－Ｒｉｃｈａｒｄｓｏｎアルゴリズムを利用し、解像度を高める。

以上のように、本発明実施形態が提供するレンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法は、従来の光学顕微鏡に代わって、図形コード付きビーズを検出し、従来の光学顕微鏡を用いる際に必要であったレンズ合焦過程や視野を繰り返しシフトする過程を回避し、より撮像速度が速く、画像処理による最適化された撮像結果のみを必要として超高解像度を達成する。光学レンズ系を省いたため、レンズレス顕微撮像システムは、全体としてよりコンパクトでコストがより低く、視野がより広く、テーブルなどの部品を介して視野を移動する必要はなく、反応容器内のすべての図形コード付きビーズを巡回することができる。

最後に説明すべきは、以上の実施例は、本発明の技術案を限定するものではなく、単に本発明の技術案を説明しているに過ぎず、好ましい実施例を参照して本発明を詳細に説明しているにも拘わらず、本発明の技術案の精神と範囲を逸脱することなく、本発明の技術案を修正ないし均等置換することが可能であることが当業者に理解されるところである。

１、２、３ 生化学物質検出システム
１１、２１、３１ レンズレス顕微撮像システム
１３、２３、３３、４３、５３ 識別及び検出装置
１１２、２１２、３１２ 励起光源
１５、２５、３５ ビーズ
１６ 蛍光反応容器
１３２、４３２、５３２ メモリ
１３５、４３５、５３５ ビーズ識別モジュール
３１７ 全反射装置
４３７ 画像再構成モジュール
Ｓ６１～Ｓ６５ ステップ
１１ａ、２１ａ、３１ａ 照明システム
１１ｂ、２１ｂ、３１ｂ 撮像システム
１１１、２１１、３１１ 照明光源
１１３、２１３、３１３ イメージセンサ
１１４、２１４、３１４ フィルタ装置
１３１、４３１、５３１ プロセッサ
１３４、４３４、５３４ 識別及び検出システム
１３６、４３６、５３６ 生化学物質検出モジュール
３１７１ 全反射面
５３７ 機械学習モジュール

Claims (16)

1. 内部に不透明物質や蛍光物質が標識され、周囲に深さ、形状、及び／又は間隔の異なる図形コードが刻設されたビーズを撮像するレンズレス顕微撮像システムであって、
   少なくとも一部の前記図形コードが組み合わされて前記ビーズの識別番号を形成し、
   毎種類のビーズは同一の識別番号を有し、異なる種類のビーズは異なる生化学物質を捕捉し、
   前記レンズレス顕微撮像システムは、
   照明光源、励起光源および全反射装置を含む照明システムと、
   イメージセンサを含む撮像システムとを備え、
   前記照明光源および前記励起光源は、第１方位に設けられ、
   前記全反射装置および前記イメージセンサは、第２方位に設けられ、
   前記全反射装置は、前記イメージセンサの前方および前記ビーズの後方に設置され、
   前記照明光源は、前記第１方位から前記第２方位に向かって照明光を発して前記ビーズを照射して前記ビーズの投影を前記イメージセンサ上に投影して撮像させ、
   前記励起光源は、前記第１方位から前記第２方位に向かって励起光を発して、
   前記全反射装置は、前記イメージセンサに向けられた全反射面を含み、
   前記全反射面は、前記照明光を透過し、前記励起光源から発せられた前記励起光を、前記ビーズが前記イメージセンサに臨む側に反射することで、前記ビーズを励起させて前記ビーズに特定の信号を発し、
   前記イメージセンサは、前記ビーズ及び前記特定の信号の映像を収集して画像を生成し、
   前記画像における前記ビーズの図形コードは、前記ビーズの識別番号が得られるように識別可能であり、
   毎種類のビーズが発する特定信号の強度が検出されることにより、その毎種類のビーズが捕捉された生化学物質の量を得ることができ、
   前記撮像システム内にレンズ系が設置されていない、ことを特徴とするレンズレス顕微撮像システム。
2. 前記照明光源が発する照明光は前記ビーズを照射し、
   前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉されることを特徴とする請求項１に記載のレンズレス顕微撮像システム。
3. 前記照明光源は、単色光源、又は単色レーザ光源、又は単色ＬＥＤ光源であることを特徴とする請求項２に記載のレンズレス顕微撮像システム。
4. 前記照明光源から前記ビーズまでの光路にピンホールが設けられていることを特徴とする請求項３に記載のレンズレス顕微撮像システム。
5. フィルタ装置をさらに備え、
   前記フィルタ装置は、前記イメージセンサの前に配置されるか、または前記フィルタ装置は、前記イメージセンサの上に配置されることを特徴とする請求項１に記載のレンズレス顕微撮像システム。
6. 内部に不透明物質や蛍光物質が標識され、周囲に深さ、形状、及び／又は間隔の異なる図形コードが刻設されたビーズを撮影するレンズレス顕微撮影方法であって、
   少なくとも一部の前記図形コードが組み合わされて前記ビーズの識別番号を形成し、
   毎種類のビーズは同一の識別番号を有し、異なる種類のビーズは異なる生化学物質を捕捉し、
   前記ビーズは、特定の生化学物質を捕捉し、異なる種類のビーズは異なる生化学物質を捕捉し、
   前記レンズレス顕微撮影方法は、照明光源とイメージセンサとの間に前記ビーズを受けることにより、前記ビーズを前記照明光源から、第１方位から第２方位に向かって発せられる照明光により照射させて、前記ビーズの投影を前記イメージセンサに撮像させることと、
   前記照明光源を起動することにより前記照明光源に前記照明光を発光させことと、
   励起光源を起動して前記第１方位から前記第２方位に向かった励起光を発して、全反射装置によって前記励起光源から発せられた前記励起光を、前記ビーズが前記イメージセンサに臨む側に反射することにより、前記ビーズが捕捉した前記特定の生化学物質を励起して特定の信号を発し、または、捕捉過程において生じた生化学物質を励起して特定の信号を発することと、
   前記イメージセンサにより前記ビーズの映像および前記特定の信号の映像を同時に収集して、少なくとも２つのチャンネルの画像を生成することと、を含み、
   前記画像における前記ビーズの図形コードは、前記ビーズの識別番号が得られるように識別可能であり、
   毎種類のビーズが発する特定信号の強度が検出されることにより、その毎種類のビーズが捕捉された生化学物質の量を得ることができることを特徴とするレンズレス顕微撮像方法。
7. 前記照明光源が発する照明光は前記ビーズを照射し、
   前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉されることを特徴とする請求項６に記載のレンズレス顕微撮像方法。
8. 請求項１から５のいずれか１項に記載のレンズレス顕微撮像システムと、
   前記イメージセンサが出力する画像を受信し、前記画像中のビーズとビーズごとの識別番号と、毎種類のビーズが捕捉される特定の生化学物質の量とを識別するための識別及び検出装置とを備え、
   同一の識別番号を有する全ての磁気ビーズが同一のクラスに分類される、ことを特徴とする生化学物質検出装置。
9. 前記識別及び検出装置は、識別及び検出システムを含み、
   前記識別及び検出システムは、ビーズ識別モジュールおよび生化学物質検出モジュールを含み、
   前記ビーズ識別モジュールは、前記画像中のビーズと、ビーズごとの識別番号と、ビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号とを識別し、
   前記生化学物質検出モジュールは、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出し、前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出することを特徴とする請求項８に記載の生化学物質検出装置。
10. 前記識別および検知システムは、前記イメージセンサが出力する前記画像を再構成し、再構成された画像を前記ビーズ識別モジュールが識別するために前記ビーズ識別モジュールに出力する画像再構成モジュールをさらに備えることを特徴とする請求項９に記載の生化学物質検出装置。
11. 前記画像再構成モジュールはデジタルホログラフィ再構成技術を用いて前記画像を再構成することを特徴とする請求項１０に記載の生化学物質検出装置。
12. 前記識別および検知システムは、識別モジュールの毎回の識別結果を自動学習して各種の特徴量を抽出し、生化学物質検出システムがその後に検出使用を実行するための機械学習モジュールをさらに備えることを特徴とする請求項８に記載の生化学物質検出装置。
13. 請求項６または７に記載のレンズレス顕微撮像方法を実行して画像を出力することと、
    前記画像を受信し、前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出し、同じ識別番号を有する全てのビーズを同じクラスに分類されることと、を含むことを特徴とする生化学物質検出方法。
14. 「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことは、さらに、
    前記画像中のビーズを識別すること、ビーズごとの図形コードを識別すること、及びビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号を識別すること、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出すること、及び前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出すること、をさらに含む、請求項１３に記載の生化学物質検出方法。
15. 「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことの前に、前記イメージセンサが出力する画像を再構成するか、又は、デジタルホログラフィ再構成技術を用いて前記イメージセンサが出力する画像を再構成する、ことを更に含むことを特徴とする請求項１４に記載の生化学物質検出方法。
16. 前記識別及び検出で得られた各種類の識別結果、検出結果を自動学習して各種特徴値を抽出することを特徴とする請求項１４に記載の生化学物質検出方法。