JP6567810B2 - 顕微鏡 - Google Patents

Description

本発明は、顕微鏡、特にデジタル顕微鏡に関する。

このタイプの顕微鏡は、材料を分析するために頻繁に使用される。この目的のために、典型的にはサンプルの画像が、生成され表現される。

独国特許第１００ ４３ ９６１ Ｃ２号明細書 米国特許出願公開第２０１２／００６９１７１ Ａ１号明細書 カナダ国特許出願公開第２ ５６４ ８６７ Ａ１号明細書

本発明の目的は、改善された顕微鏡を利用可能にすることである。

この目的は、第１の周波数（又は第１の画像周波数）でサンプル画像を記録するための、拡大撮像光学ユニット及び画像モジュールを有する記録ユニットと、記録画像が供給されるデジタル評価ユニットであって、記録画像の所定の画像処理を実行し、且つ結果として、第１の周波数より低いか又は第１の周波数に等しい第２の周波数（又は第２の画像周波数）で出力画像を生成し、それらを表現のために出力ユニットに転送できるデジタル評価ユニットと、を含む顕微鏡によって達成される。

従って、本発明による顕微鏡は、画像データが表現されるより速く画像データを記録し、結果として更なる機能が提供され得るように使用される。
特に、デジタル評価ユニットは、少なくとも１つのＦＰＧＡ（フィールドプログラマブルゲートアレイ）を有する。従って、ＦＰＧＡは、個別の汎用ブロック及びそれらの相互接続部の基本機能が、構造規則をプログラムすることによって決定され得るデジタル技術の集積回路である。従って、それをＦＰＧＡ構造と呼ぶこともまた適切である。かかるＦＰＧＡは、所望の画像処理を実行するために必要な計算能力を利用可能にするために使用することができる。特に、非常に迅速なので実時間で出力画像を表現できる処理が可能である。

本発明による顕微鏡において、画像モジュールは、ネイティブインターフェースを備えた画像センサを含むことができ、画像センサデータ（即ち、画像センサのデータ）は、ネイティブインターフェースを介してＦＰＧＡに直接転送される。従って、迅速な画像処理を保証することができる。

例えば、第２の周波数は、少なくとも２４Ｈｚ又は２５Ｈｚとすることができる。更に、第１の周波数は、第２の周波数の少なくとも２倍の高さであるのが好ましく、且つ３００Ｈｚまでの範囲であることができる。

更に、デジタル評価ユニットは、少なくとも１つのデジタル信号プロセッサを有することができる。これは今度は、デジタル信号プロセッサは、画像処理及び出力画像の生成用の計算能力を向上させる。

評価ユニットは、特に顕微鏡内に設けられるハードウェアとして構成され、且つ特に従来のコンピュータではなく、所定の画像処理用に構成され最適化された専用ハードウェアである。

デジタル評価ユニットは、少なくとも２つの記録画像に基づいて（個別）出力画像を生成することができる。特に、前記デジタル評価ユニットは、例えばＨＤＲ出力画像を生成することができる。

本発明による顕微鏡は、サンプルを保持するためのサンプルステージと、サンプルステージと記録ユニットとの間の相対移動を実行するための移動ユニットと、を有することができ、第１の周波数を用いた画像記録及び相対移動は、互いに同期される。デジタル評価ユニットにより、実行される所定の画像処理の点で異なるいくつかの画像記録モードを選択可能にすることが、更に可能である。

出力ユニットは、顕微鏡の構成要素とすることができる。顕微鏡は、更にまた、入力ユニットを有する。
更に、デジタル評価ユニットはまた、顕微鏡用の制御ユニットとして働くことができる。特に、デジタル評価ユニットは、サンプルステージと記録ユニットの間の相対移動、照明条件、光学倍率、又は顕微鏡の任意の他の設定を制御することができる。それはまた、記録ユニット及び特に画像モジュールを制御することができる。

画像モジュールは、１つ又は複数の画像センサを有することができる。１つ又は複数の画像センサは、例えばＣＣＤセンサであってもＣＭＯＳセンサであっても良い。
デジタル評価ユニットは、所定の画像データ処理、例えば動的圧縮、ホワイトバランス、自動焦点、画像安定化、画像のＺスタックの記録（即ち、異なる焦点設定を備えたいくつかの記録）、増加した被写界深度を用いた画像表現、異なるコントラスト方法等としての選択のために実現させるか利用可能にすることができる。特に、前記画像処理モードの様々なモードはまた、互いに組み合わせて利用可能にされ得る。

顕微鏡は、顕微鏡を動作させるために必要な、当業者に周知の更なる要素を有することができる。
前述の特徴及び以下で説明される特徴が、言明された組み合わせだけでなく、本発明の範囲から逸脱せずに他の組み合わせ又は単独で使用され得ることが理解されるべきである。

本発明は、添付の図面に関連して、以下で例として、より詳細に説明されるが、図面はまた、本発明にとって本質的な特徴を開示する。

本発明による顕微鏡の実施形態の概略図を示す。 本発明による顕微鏡の動作を説明するための概略図を示す。 本発明による顕微鏡の動作を説明するための更なる図を示す。 図１による顕微鏡のデジタル評価ユニット７における部分の概略図を示す。

図１の実施形態において、本発明による顕微鏡（又はデジタル顕微鏡）１は、拡大撮像光学ユニット２及び画像モジュール３を有する記録ユニット４、サンプル６を保持するためのサンプルステージ５、並びにデジタル評価ユニット７を含む。更に、顕微鏡１は、スタンド状の構造で示されている移動ユニット８であって、撮像光学ユニット２に対してサンプルステージ５をｚ方向、ｘ方向、及び図面の平面に垂直な方向に移動させることができる移動ユニット８と、サンプル６を照明するための照明ユニット２２と、を含む。

３つの対物レンズを有するノーズピースが、撮像光学ユニット２用に本明細書に概略的に記載されている。画像モジュール３は、画像センサ９（例えば、ＣＣＤセンサ又はＣＭＯＳセンサ）を含み、且つデジタル評価ユニット７に接続される。

顕微鏡１の動作中に、画像モジュール３は、第１の周波数でサンプル６の画像を記録し、画像（又はデジタル画像データ）は、評価ユニット７に供給され、評価ユニット７は、デジタル画像処理を実行する。第１の周波数より低い第２の周波数を用いた出力画像が、評価ユニット７によって生成され、且つ出力ユニット１１（例えば、この場合にはスクリーン）に送出され、次に、出力ユニット１１は、評価ユニット７の構成要素になり得るインターフェース１０を介して、第２の周波数で出力画像を表現することができる。

従って、本発明による顕微鏡１において、データ取得（画像の記録）及びデータ処理は、その後に出力画像が生成される周波数又は画像周波数より高い周波数（又は高い画像周波数）でデジタル評価ユニット７において実行される。これは、本発明による顕微鏡の機能を拡張するように利用され得る。従って、例えば出力画像は、例えばこの場合には３つの連続記録Ａ１、Ａ２及びＡ３（図２）から出力画像Ｂを計算し生成することによって、ＨＤＲ画像（高ダイナミックレンジを備えた画像）として周知の画像として生成することができる。図２は、記録画像Ａ１、Ａ２及びＡ３並びに出力画像Ｂを時間軸ｔに沿って概略的に示す。もちろん、個別画像Ａ１−Ａ３は、後で所望のＨＤＲ出力画像Ｂを計算できるように、異なる露光条件（例えば露光時間）で記録されるのが好ましい。従って、出力画像Ｂは、実時間で生成し、且つ実時間において第２の周波数でビデオ又はビデオストリームとして、出力ユニット１１を介して表現することができる。

複数の機能を組み合わせることも可能である。例えば、記録Ａ１−Ａ３から所望の第２の周波数でＨＤＲ画像Ｂを生成することが更に可能である。同時に、ＨＤＲ出力画像Ｂの画質が更に向上されるように、各ＨＤＲ画像用の画像記録の時間内で、自動焦点合わせを実行するために更なる記録又は画像Ａ４が使用されること、及び画像安定化を実行するために更なる記録又は画像Ａ５が使用されることが可能である。これは、図３に概略的に示されている。

上記のためにデジタル評価ユニット７用に必要な計算能力は、本発明に従って提供することができる。何故なら、評価ユニット７が、少なくとも１つのＦＰＧＡ１２（フィールドプログラマブルゲートアレイ）及び好ましくは少なくとも１つのデジタル信号プロセッサ１３を有するからである。ＦＰＧＡ１２を用いることによって、所望の機能が提供され得、複数の機能の１つを選択することは、ユーザによって行われ、次にまた特に、概略的に示されている入力ユニット２１を介して直ちに実現され得る。入力ユニット２１は、例えば、従来のコンピュータ、タブレット、スマートフォン、又は別の装置とすることができる。入力ユニット２１とデジタル評価ユニット７との間、及び出力ユニット１１とデジタル評価ユニット７との間の接続は、無線又は有線とすることができる。

図４は、ＦＰＧＡ１２及びデジタル信号プロセッサ１３の概略的な機能図を示し、これらの装置は、各場合にメモリ１４、１５にアクセスすることができる。画像センサ９のデータは、フレームフォーマットユニット１６を介して様々な機能ブロック１７、１８、１９に供給され、これらの機能ブロックは、レジスタユニット２０及びメモリ１４と通信し、且つ所望の画像処理を実行することができる。信号プロセッサ１３の機能ブロック２３、２４、２５における対応する処理もまた実行することができる。その場合に、データは、様々なインターフェースを介して出力することができる。この目的で、無線送信用のＷｉ−Ｆｉエンコーダ２６、及びＨＤＭＩ信号として出力するためのＨＤＭＩフォーマットユニット２７が、信号プロセッサに設けられ、ＦＰＧＡ１２には、ＵＳＢ３インターフェースを介して出力画像を送出するための論理ゲート２８及びＵＳＢ３フォーマットユニット２９が設けられる。

デジタル評価ユニット７が、ＦＰＧＡ１２及びデジタル信号プロセッサ１３を有するので、説明された画像データ処理は、実時間で実行することができる。これは、従来のコンピュータではほとんど可能ではない。何故なら、ほとんどのオペレーティングシステムが、全く実時間オペレーティングシステムではなく、従って、対応する迅速な実時間処理が保証され得ないからである。

デジタル評価ユニット７は、本発明による顕微鏡１に別個のハードウェアユニットとして設けられ、所望の出力画像を出力する。
更に、デジタル評価ユニット７はまた、例えば、光学倍率、照明条件、サンプルステージ移動、又は他の顕微鏡設定を制御する、顕微鏡１用の制御ユニットとして使用することができる。

更なる機能は、本発明による顕微鏡及び特にデジタル評価ユニット７を用いて提供することができる。例えば、自動ホワイトバランスを実行することができ、生成された画像用の動的圧縮を実行することができ、例えばカラー共同サイトサンプリング（ｃｏ−ｓｉｔｅ ｓａｍｐｌｉｎｇ）として周知のことを実行することができる。カラー共同サイトサンプリングにおいて、サンプルは、何回も記録され、記録の間に、画像センサ９は、（例えば、ピエゾアクチュエータを用いて）例えば一画素だけ一方向に置き換えられる。従って、その場合に、各画素用に完全なカラー情報を達成することが可能である。何故なら、画像センサは、各画素が例えば三原色である赤、緑又は青の１つだけを記録できるために、画像センサがカラーフィルタを有するように通常構成されるからである。次に、画像センサを適切に置き換えることによって、各像点は、各像点における全てのカラーチャンネルを完全に記録できるように、対応する画素によって記録される。

例えば、異なるコントラスト方法及び／又は記録方法を実現することが更に可能である。例えば、明視野記録、暗視野照明、微分干渉コントラスト、及びセグメント化照明を実行することが可能である。

画像記録用の第１の周波数は、特に第２の周波数の倍数とすることができる。第２の周波数は、例えば、少なくとも２４、２５又は３０Ｈｚとすることができ、従って、第１の周波数は、少なくとも４８、５０、６０Ｈｚとすることができる。それはまた、例えば１００、１５０又は３００Ｈｚとすることができる。

本明細書において図１に関連して説明される顕微鏡の構成は、純粋に例として理解されるべきである。デジタル評価ユニット７を用いる本発明による構成は、任意の周知の顕微鏡タイプにおいて実現することができる。本明細書で説明される顕微鏡１は、材料分析用に構成されるのが好ましい。

本発明による顕微鏡において、更に、後で出力画像を生成するために使用される記録領域より大きい領域を、画像センサ９を用いて記録することができる。出力画像において表現されない記録部分は、顕微鏡の他の機能用に、例えば自動焦点合わせ及び／又は自動画像安定化用に使用することができる。

１ 顕微鏡
２ 拡大撮像光学ユニット
３ 画像モジュール
４ 記録ユニット
５ サンプルステージ
６ サンプル
７ デジタル評価ユニット
８ 移動ユニット
９ 画像センサ
１０ インターフェース
１１ 出力ユニット
１２ フィールドプログラマブルゲートアレイ
１３ デジタル信号プロセッサ
１４、１５ メモリ
１６ フレームフォーマットユニット
１７、１８、１９ 機能ブロック
２０ レジスタユニット
２１ 入力ユニット
２２ 照明ユニット
２３、２４、２５ 機能ブロック
２６ Ｗｉ−Ｆｉエンコーダ
２７ ＨＤＭＩフォーマットユニット
２８ 論理ゲート
２９ ＵＳＢ３フォーマットユニット
Ａ１、Ａ２、Ａ３ 記録画像
Ａ４，Ａ５ 更なる記録又は画像
Ｂ 出力画像

Claims (9)

1. 第１の画像周波数でサンプル（６）の画像を記録するための、拡大撮像光学ユニット（２）及び画像モジュール（３）を有する記録ユニット（４）と、記録画像が供給されるデジタル評価ユニット（７）であって、前記記録画像に基づいて所定の画像処理を実行し、且つ結果として、前記第１の画像周波数より低いか又は前記第１の画像周波数と等しい第２の画像周波数で出力画像（Ｂ）を生成し、それらを表現のために出力ユニット（１１）に転送できるデジタル評価ユニット（７）と、を含む顕微鏡（１）であって、
   前記デジタル評価ユニット（７）が、前記顕微鏡（１）内に設けられるハードウェアとして構成され、かつ、少なくとも１つのＦＰＧＡ（１２）および少なくとも１つのデジタル信号プロセッサ（１３）を有し、画像センサデータが、ネイティブインターフェースを介して前記ＦＰＧＡ（１２）に直接転送され、
   前記デジタル評価ユニット（７）は、動的圧縮、ホワイトバランス、自動焦点、画像安定化、画像のＺスタックの記録、増加した被写界深度を用いた画像表現、または異なるコントラスト方法からなる画像データ処理を単独でまたは互いに組み合わせて選択することができるように構成されている、顕微鏡。
2. 前記第２の画像周波数が少なくとも２４Ｈｚである、請求項１に記載の顕微鏡。
3. 前記第１の画像周波数が、前記第２の画像周波数の少なくとも２倍の高さである、請求項１又は２に記載の顕微鏡。
4. 前記第１の画像周波数が、前記第２の画像周波数の少なくとも１０倍の高さである、請求項１又は２に記載の顕微鏡。
5. 前記デジタル評価ユニット（７）が、前記出力画像（Ｂ）を実時間で生成し出力する、請求項１〜４のいずれか一項に記載の顕微鏡。
6. 前記デジタル評価ユニット（７）が、少なくとも２つの記録画像（Ａ１、Ａ２、Ａ３）に基づいて出力画像（Ｂ）を生成する、請求項１〜５のいずれか一項に記載の顕微鏡。
7. 前記サンプル（６）を保持するためのサンプルステージ（５）と、前記サンプルステージ（５）と前記記録ユニット（４）との間の相対移動を実行するための移動ユニット（８）と、を含み、前記第１の画像周波数を用いた画像記録及び前記相対移動が互いに同期される、請求項１〜６のいずれか一項に記載の顕微鏡。
8. 前記デジタル評価ユニット（７）により、実行される前記所定の画像処理の点で異なるいくつかの画像記録モードを選択可能になる、請求項１〜７のいずれか一項に記載の顕微鏡。
9. 前記デジタル評価ユニット（７）は、顕微鏡（１）の構成要素の光学倍率、照明、またはサンプルステージの移動の少なくとも１つを制御するための顕微鏡（１）用の制御ユニットとして機能する、請求項１〜８のいずれか一項に記載の顕微鏡。