JP6266033B2 - 顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法 - Google Patents

Description

本発明は、顕微鏡のための顕微鏡イメージコントローラ装置、顕微鏡および顕微鏡検査方法に関する。

顕微鏡特に先進的なイメージ処理方式を用いたディジタル顕微鏡については、既に知られている。これらの方式の多くが必要とするのは、２つ以上のイメージを取得することであり、少なくとも２つのイメージが一緒に処理されて、強化もしくは高品質化された単一の出力イメージが生成される。この種のマルチイメージ処理の１つは、例えばいわゆるｚスタックであり、これによれば、出力イメージにおける被写界深度を大きくするために、それぞれ異なる焦点面の複数の画像が合成される。さらに別のこの種の処理として知られているのは、虹彩融像、ＨＤＲ（ハイダイナミックレンジ）、または防眩である。

実際には、マルチイメージ処理を用いた顕微鏡による作業は、ユーザに呈示されるイメージの相前後する更新の間の時間を表すコンテンツフレームレートが遅いことに起因して、扱いにくくなる場合がある。しかもこれらのイメージ処理方法は、機械的および電気的な部分が程度の差こそあれ連続的に作動されるにつれて、顕微鏡の磨耗を増大させていき、さらにこれによって顕微鏡が発生する環境騒音も大きくなる。

本発明の課題は、顕微鏡の使用を容易にし、さらに顕微鏡の磨耗を低減し、それにもかかわらず、マルチイメージ処理方式によって生成された強化もしくは高品質化されたイメージをユーザに提供することにある。

本発明によればこの課題は、以下の構成を有する顕微鏡のための顕微鏡イメージコントローラ装置によって解決される。即ち、当該顕微鏡イメージコントローラ装置は、入力部と出力部とを有しており、入力部は、各々１つの顕微鏡イメージを表す複数の連続する入力イメージデータセット、および顕微鏡の少なくとも１つの可変のコンフィギュレーションパラメータを表す複数の連続するセッティングデータ、のうち少なくとも一方を受信し、出力部は、各々１つの顕微鏡イメージを表す出力イメージデータセットを出力し、当該顕微鏡イメージコントローラ装置は、少なくとも２つの連続する入力イメージデータセット、および／または、少なくとも２つの連続するセッティングデータのうち、少なくとも一方の間における変化量に応じて、第１のイメージ処理モードから第２のイメージ処理モードへ切り替わるように構成されており、第２のイメージ処理モードにおいて、出力イメージデータセットは、第１のイメージ処理モードにおける個数よりも多い個数の、連続する入力イメージデータセットに基づいている。

さらに上記の課題は、以下の構成を有する顕微鏡によって解決される。即ち、各々１つの顕微鏡イメージを表す、複数の連続するディスプレイデータセットを表示するディスプレイと、カメラおよび／または少なくとも１つのセンサ装置のうち、少なくとも１つとが設けられており、カメラは、各々１つの顕微鏡イメージを表す複数の連続する入力イメージデータセットを供給し、少なくとも１つのセンサ装置は、当該顕微鏡の少なくとも１つの可変のコンフィギュレーションパラメータを表す、複数の連続するセッティングデータを取得し、当該顕微鏡は、入力イメージデータセットおよび／またはセッティングデータにおける変化量に応じて、第１のイメージ処理モードと第２のイメージ処理モードとにおいて動作するように構成されており、第２のイメージ処理モードにおいて、ディスプレイデータセットの各々は、第１のイメージ処理モードにおける個数よりも多くの個数の入力イメージデータセットに基づく。

さらに上記の課題は、各々１つの顕微鏡イメージを表す複数の連続する入力イメージデータセットから、各々１つの顕微鏡イメージを表す複数の連続する出力イメージデータセットを自動的に発生させるための、以下の構成を備えた顕微鏡検査方法によって解決される。即ち、複数の出力イメージデータセットのうち後続の１つのセットを発生させるために用いられる、複数の連続する入力イメージデータの個数を、少なくとも２つの連続する入力イメージデータセット、および／または、顕微鏡の少なくとも１つの可変のコンフィギュレーションパラメータを表す複数の連続するセッティングデータのうち、少なくとも一方が所定量だけ変化したときに、自動的に変化させる。

本発明による解決手段によれば、１つの出力イメージ生成のためにより僅かなイメージが用いられる第１のイメージ処理モードから、１つの出力イメージ生成のためにより多くのイメージが用いられる第２のイメージ処理モードへ、顕微鏡が自動的に切り替わることから、顕微鏡の簡単な動作が可能になる。２つのモード間の切り替えを、複数の入力イメージにおける変化量に依存させることによって、キャプチャされたイメージが緩慢に変化しているかまたはまったく変化していない状況において、高品質化された画像を自動的に用いることができるようになる。したがって本発明による装置および方法によれば、目下のイメージ変化速度に最も適したイメージ処理モードが自動的に選択される。照明、焦点の変更、テーブルの移動、または焦点距離の変更など、顕微鏡の可変のコンフィギュレーションパラメータを表す複数の連続するセッティングデータに依存して２つのモード間の切り替えを行うことによって、顕微鏡が静止しており静止画像が予期される場合に、高品質化されたイメージ処理を自動的に用いることができるようになる。

さらに本発明による解決手段を、互いに独立した複数の実施形態によって発展および改善させることができ、要求通りに任意に組み合わせることができる。

顕微鏡イメージコントローラ装置を、少なくとも２つの連続する入力イメージデータセットおよび／または少なくとも２つの連続するセッティングデータのうち、少なくとも一方の間における変化量に応じて、第２のイメージ処理モードから第１のイメージ処理モードへ切り替わるように構成することができる。この実施形態によれば、第１のイメージ処理モードに戻る切り替えも、入力イメージデータおよび／またはセッティングデータにおける変化量に依存する。例えば、これらのデータが高速に変化している場合には、本発明による装置および方法は、あまり時間がかからないイメージ処理方法を自動的に用い、これによって出力イメージデータにおいて変化を迅速に把握できるようになる。

第１のイメージ処理モードから第２のイメージ処理モードへ切り替えるための計算判定基準を、第２のイメージ処理モードから第１のイメージ処理モードへ切り替えるための計算判定基準とは異ならせることができる。例えば、第１のイメージ処理モードから第２のイメージ処理モードへの切り替えを、複数の連続する入力イメージデータに基づくものすることができる一方、第２のイメージ処理モードから第１のイメージ処理モードへの切り替えを、複数の連続するセッティングデータに基づくものとすることができる。さらに、後続のイメージおよび／またはセッティングデータにおける変化に対し、異なる閾値を用いてもよい。例えば、第１のイメージ処理モードから第２のイメージ処理モードへの切り替えに対する閾値を、第２のイメージ処理モードから第１のイメージ処理モードへの切り替えに対する閾値よりも小さくすることができる。このことに加え、または別の選択肢として、イメージデータおよび／またはセッティングデータの基準セットを使って、絶対的な閾値を用いてもよい。例えば、予め定められた個数の連続するイメージデータおよび／またはセッティングデータごとに、或いは、規定された期間の経過後に、１つの基準セットを定義することによって、基準セットを経時的に変化するものとしてもよい。２つの連続するデータセットに適用される閾値の代わりに、またはこの閾値に加えて、絶対的な閾値を用いることによって、閾値以下の一連の変化が見過ごされてしまうのが回避される。

特に、第１のイメージ処理モードから第２のイメージ処理モードへの切り替えのために、所定に期間にわたりいかなる変化も検出されないこと、またはごく僅かな変化しか検出されないこと、が必要とされる可能性がある。第２のイメージ処理モードから第１のイメージ処理モードに戻る切り替えの場合には、このような期間を設けないようにすることができ、変化が検出されるとただちに、切り替えが行われるようにすることができる。

変化量を、２つのデータセット間の相関法、イメージデータの統計比較例えばヒストグラム、平均輝度、ホワイトバランスからのデータ等を用いて、特定することができる。変化量の特定としてさらに、セッティングデータおよび／またはイメージデータにおける変化速度を含めることができ、変化速度がなければ、または閾値以下であれば、第２のイメージ処理モードへの切り替えが行われるようにすることができる。

第１のイメージ処理モードを、イメージの処理または変更をほとんどまたはまったく伴わないシングルイメージ処理モードとすることができる。このモードを特にライブビデオモードとすることができ、例えばこのモードによれば、高いフレームレートで、例えば毎秒少なくとも２５個のフレームまたは画像を伴って、サンプルを調節することができる。この種のコンフィギュレーションの場合、第１のイメージ処理モードにおいて、サンプルを調節し、または適切な場所に移動させることができる。その後、調節が完了したことから、いかなる変化も動きも検出されなければ、顕微鏡は自動的に第２のイメージ処理モードに切り替わる。

第２のイメージ処理モードにおいて、少なくとも１つのマルチイメージ処理方式を用いることができる。このようなマルチイメージ処理方式を例えば、虹彩融像、ｚスタック、ＨＤＲ（ハイダイナミックレンジ）、または防眩とすることができる。虹彩融像によれば、それぞれ異なるアパーチャで取得された複数のイメージが結合されて、被写界深度の改善が達成される。ｚスタックによれば、それぞれ異なる焦点距離による複数の画像が結合されて、被写界深度が改善される。また、ＨＤＲによれば、それぞれ異なる光強度によって取得された複数のイメージが結合される。さらに防眩によれば、それぞれ異なる照明方向によって取得された複数の画像が結合される。既述の方式は、イメージに関連する少なくとも１つのパラメータの変化を必要とする。したがってこれらの方式を用いる場合、第２のイメージ処理モードから第１のイメージ処理モードに戻る切り替えを、関連するパラメータの変化またはイメージの変化に基づくようにすべきではない。そうではなくこのケースでは、第２のイメージ処理モードから第１のイメージ処理モードへの切り替えを例えば、サンプルに付けられた運動検出器からの信号に基づくようにすべきである。別の選択肢として、所定時間の経過後に、またはマルチイメージ処理に関連するイメージすべてを取得した後に、切り替えが自動的に実行されるようにしてもよい。ただし、たとえ何らかのパラメータが変化しても、入力イメージデータに基づいてサンプルが動いたか否かを検出できる先進的なアルゴリズムを用いてもよい。

いずれのマルチイメージ処理を用いるのかを、例えばユーザが選択できる。ユーザは例えば、用いるべき所定の処理をターンオンすることができ、または用いるつもりではないプロセスをターンオフすることができる。上述の処理のいずれを用いるべきかを、ユーザが選択するようにしてもよい。さらに、いずれの処理を用いるべきであるのかが、アルゴリズムによって選択されるようにしてもよい。この種のアルゴリズムは、例えばイメージを分析して、いずれの処理が目下の状況に最も適切なものであるのかを判定することができる。

複数の連続する入力イメージデータセット間の変化量を、イメージ処理アルゴリズムによって計算することができる。この種のイメージ処理アルゴリズムは例えば、複数の連続する入力イメージデータセットを、例えば単純な減算などによって比較することができ、変化の大きさを表す値を供給することができる。さらにイメージ処理アルゴリズムを、複数の連続する入力イメージデータセットの変化を検出するために、相関を使って、またはより洗練された方式またはより複雑な方式を使って、動作させることができる。特に第１のイメージ処理モードから第２のイメージ処理モードへの切り替えのために、イメージ処理アルゴリズムによる変化量の計算を実施することができる。逆方向では、より単純な手法を用いることができ、例えばセンサによる動きの検出などを用いることができる。

有利であるのは、切り替えのためには、変化量がプログラミングされた閾値を超えなければならないようにすることである。これによって、切り替えのためには所定量の変化が必要とされるようにすることができる。したがって、切り替えを閾値に依存させることができる。例えば、２つの連続する値を比較し、これらの値の差に応じて切り替えが行われるようにすることができる。当然ながら、２つの非連続の値を用いてもよい。さらに、規定された期間にわたり値が所定の最大値および／または最小値を超えたか否かを、チェックすることができる。異なるセッティングに対し異なる値を切り替えに用いることができるように、閾値を定義できるようにしてもよい。特に、ノイズだけしか検出されなければ、やはり切り替えが実行されるように、ノイズレベルのオーダにある小さい変化を許容することができる。この種のノイズは例えば、振動の電子的な読み取りに起因する可能性がある。

入力部および／または出力部を、ポートまたはプラグなどのようなハードウェアコンポーネントとすることができる。これによって例えば、顕微鏡イメージコントローラ装置を既存の顕微鏡に取り付けることができるし、或いは、それらをプロセッサまたはプロセッサユニットの一部またはソフトウェア製品の一部のように、バーチャルなものとすることができ、そのようにして既存の顕微鏡を容易にレトロフィットさせることができるようになる。入力部および／または出力部を、ディジタル顕微鏡で用いられるバスシステムに接続されるように構成することができる。

有利には、第２のイメージ処理モードにおいて、この顕微鏡は、複数の連続するイメージデータセットを自動的に供給するように構成されており、この場合、複数の連続する入力イメージデータセットのうち少なくとも１つのセットは、複数の連続する入力イメージデータセットのうち少なくとも１つの別のセットに対し変更された、少なくとも１つのコンフィギュレーションパラメータを用いて生成されたものである。この種のコンフィギュレーションパラメータを、例えばアパーチャ、照明強度または照明方向、或いは焦点面などとすることができる。このようにすることによって特に、自動化された手法でマルチイメージ処理を用いることができるようになる。

顕微鏡は、２つ以上のディスプレイを有することができる。例えばこの場合、顕微鏡は、第１のイメージ処理モードからのイメージのために１つのディスプレイを備え、第２のイメージ処理モードからのイメージのために１つのディスプレイを備えている。

本発明は、直接相前後して続くイメージデータまたはセッティングデータのセットに限定されるものではない。イメージデータまたはセッティングデータの所定のセットをスキップしてもよく、さらに間隔をおいたイメージデータまたはセッティングデータのセットにおける変化量に応じて、切り替えを行ってもよい。例えば２番目のセットを、１番目のセットよりも複数のセットだけ後のセットとすることができる。

新たに計算された出力イメージデータは所定のコンテンツ表示レートで表示され、このコンテンツ表示レートはフレームレートよりも低く、ディスプレイに供給されるイメージとは無関係に、このコンテンツ表示レートでディスプレイが更新される。第２のイメージ処理モードではこのコンテンツ表示レートを、第１のイメージ処理モードにおけるレートよりも低くすることができる。このようにすることでユーザは、第１のイメージ処理モードでは、高速なフィードバックを伴ってサンプルを調節できるようになり、第２のイメージ処理モードでは、サンプルをより詳細に検査できるようになる。

入力イメージデータをキャプチャリングするためのコンテンツフレームレートを、第２のイメージ処理モードでは第１のイメージ処理モードよりも低くすることができる。したがって第１のイメージ処理モードにおいては、サンプルをより良好に観察することができる。

本発明による顕微鏡検査方法によれば、顕微鏡のアクチュエータおよび／または顕微鏡の周辺機器の監視を行うことができる。それらのアクチュエータまたは周辺機器を、アパーチャ、照明、フォーカシング、或いはサンプルの動き検出などに使用されるものとすることができる。

さらに顕微鏡は、２つ以上のカメラを含むことができる。例えば、第１のイメージ処理モードのために１台目のカメラを使用し、第２のイメージ処理モードのために２台目のカメラを使用することができる。このような実施例であれば本発明による装置および方法によって、例えば１番目のカメラの入力イメージデータにおける変化量に応じて、これら２台のカメラが切り替えられる。

本発明はさらに、上述の方法を実施するためのソフトウェアを含むコンピュータ媒体にも関する。

次に、具体例として有利な実施形態を参照しながら、本発明について説明する。さらなる発展形態および特徴は、各々それ自体が有利なものであり、それらを所望の通り任意に組み合わせることができる。

顕微鏡の顕微鏡イメージコントローラ装置の１つの実施例を略示した図 本発明による顕微鏡検査法の１つの実施形態を略示したフローチャート 図２の方法をいくつかのサブセクションを加えて示した図

図１には、顕微鏡イメージコントローラ装置１が、顕微鏡２の他の部分と共に示されている。この種の顕微鏡イメージコントローラ装置１を、既存の顕微鏡に追加可能な部分としてもよいし、または、顕微鏡２の一部分としてもよい。特にこの顕微鏡イメージコントローラ装置１を、顕微鏡２の分離不可能な部分とすることができる。

図１に示されている顕微鏡２は、それぞれ１つの顕微鏡イメージを表す、複数の連続する入力イメージデータセット５０を供給するためのカメラ５を備えている。カメラ５は特に、顕微鏡イメージを表す入力イメージデータセット５０をキャプチャリングするために、フレームグラバを備えており、これは例えばＣＣＤチップまたは同等のものである。さらに顕微鏡２は、セッティングデータ６０の複数の連続するセットを取得するための少なくとも１つのセンサ装置６を備えており、これらのセッティングデータ６０は、顕微鏡２の少なくとも１つの可変のコンフィギュレーションパラメータ６１を表す。この種のセンサ装置６は例えば、アパーチャ、照明ユニット、またはフォーカシング素子の状態を検出することができる。さらに顕微鏡２は、それぞれ１つの顕微鏡イメージを表す複数の連続するディスプレイデータセット７１を表示するためのディスプレイ７を備えている。当然ながら顕微鏡２は、２つ以上のディスプレイ７を有することができる。

顕微鏡イメージコントローラ装置１は、それぞれ１つの顕微鏡イメージを表す、カメラ５からの複数の連続する入力イメージデータセット５０と、顕微鏡２の少なくとも１つの可変のコンフィギュレーションパラメータを表す、センサ装置６からの複数の連続するセッティングデータ６０とを受け取るために、入力部３を備えている。

さらに顕微鏡イメージコントローラ装置１は、それぞれ１つの顕微鏡イメージを表す出力イメージデータセット７０を出力するために、出力部４を備えている。この場合、出力イメージデータは、ディスプレイ７において表示可能なディスプレイデータであり、これによってユーザはイメージを見ることができる。他の適用事例において、出力部４を別の部分と接続することもでき、例えばユーザにイメージを見せることなく、出力イメージデータを保存するために、ハードディスクドライブと接続することもできる。

顕微鏡イメージコントローラ装置１は、少なくとも２つの連続する入力イメージデータセット５０および／または少なくとも２つの連続するセッティングデータ６０のうち、少なくとも一方における変化量に応じて、第１のイメージ処理モード１１０から第２のイメージ処理モード１２０へ切り替わるように構成されている。第２のイメージ処理モード１２０において、出力イメージデータセット７０は、第１のイメージ処理モード１１０における個数よりも多い個数の、連続する入力イメージデータセット５０に基づく。したがって、例えばサンプルが動いていないことを表す変化量であれば、顕微鏡イメージコントローラ装置１は、第１のイメージ処理モード１１０から第２のイメージ処理モード１２０へ、自動的に切り替え可能である。サンプルがまだ移動しており、変化がまだ検出される限り、第１のイメージ処理モード１１０が用いられることになる。ある変化が十分に小さければ、または、変化が存在しなければ、第２のイメージ処理モード１２０を用いることができる。第２のイメージ処理モード１２０は、より詳細な出力イメージを供給することができ、および／または、より大きい被写界深度など、より良好な特性を有する出力イメージを供給することができる。第２のイメージ処理モード１２０を特に、マルチイメージ処理モードとすることができ、このモードにおいて、所定のパラメータを変化させたイメージを表す、少なくとも２つの連続する入力イメージデータセット５０が結合されて、単一の出力イメージデータセット７０が形成される。顕微鏡イメージコントローラ装置１は例えば、フォーカススタッキング、虹彩融像、ＨＤＲ、または防眩アルゴリズムを使用することができ、これらにおいて、複数の連続する入力イメージデータセット５０に対し、焦点距離、アパーチャ、照明強度、または照明方向がそれぞれ異なる。

第１のイメージ処理モードを、例えばライブイメージモードまたはライブビデオイメージモードとすることができ、このモードの場合、入力イメージデータセット５０が出力される前は、それらのセットに対しほとんど変更が加えられず、または変更が加えられない。したがって出力イメージデータセット７０は、入力イメージデータセット５０に実質的に一致するものとすることができる。第１のイメージ処理モード１１０を特に、高いフレームレートに適合されたものとすることができ、それにより画像が高いフレームレートで取得されて表示され、したがってユーザは例えば、十分に高速な視覚的フィードバックを伴って、サンプルを移動させることができる。第１のイメージ処理モードにおけるフレームレートを、例えば毎秒２５フレームまたはそれ以上とすることができ、つまり少なくとも２５個の画像が取得されて表示される。顕微鏡イメージコントローラ装置１は、２つの連続する入力イメージデータセット５０および少なくとも２つの連続するセッティングデータ６０のうち、少なくとも一方における変化量に応じて、第２のイメージ処理モード１２０から第１のイメージ処理モード１１０へ切り替わるようにも構成されている。顕微鏡イメージコントローラ装置１は、少なくとも２つの連続する入力イメージデータセット５０および少なくとも２つの連続するセッティングデータ６０のうち、少なくとも一方における変化量に応じて、第２のイメージ処理モード１２０から第１のイメージ処理モード１１０へ切り替わるようにも構成されている。したがって、変化が検出されると、顕微鏡イメージコントローラ装置１は、第１のイメージ処理モード１１０に戻るように切り替わる。特に、第２のイメージ処理モード１２０において、１つのイメージシーケンスを取得中であり、そのシーケンスがまだ完了していないときに、このような変化が検出された場合には、その出力イメージが低品質となりアーチファクトを含むことになるならば、第２のイメージ処理モード１２０の結果を破棄し、それがユーザに表示されないように、またはディスクに保存されないように、顕微鏡イメージコントローラ装置１を構成することができる。

第１のイメージ処理モード１１０から第２のイメージ処理モード１２０へ切り替わる場合、逆の状況とは異なる計算基準、例えば異なる手法または閾値を用いることができる。例えば第１の切り替えを、入力イメージデータセット５０に基づくものとすることができ、第２の切り替えを、センサ装置６からのデータに基づくものとすることができる。このことは、第２のイメージ処理モード１２０のときに、１つのイメージシーケンスを取得するために、所定のパラメータを変化させる場合に、特に重要であり、その理由は、入力イメージデータセット５０が、このケースでは必然的に互いに異なるからである。特に、第１のイメージ処理モード１１０から第２のイメージ処理モード１２０への切り替えのために、所定の期間にわたりいかなる変化も検出されないこと、またはごく僅かな変化しか検出されないこと、が必要とされる可能性がある。第２のイメージ処理モード１２０から第１のイメージ処理モード１１０に戻る切り替えの場合には、このような期間を設けないようにすることができ、変化が検出されるとただちに、切り替えが行われるようにすることができる。

少なくとも装置が第１のイメージ処理モード１２０にある場合、複数の連続する入力イメージデータセット５０間の変化量を、イメージ処理アルゴリズムによって計算することができる。この種のイメージ処理アルゴリズムを、著しく単純なものとすることができ、少なくとも２つの入力イメージデータセット５０を簡単な減算によって比較するだけでよい。当然ながら、より洗練された手法も可能である。例えば、２つの連続する入力イメージデータセット５０間の相関を計算して、変化の振幅を表す値を出力させてもよい。この種の変化が、イメージにとって重要であるほど十分に大きいか否かを、閾値の設定によって規定することができる。

切り替えのために、所定量の変化が必要とされるようにすることができる。切り替えを閾値に依存させることができる。所定の閾値を、ユーザによって定義することができ、または定義可能にすることができる。変化量を表す変数が閾値よりも小さければ、第２のイメージ処理モード１２０がアクティブにされる（または既にアクティブであればそのまま維持される）。この値が閾値よりも大きければ、第２のイメージ処理モード１２０が非アクティブにされ、および／または、顕微鏡イメージコントローラ装置１は第１のイメージ処理モード１１０に切り替わる（または第１のイメージ処理モード１１０が維持される）。この種の変数を例えば、現在の値と先行の値との比較によって取得することができる。別の選択肢として、またはこのことに加え、間隔を定義することができ、または定義可能であり、それによって変化量を表す値がこの間隔内にあるかぎり、顕微鏡イメージコントローラ装置１は第１のイメージ処理モード１１０に切り替わらないようになる。

図１の顕微鏡は、いかなる変化も検出されず、またはごく僅かな変化だけしか検出されなければ、第１のイメージ処理モード１１０から第２のイメージ処理モード１２０へ自動的に切り替わる。特に、上述のような僅かな変化は、ノイズレベルのオーダにある可能性があり、したがってノイズだけしか検出されなければ、やはり切り替えが実行される。この種のノイズは例えば、振動の電子的な読み取りに起因する可能性がある。その後、イメージに関連する少なくとも１つのパラメータを変化させながら、例えばアパーチャを段階的に開くことによって、または焦点を変化させることによって、または光の強度または方向を変化させることによって、１つのイメージシーケンスが自動的にキャプチャされる。

図２および図３には、本発明による顕微鏡検査方法１００が示されている。図３では枠を加えることによって、顕微鏡検査方法１００の特定の部分が表されている。

図３において、枠内にある左側のステップは、第１のイメージ処理モード１１０に関連する。２つの枠１２１および１２２を有する右側のステップは、第２のイメージ処理モード１２０に関連する。

第１のイメージ処理モード１１０は、第１のステップ１１１を有しており、このステップにおいて、例えばカメラ５によってイメージがキャプチャされる。第２のステップ１１２において、このイメージがディスプレイ７に送信される。第３のステップ１１３において、キャプチャされたばかりのイメージが次のイメージと比較される。この比較は、イメージを表す入力イメージデータセット５０に、所定のアルゴリズムを適用することによって、ディジタル形式で行われる。このイメージが、後続のイメージと同一ではない場合、または変化が十分に大きい場合、第１のステップ１１１が再び実行され、さらに次のイメージが取得されることになる。イメージが後続のイメージと同一である場合、または重要ではない程度に十分に小さい場合、顕微鏡イメージコントローラ装置１は、第２のイメージ処理モード１２０に自動的に切り替わり、ステップ１２３Ａ、１２３Ｂ、１２３Ｃまたは１２３Ｄのいずれか１つのステップにおいてパラメータを変化させながら、１つのイメージシーケンスが取得される。

ここで考えられるマルチイメージ処理を、虹彩融像１２３Ａ、ｚスタック１２３Ｂ、ＨＤＲ（ハイダイナミックレンジ）１２３Ｃ、または防眩１２３Ｄとすることができる。これらの処理のいずれを用いるのかは、ユーザによって設定することができる。ユーザは例えば、用いるべき所定の処理をターンオンすることができ、または用いるつもりではない処理をターンオフすることができる。上述の処理のいずれを用いるべきかを、ユーザが選択するようにしてもよい。さらに、いずれの処理を用いるべきであるのかが、アルゴリズムによって選択されるようにしてもよい。この種のアルゴリズムは、例えばイメージを分析して、いずれの処理が目下の状況に最も適切なものであるのかを判定することができる。当然ながら、１つの処理１２３Ａ、１２３Ｂ、１２３Ｃまたは１２３Ｄよりも多くの処理を実行させることができる。

続くステップ１２４において、マルチイメージ処理１２３Ａ、１２３Ｂ、１２３Ｃまたは１２３Ｄが成功したか否かがチェックされる。例えばイメージシーケンスを取得しているときにサンプルが動くなどして、マルチイメージ処理１２３Ａ、１２３Ｂ、１２３Ｃまたは１２３Ｄが成功しなかった場合、顕微鏡イメージコントローラ装置１は、第１のイメージ処理モード１１０に戻るように自動的にセットされ、ステップ１１１においてイメージが取得されることになる。マルチイメージ処理１２３Ａ、１２３Ｂ、１２３Ｃまたは１２３Ｄが成功した場合、次のステップ１２５においてイメージがディスプレイ７に送信される。

次いでステップ１２６において画像を取得することによって、サンプルの動きがチェックされ、この画像は次のステップ１２７において先行のイメージと比較される。２つのイメージが同一であれば、ステップ１２６が再び実施され、別のイメージが保持されて、ステップ１２７において先行のイメージと比較される。２つのイメージが同一ではなければ、または、変化量が閾値を超えていることが値によって示されたならば、顕微鏡イメージコントローラ装置１は、第１のイメージ処理モード１１０に戻るように自動的にセットされ、ステップ１１１においてさらに別のイメージが取得される。

図２および図３によれば、第１のイメージ処理モード１１０と第２のイメージ処理モード１２０との切り替えは、イメージ自体の変化量に依存する。ただしこの切り替えを、別の選択肢として、またはこれに加えて、イメージに関連するパラメータの変化量に依存させてもよい。具体的にはこの種のパラメータを、アパーチャ、焦点面、照明方向、照明強度、または単に付加的なセンサにより検出された動き、とすることができる。

１ 顕微鏡コントローラ装置
２ 顕微鏡
３ 入力部
４ 出力部
５ カメラ
６ センサ装置
７ ディスプレイ
５０ 入力イメージデータセット
６０ セッティングデータ
６１ コンフィギュレーションパラメータ
７０ 出力イメージデータセット
７１ ディスプレイデータセット
１００ 顕微鏡検査方法
１１０ 第１のイメージ処理モード
１１１ 第１のステップ
１１２ 第２のステップ
１１３ 第３のステップ
１２０ 第２のイメージ処理モード
１２１ 第２のイメージ処理モードの一部分
１２２ 第２のイメージ処理モードの一部分
１２３Ａ 虹彩融合
１２３Ｂ ｚスタック
１２３Ｃ ＨＤＲ
１２３Ｄ 防眩
１２４ ステップ
１２５ ステップ
１２６ ステップ
１２７ ステップ

Claims (13)

1. 第１および第２のカメラ（５）を有する顕微鏡（２）のための顕微鏡イメージコントローラ装置（１）であって、
   前記顕微鏡イメージコントローラ装置（１）は、入力部（３）と出力部（４）とを有しており、
   ●前記入力部（３）は、
   ・各々１つの顕微鏡イメージを表す、前記第１または第２のカメラ（５）によってキャプチャされた複数の連続する入力イメージデータセット（５０）、および、
   ・前記顕微鏡（２）の少なくとも１つの可変のコンフィギュレーションパラメータ（６１）を表す、複数の連続するセッティングデータ（６０）、
   を受信し、
   ●前記出力部（４）は、各々１つの顕微鏡イメージを表す出力イメージデータセット（７０）を出力し、
   ●前記顕微鏡イメージコントローラ装置（１）は、
   ・少なくとも２つの連続する入力イメージデータセット（５０）、および、
   ・少なくとも２つの連続するセッティングデータ（６０）、
   の一方における変化量に応じて、第１のイメージ処理モード（１１０）から第２のイメージ処理モード（１２０）へ切り替わるように構成されており、
   ●前記顕微鏡イメージコントローラ装置（１）は、
   ・少なくとも２つの連続する入力イメージデータセット（５０）、および、
   ・少なくとも２つの連続するセッティングデータ（６０）、
   の他方における変化量に応じて、前記第２のイメージ処理モード（１２０）から前記第１のイメージ処理モード（１１０）へ切り替わるように構成されており、
   ●前記第２のイメージ処理モード（１２０）において、前記出力イメージデータセット（７０）は、前記第１のイメージ処理モード（１１０）における個数よりも多い個数の、連続する入力イメージデータセット（５０）に基づいており、
   ●前記第１のカメラ（５）は、前記第１のイメージ処理モード（１１０）のために用いられ、前記第２のカメラ（５）は、前記第２のイメージ処理モード（１２０）のために用いられる、
   顕微鏡イメージコントローラ装置（１）。
2. 前記第１のイメージ処理モード（１１０）から前記第２のイメージ処理モード（１２０）へ切り替わるための計算判定基準は、前記第２のイメージ処理モード（１２０）から前記第１のイメージ処理モード（１１０）へ切り替わるための計算判定基準とは異なる、
   請求項１記載の顕微鏡イメージコントローラ装置（１）。
3. 前記複数の連続する入力イメージデータセット（５０）間の変化量は、イメージ処理アルゴリズムによって算出される、
   請求項１または２記載の顕微鏡イメージコントローラ装置（１）。
4. 切り替えのためには、前記変化量がプログラミングされた閾値を超えなければならない、
   請求項１から３のいずれか１項記載の顕微鏡イメージコントローラ装置（１）。
5. 前記第１のイメージ処理モード（１１０）は、シングルイメージモードであり、例えばライブビデオモードであり、特に毎秒少なくとも２５フレームのライブビデオモードである、
   請求項１から４のいずれか１項記載の顕微鏡イメージコントローラ装置（１）。
6. 前記第２のイメージ処理モード（１２０）において、マルチイメージ処理方式が用いられる、
   請求項１から５のいずれか１項記載の顕微鏡イメージコントローラ装置（１）。
7. 前記入力部（３）および／または前記出力部（４）は、ハードウェアコンポーネントである、
   請求項１から６のいずれか１項記載の顕微鏡イメージコントローラ装置（１）。
8. 顕微鏡（２）において、
   ●顕微鏡イメージコントローラ装置（１）と、
   ●各々１つの顕微鏡イメージを表す、複数の連続するディスプレイデータセット（７１）を表示するディスプレイ（７）と、
   ●各々１つの顕微鏡イメージを表す、複数の連続する入力イメージデータセット（５０）を供給する第１および第２のカメラ（５）と、
   ●前記顕微鏡（２）の少なくとも１つの可変のコンフィギュレーションパラメータ（６１）を表す、複数の連続するセッティングデータ（６０）を取得する少なくとも１つのセンサ装置（６）と、
   を備え、
   ●前記顕微鏡イメージコントローラ装置（１）は、前記入力イメージデータセット（５０）および前記セッティングデータ（６０）の一方における変化量に応じて、第１のイメージ処理モード（１１０）から第２のイメージ処理モード（１２０）へ切り替わるように構成されており、
   ●前記顕微鏡イメージコントローラ装置（１）は、前記入力イメージデータセット（５０）および前記セッティングデータ（６０）の他方における変化量に応じて、前記第２のイメージ処理モード（１２０）から前記第１のイメージ処理モード（１１０）へ切り替わるように構成されており、
   ●前記第２のイメージ処理モード（１２０）において、前記ディスプレイデータセット（７１）各々は、前記第１のイメージ処理モード（１１０）における個数よりも多くの個数の入力イメージデータセット（５０）に基づいており、
   前記第１のカメラ（５）は、前記第１のイメージ処理モード（１１０）のために用いられ、前記第２のカメラ（５）は、前記第２のイメージ処理モード（１２０）のために用いられる、
   顕微鏡（２）。
9. 前記第２のイメージ処理モード（１２０）において前記顕微鏡（２）は、前記複数の連続する入力イメージデータセット（５０）を自動的に供給するように構成されており、
   前記複数の連続する入力イメージデータセット（５０）のうち少なくとも１つのセットは、前記複数の連続する入力イメージデータセット（５０）のうち少なくとも１つの別のセットに対し変更された、少なくとも１つのコンフィギュレーションパラメータ（６１）によって生成される、
   請求項８記載の顕微鏡（２）。
10. 前記ディスプレイデータセット（７１）を前記ディスプレイ（７）に表示するコンテンツ表示レートは、前記第２のイメージ処理モード（１２０）においては、前記第１のイメージ処理モード（１１０）におけるレートよりも低い、
    請求項８または９記載の顕微鏡（２）。
11. 第１および第２のカメラ（５）と少なくとも１つのセンサ装置（６）とを有する顕微鏡（２）のための顕微鏡イメージコントローラ装置（１）の動作方法であって、
    前記第１および第２のカメラ（５）によって、各々１つの顕微鏡イメージを表す、複数の連続する入力イメージデータセット（５０）をキャプチャするステップと、
    前記少なくとも１つのセンサ装置（６）によって、前記顕微鏡（２）の少なくとも１つの可変のコンフィギュレーションパラメータ（６１）を表す、複数の連続するセッティングデータ（６０）を取得するステップと、
    前記入力イメージデータセット（５０）および前記セッティングデータ（６０）の一方における変化量に応じて、第１のイメージ処理モード（１１０）から第２のイメージ処理モード（１２０）へ切り替わるステップと、
    前記入力イメージデータセット（５０）および前記セッティングデータ（６０）の他方における変化量に応じて、前記第２のイメージ処理モード（１２０）から前記第１のイメージ処理モード（１１０）へ切り替わるステップと、
    各々１つの顕微鏡イメージを表す出力イメージデータセット（７０）を出力するステップと、
    を含み、
    ●前記第２のイメージ処理モード（１２０）において、前記出力イメージデータセット（７０）は、前記第１のイメージ処理モード（１１０）における個数よりも多い個数の、連続する入力イメージデータセット（５０）に基づいており、
    ●前記第１のカメラ（５）は、前記第１のイメージ処理モード（１１０）のために用いられ、前記第２のカメラ（５）は、前記第２のイメージ処理モード（１２０）のために用いられる、
    動作方法。
12. 前記顕微鏡（２）のアクチュエータおよび／または前記顕微鏡（２）の周辺機器を監視するステップを含む、
    請求項１１記載の動作方法。
13. 請求項１１または１２記載の方法を実施するためのソフトウェアを含む、コンピュータ媒体。

Images