JP6921973B2 - 試料の三次元画像を撮影および表示するための顕微鏡装置 - Google Patents

Description

本発明は、顕微鏡検査すべき試料を三次元撮影するため、および顕微鏡検査される試料の三次元画像を表示するための顕微鏡装置に関する。

顕微鏡検査される物体の三次元表示をリアルタイムで可能にする顕微鏡が所定の用途にとって必要である。代表的な使用分野は例えば手術顕微鏡、電子顕微鏡とレントゲン顕微鏡での用途、およびバイオ研究用とルーチン作業用の顕微鏡である。この用途の場合、三次元の印象を提供するために、現在は立体顕微鏡が使用される。この立体顕微鏡は人の視覚と相互作用して初めて仮性三次元表示を生成する。公知の立体顕微鏡は、得られた画像から立体画像を作成できる能力を使用者に要求する。しかしながら、三次元の印象は利用不可能である。

若干のデジタル顕微鏡は顕微鏡検査される物体の三次元表示を可能にする。そのために供される解決策はリアルタイム能力をもっていない。
特許文献１は、顕微鏡撮影および表示のための撮像システムを開示している。このシステムは深度情報を検出するための装置と、使用者の片方または両方の目の位置を能動的にリアルタイムで監視するための装置と、検出された目の位置に依存する二次元表示内容を形成するための手段を備えている。

特許文献２は試料を三次元測定するための方法を教示している。この方法は複数の使用者に同時に、試料を観察および検査することを可能にする。この解決策はレーザ走査顕微鏡（ＬＳＭ）に基づいている。レーザ走査顕微鏡のリアルタイム能力は、ラスター走査に基づくデータ検出によって制限される。

市場で入手可能である、製造業者のＳＤオプティクス社（ＳＤ Ｏｐｔｉｃｓ Ｉｎｃ．）の製品「３Ｄ ＷｉｓｅＳｃｏｐｅ ｍｉｃｒｏｓｃｏｐｅ」は、拡張された被写界深度（ＥＤｏＦ）を有する巨視的および顕微鏡的画像を迅速に生成することを可能にする。焦点合わせは１〜１０ｋＨｚおよびそれ以上の周波数で変更可能である。ＥＤｏＦ機能を実現するために、ＭＡＬＳモジュールと呼ばれるミラー−アレイ−レンズ系が使用される。ＭＡＬＳはミラーアレイレンズ系（Ｍｉｒｒｏｒ Ａｒｒａｙ Ｌｅｎｓ Ｓｙｓｔｅｍ）を表す。

立体顕微鏡は、しばしば、顕微鏡の周囲を三次元的にリアルタイムで検査するために利用される。そのために、３つのすべての次元でかつリアルタイムでナビゲーションが必要である。立体顕微鏡による空間的な感知は、人の視覚能力に基づいており、この視覚能力を適応させ、そして脳内で空間的な画像を再構成する。接眼レンズなしの検査およびナビゲーションは、人の視覚能力に基づいているが、立体画像を光学的な出力部に伝送するために、他の光学的な技術を用いている。それにもかかわらず、空間的な顕微鏡情報のデジタル文書化は問題があり、たいてい遅いので、リアルタイムで自然の視覚的な感知と比べることができない。これは一方では物理的な理由である。従って、すべての使用者が立体顕微鏡によって検出された画像を空間的に視覚化できるものではない。さらに、多くの使用者にとって、立体顕微鏡の接眼レンズまたは三次元ディスプレイによる作業は非常に手間がかかる。

特許文献３は立体顕微鏡観察のための装置を開示している。この装置の場合、立体顕微鏡画像が２つのビデオ画像から生成される。この解決策は２つのビデオ画像を投影するための２個のプロジェクタと、凹面鏡装置と、観察レンズを必要とする。投影されるべき２つの画像は、表示されるべき物体に関して場所および／またはその方向が異なっている。

特許文献４は、立体顕微鏡としても設計可能な手術顕微鏡を開示している。この手術顕微鏡は、カメラユニットの焦点位置を変更するための調整装置を備えている。複数の焦点値について発生させられる第１の画像データセットから、拡張された被写界深度を有する第２の画像データセットが求められる。第２の画像は少なくとも２５Ｈｚの周波数で発生および表示される。

特許文献５は、試料の顕微鏡走査の途中で、拡張された被写界深度範囲で画像を撮影するための方法を開示している。制御装置によって、光学ユニットのための可変の焦点調節範囲が設定される。焦点調節範囲のすべての焦点値のために、単一画像が撮影されるので、多数の単一画像が撮影される。この単一画像のそれぞれコントラストのあるセクションから、全体画像がリアルタイムで生成される。このプロセスは、全体画像をリアルタイムでディスプレイに再生すことができるように迅速に行われる。

特許文献６は顕微鏡システムを開示している。この顕微鏡システムの場合、影の情報が撮影された画像内で決定され、一方対物レンズの焦点距離が変更され、その都度の焦点位置が測定される。オールインフォーカス画像と、物体の高さマップが、それから三次元画像を求めるために決定される。オールインフォーカス画像の焦点合わせはリアルタイムで行うべきである。

特許文献７は、２つの異なる角度から物体を撮影するために少なくとも２つの撮像ユニットを備えたデジタル式立体手術顕微鏡を開示している。この立体手術顕微鏡は画像撮影ユニットによって撮影されたビームデータから地形データを生成するための地形ジェネレータを備えている。立体手術顕微鏡はさらに、立体図を生成するための表示ジェネレータと、複数の使用者に立体画像を提供するための少なくとも２つの画像表示ユニットを備えている。リアルタイムでの手術域の現実に忠実な表示は、地形ジェネレータと表示ジェネレータが５０ｍｓ以下で１つの立体顕微鏡図を表示するのに適していることによって達成される。

特許文献８から、内部組織を超音波診断するための方法が知られている。この方法の場合、三次元表示は例えばペッパーズゴースト（Ｐｅｐｐｅｒ’ｓ Ｇｈｏｓｔ）原理を利用して行われる。

特許文献９は、レンズセットの焦点距離を連続的に振動させるための手段を備えた顕微鏡用レンズセットを開示している。制限されない被写界深度を得るためには、鮮明な画像を迅速かつ逐次に提供すべきである。顕微鏡は例えば両眼用顕微鏡として形成することができる。

特許文献１０は、被写界深度を変更するための装置を備えた立体顕微鏡を開示している。この装置は例えば、周期的に周波数で制御されるマイクロミラーアレイによって形成されている。この周波数はフリッカー融合周波数以上である。

特許文献１１から、顕微鏡の開口絞りを制御するための方法が知られている。この方法によって特に、立体顕微鏡において被写界深度が最適化される。開口絞りは制御可能な透過ディスプレイによって形成されている。この透過ディスプレイはフリッカー融合周波数の近くの周波数で運転される。

欧州特許第２６７１１１４号明細書 米国特許出願公開第２０１５／００３２４１４号明細書 国際公開第２０１６／０７８９２３Ａ１号 独国特許出願公開第１０２０１５１１８１５４号明細書 独国特許出願公開第１０２００５０３２３５４号明細書 米国特許出願公開第２００４／０２６４７６５号明細書 独国特許出願公開第１０２０１６１０８６６４号明細書 米国特許出願公開第２０１５／０１７３７１５号明細書 独国特許発明第６９８００８０２号明細書 独国特許出願公開第１０２００６０２５１４９号明細書 独国特許出願公開第１０２００８０３７０７４号明細書

本発明の課題は、技術水準から出発して、顕微鏡検査される試料の現実に忠実な三次元再生を可能にする顕微鏡装置を提供することにある。

この課題を解決するために、請求項１に記載した顕微鏡装置が提供される。

本発明に係る顕微鏡装置の有利な実施の形態を概略的に示す。 本発明に係る顕微鏡装置の有利な実施の形態の表示ユニットを示す。 本発明に係る顕微鏡装置の制御ユニットによって有利に実施される方法のフローチャートを示す。

本発明に係る顕微鏡装置は、顕微鏡検査すべき試料を三次元撮影するためおよび顕微鏡検査される試料の三次元画像を表示する役割を有する。顕微鏡装置は、先ず最初に、試料の画像を得るための撮像ユニットを備えている。試料の画像は、少なくともその総和内にＸ方向とＹ方向とＺ方向の情報を含んでいる。Ｚ方向の情報は、好ましくは二次元の画像、特に異なる焦点合わせの二次元の画像から得られる。しかし、異なるＺ成分を有する少なくとも２つの二次元の画像でも有利である。代替的に、三次元データセットを補充した二次元画像でも有利である。代替的に、完全な三次元画像でも有利である。撮像ユニットによって得られる画像の場合、異なる焦点合わせを有し、それによっていわゆる焦点積み重ねまたはｚスタックを形成する二次元画像がきわめて有利である。撮像ユニットは、好ましくは少なくとも１つの対物レンズと少なくとも１つの画像センサを備えている。対物レンズは試料を光学的に結像させる役割を有する。画像センサは結像された画像を電気的な信号に変換する。撮像ユニットは、好ましくは、三次元画像を生成するために適した二次元画像、すなわち試料の画像を撮影するように設計されている。取り込まれた二次元画像から、深度情報を得ることができる。そのために試料は例えば異なる試料側の視野で撮影される。さらに、異なる焦点位置でまたは異なる照明方向で、または異なる照明方向、照明条件および異なる焦点位置で試料の画像を取り込むことができる。撮像ユニットは、好ましくは拡張された被写界深度を有する画像を取り込むように形成されている。そのために、撮像ユニットは好ましくは機械的に移動可能なマイクロミラー（ＭＡＬＳ）を有するマイクロシステムを備えている。

顕微鏡装置は、さらに、撮像ユニットの画像から試料の三次元画像を生成するための画像処理ユニットを備えている。三次元画像は、３つのすべての次元での再生によって観察者に三次元表示の錯覚を引き起す表示であり、かつ／またはすべての側から観察することができる三次元表示である。従って、この画像は３つのすべての次元で再生することができないため、単なる立体画像または両眼画像ではない。その理由は、画像が、この前提のもとでのみ、二次元画像として再生可能である、２つの異なる位置から見た２つの二次元ビューであるからである。三次元画像は、それぞれ複数の位置からおよび／または複数の側から観察することができる三次元表示であるときわめて有利である。三次元画像はさらに、それぞれすべての位置からおよび／または観察可能なまたは撮影されるすべての側から観察することができる三次元表示であると有利である。画像処理ユニットによって生成可能な三次元画像はそれぞれ、三つの次元に分配された多数のボクセルを備えていると特に有利である。三次元画像はそれぞれ、デカルト座標で離散した形で存在する空間的なデータセットである。この場合、ボクセルはそれぞれデータセットのＸＹＺ座標の離散した値を示す。データセットの各ＸＹＺ座標に値を割り当てる必要はない。それによって、若干のボクセルが定められない。表面、特に試料の表面を表すボクセルのみが定められると有利である。これによって、三次元画像を低コストで生成および表示することができる。

三次元画像が、撮影された二次元画像から生成されると有利である。ボクセルを含む三次元画像は、好ましくはそれぞれ、異なる焦点合わせの二次元画像から生成される。そのために、異なる焦点合わせの二次元画像から、先ず最初に深度情報が求められる。

画像処理ユニットは、好ましくは、１秒あたり少なくとも１つの試料三次元画像を生成することができるように構成されている。画像処理ユニットは、１秒あたり１つの試料三次元画像よりも多い試料三次元画像、好ましくは１秒あたり１０〜５０個の試料三次元画像を、さらに好ましくは１秒あたり３００個までの試料三次元画像を生成するように設計される。そのためには勿論、撮像ユニットは然るべき能力を有していなければならず、それによって三次元画像を生成するために例えば必要な試料の二次元画像の数が提供される。例えば、試料の各々の生成された三次元画像のために、少なくとも２つの異なる試料画像を提供しなければならない。上述の「３Ｄ ＷｉｓｅＳｃｏｐｅ ｍｉｃｒｏｓｃｏｐｅ」は、例えばこのような能力を有する。画像処理ユニットによって生成された試料の三次元画像は、好ましくはそれぞれ少なくとも１ｍｍ、さらに好ましくは少なくとも１０ｍｍの辺の長さを有する立方体を表す。しかし、上記の採寸は、例にすぎない。他の適切な採寸を有する三次元画像でもよい。物体平面内で、回折限界までの光学的な解像が達成可能である。

顕微鏡装置の他の構成部分は、少なくとも１つの三次元表示ユニットを形成している。この表示ユニットは、画像処理ユニットによって生成された試料の三次元画像を三次元表示する役割を有する。そのためには、画像処理ユニットが三次元画像データを、三次元表示ユニットで表示するのに適したデータフォーマットで提供しなければならない。顕微鏡装置は、三次元表示ユニットのほかに、好ましくは補足して、二次元表示ユニットを備えている。２つの表示ユニットは、好ましくは、試料の画像を一緒に表示するように構成されている。代替的に、二次元表示ユニットが、断面画像または試料の寸法を測るための機能要素または顕微鏡装置を操作するための機能要素を表示するように構成されていると有利である。個々の表示ユニットの画像繰り返し周波数は、表示すべき内容の目的および所与の要求に依存して異なってもよい。

顕微鏡装置は、本発明に従い、静的な三次元画像のみならず、可動の三次元画像も生成および表示するように形成されている。人の視覚は、表示した三次元画像を時間的に変わらないものとしてではなく、時間に依存するものとして解するので、試料の変化は、人の知覚にとって無視できる遅延で同期再生される。従って、顕微鏡装置は、１秒あたり少なくとも１つの三次元画像の画像繰り返し周波数で、試料の三次元画像を生成および表示するように構成されている。同様に、画像処理ユニットは、１秒あたり少なくとも１つの画像の画像繰り返し周波数で、試料の三次元画像を生成するように構成されている。同様に、表示ユニットは、１秒あたり少なくとも１つの画像の画像繰り返し周波数で、生成された試料の三次元画像を三次元表示するように構成されている。１秒あたり少なくとも１つの画像の画像繰り返し周波数は、顕微鏡装置にリアルタイム能力をもたらす。これらは、それぞれボリュームと呼ぶこともできる試料の三次元範囲の三次元画像であるので、画像繰り返し周波数は、ボリューム繰り返し周波数として説明することができる。このボリューム繰り返し周波数は本発明では、１秒あたり少なくとも１つのボリュームである。

画像繰り返し周波数またはボリューム繰り返し周波数は、好ましくは１秒あたり少なくとも１０個、さらに好ましくは少なくとも２５個の画像またはボリュームである。
本発明に係る顕微鏡装置の重要な利点は、この顕微鏡装置が今まで知られていた解決策と比べて、顕微鏡検査される試料の被写界深度を拡張した、三次元移動深度縮小再生／リアルタイム再生を可能にすることにある。そのために、顕微鏡検査される試料の三次元像が迅速に生成および表示される。それによって、試料の現在の三次元画像が試料の三次元的な錯覚のために使用者に供される。使用者は使用される三次元表示ユニットによって錯覚を快適に観察することができる。本発明に係る顕微鏡装置の速度は、技術水準と比べて、例えばラスタースキャンに基づくデータ検出によって、静的な三次元再生に限定されない。

顕微鏡装置は、有利な実施形態では、撮像処理ユニットによって検出されたデータおよび／または画像処理ユニットによって処理されたデータを伝送するためのデータインターフェースを備えている。得られたデータを例えば他の処理部に供給するため、空間的に離れた表示ユニットでの表示を可能にするため、あるいは場合によっては例えば保管所に納める目的でデータを記憶するために、データインターフェースに外部機器を接続することができる。

顕微鏡装置が電子制御ユニットを備えていると有利であることが証明されている。制御ユニットによって、撮像ユニットおよび／または画像処理ユニットおよび／または表示ユニットを制御することができる。制御ユニットは、好ましくは画像処理ユニットに統合され、この画像処理ユニットと共に１つの構造ユニットを形成している。制御ユニットは、顕微鏡装置の運転時に効率的な作業の流れを可能にする。使用者は好ましくは若干の介入しか必要としない。この介入は、顕微鏡装置のユニットのオンオフ、画像撮影の開始および生成されたデータの記憶の開始に減らすことができるので有利である。有利な実施形態は、使用者によって操作可能な操作ユニットを備えた制御ユニットを使用する。操作ユニットは好ましくは電子的なモバイル機器として、有利には自由にプログラミング可能な移動電話（スマートホン）、タブレットコンピュータまたは類似の機器として形成されている。操作ユニットはさらに、例えばコンピュータマウス、タッチパッド、キーボード、意思表示用センサ、ジョイスティックのように、制御命令を入力するために使用可能である。

少なくとも１つの三次元表示ユニットは、好ましくは、ホログラフィック表示ユニットとして、三次元動画再生を行うための装置として、あるいは使用者の頭部に装着可能な三次元表示ユニット（頭部取付けディスプレイ）として形成されている。上記の三次元表示ユニット、特に使用者の頭部に装着可能な三次元表示ユニット（頭部取付けディスプレイ）は本発明に従って特に、使用者がその視線の位置および方向を選択できるようにすることによって、三次元表示を可能にする。これは技術水準で知られている立体顕微鏡再生の場合には単独では不可能である。

有利な他の実施形態では、表示ユニットがペッパーズゴースト原理に基づいている。そのために、表示ユニットは周囲に配置された複数の部分透明ミラーと、部分透明ミラーの方に向けられた投影ユニットを備えている。部分透明ミラーが半透明ミラーによって形成されると有利である。部分透明ミラーは部分反射するかまたは半分反射する。部分透明ミラーまたは部分反射ミラーの反射率または部分透明性が好ましくは制御可能であるので、部分透明ミラーは、制御可能な部分反射ミラーである。投影ユニットは、その都度表示すべき三次元画像の、視点（Ｐｅｒｓｐｅｋｔｉｖｅ）に割り当てられた部分画像を、個々の部分透明ミラーに投影するように形成されている。部分透明ミラーの間の中間室内には、その都度表示すべき三次元画像を再生する三次元ビジョンが発生する。投影ユニットは、好ましくは光によって二次元画像を表示するように設計されている。投影ユニットは、好ましくはディスプレイによって形成されている。

部分透明ミラーは、好ましくはピラミッドの側面のように配置されている。ピラミッドは好ましくは４つの側面を有するので、部分透明ミラーの数は４つである。ピラミッドの底面は、好ましくは長方形である。投影ユニットは好ましくは上側からピラミッドの方に向いている。好ましくはディスプレイの形をした投影ユニットは、好ましくはピラミッドの底面に対して平行に配置されている。

代替的に、部分透明ミラーがスフェロイド、球、または楕円体の形に配置されていると有利である。この場合、スフェロイド、球、または楕円体は完全に再現されなくてもよい。投影ユニットは、好ましくは上側からスフェロイド、球または楕円体の方に向けられている。

撮像ユニットは、好ましくは異なる視点から拡張した被写界深度を有する画像を撮影するように設計されている。画像処理ユニットは、三次元画像の二次元画像（各々が１つの視点に関連付けられた三次元画像の単一画像）を演算するように形成されている。この場合、二次元単一画像は表示ユニットの投影ユニットによってそれぞれ部分透明ミラーに投影される。そのために、画像処理ユニットは、好ましくは、拡張された被写界深度を有する撮影された画像の視点を、表示ユニットで表示すべきである、拡張された被写界深度を有する単一画像の視点に変換するように設計されている。表示ユニットは、好ましくは、異なる視点に関する単一画像が提供されないかぎり、同じ単一画像を部分透明ミラーに投影するように形成されている。異なる視点からの単一画像の決定のために、画像処理ユニットは、好ましくは、撮影された画像から三次元モデルを決定するように設計されている。

顕微鏡装置は、有利な実施形態では、複数の使用者が生成された三次元画像データを同時に観察することができるように構成されている。この場合、使用者は空間内の異なる位置にいて、移動可能である。好ましくはさらに、三次元画像データのコントロール、すなわち三次元画像データによるナビゲーションおよび／または相互作用が、複数の使用者の各々にとって個別的に可能になる。個々の使用者は再生された試料についてのビューを個別的に選択することができる。そのために特に、制御ユニットと場合によっては表示ユニットが、複数の使用者によって同時に操作されるように構成されている。一方では、三次元表示ユニットを、撮像ユニットと相対的な空間内の所定の個所に位置決めすることができる。代替的に、個々に装着可能な三次元表示ユニットを装備した複数の使用者によって、同じ場面を同時に観察することができる。

顕微鏡装置は、有利な実施形態では、顕微鏡検査される試料の三次元モデルを出力するための三次元プリンタを備えている。三次元モデルは三次元プリンタによって望み通りに拡大して出力することができる。続いて、他の検査のために供することができるか、または三次元表示ユニットに表示された三次元モデルとの比較のために使用することができる。そのために、印刷された三次元モデルは三次元表示装置の表示域内に配置される。表示された三次元モデルと印刷された三次元モデルの比較は、付加的な顕微鏡デジタル化手段を使用して自動で、半自動で、または手動で行うことができる。付加的な顕微鏡デジタル化手段はさらに、試料または試料の拡大されたコピーの効率的なナビゲーションのために、三次元の外観的表示を可能にする。

顕微鏡装置は、好ましくは試料を収容するための試料テーブルを備えている。この試料テーブルはＸ方向および／またはＹ方向に移動可能であり、および／または回転可能または傾斜可能である。これにより、試料は高い精度で位置決め可能である。試料テーブルのこの機能は、異なる試料側の視野での試料の記録のために利用される。

本発明に係る顕微鏡装置の電子制御ユニットは、好ましくは、低コストの被写界深度拡張を提供する方法を実施するように構成されている。この方法により、試料は拡張された被写界深度で低コストで画像形成可能である。この方法のステップでは、撮像ユニットによって、試料の複数の画像、すなわち複数の二次元画像が撮影される。この場合、画像は異なる焦点合わせで撮影される。それによって、撮影された画像、すなわち二次元画像は焦点積み重ねを形成する。画像、すなわち二次元画像は好ましくは、多数の異なる焦点合わせで撮影される。この焦点合わせは、焦点合わせインターバルの最小の焦点合わせから焦点合わせインターバルの最大の焦点合わせの範囲である。好ましくは少なくとも４個の画像が異なる焦点合わせで撮影され、特に好ましくは、少なくとも１０個の画像が異なる焦点合わせで撮影される。

有利に実施される他のステップでは、個々の画像内の不鮮明な画像部分を除去することによって、画像の処理、すなわち二次元画像の処理が行われる。不鮮明な画像部分は好ましくは空間周波数分析によって検出される。不鮮明な画像部分は好ましくは、この画像部分内のピクセルを透明なものとして定めることによって除去される。

他のステップでは、表示ユニットによって、画像の表示、すなわち二次元画像の表示が時間的な順序で行われる。それによって、試料の被写界深度を拡張した画像が生成される。迅速な時間的順序で個々の画像を表示することにより、観察者は試料の単一の画像の印象を持ち、この場合、画像は各画像領域に関する鮮明な画像部分を含んでいるので、被写界深度が拡張される。好ましくは、処理された画像の表示が時間的な順序で行われる。不鮮明な画像部分が処理された画像では除去されているので、鮮明な画像部分のみが表示される。処理された個々の画像を迅速な時間的順序で表示することにより、試料の単一の画像の印象が観察者に生じる。この場合、画像が不鮮明な画像部分を含んでいないので、被写界深度が拡張される。有利に処理された画像は、フレームレートで表示される。このフレームレートは好ましくは少なくともフリッカー融合周波数ほど大きい。二次元画像の表示は好ましくは、周囲に配置された部分透明ミラーの１つで行われる。それによって、試料の被写界深度が拡張された画像はそれぞれ部分透明ミラーで生成される。表示ユニットのこの実施形態が周囲に配置された部分透明ミラーの複数個を備えているので、１つの視点からの被写界深度が拡張された画像の一つが、各部分透明ミラーに生成される。それによって、部分透明ミラーの間に、三次元画像が三次元表示される。

この実施形態の特別な利点は、拡張した被写界深度を有する全体画像または合成画像のコストのかかる演算を省略することができ、それによって三次元画像の生成および表示が迅速に達成可能であることにある。

撮像ユニット、画像処理ユニットおよび／または表示ユニットが上記の方法を実施できるように形成されていると有利である。
本発明の他の特徴と発展形態は、図を参照した、有利な実施の形態の次の説明から明らかになる。

図１は本発明に係る顕微鏡装置０１の有利な実施の形態を概略的に示す。
本発明に係る顕微鏡装置０１の図示した実施の形態は、先ず最初に、撮像ユニット０２を備えている。この撮像ユニット０２によって、試料（図示せず）を撮影することができる。撮像ユニット０２は例えば、三次元画像を生成するのに適した画像を提供するように構成されている。撮像ユニット０２は少なくとも１つの照明モジュール（図示せず）と、試料の画像を光学的に結像するためのレンズ（図示せず）と、結像された画像を電気的な信号に変換するための画像センサ（図示せず）を含んでいる。図示していない有利な他の実施の形態は、異なる視点からの撮影、すなわちいろいろな撮影視角での撮影を可能にする。そのために、撮像ユニット０２は例えば、空間的に分配された複数の撮像装置を備えている。

画像処理兼制御ユニット０３は、顕微鏡装置０１の他の構成部材を形成している。画像処理のために使用される画像処理兼制御ユニット０３の構成要素は、撮像ユニット０２によって撮影された画像から、試料の三次元画像を生成する。本発明では、１秒あたり少なくとも１つの試料三次元画像を生成することができる。１秒あたり１つの試料三次元画像よりも多くの三次元画像を生成することが望まれる。好ましくは１秒あたり１０〜６０個の試料画像、さらに好ましくは１秒あたり３００個までの試料画像が生成されるべきである。制御の役割を有する画像処理兼制御ユニット０３の構成要素は、撮像ユニット０２を制御し、そして好ましくは顕微鏡装置０１の以下に説明する構成部材の少なくとも若干と相互作用する。代替的な実施の形態の場合、画像処理兼制御ユニット０３は分離された構成要素によって形成することができる。

顕微鏡装置０１はさらに、試料の三次元画像を表示するための三次元表示ユニット０４を備えている。三次元表示ユニット０４は例えばホログラフィック表示ユニットとして、あるいは例えば３Ｄ眼鏡またはヘッドマウンテッドディスプレイのような使用者の頭部に装着可能な三次元表示ユニットとして形成可能である。二次元表示ユニット０５は、試料の二次元画像を表示する役割を有する。さらに、三次元画像と二次元画像を同時にまたは別々に、三次元表示ユニット０４によって表示することができる。

試料の三次元モデルは三次元プリンタ０７を介して印刷可能である。印刷された試料の三次元モデルは、三次元表示ユニット０４に表示された試料の三次元モデルと比較することができる。そのために、顕微鏡装置０１は比較ユニット０８を備えている。比較ユニット０８は、試料の印刷された三次元モデルをデジタル化するための要素を備えている。

顕微鏡装置０１はさらに、操作ユニット０９を備えている。この操作ユニットによって、顕微鏡装置０１の個々のユニットを制御するための使用者の制御命令を入力することができる。操作ユニット０９は、好ましくは電子モバイル機器として形成され、特に自由にプログラミング可能なモバイル電話またはタブレットコンピュータとして形成されていると有利である。代替的に、操作ユニット０９は、コンピュータマウス、タッチパッド、キーボード、またはジョイスティックとして設計することもできる。さらに、操作ユニット０９の機能要素を試料の画像と同時に、三次元表示ユニット０４または二次元表示ユニット０５によって表示することができる。

顕微鏡装置０１はさらに、データインターフェース１０を備えている。このデータインターフェース１０を経て、撮像ユニット０２によって検出されたデータおよび／または制御兼画像処理ユニット０３によって処理されたデータが、外部機器１２に伝送可能である。外部機器１２は、例えば離れた場所にいる使用者のためにデータの可視化を可能にする。データはさらに処理、評価可能であるか、または外部の記憶媒体に供給可能である。

図２は、本発明に係る顕微鏡装置の有利な実施の形態の表示ユニット０４を示している。この実施の形態の場合、表示ユニット０４はペッパーズゴースト原理に基づいている。表示ユニット０４はフレーム１４を備えている。このフレームに、部分透明で部分反射する３個または４個の周囲に配置されたミラー１５が固定されている。表示ユニット０４はさらに、投影ユニット１６を備えている。この投影ユニットは、偏平ディスプレイによって形成され、上側から部分透明なミラー１５の方に向けられている。部分透明なミラー１５は、ピラミッドの側面のように配置されている。投影ユニット１６は、その都度表示すべき三次元画像１７の、視点に割り当てられたそれぞれ１つの部分画像を、部分透明な個々のミラー１５に投影するように形成されている。部分透明なミラー１５の間の空間内には、いくつかの視点１８から観察することができる三次元ビジョンの形をした三次元画像１７が生じる。

図３は、低コストの被写界体深度拡張を提供する方法の有利な実施の形態のフローチャートを示す。この方法は電子式画像処理兼制御ユニット０３（図１に図示）によって実現される。この方法によって、試料は、拡張された被写界深度でかつ低コストで結像可能である。この方法のステップでは、試料の多数の二次元画像または画像が撮影される。この場合、二次元画像はいろいろな焦点合わせで撮影される。それによって、撮影された二次元画像または画像は、焦点積み重ねと、三次元画像の基礎を形成する。他のステップにおいて、個々の二次元画像内の不鮮明な構成部分が除去されるかまたはマスクされるので、二次元画像は実質的に鮮明な部分のみを有する。他のステップにおいて、表示ユニット０４（図１に図示）を用いて、鮮明な部分のみを含む画像が速い時間的順序で表示される。それによって、被写界深度を拡張した試料の画像が形成される。表示ユニット０４（図１に図示）を用いて異なる視点から被写界深度を拡張した画像を表示することにより、二次元画像から求められた三次元画像の三次元表示が達成される。

０１…顕微鏡装置
０２…撮像ユニット
０３…画像処理兼制御ユニット
０４…三次元表示ユニット
０５…二次元表示ユニット
０７…三次元プリンタ
０８…比較ユニット
０９…操作ユニット
１０…データインターフェース
１２…外部機器
１４…フレーム
１５…部分透明ミラー
１６…投影ユニット
１７…三次元画像
１８…視点

Claims (13)

1. 試料を三次元撮影するため、および試料の三次元画像を表示するための顕微鏡装置（０１）であって、
   試料の画像を得るための撮像ユニット（０２）と、
   前記撮像ユニット（０２）の画像から試料の三次元画像を生成するための画像処理ユニット（０３）と、
   試料の生成された三次元画像（１７）を三次元表示するための少なくとも１つの表示ユニット（０４）と、
   前記撮像ユニット（０２）および／または前記画像処理ユニット（０３）および／または前記表示ユニット（０４）を制御するための電子的な制御ユニット（０３）とを備え、
   前記顕微鏡装置が、１秒あたり少なくとも１つの画像の画像繰り返し周波数で、試料の三次元画像（１７）を生成および表示するように構成されており、前記三次元画像（１７）は、すべての側から観察することができ、前記電子的な制御ユニット（０３）が、被写界体深度拡張のための方法を実施するように構成され、この方法が、
   試料の二次元画像を撮影するステップと、ここで、画像が焦点積み重ねを形成するように、画像が異なる焦点合わせで撮影され、
   時間的に連続して個々の画像を表示するステップとを含み、それによって被写界体深度が拡張された試料の画像が生成されることを特徴とする顕微鏡装置（０１）。
2. 前記撮像ユニット（０２）が試料の二次元画像を得るように形成され、二次元画像が異なる焦点合わせを有することを特徴とする請求項１に記載の顕微鏡装置（０１）。
3. 前記画像処理ユニット（０３）によって生成可能な三次元画像が、それぞれ複数の位置および／または複数の側から観察可能であることを特徴とする請求項１または２に記載の顕微鏡装置（０１）。
4. 前記画像処理ユニット（０３）によって生成可能な三次元画像が、それぞれ、三次元内に分配された多数のボクセルを有することを特徴とする請求項１〜３のいずれか一項に記載の顕微鏡装置（０１）。
5. 前記画像処理ユニット（０３）によって生成可能な三次元画像内に、試料の表面を示すボクセルのみが表されていることを特徴とする請求項４に記載の顕微鏡装置（０１）。
6. 前記画像処理ユニット（０３）によって生成可能な三次元画像が、それぞれ、異なる焦点合わせの少なくとも２つの二次元画像によって形成されていることを特徴とする請求項１〜５のいずれか一項に記載の顕微鏡装置（０１）。
7. 前記少なくとも１つの表示ユニット（０４）がホログラフィック表示ユニットまたは使用者の頭部に装着可能な三次元表示ユニットとして形成されていることを特徴とする請求項１〜６のいずれか一項に記載の顕微鏡装置（０１）。
8. 前記表示ユニットが周囲に配置された複数の部分透明ミラー（１５）と、投影ユニット（１６）とを備え、前記投影ユニットが前記部分透明ミラー（１５）の方に向けられ、かつ各視点に割り当てられた三次元画像（１７）の部分画像を個々の前記部分透明ミラー（１５）に投影するように形成されていることを特徴とする請求項１〜６のいずれか一項に記載の顕微鏡装置（０１）。
9. 前記部分透明ミラー（１５）がピラミッドの側面のようにまたはスフェロイドの形に配置され、前記投影ユニット（１６）が上側からピラミッドまたはスフェロイドの方に向けられていることを特徴とする請求項８に記載の顕微鏡装置（０１）。
10. 前記顕微鏡装置が、顕微鏡で検査される試料の三次元モデルを出力するための三次元プリンタ（０７）を備えていることを特徴とする請求項１〜９のいずれか一項に記載の顕微鏡装置（０１）。
11. 前記撮像ユニット（０２）が、拡張された被写界体深度で画像を撮影するように形成され、そのために前記撮像ユニット（０２）が機械的に移動可能なマイクロミラーを有するマイクロシステムを備えていることを特徴とする請求項１〜１０のいずれか一項に記載の顕微鏡装置（０１）。
12. 前記電子的な制御ユニット（０３）が、複数の使用者によって同時操作可能に構成されていることを特徴とする請求項１〜１１のいずれか一項に記載の顕微鏡装置（０１）。
13. 前記電子的な制御ユニット（０３）がさらに、画像の撮影後に行われる被写界体深度拡張のための方法の更なるステップを実施するように構成され、画像の処理が個々の画像内の不鮮明な画像部分の除去によって行われ、処理された個々の画像の表示が時間的に連続して行われ、それによって試料の被写界体深度が拡張された画像が生成されることを特徴とする請求項１に記載の顕微鏡装置（０１）。

Images