JP5715371B2 - 被写界深度が向上した撮像システム及び撮像方法 - Google Patents

被写界深度が向上した撮像システム及び撮像方法 Download PDF

Info

Publication number
JP5715371B2
JP5715371B2 JP2010229193A JP2010229193A JP5715371B2 JP 5715371 B2 JP5715371 B2 JP 5715371B2 JP 2010229193 A JP2010229193 A JP 2010229193A JP 2010229193 A JP2010229193 A JP 2010229193A JP 5715371 B2 JP5715371 B2 JP 5715371B2
Authority
JP
Japan
Prior art keywords
sample
images
image
pixel
merit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010229193A
Other languages
English (en)
Other versions
JP2011109644A (ja
Inventor
ケヴィン・バナード・ケニー
デイヴィッド・ラヴァン・ヘンダーソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2011109644A publication Critical patent/JP2011109644A/ja
Application granted granted Critical
Publication of JP5715371B2 publication Critical patent/JP5715371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は撮像に関し、特に、被写界深度が向上した画像の構成に関する。
癌、感染症及び他の異常などの生理的状態の予防、監視及び治療には、適切な時点でそのような生理的状態を診断することが必要とされる。一般に、疾患の解析及び識別には、患者から採取された生物標本が使用される。試料の解析及び評価のために広く使用されている技術は、顕微鏡による解析である。特に、疾患の状態を示す細胞及び/又は生体の異常数又は異常型の有無を検出するために試料を検査することもある。試料の迅速な解析を容易にし且つ時間の経過に伴って技術者が疲労を感じることにより試料の読み取りが不正確になる危険性がある手作業による解析と比較して精度を向上するために、自動顕微鏡解析システムが開発された。通常、スライドに試料を載せ、それを顕微鏡に配置する。顕微鏡のレンズ又は対物レンズの焦点は、試料の特定の領域に合わせてもよい。次に、試料の1つ以上の関心被検体が走査される。なお、高画質の画像の収集を容易にするために、試料/対物レンズの焦点を適正に合わせることがきわめて重要である。
種々の試料を観察するためにデジタル光学顕微鏡が使用される。被写界深度は、レンズ系により画像平面に結像される3次元(3D)シーンの合焦部分に対応する視軸に沿った深度範囲の測定値として定義される。通常、デジタル顕微鏡を使用して収集される画像は高い開口数で収集される。一般に、高い開口数で収集される画像は、試料と対物レンズとの離間距離の影響を非常に受けやすい。数μmの偏差であっても、試料は簡単に焦点から外れてしまう。さらに、顕微鏡の視野が1つであっても、光学系を調整するだけでは試料全体を一度に焦点合わせすることが不可能な場合もある。
さらに、走査型顕微鏡の場合、収集される画像は複数の視野から合成されるので、上記の問題はいっそう深刻になる。試料の凹凸形状に加えて、顕微鏡のスライドの表面にも凹凸がある。顕微鏡の光軸に対して垂直な平面においてスライドを並進移動する機構は、スライドを上下動し且つ傾斜させる間に画質にさらに大きな欠陥を発生させ、それにより、収集される画像の合焦状態は不完全になる。また、スライド上に配設された試料が顕微鏡の1つの視野の中で実質的に平坦な状態ではない場合、合焦状態が不完全になるという問題はさらに悪化する。特に、スライド上に配設された試料は、スライドの平面から外れた位置に著しく多くの量の物質を含む場合がある。
スライドの平面外に著しく多くの量の物質を含む試料の撮像と関連する問題に対処するいくつかの撮像技術が開発されている。一般に、それらの技術は、顕微鏡の全視野を取り込むこと及びそれらの視野をはぎ合わせることを伴う。しかし、1つの視野の中で試料の深度が大きく変化する場合にそのような技術を使用すると、適切に焦点を合わせることができない。3次元(3D)微視的シーンの深度情報を収集するために、共焦点顕微鏡検査が採用されている。しかし、それらのシステムは複雑で高価になりがちである。また、共焦点顕微鏡検査は微視的試料の撮像に通常限定されるので、巨視的シーンの撮像には一般に実用的ではない。
他のある特定の技術は、複数の焦点平面で画像を収集し且つ保持することにより、1つの視野の中で試料の深度が著しく大きく変化する場合の自動焦点合わせの問題に対処する。それらの技術は、顕微鏡の操作者には周知の画像を提供するが、3〜4倍の量のデータを保持しなければならず、高処理能力計測器に利用するには高価すぎるだろう。
加えて、現在利用可能な他のある特定の技術は、画像を複数の一定の領域に分割すること及びそれらの領域で実現されるコントラストに基づいてソース画像を選択することを含む。これらの技術を使用した場合、残念ながら生成画像の中に望ましくないアーティファクトが発生する。さらに、特にスライド上に配設された試料が1つの視野の中で実質的に平坦ではない場合、それらの技術により生成される画像の焦点品質は限定されてしまうので、特に診断に際して高倍率が要求される場合(骨髄穿刺液など)には、病理検査室において試料中の異常を診断するためのこの種の顕微鏡の使用は制限される。
米国特許第6201899号明細書 米国特許第6320979号明細書 米国特許第7209293号明細書 米国特許第7365310号明細書
従って、画質を向上するという利点を提供する被写界深度が向上した画像を構成するように構成された確かな技術及びシステムを開発することが望ましいだろう。さらに、スライドの平面外に有意物質を含む試料を正確に撮像するように構成されたシステムが必要とされる。
本発明の態様によれば、撮像方法が提供される。本方法は、対物レンズと、撮像される試料を保持する台とを有する撮像装置を使用して複数の試料距離で重複する視野に対応する複数の画像を収集することを含む。さらに、本方法は複数の収集画像の各画像の各画素に対応する性能指数を判定することを含む。本方法は、判定された性能指数に基づいて複合画像を合成することをさらに含む。
本発明の別の態様によれば、撮像装置が提供される。本装置は対物レンズを含む。さらに、本装置は試料の複数の画像を生成するように構成された一次イメージセンサを含む。本装置は、試料を撮像するために光軸に沿って対物レンズと試料との間の試料距離を調整するように構成されたコントローラをさらに含む。本装置は、試料を支持し且つ光軸に対してほぼ直交する少なくとも1つの横方向に試料を移動するための走査台をさらに含む。さらに、本装置は、複数の試料距離で重複する視野に対応する複数の画像を収集し、複数の収集画像の各画像の各画素に対応する性能指数を判定し且つ判定された性能指数に基づいて複合画像を合成するための処理サブシステムを含む。
本発明の上記の特徴、面及び利点並びに他の特徴、面及び利点は、添付の図面を参照して以下の詳細な説明を読むことによりさらによく理解されるだろう。図面中、同じ図中符号は一貫して同じ部分を示す。
図1は、本発明の態様を取り入れたデジタル光学顕微鏡などの撮像装置を示すブロック図である。 図2は、スライドの上に配設された平面外に有意物質を有する試料を示す概略図である。 図3は、本発明の態様に係る複数の画像の収集を示す概略図である。 図4は、本発明の態様に係る複数の画像の収集を示す概略図である。 図5は、本発明の態様に係る図2に示す試料のような試料の撮像の方法の一実施例を示すフローチャートである。 図6は、本発明の態様に係る図5の撮像処理において使用するための収集画像の一部分を示す概略図である。 図7は、本発明の態様に係る図6の収集画像の部分の複数のセクションを示す概略図である。 図8は、本発明の態様に係る図6の収集画像の部分の複数のセクションを示す概略図である。 図9Aは、本発明の態様に係る複合画像を合成する方法を示すフローチャートである。 図9Bは、本発明の態様に係る複合画像を合成する方法を示すフローチャートである。
以下に詳細に説明されるように、画質を向上し且つ走査速度を最適にしつつ、スライドの平面外に有意物質を含む試料などの試料を撮像する方法及びシステムが提供される。以下に説明される方法及び装置を使用することにより、試料走査の臨床作業の流れを簡略化する一方で、画質の向上及び走査の大幅なスピードアップを実現するという利点が得られる。
以下に示す例示的な実施形態はデジタル顕微鏡に関連して説明されるが、本発明と関連して、望遠鏡、カメラ又はX線コンピュータ断層撮影(CT)撮像システムなどの医療用スキャナなどを含むが、それらに限定されない他の用途における撮像装置の使用も考えられる。
図1は、本発明の態様を取り入れたデジタル光学顕微鏡などの撮像装置10の一実施形態を示す。撮像装置10は、対物レンズ12、一次イメージセンサ16、コントローラ20及び走査台22を含む。図示した実施形態では、試料24はカバースリップ26とスライド28との間に配設され、試料24、カバースリップ26及びスライド28は走査台22により支持される。カバースリップ26及びスライド28はガラスなどの透明材料から製造されてもよく、試料24は、生物試料を含む多様な被検体又は試料を示してもよい。例えば、試料24は、集積回路チップ又は超小型電気機械システム(MEMS)などの工業製品及び肝細胞又は腎細胞を含む生検組織などの生物試料を示してもよい。例えば、そのような試料は平均約5μm〜約7μmで、数μmのばらつきを有する厚さを有してもよく且つ約15×15mmの側面表面積を有してもよいが、厚さ及び表面積の値はそれらに限定されない。特に、試料の大部分の物質はスライド28の平面外にあってもよい。
対物レンズ12は、光軸に沿ってZ(垂直)方向に試料距離だけ試料24から離間して配置され、対物レンズ12は、Z方向、すなわち垂直方向に対してほぼ直交するX−Y平面(横方向又は水平方向)に焦点面を有する。対物レンズ12は、特定の視野において試料24から放射される光30を集め、光30を拡大し且つ光30を一次イメージセンサ16に向けて送出する。対物レンズ12の倍率は、例えば、撮像される試料の用途及び大きさに応じて変更してもよい。一実施形態では、対物レンズ12は、例えば、20倍以上の倍率を有し且つ0.5以上の開口数を有する(焦点深度の小さい)高性能対物レンズであってもよいが、それに限定されない。対物レンズ12の設計上の作業距離に応じて、対物レンズ12は、約200μm〜約数mm範囲の試料距離だけ試料24から離間して配置してもよい。また、対物レンズ12は、例えば、焦点面において750×750μmの視野から光30を集めてもよい。しかし、作業距離、視野及び焦点面は、顕微鏡の構成又は撮像される試料24の特性に応じて変更してもよい。さらに、一実施形態では、対物レンズ12に対して精密なモータ制御及び迅速な小視野調整を実行するために、対物レンズ12は圧電アクチュエータのような位置制御装置に結合してもよい。
一実施形態では、一次イメージセンサ16は、例えば、一次光路32を使用して少なくとも1つの視野に対応する試料24の1つ以上の画像を生成してもよい。一次イメージセンサ16は、市販の電荷結合素子(CCD)系イメージセンサなどの任意のデジタル撮像素子を示してもよい。
さらに、撮像装置10は、明視野、位相差、微分干渉差及び蛍光などの多様な撮像モードを使用して試料24を照明してもよい。従って、明視野、位相差又は微分干渉差を使用して試料24から光30が放射しても又は反射してもよいし、或いは蛍光を使用して試料24(蛍光ラベル付き又は元来蛍光を発する)から光30を放射してもよい。さらに、透照法(光源及び対物レンズ12は試料24の反対の側にある)又は落射照明(光源及び対物レンズ12は試料24の同一の側にある)を使用して光30が発生してもよい。従って、撮像装置10は、図示の便宜上、図面からは省略されている光源(高輝度LED又は水銀灯又はキセノンアーク灯又はハロゲン化金属ランプ)をさらに含んでもよい。
さらに、一実施形態では、撮像装置10は、試料24の多数の一次デジタル画像を迅速に取り込むように構成された高速撮像装置であってもよい。その場合、各一次デジタル画像は、特定の視野における試料の1つのスナップショットを表現する。ある特定の実施形態では、特定の視野は試料24全体の一部のみを示してもよい。試料24全体のデジタル表現を形成するために、各一次デジタル画像は、デジタル処理により組合せても又ははぎ合わせてもよい。
上述の通り、一次イメージセンサ16は、一次光路32を使用して少なくとも1つの視野に対応する試料24の多数の画像を生成してもよい。しかし、ある特定の他の実施形態では、一次イメージセンサ16は、一次光路32を使用して複数の重複する視野に対応する試料24の多数の画像を生成してもよい。一実施形態では、撮像装置10は、種々の試料距離で収集されたそれらの試料24の画像を取り込み、且つそれらの画像を利用して、被写界深度が向上した試料24の複合画像を生成する。さらに、一実施形態では、少なくとも1つの視野と関連する複数の画像の収集を容易にするために、コントローラ20は対物レンズ12と試料24との距離を調整してもよい。また、一実施形態では、撮像装置10は、収集された複数の画像をデータレポジトリ34及び/又はメモリ38に格納してもよい。
本発明の態様によれば、撮像装置10は、スライド28の平面外に物質を含む試料24のような試料を撮像するために処理サブシステム36をさらに含んでもよい。特に、処理サブシステム36は、収集される複数の画像の各画像の各画素に対応する性能指数を判定するように構成してもよい。処理サブシステム36は、判定された性能指数に基づいて複合画像を合成するようにさらに構成してもよい。処理サブシステム36の動作は、図5〜図9を参照して以下にさらに詳細に説明される。現時点で意図されている構成では、メモリ38は処理サブシステム36とは別であるように示すが、ある特定の実施形態では、処理サブシステム36はメモリ38を含んでもよい。さらに、現時点で意図されている構成では、処理サブシステム36はコントローラ20とは別であるように示すが、ある特定の実施形態では、処理サブシステム36はコントローラ20と組み合わせてもよい。
一般に、アクチュエータによってZ方向に対物レンズ12の位置を調整することにより、精密焦点が実現される。特に、アクチュエータは、スライド28の平面に対してほぼ垂直である方向に対物レンズ12を移動するように構成される。一実施形態では、アクチュエータは高速画像収集のために圧電変換器を含んでもよい。ある特定の他の実施形態では、アクチュエータは、広範囲にわたる移動を実現するためにモータ及び減速駆動装置を有するラックピニオン機構を含んでもよい。
なお、スライド28の上に配設された試料24が顕微鏡の1つの視野の中で平坦ではない場合、一般に撮像に関する問題が起こる。特に、試料24はスライド28の平面外に物質を含むこともあり、その場合、画像の焦点は正しく合わない。次に図2を参照すると、スライド28及びその上に配設された試料24を示す概略図40を示す。図2に示すように、ある特定の状況において、スライド28の上に配設される試料24は平坦ではない場合がある。例えば、試料24が非物質化された場合、試料24の物質は膨張するので、試料は、顕微鏡の1つの視野の中でスライド28の平面外に物質を含むことになる。その結果、所定の試料距離に対して、試料のある特定の領域は焦点から外れてしまう。従って、試料24に関して下部撮像平面A42などの第1の試料距離に対物レンズ12の焦点を合わせた場合、試料24の中心は焦点から外れる。逆に、上部撮像平面B44などの第2の試料距離に対物レンズ12の焦点を合わせた場合、試料24の縁部は焦点から外れる。特に、試料24全体が許容しうる焦点の中に入るような妥当な試料距離は存在しない。以下の説明中、「試料距離」という用語は、対物レンズ12と撮像される試料24との間の離間距離をいう。また、「試料距離」及び「焦点距離」という2つの用語は互換性をもって使用してもよい。
本発明の例示的な態様によれば、撮像装置10は、被写界深度を向上することにより、表面に相当に大きな凹凸を有する試料を正確に撮像可能なように構成してもよい。この目的のために、撮像装置10は、対物レンズ12が試料24からの一連の試料距離に位置決めされる間に少なくとも1つの視野に対応する複数の画像を収集し、複数の画像の各画素に対応する性能指数を判定し且つ判定された性能指数に基づいて複合画像を合成するように構成してもよい。
従って、一実施形態では、走査台22及び試料24が一定のX−Y位置にとどまっている間に対物レンズ12を試料24からの複数の対応する試料距離(Z高さ)に位置決めすることにより、複数の画像を収集してもよい。ある特定の他の実施形態では、対物レンズ12をZ方向に移動し且つ走査台22(及び試料24)をX−Y方向に移動することにより、複数の画像を収集してもよい。
図3は、走査台22及び試料24が一定のX−Y位置にとどまっている間に対物レンズ12を試料24からの複数の対応する試料距離(Z高さ)に位置決めすることにより複数の画像を収集する方法を示す概略図50である。特に、対物レンズ12を試料24に関して複数の試料距離に位置決めすることにより、1つの視野に対応する複数の画像を収集してもよい。本明細書において使用される場合の用語「視野」は、一次イメージセンサ16の作業面に到達する光を放射するスライド28の1つの領域を示すために使用される。図中符号52、54及び56は、対物レンズ12を試料24に関して第1の試料距離、第2の試料距離及び第3の試料距離にそれぞれ位置決めすることにより収集される第1の画像、第2の画像及び第3の画像をそれぞれ示す。また、図中符号53は対物レンズ12の1つの視野に対応する第1の画像52の部分を示す。同様に、図中符号55は対物レンズ12の1つの視野に対応する第2の画像54の部分を示す。さらに、図中符号57は対物レンズ12の1つの視野に対応する第3の画像56の部分を示す。
例えば、撮像装置10は、対物レンズ12が試料24に関して第1の距離、第2の距離及び第3の距離にそれぞれ位置決めされている間に一次イメージセンサ16を使用して試料24の第1の画像52、第2の画像54及び第3の画像56を取り込んでもよい。コントローラ20又はアクチュエータは、対物レンズ12を第1の方向に変位してもよい。一実施形態では、第1の方向はZ方向を含んでもよい。従って、複数の試料距離で複数の画像を収集するために、コントローラ20は、対物レンズ12を試料24に関してZ方向に変位又は垂直方向に移動してもよい。図3に示す実施例において、複数の試料距離で複数の画像52、54、56を収集するために、コントローラ20は、走査台22を一定のX−Y位置に維持しつつ対物レンズ12を試料24に関してZ方向に垂直に移動してもよい。その場合、複数の画像52、54、56は1つの視野に対応する。或いは、コントローラ20は、対物レンズ12が一定の垂直位置にとどまっている間に走査台22及び試料24を垂直方向に移動してもよく、又は走査台22(及び試料24)及び対物レンズ12の双方を垂直方向に移動してもよい。そのようにして収集された画像はメモリ38(図1を参照)に格納してもよい。或いは、画像はデータレポジトリ34(図1を参照)に格納してもよい。
本発明の更なる態様によれば、複数の視野に対応する複数の画像を収集してもよい。特に、重複する視野に対応する複数の画像を収集してもよい。次に図4を参照すると、対物レンズ12が第1の方向(Z方向)に移動され且つ走査台22(及び試料24)が第2の方向に移動される間の複数の画像の収集を示す概略図60を示す。なお、ある特定の実施形態では、第2の方向は第1の方向に対してほぼ直交してもよい。また、一実施形態では、第2の方向はX−Y方向を含んでもよい。特に、複数の重複する視野に対応する複数の画像の収集を示す。図中符号62、64及び66は、走査台22がX−Y方向に移動される間に対物レンズ12を試料24に対して第1の試料距離、第2の試料距離及び第3の試料距離にそれぞれ位置決めすることにより収集される第1の画像、第2の画像及び第3の画像をそれぞれ示す。
なお、対物レンズ12の視野は走査台22の動きにつれてX−Y方向に移動する。本発明の態様によれば、収集される複数の画像の中でほぼ類似する1つの領域を評価してもよい。従って、試料距離ごとに同一の領域が評価されるように、走査台22の動きと同期して移動する領域を選択してもよい。図中符号63、65及び67は、第1の画像62、第2の画像64及び第3の画像66において走査台22の動きと同期して移動する領域をそれぞれ示してもよい。
図4に示す実施例において、種々の試料距離であらゆる視野のあらゆる部分が収集されるように、種々の試料距離における重複する視野に対応する画像の収集を容易にするために、コントローラ20は、走査台22(及び試料24)をX−Y方向に移動しつつ対物レンズ12を垂直方向に移動してもよい。特に、走査台22の所定のX−Y場所に対して複数の画像62、64及び66が相当に幅広く重複するように、複数の画像62、64及び66を収集してもよい。従って、一実施形態では、試料24は関心領域を越えて走査されてもよく、画像平面に沿って重複しない領域に対応する画像データは後に放棄してもよい。それらの画像はメモリ38に格納してもよい。或いは、収集された画像はデータレポジトリ34に格納してもよい。
再び図1を参照すると、本発明の例示的な態様によれば、少なくとも1つの視野に対応する複数の画像が収集された後、撮像装置10は、複数の試料距離で取り込まれた試料24の複数の収集画像の各画像に関して量的特性を判定してもよい。量的特性は画質の量的測定値を示し、性能指数と呼ばれてもよい。一実施形態では、性能指数は勾配ベクトルの離散近似を含んでもよい。特に、一実施形態では、性能指数は、緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似を含んでもよい。従って、ある特定の実施形態では、撮像装置10、特に処理サブシステム36は、複数の収集画像の各画像の画素ごとに緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似の形で性能指数を判定するように構成してもよい。ある特定の実施形態では、勾配の計算中に雑音を平滑化するために、勾配に低域フィルタを適用してもよい。なお、性能指数は緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似として説明されるが、本発明と関連して、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジ検出器又は局所画像コントラストの推定値などの他の性能指数の使用も考えられ、使用される性能指数はそれらに限定されない。
焦点の品質に関する情報を抽出するために、各収集画像は、画像中の各画素に対応する性能指数を判定することによって撮像装置10により処理してもよい。特に、処理サブシステム36は、複数の収集画像の各画像の各画素に対応する性能指数を判定するように構成してもよい。上述の通り、ある特定の実施形態では、各画素に対応する性能指数は勾配ベクトルの離散近似を含んでもよい。特に、一実施形態では、性能指数は、緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似を含んでもよい。或いは、性能指数は、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジ検出器又は局所画像コントラストの推定値を含んでもよい。
本発明の態様によれば、その後、各収集画像中の画素ごとに、複数の収集画像の中でその画素に対応する最良の性能指数を与える複数の画像における1つの画像の場所を特定するように処理サブシステム36は構成してもよい。本明細書において使用される場合の用語「最良の性能指数」は、1つの空間場所で最良の焦点品質を与える性能指数を示すために使用してもよい。さらに、各画像中の画素ごとに、対応する画像が最良の性能指数を与える場合、その画素に第1の値を割り当てるように処理サブシステム36は構成してもよい。また、複数の画像の中の別の画像が最良の性能指数を与える場合、画素に第2の値を割り当てるように処理サブシステム36はさらに構成してもよい。ある特定の実施形態では、第1の値は「1」であってもよく、第2の値は「0」であってもよい。割り当てられたそれらの値は、データレポジトリ34及び/又はメモリ38に格納してもよい。
本発明の更なる態様によれば、処理サブシステム36は、判定された性能指数に基づいて複合画像を合成するようにさらに構成してもよい。特に、複合画像は画素に割り当てられた値に基づいて合成してもよい。一実施形態では、それらの割り当て値はアレイの形で格納してもよい。なお、本発明は割り当て値を格納するためにアレイを使用するものとして説明されるが、割り当て値を格納する他の技術も考えられる。従って、処理サブシステム36は、複数の収集画像の各画像に対応するアレイを生成するように構成してもよい。また、一実施形態では、それらのアレイは、対応する収集画像の大きさとほぼ同様の大きさを有してもよい。
それらのアレイが生成された後、各アレイの各要素に値を記入してもよい。本発明の態様によれば、アレイ中の要素は、その画素に対応する性能指数に基づいて値を記入してもよい。特に、1つの画像の中の1つの画素に第1の値が割り当てられた場合、対応するアレイの対応する要素にも第1の値が割り当てられてもよい。同様に、アレイ中の1つの画素に対応する要素は、対応する画像中のその画素が第2の値を割り当てられている場合には第2の値を割り当てられてもよい。処理サブシステム36は、収集画像中の画素に割り当てられた値に基づいてすべてのアレイに値を記入するように構成してもよい。この処理に続いて、値記入済みアレイの集合を生成してもよい。値記入済みアレイも、例えば、データレポジトリ34及び/又はメモリ38に格納してもよい。
ある特定の実施形態では、処理サブシステム36は、ビットマスクフィルタ処理アレイを生成するためにビットマスクを使用して値記入済みアレイの集合をさらに処理してもよい。例えば、ビットマスクフィルタを使用して値記入済みアレイを処理することにより、第1の値を有する要素のみを含むビットマスクフィルタ処理アレイの生成を容易にしてもよい。
さらに、処理サブシステム36は、ビットマスクフィルタ処理アレイに基づいて複数の収集画像の各画像から画素を選択してもよい。特に、一実施形態では、関連するビットマスクフィルタ処理アレイの中で第1の値を有する要素に対応する収集画像中の画素を選択してもよい。さらに、処理サブシステム36は、複合画像を生成するために選択された画素を使用して収集画像を混合してもよい。しかし、そのような複数の収集画像の混合は、複合画像に望ましくないブレンディングアーティファクトを発生する場合がある。ある特定の実施形態では、望ましくないブレンディングアーティファクトは、複合画像中のマッハバンドのようなバンドの形成を含んでもよい。
本発明の態様によれば、バンド形成の形で現れる望ましくないブレンディングアーティファクトは、ビットマスクフィルタ処理アレイにフィルタを適用することによって1つの画像から次の画像への境界変化を平滑化することにより実質的に最小限に抑えられてもよい。特に、本発明の態様によれば、1つの画像から次の画像への境界変化を平滑化するために双3次低域フィルタを使用することにより、バンド形成は実質的に最小限に抑えられてもよい。双3次フィルタを使用してビットマスクフィルタ処理アレイを処理することにより、フィルタ処理出力を生成してもよい。ある特定の実施形態では、フィルタ処理出力は、複数の画像に対応する双3次フィルタ処理アレイを含んでもよい。その場合、処理サブシステム36は、複合画像を生成するように画像を混合するためにアルファチャネルとしてこのフィルタ処理出力を使用するように構成してもよい。特に、アルファブレンディングにおいて、複数の画像の各画像の各画素に一般に約0〜約1の範囲の重みが割り当てられてもよい。この割り当て重みはアルファ(α)と示してもよい。特に、収集画像中の画素値の積と対応するアルファ値とを加算すること及びその和をアルファ値の和で除算することにより、最終複合画像中の各画素を計算してもよい。一実施形態では、複合画像中の各画素(RC,GC,BC)は次のように計算してもよい。
式中、nは複数の収集画像中の画素の番号を示し、(α1,α2,…αn)はそれに対応して複数の収集画像中の各画素に割り当てられた重みを示し、(R1,R2,…Rn)は複数の収集画像中の画素の赤色値を示し、(G1,G2,…Gn)は複数の収集画像中の画素の緑色値を示し、(B1,B2,…Bn)は複数の収集画像中の画素の青色値を示してもよい。
従って、被写界深度が向上した複合画像を生成するために、選択された各画素は、フィルタ処理出力に基づいて複数の画像の中の対応する画素の加重平均として混合してもよい。
本発明の更なる態様によれば、撮像装置10は複数の画像を収集するように構成してもよい。一実施形態では、走査台22を1つのX−Y場所に固定保持しつつ対物レンズ12を複数の試料距離(Z高さ)に位置決めすることにより、試料24の複数の画像を収集してもよい。特に、少なくとも1つの視野に対応する複数の画像を収集することは、走査台22をX−Y方向に沿って一定の場所に保持しつつ対物レンズ12をZ方向に沿って変位することにより、対物レンズ12を複数の試料距離に位置決めすることを含んでもよい。従って、走査台22を一連の不連続のX−Y場所に固定保持しつつ対物レンズ12を複数の試料距離(Z高さ)に位置決めすることにより、試料24の対応する複数の画像を収集してもよい。特に、走査台22をX−Y方向に沿って一連の不連続の場所に位置決めしつつ対物レンズ12をZ方向に沿って変位することで対物レンズ12を複数の試料距離に位置決めすることにより、対応する複数の画像集合を収集してもよい。なお、走査台22は、走査台をX−Y方向に並進移動することにより一連の不連続のX−Y場所に位置決めしてもよい。
別の実施形態では、走査台22をX−Y方向に並進移動すると同時に対物レンズ12をZ方向に移動することにより、複数の重複する画像を収集してもよい。それらの重複画像は、位置決め可能な各Z高さで重複画像がすべてのX−Y場所を含むように収集してもよい。
処理サブシステム36は、その後に複数の収集画像の各画像の各画素に対応する性能指数を判定するように構成してもよい。さらに、本発明の態様によれば、性能指数は勾配ベクトルの離散近似を含んでもよい。特に、ある特定の実施形態では、性能指数は勾配ベクトルの離散近似を含んでもよい。特に、一実施形態では、性能指数は、緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似を含んでもよい。その場合、先に図1に関して説明したように、複合画像は、処理サブシステム36により判定された性能指数に基づいて合成してもよい。
上述の通り、複数の収集画像の混合の結果、異なる画像から画素が選択されたために合成画像にバンドが形成され、それにより、1つの画像から別の画像への急激な境界変化が起こることがある。本発明の態様によれば、複数の収集画像は双3次フィルタを使用して処理してもよい。双3次フィルタを使用して複数の収集画像を処理することにより、1つの画像から別の画像への急激な境界変化は平滑化され、その結果、複合画像におけるバンド形成は最小限に抑えられる。
次に図5を参照すると、試料を撮像する方法の一実施例を示すフローチャート80を示す。特に、スライドの平面外に物質の大部分を含む試料を撮像する方法が提示される。方法80はコンピュータ実行可能命令に関連して一般的に説明してもよい。一般に、コンピュータ実行可能命令は、特定の機能を実行するか又は特定の抽象データ型を実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手続き、モジュール、機能などを含んでもよい。ある特定の実施形態では、コンピュータ実行可能命令は、撮像装置10(図1を参照)に対して局所的に且つ処理サブシステム36と動作可能に関連して、メモリ38(図1を参照)などのコンピュータ記憶媒体に格納してもよい。ある特定の実施形態では、コンピュータ実行可能命令は、撮像装置10(図1を参照)から取り外されるメモリ記憶装置などのコンピュータ記憶媒体に格納してもよい。さらに、撮像方法80は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアの組み合わせにおいて実現してもよい動作のシーケンスを含む。
方法は、少なくとも1つの視野と関連する複数の画像を収集してもよいステップ82で始まる。特に、試料を収納するスライドが撮像装置に配置される。例えば、試料24を含むスライド28は、撮像装置(図1を参照)の走査台22の上に載せられてもよい。その後、少なくとも1つの視野に対応する複数の画像を収集してもよい。一実施形態では、走査台22(及び試料24)が一定のX−Y位置にとどまっている間に対物レンズ12をZ方向に移動することにより、1つの視野に対応する複数の画像を収集してもよい。例えば、1つの視野に対応する複数の画像は、図3を参照して説明したように収集してもよい。従って、1つの視野において、試料24に関して第1の試料距離(Z高さ)に対物レンズ12を位置決めすることにより、試料24の第1の画像を収集してもよい。試料24に関して第2の試料距離に対物レンズ12を位置決めすることにより、第2の画像を収集してもよい。同様にして、試料24に関して対応する試料距離に対物レンズ12を位置決めすることにより、複数の画像を収集してもよい。一実施形態では、ステップ82における画像収集に伴って、試料24の3〜5枚の画像を収集してもよい。或いは、1つの視野に対応する複数の画像を収集するために、対物レンズ12が一定の垂直位置に固定されたままである間に走査台22(及び試料24)が垂直に移動されてもよく、走査台22(及び試料24)及び対物レンズ12の双方が垂直に移動してもよい。
しかし、ある特定の他の実施形態では、走査台22及び試料24をX−Y方向に移動しつつ対物レンズ12をZ方向に移動することにより、複数の画像を収集してもよい。例えば、図4を参照して説明したように、複数の視野に対応する複数の画像を収集してもよい。特に、少なくとも1つの収集画像が対物レンズ12の位置(Z高さ)ごとに画像平面内の任意の場所を含むように、重複する視野に対応する複数の画像が実質的に十分に近接した間隔で収集してもよい。従って、走査台22をX−Y方向に移動しつつ試料24に関して第1の試料距離、第2の試料距離及び第3の試料距離に対物レンズ12をそれぞれ位置決めすることにより、第1の画像、第2の画像及び第3の画像を収集してもよい。
さらに図5を参照すると、複数の画像が収集された後、ステップ84で示すように、複数の画像の各画像の各画素に対応する性能指数などの品質特性を判定してもよい。上述の通り、本発明の態様による一実施形態では、各画素に対応する性能指数は、勾配ベクトルの離散近似を示してもよい。特に、一実施形態では、各画素に対応する性能指数は、緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似を示してもよい。ある特定の他の実施形態では、先に述べたように、性能指数は、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジ検出器又は局所画像コントラストの推定値を含んでもよい。複数の画像の各画像の各画素に対応する性能指数の判定は、図6〜図8を参照することによりさらによく理解されるだろう。
通常、第1の画像52(図3を参照)などの画像は、赤色「R」画素、青色「B」画素及び緑色「G」画素の配列を含む。図6は、複数の画像の中の1つの収集画像の一部分100を示す。例えば、部分100は第1の画像52の一部分を示してもよい。図中符号102は部分100の第1のセクションを示し、部分100の第2のセクションは図中符号104により示してもよい。
上述の通り、性能指数は、緑色チャネルの空間位置に関する緑色チャネルの強さの勾配ベクトルの離散近似を示してもよい。図7は、図6の部分100の第1のセクション102を示す概略図である。従って、図7に示すように、緑色「G」画素106の勾配ベクトルの離散近似は次のように判定してもよい。
式中、GLR、GLL、GUL及びGURは、緑色「G」画素106に隣接する緑色「G」画素を示す。
図8は、図6の部分100の第2のセクション104を示す。従って、画素が赤色「R」画素又は青色「B」画素を含む場合、赤色「R」画素108(又は青色「B」画素)の勾配ベクトルの離散近似は次のように判定してもよい。
式中、GR、GL、GU及びGDは、赤色「R」画素106又は青色「B」画素に隣接する緑色「G」画素を示す。
図5に戻ると、ステップ84において、複数の画像の各画像の各画素に対応する緑色チャネルの強さの勾配ベクトルの離散近似の形の性能指数は、図6〜図8を参照して説明したように判定してもよい。図中符号86は、一般に判定された性能指数を示してもよい。一実施形態では、ステップ84で判定された性能指数はデータレポジトリ34(図1を参照)に格納してもよい。
なお、重複する視野に対応する複数の画像の収集を伴う実施形態では、対物レンズ12の視野はX−Y方向への走査台22の動きに伴って移動する。本発明の態様によれば、複数の収集画像に沿ってほぼ同様の1つの領域を評価してもよい。従って、試料距離ごとに同一の領域が評価されるように、走査台22の動きと同期して移動する領域を選択してもよい。複数の画像中の領域の選択に続いて、試料距離ごとにほぼ同様の領域が評価されるように、選択された領域のみに対応する性能指数を判定してもよい。
本発明の態様によれば、次のステップ88において、ステップ84で判定された性能指数に基づいて、被写界深度が向上した複合画像を合成してもよい。ステップ88は、図9を参照することによりさらによく理解されるだろう。図9A及び図9Bを参照すると、複数の画像中の画素と関連して判定された性能指数86に基づく複合画像の合成を示すフローチャート110を示す。特に、図9A及び図9Bには、図5のステップ88がさらに詳細に示す。
上述の通り、一実施形態では、複合画像の生成に際して複数のアレイを使用してもよい。従って、方法は、複数の画像の各画像に対応する1つのアレイを形成してもよいステップ112で始まる。ある特定の実施形態では、各アレイが複数の画像中の対応する画像の大きさとほぼ同様の大きさを有するように、アレイの大きさは規定してもよい。例えば、複数の画像の各画像が(M×N)の大きさを有する場合、対応するアレイは(M×N)の大きさを有するように形成してもよい。
さらに、ステップ114において、複数の収集画像の各画像の画素ごとに、複数の画像の中の対応する画素と比べてその画素に対して最良の性能指数を与える複数の画像の中の1つの画像を識別してもよい。先に述べたように、最良の性能指数は、1つの空間場所で最良の焦点品質を与える性能指数を示す。その後、各画像の各画素は、対応する画像がその画素に対して最良の性能指数を与える場合に第1の値を割り当てられてもよい。さらに、複数の画像の中の別の画像が最良の性能指数を与える場合、画素に第2の値が割り当てられてもよい。ある特定の実施形態では、第1の値は「1」であってもよく、第2の値は「0」であってもよい。一実施形態では、それらの割り当て値はデータレポジトリ34に格納してもよい。
さらに、本発明の例示的な態様によれば、ステップ112で生成されたアレイに値を記入してもよい。特に、識別された性能指数に基づいて各アレイの各要素に第1の値又は第2の値を割り当てることにより、そのアレイに値を記入してもよい。例えば、複数の収集画像の中の1つの画像の1つの画素を選択してもよい。特に、(1,1)の(x,y)座標を有する第1の画像52(図3を参照)の画素を示す画素p1,1を選択してもよい。
次に、ステップ116において、第1の画像52の画素p1,1に対応する性能指数が複数の画像52、54、56(図3を参照)の中のすべての第1の画素に対応する「最良の」性能指数であるか否かを検証するために検査を実行してもよい。特に、ステップ116において、1つの画素に関連する値が第1の値であるか又は第2の値であるかを検証するために検査を実行してもよい。ステップ116において、画素p1,1に対応する画像が最良の性能指数を与え、従って、その画素に関連する値は第1の値であると判定された場合、ステップ118で示すように、第1の画像52と関連するアレイ中の対応するエントリに第1の値が割り当てられてもよい。ある特定の実施形態では、第1の値は「1」であってもよい。しかし、ステップ116において、第1の画素p1,1に対応する第1の画像52が最良の性能指数を与えず、従って、その画素に関連する値は第2の値であると検証された場合、ステップ120で示すように、第1の画像52と関連するアレイ中の対応するエントリは第2の値を割り当てられてもよい。ある特定の実施形態では、第2の値は「0」であってもよい。従って、対応する画像中の1つの画素が複数の画像の中で最良の性能指数を与える場合、その画素に対応するアレイ中のエントリに第1の値が割り当てられてもよい。しかし、複数の収集画像の中の別の画像が最良の性能指数を与える場合、その画素に対応するアレイ中のエントリに第2の値が割り当てられてもよい。
複数の画像の各画像に対応するアレイに値を記入するこの処理は、アレイ中のすべてのエントリに値が記入されるまで繰り返してもよい。従って、ステップ122において、各画像のすべての画素の処理が終了したか否かを検証するために検査を実行してもよい。ステップ122において、複数の画像の各画像のすべての画素の処理が終了したと検証された場合、制御はステップ124に移行してもよい。しかし、ステップ122において、複数の画像の各画像の画素の中に未処理の画素があると検証された場合、制御はステップ114に戻してもよい。ステップ114〜122の処理の結果、各エントリが第1の値又は第2の値のいずれかを有する値記入済みアレイ124の集合を生成してもよい。特に、値記入済みアレイの集合の各アレイは、1つの画像が最良の性能指数を与える空間場所では第1の値を含み、別の画像が最良の性能指数を与える場所では第2の値を含む。なお、関連する値が第1の値である1つの画像中の空間場所は、その画像の中で最良の焦点品質を与える空間場所を示してもよい。同様に、関連する値が第2の値であるその画像中の空間場所は、別の画像が最良の焦点品質を与える空間場所を示してもよい。
さらに図9を参照すると、値記入済みアレイの集合124に基づいて複合画像を合成してもよい。ある特定の実施形態では、ステップ126で示すように、ビットマスクフィルタ処理値記入済みアレイを生成するために、各値記入済みアレイ124はビットマスクを使用することにより処理してもよい。なお、ある特定の実施形態では、ステップ126は任意のステップであってもよい。一実施形態では、それらのビットマスクフィルタ処理アレイは、例えば、関連する値として第1の値を有する要素のみを含んでもよい。その後、ビットマスクフィルタ処理アレイを使用して複合画像を合成してもよい。
本発明の態様によれば、ステップ128に示すように、対応するビットマスクフィルタ処理アレイに基づいて、複数の画像から適切な画素を選択してもよい。特に、各収集画像の中で関連する値として第1の値を有するビットマスクフィルタ処理アレイ中のエントリに対応する画素を選択してもよい。選択された画素に基づいて複数の収集画像は混合してもよい。なお、先に説明したように画素を選択することにより、異なる試料距離(Z高さ)で収集された画像から隣接する画素が取り出される場合もある。その結果、異なる試料距離で収集された画像から画素が取り出されるために、選択された画素に基づく画像の混合によって、混合画像の中にマッハバンドなどの望ましくないブレンディングアーティファクトが発生することがある。
本発明の態様によれば、双3次フィルタの使用により、それらの望ましくないブレンディングアーティファクトは実質的に最小限に抑えられてもよい。特に、ステップ130で示すように、混合画像におけるバンド形成を最小限に抑えるのを容易にするために、選択された画素に基づく画像の混合に先立って双3次フィルタを使用してビットマスクフィルタ処理アレイを処理してもよい。一実施形態では、双3次フィルタは、以下の式に示すような対称特性を有する双3次フィルタを含んでもよい。
式中、sはフィルタの中心からの画素の変位を示し、Rは一定の半径である。
なお、一定の半径Rの値は、フィルタがぼけ又はゴースト画像を発生せずに画素に滑らかな見かけを与えるように選択してもよい。一実施形態では、一定の半径は約4〜約32の範囲の値を有してもよい。
さらに、一実施形態では、双3次フィルタは以下の式により表される特性を有してもよい。
式中、前述のように、sはフィルタの中心からの画素変位であり、Rは一定の半径である。
なお、フィルタ特性は回転対称であってもよい。或いは、フィルタ特性はX軸及びY軸で個別に適用してもよい。
ステップ130で双3次フィルタを使用してビットマスクフィルタ処理アレイを処理した結果、フィルタ処理出力132が生成される。一実施形態では、フィルタ処理出力132は双3次フィルタ処理アレイであってもよい。特に、双3次フィルタを使用するビットマスクフィルタ処理アレイの処理の結果、各画素がそれと関連して対応する重みを有するフィルタ処理出力132が生成される。本発明の例示的な態様によれば、複合画像90を生成するように複数の収集画像の混合を助けるために、このフィルタ処理出力132はアルファチャネルとして使用してもよい。特に、フィルタ処理出力132において、各ビットマスクフィルタ処理アレイ中の各画素はその画素の関連する重みを有する。例えば、ビットマスクフィルタ処理アレイの中で1つの画素が値1,0,0を有する場合、双3次フィルタを使用してビットマスクフィルタ処理アレイを処理することにより、フィルタ処理出力132の中で双3次フィルタ処理アレイのその画素は0.8,0.3,0.1の重みを有することになる。従って、所定の画素について、対応するビットマスクフィルタ処理アレイの中の1から0又は0から1への急激な境界変化と比較して、双3次フィルタ処理アレイの中の境界変化はより滑らかになる。さらに、双3次フィルタを使用するフィルタ処理は、鮮鋭な空間的特徴を平滑化し且つ空間的不確実性を取り除くことにより、1つの画像から別の画像への急激な境界変化の除去を容易にする。
その後、ステップ136において、合成画像90を生成するために、ステップ128で選択された画素を採用し且つフィルタ処理出力132をアルファチャネルとして使用することにより複数の収集画像を混合してもよい。特に、フィルタ処理出力132の双3次フィルタ処理アレイに基づいて、合成画像90の各(x,y)場所にある画素は、複数の画像の中のその画素の加重平均として判定してもよい。特に、本発明の態様によれば、先に図1を参照して説明したように、撮像装置10の処理サブシステム36は、選択された画素に対応する画素値と対応するアルファ値との積を加算すること及びその和をアルファ値の和で除算することによって複合画像中の各画素を計算することにより複合画像を生成するように構成してもよい。例えば、一実施形態では、複合画像90(図5を参照)のような複合画像の各画素(RC,GC,BC)は、式(1)を使用して計算してもよい。
この処理の結果、被写界深度が向上した複合画像90(図5を参照)が生成される。特に、複合画像90を生成するために異なる試料距離で収集された複数の画像の中で最良の性能指数を有する画素が使用されるので、複合画像90は収集画像の被写界深度より大きい被写界深度を有する。
さらに、上述の実施例、実例説明及び撮像装置10及び/又は処理サブシステム36により実行してもよいような処理ステップは、汎用コンピュータ又は専用コンピュータなどのプロセッサ利用システムにおいて適切なコードにより実現してもよい。なお、本発明の種々の実現形態は、本明細書において説明されるステップの一部又はすべてを異なる順序で又はほぼ同時に、すなわち、並行して実行してもよい。さらに、機能は、C++又はJava(登録商標)を含むが、それに限定されない種々のプログラミング言語で実現してもよい。そのようなコードは、格納されたコードを実行するためにプロセッサ利用システムによりアクセスしてもよいデータレポジトリチップ、ローカルハードディスク又はリモートハードディスク、光ディスク(すなわち、CD又はDVD)、メモリ38(図1を参照)などのメモリ又は他の媒体などの1つ以上の有形機械可読媒体に格納されるか又は格納されるように適合してもよい。なお、有形媒体は命令が印刷される紙又は別の適切な媒体を含んでもよい。例えば、紙又は他の媒体の光学的走査によって命令が電子的に取り込まれ、コンパイルされ、必要に応じて解釈されるか又は適切な方法で処理され、その後、データレポジトリ34又はメモリ38に格納してもよい。
本明細書において説明される試料を撮像する方法及び撮像装置は、特にスライドの平面外に相当に大きな物質部分を含む試料を撮像する場合に画質を著しく向上する。特に、先に説明した方法及びシステムの使用により、被写界深度が向上した複合画像の生成が容易になる。特に、方法は、表面凹凸を含む試料に対応するために、試料から離間する一連の位置で対物レンズ12によって画像を収集することにより「被写界深度」を拡張する。さらに、走査台22及び試料24をX−Y方向に移動しつつ対物レンズ12をZ方向に移動することにより画像を収集してもよい。その場合、画像の面に沿って各画像で画質が評価される。最も鮮鋭な焦点を与える試料距離に対応する画素は、種々の試料距離で収集された画像から選択される。さらに、混合関数の使用により1つの焦点深度から別の焦点深度への変化を滑らかにする処理が容易になるので、複合画像におけるバンドの形成/バンドの出現が最小限に抑えられる。双3次フィルタの使用により、対応する複数の試料距離で収集された複数の画像を使用する被写界深度が向上した複合画像の生成が可能になる。深度(Z)軸に沿った変化をX方向及びY方向のスライドの走査と組み合わせることにより、試料の深度変化を追跡した1つの大きく平坦な画像を生成してもよい。
本発明のある特定の特徴のみを図示し且つ説明したが、多くの変形及び変更が当業者には明らかだろう。従って、添付の特許請求の範囲は、本発明の真の趣旨の範囲内に入るそのような変形及び変更のすべてを含むことを意図すると理解すべきである。
10 撮像装置
12 対物レンズ
16 一次イメージセンサ
20 コントローラ
22 走査台
24 試料
26 カバースリップ
28 スライド
30 光
32 一次光路
34 データレポジトリ
36 処理サブシステム
38 メモリ
40 凹凸を含む試料
42 第1の撮像平面
44 第2の撮像平面

Claims (10)

  1. 対物レンズと、撮像される試料を保持する台とを有する撮像装置を使用して複数の試料距離で重複する視野に対応する複数の画像を収集することと、
    複数の収集画像の各画像の各画素に対応する性能指数を判定することと、
    判定された性能指数に基づいて複合画像を合成することとを含み、
    前記複合画像を合成することは、
    前記複数の収集画像の各画像の画素ごとに、その画素に対して最良の性能指数を与える前記複数の画像の中の1つの画像を識別することと、
    画素に対応する画像が最良の性能指数を示す場合、前記画素に第1の値を割り当てることと、
    別の画像の対応する画素が最良の性能指数を示す場合、前記画素に第2の値を割り当てることと、
    前記複数の画像の画像ごとにアレイを生成することと、
    値記入済みアレイの集合を生成するために、判定された最良の性能指数に基づいて前記アレイに値を記入することとを含み、
    更に、
    ビットマスクフィルタ処理アレイを生成するために、ビットマスクを使用して前記値記入済みアレイの集合の各値記入済みアレイを処理することと、
    フィルタ処理出力を生成するために、フィルタを使用して前記ビットマスクフィルタ処理アレイを処理することと、
    被写界深度が向上した複合画像を生成するために、前記フィルタ処理出力に基づいて選択された画素を前記複数の画像の中の対応する画素の加重平均として混合すること、
    を含む、
    撮像方法。
  2. 前記複数の試料距離で重複する視野に対応する複数の画像を収集することは、前記対物レンズを第1の方向に変位することを含む、請求項1記載の方法。
  3. 前記走査台を第2の方向に移動することをさらに含む、請求項2記載の方法。
  4. 前記性能指数を判定することは、前記第2の方向への前記走査台の移動と同期して移動する前記試料の1つの領域に対応する性能指数を判定することを含む、請求項3記載の方法。
  5. 前記複数の試料距離で重複する視野に対応する複数の画像を収集することは、異なる試料距離であらゆる視野のあらゆる部分が収集されるように異なる試料距離で重複する視野に対応する画像を収集することを含む、請求項2乃至4のいずれかに記載の方法。
  6. 前記複数の試料距離で重複する視野に対応する複数の画像を収集することは、
    前記試料の関心領域の外側の領域に対応する画像データを収集することと、
    前記複数の収集画像の中で重複しない領域に対応する画像データを放棄することとをさらに含む、請求項5記載の方法。
  7. 前記性能指数は勾配ベクトルの離散近似を含む、請求項1乃至6のいずれかに記載の方法。
  8. 前記フィルタは、双3次フィルタである、請求項1乃至7のいずれかに記載の方法。
  9. 記複合画像を表示装置に表示することとをさらに含む、請求項1乃至のいずれかに記載の方法。
  10. 対物レンズ(12)と、
    試料(24)の複数の画像を生成するように構成された一次イメージセンサ(16)と、
    前記試料(24)を撮像するために光軸に沿って前記対物レンズ(12)と前記試料(24)との間の試料距離を調整するように構成されたコントローラ(20)と、
    前記試料(24)を支持し且つ前記光軸に対してほぼ直交する少なくとも1つの横方向に前記試料(24)を移動するための走査台(22)と、
    複数の試料距離で重複する視野に対応する複数の画像を収集し、
    複数の収集画像の各画像の各画素に対応する性能指数を判定し、且つ
    判定された性能指数に基づいて複合画像を合成するための処理サブシステム(36)とを備え、
    前記処理サブシステム(36)は、
    前記複数の収集画像の各画像の画素ごとに、その画素に対して最良の性能指数を与える前記複数の画像の中の1つの画像を識別することと、
    画素に対応する画像が最良の性能指数を示す場合、前記画素に第1の値を割り当てることと、
    別の画像の対応する画素が最良の性能指数を示す場合、前記画素に第2の値を割り当てることと、
    前記複数の画像の画像ごとにアレイを生成することと、
    値記入済みアレイの集合を生成するために、判定された最良の性能指数に基づいて前記アレイに値を記入することと、
    ビットマスクフィルタ処理アレイを生成するために、ビットマスクを使用して前記値記入済みアレイの集合の各値記入済みアレイを処理することと、
    フィルタ処理出力を生成するために、フィルタを使用して前記ビットマスクフィルタ処理アレイを処理することと、
    被写界深度が向上した複合画像を生成するために、前記フィルタ処理出力に基づいて選択された画素を前記複数の画像の中の対応する画素の加重平均として混合することにより、前記複合画像を合成する、
    撮像装置(10)。
JP2010229193A 2009-10-15 2010-10-12 被写界深度が向上した撮像システム及び撮像方法 Active JP5715371B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/579,995 US20110090327A1 (en) 2009-10-15 2009-10-15 System and method for imaging with enhanced depth of field
US12/579,995 2009-10-15

Publications (2)

Publication Number Publication Date
JP2011109644A JP2011109644A (ja) 2011-06-02
JP5715371B2 true JP5715371B2 (ja) 2015-05-07

Family

ID=43878986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010229193A Active JP5715371B2 (ja) 2009-10-15 2010-10-12 被写界深度が向上した撮像システム及び撮像方法

Country Status (4)

Country Link
US (1) US20110090327A1 (ja)
JP (1) JP5715371B2 (ja)
CN (1) CN102053355B (ja)
DE (1) DE102010038164A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314837B2 (en) * 2009-10-15 2012-11-20 General Electric Company System and method for imaging with enhanced depth of field
RU2014102263A (ru) * 2011-06-27 2015-08-10 Басф Плант Сайенс Компани Гмбх Устройство для скрининга экземпляров растений
CN102289066A (zh) * 2011-08-12 2011-12-21 北京航空航天大学 一种多细胞培养过程自动显微成像系统
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
EP2831719A4 (en) * 2012-03-30 2016-01-06 Intel Corp DELIVERY OF TESSELLATION FROM A GRAPHIC PROCESSOR TO A CENTRAL UNIT
AU2014292179B2 (en) 2013-07-18 2017-12-07 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging
US10119901B2 (en) 2013-11-15 2018-11-06 Mikroscan Technologies, Inc. Geological scanner
CN103698879B (zh) * 2013-12-18 2016-02-24 宁波江丰生物信息技术有限公司 一种实时对焦的装置及方法
US9347082B2 (en) * 2014-08-28 2016-05-24 Omnivision Technologies, Inc. Automated cell growth/migration detection system and associated methods
WO2016069794A1 (en) 2014-10-28 2016-05-06 Mikroscan Technologies, Inc. Microdissection viewing system
JP6366108B2 (ja) * 2015-08-12 2018-08-01 株式会社イノテック 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US20170108685A1 (en) * 2015-10-16 2017-04-20 Mikroscan Technologies, Inc. Systems, media, methods, and apparatus for enhanced digital microscopy
JP2019512188A (ja) * 2016-02-22 2019-05-09 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被写体の向上された被写界深度の合成2d画像を生成する装置
EP3420393B1 (en) * 2016-02-22 2024-04-10 Koninklijke Philips N.V. System for generating a synthetic 2d image with an enhanced depth of field of a biological sample
KR101763199B1 (ko) * 2016-06-14 2017-08-03 한국화학연구원 미세 대상물 관찰 장치
JPWO2018139156A1 (ja) * 2017-01-26 2019-12-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および制御方法
CN108319010A (zh) * 2018-01-23 2018-07-24 芜湖市奥尔特光电科技有限公司 一种超景深图像采集系统
IL280503B (en) * 2018-08-01 2022-09-01 Cdx Medical Ip Inc A focus with extended and increased depth on biological samples
CN110836891A (zh) * 2018-08-17 2020-02-25 湖南爱威医疗科技有限公司 实现快速镜检的方法、装置、设备及计算机可读存储介质
CN110186930B (zh) * 2019-05-27 2021-09-03 武汉中导光电设备有限公司 一种光学成像检测方法及设备
CN117651968A (zh) * 2021-07-06 2024-03-05 佩治人工智能公司 处理电子图像以提供模糊鲁棒性的系统和方法
US20230186447A1 (en) * 2021-12-09 2023-06-15 Saudi Arabian Oil Company Efficient focus stacking for large images of palynological samples

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US5912699A (en) * 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
JP2960684B2 (ja) * 1996-08-02 1999-10-12 株式会社日立製作所 立体形状検出方法及びその装置
US7046857B2 (en) * 1997-07-31 2006-05-16 The Regents Of The University Of California Apparatus and methods for image and signal processing
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US6201899B1 (en) * 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
US8005314B2 (en) * 2005-12-09 2011-08-23 Amnis Corporation Extended depth of field imaging for high speed object analysis
SG95602A1 (en) * 1999-08-07 2003-04-23 Inst Of Microelectronics Apparatus and method for image enhancement
US7027628B1 (en) * 2000-11-14 2006-04-11 The United States Of America As Represented By The Department Of Health And Human Services Automated microscopic image acquisition, compositing, and display
DE60136968D1 (de) * 2001-03-30 2009-01-22 Nat Inst Of Advanced Ind Scien Echtzeit-omnifokus-mikroskopkamera
US7058233B2 (en) * 2001-05-30 2006-06-06 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
US6812474B2 (en) * 2001-07-13 2004-11-02 Applied Materials, Inc. Pattern generation method and apparatus using cached cells of hierarchical data
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
GB2385481B (en) * 2002-02-13 2004-01-07 Fairfield Imaging Ltd Microscopy imaging system and method
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US6793390B2 (en) * 2002-10-10 2004-09-21 Eastman Kodak Company Method for automatic arrangement determination of partial radiation images for reconstructing a stitched full image
DE10338472B4 (de) * 2003-08-21 2020-08-06 Carl Zeiss Meditec Ag Optisches Abbildungssystem mit erweiterter Schärfentiefe
EP1656642A4 (en) * 2003-08-22 2007-06-13 Meade Instruments Corp IMAGE PROCESSOR AND IMAGE PROCESSING METHOD
US20050163390A1 (en) * 2004-01-23 2005-07-28 Ann-Shyn Chiang Method for improving the depth of field and resolution of microscopy
WO2005119575A2 (en) * 2004-05-27 2005-12-15 Aperio Technologies, Inc Systems and methods for creating and viewing three dimensional virtual slides
US20060038144A1 (en) * 2004-08-23 2006-02-23 Maddison John R Method and apparatus for providing optimal images of a microscope specimen
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
EP1851726B1 (en) * 2005-01-27 2018-11-28 Leica Biosystems Imaging, Inc. Systems and methods for viewing three dimensional virtual slides
US7400415B2 (en) * 2005-03-15 2008-07-15 Mitutoyo Corporation Operator interface apparatus and method for displacement transducer with selectable detector area
US7428375B2 (en) * 2005-04-22 2008-09-23 Hewlett-Packard Development Company, L.P. Correlated auto-focus stabilization method and digital camera
US7365310B2 (en) * 2005-06-27 2008-04-29 Agilent Technologies, Inc. Increased depth of field for high resolution imaging for a matrix-based ion source
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
US20080021665A1 (en) * 2006-07-20 2008-01-24 David Vaughnn Focusing method and apparatus
JP2008046952A (ja) * 2006-08-18 2008-02-28 Seiko Epson Corp 画像合成方法および表面観察装置
JP4935665B2 (ja) * 2007-12-19 2012-05-23 株式会社ニコン 撮像装置及び画像効果付与プログラム
US7772569B2 (en) * 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
US8131056B2 (en) * 2008-09-30 2012-03-06 International Business Machines Corporation Constructing variability maps by correlating off-state leakage emission images to layout information
CN101487838B (zh) * 2008-12-11 2012-12-05 东华大学 一种异形纤维的尺度形状特征的提取方法
US8331726B2 (en) * 2009-06-29 2012-12-11 International Business Machines Corporation Creating emission images of integrated circuits
US9075106B2 (en) * 2009-07-30 2015-07-07 International Business Machines Corporation Detecting chip alterations with light emission
US8314837B2 (en) * 2009-10-15 2012-11-20 General Electric Company System and method for imaging with enhanced depth of field
US20110091125A1 (en) * 2009-10-15 2011-04-21 General Electric Company System and method for imaging with enhanced depth of field

Also Published As

Publication number Publication date
DE102010038164A1 (de) 2011-06-16
US20110090327A1 (en) 2011-04-21
CN102053355A (zh) 2011-05-11
CN102053355B (zh) 2014-11-19
JP2011109644A (ja) 2011-06-02

Similar Documents

Publication Publication Date Title
JP5715371B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP5782243B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP5651423B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
JP6496708B2 (ja) コンピュータ実装方法、画像解析システム及びデジタル顕微鏡撮像システム
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP6120675B2 (ja) 顕微鏡システム、画像生成方法及びプログラム
JP7244706B2 (ja) 生体試料の合成デジタル画像を生成するシステム
Bueno et al. An automated system for whole microscopic image acquisition and analysis
JP4346888B2 (ja) 顕微鏡装置
JP4046161B2 (ja) 標本画像データ処理方法及び標本検査システム
CN112903675A (zh) 样本分析仪和样本分析仪的细胞图像处理方法
JP2004150896A (ja) 標本検査方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150313

R150 Certificate of patent or registration of utility model

Ref document number: 5715371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250