JP7346577B2 - デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法およびコンピュータプログラム - Google Patents

デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法およびコンピュータプログラム Download PDF

Info

Publication number
JP7346577B2
JP7346577B2 JP2021537902A JP2021537902A JP7346577B2 JP 7346577 B2 JP7346577 B2 JP 7346577B2 JP 2021537902 A JP2021537902 A JP 2021537902A JP 2021537902 A JP2021537902 A JP 2021537902A JP 7346577 B2 JP7346577 B2 JP 7346577B2
Authority
JP
Japan
Prior art keywords
magnification
digital
image data
optical
settings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537902A
Other languages
English (en)
Other versions
JP2022516855A (ja
Inventor
ホーネッガー マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2022516855A publication Critical patent/JP2022516855A/ja
Application granted granted Critical
Publication of JP7346577B2 publication Critical patent/JP7346577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00Optical objectives with means for varying the magnification
    • G02B15/02Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/248Base structure objective (or ocular) turrets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法、およびこの方法を実施するためのプログラムコードを含むコンピュータプログラムに関する。
デジタル顕微鏡システムは、物体のターゲット領域を表すデジタル画像データを生成するように構成された撮像デバイスを含むことで知られている。この目的で、撮像デバイスは例えばデジタルカメラを有する。かかるデジタル顕微鏡システムはさらに、撮像デバイスにより撮像されるべきターゲット領域のポジションまたはサイズを変更する目的で制御される顕微鏡構成要素を有する。これらの顕微鏡構成要素は例えば、撮像デバイスの光軸に対して横方向に動かすことのできる顕微鏡ステージ、撮像デバイス内に設けられている光学システムの倍率を変化させることによりターゲット領域のサイズを調節可能にする倍率変更システム、およびフォーカシングシステムを有する。ユーザは、撮像されるべきターゲット領域を調節する目的で、ユーザインタフェースおよび例えばキーボード、コンピュータマウスなどの入力部材を介して、上述の顕微鏡構成要素を制御することができる。ユーザインタフェースは、モニタスクリーンに一体化されたタッチスクリーンを有することもできる。
ターゲット領域のライブ画像がモニタ上に表示され、ユーザはタッチスクリーンまたは他の入力部材を操作することによって、このライブ画像を巡って見て回ることができる。ただし、ユーザ入力と、ユーザ入力に従い作動されるべき顕微鏡構成要素の動作と、の間にある程度の遅延が生じることが多い。かかる遅延または待ち時間は、ユーザ入力に従った動作に関わるそれらの顕微鏡構成要素において発生する個々の待ち時間を合計したものから成る。かかる待ち時間は、画像取得、画像転送、画像出力、電動顕微鏡機能の物理的遅延、またはソフトウェアにおける様々な遅延に関係する可能性がある。
ユーザ入力と個々の顕微鏡構成要素の動作との間の全待ち時間が過度に大きくないかぎりは、かかる待ち時間を許容することができる。したがって約80msの待ち時間であれば、ユーザにはわからない。しかしながら全待ち時間がもっと長いケースであると、ユーザは、モニタ上に表示された画像を巡るナビゲーションを、レスポンスがないと感じてしまう。
原理的には、付加的に労力を費やすことで個々の顕微鏡構成要素の待ち時間を減らす、ということを考えることができる。ただしかかるアプローチは、余分な開発およびハードウェアコストに起因して、それなりにコストがかかってしまう。
したがって本発明の課題は、レスポンスよく動作可能なデジタル顕微鏡システムを提供することにある。
上述の課題を達成する目的で、撮像デバイスとコントローラとを有するデジタル顕微鏡システムが提供され、撮像デバイスは、物体のターゲット領域を表すデジタル画像データを生成するように構成されており、ターゲット領域は撮像デバイスの可変設定によって決定され、コントローラは、この設定に従い生成されたデジタル画像データに対応するモニタ画像データを生成するように構成されており、モニタ画像データは、モニタ画像として表示されるように構成されている。コントローラは、ユーザ入力に応答して設定を変更するように構成されている。コントローラはさらに、変更された設定に従いモニタ画像データを更新する際の遅延を、以下のことによって補償するように構成されており、すなわち、変更されていない設定に従い生成されたデジタル画像データを、ユーザ入力に応答して格納し、格納されたデジタル画像データに対し、変更された設定を考慮するデジタル画像処理を実施することにより、シミュレーションモニタ画像データを生成することによって、補償するように構成されており、シミュレーションモニタ画像データは、遅延中、シミュレーションモニタ画像として表示されるように構成されている。
撮像デバイスの上述の設定は、この撮像デバイスにより撮像されるべき物体のターゲット領域を決定するためのあらゆる設定を有する。例えばこの設定は、撮像デバイスに対するターゲット領域の横方向ポジション、ターゲット領域を撮像するための倍率、フォーカシング状態などを有することができる。特に可変設定を、例えば電動顕微鏡ステージ、電動フォーカシングシステム、電動倍率変更システムなど、ターゲット領域を決定するためのユーザ入力に応答して制御可能な、撮像デバイスのあらゆる構成要素に関連するものとすることができる。
本発明の1つの実施形態によれば、設定変更のためのユーザ入力が受信された時点と、設定変更が実際に完了した時点と、の間の遅延中に、シミュレーションモニタ画像を表示させることができる。この目的で、変更されていない設定に基づき生成されたデジタル画像データに対しデジタル画像処理が実施され、その際にデジタル画像処理は、ユーザ入力により変更された新たな設定を考慮する。かくして設定変更がまだ完了していない時点において、変更された設定を反映するモニタ画像を表示することができる。その結果、ユーザは、レスポンスがよいと感じられかつ直感的なやり方で、デジタル顕微鏡システムを操作することができる。
慣用のシステムとは対照的に、ユーザは、モニタ上でデジタル顕微鏡システムの相応のリアクションを直接観察しながら、ユーザアクションを通してこのシステムのすべての操作を直感的に実施することができる。換言すれば、ユーザアクションすなわちユーザ入力に応答するシステムのリアクションは、例えばハードウェアおよび画像転送の待ち時間に起因して、ある程度の遅延を有するので、この遅延中、モニタ画像がデジタル処理でシミュレートされる。例えばズーミングが実施される場合には第1のステップにおいて、撮像デバイスにより生成された目下のデジタル画像が凍結すなわち格納され、ズーミングがまだ完了していないかぎりは、デジタル処理により拡大または縮小された画像のバージョンがモニタ上に表示される。よって、ズーミングのための撮像デバイスの操作がまだこの時点で完了していなくても、設定変更の結果として生じるモニタ画像に類似したものを、ユーザはすでに観察することができる。特定の期間後、顕微鏡のハードウェアが、変更されたズーム設定に対応する要求された倍率を実際に達成したならば、モニタ上に表示されたシミュレーションモニタ画像が、変更された設定に対応するライブ画像によって置き換えられる。
上述の原理は、例えば撮像デバイスがフォーカシングされる物体平面を変更するために、撮像デバイスの光軸に対し相対的に顕微鏡ステージを横方向にシフトすること、または撮像デバイスに対し相対的に光軸に沿って顕微鏡ステージを軸線方向にシフトすることなど、他のいかなる設定に対しても適用される。
さらに慣用の顕微鏡システムと対比すると、システムの待ち時間を低減するためのいかなる余分な労力も回避されることに、さらなる利点を見出すことができ、それというのもかかる労力には、コストのかかる開発およびハードウェアのコストが付随することが多いからである。
本発明の1つの実施形態によれば好ましくは、コントローラはユーザ入力に応答して、リアルタイム画像データとしてシミュレーションモニタ画像データを生成するように構成されており、このリアルタイム画像データは、デジタル画像データを生成すべき対象である物体のターゲット領域を変更するために、モニタ上でリアルタイムナビゲーションを可能にするように構成されている。かくしてユーザは、レスポンスがよく直感的なやり方で、デジタル顕微鏡システムを操作することができる。
本発明の1つの実施形態によれば、撮像デバイスは、設定に従い倍率を変更するように構成された倍率変更システム、設定に従い撮像デバイスに対し相対的に物体の横方向ポジションを変更するように構成されたポジショニングデバイス、および設定に従いフォーカシング状態を変更するように構成されたフォーカシングシステムのうちの少なくとも1つを有する。
好ましくは倍率変更システムの可変設定は、連続倍率設定および非連続倍率設定のうちの少なくとも一方を有する。このようにして、撮像されるべきターゲット領域のサイズを直感的に変更することができる。
好ましくは連続倍率設定は、光学ズーム設定およびデジタルズーム設定のうちの少なくとも一方を有する。光学ズーム設定によれば、ターゲット領域を高い画像品質で撮像することができるのに対し、デジタルズーム設定によれば、倍率変更のためにさらに別の光学素子が不要なため、ターゲット領域サイズを高速かつ低コストで調節することができる。
1つの好ましい実施形態によれば、倍率を変更するためのユーザ入力が、非連続倍率設定および光学ズーム設定のうちの少なくとも一方を含むならば、コントローラは、個々の設定の変更により引き起こされたモニタ画像データの更新における遅延を補償するために、シミュレーションモニタ画像データを生成する。この実施形態の場合、倍率の変更は、特定の時間が経過するのを必要とする運動などのような、1つまたは複数の光学素子の機械的な運動をどうしても伴ってしまう可能性がある。上述の時間中、倍率変更が完了したときに予期されるべきモニタ画像を、デジタル処理によりモニタ上でシミュレートすることができる。
好ましくは、倍率変更のためのユーザ入力がデジタルズーム設定を伴うものであるならば、コントローラはいかなる遅延の補償も伴わずにモニタ画像データを更新する。この実施形態の場合には、いかなる光学素子も機械的に動かすことなく倍率を変更することができ、その結果、倍率を迅速に変更することができる。したがって撮像デバイスは、いかなるデジタルシミュレーションも伴わずにモニタ画像を更新することができるほど高速に、デジタル画像データを生成することができる。
1つの好ましい実施形態によれば、倍率変更システムは、少なくとも第1および第2の倍率変更サブシステムを有し、これらの倍率変更サブシステムによって1つの複合ズームシステムが形成される。
好ましくは、複合ズームシステムは、第1の倍率変更サブシステムにより規定される連続倍率レンジと、第2の倍率変更サブシステムにより規定される複数の非連続基本倍率と、により組み合わせられた倍率レンジを規定する。連続倍率レンジと非連続基本倍率とを組み合わせることによって、高い画像品質を保証するやり方で広い全倍率レンジを規定することができる。
上述の実施形態において撮像デバイスは、デジタルズームシステムとして動作するように構成されたデジタルカメラを有することができ、このデジタルカメラは第1の倍率変更サブシステムを成している。さらに撮像デバイスは、第2の倍率変更サブシステムを成す非連続倍率変更装置を有することができる。デジタルズームシステムを非連続倍率変更装置と組み合わせることによって、効率的なやり方で広い倍率レンジを規定することができる。
さらに非連続倍率変更装置は、複数の非連続基本倍率を規定する複数の固定倍率光学システムを有することができ、この固定倍率光学システムの各々を、デジタルカメラを含む光路内に選択的に挿入可能である。1つの好ましい実施形態によれば、複合ズームシステムは、第1の倍率変更サブシステムにより規定される第1の連続倍率サブレンジと、第2の倍率変更サブシステムにより規定される第2の連続倍率サブレンジと、から成る全倍率レンジを規定する。
上述の実施形態において、撮像デバイスは、第1のデジタルカメラおよび第1の光学倍率システムを有することができ、第1のデジタルカメラおよび第1の光学倍率システムは、第1の光軸に沿って整列されており、第1の倍率変更サブシステムを成している。さらに撮像デバイスは、第2のデジタルカメラおよび第2の光学倍率システムを有することができ、第2のデジタルカメラおよび第2の光学倍率システムは、第2の光軸に沿って整列されており、第2の倍率変更サブシステムを成している。第1の光軸および第2の光軸を互いに平行に配置することができる。第1の倍率変更サブシステムおよび第2の倍率変更サブシステムのうちの一方をターゲット領域と選択的に整列させるために、第1の光軸および第2の光軸と直交する方向で物体に対し相対的に撮像デバイスを動かすことができる。第1のデジタルカメラおよび第2のデジタルカメラのうちの少なくとも一方を、デジタルズームシステムとして動作するように構成することができ、または第1の光学倍率システムおよび第2の光学倍率システムのうちの少なくとも一方を、光学ズームシステムとすることができる。この実施形態によれば、複数のサブレンジに分割された全倍率レンジを実現することができ、それらのサブレンジ各々は個々の倍率変更システムに割り当てられている。このようにして、広い倍率レンジを効率的にカバーすることができる。
第1のデジタルカメラを、デジタルズームシステムとして動作するように構成することができ、第1のデジタルカメラは第1の解像度を有することができる。第1の倍率システムを、第1の倍率を規定する固定倍率光学システムとすることができる。第2のデジタルカメラを、デジタルズームシステムとして動作するように構成することができ、第2のデジタルカメラは第1の解像度よりも低い第2の解像度を有することができる。第2の倍率システムを、第1の倍率よりも小さい第2の倍率を規定する固定倍率光学システムとすることができる。第1の連続倍率サブレンジを、全倍率レンジのうち上方のサブレンジとすることができる。第2の連続倍率サブレンジを、全倍率レンジのうち下方のサブレンジとすることができる。この実施形態において、第1のデジタルカメラを、ターゲット領域の高解像度画像を生成するために使用することができる一方、第2のデジタルカメラを、それよりも低い解像度を有するオーバービュー画像を生成するために使用することができる。したがってこのデジタル顕微鏡システムによれば、広い倍率レンジを通して使いやすく効率的な物体の撮像が可能となる。
第1の倍率システムを、第1の連続倍率サブレンジを規定する光学ズームシステムとすることができる。第2のデジタルカメラを、デジタルズームシステムとして動作するように構成することができる。第2の倍率システムを固定倍率光学システムとすることができる。第1の連続倍率サブレンジを、全倍率レンジのうち上方のサブレンジとすることができる。第2の連続倍率サブレンジを、全倍率レンジのうち下方のサブレンジとすることができる。1つの好ましい実施形態によれば、コントローラは、倍率変更システムおよびポジショニングデバイスのうち少なくとも一方の変更された設定に基づき、シミュレーションモニタ画像のセンタが変更された設定により決定されたターゲット領域に対応するよう、シミュレーションモニタ画像データを生成するように構成されている。この実施形態によれば、ターゲット領域はシミュレーションモニタ画像において常にセンタリングされており、これによって物体を巡るデジタルナビゲーションが容易になる。
好ましくはコントローラは、倍率変更システムおよびポジショニングデバイスのうち少なくとも一方の変更された設定に基づき、シミュレーションモニタ画像がダミー部分を含むよう、シミュレーションモニタ画像データを生成するように構成されており、このダミー部分は、変更されていない設定に従って生成されたデジタル画像データによっても表されてない物体の領域に対応する。上述のダミー部分を規定することによって、シミュレーションモニタ画像が空の画像エリアを含んでしまうことを阻止することができ、さもなければ、シミュレーションモニタ画像がモニタ上に表示される時点ではデジタル画像データをまだ入手できないために、このような空の画像エリアが存在することになってしまう。かくして、デジタル顕微鏡システムのレスポンスがよく直感的な動作が促進される。
1つの好ましい実施形態によれば、デジタル顕微鏡システムは物体を載置すべき顕微鏡ステージを有する一方、ポジショニングデバイスは、設定に従い撮像デバイスに対し相対的に顕微鏡ステージの横方向ポジショニングを変更するように構成されている。この実施形態において、撮像デバイスの光軸と直交する方向に顕微鏡ステージを動かすことができる。択一的に、顕微鏡ステージに対し相対的に撮像デバイスを動かすことができる。
デジタル顕微鏡システムは、モニタ画像およびシミュレーションモニタ画像を表示するように構成されたモニタを有することができる。
さらにデジタル顕微鏡システムは、設定変更のためのユーザ入力を取得するように構成された入力デバイスを有することができる。入力デバイスは、マウス、ジョイスティック、キーボードなどの操作部材を有することができる。
さらに入力デバイスは、モニタに一体化されたタッチスクリーンを含むことができる。タッチスクリーンを使用することによりユーザは、専用のタッチペンまたは1本または複数本の指でタッチスクリーンに触れることにより、1回または複数回のタッチジェスチャを介してデジタル顕微鏡システムにユーザ入力を与えることができる。ドラッグ&ドロップジェスチャのようなジェスチャを適用することによって、ユーザは撮像された物体を簡単に見て回ることができる。
本発明の別の態様によれば、デジタル顕微鏡システムを動作させるための方法が提供される。この方法は以下のステップを有する。すなわち、物体のターゲット領域を表すデジタル画像データを生成するステップであって、ターゲット領域は可変設定によって決定されるステップと、この設定に従い生成されたデジタル画像データに対応するモニタ画像データを生成するステップであって、モニタ画像データは、モニタ画像として表示されるように構成されているステップと、ユーザ入力に応答して設定を変更するステップと、変更された設定に従いモニタ画像データを更新する際の遅延を以下のことによって補償し、すなわち、変更されていない設定に従い生成されたデジタル画像データを、ユーザ入力に応答して格納し、格納されたデジタル画像データに対し、変更された設定を考慮するデジタル画像処理を実施することにより、シミュレーションモニタ画像データを生成することによって、補償するステップであって、シミュレーションモニタ画像データは、遅延中、シミュレーションモニタ画像として表示されるように構成されているステップと、を有する。
本発明のその他の態様によれば、コンピュータプログラムがプロセッサにおいて実行されると、上述の方法を実施するためのプログラムコードを含むコンピュータプログラムが提供される。
次に、図面を参照しながら好ましい実施形態について説明する。
本発明の1つの実施形態によるデジタル顕微鏡システムの構成を示す図である。 図1に示したデジタル顕微鏡システムを動作させるための例示的なプロセスフローを示すフローチャートである。 図1に示したデジタル顕微鏡システム内に設けられている撮像デバイスの特定の実施形態を示す図である。 図1に示したデジタル顕微鏡システム内に設けられている撮像デバイスのさらに別の実施形態を示す図である。 図1に示したデジタル顕微鏡システム内に設けられている撮像デバイスのさらに別の実施形態を示す図である。 図1に示したデジタル顕微鏡システムを用いて実施されるリアルタイムナビゲーションに関する一例を示す図である。 図1に示したデジタル顕微鏡システムを用いて実施されるリアルタイムナビゲーションに関するさらに別の例を示す図である。
図1は、本発明の1つの実施形態によるデジタル顕微鏡システム100を示す図である。
デジタル顕微鏡システム100は、撮像デバイス102、顕微鏡ステージ104およびコンピュータシステム106を有する。撮像デバイス102は、顕微鏡ステージ104上に配置された物体110のターゲット領域108を表すデジタル画像データを生成するように構成されている。
コンピュータシステム106は、プロセッサ112、モニタ114および入力デバイスを有し、入力デバイスには例えばキーボード116およびコンピュータマウス118などのポインティングデバイスが含まれる。入力デバイスはさらに、モニタのスクリーンに一体化されたタッチスクリーン120を有することができる。
プロセッサ112は、デジタル顕微鏡システム100の全体的な動作を制御するように構成されたコントローラ122を有することができる。この目的でコントローラ122は、デジタル顕微鏡システム100の個々の構成要素に接続されており、特に撮像デバイス102、モニタ114、キーボード116およびコンピュータマウス118に接続されている。コントローラ122をさらに、顕微鏡ステージ104と撮像デバイス102との間の相対的な運動を可能にするポジショニングデバイス124に接続することができる。本実施形態の場合、撮像デバイス102の光軸Oと直交する方向で顕微鏡ステージ104を動かすように、ポジショニングデバイス124を構成することができる。図1に示されている3本の直交軸x、y、zを含む座標系を参照すると、顕微鏡ステージ104の上述の横方向運動は、x軸およびy軸を含む平面に対し平行である。ポジショニングデバイス124をさらに、z軸に対し平行な方向に、すなわち光軸Oに対し平行に、撮像デバイス102に対し相対的に顕微鏡ステージ104を動かすように構成することができる。この軸線運動によって、ポジショニングデバイス124をフォーカシングシステムとして用いることができ、このフォーカシングシステムによって、撮像デバイス102により撮像されるべきターゲット領域108を含む物体面が決定される。撮像デバイス102と顕微鏡ステージ104との間の上述の横方向および軸線方向の相対運動は、図1において双方向矢印によって表されている。
プロセッサ112はさらに、撮像デバイス102によって生成され物体110の画像ターゲット領域108を表すデジタル画像データを格納するために、メモリ126を含むことができる。
撮像デバイス102により撮像されるべき物体110のターゲット領域108は、撮像デバイス102の可変設定により決定される。かかる可変設定は、撮像デバイス102に対し相対的な顕微鏡ステージ104の横方向xyポジションを決定する設定、撮像デバイス102に対し相対的な光軸Oに沿った顕微鏡ステージ104の軸線方向zポジションを決定する設定、および後でさらに詳しく説明するように、撮像デバイス102内に設けられている光学システム(図1には示されていない)が物体のターゲット領域108を撮像する際のベースとなる倍率を決定する設定のうちの少なくとも1つを有することができる。
撮像デバイス102の設定は、本発明では入力デバイスすなわちキーボード116、コンピュータマウス118およびタッチスクリーン120のうちの少なくとも1つを操作するユーザによって実施されるユーザ入力に応答して、コントローラ122により変更されていく。本明細書で前提とするのは、コントローラ122により実施される撮像デバイス102の設定の変更はある特定の時点に行われる、ということである。換言すれば、ここで前提とするのは、ユーザ入力がコントローラ122によって受信される時点と、新たな設定に従い物体110を撮像できるように撮像デバイス102の設定変更が完了する時点と、の間に遅延が存在する、ということである。上述の遅延にかかわらず、ユーザがモニタ114上でリアルタイムにナビゲーションを実施できるようにする目的で、本実施形態によるデジタル顕微鏡システム100を、図2のフローチャートに表された例示的なプロセスフローに従い動作させることができる。
図2に示されているプロセスフローはステップS2から始まり、このステップS2において撮像デバイス102は、物体110のターゲット領域108を表すデジタル画像データを生成する。撮像デバイス102により撮像されるターゲット領域108は、撮像デバイス102の目下の設定により決定され、例えば撮像デバイス102に対し相対的な顕微鏡ステージ104の横方向ポジションおよび軸線方向ポジション、ならびにターゲット領域108の撮像が実施される際にベースとなる倍率のうちの少なくとも1つによって決定される。
ステップS4においてコントローラ122は、目下の設定に従いステップS2において生成されたデジタル画像データに対応するモニタ画像データを生成する。モニタ画像データは、モニタ画像の形態でモニタ114上に表示されるように構成されたデータを表す。
ステップS4において生成されたモニタ画像データに基づき、ステップS6においてモニタ上にライブモニタ画像が表示される。
図2に示されている実施形態に関して前提とするのは、ステップS8においてコントローラ122は、撮像デバイス102の設定を変更する目的で、デジタル顕微鏡システム100のユーザにより実施されたユーザ入力を受信する、ということである。
ユーザ入力を受信したならば、ステップS10においてコントローラ122は、変更されていない設定に従いステップS2において生成されたデジタル画像データを、プロセッサ112のメモリ126に格納する。換言すれば、ステップS10においてコントローラ122は、変更されていない設定に基づくデジタル画像を凍結する。
ステップS10と同時に実施可能なステップS12において、コントローラ122は、ユーザ入力に従い撮像デバイス102の設定変更を開始する。本実施形態に関して前提とするのは、撮像デバイス102の設定変更は、ユーザ入力の受信から始まり設定の更新完了までに遅延を伴う、ということである。
ステップS14においてコントローラ122は、ステップS10において格納された画像データに対しデジタル処理を実施し、このデジタル処理によって、ステップS8において受信されたユーザ入力に従い生成されるべきモニタ画像の類似物を表すシミュレーションモニタ画像データを生成するように、変更された設定が考慮される。
ステップS16において、シミュレーションモニタ画像がモニタ114上に表示され、このシミュレーションモニタ画像は、ステップS14において生成されたシミュレーションモニタ画像データによって表される。ステップS16は、モニタ画像データが変更された設定に従い更新されるときに発生する遅延の間に実施される。換言すれば、ステップS16においてシミュレーションモニタ画像を表示することは、上述の遅延を補償する役割を果たす。
ステップS18において、撮像デバイス102の設定変更が完了したか否かが判定される。設定変更がまだ完了していなければ、つまり遅延がまだ継続中であるならば、プロセスはステップS16に戻り、シミュレーションモニタ画像がモニタ114上に表示され続ける。他方、ステップS18において、設定変更が完了したと判定されたならば、プロセスはステップS20に進む。
ステップS20において撮像デバイス102は、ステップS8において受信されたユーザ入力に基づき変更された設定に従い、新たなデジタル画像データを生成する。
ステップS22においてコントローラ122は、ステップS20において生成されたデジタル画像データに対応する更新されたモニタ画像データを生成する。
最終的にステップS24において、更新されたモニタ画像がモニタ上に表示され、この更新されたモニタ画像は、ステップS22において生成されたモニタ画像データによって表される。
図2に示した例示的なプロセスを参照しながら上述の記載で説明したように、デジタル顕微鏡システム100のコントローラ122はユーザ入力に応答して、リアルタイム画像データとしてシミュレーションモニタ画像データを生成するように構成されており、このリアルタイム画像データは、デジタル画像データを生成すべき対象である物体110のターゲット領域108を変更するために、モニタ114上でリアルタイムナビゲーションを可能にするように構成されている。
図1に示した実施形態に関して上述の記載で説明したように、撮像されるべきターゲット領域108を決定する撮像デバイス102の設定は、撮像デバイス102内に設けられている光学システムの倍率を決定する設定、撮像デバイス102に対し相対的な物体110の横方向xyポジショニングを決定する設定、および撮像デバイス102に対し相対的な物体110の軸線方向zポジションを決定する設定、すなわち撮像デバイス102の光学システムが集束される物体面を決定する設定を有することができる。以下では、図1に示した撮像デバイス102の種々の実施形態について、図3~図5を参照しながら説明する。図3~図5に示されている実施形態は特に、以下で説明する種々の倍率設定を可能にするように設計されている。
図3には、図1に示したデジタル顕微鏡システム100内に設けられている撮像デバイス102の特定の実施形態を表す撮像デバイス302が示されている。
撮像デバイス302は、図3では参照符号328で大まかに表された倍率変更システムを含む。以下で説明するように、倍率変更システム328の可変設定は、連続倍率設定すなわちズーム設定と、非連続倍率設定すなわち段階的倍率設定と、のうちの少なくとも一方を有する。図3に示されている実施形態の場合、上述の連続倍率設定は、デジタルズーム設定を有することができる。
特に、図3に示されている倍率変更システム328は、デジタルカメラによって形成可能な第1の倍率変更サブシステム330を有する。デジタルカメラ330は、デジタルズームシステムとして動作するように構成されている。倍率変更システム328はさらに、非連続倍率変更装置によって形成されている第2の倍率変更サブシステム332を有する。非連続倍率変更装置332は、複数の固定倍率光学システム334、336、338を有する。固定倍率光学システムの各々は、固定倍率を規定する光学システムにより形成されている。したがって複数の固定倍率光学システム334、336、338によって、複数の異なる非連続基本倍率が規定される。これらの基本倍率のうちの1つを選択的に設定する目的で、固定倍率光学システム334、336、338の各々を、デジタルカメラ330が配置されている光路内に選択的に挿入可能である。図3の場合、上述の光路は、ターゲット領域108からデジタルカメラ330に至る光軸Oによって表されている。
図3に示されている実施形態の場合、倍率変更システム328は、デジタルカメラ330と光軸O上に目下ポジショニングされている固定倍率光学システム334との間に配置されたチューブレンズ340を含むことができる。さらに倍率変更システム328は、顕微鏡ステージ104に面した対物レンズ342を含むことができる。固定倍率光学システム334、336、338を、光軸Oと直交させて動かすことができるのに対し、デジタルカメラ330、チューブレンズ340および対物レンズ342は、図3に示されている撮像デバイス302内に定置されている。
デジタルカメラ330を有する第1の倍率変更サブシステムと、非連続倍率変更装置332を有する第2の倍率変更サブシステムと、が合わさって、1つの複合ズームシステムを成している。この複合ズームシステムは、デジタルズームシステムとして動作するデジタルカメラ330により規定される連続倍率レンジと、撮像されるべきターゲット領域108からデジタルカメラ330に至る光路O内に選択的に挿入可能な固定倍率光学システム334、336、338により規定される複数の種々の非連続基本倍率と、によって組み合わせられた倍率レンジを規定する。
好ましくは、デジタルカメラ330は高解像度画像センサを成しており、これによって、複数の固定倍率光学システム334、336、338を含む非連続倍率変更装置332との組み合わせで、連続ズームシステムが提供される。具体的には非連続倍率変更装置332によって、複数の一連の倍率ステップを表す非連続基本倍率が規定され、この場合、デジタルカメラ330によって、2つの隣り合う倍率ステップ間における無段階のデジタルズームが保証される。非連続基本倍率間の切り替えは、上述のようにユーザ入力に応答して実施される。
図3に示されている実施形態の場合、2つの非連続倍率ステップ間のデジタルズーム操作をリアルタイムで実施することができる。したがってデジタルカメラ330は、このデジタルズーム操作を実質的にいかなる遅延も伴うことなく実施することが可能である。その結果、倍率変更のためのユーザ入力がデジタルズーム設定だけしか含まなければ、コントローラ122はいかなる遅延の補償も伴わずにモニタ画像データを更新する。この点に関して留意されたいのは、モニタ114上に表示されるライブ画像は、目下要求されている倍率に従いスケーリングされトリミングされている、ということである。高解像度画像センサであるデジタルカメラ330によって、最大デジタル倍率のときでさえトリミングされた画像においても必要とされる解像度が保証される。
他方、ユーザ入力に応答して、光軸Oと直交させて非連続倍率変更装置332の横方向ポジショニングを変化させる場合、モニタ114上のライブ画像が、対応するデジタル画像データをプロセッサ112のメモリ126に格納することによって凍結される。次いで、図2を参照しながら上述の記載で説明したように、ユーザ入力により引き起こされる倍率変更が、格納された画像データを画像処理し、その結果から得られた対応するシミュレーションモニタ画像をモニタ114上に表示することによって、合間にデジタル処理でシミュレートされる。ユーザ入力に対応する非連続倍率変更装置の目標倍率が達成されるとただちに、コントローラ122は更新されたライブ画像に戻るように切り替える。
非連続倍率変更装置332のステップサイズは、デジタルカメラ330により実現されるデジタルズームのズームレンジに合わせて調節される。他方、ズームレンジは、デジタルカメラ330の解像度と、モニタ114上に表示される画像の解像度と、に依存する。
さらに図3に示されているように、撮像デバイス302の設定変更は、撮像デバイス302内に設けられている光学システムに対し相対的に顕微鏡ステージ104をポジショニングするための動作を含むこともできる。この目的で、撮像デバイス302と顕微鏡ステージ104との間の相対的ポジションを、光軸Oと直交する方向で、または光軸に沿った方向で、または両方の方向で変更するためのユーザ入力に応答して、ポジショニングデバイス124を制御することができる。
図3に示されている特定の実施形態によれば、非連続倍率変更装置332は3つの固定倍率光学システム334、336、338を有する。言うまでもなく、非連続倍率変更装置332は他の任意の個数の固定倍率光学システムを有することができ、ただしこの個数は1よりも大きい。
図4には、図1に示したデジタル顕微鏡システム100内に設けられている撮像デバイス102のさらに別の特定の実施形態である撮像デバイス402が示されている。
図4に示されている撮像デバイス402は、第1の倍率変更サブシステム444と第2の倍率変更サブシステム446とを含む倍率変更システム428を有する。第1の倍率変更サブシステム444は、第1のデジタルカメラ448と第1の光学倍率システム450とを含み、この場合、第1のデジタルカメラ448および第1の光学倍率システム450は、第1の光軸O1に沿って整列されている。同様に第2の倍率変更サブシステム446は、第2のデジタルカメラ452と第2の光学倍率システム454とを含む。第2のデジタルカメラ452および第2の光学倍率システム454は、第2の光軸O2に沿って整列されている。上述の第1および第2の光軸O1、O2は、互いに平行に配置されている。第1および第2の倍率変更サブシステム444、446のうちの一方をターゲット領域108と選択的に整列させる目的で、ポジショニングデバイス124を用いることで撮像デバイス402を、第1および第2の光軸O1、O2と直交する方向で、物体110に対し相対的に動かすことができる。第1および第2のデジタルカメラ448、452のうちの少なくとも一方を、デジタルズームシステムとして動作するように構成することができる。択一的に、第1および第2の光学倍率システム450、454のうちの少なくとも一方を、光学ズームシステムとして動作するように構成することができる。
さらに具体的には、図4に示されている実施形態によれば、第1のデジタルカメラ448を、デジタルズームシステムとして動作するように構成することができ、この第1のデジタルカメラ448は第1の解像度を有することができる。さらに第1の倍率システム450を、第1の固定倍率を規定する固定倍率光学システムとすることができる。さらに第2のデジタルカメラ452を、デジタルズームシステムとして動作するように構成することができ、この第2のデジタルカメラ452は、第1のデジタルカメラ448の第1の解像度よりも低い第2の解像度を有することができる。第2の倍率システム454を、第1の倍率よりも小さい第2の固定倍率を規定する固定倍率光学システムとすることができる。
図4に示されている倍率変更システム428は複合ズームシステムを成しており、これによれば上方のサブレンジと下方のサブレンジとから成る全倍率レンジが規定される。全倍率レンジのうち上方のサブレンジは、第1の倍率変更サブシステム444により規定される第1の連続倍率サブレンジによって形成される。同様に、全倍率レンジのうち下方のサブレンジは、第2の倍率変更サブシステム446により規定される第2の連続倍率サブレンジによって形成される。
上述の記載で説明したように、図4に示されている実施形態は2つのデジタルカメラ448および452を有し、その際に第1のデジタルカメラ448は高解像度画像センサを成している。よって、デジタルズーム操作を実施するように構成された第1のデジタルカメラ448は、第1の固定倍率光学システム450と共働して、全倍率レンジのうち上方のサブレンジをカバーする。これに対し第2のデジタルカメラ452を、オーバービューカメラとして用いることができる。さらに第2の固定倍率光学システム454を、広視野光学システムとして用いることができる。したがって第2のデジタルカメラ452および第2の固定倍率光学システム454は、全倍率レンジのうち下方のサブレンジをカバーするように共働することができる。
全倍率レンジの上方および下方のサブレンジのうちの一方を設定する目的で、第1および第2の倍率変更サブシステム444、446のうち対応する一方が、ターゲット領域108と選択的に整列される。この目的で顕微鏡ステージ104を、光軸O1およびO2と直交する方向で横方向に動かすことができる。択一的に撮像デバイス402を、顕微鏡ステージ104に対し相対的に動かすことができる。
第1および第2の倍率変更サブシステム444、446のうちの一方をターゲット領域108と整列させるために、撮像デバイス402と顕微鏡ステージ104とを互いに相対的に横方向に動かす場合、設定が完了する前に遅延が発生する可能性がある。モニタ114上に表示されるモニタ画像を更新する際の相応の遅延を、図2を参照しながら説明したようにして補償することができる。その結果、2つの倍率変更サブシステム444、446間の切り替えを、ユーザに気づかれることなく実行することができる。
言うまでもなく、図4に示されている実施形態は、2つのデジタルカメラシステムに限定されるものではない。むしろここで説明したコンセプトを、3つ以上のカメラシステムに拡張することができる。同様に全倍率レンジを、3つ以上のサブレンジに分割することができる。
図5には、図1に示したデジタル顕微鏡システム100内に設けられている撮像デバイス102のさらに別の特定の実施形態である撮像デバイス502が示されている。
図4に示した実施形態と対比すると、図5の撮像デバイス502は以下の点で変更されている。すなわち、デジタルズーム操作を実施し全倍率レンジのうち上方のサブレンジをカバーする図4の高解像度カメラシステムが、一方では低解像度を有し他方では光学ズーム機能をもたらすように構成されたカメラシステムによって置き換えられている。
具体的には、図5に示されている撮像デバイス502は、第1の倍率変更サブシステム544を有する倍率変更システム528を含む。第1の倍率変更サブシステム544は、図4に示したデジタルカメラ448の解像度よりも低い第1の解像度を有する第1のデジタルカメラ548を含む。第1の倍率変更サブシステム544はさらに、光学ズームシステムとして動作する第1の倍率システム560を有する。第1の倍率システム560により形成された光学ズームシステムによって、第1の連続倍率サブレンジが規定される。第1の倍率システム560は、第1のデジタルカメラ548に面したチューブレンズ562と、顕微鏡ステージ104に面した対物レンズ564と、を有する。第1の倍率システム560はさらに、倍率変更のために光軸O1に沿って動かすことのできる2つのレンズ素子566、568を有する。第1の倍率システム560をさらに、光軸O1に沿って互いに独立して2つのレンズ素子566、568を動かすことにより、組み合わせられたズーミングおよびフォーカシングの操作を可能にするように構成することができる。第1の倍率変更サブシステム554の上述の構成は別として、図5に示されている撮像デバイス502は、図4に示した撮像デバイス402と同一である。特に、第1および第2の倍率変更サブシステム544、446間の切り替えは、図4に示した実施形態に関して説明したように実施される。さらに倍率変更のためのユーザ入力は、第1の倍率変更サブシステム544の光学ズーム設定の変更を含むことができるので、図2を参照して説明した光学ズーム設定の変更により引き起こされるモニタ画像の更新における遅延を補償するために、コントローラ122はシミュレーションモニタ画像データを生成することができる。
図6および図7には、モニタ114上のリアルタイムナビゲーションのためのそれぞれ異なる例が示されており、このリアルタイムナビゲーションは、撮像デバイス102により撮像されるべき物体110のターゲット領域108を調節するために適用される。具体的には、図6に示されている例によれば、モニタ画像を拡大または縮小するために実施される相応のユーザ入力に従い倍率が変更される。図7に示されている例によれば、モニタ画像を横方向にシフトするために実施されるユーザ入力に応答して、撮像デバイス102に対し相対的な顕微鏡ステージ104の横方向xyポジションが変更される。ユーザアクションすなわちユーザ入力を、入力デバイスに含まれる部材のうちのいずれかを用いることによって実行することができ、例えば、コンピュータマウス118を用いてマウスホイールの操作により、タッチスクリーン120を用いて1回または複数回のタッチジェスチャの適用により、キーボード116を用いて、ジョイスティックを使用する3Dマウスを用いて、などといったようにして実行することができる。
図6には、左側の列にユーザアクションが、すなわち入力デバイスを用いることでユーザにより実施されたユーザ入力が示されており、中央の列に遅延中のモニタ上におけるリアルタイム視覚化が、すなわちシミュレーションモニタ画像670が示されており、さらに右側の列に遅延後の結果が、すなわち変更された設定に従って更新されたモニタ画像672が示されている。さらに図6には、上半分に倍率を大きくするためのズーム設定の変更(図6中の“+”)が、下半分に倍率を小さくするためのズーム設定の変更(図6中の“-”)が示されている。
ユーザアクションに対応するズーム変更中にモニタ114上に視覚化を提供する目的で、ユーザアクションが始まったならば、目下のライブ画像が凍結されて、その内容が表示され、目下のターゲットポジションに従ってスケーリングされる。この視覚化手順は、ユーザがユーザアクション中に視覚的フィードバックを受け取ることができるように、リアルタイムで繰り返し実施される。ズーミングが正の方向に実施される場合には、設定の高速変更中、凍結された画像内容の個々のピクセルが可視状態となるようにすることができる。仮想的に倍率拡大または縮小された画像すなわちシミュレーションモニタ画像670が表示されている間に、倍率変更システムの物理的設定が、ユーザアクションに対応する要求された倍率に向かって変更される。要求された倍率に到達したならば、シミュレーションモニタ画像670が、変更された設定に従って更新されたモニタ画像672によって置き換えられ、更新されたモニタ画像672がモニタ上に表示される。上述の動作を、ユーザアクション中、要求されるたびに何度も繰り返すことができる。
図7による例の場合、ユーザ入力が、すなわち撮像デバイス102に対し相対的に顕微鏡ステージ104を横方向に動かすためのユーザアクションが、図6に示した例の場合のようにモニタ画像上で直接、実施される。
ユーザアクションに対応する横方向運動中にモニタ114上に視覚化を提供する目的で、ユーザアクションが始まったならば、目下のライブ画像が凍結され、その内容が目下のターゲットポジションに応じて横方向のオフセットを伴って表示される。この視覚化手順は、ユーザがユーザアクション中に視覚的フィードバックを受け取ることができるように、リアルタイムで繰り返し実施される。横方向運動がシミュレーションモニタ画像770によって表されている間に、撮像デバイス102の物理的設定が要求されたターゲットポジションに向かって変更される。要求されたターゲットポジションに到達したならば、シミュレーションモニタ画像770が、ユーザ入力により変更された設定に従い更新されたモニタ画像772によって置き換えられる。上述の動作を、ユーザアクション中、要求されるたびに何度も繰り返すことができる。
ここで留意されたいのは、図6および図7に示されている例において、画像情報を含まないグレー画像エリアは、撮像デバイス102によってもまだキャプチャされていなかった物体110の領域に相応する、ということである。換言すれば、上述のグレー画像エリアは、ユーザ入力によりまだ変更されていない設定に従って生成されたデジタル画像データによって表されていない物体110の領域に対応する。かかるグレー画像エリアは、シミュレーションモニタ画像内に生成されたダミー部分を表す。
図6および図7に示されている例示的なリアルタイムナビゲーション手順を互いに組み合わせることができる。例えば、図6に示されている例を参照すると、モニタ画像内のユーザ入力のポジションによって、ズーム操作のセンタを決定することができる。このことを、タッチスクリーン120上のジェスチャのポジションを通して、暗黙的に達成することができる。好ましくはこのポジションは、ズームプロセス全体を通して変更されないまま存続する。したがって撮像デバイス102に対し相対的な顕微鏡ステージ104の横方向運動を、ズーム操作と同期して行うことができる。この横方向運動もやはり、一方では仮想的にすなわちデジタル処理でモニタ画像を動かすことによって、他方では撮像デバイス102に対し相対的に顕微鏡ステージ104を物理的に動かすことによって行われる。
上述の実施形態によれば、ユーザインタフェースとデジタル顕微鏡システム100のハードウェア構成要素との間の一時的な分離を、ユーザ入力中に行うことができる。この場合に前提となり得るのは、物体のライブ画像はユーザアクション中は重要ではない、ということである。よって、上述のように凍結された画像を提供すれば十分であるとすることができる。したがってハードウェア要求を、特に待ち時間要求に関して著しく低減することができる。換言すれば、ユーザ入力に応じた設定変更が完了した後で初めて、ライブ画像を更新すれば十分であるとすることができる。したがって好ましくは、ユーザアクション中に何らかの中間画像を生成しなくてもよい。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。
ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
本発明全体を通して、例えば「によってあることを行う」といった言い回しは、「含む」などのような非限定的な表現として広く解釈されるべきであって、「から成る」などのような限定的な表現として解釈されるべきではない。
100 デジタル顕微鏡システム
102 撮像デバイス
104 顕微鏡ステージ
106 コンピュータシステム
108 ターゲット領域
110 物体
112 プロセッサ
114 モニタ
116 キーボード
118 コンピュータマウス
120 タッチスクリーン
122 コントローラ
124 ポジショニングデバイス
126 メモリ
302 撮像デバイス
328 倍率変更システム
330 デジタルカメラ
332 非連続倍率変更装置
334 固定倍率光学システム
336 固定倍率光学システム
338 固定倍率光学システム
340 チューブレンズ
342 対物レンズ
402 撮像デバイス
444 倍率変更サブシステム
446 倍率変更サブシステム
448 デジタルカメラ
450 光学倍率システム
452 デジタルカメラ
454 光学倍率システム
502 撮像デバイス
528 倍率変更システム
544 倍率変更サブシステム
548 デジタルカメラ
560 倍率光学システム
562 チューブレンズ
564 対物レンズ
566 レンズ素子
568 レンズ素子
670 シミュレーションモニタ画像
672 モニタ画像
770 シミュレーションモニタ画像
772 モニタ画像
O 光軸
O1 光軸
O2 光軸

Claims (12)

  1. デジタル顕微鏡システム(100)であって、前記デジタル顕微鏡システム(100)は、
    物体(110)のターゲット領域(108)を表すデジタル画像データを生成するように構成された撮像デバイス(102)であって、前記ターゲット領域(108)は、前記撮像デバイス(102)の可変設定によって決定される撮像デバイス(102)と、
    前記設定に従い生成された前記デジタル画像データに対応するモニタ画像データを生成するように構成されたコントローラ(122)であって、前記モニタ画像データは、モニタ画像(672、772)として表示されるように構成されるコントローラ(122)と、
    を備え、
    前記コントローラ(122)は、ユーザ入力に応答して前記設定を変更するようにさらに構成されており、
    前記コントローラ(122)は、変更された前記設定に従い前記モニタ画像データを更新する際の遅延を、以下のことによって、すなわち、
    変更されていない設定に従い生成された前記デジタル画像データを、前記ユーザ入力に応答して格納し、格納された前記デジタル画像データに対し、変更された前記設定に基づいてデジタル画像処理を実施することにより、シミュレーションモニタ画像データを生成することによって、補償するようにさらに構成されており、前記シミュレーションモニタ画像データは、遅延中、シミュレーションモニタ画像(670、770)として表示されるように構成されており、
    前記撮像デバイス(302、402、502)は、前記設定に従い倍率を変更するように構成された倍率変更システム(328、428、528)を有し、
    前記倍率変更システム(328、428、528)は、1つの複合ズームシステムを形成する少なくとも第1および第2の倍率変更サブシステム(330、332、444、446、544)を有し、
    前記複合ズームシステムは、前記第1の倍率変更サブシステム(444、544)により規定される第1の連続倍率サブレンジと、前記第2の倍率変更サブシステム(446)により規定される第2の連続倍率サブレンジと、から成る全倍率レンジを規定し、
    前記撮像デバイス(402、502)は、第1のデジタルカメラ(448、548)および第1の光学倍率システム(450、560)を有し、前記第1のデジタルカメラ(448、548)および前記第1の光学倍率システム(450、560)は、第1の光軸(O1)に沿って整列されており、前記第1の倍率変更サブシステム(444、544)を成し、
    前記撮像デバイス(402、502)は、第2のデジタルカメラ(452)および第2の光学倍率システム(454)を有し、前記第2のデジタルカメラ(452)および前記第2の光学倍率システム(454)は、第2の光軸(O2)に沿って整列されており、前記第2の倍率変更サブシステム(446)を成し、
    前記第1のデジタルカメラ(448、548)および前記第2のデジタルカメラ(452)のうちの少なくとも一方は、デジタルズームシステムとして動作するように構成されており、または、前記第1の光学倍率システム(450、560)および前記第2の光学倍率システム(454)のうちの少なくとも一方は、光学ズームシステムであり、
    前記第1の光軸(O1)および前記第2の光軸(O2)は、互いに平行に配置されており、
    前記第1の倍率変更サブシステム(444、544)および前記第2の倍率変更サブシステム(446)のうちの一方を前記ターゲット領域(108)と選択的に整列させるために、前記撮像デバイス(402、502)は、前記第1の光軸(O1)および前記第2の光軸(O2)と直交する方向で、前記物体(110)に対し相対的に移動可能である、
    デジタル顕微鏡システム(100)。
  2. 前記コントローラ(122)は、前記ユーザ入力に応答して、リアルタイム画像データとして前記シミュレーションモニタ画像データを生成するように構成されており、前記リアルタイム画像データは、前記デジタル画像データを生成すべき対象である前記物体(110)の前記ターゲット領域(108)を変更するために、モニタ(114)上でリアルタイムナビゲーションを可能にするように構成されている、
    請求項1記載のデジタル顕微鏡システム(100)。
  3. 前記撮像デバイス(302、402、502)は
    記設定に従い前記撮像デバイス(302、402、502)に対し相対的に前記物体(110)の横方向ポジションを変更するように構成されたポジショニングデバイス(124)と、
    前記設定に従いフォーカシング状態を変更するように構成されたフォーカシングシステム(124)と、
    のうちの少なくとも1つを有する、
    請求項1または2記載のデジタル顕微鏡システム(100)。
  4. 前記倍率変更システム(328、428、528)の前記可変設定は、連続倍率設定および非連続倍率設定のうちの少なくとも一方を有し、
    前記連続倍率設定は、光学ズーム設定およびデジタルズーム設定のうちの少なくとも一方を有する、
    請求項3記載のデジタル顕微鏡システム(100)。
  5. 前記倍率を変更するための前記ユーザ入力が前記非連続倍率設定および前記光学ズーム設定のうちの少なくとも一方を含むならば、前記コントローラ(122)は、個々の前記設定の変更により引き起こされた前記モニタ画像データの更新における遅延を補償するために、前記シミュレーションモニタ画像データを生成する、
    請求項4記載のデジタル顕微鏡システム(100)。
  6. 前記複合ズームシステムは、前記第1の倍率変更サブシステム(330)により規定される連続倍率レンジと、前記第2の倍率変更サブシステム(332)により規定される複数の非連続基本倍率と、により組み合わせられた倍率レンジを規定する、
    請求項1から5までのいずれか1項記載のデジタル顕微鏡システム(100)。
  7. 前記第1のデジタルカメラ(448)は、デジタルズームシステムとして動作するように構成されており、第1の解像度を有し、
    前記第1の光学倍率システム(450)は、第1の倍率を規定する固定倍率光学システムであり、
    前記第2のデジタルカメラ(452)は、デジタルズームシステムとして動作するように構成されており、前記第1の解像度よりも低い第2の解像度を有し、
    前記第2の光学倍率システム(454)は、前記第1の倍率よりも小さい第2の倍率を規定する固定倍率光学システムであり、
    前記第1の連続倍率サブレンジは、前記全倍率レンジのうち上方のサブレンジであり、
    前記第2の連続倍率サブレンジは、前記全倍率レンジのうち下方のサブレンジである、
    請求項1から6までのいずれか1項記載のデジタル顕微鏡システム(100)。
  8. 前記第1の光学倍率システム(560)は、前記第1の連続倍率サブレンジを規定する光学ズームシステムであり、
    前記第2のデジタルカメラ(452)は、デジタルズームシステムとして動作するように構成されており、
    前記第2の光学倍率システム(454)は、固定倍率光学システムであり、
    前記第1の連続倍率サブレンジは、前記全倍率レンジのうち上方のサブレンジであり、
    前記第2の連続倍率サブレンジは、前記全倍率レンジのうち下方のサブレンジである、
    請求項1から7までのいずれか1項記載のデジタル顕微鏡システム(100)。
  9. 前記ユーザ入力は、マウス、ジョイスティックまたはキーボードを介した入力である、請求項1から8までのいずれか1項記載のデジタル顕微鏡システム(100)。
  10. 請求項1記載のデジタル顕微鏡システム(100)を動作させるための方法であって、前記方法は、
    物体(110)のターゲット領域(108)を表すデジタル画像データを生成するステップであって、前記ターゲット領域(108)は、可変設定によって決定されるステップと、
    前記設定に従い生成された前記デジタル画像データに対応するモニタ画像データを生成するステップであって、前記モニタ画像データは、モニタ画像(672、772)として表示されるように構成されているステップと、
    ユーザ入力に応答して前記設定を変更するステップと、
    変更された前記設定に従い前記モニタ画像データを更新する際の遅延を、以下のことによって、すなわち、
    変更されていない設定に従い生成された前記デジタル画像データを、前記ユーザ入力に応答して格納し、格納された前記デジタル画像データに対し、変更された前記設定に基づいてデジタル画像処理を実施することにより、シミュレーションモニタ画像データを生成することによって補償するステップであって、前記シミュレーションモニタ画像データは、遅延中、シミュレーションモニタ画像(670、770)として表示されるように構成されているステップと、
    を有する方法。
  11. 前記ユーザ入力は、マウス、ジョイスティックまたはキーボードを介した入力である、
    請求項10記載の方法。
  12. コンピュータプログラムがプロセッサ上で実行されると、請求項10または11記載の方法を実施するためのプログラムコードを備えたコンピュータプログラム。
JP2021537902A 2018-12-27 2019-12-19 デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法およびコンピュータプログラム Active JP7346577B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18248048.3A EP3674774A1 (en) 2018-12-27 2018-12-27 Digital microscope system, method for operating the same and computer program
EP18248048.3 2018-12-27
PCT/EP2019/086175 WO2020136067A1 (en) 2018-12-27 2019-12-19 Digital microscope system, method for operating the same and computer program

Publications (2)

Publication Number Publication Date
JP2022516855A JP2022516855A (ja) 2022-03-03
JP7346577B2 true JP7346577B2 (ja) 2023-09-19

Family

ID=65019282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537902A Active JP7346577B2 (ja) 2018-12-27 2019-12-19 デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法およびコンピュータプログラム

Country Status (5)

Country Link
US (1) US11734936B2 (ja)
EP (1) EP3674774A1 (ja)
JP (1) JP7346577B2 (ja)
CN (1) CN113227871B (ja)
WO (1) WO2020136067A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519499A (ja) 2004-11-02 2008-06-05 カスケード マイクロテック インコーポレイテッド 光学的に強化されたディジタル撮像システム
WO2012128305A1 (ja) 2011-03-23 2012-09-27 ナノフォトン株式会社 顕微鏡
JP2013536471A (ja) 2010-08-20 2013-09-19 サクラ ファインテック ユー.エス.エー., インコーポレイテッド デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798571B2 (en) 2001-01-11 2004-09-28 Interscope Technologies, Inc. System for microscopic digital montage imaging using a pulse light illumination system
EP1930717B1 (en) * 2005-09-29 2019-06-19 Olympus Corporation Focal position determining method and apparatus
CN101441154B (zh) * 2008-12-23 2011-05-25 华东理工大学 一种高精度显微疲劳试验机
JP5568970B2 (ja) * 2009-11-30 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5468892B2 (ja) * 2009-12-22 2014-04-09 オリンパス株式会社 顕微鏡コントローラ及び顕微鏡コントローラを備える顕微鏡システム
DE102010018498B4 (de) * 2010-04-22 2021-08-19 Andreas Obrebski Optische Anordnung und optische Vorrichtung oder Gerät
US9273195B2 (en) * 2010-06-29 2016-03-01 Eastman Chemical Company Tires comprising cellulose ester/elastomer compositions
DE102010039652A1 (de) * 2010-08-23 2012-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mosaikaufnahmeerzeugung
DE102011107636A1 (de) * 2011-06-30 2013-01-03 Andreas Obrebski Kamerasystem
JP2013072995A (ja) * 2011-09-27 2013-04-22 Olympus Corp 顕微鏡システム
US8922639B2 (en) * 2011-09-27 2014-12-30 Olympus Corporation Microscope system
CN102589453B (zh) * 2011-12-16 2014-04-23 中国计量学院 轴类工件外径影像测量装置及其测量方法
CN203405620U (zh) * 2013-07-03 2014-01-22 陈登民 连续变倍演示显微镜
EP3285107B2 (en) * 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519499A (ja) 2004-11-02 2008-06-05 カスケード マイクロテック インコーポレイテッド 光学的に強化されたディジタル撮像システム
JP2013536471A (ja) 2010-08-20 2013-09-19 サクラ ファインテック ユー.エス.エー., インコーポレイテッド デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法
WO2012128305A1 (ja) 2011-03-23 2012-09-27 ナノフォトン株式会社 顕微鏡

Also Published As

Publication number Publication date
JP2022516855A (ja) 2022-03-03
WO2020136067A1 (en) 2020-07-02
CN113227871A (zh) 2021-08-06
CN113227871B (zh) 2023-10-31
EP3674774A1 (en) 2020-07-01
US20220075986A1 (en) 2022-03-10
US11734936B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
US20160353012A1 (en) Zooming control method for camera and electronic apparatus with camera
JP2017050742A (ja) 映像処理装置、映像処理方法、及びプログラム
EP3205083B1 (en) Control apparatus, method of controlling the same and program
JP7318670B2 (ja) 表示方法および表示システム
JP2017191492A (ja) 情報処理装置、情報処理方法および映像生成システム
KR20210136858A (ko) 화상표시장치, 제어방법, 및 프로그램
JP5955130B2 (ja) カメラ制御装置及びカメラ制御方法
JP7346577B2 (ja) デジタル顕微鏡システム、デジタル顕微鏡システムを動作させるための方法およびコンピュータプログラム
EP3349432B1 (en) Image capturing control apparatus, method of controlling the same and computer program
JP2006311063A (ja) 資料提示装置およびその動作方法
JP7271676B2 (ja) デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム
WO2012120978A1 (ja) 表示方法、表示装置およびプログラム
JPH05236319A (ja) 雲台を用いたテレビカメラ動作制御装置
JP2007316452A (ja) 観察装置および観察装置の画面表示方法
JP2014178791A (ja) 投影装置、投影システム、画像生成プログラム及び画像生成方法
JP2021040231A (ja) 画像処理装置およびプログラム
JP2007159038A (ja) 撮像装置及びその制御方法
CN114205532B (zh) 一种虚拟摄像机的拍摄方法、装置、设备及介质
JP5585215B2 (ja) 顕微鏡制御装置、撮像システムおよびプログラム
JP5463455B2 (ja) 地図表示装置および地図表示方法
JP6724395B2 (ja) 画像表示制御装置、画像表示制御方法及び画像表示制御プログラム
EP3822686A1 (en) Method of providing an assembled image using a digital microscope, digital microscope system, and program for providing an assembled image using a digital microscope
JP2019191509A (ja) 映像表示装置、映像表示方法、コンピュータプログラム、記憶媒体
WO2016056177A1 (en) Control apparatus, method of controlling the same and program
JP2007174150A (ja) カメラ制御方法およびカメラ制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150