JP7150868B2 - 顕微鏡システム、投影ユニット、及び、画像投影方法 - Google Patents

顕微鏡システム、投影ユニット、及び、画像投影方法 Download PDF

Info

Publication number
JP7150868B2
JP7150868B2 JP2020547903A JP2020547903A JP7150868B2 JP 7150868 B2 JP7150868 B2 JP 7150868B2 JP 2020547903 A JP2020547903 A JP 2020547903A JP 2020547903 A JP2020547903 A JP 2020547903A JP 7150868 B2 JP7150868 B2 JP 7150868B2
Authority
JP
Japan
Prior art keywords
image
microscope system
projection
image data
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020547903A
Other languages
English (en)
Other versions
JPWO2020066042A1 (ja
Inventor
竜男 中田
章文 壁谷
貴 米山
浩 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Corp
Original Assignee
Evident Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Corp filed Critical Evident Corp
Publication of JPWO2020066042A1 publication Critical patent/JPWO2020066042A1/ja
Application granted granted Critical
Publication of JP7150868B2 publication Critical patent/JP7150868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/053—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Description

本明細書の開示は、顕微鏡システム、投影ユニット、及び、画像投影方法に関する。
病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像を作成する技術である。WSI技術については、例えば、特許文献１に記載されている。
また、WSI技術のような、複数の画像をタイリングすることで顕微鏡の視野よりも広い領域を高い解像力で画像化する技術は、工業用途でも使用されている。例えば、品質管理のため、工業用部品の材料の微細組織を検査し、評価するなどの用途がその一例である。
上述した技術によれば、モニタに表示した高解像度の画像を見ながら対象物の任意の領域を観察することが可能となる。このため、診断、検査、評価等における作業者の負担を軽減することができる。
特表２００１－５１９９４４号公報
その一方で、接眼レンズを覗いて試料の光学画像を目視するニーズも引き続き存在する。これは、一般に、デジタル画像は、光学画像と比較して、色再現性とダイナミックレンジにおいて劣っているためである。例えば、病理診断では、色と濃淡の情報は極めて重要であることから、光学画像を用いて診断を行いたいといったニーズが存在する。また、仮に、光学画像と同程度まで高い色再現性と広いダイナミックレンジをデジタル画像に要求すると、顕微鏡システムは、非常に高価なものになってしまう。このため、そのような顕微鏡システムを導入できる利用者は、限られてしまう。
本発明の一側面に係る目的は、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減する新たな技術を提供することである。
本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、前記撮像装置で取得した前記デジタル画像データを訓練済みのニューラルネットワークを用いて解析する画像解析部と、第１補助画像と第３補助画像とを含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像であり、前記第３補助画像は、前記画像解析部での解析結果を示す画像である、前記投影画像生成部と、前記光学画像が形成されている像面へ前記投影画像を投影する投影装置であって、前記光学画像が形成される前記像面上の領域よりも広い投影可能領域を前記像面上に有する前記投影装置と、を備え、前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影され、前記第３補助画像は、前記光学画像上に投影される。
本発明の一態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、前記撮像装置で取得した前記デジタル画像データを訓練済みのニューラルネットワークを用いて解析する画像解析部と、第１補助画像と第３補助画像とを含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像であり、前記第３補助画像は、前記画像解析部での解析結果を示す画像である、前記投影画像生成部と、前記光学画像が形成されている像面へ前記投影画像を投影する投影装置であって、前記光学画像が形成される前記像面上の領域よりも広い投影可能領域を前記像面上に有する前記投影装置と、を備え、前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影され、前記第３補助画像は、前記光学画像上に投影される。
本発明の一態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、試料からの光に基づいて前記試料のデジタル画像データを取得し、取得した前記デジタル画像データを訓練済みのニューラルネットワークを用いて解析し、第１補助画像と第３補助画像とを含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、前記第３補助画像は、前記デジタル画像データの解析結果を示す画像であり、接眼レンズと対物レンズの間の光路上に配置された結像レンズによって前記試料からの光に基づいて前記光学画像が形成されている像面上の領域よりも広い投影可能領域を前記像面上に有する投影装置を用いて、前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影され、前記第３補助画像は、前記光学画像上に投影されるように、前記像面へ前記投影画像を投影する。
上記の態様によれば、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減することができる。
顕微鏡システム１の構成を示した図である。 制御装置１０の構成を示した図である。 顕微鏡システム１が行う画像投影処理のフローチャートの一例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの一例である。 マップ画像Ｍ１について説明するための図である。 マップ画像の構築過程の一例について説明するための図である。 マップ画像の構築過程の別の例について説明するための図である。 マップ画像の構築過程の更に別の例について説明するための図である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。 ニューラルネットワークの構成を示した図である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡２００の構成を示した図である。 顕微鏡システム２の構成を示した図である。 顕微鏡システム３の構成を示した図である。 視野の大きさの異なる複数のシステムを示した図である。 リーダー機器の一例である装置３０を示した図である。
［第１実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、制御装置１０の構成を示した図である。顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察する顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、投影画像生成部１３と、投影装置１３１を備えている。以降では、病理医が病理診断で顕微鏡システム１を用いる場合を例に説明するが、顕微鏡システム１の用途はこれに限らない。
顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３１を用いて投影画像を投影する。この投影画像は、試料の画像であって光学画像に対応する実視野よりも広い領域を写した画像を含んでいる。これにより、顕微鏡システム１の利用者は、試料のより広い範囲を大まか把握しながら、その試料の一部を光学画像でより詳細に観察することができる。このため、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。
以下、図１及び図２を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、制御装置１０と、入力装置２０と、を備えている。なお、顕微鏡システム１は、これらに加えて、表示装置などを備えても良い。
顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０と、撮像装置１４０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。
顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、視野絞りＦＳを含む透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。例えば、対物レンズ１０２は、４倍の対物レンズであり、対物レンズ１０２ａは、２０倍の対物レンズである。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。透過照明光学系が視野絞りＦＳを備える例を示したが、落射照明光学系が視野絞りを備えてもよい。また、落射照明光学系は、対物レンズ１０２と後述する光偏向素子１３２の間に、図示しないリレー光学系を備えてもよく、視野絞りは、リレー光学系が形成する中間像位置に設けられても良い。
顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。
鏡筒１２０は、接眼レンズ１０４と撮像装置１４０が装着された三眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。また、結像レンズ１０３は、撮像素子１４１と結像レンズ１０３の間の像面にも、試料からの光に基づいて試料の光学画像を形成する。結像レンズ１０３は、これらの像面に、投影装置１３１からの光に基づいて後述する投影画像も形成する。これにより、像面において光学画像上に投影画像が重畳されるため、顕微鏡システム１の利用者は、接眼レンズ１０４を覗くことで光学画像に投影画像が重畳した重畳画像を見ることができる。
なお、結像レンズ１０３は、像面の位置を変更することなく焦点距離を可変する機能、焦点距離を変更することなく像面の位置を可変する機能、または、像面の位置と焦点距離をそれぞれ独立して可変する機能を備える。これらの機能を実現するものには、結像レンズ１０３を構成するレンズの少なくとも一部を光軸方向に移動させるレンズが含まれる。また、結像レンズ１０３を構成する光学系の少なくとも一部のレンズを電気的に制御することで、レンズの曲率半径と屈折率の少なくとも一方を可変するアクティブレンズも含まれる。アクティブレンズは、例えば、液体レンズであってもよい。
中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、投影装置１３１と、光偏向素子１３２と、投影レンズ１３３を備えている。
投影装置１３１は、制御装置１０からの命令に従って、投影画像を光学画像が形成されている像面に投影する装置である。投影装置１３１は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。
光偏向素子１３２は、投影装置１３１から出射した光を像面に向けて偏向する。光偏向素子１３２は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。また、光偏向素子１３２には、ダイクロイックミラーなどが用いられても良い。光偏向素子１３２は、対物レンズ１０２と結像レンズ１０３の間の光路上に配置される。
投影レンズ１３３は、投影装置１３１からの光を結像レンズ１０３へ導くレンズである。投影レンズ１３３の焦点距離によって、像面へ投影される投影画像の倍率が調整される。なお、投影レンズ１３３にも、結像レンズ１０３と同様に、像面の位置と焦点距離の少なくとも一方を可変する機能を備えたレンズ、例えば、アクティブレンズなどが採用されてもよい。
撮像装置１４０は、例えば、デジタルカメラであり、撮像素子１４１と、アダプタレンズ１４２を備えている。撮像装置１４０は、試料からの光に基づいて、試料のデジタル画像データを取得する。
撮像素子１４１は、試料からの光を検出する光検出器の一例である。撮像素子１４１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１４１は、試料からの光を検出し、電気信号へ変換する。アダプタレンズ１４２は、像面に形成された光学画像を撮像素子１４１へ投影する。
投影装置１３１が像面に投影画像を投影しているとき、撮像装置１４０には投影装置１３１からの光も入射する。このため、撮像装置１４０が取得するデジタル画像には、試料の光学画像に加えて投影画像も含まれ得る。ただし、投影装置１３１の投影期間と撮像装置１４０の露光期間とを調整することで、撮像装置１４０は、投影画像が含まれない試料のデジタル画像データを取得することができる。
入力装置２０は、利用者の入力操作に応じた操作信号を制御装置１０へ出力する。入力装置２０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。また、入力装置２０は、音声入力を受け付ける装置、例えば、マイクなどあってもよい。その場合、制御装置１０は、入力装置２０から入力された音声指示を認識する機能を備えてもよい。
制御装置１０は、顕微鏡システム１全体を制御する。制御装置１０は、顕微鏡１００、及び、入力装置２０に接続されている。制御装置１０は、主に投影装置１３１の制御に関連する構成要素として、図１に示すように、撮像制御部１１、画像解析部１２、投影画像生成部１３、投影制御部１４、記録部１５を備えている。
撮像制御部１１は、撮像装置１４０を制御することで、試料のデジタル画像データを取得する。撮像制御部１１が取得したデジタル画像データは、画像解析部１２、投影画像生成部１３、及び、記録部１５へ出力される。
画像解析部１２は、撮像制御部１１が取得したデジタル画像データを解析し、解析結果を投影画像生成部１３へ出力する。画像解析部１２が行う解析処理の内容は特に限定しない。
画像解析部１２は、例えば、撮像素子１４１で取得したデジタル画像データと、後述するマップ画像データと、に基づいて、像面に投影されているマップ画像内における光学画像に対応する位置を特定して、その位置情報を投影画像生成部１３へ出力しても良い。
より具体的には、画像解析部１２は、マップ画像とデジタル画像とを比較することで、上述した位置を特定する。画像解析部１２は、画像比較によって位置を特定する処理を、デジタル画像データを取得する度に行ってもよい。画像比較により一度位置が特定されると、マップ画像に含まれる座標情報と顕微鏡システム１が管理する座標情報の関係が定まる。このため、その後は、画像解析部１２は、マップ画像とデジタル画像の比較を行うことなく、マップ画像の座標情報と試料の移動量に基づいて、その位置を更新してもよい。
試料の移動量は、例えば、異なる時刻に取得した複数のデジタル画像データに基づいて算出してもよい。具体的には、例えば、異なる時刻に取得したデジタル画像データ同士を画像解析することによりデジタル画像データに写る被写体の移動距離を算出することができる。また、マップ画像に対して、異なる時刻に取得したデジタル画像をそれぞれ比較することにより、マップ画像に対するそれぞれの画像の座標を求め、それらの座標から移動量を算出することもできる。この場合、異なる時刻に取得したデジタル画像データが表すデジタル画像に空間的な重なりが無くても移動量を算出することができる。また、ステージ１０１が電動ステージであれば、電動ステージの制御情報に基づいて移動量を算出してもよい。電動ステージの制御情報は、例えば、制御装置１０がステージ１０１へ出力した移動指示に関する情報であってもよく、ステージ１０１から制御装置１０へ出力される移動結果に関する情報であってもよい。なお、移動結果に関する情報とは、例えば、ステージ１０１に設けられたエンコーダからの出力情報などである。
また、画像解析部１２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む解析結果を出力してもよい。より具体的には、画像解析部１２は、デジタル画像に写る細胞を染色強度に応じて分類し、細胞が分類されたクラス情報とその細胞の輪郭又はその細胞の核の輪郭を特定する位置情報とを含む解析結果を生成してもよい。なお、その場合、少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物であることが望ましい。
また、画像解析部１２は、例えば、デジタル画像データに基づいて、試料内の注目領域を追跡しても良い。この場合、画像解析部１２が出力する解析結果には、注目領域の位置情報と、追跡の成否を示す追跡結果情報が含まれることが望ましい。なお、追跡すべき注目領域は、デジタル画像データを解析することで決定されてもよく、利用者が入力装置２０を用いて指定することで決定されてもよい。
投影画像生成部１３は、投影画像データを生成する。投影画像生成部１３で生成された投影画像データは、投影制御部１４及び記録部１５へ出力される。投影画像データが表す投影画像は、マップ画像を含む。ここで、マップ画像は、第１補助画像の一例である。マップ画像とは、試料の画像であって、像面に形成されている光学画像に対応する実視野よりも広い領域を写した画像のことである。このため、マップ画像は、例えば、対物レンズ１０２よりも低倍の対物レンズを用いて取得した試料の画像であってもよい。また、Whole Slide Imageのような複数の画像をタイリングすることで生成された画像であってもよい。この場合、複数の画像は、実視野よりも広い試料の領域の互いに異なる部分を写した画像である。なお、以降では、複数の画像をタイリングすることで生成されたマップ画像を例に説明する。
投影画像生成部１３で生成される投影画像データに含まれるマップ画像データは、顕微鏡システム１とは異なるシステムで生成された画像データであってもよい。投影画像生成部１３は、他のシステムで取得したマップ画像データを用いて投影画像データを生成してもよい。また、投影画像生成部１３は、撮像装置１４０で取得した試料の複数のデジタル画像データに基づいて、マップ画像データを生成してもよい。なお、マップ画像データとは、第１補助画像データの一例であり、マップ画像を表す画像データである。
投影画像には、マップ画像に加えて、その他の画像が含まれてもよい。例えば、投影画像は、マップ画像内の光学画像に対応する位置を示す位置画像を含んでもよい。位置画像は、第２補助画像の一例である。投影画像生成部１３は、画像解析部１２から出力された、マップ画像内の光学画像に対応する位置情報に基づいて位置画像データを生成してもよく、それによって、マップ画像と位置画像とを含む投影画像を表す投影画像データを生成してもよい。なお、位置画像データとは、位置画像を表す画像データである。
また、投影画像には、画像解析部１２での解析結果を示す解析画像を含んでもよい。この解析画像は、第３補助画像の一例である。投影画像生成部１３は、画像解析部１２から出力された、クラス情報と位置情報に基づいて解析画像データを生成してもよく、それによって、マップ画像と解析結果を示す解析画像とを含む投影画像を表す投影画像データを生成してもよい。なお、解析画像データとは、解析画像を表す画像データである。
また、投影画像には、画像解析部１２での追跡結果を示す解析画像を含んでもよい。この解析画像は、第４補助画像の一例であり、例えば、注目領域の追跡の成否を示す画像である。投影画像生成部１３は、画像解析部１２から出力された、注目領域の追跡結果情報に基づいて解析画像データを生成してもよく、それによって、マップ画像と追跡結果を示す解析画像とを含む投影画像を表す投影画像データを生成してもよい。
投影制御部１４は、投影装置１３１を制御することで、像面への投影画像の投影を制御する。投影制御部１４は、例えば、顕微鏡システム１の設定に応じて投影装置１３１を制御しても良い。具体的には、投影制御部１４は、顕微鏡システム１の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３１が像面へ投影画像を投影するように、投影装置１３１を制御しても良い。つまり、顕微鏡システム１は、投影画像を像面に投影するか否かを設定によって変更することができる。
また、投影制御部１４は、例えば、投影装置１３１の発光期間と撮像素子１４１の露光期間が重ならないように、投影装置１３１を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。
記録部１５は、デジタル画像データを記録する。記録部１５は、利用者による記録指示の入力を検出したときに、デジタル画像データを記録してもよい。また、記録部１５は、顕微鏡システム１が所定のイベントを検出すると、そのイベントに応答してイベントに応じた情報を、デジタル画像データと共に記録してもよい。例えば、画像解析部１２での解析結果に基づいて癌細胞が検出されると、記録部１５は、その癌細胞の位置情報とデジタル画像データを記録してもよい。また、記録部１５は、その他、マップ画像データ、解析結果、座標情報などを記録しても良い。
なお、制御装置１０は、汎用装置であっても、専用装置であってもよい。制御装置１０は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、制御装置１０は、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ、入出力インタフェース１０ｄ、媒体駆動装置１０ｅ、通信制御装置１０ｆを備えてもよく、それらが互いにバス１０ｇによって接続されてもよい。
プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ１０ａは、メモリ１０ｂ、補助記憶装置１０ｃ、記憶媒体１０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３１の制御に関連する構成要素（撮像制御部１１、画像解析部１２、投影画像生成部１３等）を実現しても良い。また、プロセッサ１０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。
メモリ１０ｂは、プロセッサ１０ａのワーキングメモリである。メモリ１０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置１０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース１０ｄは、外部装置（顕微鏡１００、入力装置２０）と情報をやり取りする。
媒体駆動装置１０ｅは、メモリ１０ｂ及び補助記憶装置１０ｃに格納されているデータを記憶媒体１０ｈに出力することができ、また、記憶媒体１０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体１０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体１０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
通信制御装置１０ｆは、ネットワークへの情報の入出力を行う。通信制御装置１０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス１０ｇは、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ等を、相互にデータの授受可能に接続する。
以上のように構成された顕微鏡システム１は、図３に示す画像投影処理を行う。図３は、顕微鏡システム１が行う画像投影処理のフローチャートである。図４は、顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。図５は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの一例である。図６は、マップ画像Ｍ１について説明するための図である。以下、図３から図６を参照しながら、顕微鏡システム１の画像投影方法について説明する。
まず、顕微鏡システム１は、試料の光学画像を像面に投影する（ステップＳ１０）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面に集光し、試料の光学像を形成する。これにより、図４に示すように、像面上の領域Ｒ１に光学画像Ｏ１が投影される。なお、領域Ｒ１は、対物レンズ１０２からの光束が入射する像面上の領域を示している。また、領域Ｒ２は、接眼レンズ１０４を覗くことで見ることが出来る像面上の領域を示している。
次に、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ２０）。ここでは、撮像装置１４０が、試料からの光に基づいて試料を撮像することでデジタル画像データを生成する。なお、撮像素子１４１は矩形形状を有しているため、デジタル画像に対応する試料上の領域は光学画像に対応する試料上の領域、つまり、実視野、とは完全には一致しない。領域Ｒ４は、撮像装置１４０で撮像可能な試料上の領域に対応する像面上の領域を示している。なお、図４では、領域Ｒ４が領域Ｒ１内に収まっているが、領域Ｒ４は、領域Ｒ１からはみ出していても良い。但し、領域Ｒ１の中心位置と領域Ｒ４の中心位置は一致することが望ましい。
また、領域Ｒ１の外周の境界をよりクリアにするために、試料上の観察面と共役な位置に視野絞りを配置しても良い。例えば、視野絞りは、顕微鏡本体１１０の落射照明光路１１０ａ上、又は、透過照明光路１１０ｂ上の観察面と共役な位置に配置することが望ましい。なお、蛍光観察の場合は、照明光路で光束を制限しても試料からの蛍光は全方位に発生する。そのため、投影装置１３１からの光路と対物レンズ１０２からの光路が合流する位置に置かれた光偏向素子１３２と対物レンズ１０２との間に中間像を生成する為のリレー光学系を設け、中間像位置に視野絞りを配置するのが望ましい。
その後、顕微鏡システム１は、投影画像データを生成する（ステップＳ３０）。ここでは、顕微鏡システム１は、図５に示す投影画像データ生成処理を行う。
投影画像データ生成処理が開始されると、まず、顕微鏡システム１の投影画像生成部１３は、マップ画像データを取得する（ステップＳ３１）。ここでは、投影画像生成部１３は、例えば、予め生成されたマップ画像データを補助記憶装置１０ｃなどから読み出すことによって取得する。なお、マップ画像データが表すマップ画像Ｍ１は、図６に示すように、複数の要素画像Ｅをタイリングした画像である。
次に、顕微鏡システム１は、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ３２）。ここでは、画像解析部１２がデジタル画像とマップ画像を比較することで、マップ画像上における光学画像に対応する位置を特定し、位置情報を投影画像生成部１３へ出力する。
位置が特定されると、顕微鏡システム１は、マップ画像と位置画像を含む投影画像を表す投影画像データを生成する（ステップＳ３３）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。そして、位置画像データとマップ画像データを合成して、マップ画像と位置画像とを含む投影画像を表す投影画像データを生成する。なお、位置画像Ｐ１は、例えば、図６に示すように、マップ画像上における光学画像に対応する位置を示す矩形マークである。
投影画像データ生成処理が終了すると、顕微鏡システム１は、投影画像を像面に投影する（ステップＳ４０）。ここでは、投影制御部１４がステップＳ３３で生成された投影画像データに基づいて投影装置１３１を制御することで、投影装置１３１が投影画像を像面に投影する。より詳細には、投影装置１３１は、図４に示すように、マップ画像Ｍ１内の光学画像Ｏ１に対応する位置に、位置画像Ｐ１を投影する。これにより、光学画像Ｏ１と投影画像（マップ画像Ｍ１、位置画像Ｐ１）が重畳した画像が像面に形成される。なお、図４に示す領域Ｒ３は、投影装置１３１が像面に投影される領域を示している。
顕微鏡システム１では、光学画像Ｏ１が形成される像面にマップ画像Ｍ１が投影される。これにより、利用者は、接眼レンズ１０４から眼を離すことなく、試料のより広い範囲を大まか把握しながら、その試料の一部を光学画像でより詳細に観察することができる。さらに、マップ画像Ｍ１上に位置画像Ｐ１が投影されることで、利用者は、現在観察中の領域が試料内のどの当たりに位置するか、及び、全体領域に対してどのくらいの大きさの領域を観察しているのかを容易に把握することができる。従って、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。例えば、利用者は、どの方向へどのくらいステージを動かすべきかといった判断が容易になり、その結果、顕微鏡１００のステージ操作の負担が軽減される。
さらに、顕微鏡システム１では、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら利用者の負担軽減を図ることができる。
なお、以上の例では、予め取得したマップ画像データを用いて投影画像データを生成する例を示したが、投影画像データを生成するときに、マップ画像データを生成してもよい。投影画像生成部１３は、例えば、図７に示すように、試料であるプレパラートＰ上で撮像領域Ｆが移動するたびにデジタル画像データを取得し、デジタル画像データが取得される度にマップ画像データを生成することで、マップ画像を更新してもよい。図７では、撮像領域Ｆの移動に伴って、マップ画像がマップ画像Ｍ１ａ、マップ画像Ｍ１ｂ、マップ画像Ｍ１ｃの順に更新され、それらのマップ画像上の撮像領域Ｆに対応する位置に位置画像Ｐ１が重畳している様子が示されている。
なお、撮影領域Ｆが移動中にマップ画像を生成する場合、例えば、特開2018-54690に記載される技術を用いてもよい。つまり、取得されたデジタル画像データを逐次、画像解析することにより、２枚の画像間の動きベクトルを算出し、動きベクトルを累積した現在位置にデジタル画像データを貼り合わせて、マップ画像を生成、更新しても良い。この場合、電動ステージ又はステージ位置を認識するエンコーダを用いることなく、手動ステージでマップ画像を生成することができるので、安価にシステムを構築することができる。
また、マップ画像データの生成に用いられる複数のデジタル画像データは、対物レンズ１０２の焦点位置が対物レンズ１０２の光軸方向に異なる複数の状態で取得された２枚以上のデジタル画像データを含んでもよい。例えば、図８に示すように、光軸と直交する方向の各位置で、対物レンズ１０２又はステージ１０１を光軸方向に移動させて複数のデジタル画像データを取得することで、全焦点画像を構築し、全焦点画像をタイリングすることでマップ画像を構築しても良い。なお、図８に示すマップ画像（マップ画像Ｍ１ｄ、Ｍ１ｅ、Ｍ１ｆ）のうち、マップ画像Ｍ１ｅとマップ画像Ｍ１ｆは全焦点画像を示している。
さらに、ステージ１０１が電動ステージである場合には、図９に示すように、観察開始前に、顕微鏡システム１がステージ１０１を制御して、利用者が指定した走査範囲Ｓを自動的に走査してもよい。そして、投影画像生成部１３は、ステージ１０１の移動完了後に、移動中に取得した複数のデジタル画像データに基づいて、マップ画像Ｍ１ｇを生成しても良い。
走査範囲Ｓの指定方法としては、例えば、利用者が接眼レンズ１０４を観察しながら走査範囲Ｓの外周付近を３か所、マウスのクリック等で指定する方法が採用されてもよい。この場合、顕微鏡システム１は、指定した３か所を含む範囲を走査範囲として自動設定すればよい。
なお、記録部１５は、マップ画像データが生成されるときに、マップ画像データと、マップ画像データの生成に用いられた複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録しても良い。これにより、マップ画像データが座標情報を有することになるため、位置画像を投影すべき位置の特定が容易になる。
さらに、記録部１５は、マップ画像データに加えて、デジタル画像データを記録しても良い。この場合、座標情報をデジタル画像データと関連付けて記録することが望ましい。さらに、画像解析部１２がデジタル画像データを解析した場合には、座標情報をその解析結果に関連付けて記録してもよい。例えば、解析結果が癌細胞の有無であれば、マップ画像内における癌細胞の分布情報を得ることができる。
顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１０に示す投影画像データ生成処理を行ってもよい。図１０は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの別の例である。図１１は、顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。
図１０に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ５１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ５２）。ステップＳ５１とステップＳ５２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ５３）。ここでは、画像解析部１２が、デジタル画像データを解析して、例えば、病理診断を補助する情報を生成する。具体的には、解析により細胞の核を特定し、その染色強度に応じてクラス分けする。
解析が終了すると、顕微鏡システム１は、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する（ステップＳ５４）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された解析結果に基づいて、解析画像データを生成する。そして、投影画像生成部１３が、位置画像データとマップ画像データと解析画像データを合成して、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する。
図１１の画像Ｖ２には、マップ画像Ｍ２と位置画像Ｐ１を含む投影画像と、光学画像Ｏ２とが重畳した様子が示されている。これに対して、図１０に示す投影画像データ生成処理を行うことで、投影画像には、さらに解析画像Ａ１が含まれる。このため、図１１の画像Ｖ３に示すように、光学画像Ｏ２に解析画像Ａ１が重畳される。画像Ｖ３では、細胞の核が染色強度により色分けされているため、各細胞の染色状態を容易に判別することが可能である。
従って、顕微鏡システム１は、図１０に示す投影画像データ生成処理を行うことで、利用者が光学画像で試料を観察しながら行う作業をより良く補助することができる。例えば、利用者は、マップ画像によるステージ操作についての補助に加えて病理診断についても補助を得ることができる。
なお、顕微鏡システム１の画像解析部１２は、所定のアルゴリズムを用いて解析処理を行ってもよく、訓練済みのニューラルネットワークを用いて解析処理を行ってもよい。訓練済みのニューラルネットワークのパラメータは、顕微鏡システム１とは異なる装置において、ニューラルネットワークを訓練することで生成されても良く、制御装置１０は生成されたパラメータをダウンロードして画像解析部１２に適用しても良い。
図１２は、ニューラルネットワークＮＮの構成を示した図である。ニューラルネットワークＮＮは、入力層と複数の中間層と出力層を有している。入力データＤ１を入力層に入力することで出力層から出力される出力データＤ２を正解データＤ３と比較する。そして、誤差逆伝播法によって学習することで、ニューラルネットワークＮＮのパラメータを更新する。なお、入力データＤ１と正解データＤ３のセットが教師あり学習の訓練データである。
顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１３に示す投影画像データ生成処理を行ってもよい。図１３は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。図１４は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
図１３に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ６１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ６２）。ステップＳ６１とステップＳ６２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ６３）。ここでは、画像解析部１２が、デジタル画像データを解析して、例えば、注目領域を追跡する。具体的には、画像解析部１２は、例えば、試料内の特定の細胞を追跡し、その細胞の位置情報と追跡の成否を含む追跡結果を解析結果として投影画像生成部１３へ出力する。
解析が終了すると、顕微鏡システム１は、解析結果に基づいてステージ１０１を移動する（ステップＳ６４）。ここでは、制御装置１０からの命令に従って、ステージ１０１は、ステップＳ６３で得られた追跡結果に基づいて、注目領域が対物レンズ１０２の光軸上に位置するように、移動する。
ステージ１０１の移動が終了すると、顕微鏡システム１は、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する（ステップＳ６５）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された解析結果のうちの追跡の成否についての情報に基づいて、解析画像データを生成する。そして、投影画像生成部１３が、位置画像データとマップ画像データと解析画像データを合成して、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する。
図１４の画像Ｖ４には、像面において、投影画像と光学画像Ｏ３とが重畳した様子が示されている。投影画像には、マップ画像Ｍ３と位置画像Ｐ１と解析画像Ａ２が含まれている。解析画像Ａ２は、注目領域の追跡の成否を示す、信号機に類似した画像である。解析画像Ａ２は、追跡が成功している期間中は青いランプが点灯している画像であり、追跡が失敗している期間中は赤いランプが点灯している画像となる。また、図１４に示す注目領域Ｔは、追跡対象である細胞を含む領域を示している。この注目領域Ｔを示す矩形の画像も投影画像に含まれてもよい。また、細胞の移動の軌跡を示す点線も投影画像に含まれてもよい。
顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１５に示す投影画像データ生成処理を行ってもよい。図１５は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。図１６は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
図１５に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ７１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ７２）。ステップＳ７１とステップＳ７２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
その後、顕微鏡システム１は、実視野のサイズに応じてマップ画像のサイズを決定する（ステップＳ７３）。ここでは、投影画像生成部１３は、例えば、実視野のサイズによらず像面に投影される位置画像Ｐ１が示す範囲が一定の大きさになるように、マップ画像のサイズを決定してもよい。
マップ画像のサイズが決定されると、顕微鏡システム１は、マップ画像と位置画像を含む投影画像を表す投影画像データを生成する（ステップＳ７４）。ここでは、投影画像生成部１３は、ステップＳ７３で決定されたサイズのマップ画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。そして、投影画像生成部１３がマップ画像データと位置画像データを合成してマップ画像と位置画像とを含む投影画像を表す投影画像データを生成する。
図１６の画像Ｖ１は、４倍の対物レンズ１０２を用いて観察中に、像面に形成される画像であり、図１６の画像Ｖ５及び画像Ｖ６は、２０倍の対物レンズ１０２ａを用いて観察中に、像面に形成される画像である。図１６の画像Ｖ１と画像Ｖ５に示すように、実視野の大きさ（倍率）に応じてマップ画像（マップ画像Ｍ１、マップ画像Ｍ４）の大きさを変更することで、位置画像Ｐ１の大きさが倍率によらずに維持されてもよい。また、図１６の画像Ｖ１と画像Ｖ６に示すように、マップ画像Ｍ１の大きさは実視野の大きさ（倍率）が変わっても変更せず、位置画像（位置画像Ｐ１、位置画像Ｐ２）の大きさを実視野の大きさに合わせても変更しても良い。この場合、対物レンズの倍率が４倍から２０倍へとなり、観察倍率が５倍だけさらに拡大されたので、位置画像Ｐ２は、位置画像Ｐ１の１辺の長さを１／５に縮小したものとして、マップ画像Ｍ１上に表示される。
以上では、マップ画像と光学画像が重なる領域が少なくなるように、マップ画像を投影する例を示したが、例えば、図１７に示すように、マップ画像は光学画像上に投影されてもよい。なお、図１７の画像Ｖ７には、光学画像が投影される領域Ｒ４（対物レンズからの光束が入射する像面上の領域）の大きさと接眼レンズ１０４から見える像面上の領域Ｒ５の大きさがほとんど同じ例を示している。
［第２実施形態］
図１８は、本実施形態に係る顕微鏡２００の構成を示した図である。なお、本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡２００を備える点を除き、顕微鏡システム１と同様である。
顕微鏡２００は、アクティブ方式のオートフォーカス装置３００を備えている点が、顕微鏡１００とは異なっている。その他の点は、顕微鏡１００と同様である。
オートフォーカス装置３００は、レーザ３０１、コリメートレンズ３０２、遮蔽板３０３、偏光ビームスプリッタ３０４、１／４波長板３０５、ダイクロイックミラー３０６、結像レンズ３０７、２分割ディテクタ３０８を備えている。レーザ３０１から出射したレーザ光は、コリメートレンズ３０２でコリメートされた後に、遮蔽板３０３でその半分の光束が遮断される。残りの半分の光束は、偏光ビームスプリッタ３０４で反射し、１／４波長板３０５、ダイクロイックミラー３０６を経由して、対物レンズ１０２に入射し、対物レンズ１０２によって試料に照射される。試料で反射したレーザ光は、対物レンズ１０２、ダイクロイックミラー３０６、１／４波長板３０５を経由して、再び、偏光ビームスプリッタ３０４へ入射する。偏光ビームスプリッタ３０４へ２度目に入射するレーザ光は、偏光ビームスプリッタ３０４で反射して以降、１／４波長板３０５を２度通過している。従って、偏光ビームスプリッタ３０４へ１度目に入射したときとの偏光方向とは直交する偏光方向を有している。このため、レーザ光は偏光ビームスプリッタ３０４を透過する。その後、レーザ光は、結像レンズ３０７により２分割ディテクタ３０８へ照射される。２分割ディテクタ３０８で検出される光量分布は、合焦状態からのずれ量に応じて変化する。このため、２分割ディテクタ３０８で検出される光量分布に応じてステージ１０１と対物レンズ１０２間の距離を調整することで、合焦状態を達成することができる。
本実施形態に係る顕微鏡システムは、ステージ１０１が対物レンズ１０２の光軸と直交する方向に移動したときに、オートフォーカス装置３００によりオートフォーカス処理を行う。これにより、顕微鏡システム１に比べて、更に利用者の作業負担を軽減することができる。
［第３実施形態］
図１９は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡４００を備える点が、顕微鏡システム１とは異なっている。顕微鏡４００は、中間鏡筒１３０の代わりに中間鏡筒１５０を備えている。中間鏡筒１５０には、投影装置１３１、光偏向素子１３２、及び、投影レンズ１３３に加えて、撮像装置１４０と、光偏向素子１４３が設けられている。
光偏向素子１４３は、試料からの光を撮像素子１４１に向けて偏向する。光偏向素子１４３は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１４３は、光偏向素子１３２と対物レンズ１０２の間の光路上に配置されることが望ましい。これにより、投影装置１３１からの光が撮像素子１４１へ入射することを回避することができる。
本実施形態に係る顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。
［第４実施形態］
図２０は、本実施形態に係る顕微鏡システム３の構成を示した図である。顕微鏡システム３は、顕微鏡１００の代わりに顕微鏡５００を備える点が、顕微鏡システム１とは異なっている。顕微鏡５００は、顕微鏡本体１１０と鏡筒１２０の間に投影ユニット１６０を備えている。
投影ユニット１６０は、対物レンズ１０２と結像レンズ１０３と接眼レンズ１０４を備える顕微鏡用の投影ユニットである。投影ユニット１６０内の光学素子の構成は、中間鏡筒１５０内の構成と同様である。即ち、投影ユニット１６０は、試料からの光に基づいて試料のデジタル画像データを取得する撮像装置１４０と、光学画像が形成される像面へ投影画像を投影する投影装置１３１を備えている。
投影ユニット１６０は、さらに、撮像制御部１６１と、画像解析部１６２と、投影画像生成部１６３と、投影制御部１６４を備えている。撮像制御部１６１、画像解析部１６２、投影画像生成部１６３、投影制御部１６４は、それぞれ撮像制御部１１、画像解析部１２、投影画像生成部１３、投影制御部１４と同様である。このため、詳細な説明は省略する。
本実施形態では、投影ユニット１６０を既存の顕微鏡に取り付けるだけで、顕微鏡システム１と同様の効果を得ることが可能である。従って、投影ユニット１６０及び顕微鏡システム３によれば、既存の顕微鏡システムを容易に拡張することができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
また、上述した実施形態では、顕微鏡が撮像装置を含む例を示したが、上述した技術は、例えば、走査型顕微鏡に上述した技術を提供してもよい。その場合、顕微鏡は、撮像装置の代わりに、光電子増倍管（ＰＭＴ）などの光検出器を備えてもよい。
また、試料は、顕微鏡システム１のみを用いて観察されてもよく、顕微鏡システム１に加えて、顕微鏡システム１とは実視野の大きさが異なる他のシステムを用いて観察されてもよい。他のシステムは、例えば、図２１に示すように顕微鏡システム４であってもよく、顕微鏡システムとは異なる観察システムであってもよい。この場合、マップ画像データの生成には、他のシステムである顕微鏡システム４を用いても良い。また、試料のマップ画像データの生成には、観察用の顕微鏡システムとは異なる、他の顕微鏡システムが用いられても良い。例えば、WSI技術を用いてWS(Whole Slide)画像を取得するWSIシステムが用いられてもよい。つまり、WS画像の画像データをマップ画像データとして用いても良い。この場合、顕微鏡システムは、あらかじめ取得したWS画像と、観察のために顕微鏡に載せられた試料と、を自動的に照合する手段を備えることが望ましい。照合する手段は、例えば、試料に貼り付けられたバーコードやRFID等を読み込むリーダー機器を含んでもよい。リーダー機器は、例えば、顕微鏡１００の撮像装置１４０であってもよく、図２２に示すような専用の装置３０であってもよい。なお、図２２には、装置３０は、プレパラートＰに貼り付けられたバーコードＣを読み取る様子が描かれている。装置３０と制御装置１０の組み合わせが照合する手段を構成してもよい。
１、２、３、４ 顕微鏡システム
１０ 制御装置
１０ａ プロセッサ
１０ｂ メモリ
１０ｃ 補助記憶装置
１０ｄ 入出力インタフェース
１０ｅ 媒体駆動装置
１０ｆ 通信制御装置
１０ｇ バス
１０ｈ 記憶媒体
１１、１６１ 撮像制御部
１２、１６２ 画像解析部
１３、１６３ 投影画像生成部
１４、１６４ 投影制御部
１５ 記録部
２０ 入力装置
３０ 装置
１００、２００、４００、５００ 顕微鏡
１０１ ステージ
１０２、１０２ａ 対物レンズ
１０３、３０７ 結像レンズ
１０４ 接眼レンズ
１１０ 顕微鏡本体
１１１ ターレット
１２０ 鏡筒
１３０、１５０ 中間鏡筒
１３１ 投影装置
１３２、１４３ 光偏向素子
１３３ 投影レンズ
１４０ 撮像装置
１４１ 撮像素子
１４２ アダプタレンズ
１６０ 投影ユニット
３００ オートフォーカス装置
３０１ レーザ
３０２ コリメートレンズ
３０３ 遮蔽板
３０４ 偏光ビームスプリッタ
３０５ １／４波長板
３０６ ダイクロイックミラー
３０８ ２分割ディテクタ
Ａ１、Ａ２ 解析画像
Ｅ 要素画像
Ｆ 撮像領域
ＦＳ 視野絞り
Ｍ１～Ｍ５、Ｍ１ａ～Ｍ１ｇ マップ画像
Ｏ１～Ｏ４ 光学画像
Ｐ プレパラート
Ｐ１、Ｐ２ 位置画像
Ｒ１～Ｒ４ 領域
Ｓ 走査範囲
Ｔ 注目領域
Ｖ１～Ｖ７ 画像

Claims (27)

  1. 接眼レンズと、
    試料からの光を前記接眼レンズへ導く対物レンズと、
    前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
    前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    前記撮像装置で取得した前記デジタル画像データを訓練済みのニューラルネットワークを用いて解析する画像解析部と、
    第１補助画像と第３補助画像とを含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像であり、前記第３補助画像は、前記画像解析部での解析結果を示す画像である、前記投影画像生成部と、
    前記光学画像が形成されている像面へ前記投影画像を投影する投影装置であって、前記光学画像が形成される前記像面上の領域よりも広い投影可能領域を前記像面上に有する前記投影装置と、を備え、
    前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影され、前記第３補助画像は、前記光学画像上に投影される
    ことを特徴とする顕微鏡システム。
  2. 請求項１に記載の顕微鏡システムにおいて、
    前記第１補助画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
    ことを特徴とする顕微鏡システム。
  3. 請求項１又は請求項２に記載の顕微鏡システムにおいて、
    前記投影画像は、さらに、前記第１補助画像内の前記光学画像に対応する位置を示す第２補助画像を含み、
    前記投影装置は、前記像面に投影されている前記第１補助画像内の前記位置に、前記第２補助画像を投影する
    ことを特徴とする顕微鏡システム。
  4. 請求項３に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記撮像装置で取得した前記デジタル画像データと、前記第１補助画像を表す第１補助画像データと、に基づいて、前記位置を特定する
    ことを特徴とする顕微鏡システム。
  5. 請求項４に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記第１補助画像と前記デジタル画像データが表すデジタル画像とを比較することで、前記位置を特定する
    ことを特徴とする顕微鏡システム。
  6. 請求項５に記載の顕微鏡システムにおいて、
    前記画像解析部は、さらに、前記第１補助画像の座標情報と前記試料の移動量に基づいて、前記位置を更新する
    ことを特徴とする顕微鏡システム。
  7. 請求項６に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記移動量を算出する
    ことを特徴とする顕微鏡システム。
  8. 請求項６に記載の顕微鏡システムにおいて、さらに、
    前記試料を載置する電動ステージを備え、
    前記画像解析部は、前記電動ステージの制御情報に基づいて、前記移動量を算出する
    ことを特徴とする顕微鏡システム。
  9. 請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    前記投影画像生成部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記第１補助画像を表す第１補助画像データを生成する
    ことを特徴とする顕微鏡システム。
  10. 請求項９に記載の顕微鏡システムにおいて、
    前記投影画像生成部は、前記複数のデジタル画像データの各々が取得される度に、前記第１補助画像データを生成する
    ことを特徴とする顕微鏡システム。
  11. 請求項９に記載の顕微鏡システムにおいて、さらに、
    前記試料を載置する電動ステージを備え、
    前記投影画像生成部は、前記電動ステージが指定された範囲を移動した後に、前記電動ステージの移動中に取得された前記複数のデジタル画像データに基づいて、前記第１補助画像データを生成する
    ことを特徴とする顕微鏡システム。
  12. 請求項９乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、
    前記複数のデジタル画像データは、前記対物レンズの焦点位置が前記対物レンズの光軸方向に異なる状態で取得された２枚以上のデジタル画像データを含む
    ことを特徴とする顕微鏡システム。
  13. 請求項１２に記載の顕微鏡システムにおいて、
    前記第１補助画像は、全焦点画像である
    ことを特徴とする顕微鏡システム。
  14. 請求項９乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記第１補助画像データと、前記複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録する、記録部を備える
    ことを特徴とする顕微鏡システム。
  15. 請求項１４に記載の顕微鏡システムにおいて、
    前記記録部は、前記座標情報を、前記デジタル画像データと関連付けて記録する
    ことを特徴とする顕微鏡システム。
  16. 請求項１４又は請求項１５に記載の顕微鏡システムにおいて、
    前記記録部は、前記座標情報を、前記デジタル画像データの解析結果に関連付けて記録する
    ことを特徴とする顕微鏡システム。
  17. 請求項１乃至請求項１６のいずれか１項に記載の顕微鏡システムにおいて、
    前記第１補助画像の一部は、前記光学画像が形成される前記像面上の領域の外に投影される
    ことを特徴とする顕微鏡システム。
  18. 請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記デジタル画像データに基づいて、前記試料内の注目領域を追跡し、
    前記投影画像は、さらに、前記注目領域の追跡の成否を示す第４補助画像と前記注目領域の位置又は軌跡を示す画像を含む
    ことを特徴とする顕微鏡システム。
  19. 請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    前記画像解析部は、前記デジタル画像データに基づいて、前記試料内の注目領域を追跡し、
    前記投影画像は、さらに、前記注目領域の追跡の成否を示す第４補助画像を含む
    ことを特徴とする顕微鏡システム。
  20. 請求項１８又は請求項１９に記載の顕微鏡システムにおいて、さらに、
    前記試料を載置する電動ステージと、を備え、
    前記電動ステージは、前記画像解析部の追跡結果に基づいて、前記注目領域が前記対物レンズの光軸上に位置するように、移動する
    ことを特徴とする顕微鏡システム。
  21. 請求項１乃至請求項２０のいずれか１項に記載の顕微鏡システムにおいて、
    前記投影画像生成部は、前記実視野のサイズに応じて、前記像面における前記第１補助画像のサイズを決定する
    ことを特徴とする顕微鏡システム。
  22. 請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記試料を載置する電動ステージと、
    アクティブ方式のオートフォーカス装置と、を備え、
    前記電動ステージが移動したときに、前記オートフォーカス装置がオートフォーカス処理を行う
    ことを特徴とする顕微鏡システム。
  23. 請求項１乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    検出されたイベントに応答して、前記イベントに応じた情報を記録する記録部を備える
    ことを特徴とする顕微鏡システム。
  24. 対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
    試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    前記撮像装置で取得した前記デジタル画像データを訓練済みのニューラルネットワークを用いて解析する画像解析部と、
    第１補助画像と第３補助画像とを含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像であり、前記第３補助画像は、前記画像解析部での解析結果を示す画像である、前記投影画像生成部と、
    前記光学画像が形成されている像面へ前記投影画像を投影する投影装置であって、前記光学画像が形成される前記像面上の領域よりも広い投影可能領域を前記像面上に有する前記投影装置と、を備え、
    前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影され、前記第３補助画像は、前記光学画像上に投影される
    ことを特徴とする投影ユニット。
  25. 顕微鏡システムが行う画像投影方法であって、
    前記顕微鏡システムは、
    試料からの光に基づいて前記試料のデジタル画像データを取得し、
    取得した前記デジタル画像データを訓練済みのニューラルネットワークを用いて解析し、
    第１補助画像と第３補助画像とを含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、前記第３補助画像は、前記デジタル画像データの解析結果を示す画像であり、
    接眼レンズと対物レンズの間の光路上に配置された結像レンズによって前記試料からの光に基づいて前記光学画像が形成されている像面上の領域よりも広い投影可能領域を前記像面上に有する投影装置を用いて、前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影され、前記第３補助画像は、前記光学画像上に投影されるように、前記像面へ前記投影画像を投影する
    ことを特徴とする画像投影方法。
  26. 請求項１に記載の顕微鏡システムにおいて、
    前記第１補助画像は、前記顕微鏡システムとは異なるＷＳＩ（Whole Slide Imaging）システムによってあらかじめ取得したＷＳ(Whole Slide)画像であり、
    前記ＷＳ画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
    ことを特徴とする顕微鏡システム。
  27. 請求項２６に記載の顕微鏡システムにおいて、さらに、
    前記試料に付された識別情報を読み込むリーダー機器を含み、前記リーダー機器で読み込んだ前記識別情報に基づいて、前記ＷＳ画像と、前記顕微鏡システムで観察する前記試料を自動的に照合する手段を備える
    ことを特徴とする顕微鏡システム。
JP2020547903A 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法 Active JP7150868B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018183762 2018-09-28
JP2018183762 2018-09-28
PCT/JP2018/047498 WO2020066042A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Publications (2)

Publication Number Publication Date
JPWO2020066042A1 JPWO2020066042A1 (ja) 2021-08-30
JP7150868B2 true JP7150868B2 (ja) 2022-10-11

Family

ID=69951239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547903A Active JP7150868B2 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Country Status (5)

Country Link
US (1) US11869166B2 (ja)
EP (1) EP3988988A4 (ja)
JP (1) JP7150868B2 (ja)
CN (1) CN112714888B (ja)
WO (1) WO2020066042A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066042A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
EP3995879A4 (en) 2018-09-28 2023-08-23 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION DEVICE
JP7150866B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
CN113260894B (zh) 2018-12-28 2023-04-04 仪景通株式会社 显微镜系统
WO2024053632A1 (ja) * 2022-09-05 2024-03-14 株式会社エビデント 顕微鏡システム、重畳ユニット、重畳表示方法、プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222321A (ja) 2013-05-14 2014-11-27 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) * 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH0580255A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
US6483948B1 (en) 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
US6304372B1 (en) 1995-05-17 2001-10-16 Leica Microsystems Ag Microscope including a fade-in element and related method of using a microscope
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
DE69841245D1 (de) * 1997-03-03 2009-11-26 Olympus America Inc Verfahren und Vorrichtung zur Erzeugung eines virtuellen Objektträgers für ein Mikroskop
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP3824116B2 (ja) * 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
JP2000292422A (ja) 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE10332468B4 (de) * 2003-07-16 2005-05-25 Leica Microsystems Wetzlar Gmbh Mikroskop und Verfahren zur Bedienung eines Mikroskops
DE102004004115B4 (de) 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
CN101495906B (zh) * 2006-07-31 2012-07-04 3M创新有限公司 具有偏振循环的led照明系统
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
US20100188739A1 (en) * 2009-01-19 2010-07-29 Visiongate, Inc. Tomographic Light Field Microscope
DE102009058792B3 (de) 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
JP2012073285A (ja) * 2010-09-27 2012-04-12 Olympus Corp 撮像方法および顕微鏡装置
WO2012117647A1 (ja) 2011-02-28 2012-09-07 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5822345B2 (ja) * 2011-09-01 2015-11-24 島田　修 ホールスライドイメージ作成装置
JP5893314B2 (ja) 2011-09-27 2016-03-23 オリンパス株式会社 表示装置および顕微鏡システム
JP6005660B2 (ja) 2011-12-22 2016-10-12 パナソニックヘルスケアホールディングス株式会社 観察システム、観察システムの制御方法及びプログラム
EP2833123A4 (en) 2012-03-30 2015-12-09 Konica Minolta Inc MEDICAL IMAGE PROCESSOR AND PROGRAM
WO2013165576A1 (en) 2012-05-02 2013-11-07 Aperio Technologies, Inc. Real-time focusing in line scan imaging
JP5996334B2 (ja) * 2012-08-28 2016-09-21 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム
US9378407B2 (en) 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
JP5953195B2 (ja) 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
US8995740B2 (en) 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
WO2014186544A1 (en) 2013-05-15 2014-11-20 The Administrators Of The Tulane Educational Fund Microscopy of a tissue sample using structured illumination
US10182757B2 (en) 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
CN103744172B (zh) * 2013-12-26 2016-06-22 麦克奥迪实业集团有限公司 一种具备空间光调制照明的共聚焦显微成像方法
US20170140528A1 (en) * 2014-01-25 2017-05-18 Amir Aharon Handzel Automated histological diagnosis of bacterial infection using image analysis
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
DE102014108811B3 (de) 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
CA2969038C (en) 2014-12-03 2023-07-04 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
DE102015100765A1 (de) 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6805506B2 (ja) 2016-03-07 2020-12-23 株式会社サタケ 粒状物外観品位判別装置
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
EP3504573A4 (en) * 2016-08-28 2020-07-29 Augmentiqs Medical Ltd. HISTOLOGICAL EXAMINATION SYSTEM OF TISSUE SAMPLES
JP2018054690A (ja) 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム
JP6580012B2 (ja) 2016-09-28 2019-09-25 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
DE102017105941B3 (de) 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
JP6462823B2 (ja) 2017-10-24 2019-01-30 株式会社キーエンス 画像検査装置
JP7150866B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
WO2020066042A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
EP3995879A4 (en) 2018-09-28 2023-08-23 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION DEVICE
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN113260894B (zh) 2018-12-28 2023-04-04 仪景通株式会社 显微镜系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222321A (ja) 2013-05-14 2014-11-27 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム

Also Published As

Publication number Publication date
CN112714888A (zh) 2021-04-27
EP3988988A4 (en) 2023-09-13
WO2020066042A1 (ja) 2020-04-02
US20210192179A1 (en) 2021-06-24
JPWO2020066042A1 (ja) 2021-08-30
CN112714888B (zh) 2023-02-17
US11869166B2 (en) 2024-01-09
EP3988988A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
JP7150868B2 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150867B2 (ja) 顕微鏡システム
US20190258040A1 (en) Laser scan confocal microscope
JP7150866B2 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
US7822257B2 (en) Observation apparatus and observation method
US20050248837A1 (en) Microscope optical system, microscope, and virtual slide forming system
US10459193B2 (en) Real-time autofocus focusing algorithm
KR20200041982A (ko) 실시간 오토포커스 스캐닝
US11594051B2 (en) Microscope system and projection unit
US20090166570A1 (en) Biological-specimen observation apparatus
CN108720934A (zh) 用于操作医学-光学显示系统的方法
US8294728B2 (en) Process for generating display images from acquired recorded images, and means for carrying out the process
JP6847693B2 (ja) 照明装置、及び、顕微鏡装置
CN106772983A (zh) 一种自动对焦的显微镜
EP1972982B1 (en) Microscope equipped with automatic focusing mechanism and method of adjusting the same
JP6797659B2 (ja) 顕微鏡装置、プログラム、観察方法
US20240004179A1 (en) Sample manipulation device and method
US20230258918A1 (en) Digital microscope with artificial intelligence based imaging
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
JP2024000239A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20210305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220617

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R151 Written notification of patent or utility model registration

Ref document number: 7150868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151