JP7150866B2 - 顕微鏡システム、投影ユニット、及び、画像投影方法 - Google Patents

Description

本明細書の開示は、顕微鏡システム、投影ユニット、及び、画像投影方法に関する。

病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像であるWSI(Whole Slide Image)を作成する技術である。デジタル画像であるWSIをモニタに表示して診断を行うことで、病理医は様々なメリットを享受することができる。具体的には、診断中に面倒な顕微鏡操作が不要となる、表示倍率を容易に変更することができる、複数名の病理医が同時に診断に関与することができる、などのメリットが挙げられる。このようなWSI技術については、例えば、特許文献１に記載されている。

特表２００１－５１９９４４号公報

その一方で、WSI技術を適用したシステム（以降、WSIシステムと記す。）には高い性能が要求される。具体的には、例えば、病理診断では色、濃淡の情報が極めて重要であることから、WSIシステムには、高い色再現性、広いダイナミックレンジが要求される。このため、WSIシステムを構成する各機器は高い性能を有する高価なものとならざるを得ず、その結果、WSIシステムを導入することができるユーザが限られてしまう。

このような実情から、病理医が光学顕微鏡によって得られる光学画像（アナログ画像）に基づいて行う病理診断を補助することで、病理医の負担を軽減する新たな技術が求められている。

本発明の一側面に係る目的は、病理医による光学画像に基づく病理診断を補助する診断補助技術を提供することである。

本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料からの光を検出する光検出器であって、前記試料のデジタル画像データは前記光検出器での検出結果に基づいて生成される、前記光検出器と、訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析して解析結果を出力する画像解析部と、前記光学画像が形成されている像面へ第１投影画像と第２投影画像とを互いに区別可能に投影する投影装置であって、前記第１投影画像は、前記画像解析部による前記解析結果に基づく画像であり、前記第２投影画像は、前記光学画像が形成されている前記像面に前記第１投影画像が投影されている期間中の利用者による入力操作に基づく前記試料へのアノテーションにより生成された画像を含む、前記投影装置と、前記デジタル画像データと、前記第２投影画像を表現する第２投影画像データとを関連付けて記録する画像記録部を備え、前記画像解析部は、前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む前記解析結果を出力し、前記第１投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む。

本発明の一態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析して解析結果を出力する画像解析部と、前記結像レンズにより前記試料の光学画像が形成されている像面へ第１投影画像と第２投影画像とを互いに区別可能に投影する投影装置であって、前記第１投影画像は、前記画像解析部による前記解析結果に基づく画像であり、前記第２投影画像は、前記光学画像が形成されている前記像面に前記第１投影画像が投影されている期間中の利用者による入力操作に基づく前記試料へのアノテーションにより生成された画像を含む、前記投影装置と、前記デジタル画像データと、前記第２投影画像を表現する第２投影画像データとを関連付けて記録する画像記録部を備え、前記画像解析部は、前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む前記解析結果を出力し、前記第１投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む。

本発明の一態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、試料のデジタル画像データを取得することと、利用者の入力操作の情報を取得することと、前記試料からの光に基づいて前記試料の光学画像が形成された像面へ、第１投影画像と第２投影画像とを互いに区別可能に投影することと、訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析して解析結果を出力することと、前記デジタル画像データと、前記第２投影画像を表現する第２投影画像データとを関連付けて記録することと、を含み、前記解析結果を出力することは、前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類することと、前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む前記解析結果を出力することと、を含み、前記第１投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む、前記解析結果に基づく画像であり、前記第２投影画像は、前記光学画像が形成されている前記像面に前記第１投影画像が投影されている期間中の前記入力操作に基づく前記試料へのアノテーションにより生成された画像を含む。

上記の態様によれば、病理医による光学画像に基づく病理診断を補助することができる。

顕微鏡システム１の構成を示した図である。 コンピュータ２０の構成を示した図である。 顕微鏡システム１が行う画像投影処理のフローチャートである。 細胞の分布を例示した図である。 顕微鏡システム１を用いて行われる観察の一例を示した図である。 顕微鏡システム１を用いて行われる観察の別の例を示した図である。 顕微鏡システム１を用いて行われる観察の更に別の例を示した図である。 ニューラルネットワークの構成を示した図である。 顕微鏡システム２の構成を示した図である。 顕微鏡システム３と外部閲覧システム３００を含む診断補助システムの構成を示した図である。 顕微鏡システム３を用いて行われる観察の一例を示した図である。 顕微鏡５００の構成を示した図である。 顕微鏡６００の構成を示した図である。

［第１実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、コンピュータ２０の構成を示した図である。顕微鏡システム１は、病理医が病理診断で用いる顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、投影装置１３３を備えている。

顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３３を用いて二種類の投影画像を投影する。より具体的には、二種類の投影画像は、コンピュータによる解析結果に基づく第１投影画像と、病理医を含む顕微鏡システム１の利用者の入力操作に基づく投影画像である。これにより、病理医は、光学画像にこれらの投影画像が重畳した画像を見ることになる。このため、顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察中の病理医に、病理診断を補助する種々の情報を提供することができる。

以下、図１及び図２を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、顕微鏡コントローラ１０と、コンピュータ２０と、表示装置３０と、入力装置４０と、識別装置５０と、を備えている。

顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。

顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。例えば、対物レンズ１０２は、４倍の対物レンズであり、対物レンズ１０２ａは、２０倍の対物レンズである。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。

顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。

鏡筒１２０は、接眼レンズ１０４が装着された、単眼鏡筒又は双眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。また、結像レンズ１０３は、像面に、投影装置１３３からの光に基づいて後述する投影画像も形成する。これにより、像面において光学画像に投影画像が重畳される。

中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、撮像素子１３１と、光偏向素子１３２と、投影装置１３３と、光偏向素子１３４と、を備えている。

撮像素子１３１は、試料からの光を検出する光検出器の一例である。撮像素子１３１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１３１は、試料からの光を検出し、その検出結果に基づいて試料のデジタル画像データを生成する。

光偏向素子１３２は、試料からの光を撮像素子１３１に向けて偏向する第１光偏向素子の一例である。光偏向素子１３２は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３２は、接眼レンズ１０４と対物レンズ１０２の間の光路上に配置される。これにより、撮像素子１３１で目視観察と同じ方向から見た試料のデジタル画像を得ることが可能となる。

投影装置１３３は、コンピュータ２０からの命令に従って、後述する第１投影画像と第２投影画像を互いに区別可能に像面に投影する投影装置である。投影装置１３３は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。

光偏向素子１３４は、投影装置１３３から出射した光を像面に向けて偏向する第２光偏向素子の一例である。光偏向素子１３４は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３４には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３４には、ダイクロイックミラーなどが用いられても良い。光偏向素子１３４は、像面と光偏向素子１３２の間の光路上に配置される。これにより、投影装置１３３からの光が撮像素子１３１へ入射することを回避することができる。

顕微鏡コントローラ１０は、顕微鏡１００、特に、顕微鏡本体１１０を制御する。顕微鏡コントローラ１０は、コンピュータ２０と顕微鏡１００に接続されていて、コンピュータ２０からの命令に応じて顕微鏡１００を制御する。

表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。入力装置４０は、利用者の入力操作に応じた操作信号をコンピュータ２０へ出力する。入力装置４０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。

識別装置５０は、試料に付加された識別情報を取得する装置である。識別情報は、少なくとも試料を識別する情報を含んでいる。識別情報には、試料の解析方法についての情報などが含まれても良い。識別装置５０は、例えば、バーコードリーダ、ＲＦＩＤリーダ、ＱＲコード（登録商標）リーダなどである。

コンピュータ２０は、顕微鏡システム１全体を制御する。コンピュータ２０は、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、及び、識別装置５０に接続されている。コンピュータ２０は、主に投影装置１３３の制御に関連する構成要素として、図１に示すように、カメラ制御部２１、画像解析部２２、移動量算出部２２ａ、投影画像生成部２３、情報取得部２４、投影制御部２５、画像記録部２６、画像合成部２７、表示制御部２８を備えている。

カメラ制御部２１は、撮像素子１３１を制御することで、試料のデジタル画像データを取得する。カメラ制御部２１が取得したデジタル画像データは、画像解析部２２、移動量算出部２２ａ、画像記録部２６、及び画像合成部２７へ出力される。

画像解析部２２は、カメラ制御部２１が取得したデジタル画像データを解析し、解析結果を投影画像生成部２３へ出力する。画像解析部２２が行う解析処理の内容は特に限定しない。画像解析部２２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む解析結果を出力してもよい。より具体的には、画像解析部２２は、デジタル画像に写る細胞を分類し、特定細胞の輪郭を特定する情報とその特定細胞の核の輪郭を特定する情報を含む解析結果を出力しても良い。

移動量算出部２２ａは、カメラ制御部２１が取得したデジタル画像データを解析し、ステージ１０１の移動量を算出する。具体的には、異なる時刻に取得したデジタル画像データを比較することでステージ１０１の移動量を算出する。移動量算出部２２ａが算出した移動量は、投影画像生成部２３へ出力される。

投影画像生成部２３は、第１投影画像データと第２投影画像データを生成する。第１投影画像データが表現する第１投影画像は、コンピュータ２０による試料のデジタル画像データの解析結果に基づく画像である。第２投影画像データが表現する第２投影画像は、利用者の入力操作に基づく画像である。投影画像生成部２３で生成された第１投影画像と第２投影画像は、投影制御部２５、画像記録部２６、及び、画像合成部２７へ出力される。

投影画像生成部２３は、第１投影画像の表示形式と第２投影画像の表示形式が異なるように、第１投影画像データと第２投影画像データを生成することが望ましい。なお、表示形式には、例えば、画像の色又は画像を構成する線の書式が含まれる。線の書式には、線の色、種類、太さなどが含まれる。

投影画像生成部２３は、画像解析部２２から出力された解析結果に基づいて第１投影画像データを生成する。例えば、解析結果が少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む場合であれば、投影画像生成部２３が生成する第１投影画像データは、その少なくとも一つのクラスに分類された構造物の位置を特定する図形を含む第１投影画像を表現する。また、解析結果が特定細胞の輪郭を特定する情報とその特定細胞の核の輪郭を特定する情報を含む場合であれば、第１投影画像データは、特定細胞の輪郭に重畳する閉曲線とその特定細胞の核の輪郭に重畳する閉曲線を含む第１投影画像を表現する。なお、特定細胞の輪郭を特定する閉曲線と核の輪郭を特定する閉曲線は、異なる色を有してもよい。

投影画像生成部２３は、少なくとも後述する情報取得部２４で取得した操作情報に基づいて第２投影画像データを生成する。例えば、操作情報が、注目すべき領域を指定する利用者の操作によって得られた情報の場合であれば、投影画像生成部２３が生成する第２投影画像データは、利用者が指定した注目すべき領域（以降、ＲＯＩと記す。）を表す図形を含む第２投影画像を表現する。ＲＯＩを表す図形は、例えば、ＲＯＩの輪郭に重畳する閉曲線である。また、操作情報が、利用者がコメントを入力する操作によって得られた情報の場合であれば、投影画像生成部２３が生成する第２投影画像データは、利用者が入力したコメントを含む第２投影画像を表現する。

投影画像生成部２３は、入力操作と移動量算出部２２ａで取得したステージ１０１の移動量に基づいて第２投影画像データを生成しても良い。これは、情報取得部２４で操作情報を取得して以降にステージ１０１が移動した場合に特に有効である。これにより、投影画像生成部２３は、利用者が改めてＲＯＩを指定することなしに、ステージ１０１の移動量に応じて第２投影画像に含まれるＲＯＩを表す図形の像面上の位置を変更することが可能となる。

投影画像生成部２３は、入力操作と像面に形成される光学画像の倍率に基づいて第２投影画像データを生成しても良い。これは、情報取得部２４で操作情報を取得して以降に光学画像の倍率が変更された場合に特に有効である。これにより、投影画像生成部２３は、利用者が改めてＲＯＩを指定することなしに、光学画像の倍率に応じて第２投影画像に含まれる図形の像面上の大きさを変更することが可能となる。

情報取得部２４は、コンピュータ２０外部の装置から情報を取得する。具体的には、情報取得部２４は、入力装置４０からの操作信号に基づいて利用者の操作情報を取得する。また、情報取得部２４は、識別装置５０から識別情報を取得する。なお、利用者の操作情報は、利用者が像面に情報を表示するために入力装置４０を操作することで生成される情報である。

投影制御部２５は、投影装置１３３を制御することで、像面への第１投影画像及び第２投影画像の投影を制御する。投影制御部２５は、投影装置１３３を制御して、第１投影画像の投影期間と第２投影画像の投影期間が異ならせてもよい。具体的には、投影制御部２５は、例えば、第１投影画像が定期的に投影され、第２投影画像が常時投影されるように、投影期間を調整してもよい。また、投影制御部２５は、顕微鏡システム１の設定に応じて投影装置１３３を制御しても良い。具体的には、投影制御部２５は、顕微鏡システム１の設定に応じて、像面に第１投影画像と第２投影画像のそれぞれを投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３３が像面へ第１投影画像と第２投影画像を投影するように、投影装置１３３を制御しても良い。つまり、顕微鏡システム１は、第１投影画像と第２投影画像のそれぞれを像面に投影するか否かを設定によって変更することができる。

画像記録部２６は、デジタル画像データと、第１投影画像データと、第２投影画像データを記録する。具体的には、画像記録部２６は、デジタル画像データとは異なる領域に、第１投影画像データと第２投影画像データのそれぞれを、デジタル画像データと関連付けて記録する。これにより、互いに関連するデジタル画像データと第１投影画像データと第２投影画像データを、必要に応じて個別に読み出すことが可能となる。さらに、画像記録部２６は、試料に付加された識別情報を、識別装置５０及び情報取得部２４を経由して取得し、取得した識別情報をデジタル画像データと関連付けて記録しても良い。また、画像記録部２６は、利用者による記録指示の入力を検出したときに、デジタル画像データと、第１投影画像データと、第２投影画像データを記録してもよい。

画像合成部２７は、デジタル画像データと第１投影画像データと第２投影画像データに基づいて、デジタル画像と第１投影画像と第２投影画像が合成された合成画像の画像データを生成し、表示制御部２８へ出力する。

表示制御部２８は、画像合成部２７から出力された合成画像データに基づいて、合成画像を表示装置３０に表示する。なお、表示制御部２８は、デジタル画像データに基づいてデジタル画像を単独で表示装置３０に表示してもよい。

なお、コンピュータ２０は、汎用装置であっても、専用装置であってもよい。コンピュータ２０は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、コンピュータ２０は、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ、入出力インタフェース２０ｄ、媒体駆動装置２０ｅ、通信制御装置２０ｆを備えてもよく、それらが互いにバス２０ｇによって接続されてもよい。

プロセッサ２０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ２０ａは、メモリ２０ｂ、補助記憶装置２０ｃ、記憶媒体２０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３３の制御に関連する構成要素（カメラ制御部２１、画像解析部２２、投影画像生成部２３等）を実現しても良い。また、プロセッサ２０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。

メモリ２０ｂは、プロセッサ２０ａのワーキングメモリである。メモリ２０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置２０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース２０ｄは、外部装置（顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、識別装置５０）と情報をやり取りする。

媒体駆動装置２０ｅは、メモリ２０ｂ及び補助記憶装置２０ｃに格納されているデータを記憶媒体２０ｈに出力することができ、また、記憶媒体２０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体２０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体２０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。

通信制御装置２０ｆは、ネットワークへの情報の入出力を行う。通信制御装置２０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス２０ｇは、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ等を、相互にデータの授受可能に接続する。

以上のように構成された顕微鏡システム１は、図３に示す画像投影処理を行う。図３は、顕微鏡システム１が行う画像投影処理のフローチャートである。以下、図３を参照しながら、顕微鏡システム１の画像投影方法について説明する。

まず、顕微鏡システム１は、試料の光学画像を像面に投影する（ステップＳ１）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面に集光し、試料の光学像を形成する。

さらに、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ２）。ここでは、対物レンズ１０２が取り込んだ試料からの光の一部を光偏向素子１３２が撮像素子１３１へ向けて偏向する。撮像素子１３１は、光偏向素子１３２で偏向された光に基づいて試料を撮像することでデジタル画像データを生成する。

その後、顕微鏡システム１は、デジタル画像データの解析結果に基づいて第１投影画像データを生成する（ステップＳ３）。ここでは、カメラ制御部２１を経由してデジタル画像データを取得した画像解析部２２が解析処理を行い、投影画像生成部２３がその解析結果に基づいて第１投影画像データを生成する。

第１投影画像データが生成されると、顕微鏡システム１は、第１投影画像を像面に投影する（ステップＳ４）。ここでは、投影制御部２５が第１投影画像データに基づいて投影装置１３３を制御することで、投影装置１３３が第１投影画像を像面に投影する。これにより、試料の光学画像上に第１投影画像が重畳される。

さらに、顕微鏡システム１は、利用者の入力操作に基づいて第２投影画像データを生成する（ステップＳ５）。ここでは、投影画像生成部２３が入力装置４０及び情報取得部２４を経由して取得した操作情報に基づいて第２投影画像データを生成する。

最後に、顕微鏡システム１は、第２投影画像を像面に第１投影画像と区別可能に投影する（ステップＳ６）。ここでは、投影制御部２５が第２投影画像データに基づいて投影装置１３３を制御することで、投影装置１３３が第２投影画像を第１投影画像と区別可能に像面に投影する。より具体的には、例えば、第１投影画像の表示形式と第２投影画像の表示形式が異なる場合には、投影装置１３３は、第１投影画像と第２投影画像を表示形式の違いにより区別可能に投影する。一方、例えば、第１投影画像の表示形式と第２投影画像の表示形式が同じ場合には、第１投影画像の投影期間と第２投影画像の投影期間を異ならせることで、第１投影画像と第２投影画像を区別可能に投影する。

顕微鏡システム１では、コンピュータによる画像解析結果と利用者が入力操作によって付加した情報とが光学画像上に表示される。これにより、病理医は、試料の光学画像に基づく病理診断中に、接眼レンズから目を離すことなく診断を補助する種々の情報を得ることができる。このため、顕微鏡システム１によれば、病理医の作業負担を軽減することができる。特に、コンピュータによる画像解析結果が表示されることで、病理医は、病理診断において判断の基礎となる種々の情報を得ることができる。また、利用者の入力操作に基づく画像が表示されることで、病理医は、例えば、経験豊富な他の病理医によるアドバイスをリアルタイムで得ることができる。このように、顕微鏡システム１によれば、光学画像に基づく病理診断を補助することができる。

さらに、顕微鏡システム１では、光学画像上に付加情報を表示することで、病理診断を補助する。このため、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら病理医の負担軽減を図ることができる。また、ＷＳＩシステムで病理診断を行うためには、事前にＷＳＩ（Whole Slide Image）を作成する必要があるが、顕微鏡システム１では、事前準備が不要であり、即座に診断作業を開始することができる。

図４は、スライドガラスＳＧ上における細胞の分布を例示した図である。図５から図７は、顕微鏡システム１を用いて行われる観察の例を示した図である。以下、図４から図７を参照しながら、図３に示す画像投影処理を実行する顕微鏡システム１を用いた観察の様子を具体的に説明する。

まず、図５を参照しながら、図４に示すスライドガラスＳＧ上で、顕微鏡システム１の視野を視野Ｆ１に固定しながら観察を行う場合について、説明する。

顕微鏡システム１を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は細胞Ｃ１が写った画像Ｖ１を観察することができる。画像Ｖ１は、像面に形成された、視野Ｆ１に対応する光学画像である。このとき、表示装置３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ１に対応する画像Ｍ１が表示されている。

なお、以降では、病理医が接眼レンズ１０４を用いて観察する画像を目視画像と記し、表示装置３０に表示されている画像をモニタ画像と記す。

その後、コンピュータ２０により、デジタル画像データが解析され、細胞Ｃ１の輪郭と細胞Ｃ１の核の輪郭が特定されると、第１投影画像である投影画像Ｐ１が像面に投影される。なお、投影画像Ｐ１に含まれるマークＣＣは細胞の輪郭を示し、マークＮＣは細胞の核の輪郭を示している。これにより、病理医は画像Ｖ１に投影画像Ｐ１が重畳された画像Ｖ２を観察する。このとき、表示装置３０には、画像Ｍ１と投影画像Ｐ１が合成された画像Ｍ２が表示されている。

最後に、顕微鏡システム１の利用者が入力装置４０を用いてＲＯＩを指定すると、第２投影画像である投影画像Ｐ２が像面に投影される。なお、利用者は、例えばモニタ画像を観察している経験豊富な補助者であり、投影画像Ｐ２に含まれるマークＵＲはＲＯＩを示している。これにより、病理医は画像Ｖ２に投影画像Ｐ２が重畳された画像Ｖ３を観察することができる。このとき、表示装置３０には、画像Ｍ２と投影画像Ｐ２が合成された画像Ｍ３が表示されている。

図５に示す例では、細胞Ｃ１の輪郭と核の輪郭が第１投影画像によって強調される。このため、病理医は細胞Ｃ１の存在を見逃すことなく確実に認識した上で診断を下すことができる。また、経験豊富な補助者が指定した注目領域が第２投影画像によって示される。このため、病理医は特に注目すべき領域を慎重に観察して診断を下すことができる。

次に、図６を参照しながら、図４に示すスライドガラスＳＧ上で、顕微鏡システム１の視野を視野Ｆ１から視野Ｆ２に移動しながら観察を行う場合について、説明する。

病理医が図５に示す画像Ｖ３を観察している状態から、顕微鏡システム１の視野を視野Ｆ１から視野Ｆ２に移動すると、病理医は細胞Ｃ１と細胞Ｃ２が写った画像Ｖ４を観察することができる。画像Ｖ４は、像面に形成された、視野Ｆ２に対応する光学画像である。このとき、表示装置３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ４に対応する画像Ｍ４が表示されている。

その後、コンピュータ２０によってデジタル画像データが解析され、細胞Ｃ１と細胞Ｃ２それぞれの輪郭と細胞Ｃ１の核と細胞Ｃ２の核のそれぞれの輪郭が特定されると、第１投影画像である投影画像Ｐ３が像面に投影される。さらに、デジタル画像における細胞Ｃ１の位置の変化に基づいてステージ１０１の移動量が算出されると、投影画像Ｐ２のマークＵＲを移動量に応じた距離だけ動かした投影画像Ｐ４が像面に投影される。これにより、病理医は画像Ｖ４に投影画像Ｐ３と投影画像Ｐ４が重畳された画像Ｖ５を観察する。このとき、表示装置３０には、画像Ｍ４と投影画像Ｐ３及び投影画像Ｐ４が合成された画像Ｍ５が表示されている。

図６に示す例では、ステージ１０１の移動量に応じて第２投影画像に含まれるマークＵＲが移動する。このため、利用者によって指定されたＲＯＩにマークＵＲが追随するため、ステージ１０１の移動後に利用者が再度とＲＯＩを指定し直す必要がない。従って、病理医はステージ１０１の移動によらず注目すべき領域を正しく認識することができる。

さらに、図７を参照しながら、図４に示すスライドガラスＳＧ上で、顕微鏡システム１の視野を視野Ｆ１から視野Ｆ２に移動しながら観察を行う場合について、説明する。なお、図７は、病理医が病理診断の途中で観察所見を入力する点が、図６とは異なっている。

細胞Ｃ１が写った画像Ｖ２が像面に形成されている状態で、顕微鏡システム１の利用者が入力装置４０を用いてＲＯＩを指定し、且つ、観察の所見を入力すると、第２投影画像である投影画像Ｐ５が像面に投影される。なお、利用者は、例えば接眼レンズ１０４を覗いている病理医本人である。投影画像Ｐ５に含まれるマークＵＲはＲＯＩを示し、投影画像Ｐ５に含まれる注釈Ｎは、ＲＯＩについての病理医の所見である。これにより、病理医は画像Ｖ２に投影画像Ｐ５が重畳された画像Ｖ６を観察することができる。このとき、表示装置３０には、画像Ｍ２と投影画像Ｐ５が合成された画像Ｍ６が表示されている。

病理医が画像Ｖ６を観察している状態から、顕微鏡システム１の視野を視野Ｆ１から視野Ｆ２に移動すると、病理医は細胞Ｃ１と細胞Ｃ２が写った画像Ｖ７を観察する。画像Ｖ７は、視野Ｆ２に対応する光学画像である画像Ｖ４に投影画像Ｐ３と投影画像Ｐ６とが重畳された画像である。投影画像Ｐ６は、投影画像Ｐ５のマークＵＲを移動量に応じた距離だけ動かした画像であり、注釈Ｎを投影画像Ｐ５と同じ位置に含む画像である。このとき、表示装置３０には、画像Ｍ７が表示されている。

図７に示す例では、第２投影画像に含まれるマークをステージ１０１と共に移動するものと移動しないものに分けて管理する。このため、利用者によって指定されたＲＯＩにマークＵＲが追随する一方で、所見を示す注釈Ｎは所定位置に維持される。これにより、常時表示されるべき所見がステージ１０１の移動により表示されなくなるといった事態を回避することができる。

図５から図７の例では、第１投影画像と第２投影画像を異なる線種（実線と破線）で表示する例を示したが、第１投影画像と第２投影画像は区別可能であればよく、例えば、互いに色を異ならせることで区別可能としてもよい。

また、顕微鏡システム１の画像解析部２２は、所定のアルゴリズムに基づく画像認識処理によりデジタル画像データを解析してもよく、訓練済みのニューラルネットワークを用いてデジタル画像データを解析してもよい。

訓練済みのニューラルネットワークのパラメータは、顕微鏡システム１とは異なる装置でニューラルネットワークを訓練することで生成されても良く、コンピュータ２０は生成されたパラメータをダウンロードして画像解析部２２に適用しても良い。

なお、図８は、ニューラルネットワークＮＮの構成を示した図である。ニューラルネットワークＮＮは、入力層と複数の中間層と出力層を有している。入力データＤ１を入力層に入力することで出力層から出力される出力データＤ２を正解データＤ３と比較する。そして、誤差逆伝播法によって学習することで、ニューラルネットワークＮＮのパラメータを更新する。なお、入力データＤ１と正解データＤ３のセットが教師あり学習の訓練データである。

［第２実施形態］
図９は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡２００を備える点が、顕微鏡システム１とは異なっている。顕微鏡２００は、顕微鏡本体１１０と鏡筒１２０の間に投影ユニット１４０を備えている。

投影ユニット１４０は、対物レンズ１０２と結像レンズ１０３と接眼レンズ１０４を備える顕微鏡用の投影ユニットであり、中間鏡筒１３０を含んでいる。即ち、投影ユニット１４０は、試料からの光に基づいて試料のデジタル画像データを取得する撮像装置の一例である撮像素子１３１と、光学画像が形成される像面へ第１投影画像と第２投影画像を投影する投影装置１３３を備えている。

投影ユニット１４０は、さらに、カメラ制御部１４１と、画像解析部１４２と、移動量算出部１４２ａと、投影画像生成部１４３と、情報取得部１４４と、投影制御部１４５を備えている。

カメラ制御部１４１、画像解析部１４２、移動量算出部１４２ａ、投影画像生成部１４３、投影制御部１４５は、それぞれカメラ制御部２１、画像解析部２２、移動量算出部２２ａ、投影画像生成部２３、投影制御部２５と同様である。このため、詳細な説明は省略する。

情報取得部１４４は、コンピュータ２０を経由して取得した入力装置４０からの操作信号に基づいて利用者の操作情報を取得する。また、情報取得部１４４は、コンピュータ２０を経由して識別装置５０から識別情報を取得する。

本実施形態では、投影ユニット１４０を既存の顕微鏡に取り付けるだけで、顕微鏡システム１と同様の効果を得ることが可能である。従って、投影ユニット１４０及び顕微鏡システム２によれば、既存の顕微鏡システムを容易に拡張して、病理医による光学画像に基づく病理診断を補助することができる。

［第３実施形態］
図１０は、本実施形態に係る顕微鏡システム３と外部閲覧システム３００とを含む診断補助システムの構成を示した図である。顕微鏡システム３は、コンピュータ２０の代わりにコンピュータ６０を備えている点が異なっている。

顕微鏡システム３は、インターネット４００を経由して１つ以上の外部閲覧システム３００と接続されている。外部閲覧システム３００は、少なくとも通信制御部３１１を備えるコンピュータ３１０と、入力装置３２０と、表示装置３３０を備えるシステムである。

なお、インターネット４００は、通信ネットワークの一例である。顕微鏡システム３と外部閲覧システム３００は、例えば、ＶＰＮ（Virtual Private Network）、専用線などを経由して接続されていてもよい。

コンピュータ６０は、通信制御部２９を含む点がコンピュータ２０とは異なっている。通信制御部２９は、外部閲覧システム３００とデータをやり取りする。

通信制御部２９は、例えば、画像データを外部閲覧システム３００へ送信する。通信制御部２９が送信する画像データは、例えば、画像合成部２７で生成された合成画像データであってもよい。デジタル画像データと第１投影画像データと第２投影画像データを個別に送信してもよい。また、デジタル画像データだけを送信してもよい。外部閲覧システム３００は、画像データを受信したコンピュータ３１０が画像データに基づいて表示装置３３０に画像を表示する。コンピュータ３１０は、例えば、デジタル画像データと第１投影画像データと第２投影画像データに基づいて合成画像データを生成してもよく、合成画像データに基づいて合成画像を表示装置３３０に表示してもよい。

通信制御部２９は、例えば、外部閲覧システム３００の利用者が入力した操作情報を受信する。投影画像生成部２３は、通信制御部２９が受信した操作情報に基づいて第２投影画像データを生成してもよい。顕微鏡システム３は、投影装置１３３を用いて外部閲覧システム３００の利用者による入力操作に基づく第２投影画像を像面に投影しても良い。

顕微鏡システム３は、ネットワーク経由で接続された外部閲覧システム３００とやり取りすることができる。このため、遠隔地にいる病理医からアドバイスを受けることが可能となる。従って、顕微鏡システム３によれば、病理医の病理診断の負担を更に軽減することができる。

図１１は、顕微鏡システム３を用いて行われる観察の一例を示した図である。図１１を参照しながら、顕微鏡システム３を用いた観察の様子を具体的に説明する。

顕微鏡システム３を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は細胞Ｃ１と細胞Ｃ２が写った画像Ｖ８を観察することができる。画像Ｖ８は、像面に形成された、視野Ｆ２に対応する光学画像である。このとき、表示装置３０及び表示装置３３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ８に対応する画像Ｍ８が表示されている。

その後、コンピュータ６０により、デジタル画像データが解析され、細胞の輪郭と細胞の核の輪郭が特定されると、第１投影画像である投影画像Ｐ７が像面に投影される。なお、投影画像Ｐ７に含まれるマークＣＣは細胞の輪郭を示し、マークＮＣは細胞の核の輪郭を示している。これにより、病理医は画像Ｖ８に投影画像Ｐ７が重畳された画像Ｖ９を観察する。このとき、表示装置３０及び表示装置３３０には、画像Ｍ８と投影画像Ｐ７が合成された画像Ｍ９が表示されている。

さらに、顕微鏡システム３の利用者が入力装置４０を用いてＲＯＩを指定すると、第２投影画像である投影画像Ｐ８が像面に投影される。なお、利用者は、接眼レンズ１０４を覗いている病理医本人であり、投影画像Ｐ８に含まれるマークＵＲは病理医本人が注目したＲＯＩを示している。これにより、病理医は画像Ｖ９に投影画像Ｐ８が重畳された画像Ｖ１０を観察することができる。このとき、表示装置３０及び表示装置３３０には、画像Ｍ９と投影画像Ｐ８が合成された画像Ｍ１０が表示されている。

その後、表示装置３３０に表示された画像Ｍ１０を通して病理医が細胞Ｃ１に注目していることを認識した外部閲覧システム３００の利用者は、病理医を細胞Ｃ２に注目させるために、入力装置３２０を操作する。これにより、外部閲覧システム３００から顕微鏡システム３へ操作情報が送信される。操作情報を受信した顕微鏡システム３は、外部閲覧システム３００の利用者の入力操作に基づく別の第２投影画像である投影画像Ｐ９を像面に投影する。投影画像Ｐ９には、細胞Ｃ２への注目を促すためのマークＵＲ２が含まれている。その結果、病理医は画像Ｖ１０に投影画像Ｐ９が重畳された画像Ｖ１１を観察することができる。このとき、表示装置３０及び表示装置３３０には、画像Ｍ１０と投影画像Ｐ９が合成された画像Ｍ１１が表示されている。

図１１に示す例では、顕微鏡システム１の利用者と外部閲覧システム３００の利用者の入力操作に基づく投影画像が像面に投影される。このため、異なるロケーションにいる利用者間でコミュニケーションを取りながら、病理診断を行うことが可能となる。

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

顕微鏡システム１に含まれる顕微鏡は、例えば、図１２に示す顕微鏡５００であってもよい。上述した実施形態では、中間鏡筒１３０に撮像素子１３１を備える構成を例示したが、画像解析に用いるデジタル画像データを取得する撮像素子１５１は、図１２に示すように、三眼鏡筒である鏡筒１２０ａに取り付けられたデジタルカメラ１５０に設けられていてもよい。ただし、この場合、中間鏡筒１３０ａに含まれる投影装置１３３から出射した光が撮像素子１５１へ入射することになる。このため、投影装置１３３の発光期間と撮像素子１５１の露光期間が重ならないように、デジタルカメラ１５０を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。

また、顕微鏡システム１に含まれる顕微鏡は、例えば、図１３に示す顕微鏡６００であってもよい。顕微鏡６００は、中間鏡筒１３０の代わりに、透過型の液晶デバイスを用いた投影装置１３５を含む中間鏡筒１３０ｂを備えている。上述した実施形態では、投影装置１３３から出射した光を対物レンズ１０２と接眼レンズ１０４の間の光路上に配置された光偏向素子１３４で偏向することで、投影画像を像面に投影する構成を例示したが、図１３に示すように、投影装置１３５を対物レンズ１０２と接眼レンズ１０４の間の光路上に配置してもよい。

また、上述した実施形態では、光検出器として撮像素子を含む例を示したが、光検出器は撮像素子に限らない。例えば、走査型顕微鏡に上述した技術を提供してもよく、その場合、光検出器は、光電子増倍管（ＰＭＴ）などであってもよい。

また、上述した実施形態では、ステージ１０１の移動量を画像に基づいて算出する例を示したが、ステージ１０１の移動量は他の方法で算出されてもよい。例えば、ステージ１０１が電動ステージである場合には、電動ステージの移動を指示するための指示情報に基づいてステージ１０１の移動量を算出してもよく、電動ステージのモータに取り付けたエンコーダからの出力情報に基づいてステージ１０１の移動量を算出してもよい。また、ステージ１０１が手動ステージである場合であっても、ステージ１０１に取り付けた加速度センサの出力情報に基づいてステージ１０１の移動量を推定してもよい。

また、上述した実施形態では、入力装置４０として、キーボード、マウス、ジョイスティック、タッチパネルなどを例示したが、入力装置４０は、音声入力を受け付ける装置、例えば、マイクなどあってもよい。その場合、コンピュータ２０は、入力装置４０から入力された音声指示を認識する機能を備えてもよく、例えば、コンピュータ２０に含まれる情報取得部２４が音声認識技術により音声データを操作情報へ変換し、投影画像生成部２３へ出力しても良い。

１、２、３ 顕微鏡システム
１０ 顕微鏡コントローラ
２０、６０、３１０ コンピュータ
２０ａ プロセッサ
２０ｂ メモリ
２０ｃ 補助記憶装置
２０ｄ 入出力インタフェース
２０ｅ 媒体駆動装置
２０ｆ 通信制御装置
２０ｇ バス
２０ｈ 記憶媒体
２１、１４１ カメラ制御部
２２、１４２ 画像解析部
２２ａ、１４２ａ 移動量算出部
２３、１４３ 投影画像生成部
２４、１４４ 情報取得部
２５、１４５ 投影制御部
２６ 画像記録部
２７ 画像合成部
２８ 表示制御部
２９、３１１ 通信制御部
３０、３３０ 表示装置
４０、３２０ 入力装置
５０ 識別装置
１００、２００、５００、６００ 顕微鏡
１０１ ステージ
１０２、１０２ａ 対物レンズ
１０３ 結像レンズ
１０４ 接眼レンズ
１１０ 顕微鏡本体
１１１ ターレット
１２０、１２０ａ 鏡筒
１３０、１３０ａ、１３０ｂ 中間鏡筒
１３１、１５１ 撮像素子
１３２、１３４ 光偏向素子
１３３ 投影装置
１４０ 投影ユニット
１５０ デジタルカメラ
３００ 外部閲覧システム
４００ インターネット
ＣＣ、ＮＣ、ＵＲ、ＵＲ２ マーク
Ｃ１、Ｃ２ 細胞
Ｄ１ 入力データ
Ｄ２ 出力データ
Ｄ３ 正解データ
Ｆ１、Ｆ２ 視野
Ｎ 注釈
ＮＮ ニューラルネットワーク
Ｐ１～Ｐ９ 投影画像
ＳＧ スライドガラス
Ｖ１～Ｖ１１、Ｍ１～Ｍ１１ 画像

Claims (16)

1. 接眼レンズと、
   試料からの光を前記接眼レンズへ導く対物レンズと、
   前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
   前記試料からの光を検出する光検出器であって、前記試料のデジタル画像データは前記光検出器での検出結果に基づいて生成される、前記光検出器と、
   訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析して解析結果を出力する画像解析部と、
   前記光学画像が形成されている像面へ第１投影画像と第２投影画像とを互いに区別可能に投影する投影装置であって、前記第１投影画像は、前記画像解析部による前記解析結果に基づく画像であり、前記第２投影画像は、前記光学画像が形成されている前記像面に前記第１投影画像が投影されている期間中の利用者による入力操作に基づく前記試料へのアノテーションにより生成された画像を含む、前記投影装置と、
   前記デジタル画像データと、前記第２投影画像を表現する第２投影画像データとを関連付けて記録する画像記録部を備え、
   前記画像解析部は、
   前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、
   前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む前記解析結果を出力し、
   前記第１投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、
   前記第２投影画像の表示形式は、前記第１投影画像の表示形式と異なる
   ことを特徴とする顕微鏡システム。
3. 請求項２に記載の顕微鏡システムにおいて、
   前記表示形式は、画像の色又は画像を構成する線の書式を含む
   ことを特徴とする顕微鏡システム。
4. 請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
   前記第２投影画像の投影期間は、前記第１投影画像の投影期間と異なる
   ことを特徴とする顕微鏡システム。
5. 請求項１乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   投影制御部を備え、
   前記投影制御部は、
   前記顕微鏡システムの設定に応じて、前記像面へ前記第１投影画像と前記第２投影画像のそれぞれを投影するか否かを決定し、
   前記顕微鏡システムが所定の設定のときに、前記投影装置が前記像面へ前記第１投影画像と前記第２投影画像を投影するように、前記投影装置を制御する
   ことを特徴とする顕微鏡システム。
6. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光を前記光検出器に向けて偏向する第１光偏向素子と、
   前記像面と前記第１光偏向素子の間の光路上に配置され、前記投影装置から出射した光を前記像面へ向けて偏向する第２光偏向素子と、を備える
   ことを特徴とする顕微鏡システム。
7. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
   前記第２投影画像は、前記利用者が指定した注目すべき領域を表す図形を含む
   ことを特徴とする顕微鏡システム。
8. 請求項７に記載の顕微鏡システムにおいて、さらに、
   前記試料を載置するステージと、
   前記ステージの移動量を算出する移動量算出部と、
   前記入力操作と前記移動量に基づいて、前記第２投影画像データを生成する投影画像生成部であって、前記移動量に応じて前記第２投影画像に含まれる前記図形の前記像面上の位置を変更する投影画像生成部と、を備える
   ことを特徴とする顕微鏡システム。
9. 請求項７に記載の顕微鏡システムにおいて、さらに、
   前記入力操作と前記光学画像の倍率に基づいて、前記第２投影画像データを生成する投影画像生成部であって、前記光学画像の倍率に応じて前記第２投影画像に含まれる前記図形の前記像面上の大きさを変更する投影画像生成部と、を備える
   ことを特徴とする顕微鏡システム。
10. 請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記画像記録部は、前記デジタル画像データとは異なる領域に、前記第２投影画像データを、前記デジタル画像データと関連付けて記録する
    ことを特徴とする顕微鏡システム。
11. 請求項１０に記載の顕微鏡システムにおいて、さらに、
    前記試料に付加された識別情報を取得する識別装置を備え、
    前記画像記録部は、前記識別装置が取得した前記識別情報を、前記デジタル画像データと関連付けて記録する
    ことを特徴とする顕微鏡システム。
12. 請求項１乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記デジタル画像データと、前記第１投影画像を表現する第１投影画像データと、前記第２投影画像データと、に基づいて、前記デジタル画像と前記第１投影画像と前記第２投影画像とが合成された合成画像の画像データである合成画像データを生成する画像合成部と、
    前記デジタル画像又は前記合成画像を表示装置に表示する表示制御部と、を備える
    ことを特徴とする顕微鏡システム。
13. 請求項１２に記載の顕微鏡システムにおいて、さらに、
    ネットワークを経由して前記顕微鏡システムと接続された外部閲覧システムへ画像データを送信する通信制御部と、を備え、
    前記外部閲覧システムは、前記表示装置を備える
    ことを特徴とする顕微鏡システム。
14. 請求項１乃至請求項１２のいずれか１項に記載の顕微鏡システムにおいて、
    ネットワークを経由して前記顕微鏡システムと接続された外部閲覧システムの利用者が入力した操作情報を受信する通信制御部を備え、
    前記第２投影画像は、前記外部閲覧システムの利用者による入力操作に基づく画像である
    ことを特徴とする顕微鏡システム。
15. 対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
    試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析して解析結果を出力する画像解析部と、
    前記結像レンズにより前記試料の光学画像が形成されている像面へ第１投影画像と第２投影画像とを互いに区別可能に投影する投影装置であって、前記第１投影画像は、前記画像解析部による前記解析結果に基づく画像であり、前記第２投影画像は、前記光学画像が形成されている前記像面に前記第１投影画像が投影されている期間中の利用者による入力操作に基づく前記試料へのアノテーションにより生成された画像を含む、前記投影装置と、
    前記デジタル画像データと、前記第２投影画像を表現する第２投影画像データとを関連付けて記録する画像記録部を備え、
    前記画像解析部は、
    前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、
    前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む前記解析結果を出力し、
    前記第１投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む
    ことを特徴とする投影ユニット。
16. 顕微鏡システムが行う画像投影方法であって、
    前記顕微鏡システムは、
    試料のデジタル画像データを取得することと、
    利用者の入力操作の情報を取得することと、
    前記試料からの光に基づいて前記試料の光学画像が形成された像面へ、第１投影画像と第２投影画像とを互いに区別可能に投影することと、
    訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析して解析結果を出力することと、
    前記デジタル画像データと、前記第２投影画像を表現する第２投影画像データとを関連付けて記録することと、を含み、
    前記解析結果を出力することは、
    前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類することと、
    前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む前記解析結果を出力することと、を含み、
    前記第１投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む、前記解析結果に基づく画像であり、
    前記第２投影画像は、前記光学画像が形成されている前記像面に前記第１投影画像が投影されている期間中の前記入力操作に基づく前記試料へのアノテーションにより生成された画像を含む
    ことを特徴とする画像投影方法。

Images