JP2024019639A - 顕微鏡システム、プログラム、及び、投影画像生成方法 - Google Patents

顕微鏡システム、プログラム、及び、投影画像生成方法 Download PDF

Info

Publication number
JP2024019639A
JP2024019639A JP2023214425A JP2023214425A JP2024019639A JP 2024019639 A JP2024019639 A JP 2024019639A JP 2023214425 A JP2023214425 A JP 2023214425A JP 2023214425 A JP2023214425 A JP 2023214425A JP 2024019639 A JP2024019639 A JP 2024019639A
Authority
JP
Japan
Prior art keywords
image
projection
microscope system
analysis
projection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023214425A
Other languages
English (en)
Inventor
貴 米山
Takashi Yoneyama
章文 壁谷
Akifumi Kabetani
洋輔 谷
Yosuke Tani
竜男 中田
Tatsuo Nakata
雅善 唐澤
Masayoshi Karasawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Co Ltd
Original Assignee
Evident Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Co Ltd filed Critical Evident Co Ltd
Publication of JP2024019639A publication Critical patent/JP2024019639A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】病理医による光学画像に基づく病理診断を補助する診断補助技術を提供する。【解決手段】顕微鏡システム１は、接眼レンズ１０４と、試料からの光を接眼レンズ１０４へ導く対物レンズ１０２と、接眼レンズ１０４と対物レンズ１０２の間に配置され、試料からの光に基づいて試料の光学画像を形成する結像レンズ１０３と、画像解析部２２と、投影画像生成部２３と、光学画像の像面に投影画像を投影する投影装置１３３を備える。画像解析部２２は、試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、少なくとも１つの解析処理に応じた解析結果を出力する。投影画像生成部２３は、解析結果と少なくとも１つの解析処理とに基づいて投影画像データを生成する。投影画像データが表現する投影画像は、解析結果を少なくとも１つの解析処理に応じた表示形式で表す画像である。【選択図】図１

Description

本明細書の開示は、顕微鏡システム、プログラム、及び、投影画像生成方法に関する。
病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像であるWSI(Whole Slide Image)を作成する技術である。デジタル画像であるWSIをモニタに表示して診断を行うことで、病理医は様々なメリットを享受することができる。具体的には、診断中に顕微鏡本体の操作が不要となる、表示倍率を容易に変更することができる、複数名の病理医が同時に診断に関与することができる、などのメリットが挙げられる。このようなWSI技術については、例えば、特許文献１に記載されている。
特表２００１－５１９９４４号公報
その一方で、WSI技術を適用したシステム（以降、WSIシステムと記す。）には高い性能が要求される。具体的には、病理診断では色、濃淡の情報が極めて重要であることから、WSIシステムには、高い色再現性、広いダイナミックレンジが要求される。このため、WSIシステムを構成する各機器は高い性能を有する高価なものとならざるを得ず、その結果、WSIシステムを導入することができるユーザが限られてしまう。
このような実情から、病理医が光学顕微鏡によって得られる光学画像（アナログ画像）に基づいて行う病理診断を補助することで、病理医の負担を軽減する新たな技術が求められている。
本発明の一側面に係る目的は、病理医による光学画像に基づく病理診断を補助する診断補助技術を提供することである。
本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
本発明の別の態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
本発明のさらに別の態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、前記解析結果と前記少なくとも１つの解析処理とに基づいて第１投影画像データを生成し、複数の診断プロトコルから選択された診断プロトコルに基づいて第２投影画像データを生成する投影画像生成部であって、前記第１投影画像データが表現する第１投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像であり、前記第２投影画像データが表現する第２投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、前記光学画像が形成されている像面に前記第１投影画像と前記第２投影画像を投影する投影装置と、を備える。
本発明の一態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
本発明の別の態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
本発明の一態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力し、前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成し、前記試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である。
本発明の別の態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成し、前記試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、選択された前記診断プロトコルに応じた画像である。
上記の態様によれば、病理医による光学画像に基づく病理診断を補助することができる。
顕微鏡システム１の構成を示した図である。 コンピュータ２０の構成を示した図である。 顕微鏡システム１が行う画像投影処理のフローチャートである。 選択画面３１を例示した図である。 顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 ニューラルネットワークの構成を示した図である。 顕微鏡システム２の構成を示した図である。 顕微鏡システム３に含まれるコンピュータ６０の構成を示した図である。 顕微鏡システム３が行う画像投影処理のフローチャートである。 顕微鏡システム３の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム３の接眼レンズ１０４から見える画像の別の例である。 顕微鏡システム３の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム３の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム４と外部閲覧システム３００を含む診断補助システムの構成を示した図である。 顕微鏡５００の構成を示した図である。 顕微鏡５００を含む顕微鏡システムの接眼レンズ１０４から見える画像の変化の一例である。 顕微鏡６００の構成を示した図である。
［第１実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、コンピュータ２０の構成を示した図である。顕微鏡システム１は、病理医が病理診断で用いる顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、画像解析部２２と、投影画像生成部２３と、投影装置１３３と、を備えている。
顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３３を用いて投影画像を投影する。より具体的には、画像解析部２２が試料のデジタル画像データに対して解析処理を行い、投影画像生成部２３が解析結果と解析処理とに基づいて投影画像データを生成し、投影装置１３３が像面に解析結果を解析処理に応じた表示形式で表す投影画像を投影する。これにより、病理医は、解析処理に応じた表示形式の投影画像が光学画像上に重畳した画像を見ることになる。このため、顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察中の病理医に、病理診断を補助する種々の情報を視認しやすい表示形式で提供することができる。
以下、図１及び図２を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、顕微鏡コントローラ１０と、コンピュータ２０と、表示装置３０と、入力装置４０と、識別装置５０と、を備えている。
顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。
顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。例えば、対物レンズ１０２は、４倍の対物レンズであり、対物レンズ１０２ａは、２０倍の対物レンズである。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。
顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。
鏡筒１２０は、接眼レンズ１０４が装着された、単眼鏡筒又は双眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。また、結像レンズ１０３は、像面に、投影装置１３３からの光に基づいて後述する投影画像も形成する。これにより、像面において光学画像に投影画像が重畳される。
中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、撮像素子１３１と、光偏向素子１３２と、投影装置１３３と、光偏向素子１３４と、を備えている。
撮像素子１３１は、試料からの光を検出する光検出器の一例である。撮像素子１３１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１３１は、試料からの光を検出し、その検出結果に基づいて試料のデジタル画像データを生成する。
光偏向素子１３２は、試料からの光を撮像素子１３１に向けて偏向する第１光偏向素子の一例である。光偏向素子１３２は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３２は、接眼レンズ１０４と対物レンズ１０２の間の光路上に配置される。これにより、撮像素子１３１で目視観察と同じ方向から見た試料のデジタル画像を得ることが可能となる。
投影装置１３３は、コンピュータ２０からの命令に従って、後述する投影画像を像面に投影する投影装置である。投影装置１３３は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。
光偏向素子１３４は、投影装置１３３から出射した光を像面に向けて偏向する第２光偏向素子の一例である。光偏向素子１３４は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３４には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３４には、ダイクロイックミラーなどが用いられても良い。光偏向素子１３４は、像面と光偏向素子１３２の間の光路上に配置される。これにより、投影装置１３３からの光が撮像素子１３１へ入射することを回避することができる。
顕微鏡コントローラ１０は、顕微鏡１００、特に、顕微鏡本体１１０を制御する。顕微鏡コントローラ１０は、コンピュータ２０と顕微鏡１００に接続されていて、コンピュータ２０からの命令に応じて顕微鏡１００を制御する。
表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。入力装置４０は、利用者の入力操作に応じた操作信号をコンピュータ２０へ出力する。入力装置４０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。
識別装置５０は、試料に付加された識別情報を取得する装置である。識別情報は、少なくとも試料を識別する情報を含んでいる。識別情報には、試料の解析方法、診断プロトコルについての情報などが含まれても良い。識別装置５０は、例えば、バーコードリーダ、ＲＦＩＤリーダ、ＱＲ（登録商標）コードリーダなどである。
コンピュータ２０は、顕微鏡システム１全体を制御する。コンピュータ２０は、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、及び、識別装置５０に接続されている。コンピュータ２０は、主に投影装置１３３の制御に関連する構成要素として、図１に示すように、カメラ制御部２１、画像解析部２２、投影画像生成部２３、情報取得部２４、投影制御部２５、画像記録部２６、画像合成部２７、表示制御部２８を備えている。
カメラ制御部２１は、撮像素子１３１を制御することで、試料のデジタル画像データを取得する。カメラ制御部２１が取得したデジタル画像データは、画像解析部２２、画像記録部２６、及び画像合成部２７へ出力される。
画像解析部２２は、カメラ制御部２１が取得したデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、少なくとも１つの解析処理に応じた解析結果を投影画像生成部２３へ出力する。選択対象である複数の解析処理は、HE染色、IHC染色などの異なる複数の染色法を対象とする処理であっても良い。また、選択対象である複数の解析処理は、HER2、Ki-67、ER/PgRなどの異なる複数のバイオマーカーを対象とする処理であってもよい。また、選択対象である複数の解析処理は、染色法とバイオマーカーの異なる複数の組み合わせを対象とする処理であってもよい。
なお、画像解析部２２は、利用者による入力操作に基づいて少なくとも１つの解析処理を選択してもよい。より具体的には、画像解析部２２は、情報取得部２４が取得した利用者の操作情報に基づいて少なくとも１つの解析処理を選択してもよい。また、画像解析部２２は、識別装置５０が取得した識別情報に基づいて少なくとも１つの解析処理を選択してもよい。より具体的には、識別装置５０が取得した識別情報を情報取得部２４から取得し、その識別情報に含まれる解析方法に基づいて少なくとも１つの解析処理を選択してもよい。なお、操作情報と識別情報はいずれも解析処理を選択するための情報を含んでいる。このため、以降では、これらの情報を選択情報と総称する。
画像解析部２２が行う解析処理の内容は特に限定しない。画像解析部２２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する位置情報を含む解析結果を生成してもよい。より具体的には、画像解析部２２は、デジタル画像に写る細胞を染色強度に応じて分類し、細胞が分類されたクラス情報とその細胞の輪郭又はその細胞の核の輪郭を特定する位置情報とを含む解析結果を生成してもよい。また、画像解析部２２は、クラス情報と位置情報に加えて、各クラスの細胞数、全体に対する各クラスの細胞比率などの、少なくとも１つクラスに分類された構造物の統計情報を含む解析結果を生成しても良い。なお、少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物であることが望ましい。
投影画像生成部２３は、画像解析部２２から出力された解析結果と、情報取得部２４から取得した選択情報により特定される少なくとも１つの解析処理と、に基づいて、投影画像データを生成する。投影画像データが表現する投影画像は、解析結果を少なくとも１つの解析処理に応じた表示形式で表す画像である。投影画像生成部２３で生成された投影画像は、投影制御部２５、画像記録部２６、及び、画像合成部２７へ出力される。
表示形式には、少なくとも、画像の色が含まれる。従って、投影画像生成部２３は、少なくとも１つの解析処理に応じて、投影画像の色を決定する。また、表示形式には、画像の色に加えて、画像を構成する図形（例えば、線）の書式が含まれてもよい。従って、投影画像生成部２３は、少なくとも１つの解析処理に応じて、投影画像を構成する図形の書式を決定してもよい。なお、図形の書式には、図形を塗りつぶすか否か、図形の種類などが含まれる。例えば、図形が線の場合であれば、線種、線の太さなどが線の書式に含まれる。さらに、表示形式には、画像の色に加えて、画像の位置が含まれてもよい。従って、投影画像生成部２３は、少なくとも１つの解析処理に応じて、像面における投影画像と光学画像の位置関係を決定してもよく、投影画像の少なくともと一部を光学画像の領域外に投影するか否かを決定してもよい。
より具体的には、投影画像生成部２３は、投影画像の色が光学画像の色とは異なるように、投影画像データを生成する。染色法に応じて光学画像の色は異なるため、投影画像生成部２３は、選択された解析処理が対象とする染色法に応じて、投影画像の色を変更してもよい。例えば、HE染色法では光学画像が青紫色になるため、投影画像の色を青紫色とは異なる色にすることが望ましい。
また、バイオマーカーに応じて細胞内の染色箇所が異なるため、投影画像生成部２３は、選択された解析処理が対象とするバイオマーカーに応じて、投影画像を構成する図形の書式を変更してもよい。例えば、HER2タンパク質の過剰発現を解析する場合であれば、細胞膜が染色されるため、細胞の輪郭をなぞる中抜きの図形で投影画像を構成してもよい。また、ER/PgRの発現を解析する場合であれば、細胞の核が染色されるため、細胞の核を塗りつぶす図形で投影画像を構成してもよい。
さらに、HE染色法は細胞の形態観察にしばしば用いられる。細胞の形態について詳細に観察する場合には、投影画像により光学画像の観察が妨げられないことが望ましい。このため、投影画像生成部２３は、選択された解析処理が対象とする染色法に応じて、投影画像の位置を変更してもよい。例えば、HE染色法では、投影画像が補足的な文字情報を含んでいる場合には、その文字情報と光学画像の重なりが少なくなるように投影画像の位置を変更してもよい。
情報取得部２４は、コンピュータ２０外部の装置から情報を取得する。具体的には、情報取得部２４は、入力装置４０からの操作信号に基づいて利用者の操作情報を取得する。また、情報取得部２４は、識別装置５０から識別情報を取得する。
投影制御部２５は、投影装置１３３を制御することで、像面への投影画像の投影を制御する。投影制御部２５は、顕微鏡システム１の設定に応じて投影装置１３３を制御しても良い。具体的には、投影制御部２５は、顕微鏡システム１の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３３が像面へ投影画像を投影するように、投影装置１３３を制御しても良い。つまり、顕微鏡システム１は、投影画像を像面に投影するか否かを設定によって変更することができる。
画像記録部２６は、デジタル画像データと投影画像データを記録する。具体的には、画像記録部２６は、デジタル画像データとは異なる領域に投影画像データを、デジタル画像データと関連付けて記録する。これにより、互いに関連するデジタル画像データと投影画像データを、必要に応じて個別に読み出すことが可能となる。さらに、画像記録部２６は、試料に付加された識別情報を、識別装置５０及び情報取得部２４を経由して取得し、取得した識別情報をデジタル画像データと関連付けて記録しても良い。また、画像記録部２６は、利用者による記録指示の入力を検出したときに、デジタル画像データと投影画像データを記録してもよい。
画像合成部２７は、デジタル画像データと投影画像データに基づいて、デジタル画像と投影画像が合成された合成画像の画像データを生成し、表示制御部２８へ出力する。
表示制御部２８は、画像合成部２７から出力された合成画像データに基づいて、合成画像を表示装置３０に表示する。なお、表示制御部２８は、デジタル画像データに基づいてデジタル画像を単独で表示装置３０に表示してもよい。
なお、コンピュータ２０は、汎用装置であっても、専用装置であってもよい。コンピュータ２０は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、コンピュータ２０は、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ、入出力インタフェース２０ｄ、媒体駆動装置２０ｅ、通信制御装置２０ｆを備えてもよく、それらが互いにバス２０ｇによって接続されてもよい。
プロセッサ２０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ２０ａは、メモリ２０ｂ、補助記憶装置２０ｃ、記憶媒体２０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３３の制御に関連する構成要素（カメラ制御部２１、画像解析部２２、投影画像生成部２３等）を実現しても良い。また、プロセッサ２０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。
メモリ２０ｂは、プロセッサ２０ａのワーキングメモリである。メモリ２０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置２０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース２０ｄは、外部装置（顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、識別装置５０）と情報をやり取りする。
媒体駆動装置２０ｅは、メモリ２０ｂ及び補助記憶装置２０ｃに格納されているデータを記憶媒体２０ｈに出力することができ、また、記憶媒体２０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体２０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体２０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
通信制御装置２０ｆは、ネットワークへの情報の入出力を行う。通信制御装置２０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス２０ｇは、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ等を、相互にデータの授受可能に接続する。
以上のように構成された顕微鏡システム１は、図３に示す画像投影処理を行う。図３は、顕微鏡システム１が行う画像投影処理のフローチャートである。図４は、選択画面３１を例示した図である。以下、図３及び図４を参照しながら、顕微鏡システム１の画像投影方法について説明する。
まず、顕微鏡システム１は、試料の光学画像を像面に投影する（ステップＳ１）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面に集光し、試料の光学像を形成する。
さらに、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ２）。ここでは、対物レンズ１０２が取り込んだ試料からの光の一部を光偏向素子１３２が撮像素子１３１へ向けて偏向する。撮像素子１３１は、光偏向素子１３２で偏向された光に基づいて試料を撮像することでデジタル画像データを生成する。
その後、顕微鏡システム１は、予め準備されている複数の解析処理から選択された解析処理を特定する（ステップＳ３）。ここでは、利用者が、例えば、図４に示す選択画面３１上の各メニュー（メニュー３２、メニュー３３、メニュー３４、メニュー３５）を選択して、ボタン３６を押下する。画像解析部２２は、利用者によるこの入力操作に基づいて選択された解析処理を特定する。
解析処理が特定されると、顕微鏡システム１は、特定された解析処理を実行する（ステップＳ４）。ここでは、画像解析部２２は、ステップＳ２で取得したデジタル画像データに対して、ステップＳ３で選択された解析処理を行って、解析結果を得る。
顕微鏡システム１は、ステップＳ４で取得した解析結果とステップＳ３で特定された解析処理に基づいて投影画像データを生成する（ステップＳ５）。ここでは、投影画像生成部２３がステップＳ４で取得した解析結果をステップＳ３で特定された解析処理に応じた表示形式で表示する投影画像を表す投影画像データを生成する。
最後に、顕微鏡システム１は、投影画像を像面に投影する（ステップＳ６）。投影制御部２５が投影画像データに基づいて投影装置１３３を制御することで、投影装置１３３が投影画像を像面に投影する。これにより、試料の光学画像上に投影画像が重畳される。
顕微鏡システム１では、コンピュータによる画像解析結果が光学画像上に表示される。これにより、病理医は、試料の光学画像に基づく病理診断中に、接眼レンズから目を離すことなく診断を補助する種々の情報を得ることができる。また、画像解析部２２では複数の解析処理から選択された解析処理が行われるため、顕微鏡システム１は、様々な種類の診断に対応することが可能である。さらに、投影装置１３３が投影する投影画像は解析処理に応じた表示形式を有している。このため、顕微鏡システム１は、病理医に病理診断を補助する種々の情報を視認しやすい表示形式で提供することができる。従って、顕微鏡システム１によれば、光学画像に基づく病理診断を補助することが可能であり、病理医の作業負担を軽減することができる。
さらに、顕微鏡システム１では、光学画像上に付加情報（投影画像）を表示することで、病理診断を補助する。このため、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら病理医の負担軽減を図ることができる。また、ＷＳＩシステムで病理診断を行うためには、事前にＷＳＩ（Whole Slide Image）を作成する必要があるが、顕微鏡システム１では、事前準備が不要であり、即座に診断作業を開始することができる。
図５から図１０は、顕微鏡システム１の接眼レンズ１０４から見える画像を例示した図である。以下、図５から図１０を参照しながら、図３に示す画像投影処理を実行する顕微鏡システム１を用いた観察の様子を具体的に説明する。
まず、図５から図７を参照しながら、図４に示す選択画面３１において、“細胞診断”、“乳がん”、“ＩＨＣ染色”、“ＥＲ／ＰｇＲ”が選択された場合について、説明する。
顕微鏡システム１を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は、図５に示す画像Ｖ１を観察することができる。画像Ｖ１は、像面に形成された実視野に対応する光学画像Ｍ１である。画像Ｖ１には、癌細胞の染色された核が写っている。画像Ｖ１が投影された領域Ｒ１の周囲には暗い領域Ｒ２が存在する。領域Ｒ２は、接眼レンズ１０４から観察可能な像面上の領域のうちの対物レンズ１０２からの光が通過しない領域である。このとき、表示装置３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ１に対応する画像が表示されてもよい。
その後、コンピュータ２０は、デジタル画像データを解析する。解析により細胞の核が特定され、その染色強度に応じてクラス分けされる。例えば、染色されていない核は陰性を示すクラス０に分類される。また、弱く染色された核は弱陽性を示すクラス１＋に分類される。また、中程度に染色された核は中等度陽性を示すクラス２＋に分類される。また、強く染色された核は強陽性を示すクラス３＋に分類される。
コンピュータ２０は、解析結果に基づいて投影画像データを生成し、投影装置１３３は、投影画像データが表す投影画像を像面に投影する。投影画像データが表す投影画像は、分類された細胞の核の位置を表す図形からなる位置画像を含み、その図形はクラス毎に異なる色を有している。
投影装置１３３が投影画像を投影すると、病理医は、図６に示す画像Ｖ２を観察することができる。画像Ｖ２は、光学画像Ｍ１に位置画像Ｐ１を含む投影画像が重畳された画像である。このとき、表示装置３０には、画像Ｖ２に対応する画像が表示されてもよい。図６に示す画像Ｖ２では、図５に示す画像Ｖ１（光学画像Ｍ１）よりも、各細胞の染色状態を容易に判別することが可能である。このため、病理診断で用いられるJ-scoreなどの所定のスコアリング法によるスコアの算出が容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によって補助されるため、病理医の負担を軽減することができる。
また、投影画像データが表す投影画像は、位置画像Ｐ１に加えて、分類された細胞の統計情報からなる統計画像Ｔ１を含んでも良い。この場合、病理医は、図７に示す画像Ｖ３を観察することができる。画像Ｖ３は、光学画像Ｍ１に位置画像Ｐ１と統計画像Ｔ１を含む投影画像が重畳された画像である。このとき、表示装置３０には、画像Ｖ３に対応する画像が表示されてもよい。図７に示す画像Ｖ３では、統計画像Ｔ１によってスコアの算出が更に容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によってより良く補助されるため、病理医の負担をさらに軽減することができる。
また、染色強度の度合いを示す０、１＋、２＋、３＋の各スコアリング判定の閾値は、個別の病理医、病院施設の指針、あるいは各国の診断基準によって異なることがある。これを踏まえて、光学画像Ｍ１と、位置画像Ｐ１、及び、統計画像Ｔ１を見比べ、解析結果に基づく統計画像Ｔ１に疑義を生じた場合には、観察者は入力装置を用いて解析処理に用いられた閾値を変更してもよい。変更された閾値に基づいて新たな解析処理が実施され、その結果がリアルタイムに反映された新しい統計画像Ｔ１´を利用者が確認することで、適切な閾値を設定する作業がより良く補助される。このため、病理医の負担をさらに軽減することができる。
次に、図８から図１０を参照しながら、図４に示す選択画面３１において、“細胞診断”、“乳がん”、“ＩＨＣ染色”、“ＨＥＲ２”が選択された場合について、説明する。
顕微鏡システム１を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は、図８に示す画像Ｖ４を観察することができる。画像Ｖ４は、像面に形成された実視野に対応する光学画像Ｍ２である。画像Ｖ４には、癌細胞の染色された細胞膜が写っている。このとき、表示装置３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ４に対応する画像が表示されてもよい。
その後、コンピュータ２０は、デジタル画像データを解析する。解析により細胞膜が特定され、その染色強度と染色パターンに応じてクラス分けされる。例えば、膜が全く染色されていない細胞は陰性を示すクラス０に分類される。また、膜が部分的又は弱く染色された細胞は弱陽性を示すクラス１＋に分類される。また、膜が中程度で且つ全体的に染色された核は中等度陽性を示すクラス２＋に分類される。また、膜が強く且つ全体的に染色された細胞は強陽性を示すクラス３＋に分類される。
コンピュータ２０は、解析結果に基づいて投影画像データを生成し、投影装置１３３は、投影画像データが表す投影画像を像面に投影する。投影画像データが表す投影画像は、分類された細胞の位置を表す図形からなる位置画像Ｐ２を含み、その図形はクラス毎に異なる書式（線種）を有している。
投影装置１３３が投影画像を投影すると、病理医は、図９に示す画像Ｖ５を観察することができる。画像Ｖ５は、光学画像Ｍ２に位置画像Ｐ２を含む投影画像が重畳された画像である。このとき、表示装置３０には、画像Ｖ５に対応する画像が表示されてもよい。図９に示す画像Ｖ５では、図８に示す画像Ｖ４（光学画像Ｍ２）よりも、細胞膜の染色状態を容易に判別することが可能である。このため、病理診断で用いられる所定のスコアリング法によるスコアの算出が容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によって補助されるため、病理医の負担を軽減することができる。
また、投影画像データが表す投影画像は、位置画像Ｐ２に加えて、分類された細胞の統計情報からなる統計画像Ｔ２を含んでも良い。この場合、病理医は、図１０に示す画像Ｖ６を観察することができる。画像Ｖ６は、光学画像Ｍ２に位置画像Ｐ２と統計画像Ｔ２とを含む投影画像が重畳された画像である。なお、この例では、統計画像Ｔ２は、対物レンズ１０２からの光束が通過する領域Ｒ１の外側に投影されている。このとき、表示装置３０には、画像Ｖ６に対応する画像が表示されてもよい。図１０に示す画像Ｖ６では、統計画像Ｔ２によってスコアの算出が更に容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によってより良く補助されるため、病理医の負担をさらに軽減することができる。
図５から図１０の例では、画像を構成する図形の書式（塗りつぶしの有無、線種）が異なることによって表示形式が互いに異なる投影画像を例示したが、投影画像は、解析処理に応じて画像の色を異ならせても良い。
また、顕微鏡システム１の画像解析部２２は、複数の所定のアルゴリズムを用いて複数の解析処理を行ってもよく、複数の訓練済みのニューラルネットワークを用いて複数の解析処理を行ってもよい。
複数の訓練済みのニューラルネットワークの各々のパラメータは、顕微鏡システム１とは異なる装置において、それぞれのニューラルネットワークを訓練することで生成されても良く、コンピュータ２０は生成されたパラメータをダウンロードして画像解析部２２に適用しても良い。また、コンピュータ２０は、新たなニューラルネットワークに関してそのニューラルネットワークのパラメータをダウンロードすることで、画像解析部２２で選択可能な解析処理を随時追加してもよい。
なお、図１１は、ニューラルネットワークＮＮの構成を示した図である。ニューラルネットワークＮＮは、入力層と複数の中間層と出力層を有している。入力データＤ１を入力層に入力することで出力層から出力される出力データＤ２を正解データＤ３と比較する。そして、誤差逆伝播法によって学習することで、ニューラルネットワークＮＮのパラメータを更新する。なお、入力データＤ１と正解データＤ３のセットが教師あり学習の訓練データである。
［第２実施形態］
図１２は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡２００を備える点が、顕微鏡システム１とは異なっている。顕微鏡２００は、顕微鏡本体１１０と鏡筒１２０の間に投影ユニット１４０を備えている。
投影ユニット１４０は、対物レンズ１０２と結像レンズ１０３と接眼レンズ１０４を備える顕微鏡用の投影ユニットであり、中間鏡筒１３０を含んでいる。即ち、投影ユニット１４０は、試料からの光に基づいて試料のデジタル画像データを取得する撮像装置の一例である撮像素子１３１と、光学画像が形成される像面へ投影画像を投影する投影装置１３３を備えている。
投影ユニット１４０は、さらに、画像解析部１４２と、投影画像生成部１４３を備えている。投影ユニット１４０は、カメラ制御部１４１と、情報取得部１４４と、投影制御部１４５を備えてもよい。
カメラ制御部１４１、画像解析部１４２、投影画像生成部１４３、投影制御部１４５は、それぞれカメラ制御部２１、画像解析部２２、投影画像生成部２３、投影制御部２５と同様である。このため、詳細な説明は省略する。
情報取得部１４４は、コンピュータ２０を経由して取得した入力装置４０からの操作信号に基づいて利用者の操作情報を取得する。また、情報取得部１４４は、コンピュータ２０を経由して識別装置５０から識別情報を取得する。
本実施形態では、投影ユニット１４０を既存の顕微鏡に取り付けるだけで、顕微鏡システム１と同様の効果を得ることが可能である。従って、投影ユニット１４０及び顕微鏡システム２によれば、既存の顕微鏡システムを容易に拡張して、病理医による光学画像に基づく病理診断を補助することができる。
［第３実施形態］
図１３は、本実施形態に係る顕微鏡システム３に含まれるコンピュータ６０の構成を示した図である。なお、顕微鏡システム３は、コンピュータ２０の代わりにコンピュータ６０を含む点を除き、顕微鏡システム１と同様である。
コンピュータ６０は、顕微鏡システム３全体を制御する。コンピュータ６０は、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、及び、識別装置５０に接続されている点は、コンピュータ２０と同様である。
コンピュータ６０は、主に投影装置１３３の制御に関連する構成要素として、カメラ制御部６１、投影画像生成部６３、情報取得部６４、投影制御部６５、画像記録部６６、画像合成部６７、表示制御部６８を備えている。
なお、カメラ制御部６１、情報取得部６４、投影制御部６５、画像記録部６６、画像合成部６７、表示制御部６８は、それぞれ、コンピュータ２０に含まれるカメラ制御部２１、情報取得部２４、投影制御部２５、画像記録部２６、画像合成部２７、表示制御部２８に相当する。
コンピュータ６０は、画像解析部２２に対応する構成を含まない点がコンピュータ２０と大きく異なっている。また、投影画像生成部６３が投影画像生成部２３とは異なる処理を行う点も２０とは異なっている。
投影画像生成部６３は、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する。なお、診断プロトコルとは、診断開始から終了に至るまでの手順、判定基準などを含む一連の取決めのことである。投影画像データが表現する投影画像は、選択された診断プロトコルに応じた画像である。投影画像生成部６３で生成された投影画像は、投影制御部６５、画像記録部６６、及び、画像合成部６７へ出力される。
なお、投影画像生成部６３での診断プロトコルの選択方法は、顕微鏡システム１の画像解析部２２での解析処理の選択方法と同様である。つまり、投影画像生成部６３は、利用者による入力操作に基づいて診断プロトコルを選択してもよく、識別装置５０が取得した識別情報に基づいて診断プロトコルを選択してもよい。
投影画像は、選択された診断プロトコルの診断手順の案内を含むことが望ましく、投影画像生成部２３は、診断手順の案内の色を、選択された診断プロトコルに応じて決定してもよい。これにより、病理医は接眼レンズ１０４から目を離すことなく診断手順を参照することができるため、診断手順を誤ることなく効率的に診断を進めることができる。
また、投影画像は、選択された診断プロトコルにおける判定基準を示す参考画像を含んでもよい。これにより、病理医は光学画像と参考画像を同時に確認することができるため、診断時間の短縮、診断精度の向上などが期待できる。
投影画像生成部６３は、選択された診断プロトコルに応じて、像面における投影画像と光学画像の位置関係を決定してもよく、投影画像の少なくとも一部を光学画像の領域外に投影するか否かを決定してもよい。
また、投影画像生成部６３は、顕微鏡システム３の設定が選択された診断プロトコルの要求を満さないときに、投影画像が警告表示を含むように、投影画像データを生成してもよい。これにより、病理医は、正しい環境下で診断における種々の判断を行うことが可能となるため、診断精度の向上が期待できる。
なお、投影制御部６５は、顕微鏡システム３の設定に応じて投影装置１３３を制御しても良い。具体的には、投影制御部６５は、顕微鏡システム３の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム３が所定の設定のときに、投影装置１３３が像面へ投影画像を投影するように、投影装置１３３を制御しても良い。つまり、顕微鏡システム３は、投影画像を像面に投影するか否かを設定によって変更することができる。
また、診断プロトコルによっては、がん細胞などの構造物の面積、位置、構造物間の距離を測定する手順が含まれる。その場合、投影画像生成部６３が、顕微鏡の測長機能を用いて測定した測定結果を含むように投影画像データを生成し、投影制御部６５が、測定結果を含む投影画像を像面に投影してもよい。
以上のように構成された顕微鏡システム３は、図１４に示す画像投影処理を行う。図１４は、顕微鏡システム３が行う画像投影処理のフローチャートである。以下、図１４を参照しながら、顕微鏡システム３の画像投影方法について説明する。
まず、顕微鏡システム３は、試料の光学画像を像面に投影する（ステップＳ１１）。この処理は、図３に示すステップＳ１と同様である。
次に、顕微鏡システム３は、予め準備されている複数の診断プロトコルから選択された診断プロトコルを特定する（ステップＳ１２）。ここでは、利用者が、例えば、選択画面上で診断プロトコルを選択し、投影画像生成部６３が、利用者によるこの入力操作に基づいて選択された診断プロトコルを特定する。
診断プロトコルが特定されると、顕微鏡システム３は、特定された診断プロトコルに基づいて投影画像データを生成する（ステップＳ１３）。ここでは、投影画像生成部６３がステップＳ１２で特定された診断プロトコルに応じた投影画像を表す投影画像データを生成する。
最後に、顕微鏡システム３は、投影画像を像面に投影する（ステップＳ１４）。投影制御部６５が投影画像データに基づいて投影装置１３３を制御することで、投影装置１３３が投影画像を像面に投影する。これにより、試料の光学画像上に投影画像が重畳される。
顕微鏡システム３では、診断プロトコルに応じた投影画像が光学画像上に表示される。これにより、病理医は、試料の光学画像に基づく病理診断中に、接眼レンズから目を離すことなく診断手順、判定基準など、診断を補助する種々の情報を得ることができる。また、投影画像生成部６３では複数の診断プロトコルから選択された診断プロトコルに応じた投影画像データが生成されるため、顕微鏡システム３は、様々な種類の診断プロトコルに対応することが可能である。従って、顕微鏡システム３によれば、光学画像に基づく病理診断を補助することが可能であり、病理医の作業負担を軽減することができる。
また、顕微鏡システム３は、大幅な機器コストの上昇を回避しながら病理医の負担軽減を図ることができる点、ＷＳＩシステムとは異なり事前準備が不要であり、即座に診断作業を開始することができる点については、顕微鏡システム１と同様である。
図１５から図１８は、顕微鏡システム３の接眼レンズ１０４から見える画像を例示した図である。以下、図１５から図１８を参照しながら、図１４に示す画像投影処理を実行する顕微鏡システム３を用いた観察の様子を具体的に説明する。なお、ここでは、ＩＨＣ染色でＨＥＲ２タンパク質の過剰発現を判定する診断プロトコル（以降、ＩＨＣ－ＨＥＲ２診断プロトコルと記す。）を例に説明する。
顕微鏡システム３を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は、図１５に示す画像Ｖ７を観察することができる。画像Ｖ７は、光学画像Ｍ２に案内画像Ｇ１を含む投影画像が重畳された画像である。光学画像Ｍ２は、例えば、４倍の対物レンズ１０２を用いて取得した画像であり、癌細胞の染色された細胞膜が写っている。案内画像Ｇ１は、ＩＨＣ－ＨＥＲ２診断プロトコルの診断手順を案内する画像である。ＩＨＣ－ＨＥＲ２診断プロトコルでは、４倍の対物レンズを使用して陽性のＨＥＲ２タンパク質染色像、染色の強度、陽性細胞の割合を観察する手順が定められており、案内画像Ｇ１はこの手順を案内している。
顕微鏡システム３では、画像Ｖ７の代わりに、画像Ｖ８が像面に投影されても良い。画像Ｖ８は、光学画像Ｍ２に案内画像Ｇ１と対比画像Ｃ１とを含む投影画像が重畳された画像である。対比画像Ｃ１には、ＩＨＣ－ＨＥＲ２診断プロトコルにおける判定基準を示す複数の参考画像が含まれている。より具体的には、スコア０、スコア１＋、スコア２＋、スコア３＋に判定されるべき画像を例示した４つの参考画像が含まれている。病理医は、陽性細胞の割合を判断するときに、対比画像Ｃ１を参考にすることができる。
その後、画像Ｖ９が像面に投影される。画像Ｖ９は、光学画像Ｍ２に案内画像Ｇ２を含む投影画像が重畳された画像である。案内画像Ｇ２は、ＩＨＣ－ＨＥＲ２診断プロトコルの診断手順を案内する画像である。ＩＨＣ－ＨＥＲ２診断プロトコルでは、４倍の対物レンズを用いた観察の後に、１０倍の対物レンズを用いた観察を行うことが定められており、案内画像Ｇ２はこの手順を案内している。
画像Ｖ９が投影されてから４倍の対物レンズ１０２から１０倍の対物レンズ１０２ａへの切り替えが検出されない場合には、画像Ｖ１０が像面に投影される。画像Ｖ１０は、光学画像Ｍ２に案内画像Ｇ３を含む投影画像が重畳された画像である。案内画像Ｇ３は、診断プロトコルに従って診断が行われていないことを病理医に警告する警告表示である。病理医は警告表示により手順の誤りを認識することができるため、顕微鏡システム３によれば、誤った手順で診断を継続されることが回避することができる。
［第４実施形態］
図１９は、本実施形態に係る顕微鏡システム４と外部閲覧システム３００とを含む診断補助システムの構成を示した図である。顕微鏡システム４は、コンピュータ２０の代わりにコンピュータ７０を備えている点が顕微鏡システム１とは異なっている。
顕微鏡システム４は、インターネット４００を経由して１つ以上の外部閲覧システム３００と接続されている。外部閲覧システム３００は、少なくとも通信制御部３１１を備えるコンピュータ３１０と、入力装置３２０と、表示装置３３０を備えるシステムである。
なお、インターネット４００は、通信ネットワークの一例である。顕微鏡システム３と外部閲覧システム３００は、例えば、ＶＰＮ（Virtual Private Network）、専用線などを経由して接続されていてもよい。
コンピュータ７０は、通信制御部２９を含む点がコンピュータ２０とは異なっている。通信制御部２９は、外部閲覧システム３００とデータをやり取りする。
通信制御部２９は、例えば、画像データを外部閲覧システム３００へ送信する。通信制御部２９が送信する画像データは、例えば、画像合成部２７で生成された合成画像データであってもよい。デジタル画像データと投影画像データを個別に送信してもよい。また、デジタル画像データだけを送信してもよい。外部閲覧システム３００は、画像データを受信したコンピュータ３１０が画像データに基づいて表示装置３３０に画像を表示する。コンピュータ３１０は、例えば、デジタル画像データと投影画像データに基づいて合成画像データを生成してもよく、合成画像データに基づいて合成画像を表示装置３３０に表示してもよい。
通信制御部２９は、例えば、外部閲覧システム３００の利用者が入力した操作情報を受信する。画像解析部２２は、通信制御部２９が受信した操作情報に基づいて解析処理を選択してもよい。顕微鏡システム４は、投影装置１３３を用いて外部閲覧システム３００の利用者による入力操作に基づく投影画像を像面に投影しても良い。
顕微鏡システム４は、ネットワーク経由で接続された外部閲覧システム３００とやり取りすることができる。このため、異なるロケーションにいる利用者間でコミュニケーションを取りながら、病理診断を行うことが可能となる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
図１２では、複数の解析処理から選択された解析処理を行う画像解析部１４２を含む投影ユニット１４０を例示している。しかしながら、投影ユニットは、複数の診断プロトコルから選択した診断プロトコルに基づいて投影画像データを生成する投影画像生成部を含んでもよい。
また、図１９では、顕微鏡システム１に外部閲覧システム３００との通信機能を追加した顕微鏡システム４を例示している。しかしながら、顕微鏡システム２に外部閲覧システム３００との通信機能を追加することで、新たな顕微鏡システムを構成してもよい。
また、図１では、投影画像生成部２３が選択された解析処理の解析結果とその解析処理に基づいて投影画像データを生成する例を示している。しかしながら、投影画像生成部２３は、選択された解析処理の解析結果とその解析処理に基づいて第１投影画像データを生成し、選択された診断プロトコルに基づいて第２投影画像データを生成しても良い。その上で、第１投影画像データが表す第１投影画像と第２投影画像データが表す第２投影画像を投影装置１３３が光学画像上に投影してもよい。
また、図５から図１０では、乳がんの病理診断の例を示したが、顕微鏡システム１は、子宮頸がんなどの他のがんの病理診断にも使用される。例えば、子宮頸がんの病理診断に適用される場合であれば、ベセスダシステムに基づいて分類し、ＮＩＬＭ、ＬＳＩＬ、ＨＳＩＬ、ＳＣＣ、ＡＳＣなどの分類結果を投影画像で表示してもよい。また、ゲノム診断においては、腫瘍細胞数、全細胞数、及び、それらの割合などを投影画像で表示してもよい。
解析処理に応じて投影画像の表示形式を変更する例を示したが、顕微鏡システム１は、照明光学系又は観察光学系の設定変更に応じて表示形式を変更してもよい。
顕微鏡システム１は、画像解析部２２を顕微鏡システム１のコンピュータ２０に備える例を示したが、画像解析部２２は、顕微鏡システム１内のコンピュータ２０と顕微鏡システム１外の遠隔モジュールとによって実現されても良い。遠隔モジュールは、例えば、クラウド上に置かれたサーバなどである。コンピュータ２０は、遠隔モジュールから最新のプログラムをダウンロードして解析プログラムを更新することで、新たな解析処理に対応してもよい。また、コンピュータ２０は、遠隔モジュールから最新のプログラムをダウンロードすることで、新たな診断プロトコルに対応してもよい。
また、顕微鏡システム１に含まれる顕微鏡は、例えば、図２０に示す顕微鏡５００であってもよい。上述した実施形態では、中間鏡筒１３０に撮像素子１３１を備える構成を例示したが、画像解析に用いるデジタル画像データを取得する撮像素子１５１は、図１２に示すように、三眼鏡筒である鏡筒１２０ａに取り付けられたデジタルカメラ１５０に設けられていてもよい。ただし、この場合、中間鏡筒１３０ａに含まれる投影装置１３３から出射した光が撮像素子１５１へ入射することになる。このため、投影装置１３３の発光期間と撮像素子１５１の露光期間が重ならないように、デジタルカメラ１５０を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。
また、顕微鏡５００を含む顕微鏡システムは、人工授精などで行われる精子選別など、動いている対象物の診断に使用されてもよい。精子選別では、精子の形状など静止画に基づいて判断できる情報（以降、形状情報と記す。）と、精子の動きの直進性及びスピードなど動画又は複数枚の静止画に基づいて判断できる情報（以降、動き情報と記す。）と、によって精子の良否が判断される。このため、精子選別作業を補助するための解析処理では、投影画像に反映させるために、精子の動き情報を出力してもよく、さらに、精子の形状情報と精子の動き情報とを用いて、利用者が選択すべき精子の候補を特定してもよい。
より具体的には、まず、利用者が選別対象となる精子の観察を開始すると、画像解析部２２は、異なる時刻に取得された複数のデジタル画像データを解析して、精子の移動の軌跡を算出する。その後、投影画像生成部２３が解析結果に基づいて投影画像データを生成し、投影装置１３３が軌跡表示ＭＴを含む投影画像を像面に投影する。なお、軌跡表示ＭＴとは、各精子の現在位置に至るまでの移動の軌跡を示す表示である。また、軌跡表示ＭＴは、予め決められた時間（例えば、３秒）だけ遡った時刻から現在時刻までの間の移動の軌跡を示していても良い。
これにより、利用者は、まず、図２１に示す光学画像Ｍ３を含む画像Ｖ１１を観察し、画像解析部２２による解析処理が終了すると、図２２に示す光学画像Ｍ４と補助画像Ａ１とを含む画像Ｖ１２を観察することができる。補助画像Ａ１には、各精子の軌跡表示ＭＴが含まれているため、画像Ｖ１２を観察した利用者は、精子の形状的特徴に加えて、精子の動きの特徴についてもひと目で把握することができる。従って、利用者による精子の良否判定が容易になり、選別作業の負担が軽減される。
さらに、画像解析部２２は、光学画像Ｍ４上に補助画像Ａ１が重畳した重畳画像のデジタル画像データを解析することで、利用者が選択すべき精子の候補を特定する。その後、投影画像生成部２３が特定された精子の位置情報を含む解析結果に基づいて投影画像データを生成し、投影装置１３３が注目領域表示ＲＯＩを含む投影画像を像面に投影する。なお、注目領域表示ＲＯＩは、利用者に画像解析部２２が特定した精子に対する注目を促すための表示であり、例えば、精子の周囲を取り囲む矩形や円形の図形である。また、図形の色の違いによってその精子が良質な精子である確からしさを表示するものであってもよい。
これにより、利用者は、図２３に示す光学画像Ｍ４と補助画像Ａ２を含む画像Ｖ１３を観察することができる。補助画像Ａ２には、軌跡表示ＭＴに加えて注目領域表示ＲＯＩが含まれている。このため、利用者は、画像Ｖ１２の場合と同様に、精子の形状的特徴に加えて、精子の動きの特徴についてもひと目で把握することができる。また、利用者は、注目領域表示ＲＯＩで特定される精子を優先的に観察することで早期に良質な精子を選択することができる。従って、選別作業の負担がさらに軽減される。
また、顕微鏡システム１に含まれる顕微鏡は、例えば、図２２に示す顕微鏡６００であってもよい。顕微鏡６００は、中間鏡筒１３０の代わりに、透過型の液晶デバイスを用いた投影装置１３５を含む中間鏡筒１３０ｂを備えている。上述した実施形態では、投影装置１３３から出射した光を対物レンズ１０２と接眼レンズ１０４の間の光路上に配置された光偏向素子１３４で偏向することで、投影画像を像面に投影する構成を例示したが、図２２に示すように、投影装置１３５を対物レンズ１０２と接眼レンズ１０４の間の光路上に配置してもよい。
また、上述した実施形態では、光検出器として撮像素子を含む例を示したが、光検出器は撮像素子に限らない。例えば、走査型顕微鏡に上述した技術を提供してもよく、その場合、光検出器は、光電子増倍管（ＰＭＴ）などであってもよい。
さらに、上述した顕微鏡システムは、選択された解析処理に応じて光学画像と投影画像の少なくとも一方の明るさを調整してもよく、選択された診断プロトコルに応じて光学画像と投影画像の少なくとも一方の明るさを調整してもよい。明るさの調整は、光源の光量を制御することにより行われてもよく、また、可変ＮＤフィルタなどによる透過光量を制御することによって行われてもよい。
また、上述した実施形態では、入力装置４０として、キーボード、マウス、ジョイスティック、タッチパネルなどを例示したが、入力装置４０は、音声入力を受け付ける装置、例えば、マイクなどあってもよい。その場合、コンピュータ２０は、入力装置４０から入力された音声指示を認識する機能を備えてもよく、例えば、コンピュータ２０に含まれる情報取得部２４が音声認識技術により音声データを操作情報へ変換し、投影画像生成部２３へ出力しても良い。
１、２、３、４ 顕微鏡システム
１０ 顕微鏡コントローラ
２０、６０、７０、３１０ コンピュータ
２０ａ プロセッサ
２０ｂ メモリ
２０ｃ 補助記憶装置
２０ｄ 入出力インタフェース
２０ｅ 媒体駆動装置
２０ｆ 通信制御装置
２０ｇ バス
２０ｈ 記憶媒体
２１、６１、１４１ カメラ制御部
２２、１４２ 画像解析部
２３、６３、１４３ 投影画像生成部
２４、６４、１４４ 情報取得部
２５、６５、１４５ 影制御部
２６、６６ 画像記録部
２７、６７ 画像合成部
２８、６８ 表示制御部
２９、３１１ 通信制御部
３０、３３０ 表示装置
３１ 選択画面
３２、３３、３４、３５ メニュー
３６ ボタン
４０、３２０ 入力装置
５０ 識別装置
１００、２００、５００、６００ 顕微鏡
１０１ ステージ
１０２、１０２ａ 対物レンズ
１０３ 結像レンズ
１０４ 接眼レンズ
１１０ 顕微鏡本体
１１１ ターレット
１２０、１２０ａ 鏡筒
１３０、１３０ａ、１３０ｂ 中間鏡筒
１３１、１５１ 撮像素子
１３２、１３４ 光偏向素子
１３３、１３５ 投影装置
１４０ 投影ユニット
１５０ デジタルカメラ
３００ 外部閲覧システム
４００ インターネット
Ａ１、Ａ２ 補助画像
Ｃ１ 対比画像
Ｄ１ 入力データ
Ｄ２ 出力データ
Ｄ３ 正解データ
Ｇ１、Ｇ２、Ｇ３ 案内画像
Ｍ１、Ｍ２、Ｍ３、Ｍ４ 光学画像
ＭＴ 軌跡表示
ＮＮ ニューラルネットワーク
Ｐ１、Ｐ２ 位置画像
Ｒ１、Ｒ２ 領域
ＲＯＩ 注目領域表示
Ｔ１、Ｔ２ 統計画像
Ｖ１～Ｖ１３ 画像

Claims (16)

  1. 試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
    前記光学画像に基づき、前記試料のデジタル画像データを生成する撮像素子と、
    コンピュータであって、前記コンピュータは、
    前記撮像素子から、前記試料のデジタル画像データを取得し、
    予め準備された複数の解析処理から、利用者の入力操作に基づく操作情報または前記試料に付加された識別情報を含む選択情報に基づいて少なくとも１つの前記解析処理を特定し、前記複数の解析処理は、複数の染色法および/またはバイオマーカーを対象としたそれぞれ異なる処理であり、
    前記試料のデジタル画像データに対して前記複数の解析処理から特定された少なくとも１つの解析処理を行い、
    前記特定された少なくとも１つの解析処理に応じた解析結果を出力し、
    前記解析結果と、前記特定された少なくとも１つの解析処理とに基づいて投影画像データを生成し、前記投影画像データが表現する投影画像は、前記解析結果を前記特定された少なくとも１つの解析処理に応じて決定された表示形式で表す画像である、前記コンピュータと、
    前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を含む
    顕微鏡システム。
  2. 請求項１に記載の顕微鏡システムにおいて、
    前記表示形式は、画像の色を含み、
    前記コンピュータは、前記少なくとも１つの解析処理に応じて、前記投影画像の色を決定する
    ことを特徴とする顕微鏡システム。
  3. 請求項２に記載の顕微鏡システムにおいて、
    前記表示形式は、さらに、画像を構成する図形の書式を含み、
    前記コンピュータは、前記少なくとも１つの解析処理に応じて、前記投影画像を構成する図形の書式を決定する
    ことを特徴とする顕微鏡システム。
  4. 請求項２又は請求項３に記載の顕微鏡システムにおいて、
    前記表示形式は、さらに、画像の位置を含み、
    前記コンピュータは、前記少なくとも１つの解析処理に応じて、前記像面における前記投影画像と前記光学画像の位置関係を決定する
    ことを特徴とする顕微鏡システム。
  5. 請求項４に記載の顕微鏡システムにおいて、
    前記コンピュータは、前記少なくとも１つの解析処理に応じて、前記投影画像の少なくとも一部を前記光学画像の領域外に投影するか否かを決定する
    ことを特徴とする顕微鏡システム。
  6. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、
    前記顕微鏡システムは、前記少なくとも１つの解析処理に応じて、前記光学画像と前記投影画像の少なくとも一方の明るさを調整する
    ことを特徴とする顕微鏡システム。
  7. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    前記コンピュータは、
    前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、
    前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する位置情報を生成し、
    前記位置情報を含む前記解析結果を出力し、
    前記投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む
    ことを特徴とする顕微鏡システム。
  8. 請求項７に記載の顕微鏡システムにおいて、
    前記コンピュータは、
    前記少なくとも一つのクラスに分類された構造物の統計情報を生成し、
    前記位置情報と前記統計情報とを含む前記解析結果を出力し、
    前記投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形と、前記統計情報を含む
    ことを特徴とする顕微鏡システム。
  9. 請求項７または請求項８に記載の顕微鏡システムにおいて、
    前記少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物である
    ことを特徴とする顕微鏡システム。
  10. 請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、
    前記コンピュータは、
    前記顕微鏡システムの設定に応じて、前記像面へ前記投影画像を投影するか否かを決定し、
    前記顕微鏡システムが所定の設定のときに、前記投影装置が前記像面へ前記投影画像を投影するように、前記投影装置を制御する
    ことを特徴とする顕微鏡システム。
  11. 請求項１乃至請求項１０のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    利用者の入力操作に応じた操作信号を出力する入力装置を備え、
    前記コンピュータは、前記入力装置から出力された操作信号に従って、前記少なくとも１つの解析処理に用いる閾値の一部を変更する
    ことを特徴とする顕微鏡システム。
  12. 請求項１１に記載の顕微鏡システムにおいて、
    前記コンピュータは、さらに、複数の診断プロトコルから選択された診断プロトコルに基づいて第２投影画像データを生成し、前記第２投影画像データが表現する第２投影画像は、選択された前記診断プロトコルに応じた画像である
    ことを特徴とする顕微鏡システム。
  13. 請求項１２に記載の顕微鏡システムにおいて、
    前記投影画像は、前記選択された診断プロトコルの診断手順の案内を含む
    ことを特徴とする顕微鏡システム。
  14. 請求項２に記載の顕微鏡システムにおいて、
    前記投影画像は、前記光学画像と異なる色で投影される
    ことを特徴とする顕微鏡システム。
  15. 光学画像が形成されている像面に投影画像を投影する投影装置を有する顕微鏡用の投影画像生成プログラムであって、
    コンピュータに、
    撮像素子から試料のデジタル画像データを取得し、
    予め準備された複数の解析処理から、利用者の入力操作に基づく操作情報または前記試料に付加された識別情報を含む選択情報に基づいて少なくとも１つの前記解析処理を特定し、前記複数の解析処理は、複数の染色法および/またはバイオマーカーを対象としたそれぞれ異なる内容の処理であり、
    前記試料のデジタル画像データに対して複数の解析処理から特定された少なくとも１つの解析処理を行い、
    前記特定された少なくとも１つの解析処理に応じた解析結果を出力し、
    前記解析結果と、前記特定された少なくとも１つの解析処理とに基づいて前記投影画像を表現する投影画像データを生成し、前記投影画像データは、前記解析結果を前記特定された少なくとも１つの解析処理に応じて決定された表示形式で示す、
    処理を実行させるプログラム。
  16. 光学画像が形成されている像面に投影画像を投影する投影装置を有する顕微鏡用の投影画像生成方法であって、
    コンピュータが、
    撮像素子から試料のデジタル画像データを取得し、
    予め準備された複数の解析処理から、利用者の入力操作に基づく操作情報または前記試料に付加された識別情報を含む選択情報に基づいて少なくとも１つの前記解析処理を特定し、前記複数の解析処理は、複数の染色法および/またはバイオマーカーを対象としたそれぞれ異なる内容の処理であり、
    前記試料のデジタル画像データに対して複数の解析処理から特定された少なくとも１つの解析処理を行い、
    前記特定された少なくとも１つの解析処理に応じた解析結果を出力し、
    前記解析結果と、前記特定された少なくとも１つの解析処理とに基づいて前記投影画像を表現する投影画像データを生成し、前記投影画像データは、前記解析結果を前記特定された少なくとも１つの解析処理に応じて決定された表示形式で示す、
    投影画像生成方法。
JP2023214425A 2018-09-28 2023-12-20 顕微鏡システム、プログラム、及び、投影画像生成方法 Pending JP2024019639A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018183763 2018-09-28
JP2018183763 2018-09-28
JP2020547904A JPWO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法
PCT/JP2018/047499 WO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020547904A Division JPWO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Publications (1)

Publication Number Publication Date
JP2024019639A true JP2024019639A (ja) 2024-02-09

Family

ID=69951267

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020547904A Pending JPWO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法
JP2023214425A Pending JP2024019639A (ja) 2018-09-28 2023-12-20 顕微鏡システム、プログラム、及び、投影画像生成方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020547904A Pending JPWO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Country Status (5)

Country Link
US (1) US11594051B2 (ja)
EP (2) EP4345776A3 (ja)
JP (2) JPWO2020066043A1 (ja)
CN (1) CN112714887B (ja)
WO (1) WO2020066043A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714886B (zh) * 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN112889088A (zh) 2018-10-31 2021-06-01 合同会社予幸集团中央研究所 程序、学习模型、信息处理装置、信息处理方法、信息显示方法和学习模型的制造方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM
JP7004116B2 (ja) * 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH0580255A (ja) 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
US6483948B1 (en) * 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
JPH11502037A (ja) 1995-05-17 1999-02-16 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JP3827429B2 (ja) * 1997-04-03 2006-09-27 オリンパス株式会社 手術用顕微鏡
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2000292422A (ja) * 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) * 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE102004004115B4 (de) 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
CN101351736A (zh) * 2005-12-27 2009-01-21 奥林巴斯株式会社 发光测量装置及发光测量方法
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) * 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
DE102009058792B3 (de) 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) * 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
JP5145487B2 (ja) * 2011-02-28 2013-02-20 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5822345B2 (ja) 2011-09-01 2015-11-24 島田　修 ホールスライドイメージ作成装置
JP5893314B2 (ja) * 2011-09-27 2016-03-23 オリンパス株式会社 表示装置および顕微鏡システム
WO2013094434A1 (ja) * 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、観察システムの制御方法及びプログラム
US9483684B2 (en) * 2012-03-30 2016-11-01 Konica Minolta, Inc. Medical image processor and storage medium
ES2953897T3 (es) 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
US9378407B2 (en) * 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
JP5953195B2 (ja) * 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US8995740B2 (en) 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
JP6147080B2 (ja) 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
ES2935506T3 (es) 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US10182757B2 (en) * 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
CN103852878B (zh) * 2014-01-08 2016-05-25 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
AR100353A1 (es) * 2014-05-08 2016-09-28 Chugai Pharmaceutical Co Ltd Droga de direccionamiento a glipicano 3 (gpc3) que se administra a un paciente que responde a la terapia con drogas de direccionamiento a gpc3
DE102014108811B3 (de) 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
EP3227830B8 (en) * 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
DE102015100765A1 (de) 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
US11376326B2 (en) * 2015-07-01 2022-07-05 Chugai Seiyaku Kabushiki Kaisha GPC3-targeting therapeutic agent which is administered to patient for whom the GPC3-targeting therapeutic agent is effective
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6805506B2 (ja) * 2016-03-07 2020-12-23 株式会社サタケ 粒状物外観品位判別装置
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US11636627B2 (en) * 2016-08-28 2023-04-25 Augmentiqs Medical Ltd. System for histological examination of tissue specimens
JP6580012B2 (ja) * 2016-09-28 2019-09-25 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) * 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) * 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
DE102017105941B3 (de) 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
JP6462823B2 (ja) * 2017-10-24 2019-01-30 株式会社キーエンス 画像検査装置
CN107907987A (zh) * 2017-12-26 2018-04-13 深圳科创广泰技术有限公司 基于混合现实的3d显微镜
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714886B (zh) 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Also Published As

Publication number Publication date
WO2020066043A1 (ja) 2020-04-02
US11594051B2 (en) 2023-02-28
US20210192181A1 (en) 2021-06-24
EP4345776A2 (en) 2024-04-03
EP3995879A1 (en) 2022-05-11
CN112714887A (zh) 2021-04-27
JPWO2020066043A1 (ja) 2021-08-30
CN112714887B (zh) 2024-02-23
EP3995879A4 (en) 2023-08-23
EP4345776A3 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
JP6947841B2 (ja) 病理学用の拡張現実顕微鏡
US20210018742A1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
US20110212486A1 (en) Microscope System, Specimen Observation Method, and Computer Program Product
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
US11662565B2 (en) Microscope system, projection unit, and image projection method
US20210215923A1 (en) Microscope system
JP5185151B2 (ja) 顕微鏡観察システム
US20190072751A1 (en) Systems and methods for detection of blank fields in digital microscopes
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US11869166B2 (en) Microscope system, projection unit, and image projection method
JP2013044967A (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2012048026A (ja) 顕微鏡及びフィルタ挿入方法
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
US20100329522A1 (en) Medical diagnosis support device, virtual microscope system, and specimen support member
US20130259334A1 (en) Image processing apparatus, image processing method, image processing program, and virtual microscope system
US20190195777A1 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
US11215808B2 (en) Microscope parameter setting method and observation method recognizing the shape of a cell
CN103168265A (zh) 成像系统和其关联的方法
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
JPWO2020039520A1 (ja) 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231220