JPWO2020039520A1 - 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム - Google Patents

画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム Download PDF

Info

Publication number
JPWO2020039520A1
JPWO2020039520A1 JP2020537938A JP2020537938A JPWO2020039520A1 JP WO2020039520 A1 JPWO2020039520 A1 JP WO2020039520A1 JP 2020537938 A JP2020537938 A JP 2020537938A JP 2020537938 A JP2020537938 A JP 2020537938A JP WO2020039520 A1 JPWO2020039520 A1 JP WO2020039520A1
Authority
JP
Japan
Prior art keywords
amount
dye
tissue
estimation unit
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020537938A
Other languages
English (en)
Other versions
JP7116175B2 (ja
Inventor
武 大塚
武 大塚
邦夫 堀
邦夫 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020039520A1 publication Critical patent/JPWO2020039520A1/ja
Application granted granted Critical
Publication of JP7116175B2 publication Critical patent/JP7116175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G06T5/94—
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/12—Condensers affording bright-field illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • Organic Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Biophysics (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、を備える。これにより、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置を提供する。

Description

本発明は、画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。
病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。
顕微鏡による観察として、病理標本に光を照射し、病理標本を透過した光を拡大観察する透過光観察が用いられている。また、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ Ｅｏｓｉｎ）染色した病理標本を透過光観察することによる初期診断が行われている。ＨＥ染色では、細胞核や骨組織等の組織が青紫色に染色され、細胞質や結合組織、赤血球等の組織が赤色に染色される。そして、染色された組織の形状を観察することにより、形態学的に病気の有無を診断することができる。なお、透過光観察は、光の減衰を観察するため、厚い標本の観察には適さない。
また、顕微鏡による観察として、蛍光色素で染色した標本に励起光を照射し、標本が発する蛍光を蛍光顕微鏡で拡大観察する蛍光観察が用いられている。蛍光観察は、光の発光を観察するため、透過光観察より厚い標本を観察することができる。
病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム（バーチャルスライドシステム）では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。
さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師データを用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。
病理標本画像に対する画像処理として、例えば、特許文献１では、ＨＥ染色画像に対して画像処理を施すことにより、仮想的に特殊染色等の異なる染色画像を生成する方法が提案されている。
上述したように、厚い標本は、透過光観察には適さないが、蛍光観察により観察することができる。そのため、蛍光画像に対して画像処理を施すことにより、仮想的な透過光画像を生成することができれば、厚い標本を仮想的に透過光観察することができる。例えば、非特許文献１では、厚い標本を撮像することにより得られた蛍光画像に対して画像処理を施すことにより、仮想的な透過光画像を生成する方法が提案されている。
特表２０１４−５２６７００号公報
"Ｍｉｃｒｏｓｃｏｐｙ ｗｉｔｈ ＵＶ Ｓｕｒｆａｃｅ Ｅｘｃｉｔａｔｉｏｎ （ＭＵＳＥ） ｆｏｒ ｓｌｉｄｅ−ｆｒｅｅ ｈｉｓｔｏｌｏｇｙ ａｎｄ ｐａｔｈｏｌｏｇｙ ｉｍａｇｉｎｇ"，Ｆａｒｚａｄ Ｆｅｒｅｉｄｏｕｎｉ， Ａｎａｎｙａ Ｄａｔｔａ−Ｍｉｔｒａ， Ｓｔａｖｒｏｓ Ｄｅｍｏｓ ａｎｄ Ｒｉｃｈａｒｄ Ｌｅｖｅｎｓｏｎ， ＳＰＩＥ Ｖｏｌ．９３１８
しかしながら、実際には、蛍光画像に対して色空間において画像処理を施し、仮想的な透過光画像を生成しても、精度が高い透過光画像を生成することができなかった。
本発明は、上記に鑑みてなされたものであって、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、を備える。
また、本発明の一態様に係る画像処理装置は、前記蛍光画像、前記蛍光量推定部が推定した光量に基づいて生成した蛍光量画像、前記組織量推定部が推定した組織量に基づいて生成した組織量画像、前記色素量推定部が推定した色素量に基づいて生成した色素量画像、前記透過光画像のいずれかの画像を補正する画像補正部を更に備える。
また、本発明の一態様に係る画像処理装置は、前記組織量推定部は、各画素から複数の組織の組織量を推定し、前記色素量推定部は、各組織から複数の色素の色素量を推定し、前記透過光画像生成部は、前記色素量推定部が推定した複数の色素の色素量を合成して前記透過光画像を生成する。
また、本発明の一態様に係る画像処理装置は、前記蛍光量推定部は、前記蛍光色素群の各蛍光色素の基準スペクトルに基づいて算出される行列Ｂｆにより、以下の式（１）によって算出される疑似逆行列Ｐｆを用いて、以下の式（２）により、前記蛍光色素群が発光する蛍光の光量Ａｆを推定する。
Figure 2020039520
Figure 2020039520
また、本発明の一態様に係る画像処理装置は、前記組織量推定部は、前記組織群の各組織量を、前記蛍光量推定部が推定した前記蛍光色素群の各蛍光色素が発光する蛍光の光量に、蛍光色素に応じて定まる係数を乗じて総和をとることにより算出する。
また、本発明の一態様に係る画像処理装置は、前記色素量推定部は、前記明視野色素群の各色素量を、前記組織量推定部が推定した前記組織群の各組織量に、組織に応じて定まる係数を乗じて総和を取ることにより算出する。
また、本発明の一態様に係る画像処理装置は、前記色素量推定部は、前記明視野色素群の各色素の基準スペクトルに基づいて算出される吸光度スペクトルｓａを用いて、以下の式（３）により、前記明視野色素群の仮想的な透過率ｓｔを推定し、前記透過率ｓｔに基づいて前記透過光画像を生成する。
Figure 2020039520
また、本発明の一態様に係る撮像システムは、画像処理装置と、標本に照射する励起光を発生する照明部と、前記照明部が発生した前記励起光を前記標本に照射する照明光学系と、前記標本からの前記蛍光を結像する結像光学系と、前記結像光学系が結像した前記蛍光を撮像する撮像部と、を備える。
また、本発明の一態様に係る画像処理装置の作動方法は、蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する。
また、本発明の一態様に係る画像処理装置の作動プログラムは、蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成すること、を画像処理装置に実行させる。
本発明によれば、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。
図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。 図２は、撮像システムの動作を示すフローチャートである。 図３は、蛍光色素の基準スペクトルを表す図である。 図４は、蛍光の光量を組織量に変換する際に用いる変換表を表す図である。 図５は、組織量を色素量に変換する際に用いる変換表を表す図である。 図６は、細胞核の組織量を色素量に変換する様子を表す図である。 図７は、細胞質の組織量を色素量に変換する様子を表す図である。 図８は、色素の基準スペクトルを表す図である。 図９は、仮想的な分光透過率を表す図である。 図１０は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。 図１１は、本発明の実施の形態３に係る撮像システムの構成例を示す図である。
以下に、図面を参照して本発明に係る画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、蛍光画像から透過光画像を生成する画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図１に示すように、本実施の形態１に係る撮像システム１は、蛍光顕微鏡等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。
画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記憶部１３０と、記憶部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０と、を備える。
画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば、撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記憶部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して種々の処理を実行しても良い。
制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記憶部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。
記憶部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＤＶＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部１３０は、画像処理プログラムを記憶するプログラム記憶部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記憶部１３２と、を備える。
演算部１４０は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記憶部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して画像処理を実行しても良い。
詳細には、演算部１４０は、蛍光量推定部１４１と、組織量推定部１４２と、色素量推定部１４３と、透過光画像生成部１４４と、を備える。
蛍光量推定部１４１は、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する。蛍光色素群は、例えば、ヘキスト及びエシオンであり、組織群である細胞核及び細胞質をそれぞれ染色する。ただし、蛍光色素群は、アクリジンオレンジ、アクリジンイエロー等であってもよく、組織として細胞膜、赤血球、線維、粘液、脂肪等を染色してもよい。また、免疫染色を行う場合には、蛍光色素群は、アビジン等であってもよく、組織として腫瘍細胞等を染色してもよい。
組織量推定部１４２は、蛍光量推定部１４１が推定した光量に基づいて、組織群の各組織の組織量を推定する。具体的には、組織量推定部１４２は、各画素から細胞核及び細胞質の組織量を推定する。
色素量推定部１４３は、組織量推定部１４２が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した組織群を透過型顕微鏡により撮像した場合の明視野色素群の各色素の仮想的な色素量を推定する。明視野色素群は、例えば、ヘマトキシリン及びエオシンであり、細胞核及び細胞質からヘマトキシリン及びエオシンの色素量をそれぞれ推定する。ただし、アニリン等を含む明視野色素群により、マッソン・トリクローム染色を行う場合の色素量を推定してもよい。また、明視野色素群により特殊染色であるギムザ染色や、免疫染色であるＤＡＢ（Ｄｉａｍｉｎｏ Ｂｅｎｚｉｄｉｎｅ）法を行った場合の色素量を推定してもよい。
透過光画像生成部１４４は、色素量推定部１４３が推定した色素量から仮想的な透過光画像を生成する。具体的には、透過光画像生成部１４４は、色素量推定部１４３が推定したヘマトキシリン及びエオシンの色素量を合成して透過光画像を生成する。
入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。
表示部１６０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。
撮像装置１７０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を含み、画像処理装置１００の画像取得部１１０による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置１７０は、ＲＧＢカメラを備え、ＲＧＢ画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
次に、本実施の形態１に係る撮像システムを用いて仮想的な透過光画像を生成する処理を説明する。図２は、撮像システムの動作を示すフローチャートである。図２に示すように、まず、画像処理装置１００は、画像取得制御部１２１の制御により撮像装置１７０を動作させることにより、被写体の蛍光画像を撮像する（ステップＳ１）。本実施の形態１においては、蛍光色素群としてヘキスト及びエシオンを用いて、組織群である細胞核及び細胞質をそれぞれ染色した状態で蛍光画像を撮像する例を説明する。
続いて、蛍光量推定部１４１は、撮像した蛍光画像に含まれる各画素において、ヘキスト及びエオシンがそれぞれ発光する蛍光の光量を推定する（ステップＳ２）。まず、蛍光画像における各画素の画素値ｃｆは、カメラの感度特性ｃ、蛍光スペクトルｓｆ、ノイズｎを用いて、以下の式（４）のように表すことができる。
Figure 2020039520
さらに、式（４）を行列で表記すると、以下の式（５）となる。
Figure 2020039520
Ｗｉｅｎｅｒ推定行列Ｗは、サンプル蛍光スペクトルの自己相関行列ＲＳＳ、ノイズの自己相関行列ＲＮＮを用いて、以下の式（６）である。
Figure 2020039520
従って、蛍光スペクトルＳｆは、Ｗｉｅｎｅｒ推定行列Ｗを用いて、以下の式（７）により求めることができる。
Figure 2020039520
続いて、蛍光スペクトルｓｆは、蛍光色素の基準スペクトルｂｆ、蛍光の光量ａｆを用いて、以下の式（８）のように表すことができる。
Figure 2020039520
図３は、蛍光色素の基準スペクトルを表す図である。図３に示すように、ヘキスト及びエオシンの基準スペクトルｂｆは既知である。従って、ｉ＝１をヘキスト、ｉ＝２をエオシンとして、式（８）に適用すると、ヘキスト及びエオシンによる蛍光の光量をそれぞれ求めることができる。
さらに、式（８）を行列で表記すると、以下の式（９）となる。
Figure 2020039520
蛍光色素の基準スペクトルｂｆの疑似逆行列Ｐｆは、以下の式（１０）である。
Figure 2020039520
従って、蛍光の光量Ａｆは、疑似逆行列Ｐｆを用いて、以下の式（１１）により求めることができる。
Figure 2020039520
 具体的には、式（１１）により、ヘキスト及びエオシンの蛍光の光量をそれぞれ求めることができる。
そして、組織量推定部１４２は、蛍光量推定部１４１が推定した光量に基づいて、組織群の各組織の組織量を推定する（ステップＳ３）。細胞核の組織量Ｔｎ及び細胞質の組織量Ｔｃは、ヘキストの蛍光の光量Ｆｈ、エオシンの蛍光の光量Ｆｅ、係数ｋｈｎ、係数ｋｅｎ、係数ｋｈｃ、係数ｋｅｃを用いて、以下の式（１２）及び（１３）により求めることができる。
Figure 2020039520
Figure 2020039520
図４は、蛍光の光量を組織量に変換する際に用いる変換表を表す図である。図４に示すように、係数ｋｈｎ＝１．００、ｋｅｎ＝０．００、係数ｋｈｃ＝０．００、係数ｋｅｃ＝１．００である。このように、１つの蛍光色素の光量を複数の組織量に紐づけることにより、蛍光画像から、より実際に撮像したものに近い透過光画像を生成することができる。
さらに、色素量推定部１４３は、明視野色素群としてヘマトキシリン及びエオシンを用いて染色した細胞核及び細胞質を透過型顕微鏡によりそれぞれ撮像した場合のヘマトキシリン及びエオシンの仮想的な色素量をそれぞれ推定する（ステップＳ４）。ヘマトキシリンの色素量Ｄｈ及びエオシンの色素量Ｄｅは、細胞核の組織量Ｔｎ、細胞質の組織量Ｔｃ、係数ｋｈｎ、係数ｋｅｎ、係数ｋｈｃ、係数ｋｅｃを用いて、以下の式（１４）及び（１５）により求めることができる。
Figure 2020039520
Figure 2020039520
図５は、組織量を色素量に変換する際に用いる変換表を表す図である。図５に示すように、係数ｋｈｎ＝１．５０、ｋｅｎ＝２．００、係数ｋｈｃ＝０．１５、係数ｋｅｃ＝２．００である。このように、１つの組織量を複数の色素の色素量に紐づけることにより、蛍光画像から、より実際に撮像したものに近い透過光画像を生成することができる。
図６は、細胞核の組織量を色素量に変換する様子を表す図である。図７は、細胞質の組織量を色素量に変換する様子を表す図である。図６及び図７に示すように、係数ｋｈｎ、係数ｋｅｎ、係数ｋｈｃ、係数ｋｅｃを適切に設定することにより、組織量を色素量に適切に変換することができる。
続いて、透過光画像生成部１４４は、色素量推定部１４３が推定した色素量から仮想的な透過光画像を生成する（ステップＳ５）。具体的には、透過光画像生成部１４４は、色素量推定部１４３がそれぞれ推定した色素量を合成して仮想的な透過光画像を生成する。まず、各色素による仮想的な吸光度スペクトルｓａは、吸光度空間での色素の基準スペクトルｂａ、各色素の色素量ｄａを用いて、以下の式（１６）のように表すことができる。
Figure 2020039520
従って、全ての色素による吸光度スペクトルｓａは、以下の式（１７）である。
Figure 2020039520
図８は、色素の基準スペクトルを表す図である。図８に示すように、ヘマトキシリン及びエオシンの基準スペクトルｂａは既知である。従って、ｉ＝１をヘマトキシリン、ｉ＝２をエオシンとして、式（１７）に適用すると、ヘマトキシリン及びエオシンによる吸光度スペクトルをそれぞれ求めることができる。
そして、仮想的な透過率ｓｔは、以下の式（１８）のように表すことができる。
Figure 2020039520
図９は、仮想的な分光透過率を表す図である。図９に示すように、式（１８）を用いることにより、細胞核及び細胞質の仮想的な分光透過率を求めることができる。
さらに、仮想的な透過光画像であるＲＡＷ画像は、カメラの感度特性ｃ、照明のスペクトルｌを用いて、以下の式（１９）のように表すことができる。
Figure 2020039520
また、仮想的な透過光画像として、ｓＲＧＢ画像を生成してもよい。まず、ＸＹＺは、ｆをＸＹＺ等色関数として、以下の式（２０）〜（２２）のように表すことができる。
Figure 2020039520
Figure 2020039520
Figure 2020039520
そして、ｓＲＧＢｌｉｎｅａｒは、以下の式（２３）により算出することができる。
Figure 2020039520
 さらに、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）≦０．００３１３０８（ｘ，ｙ，ｂ）の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１２．９６・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）＞０．００３１３０８の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１．０５５・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）１／２４−０．０５５を計算することにより、非線形なｓＲＣＧ画像を生成することができる。
そして、生成された透過光画像は、制御部１２０による制御のもと、表示部１６０に表示され、一連の処理が終了する。
以上説明したように、実施の形態１によれば、蛍光画像から透過光画像を生成する際に、組織を介在させることにより、病理標本の染色特性が忠実に表現された精度が高い透過光画像を生成することができる。一般に病理医は、透過光画像の観察になれているため、蛍光画像を透過光画像に変換することにより観察が容易となる。
なお、制御部１２０による制御のもと、表示部１６０に蛍光画像と透過光画像とを切り換えて、又は並べて表示してもよい。蛍光画像と透過光画像とを比較しやすくし、透過光画像が適切か否かを確認しやすくすることができる。
なお、計算方法は上述したものに限られない。上述した計算方法や以下に説明する計算方法を適宜組み合わせて計算を行うことができる。蛍光量推定行列に基づいて、蛍光画像から、直接、各蛍光色素の蛍光の光量を推定してもよい。蛍光量推定行列は、理論的に算出してもよいし、スペクトル推定行列と蛍光量推定行列との積から求めてもよい。
また、蛍光量推定行列は、統計的に算出してもよい。具体的には、複数の蛍光スペクトルからそれぞれの画素値と蛍光の光量とを対で算出する。そして、画素値と蛍光の光量との対の複数のデータから、画素値から蛍光の光量に回帰する推定行列（回帰行列）を算出する。回帰行列は、疑似逆行列により求めればよい。
また、ルックアップテーブルに基づいて、蛍光画像から、直接、各蛍光色素の蛍光の光量を算出してもよい。具体的には、複数の蛍光スペクトルからそれぞれの画素値と蛍光の光量とを対で算出する。そして、画素値と蛍光の光量との対の複数のデータから、画素値から蛍光の光量を参照するためのルックアップテーブルを作成することができる。
また、機械学習を用いて、蛍光画像から、直接、各蛍光色素の蛍光の光量を推定してもよい。具体的には、複数の蛍光画像から上述したいずれかの方法を用いて各画素の蛍光の光量を算出する。そして、蛍光画像と蛍光量画像との対の複数のデータから、画素値から蛍光の光量を推定するモデルを学習する。また、深層学習を用いてモデルを学習してもよい。
また、画素値算出行列に基づいて、仮想色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値に回帰する推定行列（回帰行列）を算出する。回帰行列は、多項式近似でもよい。
また、ルックアップテーブルに基づいて、仮想的な色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値を参照するためのルックアップテーブルを作成することができる。
また、機械学習を用いて、仮想的な色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値を推定するモデルを学習する。また、深層学習によりモデルを学習してもよい。
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１０は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。図１０に示すように、撮像システム１Ａにおいて、画像処理装置１００Ａの演算部１４０Ａは、蛍光画像、蛍光量推定部１４１が推定した光量に基づいて生成した蛍光量画像、組織量推定部１４２が推定した組織量に基づいて生成した組織量画像、色素量推定部１４３が推定した色素量に基づいて生成した色素量画像、透過光画像のいずれかの画像を補正する画像補正部としてのテクスチャ補正部１４５Ａを備える。その結果、実施の形態２によれば、蛍光画像から生成した仮想的な透過光画像において、透過光観察時と同程度の焦点深度のテクスチャを再現することができる。従って、実施の形態２によれば、より高精度な透過光画像を生成することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１１は、本発明の実施の形態３に係る撮像システムの構成例を示す図である。図１１に示すように、本実施の形態３に係る撮像システム１Ｂは、撮像装置１７０が設けられた顕微鏡装置２００と、画像処理装置１００と、を備える。なお、画像処理装置１００の代わりに、図１０に示す画像処理装置１００Ａを設けても良い。
顕微鏡装置２００は、落射照明ユニット２０１及び透過照明ユニット２０２が設けられた略Ｃ字形のアーム２００ａと、該アーム２００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ２０３と、鏡筒２０５の一端側に三眼鏡筒ユニット２０７を介して標本ステージ２０３と対向するように設けられた対物レンズ２０４と、標本ステージ２０３を移動させるステージ位置変更部２０６と、を有する。三眼鏡筒ユニット２０７は、対物レンズ２０４から入射した被写体ＳＰの観察光を、鏡筒２０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット２０８とに分岐する。接眼レンズユニット２０８は、ユーザが被写体ＳＰを直接観察するためのものである。
落射照明ユニット２０１は、落射照明用光源２０１ａ及び落射照明光学系２０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系２０１ｂは、落射照明用光源２０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
透過照明ユニット２０２は、透過照明用光源２０２ａ及び透過照明光学系２０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系２０２ｂは、透過照明用光源２０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
対物レンズ２０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ２０４、２０４’）を保持可能なレボルバ２０９に取り付けられている。このレボルバ２０９を回転させて、標本ステージ２０３と対向する対物レンズ２０４、２０４’を変更することにより、撮像倍率を変化させることができる。
鏡筒２０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
ステージ位置変更部２０６は、例えばステッピングモータ等の駆動部２０６ａを含み、標本ステージ２０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部２０６には、標本ステージ２０３をＺ軸に沿って移動させることにより、対物レンズ２０４の焦点を被写体ＳＰに合わせる。
このような顕微鏡装置２００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することより、被写体ＳＰのカラー画像が表示部１６０に表示される。そして、画像処理装置１００又は画像処理装置１００Ａが透過光画像を生成し、表示部１６０に透過光画像を表示する。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
１、１Ａ、１Ｂ 撮像システム
１００、１００Ａ 画像処理装置
１１０ 画像取得部
１２０ 制御部
１２１ 画像取得制御部
１３０ 記憶部
１３１ プログラム記憶部
１３２ 画像データ記憶部
１４０、１４０Ａ 演算部
１４１ 蛍光量推定部
１４２ 組織量推定部
１４３ 色素量推定部
１４４ 透過光画像生成部
１４５Ａ テクスチャ補正部
１５０ 入力部
１６０ 表示部
１７０ 撮像装置
２００ 顕微鏡装置
２００ａ アーム
２０１ 落射照明ユニット
２０１ａ 落射照明用光源
２０１ｂ 落射照明光学系
２０２ 透過照明ユニット
２０２ａ 透過照明用光源
２０２ｂ 透過照明光学系
２０３ 標本ステージ
２０４、２０４’ 対物レンズ
２０５ 鏡筒
２０６ ステージ位置変更部
２０６ａ 駆動部
２０７ 三眼鏡筒ユニット
２０８ 接眼レンズユニット
２０９ レボルバ

Claims (10)

  1. １以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、
    前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、
    前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、
    前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、
    を備える画像処理装置。
  2. 前記蛍光画像、前記蛍光量推定部が推定した光量に基づいて生成した蛍光量画像、前記組織量推定部が推定した組織量に基づいて生成した組織量画像、前記色素量推定部が推定した色素量に基づいて生成した色素量画像、前記透過光画像のいずれかの画像を補正する画像補正部を更に備える請求項１に記載の画像処理装置。
  3. 前記組織量推定部は、各画素から複数の組織の組織量を推定し、
    前記色素量推定部は、各組織から複数の色素の色素量を推定し、
    前記透過光画像生成部は、前記色素量推定部が推定した複数の色素の色素量を合成して前記透過光画像を生成する請求項１又は２に記載の画像処理装置。
  4. 前記蛍光量推定部は、前記蛍光色素群の各蛍光色素の基準スペクトルに基づいて算出される行列Ｂｆにより、以下の式（１）によって算出される疑似逆行列Ｐｆを用いて、以下の式（２）により、前記蛍光色素群が発光する蛍光の光量Ａｆを推定する
    Figure 2020039520
    Figure 2020039520
     請求項１〜３のいずれか１つに記載の画像処理装置。
  5. 前記組織量推定部は、前記組織群の各組織量を、前記蛍光量推定部が推定した前記蛍光色素群の各蛍光色素が発光する蛍光の光量に、蛍光色素に応じて定まる係数を乗じて総和をとることにより算出する請求項１〜４のいずれか１つに記載の画像処理装置。
  6. 前記色素量推定部は、前記明視野色素群の各色素量を、前記組織量推定部が推定した前記組織群の各組織量に、組織に応じて定まる係数を乗じて総和を取ることにより算出する請求項１〜５のいずれか１つに記載の画像処理装置。
  7. 前記色素量推定部は、前記明視野色素群の各色素の基準スペクトルに基づいて算出される吸光度スペクトルｓａを用いて、以下の式（３）により、前記明視野色素群の仮想的な透過率ｓｔを推定し、前記透過率ｓｔに基づいて前記透過光画像を生成する
    Figure 2020039520
     請求項１〜６のいずれか１つに記載の画像処理装置。
  8. 請求項１〜７のいずれか１つに記載の画像処理装置と、
    標本に照射する励起光を発生する照明部と、
    前記照明部が発生した前記励起光を前記標本に照射する照明光学系と、
    前記標本からの前記蛍光を結像する結像光学系と、
    前記結像光学系が結像した前記蛍光を撮像する撮像部と、
    を備える撮像システム。
  9. 蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、
    組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、
    色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、
    透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する画像処理装置の作動方法。
  10. 蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、
    組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、
    色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、
    透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成すること、
    を画像処理装置に実行させる画像処理装置の作動プログラム。
JP2020537938A 2018-08-22 2018-08-22 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム Active JP7116175B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/030987 WO2020039520A1 (ja) 2018-08-22 2018-08-22 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Publications (2)

Publication Number Publication Date
JPWO2020039520A1 true JPWO2020039520A1 (ja) 2021-09-24
JP7116175B2 JP7116175B2 (ja) 2022-08-09

Family

ID=69592760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020537938A Active JP7116175B2 (ja) 2018-08-22 2018-08-22 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US11378515B2 (ja)
JP (1) JP7116175B2 (ja)
CN (1) CN112601950B (ja)
WO (1) WO2020039520A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702140B (zh) * 2021-08-16 2024-02-23 江苏博赛孚医疗科技有限公司 一种组织切片染色时间自动计算及流程优化的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512508A (ja) * 2006-12-20 2010-04-22 ベンタナ・メデイカル・システムズ・インコーポレーテツド 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析
JP2014521979A (ja) * 2011-08-17 2014-08-28 ゼネラル・エレクトリック・カンパニイ 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JP2015514212A (ja) * 2012-03-30 2015-05-18 クラリエント ダイアグノスティック サービシーズ， インコーポレイテッド 単一試料での免疫蛍光及び蛍光系核酸分析
WO2017212055A1 (en) * 2016-06-10 2017-12-14 F. Hoffmann-La Roche Ag System for bright field image simulation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169816B1 (en) * 1997-05-14 2001-01-02 Applied Imaging, Inc. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US8131053B2 (en) * 1999-01-25 2012-03-06 Amnis Corporation Detection of circulating tumor cells using imaging flow cytometry
JP2003065948A (ja) * 2001-08-27 2003-03-05 Telecommunication Advancement Organization Of Japan 顕微鏡画像処理装置、顕微鏡画像処理方法並びに顕微鏡画像処理プログラム
US9697582B2 (en) * 2006-11-16 2017-07-04 Visiopharm A/S Methods for obtaining and analyzing images
JP5208430B2 (ja) * 2007-01-31 2013-06-12 オリンパス株式会社 生体組織用蛍光観察装置
CN102667473B (zh) * 2009-10-12 2016-06-08 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
WO2011088014A2 (en) * 2010-01-12 2011-07-21 Nexcelom Bioscience Llc Systems and methods for counting cells and biomolecules
US9541504B2 (en) * 2010-08-05 2017-01-10 Cambridge Research & Instrumentation, Inc. Enhancing visual assessment of samples
US8787651B2 (en) * 2010-09-28 2014-07-22 Flagship Biosciences, LLC Methods for feature analysis on consecutive tissue sections
JP2012122852A (ja) * 2010-12-08 2012-06-28 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
CN103491847B (zh) * 2011-06-07 2016-01-20 奥林巴斯株式会社 内窥镜装置和荧光观察的光量控制方法
US8977017B2 (en) 2011-09-15 2015-03-10 The General Hospital Corporation System and method for support of medical diagnosis
US20150105283A1 (en) * 2012-05-30 2015-04-16 Clarient Diagnostics Services, Inc. Multiplexed diagnosis method for classical hodgkin lymphoma
CN105007798A (zh) * 2013-02-13 2015-10-28 奥林巴斯株式会社 荧光观察装置
EP3940371B1 (en) * 2014-06-05 2023-08-30 Universität Heidelberg Method and imaging apparatus for acquisition of fluorescence and reflectance images
JP6688190B2 (ja) * 2016-08-09 2020-04-28 オリンパス株式会社 顕微鏡
US11213482B1 (en) * 2020-03-05 2022-01-04 University of Pittsburgh—Of the Commonwealth System of Higher Educat SARS-CoV-2 subunit vaccine and microneedle array delivery system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512508A (ja) * 2006-12-20 2010-04-22 ベンタナ・メデイカル・システムズ・インコーポレーテツド 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析
JP2014521979A (ja) * 2011-08-17 2014-08-28 ゼネラル・エレクトリック・カンパニイ 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JP2015514212A (ja) * 2012-03-30 2015-05-18 クラリエント ダイアグノスティック サービシーズ， インコーポレイテッド 単一試料での免疫蛍光及び蛍光系核酸分析
WO2017212055A1 (en) * 2016-06-10 2017-12-14 F. Hoffmann-La Roche Ag System for bright field image simulation

Also Published As

Publication number Publication date
JP7116175B2 (ja) 2022-08-09
WO2020039520A1 (ja) 2020-02-27
CN112601950A (zh) 2021-04-02
CN112601950B (zh) 2023-07-28
US20210164904A1 (en) 2021-06-03
US11378515B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
US20230030424A1 (en) Method and system for digital staining of microscopy images using deep learning
AU2014265382B2 (en) Microscopy of a tissue sample using structured illumination
US8780191B2 (en) Virtual microscope system
US8957958B2 (en) Microscope system, microscopy method and storage medium
WO2017009989A1 (ja) 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
US9406118B2 (en) Stain image color correcting apparatus, method, and system
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
CN103168265A (zh) 成像系统和其关联的方法
JP2012022206A (ja) 顕微鏡観察システム
JP7116175B2 (ja) 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
WO2022243562A1 (en) Method for examining a fluorescent sample, microscope system and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220728

R151 Written notification of patent or utility model registration

Ref document number: 7116175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350