JP7090171B2 - 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム - Google Patents

画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム Download PDF

Info

Publication number
JP7090171B2
JP7090171B2 JP2020551080A JP2020551080A JP7090171B2 JP 7090171 B2 JP7090171 B2 JP 7090171B2 JP 2020551080 A JP2020551080 A JP 2020551080A JP 2020551080 A JP2020551080 A JP 2020551080A JP 7090171 B2 JP7090171 B2 JP 7090171B2
Authority
JP
Japan
Prior art keywords
image
teacher
dye
staining
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020551080A
Other languages
English (en)
Other versions
JPWO2020075226A1 (ja
Inventor
武 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020075226A1 publication Critical patent/JPWO2020075226A1/ja
Application granted granted Critical
Publication of JP7090171B2 publication Critical patent/JP7090171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムに関する。
病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。
病理診断では、一次診断を行い、病気が疑われる場合に二次診断を行う。一次診断では、病理標本の組織形状から病気の有無を診断する。例えば、標本にＨＥ染色（ヘマトキシリン－エオジン染色）を施し、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色される。病理医は、組織形状から形態学的に病気の有無を診断する。
二次診断では、分子の発現から病気の有無を診断する。例えば、標本に免疫染色を施し、抗原・抗体反応から分子の発現を可視化する。そして、病理医が、分子の発現から病気の有無を診断する。また、病理医は、陽性率（陰性細胞と陽性細胞との比率）から適切な治療方法を選択する。
病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム（バーチャルスライドシステム）では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。
さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師画像を用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。
深層学習は、予め設定された特徴量を自動的に計算できる機能を有し、計算資源の進歩にともなって実用され始めており、画像認識や音声認識を中心に幅広い用途で利用されている。深層学習は、病理標本画像の解析にも用いられており、非特許文献１には、深層学習を用いて、病理標本画像から乳がんを高精度に検出する方法が開示されている。深層学習は、精度のよい多数の教師画像を用意することができれば、従来の画像処理と比較しても容易に高精度な診断支援を行うことができる。
病理標本画像には、様々な原因により色ばらつきが生じる。例えば、染色濃度等の標本作製状態は、病理医の好みや、臨床検査技師のスキル、標本作製設備の性能に応じて色ばらつきが生じる。その結果、病理標本画像の色ばらつきが、教師画像の範囲から外れる場合、その画像に対する診断支援を適切に行うことができない。そこで、適切に診断支援を行うためには、複数の標本作製施設において異なる標本作製工程によって生成された多数の教師画像を収集することが求められる。
"Ａｃｃｕｒａｔｅ ａｎｄ ｒｅｐｒｏｄｕｃｉｂｌｅ ｉｎｖａｓｉｖｅ ｂｒｅａｓｔ ｃａｎｃｅｒ ｄｅｔｅｃｔｉｏｎ ｉｎ ｗｈｏｌｅｓｌｉｄｅ ｉｍａｇｅｓ： Ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｆｏｒ ｑｕａｎｔｉｆｙｉｎｇ ｔｕｍｏｒ ｅｘｔｅｎｔ" ， Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ ｜ ７：４６４５０ ｜ ＤＯＩ： １０．１０３８／ｓｒｅｐ４６４５０
しかしながら、複数の標本製作施設においてあらゆる標本作製工程にそれぞれ対応して生成された画像を収集することは困難である。そのため、従来、教師画像の標本作製工程とは異なる標本作製工程によって生成された画像は、診断支援の対象外とされていた。また、教師画像に色空間内において画像補正を施し、教師画像の枚数を増やす技術もあるが、色空間内における画一的な画像補正では、診断支援の精度が低下してしまう。
本発明は、上記に鑑みてなされたものであって、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置の作動方法は、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。
また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
また、本発明の一態様に係る画像処理装置の作動方法は、組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、前記染色特性変換部が、前記入力教師画像の少なくとも１つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか１つの教師画像の前記選択した組織の前記染色特性に変換し、前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。
また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する。
また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする。
また、本発明の一態様に係る画像処理装置は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、を備える。
また、本発明の一態様に係る画像処理装置の作動プログラムは、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、を画像処理装置に実行させる。
本発明によれば、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを実現することができる。
図１は、本発明の実施の形態１に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、標本作製工程プロトコルの一覧を表す図である。 図４は、入力教師画像の一画素の分光スペクトルを表す図である。 図５は、入力教師画像の一画素のＨ色素スペクトルを表す図である。 図６は、入力教師画像の一画素のＨ色素量を表す図である。 図７は、入力教師画像の一画素のＤＡＢ色素スペクトルを表す図である。 図８は、入力教師画像の一画素のＤＡＢ色素量を表す図である。 図９は、変換する教師画像のＨ色素スペクトルを表す図である。 図１０は、変換する教師画像のＨ色素量を表す図である。 図１１は、本発明の実施の形態２に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。 図１２は、図１１に示す画像処理装置の動作を示すフローチャートである。 図１３は、標本作製工程プロトコルの一覧を表す図である。 図１４は、入力教師画像の各画素のＨ色素スペクトルを表す図である。 図１５は、入力教師画像の各画素のＤＡＢ色素スペクトルを表す図である。 図１６は、細胞核と細胞質とを分離する様子を表す図である。 図１７は、細胞核と細胞質とのＨ色素スペクトルを表す図である。 図１８は、細胞核と細胞質とのＨ色素量を表す図である。 図１９は、細胞核と細胞質とのＤＡＢ色素スペクトルを表す図である。 図２０は、細胞核と細胞質とのＤＡＢ色素量を表す図である。 図２１は、変換する教師画像の細胞核と細胞質とのＨ色素スペクトルを表す図である。 図２２は、変換する教師画像の細胞核と細胞質とのＨ色素量を表す図である。 図２３は、本発明の実施の形態３に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。 図２４は、図２３に示す画像処理装置の動作を示すフローチャートである。 図２５は、本発明の実施の形態４に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
以下に、図面を参照して本発明に係る画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、複数の教師画像を用いて診断支援を行う画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図１に示すように、撮像システム１は、蛍光顕微鏡等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。
画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記録部１３０と、記録部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０と、を備える。
画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば、撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記録部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部１３０が記憶する各種データ等を用いることで、プロセッサと記録部１３０が協働又は結合して種々の処理を実行しても良い。
制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記録部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。
記録部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＤＶＤ－ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記録部１３０は、画像処理プログラムを記憶するプログラム記録部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記録部１３２と、を備える。
演算部１４０は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記録部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部１３０が記憶する各種データ等を用いることで、プロセッサと記録部１３０が協働又は結合して画像処理を実行しても良い。
詳細には、演算部１４０は、染色特性記録部１４１と、染色特性推定部１４２と、染色特性変換部１４３と、仮想画像生成部１４４と、を備える。
染色特性記録部１４１は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部１３０に記録する。
染色特性推定部１４２は、複数の色素による染色を含む複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力されたた染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する。
染色特性変換部１４３は、入力教師画像の各色素の染色特性を、記録部１３０に記録された各教師画像の各色素の染色特性に繰り返し変換する。ただし、染色特性変換部１４３は、入力教師画像の少なくとも１つの選択した色素の染色特性を、複数の教師画像のうちいずれか１つの教師画像の選択した色素の染色特性に変換すればよい。
仮想画像生成部１４４は、染色特性変換部１４３が変換した色素の染色特性に基づいて、複数の教師画像及び入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。具体的には、仮想画像生成部１４４が、染色特性変換部１４３が変換した各色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。
表示部１６０は、ＬＣＤ（Ｌｉｑｕｉｄ ＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。
撮像装置１７０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を含み、画像処理装置１００の画像取得部１１０による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置１７０は、ＲＧＢカメラを備え、ＲＧＢ画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
次に、本実施の形態１に係る撮像システムを用いて仮想的な教師画像を生成する処理を説明する。図２は、図１に示す画像処理装置の動作を示すフローチャートである。図２に示すように、まず、染色特性記録部１４１は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部１３０に記録する（ステップＳ１）。
続いて、演算部１４０は、全ての教師画像の染色特性を推定したか否かを判定する（ステップＳ２）。演算部１４０が、全ての教師画像の染色特性を推定していないと判定した場合、ステップＳ１に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の染色特性を推定するまで、処理を繰り返す。
図３は、標本作製工程プロトコルの一覧を表す図である。図３に示すように、染色特性記録部１４１は、ステップＳ１～Ｓ２の処理により、例えばヘマトキシリン（Ｈ）染色、ＤＡＢ（Ｄｉａｍｉｎｏ Ｂｅｎｚｉｄｉｎｅ）染色により染色された互いに異なる複数の標本作製工程プロトコル（プロトコル１、２、・・・Ｎ）により作製された染色標本画像であるＮ枚の教師画像に対して、教師画像ごとに染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部１３０に記録する。その結果、図３に示す染色特性のデータベースを生成することができる。図３に示すデータベースの標本作製工程プロトコルの欄には、各教師画像を作製した際の工程が記録されている。具体的には、固定、切り出し、包埋、薄切、染色、封入時の条件や使用した薬品の種類等を標本作製工程プロトコルとして記録する。また、図３に示すデータベースの染色特性の欄には、Ｈ色素、ＤＡＢ色素のそれぞれについて推定した色素スペクトル及び色素量が格納されている。図３には、染色特性を記録したファイル名のみが記載されているが、例えば「Ｈ色素スペクトルＡ」のファイルには、各教師画像の各画素におけるＨ色素スペクトルのデータ群が記録されており、「Ｈ色素量Ａ」のファイルには、各教師画像の各画素におけるＨ色素量のデータ群が記録されている。なお、実施の形態１において、ヘマトキシリン染色、ＤＡＢ染色により染色を行う例について説明するが、染色は、他の対比染色、特殊染色、免疫染色でもよい。
その後、染色特性推定部１４２は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する（ステップＳ３）。入力教師画像は、学習用の教師画像として入力され、Ｈ染色、ＤＡＢ染色による染色を含む標本作製工程プロトコルにより作製された染色標本画像であって、その標本作製工程プロトコルは、Ｎ枚の教師画像のそれぞれと異なる標本作製工程プロトコルである。
図４は、入力教師画像の一画素の分光スペクトルを表す図である。染色特性推定部１４２は、図４に示すような分光スペクトルを入力教師画像の各画素について推定する。
図５は、入力教師画像の一画素のＨ色素スペクトルを表す図である。図６は、入力教師画像の一画素のＨ色素量を表す図である。図７は、入力教師画像の一画素のＤＡＢ色素スペクトルを表す図である。図８は、入力教師画像の一画素のＤＡＢ色素量を表す図である。染色特性推定部１４２は、入力教師画像の各画素について、図４に示す分光スペクトルから、図５に示すＨ色素スペクトル、図６に示すＨ色素量、図７に示すＤＡＢ色素スペクトル、図８に示すＤＡＢ色素量をそれぞれ推定する。
染色特性の推定は、分光画像から推定してもよいし、入力画像から分光スペクトルを推定してもよい。特開２００９－２７０８９０号公報には、多バンド画像から分光スペクトルを推定する方法が開示されている。病理標本を透過光で観察する場合、標本が薄く、吸収が支配的であるから、ランベルト・ベールの法則に基づいて、色素量を推定してもよい。少バンド数から推定する場合、正確に色素量を推定するために様々な工夫をなすことが好ましい。また、特開２０１１－５３０７４号公報、特開２００９－８４８１号公報、特開２０１２－２０７９６１号公報には、入力画像から色素スペクトルを推定する方法が開示されている。これらの文献から、複数の色素スペクトルを用いる方法、色素スペクトルを計測スペクトルに一致するように補正する方法、色素スペクトルを変化モデルに基づいて補正する方法等を適宜選択して用いることができる。
さらに、染色特性変換部１４３は、入力教師画像の各色素の染色特性を、記録部１３０に記録された教師画像の色素の染色特性に変換する（ステップＳ４）。図９は、変換する教師画像のＨ色素スペクトルを表す図である。図１０は、変換する教師画像のＨ色素量を表す図である。図９及び図１０は、例えば図３に示すプロトコル１のＨ色素スペクトルＡ及びＨ色素量Ａにそれぞれ対応する。そして、染色特性変換部１４３は、図４に示す入力教師画像のＨ色素スペクトルを図９に示す教師画像のＨ色素スペクトルに変換し、図５に示す入力教師画像のＨ色素量を図１０に示す教師画像のＨ色素量に変換する。なお、Ｈ色素スペクトルは、例えば入力教師画像の各画素のＨ色素スペクトルを教師画像内の各画素のＨ色素スペクトルを平均したスペクトルと変換すればよい。また、Ｈ色素量は、例えば入力教師画像の各画素のＨ色素スペクトルの最大値と、教師画像内の各画素のＨ色素スペクトルの平均したスペクトルの最大値との比率に応じて算出すればよい。ＤＡＢ色素についても同様の方法で変換すればよい。
そして、仮想画像生成部１４４が、染色特性変換部１４３が変換した色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する（ステップＳ５）。
続いて、演算部１４０は、全ての教師画像の全ての色素について変換したか否かを判定する（ステップＳ６）。演算部１４０が、全ての教師画像の全ての色素について変換していないと判定した場合、ステップＳ４に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の全ての色素について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、Ｎ枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、Ｈ色素を変換する場合と、ＤＡＢ色素を変換する場合とを考慮すると、合計で２Ｎ枚の仮想的な染色標本画像を生成することができる。
以下において、具体的な計算方法を説明する。まず、座標（ｘ，ｙ）と波長λを用いて表される変換後の吸光度ａ’（ｘ，ｙ，λ）は、任意の教師画像の任意の色素の基準色素量をＤ、任意の教師画像の任意の色素の基準スペクトルをＡ（λ）、座標（ｘ，ｙ）の任意の色素の色素量をｄ（ｘ，ｙ）として、以下の式（１）のように表すことができる。なお、添え字Ｈはヘマトキシリン染色の色素量、ＤＡＢはＤＡＢ染色の色素量、ｓｒｃは変換前の色素量、ｄｅｓｔは変換後の色素量を表す。
Figure 0007090171000001
続いて、変換後の透過率ｓ（ｘ，ｙ，λ）は、式（１）により求めた変換後の吸光度ａ’（ｘ，ｙ，λ）を用いて、以下の式（２）のように表すことができる。
Figure 0007090171000002
さらに、ｓＲＧＢ画像は、式（２）により求めた変換後の透過率ｓ（ｘ，ｙ，λ）を用いて、以下の式（３）～（５）のように表すことができる。なお、Ｘ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）は、座標（ｘ，ｙ）の変換後のＸＹＺ色空間の値である。また、ｆＸ（λ）、ｆＹ（λ）、ｆＺ（λ）は、ＸＹＺ等色関数の値である。
Figure 0007090171000003
Figure 0007090171000004
Figure 0007090171000005
そして、ｓＲＧＢｌｉｎｅａｒは、以下の式（６）により算出することができる。なお、Ｒｌｉｎｅａｒ、Ｇｌｉｎｅａｒ、Ｂｌｉｎｅａｒは、変換後の線形ｓＲＧＢの値である。
Figure 0007090171000006
さらに、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）≦０．００３１３０８（ｘ，ｙ，ｂ）の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１２．９６・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）＞０．００３１３０８の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１．０５５・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）１／２４－０．０５５を計算することにより、非線形なｓＲＣＧ画像を生成することができる。なお、Ｃｌｉｎｅａｒ、Ｃｓｒｇｂは、変換後の線形ｓＲＧＢのいずれかの値、変換後のｓＲＧＢのいずれかの値である。
なお、仮想的な染色標本画像として、ＲＧＢ画像に限らず、特殊光画像、多バンド画像、又は、分光画像を生成してもよい。特殊光画像、多バンド画像を生成する場合は、分光スペクトルにカメラ感度特性及び照明特性を乗算することにより仮想的な染色標本画像を算出する。なお、カメラ感度特性に加えてフィルタ特性を考慮してもよい。
以上説明したように、実施の形態１によれば、入力教師画像の染色特性と教師画像の染色特性とを入れ換えることにより、仮想的な標本作製工程プロトコルにより作製した多数の病理標本画像を作製することができる。そして、作製した仮想的な染色標本画像を新たな教師画像とすることにより、教師画像の枚数を大量に増やすことができる。この変換では、色素の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。なお、上述した実施の形態１では、全ての教師画像の全ての色素について変換を行ったが、少なくとも１枚の教師画像の１つの色素と変換を行えば仮想的な染色標本画像を作製することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１１は、本発明の実施の形態２に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図１１に示すように、撮像システム１Ａにおいて、画像処理装置１００Ａの演算部１４０Ａは、複数の教師画像及び入力教師画像の各画素の染色特性から各画素が属する組織を推定する組織特性推定部１４５Ａを備える。
図１２は、図１１に示す画像処理装置の動作を示すフローチャートである。図１２に示すように、実施の形態１と同様に、染色特性記録部１４１は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する（ステップＳ１１）。
そして、組織特性推定部１４５Ａは、複数の教師画像の各画素の染色特性から各画素が属する組織を推定し、該教師画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部１３０に記録する（ステップＳ１２）。
続いて、演算部１４０は、全ての教師画像の組織を推定したか否かを判定する（ステップＳ１３）。演算部１４０が、全ての教師画像の組織を推定していないと判定した場合、ステップＳ１に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の組織を推定するまで、処理を繰り返す。
図１３は、標本作製工程プロトコルの一覧を表す図である。図１３に示すように、演算部１４０は、ステップＳ１１～Ｓ１３の処理により、例えばＨ染色、ＤＡＢ染色により染色された互いに異なる複数の標本作製工程プロトコル（プロトコル１、２、・・・Ｎ）により作製された染色標本画像であるＮ枚の教師画像に対して、教師画像ごとに組織の染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部１３０に記録する。その結果、図１３に示す組織の染色特性のデータベースを生成することができる。図１３に示すデータベースの標本作製工程プロトコルの欄には、実施の形態１の図３と同様に、各教師画像を作製した際の工程が記録されている。また、図１３に示すデータベースの組織の染色特性の欄には、細胞核及び細胞質のそれぞれについて、Ｈ色素、ＤＡＢ色素にそれぞれについて推定した色素スペクトル及び色素量が格納されている。
その後、染色特性推定部１４２は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する（ステップＳ１４）。
図１４は、入力教師画像の各画素のＨ色素スペクトルを表す図である。図１５は、入力教師画像の各画素のＤＡＢ色素スペクトルを表す図である。染色特性推定部１４２は、図４に示す分光スペクトルから、図１４、図１５に示す各色素のスペクトルを推定する。
続いて、組織特性推定部１４５Ａは、入力教師画像の各画素の染色特性から各画素が属する組織を推定する（ステップＳ１５）。図１６は、細胞核と細胞質とを分離する様子を表す図である。組織特性推定部１４５Ａは、図１４に示すＨ色素スペクトルから、画素ごとにＨ色素量とＨシフト量とを推定してプロットする。そして、プロットした点が位置する領域に応じて、領域Ｒ１に含まれる細胞質か、領域Ｒ２に含まれる細胞核か、各画素を分類する。なお、Ｈシフト量とは、Ｈ色素スペクトルのピークに対応する値である。また、組織は、細胞核、細胞質に限られず、細胞膜、赤血球、線維、粘液、脂肪等であってもよい。
なお、特開２０１２－１１７８４４号公報及び特開２０１２－２３３７８４号公報に開示されているように、各組織の染色特性を自動的に算出してもよい。これらの文献から、各組織の染色特性を自動的に算出する方法は、色素量分布から組織分類する方法、又は波長シフト量等の波長特徴量から組織分類する方法等を適宜選択して用いることができる。また、手動により各組織のサンプル画素を選択し、各組織の染色特性を設定してもよい。
図１７は、細胞核と細胞質とのＨ色素スペクトルを表す図である。図１８は、細胞核と細胞質とのＨ色素量を表す図である。図１９は、細胞核と細胞質とのＤＡＢ色素スペクトルを表す図である。図２０は、細胞核と細胞質とのＤＡＢ色素量を表す図である。染色特性推定部１４２は、入力教師画像の各画素について、図１４、図１５に示す各色素のスペクトルから、図１７に示す細胞核と細胞質とのＨ色素スペクトル、図１８に示す細胞核と細胞質とのＨ色素量、図１９に示す細胞核と細胞質とのＤＡＢ色素スペクトル、図２０に示す細胞核と細胞質とのＤＡＢ色素量をそれぞれ推定する。
さらに、染色特性変換部１４３は、入力教師画像の各組織の染色特性を、記録部１３０に記録された教師画像の組織の染色特性に変換する（ステップＳ１６）。図２１は、変換する教師画像の細胞核と細胞質とのＨ色素スペクトルを表す図である。図２２は、変換する教師画像の細胞核と細胞質とのＨ色素量を表す図である。図２１及び図２２は、例えば図１３に示すプロトコル１の「Ｈ色素スペクトルＡ１」及び「Ｈ色素量Ａ１」にそれぞれ対応する。そして、染色特性変換部１４３は、図１７に示す入力教師画像のＨ色素スペクトルを図２１に示す教師画像のＨ色素スペクトルに変換し、図１８に示す入力教師画像のＨ色素量を図２２に示す教師画像のＨ色素量に変換する。
そして、仮想画像生成部１４４が、染色特性変換部１４３が変換した組織の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する（ステップＳ１７）。
続いて、演算部１４０は、全ての教師画像の全ての組織について変換したか否かを判定する（ステップＳ１８）。演算部１４０が、全ての教師画像の全ての組織について変換していないと判定した場合、ステップＳ１６に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の全ての組織について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、Ｎ枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、細胞核を変換する場合と、細胞質を変換する場合とを考慮すると、合計で２Ｎ枚の仮想的な染色標本画像を生成することができる。
なお、計算方法は、実施の形態１と同様であるが、吸光度ａ’（ｘ，ｙ，λ）を計算する際に、細胞核の吸光度は、式（１）に代えて以下の式（７）により求めることができ、細胞質の吸光度は、式（１）に代えて以下の式（８）により求めることができる。
Figure 0007090171000007
Figure 0007090171000008
以上説明したように、実施の形態２によれば、組織の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。図２３は、本発明の実施の形態３に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図２３に示すように、撮像システム１Ｂにおいて、画像処理装置１００Ｂの演算部１４０Ｂは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する推定オペレータ算出部１４６Ｂと、推定オペレータに基づいて、入力画像から正解画像を推定する正解画像推定部１４７Ｂと、を備える。
図２４は、図２３に示す画像処理装置の動作を示すフローチャートである。図２４の処理を行う前に、図１２に記載した一連の処理は既に行われている。図２４に示すように、複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する（ステップＳ２１）。
そして、組織特性推定部１４５Ａは、入力画像の各画素の染色特性から各画素が属する組織を推定し、該入力画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部１３０に記録する（ステップＳ２２）。
推定オペレータ算出部１４６Ｂは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する（ステップＳ２３）。
回帰分析を用いた推定は、線形回帰でもよいし、機械学習（深層学習を含む）でもよい。従って、推定オペレータは、回帰行列でもよいし、深層学習のネットワークでもよい。
また、クラス分類は、線形判別でもよいし、機械学習（深層学習を含む）でもよい。従って、推定オペレータは、線形判別関数でもよいし、深層学習のネットワークでもよい。
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像を推定する（ステップＳ２４）。
以下において、具体的な計算方法を説明する。まず、回帰行列は、ｅ、ｒ、ｇ、ｂを入力画像の任意の座標において推定される正解画像の画素値、ｍＲ、ｍＧ、ｍＢを回帰行列として、以下の式（９）、（１０）のように表すことができる。
Figure 0007090171000009
Figure 0007090171000010
また、Ｅ、Ｃ、Ｍを行列表記とすると、以下の式（１１）、（１２）のように表すことができる。
Figure 0007090171000011
Figure 0007090171000012
また、深層学習のネットワークを用いる場合、回帰推定は、“Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ” ， ａｒＸｉｖ：１６１１．０７００４ｖ１ ［ｃｓ．ＣＶ］ ２１ Ｎｏｖ ２０１６に記載されている方法によって最適化することができる。
また、クラス分類を行う場合、“ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ” ， Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ ａｎｄ Ｓｕｔｓｋｅｖｅｒ， Ｉｌｙａ ａｎｄ Ｇｅｏｆｆｒｅｙ Ｅ． Ｈｉｎｔｏｎ － ＮＩＰＳ２０１２＿４８２４に記載されている方法によって最適化することができる。
また、別の用途のために学習したネットワークを利用して、転移学習を行ってもよい。転移学習によって、容易に推定を行うことができる。
なお、機械学習（深層学習を含む）を行う構成と、正解画像推定部１４７Ｂとを別の構成としてもよい。さらに、機械学習（深層学習を含む）を行う構成は、インターネット回線を経由して接続されたサーバ等に設けられていてもよい。
（変形例３－１）
変形例３－１では、教師画像としての免疫染色画像と、正解画像としての免疫染色画像から陽性細胞及び陰性細胞を検出した画像とのデータセットを用意する。正解画像は、例えば免疫染色画像に対して、医師が手作業で陽性細胞及び陰性細胞に対応する領域をマーキングすることにより準備することができる。
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、免疫染色画像である入力画像を陽性細胞、陰性細胞、それ以外の領域に分類するクラス分類処理を推定オペレータとして算出する。
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として陽性細胞及び陰性細胞を検出した画像を推定する。その結果、病理医は、正解画像により陽性細胞及び陰性細胞を容易に識別することができ、病理医の負担が軽減される。
（変形例３－２）
変形例３－２では、教師画像としてのＨＥ染色画像と、正解画像としてのＨＥ染色画像から正常領域及びがん領域を検出した画像とのデータセットを用意する。正解画像は、例えばＨＥ染色画像に対して、医師が手作業で正常領域及びがん領域に対応する領域をマーキングすることにより準備することができる。
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、ＨＥ染色画像である入力画像を正常領域、がん領域に分類するクラス分類処理を推定オペレータとして算出する。
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として正常領域及びがん領域を検出した画像を推定する。その結果、病理医は、正解画像により正常領域及びがん領域を容易に識別することができ、病理医の負担が軽減される。
（変形例３－３）
変形例３－３では、教師画像としての多重染色標本画像と、正解画像としての多重染色標本画像から各染色の色素スペクトル画像又は色素量画像とのデータセットを用意する。正解画像は、分光画像から算出することができる。
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、多重染色標本画像である入力画像から各染色の仮想的な色素スペクトル画像又は色素量画像を回帰推定する処理を推定オペレータとして算出する。
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として各染色の仮想的な色素スペクトル画像又は色素量画像を推定する。
（変形例３－４）
変形例３－４では、教師画像としてのＩＨＣ染色画像と、正解画像として標準とする標本作製工程プロトコルの標準染色特性画像とのデータセットを用意する。
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、ＩＨＣ染色画像である入力画像から標準染色特性画像を回帰推定する処理を推定オペレータとして算出する。
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として標準染色特性画像を推定する。
（変形例３－５）
変形例３－５では、教師画像としての組織標本画像と、正解画像としての組織標本画像に対して細胞核、細胞質等の組織を分類した画像とのデータセットを用意する。
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、組織標本画像である入力画像を細胞核、細胞質等に分類するクラス分類処理を推定オペレータとして算出する。
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として細胞核、細胞質等に分類した画像を推定する。
（実施の形態４）
次に、本発明の実施の形態４について説明する。図２５は、本発明の実施の形態４に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図２５に示すように、本実施の形態４に係る撮像システム１Ｃは、撮像装置１７０が設けられた顕微鏡装置２００と、画像処理装置１００と、を備える。なお、画像処理装置１００の代わりに、図１０に示す画像処理装置１００Ａ又は画像処理装置１００Ｂを設けても良い。
顕微鏡装置２００は、落射照明ユニット２０１及び透過照明ユニット２０２が設けられた略Ｃ字形のアーム２００ａと、該アーム２００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ２０３と、鏡筒２０５の一端側に三眼鏡筒ユニット２０７を介して標本ステージ２０３と対向するように設けられた対物レンズ２０４と、標本ステージ２０３を移動させるステージ位置変更部２０６と、を有する。三眼鏡筒ユニット２０７は、対物レンズ２０４から入射した被写体ＳＰの観察光を、鏡筒２０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット２０８とに分岐する。接眼レンズユニット２０８は、ユーザが被写体ＳＰを直接観察するためのものである。
落射照明ユニット２０１は、落射照明用光源２０１ａ及び落射照明光学系２０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系２０１ｂは、落射照明用光源２０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
透過照明ユニット２０２は、透過照明用光源２０２ａ及び透過照明光学系２０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系２０２ｂは、透過照明用光源２０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
対物レンズ２０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ２０４、２０４’）を保持可能なレボルバ２０９に取り付けられている。このレボルバ２０９を回転させて、標本ステージ２０３と対向する対物レンズ２０４、２０４’を変更することにより、撮像倍率を変化させることができる。
鏡筒２０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
ステージ位置変更部２０６は、例えばステッピングモータ等の駆動部２０６ａを含み、標本ステージ２０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部２０６には、標本ステージ２０３をＺ軸に沿って移動させることにより、対物レンズ２０４の焦点を被写体ＳＰに合わせる。
このような顕微鏡装置２００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することより、被写体ＳＰのカラー画像である教師画像が表示部１６０に表示される。そして、画像処理装置１００、画像処理装置１００Ａ、又は画像処理装置１００Ｂが、教師画像から仮想的な染色標本画像を生成する。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
１、１Ａ、１Ｂ、１Ｃ 撮像システム
１００、１００Ａ、１００Ｂ 画像処理装置
１１０ 画像取得部
１２０ 制御部
１２１ 画像取得制御部
１３０ 記録部
１３１ プログラム記録部
１３２ 画像データ記録部
１４０、１４０Ａ、１４０Ｂ 演算部
１４１ 染色特性記録部
１４２ 染色特性推定部
１４３ 染色特性変換部
１４４ 仮想画像生成部
１４５Ａ 組織特性推定部
１４６Ｂ 推定オペレータ算出部
１４７Ｂ 正解画像推定部
１５０ 入力部
１６０ 表示部
１７０ 撮像装置
２００ 顕微鏡装置
２００ａ アーム
２０１ 落射照明ユニット
２０１ａ 落射照明用光源
２０１ｂ 落射照明光学系
２０２ 透過照明ユニット
２０２ａ 透過照明用光源
２０２ｂ 透過照明光学系
２０３ 標本ステージ
２０４、２０４’ 対物レンズ
２０５ 鏡筒
２０６ ステージ位置変更部
２０６ａ 駆動部
２０７ 三眼鏡筒ユニット
２０８ 接眼レンズユニット
２０９ レボルバ

Claims (7)

  1. 染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
    染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
    染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、
    仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する画像処理装置の作動方法。
  2. 前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、
    前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する請求項１に記載の画像処理装置の作動方法。
  3. 組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、
    前記染色特性変換部が、前記入力教師画像の少なくとも１つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか１つの教師画像の前記選択した組織の前記染色特性に変換し、
    前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する請求項１又は２に記載の画像処理装置の作動方法。
  4. 前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
    推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、
    正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する請求項１～３のいずれか１つに記載の画像処理装置の作動方法。
  5. 前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、
    前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする請求項３に記載の画像処理装置の作動方法。
  6. 複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、
    前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、
    前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、
    前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、
    を備える画像処理装置。
  7. 染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
    染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
    染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、
    仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、
    を画像処理装置に実行させる画像処理装置の作動プログラム。
JP2020551080A 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム Active JP7090171B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037633 WO2020075226A1 (ja) 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

Publications (2)

Publication Number Publication Date
JPWO2020075226A1 JPWO2020075226A1 (ja) 2021-09-02
JP7090171B2 true JP7090171B2 (ja) 2022-06-23

Family

ID=70165130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551080A Active JP7090171B2 (ja) 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

Country Status (3)

Country Link
US (1) US20210174147A1 (ja)
JP (1) JP7090171B2 (ja)
WO (1) WO2020075226A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116646B (zh) * 2020-09-23 2023-11-24 南京工程学院 一种基于深度卷积神经网络的光场图像深度估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331394A (ja) 2004-05-20 2005-12-02 Olympus Corp 画像処理装置
JP2010156612A (ja) 2008-12-26 2010-07-15 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP2011181015A (ja) 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002341A (ja) * 2009-06-18 2011-01-06 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP5789786B2 (ja) * 2012-11-27 2015-10-07 パナソニックＩｐマネジメント株式会社 画像計測装置および画像計測方法
CA2899714C (en) * 2013-03-15 2020-10-27 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
WO2018229052A1 (en) * 2017-06-15 2018-12-20 Visiopharm A/S Method for training a deep learning model to obtain histopathological information from images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331394A (ja) 2004-05-20 2005-12-02 Olympus Corp 画像処理装置
JP2010156612A (ja) 2008-12-26 2010-07-15 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP2011181015A (ja) 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム

Also Published As

Publication number Publication date
JPWO2020075226A1 (ja) 2021-09-02
WO2020075226A1 (ja) 2020-04-16
US20210174147A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
US20230030424A1 (en) Method and system for digital staining of microscopy images using deep learning
JP7344568B2 (ja) ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
CN105378538B (zh) 用于多频谱成像的自动聚焦方法和系统
ES2301706T3 (es) Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware.
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
JP5185151B2 (ja) 顕微鏡観察システム
CN102073133A (zh) 虚拟显微镜系统
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
JP2010169467A (ja) 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
US9406118B2 (en) Stain image color correcting apparatus, method, and system
WO2013080808A1 (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
CN117546007A (zh) 信息处理装置、生物样本观察系统及图像生成方法
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
US20240241359A1 (en) Method for examining a fluorescent sample, microscope system and computer program
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
De Haan Computational deep learning microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7090171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350