JP7200945B2 - 画像着色装置、画像着色方法、プログラム、及び画像着色システム - Google Patents

画像着色装置、画像着色方法、プログラム、及び画像着色システム Download PDF

Info

Publication number
JP7200945B2
JP7200945B2 JP2019557035A JP2019557035A JP7200945B2 JP 7200945 B2 JP7200945 B2 JP 7200945B2 JP 2019557035 A JP2019557035 A JP 2019557035A JP 2019557035 A JP2019557035 A JP 2019557035A JP 7200945 B2 JP7200945 B2 JP 7200945B2
Authority
JP
Japan
Prior art keywords
image
coloring
information
color
cell nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019557035A
Other languages
English (en)
Other versions
JPWO2019106946A1 (ja
Inventor
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019106946A1 publication Critical patent/JPWO2019106946A1/ja
Application granted granted Critical
Publication of JP7200945B2 publication Critical patent/JP7200945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本開示は、画像着色装置、画像着色方法、プログラム、及び画像着色システムに関する。
従来、例えば下記の特許文献1には、染色標本画像の色素量分布を標準標本画像の色素量分布に近似させ、染色標本画像の各画像位置における色素量を適切に補正することが記載されている。また、下記の特許文献2には、病理画像についてベクトル解析によりステイン分離処理を行う手法が記載されている。
特開2009-14355号公報 米国特許第9036889号明細書
しかしながら、上記特許文献1に記載された手法では、対象画像の色素量分布の分布形状特徴と標準標本クラスの色素量分布の分布形状特徴を比較して色素量を補正しているため、対象画像の形態や形状などに応じて所望の色を着色することは困難である。
そこで、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが求められていた。
本開示によれば、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を備える、画像着色装置が提供される。
本開示によれば、色が脱色された脱色画像を取得することと、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、を備える、画像着色方法が提供される。
本開示によれば、色が脱色された脱色画像を取得する手段、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、としてコンピュータを機能させるプログラムが提供される。
本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を備える、画像学習装置が提供される。
本開示によれば、色が付いた学習画像に脱色処理を施すことと、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、を備える、画像学習方法が提供される。
本開示によれば、色が付いた学習画像に脱色処理を施す手段、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、としてコンピュータを機能させるプログラムが提供される。
また、本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、を備える、画像着色システムが提供される。
以上説明したように本開示によれば、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示す模式図である。 学習画像のデータの例を示す模式図である。 入力画像をヘマトキシリン・エオジン(HematoxylinEosin:HE)染色によるHE画像とした場合に、ステイン分離処理による分離結果を模式的に示す図である。 HE画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。 明視野画像の色変換の処理を示すフローチャートである。 IHC画像をHE画像に変換した例を示す図である。 蛍光画像を明視野画像に変換する処理を示すフローチャートである。 蛍光画像をHE画像に変換した例を示す図である。 サンプルにアーチファクトなどの異物がある場合に、異物を含めて着色する処理を示すフローチャートである。 入力画像であるIHC画像と、出力画像であるHE画像を並べて表示した例を示す模式図である。 観察対象物を表示画面の全体に表示した例であって、画面左側をIHC画像として表示し、画面右側をHE画像として表示した例を示す模式図である。 奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるIHC画像を、右側に出力画像であるHE画像を表示した例を示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システムの構成例
2.本実施形態のシステムによる着色処理の具体例
2.1.明視野画像の色変換
2.2.蛍光画像の色変換
2.3.明視野画像でサンプルにアーチファクトが存在する場合
3.表示アプリケーションの例
1.システムの構成例
本開示は、機械学習を使って画像の色変換する方法に関する。対象となる画像として、例えば病理染色画像などの病理画像が挙げられる。本実施形態では、特に、病理染色画像の色を変換する場合に、病理画像の色素の位置及び染色情報を使って、細胞核とその他の細胞領域及び組織領域に自動的に精度よく色付けをする手法について説明する。
図1は、本開示の一実施形態に係るシステム1000の構成を示す模式図である。図1に示すように、このシステム1000は、学習器100、色変換器200、及び表示装置250を備えている。学習器100は、学習画像入力部102、学習部104、脱色フィルタ106、を有して構成されている。
学習画像入力部102には、学習画像(リファレンス画像)のRGB(赤、緑、青)の画像データが入力される。学習画像は、例えば上述した病理染色画像である。学習画像入力部102に入力された学習画像は、学習部104に入力される。また、学習画像入力部102に入力された学習画像は、脱色フィルタ106により脱色処理が行われる。脱色処理によりグレースケールの画像データが得られる。グレースケールの画像データは、学習部104に入力される。学習部104は、多数の学習画像の入力を受けて、グレースケール画像のテクスチャや濃淡などの形態及び形状の情報(以下、形態情報という)と、RGBデータの対応する色を学習する。
なお、グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、RGBデータからエッジを検出する処理を行い、得られたエッジ画像を学習部104に入力する。学習部104は、エッジ画像の情報と、RGBデータの対応する色を学習する。つまり、脱色フィルタ106は、学習画像から色を取り除く脱色処理部として機能する。
学習部104による学習では、深層学習(ディープラーニング)を用いることができる。深層学習は、多層のニューラルネットワーク(ディープニューラルネットワーク(Deep
Neural Network:DNN)による機械学習手法である。学習画像には、細胞核、繊維、血球、脂肪、菌などの領域が含まれていることが望ましい。学習の工程で入力される学習画像を病理染色画像に限定することで、色の間違いが起こりにくい学習器100を構成することができる。
図2は、学習画像のデータの例を示す模式図であって、脱色フィルタ106の脱色処理により得られたグレースケールの画像データ300と、学習画像そのものであるRGBの画像データ400をピクセル毎に示している。図2では、形態情報を有するグレースケールの画像データ300を左側に示している。また、グレースケールの画像データ300に対応し、正解となる理想的な色情報を有する画像データ400を右側に示している。このように、学習部104は、ピクセル毎に、任意の形態及び形状情報からそのピクセルの色を学習している。本実施形態において、学習部104は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。病理画像の染色に特徴的な色は、明視野であれば2~3色程度である。色変換したい染色の種類を増やす場合は、学習器100を複数備えることが望ましい。
学習部104による学習の結果、学習画像の形態情報と色情報が対応付けされた学習結果情報が得られる。学習結果情報は、着色器200の着色部206に送られる。
色変換器200は、画像入力部202、脱色フィルタ204、着色部206、ステイン分離部208、表示処理部210、操作入力部212を有している。なお、図1に示す学習器100、色変換器200の各構成要素は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)から構成することができる。
画像入力部202には、着色の対象である入力画像が入力される。入力画像は、脱色フィルタ204に送られる。脱色フィルタ204は、入力画像に脱色処理を施し、グレースケール画像を作成する。グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、入力画像からエッジ画像を検出する。脱色フィルタ204は、学習画像から色を取り除く脱色処理部として機能し、エッジ検出の機能を備えていても良い。なお、入力画像が蛍光画像の場合、蛍光画像はグレースケール画像であるため、脱色フィルタ202による処理は行わなくて良い。画像入力部202または脱色フィルタ204は、脱色した画像を取得する取得部として機能する。色変換器200の脱色フィルタ204は、学習器100の脱色フィルタ106と同じものを使用することが好ましいが、ピンボケなどが発生している入力画像に対しては、入力画像への前処理としてエッジ強調フィルタ等をかけても良い。
入力画像を脱色フィルタ204に通すことにより、入力画像のグレースケール画像が得られる。得られたグレースケール画像は、着色部206に入力される。また、脱色フィルタ204による脱色処理と並行して、ステイン分離部208が入力画像にステイン分離処理を施す。ステイン分離部208は、前述した特許文献2に記載された手法を用い、画像の色の特徴を表すステインベクトルに基づいて入力画像の色を分離する。ステイン分離処理により、細胞核とその他の核以外の領域が判別可能になる。
着色部206は、入力されたグレースケール画像の形態情報を学習部104から得られる学習結果情報に当てはめることで、形態情報に対応する色情報を取得する。そして、形態情報に対応する色情報を用いてグレースケール画像に着色を行う。
着色の際、グレースケール画像のみで着色部206による着色は可能であるが、例えば細胞核と同様の大きさ、形状であるが、細胞核でない物体が入力画像に存在する場合、細胞核として着色が行われてしまう可能性がある。このため、ステイン分離処理により得られる情報を着色のヒント(補助情報)として用い、着色の精度を高めるようにする。
図3は、入力画像をヘマトキシリン・エオジン(Hematoxylin
Eosin:HE)染色による画像(以下、HE画像という)とした場合に、ステイン分離処理による分離結果を模式的に示す図である。また、図4は、HE画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。ヘマトキシリン・エオジン染色により、HE画像では、細胞核は紫色に染色され、細胞核以外の組織成分は赤色に染色される。図3及び図4に示したように、HE画像にステイン分離処理を施すことにより、細胞核は紫色に分離され、細胞核以外は赤色に分離される。
ステイン分離部202では、2つ以上に色分離された画像から着色部206による着色のヒントとなる座標を抽出する。座標の抽出では、閾値処理で高輝度の代表点を見つけて、所定の閾値以上の高輝度の領域を抽出し、その領域の重心或いは中心の座標を求める。検出位置の絞り込みの際にはNMS(Non-Maximum Suppression)等のアルゴリズムを使用しても良い。ステイン分離部202により分離された色と座標の位置情報を着色部206にヒントとして与えることで、着色部206による精度の高い色変換を実現できる。ステイン分離で使用するステインベクタは、学習画像から求められるものを与えても良い。なお、ステイン分離で使用するステインベクトルは、学習画像から求められるものを与えても良い。
ステイン分離部202によるステイン分離処理によれば、細胞核の領域は、図3及び図4で紫色の領域として認識されている。このため、着色部206による着色の際に、グレースケール画像の形態情報からは細胞核以外の領域が細胞核であると認識されたとしても、ステイン分離処理から得られる補助情報では、その領域の座標は細胞核の座標に合致しないことになる。従って、当該領域を細胞核以外の領域であると判定できる。従って、ステイン分離処理により得られる補助情報を着色部206による着色の際に用いることで、精度良く着色を行うことが可能である。
着色部206では、ステイン分離処理によって得られた領域の色を、画像入力部202に入力された原画像から抽出して着色を行う。例えば、形態情報からは細胞核の領域でないと判定された領域について、ステイン分離処理によってその領域に細胞核の色が付いている場合は、その領域で原画像から得られる色を着色する。一方、着色部206は、ステイン分離処理によって得られた領域に基づいて学習画像の色を参照することもできる。学習画像の色を参照する場合、原画像のステインベクトルと学習画像のステインベクトル(リファレンスベクトル)の距離が近い学習画像の色を選択し、着色の際の補助情報として使用する。この場合、学習部104にて、予め学習画像のステインベクトルを抽出しておく。学習画像のステインベクトルの抽出の際に機械学習を使ってもよい。
以上のように、色変換器200による色付けの工程は、入力画像の細胞核と、その他の細胞領域及び組織領域の色を領域あるいは点毎に判別して記憶する工程と、画像にデジタルフィルタをかけて脱色し、形態あるいは形状情報を取得する工程と、領域あるいは点毎に記憶された色情報を使い、領域毎に形態或いは形状情報を元に学習された色を導き出し、理想的な色にデジタル染色を行う工程を含む。色付け工程における「領域」の検出には、ステイン分離処理を用いることで自動化が可能である。色付け工程における「点」の検出は、ステイン分離により得られる領域の中心や重心座標でも良いし、画像中のランダムな座標でも良い。なお、上述したように、学習部104は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。このため、着色部206による着色の際には、入力画像のうち、例えばHE染色では本来は出現しない色の領域に関しては、HE染色の範囲の色に限定して着色が行われる。従って、予期せぬ色に着色が行われてしまうことを抑制できる。
着色部206により着色が行われた画像は、出力画像として表示処理部210に入力される。表示処理部210は、出力画像を表示装置250に表示するための処理を行う。操作入力部212は、マウス、キーボード等からユーザの操作情報が入力される。操作入力部212は、表示処理部210に操作情報を送る。表示処理部210は、操作情報に基づいて表示装置250に表示する表示内容を制御する。なお、表示処理部210による処理については、後述する。
2.本実施形態のシステムによる着色処理の具体例
次に、本実施形態のシステムによる着色処理(色変換処理)のいくつかの具体例について説明する
2.1.明視野画像の色変換
先ず、明視野画像の色変換について説明する。明視野画像として、上述したHE画像やIHC画像などが挙げられる。ここで、免疫組織化学(Immunohistochemistry:IHC)により、抗原抗体反応を利用して組織や細胞中の特定の物質を特異的に検出する際に用いる画像を、IHC画像と称する。本実施形態によれば、これらの明視野画像間で相互に色変換処理を行うことができる。
先ず、入力画像がHE画像であり、出力画像としてもHE画像を出力する場合は、ステイン分離処理によって出てきた色情報を着色の基準色として保持しておく。上述したように、ステイン分離処理によって得られた領域の色を原画像から抽出しても良いし、学習画像の色を参照しても良い。
また、入力画像がIHC画像であり、出力画像としてHE画像を出力する場合など、異なる染色の画像に変換する場合は、ステイン分離処理により得られた色にリファレンスの色を割り当てて基準色とすることが望ましい。例えば、入力画像がIHC画像であり、出力画像をHE画像とする場合、IHC画像では細胞核が青く染まるので、IHC画像の青色に対して、HE画像の紫色を着色後の細胞核の領域の基準色として与える。これにより、IHC画像を着色してHE画像にする場合に、細胞核の領域を紫色に着色することができる。着色部206は、ステイン分離部208によるステイン分離後の色に対してリファレンスの色を割り当て、これを基準色として着色を行う。
以上のように、ステイン分離処理により得られた領域において染色位置のサンプリングを行い、脱色変換後のグレースケールの画像と基準色情報を元に着色する。なお、HE画像からIHC画像への色変換も可能である。
図5は、明視野画像の色変換の処理を示すフローチャートである。先ず、ステップS10では、ステイン分離部208が入力画像に対してステイン分離処理を行う。次のステップS12では、ステイン分離により得られた画像に基づいて、染色位置(核情報)のサンプリングを行う。次のステップS14では、脱色フィルタ204が入力画像に脱色処理(脱色変換)を施すことで、グレースケール画像が得られる。次のステップS16では、着色部206が、グレースケール画像の形態情報を、学習部104から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
図6は、IHC画像をHE画像(Simulated HE)に変換した例を示す図である。IHC画像は、抗原抗体反応を利用した染色であり、例えば癌細胞などの特定には適しているが、細胞の形状を正確に観察するには必ずしも適していない場合がある。このような場合、本実施形態の手法によりIHC画像をHE画像に変換することで、細胞などの形状観察を容易に行うことができる。上述のように、IHC画像では細胞核が青く染まるので図6の左側に示すIHC画像の入力画像では、細胞核が青く染まっている(図6の左図で灰色の点で示される領域)。一方、図6の右側に示す着色後のHE画像では、細胞核は紫に着色され(図6の右図で黒い点で示される領域)、細胞核以外は赤色に着色されている。従って、色変換後のHE画像と元のIHC画像とで、細胞核の位置が対応しており、正確に変換が行われていることが判る。
2.2.蛍光画像の色変換
次に、蛍光画像の明視野色変換について説明する。例えば、蛍光画像からHE画像またはIHC画像へ色変換する場合が挙げられる。例えばDAPIを蛍光色素として用い、観察対象物の染色を行い、観察対象物の蛍光画像を得る。そして、蛍光画像を核情報としてサンプリングする。そして、核情報に対してリファレンスの基準色を割り当てて着色を行う。リファレンスの基準色は、HE画像であれば紫、IHC画像であれば青である。
蛍光画像は、信号が微弱なためゲイン調整が必要になる。また、例えば濃淡画像の場合は明暗が反対であるため、ネガ-ポジ反転処理を加えることが望ましい。
着色が完了すると、同様の処理を蛍光画像の枚数分だけ行い、重ね合わせる。例えばIHC画像などの2色以上の多重染色の場合は、それぞれの色を学習する必要があるので、学習器100側では、多重染色明視野画像の事前学習を行っておく。
マルチプレクス(重ね合わせ)後の画像を扱う場合は、それぞれの蛍光画像の色の割り当てに応じたゲイン調整が必要になる。
図7は、蛍光画像を明視野画像に変換する処理を示すフローチャートである。先ず、ステップS20では、蛍光により核が染色された領域を示す核染色画像をサンプリングする。ここでは、蛍光体によって染色された生体組織に所定の光を照射して得られる蛍光画像から、核染色画像をサンプリングする。次のステップS22では、サンプリングした画像のゲイン調整を行う。次のステップS24では、ネガ-ポジ反転処理を行う。
次のステップS26では、サンプリングした細胞核に着色を行う。次のステップS28では、画像のマルチプレクスを行う。複数の染色画像をミックスするような蛍光観察において、蛍光画像の領域毎に色を決定し混合画像上で色付け工程を進めることで、疑似的な明視野染色画像を得ることもできる。
図8は、蛍光画像をHE画像(Simulated HE)に変換した例を示す図である。蛍光画像は、図8の左側に示す蛍光画像の入力画像は、基本的にグレースケール画像であり、白く見える部分は基本的に細胞核の領域に相当する。蛍光画像において、核の部分は周囲よりも明るくなっているため、上記の核染色画像としてサンプリングされる。これにより、着色部206は、サンプリングされた細胞核の形状に基づいて核の部分に着色を行うことができる。図8を参照すると、蛍光画像を変換して得られるHE画像(Simulated HE)では、蛍光画像で白く見える細胞核の領域が、HE画像での細胞核の領域450の色に着色されていることが判る。学習器100側で蛍光画像の新たな学習は不要であり、HE画像の学習データに基づいて蛍光画像からHE画像への変換を行うことが可能である。
2.3.明視野画像でサンプルにアーチファクトが存在する場合
ここでは、明視野画像でサンプルにアーチファクト(人工物、異物)が存在する場合について説明する。病理染色画像の場合、アーチファクトとして例えば気泡が挙げられる。アーチファクトは、非常に深い黒色であり、他の色と識別が容易である。この黒色を検出する閾値処理でマスク画像を生成し、その領域に例えばHE画像の赤(ピンク)の基準色を割り当てることで、通常の組織と同じ色になり視認性が向上する。本処理と上述した「2.1.明視野画像の色変換」の処理を繋げることで、アーチファクトのある標本に関してもリファレンス画像に近い色を再現することができる。
図9は、入力画像のサンプルにアーチファクト(異物)がある場合に、これらの異物を含めて着色する処理を示すフローチャートである。先ず、ステップS30では、入力画像の画素値の閾値処理を行い、黒色の部分を検出する。次のステップS32では、マスク処理を行うことで、ステップS30で検出した黒色の部分を取り除く。次のステップS34では、黒色の部分を取り除いた画像に対してステイン分離処理を行う。
次のステップS36では、ステイン分離処理により得られた画像から、染色位置のサンプリングを行う。次のステップS38では、入力画像に脱色処理を施すことで、グレースケール画像を得る。次のステップS39では、グレースケール画像の形態情報を、学習部104から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
3.表示アプリケーションの例
次に、出力画像を表示装置250に表示する際のアプリケーション例について説明する。本実施形態では、表示処理部210の処理により、入力画像と出力画像をともに表示装置250に表示することが可能である。例えば、IHC画像が入力画像であり、HE画像が出力画像である場合、癌細胞などを判別するためにIHC画像を観察し、細胞の形状を判別するためにHE画像を観察することが考えられる。
図10は、入力画像であるIHC画像と、出力画像であるHE画像を並べて表示した例を示す模式図である。図10に示す例では、表示装置250の表示画面252上に、入力画像であるIHC画像は左側に表示され、出力画像であるHE画像は右側に表示されている。これにより、観察者は、左側のIHC画像で癌細胞の位置を認識でき、右側のHE画像で細胞の形状を認識することができる。表示処理部210は、ユーザがマウスなどを操作して操作入力部212から画像を画面ないで移動させる指示を入力した場合は、入力画像であるIHC画像と出力画像であるHE画像を表示画面252上で同じ方向に移動させる。これにより、ユーザによる観察時の利便性を高めることができる。
図11は、観察対象物を表示画面の全体に表示した例であって、画面左側をIHC画像として表示し、画面右側をHE画像として表示した例を示す模式図である。IHC画像とHE画像の境界254は、ユーザがマウスなどを操作して操作入力部212から情報を入力することで、左右に移動することができる。図11のような表示を行うことで、1の観察対象物について、画面左側で癌細胞を視認し、画面右側で形状を認識することが可能である。
図12は、奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるIHC画像を、右側に出力画像であるHE画像を表示した例を示す模式図である。IHC画像とHE画像は、同じ奥行き位置の暗面の画像がそれぞれ紐付けられている。ユーザは、操作入力部212から情報を入力することで、所望の奥行き位置の断面において、IHC画像とHE画像をともに表示することができる。
以上説明したように本実施形態によれば、色変換器200による着色を行うことで、染色が劣化した標本を綺麗に色再現することが可能となる。また、病理染色画像は、スキャナ毎に色合いが異なる場合があるが、色変換器200による着色を行うことで、染色の色味を好みのリファレンス色に補正できる。また、色変換器200による着色を行うことで、標本の汚れを見えなくして視認性を向上することができる。また、蛍光画像を明視野画像のように着色して観察することも可能となる。更に、トーンカーブ補正と異なり、各画像のスライドの中でそれぞれ適切な色に補正することも可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) 色が脱色された脱色画像を取得する取得部と、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
を備える、画像着色装置。
(2) 前記取得部は、色が付いた入力画像に脱色処理を施す脱色処理部から構成される、前記(1)に記載の画像着色装置。
(3) 前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、前記(1)又は(2)に記載の、画像着色装置。
(4) 前記入力画像にステイン分離処理を行うステイン分離部を備え、
前記着色部は、前記ステイン分離処理により得られる補助情報を使用して前記着色を行う、前記(2)に記載の画像着色装置。
(5) 前記補助情報は、前記ステイン分離処理により分離された前記入力画像中の所定の部位の位置情報であり、
前記着色部は、前記入力画像のうち前記位置情報に対応する部位については、前記所定の部位に対応する色を着色する、前記(4)に記載の画像着色装置。
(6) 前記所定の部位は、細胞核に対応する部位である、前記(5)に記載の画像着色装置。
(7) 前記着色部は、前記ステイン分離処理により分離された前記所定の部位において、前記入力画像から得られる色を着色する、前記(5)又は(6)に記載の画像着色装置。
(8) 前記着色部は、前記ステイン分離処理により得られる前記所定の部位において、前記ステイン分離処理に基づいて前記学習結果情報から得られるリファレンス色を着色する、前記(5)又は(6)に記載の画像着色装置。
(9) 前記入力画像はHE染色により得られるHE画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記HE画像に対応する色を着色する、前記(2)に記載の画像着色装置。
(10) 前記入力画像はIHC染色により得られるIHC画像であり、前記着色部は前記脱色処理が施された前記入力画像にHE染色により得られるHE画像に対応する色を着色する、前記(2)に記載の画像着色装置。
(11) 前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
前記着色部は、前記蛍光画像にHE染色により得られるHE画像又はIHC染色により得られるIHC画像に対応する色を着色する、前記(1)に記載の画像着色装置。
(12) 前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、前記(11)に記載の画像着色装置。
(13) 前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、前記(11)又は(12)に記載の画像着色装置。
(14) 前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、前記(1)~(13)のいずれかに記載の画像着色装置。
(15) 前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、前記(1)~(14)のいずれかに記載の画像着色装置。
(16) 前記表示処理部は、同一の観察対象物について、前記観察対象物の第1の領域は着色前の画像を表示させ、前記観察対象物の第2の領域は着色後の画像を表示させる、前記(15)に記載の画像着色装置。
(17) 前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、前記(15)に記載の画像着色装置。
(18) 前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、前記(15)に記載の画像着色装置。
(19) 病理染色画像に着色を行う、請求項1に記載の画像着色装置。
(20) 色が脱色された脱色画像を取得することと、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
を備える、画像着色方法。
(21) 色が脱色された脱色画像を取得する手段、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
としてコンピュータを機能させるプログラム。
(22) 色が付いた学習画像に脱色処理を施す脱色処理部と、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、
を備える、画像学習装置。
(23) 色が付いた学習画像に脱色処理を施すことと、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、
を備える、画像学習方法。
(24) 色が付いた学習画像に脱色処理を施す手段、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、
としてコンピュータを機能させるプログラム。
(25) 色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、
を備える、画像着色システム。
100 学習器
104 学習部
106 脱色フィルタ
200 着色器
202 画像入力部
204 脱色フィルタ
206 着色部
208 ステイン分離部
210 表示処理部

Claims (16)

  1. 色が付いた入力画像に脱色処理を施す脱色処理部と、
    色が脱色された脱色画像を取得する取得部と、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
    前記入力画像にステイン分離処理を行うステイン分離部と、
    を備え、
    前記着色部は、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、
    画像着色装置。
  2. 前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、請求項1に記載の画像着色装置。
  3. 前記入力画像はHE染色により得られるHE画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記HE画像に対応する色を着色する、請求項に記載の画像着色装置。
  4. 前記入力画像はIHC染色により得られるIHC画像であり、前記着色部は前記脱色処理が施された前記入力画像にHE染色により得られるHE画像に対応する色を着色する、請求項に記載の画像着色装置。
  5. 前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
    前記着色部は、前記蛍光画像にHE染色により得られるHE画像又はIHC染色により得られるIHC画像に対応する色を着色する、請求項1に記載の画像着色装置。
  6. 前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、請求項に記載の画像着色装置。
  7. 前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、請求項に記載の画像着色装置。
  8. 前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、請求項1に記載の画像着色装置。
  9. 前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、請求項1に記載の画像着色装置。
  10. 前記表示処理部は、同一の観察対象物について、前記観察対象物の第1の領域は着色前の画像を表示させ、前記観察対象物の第2の領域は着色後の画像を表示させる、請求項に記載の画像着色装置。
  11. 前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、請求項に記載の画像着色装置。
  12. 前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、請求項に記載の画像着色装置。
  13. 前記脱色画像は、病理染色画像である、請求項1に記載の画像着色装置。
  14. 色が付いた入力画像に脱色処理を施すことと、
    色が脱色された脱色画像を取得することと、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
    前記入力画像にステイン分離処理を行うことと、
    を備え、
    前記着色することは、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、
    画像着色方法。
  15. 色が付いた入力画像に脱色処理を施す脱色手段、
    色が脱色された脱色画像を取得する手段、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
    前記入力画像にステイン分離処理を行うステイン分離手段、
    としてコンピュータを機能させるプログラムであって、
    前記着色する手段は、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、
    プログラム。
  16. 色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
    色が付いた入力画像に脱色処理を施す脱色処理部と、
    色が脱色された脱色画像を取得する取得部と
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と
    前記入力画像にステイン分離処理を行うステイン分離部と、
    を有し、
    前記着色部は、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、画像着色装置と、
    を備える、画像着色システム。
JP2019557035A 2017-12-01 2018-10-02 画像着色装置、画像着色方法、プログラム、及び画像着色システム Active JP7200945B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017231403 2017-12-01
JP2017231403 2017-12-01
PCT/JP2018/036845 WO2019106946A1 (ja) 2017-12-01 2018-10-02 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム

Publications (2)

Publication Number Publication Date
JPWO2019106946A1 JPWO2019106946A1 (ja) 2021-01-28
JP7200945B2 true JP7200945B2 (ja) 2023-01-10

Family

ID=66664784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557035A Active JP7200945B2 (ja) 2017-12-01 2018-10-02 画像着色装置、画像着色方法、プログラム、及び画像着色システム

Country Status (5)

Country Link
US (2) US11321881B2 (ja)
EP (1) EP3719739B1 (ja)
JP (1) JP7200945B2 (ja)
CN (1) CN111406274B (ja)
WO (1) WO2019106946A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019106946A1 (ja) 2017-12-01 2019-06-06 ソニー株式会社 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム
EP3754334B1 (en) * 2018-02-15 2023-06-21 Niigata University System, program, and method for determining hypermutated tumor
EP3935577A4 (en) * 2019-03-08 2022-11-16 University Of Southern California IMPROVED HISTOPATHOLOGY CLASSIFICATION THROUGH MACHINE SELF-LEARNING FROM TISSUE FINGERPRINTS
WO2024064338A1 (en) 2022-09-22 2024-03-28 Agilent Technologies, Inc. Anti-human icos antibodies for use in immunohistochemistry (ihc) protocols and for diagnosing cancer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053074A (ja) 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
WO2014038408A1 (ja) 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016028250A (ja) 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーCireca Theranostics,Llc 生物学的試片をスペクトル画像により分析する方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954574B2 (ja) * 2004-01-20 2007-08-08 株式会社東芝 消色可能な画像形成材料
WO2005104662A2 (en) * 2004-05-05 2005-11-10 Yissum Research Development Company Of The Hebrew University Of Jerusalem Colorization method and apparatus
RU2305270C2 (ru) * 2005-05-18 2007-08-27 Андрей Алексеевич Климов Способ флуоресцентной наноскопии (варианты)
JP5137481B2 (ja) 2007-06-29 2013-02-06 オリンパス株式会社 画像処理装置、画像処理プログラム、および画像処理方法
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
EP2827772B1 (en) * 2012-03-19 2023-10-04 Genetic Innovations Inc. Devices, systems, and methods for virtual staining
US9036889B2 (en) 2012-07-13 2015-05-19 Sony Corporation Method and apparatus for stain separation using vector analysis
WO2019106946A1 (ja) 2017-12-01 2019-06-06 ソニー株式会社 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053074A (ja) 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
JP2016028250A (ja) 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーCireca Theranostics,Llc 生物学的試片をスペクトル画像により分析する方法
WO2014038408A1 (ja) 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hyungjoo Cho et al.,Neutral Stain-Style Transfer Learning using GAN for Histopathological Images,JMLR:Workshop and Conference Proceedings,2017年,80,pp. 1-10
Vahadane et al.,Structure-Preserving Color Normalization and Sparse Stain Separation for Histological Images,IEEE Transactions in Medical Imaging,2016年08月,Vol.35,No.8,pp. 1962-1971

Also Published As

Publication number Publication date
EP3719739B1 (en) 2024-02-28
CN111406274B (zh) 2024-04-19
CN111406274A (zh) 2020-07-10
WO2019106946A1 (ja) 2019-06-06
US20200294278A1 (en) 2020-09-17
US11983797B2 (en) 2024-05-14
US20220270305A1 (en) 2022-08-25
US11321881B2 (en) 2022-05-03
JPWO2019106946A1 (ja) 2021-01-28
EP3719739A1 (en) 2020-10-07
EP3719739A4 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
JP7200945B2 (ja) 画像着色装置、画像着色方法、プログラム、及び画像着色システム
US11074692B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP7217589B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US8948488B2 (en) Methods and systems for digitally enhancing an image of a stained material
US7826652B2 (en) Method for forming an optimally exposed image of cytological specimen
JP2008539763A (ja) 色原体分離に基づく画像解析の方法
JP2008541179A (ja) 多色画像、特に顕微鏡多色透過画像におけるスペクトル重畳またはカラー重畳画像寄与の分離
WO2017221592A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017125840A (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
KR102431217B1 (ko) 화상 해석 장치, 방법 및 프로그램
US11210791B2 (en) Computer-implemented method for locating possible artifacts in a virtually stained histology image
JPWO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP7393769B2 (ja) 生物学的サンプルの画像に対するコンピュータ実装プロセス
KR101704690B1 (ko) 세포 분석 장치 및 방법
US10175468B2 (en) Method for generating a contrast image of an object structure and apparatuses relating thereto
US9672629B2 (en) Fluorescence image processing apparatus and method
WO2019239532A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010025758A (ja) 画像処理装置および画像処理方法
US11238268B2 (en) Image processing device, image processing method, and pathological diagnosis assistance system using same
WO2015133100A1 (en) Image processing apparatus and image processing method
JP2003339645A (ja) 医療分野におけるフォトレタッチソフトウェアを用いた画像解析方法
WO2024024180A1 (ja) 解析支援方法、プログラムおよび解析支援装置
WO2022124832A1 (ko) 골수가 도말된 슬라이드 샘플 이미지의 셀 존 결정 방법 및 셀 존의 고배율 촬상 방법
Guiet et al. DEVILS: a tool for the visualization of large datasets with a high dynamic range
CN117425915A (zh) 用于生成虚拟染色图像的显微镜系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R151 Written notification of patent or utility model registration

Ref document number: 7200945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151