JP7200945B2 - 画像着色装置、画像着色方法、プログラム、及び画像着色システム - Google Patents

画像着色装置、画像着色方法、プログラム、及び画像着色システム Download PDF

Info

Publication number
JP7200945B2
JP7200945B2 JP2019557035A JP2019557035A JP7200945B2 JP 7200945 B2 JP7200945 B2 JP 7200945B2 JP 2019557035 A JP2019557035 A JP 2019557035A JP 2019557035 A JP2019557035 A JP 2019557035A JP 7200945 B2 JP7200945 B2 JP 7200945B2
Authority
JP
Japan
Prior art keywords
image
coloring
information
color
cell nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019557035A
Other languages
English (en)
Other versions
JPWO2019106946A1 (ja
Inventor
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019106946A1 publication Critical patent/JPWO2019106946A1/ja
Application granted granted Critical
Publication of JP7200945B2 publication Critical patent/JP7200945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本開示は、画像着色装置、画像着色方法、プログラム、及び画像着色システムに関する。
従来、例えば下記の特許文献１には、染色標本画像の色素量分布を標準標本画像の色素量分布に近似させ、染色標本画像の各画像位置における色素量を適切に補正することが記載されている。また、下記の特許文献２には、病理画像についてベクトル解析によりステイン分離処理を行う手法が記載されている。
特開２００９－１４３５５号公報 米国特許第９０３６８８９号明細書
しかしながら、上記特許文献１に記載された手法では、対象画像の色素量分布の分布形状特徴と標準標本クラスの色素量分布の分布形状特徴を比較して色素量を補正しているため、対象画像の形態や形状などに応じて所望の色を着色することは困難である。
そこで、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが求められていた。
本開示によれば、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を備える、画像着色装置が提供される。
本開示によれば、色が脱色された脱色画像を取得することと、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、を備える、画像着色方法が提供される。
本開示によれば、色が脱色された脱色画像を取得する手段、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、としてコンピュータを機能させるプログラムが提供される。
本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を備える、画像学習装置が提供される。
本開示によれば、色が付いた学習画像に脱色処理を施すことと、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、を備える、画像学習方法が提供される。
本開示によれば、色が付いた学習画像に脱色処理を施す手段、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、としてコンピュータを機能させるプログラムが提供される。
また、本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、を備える、画像着色システムが提供される。
以上説明したように本開示によれば、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示す模式図である。 学習画像のデータの例を示す模式図である。 入力画像をヘマトキシリン・エオジン（ＨｅｍａｔｏｘｙｌｉｎＥｏｓｉｎ：ＨＥ）染色によるＨＥ画像とした場合に、ステイン分離処理による分離結果を模式的に示す図である。 ＨＥ画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。 明視野画像の色変換の処理を示すフローチャートである。 ＩＨＣ画像をＨＥ画像に変換した例を示す図である。 蛍光画像を明視野画像に変換する処理を示すフローチャートである。 蛍光画像をＨＥ画像に変換した例を示す図である。 サンプルにアーチファクトなどの異物がある場合に、異物を含めて着色する処理を示すフローチャートである。 入力画像であるＩＨＣ画像と、出力画像であるＨＥ画像を並べて表示した例を示す模式図である。 観察対象物を表示画面の全体に表示した例であって、画面左側をＩＨＣ画像として表示し、画面右側をＨＥ画像として表示した例を示す模式図である。 奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるＩＨＣ画像を、右側に出力画像であるＨＥ画像を表示した例を示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．本実施形態のシステムによる着色処理の具体例
２．１．明視野画像の色変換
２．２．蛍光画像の色変換
２．３．明視野画像でサンプルにアーチファクトが存在する場合
３．表示アプリケーションの例
１．システムの構成例
本開示は、機械学習を使って画像の色変換する方法に関する。対象となる画像として、例えば病理染色画像などの病理画像が挙げられる。本実施形態では、特に、病理染色画像の色を変換する場合に、病理画像の色素の位置及び染色情報を使って、細胞核とその他の細胞領域及び組織領域に自動的に精度よく色付けをする手法について説明する。
図１は、本開示の一実施形態に係るシステム１０００の構成を示す模式図である。図１に示すように、このシステム１０００は、学習器１００、色変換器２００、及び表示装置２５０を備えている。学習器１００は、学習画像入力部１０２、学習部１０４、脱色フィルタ１０６、を有して構成されている。
学習画像入力部１０２には、学習画像（リファレンス画像）のＲＧＢ（赤、緑、青）の画像データが入力される。学習画像は、例えば上述した病理染色画像である。学習画像入力部１０２に入力された学習画像は、学習部１０４に入力される。また、学習画像入力部１０２に入力された学習画像は、脱色フィルタ１０６により脱色処理が行われる。脱色処理によりグレースケールの画像データが得られる。グレースケールの画像データは、学習部１０４に入力される。学習部１０４は、多数の学習画像の入力を受けて、グレースケール画像のテクスチャや濃淡などの形態及び形状の情報（以下、形態情報という）と、ＲＧＢデータの対応する色を学習する。
なお、グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、ＲＧＢデータからエッジを検出する処理を行い、得られたエッジ画像を学習部１０４に入力する。学習部１０４は、エッジ画像の情報と、ＲＧＢデータの対応する色を学習する。つまり、脱色フィルタ１０６は、学習画像から色を取り除く脱色処理部として機能する。
学習部１０４による学習では、深層学習（ディープラーニング）を用いることができる。深層学習は、多層のニューラルネットワーク（ディープニューラルネットワーク（Ｄｅｅｐ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）による機械学習手法である。学習画像には、細胞核、繊維、血球、脂肪、菌などの領域が含まれていることが望ましい。学習の工程で入力される学習画像を病理染色画像に限定することで、色の間違いが起こりにくい学習器１００を構成することができる。
図２は、学習画像のデータの例を示す模式図であって、脱色フィルタ１０６の脱色処理により得られたグレースケールの画像データ３００と、学習画像そのものであるＲＧＢの画像データ４００をピクセル毎に示している。図２では、形態情報を有するグレースケールの画像データ３００を左側に示している。また、グレースケールの画像データ３００に対応し、正解となる理想的な色情報を有する画像データ４００を右側に示している。このように、学習部１０４は、ピクセル毎に、任意の形態及び形状情報からそのピクセルの色を学習している。本実施形態において、学習部１０４は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。病理画像の染色に特徴的な色は、明視野であれば２～３色程度である。色変換したい染色の種類を増やす場合は、学習器１００を複数備えることが望ましい。
学習部１０４による学習の結果、学習画像の形態情報と色情報が対応付けされた学習結果情報が得られる。学習結果情報は、着色器２００の着色部２０６に送られる。
色変換器２００は、画像入力部２０２、脱色フィルタ２０４、着色部２０６、ステイン分離部２０８、表示処理部２１０、操作入力部２１２を有している。なお、図１に示す学習器１００、色変換器２００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。
画像入力部２０２には、着色の対象である入力画像が入力される。入力画像は、脱色フィルタ２０４に送られる。脱色フィルタ２０４は、入力画像に脱色処理を施し、グレースケール画像を作成する。グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、入力画像からエッジ画像を検出する。脱色フィルタ２０４は、学習画像から色を取り除く脱色処理部として機能し、エッジ検出の機能を備えていても良い。なお、入力画像が蛍光画像の場合、蛍光画像はグレースケール画像であるため、脱色フィルタ２０２による処理は行わなくて良い。画像入力部２０２または脱色フィルタ２０４は、脱色した画像を取得する取得部として機能する。色変換器２００の脱色フィルタ２０４は、学習器１００の脱色フィルタ１０６と同じものを使用することが好ましいが、ピンボケなどが発生している入力画像に対しては、入力画像への前処理としてエッジ強調フィルタ等をかけても良い。
入力画像を脱色フィルタ２０４に通すことにより、入力画像のグレースケール画像が得られる。得られたグレースケール画像は、着色部２０６に入力される。また、脱色フィルタ２０４による脱色処理と並行して、ステイン分離部２０８が入力画像にステイン分離処理を施す。ステイン分離部２０８は、前述した特許文献２に記載された手法を用い、画像の色の特徴を表すステインベクトルに基づいて入力画像の色を分離する。ステイン分離処理により、細胞核とその他の核以外の領域が判別可能になる。
着色部２０６は、入力されたグレースケール画像の形態情報を学習部１０４から得られる学習結果情報に当てはめることで、形態情報に対応する色情報を取得する。そして、形態情報に対応する色情報を用いてグレースケール画像に着色を行う。
着色の際、グレースケール画像のみで着色部２０６による着色は可能であるが、例えば細胞核と同様の大きさ、形状であるが、細胞核でない物体が入力画像に存在する場合、細胞核として着色が行われてしまう可能性がある。このため、ステイン分離処理により得られる情報を着色のヒント（補助情報）として用い、着色の精度を高めるようにする。
図３は、入力画像をヘマトキシリン・エオジン（Ｈｅｍａｔｏｘｙｌｉｎ
Ｅｏｓｉｎ：ＨＥ）染色による画像（以下、ＨＥ画像という）とした場合に、ステイン分離処理による分離結果を模式的に示す図である。また、図４は、ＨＥ画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。ヘマトキシリン・エオジン染色により、ＨＥ画像では、細胞核は紫色に染色され、細胞核以外の組織成分は赤色に染色される。図３及び図４に示したように、ＨＥ画像にステイン分離処理を施すことにより、細胞核は紫色に分離され、細胞核以外は赤色に分離される。
ステイン分離部２０２では、２つ以上に色分離された画像から着色部２０６による着色のヒントとなる座標を抽出する。座標の抽出では、閾値処理で高輝度の代表点を見つけて、所定の閾値以上の高輝度の領域を抽出し、その領域の重心或いは中心の座標を求める。検出位置の絞り込みの際にはＮＭＳ（Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）等のアルゴリズムを使用しても良い。ステイン分離部２０２により分離された色と座標の位置情報を着色部２０６にヒントとして与えることで、着色部２０６による精度の高い色変換を実現できる。ステイン分離で使用するステインベクタは、学習画像から求められるものを与えても良い。なお、ステイン分離で使用するステインベクトルは、学習画像から求められるものを与えても良い。
ステイン分離部２０２によるステイン分離処理によれば、細胞核の領域は、図３及び図４で紫色の領域として認識されている。このため、着色部２０６による着色の際に、グレースケール画像の形態情報からは細胞核以外の領域が細胞核であると認識されたとしても、ステイン分離処理から得られる補助情報では、その領域の座標は細胞核の座標に合致しないことになる。従って、当該領域を細胞核以外の領域であると判定できる。従って、ステイン分離処理により得られる補助情報を着色部２０６による着色の際に用いることで、精度良く着色を行うことが可能である。
着色部２０６では、ステイン分離処理によって得られた領域の色を、画像入力部２０２に入力された原画像から抽出して着色を行う。例えば、形態情報からは細胞核の領域でないと判定された領域について、ステイン分離処理によってその領域に細胞核の色が付いている場合は、その領域で原画像から得られる色を着色する。一方、着色部２０６は、ステイン分離処理によって得られた領域に基づいて学習画像の色を参照することもできる。学習画像の色を参照する場合、原画像のステインベクトルと学習画像のステインベクトル（リファレンスベクトル）の距離が近い学習画像の色を選択し、着色の際の補助情報として使用する。この場合、学習部１０４にて、予め学習画像のステインベクトルを抽出しておく。学習画像のステインベクトルの抽出の際に機械学習を使ってもよい。
以上のように、色変換器２００による色付けの工程は、入力画像の細胞核と、その他の細胞領域及び組織領域の色を領域あるいは点毎に判別して記憶する工程と、画像にデジタルフィルタをかけて脱色し、形態あるいは形状情報を取得する工程と、領域あるいは点毎に記憶された色情報を使い、領域毎に形態或いは形状情報を元に学習された色を導き出し、理想的な色にデジタル染色を行う工程を含む。色付け工程における「領域」の検出には、ステイン分離処理を用いることで自動化が可能である。色付け工程における「点」の検出は、ステイン分離により得られる領域の中心や重心座標でも良いし、画像中のランダムな座標でも良い。なお、上述したように、学習部１０４は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。このため、着色部２０６による着色の際には、入力画像のうち、例えばＨＥ染色では本来は出現しない色の領域に関しては、ＨＥ染色の範囲の色に限定して着色が行われる。従って、予期せぬ色に着色が行われてしまうことを抑制できる。
着色部２０６により着色が行われた画像は、出力画像として表示処理部２１０に入力される。表示処理部２１０は、出力画像を表示装置２５０に表示するための処理を行う。操作入力部２１２は、マウス、キーボード等からユーザの操作情報が入力される。操作入力部２１２は、表示処理部２１０に操作情報を送る。表示処理部２１０は、操作情報に基づいて表示装置２５０に表示する表示内容を制御する。なお、表示処理部２１０による処理については、後述する。
２．本実施形態のシステムによる着色処理の具体例
次に、本実施形態のシステムによる着色処理（色変換処理）のいくつかの具体例について説明する
２．１．明視野画像の色変換
先ず、明視野画像の色変換について説明する。明視野画像として、上述したＨＥ画像やＩＨＣ画像などが挙げられる。ここで、免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ：ＩＨＣ）により、抗原抗体反応を利用して組織や細胞中の特定の物質を特異的に検出する際に用いる画像を、ＩＨＣ画像と称する。本実施形態によれば、これらの明視野画像間で相互に色変換処理を行うことができる。
先ず、入力画像がＨＥ画像であり、出力画像としてもＨＥ画像を出力する場合は、ステイン分離処理によって出てきた色情報を着色の基準色として保持しておく。上述したように、ステイン分離処理によって得られた領域の色を原画像から抽出しても良いし、学習画像の色を参照しても良い。
また、入力画像がＩＨＣ画像であり、出力画像としてＨＥ画像を出力する場合など、異なる染色の画像に変換する場合は、ステイン分離処理により得られた色にリファレンスの色を割り当てて基準色とすることが望ましい。例えば、入力画像がＩＨＣ画像であり、出力画像をＨＥ画像とする場合、ＩＨＣ画像では細胞核が青く染まるので、ＩＨＣ画像の青色に対して、ＨＥ画像の紫色を着色後の細胞核の領域の基準色として与える。これにより、ＩＨＣ画像を着色してＨＥ画像にする場合に、細胞核の領域を紫色に着色することができる。着色部２０６は、ステイン分離部２０８によるステイン分離後の色に対してリファレンスの色を割り当て、これを基準色として着色を行う。
以上のように、ステイン分離処理により得られた領域において染色位置のサンプリングを行い、脱色変換後のグレースケールの画像と基準色情報を元に着色する。なお、ＨＥ画像からＩＨＣ画像への色変換も可能である。
図５は、明視野画像の色変換の処理を示すフローチャートである。先ず、ステップＳ１０では、ステイン分離部２０８が入力画像に対してステイン分離処理を行う。次のステップＳ１２では、ステイン分離により得られた画像に基づいて、染色位置（核情報）のサンプリングを行う。次のステップＳ１４では、脱色フィルタ２０４が入力画像に脱色処理（脱色変換）を施すことで、グレースケール画像が得られる。次のステップＳ１６では、着色部２０６が、グレースケール画像の形態情報を、学習部１０４から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
図６は、ＩＨＣ画像をＨＥ画像（Ｓｉｍｕｌａｔｅｄ ＨＥ）に変換した例を示す図である。ＩＨＣ画像は、抗原抗体反応を利用した染色であり、例えば癌細胞などの特定には適しているが、細胞の形状を正確に観察するには必ずしも適していない場合がある。このような場合、本実施形態の手法によりＩＨＣ画像をＨＥ画像に変換することで、細胞などの形状観察を容易に行うことができる。上述のように、ＩＨＣ画像では細胞核が青く染まるので図６の左側に示すＩＨＣ画像の入力画像では、細胞核が青く染まっている（図６の左図で灰色の点で示される領域）。一方、図６の右側に示す着色後のＨＥ画像では、細胞核は紫に着色され（図６の右図で黒い点で示される領域）、細胞核以外は赤色に着色されている。従って、色変換後のＨＥ画像と元のＩＨＣ画像とで、細胞核の位置が対応しており、正確に変換が行われていることが判る。
２．２．蛍光画像の色変換
次に、蛍光画像の明視野色変換について説明する。例えば、蛍光画像からＨＥ画像またはＩＨＣ画像へ色変換する場合が挙げられる。例えばＤＡＰＩを蛍光色素として用い、観察対象物の染色を行い、観察対象物の蛍光画像を得る。そして、蛍光画像を核情報としてサンプリングする。そして、核情報に対してリファレンスの基準色を割り当てて着色を行う。リファレンスの基準色は、ＨＥ画像であれば紫、ＩＨＣ画像であれば青である。
蛍光画像は、信号が微弱なためゲイン調整が必要になる。また、例えば濃淡画像の場合は明暗が反対であるため、ネガ－ポジ反転処理を加えることが望ましい。
着色が完了すると、同様の処理を蛍光画像の枚数分だけ行い、重ね合わせる。例えばＩＨＣ画像などの２色以上の多重染色の場合は、それぞれの色を学習する必要があるので、学習器１００側では、多重染色明視野画像の事前学習を行っておく。
マルチプレクス（重ね合わせ）後の画像を扱う場合は、それぞれの蛍光画像の色の割り当てに応じたゲイン調整が必要になる。
図７は、蛍光画像を明視野画像に変換する処理を示すフローチャートである。先ず、ステップＳ２０では、蛍光により核が染色された領域を示す核染色画像をサンプリングする。ここでは、蛍光体によって染色された生体組織に所定の光を照射して得られる蛍光画像から、核染色画像をサンプリングする。次のステップＳ２２では、サンプリングした画像のゲイン調整を行う。次のステップＳ２４では、ネガ－ポジ反転処理を行う。
次のステップＳ２６では、サンプリングした細胞核に着色を行う。次のステップＳ２８では、画像のマルチプレクスを行う。複数の染色画像をミックスするような蛍光観察において、蛍光画像の領域毎に色を決定し混合画像上で色付け工程を進めることで、疑似的な明視野染色画像を得ることもできる。
図８は、蛍光画像をＨＥ画像（Ｓｉｍｕｌａｔｅｄ ＨＥ）に変換した例を示す図である。蛍光画像は、図８の左側に示す蛍光画像の入力画像は、基本的にグレースケール画像であり、白く見える部分は基本的に細胞核の領域に相当する。蛍光画像において、核の部分は周囲よりも明るくなっているため、上記の核染色画像としてサンプリングされる。これにより、着色部２０６は、サンプリングされた細胞核の形状に基づいて核の部分に着色を行うことができる。図８を参照すると、蛍光画像を変換して得られるＨＥ画像（Ｓｉｍｕｌａｔｅｄ ＨＥ）では、蛍光画像で白く見える細胞核の領域が、ＨＥ画像での細胞核の領域４５０の色に着色されていることが判る。学習器１００側で蛍光画像の新たな学習は不要であり、ＨＥ画像の学習データに基づいて蛍光画像からＨＥ画像への変換を行うことが可能である。
２．３．明視野画像でサンプルにアーチファクトが存在する場合
ここでは、明視野画像でサンプルにアーチファクト(人工物、異物)が存在する場合について説明する。病理染色画像の場合、アーチファクトとして例えば気泡が挙げられる。アーチファクトは、非常に深い黒色であり、他の色と識別が容易である。この黒色を検出する閾値処理でマスク画像を生成し、その領域に例えばＨＥ画像の赤(ピンク)の基準色を割り当てることで、通常の組織と同じ色になり視認性が向上する。本処理と上述した「２．１．明視野画像の色変換」の処理を繋げることで、アーチファクトのある標本に関してもリファレンス画像に近い色を再現することができる。
図９は、入力画像のサンプルにアーチファクト（異物）がある場合に、これらの異物を含めて着色する処理を示すフローチャートである。先ず、ステップＳ３０では、入力画像の画素値の閾値処理を行い、黒色の部分を検出する。次のステップＳ３２では、マスク処理を行うことで、ステップＳ３０で検出した黒色の部分を取り除く。次のステップＳ３４では、黒色の部分を取り除いた画像に対してステイン分離処理を行う。
次のステップＳ３６では、ステイン分離処理により得られた画像から、染色位置のサンプリングを行う。次のステップＳ３８では、入力画像に脱色処理を施すことで、グレースケール画像を得る。次のステップＳ３９では、グレースケール画像の形態情報を、学習部１０４から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
３．表示アプリケーションの例
次に、出力画像を表示装置２５０に表示する際のアプリケーション例について説明する。本実施形態では、表示処理部２１０の処理により、入力画像と出力画像をともに表示装置２５０に表示することが可能である。例えば、ＩＨＣ画像が入力画像であり、ＨＥ画像が出力画像である場合、癌細胞などを判別するためにＩＨＣ画像を観察し、細胞の形状を判別するためにＨＥ画像を観察することが考えられる。
図１０は、入力画像であるＩＨＣ画像と、出力画像であるＨＥ画像を並べて表示した例を示す模式図である。図１０に示す例では、表示装置２５０の表示画面２５２上に、入力画像であるＩＨＣ画像は左側に表示され、出力画像であるＨＥ画像は右側に表示されている。これにより、観察者は、左側のＩＨＣ画像で癌細胞の位置を認識でき、右側のＨＥ画像で細胞の形状を認識することができる。表示処理部２１０は、ユーザがマウスなどを操作して操作入力部２１２から画像を画面ないで移動させる指示を入力した場合は、入力画像であるＩＨＣ画像と出力画像であるＨＥ画像を表示画面２５２上で同じ方向に移動させる。これにより、ユーザによる観察時の利便性を高めることができる。
図１１は、観察対象物を表示画面の全体に表示した例であって、画面左側をＩＨＣ画像として表示し、画面右側をＨＥ画像として表示した例を示す模式図である。ＩＨＣ画像とＨＥ画像の境界２５４は、ユーザがマウスなどを操作して操作入力部２１２から情報を入力することで、左右に移動することができる。図１１のような表示を行うことで、１の観察対象物について、画面左側で癌細胞を視認し、画面右側で形状を認識することが可能である。
図１２は、奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるＩＨＣ画像を、右側に出力画像であるＨＥ画像を表示した例を示す模式図である。ＩＨＣ画像とＨＥ画像は、同じ奥行き位置の暗面の画像がそれぞれ紐付けられている。ユーザは、操作入力部２１２から情報を入力することで、所望の奥行き位置の断面において、ＩＨＣ画像とＨＥ画像をともに表示することができる。
以上説明したように本実施形態によれば、色変換器２００による着色を行うことで、染色が劣化した標本を綺麗に色再現することが可能となる。また、病理染色画像は、スキャナ毎に色合いが異なる場合があるが、色変換器２００による着色を行うことで、染色の色味を好みのリファレンス色に補正できる。また、色変換器２００による着色を行うことで、標本の汚れを見えなくして視認性を向上することができる。また、蛍光画像を明視野画像のように着色して観察することも可能となる。更に、トーンカーブ補正と異なり、各画像のスライドの中でそれぞれ適切な色に補正することも可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１） 色が脱色された脱色画像を取得する取得部と、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
を備える、画像着色装置。
（２） 前記取得部は、色が付いた入力画像に脱色処理を施す脱色処理部から構成される、前記（１）に記載の画像着色装置。
（３） 前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、前記（１）又は（２）に記載の、画像着色装置。
（４） 前記入力画像にステイン分離処理を行うステイン分離部を備え、
前記着色部は、前記ステイン分離処理により得られる補助情報を使用して前記着色を行う、前記（２）に記載の画像着色装置。
（５） 前記補助情報は、前記ステイン分離処理により分離された前記入力画像中の所定の部位の位置情報であり、
前記着色部は、前記入力画像のうち前記位置情報に対応する部位については、前記所定の部位に対応する色を着色する、前記（４）に記載の画像着色装置。
（６） 前記所定の部位は、細胞核に対応する部位である、前記（５）に記載の画像着色装置。
（７） 前記着色部は、前記ステイン分離処理により分離された前記所定の部位において、前記入力画像から得られる色を着色する、前記（５）又は（６）に記載の画像着色装置。
（８） 前記着色部は、前記ステイン分離処理により得られる前記所定の部位において、前記ステイン分離処理に基づいて前記学習結果情報から得られるリファレンス色を着色する、前記（５）又は（６）に記載の画像着色装置。
（９） 前記入力画像はＨＥ染色により得られるＨＥ画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記ＨＥ画像に対応する色を着色する、前記（２）に記載の画像着色装置。
（１０） 前記入力画像はＩＨＣ染色により得られるＩＨＣ画像であり、前記着色部は前記脱色処理が施された前記入力画像にＨＥ染色により得られるＨＥ画像に対応する色を着色する、前記（２）に記載の画像着色装置。
（１１） 前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
前記着色部は、前記蛍光画像にＨＥ染色により得られるＨＥ画像又はＩＨＣ染色により得られるＩＨＣ画像に対応する色を着色する、前記（１）に記載の画像着色装置。
（１２） 前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、前記（１１）に記載の画像着色装置。
（１３） 前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、前記（１１）又は（１２）に記載の画像着色装置。
（１４） 前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、前記（１）～（１３）のいずれかに記載の画像着色装置。
（１５） 前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、前記（１）～（１４）のいずれかに記載の画像着色装置。
（１６） 前記表示処理部は、同一の観察対象物について、前記観察対象物の第１の領域は着色前の画像を表示させ、前記観察対象物の第２の領域は着色後の画像を表示させる、前記（１５）に記載の画像着色装置。
（１７） 前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、前記（１５）に記載の画像着色装置。
（１８） 前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、前記（１５）に記載の画像着色装置。
（１９） 病理染色画像に着色を行う、請求項１に記載の画像着色装置。
（２０） 色が脱色された脱色画像を取得することと、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
を備える、画像着色方法。
（２１） 色が脱色された脱色画像を取得する手段、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
としてコンピュータを機能させるプログラム。
（２２） 色が付いた学習画像に脱色処理を施す脱色処理部と、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、
を備える、画像学習装置。
（２３） 色が付いた学習画像に脱色処理を施すことと、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、
を備える、画像学習方法。
（２４） 色が付いた学習画像に脱色処理を施す手段、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、
としてコンピュータを機能させるプログラム。
（２５） 色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、
を備える、画像着色システム。
１００ 学習器
１０４ 学習部
１０６ 脱色フィルタ
２００ 着色器
２０２ 画像入力部
２０４ 脱色フィルタ
２０６ 着色部
２０８ ステイン分離部
２１０ 表示処理部

Claims (16)

  1. 色が付いた入力画像に脱色処理を施す脱色処理部と、
    色が脱色された脱色画像を取得する取得部と、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
    前記入力画像にステイン分離処理を行うステイン分離部と、
    を備え、
    前記着色部は、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、
    画像着色装置。
  2. 前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、請求項１に記載の画像着色装置。
  3. 前記入力画像はＨＥ染色により得られるＨＥ画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記ＨＥ画像に対応する色を着色する、請求項１に記載の画像着色装置。
  4. 前記入力画像はＩＨＣ染色により得られるＩＨＣ画像であり、前記着色部は前記脱色処理が施された前記入力画像にＨＥ染色により得られるＨＥ画像に対応する色を着色する、請求項１に記載の画像着色装置。
  5. 前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
    前記着色部は、前記蛍光画像にＨＥ染色により得られるＨＥ画像又はＩＨＣ染色により得られるＩＨＣ画像に対応する色を着色する、請求項１に記載の画像着色装置。
  6. 前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、請求項５に記載の画像着色装置。
  7. 前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、請求項５に記載の画像着色装置。
  8. 前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、請求項１に記載の画像着色装置。
  9. 前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、請求項１に記載の画像着色装置。
  10. 前記表示処理部は、同一の観察対象物について、前記観察対象物の第１の領域は着色前の画像を表示させ、前記観察対象物の第２の領域は着色後の画像を表示させる、請求項９に記載の画像着色装置。
  11. 前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、請求項９に記載の画像着色装置。
  12. 前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、請求項９に記載の画像着色装置。
  13. 前記脱色画像は、病理染色画像である、請求項１に記載の画像着色装置。
  14. 色が付いた入力画像に脱色処理を施すことと、
    色が脱色された脱色画像を取得することと、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
    前記入力画像にステイン分離処理を行うことと、
    を備え、
    前記着色することは、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、
    画像着色方法。
  15. 色が付いた入力画像に脱色処理を施す脱色手段、
    色が脱色された脱色画像を取得する手段、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
    前記入力画像にステイン分離処理を行うステイン分離手段、
    としてコンピュータを機能させるプログラムであって、
    前記着色する手段は、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、
    プログラム。
  16. 色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
    色が付いた入力画像に脱色処理を施す脱色処理部と、
    色が脱色された脱色画像を取得する取得部と、
    前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
    前記入力画像にステイン分離処理を行うステイン分離部と、
    を有し、
    前記着色部は、前記ステイン分離処理によって前記入力画像中の細胞核に対応する部位の位置を示す位置情報と当該細胞核に対応する色とを取得し、さらに、前記形態情報からは前記細胞核の領域でないと判定された領域が、前記ステイン分離処理によって前記細胞核に対応する部位の位置として抽出された場合には、当該細胞核に対応する部位の位置について、原画像である前記入力画像における当該細胞核に対応する部位の位置の色を着色する、画像着色装置と、
    を備える、画像着色システム。
JP2019557035A 2017-12-01 2018-10-02 画像着色装置、画像着色方法、プログラム、及び画像着色システム Active JP7200945B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017231403 2017-12-01
JP2017231403 2017-12-01
PCT/JP2018/036845 WO2019106946A1 (ja) 2017-12-01 2018-10-02 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム

Publications (2)

Publication Number Publication Date
JPWO2019106946A1 JPWO2019106946A1 (ja) 2021-01-28
JP7200945B2 true JP7200945B2 (ja) 2023-01-10

Family

ID=66664784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557035A Active JP7200945B2 (ja) 2017-12-01 2018-10-02 画像着色装置、画像着色方法、プログラム、及び画像着色システム

Country Status (5)

Country Link
US (2) US11321881B2 (ja)
EP (1) EP3719739B1 (ja)
JP (1) JP7200945B2 (ja)
CN (1) CN111406274B (ja)
WO (1) WO2019106946A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200945B2 (ja) 2017-12-01 2023-01-10 ソニーグループ株式会社 画像着色装置、画像着色方法、プログラム、及び画像着色システム
CN111727371B (zh) * 2018-02-15 2022-11-04 国立大学法人新潟大学 超突变型癌的判别系统、程序及方法
EP3935577A4 (en) * 2019-03-08 2022-11-16 University Of Southern California IMPROVED HISTOPATHOLOGY CLASSIFICATION THROUGH MACHINE SELF-LEARNING FROM TISSUE FINGERPRINTS
WO2024064338A1 (en) 2022-09-22 2024-03-28 Agilent Technologies, Inc. Anti-human icos antibodies for use in immunohistochemistry (ihc) protocols and for diagnosing cancer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053074A (ja) 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
WO2014038408A1 (ja) 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016028250A (ja) 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954574B2 (ja) * 2004-01-20 2007-08-08 株式会社東芝 消色可能な画像形成材料
WO2005104662A2 (en) * 2004-05-05 2005-11-10 Yissum Research Development Company Of The Hebrew University Of Jerusalem Colorization method and apparatus
RU2305270C2 (ru) * 2005-05-18 2007-08-27 Андрей Алексеевич Климов Способ флуоресцентной наноскопии (варианты)
JP5137481B2 (ja) 2007-06-29 2013-02-06 オリンパス株式会社 画像処理装置、画像処理プログラム、および画像処理方法
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのｖｓ画像生成方法、プログラム
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
WO2013142366A1 (en) 2012-03-19 2013-09-26 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
US9036889B2 (en) 2012-07-13 2015-05-19 Sony Corporation Method and apparatus for stain separation using vector analysis
JP7200945B2 (ja) 2017-12-01 2023-01-10 ソニーグループ株式会社 画像着色装置、画像着色方法、プログラム、及び画像着色システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053074A (ja) 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
JP2016028250A (ja) 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
WO2014038408A1 (ja) 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hyungjoo Cho et al.，Neutral Stain-Style Transfer Learning using GAN for Histopathological Images，JMLR:Workshop and Conference Proceedings，2017年，80，pp. 1-10
Vahadane et al.，Structure-Preserving Color Normalization and Sparse Stain Separation for Histological Images，IEEE Transactions in Medical Imaging，2016年08月，Vol.35,No.8，pp. 1962-1971

Also Published As

Publication number Publication date
US20220270305A1 (en) 2022-08-25
EP3719739B1 (en) 2024-02-28
CN111406274B (zh) 2024-04-19
CN111406274A (zh) 2020-07-10
EP3719739A4 (en) 2021-01-27
JPWO2019106946A1 (ja) 2021-01-28
US11983797B2 (en) 2024-05-14
US11321881B2 (en) 2022-05-03
EP3719739A1 (en) 2020-10-07
WO2019106946A1 (ja) 2019-06-06
US20200294278A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7200945B2 (ja) 画像着色装置、画像着色方法、プログラム、及び画像着色システム
US11074692B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP7217589B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
EP2370951B1 (en) Generation of a multicolour image of an unstained biological specimen
US8948488B2 (en) Methods and systems for digitally enhancing an image of a stained material
JP2016001179A (ja) 色原体分離に基づく画像解析の方法
US7826652B2 (en) Method for forming an optimally exposed image of cytological specimen
JP2008541179A (ja) 多色画像、特に顕微鏡多色透過画像におけるスペクトル重畳またはカラー重畳画像寄与の分離
WO2017221592A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017125840A (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
US11210791B2 (en) Computer-implemented method for locating possible artifacts in a virtually stained histology image
JPWO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
JP7393769B2 (ja) 生物学的サンプルの画像に対するコンピュータ実装プロセス
KR101704690B1 (ko) 세포 분석 장치 및 방법
US10175468B2 (en) Method for generating a contrast image of an object structure and apparatuses relating thereto
US9672629B2 (en) Fluorescence image processing apparatus and method
WO2019239532A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010025758A (ja) 画像処理装置および画像処理方法
US11238268B2 (en) Image processing device, image processing method, and pathological diagnosis assistance system using same
WO2015133100A1 (en) Image processing apparatus and image processing method
JP2003339645A (ja) 医療分野におけるフォトレタッチソフトウェアを用いた画像解析方法
WO2022124832A1 (ko) 골수가 도말된 슬라이드 샘플 이미지의 셀 존 결정 방법 및 셀 존의 고배율 촬상 방법
Guiet et al. DEVILS: a tool for the visualization of large datasets with a high dynamic range
TW202405742A (zh) 解析支援方法、程式以及解析支援裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R151 Written notification of patent or utility model registration

Ref document number: 7200945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151