JPWO2017061112A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JPWO2017061112A1
JPWO2017061112A1 JP2017544195A JP2017544195A JPWO2017061112A1 JP WO2017061112 A1 JPWO2017061112 A1 JP WO2017061112A1 JP 2017544195 A JP2017544195 A JP 2017544195A JP 2017544195 A JP2017544195 A JP 2017544195A JP WO2017061112 A1 JPWO2017061112 A1 JP WO2017061112A1
Authority
JP
Japan
Prior art keywords
region
bright spot
interest
image processing
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017544195A
Other languages
English (en)
Inventor
靖之 祖父江
靖之 祖父江
靖裕 間宮
靖裕 間宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2017061112A1 publication Critical patent/JPWO2017061112A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

本開示の画像処理方法は、観察画像において、検出対象物を示す輝点を検出輝点として抽出する画像処理方法であって、輝点に対して輝点を含む輝点領域を定義し、輝点領域の周囲に参照画素を定義し、参照画素の輝度値を評価することにより輝点領域が興味領域に含まれているかどうかを判定し、輝点領域が興味領域に含まれていると判定された場合に、輝点領域に含まれる輝点を検出輝点として抽出する画像処理方法である。

Description

本開示は、観察画像内の検出対象物を抽出する画像処理方法および画像処理装置に関する。
病原菌に感染した細胞、または、所定のタンパク質等を有する細胞を検出することは、食品や医療の分野などにおいて重要である。例えば、病原菌の感染率等を調べることにより、動植物の健康状態を知ることができる。病原菌の感染率は、抽出された病原菌の数および細胞の数を用いて計算される。したがって、病原菌の感染率を調べるためには、観察画像内の細胞の数と細胞内の病原菌の数とを抽出することが必要である。
従来、細胞内の病原菌の数は、蛍光色素で標識した病原菌の蛍光観察画像を画像解析することにより抽出される。
一方、細胞の数は、例えば、病原菌を標識する蛍光色素とは異なる蛍光色素で染色した細胞の蛍光観察画像を画像解析することにより抽出される。また、別の方法として、細胞の数は、細胞の明視野観察画像を画像解析することにより抽出される。
なお、本開示に関連する先行技術文献は、例えば、特許文献1および特許文献2が知られている。
特開2013−57631号公報 特開2004−54956号公報
本開示の画像処理方法は、輝点を含む観察画像において検出対象物を示す輝点を検出輝点として抽出する画像処理方法であって、輝点に対して輝点を含む輝点領域を定義し、輝点領域の周囲に参照画素を定義し、参照画素の輝度値を評価することにより、輝点領域が興味領域に含まれているかどうかを判定し、輝点領域が興味領域に含まれている場合に、前記輝点領域に含まれている輝点を検出輝点として抽出する方法である。
また、本開示の画像処理装置は、観察画像を記憶する記憶部と、観察画像に対して画像処理方法を実行する処理部とを備え、処理部は、輝点に対して輝点を含む観察画像を定義し、輝点領域の周囲に参照画素を定義し、参照画素の輝度値を評価することにより、輝点領域が興味領域に含まれているかどうかを判定し、輝点領域が興味領域に含まれている場合に、前記輝点領域に含まれている輝点を検出輝点として抽出する画像処理方法を実行する。
本開示の画像処理方法および画像処理装置は、観察画像中の検出輝点を精度良く抽出することができる。
図1は、本実施の形態における蛍光観察画像のイメージ図である。 図2は、本実施の形態における画像処理装置を示すブロック図である。 図3は、本実施の形態における画像処理方法のフローを示す図である。 図4は、本実施の形態における画像処理方法を示すイメージ図である。 図5は、本実施の形態における輝点領域の抽出の一例を示す図である。 図6Aは、本実施の形態における輝点領域の一例を示す図である。 図6Bは、本実施の形態における輝点領域の別の例を示す図である。 図6Cは、本実施の形態における輝点領域の別の例を示す図である。 図7は、本実施の形態における蛍光観察画像の輝度値の度数分布の一例を示すグラフである。
上述の画像処理方法において、病原菌等の検出対象物を標識する蛍光試薬は、検出対象物と特異的に結合することが望ましい。しかしながら、蛍光観察において、蛍光試薬は、検出対象物以外のものと非特異的に結合する場合がある。検出対象物以外のものと結合した蛍光試薬が発する蛍光は、蛍光観察画像上でノイズとなる。ノイズは、検出対象物の誤抽出の原因となる。そのため、検出対象物を正確に抽出するためには、観察画像内の蛍光輝点が細胞内を意味する興味領域(Region Of Interest)にあるか、細胞外を意味する非興味領域(Non Region Of Interest)にあるかを判別することが重要である。
しかしながら、従来の方法では、正確に蛍光輝点の位置を判別することは困難であった。そのため、従来の方法は、観察画像中の検出対象物を示す検出輝点を精度良く抽出できない。
以下では、本開示の実施の形態に係る画像処理方法について、図面を参照しながら説明する。なお、本開示は、本明細書に記載された基本的な特徴に基づく限り、以下に記載の内容に限定されるものではない。
(実施の形態)
[概要]
本実施の形態における画像処理方法は、例えば、試料と試料に含まれる検出対象物を撮影した蛍光観察画像の解析に用いられる。
試料は、細胞や組織など生体からの採取物である。細胞は、例えば、赤血球やIPS細胞(Induced Pluripotent Stem Cells)などである。また、検出対象物とは、試料内部に存在する寄生虫、ウィルス、たんぱく質または異物などが挙げられる。
本実施の形態においては、試料が赤血球であり、検出対象物が寄生虫である例について説明する。なお、寄生虫は、赤血球の内部に存在している。
図1は、本開示の画像処理方法に用いる蛍光観察画像10のイメージ図である。
蛍光観察画像10は、蛍光試薬で染色した検出対象物を含む試料を蛍光検出装置で撮影した画像である。
試料は、蛍光試薬と特異的に結合している。蛍光試薬は、試料と結合する蛍光色素であって、所定の波長の励起光で蛍光を発する蛍光色素を含む。蛍光試薬は、例えば、試料に特有のタンパク質と選択的に結合する抗原等を含む。これにより、蛍光検出装置は、試料のみを撮影することができる。
同様に、検出対象物は、蛍光試薬と特異的に結合している。蛍光試薬は、検出対象物と結合する蛍光色素であって、所定の波長の励起光で蛍光を発する蛍光色素を含む。なお、試料と結合する蛍光試薬を蛍光させるための励起光の波長は、検出対象物と結合する蛍光試薬を蛍光させるための励起光の波長と異なる。これにより、蛍光検出装置は、検出対象物のみを撮影することができる。蛍光検出装置は、2種類の波長の励起光を照射する光学系を備える。蛍光観察画像10は、2種類の波長の励起光を用いて撮影される。
蛍光観察画像10は、励起光毎に別で撮影された画像を重ね合わせた画像である。なお、重ね合わせる画像の1枚は、位相差等を用いた透過光観察画像でもよい。透過光観察画像は、例えば、試料を撮影した画像である。この場合、蛍光観察画像10は、1種類の波長の励起光のみで撮影される。
蛍光観察画像10は、興味領域11と非興味領域12とを有する。興味領域11は、赤血球などの試料が存在する領域である。非興味領域12は、蛍光観察画像10のうち興味領域11以外の領域である。つまり、非興味領域12は、試料が存在しないバックグラウンドの領域である。
蛍光観察画像10は、蛍光試薬から発せられる蛍光により生じる輝点13を有する。輝点13は、検出対象物を示す検出輝点14と非検出対象物を示す非検出輝点15とを含む。非検出輝点15は、例えば、試料を入れる検出プレートに吸着した蛍光試薬の残渣からの蛍光により生じる。
一般的に、蛍光試薬は、検出対象物のみに特異的に結合して、蛍光を発することが好ましい。しかしながら、実際には、蛍光試薬は、検出対象物以外の場所に、非特異的に吸着する。非特異的な吸着に起因する輝点13は、検出対象物を示す検出輝点14ではない。したがって、非検出輝点15は、観察においてノイズとなる。そのため、非検出輝点15は、画像処理を用いて蛍光観察画像10から除外される必要がある。
本実施の形態において、検出対象物である寄生虫は、赤血球内に存在する。したがって、検出輝点14は、興味領域11内に存在する輝点13である。また、検出ノイズである非検出輝点15は、非興味領域12内に存在する輝点13である。
本開示における画像処理方法は、蛍光観察画像10に含まれる複数の輝点13から検出輝点14を抽出するために実行される。
[画像処理装置の構成]
本開示の画像処理方法は、例えば、図2に示す画像処理装置30によって実行される。
画像処理装置30は、蛍光観察画像10を記憶する記憶部31と、蛍光観察画像10に画像処理方法を実行する処理部32とを備える。
処理部32は、プログラムに基づいて画像処理方法を実行するCPUなどである。プログラムは、例えば、処理部32のメモリ等に記憶されている。なお、プログラムは、記憶部31や外部の記憶装置などに記憶されていてもよい。
なお、画像処理装置30は、抽出した検出輝点14の数、試料の数および計算した感染率等を表示する表示部33を備えてもよい。表示部33は、例えば、ディスプレイ等である。
[画像処理方法]
次に、処理部32が実行する画像処理方法について説明する。図3は、画像処理方法のフローを示す図である。図4は、画像処理方法の処理のイメージを模式的に示す図である。なお、以下の説明では、画像処理方法は、一例として、画像処理装置30によって実行されるものとする。
ステップS01では、処理部32は、画像処理を適用する蛍光観察画像10を記憶部31から取得する。
蛍光観察画像10を構成する複数の画素は、各画素に対応する輝度値のデータを有している。例えば、蛍光観察画像10の画素の輝度値は、検出対象物の位置における画素の輝度値、バックグラウンドの位置における画素の輝度値、試料の位置における画素の輝度値の順に小さくなる。
ステップS02において、処理部32は、蛍光観察画像10に含まれる全ての輝点13を抽出する。その後、処理部32は、抽出した輝点13から輝点領域16を定義する。
輝点13は、蛍光観察画像10において所定の閾値以上の輝度値を有する複数の画素からなる画素群である。輝点13の抽出は、例えば、蛍光観察画像10を所定の輝度値で2値化することにより行われる。所定の閾値は、例えば、予め設定された値であり、非興味領域12を示す画素の輝度値と輝点13を示す画素の輝度値との間の値に設定される。抽出した輝点13には、検出輝点14と非検出輝点15の両方が含まれる。
抽出した輝点13は、複数の画素の集合体であるため複雑な形状となる場合が多い。複雑な形状の輝点13は、後述するステップS03における参照画素17を定義する処理を複雑にする場合がある。そこで、ステップS03の処理を簡単化するため、処理部32は、抽出した輝点13から輝点領域16を定義する。
輝点領域16は、輝点13を含む領域である。図5は、輝点領域16の抽出の一例を示す図である。輝点領域16は、例えば、図5の点線で示すように、輝点13に対応する画素群が外接する四角形の領域である。
なお、輝点領域16は、輝点13に外接する円形や多角形など、決まった形状を有する領域として定義されてもよい。
このように、処理部32は、決まった形状を有する領域で輝点領域16を定義することにより、ステップS03以降の処理を複雑なアルゴリズムを用いることなく実行することができる。
ステップS03において、処理部32は、輝点領域16の周囲の画素を参照画素17として定義する。
図6A〜図6Cは、輝点領域16に参照画素17が配置された例を示した図である。点線18で囲まれた領域は、試料が存在する興味領域11の外形である。輝点領域16の配置された状態については後述する。
参照画素17は、輝点領域16の存在している場所を判定するために用いられる。そのため、参照画素17は、輝点領域16の近傍に位置する画素である。参照画素17は、輝点領域16に隣接している。
例えば、図6A〜図6Cに示すように、参照画素17は、輝点領域16に隣接する8画素である。8つの参照画素17は、輝点領域16の四隅と四辺のそれぞれの真ん中に設けられている。このように、参照画素17は、一つの輝点領域16の周囲に複数箇所定義される。
なお、参照画素17の位置や数は、観察する試料や検出対象物に応じて適宜設定することができる。
また、参照画素17は、隣接する複数の画素を一塊の画素群として参照画素と定義することもできる。
次に、処理部32は、ステップS04において、参照画素17の輝度値を評価することにより、ステップS05において輝点領域16が興味領域11に含まれているかどうかを判定する。参照画素17の輝度値の評価は、興味領域11を示す輝度値の範囲を定めた興味領域判定基準を用いて行われる。
参照画素17の輝度値が、興味領域判定基準に適合する場合、処理部32は、参照画素17が興味領域11に含まれると判定する。つまり、処理部32は、輝点領域16が興味領域11に含まれると判定する。一方、参照画素17の輝度値が興味領域判定基準に適合しない場合、処理部32は、参照画素17が非興味領域12に含まれると判定する。つまり、処理部32は、輝点領域16が非興味領域12に含まれると判定する。
ここで、興味領域判定基準は、蛍光観察画像10において、興味領域11を示す画素の輝度値の範囲を定めている。以下では、興味領域判定基準について説明する。
図7は、蛍光観察画像10の輝度値の度数分布の一例を示すグラフである。グラフの横軸は、輝度値を表す。グラフの縦軸は、輝度値の画素数を表す。ただし、図7では、輝点13を示す輝度値は図示されていない。
図7に示す輝度値の度数分布を示すグラフは、輝度値aと輝度値bとにそれぞれ極大値を有する。また、輝度値aと輝度値bとの間に、極小値をとる輝度値cがある。
このとき、範囲Aと範囲Bの境界である輝度値cは、蛍光観察画像10を興味領域11と非興味領域12とに分ける閾値である。
なお、蛍光観察画像10において、試料の輝度値よりもバックグラウンドの輝度値が小さい場合、輝度値aを含む範囲Aは、興味領域11を意味する。また、輝度値bを含む範囲Bは、非興味領域12を意味する。試料の輝度値よりもバックグラウンドの輝度値が大きい場合、輝度値aを含む範囲Aは、非興味領域12を意味する。また、輝度値bを含む範囲Bは、興味領域11を意味する。
つまり、興味領域11と非興味領域12との境界を示す輝度値は、例えば、輝度値aと輝度値bとの間に位置する極小値である輝度値cである。
試料の輝度値よりもバックグラウンドの輝度値が小さい場合、興味領域判定基準は、輝度値cよりも輝度値が大きい範囲を、興味領域11を示す輝度値の範囲として定める。つまり、輝度値cは、興味領域判定基準において興味領域11を示す輝度値の下限を示す。この場合、非興味領域判定基準は、輝度値が輝度値c以下となる範囲を、非興味領域12を示す輝度値の範囲として定める。つまり、輝度値cは、非興味領域判定基準において非興味領域12を示す輝度値の上限を示す。また、試料の輝度値よりもバックグラウンドの輝度値が大きい場合、興味領域判定基準は、輝度値cよりも輝度値が小さい範囲を、興味領域11を示す輝度値の範囲として定める。つまり、輝度値cは、興味領域判定基準において興味領域11を示す輝度値の上限を示す。この場合、非興味領域判定基準は、輝度値が輝度値c以上となる範囲を、非興味領域12を示す輝度値の範囲として定める。つまり、輝度値cは、非興味領域判定基準において非興味領域12の画素の輝度値の下限である。すなわち、上記極小値を、興味領域11での輝度値の範囲と非興味領域12での輝度値の範囲との境界として定める。
したがって、参照画素17の輝度値を興味領域判定基準と比較して、参照画素17の輝度値が興味領域判定基準に適合した場合、処理部32は、輝点領域16(参照画素17)が興味領域11に存在していると判定する。また、参照画素17の輝度値を非興味領域判定基準と比較して、参照画素17の輝度値が非興味領域判定基準と合致した場合、処理部32は、輝点領域16(参照画素17)が非興味領域12に存在していると判定する。ただし、非興味領域判定基準は用いられなくてもよい。例えば、参照画素17の輝度値が興味領域判定基準に合致しなければ、参照画素17は、非興味領域12に存在していると判定することができる。
なお、範囲Aは、上限値が設定されていてもよい。上限値は、輝点13を示す輝度値と輝度値cの間の値となる。上限値が設定されることにより、不要なノイズの影響を排除することができる。そのため、興味領域11をより精度良く特定することができる。
同様に、範囲Bは、下限値が設定されていてもよい。下限値が設定されることにより、不要なノイズの影響を排除することができる。そのため、非興味領域12をより精度良く特定することができる。
また、興味領域11と非興味領域12とを分ける輝度値の閾値は、例えば、輝度値aおよび輝度値bの真ん中の輝度値でもよい。また、その他の方法を用いて輝度値の閾値が設定されてもよい。例えば、予め、興味領域11を示す輝度値の範囲が既知である場合は、興味領域判定基準は、この輝度値の範囲を興味領域11を示す輝度値の範囲としてもよい。
さらに、範囲Aは、例えば、極大値となる輝度値aから一定の範囲としてもよい。例えば、興味領域判定基準は、図7に示される度数分布における輝度値aの極大値を中心値として標準偏差だけ離れた輝度値の範囲を、興味領域11を示す輝度値の範囲としてもよい。範囲Bについても同様である。
なお、一つの輝点領域16について一つの参照画素17が定義されたときは、処理部32は、一つの参照画素17の輝度値が興味領域判定基準を満たす場合に、その一つの輝点領域16が興味領域11に含まれると判定する。
また、一つの輝点領域16について複数の参照画素17が定義された時は、処理部32は、複数の参照画素17の中で、興味領域11に存在する複数の参照画素17の占める割合が、所定の条件を満たせば、その一つの輝点領域16が興味領域11に含まれると判定する。
ここで、所定の条件とは、例えば、複数の参照画素17のうち、半数以上の参照画素17が興味領域11に存在することである。なお、所定の条件は、これに限定されない。所定の条件は、輝点13が興味領域11に含まれていると判断できる範囲で定められればよい。例えば、定義された複数の参照画素17のうち4分の1以上の参照画素17が興味領域11に存在することが所定の条件とされてもよい。
ステップS05で輝点領域16が興味領域11に含まれると判定されると、ステップS06では、処理部32は、輝点領域16に含まれる輝点13を、蛍光観察画像10に含まれる検出対象物を示す検出輝点14として抽出する。ステップS05で輝点領域16が興味領域11に含まれないと判定されると、処理部32は、輝点領域16に含まれる輝点13を、検出輝点14として抽出しない。つまり、このような輝点は、蛍光観察画像10に含まれる蛍光試薬の残渣などによる非検出輝点15と判定される。
[画像処理方法の詳細]
以下、図6A〜図6Cを用いて画像処理方法を詳細に説明する。なお、図6A〜図6Cにおいて、輝点領域16の周囲には、8個の参照画素17が定義されている。輝点領域16が興味領域11に含まれるか否かを判定する所定の条件は、輝点領域16に対して定義した参照画素17の半数以上が興味領域11に存在するか否かである。
図6Aは、興味領域11の中心付近に輝点領域16が存在している場合を示す拡大観察画像である。図6Aに示す例では、8個の参照画素17の全てが点線で囲まれた興味領域11内に存在している。つまり、半数以上の参照画素17が興味領域11に存在している。
したがって、参照画素17を定義した輝点領域16に含まれる輝点13は、検出輝点14であると判定される。
図6Bは、興味領域11の周辺部に輝点領域16が存在している場合を示す拡大観察画像である。輝点領域16は、興味領域11および非興味領域12の両方に存在している。
図6Bに示す例では、8個の参照画素17のうち、6個の参照画素17が、点線で囲まれた興味領域11に存在している。一方、残りの2個の参照画素17は、非興味領域12に存在している。つまり、半数以上の参照画素17が興味領域11に存在している。
したがって、参照画素17を定義した輝点領域16に含まれる輝点13は、検出輝点14であると判定される。
図6Cは、興味領域11内に輝点領域16が存在していない場合を示す拡大観察画像である。
図6Cに示す例では、8個の参照画素17の全てが非興味領域12に存在している。つまり、半数以上の参照画素17が興味領域11に存在していない。
したがって、参照画素17を定義した輝点領域16に含まれる輝点13は、非検出輝点15であると判定される。
以上の処理により、蛍光観察画像10に含まれる複数の輝点13からから、試料中の検出対象物を示す検出輝点14を抽出することができる。
なお、処理部32は、図3のステップS02の前、または、輝度値の分布を算出する前に、蛍光観察画像10に対して、画像全体を平滑化する処理を行ってもよい。平滑化する処理には、例えば、ガウシアンマスクやバイラテラルマスクが用いられる。
ガウシアンマスクによる処理は、1つの画素の輝度値について、その画素の輝度値と、その画素からの距離に応じてガウシアン分布で重み付けした周囲の画素の輝度値と、を用いて画像全体の輝度値を平滑化する処理である。
また、バイラテラルマスクによる処理は、1つの画素の輝度値について、その画素の輝度値と、その画素からの距離および輝度値の差を考慮してガウシアン分布により重み付けした周囲の画素の輝度値と、を用いて画像全体の輝度値を平滑化する処理である。
平滑化の処理を行うことにより、蛍光観察画像10に含まれるランダムノイズを取り除くことができる。
[まとめ]
以上のように、本開示の画像処理方法および画像処理装置は、観察画像中の検出輝点14を精度良く抽出することができ、検出対象物を正確に検出することができる。
なお、本実施の形態は、蛍光観察画像10における輝度値は、検出対象物、試料、パックグラウンドの順に小さいとして説明したが、これに限定されない。輝度値の大きさの順番は、蛍光観察画像の取得方法に応じて決まるものである。
例えば、蛍光観察画像10における輝度値は、検出対象物、バックグラウンド、試料の順に小さくてもよい。
蛍光観察画像10において、試料の輝度値よりもバックグラウンドの輝度値が大きい場合、図7に示す範囲Aは、非興味領域を意味する。また、範囲Bは、興味領域を意味する。したがって、興味領域判定基準は、範囲Bの輝度値が用いられる。
また、輝点領域16を決まった形状の領域で定義する処理は、必ずしも行わなくてもよい。
例えば、輝点13を示す画素群を輝点領域16として定義してもよい。つまり、輝点13に対応する画素群および輝点領域16は同一の範囲の領域としてもよい。この場合、参照画素17は、上記と同様にして、例えば、輝点13に対応する画素群に隣接する画素から選択することができる。
また、輝点領域16が興味領域11に含まれるか否かを判定するための所定の条件は、輝点領域16の周囲の参照画素17のうち、隣り合う3つ以上の参照画素17が興味領域11に存在することであってもよい。ここで、隣り合う参照画素17とは、輝点領域16に沿って順に並ぶ参照画素17のうち連続する画素を意味する。
本実施の形態は、興味領域11を試料が存在する領域と設定して、試料内に存在する検出対象物を示す検出輝点14を抽出したが、これに限定されない。興味領域11は、検出対象物の存在する領域に応じて設定することができる。例えば、興味領域11を試料外として設定することにより、試料外に存在する検出対象物を示す輝点を抽出してもよい。また、観察画像は、蛍光観察画像に限られない。観察画像は、例えば、蛍光を含まない観察画像でもよい。
また、本実施の形態では、蛍光観察画像10に含まれる検出輝点14は、検出対象物と結合した蛍光試料に起因するものとして説明されたが、これに限定されるものではない。例えば、観察画像に含まれる検出輝点14は、検出対象物が発する自家発光に起因するものであってもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
本開示の画像処理方法は、細胞や組織等の蛍光観察画像の処理に特に有用である。
10 蛍光観察画像
11 興味領域
12 非興味領域
13 輝点
14 検出輝点
15 非検出輝点
16 輝点領域
17 参照画素
18 点線
30 画像処理装置
31 記憶部
32 処理部
33 表示部

Claims (8)

  1. 観察画像において、検出対象物を示す輝点を検出輝点として抽出する画像処理方法であって、
    前記観察画像において、輝点を含む輝点領域を定義し、
    前記観察画像において、定義された前記輝点領域の周囲に参照画素を定義し、
    前記参照画素の輝度値を評価することにより前記輝点領域が所定の興味領域(Region Of Interest)に含まれているかどうかを判定し、
    前記輝点領域が前記興味領域に含まれていると判定された場合に、前記輝点領域に含まれている前記輝点を前記検出輝点として抽出する、
    画像処理方法。
  2. 前記参照画素の輝度値の評価は、前記興味領域を示す輝度値の範囲を定めた興味領域判定基準を用いて行われる、
    請求項1に記載の画像処理方法。
  3. 前記判定においては、前記参照画素の輝度値が前記興味領域判定基準に適合した場合に、前記輝点領域が前記興味領域に含まれると判定する、
    請求項2に記載の画像処理方法。
  4. 前記参照画素の定義においては、前記輝点領域の周囲に複数の参照画素を定義し、
    前記判定においては、前記複数の参照画素の中で前記興味領域判定基準に適合する輝度値の参照画素の占める割合が所定の条件を満たした場合に、前記輝点領域が前記興味領域に含まれると判定する、
    請求項2に記載の画像処理方法。
  5. 前記興味領域判定基準は、前記観察画像における輝度値の度数分布に基づいて前記興味領域を示す輝度値の範囲を定める、
    請求項2に記載の画像処理方法。
  6. 前記輝度値の度数分布は、
    前記興味領域を表す第一の極大値と、
    非興味領域(non―Region Of Interest)を表す第二の極大値と、
    前記第一の極大値と前記第二の極大値との間に位置する極小値とを有し、
    前記極小値を、前記興味領域での輝度値の範囲と前記非興味領域での輝度値の範囲との境界として定める
    請求項5に記載の画像処理方法。
  7. 前記輝点領域は、前記輝点に対応する画素群が外接する四角形の領域である、
    請求項1に記載の画像処理方法。
  8. 観察画像において、検出対象物を示す輝点を検出輝点として抽出する画像処理装置であって、
    前記観察画像を記憶する記憶部と、
    処理部と、を備え、
    前記処理部は、
    前記記憶部に記憶された前記観察画像において、輝点を含む輝点領域を定義し、
    前記記憶部に記憶された前記観察画像において、定義された前記輝点領域の周囲に参照画素を定義し、
    前記参照画素の輝度値を評価することにより前記輝点領域が所定の興味領域(Region Of Interest)に含まれているかどうかを判定し、
    前記輝点領域が前記興味領域に含まれていると判定された場合に、前記輝点領域に含まれる前記輝点を前記検出輝点として抽出する、
    画像処理装置。
JP2017544195A 2015-10-07 2016-10-05 画像処理方法および画像処理装置 Pending JPWO2017061112A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015199300 2015-10-07
JP2015199300 2015-10-07
PCT/JP2016/004481 WO2017061112A1 (ja) 2015-10-07 2016-10-05 画像処理方法および画像処理装置

Publications (1)

Publication Number Publication Date
JPWO2017061112A1 true JPWO2017061112A1 (ja) 2018-07-26

Family

ID=58487387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544195A Pending JPWO2017061112A1 (ja) 2015-10-07 2016-10-05 画像処理方法および画像処理装置

Country Status (5)

Country Link
US (1) US20180372636A1 (ja)
EP (1) EP3361236A4 (ja)
JP (1) JPWO2017061112A1 (ja)
CN (1) CN107850545A (ja)
WO (1) WO2017061112A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139242A1 (ja) * 2017-01-27 2018-08-02 パナソニック株式会社 画像解析システム、画像解析方法及びプログラム
CN112289377B (zh) * 2018-08-22 2022-11-15 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法、装置和计算机程序产品
JPWO2022059508A1 (ja) * 2020-09-18 2022-03-24
JP2022101163A (ja) * 2020-12-24 2022-07-06 シスメックス株式会社 蛍光画像表示方法及び蛍光画像分析装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5407015B2 (ja) * 2008-07-10 2014-02-05 国立大学法人徳島大学 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP6069825B2 (ja) * 2011-11-18 2017-02-01 ソニー株式会社 画像取得装置、画像取得方法及び画像取得プログラム
EP3086110A4 (en) * 2013-12-18 2017-06-21 Konica Minolta, Inc. Image processing device, pathological diagnosis support system, image processing program, and image processing method

Also Published As

Publication number Publication date
CN107850545A (zh) 2018-03-27
EP3361236A4 (en) 2018-09-05
EP3361236A1 (en) 2018-08-15
WO2017061112A1 (ja) 2017-04-13
US20180372636A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
AU2022200112B2 (en) Methods and apparatus for detecting an entity in a bodily sample
EP2888576B1 (en) Visualization and measurement of cell compartments
WO2017061112A1 (ja) 画像処理方法および画像処理装置
US11620751B2 (en) Image analysis algorithms using control slides
WO2016194338A1 (ja) 画像処理方法および画像処理装置
US11257301B2 (en) Image analysis apparatus, image analysis method, and image analysis program
Lee et al. Counting Platelets: a Novel Image Analysis Algorithm for Detecting and Counting Platelet Adhesion on an Assay Pattern
JPWO2015145851A1 (ja) 検体検出装置、検体検出システム、検体検出キット、検体検出方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171215