JPWO2005057496A1 - 画像からの対象物検出方法及び対象物検出装置 - Google Patents

画像からの対象物検出方法及び対象物検出装置 Download PDF

Info

Publication number
JPWO2005057496A1
JPWO2005057496A1 JP2005516098A JP2005516098A JPWO2005057496A1 JP WO2005057496 A1 JPWO2005057496 A1 JP WO2005057496A1 JP 2005516098 A JP2005516098 A JP 2005516098A JP 2005516098 A JP2005516098 A JP 2005516098A JP WO2005057496 A1 JPWO2005057496 A1 JP WO2005057496A1
Authority
JP
Japan
Prior art keywords
score
pixel
exclusive
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005516098A
Other languages
English (en)
Other versions
JP4623516B2 (ja
Inventor
啓 伊藤
啓 伊藤
島田 尚
尚 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
University of Tokyo NUC
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
University of Tokyo NUC
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, University of Tokyo NUC, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Publication of JPWO2005057496A1 publication Critical patent/JPWO2005057496A1/ja
Application granted granted Critical
Publication of JP4623516B2 publication Critical patent/JP4623516B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

画像の質や種類等に影響を受け難いロバストな画像処理方法によって、画像から良好に対象物(好適な例では、細胞)の位置あるいは/および個数を求める。画像から対象物を検出する方法は、着目画素を含む所定領域内の複数の画素の画素値に基づいて算出した該所定領域の特徴値を該着目画素のスコアとし、該画像における各画素についてスコアを算出するステップと、算出されたスコアの大きさ順に画素を選択し、選択された画素1から順に該所定領域と同一あるいは近似の領域を排他的領域2として該画像中に配置するステップと、該配置された一つあるいは複数の排他的領域の少なくとも一部を該対象物として検出するステップとを有する。好ましい態様では、当該画素のスコアが極大である場合に、当該画素を選択して、排他的領域を配置する。好ましい態様では、該特徴値は、該領域内の複数の画素の画素値の平均値である。

Description

本発明は画像処理を用いて画像データから対象物を検出する対象物検出方法及び装置に関するものである。後述する説明では主として細胞画像(特に、核領域の抽出)に基づいて本発明を説明するが、細胞画像が本発明の対象物として好適な例ではあるももの、本発明が適用される対象物は細胞またはその構成要素に限定されるものではない。
細胞の画像データから細胞の位置や個数を求めたい場合がある。このような場合、従来の方法では、細胞画像の輪郭を強調した後、閾値を用いてノイズを除去することで、一定以上の明るさの部分を「細胞」と認識するアルゴリズムを用いている。図9に示す細胞画像に従来の方法を適用した図を図10に示す。
しかしながら、この方法だと、ノイズの除去を優先すると、細胞の境界を分離しきれずに、複数の細胞が融合して一つと数えてしまうという不具合がある(図10左図)。一方、輪郭の強調を優先すると、画素値(intensity)にムラがあると、一つの細胞を二つ以上に数えてしまうという不具合がある(図10右図)。
したがって、画像データにおいて、複数の細胞同士が近接している場合、画素値の変化が滑らかな場合、あるいは、細胞によって明るさがかなり違う場合等には、上記従来の方法による細胞の位置や個数の計測は困難であった。また、このような問題は細胞画像に限定されるものではなく、ある対象物を含む2次元画像あるいは3次元画像、さらには3次元画像の時系列スタック等により例示されるより高次元の画像から該対象物の位置や個数を求めたい場合に問題となり得るものである。
特開2001−269195号
本発明は、画像の質や種類等に影響を受け難いロバストな対象物検出方法によって、画像から良好に対象物を検出し、もって、対象物の位置あるいは/および個数を求めることを目的とするものである。特に、本発明は、細胞画像から細胞の位置あるいは/および個数を求めることを目的とするものである。
本発明が採用した技術手段は、複数の画素の集合として表現される/表現され得る画像において、該画像から対象物を検出する方法であって、該方法は、着目画素を含む所定領域内の複数の画素の画素値に基づいて算出した該所定領域の特徴値を該着目画素のスコアとし、該画像における各画素についてスコアを算出するステップと、算出されたスコアの大きさ順に画素を選択し、選択された画素から順に該所定領域と同一あるいは近似の領域を排他的領域として該画像中に配置するステップと、該配置された一つあるいは複数の排他的領域の少なくとも一部を該対象物として検出するステップと、を有する。
本発明が適用される画像には、1次元画像、2次元画像、3次元画像、4次元以上の高次元画像が含まれる。例えば、2次元画像の場合は、請求項1における「画像」を「2次元画像」、「領域」を「面積領域」と置き換えることができ、3次元画像の場合には、請求項1における「画像」を「3次元画像」、「領域」を「体積領域」、「画素」を「ボクセル」と置き換えることができる。1次元画像は2次元画像の特殊な場合(画素が一定方向にのみ連続している)として扱うことができる。4次元以上の高次元画像としては、3次元空間に時間軸1次元を加えたデータ(細胞の変化や生成消滅する泡の3次元画像の時系列ムービー)の中で対象物を計数したり、位置を検出したりすることが例示される。よって、本発明が適用される画像には動画像が含まれる。動画像としては、2次元画像の時系列スタックから構成される3次元画像データ、3次元画像の時系列スタックとしての4次元画像データが例示される。
スコアは、ある着目画素が含まれる所定領域の特徴を代表する値であり、一つの好ましい態様では、スコアは該所定領域に含まれる複数の画素の平均値である。該平均の算出には、重み付け平均が含まれていてもよい。例えば、図9に示すような細胞画像においては、核領域の画素値が背景の画素値よりも大きく(明るい領域)、画素値の平均値をもって領域の特徴値とすることは有用である。あるいは、該領域内の複数の画素の画素値のメディアン、あるいは最大値や最小値を算出して該着目画素のスコアとしてもよい。最大値や最小値を求める際に、閾値を設けてもよい。あるいは、該領域内の複数の画素の画素値に基づいて該領域のテクスチャ特徴量を算出して該着目画素のスコアとしてもよい。テクスチャ特徴量には、濃度ヒストグラムに基づいて計算される平均、分散、歪度、尖度の値、あるいは、同時濃度生起行列に基づいて計算されるコントラスト、一様性、相関、エントロピーが例示される。また、スコアは、得られた数値を正規化したもの、および、符号を反転させたものも含む。
好ましくは、排他的領域を配置する際の画素(ボクセルを含む)の選択において、画素のスコアにいわゆる停留条件が課されている。停留条件を課すことで、対象物(例えば、細胞核)の自動認識を良好に行うことができる。先ず、停留条件を満たす画素を排他的領域配置のための候補画素として選択し、選択された候補画素の中からさらにスコアに基づいて画素を選択して排他的領域を配置するということである。スコア順(例えば、大きい順、あるいは、小さい順)に画素を選択する場合を考える。スコアの大きい順に画素を選択する場合には、停留条件は、着目画素のスコアが、近傍画素のスコアと比較して、それより小さくないという条件である。換言すると、ある画素のスコアが極大であるときにその画素を選択して排他的領域を配置するということである。但し、本明細書において、極大には、周りより小さくない場合(例えば、着目画素のスコアと隣の画素のスコアが同じ場合)が含まれる。スコアの小さい順に画素を選択する場合には、停留条件は、着目画素のスコアが、近傍画素のスコアと比較して、それより大きくないという条件である。換言すると、ある画素のスコアが極小であるときにその画素を選択して排他的領域を配置するということである。但し、本明細書において、極小には、周りより大きくない場合(例えば、着目画素のスコアと隣の画素のスコアが同じ場合)が含まれる。
一つの好ましい態様では、スコアを算出するための所定領域あるいは/および配置される排他的領域は、該対象物と同一あるいは近似形状であり、及び/あるいは、該対象物と同一あるいは近似寸法である。例えば、対象物が球形(例えば、細胞核)の場合には、球形の領域を用いることが有利である。
また、他の一つの好ましい態様では、着目画素の位置とスコアを計算するための所定領域、あるいは、選択された画素の位置と排他的領域との関係は、着目画素/選択された画素がそれぞれ所定領域/排他的領域の中心あるいは重心に位置するように、これらの画素を中心として所定領域/排他的領域を設定する。これら中心あるいは重心の画素の位置(座標)を対象物の位置とみなすことができる。さらに好ましくは、所定領域/排他的領域は該着目画素あるいは該選択された画素を中心としたn次元超球である。本明細書において、n次元超球には、円、球、4次元超球が含まれる。
本発明は、コンピュータプログラム、すなわち、画像から対象物を検出するためにコンピュータを、着目画素を含む所定領域内の複数の画素の画素値に基づいて算出した該所定領域の特徴値を該着目画素のスコアとし、該画像における各画素についてスコアを算出するステップと、算出されたスコアの大きさ順に画素を選択し、選択された画素から順に該所定領域と同一あるいは近似の領域を排他的領域として該画像中に配置するステップと、該配置された一つあるいは複数の排他的領域の少なくとも一部を該対象物として検出するステップと、を実行させるためのコンピュータプログラム、として構成してもよい。あるいは、本発明を、そのようなコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。また、本発明は、対象物検出システムあるいは対象物検出装置として構成してもよい。対象物検出システムあるいは装置は、画像データを格納する記憶部と、該画像データに基づいて画像を表示する表示部と、画像を構成する各画素のスコア算出手段と、該画像中に排他的領域を配置する手段と、該配置された排他的領域から該対象物を検出する手段を有する。該スコア算出手段は、着目画素を含む所定領域内の複数の画素の画素値に基づいて該所定領域の特徴値を算出し、該特徴値を該着目画素のスコアとするように構成されている。該排他的領域配置手段は、算出されたスコアの大きさ順に画素を選択し、選択した画素から順に該所定領域と同一あるいは近似の領域を排他的領域として画像中に配置するように構成されている。該対象物検出手段は、該配置された一つあるいは複数の排他的領域の少なくとも一部を該対象物として検出するように構成されている。
本発明によれば、対象物を含む2次元画像あるいは3次元画像等の画像から対象物の位置および/あるいは数を良好に計測することができる。
本発明について、好適な例である細胞の位置と数の自動計測システムに基づいて説明する。細胞画像においては、本発明が適用される対象物は細胞核、細胞膜、その他の細胞構成要素から一つあるいは複数選択され得るが、好ましい例として、細胞核領域を検出する場合について説明する。図1は、本発明に係る対象物検出方法を用いた細胞の位置と数の自動計測アルゴリズムを示している。対象物検出の対象となる画像データは、一つの好適な例では、細胞の3次元画像であるが、本発明の概念は次元を越えて適用することが可能である。例えば、本発明は3次元画像のみならず2次元画像に対しても適用することができ、以下の記載では必要に応じて適宜2次元画像についても言及する。本発明に係る対象物検出はコンピュータや画像処理手段を構成に含む対象物検出装置によって行われ、該対象物検出装置は、処理装置(CPU等)、記憶装置(メモリ及び外部記憶装置を含む)、入力装置(マウス、キーボード等)、出力装置(表示部等)、コンピュータを動作させる制御プログラム等を備えている。
[A]3次元画像データの取得
3次元画像は複数のボクセルによって構成されており、各ボクセルは、ボクセル値(intensityあるいは濃度値と置き換えることが可能である)を有している。ボクセルは、物体の3次元領域の構成単位となる微小単位領域であり(図3(A)参照)、いわば、2次元画像におけるピクセルに相当する。本明細書で、画素と言った場合には、ピクセルのみならず、ボクセルも含まれる。また、本明細書において、ボクセルという文言は、2次元画像との関連で解釈される場合にはピクセルに置き換えることができる。
3次元画像データは、一つの好ましい態様では、2次元の断層画像データ(いわゆるスライス画像)を断層面に垂直な方向に沿って積層することで得られる(必要であれば補間を行う)。図2は細胞核の3次元画像を便宜的に示す概略図であり、3次元画像はz軸方向に座標(位置)の異なる5枚の2次元画像から構成されている。実際には、3次元画像はz軸方向に密に積層した多数枚の2次元画像から構成されることが好ましく、一つの好ましい態様では、各2次元画像のz軸方向の間隔は、xy平面における画素(ピクセル)の2画素あるいは3画素分の大きさである。
本実施例及び実験例では、蛍光顕微鏡画像に基づく3次元画像データを取り扱うが、3次元画像データは、それが複数のボクセルから構成されるものであれば、3次元画像データを得る手段は限定されない。具体例を挙げると、本発明が対象とする画像には、顕微鏡、写真機、スキャナー、コンピュータトモグラフィー等の機器で取得した2次元画像、3次元連続断層撮影画像等が含まれる。3次元画像データは、各ボクセルの位置データと各ボクセルのボクセル値として対象物検出装置の記憶部に格納されており、3次元画像として表示部に表示されるようになっている。
[B]配置のスコアの計算
ついで、3次元画像データを構成する各ボクセルにおける配置のスコアを計算する。一つの好ましい態様では、細胞画像において細胞核を蛍光ラベルした画像データを用いる。このような画像においては、細胞核の部分の画素(ボクセル)の値が大きくなる。すなわち、画像において明るい所が核領域であると予想される。ここで、蛍光ラベルを施した場合には、蛍光は実際の核領域よりも大きくにじんだように出るため、画像としては明部分が繋がったものになり、従来の方法では、細胞数の数え上げが難しい。本発明に係る手法を用いることで良好に細胞数が計測できることが判った。
配置のスコアの計算について説明する。先ず、所定の半径rを有する球を、所定の大きさを有する3次元領域の好ましい一つの態様として用意する。3次元領域として球を選択した理由の一つは、検出対象である細胞核が球形状であるため、細胞核の形状に合わせたためである。また、球の大きさ(体積)についても、検出対象である細胞核と同じか近似していることが望ましい。後述の実験例にあるように、径の異なる複数の球を用いてスコアを計算してもよい。大きさの異なる複数の領域を用いてスコアを計算することで、最適な大きさの領域を判定することも可能である。対象物と同じ大きさの領域が必ずしも最適な寸法とは限らない。
そして、選択された着目ボクセル(x、y、z)が球の中心に位置するように球を配置して、着目ボクセルを中心として半径rの球を設定する(図3(B))。球領域(実際には、球ではなく、ブロックを組み合わせたようにゴツゴツしている)に含まれる複数のボクセルの各ボクセル値の平均を算出し、得られた値を着目ボクセルのスコアとする。そして、3次元画像データにおける各ボクセルについてスコアを算出する。算出されたスコアは、各ボクセルデータに関連付けられて記憶部に格納される。スコアの計算式を式(1)に示す。
Figure 2005057496
式(1)において、V,ρ,Iは、それぞれ、領域の体積、畳み込みの重み付け、及びボクセルのボクセル値(intensity)を示している。例えば、ρが一定であれば、スコアは通常の平均値であり、該領域内の複数のボクセルのボクセル値の平均である。本明細書において、平均には、重み付け平均も含まれる。重み付け平均では、一つの態様を例示すると、着目ボクセルに近いボクセルの値を重視し、着目ボクセルから遠いボクセルの値は軽く評価する。例えば、半径rの球領域におけるスコアの計算において、着目ボクセルから最も遠いボクセルのみの重み付けを0とすれば、半径r−1の球領域の平均スコアの計算と実質的に同じになる。
検出したい対象物の配置の良さを評価するスコアとして、着目画素を含む領域内における複数の画素の画素値の平均を用いた。しかしながら、本発明に係るスコアの算出手法は、画素値の平均に限定されるものではない。例えば、画素値の平均を計算する代わりに、領域内の複数の画素のメディアンをスコアとしてもよい。あるいは、領域のテクスチャ特徴量をスコアとして採用することもあり得る。
[C]スコアの停留条件の評価
ついで、各ボクセルに対して、スコアの停留条件を評価する。ここでの停留条件は、着目ボクセルのスコアが、近傍ボクセルのスコアと比較して、それより小さくないという条件である。停留条件を式(2)に示す。
Figure 2005057496
式(2)において、vは(x,y,z)の近傍領域である。例えば、(x,y,z)の最近傍領域は、(x±1,y,z),(x,y±1,z),(x,y,z±1)で規定される。
停留条件における近傍ボクセルは最近傍ボクセルに限定されるものではなく、例えば、最近接ボクセルに次近接を加えた領域、あるいはさらに次々近接を加えた領域に含まれるボクセルを近傍ボクセルとしてもよい。さらに、x、y、z方向の内の任意の2方向あるいは1方向のボクセルのみであってもよく、あるいは、着目ボクセルから斜め方向に位置するボクセルであってもよい。また、1つの好ましい態様では、近傍画素には、着目画素から半径rの画素数を越える距離にある画素は含まれない。また、画像処理の対象画像が、2次元画像の場合には、近傍画素は例えば、4近傍(着目画素の上下左右)、8近傍(さらに対角方向の画素を加える)である。
[D]排他的領域の配置
各ボクセル毎に計算されたスコアは各ボクセルに関連付けられて記憶部に格納されており、例えば、スコア順(例えば、大きい順あるいは小さい順)にボクセルが並び替えられる。仮に、停留条件を設けないとすると、スコアが大きいボクセルから順次球領域を配置して行く。この場合に要求される条件は、「スコアの大きい順」及び「配置される領域が排他的体積領域である」ということだけである。
ここで、「細胞核らしさ」を判定する手段として、停留条件を課すことで、より良好に排他的体積領域を配置することができる。停留条件を満たす候補ボクセルの中で、最大のスコアを有するボクセルを選択して、選択したボクセルを中心として3次元画像データ内に球領域を配置する。単にスコアが大きいことのみに基づいてそのボクセルが選択されるのではなく、候補ボクセルのスコアが一つあるいは複数の近傍ボクセルのスコアよりも小さくない場合に、該ボクセルに基づいて排他的体積領域が配置される。すなわち、あるボクセルのスコアが、極大(周りより小さくない場合を含む)であるという条件が要求される。
配置される排他的体積領域は、スコアを計算した時に用いた球領域と同じであるか、あるいは、スコアを計算した時に用いた球領域と近似する大きさ(大きい場合も小さい場合も含む)の領域である。配置される球領域は排他的体積領域であり、原則として、複数の球領域が部分的にオーバーラップして配置されることはない。但し、配置する球領域は必ずしも完全に排他的でなくてもよく、排他的体積領域の重なりに応じてスコアを減じるとして配置しても良い。この場合、弾性体の球に変形を許して配置したイメージが例示される。本明細書においては、このような場合を、「準排他的領域」とし、「排他的領域」という文言には「準排他的領域」も含まれるものとする。
排他的領域の配置について、図4に基づいて説明する。図4は便宜上、2次元画像で示してあるが、排他的領域の配置の仕方は実質的に2次元画像であっても3次元画像であっても同じである。スコアが大きい画素(ボクセル)であって停留条件を満たす画素(ボクセル)から順に排他的領域を配置していく。図4では、選択された画素(ボクセル)1を中心として4つの排他的球領域2が設定されている。排他的球領域2は選択された画素(ボクセル)1から所定半径の仮想球を設定し、該仮想球の球面が位置する画素(ボクセル)内の領域が排他的領域2となる。したがって、厳密には排他的球領域2の周面は各ボクセルによって画定されたゴツゴツしたものである(図4における升目を参照)。図4から明らかなように、排他的球領域2は互いに重なることがない。ある一つの排他的球領域2が配置されると、その領域に含まれる画素は次の排他的球領域2を設置する時の中心となる画素1からは除外される。図4では、4つの排他的球領域2が細胞核候補として検出され、各排他的球領域の中心(選択された画素1)の座標が各細胞の位置データとして用いられる。
排他的体積球領域の配置を、停留条件を満たすスコアが大きいボクセルから順に一つずつ行っていく。一つの態様では、排他的体積球領域の配置は、配置スコアが予め仮に設定した(十分小さな)打ち切り値より大きいか否かで判定し、配置スコアが打ち切り値より小さくなった時に、排他的体積球領域の配置を中止する。尚、仮に決める打ち切り値は用いられる排他的体積領域の大きさによっても変更され得る値である。
[E]細胞数及び各細胞の位置の検出
配置スコアの分布から、打ち切り値のスコアを決定する。配置スコアの分布は処理部で演算されて、その結果がスコアと細胞数のカウント数との関係を表すグラフとして表示部に表示される。後述の実験結果から明らかなように、傾きの極大点や変曲点によって決定された打ち切りスコアまでのカウント数が実際の細胞数と良く一致するという知見が得られた。これは新しい知見である。傾きの変化などは、対象物検出装置の処理装置によって自動計算することができるので、打ち切りスコアの決定も自動化することができる。そして、打ち切りスコアより大きいスコアを有する排他的体積球領域を細胞核と擬制し、排他的体積球領域の数を計算することで細胞数を得る。そして、細胞核と擬制された各排他的体積球領域の中心のボクセルの位置(座標)を各細胞の位置とする。こうすることで、細胞数の計測及び細胞の位置を自動的に特定することができる。
配置スコア分布のグラフの傾きの変化から採用するスコアを決定する手法について説明したが、対象となる細胞の種類や用いる排他的領域の大きさ等の条件から予めスコアの打ち切り値が分かっているような場合には、打ち切り値を予め設定しておき自動的に細胞数や細胞の位置を計測してもよい。また、打ち切りのスコアを決める際に、スコアのグラフや結果の3次元画像を人間が見て打ち切り値を決めて、入力手段からの所定の入力操作により、細胞数をカウントしても良い。
細胞画像において核に蛍光ラベルを施すことで、核領域の画素値が他の領域の画素値よりも大きい画像データに基づいて本発明を説明したが、細胞膜に蛍光ラベルを施すことで核領域が黒く抜けるような場合(後述の実験例5参照)には、スコアが小さい画素(そのスコアの符号を変えたものをスコアとすれば大きい順と同義である)から順次排他的領域を配置することになる。この場合、スコアの停留条件は、着目ボクセルのスコアが、近傍ボクセルのスコアと比較して、それより大きくないという条件である。換言すると、極小条件(周りより大きくない場合を含む)ということができる。スコアの符号を変えたものをスコアとして扱えば、極大条件として処理することができる。
スコアを計算する際の領域及び排他的体積領域が球の場合について説明したが、本発明で採用される前記領域の形状は球には限定されない。例えば、対象物が球形状でない場合には、該対象物の形状に近似した形状の領域を採用することが有利である。球以外の形状の領域においては、一つの態様では、領域内の重心座標を該領域の中心座標とする。
実験例1
図9に示す2次元画像に基づいて、本発明の対象物検出テストを行った。各画素のスコアを計算するための領域は球であり、球の半径を変化させてテストを行った。用いた球の半径は、4,5,6,7,8,9,10(ピクセル)である。算出されたスコアが大きい順に排他的球領域を該2次元画像に配置した。テスト結果を図5に示す。図5において、縦軸はスコア値、横軸は配置された球領域のカウント数であり、スコア値は0〜1の間に正規化されている。図5から明らかなように、配置した球領域(細胞数)のカウント数が14付近でスコアの急激な落ち込みが見られる。14付近という数字は実際の細胞数と一致する。14を越える配置は、ノイズ部分に球領域を配置することになる。球領域の半径が小さ過ぎると(r<5)、スコアの落ち込みの変化が少なく、これは同一細胞内に複数の球領域を誤って配置してしまっていることに対応している。球領域の半径が大きくなり過ぎると(r>9)、スコアの落ち込みが早すぎることになり、近接した細胞に球領域を配置することができなくなる。異なる径を有する複数の球領域を用いることで、最適な大きさの球領域を求めることができる。
実験例2
図9に示す2次元画像を一部に含む3次元画像に基づいて、本発明の対象物検出テストを行った。各画素のスコアを計算するための領域は球であり、球の半径を変化させてテストを行った。用いた球の半径は、5,6,6.5,7,8(ピクセル)である。算出されたスコアが大きい順に排他的球領域を該3次元画像に配置した。テスト結果を図6に示す。図6において、縦軸はスコア値、横軸は配置された球領域のカウント数であり、スコア値は0〜1の間に正規化されている。図6から、2次元画像と同様にスコアの落ち込みは見られる。しかしながら落ち込みは明瞭ではない。理由の一つとしては、3次元画像は1枚の画像とは異なり、蛍光顕微鏡の連続断層撮影画像では、手前と奥でシグナルの強度(ボクセル値)や鮮鋭度に大きな差があることが挙げられる。特に、奥の方はシグナルが減衰するためノイズも多い。
実験例3
停留条件の説明するために、図9に示す2次元画像上におけるある直線上のスコアの変化を計算してグラフ化した。図7において、縦軸はスコア値、横軸は直線上の画素の位置であり、スコア値は−1〜1の間で正規化されている。二つのグラフにおいて、実線は画素値であり、点線はスコアである。点線においてスコアが局所的に最大になる点のみに排他的領域を置く。スコア自体が高くても、極大ではない点には排他的領域を置かない。こうすることで、「偽りの細胞」を数えることがなくなり、細胞数え上げの精度が向上する。このことは、打ち切り値を決定する際のスコアの落ち込みがシャープになることとして表れる。
実験例4
停留条件を含む改良アルゴリズムを実際に適用して細胞数を計測した。対象はショウジョウバエのジョンストン器官(聴覚細胞)である。結果を図8に示す。図8において、縦軸は0〜1の間に正規化された配置スコア、横軸は細胞数(配置される球領域のカウント数)である。球領域の配置には、停留条件を課している。停留条件の評価には、最近接画素のみを比較対象とした。スコアの落ち込みがなだらかになる変曲点までを認識することで、570個の細胞数が計測された。尚、得られた結果はこの部位の専門家が見て十分に満足のいく認識精度であった。この結果から、本発明による対象物検出法は、細胞から広がる膜状・突起状部分のラベルに惑わされることなく、人間の目に匹敵する再現性、正確性で細胞数を計測することができることがわかる。
実験例5
キノコ体の細胞体(Calyx部)について細胞を検出した。細胞膜を蛍光ラベルした画像(細胞核が黒く抜ける)に基づいて対象物検出を行った。細胞膜によって囲まれた領域と外部とを区別する手法と本発明に係る手法を併用し、「細胞膜に囲まれた、細胞らしい大きさを持った球領域」の数を計測した。結果として、神経軸索の画像に惑わされずに細胞体のみを正確に認識できることがわかった。
実験例6
脳(ショウジョウバエ)本体の全体(前半分)について本発明により細胞を検出した。認識された細胞の配置は、各部分のチェックからは人の眼による同定と同程度の精度を持っていることがわかった。なお、計測された細胞数は17000個であり、これは人力による計測では不可能な数である。
本発明は、細胞の例えば3次元画像データにおいて、細胞の位置を特定し、そして、細胞の数を自動的に計測することができる。
本発明に係る対象物検出方法を示すフローチャートである。 本発明に係る3次元画像を例示する図である。 (A)は、ボクセルの概念を説明する図であり、(B)は、あるボクセル(x、y、z)に基づく半径rの球領域の配置を示す概略図であり、球領域は複数のボクセルから構成される。 排他的体積球領域の配置を説明する図である。 本発明に係る対象物検出方法(停留条件無し)を2次元画像に適用した結果を示す図である。 本発明に係る対象物検出方法(停留条件無し)を3次元画像に適用した結果を示す図である。 停留条件を説明する図である。 本発明に係る対象物検出方法(停留条件有り)を3次元画像に適用した結果を示す図である。 ショウジョウバエの脳細胞の2次元画像を示す図である。 図9の画像についての、従来の細胞抽出方法に基づく細胞認識を示す図である。
符号の説明
1 選択された画素
2 排他的領域

Claims (26)

  1. 着目画素を含む所定領域内の複数の画素の画素値に基づいて算出した該所定領域の特徴値を該着目画素のスコアとし、画像における各画素についてスコアを算出するステップと、
    算出されたスコアの大きさ順に画素を選択し、選択された画素から順に該所定領域と同一あるいは近似の領域を排他的領域として該画像中に配置するステップと、
    該配置された一つあるいは複数の排他的領域の少なくとも一部を対象物として検出するステップと、
    を有することを特徴とする画像から対象物を検出する方法。
  2. 請求項1において、該排他的領域を配置するステップにおける画素の選択は、当該画素のスコアが極大であるという条件を有することを特徴とする対象物検出方法。
  3. 請求項1において、該排他的領域を配置するステップは、スコアの大きい画素から順に排他的領域を配置するものであり、ある一つの画素のスコアと該一つの画素の一つあるいは複数の近傍画素のスコアとを比較し、該一つの画素のスコアが該一つあるいは複数の近傍画素のスコアよりも小さくない場合に、該一つの画素を選択して排他的領域を配置することを特徴とする対象物検出方法。
  4. 請求項1において、該排他的領域を配置するステップは、スコアの小さい画素から順に排他的領域を配置するものであり、ある一つの画素のスコアと該一つの画素の一つあるいは複数の近傍画素のスコアとを比較し、該一つの画素のスコアが該一つあるいは複数の近傍画素のスコアよりも大きくない場合に、該一つの画素を選択して排他的領域を配置することを特徴とする対象物検出方法。
  5. 請求項1乃至4いずれかにおいて、該排他的領域を対象物として検出するステップは、スコアと配置された排他的領域のカウント数との関係を表すグラフを取得するステップを有し、該グラフの傾きの特徴点を求めることで、該特徴点に対応するスコアを打ち切りスコアとし、該打ち切りスコア以上のスコアを有する排他的領域を対象物として検出することを特徴とする対象物検出方法。
  6. 請求項5において、該グラフの傾きの特徴点は、グラフの傾きの極大点あるいは変曲点であることを特徴とする対象物検出方法。
  7. 請求項1乃至6いずれかにおいて、該画像には、1次元画像、2次元画像、3次元画像、4次元以上の高次元画像が含まれることを特徴とする対象物検出方法。
  8. 請求項1乃至7いずれかにおいて、該画像には動画像が含まれることを特徴とする対象物検出方法。
  9. 請求項1乃至8いずれかにおいて、該スコアは、該領域内の複数の画素の画素値の平均値であることを特徴とする対象物検出方法。
  10. 請求項9において、該平均値には、重み付け平均値が含まれることを特徴とする対象物検出方法。
  11. 請求項1乃至8いずれかにおいて、該スコアは、該領域内の複数の画素の画素値のメディアンであることを特徴とする対象物検出方法。
  12. 請求項1乃至8いずれかにおいて、該スコアは、該領域内の複数の画素の画素値に基づいて算出した該領域のテクスチャ特徴量であることを特徴とする対象物検出方法。
  13. 請求項1乃至12いずれかにおいて、該所定領域は、該対象物と同一あるいは近似形状であり、及び/あるいは、該対象物と同一あるいは近似寸法であることを特徴とする対象物検出方法。
  14. 請求項1乃至13いずれかにおいて、該所定領域は、該着目画素を中心としたn次元超球であることを特徴とする対象物検出方法。
  15. 請求項1乃至14いずれかにおいて、該画像は細胞画像であり、該対象物は細胞核、細胞膜、その他の細胞構成要素から一つあるいは複数選択されることを特徴とする対象物検出方法。
  16. 請求項1乃至15いずれかにおいて、該排他的領域は、該対象物と同一あるいは近似形状であり、及び/あるいは、該対象物と同一あるいは近似寸法であることを特徴とする対象物検出方法。
  17. 請求項1乃至16いずれかにおいて、該排他的領域は該選択された画素を中心としたn次元超球であることを特徴とする対象物検出方法。
  18. 請求項1乃至17いずれかにおいて、該選択された画素の位置が該対象物の位置を決定することを特徴とする対象物検出方法。
  19. 請求項1乃至18に記載されたいずれかの方法をコンピュータに実行させるためのコンピュータプログラム。
  20. 請求項1乃至18に記載されたいずれかの方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
  21. 画像データを格納する記憶部と、該画像データに基づいて画像を表示する表示部と、画像を構成する各画素のスコア算出手段と、該画像中に排他的領域を配置する手段と、該配置された排他的領域から対象物を検出する手段を有し、
    該スコア算出手段は、着目画素を含む所定領域内の複数の画素の画素値に基づいて該所定領域の特徴値を算出し、該特徴値を該着目画素のスコアとするように構成され、
    該排他的領域配置手段は、算出されたスコアの大きさ順に画素を選択し、選択した画素から順に該所定領域と同一あるいは近似の領域を排他的領域として画像中に配置するように構成され、
    該対象物検出手段は、該配置された一つあるいは複数の排他的領域の少なくとも一部を該対象物として検出するように構成されていることを特徴とする対象物検出装置。
  22. 請求項21において、該排他的領域配置手段は、当該画素のスコアが極大である場合に、当該画素を選択して排他的領域を配置することを特徴とする対象物検出装置。
  23. 請求項21において、該排他的領域配置手段は、スコアの大きい画素から順に排他的領域を配置するものであり、ある一つの画素のスコアと該一つの画素の一つあるいは複数の近傍画素のスコアとを比較し、該一つの画素のスコアが該一つあるいは複数の近傍画素のスコアよりも小さくない場合に、該一つの画素を選択して排他的領域を配置することを特徴とする対象物検出装置。
  24. 請求項21において、該排他的領域配置手段は、スコアの小さい画素から順に排他的領域を配置するものであり、ある一つの画素のスコアと該一つの画素の一つあるいは複数の近傍画素のスコアとを比較し、該一つの画素のスコアが該一つあるいは複数の近傍画素のスコアよりも大きくない場合に、該一つの画素を選択して排他的領域を配置することを特徴とする対象物検出装置。
  25. 請求項21乃至24いずれかにおいて、該対象物検出手段は、スコアと配置された排他的領域のカウント数との関係を表すグラフを取得する手段を有し、該グラフの傾きの特徴点を求めることで、該特徴点に対応するスコアを打ち切りスコアとし、該打ち切りスコア以上のスコアを有する排他的領域を対象物として検出することを特徴とする対象物検出装置。
  26. 請求項25において、該グラフの傾きの特徴点は、グラフの傾きの極大点あるいは変曲点であることを特徴とする対象物検出装置。
JP2005516098A 2003-12-09 2004-12-03 画像からの対象物検出方法及び対象物検出装置 Expired - Fee Related JP4623516B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003409873 2003-12-09
JP2003409873 2003-12-09
PCT/JP2004/018024 WO2005057496A1 (ja) 2003-12-09 2004-12-03 画像からの対象物検出方法及び対象物検出装置

Publications (2)

Publication Number Publication Date
JPWO2005057496A1 true JPWO2005057496A1 (ja) 2007-12-13
JP4623516B2 JP4623516B2 (ja) 2011-02-02

Family

ID=34674913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005516098A Expired - Fee Related JP4623516B2 (ja) 2003-12-09 2004-12-03 画像からの対象物検出方法及び対象物検出装置

Country Status (2)

Country Link
JP (1) JP4623516B2 (ja)
WO (1) WO2005057496A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5987267B2 (ja) * 2011-03-28 2016-09-07 ソニー株式会社 画像処理装置および画像処理方法
US10509976B2 (en) 2012-06-22 2019-12-17 Malvern Panalytical Limited Heterogeneous fluid sample characterization
JP2019058073A (ja) 2017-09-25 2019-04-18 オリンパス株式会社 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
JP7085909B2 (ja) * 2018-06-14 2022-06-17 オリンパス株式会社 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
JP2022147328A (ja) 2021-03-23 2022-10-06 株式会社Screenホールディングス 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696192A (ja) * 1992-09-10 1994-04-08 Sumitomo Metal Ind Ltd 核抽出方法
JPH0734230B2 (ja) * 1987-07-20 1995-04-12 工業技術院長 パタ−ン認識装置
JP2003099776A (ja) * 2001-09-25 2003-04-04 Hitachi Ltd 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3212777B2 (ja) * 1993-10-28 2001-09-25 三菱電機株式会社 画像処理装置
JP3598039B2 (ja) * 2000-03-17 2004-12-08 日本電信電話株式会社 図形抽出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0734230B2 (ja) * 1987-07-20 1995-04-12 工業技術院長 パタ−ン認識装置
JPH0696192A (ja) * 1992-09-10 1994-04-08 Sumitomo Metal Ind Ltd 核抽出方法
JP2003099776A (ja) * 2001-09-25 2003-04-04 Hitachi Ltd 画像処理装置

Also Published As

Publication number Publication date
WO2005057496A1 (ja) 2005-06-23
JP4623516B2 (ja) 2011-02-02

Similar Documents

Publication Publication Date Title
JP6552613B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US10786227B2 (en) System and method for ultrasound examination
US9159127B2 (en) Detecting haemorrhagic stroke in CT image data
US8805077B2 (en) Subject region detecting apparatus
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
JP6168426B2 (ja) 疾患分析装置、制御方法、及びプログラム
US11170246B2 (en) Recognition processing device, recognition processing method, and program
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
JP6975177B2 (ja) 生物学的対象物の検出
EP2793164A1 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
CN105468891A (zh) 用于支持计算机辅助诊断的设备和方法
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
JP4623516B2 (ja) 画像からの対象物検出方法及び対象物検出装置
JP5407897B2 (ja) 画像分類方法、装置、及びプログラム
CN114998980B (zh) 一种虹膜检测方法、装置、电子设备及存储介质
EP3973447B1 (en) Surface recognition
JP2017202038A (ja) 判別装置、判別方法、および判別プログラム
EP4270311A1 (en) Image identification program, image identification method, image identification device
CN115409762B (zh) 自动检测规划点与血管的重叠的方法及装置
CN111986165B (zh) 一种乳房图像中的钙化检出方法及装置
US11181463B2 (en) Image processing device, cell recognition apparatus, cell recognition method, and cell recognition program
WO2023195924A2 (en) Method and system for facilitating analysis of a skin condition
CN114757952A (zh) 超声图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees