JP7085909B2 - 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム - Google Patents

画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム Download PDF

Info

Publication number
JP7085909B2
JP7085909B2 JP2018113230A JP2018113230A JP7085909B2 JP 7085909 B2 JP7085909 B2 JP 7085909B2 JP 2018113230 A JP2018113230 A JP 2018113230A JP 2018113230 A JP2018113230 A JP 2018113230A JP 7085909 B2 JP7085909 B2 JP 7085909B2
Authority
JP
Japan
Prior art keywords
seed
cell region
dimensional
positions
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018113230A
Other languages
English (en)
Other versions
JP2019215766A (ja
Inventor
英哉 新垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018113230A priority Critical patent/JP7085909B2/ja
Priority to US16/435,227 priority patent/US11181463B2/en
Publication of JP2019215766A publication Critical patent/JP2019215766A/ja
Application granted granted Critical
Publication of JP7085909B2 publication Critical patent/JP7085909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup
    • G01N2015/1445—Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラムに関するものである。
従来から医療・ライフサイエンス分野では、顕微鏡を通して撮影された細胞画像を用いた様々な細胞解析が行われている。例えば、ＥＳ細胞、ｉＰＳ細胞等、幹細胞の研究においては、細胞分化メカニズムの解明や、創薬開発等を目的として、時系列で撮影された複数の細胞画像から細胞の分化過程や形態的特徴変化を観察し、細胞毎の性質の違いを調べるといった作業が一般的に行われている。また、細胞画像の解析に関しては、従来目視で行われていた個々の細胞のスクリーニング等の煩雑な作業が画像認識等の画像解析技術を応用することで自動化することが可能になりつつある。
さらに、より生体内に近い環境における医薬品等の効用を調べること等を目的とし、細胞を立体的に培養する三次元培養を行い、複数の細胞が立体的に集合した細胞集塊の培養状態について、画像解析技術を応用することにより三次元的に解析することが可能となりつつある。かかる画像処理技術を応用すれば、細胞画像に含まれる個々の細胞を自動検出することにより、細胞の形態情報や個体数等を効率的に把握することができる。
特許文献１には、２次元または３次元画像内の対象物を検出する方法が開示されている。具体的には、特許文献１では、着目画素を含む所定領域の特徴値を所定領域の画素値に基づいて算出し、所定領域の特徴値を着目画素のスコアとして設定し、スコアの大きい順に画素を選択し、選択された画素の位置に所定領域と同一または近似した排他的領域を配置し、最終的に配置された排他的領域の少なくとも一部を対象物として検出している。
例えば、細胞の画像において、核領域の画素値が背景の画素値よりも大きくなる。したがって、核領域においてスコアがピークになるスコアを使用し、スコアが大きい画素から順に円形または球形の排他的領域を配置することによって、対象物である細胞の位置を特定している。
国際公開第２００５／０５７４９６号
しかしながら、特許文献１では、スコアが大きい画素から順に一定の形状を有する排他的領域を配置するので、スフェロイドのように細胞同士が立体的に密集している場合に、個々の細胞を高精度に認識することが難しいという問題がある。
すなわち、特許文献１では、対象物が密集し相互に近接している場合に、既に配置されている他の排他的領域と重ならないように、排他的領域が配置される。しかし、細胞が互いの形状に影響を及ぼす程、密集または隣接している場合に、一定の形状を有する排他的領域によって個々の細胞の位置や領域を正確に認識することは難しい。
また、画像中の細胞内の明るさは、一般に細胞核が存在する中心部分において最も明るくなり、中心部分から離れるにつれて暗くなる。したがって、細胞の中心部分を通る細胞の断面形状を精度良く認識することはできるが、中心部分から離れた位置を通る細胞の断面形状を精度良く認識することは難しい。特許文献１では、３次元画像内の任意の２次元のスライス画像内での排他的領域の配置の順番に着目したときに、明るさに無関係に個々の細胞ごとに順番に認識されるため、必ずしも形状の認識が容易である細胞中心付近に位置する明るい領域から先に認識されるとは限らず、形状の認識が難しい細胞の暗い領域から先に認識されることもある。その結果、細胞の３次元形状、特に、中心部分から離れた部分の形状の認識精度が低くなり、最終的に排他的領域によって画定される細胞の３次元形状が不自然になるという問題がある。
本発明は、上述した事情に鑑みてなされたものであって、細胞集塊の画像内の個々の細胞の領域形状を高精度に認識することができる細胞認識装置、細胞認識装置、細胞認識方法および細胞認識プログラムを提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の態様は、複数の細胞を撮影したスタック画像から３次元細胞領域を形成する画像処理装置であって、前記スタック画像は、スタック方向にスタックされた複数枚の２次元のスライス画像から構成され、前記３次元細胞領域は複数の２次元細胞領域を積層することによって形成され、前記スタック画像内に複数の第１シード位置を設定し、該複数の第１シード位置の各々は画素値が３次元的なピークを示す画素の位置である、第１シード位置設定部と、前記複数の第１シード位置の各々に固有の識別番号を付番する第１付番部と、前記スタック画像の所定の方向における細胞の標準サイズを設定する標準サイズ設定部と、前記複数の第１シード位置の各々を参照し、前記複数の第１シード位置の各々を中心とする前記標準サイズの範囲内に第２シード位置を設定し、該第２シード位置が前記第１シード位置に対し前記所定の方向にずらした位置である、第２シード位置設定部と、前記第２シード位置の各々に識別番号を付番し、各前記第２シード位置の識別番号が各前記第２シード位置の設定において参照した前記第１シード位置の識別番号と同一である、第２付番部と、前記第１および第２シード位置の各々に２次元細胞領域を形成し、該２次元細胞領域が前記所定の方向に交差する領域である、細胞領域形成部を備え、該細胞領域形成部は、全ての前記第１シード位置の各々に前記２次元細胞領域を形成し、その後に前記第２シード位置の各々に前記２次元細胞領域を形成する画像処理装置である。
本態様によれば、スタック画像内で画素値がピークを示す位置が第１シード位置設定部によって第１シード位置に設定され、第１付番部によって各第１シード位置に識別番号が付番される。スタック画像内の細胞の中心部分は、通常、画素値のピークを示す。したがって、第１シード位置は、スタック画像内の個々の細胞の中心部分に設定される。
次に、第２シード位置設定部によって、各第１シード位置を参照して各第１シード位置を中心とする範囲内に第２シード位置が設定される。前記範囲のサイズは、標準サイズ設定部によって設定された細胞の標準サイズである。したがって、第２シード位置は、スタック画像内の個々の細胞が占める範囲内に設定される。次に、第２付番部によって、各第２シード位置に、参照元である第１シード位置と同一の識別番号が付番される。次に、細胞領域形成部によって、第１および第２シード位置の各々に２次元細胞領域が形成される。これにより、所定の方向に積層する複数の２次元細胞領域から３次元細胞領域が形成される。
この場合に、画像内において、細胞の中心部分が最も明るく、細胞の中心部分から周辺部分に向かって明るさが低下するので、細胞の周辺部分に比べて細胞の中心部分の領域形状を正確に認識することができる。細胞領域形成部は、全ての第１シード位置に２次元細胞領域を形成し、その後に第２シード位置に２次元細胞領域を形成する。したがって、細胞が密集していたとしても、個々の細胞領域が正確に認識される。これにより、細胞集塊の画像内の個々の細胞を高精度に認識することができる。
上記第１の態様においては、前記２次元細胞領域が、前記スタック方向に垂直に交差する平面上に形成されてもよい。
この構成によって、スライス画像上に、またはスライス画像に平行な平面上に、２次元細胞領域を形成することができる。
上記第１の態様においては、前記所定の方向が、前記スタック方向であってもよい。
この構成によって、個々の３次元細胞領域をスタック方向に積層された２次元細胞領域から形成することができる。
上記第１の態様においては、前記スタック方向に交差する平面上における細胞の平均サイズを設定する平均サイズ設定部を備え、前記標準サイズ設定部が、前記平均サイズに基づいて前記標準サイズを設定してもよい。
光学的なぼけ等が原因で、細胞の像が見かけ上、スタック方向に伸張することがある。このような場合に、所定の方向における細胞のサイズの伸張を考慮して、より適切な標準サイズを設定することができる。
上記第１の態様においては、前記スタック画像内の各画素の特徴量を算出し、該特徴量が、画素値の極値らしさを表す量である、特徴量算出部を備え、前記第１シード位置設定部は、前記特徴量が周辺画素よりも大きい画素の位置を第１シード位置に設定してもよい。
細胞の中心部分は周辺よりも明るいので、細胞の中心部分の画素の特徴量は周辺画素の特徴量よりも大きくなる。したがって、第１シード位置を設定すべき細胞の中心部分を特徴量に基づいて検出することができる。
上記第１の態様においては、前記特徴量が、ＬｏＧフィルタ出力値であってもよい。
この構成によって、画素値の極値らしさを正確に表す特徴量として、ＬｏＧフィルタ出力値を算出することができる。
上記第１の態様においては、前記細胞領域形成部が、前記第１および第２シード位置の各々の周辺の画素値分布および画素値勾配の少なくとも１つに基づいて前記２次元細胞領域の境界を画定してもよい。
細胞の境界では、画素値および画素値勾配が周辺に比べて大きくなる。したがって、画素値分布および画素値勾配の少なくとも１つに基づいてスタック画像内の細胞の境界を高精度に認識し、検出された境界を２次元細胞領域の境界として画定することができる。
上記第１の態様においては、前記細胞領域形成部が、前記画素値分布および前記画素値勾配の少なくとも１つの適応的閾値処理によって前記境界を画定してもよい。
この構成によって、スタック画像内の細胞の境界をさらに高精度に認識することができる。
上記第１の態様においては、前記細胞領域形成部が、前記第２シード位置と前記所定の方向に隣接する前記第１シード位置または他の前記第２シード位置に、前記第２シード位置と同一の識別番号の２次元細胞領域が既に形成されている場合にのみ、当該第２シード位置に前記２次元細胞領域を形成してもよい。
この構成によって、同一の識別番号の２次元細胞領域が第２シード位置の隣に既に形成されている場合にのみ、当該第２シード位置に２次元細胞領域が形成される。これにより、所定の方向に連続する３次元細胞領域を形成することができる。
上記第１の態様においては、前記細胞領域形成部が、参照元である前記第１シード位置からの距離が小さい第２シード位置から順に前記２次元細胞領域を形成してもよい。
この構成によって、細胞の中心部分の第１シード位置に２次元細胞領域が形成された後、細胞の中心部分に近い側から遠い側に向かって順番に２次元細胞領域が形成される。これにより、より明るい位置から順に２次元細胞領域を形成し、個々の細胞をさらに高精度に認識することができる。
上記第１の態様においては、前記第２シード位置設定部が、前記第１シード位置に対し前記所定の方向にずらした位置を前記第２シード位置の候補として選択し、選択された位置における画素値が所定値よりも大きい場合にのみ選択された位置を第２シード位置に設定してもよい。
第１シード位置を中心とする標準サイズの範囲内には、細胞の他に背景も含まれ得る。細胞における画素値は、背景における画素値よりも高い。したがって、第２シード位置の候補として選択された位置の画素値を所定値と比較することによって、選択された位置が細胞内の位置であるか、または背景内の位置であるかを判断することができる。そして、細胞内の位置であると判断された位置のみを第２シード位置に設定することによって、スタック画像内の背景に２次元細胞領域が誤って形成されることを防止することができる。
上記第１の態様においては、前記スタック画像内の背景領域の平均画素値を推定し、該背景領域が細胞を含まない領域である、背景値推定部を備え、前記所定値が、前記背景領域の平均画素値に基づいて設定されてもよい。
この構成によって、第２シード位置の候補として選択された位置が細胞内の位置であるか、または背景内の位置であるかをより正確に判断することができる。
本発明の第２の態様は、複数の細胞を撮影したスタック画像を取得する撮像部と、上記いずれかに記載の画像処理装置とを備える細胞認識装置である。
本発明の第３の態様は、複数の細胞を撮影したスタック画像から３次元細胞領域を形成する細胞認識方法であって、前記スタック画像は、スタック方向にスタックされた複数枚の２次元のスライス画像から構成され、前記３次元細胞領域は複数の２次元細胞領域を積層することによって形成され、前記スタック画像内に複数の第１シード位置を設定し、該複数の第１シード位置の各々は画素値が３次元的なピークを示す画素の位置である、工程と、前記複数の第１シード位置の各々に固有の識別番号を付番する工程と、前記スタック画像の所定の方向における細胞の標準サイズを設定する工程と、前記複数の第１シード位置の各々を参照し、前記複数の第１シード位置の各々を中心とする前記標準サイズの範囲内に第２シード位置を設定し、該第２シード位置が前記第１シード位置に対し前記所定の方向にずらした位置である、工程と、前記第２シード位置の各々に識別番号を付番し、各前記第２シード位置の識別番号が各前記第２シード位置の設定において参照した前記第１シード位置の識別番号と同一である、工程と、前記第１および第２シード位置の各々に２次元細胞領域を形成し、該２次元細胞領域が前記所定の方向に交差する領域である、工程を含み、前記２次元細胞領域を形成する工程において、全ての前記第１シード位置の各々に前記２次元細胞領域を形成し、その後に前記第２シード位置の各々に前記２次元細胞領域を形成する細胞認識方法である。
本発明の第４の態様は、複数の細胞を撮影したスタック画像から３次元細胞領域を形成する処理をプロセッサに実行させる細胞認識プログラムであって、前記スタック画像はスタック方向にスタックされた複数枚の２次元のスライス画像から構成され、前記３次元細胞領域は複数の２次元細胞領域を積層することによって形成され、前記スタック画像内に複数の第１シード位置を設定し、該複数の第１シード位置の各々は画素値が３次元的なピークを示す画素の位置である、工程と、前記複数の第１シード位置の各々に固有の識別番号を付番する工程と、前記スタック画像の所定の方向における細胞の標準サイズを設定する工程と、前記複数の第１シード位置の各々を参照し、前記複数の第１シード位置の各々を中心とする前記標準サイズの範囲内に第２シード位置を設定し、該第２シード位置は前記第１シード位置に対し前記所定の方向にずらした位置である、工程と、前記第２シード位置の各々に識別番号を付番し、各前記第２シード位置の識別番号が各前記第２シード位置の設定において参照した前記第１シード位置の識別番号と同一である、工程と、前記第１および第２シード位置の各々に２次元細胞領域を形成し、該２次元細胞領域が前記所定の方向に交差する領域である、工程をプロセッサに実行させ、前記２次元細胞領域を形成する工程において、全ての前記第１シード位置の各々に前記２次元細胞領域を形成し、その後に前記第２シード位置の各々に前記２次元細胞領域を形成する細胞認識プログラムである。
本発明によれば、細胞集塊の画像内の個々の細胞の領域形状を高精度に認識することができるという効果を奏する。
本発明の一実施形態に係る細胞認識装置の全体構成を示すブロック図である。 細胞が３次元的に塊状に凝集したスフェロイドの一例を示す図である。 （ａ）所定間隔おきにスフェロイドを撮影した複数枚のスライス画像からなるＺスタック画像の一例と、（ｂ）（ａ）のＺスタック画像内のＺ＝ｚ（２）におけるスライス画像とを示す図である。 細胞の（ａ）平均サイズおよび（ｂ）標準サイズを説明する図である。 図１の細胞認識装置における第１シード位置設定部の具体的な構成を示すブロック図である。 親シードおよび子シードの位置関係を説明する図である。 図１の細胞認識装置における第２シード位置設定部の具体的な構成を示すブロック図である。 ２次元細胞領域の形成順番および３次元細胞領域の形成過程を示す図である。 図１の細胞認識装置における細胞領域形成部の具体的な構成を示すブロック図である。 画素値の閾値処理による２次元細胞領域の形成方法を説明する図であり、（ａ）トリミング画像、（ｂ）閾値処理後の２値化画像、および（ｃ）後処理後の２値化画像をそれぞれ示している。 画素値勾配の閾値処理による２次元細胞領域の形成方法を説明する図であり、（ａ）トリミング画像、（ｂ）画素値勾配画像、（ｃ）閾値処理後の２値化画像、および（ｄ）後処理後の２値化画像をそれぞれ示している。 本発明の一実施形態に係る細胞認識方法を示すフローチャートである。 図１２の細胞認識方法における親シード位置設定処理ルーチンのフローチャートである。 図１２の細胞認識方法における子シード位置設定処理ルーチンのフローチャートである。 図１２の細胞認識方法における細胞領域形成処理ルーチンのフローチャートである。
本発明の一実施形態に係る画像処理装置１０、細胞認識装置１００および細胞認識方法について、図面を参照して以下に説明する。
本実施形態に係る細胞認識装置１００は、図１に示されるように、細胞の画像を取得する撮像装置（撮像部）２０と、撮像装置２０によって取得された画像を処理する画像処理装置１０とを備えている。
撮像装置２０は、細胞集塊を撮影し画像を取得する。細胞集塊は、複数の細胞の集合体である。具体的には、撮像装置２０は、ＣＣＤイメージセンサのような撮像素子（図示略）と、アナログデジタル（Ａ／Ｄ）変換器（図示略）とを備える。撮像装置２０は、光学顕微鏡によって生成された細胞集塊の光学像を、撮像素子およびＡＤ変換器を経由してデジタル信号に変換し、２次元画像を生成する。２次元画像は、例えば１６ビット深度の画像である。光学顕微鏡は、例えば蛍光顕微鏡であり、したがって、２次元画像において、個々の細胞は、周辺よりも画素値が高い領域として表される。
撮像装置２０は、Ｚ方向に所定の間隔ΔＺを空けた複数のＺ位置で複数枚の２次元画像を取得し、Ｚ方向（スタック方向）にスタックされた複数枚の２次元画像（スライス画像）のセットからなるＺスタック画像データを出力する。
図２は、複数の細胞Ｃが３次元的に凝集したスフェロイドＳの一例を示している。図３（ａ）は、図２のスフェロイドＳのＺスタック画像を示している。図３（ｂ）は、図３（ａ）のＺスタック画像に含まれるスライス画像の１つを示している。Ｚ方向は、光学顕微鏡および撮像装置２０の光軸に沿う方向である。Ｘ方向およびＹ方向は、Ｚ方向に直交し、かつ相互に直交する方向である。スライス画像は、ＸＹ平面の画像である。
撮像装置２０は、後述するように、画像処理装置１０内の第１シード位置設定部３、第２シード位置設定部５および細胞領域形成部８に接続されている。撮像装置２０から出力されたＺスタック画像データは、第１シード位置設定部３、第２シード位置設定部５および細胞領域形成部８に送信される。
画像処理装置１０は、平均サイズ設定部１と、標準サイズ設定部２と、第１シード位置設定部３と、第１付番部４と、第２シード位置設定部５と、第２付番部６と、ソート部７と、細胞領域形成部８と、出力部９とを備えている。
平均サイズ設定部１は、標準サイズ設定部２および第１シード位置設定部３に接続されている。第１シード位置設定部３は、第１付番部４に接続されている。第１付番部４は、第２シード位置設定部５およびソート部７に接続されている。第２シード位置設定部５は、第２付番部６に接続されている。第２付番部６は、ソート部７に接続されている。ソート部７は、細胞領域形成部８に接続されている。細胞領域形成部８は、出力部９に接続されている。
画像処理装置１０の各処理部１～９は、図示しないシステムコントローラに接続され、各処理部１～９の動作はシステムコントローラによって制御される。
画像処理装置１０は、ＣＰＵ（中央演算処理装置）のようなプロセッサと、ＲＡＭのような主記憶装置と、ＲＯＭのような補助記憶装置とを備えるコンピュータであってもよい。補助記憶装置には、後述するステップＳ１～Ｓ９の処理をプロセッサに実行させる細胞認識プログラムが格納される。細胞認識プログラムに従ってプロセッサが処理を実行することによって、各処理部１～９の機能が実現される。
平均サイズ設定部１は、Ｚスタック画像内の細胞Ｃの平均サイズＤを設定する。平均サイズＤは、図４（ａ）に示されるように、スタック画像中の細胞ＣのＸＹ平面上における平均的な直径である。例えば、画像処理装置１０は、ユーザによって操作されるグラフィカルユーザインタフェース（ＧＵＩ）を備える。ユーザは、ＧＵＩの操作によって平均サイズＤの値を画像処理装置１０に入力することができる。平均サイズ設定部１は、ユーザによって画像処理装置１０に入力された値に基づいて平均サイズＤを設定する。平均サイズＤは、標準サイズ設定部２および第１シード位置設定部３に送信される。
標準サイズ設定部２は、平均サイズ設定部１から細胞Ｃの平均サイズＤを受け取り、平均サイズＤに基づいて標準サイズＤ’を設定する。標準サイズＤ’は、図４（ｂ）に示されるように、１個の細胞ＣのＺ方向のサイズである。標準サイズＤ’は、平均サイズＤに所定の係数を乗算することによって算出される。例えば、Ｚ方向における光学的なぼけが大きく、細胞Ｃが見かけ上Ｚ方向に広がる楕円体である場合、所定の係数は、Ｚ方向における像の伸張率である。なお、標準サイズＤ’は平均サイズＤと無関係にユーザが独立して設定できる構成としてもよい。標準サイズＤ’は、第２シード位置設定部５に送信される。
第１シード位置設定部３は、Ｚスタック画像中から画素値が３次元的なピークを示す画素を検出し、検出された画素の位置を親シード位置（第１シード位置）Ｐ１に設定する。Ｚスタック画像内の個々の細胞Ｃにおける画素値は、細胞Ｃの中心部分において最も高く、中心部分から離れるにつれて低下する。したがって、親シード位置Ｐ１は、Ｚスタック画像中の個々の細胞Ｃの中心部分に設定される。
具体的には、第１シード位置設定部３は、図５に示されるように、初期化部３１と、ＬｏＧフィルタ部（特徴量算出部）３２と、ピーク検出部３３と、ピーク統合部３４とを備えている。
撮像装置２０は、初期化部３１に接続されている。初期化部３１は、ＬｏＧフィルタ部３２に接続されている。ＬｏＧフィルタ部３２は、ピーク検出部３３に接続されている。平均サイズ設定部１およびピーク検出部３３は、ピーク統合部３４に接続されている。ピーク統合部３４は、第１付番部４に接続されている。
初期化部３１は、撮像装置２０から送信されたＺスタック画像を読込み、各画素の画素値を１２ｂｉｔ深度幅に初期化（正規化）する、すなわち画素値を階調幅０～４０９５範囲に調整する。具体的には、初期化部３１は、Ｚスタック画像中の画素値の最大値ｍａｘを検出し、各画素値にゲイン（＝４０９５／ｍａｘ）を乗算する。初期化されたＺスタック画像データは、ＬｏＧフィルタ部３２に送信される。
ＬｏＧフィルタ部３２は、初期化されたＺスタック画像を初期化部３１から受け取り、初期化されたＺスタック画像にＬｏＧ（Laplacian of Gaussian）フィルタを適用する。ＬｏＧフィルタは、ガウシアンフィルタ（平滑化フィルタ）とラプラシアンフィルタ（２次微分（エッジ検出）フィルタ）とを組みわせた効果を有する。
下式は、２次元ＬｏＧフィルタの例である。
ＬｏＧ（ｘ，ｙ）
＝（ｘ２＋ｙ２－２σ２）／（２πσ６）×ｅｘｐ｛－（ｘ２＋ｙ２）／（２σ２）｝
ここで、ｘおよびｙは、画素の位置である。ＬｏＧ（ｘ，ｙ）は、フィルタ出力値（特徴量。以下、ＬｏＧ出力値と呼称する。）である。σは、フィルタ効果を調整するためのパラメータである。
スタック画像において、細胞Ｃは、周辺よりも画素値が高い輝点として表される。ＬｏＧ出力値は、画素値の極値らしさを表し、画素値のピーク位置において周辺画素よりも大きくなる。したがって、ＬｏＧフィルタは、画素値のピーク位置を細胞Ｃの位置として検出する際に、用いることができる。
ＬｏＧフィルタ部３２は、初期化されたＺスタック画像の各スライス画像に２次元ＬｏＧフィルタを適用し、各画素のＬｏＧ出力値を算出し、ＬｏＧ出力値を画素値とするＬｏＧ出力値画像を生成する。ＬｏＧ出力値画像は、ピーク検出部３３に送信される。
ＬｏＧフィルタ部３２は、２次元ＬｏＧフィルタを２次元のスライス画像に適用することに代えて、３次元ＬｏＧフィルタを３次元のＺスタック画像に適用してもよい。
ピーク検出部３３は、ＬｏＧフィルタ部３２からＬｏＧ出力値画像を受け取り、ＬｏＧ出力値画像からＬｏＧ出力値が局所的に最大値を示すピーク画素を検出する。具体的には、ピーク検出部３３は、ＬｏＧ出力値画像の各Ｚ位置におけるスライス画像を３次元的に走査し、ＬｏＧ出力値がＸＹＺ各方向に隣接する周辺画素よりも高いピーク画素を検出する。ピーク画素の位置は、親シード位置Ｐ１の候補位置である。次に、ピーク検出部３３は、ピーク画素の３次元空間内の位置のＸＹＺ座標とＬｏＧ出力値とを含む親シード情報を作成する。親シード情報は、ピーク統合部３４へ送信される。
ピーク統合部３４は、ピーク検出部３３から親シード情報を受け取り、平均サイズ設定部１から細胞Ｃの平均サイズＤを受け取る。次に、ピーク統合部３４は、親シード情報内に極度に近接した２つのピーク画素が存在する場合に、これら２つのピーク画素を１つに統合する。
具体的には、ピーク統合部３４は、親シード情報から２つのピーク画素の座標を選択し、２つの座標間の空間的距離を計算する。次に、ピーク統合部３４は、空間的な距離が閾値以下である場合に、２つのピーク画素が細胞Ｃの平均サイズＤと比較して十分に近接していると判定し、２つのピーク画素を統合する。閾値は、平均サイズＤに基づいて設定される。
２つのピーク画素の統合において、ピーク統合部３４は、２つのピーク画素のＬｏＧ出力値を相互に比較し、より大きなＬｏＧ出力値を有するピーク画素がより親シード位置Ｐ１らしい（すなわち、細胞Ｃの中心位置に近い）と判断する。そして、ピーク統合部３４は、より大きなＬｏＧ出力値のピーク画素の座標およびＬｏＧ出力値を親シード情報内に残し、他方のピーク画素の座標およびＬｏＧ出力値を親シード情報から削除する。ノイズ等が原因で、細胞Ｃの中心部分以外の位置がピーク画素として誤検出される可能性がある。近接した２つのピーク画素の統合によって、誤検出されたピーク画素の座標が親シード情報から削除される。
ピーク統合部３４は、近接するピーク画素の探索および統合を、親シード情報に含まれる全てのピーク画素に対して網羅的に行い、統合されるピーク画素がなくなるまで繰り返す。ピーク画素の統合後に親シード情報内に残ったピーク画素の位置が最終的に親シード位置Ｐ１に設定される。統合された親シード情報は、第１付番部４に送信される。
第１付番部４は、ピーク統合部３４から親シード情報を受け取り、親シード情報に含まれる親シード位置Ｐ１の各々に固有の識別番号を付番する。識別番号は、後述する細胞領域形成部８によって形成される３次元細胞領域を識別するための領域番号である。第１付番部４は、例えば、画素値が高い順に親シード位置Ｐ１に識別番号を付す。親シード位置Ｐ１に識別番号が付された親シード情報は、第２シード位置設定部５およびソート部７に送信される。
第２シード位置設定部５は、親シード情報に含まれる親シード位置Ｐ１を参照し、各親シード位置Ｐ１を中心とする標準サイズＤ’の範囲Ｒ内に子シード位置（第２シード位置）Ｐ２を設定する。子シード位置Ｐ２は、図６に示されるように、その参照元である同一範囲Ｒ内の親シード位置Ｐ１に対しＺ方向にずらした位置である。すなわち、同一範囲Ｒ内の子シード位置Ｐ２と親シード位置Ｐ１は、Ｚ座標のみが異なる。子シード位置Ｐ２は、親シード位置Ｐ１のＺ方向の両側に、スライス画像間の間隔ΔＺに相当する所定画素数ずつ間隔を空けて設定される。したがって、各子シード位置Ｐ２は、スライス画像上の位置である。図６の例では、親シード位置Ｐ１の両側に４個ずつ子シード位置Ｐ２が設定されている。第２シード位置設定部５は、子シード位置Ｐ２を含む子シード情報を作成する。
具体的には、第２シード位置設定部５は、図７に示されるように、子シード位置選択部５１と、背景値推定部５２と、子シード位置判定部５３とを備えている。
第１付番部４および標準サイズ設定部２は、子シード位置選択部５１に接続されている。撮像装置２０は、背景値推定部５２に接続されている。子シード位置選択部５１および背景値推定部５２は、子シード位置判定部５３に接続されている。子シード位置判定部５３は、第２付番部６に接続されている。
子シード位置選択部５１は、第１シード位置設定部３から親シード情報を受け取る。次に、子シード位置選択部５１は、スタック画像内の各親シード位置Ｐ１を中心とする範囲Ｒ内から子シード位置Ｐ２を選択する。選択される子シード位置Ｐ２は、親シード位置Ｐ１からＺ方向に所定画素数（１スタック）ずつずらした位置であり、最終的な子シード位置Ｐ２の候補位置である。第２シード位置設定部５は、子シード情報を作成する。子シード情報は、選択された子シード位置Ｐ２のＸＹＺ座標と、各子シード位置Ｐ２の参照元の親シード位置Ｐ１からの距離（すなわち、親シード位置Ｐ１からのＺ方向のずれ量）と、子シード位置Ｐ２におけるＺスタック画像の画素値とを含む。子シード情報は、子シード位置判定部５３に送信される。
背景値推定部５２は、撮像装置２０からスタック画像を受け取り、Ｚスタック画像の背景画素値を推定する。背景画素値は、細胞Ｃを含まない背景領域の平均画素値である。背景画素値の推定には、公知の方法が使用される。例えば、Ｚスタック画像の画素値が２値化され、暗い領域が背景領域に特定され、Ｚスタック画像内の背景領域に対応する領域の平均画素値が背景画素値として算出される。２値化に使用される閾値は、例えば、大津の方法によって算出される。Ｚスタック画像中に占める細胞Ｃの体積の割合が非常に小さい場合には、Ｚスタック画像の平均画素値を背景画素値として用いてもよい。背景画素値は、子シード位置判定部５３に送信される。
子シード位置判定部５３は、子シード位置選択部５１から子シード情報を受け取り、背景値推定部５２から背景画素値を受け取る。次に、子シード位置判定部５３は、子シード情報内の子シード位置Ｐ２の画素値を背景画素値（所定値）と比較する。子シード位置Ｐ２が細胞内の位置である場合、子シード位置Ｐ２の画素値は背景画素値よりも大きくなる。一方、子シード位置Ｐ２が背景領域内の位置である場合、子シード位置Ｐ２の画素値は背景画素値以下となる。子シード位置判定部５３は、画素値が背景画素値よりも大きい子シード位置Ｐ２の座標、距離および画素値を子シード情報内に残し、画素値が背景画素値以下である小さい子シード位置Ｐ２の座標、距離および画素値を子シード情報から削除する。子シード位置判定部５３は、例えば、親シード位置Ｐ１からの距離が近い子シード位置Ｐ２から順に、背景画素値との比較を行う。
以上の処理の結果、範囲Ｒ内から選択された子シード位置Ｐ２の内、背景領域内の子シード位置Ｐ２に関するデータが子シード情報から削除される。子シード情報内の全ての子シード位置Ｐ２について判定処理が行われた後、最終的に残った子シード位置Ｐ２の座標、距離および座標が、子シード情報として第２付番部６に送信される。
第２付番部６は、子シード位置判定部５３から子シード情報を受け取る。次に、第２付番部６は、子シード情報内の各子シード位置Ｐ２に、参照元である同一範囲Ｒ内の親シード位置Ｐ１の識別番号と同一の識別番号を設定する。これにより、１個の細胞Ｃに対応する１個の範囲Ｒ内の親シード位置Ｐ１および子シード位置Ｐ２に、同一の識別番号が設定される。子シード位置Ｐ２に識別番号が付番された子シード情報は、ソート部７に送信される。
ソート部７は、第１付番部４から親シード情報を受け取り、第２付番部６から子シード情報を受け取る。次に、ソート部７は、親シード情報および子シード情報を１つに統合し、シード位置Ｐ１，Ｐ２を並べ替えることによって、細胞領域形成部８による２次元細胞領域の形成順を決定する。
具体的には、ソート部７は、各親シード位置Ｐ１の、参照元の親シード位置Ｐ１（すなわち、自身）からのＺ方向の距離をゼロに設定し、親シード位置Ｐ１と子シード位置Ｐ２とを統合する。次に、ソート部７は、親シード位置Ｐ１および子シード位置Ｐ２を、親シード位置Ｐ１および子シード位置Ｐ２の区別なく、親シード位置Ｐ１からの距離が近い順に並べ替え、ソート済みシード情報を作成する。各親シード位置Ｐ１の距離はゼロであるので、ソート済みシード情報において、親シード位置Ｐ１が上位に位置し、全ての親シード位置Ｐ１の下位に子シード位置Ｐ２が位置する。ソート済みシード情報は、細胞領域形成部８に送信される。
細胞領域形成部８は、ソート部７からソート済みシード情報を受け取り、ソート済みシード情報内のシード位置を上位から順に１つずつ選択する。次に、細胞領域形成部８は、選択されたシード位置の周辺画素の画素値分布に基づいて、選択されたシード位置に２次元細胞領域を形成する。２次元細胞領域は、選択されたシード位置を含むスライス画像上に形成される。細胞領域形成部８は、ソート済みシード情報内のシード位置を上位から順に選択するので、全ての親シード位置Ｐ１に２次元細胞領域が形成された後に子シード位置Ｐ２に２次元細胞領域が形成される。したがって、図８に示されるように、細胞Ｃの中心部分からＺ方向の両側に向かって順番に２次元細胞領域が形成され、最終的に、Ｚ方向に積層された複数の２次元細胞領域から３次元細胞領域が形成される。
具体的には、細胞領域形成部８は、図９に示されるように、シード記録部８１と、シード選択部８２と、重複判定部８３と、隣接判定部８４と、周辺領域抽出部８５と、２次元領域形成部８６と、領域記録部８７とを備えている。
ソート部７、重複判定部８３および隣接判定部８４は、シード記録部８１に接続されている。シード記録部８１は、シード選択部８２に接続されている。シード選択部８２および領域記録部８７は、重複判定部８３に接続されている。重複判定部８３および領域記録部８７は、隣接判定部８４に接続されている。隣接判定部８４および撮像装置２０は、周辺領域抽出部８５に接続されている。周辺領域抽出部８５は、２次元領域形成部８６に接続されている。２次元領域形成部８６は、領域記録部８７に接続されている。領域記録部８７は出力部９に接続されている。
シード記録部８１は、ソート部７から受け取ったソート済みシード情報を一時的に記録するバッファメモリである。シード記録部８１に記録されるソート済みシード情報は、重複判定部８３および隣接判定部８４による判定結果に従って更新される。
シード選択部８２は、シード記録部８１に記録されたソート済みシード情報内のシード位置を上位から順番に１つずつ選択し、選択されたシード位置を重複判定部８３に送信する。
重複判定部８３は、シード選択部８２からシード位置を受け取る。次に、重複判定部８３は、受け取ったシード位置に、２次元領域形成部８６によって２次元細胞領域が既に形成されているか否かを判定する。２次元領域形成部８６によって形成された２次元細胞領域は、後述するように領域記録部８７に記録される。重複判定部８３は、領域記録部８７に現時点までに記録されている２次元細胞領域に基づいて、上記判定を行う。シード位置に既に２次元細胞領域が形成されている場合、重複判定部８３は、当該シード位置を隣接判定部８４に送信せず、当該シード位置に関するデータをシード記録部８１のソート済みシード情報から削除する。これにより、当該シード位置の２次元細胞領域の形成に係る処理がキャンセルされ、既に２次元細胞領域が存在する領域に、他の２次元細胞領域が重複して形成されることが阻止される。一方、当該シード位置に未だ２次元細胞領域が形成されていない場合、重複判定部８３は、当該シード位置を隣接判定部８４に送信する。
隣接判定部８４は、重複判定部８３からシード位置を受け取り、シード位置の親シード位置Ｐ１からの距離がゼロである場合（すなわち、シード位置が親シード位置Ｐ１である場合）、後述の判定処理を行わず、シード位置を周辺領域抽出部８５に送信する。シード位置の親シード位置Ｐ１からの距離がゼロで無い場合（すなわち、シード位置が子シード位置Ｐ２である場合）、隣接判定部８４は、当該シード位置とＺ方向に隣接する位置に、２次元領域形成部８６によって２次元細胞領域が既に形成されているか否かを判定する。隣接する位置に２次元細胞領域が既に形成されている場合、隣接判定部８４は、その２次元細胞領域の識別番号（領域番号）が、当該シード位置の識別番号と同一であるか否かをさらに判定する。
隣接する位置に２次元細胞領域が未だ形成されていないか、または、隣接する位置の２次元細胞領域の識別番号が異なる場合、隣接判定部８４は、当該シード位置を周辺領域抽出部８５に送信せず、当該シード位置およびこれに関連する情報をシード記録部８１のソート済みシード情報から削除する。これにより、当該シード位置の２次元細胞領域の形成に係る処理がキャンセルされ、Ｚ方向において不連続な３次元細胞領域が形成されることが防止される。
一方、隣接判定部８４は、シード位置とＺ方向に隣接する位置に２次元細胞領域が既に形成されており、かつ、この２次元細胞領域の識別番号が当該シード位置の識別番号と同一である場合、当該シード位置を周辺領域抽出部８５に送信する。
周辺領域抽出部８５は、撮像装置２０からＺスタック画像を受け取り、隣接判定部８４からシード位置を受け取る。次に、周辺領域抽出部８５は、シード位置が位置するスライス画像をＺスタック画像から選択する。次に、周辺領域抽出部８５は、シード位置を中心とし細胞Ｃを含む所定範囲の領域をスライス画像から切り出し、図１０（ａ）に示されるように、トリミング画像を生成する。切り出される領域のサイズは、細胞Ｃの平均サイズＤに基づいて設定され、例えば、平均サイズＤに所定係数を乗算したサイズである。トリミング画像は、２次元領域形成部８６に送信される。
２次元領域形成部８６は、周辺領域抽出部８５からトリミング画像を受け取り、図１０（ｂ）に示されるように、トリミング画像に閾値処理を施すことによって画素値を２値化する。すなわち、２次元領域形成部８６は、閾値以上の画素値を“１”に変換し、閾値未満の画素値を“０”に変換する。２次元領域形成部８６は、トリミング画像に平滑化フィルタ等による平滑化処理を施し、平滑化されたトリミング画像に閾値処理を施してもよい。図１０（ｂ）に示されるように、２値化されたトリミング画像において画素値“０”の領域を黒色、画素値“１”の領域を白色で表す。細胞は相対的に画素値が大きく、白い領域として表され、背景は黒い領域として表される。２値化されたトリミング画像内の白い領域から２次元細胞領域が形成される。２次元細胞領域を含む２値化されたトリミング画像は、シード位置の識別番号と共に領域記録部８７に送信され、識別番号を領域番号として領域記録部８７に記録される。
２次元領域形成部８６は、閾値として、予め設定された固定値を用いてもよい。
好ましくは、２次元領域形成部８６は、トリミング画像の画素値に基づいて算出された適応的閾値を閾値処理に用いる。この場合、２次元領域形成部８６は、トリミング画像の画素値のヒストグラムを作成する。次に、２次元領域形成部８６は、ヒストグラムに基づき、例えば大津の方法によって適応的閾値を算出する。
２次元領域形成部８６は、２値化されたトリミング画像に後処理を行い、後処理後の画像を領域記録部８７に記録させてもよい。図１０（ｃ）は、図１０（ｂ）の２値化されたトリミング画像の後処理後の画像を示している。例えば、図１０（ｂ）に示されるように、シード位置を含む白い領域内に黒い小領域Ａが存在する場合、２次元領域形成部８６は、黒い小領域Ａの画素値を白に対応する画素値に変換することによって、黒い小領域Ａを除去する。また、シード位置から遠い位置に近傍の細胞の一部分である白い領域Ｂが存在する場合、２次元領域形成部８６は、シード位置を含まない白い領域Ｂを、２値化されたトリミング画像から除去する。
トリミング画像内の細胞Ｃの境界において、画素値の勾配が大きくなる。したがって、２次元領域形成部８６は、画素値の閾値処理（２値化処理）に代えて、画素値勾配の閾値処理（２値化処理）を行ってもよい。すなわち、２次元領域形成部８６は、トリミング画像（図１１（ａ）参照。）内の各画素の位置における画素値の勾配を算出し、画素値の勾配が画素値である勾配画像（図１１（ｂ）参照。）を作成する。次に、２次元領域形成部８６は、勾配が閾値以上である画素を細胞Ｃの境界（図１１（ｃ）参照。）として検出し、シード位置を含み境界によって画定された領域（図１１（ｄ）参照。）を２次元細胞領域とする。
この場合にも、２次元領域形成部８６は、閾値として、予め設定された固定値を用いてもよいが、好ましくは、勾配画像の画素値に基づいて算出された適応的閾値を用いる。すなわち、２次元領域形成部８６は、勾配画像の画素値のヒストグラムを作成し、ヒストグラムに基づき、例えば大津の方法によって適応的閾値を算出する。
領域記録部８７は、Ｚスタック画像と同一のデータサイズのバッファメモリである。領域記録部８７は、シード位置の識別番号を領域番号として付された２次元細胞領域を記録する。領域記録部８７には、３次元細胞領域の形成の途中結果が記録される。そして、ソート済みシード情報内の全てのシード位置がシード選択部８２によって選択され、最後に選択されたシード位置に対する処理が終了したときに、領域記録部８７に３次元細胞領域のデータが形成される。３次元細胞領域は出力部９に送信され、出力部９から所定の表示装置または記録装置等に出力される。
次に、細胞認識装置１００による細胞認識方法について、図１２から図１５のフローチャートを参照して説明する。
細胞認識方法は、図１２に示されるように、Ｚスタック画像を取得するステップＳ１と、平均サイズＤを設定するステップＳ２と、細胞Ｃの標準サイズＤ’を設定するステップＳ３と、Ｚスタック画像内に複数の親シード位置Ｐ１を設定し親シード情報を作成するステップＳ４と、各親シード位置Ｐ１に固有の識別番号を付番するステップＳ５と、各親シード位置Ｐ１を中心とする標準サイズＤ’の範囲Ｒ内に子シード位置Ｐ２を設定し子シード情報を作成するステップＳ６と、各子シード位置Ｐ２に識別番号を付番するステップＳ７と、親シード情報および子シード情報を統合し親シード位置Ｐ１および子シード位置Ｐ２の順番を並べ替えるステップＳ８と、各シード位置に２次元細胞領域を形成するステップＳ９とを含む。
まず、ステップＳ１において、撮像装置２０によって取得されたＺスタック画像が画像処理装置１０に入力される。
次に、ステップＳ２において、平均サイズ設定部１によって、Ｚスタック画像内の細胞Ｃの平均サイズＤが設定される。
次に、ステップＳ３において、標準サイズ設定部２によって、平均サイズＤに基づいて標準サイズＤ’が設定される。
次に、ステップＳ４において、第１シード位置設定部３によって、Ｚスタック画像内の各細胞Ｃの中心部分に親シード位置Ｐ１が設定され、親シード情報が作成される。
具体的には、図１３に示されるように、初期化部３１によってＺスタック画像が初期化される（ステップＳ４１）。次に、ＬｏＧフィルタ部３２によって、Ｚスタック画像に対してＬｏＧフィルタ処理が施される（ステップＳ４２）。次に、ピーク検出部３３によって、ＬｏＧフィルタ出力値がピークを示すピーク画素が検出され、ピーク画素の座標および画素値を含む親シード情報が作成される（ステップＳ４３）。次に、ピーク統合部３４によって、親シード情報内のピーク画素の内、距離が平均サイズＤと比べて十分に近いピーク画素が統合される（ステップＳ４４）。ピーク画素の統合後に残ったピーク画素の位置が親シード位置Ｐ１に設定される。
次に、ステップＳ５において、第１付番部４によって、親シード情報内の各親シード位置Ｐ１に固有の識別番号が付番される。
次に、ステップＳ６において、第２シード位置設定部５によって、親シード情報内の各親シード位置Ｐ１に対して子シード位置Ｐ２が設定される。
具体的には、図１４に示されるように、子シード位置選択部５１によって、親シード情報内の親シード位置Ｐ１を参照してＺスタック画像内の各親シード位置Ｐ１を含む範囲Ｒ内から子シード位置Ｐ２が選択され、子シード位置Ｐ２の座標および画素値を含む子シード情報が作成される（ステップＳ６１）。子シード位置Ｐ２は、親シード位置Ｐ１からＺ方向に異なる位置である。次に、背景値推定部５２によって、Ｚスタック画像の背景画素値が推定される（ステップＳ６２）。次に、子シード位置判定部５３によって、ステップＳ６１で選択された子シード位置Ｐ２の内、画素値が背景画素値以下である子シード位置Ｐ２が子シード情報から削除される（ステップＳ６３）。
次に、ステップＳ７において、第２付番部６によって、子シード情報内の各子シード位置Ｐ２に、参照元である同一範囲Ｒ内の親シード位置Ｐ１と同一の識別番号が付番される。
次に、ステップＳ８において、ソート部７によって、親シード情報および子シード情報が１つに統合され、全てのシード位置が、参照元の親シード位置Ｐ１からの距離が近い順に並べ替えられ、ソート済みシード情報が作成される。ソート済みシード情報において、親シード位置Ｐ１が上位に位置し、全ての子シード位置Ｐ２が全ての親シード位置Ｐ１よりも下位に位置する。
次に、ステップＳ９において、細胞領域形成部８によって、ソート済みシード情報に基づいて２次元細胞領域が形成される。
具体的には、図１５に示されるように、ソート済みシード情報がシード記録部８１に記録される（ステップＳ９１）。次に、シード選択部８２によって、ソート済みシード情報内のシード位置が上位から順に１つずつ選択される（ステップＳ９２）。次に、重複判定部８３によって、選択されたシード位置が、既に形成された２次元細胞領域と重複するか否かが判定される（ステップＳ９３）。
選択されたシード位置が既に形成された２次元細胞領域と重複している場合（ステップＳ９３のＹＥＳ）、選択されたシード位置が、シード記録部８１に記録されているソート済みシード情報から削除され（ステップＳ９５）、ステップＳ９２に戻る。
一方、選択されたシード位置に２次元細胞領域が未だ形成されていない場合（ステップＳ９３のＮＯ）、次に、隣接判定部８４によって、選択されたシード位置とＺ方向に隣接する位置に、同一の識別番号の２次元細胞領域が既に形成されているか否かが判定される（ステップＳ９４）。
隣接する位置に２次元細胞領域が未だ形成されていないか、または、異なる識別番号の２次元細胞領域が既に形成されている場合（ステップＳ９４のＮＯ）、選択されたシード位置が、シード記録部８１に記録されているソート済みシード情報から削除され（ステップＳ９５）、ステップＳ９２に戻る。
一方、隣接する位置に２次元細胞領域が既に形成され、かつ、この２次元細胞領域の識別番号が選択されたシード位置の識別番号と同一である場合（ステップＳ９４のＹＥＳ）、次に、周辺領域抽出部８５によって、選択されたシード位置が位置するスライス画像からシード位置を中心とする周辺領域が切り出されトリミング画像が作成される（ステップＳ９６）。
次に、２次元領域形成部８６によって、トリミング画像に閾値処理が施され、トリミング画像の画素値が２値化される（ステップＳ９７）。これにより、２値化されたトリミング画像内に２次元細胞領域が形成される。次に、２次元細胞領域を含む２値化されたトリミング画像が、領域記録部８７に記録される（ステップＳ９８）。
ソート済みシード情報内のシード位置が最上位から最下位まで順にシード選択部８２によって選択されることにより（ステップＳ９９）、ステップＳ９３～Ｓ９８の処理が繰り返し実行される。
ステップＳ９が実行された結果、領域記録部８７には、３次元細胞領域のデータが形成される。３次元細胞領域のデータは、領域記録部８７から出力部９を経由して所定の表示装置または記録装置等に出力される。
この場合に、親シード位置Ｐ１は、細胞Ｃの明るい中心部分であるため、親シード位置Ｐ１を含むトリミング画像内の細胞Ｃの境界は閾値処理によって正確に認識される。一方、親シード位置Ｐ１からＺ方向に離れた子シード位置Ｐ２は、細胞Ｃの暗い端部分であるため、子シード位置Ｐ２を含むトリミング画像内の細胞Ｃの境界を閾値処理によって正確に認識することは難しい。このように、２次元細胞領域を形成する際のトリミング画像内の細胞Ｃの認識精度は、細胞Ｃの明るさに依存するところが大きい。
特に、スフェロイドＳのように複数の細胞Ｃが立体的に密に集合し細胞Ｃ同士が相互に接触している場合、個々の細胞Ｃを正確に認識するためには隣接する２つの細胞Ｃの境界を正確に認識することが重要となる。
本実施形態によれば、先に全ての親シード位置Ｐ１に２次元細胞領域が形成され、その後に子シード位置Ｐ２に２次元細胞領域が形成される。さらに、同一範囲Ｒ内の参照元の親シード位置Ｐ１からの距離が近い子シード位置Ｐ２から順に、２次元細胞領域が形成される。このように、細胞Ｃの明るい中心部分から先に２次元細胞領域を形成し、その後に細胞Ｃの暗い部分に２次元細胞領域を形成することによって、２次元細胞領域の誤認識およびそれによる周辺の２次元細胞領域への影響を最小限に抑えることができる。その結果、スタック画像内の細胞集塊の個々の細胞Ｃを高精度に認識し、スタック画像内の個々の細胞Ｃが占める３次元領域を正確に表した３次元細胞領域を形成することができるという利点がある。
また、相互に接触する細胞Ｃは互いの形状に影響を及ぼすため、細胞集塊内の細胞Ｃの形状は一様ではなく様々である。本実施形態によれば、３次元細胞領域は、積層された複数の２次元細胞領域から形成され、各２次元細胞領域はスライス画像内の細胞Ｃを認識することによって形成される。上述したように、全ての第１シード位置Ｐ１に２次元細胞領域を形成し、その後に、参照元の第１シード位置Ｐ１により近い第２シード位置Ｐ２から順に２次元細胞領域を形成することによって、スライス画像内の細胞Ｃが高精度に認識される。したがって、スタック画像内の細胞Ｃの形状が様々であったとしても、個々の細胞Ｃの形状を正確に表した３次元細胞領域を形成することができるという利点がある。
１ 平均サイズ設定部
２ 標準サイズ設定部
３ 第１シード位置設定部
４ 第１付番部
５ 第２シード位置設定部
６ 第２付番部
７ ソート部
８ 細胞領域形成部
９ 出力部
１０ 画像処理装置
２０ 撮像装置（撮像部）
１００ 細胞認識装置
Ｄ 平均サイズ
Ｄ’ 標準サイズ
Ｐ１ 親シード位置（第１シード位置）
Ｐ２ 子シード位置（第２シード位置）

Claims (15)

  1. 複数の細胞を撮影したスタック画像から３次元細胞領域を形成する画像処理装置であって、
    前記スタック画像は、スタック方向にスタックされた複数枚の２次元のスライス画像から構成され、前記３次元細胞領域は複数の２次元細胞領域を積層することによって形成され、
    前記スタック画像内に複数の第１シード位置を設定し、該複数の第１シード位置の各々は画素値が３次元的なピークを示す画素の位置である、第１シード位置設定部と、
    前記複数の第１シード位置の各々に固有の識別番号を付番する第１付番部と、
    前記スタック画像の所定の方向における細胞の標準サイズを設定する標準サイズ設定部と、
    前記複数の第１シード位置の各々を参照し、前記複数の第１シード位置の各々を中心とする前記標準サイズの範囲内に第２シード位置を設定し、該第２シード位置が前記第１シード位置に対し前記所定の方向にずらした位置である、第２シード位置設定部と、
    前記第２シード位置の各々に識別番号を付番し、各前記第２シード位置の識別番号が各前記第２シード位置の設定において参照した前記第１シード位置の識別番号と同一である、第２付番部と、
    前記第１および第２シード位置の各々に２次元細胞領域を形成し、該２次元細胞領域が前記所定の方向に交差する領域である、細胞領域形成部を備え、
    該細胞領域形成部は、全ての前記第１シード位置の各々に前記２次元細胞領域を形成し、その後に前記第２シード位置の各々に前記２次元細胞領域を形成する画像処理装置。
  2. 前記２次元細胞領域は、前記スタック方向に垂直に交差する平面上に形成される請求項１に記載の画像処理装置。
  3. 前記所定の方向は、前記スタック方向である請求項１または請求項２に記載の画像処理装置。
  4. 前記スタック方向に交差する平面上における細胞の平均サイズを設定する平均サイズ設定部を備え、
    前記標準サイズ設定部は、前記平均サイズに基づいて前記標準サイズを設定する請求項３に記載の画像処理装置。
  5. 前記スタック画像内の各画素の特徴量を算出し、該特徴量が、画素値の極値らしさを表す量である、特徴量算出部を備え、
    前記第１シード位置設定部は、前記特徴量が周辺画素よりも大きい画素の位置を第１シード位置に設定する請求項１から請求項４のいずれかに記載の画像処理装置。
  6. 前記特徴量は、ＬｏＧフィルタ出力値である請求項５に記載の画像処理装置。
  7. 前記細胞領域形成部は、前記第１および第２シード位置の各々の周辺の画素値分布および画素値勾配の少なくとも１つに基づいて前記２次元細胞領域の境界を画定する請求項１から請求項６のいずれかに記載の画像処理装置。
  8. 前記細胞領域形成部は、前記画素値分布および前記画素値勾配の少なくとも１つの適応的閾値処理によって前記境界を画定する請求項７に記載の画像処理装置。
  9. 前記細胞領域形成部は、前記第２シード位置と前記所定の方向に隣接する前記第１シード位置または他の前記第２シード位置に、前記第２シード位置と同一の識別番号の２次元細胞領域が既に形成されている場合にのみ、当該第２シード位置に前記２次元細胞領域を形成する請求項１から請求項８のいずれかに記載の画像処理装置。
  10. 前記細胞領域形成部は、参照元である前記第１シード位置からの距離が小さい第２シード位置から順に前記２次元細胞領域を形成する請求項１から請求項９のいずれかに記載の画像処理装置。
  11. 前記第２シード位置設定部は、前記第１シード位置に対し前記所定の方向にずらした位置を前記第２シード位置の候補として選択し、選択された位置における画素値が所定値よりも大きい場合にのみ選択された位置を第２シード位置に設定する請求項１から請求項１０のいずれかに記載の画像処理装置。
  12. 前記スタック画像内の背景領域の平均画素値を推定し、該背景領域が細胞を含まない領域である、背景値推定部を備え、
    前記所定値は、前記背景領域の平均画素値に基づいて設定される請求項１１に記載の画像処理装置。
  13. 複数の細胞を撮影したスタック画像を取得する撮像部と、
    請求項１から請求項１２のいずれかに記載の画像処理装置とを備える細胞認識装置。
  14. 複数の細胞を撮影したスタック画像から３次元細胞領域を形成する細胞認識方法であって、前記スタック画像は、スタック方向にスタックされた複数枚の２次元のスライス画像から構成され、前記３次元細胞領域は複数の２次元細胞領域を積層することによって形成され、
    前記スタック画像内に複数の第１シード位置を設定し、該複数の第１シード位置の各々は画素値が３次元的なピークを示す画素の位置である、工程と、
    前記複数の第１シード位置の各々に固有の識別番号を付番する工程と、
    前記スタック画像の所定の方向における細胞の標準サイズを設定する工程と、
    前記複数の第１シード位置の各々を参照し、前記複数の第１シード位置の各々を中心とする前記標準サイズの範囲内に第２シード位置を設定し、該第２シード位置が前記第１シード位置に対し前記所定の方向にずらした位置である、工程と、
    前記第２シード位置の各々に識別番号を付番し、各前記第２シード位置の識別番号が各前記第２シード位置の設定において参照した前記第１シード位置の識別番号と同一である、工程と、
    前記第１および第２シード位置の各々に２次元細胞領域を形成し、該２次元細胞領域が前記所定の方向に交差する領域である、工程を含み、
    前記２次元細胞領域を形成する工程において、全ての前記第１シード位置の各々に前記２次元細胞領域を形成し、その後に前記第２シード位置の各々に前記２次元細胞領域を形成する細胞認識方法。
  15. 複数の細胞を撮影したスタック画像から３次元細胞領域を形成する処理をプロセッサに実行させる細胞認識プログラムであって、前記スタック画像はスタック方向にスタックされた複数枚の２次元のスライス画像から構成され、前記３次元細胞領域は複数の２次元細胞領域を積層することによって形成され、
    前記スタック画像内に複数の第１シード位置を設定し、該複数の第１シード位置の各々は画素値が３次元的なピークを示す画素の位置である、工程と、
    前記複数の第１シード位置の各々に固有の識別番号を付番する工程と、
    前記スタック画像の所定の方向における細胞の標準サイズを設定する工程と、
    前記複数の第１シード位置の各々を参照し、前記複数の第１シード位置の各々を中心とする前記標準サイズの範囲内に第２シード位置を設定し、該第２シード位置が前記第１シード位置に対し前記所定の方向にずらした位置である、工程と、
    前記第２シード位置の各々に識別番号を付番し、各前記第２シード位置の識別番号が各前記第２シード位置の設定において参照した前記第１シード位置の識別番号と同一である、工程と、
    前記第１および第２シード位置の各々に２次元細胞領域を形成し、該２次元細胞領域が前記所定の方向に交差する領域である、工程をプロセッサに実行させ、
    前記２次元細胞領域を形成する工程において、全ての前記第１シード位置の各々に前記２次元細胞領域を形成し、その後に前記第２シード位置の各々に前記２次元細胞領域を形成する細胞認識プログラム。
JP2018113230A 2018-06-14 2018-06-14 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム Active JP7085909B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018113230A JP7085909B2 (ja) 2018-06-14 2018-06-14 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
US16/435,227 US11181463B2 (en) 2018-06-14 2019-06-07 Image processing device, cell recognition apparatus, cell recognition method, and cell recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018113230A JP7085909B2 (ja) 2018-06-14 2018-06-14 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム

Publications (2)

Publication Number Publication Date
JP2019215766A JP2019215766A (ja) 2019-12-19
JP7085909B2 true JP7085909B2 (ja) 2022-06-17

Family

ID=68839779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018113230A Active JP7085909B2 (ja) 2018-06-14 2018-06-14 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム

Country Status (2)

Country Link
US (1) US11181463B2 (ja)
JP (1) JP7085909B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057496A1 (ja) 2003-12-09 2005-06-23 Japan Science And Technology Agency 画像からの対象物検出方法及び対象物検出装置
JP2011044016A (ja) 2009-08-21 2011-03-03 Olympus Corp 三次元細胞画像解析装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4940340B2 (ja) * 2009-11-27 2012-05-30 富士フイルム株式会社 椎骨セグメンテーション装置、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057496A1 (ja) 2003-12-09 2005-06-23 Japan Science And Technology Agency 画像からの対象物検出方法及び対象物検出装置
JP2011044016A (ja) 2009-08-21 2011-03-03 Olympus Corp 三次元細胞画像解析装置

Also Published As

Publication number Publication date
US20190383724A1 (en) 2019-12-19
JP2019215766A (ja) 2019-12-19
US11181463B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
US11100637B2 (en) System and method for calculating focus variation for a digital microscope
JP6091560B2 (ja) 画像解析方法
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
JP5461630B2 (ja) 合焦位置を決定する方法及びビジョン検査システム
CN105849274A (zh) 用于显微图像中的单独细胞的分类和识别的方法和系统
JP4970381B2 (ja) 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
US10169878B2 (en) System and method for segmentation of three-dimensional microscope images
US20150186755A1 (en) Systems and Methods for Object Identification
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6924761B2 (ja) 異なる取得性質を持つ画像を分離するシステム及び方法
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
JP4915737B2 (ja) 画像解析システム、及び画像解析プログラム
US20120249770A1 (en) Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing
US10860835B2 (en) Image processing device, cell recognition device, cell recognition method, and cell recognition program
US8467590B2 (en) Microscopy analysis technique
JP6882329B2 (ja) Ｉｈｃ画像解析のための空間インデックス作成
EP3058550B1 (en) Image based roi tracking for mdx
JP4271054B2 (ja) 細胞画像解析装置
JP7085909B2 (ja) 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
US20230206416A1 (en) Computer-implemented method for quality control of a digital image of a sample
JP5530126B2 (ja) 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP7148776B2 (ja) コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
JP6470399B2 (ja) 画像処理方法、制御プログラムおよび画像処理装置
JPWO2005057496A1 (ja) 画像からの対象物検出方法及び対象物検出装置
CN116934734A (zh) 基于图像的零件缺陷多路并行检测方法、装置及相关介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220425

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220607

R151 Written notification of patent or utility model registration

Ref document number: 7085909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350