JPWO2016158719A1 - 画像処理方法、制御プログラムおよび画像処理装置 - Google Patents

画像処理方法、制御プログラムおよび画像処理装置 Download PDF

Info

Publication number
JPWO2016158719A1
JPWO2016158719A1 JP2017509890A JP2017509890A JPWO2016158719A1 JP WO2016158719 A1 JPWO2016158719 A1 JP WO2016158719A1 JP 2017509890 A JP2017509890 A JP 2017509890A JP 2017509890 A JP2017509890 A JP 2017509890A JP WO2016158719 A1 JPWO2016158719 A1 JP WO2016158719A1
Authority
JP
Japan
Prior art keywords
spheroid
circular
separation
degree
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017509890A
Other languages
English (en)
Other versions
JP6470399B2 (ja
Inventor
治郎 津村
治郎 津村
藤本 博己
博己 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Publication of JPWO2016158719A1 publication Critical patent/JPWO2016158719A1/ja
Application granted granted Critical
Publication of JP6470399B2 publication Critical patent/JP6470399B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Zoology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Immunology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

スフェロイドが撮像された原画像から、スフェロイドに対応するオブジェクトを含む対象領域を特定する工程(ステップS103)と、円形分離度フィルタ演算により、対象領域内で分離度の値が最大となる円形領域を検出する工程(ステップS105)と、円形分離度フィルタ演算により算出される円形領域の分離度に比例する値を、当該円形領域により特定されるスフェロイドの丸みを示す指標値として出力する工程(ステップS106)とを備えている。

Description

この発明は、スフェロイドを撮像した原画像に基づく画像処理により、画像に含まれるスフェロイドの評価を行う技術に関するものである。
関連出願の相互参照
以下に示す日本出願の明細書、図面および特許請求の範囲における開示内容は、参照によりその全内容が本書に組み入れられる:
特願2015−071655(2015年3月31日出願)。
医療や生物科学の実験においては、多数の細胞が球状に集まった細胞集塊(スフェロイド)を培養し観察することが行われる。細胞活性の高いスフェロイドほど球に近い形状となる。このことから、スフェロイドを撮像した画像においてスフェロイドが如何に円形に近い形状をしているかを評価することが行われている。
画像に含まれる細胞等のオブジェクトの丸さを評価する技術としては、例えば特許文献1ないし3に記載の各技術がある。これらの技術においては、画像内に含まれるオブジェクトの丸さが、オブジェクトの面積と周長との比から求められる真円度により評価されている。
国際公開第2012/147403号 特許第4521572号公報 特開2006−079196号公報
オブジェクトが単細胞である場合、上記従来技術の評価方法は一定の成果を上げることができる。一方、オブジェクトがスフェロイドである場合には必ずしも良好な結果が得られない。その理由は以下の通りである。スフェロイドは多数の細胞からなっており、その外周には個々の細胞の輪郭に起因する凹凸が現れる。そのため、同程度のサイズの円に比べて周長が長く見積もられる傾向がある。結果として、求められた真円度は必ずしもスフェロイドの丸さを指標しない。
このように、スフェロイドの評価を行うためにはその丸さを定量的に表す指標が必要となる。しかしながら、そのような指標値を求める技術はこれまで確立されるに至っていない。
この発明は上記課題に鑑みなされたものであり、スフェロイドを撮像した画像から、スフェロイドの丸さを定量的に表す指標値を求めることのできる技術を提供することを目的とする。
この発明にかかる画像処理方法は、上記目的を達成するため、スフェロイドが撮像された原画像から、前記スフェロイドに対応するオブジェクトを含む対象領域を特定する工程と、円形分離度フィルタ演算により、前記対象領域内で分離度の値が最大となる円形領域を検出する工程と、前記円形分離度フィルタ演算により算出される前記円形領域の分離度に比例する値を、当該円形領域により特定される前記スフェロイドの丸みを示す指標値として出力する工程とを備えている。
また、この発明にかかる画像処理装置は、上記目的を達成するため、スフェロイドが撮像された原画像を取得する画像取得手段と、前記原画像のうち前記スフェロイドに対応するオブジェクトを含む対象領内で、円形分離度フィルタ演算を実行し、分離度の値が最大となる円形領域を検出する検出手段と、前記円形分離度フィルタ演算により算出される前記円形領域の分離度に比例する値を、当該円形領域により特定される前記スフェロイドの丸みを示す指標値として出力する出力手段とを備えている。
また、この発明の他の態様は、上記した画像処理方法の各工程を、コンピュータに実行させる制御プログラムである。
上記のように構成された発明では、原画像のうちの対象領域内に描ける円のうち分離度が最大となるものが、円形分離度フィルタ演算により特定される。この円は対象領域内に存在するスフェロイドの輪郭に対応している蓋然性が高いと考えられる。このことから、この円で特定される円形領域は、スフェロイドの領域を近似的に示していると言える。そして、画像中でスフェロイドが円形に近ければ分離度の値が大きく、円形からの乖離が大きければ分離度の値が小さくなる。したがって、分離度の値自体が、画像中でスフェロイドがどの程度円形に近い形状をしているかを定量的に示す情報となる。
そこで、本発明では、スフェロイドと推定される円形領域について求められた分離度の値に比例する値が、当該スフェロイドの丸さを指標する指標値として出力される。こうして得られる指標値は、スフェロイドの丸さを定量的かつ客観的に示すものとなっている。
本発明によれば、スフェロイドを撮像した画像を用いて円形分離度フィルタ演算を行うことによって、スフェロイドの丸さを定量的に表す指標値を求めることができる。
この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
画像処理装置の一実施形態としての撮像装置の概略構成を示す図である。 スフェロイドの外観を模式的に示す第1の図である。 スフェロイドの外観を模式的に示す第2の図である。 スフェロイドの外観を模式的に示す第3の図である。 この撮像装置の動作を示すフローチャートである。 ウェルを撮像して得られた原画像の例を示す。 原画像から切り出された対象領域の画像の第1の例を示す。 原画像から切り出された対象領域の画像の第2の例を示す。 原画像から切り出された対象領域の画像の第3の例を示す。 円形分離度フィルタ演算の処理内容を示すフローチャートである。 スフェロイドの形状と対応する円形領域との関係を示す第1の図である。 スフェロイドの形状と対応する円形領域との関係を示す第2の図である。 スフェロイドの形状と対応する円形領域との関係を示す第3の図である。 表示画像の一例を示す図である。
図1は本発明にかかる画像処理装置の一実施形態としての撮像装置の概略構成を示す図である。この撮像装置1は、ウェルプレートWPの上面に形成されたウェルWと称される窪部に注入された液体中で培養されるスフェロイド(細胞集塊)を撮像する装置である。以下、各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面、Z軸が鉛直軸を表す。より詳しくは、(+Z)方向が鉛直上向き方向を表している。
ウェルプレートWPは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面にウェルWが複数設けられている。ウェルWの断面は略円形の筒状に形成され、底面は透明で平坦である。1つのウェルプレートWPにおけるウェルWの数は任意であるが、例えば96個(12×8のマトリクス配列)のものを用いることができる。各ウェルWの直径および深さは代表的には数mm程度である。なお、この撮像装置1が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意である。例えば12ないし384穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養されたスフェロイドの撮像にも、この撮像装置1を使用することが可能である。
ウェルプレートWPの各ウェルWには、培地Mとしての液体が所定量注入され、この液体中で所定の培養条件で培養されたスフェロイドが、この撮像装置1の撮像対象となる。培地Mは適宜の試薬が添加されたものでもよく、また液状でウェルWに投入された後ゲル化するものであってもよい。常用される一般的な液量は、50ないし200マイクロリットル程度である。後述するように、この撮像装置1は培地M内で、例えばウェルWの内底面で培養されたスフェロイドを撮像対象とすることができる。
撮像装置1は、ホルダ11と、照明部12と、撮像部13と、制御部14とを備えている。ホルダ11は、試料を液体とともに各ウェルWに担持するウェルプレートWPの、下面周縁部に当接してウェルプレートWPを略水平姿勢に保持する。照明部12はホルダ11の上方に配置される。撮像部13はホルダ11の下方に配置される。制御部14は、これら各部の動作を制御するCPU141を有する。
照明部12は、ホルダ11により保持されたウェルプレートWPに向けて適宜の拡散光(例えば白色光)を出射する。より具体的には、例えば光源としての白色LED(Light Emitting Diode)光源と拡散板とを組み合わせたものを、照明部12として用いることができる。照明部12により、ウェルプレートWPに設けられたウェルW内のスフェロイドが上方から照明される。
ホルダ11により保持されたウェルプレートWPの下方に、撮像部13が設けられる。撮像部13には、ウェルプレートWPの直下位置に撮像光学系131が配置されており、撮像光学系131の光軸AXは鉛直方向(Z方向)に向けられている。
撮像部13により、ウェルW内のスフェロイドが撮像される。具体的には、照明部12から出射されウェルWの上方から液体に入射した光が撮像対象物を照明する。ウェルW底面から下方へ透過した光が、撮像光学系131を介して撮像素子132の受光面に入射する。撮像光学系131により撮像素子132の受光面に結像する撮像対象物の像が、撮像素子132により撮像される。撮像素子132としては例えばCCDセンサまたはCMOSセンサを用いることができ、二次元イメージセンサおよび一次元イメージセンサのいずれであってもよい。
撮像部13は、制御部14に設けられたメカ制御部146によりXYZ方向に移動可能となっている。具体的には、メカ制御部146が、CPU141からの制御指令に基づき、撮像部13をX方向およびY方向に移動させる。これにより撮像部13がウェルWに対し水平方向に移動する。また撮像部13のZ方向への移動によりフォーカス調整がなされる。1つのウェルW内の撮像対象物が撮像されるとき、メカ制御部146は、光軸AXが当該ウェルWの中心と一致するように、撮像部13を水平方向に位置決めする。撮像部13の撮像素子が一次元イメージセンサである場合には、イメージセンサの長手方向と直交する方向に撮像部13を走査させることにより二次元画像を撮像することができる。このような撮像方法では、撮像対象であるスフェロイドに対し、非接触、非破壊かつ非侵襲で撮像を行うことができる。そのため、撮像によるスフェロイドへのダメージを抑えることができる。
また、メカ制御部146は、撮像部13をXY方向に移動させる際、図において点線矢印で示すように、照明部12を撮像部13と一体的にXY方向に移動させる。すなわち、照明部12は、その光中心が撮像部13の光軸AXと略一致するように配置されており、撮像部13がXY方向に移動するとき、連動してXY方向に移動する。これにより、どのウェルWが撮像される場合でも、当該ウェルWの中心および照明部12の光中心が常に撮像部13の光軸上に位置することとなる。したがって、各ウェルWに対する照明条件を一定にして、撮像条件を良好に維持することができる。
撮像部13の撮像素子から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき各種の画像処理を実行する。制御部14はさらに、画像データを記憶保存するための画像メモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのメモリ145とを有している。これらは一体のメモリであってもよい。CPU141は、メモリ145に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。
その他に、制御部14には、インターフェース(IF)部142が設けられている。インターフェース部142は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行う。また、インターフェース部142は通信回線を介して接続された外部装置との間でのデータ交換を行う。なお、制御部14は、上記したハードウェアを備えた専用装置であってもよい。また、パーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものが制御部14として用いられてもよい。すなわち、この撮像装置1の制御部14として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置1には、撮像部13等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。
上記のように構成された撮像装置1は、ウェルW内で培養されたスフェロイドを撮像する機能と、撮像された画像に基づきスフェロイドの丸み度を算出する機能とを有する。ここでいう「丸み度」は、撮像された画像においてスフェロイドが如何に円形に近い形状を有しているかを定量的に示す指標値である。
図2Aないし図2Cはスフェロイドの外観を模式的に示す図である。図2Aに示されるスフェロイドSp1は、バイアビリティ(生存能力、細胞活性)の比較的高い細胞によって構成された例である。図に示すように、バイアビリティの高いスフェロイドSp1では、多数の細胞Cによって球形に近い形状が形作られる。そのため、スフェロイドSp1を撮像した二次元画像では、スフェロイドSp1の輪郭が略円形である。
一方、スフェロイドを構成する細胞の一部が衰弱または死滅すると、図2Bに示すスフェロイドSp2のように、細胞間の結合力が弱まってその輪郭が不定形となってくる。このように、撮像されたスフェロイドがどの程度円形に近いか、あるいは乖離しているかは、スフェロイドを構成する細胞の活性を評価する上で重要な情報である。そのため、画像におけるスフェロイドがどの程度真円に近いかを定量的に表す指標値が有用である。
従来の技術では、撮像されたオブジェクトの輪郭がどの程度円に近いか、つまりスフェロイドの「丸さ」を表す指標値として「真円度」または「円形度」が一般的に用いられている。これらの方法では、オブジェクトの輪郭に外接する円と内接する円との半径の比、あるいは、オブジェクトの面積とその輪郭の周長との比によって、オブジェクトがどの程度円に近い形状を有しているかが表される。
しかしながら、スフェロイドは多数の細胞の集まりである。そのため、図2Aに示すように、概略円形に見えるスフェロイドSp1であっても、微視的にはその輪郭に個々の細胞Cの表面に起因する凹凸が現れる。したがって、真円度または円形度を用いた指標値では、スフェロイドの「丸さ」を適切に表すことができない場合がある。また、実際のスフェロイドは立体的な形状を有しているため、図2Cに示すように、照明光による影がスフェロイドSp1の像に濃淡を生じさせることがある。この場合、スフェロイドの輪郭を適切に抽出することができず、結果として当該スフェロイドについて求められた真円度または円形度が不適切な値を有することがあり得る。
本実施形態においては、上記のような従来技術の問題を改善するために、新たな指標値としてスフェロイドの「丸み度」が導入される。以下、スフェロイドの撮像から丸み度の算出に至るこの撮像装置1の動作について説明する。
図3はこの撮像装置の動作を示すフローチャートである。この動作は、制御部14のCPU141が予め用意された制御プログラムをユーザの指示に応じて実行し、撮像装置1の各部にプログラムで規定された所定の動作を行わせることにより実現される。スフェロイドを含む試料が培養されたウェルプレートWPがユーザまたは搬送ロボットによりホルダ11にセットされると(ステップS101)、撮像部13がウェルWを撮像する(ステップS102)。必要に応じ複数回撮像を行うことで、各ウェルWが撮像され、原画像が取得される。
撮像された原画像から、背景領域とは異なる特徴を有するオブジェクト領域が画像処理によって抽出される(ステップS103)。画像処理によって画像からオブジェクト領域を抽出する方法は各種のものが公知であり、本実施形態でもそれらのうち適宜の方法を適用することができる。例えば原画像を構成する画素の画素値が所定の範囲にある領域をオブジェクト領域とすることができる。また例えば、エッジ抽出によって抽出されたエッジで囲まれた領域をオブジェクト領域とすることができる。なお、後述するように、ステップS103は省くことができる場合がある。
次に、撮像された原画像のうち、以下の処理の対象となる対象領域についての設定入力が受け付けられる(ステップS104)。設定入力は、例えばユーザがインターフェース部142に設けられた入力デバイスとしてのキーボード、マウス、タブレット等を操作することにより制御部14に与えられる。
図4Aないし図4Dは画像の例を模式的に示す図である。より具体的には、図4AはウェルWを撮像して得られた原画像の例を示す。また、図4Bないし図4Dは原画像から切り出された対象領域の画像の例を示す。図4Aに示すように、原画像ではウェルW内の各所にスフェロイドが分布している。ここでは7つのスフェロイドSp3〜Sp9が含まれているが、スフェロイドの個数は様々であり、もちろん1つでもよい。
原画像には様々な特徴を有するスフェロイドが含まれ得る。例えば、比較的円形に近い形状を有するスフェロイド(Sp4〜Sp8)、よりいびつな形状のスフェロイド(Sp3,Sp9)、互いに近接しているスフェロイド(Sp4〜Sp6)などが含まれ得る。
ユーザは、このような原画像から丸み度を求めようとするスフェロイドを含む一部領域を対象領域として指定する。そして、原画像のうち対象領域内の部分画像が切り出されて、当該部分画像について円形分離度フィルタ演算が実行される(ステップS105)。
対象領域は、原画像から当該対象領域を切り出した部分画像に、丸み度を求めようとする1つのスフェロイドが含まれるように選ばれることが好ましい。例えばスフェロイドSp8,Sp9は、他のスフェロイドとの距離が比較的大きく、孤立している。このような場合、図4Bおよび図4Cに示すように、部分画像Pが当該スフェロイドの全体およびその周囲の背景領域を含むように対象領域が設定されることが好ましい。一方、スフェロイドSp5では近傍に他のスフェロイドが存在している。このような場合には、図4Dに示すように、部分画像Pが当該スフェロイドの全体を含み他のスフェロイドができるだけ除外されるように、対象領域が選ばれることが好ましい。
なお、ここではユーザにより対象領域が指定されるものとしているが、これに代えて、あるいはこれに加えて、撮像装置1により自動的に対象領域が設定されるようにしてもよい。すなわち、ステップS103において原画像からオブジェクト領域が抽出されると、原画像中のオブジェクト領域の位置およびサイズがわかる。そのため、抽出されたオブジェクト領域を含むように対象領域を自動的に設定することが可能である。
抽出されたオブジェクト領域が全てスフェロイドであるとは限らず、また評価の必要のないスフェロイドが含まれる場合もある。ユーザの指示入力により対象領域を設定可能とすることで、無用な演算処理を省き処理時間を短縮することができる。同じ理由で、原画像全体において円形分離度フィルタ演算が行われるのではなく、スフェロイドとその周囲とを含む部分画像Pについて演算が行われる。
図5はこの実施形態における円形分離度フィルタ演算の処理内容を示すフローチャートである。最初に、指定された対象領域に対応する部分画像に含まれる画素の画素値の平均値、すなわち平均画素値が算出される(ステップS201)。そして、元の部分画像の各画素の画素値と平均画素値との差の絶対値を当該画素の画素値とする、差分画像が作成される(ステップS202)。
なお、差分画像は以降の処理に用いられる仮想的な中間画像である。差分画像における各画素の画素値が求められれば足り、実際に何らかの画像が作成・出力されることを要するものではない。また差分画像ではオブジェクト領域とそれ以外の背景領域とのコントラストが原画像より小さくなる場合もある。しかしながら、円形分離度フィルタ演算を行うという目的においては、平均画素値に対する差分画像を用いることで、背景領域やオブジェクト領域それぞれにおける濃度ムラの影響を低減することが可能となるという利点が生じる。
次に、分離度を算出するためのパラメータとして仮想的な円の中心座標位置および直径が適宜の値に仮設定される(ステップS203)。ステップS103で抽出されたオブジェクト領域が対象領域内に存在すれば、その位置およびサイズが予めわかっているので、それらの情報に基づいてパラメータ設定を行うことが可能である。すなわち、中心位置およびサイズがオブジェクト領域と同等である円が設定されればよい。またパラメータの設定値がユーザから与えられるようにしてもよい。
設定された中心座標位置と直径とにより特定される対象領域内の円について、分離度が算出される(ステップS204)。分離度は、当該円の外側に隣接する環状の外側領域に含まれる画素の画素値と、当該円の内側に隣接する環状の内側領域に含まれる画素の画素値とに基づき、以下の計算式により求められる。これらの環状の領域の幅としては例えば数画素分とすることができる。
Figure 2016158719
ステップS203およびS204はループ処理となっており、円の中心位置と直径との組み合わせを種々に変更しながら分離度の計算が繰り返される。対象領域内に描き得る全ての円について演算を行ってもよい。しかしながら、対象領域内におけるオブジェクト領域の位置およびサイズが既知である場合には、その情報に基づき、円の中心位置および直径の変更範囲を限定することができる。こうすることで、中心座標位置および直径のあらゆる組み合わせについて演算を行う場合よりも処理時間を大幅に短縮することができる。
設定すべき全ての円について分離度が求められるとループ処理は終了する(ステップS205)。こうして求められた分離度のうちの最大値(以下、「最大分離度」という)が、当該最大値を取る円の中心位置および直径とともにメモリ145に記憶される(ステップS206)。これにより、対象領域内において分離度が最大となる円が特定される。
こうして特定された円は、対象領域内に存在するスフェロイドの輪郭の概略的に示すものと推定することができる。つまり、この円を外周とする円形領域が、対象領域内のスフェロイドの領域である蓋然性が高い。特に、スフェロイドが理想的な円形に近い形状を有している場合、円形領域はスフェロイド領域と略一致するはずである。
図6Aないし図6Cはスフェロイドの形状とそれに対応する円形領域との関係を示す図である。例えば図4Aに示すスフェロイドSp8のように、スフェロイドSpが略円形の形状を有している場合、図6Aに示すように、求められた円形領域CRと実際のスフェロイドSpの領域とは概ね一致する。このため、求められた最大分離度の値は比較的大きい。
一方、例えば図4Aに示すスフェロイドSp9のように、スフェロイドSpの形状がいびつである場合、図6Bに示すように、求められた円形領域CRと実際のスフェロイドSpの領域との乖離が比較的大きい。スフェロイドSpの輪郭との乖離が大きい円について求められた最大分離度の値は比較的小さい。
なお、図6Cに示すように、対象領域内に複数のスフェロイドSpが含まれる場合、単一の円を用いた円形分離度フィルタ演算では最大分離度の値はさらに小さくなる。そして、その値は対象領域に含まれるスフェロイドのいずれかの属性を適切に指標するものとも言えない。この点から、図4Dに示すように、対象領域は単一のスフェロイドを主として含むように設定されることが望ましい。
このように、円形分離度フィルタ演算を行って分離度が最大となる円形領域CRを検出することにより、対象領域内でスフェロイドが存在すると推定される領域を特定することができる。さらに、当該円形領域における分離度の値は、スフェロイドが円形に近いほど大きくなる。したがって、最大分離度が大きくなるほど大きな値を取るような、例えば最大分離度の値に比例する値を、スフェロイドの丸み度を表す指標値として用いることができる。分離度に基づく丸み度の指標値では、スフェロイドの包絡外形が略円形であれば外周の細かい凹凸の影響が現れにくい。
図3に戻ってこの装置の動作説明を続ける。ステップS105において、対象領域内で分離度が最大となる円が特定されると、その最大分離度の値に基づいて当該対象領域内のスフェロイドの丸み度が算出される(ステップS106)。丸み度としては、最大分離度の値に比例する値を用いることができる。例えば最大分離度の値をそのまま、あるいは所定の比例係数を乗じて正規化した値を、丸み度の値とすることができる。この他、最大分離度の値に対し単調増加となるような適宜の計算式により丸み度を数値化してもよい。
また、上記演算により求められる最大分離度の値は、背景領域の濃度が同程度であればスフェロイド領域の濃度が高いほど大きくなる傾向にある。したがって、濃度が大きく異なるスフェロイド同士の丸み度を比較する際には最大分離度の値をそのまま指標値とすることは適当でない。この問題を回避するために、例えば、最大分離度の値を当該スフェロイド領域内の平均画素値で除することで正規化し濃度差の影響を低減した値を、丸み度としてもよい。
こうして求められたスフェロイドの丸み度については、所定の形式で出力されユーザに提示される。例えば、インターフェース部142に設けられたディスプレイ(出力デバイス)に結果を表示することでユーザに報知することができる(ステップS107)。
図7は表示画像の一例を示す図である。なお、表示の態様はここに示すものに限定されるものではなく任意である。また、丸み度の演算結果の出力は、このように表示装置に表示されることによる以外に、例えば外部の記録媒体や情報処理装置に送信出力される態様であってもよい。
表示画像IMのうち、ボックス領域B1には、原画像が表示されるとともに、設定された対象領域の範囲が点線により示されている。また、ボックス領域B2には、対象領域の拡大画像が表示される。また、円形分離度フィルタ演算により特定された、最大分離度に対応する円形領域が点線により示されている。そして、ボックス領域B3には、円形領域の中心座標位置、直径およびスフェロイドの丸み度の算出結果がテキスト表示されている。こうして1つの対象領域について丸み度が算出されその結果が表示される。
図3に戻って説明を続ける。1つの対象領域について処理が終了すると、さらに別の対象領域を設定し当該領域での丸み度の算出を継続して行うか否かが判断される(ステップS108)。処理の継続が必要であればステップS104に戻り、上記処理が繰り返される。
対象領域がユーザにより指定される場合、処理を継続するか否かをユーザに問い合わせることができる。また、対象領域が自動的に設定される場合には、抽出されたオブジェクト領域のうち丸み度が未だ算出されていないものがあればそのオブジェクト領域についての処理が継続される。そして、全てのオブジェクト領域について丸み度の算出処理が済んでいれば処理を終了すればよい。
以上のように、この実施形態の撮像装置1では、撮像により得られた原画像のうちスフェロイドを含むように指定された対象領域について、円形分離度フィルタ演算が行われる。そして、分離度が最大となるときの分離度の値に比例する値が、当該対象領域にあるスフェロイドの丸み度を表す指標値として出力される。こうすることにより、画像に含まれるスフェロイドがどの程度円形に近い形状を有しているかを、定量的かつ客観的に表すことができる。
細胞活性が高い球状のスフェロイドであっても、その表面には個々の細胞に起因する小さな凹凸がある。本実施形態により求められる「丸み度」では、このような凹凸の影響が低減される。また、真円度または円形度により丸みを表す従来の技術では、予めスフェロイドの輪郭を適正に特定できなければ正確な値が得られないという問題があった。これに対し、本実施形態の算出方法では、予め輪郭を特定しなくても丸み度を算出することが可能である。この意味において、図3のステップS103を省いても丸み度の算出は可能である。特に、対象領域に1つのスフェロイドが含まれていることが明らかな場合には輪郭の特定を省くことができる。
本実施形態において、円形分離度フィルタ演算は、原画像から円形領域を探索することを目的として用いられているのではない。すなわち、スフェロイドに対応するオブジェクトの位置はある程度特定されているという前提の下、このオブジェクトを含む対象領域内で分離度の最大値を得るために、円形分離度フィルタ演算が用いられている。
こうして求められたスフェロイドの丸み度は、当該スフェロイドの包絡外形が円形に近ければ大きな値となり、円形から乖離するほど小さな値となる。スフェロイド形状の円からの乖離は主としてスフェロイドをなす細胞が衰弱することによって生じているから、丸み度の値をスフェロイドの活性評価に役立てることができる。
以上説明したように、この実施形態においては、撮像装置1が本発明の「画像処理装置」として機能している。そして、撮像部13が本発明の「画像取得手段」として、CPU141が本発明の「検出手段」として、またインターフェース部142が本発明の「出力手段」および「受付手段」として機能している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理装置は、本発明の「画像取得手段」としての撮像部13を備えるものである。しかしながら、撮像機能を備えない画像処理装置であってもよい。すなわち、上記実施形態の制御部14内のインターフェース部142が外部から画像データを受信することで原画像を取得し、この原画像を用いて丸み度が算出される態様で、本発明が実施されてもよい。この場合、インターフェース部142が「画像取得手段」として機能することとなり、撮像機能は必要とされない。
また、上記実施形態では、CPU141がメモリ145に記憶された制御プログラムを実行することで本発明が実施される。前記したように、この実施形態における制御部14としては汎用のコンピュータ装置を用いることが可能である。したがって、このようなコンピュータ装置に読み込まれることを前提に、上記した処理をコンピュータ装置に実行させる制御プログラムとして、またこれを適宜の記録媒体に記録した態様で、本発明をユーザに提供することも可能である。これにより、例えば既に運用されている撮像装置に新たな機能を付加することも可能となる。また、汎用のコンピュータ装置を本発明の「画像処理装置」として機能させることが可能となる。
以上、具体的な実施形態を例示して説明してきたように、本発明における円形分離度フィルタ演算では、対象領域内における中心の位置および直径の少なくとも一方が複数段階に変更設定され、設定ごとに分離度が求められてもよい。こうすることで、対象領域内に設定可能な種々の円から分離度が最大となるものを的確に選出することができる。
また、対象領域内の各画素について、当該画素の画素値と対象領域の平均画素値との差分を求め、該差分を当該画素の画素値とする差分画像において円形分離度フィルタ演算が行われてもよい。こうすることで、対象領域中のオブジェクト領域および背景領域における濃度ムラが分離度の算出結果に及ぼす影響を低減することができる。
また、円形領域の分離度の値を円形領域内の画素の平均画素値で正規化した値が、丸みを示す指標値とされてもよい。スフェロイドごとにその濃度が異なる場合、同等の丸みを有していても分離度の値が異なることになる。当該スフェロイドに対応する円形領域の平均画素値で分離度の値を正規化することで、この問題を解消することができる。
また、原画像から対象領域を特定するための設定入力をユーザから受け付け、該設定入力に応じて対象領域が特定される構成であってもよい。こうすることで、ユーザが評価を希望するオブジェクトを優先的に処理して、演算結果を短時間でユーザに提示することができる。
また、画像処理により原画像からスフェロイドに対応するオブジェクトを検出する工程を備え、その検出結果に基づき対象領域が特定されてもよい。こうすることで、原画像中の各オブジェクトについての演算を、ユーザ入力によらず自動的に行うことが可能となる。
また、この発明にかかる画像処理装置において、画像取得手段は、試料を撮像して原画像を取得する撮像部を有する構成であってもよい。本発明の画像処理装置において、原画像は外部から与えられてもよいが、撮像部を備えることで原画像の撮像からスフェロイドの丸み度の算出までを一貫して行うことが可能となる。
以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
この発明は、観察、分析等を目的としてスフェロイドを評価する用途に好適であり、例えば医療や生物科学分野の各種実験に用いることができる。
1 撮像装置(画像処理装置)
13 撮像部(画像取得手段)
14 制御部
141 CPU(検出手段)
142 インターフェース部(出力手段、受付手段)
CR 円形領域
Sp、Sp1〜Sp9 スフェロイド
W ウェル
WP ウェルプレート

Claims (10)

  1. スフェロイドが撮像された原画像から、前記スフェロイドに対応するオブジェクトを含む対象領域を特定する工程と、
    円形分離度フィルタ演算により、前記対象領域内で分離度の値が最大となる円形領域を検出する工程と、
    前記円形分離度フィルタ演算により算出される前記円形領域の分離度に比例する値を、当該円形領域により特定される前記スフェロイドの丸みを示す指標値として出力する工程と
    を備える画像処理方法。
  2. 前記円形分離度フィルタ演算では、前記対象領域内における中心の位置および直径の少なくとも一方が複数段階に変更設定され、設定ごとに前記分離度が求められる請求項1に記載の画像処理方法。
  3. 前記対象領域内の各画素について、当該画素の画素値と前記対象領域の平均画素値との差分を求め、該差分を当該画素の画素値とする差分画像において前記円形分離度フィルタ演算を行う請求項1または2に記載の画像処理方法。
  4. 前記円形領域の分離度の値を、前記円形領域内の画素の平均画素値で正規化した値を前記指標値とする請求項1ないし3のいずれかに記載の画像処理方法。
  5. 前記対象領域を特定するためのユーザからの設定入力を受け付け、該設定入力に応じて前記対象領域が特定される請求項1ないし4のいずれかに記載の画像処理方法。
  6. 画像処理により前記原画像から前記スフェロイドに対応するオブジェクトを検出する工程を備え、その検出結果に基づき前記対象領域が特定される請求項1ないし4のいずれかに記載の画像処理方法。
  7. 請求項1ないし6のいずれかに記載の画像処理方法の各工程を、コンピュータに実行させる制御プログラム。
  8. スフェロイドが撮像された原画像を取得する画像取得手段と、
    前記原画像のうち前記スフェロイドに対応するオブジェクトを含む対象領域内で、円形分離度フィルタ演算を実行し、分離度の値が最大となる円形領域を検出する検出手段と、
    前記円形分離度フィルタ演算により算出される前記円形領域の分離度に比例する値を、当該円形領域により特定される前記スフェロイドの丸みを示す指標値として出力する出力手段と
    を備える画像処理装置。
  9. 前記原画像から前記対象領域を特定するための設定入力をユーザから受け付ける受付手段を備える請求項8に記載の画像処理装置。
  10. 前記画像取得手段は、試料を撮像して前記原画像を取得する撮像部を有する請求項8または9に記載の画像処理装置。
JP2017509890A 2015-03-31 2016-03-25 画像処理方法、制御プログラムおよび画像処理装置 Active JP6470399B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015071655 2015-03-31
JP2015071655 2015-03-31
PCT/JP2016/059549 WO2016158719A1 (ja) 2015-03-31 2016-03-25 画像処理方法、制御プログラムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2016158719A1 true JPWO2016158719A1 (ja) 2017-10-26
JP6470399B2 JP6470399B2 (ja) 2019-02-13

Family

ID=57005836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509890A Active JP6470399B2 (ja) 2015-03-31 2016-03-25 画像処理方法、制御プログラムおよび画像処理装置

Country Status (2)

Country Link
JP (1) JP6470399B2 (ja)
WO (1) WO2016158719A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3556838A4 (en) * 2016-12-13 2020-05-20 Cyfuse Biomedical K. K. CELL STRUCTURE MANUFACTURING DEVICE AND CELL SHELL
WO2019106945A1 (ja) * 2017-11-28 2019-06-06 パナソニックIpマネジメント株式会社 培養状態判定装置、培養状態判定方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196385A (ja) * 2004-01-06 2005-07-21 Toshiba Corp 画像処理装置、画像処理方法およびデジタルカメラ
JP2013137635A (ja) * 2011-12-28 2013-07-11 Dainippon Screen Mfg Co Ltd 画像表示装置および画像表示方法
WO2014038025A1 (ja) * 2012-09-05 2014-03-13 Scivax株式会社 細胞の上皮性維持に作用する物質のスクリーニング方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116534A (ja) * 1999-10-15 2001-04-27 Kubota Corp 真円度判定方法、真円度演算装置及び記録媒体
JP2008217614A (ja) * 2007-03-06 2008-09-18 Fujitsu Ten Ltd 顔方位判定装置
JP5569892B2 (ja) * 2007-09-25 2014-08-13 公立大学法人横浜市立大学 軸索内移動粒子の自動追跡システム
JP5698208B2 (ja) * 2012-11-30 2015-04-08 株式会社Screenホールディングス 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196385A (ja) * 2004-01-06 2005-07-21 Toshiba Corp 画像処理装置、画像処理方法およびデジタルカメラ
JP2013137635A (ja) * 2011-12-28 2013-07-11 Dainippon Screen Mfg Co Ltd 画像表示装置および画像表示方法
WO2014038025A1 (ja) * 2012-09-05 2014-03-13 Scivax株式会社 細胞の上皮性維持に作用する物質のスクリーニング方法

Also Published As

Publication number Publication date
WO2016158719A1 (ja) 2016-10-06
JP6470399B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
US9865054B2 (en) Evaluation method of spheroid and spheroid evaluation apparatus
JP5920994B2 (ja) マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP5481696B2 (ja) 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法
CN102506772B (zh) 一种基于手机的快速检测叶片面积的方法及装置
JP2013526717A5 (ja)
WO2013099045A1 (ja) 画像表示装置および画像表示方法
EP3375859B1 (en) Method for constructing classifier, and method for determining life or death of cells using same
JP4801025B2 (ja) 細胞画像解析装置及び細胞画像解析ソフトウェア
KR102580984B1 (ko) 화상 처리 방법, 프로그램 및 기록 매체
CN110140040A (zh) 自动化的组织切割仪器及其使用方法
JP6882329B2 (ja) Ihc画像解析のための空間インデックス作成
JP2014533857A (ja) 画像処理
JP6470399B2 (ja) 画像処理方法、制御プログラムおよび画像処理装置
JPWO2018207261A1 (ja) 画像解析装置
JP6229365B2 (ja) コロニーカウント装置、コロニーカウント方法、およびコロニーカウントプログラム
JP4985480B2 (ja) がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
JP7006833B2 (ja) 細胞解析装置
US20180189606A1 (en) Method and device for supporting creation of teaching data, program and program recording medium
Herrera-Romero et al. GUSignal: an informatics tool to analyze glucuronidase gene expression in arabidopsis thaliana roots
JP5762315B2 (ja) 画像処理方法
Niederlein et al. Image analysis in high content screening
WO2017069035A1 (ja) 画像処理方法およびシェーディング基準データ作成方法
JP2017194879A (ja) 画像処理方法、画像処理装置、および画像処理プログラム
JP7085909B2 (ja) 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
WO2017056600A1 (ja) 画像処理方法および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190117

R150 Certificate of patent or registration of utility model

Ref document number: 6470399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250