JP5239128B2 - 観察装置 - Google Patents

観察装置 Download PDF

Info

Publication number
JP5239128B2
JP5239128B2 JP2006141677A JP2006141677A JP5239128B2 JP 5239128 B2 JP5239128 B2 JP 5239128B2 JP 2006141677 A JP2006141677 A JP 2006141677A JP 2006141677 A JP2006141677 A JP 2006141677A JP 5239128 B2 JP5239128 B2 JP 5239128B2
Authority
JP
Japan
Prior art keywords
image
stripe
sample
light
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006141677A
Other languages
English (en)
Other versions
JP2007306889A (ja
Inventor
宏昭 紀伊
泰次郎 清田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006141677A priority Critical patent/JP5239128B2/ja
Priority to EP07743899.2A priority patent/EP2022844B1/en
Priority to PCT/JP2007/060465 priority patent/WO2007136074A1/ja
Publication of JP2007306889A publication Critical patent/JP2007306889A/ja
Priority to US12/292,623 priority patent/US8447092B2/en
Application granted granted Critical
Publication of JP5239128B2 publication Critical patent/JP5239128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biotechnology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、細胞を観察するための観察装置に関する。
次のような細胞培養装置が特許文献1によって知られている。この細胞培養装置によれば、カメラで撮影した細胞培養容器内の画像を解析して、細胞容器内の細胞面積や細胞数を検出する。
特開2004−16194号公報
しかしながら、従来の細胞培養装置においては、細胞容器内の細胞面積や細胞数を検出するための手法が開示されていないが、一般的にこれらを検出するためには細胞の位相差画像を撮影して位相差画像を解析する必要がある。このため、位相差画像を取得するための位相差顕微鏡等が必要となり、装置が高価になるという問題が生じていた。
請求項1の発明は、培養される細胞などの試料を観察する観察装置において、明部と暗部の繰り返してなるストライプ光で試料を照明する照明手段と、照明手段により試料を照明して試料を透過した光のストライプ画像を撮像する撮像手段と、培養容器内の試料の占有率と試料の空間周波数情報の統計処理データとの相関関係を示す相関データを記憶した記憶手段と、撮像手段で撮像されたストライプ画像のストライプの方向と直交する方向の画像領域に対する色成分の空間周波数情報に基づいて統計処理データを求め、記憶手段の相関データを用いて、培養容器内における試料の占有率を算出する算出手段と、照明手段によるストライプ光を回転する移動手段とを備え、算出手段は、移動手段でストライプ光を回転させない場合と90度回転させた場合とで撮像した縦方向と横方向のストライプ画像の画像領域に対する色成分の空間周波数情報に基づいて統計処理データを求め、培養容器内における試料の占有率を算出することを特徴とする。
本発明によれば、位相差顕微鏡などの高価な装置を必要とせず、安価な構成で培養容器内における細胞の占有率を算出することができる。
―第1の実施の形態―
図1(a)は、第1の実施の形態における観察装置の一実施の形態の構成を模式的に示した図である。観察装置100は、カメラ101と、照明装置102と、制御装置103と、記録部104とを備えている。この観察装置100においては、観察対象となるサンプルAに対して照明装置102で下部から照明光を照射し、そのときにサンプルAを透過する光の像をカメラ101により撮像する。なお、サンプルAは、例えば培養容器内で培養される細胞などの試料である。
制御装置103は、カメラ101で取得した画像を処理して培養容器内における細胞の占有率を算出する。すなわち、培養容器底面の全体を覆う培地の全面積に対する細胞の占有率を算出する例について説明する。制御装置103による具体的な処理については後述する。
カメラ101は、例えば撮像素子にカラーCCDを有するCCDカメラであり、サンプルAの上部から培養容器内全体が撮影可能なように設置されている。また、カメラ101は、結像光学系を有しており、サンプルAから射出した光は、当該結像光学系によって捉えられ、撮像素子の撮像面上に結像する。
このカメラ101で撮像されて得られる画像データは、RGB表色系で示されている。そして、この画像データを構成する各々の画素には、RGBの各色成分の色情報が全て存在しているものとする。例えば、カメラ101が備えるCCDの受光面全体に図2に示す配列のカラーフィルタが設けられている場合には、制御装置103は、CCDから出力される画像データに対して補間処理を施して各画素にRGBの各色成分の色情報が全て存在するように変換する。カメラ101は、制御装置103からの指示に基づいてサンプルAの像を撮像して得た画像データを制御装置103へ出力し、当該画像データは記録部104に記録される。
照明装置102は、サンプルAを下部から照射するように設置されている。これによって、カメラ101は照明装置102で照明されたサンプルAの透過光の像を撮像することができる。なお、照明装置102は、明部と暗部との繰り返しからなる面光源でサンプルAを照明するように、一定の間隔で縞状に光を通す範囲と光を遮る範囲とが並んだスリット板を通してサンプルAを照明する。すなわち、照明装置102は、サンプルAに直接光が照射される範囲と光が遮断された範囲とからなるストライプ状の光(ストライプ光)を照射する。
このとき、照明装置102における明部と暗部の間隔は、カメラ101によって取得される画像上で直接光が照射された範囲に相当する白い領域と、光が遮断された範囲に相当する黒い領域(暗視野領域)とが形成されるように設計されている。
照明装置102はまた、ストライプ光の照射方向に対して垂直方向、すなわち図1(a)における左右方向に移動可能に設置されており、サンプルAに対してストライプ光の照射位置をずらすことができる。例えば、サンプルA上で直接光が照射されている範囲に対して、照明装置102を移動させて直接光を遮断することができる。なお、照明装置102によるストライプ光の照射、および照明装置102の移動は、制御装置103によって制御される。
ここで、図1(b)を用いて、観察装置100の光学系部分の作用について説明する。なお、図1(b)は、観察装置100の光学系部分の概念を示した図である。まず、面光源上のある暗部14Aと、その暗部14Aに正対するサンプルA上の部分領域1bとに着目して説明する。この部分領域1bには、暗部14Aに隣接する2つの明部14Bおよび14Cからの光LBおよびLCが入射するが、暗部14Aからは光が入射しない。よって部分領域1bは、光LBおよびLCで斜光照明される。
その部分領域1bでは、入射した光LBおよびLCの一部が回折せずにそのまま透過するが、光LBおよびLCの一部は、部分領域1b中の屈折率の段差の影響を受けて回折(あるいは散乱)する。この部分領域1bをそのまま透過した非回折光LBおよびLCは、カメラ101が有する結像光学系101bへの瞳に入射しないが、部分領域1bで発生した一部の回折光(あるいは散乱光)LbおよびLcは、結像光学系101bの瞳へ入射する。
このとき、部分領域1bと共役関係にある撮像素子101a上の領域1aには、暗部14Aの像と部分領域1bに存在した位相物体の輪郭の像とが重畳して形成される。すなわち部分領域1bの暗視野像が形成される。ここで、部分領域1bからみると、2つの明部14Bおよび14Cの張る角度は十分に小さい。よって、光LBおよびLCによる部分領域1bの照明角度も十分に小さい。このとき、部分領域1bの観察像は、小角度で射出した大強度の回折光LbおよびLcによって生成されることになる。これにより部分領域1bの明るさは十分に高いものとなる。
また、以上のことは、各暗部に正対するサンプルA上の各領域についてそれぞれ当てはまる。従って、撮像素子101aによって取得される画像は、上述したように白い領域と黒い領域とからなるストライプ状の画像となる。
制御装置103は、CPU、メモリ、およびその他の周辺回路で構成され、信号処理部103aを機能的に備えている。そして、制御装置103は、照明装置102を制御してストライプ光を培養容器全体に照射し、同時にカメラ101を制御して培養容器を透過したストライプ光の像を撮像する。信号処理部103aは、カメラ101で撮像して得た画像に対して画像処理を実行して、画像内から培養容器の内部に相当する画像のみをストライプ画像として抽出する。
信号処理部103aは、このために、例えば公知のエッジ抽出処理を行って画像内のエッジを抽出し、抽出したエッジの中から培養容器の形状と一致する形状を構成するエッジを検出する。そして、その内部を培養容器の内部と認識してストライプ画像を抽出する。これによって、例えば図3に示すようなストライプ画像が得られる。なお、図3の例においては、培養容器の形状として四角形のエッジが抽出された場合を示しているが、円形の培養容器の場合には円状のストライプ画像が抽出される。
このストライプ画像においては、スリット板を通して直接光が当たった範囲は画像上では白い領域3aとして撮像され、光が遮られた範囲は画像上で黒い領域(暗視野領域)3bとして撮像される。このとき、このストライプ画像の画像データにおいては、上述したように各々の画素にはRGBの各色成分の色情報が全て存在していることから、直接光が当たる範囲と光が遮断された範囲との境界(回折光の領域)が1画素×1ライン上に含まれると、その境界に相当する画素はグレーの領域(回折光の領域)として撮影されることになる。これによってストライプ画像上では、白い領域3aと黒い領域3bとの境界にグレーの領域(グレーゾーン)3cが現れる。
信号処理部103aは、このようにカメラ101で得られたストライプ画像に基づいて、培養容器内における細胞の占有率(細胞占有率)を算出する。すなわち、上述したように培養容器底面を満たすように培地が存在している場合を想定した場合には、培養容器底面の培地全体に対する細胞の占有率を算出する。以下、第1の実施の形態における細胞占有率の算出原理について説明する。
ストライプ画像内で培地のみの像を撮像した領域(培地領域)と、細胞が存在する範囲の像を撮像した領域(細胞領域)とについて、それぞれ黒い領域3bにおけるR、G、B各色成分の輝度値を取得し、各色成分について輝度値に対する画素数のヒストグラムを作成すると図4に示すようになる。
この図4に示すように、培地領域と細胞領域とは、ストライプ光の屈折率の違いによって作成されるヒストグラムの形状が異なる。具体的には、細胞領域におけるヒストグラムのピーク位置4aは、細胞が存在することによって培養領域のヒストグラムのピーク位置4bよりもヒストグラムの形状が滑らかになる。なお、図4では、培養領域と細胞領域とのそれぞれについて、R成分についての輝度値に対する画素数のヒストグラムを示しているが、他の色成分についても同様の結果が得られる。
本実施の形態では、このような培地領域におけるヒストグラムの形状と細胞領域におけるヒストグラムの形状の違いに着目して、培養容器内における細胞の密度を変化させながら各色成分における培地領域と細胞領域とのヒストグラムの分散および尖度求めると、図5に示すようなグラフが得られる。この図5に示すグラフは、培地に対する細胞の割合(細胞密度)を約20%にしたときに得られるデータ5g、約50%にしたときに得られるデータ5h、および約100%にしたときに得られるデータ5iを算出して作成した場合の具体例を示している。
図5に示すように、R成分のヒストグラムの分散(R成分の分散)5a、G成分の分散5b、B成分の分散5c、R成分のヒストグラムの尖度(R成分の尖度)5d、G成分の尖度5e、およびB成分の尖度5fの全てにおいて、細胞の占有率が小さいとき(20%)よりも細胞の占有率が大きいとき(100%)の方がヒストグラムの分散および尖度が小さくなる。特に、R成分とB成分においては、細胞の占有率が大きくなるにつれて、ヒストグラムの尖度および分散は減少している。
なお、図5に示す例では、例えば培養容器内で赤色の培地を用いて透明な細胞を培養した場合を示しており、このため細胞の占有率が大きくなるにつれてR成分とB成分のヒストグラムの尖度および分散が減少するような結果が得られている。しかし、細胞の種類や培地の色が異なる場合には、細胞の占有率が大きくなるにつれてヒストグラムの尖度および分散が減少する色成分が異なる場合がある。
本実施の形態では、細胞の占有率が大きくなるにつれてヒストグラムの尖度および分散が減少する色成分に着目し、この色成分のヒストグラムの尖度および分散から培地に対する細胞の占有率を算出する。すなわち、信号処理部103aは、例えば培地の色が赤色である場合には、R成分について図4に示すヒストグラムを作成し、このヒストグラムの尖度および分散を算出する。そして、あらかじめ実験によって得た図5に示すグラフに基づいて、算出したヒストグラムの尖度および分散における細胞の占有率を算出する。
なお、上述したように、図5に示すグラフは、細胞の種類や培地の色に応じて異なる結果が得られることから、細胞の種類や想定される培地の色ごとにあらかじめ実験データを得ておけば、条件に応じた細胞の占有率算出が可能となる。
信号処理部103aは、具体的には次のように処理して培地に対する細胞の占有率を算出する。まず、制御装置103は、上述したように、照明装置102を制御してサンプルA、すなわち培養容器に対してストライプ光を照射する。そしてこのときの培養容器を透過する光の像をカメラ101を制御して撮像し、得られた画像データを記録部104に記録する。制御装置103は、その後、照明装置102を移動させる。
すなわち、上述したように、信号処理部103aは、ストライプ画像上で黒い領域3bにおけるヒストグラムに基づいて細胞の占有率を求める必要があるのに対して、ストライプ画像は白い領域3aとグレーゾーン3cとを含んでいる。このため、1枚のストライプ画像から黒い領域3bのみを抽出して細胞の占有率を算出した場合には、白い領域3aとグレーの領域3cにおける細胞の占有率を算出することができず、正確な算出結果を得られない可能性がある。
このため、培養容器内全体から細胞の占有率を算出するために、制御装置103は、1枚目に得たストライプ画像におけるグレー領域3cに黒い領域3bが重なり、かつ1枚目に得たストライプ画像における黒い領域3cと新たに得る画像の黒い領域3bとが少なくとも1画素重なるように照明装置102に移動量を決定する。そして、このように決定した移動量だけ照明装置102を移動した後の位置においてカメラ101を制御してストライプ画像を取得し、得られた画像データを記録部104に記録する。
この処理を1枚目に得たストライプ画像上の白い領域3aおよびグレーゾーン3cがなくなるまで所定回数繰り返して行うことによって、照明装置102を移動させて得た複数の画像データに基づいて、培養容器全体における細胞占有率を算出することが可能となる。なお、照明装置102の移動およびカメラ101による撮像を何回行うかは、スリット板のスリット間隔によって異なるため、あらかじめスリット間隔に応じた処理回数を設定しておく必要がある。
信号処理部103aは、このように撮像して得たストライプ画像を記録部104から読み込んで、各ストライプ画像内から黒い領域3bを抽出し、抽出した各黒い領域3b内に所定の大きさの計算対象領域3dを設定する。これによってグレーゾーン3cを排除して黒い領域のみからなる計算対象領域3dを設定することができる。なお、ここでは計算対象領域3dとして黒い領域3b内に所定の大きさの領域を設定する例について説明するが、黒い領域3b全体を計算対象領域として設定してもよい。
そして、各計算対象領域3dに対して統計処理を施す。すなわち、設定した計算対象領域3dのそれぞれに対して、R、G、Bの各色成分について輝度値に対する画素数のヒストグラムを作成し、作成したヒストグラムの分散および尖度求める。そして、信号処理部103aは、これらの値を実験データに基づいてあらかじめ算出された図5に示すヒストグラムの分散および尖度と細胞の占有率との関係を表すグラフに当てはめて、各計算対象領域3dにおける細胞の占有率を算出する。すなわち、算出したヒストグラムの尖度および分散と、あらかじめ記録しておいたヒストグラムの尖度および分散と細胞の占有率との相関関係を示すデータとを比較して、細胞の占有率を算出する。
以上の処理によって、各計算対象領域3dごとに、培地に対する細胞の占有率を算出することができ、複数のストライプ画像について各計算対象領域3dにおける細胞の占有率を算出することによって、培養容器内全体について培地に対する細胞の占有率を算出することができる。これによって、従来、培養容器内の細胞の占有率を算出するためには、位相差光学系を有する顕微鏡を用いて位相差画像を得て位相差画像を解析する必要があり、高価な装置を準備する必要があったが、本発明によれば、位相差顕微鏡などの高価な装置を必要とせず、安価な装置で細胞の占有率を精度高く算出することができる。
制御装置103は、上述した処理を所定時間間隔で繰り返し実行することによって、時間とともに変化する培養容器内の細胞の占有率を観測することができる。
図6は、第1の実施の形態における観察装置100の処理を示すフローチャートである。図6に示す処理は、使用者によって不図示のスイッチが操作され、細胞占有率の算出の開始が指示された場合に起動する処理として、制御装置103によって実行される。
ステップS10において、制御装置103は、照明装置102を制御して培養容器にストライプ光を照明して、ステップS20へ進む。ステップS20では、制御装置103は、カメラ101を制御してストライプ光が培養容器を透過する光の像を撮像し、取得した画像データを記録部104へ記録する。その後、ステップS30へ進む。
ステップS30では、制御装置103は、上述したように1枚目に得たストライプ画像におけるグレー領域3cに黒い領域3bが重なり、かつ1枚目に得たストライプ画像における黒い領域3cと新たに得る画像の黒い領域3bとが少なくとも1画素重なるように照明装置102を移動させ、培養容器に照射するストライプ光を移動させる。その後、ステップS40へ進み、制御装置103は、あらかじめ設定した所定回数だけ照明装置102を移動したか、すなわち細胞の占有率を算出するために必要がストライプ画像の取得が完了したか否かを判断する。
必要量のストライプ画像の取得が完了していないと判断した場合には、ステップS20へ戻って処理を繰り返す。これに対して必要量のストライプ画像の取得が完了したと判断した場合には、ステップS50へ進む。ステップS50では、信号処理部103aは、記録部104に記録されたストライプ画像を読み込んで、各ストライプ画像内の黒い領域3b内に計算対象領域3dを設定してステップS60へ進む。
ステップS60では、設定した計算対象領域3dのそれぞれに対して統計処理を施して、R、G、Bの各色成分について輝度値に対する画素数のヒストグラムを作成し、作成したヒストグラムの分散および尖度求める。その後、ステップS70へ進み、信号処理部103aは、これらの値を実験データに基づいてあらかじめ算出された図5に示すヒストグラムの分散および尖度と細胞の占有率との関係を表すグラフに当てはめて、各計算対象領域3dにおける細胞の占有率を算出する。この処理を全てのストライプ画像上に設定した全て計算対象領域3dに対して実行することによって、培養容器全体について培地に対する細胞の占有率を算出する。その後、処理を終了する。
以上説明した第1の実施の形態によれば、以下のような作用効果を得ることができる。
(1)培養容器にストライプ光を照射し、そのときにカメラで撮像して得られるストライプ画像の黒い領域3b内に設定した計算対象領域3dに対して輝度値のヒストグラムを作成し、ヒストグラムの分散および尖度に基づいて計算対象領域3d内の細胞の占有率を算出するようにした。これによって、従来、培養容器内の細胞の占有率を算出するためには、位相差光学系を有する顕微鏡を用いて位相差画像を得て位相差画像を解析する必要があり、高価な装置を準備する必要があったが、本発明によれば、位相差顕微鏡などの高価な装置を必要とせず、安価な装置で細胞の占有率を精度高く算出することができる。
(2)ストライプ画像の中から黒い領域3bのみを抽出し、その中に設定した計算対象領域3dについて輝度値のヒストグラムを作成するようにした。これによって、計算対象領域3dにおけるヒストグラムの尖度および分散と、細胞の占有率との間には図5に示すような関係があることを加味して、精度高く細胞の占有率を算出することができる。また、信号処理部103aの処理範囲を計算対象領域3dに限定することで、処理の負荷を低減することができる。
(3)照明装置102を移動させながら複数のストライプ画像を得るようにした。これによって、直接光が当たる範囲と光が遮断された範囲との境界が1画素内に含まれると、その境界に相当する画素はグレーゾーン3cとして撮影されることを加味して、このグレーゾーン3cを排除して精度高く細胞の占有率を算出することができる。
―第2の実施の形態―
上述した第1の実施の形態では、黒い領域における各色成分の輝度値のヒストグラムの尖度および分散と細胞の占有率との間には図5に示すような関係があることに着目して細胞の占有率を算出する例について説明した。これに対して第2の実施の形態では、ストライプ光を照射して得た培養容器の画像データの空間周波数情報と細胞の培養率との関係に着目して、細胞の占有率を算出する例について説明する。なお、図1に示した図、図2に示したCCDのカラーフィルタの配列図、および図3に示したストライプ画像の具体例を示す図については、第1の実施の形態と同様のため説明を省略する。
第2の実施の形態では、制御装置102は、第1の実施の形態と同様に、照明装置102およびカメラ101を制御して図3に示したストライプ画像を得る。なお、第2の実施の形態においては、照明装置102は、ストライプ光を回転方向に移動できるように設置されている。制御装置103は、1枚目のストライプ画像を取得した後、照明装置102をストライプ光が90度回転するように移動させて図7に示すようなストライプ画像を取得する。すなわち、図3に示す縦方向のストライプが現れた画像(縦ストライプ画像)とストライプが横方向のストライプが現れた画像(横ストライプ画像)とを取得する。
信号処理部103aは、取得した各ストライプ画像に対してストライプの方向と垂直方向に計算対象領域を設定する。例えば、縦ストライプ画像に対しては図8に矢印で示すように、所定の幅、例えば3画素の幅を有するライン状の領域を計算対象領域8aとして設定する。そして、設定した計算対象領域8aを対象として矢印の示す方向に、各画素のR、G、B各色成分の輝度値のラインプロファイルを取得する。これによって、例えば図9に示すように、横軸に画素位置をとり、縦軸に輝度値をとった場合のR成分の輝度値のラインプロファイル9a、G成分の輝度値のラインプロファイル9b、およびB成分の輝度値のラインプロファイル9cを示すグラフを得ることができる。
信号処理部103aは、図9に示す各色成分ごとの輝度値のラインプロファイルをフーリエ変換して空間周波数についてMTFを算出し、算出したMTFに基づいて培地に対する細胞の占有率を算出する。以下、第2の実施の形態における細胞占有率の算出原理について説明する。
図10は、計算対象領域8a内に培地のみが存在する場合に算出した空間周波数についてのMTFを示すグラフ10dと、計算対象領域8a内に細胞が存在する場合に算出した空間周波数についてのMTFを示すグラフ10eとを示している。この図10に示すように、空間周波数が基本周波数の整数倍となる点、例えば基本周波数10a、基本周波数の2倍の周波数10b、および3倍の周波数10cにおいて細胞が存在している場合のMTFは培地のみの場合のMTFよりも減少している。
具体的には、図11に示すように、基本周波数10aにおける細胞が存在する場合のMTFは、培地のみの場合のMTFに対して66.4%となっている。また、基本周波数の2倍の周波数10bにおける細胞が存在する場合のMTFは、培地のみの場合のMTFに対して48.1%となっている。また、基本周波数の3倍の周波数10cにおける細胞が存在する場合のMTFは、培地のみの場合のMTFに対して52.6%となっている。
従って、これらのいずれかの周波数における培地のみの場合のMTFに対する細胞が存在する場合のMTFの割合と、培地に対する細胞の占有率との相関関係を図12に示すようにあらかじめ実験に基づいてデータ化しておけば、信号処理部109はそのデータに基づいて培地に対する細胞の占有率を算出することができる。
図12に示す例は、縦軸が基本周波数における培地のみの場合のMTFに対する細胞が存在する場合のMTFの割合(%)を表し、横軸が培地に対する細胞の占有率を表している。そして、グラフ12aはR成分におけるMTFの割合と細胞の占有率を示し、グラフ12bはG成分におけるMTFの割合と細胞の占有率を示し、グラフ12cはB成分におけるMTFの割合と細胞の占有率を示している。
信号処理部103aは、この図12に示すデータに基づいて、次のようにして培地に対する細胞の占有率を算出する。なお、ここでは基本周波数のMTFについて説明するが、その他、基本周波数の整数倍のMTFについても同様に処理できる。
まず、信号処理部103aは、図9に示した各色成分ごとの輝度値のラインプロファイルをフーリエ変換して空間周波数についてMTFを算出し、あらかじめ算出してある培地のみの場合のMTFを用いて、各色成分ごとに培地のみの場合のMTFに対するラインプロファイルに基づいて算出したMTFの割合を算出する。そして、ラインプロファイルに基づいて算出したMTFの割合を図12に示した各色成分ごとのグラフ12a〜12cに当てはめることによって、ラインプロファイルを取得した計算対象領域8a内の培地に対する細胞の占有率を算出することができる。
すなわち、算出したMTFの割合と、あらかじめ記録しておいたMTFの割合と培地に対する細胞の占有率との相関関係を示すデータとを比較して培地に対する細胞の占有率を算出する。なお、色成分ごとにグラフ12a〜12cに当てはめて算出した占有率に誤差がある場合には、色成分ごとに算出した占有率を平均して代表値を算出してもよいし、いずれか1の色成分について算出して占有率を代表値としてもよい。
以上説明した処理をストライプ画像全体に対して実行することによって、培養容器内の培地全体に対して細胞の占有率を算出することができる。さらに、縦ストライプ画像と横ストライプ画像のそれぞれに対して処理を実行し、ストライプ画像の縦方向のラインプロファイルに基づく細胞の占有率と、横方向のラインプロファイルに基づく細胞の占有率とを算出するため、両方向の細胞の占有率を加味すれば細胞の占有率を2次元で把握することができる。
制御装置103は、上述した処理を所定時間間隔で繰り返し実行することによって、時間とともに変化する培養容器内の細胞の占有率を観測することができる。
図13は、第2の実施の形態における観察装置100の処理を示すフローチャートである。図13に示す処理は、使用者によって不図示のスイッチが操作され、細胞占有率の算出の開始が指示された場合に起動する処理として、制御装置103によって実行される。
ステップS110において、制御装置103は、照明装置102を制御して培養容器にストライプ光を照明して、ステップS120へ進む。ステップS120では、制御装置103は、カメラ101を制御してストライプ光が培養容器を透過する光の像を撮像し、取得した画像データを記録部104へ記録する。その後、ステップS130へ進む。
ステップS130では、制御装置103は、上述したようにストライプ光が90度回転するように照明装置102を移動させ、培養容器に照射するストライプ光を移動させる。その後、ステップS140へ進み、制御装置103は、必要量の画像を取得したか、すなわち縦ストライプ画像と横ストライプ画像の取得が完了したか否かを判断する。必要量のストライプ画像の取得が完了していないと判断した場合には、ステップS120へ戻って処理を繰り返す。これに対して必要量のストライプ画像の取得が完了したと判断した場合には、ステップS150へ進む。
ステップS150では、取得した各ストライプ画像に対してストライプの方向と垂直方向にラインプロファイルを取得するための計算対象領域8aを設定する。その後、ステップS160へ進み、設定した計算対象領域8aを対象として各画素のR、G、B各色成分の輝度値のラインプロファイルを取得してステップS170へ進む。ステップS170では、各色成分ごとの輝度値のラインプロファイルをフーリエ変換して空間周波数についてMTFを算出する。その後、ステップS180へ進む。
ステップS180では、あらかじめ算出してある培地のみの場合のMTFを用いて、各色成分ごとに培地のみの場合のMTFに対するラインプロファイルに基づいて算出したMTFの割合を算出する。そして、算出したMTFの割合を図12に示した各色成分ごとのグラフ12a〜12cに当てはめることによって、ストライプ画像上のラインプロファイルを取得した領域内の培地に対する細胞の占有率を算出し、この処理をストライプ画像全体に対して実行することによって、培養容器内の培地全体に対して細胞の占有率を算出する。その後、処理を終了する。
以上説明した第2の実施の形態によれば、第1の実施の形態における作用効果に加えて、以下のような作用効果を得ることができる。
(1)色成分ごとの輝度値のラインプロファイルをフーリエ変換して空間周波数についてMTFを算出し、算出結果を各色成分ごとのグラフ12a〜12cに当てはめることによって、ストライプ画像上のラインプロファイルを取得した領域内の培地に対する細胞の占有率を算出するようにした。これによって、細胞が存在している場合のMTFは、空間周波数が基本周波数の整数倍となる点において培地のみの場合のMTFよりも減少し、その減少する割合と培地に対する細胞の占有率との相には相関関係があることを加味して、精度高く培地に対する細胞の占有率を算出することができる。
(2)縦ストライプ画像と横ストライプ画像のそれぞれに対して処理を実行し、ストライプ画像の縦方向のラインプロファイルに基づく細胞の占有率と、横方向のラインプロファイルに基づく細胞の占有率とを算出するようにした。これによって、両方向の細胞の占有率に基づいて細胞の占有率を2次元で把握することができる。
―変形例―
なお、上述した実施の形態の観察装置は、以下のように変形することもできる。
(1)上述した第1および第2の実施の形態では、照明装置102はサンプルAを下部から照明し、カメラ101はサンプルAを透過した透過光の像をサンプルAの上部から撮像する例について説明した。しかしながら、照明装置102はサンプルAを上部から照明し、カメラ101はサンプルAを透過した透過光の像をサンプルAの下部から撮像するようにしてもよい。
(2)上述した第2の実施の形態では、照明装置102を90度回転して得た縦ストライプ画像と横ストライプ画像とに基づいて、縦方向に設定した計算対象領域8a内の細胞の占有率と、横方向に設定した計算対象領域8a内の細胞の占有率とを算出して、細胞の占有率を2次元で把握できるようにした。これは第1の実施の形態にも適用可能であり、縦ストライプ画像と横ストライプ画像とのそれぞれにおいて、黒い領域3b内に計算対象領域3dを設定してもよい。これによって、縦方向に設定した計算対象領域3d、および横方向に設定した計算対象領域3dのそれぞれについて細胞の占有率を算出することができ、第1の実施の形態でも細胞の占有率を2次元で把握することができる。
(3)上述した第1および第2の実施の形態では、観察装置100によって培養容器内の培地に対する細胞の占有率を算出する例について説明した。しかしこれに限定されず、本発明における観察装置100を細胞を自動培養するための培養装置に適用し、培養装置において培地に対する細胞の占有率を算出して、培養状況の監視を行うようにしてもよい。そして、培養装置は、培養状況の監視を行った結果、その培養状況を使用者に通知してもよく、あるいは培養状況に応じて自動継代を実行するようにしてもよい。
(4)上述した第1および第2の実施の形態では、ストライプ光を移動させるために照明装置102を移動させる例について説明したが、培養容器を移動させることによって相対的に培養容器に照射されるストライプ光を移動させてもよい。
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
観察装置の一実施の形態の構成を模式的に示した図である。 カメラ101におけるCCDのカラーフィルタの配列図である。 ストライプ画像の具体例を示す図である。 R成分についての輝度値に対する画素数のヒストグラムの具体例を示す図である。 各色成分における培地領域と細胞領域とのヒストグラムの分散および尖度と、細胞の密度との関係を示す図である。 第1の実施の形態における観察装置100の処理を示すフローチャート図である。 横ストライプ画像の具体例を示す図である。 第2の実施の形態における計算対象領域の設定例を示す図である。 各色成分の輝度値のラインプロファイルの取得結果を示す図である。 空間周波数についてのMTFを示すグラフの具体例を示す図である。 基本周波数の整数倍のMTFの比較例を示す図である。 基本周波数における培地のみの場合のMTFに対する細胞が存在する場合のMTFの割合と、培地に対する細胞の占有率との相関関係を示す図である。 第2の実施の形態における観察装置100の処理を示すフローチャート図である。
符号の説明
100 観察装置、101 カメラ、102 照明装置、103 制御装置、103a 信号処理部、104 記録部

Claims (1)

  1. 培養される細胞などの試料を観察する観察装置において、
    明部と暗部の繰り返してなるストライプ光で前記試料を照明する照明手段と、
    前記照明手段により前記試料を照明して前記試料を透過した光のストライプ画像を撮像する撮像手段と、
    培養容器内の試料の占有率と前記試料の空間周波数情報の統計処理データとの相関関係を示す相関データを記憶した記憶手段と、
    前記撮像手段で撮像された前記ストライプ画像のストライプの方向と直交する方向の画像領域に対する色成分の空間周波数情報に基づいて前記統計処理データを求め、前記記憶手段の相関データを用いて、前記培養容器内における前記試料の占有率を算出する算出手段と
    前記照明手段によるストライプ光を回転する移動手段とを備え、
    前記算出手段は、前記移動手段で前記ストライプ光を回転させない場合と90度回転させた場合とで撮像した縦方向と横方向の前記ストライプ画像の前記画像領域に対する色成分の空間周波数情報に基づいて前記統計処理データを求め、前記培養容器内における前記試料の占有率を算出することを特徴とする観察装置。
JP2006141677A 2006-05-22 2006-05-22 観察装置 Active JP5239128B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006141677A JP5239128B2 (ja) 2006-05-22 2006-05-22 観察装置
EP07743899.2A EP2022844B1 (en) 2006-05-22 2007-05-22 Observing device
PCT/JP2007/060465 WO2007136074A1 (ja) 2006-05-22 2007-05-22 観察装置
US12/292,623 US8447092B2 (en) 2006-05-22 2008-11-21 Observation device for observing cells or the like

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006141677A JP5239128B2 (ja) 2006-05-22 2006-05-22 観察装置

Publications (2)

Publication Number Publication Date
JP2007306889A JP2007306889A (ja) 2007-11-29
JP5239128B2 true JP5239128B2 (ja) 2013-07-17

Family

ID=38723388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006141677A Active JP5239128B2 (ja) 2006-05-22 2006-05-22 観察装置

Country Status (4)

Country Link
US (1) US8447092B2 (ja)
EP (1) EP2022844B1 (ja)
JP (1) JP5239128B2 (ja)
WO (1) WO2007136074A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4937630B2 (ja) * 2006-04-12 2012-05-23 川崎重工業株式会社 細胞剥離判断方法、培養細胞の剥離方法、細胞剥離判断装置及び自動細胞培養装置
JP5239128B2 (ja) * 2006-05-22 2013-07-17 株式会社ニコン 観察装置
JP5522333B1 (ja) * 2012-08-23 2014-06-18 大日本印刷株式会社 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP6471689B2 (ja) * 2013-04-17 2019-02-20 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP6097952B2 (ja) 2013-08-22 2017-03-22 富士フイルム株式会社 観察画像判定装置および方法並びにプログラム
US10535003B2 (en) 2013-09-20 2020-01-14 Namesforlife, Llc Establishing semantic equivalence between concepts
JP6465280B2 (ja) * 2014-10-31 2019-02-06 澁谷工業株式会社 細胞剥離認識装置および細胞剥離認識方法
JP6534294B2 (ja) * 2015-04-30 2019-06-26 富士フイルム株式会社 撮像装置および方法並びに撮像制御プログラム
US10563164B1 (en) 2015-10-08 2020-02-18 Charm Sciences, Inc. Plate reader
US10495563B1 (en) 2016-04-28 2019-12-03 Charm Sciences, Inc. Plate reader observation methods and operation
WO2018061131A1 (ja) * 2016-09-28 2018-04-05 オリンパス株式会社 細胞状態計測装置
JP7139359B2 (ja) 2018-01-15 2022-09-20 株式会社エビデント 細胞解析装置及び細胞解析システム
US20220260479A1 (en) 2019-07-19 2022-08-18 Hitachi High-Tech Corporation Particle quantitative measurement device
EP4006524A4 (en) 2019-07-29 2023-08-23 Hitachi High-Tech Corporation PARTICLE QUANTIZATION DEVICE
WO2023169675A1 (en) * 2022-03-09 2023-09-14 Ash Technologies Ltd. A method and apparatus for illuminating colony-forming units

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4400353A (en) * 1977-09-23 1983-08-23 Akro-Medic Engineering, Inc. Electro-optical system for use in evaluating immunological reactions
US4197088A (en) * 1977-09-23 1980-04-08 Akro-Medic Engineering, Inc. Method for qualitative and quantitative determination of immunological reactions
US4806776A (en) * 1980-03-10 1989-02-21 Kley Victor B Electrical illumination and detecting apparatus
JPH0636188B2 (ja) * 1985-08-30 1994-05-11 株式会社日立製作所 画像計測装置
GB2254414A (en) * 1991-03-21 1992-10-07 Univ London Volume measurement of microbial organisms.
JPH0628453A (ja) * 1992-07-07 1994-02-04 Hitachi Ltd 微生物認識装置及び該装置による監視方法
JPH06303965A (ja) * 1993-04-22 1994-11-01 Hitachi Ltd 微生物認識装置
JP3777661B2 (ja) * 1996-07-10 2006-05-24 株式会社明電舎 ろ過障害微生物監視装置
US6381353B1 (en) * 1996-08-30 2002-04-30 Marvin Weiss System for counting colonies of micro-organisms in petri dishes and other culture media
JP3740019B2 (ja) * 2000-03-29 2006-01-25 松下エコシステムズ株式会社 微生物計量装置
JP2003135095A (ja) * 2001-08-23 2003-05-13 Morinaga Milk Ind Co Ltd 微生物検査方法及び微生物検査装置
JP2004016194A (ja) 2002-06-20 2004-01-22 Hitachi Medical Corp 細胞培養装置
JP4286625B2 (ja) * 2003-09-29 2009-07-01 株式会社日立ハイテクノロジーズ 電子顕微鏡による試料観察方法
DE102004023262B8 (de) * 2004-05-11 2013-01-17 Carl Zeiss Microimaging Gmbh Verfahren zur Bearbeitung einer Masse mittels Laserbestrahlung und Steuersystem
DE102004053730B4 (de) * 2004-11-06 2014-04-03 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Unterdrückung von Falschlicht
JP2006141677A (ja) 2004-11-19 2006-06-08 Pentax Corp 電子内視鏡装置
JP4778755B2 (ja) * 2005-09-09 2011-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
JP5239128B2 (ja) * 2006-05-22 2013-07-17 株式会社ニコン 観察装置
US8428331B2 (en) * 2006-08-07 2013-04-23 Northeastern University Phase subtraction cell counting method

Also Published As

Publication number Publication date
WO2007136074A1 (ja) 2007-11-29
US20090087075A1 (en) 2009-04-02
EP2022844A4 (en) 2011-10-19
US8447092B2 (en) 2013-05-21
EP2022844B1 (en) 2018-10-31
EP2022844A1 (en) 2009-02-11
JP2007306889A (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
JP5239128B2 (ja) 観察装置
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
US8175353B2 (en) Method and device for producing an image of a thin layer of an object
JP5567922B2 (ja) 画像処理装置及びその制御方法
CN108106603A (zh) 具有多级扩展景深图像处理的可变焦距透镜系统
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP7027446B2 (ja) 角度可変照明による材料試験
WO2017002451A1 (ja) 位相差顕微鏡および撮像方法
KR20200096848A (ko) 회절 기반 오버레이 스캐터로메트리
JP2006023178A (ja) 3次元計測方法及び装置
JP2010276540A (ja) 生体組織表面解析装置、生体組織表面解析プログラム、および生体組織表面解析方法
US11050931B2 (en) Control device and control method
JP3597484B2 (ja) はんだ印刷検査装置
JP2008180578A (ja) 周期性パターンのムラ検査装置
JP2009074825A (ja) 欠陥検査方法および欠陥検査装置
JPWO2018193704A1 (ja) 信号処理システム、信号処理装置、及び信号処理方法
KR20180087090A (ko) 검사 기준 화상을 통한 자동 조명 설정 방식의 머신 비전 시스템 및 동작 방법
WO2016199328A1 (ja) 照明装置、撮像システムおよび照明方法
KR101186103B1 (ko) 측정 대상물의 3d 높이 정보를 측정하는 측정 방법 및 장치
JP2005214787A (ja) 3次元形状測定装置
JP3855062B2 (ja) 単調増加波形投影による連続物体の形状計測方法及び装置
WO2021131508A1 (ja) 表面欠陥検出装置と表面欠陥検出方法とプログラムおよび表面欠陥検出システム
JP5135899B2 (ja) 周期性パターンのムラ検査方法及びムラ検査装置
JP2010139419A (ja) 形状測定装置
EP1848984A1 (en) Method and system for illumination adjustment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5239128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250