JP6980898B2 - 細胞画像処理装置 - Google Patents

細胞画像処理装置 Download PDF

Info

Publication number
JP6980898B2
JP6980898B2 JP2020506053A JP2020506053A JP6980898B2 JP 6980898 B2 JP6980898 B2 JP 6980898B2 JP 2020506053 A JP2020506053 A JP 2020506053A JP 2020506053 A JP2020506053 A JP 2020506053A JP 6980898 B2 JP6980898 B2 JP 6980898B2
Authority
JP
Japan
Prior art keywords
measurement
regions
image processing
measurement areas
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020506053A
Other languages
English (en)
Other versions
JPWO2019176050A1 (ja
Inventor
仁 越後
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019176050A1 publication Critical patent/JPWO2019176050A1/ja
Application granted granted Critical
Publication of JP6980898B2 publication Critical patent/JP6980898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本発明は、細胞画像処理装置に関するものである。
ES細胞およびiPS細胞などの万能細胞の制作過程では、遺伝子の導入や発現に失敗して、万能細胞の特性を持たない細胞が多数発生する。再生医療等に応用するには、万能細胞の特性を持たない細胞を取り除き、万能細胞のみを抽出する必要がある。
例えば、iPS細胞になっているか否かを見極めるには、多能性を持つ細胞が発現しているOct3/4、Nanog、TRA−1−60、TRA−1−81等の未分化マーカと呼ばれるタンパク質を、qPCR法あるいは免疫染色法により検査する方法が知られている(例えば、特許文献1参照。)。
特開2014−100141号公報
しかしながら、これらの方法はコストおよび時間がかかるため、細胞の選別は、培養作業者が、位相差顕微鏡下において、複数回分裂した細胞の集まりであるコロニーの形状を観察し、作業者の経験、培養条件およびコロニー同士を比較するなどして、iPS細胞になっていそうなコロニーを選別することを感覚的に行っており手間がかかっていた。
特に、コロニーが小さい場合には形状の差異も小さく、iPS細胞であるか否かの見極めが困難であった。
本発明は、培養容器内に存在している特定の細胞を精度よく選別することができる細胞画像処理装置を提供することを目的としている。
本発明の一態様は、培養中の細胞を経時的に撮影することにより取得された複数の画像について、該画像間において共通する複数の測定領域を抽出する測定領域抽出部と、該測定領域抽出部により抽出された各前記測定領域と、撮影時刻とを対応づけて記憶する記憶部とを備える細胞画像処理装置である。
本態様によれば、複数の画像が入力されると、測定領域抽出部により各画像において共通する複数の測定領域が抽出される。そして、測定領域抽出部により抽出された各測定領域が、それぞれの測定領域を含む画像の撮影時刻と対応づけて記憶部に記憶される。
これにより、観察者が手動で、あるいは装置が自動的に、いずれかの画像におけるいずれかの測定領域を指定すると、指定された測定領域と共通する他の画像の測定領域を選択することが可能となる。そして、選択された測定領域を、撮影時刻の順に切り替えて表示することにより、細胞の培養過程における形状の変化を確認することができる。
すなわち、観察者が画像を見ながら、特定の細胞、例えば、万能細胞が存在している測定領域であると判断して観察を行った場合に、当該測定領域における細胞と同様の形状の変化を示す他の測定領域の細胞を抽出することで、コロニーの大きさにかかわらず、培養容器内に存在している特定の細胞を精度よく選別することができる。
上記態様においては、前記記憶部に記憶されているいずれかの前記測定領域を指定する測定領域指定部と、該測定領域指定部により指定された前記測定領域に共通する複数の前記測定領域を、該測定領域に対応づけて記憶されている撮影時刻を用いて撮影順に切り替えて表示する表示部を備えていてもよい。
この構成により、測定領域指定部によっていずれかの測定領域を指定すると、指定された測定領域に共通する他の画像の測定領域が、各測定領域に対応づけられている撮影時刻を用いて撮影順に表示部に表示される。これにより、培養過程における細胞の形状変化をコマ送り動画によって視覚的に確認することができる。静止画によって得られる情報量よりも多くの情報量によって細胞を精度よく選別することができる。
また、上記態様においては、前記測定領域抽出部が、前記細胞の存在する細胞領域を前記測定領域として抽出し、前記測定領域抽出部により抽出された各前記測定領域の中心位置を算出する中心位置算出部を備え、前記記憶部が、前記中心位置算出部により算出された前記中心位置を前記測定領域に対応づけて記憶し、前記表示部が、前記測定領域に対応づけて記憶されている前記中心位置を一致させて複数の前記測定領域を表示してもよい。
この構成により、表示部にコマ送り動画によって表示される各細胞領域が、細胞領域の中心位置を一致させて表示されるので、ブレを抑えて細胞領域の変化を見やすく表示することができる。
また、本発明の他の態様は、プロセッサとメモリとを備え、前記プロセッサが、培養中の細胞を経時的に撮影することにより取得された複数の画像について、該画像間において共通する複数の測定領域を抽出し、前記メモリが、抽出された各前記測定領域と、撮影時刻とを対応づけて記憶する細胞画像処理装置である。
本発明によれば、培養容器内に存在している特定の細胞を精度よく選別することができるという効果を奏する。
本発明の一実施形態に係る細胞画像処理装置を示すブロック図である。 図1の観察装置により取得された画像の一例を示す図である。 図2の画像から抽出された測定領域を示す図である。 測定領域の中心位置を一致させないで表示する動画の一参考例を示す図である。 測定領域の中心位置を一致させた状態で表示する動画の一例を示す図である。 図1の細胞画像処理装置により同時に表示される全体画像および動画の一例を示す図である。 画像を取得する観察装置を示す全体構成図である。 図7の観察装置における照明光学系の一部を示す斜視図である。 図8の照明光学系におけるライン光源の一例を示す側面図である。 図9Aのライン光源を光軸方向に見た正面図である。 図8の照明光学系におけるライン光源の他の例を示す図である。 図7の観察装置の対物光学系群を示す図である。 図11の対物光学系群における対物光学系の配列を示す図である。 図11の対物光学系群における開口絞りの配列を示す図である。 図11の対物光学系群の像面におけるラインセンサの配置を示す図である。 図8の照明光学系におけるライン光源、シリンドリカルレンズおよびプリズムの配置を示す図である。 偏斜照明の作用を説明する図である。 図16の偏斜照明によって照明された試料の画像の一例を示す図である。 試料の一例を示す図である。 図7の観察装置によって取得された図18Aの試料の2次元画像を示す図である。 図18Bの画像を反転処理およびつなぎ合わせ処理することにより得られた画像を示す図である。 図7の観察装置の他の態様におけるライン光源の配置を示す図である。
本発明の一実施形態に係る細胞画像処理装置200について図面を参照して以下に説明する。
本実施形態に係る細胞画像処理装置200は、観察装置(図7参照)100により取得された複数の画像を処理する装置であって、図1に示されるように、観察装置100から時系列に入力されてくる画像を記憶する画像記憶部210と、画像間において共通する複数の測定領域を抽出する測定領域抽出部220と、抽出された各測定領域の中心位置を算出する中心位置算出部230と、抽出された各測定領域を算出された中心位置と撮影時刻とに対応づけて記憶する情報記憶部(記憶部)240とを備えている。
また、細胞画像処理装置200は、情報記憶部240に記憶されているいずれかの測定領域を指定する測定領域指定部250と、指定された測定領域と共通する他の画像における複数の測定領域を、測定領域に対応づけて記憶されている撮影時刻を用いて撮影順に切り替えて表示する表示部260とを備えている。
測定領域抽出部220、中心位置算出部230および測定領域指定部250はプロセッサにより構成され、画像記憶部210および情報記憶部240はメモリあるいは記憶媒体等により構成されている。また、表示部260はディスプレイにより構成されている。
測定領域抽出部220は、観察装置100から入力されてきたいずれかの画像において複数の測定領域を設定し、観察装置100から入力されてきた他の画像において、設定された測定領域と共通する測定領域を抽出する。例えば、図2および図3に示されるように、観察装置100から入力されてきた画像Gから細胞XおよびコロニーYそのものからなる細胞領域を測定領域として抽出する。
測定領域抽出部220は、エッジ検出あるいは輪郭追跡により、境界を認識することによって、境界が閉じているものを細胞XおよびコロニーYとして認識し、その大きさから細胞XとコロニーYとを区別する。
この場合においては、画像G間において近い位置の細胞XおよびコロニーYを同一領域と推定してもよいし、画像G間でマッチング処理を行って共通の測定領域を抽出してもよい。
中心位置算出部230は、測定領域抽出部220により抽出された測定領域の重心位置あるいは任意の異なる2方向の中心線の交点により中心位置の座標を算出する。
観察装置100から送られてくる画像Gには、撮影時刻の情報が付属している。
情報記憶部240は、記憶すべき複数の測定領域が抽出され、それぞれの中心位置が算出されると、抽出された測定領域および中心位置の座標を測定領域に付属している撮影時刻と対応づけて記憶する。
測定領域指定部250は、画像記憶部210に記憶されているいずれかの画像Gを表示部260に表示させた状態で、表示された画像G上において観察したい細胞XまたはコロニーYからなる測定領域を観察者に指定させる。表示された画像G上における測定領域の指定は、GUIにより行うことにすればよい。指定時に表示する画像Gは、予め定められていてもよいし、観察者が選択することにしてもよい。細胞XまたはコロニーYからなる測定領域が指定されると、指定された測定領域に共通している他の画像Gの測定領域が、対応づけられている中心位置および撮影時刻と共に情報記憶部240から読み出される。
表示部260は、読み出された測定領域を撮影時刻の早いものから撮影順に所定時間間隔で切り替えて表示する。その際に、表示部260は、各測定領域の中心位置を一致させるように測定領域を表示する。
このように構成された本実施形態に係る細胞画像処理装置200の作用について以下に説明する。
観察装置100により、所定の時間間隔をあけて容器(培養容器)1における培養面の画像Gが逐次取得されると、取得された画像Gが撮影時刻の情報とともに細胞画像処理装置200に送られる。送られて来た画像Gおよび撮影時刻の情報は画像記憶部210に記憶される。
本実施形態に係る細胞画像処理装置200によれば、送られて来たいずれかの画像Gにおいて測定領域抽出部220により測定領域が抽出され、抽出された測定領域に共通する測定領域が他の画像Gから抽出される。測定領域が抽出されると、各測定領域について、中心位置算出部230により中心位置の座標が算出される。抽出された各測定領域は、中心位置の座標および撮影時刻の情報と対応づけられて情報記憶部240に記憶される。
そして、観察者が、いずれかの画像Gを選択して表示部260に表示させた状態で、測定領域指定部250により、いずれかの測定領域を指定すると、指定された測定領域に共通する他の画像の測定領域が情報記憶部240から読み出される。読み出された測定領域は、撮影時刻の早いものから撮影順に、所定時間間隔で表示部に表示される。
すなわち、測定領域として抽出された細胞XまたはコロニーYからなる細胞領域が時間軸方向にコマ送り動画で表示されるので、抽出された細胞領域の培養過程における形状変化を容易に確認することができるという利点がある。コマ送り動画によれば、静止画と比較して得られる情報量が多くなるので、特定の細胞Xを精度よく選別することができる。
特に、コロニーYの大きさが小さい場合であっても、陪乗過程における形状変化を確認することにより、細胞Xを精度よく選別することができるという利点がある。
また、本実施形態においては、撮影順に所定時間間隔で切り替えられて表示部260に表示される各測定領域が、それぞれの中心位置を一致させて表示されるので、切替前後の位置ずれを最小限に抑えて、見やすさを向上することができる。すなわち、図4に示されるように、切替の際に表示される測定領域Rが大きく位置ずれすると、測定領域Rの形状変化を確認することが困難であるが、図5に示されるように、中心位置Oを一致させることによって測定領域Rが大きく位置ずれしないので、測定領域Rの形状変化を確認し易くすることができるという利点がある。
なお、本実施形態においては、時系列に取得された複数の画像Gにおいて共通する測定領域を撮影順に切り替えて表示する表示部260を備えることとしたが、表示部260は必ずしも備えていなくてもよい。すなわち、共通する測定領域を抽出し、抽出された測定領域を時刻情報と対応づけて情報記憶部240に記憶して置きさえすれば、情報記憶部240から読み出してコマ送り動画で表示することができる。
また、測定領域抽出部220は、コロニーYの面積、コロニーYの面積変化、形状、テクスチャ、コロニーYの高さ、コロニーYの高さ変化およびコロニーYの増殖能などから複数のパラメータによって測定領域とするか否かを決定してもよい。これにより、目的に即したコロニーYのみを測定対象とすることができる。
また、細胞Xの種類あるいは培養の目的に応じて選択基準を変えてもよい。これにより、目的に即したコロニーYを選択することができる。この場合には、選択基準のテーブルを備えていれば、選択基準の切替を容易に行うことができる。また、選択基準は観察者が適宜設定できることにしてもよい。
また、複数のコロニーYが合体したコロニーY、複数の細胞種からなるコロニーY、あるいはコロニーYを含まない領域を予め測定領域Rを設定する範囲から除外してもよい。
さらに、観察者がいずれかの画像(全体画像)Gにおいて、いずれかの測定領域Rを指定したときに、図6に示されるように、指定された測定領域Rを全体画像Gにおいて表示するとともに、全体画像Gから切り出した測定領域Rの動画とを同時に表示してもよい。
ここで、全体画像Gを取得する観察装置100の一例について説明する。
観察装置100は、図7に示されるように、試料(細胞)Aを収容した容器1を支持するステージ2と、該ステージ2に支持された試料Aに照明光を照射する照明部3と、試料Aを透過した照明光をラインセンサ13によって検出して試料Aの画像Gを取得する撮像部4と、試料Aに対する撮像部4の焦点の位置を調整するフォーカス調整機構5と、撮像部4をラインセンサ13の長手方向に直交する走査方向に移動させる走査機構6とを備えている。照明部3、撮像部4、フォーカス調整機構5、走査機構6およびラインセンサ13はステージ2によって上面を閉塞された筐体101内に密封状態に収容されている。
以下の説明において、撮像部4の光軸(対物光学系11の光軸)に沿う方向をZ方向、走査機構6による撮像部4の走査方向をX方向、ラインセンサ13の長手方向をY方向とするXYZ直交座標系を用いる。観察装置100は、図7に示されるように、Z方向が鉛直方向となり、X方向およびY方向が水平方向となる姿勢に配置される。
容器1は、細胞培養用のフラスコまたはディッシュのような、全体的に光学的に透明な樹脂から形成された容器であり、互いに対向する上板1aおよび底板1bを有している。試料Aは、例えば、培地B中で培養される細胞である。上板1aの内側の面は、照明光をフレネル反射する反射面となっている。
ステージ2は、水平に配置された平板状の載置台2aを備え、載置台2a上に容器1が載置される。載置台2aは、照明光を透過させるように光学的に透明な材質、例えばガラスからなる。
照明部3は、ステージ2の下方に配置され斜め上方に向けてライン状の照明光を射出する照明光学系7を備え、上板(反射部材)1aおいて照明光が斜め下方に反射されることにより、斜め上方から照明光を試料Aに照射する。
具体的には、照明光学系7は、図8に示されるように、撮像部4の側方に配置され照明光を撮像部4に向かってX方向に発するライン光源8と、該ライン光源8から発せられた照明光を平行光束に変換するシリンドリカルレンズ(レンズ)9と、シリンドリカルレンズ9から射出された照明光を上方へ偏向するプリズム(偏向素子)10とを備えている。
ライン光源8は、光を射出する射出面を有する光源本体81と、該光源本体81の射出面上に設けられた照明マスク82とを備えている。照明マスク82は、Z方向に延びる短辺と、Y方向に延び短辺よりも長い長辺とを有する長方形の開口部82aを有する。射出面から発せられた光が開口部82aのみを透過することによって、Y方向に長手方向を有するライン状の横断面(照明光の光軸に交差する断面)を有する照明光が生成される。
図9A、図9Bおよび図11は、ライン光源8の具体的な構成の一例を示している。
図9Aおよび図9Bのライン光源8において、光源本体81は、Y方向に一列に配列したLEDからなるLED列81aと、LED列81aから発せられた光を拡散する拡散板81bとを備えている。照明マスク82は、拡散板81bの射出側の面上に設けられている。
図10のライン光源8において、光源本体81は、光拡散性光ファイバ81cと、該光ファイバ81cに光を供給する、LEDまたはLSD(Superluminescent diode)のような光源81dとを備えている。光拡散性光ファイバ81cを用いることにより、LED列81aを用いた場合に比べて、照明光の光強度の均質性を高めることができる。
シリンドリカルレンズ9は、Y方向に延びZ方向のみに湾曲する曲面をライン光源8とは反対側に有する。したがって、シリンドリカルレンズ9は、Z方向に屈折力を有し、Y方向に屈折力を有しない。また、照明マスク82は、シリンドリカルレンズ9の焦点面または該焦点面の近傍に位置している。これにより、照明マスク82の開口部82aから射出された発散光束の照明光は、シリンドリカルレンズ9によってZ方向のみ曲げられて、Z方向に一定の寸法を有する光束(XZ平面において平行光束)に変換される。
プリズム10は、シリンドリカルレンズ9の光軸に対して45°の角度をなして傾斜し、シリンドリカルレンズ9を透過した照明光を上方へ偏向する偏向面10aを有する。偏向面10aにおいて偏向された照明光は、載置台2aおよび容器1の底板1bを透過し、上板1aにおいて反射されて試料Aを上方から照明し、試料Aおよび底板1bを透過した照明光が撮像部4に入射する。
撮像部4は、一列に配列された複数の対物光学系11を有する対物光学系群12と、該対物光学系群12によって結ばれた試料Aの光学像を撮影するラインセンサ13とを備えている。
各対物光学系11は、図11に示されるように、物体側(試料A側)から順に、第1レンズ群G1、開口絞りAS、および第2レンズ群G2を備えている。複数の対物光学系11は、図12に示されるように、光軸をZ方向に平行に延ばしてY方向に配列され、同一面上に光学像を結ぶ。したがって、像面には、Y方向に一列に並ぶ複数の光学像Iが形成される(図14参照。)。開口絞りASも、図13に示されるように、Y方向に一列に配列する。
ラインセンサ13は、長手方向に配列された複数の受光素子を有し、ライン状の1次元画像を取得する。ラインセンサ13は、図14に示されるように、複数の対物光学系11の像面上にY方向に配置されている。ラインセンサ13は、像面に光学像Iを結んだ照明光を検出することによって、試料Aのライン状の1次元画像を取得する。
隣接する対物光学系11の間には隙間dが生じる。Y方向において試料Aの像に切れ目が無い画像を得るために、対物光学系群12は以下の2つの条件を満たす。
第1の条件は、各対物光学系11において、図11に示されるように、入射瞳位置が最も試料A側に位置する第1レンズ群G1よりも像側に位置することである。これは、開口絞りASを第1レンズ群G1の像側焦点よりも物体側に配置することによって実現している。第1の条件を満たすことにより、焦点面から第1レンズ群G1に近付くにつれて軸外主光線が対物光学系11の光軸に近付くので、走査方向に垂直な方向(Y方向)の実視野Fが第1レンズ群G1の直径φよりも大きくなる。したがって、隣接する2つの対物光学系11の視野がY方向に互いに重なり合い、視野の欠けがない試料Aの光学像が像面に形成される。
第2の条件は、図11に示されるように、各対物光学系11の物体面から像面への投影横倍率の絶対値が1倍以下であることである。第2の条件を満たすことにより、像面には、複数の対物光学系11によって結ばれた複数の光学像IがY方向に互いに重なり合うことなく配列する。したがって、ラインセンサ13は、複数の対物光学系11による複数の光学像Iを互いに空間的に分離して、撮像することができる。投影横倍率が1倍よりも大きい場合、Y方向に隣接する2つの光学像Iが像面において互いに重なり合ってしまう。
第2の条件を満たす場合であっても、実視野Fよりも外側を通る光が隣接する光学像に重なることを確実に防止するために、像面の近傍に照明光の透過範囲を規制する視野絞りFSを設けることが好ましい。
対物光学系群12の一例を以下に示す。
入射瞳の位置(第1レンズ群G1の最も物体側の面から入射瞳までの距離)20.1mm
投影横倍率 −0.756倍
実視野F 2.66mm
第1レンズ群G1のレンズ直径φ 2.1mm
第1レンズ群G1のY方向のレンズ間隔d 2.3mm
視野の重なり幅D 0.36mm(=2.66/2−(2.3−2.66/2))
ここで、照明部3は、撮像部4の光軸に対して斜め方向から試料Aに照明光を照射する偏斜照明を行うように構成されている。具体的には、図15に示されるように、照明マスク82は、上述したようにシリンドリカルレンズ9の焦点面またはその近傍に位置し、かつ、照明マスク82の短辺の中心はシリンドリカルレンズ9の光軸に対して距離Δだけ下側に偏心している。これにより、プリズム10からは、XZ平面内においてZ方向に対して傾斜する方向に照明光が射出される。そして、略水平な上板1aにおいて反射された照明光は、XZ平面内においてZ方向に対して斜めに試料面(対物光学系11の焦点面)に入射し、試料Aを透過した照明光は斜めに対物光学系11に入射する。
シリンドリカルレンズ9によって平行光束に変換された照明光は、照明マスク82が短辺方向に幅を有しているので、角度分布を有する。このような照明光が対物光学系11に斜めに入射すると、図13において二点鎖線で示されるように、光軸側に位置する一部のみが開口絞りASを通過して像面に到達し、光軸に対して外側に位置する他の部分は開口絞りASの外縁によって遮られる。
図16は、試料Aとして高い屈折率を有する細胞を観察する際の偏斜照明の作用を説明する図である。図16において対物光学系11を左から右へ移動させるものとする。照明光の入射角度が対物光学系11の取り込み角と同等である場合、試料Aが存在しない領域を透過した光線a,eおよび試料Aの表面に略垂直に入射した光線cは、ほとんど屈折されることなく、入射瞳の辺縁の近傍を通過し、像面に到達する。このような光線a,c,eは、像面において中くらいの明るさの光学像を結ぶ。
図16において試料Aの左端を透過した光線bは、外側に屈折され、入射瞳の外側に達し、開口絞りASによってケラレる。このような光線cは、像面において暗い光学像を結ぶ。図16において試料Aの右端を透過した光線dは、内側に屈折され、入射瞳の辺縁よりも内側を通過する。このような光線dは、像面においてより明るい光学像を結ぶ。上記の結果、図17に示されるように、一方の側が明るく、他方の側に影が付き立体的に見える高コントラストの試料Aの画像が取得される。
対物光学系11に斜めに入射した照明光のうち、一部が開口絞りASを通過し、他の部分が開口絞りASにおいて遮られるような角度分布の照明光を有するために、対物光学系11に入射する際の照明光の光軸に対する入射角度は、下記の条件式(1)および(2)を満たすことが好ましい。
θmin > 0.5NA (1)
θmax < 1.5NA (2)
θminは、対物光学系11の光軸に対する照明光の入射角度の最小値(最も光軸側に位置する光線の入射角度)、θmaxは、対物光学系11の光軸に対する照明光の入射角度の最大値(光軸に対して最も径方向外側に位置する光線の入射角度)、NAは対物光学系11の開口数である。
上記観察装置100による観察において条件式(1)および(2)を満たすときにコントラストの高い細胞の画像Gが取得されることが実験的に確認されている。条件式(1)および(2)を満たすためには、シリンドリカルレンズ9の焦点距離Flと照明マスク82の開口部82aの短辺の長さLが、下記の条件式(3)を満たすことが好ましい。
L > (θmax−θmin)Fl (3)
さらに、プリズム10の偏向角(対物光学系11の光軸に対する偏向面10aの傾斜角度)が45°である場合、シリンドリカルレンズ9の光軸に対する照明マスク82の短辺の中心位置のシフト量(偏心距離)Δは、下記の条件式(4)を満たすことが好ましい。
Δ=NA/Fl (4)
プリズムの偏向角が45°でない場合には、偏向角の45°からのずれ量に応じてΔが補正される。具体的には、偏向角が45°よりも大きい場合には、Δをより大きくし、偏向角が45°よりも小さい場合には、Δをより小さくする。
条件式(1)〜(4)を満たすことによって、試料Aが細胞のような位相物体であっても高いコントラストの付いた画像Gを取得することができる。条件式(1)〜(4)を満たさない場合には、試料Aのコントラストが低下する。
フォーカス調整機構5は、例えば図示しない直動アクチュエータによって、照明光学系7および撮像部4を一体的にZ方向に移動させる。これにより、静止したステージ2に対する照明光学系7および撮像部4のZ方向の位置を変更し、試料Aに対する対物光学系群12の焦点合わせを行うことができる。
走査機構6は、例えばフォーカス調整機構5を支持する直動アクチュエータによって、フォーカス調整機構5と一体的に撮像部4および照明光学系7をX方向に移動させる。
なお、走査機構6は、撮像部4および照明光学系7ではなく、ステージ2をX方向に移動させる方式で構成されていてもよく、撮像部4および照明光学系7と、ステージ2との両方をX方向に移動可能に構成されていてもよい。
次に、観察装置100の作用について、容器1内で培養中の細胞である試料Aを観察する場合を例に挙げて説明する。
ライン光源8からX方向に発せられたライン状の照明光は、シリンドリカルレンズ9によって平行光束に変換され、プリズム10によって上方に偏向され、光軸に対して斜め上方に射出される。照明光は、載置台2aおよび容器1の底板1bを透過し、上板1aにおいて斜め下方に向けて反射され、試料A、底板1bおよび載置台2aを透過し、複数の対物光学系11によって集光される。各対物光学系11の内部を斜めに進む照明光は、開口絞りASにおいて部分的にケラレ、一部のみが開口絞りASを通過することにより、陰影の付いた試料Aの光学像を像面に結ぶ。
像面に形成された試料Aの光学像は、像面に配置されたラインセンサ13によって撮像されて試料Aの一次元画像が取得される。撮像部4は、走査機構6の作動によってX方向に移動しながら、ラインセンサ13による1次元画像の取得を繰り返す。これにより、底板1b上に分布する試料Aの2次元画像が取得される。
ここで、各対物光学系11によって像面に結ばれる像は倒立像になる。したがって、例えば、図18Aに示される試料Aの2次元画像を取得した場合、図18Bに示されるように、各対物光学系11に対応する部分画像Pにおいて像が倒立する。この像の倒立を補正するために、図18Cに示されるように、各部分画像Pを走査方向に垂直な方向に反転する処理が行われる。
対物光学系11の投影横倍率の絶対値が1よりも大きい場合、各部分画像Pの縁部の視野は、隣接する部分画像Pの縁部の視野と重複する。この場合には、図18Cに示されるように、縁部を互いに重なり合わせて部分画像Pをつなぎ合わせる処理が行われる。各対物光学系11の投影横倍率が1倍である場合、このようなつなぎ合わせ処理は不要となる。
このように、ラインセンサ13を試料Aに対して走査して試料Aの2次元画像を取得するライン走査型の観察装置100において、偏斜照明を用いることによって、細胞のような無色透明の位相物体であっても高いコントラストの付いた画像を取得することができるという利点がある。また、容器1の上板1aを反射部材として利用し、照明部3、撮像部4、フォーカス調整機構5および走査機構6の全てをステージ2の下方に集約することによって、コンパクトな装置を実現することができるという利点がある。
さらに、照明部3、撮像部4、フォーカス調整機構5および走査機構6の全てをステージ2の下方の筐体内に密封状態に収容しているので、高温多湿のインキュベータ内に収容することができ、インキュベータ内で試料Aの培養を行いながら、経時的に画像を取得することができる。
また、対物光学系群12の近傍に配置されたプリズム10によって、上板1aの低い容器1にも対応することができる。
すなわち、上板1aの位置が低い容器1を使用する場合、上述した条件式(1)〜(4)を満たすためには、照明部3からの照明光の射出位置を、対物光学系群12の光軸に近付ける必要がある。しかし、対物光学系群12のレンズや枠等が邪魔となり、対物光学系群12の近傍にライン光源8を配置することは難しい。
そこで、図15に示されるように、プリズム10を、載置台2aと対物光学系群12との間に挿入して、対物光学系群12の上部、かつ、光軸からわずかに径方向にずれた位置に配置し、ライン光源8を対物光学系群12から水平方向に離れた位置に配置する。これにより、対物光学系群12の光軸の近傍から斜め上方に向けて照明光を射出することができる。
上板1aの位置が高い容器1を使用する場合、偏斜照明によってコントラストの付いた試料Aの光学像を得るためには、対物光学系群12の光軸から離れた位置から照明光が斜め上方に射出される。したがって、図19に示されるように、プリズム10を省略して、ライン光源8から斜め上方に向けて照明光が射出される位置に、ライン光源8を配置してもよい。
さらに、上板1aの高さが同一である容器1しか使用しない場合には、試料面、反射部材の反射面(上板1a)および照明光学系7の相対位置関係が変化しないので、試料Aへの照明光の照射角度は一定となる。したがって、この場合には、図19に示されるように、プリズム10とシリンドリカルレンズ9を省略してもよい。
照明光を反射するための反射部材として容器1の上板1aを利用することとしたが、これに代えて、容器1の上方に設けた反射部材によって照明光を反射する方式で構成してもよい。
また、本実施形態においては、表示部260が、画像Gに重畳した色分けによって位置情報に対応づけて増殖速度を表示することとしたが、これに代えて、位置情報と増殖速度とを数値によって対応づけて表示することにしてもよい。
本実施形態においては、観察装置100として、ライン状に撮影するものを例示したが、複数位置の細胞Xまたは広範囲の領域を撮影可能であればよく、これに代えて、スクエア状に撮影するものを採用してもよい。
200 細胞画像処理装置
210 画像記憶部(メモリ)
220 測定領域抽出部(プロセッサ)
230 中心位置算出部(プロセッサ)
240 情報記憶部(記憶部、メモリ)
250 測定領域指定部(プロセッサ)
260 表示部
A 試料(細胞)
G 画像
R 測定領域
X 細胞(測定領域)
Y コロニー(測定領域)

Claims (13)

  1. 培養中の細胞を経時的に撮影することにより取得された複数の画像について、該複数の画像間において共通し、細胞が存在する複数の領域を複数の測定領域として抽出する測定領域抽出部と、
    前記抽出された複数の測定領域のそれぞれの中心位置を算出する中心位置算出部と、
    前記抽出された複数の測定領域のそれぞれと、撮影の時間情報および前記算出された中心位置とを対応づけて記憶する記憶部と
    前記記憶されている複数の測定領域のいずれかを指定する測定領域指定部と、
    前記指定された測定領域に共通する複数の測定領域を、当該複数の測定領域のそれぞれに対応づけて記憶されている撮影の時間情報を用いて撮影順に切り替えて表示する表示部と、を備え
    前記表示部は、前記指定された測定領域に共通する複数の測定領域を、当該複数の測定領域に対応づけて記憶されている中心位置を一致させて表示する細胞画像処理装置。
  2. 前記表示部は、前記指定された測定領域に共通する複数の測定領域を、前記撮影の時間情報が早いものから順番に所定時間間隔で切り替えて表示する請求項1に記載の細胞画像処理装置。
  3. 前記表示部は、前記指定された測定領域に共通する複数の測定領域を、時間軸方向にコマ送り動画で表示する請求項2に記載の細胞画像処理装置。
  4. 前記表示部は、前記指定された測定領域を含む画像において当該指定された測定領域を表示すると同時に、前記コマ送り動画を表示する請求項3に記載の細胞画像処理装置。
  5. 前記測定領域抽出部は、細胞またはコロニーからなる複数の領域を前記複数の測定領域として抽出する請求項1から4のいずれか1項に記載の細胞画像処理装置。
  6. 前記測定領域抽出部は、境界を認識して該境界が閉じているものを細胞またはコロニーと認識し、該認識した細胞またはコロニーの大きさから細胞とコロニーとを区別する請求項5に記載の細胞画像処理装置。
  7. 前記測定領域抽出部は、前記複数の画像間において近い位置の細胞およびコロニーを同一領域と推定することにより、または、前記複数の画像間でマッチング処理を行うことにより、前記複数の測定領域を抽出する請求項6に記載の細胞画像処理装置。
  8. 前記測定領域抽出部は、コロニーに関する複数のパラメータに基づいて前記複数の測定領域を抽出する請求項1から4のいずれか1項に記載の細胞画像処理装置。
  9. 前記測定領域抽出部は、前記複数の測定領域を決定するための選択基準のテーブルに基づいて前記複数の測定領域を抽出する請求項1から4のいずれか1項に記載の細胞画像処理装置。
  10. 前記測定領域抽出部は、複数のコロニーが合体したコロニー、複数の細胞腫からなるコロニー、およびコロニーを含まない領域を、抽出する複数の測定領域として予め除外する請求項1から9のいずれか1項に記載の細胞画像処理装置。
  11. 前記中心位置算出部は、前記抽出された複数の測定領域のそれぞれの重心または任意の異なる二方向の中心線の交点によって前記抽出された複数の測定領域のそれぞれの中心位置を算出する請求項1から10のいずれか1項に記載の細胞画像処理装置。
  12. 表示部と記憶部とを有する細胞画像処理装置における細胞画像処理方法であって、
    培養中の細胞を経時的に撮影することにより取得された複数の画像について、該複数の画像間において共通し、細胞が存在する複数の領域を複数の測定領域として抽出するステップと、
    前記抽出された複数の測定領域のそれぞれの中心位置を算出するステップと、
    前記抽出された複数の測定領域のそれぞれと、撮影の時間情報および前記算出された中心位置とを対応づけて前記記憶部に記憶するステップと、
    前記記憶されている複数の測定領域のいずれかを指定するステップと、
    前記指定された測定領域に共通する複数の測定領域を、当該複数の測定領域のそれぞれに対応づけて記憶されている撮影の時間情報を用いて撮影順に切り替えて前記表示部に表示する表示ステップと、を含み、
    前記表示ステップでは、前記指定された測定領域に共通する複数の測定領域を、当該複数の測定領域に対応づけて記憶されている中心位置を一致させて表示する細胞画像処理方法。
  13. 表示部と記憶部とを有するコンピュータに、
    培養中の細胞を経時的に撮影することにより取得された複数の画像について、該複数の画像間において共通し、細胞が存在する複数の領域を複数の測定領域として抽出する機能と、
    前記抽出された複数の測定領域のそれぞれの中心位置を算出する機能と、
    前記抽出された複数の測定領域のそれぞれと、撮影の時間情報および前記算出された中心位置とを対応づけて前記記憶部に記憶する機能と、
    前記記憶されている複数の測定領域のいずれかを指定する機能と、
    前記指定された測定領域に共通する複数の測定領域を、当該複数の測定領域のそれぞれに対応づけて記憶されている撮影の時間情報を用いて撮影順に切り替えて前記表示部に表示する表示機能と、を実現させ、
    前記表示機能では、前記指定された測定領域に共通する複数の測定領域を、当該複数の測定領域に対応づけて記憶されている中心位置を一致させて表示するためのプログラム。
JP2020506053A 2018-03-15 2018-03-15 細胞画像処理装置 Active JP6980898B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010210 WO2019176050A1 (ja) 2018-03-15 2018-03-15 細胞画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2019176050A1 JPWO2019176050A1 (ja) 2021-04-08
JP6980898B2 true JP6980898B2 (ja) 2021-12-15

Family

ID=67906498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020506053A Active JP6980898B2 (ja) 2018-03-15 2018-03-15 細胞画像処理装置

Country Status (3)

Country Link
US (1) US20200410205A1 (ja)
JP (1) JP6980898B2 (ja)
WO (1) WO2019176050A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11248994B2 (en) * 2018-08-16 2022-02-15 Essenlix Corporation Optical adapter with a card slot for imaging a thin sample layer

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238802A (ja) * 2005-03-03 2006-09-14 Olympus Corp 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
JP2008076088A (ja) * 2006-09-19 2008-04-03 Foundation For Biomedical Research & Innovation 細胞のモニター方法およびモニター装置
JP2007140557A (ja) * 2007-02-16 2007-06-07 Olympus Corp マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法
JP2017191609A (ja) * 2017-04-14 2017-10-19 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2019176050A1 (ja) 2019-09-19
JPWO2019176050A1 (ja) 2021-04-08
US20200410205A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
US7825360B2 (en) Optical apparatus provided with correction collar for aberration correction and imaging method using same
US8350230B2 (en) Method and optical assembly for analysing a sample
KR102411099B1 (ko) 실시간 오토포커스 스캐닝
JP5633753B2 (ja) フォーカス制御方法および培養観察装置
JP6692660B2 (ja) 撮像装置
US20200410204A1 (en) Cell-image processing apparatus
JP2016535861A5 (ja)
KR20200041983A (ko) 실시간 오토포커스 포커싱 알고리즘
US20190180080A1 (en) Cell-state measurement device
JP2020536279A (ja) スライド在庫調べおよび再挿入システム
JP6685148B2 (ja) 撮像装置および撮像方法
JP6419761B2 (ja) 撮像配置決定方法、撮像方法、および撮像装置
JP6980898B2 (ja) 細胞画像処理装置
US11635364B2 (en) Observation device
JP2012147739A (ja) 観察装置
JP6555502B2 (ja) 位相差顕微鏡
EP3779555B1 (en) Sample observation device
CN112384606B (zh) 观察装置
JP7037636B2 (ja) 観察装置
JP6554757B2 (ja) 位相差顕微鏡
JP2012212018A (ja) 焦点維持装置及び顕微鏡装置
JP2008275408A (ja) 撮影装置
JP7382290B2 (ja) 画像処理方法、プログラムおよび記録媒体
WO2021181482A1 (ja) 顕微鏡画像撮像方法および顕微鏡画像撮像装置
JP2010060519A (ja) 観察装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211117

R151 Written notification of patent or utility model registration

Ref document number: 6980898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350