JP5355275B2 - 細胞画像解析装置 - Google Patents

細胞画像解析装置 Download PDF

Info

Publication number
JP5355275B2
JP5355275B2 JP2009173473A JP2009173473A JP5355275B2 JP 5355275 B2 JP5355275 B2 JP 5355275B2 JP 2009173473 A JP2009173473 A JP 2009173473A JP 2009173473 A JP2009173473 A JP 2009173473A JP 5355275 B2 JP5355275 B2 JP 5355275B2
Authority
JP
Japan
Prior art keywords
cell
colony
region
area
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009173473A
Other languages
English (en)
Other versions
JP2011024485A (ja
Inventor
浩輔 高木
玄太 天川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009173473A priority Critical patent/JP5355275B2/ja
Priority to US12/842,467 priority patent/US8824767B2/en
Publication of JP2011024485A publication Critical patent/JP2011024485A/ja
Application granted granted Critical
Publication of JP5355275B2 publication Critical patent/JP5355275B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、細胞画像を用いて、細胞が密集した集団(細胞コロニー)を自動的に解析する細胞画像解析装置に関する。
細胞コロニーの解析は、通常、培養状態の細胞を観察するために行われる。
従来、細胞コロニーの解析を行う装置としては、例えば、次の非特許文献1に記載の装置がある。
取り扱い説明書、「CELAVIEW RS100 解析ソフトウェア操作編」、ver1.4、ページ3-17、発行者:オリンパス株式会社
一般的な課題
ところで、幹細胞などの特殊な細胞、或いは一般的ながん細胞などを培養すると、細胞は分裂し成長する。その際、一般的に、細胞が密集してコロニーを形成する場合が多く見られる。そのため、コロニーを自動的に解析することに対するニーズは非常に多い。
コロニーを対象とした細胞解析には、培養した細胞がコロニーを形成するか否か、或いは、コロニーの大きさ、コロニーの成長の速度など、様々なものがある。そして、これらコロニーに関する情報を分析することによって、例えば、コロニーの成長を促す、或いは成長を抑える、薬剤のスクリーニング等が行われる。しかるに、いずれの細胞解析においても、薬剤のスクリーニング等に大量の試料、細胞画像を用いる必要があるため、コロニーの解析を自動的に行うことが必要とされる。
コロニー解析に特有の課題
また、コロニー解析に特有の課題として、コロニーを形成する細胞集団とそれ以外の細胞とが密着して存在している場合に、コロニーを形成する細胞集団だけをそれ以外の細胞と区別することが必要とされる。
その一例として、培養細胞のうち、いくつかの細胞がコロニーを形成し、他の細胞が、コロニーを形成せずに独立して存在する場合がある。特に、幹細胞の場合、未成熟な、或いは分化していない細胞は、コロニーを形成するが、成熟した、或いは分化した細胞は、コロニーを形成せずに独立して存在する。その場合、コロニーを形成する細胞集団と、成熟或いは分化し、独立して存在する細胞とを区別する必要がある。
また、他の例として、複数種類の細胞が混在し、そのうちの1種類の細胞がコロニーを形成する場合がある。
さらに、他の例として、細胞を培養する際に、その細胞の成長を促進するため、或いは細胞を生かすために、目的とする細胞とは別に、フィーダー細胞と呼ばれる別種の細胞を同時に培養させる場合がある。その場合、コロニーを形成する、目的とする細胞領域とフィーダー細胞を含むその他の細胞領域とを区別する必要がある。
本発明はこのような従来の問題点に鑑みてなされたものであり、細胞画像を自動解析し、特に、コロニーを形成している領域とコロニーを形成していない領域とが混在する領域から、コロニーを形成している領域を正確に特定して、その位置、大きさ等の情報を取得・出力することの可能な細胞画像解析装置を提供することを目的としている。
上記目的を達成するため、本発明による細胞画像解析装置は、細胞画像を用いて、コロニーを形成する細胞集団の解析を行う、コンピュータを備えた細胞画像解析装置であって、前記コンピュータを、前記細胞画像を解析して、細胞、細胞内器官、或いはゴミなどの対象物の境界となる線分要素である、境界要素を抽出する境界要素抽出手段、前記境界要素抽出手段を介して抽出された対象物の境界要素に囲まれる領域であって大きさが、単独の細胞以上の大きさに設定されている面積を示す所定値である、第一の基準値を上回る領域を、コロニー候補領域として特定するコロニー候補領域特定手段、前記コロニー候補領域特定手段を介して特定されたコロニー候補領域内において、前記対象物の境界要素に囲まれる領域から個々の細胞領域を特定し、さらに、該特定した個々の細胞領域のうち大きさが、単独の細胞の大きさに設定されている面積を示す所定値である、第二の基準値を下回る細胞領域が所定数以上密集する領域を、コロニー領域として特定するコロニー領域特定手段、として機能させる画像解析ソフトウェアを有することを特徴としている。
また、本発明の細胞画像解析装置においては、前記コロニー領域特定手段は、前記コロニー候補領域内において、前記対象物の境界要素で区切られる個々の領域を、前記個々の細胞領域として特定するのが好ましい。
また、本発明の細胞画像解析装置においては、前記境界要素抽出手段は、前記細胞画像における輝度、輝度差が大きく変化する画素部分を、対象物の境界要素として抽出し、前記コロニー領域特定手段は、前記コロニー候補領域特定手段を介して特定されたコロニー候補領域内に、形状及び大きさが一定の評価領域を設定し、該設定した評価領域内に含まれる前記対象物の境界要素の量をピクセル数で数値化し、該数値化した値を該コロニー候補領域における前記対象物の境界要素の煩雑度として検出し、該検出した対象物の境界要素の煩雑度が予め設定しておいた所定の閾値を上回る該評価領域の内部を、前記第二の基準値を下回る細胞領域が所定数以上密集するコロニー領域として特定する機能を備えているのが好ましい。
また、本発明の細胞画像解析装置においては、前記コロニー領域特定手段は、前記コロニー候補領域におけるコロニー外の細胞としての最小サイズを基準とした、一定半径の円、或いは楕円や矩形等を、非コロニーの細胞のモデル領域として、該コロニー候補領域上に設定し、該コロニー候補領域上で、該非コロニーの細胞のモデル領域の位置を移動し、前記対象物の境界要素を含むことなく、該非コロニーの細胞のモデル領域を設定することができる領域を、非コロニーの細胞領域として検出する機能を備えているのが好ましい。
また、本発明の細胞画像解析装置においては、前記コロニー領域特定手段は、さらに、前記非コロニーの細胞のモデル領域よりも小さい半径の円であって前記対象物の境界要素を含まない最大の円を設定し、この円の設定を前記コロニー候補領域内において繰り返し、該繰り返し設定した夫々の円を、前記非コロニーの細胞以外の前記個々の細胞領として特定するのが好ましい。
また、本発明の細胞画像解析装置においては、前記コロニー領域特定手段は、前記コロニー候補領域内で前記対象物の境界要素における任意の点を始点として隣接する周囲の点を包囲する処理を、包囲した内部の点の個数が、予め設定しておいた、単一の細胞における境界要素の量をピクセル数で数値化した値の平均値である、平均境界ピクセル数に達するまで繰り返し、該内部の点が該平均境界ピクセル数に達したときの包囲した領域を、該コロニー候補領域内において単一の細胞が占める領域として予測し、該予測した夫々の単一の細胞が占める領域を前記個々の細胞領域として特定るのが好ましい。
また、本発明の細胞画像解析装置においては、前記コロニー領域特定手段は、さらに、前記予測したコロニー候補領域内における個々の前記単一の細胞が占める領域のうち真円度が所定の閾値以下である領域を前記第二の基準値を下回る細胞領域として特定るのが好ましい。
本発明によれば、細胞画像を自動解析し、特に、コロニーを形成している領域とコロニーを形成していない領域とが混在する領域から、コロニーを形成している領域を正確に特定して、その位置、大きさ等の情報を取得・出力することの可能な細胞画像解析装置が得られる。
本発明の一実施形態にかかる細胞画像解析装置の全体構成を示すブロック図である。 細胞画像の撮像から本実施形態の細胞画像解析装置を用いた細胞画像の解析までの全体の細胞画像解析手順を示すフローチャートである。 本実施形態の細胞画像解析装置を用いた細胞画像の解析によるコロニー領域の特定までの処理手順を示すフローチャートである。 本実施形態の細胞画像解析装置を用いた細胞画像の解析による細胞画像中からの対象物の境界要素の抽出状態を例示する説明図で、(a)は対象物の境界要素が多く抽出された状態を示す図、(b)は対象物の境界要素が標準的に抽出された状態を示す図、(c)は対象物の境界要素が少なく抽出された状態を示す図である。 細胞画像において対象物の境界要素を用いて特定される個々の領域の一例を示す概念図である。 本実施形態の細胞画像解析装置における第2モードによる細胞画像解析処理の一例を示す説明図で、(a)は元の細胞状態(細胞画像)を示す図、(b)は(a)の細胞画像から対象物の境界要素を抽出した状態を示す図、(c)は(b)の境界要素を抽出した画像に対し、非コロニーの細胞のモデル領域を設定して非コロニーの細胞領域を検出するときの状態を示す図、(d)は(c)の非コロニーの細胞領域を検出した画像に対し、非コロニーの細胞のモデル領域よりも小さい半径の円であって対象物の境界要素を含まない最大の円を設定して非コロニーの細胞以外の個々の細胞の領域を特定するときの状態を示す図である。 本実施形態の細胞画像解析装置における第3モードによる細胞画像解析処理の一例を示す説明図で、(a)はコロニー候補領域内に、形状及び大きさが一定の評価領域を設定して対象物の境界要素の煩雑度を評価するときの状態、(b)は対象物の境界要素の高密度領域と評価された一連の領域を示す図である。 本実施形態の細胞画像解析装置における第4モードによる細胞画像解析処理の一例を示す説明図で、(a)対象物の境界要素を用いてコロニー候補領域内における単一の細胞が占める領域を予測する基本的な方法を示す図、(b)は対象物の境界要素が細胞の周囲だけに限らず、細胞内にも存在する場合において、コロニー候補領域内における単一の細胞が占める領域を、対象物の境界要素を用いて予測したときの状態を概念的に示す図、(c)は境界要素の一部が抜けている場合において、コロニー候補領域内における単一の細胞が占める領域を、対象物の境界要素を用いて予測したときの状態を概念的に示す図である。 本実施形態の細胞画像解析装置が、第4モードによって、複数の細胞が密集した状態のコロニー候補領域内において個々の細胞を特定していく過程を概念的に示す説明図である。 本実施形態の細胞画像解析装置において、細胞が密集した状態のコロニー候補領域に対して第4モードによって特定される細胞領域を概念的に示す説明図で、(a)は細胞が密集した状態を模式的に示した図、(b)は第4モードによって特定される個々の細胞領域を示す図である。 第4モードにより特定される個々の単一の細胞領域の形態的な特徴を示す説明図であり、(a)はコロニー領域内において特定される単一の細胞領域を示す図、(b)は非コロニー領域において特定される単一の細胞領域を示す図である。
図1は本発明の一実施形態にかかる細胞画像解析装置の全体構成を示すブロック図である。図2は細胞画像の撮像から本実施形態の細胞画像解析装置を用いた細胞画像の解析までの全体の細胞画像解析手順を示すフローチャートである。図3は本実施形態の細胞画像解析装置を用いた細胞画像の解析によるコロニー領域の特定までの処理手順を示すフローチャートである。
本実施形態の細胞画像解析装置1は、例えば、顕微鏡撮像装置などの細胞画像撮像装置を介して撮像された細胞画像を用いて、コロニーを形成する細胞集団の解析を行う、コンピュータを備えた細胞画像解析装置であり、コンピュータと、コンピュータを、境界要素抽出手段1a、コロニー候補領域特定手段1b、コロニー領域特定手段1c、として機能させる画像解析ソフトウェアを有する。
境界要素抽出手段1aは、細胞画像を解析して、細胞、細胞内器官、或いはゴミなどの対象物の境界となる線分要素を、対象物の境界要素として抽出する。
コロニー候補領域特定手段1bは、境界要素抽出手段1aを介して抽出された対象物の境界要素に囲まれる領域であって大きさが、単独の細胞以上の大きさに設定されている面積を示す所定値である、第一の基準値を上回る領域を、コロニー候補領域として特定する。
コロニー領域特定手段1cは、コロニー候補領域特定手段1bを介して特定されたコロニー候補領域において、対象物の境界要素に囲まれる領域であって大きさが、単独の細胞の大きさに設定されている面積を示す所定値である、第二の基準値を下回る領域が所定数以上密集する領域を、コロニー領域として特定する。
なお、画像解析ソフトウェアは、コンピュータを細胞画像の解析結果を出力する解析結果出力手段1dとしても機能させるように構成されている。
このように構成された本実施形態の細胞画像解析装置を用いた細胞画像の解析は、次のようにして行う。
細胞画像の撮像、画像解析により、細胞画像中のコロニーを特定するまでの全体の細胞画像解析処理手順の一例を図2に示す。
細胞画像解析処理は、実験(撮像)準備段階(ステップS1)、撮像段階(ステップS2)、細胞画像解析段階(ステップS3)、解析結果出力段階(ステップS4)を順に経て行う。
本実施形態の細胞画像解析装置は、細胞画像解析段階において作動する。
実験(撮像)準備段階(ステップS1)
実験準備段階では、細胞の染色或いは培養などを行う。
細胞画像の撮像は、代表的なものとして、染色などの処理を行い、蛍光画像を取得する方法と、染色を行わずに適当な透過照明系を用いて、透過細胞画像を取得する方法などが知られている。このうち、透過細胞画像を取得する方法としては、位相差顕微鏡画像や、偏射照明系の透過画像を取得する方法など、いくつかの方法が知られている。
本実施形態の細胞画像解析装置は、これらの方法により取得される細胞画像に対して共通に用いることのできる細胞画像解析方法を用いて細胞画像を解析する。
染色の有無
細胞の染色の有無は、実験の目的・条件により異なる。
細胞を染色すると、細胞が死滅し、或いは、細胞の状態が本来の状態と変わったものとなる。このため、一般的に、細胞を生きたままの状態で観察するような実験においては、染色を行わない。
一方、蛍光画像は、透過照明画像に比べて、より鮮明な画像が取得できる。このため、細胞画像解析を自動的に行うには、蛍光染色を行った実験が望ましい。
撮像段階(ステップS2)
細胞画像の撮像は、細胞が染色或いは培養された培養容器を、直接或いは培養容器内の細胞を観察に適した別の容器に移し替えて、図示省略した顕微鏡撮像装置で撮像する。
なお、容器内におけるコロニーの数やコロニーの形成部位などは、実験当初、未知である場合が多い。このため、通常、少なくとも実験当初においては、容器内の全体領域を網羅するように、複数のポイントに対して撮像を行う。
また、細胞の成長を観察するために実験を繰り返すような実験系では、直前の実験で検出されたコロニーの位置を中心としてその周辺の観察(撮像)を行う。
細胞画像解析段階(ステップS3)
本実施形態の細胞画像解析装置は、上記の実験準備及び撮像段階(ステップS1、ステップS2)を経て撮像された細胞画像を、図3に示す解析手順で自動的に解析する。
即ち、まず、細胞画像から対象物の境界要素を抽出し(ステップS31)、次いで、コロニー候補領域を特定し(ステップS32)、次いで、コロニー候補領域からコロニー領域を特定する(ステップS33)。以下、これらのステップの処理を詳しく説明する。
対象物の境界要素の抽出(ステップS31)
まず、境界要素抽出手段1aが、細胞画像中における対象物の境界要素を抽出する。
ここでの対象物の境界要素とは、細胞や細胞内器官或いはゴミなど、特徴的な対象物の境界となる線分要素のことである。
対象物の境界要素は、細胞画像内の領域における輝度や、輝度差を用いて抽出することができる。
一般に、細胞が存在する領域と細胞が存在しない領域とでは、透過画像、蛍光画像に限らず、画像の明るさ(輝度特性)が異なる。この性質を用いて、輝度、或いは輝度差が、あらかじめ設定しておいた輝度、或いは輝度差の変化量の基準値を上回って大きく変化するピクセル等の画素領域を検出し、この画素領域を境界要素として抽出する。
本実施形態の細胞画像解析装置を用いた細胞画像の解析による細胞画像中からの対象物の境界要素の抽出状態を図4に例示する。図4(a)は対象物の境界要素が多く抽出された状態、図4(b)は対象物の境界要素が標準的に抽出された状態、図4(c)は対象物の境界要素が少なく抽出された状態をそれぞれ示している。
コロニー候補領域の特定(ステップS32)
次に、コロニー候補領域特定手段1bが、対象物の境界要素を用いてコロニー候補領域の特定を行う。本実施形態の細胞画像解析装置の解析対象はコロニーであるので、対象物の境界要素を含んでいても、コロニーを構成する最小単位の対象物を含むことができない程度に小さい領域は解析対象から除外する。これにより、コロニーを含む領域がコロニー候補領域として特定される。
詳しくは、コロニー候補領域特定手段1bは、まず、対象物の境界要素を用いて個々の領域の特定を行う。即ち、対象物の境界要素に囲まれる領域及びその領域の周辺領域を1つの領域として特定する。その際、個々の領域の特定に用いる対象物の境界要素に関し、ある画素領域において輝度や輝度差の変化量が小さく不明確であるために、境界要素抽出手段1bに対象物の境界要素として抽出されず、一部が切れた状態となっている場合がある。コロニー候補領域特定手段1bは、このように一部が切れている対象物の境界要素に対し、予め設定された所定値以下の距離で離れている対象物の境界要素同士を同一の対象物の境界要素と認定し、対象物の境界要素間を所定の線分要素で結んで補完する。なお、この所定値は、解析処理に先立ち、ユーザが設定できるようにしてもよい。
この段階では、例えば、図5に示すように、対象物の境界要素が抽出された細胞画像に対し、ゴミ、単独の細胞、コロニーを形成する細胞集団、周辺のコロニー以外の細胞集団の夫々の領域が特定される。
次いで、コロニー候補領域特定手段1bは、第一の基準値として、予め、単独の細胞以上の大きさに設定されている、例えば、面積を示す所定値を用いて、その所定値を上回る領域をコロニー候補領域として特定する。
この段階では、図5に示す領域のうち、単独の細胞や、単独の細胞よりも小さいゴミなどの領域が除外される。
コロニー領域の特定(ステップS33)
次いで、コロニー領域特定手段1cが、コロニー候補領域特定手段1bを介して特定された、第一の基準値を上回る、ある程度の大きさを持つコロニー候補領域において、次の条件(2)、(3)を満足する領域を、細胞が密集してコロニーを形成している領域として特定する。
コロニー検出の条件
ところで、本実施形態の細胞画像解析装置は、次の条件(1)〜(3)を満足する領域をコロニーとして検出するように構成されている。
・条件(1) ある程度の大きさの(第一の基準値を上回る)領域であること。
・条件(2) 領域内の個々の対象物(細胞)が小さい(第二の基準値を下回る)こと。
・条件(3) さらに、これらの対象物(細胞)の数が所定数以上あること。
条件(1)に対応する処理
上記条件(1)は、コロニー候補領域を、コロニーを含む領域で特定することを目的とした条件である。上述したように、コロニー候補領域特定処理(ステップS32)において、コロニー候補領域特定手段1bが、この条件(1)を満足する第一の基準値を上回る領域がコロニー候補領域として特定する。このため、ゴミや単独の細胞などの小さい領域は除外される。
条件(2)に対応する処理
上記条件(2)は、細胞が密集しているが、密集する個々の細胞が大きいものを除くことを目的とした条件である。
細胞が密集する現象は、コロニーに限定されるものではなく、培養状態の細胞において一般的に見られる現象である。特に、成熟した細胞が単純に近接して密集しているだけの状態もよくある現象である。
そこで、本実施形態の細胞画像解析装置では、コロニー領域特定手段1cが、これら成熟した細胞の集団とコロニーとを区別するために、コロニー候補領域特定手段1bを介して特定されたコロニー候補領域内の個々の対象物(細胞)の大きさ(例えば、面積)を推測し、単独の細胞の大きさに設定されている面積を示す所定値である、第二の基準値と比較する。なお、実験条件や実験目的によっては、このような区別が必要のない系もある。そこで、本実施形態の細胞画像解析装置においては、コロニー領域特定手段1cによる、コロニー領域特定処理の要否を、予めユーザが設定できるようにするとよい。
また、本実施形態の細胞画像解析装置においては、コロニー領域内の細胞と非コロニー領域の細胞とを識別するために、例えば、後述する第1モード〜第4モード等の複数の処理モードを、ユーザが選択して用いることができるようにするとよい。実験系によって対象物の境界要素を抽出する難易度が異なる。このため、解析ごとにユーザが、それら第1モード〜第4モード等の複数の処理モードから最適な処理モードを任意に選択できるようにするとよい。
コロニー領域の特定における課題
その1−密集する個々の細胞を認識することの困難性
ところで、コロニー領域の特定に際しては、コロニー候補領域内における個々の対象物の境界要素を特定して、個々の細胞を認識することができれば、上記条件(1)〜(3)の充足・不充足の判断が容易となるが、通常、コロニー領域においては細胞同士が複雑なパターンで密集しているため、そもそも個々の細胞を認識することが難しいという問題がある。
その2−対象物の境界要素の抽出の困難性に由来した課題
また、対象物の境界要素を正確に検出することが難しいため、対象物の境界要素の抽出に際し、ノイズを多く検出してしまう、或いは、逆に、本来、対象物の境界要素となるべき領域を見逃してしまうことにより、コロニー領域を正確に特定することが難しくなるという問題がある。
即ち、対象物の境界要素を抽出する際には、(1)細胞の境界要素だけではなく、細胞内器官の境界要素も検出してしまう、(2)逆に、細胞の境界要素の見落としが発生する、(3)細胞同士の3次元的な重なりなどで細胞の境界要素がそもそも複雑であることなどの問題がある。
そこで、本実施形態の細胞画像解析装置においては、コロニー領域特定手段1cが、これらの課題を解決するために、ユーザの選択に応じて、コロニー領域特定処理(ステップS33)における条件(2)を満足する、コロニー候補領域内における集団の構成単位である細胞であるいか否かを個々に識別するための処理モードとして、第1モード〜第4モードのいずれかを用いることができるように構成されている(ステップS331〜S334)。主に次の(i)〜(iv)の場合に分けて、それぞれの場合に適した処理モードを説明する。
(i)個々の細胞の識別が容易な場合。
(ii)対象物の境界要素が少なく抽出される場合。
(iii)対象物の境界要素が標準的に抽出される場合。
(iv)対象物の境界要素が多く抽出される場合。
条件(2)を満足する細胞であるか否かを個々に識別するための処理モード:第1モード(ステップS33 1
第1モードは、細胞画像が十分鮮明であり、個々の細胞に3次元的な重なりなどが無く、コロニー内の個々の細胞を識別することが可能な場合(上記(i)の場合)に好適な処理モードである。
第1モードでは、コロニー領域特定手段1cが、コロニー候補領域内において対象物の境界要素で区切られる領域を個々の細胞とし、その個々の細胞の大きさが、上記条件(2)を満足する領域を検出する。
条件(2)を満足する細胞であるか否かを個々に識別するための処理モード:第2モード(ステップS33 2
図6は本実施形態の細胞画像解析装置における第2モードによる細胞画像解析処理の一例を示す説明図で、(a)は元の細胞状態(細胞画像)を示す図、(b)は(a)の細胞画像から対象物の境界要素を抽出した状態を示す図、(c)は(b)の境界要素を抽出した画像に対し、非コロニーの細胞のモデル領域を設定して非コロニーの細胞領域を検出するときの状態を示す図、(d)は(c)の非コロニーの細胞領域を検出した画像に対し、非コロニーの細胞のモデル領域よりも小さい半径の円であって対象物の境界要素を含まない最大の円を設定して非コロニーの細胞以外の個々の細胞の領域を特定するときの状態を示す図である。
第2モードは、対象物の境界要素が少なく抽出され、対象物の境界要素として個々の細胞の境界のみが検出される場合(上記(ii)の場合)に好適な処理モードである。
第2モードを適用する具体的な場合として、細胞内器官の境界要素や、或いはノイズなどのその他の条件により、対象物の境界要素として検出される要素が少ないような実験系を想定する。そして、その実験系における、元の細胞状態が図6(a)に示す状態であり、対象物の境界要素が図6(b)に示すように抽出されるものとする。また、ここでは、図6(b)に示す対象物の境界要素で示される領域がコロニー候補領域として特定されるものとする。
その場合、コロニー領域特定手段1cが、図6(c)に示すように、非コロニー領域の細胞としての最小サイズを基準とした、一定半径の円、或いは楕円や矩形等を、非コロニーの細胞のモデル領域として、細胞画像中のコロニー候補領域上に設定する。そして、コロニー候補領域上で、非コロニーの細胞のモデル領域をスキャン(位置を移動)し、非コロニーの細胞が存在する領域を検出する。即ち、対象物の境界要素を含むことなく、非コロニーの細胞のモデル領域を設定することができる領域がある場合には、その領域を、非コロニーの細胞を含む領域(非コロニーの細胞領域)として検出する。
また、コロニー候補領域内における当該領域が、対象物の境界要素により特定することが難しい場合(例えば、対象物の境界要素により単純な閉領域とならないものが多い場合)、コロニー領域特定手段1cが、さらに、例えば、図6(d)に示すように、非コロニーの細胞のモデル領域よりも小さい半径の円であって対象物の境界要素を含まない最大の円を設定する。この設定をコロニー候補領域内において繰り返すことによって、非コロニーの細胞以外の個々の細胞の領域を特定する。
条件(2)を満足する細胞であるか否かを個々に識別するための処理モード:第3モード(ステップS33 3
図7は本実施形態の細胞画像解析装置における第3モードによる細胞画像解析処理の一例を示す説明図で、(a)はコロニー候補領域内に、形状及び大きさが一定の評価領域を設定して対象物の境界要素の煩雑度を評価するときの状態、(b)は対象物の境界要素の高密度領域と評価された一連の領域を示す図である。
第3モードは、対象物の境界要素が標準的に抽出され、第2モードによっては個々の細胞の領域の特定が対象物の境界要素のノイズなどに左右されるような場合(上記(iii)の場合)に好適な処理モードである。
第3モードでは、コロニー領域特定手段1cが、例えば、図7(a)に示すように、コロニー候補領域内に、形状及び大きさが一定の評価領域(ここでは円形状の領域)を設定し、設定した評価領域内に含まれる対象物の境界要素の量をピクセル数等で数値化し、これを煩雑度として検出する。次いで、コロニー領域特定手段1cが、検出した煩雑度に応じて、コロニー領域と非コロニー領域のいずれかに識別する。例えば、検出した煩雑度が、判定用に予め設定しておいた所定の数値を上回るときに、円形状の領域の内部を、コロニーを形成する個々の細胞が密集した高密度領域と判定する。そして、図7(b)に示すような高密度領域と判定した一連の領域をコロニー領域として特定する。
条件(2)を満足する細胞であるか否かを個々に識別するための処理モード:第4モード(ステップS33 4
図8は本実施形態の細胞画像解析装置における第4モードによる細胞画像解析処理の一例を示す説明図で、(a)対象物の境界要素を用いてコロニー候補領域内における単一の細胞が占める領域を予測する基本的な方法を示す図、(b)は対象物の境界要素が細胞の周囲だけに限らず、細胞内にも存在する場合において、コロニー候補領域内における単一の細胞が占める領域を、対象物の境界要素を用いて予測したときの状態を概念的に示す図、(c)は境界要素の一部が抜けている場合において、コロニー候補領域内における単一の細胞が占める領域を、対象物の境界要素を用いて予測したときの状態を概念的に示す図である。
第4モードは、対象物の境界要素が多く抽出され、対象物の境界要素がさらに密になっていて、第3モードによっては細胞画像の解析が難しい場合(上記(iv)の場合)に好適な処理モードである。
第4モードでは、コロニー領域特定手段1cが、コロニー候補領域内で対象物の境界要素における任意の点を始点として隣接する周囲の点を包囲していき、包囲した内部の点の個数が、予め設定しておいた「平均境界ピクセル数」に達するまでこの処理を繰り返す。そして、この内部の点が「平均境界ピクセル数」に達したときの包囲した領域を、コロニー候補領域内において単一の細胞が占める領域として予測する。
ここで、「平均境界ピクセル数」は、単一の細胞における境界要素の量ピクセル数で数値化した値の平均値である。
第4モードの処理によって単一の細胞の占める領域を予測した場合、例えば、図8(a)に示すように、円形状の細胞の場合は大きな面積を占め、周囲が複雑な形状の細胞の場合は、小さい面積を占めることになる。
第4モードの処理によれば、例えば、図8(b)に示すように、対象物の境界要素が細胞の周囲だけに限らず、細胞内にも存在する場合であっても、コロニー候補領域内における単一の細胞が占める領域を、対象物の境界要素を用いて予測できる。さらに、図8(c)に示すように、境界要素の一部が抜けている(切れている)場合も、その場合に対応して境界要素の量を変更した「平均境界ピクセル数」を用いることで、コロニー候補領域内の一つの細胞が占める領域を、対象物の境界要素を用いて予測できる。
図9は本実施形態の細胞画像解析装置において、コロニー領域特定手段1cが、第4のモードによって、複数の細胞が密集した状態のコロニー候補領域内において個々の細胞を特定していく過程を概念的に示す説明図である。
コロニー領域特定手段1cは、まず、コロニー候補領域内における対象物の境界要素の任意の点を始点として第4モードによって一つの「単一の細胞領域」を特定する。次いで、特定された単一の細胞領域に隣接する領域に対して、同様に第4モードによって単一の細胞領域を特定する。この処理を隣接する領域において順次行うことで、コロニー候補領域内における個々の細胞領域が特定される。
ところで、複雑な構造を持つコロニーでは、個々の細胞の境界要素は、必ずしも細胞の境界に一致するとは限らない。
そこで、本実施形態の細胞画像解析装置は、コロニー領域特定手段1cによる第4モードの処理のために、コロニー内の個々の細胞が平均的にもつ対象物の境界要素の量が「平均境界ピクセル数」として、予め設定されるようになっている。このようにすれば、単一の細胞として平均的なピクセル数を有する個々の細胞領域を特定することができる。
図10は細胞が密集した状態のコロニー候補領域に対して第4モードによって特定される細胞領域を概念的に示す説明図で、(a)は細胞が密集した状態を模式的に示した図、(b)は第4モードによって特定される個々の細胞領域を示す図である。図10(b)中、夫々の矩形状の枠が、夫々の単一の細胞領域を示している。ここでは、便宜上、単一の細胞領域を矩形状に示してある。
図10に示すように、「平均境界ピクセル数」によって特定される個々の単一の細胞領域は、細胞が密集して細胞境界が複雑化するほど小さくなる。
ところで、非コロニーの細胞は、その形状が単純であり、第4モードにより特定される非コロニーの細胞領域は、コロニー領域内の細胞とは、例えば、領域の大きさ、或いは真円度などの形態的な特徴が異なる。
そこで、コロニー領域特定手段1cが、第4モードにおいて、コロニー候補領域内における個々の領域を形態的な特徴で分類するようにする。このようにしても、コロニーの領域内の細胞と非コロニー領域の細胞とに区別することが可能になる。
例えば、図11に示すように、コロニーのように複雑な境界要素を持つ領域では、特定される単一の細胞領域は、平均化されて円に近い形状となる。一方、成熟した細胞は、境界成分が少なく、比較的大きい。そして、特定される単一の細胞領域は楕円に近くなる。
そこで、コロニー領域特定手段1cが、第4モードにおいて、それらの単一の細胞領域を真円度(円であると小さく円から外れると大きくなる値など)に応じて、コロニー領域内と非コロニー領域とに区別するようにするとよい。
条件(3)に対応する処理
コロニー領域特定手段1cが、上述した条件(2)を満足する細胞であるか否かを個々に識別するための処理モードのうち、第3モード以外のいずれかの処理モード(第1モード、第2モード、第4モード)によって特定した個々の細胞領域に対して、その大きさを特定し、特定した個々の細胞領域の大きさを用いて、個々のコロニー候補領域に含まれる細胞の数を推定する。そして、推定した細胞の数が所定数以上の値を持つ領域をコロニー領域として特定する。
結果出力(ステップS4)
解析結果出力段階(ステップS4)では、細胞画像解析段階(ステップS3)を経て、特定された領域の、大きさ、推定細胞数などのパラメタを解析結果出力手段1dが図示しないディスプレイ画面やプリンタ等に出力する。
本発明の細胞画像解析装置は、培養状態の細胞画像を用いて細胞が密集した集団(細胞コロニー)を解析することが求められる分野に有用である。
1 細胞画像解析装置
1a 境界要素抽出手段
1b コロニー候補領域特定手段
1c コロニー領域特定手段
1d 解析結果出力手段

Claims (7)

  1. 細胞画像を用いて、コロニーを形成する細胞集団の解析を行う、コンピュータを備えた細胞画像解析装置であって、
    前記コンピュータを、
    前記細胞画像を解析して、細胞、細胞内器官、或いはゴミなどの対象物の境界となる線分要素である、境界要素を抽出する境界要素抽出手段、
    前記境界要素抽出手段を介して抽出された対象物の境界要素に囲まれる領域であって大きさが、単独の細胞以上の大きさに設定されている面積を示す所定値である、第一の基準値を上回る領域を、コロニー候補領域として特定するコロニー候補領域特定手段、
    前記コロニー候補領域特定手段を介して特定されたコロニー候補領域内において、前記対象物の境界要素に囲まれる領域から個々の細胞領域を特定し、さらに、該特定した個々の細胞領域のうち大きさが、単独の細胞の大きさに設定されている面積を示す所定値である、第二の基準値を下回る細胞領域が所定数以上密集する領域を、コロニー領域として特定するコロニー領域特定手段、
    として機能させる画像解析ソフトウェアを有することを特徴とする細胞画像解析装置。
  2. 前記コロニー領域特定手段は、前記コロニー候補領域内において、前記対象物の境界要素で区切られる個々の領域を、前記個々の細胞領域として特定することを特徴とする請求項1に記載の細胞画像解析装置。
  3. 前記境界要素抽出手段は、前記細胞画像における輝度、輝度差が大きく変化する画素部分を、対象物の境界要素として抽出し、
    前記コロニー領域特定手段は、前記コロニー候補領域特定手段を介して特定されたコロニー候補領域内に、形状及び大きさが一定の評価領域を設定し、該設定した評価領域内に含まれる前記対象物の境界要素の量をピクセル数で数値化し、該数値化した値を該コロニー候補領域における前記対象物の境界要素の煩雑度として検出し、該検出した対象物の境界要素の煩雑度が予め設定しておいた所定の閾値を上回る該評価領域の内部を、前記第二の基準値を下回る細胞領域が所定数以上密集するコロニー領域として特定する機能を備えていることを特徴とする請求項1に記載の細胞画像解析装置。
  4. 前記コロニー領域特定手段は、前記コロニー候補領域におけるコロニー外の細胞としての最小サイズを基準とした、一定半径の円、或いは楕円や矩形等を、非コロニーの細胞のモデル領域として、該コロニー候補領域上に設定し、該コロニー候補領域上で、該非コロニーの細胞のモデル領域の位置を移動し、前記対象物の境界要素を含むことなく、該非コロニーの細胞のモデル領域を設定することができる領域を、非コロニーの細胞領域として検出する機能を備えていることを特徴とする請求項1に記載の細胞画像解析装置。
  5. 前記コロニー領域特定手段は、さらに、前記非コロニーの細胞のモデル領域よりも小さい半径の円であって前記対象物の境界要素を含まない最大の円を設定し、この円の設定を前記コロニー候補領域内において繰り返し、該繰り返し設定した夫々の円を、前記非コロニーの細胞以外の前記個々の細胞領域として特定することを特徴とする請求項4に記載の細胞画像解析装置。
  6. 前記コロニー領域特定手段は、前記コロニー候補領域内で前記対象物の境界要素における任意の点を始点として隣接する周囲の点を包囲する処理を、包囲した内部の点の個数が、予め設定しておいた、単一の細胞における境界要素の量をピクセル数で数値化した値の平均値である、平均境界ピクセル数に達するまで繰り返し、該内部の点が該平均境界ピクセル数に達したときの包囲した領域を、該コロニー候補領域内において単一の細胞が占める領域として予測し、該予測した夫々の単一の細胞が占める領域を前記個々の細胞領域として特定することを特徴とする請求項1に記載の細胞画像解析装置。
  7. 前記コロニー領域特定手段は、さらに、前記予測したコロニー候補領域内における個々の前記単一の細胞が占める領域のうち真円度が所定の閾値以下である領域を前記第二の基準値を下回る細胞領域として特定することを特徴とする請求項6に記載の細胞画像解析装置。
JP2009173473A 2009-07-24 2009-07-24 細胞画像解析装置 Active JP5355275B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009173473A JP5355275B2 (ja) 2009-07-24 2009-07-24 細胞画像解析装置
US12/842,467 US8824767B2 (en) 2009-07-24 2010-07-23 Cell-image analyzing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009173473A JP5355275B2 (ja) 2009-07-24 2009-07-24 細胞画像解析装置

Publications (2)

Publication Number Publication Date
JP2011024485A JP2011024485A (ja) 2011-02-10
JP5355275B2 true JP5355275B2 (ja) 2013-11-27

Family

ID=43497366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009173473A Active JP5355275B2 (ja) 2009-07-24 2009-07-24 細胞画像解析装置

Country Status (2)

Country Link
US (1) US8824767B2 (ja)
JP (1) JP5355275B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168520B2 (en) 2015-06-15 2019-01-01 Olympus Corporation Microscope system and microscopy method
US10360676B2 (en) 2014-03-05 2019-07-23 Fujifilm Corporation Cell image evaluation device, method, and program

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5430188B2 (ja) * 2009-03-16 2014-02-26 オリンパス株式会社 細胞画像解析装置及び細胞の画像を撮像する方法
JP5525774B2 (ja) * 2009-07-24 2014-06-18 オリンパス株式会社 細胞画像解析装置
EP2487249B1 (en) * 2009-10-09 2018-06-13 Kawasaki Jukogyo Kabushiki Kaisha Method and apparatus for discrimination of undifferentiated pluripotent stem cells, and automatic culture method and apparatus
JP5696144B2 (ja) * 2010-06-25 2015-04-08 川崎重工業株式会社 多能性幹細胞コロニーの識別方法及び装置並びに多能性幹細胞の自動培養方法及び装置
WO2012115153A1 (ja) * 2011-02-25 2012-08-30 株式会社ニコン 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
JP5745919B2 (ja) 2011-04-28 2015-07-08 浜松ホトニクス株式会社 細胞解析方法、細胞解析装置、および細胞解析プログラム
JP2014135949A (ja) * 2013-01-18 2014-07-28 Dainippon Printing Co Ltd 培地情報登録システム、培地画像解析装置、プログラム及び衛生管理システム
JP6097951B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 幹細胞分化判定装置および方法並びにプログラム
WO2015069827A2 (en) * 2013-11-06 2015-05-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Pathology case review, analysis and prediction
WO2015107770A1 (ja) 2014-01-14 2015-07-23 株式会社Screenホールディングス 細胞コロニー領域特定装置、細胞コロニー領域特定方法および記録媒体
WO2015131083A1 (en) * 2014-02-28 2015-09-03 The Regents Of The University Of California Variable thickness diaphragm for a wideband robust piezoelectric micromachined ultrasonic transducer (pmut)
JP6301199B2 (ja) 2014-05-30 2018-03-28 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
WO2015193951A1 (ja) * 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP6416530B2 (ja) * 2014-07-24 2018-10-31 株式会社日立ハイテクノロジーズ 蛍光観察装置、および蛍光観察方法
US11398032B2 (en) * 2016-07-14 2022-07-26 Dai Nippon Printing Co., Ltd. Image analysis system, culture management system, image analysis method, culture management method, cell group structure method, and program
JP6951853B2 (ja) * 2017-03-28 2021-10-20 オリンパス株式会社 解析結果閲覧装置
JPWO2018207361A1 (ja) * 2017-05-12 2020-03-12 オリンパス株式会社 細胞画像取得装置
JP7139359B2 (ja) * 2018-01-15 2022-09-20 株式会社エビデント 細胞解析装置及び細胞解析システム
WO2019138571A1 (ja) * 2018-01-15 2019-07-18 オリンパス株式会社 細胞解析装置及び細胞解析システム
JP6642751B2 (ja) * 2019-02-19 2020-02-12 株式会社ニコン 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法
JP2022159822A (ja) * 2021-04-05 2022-10-18 株式会社エビデント 細胞画像解析の設定を支援する装置、システム、及び、方法
WO2024142425A1 (ja) * 2022-12-27 2024-07-04 株式会社キーエンス コロニー計数装置、制御方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978497A (en) 1994-09-20 1999-11-02 Neopath, Inc. Apparatus for the identification of free-lying cells
WO2001042786A2 (en) 1999-12-09 2001-06-14 Cellomics, Inc. System for cell based screening : cell spreading
CN1678751A (zh) * 2002-08-28 2005-10-05 侯德兴 癌变细胞集落的培养体系、检测分析系统以及检测方法
JP4271054B2 (ja) 2004-02-12 2009-06-03 オリンパス株式会社 細胞画像解析装置
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
US7706591B2 (en) 2006-07-13 2010-04-27 Cellomics, Inc. Neuronal profiling
JP2009089628A (ja) * 2007-10-05 2009-04-30 Nikon Corp 識別装置および識別方法
JP4997255B2 (ja) * 2009-01-05 2012-08-08 オリンパス株式会社 細胞画像解析装置
JP5525774B2 (ja) 2009-07-24 2014-06-18 オリンパス株式会社 細胞画像解析装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360676B2 (en) 2014-03-05 2019-07-23 Fujifilm Corporation Cell image evaluation device, method, and program
US10168520B2 (en) 2015-06-15 2019-01-01 Olympus Corporation Microscope system and microscopy method

Also Published As

Publication number Publication date
US20110019897A1 (en) 2011-01-27
US8824767B2 (en) 2014-09-02
JP2011024485A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
JP5355275B2 (ja) 細胞画像解析装置
US11796788B2 (en) Detecting a defect within a bodily sample
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US8335374B2 (en) Image segmentation
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
JP5481696B2 (ja) 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法
EP2439529B1 (en) Pathologic tissue image analyzing apparatus, pathologic tissue image analyzing method, and pathologic tissue image analyzing program
KR20190080914A (ko) 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램
JP5525774B2 (ja) 細胞画像解析装置
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
EP3121264B1 (en) Cell region display control device and method
JP4864709B2 (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
JP2019164450A (ja) 画像処理方法、コンピュータプログラムおよび記録媒体
JP5530126B2 (ja) 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP2018125019A (ja) 画像処理装置及び画像処理方法
JP6355476B2 (ja) 閾値決定方法、画像処理方法および画像処理装置
JP6329651B1 (ja) 画像処理装置及び画像処理方法
KR102492083B1 (ko) 세포 카운트 방법
JP6951853B2 (ja) 解析結果閲覧装置
Hernandez et al. Toward Real-Time Biopsy Image Analysis and Cell Segmentation.
Turek Image processing and 2‐D morphometry
JP2009168749A (ja) 粒子解析装置と、粒子解析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130827

R151 Written notification of patent or utility model registration

Ref document number: 5355275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250