JP5407015B2 - 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム - Google Patents

画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム Download PDF

Info

Publication number
JP5407015B2
JP5407015B2 JP2008179765A JP2008179765A JP5407015B2 JP 5407015 B2 JP5407015 B2 JP 5407015B2 JP 2008179765 A JP2008179765 A JP 2008179765A JP 2008179765 A JP2008179765 A JP 2008179765A JP 5407015 B2 JP5407015 B2 JP 5407015B2
Authority
JP
Japan
Prior art keywords
image
fluorescence
image processing
group
observation image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008179765A
Other languages
English (en)
Other versions
JP2010019656A5 (ja
JP2010019656A (ja
Inventor
洋介 ▲高▼▲浜▼
剛 新田
義太郎 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
University of Tokushima
Original Assignee
Nikon Corp
University of Tokushima
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, University of Tokushima filed Critical Nikon Corp
Priority to JP2008179765A priority Critical patent/JP5407015B2/ja
Priority to PCT/JP2009/002901 priority patent/WO2010004691A1/ja
Publication of JP2010019656A publication Critical patent/JP2010019656A/ja
Priority to US12/979,858 priority patent/US8588502B2/en
Publication of JP2010019656A5 publication Critical patent/JP2010019656A5/ja
Application granted granted Critical
Publication of JP5407015B2 publication Critical patent/JP5407015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1443Auxiliary imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy

Landscapes

  • Chemical & Material Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、画像処理装置、画像処理方法コンピュータ実行可能な画像処理プログラム、及び顕微鏡システムに関する。
従来、蛍光染色された細胞集団の溶液を光透過性チューブへ通し、そのチューブへ励起光を照射しながら蛍光の発光量の時間変化を測定し、その時間変化から細胞集団の蛍光に関する統計データを取得する細胞集団の評価装置(フローサイトメータ)が知られている(特許文献1)。
近年、細胞集団の溶液をチューブへ通す代わりに細胞集団の蛍光顕微鏡画像を取得し、その蛍光顕微鏡画像を画像処理することで同様の統計データを取得する細胞集団の評価装置(以下、「画像処理サイトメータ」と称する。)が提案された(特許文献2)。
この画像処理サイトメータは、煩雑な測定手順を経る必要が無く、また細胞内の構造に関わる詳細なデータをも取得できるので、有用性が高い。
但し、蛍光顕微鏡画像には多くのノイズが発生するので、画像処理サイトメータでは細胞像とノイズとを区別し、統計データの取得前に後者を除去する必要がある。実際、特許文献2に記載の画像処理サイトメータでは、蛍光顕微鏡画像のうち輝度値が閾値を超える輝点を細胞像とみなし、輝度値が閾値以下である輝点をノイズとみなし、後者を除去している。
特開平9−145593号公報 特開2006−194711号公報
しかしながら個々の細胞の染色程度は様々なので、細胞像によっては蛍光強度が低くなり、背景レベル(ノイズレベル)と同等になることもある。このような細胞像はノイズとして除去されてしまうので、統計データに誤差が生じる。
なお、閾値を低く設定すれば細胞像が誤って除去される可能性は少なくなるが、その代わりに多くのノイズが残存する可能性が増えるため、統計データの誤差を確実に低減することはできない。
そこで本発明は、蛍光集団の統計データを簡単かつ高精度に取得することのできる画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システムを提供することを目的とする。
本発明の画像処理装置は、蛍光色素で染色された細胞集団の蛍光観察画像と、その蛍光観察画像と同一視野の透過観察画像とを受信する受信部と、前記透過観察画像において前記細胞集団の像が存在する第1領域群を特定する第1特定部と、前記入力された蛍光観察画像において前記第1領域に相当する領域を参照領域として設定する設定と、前記蛍光観察画像において設定された前記参照領域から蛍光輝度データを取得する取得とを備える。
なお、本発明の画像処理装置は、前記取得により取得された前記蛍光輝度データから統計データを生成する解析を更に備えてもよい。
また、本発明の画像処理装置は、前記蛍光観察画像において輝度が相対的に高い領域群を第2領域として特定する第2特定部を備え、前記設定は、前記第1領域と前記第2領域との論理和を算出し、前記蛍光観察画像において前記論理和に相当する領域を前記参照領域としてもよい。
また、前記設定は、前記論理和の算出に先立ち、前記第1領域における領域間の境界線を算出し、前記第2領域のうち前記境界線上に位置する領域をその境界線で分離してもよい。
また、本発明の画像処理方法は、蛍光色素で染色された細胞集団の蛍光観察画像と、その蛍光観察画像と同一視野の透過観察画像とを受信する工程と、
前記透過観察画像において前記細胞集団の像が存在する第1領域群を特定する工程と、前記蛍光観察画像において前記第1領域に相当する領域を参照領域として設定する工程と、前記蛍光観察画像において設定された前記参照領域から蛍光輝度データを取得する工程とを含むことを特徴とする。
なお、本発明の画像処理方法は、前記取得された前記蛍光輝度データから統計データを生成する工程を更に含んでもよい。
また、本発明の画像処理方法は、前記蛍光観察画像において輝度が相対的に高い領域群を第2領域として特定する工程を有し、前記設定する工程では、前記第1領域と前記第2領域との論理和を算出し、前記蛍光観察画像において前記論理和に相当する領域を前記参照領域としてもよい。
また、前記設定する工程は、前記論理和の算出に先立ち、前記第1領域における領域間の境界線を算出し、前記第2領域のうち前記境界線上に位置する領域をその境界線で分離してもよい。
また、本発明のコンピュータ実行可能な画像処理プログラムは、蛍光色素で染色された細胞集団の蛍光観察画像と、その蛍光観察画像と同一視野の透過観察画像とを受信する受信手順と、前記透過観察画像において前記細胞集団の像が存在する第1領域群を特定する第1特定手順と、前記蛍光観察画像において前記第1領域に相当する領域を参照領域として設定する設定手順と、 前記蛍光観察画像において設定された前記参照領域から蛍光輝度データを取得する取得手順とを含む。
なお、本発明の画像処理プログラムは、前記取得手順により取得された前記蛍光輝度データから統計データを生成する解析手順を更に含んでもよい。
また、本発明の画像処理プログラムは、前記蛍光観察画像において輝度が相対的に高い領域群を第2領域として特定する第2特定手順を含み、前記設定手順は、前記第1領域と前記第2領域との論理和算出し、前記蛍光観察画像において前記論理和に相当する領域を前記参照領域としてもよい。
なお、前記設定手順は、前記論理和の算出に先立ち、前記第1領域における領域間の境界線を算出し、前記第2領域群のうち前記境界線上に位置する領域をその境界線で分離してもよい。
また、本発明の顕微鏡システムは、前記蛍光観察画像を取得する光学系と、前記蛍光観察画像と同一視野の前記透過観察画像を取得する光学系と、請求項1〜請求項6の何れか一項に記載の画像処理装置とを備えたことを特徴とする。
本発明によれば、蛍光集団の統計データを簡単かつ高精度に取得することのできる画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システムが実現する。
[第1実施形態]
以下、本発明の第1実施形態を説明する。本実施形態は、画像処理サイトメータの実施形態である。
先ず、画像処理サイトメータの構成を説明する。
図1は、画像処理サイトメータの全体構成図である。図1に示すとおり画像処理サイトメータには、二次元移動ステージ12と、顕微鏡装置30と、コンピュータ53と、表示器56と、入力器57とが備えられる。
二次元移動ステージ12の中央には開口部11Aが設けられており、その開口部11Aを覆うようにして試料1が載置される。試料1は、例えばスライドガラスであり、その中央には蛍光発光色素で染色された細胞集団の溶液が予め滴下されている。なお、溶液の表面は乾燥防止のためにカバーガラスで覆われている。因みに、溶液が滴下される面はスライドガラスの下面である。
なお、ここではEGFP(蛍光蛋白質)の発現量にばらつきのある細胞集団を評価する場合や、細胞集団に含まれる個々の細胞の表面抗原を蛍光抗体法で検出する場合などを想定し、試料1中の細胞集団には、蛍光強度の異なる少なくとも2種類の細胞群が含まれていると仮定する。
顕微鏡装置30には、対物レンズ31、焦点調節機構32、励起光照明装置33、蛍光フィルタブロック34、第二対物レンズ35、光路切替器36、撮像装置37、透過照明装置40、コンデンサレンズ43が備えられる。このうち透過照明装置40及びコンデンサレンズ43は試料1の上方に配置され、それ以外の要素は試料1の下方に配置される。また、蛍光フィルタブロック34にはダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されており、光路切替器36には光路に対して挿脱可能なミラー36aが備えられている。
対物レンズ31は、比較的広い視野を有した対物レンズである(例えば倍率4倍の対物レンズ)。対物レンズ31は、焦点調節機構32により光軸AXの方向(Z方向)に移動可能である。この移動により試料1に対する対物レンズ31の焦点調節が行われる。
二次元移動ステージ12は、光軸AXと垂直な方向であるX方向及びY方向へ移動可能である。この移動により試料1における対物レンズ31の視野(観察領域)の位置調節が行われる。
透過照明装置40は、明視野観察用の照明光束を出射することが可能である(符号41は光源であり、符号42はコリメータレンズである。)。この透過照明装置40は、明視野観察時にオンされ、蛍光観察時にオフされる。
励起光照明装置33は、蛍光観察用の励起光束を出射することが可能である。この励起光照明装置33は、蛍光観察時にオンされ、明視野観察時にオフされる。
明視野観察時、透過照明装置40から射出した照明光束は、コンデンサレンズ43を通り、試料1の観察領域を照明する。試料1を透過した光束は、対物レンズ31に入射する。対物レンズ31に入射した光束は、蛍光フィルタブロック34、第二対物レンズ35を通り、光路切替器36へ入射する。光路切替器36のミラー36aが光路に挿入されている場合、その光束はミラー36aで反射して不図示の接眼レンズへ導かれ、光路切替器36のミラー36aが光路から離脱されている場合、その光束は光路切替器36を通過して撮像装置37へ入射する。撮像装置37へ入射した光束は、撮像装置37内の撮像素子37a上に上述した観察領域の明視野像を形成する。撮像素子37aは、その明視野像を撮像して画像データ(以下、「透過画像」という。)を取得する。
蛍光観察時、励起光照明装置33から射出した励起光束は、調光フィルタ33a、蛍光フィルタブロック34を通り、像側から対物レンズ31へ入射すると、その対物レンズ31を介して試料1の観察領域を照射する。その励起光束に応じて試料1で発生した蛍光は、物体側から対物レンズ31へ入射し、蛍光フィルタブロック34、第二対物レンズ35を通り、光路切替器36へ入射する。光路切替器36のミラー36aが光路に挿入されている場合、その光束はミラー36aで反射して不図示の接眼レンズへ導かれ、光路切替器36のミラー36aが光路から離脱されている場合、その光束は光路切替器36を通過して撮像装置37へ入射する。撮像装置37へ入射した光束は、撮像装置37内の撮像素子37a上に上述した観察領域の蛍光像を形成する。撮像素子37aは、その蛍光像を撮像して画像データ(以下、「蛍光画像」という。)を取得する。
コンピュータ53は、二次元移動ステージ12、及び顕微鏡装置30の各駆動部(透過照明装置40、焦点調節機構32、励起光照明装置33、光路切替器36など)を制御する制御機能を有する。この制御によりコンピュータ53は、例えば試料1上の観察領域の位置を調節したり、蛍光観察と明視野観察との間の切り替えを行ったり、目視観察と画像観察との間の切り替えを行ったりすることができる。
また、コンピュータ53は、顕微鏡装置30が取得した画像(蛍光画像、透過画像)を処理する情報処理機能を有する。例えば、コンピュータ53は、顕微鏡装置30から画像(蛍光画像、透過画像)を取り込んでコンピュータ53の内部のフレームメモリへ格納し、それらの画像に基づき前述した観察領域内の細胞集団の統計データを取得し、その統計データを表示器56へ表示することができる。
なお、コンピュータ53の動作は、入力器57から入力されるユーザの指示に従って行われる。また、その動作に必要なプログラムは、コンピュータ53に予めインストールされている。このインストールは記憶媒体を介して行われてもよく、またインターネットなどの通信網を介して行われてもよい。
次に、コンピュータ53の動作フローを説明する。
図2は、本実施形態のコンピュータ53の動作フローチャートであり、図3は、各ステップで生成される画像の模式図である。以下、図2、図3を参照しながら各ステップを順に説明する。
ステップS1:コンピュータ53は顕微鏡装置30に明視野観察を実行させ、その明視野観察で取得された透過画像Itを顕微鏡装置30から取り込み、フレームメモリへ格納する。
ステップS2:コンピュータ53は顕微鏡装置30に蛍光観察を実行させ、その蛍光観察で取得された蛍光画像Ifを顕微鏡装置30から取り込み、フレームメモリへ格納する。この蛍光画像Ifは、ステップS1で取得された透過画像Itと同一視野の画像である。
図3では、画像上に蛍光強度の強い細胞の像Cbと蛍光強度の弱い細胞の像Cdとが1つずつ存在していたと仮定した(実際は数十個〜数万個である。)。なお、符号nで示す像はノイズである。
また、図3では、画像を横切る直線上の輝度分布グラフを各画像の下部に示した(上述した撮像装置37のビット数を例えば12としたならば、各画像の各画素の輝度値は0〜4095の何れかの値をとる。)。
この輝度分布グラフから明らかなとおり、透過画像It上では蛍光強度の強い細胞像Cbと蛍光強度の弱い細胞像Cdとの双方の輝度値が背景レベル(ノイズレベル)T0よりも十分に高くなっているのに対し、蛍光画像If上では、蛍光強度の弱い細胞像Cdの輝度値が背景レベル(ノイズレベル)T0に埋もれている。
また、図3には表さなかったが、透過画像Itの背景レベルT0は略均一であるのに対し、蛍光画像Ifの背景レベルT0は不均一になり易い。
したがって、蛍光画像Ifのみに基づいても、蛍光画像If上に存在する細胞像Cb、Cdとノイズnとを正確に区別することはできないが、透過画像Itに基づけば、蛍光画像If上に存在する細胞像Cb、Cdとノイズnとを正確に区別することができる。
ステップS11:コンピュータ53は、フレームメモリに格納された透過画像Itを読み出す。
ステップS12:コンピュータ53は、その透過画像Itに対して二値化処理を施すことにより、マスク画像Mtを作成する。
図3に示すとおり、マスク画像Mtの開口パターンは、透過画像It上に存在する細胞像Cb、Cdの分布パターンと略一致している(マスク部の輝度値及び開口部の輝度値は、ソフトウエアにより0及び255、或いは0及び65535、或いは0及び1であるが、本質的には同じなので、ここでは0及び1とする。)。
このようなマスク画像Mtを得るために、本ステップにおける二値化処理の閾値TAは、透過画像Itの背景レベルT0よりも十分に高く、かつ透過画像Itの細胞輝度レベルT1よりも十分に低い値に設定される必要がある。
そこで本ステップにおけるコンピュータ53は、二値化処理に先立ち、透過画像Itの輝度ヒストグラムを作成し、その輝度ヒストグラムの低輝度側のピークを与える輝度値を背景レベルT0とみなし、その輝度ヒストグラムの最高輝度値を細胞輝度レベルT1とみなし、背景レベルT0と細胞輝度レベルT1との間の値(例えば中間値)を、閾値TAとする。このような閾値設定により、マスク画像Mtの開口パターンを、透過画像It上に存在する細胞像Cb、Cdの分布パターンと略一致させることができる。
但し、マスク画像Mtの開口パターンは、透過画像It上に存在する細胞像Cb、Cdの分布パターンと完全に一致しているとは限らない。なぜなら、透過画像It上にはノイズn(気泡やゴミなどの像である。)も存在しており、ノイズnの輝度値が閾値TAより高い可能性もあるからである。
ステップS13:コンピュータ53は、マスク画像Mtの不要な開口部を除去するべく次のとおりマスク画像Mtを調整する。
先ず、コンピュータ53は、マスク画像Mtに形成されている個々の開口部のサイズ及び形状を参照し、サイズ又は形状の少なくとも一方が異常な開口部(細胞像のサイズ又は形状とは明らかに異なる開口部)を見いだす。そして、コンピュータ53は、その開口部をマスク部へと置換することにより、調整後のマスク画像Mt’を得る。調整後のマスク画像Mt’の開口パターンは、透過画像It上に存在する細胞像Cb、Cdの分布パターンと完全に一致している。
なお、本ステップにおいて開口部のサイズが異常であるか否かの判断基準は、顕微鏡装置30の観察条件(観察倍率)に応じて設定されることが望ましく、開口部の形状が異常であるか否かの判断は、真円度からの乖離度によって行われることが望ましい。
ステップS14:コンピュータ53は、フレームメモリに格納された蛍光画像Ifを読み出す。
ステップS15:コンピュータ53は、その蛍光画像Ifに対してマスク画像Mt’によるマスク処理を施すことにより、マスク処理後の蛍光画像If’を得る。図3に示すとおり、マスク処理後の蛍光画像If’は、マスク画像Mt’と蛍光画像Ifとの論理積に相当し、蛍光画像Ifの背景に発生していたノイズnは完全に除去されている。
ステップS16:コンピュータ53は、マスク画像Mt’に形成されている個々の開口部の位置座標を認識し、蛍光画像If’上でそれらの開口部に相当する各領域にROIを設定する。そして、コンピュータ53は、蛍光画像If’上に設定された個々のROIから輝度最高値、輝度平均値、輝度積分値などの蛍光データを抽出する。
ここで、個々のROIには、蛍光データだけでなく蛍光画像Ifの背景レベルT0までもが含まれているので、コンピュータ53は、蛍光データの抽出に先立ち、蛍光画像Ifの輝度ヒストグラムを作成し、その輝度ヒストグラムの低輝度側のピークを与える輝度値を、背景レベルT0とみなし、その背景レベルT0を個々のROIから差し引く。
なお、上述したとおり蛍光画像Ifの背景レベルT0は不均一である。よって、コンピュータ53は、背景レベルT0の算出を、蛍光画像Ifを複数に分割してできる部分領域毎に行うことが望ましい。
その後、全てのROIから各種の蛍光データ(輝度最高値、輝度平均値、輝度積分値など)を抽出すると、コンピュータ53はそれらの蛍光データに基づき輝度最高値のヒストグラム、輝度平均値のヒストグラム、輝度積分値のヒストグラムを集計結果として作成する。各ヒストグラムの縦軸は、ROIの個数、すなわち細胞数である。
ステップS17:コンピュータ53は、作成した各種ヒストグラムを、マスク処理後の蛍光画像If’と共に表示器56へ表示する。これによってフローが終了する。
以上、本実施形態のコンピュータ53は、マスク処理で使用されるマスク画像Mt’を、蛍光画像Ifと同一視野の透過画像Itに基づき作成する。
この透過画像Itは、細胞像Cb、Cdの蛍光データを全く含まないものの、蛍光画像Ifとは異なりSN比が高く、背景レベルT0も均一である。このため、本実施形態で作成されたマスク画像Mt’によれば、細胞像Cb、Cdを誤って除去したり、ノイズnが残存したりする可能性を確実に防ぐことができる。
したがって、本実施形態の画像処理サイトメータによれば、細胞集団の統計データを高精度に取得することができる。
なお、本実施形態のコンピュータ53は、透過画像It、蛍光画像If、部分領域の各々の背景レベルT0の算出を自動的に行ったが、透過画像、蛍光画像、部分領域の少なくとも一つに関する背景レベルT0の算出を半自動で行ってもよい。
その場合、コンピュータ53は、背景レベルT0の算出対象である画像を表示器56に表示し、その表示画面上でユーザに任意形状かつ任意サイズの背景ウィンドウを指定させ、指定された背景ウィンドウ内の輝度平均値を、その画像の背景レベルT0とみなせばよい。
[第2実施形態]
以下、本発明の第2実施形態を説明する。本実施形態も、画像処理サイトメータの実施形態である。ここでは、第1実施形態との相違点のみ説明する。
第1実施形態では説明しなかったが、蛍光画像If上では、蛍光強度の強い細胞像Cbは、蛍光強度の弱い細胞像Cdよりも膨張する傾向にある。しかも、その膨張の程度は、蛍光強度と強い相関がある。
しかしながら第1実施形態のコンピュータ53は、透過画像Itのみから作成したマスク画像Mt’をマスク処理に使用するので、蛍光強度の強い細胞像Cbの膨張部分(周縁部)がノイズnと共に除去されてしまう。この場合、膨張部分の蛍光データが集計結果に反映されないので、集計結果に一定の誤差が生じる。
そこで、本実施形態のコンピュータ53は、マスク処理に使用すべきマスク画像を、透過画像Itと蛍光画像Ifとの双方に基づき作成する。
図4は、本実施形態のコンピュータ53の動作フローチャートであり、図5は、各ステップで生成される画像の模式図である。図4において図2との相違点は、ステップS14の後段にステップS141が挿入され、かつステップS15の前段にステップS142が挿入された点にある。以下、図4、図5を参照しながらステップS141、S142を順に説明する。
ステップS141:コンピュータ53は、蛍光画像Ifに対して二値化処理を施すことにより、マスク画像Mfを作成する。
図5に示すとおり、このマスク画像Mfの開口パターンは、蛍光画像If上に存在する蛍光強度の強い細胞像Cbの分布パターンと一致しており、蛍光画像If上に存在する蛍光強度の弱い細胞像Cdの存在領域はマスク部となっている。
このようなマスク画像Mfを得るために、本ステップにおける二値化処理の閾値TBは、蛍光画像Ifの背景レベルT0よりも十分に高く、かつ蛍光画像Ifの細胞輝度レベルT1よりも十分に低い値に設定される必要がある。
そこで本ステップにおけるコンピュータ53は、二値化処理に先立ち、蛍光画像Ifの輝度ヒストグラムを作成し、その輝度ヒストグラムの低輝度側のピークを与える輝度値を背景レベルT0とみなし、その輝度ヒストグラムの最高輝度値を細胞輝度レベルT1とみなし、背景レベルT0と細胞輝度レベルT1との間の値(例えば中間値)を、閾値TBとする。このような閾値設定により、マスク画像Mfの開口パターンを、蛍光画像If上に存在する蛍光強度の強い細胞像Cbの分布パターンと一致させることができる。
ステップS142:コンピュータ53は、透過画像Itから作成されたマスク画像Mt’と、蛍光画像Ifから作成されたマスク画像Mfとの論理和をとることにより、合成マスク画像Mcを作成する。図5に示すとおり、この合成マスク画像Mcの開口パターンは、蛍光画像If上に存在する細胞像Cb、Cdの分布パターンと完全に一致している。そして、本実施形態のマスク処理(ステップS15)では、この合成マスク画像Mcが使用される。
したがって、本実施形態のマスク処理によれば、細胞像Cbの膨張部分が蛍光画像If’から欠落することは無い。よって、本実施形態では、集計結果の精度が第1実施形態のそれよりも高まる。
[第3実施形態]
以下、本発明の第3実施形態を説明する。本実施形態も、画像処理サイトメータの実施形態である。ここでは、第2実施形態との相違点のみ説明する。
第2実施形態では説明しなかったが、図7に示すとおり、蛍光画像If上に蛍光強度の強い2つの細胞像Cbが近接して存在していた場合、蛍光画像Ifから作成されたマスク画像Mf上では、それら細胞像Cbに対応する2つの開口部が連結することがある。その場合、それら細胞像Cbの蛍光データが1つの細胞像の蛍光データとして集計されてしまうので、集計結果に誤差が生じる。
そこで、本実施形態のコンピュータ53は、蛍光画像Ifから作成されたマスク画像Mfを調整する。
図6は、本実施形態のコンピュータ53の動作フローチャートであり、図7は、各ステップで生成される画像の模式図である。図6において図4との相違点は、ステップS141の後段にステップS1411が挿入された点にある。以下、挿入されたステップS1411を説明する。
ステップS1411:コンピュータ53は、透過画像Itから作成されたマスク画像Mt’に基づき、蛍光画像Ifから作成されたマスク画像Mfを次のとおり調整する。
先ず、コンピュータ53は、マスク画像Mt’に形成されている開口間の境界線を算出し、その境界線パターンと同じ開口パターンを有した仮のマスク画像Mt”を作成する。そして、コンピュータ53は、仮のマスク画像Mt”とマスク画像Mfとの論理積をとることにより調整後のマスク画像Mf’を得る。
図7に示すとおり、調整後のマスク画像Mf’に形成されている開口部の個数及び配置関係は、蛍光画像If上に存在する蛍光強度の強い細胞像Cbの個数及び配置関係と完全に一致している。
そして、本実施形態のマスク合成(ステップS142)では、マスク画像Mfの代わりに調整後のマスク画像Mf’が使用される。
したがって、図7に示すとおり、本実施形態の合成マスク画像Mc’では、開口部の個数及び配置関係が、透過画像It上に存在する細胞像Cb、Cdの個数及び配置関係と完全に一致する。よって、本実施形態では、集計結果の精度が第2実施形態のそれよりも高まる。
[その他]
なお、上述した何れかの実施形態では、透過画像Itを取得する際の観察方法として、明視野観察法を適用したが、位相差観察法、微分干渉観察法、偏光観察法など他の透過観察方法を適用してもよい。
また、上述した何れかの実施形態では、透過画像Itにおける細胞輝度レベルT1が背景レベルT0よりも高い場合を説明したが、細胞の種類と観察方法の種類との組み合わせによっては細胞輝度レベルT1が背景レベルT0より低くなる場合もある。その場合は、透過画像Itから作成されたマスク画像Mtに対して反転処理を施す必要がある。
また、上述した何れかの実施形態では、透過画像Itにおける細胞輝度レベルT1が背景レベルT0と異なる場合を説明したが、細胞の種類と観察方法の種類との組み合わせによっては細胞輝度レベルT1が背景輝度レベルT0と同程度になる場合もある。その場合は、細胞輝度レベルT1の代わりに細胞像のエッジの輝度レベルに基づき閾値TAを設定すればよい。但し、その場合、マスク画像Mtの開口部が面状でなく閉曲線状となるので、その閉曲線内を開口部に置換する処理をそのマスク画像Mtへ施す必要がある。
また、上述した何れかの実施形態では、蛍光発光色素で染色された細胞集団を評価対象としたが、他の粒子状の蛍光集団、例えばプラスチックやガラスのビーズ、リポソーム、液滴などを評価対象としてもよい。
以下、上述した第2実施形態に対応する実施例を説明する。
先ず、胸腺細胞株 BW5147 を予め用意した。また、蛍光タンパク質 EGFP の遺伝子を含むプラスミド DNApMRX-IRES-EGFP をレトロウイルスパッケージング細胞 Plat-E に導入し、それによって生産されたレトロウイルスを含む培養上清を回収した。その培養上清を、予め用意した胸腺細胞株 BW5147 に感染させた。そして、感染後のBW5147細胞をフローサイトメータにかけることにより、EGFPを発現するBW5147細胞のみを抽出した。以下、抽出された細胞集団を「蛍光強度の強い細胞集団」と称す。
その一方で、上記プラスミドを導入していない細胞集団を用意した。以下、その細胞集団を「蛍光強度の弱い細胞集団」と称す。
その後、蛍光強度の強い細胞集団と、蛍光強度の弱い細胞集団とを同種の培地で別々に培養した。その培地は、RPMI 1640であり、10% fetal calf serum (FCS), 50μM2-mercaptoethanol, 10mM HEPES, 2 mM L-glutamine, 1X nonessential amino acides, 1 mM sodium pyruvate, 100 U/mL penicillin, and 100 μg/mL streptomycin を含む。また、培養に使用した培養装置は、温度37℃、CO2濃度5%のインキュベータであった。
培養後、蛍光強度の強い細胞集団と蛍光強度の弱い細胞集団との混合液1滴をスライドグラスに滴下し、カバーグラスをかけたものを試料として用意し、その試料を倒立顕微鏡(Nikon TE2000-E)の二次元移動ステージにカバーグラス面が下になるように設置した。
倒立顕微鏡に使用されたコンデンサーレンズはLWDコンデンサーであり、倒立顕微鏡に使用された対物レンズは、開口数が0.2のPlan Apo 4Xであった。
また、倒立顕微鏡に使用された励起光照明装置は、Intensilight ファイバー光源であり、倒立顕微鏡に使用された蛍光フィルタブロックは、励起フィルタとしてEX465-495, ダイクロイックミラーとしてDM505, 蛍光フィルタとしてBA515-555を組み合わせたものであった。
また、倒立顕微鏡に使用された撮像装置のカメラは、白黒カメラ Ds-Qi1 であり、カメラ制御及び画像取得処理には、NIS-Elements AR 2.3 が使用された。カメラの画素数は1280×1000であり、各画素の階調数は12bitであった。
明視野観察時におけるカメラの露光時間、蛍光観察時におけるカメラの露光時間は、それぞれ5秒程度に設定した。その設定下で、明視野観察、蛍光観察を順に行った。
明視野観察によって取得された透過画像(12bitの階調を持つ)は図8に示すとおりであり、蛍光観察によって取得された蛍光画像(12bitの階調を持つ)は図9に示すとおりであった。なお、これらの図8、図9、及び以下の各図では、細胞像を見易くするために、画像の一部を拡大して示した。
続いて、透過画像及び蛍光画像に対しコンピュータ上で以下の処理を施した。
先ず、12bitの階調を持つ透過画像(図8)へ二値化処理を施した。この二値化処理では、閾値を2753とし、その閾値を超える輝度値を有した画素を、輝度値1の画素に変換し、閾値以下の輝度値を有した画素を、輝度値0の画素に変換した。なお、閾値2753は、以下の式により導出した。
閾値=(4095-背景レベル)×15%+透過画像の背景レベル
但し、式中の値4095はカメラの輝度最大値である。このようにして作成されたマスク画像は、図10に示すとおりであった。
次に、12bitの階調を持つ蛍光画像(図9)へ二値化処理を施した。この二値化処理では、閾値を553とし、その閾値を超える輝度値を有した画素を、輝度値1の画素に変換し、閾値以下の輝度値を有した画素を、輝度値0の画素に変換した。なお、閾値553は、以下の式により導出した。
閾値=(4095-背景レベル)×10%+蛍光画像の背景レベル
但し、式中の値4095は、カメラの輝度最大値である。このようにして作成されたマスク画像は、図11に示すとおりであった。
次に、図10に示すマスク画像と図11に示すマスク画像との論理和をとり合成マスク画像を生成した。生成された合成マスク画像は、図12に示すとおりであった。
次に、図12に示す合成マスク画像と図9に示す蛍光画像との論理積をとることにより、その蛍光画像へマスク処理を施した。マスク処理後の蛍光画像は、図13に示すとおりであった。
マスク処理後の蛍光画像(図13)の全体には、596個の細胞像が存在していた。個々の細胞像の輝度積分値を計算し、その輝度積分値の常用対数(底が10の対数)をとり、その結果を0.05刻みでヒストグラムを作成した。作成されたヒストグラムは、図14に示すとおりとなった。
このヒストグラムには2つのピークが現れている。2つのピークが現れた理由は、試料中に蛍光強度の強い細胞集団と蛍光強度の弱い細胞集団とが混在していたことにある。
このヒストグラムからは、蛍光強度の強い細胞集団の細胞数は104であり、蛍光強度の弱い細胞集団の細胞数は492であったことがわかる。
画像処理サイトメータの全体構成図である。 第1実施形態のコンピュータ53の動作フローチャートである。 第1実施形態で生成される各画像の模式図である。 第2実施形態のコンピュータ53の動作フローチャートである。 第2実施形態で生成される各画像の模式図である。 第3実施形態のコンピュータ53の動作フローチャートである。 第3実施形態で生成される各画像の模式図である。 実施例で取得された透過画像(一部)である。 実施例で取得された蛍光画像(一部)である。 実施例の透過画像から作成されたマスク画像(一部)である。 実施例の蛍光画像から作成されたマスク画像(一部)である。 実施例で作成された合成マスク画像(一部)である。 実施例におけるマスク処理後の蛍光画像(一部)である。 実施例で作成されたヒストグラムである。
符号の説明
12…二次元移動ステージ、30…顕微鏡装置、53…コンピュータ、56…表示器、57…入力器、11A…開口部、1…試料、31…対物レンズ、32…焦点調節機構、33…励起光照明装置、34…蛍光フィルタブロック、35…第二対物レンズ、36…光路切替器、37…撮像装置、40…透過照明装置、43…コンデンサレンズ

Claims (13)

  1. 蛍光色素で染色された細胞集団の蛍光観察画像と、その蛍光観察画像と同一視野の透過観察画像とを受信する受信部と、
    前記透過観察画像において前記細胞集団の像が存在する第1領域群を特定する第1特定部と、
    前記蛍光観察画像において前記第1領域に相当する領域を参照領域として設定する設定と、
    前記蛍光観察画像において設定された前記参照領域から蛍光輝度データを取得する取得
    を備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記取得により取得された前記蛍光輝度データから統計データを生成する解析を更に備えた
    ことを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記蛍光観察画像において輝度が相対的に高い領域群を第2領域として特定する第2特定部を備え、
    前記設定は、
    前記第1領域と前記第2領域との論理和を算出し、前記蛍光観察画像において前記論理和に相当する領域を前記参照領域する
    ことを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記設定は、
    前記論理和の算出に先立ち、前記第1領域における領域間の境界線を算出し、前記第2領域のうち前記境界線上に位置する領域をその境界線で分離する
    ことを特徴とする画像処理装置。
  5. 蛍光色素で染色された細胞集団の蛍光観察画像と、その蛍光観察画像と同一視野の透過観察画像とを受信する工程と、
    前記透過観察画像において前記細胞集団の像が存在する第1領域群を特定する工程と、
    前記蛍光観察画像において前記第1領域に相当する領域を参照領域として設定する工程と、
    前記蛍光観察画像において設定された前記参照領域から蛍光輝度データを取得する工程と
    を含むことを特徴とする画像処理方法。
  6. 請求項5に記載の画像処理方法において、
    前記取得された前記蛍光輝度データから統計データを生成する工程を更に含む
    ことを特徴とする画像処理方法。
  7. 請求項6に記載の画像処理方法において、
    前記蛍光観察画像において輝度が相対的に高い領域群を第2領域として特定する工程を有し、
    前記設定する工程では、
    前記第1領域と前記第2領域との論理和を算出し、前記蛍光観察画像において前記論理和に相当する領域を前記参照領域する
    ことを特徴とする画像処理方法。
  8. 請求項7に記載の画像処理方法において、
    前記設定する工程は、
    前記論理和の算出に先立ち、前記第1領域における領域間の境界線を算出し、前記第2領域のうち前記境界線上に位置する領域をその境界線で分離する
    ことを特徴とする画像処理方法。
  9. 蛍光色素で染色された細胞集団の蛍光観察画像と、その蛍光観察画像と同一視野の透過観察画像とを受信する受信手順と、
    前記透過観察画像において前記細胞集団の像が存在する第1領域群を特定する第1特定手順と、
    前記蛍光観察画像において前記第1領域に相当する領域を参照領域として設定する設定手順と、
    前記蛍光観察画像において設定された前記参照領域から蛍光輝度データを取得する取得手順とを含む
    ことを特徴とするコンピュータ実行可能な画像処理プログラム。
  10. 請求項9に記載の画像処理プログラムにおいて、
    前記取得手順により取得された前記蛍光輝度データから統計データを生成する解析手順を更に含む
    ことを特徴とする画像処理プログラム。
  11. 請求項10に記載の画像処理プログラムにおいて、
    前記蛍光観察画像において輝度が相対的に高い領域群を第2領域として特定する第2特定手順を含み、
    前記設定手順は、
    前記第1領域と前記第2領域との論理和算出し、前記蛍光観察画像において前記論理和に相当する領域を前記参照領域する
    ことを特徴とする画像処理プログラム。
  12. 請求項11に記載の画像処理プログラムにおいて、
    前記設定手順は、
    前記論理和の算出に先立ち、前記第1領域における領域間の境界線を算出し、前記第2領域群のうち前記境界線上に位置する領域をその境界線で分離する
    ことを特徴とする画像処理プログラム。
  13. 前記蛍光観察画像を取得する光学系と、
    前記蛍光観察画像と同一視野の前記透過観察画像を取得する光学系と、
    請求項1〜請求項4の何れか一項に記載の画像処理装置と
    を備えたことを特徴とする顕微鏡システム。
JP2008179765A 2008-07-10 2008-07-10 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム Active JP5407015B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008179765A JP5407015B2 (ja) 2008-07-10 2008-07-10 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
PCT/JP2009/002901 WO2010004691A1 (ja) 2008-07-10 2009-06-24 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
US12/979,858 US8588502B2 (en) 2008-07-10 2010-12-28 Evaluation apparatus of fluorescence population, evaluation method of fluorescence population and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008179765A JP5407015B2 (ja) 2008-07-10 2008-07-10 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム

Publications (3)

Publication Number Publication Date
JP2010019656A JP2010019656A (ja) 2010-01-28
JP2010019656A5 JP2010019656A5 (ja) 2011-09-08
JP5407015B2 true JP5407015B2 (ja) 2014-02-05

Family

ID=41506819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008179765A Active JP5407015B2 (ja) 2008-07-10 2008-07-10 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム

Country Status (3)

Country Link
US (1) US8588502B2 (ja)
JP (1) JP5407015B2 (ja)
WO (1) WO2010004691A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012144515A1 (ja) * 2011-04-21 2012-10-26 株式会社ニコン 顕微鏡装置、及び画像処理方法
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
JP6005918B2 (ja) * 2011-09-08 2016-10-12 オリンパス株式会社 蛍光観察装置
EP2833123A4 (en) 2012-03-30 2015-12-09 Konica Minolta Inc MEDICAL IMAGE PROCESSOR AND PROGRAM
US9189678B2 (en) * 2012-03-30 2015-11-17 Konica Minolta, Inc. Medical image processor and storage medium
US9779500B2 (en) 2013-07-03 2017-10-03 Konica Minolta, Inc. Image processing device, pathological diagnosis support system, image processing program, and pathological diagnosis support method
CN107850545A (zh) * 2015-10-07 2018-03-27 松下电器产业株式会社 图像处理方法以及图像处理装置
WO2017126420A1 (ja) * 2016-01-19 2017-07-27 コニカミノルタ株式会社 画像処理装置及びプログラム
CN108241645B (zh) * 2016-12-23 2020-03-17 腾讯科技(深圳)有限公司 图像处理方法及装置
DE102017107348B4 (de) 2017-04-05 2019-03-14 Olympus Soft Imaging Solutions Gmbh Verfahren zur zytometrischen Analyse von Zellproben
JP7039261B2 (ja) * 2017-11-17 2022-03-22 株式会社日立製作所 組織切片の特定領域からの生体分子採取方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145593A (ja) 1995-11-17 1997-06-06 Nikon Corp フローサイトメトリー装置
US5885840A (en) * 1997-02-10 1999-03-23 Compucyte Corp. Multiple assays of cell specimens
US6259807B1 (en) 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US6169816B1 (en) * 1997-05-14 2001-01-02 Applied Imaging, Inc. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
JP2001017379A (ja) * 1999-07-09 2001-01-23 Fuji Photo Film Co Ltd 蛍光診断装置
JP2002051969A (ja) 2000-08-08 2002-02-19 Asahi Optical Co Ltd 電子内視鏡装置
JP3576523B2 (ja) * 2000-12-26 2004-10-13 オリンパス株式会社 蛍光輝度測定方法及び装置
JP3902939B2 (ja) * 2001-10-26 2007-04-11 株式会社日立ハイテクノロジーズ 標本中の微小領域測定装置及び方法
JP2006194711A (ja) 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd 蛍光発光色素の性能評価方法および性能評価装置
JP4855185B2 (ja) * 2006-09-01 2012-01-18 オリンパス株式会社 観察測光方法および観察測光装置

Also Published As

Publication number Publication date
US20110211741A1 (en) 2011-09-01
WO2010004691A1 (ja) 2010-01-14
US8588502B2 (en) 2013-11-19
JP2010019656A (ja) 2010-01-28

Similar Documents

Publication Publication Date Title
JP5407015B2 (ja) 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
Jonkman et al. Tutorial: guidance for quantitative confocal microscopy
Shihan et al. A simple method for quantitating confocal fluorescent images
JP5259207B2 (ja) 細胞画像解析装置及びその方法並びにそのソフトウェア
US8759790B2 (en) Fluorescence image producing method, fluorescence image producing apparatus, and fluorescence image producing program
CN108475328B (zh) 用于实时化验监测的系统和方法
US9739715B2 (en) Laser scanning microscope system and method of setting laser-light intensity value
US9519128B2 (en) Image processing apparatus, microscope system, and image processing method
US9438848B2 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
US20130141561A1 (en) Method of analyzing linearity of shot image, image obtaining method, and image obtaining apparatus
JP6696503B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
CN110709749B (zh) 组合式明视场和相衬显微镜系统及配备其的图像处理设备
US20180167542A1 (en) Structured Illumination System For Increased Dynamic Range in Quantitative Imaging
Driouchi et al. Oblique Line Scan Illumination Enables Expansive, Accurate and Sensitive Single Protein Measurements in Solution and in Living Cells
WO2021005904A1 (ja) 情報処理装置およびプログラム
US20130119272A1 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
CN110998330A (zh) 用于分析荧光免疫斑点测定的方法和系统
US20240037755A1 (en) Imaging device and method
JP7184046B2 (ja) 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
US20230349828A1 (en) Method and system for analysing fluorospot assays
US20220406080A1 (en) Automatic calibration using machine learning
US20220404258A1 (en) Automatic calibration
JP2012173087A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7046500B2 (ja) 画像表示装置、画像表示方法および画像処理方法
RU2123682C1 (ru) Способ диагностики возбудителей инфекционных и паразитарных болезней и установка для его осуществления

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130729

R150 Certificate of patent or registration of utility model

Ref document number: 5407015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250