JP4801025B2 - 細胞画像解析装置及び細胞画像解析ソフトウェア - Google Patents
細胞画像解析装置及び細胞画像解析ソフトウェア Download PDFInfo
- Publication number
- JP4801025B2 JP4801025B2 JP2007233237A JP2007233237A JP4801025B2 JP 4801025 B2 JP4801025 B2 JP 4801025B2 JP 2007233237 A JP2007233237 A JP 2007233237A JP 2007233237 A JP2007233237 A JP 2007233237A JP 4801025 B2 JP4801025 B2 JP 4801025B2
- Authority
- JP
- Japan
- Prior art keywords
- cell
- image
- user
- cells
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
細胞画像解析装置は、大別すると2つのタイプに分けられる。1つは、薬剤スクリーニングなどの決められた所定の処理を大量に行うことを前提にしたいわゆるハイスループットな全自動の解析装置であり、もう1つは、研究補助用途のための半自動の解析システムである。
しかるに、本発明の細胞画像解析装置及び細胞画像解析ソフトウェアは、研究支援を目的とした半自動の解析システムに関するものである。
例えば、細胞を死滅させる効果のある薬剤の効き目を評価するために、細胞の生死を判定し、その細胞数比を検出するような実験系では、死滅した細胞のみを特異的に染色するような蛍光物質を使って、生死判定がなされる。この場合には、蛍光を発する細胞と発しない細胞というように細胞を分類する基準が比較的単純であるため、細胞画像解析装置を介して細胞の種類ごとの分類を自動的に行ことができる。
図1は本発明の第一実施形態にかかる細胞画像解析装置の全体の概略構成を示すブロック図、図2は第一実施形態の細胞画像解析装置におけるパーソナルコンピュータを介したユーザインタフェースとして表示画面に表示される情報の一例を示す説明図、図3は第一実施形態の細胞画像解析装置における処理手順を示すフローチャート、図4は第一実施形態の細胞画像解析装置において取得した細胞画像から細胞の大きさに基づいて細胞を分類して表示画面に表示する機能の一例を示す説明図であって、(a)は複数の細胞画像から得られた情報を用いて作成した、細胞のサイズに対する頻度の分布の一例を示すグラフ、(b)は(a)のグラフに対応する細胞画像の一例を示す説明図である。図5は第一実施形態の細胞画像解析装置において取得した細胞画像中から興味ある細胞を指定して表示画面に表示する機能の一例を示す説明図であって、(a)は細胞画像上で興味ある細胞を指定したときに指定された細胞を切り出して表示した状態、(b)は指定された細胞を含む細胞種を表示する一表示例、(c)は指定された細胞を含む細胞種を表示する他の表示例を示している。図6は第一実施形態の細胞画像解析装置において取得した細胞画像中の細胞とグラフ上の位置との対応付けの一表示例を示す説明図であって、(a)は細胞のサイズに対する頻度の分布を示すグラフの特徴量の位置とそれに対応する細胞画像中の細胞とを矢印で表示した状態を示す説明図、(b)は(a)に示したグラフ上で所定位置を指定又は細胞画像上で所定の細胞を指定したときにおける、それに対応する細胞画像中の細胞又はグラフ上の位置を表示した状態を示す説明図、(c)は(a)に示した細胞画像上で分類に適していない細胞を指定したときにおける、それに対応するグラフ上の位置を表示した状態を示す説明図である。
顕微鏡は、細胞から発せられる光の像をCCDカメラ4を介して画像として取得することができるように構成されている。
パソコン5は、顕微鏡のCCDカメラ4を介して得られた画像に対して所定の処理を行い、複数の細胞を含む画像の中から、ユーザにとって興味ある特定の細胞と似た特徴をもつ細胞群を自動的に抽出する機能を有している。
また、第一実施形態の細胞画像解析装置は、パソコン5によるユーザインタフェースを備えている。詳しくは、図2に示すように、モニタ5aの表示画面上に撮像した細胞画像やその細胞画像中における細胞の数などを表示する機能や、例えば、細胞画像ごとの細胞数の分布の変化をグラフで表示する機能等の、画像表示機能及びグラフ表示機能、さらには図1に示したキーボードやマウス等の入力手段5bを介して顕微鏡装置の動作制御を指示する入力機能等を備えたソフトウェアを有している。
ここで、画像解析処理の各段階における処理概要を簡単に説明する。
細胞画像の撮像処理(ステップS1)では、撮像はあらかじめ決められた手順に従い、自動的に行う。詳しくは、顕微鏡装置の動作制御を指示するためのソフトウェアを介して顕微鏡の動作制御を予め設定しておく。そして、予め設定した動作制御に従い、例えば、ステージ3の位置を所定位置に移動し、結像光学系2のフォーカス位置を自動的に調整し、CCDカメラ4で撮像し、パソコンに画像データとして蓄積するといった手順を繰り返し行うことで複数の細胞画像を取得していく。
細胞画像解析:定量化処置(ステップS2)では、細胞の解析をある程度自動的に行う。詳しくは、主に画像処理、画像解析のためのソフトウェアを介して、画像中での細胞の領域を特定し、或いは、細胞のサイズ、明るさ、真円度、また異なる蛍光色素による明るさの比率など、複数の特徴量を自動的に計算し、定量化を行う。
なお、これらの特徴量については、統計的に処理する。即ち、複数画像における各画像中の細胞ごとに得られた特徴量の平均化、規格化等を行う。
細胞画像解析:分類処理(ステップS3)では、細胞画像解析:定量化処置(ステップS2)を介して平均化、規格化等されたデータを用いて所定の特徴ごとに細胞を分類する。
例えば、血球系の細胞とがん組織から遊離した細胞などでは、大きさと形がかなり異なる。そこで、これらの特徴(大きさ、形)にしたがって細胞を分類する。この例の場合、前者の細胞は、小さく丸いものが多く、後者の細胞は、大きく形がゆがんだものが多い。例えば、細胞の大きさの分布をグラフに示すと、図4(a)に示すように、二つの特徴的なピークが現れる。そこで、この二つの特徴的なピーク近傍に夫々分布される細胞の群ごとに細胞を分類することができる。
解析結果の表示処理(ステップS4)では、細胞画像解析:分類処理(ステップS3)での分類にしたがって、例えば、その細胞の比率、その蛍光がある程度発光しているものとそうでないものとの比率を、グラフや数値などの表示態様でもって表示画面上に表示する。
第一実施形態の細胞画像解析装置では、ユーザが任意の細胞を興味ある細胞として指定できる機能として、例えば、画像中の細胞を指定し、これらの細胞領域を切り出し、表示するインターフェースを細胞画像解析ソフトウェアとして備えている。
図5(a)は、細胞画像に含まれている2種類の細胞種(大きいものと小さいもの)のうち、大きいものを指定した例を示している。
その機能の1つとして、第一実施形態の細胞画像解析装置では、細胞画像上での細胞の指定が、グラフ上での細胞の指定とリンクするようになっている。
例えば、図6(a),(b)に示すように、表示画面に表示された細胞画像中の任意の細胞をクリックすると、その細胞に関する所定の特徴量の大きさがグラフの分布上での位置として表示される。これにより、全体の分布を見ながら、そのクリックした任意の細胞が他の細胞と比較してどのような特徴をもち、どれだけ特徴を良くあらわしたものであるかという判断が可能になる。その結果、例えば、図6(a),(b)に示すように、2つのピークを持った分布をもつ細胞画像の場合、この2つのピークの中間位置に位置する細胞は、図6(c)のグラフに示すように、頻度が低く細胞の分類のための基準としては、適さないものであることが分かる。
図7は本発明の第二実施形態の細胞画像解析装置で設定する特徴量パラメタの説明図で、(a)は細胞のサイズ、(b)は細胞の真円度、(c)は細胞の輝度、(d)は各細胞を(a)〜(c)の特徴量パラメタのうち所定の特徴量パラメタを有する細胞の像からなる細胞画像の一例をそれぞれ示している。図8は特徴量パラメタの組合せと、その組合せに対応する細胞の分類例を示す説明図で、(a)は適切な特徴量パラメタの組合せによる細胞の分類例、(b)は不適切な特徴量パラメタの組合せによる細胞の分類例をそれぞれ示している。
第二実施形態の細胞画像解析装置は、第一実施形態の細胞画像解析装置の構成に加えて、ユーザの指定した特定の細胞と似た特徴をもつ細胞群が他の細胞群と区別可能となる特徴量パラメタからなるパラメタ群を自動的に設定し、かつ、これらのパラメタ群に含まれる各特徴量パラメタの閾値を自動的に設定する機能を備えている。
特徴量パラメタをp1,p2,p3,・・・とし、指定された細胞の特徴量の値をap1,ap2,ap3,・・・とする。ここで、各特徴量に対して適当な幅(例えばその値を中心に5%の細胞を含む値)をもつ上限値及び下限値を閾値としてそれぞれ設定し、特徴量の上限値の組をamp1,amp2,amp3,・・・、特徴量の下限値の組をalp1,alp2,alp3,・・・としたときに、alp1>axp1>amp1を満たす細胞群が例えば得られるものとする。
このalp1>axp1>amp1を満たす細胞群は、細胞画像全体に含まれる細胞のうち、特徴量パラメタ1に関して、指定細胞の特徴量の値に近い値をもつ上位下位5%ずつの細胞を意味している。ここで、指定細胞の特徴量の値に近い値をもつ上位下位5%ずつの細胞群は、特徴量パラメタ1,2,3ごとにそれぞれ異なる場合が多いと考えられるが、もしこれら特徴量パラメタのうち、幾つか所定の特徴量パラメタの組合せによって細胞が効果的に分類できる場合には、その幾つか所定の特徴量パラメタを基準として分類された細胞群の集団は一致するはずである。つまり、細胞の特徴量パラメタp1,p2,p3,・・・のうち、細胞の分類に効果のある特徴量パラメタの組合せを、例えば、指定細胞に近い値をもつ上位下位5%ずつの細胞群の重なりが多いパラメタ群として定義することができる(図8参照)。
このように構成された第二実施形態の細胞画像解析装置によれば、分類により適した細胞を指定し易くなる。
図9は本発明の第三実施形態にかかる細胞画像解析装置に備わる細胞の指定についてのフィードバック機能による手順を示す説明図で、(a)はユーザが指定した細胞に基づいて近似する細胞を自動的にリストアップして画面表示する段階、(b)は画面表示された複数の細胞の中から特定細胞に近似しない細胞をユーザが指定する段階、(c)はユーザによる特定細胞に近似しない細胞の指定に基づき特徴量パラメタの閾値を変更する段階をそれぞれ示している。
そこで、第三実施形態の細胞画像解析装置は、第二実施形態の細胞画像解析装置においてユーザの指定した特定の細胞と似た特徴をもつ細胞群が他の細胞群と区別可能となる特徴量パラメタからなるパラメタ群を自動的に設定し、そのパラメタ群に含まれる各特徴量パラメタの閾値を自動的に設定する機能を介して自動的に抽出された細胞分類に関し、例えばいくつかの細胞を選び出し、ユーザにこれが正しい分類であるか否かを尋ね、ユーザからその分類が間違ったものであるとの応答があった場合、各特徴量パラメタの閾値を変更し、より正確な細胞分類を行えるようにするための機能を備えている(図9参照)。
詳しくは、まず、図9(a)に示すように、ユーザが指定した特定の細胞に近似する細胞を自動的にリストアップして画面表示する。
次いで、図9(b)に示すように、画面表示された細胞中から指定した特定の細胞に近似しない細胞を分類に不適切な細胞としてユーザに指定させる。
ユーザによる不適切な細胞の指定があったときは、図9(c)に示すように、その指定に基づき、特徴量パラメタの閾値を変更する。
以後、同じ処理をユーザから不適切な細胞の指定がなくなるまで繰り返すことにより、より正確な特徴量パラメタの値が設定されることになる。
第四実施形態の細胞画像解析装置は、第二実施形態の細胞画像解析装置の構成に加えて、第二実施形態の細胞画像解析装置を介して得られた特徴量パラメタからなるパラメタ群を、もっとも良い特徴群としてユーザに提供し、あるいは、このパラメタ群に含まれる各特徴量パラメタに対する細胞の分布をユーザに提供する機能を備えている。このようにすれば、ユーザが判断を容易に行えるようになる。
例えば、図8に示したような分布を表示画面に表示する。このため、ユーザは、細胞を指定することによって設定されたパラメタ群が適切なものか否かの判断が容易になる。
第五実施形態の細胞画像解析装置は、第一〜第四実施形態のいずれかの細胞画像解析装置の構成に加えて、ユーザの指定した特定の細胞と似た特徴をもつ細胞群の割合、パラメタ群に含まれる各特徴量パラメタの平均値、及び、各特徴量パラメタに関する他の細胞群との比較などの結果の少なくともいずれかを提供する機能を備えている。
2 結像光学系
3 ステージ3
4 CCDカメラ(撮像素子)
5 パーソナルコンピュータ
5a モニタ
5b キーボード
Claims (8)
- 細胞から発せられる光により形成される像を画像として取得する画像取得手段を有し、該画像取得手段により得られた画像に対して所定の処理を行い、該所定の処理が行われた画像中の複数の細胞から、ユーザにとって興味ある特定の細胞と似た特徴をもつ細胞群を自動的に抽出する機能を有する細胞画像解析装置であって、
前記画像取得手段により得られた画像中の複数の細胞から前記ユーザが任意の細胞を前記興味ある細胞として指定できる機能を備え、
前記ユーザの指定した特定の細胞と似た特徴をもつ細胞群が他の細胞群と区別可能となる特徴量パラメタからなるパラメタ群を自動的に設定し、かつ、該パラメタ群に含まれる各特徴量パラメタの閾値を自動的に設定する機能を備えたことを特徴とする細胞画像解析装置。 - 自動的に所定数の細胞をリストアップし、該リストアップした各細胞が前記ユーザの指定した特定の細胞と似た特徴をもつ細胞群に含まれるか否かを前記ユーザに聞き返し、その答えに応じて、前記パラメタ群に含まれる各特徴量パラメタの閾値を自動的に変更する、自動応答機能を備えたことを特徴とする請求項1に記載の細胞画像解析装置。
- 前記パラメタ群を前記ユーザに提供し、又は、該パラメタ群に含まれる各特徴量パラメタに対する細胞の分布を前記ユーザに提供する機能を備えたことを特徴とする請求項1に記載の細胞画像解析装置。
- 前記ユーザの指定した特定の細胞と似た特徴をもつ細胞群の割合、前記パラメタ群に含まれる各特徴量パラメタの平均値、及び、各特徴量パラメタに関する他の細胞群との比較結果の少なくともいずれかを提供する機能を備えたことを特徴とする請求項1〜3のいずれかに記載の細胞画像解析装置。
- 細胞から発せられる光により形成される像を画像として取得する画像取得手段を有し、該画像取得手段により得られた画像に対して所定の処理を行い、該所定の処理が行われた画像中の複数の細胞から、ユーザにとって興味ある特定の細胞と似た特徴をもつ細胞群を自動的に抽出する機能を有する細胞画像解析装置に用いる細胞画像解析ソフトウェアであって、
前記画像取得手段により得られた画像中の複数の細胞から前記ユーザが任意の細胞を前記興味ある細胞として指定でき、
前記ユーザの指定した特定の細胞と似た特徴をもつ細胞群が他の細胞群と区別可能となる特徴量パラメタからなるパラメタ群を自動的に設定し、かつ、該パラメタ群に含まれる各特徴量パラメタの閾値を自動的に設定する機能を備えたことを特徴とする細胞画像解析ソフトウェア。 - 自動的に所定数の細胞をリストアップし、該リストアップした各細胞が前記ユーザの指定した特定の細胞と似た特徴をもつ細胞群に含まれるか否かを前記ユーザに聞き返し、その答えに応じて、前記パラメタ群に含まれる各特徴量パラメタの閾値を自動的に変更する、自動応答機能を備えたことを特徴とする請求項5に記載の細胞画像解析ソフトウェア。
- 前記パラメタ群を前記ユーザに提供し、又は、該パラメタ群に含まれる各特徴量パラメタに対する細胞の分布を前記ユーザに提供する機能を備えたことを特徴とする請求項5に記載の細胞画像解析ソフトウェア。
- 前記ユーザの指定した特定の細胞と似た特徴をもつ細胞群の割合、前記パラメタ群に含まれる各特徴量パラメタの平均値、及び、各特徴量パラメタに関する他の細胞群との比較結果の少なくともいずれかを提供する機能を備えたことを特徴とする請求項5〜7のいずれかに記載の細胞画像解析ソフトウェア。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007233237A JP4801025B2 (ja) | 2007-09-07 | 2007-09-07 | 細胞画像解析装置及び細胞画像解析ソフトウェア |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007233237A JP4801025B2 (ja) | 2007-09-07 | 2007-09-07 | 細胞画像解析装置及び細胞画像解析ソフトウェア |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009063508A JP2009063508A (ja) | 2009-03-26 |
JP4801025B2 true JP4801025B2 (ja) | 2011-10-26 |
Family
ID=40558201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007233237A Expired - Fee Related JP4801025B2 (ja) | 2007-09-07 | 2007-09-07 | 細胞画像解析装置及び細胞画像解析ソフトウェア |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4801025B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012175946A (ja) * | 2011-02-28 | 2012-09-13 | Nagoya Univ | 細胞培養環境評価方法及びその装置 |
US10591402B2 (en) | 2015-05-22 | 2020-03-17 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5745290B2 (ja) * | 2010-04-23 | 2015-07-08 | 国立大学法人名古屋大学 | 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム |
US11232565B2 (en) | 2014-04-03 | 2022-01-25 | Koninklijke Philips N.V. | Examining device for processing and analyzing an image |
US9690975B2 (en) | 2015-05-28 | 2017-06-27 | Axogen Corporation | Quantitative structural assay of a nerve graft |
JP6801653B2 (ja) | 2015-06-16 | 2020-12-16 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および画像処理用のプログラム |
CN117457097A (zh) | 2016-09-30 | 2024-01-26 | 分子装置有限公司 | 用于检测最优候选化合物的计算机装置及其方法 |
JP6947905B2 (ja) * | 2018-02-15 | 2021-10-13 | ヤマハ発動機株式会社 | 撮像システム及び生体対象物移動装置 |
EP3761031A4 (en) | 2018-02-28 | 2022-06-01 | Nitto Boseki Co., Ltd. | METHOD FOR ISOLATING CELL NUCLEI HAVING ENHANCED ANTIGENICITY FROM IMMOBILIZED CELLS OR FFPE TISSUE SECTION, ANTIGEN ACTIVATOR AND ASSOCIATED KIT |
CN117651761A (zh) | 2021-09-29 | 2024-03-05 | 日东纺绩株式会社 | 细胞或细胞核的富集方法 |
WO2024194921A1 (ja) * | 2023-03-17 | 2024-09-26 | 日本電気株式会社 | 病理診断支援装置、病理診断支援方法、及び、記録媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001211896A (ja) * | 1999-11-26 | 2001-08-07 | Olympus Optical Co Ltd | 画像解析方法、装置、及び記録媒体 |
JP2001242085A (ja) * | 2000-02-29 | 2001-09-07 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP4852890B2 (ja) * | 2005-05-31 | 2012-01-11 | 株式会社ニコン | 細胞の自動良否判定システム |
JP4690119B2 (ja) * | 2005-06-16 | 2011-06-01 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
-
2007
- 2007-09-07 JP JP2007233237A patent/JP4801025B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012175946A (ja) * | 2011-02-28 | 2012-09-13 | Nagoya Univ | 細胞培養環境評価方法及びその装置 |
US10591402B2 (en) | 2015-05-22 | 2020-03-17 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP2009063508A (ja) | 2009-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4801025B2 (ja) | 細胞画像解析装置及び細胞画像解析ソフトウェア | |
JP6763781B2 (ja) | 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム | |
US20200184193A1 (en) | Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device | |
JP6698663B2 (ja) | 自動化スライド全域解析の品質管理 | |
US8290236B2 (en) | Quantitative, multispectral image analysis of tissue specimens stained with quantum dots | |
AU2014237346B2 (en) | System and method for reviewing and analyzing cytological specimens | |
US7925070B2 (en) | Method for displaying virtual slide and terminal device for displaying virtual slide | |
JP4542386B2 (ja) | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム | |
JP5355275B2 (ja) | 細胞画像解析装置 | |
CN109791693A (zh) | 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程 | |
JP4869843B2 (ja) | 細胞画像処理装置および細胞画像処理方法 | |
EP2463653A1 (en) | Technique for classifying cells, image processing program and image processing device using the technique, and method for producing cell mass | |
JP6317732B2 (ja) | 生物組織に対するバイオマーカーの品質レビュースコアリング及び画像解析方法を実行するためのシステム並びに方法 | |
US10089518B2 (en) | Graphical user interface for analysis of red blood cells | |
JP4749637B2 (ja) | 画像解析方法、装置、及び記録媒体 | |
US9214019B2 (en) | Method and system to digitize pathology specimens in a stepwise fashion for review | |
TWI490723B (zh) | 自樣本感興趣的物體影像中自動編排先前已分類過之影像的方法 | |
JPH06229723A (ja) | 組織切片厚みを測定する方法および装置 | |
WO2001078009A2 (en) | Quantitative analysis of biological images | |
JP2012198139A (ja) | 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法 | |
JP5581112B2 (ja) | 自動釣菌装置 | |
Olson | Image analysis using the Aperio ScanScope | |
JP2007527501A (ja) | 試験管内及び生体内遺伝子毒性試験のための完全自動化ロボット補助による画像分析のシステムと方法 | |
CN114660057A (zh) | 生成用于细胞分析的图形用户界面的方法、装置和系统 | |
JP2012198140A (ja) | 特徴量取得方法及び特徴量取得装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110804 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4801025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |