JP5059637B2 - 顕微鏡用撮像装置 - Google Patents
顕微鏡用撮像装置 Download PDFInfo
- Publication number
- JP5059637B2 JP5059637B2 JP2008008976A JP2008008976A JP5059637B2 JP 5059637 B2 JP5059637 B2 JP 5059637B2 JP 2008008976 A JP2008008976 A JP 2008008976A JP 2008008976 A JP2008008976 A JP 2008008976A JP 5059637 B2 JP5059637 B2 JP 5059637B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- objective lens
- microscope
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Description
まず、図1から図5の各図について説明する。
図1は、本発明を実施する顕微鏡用撮像装置を含む顕微鏡画像撮像システムの構成を示している。同図において、撮像装置100、入力装置105、PC106、表示部107、及び制御部108により顕微鏡用撮像装置が構成されている。
顕微鏡101は、光源部602及び609、ND(Neutral Density)フィルタ703及び719、視野絞り704及び718、開口絞り705及び714、透過光シャッタ717、反射鏡716、フィールドレンズ715、コンデンサレンズ713、投光管601、シャッタ712、レボルバ607、ステージ604、フォーカスハンドル610、並びに結像レンズユニット711を備えて構成されている。ここで、光源部602及び609は、それぞれ光源701及び721とコレクタレンズ702及び720とを有している。また、投光管601には、複数のキューブを格納するキューブユニット706が備えられていると共に、NDフィルタ703、視野絞り704、及び開口絞り705が設けられている。更に、レボルバ607は、複数の倍率の対物レンズ608を保持している。
撮像部102に入射した標本像はベイヤ方式の色フィルタ配列を有する固体撮像素子202の受光面に結像される。撮像素子駆動部205は、固体撮像素子202及び制御バス110に接続されており、CPU109から設定された条件の下で固体撮像素子202の駆動信号を生成して固体撮像素子202に出力する。固体撮像素子202は、この駆動信号に応じて標本像を光電変換し、撮像素子駆動部205から入力される水平同期信号及び垂直同期信号に従って信号電荷を読み出して、アナログ信号として出力する。
図5は画像処理部103の構成を示している。
露出評価部302は、この画像データの平均輝度値を算出し、CPU109にその算出結果を送信する。
なお、PC106は、標準的な構成のもの、すなわち、制御プログラムの実行によって図1の顕微鏡画像撮像システム全体の動作制御を司るMPU、このMPUが必要に応じてワークメモリとして使用するメインメモリ、図1の顕微鏡画像撮像システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び、各種のプログラムやデータを記憶しておく例えばハードディスク装置なとの記憶装置を有しているコンピュータ、を利用する。ここで、PC106の記憶装置には、本実施形態においてPC106が行う各種の制御処理をPC106に行わせるための制御プログラムが予め格納されており、この制御プログラムをPC106のMPUが記憶装置から読み出して実行することにより、PC106は、当該各種の制御処理を行うことができるようになる。
次に、S502では初期設定処理が行われる。
CPU109は、この命令信号を受信すると、撮像開始信号を各部に送信する。撮像素子駆動部205は、この撮像開始信号を受信すると、固体撮像素子202を駆動して、顕微鏡101からの入射光の光電変換を開始させる。
ここで、当該切替指示を受けていないと判定したとき(判定結果がNoのとき)にはS503へ処理を戻し、上述した処理が改めて行われる。すなわち、PC106は、撮像部102が撮影した画像データを連続的に取り込み、当該画像データで表現されている標本画像を表示部107の画面上に逐次表示させる。ここで、光源721からの光による標本403の像は光軸上の各光学部材を通過して撮像素子202上に結像されるので、表示部107の画面には標本画像が常に更新されつつ表示される。ここで、ユーザは、ケラレ等のないフォーカスの合った所望の観察状態の標本画像を得ることができるように、表示部107に表示される標本画像を参照しながら、NDフィルタ719、視野絞り718、開口絞り714、ステージ604、フォーカスハンドル610等を操作して調節する。
S507では、顕微鏡101の光路中に現在挿入されている倍率M1である対物レンズ608を、制御部108から取得した設置状態情報より特定し、この対物レンズ608についての特性情報と、ユーザが入力装置105を操作して行った倍率M2である対物レンズ608の切り替えの指示において特定されている当該切替後の対物レンズ608についての特性情報とを、この特性情報が予め格納されている自身の記憶装置から読み出す処理をPC106が行う。そして、続くS508において、露出時間の算出処理をPC106が行う。PC106は、この算出処理として、図7にフローチャートで示したサブルーチン処理を実行する。
図8において、実線の枠で示されている標本画像視野401は、対物レンズ608の切替前における標本画像の視野を表しているものであり、破線の枠で示されている部分画像視野404は、対物レンズ608の切替後における標本画像の視野を表しているものである。なお、図8においては、対物レンズ608の切り替えは、倍率の低いものから高いものへの切り替えである。
なお、ここで、対物レンズ608の切替前後における標本画像の視野の中心は同一位置であるとする。
(X1×1/2−X1×M2/M1×1/2,Y1×1/2−Y1×M2/M1×1/2)…(2)
(X1×1/2+X1×M2/M1×1/2,Y1×1/2−Y1×M2/M1×1/2)…(3)
(X1×1/2−X1×M2/M1×1/2,Y1×1/2+Y1×M2/M1×1/2)…(4)
(X1×1/2+X1×M2/M1×1/2,Y1×1/2+Y1×M2/M1×1/2)…(5)
S803の処理において、PC106は、まず、露出評価部302により算出される、対物レンズ608の切替前における標本画像についての平均輝度値(標本画像視野401の平均輝度値)I1を、CPU109からI/F部104を介して取得する処理を行う。続いて、PC106は、上記の式(1)乃至式(5)の値を算出する処理を行う。そして、これらの値に基づいて、対物レンズ608の切替後における標本画像の視野に相当する範囲内の部分画像の平均輝度値(すなわち部分画像視野404の平均輝度値)I2を算出する処理をPC106が行う。なお、この値I2の算出をPC106が行う代わりに、上記の式(1)乃至式(5)の値の算出結果を、I/F部104を介してCPU109へ送信し、CPU109にこれらの値を露出評価部302へ与えさせることで、当該部分画像の平均輝度値I2を露出評価部302に算出させ、得られた値I2を、CPU109からI/F部104を介して取得する処理をPC106が行うようにしてもよい。
ここでT1は現在の露出時間の設定値(すなわち、倍率M1の標本画像を取得したときの露出時間の設定値)であり、NA1及びNA2は、それぞれ切替前後の対物レンズ608の開口数を示している。
一方、S802の判定処理において、対物レンズ608の切り替えが倍率の低いものから高いものへの切り替えではないと判定したとき(判定結果がNoのとき)には、S804において、既に取得されている倍率M1の標本画像全体に基づいて、倍率M2の標本画像を取得する際の露出時間の設定値を算出する処理をPC106が行う。具体的には、PC106は、上記の式(6)において、I1=I2(すなわち、I1/I2=1)として、設定値Tの値を算出する処理を行う。そして、このS804の処理が完了すると、S805においてこのサブルーチン処理が終了し、図6に処理が戻る。
S508の処理に続くS509では、制御部108に指示を与えて、レボルバ607を駆動させる駆動系であるモータへの電力供給を開始させる処理(駆動系前処理)をPC106が行う。
以上のように、本実施例によれば、観察部位の移動距離が所定値以上に長いときは、観察画像の輝度変化量が無視できないほどに大きいことが想定されるので、事前に取得しておいた低倍率の標本画像の輝度値に基づいて移動先の観察部位を撮像部102で撮像する際の露出時間を算出する。このように、顕微鏡101の観察光路に対し垂直な方向への標本403の移動距離に応じて撮像部102の露出条件を設定することにより、対物レンズ608の切替時における露出制御の収束時間が短縮化される結果、標本403の観察のための作業における操作性が向上する。
T=T1×(I1/I2)×(M2/M1)2 ×(NA1/NA2)2
×AS×FS×ND…(7)
ここで、AS、FS、及びNDは、それぞれ、対物レンズ803の切替前後の開口絞り714、視野絞り718、及びNDフィルタ719の明るさ比を表す。従って、これらの光学部材が対物レンズ803の切替時に明るいものへと変更される場合には、露出時間Tの値は短くなる。
図12においては、標本403を含む低倍率の標本画像の視野である標本画像視野401の中心部分に、露出スポット領域1401が指定されている。この露出スポット領域1401が、露出条件の制御の対象とする領域である。なお、図12においては、露出スポット領域1401が、同じく当該中心部分に設定される高倍率の標本画像の観察視野(部分画像視野404)内に含まれている状態を示している。
図13のS507に続くS508aでは、露出時間の算出処理をPC106が行う。但し、本実施例では、PC106は、この算出処理として、図14にフローチャートで示したサブルーチン処理を実行する。
例えば、図1の顕微鏡画像撮像システムに使用する顕微鏡101としては、落射照明型と透過照明型とのどちらでも適用可能である。
101 顕微鏡本体
102 撮像部
103 画像処理部
104 I/F部
105 入力装置
106 パーソナルコンピュータ
107 表示部
108 制御部
109 CPU
110 制御バス
202 固体撮像素子
203 CDS/AGC回路
204 A/D変換器
205 撮像素子駆動部
301 RGB変換部
302 露出評価部
303 ホワイトバランス補正部
304 階調補正部
305 輪郭強調部
401 標本画像視野
403 標本
404 部分画像視野
601 投光管
602 光源部(落射照明用)
604 ステージ
605 アダプタ
607 レボルバ
608 対物レンズ
609 光源部(透過照明用)
610 フォーカスハンドル
701、721 光源
702、720 コレクタレンズ
703、719 NDフィルタ
704、718 視野絞り
705、714 開口絞り
706 キューブユニット
707 明視野観察用キューブ
708 励起フィルタ
709 ダイクロイックミラー
710 吸収フィルタ
711 結像レンズ
712 シャッタ
713 コンデンサレンズ
715 フィールドレンズ
716 反射鏡
717 透過光シャッタ
722 蛍光観察用キューブ
1001 標本画像
1002 参照画像
1003 標本観察領域
1004 観察領域
1401 露出スポット領域
1601、1601” 観察視野
1602、1602” 露出スポット領域
Claims (5)
- 顕微鏡により得られる標本の観察像を撮像して標本画像を取得する撮像手段と、
前記顕微鏡の観察光路中に挿入される対物レンズの設置状態を制御する制御手段と、
前記制御手段による前記設置状態の制御内容を、前記対物レンズの設置状態を示す設置状態情報として取得する設置状態情報取得手段と、
前記撮像手段が取得した第一の倍率の標本画像より得られる輝度値に関する情報と、前記第一の倍率の標本画像における、前記第一の倍率よりも高倍率である第二の倍率の標本画像の視野に相当する範囲内の部分画像の輝度値に関する情報と、を含む標本画像情報、並びに、
前記第一の倍率の標本画像を前記撮像手段が取得したときに前記顕微鏡の観察光路中に挿入されていた対物レンズの倍率及び開口数の情報と、前記第二の倍率の標本画像を前記撮像手段が取得するときに前記顕微鏡の観察光路中に挿入される対物レンズの倍率及び開口数の情報と、を含む設置状態情報、
に基づいて、前記第一の倍率の標本画像を取得したときに前記撮像手段に設定されていた露出条件を、前記第二の倍率の標本画像を取得するときの露出条件に変更する設定を行う露出条件設定手段と、
を有することを特徴とする顕微鏡用撮像装置。 - 前記標本画像情報は、前記標本画像を構成する画素のうち輝度値が所定の閾値以上のものの平均を示す情報であることを特徴とする請求項1に記載の顕微鏡用撮像装置。
- 前記標本画像を構成する画素の輝度値毎の度数を示したヒストグラムにおいて形成される極小点のうち輝度値が最低であるものの該輝度値を、前記所定の閾値とすることを特徴とする請求項2に記載の顕微鏡用撮像装置。
- 前記第一の倍率の標本画像を構成する画素のうち輝度値が前記所定の閾値未満のものの個数が所定値以上の場合に、所定の警告を行う警告手段を更に有することを特徴とする請求項2又は3に記載の顕微鏡用撮像装置。
- 前記所定の警告は、文字情報の表示、所定の色彩若しくは輝度による図形の表示、所定の音の発生、及び所定の振動の発生のうちのいずれか1つ、若しくはこれらのうちの2つ以上の組み合わせであることを特徴とする請求項4に記載の顕微鏡用撮像装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008008976A JP5059637B2 (ja) | 2008-01-18 | 2008-01-18 | 顕微鏡用撮像装置 |
| US12/354,032 US20090185034A1 (en) | 2008-01-18 | 2009-01-15 | Imaging device for microscope |
| EP09000586A EP2081072A1 (en) | 2008-01-18 | 2009-01-16 | Imaging device for microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008008976A JP5059637B2 (ja) | 2008-01-18 | 2008-01-18 | 顕微鏡用撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009169236A JP2009169236A (ja) | 2009-07-30 |
| JP5059637B2 true JP5059637B2 (ja) | 2012-10-24 |
Family
ID=40510470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008008976A Expired - Fee Related JP5059637B2 (ja) | 2008-01-18 | 2008-01-18 | 顕微鏡用撮像装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20090185034A1 (ja) |
| EP (1) | EP2081072A1 (ja) |
| JP (1) | JP5059637B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009063679A (ja) * | 2007-09-04 | 2009-03-26 | Olympus Corp | 顕微鏡システム |
| JP5292846B2 (ja) * | 2008-02-20 | 2013-09-18 | 株式会社ニコン | 観察装置と、観察方法 |
| JP5983616B2 (ja) * | 2011-09-13 | 2016-09-06 | 日本電気株式会社 | 撮像装置、撮像方法及びプログラム |
| EP2808718B1 (en) * | 2012-01-26 | 2018-05-16 | Olympus Corporation | Optical scanning observation apparatus |
| US8976239B2 (en) * | 2012-08-24 | 2015-03-10 | Datacolor Holding Ag | System and apparatus for color correction in transmission-microscope slides |
| JP6150504B2 (ja) * | 2012-12-05 | 2017-06-21 | オリンパス株式会社 | イメージングシステム |
| JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US20150124072A1 (en) * | 2013-11-01 | 2015-05-07 | Datacolor, Inc. | System and method for color correction of a microscope image |
| JP6289044B2 (ja) * | 2013-11-15 | 2018-03-07 | オリンパス株式会社 | 観察装置 |
| JP5915874B2 (ja) * | 2013-12-19 | 2016-05-11 | 横河電機株式会社 | 顕微鏡装置 |
| JP2018508821A (ja) * | 2015-01-30 | 2018-03-29 | モレキュラー デバイシーズ, エルエルシー | ハイコンテント撮像システムおよびハイコンテント撮像システムを動作させる方法 |
| JP6499506B2 (ja) * | 2015-04-30 | 2019-04-10 | 富士フイルム株式会社 | 撮像装置および方法並びに撮像制御プログラム |
| WO2017010156A1 (ja) * | 2015-07-13 | 2017-01-19 | ソニー株式会社 | 医療用観察装置及び医療用観察方法 |
| EP3632365A4 (en) * | 2017-05-26 | 2020-08-19 | Sony Olympus Medical Solutions Inc. | MEDICAL OBSERVATION APPARATUS, METHOD OF TREATMENT, AND MEDICAL OBSERVATION SYSTEM |
| EP3514600B1 (en) * | 2018-01-19 | 2025-12-31 | Leica Instruments (Singapore) Pte. Ltd. | FLUORESCENCE INTENSITY NORMALIZATION METHOD |
| JP2019204009A (ja) * | 2018-05-24 | 2019-11-28 | オリンパス株式会社 | 顕微鏡システム |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59172617A (ja) * | 1983-03-22 | 1984-09-29 | Olympus Optical Co Ltd | 自動制御式照明光学系を備えた顕微鏡 |
| DE3475013D1 (en) * | 1983-03-29 | 1988-12-08 | Olympus Optical Co | Microscope provided with automatic focusing device |
| EP0424678B1 (en) * | 1989-09-27 | 1996-09-04 | Canon Kabushiki Kaisha | Camera system controlling interchangeable lenses |
| JP3402654B2 (ja) * | 1992-05-12 | 2003-05-06 | オリンパス光学工業株式会社 | 顕微鏡用自動焦点検出装置 |
| JP3557246B2 (ja) * | 1994-06-08 | 2004-08-25 | オリンパス株式会社 | 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法 |
| JPH08146302A (ja) * | 1994-11-18 | 1996-06-07 | Olympus Optical Co Ltd | 顕微鏡システム |
| JP3537205B2 (ja) * | 1995-02-02 | 2004-06-14 | オリンパス株式会社 | 顕微鏡装置 |
| JPH1020200A (ja) * | 1996-07-09 | 1998-01-23 | Nikon Corp | ステージ走査型測光顕微鏡 |
| JP4512278B2 (ja) * | 2000-02-04 | 2010-07-28 | オリンパス株式会社 | 顕微鏡システム |
| JP4314724B2 (ja) | 2000-04-28 | 2009-08-19 | カシオ計算機株式会社 | 撮像装置及び露出制御管理方法 |
| JP2002287039A (ja) * | 2001-03-22 | 2002-10-03 | Olympus Optical Co Ltd | 顕微鏡用撮影装置 |
| US20030043292A1 (en) * | 2001-08-31 | 2003-03-06 | Pyle Norman C. | System and method for automatic capture of light producing scenes |
| JP2004145153A (ja) * | 2002-10-25 | 2004-05-20 | Keyence Corp | 光量飽和表示機能付共焦点顕微鏡 |
| JP2005037683A (ja) * | 2003-07-14 | 2005-02-10 | Olympus Corp | 顕微鏡用撮像装置とその制御方法、及び制御方法に係るプログラム |
| JP4189754B2 (ja) * | 2004-04-20 | 2008-12-03 | ソニー株式会社 | ズームレンズ及び撮像装置 |
| JP2005316036A (ja) * | 2004-04-28 | 2005-11-10 | Olympus Corp | 撮像装置、照明光制御方法および照明光制御プログラム |
| JP2005321728A (ja) * | 2004-05-11 | 2005-11-17 | Olympus Corp | 走査型顕微鏡の測定パラメータ決定方法 |
| JP4928081B2 (ja) * | 2005-02-03 | 2012-05-09 | オリンパス株式会社 | 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム |
| JP2006317406A (ja) * | 2005-05-16 | 2006-11-24 | Olympus Corp | 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置 |
| JP4630730B2 (ja) * | 2005-05-27 | 2011-02-09 | キヤノン株式会社 | 撮像装置、カメラ及び撮像方法 |
| JP4857101B2 (ja) * | 2006-12-21 | 2012-01-18 | 株式会社日立ハイテクノロジーズ | プローブ評価方法 |
-
2008
- 2008-01-18 JP JP2008008976A patent/JP5059637B2/ja not_active Expired - Fee Related
-
2009
- 2009-01-15 US US12/354,032 patent/US20090185034A1/en not_active Abandoned
- 2009-01-16 EP EP09000586A patent/EP2081072A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP2081072A1 (en) | 2009-07-22 |
| US20090185034A1 (en) | 2009-07-23 |
| JP2009169236A (ja) | 2009-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5059637B2 (ja) | 顕微鏡用撮像装置 | |
| TWI460491B (zh) | 聚焦控制裝置,聚焦控制方法,透鏡系統,聚焦透鏡驅動方法,及程式 | |
| JP5047764B2 (ja) | 顕微鏡用撮影装置 | |
| JP2014123070A (ja) | 撮像装置及びその制御方法 | |
| JP6518452B2 (ja) | 撮像装置及び撮像方法 | |
| US10136067B2 (en) | Observation apparatus providing an enlarged display for facilitating changing an image-pickup condition | |
| JP2011133696A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
| JP2010160269A5 (ja) | ||
| JP2014174185A (ja) | 制御装置、制御方法および撮像装置 | |
| JP2018194780A (ja) | 顕微鏡システム、制御方法、及び、プログラム | |
| US11419482B2 (en) | Endoscope apparatus, control method of endoscope apparatus, and recording medium | |
| JP4979469B2 (ja) | 顕微鏡撮像装置 | |
| JP2014219473A (ja) | 交換レンズ | |
| JP2008135812A (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP2014228851A (ja) | 内視鏡装置、画像取得方法および画像取得プログラム | |
| JP2016177152A (ja) | 顕微鏡システム | |
| JP2015219515A (ja) | 画像表示方法、制御装置、顕微鏡システム | |
| JP2014232166A (ja) | 観察装置 | |
| JP2006338001A (ja) | 顕微鏡システムおよび画像生成方法 | |
| JP2016032180A (ja) | 撮像装置、制御方法およびプログラム | |
| JP2005221708A (ja) | 顕微鏡撮影装置、明るさ調整方法および明るさ調整プログラム | |
| JP2022027826A (ja) | 撮像装置 | |
| JP2009086036A (ja) | 撮影装置および撮影装置の制御方法 | |
| JP5977663B2 (ja) | 顕微鏡用撮像装置 | |
| JP4510436B2 (ja) | 自動焦点調整装置及びこれを有する撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120802 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5059637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |