JP6136085B2 - 画像取得装置、画像取得方法、およびコンピュータプログラム - Google Patents
画像取得装置、画像取得方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP6136085B2 JP6136085B2 JP2011220773A JP2011220773A JP6136085B2 JP 6136085 B2 JP6136085 B2 JP 6136085B2 JP 2011220773 A JP2011220773 A JP 2011220773A JP 2011220773 A JP2011220773 A JP 2011220773A JP 6136085 B2 JP6136085 B2 JP 6136085B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focal
- focal position
- image sensor
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000004590 computer program Methods 0.000 title description 4
- 238000012545 processing Methods 0.000 claims description 44
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 description 38
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 239000012472 biological sample Substances 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 238000002738 Giemsa staining Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012757 fluorescence staining Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Description
<第1の実施形態>
[1.本実施形態の画像取得装置の概要]
図1は、典型的なZスタック撮像方法を示す図である。
例えば細胞スメアスライドなど、厚さのある生体サンプルの検査においては、細胞1内に存在するかもしれない細菌2などの観察対象を逃さず見つけ出すことができるように、複数の焦点位置(Z1,Z2,・・・Zn)で画像を撮像することが行われる。このような複数の焦点位置で撮像された複数の画像は「Zスタック」と呼ばれる。
より具体的には、本実施形態の画像取得装置は、例えば、対物レンズを用いた光学系の焦点深度などを基準に予め決められた複数の焦点位置(Z1,Z2,・・・Zn)のなかの連続する複数の焦点位置で撮像素子を多重露光させたり、連続する複数の焦点位置間に跨って撮像素子を連続的に露光させたりすることで上記の平均画像を取得する。これによって、Zスタックの画像の枚数を低減しつつ、観察対象の撮像漏れのないZスタックを得ることができる。
以下に、本実施形態の画像取得装置の詳細を説明する。
なお、本実施形態は、連続する2つの焦点位置で撮像素子を多重露光させることによって上記の平均画像を取得する画像取得装置である。
図3は本実施形態の画像取得装置100の構成を示す図である。
顕微鏡10は、ステージ11、光学系12、光源ユニット13、撮像素子14、光源駆動部15、ステージ駆動部16、およびカメラ制御部17を有する。
なお、生体サンプルSPLは、この実施形態ではスライドガラスSGに対して所定の固定手法により固定され、必要に応じて染色が施される。この染色には、HE(Hematoxylin-Eosin)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
次に、データ処理部20の構成について説明する。
図4はデータ処理部20のハードウェアの構成を示すブロック図である。
データ処理部20は、演算制御を行うCPU(Central Processing Unit)21、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令を入力する操作入力部24、インターフェイス部25、表示部26、記憶部27及びこれらを互いに接続するバス28を備える。
次に、本実施形態の画像取得装置100における生体サンプル画像の取得処理について説明する。
まず、ステージ制御部31は、最初の焦点位置Z1に焦点が結ばれるようにステージ11のz軸方向の位置を設定する。
露光制御部32は、顕微鏡10内の撮像素子14を画像の取り込み状態である露光可能状態にするようにカメラ制御部17に露光制御信号S3を供給する。カメラ制御部17は露光制御信号S3を受けると、光源ユニット13からの光照射に先立ち、撮像素子14を露光可能な状態にする(T1)。
続いて、次の2つの焦点位置Z3、Z4についての多重露光による撮像が同様に行われる。すなわち、前の2つの焦点位置Z1、Z2で多重露光がされた撮像素子14からの画像の取り込みが完了したところで、露光制御部32は再度、カメラ制御部17に露光制御信号S3を供給して撮像素子14を再び露光可能状態にする(T8)。
以降に続く焦点位置においても、二重露光による平均画像の取得が同様に繰り返される。
典型的なZスタックにおけるそれぞれの固定焦点画像は、撮像間隔を0.5μmとして、それぞれの焦点位置Z1,Z2,・・・,Z10,・・・(図1参照)で撮像して得られた画像である。なお、これらの固定焦点画像は、図9に示すように、撮像素子14により撮像された画像(図6の小領域AR)の中のさらに一部分BRである。
このように、連続する4つの焦点位置での多重露光により得られた平均画像についても、生体サンプルの観察上問題無い程度の画質が得られることが確認された。参考のため、図10に連続する4つの焦点位置での多重露光により得られた平均画像と、その4つの焦点位置での固定焦点画像とを対比して示す。
図11は微細な発光点から発せられる540nm(緑色)の光をNA0.8の対物レンズにて観察した際に得られる輝点イメージのデフォーカス特性を示すグラフである。
このグラフにおいて、縦軸は情報を計算した各ピクセルの輝度を示すカウント値(intensity count)、横軸はイメージャ上のピクセル(pixels)、グラフ中の複数の線はデフォーカス量毎の光軸のずれ量とカウント値との相関をそれぞれ示す。なお、カウント値(intensity count)は輝度(コントラスト)の指標値である。このように、540nm緑色のイメージのデフォーカス特性においては、デフォーカス量が2μmを越えるあたりから急激に輝度(コントラスト)が低下することが分かる。
次に、上記の実施形態の変形例を説明する。
図13はZスタックの撮像時の動作の変形例1を示すタイミングチャートである。
この変形例1の画像取得装置は、上記の実施形態の画像取得装置100によるZスタック撮像動作において、ステージ11を連続して移動させる、つまり焦点位置を連続的に移動させるようにしたものである。ステージ11の移動速度は少なくとも露光中は一定であることが望ましい。
図14はZスタックの撮像時の動作の変形例2を示すタイミングチャートである。
変形例2の画像取得装置は、ステージ11を連続して移動させるとともに、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させるように光照射タイミングが設定されたものである。本変形例2の画像取得装置のその他の動作は、変形例1の画像取得装置と基本的には同様である。この変形例2によっても、上記の実施形態の効果を同様に得ることができる。また、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させることによって、上記の変形例1に比較して、観察対象の撮像漏れによる見逃しが生じる危険をよりいっそう低減することができる。
図15はZスタックの撮像時の動作の変形例3を示すタイミングチャートである。
変形例3の画像取得装置は、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させる間、光源ユニット13の光照射のオンとオフを焦点位置の間隔よりも短い一定の周期で繰り返し切り替えるようにしたものである。この変形例3によっても、上記の実施形態の画像処理装置100および変形例2の画像取得装置の効果を同様に得ることができる。また、本変形例3によれば、光照射のオンデューティ比の選択により露光時間を調整することが可能である。
図16はZスタックの撮像時の動作の変形例4を示すタイミングチャートである。
本変形例4の画像取得装置は、光源ユニット13からの光照射タイミングとステージ11の移動タイミングとを同期させるとともに、Zスタックの間隔毎にステージ11の移動と停止を切り替えることによって、連続的に露光される位置が範囲(図2参照)間で連続するようにしたものである。
(1) 撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備する画像取得装置。
(2)前記(1)に記載の画像取得装置であって、
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である
画像取得装置。
(3)前記(1)から(2)のうちいずれか1つに記載の画像取得装置であって、
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させる
画像取得装置。
(4)前記(1)から(2)のうちいずれか1つに記載の画像取得装置であって、
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させる
画像取得装置。
(5)前記(4)に記載の画像取得装置であって、
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続する
画像取得装置。
10…顕微鏡
20…データ処理部
11…ステージ
12…光学系
12A…対物レンズ
12B…結像レンズ
13…光源ユニット
13A…光源
13B…集光レンズ
14…撮像素子
15…光源駆動部
16…ステージ駆動部
17…カメラ制御部
21…CPU
22…ROM
23…RAM
24…操作入力部
31…ステージ制御部
32…露光制御部
33…ストロボ制御部
34…画像取得部
100…画像取得装置
Claims (3)
- 撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備し、
前記多重露光処理部は、第1の焦点位置、および前記第1の焦点位置に対し前記光学系の焦点深度または前記焦点深度よりも短い所定の間隔をあけて設定された第2の焦点位置の平均画像を得られるように、前記撮像素子を前記第1の焦点位置にて露光させた後、前記撮像素子を前記第2の焦点位置にて露光させる
画像取得装置。 - 移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、
多重露光処理部が、第1の焦点位置、および前記第1の焦点位置に対し前記光学系の焦点深度または前記焦点深度よりも短い所定の間隔をあけて設定された第2の焦点位置の平均画像を得られるように、前記撮像素子を前記第1の焦点位置にて露光させた後、前記撮像素子を前記第2の焦点位置にて露光させる
画像取得方法。 - 撮像対象の部位を拡大する対物 レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
第1の焦点位置、および前記第1の焦点位置に対し前記光学系の焦点深度または前記焦点深度よりも短い所定の間隔をあけて設定された第2の焦点位置の平均画像を得られるように、前記撮像素子を前記第1の焦点位置にて露光させた後、前記撮像素子を前記第2の焦点位置にて露光させる多重露光処理部として
前記コンピュータを動作させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011220773A JP6136085B2 (ja) | 2011-10-05 | 2011-10-05 | 画像取得装置、画像取得方法、およびコンピュータプログラム |
US13/617,418 US9386233B2 (en) | 2011-10-05 | 2012-09-14 | Image acquisition apparatus, image acquisition method, and computer program |
CN201210362291XA CN103033921A (zh) | 2011-10-05 | 2012-09-25 | 图像采集设备、图像采集方法以及计算机程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011220773A JP6136085B2 (ja) | 2011-10-05 | 2011-10-05 | 画像取得装置、画像取得方法、およびコンピュータプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017000182A Division JP2017058704A (ja) | 2017-01-04 | 2017-01-04 | 画像取得装置、画像取得方法、およびコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013080144A JP2013080144A (ja) | 2013-05-02 |
JP2013080144A5 JP2013080144A5 (ja) | 2014-11-06 |
JP6136085B2 true JP6136085B2 (ja) | 2017-05-31 |
Family
ID=48020970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011220773A Expired - Fee Related JP6136085B2 (ja) | 2011-10-05 | 2011-10-05 | 画像取得装置、画像取得方法、およびコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9386233B2 (ja) |
JP (1) | JP6136085B2 (ja) |
CN (1) | CN103033921A (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150301328A1 (en) * | 2012-11-16 | 2015-10-22 | Molecular Devices, Llc | System and method of acquiring images with a rolling shutter camera while asynchronously sequencing microscope devices |
JP6134249B2 (ja) * | 2013-11-01 | 2017-05-24 | 浜松ホトニクス株式会社 | 画像取得装置及び画像取得装置の画像取得方法 |
CN108369332A (zh) * | 2015-12-08 | 2018-08-03 | 奥林巴斯株式会社 | 显微镜观察系统、显微镜观察方法和显微镜观察程序 |
WO2018042629A1 (ja) * | 2016-09-02 | 2018-03-08 | オリンパス株式会社 | 画像観察装置および顕微鏡システム |
JP6715463B2 (ja) * | 2016-09-30 | 2020-07-01 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法、プログラムおよび記録媒体 |
DE102017108016A1 (de) * | 2017-04-13 | 2018-10-18 | Carl Zeiss Microscopy Gmbh | Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems |
DE102017123510A1 (de) * | 2017-10-10 | 2019-04-11 | Carl Zeiss Microscopy Gmbh | Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe |
US10812701B2 (en) | 2018-12-13 | 2020-10-20 | Mitutoyo Corporation | High-speed tag lens assisted 3D metrology and extended depth-of-field imaging |
CN110076989B (zh) * | 2019-05-22 | 2024-04-05 | 华南理工大学 | 基于非线性调焦多重分区曝光的3d打印装置的打印方法 |
CN115629505B (zh) * | 2022-12-06 | 2023-03-28 | 开拓导航控制技术股份有限公司 | 基于液晶调控的成像过程过曝光实时抑制方法和系统 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3905619C2 (de) * | 1988-02-23 | 2000-04-13 | Olympus Optical Co | Bildeingabe-/Ausgabevorrichtung |
JP3191928B2 (ja) * | 1988-02-23 | 2001-07-23 | オリンパス光学工業株式会社 | 画像入出力装置 |
JPH04308975A (ja) * | 1991-04-05 | 1992-10-30 | Taiyo Densan Kk | カメラの画像記録方法及び画像記録装置 |
GB2383487B (en) * | 2001-12-18 | 2006-09-27 | Fairfield Imaging Ltd | Method and apparatus for acquiring digital microscope images |
EP1756750A4 (en) | 2004-05-27 | 2010-10-20 | Aperio Technologies Inc | SYSTEMS AND METHOD FOR PRODUCING AND LOOKING AT THREE-DIMENSIONAL VIRTUAL FOILS |
JP4311668B2 (ja) * | 2004-11-15 | 2009-08-12 | オリンパス株式会社 | 撮像装置と撮像システムおよび画像の撮影方法 |
EP1865354B1 (en) * | 2005-03-17 | 2016-03-16 | Hamamatsu Photonics K.K. | Microscopic image capturing device |
JP2008011298A (ja) * | 2006-06-30 | 2008-01-17 | Fujitsu Ltd | 固体撮像装置及びその制御方法 |
US8243547B2 (en) * | 2006-12-15 | 2012-08-14 | Exxonmobil Upstream Research Co. | Identification and suppression of multiples in ocean bottom seismic data |
WO2008137746A1 (en) * | 2007-05-04 | 2008-11-13 | Aperio Technologies, Inc. | Rapid microscope scanner for volume image acquisition |
US8724013B2 (en) * | 2007-12-27 | 2014-05-13 | Qualcomm Incorporated | Method and apparatus with fast camera auto focus |
JP5090188B2 (ja) * | 2008-01-10 | 2012-12-05 | オリンパス株式会社 | 顕微鏡装置 |
JP5257375B2 (ja) * | 2009-03-13 | 2013-08-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP5499732B2 (ja) * | 2009-06-23 | 2014-05-21 | ソニー株式会社 | 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム |
US8310531B2 (en) * | 2009-08-03 | 2012-11-13 | Genetix Corporation | Methods and apparatuses for processing fluorescence images |
JP5497386B2 (ja) * | 2009-09-11 | 2014-05-21 | 浜松ホトニクス株式会社 | 画像取得装置 |
US8581162B2 (en) * | 2009-12-08 | 2013-11-12 | Mitutoyo Corporation | Weighting surface fit points based on focus peak uncertainty |
JP2011180442A (ja) * | 2010-03-02 | 2011-09-15 | Sony Corp | サンプル像取得装置、サンプル像取得方法及びサンプル像取得プログラム |
-
2011
- 2011-10-05 JP JP2011220773A patent/JP6136085B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-14 US US13/617,418 patent/US9386233B2/en not_active Expired - Fee Related
- 2012-09-25 CN CN201210362291XA patent/CN103033921A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2013080144A (ja) | 2013-05-02 |
US20130088634A1 (en) | 2013-04-11 |
CN103033921A (zh) | 2013-04-10 |
US9386233B2 (en) | 2016-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6136085B2 (ja) | 画像取得装置、画像取得方法、およびコンピュータプログラム | |
US8982457B2 (en) | Microscope system and illumination intensity adjusting method | |
JP4917331B2 (ja) | 画像取得装置、画像取得方法、及び画像取得プログラム | |
JP5289756B2 (ja) | 顕微鏡観察システム | |
US8497899B2 (en) | Biological sample image acquiring apparatus, biological sample image acquiring method, and program | |
JP4917329B2 (ja) | 画像取得装置、画像取得方法、及び画像取得プログラム | |
US20150185456A1 (en) | Microscope system and control method therefor | |
JP2013080144A5 (ja) | ||
JP2005037902A (ja) | 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム | |
JP2008139579A (ja) | 画像処理装置、画像処理プログラム及び観察システム | |
JP2012003214A (ja) | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 | |
JP2007114742A (ja) | 観察装置 | |
JP6157155B2 (ja) | 顕微鏡システム、駆動方法およびプログラム | |
JP5412149B2 (ja) | 画像撮像装置及びそれを備えた細胞画像解析システム | |
US20150049180A1 (en) | Microscope | |
JP2006338001A (ja) | 顕微鏡システムおよび画像生成方法 | |
JP6253509B2 (ja) | 画像表示方法、制御装置、顕微鏡システム | |
JP2013229706A (ja) | 画像取得装置、画像取得方法、および画像取得プログラム | |
JP2017058704A (ja) | 画像取得装置、画像取得方法、およびコンピュータプログラム | |
JP5471715B2 (ja) | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 | |
JP2008051772A (ja) | 蛍光画像取得装置、及び蛍光画像取得方法 | |
JP2018116309A (ja) | 画像取得装置、画像取得方法および顕微鏡 | |
JP2021512346A (ja) | 衝撃再走査システム | |
JP2010008492A (ja) | 生体試料観察装置 | |
JP6406008B2 (ja) | 光学観察装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170104 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170417 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6136085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |