JP5757711B2 - スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置 - Google Patents

スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置 Download PDF

Info

Publication number
JP5757711B2
JP5757711B2 JP2010215905A JP2010215905A JP5757711B2 JP 5757711 B2 JP5757711 B2 JP 5757711B2 JP 2010215905 A JP2010215905 A JP 2010215905A JP 2010215905 A JP2010215905 A JP 2010215905A JP 5757711 B2 JP5757711 B2 JP 5757711B2
Authority
JP
Japan
Prior art keywords
measurement
output
incident light
pixels
incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010215905A
Other languages
English (en)
Other versions
JP2012073035A (ja
Inventor
福永 康弘
康弘 福永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010215905A priority Critical patent/JP5757711B2/ja
Priority to US13/238,542 priority patent/US8884210B2/en
Priority to CN201110284118.8A priority patent/CN102445272A/zh
Publication of JP2012073035A publication Critical patent/JP2012073035A/ja
Application granted granted Critical
Publication of JP5757711B2 publication Critical patent/JP5757711B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J1/46Electric circuits using a capacitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Television Image Signal Generators (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置に関する。
試料のスペクトル情報を取得するためのカラーセンサの読み出し回路の例として、スイッチングノイズを除去しながら高感度で読み出す読み出し回路の例が知られている(例えば、特許文献1参照)。以下、図を参照して、従来知られている固体撮像装置の構成を説明する。図は、従来知られている固体撮像装置の構成を示した概略図である。図示する例では、固体撮像装置100は、積分回路部B1と、CDS(Correlated Double Sampling)回路部B2と、S/H(Sample Hold)回路部B3とから構成されている。
積分回路部B1は、光を受光して光電流を生成するためのフォトダイオード10のアノードを演算増幅器50の非反転入力端子に、カソードを反転入力端子に接続し、演算増幅器50の非反転入力端子は基準電圧源20に接続する。また、演算増幅器50の反転入力端子と出力端子の間に光電流を蓄積するための積分コンデンサ40と積分時間を制御するためのスイッチング手段30を並列に接続する。
CDS回路部B2は、容量素子60の一端を、画素部B1を構成する演算増幅器50の出力端子に、他端を演算増幅器90の反転入力端子に接続し、演算増幅器90の非反転入力端子を基準電圧源70に接続する、また、容量素子80の一端を演算増幅器90の反転入力端子に、他端をスイッチング手段120の一端とスイッチング手段140の一端とに接続する。また、スイッチング手段120の他端を基準電圧源130に接続し、スイッチング手段140の他端を演算増幅器90の出力端子に接続する。また、スイッチング手段110の一端を容量素子80の一端と演算増幅器90の反転入力端子と容量素子60の接続点に、他端を演算増幅器90の出力端子に接続する。
S/H回路部B3は、スイッチング手段150の一端を、CDS回路部B2を構成する演算増幅器90の出力端子に、他端を演算増幅器170の非反転入力端子に接続し、サンプルホールド用の容量素子160の一端を演算増幅器170の非反転入力端子に、他端を接地する。また、演算増幅器170の反転入力端子と出力端子に接続し、演算増幅器170の出力端子には信号出力端子180を接続する。
次に、図のタイミングチャートを参照しながら、固体撮像装置の動作について説明する。図は、従来知られている固体撮像装置100の動作タイミングを示したタイミングチャートである。このタイミングチャートのスイッチング手段のチャート上では、Highの区間で各スイッチング手段を導通状態にし、Lowレベルで非導通状態にする。また、φRはスイッチング手段30のスイッチ制御タイミングを示し、φRCはスイッチング手段110、120のスイッチ制御タイミングを示し、φTはスイッチング手段140のスイッチ制御タイミングを示し、φSHはスイッチング手段150のスイッチ制御タイミングを示す。また、電圧V1は演算増幅器50の出力端子の電圧を示し、電圧V2は演算増幅器90の出力端子の電圧を示し、電圧Voutは信号出力端子180の電圧を示す。また、時間軸方向には期間T1〜T4の4つの期間に区分されている。
期間T1はリセット期間であり、φR、φRC、φSHはHigh状態に設定し、φTはLow状態に設定する。期間T1では、電圧Vは基準電圧源20の電圧Vr1になり、電圧Vは基準電圧源70の電圧Vr2になり、電圧VoutはCDS回路部B2の出力端子の電圧Vr2に等しくなる。
期間T2では、φRC、φSHはHigh状態に設定し、φR、φTはLow状態に設定する。フォトダイオード10で発生した光電流を容量素子40に蓄積する。この時、φRCをHigh状態に設定し始めた時間からの経過期間をTINTGWとすると、画素部B1の出力端子の電圧Vは下式(1)で示される。
=Vr1+(Ipd×TINTGW)/C ・・・(1)
ここで、容量素子40の容量値をC、フォトダイオード10で発生した光電流量をIpd、基準電圧源20の電圧をVr1とした。
しかし、実際にはスイッチング手段30のスイッチ動作に起因するクロックフィールドスルーが画素部B1の出力端子の電圧Vに重畳される。結果として電圧Vは式(2)のようになる。
=Vr1+(Ipd×TINTGW)/C+V ・・・(2)
ここで、クロックフィールドスルー分の電圧変化をVとした。
期間T3では、φT、φSHはHigh状態に設定し、φR、φRCはLow状態に設定する。このとき、画素部B1の出力端子の電圧V1は式(3)で表すことができる。
=Vr1+(Ipd×TINTG)/C+V ・・・(3)
ここで、φR、φRCをLow状態に設定し始めた時間からの経過期間をTINT とした。
この期間で、スイッチング手段140、150が導通状態、スイッチング手段110、120が非導通状態になり、CDS回路部B2の出力端子の電圧Vは一旦、基準電圧源130の電圧Vr3になる。その後、演算増幅器90、容量素子60、80により電荷増幅回路が構成されているためCDS回路部B2の出力端子の電圧Vは式(4)で表すことができる。
=Vr3−(C/C)×(Ipd×TINTG)/C ・・・(4)
ここで、容量素子60の容量値をC、容量素子80の容量値をCとした。
この期間、スイッチング手段150が導通状態となり演算増幅器170はボルテージフォロワ回路を構成し、信号出力端子180の電圧VoutはCDS回路部B2の出力端子の電圧Vと同じ電圧になる。よって、信号出力端子180の電圧Voutは下式(5)のようになる。
out=Vr3−(C/C)×(Ipd×TINTG)/C ・・・(5)
この期間の動作により、スイッチング手段30のスイッチ動作に起因するクロックフィードスルー電圧Vを除去することができる。
期間T4では、φR、φRCはHigh状態に設定し、φT、φSHはLow状態に設定する。スイッチング手段150が非導通状態となり、信号出力端子180に式(5)で示した電圧が保持される。CDS回路部B2の容量素子の容量比で増幅して信号を読み出すことが出来る。また、CDS回路部B2の相関二重読出しにより画素部B1の容量素子40に接続されたスイッチング手段30のスイッチ動作に起因するリセットノイズを除去することができる。
また、従来知られている固体撮像装置をカラーセンサに応用することができる。図は、従来知られている固体撮像装置を応用したカラーセンサの構成を示した概略図である。図示するカラーセンサ200において、従来知られている固体撮像装置100の積分回路部B1に対応する回路を積分回路部B10として示しており、従来知られている固体撮像装置100のCDS回路部B2に対応する回路をゲイン回路B20として示している。なお、従来知られているS/H回路部B3に対応する回路については図示していない。
図示する例では、カラーセンサ200は、積分回路部B10−1〜B10−6と、ゲイン回路B20−1〜B20−6と、積分時間演算部38−1〜38−6と、ゲイン演算部39−1〜39−6と、駆動制御回路310とを備えている。また、積分回路部B10−1〜B10−6は、被写体のスペクトル情報をそれぞれの波長透過帯にわけて検出する画素31−1〜31−6と、基準電圧端子32−1〜32−6と、スイッチ素子33−1〜33−6と、容量素子34−1〜34−6と、演算増幅器35−1〜35−6とを備えている。なお、基準電圧端子32−1〜32−6と、スイッチ素子33−1〜33−6と、容量素子34−1〜34−6と、演算増幅器35−1〜35−6とで構成される部分を読み出し回路30−1〜30−6と呼ぶ。
また、図示する例は、積分回路部B10−1〜B10−6が備える画素31−1〜31−6が、紫色、青色、緑色、黄色、赤色、橙色の6色を検出する例を示している。具体的には、積分回路部B10−1が備える画素31−1は紫色の光を検出する画素である。また、積分回路部B10−2が備える画素31−2は青色の光を検出する画素である。また、積分回路部B10−3が備える画素31−3は緑色の光を検出する画素である。また、積分回路部B10−4が備える画素31−4は黄色の光を検出する画素である。また、積分回路部B10−5が備える画素31−5は赤色の光を検出する。また、積分回路部B10−6が備える画素31−6は橙色の光を検出する。
カラーセンサ200は、被写体からの光を、画素31−1〜31−6に入射して、基準電圧端子32−1〜32−6に印加された基準電圧を基準にスイッチ素子33−1〜33−6で積分時間を制御し、容量素子34−1〜34−6で光電流に応じた電圧変化として積分し、演算増幅器35−1〜35−6の出力端子に出力する。
また、カラーセンサ200は、演算増幅器35−1〜35−6の出力端子の出力変化をゲイン回路B20−1〜B20−6で増幅して読み出す。なお、積分回路部B10−1〜B10−6のそれぞれの積分時間は、駆動制御回路310から送られた情報により、積分時間演算部38−1〜38−6が計算する。また、ゲイン回路B20−1〜B20−6のそれぞれのゲインは、駆動制御回路310から送られた情報により、ゲイン演算部39−1〜39−6が計算する。これにより、積分時間演算部38−1〜38−6と、ゲイン演算部39−1〜39−6とにより設定された積分時間とゲインとで、出力端子37−1〜37−6から出力信号が出力される。
特開2007−336157号公報
次に、マルチバンドカラーセンサの分光特性について説明する。図1は、試料のスペクトル情報を検出するために、光センサの受光素子(フォトダイオード、画素)の前面にカラーフィルタを塗布して構成したマルチバンドカラーセンサの分光特性を示したグラフである。図示するグラフは、紫色の光を検出する光センサの前面に塗布されたカラーフィルタの透過率を示した曲線2001と、青色の光を検出する光センサの前面に塗布されたカラーフィルタの透過率を示した曲線2002と、緑色の光を検出する光センサの前面に塗布されたカラーフィルタの透過率を示した曲線2003と、黄色の光を検出する光センサの前面に塗布されたカラーフィルタの透過率を示した曲線2004と、赤色の光を検出する光センサの前面に塗布されたカラーフィルタの透過率を示した曲線2005とを示している。このように、検出する光の色に応じて、各カラーフィルタを透過する光の波長は異なる。
図1は、従来知られている固体撮像装置を応用したカラーセンサ200の動作タイミングを示したタイミングチャートである。図1(1)は、カラーセンサ200が正常にスペクトル情報を取得できたときのタイミングチャートである。図1(2)は、カラーセンサ200に一定光量以上の光が入射した場合のタイミングチャートである。
カラーセンサ200に入射する光が一定光量未満であれば、図に示した従来知られている固体撮像装置100の動作タイミングを示したタイミングチャートを使って述べた説明と同様に、図1(1)に示したようにカラーセンサ200は、正常にスペクトル情報を取得することができる。
しかしながら、図1に示したような分光特性をもったセンサで、特定の画素に一定光量以上の光が入射する場合、図1(2)に示したようにT2の期間でV1が飽和してしまう。このとき、最終的な出力電圧V2は、T3の期間に電圧変化がないためゼロになり、誤った値になる。これでは、入射した波長成分が少なくて電圧変化がゼロで基準電圧の出力がでてくるのか、一定光量以上の光が入射したことでT2期間に飽和して基準電圧の出力が出てくるのを判別することは出来ない。
図1は、カラーセンサ200に一定光量以上の光が入射したときに、ゲイン回路B20−1〜B20−6の出力がゼロになってしまう場合の光量と出力との関係を示したグラフである。図示するグラフの横軸は光量を示し、縦軸はゲイン回路B20−1〜B20−6の出力を示す。図示するように、カラーセンサ200のある画素に入射した波長成分の光の量が一定光量以上になると、ゲイン回路B20−1〜B20−6の出力は、点線で示した飽和レベルの出力は得られずに、実線で示したように飽和出力ではなく入射光量がゼロになってしまう。そのため、カラーセンサ200はスペクトル情報を誤って取得してしまい、正確なスペクトル情報を取得することができないという問題がある。
本発明は上記の問題を解決するためになされたものであり、被写体のスペクトル情報をより正確に取得することができるスペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置を提供することを目的とする。
本発明は、試料から入射される第1の入射光量に応じて電荷を蓄積する基準画素に、前記電荷を所定の測定時間蓄積するように制御するステップと、前記試料から入射される入射光のうち特定の波長の第2の入射光量に応じて前記電荷を蓄積する複数の測定画素に、前記電荷を前記所定の測定時間蓄積するように制御するステップと、前記基準画素が蓄積する前記電荷に応じて基準出力電圧を生成し、前記所定の測定時間内の初期を除く所定の判定期間における前記基準出力電圧の変化量から、基準信号を生成し出力するステップと、前記複数の測定画素の各々が蓄積する前記電荷に応じて測定出力電圧を生成し、前記所定の判定期間における前記測定出力電圧の変化量から、複数の測定信号を生成し出力するステップと、前記複数の測定信号のいずれか1つ以上が前記基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定するステップと、前記複数の測定信号に前記飽和出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を下げるステップと、を有し、前記基準画素および前記複数の測定画素は、前記試料から入射される入射光がどの波長であっても、前記第1の入射光量は、前記第2の入射光量よりも大きくなるように構成され、前記感度を下げる量は、前記複数の測定画素の各々において個別に算出されることを特徴とするスペクトル情報測定方法である。
また、本発明は、前記基準信号と前記複数の測定信号とが全て所定の値以下の場合、前記複数の測定信号はいずれも最小値出力であると判定するステップを有することを特徴とするスペクトル情報測定方法である。
また、本発明のスペクトル情報測定方法において、前記所定の値はゼロであることを特徴とする。
また、本発明は、前記複数の測定信号に前記最小値出力が含まれると判定された場合、前記基準信号および前複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を上げるステップを有することを特徴とするスペクトル情報測定方法である。
また、本発明は、試料から入射される第1の入射光量に応じて電荷を蓄積する基準画素と、前記試料から入射される入射光のうち特定の波長の第2の入射光量に応じて電荷を蓄積する複数の測定画素と、前記電荷を所定の測定時間蓄積するように前記基準画素と前記複数の測定画素とを制御する駆動制御回路と、前記基準画素が蓄積する前記電荷に応じて基準出力電圧を生成し、前記所定の測定時間内の初期を除く所定の判定期間における前記基準出力電圧の変化量から、基準信号を生成し出力する基準信号生成回路と、前記複数の測定画素の各々が蓄積する前記電荷に応じて測定出力電圧を生成し、前記所定の判定期間における前記測定出力電圧の変化量から、測定信号を生成し出力する複数の測定信号生成回路と、前記複数の測定信号生成回路が出力する複数の前記測定信号のいずれか1つ以上が前記基準信号生成回路が出力する前記基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定する飽和判定部と、前記複数の測定信号に前記飽和出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を下げる感度演算部と、を備え、前記基準画素および前記複数の測定画素は、前記試料から入射される入射光がどの波長であっても、前記第1の入射光量は、前記第2の入射光量よりも大きくなるように構成され、前記感度演算部は、前記感度を下げる量を、前記複数の測定画素の各々において個別に算出することを特徴とするカラーセンサである。
また、本発明は、試料から入射される第1の入射光量に応じて電荷を蓄積する基準画素と、前記試料から入射される入射光のうち特定の波長の第2の入射光量に応じて電荷を蓄積する複数の測定画素と、前記電荷を所定の測定時間蓄積するように前記基準画素と前記複数の測定画素とを制御する駆動制御回路と、前記基準画素が蓄積する前記電荷に応じて基準出力電圧を生成し、前記所定の測定時間内の初期を除く所定の判定期間における前記基準出力電圧の変化量から、基準信号を生成し出力する基準信号生成回路と、前記複数の測定画素の各々が蓄積する前記電荷に応じて測定出力電圧を生成し、前記所定の判定期間における前記測定出力電圧の変化量から、測定信号を生成し出力する複数の測定信号生成回路と、前記複数の測定信号生成回路が出力する複数の前記測定信号のいずれか1つ以上が前記基準信号生成回路が出力する前記基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定する飽和判定部と、前記複数の測定信号に前記飽和出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を下げる感度演算部と、を備えるカラーセンサと、前記試料から入射される入射光に基づいて、当該試料の画像を撮像するイメージセンサと、前記カラーセンサが取得した複数の前記測定信号に基づいて、前記イメージセンサが撮像する前記試料の画像の画像処理を行う画像処理部と、を備え、前記基準画素および前記複数の測定画素は、前記試料から入射される入射光がどの波長であっても、前記第1の入射光量は、前記第2の入射光量よりも大きくなるように構成され、前記感度演算部は、前記感度を下げる量を、前記複数の測定画素の各々において個別に算出することを特徴とするバーチャルスライド装置である。




本発明によれば、試料から入射される入射光量に応じて電荷を蓄積する基準画素に、電荷を所定の測定時間蓄積するように制御する。また、試料から入射される入射光のうち特定の波長の入射光量に応じて電荷を蓄積する複数の測定画素に、電荷を所定の測定時間蓄積するように制御する。そして、基準画素に蓄積される電荷の所定の測定時間の変化量から、基準信号を生成し出力する。また、複数の測定画素に蓄積される電荷の所定の測定時間の変化量から、複数の測定信号を生成し出力する。そして、複数の測定信号のいずれか1つ以上が基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定する。これにより、測定信号に飽和出力が含まれているか否かを判定することができるため、被写体のスペクトル情報をより正確に取得することができる。
本発明の第1の実施形態におけるカラーセンサの構成を示した概略図である。 本発明の第1の実施形態におけるカラーセンサが備える画素の配置を示した概略図である。 本発明の第1の実施形態における画素の分光特性を示したグラフである。 本発明の第1の実施形態における積分回路部の出力電圧値と出力電圧値の変化を示したグラフである。 本発明の第1の実施形態における飽和判定部の飽和判定処理の処理手順を示したフローチャートである。 本発明の第の実施形態におけるバーチャルスライド装置の構成を示したブロック図である。 従来知られている固体撮像装置の構成を示した概略図である。 従来知られている固体撮像装置の動作タイミングを示したタイミングチャートである。 従来知られている固体撮像装置を応用したカラーセンサの構成を示した概略図である。 従来知られているマルチバンドカラーセンサの分光特性を示したグラフである。 従来知られている固体撮像装置を応用したカラーセンサの動作タイミングを示したタイミングチャートである。 従来知られているカラーセンサに一定光量以上の光が入射したときに、ゲイン回路の出力がゼロになってしまう場合の光量と出力との関係を示したグラフである。
(第1の実施形態)
以下、本発明の第1の実施形態について図面を参照して説明する。図1は、本実施形態におけるカラーセンサ1の構成を示した概略図である。図示する例では、カラーセンサ1は、積分回路部11−1〜11−6と、ゲイン回路12−1〜12−6と、積分時間演算部13−1〜13−6と、ゲイン演算部14−1〜14−6と、駆動制御回路15と、飽和判定部16と、出力端子17−1〜17−6とを備えている。
また、積分回路部11−1〜11−5は、被写体のスペクトル情報をそれぞれの波長透過帯にわけて検出する画素111−1〜111−5(測定画素)と、基準電圧端子112−1〜112−5と、スイッチ素子113−1〜113−5と、容量素子114−1〜114−5と、演算増幅器115−1〜115−5とを備えている。また、積分回路部11−6は、被写体からの光を検出する画素111−6(基準画素)と、基準電圧端子112−6と、スイッチ素子113−6と、容量素子114−6と、演算増幅器115−6とを備えている。なお、基準電圧端子112−1〜112−6と、スイッチ素子113−1〜113−6と、容量素子114−1〜114−6と、演算増幅器115−1〜115−6とで構成される部分を読み出し回路110−1〜110−6と呼ぶ。
また、積分回路部11−1が備える画素111−1は、紫色の光を検出するように紫色の光を透過するフィルタが塗布された画素である。また、積分回路部11−2が備える画素111−2は、青色の光を検出するように青色の光を透過するフィルタが塗布された画素である。また、積分回路部11−3が備える画素111−3は、緑色の光を検出するように緑色の光を透過するフィルタが塗布された画素である。また、積分回路部11−4が備える画素111−4は、黄色の光を検出するように黄色の光を透過するフィルタが塗布された画素である。また、積分回路部11−5が備える画素111−5、赤色の光を検出するように赤色の光を透過するフィルタが塗布された画素である。また、積分回路部11−6が備える画素111−6は、全ての光を検出するように、フィルタが塗布されていない画素である。
カラーセンサ1は、被写体(試料)からの光を、画素111−1〜111−6に入射して、基準電圧端子112−1〜112−6に印加された基準電圧を基準にスイッチ素子113−1〜113−6で積分時間(所定の測定時間)を制御し、容量素子114−1〜114−6で光電流に応じた電圧変化として積分し、演算増幅器115−1〜115−6の出力端子に出力する。この出力は、画素111−1〜111−5に入射した光量に応じた電圧の変化である。
また、カラーセンサ1は、演算増幅器115−1〜115−5の出力端子の出力変化を、ゲイン回路12−1〜12−5(測定信号生成回路)でスイッチングノイズを除去しつつ出力変化を増幅して読み出す。また、カラーセンサ1は、演算増幅器115−6の出力端子の出力変化を、ゲイン回路12−6(基準信号生成回路)でスイッチングノイズを除去しつつ出力変化を増幅して読み出す。
なお、積分回路部11−1〜11−6のそれぞれの積分時間は、駆動制御回路15から送られた情報により、積分時間演算部13−1〜13−6が計算する。また、ゲイン回路12−1〜12−6のそれぞれのゲインは、駆動制御回路15から送られた情報により、ゲイン演算部14−1〜14−6が計算する。これにより、積分時間演算部13−1〜13−6と、ゲイン演算部14−1〜14−6とにより設定された積分時間とゲインとに応じた出力信号が、出力端子17−1〜17−6から出力される。
また、ゲイン回路12−1〜12−6の出力端子は飽和判定部16に接続され、ゲイン回路12−1〜12−6の出力信号が飽和判定部16に入力される。飽和判定部16は、入力されたゲイン回路12−1〜12−5の出力信号(測定信号)と、ゲイン回路12−6の出力信号(基準信号)とに基づいて、積分回路部11−1〜11−6は飽和状態であるか否かを判定する飽和判定処理を行う。なお、飽和状態とは、カラーセンサ1に入射した波長成分の光の量が一定光量以上であり、積分回路部11−1〜11−6が検知できる光量を超え、積分回路部11−1〜11−6の出力電圧値が飽和した状態である。また、このときの積分回路部11−1〜11−6の出力電圧値を飽和出力とする。また、飽和判定処理の処理手順については後述する。駆動制御回路15は、カラーセンサ1が備える各部の制御を行う。この構成により、カラーセンサ1は、ゲイン回路12−1〜12−5の出力信号に基づいて被写体のスペクトル情報を取得することができる。
図2は、本実施形態のカラーセンサ1が備える画素111−1〜111−6の配置を示した概略図である。図示する例では、全ての光を検出するようにフィルタが塗布されていない画素111−6が上段左に配置されている。また、紫色の光を検出するように紫色の光を透過するフィルタが塗布された画素111−1が上段右に配置されている。また、青色の光を検出するように青色の光を透過するフィルタが塗布された画素111−2が上段中央に配置されている。また、緑色の光を検出するように緑色の光を透過するフィルタが塗布された画素111−3が下段中央に配置されている。また、黄色の光を検出するように黄色の光を透過するフィルタが塗布された画素111−4が下段右に配置されている。また、赤色の光を検出するように赤色の光を透過するフィルタが塗布された画素111−5が下段左に配置されている。なお、画素111−1〜111−6の配置は図示する配置に限らず、任意の配置としてもよい。
次に、画素111−1〜111−6の分光特性について説明する。図3は、本実施形態の画素111−1〜111−6の分光特性を示したグラフである。図示するグラフは、紫色の光を検出する画素111−1に塗布されたフィルタの透過率を示した曲線1001と、青色の光を検出する画素111−2に塗布されたフィルタの透過率を示した曲線1002と、緑色の光を検出する画素111−3に塗布されたフィルタの透過率を示した曲線1003と、黄色の光を検出する画素111−4に塗布されたフィルタの透過率を示した曲線1004と、赤色の光を検出する画素111−5に塗布されたフィルタの透過率を示した曲線1005と、フィルタが塗布されていない場合の光の透過率を示した曲線1006とを示している。このように、各カラーフィルタを透過する光の波長は異なる。また、フィルタが塗布されていない場合の光の透過率は、フィルタが塗布されている場合の透過率よりも全ての波長帯にわたって高い。そのため、フィルタが塗布されていない画素111−6の出力は、フィルタが塗布されている画素111−1〜111−5の出力と比較して、どの波長の光が入射されても最も高い出力変化を示す。
次に、本実施形態において、積分回路部11−1〜11−6のうち、いずれかの出力電圧値が飽和した場合における積分回路部11−1〜11−6の出力電圧値について説明する。図4は、本実施形態において、期間T2および期間T3での積分回路部11−1〜11−6の出力電圧値と、期間T3での積分回路部11−1〜11−6の出力電圧値の変化を示したグラフである。なお、期間T2および期間T3は、図に示した期間T2および期間T3と同様の期間である。また、期間T3での積分回路部11−1〜11−6の出力電圧値の変化は、ゲイン回路12−1〜12−6の出力電圧値に対応する。
図4(1)は、全ての色の光を検出する画素111−6を有する積分回路部11−6の出力電圧値を示したグラフである。図4(2)は、赤色の光を検出する画素111−5を有する積分回路部11−5の出力電圧値を示したグラフである。図4(3)は、青色の光を検出する画素111−2を有する積分回路部11−2の出力電圧値を示したグラフである。図4(4)は、紫色の光を検出する画素111−1を有する積分回路部11−1の出力電圧値を示したグラフである。図4(5)は、緑色の光を検出する画素111−3を有する積分回路部11−3の出力電圧値を示したグラフである。図4(6)は、黄色の光を検出する画素111−4を有する積分回路部11−4の出力電圧値を示したグラフである。
背景技術で説明したとおり、特定の画素111−1〜111−5に一定光量以上の光が入射する場合、期間T2において、積分回路部11−1〜11−6の出力電圧値は飽和レベルに達するため、期間T3における出力変化がゼロとなる。そのため、ゲイン回路12−1〜12−6の出力電圧値がゼロとなる。なお、ゼロはゼロ近辺の値を含む。
図示する例では、図4(1)に示した、全ての色の光を検出する画素111−6を有する積分回路部11−6の出力変化と、図4(5)に示した、緑色の光を検出する画素111−3を有する積分回路部11−3の出力変化とがゼロとなっており、その他の出力変化はゼロとはなっていない。この場合、全ての色の光を検出する画素111−6を有する積分回路部11−6の出力変化を読み出すゲイン回路12−6の出力電圧値はゼロとなる。また、緑色の光を検出する画素111−3を有する積分回路部11−3の出力変化を読み出すゲイン回路12−3の出力電圧値とはゼロとなる。また、その他の画素111−1,111−2,111−4,111−5を有する積分回路部11−1,11−2,11−4,11−5の出力変化を読み出すゲイン回路12−1,12−2,12−4,12−5の出力電圧値はゼロとはならない。すなわち、ゲイン回路12−6の出力電圧値よりも、ゲイン回路12−1,12−2,12−4,12−5の出力電圧値の方が大きな値となる。
しかしながら、図3に示したとおり、フィルタが塗布されていない場合の光の透過率は、フィルタが塗布されている場合の透過率よりも全ての波長帯にわたって高い。そのため、飽和が起きていない場合では、フィルタが塗布されていない画素111−6を有する積分回路部11−6の出力変化を読み出すゲイン回路12−6の出力電圧値は、フィルタが塗布されている画素111−1〜111−5を有する積分回路部11−1〜11−5の出力変化を読み出すゲイン回路12−1〜12−5の出力電圧値と比較して、どの波長の光が入射されても最も高い出力変化を示す。
このことにより、図4に示した例では、期間T3での積分回路部11−1,11−2,11−4,11−5の出力電圧値の変化、すなわちゲイン回路12−1,12−2,12−4,12−5の出力電圧値がゼロではないため、カラーセンサ1には光が入射していることが分かる。従って、図4に示した例では、期間T2において、積分回路部11−6の出力電圧値は飽和レベルに達したため、期間T3における積分回路部11−6の出力変化がゼロとなり、ゲイン回路12−6の出力電圧値がゼロとなったことが分かる。すなわち、積分回路部11−6に入射した光量がゼロという誤った結果を出力していることが分かる。同様に、期間T3におけるゲイン回路12−3の出力がゼロであるため、期間T2において積分回路部11−3の出力電圧値は飽和している可能性があることが分かる。
次に、本実施形態における飽和判定部16の飽和判定処理の処理手順について説明する。図5は、本実施形態における飽和判定部16の飽和判定処理の処理手順を示したフローチャートである。
(ステップS101)飽和判定部16は、フィルタが塗布されている画素111−1〜111−5を有する積分回路部11−1〜11−5の出力変化を読み出すゲイン回路12−1〜12−5の出力電圧値と、フィルタが塗布されていない、全ての色の光を検出する画素111−6を有する積分回路部11−6の出力変化を読み出すゲイン回路12−6の出力電圧値とを取得する。その後、ステップS102の処理に進む。
(ステップS102)飽和判定部16は、ステップS101で取得した、ゲイン回路12−1〜12−5の出力電圧値と、ゲイン回路12−6の出力電圧値とを比較する。その後、ステップS103の処理に進む。
(ステップS103)飽和判定部16は、ステップS102で比較した結果に基づいて、ゲイン回路12−6の出力電圧値よりも、ゲイン回路12−1〜12−5の出力電圧値のいずれかの値の方が大きい場合、飽和出力が含まれており飽和状態であると判定する。その後、飽和状態判定処理を終了する。また、飽和判定部16は、飽和判定処理において飽和状態であると判定した場合には、このときに取得したスペクトル情報は無効であると判定する。
上述したとおり、本実施形態によれば、飽和判定部16は、フィルタが塗布されている画素111−1〜111−5を有する積分回路部11−1〜11−5の出力変化を読み出すゲイン回路12−1〜12−5の出力電圧値と、フィルタが塗布されていない画素111−6を有する積分回路部11−6の出力変化を読み出すゲイン回路12−6の出力電圧値とを比較する。そして、飽和判定部16は、ゲイン回路12−6の出力電圧値よりも、ゲイン回路12−1〜12−5の出力電圧値のいずれかの値の方が大きい場合、飽和状態であると判定する。また、飽和判定部16は、飽和判定処理において飽和状態であると判定した場合には、このときに取得したスペクトル情報は無効であると判定する。これにより、カラーセンサ1は、正確にスペクトル情報を取得することができる。
(第の実施形態)
次に、本実施形態の第の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、本実施形態では、飽和判定部16が飽和判定処理にて飽和状態であると判定した場合には、駆動制御回路15は、各積分回路部11−1〜11−6の受光感度を低くして飽和状態とならないようにし、再度スペクトル情報を取得する。各積分回路11−1〜11−6の受光感度を低くする方法としては、例えば、ゲイン演算部14−1〜14−6が算出するゲイン値が小さくなるように制御する。
上述したとおり、本実施形態によれば、飽和判定部16が飽和判定処理にて飽和状態であると判定した場合には、駆動制御回路15は、各積分回路部11−1〜11−6の受光感度を低くして飽和状態とならないようにし、再度スペクトル情報を取得する。これにより、カラーセンサ1は、より正確にスペクトル情報を取得することができる。
(第の実施形態)
次に、本発明の第の実施形態について説明する。本実施形態と第の実施形態とで異なる点は、本実施形態では、飽和判定部16が飽和判定処理にて、カラーセンサ1に入射する光の光量が小さくて出力電圧値がゼロとなったと判定した場合には、駆動制御回路15は、各積分回路部11−1〜11−6の受光感度を高くし、再度スペクトル情報を取得する。各積分回路11−1〜11−6の受光感度を高くする方法としては、例えば、ゲイン演算部14−1〜14−6が算出するゲイン値が大きくなるように制御する。
上述したとおり、本実施形態によれば、飽和判定部16が飽和判定処理にて、カラーセンサ1に入射する光の光量が小さくて出力電圧値がゼロとなったと判定した場合には、駆動制御回路15は、各積分回路部11−1〜11−6の受光感度を高くし、再度スペクトル情報を取得する。これにより、カラーセンサ1は、より正確にスペクトル情報を取得することができる。
(第の実施形態)
次に、本実施形態の第の実施形態について説明する。図は、本実施形態におけるバーチャルスライド装置の構成を示したブロック図である。図示する例では、バーチャルスライド装置500は、カラーセンサ1と、対物レンズ81と、ハーフミラー82と、RGBイメージセンサ83と、画像処理部84とを備える。
カラーセンサ1は、第1の実施形態〜第の実施形態に記載されたカラーセンサ1のうち、いずれかのカラーセンサ1と同様であり、より正確にサンプルのスペクトル情報を取得することができる。対物レンズ81は、サンプルに照射された光を集光する。ハーフミラー82は、対物レンズからの光をカラーセンサ1とRGBセンサ83との方向に分割する。RGBイメージセンサ83は、対物レンズ81とハーフミラー82とを介して投影された被写体像に基づいた画像を生成する。画像処理部84は、カラーセンサ1が取得したサンプルのスペクトル情報に基づいて、RGBイメージセンサ83が取得した画像に対して補正等の画像処理を行う。
上述したとおり、本実施形態によれば、カラーセンサ1は、より正確に被写体のスペクトル情報を取得することができる。そのため、画像処理部84は、RGBイメージセンサ83が取得した画像に対して補正等の画像処理をより正確に行うことができる。
以上、この発明の第1の実施形態から第の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、上述した例では、カラーセンサ1は、フィルタが塗布されている画素として5個の画素111−1〜111−5を備えているが、これに限らず、カラーセンサは、フィルタが塗布されている画素を複数個備えていればよい。
1・・・カラーセンサ、11−1〜11−6・・・積分回路部、12−1〜12−6・・・ゲイン回路、13−1〜13−6・・・積分時間演算部、14−1〜14−6・・・ゲイン演算部、15・・・駆動制御回路、16・・・飽和判定部、17−1〜17−6・・・出力端子、81・・・対物レンズ、82・・・ハーフミラー、83・・・RGBイメージセンサ、84・・・画像処理部、110−1〜110−6・・・読み出し回路、111−1〜111−6・・・画素、112−1〜112−6・・・基準電圧端子、113−1〜113−6・・・スイッチ素子、114−1〜114−6・・・容量素子、115−1〜115−6・・・演算増幅器、500・・・バーチャルスライド装置

Claims (6)

  1. 試料から入射される第1の入射光量に応じて電荷を蓄積する基準画素に、前記電荷を所定の測定時間蓄積するように制御するステップと、
    前記試料から入射される入射光のうち特定の波長の第2の入射光量に応じて前記電荷を蓄積する複数の測定画素に、前記電荷を前記所定の測定時間蓄積するように制御するステップと、
    前記基準画素が蓄積する前記電荷に応じて基準出力電圧を生成し、前記所定の測定時間内の初期を除く所定の判定期間における前記基準出力電圧の変化量から、基準信号を生成し出力するステップと、
    前記複数の測定画素の各々が蓄積する前記電荷に応じて測定出力電圧を生成し、前記所定の判定期間における前記測定出力電圧の変化量から、複数の測定信号を生成し出力するステップと、
    前記複数の測定信号のいずれか1つ以上が前記基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定するステップと、
    前記複数の測定信号に前記飽和出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を下げるステップと、
    を有し、
    前記基準画素および前記複数の測定画素は、前記試料から入射される入射光がどの波長であっても、前記第1の入射光量は、前記第2の入射光量よりも大きくなるように構成され、
    前記感度を下げる量は、前記複数の測定画素の各々において個別に算出される
    ことを特徴とするスペクトル情報測定方法。
  2. 前記基準信号と前記複数の測定信号とが全て所定の値以下の場合、前記複数の測定信号はいずれも最小値出力であると判定するステップ
    を有することを特徴とする請求項1に記載のスペクトル情報測定方法。
  3. 前記所定の値はゼロである
    ことを特徴とする請求項2に記載のスペクトル情報測定方法。
  4. 前記複数の測定信号に前記最小値出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を上げるステップ
    を有することを特徴とする請求項2に記載のスペクトル情報測定方法。
  5. 試料から入射される第1の入射光量に応じて電荷を蓄積する基準画素と、
    前記試料から入射される入射光のうち特定の波長の第2の入射光量に応じて電荷を蓄積する複数の測定画素と、
    前記電荷を所定の測定時間蓄積するように前記基準画素と前記複数の測定画素とを制御する駆動制御回路と、
    前記基準画素が蓄積する前記電荷に応じて基準出力電圧を生成し、前記所定の測定時間内の初期を除く所定の判定期間における前記基準出力電圧の変化量から、基準信号を生成し出力する基準信号生成回路と、
    前記複数の測定画素の各々が蓄積する前記電荷に応じて測定出力電圧を生成し、前記所定の判定期間における前記測定出力電圧の変化量から、測定信号を生成し出力する複数の測定信号生成回路と、
    前記複数の測定信号生成回路が出力する複数の前記測定信号のいずれか1つ以上が前記基準信号生成回路が出力する前記基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定する飽和判定部と、
    前記複数の測定信号に前記飽和出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を下げる感度演算部と、
    を備え、
    前記基準画素および前記複数の測定画素は、前記試料から入射される入射光がどの波長であっても、前記第1の入射光量は、前記第2の入射光量よりも大きくなるように構成され、
    前記感度演算部は、前記感度を下げる量を、前記複数の測定画素の各々において個別に算出する
    ことを特徴とするカラーセンサ。
  6. 試料から入射される第1の入射光量に応じて電荷を蓄積する基準画素と、
    前記試料から入射される入射光のうち特定の波長の第2の入射光量に応じて電荷を蓄積する複数の測定画素と、
    前記電荷を所定の測定時間蓄積するように前記基準画素と前記複数の測定画素とを制御する駆動制御回路と、
    前記基準画素が蓄積する前記電荷に応じて基準出力電圧を生成し、前記所定の測定時間内の初期を除く所定の判定期間における前記基準出力電圧の変化量から、基準信号を生成し出力する基準信号生成回路と、
    前記複数の測定画素の各々が蓄積する前記電荷に応じて測定出力電圧を生成し、前記所定の判定期間における前記測定出力電圧の変化量から、測定信号を生成し出力する複数の測定信号生成回路と、
    前記複数の測定信号生成回路が出力する複数の前記測定信号のいずれか1つ以上が前記基準信号生成回路が出力する前記基準信号より大きい場合、当該測定信号に飽和出力が含まれると判定する飽和判定部と、
    前記複数の測定信号に前記飽和出力が含まれると判定された場合、前記基準信号および前記複数の測定信号を破棄し、前記基準画素および前記複数の測定画素の感度を下げる感度演算部と、
    を備えるカラーセンサと、
    前記試料から入射される入射光に基づいて、当該試料の画像を撮像するイメージセンサと、
    前記カラーセンサが取得した複数の前記測定信号に基づいて、前記イメージセンサが撮像する前記試料の画像の画像処理を行う画像処理部と、
    を備え、
    前記基準画素および前記複数の測定画素は、前記試料から入射される入射光がどの波長であっても、前記第1の入射光量は、前記第2の入射光量よりも大きくなるように構成され、
    前記感度演算部は、前記感度を下げる量を、前記複数の測定画素の各々において個別に算出する
    ことを特徴とするバーチャルスライド装置。
JP2010215905A 2010-09-27 2010-09-27 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置 Expired - Fee Related JP5757711B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010215905A JP5757711B2 (ja) 2010-09-27 2010-09-27 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
US13/238,542 US8884210B2 (en) 2010-09-27 2011-09-21 Spectrum information measurement method, color sensor and virtual slide device
CN201110284118.8A CN102445272A (zh) 2010-09-27 2011-09-22 光谱信息测量方法、颜色传感器和虚拟切片装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010215905A JP5757711B2 (ja) 2010-09-27 2010-09-27 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置

Publications (2)

Publication Number Publication Date
JP2012073035A JP2012073035A (ja) 2012-04-12
JP5757711B2 true JP5757711B2 (ja) 2015-07-29

Family

ID=45870350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010215905A Expired - Fee Related JP5757711B2 (ja) 2010-09-27 2010-09-27 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置

Country Status (3)

Country Link
US (1) US8884210B2 (ja)
JP (1) JP5757711B2 (ja)
CN (1) CN102445272A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288580A (ja) * 1988-03-28 1988-11-25 Minolta Camera Co Ltd イメージセンサ
JP2965777B2 (ja) 1992-01-29 1999-10-18 オリンパス光学工業株式会社 固体撮像装置
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US7667171B2 (en) * 2004-07-06 2010-02-23 Panasonic Corporation Solid-state imaging device
JP4890955B2 (ja) * 2006-06-14 2012-03-07 オリンパス株式会社 固体撮像装置
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US7893976B2 (en) * 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors

Also Published As

Publication number Publication date
US20120075631A1 (en) 2012-03-29
US8884210B2 (en) 2014-11-11
CN102445272A (zh) 2012-05-09
JP2012073035A (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
EP3499873B1 (en) Correction for variations in received light amount in photon counting image sensor
US8570415B2 (en) Image sensing system and control method therefor
JP4804254B2 (ja) 光電変換装置及び撮像装置
US9267840B2 (en) Photoelectric conversion apparatus that amplifies reference voltages corresponding to pixel signals of different colors at different gains
TWI625972B (zh) 具有類比計數器元件的數位單位胞元
CA3017935C (en) High dynamic range imaging sensor array
CN104243778A (zh) 摄像设备、摄像系统和信号处理方法
US9544512B2 (en) Image capturing apparatus and method of reading out pixel signals from an image sensor
US20060077273A1 (en) Low noise active pixel image sensor
US10033951B2 (en) Image sensor that performs different readout operations and image capturing apparatus including image sensor
EP3044872B1 (en) Amplifier adapted for cmos imaging sensors
KR20150067392A (ko) 고체촬상소자 및 촬상장치
US7990461B2 (en) Focus detection device
JP6478600B2 (ja) 撮像装置およびその制御方法
KR20170131481A (ko) 공통의 증폭기를 이용하여 adc 및 pga를 구현하는 방법 및 장치
JP5018409B2 (ja) 光量測定装置
JP5757711B2 (ja) スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
JP2008042573A (ja) 撮像装置及びその制御方法、撮像システム並びにプログラム
US11778346B2 (en) Image processing device, image processing method, and storage medium
JP2008209735A (ja) 焦点検出装置
JP2014011500A (ja) 撮像装置
JP2019213047A (ja) 撮像素子、撮像装置および撮像素子の制御方法
JP2009147540A (ja) 撮像装置
JP2004072542A (ja) 光センサ
JP2012068253A (ja) 光電変換装置及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150602

R151 Written notification of patent or utility model registration

Ref document number: 5757711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees