JP5876289B2 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
JP5876289B2
JP5876289B2 JP2011288343A JP2011288343A JP5876289B2 JP 5876289 B2 JP5876289 B2 JP 5876289B2 JP 2011288343 A JP2011288343 A JP 2011288343A JP 2011288343 A JP2011288343 A JP 2011288343A JP 5876289 B2 JP5876289 B2 JP 5876289B2
Authority
JP
Japan
Prior art keywords
read
value
cycle
values
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011288343A
Other languages
English (en)
Other versions
JP2013137237A5 (ja
JP2013137237A (ja
Inventor
光人 間瀬
光人 間瀬
鈴木 高志
高志 鈴木
純 平光
純 平光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2011288343A priority Critical patent/JP5876289B2/ja
Priority to EP12863980.4A priority patent/EP2799906B1/en
Priority to PCT/JP2012/071075 priority patent/WO2013099348A1/ja
Priority to US14/357,817 priority patent/US9151831B2/en
Priority to KR1020147003426A priority patent/KR101883529B1/ko
Publication of JP2013137237A publication Critical patent/JP2013137237A/ja
Publication of JP2013137237A5 publication Critical patent/JP2013137237A5/ja
Application granted granted Critical
Publication of JP5876289B2 publication Critical patent/JP5876289B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明の実施形態は、距離測定装置に関するものである。
光源からパルス光を放出させ、対象物からの反射光を距離センサで受けることにより、対象物から距離センサまでの距離を測定する飛行時間(TOF:Time−of−Flight)法が知られている。
下記の特許文献1〜2にはTOF法に基づく距離測定装置が記載されている。特許文献1に記載された装置は、光源からパルス光を放出させ、一つのフレーム期間内の異なる長さのサブ期間のそれぞれにおいて距離センサのフォトダイオードで発生した電荷の量に応じた値の信号を当該距離センサから取得し、取得した複数の信号のうち最良の信号に基づいて距離を算出する。
特許文献2に記載された装置は、距離センサの実効ダイナミックレンジを広げるための構成を有している。具体的には、この装置は、光源からパルス光を放出させ、距離センサのフォトダイオードで発生した電荷をキャパシタに蓄積し、キャパシタに生じる電圧が飽和電圧に達するときに当該電圧をリセットし、リセットの回数とキャパシタに生じた最終の電圧とに基づいて、距離を算出する。
距離センサに入射する光には、光源から放出されたパルス光が対象物に反射することによって生じた信号光に加えて、背景光が含まれる。特許文献1及び2に記載された距離測定装置は、基本的には、距離センサからの信号に含まれる背景光成分等のノイズ成分の除去を考慮していない。
下記の特許文献3にはTOF法に基づく別の距離測定装置が記載されている。特許文献3に記載された装置は、第1のフレーム期間において光源からパルス光を照射して距離センサからの信号を取得し、第2のフレーム期間においては光源を非発光として距離センサからの信号を取得する。ここで、フレーム期間とは、センサの光感応領域に発生した電荷を蓄積する蓄積領域の電荷をリセットしてから、次に当該蓄積領域の電荷をリセットするまでの期間である。この装置は、第1のフレーム期間の信号から第2のフレーム期間の信号を差し引くことで、信号内のノイズ成分を除去している。当該装置は、このようにノイズ成分を除去した信号に基づいて距離を算出している。
米国特許7,379,100号明細書 特表2006−523074号公報 特開2008−122223号公報
特許文献3に記載された装置では、フレーム期間ごとに異なる背景光等のノイズが生じると、距離の測定精度が劣化する。また、当該装置は、二つのフレーム期間を利用して距離を測定するので、フレームレートが低い。
したがって、当技術分野においては、フレームレートを低下させず、短い期間で変動するノイズが生じても高い精度で距離を算出することができる距離測定装置が求められている。
本発明の一側面は、飛行時間法により対象物に対する距離を求める距離測定装置に関するものである。この距離測定装置は、光源部、センサ部、及び、処理部を備えている。光源部は、変調光を放出する。センサ部は、入射光に応じて電荷を発生する光感応領域、光感応領域で発生した電荷を蓄積する第1の蓄積領域及び第2の蓄積領域、光感応領域と第1の蓄積領域との間に設けられた第1の転送電極、光感応領域と第2の蓄積領域との間に設けられた第2の転送電極、第1の蓄積領域とリセット電位との間に設けられた第1のリセットスイッチ、並びに、第2の蓄積領域とリセット電位との間に設けられた第2のリセットスイッチを有する。処理部は、変調光の放出タイミング及びセンサ部を制御して、距離を算出する。
処理部は、フレーム期間、即ち、第1のリセットスイッチ及び第2のリセットスイッチを制御して第1の蓄積領域及び第2の蓄積領域をリセット電位に接続してから第1の蓄積領域及び第2の蓄積領域を次にリセット電位に接続するまでの期間内の(a1)複数の第1の電荷転送サイクルにおいて、一以上の放出期間に光源部に変調光を放出させ、(a2)一以上の放出期間に同期した一以上の第1の転送期間に第1の転送電極に与える電圧を制御して光感応領域で発生した電荷を第1の蓄積領域に蓄積させ、(a2)一以上の第1の転送期間と位相反転した一以上の第2の転送期間に第2の転送電極に与える電圧を制御して光感応領域で発生した電荷を第2の蓄積領域に蓄積させる。
処理部は、フレーム期間内の複数の第2の電荷転送サイクルであり一以上の第1の電荷転送サイクルと交互の該一以上の第2の電荷転送サイクルにおいて、(b1)光源部に変調光を放出させず、(b2)第3の転送期間に第1の転送電極に与える電圧を制御して光感応領域で発生した電荷を第1の蓄積領域に蓄積させ、(b2)第3の転送期間と位相反転した第4の転送期間に第2の転送電極に与える電圧を制御して光感応領域で発生した電荷を第2の蓄積領域に蓄積させる。
処理部は、一以上の第1の電荷転送サイクルのそれぞれに対応する一以上の第1の読出しサイクルにおいて、一以上の第1の電荷転送サイクルのそれぞれと次の前記第2の電荷転送サイクルの間の時点に第1の蓄積領域に蓄積されている電荷量に応じた第1の読出し値及び当該時点に第2の蓄積領域に蓄積されている電荷量に応じた第2の読出し値を、センサ部から取得する。
処理部は、一以上の第2の電荷転送サイクルのそれぞれに対応する一以上の第2の読出しサイクルにおいて、一以上の第2の電荷転送サイクルのそれぞれと次の第1の電荷転送サイクルの間の時点に第1の蓄積領域に蓄積されている電荷量に応じた別の第1の読出し値及び当該時点に第2の蓄積領域に蓄積されている電荷量に応じた別の第2の読出し値を、センサ部から取得する。
処理部は、n回目の前記第1の読出しサイクルの第1の読出し値の2倍の値からn回目及びn−1回目の第2の読出しサイクルの別の第1の読出し値を差し引いた値である第1の値、及び、n回目の第1の読出しサイクルの第2の読出し値の2倍の値からn回目及びn−1回目の第2の読出しサイクルの別の第2の読出し値を差し引いた値である第2の値を算出して、M個の第1の値及びM個の第2の値を求める。ここで、nは複数の第1の読出しサイクル及び複数の第2の読出しサイクルの順番を示す。処理部は、M個の第1の値及びM個の第2の値に基づいて、距離を算出する。
この距離測定装置では、一つのフレーム期間内に光源部に変調光を放出させて第1の蓄積領域及び第2の蓄積領域に電荷を振り分ける第1の電荷転送サイクル及び光源部に変調光を放出させずに第1の蓄積領域及び第2の蓄積領域に電荷を振り分ける第2の電荷転送サイクルが交互に行われる。第1の電荷転送サイクルでは、変調光に対する対象物からの反射光を含む入射光に基づく電荷が増加分の電荷として蓄積領域に蓄積され、第2の電荷転送サイクルにおいては、背景光等のノイズに基づく電荷が増加分の電荷として蓄積される。そして、第1の電荷転送サイクル直後の蓄積電荷量に応じた読出し値の2倍の値から、当該第1の電荷転送サイクルの直前の第2の電荷転送サイクルの直後の蓄積電荷量に応じた別の読出し値、及び、当該第1の電荷転送サイクルの次の第2の電荷転送サイクルの直後の蓄積電荷量に応じた別の読出し値を差し引いた値を求めることにより、各第1の電荷転送サイクルでの電荷量の増加分に対応する値(即ち、第1の値及び第2の値)が得られる。この距離測定装置は、これら第1の値及び第2の値に基づいて距離を算出するので、フレームレートを低下させず、短い期間で変動する背景光等のノイズが生じても高い精度で距離を算出することができる。また、この距離測定装置のセンサ部は、電荷振り分けのための二つの蓄積領域以外に、ノイズに基づく電荷を取得するための追加の蓄積領域を必要としないので、センサ部の構成を複雑化することがなく、また、センサ部における実装面積を有効に利用することができる。
一実施形態においては、第1の電荷転送サイクルにおいて第1の蓄積領域に電荷を蓄積させる時間長、第1の電荷転送サイクルにおいて第2の蓄積領域に電荷を蓄積させる時間長、第2の電荷転送サイクルにおいて第1の蓄積領域に電荷を蓄積させる時間長、及び、第2の電荷転送サイクルにおいて第2の蓄積領域に電荷を蓄積させる時間長は、実質的に同じ時間長であってもよい。
一実施形態においては、複数の第1の電荷転送サイクルの各々は、一回の第1の転送期間、及び、一回の第2の転送期間を含んでいてもよい。この実施形態によれば、第1の電荷転送サイクル及びこれに対応する第2の電荷転送サイクルの時間長を短くすることができる。その結果、より短い期間で変動するノイズが生じても高い精度で距離を算出することが可能となる。
一実施形態においては、処理部は、(c1)複数の第2の読出しサイクルのうち、別の第1の読出し値及び別の第2の読出し値が所定の閾値を超えない最終の第2の読出しサイクルを特定し、(c2)最終の第2の読出しサイクルまでに得られた一以上の第1の読出し値及び以上の別の第1の読出し値に基づいてM個の第1の値を求め、当該最終の第2の読出しサイクルまでに得られた一以上の第2の読出し値及び以上の別の第2の読出し値に基づいてM個の第2の値を求めてもよい。この実施形態によれば、所定の閾値を蓄積領域の飽和蓄積容量に対応する読出し値以上の値に設定することにより、飽和蓄積容量に対応する読出し値を超えない範囲の読出し値を利用して、距離を算出することが可能となる。その結果、より高い精度で距離を算出することが可能となる。
一実施形態においては、処理部は、(d1)n回目の第2の読出しサイクルの別の第1の読出し値と、n回目の第2の読出しサイクルの別の第1の読出し値とn−1回目の第2の読出しサイクルの別の第1の読出し値との間の差分値との和、又は、n回目の第2の読出しサイクルの別の第2の読出し値と、n回目の第2の読出しサイクルの別の第2の読出し値とn−1回目の第2の読出しサイクルの別の第2の読出し値との間の差分値との和が、所定の閾値を超える場合に、n+1回目以降の第1の読出しサイクル及び第2の読出しサイクルを停止してもよく、(d2)最終の読出しサイクルであるn回目の第2の読出しサイクルまでに得られた一以上の第1の読出し値及び一以上の別の第1の読出し値に基づいてM個の第1の値を求め、最終の第2の読出しサイクルまでに得られた一以上の第2の読出し値及び一以上の別の第2の読出し値に基づいてM個の第2の値を求めてもよい。この実施形態では、所定の閾値を蓄積領域の飽和蓄積容量に対応する読出し値以上の値に設定することにより、飽和蓄積容量に対応する読出し値を超えない範囲の読出し値を利用して、距離を算出することが可能となる。また、測定距離のダイナミックレンジが向上され得る。さらに、この実施形態によれば、上述した和が所定の閾値を超える場合に、読出し値のセンサ部からの取得を停止することができるので、距離の算出を早期に開始することが可能となる。
一実施形態においては、処理部は、(e1)M個の第1の値を順に積算してM個の第1の積算値を算出し、M個の第2の値を順に積算してM個の第2の積算値を算出し、(e2)第1の推定値をM個の第1の積算値に基づく近似式を用いて算出し、第2の推定値をM個の第2の積算値に基づく近似式を用いて算出し、(e3)第1の推定値及び第2の推定値に基づいて、前記距離を算出してもよい。この実施形態によれば、第1の値及び第2の値の一部が変動しても、近似式に基づく第1の推定値及び第2の推定値では、変動を含む値の影響が低減される。故に、この距離測定装置によれば、距離の測定精度が更に向上され得る。
以上説明したように、本発明の一側面及び実施形態によれば、フレームレートを低下させず、短い期間で変動するノイズが生じても高い精度で距離を算出することができる距離測定装置が提供され得る。
図1は、一実施形態に係る距離測定装置を概略的に示す図である。 一実施形態に係るセンサの一例を概略的に示す図である。 一実施形態に係るセンサにおける一つの画素ユニットの一例を示す平面図である。 図3のIV−IV線に沿って取った断面図である。 図3のV−V線に沿って取った断面図である。 一実施形態に係るセンサ部の一つの画素ユニットと当該画素ユニット用の対応のサンプルホールド回路の回路図である。 一実施形態に係る処理部の制御及び演算を示すフローチャートである。 一実施形態に係る距離測定装置で利用される各種信号のタイミングチャートである。 別の実施形態に係る処理部の制御及び演算を示すフローチャートである。 更に別の実施形態に係る距離測定装置で利用される各種信号のタイミングチャートである。 更に別の実施形態のセンサの一例を概略的に示す図である。 更に別の実施形態に係るセンサ部の一つの画素ユニットと当該画素ユニット用の対応のサンプルホールド回路の回路図である。
以下、図面を参照して種々の実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
図1は、一実施形態に係る距離測定装置を概略的に示す図である。図1に示す距離測定装置10は、飛行時間法(TOF:Time−of−fligt)法により、対象物と当該距離測定装置10との距離を求める装置である。距離測定装置10は、光源部12、センサ部14、及び処理部16を備えている。
光源部12は、変調光を放出する。一実施形態においては、光源部12は、レーザダイオード12a及びドライバ回路12bを有し得る。ドライバ回路12bは、処理部16からの駆動パルス信号に同期した変調電流を、レーザダイオード12aに供給する。レーザダイオード12aは、変調電流に応じて変調光を放出する。変調光は、例えば、一以上のパルス光を含み得る。
センサ部14は、一実施形態においては、センサ18、デジタル−アナログ変換部(DAC)20、及び、アナログ−デジタル変換部(ADC)22、を有し得る。DAC 20は、処理部16の信号処理部16aからのデジタル信号をアナログ信号に変換して、当該アナログ信号をセンサ18に供給する。ADC 22は、センサ18からのアナログ信号をデジタル信号に変換して、当該デジタル信号を処理部16に供給する。
処理部16は、光源部12の変調光の放出タイミング及びセンサ部14を制御して、距離を算出する。一実施形態においては、処理部16は、信号処理部16a及びメモリ16bを含み得る。信号処理部16aは、例えば、FPGA(Field−Programmable Gate Array)といった演算回路であり、メモリ16bは、SRAM(Static Random Access Memory)である。
図2は、一実施形態に係るセンサの一例を概略的に示す図である。センサ18は、撮像領域IR、サンプルホールド回路群SHG、スイッチ群SWG、水平シフトレジスタ群HSG、信号ラインH1及びH2、並びに、出力アンプOAP1及びOAP2を含んでいる。
一実施形態においては、図2に示すように、センサ18は、一行の画像を取得するラインセンサとして構成されていてもよい。この実施形態においては、撮像領域IRは、水平方向に配列された複数の画素ユニットP(j)を含んでいる。ここで、jは、1〜Jの整数であり、Jは、2以上の整数であり、画素ユニットの個数を示している。
図3は、一実施形態に係るセンサにおける一つの画素ユニットの一例を示す平面図である。図4は、図3のIV−IV線に沿って取った断面図であり、図5は、図3のV−V線に沿って取った断面図である。画素ユニットP(1)〜P(J)は、図3〜図5に示す同一の構造を有している。
図4及び図5に示すように、一実施形態においては、画素ユニットP(j)は、半導体基板SBを含んでいる。半導体基板SBは、例えばシリコン基板である。半導体基板SBは、第1の半導体領域SR1及び第2の半導体領域SR2を含んでいる。第1の半導体領域SR1は、半導体基板SBの一方の主面SBF1を提供するp型の半導体領域である。第2の半導体領域SR2は、第1の半導体領域SR1上に設けられたp−型の半導体領域である。第2の半導体領域SR2の不純物濃度は、第1の半導体領域SR1の不純物濃度以下である。半導体基板SBは、p型の半導体基板上に、p−型の半導体領域をエピタキシャル成長法により堆積させることにより、形成され得る。
半導体基板SBの他方の主面SBF2上には、絶縁膜ISLが形成されている。絶縁膜ISLは、例えば、SiO製である。絶縁膜ISL上には、フォトゲート電極PGが設けられている。フォトゲート電極PGは、例えば、ポリシリコンによって構成される。図3に示すように、一実施形態では、フォトゲート電極PGは、略矩形の平面形状を有し得る。画素ユニットP(j)では、このフォトゲート電極PGの下方に位置する領域が、入射光に感応して電荷を発生する光感応領域として機能する。
図4及び図5に示すように、絶縁膜ISL上には、第1の転送電極TX1、第2の転送電極TX2、及び第3の転送電極TX3が設けられている。これら転送電極TX1〜TX3は、例えば、ポリシリコンによって構成される。図3〜図5に示すように、第1の転送電極TX1及び第2の転送電極TX2は、それらの間にフォトゲート電極PGが存在するように、配置されている。
一実施形態では、図3に示すように、四つの第3の転送電極TX3が絶縁膜ISL上に設けられている。二つの第3の転送電極TX3は、第1の転送電極TX1と第2の転送電極TX2が配列されている方向(以下、「X方向」という)に交差する方向(以下、「Y方向」という)において、第1の転送電極TX1がそれらの間に介在するように、配置されている。また、別の二つの第3の転送電極TX3は、Y方向において第2の転送電極TX2がそれらの間に介在するように、配置されている。
図4に示すように、第2の半導体領域SR2には、第1の蓄積領域fd1及び第2の蓄積領域fd2が形成されている。第1の蓄積領域fd1及び第2の蓄積領域fd2は、光感応領域から転送される電荷を蓄積する。第1の蓄積領域fd1及び第2の蓄積領域fd2は、それらの間に光感応領域が介在するように配置されている。一実施形態では、第1の蓄積領域fd1及び第2の蓄積領域fd2は、n型の不純物が高濃度にドープされたn+型の半導体領域である。絶縁膜ISLは、第1の蓄積領域fd1及び第2の蓄積領域fd2の上方において開口を画成している。これら開口内には、電極13が設けられている。電極13は、例えば、Ti/TiN膜を介して設けられたタングステンから構成される。
X方向においては、第1の転送電極TX1は、第1の蓄積領域fd1上の電極13とフォトゲート電極PGとの間に存在しており、第2の転送電極TX2は、第2の蓄積領域fd2上の電極13とフォトゲート電極PGとの間に配置されている。第1の蓄積領域fd1に光感応領域から電荷を転送するときには、第1の転送電極TX1の下方の半導体領域のポテンシャルを低減させる電圧VTX1が第1の転送電極TX1に与えられる。この電圧VTX1は、信号処理部16aからのデジタル信号に基づいてDAC 20から与えられる。また、第2の蓄積領域fd2に光感応領域から電荷を転送するときには、第2の転送電極TX2の下方の半導体領域のポテンシャルを低減させる電圧VTX2が、第2の転送電極TX2に与えられる。この電圧VTX2は、信号処理部16aからのデジタル信号に基づいてDAC 20から与えられる。
また、図5に示すように、第2の半導体領域SR2には、n+型の半導体領域SR3が形成されている。一実施形態では、四つの半導体領域SR3が設けられている。一対の半導体領域SR3及び別の一対の半導体領域SR3は、それらの間に光感応領域が介在するように設けられている。これら半導体領域SR3の上方において、絶縁膜ISLは、開口を画成しており、これら開口内には、電極13が設けられている。電極13は、例えば、Ti/TiN膜を介して設けられたタングステンから構成される。X方向において、一つの半導体領域SR3上の電極13とフォトゲート電極PGとの間には、対応の第3の転送電極TX3が介在している。半導体領域SR3には、第3の転送電極TX3に電圧VTX3を与えて当該第3の転送電極TX3の下方の半導体領域のポテンシャルを低減させることにより、光感応領域から電荷が転送される。この電圧VTX3は、信号処理部16aからのデジタル信号に基づいてDAC 20から与えられる。半導体領域SR3の電極13は、所定の電位Vddにも接続されている(図6参照)。この電位Vddは、信号処理部16aからのデジタル信号に基づいてDAC 20によって設定される。電圧VTX3を与えて該第3の転送電極TX3の下方の半導体領域のポテンシャルを低減させると、光感応領域の電荷はリセットされる。
以下、図2と共に図6を参照する。図6は、一実施形態に係るセンサ部の一つの画素ユニット及び当該画素ユニット用の対応のサンプルホールド回路の回路図である。図2及び図6に示すように、センサ18のサンプルホールド回路群SHGは、J個の第1のサンプルホールド回路SH1及びJ個の第2のサンプルホールド回路SH2を含んでいる。各第1のサンプルホールド回路SH1及び各第2のサンプルホールド回路SH2は、対応の画素ユニットP(j)(画素ユニットP(1)〜P(J)のうち対応の画素ユニット)に接続されている。即ち、サンプルホールド回路群SHGは、各々が一つの第1のサンプルホールド回路SH1及び一つの第2のサンプルホールド回路を含むJ個のサンプルホールド回路対SHP(1)〜SHP(J)を含んでいる。J個のサンプルホールド回路対SHP(1)〜SHP(J)はそれぞれ、画素ユニットP(1)〜P(J)に対応付けられている。
画素ユニットP(j)は、第1のリセットスイッチRS1、第2のリセットスイッチRS2、並びに、電荷−電圧変換回路A1及びA2を更に含んでいる。第1のリセットスイッチRS1は、リセット電位Vrと第1の蓄積領域fd1上の電極13との間に設けられている。第2のリセットスイッチRS2は、リセット電位Vrと第2の蓄積領域fd2上の電極13との間に設けられている。リセット電位Vrは、信号処理部16aからのデジタル信号に基づいてDAC 20によって設定される。
第1のリセットスイッチRS1及び第2のリセットスイッチRS2には、信号処理部16aからリセットパルス信号Sresが与えられる。リセットパルス信号Sresが第1のリセットスイッチRS1及び第2のリセットスイッチRS2に与えられると、第1の蓄積領域fd1及び第2の蓄積領域fd2は、リセット電位Vrに接続される。これにより、第1の蓄積領域fd1の電荷及び第2の蓄積領域fd2の電荷がリセットされる。第1の蓄積領域fd1及び第2の蓄積領域fd2の電荷がリセットされるタイミングから次ぎにリセットされるタイミングまでの間の期間は、フレーム期間Tf(図8参照)となる。
回路A1の入力は、第1の蓄積領域fd1上の電極13に接続されており、回路A1の出力は、サンプルホールド回路SH1のスイッチSW10に接続されている。回路A1は、第1の蓄積領域fd1の電荷量を電圧に変換し、当該電圧をサンプルホールド回路SH1に提供する。回路A2の入力は、第2の蓄積領域fd2上の電極13に接続されており、回路A2の出力は、サンプルホールド回路SH2のスイッチSW12に接続されている。回路A2は、第2の蓄積領域fd2の電荷量を電圧に変換し、当該電圧をサンプルホールド回路SH2に提供する。
サンプルホールド回路SH1は、スイッチSW10及びキャパシタCP10を含んでいる。また、サンプルホールド回路SH2は、スイッチSW12及びキャパシタCP12を含んでいる。スイッチSW10及びスイッチSW12には、信号処理部16aからサンプリングパルス信号Ssampが与えられる。サンプリングパルス信号SsampがスイッチSW10及びスイッチSW12に与えられると、回路A1の出力とキャパシタCP10とが接続され、回路A2の出力とキャパシタCP12が接続される。これにより、回路A1の出力電圧がキャパシタCP10の両端間に保持され、回路A2の出力電圧がキャパシタCP12の両端間に保持される。
センサ18のスイッチ群SWGは、J個のスイッチSW1及びJ個のスイッチSW2を含んでいる。各スイッチSW1及び各スイッチSW2はそれぞれ、画素ユニットP(1)〜P(J)のうち対応の画素ユニット用のサンプルホールド回路SH1のキャパシタCP10、及びサンプルホールド回路SH2のキャパシタCP12に、接続されている。即ち、スイッチ群SWGは、各々が一つのスイッチSW1及び一つのスイッチSW2を含むJ個のスイッチ対SWP(1)〜SWP(J)を含んでいる。J個のスイッチ対SWP(1)〜SWP(J)はそれぞれ、サンプルホールド回路対SHP(1)〜SHP(J)に対応付けられている。
スイッチSW1及びスイッチSW2には、読み出しパルス信号Sreadが与えられる。読み出しパルス信号Sreadは、水平シフトレジスタ群HSGから供給される。水平シフトレジスタ群HSGは、J個の水平シフトレジスタを有している。水平シフトレジスタは、例えば、フリップフロップを含み得る。これら水平シフトレジスタは、画素ユニットP(1)〜P(J)の配列方向に配列されている。水平シフトレジスタ群HSG内の一端に設けられた水平シフトレジスタには、信号処理部16aからスタート信号が与えられる。また、全ての水平シフトレジスタには、信号処理部16aからクロック信号が与えられる。これらスタート信号及びクロック信号に応じて、J個の水平シフトレジスタはそれぞれ、読み出しパルス信号Sreadをスイッチ対SWP(1)〜SWP(J)に順次与える。
このように読み出しパルス信号Sreadが与えられることにより、サンプルホールド回路対SHP(1)〜SHP(J)のサンプルホールド回路SH1及びサンプルホールド回路SH2が、信号ラインH1及び信号ラインH2に順次接続される。
より具体的には、読み出しパルス信号SreadがスイッチSW1及びSW2に与えられると、サンプルホールド回路SH1のキャパシタCP10及びサンプルホールド回路SH2のキャパシタCP12はそれぞれ、信号ラインH1及び信号ラインH2に接続される。これにより、サンプルホールド回路SH1に保持された電圧が信号ラインH1を介して出力アンプOAP1に入力される。また、サンプルホールド回路SH2に保持された電圧が信号ラインH2を介して出力アンプOAP2に入力される。出力アンプOAP1及び出力アンプOAP2はそれぞれ、入力された電圧を増幅して、増幅した電圧をADC 22に出力する。
ADC22は、入力された電圧信号を当該電圧信号の大きさに応じた値を有するデジタル値に変換する。ADC22によって出力されるデジタル値は、処理部16のメモリ16bに記憶される。本実施形態では、出力アンプOAP1からの電圧信号に基づくデジタル値は、後述する第1の読出し値として、メモリ16bに記憶される。第1の読出し値は、第1の蓄積領域fd1の蓄積電荷量が多いほど小さい値となる。また、出力アンプOAP2からの電圧信号に基づくデジタル値は、後述する第2の読出し値として、メモリ16bに記憶される。第2の読出し値は、第2の蓄積領域fd2の蓄積電荷量が多いほど小さい値となる。
以下、処理部16の制御及び演算について説明する。図7は、一実施形態に係る処理部16の制御及び演算を示すフローチャートである。また、図8は、一実施形態に係る距離測定装置で利用される各種信号のタイミングチャートである。処理部16は、各画素ユニットについて、図7及び図8を参照して以下に説明する制御及び演算を行う。
一実施形態においては、処理部16の信号処理部16aは、まず、第1のリセットスイッチRS1及び第2のRS2にリセットパルス信号Sresを与えて、第1の蓄積領域fd1及び第2の蓄積領域fd2をリセット電位Vrに接続する。これにより、第1の蓄積領域fd1に蓄積された電荷及び第2の蓄積領域fd2に蓄積された電荷がリセットされて、フレーム期間Tfが開始される(ステップS11)。このフレーム期間は、次に、第1のリセットスイッチRS1及び第2のRS2にリセットパルス信号Sresが与えられるまで継続する。
次いで、処理部16は、第1の値Q1dc(0)及び第2の値Q2dc(0)をセンサ部14から取得して、当該第1の値Q1dc(0)及び第2の値Q2dc(0)を、初期値としてメモリ16bに記憶する(ステップS12)。
具体的に、信号処理部16aは、初回の第1の電荷転送サイクルCy1の開始前に、サンプリングパルス信号Ssampを、スイッチSW10及びSW12に与える。これにより、初回の第1の電荷転送サイクルCy1より前の時点に第1の蓄積領域fd1に蓄積されている電荷量に対応する電圧がサンプルホールド回路SH1に保持され、当該時点に第2の蓄積領域fd2に蓄積されている電荷量に対応する電圧がサンプルホールド回路SH2に保持される。
次いで、信号処理部16aは、水平シフトレジスタから読み出しパルス信号SreadがスイッチSW1及びSW2に与えられるよう、水平シフトレジスタ群HSGにスタート信号及びクロック信号を与える。これにより、第1の値Q1dc(0)及び第2の値Q2dc(0)が取得される。第1の値Q1dc(0)及び第2の値Q2dc(0)は、リセットパルス信号Sresの出力タイミングから最初のサンプリングパルス信号Ssampの出力タイミングまでの間に、第1の蓄積領域fd1に蓄積された電荷量及び第2の蓄積領域fd2に蓄積された電荷量にそれぞれ対応している。したがって、第1の値Q1dc(0)及び第2の値Q2dc(0)は、光源部12からの変調光が対象物から反射することにより発生する信号光成分を反映していない。
次いで、信号処理部16aは、nを1にセットして(ステップS13)、1回目〜N回目の第1及び第2の電荷転送サイクル及び1回目〜N回の第1及び第2の読出しサイクルを以下に説明するように試みる。ここで、「N」は、予め設定された最大のサイクルの順番を示している。
まず、信号処理部16aは、n回目の第1の電荷転送サイクルCy1において、光源部12に駆動パルス信号SLを与えて、光源部12から変調光を放出させる(ステップS14)。光源部12からの変調光の放出期間の時間長は、T0である。なお、信号処理部16aは、駆動パルス信号SLとして、期間T0内に複数のパルス信号を光源部12に与えて、当該光源部12に複数のパルス光を放出させてもよい。
信号処理部16aは、n回目の第1の電荷転送サイクルCy1の第1の転送期間T1内に第1の転送電極TX1にHighレベルの電圧信号VTX1が与えられるよう、デジタル信号をセンサ部14に与える。また、信号処理部16aは、n回目の第1の電荷転送サイクルCy1の第2の転送期間T2内に第2の転送電極TX2にHighレベルの電圧信号VTX2が与えられるよう、デジタル信号をセンサ部14に与える。
第1の転送期間T1は、駆動パルス信号SLと同期している。即ち、駆動パルス信号SLの立ち上がりタイミングと電圧信号VTX1の立ち上がりのタイミングは略同期しており、駆動パルス信号SLの持続時間T0と第1の転送期間T1は、略同一の時間長である。
また、第2の転送期間T2は、第1の転送期間T1と位相反転している。即ち、第2の転送期間T2の位相は、第1の転送期間T1の位相から180度遅れている。より具体的には、電圧信号VTX1の立ち下がりタイミングと電圧信号VTX2の立ち上がりタイミングは略同期しており、第1の転送期間T1と第2の転送期間T2は、略同一の時間長である。なお、本実施形態では、第1の電荷転送サイクルCy1は、一つの第1の転送期間T1及び一つの第2の転送期間T2を含んでいる。
また、一実施形態においては、第1の電荷転送サイクルCy1の第1の転送期間T1及び第2の転送期間T2の間、信号処理部16aは、第3の転送電極TX3にLowレベルの電圧信号VTX3が与えられるよう、デジタル信号をセンサ部14に与える。第3の転送電極TX3には、第1の電荷転送サイクルCy1内の第1の転送期間T1及び第2の転送期間T2以外の期間に、Highレベルの電圧信号VTX3が与えられる。したがって、第1の電荷転送サイクルCy1の第1の転送期間T1及び第2の転送期間T2においては、光感応領域への入射光に応じた電荷は半導体領域SR3に転送されないが、第1の電荷転送サイクルCy1の第1の転送期間T1及び第2の転送期間T2以外の期間では、光感応領域に発生した電荷は半導体領域SR3に転送されて、除去される。
次いで、信号処理部16aは、第1の蓄積領域fd1に蓄積された電荷の量に対応する第1の読出し値Q1ac(n)及び第2の蓄積領域fd2に蓄積された電荷の量に対応する第2の読出し値Q2ac(n)をセンサ部14から取得して、第1の読出し値Q1ac(n)及び第2の読出し値Q2ac(n)をメモリ16bに記憶する(ステップS15)。
具体的に、信号処理部16aは、n回目の第1の電荷転送サイクルの終了時点とn回目の第2の電荷転送サイクルの開始時点との間の時点に、サンプリングパルス信号SsampをスイッチSW10及びスイッチSW12に与る。これにより、第1の電荷転送サイクルの終了時と次の第2の電荷転送サイクルの開始時との間の時点に第1の蓄積領域fd1に蓄積されている電荷量に対応する電圧がサンプルホールド回路SH1に保持され、当該時点に第2の蓄積領域fd2に蓄積されている電荷量に対応する電圧がサンプルホールド回路SH2に保持される。
次いで、信号処理部16aは、n回目の第1の読出しサイクルにおいて、水平シフトレジスタから読み出しパルス信号SreadがスイッチSW1及びSW2に与えられるよう、水平シフトレジスタ群HSGにスタート信号及びクロック信号を与える。これにより、処理部16は、第1の読出し値Q1ac(n)及び第2の読出し値Q2ac(n)をセンサ部14から取得する。第1の読出し値Q1ac(n)は、n回目の第1の電荷転送サイクルの終了時とn回目の第2の電荷転送サイクルの開始時との間の時点に第1の蓄積領域fd1に蓄積されている電荷量に応じた値であり、第2の読出し値Q2ac(n)は、当該時点に第2の蓄積領域fd2に蓄積されている電荷量に対応する値である。
次いで、信号処理部16aは、n回目の第2の電荷転送サイクルCy2において、光源部12の変調光の放出を停止させる(ステップS16)。即ち、第2の電荷転送サイクルCy2では、信号処理部16aは、光源部12に駆動パルス信号を供給しない。
信号処理部16aは、n回目の第2の電荷転送サイクルCy2の第3の転送期間T3内に第1の転送電極TX1にHighレベルの電圧信号VTX1が与えられるよう、デジタル信号をセンサ部14に与える。また、信号処理部16aは、n回目の第2の電荷転送サイクルCy2の第4の転送期間T4内に第2の転送電極TX2にHighレベルの電圧信号VTX2が与えられるよう、デジタル信号をセンサ部14に与える。
第3の転送期間T3の位相と第4の転送期間T4の位相との関係は、第1の転送期間T1の位相と第2の転送期間T2の位相との関係と同一である。また、第1の転送期間T1、第2の転送期間T2、第3の転送期間T3、及び第4の転送期間T4は、略同一の時間長である。
また、n回目の第2の電荷転送サイクルCy2においても、第3の転送期間T3及び第4の転送期間T4の間、信号処理部16aは、第3の転送電極TX3にLowレベルの電圧信号VTX3が与えられるよう、デジタル信号をセンサ部14に与える。また、信号処理部16aは、第2の電荷転送サイクルCy2内の第3の転送期間T1及び第4の転送期間T4以外の期間に、第3の転送電極TX3にHighレベルの電圧信号VTX3が与えられるよう、デジタル信号をセンサ部14に与える。
次いで、信号処理部16aは、第1の蓄積領域fd1に蓄積されている電荷量に対応する第1の読出し値Q1dc(n)及び第2の蓄積領域fd2に蓄積されている電荷量に対応する第2の読出し値Q2dc(n)をセンサ部14から取得して、当該第1の読出し値Q1dc(n)及び第2の読出し値Q2dc(n)をメモリ16bに記憶する(ステップS17)。
具体的に、信号処理部16aは、n回目の第2の電荷転送サイクルの終了時とn+1回目の第1の電荷転送サイクルの開始時との間に、サンプリングパルス信号SsampをスイッチSW10及びスイッチSW12に与える。これにより、第2の電荷転送サイクルの終了時と次の第1の電荷転送サイクルの開始時の間の時点に第1の蓄積領域fd1に蓄積されている電荷量に対応する電圧がサンプルホールド回路SH1に保持され、当該時点に第2の蓄積領域fd2に蓄積されている電荷量に対応する電圧がサンプルホールド回路SH2に保持される。
次いで、信号処理部16aは、n回目の第2の読出しサイクルにおいて、水平シフトレジスタから読み出しパルス信号SreadがスイッチSW1及びSW2に与えられるよう、水平シフトレジスタ群HSGにスタート信号及びクロック信号を与える。これにより、処理部16は、第1の読出し値Q1dc(n)及び第2の読出し値Q2dc(n)をセンサ部14から取得する。第1の読出し値Q1dc(n)は、n回目の第2の電荷転送サイクルの終了時とn+1回目の第1の電荷転送サイクルの開始時との間の時点に第1の蓄積領域fd1に蓄積されている電荷量に応じた値であり、第2の読出し値Q2dc(n)は、当該時点に第2の蓄積領域fd2に蓄積されている電荷量に対応する値である。
次いで、信号処理部16aは、第1の値Q1(n)及び第2の値Q2(n)を算出する(ステップS18)。具体的には、第1の値Q1(n)は、第1の読出し値Q1ac(n)の2倍の値から第1の読出し値Q1dc(n−1)及び第1の読出し値Q1dc(n)を差し引いた値として求められる。また、第2の値Q2(n)は、第2の読出し値Q2ac(n)の2倍の値から第2の読出し値Q2dc(n−1)及び第2の読出し値Q2dc(n)を差し引いた値として求められる。
次いで、信号処理部16aは、差分値k1(n)及び差分値k2(n)を算出する(ステップS19)。差分値k1(n)は、n回目の第2の読出しサイクルの第1の読出し値Q1dc(n)とn−1回目の第2の読出しサイクルの第1の読出し値Q1dc(n−1)との差分を求めることにより、得られる。また、差分値k2(n)は、n回目の第2の読出しサイクルの第2の読出し値Q2dc(n)とn−1回目の第2の読出しサイクルの第2の読出し値Q2dc(n−1)との差分を求めることにより、得られる。なお、第1の読出し値Q1dc(0)としてはQ1(0)が、第2の読出し値Q2dc(0)としてはQ2(0)が、代用され得る。
次いで、信号処理部16aは、第1の予測値Q1dc(n+1)及び第2の予測値Q2dc(n+1)を求める(ステップS20)。第1の予測値Q1dc(n+1)は、第1の読出し値Q1dc(n)と差分値k1(n)との和を求めることにより、得られる。また、第2の予測値Q2dc(n+1)は、第1の読出し値Q2dc(n)と差分値k2(n)との和を求めることにより、得られる。第1の予測値Q1dc(n+1)は、n+1回目の第2の読み出しサイクルの第1の読出し値の予測値である。また、第2の予測値Qdc(n+1)は、n+1回目の第2の読み出しサイクルの第2の読出し値の予測値である。
次いで、信号処理部16aは、第1の予測値Q1dc(n+1)及び第2の予測値Q2dc(n+1)を所定の閾値Qthと比較する(ステップS21)。一実施形態においては、閾値Qthは、第1の蓄積領域fd1の飽和蓄積容量に対応する第1の読出し値以上、且つ、第2の蓄積領域fd2の飽和蓄積容量に対応する第2の読出し値以上の数値であるよう設定されている。第1の予測値Q1dc(n+1)が閾値Qth以上であり、且つ、第2の予測値Q2dc(n+1)が閾値Qth以上である場合には、ステップS21の判定結果は「No」となり、信号処理部16aの処理はステップS22に進む。ステップS22では、nがN以上であるか否かがテストされる。ステップS22においてnがNより小さい場合には、信号処理部16aは、nの値を1だけ増分し(ステップS23)、ステップS14からの処理を繰り返す。一方、ステップS22においてnがN以上である場合には、信号処理部16aの処理はステップS24に進む。
また、ステップS21の比較の結果、第1の予測値Q1dc(n+1)又は第2の予測値Q2dc(n+1)が閾値Qthを超える、即ち、閾値よりも小さい場合には、信号処理部16aの処理はステップS24に進む。したがって、処理部16は、第1の予測値Q1dc(n+1)又は第2の予測値Q2dc(n+1)が閾値Qthを超える場合には、n+1回目以降の第1の読出しサイクル及びn+1回目以降の第2の読出しサイクルの読出し値の取得及び記憶を停止する。
閾値Qthが、第1の蓄積領域fd1の飽和蓄積容量に対応する第1の読出し値及び第2の蓄積領域fd2の飽和蓄積容量に対応する第2の読出し値のうち大きい方の読出し値と同値である場合には、処理部16は、第1の蓄積領域fd1の飽和蓄積容量に対応する読出し値を超えない範囲の第1の読出し値を取得することができ、第2の蓄積領域fd2の飽和蓄積容量に対応する読出し値を超えない範囲の第2の読出し値を取得することができる。その結果、測定距離のダイナミックレンジが向上され得る。また、距離の測定精度が向上され得る。さらに、信号処理部16aのステップS24以後の演算を早期に開始することも可能である。
一実施形態においては、閾値Qthは、第1の蓄積領域fd1の飽和蓄積容量に対応する第1の読出し値及び第2の蓄積領域fd2の飽和蓄積容量に対応する第2の読出し値のうち大きい方の読出し値よりも大きな値に設定されていてもよい。この実施形態によれば、第1の蓄積領域fd1及び第2の蓄積領域fd2それぞれの蓄積電荷量と入射光量との関係の線形性が優れた範囲で、センサ部14を利用することができる。したがって、距離の測定精度がより向上され得る。
次に、信号処理部16aは、第1の推定値Q1est及び第2の推定値Q2estを求める(ステップS24)。第1の推定値Q1estは、M個の第1の値Q1(1,...,M)に基づいて算出される。具体的には、式(1)に示すように、M個の第1の値Q1(1,...,M)を積算した値に値Q1dc(0)を加算することにより、第1の推定値Q1estが算出される。
Figure 0005876289

また、第2の推定値Q2estは、M個の第2の値Q2(1,...,M)に基づいて算出される。具体的には、式(2)に示すように、M個の第2の値Q2(1,...,M)を積算した値に値Q2dc(0)を加算することにより、第2の推定値Q2estが算出される。
Figure 0005876289

ここで、「n」が「N」である場合、即ち、予め定めた最大数Nまで、第1の読出しサイクル及び第2の読出しサイクルが行われている場合には、「M」は、「N」となる。一方、予め定めた最大数Nまで、第1の読出しサイクル及び第2の読出しサイクルが行われていない場合には、「M」は最終の第1の読出しサイクル及び第2の読出しサイクルの順番を示す数値となる。
次いで、信号処理部16aは、距離を算出する(ステップS25)。具体的には、信号処理部16aは、下記の式(3)の演算により、距離Lを算出する。
Figure 0005876289

ここで、cは光速であり、αは同量の入射光が第1の転送期間T1及び第2の転送期間T2に光感応領域に入射したときの第1の読出し値と第2の読出し値の比である。
一実施形態においては、信号処理部16aは、各画素について算出した距離に応じた濃淡値を有する1行の距離画像を出力する。また、一実施形態においては、信号処理部16aはフレーム期間ごとに距離画像を更新するよう、図7及び図8を用いて説明した制御及び演算を繰り返してもよい。
ここで、Q1ac(n)、Q1dc(n)、Q2ac(n)、Q2dc(n)は、下記の式(4)により表わされる。
Figure 0005876289

なお、q1aaは、n回目の第1の電荷転送サイクルにおける第1の蓄積領域の電荷量の増加分のうち変調光に対する対象物からの反射光、即ち信号光に基づく電荷量の増加分に対応する値である。q2aaは、n回目の第1の電荷転送サイクルにおける第2の蓄積領域の電荷量の増加分のうち信号光に基づく電荷量の増加分に対応する値である。q1adは、n回目の第1の電荷転送サイクルにおける第1の蓄積領域の電荷量の増加分のうち信号光以外の要因に基づく電荷量の増加分に対応する値である。q2adは、n回目の第1の電荷転送サイクルにおける第2の蓄積領域の電荷量の増加分のうち信号光以外の要因に基づく電荷量の増加分に対応する値である。q1ddは、n回目の第2の電荷転送サイクルにおける第1の蓄積領域の電荷量の増加分に対応する値である。また、q2ddは、n回目の第2の電荷転送サイクルにおける第2の蓄積領域の電荷量の増加分に対応する成分である。
したがって、第1の値Q1(n)及び第2の値Q2(n)は、下記の式(5)及び式(6)により表わされる。
Figure 0005876289

Figure 0005876289

よって、第1の値Q1(n)は、n回目の第1の電荷転送サイクルにおける第1の蓄積領域の電荷量の増加分のうち信号光に基づく電荷量の増加分を表している。また、第2の値Q2(n)は、n回目の第の電荷転送サイクルにおける第2の蓄積領域の電荷量の増加分のうち信号光に基づく電荷量の増加分を表している。
ステップS18、ステップS24、及びステップS25の演算を参照すれば明らかなように、第1の推定値Q1estは、第1の値Q1に基づいて算出されており、第2の推定値Q2estは第2の値Q2に基づいて算出されている。したがって、式(3)の演算により算出される距離Lは、第1の値Q1及び第2の値Q2に基づいており、ノイズを除去した値に基づいて求められる。故に、距離測定装置10は、フレームレートを低下させず、短い期間で変動する背景光等のノイズが生じても高い精度で距離を算出することができる。
また、上述した実施形態では、第1の読出しサイクルに含まれる第1の転送期間の回数及び第2の転送期間の回数はそれぞれ、一回である。したがって、各サイクルの時間長を短くすることができる。故に、この実施形態によれば、より短い期間で変動するノイズが生じても、高い精度で距離を算出することが可能となる。
一実施形態においては、信号処理部16aは、第1の推定値Q1est及び第2の推定値Q2estを、以下に説明するように算出してもよい。即ち、信号処理部16aは、式(7)に示すように、第1の値Q1(1,...,M)を順に積算して、M個の第1の積算値Q1int(1,...,M)を求め、第2の値Q1(1,...,M)を順に積算して、M個の第2の積算値Q2int(1,...,M)を求める。
Figure 0005876289
次いで、信号処理部16aは、M個の第1の積算値Q1int(1,...,M)に基づく近似式及びM個の第2の積算値Q2int(1,...,M)に基づく近似式を用いて、第1の積算値Q1intの補正値及び第2の積算値Q2intの補正値を算出する。そして、信号処理部16aは、第1の積算値Q1intの補正値と値Q1dc(0)との和を求めることにより、第1の推定値Q1estを算出する。同様に、信号処理部16aは、第2の積算値Q2intの補正値と値Q2(0)との和を求めることにより、第2の推定値Q2estを算出する。一実施形態においては、第1の積算値Q1intの補正値は、M個の第1の値Q1(1,...,M)の全ての積算値の補正値であり、第2の積算値Q2intの補正値は、M個の第2の値Q2(1,...,M)の全ての積算値の補正値であり得る。なお、近似式は、最小自乗法に基づいて作成され得る。また、その他の公知の近似式の作成方法が用いられてもよい。
この実施形態では、第1の推定値Q1estは、近似式を用いて算出した第1の積算値Q1intの補正値に基づいており、第2の推定値Q2estは、近似式を用いて算出した第2の積算値Q2intの補正値に基づいている。したがって、M個の第1の値Q1(1,...,M)及びM個の第2の値Q2(1,...,M)の一部が外乱等により変動しても、近似式に基づく第1の推定値Q1est及び第2の推定値Q2estでは、変動を含む読出し値の影響が低減され得る。故に、距離の測定精度が更に向上され得る。
以下、別の実施形態について説明する。図9は、別の実施形態に係る処理部の制御及び演算を示すフローチャートである。距離測定装置10の処理部16は、図9に示す制御及び演算を行ってもよい。距離測定装置10の処理部16は、図9のフローチャートに示す制御及び演算においては、図7のステップS18〜ステップS21が行われない。即ち、予め定められたN回の第1及び第2の読出しサイクルまでステップS14〜ステップS17の処理が行われる。
次いで、処理部16の信号処理部16aは、実行したN回の第1及び第2の読出しサイクルのうち最良のM回目の第1及び第2の読出しサイクルを特定する(ステップS26)。一実施形態では、最良のM回目の読出しサイクルは、N回の読出しサイクルのうち、所定の閾値を超えない、即ち所定の閾値以上である第1の読出し値Q1dc及び第2の読出し値Q2dcが取得された最大の読出しサイクルとして求められ得る。この所定の閾値は、第1の蓄積領域fd1の飽和電荷量に対応する読出し値、及び、第2の蓄積領域fd2の飽和電荷量に対応する読出し値のうち大きい方の読出し値以上の値として設定され得る。
次いで、第1の推定値Q1est及び第2の推定値Q2estを算出する(ステップS27)。一実施形態においては、第1の推定値Q1estは、式(8)に示すように、ステップS18及びステップS24にて上述した第1の値Q1(1,...M)の積算値と値Q1dc(0)との加算により求められる。また、第2の推定値Q2estは、第2の値Q2(1,...M)の積算値と値Q2dc(0)との加算により求められる。
Figure 0005876289
別の実施形態においては、第1の推定値Q1estは、M個の第1の値Q1(1,...M)を求め、式(7)に示すように第1の値Q1(1,...,M)を順に積算して、M個の第1の積算値Q1int(1,...,M)を求め、M個の第1の積算値Q1int(1,...,M)に基づく近似式を用いて第1の積算値Q1intの補正値を算出し、当該補正値とQ1dc(0)との和を求めることにより、得られる。また、第2の推定値Q2estは、M個の第2の値Q2(1,...M)を求め、式(7)に示すように第2の値Q2(1,...,M)を順に積算して、M個の第2の積算値Q2int(1,...,M)を求め、M個の第2の積算値Q2int(1,...,M)に基づく近似式を用いて第2の積算値Q2intの補正値を算出し、当該補正値とQ2dc(0)との和を求めることにより、得られる。
図9に示すフローチャートにおいては、信号処理部16aは、ステップS27で得られた第1の推定値Q1est及び第2の推定値Q2estを用いて、式(3)に従い距離Lを算出する。このように、予め定められたN回の第1及び第2の読出しサイクルの後に、最良のサイクルMを特定して、距離Lを算出してもよい。
次に、図10を参照して、更に別の実施形態について説明する。図10は、別の実施形態に係る距離測定装置で利用される各種信号のタイミングチャートである。図10のタイミングチャートに示すように、一実施形態においては、各第1の電荷転送サイクルCy1内に、光源部12から変調光の複数回の放出期間が設けられている。即ち、各第1の電荷転送サイクルCy1における複数の放出期間において、駆動パルス信号が光源部12に与えられる。
図10においては、各第1の電荷転送サイクルCy1において、変調光の三回の放出期間が設けられている。各回の変調光の放出期間に同期して第1の転送期間T1が設けられており、第1の転送期間T1と位相反転した第2の転送期間T2が設けられている。したがって、各第1の電荷転送サイクルCy1には、3回の第1の転送期間T1及び3回の第2の転送期間T2が設けられている。また、各第2の電荷転送サイクルCy2の第3の転送期間T3の時間長は、第1の転送期間T1の3倍の時間長に設定されており、各第2の電荷転送サイクルCy2の第4の転送期間T4の時間長は、第2の転送期間T2の時間長の3倍の時間長に設定されている。
したがって、各第1の電荷転送サイクルCy1において第1の蓄積領域fd1に電荷を蓄積させる時間長、各第1の電荷転送サイクルCy1において第2の蓄積領域fd2に電荷を蓄積させる時間長、各第2の電荷転送サイクルCy2において第1の蓄積領域fd1に電荷を蓄積させる時間長、及び、各第2の電荷転送サイクルCy2において第2の蓄積領域fd2に電荷を蓄積させる時間長は、実質的に同じ時間長となる。このように、第各第1の電荷転送サイクルCy1内に、複数回の変調光の放出期間、複数回の第1の転送期間T1、及び複数回の第2の転送期間T2が設けられていてもよい。
以下、図11及び図12を参照して更に別の実施形態について説明する。図11は、更に別の実施形態に係るセンサの一例を示す図である。図12は、更に別の実施形態に係るセンサ部の一つの画素ユニットと当該画素ユニット用の対応のサンプルホールド回路の回路図である。距離測定装置10は、センサ18に代えて、図11に示すセンサ18Aを有していてもよい。センサ18Aは、I×J個の画素ユニットP(i,j)を有する撮像領域IRを有している。ここで、iは1〜Iの整数であり、jは1〜Jの整数であり、I及びJは2以上の整数である。I×J個の画素ユニットP(i,j)は、I行J列に配列されている。撮像領域IRには、画素ユニットの各列用の二つの垂直信号ラインV1(j)及びV2(j)が設けられている。
図12に示すように、センサ18Aの画素ユニットP(i,j)の回路A1の出力にはスイッチSW20が接続されており、当該スイッチSW20は対応の垂直信号ラインV1(j)を介して対応のサンプルホールド回路SH1のスイッチSW10に接続されている。また、画素ユニットP(i,j)の回路A2の出力にはスイッチSW22が接続されており、当該スイッチSW22は対応の垂直信号ラインV2(j)を介して対応のサンプルホールド回路SH2のスイッチSW12に接続されている。
センサ18Aは、更に垂直シフトレジスタ群VSGを更に有している。垂直シフトレジスタ群VSGは、垂直方向に配列された複数の垂直シフトレジスタを含んでいる。各垂直シフトレジスタは例えばフリップフロップを含んでいる。配列方向において一端に設けられた垂直シフトレジスタには、信号処理部16aからスタート信号が与えられる。また、全ての垂直シフトレジスタには、信号処理部16aからクロック信号が与えられる。垂直シフトレジスタ群VSGは、スタート信号及びクロック信号を受けると、複数の画素ユニットP(i,j)のスイッチSW20及びスイッチSW22に、行選択信号を行順に順次与える。これにより、各列の複数の画素ユニット(i,j)の回路A1及びA2の出力は、対応の垂直信号ラインV1(j)及びV2(j)に順次接続されて、複数の画素ユニットP(i,j)の出力電圧が、対応のサンプルホールド回路SH1及びSH2に、行順に順次保持される。また、各行内の複数の画素ユニット(j,i)の出力電圧が対応のサンプルホールド回路SH1及びSH2に保持されると、サンプルホールド回路SH1及びSH2に保持された電圧は、水平シフトレジスタ群HSGから与えられる読み出しパルス信号により、信号ラインH1及びH2に列順に順次結合される。そして、図7又は図9で説明した演算を各画素ユニットについて行うことにより、信号処理部16aは二次元の距離画像を形成することができる。
なお、上述した実施形態に限定されることなく種々の変形態様を構成可能である。例えば、図11に示した実施形態では、画素ユニットの列ごとに対応のサンプルホールド回路SH1及びSH2が設けられているが、画素ユニットごとに対応のサンプルホールド回路SH1及びSH2が設けられていてもよい。また、撮像領域IRの画素ユニットの個数は、一つであってもよい。また、図7及び図9で説明したフローチャートにおける複数のステップの順序は、それら実施形態の目的と矛盾しない範囲で任意に変更可能である。
10…距離測定装置、12…光源部、12a…レーザダイオード、12b…ドライバ回路、14…センサ部、16…処理部、16a…信号処理部、16b…メモリ、18…センサ、20…DAC(デジタル−アナログ変換部)、22…ADC(アナログ−デジタル変換部)、fd1…第1の蓄積領域、fd2…第2の蓄積領域、TX1…第1の転送電極、TX2…第2の転送電極、A1…電荷−電圧変換回路(第1の変換部)、A2…電荷−電圧変換回路(第2の変換部)、SH1…第1のサンプルホールド回路、SH2…第2のサンプルホールド回路。

Claims (7)

  1. 飛行時間法により対象物に対する距離を求める距離測定装置であって、
    変調光を放出する光源部と、
    入射光に応じて電荷を発生する光感応領域、前記光感応領域で発生した電荷を蓄積する第1の蓄積領域及び第2の蓄積領域、前記光感応領域と前記第1の蓄積領域との間に設けられた第1の転送電極、前記光感応領域と前記第2の蓄積領域との間に設けられた第2の転送電極、前記第1の蓄積領域とリセット電位との間に設けられた第1のリセットスイッチ、並びに、前記第2の蓄積領域とリセット電位との間に設けられた第2のリセットスイッチを有するセンサ部と、
    前記変調光の放出タイミング及び前記センサ部を制御して、距離を算出する処理部と、
    を備え、
    前記処理部は、
    前記第1のリセットスイッチ及び前記第2のリセットスイッチを制御して前記第1の蓄積領域及び前記第2の蓄積領域を前記リセット電位に接続してから該第1の蓄積領域及び該第2の蓄積領域を次に前記リセット電位に接続するまでのフレーム期間内の複数の第1の電荷転送サイクルにおいて、一以上の放出期間に前記光源部に前記変調光を放出させ、前記一以上の放出期間に同期した一以上の第1の転送期間に前記第1の転送電極に与える電圧を制御して前記光感応領域で発生した電荷を前記第1の蓄積領域に蓄積させ、前記一以上の第1の転送期間と位相反転した一以上の第2の転送期間に前記第2の転送電極に与える電圧を制御して前記光感応領域で発生した電荷を前記第2の蓄積領域に蓄積させ、
    前記フレーム期間内の複数の第2の電荷転送サイクルであり前記複数の第1の電荷転送サイクルと交互の該複数の第2の電荷転送サイクルにおいて、前記光源部に前記変調光を放出させず、第3の転送期間に前記第1の転送電極に与える電圧を制御して前記光感応領域で発生した電荷を前記第1の蓄積領域に蓄積させ、前記第3の転送期間と位相反転した第4の転送期間に前記第2の転送電極に与える電圧を制御して前記光感応領域で発生した電荷を前記第2の蓄積領域に蓄積させ、
    前記複数の第1の電荷転送サイクルのそれぞれに対応する複数の第1の読出しサイクルにおいて、該複数の第1の電荷転送サイクルのそれぞれと次の前記第2の電荷転送サイクルの間の時点に前記第1の蓄積領域に蓄積されている電荷量に応じた第1の読出し値及び該時点に前記第2の蓄積領域に蓄積されている電荷量に応じた第2の読出し値を、前記センサ部から取得し、
    前記複数の第2の電荷転送サイクルのそれぞれに対応する複数の第2の読出しサイクルにおいて、該複数の第2の電荷転送サイクルのそれぞれと次の前記第1の電荷転送サイクルの間の時点に前記第1の蓄積領域に蓄積されている電荷量に応じた別の第1の読出し値及び該時点に前記第2の蓄積領域に蓄積されている電荷量に応じた別の第2の読出し値を、前記センサ部から取得し、
    n回目の前記第1の読出しサイクルの前記第1の読出し値の2倍の値からn回目及びn−1回目の前記第2の読出しサイクルの前記別の第1の読出し値を差し引いた値である第1の値、及び、n回目の前記第1の読出しサイクルの前記第2の読出し値の2倍の値からn回目及びn−1回目の前記第2の読出しサイクルの前記別の第2の読出し値を差し引いた値である第2の値を算出して、M個の第1の値及びM個の第2の値を求め、ここで、nは前記複数の第1の読出しサイクル及び前記複数の第2の読出しサイクルの順番を示し、
    前記M個の第1の値及び前記M個の第2の値に基づいて、距離を算出する、
    距離測定装置。
  2. 前記第1の電荷転送サイクルにおいて前記第1の蓄積領域に電荷を蓄積させる時間長、前記第1の電荷転送サイクルにおいて前記第2の蓄積領域に電荷を蓄積させる時間長、前記第2の電荷転送サイクルにおいて前記第1の蓄積領域に電荷を蓄積させる時間長、及び、前記第2の電荷転送サイクルにおいて前記第2の蓄積領域に電荷を蓄積させる時間長は、実質的に同じ時間長である、請求項1に記載の距離測定装置。
  3. 前記複数の第1の電荷転送サイクルの各々は、一回の前記第1の転送期間、及び、一回の前記第2の転送期間を含む、請求項1又は2に記載の距離測定装置。
  4. 前記処理部は、
    前記複数の第2の読出しサイクルのうち、前記別の第1の読出し値及び前記別の第2の読出し値が所定の閾値を超えない最終の第2の読出しサイクルを特定し、
    該最終の第2の読出しサイクルまでに得られた一以上の前記第1の読出し値及び以上の前記別の第1の読出し値に基づいて前記M個の第1の値を求め、該最終の第2の読出しサイクルまでに得られた一以上の前記第2の読出し値及び以上の前記別の第2の読出し値に基づいて前記M個の第2の値を求める、
    請求項1〜3の何れか一項に記載の距離測定装置。
  5. 前記処理部は、n回目の前記第2の読出しサイクルの前記別の第1の読出し値と、n回目の前記第2の読出しサイクルの前記別の第1の読出し値とn−1回目の前記第2の読出しサイクルの前記別の第1の読出し値との間の差分値との和、又は、n回目の前記第2の読出しサイクルの前記別の第2の読出し値と、n回目の前記第2の読出しサイクルの前記別の第2の読出し値とn−1回目の前記第2の読出しサイクルの前記別の第2の読出し値との間の差分値との和が、所定の閾値を超える場合に、n+1回目以降の前記第1の読出しサイクル及び前記第2の読出しサイクルを停止し、
    最終の読出しサイクルであるn回目の前記第2の読出しサイクルまでに得られた一以上の前記第1の読出し値及び以上の前記別の第1の読出し値に基づいて前記M個の第1の値を求め、該最終の読出しサイクルまでに得られた一以上の前記第2の読出し値及び以上の前記別の第2の読出し値に基づいて前記M個の第2の値を求める、
    請求項1〜3の何れか一項に記載の距離測定装置。
  6. 前記処理部は、前記M個の第1の値の積算値及び前記M個の第2の値の積算値に基づいて、前記距離を算出する、請求項1〜5の何れか一項に記載の距離測定装置。
  7. 前記処理部は、
    前記M個の第1の値を順に積算してM個の第1の積算値を算出し、前記M個の第2の値を順に積算してM個の第2の積算値を算出し、
    第1の推定値を前記M個の第1の積算値に基づく近似式を用いて算出し、第2の推定値を前記M個の第2の積算値に基づく近似式を用いて算出し、
    前記第1の推定値及び前記第2の推定値に基づいて、前記距離を算出する、
    請求項1〜5の何れか一項に記載の距離測定装置。
JP2011288343A 2011-12-28 2011-12-28 距離測定装置 Active JP5876289B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011288343A JP5876289B2 (ja) 2011-12-28 2011-12-28 距離測定装置
EP12863980.4A EP2799906B1 (en) 2011-12-28 2012-08-21 Distance measurement device
PCT/JP2012/071075 WO2013099348A1 (ja) 2011-12-28 2012-08-21 距離測定装置
US14/357,817 US9151831B2 (en) 2011-12-28 2012-08-21 Distance measurement device
KR1020147003426A KR101883529B1 (ko) 2011-12-28 2012-08-21 거리 측정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011288343A JP5876289B2 (ja) 2011-12-28 2011-12-28 距離測定装置

Publications (3)

Publication Number Publication Date
JP2013137237A JP2013137237A (ja) 2013-07-11
JP2013137237A5 JP2013137237A5 (ja) 2014-10-30
JP5876289B2 true JP5876289B2 (ja) 2016-03-02

Family

ID=48696860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011288343A Active JP5876289B2 (ja) 2011-12-28 2011-12-28 距離測定装置

Country Status (5)

Country Link
US (1) US9151831B2 (ja)
EP (1) EP2799906B1 (ja)
JP (1) JP5876289B2 (ja)
KR (1) KR101883529B1 (ja)
WO (1) WO2013099348A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5781918B2 (ja) * 2011-12-28 2015-09-24 浜松ホトニクス株式会社 距離測定装置
US9528760B2 (en) * 2012-03-12 2016-12-27 Mitsubishi Rayon Co., Ltd. Method for producing porous membrane and drying device of porous membrane
JP6554310B2 (ja) * 2015-04-28 2019-07-31 浜松ホトニクス株式会社 距離測定装置
WO2016208214A1 (ja) 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
EP3334151B1 (en) * 2015-08-04 2021-04-07 Panasonic Semiconductor Solutions Co., Ltd. Method for driving solid-state imaging device
KR20170060353A (ko) 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치, 거리 측정 센서 및 그 제어 방법
JP6659447B2 (ja) * 2016-05-02 2020-03-04 浜松ホトニクス株式会社 距離センサ
CN109313264B (zh) * 2018-08-31 2023-09-12 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和测距系统
US11175390B2 (en) * 2018-12-24 2021-11-16 Beijing Voyager Technology Co., Ltd. Real-time estimation of DC bias and noise power of light detection and ranging (LiDAR)
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
US11947050B2 (en) * 2021-07-07 2024-04-02 Beijing Voyager Technology Co., Ltd. Temperature control through thermal recycle

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57179772A (en) * 1981-04-30 1982-11-05 Toshiba Corp Measuring device of radiant ray
US5848305A (en) * 1996-01-31 1998-12-08 Canon Kabushiki Kaisha Circulating shift register and distance measuring device
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP2006523074A (ja) 2003-04-11 2006-10-05 カネスタ インコーポレイテッド センサのダイナミックレンジを差分拡大する方法及びシステム
US7379100B2 (en) 2004-02-12 2008-05-27 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
US8119965B2 (en) * 2006-01-25 2012-02-21 Kyocera Corporation Image sensor having two light receiving elements and camera module having the image sensor
JP2008122223A (ja) 2006-11-13 2008-05-29 Suzuki Motor Corp 距離計測装置
US8289427B2 (en) 2006-11-30 2012-10-16 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
JP5050719B2 (ja) * 2007-08-06 2012-10-17 株式会社デンソー 計測装置
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
US8035806B2 (en) * 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
DE102009037596B4 (de) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5274424B2 (ja) * 2009-10-07 2013-08-28 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP5558999B2 (ja) * 2009-11-24 2014-07-23 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5302244B2 (ja) * 2010-02-26 2013-10-02 浜松ホトニクス株式会社 距離画像センサ
JP5781918B2 (ja) * 2011-12-28 2015-09-24 浜松ホトニクス株式会社 距離測定装置

Also Published As

Publication number Publication date
US20140327903A1 (en) 2014-11-06
EP2799906A1 (en) 2014-11-05
EP2799906A4 (en) 2015-08-26
KR101883529B1 (ko) 2018-07-30
EP2799906B1 (en) 2019-05-15
US9151831B2 (en) 2015-10-06
JP2013137237A (ja) 2013-07-11
WO2013099348A1 (ja) 2013-07-04
KR20140111639A (ko) 2014-09-19

Similar Documents

Publication Publication Date Title
JP5876289B2 (ja) 距離測定装置
JP6554310B2 (ja) 距離測定装置
JP5781918B2 (ja) 距離測定装置
US9706150B2 (en) Image pickup device and camera system with high precision at high speed pixel read
US10690755B2 (en) Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range
US9621860B2 (en) Image capturing apparatus and control method thereof, and storage medium
US10785438B2 (en) Image sensor and image capturing apparatus
JP6501403B2 (ja) イメージセンサ
US9332204B2 (en) AD conversion circuit and solid-state imaging device
EP3334152A1 (en) Solid-state imaging device
JP6406856B2 (ja) 撮像装置及びその制御方法
JP2013175951A (ja) 画素駆動装置及び画素駆動方法
WO2017056347A1 (ja) 固体撮像装置
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
JP2012175690A (ja) 固体撮像素子
US10057507B2 (en) Shifted binning in X-ray sensors
JP2018061230A (ja) 撮像装置、その駆動方法および撮像システム
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2012244357A (ja) 撮像方法および撮像装置
JP2017211242A (ja) 受光装置、撮像デバイス

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160121

R150 Certificate of patent or registration of utility model

Ref document number: 5876289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250