JP7174591B2 - 距離測定のための時間分解型センサー及びその時間分解方法並びに３次元イメージセンサー - Google Patents

距離測定のための時間分解型センサー及びその時間分解方法並びに３次元イメージセンサー Download PDF

Info

Publication number
JP7174591B2
JP7174591B2 JP2018200328A JP2018200328A JP7174591B2 JP 7174591 B2 JP7174591 B2 JP 7174591B2 JP 2018200328 A JP2018200328 A JP 2018200328A JP 2018200328 A JP2018200328 A JP 2018200328A JP 7174591 B2 JP7174591 B2 JP 7174591B2
Authority
JP
Japan
Prior art keywords
terminal
signal
time
charge
switching device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018200328A
Other languages
English (en)
Other versions
JP2019101023A (ja
Inventor
一 兵 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019101023A publication Critical patent/JP2019101023A/ja
Application granted granted Critical
Publication of JP7174591B2 publication Critical patent/JP7174591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G01J2001/4466—Avalanche

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、距離測定のための装置及び方法に関し、より詳細には、距離測定のためのピクセルで単一光子アバランシェダイオード（ＳＰＡＤ）とピン型フォトダイオード（ＰＰＤ）又はキャパシターとを使用する時間分解型センサー及びその時間分解方法並びに３次元イメージセンサーに関する。
３次元（３Ｄ）イメージングシステムは、先端運転者支援システム（ＡＤＡＳ）のための高速３Ｄイメージングシステム及び自律走行のための高速３Ｄイメージングシステムのような多様なアプリケーションに益々使用されている。既存の３Ｄイメージング技術は、例えばＴＯＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ：飛行時間）ベースの距離イメージング、立体映像システム、及び／又は構造化され照明技術のような技術が活用される。
ＴＯＦ技術で、３Ｄオブジェクト（ｏｂｊｅｃｔ）の範囲（又は距離）は、既知の光速度に基づいて、そしてレーザーパルス又は光パルスがカメラと３Ｄオブジェクトとの間を移動するのに要する往復時間を測定することによって解決される。ＴＯＦカメラは、スキャナレス（Ｓｃａｎｎｅｒｌｅｓｓ）方式を使用して、各レーザーパルス又は光パルスでシーン（ｓｃｅｎｅ）全体をキャプチャー（ｃａｐｔｕｒｅ）する。ＴＯＦアプリケーションの例としては、人、物体（ｏｂｊｅｃｔ）、又は他の車両の動きを追跡するために、実時間距離イメージをベースにした能動的歩行者の安全又は衝突前（ｐｒｅｃｒａｓｈ）の感知のような高級自動車アプリケーション、ビデオゲームコンソールにおけるゲームとの相互作用、及び例えば物事を分類してロボットがベルトコンベア上の物品を見つけるのに役立つ産業機械ビジョンを含む。ＳＰＡＤ（ｓｉｎｇｌｅ－ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ：単一光子アバランシェダイオード）センサーを使用するＴＯＦベースのシステムは、ＴＤＣ（ｔｉｍｅ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｕｎｔｅｒ：時間・デジタルカウンター）が各ピクセルの内部に配置される場合、低い空間分解能、低いフィルファクタ（ｆｉｌｌ ｆａｃｔｏｒ）、及び高い消費電力を有する。更に、ディファレンシャル時間・電荷コンバーター（ＤＴＣＣ：ｄｉｆｆｅｒｅｎｔｉａｌ ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｔｅｒ）をセンサーの一部として使用する場合、距離精度が低下する。
立体撮像又はステレオビジョンシステムは、シーンの２つの異なるビュー（ｖｉｅｗｓ）を獲得するために、又は３次元物体の異なるビューを獲得するために、互いに水平に配置された２つのカメラを使用する。二つのイメージを比較することにより、３Ｄオブジェクトの相対的な奥行き情報が得られる。ステレオビジョンは、ロボットのような分野で自律システムやロボット周辺の３Ｄオブジェクトの相対的な位置に関する情報を抽出するのに非常に重要である。ロボット立体イメージングを使用する他のアプリケーションには、ロボットシステムとして、立体奥行き情報を使用してロボットが別の方法では２つの別個のオブジェクトに区別できない遮蔽されたイメージ構成要素を分離するオブジェクト認識機能が含まれる。例えば、ステレオビジョンを使用するロボットは、ある物体が第二の物体の前にあると二つの物体を区別することができないため、第二の物体を部分的に又は完全に隠す。３次元ステレオディスプレイは、エンターテイメント及び自動化システムにも使用される。
ＳＬ（Ｓｔｒｕｃｔｕｒｅｄ－Ｌｉｇｈｔ）技法は、投射された光のパターン及び撮影カメラを利用して物体の３次元形状を測定する技術である。グリッド（ｇｒｉｄ）、水平バー（ｂａｒｓ）、又は他の平行なストライプ（ｓｔｒｉｐｅｓ）パターンのような既知のパターンの光がシーン又はシーン内の３Ｄオブジェクト上に投影され、投影されたパターンは、３Ｄオブジェクトの表面に当たって変形又は変位する。このような変形は、ＳＬビジョンシステムが物体の奥行きと表面情報を決定する。即ち、狭帯域の光を３Ｄの表面に投射すると、プロジェクターの視点と異なる視点から歪んで見える照明ラインが生じる。歪みは、３Ｄオブジェクトの照明された表面の幾何学的再構成のために使用される。ＳＬベースの３Ｄイメージング技術は、３Ｄシーンの指紋撮影、製造プロセス中の構成要素のインライン検査、ヘルスケア環境で人体の形状や人体の皮膚の微細構造の実時間測定を得る等の様々な応用分野で使用される。
米国特許第８５１４２８４号明細書 米国特許第８６４２９３８号明細書 米国特許第９１８２４９０号明細書 米国特許第９４２５２３３号明細書 米国特許第９６２１８６０号明細書 米国特許第９６７７９３１号明細書
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、直接飛行時間（ＴＯＦ：Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）距離を測定するための時間分解型センサー及びその時間分解方法並びに３次元イメージセンサー方法を提供することにある。
上記目的を達成するためになされた本発明の一態様による時間分解型センサーは、各々がアクティブシャッター信号に応答し、物体から反射されて入射する１つ以上の光子を検出することに基づいて出力信号を生成する１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）と、前記１つ以上のＳＰＡＤの出力信号に結合され、前記アクティブシャッター信号の開始に応答して活性化（ａｃｔｉｖｅ）され、前記１つ以上のＳＰＡＤの出力信号に応答して非活性化（ｉｎａｃｔｉｖｅ）される第１イネーブル信号、及び前記１つ以上のＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２イネーブル信号を生成する論理回路と、前記第１イネーブル信号及び前記第２イネーブル信号に連結されるディファレンシャル時間・電荷コンバーター（ＤＴＣＣ）回路と、を備え、前記ＤＴＣＣ回路は、第１の端子及び接地電圧に連結された第２端子を有するキャパシターデバイスと、第１端子、第２端子、及び第３端子を有する第１スイッチングデバイスと、第１端子、第２端子、及び第３端子を有する第２スイッチングデバイスと、第１フローティング拡散ノードの第１電荷に対応する第１電圧、及び第２フローティング拡散ノードの残留電荷に対応する第２電圧を出力する出力回路と、を有し、前記第１スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、前記第１スイッチングデバイスの第２端子は、前記第１フローティング拡散ノードに連結され、前記第１スイッチングデバイスの第３端子は、前記第１イネーブル信号に連結され、第１スイッチングデバイスは、前記第１イネーブル信号に応答して前記キャパシターデバイスの第１電荷を前記第１フローティング拡散ノードに伝達し、前記第２スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、前記第２スイッチングデバイスの第２端子は、前記第２フローティング拡散ノードに連結され、前記第２スイッチングデバイスの第３端子は、前記第２イネーブル信号に連結され、前記第２スイッチングデバイスは、前記第２イネーブル信号に応答して前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達し、前記第１電圧と前記第２電圧との和に対する前記第１電圧の第１比率は、前記１つ以上の検出された光子の飛行時間に比例し、前記第１電圧と前記第２電圧との和に対する前記第２電圧の第２比率は、前記１つ以上の検出された光子の飛行時間に比例する。
上記目的を達成するためになされた本発明の一態様による３次元（３Ｄ）イメージングセンサーは、各々がアクティブシャッター信号に応答し、物体から反射されて入射する１つ以上の光子を検出することに基づいて出力信号を生成する１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）を含むアレイと、前記１つ以上のＳＰＡＤの出力信号に結合され、前記アクティブシャッター信号の開始に応答して活性化され、前記１つ以上のＳＰＡＤの出力信号に応答して非活性化される第１イネーブル信号、及び前記１つ以上のＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２イネーブル信号を生成する１つ以上の論理回路と、各々が対応する論理回路の第１及び２イネーブル信号に連結されるディファレンシャル時間・電荷コンバーター（ＤＴＣＣ）回路と、を含む１つ以上の時間分解型センサーを備え、前記ＤＴＣＣ回路は、第１の端子及び接地電圧に連結された第２端子を有するキャパシターデバイスと、第１端子、第２端子、及び第３端子を有する第１スイッチングデバイスと、第１端子、第２端子、及び第３端子を有する第２スイッチングデバイスと、第１フローティング拡散ノードの第１電荷に対応する第１電圧、及び第２フローティング拡散ノードの残留電荷に対応する第２電圧を出力する出力回路と、を有し、前記第１スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、前記第１スイッチングデバイスの第２端子は、前記第１フローティング拡散ノードに連結され、前記第１スイッチングデバイスの第３端子は、前記第１イネーブル信号に連結され、前記第１スイッチングデバイスは、前記第１イネーブル信号に応答して前記キャパシターデバイスの第１電荷を前記第１フローティング拡散ノードに伝達し、前記第２スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、前記第２スイッチングデバイスの第２端子は、前記第２フローティング拡散ノードに連結され、前記第２スイッチングデバイスの第３端子は、前記第２イネーブル信号に連結され、前記第２スイッチングデバイスは、前記第２イネーブル信号に応答して前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達し、前記第１電圧と前記第２電圧との和に対する前記第１電圧の第１比率は、前記１つ以上の検出された光子の飛行時間に比例し、前記第１電圧と前記第２電圧との和に対する前記第２電圧の第２比率は、前記１つ以上の検出された光子の飛行時間に比例する。
上記目的を達成するためになされた本発明の一態様による時間分解型センサーの時間分解方法は、アクティブシャッター信号を生成するステップと、前記アクティブシャッター信号の間に物体から反射されて１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）に入射する１つ以上の光子を検出するステップと、前記１つ以上の光子の検出に基づいて出力信号を生成するステップと、前記出力信号に基づいて、前記アクティブシャッター信号の開始に応答して活性化（ａｃｔｉｖｅ）され、前記出力信号に応答して非活性化（ｉｎａｃｔｉｖｅ）される第１イネーブル信号、及び前記出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２イネーブル信号を生成するステップと、前記第１イネーブル信号が活性化（アクティブ）されると、第１フローティング拡散ノードに第１電荷を形成するためにキャパシターデバイスの電荷を前記第１フローティング拡散ノードに伝達するステップと、前記第２イネーブル信号が活性化されると、第２フローティング拡散ノードに第２電荷を形成するために前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達するステップと、前記第１電荷に基づいて第１電圧を出力し、前記第２電荷に基づいて第２電圧を出力するステップと、を有し、前記第１電圧と前記第２電圧との和に対する前記第１電圧の第１比率は、前記１つ以上の光子の飛行時間に比例し、前記第１電圧と前記第２電圧との和に対する前記第２電圧の第２比率は、前記１つ以上の光子の飛行時間に比例する。
本発明によると、低い照明、悪天候、強い周辺光のような困難な条件の下で運転者のための改善された視野を提供し、高い安全性を提供する自律走行システムを構成することができる。
本発明の一実施形態による４トランジスタＰＰＤピクセルのセルの回路の一例を示す概略図である。 図１に示したＰＰＤピクセルの一例の相対的な信号タイミング図である。 本発明の一実施形態による時間分解型センサーの一例を示すブロック図である。 図３の時間分解型センサーのＳＰＡＤ回路の一例を示す概略図である。 図３の時間分解型センサーの論理回路の一例を示す概略図である。 図３の時間分解型センサーのＰＰＤ回路の一例を示す概略図である。 図３の時間分解型センサーの一例の相対的な信号タイミング図である。 本発明の一実施形態による時間分解型センサーの他の例を示すブロック図である。 図８の時間分解型センサーの第２ＰＰＤ回路の一例を示す概略図である。 図８の時間分解型センサーの一例の相対的な信号タイミング図である。 本発明の一実施形態による時間分解型センサーの更に他の例を示すブロック図である。 図１１の時間分解型センサーの一例の相対的な信号タイミング図である。 図１１の時間分解型センサーを使用する時間分解方法のフローチャートである。
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。しかし、当業者は、開示される実施形態がこのような特定の細部事項なしに実施されることを理解するだろう。他の例で、公知の方法、手順、構成要素、及び回路は、ここに開示される主題を曖昧にしないために詳細に説明されない。
本明細書全体に亘って「一実施」又は「実施例」は、本実施形態に関連して説明する特定の特徴、構造、又は特性が本明細書に開示される少なくとも一つの実施例に含まれるということを意味する。従って、本明細書全体に亘って「一実施例で」又は「実施例で」又は「一実施例により」（又は類似した意味を有する他の語句）の句の出現は、全て必ずしも同じ実施例を示すわけではない。なお、特定のフィーチャー、構造、又は特性は、一以上の実施形態で、任意の適合する方法で結合される。これに関連して、本明細書に使用されるように、「例示的な」という単語は、「例示、実例、又は例示を提供する」ことを意味する。「例示的な」ものであり、ここで説明される任意の実施例は、他の実施例よりも必ずしも好ましいか、有利であると解釈してはならない。なお、ここで議論の文脈によって、単数は対応する複数の形態を含み、複数の用語は、相応する単数形態を含む。本明細書に図示されて議論される様々な図面（構成要素も含む）は、単に例示的な目的のためのものであり、実際の尺度で描かれたものではない。同様に、様々な波形及びタイミング図が単に例示的な目的のために図示される。例えば、一部の要素の寸法は、明確性のために、他の要素に比べて誇張される。なお、適切なものと考えられる場合、参照符号は対応する及び／又は類似する要素を示すために図面の間で反復される。
本明細書で使用される用語は、単に特定の例示的な実施形態を説明するためのものであり、請求された要旨を限定しようとするものではない。ここで使用される単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上別の意味として指示しない限り、複数形を含む。本明細書で使用される用語「～含む」及び／又は「含む～」は、言及される特徴、整数、ステップ、動作、構成要素、及び／又は構成要素の存在を示すが、存在を排除しないものと理解される。また、一つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はグループの追加を含む。ここで使用される「第１」、「第２」などの用語は、前に明示された名詞のラベルとして使用され、明示的に定義されない限り、全てのタイプの順序（例えば、空間的、時間的、論理的など）を示唆しない。なお、同一の又は類似する機能を有する部品、構成要素、ブロック、回路、ユニット、又はモジュールを示すために二つ以上の図面に亘って同じ参照番号が使用される。しかし、このような使い方は説明の簡素化及び議論の容易さのためのみに使用される。そのような構成要素又はユニットの構成や構造的細部事項が全ての実施例に亘って同一であることを意味せず、共通して参照される部品／モジュールが、本明細書に開示される特定の実施形態の教示を具現する唯一の方法であることを意味するものではない。
別に定義されない限り、本明細書で使用された全ての用語（技術的及び科学的な用語を含む）は、本発明の属する技術分野における当業者によって一般的に理解される同じ意味を有する。一般的に使用される辞典に定義されたこのような用語は、本明細書及び／又は関連技術の脈絡からの意味と一致する意味を有するものと解釈されるべきであり、本明細書で明らかに定義されない限り、理想化されたり過度に形式的な感覚で解釈したりしてはならない。
本明細書に開示される本発明の実施形態は、これに限定されないものの、低い照明、悪天候や強い周辺光のような困難な条件の下で運転者のための改善された視野を提供し、ＴＯＦシステムのピクセルから単一光子アバランシェダイオード（ＳＰＡＤ）回路、ロジック回路、及びピン型フォトダイオード（ＰＰＤ）回路を結合することにより、自律走行システムの性能を向上させるために使用される。このようなシステムは、制御された電荷の移動、光子カウンティング、及びシングルエンドディファレンシャル時間・電荷変換（ｓｉｎｇｌｅ－ｅｎｄｅｄ－ｔｏ－ｄｉｆｆｅｒｅｎｔｉａｌ ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｓｉｏｎ）に基づく距離測定を提供する。一実施例で、ＰＰＤ回路は一つよりも多くの伝送ゲート及び１つ以上のストレージノードを含む。
本明細書に開示される本発明の実施形態は、ＶＴＸ信号のスロープの変化によって引き起こされるか、又は時間分解型センサーにおけるピクセル間に存在するＰＰＤの容量の変化によって引き起こされる距離測定誤差を有しない時間分解型センサーを提供する。
図１は、本発明の一実施形態による４トランジスタＰＰＤピクセルのセル１００の回路の一例を示す概略図である。４トランジスタＰＰＤピクセルのセル１００は、ＰＰＤ１０１、第１トランジスタ１０３、第２トランジスタ１０５、第３トランジスタ１０７、及び第４トランジスタ１０９を含む。ＰＰＤ１０１は、カソード（ｃａｔｈｏｄｅ）、及び接地電位に連結されたアノード（ａｎｏｄｅ）を含む。ＰＰＤ１０１は、キャパシターに類似した方法で電荷を貯蔵する。一実施例で、ＰＰＤ１０１は、光に反応しないようにカバー（ｃｏｖｅｒ）され、光感知素子の代わりに時間・電荷コンバーター（ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｔｅｒ）として使用される。
第１トランジスタ１０３は、ＰＰＤ１０１のカソードに連結された第１のソース／ドレイン（Ｓ／Ｄ）端子、ＰＰＤ１０１から電荷を伝達するためのＴＸ信号を受信するゲート端子、及びＰＰＤ１０１から電荷が伝達される第２のＳ／Ｄ端子を含む。一実施例で、伝達される電荷は電子である。他の実施例で、伝達される電荷が正孔である異なるデザインを有するＰＰＤが使用される。
第２トランジスタ１０５は、画素のＶＰＩＸ電圧を受信する第１のＳ／Ｄ端子、第１トランジスタ１０３の第２のＳ／Ｄ端子に連結されたゲート端子、及び第２のＳ／Ｄ端子を含む。第２トランジスタ１０５のゲート端子と第１トランジスタ１０３の第２のＳ／Ｄ端子との間の導電経路は、フローティング拡散（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ：ＦＤ）ノードである。第２トランジスタ１０５は、ＦＤノードに貯蔵された電荷を第２トランジスタ１０５の第２のＳ／Ｄ端子の電圧に変換するように動作する。
ＰＰＤ１０１からＦＤノードに伝達される電荷は、ＴＸ信号によって調整される。一実施例で、ＶＴＸ信号は、ＶＴＸ信号がＰＰＤ１０１の電荷をＦＤノードに次第に伝達するランプ形状を有するＴＸ信号として印加される。ＰＰＤ１０１からＦＤノードに伝達される電荷量は、ＶＴＸ信号の電圧レベルの関数であり、ＶＴＸ電圧の上昇は時間の関数である。即ち、ＰＰＤ１０１からＦＤノードに伝達される電荷は、また時間の関数である。ＰＰＤ１０１からＦＤノードへの電荷の伝達中に、例えば入射する光子の検出に応答して第１トランジスタ１０３がターンオフされると、ＰＰＤ１０１からＦＤノードへの電荷の伝達は中断される。ＦＤノードに伝達される電荷量が多いほど、ＦＤノードでより大きな電圧の減少及びそれに伴うＰＰＤ１０１の電圧上昇をもたらす。ＦＤノードに伝達される電荷量及びＰＰＤ１０１上に残留する電荷量は両方共に入射される光子の飛行時間（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ：ＴＯＦ）の関数である。ＶＴＸ信号及び入射される光子の検出に基づいてＰＰＤ１０１からＦＤノードへの電荷の伝達は、電荷のシングルエンドディファレンシャル変換（ｓｉｎｇｌｅ－ｅｎｄｅｄ－ｔｏ－ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｎｖｅｒｓｉｏｎ）と見なされる。
第３トランジスタ１０７は、画素に対するＶＰＩＸ電圧を受信する第１のＳ／Ｄ端子、ＦＤノードの充電レベルをリセットするＲＳＴ信号を受信するゲート端子、並びにＦＤノード及び第１トランジスタ１０３の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子を含む。
第４トランジスタ１０９は、第２トランジスタ１０５の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、ＳＥＬ信号を受信するゲート端子、及び画素出力（ＰＩＸＯＵＴ）データラインに連結された第２のＳ／Ｄ端子を含む。ＳＥＬ信号は、ＰＰＤ１０１の残留電荷がＰＩＸＯＵＴ２信号としてＦＤノードに伝達された後、ＦＤノードに伝達された電荷に対応する電圧をＰＩＸＯＵＴ１信号、又は後続してＰＰＤ１０１に残留する電荷に対応する電圧であるＰＩＸＯＵＴ２信号のいずれか１つを読み取るためにピクセルを選択するために使用される。一実施例で、ＰＩＸＯＵＴ１信号とＰＩＸＯＵＴ２信号との和に対するＰＩＸＯＵＴ１信号の比率は、ピクセルによって受信された光信号のＴＯＦと遅延時間との差に比例する。このような特徴は、以下の数学式１で表される。
Figure 0007174591000001
数学式１に表された比率は、物体（ｏｂｊｅｃｔ）の奥行き又は距離を決定するために使用され、ＰＩＸＯＵＴ１＋ＰＩＸＯＵＴ２が測定毎に変化しない場合、測定毎の値の変化にそれほど敏感ではない。
第１トランジスタ１０３、第２トランジスタ１０５、第３トランジスタ１０７、及び第４トランジスタ１０９は、それぞれｎチャネル金属酸化物半導体電界効果トランジスタ（ｎ型ＭＯＳＦＥＴ）又はｐチャネル金属酸化物半導体電界効果トランジスタ（ｐ型ＭＯＳＦＥＴ）である。しかし、本発明の実施形態は、任意の他の適切なトランジスタが使用され、ｎ型ＭＯＳＦＥＴ又はｐ型ＭＯＳＦＥＴを使用することに制限されない。
図２は、図１に示したＰＰＤピクセルのセル１００の一例の相対的な信号タイミング図２００である。図２に示すように、ＶＰＩＸ信号は、ＰＰＤピクセルのセル１００を初期化するために低い論理電圧（論理０又は０Ｖ）で開始され、その後ＰＰＤピクセルセル１００の動作中に高い論理電圧（論理１又は３Ｖ）にスイッチングされる。ＲＳＴ信号は、ＦＤノードの電荷を０クーロン（Ｃｏｕｌｏｍｂｓ）に設定し、ＰＰＤ１０１の電荷を飽和容量に設定するために、ＰＰＤピクセルのセル１００の初期化中に、ロジック０からロジック１に変更されて再びロジック０に戻る（但し、ＰＰＤ１０１から電荷を設定するための回路は図１に示されていない）。
距離測定作動の間、ＳＨＵＴＴＥＲ信号がハイ（ｈｉｇｈ）に活性化され、ＶＴＸ信号がランプアップ（ｒａｍｐ ｕｐ）を開始する。ＳＨＵＴＴＥＲ信号が活性化される時間は、物体から反射された光子（フォトン検出イベント）を受信するためのＰＰＤピクセルのセル１００の最小測定距離に対応する。
初期化後、ＰＰＤ１０１は、完全に充電され（図２の「ＰＰＤの充電（ＣＨＡＲＧＥ ＩＮ ＰＰＤ）」信号）、ＶＴＸ信号が０Ｖから線形的に上昇するにつれてＰＰＤ１０１の電荷がＦＤノードに伝達される。光検出イベントが発生すると、ＳＨＵＴＴＥＲ信号は非アクティブ状態になり、ＴＸ信号で第１トランジスタ１０１に印加されたＶＴＸ信号は非活性化（非アクティブ）状態になる。（ＳＨＵＴＴＥＲ信号及びＶＴＸ信号はＴＯＦセンサーの最大距離に該当する時間に非アクティブ状態になる）。ＰＰＤ１０１からＦＤノードに伝達された電荷量は、ＶＴＸ信号が第１トランジスタ１０１のゲートにどれくらいの長い間に印加されたかの関数である。図２の「ＦＤの充電（ＣＨＡＲＧＥ ＩＮ ＦＤ）」信号によって分かるように、ＰＰＤ１０１からＦＤノードに伝達された電子が多ければ多いほど、ＦＤノードの電圧がより低くなる。
一実施例で、ＶＴＸ信号は理想的に線形であり、理想的にＴＯＦピクセルアレイの他のピクセル全体に亘って均一である。しかし、実際には、ＴＯＦピクセルアレイの異なるピクセルに印加されるＶＴＸ信号は、ピクセル毎に異なり、これによりピクセル毎のＶＴＸ信号の変化に依存する距離測定でエラーが発生し、また測定毎に異なる。
図３は、本発明の一実施形態による時間分解型センサー３００の一例を示すブロック図である。時間分解型センサー３００は、ＳＰＡＤ回路３０１、論理回路３０３、及びＰＰＤ回路３０５を含む。
ＳＰＡＤ回路３０１は、光子を検出するためのＳＰＡＤ、ＶＳＰＡＤ電圧を受信する第１入力、電子シャッターの開閉を制御するＳＨＵＴＴＥＲ信号を受信する第２入力、ＶＤＤ電圧を受信する第３入力、及び検出イベント（ＤＥ）信号を出力する出力を含む。光子を受信したことに応答して、ＳＰＡＤ回路３０１は、ＶＳＰＡＤ電圧からＳＰＡＤ降伏（ｂｒｅａｋｄｏｗｎ）電圧以下の電圧に速く移動した後、次第にＶＳＰＡＤ電圧に復帰するパルス信号を出力する。
論理回路３０３は、ＳＰＡＤ回路３０１から出力されたＤＥ信号に連結された第１入力、ＰＰＤ回路３０５のＰＰＤに残留する電荷をＦＤノードに完全に伝達するためのＴＸＲＭＤ信号を受信する第２入力、及びＴＸＥＮ信号を出力する出力を有する。
ＰＰＤ回路３０５は、論理回路３０３から出力されたＴＸＥＮ信号に連結された第１入力、ＰＰＤ回路３０５のＰＰＤからＦＤノードに電荷を部分的又は完全に伝達するためのＶＴＸ信号を受信する第２入力、ＦＤノードの電荷をリセットしてＰＰＤの電荷をプリセットするＲＳＴ信号を受信する第３入力、ＰＰＤ回路３０５のためのＶＰＩＸの電圧を受信する第４入力、ＰＩＸＯＵＴ１信号（ＦＤノードの電荷を表す）又はＰＩＸＯＵＴ２信号（ＰＰＤに残留する電荷を表す）の中の１つを読み取るＳＥＬ信号を受信する第５入力、及びＳＥＬ信号に応答してＰＩＸＯＵＴ１信号及びＰＩＸＯＵＴ２信号を出力するＰＩＸＯＵＴ出力を含む。
図４は、図３の時間分解型センサー３００のＳＰＡＤ回路３０１の一例を示す概略図である。一実施例で、ＳＰＡＤ回路３０１は、抵抗４０１、ＳＰＡＤ４０３、キャパシター４０５、Ｐ型ＭＯＳＦＥＴトランジスタ４０７、及びバッファ４０９を含む。抵抗４０１は、ＶＳＰＡＤ電圧を受信する第１端子、及び第２端子を含む。ＳＰＡＤ４０３は、接地電位に連結されたアノード（ａｎｏｄｅ）、及び抵抗４０１の第２端子に連結されたカソード（ｃａｔｈｏｄｅ）を含む。他の実施例で、抵抗４０１とＳＰＡＤ４０３との位置は、互いに入れ変わる。ＳＰＡＤ４０３は光に反応する。光子を受信したことに応答して、ＳＰＡＤ４０３は、ＶＳＰＡＤ電圧から降伏電圧以下に急速に移動した後、次第にＶＳＰＡＤ電圧に復帰するパルス信号を出力する。一実施例で、降伏電圧は、特定の臨界電圧である。
キャパシター４０５は、ＳＰＡＤ４０３のカソードに連結された第１端子、及び第２端子を含む。他の実施例で、キャパシター４０５は省略される。ｐ型ＭＯＳＦＥＴ４０７は、キャパシター４０５の第２端子に連結された第１のＳ／Ｄ端子、ＳＨＵＴＴＥＲ信号を受信するゲート、及びＶＰＩＸ電圧（ＶＤＤ）を受信する第２のＳ／Ｄ端子を含む。バッファ４０９は、キャパシター４０５の第２端子に連結された入力、及びＤＥ信号を出力する出を含む。ＤＥ信号は、ＳＰＡＤ回路３０１のＤＥ出力に対応する。他の実施例で、バッファ４０９はインバータである。
図５は、図３の時間分解型センサー３００の論理回路３０３の一例を示す概略図である。論理回路３０３は、ラッチ５０１及び２入力ＯＲゲート５０３を含む。
ラッチ５０１は、ＳＰＡＤ回路３０１から出力されたＤＥ信号に連結された入力、及び出力を含む。ＤＥ信号に応答して、ラッチは、例えば論理１から論理０に移行し、論理０に維持される論理信号を出力する。即ち、ラッチ５０１は、パルス型信号を、論理１から論理０に移行してリセットされるまで論理１に復帰せずに論理０に維持される信号に変換する。ラッチ出力は、リーディングエッジ（ｌｅａｄｉｎｇ ｅｄｇｅ）がＳＰＡＤ回路３０１の設計に依存して、正（ｐｏｓｉｔｉｖｅ）に移行するか又は負（ｎｅｇａｔｉｖｅ）に移行するＤＥ信号のリーディングエッジによってトリガ（ｔｒｉｇｇｅｒ）される。
２入力ＯＲゲート５０３は、ラッチ５０１の出力に連結された第１入力、ＴＸＲＭＤ信号を受信する第２入力、及びＴＸＥＮ信号を出力する出力を含む。２入力ＯＲゲート５０３は、論理和機能を遂行し、その結果をＴＸＥＮ信号として出力する。特に、２入力ＯＲゲート５０３の出力は、ＳＨＵＴＴＥＲが論理１のときに光子がＳＰＡＤ回路３０１によって受信されるか、又はＰＰＤ回路３０５のＰＰＤの残留電荷がＦＤノードに完全に伝達されてＰＩＸＯＵＴ２信号として読み取られるときに発生するＴＸＲＭＤ信号が論理１である場合に、論理１になる。
図６は、図３の時間分解型センサー３００のＰＰＤ回路３０５の一例を示す概略図である。ＰＰＤ回路３０５は、ＰＰＤ６０１、第１トランジスタ６０３、第２トランジスタ６０５、第３トランジスタ６０７、第４トランジスタ６０９、及び第５トランジスタ６１１を含む。
ＰＰＤ６０１は、接地電位に連結されたアノード（陽極）、及びカソード（陰極）を含む。ＰＰＤ６０１は、キャパシターに類似の方法で電荷を貯蔵する。一実施例で、ＰＰＤ６０１は、カバーされて光に反応せずに、光感知素子の代わりに時間・電荷コンバーターとして使用される。
第１トランジスタ６０３は、論理回路３０３のＴＸＥＮ信号出力に連結されたゲート端子、ＶＴＸ信号を受信する第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。第１トランジスタ６０３は、ＶＴＸ信号を受信し、ＴＸＥＮ信号の制御下で、ＶＴＸ信号が第１トランジスタ６０３を通過して第１トランジスタ６０３の第２のＳ／Ｄ端子からＴＸ信号を出力する。
第２トランジスタ６０５は、第１トランジスタ６０３の第２のＳ／Ｄ端子に連結されたゲート端子、ＰＰＤ６０１のカソードに連結された第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。第２トランジスタ６０５は、ゲート端子からＴＸ信号を受信し、第１のＳ／Ｄ端子からＰＰＤ６０１の電荷をＦＤノードに連結された第２のＳ／Ｄ端子に伝達する。ＦＤノードと接地との間に寄生容量が有るが、これは図６に示されない。一実施例で、物理的容量がＦＤノードと接地との間に連結される。
第３トランジスタ６０７は、ＲＳＴ信号を受信するゲート端子、ＶＰＩＸ電圧を受信する第１のＳ／Ｄ端子、及び第２のトランジスタ６０５の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子を含む。
第４トランジスタ６０９は、第２トランジスタ６０５の第２のＳ／Ｄ端子に連結されたゲート端子、第３トランジスタ６０７の第１のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。
第５トランジスタ６１１は、ＳＥＬ信号を受信するゲート端子、第４トランジスタ６０９の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、及びＰＰＤ回路３０５のＰＩＸＯＵＴの出力である第２のＳ／Ｄ端子を含む。第５トランジスタ６１１は、ＦＤノードの電荷（ＰＩＸＯＵＴ１）、又はＰＰＤ６０１の残留電荷（ＰＩＸＯＵＴ２）を読み取るためにピクセルを選択するＳＥＬ信号を受信する。
ＰＰＤ６０１からＦＤノードに伝達される電荷は、ＴＸ信号によって制御される。一実施例で、ＶＴＸ信号は第１トランジスタ６０３を介して連結されてＴＸ信号になる。ＶＴＸ信号はＰＰＤ６０１からＦＤノードに電荷を徐々に伝達するために上向きにランプ（ｒａｍｐ）される。ＰＰＤ６０１からＦＤノードに伝達される電荷量は、ＴＸ信号のレベルの関数であり、ＴＸ信号のランピング（ｒａｍｐｉｎｇ）は、時間の関数である。即ち、ＰＰＤ６０１からＦＤノードに伝達される電荷は時間の関数である。ＰＰＤ６０１からＦＤノードへの電荷伝達中に、入射する光子を検出するＳＰＡＤ回路３０１に応答して第２のトランジスタ６０５がターンオフされると、ＰＰＤ６０１からＦＤノードへの電荷伝達が中断される。ＦＤノードに伝達される電荷量及びＰＰＤ６０１に残留する電荷量は両方共に入射する光子のＴＯＦに関連する。ＴＸ信号及び入射する光子の検出に基づくＰＰＤ６０１からＦＤノードへの電荷の伝達は、電荷の時間に対するシングルエンドディファレンシャル変換（ｓｉｎｇｌｅ－ｅｎｄｅｄ－ｔｏ－ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｎｖｅｒｓｉｏｎ）を提供することと見なされる。
第４トランジスタ６０９は、ＦＤノードに貯蔵された電荷を第４トランジスタ６０９の第２のＳ／Ｄ端子の電圧に変換するように動作する。ＳＥＬ信号は、ＦＤノードに伝達された電荷に対応するＰＩＸＯＵＴ１信号、又は後続してＰＰＤ６０１に残留する電荷がＦＤノードに伝達された後に、ＰＰＤ６０１に変わらず残留する電荷に対応するＰＩＸＯＵＴ２信号を判読するためのピクセルを選択するために使用される。一実施例で、ＰＩＸＯＵＴ１信号とＰＩＸＯＵＴ２信号との和に対するＰＩＸＯＵＴ１信号の比率は、数学式１で表されたように、ピクセルによって受信された光信号のＴＯＦと遅延時間との間の差に比例する。ＶＴＸが上向きにランプが開始された後、光パルスが送信される実施例で、遅延時間は負（ｎｅｇａｔｉｖｅ）である。
時間分解型センサー３００に対し、数学式１で表された割合は、物体の奥行きや距離を決定するために使用され、測定する度にＰＩＸＯＵＴ１＋ＰＩＸＯＵＴ２が変わらない場合、比率は、測定間の変化にそれほど敏感ではない。一実施例で、ＶＴＸ信号は理想的に線形であり、理想的にＴＯＦピクセルアレイの複数のピクセルの全体に亘って均一である。しかし、実際には、ＴＯＦピクセルアレイの異なるピクセルに印加されるＶＴＸ信号は、ピクセル毎に異なり、これによりピクセル毎のＶＴＸ信号の変化に依存する距離測定でエラーが発生し、また測定毎に異なる。
一実施例で、第１トランジスタ６０３、第２トランジスタ６０５、第３トランジスタ６０７、第４トランジスタ６０９、及び第５トランジスタ６１１は、それぞれｎ型ＭＯＳＦＥＴ又はｐ型ＭＯＳＦＥＴである。しかし、本発明の実施形態には、任意の他の適切なトランジスタが使用され、ｎ型ＭＯＳＦＥＴ又はｐ型ＭＯＳＦＥＴを使用することに制限されない。
図７は、図３の時間分解型センサー３００の一例の相対的な信号タイミング図７００である。図７において、シャッターオフ（初期）の期間中、ＲＳＴ信号、ＶＴＸ信号及びＴＸ信号は、それぞれハイ（論理１）になり、続いてロー（論理０）に戻ってＰＰＤ回路３０５をリセットする。ＴＸＥＮ信号はハイ状態である。ＰＰＤ６０１は、初期化期間で、飽和（ｆｕｌｌ－ｗｅｌｌ）容量に充電される。ＶＴＸ信号及びＴＸ信号はローレベルになってＰＰＤ回路３０５の第２トランジスタ６０５をターンオフさせる。ＶＰＩＸの電圧が高くなり、それに応じてＦＤノードがリセットされる。ＲＳＴ信号が０に又は直後に戻ると、光パルスが対象物（ｏｂｊｅｃｔ）に向かって送信される。次にＶＴＸ信号が上向きにランプを開始し、ＳＨＵＴＴＥＲ信号はハイ状態に高くなってシャッターオン（Ｓｈｕｔｔｅｒ Ｏｎ）期間が開始される。
ＶＴＸ信号が上向きに上昇するにつれて、ＴＸ信号もまた上昇してＦＤノードの電荷がＴＸ信号に応答して減少し始める。戻ってきた（帰還）光パルスはＴＸＥＮ信号をローレベル（ロジック０）にし、これによりＦＤノードとＰＰＤ６０１との間の電荷の伝達を停止させる。
遅延時間（Ｔｄｌｙ）は、光パルスの送信開始時点とＴＸ信号が上向きにランプを開始する時点との間の時間を示す。飛行時間（Ｔｔｏｆ）は、光パルスの送信が開始される時点と帰還光パルスが受信される時点との間の時間を示す。電子シャッター時間（Ｔｓｈ）は、電子シャッターが開放された時点から電子シャッターが閉鎖される時点までの時間（シャッターオン期間）を示す。一実施例で、電子シャッター時間（Ｔｓｈ）はＶＴＸ信号のランピング時間よりも短いか又は同一である。
伝達された電荷は、読み出し電荷伝達期間中、ＰＩＸＯＵＴ１信号として読み出される。ＳＨＵＴＴＥＲ信号がローレベルのうちにＲＳＴ信号がハイになって再びＦＤノードの充電をリセットした後、ＴＸＲＭＤ、ＴＸＥＮ、及びＴＸ信号がハイレベルになってＰＩＸＯＵＴ２信号を読み取るためにＰＰＤ６０１の残留電荷をＦＤノードに伝達する。
図８は、本発明の一実施形態による時間分解型センサー８００の他の例を示すブロック図である。時間分解型センサー８００は、ＳＰＡＤ回路８０１、論理回路８０３、及び第２ＰＰＤ回路８０５を含む。
ＳＰＡＤ回路８０１は、光子を検出するＳＰＡＤ、ＶＳＰＡＤ電圧を受信する第１入力、電子シャッターの開閉を制御するＳＨＵＴＴＥＲ信号を受信する第２入力、ＶＤＤ電圧を受信する第３入力（ＶＤＤ）、及び検出イベント（ＤＥ）信号を出力する出力を有する。光子を受信したことに応答して、ＳＰＡＤ回路８０１は、ＶＳＰＡＤ電圧から０に迅速に動いた後、徐々にＶＳＰＡＤに戻るパルス信号を出力する。一実施例で、ＳＰＡＤ回路８０１は、図３に示したＳＰＡＤ回路３０１と同一である。
論理回路８０３は、ＳＰＡＤ回路８０１のＤＥ出力に連結された第１入力、第２ＰＰＤ回路８０５のＰＰＤに残留する電荷を完全に伝達するためのＴＸＲＭＤ信号を受信する第２入力、及びＴＸＥＮ信号を出力する出力を含む。一実施例で、論理回路８０３は、図３に示した論理回路３０３と同一である。
第２ＰＰＤ回路８０５は、論理回路８０３から出力されたＴＸＥＮ信号に連結された第１入力、ＴＸＲＭＤ信号を受信するために論理回路８０３の第２入力に連結された第２入力、第２ＰＰＤ回路８０５のＰＰＤから第２ＰＰＤ回路８０５の第１フローティング拡散ノード（ＦＤ１）に電荷を部分的又は完全に伝達するためのＶＴＸ信号を受信する第３入力、ＦＤ１ノードから電荷をリセットするためのＲＳＴ信号を受信してＰＰＤの電荷をプリセットする第４入力、第２ＰＰＤ回路８０５のためのＶＰＩＸの電圧を受信する第５入力、及びＰＩＸＯＵＴ１出力のＦＤノード１の電荷に対応するＰＩＸＯＵＴ１信号を読み取り、ＰＩＸＯＵＴ２出力で第２ＰＰＤ回路８０５のＰＰＤに残留する電荷に対応するＰＩＸＯＵＴ２信号を読み取るＳＥＬ信号を受信する第６入力を含む。
図９は、図８の時間分解型センサー８００の第２ＰＰＤ回路８０５の一例を示す概略図である。第２ＰＰＤ回路８０５は、ＰＰＤ９０１、第１トランジスタ９０３、第２トランジスタ９０５、第３トランジスタ９０７、第４トランジスタ９０９、第５トランジスタ９１１、第６トランジスタ９１３、第７トランジスタ９１５、第８トランジスタ９１７、及び第９トランジスタ９１９を含む。
ＰＰＤ９０１は、接地電位に連結された陽極（アノード）、及び陰極（カソード）を含む。ＰＰＤ９０１は、キャパシターに類似の方式で電荷を貯蔵する。一実施例で、ＰＰＤ９０１は、カバーされて光に反応せずに、光感知素子の代わりに時間・電荷コンバーター（ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｔｅｒ）として使用される。
第１トランジスタ９０３は、論理回路８０３の出力に接続されてＴＸＥＮ出力を受信するゲート端子、ＰＰＤ９０１からの電荷の伝達を制御するためのＶＴＸ電圧を受信する第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。
第２トランジスタ９０５は、第１トランジスタ９０３の第２のＳ／Ｄ端子に連結されてＰＰＤ９０１から電荷を伝達するためのＴＸ信号を受信するゲート端子、ＰＰＤ９０１のカソードに連結された第１のＳ／Ｄ端子、ＰＰＤ９０１から電荷が伝達される第１フローティング拡散ノード（ＦＤ１）に連結された第２のＳ／Ｄ端子を含む。ＦＤ１ノードは第１静電容量を有する。図９には示さなかったが、ＦＤ１ノードと接地との間に寄生容量が有る。一実施例で、物理的容量がまたＦＤ１ノードと接地との間に連結される。ＰＰＤ９０１から第２のトランジスタ９０５を介してＦＤ１ノードに伝達される電荷はＴＸ信号によって制御される。
第３トランジスタ９０７は、ＦＤ１ノード及び第２のトランジスタ９０５の第２のＳ／Ｄ端子に連結されるゲート端子、ＶＰＩＸ電圧が入力される第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。第３トランジスタ９０７は、ＦＤ１ノードに貯蔵された電荷を第３のトランジスタ９０７の第２のＳ／Ｄ端子の電圧に変換するように動作する。
第４トランジスタ９０９は、ＦＤ１ノードの充電レベルを設定するためのＲＳＴ信号を受信するゲート端子、ＶＰＩＸ電圧を受信する第１のＳ／Ｄ端子、及び第２トランジスタ９０５のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子を含む。
第５トランジスタ９１１は、ＦＤ１ノードの電荷を読み出すためのＳＥＬ信号を受信するゲート端子、第３トランジスタ９０７の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、及びＦＤ１ノードの電荷に対応する電圧をＰＩＸＯＵＴ１信号として出力するためのピクセル出力ＰＩＸＯＵＴ１データラインに連結された第２のＳ／Ｄ端子を含む。
第６トランジスタ９１３は、ＰＰＤ９０１に残留する電荷を第２フローティング拡散ノード（ＦＤ２）に完全に伝達するためのＴＸＲＭＤ信号を受信するゲート端子、ＰＰＤ９０１のカソードに連結された第１のＳ／Ｄ端子、及びＦＤ２ノードに連結された第２のＳ／Ｄ端子を含む。ＦＤ２ノードは第２静電容量を有する。図９には示さなかったが、ＦＤ２ノードと接地との間に寄生容量が有る。一実施例で、物理的容量がまたＦＤ２ノードと接地との間に連結される。一実施例で、ＦＤ２ノードの第２静電容量はＦＤ１ノードの第１静電容量と同一である。ＰＰＤ９０１内の任意の残留電荷が第６トランジスタ９１３を介してＦＤ２ノードに伝達される。
第７トランジスタ９１５は、ゲート端子が第６トランジスタ９１３の第２のＳ／Ｄ端子及びＦＤ２ノードに連結され、ＶＰＩＸの電圧を受信する第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。第７トランジスタ９１５は、ＦＤ２ノードに貯蔵された電荷を第７トランジスタ９１５の第２のＳ／Ｄ端子の電圧に変換するように動作する。
第８トランジスタ９１７は、ＦＤ２ノードの充電レベルを設定するためのＲＳＴ信号を受信するゲート端子、ＶＰＩＸ信号を受信する第１のＳ／Ｄ端子、及び第６トランジスタ９１３のソース端子に連結された第２のＳ／Ｄ端子を含む。
第９トランジスタ９１９は、ＦＤ２ノードの電荷に対応する電圧を読み取るために画素を選択するＳＥＬ信号を受信するゲート端子、第７トランジスタ９１５の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、及びＰＩＸＯＵＴ２信号としてＦＤ２ノードの電荷に対応する電圧を出力するためのピクセル出力ＰＩＸＯＵＴ２データラインに連結された第２のＳ／Ｄ端子を含む。
ＶＴＸ信号（及びＴＸ信号）は、ＰＰＤ９０１からＦＤ１ノードに電荷を伝達するようにランプアップ（ｒａｍｐ－ｕｐ）される。ＰＰＤ９０１からＦＤ１ノードに伝達される電荷量は、ＴＸ信号のレベルの関数であり、ＴＸ電圧の上昇は時間の関数である。即ち、ＰＰＤ９０１からＦＤ１ノードに伝達される電荷は、時間の関数である。ＰＰＤ９０１からＦＤ１ノードへの電荷伝達中に入射される光子を検出するＳＰＡＤ回路８０１に応答して第２トランジスタ９０５がターンオフされると、ＰＰＤ９０１からＦＤ１ノードへの電荷伝達が停止され、ＦＤ１ノードに伝達された電荷量及びＰＰＤ９０１に残留する電荷量は両方共に入射する光子のＴＯＦに関連する。ＴＸ信号及び入射する光子の検出に基づくＰＰＤ９０１からＦＤ１ノードへの電荷伝達は、電荷の時間に対するシングルエンドディファレンシャル変換（ｓｉｎｇｌｅ－ｅｎｄｅｄ－ｔｏ－ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｎｖｅｒｓｉｏｎ）を提供する。
時間分解型センサー８００に対し、数学式１は、物体の奥行き又は距離を決定するために使用され、測定する度にＰＩＸＯＵＴ１＋ＰＩＸＯＵＴ２が変わらない場合、測定間の変化にあまり敏感ではない。一実施例で、ＶＴＸ信号は理想的に線形であり、理想的にＴＯＦピクセルアレイの異なるピクセルの全体に亘って均一である。しかし、実際には、ＴＯＦピクセルアレイの異なるピクセルに印加されるＶＴＸ信号は、ピクセル毎に異なり、これにより、ピクセル毎のＶＴＸ信号の変化に依存する距離測定でエラーが発生し、また、測定毎に異なる。
一実施例で、第１トランジスタ９０３、第２トランジスタ９０５、第３トランジスタ９０７、第４トランジスタ９０９、第５トランジスタ９１１、第６トランジスタ９１３、第７トランジスタ９１５、第８トランジスタ９１７、及び第９トランジスタ９１９は、それぞれｎ型ＭＯＳＦＥＴ又はｐ型ＭＯＳＦＥＴであるが、任意の他の適切なトランジスタが使用される。
図１０は、図８の時間分解型センサー８００の一例の相対的な信号タイミング図１０００である。図１０の信号タイミング図は、図７の信号タイミング図と非常に類似しており、この類似性は、図７を参照して説明される。図１０の信号タイミング図は、ＦＤ２信号を含むことにより、シャッターオン期間の終了（ｅｎｄ）でＰＰＤ９０１の残留電荷がＴＸＲＭＤ信号の動作によってＦＤ２のノードに伝達されるという点で差別化される。なお、ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号は同時に読み出される。
第２ＰＰＤ回路８０５は、最大距離を決定するために不変の飽和（ｆｕｌｌ－ｗｅｌｌ）容量に依存するが、時間分解型センサー８００の実際の具現は異なる第２ＰＰＤ回路８０５の間の熱雑音に基づいてＰＰＤ９０１のフルウェル変化を経験する。なお、ＶＴＸ信号は、ピクセルアレイのピクセルの位置により異なるランプ（スロープ）を有する。即ち、ピクセルにおけるＶＴＸ信号のランプ（スロープ）は、ピクセルがＶＴＸ信号のソースからどれぐらい近いかによって異なる。
図１１は、本発明の一実施形態による時間分解型センサー１１００の更に他の例を示すブロック図である。時間分解型センサー１１００は、１つ以上のＳＰＡＤ回路（１１０１ａ、１１０１ｎ）、論理回路１１０３、及び第３ＰＰＤ回路１１０５を含む。
１つ以上のＳＰＡＤ回路１１０１は、それぞれＳＰＡＤ１１１、抵抗１１３、キャパシター１１５、ｐ型ＭＯＳＦＥＴトランジスタ１１７、及びバッファ１１９を含む。ＳＰＡＤ１１１は、接地電位に連結されたアノード、及びカソードを含む。抵抗１１３は、ＶＳＰＡＤ電圧を受信する第１端子、及びＳＰＡＤ１１１のカソードに連結された第２端子を含む。他の実施例で、ＳＰＡＤ１１１と抵抗１１３との位置は、互いに入れ変わる。ＳＰＡＤ１１１は光に反応する。光子を受信したことに応答して、ＳＰＡＤ１１１は、ＶＳＰＡＤ電圧から降伏電圧以下に急速に移動した後、次第にＶＳＰＡＤ電圧に復帰するパルス信号を出力する。
キャパシター１１５は、ＳＰＡＤ１１１のカソードに連結された第１端子、及び第２端子を含む。他の実施例で、キャパシター１１５は省略される。ｐ型ＭＯＳＦＥＴ１１７は、キャパシター１１５の第２端子に連結された第１のＳ／Ｄ端子、ＳＨＵＴＴＥＲ信号を受信するゲート、及びＶＰＩＸ電圧（ＶＤＤ）を受信する第２のＳ／Ｄ端子を含む。バッファ１１９は、キャパシター１１５の第２端子に連結された入力、及びＳＰＡＤ回路１１０１の出力に対応するＤＥ信号を出力する反転出力を含む。他の実施例で、バッファ１１９は非反転のバッファである。
論理回路１１０３は、１つ以上のＳＰＡＤ回路（１１０１ａ、１１０１ｎ）のそれぞれのＤＥ信号に連結された入力を含み、ＴＸＥＮ信号及びＴＸＥＮ信号の反転信号であるＴＸＥＮＢ信号を出力する。
第３ＰＰＤ回路１１０５は、キャパシターデバイス（ＳＣ）、第１トランジスタ１５１、第２トランジスタ１５３、第３トランジスタ１５５、第４トランジスタ１５７、第５トランジスタ１５９、第６トランジスタ１６１、第７トランジスタ１６３、第８トランジスタ１６５、第９トランジスタ１６７、第１０トランジスタ１６９、第１１トランジスタ１７１、第１２トランジスタ１７３、及び第１３トランジスタ１７５を含む。
キャパシターデバイス（ＳＣ）は、接地電位に連結された第１端子、及び第２端子を含む。キャパシターデバイス（ＳＣ）は、キャパシターに類似の方式で電荷を貯蔵する。一実施例で、キャパシターデバイスはキャパシターである。他の実施例で、キャパシターデバイスは、光に反応しないようにカバーされたＰＰＤである。いずれか一つの実施例で、キャパシターデバイス（ＳＣ）は、時間・電荷コンバーター（ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｔｅｒ）の一部として使用される。
第１トランジスタ１５１は、ＲＳＴ信号に連結されたゲート端子、接地電位に連結された第１のＳ／Ｄ端子、及びキャパシターデバイス（ＳＣ）の第２端子に連結された第２のＳ／Ｄ端子を含む。
第２トランジスタ１５３は、ＴＸＡ信号に連結されたゲート端子、第１フローティング拡散（ＦＤ１）ノードに連結された第１のＳ／Ｄ端子、並びに第１トランジスタ１５１の第２のＳ／Ｄ端子及びキャパシターデバイス（ＳＣ）の第２端子に連結された第２のＳ／Ｄ端子を含む。第１フローティング拡散（ＦＤ１）ノードは、図１１にキャパシター記号で表示される。第１フローティング拡散（ＦＤ１）ノードと接地との間に寄生容量が有るが、これは図１１に表示されない。一実施例で、物理的容量がＦＤ１ノードと接地との間に連結される。
第３トランジスタ１５５は、ＦＤ１ノード及び第２トランジスタ１５３の第１のＳ／Ｄ端子に連結されたゲート端子、ＶＰＩＸ電圧に連結された第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。第３トランジスタ１５５は、ＦＤ１ノードの電荷を第３トランジスタ１５５の第２のＳ／Ｄ端子の電圧に変換するように動作する。
第４トランジスタ１５７は、ＲＳＴ信号に連結されたゲート端子、ＶＰＩＸ電圧に連結された第１のＳ／Ｄ端子、並びに第２トランジスタ１５３の第１のＳ／Ｄ端子及び第１フローティング拡散（ＦＤ１）ノードに連結された第２のＳ／Ｄ端子を含む。
第５トランジスタ１５９は、ＴＸＥＮ信号に連結されたゲート端子、ＶＴＸ信号に連結された第１のＳ／Ｄ端子、及び第２トランジスタ１５３のゲート端子に連結された第２のＳ／Ｄ端子を含む。
第６トランジスタ１６１は、ＴＸＥＮＢ信号に連結されたゲート端子、接地電位に連結された第１のＳ／Ｄ端子、並びに第２トランジスタ１５３のゲート端子及び第５トランジスタ１５９の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子を含む。
第７トランジスタ１６３は、ＳＥＬ信号に連結されたゲート端子、第３トランジスタ１５５の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、及び画素出力ライン（ＰＩＸＡ）に連結された第２のＳ／Ｄ端子を含む。
記第８トランジスタ１６５は、ＴＸＢ信号に連結されたゲート端子、第２フローティング拡散（ＦＤ２）ノードに連結された第１のＳ／Ｄ端子、並びに第１トランジスタ１５１の第２のＳ／Ｄ端子、キャパシターデバイス（ＳＣ）の第２端子、及び第２トランジスタ１５３の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子を含む。図１１において、ＦＤ２ノードはキャパシター記号で表示される。図１１には図示されないが、ＦＤ２ノードと接地との間に寄生容量が有る。一実施例で、物理的容量がＦＤ２ノードと接地との間に連結される。
第９トランジスタ１６７は、ＦＤ２ノード及び第８トランジスタ１６５の第１のＳ／Ｄ端子に連結されたゲート端子、ＶＰＩＸ電圧に連結された第１のＳ／Ｄ端子、及び第２のＳ／Ｄ端子を含む。第９トランジスタ１６７は、ＦＤ２ノードの電荷を第９トランジスタ１６７の第２のＳ／Ｄ端子の電圧に変換するように動作する。
第１０トランジスタ１６９は、ＲＳＴ信号に連結されたゲート端子、ＶＰＩＸ電圧に連結された第１のＳ／Ｄ端子、並びに第８トランジスタ１６５の第１のＳ／Ｄ端子及び第２フローティング拡散（ＦＤ２）ノードに連結された第２のＳ／Ｄ端子を含む。
第１１トランジスタ１７１は、ＴＸＥＮＢ信号に連結されたゲート端子、ＶＴＸ信号に連結された第１のＳ／Ｄ端子、及び第８トランジスタ１６５のゲート端子に連結された第２のＳ／Ｄ端子を含む。
第１２トランジスタ１７３は、ＴＸＥＮ信号に連結されたゲート端子、接地電位に連結された第１のＳ／Ｄ端子、並びに第８トランジスタ１６５のゲート端子及び第１１トランジスタ１７１の第２のＳ／Ｄ端子に接続された第２のＳ／Ｄ端子を含む。
第１３トランジスタ１７５は、ＳＥＬ信号に連結されたゲート端子、第９トランジスタ１６７の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子、及びピクセル出力ライン（ＰＩＸＢ）に連結された第２のＳ／Ｄ端子を含む。
図１２は、図１１の時間分解型センサー１１００の一例の相対的な信号タイミング図１２００である。図１２の信号タイミング図は、図７及び図１０の信号タイミング図と非常に類似しており、この類似性は、図７を参照して説明される。図１２の信号タイミング図は、ＴＸＲＭＤ信号及びＴＸ信号を含まずに、代わりにＴＸＥＮＢ、ＴＸＡ信号、及びＴＸＢ信号を含むという点で、図１０の信号タイミング図と異なる。
図１２の信号タイミング図で、ＴＸＥＮＢ信号はＴＸＥＮ信号の反転信号である。ＳＨＵＴＴＥＲ信号がアクティブ（ハイレベル）のとき、ＴＸＥＮ信号が活性化されてＶＴＸ信号が第５トランジスタ１５９を通過してＴＸＡ信号をアクティブ（活性化）させる。キャパシターバイス（ＳＣ）の電荷は、第２トランジスタ１５３を介してＦＤ１ノードに伝達される。一方、接地電位がＴＸＢ信号を非活性化させる第１２トランジスタ１７３を通過する。
検出イベント（ＤＥ）が発生したときに、ＴＸＥＮ信号が非活性化（非アクティブ）状態になり、ＴＸＥＮＢ信号が活性化される。ＴＸＥＮ信号が非活性化されると、ＴＸＡ信号も非活性化され、電荷が第２トランジスタ１５３を介してキャパシターデバイス（ＳＣ）からＦＤ１ノードに伝達されることが中断される。ＴＸＥＮＢ信号が活性化されると、ＴＸＢ信号は活性化され、キャパシターデバイス（ＳＣ）から第８トランジスタ１６５を介してＦＤ２ノードに電荷が伝達される。
ＳＨＵＴＴＥＲ信号が終了すると、ＴＸＢ信号が非活性化（非アクティブ）状態になり、電荷が第８トランジスタ１６５を介してキャパシターデバイス（ＳＣ）からＦＤ２ノードに伝達されることが中断される。ＦＤ１ノード及びＦＤ２ノードの電荷に関連する各電圧は、それぞれＰＩＸＡ及びＰＩＸＢ出力ラインから読み出される。
ＶＴＸ信号のスロープ（ｓｌｏｐｅ）の変化及びピクセルからピクセルへのキャパシターデバイス（ＳＣ）の静電容量の変化は、活性化ＳＨＵＴＴＥＲ信号の間に、第２トランジスタ１５３（ＴＸＡ）及び第８トランジスタ１６５（ＴＸＢ）が線形モードで動作する限り、距離測定誤差（エラー）を誘発しない。
図１３は、図１１の時間分解型センサー１１００を使用する時間分解方法１３００のフローチャートである。この方法は、１３０１段階から始まる。１３０２段階において、アクティブシャッター信号が生成される。１３０３段階において、１つ以上のＳＰＡＤ回路１１０１に入射する１つ以上の光子が、物体（ｏｂｊｅｃｔ）から反射された１つ以上の検出された光子としてアクティブシャッター信号の間に検出される（検出イベント（ＤＥ））。１３０４段階において、検出イベント（ＤＥ）に基づいた出力信号が生成される。１３０５段階において、第１イネーブル信号ＴＸＥＮ及び第２イネーブル信号ＴＸＥＮＢが検出イベント（ＤＥ）に対する出力信号に基づいて生成される。一実施例で、第１イネーブル信号は、アクティブシャッター信号の開始に応答して活性化され、出力信号に応答して非活性化（非アクティブ）され、第２イネーブル信号は、出力信号に応答して活性化（アクティブ）され、アクティブシャッター信号の終了（ｅｎｄ）に応答して非活性化される。
１３０６段階において、第１イネーブル信号が活性化（アクティブ）されると、第１フローティング拡散（ＦＤ１）ノードの第１電荷を形成するために、キャパシターデバイス（ＳＣ）の電荷を第１フローティング拡散（ＦＤ１）ノードに伝達する。１３０７段階において、第２イネーブル信号が活性化（アクティブ）されると、第２フローティング拡散（ＦＤ２）ノードの第２電荷を形成するために、キャパシターデバイス（ＳＣ）の残留電荷を第２フローティング拡散（ＦＤ２）ノードに伝達する。１３０８段階において、第１電荷に基づく第１電圧及び第２電荷に基づく第２電圧が出力される。第１電圧と第２電圧との和に対する第１電圧の第１比率は、１つ以上の検出された光子の飛行時間に比例し、第１電圧と第２電圧との和に対する第２電圧の第２比率は、１つ以上の検出された光子の飛行時間に比例する。１３０９段階において、この方法は終了する。
一実施例で、第１電荷及び第２電荷を伝達するステップは、ランプ（ｒａｍｐ）関数に従って駆動信号（ＶＴＸ）を変化させるステップを更に含み、駆動信号（ＶＴＸ）は、、１つ以上の光子が検出される光パルスの開始時点に応答してアクティブシャッター信号の終了（ｅｎｄ）時点まで変化を開始する。第１フローティング拡散ノードに第１電荷を形成するためにキャパシターデバイスの電荷を第１フローティング拡散ノードに伝達するステップは、第１イネーブル信号がアクティブ（活性化される）のときの駆動信号のレベルに基づいて行われ、キャパシターデバイスの残留電荷を第２フローティング拡散ノードに連結して第２フローティング拡散ノードに第２電荷を形成することは、第２イネーブル信号がアクティブのときの駆動信号のレベルに基づいて行われる。
他の実施例で、第１電圧と第２電圧との和に対する第１電圧の第１比率は、１つ以上の検出された光子の飛行時間から遅延時間を引いた値に比例する。同様に、第１の電圧と第２電圧との和に対する第２電圧の第２比率は、１つ以上の検出された光子から遅延時間を引いた飛行時間に比例し、遅延時間は、光パルスが送信を開始する時点と駆動信号が変化を開始する時点との間の時間を含む。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
本発明は、直接飛行時間（ＴＯＦ）距離測定を用いた方式により、運転者のための改善された視野を提供することができる自律走行システムの構成に有用である。
１００ ＰＰＤピクセルのセル
１０１、６０１、９０１ ＰＰＤ
１０３、１５１、６０３ 第１トランジスタ
１０５、１５３、６０５、９０５ 第２トランジスタ
１０７、１５５、６０７、９０７ 第３トランジスタ
１０９、１５７、６０９、９０９ 第４トランジスタ
１１１、４０３ ＳＰＡＤ
１１３、４０１ 抵抗
１１５、４０５ キャパシター
１１７、４０７ Ｐ型ＭＯＳＦＥＴトランジスタ
１１９、４０９ バッファ
１５９、６１１、９１１ 第５トランジスタ
１６１、９１３ 第６トランジスタ
１６３、９１５ 第７トランジスタ
１６５、９１７ 第８トランジスタ
１６７、９１９ 第９トランジスタ
１６９ 第１０トランジスタ
１７１ 第１１トランジスタ
１７３ 第１２トランジスタ
１７５ 第１３トランジスタ
２００、１０００ 信号タイミング図
３００、８００ 時間分解型センサー
３０１、８０１、１１０１ａ、１１０１ｎ ＳＰＡＤ回路
３０３、８０３、１１０３ 論理回路
３０５、８０５、１１０５ ＰＰＤ回路
５０１ ラッチ
５０３ ２入力ＯＲゲート
ＤＥ 検出イベント
ＦＤ フローティング拡散（ノード）
ＰＩＸＢ ピクセル出力ライン
ＰＩＸＯＵＴ 画素出力
ＰＰＤ ピン型フォトダイオード
ＲＳＴ リセット信号（ＰＰＤ回路の第３入力）
ＳＣ キャパシターデバイス
ＳＥＬ ピクセルの出力選択信号（ＰＰＤ回路の第５入力）
ＳＨＵＴＴＥＲ シャッターの開閉を制御する信号（ＳＰＡＤ回路の第２入力）
ＳＰＡＤ 単一光子アバランシェダイオード
ＴＸ 電荷を伝達するための信号（ＶＴＸ）
ＴＸＥＮ 論理回路の出力
ＴＸＥＮＢ ＴＸＥＮの反転信号
ＴＸＲＭＤ ＰＰＤの残留電荷をＦＤノードに伝達するための信号（論理回路の第２入力）
ＶＤＤ ＳＰＡＤの回路の電源（ＳＰＡＤ回路の第３入力）
ＶＰＩＸ 画素電圧
ＶＳＰＡＤ ＳＰＡＤの電源（ＳＰＡＤ回路の第１入力）
ＶＴＸ ＰＰＤの電荷をＦＤノードに伝達するための信号（ＰＰＤ回路の第２入力）

Claims (17)

  1. 時間分解型センサーであって、
    各々がアクティブシャッター信号に応答し、物体から反射されて入射する１つ以上の光子を検出することに基づいて出力信号を生成する１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）と、
    前記１つ以上のＳＰＡＤの出力信号に結合され、前記アクティブシャッター信号の開始に応答して活性化され、前記１つ以上のＳＰＡＤの出力信号に応答して非活性化される第１イネーブル信号、及び前記１つ以上のＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２イネーブル信号を生成する論理回路と、
    前記第１イネーブル信号及び前記第２イネーブル信号に連結されるディファレンシャル時間・電荷コンバーター（ＤＴＣＣ）回路と、を備え、
    前記ＤＴＣＣ回路は、
    第１端子及び接地電圧に連結された第２端子を有するキャパシターデバイスと、
    第１端子、第２端子、及び第３端子を有する第１スイッチングデバイスと、
    第１端子、第２端子、及び第３端子を有する第２スイッチングデバイスと、
    第１フローティング拡散ノードの第１電荷に対応する第１電圧、及び第２フローティング拡散ノードの残留電荷に対応する第２電圧を出力する出力回路と、を有し、
    前記第１スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、
    前記第１スイッチングデバイスの第２端子は、前記第１フローティング拡散ノードに連結され、
    前記第１スイッチングデバイスの第３端子は、前記第１イネーブル信号により活性化されるスイッチングデバイスの出力端子に連結され、
    前記第１スイッチングデバイスは、前記第１イネーブル信号に応答して前記キャパシターデバイスの第１電荷を前記第１フローティング拡散ノードに伝達し、
    前記第２スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、
    前記第２スイッチングデバイスの第２端子は、前記第２フローティング拡散ノードに連結され、
    前記第２スイッチングデバイスの第３端子は、前記第２イネーブル信号により活性化されるスイッチングデバイスの出力端子に連結され、
    前記第２スイッチングデバイスは、前記第２イネーブル信号に応答して前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達し、
    前記第１電圧と前記第２電圧との和に対する前記第１電圧の比率は、前記１つ以上の検出された光子の飛行時間と遅延時間との間の差に比例し、

    前記遅延時間は、前記１つ以上の光子が検出される光パルスの送信開始時点とランプ関数に従って変化する駆動信号の変化の開始時点との間の時間を示し、
    前記飛行時間は、前記光パルスの送信開始時点と前記１つ以上のＳＰＡＤの出力信号に相当する帰還光パルスが受信される時点との間の時間を示すことを特徴とする時間分解型センサー。
  2. 前記駆動信号は、
    前記１つ以上の光子が検出される光パルスの送信開始時点に応答して前記アクティブシャッター信号の終了時点まで変化を開始し、
    前記第１イネーブル信号が活性化されると、前記第１スイッチングデバイスの第３端子に連結され、
    前記第２イネーブル信号が活性化されると、前記第２スイッチングデバイスの第３端子に連結されることを特徴とする請求項１に記載の時間分解型センサー。
  3. 前記キャパシターデバイスは、キャパシターを含むことを特徴とする請求項２に記載の時間分解型センサー。
  4. 前記キャパシターデバイスは、ピン型フォトダイオードを含むことを特徴とする請求項２に記載の時間分解型センサー。
  5. 前記第１及び第２スイッチングデバイスは、トランジスタを含むことを特徴とする請求項４に記載の時間分解型センサー。
  6. 前記時間分解型センサーは、３次元イメージングシステムの一部を含むことを特徴とする請求項５に記載の時間分解型センサー。
  7. ３次元イメージセンサーであって、
    各々がアクティブシャッター信号に応答し、物体から反射されて入射する１つ以上の光子を検出することに基づいて出力信号を生成する１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）を含むアレイと、
    前記１つ以上のＳＰＡＤの出力信号に結合され、前記アクティブシャッター信号の開始に応答して活性化され、前記１つ以上のＳＰＡＤの出力信号に応答して非活性化される第１イネーブル信号、及び前記１つ以上のＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２イネーブル信号を生成する１つ以上の論理回路と、
    各々が対応する前記論理回路の第１及び２イネーブル信号に連結されるディファレンシャル時間・電荷コンバーター（ＤＴＣＣ）回路と、を含む１つ以上の時間分解型センサーを備え、
    前記ＤＴＣＣ回路は、
    第１端子及び接地電圧に連結された第２端子を有するキャパシターデバイスと、
    第１端子、第２端子、及び第３端子を有する第１スイッチングデバイスと、
    第１端子、第２端子、及び第３端子を有する第２スイッチングデバイスと、
    第１フローティング拡散ノードの第１電荷に対応する第１電圧、及び第２フローティング拡散ノードの残留電荷に対応する第２電圧を出力する出力回路と、を有し、
    前記第１スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、
    前記第１スイッチングデバイスの第２端子は、前記第１フローティング拡散ノードに連結され、
    前記第１スイッチングデバイスの第３端子は、前記第１イネーブル信号により活性化されるスイッチングデバイスの出力端子に連結され、
    前記第１スイッチングデバイスは、前記第１イネーブル信号に応答して前記キャパシターデバイスの第１電荷を前記第１フローティング拡散ノードに伝達し、
    前記第２スイッチングデバイスの第１端子は、前記キャパシターデバイスの第１端子に連結され、
    前記第２スイッチングデバイスの第２端子は、前記第２フローティング拡散ノードに連結され、
    前記第２スイッチングデバイスの第３端子は、前記第２イネーブル信号により活性化されるスイッチングデバイスの出力端子に連結され、
    前記第２スイッチングデバイスは、前記第２イネーブル信号に応答して前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達し、
    前記第１電圧と前記第２電圧との和に対する前記第１電圧の比率は、前記１つ以上の検出された光子の飛行時間と遅延時間との間の差に比例し、

    前記遅延時間は、前記１つ以上の光子が検出される光パルスの送信開始時点とランプ関数に従って変化する駆動信号の変化の開始時点との間の時間を示し、
    前記飛行時間は、前記光パルスの送信開始時点と前記１つ以上のＳＰＡＤの出力信号に相当する帰還光パルスが受信される時点との間の時間を示すことを特徴とする３次元イメージセンサー。
  8. 前記駆動信号は、
    前記１つ以上の光子が検出される光パルスの送信開始時点に応答して前記アクティブシャッター信号の終了時点まで変化を開始し、
    前記第１イネーブル信号が活性化されると、前記第１スイッチングデバイスの第３端子に連結され、
    前記第２イネーブル信号が活性化されると、前記第２スイッチングデバイスの第３端子に連結されることを特徴とする請求項７に記載の３次元イメージセンサー。
  9. 前記キャパシターデバイスは、キャパシターを含むことを特徴とする請求項８に記載の３次元イメージセンサー。
  10. 前記キャパシターデバイスは、ピン型フォトダイオードを含むことを特徴とする請求項８に記載の３次元イメージセンサー。
  11. 前記第１及び第２スイッチングデバイスは、トランジスタを含むことを特徴とする請求項１０に記載の３次元イメージセンサー。
  12. 前記時間分解型センサーは、３次元イメージングシステムの一部を含むことを特徴とする請求項１１に記載の３次元イメージセンサー。
  13. 時間分解型センサーの時間分解方法であって、
    ランプ関数に従って駆動信号を変化させるステップと、
    アクティブシャッター信号を生成するステップと、
    前記アクティブシャッター信号の間に物体から反射されて１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）に入射する１つ以上の光子を検出するステップと、
    前記１つ以上の光子の検出に基づいて出力信号を生成するステップと、
    前記出力信号に基づいて、前記アクティブシャッター信号の開始に応答して活性化され、前記出力信号に応答して非活性化される第１イネーブル信号、及び前記出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２イネーブル信号を生成するステップと、
    前記第１イネーブル信号が活性化されると、第１フローティング拡散ノードに第１電荷を形成するためにキャパシターデバイスの電荷を前記第１フローティング拡散ノードに伝達するステップと、
    前記第２イネーブル信号が活性化されると、第２フローティング拡散ノードに第２電荷を形成するために前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達するステップと、
    前記第１電荷に基づいて第１電圧を出力し、前記第２電荷に基づいて第２電圧を出力するステップと、を有し、
    前記第１電圧と前記第２電圧との和に対する前記第１電圧の比率は、前記１つ以上の光子の飛行時間と遅延時間との間の差に比例し、

    前記遅延時間は、前記１つ以上の光子が検出される光パルスの送信開始時点とランプ関数に従って変化する駆動信号の変化の開始時点との間の時間を示し、
    前記飛行時間は、前記光パルスの送信開始時点と前記１つ以上のＳＰＡＤの出力信号に相当する帰還光パルスが受信される時点との間の時間を示すことを特徴とする時間分解方法。
  14. 前記駆動信号は、前記１つ以上の光子が検出される光パルスの送信開始時点に応答して前記アクティブシャッター信号の終了時点まで変化を開始し、
    前記第１フローティング拡散ノードに第１電荷を形成するためにキャパシターデバイスの電荷を前記第１フローティング拡散ノードに伝達するステップは、前記第１イネーブル信号が活性化されるときの前記駆動信号のレベルに更に基づいて行われ、
    前記第２フローティング拡散ノードに第２電荷を形成するために前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達するステップは、前記第２イネーブル信号が活性化されるときの前記駆動信号のレベルに更に基づいて行われることを特徴とする請求項１３に記載の時間分解方法。
  15. 前記キャパシターデバイスは、キャパシターを含むことを特徴とする請求項１４に記載の時間分解方法。
  16. 前記キャパシターデバイスは、ピン型フォトダイオードを含むことを特徴とする請求項１４に記載の時間分解方法。
  17. 前記キャパシターデバイスの電荷を前記第１フローティング拡散ノードに伝達するステップ及び前記キャパシターデバイスの残留電荷を前記第２フローティング拡散ノードに伝達するステップは、活性化される前記第１イネーブル信号に応答する第１スイッチングデバイス及び活性化される前記第２イネーブル信号に応答する第２スイッチングデバイスにより、それぞれ遂行されることを特徴とする請求項１６に記載の時間分解方法。
JP2018200328A 2017-12-06 2018-10-24 距離測定のための時間分解型センサー及びその時間分解方法並びに３次元イメージセンサー Active JP7174591B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762595508P 2017-12-06 2017-12-06
US62/595,508 2017-12-06
US15/878,392 US10545224B2 (en) 2017-12-06 2018-01-23 Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
US15/878,392 2018-01-23

Publications (2)

Publication Number Publication Date
JP2019101023A JP2019101023A (ja) 2019-06-24
JP7174591B2 true JP7174591B2 (ja) 2022-11-17

Family

ID=66659053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200328A Active JP7174591B2 (ja) 2017-12-06 2018-10-24 距離測定のための時間分解型センサー及びその時間分解方法並びに３次元イメージセンサー

Country Status (5)

Country Link
US (4) US10545224B2 (ja)
JP (1) JP7174591B2 (ja)
KR (1) KR102663646B1 (ja)
CN (1) CN109884663B (ja)
TW (1) TWI779086B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545224B2 (en) * 2017-12-06 2020-01-28 Samsung Electronics Co., Ltd. Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
JP7414440B2 (ja) * 2019-09-18 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 測距センサ
CN113869095A (zh) * 2020-06-30 2021-12-31 敦泰电子股份有限公司 指纹显示设备及驱动其之整合集成电路及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012251862A (ja) 2011-06-02 2012-12-20 Mitsubishi Electric Corp レーザレーダ装置
US20140124653A1 (en) 2012-11-02 2014-05-08 The University Court Of The University Of Edinburgh Pixel circuit with capacitor discharge indicative of number of events
US20140124652A1 (en) 2012-11-02 2014-05-08 The University Court Of The University Of Edinburgh Pixel circuit with controlled capacitor discharge time of flight measurement

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489352B2 (en) * 2002-11-15 2009-02-10 Micron Technology, Inc. Wide dynamic range pinned photodiode active pixel sensor (APS)
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
WO2010149593A1 (en) * 2009-06-22 2010-12-29 Toyota Motor Europe Nv/Sa Pulsed light optical rangefinder
US8514284B2 (en) 2009-12-17 2013-08-20 Raytheon Company Textured pattern sensing and detection, and using a charge-scavenging photodiode array for the same
GB201014843D0 (en) * 2010-09-08 2010-10-20 Univ Edinburgh Single photon avalanche diode for CMOS circuits
US8698084B2 (en) 2011-03-10 2014-04-15 Sionyx, Inc. Three dimensional sensors, systems, and associated methods
FR2985570A1 (fr) 2012-01-09 2013-07-12 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
US8642938B2 (en) 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
KR101848771B1 (ko) * 2012-02-08 2018-05-28 삼성전자주식회사 3차원 이미지 센서 및 이를 포함하는 휴대용 장치
CN104160295B (zh) 2012-03-09 2017-09-15 株式会社半导体能源研究所 半导体装置的驱动方法
KR101397252B1 (ko) * 2012-06-29 2014-05-20 삼성전기주식회사 하이브리드 아날로그 디지털 변환 장치 및 이를 이용한 센싱 장치
US9247170B2 (en) * 2012-09-20 2016-01-26 Semiconductor Components Industries, Llc Triple conversion gain image sensor pixels
US9677931B2 (en) 2013-04-24 2017-06-13 Koninklijke Philips N.V. Detection of radiation quanta using an optical detector pixel array and pixel cell trigger state sensing circuits
KR20150000250A (ko) * 2013-06-24 2015-01-02 삼성전자주식회사 단위 픽셀 및 그것을 포함하는 이미지 센서
US9762890B2 (en) * 2013-11-08 2017-09-12 Samsung Electronics Co., Ltd. Distance sensor and image processing system including the same
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
JP6374690B2 (ja) 2014-04-01 2018-08-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2015157341A1 (en) * 2014-04-07 2015-10-15 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US9523765B2 (en) * 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US9313476B2 (en) * 2014-08-07 2016-04-12 Omnivision Technologies, Inc. Precharged latched pixel cell for a time of flight 3D image sensor
US9602750B2 (en) * 2014-11-25 2017-03-21 Semiconductor Components Industries, Llc Image sensor pixels having built-in variable gain feedback amplifier circuitry
US9425233B2 (en) 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
US9608027B2 (en) * 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
EP3124992B1 (de) 2015-07-27 2017-07-12 Sick Ag Lichtempfänger mit lawinenphotodioden im geiger-modus und verfahren zum auslesen
US10942261B2 (en) * 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
JP6860656B2 (ja) * 2016-05-18 2021-04-21 オキーフェ, ジェームスO’KEEFEE, James 車両の形状に適応したダイナミックステアドｌｉｄａｒ
US10495736B2 (en) * 2016-08-04 2019-12-03 Stmicroelectronics (Research & Development) Limited Single SPAD array ranging system
US10890649B2 (en) * 2016-08-11 2021-01-12 Qualcomm Incorporated System and method for measuring reference and returned light beams in an optical system
US10598787B2 (en) * 2016-11-04 2020-03-24 Stmicroelectronics (Research & Development) Limited Method and apparatus for measuring time of flight
US10389957B2 (en) * 2016-12-20 2019-08-20 Microsoft Technology Licensing, Llc Readout voltage uncertainty compensation in time-of-flight imaging pixels
US10527728B2 (en) * 2017-01-27 2020-01-07 Samsung Electronics Co., Ltd Apparatus and method for range measurement
EP3392675B1 (en) * 2017-04-21 2021-03-10 Melexis Technologies NV Active pixel circuit for a time-of-flight system and method for operating the same
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
US10397554B2 (en) * 2017-05-16 2019-08-27 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
US10545224B2 (en) * 2017-12-06 2020-01-28 Samsung Electronics Co., Ltd. Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012251862A (ja) 2011-06-02 2012-12-20 Mitsubishi Electric Corp レーザレーダ装置
US20140124653A1 (en) 2012-11-02 2014-05-08 The University Court Of The University Of Edinburgh Pixel circuit with capacitor discharge indicative of number of events
US20140124652A1 (en) 2012-11-02 2014-05-08 The University Court Of The University Of Edinburgh Pixel circuit with controlled capacitor discharge time of flight measurement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STOPPA, David 外７名，"A 32x32-Pixel Array with In-Pixel Photon Counting and Arrival Time Measurement in the Analog Domain"，2009 PROCEEDINGS OF ESSCIRC，2009年，Pages 204-207，<DOI: 10.1109/ESSCIRC.2009.5325970 >

Also Published As

Publication number Publication date
TWI779086B (zh) 2022-10-01
US10545224B2 (en) 2020-01-28
TW201926985A (zh) 2019-07-01
US20220260715A1 (en) 2022-08-18
US11703594B2 (en) 2023-07-18
US10802118B2 (en) 2020-10-13
US20200400794A1 (en) 2020-12-24
KR20190067079A (ko) 2019-06-14
US20230296772A1 (en) 2023-09-21
JP2019101023A (ja) 2019-06-24
CN109884663B (zh) 2024-04-12
US20200116835A1 (en) 2020-04-16
US11366226B2 (en) 2022-06-21
US20190170864A1 (en) 2019-06-06
KR102663646B1 (ko) 2024-05-08
CN109884663A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
KR102348933B1 (ko) 거리 측정 장치 및 방법
US10735714B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
CN110779459B (zh) 图像传感器、成像单元和生成灰阶图像的方法
US10397554B2 (en) Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement
KR102545703B1 (ko) 직접적인 tof 및 삼각 측량에 근거한 레인지 센서 장치
US11988777B2 (en) Time-resolving image sensor for range measurement and 2D greyscale imaging
US11703594B2 (en) Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
KR20180023786A (ko) 범위 측정을 위한 진폭 변조를 사용하는 전파 시간 이미지 센서
US20190187256A1 (en) Non-spad pixels for direct time-of-flight range measurement
CN111103057A (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
US12032064B2 (en) Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
CN111726548B (zh) 图像传感器的像素和图像传感器
Chen et al. 2D and 3D integrated image sensor with a bus-sharing mechanism

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R150 Certificate of patent or registration of utility model

Ref document number: 7174591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150