JP7476033B2 - 受光装置及び電子装置 - Google Patents

受光装置及び電子装置 Download PDF

Info

Publication number
JP7476033B2
JP7476033B2 JP2020141187A JP2020141187A JP7476033B2 JP 7476033 B2 JP7476033 B2 JP 7476033B2 JP 2020141187 A JP2020141187 A JP 2020141187A JP 2020141187 A JP2020141187 A JP 2020141187A JP 7476033 B2 JP7476033 B2 JP 7476033B2
Authority
JP
Japan
Prior art keywords
light
light receiving
bias voltage
period
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020141187A
Other languages
English (en)
Other versions
JP2022036806A (ja
Inventor
トァン タン タ
明秀 崔
俊貴 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020141187A priority Critical patent/JP7476033B2/ja
Priority to EP21158932.0A priority patent/EP3961250A1/en
Priority to US17/187,524 priority patent/US20220057492A1/en
Publication of JP2022036806A publication Critical patent/JP2022036806A/ja
Priority to JP2023146503A priority patent/JP2023164543A/ja
Application granted granted Critical
Publication of JP7476033B2 publication Critical patent/JP7476033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Light Receiving Elements (AREA)

Description

本発明の一実施形態は、受光装置及び電子装置に関する。
自動運転等では、対象物までの距離を計測するために、ToF(Time of Flight)センサを用いるのが一般的である。ToFセンサは、投光部が光を投光した時刻と、投光部からの光を対象物で反射した光が受光される時刻との時間差により、距離を計測する。
対象物が遠方にある場合、対象物からの反射光の光強度が弱くなるため、受光装置の感度を高くする必要がある。受光装置としてアバランシェ・フォトダイオードを用いてガイガーモードで動作させることにより、微弱な光を検出可能な高感度の受光装置が得られる。
しかしながら、受光装置の感度を高くすると、太陽光などの外乱光をも検出してしまい、正確に距離計測を行えなくなるおそれがある。
特開2019-190892号公報
本発明の一態様は、外乱光に影響されることなく所望の光を精度よく受光できる受光装置及び電子装置を提供するものである。
上記の課題を解決するために、本発明の一実施形態によれば、1つの画素に対応するM(Mは2以上の整数)個の受光素子と、
第1期間内に前記M個の受光素子のうち閾値N(Nは2以上かつ前記M未満の整数)個以上の数の受光素子が同時に光を検出しないように前記M個の受光素子のバイアス電圧を制御する制御部と、を備える、受光装置が提供される。
第1の実施形態による受光装置の概略構成を示すブロック図。 図1の受光装置1における画素の内部構成を示す回路図。 受光部の特性を示す図。 図1の受光装置にヒストグラム生成部を追加したブロック図。 ヒストグラム生成部で生成されたヒストグラムの一例を示す図。 受光素子のバイアス電圧を初期電圧から複数回に亘って順次に低下させる例を示す図。 バイアス電圧の調整を制御期間と、距離計測を行う測距期間のタイミングの第1例を示す図。 バイアス電圧の調整タイミングと距離計測タイミングの第2例を示す図。 本実施形態による受光装置を内蔵する受光モジュールを備えた電子装置の概略構成を示すブロック図。 受光モジュールと信号処理部をパッケージの基板上に実装した例を示す模式的な斜視図。
以下、図面を参照して、受光装置及び電子装置の実施形態について説明する。以下では、受光装置及び電子装置の主要な構成部分を中心に説明するが、受光装置及び電子装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(第1の実施形態)
図1は第1の実施形態による受光装置1の概略構成を示すブロック図である。図1の受光装置1は、後述するように、例えば対象物からの反射光を受光するために用いられる。図1の受光装置1は、一次元又は二次元方向に配置された複数の画素2を有する受光部3と、制御部4とを備えている。
図2は図1の受光装置1における画素2の内部構成を示す回路図である。図2に示すように、受光部3内の各画素2は、並列接続された複数の受光素子5を有する。各受光素子5は、第1ノードと第2ノードの間に直列接続された抵抗素子R及びSPAD6(Silicon Photon Avalanche Diode)を有する。本実施形態では、SPAD6をガイガーモードで動作させることを想定している。これにより、各受光素子5は、受光した1つの光子を光電変換した電気信号を出力することができる。本明細書では、受光素子5が1つの光子を検出して電気信号を出力することを発火と呼ぶことがある。受光素子5は、いったん発火すると、リセット動作が必要となり、リセット動作が終了するまでは、新たな光を受光できない。受光素子5が発火してから、次に発火可能な状態になるまでの期間はデッドタイムとも呼ばれる。図2では受光素子5の構成の一例を示すだけであり、受光素子5の構成を制限するものではない。例えば、抵抗Rの代わりに能動素子を使ってSPAD6を制御するアクティブクエンチ回路等用いても良い。また、図2に示すような受光素子5を複数並列に並べて、各端子をつなげている構成も一例であり、受光素子5の並列に接続する方法も制限されない。例えば、受光素子5の中にSPAD6の出力をデジタル領域の信号に変換し、複数の受光素子5の出力をデジタル領域で足し算して画素2の出力にしても良い。
図2の画素2は、複数の受光素子5を有することから、SiPM(Silicon Photomultiplier)とも呼ばれる。以下では、一つの画素2内に含まれる受光素子5の数がM(Mは2以上の整数)個である例を説明する。
受光素子5であるSPAD6のカソードに、SPAD6の降伏電圧よりも高いバイアス電圧が印加することで、受光素子5はガイガーモードで駆動される。SPAD6に与えるバイアス電圧を制御することで、SPAD6の感度を調整することができる。
図1に示す制御部4は、所定期間内にM個の受光素子5のうちN(Nは2以上かつM未満の整数)個を閾値とした閾値以上の個数の受光素子5が同時に光を検出しないように画素2内のM個の受光素子5のバイアス電圧を制御する。このように、制御部4は、第1期間内では、画素2内のN個未満の受光素子5しか同時に光を検出しないようにバイアス電圧を調整するため、受光素子5が第1期間内に飽和するおそれがなく、対象物までの距離計測を精度よく行うことができる。
第1期間とは、例えば図1では不図示の投光部が対象物に光を照射する間隔より短い期間である。より具体的には、例えば距離計測を行う場合には、第1期間は、対象物からの反射光が受光されるタイミングを含む期間に設定される。
M個の受光素子は、第1光を検出してから新たに第2光を検出可能となるまでにデッドタイム期間の経過を必要とするものであって、N個以上の受光素子が同時に光を検出する状態とは、N個の受光素子が同時にデッドタイム期間に属する。
図3は受光部3の特性を示す図である。図3の横軸は各画素2内の受光素子5のバイアス電圧、縦軸は各画素2の出力である。本実施形態では、受光素子5として、ガイガーモードで動作するSPAD6を想定しており、各SPAD6は光を検出すると、その後のデッドタイム期間中は新たな光を検出できない。よって、画素2内の全てのSPAD6が光を検出すると、それ以上の光を受光できないことになり、この状態は飽和状態と呼ばれる。飽和状態は、図3の最大出力に該当する。各画素2が飽和状態になると、しばらくの間は新たな光を受光できなくなるため、各画素2が飽和状態にならないように、各受光素子5のバイアス電圧を調整する必要がある。
図3の縦軸の画素2の出力とは、画素2内のM個の受光素子5のうち、光を検出した受光素子5の数を表す。図示のように、受光素子5のバイアス電圧を変化させることにより、各画素2の出力を変化させることができる。図3の特性曲線は、バイアス電圧が低い期間内はほぼ線形に画素2の出力が変化する線形領域であり、バイアス電圧が高くなると、ほとんどの受光素子5が光を検出することから、画素2の出力が変化する度合いが緩やかになる。図3の特性曲線の線形領域の傾きは、太陽光などの外乱光、受光素子5の製造ばらつき、温度、受光素子5間のクロストークなどで決まる。
受光素子5のバイアス電圧を上げるほど、受光素子5の感度が向上して微弱な光でも受光可能となるが、その一方で、太陽光などの外乱光も検出しやすくなり、受光素子5で光電変換した電気信号に含まれる雑音の割合が増える。また、SPAD6は、光を受光しなくても、雑音となる電気信号を出力することがある。特に、SPAD6の感度を上げた場合、雑音が増える傾向にある。さらに、周囲のSPAD6が発火した影響で、他のSPAD6が発火するクロストークと呼ばれる現象が起こり得る。その一方で、受光素子5のバイアス電圧を低くすると、微弱な光を検出できなくなり、感度が低下する。
よって、受光素子5のバイアス電圧は、画素2が飽和しない程度に、できるだけ高く設定するのが望ましい。そこで、本実施形態による制御部4は、図3に破線で示すように、画素2の出力に閾値(飽和閾値とも呼ぶ)を設定して、画素2の出力が第1期間内に閾値を超えないように、画素2内の各受光素子5のバイアス電圧を調整する。なお、本明細書では、一つの画素2内のすべての受光素子5に同一の電圧レベルのバイアス電圧を与えることを想定している。
制御部4は、投光部が発光した光が対象物で反射されて受光素子5で受光される期間を含むように第1期間を設定し、設定した第1期間内に光を検出する受光素子5の数が閾値を超えないようにバイアス電圧を設定する。これにより、対象物からの反射光を受光部3で漏れなく受光できるようになり、距離計測の精度を向上できる。
また、制御部4は、一次元又は二次元方向に配置される複数の画素2が存在する場合に、画素2ごとにバイアス電圧を個別に制御してもよい。画素2ごとに光を検出する特性に違いが生じる場合がありうるためである。
このように、第1の実施形態では、画素2の出力が飽和しないように画素2内の各受光素子5のバイアス電圧を調整するため、対象物からの反射光を漏れなく受光できるとともに、太陽光などの外乱光の影響を受けにくくなる。
(第2の実施形態)
第2の実施形態による受光装置1は、図1と同様のブロック構成を備えているが、制御部4の動作が第1の実施形態とは異なる。また、第1の実施形態による画素2は、少なくとも2つの受光素子5を備えていたが、本実施形態による画素2は、1つ以上の受光素子5を備えていればよい。以下では、画素2がM(Mは1以上の整数)個の受光素子5を有するものとする。
本実施形態による制御部4は、第1期間内にM個の受光素子5が光を検出した回数の合計値が予め定めた閾値以上にならないようにM個の受光素子5のバイアス電圧を制御する。すなわち、制御部4は、第1期間内に画素2内で光を検出する受光素子5の数が閾値未満になるように、各受光素子5のバイアス電圧を制御する。
第1期間は、投光部が対象物に光を照射する間隔より長い期間である。本実施形態では、複数回の光を受光することを前提としており、例えば、投光部から間欠的に複数回の光を投光して、これら複数回の光が対象物で反射されて順次受光される期間内に第1期間が設定される。
このように、本実施形態では、受光素子5は、複数回の光の受光を前提としているため、画素2内の受光素子5は1個だけでもよい。1個の受光素子5が複数回にわたって光を受光した結果に基づいて、その受光素子5のバイアス電圧を制御することができる。また、画素2内に複数の受光素子5が設けられている場合は、複数の受光素子5が複数回にわたって光を受光した結果に基づいて、これら受光素子5のバイアス電圧を制御することができる。
閾値は、第1期間内に受光素子5内のすべての受光素子5が光を検出してしまうことがないような値に設定される。制御部4は、第1期間内に光を受光する受光素子5の数が閾値未満になるように、各受光素子5のバイアス電圧を制御するため、対象物からの光を受光し損ねるおそれがなくなり、対象物までの距離計測を精度よく行うことができる。
また、制御部4は、一次元又は二次元方向に配置される複数の画素2が存在する場合に、画素2ごとに複数回の受光結果に基づいてバイアス電圧を個別に制御してもよい。画素2ごとに光を検出する特性に違いが生じる場合がありうるためである。
このように、第2の実施形態では、受光部3が複数回にわたって光を受光した結果に基づいて、画素2内の各受光素子5のバイアス電圧を制御するため、例えば、複数回の光の受光結果に基づいて対象物までの距離計測を行う場合に、距離計測の最中に画素2の出力が飽和する不具合が起きなくなり、距離計測を精度よく行うことができる。
(第3の実施形態)
第3の実施形態による受光装置1は、図1と同様のブロック構成を備えているが、制御部4の動作が第1及び第2の実施形態とは異なる。
第3の実施形態による画素2は、M(Mは1以上の整数)個の受光素子5を有する。制御部4は、第1期間内の画素2の出力が予め定めた閾値以上にならないように、画素2内のM個の受光素子5のバイアス電圧を制御する。
制御部4は、第1期間内の画素2の出力が図2の破線で示す閾値以下になるように、画素2内の各受光素子5のバイアス電圧を制御する。第1期間の長さは特に問わない。
第3の実施形態によれば、画素2内の各受光素子5のバイアス電圧を調整することにより、画素2内の出力の飽和を防止できる。
(第4の実施形態)
第4の実施形態は、上述した第1~第3の実施形態による制御部4の処理動作に関する。より具体的には、第4の実施形態では、画素2が飽和したか否かを判断する具体的な手法に関する。
図4は図1の受光装置1にヒストグラム生成部7を追加したブロック図である。ヒストグラム生成部7は、第1期間内にM個の受光素子5のうち光を検出した受光素子5の数と、その数の出現頻度との関係を表すヒストグラムを生成する。図4では不図示の投光部は、所定の時間間隔で、繰り返し光を投光するため、ヒストグラム生成部7は、投光部が複数回の光を投光して、投光した光が対象物で反射された反射光を受光装置1で受光することにより、ヒストグラムを生成する。
図5はヒストグラム生成部7で生成されたヒストグラムの一例を示す図である。図5の横軸は画素2の出力、縦軸は出現頻度である。横軸の画素2の出力とは、光を検出した受光素子5の数を指す。縦軸の出現頻度とは、出現確率と呼ぶこともある。
制御部4は、ヒストグラム生成部7で生成されたヒストグラムに基づいて、M個の受光素子5のうち光を検出した受光素子5の数が最大になるときの出現頻度が所定値以下になるように、バイアス電圧を設定する。
受光素子5が受光する信号は、対象物からの反射光と外乱光の両方を含んでいる。対象物からの反射光は本来受光するべき光であるため、対象物からの反射光が受光されるときの画素2の出力が最大になる必要がある。すなわち、対象物からの反射光が受光されないタイミングでは、画素2の出力は最大になってはいけない。そこで、制御部4は、ヒストグラムに基づいて、所定の期間内の画素2の出力の平均と分散を求めて、画素2の出力が最大になる確率を計算し、その確率が所定値以下であれば、画素2の出力は飽和しないと判断し、所定値より大きければ、画素2の出力は飽和すると判断する。制御部4は、画素2の出力が飽和すると判断した場合、バイアス電圧を低くして、画素2の出力が最大になる確率が所定値以下になるようにする。
なお、制御部4は、受光装置1の製造ばらつき等を考慮に入れて、図5に示すヒストグラムにおける画素2の最大出力から若干ずれた画素2の出力の出現頻度が所定値以下になるように、バイアス電圧を設定してもよい。
図5のようなヒストグラムを生成するには、複数回の光の投光と受光が必要であり、時間がかかる。そこで、予めヒストグラムを作成して、そのヒストグラムに基づいて閾値を設定し、第1期間内の画素2の平均出力が閾値を超えたか否かで画素2の出力が飽和したか否かを判断し、画素2の出力が飽和したと判断した場合には、バイアス電圧を調整してもよい。
また、制御部4は、ヒストグラムを用いずに、第1期間内の画素2の最大出力を検出し、画素2の最大出力が予め定めた閾値未満であれば画素2は飽和しないと判断し、画素2の最大出力が閾値以上であれば画素2は飽和していると判断してもよい。この場合、制御部4は、第1期間内の画素2の最大出力が閾値を超えないように受光素子5のバイアス電圧を設定する。この手法では、制御部4は画素2の最大出力だけをモニタすればよいため、制御部4の処理動作が容易になり、例えば制御部4をハードウェアで構成する場合には回路規模を縮小できる。
このように、第4の実施形態では、画素2の出力と出現頻度との対応関係を示すヒストグラムを利用することで、画素2の出力が飽和しないような受光素子5のバイアス電圧を比較的容易に設定できる。また、ヒストグラムを用いなくても、画素2の最大出力をモニタすることで、画素2の最大出力が閾値以下になるようにバイアス電圧を設定できる。
(第5の実施形態)
第5の実施形態は、第4の実施形態とは異なる手法にて、バイアス電圧を設定する。第5の実施形態による受光装置1は、図1と同様のブロック構成を備えているが、制御部4の処理動作が第4の実施形態とは異なる。
第5の実施形態による制御部4は、バイアス電圧を初期電圧から複数回に亘って順次に変化させることにより、最適なバイアス電圧を検索する。図6は受光素子5のバイアス電圧を初期電圧から複数回に亘って順次(段階的)に低下させる例を示す図である。図6の横軸は受光素子5にバイアス電圧を印加する時間、縦軸はバイアス電圧を示している。期間t1では、バイアス電圧は初期電圧V0に設定され、期間t2では、バイアス電圧は初期電圧V0よりも1段階低い電圧V1に設定され、その後、所定の期間ごとに複数回に亘って段階的にバイアス電圧は低下される。期間t1で設定されるバイアス電圧の初期電圧は、制御期間内で最大に与えられる電圧であり、このバイアスでも画素が飽和しない場合、より大きいバイアスを与えられないとする。
制御部4は、バイアス電圧を受光素子5に印加したときに、受光素子5が飽和するか否かを検出する。バイアス電圧を初期電圧から段階的に順次に低下させることで、光を検出する受光素子5の数が減っていく。例えば、制御部4は、画素2内にM(Mは2以上の整数)の受光素子5が存在したときに、そのうちのN(Nは1以上でM未満の整数)個の受光素子5が光を検出したときを閾値として設定し、そのときのバイアス電圧を画素2内の各受光素子5に設定する。
図6のように、段階的にバイアス電圧を低下させながら、画素2内の光を検出する受光素子5の数をカウントすることで、画素2内で予め定めた個数の受光素子5が光を検出するときに合わせて、画素2内の各受光素子5のバイアス電圧を設定することができる。
図6では、段階的にバイアス電圧を低下させながらバイアス電圧を設定する制御期間の他に、対象物までの距離計測を行う測距期間が設けられている。制御期間は、測距期間の合間に設けられている。
図6では、初期電圧から段階的にバイアス電圧を下げる例を示したが、初期電圧から段階的にバイアス電圧を高くしてもよい。この場合の初期電圧は、制御期間内で最小に与えられる電圧であり、このバイアスでも画素が飽和する場合、より小さいバイアスを与えられないとする。
制御部4は、バイアス電圧を初期電圧から複数回に亘って段階的に低下させたときに、閾値の条件を初めて満たしたバイアス電圧を設定し、その後のバイアス電圧の変更処理を中止してもよい。あるいは、制御部4は、バイアス電圧を初期電圧から複数回に亘って段階的に高くするときに、閾値の条件を初めて満たさなくなったときに、その直前のバイアス電圧を設定し、その後のバイアス電圧の変更処理を中止してもよい。
制御部4は、投光部が間欠的に光を照射するたびに、バイアス電圧を段階的に変化させてもよい。あるいは、制御部4は、制御部4は、投光部が複数回の光を照射するたびに、バイアス電圧を段階的に変化させてもよい。
また、バイアス電圧を変化させる際の電圧幅は、同じでも異なっていてもよい。また、一定の電圧パターンに従って、バイアス電圧を変化させてもよい。この場合の電圧パターンは、必ずしも単調増加や単調減少する電圧パターンでなくてもよく、不規則(例えばランダム)に電圧レベルが変化する電圧パターンでもよい。また、バイナリ検索法などでバイアス電圧を動的に変化させ、画素2が飽和しない最大のバイアス電圧を設定してもよい。
バイアス検索法は、例えば以下のような処理手順で行われる。まず、設定可能な最大のバイアス電圧Aと、設定可能な最小のバイアス電圧Bとで画素2の出力が飽和するか否かを比較し、バイアス電圧Aで飽和しない場合はバイアス電圧Aをバイアス電圧の設定値とする。また、バイアス電圧Bで飽和する場合はバイアス電圧Bをバイアス電圧の設定値とする。また、バイアス電圧Aで飽和し、かつバイアス電圧Bで飽和しない場合は、バイアス電圧C=(A+B)/2で画素2の出力が飽和するか否かを調べる。バイアス電圧Cで飽和する場合は、バイアス電圧Cとバイアス電圧Bとの間のバイアス電圧で飽和状態を調べる。バイアス電圧Cで飽和しない場合は、バイアス電圧Cとバイアス電圧Aとの間のバイアス電圧で飽和状態を調べる。このような飽和状態の比較処理を繰り返すことで、バイアス電圧の実際の設定値と理想的な設定値との誤差を処理ステップ数の2乗に逆比例して小さくすることができる。
制御部4は、対象物までの距離を計測する際に、画素2内の受光素子5のバイアス電圧を制御するが、バイアス電圧の制御は、距離計測を行うたびに必ずしも行う必要はなく、例えば、複数回の距離計測を行うたびに1回の割合でバイアス電圧の調整を行ってもよい。
図7はバイアス電圧の調整を制御期間と、距離計測を行う測距期間のタイミングの第1例を示す図である。図7の第1例では、バイアス電圧の調整を行う制御期間は、距離計測を行う測距期間が4回連続して設けられた後に、1回の割合で設けられる。どの程度の頻度でバイアス電圧の調整を行うかは任意である。また、図7では、一定間隔でバイアス電圧の調整を行っているが、不定期にバイアス電圧の調整を行ってもよい。
図8はバイアス電圧の調整タイミングと距離計測タイミングの第2例を示す図である。図8の第2例では、第1期間と第2期間が交互に配置されており、第1期間には、図7と同様に、複数回の測距期間が連続して設けられるたびに1回の割合で制御期間が設けられている。第2期間には、測距期間のみが設けられている。第1期間と第2期間の時間長さは任意であり、第1期間と第2時間の時間長さは不規則に変化してもよい。
このように、第5の実施形態では、バイアス電圧を段階的に変化させながら、画素2内で光を検出する受光素子5の数が閾値以下になるようにするため、最適なバイアス電圧を比較的容易に設定できる。
また、バイアス電圧の調整を行うタイミングを任意に設定できるため、距離計測の妨げにならないタイミングでバイアス電圧の調整を定期的又は不定期的に行うことができる。
(第6の実施形態)
上述した第1乃至第5の実施形態による受光装置1は、ToF(Time of Flight)方式の距離計測を行う電子装置に組み込むことができる。図9は本実施形態による受光装置1を内蔵する受光モジュール24を備えた電子装置21の概略構成を示すブロック図である。図9の電子装置21は、投光部22と、光制御部23と、受光モジュール24と、信号処理部25と、画像処理部26とを備えている。このうち、投光部22と、光制御部23と、受光モジュール24と、信号処理部25とで、距離計測装置27が構成される。上述した第1乃至第5の実施形態による受光装置1は、受光モジュール24の少なくとも一部として実装される。
図1の電子装置21の少なくとも一部は、1つ又は複数の半導体IC(Integrated Circuit)で構成可能である。例えば、信号処理部25と画像処理部26を一つの半導体チップの内部に集積してもよいし、この半導体チップに受光モジュール24まで含めて集積してもよい。また、この半導体チップに投光部22まで含めて集積してもよい。
投光部22は、第1の光を投光する。第1の光は、例えば所定の周波数帯域のレーザ光である。レーザ光とは、位相及び周波数が揃ったコヒーレントな光である。投光部22は、パルス状の第1の光を所定の周期で間欠的に投光する。投光部22が第1の光を投光する周期は、第1の光の一つのパルスに基づいて距離計測装置27で距離を計測するのに要する時間以上の時間間隔である。
投光部22は、発振器31と、投光制御部32と、光源33と、第1駆動部34と、第2駆動部35とを有する。発振器31は、第1の光を投光する周期に応じた発振信号を生成する。第1駆動部34は、発振信号に同期させて、光源33に間欠的に電力を供給する。光源33は、第1駆動部34からの電力に基づいて、第1の光を間欠的に出射する。光源33は、単一のレーザ光を出射するレーザ素子でもよいし、複数のレーザ光を同時に出射するレーザユニットでもよい。投光制御部32は、発振信号に同期させて、第2駆動部35を制御する。第2駆動部35は、投光制御部32からの指示に応じて、発振信号に同期した駆動信号を光制御部23に供給する。
光制御部23は、光源33から出射された第1の光の進行方向を制御する。また、光制御部23は、受光された第2の光の進行方向を制御する。
光制御部23は、第1レンズ41と、ビームスプリッタ42と、第2レンズ43と、走査ミラー44と、を有する。
第1レンズ41は投光部22から出射された第1の光を集光させて、ビームスプリッタ42に導く。ビームスプリッタ42は、第1レンズ41からの第1の光を二方向に分岐させて、第2レンズ43と走査ミラー44に導く。第2レンズ43は、ビームスプリッタ42からの分岐光を受光モジュール24に導く。第1の光を受光モジュール24に導光する理由は、受光モジュール24にて投光タイミングを検出するためである。
走査ミラー44は、投光部22内の第2駆動部35からの駆動信号に同期して、ミラー面を回転駆動する。これにより、ビームスプリッタ42を通過して走査ミラー44のミラー面に入射された分岐光(第1の光)の反射方向を制御する。走査ミラー44のミラー面を一定周期で回転駆動することで、光制御部23から出射された第1の光を少なくとも一次元方向に走査させることができる。ミラー面を回転駆動する軸を二方向に設けることで、光制御部23から出射された第1の光を二次元方向に走査させることも可能となる。図1では、走査ミラー44により、電子装置21から投光される第1の光をX方向及びY方向に走査させる例を示している。
電子装置21から投光された第1の光の走査範囲内に、対象物20が存在する場合、第1の光は対象物20で反射される。対象物20で反射された反射光のうち、少なくとも一部は、第1の光と略同一の経路を逆に進んで光制御部23内の走査ミラー44に入射される。走査ミラー44のミラー面は所定の周期で回転駆動されているが、レーザ光は光速で伝搬するため、走査ミラー44のミラー面の角度がほとんど変化しない間に、対象物20からの反射光がミラー面に入射される。ミラー面に入射された対象物20からの反射光は、受光モジュール24にて受光される。
受光モジュール24は、光検出器51と、増幅器52と、第3レンズ53と、受光センサ54と、A/D変換器55とを有する。光検出器51は、ビームスプリッタ42で分岐された光を受光して電気信号に変換する。光検出器51にて、第1の光の投光タイミングを検出できる。増幅器52は、光検出器51から出力された電気信号を増幅する。
第3レンズ53は、対象物20で反射されたレーザ光を受光センサ54に結像させる。受光センサ54は、レーザ光を受光して電気信号に変換する。受光センサ54は、上述した第1乃至第5の実施形態による受光装置1が適用可能である。受光センサ54は、SiPM(Silicon Photomultiplier)とも呼ばれる。
A/D変換器55は、受光センサ54から出力された電気信号を所定のサンプリングレートでサンプリングしてA/D変換し、デジタル信号を生成する。
信号処理部25は、第1の光を反射させた対象物20までの距離を計測するとともに、第2の光に応じたデジタル信号を記憶部61に記憶する。信号処理部25は、記憶部61と、距離計測部62と、記憶制御部63とを有する。
距離計測部62は、第1の光及び反射光に基づいて、対象物20までの距離を計測する。より具体的には、距離計測部62は、第1の光の投光タイミングと、受光センサ54で受光された第2の光に含まれる反射光の受光タイミングとの時間差に基づいて、対象物までの距離を計測する。すなわち、距離計測部62は、以下の式(1)に基づいて、距離を計測する。
距離=光速×(反射光の受光タイミング-第1の光の投光タイミング)/2 …(1)
式(1)式における「反射光の受光タイミング」とは、より正確には、反射光のピーク位置の受光タイミングである。距離計測部62は、第2の光に含まれる反射光のピーク位置を、A/D変換器55で生成されたデジタル信号に基づいて検出する。
本実施形態による電子装置21の少なくとも一部は、SiP(Silicon in Package)で実装可能である。図10は受光モジュール24と信号処理部25をパッケージの基板上に実装した例を示す模式的な斜視図である。図10の基板71上には、第1ダイ72と第2ダイ73が設けられている。第1ダイ72上には、図1の受光モジュール24内の受光センサ54が配置されている。受光センサ54は、上述した第1~第4の実施形態の受光装置1を有するSiPM74である。SiPM74は、X方向及びY方向に複数個ずつ配置されている。第2ダイ73上には、図1の受光モジュール24内のA/D変換器(ADC)55と、信号処理部25とが配置されている。第1ダイ72上のパッド76と、第2ダイ73上のパッド77とがボンディングワイヤ78で接続されている。
図10のレイアウト図では、第1ダイ72上に複数のSiPM74を配置しているが、各SiPM74に対応づけて、APDのデッドタイムを短縮するためのアクティブクエンチ回路やパッシブクエンチ回路(AQs)を配置してもよい。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 受光装置、2 画素、3 受光部、4 制御部、5 受光素子、6 SPAD、7 ヒストグラム生成部、20 対象物、21 電子装置、22 投光部、23 光制御部、24 受光モジュール、25 信号処理部、27 距離計測装置、31 発振器、32 投光制御部、33 光源、34 第1駆動部、35 第2駆動部、41 第1レンズ、42 ビームスプリッタ、43 第2レンズ、44 走査ミラー、51 光検出器、52 増幅器、53 第3レンズ、54 受光センサ、55 A/D変換器、61 記憶部、62 距離計測部、63 記憶制御部

Claims (14)

  1. 1つの画素に対応するM(Mは3以上の整数)個の受光素子と、
    第1期間内に前記M個の受光素子のうち閾値N(Nは2以上かつ前記M未満の整数)個以上の数の受光素子が同時に光を検出しないように前記M個の受光素子のバイアス電圧を制御する処理を制御期間に行う制御部と、を備え、
    前記M個の受光素子のそれぞれは、ガイガーモードで動作されるアバランシェ・フォトダイオードを有し、
    前記受光素子は、前記制御期間の後の測距期間において、前記制御部が前記制御期間に制御した前記バイアス電圧を用いて投光部が投光した光を検出し、投光部が光を投光した時刻と、投光部からの光を対象物で反射した光を前記受光素子で受光した時刻との時間差により、距離を計測するために用いられる、
    受光装置。
  2. 1つの画素に対応するM(Mは3以上の整数)個の受光素子と、
    第1期間内に前記M個の受光素子のうち閾値N(Nは2以上かつ前記M未満の整数)個以上の数の受光素子が同時に光を検出しないように前記M個の受光素子のバイアス電圧を制御する制御部と、
    前記第1期間内に前記M個の受光素子のうち光を検出した受光素子の数と、前記数の出現頻度との関係を表すヒストグラムを生成するヒストグラム生成部と、を備え、
    前記M個の受光素子のそれぞれは、ガイガーモードで動作されるアバランシェ・フォトダイオードを有し、
    前記受光素子は、投光部が光を投光した時刻と、投光部からの光を対象物で反射した光を前記受光素子で受光した時刻との時間差により、距離を計測するために用いられ、
    前記制御部は、前記ヒストグラムに基づいて、前記M個の受光素子のうち光を検出した受光素子の数が最大になるときの出現頻度が所定値以下になるように、前記バイアス電圧を設定する、受光装置。
  3. 前記第1期間は、投光部が対象物に光を照射する間隔より短い期間である、請求項1又は2に記載の受光装置。
  4. 前記M個の受光素子は、第1光を検出してから新たに第2光を検出可能となるまでにデッドタイム期間の経過を必要とするものであって、
    前記N個以上の受光素子が同時に光を検出する状態とは、前記N個の受光素子が同時にデッドタイム期間に属する、請求項1乃至3のいずれか一項に記載の受光装置。
  5. 前記制御部は、前記バイアス電圧を予め定めた初期電圧から複数回に亘って変化させることにより、最適な前記バイアス電圧を検索する、請求項1に記載の受光装置。
  6. 前記制御部は、前記バイアス電圧を前記初期電圧から複数回に亘って段階的に低下させることにより、最適な前記バイアス電圧を検索する、請求項5に記載の受光装置。
  7. 前記制御部は、前記バイアス電圧を前記初期電圧から複数回に亘って段階的に低下させたときに、前記閾値の条件を初めて満たした前記バイアス電圧を設定し、その後の前記バイアス電圧の変更処理を中止する、請求項6に記載の受光装置。
  8. 前記制御部は、前記バイアス電圧を前記初期電圧から複数回に亘って段階的に高くすることにより、最適な前記バイアス電圧を検索する、請求項5に記載の受光装置。
  9. 前記制御部は、前記バイアス電圧を前記初期電圧から複数回に亘って段階的に高くするときに、前記閾値の条件を初めて満たさなくなったときに、その直前の前記バイアス電圧を設定し、その後の前記バイアス電圧の変更処理を中止する、請求項8に記載の受光装置。
  10. 前記制御部は、投光部が間欠的に光を照射するたびに、前記バイアス電圧を段階的に変化させる、請求項5乃至9のいずれか一項に記載の受光装置。
  11. 前記制御部は、投光部が複数回の光を照射するたびに、前記バイアス電圧を段階的に変化させる、請求項5乃至9のいずれか一項に記載の受光装置。
  12. 一次元又は二次元方向に配置される複数の前記画素を備え、
    前記制御部は、前記複数の画素のそれぞれごとに、前記バイアス電圧を制御可能である、請求項11に記載の受光装置。
  13. 第1の光が対象物で反射された第2の光を受光する請求項1乃至12のいずれか一項に記載の受光装置と、
    前記受光装置で受光された受光信号に対応するデジタル信号を生成するAD変換部と、
    前記デジタル信号を記憶する記憶部と、
    前記第1の光の投光タイミングと、前記受光装置での前記第2の光の受光タイミングとに基づいて、前記対象物までの距離を計測する距離計測部と、を備える、電子装置。
  14. 前記第1の光を投光する投光部をさらに備え、
    前記距離計測部は、前記第1の光の投光タイミングを取得する、請求項13に記載の電子装置。
JP2020141187A 2020-08-24 2020-08-24 受光装置及び電子装置 Active JP7476033B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020141187A JP7476033B2 (ja) 2020-08-24 2020-08-24 受光装置及び電子装置
EP21158932.0A EP3961250A1 (en) 2020-08-24 2021-02-24 Light-receiving apparatus with bias voltage control and corresponding electronic device performing tof distance measurement
US17/187,524 US20220057492A1 (en) 2020-08-24 2021-02-26 Light-receiving apparatus and electronic device
JP2023146503A JP2023164543A (ja) 2020-08-24 2023-09-08 受光装置及び電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020141187A JP7476033B2 (ja) 2020-08-24 2020-08-24 受光装置及び電子装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023146503A Division JP2023164543A (ja) 2020-08-24 2023-09-08 受光装置及び電子装置

Publications (2)

Publication Number Publication Date
JP2022036806A JP2022036806A (ja) 2022-03-08
JP7476033B2 true JP7476033B2 (ja) 2024-04-30

Family

ID=74732736

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020141187A Active JP7476033B2 (ja) 2020-08-24 2020-08-24 受光装置及び電子装置
JP2023146503A Pending JP2023164543A (ja) 2020-08-24 2023-09-08 受光装置及び電子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023146503A Pending JP2023164543A (ja) 2020-08-24 2023-09-08 受光装置及び電子装置

Country Status (3)

Country Link
US (1) US20220057492A1 (ja)
EP (1) EP3961250A1 (ja)
JP (2) JP7476033B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023170280A (ja) * 2022-05-18 2023-12-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324909A (ja) 2001-04-25 2002-11-08 Nikon Corp 光電変換回路及びレーザ測距装置
JP2012530917A (ja) 2009-06-22 2012-12-06 トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム パルス光による光学式距離計
JP2014081254A (ja) 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
JP2015078953A (ja) 2013-10-18 2015-04-23 株式会社デンソー レーダ装置
JP2016145776A (ja) 2015-02-09 2016-08-12 三菱電機株式会社 レーザ受信装置
US20180180473A1 (en) 2016-12-22 2018-06-28 Sick Ag Light Receiver Having a Plurality of Avalanche Photodiode Elements and Method for Supplying a Bias Voltage
JP2018182051A (ja) 2017-04-12 2018-11-15 株式会社デンソー 光検出器
JP2018537680A (ja) 2015-12-20 2018-12-20 アップル インコーポレイテッドApple Inc. 光検出測距センサ
JP2019190892A (ja) 2018-04-20 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
JP2020042021A (ja) 2018-08-17 2020-03-19 ジック アーゲー 多数のアバランシェフォトダイオード素子を用いた光の検出
WO2020103805A1 (en) 2018-11-19 2020-05-28 Suteng Innovation Technology Co., Ltd. Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324909A (ja) 2001-04-25 2002-11-08 Nikon Corp 光電変換回路及びレーザ測距装置
JP2012530917A (ja) 2009-06-22 2012-12-06 トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム パルス光による光学式距離計
JP2014081254A (ja) 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
JP2015078953A (ja) 2013-10-18 2015-04-23 株式会社デンソー レーダ装置
JP2016145776A (ja) 2015-02-09 2016-08-12 三菱電機株式会社 レーザ受信装置
JP2018537680A (ja) 2015-12-20 2018-12-20 アップル インコーポレイテッドApple Inc. 光検出測距センサ
US20180180473A1 (en) 2016-12-22 2018-06-28 Sick Ag Light Receiver Having a Plurality of Avalanche Photodiode Elements and Method for Supplying a Bias Voltage
JP2018182051A (ja) 2017-04-12 2018-11-15 株式会社デンソー 光検出器
JP2019190892A (ja) 2018-04-20 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
JP2020042021A (ja) 2018-08-17 2020-03-19 ジック アーゲー 多数のアバランシェフォトダイオード素子を用いた光の検出
WO2020103805A1 (en) 2018-11-19 2020-05-28 Suteng Innovation Technology Co., Ltd. Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same

Also Published As

Publication number Publication date
EP3961250A1 (en) 2022-03-02
JP2023164543A (ja) 2023-11-10
JP2022036806A (ja) 2022-03-08
US20220057492A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
JP6766815B2 (ja) 補正装置、補正方法および測距装置
JP6633197B2 (ja) 光検出装置、及び電子機器
JP6045963B2 (ja) 光測距装置
US11391824B2 (en) Distance measuring device and distance measuring method
US9651663B2 (en) Distance measurement apparatus
WO2019194039A1 (ja) 光測距装置
JP2023164543A (ja) 受光装置及び電子装置
JP2010286448A (ja) 光測距装置
US20220018764A1 (en) Method for determining the distance and reflectivity of an object surface
US11652116B2 (en) Light detection apparatus with array controlled by shielded light detectors and electronic device
CN112067120B (zh) 光检测装置
JP2007232687A (ja) 光学式測距装置
JP2002195807A (ja) 光学式変位測定装置及びその投光光量補正方法
WO2016013242A1 (ja) 距離測定装置及び距離測定方法
JP7003949B2 (ja) 光測距装置
US20210072359A1 (en) Photo detection device, electronic device, and photo detection method
US20210003678A1 (en) Electronic device, light receiving device, light projecting device, and distance measurement method
US20230073292A1 (en) Photodetector, electronic device, and method of photodetection
JP2002324909A (ja) 光電変換回路及びレーザ測距装置
Nemecek et al. Correlating PIN-photodetector with novel difference-integrator concept for range-finding applications
CN114114303A (zh) 使用两种光调变频率的距离量测装置及其运行方法
JP2020042049A (ja) 距離測定装置及び光検出器
JP2021089248A (ja) レーザレーダ
KR19980054938A (ko) 레이저 빔을 이용한 광학식 거리측정장치 및 방법
JPH04338904A (ja) 距離検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240417

R150 Certificate of patent or registration of utility model

Ref document number: 7476033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150