JPWO2020022137A1 - 受光装置及び測距装置 - Google Patents

受光装置及び測距装置 Download PDF

Info

Publication number
JPWO2020022137A1
JPWO2020022137A1 JP2020532314A JP2020532314A JPWO2020022137A1 JP WO2020022137 A1 JPWO2020022137 A1 JP WO2020022137A1 JP 2020532314 A JP2020532314 A JP 2020532314A JP 2020532314 A JP2020532314 A JP 2020532314A JP WO2020022137 A1 JPWO2020022137 A1 JP WO2020022137A1
Authority
JP
Japan
Prior art keywords
unit
light receiving
histogram
correction
correction processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020532314A
Other languages
English (en)
Inventor
憲太 槇本
憲太 槇本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020022137A1 publication Critical patent/JPWO2020022137A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示の受光装置は、2次元状に配置された複数の画素を有する受光部、画素に接続された信号線、信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、受光部内における画素の位置に対応した補正値を記憶する記憶部、記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、補正処理部で補正処理された信号を出力する出力部、を備える。本開示の測距装置は、上記の構成の受光装置を用いる。

Description

本開示は、受光装置及び測距装置(距離測定装置)に関する。
光子の受光に応じて信号を発生する素子を、受光素子として用いた受光装置がある(例えば、特許文献1参照)。この種の受光装置では、測定対象物までの距離を測定する測定法として、測定対象物に向けて照射した光が、当該測定対象物で反射されて戻ってくるまでの時間を測定するTOF(Time Of Flight:飛行時間)法が採用されている。TOF法のうち、光の飛行時間差から直接距離を算出する直接TOF法では、光子飛行時間を正確にとらえる必要がある。
受光素子を含む画素を2次元状に配置して、3次元深度マップ(depthmap)を取得する受光装置では、各画素から時間計測部(time-to-digital converter:TDC)に至る経路の長さが異なるため、2次元の面内の伝搬遅延スキュー(以下、「面内遅延スキュー」と記述する)が問題になる。
特開2016−211881号公報
面内遅延スキューを無くすために、複数の受光素子(画素)から時間計測部(Time to Digital Converter:TDC)に至る各経路の配線に直接、遅延調整のためのバッファを追加する手法が考えられる。しかし、追加するバッファの特性ばらつきによって面内遅延スキューが更に悪化することが懸念される。従って、バッファを追加する手法で面内遅延スキューを補正することは難しい。
また、面内遅延スキューの補正を、受光装置の後段に設けられたアプリケーションプロセッサで行うこともできる。しかし、アプリケーションプロセッサで面内遅延スキューの補正を実施するようにした場合、システム全体の処理遅延が、複数の画素の全信号を取得するフレーム単位になってしまい、処理遅延が大きいために、即時応答が必要なアプリケーションではその処理遅延が問題になる。
そこで、本開示は、面内遅延スキューに対する優れた補正処理を実現することができる受光装置、及び、当該受光装置を用いる測距装置を提供することを目的とする。
上記の目的を達成するための本開示の受光装置は、
2次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、
を備える構成となっている。
また、上記の目的を達成するための本開示の測距装置は、
測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を受光する受光装置を備え、
受光装置として、上記の構成の受光装置を用いる構成となっている。
図1は、本開示の一実施形態に係る測距装置を示す概略構成図である。 図2A及び図2Bは、本開示の一実施形態に係る測距装置の具体的な構成を示すブロック図である。 図3は、SPAD素子を用いた受光装置の基本的な画素回路を示す回路図である。 図4Aは、SPAD素子のPN接合の電流−電圧特性を示す特性図であり、図4Bは、画素回路の回路動作の説明に供する波形図である。 図5は、受光装置の受光部の構成の一例を示す概略平面図である。 図6は、受光装置の測距制御部の基本的な構成を示すブロック図である。 図7は、2次元の面内遅延スキューについて説明する図である。 図8は、実施例1に係る受光装置の構成を示すブロック図である。 図9は、実施例1に係る受光装置における面内遅延補正部の構成の一例を示すブロック図である。 図10は、ヒストグラムに関するデータDATA、ヒストグラムのアドレスADDR、補正量OFST、及び、補正後のヒストグラム毎のビン値BINのタイミング関係を示すタイミングチャートである。 図11Aは、実施例1に係る受光装置における面内遅延スキューの補正処理の流れを示すフローチャートであり、図11Bは、実施例1の場合の補正前後のヒストグラムに関するデータの時間軸方向の位置関係を示す図である。 図12Aは、実施例2の場合の時間計測部に対する各画素の位置関係についての説明図であり、図12Bは、各画素から時間計測部までの遅延が面内で線形的であることの説明図である。 図13は、実施例3の場合の補正前後のヒストグラムに関するデータの時間軸方向の位置関係を示す図である。 図14は、実施例4に係る受光装置の構成を示すブロック図である。 図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図16は、測距装置の設置位置の例を示す図である。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の受光装置及び測距装置、全般に関する説明
2.実施形態に係る測距装置
2−1.SPAD素子を用いた受光装置の基本構成
2−2.受光装置の受光部の構成
2−3.受光装置の信号処理部の基本的な構成
2−4.面内遅延スキューについて
3.実施形態に係る受光装置
3−1.実施例1(ヒストグラムに関するデータのヒストグラム作成部からの読み出し時に、面内遅延スキューの補正処理を行う例)
3−2.実施例2(実施例1の変形例:各画素から時間計測部までの遅延が面内で線形的な傾向を示す場合の例)
3−3.実施例3(実施例1の変形例:全ヒストグラムに共通する遅延についても補正処理を行う例)
3−4.実施例4(ヒストグラムに関するデータのヒストグラム作成部への書き込み時に、面内遅延スキューの補正処理を行う例)
4.本開示に係る技術の適用例(移動体の例)
5.本開示がとることができる構成
<本開示の受光装置及び測距装置、全般に関する説明>
本開示の受光装置及び測距装置にあっては、補正値について、画素から時間計測部までの距離に基づく値である形態とすることができる。受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する構成とすることができる。
上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、ヒストグラム作成部について、受光部の画素行に対応して複数設けられている構成とすることができる。このとき、補正処理部について、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う構成とすることができる。また、補正処理部について、ヒストグラムのビン単位で補正処理を行う構成とすることができる。
更に、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、補正処理部について、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う構成とすることができる。システム補正値については、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である形態とすることができる。
更に、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、記憶部について、ヒストグラム毎に補正値が設定された補正レジスタ群から成る構成とすることができる。そして、補正処理部について、ヒストグラム作成部の後段に設けられ、ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う構成とすることができる。あるいは又、補正処理部について、ヒストグラム作成部の前段に設けられ、時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う構成とすることができる。
また、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、画素の受光素子について、光子の受光に応じて信号を発生する素子から成る構成とすることができる。
また、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、受光部について、複数の画素を単位とする画素グループを含み、信号線について、複数の信号線を単位とする信号線グループを含む構成とし、画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ1対1で接続される構成とすることができる。
<実施形態に係る測距装置>
図1は、本開示の一実施形態に係る測距装置を示す概略構成図である。本実施形態に係る測距装置1は、測定対象物である被写体10までの距離を測定する測定法として、被写体10に向けて照射した光(例えば、赤外の波長領域にピーク波長を有するレーザ光)が、当該被写体10で反射されて戻ってくるまでの時間を測定するTOF(time of flight:飛行時間)法を採用している。TOF法による距離測定を実現するために、本実施形態に係る測距装置1は、光源20及び受光装置30を備えている。そして、受光装置30として、後述する本開示の一実施形態に係る受光装置を用いる。
本実施形態に係る測距装置1の具体的な構成を図2A及び図2Bに示す。光源20は、例えば、レーザドライバ21、レーザ光源22、及び、拡散レンズ23を有し、被写体10に対してレーザ光を照射する。レーザドライバ21は、制御部40による制御の下に、レーザ光源22を駆動する。レーザ光源22は、例えば半導体レーザから成り、レーザドライバ21によって駆動されることによりレーザ光を出射する。拡散レンズ23は、レーザ光源22から出射されたレーザ光を拡散し、被写体10に対して照射する。
受光装置30は、受光レンズ31、受光部である光センサ32、及び、論理回路33を有し、レーザ照射部20による照射レーザ光が被写体10で反射されて戻ってくる反射レーザ光を受光する。受光レンズ31は、被写体10からの反射レーザ光を光センサ32の受光面上に集光する。光センサ32は、受光レンズ31を経た被写体10からの反射レーザ光を画素単位で受光し、光電変換する。
光センサ32の出力信号は、論理回路33を経由して制御部40へ供給される。光センサ32の詳細については後述する。制御部40は、例えば、CPU(Central Processing Unit:中央処理ユニット)等によって構成され、光源20及び受光装置30を制御するとともに、光源20から被写体10に向けて照射したレーザ光が、当該被写体10で反射されて戻ってくるまでの時間tの計測を行う。この時間tを基に、被写体10までの距離Lを求めることができる。
時間計測の方法としては、光源20からパルス光を照射したタイミングでタイマをスタートさせ、受光装置30が当該パルス光を受光したタイミングでタイマをストップし、時間tを計測する。時間計測のその他の方法として、光源20から所定の周期でパルス光を照射し、受光装置30が当該パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から時間tを計測してもよい。時間計測は複数回実行され、複数回計測された時間を積み上げたヒストグラムのピークを検出することで時間tを計測する。
光センサ32としては、受光素子を含む画素が行列状(アレイ状)2次元配置されて成る2次元アレイセンサ(所謂、エリアセンサ)を用いることもできるし、受光素子を含む画素が直線状に配置されて成る1次元アレイセンサ(所謂、ラインセンサ)を用いることもできる。
そして、本実施形態では、光センサ32として、画素の受光素子が、光子の受光に応じて信号を発生する素子、例えば、SPAD(Single Photon Avalanche Diode:単一光子アバランシェダイオード)素子から成るセンサを用いている。すなわち、本実施形態に係る受光装置30は、画素の受光素子がSPAD素子から成る構成となっている。尚、受光素子はSPAD素子に限定されず、APD(Avalanche Photo Diode)やCAPD(Current Assisted Photonic Demodulator)等の種々の素子であってもよい。
[SPAD素子を用いた受光装置の基本回路]
SPAD素子を用いた受光装置30の基本的な画素回路の回路図を図3に示す。ここでは、1画素分の基本構成を図示している。
本例に係る画素50の画素回路は、SPAD素子51のカソード電極が、負荷であるP型MOSトランジスタQLを介して、電源電圧VDDが与えられる端子52に接続され、アノード電極が、アノード電圧Vbdが与えられる端子53に接続された構成となっている。アノード電圧Vbdとしては、アバランシェ増倍が発生する大きな負電圧が印加される。アノード電極とグランドとの間には容量素子Cが接続されている。そして、SPAD素子51のカソード電圧VCAが、P型MOSトランジスタQp及びN型MOSトランジスタQnが直列接続されて成るCMOSインバータ54を介してSPAD出力(画素出力)として導出される。
SPAD素子51には、ブレークダウン電圧VBD以上の電圧が印加される。ブレークダウン電圧VBD以上の過剰電圧は、エクセスバイアス電圧VEXと呼ばれ、2−5V程度の電圧が一般的である。SPAD素子51は、DC的な安定点が無いガイガーモードと呼ばれる領域で動作する。SPAD素子51のPN接合のI(電流)−V(電圧)特性を図4Aに示す。
続いて、上記の構成の画素50の画素回路の回路動作について、図4Bの波形図を用いて説明する。
SPAD素子51に電流が流れていない状態では、SPAD素子51には、VDD−Vbdの電圧が印加されている。この電圧値(VDD−Vbd)は、(VBD+VEX)である。そして、SPAD素子51のPN接合部で暗電子の発生レートDCR(Dark Count Rate)や光照射によって発生した電子がアバランシェ増倍を生じ、アバランシェ電流が発生する。この現象は、遮光されている状態(即ち、光が入射していない状態)でも確率的に発生している。これが暗電子の発生レートDCRである。
カソード電圧VCAが低下し、SPAD素子51の端子間の電圧がPNダイオードのフレークダウン電圧VBDになると、アバランシェ電流が停止する。そして、アバランシェ増倍で発生し、蓄積された電子が、負荷の抵抗素子R(又は、P型MOSトランジスタQL)によって放電し、カソード電圧VCAが電源電圧VDDまで回復し、再び初期状態に戻る。
SPAD素子51に光が入射して1個でも電子−正孔対が発生すると、それが種となってアバランシェ電流が発生するので、光子1個の入射でも、ある確率PDE(Photon Detection Efficiency)で検出することができる。この光子を検出できる確率PDEは、通常、数%〜20%程度のものが多い。
以上の動作が繰り返される。そして、この一連の動作において、カソード電圧VCAが、CMOSインバータ54で波形整形され、1フォトンの到来時刻を開始点とするパルス幅Tのパルス信号がSPAD出力(画素出力)となる。
[受光装置の受光部の構成]
上記の構成の画素50が、行列状に2次元配置されて成る受光装置30の受光部の構成の一例について、図5を用いて説明する。図5には、n行m列に2次元配置された画素50の集合から成る受光部60を例示している。
受光部60には、n行m列の画素配列に対して、複数の信号線61が画素行毎に配線されている。複数の信号線61には、当該信号線61の本数を単位とする数の画素50が、当該単位毎に1個ずつ接続されている。具体的には、x個の画素50を単位とし、当該単位内の1番目の画素がx本の信号線61の1本目に、2番目の画素がx本の信号線61の2本目に、・・・という具合に、x本の信号線61に対して、画素50がx個を単位として順番に接続されている。尚、請求の範囲に記載される「画素グループ」は、x個の画素50の単位の一例である。請求の範囲に記載される「信号線グループ」は、x個の信号線61の単位の一例である。
これにより、1つの画素行において、x個おきの画素50の信号が同じ信号線61を共有して、後段の測距制御部70(図6参照)に伝送されることになる。但し、同じ信号線61を共有するx個おきの画素50が同時にアクティブ状態にならないように、即ち、x個おきの画素50が同じ信号線61を時分割で使用するように、各画素50に対するタイミング制御が行われる。
このような構成を採ることで、隣接する画素からほぼ同時にパルス信号が出力された場合であっても、異なる信号線61を通じてパルス信号が出力されるため、複数のパルス信号の干渉を防止することが可能となる。尚、単位とする画素50の数であるxは、干渉を防止する観点では多ければ多いほど望ましいが、レイアウトの観点ではxが多すぎると信号線61を配置するスペースを大きくする必要があり望ましくない。単位とする画素50の数であるxは、2〜50の間であってもよく、更に望ましくは5〜15の間であってもよい。
[受光装置の測距制御部の基本的な構成]
受光装置30の測距制御部の基本的な構成を図6に示す。受光装置30は、図2Aの光センサ32に相当する受光部60、及び、図2Aの論理回路33に相当する測距制御部70から成る。測距制御部70は、受光部60から信号線61を通して供給される画素50の信号を処理する。
測距制御部70は、マルチプレクサ(MUX)71、時間計測部(TDC)72、ヒストグラム作成部(Hist)73、及び、出力部74によって構成されている。時間計測部72及びヒストグラム作成部73はそれぞれ、受光部60の画素行0〜n−1に対応してn個ずつ設けられている(720〜72n-1,730〜73n-1)。
マルチプレクサ71は、受光部60の画素行毎に、x本の信号線61を通して供給される画素50の信号を順番に選択して時間計測部720〜72n-1に供給する。時間計測部720〜72n-1は、受光部60の画素行毎に、レーザ光源22に対する発光指令タイミングから、画素50の受光素子での受光タイミングまでの時間を計測する。具体的には、時間計測部720〜72n-1は、レーザ光源22から測定対象物である被写体に向けて照射したレーザ光が、当該被写体で反射されて画素50の受光素子で受光されるまでの時間を、周知のTOF法にて計測する。
測距制御部70では、1回の計測シーケンスおいて、例えば数十回乃至数百回の計測が行われる。そして、ヒストグラム作成部730〜73n-1は、時間計測部720〜72n-1で繰り返して計測された計測値(時間)のヒストグラム、具体的には、横軸が時間で、縦軸が計測頻度のヒストグラムを作成する。
出力部74は、画素行毎に順番に、ヒストグラム作成部730〜73n-1が作成したヒストグラムに関するデータを、発光指令タイミングから受光タイミングまでのレーザ光の飛行時間(TOF)の情報として、受光装置30の外部に設けられたアプリケーションプロセッサ80に出力する。
アプリケーションプロセッサ80は、図2Aの制御部40に相当し、出力部74を通して出力されるヒストグラムに関するデータを基に、ヒストグラムの最大値を抽出する。そして、アプリケーションプロセッサ80は、抽出したヒストグラムの最大値に対応する距離を、被写体までの距離として算出する。
このように、時間計測部720〜72n-1が計測した計測値(時間)のヒストグラムを作成し、当該ヒストグラムの最大値を、発光指令タイミングから受光タイミングまでのレーザ光の飛行時間として抽出することで、外乱光などの影響を受けることなく、飛行時間を正しく計測することができる。
[面内遅延スキューについて]
上述したように、複数の画素50を2次元状に配置して成る受光装置30では、各画素50と測距制御部70との間は、画素行毎に配線された信号線61を通して接続されることから、各画素50から時間計測部720〜72n-1に至る経路の長さが異なる。このように、各画素50から時間計測部720〜72n-1に至る経路の長さが異なると、信号線61の配線遅延によって2次元の面内遅延スキューが問題になる。
例えば、図6において、0行0列の画素50を画素0とし、n−1行m−1列の画素50を画素Nとするとき、図7に示すように、画素0のヒストグラムの最大値と画素Nのヒストグラムの最大値との間に面内遅延スキューが生じる。図7のヒストグラムにおいて、横軸が時間で、縦軸が計測頻度である。
この面内遅延スキューについて、受光装置30の後段に設けられたアプリケーションプロセッサ80で補正を行うとすると、アプリケーションプロセッサ80では、ヒストグラムに関するデータをメモリに蓄積して処理を行うことになるため、システム全体の処理遅延がフレーム単位になってしまう。そのため、処理遅延が大きいことから、即時応答が必要なアプリケーションではその処理遅延が問題になる。因みに、駆動周波数が60fpsの受光装置30では、処理遅延が17ミリ秒程度である。
即時応答が必要なアプリケーションとしては、例えば、本受光装置30を含む測距装置1で取得される車両の周囲の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御などを例示することができる。
<実施形態に係る受光装置>
本実施形態では、面内遅延スキューの補正を、受光装置30内で実施することで、面内遅延スキューの高速な補正処理を実現する。より具体的には、ヒストグラム作成部730〜73n-1が作成したヒストグラムを全体的に時間軸方向にシフトすることによって面内遅延スキューの補正を実現する。このように、本実施形態に係る受光装置30は、面内遅延スキューの高速な補正処理を実現できるため、自動運転や測定対象物が動被写体の測距など、即時応答(高速な応答)が必要なアプリケーションに使用することが可能となる。
以下に、受光装置30内において、ヒストグラムを全体的に時間軸方向にシフトすることによって面内遅延スキューの補正を実施する本実施形態の具体的な実施例について説明する。
[実施例1]
実施例1は、ヒストグラムに関するデータのヒストグラム作成部730〜73n-1からの読み出し時に、面内遅延スキューの補正処理を行う例である。実施例1に係る受光装置30の構成を図8に示す。
図8に示すように、実施例1に係る受光装置30は、ヒストグラム作成部73の後段、即ち、出力部74の前段に、面内遅延スキューの補正処理を行う面内遅延補正部75を有する構成となっている。
実施例1に係る受光装置30において、時間計測部(TDC)720〜72n-1での計測値に関するデータを、ヒストグラム作成部730〜73n-1に書き込むまでの処理速度は、数百MHz程度の高速である。また、ヒストグラム作成部730〜73n-1からヒストグラムに関するデータを読み出す処理速度は、数十MHz程度の低速である。
実施例1に係る受光装置30における面内遅延補正部75の構成の一例を図9に示す。ここでは、面内遅延補正部75が、出力部74に内蔵された構成として図示している。但し、内蔵した構成に限られるものではない。
出力部74は、マルチプレクサ(MUP)741及び制御カウンタ742から成る構成となっている。マルチプレクサ741は、ヒストグラム作成部730〜73n-1から与えられるヒストグラムに関するデータを入力とし、制御カウンタ742による制御の下に、それらのデータを順番に選択し、ヒストグラムに関するデータDATAとして、後段のアプリケーションプロセッサ80に出力する。
面内遅延補正部75は、アドレスカウンタ751、記憶部752、マルチプレクサ(MUP)753、及び、加算器754から成る構成となっている。アドレスカウンタ751は、ヒストグラム作成部730〜73n-1で作成されるヒストグラムのアドレスADDRを制御する。このアドレスADDRは、ヒストグラムの単位であるビン値BINであり、2入力の加算器754にその一方の入力として与えられる。
記憶部752は、ヒストグラム作成部730〜73n-1(即ち、受光部60の画素行)に対応したn個の補正レジスタreg0〜regn-1(補正レジスタ群)によって構成されている。補正レジスタreg0〜regn-1には、受光部60内における画素50の位置に対応した補正値(補正量)が記憶されている。この補正値は、面内遅延スキューを補正するための値、具体的には、画素50から時間計測部720〜72n-1までの距離に基づく値である。
補正レジスタreg0〜regn-1に記憶する補正値(補正量)については、受光装置30に固有の値であることから、例えば、受光装置30の出荷前の検証や評価測定等において、面内遅延スキューを補正するための値として、予め所定の手法を用いて取得することができる。但し、出荷前の検証や評価測定等での取得に限られるものではなく、例えば、受光装置30の起動時に、所定の手法を用いて補正値を取得し、記憶部752の各補正レジスタreg0〜regn-1に記憶するようにすることもできる。
マルチプレクサ753は、制御カウンタ742による制御の下に、マルチプレクサ741と同期して、補正レジスタreg0〜regn-1の各補正値を順番に選択し、ヒストグラムを全体的に時間軸方向にシフトする補正値OFSTとして出力する。この補正値OFSTは、2入力の加算器754の他方の入力となる。
加算器754は、その一方の入力であるヒストグラム毎のビン値BINに対して、その他方の入力である補正値OFSTを加算することによって、ヒストグラム毎に、ヒストグラムを全体的に時間軸方向にシフトする。このようにして、ヒストグラム毎に、ヒストグラムを全体的に時間軸方向にシフトすることにより、面内遅延スキューの補正処理が実現される。
以上の説明から明らかなように、面内遅延補正部75は、記憶部752に記憶された補正値に基づいて、ヒストグラム作成部730〜73n-1が作成したヒストグラムに対して補正処理を行う補正処理部である。ヒストグラムに関するデータDATA、ヒストグラムのアドレスADDR、補正値OFST、及び、補正後のヒストグラム毎のビン値BINのタイミングチャートを図10に示す。
続いて、実施例1に係る受光装置30における面内遅延スキューの補正処理の流れについて、図11Aのフローチャートを用いて説明する。
面内遅延スキューの補正に当たり、先ず、面内遅延スキューを補正するための補正値を予め取得する(ステップS11)。受光装置30固有の値である補正値については、先述したように、例えば、受光装置30の評価測定時や受光装置30の起動時に、所定の手法を用いて取得することができる。
次に、予め取得した補正値を、記憶部752の各補正レジスタreg0〜regn-1に設定する(ステップS12)。次に、記憶部752の各補正レジスタreg0〜regn-1に設定(記憶)された各補正値を、ヒストグラムを全体的に時間軸方向にシフトする補正値OFSTとし、当該補正値OFSTをヒストグラム毎のビン値BINに加算することにより、面内遅延スキューの補正処理を実行する(ステップS13)。この加算処理により、面内遅延スキューの補正が実現され、各ヒストグラムのセンターが揃うことになる。
上述した面内遅延スキューの補正処理によれば、ヒストグラム作成部730〜73n-1からのヒストグラムに関するデータの読み出し時に、ヒストグラム毎に、ヒストグラム毎のビン値BINに補正値OFSTを加算する単純な加算処理により、面内遅延スキューについて高速に補正処理を行うことができる。この処理は、動作クロックの1サイクル程度であり、数十ナノ秒程度の処理遅延である。
従って、後段のアプリケーションプロセッサ80で補正処理を行う場合に比べて、処理遅延を大幅に短縮することができる。因みに、後段のアプリケーションプロセッサ80で補正処理を行う場合には、ヒストグラムに関するデータをメモリに蓄積して処理を行うことになるために、システム全体の処理遅延がフレーム単位になり、駆動周波数が60fpsの受光装置では、処理遅延が17ミリ秒程度になる。
補正前のヒストグラムに関するデータと、補正後のヒストグラムに関するデータとの時間軸方向(BIN方向)の位置関係を図11Bに示す。ここでは、ビン数が3のヒストグラムを、全体的にBIN方向(時間軸方向)に、1BIN分だけシフトする場合を例示している。図11Bから明らかなように、補正値OFSTによる補正はビン単位で実行される。尚、ここでは、補正値OFSTによる補正をビン単位としたが、ビン単位に限られるものではなく、例えばビンの半分を単位としてもよいし、更に分解能を上げるようにしてもよい。
[実施例2]
実施例2は、実施例1の変形例であり、各画素50から時間計測部(TDC)720〜72n-1までの遅延が受光部60の面内で線形的な傾向を示す場合の例である。
ここでは、図12Aに示す受光部60のn行m列の画素配列において、時間計測部720〜72n-1に対して一番近いm−1列目の画素50と一番遠い0列目の画素50との間における各画の遅延量が、図12Bに示すように線形的であるとする。
このように、各画素50から時間計測部720〜72n-1までの遅延が面内で線形的な傾向を示す場合において、実施例2では、受光部60の端部の画素50、即ち、時間計測部720〜72n-1から一番遠い第1列目の画素50の遅延に対する補正値から、その他の画素50、即ち、画素列0と画素列m−1との間の画素50の補正値を、線形補間によって算出するようにする。
線形補間によって補正値を求める実施例2によれば、面内遅延スキューの補正処理の流れを示す図11Aのフローチャートにおいて、ステップS11の補正値取得に要する時間を、実施例1の場合よりも短縮することができる。
[実施例3]
実施例3は、実施例1の変形例であり、全ヒストグラムに共通する遅延についても補正処理を行う例である。ここで、「全ヒストグラムに共通する遅延」としては、回路の処理遅延や、受光装置30の外部、具体的には、図2Aに示す光源20のレーザ光源22を発光させるトリガー信号を伝送する配線の遅延などを例示することができる。
実施例1では、ヒストグラム毎に異なる遅延補正を行うとしている。しかし、面内遅延以外に、上記の全ヒストグラムに共通する遅延が存在する。そして、全ヒストグラムに共通する遅延が存在すると、受光装置30が計測した距離と実際の距離との間に、全ヒストグラムに共通する遅延分の誤差が生じることになる。
そこで、実施例3では、ヒストグラム毎に異なる遅延補正を行うとともに、全ヒストグラムに共通する遅延に対応する全ヒストグラムに共通のシステム補正値を用いて、全ヒストグラムに共通する遅延についても補正処理を行うようにする。システム補正値については、例えば、受光装置30が計測した距離と実際の距離との差分(誤差分)を光速で割った値として予め算出することができる。
実施例3の場合の補正前後のヒストグラムに関するデータの時間軸方向(BIN方向)の位置関係を図13に示す。ここでは、画素行0に対応するヒストグラム作成部730が作成したヒストグラムHist0、及び、画素行n−1に対応するヒストグラム作成部73n-1が作成したヒストグラムHistn-1について図示している。
図13において、実線の矢印が、ヒストグラム毎に個別に補正を行う場合のスキュー補正値を表しており、破線の矢印が、全ヒストグラムに共通して補正を行う場合のシステム補正値を表している。本例でも、遅延補正をビン単位で行うとしているが、ビン単位に限られるものではなく、例えばビンの半分を単位としてもよいし、更に分解能を上げるようにしてもよい。
実施例3によれば、ヒストグラム毎に異なる遅延補正に加えて、全ヒストグラムに共通する遅延についても補正を行うことができるため、全ヒストグラムに共通する遅延が存在していても、実際の距離を正確に計測することができる。
[実施例4]
実施例4は、ヒストグラムに関するデータのヒストグラム作成部730〜73n-1への書き込み時に、面内遅延スキューの補正処理を行う例である。実施例4に係る受光装置30の構成を図14に示す。
図14に示すように、実施例4に係る受光装置30は、ヒストグラム作成部730〜73n-1の前段に、面内遅延スキューの補正処理を行う面内遅延補正部75を有する構成となっている。面内遅延補正部75は、受光部60内における画素50の位置に対応した補正値を記憶する記憶部752、及び、ヒストグラム作成部730〜73n-1の各前段に設けられたn個の加算器7540〜754n-1から構成されている。
記憶部752は、n個の時間計測部720〜72n-1に対応したn個の補正レジスタreg0〜regn-1(補正レジスタ群)によって構成されている。補正レジスタreg0〜regn-1には、実施例1の場合と同様に、面内遅延スキューを補正するための補正値、具体的には、画素50から時間計測部720〜72n-1までの距離に基づく補正値が設定されている。
n個の加算器7540〜754n-1は、時間計測部720〜72n-1での各計測値を各一方の入力とし、補正レジスタreg0〜regn-1に設定されている各補正値を他方の入力としている。そして、加算器7540〜754n-1は、時間計測部720〜72n-1での各計測値に、ヒストグラム毎の補正レジスタreg0〜regn-1の各補正値を加算することで、面内遅延スキューについて補正処理を行うことができる。
このように、ヒストグラムに関するデータのヒストグラム作成部730〜73n-1への書き込み時に補正処理を行う実施例4によっても、ヒストグラムに関するデータのヒストグラム作成部730〜73n-1からの読み出し時に補正処理を行う実施例1と同様に、面内遅延スキューについて補正処理を行うことができる。そして、実施例1の場合と同様に、後段のアプリケーションプロセッサ80で補正処理を行う場合に比べて、処理遅延を大幅に短縮することができる。
尚、実施例4に対しても、実施例2の技術、即ち、時間計測部720〜72n-1から一番遠い0列目の画素50の遅延に対する補正値から、0列目とm−1列目との間の画素50の補正値を、線形補間によって算出する技術や、実施例3の技術、即ち、全ヒストグラムに共通する遅延について補正する技術を適用することができる。
<本開示に係る技術の適用例>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
[移動体]
図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図15では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図16は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
尚、図16には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図15に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
尚、図15に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7910,7912,7914,7916,7918や、車外情報検出部7920,7922,7924,7926,7928,7930や、運転者状態検出部7510等に適用され得る。そして、本開示に係る技術を適用することにより、受光装置の面内遅延スキューに対する優れた補正処理を実現することができるため、高速応答が可能な車両制御システムを構築できる。より具体的には、同一面内において画素の位置毎による測距結果のばらつきを抑えることができるため、正確に測距することが可能となる。その結果、対向車や歩行者の検出の際の測距誤差を低減し、安全な車両走行を実現することが可能となる。
<本開示がとることができる構成>
本開示は、以下のような構成をとることもできる。
≪A.受光装置≫
[A−1]2次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、
を備える受光装置。
[A−2]補正値は、画素から時間計測部までの距離に基づく値である、
上記[A−1]に記載の受光装置。
[A−3]受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
上記[A−2]に記載の受光装置。
[A−4]ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
上記[A−1]乃至上記[A−3]のいずれかに記載の受光装置。
[A−5]補正処理部は、ヒストグラムのビン単位で補正処理を行う、
上記[A−4]に記載の受光装置。
[A−6]補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
上記[A−4]又は上記[A−5]に記載の受光装置。
[A−7]システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
上記[A−6]に記載の受光装置。
[A−8]記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
上記[A−1]乃至上記[A−7]のいずれかに記載の受光装置。
[A−9]補正処理部は、ヒストグラム作成部の後段に設けられており、
ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
上記[A−8]に記載の受光装置。
[A−10]補正処理部は、ヒストグラム作成部の前段に設けられており、
時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
上記[A−8]に記載の受光装置。
[A−11]画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
上記[A−1]乃至上記[A−10]のいずれかに記載の受光装置。
[A−12]受光部は、複数の画素を単位とする画素グループを含み、
信号線は、複数の信号線を単位とする信号線グループを含み、
画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ1対1で接続される、
上記[A−1]乃至上記[A−11]のいずれかに記載の受光装置。
≪B.測距装置≫
[B−1]測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を受光する受光装置を備え、
受光装置は、
2次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部で作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、を備える、
測距装置。
[B−2]補正値は、画素から時間計測部までの距離に基づく値である、
上記[B−1]に記載の測距装置。
[B−3]受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
上記[B−2]に記載の測距装置。
[B−4]ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
上記[B−1]乃至上記[B−3]のいずれかに記載の測距装置。
[B−5]補正処理部は、ヒストグラムのビン単位で補正処理を行う、
上記[B−4]に記載の測距装置。
[B−6]補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
上記[B−4]又は上記[B−5]に記載の測距装置。
[B−7]システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
上記[B−6]に記載の測距装置。
[B−8]記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
上記[B−1]乃至上記[B−7]のいずれかに記載の測距装置。
[B−9]補正処理部は、ヒストグラム作成部の後段に設けられており、
ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
上記[B−8]に記載の測距装置。
[B−10]補正処理部は、ヒストグラム作成部の前段に設けられており、
時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
上記[B−8]に記載の測距装置。
[B−11]画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
上記[B−1]乃至上記[B−10]のいずれかに記載の測距装置。
[B−12]受光部は、複数の画素を単位とする画素グループを含み、
信号線は、複数の信号線を単位とする信号線グループを含み、
画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ1対1で接続される、
上記[B−1]乃至上記[B−11]のいずれかに記載の受光装置。
1・・・測距装置、10・・・被写体(測定対象物)、20・・・光源、21・・・レーザドライバ、22・・・レーザ光源、23・・・拡散レンズ、30・・・受光装置、31・・・受光レンズ、32・・・光センサ、33・・・回路部、40・・・制御部、50・・・画素、51・・・SPAD素子、60・・・受光部、61・・・信号線、70・・・測距制御部、71・・・マルチプレクサ(MUP)、72(720〜72n-1)・・・時間計測部(TDC)、73(730〜73n-1)・・・ヒストグラム作成部、74・・・出力部、75・・・面内遅延補正部、80・・・アプリケーションプロセッサ、752・・・記憶部、754・・・加算器

Claims (13)

  1. 2次元状に配置された複数の画素を有する受光部、
    画素に接続された信号線、
    信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
    時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
    受光部内における画素の位置に対応した補正値を記憶する記憶部、
    記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
    補正処理部で補正処理された信号を出力する出力部、
    を備える受光装置。
  2. 補正値は、画素から時間計測部までの距離に基づく値である、
    請求項1に記載の受光装置。
  3. 受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
    請求項2に記載の受光装置。
  4. ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
    補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
    請求項1に記載の受光装置。
  5. 補正処理部は、ヒストグラムのビン単位で補正処理を行う、
    請求項4に記載の受光装置。
  6. 補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
    請求項4に記載の受光装置。
  7. システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
    請求項6に記載の受光装置。
  8. 記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
    請求項1に記載の受光装置。
  9. 補正処理部は、ヒストグラム作成部の後段に設けられており、
    ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
    請求項8に記載の受光装置。
  10. 補正処理部は、ヒストグラム作成部の前段に設けられており、
    時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
    請求項8に記載の受光装置。
  11. 画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
    請求項1に記載の受光装置。
  12. 受光部は、複数の画素を単位とする画素グループを含み、
    信号線は、複数の信号線を単位とする信号線グループを含み、
    画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ1対1で接続される、
    請求項1に記載の受光装置。
  13. 測定対象物に対して光を照射する光源、及び、
    測定対象物で反射された光を受光する受光装置を備え、
    受光装置は、
    2次元状に配置された複数の画素を有する受光部、
    画素に接続された信号線、
    信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
    時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
    受光部内における画素の位置に対応した補正値を記憶する記憶部、
    記憶部に記憶された補正値に基づいて、ヒストグラム作成部で作成したヒストグラムに対して補正処理を行う補正処理部、及び、
    補正処理部で補正処理された信号を出力する出力部、を備える、
    測距装置。
JP2020532314A 2018-07-27 2019-07-17 受光装置及び測距装置 Pending JPWO2020022137A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018141167 2018-07-27
JP2018141167 2018-07-27
PCT/JP2019/028059 WO2020022137A1 (ja) 2018-07-27 2019-07-17 受光装置及び測距装置

Publications (1)

Publication Number Publication Date
JPWO2020022137A1 true JPWO2020022137A1 (ja) 2021-08-02

Family

ID=69181415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532314A Pending JPWO2020022137A1 (ja) 2018-07-27 2019-07-17 受光装置及び測距装置

Country Status (6)

Country Link
US (1) US20210165084A1 (ja)
EP (1) EP3832352A4 (ja)
JP (1) JPWO2020022137A1 (ja)
CN (1) CN112513678B (ja)
TW (1) TWI828695B (ja)
WO (1) WO2020022137A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020148682A (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法
TWI759213B (zh) * 2020-07-10 2022-03-21 大陸商廣州印芯半導體技術有限公司 光感測器及其感測方法
TWI735384B (zh) * 2020-11-23 2021-08-01 國立陽明交通大學 光達與用於光達之光子數快速累積方法
EP4300135A1 (en) * 2021-02-25 2024-01-03 Sony Semiconductor Solutions Corporation Light detection device and light detection system
CN112799097B (zh) * 2021-04-14 2023-11-28 深圳阜时科技有限公司 深度图和灰度图的获取方法、深度相机、以及电子设备
JP2022176812A (ja) * 2021-05-17 2022-11-30 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225909A (ja) * 2013-06-21 2013-10-31 Mega Chips Corp 画像処理装置
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
JP2016211881A (ja) * 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301608B1 (en) * 2005-01-11 2007-11-27 Itt Manufacturing Enterprises, Inc. Photon-counting, non-imaging, direct-detect LADAR
EP1860462A1 (de) * 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
EP2469301A1 (en) * 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
US9874629B2 (en) * 2013-12-23 2018-01-23 Oulun Yliopisto Distance measurement device, receiver thereof and method of distance measurement
AU2015300779B2 (en) * 2014-08-08 2021-03-04 Quantum-Si Incorporated Integrated device with external light source for probing, detecting, and analyzing molecules
CN104567902A (zh) * 2014-11-24 2015-04-29 朱今兰 一种智慧城市交通管理系统
JP6481405B2 (ja) * 2015-02-17 2019-03-13 株式会社デンソー 演算装置
JP6443132B2 (ja) * 2015-03-03 2018-12-26 株式会社デンソー 演算装置
US10620301B2 (en) * 2017-04-04 2020-04-14 Argo AI, LLC LiDAR system and method employing late-lock Geiger mode detection
CN107607960A (zh) * 2017-10-19 2018-01-19 深圳市欢创科技有限公司 一种光学测距的方法及装置
JP2020134171A (ja) * 2019-02-13 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 受光装置および測距システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225909A (ja) * 2013-06-21 2013-10-31 Mega Chips Corp 画像処理装置
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
JP2016211881A (ja) * 2015-04-30 2016-12-15 株式会社デンソー 光飛行時間測定装置及び光学的測距装置

Also Published As

Publication number Publication date
EP3832352A1 (en) 2021-06-09
CN112513678B (zh) 2024-06-11
EP3832352A4 (en) 2021-09-22
TWI828695B (zh) 2024-01-11
TW202008004A (zh) 2020-02-16
CN112513678A (zh) 2021-03-16
US20210165084A1 (en) 2021-06-03
WO2020022137A1 (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
CN112513678B (zh) 光电检测器和距离测量设备
US20200348416A1 (en) Ranging device and ranging method
US20220003849A1 (en) Distance measuring device and distance measuring method
WO2021019939A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2021111766A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
JP2021128084A (ja) 測距装置および測距方法
JP2020094849A (ja) 光検出装置及び測距装置
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2021161858A1 (ja) 測距装置および測距方法
US20240125931A1 (en) Light receiving device, distance measuring device, and signal processing method in light receiving device
US11725983B2 (en) Light receiving device and distance measuring device comprising a circuit to protect a circuit element of a readout circuit from overvoltage
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法
WO2023162734A1 (ja) 測距装置
WO2021161857A1 (ja) 測距装置および測距方法
WO2023281825A1 (ja) 光源装置、測距装置及び測距方法
WO2023145344A1 (ja) 受光素子、および電子機器
JPWO2020116158A1 (ja) 光検出装置及び光検出装置の制御方法、並びに、測距装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240604

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240617