JP7252755B2 - アクティブセンサ、物体識別システム、車両、車両用灯具 - Google Patents

アクティブセンサ、物体識別システム、車両、車両用灯具 Download PDF

Info

Publication number
JP7252755B2
JP7252755B2 JP2018244919A JP2018244919A JP7252755B2 JP 7252755 B2 JP7252755 B2 JP 7252755B2 JP 2018244919 A JP2018244919 A JP 2018244919A JP 2018244919 A JP2018244919 A JP 2018244919A JP 7252755 B2 JP7252755 B2 JP 7252755B2
Authority
JP
Japan
Prior art keywords
light
image
object identification
sensor
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018244919A
Other languages
English (en)
Other versions
JP2020106376A (ja
Inventor
健佑 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2018244919A priority Critical patent/JP7252755B2/ja
Priority to DE102019220058.3A priority patent/DE102019220058A1/de
Priority to FR1915483A priority patent/FR3091356B1/fr
Priority to CN201911353833.5A priority patent/CN111398975B/zh
Priority to US16/727,045 priority patent/US11303817B2/en
Publication of JP2020106376A publication Critical patent/JP2020106376A/ja
Application granted granted Critical
Publication of JP7252755B2 publication Critical patent/JP7252755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Description

本発明は、物体識別システムに関する。
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
センサには、パッシブセンサとアクティブセンサがある。パッシブセンサは、物体が放射した光、あるいは物体が環境光を反射した光を検出するものであり、センサ自体は、光を放射しない。一方、アクティブセンサは、物体にプローブ光を照射し、その反射光を検出する。アクティブセンサは、主として、物体に光を照射する投光器（照明）と、物体からの反射光を撮像するイメージセンサを備える。アクティブセンサは、プローブ光の波長とイメージセンサの感度波長域を合わせることで、パッシブセンサよりも外乱に対する耐性を高めることができるという利点を有する。
特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１
車載用のアクティブセンサは、屋外で使用される。太陽光の波長は、紫外から赤外に及ぶため、プローブ光の波長とオーバーラップする。このことは、太陽光が、アクティブセンサに対する外乱となることを意味する。また太陽光のスペクトル、言い換えれば外乱成分の強さは、時間帯によって変化する。
物体識別システムは、アクティブセンサの出力画像を受け、それに含まれる物体の位置や種類（カテゴリー）を分類する分類器を備える。分類器は、予め用意した膨大な数の画像を学習データ（トレーニングデータ）を用いた機械学習により生成されるモデルを実装したものである。
このような物体識別システムにおいて、昼夜を問わずに高い識別率を実現するためには、さまざまな照度環境下で撮影した画像を学習データとして用いる必要があった。
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ノイズ耐性を高めたアクティブセンサの提供にある。また別の目的のひとつは、アクティブセンサを用いた物体識別システムの識別率の改善、あるいは学習コストの低減にある。
本発明のある態様はアクティブセンサに関する。アクティブセンサは、プローブ光を出射する投光器と、イメージセンサと、を備える。アクティブセンサは、投光器の発光状態において第１画像を、投光器の非発光状態において第２画像を取得可能に構成される。第２画像は、第１画像の補正に利用可能である。
本発明によれば、ノイズ耐性を高めたアクティブセンサを提供できる。
実施例１に係る物体識別システムのブロック図である。 図１の物体識別システムの動作を説明するタイムチャートである。 変形例１．１に係る物体識別システムの動作を説明するタイムチャートである。 変形例１．２に係る物体識別システムの動作を説明するタイムチャートである。 実施例２に係る物体識別システムのブロック図である。 図５の物体識別システムの動作を説明するタイムチャートである。 実施例３に係る物体識別システムを示す図である。 ゲーティングカメラの動作を説明する図である。 図９（ａ）、（ｂ）は、ゲーティングカメラにより得られる複数の画像を説明する図である。 図７の物体識別システムの動作波形図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施の形態の概要）
本明細書に開示される一実施の形態は、アクティブセンサに関する。アクティブセンサは、プローブ光を出射する投光器と、イメージセンサと、を備える。アクティブセンサは、投光器の発光状態において第１画像を、投光器の非発光状態において第２画像を取得可能に構成される。第２画像は、第１画像の補正に利用可能である。
投光器によるプローブ光の非発光状態で外乱ノイズのみを含む第２画像を取得し、外乱ノイズとプローブ光の成分を含む第１画像との差分をとることにより、外乱ノイズの影響を低減でき、ノイズ耐性を高めることができる。
投光器とイメージセンサのセットを二個備え、セットごとに波長が異なっていてもよい。
２個のセットは相補的に動作してもよい。これによりフレームレートを高めることができる。
あるいは２個のセットの一方のみを動作させてもよい。たとえば、環境光の状態（スペクトル）に応じて、２個のセットＸ，Ｙから、分類器の識別率が高まる一方を選択して動作させてもよい。
アクティブセンサは、投光器の発光タイミングおよびイメージセンサの露光タイミングを制御するコントローラをさらに備えてもよい。
アクティブセンサは、奥行き方向について複数のレンジに区切り、レンジ毎に、発光と撮像の時間差を変化させることにより、複数のレンジに対応する複数の画像を取得可能なゲーティングカメラであってもよい。
第２画像は、レンジ毎に取得されてもよい。これにより精度を高めることができる。
あるいは全レンジにおいて共通の第２画像を用いてもよい。この場合、フレームレートの低下を抑制できる。
投光器は、赤外光または紫外光を出力可能であってもよい。
本明細書に開示される一実施の形態は、物体識別システムに関する。物体識別システムは、アクティブセンサと、アクティブセンサによって得られる画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備えてもよい。
分類器に入力される画像データに含まれる外乱ノイズが大幅に低減される。このことは、外乱ノイズが分類器のモデルに与える影響が低減されることを意味する。したがって学習データの収集に要する労力、時間、コストを削減できる。
（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
（実施例１）
図１は、実施例１に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
物体識別システム１０は、アクティブセンサ７０と、演算処理装置４０を備える。アクティブセンサ７０は、プローブ光Ｌ１を物体ＯＢＪに照射し、物体ＯＢＪによって反射された反射光Ｌ２を撮像する。演算処理装置４０は、アクティブセンサ７０の出力画像を処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
アクティブセンサ７０は、投光器７２、イメージセンサ７４、コントローラ７６、補正部７８を備える。投光器７２は、コントローラ７６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光あるいは紫外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ７４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。イメージセンサ７４は、コントローラ７６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。投光器７２の発光状態に得られる画像を第１画像ＩＭＧａ、投光器７２の非発光状態に得られる画像を第２画像ＩＭＧｂと称して区別する。コントローラ７６は、投光器７２の発光タイミングおよびイメージセンサ７４の露光タイミングを制御する。
物体識別システム１０は屋外で使用されるため、物体ＯＢＪには、プローブ光Ｌ１のみでなく、太陽や街路灯からの光（環境光）Ｌ３が照射される。したがってイメージセンサ７４には、物体ＯＢＪが環境光Ｌ３を反射した光Ｌ４が入射する。加えて、イメージセンサ７４の向きによっては、環境光Ｌ３が直接入射する場合ある。したがって環境光Ｌ３のスペクトルがイメージセンサ７４の感度波長と重なる場合、環境光Ｌ３は外乱ノイズとなる。
環境光Ｌ３の影響を低減するために、物体識別システム１０は以下の機能を有する。
アクティブセンサ７０は、投光器７２を発光状態と非発光状態とで切り替えて２回撮影を行い、発光状態で取得された第１画像ＩＭＧａを、非発光状態で取得された第２画像ＩＭＧｂとを取得可能ある。第１画像ＩＭＧａは、第２画像ＩＭＧｂを用いて補正することができる。本実施例において、この補正は、アクティブセンサ７０に設けられた補正部７８が行う。
ここでは簡単のため、第１画像ＩＭＧａの撮影時と第２画像ＩＭＧｂの撮影時とで、イメージセンサ７４の露出が揃っているものと仮定する。露出は、シャッタースピード、絞り、イメージセンサの感度の関係で定まる。この場合、補正部７８は、第１画像ＩＭＧａの各画素について、第２画像ＩＭＧｂの対応する画素の画素値を減算し、減算後の画素値からなる第３画像ＩＭＧｃを生成する。
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
演算処理装置４０の分類器４２は、第３画像ＩＭＧｃを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
以上が物体識別システム１０の構成である。続いてその動作を説明する。図２は、図１の物体識別システム１０の動作を説明するタイムチャートである。
１フレーム周期ＴＦＲＡＭＥにおいて、投光タイミング信号Ｓ１は、ハイ期間とロー期間をとる。ハイ期間は投光器７２の発光期間であり、ロー期間は投光器７２の非発光期間である。
撮影タイミング信号Ｓ２は、投光タイミング信号Ｓ１のハイ期間とロー期間それぞれにおいてハイとなり、イメージセンサ７４による撮影が指示される。発光状態におけるシャッタースピード（露光時間）Ｔｓ１と、非発光状態におけるシャッタースピードＴｓ２は、等しくてもよいし異なっていてもよい。
イメージセンサ７４からは、第１画像ＩＭＧａと第２画像ＩＭＧｂが交互に出力される。２つの画像のペアＩＭＧａ、ＩＭＧｂが揃うと、第２画像ＩＭＧｂを用いて、第１画像ＩＭＧａが補正される。この補正は、最も簡易には画素値の減算とすることができ、ＩＭＧａ－ＩＭＧｂのように表される。そして補正後の画像ＩＭＧｃが、フレーム周期ＴＦＲＡＭＥごとに出力される。
以上が物体識別システム１０の動作である。続いてその利点を説明する。
プローブ光Ｌ１の発光状態において撮影された第１画像ＩＭＧａは、反射光Ｌ２と外乱ノイズ（環境光の成分Ｌ３，Ｌ４）を含む。一方、プローブ光Ｌ１の非発光状態において撮影された第２画像ＩＭＧｂには、外乱ノイズのみが含まれる。そこで、それらの差分をとることにより、外乱ノイズの影響を低減でき、ノイズ耐性を高めることができる。
また従来では、学習済みの分類器４２に入力される画像データに、環境光に起因する外乱ノイズが含まれるため、分類器４２には、外乱ノイズの量にかかわらず、物体ＯＢＪを正しく判定する能力が要求されていた。したがって分類器４２を機械学習のために、環境光の照度や色温度を変えて撮影した画像（学習データ）を収集する必要があった。
これに対して本実施の形態に係るアクティブセンサ７０を用いることで、分類器４２に入力される画像データに含まれる外乱ノイズが大幅に低減される。このことは、外乱ノイズが分類器４２のモデルに与える影響が低減されることを意味する。したがって学習データの収集に要する労力、時間、コストを削減できる。
続いて、実施例１に関連する変形例を説明する。
（変形例１．１）
図３は、変形例１．１に係る物体識別システム１０の動作を説明するタイムチャートである。変形例１．１において、非発光状態の第２画像ＩＭＧｂが先行して取得され、それに続いて、発光状態の第１画像ＩＭＧａが取得される。
（変形例１．２）
実施例１では、第１画像ＩＭＧａを取得するたびに、第２画像ＩＭＧｂを取得したがその限りでない。図４は、変形例１．２に係る物体識別システム１０の動作を説明するタイムチャートである。変形例１．２において、補正用の第２画像ＩＭＧｂは、数フレーム（ここでは３フレーム）に１回、撮影する。変形例１．２によれば、図２に比べてフレーム周期を短くすることができる。
（変形例１．３）
あるいは非発光状態で複数回の撮影を行い、得られた画像を平均（あるいは加算）することにより、第２画像ＩＭＧｂを生成してもよい。
（変形例１．４）
実施例１では、アクティブセンサ７０に、補正部７８を設けたがその限りでない。アクティブセンサ７０は、第１画像ＩＭＧａ、第２画像ＩＭＧｂのペアを出力することとし、補正部７８の機能を演算処理装置４０に実行させてもよい。
（変形例１．５）
発光状態と非発光状態とで、イメージセンサ７４の露出は異なっていてもよい。この場合、露出が揃うように、第１画像ＩＭＧａ、第２画像ＩＭＧｂを画像処理によって増感、あるいは減感し、露出を揃えた状態で、減算処理を行えばよい。
（実施例２）
図５は、実施例２に係る物体識別システム１０Ａのブロック図である。物体識別システム１０Ａは、演算処理装置４０およびアクティブセンサ７０Ａを備える。アクティブセンサ７０Ａは、投光器７２とイメージセンサ７４のセットを二組Ｘ，Ｙ備える。第１セットＸと第２セットＹは、波長が異なる。第１セットＸにおいて、投光器７２ｘは第１波長λＩのプローブ光を出射する。イメージセンサ７４ｘは第１波長λＩに感度を有するが、第２波長λＩＩには不感である。第２セットＹにおいて、投光器７２ｙは第２波長λＩＩのプローブ光を出射し、イメージセンサ７４ｙは第２波長λ１に感度を有するが、第１波長λＩには不感である。
図６は、図５の物体識別システム１０Ａの動作を説明するタイムチャートである。この ２個のセットが相補的に動作する。具体的には、第１セットＸの発光状態は、第２セットＹの非発光状態であり、第１セットＸの非発光状態は、第２セットＹの発光状態である。これにより、各セットの動作周期（フレーム周期）ＴＦＲＡＭＥの間に、２枚の画像ＩＭＧｃを得ることができ、実効的なフレームレートを増やすことができる。
なお、２つのセットＸ，Ｙの一方のみを選択して動作させてもよい。たとえば環境光の状態（スペクトル）に応じて、２個のセットＸ，Ｙから、分類器４２の識別率が高まる一方を選択して動作させてもよい。
（実施例３）
図７は、実施例３に係る物体識別システム１０Ｃを示す図である。アクティブセンサ７０Ｃは、ゲーティングカメラである。ゲーティングカメラ７０Ｃによる撮影は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切り、レンジ毎に区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
コントローラ７６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器７２による投光と、イメージセンサ７４の露光の時間差を変化させる。ゲーティングカメラ７０Ｃは、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の第１画像ＩＭＧａ１～ＩＭＧａＮを生成する。ｉ番目の第１画像ＩＭＧａｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
図８は、ゲーティングカメラ７０Ｃの動作を説明する図である。図８にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器７２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ７０Ｃから、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
ある時刻に投光器７２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ７４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
同様に、ある時刻に投光器７２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ７４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ７６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ７６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
図９（ａ）、（ｂ）は、ゲーティングカメラ７０Ｃにより得られる複数の画像を説明する図である。図９（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図９（ｂ）には、図９（ａ）の状況で得られる複数の第１画像ＩＭＧａ１～ＩＭＧａ３が示される。画像ＩＭＧａ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧａ１にはいかなる物体も写らない。
画像ＩＭＧａ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧａ２には、物体ＯＢＪ２のみが写る。同様に画像ＩＭＧａ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧａ３には、物体ＯＢＪ３のみが写る。このようにゲーティングカメラ７０Ｃによれば、レンジごとに物体を分離して撮影することができる。
以上が物体識別システム１０Ｃの構成である。続いてその動作を説明する。図１０は、図７の物体識別システム１０Ｃの動作波形図である。図１０では、第２画像ＩＭＧｂは、最初に１枚だけ撮影し、複数のレンジで共有される。なお、第２画像ＩＭＧｂの撮影を、レンジ毎に行ってもよい。
図１１は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、アクティブセンサ７０の設置箇所として最も有利である。
図１２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、アクティブセンサ７０および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
１０ 物体識別システム
ＯＢＪ 物体
２０ ゲーティングカメラ
２２ 投光器
２４ イメージセンサ
２６ コントローラ
Ｓ１ 投光タイミング信号
Ｓ２ 撮影タイミング信号
ＩＭＧａ 第１画像
ＩＭＧｂ 第２画像
ＩＭＧｃ 第３画像
４０ 演算処理装置
４２ 分類器
７０ アクティブセンサ
７２ 投光器
７４ イメージセンサ
７６ コントローラ
７８ 補正部
２００ 車両用灯具
２０２ 光源
２０４ 点灯回路
２０６ 光学系
３００ 自動車
３０２ 前照灯
３１０ 灯具システム
３０４ 車両側ＥＣＵ
Ｌ１ プローブ光
Ｌ２ 反射光
Ｌ３ 環境光

Claims (6)

  1. 第１波長のプローブ光を出射する第１投光器と、
    第２波長のプローブ光を出射する第２投光器と、
    前記第１波長に感度を有する第１イメージセンサと、
    前記第２波長に感度を有する第２イメージセンサと、
    を備え、
    前記第１投光器が発光状態であり、前記第２投光器が非発光状態である第１期間と、前記第１投光器が非発光状態であり、前記第２投光器が発光状態である第２期間と、交互に繰り返し、
    前記第１イメージセンサと前記第２イメージセンサは、前記第１期間と前記第２期間それぞれにおいて撮影を行い、
    前記第１期間において前記第１イメージセンサが生成した第１画像を、前記第２期間において前記第１イメージセンサが生成した第２画像を利用して補正可能であり、
    前記第２期間において前記第２イメージセンサが生成した第１画像を、前記第１期間において前記第２イメージセンサが生成した第２画像を利用して補正可能であることを特徴とするアクティブセンサ。
  2. 前記投光器の発光タイミングおよび前記イメージセンサの露光タイミングを制御するコントローラをさらに備えることを特徴とする請求項１に記載のアクティブセンサ。
  3. 前記プローブ光の波長は、赤外または紫外であることを特徴とする請求項１または２に記載のアクティブセンサ。
  4. 請求項１から３のいずれかに記載のアクティブセンサと、
    前記アクティブセンサによって得られる画像にもとづいて、物体の種類を識別可能な演算処理装置と、
    を備えることを特徴とする物体識別システム。
  5. 請求項４に記載の物体識別システムを備えることを特徴とする車両用灯具。
  6. 請求項４に記載の物体識別システムを備えることを特徴とする車両。
JP2018244919A 2018-12-27 2018-12-27 アクティブセンサ、物体識別システム、車両、車両用灯具 Active JP7252755B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018244919A JP7252755B2 (ja) 2018-12-27 2018-12-27 アクティブセンサ、物体識別システム、車両、車両用灯具
DE102019220058.3A DE102019220058A1 (de) 2018-12-27 2019-12-18 Aktiver sensor, objekt-identifikationssystem, fahrzeug und fahrzeuglampe
FR1915483A FR3091356B1 (fr) 2018-12-27 2019-12-23 Capteur actif, système d’identification d’objet, véhicule et feu de véhicule
CN201911353833.5A CN111398975B (zh) 2018-12-27 2019-12-25 主动传感器、物体识别系统、车辆、车辆用灯具
US16/727,045 US11303817B2 (en) 2018-12-27 2019-12-26 Active sensor, object identification system, vehicle and vehicle lamp

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018244919A JP7252755B2 (ja) 2018-12-27 2018-12-27 アクティブセンサ、物体識別システム、車両、車両用灯具

Publications (2)

Publication Number Publication Date
JP2020106376A JP2020106376A (ja) 2020-07-09
JP7252755B2 true JP7252755B2 (ja) 2023-04-05

Family

ID=71079576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244919A Active JP7252755B2 (ja) 2018-12-27 2018-12-27 アクティブセンサ、物体識別システム、車両、車両用灯具

Country Status (5)

Country Link
US (1) US11303817B2 (ja)
JP (1) JP7252755B2 (ja)
CN (1) CN111398975B (ja)
DE (1) DE102019220058A1 (ja)
FR (1) FR3091356B1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021193645A1 (ja) * 2020-03-24 2021-09-30
CN113076943A (zh) * 2021-02-23 2021-07-06 海南快停科技有限公司 一种基于车牌特征识别的摄像功能
WO2023224077A1 (ja) * 2022-05-18 2023-11-23 株式会社小糸製作所 ＴｏＦカメラ、車両用センシングシステム、および車両用灯具

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329773A (ja) 2002-05-10 2003-11-19 Hitachi Ltd 複数の距離検知センサを設置した車両制御装置
JP2008175538A (ja) 2007-01-16 2008-07-31 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2011013138A (ja) 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
JP2012189535A (ja) 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
JP2014122847A (ja) 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
US20140247349A1 (en) 2013-03-04 2014-09-04 GM Global Technology Operations LLC Integrated lighting, camera and sensor unit
WO2016151918A1 (ja) 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US20170307736A1 (en) 2016-04-22 2017-10-26 OPSYS Tech Ltd. Multi-Wavelength LIDAR System
WO2018052087A1 (ja) 2016-09-15 2018-03-22 株式会社小糸製作所 センサシステム
JP2018189564A (ja) 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置および画像検査方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7019275B2 (en) * 1997-09-16 2006-03-28 Gentex Corporation Moisture sensor and windshield fog detector
US6876392B1 (en) * 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
FR2815914B1 (fr) * 2000-10-27 2003-01-03 Valeo Vision Dispositif de correction automatique de l'orientation en site d'un projecteur de vehicule automobile
AU2003214595A1 (en) * 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
JP2004144512A (ja) * 2002-10-22 2004-05-20 Denso Corp 乗員検知システム
FR2857463B1 (fr) * 2003-07-11 2005-09-02 Valeo Vision Systeme de vision nocturne a infrarouge, en couleur.
JP4309728B2 (ja) * 2003-09-17 2009-08-05 パナソニック株式会社 監視用ビデオカメラ
US7319805B2 (en) * 2003-10-06 2008-01-15 Ford Motor Company Active night vision image intensity balancing system
JP2006011671A (ja) 2004-06-24 2006-01-12 Alpine Electronics Inc 車載周辺状況検出装置
JP4595135B2 (ja) 2004-10-07 2010-12-08 株式会社メガチップス 距離測定システムおよび距離測定方法
US20060228003A1 (en) * 2005-04-06 2006-10-12 Silverstein D A Method and apparatus for detection of optical elements
WO2006118076A1 (ja) * 2005-04-28 2006-11-09 Aisin Seiki Kabushiki Kaisha 車両周辺監視システム
US9330324B2 (en) * 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
JP4730267B2 (ja) * 2006-07-04 2011-07-20 株式会社デンソー 車両用視界状況判定装置
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP4315175B2 (ja) * 2006-08-10 2009-08-19 日産自動車株式会社 光検出方法および光検出装置
DE102008006973B4 (de) * 2007-02-02 2017-03-02 Denso Corporation Projektor und Bildaufnahmevorrichtung
EP2674324B1 (en) * 2007-04-30 2018-12-26 Mobileye Vision Technologies Ltd. Rear obstruction detection
FR2919727B1 (fr) * 2007-08-03 2010-07-30 Valeo Vision Procede de detection par un vehicule d'un phenomene perturbateur de visibilite
JP4640404B2 (ja) * 2007-11-22 2011-03-02 トヨタ自動車株式会社 車両運転者状態検出装置
JP2009257983A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
JP2009257982A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2009282906A (ja) * 2008-05-26 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
JP5629521B2 (ja) 2010-07-29 2014-11-19 パナソニック株式会社 障害物検知システム及び方法、障害物検知装置
CN103249597B (zh) * 2010-08-06 2015-04-29 丰田自动车株式会社 车辆配光控制装置以及方法
US9204129B2 (en) * 2010-09-15 2015-12-01 Perceptron, Inc. Non-contact sensing system having MEMS-based light source
US9454241B2 (en) * 2010-11-12 2016-09-27 3M Innovative Properties Company Interactive polarization-preserving projection display
US8938099B2 (en) * 2010-12-15 2015-01-20 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
WO2012086070A1 (ja) * 2010-12-24 2012-06-28 株式会社日立製作所 路面形状認識装置及びそれを利用した自律移動装置
JP5617999B2 (ja) * 2011-04-13 2014-11-05 トヨタ自動車株式会社 車載周辺物認識装置及びこれを用いる運転支援装置
JP5366028B2 (ja) * 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
US8744763B2 (en) * 2011-11-17 2014-06-03 Honeywell International Inc. Using structured light to update inertial navigation systems
US8844802B2 (en) * 2011-12-20 2014-09-30 Eastman Kodak Company Encoding information in illumination patterns
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
JP5984409B2 (ja) * 2012-02-03 2016-09-06 キヤノン株式会社 三次元計測システム及び方法
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置
JP6008148B2 (ja) * 2012-06-28 2016-10-19 パナソニックＩｐマネジメント株式会社 撮像装置
US9349058B2 (en) * 2012-10-31 2016-05-24 Tk Holdings, Inc. Vehicular path sensing system and method
JP5853947B2 (ja) * 2012-12-27 2016-02-09 株式会社デンソー 暗視装置
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9978148B2 (en) * 2013-04-26 2018-05-22 Panasonic Intellectual Property Corporation Of America Motion sensor apparatus having a plurality of light sources
JP6270813B2 (ja) * 2013-07-01 2018-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 複数の光源を有するモーションセンサ装置
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US10469827B2 (en) * 2013-12-27 2019-11-05 Sony Corporation Image processing device and image processing method
JP6183238B2 (ja) * 2014-02-06 2017-08-23 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の制御方法
US10410366B2 (en) * 2015-03-31 2019-09-10 Sony Corporation Imaging system using structured light for depth recovery
CN113147582B (zh) * 2015-04-10 2023-12-26 麦克赛尔株式会社 具有影像投射部的车辆
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
US10645309B2 (en) * 2015-11-06 2020-05-05 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
JP6038415B1 (ja) * 2015-11-25 2016-12-07 三菱電機株式会社 ３次元画像計測装置及び方法
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
US10712561B2 (en) * 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
JP6922187B2 (ja) * 2016-11-08 2021-08-18 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び光源駆動条件設定方法
CN108616726A (zh) * 2016-12-21 2018-10-02 光宝电子(广州)有限公司 基于结构光的曝光控制方法及曝光控制装置
US10726569B2 (en) * 2017-05-16 2020-07-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329773A (ja) 2002-05-10 2003-11-19 Hitachi Ltd 複数の距離検知センサを設置した車両制御装置
JP2008175538A (ja) 2007-01-16 2008-07-31 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2011013138A (ja) 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
JP2012189535A (ja) 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
JP2014122847A (ja) 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
US20140247349A1 (en) 2013-03-04 2014-09-04 GM Global Technology Operations LLC Integrated lighting, camera and sensor unit
WO2016151918A1 (ja) 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US20170307736A1 (en) 2016-04-22 2017-10-26 OPSYS Tech Ltd. Multi-Wavelength LIDAR System
WO2018052087A1 (ja) 2016-09-15 2018-03-22 株式会社小糸製作所 センサシステム
JP2018189564A (ja) 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置および画像検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大見 拓寛，運転者の居眠り状態評価の画像センサ，画像ラボ，日本，日本工業出版株式会社，2015年02月10日，第26巻 第2号，Pages: 64-69，ISSN: 0915-6755

Also Published As

Publication number Publication date
JP2020106376A (ja) 2020-07-09
CN111398975B (zh) 2023-12-05
FR3091356A1 (fr) 2020-07-03
US20200213499A1 (en) 2020-07-02
FR3091356B1 (fr) 2022-04-29
CN111398975A (zh) 2020-07-10
DE102019220058A1 (de) 2020-07-02
US11303817B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
WO2017110415A1 (ja) 車両用センサおよびそれを備えた車両
US20200348127A1 (en) 3-d environment sensing by means of projector and camera modules
JP2008276328A (ja) 顔画像撮像装置
JP2017062582A (ja) 車外環境認識装置
US20230179841A1 (en) Gating camera
JP6420650B2 (ja) 車外環境認識装置
WO2020149140A1 (ja) 車載用イメージング装置、車両用灯具、自動車
CN102971776A (zh) 障碍物检测系统以及方法、障碍物检测装置
TW202021340A (zh) 用於相機之紅外光預閃光
JP4751443B2 (ja) 撮影装置、及び撮影方法
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2016031666A1 (ja) 視線検出装置
US20220132022A1 (en) Imaging device
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
JP7204551B2 (ja) 車両用監視システム
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7474759B2 (ja) 車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
US20240083346A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2023085403A1 (ja) センシングシステム
CN112153252B (zh) 车辆用灯具

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230324

R150 Certificate of patent or registration of utility model

Ref document number: 7252755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150