JP7294302B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP7294302B2
JP7294302B2 JP2020181698A JP2020181698A JP7294302B2 JP 7294302 B2 JP7294302 B2 JP 7294302B2 JP 2020181698 A JP2020181698 A JP 2020181698A JP 2020181698 A JP2020181698 A JP 2020181698A JP 7294302 B2 JP7294302 B2 JP 7294302B2
Authority
JP
Japan
Prior art keywords
information
light
ambient light
laser
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020181698A
Other languages
English (en)
Other versions
JP2022072332A (ja
Inventor
真之 阿部
勇介 林
太一 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020181698A priority Critical patent/JP7294302B2/ja
Priority to US17/490,032 priority patent/US20220137187A1/en
Priority to CN202111252393.1A priority patent/CN114509775A/zh
Publication of JP2022072332A publication Critical patent/JP2022072332A/ja
Application granted granted Critical
Publication of JP7294302B2 publication Critical patent/JP7294302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、物体検出装置に関する。
例えば、自動運転車両には、周囲の物標を検出するため、照射したレーザ光の反射光に基づいて物標を検出するライダーが搭載されている。また、例えば、非特許文献１に記載されているように、照射したレーザ光の反射光に加え、照射したレーザ光以外の環境光の反射光の検出結果も用いて物標を検出するライダーが開発されている。
このライダーでは、レーザ光の反射光と環境光の反射光とを同じ受光素子で受光するため、両者の検出結果は互いに位置的な対応関係が取れている。このため、このようなライダーを用いることにより、位置的な対応関係が取れた２種類の光の検出結果に基づいて物標の検出を行うことができる。
伊藤誠悟 平塚誠良 太田充彦 松原弘幸 小川勝 「小型イメージングＬＩＤＡＲとＤＣＮＮによる位置姿勢推定」 情報処理学会 第７９回全国大会講演論文集 ２０１７年
一般に、ライダーにおける受光部の受光素子の数よりも、カメラの受光部の受光素子の数の方が圧倒的に多い。このため、ライダーで取得される環境光情報の情報量は、カメラによって撮像されたカメラ画像の情報量よりも少なく、物標を精度よく検出するためには情報量が少ない。従って、レーザ光の反射光に加えて環境光の反射光の検出結果も用いる場合において、物標をより一層精度よく検出するために改善の余地がある。
そこで、本開示は、レーザ光の反射光と環境光の反射光との検出結果に基づいて、物標を精度よく検出することができる物体検出装置について説明する。
本開示の一側面において物体検出装置は、レーザ光を照射するレーザ光照射部と、レーザ光の反射光及びレーザ光以外の光である環境光の反射光を検出可能な受光部と、カメラと、カメラによって撮像されたカメラ画像に基づいて、受光部で検出された環境光の反射光の情報である環境光情報を補正して補正環境光情報を生成する情報補正部と、補正環境光情報と受光部で受光されたレーザ光の反射光の情報であるレーザ光情報とに基づいて物標を検出する物体検出部と、を備える。
この物体検出装置は、カメラ画像に基づいて環境光情報を補正し、補正環境光情報を生成する。そして、物体検出装置は、生成した補正環境光情報とレーザ光情報とに基づいて物標を検出する。このように、物体検出装置は、環境光情報をカメラ画像に基づいて補正した補正環境光情報を用いることにより、レーザ光の反射光と環境光の反射光との検出結果（レーザ光情報及び補正環境光情報）に基づいて、物標を精度よく検出することができる。
物体検出装置において、情報補正部は、カメラ画像の色情報を環境光情報に加えることによって補正環境光情報を生成してもよい。この場合、情報補正部は、環境光情報の色のチャネル数を増やすことができる。これにより、物体検出装置は、カメラ画像の色情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。
物体検出装置において、情報補正部は、環境光情報のピクセル間にカメラ画像の情報を加えることによって補正環境光情報を生成してもよい。この場合、情報補正部は、環境光情報の解像度を高めることができる。これにより、物体検出装置は、解像度が高められた補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。
物体検出装置において、情報補正部は、カメラ画像より得られるセグメンテーション情報に基づいて環境光情報を補正して補正環境光情報を生成してもよい。この場合、物体検出装置は、セグメンテーション情報に基づいて生成された補正環境光情報と、レーザ光情報とを用いることにより、物標をより精度よく検出することができる。
物体検出装置において、情報補正部は、カメラ画像と環境光情報との視差に基づいて得られる環境光の反射点までの距離を算出し、算出した距離の情報を環境光情報に加えることによって補正環境光情報を生成してもよい。この場合、物体検出装置は、環境光の反射点までの距離の情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。
本開示の一側面によれば、レーザ光の反射光と環境光の反射光との検出結果に基づいて、物標を精度よく検出することができる。
図１は、一実施形態に係る物体検出装置の一例を示すブロック図である。 図２は、物体検出ＥＣＵにおいて行われる物標の検出処理の流れを示すフローチャートである。
以下、例示的な実施形態について図面を参照しながら説明する。なお、各図において、同一又は相当する要素同士には同一符号を付し、重複する説明を省略する。
図１に示されるように、物体検出装置１００は、車両（自車両）に搭載され、自車両の周囲の物標を検出する。物体検出装置１００によって検出された物標は、例えば自車両の自動運転等、種々の制御に用いられ得る。物体検出装置１００は、ライダー［LIDAR：Light Detection and Ranging］１、カメラ２、及び物体検出ＥＣＵ[Electronic Control Unit]３を備えている。
ライダー１は、レーザ光を自車両の周囲に照射し、照射したレーザ光が物標で反射した反射光（レーザ光の反射光）を受光する。また、ライダー１は、レーザ光の反射光の強度を検出する。本実施形態におけるライダー１は、照射したレーザ光の反射光に加え、照射したレーザ光以外の光である環境光が物標で反射した反射光（環境光の反射光）を受光することができる。また、ライダー１は、受光した環境光の反射光の強度を検出することができる。この環境光とは、例えば、太陽光、及び照明などの自車両の周囲の光である。
より詳細には、ライダー１は、レーザ光照射部１１、受光素子１２、及び光処理ＥＣＵ１３を備えている。レーザ光照射部１１は、物体検出装置１００が搭載された自車両の周囲の予め定められた照射領域内の各位置に向けてそれぞれレーザ光を照射する。
受光素子１２は、レーザ光照射部１１から照射されたレーザ光の反射光を受光し、受光したレーザ光の反射光の強度に応じた信号を出力することができる。また、受光素子１２は、レーザ光照射部１１から照射されたレーザ光以外の環境光の反射光を受光し、受光した環境光の反射光の強度に応じた信号を出力することができる。
光処理ＥＣＵ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する電子制御ユニットである。光処理ＥＣＵ１３は、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。光処理ＥＣＵ１３は、複数の電子ユニットから構成されていてもよい。
光処理ＥＣＵ１３は、受光素子１２の出力信号に基づいて、受光素子１２で受光されたレーザ光の反射光の強度及び環境光の反射光の強度をそれぞれ検出する。光処理ＥＣＵ１３は、機能的には、光分離部１４、レーザ光処理部１５、及び環境光処理部１６を備えている。このように、受光素子１２、光分離部１４、レーザ光処理部１５、及び環境光処理部１６は、レーザ光の反射光及び環境光の反射光を検出可能な受光部として機能する。
光分離部１４は、受光素子１２で受光された光を、レーザ光の反射光と環境光の反射光とに分離する。光分離部１４は、例えば、特定の明滅パターンの光をレーザ光の反射光と判別し、それ以外の光を環境光の反射光と判別することができる。また、例えば、光分離部１４は、レーザ光照射部１１がレーザ光を照射してから所定時間以内に受光された光をレーザ光の反射光と判別し、それ以外のタイミングで受光された光を環境光の反射光と判別することができる。この所定時間は、レーザ光照射部１１がレーザ光を照射した後、照射されたレーザ光が自車両の周囲の物標で反射し、レーザ光の反射光が受光素子１２に到達するまでの時間に基づいて予め設定されている。なお、環境光の反射光には、上述したように、ライダー１から照射したレーザ光の反射光は含まない。しかしながら、環境光にレーザ光と同じ波長の光が含まれる場合、環境光の反射光には、レーザ光と同じ波長の光の反射光が含まれる。
レーザ光処理部１５は、受光素子１２で受光されたレーザ光の反射光の受光結果に基づいてレーザ光情報を生成する。レーザ光情報とは、予め定められた照射領域内の各位置に向けて照射された複数のレーザ光の受光結果（複数の反射光の受光結果）に基づいて生成される。なお、ライダー１は、照射領域内の各位置の全てに対してレーザ光の照射が完了した後、再度、照射領域内の各位置に向けてそれぞれレーザ光を照射する。このように、ライダー１は、照射領域内の各位置の全てに対してレーザ光を照射する照射処理が完了した後、再度、次の照射処理を行う。レーザ光情報は、ライダー１が照射処理を行うごとに生成される。
より詳細には、レーザ光処理部１５は、照射領域内に向けて照射する複数のレーザ光のそれぞれについて、照射したレーザ光の反射点の三次元位置と、当該レーザ光の強度と、を対応付けてレーザ光ポイント情報を生成する。レーザ光処理部１５は、生成した複数のレーザ光ポイント情報に基づいて、レーザ光情報を生成する。なお、レーザ光処理部１５は、レーザ光照射部１１から照射されたレーザ光の照射角度と、レーザ光が照射されてから当該レーザ光の反射光が受光素子１２に到達するまでの到達時間と、に基づいて、レーザ光の反射点の三次元位置を計測することができる。
環境光処理部１６は、受光素子１２で受光された環境光の反射光の受光結果に基づいて、環境光の反射光の情報である環境光情報を生成する。環境光情報は、レーザ光情報と同様に、ライダー１が照射領域内へ複数のレーザ光を照射する照射処理を行うごとに生成される。
より詳細には、環境光処理部１６は、まず、レーザ光処理部１５からレーザ光の反射点の三次元位置を取得する。ここで、レーザ光の照射角度等、ライダー１の各部の状態を変化させていない状態では、受光素子１２によって受光されるレーザ光の反射点の位置と、環境光の反射点の位置とは互いに同じとなっている。このため、ライダー１は、レーザ光の反射光を受光したときの状態で環境光の反射光の強度を検出することにより、レーザ光の反射点と同じ位置で反射した環境光の反射光の強度を検出することができる。従って、環境光処理部１６は、レーザ光処理部１５から取得したレーザ光の反射点の三次元位置と、受光素子１２で受光された環境光の反射光の強度と、を対応付けることにより、環境光ポイント情報を生成する。この環境光ポイント情報は、照射領域内に向けて照射される複数のレーザ光毎に生成される。
環境光処理部１６は、生成した複数の環境光ポイント情報に基づいて、環境光情報を生成する。すなわち、環境光処理部１６は、受光されたレーザ光（環境光）の反射光の反射点の位置と、受光された環境光の反射光の強度と、が反射点の位置毎に対応付けられた環境光情報を生成する。
このように、ライダー１は、受光素子１２の受光結果に基づいてレーザ光情報と環境光情報とを生成することができる。すなわち、ライダー１は、一つの受光素子１２の受光結果に基づいてレーザ光情報と環境光情報とを生成することができるため、レーザ光情報と環境光情報とのキャリブレーションが不要となる。
カメラ２は、自車両の周囲の予め定められた撮像領域内を撮像し、撮像結果であるカメラ画像を生成する。なお、カメラ２の撮像範囲は、ライダー１のレーザ光の照射範囲と少なくとも一部が重なっている。カメラ２は、撮像素子２１、及び画像処理ＥＣＵ２２を備えている。撮像素子２１は、撮像領域内で反射した環境光の反射光を受光し、受光した環境光の反射光に応じた信号を出力することができる。
画像処理ＥＣＵ２２は、光処理ＥＣＵ１３と同様の構成を有する電子制御ユニットである。画像処理ＥＣＵ２２は、機能的には、画像処理部２３を備えている。画像処理部２３は、撮像素子２１の出力信号に基づいて、周知の方法によってカメラ画像を生成する。
物体検出ＥＣＵ３は、ライダー１の検出結果に基づいて、自車両の周囲の物標を検出する。物体検出ＥＣＵ３は、光処理ＥＣＵ１３と同様の構成を有する電子制御ユニットである。物体検出ＥＣＵ３は、光処理ＥＣＵ１３又は画像処理ＥＣＵ２２と一体に構成されていてもよい。物体検出ＥＣＵ３は、機能的には、情報補正部３１、及び物体検出部３２を備えている。
情報補正部３１は、カメラ２で生成されたカメラ画像に基づいて、ライダー１の環境光処理部１６で生成された環境光情報を補正して補正環境光情報を生成する。情報補正部３１は、カメラ画像に基づいて種々の方法によって、補正環境光情報を生成することができる。本実施形態において、情報補正部３１は、次の第１の方法～第４の方法のいずれかの方法に基づいて、又は次の第１の方法～第４の方法の２以上の方法を組み合わせて補正環境光情報を生成することができる。なお、情報補正部３１は、カメラ画像と環境光情報との対応関係（位置的な対応関係）を、事前にキャリブレーションを行う、又は、補正環境光情報の生成時に特徴点をマッチングすること等によって得ることができる。
（第１の方法）
まず、第１の方法について説明する。第１の方法において、情報補正部３１は、カメラ画像の色情報（例えばＲＧＢ情報）を環境光情報に加えることによって、補正環境光情報を生成する。これにより、例えば、グレースケールの環境光情報に対して色情報が追加され、環境光情報の色のチャネル数が増加する。
（第２の方法）
次に、第２の方法について説明する。第２の方法において、情報補正部３１は、環境光情報のピクセル間にカメラ画像の情報を加えることによって、補正環境光情報を生成する。ここでは、情報補正部３１は、環境光情報のピクセル間に加えるカメラ画像の情報として、カメラ画像の色情報又は輝度情報等を用いることができる。このように、情報補正部３１は、環境光情報のピクセル間にカメラ画像の情報を加えることによって、環境光情報の解像度を高めた補正環境光情報を生成することができる。
（第３の方法）
次に、第３の方法について説明する。第３の方法において、情報補正部３１は、カメラ画像より得られるセグメンテーション情報に基づいて環境光情報を補正して補正環境光情報を生成する。ここでは、情報補正部３１は、例えば、semantic segmentation又はinstance segmentation等の周知の種々の手法を用いて、カメラ画像からセグメンテーション情報を得ることができる。情報補正部３１は、例えば、セグメンテーション情報を環境光情報に加えることにより、環境光情報に領域のカテゴリ情報を持たせた補正環境光情報を生成することができる。または、情報補正部３１は、例えば、セグメンテーション情報の領域のカテゴリ情報に基づいて、環境光情報のピクセル値を補正する（例えば領域の境界を鮮鋭にする等）ことによって補正環境光情報を生成することができる。
（第４の方法）
次に、第４の方法について説明する。第４の方法において、情報補正部３１は、カメラ画像と環境光情報との視差に基づいて得られる環境光の反射点までの距離を算出する。ここでは、情報補正部３１は、例えば、ステレオカメラ等と同様に、三角測量の原理に基づいて環境光の反射点までの距離を算出することができる。そして、情報補正部３１は、算出した距離の情報を環境光情報に加えることによって補正環境光情報を生成する。これにより、情報補正部３１は、環境光の反射点までの距離の情報を含む補正環境光情報を生成することができる。
物体検出部３２は、情報補正部３１で生成された補正環境光情報と、レーザ光処理部１５で生成されたレーザ光情報とに基づいて物標を検出する。ここでは、物体検出部３２は、補正環境光情報とレーザ光情報との２つの情報をフュージョンし、周知の種々の方法によって物標の検出処理及び認識処理を行うことができる。
次に、物体検出装置１００の物体検出ＥＣＵ３において行われる物標の検出処理の流れの一例について、図２のフローチャートを用いて説明する。なお、図２に示される検出処理は、物標の検出処理の開始後、所定時間ごとに繰り返し実行される。また、Ｓ１０１～Ｓ１０４の処理の順序は、図２に示される順序に限定されない。
図２に示されるように、物体検出部３２は、ライダー１のレーザ光処理部１５で生成されたレーザ光情報を取得する（Ｓ１０１）。情報補正部３１は、ライダー１の環境光処理部１６で生成された環境光情報を取得する（Ｓ１０２）。また、情報補正部３１は、カメラ２で生成されたカメラ画像を取得する（Ｓ１０３）。
情報補正部３１は、取得したカメラ画像に基づいて環境光情報を補正し、補正環境光情報を生成する（Ｓ１０４）。物体検出部３２は、取得したレーザ光情報と、情報補正部３１で生成された補正環境光情報とに基づいて、物標の検出を行う（Ｓ１０５）。
以上のように、物体検出装置１００は、カメラ画像に基づいて環境光情報を補正し、補正環境光情報を生成する。そして、物体検出装置１００は、生成した補正環境光情報とレーザ光情報とに基づいて物標を検出する。このように、物体検出装置１００は、環境光情報をカメラ画像に基づいて補正した補正環境光情報を用いることにより、レーザ光の反射光と環境光の反射光との検出結果（レーザ光情報及び補正環境光情報）に基づいて、物標を精度よく検出することができる。
補正環境光情報を生成する第１の方法において、情報補正部３１は、カメラ画像の色情報を環境光情報に加えることによって補正環境光情報を生成する。この場合、情報補正部３１は、環境光情報の色のチャネル数を増やすことができる。これにより、物体検出装置１００は、カメラ画像の色情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。
補正環境光情報を生成する第２の方法において、情報補正部３１は、環境光情報のピクセル間にカメラ画像の情報を加えることによって補正環境光情報を生成する。この場合、情報補正部３１は、環境光情報の解像度を高めることができる。これにより、物体検出装置１００は、解像度が高められた補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。
補正環境光情報を生成する第３の方法において、情報補正部３１は、カメラ画像より得られるセグメンテーション情報に基づいて環境光情報を補正して、補正環境光情報を生成する。この場合、物体検出装置１００は、セグメンテーション情報に基づいて生成された補正環境光情報と、レーザ光情報とを用いることにより、物標をより精度よく検出することができる。
補正環境光情報を生成する第４の方法において、情報補正部３１は、環境光の反射点までの距離を算出し、算出した距離の情報を環境光情報に加えることによって補正環境光情報を生成する。この場合、物体検出装置１００は、環境光の反射点までの距離の情報が付加された補正環境光情報と、レーザ光情報とを用いて物標をより精度よく検出することができる。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されるものではない。本開示は、本開示の趣旨を逸脱しない範囲で種々の変更が可能である。
２…カメラ、１１…レーザ光照射部、１２…受光素子（受光部）、１４…光分離部（受光部）、１５…レーザ光処理部（受光部）、１６…環境光処理部（受光部）、３１…情報補正部、３２…物体検出部、１００…物体検出装置。

Claims (5)

  1. レーザ光を照射するレーザ光照射部と、
    前記レーザ光の反射光及び前記レーザ光以外の光である環境光の反射光を検出可能な受光部と、
    カメラと、
    前記カメラによって撮像されたカメラ画像に基づいて、前記受光部で検出された前記環境光の反射光の情報である環境光情報を補正して補正環境光情報を生成する情報補正部と、
    前記補正環境光情報と前記受光部で受光された前記レーザ光の反射光の情報であるレーザ光情報とに基づいて物標を検出する物体検出部と、を備え、
    前記情報補正部は、前記カメラ画像より得られるセグメンテーション情報に基づいて前記環境光情報を補正して前記補正環境光情報を生成する、物体検出装置。
  2. 前記情報補正部は、前記カメラ画像と前記環境光情報との視差に基づいて得られる前記環境光の反射点までの距離を算出し、算出した前記距離の情報を前記環境光情報に加えることによって前記補正環境光情報を生成する、請求項１に記載の物体検出装置。
  3. レーザ光を照射するレーザ光照射部と、
    前記レーザ光の反射光及び前記レーザ光以外の光である環境光の反射光を検出可能な受光部と、
    カメラと、
    前記カメラによって撮像されたカメラ画像に基づいて、前記受光部で検出された前記環境光の反射光の情報である環境光情報を補正して補正環境光情報を生成する情報補正部と、
    前記補正環境光情報と前記受光部で受光された前記レーザ光の反射光の情報であるレーザ光情報とに基づいて物標を検出する物体検出部と、を備え、
    前記情報補正部は、前記カメラ画像と前記環境光情報との視差に基づいて得られる前記環境光の反射点までの距離を算出し、算出した前記距離の情報を前記環境光情報に加えることによって前記補正環境光情報を生成する、物体検出装置。
  4. 前記情報補正部は、前記カメラ画像の色情報を前記環境光情報に加えることによって前記補正環境光情報を生成する、請求項１～３のいずれか一項に記載の物体検出装置。
  5. 前記情報補正部は、前記環境光情報のピクセル間に前記カメラ画像の情報を加えることによって前記補正環境光情報を生成する、請求項１～４のいずれか一項に記載の物体検出装置。
JP2020181698A 2020-10-29 2020-10-29 物体検出装置 Active JP7294302B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020181698A JP7294302B2 (ja) 2020-10-29 2020-10-29 物体検出装置
US17/490,032 US20220137187A1 (en) 2020-10-29 2021-09-30 Object detection apparatus
CN202111252393.1A CN114509775A (zh) 2020-10-29 2021-10-26 物体检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020181698A JP7294302B2 (ja) 2020-10-29 2020-10-29 物体検出装置

Publications (2)

Publication Number Publication Date
JP2022072332A JP2022072332A (ja) 2022-05-17
JP7294302B2 true JP7294302B2 (ja) 2023-06-20

Family

ID=81378940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020181698A Active JP7294302B2 (ja) 2020-10-29 2020-10-29 物体検出装置

Country Status (3)

Country Link
US (1) US20220137187A1 (ja)
JP (1) JP7294302B2 (ja)
CN (1) CN114509775A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020079756A (ja) 2018-11-13 2020-05-28 株式会社リコー 距離情報取得装置および距離情報取得方法
JP2020098151A (ja) 2018-12-18 2020-06-25 株式会社デンソー センサ校正方法およびセンサ校正装置
JP2020165677A (ja) 2019-03-28 2020-10-08 株式会社デンソー 測距装置
JP2020165679A (ja) 2019-03-28 2020-10-08 株式会社デンソー 物体検出装置
JP2020173128A (ja) 2019-04-09 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
JP2021043679A (ja) 2019-09-10 2021-03-18 株式会社デンソー イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020079756A (ja) 2018-11-13 2020-05-28 株式会社リコー 距離情報取得装置および距離情報取得方法
JP2020098151A (ja) 2018-12-18 2020-06-25 株式会社デンソー センサ校正方法およびセンサ校正装置
JP2020165677A (ja) 2019-03-28 2020-10-08 株式会社デンソー 測距装置
JP2020165679A (ja) 2019-03-28 2020-10-08 株式会社デンソー 物体検出装置
JP2020173128A (ja) 2019-04-09 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
JP2021043679A (ja) 2019-09-10 2021-03-18 株式会社デンソー イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム

Also Published As

Publication number Publication date
US20220137187A1 (en) 2022-05-05
JP2022072332A (ja) 2022-05-17
CN114509775A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US11662433B2 (en) Distance measuring apparatus, recognizing apparatus, and distance measuring method
KR102059244B1 (ko) 라이다 장치
JP2020098151A5 (ja)
JP2009174900A (ja) 物体検出装置、物体検出方法および物体検出システム
JP2015143979A (ja) 画像処理装置、画像処理方法、プログラム、画像処理システム
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
US20160176335A1 (en) Lighting control device of vehicle headlamp and vehicle headlamp system
KR20180134072A (ko) 차량용 헤드램프 시스템 및 이의 제어 방법
JP2008059260A (ja) 移動検出画像生成装置
JP7347398B2 (ja) 物体検出装置
JP7189682B2 (ja) センサシステムおよび検査方法
JP7294302B2 (ja) 物体検出装置
JP2020137053A (ja) 制御装置及び撮影システム
US11899113B2 (en) Vehicle position estimation apparatus
CN112534473A (zh) 图像处理装置以及图像处理方法
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP4882844B2 (ja) 制動灯検出装置
JP2011149856A (ja) 物体識別方法及び物体識別装置
US11375134B2 (en) Vehicle monitoring system
JP4894365B2 (ja) 周囲障害物検出装置
JP7276304B2 (ja) 物体検出装置
US12083947B2 (en) Vehicle lamp system
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
CN111971527B (zh) 摄像装置
JP2014101068A (ja) 誤検知判定装置および車両制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R151 Written notification of patent or utility model registration

Ref document number: 7294302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151