JP7363835B2 - 物体認識システム及び物体認識方法 - Google Patents

物体認識システム及び物体認識方法 Download PDF

Info

Publication number
JP7363835B2
JP7363835B2 JP2021029162A JP2021029162A JP7363835B2 JP 7363835 B2 JP7363835 B2 JP 7363835B2 JP 2021029162 A JP2021029162 A JP 2021029162A JP 2021029162 A JP2021029162 A JP 2021029162A JP 7363835 B2 JP7363835 B2 JP 7363835B2
Authority
JP
Japan
Prior art keywords
data
reflected light
section
intensity
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021029162A
Other languages
English (en)
Other versions
JP2022130152A (ja
Inventor
秀行 若宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021029162A priority Critical patent/JP7363835B2/ja
Priority to US17/649,905 priority patent/US20220268941A1/en
Priority to CN202210166964.8A priority patent/CN114966624A/zh
Publication of JP2022130152A publication Critical patent/JP2022130152A/ja
Application granted granted Critical
Publication of JP7363835B2 publication Critical patent/JP7363835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、ライダー(LIDAR: Laser Imaging Detection And Ranging)を用いて物体を認識するシステム及び方法に関する。
国際公開第2020/170679号は、車両用灯具のアウターカバーと、アウターカバーの内部に形成された空間に格納されたライダーと、アウターカバーに付着した汚れを除去する灯具クリーナーと、車両用灯具のクリーナーの駆動を制御する制御部と、を備えるセンサシステムを開示する。この従来のシステムにおいて、車両用灯具は、車両の4隅に配置される。ライダーは、車両の周囲にレーザパルスを出力し、反射点で反射したレーザパルスの反射光を検出する。制御部は、アウターカバーに雨、雪、泥などの汚れが付着しているか否かの判定を行う。
アウターカバーに汚れが付着した場合、ライダーにより検出される反射光の強度が低下する。制御部による判定では、車両の周囲の乾燥路面で反射したレーザパルスの反射光の強度が取得される。そして、この反射光の強度が所定の閾値以下の場合、アウターカバーに汚れが付着していると判定される。アウターカバーに汚れが付着していると判定された場合、制御部は、クリーナーを駆動する。
国際公開第2020/170679号
しかしながら、乾燥路面で反射した反射光を利用する従来のシステムでは、アウターカバーの下部に付着した汚れを検出することしかできない。つまり、従来のシステムでは、アウターカバーの下部以外に付着した汚れを検出することができない。ライダーから出力されるレーザパルスの範囲は、車両の上下左右方向を含んでいる。そのため、ライダーによる物体の検出精度の低下を抑えるには、アウターカバーのうち、レーザパルス及び反射光が通過する範囲に付着する汚れを検出するための技術の開発が望まれる。
本発明の1つの目的は、ライダーの本体部を覆うカバー部のうち、当該本体部からのレーザパルスが通過する範囲に発生した異常を検出可能な技術を提供することにある。
第1の発明は、移動体の周囲の物体を認識する物体認識システムであり、次の特徴を有する。
前記物体認識システムは、ライダーの本体部と、カバー面と、データ処理装置と、を備える。前記本体部は、前記移動体の周囲にレーザパルスを出力し、前記周囲の反射点で反射した当該レーザパルスの反射光を検出することにより前記反射点のデータを取得する。前記カバー面は、前記本体部を保護する。前記データ処理装置は、前記反射点のデータの処理により得られる点群データに基づいて、物体認識処理を行う。
前記データ処理装置は、更に、前記スキャン範囲の所定区画の異常を判定する異常判定処理を行う。
前記データ処理装置は、前記異常判定処理において、前記点群データの履歴に基づいて、現在から所定時間が経過するまでの間、前記点群データを表現するためのデータセットの範囲内において、前記物体認識処理により認識されたトラッキング対象が前記移動体に対して相対的に移動する距離を示す相対移動距離を予測する。前記相対移動距離は、前記レーザパルスの出力中心軸に対して直交し、かつ、垂直方向と平行な方向の成分を示す垂直距離と、前記出力中心軸に対して直交し、かつ、水平方向と平行な成分を示す水平距離と、を含む。
前記データ処理装置は、前記異常判定処理において、前記垂直距離又は前記水平距離が所定距離以上の場合、前記トラッキング対象を構成する点群データの履歴に基づいて前記反射光の推定強度を計算する。前記推定強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記所定区画に対応する区画を示す対応区画において、前記トラッキング対象の点群データを構成すると予測される前記反射光の強度である。
前記データ処理装置は、前記異常判定処理において、前記推定強度と前記反射光の実強度の差が所定強度を上回るか否かを判定する。前記実強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記対応区画において、前記トラッキング対象の点群データを実際に構成する前記反射光の強度である。
前記データ処理装置は、前記異常判定処理において、前記推定強度と前記実強度の差が前記所定強度を上回ると判定された場合、前記所定区画に異常が生じていると判定する。
前記データ処理装置は、前記異常判定処理において、更に、
前記所定時間の経過後の前記データセットの範囲内において前記対応区画と一致することが予測される区画を示す特定区画を、現在の時刻における前記データセットの範囲内に特定する処理と、前記特定区画内の任意のデータを選択して当該任意のデータを構成する前記反射光の強度を評価する処理と、を行う。
前記データ処理装置は、前記反射光の強度を評価する処理において、前記特定区画内の全てのデータにおいて、当該全てのデータをそれぞれ構成する前記反射光の強度の平均値を計算し、前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が所定偏差を上回るか否かを判定し、前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が前記所定偏差を上回ると判定された場合、前記選択された任意のデータとは別のデータを選択する。
第2の発明は、第1の発明において更に次の特徴を有する。
前記データ処理装置は、前記異常判定処理において、前記トラッキング対象を構成する点群データの履歴に基づいて前記対応区画を設定する処理を更に行う。
前記データ処理装置は、前記対応区画を設定する処理において、前記所定時間の経過後の前記データセットの範囲内において、前記トラッキング対象の外縁部の点群データを構成すると予測される区画よりも内側の区画に、前記対応区画を設定する。
第3の発明は、物体認識方法であり、次の特徴を有する。
前記物体認識方法は、データ処理装置により行われる。
前記データ処理装置は、前記移動体の周囲の反射点で反射したレーザパルスの反射光を検出することにより取得された前記反射点のデータに基づいて、物体認識処理を行う。
前記データ処理装置は、前記レーザパルスの出力、前記反射光の検出及び前記反射点のデータを取得するライダーの本体部を保護するカバー面において、前記レーザパルス及び前記反射光が通過する範囲を示すスキャン範囲の所定区画の異常を判定する異常判定処理を行う。
前記データ処理装置は、前記異常判定処理において、前記点群データの履歴に基づいて、現在から所定時間が経過するまでの間、前記点群データを表現するためのデータセットの範囲内において、前記物体認識処理により認識されたトラッキング対象が前記移動体に対して相対的に移動する距離を示す相対移動距離を予測する。前記相対移動距離は、前記レーザパルスの出力中心軸に対して直交し、かつ、垂直方向と平行な方向の成分を示す垂直距離と、前記出力中心軸に対して直交し、かつ、水平方向と平行な成分を示す水平距離と、を含む。
前記データ処理装置は、前記異常判定処理において、前記垂直距離又は前記水平距離が所定距離以上の場合、前記トラッキング対象を構成する点群データの履歴に基づいて前記反射光の推定強度を計算する。前記推定強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記所定区画に対応する区画を示す対応区画において、前記トラッキング対象の点群データを構成すると予測される前記反射光の強度である。
前記データ処理装置は、前記異常判定処理において、前記推定強度と前記反射光の実強度の差が所定強度を上回るか否かを判定する。前記実強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記対応区画において、前記トラッキング対象の点群データを実際に構成する前記反射光の強度である。
前記データ処理装置は、前記異常判定処理において、前記推定強度と前記実強度の差が前記所定強度を上回ると判定された場合、前記所定区画に異常が生じていると判定する。
前記データ処理装置は、前記異常判定処理において、更に、前記所定時間の経過後の前記データセットの範囲内において前記対応区画と一致することが予測される区画を示す特定区画を、現在の時刻における前記データセットの範囲内に特定する処理と、前記特定区画内の任意のデータを選択して当該任意のデータを構成する前記反射光の強度を評価する処理と、を行う。
前記データ処理装置は、前記反射光の強度を評価する処理において、前記特定区画内の全てのデータにおいて、当該全てのデータをそれぞれ構成する前記反射光の強度の平均値を計算し、前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が所定偏差を上回るか否かを判定し、前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が前記所定偏差を上回ると判定された場合、前記選択された任意のデータとは別のデータを選択する。
第1又はの発明によれば、データ処理装置より、スキャン範囲の所定区画の異常を判定する異常判定処理が行われる。異常判定処理によれば、反射点のデータ処理により得られる点群データの履歴に基づいて、反射光の推定強度が計算される。また、異常判定処理によれば、反射光の推定強度と、反射光の実強度との差が所定強度を上回ると判定された場合、所定区画に異常が生じていると判定される。従って、スキャン範囲に発生した異常を検出することが可能となる。
特定区画内の任意のデータが選択される場合、選択された任意のデータを構成する反射光の強度が周囲のそれから大幅に乖離する可能性がある。この点、第1又は3の発明によれば、特定区画内の全てのデータをそれぞれ構成する反射光の強度の平均値が計算される。また、この平均値と、選択された任意のデータを構成する反射光の強度との差が所定偏差を上回ると判定された場合、当該任意のデータとは異なる別のデータが選択される。従って、特定区画内の任意のデータを適切に選択して、スキャン範囲に発生した異常の検出の精度を高めることが可能となる。
トラッキング対象の外縁部の点群データを構成すると予測される区画は、トラッキング対象とは異なる物体のデータを含む可能性がある。この点、第2の発明によれば、トラッキング対象の外縁部の点群データを構成すると予測される区画よりも内側の区画に対応区画を設定することが可能となる。従って、反射光の推定強度の計算の精度を高めて、スキャン範囲に発生した異常の検出の精度を高めることが可能となる。
ライダーを用いた物体認識の例を説明する図である。 3Dライダーの構成例を示す概略図である。 点群データを表現するためのデータセットの範囲と、レーザパルス及び反射光が通過する範囲に対応する区画としてこのデータセット範囲に定義される対応区画と、を模式的に示した図である。 データセット範囲内におけるトラッキング対象の将来の移動方向及び移動距離の予測手法の一例を説明する図である。 将来のZ位置データの推定手法の一例を説明する図である。 実施形態に係る物体認識システムの構成例を示すブロック図である。 データ処理装置の機能構成例を示すブロック図である。 トラッキング対象の将来の移動方向及び移動距離の一例を示す図である。 データ処理装置(プロセッサ)により実行される異常判定処理の流れを示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態に係る物体認識システムについて説明する。なお、実施形態に係る物体認識方法は、実施形態に係る物体認識システムにおいて行われるコンピュータ処理により実現される。また、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。
1.実施形態の概要
1-1.ライダーを用いた物体認識
図1は、ライダーを用いた物体認識の例を説明する図である。図1には、移動体MBが描かれている。図1に示される移動体MBは車両である。ただし、移動体MBは、ロボット、海洋移動体又は飛翔体でもよい。ロボットとしては、物流ロボット及び作業ロボットが例示される。海洋移動体としては船舶及び潜水艦が例示される。飛翔体としては、飛行機、ドローンなどが例示される。
移動体MBには、3Dライダー10が搭載されている。3Dライダー10は、移動体MBの周囲にレーザパルスを出力する。移動体MBの周囲の反射点RPでレーザパルスが反射すると、当該レーザパルスの反射光が3Dライダー10に戻ってくる。3Dライダー10は、この反射光を検出することにより反射点RPのデータを得る。
図1には、移動体MBが走行する路面RSが描かれている。路面RS上の反射点RPで反射したレーザパルスの反射光が3Dライダー10により検出されると、当該反射点RPのデータが得られる。図1には、また、移動体MBの前方に存在する物体OB1が描かれている。図1に示される物体OB1は車両である。物体OB1は移動していてもよいし、静止していてもよい。物体OB1上の反射点RPで反射したレーザパルスの反射光が3Dライダー10により検出されると、当該反射点RPのデータが得られる。
反射点RPのデータは、例えば、レーザパルスの出力角度(水平角度θ及び垂直角度φ)のデータと、この出力角度におけるレーザパルスの飛行時間(TOF: Time Of Flight)のデータと、を含んでいる。反射点RPのデータが処理されると、点群データLIDが得られる。点群データLIDを構成する個々のデータは、3Dライダー10に固定されたセンサ座標系における3D位置データ(即ち、X、Y及びZ位置データ)と、反射光の強度IRのデータと、を含んでいる。
移動体MBには、また、データ処理装置20が搭載されている。データ処理装置20は、点群データLIDに基づいて移動体MBの周囲の物体を認識する「物体認識処理」を行う。物体認識処理では、トラッキングの対象となる物体が認識される。移動体MBが車両の場合のトラッキング対象としては、他の移動体、道路標識、路面、路側物及び落下物が例示される。物体の認識は、クラスタリング処理により行われる。クラスタリング処理は、点群データLIDに基づいて、反射特性が類似する近い点群データを複数のクラスタにグループ化する処理である。クラスタリング処理を含む物体の認識手法は特に限定されず、公知の技術を適用することができる。
1-2.異常判定処理
図2は、3Dライダー10の構成例を示す概略図である。図2に示される例において、3Dライダー10は、本体部11と、カバー部12と、を備えている。本体部11は、レーザパルスの出力と、レーザパルスの反射光の検出と、反射点RPのデータの処理と、を行う。カバー部12は、本体部11を保護する目的で設けられる。カバー部12は、本体部11の外周を覆うカバー面を含んでいる。図2には、このカバー面の一部として、レーザパルス及び反射光が通過する範囲(以下、「スキャン範囲」とも称す。)SRが描かれている。
カバー部12は外気に晒されているので、カバー面には雨、雪、泥などの汚れが付着する。また、カバー面には、小石などの飛翔物体との接触により傷が発生する。スキャン範囲SRに汚れが付着し、又はこのスキャン範囲SRに傷が付くと、反射点RPのデータの精度が低下し、ひいては、点群データLIDに基づいた物体の認識の精度が低下する。そこで、実施形態では、スキャン範囲SRの異常を判定する「異常判定処理」を行う。
異常判定処理では、スキャン範囲SR内の所定区画PRに異常が生じているか否かが判定される。所定区画PRは、スキャン範囲SRをN個の区分したときの単位区画に基づいて定義される。単位区画は1個の区画から構成されてもよいし、2個以上の区画の集合から構成されてもよい。所定区画PRの中心の位置は、例えば、上述したセンサ座標系と共通する座標系上の座標(xi,yj,zk)により表される。この場合のZ軸はレーザパルスの出力中心軸であり、水平方向と平行である。また、Y軸はZ軸と直交しており、垂直方向と平行である。X軸は、Z軸及びY軸と直交している。
レーザパルスの出力の範囲は、スキャン範囲SRと一致する。また、レーザパルスの反射光は、スキャン範囲SRを通過する。従って、点群データLIDを表現するためのデータセットの範囲DRの形状は、スキャン範囲SRの形状と相似すると言える。そこで、データセット範囲DRをスキャン範囲SRと同じくN個に区分する。そうすると、スキャン範囲SRにおける所定区画PRに対応する区画(以下、「対応区画」とも称す。)PRCが、データセット範囲DR内に定義できる。
図3は、データセット範囲DR及び対応区画PRCを模式的に示した図である。既に説明したように、データセット範囲DRの形状は、スキャン範囲SRの形状と相似する。また、データセット範囲DRはN個に区分されている。そのため、所定区画PRの中心の位置が座標(xi,yj,zk)により表される場合、対応区画PRCの中心の位置は、座標(Xi,Yj,Zk)により表される。
図3には、また、図1に示した物体OB1の反射点RPのデータの処理により得られた点群データLID_OB1(X,Y,Z,IR)が描かれている。この点群データLID_OB1(X,Y,Z,IR)は、上述したセンサ座標系における3D位置データ(即ち、X、Y及びZ位置データ)と、反射光強度IRのデータと、を含む個々のデータLID(X,Y,Z,IR)から構成される。各データLID(X,Y,Z,IR)にそれぞれ含まれるX及びY位置データは、データセット範囲DRにおける当該データLID(X,Y,Z,IR)のX及びY座標のデータを表している。一方、各データLID(X,Y,Z,IR)にそれぞれ含まれるZ位置データは、移動体MB(本体部11)から反射点RPまでの距離DSのデータを表している。
ここで、反射光強度IRについて説明する。反射光強度IRは、例えば、下記式(1)のライダーの受信電力Prに基づいて計算される。
Figure 0007363835000001
式(1)の右辺第1項において、Ptは送信電力であり、Gtは送信の指向性(広がり)に関する係数であり、Rは光源から反射点RPまでの距離である。Ttは送信部の透過率であり、Trは受信部の透過率であり、Lは空間減衰に関する係数である。式(1)の右辺第2項は、ノイズNを表している。
式(1)から分かるように、反射光強度IRは、距離Rの4乗に反比例する。そのため、式(1)の右辺第1項における距離R以外の変数を一定と見做し、第2項が無視できると仮定すると、距離R(つまり、距離DS)に基づいて反射光強度IRを表現することができる。
異常判定処理では、トラッキング対象を構成する点群データLIDの履歴に基づいて、データセット範囲DR内における当該トラッキング対象の将来の移動方向及び移動距離が予測される。本明細書において、「将来の移動方向」は、現在から所定時間が経過するまでの間、データセット範囲DR内においてトラッキング対象が移動体MBに対して相対的に移動する方向と定義される。「将来の移動距離」とは、現在から所定時間が経過するまでの間、データセット範囲DR内においてトラッキング対象が将来の移動方向に移動する距離と定義される。
データセット範囲DR内におけるトラッキング対象の将来の移動方向及び移動距離の予測手法の一例について、図4を参照しながら説明する。図4には、トラッキング対象としての物体OB2を構成する点群データLIDが簡略化して描かれている。図4に示される物体OB2は、移動体MBが走行する車線の右前方の路肩で停止している車両である。
図4には、また、時刻t1~t3におけるデータセット範囲DRが時系列で示されている。なお、図4の説明は以下の内容を前提とする。第1に、現在の時刻が時刻t2であり、物体OB2のトラッキングは時刻t1において既に開始されている。第2に、時刻t1~t2の間、移動体MBは車線上を一定速度で直進し、物体OB2に徐々に近づいている。つまり、時刻t1~t2の間、物体OB2に対する移動体MBのZ軸方向における相対速度Vrzは一定である。第3に、時刻t3は将来の時刻であり、時刻t2から時刻t3までの時間差は、上述した所定時間と等しい。
物体OB2の将来の移動方向及び移動距離の予測は、時刻t1~t2の間における物体OB2の移動の挙動が、時刻t2以降も継続されるとの仮定に基づいて行われる。移動方向の予測では、まず、時刻t1において物体OB2を構成する点群データLID_OB2(X,Y,Z,IR)のうちから、物体OB2の基準の位置(例えば、物体OB2の中央の位置)に存在するデータ(X1,Y1,Z1)が特定される。この特定処理は、時刻t2における点群データLID_OB2(X,Y,Z,IR)に対しても行われる。そうすると、基準の位置のデータ(X2,Y2,Z2)も特定される。
時刻t1~t2の間における物体OB2の移動方向は、座標(X1,Y1,Z1)を始点とし、座標(X2,Y2,Z2)を終点とするベクトルVEの向きに等しい。よって、物体OB2の将来の移動方向(つまり、時刻t2~t3の間におけるデータセット範囲DR内の物体OB2の移動方向)は、このベクトルVEの向きと等しい方向として予測される。
時刻t1~t2の間における物体OB2の移動距離は、ベクトルVEの大きさ|VE|に基づいて予測される。具体的に、物体OB2の将来の移動距離(つまり、時刻t2~t3の間におけるデータセット範囲DR内の物体OB2の移動距離)は、下記式(2)を用いて予測される。
将来の移動距離=|VE|*(t3-t2)/(t2-t1) ・・・(2)
異常判定処理では、また、予測された将来の移動方向及び移動距離に基づいて、対応区画PRCの将来の反射光強度IRのデータが推定される。以下の説明では、将来の反射光強度IRを「推定値IRE」とも称す。
推定値IREの推定手法の一例について、図5を参照しながら説明する。なお、図5の説明における前提は、図4の説明におけるそれと同じである。また、図4を用いて説明された予測手法は、これから説明する物体OB2の将来の移動方向及び移動距離の予測にも適用されている。
推定値IREの推定では、まず、現在の時刻(つまり、時刻t2)におけるデータセット範囲DR内に、対応区画PRCが設定される。対応区画PRCは、例えば、将来の時刻においてトラッキング対象を構成する点群データLIDが取得されると予測される単位区画に設定される。この単位区画は、トラッキング対象を構成する点群データLIDの位置の履歴と、トラッキング対象の将来の移動方向と、に基づいて予測される。
図5に示される時刻t1及びt2では、トラッキング対象としての物体OB2を構成する点群データLID_OB2(X,Y,Z,IR)が、データセット範囲DRの右方領域に位置している。また、物体OB2の将来の移動方向は、ベクトルVEの向きであることが予想されている。そうすると、点群データLID_OB2(X,Y,Z,IR)が取得されると予測される単位区画は、この右方領域、かつ、現在の時刻における点群データLID_OB2(X,Y,Z,IR)よりもベクトルVEの向きに位置する単位区画であることが分かる。
対応区画PRCが設定されたら、対応区画PRCの中心の位置の座標(Xi,Yj,Zk)から、ベクトルVEの向きとは反対の向きに大きさ|VE|だけ離れた位置の座標(Xp,Yq,Zr)が特定される。ベクトルVE及び大きさ|VE|については、図4を用いて説明したとおりである。座標(Xp,Yq,Zr)は、具体的に、座標(Xi,Yj,Zk)を始点するベクトルVEの逆ベクトルIVEの終点に相当する。
座標(Xp,Yq,Zr)の特定は、現在の時刻(つまり、時刻t2)におけるデータセット範囲DR内で行われる。座標(Xp,Yq,Zr)が特定されたら、この座標(Xp,Yq,Zr)を含む単位区画が特定される。以下、特定された単位区画を「特定区画」PRSとも称す。特定区画は、将来の時刻におけるデータセット範囲DRにおいて対応区画PRCに一致することが予測される単位区画である。特定区画PRSの特定も、現在の時刻におけるデータセット範囲DR内で行われる。
特定区画が特定されたら、特定区画PRS内の任意のデータLID(X,Y,Z,IR)を構成するZ位置データ及び反射光強度IRのデータが選択される。任意のデータLID(X,Y,Z,IR)としては、データセット範囲DR内において座標(Xp,Yq,Zr)に位置するデータLID(Xp,Yq,Zr,IR)が例示される。データLID(Xp,Yq,Zr,IR)が存在しない場合は、データセット範囲DR内において座標(Xp,Yq,Zr)からの距離が最も短い位置に存在するデータLID(X,Y,Z,IR)を選択すればよい。
図4の説明で述べたように、物体OB2の将来の移動方向及び移動距離の予測は、時刻t1~t2の間におけるデータセット範囲DR内の物体OB2の移動の挙動が時刻t2以降も継続されると仮定して行われる。この仮定に基づけば、この挙動は時刻t3においても継続される。そうすると、特定区画PRS内の任意のデータLID(X,Y,Z,IR)を構成するZ位置データは、将来の時刻t3のデータセット範囲DR内において対応区画PRCに含まれるデータLID(X,Y,Z,IR)を構成する反射光強度IRのデータと高い相関を有することが予想される。
移動体MBと物体OB2のZ軸方向の距離DSzは、時刻t2~t3の間にVrz*(t3-t2)だけ変化する。よって、時刻t3における推定値IRE(t3)は、下記式(3)を用いて計算される。
IRE(t3)=IRA(t2)*DSz(t2)/[DSz(t2)-Vrz*(t3-t2)] ・・・(3)
上記式(3)において、IRA(t2)は、特定区画PRS内の任意のデータLID(X,Y,Z,IR)を構成する反射光強度IRのデータの時刻t2における値である。DSz(t2)は、特定区画PRS内の任意のデータLID(X,Y,Z,IR)を構成するZ位置データの時刻t2における値である。
異常判定処理では、推定値IRE(t3)と、実値IRA(t3)とが比較される。実値IRA(t3)は、は、特定区画PRS内の任意のデータLID(X,Y,Z,IR)を構成する反射光強度IRのデータの、時刻t3での実値である。そして、推定値IRE(t3)と実値IRA(t3)の差|IRE(t3)-IRA(t3)|が所定強度IRthを上回る場合、所定区画PRに異常が生じていると判定される。
以上をまとめると、実施形態によれば、カバー部12の所定区画PRに異常が生じているか否かを判定するために異常判定処理が行われる。異常判定処理では、トラッキング対象を構成する点群データLIDの履歴に基づいて、データセット範囲DR内における当該トラッキング対象の将来の移動方向及び移動距離が予測される。異常判定処理では、また、この将来の移動方向及び移動距離に基づいて、対応区画PRCの将来の反射光強度IRのデータ(即ち、推定値IRE)が推定される。そして、推定値IREと、対応区画PRCの実際の反射光強度IRのデータ(即ち、実値IRA)との差|IRE-IRA|が所定強度IRthを上回る場合、所定区画PRに異常が生じていると判定される。
このように、実施形態によれば、異常判定処理が行われる。異常判定によれば、所定区画PRに異常が生じていることを検出することが可能となる。従って、反射点RPのデータの精度が低下し、ひいては、点群データLIDに基づいた物体の認識の精度が低下するのを検知することが可能となる。
以下、実施形態に係る物体認識システムについて詳細に説明する。
2.物体認識システム
2-1.構成例
図6は、実施形態に係る物体認識システムの構成例を示すブロック図である。図6に示される例では、物体認識システム100が、3Dライダー10と、データ処理装置20と、ミリ波レーダ30と、カメラ40と、GNSS(Global Navigation Satellite System)受信機50と、地図データベース60と、HMI(Human Machine Interface)70と、ライダークリーナー80と、を備えている。
3Dライダー10は、図2に示した本体部11及びカバー部12を備えている。本体部11は、例えば、レーザパルスを出力する発光部と、レーザパルスを水平方向及び垂直方向に走査させる光偏向器と、レンズ等の光学系と、レーザパルスの反射光を検出する受光部と、を備えている。発光部は、例えば、レーザダイオードである。発光部から出力されるレーザパルスのピーク波長は特に限定されない。光偏向器は、例えば、MEMS(Micro Electro Mechanical Systems)ミラー又はポリゴンミラーである。受光部は、例えば、フォトダイオードである。
3Dライダー10は、光偏向器によりレーザパルスを走査せずに、点群データLIDを取得する構成を有していてもよい。この構成としては、フェイズドアレイ方式及びフラッシュ方式が例示される。3Dライダー10は、発光部と受光部を機械的に回転駆動させることで点群データLIDを取得する構成を有していてもよい。
データ処理装置20は、少なくとも1つのプロセッサ21と、少なくとも1つのメモリ22とを備えるマイクロコンピュータから構成される。プロセッサ21は、CPU(Central Processing Unit)を含んでいる。メモリ22は、DDRメモリなどの揮発性のメモリであり、プロセッサ21が使用するプログラムの展開及び各種データの一時保存を行う。各種データには、3Dライダー10が取得した点群データLIDが含まれる。データ処理装置20の機能構成例については後述される。
ミリ波レーダ30は、移動体MBの周囲にミリ波の電磁波を出力する。移動体MBの周囲の物体で電磁波が反射すると、電磁波がミリ波レーダ30に戻ってくる。ミリ波レーダ30は、この反射電磁波を検出してレーダデータMILを生成する。レーダデータMILとしては、移動体MB(ミリ波レーダ30)から物体までの距離のデータ、移動体MBに対する物体の方向のデータ、及び、移動体MBに対する物体の相対速度のデータが例示される。レーダデータMILはメモリ22に格納される。
カメラ40は、移動体MBの周囲を撮像して画像データIMGを取得する。画像データIMGはメモリ22に格納される。カメラ40は、画像データIMGを処理して、移動体MBの周囲の物体を認識してもよい。この場合の画像データIMGとしては、認識された物体の属性を示すデータ、移動体MBから物体までの距離のデータ、移動体MBに対する物体の方向のデータ、及び物体の位置のデータが例示される。
GNSS受信機50は、3個以上の人工衛星からの信号を受信する。GNSS受信機50は、受信信号に基づいて、移動体MBの位置及び姿勢データPOSを生成する。位置及び姿勢データPOSはメモリ22に格納される。
地図データベース60には、地図データMAPが格納されている。地図データMAPとしては、道路の位置データ、道路形状のデータ(例えば、カーブ、直線の種別)、交差点及び構造物の位置データが例示される。地図データMAPには、交通規制データも含まれている。地図データベース60は、移動体MBに搭載された所定の記憶装置(例えば、ハードディスク、フラッシュメモリ)内に形成されている。地図データベース60は、移動体MBと通信可能な施設のコンピュータ内に形成されていてもよい。
HMIユニット70は、移動体MBのドライバとの間で各種の情報をやり取りする。HMIユニット70は、例えば、入力装置(例えば、操作ボタン、タッチパネル)と、表示装置と、音声出力装置と、を備えている。HMIユニット70は、入力装置を介してドライバから入力された情報を、データ処理装置20に送信する。HMIユニット70は、データ処理装置20からの制御信号に基づいて、ドライバに情報を提供する。ドライバに提供される情報には注意喚起情報が含まれる。注意喚起情報には、カバー部12に異常が発生していることを示す情報が含まれる。
ライダークリーナー80は、カバー部20に付着した汚れを除去する。ライダークリーナー80は、カバー部12の付近に設けられている。ライダークリーナー80は、例えば、洗浄液又は空気をカバー部12に噴射するスプレーである。ライダークリーナー80がスプレーの場合、2基以上のスプレーが設けられていてもよい。この場合、2基以上のスプレーは、スキャン範囲SR内に設定された担当範囲にそれぞれ対応して設けられる。ライダークリーナー80は、例えば、データ処理装置20からの制御信号INSに基づいて駆動される。
2-2.データ処理装置の機能構成例
図7は、データ処理装置20の機能構成例を示すブロック図である。図7に示される例では、データ処理装置20が、データ取得部23と、物体認識部24と、移動予測部25と、推定値計算部26と、異常判定制御部27と、を備えている。これらの機能は、プロセッサ21がメモリ22に格納された所定のプログラムを処理することにより実現される。
データ取得部23は、データ処理装置20による各種の処理に必要なデータを取得する。各種の処理としては、物体認識処理、トラッキング処理、及び異常判定処理が例示される。各種の処理に必要なデータには、上述した点群データLID、レーダデータMIL、画像データIMG、位置及び姿勢データPOS、並びに地図データMAPが例示される。
物体認識部24は、データ取得部23が取得した点群データLIDに基づいて、物体認識処理を行う。物体認識処理では、トラッキング対象となる物体が認識される。物体の認識は、クラスタリング処理により行われる。クラスタリング処理を含む物体の認識手法は特に限定されず、公知の技術を適用することができる。物体認識部24は、トラッキング対象のデータをトラッキング部25に送る。
物体認識処理では、点群データLIDと他のデータが統合(Fusion)されてもよい。他のデータの第1の例として、位置及び姿勢データPOSと、地図データMAPとが挙げられる。これらのデータを点群データLIDと統合することで、移動体MBの周囲の静止物体がトラッキング対象として認識される。他のデータの第2の例として、レーダデータMIL又は画像データIMGが例示される。レーダデータMIL又は画像データIMGを点群データLIDと統合することで、移動体MBの周囲の移動物体がトラッキング対象として認識される。
移動予測部25は、トラッキング対象を構成する点群データLIDの履歴に基づいて、当該トラッキング対象の将来の移動方向及び移動距離を予測する。図8は、将来の移動方向及び移動距離の一例を示す図である。図8に示される座標(X1,Y1,Z1)及び(X2,Y2,Z2)は、図4で説明した点群データLID_OB2(X,Y,Z,IR)のうちの基準の位置の座標である。
移動予測部25は、座標(X1,Y1,Z1)を始点とし、座標(X2,Y2,Z2)を終点とするベクトルVEの向きを計算する。このベクトルVEの向きが、将来の移動方向である。移動予測部25は、ベクトルVEの向きを示すデータを推定値計算部26に送る。移動予測部25は、また、ベクトルVEの大きさ|VE|を計算する。大きさ|VE|は、データセット範囲DRにおける座標(X1,Y1,Z1)から座標(X2,Y2,Z2)までの距離DSRに等しい。
移動予測部25は、更に、距離DSRをX軸方向の成分と、Y軸方向の成分と、を計算する。既に説明したように、Y軸はZ軸(レーザパルスの出力中心軸)と直交しており、垂直方向と平行である。そのため、以下、Y軸方向の成分を「垂直距離DSRy」とも称す。また、X軸はZ軸及びY軸と直交しており、水平方向と平行である。そのため、以下、X軸方向の成分を「水平距離DSRx」とも称す。移動予測部25は、垂直距離DSRy及び水平距離DSRxのデータを推定値計算部26に送る。
推定値計算部26は、将来の時刻における対応区画PRCの推定値IREを計算する。推定値計算部26は、まず、現在の時刻におけるデータセット範囲DR内に対応区画PRCを設定する。対応区画PRCは、将来の時刻においてトラッキング対象を構成する点群データLIDが取得されると予測される単位区画に設定される。この単位区画は、トラッキング対象を構成する点群データLIDの位置の履歴と、トラッキング対象の将来の移動方向と、に基づいて予測される。
対応区画PRCは、トラッキング対象の外縁部を構成する点群データLIDが取得されると予測される単位区画を除いて設定されることが望ましい。この理由は、外縁部を構成する点群データLIDは、トラッキング対象とは異なる物体の3D位置データを含む可能性があるからである。従って、対応区画PRCは、外縁部に位置よりも内側に位置すると予測される単位区画に設定されることが望ましい。
対応区画PRCの設定後、推定値計算部26は、この対応区画PRCの中心の位置の座標(Xi,Yj,Zk)を特定する。そして、推定値計算部26は、座標(Xi,Yj,Zk)と、トラッキング対象の将来の移動方向及び移動距離のデータとに基づいて、座標(Xp,Yq,Zr)を特定する。既に説明したように、座標(Xp,Yq,Zr)は、座標(Xi,Yj,Zk)から、ベクトルVEの向きとは反対の向きに大きさ|VE|だけ離れた位置の座標である。
座標(Xp,Yq,Zr)の特定後、推定値計算部26は、この座標(Xp,Yq,Zr)を含む単位区画(つまり、特定区画)を特定する。既に説明したように、特定区画は、将来の時刻におけるデータセット範囲DRにおいて対応区画PRCに一致することが予測される単位区画である。座標(Xp,Yq,Zr)及び特定区画PRSの特定が現在の時刻におけるデータセット範囲DR内で行われることも既に説明したとおりである。
特定区画PRSの特定後、推定値計算部26は、特定区画PRS内の任意のデータLID(X,Y,Z,IR)を構成するZ位置データ及び反射光強度IRのデータを選択する。任意のデータLID(X,Y,Z,IR)の例については既に説明したとおりである。
反射光強度IRのデータの選択に際し、推定値計算部26は、選択された反射光強度IRのデータの評価を行うことが望ましい。この理由は、選択された反射光強度IRのデータが、その周囲の反射光強度IRのデータから大きく乖離する特異点のデータに該当する可能性があるからである。反射光強度IRのデータが特異点のデータに該当するか否かは、特定区画PRS内の全てのデータLID(X,Y,Z,IR)を構成する反射光強度IRのデータの平均値AIRとの比較に基づいて評価される。選択された反射光強度IRのデータと平均値AIRの差が所定偏差AIRthを上回る場合、当該データは特異点のデータに該当すると判定される。この場合は、反射光強度IRのデータを破棄し、特定区画PRS内の別のデータLID(X,Y,Z,IR)を構成する反射光強度IRのデータを選択する。
Z位置データ及び反射光強度IRのデータの選択後、推定値計算部26は、推定値IREを計算する。推定値IREの計算は、選択された反射光強度IRのデータの現在の時刻における値(つまり、実値IRA)と、選択されたZ位置データの現在の時刻における値(つまり、移動体MBとトラッキング対象の距離DSz)と、現在の時刻から将来の時刻の間のZ位置データの変化量(つまり、距離DSzの変化量ΔDSz)とに基づいて行われる。推定値IREの計算式は、上記式(3)を変形した下記式(4)により表される。
IRE=IRA*DSz/[DSz-Vrz*ΔDSz] ・・・(4)
推定値計算部26は、推定値IREのデータを異常判定制御部27に送る。
異常判定制御部27は、所定区画PRに異常が生じているか否かを判定する。この判定は、推定値IREと、時間の経過に伴って取得された実値IRAとの比較に基づいて行われる。この実値IRAは、推定値計算部26により選択された特定区画PRS内のデータLID(X,Y,Z,IR)を構成する反射光強度IRのデータに対応する。
推定値IREと実値IRAの差|IRE-IRA|が所定強度IRthを上回る場合、異常判定制御部27は、所定区画PRに異常が生じていると判定する。そうでない場合、所定区画PRは正常であると判定される。異常判定制御部27は、所定区画PRに異常が生じていると判定された回数NJをカウントする。そして、この判定回数NJが所定回数Nthを上回ると判定された場合、異常判定制御部27は、制御信号INSをライダークリーナー80に出力する。
制御信号INSをライダークリーナー80に出力した後、判定回数NJが所定回数Nthを上回ると再び判定された場合、異常判定制御部27は、制御信号INSをHMIユニット70に出力してもよい。所定区画PRの異常の原因が汚れの場合、制御信号INSに基づくライダークリーナー80の駆動によりこの原因が解消する。一方、異常の原因が傷の場合は、ライダークリーナー80の駆動によってもこの原因が解消しない可能性がある。この点、制御信号INSをHMIユニット70に出力することで、注意喚起情報がドライバに提供される。これにより、傷の修復等をドライバに促すことが可能となる。
2-3.異常判定処理の例
図9は、データ処理装置20(プロセッサ21)により実行される異常判定処理の流れを示すフローチャートである。図9に示されるルーチンは、所定の制御周期で繰り返し実行される。
図9に示されるルーチンでは、まず、トラッキング対象が特定される(ステップS11)。トラッキング対象は、別途行われる物体認識処理により認識された物体のうちから特定される。
ステップS11の処理に続いて、トラッキング対象を構成する点群データLIDのデータ範囲TRが所定範囲TRthを上回るか否かが判定される(ステップS12)。データ範囲TRは、例えば、データセット範囲DRにおいて、トラッキング対象の外縁部を構成する点群データLIDが位置する単位区画を繋げることにより計算される。データ範囲TRが所定範囲TRth以下の場合は、ステップS11の処理において特定されたトラッキング対象が異常判定処理に適していないと判断される。この場合は、異常判定処理が終了する。
ステップS12の判定結果が肯定的な場合、水平距離DSRx及び垂直距離DSRyが計算される(ステップS13)。水平距離DSRx及び垂直距離DSRyは、トラッキング対象の将来の移動方向及び移動距離に基づいて計算される。水平距離DSRx及び垂直距離DSRyについては図8で説明したとおりである。
ステップS13の処理に続いて、水平距離DSRx又は垂直距離DSRyが所定距離DSRthを上回るか否かが判定される(ステップS14)。水平距離DSRx又は垂直距離DSRyが短い場合は、現在の時刻及び将来の時刻において同一の単位区画を比較することになる可能性がある。この場合は、対応区画PRCと特定区画PRSのデータ範囲が重複することから、反射特性の異なる反射光強度IRのデータを比較してしまう可能性がある。そうすると、異常判定の精度が低下してしまう。
そこで、水平距離DSRx又は垂直距離DSRyが所定距離DSRth以下の場合、ステップS11の処理において特定されたトラッキング対象が異常判定処理に適していないと判断される。この場合は、異常判定処理が終了する。
ステップS14の判定結果が肯定的な場合、推定値IREが計算される(ステップS15)。推定値IREの計算は、上記式(4)に基づいて行われる。
ステップS15の処理に続いて、差|IRE-IRA|が所定強度IRthを上回るか否かが判定される(ステップS16)。ステップS16の判定結果が肯定的な場合、判定回数NJがインクリメント(NJ=NJ+1)される(ステップS17)。判定回数NJのインクリメントは、所定区画PRごとに行われる。ステップS16の判定結果が否定的な場合、判定回数NJがリセットされて、異常判定処理が終了する。
ステップS17の処理に続いて、判定回数NJが所定回数NJthを上回るか否かが判定される(ステップS18)。ステップS18の判定結果が肯定的な場合、制御信号INSがライダークリーナー80に出力される(ステップS19)。制御信号INSの出力後、判定回数NJがリセットされて、異常判定処理が終了する。
3.効果
以上説明した実施形態によれば、異常判定処理が行われる。異常判定によれば、トラッキング対象を構成する点群データLIDの履歴に基づいて、所定区画PRに異常が生じていることを検出することが可能となる。従って、反射点RPのデータの精度が低下し、ひいては、点群データLIDに基づいた物体の認識の精度が低下するのを検知することが可能となる。
10 3Dライダー
11 本体部
12 カバー部
20 データ処理装置
21 プロセッサ
22 メモリ
23 データ取得部
24 物体認識部
25 移動予測部
26 推定値計算部
27 異常判定制御部
DR データセット範囲
DSR 距離
DSRx 水平距離
DSRy 垂直距離
IR 反射光強度
IRA 反射光強度の実値
IRE 反射光強度の推定値
LID 点群データ
MB 移動体
OB1、OB2 物体
PR 所定区画
PRC 対応区画
PRS 特定区画
RP 反射点
SR スキャン範囲

Claims (3)

  1. 移動体の周囲の物体を認識する物体認識システムであって、
    前記移動体の周囲にレーザパルスを出力し、前記周囲の反射点で反射した当該レーザパルスの反射光を検出することにより前記反射点のデータを取得するライダーの本体部と、
    前記本体部を保護するカバー面と、
    前記反射点のデータの処理により得られる点群データに基づいて、物体認識処理を行うデータ処理装置と、
    を備え、
    前記カバー面は、前記レーザパルス及び前記反射光が通過する範囲を示すスキャン範囲を含み、
    前記データ処理装置は、更に、前記スキャン範囲の所定区画の異常を判定する異常判定処理を行い、
    前記データ処理装置は、前記異常判定処理において、
    前記点群データの履歴に基づいて、現在から所定時間が経過するまでの間、前記点群データを表現するためのデータセットの範囲内において、前記物体認識処理により認識されたトラッキング対象が前記移動体に対して相対的に移動する距離を示す相対移動距離を予測し、
    前記相対移動距離は、前記レーザパルスの出力中心軸に対して直交し、かつ、垂直方向と平行な方向の成分を示す垂直距離と、前記出力中心軸に対して直交し、かつ、水平方向と平行な成分を示す水平距離と、を含み、
    前記垂直距離又は前記水平距離が所定距離以上の場合、前記トラッキング対象を構成する点群データの履歴に基づいて前記反射光の推定強度を計算し、
    前記推定強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記所定区画に対応する区画を示す対応区画において、前記トラッキング対象の点群データを構成すると予測される前記反射光の強度であり、
    前記推定強度と前記反射光の実強度の差が所定強度を上回るか否かを判定し、
    前記実強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記対応区画において、前記トラッキング対象の点群データを実際に構成する前記反射光の強度であり、
    前記推定強度と前記実強度の差が前記所定強度を上回ると判定された場合、前記所定区画に異常が生じていると判定し、
    前記データ処理装置は、前記異常判定処理において、更に、
    前記所定時間の経過後の前記データセットの範囲内において前記対応区画と一致することが予測される区画を示す特定区画を、現在の時刻における前記データセットの範囲内に特定する処理と、
    前記特定区画内の任意のデータを選択して当該任意のデータを構成する前記反射光の強度を評価する処理と、
    を行い、
    前記データ処理装置は、前記反射光の強度を評価する処理において、
    前記特定区画内の全てのデータにおいて、当該全てのデータをそれぞれ構成する前記反射光の強度の平均値を計算し、
    前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が所定偏差を上回るか否かを判定し、
    前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が前記所定偏差を上回ると判定された場合、前記選択された任意のデータとは別のデータを選択する
    ことを特徴とする物体認識システム。
  2. 請求項1に記載の物体認識システムであって、
    前記データ処理装置は、前記異常判定処理において、前記トラッキング対象を構成する点群データの履歴に基づいて前記対応区画を設定する処理を更に行い、
    前記データ処理装置は、前記対応区画を設定する処理において、前記所定時間の経過後の前記データセットの範囲内において、前記トラッキング対象の外縁部の点群データを構成すると予測される区画よりも内側の区画に、前記対応区画を設定する
    ことを特徴とする物体認識システム。
  3. 移動体の周囲の物体を認識する物体認識方法であって、
    前記移動体の周囲の反射点で反射したレーザパルスの反射光を検出することにより取得された前記反射点のデータの処理により得られる点群データに基づいて、物体認識処理を行うデータ処理装置が、前記レーザパルスの出力、前記反射光の検出及び前記反射点のデータを取得するライダーの本体部を保護するカバー面において、前記レーザパルス及び前記反射光が通過する範囲を示すスキャン範囲の所定区画の異常を判定する異常判定処理を行い、
    前記データ処理装置は、前記異常判定処理において、
    前記点群データの履歴に基づいて、現在から所定時間が経過するまでの間、前記点群データを表現するためのデータセットの範囲内において、前記物体認識処理により認識されたトラッキング対象が前記移動体に対して相対的に移動する距離を示す相対移動距離を予測し、
    前記相対移動距離は、前記レーザパルスの出力中心軸に対して直交し、かつ、垂直方向と平行な方向の成分を示す垂直距離と、前記出力中心軸に対して直交し、かつ、水平方向と平行な成分を示す水平距離と、を含み、
    前記垂直距離又は前記水平距離が所定距離以上の場合、前記トラッキング対象を構成する点群データの履歴に基づいて前記反射光の推定強度を計算し、
    前記推定強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記所定区画に対応する区画を示す対応区画において、前記トラッキング対象の点群データを構成すると予測される前記反射光の強度であり、
    前記推定強度と前記反射光の実強度の差が所定強度を上回るか否かを判定し、
    前記実強度は、前記所定時間の経過後の前記データセットの範囲内、かつ、前記対応区画において、前記トラッキング対象の点群データを実際に構成する前記反射光の強度であり、
    前記推定強度と前記実強度の差が前記所定強度を上回ると判定された場合、前記所定区画に異常が生じていると判定し、
    前記データ処理装置は、前記異常判定処理において、更に、
    前記所定時間の経過後の前記データセットの範囲内において前記対応区画と一致することが予測される区画を示す特定区画を、現在の時刻における前記データセットの範囲内に特定する処理と、
    前記特定区画内の任意のデータを選択して当該任意のデータを構成する前記反射光の強度を評価する処理と、
    を行い、
    前記データ処理装置は、前記反射光の強度を評価する処理において、
    前記特定区画内の全てのデータにおいて、当該全てのデータをそれぞれ構成する前記反射光の強度の平均値を計算し、
    前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が所定偏差を上回るか否かを判定し、
    前記平均値と、前記選択された任意のデータを構成する前記反射光の強度との差が前記所定偏差を上回ると判定された場合、前記選択された任意のデータとは別のデータを選択する
    ことを特徴とする物体認識方法。
JP2021029162A 2021-02-25 2021-02-25 物体認識システム及び物体認識方法 Active JP7363835B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021029162A JP7363835B2 (ja) 2021-02-25 2021-02-25 物体認識システム及び物体認識方法
US17/649,905 US20220268941A1 (en) 2021-02-25 2022-02-03 Object recognition system and object recognition method
CN202210166964.8A CN114966624A (zh) 2021-02-25 2022-02-23 物体识别系统和物体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021029162A JP7363835B2 (ja) 2021-02-25 2021-02-25 物体認識システム及び物体認識方法

Publications (2)

Publication Number Publication Date
JP2022130152A JP2022130152A (ja) 2022-09-06
JP7363835B2 true JP7363835B2 (ja) 2023-10-18

Family

ID=82899505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021029162A Active JP7363835B2 (ja) 2021-02-25 2021-02-25 物体認識システム及び物体認識方法

Country Status (3)

Country Link
US (1) US20220268941A1 (ja)
JP (1) JP7363835B2 (ja)
CN (1) CN114966624A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208373A1 (ja) 2015-06-24 2016-12-29 コニカミノルタ株式会社 対物センサ、対物センサの汚れ判定方法および物体検出装置
US20190176841A1 (en) 2017-12-13 2019-06-13 Luminar Technologies, Inc. Training multiple neural networks of a vehicle perception component based on sensor settings
US20190283533A1 (en) 2018-03-15 2019-09-19 Waymo Llc Sensor condensation prevention
WO2022138111A1 (ja) 2020-12-25 2022-06-30 株式会社小糸製作所 センサシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208373A1 (ja) 2015-06-24 2016-12-29 コニカミノルタ株式会社 対物センサ、対物センサの汚れ判定方法および物体検出装置
US20190176841A1 (en) 2017-12-13 2019-06-13 Luminar Technologies, Inc. Training multiple neural networks of a vehicle perception component based on sensor settings
US20190283533A1 (en) 2018-03-15 2019-09-19 Waymo Llc Sensor condensation prevention
WO2022138111A1 (ja) 2020-12-25 2022-06-30 株式会社小糸製作所 センサシステム

Also Published As

Publication number Publication date
JP2022130152A (ja) 2022-09-06
CN114966624A (zh) 2022-08-30
US20220268941A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN108007452B (zh) 根据障碍物更新环境地图的方法、装置及机器人
JP6559535B2 (ja) 障害物マップ生成装置、その方法、及び、そのプログラム
US9863775B2 (en) Vehicle localization system
US10078335B2 (en) Ray tracing for hidden obstacle detection
Khatab et al. Vulnerable objects detection for autonomous driving: A review
US20180113216A1 (en) Methods Circuits Devices Assemblies Systems and Functionally Associated Machine Executable Code for Active Optical Scanning of a Scene
CN111712828A (zh) 物体检测方法、电子设备和可移动平台
WO2018061084A1 (ja) 自己位置推定方法及び自己位置推定装置
JP7214888B2 (ja) レーダ電力制御方法および装置
US10482340B2 (en) System and method for object recognition and ranging by deformation of projected shapes in a multimodal vision and sensing system for autonomous devices
CN108544494B (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
US11780436B2 (en) On-board sensor system
JP2023546813A (ja) 自律車両用途のための速度推定および物体追跡
JP7366695B2 (ja) 物体認識方法及び物体認識装置
CN110824495B (zh) 基于激光雷达的果蝇视觉启发的三维运动目标检测方法
CN113525382B (zh) 车辆控制装置及存储介质
JP7363835B2 (ja) 物体認識システム及び物体認識方法
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人
US10249056B2 (en) Vehicle position estimation system
Rana et al. Comparative study of Automotive Sensor technologies used for Unmanned Driving
Spofford et al. Stopping distance analysis of ladar and stereo for unmanned ground vehicles
US20220334259A1 (en) Information processing apparatus, information processing method, and program
US11531105B2 (en) Systems and methods for reducing light detection and ranging (LIDAR) target broadening
Guerrero-Bañales et al. Use of LiDAR for Negative Obstacle Detection: A Thorough Review

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151