WO2020110802A1 - 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置 - Google Patents

車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置 Download PDF

Info

Publication number
WO2020110802A1
WO2020110802A1 PCT/JP2019/045095 JP2019045095W WO2020110802A1 WO 2020110802 A1 WO2020110802 A1 WO 2020110802A1 JP 2019045095 W JP2019045095 W JP 2019045095W WO 2020110802 A1 WO2020110802 A1 WO 2020110802A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
classifier
cloud data
distance measuring
measuring sensor
Prior art date
Application number
PCT/JP2019/045095
Other languages
English (en)
French (fr)
Inventor
徹 永島
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2020558380A priority Critical patent/JP7288460B2/ja
Priority to EP19890797.4A priority patent/EP3889646A4/en
Publication of WO2020110802A1 publication Critical patent/WO2020110802A1/ja
Priority to US17/330,519 priority patent/US20210286081A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an object identification system.
  • LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • cameras millimeter wave radar, ultrasonic sonar, etc.
  • LiDAR is capable of (i) object recognition based on point cloud data, and (ii) highly accurate detection even in bad weather due to active sensing, as compared with other sensors. It has advantages such as (iii) that it can measure a wide range, and is expected to become the mainstream in automobile sensing systems in the future.
  • the present invention has been made in such a situation, and one of the exemplary objects of a certain aspect thereof is to provide a system, a device, and a method capable of identifying an object with a small number of horizontal lines.
  • One aspect of the present invention relates to a vehicle-mounted object identification system.
  • the object identification system scans one beam in the horizontal direction and measures a distance to a point on the surface of the object, and point cloud data corresponding to one scan line obtained by the distance sensor.
  • an arithmetic processing unit including a classifier capable of identifying the type of object.
  • the classifier is implemented based on the trained model obtained by machine learning.
  • Machine learning is performed using a plurality of point cloud data corresponding to a plurality of scan lines, which is obtained by measuring a predetermined object by LiDAR (Light Detection and Ranging) having a plurality of scan lines in the vertical direction.
  • LiDAR Light Detection and Ranging
  • an object can be identified from the point cloud data corresponding to one scan line, and machine learning can be made efficient.
  • FIGS. 4A to 4D are views showing a plurality of point cloud data when a pedestrian, a bicycle, an automobile, and a utility pole are photographed by a distance measuring sensor. It is a flowchart of learning by a learning system. It is a figure which shows the distance measurement sensor which concerns on one Example. 1 is a block diagram of an automobile including an object identification system. It is a block diagram which shows the vehicle lamp provided with an object detection system.
  • One embodiment disclosed in the present specification relates to a vehicle-mounted object identification system.
  • the object identification system scans one beam in the horizontal direction and measures a distance to a point on the surface of the object, and point cloud data corresponding to one scan line obtained by the distance sensor.
  • an arithmetic processing unit including a classifier capable of identifying the type of object.
  • the classifier is implemented based on the trained model obtained by machine learning.
  • Machine learning is performed using a plurality of point cloud data corresponding to a plurality of scan lines, which is obtained by measuring a predetermined object by LiDAR (Light Detection and Ranging) having a plurality of scan lines in the vertical direction.
  • LiDAR Light Detection and Ranging
  • the type of object can be determined with one scan line.
  • the recognition rate of an object may decrease when the height of the distance measuring sensor during learning is different from the height of the distance measuring sensor when mounted on a vehicle. ..
  • the cost of collecting the data becomes high. Therefore, by using the multi-scan line LiDAR different from the in-vehicle distance measurement sensor for learning, and by setting each of the plurality of scan lines as training data associated with one scan line of the distance measurement sensor, Data can be collected. Further, since the point cloud data of the scan lines of different heights are used as the training data, it is possible to recognize the object independent of the height of the beam emitted from the distance measuring sensor.
  • the distance measuring sensor includes a light source, a motor, and a mirror that is attached to the motor and reflects light emitted from the light source.
  • a scanning device configured to scan probe light, which is light reflected by the mirror, according to rotation of the motor.
  • the probe light may include an optical sensor that detects return light reflected at a point on the object, and a processor that detects the distance to the point on the object based on the output of the optical sensor.
  • a scan device is configured by a combination of an extremely common motor and a wing-shaped mirror, so that the cost of the distance measuring sensor can be reduced.
  • FIG. 1 is a block diagram of an object identification system 10 according to the embodiment.
  • the object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 mainly includes a distance measuring sensor 20 and an arithmetic processing device 40.
  • the distance measuring sensor 20 scans one beam in the horizontal direction and measures the distance to the point P on the surface of the object OBJ.
  • the distance measuring sensor 20 generates one point cloud data PCD corresponding to one scan line SL.
  • Each point cloud data PCD includes distance information to a plurality of sampling points P along the scan line SL.
  • the distance measuring sensor 20 is not particularly limited, but LiDAR is preferably used when it is desired to accurately identify an object having small unevenness such as a pedestrian. It should be noted that general LiDAR has a plurality of scan lines in the vertical direction, whereas the object identification system 10 according to the present embodiment has only one scan line.
  • the arithmetic processing unit 40 includes a classifier 42 that can identify the type of the object OBJ based on one point cloud data PCD corresponding to one scan line SL obtained by the distance measuring sensor 20.
  • the classifier 42 is configured by machine learning as described later.
  • the data format of the point cloud data PCD is not particularly limited and may be a rectangular coordinate system or a polar coordinate system.
  • the arithmetic processing unit 40 outputs the output data OUT indicating the type of the object OBJ.
  • the output data OUT may indicate the probability that the object OBJ included in the point cloud data PCD falls under each of the plurality of categories.
  • the type (category) of the object is exemplified by a pedestrian, a bicycle, a car, a telephone pole, and the like.
  • pedestrians viewed from the front, pedestrians viewed from the rear, and pedestrians viewed from the side may be classified and defined in the same type. The same applies to automobiles and bicycles. In this embodiment, this definition is adopted.
  • the arithmetic processing unit 40 can be implemented by a combination of a processor (hardware) such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 40 may be a combination of a plurality of processors.
  • FIG. 2 is a block diagram showing a configuration example of the classifier 42.
  • the classifier 42 can be configured using the neural network NN.
  • the neural network NN includes an input layer 50, three intermediate layers (hidden layers) 52, and an output layer 54.
  • the number of units in the input layer 50 was set to 5200, depending on the number of sample points in one line.
  • the number of units was 200, 100, and 50, and the number of units was three.
  • affine transformation and transformation using a sigmoid function are performed in the intermediate layer 52 .
  • affine transformation and probability calculation using a softmax function are performed in the output layer 54 .
  • a plurality of categories (for example, four categories of pedestrian (Human), car (Car), bicycle (Bicycle), and electric pole (Pole)) can be set in the output layer 54.
  • the output data OUT can include four data Human, Car, Bicycle, Pole indicating the probability that the object OBJ falls into each category.
  • Extraction is the process of removing the background and extracting the object OBJ.
  • the shift is a process of data shifting so that the object is located at the center.
  • Normalization is a process of dividing the distance data by a predetermined value.
  • the predetermined value may be a distance (reference distance) between the distance measuring sensor 20 and a predetermined position of the object OBJ during learning.
  • the value of the point cloud data is normalized to a value near 1.
  • the type of the object OBJ can be determined with one scan line.
  • the amount of calculation in the arithmetic processing device becomes huge and a high-speed processor is required.
  • only the point cloud data of one scan line needs to be processed.
  • the amount of calculation can be reduced.
  • the arithmetic processing unit 40 can be configured by an inexpensive microcomputer, and thus the cost of the object identification system 10 can be reduced.
  • FIG. 3 is a block diagram of the learning system according to the embodiment.
  • the learning system 70 includes a LiDAR 72 and a computer 74.
  • LiDAR Light Detection and Ranging
  • a pedestrian human
  • the LiDAR 72 generates a plurality of point group data PCD 1 to PCD N corresponding to a plurality of scan lines.
  • the pedestrian is directly facing the LiDAR 72, but it is preferable to change the direction of the pedestrian and acquire the point cloud data PCD 1 to PCD N obtained by photographing the pedestrian from a plurality of different directions.
  • the plurality of point cloud data PCD 1 to PCD N thus obtained are input to the computer 74.
  • the computer 74 performs machine learning so that a predetermined object (a pedestrian in this example) can be identified using each of the plurality of point cloud data PCD 1 to PCD N as training data.
  • the object identification system 10 in FIG. 1 can determine the type of object based on the point cloud data corresponding to one scan line.
  • the set of point cloud data may be acquired by LiDAR 72 while changing the type of objects OBJ.
  • the classifier 42 of the object identification system 10 is implemented based on the learned model obtained by machine learning.
  • FIGS. 4A to 4D are views showing a plurality of point cloud data PCD 1 to PCD 8 when a pedestrian, a bicycle, an automobile, and a utility pole are photographed by the distance measuring sensor 20.
  • FIG. 5 is a flowchart of learning by the learning system 70.
  • a predetermined at least one object is measured using the LiDAR 72, which is different from the distance measuring sensor 20 and has a plurality of scan lines in the vertical direction (S100).
  • S100 the vertical direction
  • a plurality of point group data PCD 1 to PCD N corresponding to a plurality of scan lines are generated for each object.
  • the learning system 70 and the learning method data can be efficiently collected by associating each of the plurality of scan lines SL 1 to SL N of the LiDAR 72 with one scan line of the distance measuring sensor.
  • point cloud data of scan lines of different heights are used for learning, it is possible to recognize an object that does not depend on the height of the beam emitted from the distance measurement sensor 20. This means that the restriction on the height of the distance measuring sensor 20 when the vehicle is mounted is relaxed, and the resistance of the vehicle to the pitching during traveling can be increased.
  • FIG. 6 is a diagram showing a distance measuring sensor 100 according to an embodiment.
  • the distance measuring sensor 100 includes a light source 110, a scanning device 120, an optical sensor 130, and a processor 140.
  • the light source 110 emits light L1 having a spectrum in the infrared, for example.
  • the outgoing light L1 of the light source 110 may be temporally modulated.
  • the scanning device 120 includes a motor 122 and one or a plurality of mirrors (also referred to as blades) 126.
  • the mirror 126 has a wing shape, is attached to the rotation shaft 124 of the motor 122, and reflects the emitted light L1 of the light source 110.
  • the emission angle (referred to as a scan angle) ⁇ of the probe light L2 that is the light reflected by the mirror 126 changes according to the position of the mirror 126 (that is, the rotation angle ⁇ of the motor). Therefore, by rotating the motor 122, the probe light L2 can be scanned in the ⁇ direction from ⁇ MIN to ⁇ MAX .
  • mirrors 126 when two mirrors 126 are provided, 1/2 rotation of the motor 122 (mechanical angle of 180 degrees) corresponds to one scan. Therefore, when the motor 122 makes one rotation, the probe light L2 is scanned twice. ..
  • the number of mirrors 126 is not limited.
  • the rotation angle ⁇ of the motor 122 can be detected by a position detection means such as a hall sensor or an optical encoder, so that the scan angle ⁇ at each time can be obtained from the rotation angle ⁇ .
  • a position detection means such as a hall sensor or an optical encoder
  • the position detecting means can be omitted because the rotation angle can be controlled in an open loop.
  • the optical sensor 130 detects the return light L3 reflected by the probe light L2 at the point P on the object OBJ.
  • the processor 140 detects the distance to the point P on the object OBJ based on the output of the optical sensor 130.
  • the method and algorithm for distance detection are not particularly limited, and known techniques can be used. For example, the delay time from the emission of the probe light L2 to the reception of the return light by the optical sensor 130, that is, the TOF (time of flight) may be measured to obtain the distance.
  • the distance measuring sensor 100 can configure the scanning device 120 by combining a very common motor 122 and a wing-shaped mirror 126, the cost of the distance measuring sensor 100 can be reduced.
  • FIG. 7 is a block diagram of an automobile including the object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the object identification system 10 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the most tip of the vehicle body and is most advantageous as an installation location of the distance measuring sensor 100 in detecting surrounding objects.
  • FIG. 8 is a block diagram showing a vehicular lamp 200 including the object detection system 400.
  • the vehicular lamp 200 constitutes a lamp system 310 together with the vehicle-side ECU 304.
  • the vehicular lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lighting device 200 is provided with an object detection system 400.
  • the object detection system 400 corresponds to the object identification system 10 described above, and includes the distance measurement sensor 100 and the arithmetic processing device 410.
  • the distance measuring sensor 100 corresponds to the distance measuring sensor 20 in FIG.
  • the arithmetic processing unit 410 determines the presence and type of the object OBJ in front of the vehicle based on the point cloud data obtained by the distance measuring sensor 100.
  • the arithmetic processing unit 410 can include a discriminator obtained by machine learning and corresponds to the arithmetic processing unit 40 of FIG.
  • Information on the object OBJ detected by the arithmetic processing device 410 may be used for light distribution control of the vehicular lamp 200.
  • the lamp-side ECU 208 generates an appropriate light distribution pattern based on the information on the type and position of the object OBJ generated by the arithmetic processing device 410.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp-side ECU 208.
  • Information regarding the object OBJ detected by the arithmetic processing unit 410 may be transmitted to the vehicle-side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • an object may be defined as a different type (category) for each desired direction. That is, a certain object is identified as a different type depending on whether it is directly facing the own vehicle or not. This is because it is useful for estimating the moving direction of the object OBJ.
  • the arithmetic processing unit 40 may be configured only by hardware using an FPGA or the like.
  • the present invention relates to an object identification system.
  • 10... Object identification system 20... Distance measuring sensor, 40... Arithmetic processing device, 42... Classifier, 50... Input layer, 52... Intermediate layer, 54... Output layer, 70... Learning system, 72... LiDAR, 74... Computer , 100... Distance measuring sensor, 110... Light source, 120... Scan device, 122... Motor, 124... Rotation axis, 126... Mirror, 130... Optical sensor, 140... Processor, 200... Vehicle lamp, 202... Light source, 204... Lighting circuit, 206... Optical system, 300... Car, 302... Headlight, 304... Vehicle side ECU, 310... Lighting system, 400... Object detection system, 410... Arithmetic processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

車載用の物体識別システム１０は、測距センサ２０および演算処理装置４０を備える。測距センサ２０は、１本のビームを水平方向にスキャンし、物体ＯＢＪの表面上の点Ｐまでの距離を測定する。演算処理装置４０は、測距センサ２０により得られる１本のスキャンラインＳＬに対応する点群データＰＣＤにもとづいて、物体ＯＢＪの種類を識別可能な分類器４２を含む。分類器４２は、機械学習により得られた学習済みモデルにもとづいて実装される。機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲによって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われる。

Description

車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
　本発明は、物体識別システムに関する。
　自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
特開２０１７－５６９３５号公報 特開２００９－９８０２３号公報
　ＬｉＤＡＲが生成する点群データにもとづく物体の識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、少ない水平ラインの本数で、物体を識別可能なシステム、装置、方法の提供にある。
　本発明のある態様は、車載用の物体識別システムに関する。物体識別システムは、１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサと、測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、物体の種類を識別可能な分類器を含む演算処理装置と、を備える。分類器は、機械学習により得られた学習済みモデルにもとづいて実装される。機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）によって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われる。
　本発明によれば、１本のスキャンラインに対応する点群データから物体を識別でき、また機械学習を効率化できる。
実施の形態に係る物体識別システムのブロック図である。 分類器の構成例を示すブロック図である。 実施の形態に係る学習システムのブロック図である。 図４（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を測距センサで撮影したときの複数の点群データを示す図である。 学習システムによる学習のフローチャートである。 一実施例に係る測距センサを示す図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施の形態の概要）
　本明細書に開示される一実施の形態は、車載用の物体識別システムに関する。物体識別システムは、１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサと、測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、物体の種類を識別可能な分類器を含む演算処理装置と、を備える。分類器は、機械学習により得られた学習済みモデルにもとづいて実装される。機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）により所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われる。
　この物体識別システムによれば、１本のスキャンラインで、物体の種類を判定することができる。学習時に、物体識別システムに使用する測距センサを用いる場合、学習時における測距センサの高さと、車載時の測距センサの高さが異なる場合に、物体の認識率が低下するおそれがある。この問題を解決するために、測距センサの高さを変更しながら訓練データを取得すると、データ収集のコストが高くなる。そこで、車載される測距センサと異なるマルチスキャンラインのＬｉＤＡＲを学習に用い、複数のスキャンラインそれぞれを、測距センサの１本のスキャンラインに対応付けた訓練データとすることで、効率的にデータ収集できる。また、異なる高さのスキャンラインの点群データを訓練データとして用いるため、測距センサの出射ビームの高さに依存しない物体認識が可能となる。
　測距センサは、光源と、モータ、およびモータに取り付けられ光源の出射光を反射するミラーを含み、ミラーによる反射光であるプローブ光を、モータの回転に応じてスキャン可能に構成されるスキャンデバイスと、プローブ光が、物体上の点において反射した戻り光を検出する光センサと、光センサの出力にもとづいて物体上の点までの距離を検出するプロセッサと、を備えてもよい。この測距センサは、ごくありふれたモータと羽状のミラーの組み合わせによってスキャンデバイスが構成されるため、測距センサのコストを下げることができる。
（実施の形態）
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図１は、実施の形態に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、主として測距センサ２０および演算処理装置４０を備える。測距センサ２０は、１本のビームを水平方向にスキャンし、物体ＯＢＪの表面上の点Ｐまでの距離を測定する。測距センサ２０は、１本のスキャンラインＳＬに対応する１つの点群データＰＣＤを生成する。
　各点群データＰＣＤは、スキャンラインＳＬに沿った複数のサンプリング点Ｐまでの距離情報を含んでいる。測距センサ２０は特に限定されないが、歩行者など凹凸の小さい物体を正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。一般的なＬｉＤＡＲは、鉛直方向に複数のスキャンラインを有するのに対して、本実施の形態に係る物体識別システム１０は、１本のスキャンラインのみを有する点に留意されたい。
　演算処理装置４０は、測距センサ２０により得られる１本のスキャンラインＳＬに対応する１つの点群データＰＣＤにもとづいて、物体ＯＢＪの種類を識別可能な分類器４２を含む。分類器４２は、後述のように機械学習によって構成される。点群データＰＣＤのデータ形式は特に限定されず、直交座標系であってもよいし、極座標系であってもよい。
　演算処理装置４０は、物体ＯＢＪの種類を示す出力データＯＵＴを出力する。その限りでないが、出力データＯＵＴは、点群データＰＣＤに含まれる物体ＯＢＪが、複数のカテゴリそれぞれに該当する確率を示してもよい。たとえば物体の種類（カテゴリ）は、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じ種類に分類して定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
　図２は、分類器４２の構成例を示すブロック図である。分類器４２はニューラルネットワークＮＮを用いて構成することができる。ニューラルネットワークＮＮは、入力層５０、３層の中間層（隠れ層）５２、出力層５４で構成される。
　入力層５０のユニット数は、１ラインのサンプル点の個数に応じて定め、５２００とした。中間層は３層であり、ユニット数は２００，１００，５０とした。中間層５２においては、アファイン変換と、シグモイド関数を用いた変換が行われる。出力層５４では、アファイン変換と、ソフトマックス関数を用いた確率の計算が行われる。
　出力層５４には、複数のカテゴリ（たとえば、歩行者（Human）、自動車（Car）、自転車(Bicycle)、電柱(Pole)の４カテゴリ）を設定することができる。この場合、すなわち出力データＯＵＴは、物体ＯＢＪが各カテゴリに該当する確率を示す４つのデータHuman,Car,Bicycle,Poleを含むことができる。
　ニューラルネットワークＮＮの前処理として、抽出、シフト、正規化を行うことが好ましい。
　抽出は、背景を除去し、物体ＯＢＪを抽出する処理である。シフトは、物体が中央に位置するようにデータシフトする処理である。正規化は、距離データを所定値で除算する処理である。たとえば、所定値は、学習時における、測距センサ２０と物体ＯＢＪの所定箇所との距離（基準距離）であってもよい。これにより、点群データの値が、１付近の値に正規化される。
　以上が物体識別システム１０の基本構成である。この物体識別システム１０によれば、１本のスキャンラインで、物体ＯＢＪの種類を判定することができる。スキャンラインの本数を多くするほど、演算処理装置における演算量が膨大となり高速なプロセッサが必要となるところ、本実施の形態では、１本のスキャンラインの点群データのみを処理すればよいため、演算量を減らすことができる。このことは、演算処理装置４０を、安価なマイコンで構成できることを意味し、したがって物体識別システム１０のコストを下げることができる。
（学習について）
　続いて、分類器４２の学習について説明する。分類器４２の学習時に、物体識別システム１０に使用する測距センサ２０と同じセンサを用いる場合、学習時における測距センサの高さと、車載時の測距センサの高さが異なる場合に、物体の認識率が低下するおそれがある。
　この問題を解決するために、学習時に、測距センサの高さ（あるいは仰俯角）を変化させてスキャンラインの高さを変えながら訓練データ（学習データともいう）を取得するというアプローチが取り得る。しかしながらこのアプローチは、データ収集のコストが高くなる。
　そこで本実施の形態では、訓練データを取得する際に、車載される測距センサ２０と異なるマルチスキャンラインのＬｉＤＡＲを学習に用いることとした。図３は、実施の形態に係る学習システムのブロック図である。
　学習システム７０は、ＬｉＤＡＲ７２およびコンピュータ７４を備える。学習には、鉛直方向に複数のスキャンラインＳＬ１～ＳＬＮを有するＬｉＤＡＲ（Light Detection and Ranging）７２を用いる。図３には、物体ＯＢＪとして歩行者（人間）が示される。ＬｉＤＡＲ７２は、複数のスキャンラインに対応する複数の点群データＰＣＤ１～ＰＣＤＮを生成する。たとえば学習には、Ｎ＝８程度のＬｉＤＡＲが好適である。
　図３では、歩行者がＬｉＤＡＲ７２と正対しているが、歩行者の向きを変えて、複数の異なる方向から歩行者を撮影した点群データＰＣＤ１～ＰＣＤＮを取得することが好ましい。
　こうして得られた複数の点群データＰＣＤ１～ＰＣＤＮは、コンピュータ７４に入力される。コンピュータ７４は、複数の点群データＰＣＤ１～ＰＣＤＮそれぞれを訓練データとして、所定の物体（この例では歩行者）を識別できるように機械学習を行う。これにより、図１の物体識別システム１０は、１本のスキャンラインに対応する点群データにもとづいて、物体の種類を判定できるようになる。
　なお必ずしも、複数のスキャンラインＳＬ１～ＳＬＮのすべての点群データＰＣＤ１～ＰＣＤＮを訓練データとして用いる必要はなく、両端（あるいは上端、下端）を除く一部分のみを訓練データとして用いてもよい。
　複数の物体ＯＢＪを識別可能とする場合、物体ＯＢＪの種類を変えながら、ＬｉＤＡＲ７２によって点群データのセットを取得すればよい。
　最終的に機械学習により得られた学習済みモデルにもとづいて、物体識別システム１０の分類器４２が実装される。
　図４（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を測距センサ２０で撮影したときの複数の点群データＰＣＤ１～ＰＣＤ８を示す図である。上述の機械学習により得られた学習済みモデルにもとづいて実装された分類器４２は、いずれかひとつのスキャンラインＳＬｉ（ｉ＝１～８）に対応する点群データＰＣＤｉが与えられると、その点群データＰＣＤｉが複数のカテゴリのいずれである確率が高いかを判定することができるようになる。
　図５は、学習システム７０による学習のフローチャートである。測距センサ２０とは別の、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ７２を利用して、所定の少なくともひとつの物体を測定する（Ｓ１００）。これにより、物体ごとに、複数のスキャンラインに対応する複数の点群データＰＣＤ１～ＰＣＤＮが生成される。
　そして、複数の点群データＰＣＤ１～ＰＣＤＮそれぞれを訓練データして、所定の物体を識別できるように機械学習を行う（Ｓ１０２）。そして機械学習により得られた学習済みモデルにもとづいて、分類器４２を実装する（Ｓ１０４）。
　以上が学習システム７０および学習方法の説明である。この学習システム７０あるいは学習方法によれば、ＬｉＤＡＲ７２の複数のスキャンラインＳＬ１～ＳＬＮそれぞれを、測距センサの１本のスキャンラインに対応付けることにより、効率的にデータ収集できる。
　また、異なる高さのスキャンラインの点群データを用いて学習させるため、測距センサ２０の出射ビームの高さに依存しない物体認識が可能となる。これはつまり、車載時の測距センサ２０の高さの制約が緩和されることを意味し、また走行時の車両のピッチングに対する耐性を高めることができることを意味する。
　続いて測距センサ２０の構成例を説明する。図６は、一実施例に係る測距センサ１００を示す図である。測距センサ１００は、光源１１０、スキャンデバイス１２０、光センサ１３０、プロセッサ１４０を備える。光源１１０は、たとえば赤外にスペクトルを有する光Ｌ１を出射する。光源１１０の出射光Ｌ１は、時間的に変調されてもよい。
　スキャンデバイス１２０は、モータ１２２と、ひとつあるいは複数のミラー（ブレードともいう）１２６と、を備える。ミラー１２６は羽状であり、モータ１２２の回転軸１２４に取り付けられており、光源１１０の出射光Ｌ１を反射する。ミラー１２６による反射光であるプローブ光Ｌ２の出射角（スキャン角という）θは、ミラー１２６の位置（すなわちモータの回転角φ）に応じて変化する。したがってモータ１２２が回転することにより、プローブ光Ｌ２を、θＭＩＮ～θＭＡＸまで、θ方向にスキャンすることができる。なお、ミラー１２６が２枚設けられる場合、モータ１２２の１／２回転（機械角で１８０度）が、１スキャンに対応し、したがってモータ１２２が１回転すると、プローブ光Ｌ２は２回スキャンされる。なおミラー１２６の枚数は限定されない。
　モータ１２２の回転角φは、たとえばホールセンサや光学式のエンコーダなどの位置検出手段によって検出することができ、したがって各時刻におけるスキャン角θは、回転角φから求めることができる。モータ１２２としてステッピングモータを用いる場合、回転角度をオープンループで制御可能であることから、位置検出手段は省略可能である。
　光センサ１３０は、プローブ光Ｌ２が、物体ＯＢＪ上の点Ｐにおいて反射した戻り光Ｌ３を検出する。プロセッサ１４０は、光センサ１３０の出力にもとづいて、物体ＯＢＪ上の点Ｐまでの距離を検出する。距離検出の方式やアルゴリズムは特に限定されず、公知技術を用いることができる。たとえばプローブ光Ｌ２を出射してから、光センサ１３０が戻り光を受光するまでの遅延時間、すなわちＴＯＦ（飛行時間）を測定し、距離を取得してもよい。
　以上が測距センサ１００の基本構成である。続いてその動作を説明する。モータ１２２を回転させてプローブ光Ｌ２のスキャン角θを、θ１，θ２，…と変化させながら、各スキャン角θｉ（ｉ＝１，２，…）において、物体ＯＢＪの表面上の点Ｐｉまでの距離ｒｉを測定する。これにより、スキャン角θｉと、それに対応する距離ｒｉのペア（点群データ）を得ることができる。
　この測距センサ１００は、ごくありふれたモータ１２２と羽状のミラー１２６の組み合わせによってスキャンデバイス１２０を構成できるため、測距センサ１００のコストを下げることができる。
　図７は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、測距センサ１００の設置箇所として最も有利である。
　図８は、物体検出システム４００を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム４００が設けられる。物体検出システム４００は、上述の物体識別システム１０に対応しており、測距センサ１００と演算処理装置４１０を含む。測距センサ１００は、図２の測距センサ２０に対応する。演算処理装置４１０は、測距センサ１００により得られた点群データにもとづいて、車両前方の物体ＯＢＪの有無および種類を判定する。演算処理装置４１０は、機械学習によって得られた識別器を含むことができ、図２の演算処理装置４０に対応する。
　演算処理装置４１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
　一実施の形態において、物体を、それを望む方向ごとに異なる種類（カテゴリ）として定義してもよい。つまり、ある物体が、自車と正対しているときと、そうでないときとで、別の種類として識別される。これは、物体ＯＢＪの移動方向の推定に役立つからである。
　演算処理装置４０は、ＦＰＧＡなどを用いてハードウェアのみで構成してもよい。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、物体識別システムに関する。
１０…物体識別システム、２０…測距センサ、４０…演算処理装置、４２…分類器、５０…入力層、５２…中間層、５４…出力層、７０…学習システム、７２…ＬｉＤＡＲ、７４…コンピュータ、１００…測距センサ、１１０…光源、１２０…スキャンデバイス、１２２…モータ、１２４…回転軸、１２６…ミラー、１３０…光センサ、１４０…プロセッサ、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、３００…自動車、３０２…前照灯、３０４…車両側ＥＣＵ、３１０…灯具システム、４００…物体検出システム、４１０…演算処理装置。

Claims (8)

  1. 　１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサと、
    　前記測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、前記物体の種類を識別可能な分類器を含む演算処理装置と、
    　を備え、
    　前記分類器は、機械学習により得られた学習済みモデルにもとづいて実装され、前記機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）によって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われることを特徴とする車載用の物体識別システム。
  2. 　前記測距センサは、
    　光源と、
    　モータ、および前記モータに取り付けられ前記光源の出射光を反射するミラーを含み、前記ミラーによる反射光であるプローブ光を、前記モータの回転に応じてスキャン可能に構成されるスキャンデバイスと、
    　前記プローブ光が、物体上の点において反射した戻り光を検出する光センサと、
    　前記光センサの出力にもとづいて前記物体上の点までの距離を検出するプロセッサと、
    　を備えることを特徴とする請求項１に記載の物体識別システム。
  3. 　前記分類器は、ニューラルネットワークを含むことを特徴とする請求項１または２に記載の物体識別システム。
  4. 　請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
  5. 　前記測距センサは、前照灯に内蔵されることを特徴とする請求項４に記載の自動車。
  6. 　請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
  7. 　測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、物体の種類を識別可能な分類器の学習方法であって、
    　前記測距センサとは別の、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）を利用して、所定の物体を測定するステップと、
    　前記複数のスキャンラインに対応する複数の点群データそれぞれを訓練データして、前記物体を識別できるように機械学習を行うステップと、
    　前記機械学習により得られた学習済みモデルにもとづいて、前記分類器を実装するステップと、
    　を備えることを特徴とする方法。
  8. 　１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサにより得られる１本のスキャンラインに対応する点群データを受け、前記点群データにもとづいて、前記物体の種類を識別可能な分類器を備え、
    　前記分類器は、機械学習により得られた学習済みモデルにもとづいて実装されており、前記機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）によって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われることを特徴とする演算処理装置。
PCT/JP2019/045095 2018-11-30 2019-11-18 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置 WO2020110802A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020558380A JP7288460B2 (ja) 2018-11-30 2019-11-18 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
EP19890797.4A EP3889646A4 (en) 2019-11-18 On-vehicle object identification system, automobile, vehicle lamp, classifier learning method, and arithmetic operation device
US17/330,519 US20210286081A1 (en) 2018-11-30 2021-05-26 Vehicular object identification system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018225762 2018-11-30
JP2018-225762 2018-11-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/330,519 Continuation US20210286081A1 (en) 2018-11-30 2021-05-26 Vehicular object identification system

Publications (1)

Publication Number Publication Date
WO2020110802A1 true WO2020110802A1 (ja) 2020-06-04

Family

ID=70852870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045095 WO2020110802A1 (ja) 2018-11-30 2019-11-18 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置

Country Status (4)

Country Link
US (1) US20210286081A1 (ja)
JP (1) JP7288460B2 (ja)
CN (1) CN111259722A (ja)
WO (1) WO2020110802A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138141A (ja) * 1997-07-23 1999-02-12 Denso Corp 車両用障害物認識装置
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2015152319A (ja) * 2014-02-10 2015-08-24 株式会社デンソー 物体識別方法、および物体識別装置
JP2016206026A (ja) * 2015-04-23 2016-12-08 株式会社デンソー 物体認識装置
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類
US20170220876A1 (en) * 2017-04-20 2017-08-03 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
WO2018173819A1 (ja) * 2017-03-22 2018-09-27 パナソニックＩｐマネジメント株式会社 画像認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236178A (ja) * 2001-02-07 2002-08-23 Honda Motor Co Ltd 移動体における物体検知装置
JP2011186584A (ja) * 2010-03-05 2011-09-22 Daihatsu Motor Co Ltd 物体認識装置
CN103963801A (zh) * 2014-05-23 2014-08-06 成都睿感科技有限公司 基于测距传感器解决站内轨道电路区段分路不良的系统
US20180352167A1 (en) * 2016-02-19 2018-12-06 Sony Corporation Image pickup apparatus, image pickup control method, and program
CN106371105A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达车辆目标识别方法、装置和汽车
CN106371104A (zh) * 2016-08-16 2017-02-01 长春理工大学 多线点云数据机器学习的车辆目标识别方法及防撞装置
CN106371106A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达人形目标识别方法、装置和汽车
CN106291506A (zh) * 2016-08-16 2017-01-04 长春理工大学 基于单线点云数据机器学习的车辆目标识别方法及装置
CN106570454B (zh) * 2016-10-10 2019-06-11 同济大学 基于移动激光扫描的行人交通参数提取方法
KR102642239B1 (ko) * 2016-12-22 2024-03-04 현대자동차주식회사 차량 및 그 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138141A (ja) * 1997-07-23 1999-02-12 Denso Corp 車両用障害物認識装置
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2015152319A (ja) * 2014-02-10 2015-08-24 株式会社デンソー 物体識別方法、および物体識別装置
JP2016206026A (ja) * 2015-04-23 2016-12-08 株式会社デンソー 物体認識装置
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
WO2018173819A1 (ja) * 2017-03-22 2018-09-27 パナソニックＩｐマネジメント株式会社 画像認識装置
US20170220876A1 (en) * 2017-04-20 2017-08-03 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals

Also Published As

Publication number Publication date
JPWO2020110802A1 (ja) 2021-10-14
US20210286081A1 (en) 2021-09-16
JP7288460B2 (ja) 2023-06-07
EP3889646A1 (en) 2021-10-06
CN111259722A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US11061122B2 (en) High-definition map acquisition system
WO2017159382A1 (ja) 信号処理装置および信号処理方法
US20140156178A1 (en) Road marker recognition device and method
JP7413935B2 (ja) 車載センサシステム
US11341604B2 (en) Processing device for object identification
WO2020196513A1 (ja) 物体検出装置
CN110291414A (zh) 距离测量装置和距离测量方法
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
JP3562278B2 (ja) 環境認識装置
US11648963B2 (en) Driving control apparatus for automated driving vehicle, stop target, and driving control system
CN111033316B (zh) 识别传感器及其控制方法、汽车、车辆用灯具、对象识别系统、对象的识别方法
KR20210122101A (ko) 객체를 분류하는 레이더 장치 및 방법
WO2020110802A1 (ja) 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
JP7227227B2 (ja) オブジェクト識別システム、自動車、車両用灯具
JP7467562B1 (ja) 外界認識装置
US20200410262A1 (en) Object identification system
US20230074028A1 (en) Overhead-structure recognition device
CN115817330A (zh) 一种控制方法、装置、终端设备及计算机可读存储介质
JP2005135308A (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890797

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558380

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019890797

Country of ref document: EP

Effective date: 20210630