WO2019035363A1 - 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法 - Google Patents

認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法 Download PDF

Info

Publication number
WO2019035363A1
WO2019035363A1 PCT/JP2018/028978 JP2018028978W WO2019035363A1 WO 2019035363 A1 WO2019035363 A1 WO 2019035363A1 JP 2018028978 W JP2018028978 W JP 2018028978W WO 2019035363 A1 WO2019035363 A1 WO 2019035363A1
Authority
WO
WIPO (PCT)
Prior art keywords
object identification
identification system
data
line data
neural network
Prior art date
Application number
PCT/JP2018/028978
Other languages
English (en)
French (fr)
Inventor
徹 永島
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to EP18846493.7A priority Critical patent/EP3671279B1/en
Priority to CN201880053552.5A priority patent/CN111033316B/zh
Priority to JP2019536727A priority patent/JP7193464B2/ja
Publication of WO2019035363A1 publication Critical patent/WO2019035363A1/ja
Priority to US16/792,505 priority patent/US11754714B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a recognition sensor or system that detects the shape of an object.
  • LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • a camera a millimeter wave radar
  • LiDAR is capable of (i) object recognition using point cloud data and (ii) highly accurate detection even in bad weather due to active sensing compared with other sensors. It has the advantages of being able to perform a wide range of measurements, etc., and is expected to become the mainstream in automotive sensing systems.
  • FIGS. 1A and 1B illustrate sensing by LiDAR.
  • the LiDAR 2 scans the scan beam BM in the horizontal direction while fixing the supine angle ⁇ , and measures distances r to a plurality of measurement points P on the object OBJ.
  • FIG. 1 (b) shows that the scan line SL passes the pedestrian's knee.
  • the type of the object OBJ can be identified by measuring the shape of the object OBJ along a plurality of scan lines SL by changing the supine angle ⁇ .
  • FIG. 2 is a diagram for explaining sensing by two LiDARs having different specifications.
  • the scan beams BM 1 and BM 2 show the outputs of two LiDARs with different specifications.
  • the scan beams BM having different supine angles ⁇ scan different portions of the object OBJ, and the obtained images are different.
  • the installation angle must be carefully aligned when mounted on a car, in other words, the installation freedom is It is restricted.
  • FIG. 3 is a diagram for explaining the problem 2.
  • a virtual screen SCRN is shown in FIG.
  • the virtual screen SCRN is flat, the smallest horizontal distance R 1 between LiDAR2 and measurement point P 1 of the center, as the distance from the measurement point P 2, P 3 and the center, a horizontal distance R becomes longer. As a result, the heights h of the plurality of measurement points P will be different.
  • FIG. 4A shows a plurality of scan lines when the vehicle is measured from the side.
  • the height of the scan line SL is constant, but the height of the scan line with a non-zero supine angle changes according to the scan angle ⁇ . That is, when measuring a wide object such as a car, both ends of the measured image are distorted. This is Problem 2.
  • FIG. 4B is a diagram showing a plurality of scan lines when the pedestrian is measured.
  • the narrow object OBJ such as a pedestrian
  • the portions to be measured by the plurality of scan lines differ. This is Problem 3.
  • FIG. 5 is a diagram for explaining the fourth problem.
  • FIG. 5 shows the dependence of the height h on the horizontal distance R at a fixed scan angle ⁇ .
  • the measurement site is different depending on the same scan line.
  • the abdomen, thighs and knees are measured by the same beam at horizontal distances R 1 , R 2 and R 3 .
  • the first to the fourth problems may bring significant complexity or reduce the final identification probability in designing a discriminator that identifies the type of the object OBJ.
  • the present invention has been made in such a situation, and one of the exemplary objects of one of its aspects is to provide a recognition sensor or system that solves at least one problem.
  • the recognition sensor is a three-dimensional sensor configured to be able to set a supine angle, and at a correction point among a plurality of measurement points on a scan line, the height of the correction point approaches a predetermined value.
  • a controller for controlling the supine angle is a controller for controlling the supine angle.
  • the height at the correction point of the scan line can be defined, at least one of the problems described above can be solved.
  • Another aspect of the present invention is also a recognition sensor.
  • the recognition sensor controls the elevation angle of the three-dimensional sensor so that the height of the measurement point approaches a predetermined value regardless of the three-dimensional sensor configured to be able to set the elevation angle and the horizontal distance to the measurement point And a controller. In this case, the distance dependency of the height of the scan line can be suppressed.
  • This recognition sensor is a three-dimensional sensor configured to be able to set a supine angle, and when scanning a substantially flat object, the height of each scan line becomes constant independently of the scan angle. And a controller that controls a supine angle of the three-dimensional sensor. In this case, distortion of the scan line can be suppressed.
  • the controller may perform temporary measurement at the correction point among the plurality of measurement points, and calculate the supine-seat angle in the main measurement based on the distance obtained by the temporary measurement and the supine-seat angle at that time.
  • the controller may correct the supine angle for all measurement points.
  • the controller may correct the elevation angle at least once per object for each scan line.
  • the controller may correct the elevation angle for each scan line each time the predetermined horizontal angle scan is advanced, or for each predetermined number of measurement points.
  • the controller may perform correction of supine angles at all measurement points for each scan line.
  • Another aspect of the invention relates to a motor vehicle.
  • the vehicle may be equipped with any of the recognition sensors described above.
  • the vehicular lamp may include any of the recognition sensors described above.
  • the object identification system includes a three-dimensional sensor that generates a plurality of line data for a plurality of horizontal lines having different heights, and an arithmetic processing unit that identifies the type of an object based on the plurality of line data.
  • the arithmetic processing unit generates intermediate data on the type of the object and the part thereof for each line data, integrates a plurality of intermediate data corresponding to the plurality of line data, and generates final data indicating the type of the object.
  • the type of object can be determined with a small number of horizontal lines.
  • Intermediate data may be generated using a neural network.
  • the intermediate data may indicate the probability that the corresponding line data corresponds to each of a plurality of types of parts.
  • the final data may be generated using a neural network.
  • the final data may indicate the probability that the corresponding line data correspond to each of the plurality of types.
  • the arithmetic processing unit may perform normalization to divide a value included in each line data by a predetermined value as pre-processing.
  • the arithmetic processing unit may extract a range including an object from a plurality of line data as pre-processing.
  • the number of line data may be 4 to 12.
  • the types of objects may include at least pedestrians, bicycles, and automobiles.
  • Another aspect of the invention relates to a motor vehicle.
  • the vehicle may be equipped with the object identification system described above.
  • the three-dimensional sensor may be incorporated in the headlight.
  • the vehicle lamp may comprise the object identification system described above.
  • FIGS. 1A and 1B illustrate sensing by LiDAR. It is a figure explaining sensing by two LiDAR from which specification differs.
  • FIG. 6 is a diagram for explaining an issue 2;
  • FIG. 4A is a diagram showing a plurality of scan lines when the vehicle is measured from the side, and
  • FIG. 4B is a diagram showing a plurality of scan lines when a pedestrian is measured.
  • FIG. 10 is a diagram for explaining an issue 4; It is a block diagram of an object identification system provided with a recognition sensor concerning a 1st embodiment. It is a figure which shows an example of LiDAR which is a three-dimensional sensor. It is a figure explaining correction processing of supine angle (phi) in a three-dimensional sensor.
  • phi supine angle
  • FIG. 6 is a flowchart of correction processing of a supine angle ⁇ in a three-dimensional sensor. It is a figure explaining the correction
  • FIG. 1 is a block diagram of a vehicle with an object identification system.
  • FIG. 1 is a block diagram showing a vehicle lamp provided with an object identification system. It is a block diagram of an object identification system concerning a 2nd embodiment. It is a figure which shows an example of the some site
  • 16 (a) to 16 (d) are diagrams showing a plurality of line data when a pedestrian, a bicycle, a car, and a telephone pole are photographed by a three-dimensional sensor.
  • FIG. 1 is a block diagram of a vehicle with an object identification system.
  • FIG. 1 is a block diagram showing a vehicle lamp provided with an object identification system.
  • FIG. 26 (a) and 26 (b) are diagrams showing the relationship between the height of LiDAR and the object
  • FIG. 26 (c) is a diagram showing FIG. 26 (b) by the object identification system learned by the first learning method.
  • Final data obtained in the situation of. It is a figure explaining the learning process of the 2nd operation unit in the 2nd learning method. It is a figure explaining the effect of the 2nd learning method. It is a block diagram of an object identification system concerning a modification.
  • FIG. 6 is a block diagram of an object identification system 200 including the recognition sensor 100 according to the first embodiment.
  • the recognition sensor 100 includes a three-dimensional sensor 102 and a controller 104.
  • the three-dimensional sensor 102 scans the scan beam BM in the horizontal direction (about the Z axis), and measures the distances to a plurality of measurement points.
  • a line connecting a plurality of measurement points acquired in one scan is referred to as a scan line SL, and data obtained at that time is referred to as scan data.
  • scan data data obtained at that time
  • the number N of scan lines is the resolution in the vertical direction.
  • the three-dimensional sensor 102 is configured to adjust the supine angle ⁇ . Control of the supine angle ⁇ is performed for selection of a scan line.
  • the supine angle can be selected from N ways defined in advance from ⁇ 1 to ⁇ N and is constant during scanning. N corresponds to the number of scan lines.
  • the object identification processing unit 210 determines the type of the object OBJ based on the point cloud data generated by the three-dimensional sensor 102.
  • the processing and algorithm of the object identification processing unit 210 are not particularly limited.
  • the object identification processing unit 210 can be implemented by a combination of a processor (hardware) such as a central processing unit (CPU), a graphics processing unit (GPU), or a microcomputer and a software program executed by the processor (hardware).
  • the object identification processing unit 210 may be a combination of a plurality of processors. Also, the functions of the object identification processing unit 210 and the controller 104 may be provided to the same processor.
  • FIG. 7 is a view showing an example of the LiDAR which is the three-dimensional sensor 102.
  • the LiDAR 300 of FIG. 7 comprises a MEMS scanner.
  • the MEMS scanner comprises a mirror 302 and actuators 304 and 306.
  • the mirror 302 reflects a beam from a light source (not shown).
  • the actuator 304 rotates the mirror 302 about the first axis.
  • the actuator 306 rotates the mirror 302 with the actuator 304 supporting it about the second axis.
  • the rotation around the first axis corresponds to the control of the scan angle ⁇
  • the rotation around the second axis corresponds to the control of the supine angle ⁇ .
  • the configuration of the three-dimensional sensor 102 is not limited to that shown in FIG. 7, and any known or future available device can be used.
  • a mechanical type such as a phased array type or a micro prism type, or a mechanical type using the above-described MEMS mirror or motor drive mirror may be used.
  • control of the supine angle ⁇ is used to correct the height of the scan line or correct the distortion of the scan line.
  • the controller 104 for each scan line, among the plurality of measuring points, at least one as the correction point, the height of the correction point to control the elevation angle of depression ⁇ of 3-dimensional sensor 102 so as to approach the predetermined value h REF.
  • Distance measurement data indicating the distance r to the correction point is input to the controller 104.
  • the height of the correction point can be geometrically calculated from the supine angle ⁇ and the distance measurement data.
  • FIG. 8 is a diagram for explaining the correction process of the supine angle ⁇ in the three-dimensional sensor 102.
  • FIG. 8 shows processing at one correction point on one scan line.
  • the recognition sensor 100 performs temporary measurement for correction processing.
  • supine angle ⁇ is set to a predetermined initial value ⁇ INIT .
  • the scan beam BM INIT in temporary measurement is indicated by a solid line.
  • the distance r to the object OBJ is measured.
  • the height h is defined with reference to the light source of the three-dimensional sensor 102.
  • the horizontal distance R to the object OBJ can be calculated by the equation (1) using the measured distance r and the initial supine angle ⁇ INIT .
  • R r ⁇ cos ⁇ INIT (1)
  • the three-dimensional sensor 102 sets the supine angle to ⁇ CMP and remeasures the distance r ′ to the object OBJ.
  • FIG. 9 is a flowchart of the correction processing of the supine angle ⁇ in the three-dimensional sensor 102.
  • the supine angle ⁇ of the three-dimensional sensor 102 is set to the initial value ⁇ INIT (S100).
  • the distance r to the object at that time is temporarily measured (S102).
  • the corrected supine angle ⁇ CMP is calculated based on the distance r obtained by the temporary measurement and the initial value ⁇ INIT of the supine angle (S104).
  • the post-correction supine angle ⁇ CMP is set in the three-dimensional sensor 102 (S106). Then, the distance r 'to the object is actually measured (S108).
  • the above is the operation of the recognition sensor 100. According to this recognition sensor 100, since the height through which it passes can be controlled for each scan line, at least one of the problems described above can be solved.
  • FIG. 10 is a diagram for explaining the correction according to the first embodiment.
  • the scan line SL INIT in the case of the supine angle constant control is indicated by an alternate long and short dash line.
  • R 1, R 2, 2 single object OBJ1, and OBJ2 is present. It is an R 2> R 1.
  • the objects OBJ1 and OBJ2 are flat, and the scan line SL INIT at the time of constant elevation angle control is distorted.
  • the scan line SL INIT passing through the distant object OBJ2 passes a lower height than the scan line SL INIT passing through the near object OBJ1.
  • the corrected scan line SL CMP is indicated by a solid line.
  • the scan beam hits the measurement point P INIT on the scan line SL INIT before correction. Then, when the supine angle ⁇ is corrected, the measurement point P CMP moves to the position of the predetermined height h REF .
  • the height of the scan line SL CMP becomes substantially constant. This can reduce image distortion. That is, the problem 2 related to FIG. 4A and the problem 3 related to FIG. 4B are solved.
  • the controller 104 scans the substantially flat object OBJ
  • the elevation of the three-dimensional sensor 102 is fixed so that the height of each scan line becomes constant independently of the scan angle ⁇ . It can be understood that the depression angle ⁇ is controlled.
  • the height of the measurement point P CMP can be made equal to h REF even though the horizontal distances R 1 and R 2 are different. That is, the problem 4 described with reference to FIG. 5 can also be solved.
  • the controller 104 controls the elevation angle of the three-dimensional sensor such that the height of the measurement point approaches the predetermined value h REF regardless of the horizontal distance R to the measurement point. I can understand.
  • Problem 1 can also be solved by matching the reference height h REF for each scan line with that of LiDAR used for machine learning. Alternatively, it is possible to increase the freedom of installation when mounting LiDAR on a car.
  • correction since it is necessary to perform distance measurement twice for all the measurement points, the frame rate is reduced to 1/2. Therefore, correction may be performed once in a plurality of frames.
  • FIG. 11 is a diagram for explaining the correction process according to the second embodiment.
  • a plurality of measurement points discrete in the scan direction are used as correction points.
  • the correction angle ⁇ CMP obtained in the previous correction process is used.
  • At least one discrete measurement point may be provided for each object OBJ.
  • a new object OBJ may be detected based on large discontinuities of the distance r.
  • the fluctuation of the height can be suppressed as compared with the case where the control of constant supine angle is performed. If correction is performed for each object OBJ, Problem 3 related to FIG. 4B and Problem 4 related to FIG. 5 can be solved.
  • the problem 3 related to FIG. 4A may remain unsolved. In that case, similar distorted images may be measured in machine learning.
  • FIG. 12 is a block diagram of a car 400 comprising an object identification system 200.
  • the car 400 is provided with a headlight 410.
  • the object identification system 200 at least the three-dimensional sensor 102 is incorporated in the headlight 410.
  • the controller 104 can also be incorporated into the headlight 410.
  • the headlight 410 is located at the foremost end of the vehicle body, and is most advantageous as an installation point of the three-dimensional sensor 102 in detecting surrounding objects.
  • the object identification processing unit 210 may be incorporated in the headlight 410 or may be provided on the vehicle side.
  • FIG. 13 is a block diagram showing a vehicular lamp 500 provided with an object identification system 200.
  • the vehicle lamp 500 includes a light source 502, a lighting circuit 504, an optical system 506, and a lamp ECU 508. Furthermore, the vehicle lamp 500 is provided with an object identification system 200.
  • Vehicle ECU 420 may perform automatic driving based on this information.
  • the information on the object OBJ detected by the object identification processing unit 210 may be used for light distribution control (ADB: Adaptive Driving Beam) of the vehicular lamp 500.
  • ADB Adaptive Driving Beam
  • the lamp ECU 508 generates an appropriate light distribution pattern based on the information on the type of the object OBJ generated by the object identification processing unit 210 and the position thereof.
  • the lighting circuit 504 and the optical system 506 operate so as to obtain a light distribution pattern generated by the lamp ECU 508.
  • LiDAR is exemplified as the three-dimensional sensor 102 in the first embodiment, application of this technology is not limited thereto.
  • FIG. 14 is a block diagram of an object identification system 10 according to the second embodiment.
  • the object identification system 10 is for use in a vehicle mounted on a vehicle such as an automobile or a motorcycle, and determines the type (also referred to as a category) of the object OBJ present around the vehicle.
  • the object identification system 10 mainly includes a three-dimensional sensor 20 and an arithmetic processing unit 40.
  • the three-dimensional sensor 20 generates a plurality of line data LD 1 to LD N for a plurality of horizontal lines L 1 to L N having different heights.
  • the number N of horizontal lines is not particularly limited, but is preferably 20 or less and 4 to 12 or so.
  • Each line data LD includes distance information to a plurality of sampling points P along the corresponding horizontal line L.
  • a set of line data LD 1 to LD N is referred to as ranging data.
  • the three-dimensional sensor 20 is not particularly limited, but it is preferable to use LiDAR when it is desired to accurately identify an object with small unevenness such as a pedestrian.
  • the number N of horizontal lines is the resolution in the vertical direction.
  • the configuration of LiDAR is not particularly limited, and may be either scanning or non-scanning.
  • the arithmetic processing unit 40 identifies the type (category) of the object based on the ranging data including the plurality of line data LD 1 to LD N.
  • the arithmetic processing unit 40 is configured to process data including one object, and when one distance measurement data includes a plurality of objects, it is divided into subframes including one object by preprocessing.
  • the arithmetic processing unit 40 sets a subframe as a processing unit.
  • the arithmetic processing unit 40 can be implemented by a combination of a processor (hardware) such as a central processing unit (CPU), a graphics processing unit (GPU), or a microcomputer and a software program executed by the processor (hardware). Arithmetic processing unit 40 may be a combination of a plurality of processors.
  • a processor such as a central processing unit (CPU), a graphics processing unit (GPU), or a microcomputer and a software program executed by the processor (hardware).
  • Arithmetic processing unit 40 may be a combination of a plurality of processors.
  • the type of object may be a pedestrian, a bicycle, a car, a telephone pole, etc.
  • pedestrians viewed from the front, pedestrians viewed from the rear, and pedestrians viewed from the side may be classified into the same type and defined. The same goes for cars and bicycles. This definition is adopted in the present embodiment.
  • FIG. 15 is a diagram showing an example of a plurality of parts defined for a pedestrian.
  • M sites H 0 to H M-1 are defined.
  • H 0 is the knee
  • H 1 is the knee
  • H 2 is the thigh
  • H 3 is the waist
  • H 4 is the abdomen
  • H 5 is the chest
  • H 6 is the shoulder
  • H 7 is the face.
  • a plurality of parts B 0 to B 7 of different heights are defined.
  • a plurality of parts C 0 to C 7 of different heights are defined.
  • the utility pole although it is possible to define a plurality of sites P 0 to P 7 of different heights, it is not necessary to distinguish them because the profiles are virtually unchanged regardless of the heights, and thus one output P 0 It will be summarized in
  • FIGS. 16A to 16D are diagrams showing a plurality of line data when a pedestrian, a bicycle, a car and a telephone pole are photographed by the three-dimensional sensor 20.
  • the arithmetic processing unit 40 generates, for each line data LD, intermediate data MD regarding the type of the object OBJ and its portion.
  • the intermediate data MD i may statistically indicate which kind of part the corresponding line data LD i (horizontal line L i ) is.
  • the arithmetic processing unit 40 integrates the plurality of intermediate data MD 1 to MD N corresponding to the plurality of line data LD 1 to LD N to generate final data FD indicating the type of the object OBJ.
  • the final data FD may statistically indicate what kind of object OBJ is.
  • Arithmetic processing unit 40 functionally includes a plurality of first arithmetic units 42 _ 1 to 42 _N and a second arithmetic unit 44.
  • the blocks shown by the arithmetic units 42 and 44 do not necessarily mean that they are independent in hardware.
  • arithmetic processing unit 40 is configured with a single core, multiple arithmetic units 42 and 44 may correspond to a single core.
  • each core can function as a plurality of arithmetic units 42 and 44.
  • the second operation unit 44 integrates intermediate data MD 1 to MD N generated by the plurality of first operation units 42_1 to 42_N, and generates final data FD.
  • the above is the basic configuration of the object identification system 10.
  • the implementation of the arithmetic processing unit 40 is not particularly limited, but can be configured using, for example, a neural network.
  • a neural network corresponding to the first operation unit 42 is referred to as a first neural network NN 1
  • a neural network corresponding to the second operation unit 44 is referred to as a second neural network NN 2 .
  • FIG 17 is a block diagram showing a first configuration example of the neural network NN 1.
  • the first neural network NN 1 includes an input layer 50, an intermediate layer (hidden layer) 52 of three layers, and an output layer 54.
  • the number of units of the input layer 50 is determined according to the number of sample points of one line, and is set to 5200.
  • the number of middle layers was three, and the number of units was 200, 100, and 50.
  • an affine transformation and a transformation using a sigmoid function are performed in the output layer 54.
  • an affine transformation and a probability calculation using a soft max function are performed.
  • Intermediate data MD i includes a plurality of data Human-0th to Human-7th, Car-0th to Car-7th, Bicycle--0th to Bicycle 7th, Pole-all, and it relates to a part H 0 to H 7 concerning a pedestrian and a car
  • the probability of corresponding to each of the site C 0 to C 7 , the site B 0 to B 7 regarding the bicycle, and the site P 0 regarding the utility pole is shown.
  • FIG 18 is a block diagram showing a second configuration example of the neural network NN 2.
  • the middle layer 62 is one layer, and the number of units is 50.
  • the output layer 64 four categories of a pedestrian (Human), a car (Car), a bicycle (Bicycle), and a pole (Pole) are set. That is, the final data FD includes four data Human, Car, Bicycle, and Pole indicating that the object OBJ may correspond to a pedestrian, a car, a bicycle, and a telephone pole, respectively.
  • the parameter updating method is Adam
  • the learning coefficient is 0.01
  • the number of iterations is 20,000.
  • FIGS. 19 (a) to 19 (c) illustrate the extraction of an object.
  • FIG. 19A shows a car which is an object.
  • FIG. 19 (b) shows a plurality of line data LD 1 to LD 8 when the object of FIG. 19 (a) is photographed by LiDAR.
  • FIG. 19C shows line data LD 1 to LD 8 extracted to include an object.
  • Shift is a process of shifting data so that an object is located at the center.
  • Normalization is a process of dividing distance data by a predetermined value.
  • the predetermined value may be a distance (reference distance) between the three-dimensional sensor 20 and a predetermined portion of the object OBJ at the time of learning.
  • the line data is normalized to a value near 1.
  • FIGS. 20 (a) to 20 (c) are diagrams for explaining the first learning method.
  • data (learning) used for learning is measured.
  • Learning data is acquired by measuring a plurality of objects with LiDAR.
  • a candidate for the object to be identified (pedestrian, car, utility pole, person riding a bicycle, etc.) is measured under different conditions (for example, from various distances and from various directions), and a frame for learning Prepare data FD 1 , FD 2 ,.
  • two line data LD 11, FD 12 of the lowermost cross the ground, for pedestrians and not cross may be not used for learning.
  • a plurality of valid line data LD ij included in a plurality of frame data are individually input to the first operation unit 42 together with the teacher data TD ij .
  • the learning results obtained for one first operation unit 42 are used in all the first operation units 42.
  • the second arithmetic unit 44 is trained. Specifically, as shown in FIG. 20 (b), a plurality of first operation units 42 and a second operation unit (second neural network) 44 are connected. In this state, a plurality of frame data FD 1 , FD 2 ... Are individually input to the arithmetic processing unit 40. For each frame FD i, a set of a plurality of intermediate data MD 1 ⁇ MD 8 by a plurality of first arithmetic unit 42 is generated and supplied to the second arithmetic unit 44 in the subsequent stage.
  • the number of horizontal lines of LiDAR used for verification is eight.
  • the irradiation angle (vertical angle resolution) of the horizontal line is -18.25 °, -15.42 °, -12.49 °, -9.46 °, -6.36 °, -3.19 ° from the bottom , 0 °, 3.2 °.
  • the horizontal angle resolution was set to 0.035 degrees, and the imaging range was set to 0 to 180 degrees.
  • FIGS. 21A and 21B are diagrams for explaining photographing of a pedestrian.
  • the distance (reference distance) of the object OBJ from the center of LiDAR was 3 m.
  • the pedestrian sample is an adult male with a height of 166 cm and nine directions (0 °, 22.5 °, 45 °, 67.5 °, 90 °, 112.5 °, 135 °, 157.5 °, Photographed from 0 °, 180 °).
  • the direction in which the front (face, headlamp) of the object OBJ can be seen is 0 °.
  • LiDAR is inclined at 7 ° (elevation angle) in the vertical direction so that eight horizontal lines coincide with the eight regions H 0 to H 7 shown in FIG.
  • the image was taken with a person standing still and standing still.
  • the shooting direction was nine directions as in the pedestrian.
  • FIG. 22 is a diagram showing the accuracy rate of classification of 25 categories (sub categories) by the first neural network NN 1 .
  • the accuracy rate of each part of the pedestrian, the car, the bicycle and the telephone pole is shown.
  • Figure 23 is a diagram showing the accuracy rate of classification of 4 categories by the second neural network NN 2.
  • the correct answer rate of a pedestrian (Human), a car (Car), a bicycle (Bicycle), and a telephone pole (Pole) is shown.
  • the type of object can be determined with extremely high probability by the number of only eight horizontal lines.
  • the processing capacity required of the arithmetic processing unit 40 can be reduced.
  • the distance between the object and LiDAR is fixed at 3 m and verified, but in practice the distance is variable. Therefore, the distance may be divided into a plurality of ranges and neural network learning may be performed for each range.
  • FIG. 24 is a block diagram of a car 600 comprising an object identification system 10.
  • the automobile 600 includes headlights 602L and 602R.
  • the object identification system 10 at least the three-dimensional sensor 20 is incorporated in at least one of the headlights 602L and 602R.
  • the headlight 602 is located at the most tip of the vehicle body, and is most advantageous as an installation place of the three-dimensional sensor 20 in detecting an object around it.
  • the arithmetic processing unit 40 may be incorporated in the headlight 602 or may be provided on the vehicle side. For example, in the arithmetic processing unit 40, generation of intermediate data may be performed inside the headlight 602, and generation of final data may be left to the vehicle side.
  • FIG. 25 is a block diagram showing a vehicular lamp 700 provided with the object identification system 10.
  • the vehicular lamp 700 includes a light source 702, a lighting circuit 704, and an optical system 706. Furthermore, the three-dimensional sensor 20 and the arithmetic processing unit 40 are provided in the vehicle lamp 700. Information on the object OBJ detected by the arithmetic processing unit 40 is transmitted to the vehicle ECU 604. The vehicle ECU may perform automatic driving based on this information.
  • the information on the object OBJ detected by the arithmetic processing device 40 may be used for light distribution control of the vehicular lamp 700.
  • the lamp ECU 708 generates an appropriate light distribution pattern based on the type of the object OBJ generated by the arithmetic processing unit 40 and the information on the position thereof.
  • the lighting circuit 704 and the optical system 706 operate so as to obtain a light distribution pattern generated by the lamp ECU 708.
  • FIGS. 20 (a) to 20 (c) learning may be performed which strongly depends on the installation of LiDAR (height, supine angle, or distance to an object).
  • FIGS. 26A and 26B show the relationship between the height of LiDAR and an object.
  • FIG. 26 (a) shows the case where the installation height of LiDAR is 145 cm at the time of learning. At this time, the lower three line data are invalid, and learning is performed using the fourth to eighth line data LD 4 to LD 8 from the lower side.
  • the installation height of LiDAR is 70 cm, which is lower than that at learning, as shown in FIG.
  • the distance between the pedestrian and LiDAR is closer than at the time of learning.
  • the line data LD 1 to LD 3 have no corresponding part (no subcategory)
  • FIG. 26C shows final data obtained in the situation of FIG. 26B by the object identification system 10 learned by the first learning method.
  • the probability that it is another category is misrecognized as being higher. It is presumed that this is due to the fact that the classification in the second operation unit 44 strongly depends on the arrangement order and combination of subcategories in the first learning method. That is, when the first learning method is adopted, the height of the three-dimensional sensor in the actual use stage may be restricted by the height used in the learning stage.
  • the second learning method incorporates a device for reducing such constraints.
  • FIG. 27 is a diagram for explaining the learning process of the second operation unit 44 in the second learning method.
  • the second operation unit 44 is trained. Relationship 46 may be varied at random for each frame data FD i.
  • FIG. 28 is a diagram for explaining the effect of the second learning method.
  • FIG. 28 shows final data FD when a pedestrian is assumed in the situation of FIG. 26 (b) using the object identification system 10 which has been learned by the second learning method.
  • the probability of recognizing a pedestrian can be increased.
  • FIG. 29 is a block diagram of an object identification system 10A according to a modification.
  • the first operation unit 42A is implemented as a convolutional neural network.
  • a convolutional neural network targets a two-dimensional image of M ⁇ N pixels, but the present embodiment is novel in that it uses one-dimensional line data as a target.
  • a convolutional neural network is a combination of convolutional and pooling layers. By using a convolutional neural network, robustness against lateral displacement of an object can be enhanced.
  • objects may be defined as different types (categories) in each direction in which they are desired. That is, an object is identified as another type when facing the vehicle and when not. This is useful for estimating the moving direction of the object OBJ.
  • the arithmetic processing unit 40 may be configured only by hardware using an FPGA or the like.
  • the on-vehicle object identification system 10 has been described, but the application of the present invention is not limited to this, and for example, it may be fixedly installed in traffic lights, traffic signs, and other traffic infrastructures and applied to fixed point observation It is possible.
  • the present invention has been described using specific words and phrases based on the embodiments, the embodiments merely show one aspect of the principle and application of the present invention, and the embodiments are only claimed. Many variations and modifications may be made without departing from the spirit of the invention as defined in the scope.
  • the present invention is applicable to a recognition sensor that detects the shape of an object.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

認識センサ１００は、３次元センサ１０２およびコントローラ１０４を備える。３次元センサ１０２は、スキャンビームを水平にスキャンし、スキャンライン上の複数の測定点について距離を測定する。コントローラ１０４は、複数の測定点の中の補正点において、当該補正点の高さが所定値に近づくように３次元センサ１０２の仰俯角を制御する。

Description

認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法
　本発明は、物体の形状を検出する認識センサあるいはシステムに関する。
　自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
　図１（ａ）、（ｂ）は、ＬｉＤＡＲによるセンシングを説明する図である。ＬｉＤＡＲ２は、仰俯角φを固定しつつ、水平方向にスキャンビームＢＭをスキャンし、オブジェクトＯＢＪ上の複数の測定点Ｐまでの距離ｒを測定する。図１（ｂ）には、スキャンラインＳＬが歩行者の膝を通過する様子が示される。仰俯角φをいくつか変化させて、複数のスキャンラインＳＬに沿ってオブジェクトＯＢＪの形状を測定することで、オブジェクトＯＢＪの種類を特定することができる。
特開２０１７－５６９３５号公報 特開２００９－９８０２３号公報
　本発明者は、ＬｉＤＡＲ等を用いた３次元センシングによる物体認識について検討した結果、以下のいくつかの課題を認識するに至った。
（課題１）
　ＬｉＤＡＲを利用した物体認識では、オブジェクトの識別のために測定される像は、機械学習において予め測定した像と同じであることが要求される。機械学習には膨大な時間とコストを要することから、なるべく、ひとつの機械学習の成果を、さまざまな製品に流用したいという要請がある。
　一方で、ＬｉＤＡＲのスキャンラインの本数と、各スキャンラインの仰俯角は、ＬｉＤＡＲの製品毎にさまざまである。図２は、仕様の異なる２つのＬｉＤＡＲによるセンシングを説明する図である。スキャンビームＢＭ１，ＢＭ２は、仕様の異なる２つのＬｉＤＡＲの出力を示す。仰俯角φが異なるスキャンビームＢＭは、オブジェクトＯＢＪの異なる部位をスキャンすることとなり、得られる像は異なったものとなる。
　図２に示すように、もし車載のＬｉＤＡＲの仕様と、機械学習に用いたＬｉＤＡＲの仕様が大きく異なる（対応するスキャンラインの仰俯角が大きく異なる）場合、識別精度は低下するであろう。高精度な識別のためには、自動車に搭載するＬｉＤＡＲの製品と同じ製品を用いて、（あるいは少なくとも同じ仰俯角を有する製品）を用いて機械学習を行う必要があり、これは開発コストを大きく押し上げることになる。
　また、もし車載のＬｉＤＡＲの仕様と、機械学習に用いたＬｉＤＡＲの仕様が同じである場合において、自動車に搭載する際に、設置角度を注意深くアライメントしなければならず、言い換えれば設置の自由度が制約される。
（課題２）
　図３は、課題２を説明する図である。図３には、仮想スクリーンＳＣＲＮが示される。この仮想スクリーンＳＣＲＮは平坦であり、ＬｉＤＡＲ２とセンターの測定点Ｐ１との水平距離Ｒ１が最も小さく、測定点Ｐ２，Ｐ３とセンターから離れるに従って、水平距離Ｒは長くなる。その結果、複数の測定点Ｐの高さｈが異なることとなる。
　図４（ａ）は、自動車を側面から測定したときの複数のスキャンラインを示す図である。仰俯角φ＝０°に対しては、スキャンラインＳＬの高さは一定であるが、仰俯角が非ゼロのスキャンラインの高さは、スキャン角度θに応じて変化する。すなわち自動車のような幅の大きいオブジェクトを測定する場合に、測定される像の両端が歪む。これが課題２である。
（課題３）
　図４（ｂ）は、歩行者を測定したときの複数のスキャンラインを示す図である。歩行者のように幅が狭いオブジェクトＯＢＪが、中央付近に位置する場合と、端に位置する場合とでは、複数のスキャンラインが測定する部位が異なる。これが課題３である。
（課題４）
　図５は、課題４を説明する図である。図５は、ある固定されたスキャン角度θにおける、高さｈの水平距離Ｒに対する依存性を示す図である。図５からわかるように、仰俯角一定で同じオブジェクトＯＢＪを測定した場合、水平距離Ｒが異なると、同じスキャンラインによって測定する部位が異なることとなる。図５の例では、水平距離Ｒ１、Ｒ２，Ｒ３において、同じビームによって、腹部、太もも、膝が測定されることとなる。
　第１から課題４は、オブジェクトＯＢＪの種類を識別する識別器の設計に際して、顕著な複雑さをもたらし、あるいは、最終的な識別確率を低下させる場合もある。
（課題５）
　ＬｉＤＡＲが生成する点群データにもとづくオブジェクトの識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、少なくともひとつの課題を解決した認識センサあるいはシステムの提供にある。
１．　本発明のある態様は、認識センサに関する。認識センサは、仰俯角が設定可能に構成された３次元センサと、スキャンライン上の複数の測定点の中の補正点において、当該補正点の高さが所定値に近づくように３次元センサの仰俯角を制御するコントローラと、を備える。
　この態様によると、スキャンラインの補正点における高さを規定できるため、上述の少なくともひとつの課題を解決できる。
　本発明の別の態様もまた、認識センサである。この認識センサは、仰俯角が設定可能に構成された３次元センサと、測定点までの水平距離にかかわらず、当該測定点の高さが所定値に近づくように３次元センサの仰俯角を制御するコントローラと、を備える。
　この場合、スキャンラインの高さの距離依存性を抑制できる。
　本発明の別の態様もまた、認識センサである。この認識センサは、仰俯角が設定可能に構成された３次元センサと、実質的に平坦なオブジェクトをスキャンしたときに、各スキャンラインの高さがスキャン角度に依存せずに一定となるように３次元センサの仰俯角を制御するコントローラと、を備える。
　この場合、スキャンラインの歪みを抑制できる。
　コントローラは、複数の測定点のうちの補正点において、仮測定を行い、仮測定で得られた距離とそのときの仰俯角にもとづいて、本測定における仰俯角を計算してもよい。
　コントローラはすべての測定点について仰俯角を補正してもよい。
　コントローラは、各スキャンラインについて、オブジェクトごとに少なくとも１回、仰俯角の補正を行ってもよい。
　コントローラは、各スキャンラインについて、所定の水平角度スキャンを進めるごとに、あるいは所定数の測定点ごとに、仰俯角を補正してもよい。
　コントローラは、各スキャンラインについて、すべての測定点において仰俯角の補正を行ってもよい。
　本発明の別の態様は、自動車に関する。自動車は上述のいずれかの認識センサを備えてもよい。
　本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述のいずれかの認識センサを備えてもよい。
２．本発明の別の態様は、オブジェクト識別システムに関する。オブジェクト識別システムは、高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、複数のラインデータにもとづいてオブジェクトの種類を識別する演算処理装置と、を備える。演算処理装置は、ラインデータごとにオブジェクトの種類およびその部位に関する中間データを生成し、複数のラインデータに対応する複数の中間データを統合して、オブジェクトの種類を示す最終データを生成する。
　この態様によると、少ない水平ラインの本数で、オブジェクトの種類を判定することができる。
　中間データは、ニューラルネットワークを用いて生成されてもよい。中間データは、対応するラインデータが複数の種類の複数の部位それぞれに該当する確率を示してもよい。
　最終データは、ニューラルネットワークを用いて生成されてもよい。最終データは、対応するラインデータが複数の種類それぞれに該当する確率を示してもよい。
　演算処理装置は、前処理として、各ラインデータに含まれる値を所定値で除算する正規化を行ってもよい。
　演算処理装置は、前処理として、複数のラインデータからオブジェクトを含む範囲を抽出してもよい。
　複数のラインデータの本数は、４～１２であってもよい。
　オブジェクトの種類は、少なくとも、歩行者、自転車、自動車を含んでもよい。
　本発明の別の態様は、自動車に関する。自動車は、上述のオブジェクト識別システムを備えてもよい。
　３次元センサは、前照灯に内蔵されてもよい。
　本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述のオブジェクト識別システムを備えてもよい。
　なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
　本発明によれば、上述の少なくともひとつの課題を解決できる。
図１（ａ）、（ｂ）は、ＬｉＤＡＲによるセンシングを説明する図である。 仕様の異なる２つのＬｉＤＡＲによるセンシングを説明する図である。 課題２を説明する図である。 図４（ａ）は、自動車を側面から測定したときの複数のスキャンラインを示す図であり、図４（ｂ）は、歩行者を測定したときの複数のスキャンラインを示す図である。 課題４を説明する図である。 第１の実施の形態に係る認識センサを備えるオブジェクト識別システムのブロック図である。 ３次元センサであるＬｉＤＡＲの一例を示す図である。 ３次元センサにおける仰俯角φの補正処理を説明する図である。 ３次元センサにおける仰俯角φの補正処理のフローチャートである。 第１実施例に係る補正を説明する図である。 第２実施例に係る補正処理を説明する図である。 オブジェクト識別システムを備える自動車のブロック図である。 オブジェクト識別システムを備える車両用灯具を示すブロック図である。 第２の実施の形態に係るオブジェクト識別システムのブロック図である。 歩行者について定義される複数の部位の一例を示す図である。 図１６（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサで撮影したときの複数のラインデータを示す図である。 第１ニューラルネットワークの構成例を示すブロック図である。 第２ニューラルネットワークの構成例を示すブロック図である。 図１９（ａ）～（ｃ）は、オブジェクトの抽出を説明する図である。 図２０（ａ）～（ｃ）は、第１の学習方法を説明する図である。 図２１（ａ）、（ｂ）は、歩行者の撮影を説明する図である。 第１ニューラルネットワークによる２５カテゴリの分類の正解率を示す図である。 第２ニューラルネットワークによる４カテゴリの分類の正解率を示す図である。 オブジェクト識別システムを備える自動車のブロック図である。 オブジェクト識別システムを備える車両用灯具を示すブロック図である。 図２６（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図であり、図２６（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システムによって、図２６（ｂ）の状況で得られる最終データを示す図である。 第２の学習方法における第２演算ユニットの学習工程を説明する図である。 第２の学習方法の効果を説明する図である。 変形例に係るオブジェクト識別システムのブロック図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
＜第１の実施の形態＞
　図６は、第１の実施の形態に係る認識センサ１００を備えるオブジェクト識別システム２００のブロック図である。認識センサ１００は、３次元センサ１０２およびコントローラ１０４を備える。３次元センサ１０２は、スキャンビームＢＭを水平方向（Ｚ軸周り）にスキャンし、複数の測定点までの距離を測定する。１回のスキャンで取得される複数の測定点を結ぶ線をスキャンラインＳＬと称し、そのとき得られるデータをスキャンデータと称する。特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。スキャンラインの本数Ｎは、すなわち垂直方向の解像度である。
　３次元センサ１０２は、仰俯角φが調節可能に構成される。仰俯角φの制御は、スキャンラインの選択のために行われる。仰俯角φ一定のＬｉＤＡＲでは、仰俯角は予め規定されたφ１～φＮのＮ通りで選択可能であり、スキャン中一定である。Ｎはスキャンラインの本数に相当する。
　オブジェクト識別処理部２１０は、３次元センサ１０２によって生成された点群データにもとづいて、オブジェクトＯＢＪの種類を判定する。オブジェクト識別処理部２１０の処理、アルゴリズムは特に限定されない。オブジェクト識別処理部２１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。オブジェクト識別処理部２１０は、複数のプロセッサの組み合わせであってもよい。また、オブジェクト識別処理部２１０とコントローラ１０４の機能が、同じプロセッサに提供されてもよい。
　図７は、３次元センサ１０２であるＬｉＤＡＲの一例を示す図である。図７のＬｉＤＡＲ３００は、ＭＥＭＳスキャナーを備える。ＭＥＭＳスキャナーは、ミラー３０２、アクチュエータ３０４，３０６を備える。ミラー３０２は図示しない光源からのビームを反射する。アクチュエータ３０４は、ミラー３０２を第１軸周りに回転させる。アクチュエータ３０６は、ミラー３０２をそれを支持するアクチュエータ３０４とともに、第２軸周りに回転させる。第１軸周りの回転がスキャン角θの制御に対応し、第２軸周りの回転が仰俯角φの制御に対応する。
　なお３次元センサ１０２の構成は図７のそれには限定されず、公知の、あるいは将来利用可能なデバイスを用いることができる。たとえばフェーズドアレイ式やマイクロプリズム方式などのメカレスのもの、あるいは、上述のＭＥＭＳミラーやモータ駆動ミラーを用いたメカニカルなものを用いてもよい。
　本実施の形態における特徴のひとつは、仰俯角φの制御を、スキャンラインの高さの補正、あるいはスキャンラインの歪みの補正に利用することである。図６に戻る。コントローラ１０４は、スキャンラインそれぞれについて、複数の測定点のうち、少なくともひとつを補正点とし、補正点の高さが所定値ｈＲＥＦに近づくように３次元センサ１０２の仰俯角φを制御する。コントローラ１０４には、補正点までの距離ｒを示す測距データが入力される。補正点の高さは、仰俯角φと測距データから幾何学的に計算できる。
　図８は、３次元センサ１０２における仰俯角φの補正処理を説明する図である。図８には、ひとつのスキャンライン上のひとつの補正点における処理が示される。認識センサ１００は、補正処理のために仮測定を行う。仮測定では、仰俯角φは予め定めた初期値φＩＮＩＴにセットされる。初期値φＩＮＩＴは、そのスキャンラインの固有の値であってもよく、仰俯角一定スキャンを行う場合の角度φｉ（ｉ＝１，２・・・Ｎ）であってもよい。仮測定におけるスキャンビームＢＭＩＮＩＴを実線で示す。
　この状態で、オブジェクトＯＢＪまでの距離ｒが測定される。ここでは計算の簡素化のために、３次元センサ１０２の光源を基準として高さｈを定義する。測定された距離ｒと初期仰俯角φＩＮＩＴを用いて、オブジェクトＯＢＪまでの水平距離Ｒは、式（１）で計算できる。
　Ｒ＝ｒ・ｃｏｓφＩＮＩＴ　　　…（１）
　コントローラ１０４は、仮測定で得られた距離ｒとそのときの仰俯角φＩＮＩＴにもとづいて、本測定における仰俯角φＣＭＰを計算する。補正された仰俯角φＣＭＰで出射したスキャンビームＢＭＣＭＰは、オブジェクトＯＢＪと基準高さｈＲＥＦで交差しなければならないから、式（２）が成り立つ。
　ｔａｎφＣＭＰ＝ｈＲＥＦ／Ｒ　　　…（２）
　したがって、補正された仰俯角φＣＭＰは式（３）で与えられる。
　φＣＭＰ＝ａｒｃｔａｎ（ｈＲＥＦ／Ｒ）
　　　　＝ａｒｃｔａｎ（ｈＲＥＦ／（ｒ・ｃｏｓφＩＮＩＴ））　　　…（３）
　３次元センサ１０２は、仮測定に続く本測定において、仰俯角をφＣＭＰにセットし、オブジェクトＯＢＪまでの距離ｒ’を再測定する。
　図９は、３次元センサ１０２における仰俯角φの補正処理のフローチャートである。はじめに３次元センサ１０２の仰俯角φが初期値φＩＮＩＴにセットされる（Ｓ１００）。そのときのオブジェクトまでの距離ｒを仮測定する（Ｓ１０２）。仮測定で得られた距離ｒと、仰俯角の初期値φＩＮＩＴにもとづいて、補正された仰俯角φＣＭＰを計算する（Ｓ１０４）。３次元センサ１０２に、補正後の仰俯角φＣＭＰをセットする（Ｓ１０６）。そしてオブジェクトまでの距離ｒ’を本測定する（Ｓ１０８）。
　以上が認識センサ１００の動作である。この認識センサ１００によれば、スキャンラインごとに、それが通過する高さを制御できるため、上述の少なくともひとつの課題を解決できる。
　補正対象の測定点（補正点）の選択には、さまざまな方法が考えられる。以下、いくつかの実施例について説明する。
（第１実施例）
　第１実施例において、すべての測定点を補正点とすることができる。すなわちすべてのスキャンラインに含まれるすべての測定点において、仮測定と本測定を行う。図１０は、第１実施例に係る補正を説明する図である。ここではひとつのスキャンラインに着目する。仰俯角一定制御の場合のスキャンラインＳＬＩＮＩＴは一点鎖線で示される。異なる水平距離Ｒ１，Ｒ２に、２つのオブジェクトＯＢＪ１，ＯＢＪ２が存在しているとする。Ｒ２＞Ｒ１である。オブジェクトＯＢＪ１，ＯＢＪ２は平坦であり、仰角一定制御のときのスキャンラインＳＬＩＮＩＴは歪んでいる。また遠いオブジェクトＯＢＪ２を通過するスキャンラインＳＬＩＮＩＴは、近いオブジェクトＯＢＪ１を通過するスキャンラインＳＬＩＮＩＴよりも低い高さを通過する。
　補正後のスキャンラインＳＬＣＭＰは実線で示される。仮測定では、補正前のスキャンラインＳＬＩＮＩＴ上の測定点ＰＩＮＩＴにスキャンビームが当たる。そして仰俯角φが補正されると、所定の高さｈＲＥＦの位置に測定点ＰＣＭＰが移動する。
　その結果、各オブジェクト内において、スキャンラインＳＬＣＭＰの高さは実質的に一定となる。これにより像の歪みを低減できる。すなわち図４（ａ）に関連する課題２や、図４（ｂ）に関連する課題３を解決される。
　課題２に関連して、コントローラ１０４は、実質的に平坦なオブジェクトＯＢＪをスキャンしたときに、各スキャンラインの高さがスキャン角度θに依存せずに一定となるように３次元センサ１０２の仰俯角φを制御しているものと把握できる。
　また、２つのオブジェクトＯＢＪ１、ＯＢＪ２を比較すると、水平距離Ｒ１，Ｒ２が異なっているにもかかわらず、測定点ＰＣＭＰの高さをｈＲＥＦに揃えることができる。すなわち図５を参照して説明した課題４も解決できる。
　課題４に関連して、コントローラ１０４は、測定点までの水平距離Ｒにかかわらず、当該測定点の高さが所定値ｈＲＥＦに近づくように３次元センサの仰俯角を制御しているものと把握できる。
　スキャンラインごとの基準高さｈＲＥＦを、機械学習に用いたＬｉＤＡＲのそれと合わせることにより、課題１を解決することも可能である。あるいは、自動車にＬｉＤＡＲを搭載する際の設置の自由度を高めることができる。
　なお第１実施例の補正処理では、すべての測定点について２回ずつの測距が必要となるため、フレームレートが１／２に低下する。そこで、複数フレームに１回の割合で、補正を行ってもよい。
（第２実施例）
　図１１は、第２実施例に係る補正処理を説明する図である。第２実施例では、スキャン方向に離散的な複数の測定点を補正点とする。補正点から次の補正点までの間の測定点については、直前の補正処理で得られた補正角φＣＭＰを用いることとする。
　離散的な測定点は、たとえばオブジェクトＯＢＪごとに少なくとも１点設けるとよい。新しいオブジェクトＯＢＪは、距離ｒの大きな不連続にもとづいて検出してもよい。
　第２実施例によれば、高さｈは完全に一定とはならないものの、仰俯角一定制御を行った場合に比べれば、高さの変動を抑制できる。オブジェクトＯＢＪごとに補正を行えば、図４（ｂ）に関連する課題３や、図５に関連する課題４を解決できる。
　第２実施例では、図４（ａ）に関連する課題３が未解決のまま残りうる。その場合には、機械学習においても同様の歪んだ像を測定すればよい。
　図１２は、オブジェクト識別システム２００を備える自動車４００のブロック図である。自動車４００は、前照灯４１０を備える。オブジェクト識別システム２００のうち、少なくとも３次元センサ１０２は、前照灯４１０に内蔵される。コントローラ１０４も前照灯４１０に内蔵することができる。前照灯４１０は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ１０２の設置箇所として最も有利である。オブジェクト識別処理部２１０については、前照灯４１０に内蔵してもよいし、車両側に設けてもよい。
　図１３は、オブジェクト識別システム２００を備える車両用灯具５００を示すブロック図である。車両用灯具５００は、光源５０２、点灯回路５０４、光学系５０６、灯具ＥＣＵ５０８を備える。さらに車両用灯具５００には、オブジェクト識別システム２００が設けられる。
　オブジェクト識別処理部２１０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ４２０に送信される。車両ＥＣＵ４２０は、この情報にもとづいて、自動運転を行ってもよい。
　また、オブジェクト識別処理部２１０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具５００の配光制御（ＡＤＢ：Adaptive Driving Beam）に利用してもよい。具体的には、灯具ＥＣＵ５０８は、オブジェクト識別処理部２１０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路５０４および光学系５０６は、灯具ＥＣＵ５０８が生成した配光パターンが得られるように動作する。
　以上、本発明の一側面について、第１の実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、第１の実施の形態に関連する変形例について説明する。
　第１の実施の形態では、３次元センサ１０２としてＬｉＤＡＲを例としたが、この技術の適用はそれに限定されない。
＜第２の実施の形態＞
　図１４は、第２の実施の形態に係るオブジェクト識別システム１０のブロック図である。このオブジェクト識別システム１０は、自動車やバイクなどの車両に搭載される車載用であり、車両の周囲に存在するオブジェクトＯＢＪの種類（カテゴリともいう）を判定する。
　オブジェクト識別システム１０は、主として３次元センサ２０および演算処理装置４０を備える。３次元センサ２０は、高さが異なる複数の水平ラインＬ１～ＬＮについて、複数のラインデータＬＤ１～ＬＤＮを生成する。水平ラインの本数Ｎは、特に限定されないが、２０本以下、４～１２本程度が好適である。各ラインデータＬＤは、対応する水平ラインＬに沿った複数のサンプリング点Ｐまでの距離情報を含んでいる。複数のラインデータＬＤ１～ＬＤＮのセットを測距データと称する。３次元センサ２０は特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。水平ラインの本数Ｎは、すなわち垂直方向の解像度である。ＬｉＤＡＲの構成は特に限定されず、走査型、非走査型であるとを問わない。
　演算処理装置４０は、複数のラインデータＬＤ１～ＬＤＮを含む測距データにもとづいてオブジェクトの種類（カテゴリ）を識別する。演算処理装置４０は、１個のオブジェクトを含むデータを処理対象として構成され、１枚の測距データに、複数のオブジェクトが含まれる場合、前処理によって１個のオブジェクトを含むサブフレームに分割し、演算処理装置４０は、サブフレームを処理単位とする。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
　たとえばオブジェクトの種類は、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じ種類に分類して定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
　本実施の形態において、オブジェクトＯＢＪは、異なる高さについて、複数の部位（カテゴリあるいはサブカテゴリと称する）が定義される。図１５は、歩行者について定義される複数の部位の一例を示す図である。歩行者に関して、Ｍ個の部位Ｈ０～ＨＭ－１が定義される。本実施の形態では、Ｍ＝Ｎ＝８とする。Ｈ０は膝、Ｈ１は膝上、Ｈ２は太もも、Ｈ３は腰、Ｈ４は腹部、Ｈ５は胸、Ｈ６は肩、Ｈ７は顔である。
　自転車についても、異なる高さの複数の部位Ｂ０～Ｂ７が定義される。自動車についても、異なる高さの複数の部位Ｃ０～Ｃ７が定義される。電柱に関しても、異なる高さの複数の部位Ｐ０～Ｐ７を定義できるが、高さにかかわらずプロファイルは実質的に不変であるからそれらを区別する必要はなく、したがって、１つの出力Ｐ０にまとめることとする。
　図１６（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサ２０で撮影したときの複数のラインデータを示す図である。図１６（ａ）～（ｄ）において、複数のラインデータは、予め定義された複数の部位の形状を示している。
　図１に戻る。演算処理装置４０は、ラインデータＬＤごとに、オブジェクトＯＢＪの種類およびその部位に関する中間データＭＤを生成する。中間データＭＤｉは、対応するラインデータＬＤｉ（水平ラインＬｉ）が、いずれの種類の、いずれの部位であるかを統計的に示してもよい。
　そして演算処理装置４０は、複数のラインデータＬＤ１～ＬＤＮに対応する複数の中間データＭＤ１～ＭＤＮを統合して、オブジェクトＯＢＪの種類を示す最終データＦＤを生成する。最終データＦＤは、オブジェクトＯＢＪがいずれの種類であるかを統計的に示してもよい。
　演算処理装置４０は、機能的には、複数の第１演算ユニット４２＿１～４２＿Ｎと、第２演算ユニット４４を含む。演算ユニット４２，４４で示されるブロックは、必ずしもハードウェア的に独立していることを意味するものでない。たとえば、演算処理装置４０がシングルコアで構成される場合、複数の演算ユニット４２、４４は、単一のコアに対応しうる。演算処理装置４０がマルチコアを含む場合、各コアが、複数の演算ユニット４２，４４として機能しうる。
　ｉ番目（１≦ｉ≦Ｎ）の演算ユニット４２＿ｉは、対応するラインデータＬＤｉを処理し、中間データＭＤｉを生成する。第２演算ユニット４４は、複数の第１演算ユニット４２＿１～４２＿Ｎが生成する中間データＭＤ１～ＭＤＮを統合し、最終データＦＤを生成する。
　以上がオブジェクト識別システム１０の基本構成である。演算処理装置４０の実装は特に限定されないが、たとえばニューラルネットワークを用いて構成できる。以下、本発明者が検証を行った構成について説明する。第１演算ユニット４２に対応するニューラルネットワークを第１ニューラルネットワークＮＮ１，第２演算ユニット４４に対応するニューラルネットワークを第２ニューラルネットワークＮＮ２と称する。
　図１７は、第１ニューラルネットワークＮＮ１の構成例を示すブロック図である。第１ニューラルネットワークＮＮ１は、入力層５０、３層の中間層（隠れ層）５２、出力層５４で構成される。入力層５０のユニット数は、１ラインのサンプル点の個数に応じて定め、５２００とした。中間層は３層であり、ユニット数は２００，１００，５０とした。中間層５２においては、アファイン変換と、シグモイド関数を用いた変換が行われる。出力層５４では、アファイン変換と、ソフトマックス関数を用いた確率の計算が行われる。
　出力層５４には、歩行者に関する部位Ｈ０～Ｈ７、自動車に関する部位Ｃ０～Ｃ７、自転車に関する部位Ｂ０～Ｂ７、電柱に関する部位Ｐ０の、合計２５個のカテゴリを設定した。中間データＭＤｉは、複数のデータHuman-0th～Human-7th,Car-0th～Car-7th, Bicycle--0th～Bicycle7th, Pole-allを含み、歩行者に関する部位Ｈ０～Ｈ７、自動車に関する部位Ｃ０～Ｃ７、自転車に関する部位Ｂ０～Ｂ７、電柱に関する部位Ｐ０それぞれに該当する確率を示す。
　図１８は、第２ニューラルネットワークＮＮ２の構成例を示すブロック図である。第２ニューラルネットワークＮＮ２は、入力層６０、１層の中間層６２、出力層６４で構成される。入力層６０のユニット数は、前段の第１ニューラルネットワークＮＮ１の個数（Ｎ＝８）と、そのカテゴリ数（２５）の積２００とした。中間層６２は１層であり、ユニット数は５０とした。出力層６４には、歩行者（Human）、自動車（Car）、自転車(Bicycle)、電柱(Pole)の４カテゴリを設定した。すなわち最終データＦＤは、オブジェクトＯＢＪが、歩行者、自動車、自転車、電柱それぞれに該当する可能性を示す４つのデータHuman,Car,Bicycle,Poleを含む。
　第１ニューラルネットワークＮＮ１、第２ニューラルネットワークＮＮ２に共通する設定として、パラメータ更新法はAdam、学習係数は０．０１、反復計算回数は２０，０００回とした。
　第１ニューラルネットワークＮＮ１の前処理として、抽出、シフト、正規化を行うことが好ましい。
　抽出は、背景を除去し、オブジェクトＯＢＪを抽出する処理である。図１９（ａ）～（ｃ）は、オブジェクトの抽出を説明する図である。図１９（ａ）は、オブジェクトである自動車を示す図である。図１９（ｂ）は、図１９（ａ）のオブジェクトをＬｉＤＡＲで撮影したときの、複数のラインデータＬＤ１～ＬＤ８を示す。図１９（ｃ）には、オブジェクトを含むように抽出されたラインデータＬＤ１～ＬＤ８が示される。
　シフトは、オブジェクトが中央に位置するようにデータシフトする処理である。正規化は、距離データを所定値で除算する処理である。たとえば、所定値は、学習時における、３次元センサ２０とオブジェクトＯＢＪの所定箇所との距離（基準距離）であってもよい。これにより、ラインデータが、１付近の値に正規化される。
　続いて、機械学習について説明する。図２０（ａ）～（ｃ）は、第１の学習方法を説明する図である。図２０（ａ）に示すように、初めに学習に用いるデータ（学習）を測定する。学習データは、複数のオブジェクトをＬｉＤＡＲで測定することにより取得される。具体的には、識別したいオブジェクトの候補（歩行者、自動車、電柱、自転車に乗った人など）を、異なる条件下（たとえば、さまざまな距離、さまざまな方向から）で測定し、学習用のフレームデータＦＤ１，ＦＤ２，…を用意する。各フレームデータＦＤｉ（ｉ＝１，２，・・・）は、Ｎ本（ここでは８本）のラインデータを含むが、学習には、オブジェクトとクロスする有効なラインデータのみを使用してもよい。たとえば歩行者を撮影したフレームデータＦＤ１では、一番下の２本のラインデータＬＤ１１，ＦＤ１２は地面とクロスし、歩行者とクロスしないため、学習には用いないこととしてもよい。
　続いて、第１演算ユニット（第１ニューラルネットワーク）４２を対象とした学習を行う。図２０（ｂ）に示すように、複数のフレームデータに含まれる複数の有効なラインデータＬＤｉｊが個別に、教師データＴＤｉｊとともに第１演算ユニット４２に入力される。たとえばフレームＦＤ１のラインデータＬＤ１８を入力するときには、種類（カテゴリ）＝「歩行者」、部位（サブカテゴリ）＝「歩行者の顔」を示す教師データＴＤｉｊを与える。
　１個の第１演算ユニット４２について得られた学習結果は、すべての第１演算ユニット４２において使用される。続いて第２演算ユニット４４を学習させる。具体的には図２０（ｂ）に示すように、複数の第１演算ユニット４２と、第２演算ユニット（第２ニューラルネットワーク）４４が接続される。この状態で、演算処理装置４０に、複数のフレームデータＦＤ１，ＦＤ２・・・が個別に入力される。各フレームＦＤｉごとに、複数の第１演算ユニット４２によって複数の中間データＭＤ１～ＭＤ８のセットが生成され、後段の第２演算ユニット４４に供給される。第２演算ユニット４４には、中間データＭＤ１～ＭＤ６のセットに加えて、現在のフレームデータＦＤｉに含まれるオブジェクトの種類を示す教師データＴＤｉが与えられる。たとえば、演算処理装置４０に、歩行者を撮影したフレームデータＦＤｉを入力する場合、第２演算ユニット４４には、種類＝「歩行者」を示す教師データＴＤｉが与えられる。これを複数のフレームデータについて行うことにより、第２演算ユニット４４の学習が行われる。
　以上の構成を有するオブジェクト識別システム１０の有効性を検討するために行った実験について説明する。
　検証に用いたＬｉＤＡＲの水平ラインの本数は８である。水平ラインの照射角度（鉛直方向角度分解能）は、下から－１８．２５°，－１５．４２°，－１２．４９°，－９．４６°，－６．３６°，－３．１９°，０°，３．２°である。水平方向角度分解能は０．０３５度、撮影範囲は０～１８０°に設定した。したがってラインデータは、１８０／０．０３５＝５２００個のサンプル点の値を含む。
　図２１（ａ）、（ｂ）は、歩行者の撮影を説明する図である。ＬｉＤＡＲの中心からオブジェクトＯＢＪの距離（基準距離）は３ｍとした。歩行者のサンプルは、身長１６６ｃｍの成人男性であり、９つの方向（０°，２２．５°，４５°，６７．５°，９０°，１１２．５°，１３５°，１５７．５°，０°，１８０°）から撮影した。なおオブジェクトＯＢＪの正面（顔、ヘッドランプ）が見える方向を０°とする。歩行者に関して、図１５に示す８つの部位Ｈ０～Ｈ７に、８本の水平ラインが一致するように、ＬｉＤＡＲを、鉛直方向に７°（仰角）傾けている。
　自転車については、図１６（ｂ）に示すように人が跨がって静止した状態で撮影した。撮影方向は、歩行者と同様に９方向とした。
　自動車については、１種類の車種を、３方向（０°，９０°，１８０°）から撮影した。電柱は６本をサンプルとし、任意の方向から撮影した。
　訓練データとして、歩行者と自転車は３６００フレーム、自動車は３０００フレーム、電柱は１７００フレームを用いて機械学習を行った。学習方法は、図２０（ａ）～（ｃ）を参照して説明した通りである。
　その後、歩行者と自転車についてそれぞれ３６０フレーム、自動車、電柱についてそれぞれ３００フレームをテストデータとして、学習の結果を検証した。図２２は、第１ニューラルネットワークＮＮ１による２５カテゴリ（サブカテゴリ）の分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した（３６０＋３６０＋３００＋３００）フレーム×８本＝１０５６０本のラインデータのトータルの正解率を示す。それ以外は、歩行者、自動車、自転車、電柱の各部位の正解率を示す。
　図２３は、第２ニューラルネットワークＮＮ２による４カテゴリの分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した１３２０（＝３６０＋３６０＋３００＋３００）フレーム全体の正解率を示す。それ以外は、歩行者（Human）、自動車（Car）、自転車（Bicycle）、電柱（Pole）の正解率を示す。
　図２３からわかるように、歩行者（Human）、自動車（Car）、電柱（Pole）については１００％の正解率が得られている。自転車（Bicycle）についてのみ、正解率が９７．８％となっており、トータルの正解率は、自転車での誤りの影響を受けたものであることがわかる。
　このように、第２の実施の形態に係るオブジェクト識別システム１０によれば、わずかに８本の水平ラインの本数で、きわめて高確率でオブジェクトの種類を判定することができる。
　また、水平ラインの本数が８本と少ないことから、演算処理装置４０に要求される処理能力を小さくできる。
　ここでは、オブジェクトとＬｉＤＡＲの距離を３ｍと固定して検証したが、実際には、距離は可変である。したがって、距離を複数のレンジに区分けして、レンジごとに、ニューラルネットワークの学習を行えばよい。
　図２４は、オブジェクト識別システム１０を備える自動車６００のブロック図である。自動車６００は、前照灯６０２Ｌ，６０２Ｒを備える。オブジェクト識別システム１０のうち、少なくとも３次元センサ２０は、前照灯６０２Ｌ，６０２Ｒの少なくとも一方に内蔵される。前照灯６０２は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ２０の設置箇所として最も有利である。演算処理装置４０については、前照灯６０２に内蔵してもよいし、車両側に設けてもよい。たとえば演算処理装置４０のうち、中間データの生成は前照灯６０２の内部で行い、最終データの生成は車両側に委ねてもよい。
　図２５は、オブジェクト識別システム１０を備える車両用灯具７００を示すブロック図である。車両用灯具７００は、光源７０２、点灯回路７０４、光学系７０６を備える。さらに車両用灯具７００には、３次元センサ２０および演算処理装置４０が設けられる。演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ６０４に送信される。車両ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　また、演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具７００の配光制御に利用してもよい。具体的には、灯具ＥＣＵ７０８は、演算処理装置４０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路７０４および光学系７０６は、灯具ＥＣＵ７０８が生成した配光パターンが得られるように動作する。
　以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（学習方法に関する変形例）
　図２０（ａ）～（ｃ）に示す第１の学習方法では、ＬｉＤＡＲの設置（高さ、仰俯角、あるいはオブジェクトとの距離）に強く依存した学習が行われる場合がある。図２６（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図である。図２６（ａ）は、学習時にＬｉＤＡＲの設置高さを１４５ｃｍとした場合を示す。このとき、下側の３本のラインデータは無効であり、下から４本目～８本目のラインデータＬＤ４～ＬＤ８を用いた学習が行われる。
　実際の使用時に、図２６（ｂ）に示すように、ＬｉＤＡＲの設置高さが学習時より低い７０ｃｍであったとする。また歩行者とＬｉＤＡＲとの距離が、学習時より近いものとする。図２６（ｂ）の状態では、ラインデータＬＤ１～ＬＤ３は該当部位無し（サブカテゴリ無し）、ラインデータＬＤ４～ＬＤ７は、部位（サブカテゴリ）＝脚、ラインデータＬＤ８は、部位（サブカテゴリ）＝腹部である。
　図２６（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システム１０によって、図２６（ｂ）の状況で得られる最終データを示す。歩行者として認識されるべきところ、その他のカテゴリである確率の方が高いものと誤認識されている。これは第１学習方法では、第２演算ユニット４４における分類が、サブカテゴリの並び順、組み合わせに強く依存していることに起因するものと推察される。すなわち第１の学習方法を採用する場合、実際の使用段階における３次元センサの高さが、学習段階で用いた高さにより制約される可能性がある。第２の学習方法には、このような制約を減らす工夫が組み込まれる。
　第２の学習方法では、第１演算ユニット４２の学習は第１の学習方法と同様であり、第２演算ユニット４４の学習方法が異なっている。図２７は、第２の学習方法における第２演算ユニット４４の学習工程を説明する図である。具体的には、第２の学習方法では、学習済みの複数の第１演算ユニット４２の出力と、第２演算ユニット４４の複数の入力ノードＩ１～Ｉ８の対応関係４６を変化させながら、第２演算ユニット４４を学習させる。対応関係４６は、フレームデータＦＤｉごとにランダムに変化させてもよい。
　学習時間に余裕がある場合には、ひとつのフレームデータＦＤｉについて、対応関係を複数のパターンで切りかえて学習を行ってもよい。Ｎ＝８の場合、入出力の組み合わせは８×７＝５６通り存在する。したがって各フレームデータについて、すべての組み合わせで学習を行ってもよい。
　図２８は、第２の学習方法の効果を説明する図である。図２８は、第２の学習方法で学習済みのオブジェクト識別システム１０を用いて、図２６（ｂ）の状況で歩行者を想定したときの最終データＦＤを示す。第１の学習方法の結果得られる図２６（ｃ）の最終データに比べて、歩行者と認識する確率を高めることができている。
　このように、第２演算ユニット４４の学習工程において、複数の第１演算ユニット４２と、第２演算ユニット４４の複数の入力の対応関係を変化させることにより、ＬｉＤＡＲなどの３次元センサの設置の自由度を高めることができる。
　図２９は、変形例に係るオブジェクト識別システム１０Ａのブロック図である。この変形例において、第１演算ユニット４２Ａは、畳み込みニューラルネットワークとして実装される。一般的には、畳み込みニューラルネットワークは、Ｍ×Ｎピクセルの２次元画像を対象とするが、本実施形態では、それを１次元のラインデータを対象として利用する点が新しい。畳み込みニューラルネットワークは、畳み込み層とプーリング層の組み合わせである。畳み込みニューラルネットワークを用いることで、オブジェクトの横方向の位置ズレに対するロバスト性を高めることができる。
（その他の変形例）
　複数のラインデータの本数Ｎを８としたが、演算処理装置４０の演算能力と、要求されるオブジェクトＯＢＪの識別能力を考慮して、Ｎ＝４～１２程度としてもよい。
　一実施の形態において、オブジェクトを、それを望む方向ごとに異なる種類（カテゴリ）として定義してもよい。つまり、あるオブジェクトが、自車と正対しているときと、そうでないときとで、別の種類として識別される。これは、オブジェクトＯＢＪの移動方向の推定に役立つからである。
　演算処理装置４０は、ＦＰＧＡなどを用いてハードウェアのみで構成してもよい。
　実施の形態では、車載用のオブジェクト識別システム１０を説明したが本発明の適用はその限りでなく、たとえば信号機や交通標識、そのほかの交通インフラに固定的に設置され、定点観測する用途にも適用可能である。


　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
１００…認識センサ、１０２…３次元センサ、１０４…コントローラ、２００…オブジェクト識別システム、２１０…オブジェクト識別処理部、４００…自動車、４１０…前照灯、４２０…車両ＥＣＵ、５００…車両用灯具、５０２…光源、５０４…点灯回路、５０６…光学系、５０８…灯具ＥＣＵ、１０…オブジェクト識別システム、２０…３次元センサ、４０…演算処理装置、４２…第１演算ユニット、４４…第２演算ユニット、ＮＮ１…第１ニューラルネットワーク、ＮＮ２…第２ニューラルネットワーク、５０…入力層、５２…中間層、５４…出力層、６０…入力層、６２…中間層、６４…出力層、６００…自動車、６０２…前照灯、６０４…車両ＥＣＵ、７００…車両用灯具、７０２…光源、７０４…点灯回路、７０６…光学系、７０８…灯具ＥＣＵ。
　本発明は、物体の形状を検出する認識センサに利用できる。

Claims (22)

  1. 　仰俯角が設定可能に構成された３次元センサと、
    　スキャンライン上の複数の測定点の中の補正点において、当該補正点の高さが所定値に近づくように前記３次元センサの仰俯角を制御するコントローラと、
    　を備えることを特徴とする認識センサ。
  2. 　仰俯角が設定可能に構成された３次元センサと、
    　測定点までの水平距離にかかわらず、当該測定点の高さが所定値に近づくように前記３次元センサの仰俯角を制御するコントローラと、
    　を備えることを特徴とする認識センサ。
  3. 　仰俯角が設定可能に構成された３次元センサと、
    　実質的に平坦なオブジェクトをスキャンしたときに、各スキャンラインの高さがスキャン角度に依存せずに一定となるように前記３次元センサの仰俯角を制御するコントローラと、
    　を備えることを特徴とする認識センサ。
  4. 　前記コントローラは、複数の測定点のうちの補正点において、仮測定を行い、仮測定で得られた距離とそのときの前記仰俯角にもとづいて、本測定における前記仰俯角を計算することを特徴とする請求項１から３のいずれかに記載の認識センサ。
  5. 　前記コントローラは、すべての測定点において、仰俯角を補正することを特徴とする請求項１から４のいずれかに記載の認識センサ。
  6. 　前記コントローラは、各スキャンラインについて、オブジェクトごとに少なくとも１回、仰俯角を補正することを特徴とする請求項１から４のいずれかに記載の認識センサ。
  7. 　請求項１から６のいずれかに記載の認識センサを備えることを特徴とする自動車。
  8. 　請求項１から６のいずれかに記載の認識センサを備えることを特徴とする車両用灯具。
  9. 　水平方向にスキャン可能であり、仰俯角が調節可能な３次元センサの制御方法であって、
    　前記３次元センサに第１仰俯角をセットし、距離を仮測定するステップと、
    　プロセッサが、前記仮測定において測定された距離と前記第１仰俯角にもとづいて、補正された第２仰俯角を計算するステップと、
    　前記３次元センサに前記第２仰俯角をセットし、距離を本測定するステップと、
    　を備えることを特徴とする制御方法。
  10. 　高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、
    　前記複数のラインデータにもとづいてオブジェクトの種類を識別する演算処理装置と、
    　を備え、
    　前記演算処理装置は、
    　前記ラインデータごとに前記オブジェクトの種類およびその部位に関する中間データを生成し、前記複数のラインデータに対応する複数の中間データを統合して、前記オブジェクトの種類を示す最終データを生成することを特徴とするオブジェクト識別システム。
  11. 　前記中間データは、ニューラルネットワークを用いて生成されることを特徴とする請求項１０に記載のオブジェクト識別システム。
  12. 　前記中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すことを特徴とする請求項１０または１１に記載のオブジェクト識別システム。
  13. 　前記演算処理装置は、
    　前記複数のラインデータに対応する複数の第１ニューラルネットワークであって、それぞれが、対応する前記ラインデータが複数の種類の複数の部位それぞれに該当する確率を示す前記中間データを生成する、複数の第１ニューラルネットワークと、
    　前記複数の中間データを受け、前記オブジェクトが前記複数の種類それぞれに該当する確率を示す前記最終データを生成する第２ニューラルネットワークと、
    　を備えることを特徴とする請求項１１に記載のオブジェクト識別システム。
  14. 　複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、前記第１ニューラルネットワークに学習させるステップと、
    　学習済みの前記複数の第１ニューラルネットワークの出力と、前記第２ニューラルネットワークの複数の入力ノードの対応関係を変化させながら、前記第２ニューラルネットワークに学習させるステップと、
    　が実行されることを特徴とする請求項１３に記載のオブジェクト識別システム。
  15. 　前記対応関係の変化はランダムであることを特徴とする請求項１４に記載のオブジェクト識別システム。
  16. 　前記演算処理装置は、前処理として、各ラインデータに含まれる値を所定値で除算する正規化を行うことを特徴とする請求項１０から１５のいずれかに記載のオブジェクト識別システム。
  17. 　前記オブジェクトの種類は、少なくとも、歩行者、自転車に乗った人、自動車を含むことを特徴とする請求項１０から１６のいずれかに記載のオブジェクト識別システム。
  18. 　請求項１０から１７のいずれかに記載のオブジェクト識別システムを備えることを特徴とする自動車。
  19. 　前記３次元センサは、前照灯に内蔵されることを特徴とする請求項１８に記載の自動車。
  20. 　請求項１０から１７のいずれかに記載のオブジェクト識別システムを備えることを特徴とする車両用灯具。
  21. 　複数のラインデータにもとづきオブジェクトの種類を識別する方法であって、
    　前記ラインデータごとに前記オブジェクトの種類およびその部位に関する中間データを生成するステップと、
    　前記複数のラインデータに対応する複数の中間データを統合して、前記オブジェクトの種類を示す最終データを生成するステップと、
    　を備えることを特徴とする方法。
  22. 　高さが異なる複数の水平ラインに対応する複数のラインデータにもとづいてオブジェクトの種類を識別する演算処理装置の学習方法であって、
    　前記演算処理装置は、
    　前記複数のラインデータに対応する複数の第１ニューラルネットワークであって、それぞれが、対応する前記ラインデータが複数の種類の複数の部位それぞれに該当する確率を示す中間データを生成する、複数の第１ニューラルネットワークと、
    　前記複数の第１ニューラルネットワークから複数の中間データを受け、前記オブジェクトが前記複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、
    　を備えるものであり、
    　前記学習方法は、
    　複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、前記第１ニューラルネットワークに学習させるステップと、
    　学習済みの前記複数の第１ニューラルネットワークの出力と、前記第２ニューラルネットワークの複数の入力ノードの対応関係を変化させながら、前記第２ニューラルネットワークに学習させるステップと、
    　を備えることを特徴とする方法。
PCT/JP2018/028978 2017-08-18 2018-08-02 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法 WO2019035363A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18846493.7A EP3671279B1 (en) 2017-08-18 2018-08-02 Recognition sensor, control method therefor, automobile, vehicle light fixture, object identification system, and object identification method
CN201880053552.5A CN111033316B (zh) 2017-08-18 2018-08-02 识别传感器及其控制方法、汽车、车辆用灯具、对象识别系统、对象的识别方法
JP2019536727A JP7193464B2 (ja) 2017-08-18 2018-08-02 認識センサ、自動車、車両用灯具
US16/792,505 US11754714B2 (en) 2017-08-18 2020-02-17 Recognition sensor and control method thereof, automobile, automotive lamp, object recognition system, and object recognition method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2017-157944 2017-08-18
JP2017157944 2017-08-18
JP2017162607 2017-08-25
JP2017-162607 2017-08-25
JP2018043457 2018-03-09
JP2018-043457 2018-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/792,505 Continuation US11754714B2 (en) 2017-08-18 2020-02-17 Recognition sensor and control method thereof, automobile, automotive lamp, object recognition system, and object recognition method

Publications (1)

Publication Number Publication Date
WO2019035363A1 true WO2019035363A1 (ja) 2019-02-21

Family

ID=65362508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028978 WO2019035363A1 (ja) 2017-08-18 2018-08-02 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法

Country Status (5)

Country Link
US (1) US11754714B2 (ja)
EP (1) EP3671279B1 (ja)
JP (1) JP7193464B2 (ja)
CN (1) CN111033316B (ja)
WO (1) WO2019035363A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176877A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
JP2020154053A (ja) * 2019-03-18 2020-09-24 株式会社リコー 光偏向素子及びその製造方法、光偏向システム、光走査システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077519A (ko) * 2020-12-02 2022-06-09 현대자동차주식회사 라이다 센서를 이용한 고도 구조물 인지 장치 및 방법
WO2023159517A1 (en) * 2022-02-25 2023-08-31 Xiamen University System and method of capturing three-dimensional human motion capture with lidar

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140790A (ja) * 2000-10-31 2002-05-17 Natl Inst For Land & Infrastructure Management Mlit 横断歩行者検出方法
JP2002236178A (ja) * 2001-02-07 2002-08-23 Honda Motor Co Ltd 移動体における物体検知装置
US20040036261A1 (en) * 1995-06-07 2004-02-26 Breed David S. Method and apparatus for sensing a vehicle crash
JP2005043247A (ja) * 2003-07-23 2005-02-17 Nissan Motor Co Ltd 先行車両検出装置
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3129492A1 (de) * 1981-07-27 1983-02-10 Siemens AG, 1000 Berlin und 8000 München 3d-luftraum-ueberwachungsradar
US5983161A (en) * 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US20040024660A1 (en) * 2002-08-05 2004-02-05 General Electric Company System and method for providing asset management and tracking capabilities
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP4354343B2 (ja) * 2004-06-15 2009-10-28 株式会社トプコン 位置測定システム
JP4428208B2 (ja) * 2004-11-16 2010-03-10 株式会社デンソー 車両用物体認識装置
JP4244964B2 (ja) * 2005-06-06 2009-03-25 オムロン株式会社 車両用測距装置
JP2009168472A (ja) * 2008-01-10 2009-07-30 Zenrin Co Ltd レーザースキャナのキャリブレーション装置及びキャリブレーション方法
JP5278728B2 (ja) * 2008-02-28 2013-09-04 アイシン精機株式会社 距離画像センサの校正装置及び校正方法
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
JP2011247619A (ja) 2010-05-24 2011-12-08 Sanyo Electric Co Ltd ビーム照射装置
JP5751014B2 (ja) * 2010-05-28 2015-07-22 リコーイメージング株式会社 天体自動追尾撮影方法及び天体自動追尾撮影装置
US9267792B2 (en) * 2013-01-21 2016-02-23 Systèmes Pavemetrics Inc. Method and apparatus for compensating lateral displacements and low speed variations in the measure of a longitudinal profile of a surface
KR102027771B1 (ko) * 2013-01-31 2019-10-04 한국전자통신연구원 차량 속도 적응형 장애물 검출 장치 및 방법
US9113154B2 (en) * 2013-07-10 2015-08-18 Faro Technologies, Inc. Three-dimensional measurement device having three-dimensional overview camera
JP2015197329A (ja) * 2014-03-31 2015-11-09 三菱重工業株式会社 データ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラム
CN104318581A (zh) * 2014-11-14 2015-01-28 成都华川电装有限责任公司 车载预警系统摄像头标定方法
DE102014225344A1 (de) * 2014-12-10 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
WO2017125925A1 (en) * 2016-01-19 2017-07-27 Speculo Systems Ltd Method and system for real-time detection and location of multiple independently moving objects
EP3203263B1 (de) * 2016-02-03 2018-04-18 Sick Ag Optoelektronischer sensor und verfahren zum erfassen von objekten
US20170303819A1 (en) * 2016-04-21 2017-10-26 KHN Solutions, Inc. Method and system for alcohol sensing device characterization
US10000172B2 (en) * 2016-06-28 2018-06-19 Ford Global Technologies, Llc Detecting hazards in anticipation of opening vehicle doors
US10643124B2 (en) * 2016-08-12 2020-05-05 Beijing Deephi Intelligent Technology Co., Ltd. Method and device for quantizing complex artificial neural network
CN106570454B (zh) * 2016-10-10 2019-06-11 同济大学 基于移动激光扫描的行人交通参数提取方法
CN106599869B (zh) * 2016-12-22 2019-12-03 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
US10338223B1 (en) * 2017-12-13 2019-07-02 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
JP7060377B2 (ja) * 2017-12-26 2022-04-26 株式会社トプコン 測量装置、測量用制御装置、測量制御方法および測量制御処理用プログラム
WO2019167884A1 (ja) * 2018-02-28 2019-09-06 富士フイルム株式会社 機械学習方法及び装置、プログラム、学習済みモデル、並びに判別装置
JP7067354B2 (ja) * 2018-08-09 2022-05-16 株式会社Ihi 物体検出装置及び物体検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036261A1 (en) * 1995-06-07 2004-02-26 Breed David S. Method and apparatus for sensing a vehicle crash
JP2002140790A (ja) * 2000-10-31 2002-05-17 Natl Inst For Land & Infrastructure Management Mlit 横断歩行者検出方法
JP2002236178A (ja) * 2001-02-07 2002-08-23 Honda Motor Co Ltd 移動体における物体検知装置
JP2005043247A (ja) * 2003-07-23 2005-02-17 Nissan Motor Co Ltd 先行車両検出装置
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKIHITO OHSATO ET AL: "2A2-S05 A Method of 2D Environmental Map Generation and Localization using Visual Odometry and 3D-LIDAR", PROCEEDINGS OF THE 2014 JSME CONFERENCE ON ROBOTICS AND MECHATRONICS, 24 May 2014 (2014-05-24), pages 1 - 3, XP055674692, DOI: 10.1299/jsmermd.2014._2A2-S05_1 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176877A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
JPWO2019176877A1 (ja) * 2018-03-15 2021-03-18 株式会社小糸製作所 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
JP7174037B2 (ja) 2018-03-15 2022-11-17 株式会社小糸製作所 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
US11841435B2 (en) 2018-03-15 2023-12-12 Koito Manufacturing Co., Ltd. Object identification system
JP2020154053A (ja) * 2019-03-18 2020-09-24 株式会社リコー 光偏向素子及びその製造方法、光偏向システム、光走査システム

Also Published As

Publication number Publication date
US11754714B2 (en) 2023-09-12
EP3671279A1 (en) 2020-06-24
EP3671279A4 (en) 2021-03-31
JPWO2019035363A1 (ja) 2020-07-27
CN111033316A (zh) 2020-04-17
EP3671279B1 (en) 2024-08-14
US20200183007A1 (en) 2020-06-11
JP7193464B2 (ja) 2022-12-20
CN111033316B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
US20210295065A1 (en) Object identification system
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US11341604B2 (en) Processing device for object identification
WO2019035363A1 (ja) 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法
JP6825569B2 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2012120856A1 (ja) 物体検出装置及び物体検出方法
CN110378202B (zh) 一种基于鱼眼镜头的全方位行人碰撞预警方法
JP2004037239A (ja) 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
US20240029444A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
WO2009130827A1 (ja) 車両周辺監視装置
JP7227227B2 (ja) オブジェクト識別システム、自動車、車両用灯具
JP7288460B2 (ja) 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
WO2019176877A1 (ja) オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
EP4382968A1 (en) Gating camera, vehicular sensing system, and vehicular lamp
EP4246467A1 (en) Electronic instrument, movable apparatus, distance calculation method, and storage medium
WO2019146514A1 (ja) 車載カメラシステム、車両用灯具、遠方の検出方法、車両用灯具の制御方法
JPH11235949A (ja) 自動車用ヘッドライトの配光制御装置
JP2021103149A (ja) 推定装置、推定方法、推定プログラム
JP2021103148A (ja) 推定装置、推定方法、推定プログラム
JP2020077297A (ja) 位置姿勢推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18846493

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019536727

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018846493

Country of ref document: EP

Effective date: 20200318