WO2019176877A1 - オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法 - Google Patents

オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法 Download PDF

Info

Publication number
WO2019176877A1
WO2019176877A1 PCT/JP2019/009781 JP2019009781W WO2019176877A1 WO 2019176877 A1 WO2019176877 A1 WO 2019176877A1 JP 2019009781 W JP2019009781 W JP 2019009781W WO 2019176877 A1 WO2019176877 A1 WO 2019176877A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
intermediate data
neural network
identification system
line data
Prior art date
Application number
PCT/JP2019/009781
Other languages
English (en)
French (fr)
Inventor
徹 永島
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2020506523A priority Critical patent/JP7174037B2/ja
Priority to CN201980018990.2A priority patent/CN111919139A/zh
Priority to EP19767179.5A priority patent/EP3767338A4/en
Publication of WO2019176877A1 publication Critical patent/WO2019176877A1/ja
Priority to US17/021,410 priority patent/US11841435B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to an object identification system.
  • LiDAR Light Detection and Ranging, Laser Imaging and Detection
  • cameras millimeter wave radar, and ultrasonic sonar.
  • LiDAR is capable of (i) object recognition based on point cloud data, and (ii) high-precision detection even in bad weather due to active sensing, compared to other sensors.
  • Iii) has an advantage that a wide range of measurement is possible, and is expected to become the mainstream in the sensing system of automobiles in the future.
  • the object identification based on the point cloud data generated by LiDAR is more accurate as the resolution of the point cloud data is higher, but the cost of arithmetic processing increases explosively. In consideration of mounting on a vehicle, it may be necessary to use a low-end low-end arithmetic processing unit, and it is necessary to reduce the number of scan lines.
  • the present invention has been made in such a situation, and one of exemplary purposes of an aspect thereof is to provide a system, an apparatus, and a method capable of identifying an object with a small number of horizontal lines.
  • An aspect of the present invention relates to an object identification system.
  • An object identification system includes: a three-dimensional sensor that generates a plurality of line data for a plurality of horizontal lines having different heights; an arithmetic processing device that identifies an object type (category or class) based on the plurality of line data; Is provided.
  • Each of the arithmetic processing units generates first intermediate data related to one corresponding one of the plurality of line data, and the first intermediate data has a probability that the corresponding line data corresponds to each of a plurality of parts of a plurality of types (
  • a plurality of first neural networks and a plurality of first intermediate data corresponding to a plurality of line data, and the plurality of first intermediate data are combined to form at least one second intermediate data.
  • a second neural network that receives at least one second intermediate data and generates final data indicating the probability that the object corresponds to each of a plurality of types.
  • the automobile may include the object identification system described above.
  • the 3D sensor may be built in the headlamp.
  • the vehicular lamp may include the above-described object identification system.
  • an object can be identified with a small number of horizontal lines.
  • FIGS. 3A to 3D are diagrams showing a plurality of line data when a pedestrian, a bicycle, a car, and a utility pole are photographed with a three-dimensional sensor. It is a block diagram which shows the structural example of a 1st neural network. It is a block diagram which shows the structural example of a 2nd neural network. 6A to 6C are diagrams for explaining object extraction. 7A to 7C are diagrams for explaining the first learning method.
  • FIGS. 8A and 8B are diagrams for explaining shooting of a pedestrian.
  • FIGS. 13A and 13B are diagrams showing the relationship between the height of LiDAR and the objects.
  • FIG. 13C shows the relationship between the object learning system learned by the first learning method and FIG. It is a figure which shows the last data obtained in the condition of (). It is a figure explaining the learning process of the 2nd arithmetic unit in the 2nd learning method. It is a figure explaining the effect of the 2nd learning method.
  • An object identification system includes: a three-dimensional sensor that generates a plurality of line data for a plurality of horizontal lines having different heights; an arithmetic processing device that identifies an object type (category or class) based on the plurality of line data; Is provided.
  • Each of the arithmetic processing units generates first intermediate data related to one corresponding one of the plurality of line data, and the first intermediate data has a probability that the corresponding line data corresponds to each of a plurality of parts of a plurality of types (
  • a plurality of first neural networks and a plurality of first intermediate data corresponding to a plurality of line data, and the plurality of first intermediate data are combined to form at least one second intermediate data.
  • a second neural network that receives at least one second intermediate data and generates final data indicating the probability that the object corresponds to each of a plurality of types.
  • the type of object can be determined with a small number of horizontal lines. Further, by combining a plurality of first intermediate data, the dependency in the height direction can be reduced. Thereby, the restrictions of installation of a three-dimensional sensor can be eased. It should be noted that the height information is not completely lost by the combining process, and the site continues to hold the height information.
  • the at least one second intermediate data is one, and the second intermediate data may be obtained based on all of the plurality of first intermediate data.
  • each second intermediate data may be obtained based on some consecutive ones of the plurality of first intermediate data.
  • Each of the at least one second intermediate data may be an average or a sum of some corresponding first intermediate data.
  • the average may be a simple average or a weighted average.
  • Each of the at least one second intermediate data may be a maximum value of some corresponding first intermediate data.
  • a step of causing the first neural network to learn using a plurality of line data obtained by measuring each of a plurality of types of parts, and a combined processing unit for outputting the outputs of the plurality of learned first neural networks A step of allowing the second neural network to learn in a state of being coupled to the second neural network via.
  • the arithmetic processing unit may perform normalization that divides a value included in each line data by a predetermined value as preprocessing.
  • the types of objects may include at least pedestrians, bicycle riders, and cars.
  • FIG. 1 is a block diagram of an object identification system 10 according to the first exemplary embodiment.
  • the object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (also referred to as category or class) of an object OBJ existing around the vehicle.
  • the object identification system 10 mainly includes a three-dimensional sensor 20 and an arithmetic processing device 40.
  • the three-dimensional sensor 20 generates a plurality of line data LD 1 to LD N for a plurality of horizontal lines L 1 to L N having different heights.
  • the number N of horizontal lines is not particularly limited, but 20 or less and about 4 to 12 are preferable.
  • Each line data LD includes distance information to a plurality of sampling points P along the corresponding horizontal line L.
  • a set of a plurality of line data LD 1 to LD N is referred to as distance measurement data.
  • the three-dimensional sensor 20 is not particularly limited, it is preferable to use LiDAR when it is desired to accurately identify an object with small unevenness such as a pedestrian.
  • the number N of horizontal lines is the resolution in the vertical direction.
  • the configuration of LiDAR is not particularly limited, and may be a scanning type or a non-scanning type.
  • the arithmetic processing unit 40 identifies the type (category) of the object based on the distance measurement data including the plurality of line data LD 1 to LD N.
  • the arithmetic processing unit 40 is configured to process data including one object, and when one piece of distance measurement data includes a plurality of objects, the arithmetic processing unit 40 divides the data into subframes including one object by preprocessing.
  • the arithmetic processing unit 40 uses subframes as processing units.
  • the arithmetic processing unit 40 can be implemented by a combination of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a processor (hardware) such as a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 40 may be a combination of a plurality of processors.
  • examples of object types include pedestrians, bicycles, cars, and utility poles.
  • the object OBJ is defined with a plurality of parts (referred to as categories or subcategories) for different heights.
  • FIG. 2 is a diagram illustrating an example of a plurality of parts defined for a pedestrian.
  • M sites H 0 to H M-1 are defined.
  • H 0 is the knee
  • H 1 is above the knee
  • H 2 is the thigh
  • H 3 is the waist
  • H 4 is the abdomen
  • H 5 is the chest
  • H 6 is the shoulder
  • H 7 is the face.
  • a plurality of parts B 0 to B 7 having different heights are also defined for the bicycle.
  • a plurality of portions C 0 to C 7 having different heights are also defined for the automobile.
  • a plurality of parts P 0 to P 7 having different heights can be defined, but it is not necessary to distinguish them because the profile is substantially invariant regardless of the height, and therefore one output P 0 To summarize.
  • FIGS. 3A to 3D are diagrams showing a plurality of line data when a pedestrian, a bicycle, a car, and a utility pole are photographed by the three-dimensional sensor 20.
  • the plurality of line data indicate the shapes of a plurality of predefined parts.
  • the arithmetic processing unit 40 generates intermediate data MD related to the type of the object OBJ and its part for each line data LD.
  • the intermediate data MD i may statistically indicate which type and which part the corresponding line data LD i (horizontal line L i ) is.
  • the processor 40 integrates the plurality of intermediate data MD 1 ⁇ MD N corresponding to a plurality of line data LD 1 ⁇ LD N, to produce a final data FD indicating the type of object OBJ.
  • the final data FD may indicate statistically which type the object OBJ is.
  • the arithmetic processing unit 40 functionally includes a plurality of first arithmetic units 42_1 to 42_N and a second arithmetic unit 44.
  • the blocks indicated by the arithmetic units 42 and 44 do not necessarily mean that they are independent in hardware.
  • the arithmetic processing unit 40 is configured with a single core, the plurality of arithmetic units 42 and 44 can correspond to a single core.
  • each core can function as a plurality of arithmetic units 42 and 44.
  • the i-th (1 ⁇ i ⁇ N) arithmetic unit 42 — i processes the corresponding line data LD i to generate intermediate data MD i .
  • the second arithmetic unit 44 integrates the intermediate data MD 1 ⁇ MD N of the plurality of first arithmetic units 42_1 ⁇ 42_N generated, to produce the final data FD.
  • the above is the basic configuration of the object identification system 10.
  • the implementation of the arithmetic processing unit 40 is not particularly limited, but can be configured using, for example, a neural network.
  • the configuration verified by the inventor will be described below.
  • the neural network corresponding to the first arithmetic unit 42 is referred to as a first neural network NN 1
  • the neural network corresponding to the second arithmetic unit 44 is referred to as a second neural network NN 2 .
  • FIG. 4 is a block diagram showing a first configuration example of the neural network NN 1.
  • the first neural network NN 1 includes an input layer 50, three intermediate layers (hidden layers) 52, and an output layer 54.
  • the number of units of the input layer 50 is determined according to the number of sample points in one line and is 5200. There are three intermediate layers, and the number of units is 200, 100, 50.
  • affine transformation and transformation using a sigmoid function are performed in the output layer 54.
  • the affine transformation and the calculation of the affiliation probability using the softmax function are performed.
  • the intermediate data MD i includes a plurality of data Human-0th to Human-7th, Car-0th to Car-7th, Bicycle--0th to Bicycle7th, Pole-all, and parts H 0 to H 7 related to pedestrians, about cars
  • the probabilities corresponding to the part C 0 to C 7 , the part B 0 to B 7 related to the bicycle, and the part P 0 related to the utility pole are shown.
  • FIG. 5 is a block diagram showing a second configuration example of the neural network NN 2.
  • the intermediate layer 62 is one layer, and the number of units is 50.
  • the output layer 64 four categories of a pedestrian (Human), a car (Car), a bicycle (Bicycle), and a utility pole (Pole) are set. That is, the final data FD includes four data Human, Car, Bicycle, and Pole that indicate the possibility that the object OBJ corresponds to each of a pedestrian, a car, a bicycle, and a utility pole.
  • the parameter update method is Adam
  • the learning coefficient is 0.01
  • the number of iterations is 20,000.
  • Extraction is a process of removing the background and extracting the object OBJ.
  • 6A to 6C are diagrams for explaining object extraction.
  • FIG. 6A is a diagram illustrating an automobile that is an object.
  • FIG. 6B shows a plurality of line data LD 1 to LD 8 when the object of FIG. 6A is photographed with LiDAR.
  • FIG. 6C shows line data LD 1 to LD 8 extracted so as to include the object.
  • Shift is a process of shifting data so that the object is positioned at the center.
  • Normalization is a process of dividing distance data by a predetermined value.
  • the predetermined value may be a distance (reference distance) between the three-dimensional sensor 20 and a predetermined portion of the object OBJ at the time of learning. Thereby, the line data is normalized to a value near 1.
  • FIGS. 7A to 7C are diagrams illustrating the first learning method.
  • data learning data or teacher data
  • Learning data is acquired by measuring a plurality of objects with LiDAR. Specifically, you can measure candidate objects (pedestrians, cars, utility poles, people on bicycles, etc.) you want to identify under different conditions (for example, from different distances, from different directions)
  • Data FD 1 , FD 2 ,... are prepared.
  • a plurality of valid line data LD ij included in the plurality of frame data is individually input to the first arithmetic unit 42 together with the teacher data TD ij .
  • the learning result obtained for one first arithmetic unit 42 is used in all the first arithmetic units 42.
  • the second arithmetic unit 44 is learned. Specifically, as shown in FIG. 7B, a plurality of first arithmetic units 42 and a second arithmetic unit (second neural network) 44 are connected. In this state, a plurality of frame data FD 1 , FD 2 ... Are individually input to the arithmetic processing unit 40. For each frame FD i , a plurality of sets of intermediate data MD 1 to MD 8 are generated by the plurality of first arithmetic units 42 and supplied to the second arithmetic unit 44 at the subsequent stage.
  • the number of horizontal lines of LiDAR used for verification is 8.
  • the irradiation angle of the horizontal line (vertical angle resolution) is -18.25 °, -15.42 °, -12.49 °, -9.46 °, -6.36 °, -3.19 ° from the bottom. , 0 °, 3.2 °.
  • FIGS. 8A and 8B are diagrams for explaining shooting of a pedestrian.
  • the distance (reference distance) of the object OBJ from the center of LiDAR was 3 m.
  • the pedestrian sample is an adult male with a height of 166 cm and has nine directions (0 °, 22.5 °, 45 °, 67.5 °, 90 °, 112.5 °, 135 °, 157.5 °, (0 °, 180 °)
  • the direction in which the front (face, headlamp) of the object OBJ can be seen is 0 °.
  • the LiDAR is tilted by 7 ° (elevation angle) in the vertical direction so that the eight horizontal lines coincide with the eight portions H 0 to H 7 shown in FIG.
  • the photograph was taken with a person straddling and standing still.
  • the shooting direction was set to 9 as with the pedestrian.
  • the object identification system 10 it is possible to determine the type of an object with a very high probability with the number of only eight horizontal lines.
  • the distance between the object and LiDAR is fixed at 3 m, but the distance is actually variable. Therefore, the distance may be divided into a plurality of ranges and the neural network may be learned for each range.
  • FIG. 11 is a block diagram of an automobile provided with the object identification system 10.
  • the automobile 100 includes headlamps 102L and 102R.
  • the object identification system 10 at least the three-dimensional sensor 20 is built in at least one of the headlamps 102L and 102R.
  • the headlamp 102 is located at the foremost end of the vehicle body, and is most advantageous as an installation location of the three-dimensional sensor 20 in detecting surrounding objects.
  • the arithmetic processing unit 40 may be built in the headlamp 102 or provided on the vehicle side. For example, in the arithmetic processing unit 40, intermediate data may be generated inside the headlamp 102, and final data generation may be left to the vehicle side.
  • FIG. 12 is a block diagram showing a vehicular lamp 200 including the object identification system 10.
  • the vehicular lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicular lamp 200 is provided with a three-dimensional sensor 20 and an arithmetic processing unit 40. Information regarding the object OBJ detected by the arithmetic processing unit 40 is transmitted to the vehicle ECU 104. The vehicle ECU may perform automatic driving based on this information.
  • the information regarding the object OBJ detected by the arithmetic processing device 40 may be used for light distribution control of the vehicular lamp 200.
  • the lamp ECU 208 generates an appropriate light distribution pattern based on information regarding the type and position of the object OBJ generated by the arithmetic processing device 40.
  • the lighting circuit 204 and the optical system 206 operate so that the light distribution pattern generated by the lamp ECU 208 is obtained.
  • FIGS. 13A and 13B are diagrams illustrating the relationship between the height of LiDAR and the objects.
  • FIG. 13A shows a case where the installation height of LiDAR is 145 cm during learning. At this time, the lower three line data are invalid, and learning is performed using the fourth to eighth line data LD 4 to LD 8 from the bottom.
  • the installation height of LiDAR is 70 cm lower than that during learning. It is also assumed that the distance between the pedestrian and LiDAR is closer than at the time of learning.
  • the line data LD 1 to LD 3 has no corresponding part (no subcategory)
  • FIG. 13C shows the final data obtained in the situation of FIG. 13B by the object identification system 10 that has been learned by the first learning method. Where it should be recognized as a pedestrian, it is misrecognized as having a higher probability of being in another category. This is presumably due to the fact that the classification in the second arithmetic unit 44 strongly depends on the order and combination of subcategories in the first learning method. That is, when the first learning method is adopted, the height of the three-dimensional sensor in the actual use stage may be restricted by the height used in the learning stage.
  • the second learning method incorporates a device for reducing such restrictions.
  • FIG. 14 is a diagram illustrating the learning process of the second arithmetic unit 44 in the second learning method. Specifically, in the second learning method, while changing the correspondence 46 of the plurality of learned first computation units 42 and the plurality of input nodes I 1 to I 8 of the second computation unit 44, The second arithmetic unit 44 is learned.
  • the correspondence relationship 46 may be randomly changed for each frame data FD i .
  • the learning may be performed by switching the correspondence relationship with a plurality of patterns for one frame data FD i .
  • N 8
  • ⁇ 7 56 combinations of input and output. Therefore, learning may be performed in all combinations for each frame data.
  • FIG. 15 is a diagram for explaining the effect of the second learning method.
  • FIG. 15 shows final data FD when a pedestrian is assumed in the situation of FIG. 13B using the object identification system 10 learned by the second learning method. Compared to the final data of FIG. 13C obtained as a result of the first learning method, the probability of recognizing a pedestrian can be increased.
  • the learning process of the second arithmetic unit 44 by changing the correspondence relationship between the plurality of first arithmetic units 42 and the plurality of inputs of the second arithmetic unit 44, the installation of a three-dimensional sensor such as LiDAR can be performed.
  • the degree of freedom can be increased.
  • FIG. 16 is a block diagram of an object identification system 10A according to a modification.
  • the first arithmetic unit 42A is implemented as a convolutional neural network.
  • a convolutional neural network targets an M ⁇ N pixel two-dimensional image, but this embodiment is new in that it uses one-dimensional line data as a target.
  • a convolutional neural network is a combination of a convolutional layer and a pooling layer. By using the convolutional neural network, it is possible to improve the robustness against the positional deviation of the object in the horizontal direction.
  • the discriminating power is improved by devising a learning method.
  • improvement in discrimination power is realized by devising the configuration of the arithmetic processing unit.
  • FIG. 17 is a block diagram of an object identification system 10B according to the second embodiment.
  • the object identification system 10B includes a three-dimensional sensor 20 and an arithmetic processing device 70.
  • the arithmetic processing unit 70 includes a plurality of first neural networks 72_1 to 72_N, a joint processing unit 74, and a second neural network 76.
  • the first intermediate data MD 1_I the corresponding line data LD i is illustrates a probability corresponding to each of the plurality of sites of a plurality of kinds (categories) (subcategories).
  • the combination processing unit 74 receives a plurality of first intermediate data MD 1_1 to MD 1_N corresponding to the plurality of line data LD 1 to LD N , combines them, and generates at least one second intermediate data MD 2 .
  • the second intermediate data MD 2 is one. That is, all of the first intermediate data MD 1_1 ⁇ MD 1_N is coupled to the second intermediate data MD 2 one. Similar to the first intermediate data MD 1 , the second intermediate data MD 2 indicates the probability that the corresponding line data LD i corresponds to each of a plurality of parts (subcategories) of a plurality of types (categories).
  • FIG. 18 is a diagram illustrating an example of processing of the combination processing unit 74.
  • the i-th first intermediate data MD 1_i includes K elements a 1i to a Ki .
  • Coupling processor 74 an average of the plurality of first intermediate data MD 1_1 ⁇ MD 1_N, the second intermediate data MD 2.
  • the j-th element b j of the second intermediate data MD 2 is given by the following equation.
  • Second neural network 76 the second receiving the intermediate data MD 2, object OBJ to generate the final data FD indicating the probability corresponding to each of the plurality of types (categories).
  • the second neural network 76 can be configured similarly to the neural network of FIG.
  • the object identification system 10B is learned using the first learning method described above. That is, the first neural network 72 is trained using a plurality of line data obtained by measuring each of a plurality of types of parts. A common learning result is applied to all the first neural networks 72_1 to 72_N.
  • the second neural network 76 is trained in a state where the outputs of the plurality of learned first neural networks 72_1 to 72_N are coupled to the second neural network 76 via the coupling processing unit 74.
  • FIG. 19 is a diagram showing final data obtained in the situation of FIG. 13B by the object identification system in the second embodiment. According to the second embodiment, the probability of recognizing a pedestrian can be increased as compared to the final data of FIG. 13C obtained by a combination of the first embodiment and the first learning method. .
  • the sum may be taken in the combination processing unit 74.
  • the combination processing unit 74 may take the maximum value.
  • b j max (a j1 , a i2 ,... a iK )
  • Second intermediate data MD 2 to one and may be plural.
  • N pieces of first intermediate data MD 1_1 to MD 1_N may be combined with two pieces of second intermediate data MD 2_1 and MD 2_2 .
  • the plurality of first intermediate data MD 1_1 to MD 1_N are divided into two groups, the second intermediate data MD 2_1 is generated from one group, and the second intermediate data MD 2_2 is generated from the other group. May be.
  • FIG. 20 is a block diagram of an object identification system 10C according to the third modification.
  • a convolutional neural network is applied to the object identification system 10B of FIG.
  • the convolutional neural network it is possible to improve the robustness against the positional deviation of the object in the horizontal direction.
  • N of the plurality of line data is set to 8
  • N may be about 4 to 12 in consideration of the calculation capability of the calculation processing device 40 and the required identification capability of the object OBJ.
  • an object may be defined as a different type (category) for each direction in which the object is desired. That is, a certain object is identified as a different type depending on whether or not it is facing the host vehicle. This is because it is useful for estimating the moving direction of the object OBJ.
  • the arithmetic processing unit 40 may be configured only by hardware using an FPGA or the like.
  • the present invention relates to an object identification system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

３次元センサ２０は、高さが異なる複数の水平ラインＬ１～ＬＮについて、複数のラインデータＬＤ１～ＬＤＮを生成する。複数の第１ニューラルネットワーク７２は、複数のラインデータＬＤの対応するひとつに関する第１中間データＭＤを生成する。第１中間データＭＤ１は、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すものである。結合処理部７４は、複数の第１中間データＭＤ１を受け、それらを結合し、少なくともひとつの第２中間データＭＤ２を生成する。第２ニューラルネットワーク７６は、少なくともひとつの第２中間データＭＤ２を受け、オブジェクトＯＢＪが複数の種類それぞれに該当する確率を示す最終データＦＤを生成する。

Description

オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
　本発明は、オブジェクト識別システムに関する。
　自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
特開２０１７－５６９３５号公報 特開２００９－９８０２３号公報
　ＬｉＤＡＲが生成する点群データにもとづくオブジェクトの識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、少ない水平ラインの本数で、オブジェクトを識別可能なシステム、装置、方法の提供にある。
　本発明のある態様は、オブジェクト識別システムに関する。オブジェクト識別システムは、高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、複数のラインデータにもとづいてオブジェクトの種類（カテゴリーあるいはクラス）を識別する演算処理装置と、を備える。演算処理装置は、それぞれが、複数のラインデータの対応するひとつに関する第１中間データを生成し、第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率（所属確率）を示すものである、複数の第１ニューラルネットワークと、複数のラインデータに対応する複数の第１中間データを受け、複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、少なくともひとつの第２中間データを受け、オブジェクトが、複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、を備える。
　本発明の別の態様は、自動車に関する。自動車は、上述のオブジェクト識別システムを備えてもよい。
　３次元センサは、前照灯に内蔵されてもよい。
　本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述のオブジェクト識別システムを備えてもよい。
　本発明によれば、少ない水平ラインの本数で、オブジェクトを識別できる。
実施の形態に係るオブジェクト識別システムのブロック図である。 歩行者について定義される複数の部位の一例を示す図である。 図３（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサで撮影したときの複数のラインデータを示す図である。 第１ニューラルネットワークの構成例を示すブロック図である。 第２ニューラルネットワークの構成例を示すブロック図である。 図６（ａ）～（ｃ）は、オブジェクトの抽出を説明する図である。 図７（ａ）～（ｃ）は、第１の学習方法を説明する図である。 図８（ａ）、（ｂ）は、歩行者の撮影を説明する図である。 第１ニューラルネットワークによる２５カテゴリの分類の正解率を示す図である。 第２ニューラルネットワークによる４カテゴリの分類の正解率を示す図である。 オブジェクト識別システムを備える自動車のブロック図である。 オブジェクト識別システムを備える車両用灯具を示すブロック図である。 図１３（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図であり、図１３（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システムによって、図１３（ｂ）の状況で得られる最終データを示す図である。 第２の学習方法における第２演算ユニットの学習工程を説明する図である。 第２の学習方法の効果を説明する図である。 変形例に係るオブジェクト識別システムのブロック図である。 第２の実施の形態に係るオブジェクト識別システムのブロック図である。 結合処理部の処理の一例を示す図である。 第２の実施の形態におけるオブジェクト識別システムによって、図１３（ｂ）の状況で得られる最終データを示す図である。 変形例３に係るオブジェクト識別システムのブロック図である。
（実施の形態の概要）
　本明細書に開示される一実施の形態は、オブジェクト識別システムに関する。オブジェクト識別システムは、高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、複数のラインデータにもとづいてオブジェクトの種類（カテゴリーあるいはクラス）を識別する演算処理装置と、を備える。演算処理装置は、それぞれが、複数のラインデータの対応するひとつに関する第１中間データを生成し、第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率（所属確率）を示すものである、複数の第１ニューラルネットワークと、複数のラインデータに対応する複数の第１中間データを受け、複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、少なくともひとつの第２中間データを受け、オブジェクトが、複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、を備える。
　これによると、少ない水平ラインの本数で、オブジェクトの種類を判定することができる。また、複数の第１中間データを結合することにより、高さ方向の依存性を下げることができる。これにより、３次元センサの設置の制約を緩和できる。なお、結合処理によって、高さ方向の情報が完全に失われるわけではなく、部位が高さの情報を保持し続けることに留意されたい。
　少なくともひとつの第２中間データはひとつであり、第２中間データは、複数の第１中間データのすべてにもとづいて得られてもよい。
　少なくともひとつの第２中間データは複数であり、各第２中間データは、複数の第１中間データのうち連続するいくつかにもとづいて得られてもよい。
　少なくともひとつの第２中間データはそれぞれ、対応するいくつかの第１中間データの平均または総和であってもよい。平均は単純平均であってもよいし、重み付け平均であってもよい。また少なくともひとつの第２中間データはそれぞれ、対応するいくつかの第１中間データの最大値であってもよい。
　演算処理装置において、複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、第１ニューラルネットワークに学習させるステップと、学習済みの複数の第１ニューラルネットワークの出力を結合処理部を介して第２ニューラルネットワークと結合した状態で、第２ニューラルネットワークに学習させるステップと、が実行されてもよい。
　演算処理装置は、前処理として、各ラインデータに含まれる値を所定値で除算する正規化を行ってもよい。
　オブジェクトの種類は、少なくとも、歩行者、自転車に乗った人、自動車を含んでもよい。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
（第１の実施の形態）
　図１は、第１の実施の形態に係るオブジェクト識別システム１０のブロック図である。このオブジェクト識別システム１０は、自動車やバイクなどの車両に搭載される車載用であり、車両の周囲に存在するオブジェクトＯＢＪの種類（カテゴリあるいはクラスともいう）を判定する。
　オブジェクト識別システム１０は、主として３次元センサ２０および演算処理装置４０を備える。３次元センサ２０は、高さが異なる複数の水平ラインＬ１～ＬＮについて、複数のラインデータＬＤ１～ＬＤＮを生成する。水平ラインの本数Ｎは、特に限定されないが、２０本以下、４～１２本程度が好適である。各ラインデータＬＤは、対応する水平ラインＬに沿った複数のサンプリング点Ｐまでの距離情報を含んでいる。複数のラインデータＬＤ１～ＬＤＮのセットを測距データと称する。３次元センサ２０は特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。水平ラインの本数Ｎは、すなわち垂直方向の解像度である。ＬｉＤＡＲの構成は特に限定されず、走査型、非走査型であるとを問わない。
　演算処理装置４０は、複数のラインデータＬＤ１～ＬＤＮを含む測距データにもとづいてオブジェクトの種類（カテゴリ）を識別する。演算処理装置４０は、１個のオブジェクトを含むデータを処理対象として構成され、１枚の測距データに、複数のオブジェクトが含まれる場合、前処理によって１個のオブジェクトを含むサブフレームに分割し、演算処理装置４０は、サブフレームを処理単位とする。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
　たとえばオブジェクトの種類は、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じ種類に分類して定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
　本実施の形態において、オブジェクトＯＢＪは、異なる高さについて、複数の部位（カテゴリあるいはサブカテゴリと称する）が定義される。図２は、歩行者について定義される複数の部位の一例を示す図である。歩行者に関して、Ｍ個の部位Ｈ０～ＨＭ－１が定義される。本実施の形態では、Ｍ＝Ｎ＝８とする。Ｈ０は膝、Ｈ１は膝上、Ｈ２は太もも、Ｈ３は腰、Ｈ４は腹部、Ｈ５は胸、Ｈ６は肩、Ｈ７は顔である。
　自転車についても、異なる高さの複数の部位Ｂ０～Ｂ７が定義される。自動車についても、異なる高さの複数の部位Ｃ０～Ｃ７が定義される。電柱に関しても、異なる高さの複数の部位Ｐ０～Ｐ７を定義できるが、高さにかかわらずプロファイルは実質的に不変であるからそれらを区別する必要はなく、したがって、１つの出力Ｐ０にまとめることとする。
　図３（ａ）～（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサ２０で撮影したときの複数のラインデータを示す図である。図３において、複数のラインデータは、予め定義された複数の部位の形状を示している。
　図１に戻る。演算処理装置４０は、ラインデータＬＤごとに、オブジェクトＯＢＪの種類およびその部位に関する中間データＭＤを生成する。中間データＭＤｉは、対応するラインデータＬＤｉ（水平ラインＬｉ）が、いずれの種類の、いずれの部位であるかを統計的に示してもよい。
　そして演算処理装置４０は、複数のラインデータＬＤ１～ＬＤＮに対応する複数の中間データＭＤ１～ＭＤＮを統合して、オブジェクトＯＢＪの種類を示す最終データＦＤを生成する。最終データＦＤは、オブジェクトＯＢＪがいずれの種類であるかを統計的に示してもよい。
　演算処理装置４０は、機能的には、複数の第１演算ユニット４２＿１～４２＿Ｎと、第２演算ユニット４４を含む。演算ユニット４２，４４で示されるブロックは、必ずもハードウェア的に独立していることを意味するものでない。たとえば、演算処理装置４０がシングルコアで構成される場合、複数の演算ユニット４２、４４は、単一のコアに対応しうる。演算処理装置４０がマルチコアを含む場合、各コアが、複数の演算ユニット４２，４４として機能しうる。
　ｉ番目（１≦ｉ≦Ｎ）の演算ユニット４２＿ｉは、対応するラインデータＬＤｉを処理し、中間データＭＤｉを生成する。第２演算ユニット４４は、複数の第１演算ユニット４２＿１～４２＿Ｎが生成する中間データＭＤ１～ＭＤＮを統合し、最終データＦＤを生成する。
　以上がオブジェクト識別システム１０の基本構成である。演算処理装置４０の実装は特に限定されないが、たとえばニューラルネットワークを用いて構成できる。以下、本発明者が検証を行った構成について説明する。第１演算ユニット４２に対応するニューラルネットワークを第１ニューラルネットワークＮＮ１，第２演算ユニット４４に対応するニューラルネットワークを第２ニューラルネットワークＮＮ２と称する。
　図４は、第１ニューラルネットワークＮＮ１の構成例を示すブロック図である。第１ニューラルネットワークＮＮ１は、入力層５０、３層の中間層（隠れ層）５２、出力層５４で構成される。入力層５０のユニット数は、１ラインのサンプル点の個数に応じて定め、５２００とした。中間層は３層であり、ユニット数は２００，１００，５０とした。中間層５２においては、アファイン変換と、シグモイド関数を用いた変換が行われる。出力層５４では、アファイン変換と、ソフトマックス関数を用いた所属確率の計算が行われる。
　出力層５４には、歩行者に関する部位Ｈ０～Ｈ７、自動車に関する部位Ｃ０～Ｃ７、自転車に関する部位Ｂ０～Ｂ７、電柱に関する部位Ｐ０の、合計２５個のカテゴリを設定した。中間データＭＤｉは、複数のデータHuman-0th～Human-7th,Car-0th～Car-7th, Bicycle--0th～Bicycle7th, Pole-allを含み、歩行者に関する部位Ｈ０～Ｈ７、自動車に関する部位Ｃ０～Ｃ７、自転車に関する部位Ｂ０～Ｂ７、電柱に関する部位Ｐ０それぞれに該当する確率を示す。
　図５は、第２ニューラルネットワークＮＮ２の構成例を示すブロック図である。第２ニューラルネットワークＮＮ２は、入力層６０、１層の中間層６２、出力層６４で構成される。入力層６０のユニット数は、前段の第１ニューラルネットワークＮＮ１の個数（Ｎ＝８）と、そのカテゴリ数（２５）の積２００とした。中間層６２は１層であり、ユニット数は５０とした。出力層６４には、歩行者（Human）、自動車（Car）、自転車(Bicycle)、電柱(Pole)の４カテゴリを設定した。すなわち最終データＦＤは、オブジェクトＯＢＪが、歩行者、自動車、自転車、電柱それぞれに該当する可能性を示す４つのデータHuman,Car,Bicycle,Poleを含む。
　第１ニューラルネットワークＮＮ１、第２ニューラルネットワークＮＮ２に共通する設定として、パラメータ更新法はAdam、学習係数は０．０１、反復計算回数は２０，０００回とした。
　第１ニューラルネットワークＮＮ１の前処理として、抽出、シフト、正規化を行うことが好ましい。
　抽出は、背景を除去し、オブジェクトＯＢＪを抽出する処理である。図６（ａ）～（ｃ）は、オブジェクトの抽出を説明する図である。図６（ａ）は、オブジェクトである自動車を示す図である。図６（ｂ）は、図６（ａ）のオブジェクトをＬｉＤＡＲで撮影したときの、複数のラインデータＬＤ１～ＬＤ８を示す。図６（ｃ）には、オブジェクトを含むように抽出されたラインデータＬＤ１～ＬＤ８が示される。
　シフトは、オブジェクトが中央に位置するようにデータシフトする処理である。正規化は、距離データを所定値で除算する処理である。たとえば、所定値は、学習時における、３次元センサ２０とオブジェクトＯＢＪの所定箇所との距離（基準距離）であってもよい。これにより、ラインデータが、１付近の値に正規化される。
　続いて、機械学習について説明する。図７（ａ）~（ｃ）は、第１の学習方法を説明する図である。図７（ａ）に示すように、初めに学習に用いるデータ（学習データあるいは教師データ）を測定する。学習データは、複数のオブジェクトをＬｉＤＡＲで測定することにより取得される。具体的には、識別したいオブジェクトの候補（歩行者、自動車、電柱、自転車に乗った人など）を、異なる条件下（たとえば、さまざまな距離、さまざまな方向から）で測定し、学習用のフレームデータＦＤ１，ＦＤ２，…を用意する。各フレームデータＦＤｉ（ｉ＝１，２，・・・）は、Ｎ本（ここでは８本）のラインデータを含むが、学習には、オブジェクトとクロスする有効なラインデータのみを使用してもよい。たとえば歩行者を撮影したフレームデータＦＤ１では、一番下の２本のラインデータＬＤ１１，ＦＤ１２は地面とクロスし、歩行者とクロスしないため、学習には用いないこととしてもよい。
　続いて、第１演算ユニット（第１ニューラルネットワーク）４２を対象とした学習を行う。図７（ｂ）に示すように、複数のフレームデータに含まれる複数の有効なラインデータＬＤｉｊが個別に、教師データＴＤｉｊとともに第１演算ユニット４２に入力される。たとえばフレームＦＤ１のラインデータＬＤ１８を入力するときには、種類（カテゴリ）＝「歩行者」、部位（サブカテゴリ）＝「歩行者の顔」を示す教師データＴＤｉｊを与える。
　１個の第１演算ユニット４２について得られた学習結果は、すべての第１演算ユニット４２において使用される。続いて第２演算ユニット４４を学習させる。具体的には図７（ｂ）に示すように、複数の第１演算ユニット４２と、第２演算ユニット（第２ニューラルネットワーク）４４が接続される。この状態で、演算処理装置４０に、複数のフレームデータＦＤ１，ＦＤ２・・・が個別に入力される。各フレームＦＤｉごとに、複数の第１演算ユニット４２によって複数の中間データＭＤ１～ＭＤ８のセットが生成され、後段の第２演算ユニット４４に供給される。第２演算ユニット４４には、中間データＭＤ１～ＭＤ６のセットに加えて、現在のフレームデータＦＤｉに含まれるオブジェクトの種類を示す教師データＴＤｉが与えられる。たとえば、演算処理装置４０に、歩行者を撮影したフレームデータＦＤｉを入力する場合、第２演算ユニット４４には、種類＝「歩行者」を示す教師データＴＤｉが与えられる。これを複数のフレームデータについて行うことにより、第２演算ユニット４４の学習が行われる。
　以上の構成を有するオブジェクト識別システム１０の有効性を検討するために行った実験について説明する。
　検証に用いたＬｉＤＡＲの水平ラインの本数は８である。水平ラインの照射角度（鉛直方向角度分解能）は、下から－１８．２５°，－１５．４２°，－１２．４９°，－９．４６°，－６．３６°，－３．１９°，０°，３．２°である。水平方向角度分解能は０．０３５度、撮影範囲は０～１８０°に設定した。したがってラインデータは、１８０／０．０３５＝５２００個のサンプル点の値を含む。
　図８（ａ）、（ｂ）は、歩行者の撮影を説明する図である。ＬｉＤＡＲの中心からオブジェクトＯＢＪの距離（基準距離）は３ｍとした。歩行者のサンプルは、身長１６６ｃｍの成人男性であり、９つの方向（０°，２２．５°，４５°，６７．５°，９０°，１１２．５°，１３５°，１５７．５°，０°，１８０°）から撮影した。なおオブジェクトＯＢＪの正面（顔、ヘッドランプ）が見える方向を０°とする。歩行者に関して、図２に示す８つの部位Ｈ０～Ｈ７に、８本の水平ラインが一致するように、ＬｉＤＡＲを、鉛直方向に７°（仰角）傾けている。
　自転車については、図３（ｂ）に示すように人が跨がって静止した状態で撮影した。撮影方向は、歩行者と同様に９方向とした。
　自動車については、１種類の車種を、３方向（０°，９０°，１８０°）から撮影した。電柱は６本をサンプルとし、任意の方向から撮影した。
　訓練データとして、歩行者と自転車は３６００フレーム、自動車は３０００フレーム、電柱は１７００フレームを用いて機械学習を行った。学習方法は、図７（ａ）～（ｃ）を参照して説明した通りである。
　その後、歩行者と自転車についてそれぞれ３６０フレーム、自動車、電柱についてそれぞれ３００フレームをテストデータとして、学習の結果を検証した。図９は、第１ニューラルネットワークＮＮ１による２５カテゴリ（サブカテゴリ）の分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した（３６０＋３６０＋３００＋３００）フレーム×８本＝１０５６０本のラインデータのトータルの正解率を示す。それ以外は、歩行者、自動車、自転車、電柱の各部位の正解率を示す。
　図１０は、第２ニューラルネットワークＮＮ２による４カテゴリの分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した１３２０（＝３６０＋３６０＋３００＋３００）フレーム全体の正解率を示す。それ以外は、歩行者（Human）、自動車（Car）、自転車（Bicycle）、電柱（Pole）の正解率を示す。
　図１０からわかるように、歩行者（Human）、自動車（Car）、電柱（Pole）については１００％の正解率が得られている。自転車（Bicycle）についてのみ、正解率が９７．８％となっており、トータルの正解率は、自転車での誤りの影響を受けたものであることがわかる。
　このように、実施の形態に係るオブジェクト識別システム１０によれば、わずかに８本の水平ラインの本数で、きわめて高確率でオブジェクトの種類を判定することができる。
　また、水平ラインの本数が８本と少ないことから、演算処理装置４０に要求される処理能力を小さくできる。
　ここでは、オブジェクトとＬｉＤＡＲの距離を３ｍと固定して検証したが、実際には、距離は可変である。したがって、距離を複数のレンジに区分けして、レンジごとに、ニューラルネットワークの学習を行えばよい。
　図１１は、オブジェクト識別システム１０を備える自動車のブロック図である。自動車１００は、前照灯１０２Ｌ，１０２Ｒを備える。オブジェクト識別システム１０のうち、少なくとも３次元センサ２０は、前照灯１０２Ｌ，１０２Ｒの少なくとも一方に内蔵される。前照灯１０２は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ２０の設置箇所として最も有利である。演算処理装置４０については、前照灯１０２に内蔵してもよいし、車両側に設けてもよい。たとえば演算処理装置４０のうち、中間データの生成は前照灯１０２の内部で行い、最終データの生成は車両側に委ねてもよい。
　図１２は、オブジェクト識別システム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、３次元センサ２０および演算処理装置４０が設けられる。演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ１０４に送信される。車両ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　また、演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具ＥＣＵ２０８は、演算処理装置４０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
（学習方法に関する変形例）
　図７（ａ）~（ｃ）に示す第１の学習方法では、ＬｉＤＡＲの設置（高さ、仰俯角、あるいはオブジェクトとの距離）に強く依存した学習が行われる場合がある。図１３（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図である。図１３（ａ）は、学習時にＬｉＤＡＲの設置高さを１４５ｃｍとした場合を示す。このとき、下側の３本のラインデータは無効であり、下から４本目～８本目のラインデータＬＤ４～ＬＤ８を用いた学習が行われる。
　実際の使用時に、図１３（ｂ）に示すように、ＬｉＤＡＲの設置高さが学習時より低い７０ｃｍであったとする。また歩行者とＬｉＤＡＲとの距離が、学習時より近いものとする。図１３（ｂ）の状態では、ラインデータＬＤ１～ＬＤ３は該当部位無し（サブカテゴリ無し）、ラインデータＬＤ４～ＬＤ７は、部位（サブカテゴリ）＝脚、ラインデータＬＤ８は、部位（サブカテゴリ）＝腹部である。
　図１３（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システム１０によって、図１３（ｂ）の状況で得られる最終データを示す。歩行者として認識されるべきところ、その他のカテゴリである確率の方が高いものと誤認識されている。これは第１学習方法では、第２演算ユニット４４における分類が、サブカテゴリの並び順、組み合わせに強く依存していることに起因するものと推察される。すなわち第１の学習方法を採用する場合、実際の使用段階における３次元センサの高さが、学習段階で用いた高さにより制約される可能性がある。第２の学習方法には、このような制約を減らす工夫が組み込まれる。
　第２の学習方法では、第１演算ユニット４２の学習は第１の学習方法と同様であり、第２演算ユニット４４の学習方法が異なっている。図１４は、第２の学習方法における第２演算ユニット４４の学習工程を説明する図である。具体的には、第２の学習方法では、学習済みの複数の第１演算ユニット４２の出力と、第２演算ユニット４４の複数の入力ノードＩ１～Ｉ８の対応関係４６を変化させながら、第２演算ユニット４４を学習させる。対応関係４６は、フレームデータＦＤｉごとにランダムに変化させてもよい。
　学習時間に余裕がある場合には、ひとつのフレームデータＦＤｉについて、対応関係を複数のパターンで切りかえて学習を行ってもよい。Ｎ＝８の場合、入出力の組み合わせは８×７＝５６通り存在する。したがって各フレームデータについて、すべての組み合わせで学習を行ってもよい。
　図１５は、第２の学習方法の効果を説明する図である。図１５は、第２の学習方法で学習済みのオブジェクト識別システム１０を用いて、図１３（ｂ）の状況で歩行者を想定したときの最終データＦＤを示す。第１の学習方法の結果得られる図１３（ｃ）の最終データに比べて、歩行者と認識する確率を高めることができている。
　このように、第２演算ユニット４４の学習工程において、複数の第１演算ユニット４２と、第２演算ユニット４４の複数の入力の対応関係を変化させることにより、ＬｉＤＡＲなどの３次元センサの設置の自由度を高めることができる。
　図１６は、変形例に係るオブジェクト識別システム１０Ａのブロック図である。この変形例において、第１演算ユニット４２Ａは、畳み込みニューラルネットワークとして実装される。一般的には、畳み込みニューラルネットワークは、Ｍ×Ｎピクセルの２次元画像を対象とするが、本実施形態では、それを１次元のラインデータを対象として利用する点が新しい。畳み込みニューラルネットワークは、畳み込み層とプーリング層の組み合わせである。畳み込みニューラルネットワークを用いることで、オブジェクトの横方向の位置ズレに対するロバスト性を高めることができる。
（第２の実施の形態）
　上の変形例は、学習方法を工夫することにより、識別力の改善を図るものであった。第２実施の形態では、演算処理装置の構成を工夫することにより、識別力の改善を実現する。
　図１７は、第２の実施の形態に係るオブジェクト識別システム１０Ｂのブロック図である。オブジェクト識別システム１０Ｂは、３次元センサ２０および演算処理装置７０を備える。演算処理装置７０は、複数の第１ニューラルネットワーク７２＿１～７２＿Ｎと、結合処理部７４と、第２ニューラルネットワーク７６と、を備える。
　第１ニューラルネットワーク７２＿１～７２＿Ｎは、第１の実施の形態で説明した第１演算ユニット４２（第１ニューラルネットワークＮＮ１）と同じ機能を有する。すなわち、各第１ニューラルネットワーク７２＿ｉ（ｉ＝１，２…Ｎ）は、複数のラインデータＬＤ１～ＬＤＮの対応するひとつＬＤｉに関する第１中間データＭＤ１＿ｉを生成する。第１中間データＭＤ１＿ｉは、対応するラインデータＬＤｉが、複数の種類（カテゴリ）の複数の部位（サブカテゴリ）それぞれに該当する確率を示すものである。
　結合処理部７４は、複数のラインデータＬＤ１～ＬＤＮに対応する複数の第１中間データＭＤ１＿１～ＭＤ１＿Ｎを受け、それらを結合し、少なくともひとつの第２中間データＭＤ２を生成する。図１７の実施例において、第２中間データＭＤ２は１つである。すなわち、すべての第１中間データＭＤ１＿１～ＭＤ１＿Ｎがひとつの第２中間データＭＤ２に結合される。第２中間データＭＤ２は、第１中間データＭＤ１と同様に、対応するラインデータＬＤｉが、複数の種類（カテゴリ）の複数の部位（サブカテゴリ）それぞれに該当する確率を示す。
　図１８は、結合処理部７４の処理の一例を示す図である。ｉ番目の第１中間データＭＤ１＿ｉは、Ｋ個の要素ａ１ｉ～ａＫｉを含む。ｊ番目（ｊ＝１，２…，Ｋ）の要素ａｊｉは、ｉ番目のラインデータＬＤｉがｊ番目のサブカテゴリ（部位）に該当する確率を示す。結合処理部７４は、複数の第１中間データＭＤ１＿１～ＭＤ１＿Ｎの平均を、第２中間データＭＤ２とする。第２中間データＭＤ２のｊ番目の要素ｂｊは、以下の式で与えられる。
　ｂｊ＝Σｉ＝１：Ｎａｊｉ／Ｎ
　図１７に戻る。第２ニューラルネットワーク７６は、第２中間データＭＤ２を受け、オブジェクトＯＢＪが、複数の種類（カテゴリ）それぞれに該当する確率を示す最終データＦＤを生成する。第２ニューラルネットワーク７６は、図５のニューラルネットワークと同様に構成できる。
　オブジェクト識別システム１０Ｂは、上述の第１の学習方法を用いて学習される。すなわち複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、第１ニューラルネットワーク７２に学習させる。共通の学習結果が、すべての第１ニューラルネットワーク７２＿１～７２＿Ｎに適用される。
　そして、学習済みの複数の第１ニューラルネットワーク７２＿１～７２＿Ｎの出力を結合処理部７４を介して第２ニューラルネットワーク７６と結合した状態で、第２ニューラルネットワーク７６に学習させる。
　以上がオブジェクト識別システム１０Ｂの構成である。続いてその利点を説明する。
　図１９は、第２の実施の形態におけるオブジェクト識別システムによって、図１３（ｂ）の状況で得られる最終データを示す図である。第２の実施の形態によれば、第１の実施の形態および第１の学習方法の組み合わせで得られる図１３（ｃ）の最終データに比べて、歩行者と認識する確率を高めることができる。
　続いて、第２の実施の形態に関連する変形例を説明する。
（変形例１）
　図１８では、結合処理部７４において単純平均値をとったが、重み付け平均をとってもよい。ｃｉは、高さ（ライン）ごとの重み付けの係数である。
　ｂｊ＝Σｉ＝１：Ｎａｊｉｃｉ／Ｎ
　あるいは結合処理部７４において、総和をとっても良い。
　ｂｊ＝Σｉ＝１：Ｎａｊｉ
　あるいは結合処理部７４において、最大値をとってもよい。
　ｂｊ＝ｍａｘ（ａｊ１，ａｉ２，…ａｉＫ）
（変形例２）
　図１７では、第２中間データＭＤ２を１個としたが、複数としてもよい。たとえばＮ個の第１中間データＭＤ１＿１～ＭＤ１＿Ｎを、２個の第２中間データＭＤ２＿１,ＭＤ２＿２に結合してもよい。この場合、たとえば、複数の第１中間データＭＤ１＿１～ＭＤ１＿Ｎを２つの群に分けて、一方の群から第２中間データＭＤ２＿１を生成し、他方の群から第２中間データＭＤ２＿２を生成してもよい。
（変形例３）
　図２０は、変形例３に係るオブジェクト識別システム１０Ｃのブロック図である。この変形例は、図１７のオブジェクト識別システム１０Ｂに畳み込みニューラルネットワークを適用したものである。畳み込みニューラルネットワークの適用により、オブジェクトの横方向の位置ズレに対するロバスト性を高めることができる。
（その他の変形例）
　複数のラインデータの本数Ｎを８としたが、演算処理装置４０の演算能力と、要求されるオブジェクトＯＢＪの識別能力を考慮して、Ｎ＝４～１２程度としてもよい。
　一実施の形態において、オブジェクトを、それを望む方向ごとに異なる種類（カテゴリ）として定義してもよい。つまり、あるオブジェクトが、自車と正対しているときと、そうでないときとで、別の種類として識別される。これは、オブジェクトＯＢＪの移動方向の推定に役立つからである。
　演算処理装置４０は、ＦＰＧＡなどを用いてハードウェアのみで構成してもよい。
　実施の形態では、車載用のオブジェクト識別システム１０を説明したが本発明の適用はその限りでなく、たとえば信号機や交通標識、そのほかの交通インフラに固定的に設置され、定点観測する用途にも適用可能である。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、オブジェクト識別システムに関する。
　１０　オブジェクト識別システム
　２０　３次元センサ
　４０　演算処理装置
　４２　第１演算ユニット
　４４　第２演算ユニット
　ＮＮ１　第１ニューラルネットワーク
　ＮＮ２　第２ニューラルネットワーク
　７０　演算処理装置
　７２　第１ニューラルネットワーク
　７４　結合処理部
　７６　第２ニューラルネットワーク
　５０　入力層
　５２　中間層
　５４　出力層
　６０　入力層
　６２　中間層
　６４　出力層
　１００　自動車
　１０２　前照灯
　１０４　車両ＥＣＵ
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　２０８　灯具ＥＣＵ

Claims (11)

  1. 　高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、
    　前記複数のラインデータにもとづいてオブジェクトの種類を識別する演算処理装置と、
    　を備え、
    　前記演算処理装置は、
    　それぞれが、前記複数のラインデータの対応するひとつに関する第１中間データを生成し、前記第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すものである、複数の第１ニューラルネットワークと、
    　前記複数のラインデータに対応する複数の第１中間データを受け、前記複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、
    　前記少なくともひとつの第２中間データを受け、前記オブジェクトが、前記複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、
    　を備えることを特徴とするオブジェクト識別システム。
  2. 　前記少なくともひとつの第２中間データはひとつであり、前記第２中間データは、前記複数の第１中間データのすべてにもとづいて得られることを特徴とする請求項１に記載のオブジェクト識別システム。
  3. 　前記少なくともひとつの第２中間データは複数であり、各第２中間データは、前記複数の第１中間データのうち連続するいくつかにもとづいて得られることを特徴とする請求項１に記載のオブジェクト識別システム。
  4. 　前記少なくともひとつの第２中間データはそれぞれ、対応するいくつかの第１中間データの平均または総和であることを特徴とする請求項２または３に記載のオブジェクト識別システム。
  5. 　複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、前記第１ニューラルネットワークに学習させるステップと、
    　学習済みの前記複数の第１ニューラルネットワークの出力を前記結合処理部を介して前記第２ニューラルネットワークと結合した状態で、前記第２ニューラルネットワークに学習させるステップと、
    　が実行されることを特徴とする請求項１から４のいずれかに記載のオブジェクト識別システム。
  6. 　前記オブジェクトの種類は、少なくとも、歩行者、自転車に乗った人、自動車を含むことを特徴とする請求項１から５のいずれかに記載のオブジェクト識別システム。
  7. 　請求項１から６のいずれかに記載のオブジェクト識別システムを備えることを特徴とする自動車。
  8. 　前記３次元センサは、前照灯に内蔵されることを特徴とする請求項７に記載の自動車。
  9. 　請求項１から６のいずれかに記載のオブジェクト識別システムを備えることを特徴とする車両用灯具。
  10. 　３次元センサから得られる複数のラインデータにもとづきオブジェクトの種類を識別する方法であって、
    　前記ラインデータごとに、複数の種類の複数の部位それぞれに該当する確率を示す第１中間データを生成するステップと、
    　前記複数のラインデータについて得られる複数の第１中間データを結合し、少なくともひとつの第２中間データを生成するステップと、
    　前記少なくともひとつの第２中間データにもとづいて、前記オブジェクトが、前記複数の種類それぞれに該当する確率を示す最終データを生成するステップと、
    　を備えることを特徴とする方法。
  11. 　３次元センサから得られる複数のラインデータにもとづきオブジェクトの種類を識別する演算処理装置の学習方法であって、
    　前記演算処理装置は、
    　それぞれが、前記複数のラインデータの対応するひとつに関する第１中間データを生成し、前記第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すものである、複数の第１ニューラルネットワークと、
    　前記複数のラインデータに対応する複数の第１中間データを受け、前記複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、
    　前記少なくともひとつの第２中間データを受け、前記オブジェクトが、前記複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、
    　を備え、
    　前記学習方法は、
    　複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、前記第１ニューラルネットワークに学習させるステップと、
    　学習済みの前記複数の第１ニューラルネットワークの出力を前記結合処理部を介して前記第２ニューラルネットワークと結合した状態で、前記第２ニューラルネットワークに学習させるステップと、
    　を備えることを特徴とする方法。
PCT/JP2019/009781 2018-03-15 2019-03-11 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法 WO2019176877A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020506523A JP7174037B2 (ja) 2018-03-15 2019-03-11 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
CN201980018990.2A CN111919139A (zh) 2018-03-15 2019-03-11 对象识别系统、汽车、车辆用灯具、对象的种类的识别方法
EP19767179.5A EP3767338A4 (en) 2018-03-15 2019-03-11 OBJECT IDENTIFICATION SYSTEM, AUTOMOTIVE, VEHICLE LAMP ACCESSORY AND OBJECT TYPE IDENTIFICATION METHOD
US17/021,410 US11841435B2 (en) 2018-03-15 2020-09-15 Object identification system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018047840 2018-03-15
JP2018-047840 2018-03-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/021,410 Continuation US11841435B2 (en) 2018-03-15 2020-09-15 Object identification system

Publications (1)

Publication Number Publication Date
WO2019176877A1 true WO2019176877A1 (ja) 2019-09-19

Family

ID=67908260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009781 WO2019176877A1 (ja) 2018-03-15 2019-03-11 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法

Country Status (5)

Country Link
US (1) US11841435B2 (ja)
EP (1) EP3767338A4 (ja)
JP (1) JP7174037B2 (ja)
CN (1) CN111919139A (ja)
WO (1) WO2019176877A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829135A (ja) * 1994-07-15 1996-02-02 Sumitomo Osaka Cement Co Ltd 物品形状測定装置およびそれを用いた物品認識装置
US20040036261A1 (en) * 1995-06-07 2004-02-26 Breed David S. Method and apparatus for sensing a vehicle crash
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2011186584A (ja) * 2010-03-05 2011-09-22 Daihatsu Motor Co Ltd 物体認識装置
JP2015114261A (ja) * 2013-12-13 2015-06-22 株式会社デンソーアイティーラボラトリ 対象物検出装置、対象物検出方法およびプログラム
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類
WO2019035363A1 (ja) * 2017-08-18 2019-02-21 株式会社小糸製作所 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
EP2894600B1 (en) * 2014-01-14 2018-03-14 HENSOLDT Sensors GmbH Method of processing 3D sensor data to provide terrain segmentation
EP3295422B1 (en) * 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Road profile along a predicted path
CN106250812B (zh) * 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
CN106599869B (zh) * 2016-12-22 2019-12-03 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107067020B (zh) * 2016-12-30 2019-11-15 腾讯科技（上海）有限公司 图片识别方法及装置
CN107506740B (zh) * 2017-09-04 2020-03-17 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829135A (ja) * 1994-07-15 1996-02-02 Sumitomo Osaka Cement Co Ltd 物品形状測定装置およびそれを用いた物品認識装置
US20040036261A1 (en) * 1995-06-07 2004-02-26 Breed David S. Method and apparatus for sensing a vehicle crash
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2011186584A (ja) * 2010-03-05 2011-09-22 Daihatsu Motor Co Ltd 物体認識装置
JP2015114261A (ja) * 2013-12-13 2015-06-22 株式会社デンソーアイティーラボラトリ 対象物検出装置、対象物検出方法およびプログラム
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類
WO2019035363A1 (ja) * 2017-08-18 2019-02-21 株式会社小糸製作所 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3767338A4

Also Published As

Publication number Publication date
EP3767338A1 (en) 2021-01-20
CN111919139A (zh) 2020-11-10
US20200410262A1 (en) 2020-12-31
JP7174037B2 (ja) 2022-11-17
US11841435B2 (en) 2023-12-12
EP3767338A4 (en) 2021-12-01
JPWO2019176877A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP6398347B2 (ja) 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP6184877B2 (ja) 車両用外界認識装置
US7263209B2 (en) Vehicular vision system
Ming et al. Vehicle detection using tail light segmentation
CN105335955A (zh) 对象检测方法和对象检测装置
US11341604B2 (en) Processing device for object identification
JP4937844B2 (ja) 歩行者検出装置
CN112037249A (zh) 一种对摄像装置影像中物体进行跟踪的方法及装置
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
JP6483360B2 (ja) 対象物認識装置
CN111033316B (zh) 识别传感器及其控制方法、汽车、车辆用灯具、对象识别系统、对象的识别方法
US20190180122A1 (en) Detection and Tracking of Objects from Images of a Camera
WO2019176877A1 (ja) オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
CN116740657A (zh) 一种基于相似三角形的目标检测以及测距方法
Kurnianggoro et al. Camera and laser range finder fusion for real-time car detection
KR20230009598A (ko) 차량 번호판 인식 및 위조 판단 방법과 그 방법이 수행되는 시스템
JP7288460B2 (ja) 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
Gorobetz et al. Simulation of Computer Vision Based Sensor System for Autonomous Transport
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
CN115713656A (zh) 基于Transformer的多传感器融合目标检测方法
Zhang et al. Automatic recognition of traffic signs in natural scene image based on central projection transformation
Kwon et al. Design and Implementation of Traffic-Scene Understanding System for Autonomous Vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767179

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506523

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019767179

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019767179

Country of ref document: EP

Effective date: 20201015