WO2021130881A1 - 物体検出装置、モニタリング装置及び学習装置 - Google Patents
物体検出装置、モニタリング装置及び学習装置 Download PDFInfo
- Publication number
- WO2021130881A1 WO2021130881A1 PCT/JP2019/050749 JP2019050749W WO2021130881A1 WO 2021130881 A1 WO2021130881 A1 WO 2021130881A1 JP 2019050749 W JP2019050749 W JP 2019050749W WO 2021130881 A1 WO2021130881 A1 WO 2021130881A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- object detection
- feature map
- feature
- feature amount
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- This disclosure relates to an object detection device, a monitoring device, and a learning device.
- Non-Patent Document 1 discloses SSD.
- the present disclosure has been made to solve the above problems, and an object of the present disclosure is to realize detection of a small object.
- the object detection device uses an image data acquisition unit that acquires image data indicating an image captured by a camera, a first feature amount extraction unit that generates a first feature map using the image data, and image data.
- a second feature amount extraction unit that generates a third feature map by generating a second feature map and weighting the second feature map using the first feature map, and an image captured using the third feature map. It is provided with an object detection unit that detects an object in an image, and the first feature amount in the first feature map uses a medium-level feature corresponding to the object-likeness, and the second feature amount in the second feature map is. , Using high-level features.
- FIG. 1 shows the main part of the object detection system including the object detection device which concerns on Embodiment 1.
- FIG. 2nd feature amount extraction part shows the main part of the 1st feature amount extraction part, the 2nd feature amount extraction part, and the object detection part in the object detection apparatus which concerns on Embodiment 1.
- FIG. It is explanatory drawing which shows the example of the class classified by the object detection part in the object detection apparatus which concerns on Embodiment 1.
- FIG. It is a block diagram which shows the main part of the learning system including the learning apparatus which concerns on Embodiment 1.
- FIG. is a block diagram which shows the hardware composition of the main part of the object detection apparatus which concerns on Embodiment 1.
- FIG. It is a block diagram which shows the other hardware configuration of the main part of the object detection apparatus which concerns on Embodiment 1.
- FIG. It is a block diagram which shows the hardware composition of the main part of the learning apparatus which concerns on Embodiment 1.
- FIG. It is a block diagram which shows the other hardware configuration of the main part of the learning apparatus which concerns on Embodiment 1.
- FIG. It is a flowchart which shows the operation of the object detection apparatus which concerns on Embodiment 1.
- FIG. It is a flowchart which shows the operation of the learning apparatus which concerns on Embodiment 1.
- FIG. It is explanatory drawing which shows the structure of the 1st neural network. It is explanatory drawing which shows the structure of each prominence block layer.
- FIG. It is explanatory drawing which shows the example of the detection result by the object detection apparatus which concerns on Embodiment 1.
- FIG. It is explanatory drawing which shows the example of the detection accuracy by the object detection apparatus for comparison, and the example of the detection accuracy by the object detection apparatus which concerns on Embodiment 1.
- FIG. It is explanatory drawing which shows the other example of the detection accuracy by the object detection apparatus for comparison, and another example of the detection accuracy by the object detection apparatus which concerns on Embodiment 1.
- FIG. It is explanatory drawing which shows the other structure of the saliency guide layer. It is explanatory drawing which shows the other structure of the saliency guide layer. It is explanatory drawing which shows the other structure of each saliency block layer.
- FIG. 1 It is a block diagram which shows the main part of the monitoring system including the monitoring apparatus which concerns on Embodiment 4. It is a block diagram which shows the main part of the analysis part and the output control part in the monitoring apparatus which concerns on Embodiment 4.
- FIG. It is explanatory drawing which shows the example of the risk map image.
- FIG. It is a block diagram which shows the other hardware configuration of the main part of the monitoring apparatus which concerns on Embodiment 4.
- FIG. It is a flowchart which shows the operation of the monitoring apparatus which concerns on Embodiment 4.
- FIG. It is a block diagram which shows the main part of the monitoring system including the other monitoring apparatus which concerns on Embodiment 4.
- FIG. It is a block diagram which shows the main part of the monitoring system including the other monitoring apparatus which concerns on Embodiment 4.
- FIG. It is a block diagram which shows the main part of the monitoring system including the
- FIG. 1 is a block diagram showing a main part of an object detection system including the object detection device according to the first embodiment.
- FIG. 2 is a block diagram showing a main part of a first feature amount extraction unit, a second feature amount extraction unit, and an object detection unit in the object detection device according to the first embodiment.
- An object detection system including the object detection device according to the first embodiment will be described with reference to FIGS. 1 and 2.
- the object detection system 100 includes a camera 1, a storage device 2, and an object detection device 200.
- the storage device 2 has a feature map storage unit 11.
- the object detection device 200 includes an image data acquisition unit 21, a first feature amount extraction unit 22, a second feature amount extraction unit 23, and an object detection unit 24.
- the camera 1 is composed of, for example, a surveillance camera, a security camera, or a camera for an electronic mirror. That is, the camera 1 is composed of a camera for capturing a moving image.
- the storage device 2 is composed of a memory.
- the camera 1 is composed of a camera for an electronic mirror
- the camera 1, the storage device 2, and the object detection device 200 are provided on the vehicle (not shown).
- a vehicle such a vehicle may be referred to as a "own vehicle”.
- the first feature amount extraction unit 22 has a first feature map generation unit 31.
- the second feature amount extraction unit 23 is configured by the first neural network NN1.
- the first neural network NN1 has a second feature map generation unit 32 and a third feature map generation unit 33.
- the object detection unit 24 is composed of the second neural network NN2.
- the second neural network NN2 has a position estimation unit 34 and a type estimation unit 35.
- the image data acquisition unit 21 acquires image data indicating an image captured by the camera 1. That is, the image data acquisition unit 21 acquires image data showing individual still images (hereinafter, may be referred to as “captured images”) constituting the moving image captured by the camera 1.
- the first feature map generation unit 31 uses the image data acquired by the image data acquisition unit 21 to generate one feature map (hereinafter referred to as “first feature map”) FM1 corresponding to each captured image. Is what you do.
- the first feature map FM1 is composed of a plurality of feature quantities (hereinafter referred to as "first feature quantities") arranged in a two-dimensional manner.
- the individual first feature amount uses a medium-level feature (Mid-level Feature) corresponding to the object-likeness (Objectness).
- the "medium level” in the medium level feature is the same level as the level based on the human visual model. That is, such "medium level” is a level lower than the level of features used in conventional object detection.
- each first feature amount uses salience.
- the first feature map generation unit 31 generates a salience map (Salience Map) by executing salience estimation (Salience Estimation). At this time, the first feature map generation unit 31 generates a saliency map by the same method as that described in Reference 1 below, for example. That is, the first feature map generation unit 31 generates a saliency map by a generation method similar to the generation method by the image feature map generation unit in the object detection device described in Reference 1.
- the saliency map is directly generated using the image data acquired by the image data acquisition unit 21 without going through other feature maps. Also, a saliency map is generated without using CNN.
- the first feature map generation unit 31 is free to learn by unsupervised learning. That is, the first feature amount extraction unit 22 is free to learn by unsupervised learning.
- Various known techniques can be used for such unsupervised learning. Detailed description of these techniques will be omitted.
- the second feature map generation unit 32 uses the image data acquired by the image data acquisition unit 21 to generate a plurality of feature maps (hereinafter referred to as “second feature maps”) FM2 corresponding to the individual captured images. Is what you do.
- Each second feature map FM2 is composed of a plurality of feature quantities (hereinafter referred to as "second feature quantities") arranged in a two-dimensional manner.
- the individual second features are those using high-level features (High-level Features).
- the "high level” in the high-level feature is the same level as the level of the feature used in the conventional object detection. That is, such a “high level” is a higher level than a level based on a human visual model.
- the CNN is composed of the parts corresponding to the second feature map generation unit 32 in the first neural network NN1.
- a plurality of second feature maps FM2 are sequentially generated by such CNN.
- the third feature map generation unit 33 uses the individual first feature amounts in the first feature map FM1 to weight the corresponding second feature amounts in the individual second feature map FM2. As a result, the third feature map generation unit 33 generates a plurality of feature maps (hereinafter referred to as “third feature maps”) FM3 corresponding to the plurality of second feature maps FM2.
- the third feature map generation unit 33 compares the individual first feature amount in the first feature map FM1 with the corresponding second feature amount in the individual second feature map FM2, and thereby the individual second feature amount.
- a value (hereinafter referred to as "importance") W indicating the weight given to the feature amount is set.
- importance W a value indicating the weight given to the feature amount
- the third feature map generation unit 33 calculates the degree of similarity S between the individual first feature amount in the first feature map FM1 and the corresponding second feature amount in the individual second feature map FM2.
- the similarity S is, for example, EMD (Earth Mover's Distance), Cosine Similarity, KLD (Kullback-Leibler Distance), L2 norm, L1 norm, and at least one Manhattan distance (Manhattan Distance). It is a value based on.
- the third feature map generation unit 33 sets the importance W corresponding to each second feature amount using the calculated similarity S. At this time, the third feature map generation unit 33 sets the importance W to a larger value as the corresponding similarity S is larger (that is, the corresponding distance is smaller) for each second feature amount. In other words, the third feature map generation unit 33 sets the importance W to a smaller value as the corresponding similarity S is smaller (that is, the corresponding distance is larger) for each second feature amount.
- each first feature quantity uses a medium-level feature corresponding to the object-likeness. Therefore, by performing such weighting, each second feature amount is reinforced according to the corresponding object-likeness. That is, the second feature amount corresponding to the higher object-likeness is relatively stronger than the second feature amount corresponding to the lower object-likeness. On the other hand, the second feature amount corresponding to the lower object-likeness is relatively weakened as compared with the second feature amount corresponding to the higher object-likeness.
- Each third feature map FM3 is based on a plurality of such reinforced feature quantities (hereinafter, may be referred to as "third feature quantity").
- the first neural network NN1 is free to learn by supervised learning. That is, the second feature amount extraction unit 23 is free to learn by supervised learning.
- the first neural network NN1 includes a CNN. That is, the second feature amount extraction unit 23 includes CNN. Therefore, the second feature amount extraction unit 23 can be freely learned by deep learning.
- the structure of the first neural network NN1 will be described later with reference to FIGS. 11 to 14.
- the feature map storage unit 11 temporarily stores the generated second feature map FM2 when each second feature map FM2 is generated by the second feature map generation unit 32. Since the feature map storage unit 11 is provided outside the second feature amount extraction unit 23, it is possible to improve the efficiency of using the storage capacity.
- the object detection unit 24 detects an individual object in each captured image by using a plurality of third feature map FM3s generated by the third feature map generation unit 33. More specifically, the position estimation unit 34 estimates the position of each object by regression, and the type estimation unit 35 estimates the type of each object by classification. That is, the second neural network NN2 is free to learn by supervised learning. In other words, the object detection unit 24 is free to learn by supervised learning.
- the object detection unit 24 detects individual objects by SSD. That is, the second neural network NN2 is composed of a neural network similar to the neural network in the later stage than "VGG-16" in the SSD described in Non-Patent Document 1 (Fig. 2 of Non-Patent Document 1 and the like). reference.). That is, the second neural network NN2 is composed of a neural network including a neural network similar to "Extra Featur Layers" in SSD described in Non-Patent Document 1. The neural network executes a plurality of convolution operations. As a result, the position of each object is estimated, and the type of each object is estimated.
- the multiple convolution operations are due to different kernel sizes. More specifically, the kernel size is getting smaller and smaller. This makes it possible to deal with fluctuations in the size of individual objects in the captured image. That is, it is possible to realize so-called "multi-scale" object detection.
- FIG. 3 shows an example of the type estimated by the type estimation unit 35. That is, FIG. 3 shows an example of a class classified by the type estimation unit 35.
- cars indicates a vehicle traveling in the same direction as the traveling direction of the own vehicle.
- large vehicles indicates a large vehicle traveling in the same direction as the traveling direction of the own vehicle.
- motorbikes indicates a motorcycle that is traveling in the same direction as the traveling direction of the own vehicle. That is, these classes indicate other vehicles traveling in the same direction as the traveling direction of the own vehicle. In other words, these classes refer to following or overtaking vehicles.
- cars (opposition direction) indicates a vehicle traveling in the direction opposite to the traveling direction of the own vehicle.
- large vehicles (opposite direction) indicates a large vehicle traveling in a direction opposite to the traveling direction of the own vehicle.
- motorbikes (opposite direction)” indicates a motorcycle that is traveling in a direction opposite to the traveling direction of the own vehicle. That is, these classes indicate other vehicles traveling in the direction opposite to the traveling direction of the own vehicle. In other words, these classes represent oncoming vehicles.
- the class classified by the type estimation unit 35 includes the traveling direction of each object. That is, the type estimated by the type estimation unit 35 includes the traveling direction of each object. As a result, it is not necessary to determine the traveling direction in the subsequent processing of the object detection unit 24. As a result, it is possible to reduce the amount of calculation in the subsequent processing for the object detection unit 24.
- FIG. 4 is a block diagram showing a main part of the learning system including the learning device according to the first embodiment.
- a learning system including the learning device according to the first embodiment will be described with reference to FIG.
- the same blocks as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the learning system 300 includes a storage device 2, a storage device 3, and a learning device 400.
- the storage device 2 has a feature map storage unit 11.
- the storage device 3 has an image data storage unit 12.
- the learning device 400 includes an image data acquisition unit 21, a first feature amount extraction unit 22, a second feature amount extraction unit 23, an object detection unit 24, and a learning unit 25.
- the storage device 3 is composed of a memory.
- the image data storage unit 12 stores a database (hereinafter referred to as “learning image database”) including a plurality of learning images (hereinafter sometimes referred to as “learning images”).
- the image data acquisition unit 21 in the learning device 400 acquires image data indicating individual learning images instead of acquiring image data indicating individual captured images.
- the first feature amount extraction unit 22, the second feature amount extraction unit 23, and the object detection unit 24 in the learning device 400 are the first feature amount extraction unit 22, the second feature amount extraction unit 23, and the object detection unit in the object detection device 200. It is the same as 24. Therefore, detailed description thereof will be omitted.
- the learning unit 25 learns the second feature amount extraction unit 23 by supervised learning (more specifically, deep learning) based on the detection result by the object detection unit 24. Further, the learning unit 25 learns the object detection unit 24 by supervised learning based on the detection result by the object detection unit 24.
- the learning unit 25 acquires data indicating a correct answer related to object detection corresponding to the learning image indicated by the image data acquired by the image data acquisition unit 21 (hereinafter referred to as "correct answer data").
- the correct answer data is input in advance by a person (for example, the manufacturer of the object detection device 200 or the service provider using the object detection system 100).
- the learning unit 25 compares the detection result by the object detection unit 24 with the correct answer indicated by the acquired correct answer data. Based on the result of the comparison, the learning unit 25 updates the parameters in the first neural network NN1 as needed, and updates the parameters in the second neural network NN2 as needed.
- Various known techniques can be used to update such parameters. Detailed description of these techniques will be omitted.
- the code of "F1" may be used for the function of the image data acquisition unit 21.
- the reference numeral “F2” may be used for the function of the first feature amount extraction unit 22.
- the reference numeral “F3” may be used for the function of the second feature amount extraction unit 23.
- the reference numeral “F4" may be used for the function of the object detection unit 24.
- the code of "F5" may be used for the function of the learning unit 25.
- the processes executed by the image data acquisition unit 21 may be collectively referred to as “image data acquisition process”.
- the processes executed by the first feature amount extraction unit 22 may be collectively referred to as “first feature amount extraction process”.
- the processes executed by the second feature amount extraction unit 23 may be collectively referred to as “second feature amount extraction process”.
- the processes executed by the object detection unit 24 may be collectively referred to as “object detection process”.
- the processes executed by the learning unit 25 may be collectively referred to as "learning processes”.
- the object detection device 200 has a processor 41 and a memory 42.
- the memory 42 stores programs corresponding to a plurality of functions F1 to F4.
- the processor 41 reads and executes the program stored in the memory 42. As a result, a plurality of functions F1 to F4 are realized.
- the object detection device 200 has a processing circuit 43.
- a plurality of functions F1 to F4 are realized by the dedicated processing circuit 43.
- the object detection device 200 has a processor 41, a memory 42, and a processing circuit 43 (not shown).
- some functions of the plurality of functions F1 to F4 are realized by the processor 41 and the memory 42, and the remaining functions of the plurality of functions F1 to F4 are realized by the dedicated processing circuit 43. Will be done.
- the processor 41 is composed of one or more processors.
- processors for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor) is used.
- CPU Central Processing Unit
- GPU Graphics Processing Unit
- DSP Digital Signal Processor
- the memory 42 is composed of one or more non-volatile memories.
- the memory 42 is composed of one or more non-volatile memories and one or more volatile memories. That is, the memory 42 is composed of one or more memories.
- the individual memory uses, for example, a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, or a magnetic tape.
- each volatile memory uses, for example, a RAM (Random Access Memory).
- the individual non-volatile memories include, for example, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmory), EEPROM (Electrically Erasable Programmory), hard disk drive, and memory drive.
- ROM Read Only Memory
- flash memory EPROM (Erasable Programmable Read Only Memory)
- EEPROM Electrically Erasable Programmory
- EEPROM Electrical Erasable Programmory
- hard disk drive and memory drive.
- a compact disc, a DVD (Digital Versaille Disc), a Blu-ray disc, or a mini disc is used.
- the processing circuit 43 is composed of one or more digital circuits.
- the processing circuit 43 is composed of one or more digital circuits and one or more analog circuits. That is, the processing circuit 43 is composed of one or more processing circuits.
- the individual processing circuits are, for example, ASIC (Application Special Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), FPGA (Field Program Is.
- the processing circuit 43 is composed of a plurality of processing circuits
- the correspondence between the plurality of functions F1 to F4 and the plurality of processing circuits is arbitrary.
- the object detection device 200 may have a plurality of processing circuits having a one-to-one correspondence with a plurality of functions F1 to F4.
- each of the plurality of functions F1 to F4 may be realized exclusively by one corresponding processing circuit among the plurality of processing circuits.
- the learning device 400 has a processor 44 and a memory 45.
- the memory 45 stores programs corresponding to a plurality of functions F1 to F5.
- the processor 44 reads and executes the program stored in the memory 45. As a result, a plurality of functions F1 to F5 are realized.
- the learning device 400 has a processing circuit 46.
- a plurality of functions F1 to F5 are realized by the dedicated processing circuit 46.
- the learning device 400 has a processor 44, a memory 45, and a processing circuit 46 (not shown).
- some functions of the plurality of functions F1 to F5 are realized by the processor 44 and the memory 45, and the remaining functions of the plurality of functions F1 to F5 are realized by the dedicated processing circuit 46. Will be done.
- the processor 44 is composed of one or more processors.
- the individual processors use, for example, CPUs, GPUs, microprocessors, microcontrollers or DSPs.
- the memory 45 is composed of one or more non-volatile memories.
- the memory 45 is composed of one or more non-volatile memories and one or more volatile memories. That is, the memory 45 is composed of one or more memories.
- the individual memory uses, for example, a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, or a magnetic tape.
- each volatile memory uses, for example, RAM.
- non-volatile memory for example, ROM, flash memory, EPROM, EEPROM, solid state drive, hard disk drive, flexible disk, compact disk, DVD, Blu-ray disk or mini disk are used.
- the processing circuit 46 is composed of one or more digital circuits. Alternatively, the processing circuit 46 is composed of one or more digital circuits and one or more analog circuits. That is, the processing circuit 46 is composed of one or more processing circuits.
- the individual processing circuits use, for example, ASIC, PLD, FPGA, SoC or system LSI.
- the processing circuit 46 is composed of a plurality of processing circuits
- the correspondence between the plurality of functions F1 to F5 and the plurality of processing circuits is arbitrary.
- the learning device 400 may have a plurality of processing circuits having a one-to-one correspondence with a plurality of functions F1 to F5.
- each of the plurality of functions F1 to F5 may be realized exclusively by one corresponding processing circuit among the plurality of processing circuits.
- the image data acquisition unit 21 executes the image data acquisition process (step ST1).
- the first feature amount extraction unit 22 executes the first feature amount extraction process (step ST2).
- the second feature amount extraction unit 23 executes the second feature amount extraction process (step ST3).
- the object detection unit 24 executes the object detection process (step ST4).
- the image data acquisition unit 21 executes the image data acquisition process (step ST11).
- the first feature amount extraction unit 22 executes the first feature amount extraction process (step ST12).
- the second feature amount extraction unit 23 executes the second feature amount extraction process (step ST13).
- the object detection unit 24 executes the object detection process (step ST14).
- the learning unit 25 executes the learning process (step ST15).
- the first neural network NN1 has a plurality of prominence block layers L1.
- “Input image” indicates an captured image or a learning image indicated by the image data acquired by the image data acquisition unit 21.
- “Saliency Map” indicates the first feature map FM1 generated by the first feature map generation unit 31.
- “Fature Map” indicates an individual third feature map FM3 generated by the third feature map generation unit 33.
- each saliency block layer L1 is a 3 ⁇ 3 convolution layer L11, a BN (Batch Normalization) layer L12, an ELU (Exponential Liner Unit) layer L13, a maximum pooling layer L14, and a saliency guide layer L15. have.
- VGGNet VGG network
- VGG + BN VGG + BN
- residual network ResNet
- FIG. 13 shows an example of the prominence guide layer L15 when VGG + BN is used for the CNN in the first neural network NN1.
- FIG. 14 shows an example of the saliency guide layer L15 when ResNet is used as the CNN in the first neural network NN1.
- the prominence guide layer L15 has a convolution block layer L21 and a scale layer L22. These layers L21 and L22 correspond to the second feature map generation unit 32. Further, the saliency guide layer L15 has a weight calculation layer L23, a convolution layer L24 by 1 ⁇ 1, a reLU (rectified liner unit) layer L25, a convolution layer L26 by 1 ⁇ 1, and a sigmoid layer L27. These layers L23 to L27 correspond to the third feature map generation unit 33.
- the prominence guide layer L15 has a residual block layer L31 and a scale layer L32. These layers L32 and L33 correspond to the second feature map generation unit 32. Further, the saliency guide layer L15 has a weight calculation layer L33, a convolution layer L34 by 1 ⁇ 1, a reLU layer L35, a convolution layer L36 by 1 ⁇ 1, and a sigmoid layer L37. These layers L33 to L37 correspond to the third feature map generation unit 33.
- the structure shown in FIG. 14 uses a so-called "Attention mechanism". This is to spatially develop the features acquired by the CNNs and self-refining the high-dimensional features. As a result, the features to be learned are highly discriminated and the recognition accuracy is improved.
- the corresponding second feature map FM2 out of the plurality of second feature map FM2 is generated in each saliency block layer L1 and the corresponding second feature map FM2 is generated. Weighting is applied to the generated second feature map FM2. That is, the first feature map FM1 weights the individual second feature map FM2.
- SE Sudreze-and-Exclusion
- SENet SE (Squareze-and-Exclusion) network
- VGG + BN to which SENEt is added VGG + BN + SE
- ResNet + SE ResNet + SE
- the reference numeral "200'_1" is used for a conventional object detection device (not shown) having a feature amount extraction unit by VGG + BN or ResNet and an object detection unit by SSD.
- the reference numeral "200'_2" is used for a conventional object detection device (not shown) having a feature amount extraction unit by VGG + BN + SE or ResNet + SE and an object detection unit by SSD. That is, these object detection devices 200 ′ _1 and 200 ′ _2 are comparison targets with respect to the object detection device 200. Further, these object detection devices 200'_1 and 200'_2 do not have a portion corresponding to the first feature map generation unit 31 and do not have a portion corresponding to the third feature map generation unit 33. It is a thing.
- the structure of the first neural network NN1 when the saliency guide layer L15 shown in FIG. 13 is used will be described as “VGG + BN + SM”. Further, the structure of the first neural network NN1 when the saliency guide layer L15 shown in FIG. 14 is used is described as “ResNet + SM”.
- the range R2 including the medium size is referred to as a "second range”.
- the range R1 including a size smaller than the size included in the second range R2 is referred to as a "first range”.
- the range R3 including a size larger than the size included in the second range R2 is referred to as a "third range”.
- the range R4 including the first range R1, the second range R2 and the third range R3 is referred to as a "fourth range”.
- CMS-DD Complementary Monitoring System Driving Dataset
- CMS-DD Complementary Monitoring System Driving Dataset
- a data set based on CMS-DD that includes only two classes out of the eight classes shown in FIG. 3 as a classification target is described as "CMS-DD (2classes)”. That is, the CMS-DD (2classes) includes only "cars (same direction)” and "lage vehicles (same direction)” as classification targets.
- FIG. 15 shows an example of a captured image.
- FIG. 16 shows an example of a feature map corresponding to the first feature map FM1 generated by the object detection device 200 when the image data showing the captured image shown in FIG. 15 is input to the object detection device 200. .. More specifically, FIG. 16 shows an example of a feature map corresponding to the saliency map generated by the object detection device 200.
- FIG. 17 is one of a plurality of feature maps FM'generated by the object detection device 200'_2 when the image data showing the captured image shown in FIG. 15 is input to the object detection device 200'_2.
- An example of a feature map corresponding to the feature map FM' is shown. More specifically, FIG. 17 shows an example of a feature map corresponding to the first feature map FM'of the plurality of feature map FM'.
- the object detection unit in the object detection device 200''2 is based on VGG + BN + SE.
- FIG. 18 shows the third of one of the plurality of third feature maps FM3 generated by the object detection device 200 when the image data showing the captured image shown in FIG. 15 is input to the object detection device 200.
- Feature map An example of a feature map corresponding to FM3 is shown. More specifically, FIG. 18 shows an example of a feature map corresponding to the first third feature map FM3 among the plurality of third feature map FM3s.
- the first neural network NN1 is based on VGG + BN + SM.
- a region different from the region corresponding to the object to be detected (that is, another vehicle) is activated. More specifically, the area of the background corresponding to the sky is activated.
- the region corresponding to the object to be detected (that is, another vehicle) is activated. This is due to the weighting by the saliency map corresponding to the feature map shown in FIG.
- the feature map ignited in a wide area as a global feature is evaluated as having a better feature. For this reason, it does not actually go into the meaning of the ignited area. For this reason, in object detection, a method in which weighting is performed based on features derived from an object such as prominence is superior.
- the weighted third feature map FM3 for object detection compared to the case where the feature map FM'is used for object detection (that is, when the first feature map FM1 before weighting is used for object detection). In comparison), the following effects can be obtained.
- the accuracy of object detection can be improved.
- the context related to the object-likeness is taken into consideration, the occurrence of erroneous detection can be suppressed.
- the second feature amount extraction unit 23 it is possible to realize object detection by the feature amount extracted using the shallower CNN (that is, the second feature amount and the third feature amount). As a result, the amount of calculation in the feature amount extraction unit (that is, the second feature amount extraction unit 23) can be reduced.
- each feature map that is, the individual second feature map FM2 and the individual third feature map FM3
- the size of each feature map can be increased while avoiding an explosive increase in the amount of calculation. As a result, it is possible to realize the detection of a small object.
- the object detection device 200 when used for an electronic mirror, it is required to use an in-vehicle processor 41 or a processing circuit 43. That is, it is required to use an inexpensive processor 41 or a processing circuit 43. In other words, it is required to use a processor 41 or a processing circuit 43 having a low computing power. On the other hand, in this case, it is required to realize the detection of a small object from the viewpoint of detecting another vehicle or the like traveling at a position far from the position of the own vehicle. On the other hand, by using the object detection device 200, the amount of calculation can be reduced and the detection of a small object can be realized.
- FIG. 19 shows an example of the detection result by the object detection device 200'_2 related to the captured image shown in FIG.
- FIG. 20 shows an example of the detection result by the object detection device 200 related to the captured image shown in FIG.
- the object detection device 200 by using the object detection device 200, it is possible to realize the detection of a small object as compared with the case where the object detection device 200''2 is used. That is, it is possible to detect another vehicle or the like traveling at a position far from the position of the own vehicle.
- FIG. 21 is an explanatory diagram showing experimental results relating to detection accuracy by each of the object detection devices 200'_1, 200'_2, 200 when CMS-DD (8classes) is used.
- FIG. 22 is an explanatory diagram showing experimental results relating to detection accuracy by each of the object detection devices 200 ′ _1, 200 ′ _2, 200 when CMS-DD (2classes) is used.
- the unit of the numerical value in FIGS. 21 and 22 is mAP (mean Average Precision).
- the number of layers in VGGNet is set to 16.
- the number of layers in ResNet is set to 50.
- the object detection device 200 by using the object detection device 200, it is within the first range R1 as compared with the case where the object detection device 200'_1 or the object detection device 200'_2 is used. It is possible to improve the detection accuracy for an object having the size of. In addition, the detection accuracy for an object having a size within the second range R2 can be improved. As a result, the detection accuracy for an object having a size within the fourth range R4 can be improved. That is, the accuracy of object detection can be improved.
- the object detection device 200 by using the object detection device 200, it is within the first range R1 as compared with the case where the object detection device 200'_1 or the object detection device 200'_2 is used. It is possible to improve the detection accuracy for an object having the size of. In addition, the detection accuracy for an object having a size within the second range R2 can be improved. In addition, the detection accuracy for an object having a size within the third range R3 can be improved. As a result, the detection accuracy for an object having a size within the fourth range R4 can be improved. That is, the accuracy of object detection can be improved.
- the Dense network will be referred to as “DenseNet”. Further, the Mobile network is described as "MobileNet”.
- the CNN in the first neural network NN1 is not limited to VGG + BN or ResNet.
- the CNN in the first neural network NN1 may be one using DenseNet or MobileNet.
- FIG. 23 shows an example of the prominence guide layer L15 when DenseNet is used as the CNN in the first neural network NN1.
- the prominence guide layer L15 has a Dense block layer L41, a scale layer L42, and a connecting layer L43. These layers L41 to L43 correspond to the second feature map generation unit 32.
- the saliency guide layer L15 has a weight calculation layer L44, a convolution layer L45 by 1 ⁇ 1, a reLU layer L46, a convolution layer L47 by 1 ⁇ 1, and a sigmoid layer L48. These layers L44 to L48 correspond to the third feature map generation unit 33.
- FIG. 24 shows an example of the saliency guide layer L15 when MobileNet is used as the CNN in the first neural network NN1.
- the prominence guide layer L15 has a Depthwise convolution layer L51, a scale layer L52, and a Pointwise convolution layer L53. These layers L51 to L53 correspond to the second feature map generation unit 32.
- the saliency guide layer L15 has a weight calculation layer L54, a convolution layer L55 by 1 ⁇ 1, a reLU layer L56, a convolution layer L57 by 1 ⁇ 1, and a sigmoid layer L58. These layers L54 to L58 correspond to the third feature map generation unit 33.
- the CNN in the first neural network NN1 may be the one using the technique described in Reference 2 below.
- FIG. 25 shows an example of each prominence block layer L1 when a unique structure obtained by simplifying the structure according to Reference 2 is used.
- each prominence block layer L1 has a 3 ⁇ 3 convolution layer L61, a BN layer L62, an ELU layer L63, a prominence guide layer L64, and a maximum pooling layer L65.
- the structure of the saliency guide layer L64 is similar to that shown in FIGS. 13, 14, 23 or 24. Therefore, illustration and description will be omitted.
- FIG. 26 shows an example of each prominence block layer L1 when the structure according to Reference 2 is used.
- the individual prominence block layer L1 is a 3 ⁇ 3 convolution layer L71, a ReLU layer L72, a BN layer L73, a prominence guide layer L74, a 3 ⁇ 3 convolution layer L75, a ReLU layer L76, and a BN. It has a layer L77 and a prominence guide layer L78.
- the structures of the saliency guide layers L74 and L78 are the same as those shown in FIGS. 13, 14, 23 or 24. Therefore, illustration and description will be omitted.
- the individual first feature amount may be any one using medium-level features corresponding to the object-likeness. That is, the first feature amount is not limited to the remarkableness.
- the first feature map is not limited to the saliency map.
- the first feature map generation unit 31 may generate a depth map (Deptth Map) using a distance image corresponding to each captured image.
- the first feature map generation unit 31 may generate a thermal map (Thermal Map) using temperature images corresponding to individual captured images. That is, the weighting in the second feature amount extraction unit 23 may be based on the so-called "Middle-level Sensor Fusion".
- the method of generating the first feature map FM1 by the first feature map generation unit 31 is not limited to the saliency estimation.
- the first feature map generation unit 31 executes at least one of image gradient detection (Edge Detection), object-likeness estimation (Objectness Estimation), and region segmentation (Segmentation) in place of or in addition to saliency estimation. By doing so, the first feature map FM1 may be generated.
- the object detection in the object detection unit 24 is not limited to SSD.
- the object detection in the object detection unit 24 may be performed by RetinaNet, Mask R-CNN, YOLO, or Faster R-CNN.
- the object detection device 200 may have a learning unit 25.
- the learning unit 25 in the object detection device 200 may use the image captured by the camera 1 as the learning image to learn the second feature amount extraction unit 23 and the object detection unit 24.
- the object detection device 200 has an image data acquisition unit 21 that acquires image data indicating an image captured by the camera 1, and a first feature map FM1 that uses the image data.
- the second feature map FM2 is generated by using the 1 feature amount extraction unit 22 and the image data
- the third feature map FM3 is generated by weighting the second feature map FM2 using the first feature map FM1.
- the second feature amount extraction unit 23 and the object detection unit 24 that detects an object in the captured image using the third feature map FM3 are provided, and the first feature amount in the first feature map FM1 corresponds to the object-likeness.
- the medium-level features are used, and the second feature amount in the second feature map FM2 uses the high-level features. Thereby, the accuracy of object detection can be improved. Moreover, the amount of calculation can be reduced. Moreover, it is possible to realize the detection of a small object.
- the learning device 400 has an image data acquisition unit 21 that acquires image data indicating a learning image, and a first feature amount extraction unit 22 that generates a first feature map FM1 using the image data.
- the second feature amount extraction unit that generates the second feature map FM2 by using the image data and weights the second feature map FM2 using the first feature map FM1 to generate the third feature map FM3.
- an object detection unit 24 that detects an object in a learning image using the third feature map FM3, and learning of the second feature amount extraction unit 23 and the object detection unit 24 according to the detection result by the object detection unit 24.
- the first feature amount in the first feature map FM1 is a medium-level feature corresponding to the object-likeness
- the second feature amount in the second feature map FM2 is a high level. It uses features. Thereby, the learning device 400 for the object detection device 200 can be realized.
- FIG. 27 is a block diagram showing a main part of an object detection system including the object detection device according to the second embodiment. An object detection system including the object detection device according to the second embodiment will be described with reference to FIG. 27.
- the same blocks as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the object detection system 100a includes a camera 1, a storage device 2, a clock 4, a storage device 5, and an object detection device 200a.
- the storage device 2 has a feature map storage unit 11.
- the storage device 5 has a time-based parameter storage unit 13.
- the object detection device 200a includes an image data acquisition unit 21, a first feature amount extraction unit 22, a second feature amount extraction unit 23, an object detection unit 24, a time information acquisition unit 26, and a parameter selection unit 27.
- the storage device 5 is composed of a memory.
- the time information acquisition unit 26 acquires information indicating the time (hereinafter referred to as "time information") using the clock 4.
- the time information indicates, for example, the current time.
- the time-based parameter storage unit 13 stores a database including a plurality of parameter sets (hereinafter referred to as "time-based learned parameter database").
- the individual parameter sets include trained parameters for the first neural network NN1 and include trained parameters for the second neural network NN2.
- the plurality of parameter sets included in the time-based learned parameter database correspond to different time zones.
- the time-of-day learned parameter database includes a parameter set corresponding to daytime, a parameter set corresponding to evening, a parameter set corresponding to dusk, and a parameter corresponding to nighttime. It includes a set.
- the parameter selection unit 27 selects the parameter set corresponding to the time zone including the time indicated by the time information from the plurality of parameter sets included in the time-based learned parameter database.
- the parameter selection unit 27 sets the parameters in the first neural network NN1 and sets the parameters in the second neural network NN2 using the selected parameter set.
- the second feature amount extraction unit 23 executes the second feature amount extraction process using the parameters set by the parameter selection unit 27.
- the object detection unit 24 executes the object detection process using the parameters set by the parameter selection unit 27.
- the second feature amount extraction unit 23 executes the second feature amount extraction process using the learned parameters included in the parameter set selected by the parameter selection unit 27.
- the object detection unit 24 executes the object detection process using the learned parameters included in the parameter set selected by the parameter selection unit 27.
- FIG. 28 is a block diagram showing a main part of the learning system including the learning device according to the second embodiment.
- a learning system including the learning device according to the second embodiment will be described with reference to FIG. 28.
- the same blocks as those shown in FIG. 4 are designated by the same reference numerals, and the description thereof will be omitted.
- the learning system 300a includes a storage device 2, a storage device 3a, a storage device 5, and a learning device 400.
- the storage device 2 has a feature map storage unit 11.
- the storage device 3a has a time-based image data storage unit 14.
- the storage device 5 has a time-based parameter storage unit 13.
- the learning device 400 includes an image data acquisition unit 21, a first feature amount extraction unit 22, a second feature amount extraction unit 23, an object detection unit 24, and a learning unit 25.
- the time-based image data storage unit 14 stores a plurality of learning image databases.
- the plurality of learning image databases correspond to different time zones.
- the plurality of learning image databases include a learning image database corresponding to daytime, a learning image database corresponding to evening, a learning image database corresponding to dusk, and a learning image database corresponding to nighttime. ..
- the plurality of learning images included in the individual learning image databases are captured by a camera similar to the camera 1 at a time within the corresponding time zone.
- the learning of the second feature amount extraction unit 23 and the object detection unit 24 by the learning unit 25 is executed by using the individual learning image databases. That is, such learning is executed for each learning image database. As a result, a plurality of parameter sets corresponding to different time zones are generated.
- the learning unit 25 stores the generated plurality of parameter sets in the time-based parameter storage unit 13. As a result, a trained parameter database for each time is generated.
- the code of "F6" may be used for the function of the time information acquisition unit 26. Further, the reference numeral “F7" may be used for the function of the parameter selection unit 27.
- time information acquisition process the processes executed by the time information acquisition unit 26 may be collectively referred to as "time information acquisition process”.
- parameter selection unit 27 may be collectively referred to as “parameter selection process”.
- the object detection device 200a has a plurality of functions F1 to F4, F6, and F7.
- Each of the plurality of functions F1 to F4, F6, and F7 may be realized by the processor 41 and the memory 42, or may be realized by the dedicated processing circuit 43.
- the processing circuit 43 may include a plurality of processing circuits corresponding to the plurality of functions F1 to F4, F6 and F7.
- the hardware configuration of the main part of the learning device 400 is the same as that described with reference to FIGS. 7 and 8 in the first embodiment. Therefore, illustration and description will be omitted.
- FIG. 29 the same steps as those shown in FIG. 9 are designated by the same reference numerals, and the description thereof will be omitted.
- the time information acquisition unit 26 executes the time information acquisition process (step ST5).
- the parameter selection unit 27 executes the parameter selection process (step ST6).
- the processes of steps ST1 to ST4 are executed.
- the operation of the learning device 400 is the same as that described with reference to the flowchart of FIG. 10 in the first embodiment. Therefore, illustration and description will be omitted.
- object detection device 200a can employ various modifications similar to those described in the first embodiment.
- the object detection device 200a corresponds to the time information acquisition unit 26 for acquiring the time information and the time indicated by the time information in the parameter set included in the time-based learned parameter database.
- the second feature amount extraction unit 23 includes a parameter selection unit 27 for selecting the parameter set to be selected, and the second feature map FM2 and the second feature map FM2 using the learned parameters included in the parameter set selected by the parameter selection unit 27. 3 Feature map FM3 is generated. Thereby, the accuracy of object detection can be further improved.
- FIG. 30 is a block diagram showing a main part of an object detection system including the object detection device according to the third embodiment.
- An object detection system including the object detection device according to the third embodiment will be described with reference to FIG.
- the same blocks as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the object detection system 100b includes a camera 1, a storage device 2, a locator 6, a storage device 7, and an object detection device 200b.
- the storage device 2 has a feature map storage unit 11.
- the storage device 7 has a location-specific parameter storage unit 15.
- the object detection device 200b includes an image data acquisition unit 21, a first feature amount extraction unit 22, a second feature amount extraction unit 23, an object detection unit 24, a location information acquisition unit 28, and a parameter selection unit 29.
- the storage device 7 is composed of a memory.
- the location information acquisition unit 28 uses the locator 6 to acquire information indicating the location (hereinafter referred to as "location information"). More specifically, the location information indicates the type of location corresponding to the current position of the own vehicle. For example, the location information indicates whether the location corresponding to the current position of the own vehicle is in the metropolitan area (urban area), the main road (highway), or the suburbs (suburbs).
- the location-specific parameter storage unit 15 stores a database including a plurality of parameter sets (hereinafter referred to as "location-specific learned parameter database").
- the individual parameter sets include trained parameters for the first neural network NN1 and include trained parameters for the second neural network NN2.
- the plurality of parameter sets included in the learned parameter database for each location correspond to different locations.
- the learned parameter database by location includes a parameter set corresponding to the metropolitan area, a parameter set corresponding to a highway, and a parameter set corresponding to the suburbs.
- the parameter selection unit 29 selects the parameter set corresponding to the location indicated by the location information from the plurality of parameter sets included in the location-based learned parameter database.
- the parameter selection unit 29 sets the parameters in the first neural network NN1 and sets the parameters in the second neural network NN2 using the selected parameter set.
- the second feature amount extraction unit 23 executes the second feature amount extraction process using the parameters set by the parameter selection unit 29.
- the object detection unit 24 executes the object detection process using the parameters set by the parameter selection unit 29.
- the second feature amount extraction unit 23 executes the second feature amount extraction process using the learned parameters included in the parameter set selected by the parameter selection unit 29. Further, the object detection unit 24 executes the object detection process using the learned parameters included in the parameter set selected by the parameter selection unit 29.
- FIG. 31 is a block diagram showing a main part of the learning system including the learning device according to the third embodiment.
- a learning system including the learning device according to the third embodiment will be described with reference to FIG. 31.
- the same blocks as those shown in FIG. 4 are designated by the same reference numerals, and the description thereof will be omitted.
- the learning system 300b includes a storage device 2, a storage device 3b, a storage device 7, and a learning device 400.
- the storage device 2 has a feature map storage unit 11.
- the storage device 3b has a location-specific image data storage unit 16.
- the storage device 7 has a location-specific parameter storage unit 15.
- the learning device 400 includes an image data acquisition unit 21, a first feature amount extraction unit 22, a second feature amount extraction unit 23, an object detection unit 24, and a learning unit 25.
- the location-specific image data storage unit 16 stores a plurality of learning image databases.
- the plurality of learning image databases correspond to different locations.
- the plurality of learning image databases include a learning image database corresponding to an urban area, a learning image database corresponding to a highway, and a learning image database corresponding to a suburb.
- the plurality of learning images included in the individual learning image databases are captured by the same camera as the camera 1 at the corresponding locations.
- the learning of the second feature amount extraction unit 23 and the object detection unit 24 by the learning unit 25 is executed by using the individual learning image databases. That is, such learning is executed for each learning image database. As a result, a plurality of parameter sets corresponding to different locations are generated.
- the learning unit 25 stores the generated plurality of parameter sets in the location-specific parameter storage unit 15. As a result, a trained parameter database for each location is generated.
- the code of "F8" may be used for the function of the location information acquisition unit 28. Further, the reference numeral “F9" may be used for the function of the parameter selection unit 29.
- location information acquisition processing may be collectively referred to as “location information acquisition processing”.
- parameter selection unit 29 may be collectively referred to as “parameter selection process”.
- the hardware configuration of the main part of the object detection device 200b is the same as that described with reference to FIGS. 5 and 6 in the first embodiment. Therefore, illustration and description will be omitted. That is, the object detection device 200b has a plurality of functions F1 to F4, F8, and F9. Each of the plurality of functions F1 to F4, F8, and F9 may be realized by the processor 41 and the memory 42, or may be realized by the dedicated processing circuit 43. Further, the processing circuit 43 may include a plurality of processing circuits corresponding to a plurality of functions F1 to F4, F8, and F9.
- the hardware configuration of the main part of the learning device 400 is the same as that described with reference to FIGS. 7 and 8 in the first embodiment. Therefore, illustration and description will be omitted.
- FIG. 32 the same steps as those shown in FIG. 9 are designated by the same reference numerals and the description thereof will be omitted.
- the location information acquisition unit 28 executes the location information acquisition process (step ST7).
- the parameter selection unit 29 executes the parameter selection process (step ST8).
- the processes of steps ST1 to ST4 are executed.
- the operation of the learning device 400 is the same as that described with reference to FIG. 10 in the first embodiment. Therefore, illustration and description will be omitted.
- the accuracy of object detection can be further improved. That is, an appropriate degree of freedom in the network can be realized.
- object detection device 200b can employ various modifications similar to those described in the first embodiment.
- the object detection device 200b corresponds to the place information acquisition unit 28 that acquires the place information and the place indicated by the place information in the parameter set included in the learned parameter database for each place.
- the second feature amount extraction unit 23 includes a parameter selection unit 29 for selecting a parameter set to be selected, and the second feature map FM2 and the second feature map FM2 and the second feature amount extraction unit 23 use the learned parameters included in the parameter set selected by the parameter selection unit 29. 3 Feature map FM3 is generated. Thereby, the accuracy of object detection can be further improved.
- FIG. 33 is a block diagram showing a main part of the monitoring system including the monitoring device according to the fourth embodiment.
- FIG. 34 is a block diagram showing a main part of the analysis unit and the output control unit in the monitoring device according to the fourth embodiment.
- a monitoring system including the monitoring device according to the fourth embodiment will be described with reference to FIGS. 33 and 34.
- FIG. 33 the same blocks as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the monitoring system 500 includes a camera 1, a storage device 2, an output device 8, and a monitoring device 600.
- the monitoring device 600 includes an object detection device 200, an analysis unit 51, and an output control unit 52.
- the analysis unit 51 includes an abnormality determination unit 61, a time analysis unit 62, a threat determination unit 63, and a spatial analysis unit 64.
- the output control unit 52 includes an image output control unit 65 and an audio output control unit 66.
- the output device 8 includes a display 71 and a speaker 72.
- the camera 1 is composed of, for example, a surveillance camera, a security camera, or a camera for an electronic mirror.
- the display 71 is composed of a display for an electronic mirror. That is, in this case, the camera 1 and the display 71 form a main part of the electronic mirror.
- an example in this case will be mainly described.
- the abnormality determination unit 61 determines the degree of abnormality A of each object by using the detection result by the object detection unit 24. More specifically, the abnormality determination unit 61 determines the degree of abnormality A based on the position of each object by using the estimation result by the position estimation unit 34.
- the other vehicle when another vehicle is detected by the object detection unit 24 and the other vehicle is located at a normal position (for example, a position corresponding to an inter-vehicle distance of a predetermined value or more), the other vehicle is abnormal.
- the degree of abnormality A is set to a smaller value than when the vehicle is located at a position (for example, a position corresponding to an inter-vehicle distance less than a predetermined value).
- the degree of abnormality A when the other vehicle is located at an abnormal position (same as above), the degree of abnormality A is larger than when the other vehicle is located at a normal position (same as above).
- the time analysis unit 62 analyzes the detection result by the object detection unit 24 in time. That is, the time analysis unit 62 temporally analyzes the results of a plurality of times of object detection processing corresponding to a plurality of captured images that are continuous in time. In other words, the time analysis unit 62 temporally analyzes the results of the object detection processing for a plurality of frames. As a result, the time analysis unit 62 calculates the time change amount ⁇ S of the size of each object in the moving image captured by the camera 1.
- the time analysis unit 62 calculates the expansion coefficient per unit time of the bounding box corresponding to each object.
- the time analysis unit 62 calculates the time change amount ⁇ S by integrating the calculated expansion coefficient.
- the threat determination unit 63 determines the threat degree T of each object by using the detection result by the object detection unit 24. More specifically, the threat determination unit 63 determines the threat degree T based on the traveling direction of each object by using the estimation result by the type estimation unit 35.
- the class classified by the type estimation unit 35 includes the traveling direction of the object. Therefore, for example, when another vehicle is detected by the object detection unit 24, when the other vehicle is a following vehicle or an overtaking vehicle, the threat level T is higher than when the other vehicle is an oncoming vehicle. Set to a large value. On the other hand, in this case, when the other vehicle is an oncoming vehicle, the threat degree T is set to a value smaller than that when the vehicle is a following vehicle or an overtaking vehicle.
- the threat determination unit 63 determines the threat degree T of each object by using the analysis result by the time analysis unit 62.
- the threat determination unit 63 executes the following calculation for each object.
- the threat determination unit 63 compares the calculated time change amount ⁇ S with the threshold value ⁇ Sth.
- the threat degree T is set to a value larger than when the time change amount ⁇ S is equal to or less than the threshold value ⁇ Sth.
- the threshold value ⁇ Sth is set to a value based on the average value ⁇ S_ave of the time change amount ⁇ S calculated in the past for the corresponding object.
- the spatial analysis unit 64 generates a risk map by spatially analyzing the determination result by the abnormality determination unit 61 and the determination result by the threat determination unit 63.
- the risk map is composed of a plurality of risk values arranged in a two-dimensional manner.
- the individual risk values are weighted values according to the corresponding anomaly degree A and weighted values according to the corresponding threat degree T.
- the analysis unit 51 analyzes the detection result by the object detection unit 24.
- the image output control unit 65 outputs an image signal corresponding to the analysis result by the analysis unit 51 to the display 71. As a result, the image output control unit 65 executes control for displaying the image corresponding to the analysis result by the analysis unit 51 on the display 71. Further, the voice output control unit 66 outputs a voice signal corresponding to the analysis result by the analysis unit 51 to the speaker 72. As a result, the voice output control unit 66 executes control to output the voice corresponding to the analysis result by the analysis unit 51 to the speaker 72.
- the output control unit 52 outputs a signal corresponding to the analysis result by the analysis unit 51 to the output device 8.
- the signals output by the output control unit 52 may be collectively referred to as “analysis result signals”.
- the image signal output by the image output control unit 65 may indicate an image including a risk map generated by the spatial analysis unit 64 (hereinafter referred to as “risk map image”).
- risk map image may be displayed on the display 71.
- FIG. 35 shows an example of a risk map image.
- the risk values in the two regions A1 and A2 are set to be higher than the risk values in the other regions.
- the colors in the two regions A1 and A2 are displayed in different colors from the colors in the other regions.
- the two areas A1 and A2 correspond to, for example, two other vehicles, respectively.
- the individual risk values in the risk map are visualized.
- the risk value can be visually presented to the passengers of the own vehicle.
- the code of "F11” may be used for the function of the analysis unit 51. Further, the reference numeral “F12” may be used for the function of the output control unit 52.
- the processes executed by the object detection device 200 may be collectively referred to as "object detection process, etc.” That is, the object detection process and the like include an image data acquisition process, a first feature amount extraction process, a second feature amount extraction process, and an object detection process. Further, the processes executed by the analysis unit 51 may be collectively referred to as “analysis process”. Further, the processing and control executed by the output control unit 52 may be collectively referred to as "output control”.
- the monitoring device 600 has a processor 81 and a memory 82.
- the memory 82 stores programs corresponding to a plurality of functions F1 to F4, F11, and F12.
- the processor 81 reads and executes the program stored in the memory 82. As a result, a plurality of functions F1 to F4, F11, and F12 are realized.
- the monitoring device 600 has a processing circuit 83.
- a plurality of functions F1 to F4, F11, and F12 are realized by the dedicated processing circuit 83.
- the monitoring device 600 has a processor 81, a memory 82, and a processing circuit 83 (not shown).
- some of the functions of the plurality of functions F1 to F4, F11 and F12 are realized by the processor 81 and the memory 82, and the remaining functions of the plurality of functions F1 to F4, F11 and F12 are realized. Is realized by the dedicated processing circuit 83.
- the processor 81 is composed of one or more processors.
- the individual processors use, for example, CPUs, GPUs, microprocessors, microcontrollers or DSPs.
- the memory 82 is composed of one or more non-volatile memories.
- the memory 82 is composed of one or more non-volatile memories and one or more volatile memories. That is, the memory 82 is composed of one or more memories.
- the individual memory uses, for example, a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, or a magnetic tape.
- each volatile memory uses, for example, RAM.
- non-volatile memory for example, ROM, flash memory, EPROM, EEPROM, solid state drive, hard disk drive, flexible disk, compact disk, DVD, Blu-ray disk or mini disk are used.
- the processing circuit 83 is composed of one or more digital circuits. Alternatively, the processing circuit 83 is composed of one or more digital circuits and one or more analog circuits. That is, the processing circuit 83 is composed of one or more processing circuits.
- the individual processing circuits use, for example, ASIC, PLD, FPGA, SoC or system LSI.
- the processing circuit 83 is composed of a plurality of processing circuits
- the correspondence between the plurality of functions F1 to F4, F11, F12 and the plurality of processing circuits is arbitrary.
- the monitoring device 600 may have a plurality of processing circuits having a one-to-one correspondence with a plurality of functions F1 to F4, F11, and F12.
- each of the plurality of functions F1 to F4, F11, and F12 may be realized exclusively by one corresponding processing circuit among the plurality of processing circuits.
- the object detection device 200 executes an object detection process or the like (step ST21).
- the analysis unit 51 executes the analysis process (step ST22).
- the output control unit 52 executes output control (step ST23).
- the monitoring device 600 may have an object detection device 200a instead of the object detection device 200.
- the monitoring system 500 may include a clock 4 and a storage device 5.
- the monitoring device 600 may have an object detection device 200b instead of the object detection device 200.
- the monitoring system 500 may include a locator 6 and a storage device 7.
- the analysis unit 51 may have only one of the abnormality determination unit 61 and the threat determination unit 63.
- each risk value in the risk map is a value weighted by the corresponding abnormality degree A.
- each risk value in the risk map is a value weighted by the corresponding threat degree T.
- the threat determination unit 63 executes only one of the determination of the threat degree T based on the estimation result by the type estimation unit 35 and the determination of the threat degree T based on the analysis result by the time analysis unit 62. You may.
- the output control unit 52 may have only one of the image output control unit 65 and the audio output control unit 66.
- the output device 8 may include only the display 71 of the display 71 and the speaker 72.
- the output control unit 52 has only the audio output control unit 66, the output device 8 may include only the speaker 72 of the display 71 and the speaker 72.
- the time analysis unit 62 analyzes the detection result by the object detection unit 24 in time. From the viewpoint corresponding to such analysis, the object detection device 200, the object detection device 200a, or the object detection device 200b in the monitoring device 600 may be configured as follows.
- the image data acquisition unit 21 may acquire image data corresponding to a plurality of captured images (that is, still images for a plurality of frames) that are continuous in time. That is, the image data acquisition unit 21 may acquire time series data.
- the first feature amount extraction unit 22 may generate a feature map (that is, the first feature map FM1) including temporal information by using the acquired time series data. Further, the second feature amount extraction unit 23 uses the acquired time-series data to generate a feature map (that is, an individual second feature map FM2 and an individual third feature map FM3) including temporal information. It may be something to do.
- the first neural network NN1 may have a structure for processing the acquired time-series data in a time-series manner.
- the CNN in the first neural network NN1 may be one using an LSTM (Long Short Term Memory) network.
- the monitoring device 600 includes the object detection device 200, the object detection device 200a or the object detection device 200b, the analysis unit 51 for analyzing the detection result by the object detection unit 24, and the analysis unit 51.
- An output control unit 52 that outputs an analysis result signal corresponding to the analysis result according to the above is provided.
- the object detection device, monitoring device, and learning device according to the present disclosure can be used, for example, in an electronic mirror.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
物体検出装置(200)は、カメラ(1)による撮像画像を示す画像データを取得する画像データ取得部(21)と、画像データを用いて第1特徴マップ(FM1)を生成する第1特徴量抽出部(22)と、画像データを用いて第2特徴マップ(FM2)を生成するとともに、第1特徴マップ(FM1)を用いて第2特徴マップ(FM2)に対する重み付けをすることにより第3特徴マップ(FM3)を生成する第2特徴量抽出部(23)と、第3特徴マップ(FM3)を用いて撮像画像における物体を検出する物体検出部(24)と、を備え、第1特徴マップ(FM1)における第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであり、第2特徴マップ(FM2)における第2特徴量は、高レベル特徴を用いたものである。
Description
本開示は、物体検出装置、モニタリング装置及び学習装置に関する。
従来、深層学習により学習自在な畳み込みニューラルネットワーク(以下「CNN」と記載することがある。)を用いて、カメラにより撮像された動画における個々の物体をリアルタイムに検出する技術が開発されている。すなわち、個々の物体の位置を推定するとともに、個々の物体の種別を推定する技術が開発されている。例えば、SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)及びFaster R-CNN(Region-based Convolutional Neural Network)が開発されている。非特許文献1には、SSDが開示されている。
Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector," v5, 29 Dec 2016, https://arxiv.org/pdf/1512.02325v5.pdf
従来の物体検出(Object Detection)は、ディープなCNNを用いたものである。このため、主にプーリングにより、空間的な情報が消失する。この結果、特に画像における物体のサイズが小さいとき、かかる物体の位置を推定することが技術的に困難であるという問題があった。すなわち、小さい物体を検出することが技術的に困難であるという問題があった。
ここで、従来の物体検出において、個々の特徴マップのサイズを大きくすることにより、小さい物体の検出に対応することが考えられる。しかしながら、ディープなCNNにおいて個々の特徴マップのサイズを大きくすることにより、演算量が爆発的に増加する。このため、かかる方法は非実際的である。
本開示は、上記のような課題を解決するためになされたものであり、小さい物体の検出を実現することを目的とする。
本開示に係る物体検出装置は、カメラによる撮像画像を示す画像データを取得する画像データ取得部と、画像データを用いて第1特徴マップを生成する第1特徴量抽出部と、画像データを用いて第2特徴マップを生成するとともに、第1特徴マップを用いて第2特徴マップに対する重み付けをすることにより第3特徴マップを生成する第2特徴量抽出部と、第3特徴マップを用いて撮像画像における物体を検出する物体検出部と、を備え、第1特徴マップにおける第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであり、第2特徴マップにおける第2特徴量は、高レベル特徴を用いたものである。
本開示によれば、上記のように構成したので、小さい物体の検出を実現することができる。
以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る物体検出装置を含む物体検出システムの要部を示すブロック図である。図2は、実施の形態1に係る物体検出装置における第1特徴量抽出部、第2特徴量抽出部及び物体検出部の要部を示すブロック図である。図1及び図2を参照して、実施の形態1に係る物体検出装置を含む物体検出システムについて説明する。
図1は、実施の形態1に係る物体検出装置を含む物体検出システムの要部を示すブロック図である。図2は、実施の形態1に係る物体検出装置における第1特徴量抽出部、第2特徴量抽出部及び物体検出部の要部を示すブロック図である。図1及び図2を参照して、実施の形態1に係る物体検出装置を含む物体検出システムについて説明する。
図1に示す如く、物体検出システム100は、カメラ1、記憶装置2及び物体検出装置200を含むものである。記憶装置2は、特徴マップ記憶部11を有している。物体検出装置200は、画像データ取得部21、第1特徴量抽出部22、第2特徴量抽出部23及び物体検出部24を有している。カメラ1は、例えば、監視カメラ、防犯カメラ又は電子ミラー用のカメラにより構成されている。すなわち、カメラ1は、動画撮像用のカメラにより構成されている。記憶装置2は、メモリにより構成されている。
以下、カメラ1が電子ミラー用のカメラにより構成されている場合の例を中心に説明する。この場合、カメラ1、記憶装置2及び物体検出装置200は、車両(不図示)に設けられている。以下、かかる車両を「自車両」ということがある。
図2に示す如く、第1特徴量抽出部22は、第1特徴マップ生成部31を有している。第2特徴量抽出部23は、第1ニューラルネットワークNN1により構成されている。第1ニューラルネットワークNN1は、第2特徴マップ生成部32及び第3特徴マップ生成部33を有している。物体検出部24は、第2ニューラルネットワークNN2により構成されている。第2ニューラルネットワークNN2は、位置推定部34及び種別推定部35を有している。
画像データ取得部21は、カメラ1により撮像された画像を示す画像データを取得するものである。すなわち、画像データ取得部21は、カメラ1により撮像された動画を構成する個々の静止画(以下「撮像画像」ということがある。)を示す画像データを取得するものである。
第1特徴マップ生成部31は、画像データ取得部21により取得された画像データを用いて、個々の撮像画像に対応する1個の特徴マップ(以下「第1特徴マップ」という。)FM1を生成するものである。第1特徴マップFM1は、二次元状に配列された複数個の特徴量(以下「第1特徴量」という。)により構成されている。個々の第1特徴量は、物体らしさ(Objectness)に対応する中レベル特徴(Mid-level Feature)を用いたものである。
ここで、中レベル特徴における「中レベル」とは、人の視覚モデルに基づくレベルと同等のレベルである。すなわち、かかる「中レベル」とは、従来の物体検出に用いられる特徴のレベルに比して低いレベルである。
具体的には、例えば、個々の第1特徴量は、顕著性(Saliency)を用いたものである。第1特徴マップ生成部31は、顕著性推定(Saliency Estimation)を実行することにより、顕著性マップ(Saliency Map)を生成する。このとき、第1特徴マップ生成部31は、例えば、以下の参考文献1に記載された方法と同様の方法により顕著性マップを生成する。すなわち、第1特徴マップ生成部31は、参考文献1に記載された物体検出装置における画像特徴マップ生成部による生成方法と同様の生成方法により顕著性マップを生成する。
[参考文献1]
国際公開第2018/051459号
国際公開第2018/051459号
かかる方法により、画像データ取得部21により取得された画像データを用いて、他の特徴マップを経ることなく直接的に顕著性マップが生成される。また、CNNを用いることなく顕著性マップが生成される。
第1特徴マップ生成部31は、教師なし学習により学習自在なものである。すなわち、第1特徴量抽出部22は、教師なし学習により学習自在なものである。かかる教師なし学習には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
第2特徴マップ生成部32は、画像データ取得部21により取得された画像データを用いて、個々の撮像画像に対応する複数個の特徴マップ(以下「第2特徴マップ」という。)FM2を生成するものである。個々の第2特徴マップFM2は、二次元状に配列された複数個の特徴量(以下「第2特徴量」という。)により構成されている。個々の第2特徴量は、高レベル特徴(High-level Feature)を用いたものである。
ここで、高レベル特徴における「高レベル」とは、従来の物体検出に用いられる特徴のレベルと同等のレベルである。すなわち、かかる「高レベル」とは、人の視覚モデルに基づくレベルに比して高いレベルである。
具体的には、例えば、第1ニューラルネットワークNN1のうちの第2特徴マップ生成部32に対応する部位により、CNNが構成されている。かかるCNNにより、複数個の第2特徴マップFM2が順次生成される。
第3特徴マップ生成部33は、第1特徴マップFM1における個々の第1特徴量を用いて、個々の第2特徴マップFM2における対応する第2特徴量に対する重み付けをするものである。これにより、第3特徴マップ生成部33は、複数個の第2特徴マップFM2に対応する複数個の特徴マップ(以下「第3特徴マップ」という。)FM3を生成するものである。
このとき、第3特徴マップ生成部33は、第1特徴マップFM1における個々の第1特徴量と個々の第2特徴マップFM2における対応する第2特徴量とを比較することにより、個々の第2特徴量に付与される重みを示す値(以下「重要度」という。)Wを設定する。以下、重要度Wの設定方法の具体例について説明する。
まず、第3特徴マップ生成部33は、第1特徴マップFM1における個々の第1特徴量と個々の第2特徴マップFM2における対応する第2特徴量との類似度Sを算出する。類似度Sは、例えば、EMD(Earth Mover’s Distance)、コサイン類似度(Cosine Similarity)、KLD(Kullback-Leibler Divergence)、L2ノルム、L1ノルム及びマンハッタン距離(Manhattan Distance)のうちの少なくとも一つに基づく値である。
次いで、第3特徴マップ生成部33は、当該算出された類似度Sを用いて、個々の第2特徴量に対応する重要度Wを設定する。このとき、第3特徴マップ生成部33は、個々の第2特徴量について、対応する類似度Sが大きいほど(すなわち対応する距離が小さいほど)重要度Wを大きい値に設定する。換言すれば、第3特徴マップ生成部33は、個々の第2特徴量について、対応する類似度Sが小さいほど(すなわち対応する距離が大きいほど)重要度Wを小さい値に設定する。
上記のとおり、個々の第1特徴量は、物体らしさに対応する中レベル特徴を用いたものである。このため、かかる重み付けがなされることにより、個々の第2特徴量が対応する物体らしさに応じて補強されることになる。すなわち、より高い物体らしさに対応する第2特徴量は、より低い物体らしさに対応する第2特徴量に比して相対的に強められる。他方、より低い物体らしさに対応する第2特徴量は、より高い物体らしさに対応する第2特徴量に比して相対的に弱められる。個々の第3特徴マップFM3は、かかる補強がなされた複数個の特徴量(以下「第3特徴量」ということがある。)によるものである。
第1ニューラルネットワークNN1は、教師あり学習により学習自在なものである。すなわち、第2特徴量抽出部23は、教師あり学習により学習自在なものである。ここで、上記のとおり、第1ニューラルネットワークNN1は、CNNを含むものである。すなわち、第2特徴量抽出部23は、CNNを含むものである。このため、第2特徴量抽出部23は、深層学習により学習自在なものである。第1ニューラルネットワークNN1の構造については、図11~図14を参照して後述する。
特徴マップ記憶部11は、第2特徴マップ生成部32により個々の第2特徴マップFM2が生成されたとき、当該生成された第2特徴マップFM2を一時的に記憶するものである。特徴マップ記憶部11が第2特徴量抽出部23外に設けられていることにより、記憶容量の使用効率の向上を図ることができる。
物体検出部24は、第3特徴マップ生成部33により生成された複数個の第3特徴マップFM3を用いて、個々の撮像画像における個々の物体を検出するものである。より具体的には、位置推定部34が回帰(Regression)により個々の物体の位置を推定するとともに、種別推定部35が分類(Classification)により個々の物体の種別を推定するものである。すなわち、第2ニューラルネットワークNN2は、教師あり学習により学習自在なものである。換言すれば、物体検出部24は、教師あり学習により学習自在なものである。
具体的には、例えば、物体検出部24は、SSDにより個々の物体を検出する。すなわち、第2ニューラルネットワークNN2は、非特許文献1に記載されたSSDにおける「VGG-16」よりも後段のニューラルネットワークと同様のニューラルネットワークにより構成されている(非特許文献1のFig.2等参照。)。すなわち、第2ニューラルネットワークNN2は、非特許文献1に記載されたSSDにおける「Extra Feature Layers」と同様のニューラルネットワークを含むニューラルネットワークにより構成されている。かかるニューラルネットワークにより、複数回の畳み込み演算が実行される。これにより、個々の物体の位置が推定されるとともに、個々の物体の種別が推定される。
ここで、かかる複数回の畳み込み演算は、互いに異なるカーネルサイズによるものである。より具体的には、カーネルサイズが次第に小さくなるものである。これにより、撮像画像における個々の物体のサイズの変動に対応することができる。すなわち、いわゆる「マルチスケール」による物体検出を実現することができる。
図3は、種別推定部35により推定される種別の例を示している。すなわち、図3は、種別推定部35により分類されるクラスの例を示している。
図中「cars(same direction)」は、自車両の走行方向に対する同一方向に走行中の自動車を示している。図中「large vehicles(same direction)」は、自車両の走行方向に対する同一方向に走行中の大型自動車を示している。図中「motorbikes(same direction)」は、自車両の走行方向に対する同一方向に走行中の自動二輪車を示している。すなわち、これらのクラスは、自車両の走行方向に対する同一方向に走行中の他車両を示している。換言すれば、これらのクラスは、後続車両又は追越し車両を示している。
図中「cars(opposite direction)」は、自車両の走行方向に対する反対方向に走行中の自動車を示している。図中「large vehicles(opposite direction)」は、自車両の走行方向に対する反対方向に走行中の大型自動車を示している。図中「motorbikes(opposite direction)」は、自車両の走行方向に対する反対方向に走行中の自動二輪車を示している。すなわち、これらのクラスは、自車両の走行方向に対する反対方向に走行中の他車両を示している。換言すれば、これらのクラスは、対向車両を示している。
このように、種別推定部35により分類されるクラスは、個々の物体の進行方向を含むものである。すなわち、種別推定部35により推定される種別は、個々の物体の進行方向を含むものである。これにより、物体検出部24に対する後段の処理において、かかる進行方向の判定を不要とすることができる。この結果、物体検出部24に対する後段の処理における演算量を低減することができる。
図4は、実施の形態1に係る学習装置を含む学習システムの要部を示すブロック図である。図4を参照して、実施の形態1に係る学習装置を含む学習システムについて説明する。なお、図4において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図4に示す如く、学習システム300は、記憶装置2、記憶装置3及び学習装置400を含むものである。記憶装置2は、特徴マップ記憶部11を有している。記憶装置3は、画像データ記憶部12を有している。学習装置400は、画像データ取得部21、第1特徴量抽出部22、第2特徴量抽出部23、物体検出部24及び学習部25を有している。記憶装置3は、メモリにより構成されている。
画像データ記憶部12は、複数個の学習用の画像(以下「学習用画像」ということがある。)を含むデータベース(以下「学習用画像データベース」という。)を記憶するものである。学習装置400における画像データ取得部21は、個々の撮像画像を示す画像データを取得するのに代えて、個々の学習用画像を示す画像データを取得するものである。
学習装置400における第1特徴量抽出部22、第2特徴量抽出部23及び物体検出部24は、物体検出装置200における第1特徴量抽出部22、第2特徴量抽出部23及び物体検出部24とそれぞれ同様のものである。このため、詳細な説明は省略する。
学習部25は、物体検出部24による検出結果に基づき、教師あり学習(より具体的には深層学習)による第2特徴量抽出部23の学習をするものである。また、学習部25は、物体検出部24による検出結果に基づき、教師あり学習による物体検出部24の学習をするものである。
すなわち、学習部25は、画像データ取得部21により取得された画像データが示す学習用画像に対応する物体検出に係る正解を示すデータ(以下「正解データ」という。)を取得する。正解データは、人(例えば物体検出装置200の製造者又は物体検出システム100を用いた役務の提供者)により予め入力されたものである。学習部25は、物体検出部24による検出結果と当該取得された正解データが示す正解とを比較する。学習部25は、かかる比較の結果に基づき、必要に応じて第1ニューラルネットワークNN1におけるパラメータを更新するとともに、必要に応じて第2ニューラルネットワークNN2におけるパラメータを更新する。かかるパラメータの更新には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
以下、画像データ取得部21の機能に「F1」の符号を用いることがある。また、第1特徴量抽出部22の機能に「F2」の符号を用いることがある。また、第2特徴量抽出部23の機能に「F3」の符号を用いることがある。また、物体検出部24の機能に「F4」の符号を用いることがある。また、学習部25の機能に「F5」の符号を用いることがある。
以下、画像データ取得部21により実行される処理を総称して「画像データ取得処理」ということがある。また、第1特徴量抽出部22により実行される処理を総称して「第1特徴量抽出処理」ということがある。また、第2特徴量抽出部23により実行される処理を総称して「第2特徴量抽出処理」ということがある。また、物体検出部24により実行される処理を総称して「物体検出処理」ということがある。また、学習部25により実行される処理を総称して「学習処理」ということがある。
次に、図5及び図6を参照して、物体検出装置200の要部のハードウェア構成について説明する。
図5に示す如く、物体検出装置200は、プロセッサ41及びメモリ42を有している。メモリ42には、複数個の機能F1~F4に対応するプログラムが記憶されている。プロセッサ41は、メモリ42に記憶されているプログラムを読み出して実行する。これにより、複数個の機能F1~F4が実現される。
または、図6に示す如く、物体検出装置200は、処理回路43を有している。この場合、専用の処理回路43により複数個の機能F1~F4が実現される。
または、物体検出装置200は、プロセッサ41、メモリ42及び処理回路43を有している(不図示)。この場合、複数個の機能F1~F4のうちの一部の機能がプロセッサ41及びメモリ42により実現されるとともに、複数個の機能F1~F4のうちの残余の機能が専用の処理回路43により実現される。
プロセッサ41は、1個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
メモリ42は、1個以上の不揮発性メモリにより構成されている。または、メモリ42は、1個以上の不揮発性メモリ及び1個以上の揮発性メモリにより構成されている。すなわち、メモリ42は、1個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク又は磁気テープを用いたものである。
より具体的には、個々の揮発性メモリは、例えば、RAM(Random Access Memory)を用いたものである。また、個々の不揮発性メモリは、例えば、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ソリッドステートドライブ、ハードディスクドライブ、フレキシブルディスク、コンパクトディスク、DVD(Digital Versatile Disc)、ブルーレイディスク又はミニディスクを用いたものである。
処理回路43は、1個以上のデジタル回路により構成されている。または、処理回路43は、1個以上のデジタル回路及び1個以上のアナログ回路により構成されている。すなわち、処理回路43は、1個以上の処理回路により構成されている。個々の処理回路は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、SoC(System on a Chip)又はシステムLSI(Large Scale Integration)を用いたものである。
ここで、処理回路43が複数個の処理回路により構成されているとき、複数個の機能F1~F4と複数個の処理回路との対応関係は任意である。例えば、物体検出装置200は、複数個の機能F1~F4と一対一に対応する複数個の処理回路を有するものであっても良い。この場合、複数個の機能F1~F4の各々は、複数個の処理回路のうちの対応する1個の処理回路により専ら実現されるものであっても良い。
次に、図7及び図8を参照して、学習装置400の要部のハードウェア構成について説明する。
図7に示す如く、学習装置400は、プロセッサ44及びメモリ45を有している。メモリ45には、複数個の機能F1~F5に対応するプログラムが記憶されている。プロセッサ44は、メモリ45に記憶されているプログラムを読み出して実行する。これにより、複数個の機能F1~F5が実現される。
または、図8に示す如く、学習装置400は、処理回路46を有している。この場合、専用の処理回路46により複数個の機能F1~F5が実現される。
または、学習装置400は、プロセッサ44、メモリ45及び処理回路46を有している(不図示)。この場合、複数個の機能F1~F5のうちの一部の機能がプロセッサ44及びメモリ45により実現されるとともに、複数個の機能F1~F5のうちの残余の機能が専用の処理回路46により実現される。
プロセッサ44は、1個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、CPU、GPU、マイクロプロセッサ、マイクロコントローラ又はDSPを用いたものである。
メモリ45は、1個以上の不揮発性メモリにより構成されている。または、メモリ45は、1個以上の不揮発性メモリ及び1個以上の揮発性メモリにより構成されている。すなわち、メモリ45は、1個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク又は磁気テープを用いたものである。
より具体的には、個々の揮発性メモリは、例えば、RAMを用いたものである。また、個々の不揮発性メモリは、例えば、ROM、フラッシュメモリ、EPROM、EEPROM、ソリッドステートドライブ、ハードディスクドライブ、フレキシブルディスク、コンパクトディスク、DVD、ブルーレイディスク又はミニディスクを用いたものである。
処理回路46は、1個以上のデジタル回路により構成されている。または、処理回路46は、1個以上のデジタル回路及び1個以上のアナログ回路により構成されている。すなわち、処理回路46は、1個以上の処理回路により構成されている。個々の処理回路は、例えば、ASIC、PLD、FPGA、SoC又はシステムLSIを用いたものである。
ここで、処理回路46が複数個の処理回路により構成されているとき、複数個の機能F1~F5と複数個の処理回路との対応関係は任意である。例えば、学習装置400は、複数個の機能F1~F5と一対一に対応する複数個の処理回路を有するものであっても良い。この場合、複数個の機能F1~F5の各々は、複数個の処理回路のうちの対応する1個の処理回路により専ら実現されるものであっても良い。
次に、図9のフローチャートを参照して、物体検出装置200の動作について説明する。
まず、画像データ取得部21が画像データ取得処理を実行する(ステップST1)。次いで、第1特徴量抽出部22が第1特徴量抽出処理を実行する(ステップST2)。次いで、第2特徴量抽出部23が第2特徴量抽出処理を実行する(ステップST3)。次いで、物体検出部24が物体検出処理を実行する(ステップST4)。
次に、図10のフローチャートを参照して、学習装置400の動作について説明する。
まず、画像データ取得部21が画像データ取得処理を実行する(ステップST11)。次いで、第1特徴量抽出部22が第1特徴量抽出処理を実行する(ステップST12)。次いで、第2特徴量抽出部23が第2特徴量抽出処理を実行する(ステップST13)。次いで、物体検出部24が物体検出処理を実行する(ステップST14)。次いで、学習部25が学習処理を実行する(ステップST15)。
次に、図11~図14を参照して、第1ニューラルネットワークNN1の構造について説明する。
図11に示す如く、第1ニューラルネットワークNN1は、複数個の顕著性ブロック層L1を有している。図中「Input image」は、画像データ取得部21により取得された画像データが示す撮像画像又は学習用画像を示している。図中「Saliency Map」は、第1特徴マップ生成部31により生成された第1特徴マップFM1を示している。図中「Feature Map」は、第3特徴マップ生成部33により生成される個々の第3特徴マップFM3を示している。
図12に示す如く、個々の顕著性ブロック層L1は、3×3による畳み込み層L11、BN(Batch Normalization)層L12、ELU(Exponential Linear Unit)層L13、最大プーリング層L14及び顕著性ガイド層L15を有している。
以下、VGGネットワークを「VGGNet」と記載する。また、BNが追加されたVGGNetを「VGG+BN」と記載する。また、残差ネットワーク(Residual Network)を「ResNet」と記載する。図13は、第1ニューラルネットワークNN1におけるCNNにVGG+BNを用いた場合における顕著性ガイド層L15の例を示している。これに対して、図14は、第1ニューラルネットワークNN1におけるCNNにResNetを用いた場合における顕著性ガイド層L15の例を示している。
図13に示す如く、顕著性ガイド層L15は、畳み込みブロック層L21及びスケール層L22を有している。これらの層L21,L22は、第2特徴マップ生成部32に対応するものである。また、顕著性ガイド層L15は、重み演算層L23、1×1による畳み込み層L24、ReLU(Rectified Linear Unit)層L25、1×1による畳み込み層L26及びシグモイド層L27を有している。これらの層L23~L27は、第3特徴マップ生成部33に対応するものである。
または、図14に示す如く、顕著性ガイド層L15は、残差ブロック層L31及びスケール層L32を有している。これらの層L32,L33は、第2特徴マップ生成部32に対応するものである。また、顕著性ガイド層L15は、重み演算層L33、1×1による畳み込み層L34、ReLU層L35、1×1による畳み込み層L36及びシグモイド層L37を有している。これらの層L33~L37は、第3特徴マップ生成部33に対応するものである。
すなわち、図14に示す構造は、いわゆる「Attention機構」を用いたものである。これは、CNNsにより獲得された特徴を空間的に展開して、高次元特徴を自己精錬(self-attention)するものである。これにより、学習すべき特徴を高度に判別して、認識精度を向上するものである。
これらの構造を有する第1ニューラルネットワークNN1を用いることにより、個々の顕著性ブロック層L1にて、複数個の第2特徴マップFM2のうちの対応する第2特徴マップFM2が生成されるとともに、当該生成された第2特徴マップFM2に対する重み付けがなされる。すなわち、第1特徴マップFM1による個々の第2特徴マップFM2に対する重み付けがなされる。
次に、図15~図22を参照して、物体検出装置200の効果について説明する。
以下、SE(Squeeze-and-Excitation)ネットワークを「SENet」と記載する。また、SENetが追加されたVGG+BNを「VGG+BN+SE」と記載する。また、SENetが追加されたResNetを「ResNet+SE」と記載する。
以下、VGG+BN又はResNetによる特徴量抽出部を有し、かつ、SSDによる物体検出部を有する従来の物体検出装置(不図示)に「200’_1」の符号を用いる。また、VGG+BN+SE又はResNet+SEによる特徴量抽出部を有し、かつ、SSDによる物体検出部を有する従来の物体検出装置(不図示)に「200’_2」の符号を用いる。すなわち、これらの物体検出装置200’_1,200’_2は、物体検出装置200に対する比較対象となるものである。また、これらの物体検出装置200’_1,200’_2は、第1特徴マップ生成部31に相当する部位を有しないものであり、かつ、第3特徴マップ生成部33に相当する部位を有しないものである。
以下、図13に示す顕著性ガイド層L15を用いた場合における第1ニューラルネットワークNN1の構造を「VGG+BN+SM」と記載する。また、図14に示す顕著性ガイド層L15を用いた場合における第1ニューラルネットワークNN1の構造を「ResNet+SM」と記載する。
以下、個々の撮像画像における個々の物体のサイズに対する範囲について、中程度のサイズを含む範囲R2を「第2範囲」という。また、第2範囲R2に含まれるサイズに比して小さいサイズを含む範囲R1を「第1範囲」という。また、第2範囲R2に含まれるサイズに比して大きいサイズを含む範囲R3を「第3範囲」という。また、第1範囲R1、第2範囲R2及び第3範囲R3を含む範囲R4を「第4範囲」という。
以下、CMS-DD(Camera Monitoring System Driving Dataset)によるデータセットであって、図3に示す8個のクラスを分類対象に含むデータセットを「CMS-DD(8classes)」と記載する。また、CMS-DDによるデータセットであって、図3に示す8個のクラスのうちの2個のクラスのみを分類対象に含むデータセットを「CMS-DD(2classes)」と記載する。すなわち、CMS-DD(2classes)は、「cars(same direction)」及び「large vehicles(same direction)」のみを分類対象に含むものである。
図15は、撮像画像の例を示している。
図16は、図15に示す撮像画像を示す画像データが物体検出装置200に入力されたとき、物体検出装置200にて生成される第1特徴マップFM1に対応するフィーチャーマップの例を示している。より具体的には、図16は、物体検出装置200にて生成される顕著性マップに対応するフィーチャーマップの例を示している。
図17は、図15に示す撮像画像を示す画像データが物体検出装置200’_2に入力されたとき、物体検出装置200’_2にて生成される複数個の特徴マップFM’のうちの1個の特徴マップFM’に対応するフィーチャーマップの例を示している。より具体的には、図17は、複数個の特徴マップFM’のうちの第1の特徴マップFM’に対応するフィーチャーマップの例を示している。ここで、物体検出装置200’_2における物体検出部は、VGG+BN+SEによるものである。
図18は、図15に示す撮像画像を示す画像データが物体検出装置200に入力されたとき、物体検出装置200にて生成される複数個の第3特徴マップFM3のうちの1個の第3特徴マップFM3に対応するフィーチャーマップの例を示している。より具体的には、図18は、複数個の第3特徴マップFM3のうちの第1の第3特徴マップFM3に対応するフィーチャーマップの例を示している。ここで、第1ニューラルネットワークNN1は、VGG+BN+SMによるものである。
図17に示すフィーチャーマップにおいては、検出対象となる物体(すなわち他車両)に対応する領域と異なる領域が活性化している。より具体的には、背景のうちの空に対応する領域が活性化している。これに対して、図18に示すフィーチャーマップにおいては、検出対象となる物体(すなわち他車両)に対応する領域が活性化している。これは、図16に示すフィーチャーマップに対応する顕著性マップによる重み付けがなされたことによるものである。
すなわち、SENetを使用した場合、大域特徴として広いエリアにて発火したフィーチャーマップがより良い特徴を得たものとして評価される。このため、実際には発火した領域の意味にまで踏み込んでいないことになる。このため、物体検出においては、顕著性のような物体由来の特徴により重み付けがなされる手法の方が優れるのである。
したがって、重み付け後の第3特徴マップFM3を物体検出に用いることにより、特徴マップFM’を物体検出に用いる場合に比して(すなわち仮に重み付け前の第1特徴マップFM1を物体検出に用いる場合に比して)、以下のような効果が得られる。
第一に、物体検出の精度を向上することができる。また、物体らしさに係るコンテクスクトが考慮されることになるため、誤検出の発生を抑制することができる。
第二に、よりシャローなCNNを用いて抽出された特徴量(すなわち第2特徴量及び第3特徴量)による物体検出を実現することができる。この結果、特徴量抽出部(すなわち第2特徴量抽出部23)における演算量を低減することができる。
第三に、よりシャローなCNNを用いることにより、プーリングによる空間的な情報の消失を抑制することができる。また、演算量の爆発的な増加を回避しつつ、個々の特徴マップ(すなわち個々の第2特徴マップFM2及び個々の第3特徴マップFM3)のサイズを大きくすることができる。この結果、小さい物体の検出を実現することができる。
特に、物体検出装置200が電子ミラーに用いられるものである場合、車載用のプロセッサ41又は処理回路43を用いることが要求される。すなわち、安価なプロセッサ41又は処理回路43を用いることが要求される。換言すれば、低い演算能力を有するプロセッサ41又は処理回路43を用いることが要求される。他方、この場合、自車両の位置に対する遠い位置を走行中の他車両等を検出する観点から、小さい物体の検出を実現することが要求される。これに対して、物体検出装置200を用いることにより、演算量を低減することができるとともに、小さい物体の検出を実現することができる。
図19は、図15に示す撮像画像に係る物体検出装置200’_2による検出結果の例を示している。これに対して、図20は、図15に示す撮像画像に係る物体検出装置200による検出結果の例を示している。図19及び図20に示す如く、物体検出装置200を用いることにより、物体検出装置200’_2を用いた場合に比して、小さい物体の検出を実現することができる。すなわち、自車両の位置に対する遠い位置を走行中の他車両等の検出を実現することができる。
図21は、CMS-DD(8classes)を用いた場合における物体検出装置200’_1,200’_2,200の各々による検出精度に係る実験結果を示す説明図である。図22は、CMS-DD(2classes)を用いた場合における物体検出装置200’_1,200’_2,200の各々による検出精度に係る実験結果を示す説明図である。図21及び図22における数値の単位は、mAP(mean Average Precision)である。なお、VGGNetにおける層数は、16に設定されている。また、ResNetにおける層数は、50に設定されている。
図21に示す如く、CMS-DD(8classes)について、物体検出装置200を用いることにより、物体検出装置200’_1又は物体検出装置200’_2を用いた場合に比して、第1範囲R1内のサイズを有する物体に対する検出精度を向上することができる。また、第2範囲R2内のサイズを有する物体に対する検出精度を向上することができる。この結果、第4範囲R4内のサイズを有する物体に対する検出精度を向上することができる。すなわち、物体検出の精度を向上することができる。
図22に示す如く、CMS-DD(2classes)について、物体検出装置200を用いることにより、物体検出装置200’_1又は物体検出装置200’_2を用いた場合に比して、第1範囲R1内のサイズを有する物体に対する検出精度を向上することができる。また、第2範囲R2内のサイズを有する物体に対する検出精度を向上することができる。また、第3範囲R3内のサイズを有する物体に対する検出精度を向上することができる。この結果、第4範囲R4内のサイズを有する物体に対する検出精度を向上することができる。すなわち、物体検出の精度を向上することができる。
次に、図23~図26を参照して、第1ニューラルネットワークNN1の変形例について説明する。
以下、Denseネットワークを「DenseNet」と記載する。また、Mobileネットワークを「MobileNet」と記載する。第1ニューラルネットワークNN1におけるCNNは、VGG+BN又はResNetに限定されるものではない。第1ニューラルネットワークNN1におけるCNNは、DenseNet又はMobileNetを用いたものであっても良い。
図23は、第1ニューラルネットワークNN1におけるCNNにDenseNetを用いた場合における顕著性ガイド層L15の例を示している。図23に示す如く、顕著性ガイド層L15は、Denseブロック層L41、スケール層L42及び連結層L43を有している。これらの層L41~L43は、第2特徴マップ生成部32に対応するものである。また、顕著性ガイド層L15は、重み演算層L44、1×1による畳み込み層L45、ReLU層L46、1×1による畳み込み層L47及びシグモイド層L48を有している。これらの層L44~L48は、第3特徴マップ生成部33に対応するものである。
図24は、第1ニューラルネットワークNN1におけるCNNにMobileNetを用いた場合における顕著性ガイド層L15の例を示している。図24に示す如く、顕著性ガイド層L15は、Depthwise畳み込み層L51、スケール層L52及びPointwise畳み込み層L53を有している。これらの層L51~L53は、第2特徴マップ生成部32に対応するものである。また、顕著性ガイド層L15は、重み演算層L54、1×1による畳み込み層L55、ReLU層L56、1×1による畳み込み層L57及びシグモイド層L58を有している。これらの層L54~L58は、第3特徴マップ生成部33に対応するものである。
第1ニューラルネットワークNN1におけるCNNは、以下の参考文献2に記載された技術を用いたものであっても良い。
[参考文献2]
Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu, "Semantic Image Synthesis with Spatially-Adaptive Normalization," v2, 5 Nov 2019, https://arxiv.org/pdf/1903.07291v2.pdf
Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu, "Semantic Image Synthesis with Spatially-Adaptive Normalization," v2, 5 Nov 2019, https://arxiv.org/pdf/1903.07291v2.pdf
図25は、参考文献2に係る構造を簡略化してなる独自の構造を用いた場合における個々の顕著性ブロック層L1の例を示している。図25に示す如く、個々の顕著性ブロック層L1は、3×3による畳み込み層L61、BN層L62、ELU層L63、顕著性ガイド層L64及び最大プーリング層L65を有している。顕著性ガイド層L64の構造は、図13、図14、図23又は図24に示すものと同様である。このため、図示及び説明を省略する。
図26は、参考文献2に係る構造を用いた場合における個々の顕著性ブロック層L1の例を示している。図26に示す如く、個々の顕著性ブロック層L1は、3×3による畳み込み層L71、ReLU層L72、BN層L73、顕著性ガイド層L74、3×3による畳み込み層L75、ReLU層L76、BN層L77及び顕著性ガイド層L78を有している。顕著性ガイド層L74,L78の各々の構造は、図13、図14、図23又は図24に示すものと同様である。このため、図示及び説明を省略する。
次に、物体検出装置200の変形例について説明する。
個々の第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであれば良い。すなわち、第1特徴量は、顕著性に限定されるものではない。第1特徴マップは、顕著性マップに限定されるものではない。例えば、第1特徴マップ生成部31は、個々の撮像画像に対応する距離画像を用いて、深度マップ(Depth Map)を生成するものであっても良い。または、例えば、第1特徴マップ生成部31は、個々の撮像画像に対応する温度画像を用いて、熱マップ(Thermal Map)を生成するものであっても良い。すなわち、第2特徴量抽出部23における重み付けは、いわゆる「Middle-level Sensor Fusion」によるものであっても良い。
したがって、第1特徴マップ生成部31による第1特徴マップFM1の生成方法は、顕著性推定に限定されるものではない。例えば、第1特徴マップ生成部31は、顕著性推定に代えて又は加えて、画像勾配検出(Edge Detection)、物体らしさ推定(Objectness Estimation)及び領域分割(Segmentation)のうちの少なくとも一つを実行することにより第1特徴マップFM1を生成するものであっても良い。
物体検出部24における物体検出は、SSDに限定されるものではない。例えば、物体検出部24における物体検出は、RetinaNet、Mask R-CNN、YOLO又はFaster R-CNNによるものであっても良い。
物体検出装置200は、学習部25を有するものであっても良い。物体検出装置200における学習部25は、カメラ1による撮像画像を学習用画像に用いて、第2特徴量抽出部23及び物体検出部24の学習をするものであっても良い。
以上のように、実施の形態1に係る物体検出装置200は、カメラ1による撮像画像を示す画像データを取得する画像データ取得部21と、画像データを用いて第1特徴マップFM1を生成する第1特徴量抽出部22と、画像データを用いて第2特徴マップFM2を生成するとともに、第1特徴マップFM1を用いて第2特徴マップFM2に対する重み付けをすることにより第3特徴マップFM3を生成する第2特徴量抽出部23と、第3特徴マップFM3を用いて撮像画像における物体を検出する物体検出部24と、を備え、第1特徴マップFM1における第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであり、第2特徴マップFM2における第2特徴量は、高レベル特徴を用いたものである。これにより、物体検出の精度を向上することができる。また、演算量を低減することができる。また、小さい物体の検出を実現することができる。
また、実施の形態1に係る学習装置400は、学習用画像を示す画像データを取得する画像データ取得部21と、画像データを用いて第1特徴マップFM1を生成する第1特徴量抽出部22と、画像データを用いて第2特徴マップFM2を生成するとともに、第1特徴マップFM1を用いて第2特徴マップFM2に対する重み付けをすることにより第3特徴マップFM3を生成する第2特徴量抽出部23と、第3特徴マップFM3を用いて学習用画像における物体を検出する物体検出部24と、物体検出部24による検出結果に応じて第2特徴量抽出部23及び物体検出部24の学習をする学習部25と、を備え、第1特徴マップFM1における第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであり、第2特徴マップFM2における第2特徴量は、高レベル特徴を用いたものである。これにより、物体検出装置200用の学習装置400を実現することができる。
実施の形態2.
図27は、実施の形態2に係る物体検出装置を含む物体検出システムの要部を示すブロック図である。図27を参照して、実施の形態2に係る物体検出装置を含む物体検出システムについて説明する。なお、図27において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図27は、実施の形態2に係る物体検出装置を含む物体検出システムの要部を示すブロック図である。図27を参照して、実施の形態2に係る物体検出装置を含む物体検出システムについて説明する。なお、図27において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図27に示す如く、物体検出システム100aは、カメラ1、記憶装置2、時計4、記憶装置5及び物体検出装置200aを含むものである。記憶装置2は、特徴マップ記憶部11を有している。記憶装置5は、時刻別パラメータ記憶部13を有している。物体検出装置200aは、画像データ取得部21、第1特徴量抽出部22、第2特徴量抽出部23、物体検出部24、時刻情報取得部26及びパラメータ選択部27を有している。記憶装置5は、メモリにより構成されている。
時刻情報取得部26は、時計4を用いて、時刻を示す情報(以下「時刻情報」という。)を取得するものである。時刻情報は、例えば、現在時刻を示すものである。
時刻別パラメータ記憶部13は、複数個のパラメータセットを含むデータベース(以下「時刻別学習済みパラメータデータベース」という。)を記憶するものである。個々のパラメータセットは、第1ニューラルネットワークNN1用の学習済みパラメータを含むものであり、かつ、第2ニューラルネットワークNN2用の学習済みパラメータを含むものである。
ここで、時刻別学習済みパラメータデータベースに含まれる複数個のパラメータセットは、互いに異なる時間帯に対応するものである。例えば、時刻別学習済みパラメータデータベースは、昼間(daytime)に対応するパラメータセット、夕刻(evening)に対応するパラメータセット、夕闇(dusk)に対応するパラメータセット、及び夜間(night time)に対応するパラメータセットを含むものである。
パラメータ選択部27は、時刻別学習済みパラメータデータベースに含まれる複数個のパラメータセットのうち、時刻情報が示す時刻を含む時間帯に対応するパラメータセットを選択するものである。パラメータ選択部27は、当該選択されたパラメータセットを用いて、第1ニューラルネットワークNN1におけるパラメータを設定するとともに、第2ニューラルネットワークNN2におけるパラメータを設定するものである。
これにより、第2特徴量抽出部23は、パラメータ選択部27により設定されたパラメータを用いて第2特徴量抽出処理を実行するようになっている。また、物体検出部24は、パラメータ選択部27により設定されたパラメータを用いて物体検出処理を実行するようになっている。
換言すれば、第2特徴量抽出部23は、パラメータ選択部27により選択されたパラメータセットに含まれる学習済みパラメータを用いて第2特徴量抽出処理を実行するようになっている。また、物体検出部24は、パラメータ選択部27により選択されたパラメータセットに含まれる学習済みパラメータを用いて物体検出処理を実行するようになっている。
図28は、実施の形態2に係る学習装置を含む学習システムの要部を示すブロック図である。図28を参照して、実施の形態2に係る学習装置を含む学習システムについて説明する。なお、図28において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図28に示す如く、学習システム300aは、記憶装置2、記憶装置3a、記憶装置5及び学習装置400を含むものである。記憶装置2は、特徴マップ記憶部11を有している。記憶装置3aは、時刻別画像データ記憶部14を有している。記憶装置5は、時刻別パラメータ記憶部13を有している。学習装置400は、画像データ取得部21、第1特徴量抽出部22、第2特徴量抽出部23、物体検出部24及び学習部25を有している。
時刻別画像データ記憶部14は、複数個の学習用画像データベースを記憶するものである。複数個の学習用画像データベースは、互いに異なる時間帯に対応するものである。例えば、複数個の学習用画像データベースは、昼間に対応する学習用画像データベース、夕刻に対応する学習用画像データベース、夕闇に対応する学習用画像データベース、及び夜間に対応する学習用画像データベースを含むものである。
すなわち、個々の学習用画像データベースに含まれる複数個の学習用画像は、対応する時間帯内の時刻にカメラ1と同様のカメラにより撮像されたものである。
学習システム300aにおいて、学習部25による第2特徴量抽出部23及び物体検出部24の学習は、個々の学習用画像データベースを用いて実行されるようになっている。すなわち、かかる学習は、学習用画像データベース毎に実行されるようになっている。これにより、互いに異なる時間帯に対応する複数個のパラメータセットが生成される。学習部25は、当該生成された複数個のパラメータセットを時刻別パラメータ記憶部13に記憶させる。これにより、時刻別学習済みパラメータデータベースが生成される。
以下、時刻情報取得部26の機能に「F6」の符号を用いることがある。また、パラメータ選択部27の機能に「F7」の符号を用いることがある。
以下、時刻情報取得部26により実行される処理を総称して「時刻情報取得処理」ということがある。また、パラメータ選択部27により実行される処理を総称して「パラメータ選択処理」ということがある。
物体検出装置200aの要部のハードウェア構成は、実施の形態1にて図5及び図6を参照して説明したものと同様である。このため、図示及び説明を省略する。すなわち、物体検出装置200aは、複数個の機能F1~F4,F6,F7を有している。複数個の機能F1~F4,F6,F7の各々は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。また、処理回路43は、複数個の機能F1~F4,F6,F7に対応する複数個の処理回路を含むものであっても良い。
学習装置400の要部のハードウェア構成は、実施の形態1にて図7及び図8を参照して説明したものと同様である。このため、図示及び説明を省略する。
次に、図29のフローチャートを参照して、物体検出装置200aの動作について説明する。なお、図29において、図9に示すステップと同様のステップには同一符号を付して説明を省略する。
まず、時刻情報取得部26が時刻情報取得処理を実行する(ステップST5)。次いで、パラメータ選択部27がパラメータ選択処理を実行する(ステップST6)。次いで、ステップST1~ST4の処理が実行される。
学習装置400の動作は、実施の形態1にて図10のフローチャートを参照して説明したものと同様である。このため、図示及び説明を省略する。
このように、時刻別学習用画像データベースを学習に用いるとともに、時刻別学習済みパラメータデータベースを推論に用いることにより、物体検出の精度を更に向上することができる。すなわち、適切なネットワーク自由度(Network Flexibility)を実現することができる。
なお、物体検出装置200aは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
以上のように、実施の形態2に係る物体検出装置200aは、時刻情報を取得する時刻情報取得部26と、時刻別学習済みパラメータデータベースに含まれるパラメータセットのうちの時刻情報が示す時刻に対応するパラメータセットを選択するパラメータ選択部27と、を備え、第2特徴量抽出部23は、パラメータ選択部27により選択されたパラメータセットに含まれる学習済みパラメータを用いて第2特徴マップFM2及び第3特徴マップFM3を生成する。これにより、物体検出の精度を更に向上することができる。
実施の形態3.
図30は、実施の形態3に係る物体検出装置を含む物体検出システムの要部を示すブロック図である。図30を参照して、実施の形態3に係る物体検出装置を含む物体検出システムについて説明する。なお、図30において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図30は、実施の形態3に係る物体検出装置を含む物体検出システムの要部を示すブロック図である。図30を参照して、実施の形態3に係る物体検出装置を含む物体検出システムについて説明する。なお、図30において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図30に示す如く、物体検出システム100bは、カメラ1、記憶装置2、ロケータ6、記憶装置7及び物体検出装置200bを含むものである。記憶装置2は、特徴マップ記憶部11を有している。記憶装置7は、場所別パラメータ記憶部15を有している。物体検出装置200bは、画像データ取得部21、第1特徴量抽出部22、第2特徴量抽出部23、物体検出部24、場所情報取得部28及びパラメータ選択部29を有している。記憶装置7は、メモリにより構成されている。
場所情報取得部28は、ロケータ6を用いて、場所を示す情報(以下「場所情報」という。)を取得するものである。より具体的には、場所情報は、自車両の現在位置に対応する場所の種別を示すものである。例えば、場所情報は、自車両の現在位置に対応する場所が都市圏(urban area)、幹線道路(highway)及び郊外(suburbs)のうちのいずれであるかを示すものである。
場所別パラメータ記憶部15は、複数個のパラメータセットを含むデータベース(以下「場所別学習済みパラメータデータベース」という。)を記憶するものである。個々のパラメータセットは、第1ニューラルネットワークNN1用の学習済みパラメータを含むものであり、かつ、第2ニューラルネットワークNN2用の学習済みパラメータを含むものである。
ここで、場所別学習済みパラメータデータベースに含まれる複数個のパラメータセットは、互いに異なる場所に対応するものである。例えば、場所別学習済みパラメータデータベースは、首都圏に対応するパラメータセット、幹線道路に対応するパラメータセット、及び郊外に対応するパラメータセットを含むものである。
パラメータ選択部29は、場所別学習済みパラメータデータベースに含まれる複数個のパラメータセットのうち、場所情報が示す場所に対応するパラメータセットを選択するものである。パラメータ選択部29は、当該選択されたパラメータセットを用いて、第1ニューラルネットワークNN1におけるパラメータを設定するとともに、第2ニューラルネットワークNN2におけるパラメータを設定するものである。
これにより、第2特徴量抽出部23は、パラメータ選択部29により設定されたパラメータを用いて第2特徴量抽出処理を実行するようになっている。また、物体検出部24は、パラメータ選択部29により設定されたパラメータを用いて物体検出処理を実行するようになっている。
換言すれば、第2特徴量抽出部23は、パラメータ選択部29により選択されたパラメータセットに含まれる学習済みパラメータを用いて第2特徴量抽出処理を実行するようになっている。また、物体検出部24は、パラメータ選択部29により選択されたパラメータセットに含まれる学習済みパラメータを用いて物体検出処理を実行するようになっている。
図31は、実施の形態3に係る学習装置を含む学習システムの要部を示すブロック図である。図31を参照して、実施の形態3に係る学習装置を含む学習システムについて説明する。なお、図31において、図4に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図31に示す如く、学習システム300bは、記憶装置2、記憶装置3b、記憶装置7及び学習装置400を含むものである。記憶装置2は、特徴マップ記憶部11を有している。記憶装置3bは、場所別画像データ記憶部16を有している。記憶装置7は、場所別パラメータ記憶部15を有している。学習装置400は、画像データ取得部21、第1特徴量抽出部22、第2特徴量抽出部23、物体検出部24及び学習部25を有している。
場所別画像データ記憶部16は、複数個の学習用画像データベースを記憶するものである。複数個の学習用画像データベースは、互いに異なる場所に対応するものである。例えば、複数個の学習用画像データベースは、都市圏に対応する学習用画像データベース、幹線道路に対応する学習用画像データベース、及び郊外に対応する学習用画像データベースを含むものである。
すなわち、個々の学習用画像データベースに含まれる複数個の学習用画像は、対応する場所にてカメラ1と同様のカメラにより撮像されたものである。
学習システム300bにおいて、学習部25による第2特徴量抽出部23及び物体検出部24の学習は、個々の学習用画像データベースを用いて実行されるようになっている。すなわち、かかる学習は、学習用画像データベース毎に実行されるようになっている。これにより、互いに異なる場所に対応する複数個のパラメータセットが生成される。学習部25は、当該生成された複数個のパラメータセットを場所別パラメータ記憶部15に記憶させる。これにより、場所別学習済みパラメータデータベースが生成される。
以下、場所情報取得部28の機能に「F8」の符号を用いることがある。また、パラメータ選択部29の機能に「F9」の符号を用いることがある。
以下、場所情報取得部28により実行される処理を総称して「場所情報取得処理」ということがある。また、パラメータ選択部29により実行される処理を総称して「パラメータ選択処理」ということがある。
物体検出装置200bの要部のハードウェア構成は、実施の形態1にて図5及び図6を参照して説明したものと同様である。このため、図示及び説明を省略する。すなわち、物体検出装置200bは、複数個の機能F1~F4,F8,F9を有している。複数個の機能F1~F4,F8,F9の各々は、プロセッサ41及びメモリ42により実現されるものであっても良く、又は専用の処理回路43により実現されるものであっても良い。また、処理回路43は、複数個の機能F1~F4,F8,F9に対応する複数個の処理回路を含むものであっても良い。
学習装置400の要部のハードウェア構成は、実施の形態1にて図7及び図8を参照して説明したものと同様である。このため、図示及び説明を省略する。
次に、図32のフローチャートを参照して、物体検出装置200bの動作について説明する。なお、図32において、図9に示すステップと同様のステップには同一符号を付して説明を省略する。
まず、場所情報取得部28が場所情報取得処理を実行する(ステップST7)。次いで、パラメータ選択部29がパラメータ選択処理を実行する(ステップST8)。次いで、ステップST1~ST4の処理が実行される。
学習装置400の動作は、実施の形態1にて図10を参照して説明したものと同様である。このため、図示及び説明を省略する。
このように、場所別学習用画像データベースを学習に用いるとともに、場所別学習済みパラメータデータベースを推論に用いることにより、物体検出の精度を更に向上することができる。すなわち、適切なネットワーク自由度を実現することができる。
なお、物体検出装置200bは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
以上のように、実施の形態3に係る物体検出装置200bは、場所情報を取得する場所情報取得部28と、場所別学習済みパラメータデータベースに含まれるパラメータセットのうちの場所情報が示す場所に対応するパラメータセットを選択するパラメータ選択部29と、を備え、第2特徴量抽出部23は、パラメータ選択部29により選択されたパラメータセットに含まれる学習済みパラメータを用いて第2特徴マップFM2及び第3特徴マップFM3を生成する。これにより、物体検出の精度を更に向上することができる。
実施の形態4.
図33は、実施の形態4に係るモニタリング装置を含むモニタリングシステムの要部を示すブロック図である。図34は、実施の形態4に係るモニタリング装置における解析部及び出力制御部の要部を示すブロック図である。図33及び図34を参照して、実施の形態4に係るモニタリング装置を含むモニタリングシステムについて説明する。なお、図33において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図33は、実施の形態4に係るモニタリング装置を含むモニタリングシステムの要部を示すブロック図である。図34は、実施の形態4に係るモニタリング装置における解析部及び出力制御部の要部を示すブロック図である。図33及び図34を参照して、実施の形態4に係るモニタリング装置を含むモニタリングシステムについて説明する。なお、図33において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図33に示す如く、モニタリングシステム500は、カメラ1、記憶装置2、出力装置8及びモニタリング装置600を含むものである。モニタリング装置600は、物体検出装置200、解析部51及び出力制御部52を有している。
図34に示す如く、解析部51は、異常判定部61、時間解析部62、脅威判定部63及び空間解析部64を有している。出力制御部52は、画像出力制御部65及び音声出力制御部66を有している。出力装置8は、ディスプレイ71及びスピーカ72を含むものである。
実施の形態1にて説明したとおり、カメラ1は、例えば、監視カメラ、防犯カメラ又は電子ミラー用のカメラにより構成されている。ここで、カメラ1が電子ミラー用のカメラにより構成されている場合、ディスプレイ71は、電子ミラー用のディスプレイにより構成されている。すなわち、この場合、カメラ1及びディスプレイ71により、電子ミラーの要部が構成されている。以下、この場合の例を中心に説明する。
異常判定部61は、物体検出部24による検出結果を用いて、個々の物体の異常度Aを判定するものである。より具体的には、異常判定部61は、位置推定部34による推定結果を用いて、個々の物体の位置に基づき異常度Aを判定するものである。
例えば、物体検出部24により他車両が検出された場合において、かかる他車両が正常な位置(例えば所定値以上の車間距離に対応する位置)に位置しているときは、かかる他車両が異常な位置(例えば所定値未満の車間距離に対応する位置)に位置しているときに比して、異常度Aが小さい値に設定される。他方、この場合において、かかる他車両が異常な位置(同上)に位置しているときは、かかる他車両が正常な位置(同上)に位置しているときに比して、異常度Aが大きい値に設定される。
時間解析部62は、物体検出部24による検出結果を時間的に解析するものである。すなわち、時間解析部62は、時間的に連続する複数個の撮像画像に対応する複数回分の物体検出処理の結果を時間的に解析するものである。換言すれば、時間解析部62は、複数フレーム分の物体検出処理の結果を時間的に解析するものである。これにより、時間解析部62は、カメラ1により撮像された動画における個々の物体のサイズの時間変化量ΔSを算出するものである。
具体的には、例えば、時間解析部62は、個々の物体に対応するバウンディングボックスの単位時間当たりの膨張率を算出する。時間解析部62は、当該算出された膨張率を積算することにより時間変化量ΔSを算出する。
脅威判定部63は、物体検出部24による検出結果を用いて、個々の物体の脅威度Tを判定するものである。より具体的には、脅威判定部63は、種別推定部35による推定結果を用いて、個々の物体の進行方向に基づき脅威度Tを判定するものである。
すなわち、実施の形態1にて説明したとおり、種別推定部35により分類されるクラスは、物体の進行方向を含むものである。そこで、例えば、物体検出部24により他車両が検出された場合において、かかる他車両が後続車両又は追越し車両であるときは、かかる他車両が対向車両であるときに比して、脅威度Tが大きい値に設定される。他方、この場合において、かかる他車両が対向車両であるときは、かかる車両が後続車両又は追越し車両であるときに比して、脅威度Tが小さい値に設定される。
また、脅威判定部63は、時間解析部62による解析結果を用いて、個々の物体の脅威度Tを判定するものである。
すなわち、脅威判定部63は、個々の物体について、以下のような演算を実行する。脅威判定部63は、時間解析部62により時間変化量ΔSが算出される毎に、当該算出された時間変化量ΔSを閾値ΔSthと比較する。かかる時間変化量ΔSが閾値ΔSthを超えているときは、かかる時間変化量ΔSが閾値ΔSth以下であるときに比して、脅威度Tが大きい値に設定される。他方、かかる時間変化量ΔSが閾値ΔSth以下であるときは、かかる時間変化量ΔSが閾値ΔSthを超えているときに比して、脅威度Tが小さい値に設定される。このとき、閾値ΔSthは、対応する物体について過去に算出された時間変化量ΔSの平均値ΔS_aveに基づく値に設定される。
空間解析部64は、異常判定部61による判定結果及び脅威判定部63による判定結果を空間的に解析することにより、リスクマップを生成するものである。リスクマップは、二次元状に配列された複数個のリスク値により構成されている。個々のリスク値は、対応する異常度Aによる重み付けがなされた値であり、かつ、対応する脅威度Tによる重み付けがなされた値である。
このように、解析部51は、物体検出部24による検出結果を解析するものである。
画像出力制御部65は、解析部51による解析結果に対応する画像信号をディスプレイ71に出力するものである。これにより、画像出力制御部65は、解析部51による解析結果に対応する画像をディスプレイ71に表示させる制御を実行するものである。また、音声出力制御部66は、解析部51による解析結果に対応する音声信号をスピーカ72に出力するものである。これにより、音声出力制御部66は、解析部51による解析結果に対応する音声をスピーカ72に出力させる制御を実行するものである。
このように、出力制御部52は、解析部51による解析結果に対応する信号を出力装置8に出力するものである。以下、出力制御部52により出力される信号を総称して「解析結果信号」ということがある。
ここで、画像出力制御部65により出力される画像信号は、空間解析部64により生成されたリスクマップを含む画像(以下「リスクマップ画像」という。)を示すものであっても良い。これにより、リスクマップ画像がディスプレイ71に表示されるものであっても良い。
図35は、リスクマップ画像の例を示している。図35に示すリスクマップ画像に対応するリスクマップにおいては、2個の領域A1,A2におけるリスク値が他の領域におけるリスク値に比して高い値に設定されている。これにより、図25に示すリスクマップ画像においては、2個の領域A1,A2における色が他の領域における色と異なる色により表示されている。2個の領域A1,A2は、例えば、2台の他車両にそれぞれ対応するものである。
このように、リスクマップ画像においては、リスクマップにおける個々のリスク値が可視化されている。ディスプレイ71がリスクマップ画像を表示することにより、かかるリスク値を自車両の搭乗者に対して視覚的に提示することができる。
以下、解析部51の機能に「F11」の符号を用いることがある。また、出力制御部52の機能に「F12」の符号を用いることがある。
以下、物体検出装置200により実行される処理を総称して「物体検出処理等」ということがある。すなわち、物体検出処理等は、画像データ取得処理、第1特徴量抽出処理、第2特徴量抽出処理及び物体検出処理を含むものである。また、解析部51により実行される処理を総称して「解析処理」ということがある。また、出力制御部52により実行される処理及び制御を総称して「出力制御」ということがある。
次に、図36及び図37を参照して、モニタリング装置600の要部のハードウェア構成について説明する。
図36に示す如く、モニタリング装置600は、プロセッサ81及びメモリ82を有している。メモリ82には、複数個の機能F1~F4,F11,F12に対応するプログラムが記憶されている。プロセッサ81は、メモリ82に記憶されているプログラムを読み出して実行する。これにより、複数個の機能F1~F4,F11,F12が実現される。
または、図37に示す如く、モニタリング装置600は、処理回路83を有している。この場合、専用の処理回路83により複数個の機能F1~F4,F11,F12が実現される。
または、モニタリング装置600は、プロセッサ81、メモリ82及び処理回路83を有している(不図示)。この場合、複数個の機能F1~F4,F11,F12のうちの一部の機能がプロセッサ81及びメモリ82により実現されるとともに、複数個の機能F1~F4,F11,F12のうちの残余の機能が専用の処理回路83により実現される。
プロセッサ81は、1個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、CPU、GPU、マイクロプロセッサ、マイクロコントローラ又はDSPを用いたものである。
メモリ82は、1個以上の不揮発性メモリにより構成されている。または、メモリ82は、1個以上の不揮発性メモリ及び1個以上の揮発性メモリにより構成されている。すなわち、メモリ82は、1個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク又は磁気テープを用いたものである。
より具体的には、個々の揮発性メモリは、例えば、RAMを用いたものである。また、個々の不揮発性メモリは、例えば、ROM、フラッシュメモリ、EPROM、EEPROM、ソリッドステートドライブ、ハードディスクドライブ、フレキシブルディスク、コンパクトディスク、DVD、ブルーレイディスク又はミニディスクを用いたものである。
処理回路83は、1個以上のデジタル回路により構成されている。または、処理回路83は、1個以上のデジタル回路及び1個以上のアナログ回路により構成されている。すなわち、処理回路83は、1個以上の処理回路により構成されている。個々の処理回路は、例えば、ASIC、PLD、FPGA、SoC又はシステムLSIを用いたものである。
ここで、処理回路83が複数個の処理回路により構成されているとき、複数個の機能F1~F4,F11,F12と複数個の処理回路との対応関係は任意である。例えば、モニタリング装置600は、複数個の機能F1~F4,F11,F12と一対一に対応する複数個の処理回路を有するものであっても良い。この場合、複数個の機能F1~F4,F11,F12の各々は、複数個の処理回路のうちの対応する1個の処理回路により専ら実現されるものであっても良い。
次に、図38のフローチャートを参照して、モニタリング装置600の動作について説明する。
まず、物体検出装置200が物体検出処理等を実行する(ステップST21)。次いで、解析部51が解析処理を実行する(ステップST22)。次いで、出力制御部52が出力制御を実行する(ステップST23)。
次に、図39及び図40を参照して、モニタリングシステム500の変形例について説明する。
図39に示す如く、モニタリング装置600は、物体検出装置200に代えて物体検出装置200aを有するものであっても良い。この場合、モニタリングシステム500は、時計4及び記憶装置5を含むものであっても良い。
または、図40に示す如く、モニタリング装置600は、物体検出装置200に代えて物体検出装置200bを有するものであっても良い。この場合、モニタリングシステム500は、ロケータ6及び記憶装置7を含むものであっても良い。
次に、モニタリング装置600の変形例について説明する。
解析部51は、異常判定部61及び脅威判定部63のうちのいずれか一方のみを有するものであっても良い。解析部51が異常判定部61のみを有するものである場合、リスクマップにおける個々のリスク値は、対応する異常度Aによる重み付けがなされた値となる。他方、解析部51が脅威判定部63のみを有するものである場合、リスクマップにおける個々のリスク値は、対応する脅威度Tによる重み付けがなされた値となる。
脅威判定部63は、種別推定部35による推定結果に基づく脅威度Tの判定、及び時間解析部62による解析結果に基づく脅威度Tの判定のうちのいずれか一方にのみを実行するものであっても良い。
出力制御部52は、画像出力制御部65及び音声出力制御部66のうちのいずれか一方のみを有するものであっても良い。出力制御部52が画像出力制御部65のみを有するものである場合、出力装置8は、ディスプレイ71及びスピーカ72のうちのディスプレイ71のみを含むものであっても良い。他方、出力制御部52が音声出力制御部66のみを有するものである場合、出力装置8は、ディスプレイ71及びスピーカ72のうちのスピーカ72のみを含むものであっても良い。
次に、モニタリング装置600における物体検出装置200、物体検出装置200a又は物体検出装置200bの変形例について説明する。
上記のとおり、時間解析部62は、物体検出部24による検出結果を時間的に解析するものである。かかる解析に対応する観点から、モニタリング装置600における物体検出装置200、物体検出装置200a又は物体検出装置200bは、以下のように構成されたものであっても良い。
画像データ取得部21は、時間的に連続する複数個の撮像画像(すなわち複数フレーム分の静止画)に対応する画像データを取得するものであっても良い。すなわち、画像データ取得部21は、時系列データを取得するものであっても良い。
第1特徴量抽出部22は、上記取得された時系列データを用いて、時間的な情報を含む特徴マップ(すなわち第1特徴マップFM1)を生成するものであっても良い。また、第2特徴量抽出部23は、上記取得された時系列データを用いて、時間的な情報を含む特徴マップ(すなわち個々の第2特徴マップFM2及び個々の第3特徴マップFM3)を生成するものであっても良い。
これにより、時間解析部62による時間的な解析に対応することができるのはもちろんのこと、いわゆる「検出ぶれ」の発生を抑制することができる。すなわち、ある物体について、当該物体が検出される状態と当該物体が検出されない状態とが時間的に交互に繰り返される現象の発生を抑制することができる。
また、第1ニューラルネットワークNN1は、上記取得された時系列データを時系列的に処理する構造を有するものであっても良い。例えば、第1ニューラルネットワークNN1におけるCNNは、LSTM(Long Short Term Memory)ネットワークを用いたものであっても良い。
以上のように、実施の形態4に係るモニタリング装置600は、物体検出装置200、物体検出装置200a又は物体検出装置200bと、物体検出部24による検出結果を解析する解析部51と、解析部51による解析結果に対応する解析結果信号を出力する出力制御部52と、を備える。これにより、高精度な物体検出の結果に基づくモニタリングを実現することができる。
なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本開示に係る物体検出装置、モニタリング装置及び学習装置は、例えば、電子ミラーに用いることができる。
1 カメラ、2 記憶装置、3,3a,3b 記憶装置、4 時計、5 記憶装置、6 ロケータ、7 記憶装置、8 出力装置、11 特徴マップ記憶部、12 画像データ記憶部、13 時刻別パラメータ記憶部、14 時刻別画像データ記憶部、15 場所別パラメータ記憶部、16 場所別画像データ記憶部、21 画像データ取得部、22 第1特徴量抽出部、23 第2特徴量抽出部、24 物体検出部、25 学習部、26 時刻情報取得部、27 パラメータ選択部、28 場所情報取得部、29 パラメータ選択部、31 第1特徴マップ生成部、32 第2特徴マップ生成部、33 第3特徴マップ生成部、34 位置推定部、35 種別推定部、41 プロセッサ、42 メモリ、43 処理回路、44 プロセッサ、45 メモリ、46 処理回路、51 解析部、52 出力制御部、61 異常判定部、62 時間解析部、63 脅威判定部、64 空間解析部、65 画像出力制御部、66 音声出力制御部、71 ディスプレイ、72 スピーカ、81 プロセッサ、82 メモリ、83 処理回路、100,100a,100b 物体検出システム、200,200a,200b 物体検出装置、300,300a,300b 学習システム、400 学習装置、500 モニタリングシステム、600 モニタリング装置。
Claims (27)
- カメラによる撮像画像を示す画像データを取得する画像データ取得部と、
前記画像データを用いて第1特徴マップを生成する第1特徴量抽出部と、
前記画像データを用いて第2特徴マップを生成するとともに、前記第1特徴マップを用いて前記第2特徴マップに対する重み付けをすることにより第3特徴マップを生成する第2特徴量抽出部と、
前記第3特徴マップを用いて前記撮像画像における物体を検出する物体検出部と、を備え、
前記第1特徴マップにおける第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであり、
前記第2特徴マップにおける第2特徴量は、高レベル特徴を用いたものである
ことを特徴とする物体検出装置。 - 前記第1特徴量抽出部は、教師なし学習により学習自在であることを特徴とする請求項1記載の物体検出装置。
- 前記第2特徴量抽出部は、教師あり学習により学習自在であることを特徴とする請求項1記載の物体検出装置。
- 前記第2特徴量抽出部は、畳み込みニューラルネットワークを用いて前記第2特徴マップを生成することを特徴とする請求項3記載の物体検出装置。
- 前記第2特徴量抽出部は、深層学習により学習自在であることを特徴とする請求項4記載の物体検出装置。
- 前記第1特徴量抽出部は、画像勾配検出、顕著性推定、物体らしさ推定及び領域分割のうちの少なくとも一つにより前記第1特徴マップを生成することを特徴とする請求項2記載の物体検出装置。
- 前記第1特徴マップは、顕著性マップを用いたものであることを特徴とする請求項6記載の物体検出装置。
- 前記第2特徴量抽出部は、前記第1特徴マップにおける個々の前記第1特徴量と個々の前記第2特徴マップにおける対応する前記第2特徴量とを比較することにより前記重み付けにおける重要度を設定することを特徴とする請求項3記載の物体検出装置。
- 前記第2特徴量抽出部は、前記第1特徴マップにおける個々の前記第1特徴量と個々の前記第2特徴マップにおける対応する前記第2特徴量との類似度を算出して、前記類似度に基づき前記重要度を設定することを特徴とする請求項8記載の物体検出装置。
- 前記類似度は、EMD、コサイン類似度、KLD、L2ノルム、L1ノルム及びマンハッタン距離のうちの少なくとも一つに基づく値であることを特徴とする請求項9記載の物体検出装置。
- 前記重み付けがなされることにより、個々の前記第2特徴マップにおける個々の前記第2特徴量が対応する前記物体らしさに応じて補強されるものであることを特徴とする請求項8記載の物体検出装置。
- 前記物体検出部は、互いに異なるカーネルサイズによる複数回の畳み込み演算を実行することにより前記物体を検出することを特徴とする請求項1記載の物体検出装置。
- 前記物体検出部は、SSDにより前記物体を検出することを特徴とする請求項12記載の物体検出装置。
- 前記物体検出部は、教師あり学習により学習自在であることを特徴とする請求項1記載の物体検出装置。
- 前記物体検出部は、回帰により前記物体の位置を推定するとともに、分類により前記物体の種別を推定することを特徴とする請求項14記載の物体検出装置。
- 前記物体の種別は、前記物体の進行方向を含むことを特徴とする請求項15記載の物体検出装置。
- 時刻情報を取得する時刻情報取得部と、
時刻別学習済みパラメータデータベースに含まれるパラメータセットのうちの前記時刻情報が示す時刻に対応するパラメータセットを選択するパラメータ選択部と、を備え、
前記第2特徴量抽出部は、前記パラメータ選択部により選択されたパラメータセットに含まれる学習済みパラメータを用いて前記第2特徴マップ及び前記第3特徴マップを生成する
ことを特徴とする請求項3記載の物体検出装置。 - 場所情報を取得する場所情報取得部と、
場所別学習済みパラメータデータベースに含まれるパラメータセットのうちの前記場所情報が示す場所に対応するパラメータセットを選択するパラメータ選択部と、を備え、
前記第2特徴量抽出部は、前記パラメータ選択部により選択されたパラメータセットに含まれる学習済みパラメータを用いて前記第2特徴マップ及び前記第3特徴マップを生成する
ことを特徴とする請求項3記載の物体検出装置。 - 請求項1記載の物体検出装置と、
前記物体検出部による検出結果を解析する解析部と、
前記解析部による解析結果に対応する解析結果信号を出力する出力制御部と、
を備えるモニタリング装置。 - 前記解析部は、前記物体の異常度を判定する異常判定部及び前記物体の脅威度を判定する脅威判定部のうちの少なくとも一方を有することを特徴とする請求項19記載のモニタリング装置。
- 前記異常判定部は、前記物体検出部による検出結果が示す前記物体の位置に基づき前記異常度を判定することを特徴とする請求項20記載のモニタリング装置。
- 前記脅威判定部は、前記物体検出部による検出結果が示す前記物体の進行方向に基づき前記脅威度を判定することを特徴とする請求項20記載のモニタリング装置。
- 前記脅威判定部は、前記撮像画像における前記物体のサイズの時間変化量に基づき前記脅威度を判定することを特徴とする請求項20記載のモニタリング装置。
- 前記解析部は、前記物体検出部による検出結果を時間的に解析することにより前記時間変化量を算出する時間解析部を有することを特徴とする請求項23記載のモニタリング装置。
- 前記解析部は、前記異常判定部による判定結果及び前記脅威判定部による判定結果のうちの少なくとも一方を空間的に解析することによりリスクマップを生成する空間解析部を有することを特徴とする請求項20記載のモニタリング装置。
- 前記出力制御部は、前記解析結果信号をディスプレイに出力することにより、前記リスクマップに対応するリスクマップ画像を前記ディスプレイに表示させることを特徴とする請求項25記載のモニタリング装置。
- 学習用画像を示す画像データを取得する画像データ取得部と、
前記画像データを用いて第1特徴マップを生成する第1特徴量抽出部と、
前記画像データを用いて第2特徴マップを生成するとともに、前記第1特徴マップを用いて前記第2特徴マップに対する重み付けをすることにより第3特徴マップを生成する第2特徴量抽出部と、
前記第3特徴マップを用いて前記学習用画像における物体を検出する物体検出部と、
前記物体検出部による検出結果に応じて前記第2特徴量抽出部及び前記物体検出部の学習をする学習部と、を備え、
前記第1特徴マップにおける第1特徴量は、物体らしさに対応する中レベル特徴を用いたものであり、
前記第2特徴マップにおける第2特徴量は、高レベル特徴を用いたものである
ことを特徴とする学習装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/050749 WO2021130881A1 (ja) | 2019-12-25 | 2019-12-25 | 物体検出装置、モニタリング装置及び学習装置 |
JP2021560936A JP7031081B2 (ja) | 2019-12-25 | 2019-12-25 | 物体検出装置、モニタリング装置及び学習装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/050749 WO2021130881A1 (ja) | 2019-12-25 | 2019-12-25 | 物体検出装置、モニタリング装置及び学習装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021130881A1 true WO2021130881A1 (ja) | 2021-07-01 |
Family
ID=76574914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/050749 WO2021130881A1 (ja) | 2019-12-25 | 2019-12-25 | 物体検出装置、モニタリング装置及び学習装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7031081B2 (ja) |
WO (1) | WO2021130881A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022137476A1 (ja) * | 2020-12-25 | 2022-06-30 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018051459A1 (ja) * | 2016-09-15 | 2018-03-22 | 三菱電機株式会社 | 物体検出装置および物体検出方法 |
JP2018147431A (ja) * | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019211913A (ja) | 2018-06-01 | 2019-12-12 | 日本電信電話株式会社 | 特徴量抽出装置、方法、及びプログラム |
-
2019
- 2019-12-25 WO PCT/JP2019/050749 patent/WO2021130881A1/ja active Application Filing
- 2019-12-25 JP JP2021560936A patent/JP7031081B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018051459A1 (ja) * | 2016-09-15 | 2018-03-22 | 三菱電機株式会社 | 物体検出装置および物体検出方法 |
JP2018147431A (ja) * | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022137476A1 (ja) * | 2020-12-25 | 2022-06-30 | ||
JP7361949B2 (ja) | 2020-12-25 | 2023-10-16 | 三菱電機株式会社 | 物体検出装置、モニタリング装置、学習装置、及び、モデル生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7031081B2 (ja) | 2022-03-07 |
JPWO2021130881A1 (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7052663B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP7254823B2 (ja) | 物体の検出および特徴付けのためのニューラルネットワーク | |
US20240112051A1 (en) | Machine learning models operating at different frequencies for autonomous vehicles | |
US10579058B2 (en) | Apparatus and method for generating training data to train neural network determining information associated with road included in image | |
KR20230153342A (ko) | 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치 | |
JP7388971B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
CN111133447A (zh) | 适于自主驾驶的对象检测和检测置信度 | |
JP7481534B2 (ja) | 車両位置決定方法及びシステム | |
Chen et al. | Pedestrian trajectory prediction in heterogeneous traffic using pose keypoints-based convolutional encoder-decoder network | |
WO2021006870A1 (en) | Vehicular autonomy-level functions | |
Manssor et al. | Real-time human detection in thermal infrared imaging at night using enhanced Tiny-yolov3 network | |
JP7031081B2 (ja) | 物体検出装置、モニタリング装置及び学習装置 | |
CN114359361A (zh) | 深度估计方法、装置、电子设备和计算机可读存储介质 | |
WO2022137476A1 (ja) | 物体検出装置、モニタリング装置、学習装置、及び、モデル生成方法 | |
CN116310681A (zh) | 基于多帧点云融合的无人车可通行区域预测方法及系统 | |
JP7347644B2 (ja) | 物体測距装置、方法、及びプログラム | |
Zhang et al. | LanePainter: lane marks enhancement via generative adversarial network | |
US20210350182A1 (en) | Training a function to respond predictably to differences | |
Katare et al. | Autonomous embedded system enabled 3-D object detector:(With point cloud and camera) | |
CN116194964A (zh) | 用于训练机器学习视觉注意力模型的系统和方法 | |
CN114663812B (zh) | 基于多维注意力机制的联合检测与跟踪方法、装置及设备 | |
KR102454878B1 (ko) | 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치 | |
Kaskela | Temporal Depth Completion for Autonomous Vehicle Lidar Depth Sensing | |
Kamakula et al. | Tracking and speed estimation of moving vehicle for traffic surveillance system | |
Guo et al. | Multi-vehicle detection and tracking based on Kalman filter and data association |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19957196 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021560936 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19957196 Country of ref document: EP Kind code of ref document: A1 |