WO2021149327A1 - 物体検出装置、物体検出方法及び物体検出プログラム - Google Patents

物体検出装置、物体検出方法及び物体検出プログラム Download PDF

Info

Publication number
WO2021149327A1
WO2021149327A1 PCT/JP2020/041432 JP2020041432W WO2021149327A1 WO 2021149327 A1 WO2021149327 A1 WO 2021149327A1 JP 2020041432 W JP2020041432 W JP 2020041432W WO 2021149327 A1 WO2021149327 A1 WO 2021149327A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
area
unit
object detection
region
Prior art date
Application number
PCT/JP2020/041432
Other languages
English (en)
French (fr)
Inventor
勝人 伊佐野
孝之 瀬光
尭理 中尾
紘和 阿部
祐貴 徳田
光義 山足
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN202080092964.7A priority Critical patent/CN114981838A/zh
Priority to EP20915371.7A priority patent/EP4071710A4/en
Publication of WO2021149327A1 publication Critical patent/WO2021149327A1/ja
Priority to US17/835,303 priority patent/US20220301276A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Definitions

  • the present disclosure relates to a technique for detecting a target object from image data using an object detection model.
  • Image data obtained by an imaging device is input to an object detection model generated by using deep learning or the like to detect an object included in the image data (Patent Document 1). reference).
  • the object detection model the object may be detected after the image data is reduced to a predetermined size.
  • An object of the present disclosure is to make it possible to detect a small object by an object detection model.
  • the object detection device is A plurality of image data obtained by photographing the photographing area by the photographing apparatus are used as test data, and the number of appearances of an object smaller than the reference size in the test data is the number of appearances of each area constituting the photographing area.
  • An area identification part that specifies an enlarged area according to the number of appearances
  • a data extraction unit that extracts image data of the enlarged region specified by the region identification unit as partial data from the image data obtained by photographing the photographing region, and a data extraction unit.
  • a resizing unit that resizes the partial data extracted by the data extracting unit to the required size required by the object detection model, which is a model for detecting an object from image data. It includes an object detection unit that inputs the partial data resized by the resizing unit into the object detection model and detects the target object from the partial data.
  • the area specifying unit specifies a region in which the number of appearances is greater than the threshold value or a region in which the number of appearances is less than the threshold value as the enlarged region.
  • the area specifying unit specifies the area having the largest number of appearances or the area having the smallest number of appearances in other areas as the enlarged area.
  • the area identification part is An appearance number calculation unit that calculates the number of appearances of an object smaller than the reference size for each calculation area, with each of the plurality of areas in the photographing area as a calculation area.
  • An elite extraction unit that extracts a part of the calculation area having a large number of appearances calculated by the appearance number calculation unit as an elite area, and an elite extraction unit.
  • a region changing unit that generates a modified region in which the elite region extracted by the elite extraction unit is modified by either mutation or crossover, and a region changing unit.
  • An area setting unit that newly sets each of the elite area and the area of the change area generated by the area change unit as the calculation area.
  • the region setting unit includes a specific unit that specifies a calculation area in which the number of appearances calculated for the calculation area set at the reference time is larger than the threshold value as the expansion area.
  • the object detection device further The object included in the test data detected by the sensor is set as the target object, and a figure having a size corresponding to the distance from the photographing device to the target object is set at the position of the target object. It is equipped with a data generator that generates annotation data that represents the position and size of the object included in the test data.
  • the area specifying unit calculates the number of appearances in which an object smaller than the reference size appears based on the annotation data generated by the data generation unit.
  • the object detection device further A figure surrounding a portion where there is a difference between the background data obtained by photographing the photographing area in the state where the object to be detected does not exist in the photographing area and the plurality of image data which is the test data is set.
  • a data generation unit that generates annotation data representing the position and size of the object included in the test data.
  • the area specifying unit calculates the number of appearances in which an object smaller than the reference size appears based on the annotation data generated by the data generation unit.
  • the data extraction unit extracts the image data of the area including the detection target area as the target data from the image data obtained by photographing the shooting area.
  • the resizing unit resizes each of the target data and the partial data to the required size, and then resizes the target data and the partial data to the required size.
  • the object detection unit inputs the resized target data and the partial data into the object detection model, and detects the target object from each of the target data and the partial data.
  • the region specifying unit specifies each of a plurality of regions having a larger number of appearances than the threshold value as an enlarged region.
  • the data extraction unit extracts the image data of each enlarged region as partial data, and then extracts the image data.
  • the resizing unit resizes the partial data for each enlarged region from the image data to the required size.
  • the object detection unit inputs the partially resized partial data for each of the enlarged regions into the object detection model, and detects the target object from the partial data for each of the enlarged regions.
  • the area specifying unit specifies a plurality of enlarged areas by gradually increasing the reference size and specifying the area where the number of appearances of objects smaller than the reference size is the largest as the enlarged area.
  • the object detection method is The area specifying unit constitutes the photographing area by the number of appearances in which an object smaller than the reference size appears in the test data using a plurality of image data obtained by photographing the photographing area by the photographing apparatus as test data. Specify the expansion area according to the number of appearances for each area
  • the data extraction unit extracts the image data of the enlarged area as partial data from the image data obtained by photographing the photographing area.
  • the resizing unit resizes the partial data to the required size required by the object detection model, which is a model for detecting an object from the image data.
  • the object detection unit inputs the resized partial data into the object detection model and detects the target object from the partial data.
  • the object detection program is A plurality of image data obtained by photographing the photographing area by the photographing apparatus are used as test data, and the number of appearances of an object smaller than the reference size in the test data is the number of appearances of each area constituting the photographing area.
  • Area identification processing that specifies the enlarged area according to the number of appearances,
  • a resizing process that resizes the partial data extracted by the data extraction process to the required size required by the object detection model, which is a model for detecting an object from image data
  • the computer is made to function as an object detection device that inputs the partial data resized by the resizing process into the object detection model and performs an object detection process for detecting the target object from the partial data.
  • the enlarged area is specified according to the number of appearances of objects smaller than the reference size in the test data. As a result, even a small object can be detected by the object detection model.
  • FIG. 1 The block diagram of the object detection apparatus 10 which concerns on Embodiment 1.
  • FIG. The flowchart which shows the operation of the object detection apparatus 10 which concerns on Embodiment 1.
  • the explanatory view of the size change process which concerns on Embodiment 1.
  • FIG. The block diagram of the object detection apparatus 10 which concerns on modification 1.
  • FIG. The figure which shows the enlarged area 34 which concerns on Embodiment 2.
  • the block diagram of the object detection apparatus 10 which concerns on Embodiment 3. The flowchart which shows the operation of the object detection apparatus 10 which concerns on Embodiment 3.
  • FIG. The flowchart which shows the operation of the object detection apparatus 10 which concerns on Embodiment 4.
  • the explanatory view of the appearance number calculation process which concerns on Embodiment 4. The explanatory view of the appearance number calculation process which concerns on Embodiment 4.
  • the explanatory view of the elite extraction process which concerns on Embodiment 4. The explanatory view of the area change processing which concerns on Embodiment 4.
  • the flowchart which shows the operation of the object detection apparatus 10 which concerns on modification 7.
  • the block diagram of the object detection apparatus 10 which concerns on Embodiment 5. The explanatory view of the method based on the distance which concerns on embodiment 5.
  • Embodiment 1 *** Explanation of configuration *** The configuration of the object detection device 10 according to the first embodiment will be described with reference to FIG.
  • the object detection device 10 is a computer.
  • the object detection device 10 includes hardware for a processor 11, a memory 12, a storage 13, and a communication interface 14.
  • the processor 11 is connected to other hardware via a signal line and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the memory 12 is a storage device that temporarily stores data. Specific examples of the memory 12 are SRAM (Static Random Access Memory) and DRAM (Dynamic Random Access Memory).
  • the storage 13 is a storage device for storing data.
  • the storage 13 is an HDD (Hard Disk Drive).
  • the storage 13 includes SD (registered trademark, Secure Digital) memory card, CF (CompactFlash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versaille Disk), and the like. It may be a portable recording medium.
  • the communication interface 14 is an interface for communicating with an external device.
  • the communication interface 14 is a port of Ethernet (registered trademark), USB (Universal Serial Bus), HDMI (registered trademark, High-Definition Multimedia Interface).
  • the object detection device 10 is connected to a photographing device 41 such as a surveillance camera via a communication interface 14.
  • the object detection device 10 includes a setting reading unit 21, an image acquisition unit 22, a data extraction unit 23, a size change unit 24, an object detection unit 25, and an integration unit 26 as functional components.
  • the functions of each functional component of the object detection device 10 are realized by software.
  • the storage 13 stores a program that realizes the functions of each functional component of the object detection device 10. This program is read into the memory 12 by the processor 11 and executed by the processor 11. As a result, the functions of each functional component of the object detection device 10 are realized.
  • the object detection model 31 and the setting data 32 are stored in the storage 13.
  • processors 11 In FIG. 1, only one processor 11 was shown. However, the number of processors 11 may be plural, and the plurality of processors 11 may execute programs that realize each function in cooperation with each other.
  • the operation of the object detection device 10 according to the first embodiment will be described with reference to FIGS. 2 to 5.
  • the operation procedure of the object detection device 10 according to the first embodiment corresponds to the object detection method according to the first embodiment.
  • the program that realizes the operation of the object detection device 10 according to the first embodiment corresponds to the object detection program according to the first embodiment.
  • the setting reading unit 21 reads the setting data 32 indicating the detection target area 33 and the expansion area 34 from the storage 13.
  • the detection target area 33 is an area for detecting a target object in the photographing area photographed by the photographing device 41.
  • the enlarged area 34 is an area for detecting a small object in the detection target area 33.
  • the enlarged area 34 is an area at the back of the image data. That is, in the first embodiment, the enlarged region 34 is an region including a region in the detection target region 33 in which the distance in the depth direction is equal to or greater than the reference distance in the imaging region of the imaging device 41. Even if it is a region on the front side in the depth direction, a region that treats a small object as a target object may be set as an enlarged region 34. Further, a plurality of expansion areas 34 may be set in the detection target area 33.
  • the setting data 32 indicating the detection target area 33 and the expansion area 34 is set in advance by the administrator of the object detection device 10 or the like and stored in the storage 13.
  • the setting reading unit 21 may have the administrator or the like specify the detection target area 33 and the expansion area 34. That is, for example, the setting reading unit 21 displays the shooting area, causes the shooting area to specify which area is the detection target area 33 and which area is the enlarged area 34, and based on the designation, the setting data. It may have a function of generating 32.
  • the setting data 32 may be stored in the storage 13 for each photographing device 41 or for each group in which the photographing devices 41 are grouped. In that case, in step S11, the setting data 32 corresponding to the photographing device 41 that acquires the image data is read.
  • Step S12 of FIG. 2 Image acquisition process
  • the image acquisition unit 22 acquires the latest frame image data obtained by photographing the photographing area by the photographing apparatus 41 via the communication interface 14.
  • Step S13 of FIG. 2 Data extraction process
  • the data extraction unit 23 extracts the image data of the area including the detection target area 33 indicated by the setting data 32 read in step S11 from the image data acquired in step S12 as the target data 35.
  • the data extraction unit 23 sets the image data acquired in step S12 as it is in the target data 35.
  • the data extraction unit 23 extracts the image data of the enlarged area 34 indicated by the setting data 32 read in step S11 from the target data as partial data 36.
  • the data extraction unit 23 sets the image data shown in FIG. 4 as it is in the target data 35, and sets the image data shown in FIG. 4 as it is. Of these, the image data of the 34 portion of the enlarged region is extracted as the partial data 36.
  • Step S14 of FIG. 2 Resize process
  • the resizing unit 24 resizes each of the extracted target data 35 and partial data 36 to the required size required by the object detection model 31.
  • the object detection model 31 is a model generated by a method such as deep learning, and is a model for detecting a target object from image data.
  • the target data 35 is image data of 1920 pixels in width ⁇ 1200 pixels in height
  • the partial data 36 is image data of 320 pixels in width ⁇ 240 pixels in height.
  • the required size is 512 pixels in width ⁇ 512 pixels in height.
  • the size changing unit 24 reduces the target data 35 and converts it into image data of 512 pixels in width ⁇ 512 pixels in height. Further, the resizing unit 24 enlarges the partial data 36 and converts it into image data of 512 pixels in width ⁇ 512 pixels in height. It is assumed that the target data 35 will be reduced in principle. That is, it is assumed that the required size is smaller than the size of the target data 35. However, the partial data 36 may be enlarged or reduced depending on the size of the enlarged area 34. However, since the partial data 36 is a part of the image data of the target data 35, even if it is reduced, it is not reduced at the same magnification as the target data 35.
  • Step S15 of FIG. 2 Object detection process
  • the object detection unit 25 inputs the target data 35 and the partial data 36, which have been resized in step S14, into the object detection model 31, and detects the target object from the target data 35 and the partial data 36, respectively. Then, the object detection unit 25 uses the result detected from the target data 35 as the first result data 37 and the result detected from the partial data 36 as the second result data 38.
  • the object detection unit 25 inputs the target data 35 and the partial data 36 converted into image data of 512 pixels (horizontal) ⁇ 512 pixels (vertical) into the object detection model 31.
  • the object X is detected from the target data 35.
  • the object Y is detected from the partial data 36.
  • the object Y is also included in the target data 35. However, since the object Y is very small in the target data 35, the object Y may not be detected from the target data 35.
  • Step S16 in FIG. 2 Integrated processing
  • the integration unit 26 generates integrated result data in which the first result data 37 showing the result extracted from the target data 35 and the second result data 38 extracted from the partial data 36 are integrated. At this time, there is a possibility that the same object is included in the first result data 37 and the second result data 38. As a specific example, when the object Y is also detected from the target data 35 shown in FIG. 5, the same object Y is detected from the target data 35 and the partial data 36. Therefore, the integration unit 26 integrates the first result data 37 and the second result data 38 so that the same object becomes one object.
  • the integration unit 26 uses the first result data 37 so that the integration result data includes only one object Y even when the same object Y is detected from the target data 35 and the partial data 36.
  • the second result data 38 are integrated.
  • the integration unit 26 integrates the first result data 37 and the second result data 38 by using a method such as NMS (Non Maximum Suppression).
  • the object detection device 10 detects the target object by inputting it into the object detection model 31 after resizing not only the target data 35 but also the partial data 36 to the required size. ..
  • the object detection model 31 can detect even a small object such as an object reflected in the back of the image data.
  • the target data 35 in FIG. 5 includes the object X and the object Y.
  • the target data 35 is resized to the required size, and the object Y becomes very small. Therefore, the object Y that should be originally detected is not detected from the target data 35.
  • the partial data 36 is also resized to the required size and then input to the object detection model 31.
  • the partial data 36 is a part of the image data of the target data 35. Therefore, the object Y included in the partial data 36 after being resized is larger than the object Y included in the target data 35 after being resized. Therefore, the object Y can be easily detected from the partial data 36.
  • the object detection device 10 integrates the first result data 37 and the second result data 38 so that the same object becomes one object, and generates the integrated result data.
  • the integration in which one object is detected is performed. Result data can be obtained.
  • the enlarged region 34 is not limited to the region at the back of the image data, but may be a region near the center. Further, depending on the photographing area of the photographing device 41, a plurality of enlarged areas 34 may be set. That is, as a region for detecting a small object, the enlarged region 34 can be set to an arbitrary number within an arbitrary region on the image data. By setting these individual conditions in the setting data 32 for each photographing device 41, it is possible to extract the partial data 36 for each photographing device 41.
  • each functional component is realized by software.
  • each functional component may be realized by hardware. The difference between the second modification and the first embodiment will be described.
  • the object detection device 10 includes an electronic circuit 15 instead of the processor 11, the memory 12, and the storage 13.
  • the electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, the memory 12, and the storage 13.
  • Examples of the electronic circuit 15 include a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
  • Each functional component may be realized by one electronic circuit 15, or each functional component may be distributed and realized by a plurality of electronic circuits 15.
  • Modification example 3 As a modification 3, some functional components may be realized by hardware, and other functional components may be realized by software.
  • the processor 11, the memory 12, the storage 13, and the electronic circuit 15 are called processing circuits. That is, the functions of each functional component are realized by the processing circuit.
  • Embodiment 2 is different from the first embodiment in that only the partial data 36 is input to the object detection model 31. In the second embodiment, these different points will be described, and the same points will be omitted.
  • the operation of the object detection device 10 according to the second embodiment will be described with reference to FIGS. 2 and 7.
  • the operation procedure of the object detection device 10 according to the second embodiment corresponds to the object detection method according to the second embodiment.
  • the program that realizes the operation of the object detection device 10 according to the second embodiment corresponds to the object detection program according to the second embodiment.
  • step S12 is the same as that of the first embodiment.
  • Step S11 in FIG. 2 Setting reading process
  • the setting reading unit 21 reads the setting data 32 indicating the detection target area 33 and the enlarged area 34 from the storage 13.
  • a plurality of enlarged regions 34 are set so as to substantially cover the detection target region 33.
  • Each enlarged area 34 is set to an area having a size corresponding to the position of the image data obtained by the photographing device 41. That is, the smaller the target object is, the smaller the enlarged area 34 is set.
  • an area having a smaller size is set as the area deeper in the image data
  • an area having a larger size is set as the area in front of the image data.
  • Step S13 of FIG. 2 Data extraction process
  • the data extraction unit 23 extracts the image data of each of the plurality of enlarged regions 34 indicated by the setting data 32 read in step S11 as partial data 36.
  • Step S14 of FIG. 2 Resize process
  • the resizing unit 24 resizes each of the extracted plurality of partial data 36 to the required size required by the object detection model 31.
  • Step S15 of FIG. 2 Object detection process
  • the object detection unit 25 inputs each of the plurality of partial data 36 resized in step S14 into the object detection model 31, and detects the target object from each of the plurality of partial data 36. Then, the object detection unit 25 uses the result detected from each of the plurality of partial data 36 as the second result data 38.
  • Step S16 in FIG. 2 Integrated processing
  • the integration unit 26 generates integrated result data by integrating the second result data 38 extracted from each of the plurality of partial data 36. At this time, there is a possibility that the same object is included in the plurality of second result data 38. Therefore, the integration unit 26 integrates a plurality of second result data 38 so that the same object becomes one object.
  • the object detection device 10 sets a plurality of enlarged regions 34 having a size corresponding to the position in the image data, and inputs the partial data 36 of each enlarged region 34 to input the target object. To detect. As a result, the object detection model 31 detects the image data having an appropriate size according to the position in the image data. As a result, the detection accuracy may be high. Although a plurality of enlarged regions 34 described with reference to FIG. 7 are set so as to substantially cover the detection target region 33, it is not always necessary for the enlarged region 34 to cover the detection target region 33.
  • each photographing device 41 may be set so as to set a plurality of enlarged areas 34 in a part of the detection target area 33.
  • Embodiment 3 is different from the first and second embodiments in that the object detection model 31 is generated. In the second embodiment, these different points will be described, and the same points will be omitted. In the third embodiment, a case where the object detection model 31 corresponding to the first embodiment is generated will be described.
  • the configuration of the object detection device 10 according to the third embodiment will be described with reference to FIG.
  • the object detection device 10 is different from the first embodiment in that the learning unit 27 is provided as a functional component.
  • the learning unit 27 is realized by software or hardware like other functional components.
  • the operation of the object detection device 10 according to the third embodiment will be described with reference to FIG.
  • the operation procedure of the object detection device 10 according to the third embodiment corresponds to the object detection method according to the third embodiment.
  • the program that realizes the operation of the object detection device 10 according to the third embodiment corresponds to the object detection program according to the third embodiment.
  • steps S21 to S24 is the same as the processing of steps S11 to S14 of FIG. 2 in the first embodiment.
  • the learning unit 27 generates the object detection model 31 by a process such as deep learning by giving each of the target data 35 and the partial data 36 whose size has been changed in step S23 as learning data.
  • the target data 35 and the partial data 36 are image data in the same area as the target data 35 and the partial data 36 in the process described with reference to FIG.
  • the target object to be included may be manually specified and supervised learning data may be generated.
  • the learning unit 27 may give learning data with a teacher to learn.
  • the object detection device 10 according to the third embodiment generates the object detection model 31 by giving not only the target data 35 but also the partial data 36 as learning data.
  • the object detection device 10 can improve the accuracy of the process of detecting an object from the partial data 36 by giving the partial data 36 as learning data.
  • the third embodiment the case where the object detection model 31 corresponding to the first embodiment is generated has been described. It is also possible to generate the object detection model 31 corresponding to the second embodiment. In this case, the processing of steps S21 to S24 is the same as the processing of steps S11 to S14 of FIG. 2 in the second embodiment. In step S25 of FIG. 9, the learning unit 27 generates the object detection model 31 by a process such as deep learning by giving each of the plurality of partial data 36 resized in step S23 as learning data. As a result, the same effect as that of the third embodiment is obtained.
  • the object detection device 10 generated the object detection model 31.
  • a learning device 50 different from the object detection device 10 may generate the object detection model 31.
  • the learning device 50 is a computer.
  • the learning device 50 includes hardware of a processor 51, a memory 52, a storage 53, and a communication interface 54.
  • the processor 51, the memory 52, the storage 53, and the communication interface 54 are the same as the processor 11, the memory 12, the storage 13, and the communication interface 14 of the object detection device 10.
  • the learning device 50 includes a setting reading unit 61, an image acquisition unit 62, a data extraction unit 63, a size change unit 64, and a learning unit 65 as functional components.
  • the functions of each functional component of the learning device 50 are realized by software.
  • the setting reading unit 61, the image acquisition unit 62, the data extraction unit 63, the size change unit 64, and the learning unit 65 are the setting reading unit 21, the image acquisition unit 22, the data extraction unit 23, and the size change unit 24 of the object detection device 10. Is the same as the learning unit 27.
  • the object detection device 10 in each embodiment may be applied to an automatic guided vehicle (AGV, Automated guided vehicle).
  • AGV Automated guided vehicle
  • the position of the own vehicle is grasped by reading the symbols drawn on the floor and ceiling.
  • Embodiment 4 a method of specifying the enlarged region will be described.
  • the points different from those of the first embodiment will be described, and the same points will be omitted.
  • the configuration of the object detection device 10 according to the fourth embodiment will be described with reference to FIG.
  • the object detection device 10 is different from the object detection device 10 shown in FIG. 1 in that the area identification unit 28 is provided as a functional component.
  • the functional components shown in FIG. 1 are omitted.
  • the area specifying unit 28 includes a data acquisition unit 281, an appearance number calculation unit 282, an elite extraction unit 283, an area changing unit 284, an area setting unit 285, and a specific unit 286.
  • the area specifying unit 28 is realized by software or hardware like other functional components.
  • the operation of the object detection device 10 according to the fourth embodiment will be described with reference to FIGS. 12 to 17.
  • the operation procedure of the object detection device 10 according to the fourth embodiment corresponds to the object detection method according to the fourth embodiment.
  • the program that realizes the operation of the object detection device 10 according to the fourth embodiment corresponds to the object detection program according to the fourth embodiment.
  • the area specifying unit 28 sets a plurality of image data obtained by photographing the photographing area by the photographing device 41 as test data.
  • the area specifying unit 28 is the number of appearances in which an object smaller than the reference size appears in the test data, and specifies the enlarged area 34 according to the number of appearances for each area constituting the photographing area.
  • the region specifying unit 28 specifies a region in which the number of appearances is larger than the threshold value or a region in which the number of appearances in other regions is smaller than the threshold value as an enlarged region.
  • a plurality of regions having a larger number of appearances than the threshold value may be designated as the enlarged region 34, or the region having the largest number of appearances may be designated as the expanded region 34.
  • the region specifying unit 28 may set each of the plurality of regions such that the number of appearances in the other regions excluding the plurality of regions is less than the threshold value as the enlarged region 34, and the number of appearances in the other regions is the smallest.
  • One region may be the expansion region 34.
  • the expanded region 34 is specified by using a genetic algorithm.
  • step S11 of FIG. 2 the setting data 32 indicating the enlarged area 34 specified by the area specifying unit 28 is read.
  • Step S31 in FIG. 12 Data acquisition process
  • the data acquisition unit 281 acquires annotation data 71 for each image data which is test data.
  • the annotation data 71 is data indicating the type, position, and size of each object included in the image data.
  • the type represents the classification of objects such as vehicles and people.
  • the position is a coordinate value at which the object is located in the image data.
  • the size is the size of a rectangle surrounding the object in the fourth embodiment.
  • Step S32 in FIG. 12 Initial setting process
  • the area setting unit 285 sets each of the plurality of areas in the photographing area as the initial calculation area.
  • the vertical and horizontal sizes of the calculation area are set to a predetermined constant size.
  • steps S33 to S35 is executed repeatedly -1 reference times.
  • the reference time is expressed as N_GEN.
  • the appearance number calculation unit 282 inputs the annotation data 71 acquired in step S31 and calculates the number of appearances in which an object smaller than the reference size appears in each calculation area. Specifically, the appearance number calculation unit 282 extracts data about the target type from the annotation data 71. The appearance number calculation unit 282 extracts the data of the object smaller than the reference size from the data about the extracted target type.
  • the reference size is a preset size. The reference size is, for example, a size at which the detection accuracy by the object detection model 31 becomes worse than the reference value.
  • the appearance number calculation unit 282 calculates the number of objects whose position indicated by the annotation data 71 is included in the target calculation area for each calculation area as the number of appearances for the target calculation area.
  • N_POP the number of calculation areas
  • the target type is a vehicle.
  • the upper left coordinate values of the rectangle surrounding the object are xmin and ymin, and the lower right coordinate values of the rectangle surrounding the object are xmax and ymax as position information.
  • the value obtained by dividing the size of the rectangle specified from xmin and ymin and xmax and ymax by the size of the image data is defined as the object size obj_size.
  • each calculation area is represented by the upper left coordinate values xmin and ymin. As described above, since the shape and size of the calculation area are constant, the calculation area can be specified if the upper left coordinate value is known.
  • the score is a specific example of the number of appearances calculated by the number of appearances calculation unit 282 described in step S33. When the calculation area has a certain shape and size, the subsequent processing may be performed based on the number of occurrences instead of the score.
  • Step S34 of FIG. 12 Elite extraction process
  • the elite extraction unit 283 extracts a part of the calculation area having a large number of appearances calculated in step S34 as the elite area. Specifically, the elite extraction unit 283 extracts the calculation area of the number of extractions as the elite area from the one with the largest number of appearances.
  • the number of extracts is set in advance. The number of extractions is set to, for example, 20% of the number of calculation areas.
  • the above-mentioned score is calculated for each calculation area as in FIG.
  • the calculation area of the number of extractions is extracted as an elite area in descending order of score.
  • the calculation area of the extraction number with a large number of appearances is extracted as the elite area.
  • Step S35 in FIG. 12 Area change process
  • the region changing unit 284 changes the elite region extracted in step S34 by either mutation or crossover to generate a modified region.
  • the area changing unit 284 generates the changed area by the number obtained by subtracting the number of extractions from N_POP.
  • the region changing unit 284 adopts the mutation with the mutation probability and adopts the crossover with the (1-mutation probability).
  • the region change unit 284 modifies the elite region by the adopted mutation or crossover to generate a modified region.
  • the region change unit 284 randomly changes xmin or ymin of a certain elite region to generate a change region. In FIG. 16, the ymin of the elite region in the first row is randomly changed to generate the changed region.
  • the area change unit 284 adopts xmin of one elite area and ymin of the other elite area of two elite areas to generate a change area.
  • the ymin of the elite region of the second row and the xmin of the elite region of the third row are adopted to generate the changed region.
  • the area setting unit 285 sets each of the elite area extracted in step S34 and the generated change area as a new calculation area. As a result, N_POP calculation areas are newly set.
  • Step S36 of FIG. 12 Specific processing
  • the appearance number calculation unit 282 calculates the appearance number for each calculation area set in step S35 of the reference time (N_GENth).
  • the identification unit 286 specifies a calculation area in which the calculated number of appearances is larger than the threshold value as the expansion area 34.
  • the specific unit 286 sets the calculation area having the largest number of appearances as the expansion area 34 among the areas where the number of appearances is larger than the threshold value.
  • a region including many small objects is set as the enlarged region 34.
  • the specific unit 286 may set two or more calculation areas as the expansion area 34 among the areas where the number of appearances is larger than the threshold value.
  • the threshold value can be arbitrarily set as an integer of 0 or more.
  • step S33 and step S36 the appearance number calculation unit 282 calculates the number of appearances of small objects outside the target calculation area for each calculation area.
  • step S34 the elite extraction unit 283 extracts the calculation area of the number of extractions as the elite area from the one with the smaller number of appearances outside the calculation area.
  • step S36 among the calculation areas having a small number of appearances outside the calculation area, the calculation area having the smallest number of appearances is set as the expansion area 34.
  • the specific unit 286 may set two or more calculation areas as the expansion area 34. Further, when the region where the number of appearances is larger than the threshold value cannot be specified, it is possible to determine that the numerical value of the reference size is small and greatly change the numerical value of the reference size. That is, it is determined that the region where the number of appearances is larger than the threshold value cannot be specified because the setting of the reference size is small, and the number of appearances is increased by increasing the reference size.
  • the object detection device 10 specifies the enlarged region 34 according to the number of appearances of objects smaller than the reference size in the test data. Thereby, the expansion area 34 can be appropriately set. As a result, even a small object can be detected by the object detection model 31.
  • the test data indicates a plurality of image data obtained by photographing the photographing area by the photographing apparatus 41 in order to set the enlarged area 34, but may be learning data.
  • the object detection device 10 sets the enlarged region 34 by using a genetic algorithm.
  • the optimization method there are other methods such as annealing other than the genetic algorithm, and it is also possible to use another optimization method instead of the genetic algorithm.
  • the genetic algorithm since the modified region is generated by using mutation and crossing, it is difficult to fall into local stability like annealing, and a solution above a certain reference value can be obtained with a small amount of calculation.
  • steps S31 to S36 is the same as that of the fourth embodiment.
  • Step S37 in FIG. 18 Repeated determination process
  • the specific unit 286 determines whether or not the reference ratio or more of the detection target area 33 is covered by the enlarged area 34 specified in the past. The specific unit 286 ends the process when the reference ratio or more is covered. On the other hand, when the reference ratio or more is not covered, the specific portion 286 increases the reference size and returns the process to step S32.
  • Embodiment 5 a method of simply setting the annotation data 71 will be described.
  • the points different from those in the fourth embodiment will be described, and the same points will be omitted.
  • the configuration of the object detection device 10 according to the fifth embodiment will be described with reference to FIG.
  • the object detection device 10 is different from the object detection device 10 shown in FIG. 11 in that it includes a data generation unit 29 as a functional component.
  • the data generation unit 29 is realized by software or hardware like other functional components.
  • the operation of the object detection device 10 according to the fifth embodiment will be described with reference to FIGS. 20 and 21.
  • the operation procedure of the object detection device 10 according to the fifth embodiment corresponds to the object detection method according to the fifth embodiment.
  • the program that realizes the operation of the object detection device 10 according to the fifth embodiment corresponds to the object detection program according to the fifth embodiment.
  • the data generation unit 29 sets an object included in the test data detected by the sensor as a target object. For example, it is assumed that an object existing in the photographing area is detected by LiDAR (Light Detection and Ranking) or the like when the image data which is the test data is acquired.
  • the distance from the photographing device 41 to the target object is specified from the time until the laser beam irradiated by LiDAR reaches the object.
  • the reciprocal of the distance from the photographing device 41 to the target object correlates with the size of the target object. Therefore, as shown in FIG. 20, the data generation unit 29 sets a figure having a size corresponding to the distance from the photographing device 41 to the target object at the position of the target object.
  • FIG. 20 the data generation unit 29 sets a figure having a size corresponding to the distance from the photographing device 41 to the target object at the position of the target object.
  • a circle 72 is set as a figure. Then, the data generation unit 29 sets a rectangle surrounding the set figure as a bounding box 73 for the target object.
  • the data generation unit 29 can generate annotation data 71 for the target object by setting the size of the bounding box 73 as the size of the target object.
  • the image data and LiDAR information need to be calibrated in advance. That is, it is necessary to associate the position in the image data with the irradiation direction of the laser beam by LiDAR, and also associate the shooting time of the image data with the irradiation time of the laser beam by LiDAR.
  • the data generation unit 29 is a difference between the background data obtained by shooting the shooting area in a state where the object to be detected does not exist in the shooting area and the plurality of image data as test data.
  • a rectangle surrounding a certain portion is set as the bounding box 73.
  • the data generation unit 29 encloses a portion having a continuous difference as one object in one bounding box 73.
  • the data generation unit 29 can generate annotation data 71 for the target object by setting the size of the bounding box 73 as the size of the target object.
  • the position and size of the object are specified by the above-mentioned two methods.
  • the annotation data 71 needs the type of the object.
  • the type of the object may be specified by a method such as dividing the image data into small image data, inputting each small image data, and specifying by an object detection model.
  • the object detection device 10 according to the fifth embodiment simply generates the annotation data 71.
  • the annotation data 71 of the test data is required as a premise.
  • the object detection device 10 according to the fifth embodiment can easily generate the annotation data 71, although there is a possibility that some errors may be included.
  • 10 object detection device 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 setting reading unit, 22 image acquisition unit, 23 data extraction unit, 24 size change unit, 25 object detection unit, 26 integration unit , 27 learning unit, 28 area identification unit, 281 data acquisition unit, 282 appearance number calculation unit, 283 elite extraction unit, 284 area change unit, 285 area setting unit, 286 identification unit, 29 data generation unit, 31 object detection model, 32 setting data, 33 detection target area, 34 enlarged area, 35 target data, 36 partial data, 37 first result data, 38 second result data, 41 shooting device, 50 learning device, 51 processor, 52 memory, 53 storage, 54 communication interface, 61 setting reading unit, 62 image acquisition unit, 63 data extraction unit, 64 size change unit, 65 learning unit, 71 annotation data, 72 yen, 73 bounding box.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

領域特定部(28)は、撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、テストデータにおいて基準サイズよりも小さい物体が出現する出現数に応じて拡大領域を特定する。データ抽出部(23)は、撮影領域が撮影されて得られた画像データから、拡大領域の画像データを部分データとして抽出する。サイズ変更部(24)は、部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更する。物体検出部(25)は、サイズ変更された部分データを物体検出モデルに入力して、部分データから対象の物体を検出する。

Description

物体検出装置、物体検出方法及び物体検出プログラム
 本開示は、物体検出モデルを用いて画像データから対象の物体を検出する技術に関する。
 ディープラーニング等を用いて生成された物体検出モデルに対して、撮影装置で得られた画像データを入力して、画像データに含まれる対象の物体を検出することが行われている(特許文献1参照)。物体検出モデルでは、予め定められたサイズに画像データを縮小した上で、物体の検出を行う場合がある。
特開2019-003396号公報
 例えば、画像データの奥の方に映った物体は、画像データを縮小した場合には小さくなりすぎてしまい、物体検出モデルによる検出が困難になってしまう。
 本開示は、小さく映った物体についても物体検出モデルにより検出可能にすることを目的とする。
 本開示に係る物体検出装置は、
 撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、前記テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、前記撮影領域を構成する各領域についての出現数に応じて拡大領域を特定する領域特定部と、
 前記撮影領域が撮影されて得られた画像データから、前記領域特定部によって特定された前記拡大領域の画像データを部分データとして抽出するデータ抽出部と、
 前記データ抽出部によって抽出された前記部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
 前記サイズ変更部によってサイズ変更された前記部分データを前記物体検出モデルに入力して、前記部分データから対象の物体を検出する物体検出部と
を備える。
 前記領域特定部は、前記出現数が閾値よりも多い領域、又は、他の領域における前記出現数が閾値よりも少ない領域を前記拡大領域として特定する。
 前記領域特定部は、前記出現数が最も多い領域、又は、他の領域における前記出現数が最も少ない領域を前記拡大領域として特定する。
 前記領域特定部は、
 前記撮影領域における複数の領域それぞれを計算領域として、各計算領域について前記基準サイズよりも小さい物体が出現する出現数を計算する出現数計算部と、
 前記出現数計算部によって計算された前記出現数が多い一部の計算領域をエリート領域として抽出するエリート抽出部と、
 前記エリート抽出部によって抽出された前記エリート領域を突然変異と交叉とのいずれかによって変更した変更領域を生成する領域変更部と、
 前記前記エリート領域と、前記領域変更部によって生成された前記変更領域との領域それぞれを新たに前記計算領域として設定する領域設定部と、
 前記領域設定部によって基準回目に設定された前記計算領域について計算された前記出現数が前記閾値よりも多い計算領域を前記拡大領域として特定する特定部と
を備える。
 前記物体検出装置は、さらに、
 センサによって検出された前記テストデータに含まれる物体を対象の物体として、前記撮影装置から前記対象の物体までの距離に応じたサイズの図形を、前記対象の物体の位置に設定することにより、前記テストデータに含まれる物体の位置及びサイズを表すアノテーションデータを生成するデータ生成部
を備え、
 前記領域特定部は、前記データ生成部によって生成された前記アノテーションデータに基づき、前記基準サイズよりも小さい物体が出現する出現数を計算する。
 前記物体検出装置は、さらに、
 前記撮影領域に検出対象の物体が存在しない状態で前記撮影領域が撮影されて得られた背景データと、前記テストデータである前記複数の画像データそれぞれとの差分がある箇所を囲む図形を設定することにより、前記テストデータに含まれる物体の位置及びサイズを表すアノテーションデータを生成するデータ生成部
を備え、
 前記領域特定部は、前記データ生成部によって生成された前記アノテーションデータに基づき、前記基準サイズよりも小さい物体が出現する出現数を計算する。
 前記データ抽出部は、前記撮影領域が撮影されて得られた画像データから、検出対象領域を含む領域の画像データを対象データとして抽出し、
 前記サイズ変更部は、前記対象データ及び前記部分データそれぞれを前記要求サイズにサイズ変更し、
 前記物体検出部は、サイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する。
 前記領域特定部は、出現数が閾値よりも多い複数の領域それぞれを拡大領域として特定し、
 前記データ抽出部は、各拡大領域の画像データを部分データとして抽出し、
 前記サイズ変更部は、前記各拡大領域についての部分データを画像データから前記要求サイズにサイズ変更し、
 前記物体検出部は、サイズ変更された前記各拡大領域についての部分データを前記物体検出モデルに入力して、前記各拡大領域についての部分データから対象の物体を検出する。
 前記領域特定部は、前記基準サイズを徐々に大きくしながら、前記基準サイズよりも小さい物体が出現する出現数が最も多い領域を拡大領域として特定することにより、複数の拡大領域を特定する。
 本開示に係る物体検出方法は、
 領域特定部が、撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、前記テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、前記撮影領域を構成する各領域についての出現数に応じて拡大領域を特定し、
 データ抽出部が、前記撮影領域が撮影されて得られた画像データから、前記拡大領域の画像データを部分データとして抽出し、
 サイズ変更部が、前記部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更し、
 物体検出部が、サイズ変更された前記部分データを前記物体検出モデルに入力して、前記部分データから対象の物体を検出する。
 本開示に係る物体検出プログラムは、
 撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、前記テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、前記撮影領域を構成する各領域についての出現数に応じて拡大領域を特定する領域特定処理と、
 前記撮影領域が撮影されて得られた画像データから、前記領域特定処理によって特定された前記拡大領域の画像データを部分データとして抽出するデータ抽出処理と、
 前記データ抽出処理によって抽出された前記部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更処理と、
 前記サイズ変更処理によってサイズ変更された前記部分データを前記物体検出モデルに入力して、前記部分データから対象の物体を検出する物体検出処理と
を行う物体検出装置としてコンピュータを機能させる。
 本開示では、テストデータにおいて基準サイズよりも小さい物体が出現する出現数に応じて拡大領域を特定する。これにより、小さい物体についても物体検出モデルにより検出可能になる。
実施の形態1に係る物体検出装置10の構成図。 実施の形態1に係る物体検出装置10の動作を示すフローチャート。 実施の形態1に係る検出対象領域33及び拡大領域34を示す図。 実施の形態1に係る対象データ35及び部分データ36を示す図。 実施の形態1に係るサイズ変更処理の説明図。 変形例1に係る物体検出装置10の構成図。 実施の形態2に係る拡大領域34を示す図。 実施の形態3に係る物体検出装置10の構成図。 実施の形態3に係る物体検出装置10の動作を示すフローチャート。 変形例5に係る学習装置50の構成図。 実施の形態4に係る物体検出装置10の構成図。 実施の形態4に係る物体検出装置10の動作を示すフローチャート。 実施の形態4に係る出現数計算処理の説明図。 実施の形態4に係る出現数計算処理の説明図。 実施の形態4に係るエリート抽出処理の説明図。 実施の形態4に係る領域変更処理の説明図。 実施の形態4に係る特定処理の説明図。 変形例7に係る物体検出装置10の動作を示すフローチャート。 実施の形態5に係る物体検出装置10の構成図。 実施の形態5に係る距離に基づく方法の説明図。 実施の形態5に係る背景差分に基づく方法の説明図。
 実施の形態1.
 ***構成の説明***
 図1を参照して、実施の形態1に係る物体検出装置10の構成を説明する。
 物体検出装置10は、コンピュータである。
 物体検出装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
 プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
 メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
 ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
 通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。
 物体検出装置10は、通信インタフェース14を介して、監視カメラといった撮影装置41と接続されている。
 物体検出装置10は、機能構成要素として、設定読込部21と、画像取得部22と、データ抽出部23と、サイズ変更部24と、物体検出部25と、統合部26とを備える。物体検出装置10の各機能構成要素の機能はソフトウェアにより実現される。
 ストレージ13には、物体検出装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、物体検出装置10の各機能構成要素の機能が実現される。
 ストレージ13には、物体検出モデル31と、設定データ32とが記憶される。
 図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
 ***動作の説明***
 図2から図5を参照して、実施の形態1に係る物体検出装置10の動作を説明する。
 実施の形態1に係る物体検出装置10の動作手順は、実施の形態1に係る物体検出方法に相当する。また、実施の形態1に係る物体検出装置10の動作を実現するプログラムは、実施の形態1に係る物体検出プログラムに相当する。
 (図2のステップS11:設定読込処理)
 設定読込部21は、検出対象領域33及び拡大領域34を示す設定データ32をストレージ13から読み込む。
 検出対象領域33は、撮影装置41によって撮影される撮影領域のうち対象の物体を検出する領域である。
 拡大領域34は、検出対象領域33のうち小さく映った物体を検出する領域である。実施の形態1では、図3に示すように、拡大領域34は、画像データの奥の方の領域である。つまり、実施の形態1では、拡大領域34は、検出対象領域33における撮影装置41の撮影領域のうち奥行方向の距離が基準距離以上の領域を含む領域である。なお、奥行方向の手前側の領域であっても小さな物体を対象の物体として扱う領域については、拡大領域34として設定される可能性もある。また、検出対象領域33のうち拡大領域34を複数設定してもよい。
 実施の形態1では、検出対象領域33及び拡大領域34を示す設定データ32は、物体検出装置10の管理者等によって事前に設定され、ストレージ13に記憶されるものとした。しかし、ステップS11の処理において、設定読込部21が検出対象領域33及び拡大領域34を管理者等に指定させてもよい。つまり、例えば、設定読込部21は、撮影領域を表示して、撮影領域のうちどの領域を検出対象領域33とし、どの領域を拡大領域34とするかを指定させ、その指定に基づき、設定データ32を生成する機能を有してもよい。また設定データ32を撮影装置41ごとに、又は、撮影装置41をグルーピングしたグループごとに、ストレージ13に記憶するように構成してもよい。その場合、ステップS11では、画像データを取得する撮影装置41に対応した設定データ32が読み込まれる。
 (図2のステップS12:画像取得処理)
 画像取得部22は、通信インタフェース14を介して、撮影装置41によって撮影領域が撮影されて得られた最新のフレームの画像データを取得する。
 (図2のステップS13:データ抽出処理)
 データ抽出部23は、ステップS12で取得された画像データのうち、ステップS11で読み込まれた設定データ32が示す検出対象領域33を含む領域の画像データを対象データ35として抽出する。実施の形態1では、データ抽出部23は、ステップS12で取得された画像データをそのまま対象データ35に設定する。また、データ抽出部23は、対象データのうち、ステップS11で読み込まれた設定データ32が示す拡大領域34の画像データを部分データ36として抽出する。
 具体例としては、ステップS12で図4に示す画像データが取得された場合には、データ抽出部23は、図4に示す画像データをそのまま対象データ35に設定し、図4に示す画像データのうち拡大領域34部分の画像データを部分データ36として抽出する。
 (図2のステップS14:サイズ変更処理)
 サイズ変更部24は、抽出された対象データ35及び部分データ36それぞれを物体検出モデル31によって要求される要求サイズにサイズ変更する。物体検出モデル31は、ディープラーニングといった手法によって生成されたモデルであり、画像データから対象の物体を検出するモデルである。
 具体例としては、図5に示すように、対象データ35が横1920ピクセル×縦1200ピクセルの画像データであり、部分データ36が横320ピクセル×縦240ピクセルの画像データであったとする。また、要求サイズが横512ピクセル×縦512ピクセルであったとする。この場合には、サイズ変更部24は、対象データ35を縮小して、横512ピクセル×縦512ピクセルの画像データに変換する。また、サイズ変更部24は、部分データ36を拡大して、横512ピクセル×縦512ピクセルの画像データに変換する。
 なお、対象データ35については、原則として縮小されることを想定する。つまり、要求サイズは、対象データ35のサイズよりも小さいことを想定する。しかし、部分データ36については、拡大領域34の大きさによって拡大される場合と縮小される場合とがある。但し、部分データ36は、対象データ35の一部の画像データであるため、縮小される場合であっても対象データ35ほどの倍率で縮小されることはない。
 (図2のステップS15:物体検出処理)
 物体検出部25は、ステップS14でサイズ変更された対象データ35及び部分データ36それぞれを物体検出モデル31に入力して、対象データ35及び部分データ36それぞれから対象の物体を検出する。そして、物体検出部25は、対象データ35から検出された結果を第1結果データ37とし、部分データ36から検出された結果を第2結果データ38とする。
 具体例としては、物体検出部25は、図5に示すように横512ピクセル×縦512ピクセルの画像データに変換された対象データ35及び部分データ36それぞれを物体検出モデル31に入力する。すると、対象データ35からは物体Xが検出される。また、部分データ36からは物体Yが検出される。なお、対象データ35にも物体Yは含まれている。しかし、対象データ35では物体Yは非常に小さいため、対象データ35から物体Yは検出されない可能性がある。
 (図2のステップS16:統合処理)
 統合部26は、対象データ35から抽出された結果を示す第1結果データ37と、部分データ36から抽出された第2結果データ38とを統合した統合結果データを生成する。
 この際、第1結果データ37及び第2結果データ38に同一の物体が含まれている可能性がある。具体例としては、図5に示す対象データ35からも物体Yが検出された場合には、対象データ35及び部分データ36から同一の物体Yが検出されることになる。そこで、統合部26は、同一の物体については1つの物体になるように、第1結果データ37と第2結果データ38とを統合する。つまり、統合部26は、対象データ35及び部分データ36から同一の物体Yが検出された場合であっても、統合結果データには物体Yが1つだけ含まれるように、第1結果データ37と第2結果データ38とを統合する。
 例えば、統合部26は、NMS(Non Maximum Suppression)といった手法を用いて、第1結果データ37と第2結果データ38とを統合する。
 ***実施の形態1の効果***
 以上のように、実施の形態1に係る物体検出装置10は、対象データ35だけでなく部分データ36も要求サイズにサイズ変更した上で、物体検出モデル31に入力して対象の物体を検出する。これにより、画像データの奥の方に映った物体のように、小さく映った物体についても物体検出モデル31により検出可能になる。
 つまり、図5の対象データ35には物体X及び物体Yが含まれている。しかし、物体検出モデル31に入力される場合には、対象データ35が要求サイズにサイズ変更されてしまい、物体Yは非常に小さくなってしまう。そのため、対象データ35からは、本来検出されるべき物体Yは検出されなくなってしまう。
 しかし、対象データ35とは別に部分データ36についても要求サイズにサイズ変更された上で、物体検出モデル31に入力される。部分データ36は、対象データ35の一部の画像データである。したがって、サイズ変更された後の部分データ36に含まれる物体Yは、サイズ変更された後の対象データ35に含まれる物体Yに比べ大きい。そのため、部分データ36からは物体Yが検出しやすくなる。
 また、実施の形態1に係る物体検出装置10は、同一の物体については1つの物体になるように、第1結果データ37と第2結果データ38とを統合して統合結果データを生成する。これにより、1つの物体が対象データ35あるいは部分データ36の一方から検出された場合、対象データ35および部分データ36の双方から検出された場合のどちらの場合も、1つの物体が検出された統合結果データを得ることができる。
 ***他の構成***
 <変形例1>
 撮影装置41と物体を検知したい領域との距離又は角度等により、拡大領域34は画像データの奥の方の領域に限定されずに、中央付近の領域とする場合が考えられる。また撮影装置41の撮影領域によっては、拡大領域34を複数設定する場合もある。
 つまり小さく映った物体を検出する領域として、拡大領域34は画像データ上の任意の領域を範囲として、任意の数の設定を行うことができる。それらの個別の条件を撮影装置41ごとの設定データ32に設定することにより、撮影装置41ごとに部分データ36の抽出が可能となる。
 <変形例2>
 実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例2として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
 図6を参照して、変形例2に係る物体検出装置10の構成を説明する。
 各機能構成要素がハードウェアで実現される場合には、物体検出装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
 電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
 各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
 <変形例3>
 変形例3として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
 プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
 実施の形態2.
 実施の形態2は、部分データ36のみを物体検出モデル31に入力する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
 ***動作の説明***
 図2及び図7を参照して、実施の形態2に係る物体検出装置10の動作を説明する。
 実施の形態2に係る物体検出装置10の動作手順は、実施の形態2に係る物体検出方法に相当する。また、実施の形態2に係る物体検出装置10の動作を実現するプログラムは、実施の形態2に係る物体検出プログラムに相当する。
 ステップS12の処理は、実施の形態1と同じである。
 (図2のステップS11:設定読込処理)
 設定読込部21は、実施の形態1と同様に、検出対象領域33及び拡大領域34を示す設定データ32をストレージ13から読み込む。
 実施の形態2では、図7に示すように、検出対象領域33を概ね覆うように複数の拡大領域34が設定されている。各拡大領域34は、撮影装置41によって得られる画像データの位置に応じたサイズの領域が設定される。つまり、拡大領域34は、対象の物体が小さい位置ほど、小さい領域が設定される。例えば、拡大領域34は、画像データの奥の方の領域ほど小さいサイズの領域が設定され、画像データの手前の方の領域ほど大きいサイズの領域が設定される。
 (図2のステップS13:データ抽出処理)
 データ抽出部23は、ステップS12で取得された画像データのうち、ステップS11で読み込まれた設定データ32が示す複数の拡大領域34それぞれの画像データを部分データ36として抽出する。
 (図2のステップS14:サイズ変更処理)
 サイズ変更部24は、抽出された複数の部分データ36それぞれを物体検出モデル31によって要求される要求サイズにサイズ変更する。
 (図2のステップS15:物体検出処理)
 物体検出部25は、ステップS14でサイズ変更された複数の部分データ36それぞれを物体検出モデル31に入力して、複数の部分データ36それぞれから対象の物体を検出する。そして、物体検出部25は、複数の部分データ36それぞれから検出された結果を第2結果データ38とする。
 (図2のステップS16:統合処理)
 統合部26は、複数の部分データ36それぞれから抽出された第2結果データ38を統合した統合結果データを生成する。この際、複数の第2結果データ38に同一の物体が含まれている可能性がある。そこで、統合部26は、同一の物体については1つの物体になるように、複数の第2結果データ38を統合する。
 ***実施の形態2の効果***
 以上のように、実施の形態2に係る物体検出装置10は、画像データにおける位置に応じたサイズの複数の拡大領域34を設定し、各拡大領域34の部分データ36を入力として対象の物体を検出する。これにより、画像データにおける位置に応じた適切なサイズの画像データから物体検出モデル31により検出が行われることになる。その結果、検出精度が高くなる可能性がある。
 なお図7を用いて説明した拡大領域34は、検出対象領域33を概ね覆うように複数設定されているが、必ずしも拡大領域34で検出対象領域33を覆う必要はない。撮影装置41の撮影領域に応じて、検出対象領域33上に重点的に検出すべき領域や物体がある場合、逆に検出対象領域33上に検出不要とする領域がある場合、撮影装置41毎に検出対象領域33の一部に複数の拡大領域34を設定するように、設定データ32を設定してもよい。
 実施の形態3.
 実施の形態3は、物体検出モデル31を生成する点が実施の形態1,2と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
 実施の形態3では、実施の形態1に対応した物体検出モデル31を生成する場合について説明する。
 ***構成の説明***
 図8を参照して、実施の形態3に係る物体検出装置10の構成を説明する。
 物体検出装置10は、機能構成要素として、学習部27を備える点が実施の形態1と異なる。学習部27は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
 ***動作の説明***
 図9を参照して、実施の形態3に係る物体検出装置10の動作を説明する。
 実施の形態3に係る物体検出装置10の動作手順は、実施の形態3に係る物体検出方法に相当する。また、実施の形態3に係る物体検出装置10の動作を実現するプログラムは、実施の形態3に係る物体検出プログラムに相当する。
 ステップS21からステップS24の処理は、実施の形態1における図2のステップS11からステップS14の処理と同じである。
 (図9のステップS25:学習処理)
 学習部27は、ステップS23でサイズ変更された対象データ35及び部分データ36それぞれを学習データとして与えることにより、ディープラーニングといった処理により物体検出モデル31を生成する。ここで、対象データ35及び部分データ36は、図2で説明した処理における対象データ35及び部分データ36と同じ領域の画像データである。
 なお、対象データ35及び部分データ36それぞれについて、含まれる対象の物体が人手等で特定され教師付きの学習データが生成されてもよい。そして、学習部27は、教師付きの学習データを与えて学習させてもよい。
 ***実施の形態3の効果***
 以上のように、実施の形態3に係る物体検出装置10は、対象データ35だけでなく部分データ36も学習データとして与えることにより、物体検出モデル31を生成する。部分データ36は、サイズの拡大に伴い、対象データ35と比較すると、一部又は全体の画像が不鮮明になる可能性がある。拡大に伴い、不鮮明な部分を含む画像データが学習データとして与えられていない場合には、不鮮明な部分を含む画像データからの検出精度が低くなってしまう場合がある。
そのため、対象データ35だけを学習データとして与え物体検出モデル31を生成すると、部分データ36から物体を検出する処理の精度が低くなる可能性がある。しかし、実施の形態3に係る物体検出装置10は、部分データ36も学習データとして与えることにより、部分データ36から物体を検出する処理の精度を高くすることができる。
 ***他の構成***
 <変形例4>
 実施の形態3では、実施の形態1に対応した物体検出モデル31を生成する場合について説明した。実施の形態2に対応した物体検出モデル31を生成することも可能である。
 この場合には、ステップS21からステップS24の処理は、実施の形態2における図2のステップS11からステップS14の処理と同じである。図9のステップS25では、学習部27は、ステップS23でサイズ変更された複数の部分データ36それぞれを学習データとして与えることにより、ディープラーニングといった処理により物体検出モデル31を生成する。これにより、実施の形態3と同様の効果を奏する。
 <変形例5>
 実施の形態3及び変形例4では、物体検出装置10が物体検出モデル31を生成した。しかし、物体検出装置10とは別の学習装置50が物体検出モデル31を生成してもよい。
 図10に示すように、学習装置50は、コンピュータである。学習装置50は、プロセッサ51と、メモリ52と、ストレージ53と、通信インタフェース54とのハードウェアを備える。プロセッサ51とメモリ52とストレージ53と通信インタフェース54とは、物体検出装置10のプロセッサ11とメモリ12とストレージ13と通信インタフェース14と同じである。
 学習装置50は、機能構成要素として、設定読込部61と、画像取得部62と、データ抽出部63と、サイズ変更部64と、学習部65とを備える。学習装置50の各機能構成要素の機能はソフトウェアにより実現される。設定読込部61と画像取得部62とデータ抽出部63とサイズ変更部64と学習部65とは、物体検出装置10の設定読込部21と画像取得部22とデータ抽出部23とサイズ変更部24と学習部27と同じである。
 なお、各実施の形態における物体検出装置10は、無人搬送車(AGV,Automated guided vehicle)に適用するようにしてもよい。誘導方式として画像認識方式を採用する無人搬送車においては、床や天井に描かれた記号を読み取り、それによって自車の位置を把握するようにしている。本開示における物体検出装置を無人搬送車に適用することで、小さく映ったマークについても検出できるようになるため、より高精度な移動が可能な無人搬送車を提供することができる。
 実施の形態4.
 実施の形態4では、拡大領域の特定方法を説明する。実施の形態4では、実施の形態1と異なる点を説明し、同一の点については説明を省略する。
 ***構成の説明***
 図11を参照して、実施の形態4に係る物体検出装置10の構成を説明する。
 物体検出装置10は、機能構成要素として領域特定部28を備える点が図1に示す物体検出装置10と異なる。なお、図11では、図1に示す機能構成要素が省略されている。領域特定部28は、データ取得部281と、出現数計算部282と、エリート抽出部283と、領域変更部284と、領域設定部285と、特定部286とを備える。領域特定部28は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
 ***動作の説明***
 図12から図17を参照して、実施の形態4に係る物体検出装置10の動作を説明する。
 実施の形態4に係る物体検出装置10の動作手順は、実施の形態4に係る物体検出方法に相当する。また、実施の形態4に係る物体検出装置10の動作を実現するプログラムは、実施の形態4に係る物体検出プログラムに相当する。
 領域特定部28は、撮影装置41によって撮影領域が撮影されて得られた複数の画像データをテストデータに設定する。領域特定部28は、テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、撮影領域を構成する各領域についての出現数に応じて拡大領域34を特定する。
 具体的には、領域特定部28は、出現数が閾値よりも多い領域、又は、他の領域における出現数が閾値よりも少ない領域を拡大領域として特定する。領域特定部28は、出現数が閾値よりも多い複数の領域をそれぞれ拡大領域34としてもよいし、出現数が最も多い領域を拡大領域34としてもよい。また、領域特定部28は、複数の領域を除く他の領域における出現数が閾値よりも少なくなるような複数の領域それぞれを拡大領域34としてもよいし、他の領域における出現数が最も少なくなる1つの領域を拡大領域34としてもよい。
 実施の形態4では、遺伝的アルゴリズムを用いて拡大領域34を特定する。図2のステップS11では、領域特定部28によって特定された拡大領域34を示す設定データ32が読み込まれる。
 ここでは、出現数が多い1つの領域を拡大領域34として特定する場合について説明する。
 (図12のステップS31:データ取得処理)
 データ取得部281は、テストデータである各画像データについてのアノテーションデータ71を取得する。
 アノテーションデータ71は、画像データに含まれる各物体について、種別と、位置と、サイズとを示すデータである。種別は、車両と人といった物体の分類を表す。位置は、画像データにおいて物体が位置する座標値である。サイズは、実施の形態4では、物体を囲む矩形の大きさである。
 (図12のステップS32:初期設定処理)
 領域設定部285は、撮影領域における複数の領域それぞれを初期の計算領域として設定する。領域設定部285は、例えば、各計算領域をランダムに設定する。実施の形態4では、計算領域の縦及び横のサイズは予め定められた一定サイズとする。
 ステップS33からステップS35の処理が基準回-1繰り返し実行される。ここでは、基準回をN_GENと表す。
 (図12のステップS33:出現数計算処理)
 出現数計算部282は、ステップS31で取得されたアノテーションデータ71を入力として、各計算領域について基準サイズよりも小さい物体が出現する出現数を計算する。
 具体的には、出現数計算部282は、アノテーションデータ71から対象の種別についてのデータを抽出する。出現数計算部282は、抽出された対象の種別についてのデータから、基準サイズよりも小さい物体のデータを抽出する。基準サイズは、事前に設定されたサイズである。基準サイズは、例えば、物体検出モデル31による検出精度が基準値よりも悪くなるサイズである。出現数計算部282は、各計算領域を対象として、アノテーションデータ71が示す位置が対象の計算領域に含まれる物体の数を、対象の計算領域についての出現数として計算する。
 ここでは、計算領域の数をN_POP個であるとする。
 図13及び図14を参照して具体例を説明する。
 図13では、対象の種別は車両としている。また、図13の下部に示すアノテーションデータ71では、位置情報として物体を囲む矩形の左上の座標値をxmin及びyminとし、物体を囲む矩形の右下の座標値をxmax及びymaxとしている。また、図13のアノテーションデータ71では、xmin及びyminとxmax及びymaxとから特定される矩形のサイズを、画像データのサイズで除して得られた値を物体のサイズobj_sizeとしている。基準サイズが0.002である場合には、図13の右側に示すように、obj_sizeが基準サイズより小さい8個の物体のデータが抽出される。
 そして、図14に示すように、各計算領域を対象として、対象の計算領域に含まれる物体の数が計算される。図14では、抽出された全ての物体に対する対象の計算領域に含まれる物体の割合がスコアとして計算されている。なお、図14では、各計算領域は、左上の座標値であるxmin及びyminで表されている。上述した通り、計算領域の形状及びサイズは一定であるため、左上の座標値が分かれば計算領域を特定可能である。
 なおスコアは、ステップS33で説明した、出現数計算部282が算出する出現数の具体例である。計算領域が一定の形状及びサイズである場合、スコアではなく、出現数で以降の処理を行ってもよい。
 (図12のステップS34:エリート抽出処理)
 エリート抽出部283は、ステップS34で計算された出現数が多い一部の計算領域をエリート領域として抽出する。
 具体的には、エリート抽出部283は、出現数が多い方から、抽出数の計算領域をエリート領域として抽出する。抽出数は、事前に設定される。抽出数は、例えば、計算領域数の2割と設定される。
 図15では、図14と同様に、各計算領域について上述したスコアが計算されている。スコアの高い順に抽出数の計算領域がエリート領域として抽出される。これにより、出現数が多い抽出数の計算領域がエリート領域として抽出されることになる。
 (図12のステップS35:領域変更処理)
 領域変更部284は、ステップS34で抽出されたエリート領域を突然変異と交叉とのいずれかによって変更して変更領域を生成する。ここでは、領域変更部284は、N_POPから抽出数を減算した数だけ、変更領域を生成する。
 具体的には、領域変更部284は、変異確率で突然変異を採用し、(1-変異確率)で交叉を採用する。領域変更部284は、採用された突然変異又は交叉によって、エリート領域を変更して、変更領域を生成する。
 ここで、突然変異による変更では、領域変更部284は、あるエリート領域のxmin又はyminをランダムに変更して変更領域を生成する。図16では、1行目のエリート領域のyminがランダムに変更されて、変更領域が生成されている。交叉による変更では、領域変更部284は、ある2つのエリート領域のうち一方のエリート領域のxminと他方のエリート領域のyminとを採用して、変更領域を生成する。図16では、2行目のエリート領域のyminと3行目のエリート領域のxminとが採用されて、変更領域が生成されている。
 領域設定部285は、ステップS34で抽出されたエリート領域と、生成された変更領域とのそれぞれを新たな計算領域として設定する。これにより、N_POP個の計算領域が新たに設定される。
 (図12のステップS36:特定処理)
 出現数計算部282は、基準回目(N_GEN目)のステップS35で設定された各計算領域について出現数を計算する。そして、特定部286は、計算された出現数が閾値よりも多い計算領域を拡大領域34として特定する。ここでは、特定部286は、出現数が閾値よりも多い領域のうち、最も出現数が多い計算領域を拡大領域34として設定する。その結果、図17のように、多くの小さい物体を含む領域が拡大領域34として設定される。
 なお、特定部286は、出現数が閾値よりも多い領域のうち、2つ以上の計算領域を拡大領域34として設定してもよい。また閾値は、0以上の整数を任意に設定することができる。
 ここでは、出現数が多い1つの領域を拡大領域34として特定する場合について説明した。しかし、以下のように変更することにより、他の領域における出現数が少ない領域を拡大領域34として特定することも可能である。
 ステップS33及びステップS36で出現数計算部282が各計算領域を対象として、対象の計算領域外にある小さい物体の出現数を計算する。ステップS34でエリート抽出部283が、計算領域外の出現数が少ない方から、抽出数の計算領域をエリート領域として抽出する。ステップS36で計算領域外の出現数が少ない計算領域のうち、最も出現数が少ない計算領域を拡大領域34として設定する。なお、この場合にも、特定部286は、2つ以上の計算領域を拡大領域34として設定してもよい。
 また出現数が閾値より多い領域が特定できない場合、基準サイズの数値が小さいと判定し、基準サイズの数値を大きく変更することも可能である。つまり出現数が閾値より多くなる領域が特定できないのは、基準サイズの設定が小さいためと判定し、基準サイズを大きくすることにより、出現数を増やすように動作する。
 ***実施の形態4の効果***
 以上のように、実施の形態4に係る物体検出装置10は、テストデータにおいて基準サイズよりも小さい物体が出現する出現数に応じて拡大領域34を特定する。これにより、拡大領域34を適切に設定することが可能である。その結果、小さく映った物体についても物体検出モデル31により検出可能になる。
 なおテストデータとは、前述したとおり、拡大領域34を設定するため、撮影装置41によって撮影領域が撮影されて得られた複数の画像データを示すが、学習データであってもよい。
 実施の形態4に係る物体検出装置10は、遺伝的アルゴリズムを用いて拡大領域34を設定する。最適化手法としては、遺伝的アルゴリズム以外にも、アニーリングといった他の手法があり、遺伝的アルゴリズムに代えて他の最適化手法を用いることも可能である。しかし、遺伝的アルゴリズムでは、突然変異と交叉とを用いて変更領域を生成するため、アニーリングのように局所安定に陥りにくく、一定基準値以上の解を少ない計算量で求めることができる。
 ***他の構成***
 <変形例6>
 計算領域を大きくすれば多くの小さい物体を含み易くなり、画像データ全体を計算領域とすれば全ての小さい物体を含むことになる。そのため、計算領域のサイズを任意に変更可能としてしまうと、処理を繰り返し、最適化が進むにつれ、計算領域のサイズが大きくなる可能性が高い。拡大領域34のサイズが大きくなってしまうと、小さい物体を検出可能にするという目的を達成できなくなってしまう。そのため、実施の形態4では、計算領域のサイズは一定とした。
 しかし、事前に設定した上限以下であれば、計算領域のサイズを変更可能にしてもよい。なお、アスペクト比が変わると、物体検出モデル31での検出に悪影響を及ぼす恐れがある。そのため、アスペクト比は固定してもよい。
 <変形例7>
 実施の形態4では、実施の形態1における拡大領域34を特定することを想定した。しかし、実施の形態2における拡大領域34を特定することも可能である。
 実施の形態2における拡大領域34は、検出対象領域33を概ね覆うように設定される必要がある。そこで、物体検出装置10は、図18に示す処理を行う。
 ステップS31からステップS36の処理は、実施の形態4と同じである。
 (図18のステップS37:繰り返し判定処理)
 特定部286は、検出対象領域33の基準割合以上が過去に特定された拡大領域34によって覆われているか否かを判定する。
 特定部286は、基準割合以上が覆われている場合には、処理を終了する。一方、特定部286は、基準割合以上が覆われていない場合には、基準サイズを大きくした上で、処理をステップS32に戻す。
 基準サイズを大きくすることにより、異なる領域が拡大領域34として選択されるようになる。その結果、検出対象領域33を概ね覆うように複数の拡大領域34を設定することが可能になる。
 実施の形態5.
 実施の形態5では、アノテーションデータ71を簡易的に設定する方法を説明する。実施の形態5では、実施の形態4と異なる点を説明し、同一の点については説明を省略する。
 ***構成の説明***
 図19を参照して、実施の形態5に係る物体検出装置10の構成を説明する。
 物体検出装置10は、機能構成要素として、データ生成部29を備える点が図11に示す物体検出装置10と異なる。データ生成部29は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
 ***動作の説明***
 図20及び図21を参照して、実施の形態5に係る物体検出装置10の動作を説明する。
 実施の形態5に係る物体検出装置10の動作手順は、実施の形態5に係る物体検出方法に相当する。また、実施の形態5に係る物体検出装置10の動作を実現するプログラムは、実施の形態5に係る物体検出プログラムに相当する。
 ここでは、距離に基づく方法と、背景差分に基づく方法との2つの方法を説明する。
 <距離に基づく方法>
 データ生成部29は、センサによって検出されたテストデータに含まれる物体を対象の物体として設定する。例えば、テストデータである画像データが取得された際に、LiDAR(Light Detection and Ranging)等によって撮影領域に存在する物体が検出されたとする。LiDARによって照射されたレーザ光が物体に到達するまでの時間から、撮影装置41から対象の物体までの距離が特定される。撮影装置41から対象の物体までの距離の逆数は、対象の物体のサイズと相関がある。
 そこで、図20に示すように、データ生成部29は、撮影装置41から対象の物体までの距離に応じたサイズの図形を対象の物体の位置に設定する。図20では、図形として円72が設定されている。そして、データ生成部29は、設定された図形を囲む矩形を対象の物体についてのバウンディングボックス73として設定する。データ生成部29は、バウンディングボックス73のサイズを対象の物体のサイズとすることにより、対象の物体についてのアノテーションデータ71を生成することができる。
 なお、画像データとLiDARの情報とは事前にキャリブレーションされている必要がある。つまり、画像データにおける位置と、LiDARによるレーザ光の照射方向とを対応付けるとともに、画像データの撮影時刻と、LiDARによるレーザ光の照射時刻とを対応付ける必要がある。
 <背景差分に基づく方法>
 図21に示すように、データ生成部29は、撮影領域に検出対象の物体が存在しない状態で撮影領域が撮影されて得られた背景データと、テストデータである複数の画像データそれぞれとの差分がある箇所を囲む矩形をバウンディングボックス73として設定する。具体的には、データ生成部29は、連続して差異がある部分を1つの物体として、1つのバウンディングボックス73で囲む。データ生成部29は、バウンディングボックス73のサイズを対象の物体のサイズとすることにより、対象の物体についてのアノテーションデータ71を生成することができる。
 なお、上述した2つの方法では、物体の位置及びサイズが特定される。しかし、アノテーションデータ71には、物体の種別が必要である。物体の種別については、画像データを小さい画像データに分割して、各小さい画像データを入力として、物体検出モデルによって特定するといった方法により特定すればよい。
 ***実施の形態5の効果***
 以上のように、実施の形態5に係る物体検出装置10は、アノテーションデータ71を簡易的に生成する。実施の形態4で説明した拡大領域34の設定方法では、前提としてテストデータのアノテーションデータ71が必要である。しかし、アノテーションデータ71を人手により生成するには手間がかかる。しかし、実施の形態5に係る物体検出装置10は、多少の誤差が含まれる恐れがあるものの、アノテーションデータ71を簡易的に生成可能である。
 以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
 10 物体検出装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 設定読込部、22 画像取得部、23 データ抽出部、24 サイズ変更部、25 物体検出部、26 統合部、27 学習部、28 領域特定部、281 データ取得部、282 出現数計算部、283 エリート抽出部、284 領域変更部、285 領域設定部、286 特定部、29 データ生成部、31 物体検出モデル、32 設定データ、33 検出対象領域、34 拡大領域、35 対象データ、36 部分データ、37 第1結果データ、38 第2結果データ、41 撮影装置、50 学習装置、51 プロセッサ、52 メモリ、53 ストレージ、54 通信インタフェース、61 設定読込部、62 画像取得部、63 データ抽出部、64 サイズ変更部、65 学習部、71 アノテーションデータ、72 円、73 バウンディングボックス。

Claims (11)

  1.  撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、前記テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、前記撮影領域を構成する各領域についての出現数に応じて拡大領域を特定する領域特定部と、
     前記撮影領域が撮影されて得られた画像データから、前記領域特定部によって特定された前記拡大領域の画像データを部分データとして抽出するデータ抽出部と、
     前記データ抽出部によって抽出された前記部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更部と、
     前記サイズ変更部によってサイズ変更された前記部分データを前記物体検出モデルに入力して、前記部分データから対象の物体を検出する物体検出部と
    を備える物体検出装置。
  2.  前記領域特定部は、前記出現数が閾値よりも多い領域、又は、他の領域における前記出現数が閾値よりも少ない領域を前記拡大領域として特定する
    請求項1に記載の物体検出装置。
  3.  前記領域特定部は、前記出現数が最も多い領域、又は、他の領域における前記出現数が最も少ない領域を前記拡大領域として特定する
    請求項1又は2に記載の物体検出装置。
  4.  前記領域特定部は、
     前記撮影領域における複数の領域それぞれを計算領域として、各計算領域について前記基準サイズよりも小さい物体が出現する出現数を計算する出現数計算部と、
     前記出現数計算部によって計算された前記出現数が多い一部の計算領域をエリート領域として抽出するエリート抽出部と、
     前記エリート抽出部によって抽出された前記エリート領域を突然変異と交叉とのいずれかによって変更した変更領域を生成する領域変更部と、
     前記エリート領域と、前記領域変更部によって生成された前記変更領域との領域それぞれを新たに前記計算領域として設定する領域設定部と、
     前記領域設定部によって基準回目に設定された前記計算領域について計算された前記出現数が前記閾値よりも多い計算領域を前記拡大領域として特定する特定部と
    を備える請求項1から3までのいずれか1項に記載の物体検出装置。
  5.  前記物体検出装置は、さらに、
     センサによって検出された前記テストデータに含まれる物体を対象の物体として、前記撮影装置から前記対象の物体までの距離に応じたサイズの図形を、前記対象の物体の位置に設定することにより、前記テストデータに含まれる物体の位置及びサイズを表すアノテーションデータを生成するデータ生成部
    を備え、
     前記領域特定部は、前記データ生成部によって生成された前記アノテーションデータに基づき、前記基準サイズよりも小さい物体が出現する出現数を計算する
    請求項1から4までのいずれか1項に記載の物体検出装置。
  6.  前記物体検出装置は、さらに、
     前記撮影領域に検出対象の物体が存在しない状態で前記撮影領域が撮影されて得られた背景データと、前記テストデータである前記複数の画像データそれぞれとの差分がある箇所を囲む図形を設定することにより、前記テストデータに含まれる物体の位置及びサイズを表すアノテーションデータを生成するデータ生成部
    を備え、
     前記領域特定部は、前記データ生成部によって生成された前記アノテーションデータに基づき、前記基準サイズよりも小さい物体が出現する出現数を計算する
    請求項1から4までのいずれか1項に記載の物体検出装置。
  7.  前記データ抽出部は、前記撮影領域が撮影されて得られた画像データから、検出対象領域を含む領域の画像データを対象データとして抽出し、
     前記サイズ変更部は、前記対象データ及び前記部分データそれぞれを前記要求サイズにサイズ変更し、
     前記物体検出部は、サイズ変更された前記対象データ及び前記部分データそれぞれを前記物体検出モデルに入力して、前記対象データ及び前記部分データそれぞれから対象の物体を検出する
    請求項1から6までのいずれか1項に記載の物体検出装置。
  8.  前記領域特定部は、出現数が閾値よりも多い複数の領域それぞれを拡大領域として特定し、
     前記データ抽出部は、各拡大領域の画像データを部分データとして抽出し、
     前記サイズ変更部は、前記各拡大領域についての部分データを画像データから前記要求サイズにサイズ変更し、
     前記物体検出部は、サイズ変更された前記各拡大領域についての部分データを前記物体検出モデルに入力して、前記各拡大領域についての部分データから対象の物体を検出する請求項1から6までのいずれか1項に記載の物体検出装置。
  9.  前記領域特定部は、前記基準サイズを徐々に大きくしながら、前記基準サイズよりも小さい物体が出現する出現数が最も多い領域を拡大領域として特定することにより、複数の拡大領域を特定する
    請求項8に記載の物体検出装置。
  10.  領域特定部が、撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、前記テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、前記撮影領域を構成する各領域についての出現数に応じて拡大領域を特定し、
     データ抽出部が、前記撮影領域が撮影されて得られた画像データから、前記拡大領域の画像データを部分データとして抽出し、
     サイズ変更部が、前記部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更し、
     物体検出部が、サイズ変更された前記部分データを前記物体検出モデルに入力して、前記部分データから対象の物体を検出する物体検出方法。
  11.  撮影装置によって撮影領域が撮影されて得られた複数の画像データをテストデータとして、前記テストデータにおいて基準サイズよりも小さい物体が出現する出現数であって、前記撮影領域を構成する各領域についての出現数に応じて拡大領域を特定する領域特定処理と、
     前記撮影領域が撮影されて得られた画像データから、前記領域特定処理によって特定された前記拡大領域の画像データを部分データとして抽出するデータ抽出処理と、
     前記データ抽出処理によって抽出された前記部分データを画像データから物体を検出するモデルである物体検出モデルによって要求される要求サイズにサイズ変更するサイズ変更処理と、
     前記サイズ変更処理によってサイズ変更された前記部分データを前記物体検出モデルに入力して、前記部分データから対象の物体を検出する物体検出処理と
    を行う物体検出装置としてコンピュータを機能させる物体検出プログラム。
PCT/JP2020/041432 2020-01-22 2020-11-05 物体検出装置、物体検出方法及び物体検出プログラム WO2021149327A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080092964.7A CN114981838A (zh) 2020-01-22 2020-11-05 物体检测装置、物体检测方法及物体检测程序
EP20915371.7A EP4071710A4 (en) 2020-01-22 2020-11-05 OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD, AND OBJECT DETECTION PROGRAM
US17/835,303 US20220301276A1 (en) 2020-01-22 2022-06-08 Object detection device, object detection method, and computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020008425A JP6935522B2 (ja) 2020-01-22 2020-01-22 物体検出装置、物体検出方法及び物体検出プログラム
JP2020-008425 2020-01-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/835,303 Continuation US20220301276A1 (en) 2020-01-22 2022-06-08 Object detection device, object detection method, and computer readable medium

Publications (1)

Publication Number Publication Date
WO2021149327A1 true WO2021149327A1 (ja) 2021-07-29

Family

ID=76993328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041432 WO2021149327A1 (ja) 2020-01-22 2020-11-05 物体検出装置、物体検出方法及び物体検出プログラム

Country Status (5)

Country Link
US (1) US20220301276A1 (ja)
EP (1) EP4071710A4 (ja)
JP (1) JP6935522B2 (ja)
CN (1) CN114981838A (ja)
WO (1) WO2021149327A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593677B1 (ko) * 2022-06-28 2023-10-25 주식회사 포딕스시스템 객체 검출 이미지 전처리 장치 및 방법
CN117061859B (zh) * 2023-10-12 2023-12-22 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞试验摄像监视系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062688A (ja) * 2011-09-13 2013-04-04 Canon Inc 画像処理装置、画像処理方法
JP2018124629A (ja) * 2017-01-30 2018-08-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2019003396A (ja) 2017-06-15 2019-01-10 コニカミノルタ株式会社 目的物体検出装置、該方法およびプログラム
JP2019219804A (ja) * 2018-06-18 2019-12-26 株式会社日立製作所 物体検出装置及び物体検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911165B2 (ja) * 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062688A (ja) * 2011-09-13 2013-04-04 Canon Inc 画像処理装置、画像処理方法
JP2018124629A (ja) * 2017-01-30 2018-08-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2019003396A (ja) 2017-06-15 2019-01-10 コニカミノルタ株式会社 目的物体検出装置、該方法およびプログラム
JP2019219804A (ja) * 2018-06-18 2019-12-26 株式会社日立製作所 物体検出装置及び物体検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4071710A4

Also Published As

Publication number Publication date
JP2021117533A (ja) 2021-08-10
EP4071710A4 (en) 2023-05-24
CN114981838A (zh) 2022-08-30
US20220301276A1 (en) 2022-09-22
JP6935522B2 (ja) 2021-09-15
EP4071710A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP6871314B2 (ja) 物体検出方法、装置及び記憶媒体
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
US10229346B1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
JP7208480B2 (ja) 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法
TWI774659B (zh) 圖像文字的識別方法和裝置
US9552536B2 (en) Image processing device, information storage device, and image processing method
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
CN105868758B (zh) 图像中文本区域检测方法、装置及电子设备
CN108121997A (zh) 使用机器学习模型的图像数据中的对象分类
CN113688652B (zh) 一种异常驾驶行为的处理方法和装置
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
WO2021149327A1 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
TWI649698B (zh) 物件偵測裝置、物件偵測方法及電腦可讀取媒體
CN108122239A (zh) 使用深度分割的图像数据中的对象检测
CN109961037A (zh) 一种考场视频监控异常行为特征识别方法
US20160093046A1 (en) Apparatus and method for supporting computer aided diagnosis
CN110582783B (zh) 训练装置、图像识别装置、训练方法和计算机可读信息存储介质
CN110889421A (zh) 目标物检测方法及装置
WO2020014294A1 (en) Learning to segment via cut-and-paste
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
CN111563505A (zh) 一种基于像素分割合并的文字检测方法及装置
US20220198679A1 (en) Object detection device, learning device and computer readable medium
CN115620022A (zh) 一种对象检测方法、装置、设备及存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
JP2017182436A (ja) 画像認識装置、及び画像認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20915371

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020915371

Country of ref document: EP

Effective date: 20220707

NENP Non-entry into the national phase

Ref country code: DE