WO2020255326A1 - 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム - Google Patents

学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム Download PDF

Info

Publication number
WO2020255326A1
WO2020255326A1 PCT/JP2019/024477 JP2019024477W WO2020255326A1 WO 2020255326 A1 WO2020255326 A1 WO 2020255326A1 JP 2019024477 W JP2019024477 W JP 2019024477W WO 2020255326 A1 WO2020255326 A1 WO 2020255326A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
radar
unit
radar image
learning data
Prior art date
Application number
PCT/JP2019/024477
Other languages
English (en)
French (fr)
Inventor
護 土井
由美子 片山
堅也 杉原
充 芦澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019565361A priority Critical patent/JP6775697B1/ja
Priority to CA3139105A priority patent/CA3139105C/en
Priority to DE112019007342.7T priority patent/DE112019007342B4/de
Priority to PCT/JP2019/024477 priority patent/WO2020255326A1/ja
Publication of WO2020255326A1 publication Critical patent/WO2020255326A1/ja
Priority to US17/524,933 priority patent/US20220075059A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9094—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the present invention relates to a learning data generation device, a learning data generation method, a learning data generation program, a learning device, a learning method, a learning program, an inference device, an inference method, an inference program, a learning system, and an inference system. ..
  • An object existing in the sky or the surface of the earth is detected or identified by using a radar image generated by irradiating the sky or the surface of the earth with radar.
  • a radar image generated by irradiating the sky or the surface of the earth with radar For example, in Patent Document 1, an captured still image of a target body is input, at least a plurality of different forms of information about the target body are extracted by an information extraction means, and a target candidate is searched from a target information database by a target candidate search means.
  • a target body identification system that automatically identifies the target body from the image of the target body and identifies the target body by searching and narrowing down the target candidate by applying a predetermined rule by the target body supplementary narrowing method. Is disclosed.
  • a radar image for example, a feature in a radar image of an object reflected in the radar image such as a target information database described in Patent Document 1. It is necessary to prepare a comparable database in advance.
  • the database is generated, for example, by collecting radar images in advance of an object to be detected or identified (hereinafter referred to as "object") and extracting the characteristics of the object in the collected radar image.
  • object an object to be detected or identified
  • machine learning is performed using the collected radar images as learning data, and objects appearing in radar images are detected or identified based on the learning results of machine learning.
  • an inference device or the like In order to detect or identify an object reflected in a radar image with high accuracy, in any case, such as when using a database or when inferring based on the learning result by machine learning, the object is under different conditions. A large amount of captured radar images are required.
  • the characteristics of the image of the object in the radar image show different characteristics. Further, since the object has a non-linear shape, the characteristics of the object in the radar image show different characteristics depending on the difference in the orientation of the object with respect to the irradiation direction of the radar irradiated to the object. Therefore, in order to acquire a large number of radar images obtained by capturing an object under different conditions, it is necessary to collect laser images while changing the direction of the object, the irradiation direction of the radar, or the like.
  • a radar image is generated by irradiating a radar from an aircraft or an artificial satellite such as a synthetic aperture radar, it takes a lot of time or a long time to collect a large amount of radar images obtained by capturing an object under different conditions. It takes time and effort.
  • the present invention is for solving the above-mentioned problems, and provides a learning data generator capable of easily generating learning data used for machine learning for detecting or identifying an object reflected in a radar image. That is the issue.
  • the learning data generation device uses the 3D model acquisition unit that acquires the object 3D model information indicating the 3D model of the object and the object 3D model information acquired by the 3D model acquisition unit to the object.
  • An object image generation unit at a predetermined position in a radar image acquisition unit, a background image acquisition unit that acquires a background image using the radar image information acquired by the radar image acquisition unit, and a background image acquired by the background image acquisition unit.
  • a learning data generator that generates learning data that associates simulated radar image information with class information that indicates the type of object, and a learning data output that outputs learning data generated by the learning data generator.
  • learning data used for machine learning for detecting or identifying an object reflected in a radar image can be easily generated.
  • FIG. 1 is a block diagram showing an example of a configuration of a main part of a radar system to which the learning data generation device according to the first embodiment is applied.
  • FIG. 2 is a block diagram showing an example of the configuration of a main part of the learning data generation device according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a 3D model of an object in which the 3D model information of the object is visualized by computer graphics.
  • FIG. 4 is a diagram showing an example of an object simulated radar image.
  • FIG. 5 is a diagram showing an example of a background image.
  • FIG. 6 is a diagram showing an example of a radar image.
  • FIG. 7 is a diagram showing an example of a synthetic pseudo radar image.
  • FIG. 8A and 8B are diagrams showing an example of the hardware configuration of the main part of the learning data generation device 100 according to the first embodiment.
  • FIG. 9 is a flowchart illustrating an example of processing of the learning data generation device according to the first embodiment.
  • FIG. 10 is a flowchart illustrating an example of processing of the image synthesizing unit according to the first embodiment.
  • FIG. 11A is a part of a flowchart illustrating an example of processing of the image synthesizing unit according to the first embodiment.
  • FIG. 11B is the rest of the flowchart illustrating an example of processing of the image compositing unit according to the first embodiment.
  • FIG. 12 is a block diagram showing an example of the configuration of the main part of the learning device according to the modified example of the first embodiment.
  • FIG. 13 is a flowchart illustrating an example of processing of the learning device according to the modified example of the first embodiment.
  • FIG. 14 is a block diagram showing an example of the configuration of a main part of the inference device according to another modification of the first embodiment.
  • FIG. 15 is a flowchart illustrating an example of processing of the inference device according to another modification of the first embodiment.
  • FIG. 16 is a block diagram showing an example of a configuration of a main part of a radar system to which the learning data generation device according to the second embodiment is applied.
  • FIG. 17 is a block diagram showing an example of the configuration of a main part of the learning data generation device according to the second embodiment.
  • FIG. 18 is a diagram showing an example of a shadow pseudo radar image.
  • FIG. 19 is a diagram showing an example of a synthetic pseudo radar image.
  • FIG. 20 is a diagram showing an example of a noise image.
  • FIG. 21 is a flowchart illustrating an example of processing of the learning data generation device according to the second embodiment.
  • FIG. 22A is a part of a flowchart illustrating an example of processing of the image synthesizing unit according to the second embodiment.
  • FIG. 22B is the rest of the flowchart illustrating an example of processing of the image compositing unit according to the second embodiment.
  • FIG. 23A is a part of a flowchart illustrating an example of processing of the image synthesizing unit according to the second embodiment.
  • FIG. 23B is the rest of the flowchart illustrating an example of processing of the image compositing unit according to the second embodiment.
  • FIG. 24 is a block diagram showing an example of the configuration of a main part of the radar system to which the learning data generation device according to the third embodiment is applied.
  • FIG. 25 is a block diagram showing an example of the configuration of the main part of the learning data generation device according to the third embodiment.
  • FIG. 26 is a flowchart illustrating an example of processing of the learning data generation device according to the third embodiment.
  • FIG. 1 is a block diagram showing an example of a configuration of a main part of a radar system 1 to which the learning data generation device 100 according to the first embodiment is applied.
  • the radar system 1 includes a learning data generation device 100, a radar device 10, a learning device 20, a reasoning device 30, a storage device 40, an input device 50, and an output device 60.
  • the configuration including the learning data generation device 100, the learning device 20, and the storage device 40 operates as the learning system 2. Further, the configuration including the learning data generation device 100, the learning device 20, the inference device 30, and the storage device 40 operates as the inference system 3.
  • the storage device 40 is a device for storing electronic information having a storage medium such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • the storage device 40 is connected to the learning data generation device 100, the radar device 10, the learning device 20, the inference device 30, and the like via a wired communication means or a wireless communication means.
  • the radar device 10 emits a radar signal, receives the signal reflected by the emitted radar signal as a reflected radar signal, generates a radar image corresponding to the received reflected radar signal, and shows a radar image showing the generated radar image. Output information. Specifically, the radar device 10 outputs radar image information to the learning data generation device 100 or the storage device 40, and the inference device 30. The radar device 10 may output radar image information to the learning device 20 in addition to the learning data generation device 100 or the storage device 40 and the inference device 30.
  • each pixel value of the radar image indicated by the radar image information indicates the intensity of the reflected radar signal.
  • the radar image information may include phase information.
  • the intensity of the reflected radar signal is converted into a logarithmic scale and further converted into a logarithmic scale at each pixel value of the radar image indicated by the radar image information.
  • the intensity of the reflected radar signal of the above may be normalized with the maximum value set to 1 and the minimum value set to 0.
  • the radar image indicated by the radar image information normalized in this way is visible as a grayscale image having a maximum value of 1 and a minimum value of 0.
  • the radar image information output by the radar device 10 will be described assuming that each pixel value of the radar image indicated by the radar image information indicates the intensity of the reflected radar signal.
  • the learning data generation device 100 generates learning data used when performing machine learning for detecting or identifying an object reflected in a radar image, and outputs the generated learning data to the learning device 20 or the storage device 40. To do. The details of the learning data generation device 100 will be described later.
  • the learning device 20 acquires learning data, and uses the acquired learning data to perform machine learning for detecting or identifying an object reflected in a radar image indicated by radar image information output by the radar device 10.
  • the learning device 20 acquires the learning data output by the learning data generation device 100 for performing machine learning from the learning data generation device 100 or the storage device 40.
  • the learning device 20 uses radar image information output by the radar device 10 as learning data. It may be acquired from the device 10 or the storage device 40.
  • the learning device 20 outputs the learned model information indicating the learned model corresponding to the learning result by machine learning for detecting or identifying the object reflected in the radar image to the inference device 30 or the storage device 40.
  • the trained model indicated by the trained model information output by the learning device 20 is a neural network or the like having an input layer, an intermediate layer, an output layer, and the like.
  • the inference device 30 acquires the radar image information output by the radar device 10 from the radar device 10 or the storage device 40, and acquires the learned model information output by the learning device 20 from the learning device 20 or the storage device 40.
  • the inference device 30 detects or identifies an object reflected in the radar image indicated by the acquired radar image information by using the learned model indicated by the acquired learned model information.
  • the inference device 30 outputs the detection result of detecting the object, the result information indicating the identified identification result, and the like to the output device 60.
  • the input device 50 is, for example, an operation input device such as a keyboard or a mouse.
  • the input device 50 receives an operation from the user and outputs an operation signal corresponding to the user's operation to the learning data generation device 100 via the wired communication means or the wireless communication means.
  • the output device 60 is, for example, a display output device such as a display.
  • the output device 60 is not limited to the display output device, and may be a lighting device such as a lamp, an audio output device such as a speaker, or the like.
  • the output device 60 acquires the result information output by the inference device 30, and outputs the acquired result information in a state recognizable by the user by light, voice, or the like.
  • FIG. 2 is a block diagram showing an example of the configuration of a main part of the learning data generation device 100 according to the first embodiment.
  • the learning data generation device 100 includes an operation reception unit 101, a 3D model acquisition unit 110, an object image generation unit 120, a radar image acquisition unit 130, a background image acquisition unit 140, an image composition unit 180, and a learning data generation unit 190. And a learning data output unit 199 is provided.
  • the learning data generation device 100 may include a position determination unit 160, a size determination unit 170, and an embedded coordinate acquisition unit 181. As shown in FIG. 2, the learning data generation device 100 according to the first embodiment will be described as including the position-fixing unit 160 and the size-determining unit 170.
  • the operation reception unit 101 receives the operation signal output by the input device 50, converts the received operation signal into the operation information corresponding to the operation signal, and converts the converted operation information into the 3D model acquisition unit 110 and the object image generation unit. It is output to 120, the background image acquisition unit 140, the image composition unit 180, or the like.
  • the 3D model acquisition unit 110 acquires the object 3D model information indicating the 3D model of the object.
  • the 3D model acquisition unit 110 acquires the object 3D model information by reading the object 3D model information from the storage device 40, for example.
  • the 3D model acquisition unit 110 may hold the object 3D model information in advance. Further, the 3D model acquisition unit 110 may acquire the object 3D model information based on the operation information output by the operation reception unit 101, for example. More specifically, for example, the user inputs the object 3D model information by operating the input device 50.
  • the operation reception unit 101 receives an operation signal indicating the object 3D model information, converts it into operation information corresponding to the operation signal, and outputs the changed operation information to the 3D model acquisition unit 110.
  • the 3D model acquisition unit 110 acquires the object 3D model information by acquiring the operation information from the operation reception unit 101.
  • the object 3D model information acquired by the 3D model acquisition unit 110 is structural information or the like indicating the structure of the object such as the shape or size of the object.
  • the object 3D model information may include composition information indicating the composition of the object such as the material of the members constituting the object or the surface roughness.
  • FIG. 3 is a diagram showing an example of a 3D model of an object in which the object 3D model information acquired by the 3D model acquisition unit 110 is visualized by computer graphics.
  • the object is an aircraft.
  • the object is not limited to an aircraft, and may be an object such as an automobile or a ship.
  • the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110, and is referred to as a simulated radar image of the object (hereinafter referred to as “object simulated radar image”). ) Is generated. Specifically, for example, the object image generation unit 120 indicates the direction of radar irradiation on the object, the direction of the object with respect to the irradiation direction of the radar, and the object with respect to the object when the object is irradiated with radar. Acquire parameters such as the distance between the radar irradiation emission position and the object, or the radar scattering rate between the radar irradiation emission position and the object with respect to the object.
  • the object image generation unit 120 acquires, for example, the parameter based on the operation information output by the operation reception unit 101. More specifically, for example, the user inputs the parameter by operating the input device 50.
  • the operation reception unit 101 receives an operation signal indicating the parameter, converts it into operation information corresponding to the operation signal, and outputs the changed operation information to the object image generation unit 120.
  • the object image generation unit 120 acquires the parameter by acquiring the operation information from the operation reception unit 101.
  • the object image generation unit 120 may hold the parameter in advance, or may acquire the parameter by reading it from the storage device 40.
  • the object image generation unit 120 simulates radar irradiation on the object based on the acquired parameters and the object 3D model information acquired by the 3D model acquisition unit 110, and generates an object simulated radar image.
  • FIG. 4 is an example of an object simulated radar image generated by the object image generation unit 120 by simulating radar irradiation on the object using the object 3D model information showing the 3D model of the object shown in FIG. It is a figure which shows.
  • the intensity of the reflected radar signal of the simulated radar irradiation is converted to a logarithmic scale, and the intensity of the reflected radar signal after conversion to the logarithmic scale is set to 0.
  • the simulated object radar image is visualized as a grayscale image.
  • the radar image acquisition unit 130 acquires radar image information indicating a radar image generated by the radar irradiation of the radar device 10. Specifically, the radar image acquisition unit 130 acquires the radar image information output by the radar device 10 from the radar device 10 or the storage device 40.
  • the background image acquisition unit 140 acquires a background image using the radar image information acquired by the radar image acquisition unit 130. Specifically, for example, the background image acquisition unit 140 acquires a laser image in which an object such as an object is not shown in the radar image indicated by the radar image information acquired by the radar image acquisition unit 130 as a background image.
  • FIG. 5 is a diagram showing an example of a background image acquired by the background image acquisition unit 140. In FIG. 5, at each pixel value of the background image, the intensity of the reflected radar signal is converted to a logarithmic scale, and the intensity of the reflected radar signal after conversion to the logarithmic scale is set to a value between 0 and 1.
  • the background image is visualized as a grayscale image by normalizing it so as to be.
  • the radar image acquisition unit 130 acquires radar image information indicating a radar image obtained by capturing a wide area
  • the background image acquisition unit 140 acquires a radar image indicating a wide area indicated by the radar image information acquired by the radar image acquisition unit 130.
  • a part of the image area of the image may be cut out, and the cut out image area may be acquired as a background image.
  • the background image acquisition unit 140 cuts out an image region in which an object such as an object is not captured from the radar image obtained by capturing a wide area indicated by the radar image information acquired by the radar image acquisition unit 130. , Acquire the cut out image area as a background image.
  • the background image acquisition unit 140 determines, for example, an image area to be cut out from a radar image captured over a wide area indicated by the radar image information acquired by the radar image acquisition unit 130, based on the operation information output by the operation reception unit 101. .. More specifically, for example, the user inputs an image area to be cut out by operating the input device 50.
  • the operation reception unit 101 receives an operation signal indicating the image area to be cut out, converts it into operation information corresponding to the operation signal, and outputs the changed operation information to the background image acquisition unit 140.
  • the background image acquisition unit 140 determines the image area to be cut out by acquiring the operation information from the operation reception unit 101.
  • FIG. 6 is a diagram showing an example of a radar image obtained by capturing a wide area indicated by radar image information acquired by the radar image acquisition unit 130. Note that FIG. 6 shows that at each pixel value of the radar image, the intensity of the reflected radar signal is converted to a logarithmic scale, and the intensity of the reflected radar signal after conversion to the logarithmic scale is set to a value between 0 and 1.
  • the radar image is visualized as a grayscale image by normalizing it so as to be.
  • the background image acquisition unit 140 cuts out an image area in which an object such as an object as shown in FIG. 5 does not appear in the radar image captured over a wide area shown in FIG. 6, and acquires the cut out image area as a background image. ..
  • the image synthesizing unit 180 attaches the object simulated radar image generated by the object image generating unit 120 to a predetermined position in the background image acquired by the background image acquiring unit 140, and combines the background image and the object simulated radar image. Generate a composite pseudo-radar image that is a composite of.
  • FIG. 7 is a diagram showing an example of a composite pseudo radar image generated by the image synthesis unit 180. In FIG. 7, the intensity of the reflected radar signal and the intensity of the reflected radar signal of the simulated radar irradiation are converted into a logarithmic scale at each pixel value of the composite pseudo radar image, and further, the reflection after conversion to the logarithmic scale.
  • the composite pseudo-radar image is grayscaled by normalizing the intensity of the radar signal and the intensity of the reflected radar signal converted to a logarithmic scale in the simulated radar irradiation so that the value is between 0 and 1. It is visualized as an image.
  • the image synthesizing unit 180 acquires a position in the background image to which the object simulated radar image is pasted, for example, based on the operation information output by the operation receiving unit 101. More specifically, for example, the user inputs a position in the background image to which the object simulated radar image is pasted by operating the input device 50.
  • the operation reception unit 101 receives an operation signal indicating a position in the background image to which the object simulated radar image is pasted, converts it into operation information corresponding to the operation signal, and outputs the changed operation information to the image synthesis unit 180. ..
  • the image synthesizing unit 180 acquires the position in the background image to which the object simulated radar image is pasted by acquiring the operation information from the operation receiving unit 101.
  • the position in the background image to which the object simulation radar image is attached may be determined by the position determination unit 160.
  • the position determination unit 160 is indicated by the object 3D model information when the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110. Based on the 3D model of the object and the irradiation direction of the radar irradiation on the simulated object, the position where the object simulated radar image generated by the object image generation unit 120 is attached to the background image is determined.
  • the image synthesizing unit 180 changes the object simulation radar image generated by the object image generation unit 120 to a predetermined size, and obtains the background image acquisition unit 140 for the object simulation radar image after the size is changed. You may generate a composite pseudo-radar image in which the background image and the object simulated radar image are combined by pasting it at a predetermined position in the background image acquired by For example, when the learning data generation device 100 includes the size determination unit 170, the size of the object simulation radar image after the change is determined by the size determination unit 170.
  • the size determination unit 170 indicates the object 3D model information when the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • the learning data generation unit 190 generates learning data in which the synthetic simulated radar image information indicating the synthetic pseudo radar image generated by the image synthesis unit 180 and the class information indicating the type of the object are associated with each other. In the learning data generation unit 190, even if the image synthesis unit 180 generates learning data in which the position where the object simulation radar image is pasted on the background image and the class information indicating the type of the object are associated with each other. good. More specifically, for example, in the learning data generation unit 190, when the learning data generation device 100 includes the embedded coordinate acquisition unit 181, the image synthesis unit 180 sets the pixel value of the background image to the pixel of the object simulated radar image.
  • Information indicating the pixel coordinates in the background image replaced with the value is acquired by the embedded coordinate acquisition unit 181 and the acquired information indicating the image is associated with the class information indicating the type of the object to obtain the learning data. It may be generated.
  • the embedded coordinate acquisition unit 181 acquires information indicating the coordinates of the pixels in the background image in which the image composition unit 180 replaces the pixel values of the background image with the pixel values of the object simulated radar image from the image composition unit 180.
  • the embedded coordinate acquisition unit 181 outputs the acquired information to the learning data generation unit 190.
  • the learning data output unit 199 outputs the learning data generated by the learning data generation unit 190.
  • FIGS. 8A and 8B are diagrams showing an example of the hardware configuration of the main part of the learning data generation device 100 according to the first embodiment.
  • the learning data generation device 100 is composed of a computer, and the computer has a processor 201 and a memory 202. In the memory 202, the computer is operated. Reception unit 101, 3D model acquisition unit 110, object image generation unit 120, radar image acquisition unit 130, background image acquisition unit 140, position determination unit 160, size determination unit 170, image composition. A program for functioning as a unit 180, an embedded coordinate acquisition unit 181, a learning data generation unit 190, and a learning data output unit 199 is stored.
  • the processor 201 When the processor 201 reads and executes the program stored in the memory 202, the operation reception unit 101, the 3D model acquisition unit 110, the object image generation unit 120, the radar image acquisition unit 130, the background image acquisition unit 140, and the position A determination unit 160, a size determination unit 170, an image composition unit 180, an embedded coordinate acquisition unit 181, a learning data generation unit 190, and a learning data output unit 199 are realized.
  • the learning data generation device 100 may be configured by the processing circuit 203.
  • the functions of the acquisition unit 181, the learning data generation unit 190, and the learning data output unit 199 may be realized by the processing circuit 203.
  • the learning data generation device 100 may be composed of a processor 201, a memory 202, and a processing circuit 203 (not shown).
  • a part of the functions of the acquisition unit 181, the learning data generation unit 190, and the learning data output unit 199 is realized by the processor 201 and the memory 202, and the remaining functions are realized by the processing circuit 203. It may be.
  • the processor 201 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • microprocessor a microcontroller
  • DSP Digital Signal Processor
  • the memory 202 uses, for example, a semiconductor memory or a magnetic disk. More specifically, the memory 202 includes a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Memory), and an EEPROM (Electrically Memory). It uses an HDD or the like.
  • the processing circuit 203 includes, for example, an ASIC (Application Special Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field-Programmable Gate Array), a SFPA (Field-Programmable Gate Array), or a System-System Is used.
  • ASIC Application Special Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • SFPA Field-Programmable Gate Array
  • System-System Is used.
  • FIG. 9 is a flowchart illustrating an example of processing of the learning data generation device 100 according to the first embodiment.
  • the learning data generation device 100 for example, repeatedly executes the processing of the flowchart.
  • step ST901 the 3D model acquisition unit 110 acquires the object 3D model information.
  • step ST902 the object image generation unit 120 generates an object simulated radar image.
  • step ST903 the radar image acquisition unit 130 acquires radar image information.
  • step ST904 the background image acquisition unit 140 acquires a background image.
  • step ST905 the position determining unit 160 determines the position where the object simulated radar image is attached to the background image.
  • step ST906 the size determination unit 170 determines the size of the object simulated radar image to be attached to the background image.
  • step ST907 the image synthesizing unit 180 generates a composite pseudo-radar image.
  • step ST908 the embedded coordinate acquisition unit 181 acquires information indicating the coordinates of the pixels in the background image in which the image synthesis unit 180 replaces the pixel values of the background image with the pixel values of the object simulated radar image.
  • step ST909 the learning data generation unit 190 generates learning data.
  • step ST910 the learning data output unit 199 outputs the learning data.
  • the learning data generation device 100 After executing the process of step ST910, the learning data generation device 100 ends the process of the flowchart, returns to the process of step ST901, and repeatedly executes the process of the flowchart.
  • the processing of step ST901 precedes the processing of step ST902
  • the processing of step ST903 precedes the processing of step ST904
  • the processing from step ST901 to step ST904 precedes the processing of step ST905.
  • the order of processing from step ST901 to step ST904 is arbitrary.
  • the processing of step ST901 can be omitted.
  • the processing of step ST903 can be omitted.
  • a method in which the image synthesizing unit 180 synthesizes a background image and an object simulated radar image to generate a composite pseudo radar image will be described.
  • the first method in which the image synthesizing unit 180 generates a composite pseudo-radar image will be described.
  • a method of synthesizing a background image and an object simulated radar image in the image synthesizing unit 180 to generate a composite pseudo radar image will be described.
  • the image synthesizing unit 180 has, for example, a pixel value at a pixel position corresponding to each pixel position of the object simulated radar image and a background image for synthesizing the object simulated radar image. By adding and, the background image and the object simulated radar image are combined to generate a composite pseudo radar image.
  • the object image generation unit 120 generates an object simulated radar image as a gray scale image normalized so that each pixel value of the object simulated radar image is a value between 0 and 1 and the like.
  • the background image acquisition unit 140 acquires the background image as a gray scale image normalized so that each pixel value of the background image is a value between 0 and 1, for example, the image composition unit 180 may obtain the background image. As shown below, the background image and the object simulated radar image may be combined to generate a composite pseudo radar image.
  • the image synthesizing unit 180 has a pixel position corresponding to each pixel value of the object simulated radar image and the position of each pixel of the object simulated radar image of the background image for synthesizing the object simulated radar image.
  • the first and second methods in which the image synthesizing unit 180 generates a composite pseudo-radar image are merely examples, and the image synthesizing unit 180 synthesizes a background image and an object simulated radar image to generate a composite pseudo-radar image.
  • the method of doing so is not limited to the first and second methods described above.
  • FIG. 10 is a flowchart illustrating an example of processing of the image synthesizing unit 180 according to the first embodiment. That is, FIG. 10 is a flowchart showing the process of step ST907 shown in FIG. The flowchart shown in FIG. 10 shows the operation of the image composition unit 180 in the first method in which the image composition unit 180 generates a composite pseudo radar image.
  • step ST1001 the image synthesizing unit 180 acquires an object simulated radar image.
  • step ST1002 the image synthesizing unit 180 acquires a background image.
  • step ST1003 the image synthesizing unit 180 acquires a position where the object simulated radar image is attached to the background image.
  • step ST1004 the image synthesizing unit 180 acquires a size for pasting the object simulated radar image on the background image.
  • step ST1005 the image synthesizing unit 180 changes the size of the object simulated radar image based on the size of pasting the object simulated radar image on the background image.
  • step ST1006 the image synthesizing unit 180 selects a pixel in the object simulated radar image and a pixel in the background image corresponding to the pixel.
  • step ST1007 the image synthesizing unit 180 adds the pixel values of the pixels in the selected object simulated radar image to the pixel values of the pixels in the selected background image.
  • step ST1008 the image synthesizing unit 180 determines whether or not all the pixels in the object simulated radar image have been selected. When it is determined in step ST1008 that the image synthesizing unit 180 has not selected all the pixels in the object simulated radar image, the image synthesizing unit 180 returns to the process of step ST1006, and the image synthesizing unit 180 returns to the process.
  • the processes from step ST1006 to step ST1008 are repeatedly executed until it is determined that all the pixels in the object simulated radar image have been selected.
  • step ST1008 When the image synthesizing unit 180 determines in step ST1008 that all the pixels in the object simulated radar image have been selected, the image synthesizing unit 180 ends the processing of the flowchart.
  • the order of processing from step ST1001 to step ST1004 is arbitrary.
  • the learning data generation device 100 transmits the object simulated radar image at a predetermined ratio by alpha blending or the like, and synthesizes the background image and the object simulated radar image. This may generate a composite pseudo-radar image.
  • the image synthesizing unit 180 when the image synthesizing unit 180 adds the pixel value of the pixel in the object simulated radar image to the pixel value of the pixel in the background image in the process of step ST1007, the image synthesizing unit 180 causes the image synthesizing unit 180 to For example, an arbitrary value between 0 and 1 may be multiplied by the pixel value of the pixel in the object simulated radar image, and the multiplied pixel value may be added to the pixel value of the pixel in the background image.
  • the synthetic pseudo-radar image generated in this way the area to which the object simulated radar image is pasted in the synthetic pseudo-radar image becomes unclear, and the learning data generation device 100 is radar-irradiated by the radar device 10. It is possible to generate training data having a synthetic pseudo-radar image similar to the actual radar image generated by.
  • FIG. 11 is a flowchart illustrating an example of processing of the image synthesizing unit 180 according to the first embodiment. That is, FIG. 11 is a flowchart showing the process of step ST907 shown in FIG. The flowchart shown in FIG. 11 shows the operation of the image composition unit 180 in the second method in which the image composition unit 180 generates a composite pseudo radar image. Note that FIG. 11A shows a part of the processing flow of the image synthesizing unit 180 according to the first embodiment, and FIG. 11B shows the rest of the processing flow of the image synthesizing unit 180 according to the first embodiment. ..
  • step ST1101 the image synthesizing unit 180 acquires an object simulated radar image.
  • step ST1102 the image synthesizing unit 180 acquires a background image.
  • step ST1103 the image synthesizing unit 180 acquires a position where the object simulated radar image is attached to the background image.
  • step ST1104 the image synthesizing unit 180 acquires a size for pasting the object simulated radar image on the background image.
  • step ST1105 the image synthesizing unit 180 changes the size of the object simulated radar image based on the size of pasting the object simulated radar image on the background image.
  • step ST1106 the image synthesizing unit 180 selects a pixel in the object simulated radar image and a pixel in the background image corresponding to the pixel.
  • step ST1107 the image synthesizing unit 180 determines whether or not the pixel value of the pixel in the selected object simulated radar image is larger than the pixel value of the pixel in the selected background image.
  • the image synthesizing unit 180 determines in step ST1107 that the pixel value of the pixel in the selected object simulated radar image is larger than the pixel value of the pixel in the selected background image.
  • the image synthesizing unit 180 in step ST1108. Replaces the pixel values of the pixels in the selected background image with the pixel values of the pixels in the selected object simulated radar image.
  • step ST1108 in step ST1109, the image synthesizing unit 180 determines whether or not all the pixels in the object simulated radar image have been selected.
  • step ST1107 When the image synthesizing unit 180 determines in step ST1107 that the pixel value of the pixel in the selected object simulated radar image is not larger than the pixel value of the pixel in the selected background image, the image synthesizing unit 180 determines in step ST1109. Execute the processing of.
  • step ST1109 When the image synthesizing unit 180 determines in step ST1109 that all the pixels in the object simulated radar image have not been selected, the image synthesizing unit 180 returns to the process of step ST1106, and the image synthesizing unit 180 returns to the process.
  • the processes from step ST1106 to step ST1109 are repeatedly executed until it is determined that all the pixels in the object simulated radar image have been selected.
  • the image synthesizing unit 180 determines in step ST1109 that all the pixels in the object simulated radar image have been selected, the image synthesizing unit 180 ends the processing of the flowchart.
  • step ST1101 to step ST1104 is arbitrary.
  • the learning data generation device 100 transmits the object simulated radar image at a predetermined ratio by alpha blending or the like, and synthesizes the background image and the object simulated radar image. This may generate a composite pseudo-radar image.
  • the image synthesizing unit 180 replaces the pixel value of the pixel in the background image with the pixel value of the pixel in the object simulated radar image in the process of step ST1108, the image synthesizing unit 180 uses the object.
  • the pixel value of the pixel in the simulated radar image may be multiplied by an arbitrary value between 0 and 1, and the pixel value after the multiplication may replace the pixel value of the pixel in the background image.
  • the area to which the object simulated radar image is pasted in the synthetic pseudo-radar image becomes unclear, and the learning data generation device 100 is radar-irradiated by the radar device 10. It is possible to generate training data having a synthetic pseudo-radar image similar to the actual radar image generated by.
  • the learning data generation device 100 uses the 3D model acquisition unit 110 that acquires the object 3D model information indicating the 3D model of the object and the object 3D model information acquired by the 3D model acquisition unit 110.
  • the object image generation unit 120 that simulates the radar irradiation on the object and generates the object simulated radar image that is the simulated radar image of the object, and the radar image generated by the radar irradiation by the radar device 10 are shown.
  • the background image acquisition unit 140 that acquires a background image using the radar image information acquired by the radar image acquisition unit 130, and the background image acquired by the background image acquisition unit 140.
  • An image synthesis unit 180 that generates a composite pseudo-radar image by pasting an object simulation radar image generated by the object image generation unit 120 at a predetermined position and synthesizing a background image and an object simulation radar image, and an image.
  • a learning data generation unit 190 that generates learning data in which a synthetic simulated radar image information indicating a synthetic pseudo radar image generated by the synthesis unit 180 and a class information indicating a type of an object are associated with each other, and a learning data generation unit 190.
  • a learning data output unit 199 that outputs the learning data generated by the unit 190 is provided. With such a configuration, the learning data generation device 100 can easily generate learning data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the learning data generation device 100 generates a background image using the radar image generated by the radar irradiation by the radar device 10, so that the background of the object is modeled in 3D. You don't have to. Further, since it is not necessary to generate a background image from a 3D model of the background of the object by numerical calculation, learning data can be generated in a short time.
  • the learning data generation device 100 indicates the position where the image synthesizing unit 180 attaches the object simulation radar image to the background image and the type of the object in the learning data generation unit 190. It is configured to generate learning data associated with class information. With such a configuration, the learning data generation device 100 can easily generate learning data with teacher data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the image synthesizing unit 180 provides information indicating the pixel coordinates in the background image in which the pixel values of the background image are replaced with the pixel values of the object simulated radar image.
  • the learning data generation unit 190 includes the embedded coordinate acquisition unit 181 to be acquired, and the learning data generation unit 190 associates the information indicating the pixel coordinates in the background image acquired by the embedded coordinate acquisition unit 181 with the class information indicating the type of the object. , Configured to generate training data. With such a configuration, the learning data generation device 100 can easily generate learning data with teacher data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • a background image of the object simulated radar image generated by the object image generation unit 120 based on the 3D model of the object indicated by the object 3D model information and the irradiation direction of the radar irradiation on the simulated object.
  • a position determining unit 160 for determining a position to be attached to is provided.
  • the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • the size of the object simulated radar image generated by the object image generation unit 120 to be attached to the background image is determined.
  • a sizing unit 170 was provided.
  • the radar image acquisition unit 130 acquires radar image information indicating a radar image captured over a wide area
  • the background image acquisition unit 140 has the radar image acquisition unit 130. A part of the image area of the radar image captured over a wide area indicated by the acquired radar image information is cut out, and the cut out image area is acquired as a background image.
  • the learning data generation device 100 can easily acquire a background image.
  • each pixel value of the radar image indicated by the radar image information indicates the intensity of the reflected radar signal
  • the radar image acquisition unit 130 describes the radar image information.
  • each pixel value of the radar image indicated by the radar image information generated by the radar device 10 has been described as acquiring the radar image information indicating the intensity of the reflected radar signal
  • the radar image information acquired by the radar image acquisition unit 130 is In the radar image shown, the intensity of the reflected radar signal is converted to the logarithmic scale at each pixel value of the radar image indicated by the radar image information, and the intensity of the reflected radar signal after being converted to the logarithmic scale is from 0.
  • the radar image may be grayscaled by normalizing it so that the value is between 1 and the like.
  • the object image generation unit 120 When the radar image indicated by the radar image information acquired by the radar image acquisition unit 130 is grayscaled, the object image generation unit 120 has a pixel value of 0 to 1 in each pixel value of the object simulation radar image. An object simulated radar image is generated as a grayscale image normalized so that the values are between. Further, the image synthesizing unit 180 processes the flowchart shown in FIG.
  • FIG. 12 is a block diagram showing an example of the configuration of the main part of the learning device 20a according to the modified example of the first embodiment.
  • the learning device 20a according to the modified example of the first embodiment has a function of generating learning data included in the learning data generation device 100 according to the first embodiment, and the generated learning data is used to generate a radar image. This is machine learning for detecting or identifying an object reflected in the image.
  • the learning device 20a includes an operation reception unit 101, a 3D model acquisition unit 110, an object image generation unit 120, a radar image acquisition unit 130, a background image acquisition unit 140, an image composition unit 180, and learning data. It includes a generation unit 190, a learning unit 21, a trained model generation unit 22, and a trained model output unit 23.
  • the learning device 20a may include a position-fixing unit 160, a size-determining unit 170, and an embedded coordinate acquisition unit 181.
  • the learning device 20a including the position determination unit 160 and the size determination unit 170 is shown.
  • the same configuration as the learning data generation device 100 according to the first embodiment is designated by the same reference numerals and duplicated description will be omitted. That is, the description of the configuration of FIG. 12 having the same reference numerals as those shown in FIG. 2 will be omitted.
  • the learning unit 21 performs machine learning using the learning data generated by the learning data generation unit 190. Specifically, for example, the learning unit 21 uses the learning data generated by the learning data generation unit 190 to perform supervised learning such as deep learning for detecting or identifying an object reflected in a radar image. Do. Since supervised learning for detecting or identifying an object by image recognition is known, the description thereof will be omitted.
  • the trained model generation unit 22 generates trained model information indicating a trained model corresponding to the learning result by machine learning performed by the learning unit 21.
  • the trained model indicated by the trained model information generated by the trained model generation unit 22 is a neural network or the like having an input layer, an intermediate layer, an output layer, and the like.
  • the trained model generated by the trained model information is updated by the machine learning performed by the learning unit 21 to obtain the learning result. Trained model information indicating the corresponding trained model may be generated.
  • the trained model output unit 23 outputs the trained model information generated by the trained model generation unit 22. Specifically, for example, the trained model output unit 23 outputs the trained model information generated by the trained model generation unit 22 to the inference device 30 or the storage device 40 shown in FIG.
  • the operation reception unit 101, 3D model acquisition unit 110, object image generation unit 120, radar image acquisition unit 130, background image acquisition unit 140, and position determination unit 160 in the learning device 20a according to the modified example of the first embodiment.
  • Each function of the size determination unit 170, the image composition unit 180, the embedded coordinate acquisition unit 181, the learning data generation unit 190, the learning unit 21, the trained model generation unit 22, and the trained model output unit 23 is the first embodiment. It may be realized by the processor 201 and the memory 202 in the hardware configuration shown in FIGS. 8A and 8B, or may be realized by the processing circuit 203.
  • FIG. 13 is a flowchart illustrating an example of processing of the learning device 20a according to the modified example of the first embodiment.
  • the learning device 20a for example, repeatedly executes the process of the flowchart.
  • the same operation as the operation of the learning data generation device 100 according to the first embodiment shown in FIG. 9 is duplicated with the same reference numerals.
  • the explanation given is omitted. That is, the description of the process of FIG. 13 having the same reference numerals as those shown in FIG. 9 will be omitted.
  • the learning device 20a executes the processes from step ST901 to step ST909.
  • the learning unit 21 performs machine learning.
  • the trained model generation unit 22 generates the trained model information.
  • the trained model output unit 23 outputs the trained model information.
  • the learning device 20a ends the process of the flowchart, returns to the process of step ST901, and repeatedly executes the process of the flowchart.
  • the learning device 20a may repeatedly execute the processes from step ST901 to step ST909 before executing the process of step ST1301.
  • the learning device 20a uses the object 3D model acquisition unit 110 that acquires the object 3D model information indicating the 3D model of the object and the object 3D model information acquired by the 3D model acquisition unit 110.
  • Radar image information indicating an object image generation unit 120 that simulates radar irradiation on an object and generates an object simulated radar image that is a simulated radar image of the object, and a radar image generated by radar irradiation by the radar device 10.
  • An image synthesis unit 180 and an image composition unit 180 that generate a composite pseudo-radar image by pasting an object simulation radar image generated by the object image generation unit 120 and synthesizing a background image and an object simulation radar image.
  • the learning data generation unit 190 and the learning data generation unit 190 generate learning data in which the synthetic simulated radar image information indicating the synthetic pseudo radar image generated by is associated with the class information indicating the type of the object.
  • a learning unit 21 that performs machine learning using the generated learning data, and a trained model generation unit 22 that generates trained model information indicating a trained model corresponding to the learning result by machine learning performed by the learning unit 21.
  • a trained model output unit 23 that outputs the trained model information generated by the trained model generation unit 22 is provided.
  • the learning device 20a can easily generate learning data used for machine learning to detect or identify an object to be captured in the radar image, so that the object to be captured in the radar image can be generated.
  • a trained model that can be detected or identified with high accuracy can be generated.
  • FIG. 14 is a block diagram showing an example of the configuration of the main part of the inference device 30a according to another modification of the first embodiment.
  • the inference device 30a according to another modification of the first embodiment has a function of generating learning data and learned model information included in the learning device 20a according to the modification of the first embodiment, and has been generated.
  • the model information is used to detect or identify an object reflected in the acquired radar image.
  • the inference device 30a includes an operation reception unit 101, a 3D model acquisition unit 110, an object image generation unit 120, a radar image acquisition unit 130, a background image acquisition unit 140, an image composition unit 180, and learning data. It includes a generation unit 190, a learning unit 21, a learned model generation unit 22, an inference target radar image acquisition unit 31, an inference unit 32, and an inference result output unit 33.
  • the inference device 30a may include a position determination unit 160, a size determination unit 170, and an embedded coordinate acquisition unit 181 in addition to the above-described configuration.
  • the inference device 30a including the position determination unit 160 and the size determination unit 170 is shown.
  • the same configuration as the learning device 20a according to the modification of the first embodiment is designated by the same reference numerals and duplicated description will be omitted. That is, the description of the configuration of FIG. 14 having the same reference numerals as those shown in FIG. 12 will be omitted.
  • the inference target radar image acquisition unit 31 acquires inference target radar image information indicating a radar image that is an inference target generated by radar irradiation by the radar device 10.
  • the inference unit 32 uses the trained model indicated by the trained model information generated by the trained model generation unit 22 to display an object in the radar image indicated by the inference target radar image information acquired by the inference target radar image acquisition unit 31. Infer if the image exists.
  • the inference result output unit 33 outputs inference result information indicating the inference result inferred by the inference unit 32. Specifically, for example, the inference result output unit 33 outputs the academic inference result information to the output device 60 shown in FIG.
  • the operation reception unit 101, 3D model acquisition unit 110, object image generation unit 120, radar image acquisition unit 130, background image acquisition unit 140, and position determination unit in the inference device 30a according to another modification of the first embodiment. 160, size determination unit 170, image composition unit 180, embedded coordinate acquisition unit 181, learning data generation unit 190, learning unit 21, learned model generation unit 22, inference target radar image acquisition unit 31, inference unit 32, and inference.
  • Each function of the result output unit 33 may be realized by the processor 201 and the memory 202 in the hardware configuration shown in FIGS. 8A and 8B in the first embodiment, or by the processing circuit 203. It may be what is done.
  • FIG. 15 is a flowchart illustrating an example of processing of the inference device 30a according to another modification of the first embodiment.
  • the same reference numerals are given to the same operations as the operation of the learning device 20a according to the modification of the first embodiment shown in FIG.
  • the duplicate explanation will be omitted. That is, the description of the process of FIG. 15 having the same reference numerals as those shown in FIG. 13 will be omitted.
  • the inference device 30a executes the processes from step ST901 to step ST909. After step ST909, the inference device 30a executes the processes from step ST1301 to step ST1302.
  • step ST1302 in step ST1501, the inference target radar image acquisition unit 31 acquires the inference target radar image information.
  • the inference unit 32 infers whether or not an image of the object exists in the radar image indicated by the inference target radar image information.
  • step ST1503 the inference result output unit 33 outputs the inference result information.
  • the inference device 30a ends the process of the flowchart.
  • the inference device 30a may repeatedly execute the processes from step ST901 to step ST909 before executing the process of step ST1301. Further, the inference device 30a may repeatedly execute the processes from step ST1301 to step ST1302 before executing the process of step ST1501.
  • the inference device 30a uses the 3D model acquisition unit 110 that acquires the object 3D model information indicating the 3D model of the object and the object 3D model information acquired by the 3D model acquisition unit 110.
  • Radar image information indicating an object image generation unit 120 that simulates radar irradiation on an object and generates an object simulated radar image that is a simulated radar image of the object, and a radar image generated by radar irradiation by the radar device 10.
  • An image synthesis unit 180 and an image composition unit 180 that generate a composite pseudo-radar image by pasting an object simulation radar image generated by the object image generation unit 120 and synthesizing a background image and an object simulation radar image.
  • the learning data generation unit 190 and the learning data generation unit 190 generate learning data in which the synthetic simulated radar image information indicating the synthetic pseudo radar image generated by is associated with the class information indicating the type of the object.
  • a learning unit 21 that performs machine learning using the generated learning data, and a trained model generation unit 22 that generates trained model information indicating a trained model corresponding to the learning result by machine learning performed by the learning unit 21.
  • the inference target radar image acquisition unit 31 that acquires the inference target radar image information indicating the inference target radar image that is the inference target radar image generated by the radar irradiation of the radar device 10, and the trained model generated by the trained model generation unit 22.
  • the inference unit 32 and the inference unit 32 infer whether or not an image of the object exists in the radar image indicated by the inference target radar image information acquired by the inference target radar image acquisition unit 31. It includes an inference result output unit 33 that outputs inference result information indicating the inferred inference result.
  • the inference device 30a can easily generate learning data used for machine learning to detect or identify an object reflected in a radar image, and use the generated learning data to generate a radar image. Since it is possible to generate a trained model that detects or identifies the object reflected in the radar image with high accuracy, the object reflected in the radar image can be detected or identified with high accuracy.
  • FIG. 16 is a block diagram showing an example of the configuration of a main part of the radar system 1a to which the learning data generation device 100a according to the second embodiment is applied.
  • the radar system 1a includes a learning data generation device 100a, a radar device 10, a learning device 20, a reasoning device 30, a storage device 40, an input device 50, and an output device 60.
  • the learning data generation device 100 in the radar system 1 according to the first embodiment is changed to the learning data generation device 100a.
  • the configuration including the learning data generation device 100a, the learning device 20, and the storage device 40 operates as the learning system 2a.
  • the configuration including the learning data generation device 100a, the learning device 20, the inference device 30, and the storage device 40 operates as the inference system 3a.
  • the same reference numerals are given to the same configurations as the radar system 1 according to the first embodiment, and duplicate description will be omitted. That is, the description of the configuration of FIG. 16 having the same reference numerals as those shown in FIG. 1 will be omitted.
  • FIG. 17 is a block diagram showing an example of the configuration of the main part of the learning data generation device 100a according to the second embodiment.
  • the learning data generation device 100a includes an operation reception unit 101, a 3D model acquisition unit 110, an object image generation unit 120, a radar image acquisition unit 130, a background image acquisition unit 140, a shadow image generation unit 150, an image composition unit 180a, and learning.
  • Data generation unit 190 and learning data output unit 199 are provided.
  • the learning data generation device 100a may include a noise image acquisition unit 151, a position determination unit 160a, a size determination unit 170a, and an embedded coordinate acquisition unit 181a.
  • the learning data generation device 100a according to the second embodiment will be described as including the noise image acquisition unit 151, the position determination unit 160a, and the size determination unit 170a.
  • a shadow image generation unit 150 and a noise image acquisition unit 151 are added to the configuration of the learning data generation device 100 according to the first embodiment shown in FIG.
  • the image synthesis unit 180, the position determination unit 160, and the size determination unit 170 in the learning data generation device 100 according to the first embodiment are changed to the image composition unit 180a, the position determination unit 160a, and the size determination unit 170a. ..
  • the same configuration as the learning data generation device 100 according to the first embodiment is designated by the same reference numerals and duplicated description will be omitted. That is, the description of the configuration of FIG. 17 having the same reference numerals as those shown in FIG. 2 will be omitted.
  • the shadow image generation unit 150 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110, and the 3D model of the object indicated by the object 3D model information and the simulated object.
  • a region to be a radar shadow is calculated based on the irradiation direction of radar irradiation with respect to the above, and a pseudo radar image (hereinafter referred to as "shadow pseudo radar image") showing the calculated region to be a radar shadow is generated.
  • the shadow image generation unit 150 calculates a region to be a radar shadow in the shadow pseudo-radar image based on the following equations (1) and (2).
  • X 0 X + Z ⁇ tan ⁇ ⁇ ⁇ ⁇ Equation (1)
  • Y 0 Y ⁇ ⁇ ⁇ Equation (2)
  • (X 0 , Y 0 ) is an arbitrary coordinate that becomes a radar shadow in the shadow pseudo radar image.
  • (X, Y, Z) is a position on the surface of the 3D model of the object indicated by the 3D model information of the object in the XYZ coordinate system whose origin is the position where the radar signal is output in the simulated radar irradiation.
  • ⁇ is an angle formed by the Z axis and the direction from the origin in the XYZ coordinate system toward the position on the 3D model surface of the object indicated by (X, Y, Z). That is, ⁇ is the irradiation angle of the radar signal in the simulated radar irradiation at the position on the surface of the 3D model of the object indicated by (X, Y, Z).
  • the shadow image generation unit 150 determines, for example, a value of an arbitrary coordinate that becomes a radar shadow in the shadow pseudo radar image indicated by (X 0 , Y 0 ), that is, a pixel value of a pixel that becomes a radar shadow in the shadow pseudo radar image.
  • a rectangular image in which a predetermined value such as 1, 1 is used, and a value of any coordinate other than (X 0 , Y 0 ), that is, a pixel value of a pixel that does not become a radar shadow in a shadow pseudo radar image is set to a value larger than the above-mentioned predetermined value.
  • the shadow pseudo-radar image shown in FIG. 18 is a binary monochrome normalized so that the pixel value of the pixel that becomes the radar shadow in the shadow pseudo-radar image is 0 and the pixel value of the pixel that does not become the radar shadow is 1. It is visualized as an image.
  • the image synthesizing unit 180a has the object simulation radar image generated by the object image generation unit 120 and the shadow simulation radar image generated by the shadow image generation unit 150 at predetermined positions in the background image acquired by the background image acquisition unit 140. And are pasted to generate a composite pseudo-radar image in which a background image, an object simulated radar image, and a shadow simulated radar image are combined.
  • FIG. 19 is a diagram showing an example of a composite pseudo radar image generated by the image synthesis unit 180a. Note that FIG. 19 visualizes the composite pseudo-radar image as a grayscale image by normalizing each pixel value of the composite pseudo-radar image so that the value is between 0 and 1.
  • the noise image acquisition unit 151 acquires a noise image for adding noise to the shadow pseudo-radar image generated by the shadow image generation unit 150.
  • the noise image acquisition unit 151 acquires, for example, by reading noise image information indicating a noise image from the storage device 40. Further, for example, in the noise image acquisition unit 151, the noise image acquisition unit 151 acquires the radar image indicated by the radar image information acquired by the radar image acquisition unit 130, or the background image acquisition unit 140 acquires the radar image acquisition unit 130.
  • a noise image showing noise such as Gaussian noise or Rayleigh noise may be generated and acquired by performing arithmetic processing based on the background image acquired using the radar image information obtained.
  • the noise image acquisition unit 151 may generate and acquire a noise image showing noise such as random noise by performing arithmetic processing by the noise image acquisition unit 151.
  • FIG. 20 is a diagram showing an example of a noise image acquired by the noise image acquisition unit 151. Note that FIG. 20 visualizes the noise image as a grayscale image by normalizing each pixel value of the noise image so that the value is between 0 and 1.
  • the image composition unit 180a attaches the shadow simulation radar image generated by the shadow image generation unit 150 to the background image acquired by the background image acquisition unit 140.
  • a composite pseudo radar image is generated by adding the noise indicated by the noise image acquired by the noise image acquisition unit 151 to the attached region and further pasting the object simulated radar image.
  • the image synthesizing unit 180a sets the pixel value of each pixel of the noise image corresponding to each pixel of the region to the pixel value of each pixel in the region where the shadow simulation radar image is pasted on the background image.
  • the noise indicated by the noise image is added to the area where the shadow simulation radar image is pasted on the background image.
  • the image synthesizing unit 180a acquires the position in the background image to which the object simulated radar image and the shadow simulated radar image are pasted, for example, based on the operation information output by the operation receiving unit 101. More specifically, for example, the user inputs the position in the background image to which the object simulated radar image and the shadow simulated radar image are pasted by operating the input device 50.
  • the operation reception unit 101 receives an operation signal indicating a position in the background image to which the object simulated radar image and the shadow simulated radar image are pasted, converts the operation signal into the operation information corresponding to the operation signal, and synthesizes the changed operation information. Output to unit 180a. By acquiring the operation information from the operation reception unit 101, the image synthesizing unit 180a acquires the position in the background image to which the object simulated radar image and the shadow simulated radar image are pasted.
  • the position where the object simulation radar image and the shadow simulation radar image are pasted may be determined by the position determination unit 160a.
  • the position determination unit 160a is indicated by the object 3D model information when the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • An object simulation radar image generated by the object image generation unit 120 and a shadow simulation radar generated by the shadow image generation unit 150 based on the 3D model of the object and the irradiation direction of radar irradiation on the simulated object. Determine where to paste the image onto the background image.
  • the image synthesizing unit 180a changes the object simulated radar image generated by the object image generating unit 120 and the shadow simulated radar image generated by the shadow image generating unit 150 to a predetermined size, and changes the size.
  • the object simulated radar image and the shadow simulated radar image are pasted at a predetermined position in the background image acquired by the background image acquisition unit 140, and the background image, the object simulated radar image, and the shadow simulated radar image are combined. You may generate the combined pseudo radar image.
  • the learning data generation device 100a includes the size determination unit 170a
  • the changed size of the object simulation radar image and the shadow simulation radar image is determined by the size determination unit 170a.
  • the size determination unit 170a is indicated by the object 3D model information when the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • the learning data generation unit 190 generates learning data in which the synthetic simulated radar image information indicating the synthetic pseudo radar image generated by the image synthesis unit 180a and the class information indicating the type of the object are associated with each other. In the learning data generation unit 190, even if the image synthesis unit 180a generates learning data in which the position where the object simulation radar image is pasted on the background image and the class information indicating the type of the object are associated with each other. good.
  • the embedded coordinate acquisition unit 181a acquires information indicating the coordinates of the pixels in the background image in which the image composition unit 180a replaces the pixel values of the background image with the pixel values of the object simulated radar image from the image composition unit 180a.
  • the embedded coordinate acquisition unit 181a outputs the acquired information to the learning data generation unit 190.
  • the image synthesis unit 180a replaces the pixel value of the background image with the pixel value of the object simulated radar image.
  • Data for learning may be generated by associating the coordinates of the pixels in the above with the class information indicating the type of the object.
  • Each function of the noise image acquisition unit 151, the position determination unit 160a, the size determination unit 170a, the image composition unit 180a, the embedded coordinate acquisition unit 181a, the learning data generation unit 190, and the learning data output unit 199 is an embodiment. In No. 1, it may be realized by the processor 201 and the memory 202 in the hardware configuration shown in FIGS. 8A and 8B, or may be realized by the processing circuit 203.
  • FIG. 21 is a flowchart illustrating an example of processing of the learning data generation device 100a according to the second embodiment.
  • the learning data generation device 100a for example, repeatedly executes the processing of the flowchart.
  • the same operations as the operation of the learning data generation device 100 according to the first embodiment shown in FIG. 9 are designated with the same reference numerals and duplicated.
  • the explanation given is omitted. That is, the description of the process of FIG. 21 having the same reference numerals as those shown in FIG. 9 will be omitted.
  • the learning data generation device 100a executes the processes from step ST901 to step ST904.
  • step ST2101 the shadow image generation unit 150 generates a shadow pseudo radar image.
  • step ST2102 the noise image acquisition unit 151 acquires a noise image.
  • step ST2103, the position determining unit 160a determines a position to attach the object simulated radar image and the shadow simulated radar image to the background image.
  • step ST2104 the size determination unit 170a determines the size at which the object simulated radar image and the shadow simulated radar image are attached to the background image.
  • step ST2105 the image synthesizing unit 180a generates a composite pseudo-radar image.
  • step ST2106 the embedded coordinate acquisition unit 181a acquires information indicating the coordinates of the pixels in the background image in which the image synthesis unit 180a replaces the pixel values of the background image with the pixel values of the object simulated radar image.
  • step ST2107 the learning data generation unit 190 generates learning data.
  • step ST2108 the learning data output unit 199 outputs the learning data.
  • the learning data generation device 100a After executing the process of step ST2108, the learning data generation device 100a ends the process of the flowchart, returns to the process of step ST901, and repeatedly executes the process of the flowchart.
  • the order of the processes of step ST2102 is arbitrary.
  • the processing of step ST901 precedes the processing of steps ST902 and ST2101
  • the processing of step ST903 precedes the processing of step ST904, and the processing from step ST901 to step ST904.
  • the process of step ST2101 precedes step ST2103
  • the order of the processes from step ST901 to step ST904 and the process of step ST2101 is arbitrary.
  • the method in which the image synthesizing unit 180a synthesizes the background image, the object simulated radar image, and the shadow pseudo radar image to generate a composite pseudo radar image will be described.
  • the image synthesizing unit 180a is, for example, a predetermined pixel of a region of the background image pixels that becomes a radar shadow in the shadow simulation radar image generated by the shadow image generation unit 150, that is, a pixel value in the shadow simulation radar image is 1 or the like.
  • the shadow simulation radar image is pasted on the background image by replacing the pixel value of the pixel corresponding to the pixel as the value with the pixel value of the shadow simulation radar image.
  • the image composition unit 180a when the learning data generation device 100a includes the noise image acquisition unit 151, the image composition unit 180a is, for example, the pixel value of the background image in the area where the shadow simulation radar image is pasted on the background image. Is added to the pixel value of each pixel in which is replaced with the pixel value of the shadow simulation radar image, and the pixel value of the noise image pixel corresponding to the pixel is added to the noise image in the area where the shadow simulation radar image is pasted on the background image. Adds the noise indicated by.
  • the image synthesizing unit 180a After pasting the shadow simulation radar image on the background image or adding noise to the pasted shadow simulation radar image, the image synthesizing unit 180a, for example, sets each pixel value of the object simulation radar image as the background image. By adding to the pixel value of the pixel corresponding to the position of each pixel of the object simulated radar image, the object simulated radar image is pasted on the background image after the shadow simulated radar image is pasted, and the background image , An object simulated radar image, and a shadow simulated radar image are combined to generate a composite pseudo radar image.
  • the object image generation unit 120 generates an object simulated radar image as a grayscale image normalized so that each pixel value of the object simulated radar image is a value between 0 and 1 and the like.
  • the shadow image generation unit 150 sets the pixel value of the pixel that becomes the radar shadow to 0 and the pixel value of the image that does not become the radar shadow to 1 in each pixel value of the shadow simulation radar image as a binary monochrome image.
  • the background image acquisition unit 140 acquires the background image as a grayscale image normalized so that each pixel value of the background image is a value between 0 and 1.
  • the synthesis unit 180a may generate a composite pseudo-radar image as shown below, for example.
  • the image synthesizing unit 180a uses the following equation (3) to attach each pixel value after pasting the shadow simulation radar image to the background image in the region where the shadow simulation radar image is pasted to the background image. Is calculated, the pixel value of the corresponding background image is replaced with the calculated pixel value, and the background image after the shadow simulation radar image is pasted is generated.
  • [Pixel value that replaces the pixel value of the background image] [Pixel value of the background image] x [Pixel value of the shadow simulation radar image] ...
  • Equation (3) By calculating the pixel value that replaces the pixel value of the background image using the equation (3), each pixel value of the background image after the shadow simulation radar image is pasted is set to 0, and the pixel value of the pixel that becomes the radar shadow is set to 0. The pixel value of the pixel that does not become a radar shadow can be set to the pixel value of the background image acquired by the background image acquisition unit 140.
  • the image composition unit 180a uses the following equation (4) to create a shadow on the background image in the region where the shadow simulation radar image is pasted on the background image. After pasting the simulated radar image, each pixel value with noise added is calculated, the pixel value of the corresponding background image is replaced with the calculated pixel value, and the background image with noise added after the shadow simulated radar image is pasted. To generate.
  • the shadow image generation unit 150 generates a shadow simulation radar image as a binary monochrome image.
  • the shadow simulation radar image is pasted on the background image, the shadow simulation radar image is generated.
  • the pixel value at the boundary between the region that becomes the radar shadow and the region that does not become the radar shadow may become a value between 0 and 1. Even in such a case, the formula (3) or the formula (4) can be applied.
  • the image synthesizing unit 180a After pasting the shadow simulation radar image on the background image or adding noise to the pasted shadow simulation radar image, the image synthesizing unit 180a, for example, sets each pixel value of the object simulation radar image and the background image. With the pixel value at the pixel position corresponding to the position of each pixel of the object simulated radar image in the background image after pasting the shadow simulated radar image on or after adding noise to the pasted shadow simulated radar image. , And for pixels whose pixel value of the object simulated radar image is larger than the pixel value of the background image, a composite pseudo radar image is generated by replacing the pixel value of the background image with the pixel value of the object simulated radar image. To do.
  • the first and second methods in which the image synthesizing unit 180a generates a composite pseudo-radar image are only examples, and the image synthesizing unit 180a synthesizes a background image, an object simulated radar image, and a shadow pseudo-radar image.
  • the method for generating a synthetic pseudo-radar image is not limited to the first and second methods described above.
  • FIG. 22 is a flowchart illustrating an example of processing of the image synthesizing unit 180a according to the second embodiment. That is, FIG. 22 is a flowchart showing the process of step ST2105 shown in FIG. The flowchart shown in FIG. 22 shows the operation of the image synthesis unit 180a in the first method in which the image composition unit 180a generates a composite pseudo radar image. Note that FIG. 22A shows a part of the processing flow of the image synthesizing unit 180a according to the second embodiment, and FIG. 22B shows the rest of the processing flow of the image synthesizing unit 180a according to the second embodiment. ..
  • step ST2201 the image synthesizing unit 180a acquires an object simulated radar image.
  • step ST2202 the image synthesizing unit 180a acquires a shadow pseudo-radar image.
  • step ST2203 the image synthesizing unit 180a acquires a noise image.
  • step ST2204 the image synthesizing unit 180a acquires a background image.
  • step ST2205 the image synthesizing unit 180a acquires a position where the object simulated radar image and the shadow simulated radar image are pasted on the background image.
  • step ST2206 the image synthesizing unit 180a acquires a size for pasting the object simulated radar image and the shadow simulated radar image on the background image.
  • step ST2207 the image synthesizing unit 180a determines the size of the object simulated radar image and the shadow pseudo radar image based on the size of pasting the object simulated radar image and the shadow pseudo radar image on the background image. change.
  • step ST2211 the image synthesizing unit 180a selects a pixel in a region to be a radar shadow in the shadow simulation radar image and a pixel in the background image corresponding to the pixel.
  • step ST2212 the image synthesizing unit 180a replaces the pixel values of the pixels in the selected background image with the pixel values of the pixels in the selected shadow simulation radar image.
  • step ST2213 the image synthesizing unit 180a selects the pixels in the noise image corresponding to the pixels in the selected background image.
  • step ST2214 the image synthesizing unit 180a adds the pixel values of the pixels in the selected noise image to the pixel values of the pixels in the selected background image.
  • step ST2215 the image synthesizing unit 180a determines whether or not all the pixels in the region to be the radar shadow of the shadow simulation radar image have been selected.
  • the image synthesizing unit 180a returns to the process of step ST2211 and returns to the image.
  • the processes from step ST2211 to step ST2215 are repeatedly executed until it is determined that the compositing unit 180a has selected all the pixels in the region to be the radar shadow of the shadow simulation radar image.
  • step ST2215 When it is determined in step ST2215 that the image synthesizing unit 180a has selected all the pixels in the region to be the radar shadow of the shadow simulation radar image, the image synthesizing unit 180a determines in step ST2221 that the image synthesizing unit 180a has selected all the pixels. A pixel in an object simulated radar image and a pixel in a background image corresponding to the pixel are selected. Next, in step ST2222, the image synthesizing unit 180a adds the pixel values of the pixels in the selected object simulated radar image to the pixel values of the pixels in the selected background image. Next, in step ST2223, the image synthesizing unit 180a determines whether or not all the pixels in the object simulated radar image have been selected.
  • step ST2223 When the image synthesizing unit 180a determines in step ST2223 that all the pixels in the object simulated radar image have not been selected, the image synthesizing unit 180a returns to the process of step ST2221 and the image synthesizing unit 180a returns to the process.
  • the processes from step ST2221 to step ST2223 are repeatedly executed until it is determined that all the pixels in the object simulated radar image have been selected.
  • the image synthesizing unit 180a determines in step ST2223 that all the pixels in the object simulated radar image have been selected, the image synthesizing unit 180a ends the process of the flowchart.
  • step ST2201 to step ST2206 is arbitrary. Further, in the processing of the flowchart, the processing of step ST2213 and step ST2214 is omitted when the learning data generation device 100a does not include the noise image acquisition unit 151.
  • the learning data generation device 100a transmits a region to be a radar shadow in the shadow simulation radar image at a predetermined ratio by alpha blending or the like when generating a composite pseudo radar image, and transmits the background image and the object simulation radar.
  • a composite pseudo radar image may be generated by synthesizing an image and a shadow simulation radar image.
  • the image synthesizing unit 180a replaces the pixel values of the pixels in the background image with the pixel values of the pixels in the shadow simulation radar image, and then the image synthesizing unit 180a in the background image.
  • an arbitrary value between 0 and 1 may be multiplied by the pixel value of the pixel and added to the pixel value of the pixel in the background image after the multiplication and the pixel value are replaced.
  • the radar shadow region in the shadow simulation radar image becomes unclear, and the learning data generation device 100a uses the radar. It is possible to generate learning data having a synthetic pseudo-radar image similar to a region that becomes a radar shadow in an actual radar image generated by the device 10 irradiating with radar.
  • the learning data generation device 100a transmits the object simulated radar image at a predetermined ratio by alpha blending or the like when generating the composite pseudo radar image, and transmits the background image, the object simulated radar image, and the shadow simulation.
  • a composite pseudo-radar image may be generated by synthesizing a radar image. Specifically, for example, when the image synthesizing unit 180a adds the pixel value of the pixel in the object simulated radar image to the pixel value of the pixel in the background image in the process of step ST2222, the image synthesizing unit 180a uses the image synthesizing unit 180a.
  • an arbitrary value between 0 and 1 may be multiplied by the pixel value of the pixel in the object simulated radar image, and the multiplied pixel value may be added to the pixel value of the pixel in the background image.
  • the synthetic pseudo-radar image generated in this way the area to which the object simulated radar image is pasted in the synthetic pseudo-radar image becomes unclear, and the radar device 10 irradiates the learning data generation device 100a with radar. It is possible to generate training data having a synthetic pseudo-radar image similar to the actual radar image generated by.
  • FIG. 23 is a flowchart illustrating an example of processing of the image synthesizing unit 180a according to the second embodiment. That is, FIG. 23 is a flowchart showing the process of step ST2105 shown in FIG. The flowchart shown in FIG. 23 shows the operation of the image composition unit 180a in the second method in which the image composition unit 180a generates a composite pseudo radar image. Note that FIG. 23A shows a part of the processing flow of the image synthesizing unit 180a according to the second embodiment, and FIG. 23B shows the rest of the processing flow of the image synthesizing unit 180a according to the second embodiment. ..
  • step ST2301 the image synthesizing unit 180a acquires an object simulated radar image.
  • step ST2302 the image synthesizing unit 180a acquires a shadow pseudo radar image.
  • step ST2303 the image synthesizing unit 180a acquires a noise image.
  • step ST2304 the image synthesizing unit 180a acquires a background image.
  • step ST2305 the image synthesizing unit 180a acquires a position where the object simulated radar image and the shadow simulated radar image are pasted on the background image.
  • step ST2306 the image synthesizing unit 180a acquires a size for pasting the object simulated radar image and the shadow simulated radar image on the background image.
  • step ST2307 the image synthesizing unit 180a determines the size of the object simulated radar image and the shadow pseudo radar image based on the size of pasting the object simulated radar image and the shadow pseudo radar image on the background image. change.
  • step ST2311 the image synthesizing unit 180a selects a pixel in the shadow simulation radar image, a pixel in the noise image corresponding to the pixel, and a pixel in the background image corresponding to the pixel.
  • step ST2312 the image synthesizing unit 180a calculates a pixel value that replaces the pixel value of the selected background image using the equation (4).
  • step ST2313 the image synthesizing unit 180a replaces the pixel values of the pixels in the selected background image with the calculated pixel values.
  • step ST2314 the image synthesizing unit 180a determines whether or not all the pixels in the shadow simulation radar image have been selected.
  • step ST2314 When it is determined in step ST2314 that the image synthesizing unit 180a has not selected all the pixels in the shadow simulation radar image, the image synthesizing unit 180a returns to the process of step ST2311, and the image synthesizing unit 180a causes the shadow.
  • the processes from step ST2311 to step ST2314 are repeatedly executed until it is determined that all the pixels in the simulated radar image have been selected.
  • the image synthesizing unit 180a executes the process of step ST2321.
  • step ST2321 the image synthesizing unit 180a adds noise to the pixels in the object simulation radar image and the background image after the shadow simulation radar image is pasted, or the background image after the pasting.
  • the pixel corresponding to the pixel in the image is selected.
  • step ST2322 the image synthesizing unit 180a determines that the pixel values of the pixels in the selected object simulation radar image are the background image after pasting the selected shadow simulation radar image, or after pasting. It is determined whether or not the value is larger than the pixel value of the pixel corresponding to the pixel in the background image after adding noise to the background image of. In step ST2322, the image synthesizing unit 180a determines that the pixel values of the pixels in the selected object simulation radar image are the background image after pasting the selected shadow simulation radar image, or the background image after pasting.
  • step ST2323 If it is determined that the value is larger than the pixel value of the pixel corresponding to the pixel in the background image after adding noise to the image, in step ST2323, the image synthesizing unit 180a pastes the selected shadow simulation radar image.
  • the pixel value of the pixel corresponding to the pixel in the background image or the background image after adding noise to the pasted background image is replaced with the pixel value of the pixel in the selected object simulated radar image.
  • step ST2324 the image synthesizing unit 180a determines whether or not all the pixels in the object simulated radar image have been selected.
  • step ST2322 the image synthesizing unit 180a determines that the pixel values of the pixels in the selected object simulation radar image are the background image after pasting the selected shadow simulation radar image, or the background image after pasting. If it is determined that the pixel value of the pixel corresponding to the pixel in the background image after adding noise to the image is not larger than the pixel value of the pixel, the image synthesizing unit 180a executes the process of step ST2324. When it is determined in step ST2324 that the image synthesizing unit 180a has not selected all the pixels in the object simulated radar image, the image synthesizing unit 180a returns to the process of step ST2321, and the image synthesizing unit 180a returns to the process.
  • step ST2321 to step ST2324 are repeatedly executed until it is determined that all the pixels in the object simulated radar image have been selected.
  • the image synthesizing unit 180a ends the process of the flowchart.
  • step ST2312 uses the equation (3) to replace the pixel value of the selected background image when the learning data generation device 100a does not include the noise image acquisition unit 151. Calculate the value.
  • the learning data generation device 100a transmits a region to be a radar shadow in the shadow simulation radar image at a predetermined ratio by alpha blending or the like when generating a composite pseudo radar image, and transmits the background image and the object simulation radar.
  • a composite pseudo radar image may be generated by synthesizing an image and a shadow simulation radar image.
  • the image composition unit 180a is expressed by the formula.
  • the pixel value of the pixel in the background image before being replaced with the pixel value calculated using (4) is multiplied by an arbitrary value between 0 and 1, and the pixel value after the multiplication is calculated by the equation (4).
  • the radar shadow region in the shadow simulation radar image becomes unclear, and the learning data generation device 100a uses the radar. It is possible to generate learning data having a synthetic pseudo-radar image similar to a region that becomes a radar shadow in an actual radar image generated by the device 10 irradiating with radar.
  • the learning data generation device 100a transmits the object simulated radar image at a predetermined ratio by alpha blending or the like when generating the composite pseudo radar image, and transmits the background image, the object simulated radar image, and the shadow simulation.
  • a composite pseudo-radar image may be generated by synthesizing a radar image. Specifically, for example, when the image composition unit 180a replaces the pixel value of the pixel in the background image with the pixel value of the pixel in the object simulation radar image in the process of step ST2323, the image composition unit 180a is the target.
  • an arbitrary value between 0 and 1 may be multiplied by the pixel value of the pixel in the object simulated radar image, and the pixel value after the multiplication may be used to replace the pixel value of the pixel in the background image.
  • the synthetic pseudo-radar image generated in this way the area to which the object simulated radar image is pasted in the synthetic pseudo-radar image becomes unclear, and the radar device 10 irradiates the learning data generation device 100a with radar. It is possible to generate training data having a synthetic pseudo-radar image similar to the actual radar image generated by.
  • the learning data generation device 100a uses the 3D model acquisition unit 110 that acquires the object 3D model information indicating the 3D model of the object and the object 3D model information acquired by the 3D model acquisition unit 110.
  • An object image generation unit 120 that simulates radar irradiation on an object and generates an object simulated radar image that is a simulated radar image of the object, and a radar image generated by the radar irradiation by the radar device 10 are shown.
  • the background image acquisition unit 140 that acquires a background image using the radar image information acquired by the radar image acquisition unit 130, and the background image acquired by the background image acquisition unit 140.
  • An image composition unit 180a that generates a composite pseudo-radar image by pasting an object simulation radar image generated by the object image generation unit 120 at a predetermined position and synthesizing a background image and an object simulation radar image, and an image.
  • a learning data generation unit 190 that generates learning data in which a synthetic simulated radar image information indicating a synthetic pseudo radar image generated by the synthesis unit 180a and a class information indicating a type of an object are associated with each other, and a learning data generation unit 190.
  • the learning data output unit 199 that outputs the learning data generated by the unit 190 and the object 3D model information acquired by the 3D model acquisition unit 110, radar irradiation to the object is simulated, and the object 3D model information is obtained.
  • a shadow image generation that calculates a region to be a radar shadow based on the 3D model of the object to be shown and the irradiation direction of radar irradiation to the simulated object, and generates a shadow pseudo radar image showing the calculated region to be the radar shadow.
  • the image synthesizing unit 180a includes a unit 150, and the image synthesizing unit 180a includes an object simulated radar image generated by the object image generation unit 120 and a shadow image generation unit 150 at a predetermined position in the background image acquired by the background image acquisition unit 140.
  • the generated shadow simulated radar image is pasted to generate a composite pseudo radar image in which a background image, an object simulated radar image, and a shadow simulated radar image are combined.
  • the learning data generation device 100a can easily generate learning data used for machine learning for detecting or identifying an object reflected in a radar image. Further, with such a configuration, the learning data generation device 100a can generate learning data having a synthetic pseudo radar image similar to the actual radar image generated by the radar irradiation by the radar device 10. Further, with this configuration, the learning data generation device 100a generates a background image using the radar image generated by the radar irradiation by the radar device 10, so that the background of the object is modeled in 3D. You don't have to. Further, since it is not necessary to generate a background image from a 3D model of the background of the object by numerical calculation, learning data can be generated in a short time.
  • the learning data generation device 100a indicates the position where the image synthesis unit 180a attaches the object simulation radar image to the background image and the type of the object in the learning data generation unit 190. It is configured to generate learning data associated with class information. With this configuration, the learning data generation device 100a can easily generate learning data with teacher data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the image synthesizing unit 180a provides information indicating the pixel coordinates in the background image in which the pixel value of the background image is replaced with the pixel value of the object simulation radar image.
  • the embedded coordinate acquisition unit 181a to be acquired is provided, and the learning data generation unit 190 associates the information indicating the pixel coordinates in the background image acquired by the embedded coordinate acquisition unit 181a with the class information indicating the type of the object. , Configured to generate training data.
  • the learning data generation device 100a can easily generate learning data with teacher data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the learning data generation device 100a includes, in addition to the above-described configuration, a noise image acquisition unit 151 that acquires a noise image for adding noise to the shadow pseudo radar image generated by the shadow image generation unit 150.
  • the compositing unit 180a applies the noise indicated by the noise image acquired by the noise image acquisition unit 151 to the area where the shadow simulation radar image generated by the shadow image generation unit 150 is pasted on the background image acquired by the background image acquisition unit 140. It was configured to generate a composite pseudo-radar image by adding and further pasting an object simulated radar image.
  • the learning data generation device 100a can easily generate learning data used for machine learning for detecting or identifying an object reflected in a radar image. Further, with such a configuration, the learning data generation device 100a can generate learning data having a synthetic pseudo radar image similar to the actual radar image generated by the radar irradiation by the radar device 10.
  • the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • a position determining unit 160a for determining a position to attach the shadow simulated radar image generated by the shadow image generating unit 150 to the background image is provided.
  • the learning data generation device 100a can save the user the trouble of inputting the position where the object simulated radar image and the shadow simulated radar image are pasted on the background image.
  • the object image generation unit 120 simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • the object simulated radar image generated by the object image generation unit 120 and the shadow image generation unit 150 generated.
  • a size determination unit 170a for determining the size of the shadow simulated radar image to be attached to the background image is provided.
  • the radar image acquisition unit 130 acquires radar image information indicating a radar image captured over a wide area
  • the background image acquisition unit 140 has the radar image acquisition unit 130. A part of the image area of the radar image captured over a wide area indicated by the acquired radar image information is cut out, and the cut out image area is acquired as a background image.
  • the learning data generation device 100a can easily acquire a background image.
  • each pixel value of the radar image indicated by the radar image information indicates the intensity of the reflected radar signal
  • the radar image acquisition unit 130 describes the radar image information.
  • each pixel value of the radar image indicated by the radar image information generated by the radar device 10 has been described as acquiring the radar image information indicating the intensity of the reflected radar signal
  • the radar image information acquired by the radar image acquisition unit 130 is In the radar image shown, the intensity of the reflected radar signal is converted to the logarithmic scale at each pixel value of the radar image indicated by the radar image information, and the intensity of the reflected radar signal after being converted to the logarithmic scale is from 0.
  • the radar image may be grayscaled by normalizing it so that the value is between 1 and the like.
  • the object image generation unit 120 has 0 to 1 in each pixel value of the object simulation radar image.
  • An object simulated radar image is generated as a grayscale image normalized so that the values are between.
  • the shadow image generation unit 150 sets each pixel value of the shadow simulation radar image to 0 as the pixel value of the pixel that becomes the radar shadow, and sets the pixel value of the image that does not become the radar shadow to 1, as a binary monochrome image or the like. Generate a shadow simulation radar image.
  • the noise image acquisition unit 151 acquires a noise image as a grayscale image normalized so that each pixel value of the noise image is a value between 0 and 1.
  • the image synthesizing unit 180a performs the processing shown in the flowchart of FIG. 23.
  • Embodiment 3 The learning data generation device 100b according to the third embodiment will be described with reference to FIGS. 24 to 26.
  • the generated object simulation radar image and the generated shadow pseudo radar image are pasted on the acquired background image, and the background image, the object simulation radar image,
  • a composite pseudo-radar image was generated by synthesizing a shadow simulation radar image.
  • the learning data generation device 100b according to the third embodiment generates an object simulated radar image including the generated shadow pseudo radar image, and pastes the generated object simulated radar image on the acquired background image.
  • a composite pseudo radar image is generated by synthesizing a background image and an object simulated radar image including a shadow simulated radar image.
  • FIG. 24 is a block diagram showing an example of the configuration of a main part of the radar system 1b to which the learning data generation device 100b according to the third embodiment is applied.
  • the radar system 1b includes a learning data generation device 100b, a radar device 10, a learning device 20, a reasoning device 30, a storage device 40, an input device 50, and an output device 60.
  • the learning data generation device 100 in the radar system 1 according to the first embodiment is changed to the learning data generation device 100b.
  • the configuration including the learning data generation device 100b, the learning device 20, and the storage device 40 operates as the learning system 2b. Further, the configuration including the learning data generation device 100b, the learning device 20, the inference device 30, and the storage device 40 operates as the inference system 3b.
  • the same reference numerals are given to the same configurations as the radar system 1 according to the first embodiment, and duplicate description will be omitted. That is, the description of the configuration of FIG. 24 having the same reference numerals as those shown in FIG. 1 will be omitted.
  • FIG. 25 is a block diagram showing an example of the configuration of the main part of the learning data generation device 100b according to the third embodiment.
  • the learning data generation device 100b includes an operation reception unit 101, a 3D model acquisition unit 110, an object image generation unit 120b, a radar image acquisition unit 130, a background image acquisition unit 140, an image composition unit 180b, and a learning data generation unit 190. And a learning data output unit 199 is provided.
  • the learning data generation device 100b may include a noise image acquisition unit 151b, a position determination unit 160b, a size determination unit 170b, and an embedded coordinate acquisition unit 181b.
  • the learning data generation device 100b according to the third embodiment will be described as including a noise image acquisition unit 151b, a position determination unit 160b, and a size determination unit 170b.
  • a noise image acquisition unit 151b is added to the configuration of the learning data generation device 100 according to the first embodiment shown in FIG. 2, and further, for learning according to the first embodiment.
  • the image composition unit 180, the position determination unit 160, and the size determination unit 170 in the data generation device 100 have been changed to the image composition unit 180b, the position determination unit 160b, and the size determination unit 170b.
  • the same configuration as the learning data generation device 100 according to the first embodiment is designated by the same reference numerals and duplicated description will be omitted. That is, the description of the configuration of FIG. 25 having the same reference numerals as those shown in FIG. 2 will be omitted.
  • the object image generation unit 120b simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110, and generates an object simulated radar image which is a simulated radar image of the object.
  • the radar shadow is generated based on the 3D model of the object indicated by the object 3D model information and the irradiation direction of radar irradiation on the simulated object.
  • a shadow pseudo-radar image showing the area to be the calculated radar shadow is generated, and the generated shadow pseudo-radar image is included in the object simulation radar image to generate the object simulation radar image.
  • the object image generation unit 120b uses a method similar to the method in which the shadow image generation unit 150 in the learning data generation device 100a according to the second embodiment generates a shadow pseudo radar image. Generate a radar image. Therefore, the method of generating the shadow pseudo-radar image by the object image generation unit 120b will not be described. Further, the object image generation unit 120b creates a shadow on the object simulation radar image generated by simulating radar irradiation on the object using, for example, the object 3D model information acquired by the 3D model acquisition unit 110. A simulated radar image of an object is generated after the pseudo radar image is pasted by synthesizing by pasting the pseudo radar image.
  • the image synthesizing unit 180b attaches an object simulated radar image including a shadow pseudo radar image generated by the object image generating unit 120b to a predetermined position in the background image acquired by the background image acquiring unit 140 to form a background image. , Generates a composite pseudo-radar image that is combined with an object simulated radar image including a shadow simulated radar image. Specifically, for example, the image synthesizing unit 180b uses each pixel value of the object simulated radar image including the shadow simulated radar image, and uses each pixel value of the object simulated radar image including the shadow simulated radar image of the background image. By replacing the pixel value at the position of the pixel corresponding to the position, the background image and the object simulated radar image including the shadow simulated radar image are combined to generate a composite pseudo radar image.
  • the noise image acquisition unit 151b acquires a noise image for adding noise to a region that becomes a radar shadow in the object simulation radar image including the shadow pseudo radar image generated by the object image generation unit 120b.
  • the noise image acquisition unit 151b has the same function as the noise image acquisition unit 151 in the learning data generation device 100a according to the second embodiment. The method of acquiring the noise image by the noise image acquisition unit 151b will be omitted.
  • the image composition unit 180b adds a shadow pseudo radar image generated by the object image generation unit 120b to the background image acquired by the background image acquisition unit 140.
  • An object simulated radar image including the object is pasted, and noise is added to the shadow pseudo radar image area in the area where the object simulated radar image is pasted to generate a composite pseudo radar image.
  • the image synthesizing unit 180b sets the pixel value of each pixel in the shadow pseudo-radar image region in the region where the object simulated radar image is pasted on the background image to each pixel in the region. Adds the pixel values of the pixels of the noise image corresponding to to add noise.
  • the image synthesis unit 180b acquires, for example, a position in a background image to which an object simulation radar image including a shadow simulation radar image is pasted, based on the operation information output by the operation reception unit 101. More specifically, for example, the user inputs a position in the background image to which the object simulated radar image including the shadow simulated radar image is pasted by operating the input device 50.
  • the operation reception unit 101 receives an operation signal indicating a position in a background image to which an object simulated radar image including a shadow simulated radar image is pasted, converts the operation signal into operation information corresponding to the operation signal, and converts the changed operation information into an image. Output to the synthesis unit 180b. By acquiring the operation information from the operation receiving unit 101, the image synthesizing unit 180b acquires the position in the background image to which the object simulated radar image including the shadow simulated radar image is pasted.
  • the position to which the object simulation radar image including the shadow simulation radar image is attached may be determined by the position determination unit 160b.
  • the position determination unit 160b is indicated by the object 3D model information when the object image generation unit 120b simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110. Based on the 3D model of the object and the irradiation direction of the radar irradiation on the simulated object, the position where the object simulated radar image including the shadow simulated radar image generated by the object image generation unit 120b is pasted on the background image is determined. decide.
  • the image synthesizing unit 180b changes the object simulated radar image including the shadow simulated radar image generated by the object image generating unit 120b to a predetermined size, and includes the shadow simulated radar image after the size is changed.
  • An object simulated radar image is pasted at a predetermined position in the background image acquired by the background image acquisition unit 140, and a composite pseudo radar image obtained by synthesizing the background image and the object simulated radar image including the shadow simulated radar image is obtained. It may be generated.
  • the learning data generation device 100b includes a size determination unit 170b
  • the size of the object simulation radar image including the shadow simulation radar image after the change is determined by the size determination unit 170b.
  • the size determination unit 170b is indicated by the object 3D model information when the object image generation unit 120b simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • the size of the object simulated radar image including the shadow simulated radar image generated by the object image generation unit 120b is determined to be attached to the background image.
  • the learning data generation unit 190 generates learning data in which the synthetic simulated radar image information indicating the synthetic pseudo radar image generated by the image synthesis unit 180b and the class information indicating the type of the object are associated with each other. In the learning data generation unit 190, even if the image composition unit 180b generates learning data in which the position where the object simulation radar image is pasted on the background image and the class information indicating the type of the object are associated with each other. good.
  • the embedded coordinate acquisition unit 181b acquires information indicating the coordinates of the pixels in the background image in which the image composition unit 180b replaces the pixel values of the background image with the pixel values of the object simulated radar image from the image composition unit 180b.
  • the embedded coordinate acquisition unit 181b outputs the acquired information to the learning data generation unit 190.
  • the image synthesis unit 180b replaces the pixel value of the background image with the pixel value of the object simulated radar image.
  • Data for learning may be generated by associating the coordinates of the pixels in the above with the class information indicating the type of the object.
  • the functions of the position determination unit 160b, the size determination unit 170b, the image composition unit 180b, the embedded coordinate acquisition unit 181b, the learning data generation unit 190, and the learning data output unit 199 are shown in FIGS. 8A and 8A in the first embodiment. It may be realized by the processor 201 and the memory 202 in the hardware configuration shown as an example in 8B, or may be realized by the processing circuit 203.
  • FIG. 26 is a flowchart illustrating an example of processing of the learning data generation device 100b according to the third embodiment.
  • the learning data generation device 100b for example, repeatedly executes the processing of the flowchart.
  • step ST2601 the 3D model acquisition unit 110 acquires the object 3D model information.
  • step ST2602 the object image generation unit 120b generates an object simulation radar image including a shadow simulation radar image.
  • step ST2603 the radar image acquisition unit 130 acquires radar image information.
  • step ST2604 the background image acquisition unit 140 acquires a background image.
  • step ST2605 the position determining unit 160b determines a position to attach the object simulated radar image including the shadow simulated radar image to the background image.
  • step ST2606 the size determination unit 170b determines the size at which the object simulation radar image including the shadow simulation radar image is attached to the background image.
  • step ST2607 the noise image acquisition unit 151b acquires a noise image.
  • step ST2608 the image synthesizing unit 180b generates a composite pseudo-radar image.
  • step ST2609 the embedded coordinate acquisition unit 181b acquires information indicating the coordinates of the pixels in the background image in which the image composition unit 180b replaces the pixel values of the background image with the pixel values of the object simulated radar image.
  • step ST2610 the learning data generation unit 190 generates learning data.
  • step ST2611 the learning data output unit 199 outputs the learning data.
  • step ST2611 After executing the process of step ST2611, the learning data generation device 100b ends the process of the flowchart, returns to the process of step ST2601, and repeatedly executes the process of the flowchart.
  • step ST2601 precedes the processing of step ST2602
  • step ST2603 precedes the processing of step ST2604
  • step ST2601 to step ST2604 precedes the processing of step ST2605.
  • step ST2607 may precede step ST2608.
  • step ST2601 when it is not necessary to change the object 3D model information when the processing of the flowchart is repeatedly executed, the processing of step ST2601 can be omitted. Further, when it is not necessary to change the radar image information when the processing of the flowchart is repeatedly executed, the processing of step ST2603 can be omitted. Further, when it is not necessary to change the noise image when the processing of the flowchart is repeatedly executed, the processing of step ST2607 can be omitted.
  • the learning data generation device 100b uses the 3D model acquisition unit 110 that acquires the object 3D model information indicating the 3D model of the object and the object 3D model information acquired by the 3D model acquisition unit 110.
  • the object image generation unit 120b that simulates the radar irradiation on the object and generates the object simulated radar image that is the simulated radar image of the object, and the radar image generated by the radar irradiation by the radar device 10 are shown.
  • the background image acquisition unit 140 that acquires a background image using the radar image information acquired by the radar image acquisition unit 130, and the background image acquired by the background image acquisition unit 140.
  • An image composition unit 180b that generates a composite pseudo-radar image by pasting an object simulation radar image generated by the object image generation unit 120b at a predetermined position and synthesizing a background image and an object simulation radar image, and an image.
  • a learning data generation unit 190 that generates learning data in which a synthetic simulated radar image information indicating a synthetic pseudo radar image generated by the synthesis unit 180b and a class information indicating a type of an object are associated with each other, and a learning data generation unit 190.
  • a learning data output unit 199 that outputs the learning data generated by the unit 190 is provided, and the object image generation unit 120b includes an object indicated by the object 3D model information when generating an object simulated radar image.
  • the area to be the radar shadow is calculated based on the 3D model of the above and the irradiation direction of the radar irradiation to the simulated object, a shadow pseudo radar image showing the calculated area to be the radar shadow is generated, and the generated shadow pseudo radar.
  • the image is included in the object simulated radar image to generate the object simulated radar image.
  • the learning data generation device 100b can easily generate learning data used for machine learning for detecting or identifying an object reflected in a radar image. Further, with such a configuration, the learning data generation device 100b can generate learning data having a synthetic pseudo radar image similar to the actual radar image generated by the radar irradiation by the radar device 10. Further, with this configuration, the learning data generation device 100b generates a background image using the radar image generated by the radar irradiation by the radar device 10, so that the background of the object is modeled in 3D. You don't have to. Further, since it is not necessary to generate a background image from a 3D model of the background of the object by numerical calculation, learning data can be generated in a short time.
  • the learning data generation device 100b indicates the position where the image synthesis unit 180b attaches the object simulation radar image to the background image and the type of the object. It is configured to generate learning data associated with class information. With this configuration, the learning data generation device 100b can easily generate learning data with teacher data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the image synthesizing unit 180b provides information indicating the pixel coordinates in the background image in which the pixel value of the background image is replaced with the pixel value of the object simulation radar image.
  • the embedded coordinate acquisition unit 181b to be acquired is provided, and the learning data generation unit 190 associates the information indicating the pixel coordinates in the background image acquired by the embedded coordinate acquisition unit 181b with the class information indicating the type of the object. , Configured to generate training data.
  • the learning data generation device 100b can easily generate learning data with teacher data used for machine learning for detecting or identifying an object reflected in a radar image.
  • the learning data generation device 100b adds noise to the region of the shadow pseudo radar image in the object simulation radar image including the shadow pseudo radar image generated by the object image generation unit 120b.
  • the noise image acquisition unit 151b for acquiring the noise image of the above is provided, and the image synthesis unit 180b pastes the object simulation radar image including the shadow pseudo radar image generated by the object image generation unit 120b on the background image to simulate the object.
  • a composite pseudo radar image is generated by adding the noise indicated by the noise image acquired by the noise image acquisition unit 151b to the shadow pseudo radar image region in the region where the radar image is pasted.
  • the learning data generation device 100b can easily generate learning data used for machine learning for detecting or identifying an object reflected in a radar image. Further, with such a configuration, the learning data generation device 100b can generate learning data having a synthetic pseudo radar image similar to the actual radar image generated by the radar irradiation by the radar device 10.
  • the object image generation unit 120b simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • a position determining unit 160b for determining a position to attach the simulated radar image to the background image is provided.
  • the object image generation unit 120b simulates radar irradiation on the object using the object 3D model information acquired by the 3D model acquisition unit 110.
  • the object simulated radar image including the shadow simulated radar image generated by the object image generation unit 120b is pasted on the background image.
  • a size determination unit 170b for determining the size to be attached was provided. With this configuration, the learning data generation device 100b can save the user the trouble of inputting the size of the object simulated radar image to be attached to the background image.
  • the radar image acquisition unit 130 acquires radar image information indicating a radar image captured over a wide area
  • the background image acquisition unit 140 has the radar image acquisition unit 130. A part of the image area of the radar image captured over a wide area indicated by the acquired radar image information is cut out, and the cut out image area is acquired as a background image.
  • the learning data generation device 100b can easily acquire a background image.
  • any combination of the embodiments can be freely combined, any component of the embodiment can be modified, or any component can be omitted in each embodiment. ..
  • the learning data generation device can be applied to a radar system, a learning system, an inference system, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

学習用データ生成装置（１００，１００ａ，１００ｂ）は、対象物の３Ｄモデルを用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部（１２０，１２０ｂ）と、レーダ装置がレーダ照射することにより生成されたレーダ画像情報を用いて背景画像を取得する背景画像取得部（１４０）と、背景画像取得部（１４０）が取得した背景画像における所定の位置に、対象物画像生成部（１２０，１２０ｂ）が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部（１８０，１８０ａ，１８０ｂ）と、画像合成部（１８０，１８０ａ，１８０ｂ）が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部（１９０）と、を備えた。

Description

学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム
　この発明は、学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システムに関するものである。
　上空又は地表等に向かってレーダ照射を行うことにより生成されたレーダ画像を用いて、上空又は地表等に存在する物体を検知又は識別することが行われている。
　例えば、特許文献１には、撮像された目標体の静止画像を入力し、情報抽出手段で目標体に関する少なくとも複数の異なる形態の情報を抽出し、目標候補検索手段で目標情報データベースから目標候補を検索し、目標侯補絞込み手段で目標候補を予め定めたルールを適用して絞込むことにより、目標体を撮像した画像から自動的に目標体を識別し、目標体を特定する目標体特定システムが開示されている。
　レーダ画像を用いて、上空又は地表等に存在する物体を検知又は識別するためには、例えば、特許文献１に記載された目標情報データベースのような、レーダ画像に写る物体のレーダ画像における特徴と比較可能な、データベースを予め用意しておく必要がある。データベースは、例えば、検知又は識別したい物体（以下「対象物」という。）が写るレーダ画像を予め収集し、収集したレーダ画像における対象物の特徴を抽出することにより、生成される。また、対象物が写るレーダ画像を予め収集することにより、収集したレーダ画像を学習用データとして用いて機械学習を行い、機械学習による学習結果に基づいて、レーダ画像に写る対象物を検知又は識別する推論装置等の構築も可能である。
　レーダ画像に写る対象物を高精度に検知又は識別するためには、データベースを用いる場合、又は、機械学習による学習結果に基づいて推論する場合等、いずれの場合においても、対象物を異なる条件において撮影した大量のレーダ画像が必要となる。
特開２００７－２０７１８０号公報
　対象物に対して異なる角度でレーダ照射が行われた場合、レーダ画像における対象物の像の特徴は異なる特徴を示す。また、対象物は非線形な形状を有するため、対象物に照射されたレーダの照射方向に対する対象物の向きの違いによっても、対象物のレーダ画像における特徴は異なる特徴を示す。したがって、対象物を異なる条件において撮影したレーダ画像を大量に取得するためには、対象物の向き、又は、レーダの照射方向等を変更しながらレーザ画像を収集する必要がある。
　しかしながら、例えば、合成開口レーダのように航空機又は人工衛星等からレーダ照射することによりレーダ画像を生成する場合、対象物を異なる条件において撮影した大量のレーダ画像を収集するには、多くの時間又は手間を要する。
　この発明は、上述の問題点を解決するためのもので、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる学習用データ生成装置を提供することを課題としている。
　この発明に係る学習用データ生成装置は、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、３Ｄモデル取得部が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、レーダ画像取得部が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部と、背景画像取得部が取得した背景画像における所定の位置に、対象物画像生成部が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、画像合成部が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、学習用データ生成部が生成した学習用データを出力する学習用データ出力部と、を備えた。
　この発明によれば、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
図１は、実施の形態１に係る学習用データ生成装置が適用されたレーダシステムの要部の構成の一例を示すブロック図である。 図２は、実施の形態１に係る学習用データ生成装置の要部の構成の一例を示すブロック図である。 図３は、対象物３Ｄモデル情報をコンピュータグラフィックスにより可視化した対象物の３Ｄモデルの一例を示す図である。 図４は、対象物模擬レーダ画像の一例を示す図である。 図５は、背景画像の一例を示す図である。 図６は、レーダ画像の一例を示す図である。 図７は、合成疑似レーダ画像の一例を示す図である。 図８Ａ及び図８Ｂは、実施の形態１に係る学習用データ生成装置１００の要部のハードウェア構成の一例を示す図である。 図９は、実施の形態１に係る学習用データ生成装置の処理の一例を説明するフローチャートである。 図１０は、実施の形態１に係る画像合成部の処理の一例を説明するフローチャートである。 図１１Ａは、実施の形態１に係る画像合成部の処理の一例を説明するフローチャートの一部である。 図１１Ｂは、実施の形態１に係る画像合成部の処理の一例を説明するフローチャートの残部である。 図１２は、実施の形態１の変形例に係る学習装置の要部の構成の一例を示すブロック図である。 図１３は、実施の形態１の変形例に係る学習装置の処理の一例を説明するフローチャートである。 図１４は、実施の形態１の他の変形例に係る推論装置の要部の構成の一例を示すブロック図である。 図１５は、実施の形態１の他の変形例に係る推論装置の処理の一例を説明するフローチャートである。 図１６は、実施の形態２に係る学習用データ生成装置が適用されたレーダシステムの要部の構成の一例を示すブロック図である。 図１７は、実施の形態２に係る学習用データ生成装置の要部の構成の一例を示すブロック図である。 図１８は、影疑似レーダ画像の一例を示す図である。 図１９は、合成疑似レーダ画像の一例を示す図である。 図２０は、ノイズ画像の一例を示す図である。 図２１は、実施の形態２に係る学習用データ生成装置の処理の一例を説明するフローチャートである。 図２２Ａは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの一部である。 図２２Ｂは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの残部である。 図２３Ａは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの一部である。 図２３Ｂは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの残部である。 図２４は、実施の形態３に係る学習用データ生成装置が適用されたレーダシステムの要部の構成の一例を示すブロック図である。 図２５は、実施の形態３に係る学習用データ生成装置の要部の構成の一例を示すブロック図である。 図２６は、実施の形態３に係る学習用データ生成装置の処理の一例を説明するフローチャートである。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１から図１１を参照して実施の形態１に係る学習用データ生成装置１００について説明する。
　図１は、実施の形態１に係る学習用データ生成装置１００が適用されたレーダシステム１の要部の構成の一例を示すブロック図である。
　レーダシステム１は、学習用データ生成装置１００、レーダ装置１０、学習装置２０、推論装置３０、記憶装置４０、入力装置５０、及び出力装置６０を備える。
　なお、学習用データ生成装置１００、学習装置２０、及び記憶装置４０を備えた構成は、学習システム２として動作する。
　また、学習用データ生成装置１００、学習装置２０、推論装置３０、及び記憶装置４０を備えた構成は、推論システム３として動作する。
　記憶装置４０は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の記憶媒体を有する電子情報を記憶するための装置である。記憶装置４０は、有線通信手段又は無線通信手段を介して、学習用データ生成装置１００、レーダ装置１０、学習装置２０、又は推論装置３０等と接続されている。
　レーダ装置１０は、レーダ信号を出射し、出射したレーダ信号が反射した信号を反射レーダ信号として受信し、受信した反射レーダ信号に対応するレーダ画像を生成して、生成したレーダ画像を示すレーダ画像情報を出力する。
　具体的には、レーダ装置１０は、レーダ画像情報を学習用データ生成装置１００又は記憶装置４０、及び、推論装置３０に出力する。
　レーダ装置１０は、レーダ画像情報を、学習用データ生成装置１００又は記憶装置４０、及び、推論装置３０に加えて、学習装置２０に出力しても良い。
　レーダ装置１０が出力するレーダ画像情報は、例えば、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものである。レーダ画像情報は、位相情報を含むものであっても良い。
　また、例えば、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値において、反射レーダ信号の強度が、対数スケールに変換され、更に、対数スケールに変換された後の反射レーダ信号の強度が、最大値を１、且つ、最小値を０として正規化されたものであっても良い。このように正規化されたレーダ画像情報が示すレーダ画像は、最大値が１、且つ、最小値が０であるグレースケール画像として視認可能なものである。
　以下、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものであるとして説明する。
　学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習を行う際に用いる学習用データを生成し、生成した学習用データを学習装置２０又は記憶装置４０に出力する。学習用データ生成装置１００の詳細については、後述する。
　学習装置２０は、学習用データを取得し、取得した学習用データを用いて、レーダ装置１０が出力するレーダ画像情報が示すレーダ画像に写る対象物を検知又は識別するための機械学習を行う。学習装置２０は、学習用データ生成装置１００が出力した機械学習を行うために用いる学習用データを、学習用データ生成装置１００又は記憶装置４０から取得する。学習装置２０は、学習用データ生成装置１００又は記憶装置４０から機械学習を行うために用いる学習用データを取得するのに加えて、レーダ装置１０が出力するレーダ画像情報を、学習用データとしてレーダ装置１０又は記憶装置４０から取得しても良い。学習装置２０は、レーダ画像に写る対象物を検知又は識別するための機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を推論装置３０又は記憶装置４０に出力する。学習装置２０が出力する学習済モデル情報が示す学習済モデルは、入力層、中間層、及び出力層等を有するニューラルネットワーク等である。
　推論装置３０は、レーダ装置１０が出力したレーダ画像情報をレーダ装置１０又は記憶装置４０から取得し、学習装置２０が出力した学習済モデル情報を学習装置２０又は記憶装置４０から取得する。推論装置３０は、取得した学習済モデル情報が示す学習済モデルを用いて、取得したレーダ画像情報が示すレーダ画像に写る対象物を検知又は識別する。推論装置３０は、対象物を検知した検知結果、又は、識別した識別結果等を示す結果情報を出力装置６０に出力する。
　入力装置５０は、例えば、キーボード又はマウス等の操作入力装置である。入力装置５０は、ユーザからの操作を受け付け、ユーザの操作に対応する操作信号を、有線通信手段又は無線通信手段を介して、学習用データ生成装置１００に出力する。
　出力装置６０は、例えば、ディスプレイ等の表示出力装置である。出力装置６０は、表示出力装置に限定されるものではなく、ランプ等の照明装置、又は、スピーカ等の音声出力装置等であっても良い。出力装置６０は、推論装置３０が出力した結果情報を取得し、取得した結果情報を光又は音声等により、ユーザが認識可能な状態で出力する。
　図２を参照して、実施の形態１に係る学習用データ生成装置１００の要部の構成について説明する。
　図２は、実施の形態１に係る学習用データ生成装置１００の要部の構成の一例を示すブロック図である。
　学習用データ生成装置１００は、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、及び学習用データ出力部１９９を備える。
　学習用データ生成装置１００は、上述の構成に加え、位置決定部１６０、サイズ決定部１７０、及び埋め込み座標取得部１８１を備えるものであっても良い。
　実施の形態１に係る学習用データ生成装置１００は、図２に示すように、位置決定部１６０及びサイズ決定部１７０を備えるものとして説明する。
　操作受付部１０１は、入力装置５０が出力した操作信号を受け付けて、受け付けた操作信号を操作信号に対応する操作情報に変換し、変換した操作情報を３Ｄモデル取得部１１０、対象物画像生成部１２０、背景画像取得部１４０、又は画像合成部１８０等に出力する。
　３Ｄモデル取得部１１０は、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する。３Ｄモデル取得部１１０は、例えば、記憶装置４０から対象物３Ｄモデル情報を読み出すことにより、対象物３Ｄモデル情報を取得する。３Ｄモデル取得部１１０は、予め対象物３Ｄモデル情報を保持していても良い。また、３Ｄモデル取得部１１０は、例えば、対象物３Ｄモデル情報を操作受付部１０１が出力した操作情報に基づいて取得しても良い。より具体的には、例えば、ユーザは、対象物３Ｄモデル情報を、入力装置５０を操作することにより入力する。操作受付部１０１は、対象物３Ｄモデル情報を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を３Ｄモデル取得部１１０に出力する。３Ｄモデル取得部１１０は、操作受付部１０１から操作情報を取得することにより、対象物３Ｄモデル情報を取得する。
　３Ｄモデル取得部１１０が取得する対象物３Ｄモデル情報は、対象物の形状又は大きさ等の対象物の構造を示す構造情報等である。対象物３Ｄモデル情報は、構造情報に加えて、対象物を構成する部材の材質、又は表面粗度等の対象物の組成を示す組成情報等を含むものであっても良い。
　図３は、３Ｄモデル取得部１１０が取得する対象物３Ｄモデル情報をコンピュータグラフィックスにより可視化した対象物の３Ｄモデルの一例を示す図である。
　図３に示すように、対象物は、航空機である。対象物は、航空機に限定されるものではなく、自動車又は船舶等の物体であっても良い。
　対象物画像生成部１２０は、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像（以下「対象物模擬レーダ画像」という。）を生成する。
　具体的には、例えば、対象物画像生成部１２０は、対象物に対してレーダ照射を行う際の、対象物に対するレーダの照射方向、又は、レーダの照射方向に対する対象物の向き、対象物に対するレーダ照射の出射位置と対象物との間の距離、又は、対象物に対するレーダ照射の出射位置と対象物との間におけるレーダの散乱率等のパラメータを取得する。
　対象物画像生成部１２０は、例えば、当該パラメータを操作受付部１０１が出力した操作情報に基づいて取得する。より具体的には、例えば、ユーザは、当該パラメータを、入力装置５０を操作することにより入力する。操作受付部１０１は、当該パラメータを示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を対象物画像生成部１２０に出力する。対象物画像生成部１２０は、操作受付部１０１から操作情報を取得することにより、当該パラメータを取得する。対象物画像生成部１２０は、当該パラメータを予め保持していても良いし、記憶装置４０から読み出すことにより取得しても良い。
　対象物画像生成部１２０は、取得した当該パラメータと、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報とに基づいて、対象物に対するレーダ照射を模擬し、対象物模擬レーダ画像を生成する。
　図４は、対象物画像生成部１２０が、図３に示す対象物の３Ｄモデルを示す対象物３Ｄモデル情報を用いて、対象物に対するレーダ照射を模擬して生成した対象物模擬レーダ画像の一例を示す図である。なお、図４は、対象物模擬レーダ画像の各画素値において、模擬したレーダ照射の反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、対象物模擬レーダ画像をグレースケール画像として可視化したものである。
　レーダ画像取得部１３０は、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得する。具体的には、レーダ画像取得部１３０は、レーダ装置１０が出力したレーダ画像情報を、レーダ装置１０又は記憶装置４０から取得する。
　背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する。
　具体的には、例えば、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示すレーダ画像に対象物等の物体が写っていないレーザ画像を背景画像として取得する。
　図５は、背景画像取得部１４０が取得する背景画像の一例を示す図である。なお、図５は、背景画像の各画素値において、反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、背景画像をグレースケール画像として可視化したものである。
　また例えば、レーダ画像取得部１３０が、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得しても良い。より具体的には、例えば、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち、対象物等の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する。
　背景画像取得部１４０は、例えば、操作受付部１０１が出力した操作情報に基づいて、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち、切り出す画像領域を決定する。より具体的には、例えば、ユーザは、切り出す画像領域を、入力装置５０を操作することにより入力する。操作受付部１０１は、切り出す画像領域を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を背景画像取得部１４０に出力する。背景画像取得部１４０は、操作受付部１０１から操作情報を取得することにより、切り出す画像領域を決定する。
　図６は、レーダ画像取得部１３０が取得するレーダ画像情報が示す広域を撮影したレーダ画像の一例を示す図である。なお、図６は、レーダ画像の各画素値において、反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、レーダ画像をグレースケール画像として可視化したものである。
　背景画像取得部１４０は、図６に示す広域を撮影したレーダ画像のうち、図５に示すような対象物等の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する。
　画像合成部１８０は、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する。
　図７は、画像合成部１８０が生成した合成疑似レーダ画像の一例を示す図である。なお、図７は、合成疑似レーダ画像の各画素値において、反射レーダ信号の強度、及び、模擬したレーダ照射の反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度、及び、模擬したレーダ照射における対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、合成疑似レーダ画像をグレースケール画像として可視化したものである。
　画像合成部１８０は、例えば、操作受付部１０１が出力した操作情報に基づいて、対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。より具体的には、例えば、ユーザは、対象物模擬レーダ画像を貼り付ける背景画像における位置を、入力装置５０を操作することにより入力する。操作受付部１０１は、対象物模擬レーダ画像を貼り付ける背景画像における位置を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を画像合成部１８０に出力する。画像合成部１８０は、操作受付部１０１から操作情報を取得することにより、対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。
　また例えば、学習用データ生成装置１００が位置決定部１６０を備える場合、対象物模擬レーダ画像を貼り付ける背景画像における位置は、位置決定部１６０により決定されても良い。
　位置決定部１６０は、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
　また、画像合成部１８０は、対象物画像生成部１２０が生成した対象物模擬レーダ画像を所定の大きさに変更し、大きさを変更した後の対象物模擬レーダ画像を、背景画像取得部１４０が取得した背景画像における所定の位置に貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成しても良い。
　例えば、学習用データ生成装置１００がサイズ決定部１７０を備える場合、対象物模擬レーダ画像の変更後の大きさは、サイズ決定部１７０により決定される。
　サイズ決定部１７０は、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
　学習用データ生成部１９０は、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する。学習用データ生成部１９０は、画像合成部１８０が、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成しても良い。
　より具体的には、例えば、学習用データ生成部１９０は、学習用データ生成装置１００が埋め込み座標取得部１８１を備える場合、画像合成部１８０が背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を埋め込み座標取得部１８１により取得し、取得した当該画像を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成しても良い。
　埋め込み座標取得部１８１は、画像合成部１８０が背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を画像合成部１８０から取得する。埋め込み座標取得部１８１は、取得した当該情報を学習用データ生成部１９０に出力する。
　学習用データ出力部１９９は、学習用データ生成部１９０が生成した学習用データを出力する。
　図８Ａ及び図８Ｂを参照して、実施の形態１に係る学習用データ生成装置１００の要部のハードウェア構成について説明する。
　図８Ａ及び図８Ｂは、実施の形態１に係る学習用データ生成装置１００の要部のハードウェア構成の一例を示す図である。
　図８Ａに示す如く、学習用データ生成装置１００はコンピュータにより構成されており、当該コンピュータはプロセッサ２０１及びメモリ２０２を有している。メモリ２０２には、当該コンピュータを操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９として機能させるためのプログラムが記憶されている。メモリ２０２に記憶されているプログラムをプロセッサ２０１が読み出して実行することにより、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９が実現される。
　また、図８Ｂに示す如く、学習用データ生成装置１００は処理回路２０３により構成されても良い。この場合、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９の機能が処理回路２０３により実現されても良い。
　また、学習用データ生成装置１００はプロセッサ２０１、メモリ２０２及び処理回路２０３により構成されても良い（不図示）。この場合、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９の機能のうちの一部の機能がプロセッサ２０１及びメモリ２０２により実現されて、残余の機能が処理回路２０３により実現されるものであっても良い。
　プロセッサ２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ２０２は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＳＳＤ、又はＨＤＤなどを用いたものである。
　処理回路２０３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　図９を参照して、実施の形態１に係る学習用データ生成装置１００の動作について説明する。
　図９は、実施の形態１に係る学習用データ生成装置１００の処理の一例を説明するフローチャートである。
　学習用データ生成装置１００は、例えば、当該フローチャートの処理を繰り返して実行する。
　まず、ステップＳＴ９０１にて、３Ｄモデル取得部１１０は、対象物３Ｄモデル情報を取得する。
　次に、ステップＳＴ９０２にて、対象物画像生成部１２０は、対象物模擬レーダ画像を生成する。
　次に、ステップＳＴ９０３にて、レーダ画像取得部１３０は、レーダ画像情報を取得する。
　次に、ステップＳＴ９０４にて、背景画像取得部１４０は、背景画像を取得する。
　次に、ステップＳＴ９０５にて、位置決定部１６０は、対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
　次に、ステップＳＴ９０６にて、サイズ決定部１７０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
　次に、ステップＳＴ９０７にて、画像合成部１８０は、合成疑似レーダ画像を生成する。
　次に、ステップＳＴ９０８にて、埋め込み座標取得部１８１は、画像合成部１８０が背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する。
　次に、ステップＳＴ９０９にて、学習用データ生成部１９０は、学習用データを生成する。
　次に、ステップＳＴ９１０にて、学習用データ出力部１９９は、学習用データを出力する。
　学習用データ生成装置１００は、ステップＳＴ９１０の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ９０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、当該フローチャートの処理において、ステップＳＴ９０１の処理がステップＳＴ９０２の処理より先行し、且つ、ステップＳＴ９０３の処理がステップＳＴ９０４の処理より先行し、且つ、ステップＳＴ９０１からステップＳＴ９０４までの処理がステップＳＴ９０５より先行していれば、ステップＳＴ９０１からステップＳＴ９０４までの処理の順序は、任意である。
　また、当該フローチャートの処理を繰り返し実行する際に、対象物３Ｄモデル情報を変更する必要が無い場合、ステップＳＴ９０１の処理を省略することが可能である。
　また、当該フローチャートの処理を繰り返し実行する際に、レーダ画像情報を変更する必要が無い場合、ステップＳＴ９０３の処理を省略することが可能である。
　画像合成部１８０が、背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する方法について説明する。
　画像合成部１８０が合成疑似レーダ画像を生成する第１の方法について説明する。
　画像合成部１８０における背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する方法について説明する。
　画像合成部１８０は、例えば、対象物模擬レーダ画像の各画素値と、対象物模擬レーダ画像を合成する背景画像の、対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値とを加算することにより、背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する。
　画像合成部１８０が合成疑似レーダ画像を生成する第２の方法について説明する。
　対象物画像生成部１２０が、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成し、且つ、背景画像取得部１４０が、背景画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として背景画像を取得する場合、画像合成部１８０は、例えば、以下に示すように背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成しても良い。
　当該場合、例えば、画像合成部１８０は、対象物模擬レーダ画像の各画素値と、対象物模擬レーダ画像を合成する背景画像の、対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値とを比較し、対象物模擬レーダ画像の画素値が背景画像の画素値より大きい画素について、背景画像の画素値を対象物模擬レーダ画像の画素値を置き換えることにより、背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する。
　画像合成部１８０が合成疑似レーダ画像を生成する第１及び第２の方法は、一例に過ぎず、画像合成部１８０が背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する方法は、上述の第１及び第２の方法に限定されるものではない。
　図１０及び図１１を参照して、実施の形態１に係る画像合成部１８０の動作について説明する。
　図１０は、実施の形態１に係る画像合成部１８０の処理の一例を説明するフローチャートである。すなわち、図１０は、図９に示すステップＳＴ９０７の処理を示すフローチャートである。図１０に示すフローチャートは、画像合成部１８０が合成疑似レーダ画像を生成する第１の方法における画像合成部１８０の動作を示すものである。
　まず、ステップＳＴ１００１にて、画像合成部１８０は、対象物模擬レーダ画像を取得する。
　次に、ステップＳＴ１００２にて、画像合成部１８０は、背景画像を取得する。
　次に、ステップＳＴ１００３にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける位置を取得する。
　次に、ステップＳＴ１００４にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさを取得する。
　次に、ステップＳＴ１００５にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像の大きさを変更する。
　次に、ステップＳＴ１００６にて、画像合成部１８０は、対象物模擬レーダ画像における画素と、当該画素に対応する背景画像における画素とを選択する。
　次に、ステップＳＴ１００７にて、画像合成部１８０は、選択した背景画像における画素の画素値に、選択した対象物模擬レーダ画像における画素の画素値を加算する。
　次に、ステップＳＴ１００８にて、画像合成部１８０は、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
　ステップＳＴ１００８にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０は、ステップＳＴ１００６の処理に戻って、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ１００６からステップＳＴ１００８までの処理を繰り返し実行する。
　ステップＳＴ１００８にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０は、当該フローチャートの処理を終了する。
　なお、当該フローチャートの処理において、ステップＳＴ１００１からステップＳＴ１００４までの処理の順序は任意である。
　また、学習用データ生成装置１００は、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像と対象物模擬レーダ画像とを合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０は、ステップＳＴ１００７の処理において、背景画像における画素の画素値に、対象物模擬レーダ画像における画素の画素値を加算する際に、画像合成部１８０は、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を背景画像における画素の画素値に加算しても良い。
　このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００は、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　図１１は、実施の形態１に係る画像合成部１８０の処理の一例を説明するフローチャートである。すなわち、図１１は、図９に示すステップＳＴ９０７の処理を示すフローチャートである。図１１に示すフローチャートは、画像合成部１８０が合成疑似レーダ画像を生成する第２の方法における画像合成部１８０の動作を示すものである。なお、図１１Ａは、実施の形態１に係る画像合成部１８０の処理フローの一部を示し、図１１Ｂは、実施の形態１に係る画像合成部１８０の処理フローの残部を示したものである。
　まず、ステップＳＴ１１０１にて、画像合成部１８０は、対象物模擬レーダ画像を取得する。
　次に、ステップＳＴ１１０２にて、画像合成部１８０は、背景画像を取得する。
　次に、ステップＳＴ１１０３にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける位置を取得する。
　次に、ステップＳＴ１１０４にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさを取得する。
　次に、ステップＳＴ１１０５にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像の大きさを変更する。
　次に、ステップＳＴ１１０６にて、画像合成部１８０は、対象物模擬レーダ画像における画素と、当該画素に対応する背景画像における画素とを選択する。
　次に、ステップＳＴ１１０７にて、画像合成部１８０は、選択した対象物模擬レーダ画像における画素の画素値が、選択した背景画像における画素の画素値より大きいか否かを判定する。
　ステップＳＴ１１０７にて、画像合成部１８０が、選択した対象物模擬レーダ画像における画素の画素値が、選択した背景画像における画素の画素値より大きいと判定した場合、ステップＳＴ１１０８にて、画像合成部１８０は、選択した背景画像における画素の画素値を、選択した対象物模擬レーダ画像における画素の画素値で置き換える。
　ステップＳＴ１１０８の後、ステップＳＴ１１０９にて、画像合成部１８０は、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
　　ステップＳＴ１１０７にて、画像合成部１８０が、選択した対象物模擬レーダ画像における画素の画素値が、選択した背景画像における画素の画素値より大きくないと判定した場合、画像合成部１８０は、ステップＳＴ１１０９の処理を実行する。
　ステップＳＴ１１０９にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０は、ステップＳＴ１１０６の処理に戻って、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ１１０６からステップＳＴ１１０９までの処理を繰り返し実行する。
　ステップＳＴ１１０９にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０は、当該フローチャートの処理を終了する。
　なお、当該フローチャートの処理において、ステップＳＴ１１０１からステップＳＴ１１０４までの処理の順序は任意である。
　また、学習用データ生成装置１００は、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像と対象物模擬レーダ画像とを合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０は、ステップＳＴ１１０８の処理において、背景画像における画素の画素値を対象物模擬レーダ画像における画素の画素値で置き換える際に、画像合成部１８０は、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値で背景画像における画素の画素値を置き換えても良い。
　このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００は、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　以上のように、学習用データ生成装置１００は、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０と、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを出力する学習用データ出力部１９９と、を備えた。
　このように構成することで、学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
　また、このように構成することで、学習用データ生成装置１００は、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を用いて背景画像を生成するため、対象物の背景を３Ｄモデル化する必要がない。
　また、対象物の背景の３Ｄモデル等から背景画像を数値計算により生成する必要がないため、学習用データを短時間で生成することができる。
　また、学習用データ生成装置１００は、上述の構成において、学習用データ生成部１９０は、画像合成部１８０が、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成するように構成した。
　このように構成することで、学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
　また、学習用データ生成装置１００は、上述の構成に加えて、画像合成部１８０が、背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する埋め込み座標取得部１８１を備え、学習用データ生成部１９０は、埋め込み座標取得部１８１が取得した背景画像における画素の座標を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成するように構成した。
　このように構成することで、学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
　また、学習用データ生成装置１００は、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する位置決定部１６０を備えた。
　このように構成することで、学習用データ生成装置１００は、対象物模擬レーダ画像を背景画像に貼り付ける位置をユーザが入力する手間を省くことができる。
　また、学習用データ生成装置１００は、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定するサイズ決定部１７０を備えた。
　このように構成することで、学習用データ生成装置１００は、対象物模擬レーダ画像を背景画像に貼り付ける大きさをユーザが入力する手間を省くことができる。
　また、学習用データ生成装置１００は、上述の構成において、レーダ画像取得部１３０は、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得するようにした。
　このように構成することで、学習用データ生成装置１００は、背景画像を簡単に取得できる。
　なお、これまでの説明において、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものであり、レーダ画像取得部１３０は、レーダ装置１０が生成したレーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すレーダ画像情報を取得するものとして説明したが、レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像は、レーダ画像情報が示すレーダ画像の各画素値において、反射レーダ信号の強度が、対数スケールに変換され、更に、対数スケールに変換された後の反射レーダ信号の強度が、０から１までの間の値等となるように正規化することにより、レーダ画像をグレースケール化したものであっても良い。
　レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像がグレースケール化されたものである場合、対象物画像生成部１２０は、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成する。更に、画像合成部１８０は、図１１に示すフローチャートの処理を行う。
実施の形態１の変形例．
　図１２及び図１３を参照して実施の形態１の変形例に係る学習装置２０ａについて説明する。
　図１２は、実施の形態１の変形例に係る学習装置２０ａの要部の構成の一例を示すブロック図である。
　実施の形態１の変形例に係る学習装置２０ａは、実施の形態１に係る学習用データ生成装置１００が備える学習用データを生成する機能を有し、生成した学習用データを用いて、レーダ画像に写る対象物を検知又は識別するための機械学習するものである。
　図１２に示すように、学習装置２０ａは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、及び学習済モデル出力部２３を備える。
　学習装置２０ａは、上述の構成に加え、位置決定部１６０、サイズ決定部１７０、及び埋め込み座標取得部１８１を備えるものであっても良い。
　図１２は、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、及び学習済モデル出力部２３に加えて、位置決定部１６０及びサイズ決定部１７０を備えた学習装置２０ａを示している。
　実施の形態１の変形例に係る学習装置２０ａの構成において、実施の形態１に係る学習用データ生成装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図２に記載した符号と同じ符号を付した図１２の構成については、説明を省略する。
　学習部２１は、学習用データ生成部１９０が生成した学習用データを用いて機械学習を行う。具体的には、例えば、学習部２１は、学習用データ生成部１９０が生成した学習用データを用いて、レーダ画像に写る対象物を検知又は識別を行うための深層学習等の教師あり学習を行う。画像認識により対象物の検知又は識別を行うための教師あり学習は、公知であるため説明を省略する。
　学習済モデル生成部２２は、学習部２１が行った機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する。学習済モデル生成部２２が生成する学習済モデル情報が示す学習済モデルは、入力層、中間層、及び出力層等を有するニューラルネットワーク等である。なお、学習済モデル生成部２２は、既に学習済モデル情報を生成済みである場合、学習部２１が行った機械学習により、当該学習済モデル情報が示す学習済モデルを更新して、学習結果に対応する学習済モデルを示す学習済モデル情報を生成しても良い。
　学習済モデル出力部２３は、学習済モデル生成部２２が生成した学習済モデル情報を出力する。具体的には、例えば、学習済モデル出力部２３は、学習済モデル生成部２２が生成した学習済モデル情報を図１に示す推論装置３０又は記憶装置４０に出力する。
　なお、実施の形態１の変形例に係る学習装置２０ａにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、及び学習済モデル出力部２３の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図１３を参照して、実施の形態１の変形例に係る学習装置２０ａの動作について説明する。
　図１３は、実施の形態１の変形例に係る学習装置２０ａの処理の一例を説明するフローチャートである。
　学習装置２０ａは、例えば、当該フローチャートの処理を繰り返して実行する。
　なお、実施の形態１の変形例に係る学習装置２０ａの動作において、図９に示す実施の形態１に係る学習用データ生成装置１００の動作と同様の動作については、同じ符号を付して重複した説明を省略する。すなわち、図９に記載した符号と同じ符号を付した図１３の処理については、説明を省略する。
　まず、学習装置２０ａは、ステップＳＴ９０１からステップＳＴ９０９までの処理を実行する。
　ステップＳＴ９０９の後、ステップＳＴ１３０１にて、学習部２１は、機械学習を行う。
　次に、ステップＳＴ１３０２にて、学習済モデル生成部２２は、学習済モデル情報を生成する。
　次に、ステップＳＴ１３０３にて、学習済モデル出力部２３は、学習済モデル情報を出力する。
　学習装置２０ａは、ステップＳＴ１３０３の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ９０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、学習装置２０ａは、ステップＳＴ１３０１の処理を実行する前に、ステップＳＴ９０１からステップＳＴ９０９までの処理を繰り返し実行するものであっても良い。
　以上のように、学習装置２０ａは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０と、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを用いて機械学習を行う学習部２１と、学習部２１が行った機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部２２と、学習済モデル生成部２２が生成した学習済モデル情報を出力する学習済モデル出力部２３と、を備えた。
　このように構成することで、学習装置２０ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを簡単に生成することができるため、レーダ画像に写る対象物を高精度に検知又は識別できる学習済モデルを生成することができる。
実施の形態１の他の変形例．
　図１４及び図１５を参照して実施の形態１の変形例とは異なる、実施の形態１の他の変形例について説明する。
　図１４は、実施の形態１の他の変形例に係る推論装置３０ａの要部の構成の一例を示すブロック図である。
　実施の形態１の他の変形例に係る推論装置３０ａは、実施の形態１の変形例に係る学習装置２０ａが備える学習用データ及び学習済モデル情報を生成する機能を有し、生成した学習済モデル情報を用いて、取得したレーダ画像に写る対象物を検知又は識別するものである。
　図１４に示すように、推論装置３０ａは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、推論対象レーダ画像取得部３１、推論部３２、及び推論結果出力部３３を備える。
　推論装置３０ａは、上述の構成に加え、位置決定部１６０、サイズ決定部１７０、及び埋め込み座標取得部１８１を備えるものであっても良い。
　図１４は、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、推論対象レーダ画像取得部３１、推論部３２、及び推論結果出力部３３に加えて、位置決定部１６０及びサイズ決定部１７０を備えた推論装置３０ａを示している。
　実施の形態１の他の変形例に係る推論装置３０ａの構成において、実施の形態１の変形例に係る学習装置２０ａと同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１２に記載した符号と同じ符号を付した図１４の構成については、説明を省略する。
　推論対象レーダ画像取得部３１は、レーダ装置１０がレーダ照射することにより生成された推論対象であるレーダ画像を示す推論対象レーダ画像情報を取得する。
　推論部３２は、学習済モデル生成部２２が生成した学習済モデル情報が示す学習済モデルを用いて、推論対象レーダ画像取得部３１が取得した推論対象レーダ画像情報が示すレーダ画像に対象物の像が存在するかを推論する。
　推論結果出力部３３は、推論部３２が推論した推論結果を示す推論結果情報を出力する。具体的には、例えば、推論結果出力部３３は、学推論結果情報を図１に示す出力装置６０に出力する。
　なお、実施の形態１の他の変形例に係る推論装置３０ａにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、推論対象レーダ画像取得部３１、推論部３２、及び推論結果出力部３３の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図１５を参照して、実施の形態１の他の変形例に係る推論装置３０ａの動作について説明する。
　図１５は、実施の形態１の他の変形例に係る推論装置３０ａの処理の一例を説明するフローチャートである。
　なお、実施の形態１の他の変形例に係る推論装置３０ａの動作において、図１３に示す実施の形態１の変形例に係る学習装置２０ａの動作と同様の動作については、同じ符号を付して重複した説明を省略する。すなわち、図１３に記載した符号と同じ符号を付した図１５の処理については、説明を省略する。
　まず、推論装置３０ａは、ステップＳＴ９０１からステップＳＴ９０９までの処理を実行する。
　ステップＳＴ９０９の後、推論装置３０ａは、ステップＳＴ１３０１からステップＳＴ１３０２までの処理を実行する。
　ステップＳＴ１３０２の後、ステップＳＴ１５０１にて、推論対象レーダ画像取得部３１は、推論対象レーダ画像情報を取得する。
　次に、ステップＳＴ１５０２にて、推論部３２は、推論対象レーダ画像情報が示すレーダ画像に対象物の像が存在するかを推論する。
　次に、ステップＳＴ１５０３にて、推論結果出力部３３は、推論結果情報を出力する。
　推論装置３０ａは、ステップＳＴ１５０３の処理を実行した後、当該フローチャートの処理を終了する。
　なお、推論装置３０ａは、ステップＳＴ１３０１の処理を実行する前に、ステップＳＴ９０１からステップＳＴ９０９までの処理を繰り返し実行するものであっても良い。また、推論装置３０ａは、ステップＳＴ１５０１の処理を実行する前に、ステップＳＴ１３０１からステップＳＴ１３０２までの処理を繰り返し実行するものであっても良い。
　以上のように、推論装置３０ａは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０と、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを用いて機械学習を行う学習部２１と、学習部２１が行った機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部２２と、レーダ装置１０がレーダ照射することにより生成された推論対象であるレーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得部３１と、学習済モデル生成部２２が生成した学習済モデル情報が示す学習済モデルを用いて、推論対象レーダ画像取得部３１が取得した推論対象レーダ画像情報が示すレーダ画像に対象物の像が存在するかを推論する推論部３２と、推論部３２が推論した推論結果を示す推論結果情報を出力する推論結果出力部３３と、を備えた。
　このように構成することで、推論装置３０ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを簡単に生成し、生成した学習用データを用いて、レーダ画像に写る対象物を高精度に検知又は識別する学習済モデルを生成することができるため、レーダ画像に写る対象物を高精度に検知又は識別できる。
実施の形態２．
　図１６から図２３を参照して実施の形態２に係る学習用データ生成装置１００ａについて説明する。
　図１６は、実施の形態２に係る学習用データ生成装置１００ａが適用されたレーダシステム１ａの要部の構成の一例を示すブロック図である。
　レーダシステム１ａは、学習用データ生成装置１００ａ、レーダ装置１０、学習装置２０、推論装置３０、記憶装置４０、入力装置５０、及び出力装置６０を備える。
　レーダシステム１ａは、実施の形態１に係るレーダシステム１における学習用データ生成装置１００が、学習用データ生成装置１００ａに変更されたものである。
　なお、学習用データ生成装置１００ａ、学習装置２０、及び記憶装置４０を備えた構成は、学習システム２ａとして動作する。
　また、学習用データ生成装置１００ａ、学習装置２０、推論装置３０、及び記憶装置４０を備えた構成は、推論システム３ａとして動作する。
　実施の形態２に係るレーダシステム１ａの構成において、実施の形態１に係るレーダシステム１と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図１６の構成については、説明を省略する。
　図１７を参照して、実施の形態２に係る学習用データ生成装置１００ａの要部の構成について説明する。
　図１７は、実施の形態２に係る学習用データ生成装置１００ａの要部の構成の一例を示すブロック図である。
　学習用データ生成装置１００ａは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、影画像生成部１５０、画像合成部１８０ａ、学習用データ生成部１９０、及び学習用データ出力部１９９を備える。
　学習用データ生成装置１００ａは、上述の構成に加え、ノイズ画像取得部１５１、位置決定部１６０ａ、サイズ決定部１７０ａ、及び埋め込み座標取得部１８１ａを備えるものであっても良い。
　実施の形態２に係る学習用データ生成装置１００ａは、図１７に示すように、ノイズ画像取得部１５１、位置決定部１６０ａ、及びサイズ決定部１７０ａを備えるものとして説明する。
　図１７に示す学習用データ生成装置１００ａは、図２に示す実施の形態１に係る学習用データ生成装置１００の構成に影画像生成部１５０及びノイズ画像取得部１５１が追加され、更に、実施の形態１に係る学習用データ生成装置１００における画像合成部１８０、位置決定部１６０、及びサイズ決定部１７０が、画像合成部１８０ａ、位置決定部１６０ａ、及びサイズ決定部１７０ａに変更されたものである。
　実施の形態２に係る学習用データ生成装置１００ａの構成において、実施の形態１に係る学習用データ生成装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図２に記載した符号と同じ符号を付した図１７の構成については、説明を省略する。
　影画像生成部１５０は、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す疑似レーダ画像（以下「影疑似レーダ画像」という。）を生成する。
　より具体的には、例えば、影画像生成部１５０は、影疑似レーダ画像におけるレーダシャドウとなる領域を、以下の式（１）及び式（２）に基づいて算出する。
　Ｘ０＝Ｘ＋Ｚ×ｔａｎθ　・・・　式（１）
　Ｙ０＝Ｙ　・・・　式（２）
　ここで、（Ｘ０，Ｙ０）は、影疑似レーダ画像におけるレーダシャドウとなる任意の座標である。また、（Ｘ，Ｙ，Ｚ）は、模擬したレーダ照射におけるレーダ信号が出力される位置を原点とするＸＹＺ座標系における対象物３Ｄモデル情報が示す対象物の３Ｄモデル表面上の位置である。また、θは、当該ＸＹＺ座標系における原点から（Ｘ，Ｙ，Ｚ）により示される対象物の３Ｄモデル表面上の位置に向かう方方向とＺ軸とが成す角度である。すなわち、θは、（Ｘ，Ｙ，Ｚ）により示される対象物の３Ｄモデル表面上の位置における模擬したレーダ照射におけるレーダ信号の照射角度である。
　影画像生成部１５０は、例えば、（Ｘ０，Ｙ０）により示される影疑似レーダ画像におけるレーダシャドウとなる任意の座標の値、すなわち、影疑似レーダ画像におけるレーダシャドウとなる画素の画素値を、１等の所定値とし、（Ｘ０，Ｙ０）以外の任意の座標の値、すなわち、影疑似レーダ画像におけるレーダシャドウとならない画素の画素値を上述の所定値より大きい値とした矩形画像として、影疑似レーダ画像を生成する。
　図１８は、影画像生成部１５０が、図３に示す対象物の３Ｄモデルを示す対象物３Ｄモデル情報を用いて、対象物に対するレーダ照射を模擬して生成した影疑似レーダ画像の一例を示す図である。なお、図１８に示す影疑似レーダ画像は、影疑似レーダ画像におけるレーダシャドウとなる画素の画素値を０とし、レーダシャドウとならない画素の画素値を１となるように正規化した２値のモノクロ画像として可視化したものである。
　画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像と、影画像生成部１５０が生成した影模擬レーダ画像とを貼り付けて、背景画像、対象物模擬レーダ画像、及び、影模擬レーダ画像を合成した合成疑似レーダ画像を生成する。
　図１９は、画像合成部１８０ａが生成した合成疑似レーダ画像の一例を示す図である。なお、図１９は、合成疑似レーダ画像の各画素値において、０から１までの間の値となるように正規化することにより、合成疑似レーダ画像をグレースケール画像として可視化したものである。
　ノイズ画像取得部１５１は、影画像生成部１５０が生成する影疑似レーダ画像にノイズを付加するためのノイズ画像を取得する。
　ノイズ画像取得部１５１は、例えば、ノイズ画像を示すノイズ画像情報を記憶装置４０から読み出すことにより取得する。また、例えば、ノイズ画像取得部１５１は、ノイズ画像取得部１５１が、レーダ画像取得部１３０が取得したレーダ画像情報が示すレーダ画像、又は、背景画像取得部１４０が、レーダ画像取得部１３０が取得したレーダ画像情報を用いて取得した背景画像に基づいて演算処理を行うことにより、ガウシアンノイズ又はレイリーノイズ等のノイズを示すノイズ画像を生成して取得しても良い。また、例えば、ノイズ画像取得部１５１は、ノイズ画像取得部１５１が、演算処理を行うことにより、ランダムノイズ等のノイズを示すノイズ画像を生成して取得しても良い。
　図２０は、ノイズ画像取得部１５１が取得したノイズ画像の一例を示す図である。なお、図２０は、ノイズ画像の各画素値において、０から１までの間の値となるように正規化することにより、ノイズ画像をグレースケール画像として可視化したものである。
　例えば、学習用データ生成装置１００ａがノイズ画像取得部１５１を備える場合、画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像に、影画像生成部１５０が生成した影模擬レーダ画像を貼り付けた領域に、ノイズ画像取得部１５１が取得したノイズ画像が示すノイズを付加し、更に、対象物模擬レーダ画像を貼り付けることにより、合成疑似レーダ画像を生成する。より具体的には、例えば、画像合成部１８０ａは、背景画像に影模擬レーダ画像を貼り付けた領域の各画素の画素値に、当該領域の各画素に対応するノイズ画像の画素の画素値を加算して、背景画像に影模擬レーダ画像を貼り付けた領域にノイズ画像が示すノイズを付加する。
　画像合成部１８０ａは、例えば、操作受付部１０１が出力した操作情報に基づいて、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を取得する。より具体的には、例えば、ユーザは、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を、入力装置５０を操作することにより入力する。操作受付部１０１は、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を画像合成部１８０ａに出力する。画像合成部１８０ａは、操作受付部１０１から操作情報を取得することにより、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を取得する。
　また例えば、学習用データ生成装置１００ａが位置決定部１６０ａを備える場合、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける位置は、位置決定部１６０ａにより決定されても良い。
　位置決定部１６０ａは、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける位置を決定する。
　また、画像合成部１８０ａは、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を所定の大きさに変更し、大きさを変更した後の対象物模擬レーダ画像及び影模擬レーダ画像を、背景画像取得部１４０が取得した背景画像における所定の位置に貼り付けて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成した合成疑似レーダ画像を生成しても良い。
　例えば、学習用データ生成装置１００ａがサイズ決定部１７０ａを備える場合、対象物模擬レーダ画像及び影模擬レーダ画像の変更後の大きさは、サイズ決定部１７０ａにより決定される。
　サイズ決定部１７０ａは、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
　学習用データ生成部１９０は、画像合成部１８０ａが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する。学習用データ生成部１９０は、画像合成部１８０ａが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成しても良い。
　埋め込み座標取得部１８１ａは、画像合成部１８０ａが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を画像合成部１８０ａから取得する。埋め込み座標取得部１８１ａは、取得した当該情報を学習用データ生成部１９０に出力する。例えば、学習用データ生成部１９０は、学習用データ生成装置１００ａが埋め込み座標取得部１８１ａを備える場合、画像合成部１８０ａが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成しても良い。
　なお、実施の形態２に係る学習用データ生成装置１００ａにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、影画像生成部１５０、ノイズ画像取得部１５１、位置決定部１６０ａ、サイズ決定部１７０ａ、画像合成部１８０ａ、埋め込み座標取得部１８１ａ、学習用データ生成部１９０、及び学習用データ出力部１９９の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図２１を参照して、実施の形態２に係る学習用データ生成装置１００ａの動作について説明する。
　図２１は、実施の形態２に係る学習用データ生成装置１００ａの処理の一例を説明するフローチャートである。
　学習用データ生成装置１００ａは、例えば、当該フローチャートの処理を繰り返して実行する。
　なお、実施の形態２に係る学習用データ生成装置１００ａの動作において、図９に示す実施の形態１に係る学習用データ生成装置１００の動作と同様の動作については、同じ符号を付して重複した説明を省略する。すなわち、図９に記載した符号と同じ符号を付した図２１の処理については、説明を省略する。
　まず、学習用データ生成装置１００ａは、ステップＳＴ９０１からステップＳＴ９０４までの処理を実行する。
　ステップＳＴ９０４の後、ステップＳＴ２１０１にて、影画像生成部１５０は、影疑似レーダ画像を生成する。
　次に、ステップＳＴ２１０２にて、ノイズ画像取得部１５１は、ノイズ画像を取得する。
　次に、ステップＳＴ２１０３にて、位置決定部１６０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置を決定する。
　次に、ステップＳＴ２１０４にて、サイズ決定部１７０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさを決定する。
　次に、ステップＳＴ２１０５にて、画像合成部１８０ａは、合成疑似レーダ画像を生成する。
　次に、ステップＳＴ２１０６にて、埋め込み座標取得部１８１ａは、画像合成部１８０ａが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する。
　次に、ステップＳＴ２１０７にて、学習用データ生成部１９０は、学習用データを生成する。
　次に、ステップＳＴ２１０８にて、学習用データ出力部１９９は、学習用データを出力する。
　学習用データ生成装置１００ａは、ステップＳＴ２１０８の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ９０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、当該フローチャートの処理において、ステップＳＴ２１０２の処理がステップＳＴ２１０７の処理より先行していれば、ステップＳＴ２１０２の処理の順序は、任意である。
　また、当該フローチャートの処理において、ステップＳＴ９０１の処理がステップＳＴ９０２及びステップＳＴ２１０１の処理より先行し、且つ、ステップＳＴ９０３の処理がステップＳＴ９０４の処理より先行し、且つ、ステップＳＴ９０１からステップＳＴ９０４までの処理、及び、ステップＳＴ２１０１の処理が、ステップＳＴ２１０３より先行していれば、ステップＳＴ９０１からステップＳＴ９０４までの処理、及び、ステップＳＴ２１０１の処理の順序は、任意である。
　画像合成部１８０ａが、背景画像、対象物模擬レーダ画像、及び影疑似レーダ画像を合成して合成疑似レーダ画像を生成する方法について説明する。
　画像合成部１８０ａが合成疑似レーダ画像を生成する第１の方法について説明する。
　画像合成部１８０ａは、例えば、背景画像の画素のうち、影画像生成部１５０が生成した影模擬レーダ画像におけるレーダシャドウとなる領域の画素、すなわち、影模擬レーダ画像における画素値が１等の所定値である画素に対応する画素の画素値を、影模擬レーダ画像の画素値と置き換えることにより、背景画像に影模擬レーダ画像を貼り付ける。
　画像合成部１８０ａは、学習用データ生成装置１００ａがノイズ画像取得部１５１を備える場合、画像合成部１８０ａは、例えば、背景画像に影模擬レーダ画像を貼り付けた領域のうち、背景画像の画素値を影模擬レーダ画像の画素値と置き換えた各画素の画素値に、当該画素に対応するノイズ画像の画素の画素値を加算して、背景画像に影模擬レーダ画像を貼り付けた領域にノイズ画像が示すノイズを付加する。
　画像合成部１８０ａは、背景画像に影模擬レーダ画像を貼り付けた後、又は、貼り付けた影模擬レーダ画像にノイズを付加した後、例えば、対象物模擬レーダ画像の各画素値を、背景画像の対象物模擬レーダ画像の各画素の位置に対応する画素の画素値に、加算することにより、影模擬レーダ画像を貼り付けた後の背景画像に対象物模擬レーダ画像を貼り付けて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成して合成疑似レーダ画像を生成する。
　画像合成部１８０ａが合成疑似レーダ画像を生成する第２の方法について説明する。
　対象物画像生成部１２０が、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成し、且つ、影画像生成部１５０が、影模擬レーダ画像の各画素値において、レーダシャドウになる画素の画素値を０とし、レーダシャドウにならない画像の画素値を１とする２値のモノクロ画像として影模擬レーダ画像を生成し、且つ、背景画像取得部１４０が、背景画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として背景画像を取得する場合、画像合成部１８０ａは、例えば、以下に示すように合成疑似レーダ画像を生成しても良い。
　当該場合、例えば、画像合成部１８０ａは、以下の式（３）を用いて、背景画像に影模擬レーダ画像を貼り付ける領域における、背景画像に影模擬レーダ画像を貼り付けた後の各画素値を算出して、対応する背景画像の画素値を算出した画素値に置き換え、影模擬レーダ画像を貼り付けた後の背景画像を生成する。
　［背景画像の画素値を置き換える画素値］＝［背景画像の画素値］×［影模擬レーダ画像の画素値］　・・・　式（３）
　式（３）を用いて背景画像の画素値を置き換える画素値を算出することにより、影模擬レーダ画像を貼り付けた後の背景画像の各画素値を、レーダシャドウになる画素の画素値を０にし、レーダシャドウにならない画素の画素値を背景画像取得部１４０が取得した背景画像の画素値にすることができる。
　画像合成部１８０ａは、学習用データ生成装置１００ａがノイズ画像取得部１５１を備える場合は、以下の式（４）を用いて、背景画像に影模擬レーダ画像を貼り付ける領域における、背景画像に影模擬レーダ画像を貼り付けた後にノイズを付加した各画素値を算出して、対応する背景画像の画素値を算出した画素値に置き換え、影模擬レーダ画像を貼り付けた後にノイズを付加した背景画像を生成する。
　［背景画像の画素値を置き換える画素値］＝［背景画像の画素値］×［影模擬レーダ画像の画素値］＋［ノイズ画像の画素値］×（１－［影模擬レーダ画像の画素値］）　・・・　式（４）
　式（４）を用いて背景画像の画素値を置き換える画素値を算出することにより、背景画像における影模擬レーダ画像を貼り付けた領域のうち、レーダシャドウになる領域のみにノイズを付加することができる。
　なお、上述の説明では、影画像生成部１５０が、２値のモノクロ画像として影模擬レーダ画像を生成するものとして説明したが、影模擬レーダ画像を背景画像に貼り付ける際に、影模擬レーダ画像を拡大又は縮小すると、レーダシャドウになる領域とレーダシャドウにならない領域との境界における画素値が０から１までの間の値になる場合がある。当該場合においても、式（３）又は式（４）を適用することができる。
　画像合成部１８０ａは、背景画像に影模擬レーダ画像を貼り付けた後、又は、貼り付けた影模擬レーダ画像にノイズを付加した後、例えば、対象物模擬レーダ画像の各画素値と、背景画像に影模擬レーダ画像を貼り付けた後、又は、貼り付けた影模擬レーダ画像にノイズを付加した後の背景画像における対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値とを比較し、対象物模擬レーダ画像の画素値が当該背景画像の画素値より大きい画素について、当背景画像の画素値を対象物模擬レーダ画像の画素値を置き換えることにより、合成疑似レーダ画像を生成する。
　画像合成部１８０ａが合成疑似レーダ画像を生成する第１及び第２の方法は、一例に過ぎず、画像合成部１８０ａが、背景画像、対象物模擬レーダ画像、及び影疑似レーダ画像を合成して合成疑似レーダ画像を生成する方法は、上述の第１及び第２の方法に限定されるものではない。
　図２２及び図２３を参照して、実施の形態２に係る画像合成部１８０ａの動作について説明する。
　図２２は、実施の形態２に係る画像合成部１８０ａの処理の一例を説明するフローチャートである。すなわち、図２２は、図２１に示すステップＳＴ２１０５の処理を示すフローチャートである。図２２に示すフローチャートは、画像合成部１８０ａが合成疑似レーダ画像を生成する第１の方法における画像合成部１８０ａの動作を示すものである。なお、図２２Ａは、実施の形態２に係る画像合成部１８０ａの処理フローの一部を示し、図２２Ｂは、実施の形態２に係る画像合成部１８０ａの処理フローの残部を示したものである。
　まず、ステップＳＴ２２０１にて、画像合成部１８０ａは、対象物模擬レーダ画像を取得する。
　次に、ステップＳＴ２２０２にて、画像合成部１８０ａは、影疑似レーダ画像を取得する。
　次に、ステップＳＴ２２０３にて、画像合成部１８０ａは、ノイズ画像を取得する。
　次に、ステップＳＴ２２０４にて、画像合成部１８０ａは、背景画像を取得する。
　次に、ステップＳＴ２２０５にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置を取得する。
　次に、ステップＳＴ２２０６にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさを取得する。
　次に、ステップＳＴ２２０７にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像及び影疑似レーダ画像の大きさを変更する。
　次に、ステップＳＴ２２１１にて、画像合成部１８０ａは、影模擬レーダ画像におけるレーダシャドウとなる領域の画素と、当該画素に対応する背景画像における画素とを選択する。
　次に、ステップＳＴ２２１２にて、画像合成部１８０ａは、選択した背景画像における画素の画素値を、選択した影模擬レーダ画像における画素の画素値に置き換える。
　次に、ステップＳＴ２２１３にて、画像合成部１８０ａは、選択した背景画像における画素に対応するノイズ画像における画素を選択する。
　次に、ステップＳＴ２２１４にて、画像合成部１８０ａは、選択した背景画像における画素の画素値に、選択したノイズ画像における画素の画素値を加算する。
　次に、ステップＳＴ２２１５にて、画像合成部１８０ａは、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択したか否かを判定する。
　ステップＳＴ２２１５にて、画像合成部１８０ａが、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２２１１の処理に戻って、画像合成部１８０ａが、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択したと判定するまで、ステップＳＴ２２１１からステップＳＴ２２１５までの処理を繰り返し実行する。
　ステップＳＴ２２１５にて、画像合成部１８０ａが、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択したと判定した場合、画像合成部１８０ａは、ステップＳＴ２２２１にて、画像合成部１８０ａは、対象物模擬レーダ画像における画素と、当該画素に対応する背景画像における画素とを選択する。
　次に、ステップＳＴ２２２２にて、画像合成部１８０ａは、選択した背景画像における画素の画素値に、選択した対象物模擬レーダ画像における画素の画素値を加算する。
　次に、ステップＳＴ２２２３にて、画像合成部１８０ａは、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
　ステップＳＴ２２２３にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２２２１の処理に戻って、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ２２２１からステップＳＴ２２２３までの処理を繰り返し実行する。
　ステップＳＴ２２２３にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０ａは、当該フローチャートの処理を終了する。
　なお、当該フローチャートの処理において、ステップＳＴ２２０１からステップＳＴ２２０６までの処理の順序は任意である。
　また、当該フローチャートの処理において、ステップＳＴ２２１３及びステップＳＴ２２１４の処理は、学習用データ生成装置１００ａがノイズ画像取得部１５１を備えていない場合は省略される。
　また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、影模擬レーダ画像におけるレーダシャドウになる領域をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２２１２の処理において、背景画像における画素の画素値を影模擬レーダ画像における画素の画素値で置き換えた後に、画像合成部１８０ａは、背景画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を置き換えた後の背景画像における画素の画素値に加算しても良い。
　このようにして生成された影模擬レーダ画像におけるレーダシャドウになる領域が貼り付けられた背景画像は、影模擬レーダ画像におけるレーダシャドウになる領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像におけるレーダシャドウになる領域に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２２２２の処理において、背景画像における画素の画素値に、対象物模擬レーダ画像における画素の画素値を加算する際に、画像合成部１８０ａは、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を背景画像における画素の画素値に加算しても良い。
　このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　図２３は、実施の形態２に係る画像合成部１８０ａの処理の一例を説明するフローチャートである。すなわち、図２３は、図２１に示すステップＳＴ２１０５の処理を示すフローチャートである。図２３に示すフローチャートは、画像合成部１８０ａが合成疑似レーダ画像を生成する第２の方法における画像合成部１８０ａの動作を示すものである。なお、図２３Ａは、実施の形態２に係る画像合成部１８０ａの処理フローの一部を示し、図２３Ｂは、実施の形態２に係る画像合成部１８０ａの処理フローの残部を示したものである。
　まず、ステップＳＴ２３０１にて、画像合成部１８０ａは、対象物模擬レーダ画像を取得する。
　次に、ステップＳＴ２３０２にて、画像合成部１８０ａは、影疑似レーダ画像を取得する。
　次に、ステップＳＴ２３０３にて、画像合成部１８０ａは、ノイズ画像を取得する。
　次に、ステップＳＴ２３０４にて、画像合成部１８０ａは、背景画像を取得する。
　次に、ステップＳＴ２３０５にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置を取得する。
　次に、ステップＳＴ２３０６にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさを取得する。
　次に、ステップＳＴ２３０７にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像及び影疑似レーダ画像の大きさを変更する。
　次に、ステップＳＴ２３１１にて、画像合成部１８０ａは、影模擬レーダ画像における画素、当該画素に対応するノイズ画像における画素、及び、当該画素に対応する背景画像における画素を選択する。
　次に、ステップＳＴ２３１２にて、画像合成部１８０ａは、式（４）を用いて、選択した背景画像の画素値を置き換える画素値を算出する。
　次に、ステップＳＴ２３１３にて、画像合成部１８０ａは、選択した背景画像における画素の画素値を、算出した画素値に置き換える。
　次に、ステップＳＴ２３１４にて、画像合成部１８０ａは、影模擬レーダ画像における全ての画素を選択したか否かを判定する。
　ステップＳＴ２３１４にて、画像合成部１８０ａが、影模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２３１１の処理に戻って、画像合成部１８０ａが、影模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ２３１１からステップＳＴ２３１４までの処理を繰り返し実行する。
　ステップＳＴ２３１４にて、画像合成部１８０ａが、影模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０ａは、ステップＳＴ２３２１の処理を実行する。
　ステップＳＴ２３２１にて、画像合成部１８０ａは、対象物模擬レーダ画像における画素と、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素とを選択する。
　次に、ステップＳＴ２３２２にて、画像合成部１８０ａは、選択した対象物模擬レーダ画像における画素の画素値が、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値より大きいか否かを判定する。
　ステップＳＴ２３２２にて、画像合成部１８０ａが、選択した対象物模擬レーダ画像における画素の画素値が、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値より大きいと判定した場合、ステップＳＴ２３２３にて、画像合成部１８０ａは、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値を、選択した対象物模擬レーダ画像における画素の画素値で置き換える。
　ステップＳＴ２３２３の後、ステップＳＴ２３２４にて、画像合成部１８０ａは、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
　ステップＳＴ２３２２にて、画像合成部１８０ａが、選択した対象物模擬レーダ画像における画素の画素値が、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値より大きくないと判定した場合、画像合成部１８０ａは、ステップＳＴ２３２４の処理を実行する。
　ステップＳＴ２３２４にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２３２１の処理に戻って、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ２３２１からステップＳＴ２３２４までの処理を繰り返し実行する。
　ステップＳＴ２３２４にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０ａは、当該フローチャートの処理を終了する。
　なお、当該フローチャートの処理において、ステップＳＴ２３０１からステップＳＴ２３０６までの処理の順序は任意である。
　また、当該フローチャートの処理において、ステップＳＴ２３１２の処理は、学習用データ生成装置１００ａがノイズ画像取得部１５１を備えていない場合、式（３）を用いて、選択した背景画像の画素値を置き換える画素値を算出する。
　また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、影模擬レーダ画像におけるレーダシャドウになる領域をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２３１２の処理の後、影模擬レーダ画像におけるレーダシャドウになる領域が貼り付けられた背景画像の領域の画素において、画像合成部１８０ａは、式（４）を用いて算出した画素値に置き換える前の背景画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を、式（４）を用いて算出した画素値に置き換えた後の背景画像における画素の画素値に加算しても良い。
　このようにして生成された影模擬レーダ画像におけるレーダシャドウになる領域が貼り付けられた背景画像は、影模擬レーダ画像におけるレーダシャドウになる領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像におけるレーダシャドウになる領域に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　　また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２３２３の処理において、背景画像における画素の画素値を、対象物模擬レーダ画像における画素の画素値で置き換える際に、画像合成部１８０ａは、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値で背景画像における画素の画素値を置き換えても良い。
　このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　以上のように、学習用データ生成装置１００ａは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０ａと、画像合成部１８０ａが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを出力する学習用データ出力部１９９と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す影疑似レーダ画像を生成する影画像生成部１５０とを備え、画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像と、影画像生成部１５０が生成した影模擬レーダ画像とを貼り付けて、背景画像、対象物模擬レーダ画像、及び、影模擬レーダ画像を合成した合成疑似レーダ画像を生成するように構成した。
　このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
　また、このように構成することで、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　また、このように構成することで、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を用いて背景画像を生成するため、対象物の背景を３Ｄモデル化する必要がない。
　また、対象物の背景の３Ｄモデル等から背景画像を数値計算により生成する必要がないため、学習用データを短時間で生成することができる。
　また、学習用データ生成装置１００ａは、上述の構成において、学習用データ生成部１９０は、画像合成部１８０ａが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成するように構成した。
　このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
　また、学習用データ生成装置１００ａは、上述の構成に加えて、画像合成部１８０ａが、背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する埋め込み座標取得部１８１ａを備え、学習用データ生成部１９０は、埋め込み座標取得部１８１ａが取得した背景画像における画素の座標を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成するように構成した。
　このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
　また、学習用データ生成装置１００ａは、上述の構成に加えて、影画像生成部１５０が生成する影疑似レーダ画像にノイズを付加するためのノイズ画像を取得するノイズ画像取得部１５１を備え、画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像に、影画像生成部１５０が生成した影模擬レーダ画像を貼り付けた領域に、ノイズ画像取得部１５１が取得したノイズ画像が示すノイズを付加し、更に、対象物模擬レーダ画像を貼り付けることにより、合成疑似レーダ画像を生成するように構成した。
　このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
　また、このように構成することで、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　また、学習用データ生成装置１００ａは、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける位置を決定する位置決定部１６０ａを備えた。
　このように構成することで、学習用データ生成装置１００ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置をユーザが入力する手間を省くことができる。
　また、学習用データ生成装置１００ａは、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける大きさを決定するサイズ決定部１７０ａを備えた。
　このように構成することで、学習用データ生成装置１００ａは、対象物模擬レーダ画像を背景画像に貼り付ける大きさをユーザが入力する手間を省くことができる。
　また、学習用データ生成装置１００ａは、上述の構成において、レーダ画像取得部１３０は、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得するようにした。
　このように構成することで、学習用データ生成装置１００ａは、背景画像を簡単に取得できる。
　なお、これまでの説明において、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものであり、レーダ画像取得部１３０は、レーダ装置１０が生成したレーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すレーダ画像情報を取得するものとして説明したが、レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像は、レーダ画像情報が示すレーダ画像の各画素値において、反射レーダ信号の強度が、対数スケールに変換され、更に、対数スケールに変換された後の反射レーダ信号の強度が、０から１までの間の値等となるように正規化することにより、レーダ画像をグレースケール化したものであっても良い。
　レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像がグレースケール化されたものである場合、例えば、対象物画像生成部１２０が、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成する。また、影画像生成部１５０は、影模擬レーダ画像の各画素値において、レーダシャドウになる画素の画素値を０とし、レーダシャドウにならない画像の画素値を１とする２値のモノクロ画像等として影模擬レーダ画像を生成する。また、ノイズ画像取得部１５１が、ノイズ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像としてノイズ画像を取得する。更に、画像合成部１８０ａは、図２３のフローチャートに示す処理を行う。
実施の形態３．
　図２４から図２６を参照して実施の形態３に係る学習用データ生成装置１００ｂについて説明する。
　実施の形態２に係る学習用データ生成装置１００ａは、生成した対象物模擬レーダ画像と、生成した影疑似レーダ画像とを、取得した背景画像に貼り付けて、背景画像、対象物模擬レーダ画像、及び、影模擬レーダ画像を合成した合成疑似レーダ画像を生成するものであった。
　これに対して、実施の形態３に係る学習用データ生成装置１００ｂは、生成した影疑似レーダ画像を含む対象物模擬レーダ画像を生成し、生成した対象物模擬レーダ画像を取得した背景画像に貼り付けて、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成するものである。
　図２４は、実施の形態３に係る学習用データ生成装置１００ｂが適用されたレーダシステム１ｂの要部の構成の一例を示すブロック図である。
　レーダシステム１ｂは、学習用データ生成装置１００ｂ、レーダ装置１０、学習装置２０、推論装置３０、記憶装置４０、入力装置５０、及び出力装置６０を備える。
　レーダシステム１ｂは、実施の形態１に係るレーダシステム１における学習用データ生成装置１００が、学習用データ生成装置１００ｂに変更されたものである。
　なお、学習用データ生成装置１００ｂ、学習装置２０、及び記憶装置４０を備えた構成は、学習システム２ｂとして動作する。
　また、学習用データ生成装置１００ｂ、学習装置２０、推論装置３０、及び記憶装置４０を備えた構成は、推論システム３ｂとして動作する。
　実施の形態３に係るレーダシステム１ｂの構成において、実施の形態１に係るレーダシステム１と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図２４の構成については、説明を省略する。
　図２５を参照して、実施の形態３に係る学習用データ生成装置１００ｂの要部の構成について説明する。
　図２５は、実施の形態３に係る学習用データ生成装置１００ｂの要部の構成の一例を示すブロック図である。
　学習用データ生成装置１００ｂは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０ｂ、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０ｂ、学習用データ生成部１９０、及び学習用データ出力部１９９を備える。
　学習用データ生成装置１００ｂは、上述の構成に加え、ノイズ画像取得部１５１ｂ、位置決定部１６０ｂ、サイズ決定部１７０ｂ、及び埋め込み座標取得部１８１ｂを備えるものであっても良い。
　実施の形態３に係る学習用データ生成装置１００ｂは、図２５に示すように、ノイズ画像取得部１５１ｂ、位置決定部１６０ｂ、及びサイズ決定部１７０ｂを備えるものとして説明する。
　図２５に示す学習用データ生成装置１００ｂは、図２に示す実施の形態１に係る学習用データ生成装置１００の構成にノイズ画像取得部１５１ｂが追加され、更に、実施の形態１に係る学習用データ生成装置１００における画像合成部１８０、位置決定部１６０、及びサイズ決定部１７０が、画像合成部１８０ｂ、位置決定部１６０ｂ、及びサイズ決定部１７０ｂに変更されたものである。
　実施の形態３に係る学習用データ生成装置１００ｂの構成において、実施の形態１に係る学習用データ生成装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図２に記載した符号と同じ符号を付した図２５の構成については、説明を省略する。
　対象物画像生成部１２０ｂは、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する。対象物画像生成部１２０ｂは、対象物模擬レーダ画像を生成する際に、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す影疑似レーダ画像を生成し、生成した影疑似レーダ画像を対象物模擬レーダ画像に含めて対象物模擬レーダ画像を生成する。
　具体的には、例えば、対象物画像生成部１２０ｂは、実施の形態２に係る学習用データ生成装置１００ａにおける影画像生成部１５０が影疑似レーダ画像を生成する方法と同様の方法により、影疑似レーダ画像を生成する。したがって、対象物画像生成部１２０ｂが影疑似レーダ画像を生成する方法については、説明を省略する。
　また、対象物画像生成部１２０ｂは、例えば、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬することにより生成した対象物模擬レーダ画像に、生成した影疑似レーダ画像を貼り付けることにより合成して、影疑似レーダ画像を貼り付けた後の対象物模擬レーダ画像を生成する。
　画像合成部１８０ｂは、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像を貼り付けて、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する。具体的には、例えば、画像合成部１８０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像の各画素値を用いて、背景画像の影模擬レーダ画像を含む対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値を置き換えることにより、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する。
　ノイズ画像取得部１５１ｂは、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像におけるレーダシャドウとなる領域にノイズを付加するための、ノイズ画像を取得する。ノイズ画像取得部１５１ｂは、実施の形態２に係る学習用データ生成装置１００ａにおけるノイズ画像取得部１５１と同様の機能を有するものである。ノイズ画像取得部１５１ｂがノイズ画像を取得する方法については、説明を省略する。
　例えば、学習用データ生成装置１００ｂがノイズ画像取得部１５１ｂを備える場合、画像合成部１８０ｂは、背景画像取得部１４０が取得した背景画像に、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像を貼り付け、対象物模擬レーダ画像を貼り付けた領域における影疑似レーダ画像の領域にノイズを付加して合成疑似レーダ画像を生成する。より具体的には、例えば、画像合成部１８０ｂは、当該場合、背景画像に対象物模擬レーダ画像を貼り付けた領域における影疑似レーダ画像の領域の各画素の画素値に、当該領域の各画素に対応するノイズ画像の画素の画素値を加算して、ノイズを付加する。
　画像合成部１８０ｂは、例えば、操作受付部１０１が出力した操作情報に基づいて、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。より具体的には、例えば、ユーザは、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を、入力装置５０を操作することにより入力する。操作受付部１０１は、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を画像合成部１８０ｂに出力する。画像合成部１８０ｂは、操作受付部１０１から操作情報を取得することにより、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。
　また例えば、学習用データ生成装置１００ｂが位置決定部１６０ｂを備える場合、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける位置は、位置決定部１６０ｂにより決定されても良い。
　位置決定部１６０ｂは、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
　また、画像合成部１８０ｂは、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を所定の大きさに変更し、大きさを変更した後の影模擬レーダ画像を含む対象物模擬レーダ画像を、背景画像取得部１４０が取得した背景画像における所定の位置に貼り付けて、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成しても良い。
　例えば、学習用データ生成装置１００ｂがサイズ決定部１７０ｂを備える場合、影模擬レーダ画像を含む対象物模擬レーダ画像の変更後の大きさは、サイズ決定部１７０ｂにより決定される。
　サイズ決定部１７０ｂは、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
　学習用データ生成部１９０は、画像合成部１８０ｂが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する。学習用データ生成部１９０は、画像合成部１８０ｂが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成しても良い。
　埋め込み座標取得部１８１ｂは、画像合成部１８０ｂが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を画像合成部１８０ｂから取得する。埋め込み座標取得部１８１ｂは、取得した当該情報を学習用データ生成部１９０に出力する。例えば、学習用データ生成部１９０は、学習用データ生成装置１００ｂが埋め込み座標取得部１８１ｂを備える場合、画像合成部１８０ｂが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成しても良い。
　なお、実施の形態３に係る学習用データ生成装置１００ｂにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０ｂ、レーダ画像取得部１３０、背景画像取得部１４０、ノイズ画像取得部１５１ｂ、位置決定部１６０ｂ、サイズ決定部１７０ｂ、画像合成部１８０ｂ、埋め込み座標取得部１８１ｂ、学習用データ生成部１９０、及び学習用データ出力部１９９の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図２６を参照して、実施の形態３に係る学習用データ生成装置１００ｂの動作について説明する。
　図２６は、実施の形態３に係る学習用データ生成装置１００ｂの処理の一例を説明するフローチャートである。
　学習用データ生成装置１００ｂは、例えば、当該フローチャートの処理を繰り返して実行する。
　まず、ステップＳＴ２６０１にて、３Ｄモデル取得部１１０は、対象物３Ｄモデル情報を取得する。
　次に、ステップＳＴ２６０２にて、対象物画像生成部１２０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像を生成する。
　次に、ステップＳＴ２６０３にて、レーダ画像取得部１３０は、レーダ画像情報を取得する。
　次に、ステップＳＴ２６０４にて、背景画像取得部１４０は、背景画像を取得する。
　次に、ステップＳＴ２６０５にて、位置決定部１６０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
　次に、ステップＳＴ２６０６にて、サイズ決定部１７０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
　次に、ステップＳＴ２６０７にて、ノイズ画像取得部１５１ｂは、ノイズ画像を取得する。
　次に、ステップＳＴ２６０８にて、画像合成部１８０ｂは、合成疑似レーダ画像を生成する。
　次に、ステップＳＴ２６０９にて、埋め込み座標取得部１８１ｂは、画像合成部１８０ｂが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する。
　次に、ステップＳＴ２６１０にて、学習用データ生成部１９０は、学習用データを生成する。
　次に、ステップＳＴ２６１１にて、学習用データ出力部１９９は、学習用データを出力する。
　学習用データ生成装置１００ｂは、ステップＳＴ２６１１の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ２６０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、当該フローチャートの処理において、ステップＳＴ２６０１の処理がステップＳＴ２６０２の処理より先行し、且つ、ステップＳＴ２６０３の処理がステップＳＴ２６０４の処理より先行し、且つ、ステップＳＴ２６０１からステップＳＴ２６０４までの処理がステップＳＴ２６０５より先行していれば、ステップＳＴ２６０１からステップＳＴ２６０４までの処理の順序は、任意である。
　また、当該フローチャートの処理において、ステップＳＴ２６０７の処理は、ステップＳＴ２６０８より先行していれば良い。
　また、当該フローチャートの処理を繰り返し実行する際に、対象物３Ｄモデル情報を変更する必要が無い場合、ステップＳＴ２６０１の処理を省略することが可能である。
　また、当該フローチャートの処理を繰り返し実行する際に、レーダ画像情報を変更する必要が無い場合、ステップＳＴ２６０３の処理を省略することが可能である。
　また、当該フローチャートの処理を繰り返し実行する際に、ノイズ画像を変更する必要が無い場合、ステップＳＴ２６０７の処理を省略することが可能である。
　以上のように、学習用データ生成装置１００ｂは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０ｂと、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０ｂが生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０ｂと、画像合成部１８０ｂが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを出力する学習用データ出力部１９９と、を備え、対象物画像生成部１２０ｂは、対象物模擬レーダ画像を生成する際に、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す影疑似レーダ画像を生成し、生成した影疑似レーダ画像を対象物模擬レーダ画像に含めて対象物模擬レーダ画像を生成するように構成した。
　このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
　また、このように構成することで、学習用データ生成装置１００ｂは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　また、このように構成することで、学習用データ生成装置１００ｂは、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を用いて背景画像を生成するため、対象物の背景を３Ｄモデル化する必要がない。
　また、対象物の背景の３Ｄモデル等から背景画像を数値計算により生成する必要がないため、学習用データを短時間で生成することができる。
　また、学習用データ生成装置１００ｂは、上述の構成において、学習用データ生成部１９０は、画像合成部１８０ｂが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成するように構成した。
　このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
　また、学習用データ生成装置１００ｂは、上述の構成に加えて、画像合成部１８０ｂが、背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する埋め込み座標取得部１８１ｂを備え、学習用データ生成部１９０は、埋め込み座標取得部１８１ｂが取得した背景画像における画素の座標を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成するように構成した。
　このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
　また、学習用データ生成装置１００ｂは、上述の構成に加えて、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像における影疑似レーダ画像の領域にノイズを付加するためのノイズ画像を取得するノイズ画像取得部１５１ｂを備え、画像合成部１８０ｂは、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付け、対象物模擬レーダ画像を貼り付けた領域における影疑似レーダ画像の領域に、ノイズ画像取得部１５１ｂが取得したノイズ画像が示すノイズを付加して合成疑似レーダ画像を生成するように構成した。
　このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
　また、このように構成することで、学習用データ生成装置１００ｂは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
　また、学習用データ生成装置１００ｂは、上述の構成に加えて、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する位置決定部１６０ｂを備えた。
　このように構成することで、学習用データ生成装置１００ｂは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置をユーザが入力する手間を省くことができる。
　また、学習用データ生成装置１００ｂは、上述の構成に加えて、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定するサイズ決定部１７０ｂを備えた。
　このように構成することで、学習用データ生成装置１００ｂは、対象物模擬レーダ画像を背景画像に貼り付ける大きさをユーザが入力する手間を省くことができる。
　また、学習用データ生成装置１００ｂは、上述の構成において、レーダ画像取得部１３０は、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得するようにした。
　このように構成することで、学習用データ生成装置１００ｂは、背景画像を簡単に取得できる。
　なお、この発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る学習用データ生成装置は、レーダシステム、学習システム、又は推論システム等に適用することができる。
　１，１ａ，１ｂ　レーダシステム、２，２ａ，２ｂ　学習システム、３，３ａ，３ｂ　推論システム、１０　レーダ装置、２０，２０ａ　学習装置、２１　学習部、２２　学習済モデル生成部、２３　学習済モデル出力部、３０，３０ａ　推論装置、３１　推論対象レーダ画像取得部、３２　推論部、３３　推論結果出力部、４０　記憶装置、５０　入力装置、６０　出力装置、１００，１００ａ，１００ｂ　学習用データ生成装置、１０１　操作受付部、１１０　３Ｄモデル取得部、１２０，１２０ｂ　対象物画像生成部、１３０　レーダ画像取得部、１４０　背景画像取得部、１５０　影画像生成部、１５１，１５１ｂ　ノイズ画像取得部、１６０，１６０ａ，１６０ｂ　位置決定部、１７０，１７０ａ，１７０ｂ　サイズ決定部、１８０，１８０ａ，１８０ｂ　画像合成部、１８１，１８１ａ，１８ｂ　埋め込み座標取得部、１９０　学習用データ生成部、１９９　学習用データ出力部、２０１　プロセッサ、２０２　メモリ、２０３　処理回路。

Claims (24)

  1. 　対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、
    　前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、
    　レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、
    　前記レーダ画像取得部が取得した前記レーダ画像情報を用いて背景画像を取得する背景画像取得部と、
    　前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、
    　前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、
    　前記学習用データ生成部が生成した前記学習用データを出力する学習用データ出力部と、
    　を備えたこと
    　を特徴とする学習用データ生成装置。
  2. 　前記学習用データ生成部は、前記画像合成部が、前記背景画像取得部が取得した前記背景画像に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けた前記背景画像における位置と、前記対象物の種別を示す前記クラス情報とを対応付けた前記学習用データを生成すること
    　を特徴とする請求項１記載の学習用データ生成装置。
  3. 　前記画像合成部が、前記背景画像の画素値を前記対象物模擬レーダ画像の画素値に置き換えた前記背景画像における画素の座標を示す情報を取得する埋め込み座標取得部を備え、
    　前記学習用データ生成部は、前記埋め込み座標取得部が取得した前記背景画像における画素の座標を示す情報と、前記対象物の種別を示す前記クラス情報とを対応付けて、前記学習用データを生成すること
    　を特徴とする請求項１記載の学習用データ生成装置。
  4. 　前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の照射方向とに基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を前記背景画像に貼り付ける位置を決定する位置決定部を備えたこと
    　を特徴とする請求項１記載の学習用データ生成装置。
  5. 　前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の出射位置との間の距離と、前記レーダ装置による実際のレーダ照射の際の、想定される対象物と、前記レーダ装置におけるレーダ照射の出射位置との間の距離との比に基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を前記背景画像に貼り付ける大きさを決定するサイズ決定部を備えたこと
    　を特徴とする請求項１記載の学習用データ生成装置。
  6. 　前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出した前記レーダシャドウとなる領域を示す影模擬レーダ画像を生成する影画像生成部を備え、
    　前記画像合成部は、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像と、前記影画像生成部が生成した前記影模擬レーダ画像とを貼り付けて、前記背景画像、前記対象物模擬レーダ画像、及び、前記影模擬レーダ画像を合成した前記合成疑似レーダ画像を生成すること
    　を特徴とする請求項１記載の学習用データ生成装置。
  7. 　前記影画像生成部が生成する前記影模擬レーダ画像にノイズを付加するためのノイズ画像を取得するノイズ画像取得部を備え、
    　前記画像合成部は、前記背景画像取得部が取得した前記背景画像に、前記影画像生成部が生成した前記影模擬レーダ画像を貼り付けた領域に、前記ノイズ画像取得部が取得した前記ノイズ画像が示すノイズを付加し、更に、前記対象物模擬レーダ画像を貼り付けることにより、前記合成疑似レーダ画像を生成すること
    　を特徴とする請求項６記載の学習用データ生成装置。
  8. 　前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の前記照射方向とに基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像、及び、前記影画像生成部が生成した前記影模擬レーダ画像を前記背景画像に貼り付ける位置を決定する位置決定部を備えたこと
    　を特徴とする請求項６記載の学習用データ生成装置。
  9. 　前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の出射位置との間の距離と、前記レーダ装置による実際のレーダ照射の際の、想定される対象物と、前記レーダ装置におけるレーダ照射の出射位置との間の距離との比に基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像、及び、前記影画像生成部が生成した前記影模擬レーダ画像を前記背景画像に貼り付ける大きさを決定するサイズ決定部を備えたこと
    　を特徴とする請求項６記載の学習用データ生成装置。
  10. 　前記対象物画像生成部は、前記対象物模擬レーダ画像を生成する際に、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出した前記レーダシャドウとなる領域を示す影模擬レーダ画像を生成し、生成した前記影模擬レーダ画像を前記対象物模擬レーダ画像に含めて前記対象物模擬レーダ画像を生成すること
    　を特徴とする請求項１記載の学習用データ生成装置。
  11. 　前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像における前記影模擬レーダ画像の領域にノイズを付加するためのノイズ画像を取得するノイズ画像取得部を備え、
    　前記画像合成部は、前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像を前記背景画像に貼り付け、前記対象物模擬レーダ画像を貼り付けた領域における前記影模擬レーダ画像の領域に、前記ノイズ画像取得部が取得した前記ノイズ画像が示すノイズを付加して前記合成疑似レーダ画像を生成すること
    　を特徴とする請求項１０記載の学習用データ生成装置。
  12. 　前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の前記照射方向とに基づいて、前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像を前記背景画像に貼り付ける位置を決定する位置決定部を備えたこと
    　を特徴とする請求項１０記載の学習用データ生成装置。
  13. 　前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の出射位置との間の距離と、前記レーダ装置による実際のレーダ照射の際の、想定される対象物と、前記レーダ装置におけるレーダ照射の出射位置との間の距離との比に基づいて、前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像を前記背景画像に貼り付ける大きさを決定するサイズ決定部を備えたこと
    　を特徴とする請求項１０記載の学習用データ生成装置。
  14. 　前記レーダ画像取得部は、広域を撮影した前記レーダ画像を示す前記レーダ画像情報を取得し、
    　前記背景画像取得部は、前記レーダ画像取得部が取得した前記レーダ画像情報が示す広域を撮影した前記レーダ画像のうち一部の画像領域を切り出し、切り出した前記画像領域を前記背景画像として取得すること
    　を特徴とする請求項１から請求項１３のいずれか１項記載の学習用データ生成装置。
  15. 　請求項１から請求項１４のいずれか１項記載の学習用データ生成装置と、
    　学習用データ生成装置が出力する前記学習用データを用いて機械学習を行う学習装置と、
    　を備えたこと
    　を特徴とする学習システム。
  16. 　請求項１から請求項１４のいずれか１項記載の学習用データ生成装置と、
    　学習用データ生成装置が出力する前記学習用データを用いて機械学習を行う学習装置と、
    　前記学習装置が行った前記機械学習による学習結果に対応する学習済モデルを用いて、前記レーダ装置がレーダ照射することにより生成された前記レーダ画像に前記対象物の像が存在するかを推論する推論装置と
    　を備えたこと
    　を特徴とする推論システム。
  17. 　３Ｄモデル取得部が、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得ステップと、
    　対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成ステップと、
    　レーダ画像取得部が、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得ステップと、
    　背景画像取得部が、前記レーダ画像取得部が取得した前記レーダ画像情報を用いて背景画像を取得する背景画像取得ステップと、
    　画像合成部が、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成ステップと、
    　学習用データ生成部が、前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成ステップと、
    　学習用データ出力部が、前記学習用データ生成部が生成した前記学習用データを出力する学習用データ出力ステップと、
    　を備えたこと
    　を特徴とする学習用データ生成方法。
  18. 　コンピュータに、
    　対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得機能と、
    　前記３Ｄモデル取得機能により取得された前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成機能と、
    　レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得機能と、
    　前記レーダ画像取得機能により取得された前記レーダ画像情報を用いて背景画像を取得する背景画像取得機能と、
    　前記背景画像取得機能により取得された前記背景画像における所定の位置に、前記対象物画像生成機能により生成された前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成機能と、
    　前記画像合成機能により生成された前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成機能と、
    　前記学習用データ生成機能により生成された前記学習用データを出力する学習用データ出力機能と、
    　を実現させるための学習用データ生成プログラム。
  19. 　対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、
    　前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、
    　レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、
    　前記レーダ画像取得部が取得した前記レーダ画像情報を用いて背景画像を取得する背景画像取得部と、
    　前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、
    　前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、
    　前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習部と、
    　前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部と、
    　前記学習済モデル生成部が生成した前記学習済モデル情報を出力する学習済モデル出力部と、
    　を備えたこと
    　を特徴とする学習装置。
  20. 　３Ｄモデル取得部が、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得ステップと、
    　対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成ステップと、
    　レーダ画像取得部が、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得ステップと、
    　背景画像取得部が、前記レーダ画像取得部が取得した前記レーダ画像情報を用いて背景画像を取得する背景画像取得ステップと、
    　画像合成部が、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成ステップと、
    　学習用データ生成部が、前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成ステップと、
    　学習部が、前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習ステップと、
    　学習済モデル生成部が、前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成ステップと、
    　学習済モデル出力部が、前記学習済モデル生成部が生成した前記学習済モデル情報を出力する学習済モデル出力ステップと、
    　を備えたこと
    　を特徴とする学習方法。
  21. 　コンピュータに、
    　対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得機能と、
    　前記３Ｄモデル取得機能により取得された前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成機能と、
    　レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得機能と、
    　前記レーダ画像取得機能により取得された前記レーダ画像情報を用いて背景画像を取得する背景画像取得機能と、
    　前記背景画像取得機能により取得された前記背景画像における所定の位置に、前記対象物画像生成機能により生成された前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成機能と、
    　前記画像合成機能により生成された前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成機能と、
    　前記学習用データ生成機能により生成された前記学習用データを用いて機械学習を行う学習機能と、
    　前記学習機能により行われた前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成機能と、
    　前記学習済モデル生成機能により生成された前記学習済モデル情報を出力する学習済モデル出力機能と、
    　を実現させるための学習プログラム。
  22. 　対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、
    　前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、
    　レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、
    　前記レーダ画像取得部が取得した前記レーダ画像情報を用いて背景画像を取得する背景画像取得部と、
    　前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、
    　前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、
    　前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習部と、
    　前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部と、
    　前記レーダ装置がレーダ照射することにより生成された推論対象である前記レーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得部と、
    　前記学習済モデル生成部が生成した前記学習済モデル情報が示す前記学習済モデルを用いて、前記推論対象レーダ画像取得部が取得した前記推論対象レーダ画像情報が示す前記レーダ画像に前記対象物の像が存在するかを推論する推論部と、
    　前記推論部が推論した推論結果を示す推論結果情報を出力する推論結果出力部と、
    　を備えたこと
    　を特徴とする推論装置。
  23. 　３Ｄモデル取得部が、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得ステップと、
    　対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成ステップと、
    　レーダ画像取得部が、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得ステップと、
    　背景画像取得部が、前記レーダ画像取得部が取得した前記レーダ画像情報を用いて背景画像を取得する背景画像取得ステップと、
    　画像合成部が、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成ステップと、
    　学習用データ生成部が、前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成ステップと、
    　学習部が、前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習ステップと、
    　学習済モデル生成部が、前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成ステップと、
    　推論対象レーダ画像取得部が、前記レーダ装置がレーダ照射することにより生成された推論対象である前記レーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得ステップと、
    　推論部が、前記学習済モデル生成部が生成した前記学習済モデル情報が示す前記学習済モデルを用いて、前記推論対象レーダ画像取得部が取得した前記推論対象レーダ画像情報が示す前記レーダ画像に前記対象物の像が存在するかを推論する推論ステップと、
    　推論結果出力部が、前記推論部が推論した推論結果を示す推論結果情報を出力する推論結果出力ステップと、
    　を備えたことこと
    　を特徴とする推論方法。
  24. 　コンピュータに、
    　対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得機能と、
    　前記３Ｄモデル取得機能により取得された前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成機能と、
    　レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得機能と、
    　前記レーダ画像取得機能により取得された前記レーダ画像情報を用いて背景画像を取得する背景画像取得機能と、
    　前記背景画像取得機能により取得された前記背景画像における所定の位置に、前記対象物画像生成機能により生成された前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成機能と、
    　前記画像合成機能により生成された前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成機能と、
    　前記学習用データ生成機能により生成された前記学習用データを用いて機械学習を行う学習機能と、
    　前記学習機能により行われた前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成機能と、
    　前記レーダ装置がレーダ照射することにより生成された推論対象である前記レーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得機能と、
    　前記学習済モデル生成機能により生成された前記学習済モデル情報が示す前記学習済モデルを用いて、前記推論対象レーダ画像取得機能により取得された前記推論対象レーダ画像情報が示す前記レーダ画像に前記対象物の像が存在するかを推論する推論機能と、
    　前記推論機能により推論された推論結果を示す推論結果情報を出力する推論結果出力機能と、
    　を実現させるための推論プログラム。
PCT/JP2019/024477 2019-06-20 2019-06-20 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム WO2020255326A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019565361A JP6775697B1 (ja) 2019-06-20 2019-06-20 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム
CA3139105A CA3139105C (en) 2019-06-20 2019-06-20 Learning data generation device, learning data generation method, learning data generation program, learning device, learning method, learning program, inference device, inference method, inference program, learning system, and inference system
DE112019007342.7T DE112019007342B4 (de) 2019-06-20 2019-06-20 Lerndaten-erzeugungsvorrichtung, lerndaten-erzeugungsverfahren, lerndatenerzeugungsprogramm, lernvorrichtung, lernverfahren, lernprogramm, inferenzvorrichtung, inferenzverfahren, inferenzprogramm, lernsystem und inferenzsystem
PCT/JP2019/024477 WO2020255326A1 (ja) 2019-06-20 2019-06-20 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム
US17/524,933 US20220075059A1 (en) 2019-06-20 2021-11-12 Learning data generation device, learning data generation method, learning data generation program, learning device, learning method, learning program, inference device, inference method, inference program, learning system, and inference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024477 WO2020255326A1 (ja) 2019-06-20 2019-06-20 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/524,933 Continuation US20220075059A1 (en) 2019-06-20 2021-11-12 Learning data generation device, learning data generation method, learning data generation program, learning device, learning method, learning program, inference device, inference method, inference program, learning system, and inference system

Publications (1)

Publication Number Publication Date
WO2020255326A1 true WO2020255326A1 (ja) 2020-12-24

Family

ID=72916069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024477 WO2020255326A1 (ja) 2019-06-20 2019-06-20 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム

Country Status (5)

Country Link
US (1) US20220075059A1 (ja)
JP (1) JP6775697B1 (ja)
CA (1) CA3139105C (ja)
DE (1) DE112019007342B4 (ja)
WO (1) WO2020255326A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157892A1 (ja) * 2021-01-21 2022-07-28 日本電信電話株式会社 画像選出装置、画像選出方法、及び、画像選出プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210207A (ja) * 2012-03-30 2013-10-10 Nec Corp レーダ画像の目標識別装置、目標識別方法、及び目標識別プログラム
JP2018169690A (ja) * 2017-03-29 2018-11-01 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10361802B1 (en) * 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
JP2007207180A (ja) 2006-02-06 2007-08-16 Toshiba Corp 目標体特定システム
US10373024B2 (en) * 2015-04-02 2019-08-06 Hitachi, Ltd. Image processing device, object detection device, image processing method
JP7062878B2 (ja) * 2017-03-27 2022-05-09 沖電気工業株式会社 情報処理方法および情報処理装置
US20190079526A1 (en) 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210207A (ja) * 2012-03-30 2013-10-10 Nec Corp レーダ画像の目標識別装置、目標識別方法、及び目標識別プログラム
JP2018169690A (ja) * 2017-03-29 2018-11-01 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157892A1 (ja) * 2021-01-21 2022-07-28 日本電信電話株式会社 画像選出装置、画像選出方法、及び、画像選出プログラム

Also Published As

Publication number Publication date
CA3139105C (en) 2023-06-20
JPWO2020255326A1 (ja) 2021-09-13
CA3139105A1 (en) 2020-12-24
DE112019007342B4 (de) 2023-12-14
JP6775697B1 (ja) 2020-10-28
DE112019007342T5 (de) 2022-02-24
US20220075059A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
CN109003253B (zh) 神经网络点云生成系统
JP7011146B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
Neubert et al. Evaluation of remote sensing image segmentation quality–further results and concepts
Lee et al. Perceptual organization of 3D surface points
JP2011076178A (ja) 地理情報生成システム及び地理情報生成方法
JP2008009782A (ja) 画像処理装置及び画像処理プログラム
KR101590253B1 (ko) 이미징 소나의 이미지 예측 시뮬레이션 방법 및 이를 이용한 장치
JP2020098587A (ja) ワッサースタイン距離を使用する物体形状回帰
CN110516560B (zh) 基于fpga异构深度学习的光学遥感图像目标检测方法
US11900515B2 (en) Automatic area detection
Yastikli et al. Classification of LiDAR data with point based classification methods
CN112904369A (zh) 机器人重定位方法、装置、机器人和计算机可读存储介质
EP4051549A1 (en) Generating environmental data
JP6775697B1 (ja) 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システム
JP4385244B2 (ja) 地形形状抽出方法、地形形状抽出システム及びプログラム
Kurdthongmee et al. A framework to estimate the key point within an object based on a deep learning object detection
JP2019057221A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
Petillot et al. Target recognition in synthetic aperture and high resolution side-scan sonar
Hildebrand et al. Simulating Lidar to create training data for machine learning on 3D point clouds
Kogut et al. Neural networks for the generation of sea bed models using airborne lidar bathymetry data
JP2015109064A (ja) 林相解析装置、林相解析方法及びプログラム
JP2010257062A (ja) クレータ検出装置
Koski et al. Piloting the use of machine learning methods for automatic mapping of streams and ditches in Finland
JP2009145297A (ja) レーダ画像処理装置
EP3839793A1 (en) Interactive object selection

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019565361

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933803

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3139105

Country of ref document: CA

122 Ep: pct application non-entry in european phase

Ref document number: 19933803

Country of ref document: EP

Kind code of ref document: A1