WO2020022110A1 - レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 - Google Patents

レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 Download PDF

Info

Publication number
WO2020022110A1
WO2020022110A1 PCT/JP2019/027755 JP2019027755W WO2020022110A1 WO 2020022110 A1 WO2020022110 A1 WO 2020022110A1 JP 2019027755 W JP2019027755 W JP 2019027755W WO 2020022110 A1 WO2020022110 A1 WO 2020022110A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar
radar data
detection image
data
area
Prior art date
Application number
PCT/JP2019/027755
Other languages
English (en)
French (fr)
Inventor
偉傑 劉
安木　慎
中川　洋一
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US17/263,413 priority Critical patent/US20210311169A1/en
Priority to EP19839834.9A priority patent/EP3819669A4/en
Priority to CN201980049689.8A priority patent/CN112470033A/zh
Publication of WO2020022110A1 publication Critical patent/WO2020022110A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to a radar data processing device and a radar data processing method for processing radar data output from a radar device, and an object determining device and an object determining method for determining an object based on radar data output from the radar device. It is.
  • ITS Intelligent Transport System
  • a roadside machine equipped with a radar so-called infra radar
  • infra radar is installed at an intersection or other place where accidents are likely to occur, and mobile objects in the surrounding area are detected by the radar.
  • Practical use of a technology for notifying an in-vehicle terminal or a pedestrian terminal of a danger of collision by ITS communication (road-vehicle communication or road-to-road communication) has been promoted.
  • a moving object existing around a vehicle can be detected based on radar data (reflection intensity and Doppler velocity) output from a radar device.
  • radar data reflection intensity and Doppler velocity
  • object discrimination object recognition for discriminating whether the detected moving object is a vehicle or a person is desired.
  • Patent Document 1 a technique relating to object identification based on such radar data
  • Patent Document 1 a technique in which a vehicle and a person are distinguished by utilizing the characteristic that the reflectance of radio waves differs between the vehicle and the person
  • an image recognition technique for discriminating an object by analyzing an image captured by a camera is widely used.
  • this image recognition a feature amount of an object region is extracted from a captured image, and an object is determined based on the feature amount.
  • a machine learning model, particularly a deep learning model has been used for this image recognition. The discrimination performance can be dramatically improved. Therefore, if a machine learning model can be used for object discrimination based on radar data, it is expected that highly accurate object discrimination will be possible.
  • the present invention provides a radar data processing device, an object determination device, a radar data processing method, and an object determination method that can perform object determination based on radar data with high accuracy by using a machine learning model.
  • the main purpose is.
  • a radar data processing device of the present invention is a radar data processing device that processes radar data output from a radar device, and includes a control unit that images the radar data, wherein the control unit includes: Obtain the radar data including the information of the reflection intensity and the speed in, based on the radar data, for each of a plurality of channels of each pixel, the reflection intensity corresponding to the position of the pixel, speed and information of each distance It is configured to generate the stored radar detection image.
  • the object discriminating device of the present invention is an object discriminating device that discriminates an object based on radar data output from a radar device, comprising a control unit that discriminates an object based on the radar data, Acquires the radar data including each information of the reflection intensity and the velocity in each direction and each distance, based on the radar data, a plurality of channels of each pixel, respectively, the reflection intensity corresponding to the position of the pixel, A radar detection image storing information of speed and distance is generated, and the radar detection image is input to a machine learning model for image recognition trained to perform object discrimination and output from the machine learning model. It is configured to acquire the object determination result.
  • a radar data processing method of the present invention is a radar data processing method for processing radar data output from a radar device in an information processing device, the information processing device including information on reflection intensity and speed at each azimuth and each distance.
  • the object discriminating method of the present invention is an object discriminating method for discriminating an object based on radar data output from a radar device in an information processing device, wherein each information of a reflection intensity and a velocity in each direction and each distance is provided.
  • Acquiring the radar data including, based on the radar data, each of a plurality of channels of each pixel, the reflection intensity corresponding to the position of the pixel, and generates a radar detection image storing information of speed and distance information
  • the radar detection image is input to a machine learning model for image recognition that has been learned to perform object discrimination, and an object discrimination result output from the machine learning model is obtained.
  • the present invention it is possible to perform object discrimination using a machine learning model for image recognition in order to acquire a radar detection image obtained by imaging radar data, and to perform object discrimination based on radar data with high accuracy. Can be done.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the object discriminating apparatus 1 according to the first embodiment.
  • Explanatory diagram showing an outline of processing at the time of object discrimination performed by the object discrimination device 1 according to the first embodiment.
  • Explanatory diagram showing characteristics of radar data output from the radar device 2 according to the first embodiment.
  • Explanatory drawing showing the outline of processing at the time of learning performed by the object discriminating apparatus 1 according to the first embodiment.
  • 5 is a flowchart showing an operation procedure of the object discriminating apparatus 1 according to the first embodiment at the time of object discrimination. 5 is a flowchart showing the operation procedure of data processing (ST104 in FIG. 5) according to the first embodiment.
  • FIG. 5 is a flowchart showing an operation procedure when generating learning data and constructing a deep learning model in the object discriminating apparatus 1 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a schematic configuration of an object determination device 1 according to a second embodiment.
  • FIG. 6 is a flowchart showing an operation procedure of the object discriminating apparatus 1 according to the second embodiment at the time of object discrimination.
  • 9 is a flowchart showing an operation procedure of data processing (ST111 in FIG. 9) according to the second embodiment.
  • FIG. 7 is a flowchart showing an operation procedure when generating learning data and constructing a deep learning model in the object discriminating apparatus 1 according to the second embodiment.
  • FIG. 3 is a block diagram illustrating a schematic configuration of an object discriminating apparatus 1 according to a third embodiment.
  • FIG. 4 is a block diagram illustrating a schematic configuration of an object discriminating apparatus 1 according to a fourth embodiment.
  • a radar data processing apparatus for processing radar data output from a radar apparatus, comprising: a control unit configured to image the radar data; Acquiring the radar data including the information of the reflection intensity and the velocity at each azimuth and each distance, and, based on the radar data, for each of a plurality of channels of each pixel, the reflection intensity and the velocity corresponding to the position of the pixel. It is configured to generate a radar detection image storing each information of the distance and the distance.
  • control unit extracts radar data of the object area from the radar data of the entire observation area based on position information of the object area detected from the radar data of the entire observation area, The radar detection image of the object area is generated based on the radar data of the object area.
  • the machine learning model since the machine learning model only needs to perform the object discrimination on the radar detection image of the object region, the processing load of the machine learning model can be reduced.
  • control unit is configured to generate the radar detection image of the entire observation area based on the radar data of the entire observation area.
  • the object detection and the object discrimination can be performed with high accuracy and efficiency by using the machine learning model capable of detecting the object in addition to the object discrimination.
  • control unit is configured to generate the radar detection image of the object area with a size corresponding to a distance of the object area.
  • the radar detection images having different sizes are generated according to the information amount of the radar data of the object area, so that the object can be determined with high accuracy.
  • control unit is configured to generate the radar detection image based on the radar data at a plurality of times.
  • the accuracy of the object determination can be improved.
  • control unit sets a blank area around an object area in the radar detection image such that the size of the radar detection image is uniform.
  • the size of the radar detection image becomes uniform irrespective of the size of the detected object region, so that the machine learning model can perform uniform processing.
  • the original radar data is not altered unlike the enlargement / reduction, the object can be determined with high accuracy.
  • a seventh invention is an object discriminating device that discriminates an object based on radar data output from a radar device, comprising a control unit that discriminates an object based on the radar data, wherein the control unit includes: Obtain the radar data including the information of the reflection intensity and the velocity in each direction and each distance, based on the radar data, for each of a plurality of channels of each pixel, the reflection intensity corresponding to the position of the pixel, velocity and A radar detection image storing each information of the distance is generated, and the radar detection image is input to a machine learning model for image recognition that has been learned to perform object discrimination, and the object discrimination output from the machine learning model is performed. It is configured to acquire the result.
  • the object discrimination is performed using the machine learning model for image recognition based on the radar detection image obtained by imaging the radar data, so that the object discrimination based on the radar data can be performed with high accuracy.
  • An eighth invention is a radar data processing method for processing radar data output from a radar device in the information processing apparatus, wherein the radar data includes information on reflection intensity and velocity at each direction and each distance. Is acquired, and based on the radar data, a radar detection image is generated in which information on the reflection intensity, speed, and distance corresponding to the position of the pixel is stored in a plurality of channels of each pixel.
  • the object detection can be performed using the machine learning model for image recognition because the radar detection image obtained by imaging the radar data is obtained. It is possible to perform object discrimination based on high accuracy.
  • a ninth aspect of the present invention is an object discriminating method for discriminating an object based on radar data output from a radar device in an information processing apparatus, the information discriminating method including information on reflection intensity and speed in each direction and each distance.
  • the information discriminating method including information on reflection intensity and speed in each direction and each distance.
  • the radar detection image is input to a machine learning model for image recognition that has been trained to perform object discrimination, and an object discrimination result output from the machine learning model is obtained.
  • the object determination based on the radar data can be performed with high accuracy. Can be done.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the object discriminating apparatus 1 according to the first embodiment.
  • the object discriminating apparatus 1 discriminates an attribute (type) of an object existing in an observation area based on radar data output from the radar apparatus 2. , Mounted on a roadside machine (infrared radar), the results of determination of objects (moving bodies) present in the surroundings are used for collision risk determination and notification control, and are mounted on vehicles and The determination result of the existing object is used for control for avoiding collision.
  • radar data processing apparatus information processing apparatus
  • This object discriminating apparatus 1 discriminates whether an object is a vehicle or a person as an attribute of the object. Further, it is determined whether the vehicle is a four-wheeled vehicle or a two-wheeled vehicle, and it is determined whether the four-wheeled vehicle is a large vehicle or a small vehicle.
  • the radar device 2 emits a radio wave such as a millimeter wave band, detects a radio wave reflected by an object, and outputs radar data (measurement data).
  • the radar data includes the reflection intensity (information on the intensity of the reflected wave) and the Doppler velocity (information on the velocity of the object) in each azimuth and each distance (range).
  • the object discriminating apparatus 1 includes a data input unit 11, a control unit 12, a storage unit 13, and a data output unit 14.
  • the radar data output from the radar device 2 is input to the data input unit 11.
  • the data output unit 14 outputs the object determination result generated by the control unit 12.
  • the storage unit 13 stores radar data input from the radar device 2, programs executed by a processor constituting the control unit 12, and the like.
  • the control unit 12 includes an object detection unit 21, a data processing unit 22, an object determination unit 23, a learning data generation unit 24, and a learning processing unit 25.
  • the data processing unit 22 includes an area data extraction unit 31 and an image generation unit 32.
  • the control unit 12 is configured by a processor, and each unit of the control unit 12 is realized by executing a program stored in the storage unit 13 by the processor.
  • the object discriminating apparatus 1 includes the object detecting unit 21, the data processing unit 22, and the object discriminating unit 23. However, each of these units may be configured by a different device. Good. Further, although the object discriminating apparatus 1 includes the learning data generating unit 24 and the learning processing unit 25, these may be configured by a device different from the object discriminating device.
  • FIG. 2 is an explanatory diagram showing an outline of a process performed by the object discriminating apparatus 1 at the time of object discrimination.
  • FIG. 3 is an explanatory diagram showing characteristics of radar data output from the radar device 2.
  • FIG. 4 is an explanatory diagram illustrating an outline of a learning process performed by the object determination device 1.
  • the radar device 2 outputs the reflection intensity and the Doppler velocity at each azimuth and each distance (range) as radar data.
  • FIG. 2 shows a heat map obtained by imaging the reflection intensity and a heat map obtained by imaging the Doppler velocity.
  • radar data in a polar coordinate system defined by an azimuth and a distance (range) is converted into an image in an XY orthogonal coordinate system, and the observation area is displayed in a fan shape.
  • the object detecting unit 21 detects an object area from radar data of the entire observation area.
  • the area data extraction unit 31 of the data processing unit 22 extracts the radar data of the object area from the radar data of the entire observation area based on the position information of the object area detected by the object detection unit 21.
  • the image generation unit 32 generates a radar detection image of the object area based on the radar data of the object area.
  • the object determining unit 23 determines the attribute of the object in the object area based on the radar detection image of the object area.
  • the radar detection image of the object area generated by the image generation unit 32 is an image of radar data of the object area.
  • information on the reflection intensity, Doppler velocity, and distance (range) included in the radar data of the object area is stored in a plurality of channels of pixels at corresponding positions in the radar detection image.
  • information on Doppler velocity is stored in the R channel
  • information on reflection intensity is stored in the G channel
  • information on distance (range) is stored in the B channel. I do.
  • radar data is generated in units of cells partitioned by azimuth and distance (range).
  • the resolution of the distance is constant, but the resolution of the azimuth differs depending on the distance.
  • the resolution of the azimuth is high at a short distance (for example, 3 m), and the resolution of the azimuth is long at a long distance (for example, 80 m). Lower.
  • the number of cells included in the object region is the same in the axial direction of the distance (range), but in the axial direction of the azimuth. It depends on the distance. That is, at a long distance, the number of cells in the azimuth axial direction decreases, and at a short distance, the number of cells in the azimuth axial direction increases.
  • information on the distance (range) is stored in the radar detection image in addition to the information on the reflection intensity and the Doppler velocity.
  • the radar detection image may be generated in the XY orthogonal coordinate system as in the heat map of the reflection intensity and the Doppler velocity.
  • the area data extraction unit 31 performs coordinate conversion for converting the polar coordinate system of the radar data to the XY orthogonal coordinate system.
  • the coordinate system of the radar detection image is not particularly limited, and may be a polar coordinate system defined by an azimuth and a distance (range), similarly to the radar data, in addition to the XY orthogonal coordinate system. .
  • the object determining unit 23 determines the attribute of the object in the object area from the radar detection image of the object area using a machine learning model, particularly a deep learning model. That is, the radar detection image of the object region is input to the deep learning model, the object is determined by the deep learning model, and the object determination result output from the deep learning model is obtained.
  • a deep learning model a deep learning model for image recognition is used.
  • CNN convolutional neural network
  • the image generation unit 32 aligns the sizes of the radar detection images so that the processing can be uniformly performed by the deep learning model of the object determination unit 23 regardless of the size of the object region detected by the object detection unit 21. .
  • the original radar data is altered, so the radar detection image size is set based on the assumed maximum object area size, Then, a margin area is set around the object area (the area where the radar data is stored).
  • the object detection unit 21 detects an object region from the radar data of the entire observation area for learning output from the radar device 2 in the past.
  • the region data extraction unit 31 extracts the radar data of the learning object region from the radar data of the entire observation area for learning based on the position information of the object region detected by the object detection unit 21.
  • the image generation unit 32 generates a radar detection image of the learning object region based on the radar data of the learning object region.
  • the learning data generation unit 24 generates learning data in which the radar detection image of the learning object area generated by the image generation unit 32 is associated with the object determination result (label) related to the attribute of the object included in the radar detection image. Generate.
  • This object discrimination result is visually determined and input by the operator. At this time, for example, the image of the camera corresponding to the radar data for learning may be visually confirmed, and the attribute of the object determined from the radar detection image for learning may be acquired.
  • the learning processing unit 25 executes a learning process on the deep learning model using the learning data generated by the learning data generating unit 24, acquires model parameters (setting information) of the deep learning model as a learning result, The model parameters are applied to the deep learning model of the object discrimination unit 23 to construct a learned deep learning model.
  • FIG. 5 is a flowchart showing an operation procedure of the object discriminating apparatus 1 at the time of object discrimination.
  • FIG. 6 is a flowchart showing the operation procedure of the data processing (ST104 in FIG. 5).
  • the control unit 12 acquires radar data (reflection intensity and Doppler velocity according to the azimuth and the distance) of the entire observation area output from the radar apparatus 2 (see FIG. 5). ST101).
  • the object detection unit 21 detects an object region from the radar data of the entire observation area (ST102).
  • the data processing section 22 performs data processing (ST104). Specifically, the region data extraction unit 31 extracts radar data of the object region from the radar data of the entire observation area, and the image generation unit 32 generates a radar detection image of the object region based on the radar data of the object region. Generate.
  • the object detection unit 23 inputs the radar detection image of the object region generated by the image generation unit 32 to the trained deep learning model, performs object determination in the deep learning model, and outputs from the deep learning model.
  • the result of the object discrimination to be performed is obtained (ST105).
  • control unit 12 outputs the object discrimination result and the position information for each object region acquired by the object discrimination unit 23 (ST107).
  • the data processing unit 22 acquires position information of the object area detected by the object detection unit 21 (ST201). Next, a circumscribed rectangular area surrounding the object area is determined based on the position information of the object area (ST202). Next, a cell value of a blank area (area other than the object area) of the radar detection image is set (ST203).
  • the pixel value (the value of each RGB channel) of the pixel at the position corresponding to the cell Cj is set (ST206). That is, the reflection intensity of the cell Cj is set to the R value rj, the Doppler velocity of the cell Cj is set to the G value gj, and the range of the cell Cj is set to the B value bj.
  • the image generation unit 32 generates a radar detection image of the object region based on the pixel value of each pixel (ST208).
  • FIG. 7 is a flowchart showing an operation procedure when generating learning data and constructing a deep learning model in the object discriminating apparatus 1.
  • the control unit 12 causes the radar apparatus 2 to output radar data (in terms of azimuth and distance) of the entire learning observation area output in the past from the radar apparatus 2. A corresponding reflection intensity and Doppler velocity) are obtained (ST301).
  • the object detection unit 21 detects an object region from the radar data of the entire observation area for learning (ST302).
  • the data processing section 22 performs data processing (ST304). Specifically, the region data extraction unit 31 extracts radar data of the learning object region from the radar data of the entire observation area for learning, and the image generation unit 32 converts the radar data of the learning object region into radar data. Based on this, a radar detection image of the object region for learning is generated. This process is the same as that at the time of object determination (see FIG. 6).
  • the learning data generation unit 24 acquires the object determination result (label) of each object region (ST306). This object discrimination result is visually determined and input by the operator.
  • learning data is generated by associating the radar detection image of each object region acquired by the image generation unit 32 with the object determination result (label) (ST307).
  • the learning data is generated for all the object regions included in the radar data (heat map) of the entire observation area. However, the learning data is generated for only some of the object regions. Learning data may be generated.
  • the learning processing unit 25 uses the learning data generated by the learning data generating unit 24 to perform learning on the deep learning model. The process is executed, and model parameters (setting information) of the deep learning model are acquired as a learning result (ST308).
  • model parameters are applied to the deep learning model of the object determination unit 23 to construct a learned deep learning model (ST309).
  • FIG. 8 is a block diagram illustrating a schematic configuration of the object determination device 1 according to the second embodiment.
  • the object discrimination for discriminating the object in the detected object region is performed using the deep learning model. Do it in the model.
  • the control unit 12 of the object discrimination device 1 includes a data processing unit 41, an object detection discrimination unit 42, a learning data generation unit 24, and a learning processing unit 25.
  • the data processing unit 41 includes an image generation unit 43.
  • the image generation unit 43 generates a radar detection image of the entire observation area based on the radar data of the entire observation area.
  • the object detection determination unit 42 inputs the radar detection image of the entire observation area generated by the image generation unit 43 to the learned deep learning model, performs object detection and object discrimination using the deep learning model, and performs processing based on the deep learning model. Obtain the output object determination result.
  • a deep learning model with a search function is used as the deep learning model.
  • a Region @ with-convolutional / neural network is preferable.
  • FIG. 9 is a flowchart showing an operation procedure of the object discriminating apparatus 1 at the time of object discrimination.
  • FIG. 10 is a flowchart showing the operation procedure of the data processing (ST111 in FIG. 9).
  • the control unit 12 acquires radar data (reflection intensity and Doppler velocity according to the azimuth and the distance) of the entire observation area output from the radar apparatus 2 (see FIG. 9). ST101).
  • data processing is performed in the data processing unit 22 (ST111). Specifically, the image generation unit 43 generates a radar detection image of the entire observation area based on the radar data of the entire observation area.
  • the object detection determination unit 42 inputs the radar detection image of the entire observation area generated by the image generation unit 43 to the learned deep learning model, and performs object detection and object determination in the deep learning model.
  • An object determination result output from the learning model is obtained (ST112).
  • the pixel value (the value of each RGB channel) of the pixel at the position corresponding to the cell Cj is set (ST206). That is, the reflection intensity of the cell Cj is set to the R value rj, the Doppler velocity of the cell Cj is set to the G value gj, and the range of the cell Cj is set to the B value bj.
  • the image generation unit 32 generates a radar detection image of the entire observation area based on the pixel value of each pixel (ST208). .
  • FIG. 11 is a flowchart showing an operation procedure when generating learning data and constructing a deep learning model in the object discriminating apparatus 1.
  • the control unit 12 when learning data is generated as shown in FIG. 11A, the control unit 12 first sets the radar data (in the azimuth and the distance) of the entire learning observation area output from the radar apparatus 2 in the past. A corresponding reflection intensity and Doppler velocity) are obtained (ST301).
  • the data processing section 41 performs data processing (ST311). Specifically, the image generation unit 43 generates a radar detection image of the entire observation area for learning based on the radar data of the entire observation area for learning. This process is the same as when the object is determined (see FIG. 10).
  • the learning data generation unit 24 obtains an object determination result (label) of the object area (ST312). This object discrimination result is visually determined and input by the operator. When a plurality of object regions are included in the radar data of the entire observation area for learning, an object determination result (label) of each object region is obtained.
  • learning data is generated by associating the radar detection image of the entire observation area for learning acquired by the image generation unit 32 with the object determination result (label) (ST313).
  • the learning processing unit 25 uses the learning data generated by the learning data generating unit 24 to perform learning on the deep learning model. The process is executed, and model parameters (setting information) of the deep learning model are acquired as a learning result (ST314).
  • model parameters are applied to the deep learning model of the object detection determination unit 42 to construct a learned deep learning model (ST315).
  • FIG. 12 is a block diagram illustrating a schematic configuration of the object discrimination device 1 according to the third embodiment.
  • the radar detection image of the object area is generated in the same size regardless of the range (distance) of the object area.
  • the radar data of the object area is generated in accordance with the distance (range) of the object area. (The number of cells) differs greatly (see FIG. 3).
  • the radar data of the object area is imaged in different sizes according to the distance (range) of the object area, and radar detection images of different sizes are generated.
  • radar data is imaged in two cases, long distance and short distance.
  • the control unit 12 of the object determination device 1 includes an object detection unit 21, a distribution unit 51, a first data processing unit 52, a second data processing unit 53, a first object determination unit 54, , A learning data generating unit 24, and a learning processing unit 25.
  • the distribution unit 51 distributes the radar data processing to the first data processing unit 52 and the second data processing unit 53 based on the distance (range) of the object area detected by the object detection unit 21. Specifically, when the distance of the object region is a long distance that is equal to or more than a predetermined value, the radar data processing is performed by the first data processing unit 52, and the short distance that the distance of the object region is less than the predetermined value is set. In the case of (1), the second data processing unit 53 performs the processing of the radar data.
  • the first data processing unit 52 processes radar data when the object region is at a long distance, and includes a first region data extraction unit 61 and a first image generation unit 62. I have.
  • the first data processing unit 52 extracts radar data of the object area and generates a radar detection image having a small size.
  • the second data processing unit 53 processes radar data when the object region is at a short distance, and includes a second region data extraction unit 63 and a second image generation unit 64. I have.
  • the second data processing unit 53 extracts radar data of the object area and generates a radar detection image having a large size.
  • the processing performed by the first area data extraction unit 61 and the second area data extraction unit 63 is the same as that of the area data extraction unit 31 of the first embodiment, and the first image generation unit 62 and the second The processing performed by the image generation unit 64 is the same as that of the image generation unit 32 of the first embodiment.
  • the first object discriminating unit 54 performs object discrimination using the first deep learning model on the radar detection image having a small size generated by the first data processing unit 52.
  • the second object discriminating unit 55 performs object discrimination on the radar detection image having a large size generated by the second data processing unit 53 using the second deep learning model.
  • the radar data is imaged in two cases according to the distance (range) of the object region.
  • the radar data is imaged in three or more cases. You may do so.
  • FIG. 13 is a flowchart showing an operation procedure of the object discriminating apparatus 1 at the time of object discrimination.
  • the control unit 12 acquires the radar data (reflection intensity and Doppler velocity according to the azimuth and the distance) of the entire observation area output from the radar apparatus 2 (ST101).
  • the object detection unit 21 detects an object region from the radar data of the entire observation area (ST102).
  • the distribution unit 51 determines whether or not the range value of the center point of the object region Ri is equal to or larger than the threshold value (ST121).
  • the first data processing unit 52 performs data processing. Perform (ST122). Specifically, the first area data extraction unit 61 extracts the radar data of the object area from the radar data of the entire observation area, and the first image generation unit 62 extracts the radar data of the object area based on the radar data of the object area. Generate a radar detection image of the object area. This data processing is the same as in the first embodiment (see FIG. 6).
  • the first object discriminating unit 54 inputs the radar detection image of the object region generated by the first image generating unit 62 to the learned deep learning model, and performs object discrimination in the deep learning model. Then, the object determination result output from the deep learning model is obtained (ST123).
  • the second data processing unit 53 performs data processing. (ST124). Specifically, the second region data extraction unit 63 extracts the radar data of the object region from the radar data of the entire observation area, and the second image generation unit 64 extracts the radar data of the object region based on the radar data of the object region. Generate a radar detection image of the object area. This data processing is the same as in the first embodiment (see FIG. 6).
  • the second object discriminating section 55 inputs the radar detection image of the object area generated by the second image generating section 64 to the learned deep learning model, and performs object discrimination in the deep learning model. Then, the object determination result output from the deep learning model is obtained (ST125).
  • control unit 12 determines the object discrimination result for each object area acquired by the first object discrimination unit 54 or the second object discrimination unit 55. And outputs position information (ST107).
  • the operation procedure of the object discriminating apparatus 1 at the time of learning is substantially the same as that of the first embodiment (see FIG. 7), but in the present embodiment, the first object discriminating unit 54 and the second object discriminating unit 55 are used. Since the size of the radar detection image to be processed is different between and, a radar detection image for learning is generated with a size corresponding to each.
  • FIG. 14 is a block diagram illustrating a schematic configuration of the object identification device 1 according to the fourth embodiment.
  • the radar data of the entire observation area at each time is output at intervals (for example, 50 ms) corresponding to the beam scanning cycle, and the object area at each time extracted from the radar data of the entire observation area at each time.
  • a radar detection image is generated at a high frame rate (for example, 20 fps), but such a high frame rate radar detection image is not always necessary for object discrimination.
  • the radar data of the object region at a plurality of times respectively extracted from the radar data of the entire observation area at a plurality of times are combined (integrated), and the combined radar data is imaged, Generate a radar detection image of the area.
  • the accuracy of object discrimination can be improved.
  • the control section 12 of the object discriminating apparatus 1 includes an object detecting section 21, a data processing section 71, an object discriminating section 23, a learning data generating section 24, and a learning processing section 25.
  • the data processing section 71 includes an area data extraction section 31, a data synthesis section 72, and an image generation section 32.
  • the data combining unit 72 combines (integrates) the radar data of the object region at a plurality of times acquired by the region data extracting unit 31 to generate combined radar data of the object region.
  • the data of each cell in the radar data at a plurality of times is set to the pixel value of a pixel at a different position at the corresponding position in the radar detection image.
  • the original radar data can be stored in the radar detection image without any modification.
  • the number of pixels of the radar detection image increases. For example, if radar data at four times is combined, a radar detection image having four times the number of pixels can be generated.
  • the data of each cell in the radar data at a plurality of times is statistically processed, a representative value (maximum value, average value, etc.) of each cell is obtained, and the representative value is obtained from the corresponding position in the radar detection image. You may make it set to a pixel value.
  • FIG. 15 is a flowchart showing an operation procedure of the object discriminating apparatus 1 at the time of object discrimination.
  • the control unit 12 acquires the radar data (reflection intensity and Doppler velocity according to the azimuth and the distance) of the entire observation area output from the radar apparatus 2 (ST101).
  • the object detection unit 21 detects an object region from the radar data of the entire observation area (ST102).
  • the area data extraction unit 31 of the data processing unit 22 extracts radar data of the object area from the radar data of the entire observation area (ST131).
  • the data synthesizing section 72 determines whether or not radar data of a predetermined number of times has been prepared (ST132).
  • the radar data at the predetermined number of times is not available (No at ST132)
  • the radar data of the object area at the current time is temporarily stored in storage unit 13 (ST133). Then, the process proceeds to ST106.
  • the data synthesizing unit 72 acquires the radar data of the object area at the past time accumulated in the storage unit 13 and obtains the past. Then, the radar data of the object area at the time of (1) and the radar data of the object area at the current time acquired by the area data extraction unit 31 are synthesized (ST134).
  • the image generation section 32 generates a radar detection image of the object area based on the composite radar data of the object area acquired by the data synthesis section 72 (ST135).
  • the object detection unit 23 inputs the radar detection image of the object region generated by the image generation unit 32 to the trained deep learning model, performs object determination in the deep learning model, and outputs from the deep learning model.
  • the result of the object discrimination to be performed is obtained (ST105).
  • control unit 12 outputs the object determination result and position information for each object region acquired by the object determination unit 23 (ST107).
  • the operation procedure of the object discriminating apparatus 1 at the time of learning is the same as that of the first embodiment (see FIG. 7), but in the present embodiment, a radar detection image is generated after synthesizing radar data at a plurality of times. Therefore, a radar detection image for learning may be combined with radar data for learning at a plurality of times and then imaged.However, without combining radar data at a plurality of times, The radar data for learning at one time may be directly converted into an image.
  • the radar data processing device, the object discriminating device, the radar data processing method, and the object discriminating method according to the present invention have an effect that object discrimination based on radar data can be performed with high accuracy by using a machine learning model.
  • the present invention is useful as a radar data processing device and a radar data processing method for processing radar data output from a radar device, and an object determining device and an object determining method for determining an object based on radar data output from the radar device. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができるようにする。 【解決手段】各方位および各距離における反射強度および速度の各情報を含むレーダデータを取得し、そのレーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、そのレーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する。特に、観測エリア全体のレーダデータから物体領域を検出して、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、その物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。

Description

レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
　本発明は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置およびレーダデータ処理方法、ならびにレーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置および物体判別方法に関するものである。
　近年、車両の走行時の安全性を高めるため、レーダを用いて、車両の周囲に存在する車両や歩行者などの移動体を検知する技術が普及している。また、ＩＴＳ（Intelligent Transport System：高度道路交通システム）において、交差点などの事故の起きやすい場所に、レーダを備えた路側機、いわゆるインフラレーダを設置して、周辺に存在する移動体をレーダにより検知して、ＩＴＳ通信（路車間通信や路歩間通信）により、車載端末や歩行者端末に衝突の危険性を通知する技術の実用化が推進されている。
　このようなレーダを用いた物体検知では、レーダ装置から出力されるレーダデータ（反射強度やドップラー速度）に基づいて、車両の周囲に存在する移動体を検知することができるが、この他に、レーダデータに基づいて、検知した移動体が車両と人物とのいずれであるかを判別する物体判別（物体認識）が望まれる。
　このようなレーダデータに基づく物体判別に関する技術として、従来、電波の反射率が車両と人物とで異なるという特性を利用して、車両と人物とを判別する技術が知られている（特許文献１参照）。
特許第５２０６５７９号公報
　しかしながら、前記従来の技術では、電波の反射率が、電波の方向や物体の材質などの影響で変化することで、車両と人物とを適切に判別できない場合が多く、特に、人物が車両の近傍に居る場合には、人物を車両の一部と誤認識するという問題があった。
　一方、カメラの撮影画像を解析することにより物体を判別する画像認識の技術が広く普及している。この画像認識では、撮影画像から物体領域の特徴量を抽出して、その特徴量に基づいて物体を判別するが、近年、この画像認識に機械学習モデル、特に深層学習モデルを利用することで、判別性能を飛躍的に向上させることができるようになっている。このため、レーダデータに基づく物体判別に機械学習モデルを利用することができると、高精度な物体判別が可能になることが期待される。
　そこで、本発明は、機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができるレーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法を提供することを主な目的とする。
　本発明のレーダデータ処理装置は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、前記レーダデータを画像化する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
　また、本発明の物体判別装置は、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、前記レーダデータに基づいて物体を判別する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
　また、本発明のレーダデータ処理方法は、情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
　また、本発明の物体判別方法は、情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
　本発明によれば、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
第１実施形態に係る物体判別装置１の概略構成を示すブロック図 第１実施形態に係る物体判別装置１で行われる物体判別時の処理の概要を示す説明図 第１実施形態に係るレーダ装置２から出力されるレーダデータの特徴を示す説明図 第１実施形態に係る物体判別装置１で行われる学習時の処理の概要を示す説明図 第１実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図 第１実施形態に係るデータ処理（図５のＳＴ１０４）の動作手順を示すフロー図 第１実施形態に係る物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図 第２実施形態に係る物体判別装置１の概略構成を示すブロック図 第２実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図 第２実施形態に係るデータ処理（図９のＳＴ１１１）の動作手順を示すフロー図 第２実施形態に係る物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図 第３実施形態に係る物体判別装置１の概略構成を示すブロック図 第３実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図 第４実施形態に係る物体判別装置１の概略構成を示すブロック図 第４実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図
　前記課題を解決するためになされた第１の発明は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、前記レーダデータを画像化する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
　これによると、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
　また、第２の発明は、前記制御部は、観測エリア全体の前記レーダデータから検出された物体領域の位置情報に基づいて、観測エリア全体の前記レーダデータから物体領域のレーダデータを抽出し、前記物体領域のレーダデータに基づいて、物体領域の前記レーダ検出画像を生成する構成とする。
　これによると、機械学習モデルが物体領域のレーダ検出画像を対象にして物体判別を行えばよいため、機械学習モデルの処理負荷を軽減することができる。
　また、第３の発明は、前記制御部は、観測エリア全体の前記レーダデータに基づいて、観測エリア全体の前記レーダ検出画像を生成する構成とする。
　これによると、物体判別に加えて物体検出が可能な機械学習モデルを用いることで、物体検出および物体判別を高精度にかつ効率よく行うことができる。
　また、第４の発明は、前記制御部は、前記物体領域の距離に応じたサイズで、物体領域の前記レーダ検出画像を生成する構成とする。
　これによると、物体領域のレーダデータの情報量に応じて、サイズが異なるレーダ検出画像を生成するため、物体判別を高精度に行うことができる。
　また、第５の発明は、前記制御部は、複数の時刻の前記レーダデータに基づいて、前記レーダ検出画像を生成する構成とする。
　これによると、複数の時刻のレーダデータがレーダ検出画像に格納されるため、物体判別の精度を向上させることができる。
　また、第６の発明は、前記制御部は、前記レーダ検出画像のサイズが均一となるように、前記レーダ検出画像における物体領域の周囲に余白領域を設定する構成とする。
　これによると、検出された物体領域の大きさに関係なく、レーダ検出画像のサイズが均一となるため、機械学習モデルで一様に処理することができる。また、拡大縮小のように元のレーダデータが改変されることがないため、物体判別を高精度に行うことができる。
　また、第７の発明は、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、前記レーダデータに基づいて物体を判別する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
　これによると、レーダデータを画像化したレーダ検出画像に基づいて、画像認識用の機械学習モデルを用いて物体判別を行うため、レーダデータに基づく物体判別を高精度に行うことができる。
　また、第８の発明は、情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
　これによると、第１の発明と同様に、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
　また、第９の発明は、情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
　これによると、第７の発明と同様に、レーダデータを画像化したレーダ検出画像に基づいて、画像認識用の機械学習モデルを用いて物体判別を行うため、レーダデータに基づく物体判別を高精度に行うことができる。
　以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
　図１は、第１実施形態に係る物体判別装置１の概略構成を示すブロック図である。
　この物体判別装置１（レーダデータ処理装置、情報処理装置）は、レーダ装置２から出力されるレーダデータに基づいて、観測エリア内に存在する物体の属性（種類）を判別するものであり、例えば、路側機（インフラレーダ）に搭載されて、周囲に存在する物体（移動体）の判別結果が、衝突の危険性の判定や通知の制御に用いられ、また、車両に搭載されて、周囲に存在する物体の判別結果が衝突回避のための制御に用いられる。
　この物体判別装置１では、物体の属性として、物体が車両と人物とのいずれであるかを判別する。さらに、車両が４輪車と２輪車とのいずれであるかを判別し、また、４輪車が大型車と小型車とのいずれであるかを判別する。
　レーダ装置２は、ミリ波帯などの電波を放射すると共に物体で反射された電波を検出して、レーダデータ（測定データ）を出力する。このレーダデータには、各方位および各距離（レンジ）における反射強度（反射波の強度に関する情報）およびドップラー速度（物体の速度に関する情報）が含まれる。
　物体判別装置１は、データ入力部１１と、制御部１２と、記憶部１３と、データ出力部１４と、を備えている。
　データ入力部１１では、レーダ装置２から出力されるレーダデータが入力される。データ出力部１４では、制御部１２で生成した物体判別結果を出力する。
　記憶部１３は、レーダ装置２から入力されるレーダデータや、制御部１２を構成するプロセッサで実行されるプログラムなどを記憶する。
　制御部１２は、物体検出部２１と、データ処理部２２と、物体判別部２３と、学習データ生成部２４と、学習処理部２５と、を備えている。データ処理部２２は、領域データ抽出部３１と、画像生成部３２と、を備えている。この制御部１２は、プロセッサで構成され、制御部１２の各部は、記憶部１３に記憶されたプログラムをプロセッサで実行することで実現される。
　なお、本実施形態では、物体判別装置１が、物体検出部２１と、データ処理部２２と、物体判別部２３とを備えるものとしたが、これらの各部をそれぞれ別の装置で構成してもよい。また、物体判別装置１が、学習データ生成部２４と、学習処理部２５とを備えるものとしたが、これらを物体判別装置とは別の装置で構成してもよい。
　次に、第１実施形態に係る物体判別装置１で行われる処理について説明する。図２は、物体判別装置１で行われる物体判別時の処理の概要を示す説明図である。図３は、レーダ装置２から出力されるレーダデータの特徴を示す説明図である。図４は、物体判別装置１で行われる学習時の処理の概要を示す説明図である。
　図２に示すように、レーダ装置２では、レーダデータとして、各方位および各距離（レンジ）における反射強度およびドップラー速度を出力する。なお、図２では、反射強度を画像化したヒートマップと、ドップラー速度を画像化したヒートマップとを示している。このヒートマップでは、方位と距離（レンジ）とで規定される極座標系のレーダデータを、Ｘ－Ｙ直交座標系に変換して画像化しており、観測エリアが扇形状に表示される。
　物体判別装置１では、まず、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する。次に、データ処理部２２の領域データ抽出部３１において、物体検出部２１で検出した物体領域の位置情報に基づいて、観測エリア全体のレーダデータから物体領域のレーダデータを抽出する。次に、画像生成部３２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。次に、物体判別部２３において、物体領域のレーダ検出画像に基づいて、物体領域の物体の属性を判別する。
　ここで、画像生成部３２で生成される物体領域のレーダ検出画像は、物体領域のレーダデータを画像化したものである。具体的には、物体領域のレーダデータに含まれる反射強度、ドップラー速度、および距離（レンジ）の各情報を、レーダ検出画像における対応する位置の画素の複数のチャンネルに格納する。例えば、ＲＧＢのフォーマットでレーダ検出画像を生成する場合、Ｒのチャンネルにドップラー速度の情報を格納し、Ｇのチャンネルに反射強度の情報を格納し、Ｂのチャンネルに距離（レンジ）の情報を格納する。
　また、図３（Ａ）に示すように、レーダデータは、方位および距離（レンジ）で区画されたセル単位で生成される。このレーダデータでは、距離の分解能は一定であるが、方位の分解能が、距離に応じて異なり、近距離（例えば３ｍ）では方位の分解能が高くなり、遠距離（例えば８０ｍ）では方位の分解能が低くなる。このため、図３（Ｂ）に示すように、同じ大きさの物体Ａ，Ｂでは、物体領域に含まれるセル数が、距離（レンジ）の軸方向では同一であるが、方位の軸方向では距離に応じて異なる。すなわち、遠距離では方位の軸方向のセル数が少なくなり、近距離では方位の軸方向のセル数が多くなる。
　一方、図２に示したように、観測エリア全体のレーダデータから物体領域のレーダデータを抽出すると、距離（レンジ）の情報が消失し、物体の大きさを判別することができなくなる。そこで、本実施形態では、反射強度およびドップラー速度の各情報の他に、距離（レンジ）の情報をレーダ検出画像に格納する。
　また、レーダ検出画像では、反射強度およびドップラー速度のヒートマップと同様に、Ｘ－Ｙ直交座標系で生成すればよい。この場合、領域データ抽出部３１において、レーダデータの極座標系をＸ－Ｙ直交座標系に変換する座標変換を行う。なお、レーダ検出画像の座標系は特に限定されるものではなく、Ｘ－Ｙ直交座標系の他に、レーダデータと同じように、方位と距離（レンジ）とで規定される極座標系としてもよい。
　また、物体判別部２３は、機械学習モデル、特に深層学習モデルを用いて、物体領域のレーダ検出画像から物体領域の物体の属性を判別する。すなわち、物体領域のレーダ検出画像を深層学習モデルに入力して、深層学習モデルで物体判別を行い、深層学習モデルから出力される物体判別結果を取得する。この深層学習モデルには、画像認識用の深層学習モデルが用いられる。なお、画像認識用の深層学習モデルとしては、ＣＮＮ（畳み込みニューラルネットワーク：convolutional neural network）が好適である。
　また、画像生成部３２では、物体検出部２１で検出された物体領域の大きさに関係なく、物体判別部２３の深層学習モデルで一様に処理可能なように、レーダ検出画像のサイズを揃える。このとき、拡大縮小の処理を行うと、元のレーダデータが改変されてしまうため、想定される最大の物体領域のサイズに基づいて、レーダ検出画像のサイズを設定し、そのサイズになるように、物体領域（レーダデータを格納した領域）の周囲に余白領域を設定する。
　また、図４に示すように、学習時には、物体検出部２１において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータから物体領域を検出する。次に、領域データ抽出部３１において、物体検出部２１で検出した物体領域の位置情報に基づいて、学習用の観測エリア全体のレーダデータから学習用の物体領域のレーダデータを抽出する。次に、画像生成部３２において、学習用の物体領域のレーダデータに基づいて、学習用の物体領域のレーダ検出画像を生成する。
　学習データ生成部２４では、画像生成部３２で生成した学習用の物体領域のレーダ検出画像と、そのレーダ検出画像に含まれる物体の属性に関する物体判別結果（ラベル）とを対応付けた学習データを生成する。この物体判別結果は、作業者が目視で判断して入力したものである。このとき、例えば、学習用のレーダデータに対応するカメラの撮影画像を目視で確認して、学習用のレーダ検出画像から判別される物体の属性を取得すればよい。
　学習処理部２５では、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得して、そのモデルパラメータを物体判別部２３の深層学習モデルに適用して、学習済みの深層学習モデルを構築する。
　次に、第１実施形態に係る物体判別装置１における物体判別時の動作手順について説明する。図５は、物体判別装置１の物体判別時の動作手順を示すフロー図である。図６は、データ処理（図５のＳＴ１０４）の動作手順を示すフロー図である。
　物体判別装置１では、図５に示すように、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
　次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１～Ｎ）を選定する（ＳＴ１０３）。
　次に、データ処理部２２において、データ処理を行う（ＳＴ１０４）。具体的には、領域データ抽出部３１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出し、画像生成部３２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。
　次に、物体判別部２３において、画像生成部３２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１０５）。
　次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
　一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、制御部１２において、物体判別部２３で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
　データ処理（ＳＴ１０４）では、図６に示すように、まず、データ処理部２２において、物体検出部２１で検出した物体領域の位置情報を取得する（ＳＴ２０１）。次に、物体領域の位置情報に基づいて、物体領域を取り囲む外接矩形の領域を確定する（ＳＴ２０２）。次に、レーダ検出画像の余白領域（物体領域以外の領域）のセル値を設定する（ＳＴ２０３）。
　次に、領域データ抽出部３１において、物体領域（外接矩形）内の１つセルＣｊ（ｊ＝１～Ｍ）を選定する（ＳＴ２０４）。そして、観測エリア全体のレーダデータから、選定したセルＣｊの反射強度、ドップラー速度、およびレンジを取得する（ＳＴ２０５）。
　次に、画像生成部３２において、セルＣｊの反射強度、ドップラー速度、およびレンジに基づいて、そのセルＣｊに対応する位置の画素の画素値（ＲＧＢの各チャンネルの値）を設定する（ＳＴ２０６）。すなわち、Ｒ値ｒｊにセルＣｊの反射強度を設定し、Ｇ値ｇｊにセルＣｊのドップラー速度を設定し、Ｂ値ｂｊにセルＣｊのレンジを設定する。
　次に、全てのセルの処理が終了したか否かを判定する（ＳＴ２０７）。ここで、全てのセルの処理が終了していない場合には（ＳＴ２０７でＮｏ）、ＳＴ２０４に戻り、次のセルを選定して、そのセルの処理を行う。
　一方、全てのセルの処理が終了した場合には（ＳＴ２０７でＹｅｓ）、次に、画像生成部３２において、各画素の画素値に基づいて、物体領域のレーダ検出画像を生成する（ＳＴ２０８）。
　次に、第１実施形態に係る物体判別装置１の学習時の動作手順について説明する。図７は、物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図である。
　物体判別装置１では、図７（Ａ）に示すように学習データ生成時には、まず、制御部１２において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ３０１）。次に、物体検出部２１において、学習用の観測エリア全体のレーダデータから物体領域を検出する（ＳＴ３０２）。
　次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１～Ｎ）を選定する（ＳＴ３０３）。
　次に、データ処理部２２において、データ処理を行う（ＳＴ３０４）。具体的には、領域データ抽出部３１において、学習用の観測エリア全体のレーダデータから学習用の物体領域のレーダデータを抽出して、画像生成部３２において、学習用の物体領域のレーダデータに基づいて、学習用の物体領域のレーダ検出画像を生成する。この処理は、物体判別時（図６参照）と同様である。
　次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ３０５）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ３０５でＮｏ）、ＳＴ３０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
　一方、全ての物体領域の処理が終了した場合には（ＳＴ３０５でＹｅｓ）、次に、学習データ生成部２４において、各物体領域の物体判別結果（ラベル）を取得する（ＳＴ３０６）。この物体判別結果は、作業者が目視で判断して入力したものである。
　次に、画像生成部３２で取得した各物体領域のレーダ検出画像と、物体判別結果（ラベル）とを対応付けた学習データを生成する（ＳＴ３０７）。
　このようにして学習データを生成するが、この学習データはできるだけ大量に生成することが望ましい。このため、場所や時間が異なる大量のレーダデータ（ヒートマップ）を集めて、学習用のレーダ検出画像を大量に生成するようにするとよい。
　なお、図７に示す例では、観測エリア全体のレーダデータ（ヒートマップ）に含まれる全ての物体領域を対象にして学習データを生成するようにしたが、一部の物体領域のみを対象にして学習データを生成するようにしてもよい。
　また、物体判別装置１では、図７（Ｂ）に示すように深層学習モデル構築時には、まず、学習処理部２５において、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得する（ＳＴ３０８）。
　次に、モデルパラメータを物体判別部２３の深層学習モデルに適用して、学習済みの深層学習モデルを構築する（ＳＴ３０９）。
（第２実施形態）
　次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図８は、第２実施形態に係る物体判別装置１の概略構成を示すブロック図である。
　第１実施形態では、検出された物体領域の物体を判別する物体判別を深層学習モデルで行うようにしたが、本実施形態では、物体判別の他に、物体領域を検出する物体検出を深層学習モデルで行うようにする。
　物体判別装置１の制御部１２は、データ処理部４１と、物体検出判別部４２と、学習データ生成部２４と、学習処理部２５と、を備えている。
　データ処理部４１は、画像生成部４３を備えている。この画像生成部４３は、観測エリア全体のレーダデータに基づいて、観測エリア全体のレーダ検出画像を生成する。
　物体検出判別部４２は、画像生成部４３で生成した観測エリア全体のレーダ検出画像を学習済みの深層学習モデルに入力して、深層学習モデルで物体検出と物体判別とを行い、深層学習モデルから出力される物体判別結果を取得する。この深層学習モデルには、探索機能付き深層学習モデルを用いられる。この探索機能付き深層学習モデルとしては、Ｆａｓｔｅｒ　Ｒ‐ＣＮＮ（regions with convolutional neural network）が好適である。
　次に、第２実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図９は、物体判別装置１の物体判別時の動作手順を示すフロー図である。図１０は、データ処理（図９のＳＴ１１１）の動作手順を示すフロー図である。
　物体判別装置１では、図９に示すように、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。
　次に、データ処理部２２において、データ処理を行う（ＳＴ１１１）。具体的には、画像生成部４３において、観測エリア全体のレーダデータに基づいて、観測エリア全体のレーダ検出画像を生成する。
　次に、物体検出判別部４２において、画像生成部４３で生成した観測エリア全体のレーダ検出画像を、学習済みの深層学習モデルに入力して、深層学習モデルにおいて物体検出および物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１１２）。
　次に、検出した物体ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
　データ処理（ＳＴ１１１）では、図１０に示すように、まず、データ処理部２２において、１つセルＣｊ（ｊ＝１～Ｍ）を選定する（ＳＴ２０４）。そして、観測エリア全体のレーダデータから、選定したセルＣｊの反射強度、ドップラー速度、およびレンジを取得する（ＳＴ２０５）。
　次に、画像生成部３２において、セルＣｊの反射強度、ドップラー速度、およびレンジに基づいて、そのセルＣｊに対応する位置の画素の画素値（ＲＧＢの各チャンネルの値）を設定する（ＳＴ２０６）。すなわち、Ｒ値ｒｊにセルＣｊの反射強度を設定し、Ｇ値ｇｊにセルＣｊのドップラー速度を設定し、Ｂ値ｂｊにセルＣｊのレンジを設定する。
　次に、全てのセルの処理が終了したか否かを判定する（ＳＴ２０７）。ここで、全てのセルの処理が終了していない場合には（ＳＴ２０７でＮｏ）、ＳＴ２０４に戻り、次のセルを選定して、そのセルの処理を行う。
　一方、全てのセルの処理が終了した場合には（ＳＴ２０７でＹｅｓ）、次に、画像生成部３２において、各画素の画素値に基づいて、観測エリア全体のレーダ検出画像を生成する（ＳＴ２０８）。
　次に、第２実施形態に係る物体判別装置１の学習時の動作手順について説明する。図１１は、物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図である。
　物体判別装置１では、図１１（Ａ）に示すように学習データ生成時には、まず、制御部１２において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ３０１）。
　次に、データ処理部４１において、データ処理を行う（ＳＴ３１１）。具体的には、画像生成部４３において、学習用の観測エリア全体のレーダデータに基づいて、学習用の観測エリア全体のレーダ検出画像を生成する。この処理は、物体判別時（図１０参照）と同様である。
　次に、学習データ生成部２４において、物体領域の物体判別結果（ラベル）を取得する（ＳＴ３１２）。この物体判別結果は、作業者が目視で判断して入力したものである。なお、学習用の観測エリア全体のレーダデータに、複数の物体領域が含まれる場合には、各物体領域の物体判別結果（ラベル）を取得する。
　次に、画像生成部３２で取得した学習用の観測エリア全体のレーダ検出画像と、物体判別結果（ラベル）とを対応付けた学習データを生成する（ＳＴ３１３）。
　また、物体判別装置１では、図１１（Ｂ）に示すように深層学習モデル構築時には、まず、学習処理部２５において、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得する（ＳＴ３１４）。
　次に、モデルパラメータを物体検出判別部４２の深層学習モデルに適用して、学習済みの深層学習モデルを構築する（ＳＴ３１５）。
（第３実施形態）
　次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第３実施形態に係る物体判別装置１の概略構成を示すブロック図である。
　第１実施形態では、物体領域のレンジ（距離）に関係なく、物体領域のレーダ検出画像を同一サイズで生成するようにしたが、物体領域の距離（レンジ）に応じて、物体領域のレーダデータの情報量（セル数）が大きく異なる（図３参照）。
　そこで、本実施形態では、物体領域の距離（レンジ）に応じて、物体領域のレーダデータを異なるサイズで画像化して、サイズが異なるレーダ検出画像を生成する。特に本実施形態では、遠距離と近距離との２通りに場合分けしてレーダデータを画像化する。
　物体判別装置１の制御部１２は、物体検出部２１と、分配部５１と、第１のデータ処理部５２と、第２のデータ処理部５３と、第１の物体判別部５４と、第２の物体判別部５５と、学習データ生成部２４と、学習処理部２５と、を備えている。
　分配部５１は、物体検出部２１で検出した物体領域の距離（レンジ）に基づいて、レーダデータの処理を第１のデータ処理部５２と第２のデータ処理部５３とに振り分ける。具体的には、物体領域の距離が所定値以上となる遠距離の場合には、レーダデータの処理を第１のデータ処理部５２に行わせ、物体領域の距離が所定値未満となる近距離の場合には、レーダデータの処理を第２のデータ処理部５３に行わせる。
　第１のデータ処理部５２は、物体領域が遠距離である場合に、レーダデータを処理するものであり、第１の領域データ抽出部６１と、第１の画像生成部６２と、を備えている。この第１のデータ処理部５２では、物体領域のレーダデータを抽出して、サイズが小さいレーダ検出画像を生成する。
　第２のデータ処理部５３は、物体領域が近距離である場合に、レーダデータを処理するものであり、第２の領域データ抽出部６３と、第２の画像生成部６４と、を備えている。この第２のデータ処理部５３では、物体領域のレーダデータを抽出して、サイズが大きいレーダ検出画像を生成する。
　なお、第１の領域データ抽出部６１および第２の領域データ抽出部６３で行われる処理は、第１実施形態の領域データ抽出部３１と同様であり、第１の画像生成部６２および第２の画像生成部６４で行われる処理は、第１実施形態の画像生成部３２と同様である。
　第１の物体判別部５４は、第１のデータ処理部５２で生成したサイズが小さいレーダ検出画像を対象にして、第１の深層学習モデルを用いて物体判別を行う。
　第２の物体判別部５５は、第２のデータ処理部５３で生成したサイズが大きいレーダ検出画像を対象にして、第２の深層学習モデルを用いて物体判別を行う。
　なお、本実施形態では、物体領域の距離（レンジ）に応じて、２通りに場合分けしてレーダデータを画像化するようにしたが、３通り以上に場合分けしてレーダデータを画像化するようにしてもよい。
　次に、第３実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図１３は、物体判別装置１の物体判別時の動作手順を示すフロー図である。
　物体判別装置１では、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
　次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１～Ｎ）を選定する（ＳＴ１０３）。
　次に、分配部５１において、物体領域Ｒｉの中心点のレンジ値がしきい値以上か否かを判定する（ＳＴ１２１）。
　ここで、物体領域Ｒｉの中心点のレンジ値がしきい値以上である、すなわち物体領域Ｒｉが遠距離である場合には（ＳＴ１２１でＹｅｓ）、第１のデータ処理部５２において、データ処理を行う（ＳＴ１２２）。具体的には、第１の領域データ抽出部６１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、第１の画像生成部６２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。なお、このデータ処理は、第１実施形態（図６参照）と同様である。
　次に、第１の物体判別部５４において、第１の画像生成部６２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１２３）。
　一方、物体領域Ｒｉの中心点のレンジ値がしきい値未満である、すなわち物体領域Ｒｉが近距離である場合には（ＳＴ１２１でＮｏ）、第２のデータ処理部５３において、データ処理を行う（ＳＴ１２４）。具体的には、第２の領域データ抽出部６３において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、第２の画像生成部６４において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。なお、このデータ処理は、第１実施形態（図６参照）と同様である。
　次に、第２の物体判別部５５において、第２の画像生成部６４で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１２５）。
　次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
　一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、制御部１２において、第１の物体判別部５４または第２の物体判別部５５で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
　なお、物体判別装置１の学習時の動作手順は、第１実施形態（図７参照）と略同様であるが、本実施形態では、第１の物体判別部５４と第２の物体判別部５５とで処理対象となるレーダ検出画像のサイズが異なるため、各々に対応したサイズで学習用のレーダ検出画像を生成する。
（第４実施形態）
　次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１４は、第４実施形態に係る物体判別装置１の概略構成を示すブロック図である。
　レーダ装置２では、ビーム走査周期に対応する間隔（例えば５０ｍｓ）で、各時刻の観測エリア全体のレーダデータが出力され、この各時刻の観測エリア全体のレーダデータから抽出された各時刻の物体領域のレーダデータを画像化すると、高速なフレームレート（例えば２０ｆｐｓ）でレーダ検出画像が生成されるが、このような高速なフレームレートのレーダ検出画像は、物体判別では必ずしも必要ない。
　そこで、本実施形態では、複数の時刻の観測エリア全体のレーダデータからそれぞれ抽出された複数の時刻の物体領域のレーダデータを合成（統合）して、合成されたレーダデータを画像化して、物体領域のレーダ検出画像を生成する。これにより、物体判別の精度を向上させることができる。
　物体判別装置１の制御部１２は、物体検出部２１と、データ処理部７１と、物体判別部２３と、学習データ生成部２４と、学習処理部２５と、を備えている。データ処理部７１は、領域データ抽出部３１と、データ合成部７２と、画像生成部３２と、を備えている。
　データ合成部７２は、領域データ抽出部３１で取得した複数の時刻の物体領域のレーダデータを合成（統合）して、物体領域の合成レーダデータを生成する。
　このとき、複数の時刻のレーダデータにおける各セルのデータを、レーダ検出画像における対応する位置の異なる画素の画素値に設定する。これにより、元のレーダデータを、改変せずにそのままレーダ検出画像に格納することができる。この場合、レーダ検出画像の画素数が増大し、例えば、４つの時刻のレーダデータを合成すると、４倍の画素数のレーダ検出画像を生成することができる。
　また、複数の時刻のレーダデータにおける各セルのデータを統計処理して、各セルの代表値（最大値、平均値など）を取得して、その代表値を、レーダ検出画像における対応する位置の画素値に設定するようにしてもよい。
　次に、第４実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図１５は、物体判別装置１の物体判別時の動作手順を示すフロー図である。
　物体判別装置１では、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
　次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１～Ｎ）を選定する（ＳＴ１０３）。
　次に、データ処理部２２の領域データ抽出部３１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出する（ＳＴ１３１）。
　次に、データ合成部７２において、所定数の時刻のレーダデータが揃ったか否かを判定する（ＳＴ１３２）。
　ここで、所定数の時刻のレーダデータが揃っていない場合には（ＳＴ１３２でＮｏ）、現時刻の物体領域のレーダデータを記憶部１３に一時的に蓄積する（ＳＴ１３３）。そして、ＳＴ１０６に進む。
　一方、所定数の時刻のレーダデータが揃った場合には（ＳＴ１３２でＹｅｓ）、データ合成部７２において、記憶部１３に蓄積された過去の時刻の物体領域のレーダデータを取得して、その過去の時刻の物体領域のレーダデータと、領域データ抽出部３１で取得した現時刻の物体領域のレーダデータとを合成する（ＳＴ１３４）。
　次に、画像生成部３２において、データ合成部７２で取得した物体領域の合成レーダデータに基づいて、物体領域のレーダ検出画像を生成する（ＳＴ１３５）。
　次に、物体判別部２３において、画像生成部３２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１０５）。
　次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
　一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、次に、物体判別結果を出力するタイミングか否かを判定する（ＳＴ１３６）。具体的には、例えば、４つの時刻のレーダデータを合成する場合は、フレーム順番が４の倍数の時に出力するタイミングであると判定する。
　ここで、物体判別結果を出力するタイミングでない場合には（ＳＴ１３６でＮｏ）、ＳＴ１０１に戻り、次の時刻の処理を行う。
　一方、物体判別結果を出力するタイミングである場合には（ＳＴ１３６でＹｅｓ）、制御部１２において、物体判別部２３で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
　なお、物体判別装置１の学習時の動作手順は、第１実施形態（図７参照）と同様であるが、本実施形態では、複数の時刻のレーダデータを合成した上でレーダ検出画像を生成するため、学習用のレーダ検出画像に、複数の時刻の学習用のレーダデータを合成した上で画像化したものを用いるようにしてもよいが、複数の時刻のレーダデータを合成せずに、１つの時刻の学習用のレーダデータをそのまま画像化したものでもよい。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　本発明に係るレーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法は、機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができる効果を有し、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置およびレーダデータ処理方法、ならびにレーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置および物体判別方法などとして有用である。
１　物体判別装置（レーダデータ処理装置、情報処理装置）
２　レーダ装置
１１　データ入力部
１２　制御部
１３　記憶部
１４　データ出力部

Claims (9)

  1. 　レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、
    　前記レーダデータを画像化する制御部を備え、
    　前記制御部は、
    　各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    　前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成することを特徴とするレーダデータ処理装置。
  2. 　前記制御部は、
    　観測エリア全体の前記レーダデータから検出された物体領域の位置情報に基づいて、観測エリア全体の前記レーダデータから物体領域のレーダデータを抽出し、
    　前記物体領域のレーダデータに基づいて、物体領域の前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
  3. 　前記制御部は、
    　観測エリア全体の前記レーダデータに基づいて、観測エリア全体の前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
  4. 　前記制御部は、
    　前記物体領域の距離に応じたサイズで、物体領域の前記レーダ検出画像を生成することを特徴とする請求項２に記載のレーダデータ処理装置。
  5. 　前記制御部は、
    　複数の時刻の前記レーダデータに基づいて、前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
  6. 　前記制御部は、前記レーダ検出画像のサイズが均一となるように、前記レーダ検出画像における物体領域の周囲に余白領域を設定することを特徴とする請求項１に記載のレーダデータ処理装置。
  7. 　レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、
    　前記レーダデータに基づいて物体を判別する制御部を備え、
    　前記制御部は、
    　各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    　前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、
    　前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得することを特徴とする物体判別装置。
  8. 　情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、
    　各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    　前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成することを特徴とするレーダデータ処理方法。
  9. 　情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、
    　各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    　前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、
    　前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得することを特徴とする物体判別方法。
PCT/JP2019/027755 2018-07-27 2019-07-12 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 WO2020022110A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/263,413 US20210311169A1 (en) 2018-07-27 2019-07-12 Radar data processing device, object determination device, radar data processing method, and object determination method
EP19839834.9A EP3819669A4 (en) 2018-07-27 2019-07-12 RADAR DATA PROCESSING DEVICE, OBJECT DETERMINATION DEVICE, RADAR DATA PROCESSING METHODS, AND OBJECT DETERMINATION METHODS
CN201980049689.8A CN112470033A (zh) 2018-07-27 2019-07-12 雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018140973A JP2020016597A (ja) 2018-07-27 2018-07-27 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
JP2018-140973 2018-07-27

Publications (1)

Publication Number Publication Date
WO2020022110A1 true WO2020022110A1 (ja) 2020-01-30

Family

ID=69180413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027755 WO2020022110A1 (ja) 2018-07-27 2019-07-12 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法

Country Status (5)

Country Link
US (1) US20210311169A1 (ja)
EP (1) EP3819669A4 (ja)
JP (1) JP2020016597A (ja)
CN (1) CN112470033A (ja)
WO (1) WO2020022110A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820694A (zh) * 2021-11-24 2021-12-21 腾讯科技（深圳）有限公司 一种仿真测距的方法、相关装置、设备以及存储介质
CN114442029A (zh) * 2020-11-02 2022-05-06 Aptiv技术有限公司 确定雷达检测的到达方向的方法和系统
WO2022157157A1 (en) * 2021-01-19 2022-07-28 Five AI Limited Radar perception
WO2022191197A1 (ja) * 2021-03-10 2022-09-15 オムロン株式会社 物体位置検出装置及び方法
WO2023053718A1 (ja) * 2021-10-01 2023-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム
JPWO2023079669A1 (ja) * 2021-11-05 2023-05-11

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210088629A1 (en) * 2019-09-25 2021-03-25 Raytheon Company Detecting an unmanned aerial vehicle using passive radar
JP7469053B2 (ja) * 2020-01-29 2024-04-16 日本無線株式会社 目標検出装置及び目標検出プログラム
KR102369967B1 (ko) * 2021-08-05 2022-03-04 한화시스템 주식회사 학습 데이터 생성 방법, 학습 방법 및 표적 탐지 장치
CN114141057B (zh) * 2021-11-25 2022-10-14 交通运输部公路科学研究所 一种交叉路口车辆碰撞预警测评方法、装置及系统
US20230258794A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Object detection and state estimation from deep learned per-point radar representations

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS526579B2 (ja) 1971-08-13 1977-02-23
JP2003028959A (ja) * 2001-07-17 2003-01-29 Kawasaki Heavy Ind Ltd 目標抽出方法
JP2008204103A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
JP2015125498A (ja) * 2013-12-25 2015-07-06 一般財団法人 リモート・センシング技術センター 擬似カラー化画像処理システム
JP2017049208A (ja) * 2015-09-04 2017-03-09 日本電気株式会社 ポラリメトリｓａｒ装置および観測方法
US20170307735A1 (en) * 2016-04-22 2017-10-26 Mohsen Rohani Object detection using radar and machine learning
JP2018048862A (ja) * 2016-09-20 2018-03-29 株式会社東芝 レーダ信号処理装置、レーダ信号処理方法、およびレーダ信号処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
US10042047B2 (en) * 2014-09-19 2018-08-07 GM Global Technology Operations LLC Doppler-based segmentation and optical flow in radar images
KR20170011882A (ko) * 2015-07-24 2017-02-02 엘지전자 주식회사 차량용 레이더, 및 이를 구비하는 차량
US10762440B1 (en) * 2015-09-24 2020-09-01 Apple Inc. Sensor fusion and deep learning
US10884409B2 (en) * 2017-05-01 2021-01-05 Mentor Graphics (Deutschland) Gmbh Training of machine learning sensor data classification system
US10942256B2 (en) * 2017-06-05 2021-03-09 Metawave Corporation Intelligent metamaterial radar for target identification
KR20220044416A (ko) * 2020-10-01 2022-04-08 가부시키가이샤 에바라 세이사꾸쇼 가스 용해액 공급 장치
US20230213646A1 (en) * 2022-01-04 2023-07-06 Qualcomm Incorporated Machine learning based object detection using radar information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS526579B2 (ja) 1971-08-13 1977-02-23
JP2003028959A (ja) * 2001-07-17 2003-01-29 Kawasaki Heavy Ind Ltd 目標抽出方法
JP2008204103A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
JP2015125498A (ja) * 2013-12-25 2015-07-06 一般財団法人 リモート・センシング技術センター 擬似カラー化画像処理システム
JP2017049208A (ja) * 2015-09-04 2017-03-09 日本電気株式会社 ポラリメトリｓａｒ装置および観測方法
US20170307735A1 (en) * 2016-04-22 2017-10-26 Mohsen Rohani Object detection using radar and machine learning
JP2018048862A (ja) * 2016-09-20 2018-03-29 株式会社東芝 レーダ信号処理装置、レーダ信号処理方法、およびレーダ信号処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3819669A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442029A (zh) * 2020-11-02 2022-05-06 Aptiv技术有限公司 确定雷达检测的到达方向的方法和系统
WO2022157157A1 (en) * 2021-01-19 2022-07-28 Five AI Limited Radar perception
WO2022191197A1 (ja) * 2021-03-10 2022-09-15 オムロン株式会社 物体位置検出装置及び方法
WO2023053718A1 (ja) * 2021-10-01 2023-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム
JPWO2023079669A1 (ja) * 2021-11-05 2023-05-11
JP7391278B2 (ja) 2021-11-05 2023-12-04 三菱電機株式会社 レーダ画像から関心領域を自動検出するための学習方法、及び自動検出装置
CN113820694A (zh) * 2021-11-24 2021-12-21 腾讯科技（深圳）有限公司 一种仿真测距的方法、相关装置、设备以及存储介质
CN113820694B (zh) * 2021-11-24 2022-03-01 腾讯科技（深圳）有限公司 一种仿真测距的方法、相关装置、设备以及存储介质

Also Published As

Publication number Publication date
US20210311169A1 (en) 2021-10-07
CN112470033A (zh) 2021-03-09
EP3819669A1 (en) 2021-05-12
JP2020016597A (ja) 2020-01-30
EP3819669A4 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
WO2020022110A1 (ja) レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US11783589B2 (en) License plate detection and recognition system
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN107220640B (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
US7664314B2 (en) Method for the analysis of correspondences in image data sets
US7602946B2 (en) Motion detection apparatus and motion detection method
JP2017516197A (ja) 交通標識を認識する方法及び装置
CN108154149B (zh) 基于深度学习网络共享的车牌识别方法
JP2005310140A (ja) オブジェクトの認識及び／又は追跡方法
US11200800B2 (en) Vehicle search system, vehicle search method, and vehicle used therefor
CN112037927A (zh) 与被追踪人关联的同行人确定方法、装置及电子设备
CN108665495A (zh) 图像处理方法及装置、移动终端
US5146511A (en) Image processing method and apparatus therefor
CN116107902A (zh) 测试数据的回灌方法和装置、测试数据的回灌系统
JP2005216200A (ja) 他車検出装置及び他車検出方法
CN114359766A (zh) 重叠区域的确定方法、目标检测方法、装置、设备和介质
KR101737619B1 (ko) 얼굴 인식 장치 및 방법
JP4561756B2 (ja) 車番特定装置、車番特定システム、コンピュータプログラム及び車番特定方法
CN111537954A (zh) 一种实时高动态融合定位方法及装置
Ramani et al. Smart parking system based on optical character recognition
JP6443144B2 (ja) 情報出力装置、情報出力プログラム及び情報出力方法、並びに情報出力システム
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
JPH1091793A (ja) オプティカルフロー算出方法及び装置
US20230126373A1 (en) System and method for improving hardware usage in control server using artificial intelligence image processing
JP2001175990A (ja) 車両計数方法、記録媒体、及び車両計数装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19839834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE