WO2022049619A1 - 識別装置、学習装置およびモデル生成方法 - Google Patents

識別装置、学習装置およびモデル生成方法 Download PDF

Info

Publication number
WO2022049619A1
WO2022049619A1 PCT/JP2020/033027 JP2020033027W WO2022049619A1 WO 2022049619 A1 WO2022049619 A1 WO 2022049619A1 JP 2020033027 W JP2020033027 W JP 2020033027W WO 2022049619 A1 WO2022049619 A1 WO 2022049619A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
radar
isar
moving image
type
Prior art date
Application number
PCT/JP2020/033027
Other languages
English (en)
French (fr)
Inventor
一貴 平嶋
將 白石
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022535069A priority Critical patent/JP7221454B2/ja
Priority to PCT/JP2020/033027 priority patent/WO2022049619A1/ja
Publication of WO2022049619A1 publication Critical patent/WO2022049619A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques

Definitions

  • the present disclosure relates to an identification device, a learning device, and a model generation method for identifying the type of a target reflected in a radar image.
  • ISAR reverse synthetic aperture radar
  • a two-dimensional radar image is obtained by separating the range direction by the arrival time difference of the received echo and separating the cross-range direction orthogonal to the range direction by the Doppler frequency difference caused by the change in the attitude of the target.
  • the range direction is the radio wave irradiation direction.
  • Patent Document 1 describes a target classification device for classifying ships with reference to an ISAR image.
  • the target classification device described in Patent Document 1 calculates the similarity between the ISAR image selected as the classification target and each of the plurality of feature information representing the characteristics of the ship class, and the calculated distribution state of the plurality of similarities.
  • the distribution coefficient is calculated based on.
  • the target classification device integrates a plurality of similarities for each ship class using the calculated distribution coefficient, and based on the integration result, among the multiple ship classes, the integrated ship class with a high degree of similarity is selected. indicate.
  • the radar image to be classified was selected from a plurality of radar images by the operator. Therefore, there is a problem that the identification performance changes depending on the radar image selected by the operator.
  • the present disclosure solves the above-mentioned problems, and obtains an identification device, a learning device, and a model generation method capable of identifying the type of an object reflected in a radar image without the operator selecting a radar image to be identified.
  • the purpose is.
  • the identification device has a preprocessing unit that converts a radar moving image, which is a radar image of a plurality of consecutive frames, into data in a format used for identifying the type of an object reflected in the radar image, and a format conversion. It is provided with an identification unit that identifies the type of the object from the radar moving image based on the visual characteristics and the time-series characteristics of the object reflected in the radar moving image.
  • a radar moving image which is a radar image of a plurality of consecutive frames, is converted into data in a format used for identifying the type of an object reflected in the radar image, and is reflected in the converted radar moving image.
  • the type of object is identified from the radar moving image based on the visual characteristics and time-series characteristics of the object.
  • the identification device can identify the type of the object reflected in the radar image without the operator selecting the radar image to be identified.
  • FIG. 4A is an image diagram showing an unprocessed radar image
  • FIG. 4B is an image diagram showing a normalized radar image
  • FIG. 4C is an image diagram showing a radar image from which noise has been removed
  • 4D is an image diagram showing a partial image trimmed from the radar image
  • FIG. 4E is an image diagram showing an image obtained by resizing the trimmed partial image. It is a schematic diagram which shows the example of the trained model.
  • FIG. 6A is a block diagram showing a hardware configuration that realizes the function of the identification device according to the first embodiment
  • FIG. 6B is a hardware that executes software that realizes the function of the identification device according to the first embodiment. It is a block diagram which shows the structure. It is a block diagram which shows the structural example of the learning apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the model generation method which concerns on Embodiment 1.
  • FIG. 1 is a block diagram showing a configuration example of the radar image processing system 1.
  • the radar image processing system 1 generates an ISAR moving image based on the received signals acquired from n radars 2-1, 2, ..., 2-n, and uses the generated ISAR moving image to generate an ISAR moving image. It is a system that identifies the type of object reflected in the ISAR image and outputs the type of the identified object.
  • n is an integer of 1 or more.
  • the target object is, for example, a ship sailing on the water.
  • the ISAR moving image is a radar moving image composed of a plurality of frames of ISAR images that are continuous in time. In the ISAR moving image, the frame width and the number of frames are arbitrary.
  • the radar image processing system 1 shown in FIG. 1 includes radars 2-1 and 2, ..., 2-n, a moving image generation unit 3, a moving image storage unit 4, an identification device 5, a storage unit 6, and an identification result.
  • a storage unit 7 and a display unit 8 are provided.
  • the identification device 5 includes a pretreatment unit 51 and an identification unit 52.
  • the moving image storage unit 4, the storage unit 6, and the identification result storage unit 7 are provided in, for example, a storage device provided separately from the identification device 5.
  • the moving image storage unit 4, the storage unit 6, and the identification result storage unit 7 may be provided in the memory provided in the identification device 5.
  • the moving image generation unit 3 or the display unit 8 is a component provided in an external device provided separately from the identification device 5, but the identification device 5 may be provided.
  • Radars 2-1, 2, 2, ..., 2-n are transmission / reception radars that transmit radio waves to space and receive radio waves (echo) reflected by objects existing in space.
  • the moving image generation unit 3 sequentially acquires the echo signals received by the radars 2-1, 2, 2, ..., 2-n, processes the received echo signals, and generates an ISAR image for each frame. By doing so, an ISAR moving image is generated.
  • the moving image storage unit 4 stores the ISAR moving image generated by the moving image generation unit 3.
  • the ISAR moving image is sequentially output from the moving image storage unit 4 to the identification device 5.
  • the ISAR moving image sequentially output to the identification device 5 is an ISAR moving image in which the ISAR images for the number of frames preset for the moving image storage unit 4 are continuous.
  • the identification device 5 identifies the type of the object reflected in the ISAR image using the ISAR moving image.
  • the storage unit 6 stores various information. For example, the storage unit 6 stores a trained model used for identifying the type of an object by the identification device 5.
  • the identification result storage unit 7 stores information indicating the type of the object identified by the identification device 5.
  • the display unit 8 displays the identification result of the type of the object stored in the identification result storage unit 7.
  • the preprocessing unit 51 converts an ISAR moving image consisting of a plurality of frames of ISAR images acquired from the moving image storage unit 4 into data in a format used for identifying the type of the object reflected in the ISAR image. For example, when the identification unit 52 identifies an object type using a trained model, the preprocessing unit 51 uses an ISAR moving image so that the data is in the format used by the identification unit 52 in the object type identification process. Each ISAR image in is converted to the image size required by the trained model.
  • the preprocessing unit 51 removes noise from the ISAR image, trims the portion of the ISAR image in which the object is shown, and trims the portion of the ISAR image in order to make it easier for the trained model to capture the characteristics of the object in the ISAR image. Emphasize light and dark.
  • the identification unit 52 identifies the type of the object from the ISAR moving image based on the visual characteristics and the time-series characteristics of the object reflected in the ISAR moving image whose format is converted by the preprocessing unit 51. For example, the identification unit 52 identifies the type of the object from the ISAR moving image by using the trained model stored in the storage unit 6.
  • the trained model inputs multiple frames of ISAR images that are continuous for a certain number of minutes at a time, and inputs multiple ISAR images based on the visual characteristics and time-series characteristics of the object in the ISAR moving image. It is a trained model for identifying the type of object from.
  • the trained model has, for example, a network structure in which a convolutional neural network (hereinafter referred to as CNN) and a recurrent neural network (hereinafter referred to as RNN) are combined.
  • the visual feature of the object is the visual feature of the partial image in which the object is shown in the ISAR image.
  • CNN extracts the visual features of an object from an ISAR video.
  • a time-series feature of an object is a feature that represents a change over time in the visual features of a partial image of the object.
  • the RNN extracts time-series features from the ISAR video.
  • FIG. 2 is a flowchart showing the operation of the identification device 5, and shows the identification process of the type of the object by the identification device 5.
  • the preprocessing unit 51 converts the ISAR moving image acquired from the moving image storage unit 4 into data in a format used for identifying the type of the object reflected in the ISAR image (step ST1). This processing is radar image preprocessing.
  • the identification unit 52 inputs the ISAR moving image converted by the preprocessing unit 51, and from the ISAR moving image to the target object based on the visual features and time-series features of the object reflected in the ISAR moving image. (Step ST2).
  • the information indicating the identification result of the target type output from the identification unit 52 is stored in the identification result storage unit 7.
  • the display unit 8 displays the identification result output from the identification result storage unit 7.
  • FIG. 3 is a flowchart showing an example of radar image preprocessing, and shows a series of processes by the preprocessing unit 51.
  • FIG. 4A is an image diagram showing an unprocessed radar image, and shows an ISAR image in an ISAR moving image input to the preprocessing unit 51.
  • FIG. 4B is an image diagram showing a normalized radar image, and shows an image obtained by normalizing the ISAR image of FIG. 4A.
  • FIG. 4C is an image diagram showing a radar image from which noise has been removed, and shows an image in which noise has been removed from the ISAR image of FIG. 4B.
  • FIG. 4D is an image diagram showing a partial image trimmed from the radar image, and shows a partial image trimmed from the ISAR image of FIG. 4C.
  • FIG. 4E is an image diagram showing a resized image of the trimmed partial image, and shows an image obtained by resizing the partial image of FIG. 4D.
  • Radio waves transmitted from radars 2-1 and 2, ..., 2-n to space are reflected by an object in space, and the reflected waves are received, so that the object is photographed from multiple directions. Will be done.
  • Radar images such as ISAR images are generated by synthesizing images of objects taken from multiple directions.
  • the luminance in the radar image corresponds to the signal value of the reflected wave received by the radars 2-1, 2, 2, ..., 2-n.
  • the signal value is, for example, the magnitude of the amplitude of the received signal of the reflected wave.
  • the preprocessing unit 51 acquires, for example, the ISAR image shown in FIG. 4A from the input ISAR moving image.
  • the preprocessing unit 51 extracts the maximum signal value in the ISAR image, and normalizes the signal value within a certain range based on the position in the ISAR image corresponding to the extracted signal value with a value from 0 to 255. (Step ST1a).
  • Step ST1a By normalizing the signal values in the ISAR image, the light and darkness in the ISAR image is emphasized, as shown in FIG. 4B. This makes it possible to highlight the part of the ISAR image where the signal is strong.
  • the preprocessing unit 51 removes noise from the ISAR image (step ST2a).
  • the preprocessing unit 51 uses a median filter to make the signal corresponding to the portion other than the portion of the ISAR image in which the object is captured as small as possible.
  • the ISAR image shown in FIG. 4C is obtained.
  • the preprocessing unit 51 trims the partial image corresponding to the signal value exceeding the threshold value from the ISAR image (step ST3a).
  • the image shown in FIG. 4D is a partial image trimmed from the ISAR image shown in FIG. 4C by the preprocessing unit 51.
  • the preprocessing unit 51 converts the partial image trimmed from the ISAR image into the image size required by the trained model (step ST4a).
  • the neural network hereinafter referred to as NN
  • the image size of the ISAR image input to the NN is the image size required by the trained model.
  • the partial image shown in FIG. 4D is resized to the image size shown in FIG. 4E.
  • FIG. 5 is a schematic diagram showing an example of a trained model.
  • the identification unit 52 identifies the type of the object from the ISAR moving image, for example, by using the trained model shown in FIG.
  • the trained model shown in FIG. 5 is a machine learning model having a network structure in which a CNN is arranged in the front stage and an RNN is arranged in the rear stage.
  • CNN is an NN for extracting visual features of an object from an ISAR image
  • RNN is an NN for extracting time-series features of an object from an ISAR image of a plurality of frames in an ISAR moving image. It is NN.
  • the preprocessing unit 51 performs the above-mentioned preprocessing on an ISAR moving image consisting of n frames of ISAR images 7-1, 7-2, ..., 7-n in which the ship SH1 is captured.
  • preprocessed ISAR images 8-1, 8-2, ..., 8-n are generated.
  • n is the number of frames of the ISAR image specified by the trained model.
  • the trained model has 10 frames of ISAR images 8-1, 8-2, ... ..., 8-10 are input at once.
  • the trained model shown in FIG. 5 has a network structure for the number of input frames n of the ISAR images, and the ISAR images 8-1, 8-2, ..., 8-n are networks in chronological order. Entered in the structure.
  • the CNN in the first stage extracts the visual features of the ship SH1 from the ISAR image and outputs them to the RNN in the second stage.
  • the RNN extracts the time-series features of the ship SH1 by matching the visual features with the RNN corresponding to the later time in time series, as indicated by the arrows in FIG.
  • the time-series characteristics of the ship SH1 are the characteristics of changes over time in the visual characteristics of the partial image of the ship SH1.
  • the RNN extracts not only the visual features of the ship SH1 in the ISAR image, but also, for example, time-series features showing how the ship SH1 sways flexibly under the influence of waves.
  • the visual and time-series features of the ship SH1 output from the RNN in the network structure corresponding to the nth time in the time series are obtained by applying the softmax function, for example, through the fully connected layer F1.
  • the probability of being correctly classified into the identification class is calculated and output as the identification result.
  • the identification result output from the identification unit 52 is stored in the identification result storage unit 7.
  • the display unit 8 may display one type corresponding to the highest probability among the probabilities classified into each discrimination class in the discrimination result, or may display a plurality of types having a higher probability. ..
  • the operator can recognize the type of the ship SH1 or can recognize the estimated type candidate of the ship.
  • the identification device 5 includes a processing circuit that executes the processing of steps ST1 to ST2 shown in FIG.
  • the processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in the memory.
  • FIG. 6A is a block diagram showing a hardware configuration that realizes the function of the identification device 5
  • FIG. 6B is a block diagram showing a hardware configuration that executes software that realizes the function of the identification device 5.
  • the input interface 100 is, for example, an interface for relaying an ISAR moving image output from the moving image storage unit 4 to the identification device 5.
  • the output interface 101 is an interface for relaying the identification result output from the identification device 5 to the identification result storage unit 7.
  • the input / output interface 102 is an interface for relaying data input / output between the storage device 103 and the identification device 5.
  • the storage device 103 is a storage device including the storage unit 6 shown in FIG. 1, and stores, for example, parameter information representing a trained model.
  • the processing circuit 104 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific Integrated Circuitd). Circuit), FPGA (Field-Programmable Gate Array) or a combination thereof is applicable.
  • the functions of the pre-processing unit 51 and the identification unit 52 included in the identification device 5 may be realized by separate processing circuits, or these functions may be collectively realized by one processing circuit.
  • the processing circuit is the processor 105 shown in FIG. 6B
  • the functions of the preprocessing unit 51 and the identification unit 52 included in the identification device 5 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 106.
  • the processor 105 realizes the functions of the preprocessing unit 51 and the identification unit 52 included in the identification device 5 by reading and executing the program stored in the memory 106.
  • the identification device 5 includes a memory 106 for storing a program in which the processes from step ST1 to ST2 in the flowchart shown in FIG. 2 are executed as a result when executed by the processor 105. These programs cause the computer to execute the procedure or method of the preprocessing unit 51 and the identification unit 52.
  • the memory 106 may be a computer-readable storage medium in which a program for making the computer function as a preprocessing unit 51 and an identification unit 52 is stored.
  • the memory 106 may be, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically-Volatilizer), or an EEPROM (Electrically-Volatilizer). This includes disks, flexible disks, optical disks, compact disks, mini disks, DVDs, and the like.
  • a part of the functions of the preprocessing unit 51 and the identification unit 52 included in the identification device 5 may be realized by dedicated hardware, and a part may be realized by software or firmware.
  • the pre-processing unit 51 realizes its function by the processing circuit 104, which is dedicated hardware
  • the identification unit 52 realizes its function by reading and executing the program stored in the memory 106 by the processor 105. Will be done.
  • the processing circuit can realize the above-mentioned functions by hardware, software, firmware or a combination thereof.
  • FIG. 7 is a block diagram showing a configuration example of the learning device 9 according to the first embodiment.
  • the learning device 9 is a device that generates a trained model used for identification processing of an object type by the discrimination device 5, and includes a learning data acquisition unit 91 and a model generation unit 92 as shown in FIG. 7.
  • the learning data acquisition unit 91 acquires the learning data used by the model generation unit 92.
  • the learning data is data in which the ISAR moving image and the type of the object reflected in the ISAR moving image are associated with each other.
  • the training data is a data set in which the type of the object reflected in the ISAR moving image is tagged with respect to the ISAR moving image.
  • the model generation unit 92 generates a trained model using the training data.
  • the trained model inputs n frames of ISAR images that are continuous for a certain number of n minutes at a time, and based on the visual characteristics and time-series characteristics of the object in the ISAR moving image, the input ISAR image is used as an object. It is a machine learning model for identifying the type of.
  • n is an integer of 1 or more.
  • the trained model generated by the model generation unit 92 is stored in the storage unit 6.
  • the identification unit 52 identifies the type of the object from the ISAR moving image using the trained model read from the storage unit 6.
  • FIG. 8 is a flowchart showing the model generation method according to the first embodiment, and shows a series of processes by the learning device 9.
  • the learning data acquisition unit 91 acquires learning data (step ST1b). For example, when the arithmetic unit provided with the moving image generation unit 3 has a function of tagging the type of the ship with respect to the ISAR moving image, the learning data acquisition unit 91 acquires learning data from the arithmetic unit. .. Further, the device for generating the learning data may be a device provided separately from the identification device 5 and the learning device 9, may be the identification device 5, or may be the learning device 9. ..
  • the model generation unit 92 generates a trained model using the training data acquired by the training data acquisition unit 91 (step ST2b). Specifically, the model generation unit 92 learns the NN parameters so that the ISAR moving image included in the input learning data and the type of the tagged ship match with high probability.
  • the NN has the network structure shown in FIG. The NN inputs the ISAR image included in the training data and outputs a predicted value for the type of the ship based on the visual characteristics and the time-series characteristics of the object shown in the ISAR moving image. The error between this predicted value and the type of ship included in the training data is calculated by the loss function.
  • the trained model is an NN whose parameters such as the weight matrix have been updated so that the error calculated using the loss function is minimized.
  • the loss function for example, a softmax function is used.
  • the trained model generated by the model generation unit 92 is stored in the storage unit 6.
  • the learning device 9 includes a processing circuit for executing the processing from step ST1b to step ST2b shown in FIG.
  • the processing circuit may be the processing circuit 104 of the dedicated hardware shown in FIG. 6A, or may be the processor 105 that executes the program stored in the memory 106 shown in FIG. 6B.
  • the identification device 5 converts the ISAR moving image, which is an ISAR image of a plurality of consecutive frames, into data in a format used for identifying the type of the object reflected in the ISAR image. , Identify the type of object from the ISAR video based on the visual and time-series features of the object in the converted ISAR video. As a result, the identification device 5 can identify the type of the object reflected in the ISAR image without the operator selecting the ISAR image to be identified. Further, the ISAR image selected by the operator can be said to be a radar image having features consciously extracted by the operator. For this reason, the visual characteristics of the ISAR image may vary from operator to operator and may vary from selected ISAR image to one.
  • the identification device 5 can identify the type of the object based on the visual characteristics and the time-series characteristics of the object reflected in the ISAR moving image without the operator selecting the ISAR image. This improves the identification accuracy of the target type.
  • ISAR images of a plurality of consecutive frames for a certain number of minutes are input at once using learning data in which the ISAR moving image and the type of the object reflected in the ISAR image are associated with each other.
  • the identification device 5 can identify the type of the object reflected in the ISAR image without the operator selecting the ISAR image to be identified.
  • the identification device according to the present disclosure can be used, for example, as a radar device for detecting a ship.
  • 1 radar image processing system 2-1 to 2-n radar, 3 moving image generation unit, 4 moving image storage unit, 5 identification device, 6 storage unit, 7 identification result storage unit, 7-1 to 7-n ISAR image , 8 display unit, 8-1 to 8-n ISAR image, 9 learning device, 51 preprocessing unit, 52 identification unit, 91 learning data acquisition unit, 92 model generation unit, 100 input interface, 101 output interface, 102 input Output interface, 103 storage device, 104 processing circuit, 105 processor, 106 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

識別装置（５）は、連続した複数のフレームのＩＳＡＲ画像であるＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換する前処理部（５１）と、形式が変換されたＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、ＩＳＡＲ動画像から物体の種別を識別する識別部（５２）とを備える。

Description

識別装置、学習装置およびモデル生成方法
　本開示は、レーダ画像に写った目標の種別を識別する識別装置、学習装置およびモデル生成方法に関する。
　逆合成開口レーダ（以下、ＩＳＡＲと記載する）によって得られた２次元レーダ画像を用いて、物体を識別する技術が知られている。ＩＳＡＲは、遠距離で移動する目標の観測に適したレーダモードである。ＩＳＡＲでは、レンジ方向を受信エコーの到達時間差で分離し、レンジ方向に直交するクロスレンジ方向を、目標の姿勢の変化によって生じるドップラ周波数差で分離することによって２次元レーダ画像を得ている。レンジ方向は、電波照射方向である。例えば、特許文献１には、ＩＳＡＲ画像を参照して艦船を類別する目標類別装置が記載されている。
　特許文献１に記載された目標類別装置は、類別対象として選択したＩＳＡＲ画像と、艦級の特徴を表す複数の特徴情報のそれぞれとの類似度を算出し、算出した複数の類似度の分布状態に基づいて分布係数を算出する。そして、目標類別装置は、算出した分布係数を用いて、複数の類似度を艦級ごとに統合し、統合結果に基づいて、複数の艦級のうち、統合された類似度が高い艦級を表示する。
特開２０１２－２６９７６号公報
　特許文献１に記載された目標類別装置において、類別対象のレーダ画像は、オペレータによって複数のレーダ画像から選択されていた。このため、オペレータが選択するレーダ画像によって識別性能が変わってしまうという課題があった。
　本開示は上記課題を解決するものであり、オペレータが識別対象のレーダ画像を選択することなく、レーダ画像に写った物体の種別を識別することができる識別装置、学習装置およびモデル生成方法を得ることを目的とする。
　本開示に係る識別装置は、連続した複数のフレームのレーダ画像であるレーダ動画像を、レーダ画像に写った物体の種別の識別に用いられる形式のデータに変換する前処理部と、形式が変換されたレーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、レーダ動画像から物体の種別を識別する識別部とを備える。
　本開示によれば、連続した複数のフレームのレーダ画像であるレーダ動画像が、レーダ画像に写った物体の種別の識別に用いられる形式のデータに変換され、形式を変換したレーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、レーダ動画像から物体の種別が識別される。これにより、本開示に係る識別装置は、オペレータが識別対象のレーダ画像を選択することなく、レーダ画像に写った物体の種別を識別することができる。
実施の形態１に係る識別装置を備えたレーダ画像処理システムの構成例を示すブロック図である。 実施の形態１に係る識別装置の動作を示すフローチャートである。 レーダ画像前処理の例を示すフローチャートである。 図４Ａは、未処理のレーダ画像を示す画像図であり、図４Ｂは、正規化したレーダ画像を示す画像図であり、図４Ｃは、ノイズを除去したレーダ画像を示す画像図であり、図４Ｄは、レーダ画像からトリミングされた部分画像を示す画像図であり、図４Ｅは、トリミングされた部分画像をリサイズした画像を示す画像図である。 学習済みモデルの例を示す概要図である。 図６Ａは、実施の形態１に係る識別装置の機能を実現するハードウェア構成を示すブロック図であり、図６Ｂは、実施の形態１に係る識別装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態１に係る学習装置の構成例を示すブロック図である。 実施の形態１に係るモデル生成方法を示すフローチャートである。
実施の形態１．
　図１は、レーダ画像処理システム１の構成例を示すブロック図である。レーダ画像処理システム１は、ｎ台のレーダ２－１，２－２，・・・，２－ｎから取得した受信信号に基づいてＩＳＡＲ動画像を生成し、生成したＩＳＡＲ動画像を用いて、ＩＳＡＲ画像に写る物体の種別を識別し、識別した物体の種別を出力するシステムである。ｎは１以上の整数である。目標の物体は、例えば、水上を航行する艦船である。ＩＳＡＲ動画像は、時間的に連続した複数のフレームのＩＳＡＲ画像からなるレーダ動画像である。ＩＳＡＲ動画像において、フレーム幅およびフレーム数は任意である。
　図１に示すレーダ画像処理システム１は、レーダ２－１，２－２，・・・，２－ｎ、動画像生成部３、動画像格納部４、識別装置５、記憶部６、識別結果格納部７および表示部８を備える。また、識別装置５は、前処理部５１および識別部５２を備える。動画像格納部４、記憶部６および識別結果格納部７は、例えば、識別装置５とは別に設けられた記憶装置に設けられる。ただし、動画像格納部４、記憶部６および識別結果格納部７は、識別装置５が備えるメモリに設けられてもよい。動画像生成部３または表示部８は、識別装置５とは別に設けられた外部装置が備える構成要素であるが、識別装置５が備えてもよい。
　レーダ２－１，２－２，・・・，２－ｎは、空間に電波を送信し、空間に存在する物体において反射された電波（エコー）を受信する送受信レーダである。動画像生成部３は、レーダ２－１，２－２，・・・，２－ｎによって受信されたエコーの信号を順次取得し、受信エコー信号を処理してフレームごとのＩＳＡＲ画像を生成することにより、ＩＳＡＲ動画像を生成する。動画像格納部４は、動画像生成部３によって生成されたＩＳＡＲ動画像を格納する。識別装置５には、動画像格納部４からＩＳＡＲ動画像が順次出力される。識別装置５に順次出力されるＩＳＡＲ動画像は、動画像格納部４に対して予め設定されたフレーム数分のＩＳＡＲ画像が連続したＩＳＡＲ動画像である。
　識別装置５は、ＩＳＡＲ動画像を用いてＩＳＡＲ画像に写った物体の種別を識別する。記憶部６は、各種情報を記憶する。例えば、記憶部６には、識別装置５による物体の種別の識別に用いられる学習済みモデルが記憶される。識別結果格納部７には、識別装置５によって識別された物体の種別を示す情報が格納される。表示部８は、識別結果格納部７に格納された物体の種別の識別結果を表示する。
　前処理部５１は、動画像格納部４から取得した複数のフレームのＩＳＡＲ画像からなるＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換する。例えば、識別部５２が学習済みモデルを用いて物体の種別を識別する場合に、物体の種別の識別処理において識別部５２が用いる形式のデータとなるように、前処理部５１は、ＩＳＡＲ動画像における各ＩＳＡＲ画像を学習済みモデルが要求する画像サイズに変換する。また、前処理部５１は、学習済みモデルがＩＳＡＲ画像に写った物体の特徴を捉え易くするために、ＩＳＡＲ画像からノイズを除去し、ＩＳＡＲ画像における物体が写った部分をトリミングし、ＩＳＡＲ画像の明暗を強調する。
　識別部５２は、前処理部５１によって形式が変換されたＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、ＩＳＡＲ動画像から物体の種別を識別する。例えば、識別部５２は、記憶部６に記憶された学習済みモデルを用いて、ＩＳＡＲ動画像から物体の種別を識別する。学習済みモデルは、一定数分連続した複数のフレームのＩＳＡＲ画像を一度に入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力した複数のＩＳＡＲ画像から物体の種別を識別するための学習済みモデルである。
　学習済みモデルは、例えば、畳み込みニューラルネットワーク（以下、ＣＮＮと記載する）と、再帰型ニューラルネットワーク（以下、ＲＮＮと記載する）とが組み合わされたネットワーク構造を有する。物体の視覚的な特徴は、ＩＳＡＲ画像内の物体が写っている部分画像の視覚的な特徴である。例えば、ＣＮＮが、ＩＳＡＲ動画像から物体の視覚的な特徴を抽出する。物体の時系列な特徴は、物体が写った部分画像における視覚的な特徴の時間経過に伴った変化を表す特徴である。例えば、ＲＮＮが、ＩＳＡＲ動画像から時系列的な特徴を抽出する。
　図２は、識別装置５の動作を示すフローチャートであり、識別装置５による物体の種別の識別処理を示している。まず、前処理部５１は、動画像格納部４から取得したＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換する（ステップＳＴ１）。この処理がレーダ画像前処理である。次に、識別部５２は、前処理部５１によって変換されたＩＳＡＲ動画像を入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいてＩＳＡＲ動画像から目標物体の種別を識別する（ステップＳＴ２）。識別部５２から出力された目標種別の識別結果を示す情報は、識別結果格納部７に格納される。表示部８は、識別結果格納部７から出力された識別結果を表示する。
　図３は、レーダ画像前処理の例を示すフローチャートであり、前処理部５１による一連の処理を示している。図４Ａは、未処理のレーダ画像を示す画像図であり、前処理部５１に入力されるＩＳＡＲ動画像におけるＩＳＡＲ画像を示している。図４Ｂは、正規化したレーダ画像を示す画像図であり、図４ＡのＩＳＡＲ画像を正規化した画像を示している。図４Ｃは、ノイズを除去したレーダ画像を示す画像図であり、図４ＢのＩＳＡＲ画像からノイズを除去した画像を示している。図４Ｄは、レーダ画像からトリミングされた部分画像を示す画像図であり、図４ＣのＩＳＡＲ画像からトリミングされた部分画像を示している。図４Ｅは、トリミングされた部分画像をリサイズした画像を示す画像図であり、図４Ｄの部分画像をリサイズした画像を示している。
　レーダ２－１，２－２，・・・，２－ｎから空間に送信された電波は、空間内の物体において反射され、反射波が受信されることにより、物体は、複数の方向から撮影される。ＩＳＡＲ画像などのレーダ画像は、複数の方向から撮影された物体の画像を合成することによって生成される。一般に、レーダ画像内の輝度は、レーダ２－１，２－２，・・・，２－ｎによって受信された反射波の信号値に対応する。信号値は、例えば、反射波の受信信号の振幅の大きさである。
　前処理部５１は、ＩＳＡＲ動画像を入力すると、入力したＩＳＡＲ動画像から、例えば図４Ａに示すＩＳＡＲ画像を取得する。前処理部５１は、ＩＳＡＲ画像内で最大の信号値を抽出し、抽出した信号値に対応するＩＳＡＲ画像内の位置を基準とした一定の範囲内の信号値を０から２５５の値で正規化する（ステップＳＴ１ａ）。ＩＳＡＲ画像内の信号値を正規化することによって、図４Ｂに示すように、ＩＳＡＲ画像内の明暗が強調される。これにより、ＩＳＡＲ画像内で信号が強い部分を際立たせることができる。
　続いて、前処理部５１は、ＩＳＡＲ画像からノイズを除去する（ステップＳＴ２ａ）。例えば、前処理部５１は、メジアンフィルタを用いることにより、ＩＳＡＲ画像における物体が写った部分以外に対応する信号を限りなく小さくする。図４Ｂに示したＩＳＡＲ画像からノイズを除去することによって、図４Ｃに示すＩＳＡＲ画像が得られる。前処理部５１は、ＩＳＡＲ画像から、閾値を超える信号値に対応する部分画像をトリミングする（ステップＳＴ３ａ）。図４Ｄに示す画像は、前処理部５１によって、図４Ｃに示したＩＳＡＲ画像からトリミングされた部分画像である。
　この後、前処理部５１は、ＩＳＡＲ画像からトリミングした部分画像を、学習済みモデルが要求する画像サイズに変換する（ステップＳＴ４ａ）。例えば、学習済みモデルを構成するニューラルネットワーク（以下、ＮＮと記載する。）は、複数のＩＳＡＲ画像を、同一の画像サイズで入力する。ＮＮに入力されるＩＳＡＲ画像の画像サイズが、学習済みモデルが要求する画像サイズである。図４Ｄに示した部分画像は、図４Ｅに示す画像サイズにリサイズされる。
　図５は、学習済みモデルの例を示す概要図である。識別部５２は、例えば、図５に示す学習済みモデルを用いることにより、ＩＳＡＲ動画像から物体の種別を識別する。図５に示す学習済みモデルは、前段にＣＮＮが配置され、後段にＲＮＮが配置されたネットワーク構造を有する機械学習モデルである。ここで、ＣＮＮは、ＩＳＡＲ画像から物体の視覚的な特徴を抽出するためのＮＮであり、ＲＮＮは、ＩＳＡＲ動画像における複数のフレームのＩＳＡＲ画像から物体の時系列的な特徴を抽出するためのＮＮである。
　例えば、前処理部５１が、艦船ＳＨ１が写った、ｎフレーム分のＩＳＡＲ画像７－１，７－２，・・・，７－ｎからなるＩＳＡＲ動画像に対して、前述した前処理を施すことによって、前処理済みのＩＳＡＲ画像８－１，８－２，・・・，８－ｎを生成する。ｎは、学習済みモデルが指定するＩＳＡＲ画像のフレーム数であり、例えばｎ＝１０であれば、学習済みモデルには、１０フレーム分のＩＳＡＲ画像であるＩＳＡＲ画像８－１，８－２，・・・，８－１０が一度に入力される。図５に示す学習済みモデルは、ＩＳＡＲ画像の入力フレーム数ｎ分のネットワーク構造を有しており、ＩＳＡＲ画像８－１，８－２，・・・，８－ｎは、時系列順に、ネットワーク構造に入力される。
　時系列順に設けられたネットワーク構造において、前段のＣＮＮは、ＩＳＡＲ画像から艦船ＳＨ１の視覚的な特徴を抽出し、後段のＲＮＮに出力する。ＲＮＮは、図５において矢印で示すように、時系列で後の時間に対応するＲＮＮとの間で視覚的な特徴を合わせることにより、艦船ＳＨ１の時系列的な特徴を抽出する。艦船ＳＨ１の時系列な特徴とは、艦船ＳＨ１が写った部分画像の視覚的な特徴の時間経過に伴った変化の特徴である。ＲＮＮは、ＩＳＡＲ画像における艦船ＳＨ１の視覚的な特徴だけでなく、例えば、艦船ＳＨ１が波の影響を受けて船体がしなやかに揺れる様子を表す時系列な特徴を抽出する。艦船ＳＨ１の視覚的な特徴と時系列的な特徴を利用することで、艦船ＳＨ１の種別の識別精度が向上する。
　時系列でｎ番目の時間に対応するネットワーク構造におけるＲＮＮから出力された艦船ＳＨ１の視覚的および時系列的な特徴量は、例えば全結合層Ｆ１を経て、ソフトマックス関数が適用されることにより各識別クラスに正しく分類される確率が算出され、識別結果として出力される。識別部５２から出力された識別結果は、識別結果格納部７に格納される。表示部８は、識別結果における各識別クラスへ分類される確率のうち、最も高い確率に対応する一つの種別を表示してもよいし、確率が上位にある複数の種別を表示してもよい。表示部８に表示された識別結果を参照することにより、オペレータは、艦船ＳＨ１の種別を認識でき、または、推定される艦船の種別候補を認識することができる。
　識別装置５が備える前処理部５１および識別部５２の機能は、処理回路により実現される。すなわち、識別装置５は、図２に示したステップＳＴ１からステップＳＴ２の処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　図６Ａは、識別装置５の機能を実現するハードウェア構成を示すブロック図であり、図６Ｂは、識別装置５の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図６Ａおよび図６Ｂにおいて、入力インタフェース１００は、例えば、動画像格納部４から識別装置５へ出力されたＩＳＡＲ動画像を中継するインタフェースである。出力インタフェース１０１は、識別装置５から識別結果格納部７へ出力される識別結果を中継するインタフェースである。入出力インタフェース１０２は、記憶装置１０３と識別装置５との間で入出力されるデータを中継するインタフェースである。記憶装置１０３は、図１に示した記憶部６を備えた記憶装置であり、例えば、学習済みモデルを表すパラメータ情報が記憶されている。
　処理回路が図６Ａに示す専用のハードウェアの処理回路１０４である場合、処理回路１０４は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。識別装置５が備える前処理部５１および識別部５２の機能は、別々の処理回路で実現されてもよいし、これらの機能がまとめて１つの処理回路で実現されてもよい。
　処理回路が図６Ｂに示すプロセッサ１０５である場合、識別装置５が備える前処理部５１および識別部５２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０６に記憶される。
　プロセッサ１０５は、メモリ１０６に記憶されたプログラムを読み出して実行することにより、識別装置５が備える前処理部５１および識別部５２の機能を実現する。例えば、識別装置５は、プロセッサ１０５によって実行されるときに、図２に示すフローチャートにおけるステップＳＴ１からステップＳＴ２までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０６を備える。これらのプログラムは、前処理部５１および識別部５２の手順または方法をコンピュータに実行させる。メモリ１０６は、コンピュータを前処理部５１および識別部５２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
　メモリ１０６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
　識別装置５が備える前処理部５１および識別部５２の機能の一部は専用ハードウェアによって実現され、一部はソフトウェアまたはファームウェアによって実現されてもよい。例えば、前処理部５１は、専用のハードウェアである処理回路１０４によってその機能が実現され、識別部５２は、プロセッサ１０５がメモリ１０６に記憶されたプログラムを読み出し実行することにより、その機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。
　図７は、実施の形態１に係る学習装置９の構成例を示すブロック図である。学習装置９は、識別装置５による物体の種別の識別処理に用いられる学習済みモデルを生成する装置であり、図７に示すように、学習用データ取得部９１およびモデル生成部９２を備える。学習用データ取得部９１は、モデル生成部９２によって用いられる学習用データを取得する。学習用データは、ＩＳＡＲ動画像とＩＳＡＲ動画像に写った物体の種別とが対応付けられたデータである。例えば、学習用データは、ＩＳＡＲ動画像に対して、このＩＳＡＲ動画像に写った物体の種別がタグ付けされたデータセットである。
　モデル生成部９２は、学習用データを用いて学習済みモデルを生成する。学習済みモデルは、一定数ｎ分連続したｎフレームのＩＳＡＲ画像を一度に入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力したＩＳＡＲ画像から物体の種別を識別するための機械学習モデルである。ここで、ｎは１以上の整数である。モデル生成部９２によって生成された学習済みモデルは、記憶部６に記憶される。識別部５２は、記憶部６から読み出した学習済みモデルを用いてＩＳＡＲ動画像から物体の種別を識別する。
　図８は、実施の形態１に係るモデル生成方法を示すフローチャートであり、学習装置９による一連の処理を示している。学習用データ取得部９１は、学習用データを取得する（ステップＳＴ１ｂ）。例えば、動画像生成部３を備えた演算装置が、ＩＳＡＲ動画像に対して艦船の種類をタグ付けする機能を有する場合、学習用データ取得部９１は、当該演算装置から学習用データを取得する。また、学習用データを生成する装置は、識別装置５および学習装置９とは別に設けられた装置であってもよいし、識別装置５であってもよいし、学習装置９であってもよい。
　次に、モデル生成部９２は、学習用データ取得部９１によって取得された学習用データを用いて、学習済みモデルを生成する（ステップＳＴ２ｂ）。具体的には、モデル生成部９２は、入力した学習用データに含まれるＩＳＡＲ動画像とタグ付けされた艦船の種類とが高い確率で整合するようにＮＮのパラメータを学習していく。例えば、ＮＮは、図５に示したネットワーク構造を有している。ＮＮは、学習用データに含まれるＩＳＡＲ画像を入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、艦船の種類についての予測値を出力する。この予測値と、学習用データに含まれる艦船の種類との誤差は、損失関数によって算出される。学習済みモデルは、損失関数を用いて算出された誤差が最小になるように重み行列などのパラメータが更新されたＮＮである。損失関数には、例えば、ソフトマックス関数が利用される。モデル生成部９２によって生成された学習済みモデルは、記憶部６に記憶される。
　なお、学習装置９が備える学習用データ取得部９１およびモデル生成部９２の機能は、処理回路によって実現される。すなわち、学習装置９は、図８に示したステップＳＴ１ｂからステップＳＴ２ｂまでの処理を実行するための処理回路を備えている。処理回路は、図６Ａに示した専用のハードウェアの処理回路１０４であってもよいし、図６Ｂに示したメモリ１０６に記憶されたプログラムを実行するプロセッサ１０５であってもよい。
　以上のように、実施の形態１に係る識別装置５は、連続した複数のフレームのＩＳＡＲ画像であるＩＳＡＲ動画像を、ＩＳＡＲ画像に写った物体の種別の識別に用いられる形式のデータに変換し、形式が変換されたＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、ＩＳＡＲ動画像から物体の種別を識別する。これにより、識別装置５は、オペレータが識別対象のＩＳＡＲ画像を選択することなく、ＩＳＡＲ画像に写る物体の種別を識別することができる。
　また、オペレータによって選択されたＩＳＡＲ画像は、オペレータによって意識的に抽出された特徴を有したレーダ画像と言える。このため、ＩＳＡＲ画像の視覚的な特徴は、オペレータごとに変化する可能性があり、選択されたＩＳＡＲ画像ごとに変化する可能性もある。ＩＳＡＲ画像の視覚的な特徴の変化は、目標種別の識別性能を劣化させる要因となり得る。識別装置５は、オペレータがＩＳＡＲ画像を選択しなくても、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて物体の種別を識別することが可能である。これにより、目標種別の識別精度が向上する。
　実施の形態１に係るモデル生成方法は、ＩＳＡＲ動画像とＩＳＡＲ画像に写る物体の種別とが対応付けられた学習用データ用いて、一定数分連続した複数のフレームのＩＳＡＲ画像を一度に入力し、ＩＳＡＲ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力したＩＳＡＲ画像から物体の種別を識別するための学習済みモデルを生成する。識別装置５は、生成された上記学習済みモデルを用いることにより、オペレータが識別対象のＩＳＡＲ画像を選択することなく、ＩＳＡＲ画像に写る物体の種別を識別することができる。
　なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示に係る識別装置は、例えば、艦船を検出するレーダ装置に利用可能である。
　１　レーダ画像処理システム、２－１～２－ｎ　レーダ、３　動画像生成部、４　動画像格納部、５　識別装置、６　記憶部、７　識別結果格納部、７－１～７－ｎ　ＩＳＡＲ画像、８　表示部、８－１～８－ｎ　ＩＳＡＲ画像、９　学習装置、５１　前処理部、５２　識別部、９１　学習用データ取得部、９２　モデル生成部、１００　入力インタフェース、１０１　出力インタフェース、１０２　入出力インタフェース、１０３　記憶装置、１０４　処理回路、１０５　プロセッサ、１０６　メモリ。

Claims (5)

  1. 　連続した複数のフレームのレーダ画像であるレーダ動画像を、前記レーダ画像に写った物体の種別の識別に用いられる形式のデータに変換する前処理部と、
    　形式が変換された前記レーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、前記レーダ動画像から物体の種別を識別する識別部と、
    　を備えたことを特徴とする識別装置。
  2. 　前記識別部は、一定数分連続した複数のフレームの前記レーダ画像を一度に入力し、入力した前記レーダ画像から物体の種別を識別するための学習済みモデルを用いて、前記レーダ動画像から物体の種別を識別すること
    　を特徴とする請求項１に記載の識別装置。
  3. 　前記前処理部は、前記レーダ動画像において、前記レーダ画像内の信号値を正規化し、信号値を正規化した前記レーダ画像からノイズを除去し、ノイズが除去された前記レーダ画像に写った物体の部分画像をトリミングし、前記部分画像を前記学習済みモデルが要求するサイズにリサイズすること
    　を特徴とする請求項２に記載の識別装置。
  4. 　連続した複数のフレームのレーダ画像であるレーダ動画像と、前記レーダ画像に写った物体の種別とが対応付けられた学習用データを取得する学習用データ取得部と、
    　前記学習用データを用いて、一定数分連続した複数のフレームの前記レーダ画像を一度に入力し、前記レーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力した前記レーダ画像から物体の種別を識別するための学習済みモデルを生成するモデル生成部と、
    　を備えたことを特徴とする学習装置。
  5. 　学習用データ取得部が、連続した複数のフレームのレーダ画像であるレーダ動画像と、前記レーダ画像に写った物体の種別とが対応付けられた学習用データを取得するステップと、
    　モデル生成部が、前記学習用データを用いて、一定数分連続した複数のフレームの前記レーダ画像を一度に入力し、前記レーダ動画像に写った物体の視覚的な特徴および時系列的な特徴に基づいて、入力した前記レーダ画像から物体の種別を識別するための学習済みモデルを生成するステップと、
    　を備えたことを特徴とするモデル生成方法。
PCT/JP2020/033027 2020-09-01 2020-09-01 識別装置、学習装置およびモデル生成方法 WO2022049619A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022535069A JP7221454B2 (ja) 2020-09-01 2020-09-01 識別装置、学習装置およびモデル生成方法
PCT/JP2020/033027 WO2022049619A1 (ja) 2020-09-01 2020-09-01 識別装置、学習装置およびモデル生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/033027 WO2022049619A1 (ja) 2020-09-01 2020-09-01 識別装置、学習装置およびモデル生成方法

Publications (1)

Publication Number Publication Date
WO2022049619A1 true WO2022049619A1 (ja) 2022-03-10

Family

ID=80491820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033027 WO2022049619A1 (ja) 2020-09-01 2020-09-01 識別装置、学習装置およびモデル生成方法

Country Status (2)

Country Link
JP (1) JP7221454B2 (ja)
WO (1) WO2022049619A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095667A (ja) * 2012-11-12 2014-05-22 Mitsubishi Electric Corp 目標類識別装置及び目標類識別方法
JP2018028906A (ja) * 2016-08-16 2018-02-22 トヨタ自動車株式会社 ディープ（双方向）再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム
WO2019040214A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation SYSTEM AND METHOD FOR DISTRIBUTIVE LEARNING AND WEIGHT DISTRIBUTION IN A NEURONAL NETWORK
JP2019194821A (ja) * 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
JP2020003379A (ja) * 2018-06-29 2020-01-09 三菱重工業株式会社 データ生成装置、画像識別装置、データ生成方法及びプログラム
US20200025877A1 (en) * 2018-07-18 2020-01-23 Qualcomm Incorporated Object verification using radar images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095667A (ja) * 2012-11-12 2014-05-22 Mitsubishi Electric Corp 目標類識別装置及び目標類識別方法
JP2018028906A (ja) * 2016-08-16 2018-02-22 トヨタ自動車株式会社 ディープ（双方向）再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム
WO2019040214A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation SYSTEM AND METHOD FOR DISTRIBUTIVE LEARNING AND WEIGHT DISTRIBUTION IN A NEURONAL NETWORK
JP2019194821A (ja) * 2018-05-06 2019-11-07 英俊 古川 目標認識装置、目標認識方法及びプログラム
JP2020003379A (ja) * 2018-06-29 2020-01-09 三菱重工業株式会社 データ生成装置、画像識別装置、データ生成方法及びプログラム
US20200025877A1 (en) * 2018-07-18 2020-01-23 Qualcomm Incorporated Object verification using radar images

Also Published As

Publication number Publication date
JPWO2022049619A1 (ja) 2022-03-10
JP7221454B2 (ja) 2023-02-13

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN107341488B (zh) 一种sar图像目标检测识别一体化方法
EP3523749B1 (en) Object detection and classification with fourier fans
CN112926457B (zh) 一种基于融合频域和空间域网络模型的sar图像识别方法
CN112487899B (zh) 基于无人机的目标识别方法、系统、存储介质及电子设备
CN111323757B (zh) 一种航海雷达目标检测方法及装置
CN110570361B (zh) 声呐图像结构化噪声的抑制方法、系统、装置和存储介质
Park et al. Deep convolutional neural network architectures for tonal frequency identification in a lofargram
WO2022049619A1 (ja) 識別装置、学習装置およびモデル生成方法
CN116188944A (zh) 一种基于Swin-Transformer和多尺度特征融合的红外弱小目标检测方法
US11280899B2 (en) Target recognition from SAR data using range profiles and a long short-term memory (LSTM) network
CN113763356A (zh) 一种基于可见光与红外图像融合的目标检测方法
KR20220128192A (ko) 합성 영상을 활용한 객체 검출장치 및 그 방법
Park et al. Range-doppler map augmentation by generative adversarial network for deep UAV classification
DeBortoli et al. Assessing perception quality in sonar images using global context
WO2021161300A1 (en) Specific object detection in multi-sensor images
JP7048705B1 (ja) 対象物認識装置、対象物認識方法、およびプログラム
Busson et al. Seismic shot gather noise localization using a multi-scale feature-fusion-based neural network
Pavlov et al. Investigation of the Influence of Speckle Noise on the Accuracy of Object Detection by Convolutional Neural Networks
Johansson Small vessel detection in high quality optical satellite imagery
Yao Small target detection under the sea using multi-scale spectral residual and maximum symmetric surround
CN115273013B (zh) 车道线检测方法、系统、计算机及可读存储介质
Zhang et al. A Viewpoint Adaptation Ensemble Contrastive Learning framework for vessel type recognition with limited data
KR102563953B1 (ko) 영상의 잠재특징을 이용한 영상 변환방법 및 장치
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20952359

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022535069

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20952359

Country of ref document: EP

Kind code of ref document: A1