WO2023139773A1 - データ拡張方法、及びデータ拡張装置 - Google Patents

データ拡張方法、及びデータ拡張装置 Download PDF

Info

Publication number
WO2023139773A1
WO2023139773A1 PCT/JP2022/002325 JP2022002325W WO2023139773A1 WO 2023139773 A1 WO2023139773 A1 WO 2023139773A1 JP 2022002325 W JP2022002325 W JP 2022002325W WO 2023139773 A1 WO2023139773 A1 WO 2023139773A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sidelobe
acquisition unit
information
image
Prior art date
Application number
PCT/JP2022/002325
Other languages
English (en)
French (fr)
Inventor
一貴 平嶋
洋 酒巻
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/002325 priority Critical patent/WO2023139773A1/ja
Priority to JP2023555503A priority patent/JP7383212B1/ja
Publication of WO2023139773A1 publication Critical patent/WO2023139773A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques

Definitions

  • the technology disclosed herein relates to a data expansion method and a data expansion device.
  • inverse synthetic aperture radar which is a type of radar system, generally takes distance (also called range) on the horizontal axis and relative velocity (also called Doppler velocity) or Doppler frequency on the vertical axis.
  • range direction means the direction of an axis representing range
  • Doppler direction means the direction of an axis representing Doppler velocity or Doppler frequency.
  • radar image display methods A scope, B scope, C scope, and PPI scope
  • the B scope is a display method in which the horizontal axis indicates the direction and the vertical axis indicates the distance.
  • Patent Literature 1 discloses a technique for expanding underground data acquired by actual measurement in image recognition of a B scope of a ground penetrating radar by changing measurement parameters according to physical phenomena that occur during exploration with the ground penetrating radar.
  • Patent Literature 1 expands data by changing measurement parameters according to physical phenomena that occur during exploration with a ground penetrating radar.
  • the physical phenomena that occur in environments where radars other than ground penetrating radar are used are different from those that occur in exploration with ground penetrating radar. Therefore, there is a problem that the technique disclosed in Patent Document 1 cannot be applied to data extension of a learning data set for machine learning in image recognition of moving images of radars other than ground penetrating radars.
  • the technology disclosed herein proposes a data expansion method and a data expansion device suitable for moving images of radars other than ground penetrating radar. Specifically, we propose a data expansion method and a data expansion device suitable for radar moving images expressed in the range direction and the Doppler direction.
  • a data expansion device includes a real data acquisition unit that acquires real data of a radar moving image expressed in the range direction and the Doppler direction, a sidelobe information acquisition unit that acquires sidelobe information from the real data acquired by the real data acquisition unit, and a data expansion unit that performs data expansion including conversion to leave sidelobes in the Doppler direction in the Doppler direction based on the real data acquired by the real data acquisition unit and the sidelobe information acquired by the sidelobe information acquisition unit.
  • the data extension device Since the data extension device according to the technology disclosed herein has the above configuration, it is possible to implement data extension suitable for radar moving images expressed in the range direction and Doppler direction.
  • FIG. 1 is a block diagram showing functional blocks of a data expansion device according to Embodiment 1.
  • FIG. 2 is a flow chart showing processing steps of the data expansion device according to the first embodiment.
  • FIG. 3A is a schematic diagram showing a hardware configuration diagram of the data extension device according to Embodiment 1 (when the processing circuit is dedicated hardware).
  • 3B is a schematic diagram showing a hardware configuration diagram of the data extension device according to Embodiment 1 (when the processing circuit is a CPU);
  • FIG. FIG. 3 is a schematic diagram showing the hardware configuration of the data extension device according to the first embodiment.
  • FIG. 4 is a schematic diagram showing upside-down inversion as an example of data extension.
  • FIG. 5 is a schematic diagram showing that simple rotation is inappropriate as data augmentation.
  • FIG. 6 is a schematic diagram showing an example of data extension performed by the data extension device according to the first embodiment.
  • FIG. 7 is a schematic diagram showing an example in which a part of the reference image is translated.
  • Patent Literature 1 discloses a technique for expanding data of a ground penetrating radar image by changing measurement parameters according to physical phenomena that occur during exploration by the ground penetrating radar.
  • the specific physical phenomenon disclosed in Patent Document 1 is that the spread of the arc of the signal reflected from the buried object increases as the ground becomes deeper, and decreases as the ground becomes shallower, but the degree of change varies depending on the dielectric constant of the soil.
  • Patent Literature 1 mentions the dielectric constant of soil as a measurement parameter for this physical phenomenon.
  • Another specific physical phenomenon disclosed in Patent Document 1 is that the magnitude of the signal intensity at the time of reception decreases as the ground becomes deeper and increases as the ground becomes shallower, but the degree of change varies depending on the attenuation rate of the soil.
  • Patent Literature 1 mentions the decay rate of soil as a measurement parameter for this physical phenomenon. Another specific physical phenomenon disclosed in Patent Document 1 is that when the output signal, that is, the transmitted wave, has a specific signal strength, frequency, or phase state, it exhibits a unique reflection state depending on the characteristics of the soil. The specific physical phenomena disclosed in Patent Document 1 are all physical phenomena that occur underground, as described above. Moreover, the radar image targeted by Patent Document 1 is that of the B scope.
  • the physical phenomenon focused on by the technology disclosed herein is different from the physical phenomenon disclosed in Patent Document 1.
  • the physical phenomenon that the technology of the present disclosure focuses on is, specifically, the generation of side lobes in the Doppler direction in a radar image.
  • the side lobe in the Doppler direction has the property that its level rises, for example, when there is a scattering point with extremely high scattering intensity at the destination of the radio wave emitted, or when there is a difference between the motion model estimated for the target and the actual motion of the target and the radar image becomes blurred.
  • a moving image of inverse synthetic aperture radar is taken as a specific example of a radar image handled by the technique of the present disclosure.
  • the technique of the present disclosure can be applied to an image of another display method such as radar other than inverse synthetic aperture radar.
  • the technique of the present disclosure can also be applied to a radar image of a synthetic aperture radar expressed in the range direction and the Doppler direction.
  • Inverse Synthetic Aperture Radar is in principle the same as Synthetic Aperture Radar (SAR).
  • Synthetic aperture radar is a radar that is mounted on an aircraft or a satellite and has a virtually large aperture surface due to the movement of the radar antenna itself.
  • FIG. 1 is a block diagram showing functional blocks of a data expansion device 10 according to Embodiment 1.
  • the data extension device 10 includes a real data acquisition section 12 , a sidelobe information acquisition section 14 and a data extension section 16 .
  • FIG. 2 is a flow chart showing processing steps of the data expansion device 10 according to the first embodiment.
  • the processing steps of the data extension device 10 include a step of acquiring actual data (ST12), a step of acquiring side lobe information (ST14), and a step of extending data (ST16).
  • FIG. 3 is a schematic diagram showing the hardware configuration of the data extension device 10 according to the first embodiment.
  • FIG. 3A is a schematic diagram showing a hardware configuration diagram of the data extension device 10 according to the first embodiment (when the processing circuit is dedicated hardware).
  • FIG. 3B is a schematic diagram showing a hardware configuration diagram (when the processing circuit is a CPU) of the data expansion device 10 according to the first embodiment.
  • the data extension device 10 includes a processing circuit for acquiring actual data, acquiring sidelobe information, and performing data extension.
  • the processing circuit may be dedicated hardware, or may be a CPU [Central Processing Unit, also referred to as a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor)] that executes a program stored in a memory.
  • a GPU Graphics Processing Unit
  • the processing circuit 400 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • the functions of the actual data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 may be realized by separate processing circuits 400, respectively, or may be collectively realized by one processing circuit 400.
  • the processing circuit is a CPU (processor 410 in FIG. 3B)
  • the functions of the real data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 are realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are written as programs and stored in memory 420 .
  • the processing circuit reads out and executes the programs stored in the memory 420 to achieve the functions of each unit.
  • the data extension device 10 includes a memory 420 for storing a program that, when executed by the processing circuit, results in the step of acquiring actual data (ST12), the step of acquiring side lobe information (ST14), and the step of extending data (ST16).
  • the memory 420 may be used instead of the storage device 700 provided externally.
  • Memory 420 and storage device 700 may be, for example, non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, and the like.
  • the memory 420 and the storage device 700 may use disks such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, and a DVD.
  • the memory 420 and the storage device 700 may be in the form of HDD or SSD.
  • Part of the functions of the actual data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 may be realized by dedicated hardware, and the remaining functions may be realized by software or firmware.
  • the processing circuit implements the functions of the actual data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 by hardware, software, firmware, or a combination thereof.
  • the actual data acquisition unit 12 acquires the actual data of the radar moving image expressed in the range direction and Doppler direction (step indicated by ST12 in FIG. 2).
  • the actual data is composed of a moving image created from the information obtained by actually measuring a certain area using the radar and the moving image.
  • moving images mean moving images and still images.
  • a radar moving image is a moving image obtained by radar.
  • the sidelobe information acquisition unit 14 acquires sidelobe information from the actual data acquired by the actual data acquisition unit 12 (step indicated by ST14 in FIG. 2). More precisely, the sidelobe information acquiring unit 14 acquires sidelobe information included in each moving image of the actual data acquired by the actual data acquiring unit 12 .
  • the sidelobe information specifically refers to information such as the coordinates of pixels (pixels) identified as sidelobes, which are identified in a moving image. Acquisition of sidelobe information may be achieved by semantic segmentation. That is, the sidelobe information acquisition unit 14 may include artificial intelligence (AI) trained to perform semantic segmentation for identifying sidelobes from moving images.
  • the sidelobe information acquisition unit 14 outputs sidelobe information to the data extension unit 16 .
  • the sidelobe information in this case may be a mask image obtained by masking only the sidelobe portions in the moving image by semantic segmentation.
  • artificial intelligence should also perform semantic segmentation on targets measured by radar.
  • the radar is an inverse synthetic aperture radar
  • the target is a ship or a flying object
  • the purpose of the radar is to classify and identify the ship or flying object (hereinafter referred to as "class identification")
  • class identification the purpose of the radar is to classify and identify the ship or flying object
  • the artificial intelligence should be trained in semantic segmentation so as to classify the ship or flying object.
  • a target is classified in a moving image, a pixel indicating the result of the classification is specified, and information such as the coordinates of the specified pixel is referred to as "target information”.
  • Artificial intelligence may be realized by a CNN (Convolutional Neural Network), a combination of a CNN and a Recurrent Neural Network (RNN), or a Fully Convolutional Network (FCN).
  • FCN is a kind of CNN, but considering that 1 ⁇ 1 convolution covering the entire region is performed, it has the property that the same result can be obtained even if the fully connected layer is replaced with the convolution layer. FCN has the advantage that it does not require resizing of the input image.
  • Artificial intelligence that performs semantic segmentation on moving images may be realized by SegNet, U-Net, PSPNet, DeepLab, etc., in addition to the above.
  • the image and the mask image that is paired with the image and in which the sidelobe and the target are respectively masked are a set.
  • This set is called the training data set.
  • the mask images in the learning data set are sometimes called correct labels or teacher data. It can be said that the data extension performed by the data extension device 10 according to the technology disclosed herein is for padding the learning data set used for supervised learning.
  • the sidelobe information acquisition unit 14 may create teacher data corresponding to the image of the actual data, but the technology disclosed herein is not limited to this.
  • the actual data acquisition unit 12 may acquire the actual data image
  • the sidelobe information acquisition unit 14 may acquire the teacher data corresponding to the image directly from the outside.
  • the teacher data includes target information and sidelobe information.
  • the data extension unit 16 Based on the actual data acquired by the actual data acquisition unit 12 and the sidelobe information acquired by the sidelobe information acquisition unit 14, the data extension unit 16 generates extension data including conversion that leaves sidelobes in the Doppler direction in the Doppler direction (step indicated by ST16 in FIG. 2). In other words, the data extension unit 16 performs data extension using one image in the actual data acquired by the actual data acquisition unit 12 as a reference image. Data Augmentation is sometimes called "padded".
  • data extension from a reference image requires teacher data corresponding to the reference image, that is, target information and sidelobe information, and is performed based on the target information and sidelobe information. The data extension unit 16 performs the same processing as the data extension performed on the reference image on the teacher data corresponding to the reference image.
  • Patent Literature 1 discloses a technique of extending data of a ground penetrating radar image by changing measurement parameters according to physical phenomena that occur during exploration with the ground penetrating radar. Roughly speaking, it can be said that the technique disclosed in Patent Document 1 achieves data expansion by "mutating" the measurement parameters in the ground penetrating radar image.
  • a method of "mutating" the measurement parameter generating a random number or the like is conceivable.
  • the data extension unit 16 may also focus on the parameters in the moving image and "mutate" the focused parameters to achieve data extension.
  • Data augmentation may be realized by generative adversarial networks (GANs). That is, the data extension unit 16 may comprise a generative adversarial network.
  • GANs generative adversarial networks
  • a generative adversarial network consists of two networks, a generator network and a discriminator network.
  • FIG. 4 is a schematic diagram showing upside-down inversion as an example of data extension.
  • upside-down inversion is one of the data expansion methods of inverting part or all of an image about an axis parallel to the horizontal axis.
  • the radar is an inverse synthetic aperture radar and the target is a ship
  • the ship appears to repeatedly move up and down in accordance with the oscillation period of waves in the radar image in which the vertical axis represents the Doppler direction.
  • An image (AD1 in FIG. 4) obtained by vertically inverting an image (D1 in FIG. 4) at a certain time is similar to an image at a time slightly shifted from the time when the original image (D1) was captured.
  • the data extension unit 16 When vertically inverting the reference image, the data extension unit 16 also vertically inverts the teacher data corresponding to the reference image. When vertically inverting a portion of the reference image, the data extension unit 16 also vertically inverts a corresponding portion of the teacher data corresponding to the reference image.
  • Left-to-right data augmentation is also often used, for example, for learning models that discriminate in optical images.
  • the horizontal axis indicates the range direction
  • the meaning of performing left-right reversal can be understood by considering the case of observing a ship from the front with an inverse synthetic aperture radar.
  • the inverse synthetic aperture radar image captures the image of the ship viewed from the side, and the bow appears on the side of the smaller range bin number, that is, on the left side of the ISAR image.
  • the ISAR image captures an image of the ship viewed from above, and the bow appears on the side of the smaller range bin number, that is, on the left side of the ISAR image.
  • the ISAR image is left-right reversed, it represents a situation in which the ship is moving backward, which means that an image that is difficult to imagine in reality is generated.
  • the data extension performed by the data extension unit 16 includes conversion that leaves Doppler side lobes in the Doppler direction.
  • FIG. 5 is a schematic diagram showing that simple rotation is inappropriate as data augmentation. Six line segments parallel to the vertical axis shown in FIG. 5 each represent side lobes. Side lobes may not appear as clear line segments in an actual radar image, but they are schematically represented in FIGS. 5 and 6 . Specifically, FIG. 5 shows that simple rotation causes side lobes to extend in directions deviated from the Doppler direction, that is, in directions in which side lobes cannot originally occur, which is inappropriate as data extension.
  • FIG. 6 is a schematic diagram showing an example of data extension performed by the data extension unit 16 of the data extension device 10 according to the first embodiment.
  • the left image (D3) in FIG. 6 represents the reference image.
  • the image (AD3) on the right side in FIG. 6 is an example showing an image after the reference image (D3) is subjected to the “transformation that leaves sidelobes in the Doppler direction in the Doppler direction” in the technology disclosed herein.
  • the transformation shown in FIG. 6 can also be considered as a kind of rotation in which the reference image (D3) is placed slightly below the front in three-dimensional space and the reference image (D3) is rotated around the vertical axis.
  • FIG. 6 can also be considered as a result of perspective transformation of this rotated reference image (D3) in the three-dimensional space.
  • Perspective transformation refers to transformation for viewing an image from a three-dimensional viewpoint.
  • the transformation from the reference image (D3) to the right image (AD3) can also be expressed as a combination of simple translations and linear transformations.
  • it is important that the Doppler direction in the reference image (D3) is the same as the Doppler direction in the converted image (AD3).
  • the lower right of each image is the origin, the right horizontal direction is the x-axis direction, and the upper vertical direction is the y-axis direction.
  • transposing (x a , y a ) and representing it as a vertical vector represents the coordinates in the image (AD3) on the right side.
  • Transposed (x, y) and represented by a vertical vector represent coordinates in the reference image (D3).
  • a is approximately 0.7 and b is approximately ⁇ 0.25.
  • a matrix that appears on the right side of equation (1) is a primary transformation matrix.
  • T the operation representing transposition will be represented by a superscript T hereinafter.
  • T it is known that a primary transformation matrix is represented by basis vectors to which basis vectors have been transformed by the primary transformation. For simplicity, assume that ⁇ x and ⁇ y in Equation (1) are each 0 (zero).
  • the destination of basis vector (1,0) T on the x-axis is (a,b) T
  • the destination of basis vector (0,1) T on the y-axis is (0,1) T
  • (0, 1) T is used as the conversion destination of the y-axis basis vector in equation (1), it may be (0, c) T that has been expanded or contracted.
  • c is a positive real number close to one.
  • the transformation destination of the base vector (0, 1) T of the y-axis uses a linear transformation matrix of (0, c) T , so the y-axis, that is, the vertical axis component is preserved as the vertical axis component even at the transformation destination.
  • the technique of the present disclosure realizes “transformation that leaves side lobes in the Doppler direction”.
  • the data extension unit 16 performs ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' for the reference image
  • the same ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' is also performed on the teacher data corresponding to the reference image.
  • the data extension unit 16 When the data extension unit 16 performs ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' for a part of the reference image, the same ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' is also performed on the corresponding part of the teacher data corresponding to the reference image.
  • blank pixels are generated as shown in the image (AD3) on the right side in FIG. Blank pixels may be processed by Zero Padding, which is filled with 0 (zero) representing black.
  • Equation (1) "transformation that leaves sidelobes in the Doppler direction in the Doppler direction" is realized by a combination of translation and primary transformation, but the disclosed technique is not limited to this. If the data extension device 10 according to the technology disclosed herein can separate the side lobes and the ship well, for example, the side lobes are fixed and only the ship portion is converted.
  • FIG. 7 is a schematic diagram showing an example in which a portion of the reference image (D4) is translated.
  • a radar image is basically set so that the target appears in the center of the image, but it is not uncommon for the target to appear at a position shifted due to noise or the like. Therefore, translation-based data augmentation makes sense.
  • information such as the coordinates of the pixels (pixels) where the target and sidelobes are specified, that is, target information and sidelobe information, is required. Because of the target information and sidelobe information included in the teacher data, the data extension unit 16 can perform translation processing on a portion that includes the target and sidelobe.
  • ⁇ a and ⁇ b in FIG. 7 represent the amount of parallel movement in the x-axis direction and the amount of parallel movement in the y-axis direction, respectively.
  • the image after translation has blank pixels. Pixels that are blank here may also be processed by Zero Padding that fills with 0 (zero) representing black.
  • the rightmost image (AD4) in FIG. 7 shows that after applying translation, trimming was performed to eliminate superfluous information. Data extension may thus perform trimming.
  • the data extension unit 16 also performs the same translation and trimming on the corresponding portion of the teacher data corresponding to the reference image.
  • the data extension unit 16 of the data extension device 10 performs data extension on the set of the reference image and the teacher data corresponding to the reference image, and outputs the extended data set obtained by the data extension as an extended learning data set.
  • the extended data set created by the data extension device 10 can be used as a learning data set for machine learning of a device for classifying targets for radar images expressed in the range direction and Doppler direction.
  • the data expansion device 10 when training data for a reference image is not given, for example, creates training data by itself by providing trained artificial intelligence such as performing semantic segmentation for classifying sidelobes and targets from radar video images.
  • trained artificial intelligence such as performing semantic segmentation for classifying sidelobes and targets from radar video images.
  • Data Augmentation is itself a service.
  • the company may have trained artificial intelligence, but other companies may have only untrained learning models and not enough learning data for learning. Assuming such a situation, there is a business model that expands data for other companies.
  • the technology disclosed herein represents an essential principle that if a learning data set for a certain purpose is to be created automatically by a device rather than manually by a human, the device itself must have the ability to achieve that purpose.
  • the data extension device 10 attempts to automatically extend the data of a learning data set for the purpose of classifying a target. However, for example, in a reference image without teacher data, when a part including the target is to be flipped upside down, rotated, or translated, the data expansion device 10 itself does not have the ability to classify the target in the reference image.
  • the data extension device 10 since the data extension device 10 according to Embodiment 1 has the above configuration, it is possible to perform data extension on radar images that are expressed in the range direction and Doppler direction and in which side lobes occur in the Doppler direction.
  • the data extension method and data extension device 10 according to the disclosed technique can be applied to businesses that extend data for other companies, and have industrial applicability.
  • a data expansion device 10 an actual data acquisition unit 12, a sidelobe information acquisition unit 14, and a data expansion unit 16.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本開示技術に係るデータ拡張装置（１０）は、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する実データ取得部（１２）と、実データ取得部が取得した実データからサイドローブ情報を取得するサイドローブ情報取得部（１４）と、実データ取得部が取得した実データとサイドローブ情報取得部が取得したサイドローブ情報とに基づいて、ドップラ方向のサイドローブをドップラ方向に残す変換を含むデータ拡張を行うデータ拡張部（１６）と、を備える。

Description

データ拡張方法、及びデータ拡張装置
　本開示技術は、データ拡張方法、及びデータ拡張装置に関する。
　レーダ画像の表示方法には、レンジ方向及びドップラ方向で表現されるものがある。例えばレーダ方式の一種である逆合成開口レーダ（ＩＳＡＲ、Ｉｎｖｅｒｓｅ　Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）は、横軸を距離（レンジとも称する）に取り、縦軸に相対速度（ドップラ速度とも称する）、又はドップラ周波数を取るものが一般的である。ここで「レンジ方向」とは、レンジを表す軸の方向を意味し、「ドップラ方向」とは、ドップラ速度又はドップラ周波数を表す軸の方向を意味する。
　レーダ画像の表示方法には、上記の他にもさまざまなもの（Ａスコープ、Ｂスコープ、Ｃスコープ、及びＰＰＩスコープ）があり、例えばＢスコープが存在する。Ｂスコープとは、横軸に方位を取り、縦軸に距離を取る表示方式である。レーダのＢスコープ動画像のような各種レーダ画像に対して、画像認識を行う技術が知られている。例えば機械学習を行い、学習済みモデルを作成し、学習済みモデルを用いて画像認識を行う技術が知られている。
　レーダ画像の画像認識を行う技術分野において、機械学習の際に使用される学習データセットの量を増やす目的で、データ拡張を行うことも知られている。例えば特許文献１には、地中レーダのＢスコープの画像認識において、実測により取得した地中データについて、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行う技術が開示されている。
特開２０２１－１２４２９０号公報
　特許文献１に開示された技術は、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行うものである。しかし、地中レーダ以外のレーダが使用される環境で生じる物理現象は、地中レーダでの探査において生じるものとは異なる。したがって、特許文献１に開示された技術を、地中レーダ以外のレーダの動画像の画像認識における、機械学習用の学習データセットのデータ拡張に適用することはできない、との課題があった。
　本開示技術は、地中レーダ以外のレーダの動画像に適したデータ拡張方法及びデータ拡張装置を提案する。具体的には、レンジ方向及びドップラ方向で表現されたレーダ動画像に適したデータ拡張方法及びデータ拡張装置を提案する。
　本開示技術に係るデータ拡張装置は、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する実データ取得部と、実データ取得部が取得した実データからサイドローブ情報を取得するサイドローブ情報取得部と、実データ取得部が取得した実データとサイドローブ情報取得部が取得したサイドローブ情報とに基づいて、ドップラ方向のサイドローブをドップラ方向に残す変換を含むデータ拡張を行うデータ拡張部と、を備える。
　本開示技術に係るデータ拡張装置は上記構成を備えるため、レンジ方向及びドップラ方向で表現されたレーダ動画像に適したデータ拡張を実現できる。
図１は、実施の形態１に係るデータ拡張装置の機能ブロックを示すブロック図である。 図２は、実施の形態１に係るデータ拡張装置の処理ステップを示すフローチャートである。 図３Ａは、実施の形態１に係るデータ拡張装置のハードウエア構成図（処理回路が専用のハードウエアの場合）を示す模式図である。図３Ｂは、実施の形態１に係るデータ拡張装置のハードウエア構成図（処理回路がＣＰＵの場合）を示す模式図である。図３は、実施の形態１に係るデータ拡張装置のハードウエア構成を示す模式図である。 図４は、データ拡張の一例として上下反転を示した模式図である。 図５は、単純な回転がデータ拡張として不適切であることを示した模式図である。 図６は、実施の形態１に係るデータ拡張装置が行うデータ拡張の例を示した模式図である。 図７は、基準画像の一部に平行移動の処理を施した例を示した模式図である。
　前述のとおり特許文献１は、地中レーダ画像に対して、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行う技術が開示されている。
　特許文献１に開示されている具体的な物理現象とは、埋設物反射信号の円弧の拡がりが、地中深くなるにつれて拡がりが大きくなり、浅くなるにつれて拡がりが小さくなるが、その変化度合は土壌の比誘電率によって変わる、というものである。特許文献１は、この物理現象についての測定パラメータとして、土壌の比誘電率を挙げている。
　特許文献１に開示されている別の具体的な物理現象とは、受信時の信号強度の大きさが、地中深くなるにつれて小さくなり、浅くなるにつれて大きくなるが、その変化度合は土壌の減衰率によって変わる、というものである。特許文献１は、この物理現象についての測定パラメータとして、土壌の減衰率を挙げている。
　特許文献１に開示されている別の具体的な物理現象とは、土壌の特性等に応じて、出力信号すなわち送信波が、特定の信号強度や周波数あるいは位相状態である場合に、固有の反射状況を示す、というものである。
　特許文献１に開示されている具体的な物理現象は、上記のとおり、いずれも地中で生じる物理現象である。
　また特許文献１が対象としているレーダ画像は、Ｂスコープのものである。
　本開示技術が着目する物理現象は、特許文献１に開示された物理現象とは異なる。本開示技術が着目する物理現象は、具体的には、レーダ画像においてドップラ方向にサイドローブが生じる、というものである。ドップラ方向のサイドローブは、例えば、電波を発射した先に非常に散乱強度の大きい散乱点が存在するときに、又はターゲットについて推定する運動モデルと実際のターゲットの運動とに差がありレーダ画像がぼやけるときに、レベルが上昇するという性質を有する。
　本開示技術が扱うレーダ画像の具体例として逆合成開口レーダの動画像を取り上げるが、レンジ方向及びドップラ方向で表現されたレーダ動画像であって、ドップラ方向にサイドローブが生じるものであれば、逆合成開口レーダではない他のレーダ等の他の表示方式の画像であっても本開示技術を適用することができる。例えば、合成開口レーダのレーダ画像であって、レンジ方向及びドップラ方向で表現されたものにも本開示技術を適用することができる。
　逆合成開口レーダ（ＩＳＡＲ、Ｉｎｖｅｒｓｅ　Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）は、原理としては合成開口レーダ（ＳＡＲ、Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）と同じである。合成開口レーダが、航空機又は人工衛星に搭載され、レーダアンテナ自身が移動することによって仮想的に大きな開口面を備えるレーダであるのに対して、逆合成開口レーダは、レーダアンテナの移動ではなく、相手側であるターゲットの移動及び姿勢変化を利用して分解能を高めるレーダである。
実施の形態１．
　図１は、実施の形態１に係るデータ拡張装置１０の機能ブロックを示すブロック図である。図１に示されるとおり、データ拡張装置１０は、実データ取得部１２と、サイドローブ情報取得部１４と、データ拡張部１６と、を備える。
　図２は、実施の形態１に係るデータ拡張装置１０の処理ステップを示すフローチャートである。図２に示されるとおりデータ拡張装置１０の処理ステップには、実データを取得するステップ（ＳＴ１２）と、サイドローブ情報を取得するステップ（ＳＴ１４）と、データ拡張を行うステップ（ＳＴ１６）と、が含まれる。
　図３は、実施の形態１に係るデータ拡張装置１０のハードウエア構成を示す模式図である。なお図３Ａは、実施の形態１に係るデータ拡張装置１０のハードウエア構成図（処理回路が専用のハードウエアの場合）を示す模式図である。図３Ｂは、実施の形態１に係るデータ拡張装置１０のハードウエア構成図（処理回路がＣＰＵの場合）を示す模式図である。
　データ拡張装置１０における実データ取得部１２、サイドローブ情報取得部１４、及びデータ拡張部１６の各機能は、処理回路により実現される。すなわちデータ拡張装置１０は、実データを取得し、サイドローブ情報を取得し、データ拡張を行うための処理回路を備える。処理回路は、専用のハードウエアであっても、メモリに格納されたプログラムを実行するＣＰＵ［Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう］であってもよい。メモリに格納されたプログラムを実行するＣＰＵに代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）が用いられてもよい。
　処理回路が専用のハードウエアである場合（図３Ａにおける処理回路４００）、処理回路４００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はこれらを組み合わせたものが該当する。実データ取得部１２、サイドローブ情報取得部１４、及びデータ拡張部１６の各部の機能は、それぞれ別個の処理回路４００で実現されてもよいし、まとめて１つの処理回路４００で実現されてもよい。
　処理回路がＣＰＵの場合（図３Ｂにおけるプロセッサ４１０）、実データ取得部１２、サイドローブ情報取得部１４、及びデータ拡張部１６の機能は、ソフトウエア、ファームウエア、又はソフトウエアとファームウエアとの組合せ、により実現される。ソフトウエア及びファームウエアはプログラムとして記述され、メモリ４２０に格納される。処理回路は、メモリ４２０に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわちデータ拡張装置１０は、処理回路により実行されるときに、実データを取得するステップ（ＳＴ１２）、サイドローブ情報を取得するステップ（ＳＴ１４）、及びデータ拡張を行うステップ（ＳＴ１６）が結果的に実行されるプログラムを格納するためのメモリ４２０を備える。また、これらのプログラムは、実データ取得部１２、サイドローブ情報取得部１４、及びデータ拡張部１６の手順及び方法をコンピュータに実行させるものである、とも言える。
　ここでメモリ４２０は、外部に備えた記憶装置７００に代えて用いられてもよい。メモリ４２０及び記憶装置７００は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリであってもよい。またメモリ４２０及び記憶装置７００は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等のディスクを用いたものでもよい。またメモリ４２０及び記憶装置７００は、ＨＤＤ、又はＳＳＤの態様であってもよい。
　なお、実データ取得部１２、サイドローブ情報取得部１４、及びデータ拡張部１６の各機能について、一部が専用のハードウエアで実現され、残りの部分がソフトウエア又はファームウエアで実現されてもよい。
　このように、処理回路は、ハードウエア、ソフトウエア、ファームウエア、又はこれらの組合せによって、実データ取得部１２、サイドローブ情報取得部１４、及びデータ拡張部１６の各機能が実現される。
　実データ取得部１２は、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する（図２のＳＴ１２で示されるステップ）。ここで実データとは、レーダを実際に用いて或るエリアを計測し、この計測により得られた情報から動画像を作り、この動画像から構成されるものである。ここで動画像とは、動画及び静止画像を意味する。レーダ動画像とは、レーダにより得られた動画像である。
　サイドローブ情報取得部１４は、実データ取得部１２が取得した実データからサイドローブ情報を取得する（図２のＳＴ１４で示されるステップ）。より厳密には、サイドローブ情報取得部１４は、実データ取得部１２が取得した実データのそれぞれの動画像について、その動画像に含まれるサイドローブの情報を取得する。サイドローブの情報とは、具体的には、動画像においてサイドローブを示すピクセル（画素）を特定し、そのサイドローブと特定されたピクセル（画素）の座標等の情報を言う。
　サイドローブ情報の取得は、セマンティックセグメンテーションにより実現されるとよい。すなわちサイドローブ情報取得部１４は、動画像からサイドローブを識別するセマンティックセグメンテーションを行うように学習された人工知能（ＡＩ、Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を備えてもよい。サイドローブ情報取得部１４は、サイドローブ情報を、データ拡張部１６へ出力する。この場合のサイドローブ情報は、セマンティックセグメンテーションにより、動画像の中でサイドローブの箇所だけがマスクされたマスク画像であってよい。
　人工知能は、サイドローブのほか、レーダが計測するターゲットについてもセマンティックセグメンテーションを行うとよい。例えばレーダが逆合成開口レーダであり、ターゲットが艦船又は飛行物体であり、レーダの目的が艦船又は飛行物体の類別及び識別（以降、「類識別」と称する）である場合、人工知能は、艦船又は飛行物体を類識別するようにセマンティックセグメンテーションの学習がされたものがよい。動画像においてターゲットを類識別し、類識別した結果を示すピクセル（画素）を特定し、その特定されたピクセル（画素）の座標等の情報は、「ターゲット情報」と称する。
　人工知能は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＣＮＮにＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を組み合わせたもの、又はＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋｓ）により実現されてよい。ＦＣＮは、ＣＮＮの一種であるが、領域全体をカバーする１×１の畳込みを行うことを考えて、全結合層を畳込み層に置き換えても同じような結果を得るという性質を有する。ＦＣＮは、入力画像のサイズを修正する必要がない、という利点がある。
　動画像についてのセマンティックセグメンテーションを行う人工知能は、上記のほか、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ、ＤｅｅｐＬａｂ、等で実現されてもよい。
　このように画像と、その画像と対になり、サイドローブ及びターゲットがそれぞれマスクされたマスク画像と、がセットとなる。このセットは、学習データセットと称される。ここで、学習データセットにおけるマスク画像は、正解ラベル、又は教師データと称されることもある。本開示技術に係るデータ拡張装置１０が行うデータ拡張は、教師あり学習に用いられる学習データセットを水増しするためのものと言える。
　上記のようにサイドローブ情報取得部１４が実データの画像に対して、対応する教師データを作成する態様が考えられるが、本開示技術はこれに限定されない。あらかじめ実データの画像に対応する教師データが存在する場合、実データ取得部１２が実データの画像を取得し、サイドローブ情報取得部１４がその画像に対応する教師データを直接外部から取得するようにしてもよい。ここで、教師データは、ターゲット情報とサイドローブ情報とを含むものとする。
　データ拡張部１６は、実データ取得部１２が取得した実データとサイドローブ情報取得部１４が取得したサイドローブ情報とに基づいて、ドップラ方向のサイドローブをドップラ方向に残す変換を含む拡張データを生成する（図２のＳＴ１６で示されるステップ）。言い換えればデータ拡張部１６は、実データ取得部１２が取得した実データの中の一つの画像を基準画像として、データ拡張を行う。データ拡張（Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ）は、「水増し」と称されることもある。本開示技術において基準画像からのデータ拡張は、基準画像に対応する教師データ、すなわちターゲット情報とサイドローブ情報とが必要であり、ターゲット情報とサイドローブ情報とに基づいて行われる。データ拡張部１６は、基準画像に対して行うデータ拡張と同じ処理を、基準画像に対応する教師データに対しても行う。
　前述のとおり特許文献１は、地中レーダ画像に対して、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行う技術を開示している。少し乱暴な言い方をすれば、特許文献１に開示された技術では、地中レーダ画像における測定パラメータを「突然変異」させてデータ拡張を実現している、と見ることができる。ここで、測定パラメータを「突然変異」させる方法は、乱数を発生させる等が考えられる。
　本開示技術に係るデータ拡張部１６も、動画像におけるパラメータに着目し、着目したパラメータを「突然変異」させ、データ拡張を実現してもよい。
　データ拡張は、敵対的生成ネットワーク（ＧＡＮｓ、Ｇｅｎｅｒａｔｉｖｅ　ａｄｖｅｒｓａｒｉａｌ　ｎｅｔｗｏｒｋｓ）により実現されてもよい。すなわちデータ拡張部１６は、敵対的生成ネットワークを備えていてもよい。敵対的生成ネットワークは、生成ネットワーク（Ｇｅｎｅｒａｔｏｒ）と識別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）との、２つのネットワークから構成される。
　図４は、データ拡張の一例として上下反転を示した模式図である。図４に示されるとおり上下反転とは、横軸と平行な軸を中心として、画像の一部又は全部を反転させる、というデータ拡張の手法の１つである。
　例えばレーダが逆合成開口レーダであり、ターゲットが艦船である場合、縦軸がドップラ方向を表すレーダ画像において艦船は、波の動揺の周期に合わせて上下する運動を繰り返すように映る。ある時刻における画像（図４のＤ１）を上下反転させた画像（図４のＡＤ１）は、元の画像（Ｄ１）が撮影された時刻よりも少し時間をずらした時刻の画像に類似する。
　データ拡張部１６は、基準画像に対して上下反転を行う場合、基準画像に対応する教師データについても同じ上下反転を行う。データ拡張部１６は、基準画像の一部分に対して上下反転を行う場合、基準画像に対応する教師データの対応する一部分についても同じ上下反転を行う。
　上下反転があるように、データ拡張の手法には左右反転も存在する。例えば光学画像において識別を行う学習モデルに対して、左右反転のデータ拡張もしばしば用いられる。
　ところが横軸がレンジ方向を表すレーダ画像においては、たとえレーダ画像にサイドローブが写っていなくても、左右反転のデータ拡張は採用しない方がよい。
　左右反転を行うことの意味は、逆合成開口レーダで艦船を正面から観察するケースを考えると理解できる。艦船がピッチ運動のみをしていると仮定した場合、逆合成開口レーダの画像（以降、「ＩＳＡＲ画像」と称する）にはその艦船を横から見たイメージが捉えられ、船首はレンジビン番号が小さい側、すなわちＩＳＡＲ画像の左側に現れる。艦船がヨー運動のみをしていると仮定した場合、ＩＳＡＲ画像にはその艦船を上から見たイメージが捉えられ、やはり船首はレンジビン番号が小さい側、すなわちＩＳＡＲ画像の左側に現れる。
　ここでＩＳＡＲ画像に左右反転の処理を施してしまうことは、艦船が後ろ向きに進んでいるという状況を表し、現実では考えにくい画像を生成してしまうことを意味する。
　データ拡張部１６が行うデータ拡張には、ドップラ方向のサイドローブをドップラ方向に残す変換が含まれる。
　図５は、単純な回転がデータ拡張として不適切であることを示した模式図である。図５に示す縦軸と平行な６本の線分は、それぞれサイドローブを表している。実際のレーダ画像においてサイドローブは、きれいな線分として現れない場合もあるが、図５及び図６においては、模式的にサイドローブを表している。
　具体的に図５は、単純な回転を行うと、ドップラ方向からはずれた方向、すなわちサイドローブが本来生じ得ない方向にサイドローブが延びてしまい、データ拡張として不適切であることを示している。
　図６は、実施の形態１に係るデータ拡張装置１０のデータ拡張部１６が行うデータ拡張の例を示した模式図である。
　図６における左側の画像（Ｄ３）は、基準画像を表している。図６における右側の画像（ＡＤ３）は、本開示技術における「ドップラ方向のサイドローブをドップラ方向に残す変換」を、基準画像（Ｄ３）に施した後の画像を表した一例である。
　図６に示す変換は、３次元空間に基準画像（Ｄ３）を、正面のやや下方に立てて置き、基準画像（Ｄ３）を鉛直な軸回りに回転させる、という回転の一種だと考えることもできる。図６における右側の画像（ＡＤ３）は、３次元空間におけるこの回転した基準画像（Ｄ３）を、透視変換（Ｐｅｒｓｐｅｃｔｉｖｅ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）したもの、とも考えられる。透視変換とは、画像を３次元視点で見る変換のことを言う。
　基準画像（Ｄ３）から右側の画像（ＡＤ３）への変換は、単なる平行移動と一次変換との組合せとして表すこともできる。このとき、基準画像（Ｄ３）におけるドップラ方向が、変換先の画像（ＡＤ３）におけるドップラ方向となっていること、が重要である。図６の基準画像（Ｄ３）及び右側の画像（ＡＤ３）について、それぞれの画像の右下を原点とし、右水平方向をｘ軸方向、上鉛直方向をｙ軸方向ととると、基準画像（Ｄ３）から右側の画像（ＡＤ３）への変換は、以下の式により表される。

Figure JPOXMLDOC01-appb-I000001

ここで、（ｘａ、ｙａ）を転置して縦ベクトルで表したものは、右側の画像（ＡＤ３）における座標を表す。（ｘ、ｙ）を転置して縦ベクトルで表したものは、基準画像（Ｄ３）における座標を表す。図６の場合、ａはおよそ０．７であり、ｂはおよそ－０．２５である。式（１）の右辺に現れる行列は、一次変換行列である。なお、転置を表す操作は、以降では、上添え字のＴで表す。
　一次変換行列は、その一次変換によって基底ベクトルが変換された先の基底ベクトルで表されることが知られている。簡単のため、式（１）のΔｘとΔｙとが、それぞれ０（ゼロ）だったとする。ｘ軸の基底ベクトル（１，０）Ｔの変換先は、（ａ，ｂ）Ｔであり、ｙ軸の基底ベクトル（０、１）Ｔの変換先は、（０、１）Ｔである。なお、式（１）ではｙ軸の基底ベクトルの変換先を（０、１）Ｔとしたが、拡大又は縮小がされた（０、ｃ）Ｔとしてよい。ただし、ｃは、１に近い正の実数とする。
　本開示技術において、ｙ軸の基底ベクトル（０、１）Ｔの変換先は、（０、ｃ）Ｔとなる一次変換行列を用いているため、ｙ軸すなわち縦軸の成分は、変換先でも縦軸の成分として保存される。このような一次変換行列により本開示技術は、「ドップラ方向のサイドローブをドップラ方向に残す変換」が実現される。実際のレーダ画像において、サイドローブはドップラ方向以外の成分を有するものであっても、データ拡張をしたときに、ドップラ方向の成分をドップラ方向に残すようにすることが大事である。
　データ拡張部１６は、基準画像に対して「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う場合、基準画像に対応する教師データについても同じ「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う。データ拡張部１６は、基準画像の一部分に対して「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う場合、基準画像に対応する教師データの対応する一部分についても同じ「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う。
　基準画像（Ｄ３）「ドップラ方向のサイドローブをドップラ方向に残す変換」を施すと、図６における右側の画像（ＡＤ３）に示されるように、空白となった画素が生じる。空白となった画素は、黒色を表す０（ゼロ）で埋めるＺｅｒｏ　Ｐａｄｄｉｎｇにより処理されてもよい。
　式（１）に示したとおり、「ドップラ方向のサイドローブをドップラ方向に残す変換」を平行移動と一次変換との組合せによって実現したが、本開示技術はこれに限定されない。本開示技術に係るデータ拡張装置１０は、例えばサイドローブと艦船を上手く切り離すことが可能であれば、サイドローブ部分は固定し艦船部分だけを変換するという方法によって「ドップラ方向のサイドローブをドップラ方向に残す変換」を実現してもよい。
　図７は、基準画像（Ｄ４）の一部分に平行移動の処理を施した例を示した模式図である。レーダ画像は、基本的にはターゲットが画像の中心に現れるように設定されるが、ノイズ等によりずれた位置に現れる場合も少なくない。そのため、平行移動に基づくデータ拡張は意味がある。
　図７に示されるように、基準画像（Ｄ４）の一部分、特にターゲット及びサイドローブを含むような一部分について平行移動の処理を施すためには、ターゲット及びサイドローブが特定されたピクセル（画素）の座標等の情報、すなわちターゲット情報及びサイドローブ情報が必要である。データ拡張部１６は、教師データに含まれるターゲット情報及びサイドローブ情報があるからこそ、ターゲット及びサイドローブを含むような一部分について平行移動の処理を施すことが可能となる。
　図７におけるΔａとΔｂとは、それぞれｘ軸方向への平行移動量とｙ軸方向への平行移動量を表す。
　「ドップラ方向のサイドローブをドップラ方向に残す変換」を施したときと同じように、平行移動を施した後の画像には、空白となった画素が生じる。ここでも空白となった画素は、黒色を表す０（ゼロ）で埋めるＺｅｒｏ　Ｐａｄｄｉｎｇにより処理されてもよい。
　図７の一番右の画像（ＡＤ４）は、平行移動を施した後、トリミングを行って余分な情報を排除したことを表している。このようにデータ拡張は、トリミングを行ってもよい。
　データ拡張部１６は、基準画像の一部分に対して平行移動及びトリミングを行う場合、基準画像に対応する教師データの対応する一部分についても同じ平行移動及びトリミングを行う。
　データ拡張装置１０のデータ拡張部１６は、基準画像と基準画像に対応する教師データとのセットに対してデータ拡張を行い、データ拡張により得られた拡張データセットを、拡張された学習データセットとして出力する。
　本開示技術に係るデータ拡張装置１０により作成された拡張データセットは、レンジ方向及びドップラ方向で表現されたレーダ画像について、ターゲットを類識別する装置を機械学習するための学習データセットとして利用できる。
　以上のように、本開示技術に係るデータ拡張装置１０は、基準画像についての教師データが与えられていない場合には、例えばレーダ動画像からサイドローブ及びターゲットを類識別するセマンティックセグメンテーションを行う、といった学習済み人工知能を備えることで教師データを自ら作成する。ここで、既にターゲットを類識別するセマンティックセグメンテーションを行う学習済み人工知能を備えている状況において、何のためにデータ拡張を行うのか、その意義が問われることがある。
　データ拡張は、それ自身が役務となる。すなわち、自社には学習済み人工知能があるが、他社には未学習の学習モデルのみが有り、学習を行うのに十分な学習データが無い、という状況が考えられる。このような状況を想定し、他社のためにデータ拡張を行う、というビジネスモデルは存在する。
　なお本開示技術は、或る目的のための学習データセットを、ヒトによる手動ではなく、装置による自動で作成しようとすると、その目的を達成可能な能力を装置自身が持っていなければならない、という本質的な原理を表しているとも言える。
　本開示技術に係るデータ拡張装置１０は、ターゲットを類識別するという目的のための学習データセットのデータ拡張を自動で行おうとするものだが、例えば教師データが無い基準画像において、ターゲットを含む一部分の上下反転、回転、又は平行移動しようとしたときに、基準画像中のターゲットを類識別する能力をデータ拡張装置１０自身が持っていないと成立しない。
　以上のように実施の形態１に係るデータ拡張装置１０は上記構成を備えるため、レンジ方向及びドップラ方向で表現され、かつ、ドップラ方向にサイドローブが生じるレーダ画像について、データ拡張を行うことができる。
　本開示技術に係るデータ拡張方法及びデータ拡張装置１０は、他社のためにデータ拡張を行うビジネスに応用でき、産業上の利用可能性を有する。
　データ拡張装置１０、実データ取得部１２、サイドローブ情報取得部１４、データ拡張部１６。

Claims (8)

  1. 　レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する実データ取得部と、
    　前記実データ取得部が取得した前記実データからサイドローブ情報を取得するサイドローブ情報取得部と、
    　前記実データ取得部が取得した前記実データと前記サイドローブ情報取得部が取得した前記サイドローブ情報とに基づいて、前記ドップラ方向のサイドローブを前記ドップラ方向に残す変換を含むデータ拡張を行うデータ拡張部と、を備える
    　データ拡張装置。
  2. 　前記サイドローブ情報取得部は、
    　外部から基準画像に対応する教師データを取得するか、又は、
    　学習済み人工知能を備え、
    　前記学習済み人工知能が、前記基準画像に対応する前記教師データを作成する、
    　請求項１に記載のデータ拡張装置。
  3. 　前記教師データは、ターゲット情報と前記サイドローブ情報とを含む、
    　請求項２に記載のデータ拡張装置。
  4. 　前記教師データは、セマンティックセグメンテーションを前提としたものであり、前記基準画像に対応するマスク画像である、
    　請求項３に記載のデータ拡張装置。
  5. 　前記データ拡張部は、前記基準画像に対して行うものと同じデータ拡張を、前記マスク画像にも実施する、
    　請求項４に記載のデータ拡張装置。
  6. 　前記サイドローブを前記ドップラ方向に残す前記変換は、
    　平行移動と一次変換との組合せである、
    　請求項１に記載のデータ拡張装置。
  7. 　データ拡張装置のデータ拡張方法であって、
    　前記データ拡張装置の実データ取得部が、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得し、
    　前記データ拡張装置のサイドローブ情報取得部が、前記実データ取得部が取得した前記実データからサイドローブ情報を取得し、
    　前記データ拡張装置のデータ拡張部が、前記実データ取得部が取得した前記実データと前記サイドローブ情報取得部が取得した前記サイドローブ情報とに基づいて、前記ドップラ方向のサイドローブを前記ドップラ方向に残す変換を含むデータ拡張を行う、
    　データ拡張方法。
  8. 　前記サイドローブを前記ドップラ方向に残す前記変換は、
    　平行移動と一次変換との組合せである、
    　請求項７に記載のデータ拡張方法。
PCT/JP2022/002325 2022-01-24 2022-01-24 データ拡張方法、及びデータ拡張装置 WO2023139773A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/002325 WO2023139773A1 (ja) 2022-01-24 2022-01-24 データ拡張方法、及びデータ拡張装置
JP2023555503A JP7383212B1 (ja) 2022-01-24 2022-01-24 データ拡張方法、及びデータ拡張装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/002325 WO2023139773A1 (ja) 2022-01-24 2022-01-24 データ拡張方法、及びデータ拡張装置

Publications (1)

Publication Number Publication Date
WO2023139773A1 true WO2023139773A1 (ja) 2023-07-27

Family

ID=87348413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002325 WO2023139773A1 (ja) 2022-01-24 2022-01-24 データ拡張方法、及びデータ拡張装置

Country Status (2)

Country Link
JP (1) JP7383212B1 (ja)
WO (1) WO2023139773A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003436A (ja) * 1998-06-16 2000-01-07 Mitsubishi Electric Corp Ｉｓａｒ画像識別装置およびｉｓａｒ画像識別方法
US7436349B1 (en) * 2006-06-26 2008-10-14 Sandia Corporation Controlling data collection to support SAR image rotation
JP2011169869A (ja) * 2010-02-22 2011-09-01 Mitsubishi Electric Corp レーダ信号処理装置
US20200380294A1 (en) * 2019-05-30 2020-12-03 Wuyi University Method and apparatus for sar image recognition based on multi-scale features and broad learning
CN112630742A (zh) * 2020-12-15 2021-04-09 森思泰克河北科技有限公司 高旁瓣多普勒条带的处理方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003436A (ja) * 1998-06-16 2000-01-07 Mitsubishi Electric Corp Ｉｓａｒ画像識別装置およびｉｓａｒ画像識別方法
US7436349B1 (en) * 2006-06-26 2008-10-14 Sandia Corporation Controlling data collection to support SAR image rotation
JP2011169869A (ja) * 2010-02-22 2011-09-01 Mitsubishi Electric Corp レーダ信号処理装置
US20200380294A1 (en) * 2019-05-30 2020-12-03 Wuyi University Method and apparatus for sar image recognition based on multi-scale features and broad learning
CN112630742A (zh) * 2020-12-15 2021-04-09 森思泰克河北科技有限公司 高旁瓣多普勒条带的处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JPWO2023139773A1 (ja) 2023-07-27
JP7383212B1 (ja) 2023-11-17

Similar Documents

Publication Publication Date Title
US11836852B2 (en) Neural network-based millimeter-wave imaging system
Guerneve et al. Three‐dimensional reconstruction of underwater objects using wide‐aperture imaging SONAR
US9250323B2 (en) Target detection utilizing image array comparison
Thayaparan et al. Application of adaptive joint time–frequency algorithm for focusing distorted ISAR images from simulated and measured radar data
Debes et al. Target discrimination and classification in through-the-wall radar imaging
JP5580621B2 (ja) エコー信号処理装置、レーダ装置、エコー信号処理方法、およびエコー信号処理プログラム
CN112415515B (zh) 一种机载圆迹sar对不同高度目标分离的方法
Soumekh Signal subspace fusion of uncalibrated sensors with application in SAR and diagnostic medicine
Park et al. Performance analysis of the scenario-based construction method for real target ISAR recognition
US20220076119A1 (en) Device and method of training a generative neural network
Sung et al. Realistic sonar image simulation using generative adversarial network
CN103871040B (zh) 基于多角度导航卫星双基地合成孔径雷达图像融合方法
JP2012132687A (ja) 物標探知方法、物標探知プログラム、物標探知装置、およびレーダ装置
Karakuş et al. A generalized Gaussian extension to the Rician distribution for SAR image modeling
Schüßler et al. Deep learning based image enhancement for automotive radar trained with an advanced virtual sensor
CN114708257A (zh) Sar运动舰船目标检测方法及装置
Mergy et al. Vision-based neural scene representations for spacecraft
Reed et al. Sinr: Deconvolving circular sas images using implicit neural representations
WO2023139773A1 (ja) データ拡張方法、及びデータ拡張装置
Groen et al. Model-based sea mine classification with synthetic aperture sonar
Bao et al. On the cross spectrum between individual-look synthetic aperture radar images of ocean waves
Hansen et al. Using registration with fourier-soft in 2d (fs2d) for robust scan matching of sonar range data
Dong et al. A new image simulation technique for deep-learning-based radar target recognition
Rixon Fuchs et al. Deep learning based technique for enhanced sonar imaging
Li et al. Object representation for multi-beam sonar image using local higher-order statistics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22921930

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023555503

Country of ref document: JP