WO2023139773A1 - データ拡張方法、及びデータ拡張装置 - Google Patents
データ拡張方法、及びデータ拡張装置 Download PDFInfo
- Publication number
- WO2023139773A1 WO2023139773A1 PCT/JP2022/002325 JP2022002325W WO2023139773A1 WO 2023139773 A1 WO2023139773 A1 WO 2023139773A1 JP 2022002325 W JP2022002325 W JP 2022002325W WO 2023139773 A1 WO2023139773 A1 WO 2023139773A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- sidelobe
- acquisition unit
- information
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002708 enhancing effect Effects 0.000 title abstract 4
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 23
- 238000013434 data augmentation Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 230000000149 penetrating effect Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 9
- 230000014616 translation Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 239000002689 soil Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
Definitions
- the technology disclosed herein relates to a data expansion method and a data expansion device.
- inverse synthetic aperture radar which is a type of radar system, generally takes distance (also called range) on the horizontal axis and relative velocity (also called Doppler velocity) or Doppler frequency on the vertical axis.
- range direction means the direction of an axis representing range
- Doppler direction means the direction of an axis representing Doppler velocity or Doppler frequency.
- radar image display methods A scope, B scope, C scope, and PPI scope
- the B scope is a display method in which the horizontal axis indicates the direction and the vertical axis indicates the distance.
- Patent Literature 1 discloses a technique for expanding underground data acquired by actual measurement in image recognition of a B scope of a ground penetrating radar by changing measurement parameters according to physical phenomena that occur during exploration with the ground penetrating radar.
- Patent Literature 1 expands data by changing measurement parameters according to physical phenomena that occur during exploration with a ground penetrating radar.
- the physical phenomena that occur in environments where radars other than ground penetrating radar are used are different from those that occur in exploration with ground penetrating radar. Therefore, there is a problem that the technique disclosed in Patent Document 1 cannot be applied to data extension of a learning data set for machine learning in image recognition of moving images of radars other than ground penetrating radars.
- the technology disclosed herein proposes a data expansion method and a data expansion device suitable for moving images of radars other than ground penetrating radar. Specifically, we propose a data expansion method and a data expansion device suitable for radar moving images expressed in the range direction and the Doppler direction.
- a data expansion device includes a real data acquisition unit that acquires real data of a radar moving image expressed in the range direction and the Doppler direction, a sidelobe information acquisition unit that acquires sidelobe information from the real data acquired by the real data acquisition unit, and a data expansion unit that performs data expansion including conversion to leave sidelobes in the Doppler direction in the Doppler direction based on the real data acquired by the real data acquisition unit and the sidelobe information acquired by the sidelobe information acquisition unit.
- the data extension device Since the data extension device according to the technology disclosed herein has the above configuration, it is possible to implement data extension suitable for radar moving images expressed in the range direction and Doppler direction.
- FIG. 1 is a block diagram showing functional blocks of a data expansion device according to Embodiment 1.
- FIG. 2 is a flow chart showing processing steps of the data expansion device according to the first embodiment.
- FIG. 3A is a schematic diagram showing a hardware configuration diagram of the data extension device according to Embodiment 1 (when the processing circuit is dedicated hardware).
- 3B is a schematic diagram showing a hardware configuration diagram of the data extension device according to Embodiment 1 (when the processing circuit is a CPU);
- FIG. FIG. 3 is a schematic diagram showing the hardware configuration of the data extension device according to the first embodiment.
- FIG. 4 is a schematic diagram showing upside-down inversion as an example of data extension.
- FIG. 5 is a schematic diagram showing that simple rotation is inappropriate as data augmentation.
- FIG. 6 is a schematic diagram showing an example of data extension performed by the data extension device according to the first embodiment.
- FIG. 7 is a schematic diagram showing an example in which a part of the reference image is translated.
- Patent Literature 1 discloses a technique for expanding data of a ground penetrating radar image by changing measurement parameters according to physical phenomena that occur during exploration by the ground penetrating radar.
- the specific physical phenomenon disclosed in Patent Document 1 is that the spread of the arc of the signal reflected from the buried object increases as the ground becomes deeper, and decreases as the ground becomes shallower, but the degree of change varies depending on the dielectric constant of the soil.
- Patent Literature 1 mentions the dielectric constant of soil as a measurement parameter for this physical phenomenon.
- Another specific physical phenomenon disclosed in Patent Document 1 is that the magnitude of the signal intensity at the time of reception decreases as the ground becomes deeper and increases as the ground becomes shallower, but the degree of change varies depending on the attenuation rate of the soil.
- Patent Literature 1 mentions the decay rate of soil as a measurement parameter for this physical phenomenon. Another specific physical phenomenon disclosed in Patent Document 1 is that when the output signal, that is, the transmitted wave, has a specific signal strength, frequency, or phase state, it exhibits a unique reflection state depending on the characteristics of the soil. The specific physical phenomena disclosed in Patent Document 1 are all physical phenomena that occur underground, as described above. Moreover, the radar image targeted by Patent Document 1 is that of the B scope.
- the physical phenomenon focused on by the technology disclosed herein is different from the physical phenomenon disclosed in Patent Document 1.
- the physical phenomenon that the technology of the present disclosure focuses on is, specifically, the generation of side lobes in the Doppler direction in a radar image.
- the side lobe in the Doppler direction has the property that its level rises, for example, when there is a scattering point with extremely high scattering intensity at the destination of the radio wave emitted, or when there is a difference between the motion model estimated for the target and the actual motion of the target and the radar image becomes blurred.
- a moving image of inverse synthetic aperture radar is taken as a specific example of a radar image handled by the technique of the present disclosure.
- the technique of the present disclosure can be applied to an image of another display method such as radar other than inverse synthetic aperture radar.
- the technique of the present disclosure can also be applied to a radar image of a synthetic aperture radar expressed in the range direction and the Doppler direction.
- Inverse Synthetic Aperture Radar is in principle the same as Synthetic Aperture Radar (SAR).
- Synthetic aperture radar is a radar that is mounted on an aircraft or a satellite and has a virtually large aperture surface due to the movement of the radar antenna itself.
- FIG. 1 is a block diagram showing functional blocks of a data expansion device 10 according to Embodiment 1.
- the data extension device 10 includes a real data acquisition section 12 , a sidelobe information acquisition section 14 and a data extension section 16 .
- FIG. 2 is a flow chart showing processing steps of the data expansion device 10 according to the first embodiment.
- the processing steps of the data extension device 10 include a step of acquiring actual data (ST12), a step of acquiring side lobe information (ST14), and a step of extending data (ST16).
- FIG. 3 is a schematic diagram showing the hardware configuration of the data extension device 10 according to the first embodiment.
- FIG. 3A is a schematic diagram showing a hardware configuration diagram of the data extension device 10 according to the first embodiment (when the processing circuit is dedicated hardware).
- FIG. 3B is a schematic diagram showing a hardware configuration diagram (when the processing circuit is a CPU) of the data expansion device 10 according to the first embodiment.
- the data extension device 10 includes a processing circuit for acquiring actual data, acquiring sidelobe information, and performing data extension.
- the processing circuit may be dedicated hardware, or may be a CPU [Central Processing Unit, also referred to as a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor)] that executes a program stored in a memory.
- a GPU Graphics Processing Unit
- the processing circuit 400 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
- the functions of the actual data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 may be realized by separate processing circuits 400, respectively, or may be collectively realized by one processing circuit 400.
- the processing circuit is a CPU (processor 410 in FIG. 3B)
- the functions of the real data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 are realized by software, firmware, or a combination of software and firmware.
- Software and firmware are written as programs and stored in memory 420 .
- the processing circuit reads out and executes the programs stored in the memory 420 to achieve the functions of each unit.
- the data extension device 10 includes a memory 420 for storing a program that, when executed by the processing circuit, results in the step of acquiring actual data (ST12), the step of acquiring side lobe information (ST14), and the step of extending data (ST16).
- the memory 420 may be used instead of the storage device 700 provided externally.
- Memory 420 and storage device 700 may be, for example, non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, and the like.
- the memory 420 and the storage device 700 may use disks such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, and a DVD.
- the memory 420 and the storage device 700 may be in the form of HDD or SSD.
- Part of the functions of the actual data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 may be realized by dedicated hardware, and the remaining functions may be realized by software or firmware.
- the processing circuit implements the functions of the actual data acquisition unit 12, the sidelobe information acquisition unit 14, and the data extension unit 16 by hardware, software, firmware, or a combination thereof.
- the actual data acquisition unit 12 acquires the actual data of the radar moving image expressed in the range direction and Doppler direction (step indicated by ST12 in FIG. 2).
- the actual data is composed of a moving image created from the information obtained by actually measuring a certain area using the radar and the moving image.
- moving images mean moving images and still images.
- a radar moving image is a moving image obtained by radar.
- the sidelobe information acquisition unit 14 acquires sidelobe information from the actual data acquired by the actual data acquisition unit 12 (step indicated by ST14 in FIG. 2). More precisely, the sidelobe information acquiring unit 14 acquires sidelobe information included in each moving image of the actual data acquired by the actual data acquiring unit 12 .
- the sidelobe information specifically refers to information such as the coordinates of pixels (pixels) identified as sidelobes, which are identified in a moving image. Acquisition of sidelobe information may be achieved by semantic segmentation. That is, the sidelobe information acquisition unit 14 may include artificial intelligence (AI) trained to perform semantic segmentation for identifying sidelobes from moving images.
- the sidelobe information acquisition unit 14 outputs sidelobe information to the data extension unit 16 .
- the sidelobe information in this case may be a mask image obtained by masking only the sidelobe portions in the moving image by semantic segmentation.
- artificial intelligence should also perform semantic segmentation on targets measured by radar.
- the radar is an inverse synthetic aperture radar
- the target is a ship or a flying object
- the purpose of the radar is to classify and identify the ship or flying object (hereinafter referred to as "class identification")
- class identification the purpose of the radar is to classify and identify the ship or flying object
- the artificial intelligence should be trained in semantic segmentation so as to classify the ship or flying object.
- a target is classified in a moving image, a pixel indicating the result of the classification is specified, and information such as the coordinates of the specified pixel is referred to as "target information”.
- Artificial intelligence may be realized by a CNN (Convolutional Neural Network), a combination of a CNN and a Recurrent Neural Network (RNN), or a Fully Convolutional Network (FCN).
- FCN is a kind of CNN, but considering that 1 ⁇ 1 convolution covering the entire region is performed, it has the property that the same result can be obtained even if the fully connected layer is replaced with the convolution layer. FCN has the advantage that it does not require resizing of the input image.
- Artificial intelligence that performs semantic segmentation on moving images may be realized by SegNet, U-Net, PSPNet, DeepLab, etc., in addition to the above.
- the image and the mask image that is paired with the image and in which the sidelobe and the target are respectively masked are a set.
- This set is called the training data set.
- the mask images in the learning data set are sometimes called correct labels or teacher data. It can be said that the data extension performed by the data extension device 10 according to the technology disclosed herein is for padding the learning data set used for supervised learning.
- the sidelobe information acquisition unit 14 may create teacher data corresponding to the image of the actual data, but the technology disclosed herein is not limited to this.
- the actual data acquisition unit 12 may acquire the actual data image
- the sidelobe information acquisition unit 14 may acquire the teacher data corresponding to the image directly from the outside.
- the teacher data includes target information and sidelobe information.
- the data extension unit 16 Based on the actual data acquired by the actual data acquisition unit 12 and the sidelobe information acquired by the sidelobe information acquisition unit 14, the data extension unit 16 generates extension data including conversion that leaves sidelobes in the Doppler direction in the Doppler direction (step indicated by ST16 in FIG. 2). In other words, the data extension unit 16 performs data extension using one image in the actual data acquired by the actual data acquisition unit 12 as a reference image. Data Augmentation is sometimes called "padded".
- data extension from a reference image requires teacher data corresponding to the reference image, that is, target information and sidelobe information, and is performed based on the target information and sidelobe information. The data extension unit 16 performs the same processing as the data extension performed on the reference image on the teacher data corresponding to the reference image.
- Patent Literature 1 discloses a technique of extending data of a ground penetrating radar image by changing measurement parameters according to physical phenomena that occur during exploration with the ground penetrating radar. Roughly speaking, it can be said that the technique disclosed in Patent Document 1 achieves data expansion by "mutating" the measurement parameters in the ground penetrating radar image.
- a method of "mutating" the measurement parameter generating a random number or the like is conceivable.
- the data extension unit 16 may also focus on the parameters in the moving image and "mutate" the focused parameters to achieve data extension.
- Data augmentation may be realized by generative adversarial networks (GANs). That is, the data extension unit 16 may comprise a generative adversarial network.
- GANs generative adversarial networks
- a generative adversarial network consists of two networks, a generator network and a discriminator network.
- FIG. 4 is a schematic diagram showing upside-down inversion as an example of data extension.
- upside-down inversion is one of the data expansion methods of inverting part or all of an image about an axis parallel to the horizontal axis.
- the radar is an inverse synthetic aperture radar and the target is a ship
- the ship appears to repeatedly move up and down in accordance with the oscillation period of waves in the radar image in which the vertical axis represents the Doppler direction.
- An image (AD1 in FIG. 4) obtained by vertically inverting an image (D1 in FIG. 4) at a certain time is similar to an image at a time slightly shifted from the time when the original image (D1) was captured.
- the data extension unit 16 When vertically inverting the reference image, the data extension unit 16 also vertically inverts the teacher data corresponding to the reference image. When vertically inverting a portion of the reference image, the data extension unit 16 also vertically inverts a corresponding portion of the teacher data corresponding to the reference image.
- Left-to-right data augmentation is also often used, for example, for learning models that discriminate in optical images.
- the horizontal axis indicates the range direction
- the meaning of performing left-right reversal can be understood by considering the case of observing a ship from the front with an inverse synthetic aperture radar.
- the inverse synthetic aperture radar image captures the image of the ship viewed from the side, and the bow appears on the side of the smaller range bin number, that is, on the left side of the ISAR image.
- the ISAR image captures an image of the ship viewed from above, and the bow appears on the side of the smaller range bin number, that is, on the left side of the ISAR image.
- the ISAR image is left-right reversed, it represents a situation in which the ship is moving backward, which means that an image that is difficult to imagine in reality is generated.
- the data extension performed by the data extension unit 16 includes conversion that leaves Doppler side lobes in the Doppler direction.
- FIG. 5 is a schematic diagram showing that simple rotation is inappropriate as data augmentation. Six line segments parallel to the vertical axis shown in FIG. 5 each represent side lobes. Side lobes may not appear as clear line segments in an actual radar image, but they are schematically represented in FIGS. 5 and 6 . Specifically, FIG. 5 shows that simple rotation causes side lobes to extend in directions deviated from the Doppler direction, that is, in directions in which side lobes cannot originally occur, which is inappropriate as data extension.
- FIG. 6 is a schematic diagram showing an example of data extension performed by the data extension unit 16 of the data extension device 10 according to the first embodiment.
- the left image (D3) in FIG. 6 represents the reference image.
- the image (AD3) on the right side in FIG. 6 is an example showing an image after the reference image (D3) is subjected to the “transformation that leaves sidelobes in the Doppler direction in the Doppler direction” in the technology disclosed herein.
- the transformation shown in FIG. 6 can also be considered as a kind of rotation in which the reference image (D3) is placed slightly below the front in three-dimensional space and the reference image (D3) is rotated around the vertical axis.
- FIG. 6 can also be considered as a result of perspective transformation of this rotated reference image (D3) in the three-dimensional space.
- Perspective transformation refers to transformation for viewing an image from a three-dimensional viewpoint.
- the transformation from the reference image (D3) to the right image (AD3) can also be expressed as a combination of simple translations and linear transformations.
- it is important that the Doppler direction in the reference image (D3) is the same as the Doppler direction in the converted image (AD3).
- the lower right of each image is the origin, the right horizontal direction is the x-axis direction, and the upper vertical direction is the y-axis direction.
- transposing (x a , y a ) and representing it as a vertical vector represents the coordinates in the image (AD3) on the right side.
- Transposed (x, y) and represented by a vertical vector represent coordinates in the reference image (D3).
- a is approximately 0.7 and b is approximately ⁇ 0.25.
- a matrix that appears on the right side of equation (1) is a primary transformation matrix.
- T the operation representing transposition will be represented by a superscript T hereinafter.
- T it is known that a primary transformation matrix is represented by basis vectors to which basis vectors have been transformed by the primary transformation. For simplicity, assume that ⁇ x and ⁇ y in Equation (1) are each 0 (zero).
- the destination of basis vector (1,0) T on the x-axis is (a,b) T
- the destination of basis vector (0,1) T on the y-axis is (0,1) T
- (0, 1) T is used as the conversion destination of the y-axis basis vector in equation (1), it may be (0, c) T that has been expanded or contracted.
- c is a positive real number close to one.
- the transformation destination of the base vector (0, 1) T of the y-axis uses a linear transformation matrix of (0, c) T , so the y-axis, that is, the vertical axis component is preserved as the vertical axis component even at the transformation destination.
- the technique of the present disclosure realizes “transformation that leaves side lobes in the Doppler direction”.
- the data extension unit 16 performs ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' for the reference image
- the same ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' is also performed on the teacher data corresponding to the reference image.
- the data extension unit 16 When the data extension unit 16 performs ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' for a part of the reference image, the same ⁇ conversion to leave side lobes in the Doppler direction in the Doppler direction'' is also performed on the corresponding part of the teacher data corresponding to the reference image.
- blank pixels are generated as shown in the image (AD3) on the right side in FIG. Blank pixels may be processed by Zero Padding, which is filled with 0 (zero) representing black.
- Equation (1) "transformation that leaves sidelobes in the Doppler direction in the Doppler direction" is realized by a combination of translation and primary transformation, but the disclosed technique is not limited to this. If the data extension device 10 according to the technology disclosed herein can separate the side lobes and the ship well, for example, the side lobes are fixed and only the ship portion is converted.
- FIG. 7 is a schematic diagram showing an example in which a portion of the reference image (D4) is translated.
- a radar image is basically set so that the target appears in the center of the image, but it is not uncommon for the target to appear at a position shifted due to noise or the like. Therefore, translation-based data augmentation makes sense.
- information such as the coordinates of the pixels (pixels) where the target and sidelobes are specified, that is, target information and sidelobe information, is required. Because of the target information and sidelobe information included in the teacher data, the data extension unit 16 can perform translation processing on a portion that includes the target and sidelobe.
- ⁇ a and ⁇ b in FIG. 7 represent the amount of parallel movement in the x-axis direction and the amount of parallel movement in the y-axis direction, respectively.
- the image after translation has blank pixels. Pixels that are blank here may also be processed by Zero Padding that fills with 0 (zero) representing black.
- the rightmost image (AD4) in FIG. 7 shows that after applying translation, trimming was performed to eliminate superfluous information. Data extension may thus perform trimming.
- the data extension unit 16 also performs the same translation and trimming on the corresponding portion of the teacher data corresponding to the reference image.
- the data extension unit 16 of the data extension device 10 performs data extension on the set of the reference image and the teacher data corresponding to the reference image, and outputs the extended data set obtained by the data extension as an extended learning data set.
- the extended data set created by the data extension device 10 can be used as a learning data set for machine learning of a device for classifying targets for radar images expressed in the range direction and Doppler direction.
- the data expansion device 10 when training data for a reference image is not given, for example, creates training data by itself by providing trained artificial intelligence such as performing semantic segmentation for classifying sidelobes and targets from radar video images.
- trained artificial intelligence such as performing semantic segmentation for classifying sidelobes and targets from radar video images.
- Data Augmentation is itself a service.
- the company may have trained artificial intelligence, but other companies may have only untrained learning models and not enough learning data for learning. Assuming such a situation, there is a business model that expands data for other companies.
- the technology disclosed herein represents an essential principle that if a learning data set for a certain purpose is to be created automatically by a device rather than manually by a human, the device itself must have the ability to achieve that purpose.
- the data extension device 10 attempts to automatically extend the data of a learning data set for the purpose of classifying a target. However, for example, in a reference image without teacher data, when a part including the target is to be flipped upside down, rotated, or translated, the data expansion device 10 itself does not have the ability to classify the target in the reference image.
- the data extension device 10 since the data extension device 10 according to Embodiment 1 has the above configuration, it is possible to perform data extension on radar images that are expressed in the range direction and Doppler direction and in which side lobes occur in the Doppler direction.
- the data extension method and data extension device 10 according to the disclosed technique can be applied to businesses that extend data for other companies, and have industrial applicability.
- a data expansion device 10 an actual data acquisition unit 12, a sidelobe information acquisition unit 14, and a data expansion unit 16.
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本開示技術に係るデータ拡張装置(10)は、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する実データ取得部(12)と、実データ取得部が取得した実データからサイドローブ情報を取得するサイドローブ情報取得部(14)と、実データ取得部が取得した実データとサイドローブ情報取得部が取得したサイドローブ情報とに基づいて、ドップラ方向のサイドローブをドップラ方向に残す変換を含むデータ拡張を行うデータ拡張部(16)と、を備える。
Description
本開示技術は、データ拡張方法、及びデータ拡張装置に関する。
レーダ画像の表示方法には、レンジ方向及びドップラ方向で表現されるものがある。例えばレーダ方式の一種である逆合成開口レーダ(ISAR、Inverse Synthetic Aperture Radar)は、横軸を距離(レンジとも称する)に取り、縦軸に相対速度(ドップラ速度とも称する)、又はドップラ周波数を取るものが一般的である。ここで「レンジ方向」とは、レンジを表す軸の方向を意味し、「ドップラ方向」とは、ドップラ速度又はドップラ周波数を表す軸の方向を意味する。
レーダ画像の表示方法には、上記の他にもさまざまなもの(Aスコープ、Bスコープ、Cスコープ、及びPPIスコープ)があり、例えばBスコープが存在する。Bスコープとは、横軸に方位を取り、縦軸に距離を取る表示方式である。レーダのBスコープ動画像のような各種レーダ画像に対して、画像認識を行う技術が知られている。例えば機械学習を行い、学習済みモデルを作成し、学習済みモデルを用いて画像認識を行う技術が知られている。
レーダ画像の表示方法には、上記の他にもさまざまなもの(Aスコープ、Bスコープ、Cスコープ、及びPPIスコープ)があり、例えばBスコープが存在する。Bスコープとは、横軸に方位を取り、縦軸に距離を取る表示方式である。レーダのBスコープ動画像のような各種レーダ画像に対して、画像認識を行う技術が知られている。例えば機械学習を行い、学習済みモデルを作成し、学習済みモデルを用いて画像認識を行う技術が知られている。
レーダ画像の画像認識を行う技術分野において、機械学習の際に使用される学習データセットの量を増やす目的で、データ拡張を行うことも知られている。例えば特許文献1には、地中レーダのBスコープの画像認識において、実測により取得した地中データについて、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行う技術が開示されている。
特許文献1に開示された技術は、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行うものである。しかし、地中レーダ以外のレーダが使用される環境で生じる物理現象は、地中レーダでの探査において生じるものとは異なる。したがって、特許文献1に開示された技術を、地中レーダ以外のレーダの動画像の画像認識における、機械学習用の学習データセットのデータ拡張に適用することはできない、との課題があった。
本開示技術は、地中レーダ以外のレーダの動画像に適したデータ拡張方法及びデータ拡張装置を提案する。具体的には、レンジ方向及びドップラ方向で表現されたレーダ動画像に適したデータ拡張方法及びデータ拡張装置を提案する。
本開示技術は、地中レーダ以外のレーダの動画像に適したデータ拡張方法及びデータ拡張装置を提案する。具体的には、レンジ方向及びドップラ方向で表現されたレーダ動画像に適したデータ拡張方法及びデータ拡張装置を提案する。
本開示技術に係るデータ拡張装置は、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する実データ取得部と、実データ取得部が取得した実データからサイドローブ情報を取得するサイドローブ情報取得部と、実データ取得部が取得した実データとサイドローブ情報取得部が取得したサイドローブ情報とに基づいて、ドップラ方向のサイドローブをドップラ方向に残す変換を含むデータ拡張を行うデータ拡張部と、を備える。
本開示技術に係るデータ拡張装置は上記構成を備えるため、レンジ方向及びドップラ方向で表現されたレーダ動画像に適したデータ拡張を実現できる。
前述のとおり特許文献1は、地中レーダ画像に対して、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行う技術が開示されている。
特許文献1に開示されている具体的な物理現象とは、埋設物反射信号の円弧の拡がりが、地中深くなるにつれて拡がりが大きくなり、浅くなるにつれて拡がりが小さくなるが、その変化度合は土壌の比誘電率によって変わる、というものである。特許文献1は、この物理現象についての測定パラメータとして、土壌の比誘電率を挙げている。
特許文献1に開示されている別の具体的な物理現象とは、受信時の信号強度の大きさが、地中深くなるにつれて小さくなり、浅くなるにつれて大きくなるが、その変化度合は土壌の減衰率によって変わる、というものである。特許文献1は、この物理現象についての測定パラメータとして、土壌の減衰率を挙げている。
特許文献1に開示されている別の具体的な物理現象とは、土壌の特性等に応じて、出力信号すなわち送信波が、特定の信号強度や周波数あるいは位相状態である場合に、固有の反射状況を示す、というものである。
特許文献1に開示されている具体的な物理現象は、上記のとおり、いずれも地中で生じる物理現象である。
また特許文献1が対象としているレーダ画像は、Bスコープのものである。
特許文献1に開示されている具体的な物理現象とは、埋設物反射信号の円弧の拡がりが、地中深くなるにつれて拡がりが大きくなり、浅くなるにつれて拡がりが小さくなるが、その変化度合は土壌の比誘電率によって変わる、というものである。特許文献1は、この物理現象についての測定パラメータとして、土壌の比誘電率を挙げている。
特許文献1に開示されている別の具体的な物理現象とは、受信時の信号強度の大きさが、地中深くなるにつれて小さくなり、浅くなるにつれて大きくなるが、その変化度合は土壌の減衰率によって変わる、というものである。特許文献1は、この物理現象についての測定パラメータとして、土壌の減衰率を挙げている。
特許文献1に開示されている別の具体的な物理現象とは、土壌の特性等に応じて、出力信号すなわち送信波が、特定の信号強度や周波数あるいは位相状態である場合に、固有の反射状況を示す、というものである。
特許文献1に開示されている具体的な物理現象は、上記のとおり、いずれも地中で生じる物理現象である。
また特許文献1が対象としているレーダ画像は、Bスコープのものである。
本開示技術が着目する物理現象は、特許文献1に開示された物理現象とは異なる。本開示技術が着目する物理現象は、具体的には、レーダ画像においてドップラ方向にサイドローブが生じる、というものである。ドップラ方向のサイドローブは、例えば、電波を発射した先に非常に散乱強度の大きい散乱点が存在するときに、又はターゲットについて推定する運動モデルと実際のターゲットの運動とに差がありレーダ画像がぼやけるときに、レベルが上昇するという性質を有する。
本開示技術が扱うレーダ画像の具体例として逆合成開口レーダの動画像を取り上げるが、レンジ方向及びドップラ方向で表現されたレーダ動画像であって、ドップラ方向にサイドローブが生じるものであれば、逆合成開口レーダではない他のレーダ等の他の表示方式の画像であっても本開示技術を適用することができる。例えば、合成開口レーダのレーダ画像であって、レンジ方向及びドップラ方向で表現されたものにも本開示技術を適用することができる。
逆合成開口レーダ(ISAR、Inverse Synthetic Aperture Radar)は、原理としては合成開口レーダ(SAR、Synthetic Aperture Radar)と同じである。合成開口レーダが、航空機又は人工衛星に搭載され、レーダアンテナ自身が移動することによって仮想的に大きな開口面を備えるレーダであるのに対して、逆合成開口レーダは、レーダアンテナの移動ではなく、相手側であるターゲットの移動及び姿勢変化を利用して分解能を高めるレーダである。
本開示技術が扱うレーダ画像の具体例として逆合成開口レーダの動画像を取り上げるが、レンジ方向及びドップラ方向で表現されたレーダ動画像であって、ドップラ方向にサイドローブが生じるものであれば、逆合成開口レーダではない他のレーダ等の他の表示方式の画像であっても本開示技術を適用することができる。例えば、合成開口レーダのレーダ画像であって、レンジ方向及びドップラ方向で表現されたものにも本開示技術を適用することができる。
逆合成開口レーダ(ISAR、Inverse Synthetic Aperture Radar)は、原理としては合成開口レーダ(SAR、Synthetic Aperture Radar)と同じである。合成開口レーダが、航空機又は人工衛星に搭載され、レーダアンテナ自身が移動することによって仮想的に大きな開口面を備えるレーダであるのに対して、逆合成開口レーダは、レーダアンテナの移動ではなく、相手側であるターゲットの移動及び姿勢変化を利用して分解能を高めるレーダである。
実施の形態1.
図1は、実施の形態1に係るデータ拡張装置10の機能ブロックを示すブロック図である。図1に示されるとおり、データ拡張装置10は、実データ取得部12と、サイドローブ情報取得部14と、データ拡張部16と、を備える。
図1は、実施の形態1に係るデータ拡張装置10の機能ブロックを示すブロック図である。図1に示されるとおり、データ拡張装置10は、実データ取得部12と、サイドローブ情報取得部14と、データ拡張部16と、を備える。
図2は、実施の形態1に係るデータ拡張装置10の処理ステップを示すフローチャートである。図2に示されるとおりデータ拡張装置10の処理ステップには、実データを取得するステップ(ST12)と、サイドローブ情報を取得するステップ(ST14)と、データ拡張を行うステップ(ST16)と、が含まれる。
図3は、実施の形態1に係るデータ拡張装置10のハードウエア構成を示す模式図である。なお図3Aは、実施の形態1に係るデータ拡張装置10のハードウエア構成図(処理回路が専用のハードウエアの場合)を示す模式図である。図3Bは、実施の形態1に係るデータ拡張装置10のハードウエア構成図(処理回路がCPUの場合)を示す模式図である。
データ拡張装置10における実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の各機能は、処理回路により実現される。すなわちデータ拡張装置10は、実データを取得し、サイドローブ情報を取得し、データ拡張を行うための処理回路を備える。処理回路は、専用のハードウエアであっても、メモリに格納されたプログラムを実行するCPU[Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)ともいう]であってもよい。メモリに格納されたプログラムを実行するCPUに代えて、GPU(Graphics Processing Unit)が用いられてもよい。
処理回路が専用のハードウエアである場合(図3Aにおける処理回路400)、処理回路400は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、又はこれらを組み合わせたものが該当する。実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の各部の機能は、それぞれ別個の処理回路400で実現されてもよいし、まとめて1つの処理回路400で実現されてもよい。
処理回路がCPUの場合(図3Bにおけるプロセッサ410)、実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の機能は、ソフトウエア、ファームウエア、又はソフトウエアとファームウエアとの組合せ、により実現される。ソフトウエア及びファームウエアはプログラムとして記述され、メモリ420に格納される。処理回路は、メモリ420に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわちデータ拡張装置10は、処理回路により実行されるときに、実データを取得するステップ(ST12)、サイドローブ情報を取得するステップ(ST14)、及びデータ拡張を行うステップ(ST16)が結果的に実行されるプログラムを格納するためのメモリ420を備える。また、これらのプログラムは、実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の手順及び方法をコンピュータに実行させるものである、とも言える。
ここでメモリ420は、外部に備えた記憶装置700に代えて用いられてもよい。メモリ420及び記憶装置700は、例えば、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性又は揮発性の半導体メモリであってもよい。またメモリ420及び記憶装置700は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等のディスクを用いたものでもよい。またメモリ420及び記憶装置700は、HDD、又はSSDの態様であってもよい。
ここでメモリ420は、外部に備えた記憶装置700に代えて用いられてもよい。メモリ420及び記憶装置700は、例えば、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性又は揮発性の半導体メモリであってもよい。またメモリ420及び記憶装置700は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等のディスクを用いたものでもよい。またメモリ420及び記憶装置700は、HDD、又はSSDの態様であってもよい。
なお、実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の各機能について、一部が専用のハードウエアで実現され、残りの部分がソフトウエア又はファームウエアで実現されてもよい。
このように、処理回路は、ハードウエア、ソフトウエア、ファームウエア、又はこれらの組合せによって、実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の各機能が実現される。
このように、処理回路は、ハードウエア、ソフトウエア、ファームウエア、又はこれらの組合せによって、実データ取得部12、サイドローブ情報取得部14、及びデータ拡張部16の各機能が実現される。
実データ取得部12は、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する(図2のST12で示されるステップ)。ここで実データとは、レーダを実際に用いて或るエリアを計測し、この計測により得られた情報から動画像を作り、この動画像から構成されるものである。ここで動画像とは、動画及び静止画像を意味する。レーダ動画像とは、レーダにより得られた動画像である。
サイドローブ情報取得部14は、実データ取得部12が取得した実データからサイドローブ情報を取得する(図2のST14で示されるステップ)。より厳密には、サイドローブ情報取得部14は、実データ取得部12が取得した実データのそれぞれの動画像について、その動画像に含まれるサイドローブの情報を取得する。サイドローブの情報とは、具体的には、動画像においてサイドローブを示すピクセル(画素)を特定し、そのサイドローブと特定されたピクセル(画素)の座標等の情報を言う。
サイドローブ情報の取得は、セマンティックセグメンテーションにより実現されるとよい。すなわちサイドローブ情報取得部14は、動画像からサイドローブを識別するセマンティックセグメンテーションを行うように学習された人工知能(AI、Artificial Intelligence)を備えてもよい。サイドローブ情報取得部14は、サイドローブ情報を、データ拡張部16へ出力する。この場合のサイドローブ情報は、セマンティックセグメンテーションにより、動画像の中でサイドローブの箇所だけがマスクされたマスク画像であってよい。
サイドローブ情報の取得は、セマンティックセグメンテーションにより実現されるとよい。すなわちサイドローブ情報取得部14は、動画像からサイドローブを識別するセマンティックセグメンテーションを行うように学習された人工知能(AI、Artificial Intelligence)を備えてもよい。サイドローブ情報取得部14は、サイドローブ情報を、データ拡張部16へ出力する。この場合のサイドローブ情報は、セマンティックセグメンテーションにより、動画像の中でサイドローブの箇所だけがマスクされたマスク画像であってよい。
人工知能は、サイドローブのほか、レーダが計測するターゲットについてもセマンティックセグメンテーションを行うとよい。例えばレーダが逆合成開口レーダであり、ターゲットが艦船又は飛行物体であり、レーダの目的が艦船又は飛行物体の類別及び識別(以降、「類識別」と称する)である場合、人工知能は、艦船又は飛行物体を類識別するようにセマンティックセグメンテーションの学習がされたものがよい。動画像においてターゲットを類識別し、類識別した結果を示すピクセル(画素)を特定し、その特定されたピクセル(画素)の座標等の情報は、「ターゲット情報」と称する。
人工知能は、CNN(Convolutional Neural Network)、CNNにRNN(Recurrent Neural Network)を組み合わせたもの、又はFCN(Fully Convolutional Networks)により実現されてよい。FCNは、CNNの一種であるが、領域全体をカバーする1×1の畳込みを行うことを考えて、全結合層を畳込み層に置き換えても同じような結果を得るという性質を有する。FCNは、入力画像のサイズを修正する必要がない、という利点がある。
動画像についてのセマンティックセグメンテーションを行う人工知能は、上記のほか、SegNet、U-Net、PSPNet、DeepLab、等で実現されてもよい。
動画像についてのセマンティックセグメンテーションを行う人工知能は、上記のほか、SegNet、U-Net、PSPNet、DeepLab、等で実現されてもよい。
このように画像と、その画像と対になり、サイドローブ及びターゲットがそれぞれマスクされたマスク画像と、がセットとなる。このセットは、学習データセットと称される。ここで、学習データセットにおけるマスク画像は、正解ラベル、又は教師データと称されることもある。本開示技術に係るデータ拡張装置10が行うデータ拡張は、教師あり学習に用いられる学習データセットを水増しするためのものと言える。
上記のようにサイドローブ情報取得部14が実データの画像に対して、対応する教師データを作成する態様が考えられるが、本開示技術はこれに限定されない。あらかじめ実データの画像に対応する教師データが存在する場合、実データ取得部12が実データの画像を取得し、サイドローブ情報取得部14がその画像に対応する教師データを直接外部から取得するようにしてもよい。ここで、教師データは、ターゲット情報とサイドローブ情報とを含むものとする。
データ拡張部16は、実データ取得部12が取得した実データとサイドローブ情報取得部14が取得したサイドローブ情報とに基づいて、ドップラ方向のサイドローブをドップラ方向に残す変換を含む拡張データを生成する(図2のST16で示されるステップ)。言い換えればデータ拡張部16は、実データ取得部12が取得した実データの中の一つの画像を基準画像として、データ拡張を行う。データ拡張(Data Augmentation)は、「水増し」と称されることもある。本開示技術において基準画像からのデータ拡張は、基準画像に対応する教師データ、すなわちターゲット情報とサイドローブ情報とが必要であり、ターゲット情報とサイドローブ情報とに基づいて行われる。データ拡張部16は、基準画像に対して行うデータ拡張と同じ処理を、基準画像に対応する教師データに対しても行う。
前述のとおり特許文献1は、地中レーダ画像に対して、地中レーダでの探査において生じる物理現象に応じた測定パラメータの変更によりデータ拡張を行う技術を開示している。少し乱暴な言い方をすれば、特許文献1に開示された技術では、地中レーダ画像における測定パラメータを「突然変異」させてデータ拡張を実現している、と見ることができる。ここで、測定パラメータを「突然変異」させる方法は、乱数を発生させる等が考えられる。
本開示技術に係るデータ拡張部16も、動画像におけるパラメータに着目し、着目したパラメータを「突然変異」させ、データ拡張を実現してもよい。
本開示技術に係るデータ拡張部16も、動画像におけるパラメータに着目し、着目したパラメータを「突然変異」させ、データ拡張を実現してもよい。
データ拡張は、敵対的生成ネットワーク(GANs、Generative adversarial networks)により実現されてもよい。すなわちデータ拡張部16は、敵対的生成ネットワークを備えていてもよい。敵対的生成ネットワークは、生成ネットワーク(Generator)と識別ネットワーク(Discriminator)との、2つのネットワークから構成される。
図4は、データ拡張の一例として上下反転を示した模式図である。図4に示されるとおり上下反転とは、横軸と平行な軸を中心として、画像の一部又は全部を反転させる、というデータ拡張の手法の1つである。
例えばレーダが逆合成開口レーダであり、ターゲットが艦船である場合、縦軸がドップラ方向を表すレーダ画像において艦船は、波の動揺の周期に合わせて上下する運動を繰り返すように映る。ある時刻における画像(図4のD1)を上下反転させた画像(図4のAD1)は、元の画像(D1)が撮影された時刻よりも少し時間をずらした時刻の画像に類似する。
データ拡張部16は、基準画像に対して上下反転を行う場合、基準画像に対応する教師データについても同じ上下反転を行う。データ拡張部16は、基準画像の一部分に対して上下反転を行う場合、基準画像に対応する教師データの対応する一部分についても同じ上下反転を行う。
例えばレーダが逆合成開口レーダであり、ターゲットが艦船である場合、縦軸がドップラ方向を表すレーダ画像において艦船は、波の動揺の周期に合わせて上下する運動を繰り返すように映る。ある時刻における画像(図4のD1)を上下反転させた画像(図4のAD1)は、元の画像(D1)が撮影された時刻よりも少し時間をずらした時刻の画像に類似する。
データ拡張部16は、基準画像に対して上下反転を行う場合、基準画像に対応する教師データについても同じ上下反転を行う。データ拡張部16は、基準画像の一部分に対して上下反転を行う場合、基準画像に対応する教師データの対応する一部分についても同じ上下反転を行う。
上下反転があるように、データ拡張の手法には左右反転も存在する。例えば光学画像において識別を行う学習モデルに対して、左右反転のデータ拡張もしばしば用いられる。
ところが横軸がレンジ方向を表すレーダ画像においては、たとえレーダ画像にサイドローブが写っていなくても、左右反転のデータ拡張は採用しない方がよい。
左右反転を行うことの意味は、逆合成開口レーダで艦船を正面から観察するケースを考えると理解できる。艦船がピッチ運動のみをしていると仮定した場合、逆合成開口レーダの画像(以降、「ISAR画像」と称する)にはその艦船を横から見たイメージが捉えられ、船首はレンジビン番号が小さい側、すなわちISAR画像の左側に現れる。艦船がヨー運動のみをしていると仮定した場合、ISAR画像にはその艦船を上から見たイメージが捉えられ、やはり船首はレンジビン番号が小さい側、すなわちISAR画像の左側に現れる。
ここでISAR画像に左右反転の処理を施してしまうことは、艦船が後ろ向きに進んでいるという状況を表し、現実では考えにくい画像を生成してしまうことを意味する。
ところが横軸がレンジ方向を表すレーダ画像においては、たとえレーダ画像にサイドローブが写っていなくても、左右反転のデータ拡張は採用しない方がよい。
左右反転を行うことの意味は、逆合成開口レーダで艦船を正面から観察するケースを考えると理解できる。艦船がピッチ運動のみをしていると仮定した場合、逆合成開口レーダの画像(以降、「ISAR画像」と称する)にはその艦船を横から見たイメージが捉えられ、船首はレンジビン番号が小さい側、すなわちISAR画像の左側に現れる。艦船がヨー運動のみをしていると仮定した場合、ISAR画像にはその艦船を上から見たイメージが捉えられ、やはり船首はレンジビン番号が小さい側、すなわちISAR画像の左側に現れる。
ここでISAR画像に左右反転の処理を施してしまうことは、艦船が後ろ向きに進んでいるという状況を表し、現実では考えにくい画像を生成してしまうことを意味する。
データ拡張部16が行うデータ拡張には、ドップラ方向のサイドローブをドップラ方向に残す変換が含まれる。
図5は、単純な回転がデータ拡張として不適切であることを示した模式図である。図5に示す縦軸と平行な6本の線分は、それぞれサイドローブを表している。実際のレーダ画像においてサイドローブは、きれいな線分として現れない場合もあるが、図5及び図6においては、模式的にサイドローブを表している。
具体的に図5は、単純な回転を行うと、ドップラ方向からはずれた方向、すなわちサイドローブが本来生じ得ない方向にサイドローブが延びてしまい、データ拡張として不適切であることを示している。
図5は、単純な回転がデータ拡張として不適切であることを示した模式図である。図5に示す縦軸と平行な6本の線分は、それぞれサイドローブを表している。実際のレーダ画像においてサイドローブは、きれいな線分として現れない場合もあるが、図5及び図6においては、模式的にサイドローブを表している。
具体的に図5は、単純な回転を行うと、ドップラ方向からはずれた方向、すなわちサイドローブが本来生じ得ない方向にサイドローブが延びてしまい、データ拡張として不適切であることを示している。
図6は、実施の形態1に係るデータ拡張装置10のデータ拡張部16が行うデータ拡張の例を示した模式図である。
図6における左側の画像(D3)は、基準画像を表している。図6における右側の画像(AD3)は、本開示技術における「ドップラ方向のサイドローブをドップラ方向に残す変換」を、基準画像(D3)に施した後の画像を表した一例である。
図6に示す変換は、3次元空間に基準画像(D3)を、正面のやや下方に立てて置き、基準画像(D3)を鉛直な軸回りに回転させる、という回転の一種だと考えることもできる。図6における右側の画像(AD3)は、3次元空間におけるこの回転した基準画像(D3)を、透視変換(Perspective Transformation)したもの、とも考えられる。透視変換とは、画像を3次元視点で見る変換のことを言う。
基準画像(D3)から右側の画像(AD3)への変換は、単なる平行移動と一次変換との組合せとして表すこともできる。このとき、基準画像(D3)におけるドップラ方向が、変換先の画像(AD3)におけるドップラ方向となっていること、が重要である。図6の基準画像(D3)及び右側の画像(AD3)について、それぞれの画像の右下を原点とし、右水平方向をx軸方向、上鉛直方向をy軸方向ととると、基準画像(D3)から右側の画像(AD3)への変換は、以下の式により表される。
ここで、(xa、ya)を転置して縦ベクトルで表したものは、右側の画像(AD3)における座標を表す。(x、y)を転置して縦ベクトルで表したものは、基準画像(D3)における座標を表す。図6の場合、aはおよそ0.7であり、bはおよそ-0.25である。式(1)の右辺に現れる行列は、一次変換行列である。なお、転置を表す操作は、以降では、上添え字のTで表す。
一次変換行列は、その一次変換によって基底ベクトルが変換された先の基底ベクトルで表されることが知られている。簡単のため、式(1)のΔxとΔyとが、それぞれ0(ゼロ)だったとする。x軸の基底ベクトル(1,0)Tの変換先は、(a,b)Tであり、y軸の基底ベクトル(0、1)Tの変換先は、(0、1)Tである。なお、式(1)ではy軸の基底ベクトルの変換先を(0、1)Tとしたが、拡大又は縮小がされた(0、c)Tとしてよい。ただし、cは、1に近い正の実数とする。
本開示技術において、y軸の基底ベクトル(0、1)Tの変換先は、(0、c)Tとなる一次変換行列を用いているため、y軸すなわち縦軸の成分は、変換先でも縦軸の成分として保存される。このような一次変換行列により本開示技術は、「ドップラ方向のサイドローブをドップラ方向に残す変換」が実現される。実際のレーダ画像において、サイドローブはドップラ方向以外の成分を有するものであっても、データ拡張をしたときに、ドップラ方向の成分をドップラ方向に残すようにすることが大事である。
データ拡張部16は、基準画像に対して「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う場合、基準画像に対応する教師データについても同じ「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う。データ拡張部16は、基準画像の一部分に対して「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う場合、基準画像に対応する教師データの対応する一部分についても同じ「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う。
図6における左側の画像(D3)は、基準画像を表している。図6における右側の画像(AD3)は、本開示技術における「ドップラ方向のサイドローブをドップラ方向に残す変換」を、基準画像(D3)に施した後の画像を表した一例である。
図6に示す変換は、3次元空間に基準画像(D3)を、正面のやや下方に立てて置き、基準画像(D3)を鉛直な軸回りに回転させる、という回転の一種だと考えることもできる。図6における右側の画像(AD3)は、3次元空間におけるこの回転した基準画像(D3)を、透視変換(Perspective Transformation)したもの、とも考えられる。透視変換とは、画像を3次元視点で見る変換のことを言う。
基準画像(D3)から右側の画像(AD3)への変換は、単なる平行移動と一次変換との組合せとして表すこともできる。このとき、基準画像(D3)におけるドップラ方向が、変換先の画像(AD3)におけるドップラ方向となっていること、が重要である。図6の基準画像(D3)及び右側の画像(AD3)について、それぞれの画像の右下を原点とし、右水平方向をx軸方向、上鉛直方向をy軸方向ととると、基準画像(D3)から右側の画像(AD3)への変換は、以下の式により表される。
ここで、(xa、ya)を転置して縦ベクトルで表したものは、右側の画像(AD3)における座標を表す。(x、y)を転置して縦ベクトルで表したものは、基準画像(D3)における座標を表す。図6の場合、aはおよそ0.7であり、bはおよそ-0.25である。式(1)の右辺に現れる行列は、一次変換行列である。なお、転置を表す操作は、以降では、上添え字のTで表す。
一次変換行列は、その一次変換によって基底ベクトルが変換された先の基底ベクトルで表されることが知られている。簡単のため、式(1)のΔxとΔyとが、それぞれ0(ゼロ)だったとする。x軸の基底ベクトル(1,0)Tの変換先は、(a,b)Tであり、y軸の基底ベクトル(0、1)Tの変換先は、(0、1)Tである。なお、式(1)ではy軸の基底ベクトルの変換先を(0、1)Tとしたが、拡大又は縮小がされた(0、c)Tとしてよい。ただし、cは、1に近い正の実数とする。
本開示技術において、y軸の基底ベクトル(0、1)Tの変換先は、(0、c)Tとなる一次変換行列を用いているため、y軸すなわち縦軸の成分は、変換先でも縦軸の成分として保存される。このような一次変換行列により本開示技術は、「ドップラ方向のサイドローブをドップラ方向に残す変換」が実現される。実際のレーダ画像において、サイドローブはドップラ方向以外の成分を有するものであっても、データ拡張をしたときに、ドップラ方向の成分をドップラ方向に残すようにすることが大事である。
データ拡張部16は、基準画像に対して「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う場合、基準画像に対応する教師データについても同じ「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う。データ拡張部16は、基準画像の一部分に対して「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う場合、基準画像に対応する教師データの対応する一部分についても同じ「ドップラ方向のサイドローブをドップラ方向に残す変換」を行う。
基準画像(D3)「ドップラ方向のサイドローブをドップラ方向に残す変換」を施すと、図6における右側の画像(AD3)に示されるように、空白となった画素が生じる。空白となった画素は、黒色を表す0(ゼロ)で埋めるZero Paddingにより処理されてもよい。
式(1)に示したとおり、「ドップラ方向のサイドローブをドップラ方向に残す変換」を平行移動と一次変換との組合せによって実現したが、本開示技術はこれに限定されない。本開示技術に係るデータ拡張装置10は、例えばサイドローブと艦船を上手く切り離すことが可能であれば、サイドローブ部分は固定し艦船部分だけを変換するという方法によって「ドップラ方向のサイドローブをドップラ方向に残す変換」を実現してもよい。
図7は、基準画像(D4)の一部分に平行移動の処理を施した例を示した模式図である。レーダ画像は、基本的にはターゲットが画像の中心に現れるように設定されるが、ノイズ等によりずれた位置に現れる場合も少なくない。そのため、平行移動に基づくデータ拡張は意味がある。
図7に示されるように、基準画像(D4)の一部分、特にターゲット及びサイドローブを含むような一部分について平行移動の処理を施すためには、ターゲット及びサイドローブが特定されたピクセル(画素)の座標等の情報、すなわちターゲット情報及びサイドローブ情報が必要である。データ拡張部16は、教師データに含まれるターゲット情報及びサイドローブ情報があるからこそ、ターゲット及びサイドローブを含むような一部分について平行移動の処理を施すことが可能となる。
図7におけるΔaとΔbとは、それぞれx軸方向への平行移動量とy軸方向への平行移動量を表す。
「ドップラ方向のサイドローブをドップラ方向に残す変換」を施したときと同じように、平行移動を施した後の画像には、空白となった画素が生じる。ここでも空白となった画素は、黒色を表す0(ゼロ)で埋めるZero Paddingにより処理されてもよい。
図7の一番右の画像(AD4)は、平行移動を施した後、トリミングを行って余分な情報を排除したことを表している。このようにデータ拡張は、トリミングを行ってもよい。
データ拡張部16は、基準画像の一部分に対して平行移動及びトリミングを行う場合、基準画像に対応する教師データの対応する一部分についても同じ平行移動及びトリミングを行う。
図7に示されるように、基準画像(D4)の一部分、特にターゲット及びサイドローブを含むような一部分について平行移動の処理を施すためには、ターゲット及びサイドローブが特定されたピクセル(画素)の座標等の情報、すなわちターゲット情報及びサイドローブ情報が必要である。データ拡張部16は、教師データに含まれるターゲット情報及びサイドローブ情報があるからこそ、ターゲット及びサイドローブを含むような一部分について平行移動の処理を施すことが可能となる。
図7におけるΔaとΔbとは、それぞれx軸方向への平行移動量とy軸方向への平行移動量を表す。
「ドップラ方向のサイドローブをドップラ方向に残す変換」を施したときと同じように、平行移動を施した後の画像には、空白となった画素が生じる。ここでも空白となった画素は、黒色を表す0(ゼロ)で埋めるZero Paddingにより処理されてもよい。
図7の一番右の画像(AD4)は、平行移動を施した後、トリミングを行って余分な情報を排除したことを表している。このようにデータ拡張は、トリミングを行ってもよい。
データ拡張部16は、基準画像の一部分に対して平行移動及びトリミングを行う場合、基準画像に対応する教師データの対応する一部分についても同じ平行移動及びトリミングを行う。
データ拡張装置10のデータ拡張部16は、基準画像と基準画像に対応する教師データとのセットに対してデータ拡張を行い、データ拡張により得られた拡張データセットを、拡張された学習データセットとして出力する。
本開示技術に係るデータ拡張装置10により作成された拡張データセットは、レンジ方向及びドップラ方向で表現されたレーダ画像について、ターゲットを類識別する装置を機械学習するための学習データセットとして利用できる。
以上のように、本開示技術に係るデータ拡張装置10は、基準画像についての教師データが与えられていない場合には、例えばレーダ動画像からサイドローブ及びターゲットを類識別するセマンティックセグメンテーションを行う、といった学習済み人工知能を備えることで教師データを自ら作成する。ここで、既にターゲットを類識別するセマンティックセグメンテーションを行う学習済み人工知能を備えている状況において、何のためにデータ拡張を行うのか、その意義が問われることがある。
データ拡張は、それ自身が役務となる。すなわち、自社には学習済み人工知能があるが、他社には未学習の学習モデルのみが有り、学習を行うのに十分な学習データが無い、という状況が考えられる。このような状況を想定し、他社のためにデータ拡張を行う、というビジネスモデルは存在する。
データ拡張は、それ自身が役務となる。すなわち、自社には学習済み人工知能があるが、他社には未学習の学習モデルのみが有り、学習を行うのに十分な学習データが無い、という状況が考えられる。このような状況を想定し、他社のためにデータ拡張を行う、というビジネスモデルは存在する。
なお本開示技術は、或る目的のための学習データセットを、ヒトによる手動ではなく、装置による自動で作成しようとすると、その目的を達成可能な能力を装置自身が持っていなければならない、という本質的な原理を表しているとも言える。
本開示技術に係るデータ拡張装置10は、ターゲットを類識別するという目的のための学習データセットのデータ拡張を自動で行おうとするものだが、例えば教師データが無い基準画像において、ターゲットを含む一部分の上下反転、回転、又は平行移動しようとしたときに、基準画像中のターゲットを類識別する能力をデータ拡張装置10自身が持っていないと成立しない。
本開示技術に係るデータ拡張装置10は、ターゲットを類識別するという目的のための学習データセットのデータ拡張を自動で行おうとするものだが、例えば教師データが無い基準画像において、ターゲットを含む一部分の上下反転、回転、又は平行移動しようとしたときに、基準画像中のターゲットを類識別する能力をデータ拡張装置10自身が持っていないと成立しない。
以上のように実施の形態1に係るデータ拡張装置10は上記構成を備えるため、レンジ方向及びドップラ方向で表現され、かつ、ドップラ方向にサイドローブが生じるレーダ画像について、データ拡張を行うことができる。
本開示技術に係るデータ拡張方法及びデータ拡張装置10は、他社のためにデータ拡張を行うビジネスに応用でき、産業上の利用可能性を有する。
データ拡張装置10、実データ取得部12、サイドローブ情報取得部14、データ拡張部16。
Claims (8)
- レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得する実データ取得部と、
前記実データ取得部が取得した前記実データからサイドローブ情報を取得するサイドローブ情報取得部と、
前記実データ取得部が取得した前記実データと前記サイドローブ情報取得部が取得した前記サイドローブ情報とに基づいて、前記ドップラ方向のサイドローブを前記ドップラ方向に残す変換を含むデータ拡張を行うデータ拡張部と、を備える
データ拡張装置。 - 前記サイドローブ情報取得部は、
外部から基準画像に対応する教師データを取得するか、又は、
学習済み人工知能を備え、
前記学習済み人工知能が、前記基準画像に対応する前記教師データを作成する、
請求項1に記載のデータ拡張装置。 - 前記教師データは、ターゲット情報と前記サイドローブ情報とを含む、
請求項2に記載のデータ拡張装置。 - 前記教師データは、セマンティックセグメンテーションを前提としたものであり、前記基準画像に対応するマスク画像である、
請求項3に記載のデータ拡張装置。 - 前記データ拡張部は、前記基準画像に対して行うものと同じデータ拡張を、前記マスク画像にも実施する、
請求項4に記載のデータ拡張装置。 - 前記サイドローブを前記ドップラ方向に残す前記変換は、
平行移動と一次変換との組合せである、
請求項1に記載のデータ拡張装置。 - データ拡張装置のデータ拡張方法であって、
前記データ拡張装置の実データ取得部が、レンジ方向及びドップラ方向で表現されたレーダ動画像の実データを取得し、
前記データ拡張装置のサイドローブ情報取得部が、前記実データ取得部が取得した前記実データからサイドローブ情報を取得し、
前記データ拡張装置のデータ拡張部が、前記実データ取得部が取得した前記実データと前記サイドローブ情報取得部が取得した前記サイドローブ情報とに基づいて、前記ドップラ方向のサイドローブを前記ドップラ方向に残す変換を含むデータ拡張を行う、
データ拡張方法。 - 前記サイドローブを前記ドップラ方向に残す前記変換は、
平行移動と一次変換との組合せである、
請求項7に記載のデータ拡張方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/002325 WO2023139773A1 (ja) | 2022-01-24 | 2022-01-24 | データ拡張方法、及びデータ拡張装置 |
JP2023555503A JP7383212B1 (ja) | 2022-01-24 | 2022-01-24 | データ拡張方法、及びデータ拡張装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/002325 WO2023139773A1 (ja) | 2022-01-24 | 2022-01-24 | データ拡張方法、及びデータ拡張装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023139773A1 true WO2023139773A1 (ja) | 2023-07-27 |
Family
ID=87348413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/002325 WO2023139773A1 (ja) | 2022-01-24 | 2022-01-24 | データ拡張方法、及びデータ拡張装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7383212B1 (ja) |
WO (1) | WO2023139773A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000003436A (ja) * | 1998-06-16 | 2000-01-07 | Mitsubishi Electric Corp | Isar画像識別装置およびisar画像識別方法 |
US7436349B1 (en) * | 2006-06-26 | 2008-10-14 | Sandia Corporation | Controlling data collection to support SAR image rotation |
JP2011169869A (ja) * | 2010-02-22 | 2011-09-01 | Mitsubishi Electric Corp | レーダ信号処理装置 |
US20200380294A1 (en) * | 2019-05-30 | 2020-12-03 | Wuyi University | Method and apparatus for sar image recognition based on multi-scale features and broad learning |
CN112630742A (zh) * | 2020-12-15 | 2021-04-09 | 森思泰克河北科技有限公司 | 高旁瓣多普勒条带的处理方法、装置、设备和存储介质 |
-
2022
- 2022-01-24 JP JP2023555503A patent/JP7383212B1/ja active Active
- 2022-01-24 WO PCT/JP2022/002325 patent/WO2023139773A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000003436A (ja) * | 1998-06-16 | 2000-01-07 | Mitsubishi Electric Corp | Isar画像識別装置およびisar画像識別方法 |
US7436349B1 (en) * | 2006-06-26 | 2008-10-14 | Sandia Corporation | Controlling data collection to support SAR image rotation |
JP2011169869A (ja) * | 2010-02-22 | 2011-09-01 | Mitsubishi Electric Corp | レーダ信号処理装置 |
US20200380294A1 (en) * | 2019-05-30 | 2020-12-03 | Wuyi University | Method and apparatus for sar image recognition based on multi-scale features and broad learning |
CN112630742A (zh) * | 2020-12-15 | 2021-04-09 | 森思泰克河北科技有限公司 | 高旁瓣多普勒条带的处理方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023139773A1 (ja) | 2023-07-27 |
JP7383212B1 (ja) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11836852B2 (en) | Neural network-based millimeter-wave imaging system | |
Guerneve et al. | Three‐dimensional reconstruction of underwater objects using wide‐aperture imaging SONAR | |
US9250323B2 (en) | Target detection utilizing image array comparison | |
Thayaparan et al. | Application of adaptive joint time–frequency algorithm for focusing distorted ISAR images from simulated and measured radar data | |
Debes et al. | Target discrimination and classification in through-the-wall radar imaging | |
JP5580621B2 (ja) | エコー信号処理装置、レーダ装置、エコー信号処理方法、およびエコー信号処理プログラム | |
CN112415515B (zh) | 一种机载圆迹sar对不同高度目标分离的方法 | |
Soumekh | Signal subspace fusion of uncalibrated sensors with application in SAR and diagnostic medicine | |
Park et al. | Performance analysis of the scenario-based construction method for real target ISAR recognition | |
US20220076119A1 (en) | Device and method of training a generative neural network | |
Sung et al. | Realistic sonar image simulation using generative adversarial network | |
CN103871040B (zh) | 基于多角度导航卫星双基地合成孔径雷达图像融合方法 | |
JP2012132687A (ja) | 物標探知方法、物標探知プログラム、物標探知装置、およびレーダ装置 | |
Karakuş et al. | A generalized Gaussian extension to the Rician distribution for SAR image modeling | |
Schüßler et al. | Deep learning based image enhancement for automotive radar trained with an advanced virtual sensor | |
CN114708257A (zh) | Sar运动舰船目标检测方法及装置 | |
Mergy et al. | Vision-based neural scene representations for spacecraft | |
Reed et al. | Sinr: Deconvolving circular sas images using implicit neural representations | |
WO2023139773A1 (ja) | データ拡張方法、及びデータ拡張装置 | |
Groen et al. | Model-based sea mine classification with synthetic aperture sonar | |
Bao et al. | On the cross spectrum between individual-look synthetic aperture radar images of ocean waves | |
Hansen et al. | Using registration with fourier-soft in 2d (fs2d) for robust scan matching of sonar range data | |
Dong et al. | A new image simulation technique for deep-learning-based radar target recognition | |
Rixon Fuchs et al. | Deep learning based technique for enhanced sonar imaging | |
Li et al. | Object representation for multi-beam sonar image using local higher-order statistics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22921930 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023555503 Country of ref document: JP |