WO2019234852A1 - レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム - Google Patents

レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム Download PDF

Info

Publication number
WO2019234852A1
WO2019234852A1 PCT/JP2018/021713 JP2018021713W WO2019234852A1 WO 2019234852 A1 WO2019234852 A1 WO 2019234852A1 JP 2018021713 W JP2018021713 W JP 2018021713W WO 2019234852 A1 WO2019234852 A1 WO 2019234852A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar signal
synthetic aperture
degree
sway
unit
Prior art date
Application number
PCT/JP2018/021713
Other languages
English (en)
French (fr)
Inventor
一峰 小倉
正行 有吉
裕三 仙田
宝珠山　治
大地 田中
大典 生藤
慎吾 山之内
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/972,155 priority Critical patent/US11933885B2/en
Priority to JP2020523907A priority patent/JP7156374B2/ja
Priority to PCT/JP2018/021713 priority patent/WO2019234852A1/ja
Publication of WO2019234852A1 publication Critical patent/WO2019234852A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G01S13/9064—Inverse SAR [ISAR]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements

Definitions

  • the present invention relates to a radar signal imaging apparatus, a radar signal imaging method, and a radar signal imaging program, and in particular, a radar signal imaging apparatus, a radar signal imaging method, and a radar signal capable of generating a clearer image by inverse synthetic aperture technology. It relates to an imaging program.
  • the electromagnetic wave irradiated from the antenna is reflected by an arbitrary object.
  • the object is imaged based on the reflected wave signal received by the antenna.
  • a technique for imaging an object based on a reflected wave signal using a radar there is a synthetic aperture technique.
  • Synthetic Aperture Radar (SAR) is used to increase the aperture length without increasing the antenna by increasing the number of observation points using the movement of the antenna.
  • the technique of increasing the aperture length using the movement of the object without moving the antenna itself is the inverse synthetic aperture technology (Inverse SAR: ISAR).
  • ISAR inverse synthetic aperture technology
  • the movement of an object in ISAR is equivalent to the movement of an antenna in SAR IV.
  • Non-Patent Document 1 describes a system using a reverse synthetic aperture technique.
  • FIG. 19 is an explanatory diagram illustrating an example of a system in which the reverse synthetic aperture technique is used.
  • antennas are arranged perpendicular to the ground.
  • a Time of Flight (ToF) camera is arranged on the panel on which the antennas are arranged.
  • Non-Patent Document 1 attempts to acquire a clear image using only an inexpensive device by executing radar signal imaging by ISAR using pedestrian movement.
  • the system described in Non-Patent Document 1 tracks an object using a ToF camera. That is, the system described in Non-Patent Document 1 estimates the position of an object obtained by the inverse synthetic aperture technique using a ToF camera.
  • the first condition is that the position of an object that is a signal reflection source is known.
  • the second condition is that the object is a rigid body.
  • FIG. 20 is an explanatory diagram showing an example of a change in the rigid body over time. Assuming that the object is an object composed of a plurality of reflection points, the relative positions of the reflection points forming the rigid body do not change over time as shown in FIG.
  • FIG. 21 is an explanatory diagram showing an example of a change in a person with time. As shown in FIG. 21, for example, a person moves his hands and feet when walking. That is, when the target object is a person, the relative positions of the reflection points constituting the person change with time.
  • Patent Document 1 describes an image radar apparatus that observes a distant target based on a transmission radio wave and a reception radio wave including a reflected radio wave and identifies the shape, reflection intensity distribution, type, and the like of the target. .
  • Non-Patent Document 2 describes Scale-Invariant Feature Transform (SIFT), which is a method for detecting a reflection point.
  • SIFT Scale-Invariant Feature Transform
  • Non-Patent Document 3 also describes Histograms of Oriented Gradients (HOG), which is a method for detecting a reflection point.
  • HOG Histograms of Oriented Gradients
  • Non-Patent Document 4 describes a method for estimating the degree of sway of an object described later based on a radar signal.
  • Non-Patent Document 1 the object only moves in parallel during the synthetic aperture processing target period, and the relative position of the reflection points constituting the object does not change (that is, the object is a rigid body). It is assumed).
  • Non-Patent Document 1 does not observe the change in the relative position of the reflection point that constitutes the object, and therefore the object of the synthetic aperture process including the period when the change in the relative position of the reflection point is large. This is because the synthetic aperture processing is executed over the entire period.
  • the present invention provides a radar signal imaging apparatus, a radar signal imaging method, and a radar signal imaging program that can clearly image a non-rigid object using the inverse synthetic aperture technique, which solves the above-described problems. For the purpose.
  • a radar signal imaging apparatus includes a transmitter that transmits a radar signal toward an imaging target that is a non-rigid body, a position estimation unit that estimates the position of the target, and feature points that constitute the target And a radar signal reflected from the object based on the estimated position of the object and the estimated degree of movement. And a synthetic aperture processing unit for performing synthetic aperture processing on the above.
  • a radar signal is transmitted toward a non-rigid object to be imaged, the position of the object is estimated, and the relative position of the feature points constituting the object is a predetermined period.
  • the degree of fluctuation which is the degree of change during the estimation, is estimated, and synthetic aperture processing is performed on the radar signal reflected from the object based on the estimated position of the object and the estimated degree of fluctuation.
  • a radar signal imaging program includes a transmission process for transmitting a radar signal to a non-rigid imaging object, a position estimation process for estimating the position of the object, and a feature constituting the object.
  • a fluctuation estimation process for estimating the degree of fluctuation which is the degree to which the relative position of the point has changed during a predetermined period, and a radar reflected from the object based on the estimated position of the object and the estimated degree of fluctuation
  • a synthetic aperture process is performed on the signal.
  • a non-rigid object can be clearly imaged by the reverse synthetic aperture technique.
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of a radar signal imaging device according to the present invention. It is explanatory drawing which shows the example of the frequency change of FMCW with progress of time. It is explanatory drawing which shows the example of the feature point and reference
  • FIG. 1 is an explanatory diagram showing an example of a radar signal imaging system according to the present invention.
  • the radar signal imaging system 10 shown in FIG. 1 aims to suppress the image degradation that is the problem described above.
  • the object A reflects the electromagnetic wave irradiated from the antenna.
  • the antenna receives the reflected signal.
  • the object A is imaged based on the received reflected signal.
  • the object A walks on the area 13 whose total length is the distance L, and passes between the side panel 11 and the side panel 12.
  • a plurality of antennas are installed on the side panel 11 and the side panel 12 so that the object A walking on the area 13 is irradiated with electromagnetic waves.
  • the multiple antennas installed on the side panel are composed of a transmitting antenna and a receiving antenna.
  • the plurality of antennas installed on the side panel may be configured with antennas that can transmit and receive.
  • the side panel on which the antenna is installed may be any one of the side panel 11 and the side panel 12.
  • the installation angle of the side panel is not particularly limited.
  • an antenna is installed on the side panel 12 will be described.
  • the external sensor 14 shown in FIG. 1 is sensing the object A from the side.
  • the role of the external sensor 14 is to measure the degree of fluctuation of the object A and to estimate the position of the object A.
  • the number of external sensors 14 to be installed and the installation position of the external sensors 14 are not particularly limited.
  • the external sensor 14 for example, an optical sensor, a stereo camera, or a ToF camera is used.
  • the case where the external sensor 14 is a camera will be described.
  • the position of the object A is estimated based on the radar signal will be described in a second embodiment.
  • An embodiment in which the external sensor 14 is not used and the position and sway of the object A are estimated based on radar signals will be described in a third embodiment.
  • the spatial coordinates in each embodiment are coordinates in a three-dimensional Euclidean space.
  • the position of the object A obtained by the reverse synthetic aperture technique is estimated based on the sensor data acquired by the external sensor 14. Further, the degree of sway of the object A is also estimated based on the sensor data acquired by the external sensor 14.
  • FIG. 2 is a block diagram showing a configuration example of the first embodiment of the radar signal imaging apparatus according to the present invention.
  • a radar signal imaging apparatus 100 shown in FIG. 2 is an apparatus used in the radar signal imaging system 10 shown in FIG.
  • the radar signal imaging apparatus 100 is an apparatus that images the object A based on measurement data obtained from the antenna and the external sensor 14 shown in FIG.
  • a radar signal imaging apparatus 100 shown in FIG. 2 includes a radar signal transmission / reception unit 110, a data acquisition unit 120, a position estimation unit 130, a sway degree estimation unit 140, a synthetic aperture processing unit 150, and an image display unit 160. Is provided. The time referred to by each component of the radar signal imaging apparatus 100 is synchronized.
  • the radar signal transmission / reception unit 110 has a function of transmitting an electromagnetic wave via the transmission antenna (Tx) and receiving a reflected wave via the reception antenna (Rx).
  • Tx and Rx shown in FIG. 2 correspond to the antenna shown in FIG.
  • Tx and Rx shown in FIG. 2 are also collectively referred to as a radar module.
  • Radar signal transmission / reception unit 110 transmits electromagnetic waves via Tx and receives reflected signals via Rx. Further, the radar signal transmission / reception unit 110 inputs the radar signal extracted from the reception signal and the current time to the synthetic aperture processing unit 150.
  • the electromagnetic wave transmitted from Tx is, for example, a pulse, a continuous wave (Continuous Wave (CW)), a frequency-modulated continuous wave (Frequency Modulation CW (FMCW), or a Stepped Frequency CW).
  • CW Continuous Wave
  • FMCW Frequency Modulation CW
  • Stepped Frequency CW a case where FMCW is transmitted from Tx will be considered.
  • the distance from the radar to the reflector can be obtained.
  • a clearer image of the reflector can be generated.
  • FIG. 3 is an explanatory diagram showing an example of FMCW frequency change over time. As shown in FIG. 3, the frequency in the time slot f ⁇ ⁇ ⁇ ⁇ is F (f). The time slot shown in FIG. 3 is a minimum unit of sample time in the radar module (Tx and Rx).
  • the frequency increases linearly over time slot 1 to time slot N f .
  • the time slot 1 to time slot Nf are sufficiently small with respect to the time during which the object A is moving. That is, during time slots 1 to time slot N f, the object A is considered not moving.
  • Radar signal transmitting / receiving unit 110 down-converts the reflected signal received via Rx after mixing it with the transmission signal transmitted from Tx.
  • the radar signal transmission / reception unit 110 treats an Intermediate Frequency (IF) signal generated by down-conversion as a radar signal.
  • IF Intermediate Frequency
  • the IF signal related to the frequency at time t, time slot f, transmission antenna x, and reception antenna y is S (t, f, x, y).
  • the radar signal transmission / reception unit 110 inputs the generated IF signal to the synthetic aperture processing unit 150.
  • the data acquisition unit 120 has a function of acquiring sensor data from the external sensor 14.
  • the data acquisition unit 120 acquires sensor data from the external sensor 14 and inputs the time-attached sensor data with the current time attached to the position estimation unit 130 and the sway degree estimation unit 140.
  • the sensor data acquired by the data acquisition unit 120 is image data.
  • the position estimation unit 130 has a function of estimating the position of the object A based on the sensor data obtained by the external sensor 14.
  • the position estimation unit 130 estimates the position of the object A based on the sensor data with time input from the data acquisition unit 120.
  • the position estimation unit 130 inputs position information with time indicating the estimated position to the synthetic aperture processing unit 150.
  • the time attached to the input position information is the same time as the current time input from the data acquisition unit 120.
  • information associated with the current time input from the data acquisition unit 120 may be attached to the position information instead of the time.
  • the position estimation unit 130 can calculate the position of the object A by triangulation.
  • the ToF camera can calculate the distance to the object A. Therefore, when a plurality of ToF cameras are used as the external sensor 14, the position estimation unit 130 can calculate the position of the object A by triangulation.
  • the position estimation unit 130 may calculate at least one arbitrary position for each object.
  • One point from which the position is calculated is, for example, the center of gravity of the object or a characteristic part (marking point) of the object.
  • TP (t) the position information of the object A at the calculated time t.
  • the number of external sensors 14, the type of external sensors 14, and the method for estimating the position of the object A are not particularly limited.
  • the sway degree estimation unit 140 has a function of estimating the sway degree of the object A based on the sensor data obtained by the external sensor 14.
  • the swaying degree estimation unit 140 estimates the swaying degree of the object A based on the sensor data with time input from the data acquisition unit 120.
  • the sway degree estimation unit 140 inputs the sway degree with time indicating the estimated sway degree to the synthetic aperture processing unit 150.
  • the time given to the input swaying degree is the same time as the current time input from the data acquisition unit 120.
  • current time input from the data acquisition part 120 may be attached
  • the swaying degree of the object in the present embodiment is a value representing the degree to which the relative position of the reflection points (feature points) constituting the object has changed over time.
  • the first method is a method for extracting feature points of an object and using the coordinates of the extracted feature points.
  • Non-Patent Document 2 HOG * described in Non-Patent Document 3, and the like as methods for detecting feature points of an object.
  • FIG. 4 is an explanatory diagram showing examples of feature points and reference points of an object.
  • the reference point is a point that serves as a reference for the relative position of the feature point.
  • the reference point may be anywhere in the object. For example, the position of the center of gravity of the object at time 1 (at the start of the synthetic aperture process) is used as the reference point.
  • the degree of sway is considered to be the degree to which the relative position of the feature points constituting the object has changed during a predetermined period.
  • the trunk part of the pedestrian moves almost parallel to the traveling direction.
  • pedestrian hands and feet move in a complex manner. That is, the relative position of the feature points such as hands and feet with respect to the feature points of the trunk part changes greatly during walking.
  • the relative position of the feature points of the trunk part also changes greatly during walking.
  • the swaying degree VP (t) of the object at time t is calculated by the following equation (3).
  • norm in equation (3) is a function for calculating the Frobenius norm of the input matrix.
  • the second method for estimating the degree of sway is based on the number of pixels occupied by the object in the image taken by the camera.
  • FIG. 5 is an explanatory diagram illustrating an example of movement of an object.
  • the object A shown in FIG. 5 is moving in the direction of the arrow.
  • the external sensor 14 senses the object A from the side surface.
  • the external sensor 14 is arranged to estimate the degree of sway of the object A.
  • FIG. 6 is an explanatory diagram showing an example of a pixel image of an object photographed by the external sensor 14.
  • the scale of the object A changes according to the distance between the external sensor 14 and the object A.
  • the scale of the object A changes during sensing, the scale of the object A in the image is normalized, or a plurality of external sensors are installed so that the distance between the object A and the external sensor 14 is always constant. It is necessary to devise such as to do.
  • the above two sway VP (t) t are the difference values of the number of pixels when the previous time slot is used as a reference.
  • the reference time slot may not be the previous time slot.
  • the time slot when the synthetic aperture process is started may be used as a reference.
  • the degree of sway estimation unit 140 is based on a three-dimensional shape including depth information observed by a ToF camera or a stereo camera. May be calculated. Further, the number of external sensors 14 and the positions where the external sensors 14 are installed are not particularly limited.
  • the synthetic aperture processing unit 150 has a function of performing the synthetic aperture processing based on the estimated position of the object A and the estimated sway of the object A.
  • the synthetic aperture processing unit 150 of the present embodiment has the following three functions.
  • the synthetic aperture processing unit 150 includes a timed radar signal input from the radar signal transmitting / receiving unit 110, a timed position information of the object A input from the position estimating unit 130, and a degree of sway estimation.
  • the time-dependent swaying degree of the object A input from the unit 140 is accumulated.
  • the synthetic aperture processing unit 150 is input from the radar signal with time input from the radar signal transmission / reception unit 110, position information with time of the object A input from the position estimation unit 130, and the sway degree estimation unit 140.
  • IF signal to be used for the synthetic aperture processing is selected based on the time-dependent fluctuation of the target object A.
  • the synthetic aperture processing unit 150 performs synthetic aperture processing on the selected IF signal and calculates image information.
  • the synthetic aperture processing unit 150 inputs the calculated image information to the image display unit 160.
  • the synthetic aperture processing when the permissible value H ⁇ ⁇ of the swaying degree is set in advance will be described. Further, the user determines in advance a maximum synthetic aperture length D and a maximum synthetic aperture period T. Note that the user may determine only one of the maximum synthetic aperture length D and the maximum synthetic aperture period T.
  • the synthetic aperture processing of the present embodiment is started when any one of the synthetic aperture length, the synthetic aperture period, and the object mobility satisfies a specific condition.
  • a specific condition for starting the synthetic aperture processing and a method for selecting a radar signal used for the synthetic aperture processing will be described.
  • the synthetic aperture processing unit 150 synthesizes the radar signal input from the radar signal transmission / reception unit 110 until the synthetic aperture length becomes larger than the maximum synthetic aperture length D. Perform opening processing.
  • the synthetic aperture length of the present embodiment is equal to the distance that is the difference between the position of the object A at the time when the synthetic aperture processing is started and the position of the object A input from the position estimation unit 130. That is, the distance that is the difference is the moving distance of the object A from the time when the synthetic aperture process is started to the current time.
  • the distance that is the difference is calculated by the following equation (4).
  • the synthetic aperture processing unit 150 synthesizes the radar signal input from the radar signal transmission / reception unit 110 until the synthetic aperture period becomes longer than the maximum synthetic aperture period T. Perform opening processing.
  • the synthetic aperture period of the present embodiment includes the time when the synthetic aperture processing unit 150 inputs the radar signal transmission / reception unit 110 for the first time after the synthetic aperture processing is started, the radar signal transmission / reception unit 110, the position estimation unit 130, or the degree of sway. It is equal to the time that is the difference from the time input from the estimation unit 140. That is, the time that is the difference is the elapsed time from the time when the synthetic aperture process is started to the current time.
  • the synthetic aperture processing unit 150 may select data used for the synthetic aperture processing based on the degree of sway.
  • FIG. 7 is an explanatory diagram illustrating an example of a temporal change in the degree of sway of an object.
  • the synthetic aperture processing unit 150 is configured for a radar signal whose period of motion VP (t) of the target object is smaller than the allowable value H. Then, synthetic aperture processing is performed.
  • FIG. 8 is an explanatory diagram showing another example of a temporal change in the degree of sway of an object.
  • the synthetic aperture processing unit 150 As another method of selecting a radar signal based on the sway of motion VP (t) of the object, the synthetic aperture processing unit 150 generates a radar signal during a period when the sway of fluctuation is small and stable as shown in FIG. You may choose.
  • FIG. 9 is an explanatory diagram illustrating an example of sensor data and radar signals arranged in time series.
  • FIG. 9 shows the time given to the radar signal and the time given to the sensor data.
  • synthetic aperture length at time t 7 the synthetic aperture period, if any of the object tooth mobility meets certain conditions
  • the synthetic aperture processing unit 150 the time t 1, the time t 3, time t 5, time select only the radar signal at t 6 performs synthetic aperture processing.
  • the synthetic aperture processing unit 150 performs synthetic aperture processing by selecting only the radar signals at time t 1 and time t 3 .
  • the synthetic aperture length at time t 4 the synthetic aperture period, if any of the object tooth mobility meets certain conditions, the synthetic aperture processing unit 150, the time t 1, only the radar signal at time t 3 Select to perform synthetic aperture processing.
  • the synthetic aperture processing unit 150 selects only the radar signal at time t 1 and performs synthetic aperture processing.
  • the synthetic aperture processing unit 150 may select a radar signal to be used based on the degree of sway from a radar signal in a period up to the time when either the synthetic aperture length or the synthetic aperture period satisfies a specific condition. Good.
  • FIG. 10 is an explanatory diagram showing another example of a temporal change in the degree of sway of an object.
  • the synthetic aperture processing unit 150 may select a radar signal obtained by removing a radar signal of a specific period from a radar signal of a predetermined period as a radar signal to be used.
  • the radar signal having a period in which the swaying degree is smaller than a predetermined value is selected.
  • the synthetic aperture processing unit 150 has a small fluctuation amount of the swaying degree.
  • a period radar signal may be selected.
  • the radar module is constituted by a N x number of transmitting antennas, and N y number of receiving antennas.
  • FIG. 11 is an explanatory diagram showing an example of image information of an object represented by voxels.
  • a rectangular parallelepiped with a lattice shown in FIG. 11 indicates image information A (v) of the object A calculated by the synthetic aperture processing unit 150.
  • the coordinate system of the three-dimensional space shown in FIG. 11 is an orthogonal coordinate system.
  • the three-dimensional space is considered to be a set of rectangular parallelepipeds (voxels: v) shown in FIG. Note that the size of the voxel can be freely changed. The user determines the size of the voxel according to the amount of calculation and the size of the object to be imaged.
  • each antenna or object is represented as position coordinates.
  • each antenna or object is located in any voxel.
  • the synthetic aperture processing unit 150 uses, for example, Digital Beam Forming (DBF), which is generally used as an imaging method, to convert the image information A (v) of the object A located in the voxel v into the following equation (5). Calculate as follows.
  • DBF Digital Beam Forming
  • a (v) represents the amplitude at voxel v 1.
  • S (t, f, x, y) in Equation (5) represents a radar signal input from the radar signal transmitting / receiving unit 110.
  • C is the speed of light.
  • N f and F (f) are the time slot and frequency shown in FIG.
  • N t is the number of time samples of the selected radar signal.
  • the first ⁇ in Equation (5) represents the total sum of the selected radar signals.
  • the synthetic aperture processing unit 150 does not continuously select radar signals arranged in time series.
  • the excluded radar signal is not used in the synthetic aperture processing.
  • Rv (t, x, y) in equation (5) is a value obtained by adding the distance from the transmitting antenna x to the target and the distance from the target to the receiving antenna y.
  • Rv (t, x, y) is calculated as in the following equation (6).
  • Tx (x) and Rx (y) in Equation (6) represent the position of the transmitting antenna and the position of the receiving antenna, respectively.
  • the synthetic aperture processing unit 150 may use a method such as ⁇ -k instead of DBFDB as an imaging method.
  • the image display unit 160 has a function of displaying an image of the object A on the display based on the data generated by the synthetic aperture process.
  • the image display unit 160 receives the image information A (v) from the synthetic aperture processing unit 150 and displays it on the display.
  • the image display unit 160 processes the received image information A (v) into a specified format image and displays it on the display. For example, the image display unit 160 may display the image information A (v) as it is on the display as a three-dimensional image. Further, the image display unit 160 may extract a two-dimensional image corresponding to any direction from the three-dimensional image and display it on the display.
  • FIG. 12 is a flowchart showing the entire operation of the image display processing by the radar signal imaging apparatus 100 according to the first embodiment.
  • the image is displayed from the process in which the reception antenna receives the reflected wave from the object after the transmission antenna transmits the electromagnetic wave including the generation signal and the process in which the external sensor 14 acquires the sensor data. It corresponds to the processing until it is displayed on.
  • the timing at which the image display process shown in FIG. 12 is started is not particularly limited.
  • the image display process may be started from the time when the external sensor 14 detects the object, and the image display process may be started again after the image is displayed on the display.
  • the radar signal transmission / reception unit 110 transmits an electromagnetic wave via Tx.
  • the radar signal transmission / reception unit 110 receives the reflection signal via Rx.
  • the radar signal transmission / reception unit 110 processes the received signal into an IF signal (radar signal), and inputs the IF signal and the current time to the synthetic aperture processing unit 150 (step S101).
  • the IF signal generated by the radar signal transmission / reception unit 110 is S (t, f, x, y) in Equation (5).
  • the data acquisition unit 120 acquires sensor data from the external sensor 14 (step S102). Next, the data acquisition unit 120 inputs the acquired sensor data and the current time to the position estimation unit 130 and the sway degree estimation unit 140.
  • the position estimating unit 130 estimates position information TP (t) of the object based on the input sensor data (step S103). Next, the position estimation unit 130 inputs the estimated position information TP (t) and the current time input from the data acquisition unit 120 to the synthetic aperture processing unit 150.
  • the sway degree estimation unit 140 estimates the sway degree VP (t) t of the object based on the input sensor data (step S104). Next, the sway degree estimation unit 140 inputs the estimated sway degree VP (t) and the current time input from the data acquisition unit 120 to the synthetic aperture processing unit 150.
  • the synthetic aperture processing unit 150 includes the current time and radar signal S (t, f, x, y) input from the radar signal transmission / reception unit 110, the current time input from the position estimation unit 130, and position information TP ( t) and the current time input from the sway estimation unit 140 and the sway VP (t) of the object are accumulated.
  • the synthetic aperture processing unit 150 determines whether or not to start the synthetic aperture processing (step S105). After determining that the synthetic aperture processing is to be started, the synthetic aperture processing unit 150 selects a radar signal to be used for the synthetic aperture processing.
  • the synthetic aperture processing unit 150 performs synthetic aperture processing on the selected radar signal using DBF. By executing the synthetic aperture processing, the synthetic aperture processing unit 150 calculates image information A (v) (step S106). Next, the synthetic aperture processing unit 150 inputs the calculated image information A (v) to the image display unit 160.
  • the image display unit 160 displays the input image information A (v) on the display (step S107). After the display, the radar signal imaging apparatus 100 ends the image display process.
  • the radar signal imaging apparatus 100 includes a sway degree estimation unit 140 that calculates the sway degree of an object, and a synthetic aperture processing unit that selects a radar signal to be used in the synthetic aperture process according to the calculated sway degree. 150.
  • the radar signal imaging apparatus 100 can obtain a clear image by suppressing image deterioration in the synthetic aperture processing.
  • the reason is that the synthetic aperture processing unit 150 performs the synthetic aperture processing using only the radar signal obtained during a period in which the movement of the object is not confirmed.
  • the radar signal imaging apparatus 100 of the present embodiment uses sensor data obtained by the external sensor 14 for position estimation of an object in the inverse synthetic aperture technique. Therefore, the radar signal imaging apparatus 100 according to the present embodiment can acquire the clear inverse synthetic aperture image because the position of the object can be estimated more accurately.
  • the position of the object A obtained by the inverse synthetic aperture technique is estimated based on the radar signal. Further, the degree of sway of the object A is estimated based on the sensor data acquired by the external sensor 14.
  • FIG. 13 is a block diagram showing a configuration example of the second embodiment of the radar signal imaging apparatus according to the present invention.
  • a radar signal imaging apparatus 200 shown in FIG. 13 is an apparatus used in the radar signal imaging system 10 shown in FIG.
  • a radar signal imaging apparatus 200 shown in FIG. 13 includes a radar signal transmission / reception unit 210, a data acquisition unit 220, a position estimation unit 230, a sway degree estimation unit 240, a synthetic aperture processing unit 250, and an image display unit 260. Is provided. The time referred to by each component of the radar signal imaging apparatus 200 is synchronized.
  • the radar signal transmission / reception unit 210 has a function of transmitting an electromagnetic wave via a transmission antenna (Tx) and receiving a reflected wave via a reception antenna (Rx).
  • the radar signal transmission / reception unit 210 has a function of inputting the radar signal S (t, f, x, y) and the current time to the position estimation unit 230 in addition to the function of the radar signal transmission / reception unit 110 of the first embodiment.
  • the data acquisition unit 220 has a function of acquiring sensor data from the external sensor 14.
  • the data acquisition unit 220 acquires sensor data from the external sensor 14 and inputs the current time and the acquired sensor data to the sway degree estimation unit 240.
  • the position estimation unit 230 has a function of estimating the position of the object A based on the radar signal.
  • the position estimation unit 230 receives the current time and the radar signal from the radar signal transmission / reception unit 210, and estimates the position information TP (t) of the object A based on the radar signal.
  • the position estimation unit 230 inputs the estimated position information TP (t) of the object A and the current time input from the radar signal transmission / reception unit 210 to the synthetic aperture processing unit 250.
  • the position estimation unit 230 calculates the spectrum intensity B (t, v) for each voxel based on the radar signal S (t, f, x, y) as shown in the following equation (7).
  • the position of the voxel having a strong intensity in the calculated B (t, v) is regarded as the position of the object. That is, the position information TP (t) of the object A of the present embodiment indicates the position of the voxel having strong strength.
  • the sway degree estimation unit 240 has a function of estimating the sway degree of the object A based on the center data obtained by the external sensor 14.
  • the sway degree estimation unit 240 has the same function as the function of the sway degree estimation unit 140 of the first embodiment.
  • the synthetic aperture processing unit 250 has a function of performing synthetic aperture processing based on the estimated position of the object A and the estimated degree of sway of the object A.
  • the synthetic aperture processing unit 250 has the same function as that of the synthetic aperture processing unit 150 of the first embodiment.
  • the image display unit 260 has a function of displaying an image of the object A on the display based on the data generated by the synthetic aperture process.
  • the image display unit 260 has the same function as the function of the image display unit 160 of the first embodiment.
  • FIG. 14 is a flowchart showing the overall operation of the image display processing by the radar signal imaging apparatus 200 of the second embodiment.
  • the image is displayed from the process in which the reception antenna receives the reflected wave from the object after the transmission antenna transmits the electromagnetic wave including the generated signal and the process in which the external sensor 14 acquires the sensor data. It corresponds to the processing until it is displayed on.
  • the timing at which the image display process shown in FIG. 14 is started is not particularly limited.
  • the image display process may be started from the time when the external sensor 14 detects the object, and the image display process may be started again after the image is displayed on the display.
  • the radar signal transmission / reception unit 210 transmits an electromagnetic wave via Tx.
  • the radar signal transmitting / receiving unit 210 receives the reflected signal via Rx.
  • the radar signal transmitting / receiving unit 210 processes the received signal into an IF signal (radar signal), and inputs the IF signal and the current time to the position estimating unit 230 and the synthetic aperture processing unit 250 (step S201).
  • the IF signal generated by the radar signal transmitting / receiving unit 210 is S (t, f, x, y) in Equation (5).
  • the position estimation unit 230 estimates the position information TP (t) of the object based on the input radar signal (step S202). Next, the position estimation unit 230 inputs the estimated position information TP (t) and the current time input from the radar signal transmission / reception unit 210 to the synthetic aperture processing unit 250.
  • the data acquisition unit 220 acquires sensor data from the external sensor 14 (step S203). Next, the data acquisition unit 220 inputs the acquired sensor data and the current time to the sway degree estimation unit 240.
  • the sway degree estimation unit 240 estimates the sway degree VP (t) t of the object based on the input sensor data (step S204).
  • the sway degree estimation unit 240 inputs the estimated sway degree VP (t) and the current time input from the data acquisition unit 220 to the synthetic aperture processing unit 250.
  • steps S205 to S207 are the same as the processes in steps S105 to S107 shown in FIG.
  • the position estimation unit 230 of the radar signal imaging apparatus 200 of the present embodiment uses a radar signal for position estimation of an object in the inverse synthetic aperture technique. That is, when acquiring the inverse synthetic aperture image, the radar signal imaging apparatus 200 can execute the position estimation and the swaying degree estimation of the object independently, so that it is faster than the radar signal imaging apparatus 100 of the first embodiment. Image information can be acquired.
  • FIG. 15 is a block diagram showing a configuration example of the third embodiment of the radar signal imaging apparatus according to the present invention.
  • a radar signal imaging apparatus 300 shown in FIG. 15 is an apparatus used in the radar signal imaging system 10 shown in FIG.
  • the 15 includes a radar signal transmission / reception unit 310, a position estimation unit 330, a sway degree estimation unit 340, a synthetic aperture processing unit 350, and an image display unit 360.
  • the time referred to by each component of the radar signal imaging apparatus 300 is synchronized.
  • the radar signal transmission / reception unit 310 has a function of transmitting an electromagnetic wave via a transmission antenna (Tx) and receiving a reflected wave via a reception antenna (Rx).
  • the radar signal transmission / reception unit 310 inputs the radar signal S (t, f, x, y) and the current time to the sway degree estimation unit 340 in addition to the functions of the radar signal transmission / reception unit 210 of the second embodiment. It has a function.
  • the position estimation unit 330 has a function of estimating the position of the object A based on the radar signal.
  • the position estimation unit 330 has the same function as the function of the position estimation unit 230 of the second embodiment.
  • the sway degree estimation unit 340 has a function of estimating the sway degree of the object A based on the radar signal.
  • the sway degree estimation unit 340 estimates the sway degree of the object A based on the radar signal input from the radar signal transmission / reception unit 310.
  • the sway degree estimation unit 340 inputs the sway degree with time indicating the estimated sway degree to the synthetic aperture processing unit 350.
  • the time given to the input swaying degree is the same time as the current time input from the radar signal transmitting / receiving unit 310.
  • information associated with the current time input from the radar signal transmission / reception unit 310 may be attached to the degree of sway instead of the time.
  • Non-Patent Document 4 describes a method for estimating the degree of sway of an object based on, for example, a radar signal. The method described in Non-Patent Document 4 calculates a change in Doppler frequency over time based on radar signals arranged in time series.
  • the sway degree estimation unit 340 of the present embodiment treats the Doppler frequencies arranged in time series as the sway degree VP (t) of the object A. That is, the sway degree estimation unit 340 uses the Doppler frequencies arranged in time series as a selection criterion for a radar signal used in the synthetic aperture processing. Note that the radar signal selection method by the synthetic aperture processing unit 350 of the present embodiment is the same as the method in the first embodiment.
  • the synthetic aperture processing unit 350 has a function of performing synthetic aperture processing based on the estimated position of the object A and the estimated sway of the object A.
  • the synthetic aperture processing unit 350 has the same function as that of the synthetic aperture processing unit 250 of the second embodiment.
  • the image display unit 360 has a function of displaying an image of the object A on the display based on the data generated by the synthetic aperture process.
  • the image display unit 360 has the same function as the function of the image display unit 260 of the second embodiment.
  • FIG. 16 is a flowchart showing an overall operation of image display processing by the radar signal imaging apparatus 300 of the third embodiment.
  • the image is displayed from the process in which the reception antenna receives the reflected wave from the object after the transmission antenna transmits the electromagnetic wave including the generation signal and the process in which the external sensor 14 acquires the sensor data. It corresponds to the processing until it is displayed on.
  • the timing at which the image display process shown in FIG. 16 is started is not particularly limited.
  • the image display process may be started from the time when the external sensor 14 detects the object, and the image display process may be started again after the image is displayed on the display.
  • the radar signal transmission / reception unit 310 transmits an electromagnetic wave via Tx.
  • the radar signal transmission / reception unit 310 receives the reflected signal via Rx.
  • the radar signal transmitting / receiving unit 310 processes the received signal into an IF signal (radar signal), and inputs the IF signal and the current time to the position estimating unit 330, the sway degree estimating unit 340, and the synthetic aperture processing unit 350 ( Step S301).
  • the IF signal generated by the radar signal transmitting / receiving unit 310 is S (t, f, x, y) in Equation (5).
  • the position estimation unit 330 estimates position information TP (t) of the object based on the input radar signal (step S302). Next, the position estimation unit 330 inputs the estimated position information TP (t) and the current time input from the radar signal transmission / reception unit 310 to the synthetic aperture processing unit 350.
  • the sway estimation unit 340 estimates the sway VP (t) of the object based on the input radar signal (step S303).
  • the sway degree estimation unit 340 estimates VP (t) t by a method described in Non-Patent Document 4, for example.
  • the sway degree estimation unit 340 inputs the estimated sway degree VP (t) and the current time input from the radar signal transmission / reception unit 310 to the synthetic aperture processing unit 350.
  • steps S304 to S306 are the same as the processes in steps S105 to S107 shown in FIG.
  • the sway estimation unit 340 of the radar signal imaging apparatus 300 uses a radar signal to estimate the sway of an object in the inverse synthetic aperture technique. That is, even in a situation where the external sensor 14 is not provided, the radar signal imaging apparatus 300 can acquire a reverse synthetic aperture image.
  • FIG. 17 is an explanatory diagram showing a hardware configuration example of a radar signal imaging apparatus according to the present invention.
  • the radar signal imaging apparatus shown in FIG. 17 includes a CPU (Central Processing Unit) 21, a main storage unit 22, a communication unit 23, and an auxiliary storage unit 24. Moreover, you may provide the input part 25 for a user's operation, and the output part 26 for showing progress of a process result or a process content to a user.
  • a CPU Central Processing Unit
  • main storage unit 22 main storage unit 22
  • communication unit 23 main storage unit 23
  • auxiliary storage unit 24 Moreover, you may provide the input part 25 for a user's operation, and the output part 26 for showing progress of a process result or a process content to a user.
  • the radar signal imaging apparatus shown in FIG. 17 may include a DSP (Digital Signal Processor) instead of the CPU 21.
  • the radar signal imaging apparatus shown in FIG. 17 may include both the CPU 21 and the DSP.
  • the main storage unit 22 is used as a data work area and a temporary data save area.
  • the main storage unit 22 is, for example, a RAM (Random Access Memory).
  • the communication unit 23 has a function of inputting and outputting data to and from peripheral devices via a wired network or a wireless network (information communication network).
  • the auxiliary storage unit 24 is a tangible storage medium that is not temporary.
  • the non-temporary tangible storage medium include a magnetic disk, a magneto-optical disk, a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a semiconductor memory.
  • the input unit 25 has a function of inputting data and processing instructions.
  • the input unit 25 is an input device such as a keyboard or a mouse.
  • the output unit 26 has a function of outputting data.
  • the output unit 26 is a display device such as a liquid crystal display device or a printing device such as a printer.
  • each component is connected to a system bus 27.
  • the auxiliary storage unit 24 includes, for example, a radar signal transmission / reception unit 110, a radar signal transmission / reception unit 210, a radar signal transmission / reception unit 310, a data acquisition unit 120, a data acquisition unit 220, a position estimation unit 130, a position estimation unit 230, and a position estimation unit 330.
  • a program for realizing the unit 360 is stored.
  • the main storage unit 22 is used as a storage area for the synthetic aperture processing unit 150, the synthetic aperture processing unit 250, and the synthetic aperture processing unit 350, for example. Further, the data acquisition unit 120, the data acquisition unit 220, the image display unit 160, the image display unit 260, and the image display unit 360 may execute communication processing via the communication unit 23.
  • Each radar signal imaging device may be realized by hardware.
  • the radar signal imaging apparatus 100 may be mounted with a circuit including hardware components such as an LSI (Large Scale Integration) in which a program for realizing a function as shown in FIG.
  • LSI Large Scale Integration
  • each radar signal imaging apparatus may be realized by software by causing the CPU 21 shown in FIG. 17 to execute a program that provides a function of each component.
  • the CPU 21 loads the program stored in the auxiliary storage unit 24 to the main storage unit 22 and executes it, thereby controlling the operation of the radar signal imaging apparatus, so that each function is performed by software. Realized.
  • each component may be realized by a general-purpose circuit (circuitry IV), a dedicated circuit, a processor, or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. Part or all of each component may be realized by a combination of the above-described circuit and the like and a program.
  • the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • FIG. 18 is a block diagram showing an outline of a radar signal imaging apparatus according to the present invention.
  • a radar signal imaging apparatus 30 according to the present invention includes a transmission unit 31 (for example, a radar signal transmission / reception unit 110) that transmits a radar signal toward an imaging target that is a non-rigid body, and a position that estimates the position of the target.
  • Estimator 32 for example, position estimator 130
  • sway degree estimator 33 for example, sway degree estimator
  • Unit 140 and a synthetic aperture processing unit 34 (for example, a synthetic aperture processing unit) that performs a synthetic aperture process on the radar signal reflected from the target object based on the estimated position of the target object and the estimated degree of motion.
  • a synthetic aperture processing unit 34 for example, a synthetic aperture processing unit
  • the radar signal imaging apparatus can clearly image a non-rigid object using a reverse synthetic aperture technique.
  • the synthetic aperture processing unit 34 may perform synthetic aperture processing on a radar signal corresponding to a period in which the estimated swaying degree is smaller than the first predetermined value among the radar signals reflected from the object. .
  • the synthetic aperture processing unit 34 performs synthetic aperture processing on a radar signal corresponding to a period in which the estimated change amount of the swaying degree is smaller than the second predetermined value among the radar signals reflected from the object. May be.
  • the radar signal imaging apparatus can image a non-rigid object more clearly.
  • the sway degree estimation unit 33 may estimate the sway degree based on the radar signal reflected from the object. Further, the sway degree estimation unit 33 may estimate the Doppler frequencies arranged in time series as the sway degree.
  • the radar signal imaging apparatus can estimate the sway degree based only on the reflected wave from the object.
  • the radar signal imaging apparatus 30 includes an acquisition unit that acquires sensor data that is data obtained by an external sensor measuring a predetermined physical quantity of an object, and the sway degree estimation unit 33 includes the acquired sensor The degree of sway may be estimated based on the data.
  • the radar signal imaging apparatus can estimate the degree of motion of the target more accurately.
  • the sensor data is image data
  • the sway estimation unit 33 may estimate the sway by performing image processing on the acquired image data.
  • the radar signal imaging apparatus can estimate the degree of sway of an object based on the position coordinates of feature points and the number of pixels of image data.
  • the position estimation unit 32 may estimate the position of the object based on the radar signal reflected from the object.
  • the radar signal imaging apparatus can estimate the position of the object based only on the reflected wave from the object.
  • the position estimation unit 32 may estimate the position of the object based on the acquired sensor data.
  • the radar signal imaging apparatus can estimate the position of the object more accurately.
  • the radar signal imaging device 30 may include a display unit (for example, the image display unit 160) that displays the image information generated by the synthetic aperture processing on a display unit (for example, a display) in a predetermined format.
  • a display unit for example, the image display unit 160
  • the radar signal imaging apparatus can display a three-dimensional image of an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

レーダ信号画像化装置３０は、非剛体である画像化の対象物に向けてレーダ信号を送信する送信部３１と、対象物の位置を推定する位置推定部３２と、対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定する動揺度推定部３３と、推定された対象物の位置と推定された動揺度とに基づいて対象物から反射されたレーダ信号に対して合成開口処理を行う合成開口処理部３４とを備える。

Description

レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム
　本発明は、レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラムに関し、特に逆合成開口技術でより鮮明な画像を生成できるレーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラムに関する。
　アンテナから照射された電磁波は、任意の対象物で反射される。アンテナが受信した反射波の信号を基に、対象物は画像化される。レーダを用いて反射波の信号を基に対象物を画像化する技術として、合成開口技術がある。
　合成開口レーダ(Synthetic Aperture Radar:SAR)が使用される合成開口技術は、アンテナの移動を利用して観測地点を増やすことによって、アンテナを増やさずに開口長を大きくしている。
　また、アンテナ自体を動かさずに対象物の動きを利用して開口長を大きくする技術が、逆合成開口技術(Inverse SAR:ISAR)である。ISARにおける対象物の移動は、SAR におけるアンテナの移動と等価である。
　以下、逆合成開口技術が利用されたレーダ信号画像化システムに着目する。非特許文献１には、逆合成開口技術が利用されたシステムが記載されている。図１９は、逆合成開口技術が利用されたシステムの例を示す説明図である。
　図１９に示すように、非特許文献１に記載されているシステムでは、地面に対して垂直にアンテナが並べられる。また、アンテナが並べられたパネルの上に、Time of Flight(ToF) カメラが配置される。
　非特許文献１に記載されているシステムは、歩行者の移動を利用したISARによるレーダ信号画像化を実行することによって、安価な装置のみを用いて鮮明な画像を取得することを試みている。
　画像を取得する際、非特許文献１に記載されているシステムは、ToF カメラを利用して対象物を追跡する。すなわち、非特許文献１に記載されているシステムは、逆合成開口技術で求められる対象物の位置をToF カメラを用いて推定する。
　逆合成開口技術が利用されるためには、次の２つの条件が満たされることが求められる。１つ目の条件は、信号の反射源である対象物の位置が把握されていることである。２つ目の条件は、対象物が剛体であることである。
　図２０は、時間経過に伴う剛体の変化の例を示す説明図である。対象物が複数の反射点で構成された物体であると考えると、剛体を構成する反射点の相対位置は、図２０に示すように、時間が経過しても変化しない。
　図２１は、時間経過に伴う人の変化の例を示す説明図である。図２１に示すように、人は、例えば歩行する際に手や足を動かす。すなわち、対象物が人である場合、人を構成する反射点の相対位置は、時間の経過に伴って変化する。
　また、特許文献１には、送信電波と反射電波からなる受信電波とに基づいて遠方の目標を観測して、目標の形状、反射強度分布、種類等を特定する画像レーダ装置が記載されている。
　また、非特許文献２には、反射点を検出する方法であるScale-Invariant Feature Transform(SIFT) が記載されている。また、非特許文献３にも、反射点を検出する方法であるHistograms of Oriented Gradients(HOG) が記載されている。
　また、非特許文献４には、レーダ信号に基づいて後述する対象物の動揺度を推定する方法が記載されている。
特開２００７－２６３９４８号公報
A. Zhuravlev, V. Razevig, and S. Ivashov, "ISAR for concealed objects imaging," in Proceedings of SPIE, Mar, 2015. D. G. Lowe, "Object recognition from local scale invariant features," Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999. N. Dalal, and B. Triggs, "Histograms of oriented gradients for human detection," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 886-893, 2005. V. C. Chen, "Micro-Doppler effect in radar: phenomenon, model, and simulation study," IEEE Transactions on Aerospace and Electronic Systems, pp. 2-21, 2006.
　非特許文献１に記載されているシステムでは、合成開口処理の対象期間において対象物が平行移動のみを行い、かつ対象物を構成する反射点の相対位置が変わらない（すなわち、対象物が剛体である）ことが想定されている。
　よって、合成開口処理の対象期間中に対象物を構成する反射点の相対位置が変わる場合、非特許文献１に記載されているシステムによる合成開口処理で生成される画像は劣化する。
　その理由は、非特許文献１に記載されているシステムが対象物を構成する反射点の相対位置の変化を観測しないため、反射点の相対位置の変化が大きい期間も含めて合成開口処理の対象期間全てに渡って合成開口処理が実行されるからである。
　また、特許文献１に記載されている画像レーダ装置においても、対象物が剛体であることが想定されている。よって、対象物が構成する反射点の相対位置が変わるような非剛体であっても、ISARで鮮明に画像化できる技術が求められている。
［発明の目的］
　そこで、本発明は、上述した課題を解決する、非剛体である対象物を逆合成開口技術で鮮明に画像化できるレーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラムを提供することを目的とする。
　本発明によるレーダ信号画像化装置は、非剛体である画像化の対象物に向けてレーダ信号を送信する送信部と、対象物の位置を推定する位置推定部と、対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定する動揺度推定部と、推定された対象物の位置と推定された動揺度とに基づいて対象物から反射されたレーダ信号に対して合成開口処理を行う合成開口処理部とを備えることを特徴とする。
　本発明によるレーダ信号画像化方法は、非剛体である画像化の対象物に向けてレーダ信号を送信し、対象物の位置を推定し、対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定し、推定された対象物の位置と推定された動揺度とに基づいて対象物から反射されたレーダ信号に対して合成開口処理を行うことを特徴とする。
　本発明によるレーダ信号画像化プログラムは、コンピュータに、非剛体である画像化の対象物に向けてレーダ信号を送信する送信処理、対象物の位置を推定する位置推定処理、対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定する動揺度推定処理、および推定された対象物の位置と推定された動揺度とに基づいた対象物から反射されたレーダ信号に対する合成開口処理を実行させることを特徴とする。
　本発明によれば、非剛体である対象物を逆合成開口技術で鮮明に画像化できる。
本発明によるレーダ信号画像化システムの例を示す説明図である。 本発明によるレーダ信号画像化装置の第１の実施形態の構成例を示すブロック図である。 時間経過に伴うFMCWの周波数変化の例を示す説明図である。 対象物の特徴点および基準点の例を示す説明図である。 対象物の移動の例を示す説明図である。 外部センサ１４が撮影した対象物のピクセル画像の例を示す説明図である。 対象物の動揺度の時間変化の例を示す説明図である。 対象物の動揺度の時間変化の他の例を示す説明図である。 時系列に並べられたセンサデータとレーダ信号の例を示す説明図である。 対象物の動揺度の時間変化の他の例を示す説明図である。 ボクセルで表記された対象物の画像情報の例を示す説明図である。 第１の実施形態のレーダ信号画像化装置１００による画像表示処理の全体動作を示すフローチャートである。 本発明によるレーダ信号画像化装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態のレーダ信号画像化装置２００による画像表示処理の全体動作を示すフローチャートである。 本発明によるレーダ信号画像化装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態のレーダ信号画像化装置３００による画像表示処理の全体動作を示すフローチャートである。 本発明によるレーダ信号画像化装置のハードウェア構成例を示す説明図である。 本発明によるレーダ信号画像化装置の概要を示すブロック図である。 逆合成開口技術が利用されたシステムの例を示す説明図である。 時間経過に伴う剛体の変化の例を示す説明図である。 時間経過に伴う人の変化の例を示す説明図である。
　以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明によるレーダ信号画像化システムの例を示す説明図である。図１に示すレーダ信号画像化システム１０は、上述した問題である画像劣化を抑制することを目的とする。
　図１に示すレーダ信号画像化システム１０では、アンテナから照射された電磁波を対象物Ａが反射する。アンテナは、反射信号を受信する。受信された反射信号を基に、対象物Ａが画像化される。
　図１に示す例において、対象物Ａは、全長が距離Ｌであるエリア１３の上を歩行して、サイドパネル１１とサイドパネル１２の間を通過する。サイドパネル１１およびサイドパネル１２には、エリア１３の上を歩行する対象物Ａに電磁波が照射されるように、複数のアンテナが設置されている。
　サイドパネルに設置される複数のアンテナは、送信アンテナと受信アンテナとで構成されている。また、サイドパネルに設置される複数のアンテナは、送受信可能なアンテナで構成されていてもよい。
　なお、サイドパネルに設置されるアンテナの数、アンテナの位置、およびアンテナの向きは、いずれも特に限定されない。また、アンテナが設置されるサイドパネルは、サイドパネル１１とサイドパネル１２のうちのいずれか１つでもよい。
　また、サイドパネルの設置角度は、特に限定されない。以下、サイドパネル１２にアンテナが設置されている場合に関して説明する。
　図１に示す外部センサ１４は、対象物Ａを側面からセンシングしている。外部センサ１４の役割は、対象物Ａの動揺度を計測すること、さらに対象物Ａの位置を推定することである。なお、設置される外部センサ１４の数、および外部センサ１４の設置位置は、特に限定されない。
　外部センサ１４として、例えば光学センサ、ステレオカメラ、ToF カメラが使用される。以下、外部センサ１４がカメラである場合に関して説明する。
　また、レーダ信号を基に対象物Ａの位置が推定される実施形態は、第２の実施形態で説明する。また、外部センサ１４が使用されずレーダ信号を基に対象物Ａの位置および動揺度が推定される実施形態は、第３の実施形態で説明する。なお、各実施形態の空間座標は、３次元ユークリッド空間における座標であるとする。
［第１の実施形態］
　最初に、本発明によるレーダ信号画像化システムの第１の実施形態を説明する。本実施形態では、逆合成開口技術で求められる対象物Ａの位置が、外部センサ１４が取得したセンサデータを基に推定される。また、対象物Ａの動揺度も、外部センサ１４が取得したセンサデータを基に推定される。
［構成の説明］
　図２は、本発明によるレーダ信号画像化装置の第１の実施形態の構成例を示すブロック図である。図２に示すレーダ信号画像化装置１００は、図１に示すレーダ信号画像化システム１０内で使用される装置である。
　具体的には、レーダ信号画像化装置１００は、図１に示すアンテナや外部センサ１４から得られる計測データに基づいて対象物Ａを画像化する装置である。
　図２に示すレーダ信号画像化装置１００は、レーダ信号送受信部１１０と、データ取得部１２０と、位置推定部１３０と、動揺度推定部１４０と、合成開口処理部１５０と、画像表示部１６０とを備える。なお、レーダ信号画像化装置１００の各構成要素が参照する時刻の同期はとられている。
　レーダ信号送受信部１１０は、送信アンテナ(Tx)を介して電磁波を送信し、受信アンテナ(Rx)を介して反射波を受信する機能を有する。図２に示すTxおよびRxが、図１に示すアンテナに相当する。以下、図２に示すTxとRxとを併せて、レーダモジュールとも呼ぶ。
　レーダ信号送受信部１１０は、Txを介して電磁波を送信し、Rxを介して反射信号を受信する。また、レーダ信号送受信部１１０は、受信信号から抽出されたレーダ信号と現在時刻とを合成開口処理部１５０に入力する。
　Txから送信される電磁波は、例えばパルス、連続波(Continuous Wave(CW)) 、周波数変調連続波(Frequency Modulation CW(FMCW)やStepped Frequency CW) である。以下、FMCWがTxから送信される場合を考える。
　FMCWが使用されると、レーダから反射体までの距離が得られる。レーダから反射体までの距離が得られると、反射体のより鮮明な画像が生成可能になる。
　図３は、時間経過に伴うFMCWの周波数変化の例を示す説明図である。図３に示すように、時間スロットf における周波数は、F(f)である。また、図３に示す時間スロットは、レーダモジュール（TxおよびRx）におけるサンプル時間の最小単位である。
　図３に示すように、周波数は、時間スロット1 ～時間スロットNfに渡って線形に増加する。また、時間スロット1 ～時間スロットNfは、対象物Ａが動いている時間に対して十分小さい時間である。すなわち、時間スロット1 ～時間スロットNfの間、対象物Ａは動いていないとみなされる。
　レーダ信号送受信部１１０は、Rxを介して受信した反射信号を、Txから送信される送信信号とミキシングした上でダウンコンバートする。レーダ信号送受信部１１０は、ダウンコンバートにより生成されたIntermediate Frequency(IF)信号をレーダ信号として扱う。
　以下、時刻t 、時間スロットf の時の周波数、送信アンテナx 、および受信アンテナy に関するIF信号をS(t,f,x,y)とする。レーダ信号送受信部１１０は、生成されたIF信号を合成開口処理部１５０に入力する。
　データ取得部１２０は、外部センサ１４からセンサデータを取得する機能を有する。データ取得部１２０は、外部センサ１４からセンサデータを取得し、位置推定部１３０と動揺度推定部１４０に現在時刻が付された時刻付きセンサデータを入力する。本実施形態において外部センサ１４はカメラであるため、データ取得部１２０が取得するセンサデータは、画像データである。
　位置推定部１３０は、外部センサ１４で得られたセンサデータに基づいて対象物Ａの位置を推定する機能を有する。位置推定部１３０は、データ取得部１２０から入力された時刻付きセンサデータに基づいて対象物Ａの位置を推定する。
　次いで、位置推定部１３０は、推定された位置を示す時刻付き位置情報を合成開口処理部１５０に入力する。入力される位置情報に付される時刻は、データ取得部１２０から入力された現在時刻と同一の時刻である。または、データ取得部１２０から入力された現在時刻と関連付けられている情報が、時刻の代わりに位置情報に付されてもよい。
　外部センサ１４としてステレオカメラや複数のカメラが使用される場合、位置推定部１３０は、三角測量で対象物Ａの位置を算出できる。
　また、ToF カメラは、対象物Ａまでの距離を算出できる。よって、外部センサ１４として複数のToF カメラが使用される場合、位置推定部１３０は、三辺測量で対象物Ａの位置を算出できる。
　対象物の位置を推定する際、位置推定部１３０は、対象物毎に少なくとも任意の一点の位置を算出すればよい。位置が算出される一点は、例えば対象物の重心、または対象物の特徴的な箇所（マーキングポイント）である。
　具体的には、時間の経過に伴う位置の推移から対象物が移動した位置が算出可能な箇所が、マーキングポイントとして使用される。以下、算出された時刻t における対象物Ａの位置情報をTP(t) とする。
　なお、本実施形態では外部センサ１４の数、外部センサ１４の種類、および対象物Ａの位置の推定方法は、いずれも特に限定されない。
　動揺度推定部１４０は、外部センサ１４で得られたセンサデータに基づいて対象物Ａの動揺度を推定する機能を有する。動揺度推定部１４０は、データ取得部１２０から入力された時刻付きセンサデータに基づいて対象物Ａの動揺度を推定する。
　次いで、動揺度推定部１４０は、推定された動揺度を示す時刻付き動揺度を合成開口処理部１５０に入力する。入力される動揺度に付される時刻は、データ取得部１２０から入力された現在時刻と同一の時刻である。または、データ取得部１２０から入力された現在時刻と関連付けられている情報が、時刻の代わりに動揺度に付されてもよい。
　本実施形態における対象物の動揺度は、対象物を構成する反射点（特徴点）の相対位置が時間の経過に伴い変化した程度を表す値である。
　以下、動揺度の推定方法として画像処理により推定する２つの方法をそれぞれ説明する。１つ目の方法は、対象物の特徴点を抽出し、抽出された特徴点の座標を利用する方法である。
　なお、対象物の特徴点を検出する方法として、非特許文献２に記載されているSIFTや、非特許文献３に記載されているHOG 等がある。
　図４は、対象物の特徴点および基準点の例を示す説明図である。基準点は、特徴点の相対位置の基準になる点である。基準点は、対象物内の箇所であればどこでもよい。例えば、時刻1 （合成開口処理の開始時）における対象物の重心の位置が、基準点として使用される。
　図４に示すように対象物が特徴点の集合であると考えると、動揺度は、対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いであると考えられる。
　例えば、側面から歩行者が観測される場合、歩行者の胴体部分は、進行方向にほぼ平行に移動する。しかし、歩行者の手や足は、複雑に動く。すなわち、胴体部分の特徴点に対する手や足等の特徴点の相対位置は、歩行中に大きく変化する。なお、歩行者が歩行中に体を捻ったりすると、胴体部分の特徴点の相対位置も歩行中に大きく変化する。
　時刻t における対象物のi 番目の特徴点の位置(xi(t), yi(t), zi(t)) と、基準点stからの相対位置ベクトルrpi(t)との関係は、下記の式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　また、対象物の各特徴点の相対位置ベクトルが横に並べられた行列RP(t) は、下記の式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　また、時刻t における対象物の動揺度VP(t) は、下記の式（３）で算出される。
Figure JPOXMLDOC01-appb-M000003
　なお、式（３）におけるnormは、入力された行列のフロベニウスノルムを算出する関数である。
　動揺度を推定する２つ目の方法は、カメラで撮影された画像の中で対象物が占めるピクセル数を基に推定する方法である。図５は、対象物の移動の例を示す説明図である。
　図５に示す対象物Ａは、矢印の方向に移動している。また、外部センサ１４は、対象物Ａを側面からセンシングしている。外部センサ１４は、対象物Ａの動揺度を推定するために配置されている。
　図５に示す対象物Ａの位置は、時刻t=2 における対象物Ａの位置である。また、図５に示す残像Ｂの位置は、時刻t=0 における対象物Ａの位置である。また、図５に示す残像Ｃの位置は、時刻t=1 における対象物Ａの位置である。
　図６は、外部センサ１４が撮影した対象物のピクセル画像の例を示す説明図である。図６は、外部センサ１４がt=0 、t=1 、t=2 で対象物Ａをそれぞれ撮影した時のピクセル画像を示す。
　動揺度推定部１４０は、対象物Ａを形成するピクセルの数を基に、時刻t における対象物Ａの動揺度VP(t) を算出できる。例えば、対象物Ａが占めるピクセル数がt=0 で100 、t=1 で105 、t=2 で90であれば、動揺度推定部１４０は、t=0 からt=1 の間の動揺度VP(1) を5 、t=1 からt=2 の間の動揺度VP(2) を15とそれぞれ算出できる。
　ただし、外部センサ１４と対象物Ａとの距離に応じて、対象物Ａのスケールは変化する。センシング中に対象物Ａのスケールが変化する場合、画像中の対象物Ａのスケールを正規化する、または対象物Ａと外部センサ１４との距離が常に一定になるように複数の外部センサを設置する等の工夫が求められる。
　なお、上記の２つの動揺度VP(t) は、１つ前の時間スロットを基準とした場合のピクセル数の差分値である。しかし、基準とされる時間スロットは１つ前の時間スロットでなくてもよい。例えば、合成開口処理が開始された時の時間スロットが基準とされてもよい。
　なお、本実施形態では２次元画像を用いて動揺度を算出する例を説明したが、動揺度推定部１４０は、ToF カメラやステレオカメラで観測される奥行情報を含む立体形状を基に動揺度を算出してもよい。また、外部センサ１４の数や外部センサ１４の設置される位置は、特に限定されない。
　合成開口処理部１５０は、推定された対象物Ａの位置、および推定された対象物Ａの動揺度に基づいて合成開口処理を行う機能を有する。
　本実施形態の合成開口処理部１５０は、以下の３つの機能を有する。１つ目の機能として、合成開口処理部１５０は、レーダ信号送受信部１１０から入力される時刻付きレーダ信号と、位置推定部１３０から入力される対象物Ａの時刻付き位置情報と、動揺度推定部１４０から入力される対象物Ａの時刻付き動揺度とを蓄積する。
　また、合成開口処理部１５０は、レーダ信号送受信部１１０から入力される時刻付きレーダ信号と、位置推定部１３０から入力される対象物Ａの時刻付き位置情報と、動揺度推定部１４０から入力される対象物Ａの時刻付き動揺度とに基づいて、合成開口処理に利用するIF信号を選択する。２つ目の機能として、合成開口処理部１５０は、選択されたIF信号に対して合成開口処理を実行し、画像情報を算出する。
　３つ目の機能として、合成開口処理部１５０は、算出された画像情報を画像表示部１６０に入力する。
　以下、２つ目の機能を具体的に説明する。なお、動揺度の許容値H が事前に設定された場合の合成開口処理を説明する。また、ユーザは、最大合成開口長D 、および最大合成開口期間T を事前に決定する。なお、ユーザは、最大合成開口長D と最大合成開口期間T のいずれかのみを決定してもよい。
　本実施形態の合成開口処理は、合成開口長、合成開口期間、対象物動揺度のいずれかが特定の条件を満たした場合に開始される。以下、合成開口処理が開始される条件と、合成開口処理に利用されるレーダ信号の選択方法を説明する。
　１．合成開口長が最大合成開口長D より大きくなれば、合成開口処理部１５０は、合成開口長が最大合成開口長D より大きくなるまでにレーダ信号送受信部１１０から入力されたレーダ信号に対して合成開口処理を行う。
　本実施形態の合成開口長は、合成開口処理が開始された時点の対象物Ａの位置と、位置推定部１３０から入力された対象物Ａの位置との差分である距離に等しい。すなわち、差分である距離は、合成開口処理が開始された時点から現在時刻までの対象物Ａの移動距離である。差分である距離は、下記の式（４）で算出される。
Figure JPOXMLDOC01-appb-M000004
　２．合成開口期間が最大合成開口期間T より長くなれば、合成開口処理部１５０は、合成開口期間が最大合成開口期間T より長くなるまでにレーダ信号送受信部１１０から入力されたレーダ信号に対して合成開口処理を行う。
　本実施形態の合成開口期間は、合成開口処理部１５０が合成開口処理が開始された後に初めてレーダ信号送受信部１１０から入力される時刻と、レーダ信号送受信部１１０、位置推定部１３０、または動揺度推定部１４０から入力される時刻との差分である時間に等しい。すなわち、差分である時間は、合成開口処理が開始された時点から現在時刻までの経過時間である。
　３．合成開口処理部１５０は、動揺度に基づいて合成開口処理に使用するデータを選択してもよい。図７は、対象物の動揺度の時間変化の例を示す説明図である。
　図７に示すように、レーダ信号送受信部１１０から入力されたレーダ信号のうち、対象物の動揺度VP(t) が許容値H より小さい期間のレーダ信号に対して、合成開口処理部１５０は、合成開口処理を行う。
　図８は、対象物の動揺度の時間変化の他の例を示す説明図である。対象物の動揺度VP(t) に基づいてレーダ信号を選択する他の方法として、合成開口処理部１５０は、図８に示すように動揺度の変動が小さく安定している期間のレーダ信号を選択してもよい。
　なお、レーダ信号送受信部１１０でレーダ信号に付与された時刻と、データ取得部１２０でセンサデータに付与された時刻は、同じ時刻であるとは限らない。図９は、時系列に並べられたセンサデータとレーダ信号の例を示す説明図である。
　図９は、レーダ信号に付与された時刻とセンサデータに付与された時刻を示す。例えば、時刻t7において合成開口長、合成開口期間、対象物動揺度のいずれかが特定の条件を満たした場合、合成開口処理部１５０は、時刻t1、時刻t3、時刻t5、時刻t6における各レーダ信号だけを選択して合成開口処理を行う。または、合成開口処理部１５０は、時刻t1、時刻t3における各レーダ信号だけを選択して合成開口処理を行う。
　また、時刻t4において合成開口長、合成開口期間、対象物動揺度のいずれかが特定の条件を満たした場合、合成開口処理部１５０は、時刻t1、時刻t3における各レーダ信号だけを選択して合成開口処理を行う。または、合成開口処理部１５０は、時刻t1におけるレーダ信号だけを選択して合成開口処理を行う。
　また、合成開口処理部１５０は、合成開口長、または合成開口期間のいずれかが特定の条件を満たした時点までの期間のレーダ信号から、動揺度に基づいて利用するレーダ信号を選択してもよい。
　図１０は、対象物の動揺度の時間変化の他の例を示す説明図である。図１０に示すように、合成開口処理部１５０は、所定の期間のレーダ信号から特定の期間のレーダ信号が除かれたレーダ信号を、利用するレーダ信号として選択してもよい。
　なお、図１０に示す例では動揺度が所定値よりも小さい期間のレーダ信号を選択しているが、図８に示す例のように、合成開口処理部１５０は、動揺度の変動量が小さい期間のレーダ信号を選択してもよい。
　以上、合成開口処理が開始されるタイミングおよび条件、合成開口処理で使用されるレーダ信号を説明した。
　以下、合成開口処理で使用されるレーダ信号が、t=0 からt=Ntの間に観測された信号である例に関して説明する。本例では、レーダモジュールがNx個の送信アンテナと、Ny個の受信アンテナとで構成されている。
　図１１は、ボクセルで表記された対象物の画像情報の例を示す説明図である。図１１に示す格子が記載された直方体は、合成開口処理部１５０が算出する対象物Ａの画像情報A(v)を示す。
　図１１に示す３次元空間の座標系は、直交座標系である。直交座標系において、３次元空間は、図１１に示す直方体（ボクセル:v）の集合であると考えられる。なお、ボクセルの大きさは、自由に変更可能である。ユーザは、計算量や画像化の対象物の大きさに応じて、ボクセルの大きさを決定する。
　直交座標系において各アンテナや対象物の各々の位置は、位置座標としてそれぞれ表される。すなわち、各アンテナや対象物は、いずれかのボクセルに位置する。
　合成開口処理部１５０は、例えば画像化方式として一般的に使用されるDigital Beam Forming(DBF) を用いて、ボクセルv に位置する対象物Ａの画像情報A(v)を以下の式（５）のように算出する。
Figure JPOXMLDOC01-appb-M000005
　すなわち、A(v)は、ボクセルv における振幅を表す。なお、式（５）におけるS(t,f,x,y)は、レーダ信号送受信部１１０から入力されるレーダ信号を表す。また、c は光速である。また、NfとF(f)は、図３に示す時間スロットと周波数である。また、Ntは、選択されたレーダ信号の時間サンプル数である。
　図９に示す例であれば、時刻t7において合成開口長、合成開口期間、対象物動揺度のいずれかが特定の条件を満たした場合、時刻t1、時刻t3、時刻t5、時刻t6における各レーダ信号が選択されるため、Nt=4になる。なお、式（５）における最初のΣの部分が、選択されたレーダ信号の総和を表す。
　また、図１０に示す例であれば、合成開口処理部１５０は、時系列に並べられたレーダ信号を連続で選択しない。除外されたレーダ信号は、合成開口処理で利用されない。
　また、式（５）におけるRv(t,x,y) は、送信アンテナx から対象物までの距離と、対象物から受信アンテナy までの距離とが足し合わされた値である。Rv(t,x,y) は、以下の式（６）のように算出される。
Figure JPOXMLDOC01-appb-M000006
　なお、式（６）におけるTx(x) 、Rx(y) は、それぞれ送信アンテナの位置、受信アンテナの位置を表す。また、g(t)は、合成開口処理の開始時点(t=1) から時刻t までの対象物Ａの平行移動を表すベクトルである。すなわち、g(t)は、位置推定部１３０から入力される位置情報TP(t) と合成開口処理の開始時点の対象物Ａの位置情報TP(1) とを基に、式（４）のように算出される。
　なお、合成開口処理部１５０は、画像化方式としてDBF の代わりにω-k等の方式を用いてもよい。
　画像表示部１６０は、合成開口処理で生成されたデータに基づいて、ディスプレイに対象物Ａの画像を表示する機能を有する。画像表示部１６０は、合成開口処理部１５０から画像情報A(v)を受け取り、ディスプレイに表示する。
　画像表示部１６０は、受け取った画像情報A(v)を指定された形式の映像に加工してディスプレイに表示する。例えば、画像表示部１６０は、画像情報A(v)を３次元画像としてそのままディスプレイに表示してもよい。また、画像表示部１６０は、３次元画像の中からいずれかの方向に対応する２次元画像を抽出し、ディスプレイに表示してもよい。
［動作の説明］
　以下、本実施形態のレーダ信号画像化装置１００の対象物の画像を表示する動作を図１２を参照して説明する。図１２は、第１の実施形態のレーダ信号画像化装置１００による画像表示処理の全体動作を示すフローチャートである。
　図１２に示す画像表示処理は、送信アンテナが生成信号を含む電磁波を送出した後に対象物からの反射波を受信アンテナが受信する処理および外部センサ１４がセンサデータを取得する処理から、画像がディスプレイに表示されるまでの処理に対応する。
　なお、図１２に示す画像表示処理が開始されるタイミングは、特に限定されない。例えば、外部センサ１４が対象物を検出した時点から画像表示処理が開始され、画像がディスプレイに表示されてから再度画像表示処理が開始される、等の運用が行われてもよい。
　最初に、レーダ信号送受信部１１０が、Txを介して電磁波を送信する。次いで、レーダ信号送受信部１１０は、Rxを介して反射信号を受信する。レーダ信号送受信部１１０は、受信された信号をIF信号（レーダ信号）に加工し、IF信号と現在時刻とを合成開口処理部１５０に入力する（ステップS101）。なお、レーダ信号送受信部１１０が生成するIF信号は、式（５）におけるS(t,f,x,y)である。
　ステップS101の処理と独立に、データ取得部１２０は、外部センサ１４からセンサデータを取得する（ステップS102）。次いで、データ取得部１２０は、取得されたセンサデータと現在時刻とを位置推定部１３０および動揺度推定部１４０に入力する。
　次いで、位置推定部１３０は、入力されたセンサデータに基づいて対象物の位置情報TP(t) を推定する（ステップS103）。次いで、位置推定部１３０は、推定された位置情報TP(t) とデータ取得部１２０から入力された現在時刻とを合成開口処理部１５０に入力する。
　また、動揺度推定部１４０は、入力されたセンサデータに基づいて対象物の動揺度VP(t) を推定する（ステップS104）。次いで、動揺度推定部１４０は、推定された動揺度VP(t) とデータ取得部１２０から入力された現在時刻とを合成開口処理部１５０に入力する。
　合成開口処理部１５０は、レーダ信号送受信部１１０から入力される現在時刻とレーダ信号S(t,f,x,y)、位置推定部１３０から入力される現在時刻と対象物の位置情報TP(t) 、および動揺度推定部１４０から入力される現在時刻と対象物の動揺度VP(t) を蓄積する。
　次いで、合成開口処理部１５０は、合成開口処理を開始するか否かを判断する（ステップS105）。合成開口処理を開始すると判断した後、合成開口処理部１５０は、合成開口処理に利用するレーダ信号を選択する。
　次いで、合成開口処理部１５０は、選択されたレーダ信号に対してDBF で合成開口処理を実行する。合成開口処理を実行することによって、合成開口処理部１５０は、画像情報A(v)を算出する（ステップS106）。次いで、合成開口処理部１５０は、算出された画像情報A(v)を画像表示部１６０に入力する。
　次いで、画像表示部１６０は、入力された画像情報A(v)をディスプレイに表示する（ステップS107）。表示した後、レーダ信号画像化装置１００は、画像表示処理を終了する。
［効果の説明］
　本実施形態のレーダ信号画像化装置１００は、対象物の動揺度を算出する動揺度推定部１４０と、算出された動揺度に応じて合成開口処理で利用するレーダ信号を選択する合成開口処理部１５０とを備える。 
　本実施形態のレーダ信号画像化装置１００は、合成開口処理における画像劣化を抑制して鮮明な画像を得ることができる。その理由は、合成開口処理部１５０が対象物の動揺が確認されない期間に得られたレーダ信号のみを用いて合成開口処理を行うからである。
　また、本実施形態のレーダ信号画像化装置１００は、逆合成開口技術における対象物の位置推定に外部センサ１４で得られたセンサデータを利用している。よって、本実施形態のレーダ信号画像化装置１００は、対象物の位置をより正確に推定できるため、鮮明な逆合成開口画像を取得できる。
［第２の実施形態］
　次に、本発明によるレーダ信号画像化システムの第２の実施形態を説明する。本実施形態では、逆合成開口技術で求められる対象物Ａの位置がレーダ信号を基に推定される。また、対象物Ａの動揺度は、外部センサ１４が取得したセンサデータを基に推定される。
［構成の説明］
　図１３は、本発明によるレーダ信号画像化装置の第２の実施形態の構成例を示すブロック図である。図１３に示すレーダ信号画像化装置２００は、図１に示すレーダ信号画像化システム１０内で使用される装置である。
　図１３に示すレーダ信号画像化装置２００は、レーダ信号送受信部２１０と、データ取得部２２０と、位置推定部２３０と、動揺度推定部２４０と、合成開口処理部２５０と、画像表示部２６０とを備える。なお、レーダ信号画像化装置２００の各構成要素が参照する時刻の同期はとられている。
　レーダ信号送受信部２１０は、送信アンテナ(Tx)を介して電磁波を送信し、受信アンテナ(Rx)を介して反射波を受信する機能を有する。レーダ信号送受信部２１０は、第１の実施形態のレーダ信号送受信部１１０が有する機能に加えて、位置推定部２３０にレーダ信号S(t,f,x,y)と現在時刻とを入力する機能を有する。
　データ取得部２２０は、外部センサ１４からセンサデータを取得する機能を有する。データ取得部２２０は、外部センサ１４からセンサデータを取得し、動揺度推定部２４０に現在時刻と取得されたセンサデータとを入力する。
　位置推定部２３０は、レーダ信号に基づいて対象物Ａの位置を推定する機能を有する。位置推定部２３０は、レーダ信号送受信部２１０から現在時刻とレーダ信号とを受け取り、レーダ信号に基づいて対象物Ａの位置情報TP(t) を推定する。
　次いで、位置推定部２３０は、推定された対象物Ａの位置情報TP(t) とレーダ信号送受信部２１０から入力された現在時刻とを合成開口処理部２５０に入力する。
　以下、レーダ信号を基に対象物の位置を推定する方法の例として、DBF が使用された位置推定方法を説明する。位置推定部２３０は、レーダ信号S(t,f,x,y)に基づいてボクセル毎のスペクトラム強度B(t,v)を、以下の式（７）のように算出する。
Figure JPOXMLDOC01-appb-M000007
　上記の方法では、算出されるB(t,v)において強い強度を有するボクセルの位置が、対象物の位置とみなされる。すなわち、本実施形態の対象物Ａの位置情報TP(t) は、強い強度を有するボクセルの位置を示す。
　動揺度推定部２４０は、外部センサ１４で得られたセンタデータに基づいて対象物Ａの動揺度を推定する機能を有する。動揺度推定部２４０は、第１の実施形態の動揺度推定部１４０が有する機能と同一の機能を有する。
　合成開口処理部２５０は、推定された対象物Ａの位置、および推定された対象物Ａの動揺度に基づいて合成開口処理を行う機能を有する。合成開口処理部２５０は、第１の実施形態の合成開口処理部１５０が有する機能と同一の機能を有する。
　画像表示部２６０は、合成開口処理で生成されたデータに基づいて、ディスプレイに対象物Ａの画像を表示する機能を有する。画像表示部２６０は、第１の実施形態の画像表示部１６０が有する機能と同一の機能を有する。
［動作の説明］
　以下、本実施形態のレーダ信号画像化装置２００の対象物の画像を表示する動作を図１４を参照して説明する。図１４は、第２の実施形態のレーダ信号画像化装置２００による画像表示処理の全体動作を示すフローチャートである。
　図１４に示す画像表示処理は、送信アンテナが生成信号を含む電磁波を送出した後に対象物からの反射波を受信アンテナが受信する処理および外部センサ１４がセンサデータを取得する処理から、画像がディスプレイに表示されるまでの処理に対応する。
　なお、図１４に示す画像表示処理が開始されるタイミングは、特に限定されない。例えば、外部センサ１４が対象物を検出した時点から画像表示処理が開始され、画像がディスプレイに表示されてから再度画像表示処理が開始される、等の運用が行われてもよい。
　最初に、レーダ信号送受信部２１０が、Txを介して電磁波を送信する。次いで、レーダ信号送受信部２１０は、Rxを介して反射信号を受信する。レーダ信号送受信部２１０は、受信された信号をIF信号（レーダ信号）に加工し、IF信号と現在時刻とを位置推定部２３０と合成開口処理部２５０とに入力する（ステップS201）。なお、レーダ信号送受信部２１０が生成するIF信号は、式（５）におけるS(t,f,x,y)である。
　次いで、位置推定部２３０は、入力されたレーダ信号に基づいて対象物の位置情報TP(t) を推定する（ステップS202）。次いで、位置推定部２３０は、推定された位置情報TP(t) とレーダ信号送受信部２１０から入力された現在時刻とを合成開口処理部２５０に入力する。
　ステップS201～ステップS202の各処理と独立に、データ取得部２２０は、外部センサ１４からセンサデータを取得する（ステップS203）。次いで、データ取得部２２０は、取得されたセンサデータと現在時刻とを動揺度推定部２４０に入力する。
　次いで、動揺度推定部２４０は、入力されたセンサデータに基づいて対象物の動揺度VP(t) を推定する（ステップS204）。次いで、動揺度推定部２４０は、推定された動揺度VP(t) とデータ取得部２２０から入力された現在時刻とを合成開口処理部２５０に入力する。
　ステップS205～ステップS207の各処理は、図１２に示すステップS105～ステップS107の各処理とそれぞれ同様である。
［効果の説明］
　本実施形態のレーダ信号画像化装置２００の位置推定部２３０は、逆合成開口技術における対象物の位置推定にレーダ信号を利用している。すなわち、逆合成開口画像を取得する際、レーダ信号画像化装置２００は、対象物の位置推定と動揺度推定を独立に実行できるため、第１の実施形態のレーダ信号画像化装置１００よりも高速に画像情報を取得できる。
［第３の実施形態］
　次に、本発明によるレーダ信号画像化システムの第３の実施形態を説明する。本実施形態では、逆合成開口技術で求められる対象物Ａの位置および動揺度がレーダ信号を基に推定される。
［構成の説明］
　図１５は、本発明によるレーダ信号画像化装置の第３の実施形態の構成例を示すブロック図である。図１５に示すレーダ信号画像化装置３００は、図１に示すレーダ信号画像化システム１０内で使用される装置である。
　図１５に示すレーダ信号画像化装置３００は、レーダ信号送受信部３１０と、位置推定部３３０と、動揺度推定部３４０と、合成開口処理部３５０と、画像表示部３６０とを備える。なお、レーダ信号画像化装置３００の各構成要素が参照する時刻の同期はとられている。
　レーダ信号送受信部３１０は、送信アンテナ(Tx)を介して電磁波を送信し、受信アンテナ(Rx)を介して反射波を受信する機能を有する。レーダ信号送受信部３１０は、第２の実施形態のレーダ信号送受信部２１０が有する機能に加えて、動揺度推定部３４０にレーダ信号S(t,f,x,y)と現在時刻とを入力する機能を有する。
　位置推定部３３０は、レーダ信号に基づいて対象物Ａの位置を推定する機能を有する。位置推定部３３０は、第２の実施形態の位置推定部２３０が有する機能と同一の機能を有する。
　動揺度推定部３４０は、レーダ信号に基づいて対象物Ａの動揺度を推定する機能を有する。動揺度推定部３４０は、レーダ信号送受信部３１０から入力されるレーダ信号に基づいて対象物Ａの動揺度を推定する。
　次いで、動揺度推定部３４０は、推定された動揺度を示す時刻付き動揺度を合成開口処理部３５０に入力する。入力される動揺度に付される時刻は、レーダ信号送受信部３１０から入力された現在時刻と同一の時刻である。または、レーダ信号送受信部３１０から入力された現在時刻と関連付けられている情報が、時刻の代わりに動揺度に付されてもよい。
　非特許文献４には、例えばレーダ信号に基づいて対象物の動揺度を推定する方法が記載されている。非特許文献４に記載されている方法は、時系列に並べられたレーダ信号を基に時間経過に伴うドップラー周波数の変化を算出している。
　本実施形態の動揺度推定部３４０は、時系列に並べられたドップラー周波数を対象物Ａの動揺度VP(t) として扱う。すなわち、動揺度推定部３４０は、時系列に並べられたドップラー周波数を合成開口処理で利用されるレーダ信号の選択基準として使用する。なお、本実施形態の合成開口処理部３５０によるレーダ信号の選択方法は、第１の実施形態における方法と同様である。
　合成開口処理部３５０は、推定された対象物Ａの位置、および推定された対象物Ａの動揺度に基づいて合成開口処理を行う機能を有する。合成開口処理部３５０は、第２の実施形態の合成開口処理部２５０が有する機能と同一の機能を有する。
　画像表示部３６０は、合成開口処理で生成されたデータに基づいて、ディスプレイに対象物Ａの画像を表示する機能を有する。画像表示部３６０は、第２の実施形態の画像表示部２６０が有する機能と同一の機能を有する。
［動作の説明］
　以下、本実施形態のレーダ信号画像化装置３００の対象物の画像を表示する動作を図１６を参照して説明する。図１６は、第３の実施形態のレーダ信号画像化装置３００による画像表示処理の全体動作を示すフローチャートである。
　図１６に示す画像表示処理は、送信アンテナが生成信号を含む電磁波を送出した後に対象物からの反射波を受信アンテナが受信する処理および外部センサ１４がセンサデータを取得する処理から、画像がディスプレイに表示されるまでの処理に対応する。
　なお、図１６に示す画像表示処理が開始されるタイミングは、特に限定されない。例えば、外部センサ１４が対象物を検出した時点から画像表示処理が開始され、画像がディスプレイに表示されてから再度画像表示処理が開始される、等の運用が行われてもよい。
　最初に、レーダ信号送受信部３１０が、Txを介して電磁波を送信する。次いで、レーダ信号送受信部３１０は、Rxを介して反射信号を受信する。レーダ信号送受信部３１０は、受信された信号をIF信号（レーダ信号）に加工し、IF信号と現在時刻とを位置推定部３３０、動揺度推定部３４０、および合成開口処理部３５０に入力する（ステップS301）。なお、レーダ信号送受信部３１０が生成するIF信号は、式（５）におけるS(t,f,x,y)である。
　次いで、位置推定部３３０は、入力されたレーダ信号に基づいて対象物の位置情報TP(t) を推定する（ステップS302）。次いで、位置推定部３３０は、推定された位置情報TP(t) とレーダ信号送受信部３１０から入力された現在時刻とを合成開口処理部３５０に入力する。
　ステップS302の処理と独立に、動揺度推定部３４０は、入力されたレーダ信号に基づいて対象物の動揺度VP(t) を推定する（ステップS303）。動揺度推定部３４０は、例えば非特許文献４に記載されている方法でVP(t) を推定する。次いで、動揺度推定部３４０は、推定された動揺度VP(t) とレーダ信号送受信部３１０から入力された現在時刻とを合成開口処理部３５０に入力する。
　ステップS304～ステップS306の各処理は、図１２に示すステップS105～ステップS107の各処理とそれぞれ同様である。
［効果の説明］
　本実施形態のレーダ信号画像化装置３００の動揺度推定部３４０は、逆合成開口技術における対象物の動揺度推定にレーダ信号を利用している。すなわち、外部センサ１４が設けられていない状況であっても、レーダ信号画像化装置３００は、逆合成開口画像を取得できる。
　以下、各実施形態のレーダ信号画像化装置のハードウェア構成の具体例を説明する。図１７は、本発明によるレーダ信号画像化装置のハードウェア構成例を示す説明図である。
　図１７に示すレーダ信号画像化装置は、ＣＰＵ（Central Processing Unit ）２１と、主記憶部２２と、通信部２３と、補助記憶部２４とを備える。また、ユーザが操作するための入力部２５や、ユーザに処理結果または処理内容の経過を提示するための出力部２６を備えてもよい。
　なお、図１７に示すレーダ信号画像化装置は、ＣＰＵ２１の代わりにＤＳＰ（Digital Signal Processor）を備えてもよい。または、図１７に示すレーダ信号画像化装置は、ＣＰＵ２１とＤＳＰとを併せて備えてもよい。
　主記憶部２２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部２２は、例えばＲＡＭ（Random Access Memory）である。
　通信部２３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。
　補助記憶部２４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリが挙げられる。
　入力部２５は、データや処理命令を入力する機能を有する。入力部２５は、例えばキーボードやマウス等の入力デバイスである。
　出力部２６は、データを出力する機能を有する。出力部２６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。
　また、図１７に示すように、レーダ信号画像化装置において、各構成要素は、システムバス２７に接続されている。
　補助記憶部２４は、例えば、レーダ信号送受信部１１０、レーダ信号送受信部２１０、レーダ信号送受信部３１０、データ取得部１２０、データ取得部２２０、位置推定部１３０、位置推定部２３０、位置推定部３３０、動揺度推定部１４０、動揺度推定部２４０、動揺度推定部３４０、合成開口処理部１５０、合成開口処理部２５０、合成開口処理部３５０、画像表示部１６０、画像表示部２６０、および画像表示部３６０を実現するためのプログラムを記憶している。
　また、主記憶部２２は、例えば、合成開口処理部１５０、合成開口処理部２５０、および合成開口処理部３５０の記憶領域として利用される。また、データ取得部１２０、データ取得部２２０、画像表示部１６０、画像表示部２６０、および画像表示部３６０は、通信部２３を介して通信処理を実行してもよい。
　なお、各レーダ信号画像化装置は、ハードウェアにより実現されてもよい。例えば、レーダ信号画像化装置１００は、内部に図２に示すような機能を実現するプログラムが組み込まれたＬＳＩ（Large Scale Integration ）等のハードウェア部品が含まれる回路が実装されてもよい。
　また、各レーダ信号画像化装置は、図１７に示すＣＰＵ２１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。
　ソフトウェアにより実現される場合、ＣＰＵ２１が補助記憶部２４に格納されているプログラムを、主記憶部２２にロードして実行し、レーダ信号画像化装置の動作を制御することによって、各機能がソフトウェアにより実現される。
　また、各構成要素の一部または全部は、汎用の回路（circuitry ）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本発明の概要を説明する。図１８は、本発明によるレーダ信号画像化装置の概要を示すブロック図である。本発明によるレーダ信号画像化装置３０は、非剛体である画像化の対象物に向けてレーダ信号を送信する送信部３１（例えば、レーダ信号送受信部１１０）と、対象物の位置を推定する位置推定部３２（例えば、位置推定部１３０）と、対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定する動揺度推定部３３（例えば、動揺度推定部１４０）と、推定された対象物の位置と推定された動揺度とに基づいて対象物から反射されたレーダ信号に対して合成開口処理を行う合成開口処理部３４（例えば、合成開口処理部１５０）とを備える。
　そのような構成により、レーダ信号画像化装置は、非剛体である対象物を逆合成開口技術で鮮明に画像化できる。
　また、合成開口処理部３４は、対象物から反射されたレーダ信号のうち推定された動揺度が第１の所定値よりも小さい期間に対応するレーダ信号に対して合成開口処理を行ってもよい。
　また、合成開口処理部３４は、対象物から反射されたレーダ信号のうち推定された動揺度の変化量が第２の所定値よりも小さい期間に対応するレーダ信号に対して合成開口処理を行ってもよい。
　そのような構成により、レーダ信号画像化装置は、非剛体である対象物をより鮮明に画像化できる。
　また、動揺度推定部３３は、対象物から反射されたレーダ信号に基づいて動揺度を推定してもよい。また、動揺度推定部３３は、時系列に並べられたドップラー周波数を動揺度として推定してもよい。
　そのような構成により、レーダ信号画像化装置は、対象物からの反射波のみを基に動揺度を推定できる。
　また、レーダ信号画像化装置３０は、外部センサが対象物の所定の物理量を計測することによって得たデータであるセンサデータを取得する取得部を備え、動揺度推定部３３は、取得されたセンサデータに基づいて動揺度を推定してもよい。
　そのような構成により、レーダ信号画像化装置は、より正確に対象物の動揺度を推定できる。
　また、センサデータは、画像データであり、動揺度推定部３３は、取得された画像データを画像処理することによって動揺度を推定してもよい。
　そのような構成により、レーダ信号画像化装置は、特徴点の位置座標や画像データのピクセル数に基づいて対象物の動揺度を推定できる。
　また、位置推定部３２は、対象物から反射されたレーダ信号に基づいて対象物の位置を推定してもよい。
　そのような構成により、レーダ信号画像化装置は、対象物からの反射波のみを基に対象物の位置を推定できる。
　また、位置推定部３２は、取得されたセンサデータに基づいて対象物の位置を推定してもよい。
　そのような構成により、レーダ信号画像化装置は、より正確に対象物の位置を推定できる。
　また、レーダ信号画像化装置３０は、合成開口処理で生成された画像情報を所定の形式で表示手段（例えば、ディスプレイ）に表示する表示部（例えば、画像表示部１６０）を備えてもよい。
　そのような構成により、レーダ信号画像化装置は、対象物の３次元画像を表示できる。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１０　レーダ信号画像化システム
１１、１２　サイドパネル
１３　エリア
１４　外部センサ
２１　ＣＰＵ
２２　主記憶部
２３　通信部
２４　補助記憶部
２５　入力部
２６　出力部
２７　システムバス
３０、１００、２００、３００　レーダ信号画像化装置
３１　送信部
３２、１３０、２３０、３３０　位置推定部
３３、１４０、２４０、３４０　動揺度推定部
３４、１５０、２５０、３５０　合成開口処理部
１１０、２１０、３１０　レーダ信号送受信部
１２０、２２０　データ取得部
１６０、２６０、３６０　画像表示部

Claims (10)

  1. 　非剛体である画像化の対象物に向けてレーダ信号を送信する送信部と、
    　前記対象物の位置を推定する位置推定部と、
    　前記対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定する動揺度推定部と、
    　推定された前記対象物の位置と推定された動揺度とに基づいて前記対象物から反射されたレーダ信号に対して合成開口処理を行う合成開口処理部とを備える
    　ことを特徴とするレーダ信号画像化装置。
  2. 　合成開口処理部は、対象物から反射されたレーダ信号のうち推定された動揺度が第１の所定値よりも小さい期間に対応するレーダ信号に対して合成開口処理を行う
    　請求項１記載のレーダ信号画像化装置。
  3. 　合成開口処理部は、対象物から反射されたレーダ信号のうち推定された動揺度の変化量が第２の所定値よりも小さい期間に対応するレーダ信号に対して合成開口処理を行う
    　請求項１または請求項２記載のレーダ信号画像化装置。
  4. 　動揺度推定部は、対象物から反射されたレーダ信号に基づいて動揺度を推定する
    　請求項１から請求項３のうちのいずれか１項に記載のレーダ信号画像化装置。
  5. 　外部センサが対象物の所定の物理量を計測することによって得たデータであるセンサデータを取得する取得部を備え、
    　動揺度推定部は、取得されたセンサデータに基づいて動揺度を推定する
    　請求項１から請求項３のうちのいずれか１項に記載のレーダ信号画像化装置。
  6. 　センサデータは、画像データであり、
    　動揺度推定部は、取得された画像データを画像処理することによって動揺度を推定する
    　請求項５記載のレーダ信号画像化装置。
  7. 　位置推定部は、対象物から反射されたレーダ信号に基づいて前記対象物の位置を推定する
    　請求項１から請求項６のうちのいずれか１項に記載のレーダ信号画像化装置。
  8. 　位置推定部は、取得されたセンサデータに基づいて対象物の位置を推定する
    　請求項５または請求項６記載のレーダ信号画像化装置。
  9. 　非剛体である画像化の対象物に向けてレーダ信号を送信し、
    　前記対象物の位置を推定し、
    　前記対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定し、
    　推定された前記対象物の位置と推定された動揺度とに基づいて前記対象物から反射されたレーダ信号に対して合成開口処理を行う
    　ことを特徴とするレーダ信号画像化方法。
  10. 　コンピュータに、
    　非剛体である画像化の対象物に向けてレーダ信号を送信する送信処理、
    　前記対象物の位置を推定する位置推定処理、
    　前記対象物を構成する特徴点の相対位置が所定の期間中に変化した度合いである動揺度を推定する動揺度推定処理、および
    　推定された前記対象物の位置と推定された動揺度とに基づいた前記対象物から反射されたレーダ信号に対する合成開口処理
    　を実行させるためのレーダ信号画像化プログラム。
PCT/JP2018/021713 2018-06-06 2018-06-06 レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム WO2019234852A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/972,155 US11933885B2 (en) 2018-06-06 2018-06-06 Radar signal imaging device, radar signal imaging method, and radar signal imaging program
JP2020523907A JP7156374B2 (ja) 2018-06-06 2018-06-06 レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム
PCT/JP2018/021713 WO2019234852A1 (ja) 2018-06-06 2018-06-06 レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021713 WO2019234852A1 (ja) 2018-06-06 2018-06-06 レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム

Publications (1)

Publication Number Publication Date
WO2019234852A1 true WO2019234852A1 (ja) 2019-12-12

Family

ID=68769799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021713 WO2019234852A1 (ja) 2018-06-06 2018-06-06 レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム

Country Status (3)

Country Link
US (1) US11933885B2 (ja)
JP (1) JP7156374B2 (ja)
WO (1) WO2019234852A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113294A1 (ja) * 2020-11-27 2022-06-02 日本電気株式会社 レーダ装置、イメージング方法、およびプログラム
TWI767601B (zh) * 2021-03-10 2022-06-11 廣達電腦股份有限公司 用於室內定位、成像、偵測、姿勢判別、形狀判別的電子裝置及方法
JP7467307B2 (ja) 2020-10-01 2024-04-15 株式会社東芝 システム及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243740A (ja) * 1996-03-05 1997-09-19 Mitsubishi Electric Corp レーダ装置
JPH11281731A (ja) * 1998-03-31 1999-10-15 Mitsubishi Electric Corp Ｉｓａｒ信号処理装置
JP2004157012A (ja) * 2002-11-06 2004-06-03 Mitsubishi Electric Corp レーダ装置及びレーダ識別方法
WO2017032977A1 (en) * 2015-08-24 2017-03-02 Thales Holdings Uk Plc Video-assisted inverse synthetic aperture radar (vaisar)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5573012A (en) * 1994-08-09 1996-11-12 The Regents Of The University Of California Body monitoring and imaging apparatus and method
US7148836B2 (en) * 2004-03-05 2006-12-12 The Regents Of The University Of California Obstacle penetrating dynamic radar imaging system
US20060233046A1 (en) * 2005-04-14 2006-10-19 Fluhler Herbert U Apparatus for effecting surveillance of a space beyond a barrier
JP2007263948A (ja) 2006-02-28 2007-10-11 Mitsubishi Electric Corp 画像レーダ装置
US8040273B2 (en) * 2009-07-14 2011-10-18 Raytheon Company Radar for imaging of buildings
GB201216818D0 (en) * 2012-09-20 2012-11-07 Bae Systems Plc Detection of a target in a scene
EP3042219A4 (en) * 2013-09-04 2017-04-12 Teledyne Australia Pty Ltd. Screening system and method
DE102013225283B4 (de) * 2013-12-09 2023-04-27 Rohde & Schwarz GmbH & Co. Kommanditgesellschaft Verfahren und Vorrichtung zum Erfassen einer Rundumansicht
US10816658B2 (en) * 2016-09-07 2020-10-27 OmniPreSense Corporation Radar enabled weapon detection system
CN107238868B (zh) * 2017-07-31 2019-09-24 深圳市无牙太赫兹科技有限公司 毫米波实时成像安全检测系统及安全检测方法
US10768294B2 (en) * 2018-03-19 2020-09-08 Mitsubishi Electric Research Laboratories, Inc. System and method for multimodal, motion-aware radar imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243740A (ja) * 1996-03-05 1997-09-19 Mitsubishi Electric Corp レーダ装置
JPH11281731A (ja) * 1998-03-31 1999-10-15 Mitsubishi Electric Corp Ｉｓａｒ信号処理装置
JP2004157012A (ja) * 2002-11-06 2004-06-03 Mitsubishi Electric Corp レーダ装置及びレーダ識別方法
WO2017032977A1 (en) * 2015-08-24 2017-03-02 Thales Holdings Uk Plc Video-assisted inverse synthetic aperture radar (vaisar)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHURAVALEV, A. ET AL.: "ISAR for concealed objects imaging", PROCEEDINGS OF SPIE/ IS & T, vol. 9401, 12 March 2015 (2015-03-12), pages 1 - 15, XP060046427, DOI: 10.1117/12.2081761 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467307B2 (ja) 2020-10-01 2024-04-15 株式会社東芝 システム及び方法
WO2022113294A1 (ja) * 2020-11-27 2022-06-02 日本電気株式会社 レーダ装置、イメージング方法、およびプログラム
JP7435824B2 (ja) 2020-11-27 2024-02-21 日本電気株式会社 レーダ装置、イメージング方法、およびプログラム
TWI767601B (zh) * 2021-03-10 2022-06-11 廣達電腦股份有限公司 用於室內定位、成像、偵測、姿勢判別、形狀判別的電子裝置及方法

Also Published As

Publication number Publication date
JPWO2019234852A1 (ja) 2021-06-03
US20210239829A1 (en) 2021-08-05
US11933885B2 (en) 2024-03-19
JP7156374B2 (ja) 2022-10-19

Similar Documents

Publication Publication Date Title
WO2019234852A1 (ja) レーダ信号画像化装置、レーダ信号画像化方法およびレーダ信号画像化プログラム
US8228367B2 (en) Three-dimensional reconstruction of scenes and objects
JP2008059569A (ja) 接触時間算出装置及び接触時間算出方法
KR101311393B1 (ko) 레이더 신호를 이용한 표적 식별 방법 및 장치
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
Cui et al. Real-time short-range human posture estimation using mmwave radars and neural networks
US20140286537A1 (en) Measurement device, measurement method, and computer program product
US9495611B2 (en) Image processing apparatus, image processing method, and image processing program
US20210132214A1 (en) Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program
EP3346287A1 (en) Motion detection device and three-dimensional shape measurement device using same
CN109697699A (zh) 图像处理方法、装置、设备及存储介质
JP7268732B2 (ja) レーダシステム、イメージング方法およびイメージングプログラム
WO2022083529A1 (zh) 一种数据处理方法及装置
US20210223389A1 (en) Synthetic aperture radar signal analysis device, synthetic aperture radar signal analysis method, and synthetic aperture radar signal analysis program
CN112712476B (zh) 用于tof测距的去噪方法及装置、tof相机
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
JP6751063B2 (ja) レーダ信号処理装置、レーダ信号処理方法、およびプログラム
JP7211510B2 (ja) レーダシステムおよびイメージング方法
WO2022044187A1 (ja) データ処理装置、データ処理方法、及びプログラム
CN104167019A (zh) 一种sar图像精确度计算方法
WO2024034469A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230417896A1 (en) Manipulation of radar readings
CN108387891B (zh) 基于短基线一发两收的超宽带雷达干涉二维定位跟踪方法
JP7119768B2 (ja) 物標検出装置および物標検出方法
WO2022269655A1 (ja) 風速予測装置、風速予測方法及びレーダ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921597

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020523907

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18921597

Country of ref document: EP

Kind code of ref document: A1