WO2023167507A1 - 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템 - Google Patents

사람을 감지하기 위한 신호처리 방법 및 레이더 시스템 Download PDF

Info

Publication number
WO2023167507A1
WO2023167507A1 PCT/KR2023/002870 KR2023002870W WO2023167507A1 WO 2023167507 A1 WO2023167507 A1 WO 2023167507A1 KR 2023002870 W KR2023002870 W KR 2023002870W WO 2023167507 A1 WO2023167507 A1 WO 2023167507A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal processing
data
level signal
processing stage
index
Prior art date
Application number
PCT/KR2023/002870
Other languages
English (en)
French (fr)
Inventor
김백현
송원영
임성묵
장광수
오형석
Original Assignee
주식회사 에이유
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이유 filed Critical 주식회사 에이유
Publication of WO2023167507A1 publication Critical patent/WO2023167507A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • G01S13/524—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi
    • G01S13/5246—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi post processors for coherent MTI discriminators, e.g. residue cancellers, CFAR after Doppler filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/341—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal wherein the rate of change of the transmitted frequency is adjusted to give a beat of predetermined constant frequency, e.g. by adjusting the amplitude or frequency of the frequency-modulating signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • G01S13/524—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing

Definitions

  • the present invention relates to a signal processing method and a radar system for detecting a person, and more particularly, to a signal processing method and a radar system for implementing a system for detecting a person in a room using an FMCW radar sensor.
  • Radar technology has been used in airplanes and military applications and has recently been used in automotive applications as well.
  • Existing radar technology detects the distance and moving speed of the object after detecting the surrounding object, but does not have the ability to distinguish whether the detected object is a person or an object.
  • Korean Patent Registration No. 10-2016251 discloses an occupancy detection device for vehicles with enhanced sensing performance.
  • the prior art document is an occupancy detection device for a vehicle, a motion sensor attached to the ceiling of the vehicle to detect movement inside the vehicle, a UWB radar attached to the ceiling of the vehicle to detect the number of people inside the vehicle, and the motion sensor and It is characterized by providing a vehicle occupancy detection device including a control unit for determining occupancy information of the vehicle using detection information of the UWB radar.
  • An object of the present invention is to prevent in advance all possible problems that may occur due to a person being left in a specific space by monitoring the presence and number of people in a room in real time using an FMCW radar.
  • the present invention provides a front end stage for storing raw data obtained by sampling a plurality of chirp signals received by a plurality of receiving antennas by N per chirp; Fourier transform is performed on the raw data stored in the front-end, and two-dimensional data composed of data corresponding to a range index and each index is displayed on the doppler index of a chirp period.
  • a first low-level signal processing stage that accumulates and generates a 3D radar cube; a second low-level signal processing stage that performs beamforming and clustering on data extracted from the 3D radar cube; a high level signal processing unit extracting vital features from the clustering data performed by the second low level signal processing unit; and a detection stage for detecting a person and detecting a location using vital features extracted from the high level signal processing stage.
  • the first low-level signal processing stage performs a Fourier transform on the raw data in units of sampling periods to generate range data, which is a coefficient value for each range index, and Fourier transforms the range data in units of a receiving antenna distance
  • An RFFT performing unit that converts and generates each data that is a coefficient value for each angle index, and the distance data and each data generated by the RFFT performing unit are collected during the plurality of chirp signals, and Fourier transformed in units of chirp cycles to obtain a Doppler index ( It may include a DFFT performer that generates time-specific (velocity) data that is a coefficient value for each doppler index.
  • the first low-level signal processing stage may include an ROI extraction unit that selects a distance corresponding to a floor from a ceiling in the room as a distance of interest and extracts a distance-of-interest index from the distance index.
  • an ROI extraction unit that selects a distance corresponding to a floor from a ceiling in the room as a distance of interest and extracts a distance-of-interest index from the distance index.
  • the first low-level signal processing stage may include a DOI extraction unit that selects a Doppler corresponding to the respiratory rate as the Doppler of interest and extracts a Doppler index of interest from the Doppler index.
  • a DOI extraction unit that selects a Doppler corresponding to the respiratory rate as the Doppler of interest and extracts a Doppler index of interest from the Doppler index.
  • the second low-level signal processing stage performs 2D beamforming of Az-El by calculating a dot product of a 2D beam steering vector with respect to the extracted distance index and Doppler index, and performs non-coherent integration to obtain a distance You can create an Az-El heatmap per index.
  • the second low-level signal processing stage may perform a CFAR operation on an Az-El heatmap corresponding to each distance index.
  • the second low-level signal processing stage may output CFAR performance results in a scatter form.
  • the second low-level signal processing stage may remove scatter corresponding to noise after performing 2D clustering on CFAR-performed output data.
  • the high-level signal processing stage obtains the clustering data performed by the 3D radar cube generated by the first low-level signal processing stage and the second low-level signal processing stage, and represents a cluster from the clustering data
  • a location may be determined, slow time data at the representative location may be obtained, and vital features may be extracted from the slow time data.
  • the high-level signal processing stage selects data having the largest size value among the 2D clustered clusters in the second low-level signal processing stage as a representative cluster, and 2D beam steering corresponding to the coordinates of the selected representative cluster Slow time data can be acquired by applying vectors to a 3D radar cube.
  • the present invention in a signal processing method for detecting a person's position performed by a radar system, a plurality of chirp signals received by a plurality of receiving antennas are sampled N per chirp, and obtained by sampling Storing raw data; Fourier transform is performed on the stored raw data, and 2D data composed of data corresponding to the range index and each index is accumulated on the doppler index of the chirp period to form a 3D radar cube.
  • the present invention has an advantage in that a person present in a room can be accurately detected by extracting vital features by performing beamforming and clustering in the second low-level signal processing stage.
  • FIG. 1 shows a configuration diagram of a radar system according to an embodiment of the present invention.
  • FIG. 2 shows a chain flow of low level signal processing according to an embodiment of the present invention.
  • FIG 3 shows a configuration diagram of a first low-level signal processing stage according to an embodiment of the present invention.
  • FIG. 4 shows a method for generating a 3D radar cube by a first low-level signal processing stage according to an embodiment of the present invention.
  • FIG. 5 shows a flowchart of a first low-level signal processing stage according to an embodiment of the present invention.
  • FIG. 6 shows data characteristics in a DOI area according to whether a vital exists or not according to an embodiment of the present invention.
  • FIG 7 shows an Az-El heat map generated by the second low-level signal processing stage according to an embodiment of the present invention.
  • FIG. 8 shows a virtual antenna array of a MIMO antenna according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of beamforming and clustering performed in a second low-level signal processing stage according to an embodiment of the present invention.
  • FIG. 11 shows a chain flow of high level signal processing according to an embodiment of the present invention.
  • FIG. 12 shows slow time data acquired by a high level signal processing stage according to an embodiment of the present invention.
  • the radar system 10 includes a MIMO antenna 100, a front end stage 200, a first low level signal processing stage 300, a second low level signal processing stage 400, a high level signal It may include a processing stage 500 and a detection stage 600 .
  • the radar system 10 may detect a person in a room using a frequency modulated continuous wave (FMCW) radar.
  • the radar system 10 may detect a person by transmitting an FMCW radar signal from a transmitter and receiving and analyzing a signal reflected back by a person.
  • the radar system 10 may detect and track a person by processing the received signal and extracting a vital feature.
  • the vital feature means a biosignal, and may correspond to respiration, pulse rate, heart rate, and the like.
  • the radar system 10 may be used in a preprocessing step prior to measuring a biosignal of a person indoors using an FMCW radar.
  • the radar system 10 uses an FMCW radar signal, there is a difference in that a uwb radar signal is used for detecting a person using an existing radar.
  • FMCW has a frequency domain of 60 GHz to 63 GHz, and in the case of uwb radar, the frequency domain is less than 10 GHz.
  • uwb radar is a pulsed wave radar whereas FMCW radar uses a continuous wave radar. Therefore, the radar system 10 can perform more accurate detection than uwb radar.
  • the radar system 10 may output the FMCW radar signal, receive the reflected signal, amplify, frequency synthesize and filter, and digitally sample and convert the reflected signal into an FMCW digital radar signal.
  • the MIMO antenna 100 may transmit and receive FMCW type radar signals.
  • MIMO is an abbreviation of multiple input multiple output, and the MIMO antenna 100 means a technology capable of minimizing channel loss and interference between users by increasing communication capacity using multiple antennas.
  • the MIMO antenna 100 separates signals at the same frequency to generate an effect of increasing channel capacity.
  • the MIMO antenna 100 may implement beamforming technology using multiple channels.
  • the MIMO antenna 100 may include a plurality of transmit antennas and a plurality of receive antennas.
  • the MIMO antenna 100 may form a plurality of transmission/reception channels using a transmission antenna and a reception antenna.
  • the MIMO antenna 100 may include three transmission antennas and four reception antennas.
  • the MIMO antenna 100 may form 12 transmission/reception channels using a transmission antenna and a reception antenna.
  • the front end 200 may store raw data obtained by sampling a plurality of chirp signals received by a plurality of receiving antennas by N per chirp.
  • the front end stage 200 may sample analog signals corresponding to structures of chirps and frames designed in the radar system 10 into digital signals.
  • low-level signal processing includes first low-level signal processing in which Range-Fast Fourier Transform (RFFT) and Doppler-Fast Fourier Transform (DFFT) are performed, and second low-level signals in which beamforming and clustering are performed. processing can be distinguished.
  • the first low level signal processing may be performed in the first low level signal processing stage 300 and the second low level signal processing may be performed in the second low level signal processing stage 400 .
  • the first low-level signal processing unit 300 may include an RFFT performer 310, a DFFT performer 330, an ROI extractor 350, and a DOI extractor 370. .
  • the first low-level signal processing stage 300 performs Fourier transform on the raw data stored in the front-end stage 200, and corresponds to a range index and each index
  • a 3D radar cube may be generated by accumulating two-dimensional data composed of data of a chirp period on a doppler index.
  • FIG. 5 shows a flowchart of a first low-level signal processing stage 300 according to an embodiment of the present invention. Referring to FIG. 5, a process of generating a 3D radar cube and extracting an index of interest in the first low-level signal processing stage 300 will be described.
  • the RFFT performer 310 Fourier-transforms the raw data in units of sampling periods to generate range data, which is a coefficient value for each range index, and Fourier-transforms the range data in units of the receiving antenna distance to obtain values for each angle index. Each data that is a coefficient value can be created. That is, the RFFT performer 310 may convert fast time data into distance information by performing FFT on the number of ADC samplings set in the chirp structure. The RFFT performer 310 may perform FFT during idle time between active chirp times.
  • the DFFT performer 330 collects the distance data and each data generated by the RFFT performer 310 during the plurality of chirp signals, and performs Fourier transformation in units of chirp cycles to obtain time-by-time (velocity) coefficient values for each Doppler index. data can be generated. That is, if the minimum number of chirps for performing the algorithm is gathered in the 3D radar cube, the DFFT performer 330 may generate velocity information by taking FFTs on chirp (or slow time) axes for all distance indices.
  • the ROI extractor 350 may select a distance corresponding to the floor from the ceiling in the room as the distance of interest and extract the distance of interest index from the distance index.
  • the ROI extraction unit 350 may select a part corresponding to the floor from the ceiling in the room among the generated distance data and each data as a range of interest (ROI), extract only the selected data index, and store it in a memory.
  • the ROI extractor 350 can efficiently use the limited size of memory by extracting and storing only the index corresponding to the distance of interest.
  • the DOI extractor 370 may select the Doppler corresponding to the respiratory rate as the Doppler of interest and extract the Doppler index of interest from the Doppler index.
  • the DOI extractor 370 may select a part corresponding to the respiratory rate among the data generated by the DFFT performer 330 as a Doppler of Interest (DOI), extract only the selected Doppler index, and store it in memory.
  • DOI Doppler of Interest
  • the DOI extractor 370 can efficiently use the limited size of memory and minimize the 2D beamforming operation time by extracting and storing only the index corresponding to the Doppler of interest.
  • FIG. 6 shows data characteristics in a DOI area according to whether a vital exists or not according to an embodiment of the present invention.
  • the DOI extractor 370 extracts only the index corresponding to the Doppler of interest so as to accurately determine whether a vital is present or not, and at the same time reduce the amount of computation.
  • the second low-level signal processing stage 400 may perform beamforming and clustering on data extracted from the 3D radar cube.
  • the second low-level signal processing stage 400 generates an Az (azimuth)-El (elevation) heatmap for each distance using 2D beamforming and performs clustering to generate high-level data for checking vitals. It can be provided to the signal processing stage 500.
  • the second low-level signal processing stage 400 performs 2D beamforming of Az-El by performing a dot product of a 2D beam steering vector with respect to the extracted distance index and Doppler index, and non-coherent integration ( non-coherent integration) to generate an Az-El heatmap for each distance index.
  • the second low-level signal processing stage 400 may improve a signal-to-noise ratio (SNR) by performing non-coherent integration on the Doppler index.
  • SNR signal-to-noise ratio
  • the second low-level signal processing stage 400 may perform a dot product operation on a 2D beam steering vector corresponding to the 'L' shaped virtual array of the MIMO antenna 100.
  • angles for each distance index may be represented in two dimensions.
  • Az-El heatmaps can be stacked and expressed as distances and angles in 3D space.
  • the Az-El heatmap can distinguish where there are people and where there are no people by the size of the signal. For example, a position with a high signal may be represented by yellow, and a position with a low signal may be represented by blue.
  • the second low-level signal processing stage 400 may remove noise by performing CFAR on the Az-El heat map with a preset reference value.
  • the second low-level signal processing stage 400 may perform a CFAR (Constant False Alarm Rate) operation on the Az-El heat map corresponding to each distance index.
  • the second low-level signal processing stage 400 can improve SNR by performing 2D CA-CFAR calculation.
  • the CFAR operation is an algorithm used to adjust an alarm error by dividing a frame and setting it flexibly without fixing a threshold value so as not to issue an error alarm for a specific target.
  • the second low level signal processing stage 400 may amplify the magnitude of a signal to be detected by performing CFAR.
  • the second low-level signal processing stage 400 may output the result of performing CFAR in a scatter form as shown in FIG. 8 .
  • the second low-level signal processing stage 400 may perform clustering with the output scatter. Clustering is a method of classifying data with similar characteristics into the same group.
  • the second low-level signal processing stage 400 performs 2D clustering (Density-Based Spatial Clustering of Applications with Noise (DBSCAN) can be performed.
  • DBSCAN Density-Based Spatial Clustering of Applications with Noise
  • DBSCAN belongs to unsupervised learning that finds meaningful features and values through data without correct answer data.
  • DBSCAN is a density-based clustering algorithm that clusters high-density areas where a lot of data is concentrated.
  • DBSCAN determines a cluster if there are at least n or more pre-determined data (min_samples) within a pre-determined radius k (eps) based on specific data.
  • min_samples pre-determined data
  • eps epsilon
  • min_samples means the minimum number of data that must be within eps when creating clusters.
  • DBSCAN checks whether there are min_samples of data in eps based on each data. In DBSCAN, if the condition is satisfied, the corresponding data becomes one cluster.
  • the second low-level signal processing stage 400 may firstly remove noise through CFAR and secondarily remove noise through DBSCAN.
  • the number of clusters extracted through clustering is the number of data for examining the presence or absence of vitals, and information on clusters may be provided to the high level signal processing unit 500.
  • the second low-level signal processing stage 400 may remove scatter corresponding to noise after performing 2D clustering on CFAR-performed output data.
  • the second low-level signal processing unit 400 may determine that data having a magnitude value of less than a reference value among the extracted scatters is determined as noise and may be removed.
  • the second low-level signal processing stage 400 may perform 2D beamforming of Az-El by performing a dot product operation on a 2D beam steering vector with respect to the previously extracted distance index and Doppler index.
  • the second low-level signal processing stage 400 may generate an Az-El heat map for each distance index by performing non-coherent integration.
  • the second low-level signal processing unit 400 may perform CFAR calculation on each Az-El heat map and output the CFAR result in a scatter form.
  • the second low-level signal processing stage 400 may perform 2D clustering on the CFAR-performed output data and remove scatter corresponding to noise.
  • the high-level signal processing stage 500 selects data having the largest size value among the 2D clustered clusters in the second low-level signal processing stage 400 as a representative cluster, and the 2D beam steering vector corresponding to the coordinates of the selected representative cluster can be applied to the 3D radar cube to acquire slow time data.
  • slow time data means data expressed by real values and imagined values on x and y axes.
  • Slow time data can draw circles or arcs, and information on these shapes can be used as data to determine the presence or absence of people.
  • the detection stage 600 can detect a person and detect a location using vital features extracted by the high level signal processing stage 500 .
  • the detection unit 600 may analyze the form of the slow time data extracted by the high level signal processing unit 500 to detect the existence of a person, the location of a person, the number of people, and the like.
  • the detection unit 600 may detect the existence of a person, the location of a person, the number of people, and the like using deep learning.
  • the point where the index value of the position where a person exists in the 3D radar cube is large, the point where the index value of the position where a person exists changes according to the chirp cycle time, and the position where a person can exist in a specific indoor space Since it is limited, it is possible to detect the location where a person exists and the number of people using the point where the distance and each index can be designated in advance for each seat.
  • a signal processing method for detecting a person's position performed by a radar system includes storing raw data, generating a 3D radar cube, performing beamforming and clustering, and vital features It may include the step of extracting, and the step of detecting.
  • raw data obtained by sampling a plurality of chirp signals received by a plurality of receiving antennas by N per chirp may be stored.
  • the step of storing the raw data means an operation performed in the front end stage 200.
  • step of generating a 3D radar cube Fourier transform is performed on the stored raw data, and two-dimensional data composed of data corresponding to a range index and each index is converted to a time axis (Doppler index) of a chirp period. ) to generate a 3D radar cube.
  • the step of generating a 3D radar cube means an operation performed in the first low-level signal processing stage 300.
  • beamforming and clustering may be performed on data extracted from the 3D radar cube.
  • the step of performing beamforming and clustering means an operation performed in the second low-level signal processing stage 400 .
  • a representative location of the cluster may be identified by acquiring the generated 3D radar cube and clustering data, and vital features may be extracted by acquiring slow time data at the corresponding representative location.
  • the step of extracting vital features refers to an operation performed in the high level signal processing stage 500.
  • the detecting step may detect a person and detect a location based on the extracted vital features.
  • the detecting step means an operation performed by the detecting stage 600 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은, 복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩 당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장하는 프론트 엔드 단; 상기 프론트 엔드 단에 저장된 로데이터에 대해 푸리에 변환을 수행하고, 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성하는 제 1 로우 레벨 신호처리 단; 상기 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행하는 제 2 로우 레벨 신호처리 단; 상기 제 2 로우 레벨 신호처리 단에서 수행한 클러스터링 데이터에서 vital 특징을 추출하는 하이 레벨 신호처리 단; 및 상기 하이 레벨 신호처리 단에서 추출한 vital 특징으로 사람을 감지하고 위치를 검출하는 검출 단;을 포함하는 것을 일 특징으로 한다.

Description

사람을 감지하기 위한 신호처리 방법 및 레이더 시스템
본 발명은 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템에 관한 것으로서, 특히 FMCW 레이더 센서를 이용하여 실내에 있는 사람을 감지하는 시스템을 구현하기 위한 신호처리 방법 및 레이더 시스템에 관한 것이다.
레이더 기술은 비행기 군용에서 사용되었으며 최근에 자동차용으로도 사용되고 있다. 기존의 레이더 기술은 주변 물체를 감지한 후 물체의 거리, 이동속도 등을 감지는 하고 있지만, 감지된 물체가 사람인지 물체인지 구분하는 능력은 갖추고 있지 않다.
이와 관련하여, 한국등록특허 제10-2016251호는 감지성능을 강화한 차량용 재실감지장치를 개시하고 있다. 상기 선행문헌은 차량용 재실감지장치로서, 차량의 천장에 부착되어 상기 차량 내부의 움직임을 감지하는 모션 센서, 상기 차량의 천장에 부착되어 상기 차량 내부의 인원수를 감지하는 UWB 레이더, 및 상기 모션 센서 및 상기 UWB 레이더의 감지정보를 이용하여 상기 차량의 재실정보를 판별하는 제어부를 포함하는 차량용 재실감지장치를 제공하는 것을 특징으로 한다.
전술한 바와 같이, 레이더를 이용하여 실내에 있는 사람을 검출하는 선행문헌은 다수 제안되고 있다. 다만, 종래 기술은 실내에 사람이 존재하는지 판별하거나 사람의 수를 카운트하는 데 그치고 있다. 최근에는 레이더를 이용하여 실내에 있는 사람을 검출하는 것을 넘어 검출된 사람의 생체신호를 측정하는 등의 기술적 진보가 이루어지고 있으므로 사람을 검출하는 데 있어서 고도의 신호처리 방법이 요구되고 있는 실정이다.
본 발명은 FMCW 레이더를 이용하여 실내에 있는 사람의 유무 및 인원 수 등을 실시간으로 모니터링하여 특정 공간에서 사람이 방치되어 발생할 수 있는 모든 가능한 문제들을 미연에 방지하는 것을 하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩 당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장하는 프론트 엔드 단; 상기 프론트 엔드 단에 저장된 로데이터에 대해 푸리에 변환을 수행하고, 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성하는 제 1 로우 레벨 신호처리 단; 상기 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행하는 제 2 로우 레벨 신호처리 단; 상기 제 2 로우 레벨 신호처리 단에서 수행한 클러스터링 데이터에서 vital 특징을 추출하는 하이 레벨 신호처리 단; 및 상기 하이 레벨 신호처리 단에서 추출한 vital 특징으로 사람을 감지하고 위치를 검출하는 검출 단;을 포함하는 것을 일 특징으로 한다.
바람직하게는, 상기 제 1 로우 레벨 신호처리 단은, 상기 로데이터를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하고, 상기 거리 데이터를 수신 안테나 거리 단위로 푸리에 변환하여 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 RFFT 수행부 및 상기 RFFT 수행부가 생성한 거리 데이터 및 각 데이터를 상기 복수개의 첩 신호 동안 수집하여 첩 주기 단위로 푸리에 변환하여 도플러 인덱스(doppler index)별 계수 값인 시간별(속도) 데이터를 생성하는 DFFT 수행부를 포함할 수 있다.
바람직하게는, 상기 제 1 로우 레벨 신호처리 단은, 실내의 천장에서 바닥에 해당하는 거리를 관심 거리로 선정하여, 상기 거리 인덱스에서 관심 거리 인덱스를 추출하는 ROI 추출부;를 포함할 수 있다.
바람직하게는, 상기 제 1 로우 레벨 신호처리 단은, 호흡 속도에 해당하는 도플러를 관심 도플러로 선정하여, 상기 도플러 인덱스에서 관심 도플러 인덱스를 추출하는 DOI 추출부;를 포함할 수 있다.
바람직하게는, 상기 제 2 로우 레벨 신호처리 단은, 추출된 거리 인덱스 및 도플러 인덱스에 대하여 2D 빔 스티어링 벡터를 내적 연산하여 Az-El의 2D 빔포밍을 수행하고, 비 코히런트 집적을 수행하여 거리 인덱스마다 Az-El 히트맵을 생성할 수 있다.
바람직하게는, 상기 제 2 로우 레벨 신호처리 단은, 각각의 거리 인덱스에 해당하는 Az-El 히트맵에 대하여 CFAR 연산을 수행할 수 있다.
바람직하게는, 상기 제 2 로우 레벨 신호처리 단은, CFAR 수행 결과를 scatter 형태로 출력할 수 있다.
바람직하게는, 상기 제 2 로우 레벨 신호처리 단은, CFAR 수행 출력 데이터에 대하여 2D 클러스터링을 수행한 후 노이즈에 해당하는 scatter를 제거할 수 있다.
바람직하게는, 상기 하이 레벨 신호처리 단은, 상기 제 1 로우 레벨 신호처리 단에서 생성한 3D 레이더 큐브와 상기 제 2 로우 레벨 신호처리 단에서 수행한 클러스터링 데이터를 획득하여 상기 클러스터링 데이터로부터 클러스터의 대표 위치를 파악하고, 상기 대표 위치에서의 slow time data를 획득하여 상기 slow time data에서 vital 특징을 추출할 수 있다.
바람직하게는, 상기 하이 레벨 신호처리 단은, 상기 제 2 로우 레벨 신호처리 단에서 2D 클러스터링된 클러스터 중 크기 값이 가장 큰 데이터를 대표 클러스터로 선정하고, 선정된 대표 클러스터 좌표에 해당하는 2D 빔 스티어링 벡터를 3D 레이더 큐브에 적용하여 slow time data를 취득할 수 있다.
또한 본 발명은, 레이더 시스템에 의해 수행되는 사람의 위치를 감지하는 신호처리 방법에 있어서, 복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩 당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장하는 단계; 저장된 로데이터에 대해 푸리에 변환을 수행하여 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성하는 단계; 상기 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행하는 단계; 생성된 3D 레이더 큐브와 수행된 클러스터링 데이터를 취득하여 클러스터의 대표 위치를 파악하고, 해당 대표 위치에서의 slow time data를 취득하여 vital 특징을 추출하는 단계; 및 추출한 vital 특징으로 사람을 감지하고 위치를 검출하는 단계;를 포함하는 것을 다른 특징으로 한다.
본 발명은 제 2 로우 레벨 신호처리 단에서 빔포밍과 클러스터링을 수행하여 vital 특징을 추출함으로써 실내에 존재하는 사람을 정밀하게 감지할 수 있다는 이점이 있다.
도 1은 본 발명의 실시예에 따른 레이더 시스템의 구성도를 나타낸다.
도 2는 본 발명의 실시예에 따른 로우 레벨 신호처리의 체인 플로우를 나타낸다.
도 3은 본 발명의 실시예에 따른 제 1 로우 레벨 신호처리 단의 구성도를 나타낸다.
도 4는 본 발명의 실시예에 따른 제 1 로우 레벨 신호처리 단이 3D 레이더 큐브를 생성하는 방법을 도시한 것을 나타낸다.
도 5는 본 발명의 실시예에 따른 제 1 로우 레벨 신호처리 단의 흐름도를 나타낸다.
도 6은 본 발명의 실시예에 따른 vital 존재 여부에 따른 DOI 영역 내 데이터 특성을 나타낸다.
도 7은 본 발명의 실시예에 따른 제 2 로우 레벨 신호처리 단이 생성한 Az-El 히트맵을 나타낸다.
도 8는 본 발명의 실시예에 따른 MIMO 안테나의 가상 안테나 배열을 나타낸다.
도 9은 본 발명의 실시예에 따른 Az-El 히트맵에 대하여 2D CA-CFAR 연산을 수행한 결과를 나타낸다.
도 10는 본 발명의 실시예에 따른 제 2 로우 레벨 신호처리 단에서 수행되는 빔포밍과 클러스터링의 흐름도를 나타낸다.
도 11은 본 발명의 실시예에 따른 하이 레벨 신호처리의 체인 플로우를 나타낸다.
도 12은 본 발명의 실시예에 따른 하이 레벨 신호처리 단이 취득한 slow time data를 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 레이더 시스템(10)의 구성도를 나타낸다. 도 1을 참조하면, 레이더 시스템(10)은 MIMO 안테나(100), 프론트 엔드 단(200), 제 1 로우 레벨 신호처리 단(300), 제 2 로우 레벨 신호처리 단(400), 하이 레벨 신호처리 단(500), 및 검출 단(600)을 포함할 수 있다.
레이더 시스템(10)은 FMCW(Frequency Modulated Continuous Wave) 레이더를 이용하여 실내에 있는 사람을 감지할 수 있다. 레이더 시스템(10)은 송신부에서 FMCW 레이다 신호를 송출하고 사람에 반사되어 돌아오는 신호를 수신하고 분석하여 사람을 감지할 수 있다. 특히, 레이더 시스템(10)은 수신한 신호를 신호처리하여 vital 특징을 추출함으로써 사람을 감지하고 추적할 수 있다. 여기에서 vital 특징이란 생체신호를 의미하며, 호흡, 맥박, 심박 등이 이에 해당할 수 있다. 레이더 시스템(10)은 FMCW 레이더를 이용하여 실내에 있는 사람의 생체신호를 측정하기 이전 전처리 단계에 사용될 수 있다.
레이더 시스템(10)은 FMCW 레이다 신호를 사용하므로 기존의 레이다를 이용한 사람 감지에는 uwb 레이다 신호를 사용한다는 점과 차이가 있다. 구체적으로 FMCW는 주파수 영역대가 60GHz 내지 63GHz이고 uwb 레이다 같은 경우에는 주파수 영역대가 10GHz 이하이다. uwb 레이다는 펄스파 레이다인 반면에 FMCW 레이다는 컨티뉴어스 웨이브 레이다를 사용한다. 따라서 레이더 시스템(10)은 uwb 레이다를 이용한 것보다 보다 정확한 감지가 가능하다.
레이더 시스템(10)은 FMCW 레이다 신호를 출력할 수 있고, 반사된 신호를 수신하여 증폭, 주파수 합성 및 필터링하고 디지털로 샘플링하여 FMCW 디지털 레이다 신호로 변환할 수 있다.
MIMO 안테나(100)는 FMCW 형태의 레이다 신호를 송수신할 수 있다. MIMO는 Multiple Input Multiple Output의 약자이고, MIMO 안테나(100)는 여러 안테나를 사용하여 통신할 수 있는 용량을 늘림으로써 채널 손실과 사용자간의 간섭을 최소화할 수 있는 기술을 의미한다. MIMO 안테나(100)는 동일 주파수에서 신호를 분리하여 채널의 용량이 커진 듯한 효과를 발생시킬 수 있다. MIMO 안테나(100)는 다수의 채널을 이용하여 빔포밍 기술을 구현하게 할 수 있다.
MIMO 안테나(100)는 복수개의 송신 안테나와 복수개의 수신 안테나로 구성될 수 있다. MIMO 안테나(100)는 송신 안테나와 수신 안테나를 이용하여 복수개의 송수신 채널을 형성할 수 있다.바람직하게는, MIMO 안테나(100)는 3개의 송신 안테나와 4개의 수신 안테나로 구성될 수 있다. MIMO 안테나(100)는 송신 안테나와 수신 안테나를 이용하여 12개의 송수신 채널을 형성할 수 있다.
프론트 엔드 단(200)은 복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장할 수 있다. 프론트 엔드 단(200)은 레이더 시스템(10)에서 설계된 첩 및 프레임의 구조에 해당하는 아날로그 신호를 디지털 신호로 샘플링할 수 있다.
도 2는 본 발명의 실시예에 따른 로우 레벨 신호처리의 체인 플로우를 나타낸다. 도 2를 참조하면, 로우 레벨 신호처리는 RFFT(Range-Fast Fourier Transform) 및 DFFT(Doppler-Fast Fourier Transform)가 수행되는 제 1 로우 레벨 신호처리와 빔포밍과 클러스터링이 수행되는 제 2 로우 레벨 신호처리로 구분될 수 있다. 제 1 로우 레벨 신호처리는 제 1 로우 레벨 신호처리 단(300)에서 수행되고, 제 2 로우 레벨 신호처리는 제 2 로우 레벨 신호처리 단(400)에서 수행될 수 있다.
도 3은 본 발명의 실시예에 따른 제 1 로우 레벨 신호처리 단(300)의 구성도를 나타낸다. 도 3을 참조하면, 제 1 로우 레벨 신호처리 단(300)은 RFFT 수행부(310), DFFT 수행부(330), ROI 추출부(350), 및 DOI 추출부(370)를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 제 1 로우 레벨 신호처리 단(300)이 3D 레이더 큐브를 생성하는 방법을 도시한 것을 나타낸다. 도 4를 참조하면, 제 1 로우 레벨 신호처리 단(300)은 프론트 엔드 단(200)에 저장된 로데이터에 대해 푸리에 변환을 수행하고, 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성할 수 있다.
도 5는 본 발명의 실시예에 따른 제 1 로우 레벨 신호처리 단(300)의 흐름도를 나타낸다. 도 5를 참조하여, 제 1 로우 레벨 신호처리 단(300)의 3D 레이더 큐브 생성하고 관심 인덱스를 추출하는 과정을 살펴본다.
RFFT 수행부(310)는 로데이터를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하고, 거리 데이터를 수신 안테나 거리 단위로 푸리에 변환하여 각 인덱스(angle index)별 계수 값인 각 데이터를 생성할 수 있다. 즉, RFFT 수행부(310)는 첩 구조에서 설정한 ADC 샘플링 개수에 대해 FFT를 수행하여 fast time data를 거리 정보로 변환할 수 있다. RFFT 수행부(310)는 active chirp time 사이의 idle time 동안에 FFT를 수행할 수 있다.
DFFT 수행부(330)는 RFFT 수행부(310)가 생성한 거리 데이터 및 각 데이터를 상기 복수개의 첩 신호 동안 수집하여 첩 주기 단위로 푸리에 변환하여 도플러 인덱스(doppler index)별 계수 값인 시간별(속도) 데이터를 생성할 수 있다. 즉, DFFT 수행부(330)는 3D 레이더 큐브에 알고리즘을 수행하기 위한 최소한의 첩 개수가 모이면, 모든 거리 인덱스에 대해 첩(또는 slow time) axis로 FFT를 취하여 속도 정보를 생성할 수 있다.
ROI 추출부(350)는 실내의 천장에서 바닥에 해당하는 거리를 관심 거리로 선정하여, 거리 인덱스에서 관심 거리 인덱스를 추출할 수 있다. ROI 추출부(350)는 생성한 거리 데이터와 각 데이터 중에 실내의 천장에서 바닥에 해당하는 부분을 관심 거리(Range of Interest, ROI)로 선정하여 선정된 데이터 인덱스만 추출하여 메모리에 저장할 수 있다. ROI 추출부(350)는 관심 거리에 해당하는 인덱스만을 추출하여 저장함으로써 메모리의 제한된 크기를 효율적으로 이용할 수 있다.
DOI 추출부(370)는 호흡 속도에 해당하는 도플러를 관심 도플러로 선정하여, 도플러 인덱스에서 관심 도플러 인덱스를 추출할 수 있다. DOI 추출부(370)는 DFFT 수행부(330)에서 생성한 데이터 중에 호흡 속도에 해당하는 부분을 관심 도플러(Doppler of Interest, DOI)로 선정하여 선정된 도플러 인덱스만 추출하여 메모리에 저장할 수 있다. DOI 추출부(370)는 관심 도플러에 해당하는 인덱스만을 추출하여 저장함으로써 메모리의 제한된 크기를 효율적으로 이용하고 2D 빔포밍 연산 시간을 최소화할 수 있다.
도 6은 본 발명의 실시예에 따른 vital 존재 여부에 따른 DOI 영역 내 데이터 특성을 나타낸다. 도 6을 참조하면, 실내에 사람이 존재하는 경우(좌)와 존재하지 않는 경우를 비교(우)하였을 때, DFFT 수행부(330)에서 생성한 데이터 중에서 DOI(관심 도플러) 영역의 데이터에 구분 가능한 변화가 발생하는 것을 확인할 수 있다. 따라서, DOI 추출부(370)는 관심 도플러에 해당하는 인덱스만을 추출하여 vital 존재 여부를 정확히 판단하게 함과 동시에 연산량을 감소시킬 수 있다.
제 2 로우 레벨 신호처리 단(400)은 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행할 수 있다. 제 2 로우 레벨 신호처리 단(400)은 2D 빔포밍을 이용하여 거리별 Az(azimuth)-El(elevation) 히트맵(heatmap)을 생성하고 클러스터링을 수행하여 vital 유무를 확인하기 위한 데이터를 하이 레벨 신호처리 단(500)에 제공할 수 있다.
도 7은 본 발명의 실시예에 따른 제 2 로우 레벨 신호처리 단(400)이 생성한 Az-El 히트맵을 나타낸다. 도 7을 참조하면, 제 2 로우 레벨 신호처리 단(400)은 추출된 거리 인덱스 및 도플러 인덱스에 대하여 2D 빔 스티어링 벡터를 내적 연산하여 Az-El의 2D 빔포밍을 수행하고, 비 코히런트 집적(non-coherent integration)을 수행하여 거리 인덱스마다 Az-El 히트맵을 생성할 수 있다. 제 2 로우 레벨 신호처리 단(400)은 도플러 인덱스에 대해 비 코히런트 집적을 수행하여 SNR(signal-to-noise ratio)을 향상시킬 수 있다.
도 8는 본 발명의 실시예에 따른 MIMO 안테나의 가상 안테나 배열을 나타낸다. 도 8을 참조하면, 제 2 로우 레벨 신호처리 단(400)은 MIMO 안테나(100)의 ‘L’ shaped virtual array에 해당하는 2D 빔 스티어링 벡터를 내적 연산할 수 있다.
제 2 로우 레벨 신호처리 단(400)이 생성한 Az-El 히트맵은 각각의 거리 인덱스에 대한 각도가 2차원으로 표현될 수 있다. Az-El 히트맵은 쌓으면 3차원 공간에서의 거리와 각도로 표현될 수 있다. Az-El 히트맵은 사람이 있는 위치와 그렇지 않은 위치를 신호의 크기로 구분할 수 있다. 예를 들면, 신호가 큰 위치는 노란색, 신호가 작은 위치는 파란색으로 표현될 수 있다. 제 2 로우 레벨 신호처리 단(400)은 Az-El 히트맵을 기설정된 기준값으로 CFAR를 수행하여 노이즈를 제거할 수 있다.
제 2 로우 레벨 신호처리 단(400)은 각각의 거리 인덱스에 해당하는 Az-El 히트맵에 대하여 CFAR(Constant False Alarm Rate) 연산을 수행할 수 있다. 제 2 로우 레벨 신호처리 단(400)은 2D CA-CFAR 연산을 수행하여 SNR을 향상시킬 수 있다. 여기에서, CFAR 연산은 특정 타겟에 대해 오류 알람을 하지 않게 임계 값을 고정하지 않고 프레임을 나누어 유동적으로 세팅하여 알람 오류를 조절하기 위해 사용되는 알고리즘이다. 제 2 로우 레벨 신호처리 단(400)은 CFAR을 수행하여 검출하고자 하는 신호의 크기를 증폭시킬 수 있다.
제 2 로우 레벨 신호처리 단(400)은 CFAR 수행 결과를 도 8과 같이 scatter 형태로 출력할 수 있다. 제 2 로우 레벨 신호처리 단(400)은 출력된 scatter로 클러스터링을 수행할 수 있다. 클러스터링은 유사한 특성을 가진 데이터들을 같은 집단으로 분류하는 방법이다.
도 8은 본 발명의 실시예에 따른 Az-El 히트맵에 대하여 2D CA-CFAR 연산을 수행한 결과를 나타낸다. 도 8을 참조하면, 제 2 로우 레벨 신호처리 단(400)은 각각의 거리 인덱스의 Az-El 히트맵에 대하여 2D CA-CFAR 연산을 수행한 scatter 형태의 출력 데이터에 대하여 2D 클러스터링(Density-Based Spatial Clustering of Applications with Noise, DBSCAN)을 수행할 수 있다.
DBSCAN은 정답 데이터 없는 데이터를 통해서 유의미한 특징과 값을 찾아내는 비지도학습에 속한다. DBSCAN은 데이터 들이 많이 몰려 있어 밀도가 높은 부분을 군집화하는 밀도 기반 클러스터링 알고리즘이다. DBSCAN은 특정 데이터를 기준으로 미리 정해놓은 반경 k 내에(eps) 미리 정해놓은 최소 n개 이상의 데이터(min_samples)가 있으면 하나의 군집으로 판단한다. 여기에서, eps(epsilon)이란 특정 데이터를 기준으로 군집을 만들 때 살펴보고자 하는 반경을 의미하고, min_samples는 군집을 만들 때 eps 내에 있어야 하는 최소 데이터 수를 의미한다. DBSCAN은 각 데이터를 기준으로 eps 내에 min_samples 수의 데이터가 있는지 확인한다. DBSCAN은 조건이 만족한다면 해당 데이터는 하나의 군집이 된다.
제 2 로우 레벨 신호처리 단(400)은 CFAR를 통해 1차적으로 노이즈를 제거하고 DBSCAN을 통해 2차적으로 노이즈를 제거할 수 있다. 여기에서, 클러스터링을 통해 추출된 군집의 개수는 vital 유무를 조사하기 위한 데이터의 개수이며, 클러스터들의 정보는 하이 레벨 신호처리 단(500)에 제공될 수 있다.
제 2 로우 레벨 신호처리 단(400)은 CFAR 수행 출력 데이터에 대하여 2D 클러스터링을 수행한 후 노이즈에 해당하는 scatter를 제거할 수 있다. 제 2 로우 레벨 신호처리 단(400)은 추출된 scatter 중 크기 값이 기준값 이하인 데이터를 노이즈로 판단하여 제거할 수 있다.
도 9는 본 발명의 실시예에 따른 제 2 로우 레벨 신호처리 단(400)에서 수행되는 빔포밍과 클러스터링의 흐름도를 나타낸다. 도 9를 참조하면, 제 2 로우 레벨 신호처리 단(400)은 먼저 추출된 거리 인덱스 및 도플러 인덱스에 대하여 2D 빔 스티어링 벡터를 내적 연산하여 Az-El의 2D 빔포밍을 수행할 수 있다. 다음으로, 제 2 로우 레벨 신호처리 단(400)은 비 코히런트 집적(non-coherent integration)을 수행하여 거리 인덱스마다 Az-El 히트맵을 생성할 수 있다. 이어서, 제 2 로우 레벨 신호처리 단(400)은 각각의 Az-El 히트맵에 대하여 CFAR 연산을 수행하여 CFAR 수행 결과를 scatter 형태로 출력할 수 있다. 뒤이어, 제 2 로우 레벨 신호처리 단(400)은 CFAR 수행 출력 데이터에 대해 2D 클러스터링을 수행하고 노이즈에 해당하는 scatter를 제거할 수 있다.
도 10은 본 발명의 실시예에 따른 하이 레벨 신호처리의 체인 플로우를 나타낸다. 도 10을 참조하면, 하이 레벨 신호처리 단(500)은 제 1 로우 레벨 신호처리 단(300)에서 생성한 3D 레이더 큐브와 제 2 로우 레벨 신호처리 단(400)에서 수행한 클러스터링 데이터를 획득하여 클러스터의 대표 위치를 파악하고, 대표 위치에서의 slow(=chirp) time data에서 vital 특징을 추출할 수 있다.
하이 레벨 신호처리 단(500)은 제 2 로우 레벨 신호처리 단(400)에서 2D 클러스터링된 클러스터 중 크기 값이 가장 큰 데이터를 대표 클러스터로 선정하고, 선정된 대표 클러스터 좌표에 해당하는 2D 빔 스티어링 벡터를 3D 레이더 큐브에 적용하여 slow time data를 취득할 수 있다.
도 11은 본 발명의 실시예에 따른 하이 레벨 신호처리 단(500)이 취득한 slow time data를 나타낸다. 도 11을 참조하면, slow time data는 Real 값과 Imagine 값을 x, y축으로 표현되는 데이터를 의미한다. slow time data는 원 또는 호를 그릴 수 있고, 이러한 모양에 대한 정보로 사람의 유무를 판단하는 자료로 사용될 수 있다.
검출 단(600)은 하이 레벨 신호처리 단(500)에서 추출한 vital 특징으로 사람을 감지하고 위치를 검출할 수 있다. 검출 단(600)은 하이 레벨 신호처리 단(500)에서 추출한 slow time data의 형태를 분석하여 사람의 유무, 사람의 위치, 인원수 등을 검출할 수 있다. 검출 단(600)은 딥러닝을 이용하여 사람의 유무, 사람의 위치, 인원수 등을 검출할 수 있다. 검출 단(600)은 3D 레이더 큐브에서 사람이 존재하는 위치의 인덱스 값이 큰 점, 첩 주기 시간에 따라 사람이 존재하는 위치의 인덱스 값이 변하는 점, 실내 특정 공간에서 사람이 존재할 수 있는 위치가 제한되어 있어서 자리별로 거리 및 각 인덱스를 미리 지정할 수 있는 점을 이용하여 사람이 존재하는 위치와 인원수를 검출할 수 있다.
본 발명의 다른 실시예로, 레이더 시스템에 의해 수행되는 사람의 위치를 감지하는 신호처리 방법은 로데이터를 저장하는 단계, 3D 레이더 큐브를 생성하는 단계, 빔포밍 및 클러스터링을 수행하는 단계, vital 특징을 추출하는 단계, 및 검출하는 단계를 포함할 수 있다.
로데이터를 저장하는 단계는 복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩 당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장할 수 있다. 로데이터를 저장하는 단계는 프론트 엔드 단(200)에서 수행되는 동작을 의미한다.
3D 레이더 큐브를 생성하는 단계는 저장된 로데이터에 대해 푸리에 변환을 수행하여 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성할 수 있다. 3D 레이더 큐브를 생성하는 단계는 제 1 로우 레벨 신호처리 단(300)에서 수행되는 동작을 의미한다.
빔포밍 및 클러스터링을 수행하는 단계는 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행할 수 있다. 빔포밍 및 클러스터링을 수행하는 단계는 제 2 로우 레벨 신호처리 단(400)에서 수행되는 동작을 의미한다.
vital 특징을 추출하는 단계는 생성된 3D 레이더 큐브와 수행된 클러스터링 데이터를 취득하여 클러스터의 대표 위치를 파악하고, 해당 대표 위치에서의 slow time data를 취득하여 vital 특징을 추출할 수 있다. vital 특징을 추출하는 단계는 하이 레벨 신호처리 단(500)에서 수행되는 동작을 의미한다.
검출하는 단계는 추출한 vital 특징으로 사람을 감지하고 위치를 검출할 수 있다. 검출하는 단계는 검출 단(600)에서 수행되는 동작을 의미한다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
[부호의 설명]
10 : 레이더 시스템
100 : MIMO 안테나
200 : 프론트 엔드 단
300 : 제 1 로우 레벨 신호처리 단
310 : RFFT 수행부
330 : DFFT 수행부
350 : ROI 추출부
370 : DOI 추출부
400 : 제 2 로우 레벨 신호처리 단
500 : 하이 레벨 신호처리 단
600 : 검출 단

Claims (11)

  1. 복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩 당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장하는 프론트 엔드 단;
    상기 프론트 엔드 단에 저장된 로데이터에 대해 푸리에 변환을 수행하고, 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성하는 제 1 로우 레벨 신호처리 단;
    상기 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행하는 제 2 로우 레벨 신호처리 단;
    상기 제 2 로우 레벨 신호처리 단에서 수행한 클러스터링 데이터에서 vital 특징을 추출하는 하이 레벨 신호처리 단; 및
    상기 하이 레벨 신호처리 단에서 추출한 vital 특징으로 사람을 감지하고 위치를 검출하는 검출 단;을 포함하는 레이더 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 로우 레벨 신호처리 단은,
    상기 로데이터를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하고, 상기 거리 데이터를 수신 안테나 거리 단위로 푸리에 변환하여 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 RFFT 수행부 및
    상기 RFFT 수행부가 생성한 거리 데이터 및 각 데이터를 상기 복수개의 첩 신호 동안 수집하여 첩 주기 단위로 푸리에 변환하여 도플러 인덱스(doppler index)별 계수 값인 시간별(속도) 데이터를 생성하는 DFFT 수행부를 포함하는 것을 특징으로 하는 레이더 시스템.
  3. 제 1 항에 있어서,
    상기 제 1 로우 레벨 신호처리 단은,
    실내의 천장에서 바닥에 해당하는 거리를 관심 거리로 선정하여, 상기 거리 인덱스에서 관심 거리 인덱스를 추출하는 ROI 추출부;를 포함하는 것을 특징으로 하는 레이더 시스템.
  4. 제 1 항에 있어서,
    상기 제 1 로우 레벨 신호처리 단은,
    호흡 속도에 해당하는 도플러를 관심 도플러로 선정하여, 상기 도플러 인덱스에서 관심 도플러 인덱스를 추출하는 DOI 추출부;를 포함하는 것을 특징으로 하는 레이더 시스템.
  5. 제 1 항에 있어서,
    상기 제 2 로우 레벨 신호처리 단은,
    추출된 거리 인덱스 및 도플러 인덱스에 대하여 2D 빔 스티어링 벡터를 내적 연산하여 Az-El의 2D 빔포밍을 수행하고, 비 코히런트 집적을 수행하여 거리 인덱스마다 Az-El 히트맵을 생성하는 것을 특징으로 하는 레이더 시스템.
  6. 제 5 항에 있어서,
    상기 제 2 로우 레벨 신호처리 단은,
    각각의 거리 인덱스에 해당하는 Az-El 히트맵에 대하여 CFAR 연산을 수행하는 것을 특징으로 하는 레이더 시스템.
  7. 제 6 항에 있어서,
    상기 제 2 로우 레벨 신호처리 단은,
    CFAR 수행 결과를 scatter 형태로 출력하는 것을 특징으로 하는 레이더 시스템.
  8. 제 7 항에 있어서,
    상기 제 2 로우 레벨 신호처리 단은,
    CFAR 수행 출력 데이터에 대하여 2D 클러스터링을 수행한 후 노이즈에 해당하는 scatter를 제거하는 것을 특징으로 하는 레이더 시스템.
  9. 제 1 항에 있어서
    상기 하이 레벨 신호처리 단은,
    상기 제 1 로우 레벨 신호처리 단에서 생성한 3D 레이더 큐브와 상기 제 2 로우 레벨 신호처리 단에서 수행한 클러스터링 데이터를 획득하여 상기 클러스터링 데이터로부터 클러스터의 대표 위치를 파악하고, 상기 대표 위치에서의 slow time data를 획득하여 상기 slow time data에서 vital 특징을 추출하는 것을 특징으로 하는 레이더 시스템.
  10. 제 1 항에 있어서,
    상기 하이 레벨 신호처리 단은,
    상기 제 2 로우 레벨 신호처리 단에서 2D 클러스터링된 클러스터 중 크기 값이 가장 큰 데이터를 대표 클러스터로 선정하고, 선정된 대표 클러스터 좌표에 해당하는 2D 빔 스티어링 벡터를 3D 레이더 큐브에 적용하여 slow time data를 취득하는 것을 특징으로 하는 레이더 시스템.
  11. 레이더 시스템에 의해 수행되는 사람의 위치를 감지하는 신호처리 방법에 있어서,
    복수개의 수신 안테나에 수신되는 복수개의 첩 신호(chirp signal)를 하나의 첩 당 N개로 샘플링하여 획득한 로데이터(raw data)를 저장하는 단계;
    저장된 로데이터에 대해 푸리에 변환을 수행하여 거리 인덱스(range index) 및 각 인덱스(angle index)에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축(doppler index) 상에서 누적하여 3D 레이더 큐브를 생성하는 단계;
    상기 3D 레이더 큐브에서 추출된 데이터에 대하여 빔포밍(beamforming) 및 클러스터링(clustering)을 수행하는 단계;
    생성된 3D 레이더 큐브와 수행된 클러스터링 데이터를 취득하여 클러스터의 대표 위치를 파악하고, 해당 대표 위치에서의 slow time data를 취득하여 vital 특징을 추출하는 단계; 및
    추출한 vital 특징으로 사람을 감지하고 위치를 검출하는 단계;를 포함하는 신호처리 방법.
PCT/KR2023/002870 2022-03-03 2023-03-02 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템 WO2023167507A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0027436 2022-03-03
KR1020220027436A KR20230130365A (ko) 2022-03-03 2022-03-03 사람을 감지하는 신호처리 방법 및 레이더 시스템

Publications (1)

Publication Number Publication Date
WO2023167507A1 true WO2023167507A1 (ko) 2023-09-07

Family

ID=87884031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002870 WO2023167507A1 (ko) 2022-03-03 2023-03-02 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템

Country Status (2)

Country Link
KR (1) KR20230130365A (ko)
WO (1) WO2023167507A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272086A (zh) * 2023-11-22 2023-12-22 中国电子科技集团公司第二十九研究所 一种基于dbscan的雷达信号扫描包络分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110134557A (ko) * 2010-06-09 2011-12-15 재단법인대구경북과학기술원 이동타겟 검출 방법 및 그 장치
JP2020024185A (ja) * 2018-06-22 2020-02-13 旭化成エレクトロニクス株式会社 センサ装置およびシステムならびに生体センシング方法およびシステム
KR20210001840A (ko) * 2019-06-27 2021-01-07 주식회사 에이유 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템
KR20210001575A (ko) * 2019-06-28 2021-01-07 포항공과대학교 산학협력단 잡음 환경 내 실시간 심장 박동수 탐지 장치 및 그 방법
KR20210006225A (ko) * 2019-07-08 2021-01-18 에스케이텔레콤 주식회사 레이더 기반 다중 객체 생체신호 측정방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102016251B1 (ko) 2018-02-14 2019-08-29 박성대 감지성능을 강화한 차량용 재실감지장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110134557A (ko) * 2010-06-09 2011-12-15 재단법인대구경북과학기술원 이동타겟 검출 방법 및 그 장치
JP2020024185A (ja) * 2018-06-22 2020-02-13 旭化成エレクトロニクス株式会社 センサ装置およびシステムならびに生体センシング方法およびシステム
KR20210001840A (ko) * 2019-06-27 2021-01-07 주식회사 에이유 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템
KR20210001575A (ko) * 2019-06-28 2021-01-07 포항공과대학교 산학협력단 잡음 환경 내 실시간 심장 박동수 탐지 장치 및 그 방법
KR20210006225A (ko) * 2019-07-08 2021-01-18 에스케이텔레콤 주식회사 레이더 기반 다중 객체 생체신호 측정방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272086A (zh) * 2023-11-22 2023-12-22 中国电子科技集团公司第二十九研究所 一种基于dbscan的雷达信号扫描包络分割方法
CN117272086B (zh) * 2023-11-22 2024-02-13 中国电子科技集团公司第二十九研究所 一种基于dbscan的雷达信号扫描包络分割方法

Also Published As

Publication number Publication date
KR20230130365A (ko) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111289954B (zh) 用于毫米波雷达目标跟踪的点云划分与航迹匹配方法
WO2023167507A1 (ko) 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템
CN106814358A (zh) 一种用于超宽带穿墙雷达中多人体目标检测的系统及方法
CN109672485B (zh) 基于信道状态信息室内人员实时入侵及运动速度检测方法
EP3557283A1 (en) Liquid detection using millimeter-wave radar sensor
CN103197302B (zh) 一种适用于穿墙雷达成像的目标位置提取方法
CN108924736A (zh) 一种基于PCA-Kalman的无源室内人员状态检测方法
CN111157988B (zh) 一种基于rdtm与atm融合的手势雷达信号处理方法
CN113854981A (zh) 一种基于毫米波雷达的运动多人生命体征监测方法
Abedi et al. AI-powered in-vehicle passenger monitoring using low-cost mm-wave radar
CN111999735B (zh) 一种基于径向速度和目标跟踪的动静目标分离方法
CN113835074A (zh) 一种基于毫米波雷达的人流量动态监测方法
CN112998668A (zh) 基于毫米波的非接触式远场多人体呼吸心率监测方法
WO2021172126A1 (ja) 推定装置、推定方法、および、プログラム
WO2018135754A1 (ko) 레이더 시스템의 클러터 제거 및 다중 표적 추적방법
CN112034433B (zh) 一种基于干扰信号重构的穿墙无源移动目标检测方法
CN113050797A (zh) 一种通过毫米波雷达实现手势识别的方法
WO2022220464A1 (en) Dnn-based human face classificati0n
CN114814832A (zh) 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
WO2023158033A1 (ko) 비접촉식 생체 신호 측정 시스템 및 방법
CN115061113A (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN114095102B (zh) 一种基于时频分析的无人机遥控信号识别方法
Wang et al. Multi-person device-free gesture recognition using mmWave signals
CN113591760A (zh) 基于毫米波的远场多人体的步态监测方法
CN114511873B (zh) 基于毫米波雷达成像的静态手势识别方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763705

Country of ref document: EP

Kind code of ref document: A1