KR20210001840A - 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템 - Google Patents
딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템 Download PDFInfo
- Publication number
- KR20210001840A KR20210001840A KR1020190144252A KR20190144252A KR20210001840A KR 20210001840 A KR20210001840 A KR 20210001840A KR 1020190144252 A KR1020190144252 A KR 1020190144252A KR 20190144252 A KR20190144252 A KR 20190144252A KR 20210001840 A KR20210001840 A KR 20210001840A
- Authority
- KR
- South Korea
- Prior art keywords
- index
- radar signal
- data
- distance
- fourier transform
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 title claims description 40
- 238000013135 deep learning Methods 0.000 title claims description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000003672 processing method Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000002093 peripheral effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019441 ethanol Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/04—Systems determining presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/354—Extracting wanted echo-signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/356—Receivers involving particularities of FFT processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
레이더 시스템에 의해 수행되는 레이더 신호 처리 방법은, M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득하는 단계, FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행하고 그리고 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하는 단계, 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성하는 단계, 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행하는 단계, 관심 거리 인덱스(range index)및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성하는 단계, 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산하는 단계, 및 각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택하는 단계를 포함할 수 있다.
Description
본 특허는 레이더와 AI(Artificial Intelligence) 딥러닝에 관한 것이다. 레이더를 이용해서 타겟를 감지한 후 감지된 신호를 클러터제거 알고리즘 및 딥러닝을 이용하여 사람과 사물을 구별하고 인원 수와 위치를 판별하는 기술이다.
레이더 기술은 비행기 군용에서 사용되었으며 최근에 자동차용으로도 사용되고 있다. 딥러닝 기술은 영상처리, 의료, 로봇 기술 등에서 다양하게 활용되고 있는 기술이다. 기존의 레이더 기술은 주변 물체를 감지한 후 물체의 거리, 이동속도 등을 감지는 하고 있지만, 감지된 물체가 사람인지 물체인지 구분하는 능력은 갖추고 있지 않다.
현재 탐지된 물체가 생명체인지를 판별하는데 초음파 센서가 이용 중이다. 하지만 초음파 센서는 정확도가 너무 낮기 때문에 다른 센서의 개발이 요구되는 실정이다. 딥러닝은 현재 많은 분야에서 각광 받는 분야이며, 의료, 산업, 자율 주행, 방산 등에서 많이 사용되고 있다. 특히 딥러닝의 경우 학습 가능한 데이터의 숫자만 확보할 경우 판단 정확도가 매우 높아 최근 머신 러닝보다 많이 사용되고 있다.
본 발명의 목적은 차량 혹은 특정 공간에서 사람의 유무 및 인원 수를 실시간으로 모니터링하여 차량 및 건물 등 특정 공간에서 사람이 방치되어 발생할 수 있는 모든 가능한 문제들을 미연에 방지하는 것이다.
본 발명의 실시 예에 따른 레이더 시스템은 전파 신호를 송출하고 수신하는 레이더 프론트 엔드 단, 수집된 신호를 1차적으로 가공하는 레이더 신호처리 단, 클러터 제거 및 데이터 추출 알고리즘, 최종 판단을 수행하는 딥러닝 단을 포함할 수 있다. 레이더 프론트 엔드 단은 사람을 맞고 돌아온 전파를 수신하여 로우(raw) 데이터를 생성할 수 있다. 레이더 신호처리 단은 생성된 로우 데이터를 1차 가공한다. 클러터 제거 및 데이터 추출 알고리즘에서는 사람과 사물을 구별하여 사물에 의해 발생하는 클러터는 제거하고 딥러닝 학습 모델을 형성하기 위한 형태로 데이터를 추출한다. 딥러닝 단은 딥러닝 학습을 통해 사람 유무, 인원 수 판단 및 검출 알고리즘으로 구성된다.
본 명세서 상의 실시 예에 따른 레이더 시스템에 의해 수행되는 레이더 신호 처리 방법은, M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득하는 단계, FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행하고 그리고 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하는 단계, 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성하는 단계, 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행하는 단계, 관심 거리 인덱스(range index)및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성하는 단계, 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산하는 단계, 및 각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택하는 단계를 포함할 수 있다.
본 명세서의 다른 실시 예에 따른 레이더 시스템은, M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득하는 레이더 프론트 엔드 단, 관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성하는 레이더 신호처리 단, 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산하는 딥러닝 단, 및 각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택하는 생체 신호 및 인원 수 검출 단을 포함하되, 레이더 신호처리 단은: FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행하고, 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하고, 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성하고, 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행할 수 있다.
일반적인 레이더 신호처리 기술으로만 사람 유무, 인원 수와 같은 정보를 검출하기 위해서는 매우 복잡한 알고리즘이 필요하게 된다. 또한 레이더 센서의 감지 시간이 많이 소요될 수 있으며 오탐지율이 높다.
본 발명과 같이 레이더 신호처리와 딥러닝 기술을 융합시키게 되면 전체 알고리즘의 복잡도를 크게 낮출 수 있다. 따라서 레이더 센서의 감지 시간을 크게 줄일 수 있다. 또한 오탐지율을 크게 낮출 수 있다. 전체 알고리즘이 간단해지게 되면 하드웨어에 요구되는 성능을 낮출 수 있다. 이는 하드웨어의 단가 절감으로도 이어질 수 있다.
도 1은 일 실시 예에 따른 레이더 신호 처리 방법의 구성을 도시한 흐름도이다.
도 2는 3차 고속 푸리에 변환을 통해 데이터 큐브를 산출하는 방법을 도시한 것이다.
도 3은 클러터 제거 알고리즘을 도시한 것이다.
도 4는 합성곱 신경회로망을 통해 사람의 위치와 인원수를 결정하는 흐름을 도시한 것이다.
도 5는 본 발명의 실시 예에 따른 레이더 시스템을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 생체 신호 검출 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시 예에 따른 사람 유무, 인원 수 검출 방법을 나타내는 순서도이다.
도 2는 3차 고속 푸리에 변환을 통해 데이터 큐브를 산출하는 방법을 도시한 것이다.
도 3은 클러터 제거 알고리즘을 도시한 것이다.
도 4는 합성곱 신경회로망을 통해 사람의 위치와 인원수를 결정하는 흐름을 도시한 것이다.
도 5는 본 발명의 실시 예에 따른 레이더 시스템을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 생체 신호 검출 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시 예에 따른 사람 유무, 인원 수 검출 방법을 나타내는 순서도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 본 특허는 아래 도면들을 참조하여 레이더와 신호처리 기술, 딥러닝 기술을 이용해서 물체 인식의 정확도 및 레이더 신호처리 결과를 최대치로 올리는 방법에 대해서 기술한다.
본 명세서에서 언급되는 단(terminal), 유닛(unit), 블록(block), ~기(~or, ~er)는 하드웨어, 소프트웨어, 및 그것들의 조합으로 구성될 수 있다. 하드웨어는 CPU(central processing unit), GPU(graphics processing unit), VPU(vision processing unit), 및 NPU(neural processing unit), DSP(digital signal processor), SoC(system on chip), FPGA(field programmable gate array array), 및 ASIC(application specific Integrated Circuit)일 수 있다. 소프트웨어는 기계어, 펌웨어(firmware), 임베디드 코드(embedded code), 및 응용 소프트웨어일 수 있다. 본 명세서에서 언급되는 단(terminal), 유닛(unit), 블록(block), ~기(~or, ~er)는 실질적으로 동등한 의미로 사용될수 있으며, 경우에 따라 서로 혼용되어 사용될 수 있다.
도 1은 일 실시 예에 따른 레이더 신호 처리 방법의 구성을 도시한 흐름도이다. 안테나에서 수신된 레이더 신호는 증폭, 주파수 합성 및 필터링되고 디지털로 샘플링되어 제안된 발명에 따른 FMCW(Frequency-Modulated Continuous-Wave) 디지털 레이더 신호로 공급된다.
도 2는 M개의 수신단, C개의 첩(chirp), 하나의 첩 당 N개 샘플링(sampling)를 통해 얻어진 FMCW 레이더 로우 데이터(raw data)를 3차 고속 푸리에(fast fourier transform; FFT) 변환을 통해 데이터 큐브(data cube)를 산출하는(구하는, 획득하는, 또는 생성하는) 방법을 도시한 것이다.
도 3은 클러터 제거 알고리즘을 도시한 것이다. 도시한 바와 같이 데이터 큐브에서 각각의 첩에 대해서 생성된 거리-각 맵(range-angle map)을 첩 주기의 시간 축 상에서 서로 감산하는(빼주는) 방식으로 클러터 제거 알고리즘을 수행한다. 거리-각 맵에서 타겟이 사람인 경우 첩 주기의 시간 축 상에서 신호의 세기가 달라지고, 타겟이 사물인 경우 첩 주기의 시간 축 상에서 신호의 세기가 일정하게 유지되는 점을 이용하여 각각의 첩에 대해 생성되는 거리-각 맵을 시간 축 상에서 서로 빼주게 되면 타켓이 사람인 부분은 남게 되고(유지되고), 타겟이 사물인 부분은 서로 상쇄되어 사라지게 된다. 이를 이용하여 사람과 사물을 구분할 수 있다.
도 3에 도시된 것과 같이 클러터 제거 알고리즘을 적용한 데이터 큐브에서 신호의 세기가 큰 인덱스를 사람이 존재하는 위치로 가정할 수 있다. 따라서 해당 인덱스 주변을 관심 거리 인덱스(range index) 및 관심 각 인덱스(angle index)로 정의한다. 해당하는 데이터로 구성되는 2차원 데이터로부터 첩 주기의 시간 축 상에서 누적한 3차원 데이터를 추출한다.
도 4는 추출된 관심 거리 및 각 인덱스를 입력으로 받아 합성곱 신경회로망을 통해 사람의 위치와 인원수를 결정하는 흐름을 도시한 것이다. 각각의 거리 및 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선정한다.
본 명세서의 일 실시 예에 따르면, 도 1 내지 도 4를 참조하여 설명된 본 발명에 따른 레이더 신호 처리 방법을 컴퓨터에 실행시키기 위한 명령으로 이루어지는 프로그램을 저장한 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
도 5는 본 발명의 실시 예에 따른 전체 시스템 구조를 나타내는 도면이다. 레이더 시스템(100)은 레이더 프론트 엔드 단(110), 레이더 신호처리 단(120), 딥러닝 단(130), 생체 신호 및 인원 수 검출 단(140)을 포함할 수 있다.
레이더 프론트 엔드 단(110)은 레이더 로우 데이터(raw data)를 검출할 수 있다. 레이더 프론트 엔드 단(110)은 전파 신호를 송출하고 수신할 수 있다. 레이더 프론트 엔드 단(110)은 M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득할(구할) 수 있다(M, C, N은 1 이상의 정수).
레이더 신호처리 단(120)은 딥러닝에 적합한 형태로 로우 데이터(raw data)를 전처리할 수 있다. 레이더 신호처리 단(120)은 수집된 신호를 1차적으로 가공할 수 있다. 레이더 신호처리 단(120)은 딥러닝 학습 모델을 형성하기 위한 형태로 가공된 데이터를 저장할 수 있다. 레이더 신호처리 단(120)은 로우 데이터에 기초하여 신호의 위상을 검출할 수 있다.
레이더 신호처리 단(120)은 관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성할 수 있다. 다른 실시 예에서, 레이더 프론트 엔드 단(110)도 관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성할 수 있다.
레이더 신호처리 단(120)은 FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행할 수 있다. 레이더 신호처리 단(120)은 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산할 수 있다. 레이더 신호처리 단(120)은 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성할 수 있다. 레이더 신호처리 단(120)은 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행할 수 있다.
레이더 신호처리 단(120)은 FMCW 디지털 레이더 신호를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하는 제 1 푸리에 변환, 제 1 푸리에 변환의 결과를 M개의 수신단으로부터 수집하여 수신 안테나 거리 단위로 푸리에 변환하고 그리고 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 제 2 푸리에 변환, 및 제 2 푸리에 변환의 결과를 C개의 첩 동안 수집하여 첩 주기 단위로 푸리에 변환하여 첩 인덱스(chirp index)별 계수 값인 시간별 데이터를 생성하는 제 3 푸리에 변환을 수행할 수 있다. 다른 실시 예에서, 제 1 내지 제 3 푸리에 변환 중 적어도 하나는 딥러닝 단(130)에 의해 (대신) 수행될 수도 있다.
딥러닝 단(130)은 전처리된 로우 데이터에 기초하여 사람이 있을 때와 사물이 있을 때 레이더에 들어오는 신호가 서로 다른 특성을 이용하여 딥러닝을 적용할 수 있다. 딥러닝 단(130)은 검출된 위상을 딥러닝을 이용하여 가공할 수 있다. 딥러닝 단(130)은 딥러닝 학습을 통해 사람 유무, 인원 수, 생체신호 검출 및 판단 알고리즘을 형성할 수 있다. 딥러닝 단(130)은 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산할(구할, 도출할, 또는 획득할) 수 있다.
다른 실시 예에서, 딥러닝 단(130)은, FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행할 수 있고, 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산할 수 있고, 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성할 수 있고, 그리고/또는 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행할 수 있다.
일 실시 예에서, 레이더 신호처리 단(120) 또는 딥러닝 단(130)은 각각의 첩들에 대해 생성되는 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산함으로써, 타켓이 사람인 부분은 유지하고 그리고 타겟이 사물인 부분은 서로 상쇄시킬 수 있다. 레이더 신호처리 단(120)에 의해 생성되는 거리-각 맵들에서, i) 타겟이 사람인 경우, 첩 주기의 시간 축 상에서 신호의 세기가 달라지고, 그리고 ii) 타겟이 사물인 경우 첩 주기의 시간 축 상에서 신호의 세기가 일정하게 유지될 수 있다.
생체 신호 및 인원 수 검출 단(140)은 딥러닝 적용 결과에 기초하여 생체 신호, 사람의 유무, 및 인원 수를 검출하고 판별할 수 있다. 생체 신호 및 인원 수 검출 단(140)은 각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택할 수 있다.
일 실시 예에서, 레이더 시스템(100)은 합성곱 신경회로망을 포함할 수 있다. 레이더 시스템(100)에 포함된 합성곱 신경회로망은 클러터를 제거한 데이터 큐브를 입력으로 받아 사람이 존재하는 위치의 인덱스 값이 큰 점, 첩 주기 시간에 따라 사람이 존재하는 위치의 인덱스 값이 변하는 점, 및/또는 차량 등 특정 공간에서 사람이 존재할 수 있는 위치가 제한되어 있어서 자리별로 거리 및 각 인덱스를 미리 지정할 수 있는 점을 이용하여 사람이 존재하는 위치와 인원수를 구할 수 있고, 위치별로 들어오는 파워의 값을 학습을 통해 각각의 위치마다 문턱 파워를 구함으로써 사람 유무와 인원수를 잘 검출할 수 있다.
레이더 시스템(100) 및 레이더 시스템(100)의 각 구성요소들(110, 120, 130, 및/또는 140)은 AND, OR, XOR, NOR, 래치, 플립플롭 등과 같은 논리소자들, 및 그것들의 조합으로 구현될 수 있고 또는 전용 회로(예컨대, FPGA(Field Programmable Gate Arrays), ASICs(Application Specific Integrated Circuits) 등)를 포함하여 구현되거나, 또는 SoC(System on Chip)로 구현될 수 있다.
도 6은 본 발명의 실시 예에 따른 생체 신호 검출 방법을 나타내는 순서도이다. 도 6은 도 5를 참조하여 설명될 것이다.
S110 단계에서, 레이더 프론트 엔드 단(110)은 레이더 로우 데이터(raw data)를 검출할 수 있다. S120 단계에서, 레이더 신호처리 단(120)은 로우 데이터에 1차 및 2차 고속 푸리에 변환(fast fourier transform; FFT)을 수행할 수 있다. S130 단계에서, 레이더 신호처리 단(120)은 고속 푸리에 변환 결과에 CFAR(Constant False Alarm Rate) 알고리즘을 적용할 수 있다. S140 단계에서, 레이더 신호처리 단(120)은 로우 데이터에 기초하여 신호의 위상을 검출할 수 있다. S150 단계에서, 딥러닝 단(130)은 검출된 위상을 딥러닝을 이용하여 가공할 수 있다. S160 단계에서, 생체 신호 및 인원 수 검출 단(140)은 딥러닝 적용 결과에 기초하여 생체 신호를 검출할 수 있다.
도 7은 본 발명의 실시 예에 따른 사람 유무, 인원 수 검출 방법을 나타내는 순서도이다. 도 7은 도 5를 참조하여 설명될 것이다.
S210 단계에서, 레이더 프론트 엔드 단(110)은 레이더 로우 데이터(raw data)를 검출할 수 있다. S220 단계에서, 레이더 신호처리 단(120)은 로우 데이터에 1차 및 2차 고속 푸리에 변환(fast fourier transform; FFT)을 수행할 수 있다. S230 단계에서, 레이더 신호처리 단(120)은 고속 푸리에 변환 결과에 CFAR(Constant False Alarm Rate) 알고리즘을 적용할 수 있다. S240 단계에서, 딥러닝 단(130)은 전처리된 로우 데이터에 기초하여 사람이 있을 때와 사물이 있을 때 레이더에 들어오는 신호가 서로 다른 특성을 이용하여 딥러닝을 적용할 수 있다. S250 단계에서, 생체 신호 및 인원 수 검출 단(140)은 딥러닝 적용 결과에 기초하여 사람의 유무, 및 인원 수를 검출하고 판별할 수 있다.
본 발명은 딥러닝을 이용한 사람 감지 및 인원 수 검출 레이더 신호 처리 방법을 제안한 것이다. 본 발명의 목적은 실시간으로 사람의 유무 및 인원 수 모니터링을 통하여 다양한 응용 분야에서 사고 예방 및 안전 관리에 사용되는 것이다. 본 발명에서는 클러서 제거 알고리즘을 제안하여 사람과 사물을 구분하였고, 딥러닝 기반의 합성곱 신경회로망(Convolution Neural Network, CNN)을 이용하여 최종 사람의 유무와 위치를 판단하였다. 일반적인 레이더 신호처리 기술로만 위와 같은 동작을 하기 위해서는 매우 복잡한 알고리즘이 필요하게 되지만 본 발명과 같이 레이더 신호처리와 딥러닝 기술을 융합시키게 되면 알고리즘의 복잡도를 크게 낮출 수 있다. 이를 통해 레이더 센서의 오탐지율 개선 및 하드웨어 단가 절감을 이루고자 한다.
본 발명에 따른 모니터링 시스템은 딥러닝 기반의 모델 학습을 통해 다양한 상황에서도 낮은 오탐지율을 보일 수 있다. 더욱이, 본 발명에 따른 모니터링 시스템은, 한 개의 센서로 한 개의 어플리케이션이 적용되는 시스템과 달리, 딥러닝을 통해서 졸음, 음주, 갑작스러운 운전자의 변화 등 여러 상황을 동시에 감지할 수 있다. 이 외의 응용 분야로써, 본 발명에 따른 모니터링 시스템은 재난 구조 현장, 실내용 네비게이션, 자율 주행 센서, 사람/자세 인식 시스템 등의 산업 분야에서도 응용될 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100: 레이더 시스템
110: 레이더 프론트 엔드 단
120: 레이더 신호처리 단
130: 딥러닝 단
140: 생체 신호 및 인원 수 검출 단
110: 레이더 프론트 엔드 단
120: 레이더 신호처리 단
130: 딥러닝 단
140: 생체 신호 및 인원 수 검출 단
Claims (11)
- 레이더 시스템에 의해 수행되는 레이더 신호 처리 방법에 있어서,
M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득하는 단계;
상기 FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행하고 그리고 상기 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하는 단계(M, C, N은 1 이상의 정수);
상기 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성하는 단계;
상기 거리-각 맵들을 첩 주기의 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행하는 단계;
관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 상기 첩 주기의 상기 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성하는 단계;
상기 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 상기 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산하는 단계; 및
각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택하는 단계를 포함하는 레이더 신호 처리 방법.
- 제 1 항에 있어서,
상기 데이터 큐브들을 계산하는 단계는:
상기 FMCW 디지털 레이더 신호를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하는 제 1 푸리에 변환 단계;
상기 제 1 푸리에 변환 단계의 결과를 상기 M개의 수신단으로부터 수집하여 수신 안테나 거리 단위로 푸리에 변환하고 그리고 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 제 2 푸리에 변환 단계; 및
상기 제 2 푸리에 변환 단계의 결과를 상기 C개의 첩 동안 수집하여 첩 주기 단위로 푸리에 변환하여 첩 인덱스(chirp index)별 계수 값인 시간별 데이터를 생성하는 제 3 푸리에 변환 단계를 포함하는 레이더 신호 처리 방법.
- 제 1 항에 있어서,
상기 클러터 제거 알고리즘을 수행하는 단계는:
상기 각각의 첩들에 대해 생성되는 상기 거리-각 맵들을 상기 첩 주기의 상기 시간 축 상에서 서로 감산함으로써, 타켓이 사람인 부분은 유지하고 그리고 타겟이 사물인 부분은 서로 상쇄시키는 단계를 포함하는 레이더 신호 처리 방법.
- 제 3 항에 있어서,
상기 클러터 제거 알고리즘을 수행하는 단계의 상기 데이터 큐브들에서 상기 각각의 첩들에 대해 생성되는 상기 거리-각 맵들에서:
상기 타겟이 상기 사람인 경우, 상기 첩 주기의 상기 시간 축 상에서 신호의 세기가 달라지고, 그리고
상기 타겟이 상기 사물인 경우 상기 첩 주기의 상기 시간 축 상에서 상기 신호의 세기가 일정하게 유지되는 레이더 신호 처리 방법.
- 제 1 항에 있어서,
상기 레이더 신호 처리 방법은 상기 합성곱 신경 회로망을 이용하여 사람이 존재하는 위치와 인원수를 계산하고 그리고 위치별로 들어오는 파워의 값에 대한 학습을 통해 각각의 위치마다 문턱 파워를 계산하는 단계를 더 포함하되,
상기 합성곱 신경회로망은:
클러터를 제거한 데이터 큐브들을 입력으로 받아 사람이 존재하는 위치의 인덱스 값이 큰 점;
첩 주기 시간에 따라 사람이 존재하는 위치의 인덱스 값이 변하는 점; 및
차량 등 특정 공간에서 사람이 존재할 수 있는 위치가 제한되어 있어서 자리별로 거리 인덱스 및 각 인덱스를 미리 지정할 수 있는 점을 특징으로 하는 레이더 신호 처리 방법.
- 제 1 항에 기재된 레이더 신호 처리 방법을 컴퓨터에 실행시키기 위한 명령으로 이루어지는 프로그램을 저장한 컴퓨터 판독 가능한 기록매체.
- 레이더 시스템에 있어서,
M개의 수신단에 포함된 C개의 첩(chirp) 중 하나의 첩 당 N개의 샘플링(sampling)를 통해 FMCW 디지털 레이더 신호를 획득하는 레이더 프론트 엔드 단(M, C, N은 1 이상의 정수);
관심 거리 인덱스(range index) 및 각 인덱스(angle index)와 주변 거리 인덱스 및 주변 각 인덱스에 해당하는 데이터로 구성되는 2차원 데이터를 첩 주기의 시간 축 상에서 누적하여 3차원 윈도우 데이터를 생성하는 레이더 신호처리 단;
상기 3차원 윈도우 데이터를 합성곱 신경회로망에 입력하여 상기 관심 거리 및 각 인덱스의 타겟 존재 확률을 계산하는 딥러닝 단; 및
각각의 거리 인덱스 및 각각의 각 인덱스의 타겟 존재 확률들로부터 타겟이 존재하는 거리 및 각 인덱스를 선택하는 생체 신호 및 인원 수 검출 단을 포함하되,
상기 레이더 신호처리 단은:
상기 FMCW 디지털 레이더 신호에 대해 3차 푸리에 변환을 수행하고, 상기 3차 푸리에 변환의 결과에 기초하여 데이터 큐브(data cube)들을 계산하고,
상기 데이터 큐브들에서 각각의 첩들에 대해 거리-각 맵(range-angle map)들을 생성하고,
상기 거리-각 맵들을 상기 첩 주기의 상기 시간 축 상에서 서로 감산하는 방식으로 클러터 제거 알고리즘을 수행하는 레이더 시스템.
- 제 7 항에 있어서,
상기 레이더 신호처리 단은:
상기 FMCW 디지털 레이더 신호를 샘플링 주기 단위로 푸리에 변환하여 거리 인덱스(range index)별 계수 값인 거리 데이터를 생성하는 제 1 푸리에 변환;
상기 제 1 푸리에 변환의 결과를 상기 M개의 수신단으로부터 수집하여 수신 안테나 거리 단위로 푸리에 변환하고 그리고 각 인덱스(angle index)별 계수 값인 각 데이터를 생성하는 제 2 푸리에 변환; 및
상기 제 2 푸리에 변환의 결과를 상기 C개의 첩 동안 수집하여 첩 주기 단위로 푸리에 변환하여 첩 인덱스(chirp index)별 계수 값인 시간별 데이터를 생성하는 제 3 푸리에 변환을 수행하는 레이더 시스템.
- 제 7 항에 있어서,
상기 레이더 신호처리 단은:
상기 각각의 첩들에 대해 생성되는 상기 거리-각 맵들을 상기 첩 주기의상기 시간 축 상에서 서로 감산함으로써, 타켓이 사람인 부분은 유지하고 그리고 타겟이 사물인 부분은 서로 상쇄시키는 레이더 시스템.
- 제 9 항에 있어서,
상기 레이더 신호처리 단에 의해 생성되는 상기 거리-각 맵들에서:
상기 타겟이 상기 사람인 경우, 상기 첩 주기의 상기 시간 축 상에서 신호의 세기가 달라지고, 그리고
상기 타겟이 상기 사물인 경우 상기 첩 주기의 상기 시간 축 상에서 상기 신호의 세기가 일정하게 유지되는 레이더 시스템.
- 제 7 항에 있어서,
상기 레이더 시스템은 상기 합성곱 신경 회로망을 이용하여 사람이 존재하는 위치와 인원수를 계산하고 그리고 위치별로 들어오는 파워의 값에 대한 학습을 통해 각각의 위치마다 문턱 파워를 계산하되,
상기 합성곱 신경회로망은:
클러터를 제거한 데이터 큐브들을 입력으로 받아 사람이 존재하는 위치의 인덱스 값이 큰 점;
첩 주기 시간에 따라 사람이 존재하는 위치의 인덱스 값이 변하는 점; 및
차량 등 특정 공간에서 사람이 존재할 수 있는 위치가 제한되어 있어서 자리별로 거리 인덱스 및 각 인덱스를 미리 지정할 수 있는 점을 특징으로 하는 레이더 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2019/015552 WO2020262772A1 (ko) | 2019-06-27 | 2019-11-14 | 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20190076734 | 2019-06-27 | ||
KR1020190076734 | 2019-06-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210001840A true KR20210001840A (ko) | 2021-01-07 |
Family
ID=74126775
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190144252A KR20210001840A (ko) | 2019-06-27 | 2019-11-12 | 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템 |
KR1020190149540A KR20210001846A (ko) | 2019-06-27 | 2019-11-20 | 딥러닝을 이용한 레이더 시스템을 포함하는 오토 모빌리티 장치 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190149540A KR20210001846A (ko) | 2019-06-27 | 2019-11-20 | 딥러닝을 이용한 레이더 시스템을 포함하는 오토 모빌리티 장치 |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR20210001840A (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023075919A1 (en) * | 2021-10-27 | 2023-05-04 | Aurora Operations, Inc. | Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (fmcw) chirps |
WO2023080018A1 (ja) * | 2021-11-04 | 2023-05-11 | オムロン株式会社 | 生体情報処理装置、生体情報処理方法およびプログラム |
WO2023167507A1 (ko) * | 2022-03-03 | 2023-09-07 | 주식회사 에이유 | 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템 |
-
2019
- 2019-11-12 KR KR1020190144252A patent/KR20210001840A/ko not_active Application Discontinuation
- 2019-11-20 KR KR1020190149540A patent/KR20210001846A/ko not_active Application Discontinuation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023075919A1 (en) * | 2021-10-27 | 2023-05-04 | Aurora Operations, Inc. | Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (fmcw) chirps |
US12032092B2 (en) | 2021-10-27 | 2024-07-09 | Aurora Operations, Inc. | Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (FMCW) chirps |
WO2023080018A1 (ja) * | 2021-11-04 | 2023-05-11 | オムロン株式会社 | 生体情報処理装置、生体情報処理方法およびプログラム |
WO2023167507A1 (ko) * | 2022-03-03 | 2023-09-07 | 주식회사 에이유 | 사람을 감지하기 위한 신호처리 방법 및 레이더 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20210001846A (ko) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11885872B2 (en) | System and method for camera radar fusion | |
CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
CN109541583B (zh) | 一种前车距离检测方法及系统 | |
KR20210001840A (ko) | 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템 | |
CN113015922B (zh) | 一种检测方法、检测装置以及存储介质 | |
US9429650B2 (en) | Fusion of obstacle detection using radar and camera | |
CN110058239B (zh) | 一种车载毫米波雷达装置及目标探测方法 | |
US9812008B2 (en) | Vehicle detection and tracking based on wheels using radar and vision | |
CN106093951B (zh) | 基于超声波传感器阵列的物体跟踪方法 | |
CN109597065B (zh) | 一种用于穿墙雷达检测的虚警抑制方法、装置 | |
KR102194320B1 (ko) | 레이더 영상 재구성 기반 객체 추적 장치 및 방법 | |
CN111497741B (zh) | 碰撞预警方法及装置 | |
CN112313536B (zh) | 物体状态获取方法、可移动平台及存储介质 | |
US9162643B2 (en) | Device and method for the detection of persons | |
KR20220052526A (ko) | 도플러 효과와 거리 별 cfar를 이용한 차량 내 인원 수 및 위치 검출 레이더 신호처리 방법 | |
CN117730264A (zh) | 激光雷达抗干扰方法、装置、可读存储介质及终端设备 | |
TWI735191B (zh) | 光達除霧系統與方法 | |
WO2020262772A1 (ko) | 딥러닝을 이용한 사람 감지 및 인원 수 검출을 위한 레이더 신호 처리 방법 및 레이더 시스템 | |
Yan et al. | Clustering statistic Hough transform based estimation method for motion elements of multiple underwater targets | |
JP7312275B2 (ja) | 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム | |
Lim et al. | In-Vehicle Passenger Occupancy Detection Using 60 GHz FMCW Radar Sensor | |
WO2024172146A1 (en) | Radar data processing by deep neural network (dnn) | |
CN115516543B (zh) | 物体识别装置、路径生成装置、停车辅助装置、物体识别系统、路径生成系统及停车辅助系统 | |
CN114814778B (zh) | 一种基于毫米波雷达的载体速度解算方法 | |
CN118356176B (zh) | 一种适用于非接触式疲劳检测的无线体征挖掘方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal |