KR20200065827A - 레이더 영상 재구성 기반 객체 추적 장치 및 방법 - Google Patents

레이더 영상 재구성 기반 객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR20200065827A
KR20200065827A KR1020180152683A KR20180152683A KR20200065827A KR 20200065827 A KR20200065827 A KR 20200065827A KR 1020180152683 A KR1020180152683 A KR 1020180152683A KR 20180152683 A KR20180152683 A KR 20180152683A KR 20200065827 A KR20200065827 A KR 20200065827A
Authority
KR
South Korea
Prior art keywords
radar
image
dimensional
tracking
clutter
Prior art date
Application number
KR1020180152683A
Other languages
English (en)
Other versions
KR102194320B1 (ko
Inventor
김정태
하태형
Original Assignee
이화여자대학교 산학협력단
(주)탑중앙연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단, (주)탑중앙연구소 filed Critical 이화여자대학교 산학협력단
Priority to KR1020180152683A priority Critical patent/KR102194320B1/ko
Priority to US16/699,561 priority patent/US11360207B2/en
Publication of KR20200065827A publication Critical patent/KR20200065827A/ko
Application granted granted Critical
Publication of KR102194320B1 publication Critical patent/KR102194320B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/874—Combination of several systems for attitude determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/282—Transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 레이더 영상 재구성 기반 객체 추적 장치로, 클러터 제거된 복수의 1차원 레이더 신호들을 취합하여 2차원 영상을 생성하는 2차원 영상 생성부와, 2차원 영상으로부터 객체의 존재 유무를 판단하고, 존재하는 객체의 2차원 위치를 추정하는 객체 검출부와, 객체 검출부로부터 추정된 2차원 위치를 통해 객체의 이동 경로를 추적하는 객체 추적부를 포함한다.

Description

레이더 영상 재구성 기반 객체 추적 장치 및 방법{Apparatus and Method for Tracking Object based on Radar Image Reconstruction}
본 발명은 레이더 기술에 관한 것으로, 특히 다중 레이더를 이용하여 객체를 추적하는 기술에 관한 것이다.
레이더 기술은 전파의 직진성을 이용하여 물체에 반사된 반사파를 감지하여, 송신 신호에 대한 수신 신호의 변화를 근거로 물체의 감지 및 그 방향과 거리를 측정하는 센서 기술로, 군사 및 항공 분야로부터 발전되어 왔으나, 최근 차량 사고 위험을 미리 경고하고 능동적으로 예방 및 회피하기 위한 기술로 자동차 등에 많이 응용되고 있다.
한편, IR-UWB(Impulse Radio Ultra Wideband) 기술은 근래에 들어 높은 정확도를 갖는 객체 추적 기술로 소개되고 있다. 그 이유는 IR-UWB는 수ns에서 수백ps에 이르는 매우 폭이 좁은 임펄스를 사용함으로써 협 대역 신호들에 비해 보다 멀티패스에 강한 특성을 지니고 있기 때문이다.
이러한 특성 때문에 IR-UWB 장비를 이용하여 목표물과의 거리를 추정해내고 그 정확도를 향상시키기 위한 연구가 진행되고 있다. 최근에는 단순히 IR-UWB 장비와의 거리뿐만 아니라 2차원상에서 목표물의 위치, 즉 정확한 좌표를 추정해내기 위한 연구가 활발히 진행되고 있다. 목표물의 정확한 위치를 추정해내기 위해서는 최소한 3개 이상의 IR-UWB 장비가 동시에 거리를 측정하여, 그 거리 값들을 기반으로 삼변 측량법을 사용할 수 있다. 그런데, 노이즈가 개입하는 실제 상황에서는 레이더가 거리 추정시에 오차가 발생되므로, 목표물의 추정 거리 정보만으로 목표물의 추정 위치의 정확도가 저하된다는 문제점이 있다.
본 발명은 다중 레이더를 이용한 객체 추적에 있어서 객체 위치 추정의 정확도를 향상시키기 위한 레이더 영상 재구성 기반 객체 추적 장치 및 방법을 제공한다.
본 발명은 레이더 영상 재구성 기반 객체 추적 장치로, 클러터 제거된 복수의 1차원 레이더 신호들을 취합하여 2차원 영상을 생성하는 2차원 영상 생성부와, 2차원 영상으로부터 객체의 존재 유무를 판단하고, 존재하는 객체의 2차원 위치를 추정하는 객체 검출부와, 객체 검출부로부터 추정된 2차원 위치를 통해 객체의 이동 경로를 추적하는 객체 추적부를 포함한다.
본 발명은 레이더 영상 재구성 기반 객체 추적 방법으로, 클러터 제거된 복수의 1차원 레이더 신호들을 취합하여 2차원 영상을 생성하는 단계와, 2차원 영상으로부터 객체의 존재 유무를 판단하고, 존재하는 객체의 2차원 위치를 추정하는 단계와, 객체 검출부로부터 추정된 2차원 위치를 통해 객체의 이동 경로를 추적하는 단계를 포함한다.
본 발명에 따른 2차원 영상 복원에 기반한 객체 추적은 다중 레이더에서 획득된 정보들을 종합하여 2차원 영상을 생성한 뒤, 2차원 영상을 이용하여 객체 검출 및 객체 좌표를 추정하게 되므로, 기존의 방식보다 더 많은 정보를 종합하여 객체 검출 및 좌표 추정을 하게 되므로, 그 정확도를 향상시킬 수 있다.
도 1은 일반적인 레이더를 이용한 TOA 기반의 객체 추적 장치를 설명하기 위한 블록 구성도이다.
도 2는 TOA 기반의 객체 추적에서의 위치 검출(localization)을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 레이더 영상 재구성 기반 객체 추적 장치의 블록 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 레이더 영상 재구성 기반 객체 추적 방법을 설명하기 위한 순서도이다.
이하 첨부된 도면을 참조하여, 바람직한 실시예에 따른 레이더 영상 재구성 기반 객체 추적 장치 및 방법에 대해 상세히 설명하면 다음과 같다. 여기서, 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 발명의 실시형태는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
도 1은 일반적인 레이더를 이용한 TOA 기반의 객체 추적 장치를 설명하기 위한 블록 구성도이고, 도 2는 TOA 기반의 객체 추적에서의 위치 검출(localization)을 설명하기 위한 도면이다.
도 1을 참조하면, 복수의 레이더들(R1, R2, ..., RM)이 송신 신호를 전파하여 반사파 신호를 수신하면, 수신된 반사파 신호들은 각각 상응하는 원 데이터 처리부들(10-1, 10-2,..., 10-M)을 통해 대역 필터(band pass filter), 잡음 제거, 포락선 검출(envelope detection) 등의 처리 과정이 적용된다.
이와 같이 원 데이터 처리부들(raw data processing)(10-1, 10-2,..., 10-M)로부터 출력된 신호는 동적 객체에 의해 반사된 레이더 신호와 정적 물체에 반사된 레이더 신호인 클러터(clutter)의 합이다. 여기서, 클러터는 레이더 수신 신호에서 불필요한 반사파, 즉, 객체의 배경이 지면, 바다, 비, 장해물, 방해 전파 따위 때문에 불필요하게 생기는 반사상으로 일종의 잡음을 의미한다.
따라서, 클러터 제거부들(20-1, 20-2,..., 20-M)은 상응하는 원 데이터 처리부들(raw data processing)(10-1, 10-2,..., 10-M) 각각으로부터 수신한 레이더 신호로부터 클러터를 추정하여 제거한다.
다음으로, 클러터가 제거된 신호는 객체 검출 및 거리 추정부들(30-1, 30-2,..., 30-M)에 의해 객체의 존재 유무를 판단하는 객체 검출(Detection)과 레이더로부터 객체까지의 거리를 계산하는 거리 추정(Distance Estimation)을 수행한다. 이때, 거리 추정을 하기 위해 객체에서 반사된 신호가 레이더에 도달하는데까지의 시간을 거리로 바꾸는 TOA(Time of arrival) 방식을 주로 이용한다. 즉, 레이더가 전파를 방사한 시점 t0와 객체에 의해 반사되어 반사파가 수신되는 시점 t1의 시간 차인 도착 시간(Time-of-arrive, 이하 TOA)를 기반으로 목표물과의 거리를 추정하는 방식을 사용한다. 객체와의 거리는 (t1-t0)*c/2로 계산할 수 있으며, 여기서 c는 공기 중에서 전파의 전송 속도이다.
도 2에는 세 개의 레이더들로부터 획득한 신호를 통해 객체를 위치를 추정에대해 도시되어 있는데, 레이더의 2차원 위치를 중심으로 하는 각각의 원이 객체 검출 및 거리 추정부들(30-1, 30-2,..., 30-M) 각각에 의해 추정된 거리를 반경으로 하는 원이다.
따라서, 객체 위치 검출 및 추적부(40)는 객체 검출 및 거리 추정부들(30-1, 30-2,..., 30-M)에 의해 추정된 레이더에서 객체까지의 거리들로부터 객체의 2차원 위치를 추적하게 된다. 도 2의 (a)에 도시된 바와 같이, 객체 위치 검출 및 추적부(40)는는 세 개의 원들의 교점이 추적 대상 객체의 2차원 위치라고 판단하는 것이다. 그런데, 도 2의 (a)에 도시된 경우는 모든 레이더들에서 거리 추정이 잘 된 이상적인 경우로, 세 원들이 하나의 점에서 교차한다.
그러나, 노이즈가 개입하는 실제 상황에서는 거리 추정에서 오차가 발생되므로, 도 2의 (b)에 도시된 바와 같이 세 개의 원이 중첩되는 점이 명확히 생기지 않아 객체의 추정 거리 정보만으로 객체의 추정 위치를 바로 계산해 낼 수 없는 문제점이 존재한다. 따라서, 본 발명은 이러한 문제점을 극복하기 위해 2차원 영상 생성 기법을 사용한다.
도 3은 본 발명의 일 실시 예에 따른 레이더 영상 재구성 기반 객체 추적 장치의 블록 구성도이다.
도 3을 참조하면, 레이더 영상 재구성 기반 객체 추적 장치(이하 '장치'로 기재함)는 복수의 레이더들(R1, R2,.., RM), 원 데이터 처리부들(110-1, 110-2,..., 110-M), 클러터 제거부들(120-1, 120-2,...,120-M), 2차원 영상 생성부(130), 객체 검출부(140) 및 객체 추적부(150)를 포함한다.
복수의 레이더들(R1, R2, ...., RM)은 초 광대역(ultra-wide band : UWB) 레이더일 수 있고, 전송 안테나를 통해 초광대역 신호를 전파하고, 전파된 초광대역 신호가 동적 물체 또는 정적 물체 등에 반사되어 돌아오는 반사파를 수신 안테나가 수신한다.
원 데이터 처리부들(110-1, 110-2,..., 110-M) 각각은 복수의 다중 레이더들(R1, R2, ...., RM) 각각으로부터 획득한 수신 신호를 원 데이터 처리(Raw Data Processing)하여 출력한다. 여기서, 원 데이터 처리(raw data processing)는 수신된 레이더 신호에 대역 필터(bandpass filter), 잡음 제거, 포락선 검출(envelope detection) 등의 처리 과정이 적용된다.
클러터 제거부들(120-1, 120-2,...,120-M) 각각은 상응하는 원 데이터 처리부들(110-1, 110-2,..., 110-M)로부터 출력되는 1차원 레이더 신호에서 벽과 같이 배경이 되는 정적 물체에 반사된 레이더 신호인 클러터(clutter)를 추정하여 제거한다. 이로써, 클러터 제거부들(120-1, 120-2,...,120-M) 각각에서 출력되는 신호는 동적 객체에 의해 반사된 레이더 신호가 될 수 있다. 이때, 클러터 제거를 위해 exponential averaging method, singular value decomposition based clutter removal 외에도 다양한 알고리즘이 사용될 수 있다.
2차원 영상 생성부(130)는 클러터 제거부들(120-1, 120-2,...,120-M)로부터 출력된 클러터 제거된 1차원 레이더 신호들로부터 영상 복원 기술을 사용하여 2차원 영상을 생성한다. 일 실시 예에 따른, 영상 복원 기술은 센서 특징을 고려한 투영 행렬 설계와, 복원하고자 하는 2차원 영상의 원하는 특징을 반영한 정규화 항 설계를 필요로 한다. 이러한 방식은 Back-projection을 하는 것보다 다중 센서들 간의 정보들 합산에 유리하고, 노이즈에 더 강인한 특성을 가지므로 동적 객체의 좌표를 추정하기에 더 적합하다.
2차원 영상 생성부(130)는 클러터 제거된 레이더 신호들을 합산한 벡터와 레이더의 센서 특성을 반영한 시스템 행렬로 설계된 목적함수를 최소화시키는 2차원 영상을 산출한다. 일 실시 예에 따라, 목적 함수는 산출될 2차원 영상에 대한 사전 정보를 반영한 정규화항을 포함한다. 이러한 목적 함수 설계에 대한 상세한 설명은 <수학식 1> 내지 <수학식 7>의 예를 참조하여 후술하기로 한다.
객체 검출부(140)는 2차원 영상 생성부(130)에 의해 생성된 2차원 영상으로부터 객체의 존재 유무 판단(Object Detection) 및 존재하는 객체의 좌표 추정 (Localization)을 수행한다. 여기서, 임계화(thresholding) 기법을 이용하여 2차원에서 객체의 좌표를 추정할 수 있다. 예컨대, 생성된 2차원 영상은 2차원 공간 상에 존재하는 점들의 집합, 즉 포인트 클라우드(Point Cloud)로 표현될 수 있는데, 이러한 포인트 클라우드를 형성하는 점들 중 그 신호 세기가 소정 임계치 이상인 점들만을 필터링하여, 필터링된 점들이 형성하는 2차원 영상에 따라 객체 존재 유무를 판단한다. 그런 후, 객체가 존재하는 것으로 판단되면, 객체 검출부(140)는 해당 객체의 위치를 추정하게 된다. 일 실시 예에 따라, 해당 객체를 형성하는 2차원 영상의 무게 중심점의 좌표를 해당 객체의 위치로 추정해낼 수 있다.
1차원 임계화(thresholding) 기법은 단일 레이더를 이용하므로 잡음의 영향을 많이 받아 위치 추정에 있어 오차가 많이 발생되는 반면, 본 발명에서는 다중 레이더를 이용하여 획득한 2차원의 영상 신호를 이용하여 더욱 많은 측정 신호를 기반으로 임계(threshold)치를 결정하게 되므로로 위치 추정의 정확도를 대폭 향상시킬 수 있다.
객체 추적부(150)는 객체 검출부(140)는 객체 검출부(140)로부터 추정된 위치 정보를 통해 객체의 이동 경로를 추적한다. 일 실시 예에 따라, 2차원 영상을 이용하여 칼만 필터(Kalman filter) 및 파티클 필터(particle filter) 중 적어도 하나를 이용하여 2차원 좌표를 필터링하는데, 객체 검출부(140)로부터 전달된 신호는 칼만 필터(Kalman filter) 및 파티클 필터(particle filter) 중 적어도 하나를 통해 설계한 모델을 바탕으로 다음 데이터를 예측하고, 실제 들어온 데이터와 예측된 데이터 간의 오차가 클 경우에는 예측 데이터를 바탕으로 보정을 하여 오차를 줄인다.
다음으로, 2차원 영상 생성부(130)에 의해 사용되는 목적 함수 설계에 대해 상세히 살펴보기로 한다.
매 프레임마다 레이더에서 획득한 1차원 데이터로부터 영상을 복원하고자 하는 문제는 다음의 <수학식 1>과 같이 나타낼 수 있다.
Figure pat00001
<수학식 1>에서
Figure pat00002
는 레이더에서 획득한 k번째 프레임의 관측치를 컬럼 스택(column stack)한 벡터를 나타내며,
Figure pat00003
는 구하고자 하는 2차원 영상을 컬럼 스택(column stack)한 벡터를 나타낸다. 또한,
Figure pat00004
는 레이더의 시스템 행렬(system matrix)이며,
Figure pat00005
는 레이더 신호 측정시 함께 관측되는 측정 노이즈를 나타낸다. 여기서, 시스템 행렬
Figure pat00006
는 2차원 그리드(grid)상의 위치와 1차원 데이터 점(point)의 매핑(mapping) 관계를 나타낸 것으로, 일 실시 예에 따라 레이더의 센서 특성을 반영하여 설계된다. 특히, 공간 좌표에 따라 변경되는 신호 감쇄와 방사 패턴(Radiation Pattern)을 고려하여 설계된다.
전술한 <수학식 1>로부터
Figure pat00007
를 구하기 위해 목적함수를 설계하여 목적 함수를 최소화하는 최적의
Figure pat00008
를 구한다. <수학식 1>로부터 목적 함수는 다음의 <수학식 2>와 같이 나타낼 수 있다.
Figure pat00009
<수학식 2>에서
Figure pat00010
는 L2 norm을 의미하며, <수학식 2>를 최소화하는
Figure pat00011
는 pseudo inverse를 이용하여 바로 구할 수도 있다. 그런데, <수학식 2>로부터 해를 산출하는 것은 노이즈의 크기가 작을 것이라는 단순한 가정을 기반으로 하므로, 이와 같이 구해진 해는 노이즈에 매우 취약할 수 있다. 따라서, 일 실시 예에 따라, <수학식 3>과 같이 추정하고자 하는
Figure pat00012
에 대한 사전 정보를 이용하는 정규화 기법을 이용한다.
Figure pat00013
일 실시 예에 따라, <수학식 3>의 정규화 항
Figure pat00014
은 두 가지의 사전 정보를 이용하여 설계되어 다음의 <수학식 4>와 같이 나타낼 수 있다. 여기서, 설명의 이해를 돕기 위한 일 실시 예로, 정규화 항
Figure pat00015
을 설계하기 위한 사전 정보를 두 가지인 예를 들어 설명하나, 본 발명은 이에 한정되는 것은 아니다. 즉, 본 발명에 따라 추정하고자 하는
Figure pat00016
에 대한 사전 정보들의 개수는 다양한 실시 예가 가능하다. 또한, 일 실시 예에 따라, 정규화항
Figure pat00017
는 복원될 2차원 영상은 저주파 요소로 구성되고, 인접한 픽셀 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보와, 레이더 프레임을 샘플링하는 속도로 인해 인접한 두 프레임들로부터 복원된 2차원 영상들 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보 중 적어도 하나를 반영하여 설계될 수 있다. 그러나, 본 발명은 이에 한정되는 것은 아니며, 정규화항
Figure pat00018
는 추정하고자 하는
Figure pat00019
에 대한 다른 사전 정보를 반영하여 설계될 수도 있다. .
Figure pat00020
<수학식 4>에서
Figure pat00021
는 공간 좌표계에서 정규화 항을 나타내며,
Figure pat00022
는 시간 축 상에서의 정규화항을 나타낸다.
Figure pat00023
와
Figure pat00024
는 각각 두 정규화 항
Figure pat00025
및
Figure pat00026
에 대응하는 정규화 파라미터이다.
이하, 두 정규화 항
Figure pat00027
및
Figure pat00028
를 정의하기 위한 일 예로 <수학식 5> 및 <수학식 6>를 설명하기로 한다. 그러나, 이는 본 발명의 일 예일 뿐, 본 발명은 이에 한정되지 않는다. 일 실시 예에 따라,
Figure pat00029
는 smoothness constraint를 나타낼 수 있으며, 이는 복원된 영상
Figure pat00030
에는 큰 고주파 요소가 없고, 인접한 픽셀 간의 밝기는 큰 차이가 없다는, 즉 인접한 픽셀 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보를 나타낸다. 즉,
Figure pat00031
는 클러터 제거(clutter-removal)된 신호로 클러터 제거가 이상적으로 되었다면,
Figure pat00032
는 객체에 해당하는 영역만 '0'이 아닌 값을 가지며, 객체 밖의 영역은 '0'의 값을 가진다. 따라서, 영상 전체에서 저주파 성분이 많으며 고주파 성분은 적다. 이러한
Figure pat00033
는 일 예로 다음의 <수학식 5>와 같이 나타낼 수 있다.
Figure pat00034
한편, <수학식 4>에서
Figure pat00035
는 레이더의 프레임을 샘플링하는 속도가 충분히 크므로, 인접한 두 프레임으로부터 복원된 영상은 큰 차이가 없다는, 즉 인접한 두 프레임들로부터 복원된 2차원 영상들 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보를 나타낸다. 여기서, 인접한 두 프레임의 차는 객체가 아닌 배경에 해당되는 영역에서는 '0'의 값을 가지며, 객체의 이동량 정도에 따라 '0'이 아닌 값을 가진다는 것을 가정한다. 이러한
Figure pat00036
는 일 예로, 이전 프레임에서 복원된 영상
Figure pat00037
와 현재 프레임의 추정치
Figure pat00038
의 차이로 정의될 수 있으며, 다음의 <수학식 6>과 같이 나타낼 수 있다.
Figure pat00039
최종적으로, 2차원 영상 생성부(130)에서는 <수학식 3>의 목적 함수를 최소화하는 추정치를 구하는 것으로, 다음의 <수학식 7>과 같이 나타낼 수 있다.
Figure pat00040
도 4는 본 발명의 일 실시 예에 따른 레이더 영상 재구성 기반 객체 추적 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 장치(100)는 복수의 다중 레이더들(R1, R2, ...., RM) 각각으로부터 획득한 수신 신호를 원 데이터 처리(Raw Data Processing)한다(S410). 여기서, 원 데이터 처리(raw data processing)는 수신된 레이더 신호에 대역 필터(bandpass filter), 잡음 제거, 포락선 검출(envelope detection) 등의 처리 과정이 적용된다.
다음으로, 장치(100)는 1차원 레이더 신호들 각각에서 벽과 같이 배경이 되는 정적 물체에 반사된 레이더 신호인 클러터(clutter)를 추정하여 제거한다(S420).
장치(100)는 클러터 제거된 1차원 레이더 신호들로부터 영상 복원 기술을 사용하여 2차원 영상을 생성한다(S430). 즉, 클러터 제거된 레이더 신호들을 합산한 벡터와 레이더의 센서 특성을 반영한 시스템 행렬로 설계된 목적함수를 최소화시키는 2차원 영상을 산출한다. 일 실시 예에 따라, 목적 함수는 산출될 2차원 영상에 대한 사전 정보를 반영한 정규화항을 포함한다. 이러한 목적 함수 설계에 대한 상세한 설명은 <수학식 1> 내지 <수학식 7>을 참조하여 전술하였다.
장치(100)는 생성된 2차원 영상으로부터 객체의 존재 유무 판단(Object Detection) 및 존재하는 객체의 좌표 추정 (Localization)을 수행한다(S440). 여기서, 임계화(thresholding) 기법을 이용하여 2차원에서 객체의 좌표를 추정할 수 있다. 예컨대, 생성된 2차원 영상은 2차원 공간 상에 존재하는 점들의 집합, 즉 포인트 클라우드(Point Cloud)로 표현될 수 있는데, 이러한 포인트 클라우드를 형성하는 점들 중 그 신호 세기가 소정 임계치 이상인 점들만을 필터링하여, 필터링된 점들이 형성하는 2차원 영상에 따라 객체 존재 유무를 판단한다. 그런 후, 객체가 존재하는 것으로 판단되면, 객체 검출부(140)는 해당 객체의 위치를 추정하게 된다. 일 실시 예에 따라, 해당 객체를 형성하는 2차원 영상의 무게 중심점의 좌표를 해당 객체의 위치로 추정해낼 수 있다.
1차원 임계화(thresholding) 기법은 단일 레이더를 이용하므로 잡음의 영향을 많이 받아 위치 추정에 있어 오차가 많이 발생되는 반면, 본 발명에서는 다중 레이더를 이용하여 획득한 2차원의 영상 신호를 이용하여 더욱 많은 측정 신호를 기반으로 임계(threshold)치를 결정하게 되므로로 위치 추정의 정확도를 대폭 향상시킬 수 있다.
마지막으로, 장치(100)는 추정된 위치 정보를 통해 객체의 이동 경로를 추적한다(S450).

Claims (6)

  1. 클러터 제거된 복수의 1차원 레이더 신호들을 취합하여 2차원 영상을 생성하는 2차원 영상 생성부와,
    2차원 영상으로부터 객체의 존재 유무를 판단하고, 존재하는 객체의 2차원 위치를 추정하는 객체 검출부와,
    객체 검출부로부터 추정된 2차원 위치를 통해 객체의 이동 경로를 추적하는 객체 추적부를 포함하는 레이더 영상 재구성 기반 객체 추적 장치.
  2. 제 1항에 있어서, 2차원 영상 생성부는
    클러터 제거된 복수의 레이더 신호들을 스택한 벡터와 레이더의 센서 특성을 반영한 시스템 행렬로 설계된 목적 함수를 최소화시키는 2차원 영상을 산출하되,
    목적 함수는 산출될 2차원 영상에 대한 사전 정보를 반영한 정규화항을 포함하는 레이더 영상 재구성 기반 객체 추적 장치.
  3. 복원될 2차원 영상은 저주파 요소로 구성되고, 인접한 픽셀 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보와,
    레이더 프레임을 샘플링하는 속도로 인해 인접한 두 프레임들로부터 복원된 2차원 영상들 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보 중 적어도 하나를 반영하는 레이더 영상 재구성 기반 객체 추정 장치.
  4. 클러터 제거된 복수의 1차원 레이더 신호들을 취합하여 2차원 영상을 생성하는 단계와,
    2차원 영상으로부터 객체의 존재 유무를 판단하고, 존재하는 객체의 2차원 위치를 추정하는 단계와,
    객체 검출부로부터 추정된 2차원 위치를 통해 객체의 이동 경로를 추적하는 단계를 포함하는 레이더 영상 재구성 기반 객체 추적 방법.
  5. 제 4항에 있어서, 생성하는 단계는
    클러터 제거된 복수의 레이더 신호들을 스택한 벡터와 레이더의 센서 특성을 반영한 시스템 행렬로 설계된 목적 함수를 최소화시키는 2차원 영상을 산출하되,
    목적 함수는 산출될 2차원 영상에 대한 사전 정보를 반영한 정규화항을 포함하는 레이더 영상 재구성 기반 객체 추적 방법.
  6. 제 5항에 있어서, 정규화항은
    복원될 2차원 영상은 저주파 요소로 구성되고, 인접한 픽셀 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보와,
    레이더 프레임을 샘플링하는 속도로 인해 인접한 두 프레임들로부터 복원된 2차원 영상들 간의 유사도가 일정 기준값 이상임을 표현하는 사전 정보 중 적어도 하나를 반영하는 레이더 영상 재구성 기반 객체 추정 방법.
KR1020180152683A 2018-11-30 2018-11-30 레이더 영상 재구성 기반 객체 추적 장치 및 방법 KR102194320B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180152683A KR102194320B1 (ko) 2018-11-30 2018-11-30 레이더 영상 재구성 기반 객체 추적 장치 및 방법
US16/699,561 US11360207B2 (en) 2018-11-30 2019-11-30 Apparatus and method for tracking object based on radar image reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152683A KR102194320B1 (ko) 2018-11-30 2018-11-30 레이더 영상 재구성 기반 객체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200065827A true KR20200065827A (ko) 2020-06-09
KR102194320B1 KR102194320B1 (ko) 2020-12-22

Family

ID=71082206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152683A KR102194320B1 (ko) 2018-11-30 2018-11-30 레이더 영상 재구성 기반 객체 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US11360207B2 (ko)
KR (1) KR102194320B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234347B1 (ko) * 2021-01-19 2021-03-31 주식회사 에스아이에이 레이더 영상 처리 방법 및 장치
WO2022000210A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 对场地中的目标对象的分析方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116604B1 (ko) * 2018-01-26 2020-05-28 한양대학교 산학협력단 레이더를 이용한 제스처 인식 장치 및 방법
JP7120723B2 (ja) * 2018-08-03 2022-08-17 株式会社トプコン レーザスキャナシステム
US20220268915A1 (en) * 2019-06-28 2022-08-25 Nec Corporation Radar system, imaging method, and imaging program
CN113608224A (zh) * 2021-07-14 2021-11-05 Oppo广东移动通信有限公司 人体识别方法、装置、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101149800B1 (ko) * 2011-12-01 2012-06-08 국방과학연구소 초광대역 레이더 와 스테레오 카메라를 이용한 은폐장애물 감지장치 및 방법
KR20170115257A (ko) * 2016-04-07 2017-10-17 국방과학연구소 Doppler Beam Sharpening 기술 기반 이종센서 영상정합을 통한 클러터 지형 제거와 표적 탐지 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4546354A (en) * 1982-06-17 1985-10-08 Grumman Aerospace Corporation Range/azimuth ship imaging for ordnance control
US7642953B2 (en) * 2007-07-19 2010-01-05 The Boeing Company Method and apparatus for three dimensional tomographic image reconstruction of objects
US7639171B2 (en) * 2007-09-27 2009-12-29 Delphi Technologies, Inc. Radar system and method of digital beamforming
US20120274499A1 (en) * 2011-04-29 2012-11-01 Spatial Digital Systems Radar imaging via spatial spectrum measurement and MIMO waveforms
US9086501B2 (en) * 2011-08-26 2015-07-21 Lawrence Livermore National Security, Llc Imaging, object detection, and change detection with a polarized multistatic GPR array
US20140176714A1 (en) * 2012-12-26 2014-06-26 Automotive Research & Test Center Collision prevention warning method and device capable of tracking moving object
US9870641B2 (en) * 2013-02-19 2018-01-16 Howard University Using an MM-principle to achieve fast image data estimation from large image data sets
US10037671B2 (en) * 2015-06-29 2018-07-31 Echocare Technologies Ltd. Human respiration feature extraction in personal emergency response systems and methods
US10371808B2 (en) * 2016-01-15 2019-08-06 Panasonic Intellectual Property Management Co., Ltd. Positioning sensor and direction estimation method
US10677915B2 (en) * 2018-02-07 2020-06-09 Mitsubishi Electric Research Laboratories, Inc. System and method for fused radar imaging under position ambiguity of antennas

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101149800B1 (ko) * 2011-12-01 2012-06-08 국방과학연구소 초광대역 레이더 와 스테레오 카메라를 이용한 은폐장애물 감지장치 및 방법
KR20170115257A (ko) * 2016-04-07 2017-10-17 국방과학연구소 Doppler Beam Sharpening 기술 기반 이종센서 영상정합을 통한 클러터 지형 제거와 표적 탐지 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022000210A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 对场地中的目标对象的分析方法和装置
KR102234347B1 (ko) * 2021-01-19 2021-03-31 주식회사 에스아이에이 레이더 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
US11360207B2 (en) 2022-06-14
KR102194320B1 (ko) 2020-12-22
US20200256974A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
KR102194320B1 (ko) 레이더 영상 재구성 기반 객체 추적 장치 및 방법
CN108318864B (zh) 一种用于雷达目标检测中消除多径目标的方法及装置
CN110361071A (zh) 使用毫米波雷达传感器进行液体检测的装置和方法
WO2008093092A2 (en) Adaptive radar
Guldogan et al. Multi-target tracking with PHD filter using Doppler-only measurements
JP2013096828A (ja) ドップラーレーダシステム、及び物体検知方法
CN109669182B (zh) 无源双基地sar动/静目标联合稀疏成像方法
KR101777381B1 (ko) Pcl 수신기에서 적응 필터를 이용한 표적반사 신호의 도래각 추정 장치 및 방법
JP2017156219A (ja) 追尾装置、追尾方法およびプログラム
EP3982160A1 (en) Method and system for indoor multipath ghosts recognition
CN107121665B (zh) 一种基于稀疏阵的近场相干源的无源定位方法
CN109298417B (zh) 一种基于雷达信号处理的建筑物内部结构探测方法及装置
CN114720969A (zh) 用于压缩雷达数据的方法和系统
JP2018077209A (ja) 空間フィルタ処理用の確率論的にスパースなツリーグリッドに機能的なグリッドエレメントを付加するためのシステム及び方法
CN107976663A (zh) 一种基于子空间投影的外辐射源雷达对目标压缩检测方法
Jagadesh et al. Modeling Target Detection and Performance Analysis of Electronic Countermeasures for Phased Radar.
Saucan et al. Marked poisson point process PHD filter for DOA tracking
RU2514154C1 (ru) Способ распознавания ложных целей, вызванных собственными помехами подвижного носителя
Thong-un et al. Improvement in airborne position measurements based on an ultrasonic linear-period-modulated wave by 1-bit signal processing
Gao et al. Static background removal in vehicular radar: Filtering in azimuth-elevation-doppler domain
Honda et al. Estimation of target detection rate in aircraft surveillance system
Yang et al. Direct data domain sparsity-based STAP utilizing subaperture smoothing techniques
KR101751170B1 (ko) 2개의 레이더를 이용한 이동 물체의 위치 추적 방법
KR102211844B1 (ko) Ir-uwb 레이더 시스템에서의 벽 후방 다중표적위치 추정 방법 및 장치
Zhang et al. Underwater multi-source DOA tracking using uniform linear array based on improved GM-PHD filter

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant