KR102578944B1 - 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법 - Google Patents

레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법 Download PDF

Info

Publication number
KR102578944B1
KR102578944B1 KR1020180074856A KR20180074856A KR102578944B1 KR 102578944 B1 KR102578944 B1 KR 102578944B1 KR 1020180074856 A KR1020180074856 A KR 1020180074856A KR 20180074856 A KR20180074856 A KR 20180074856A KR 102578944 B1 KR102578944 B1 KR 102578944B1
Authority
KR
South Korea
Prior art keywords
millimeter wave
wave radar
radar sensor
fft
features
Prior art date
Application number
KR1020180074856A
Other languages
English (en)
Other versions
KR20190005740A (ko
Inventor
애슈토쉬 바헤티
레인하드-볼프강 정메이에르
아비크 산트라
사베리오 트로타
Original Assignee
인피니언 테크놀로지스 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인피니언 테크놀로지스 아게 filed Critical 인피니언 테크놀로지스 아게
Publication of KR20190005740A publication Critical patent/KR20190005740A/ko
Application granted granted Critical
Publication of KR102578944B1 publication Critical patent/KR102578944B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

실시예에 따르면, 생물 타겟을 인식하는 방법은 밀리미터파 레이더 센서를 사용하여 생물 타겟 상의 복수의 위치에 대한 레이더 측정을 수행하는 단계와, 레이더 측정에 기초하여 복수의 위치에 대해 타겟 데이터 세트를 생성하는 단계와, 타겟 데이터 세트로부터 특징을 추출하는 단계와, 추출된 특징을 저장된 특징과 비교하는 단계와, 비교에 기초하여 추출된 특징이 저장된 특징과 매칭되는지 여부를 판정하는 단계를 포함한다.

Description

레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법{SYSTEM AND METHOD FOR IDENTIFYING A TARGET USING RADAR SENSORS}
본 출원은 2017년 7월 7일 출원된 미국 가출원 번호 62/529,967의 우선권을 주장하고, 본원에서 전체가 참조로 통합된다.
본 발명은 일반적으로 전자 시스템에 관한 것이고, 특정 실시예에서는, 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법에 관한 것이다.
밀리미터파 주파수 체제에서의 적용예는 실리콘 게르마늄(SiGe) 및 정교한 기하학적 상보형 금속 산화물 반도체(CMOS) 프로세스와 같은 저비용 반도체 기술에서의 빠른 향상으로 인하여 지난 몇년 동안 상당한 관심을 얻었다. 고속 바이폴라 트랜지스터 및 금속 산화물 반도체(MOS) 트랜지스터의 가용성은 60GHz, 77GHz, 및 80GHz 그리고 또한 100GHz 초과의 밀리미터파 적용 집적 회로에 대한 수요 증가로 이어져왔다. 이러한 적용예는, 예를 들어, 자동 레이더 시스템 및 멀티 기가비트 통신 시스템을 포함한다.
일부 레이더 시스템에서, 레이더와 타겟 사이의 거리는 주파수 변조된 신호를 송신하는 것, 주파수 변조된 신호의 반사를 수신하는 것, 및 주파수 변조된 신호의 송신과 수신 사이의 시간 지연 및/또는 주파수 차이에 기초하여 거리를 결정하는 것에 의해 결정된다. 따라서, 일부 레이더 시스템은 RF 신호를 송신하는 송신 안테나, RF 신호를 수신하는 수신 안테나 뿐만 아니라, 송신 신호를 생성하고 RF 신호를 수신하기 위해 사용되는 연관된 RF 회로를 포함한다. 일부 경우에, 위상 어레이 기술을 사용하여 방향성 빔을 구현하기 위해 다수의 안테나가 사용될 수 있다. 코히런트(coherent) 및 비코히런트(non-coherent) 신호 프로세싱을 또한 수행하기 위해 다수의 칩셋을 갖는 MIMO 구성이 사용될 수 있다.
실시예에 따르면, 생물 타겟을 인식하는 방법은 밀리미터파 레이더 센서를 사용하여 생물 타겟 상의 복수의 위치에 대한 레이더 측정을 수행하는 단계와, 레이더 측정에 기초하여 복수의 위치에 대해 타겟 데이터 세트를 생성하는 단계와, 타겟 데이터 세트로부터 특징을 추출하는 단계와, 추출된 특징을 저장된 특징과 비교하는 단계와, 비교에 기초하여 추출된 특징이 저장된 특징과 매칭되는지 여부를 판정하는 단계를 포함한다.
본 발명 및 이의 장점을 더 완전하게 이해하기 위해, 이제 첨부 도면과 함께 취해지는 다음의 설명에 대한 참조가 이루어진다.
도 1a는 밀리미터파 레이더 기반 안면 인식 시스템을 도시하고, 도 1b는 실시예의 안면 인식 시스템에 의해 평가되는 사용자 얼굴 상의 포인트를 도시하고, 도 1c는 실시예의 안면 특징 저장 프로세스를 나타내는 픽토그램을 도시하고, 도 1d는 정렬 LED를 갖는 실시예의 장치 패널을 도시하고, 도 1e는 실시예의 안면 인식 시스템의 블록도를 도시한다.
도 2a, 도 2b 및 도 2c는 실시예의 안면 인식 시스템의 다양한 구현 시나리오를 도시한다.
도 3a는 실시예의 밀리미터파 레이더 센서의 블록도를 도시하고, 도 3b 및 도 3c는 실시예의 밀리미터파 레이더 센서 회로의 평면도를 도시한다.
도 4a, 도 4b, 도 4c 및 도 4d는 밀리미터파 레이더 센서의 배치에 대한 다양한 구성을 도시한다.
도 5는 시간에 따라 수신된 레이더 신호를 도시하는 파형 다이어그램을 도시한다.
도 6은 실시예의 특징 추출 알고리즘의 블록도를 도시한다.
도 7은 특징 추출 및 식별을 위한 머신 러닝 파이프라인을 도시하는 블록도를 도시한다.
도 8은 실시예의 안면 인식 시스템의 블록도를 도시한다.
도 9는 실시예의 안면 인식 시스템의 부분을 구현하기 위해 사용될 수 있는 프로세싱 시스템의 블록도를 도시한다.
달리 언급되지 않으면 다른 도면에서 대응하는 숫자 및 부호는 일반적으로 대응하는 부분을 지칭한다. 도면은 바람직한 실시예의 관련 양상을 분명하게 도시하도록 그려지고 반드시 비율에 맞추어 그려지는 것은 아니다. 특정 실시예를 더 명확하게 도시하기 위해, 동일한 구조, 재료, 또는 프로세스 단계의 변형을 나타내는 문자가 도면 숫자에 후속할 수 있다.
현재 바람직한 실시예를 만들고 사용하는 것이 이하에서 더 자세하게 논의된다. 그러나, 본 발명은 다양한 특정 상황에서 구현될 수 있는 많은 적용가능한 발명의 개념을 제공한다는 것을 이해할 수 있다. 논의된 특징 실시예는 단지 본 발명을 만들고 사용하는 특정 방식을 도시하고 본 발명의 범위를 제한하지 않는다.
본 발명은 특정 상황에서 바람직한 실시예와 관련하여 설명될 것이다. 본 발명은 또한 특징 인식을 수행하는 다른 RF 기반 시스템 및 애플리케이션에 적용될 수 있다.
본 발명의 실시예에서, 다수의 밀리미터파 기반 센서가 안면 인식과 같은 특징 인식 기능을 수행하기 위해 사용된다. 통상의 광학 기반 안면 인식 시스템에 영향을 주는 이슈들 중 하나는 인증될 사람의 사진 이미지를 제시함으로써 일어날 수 있는 스푸핑(spoofed)에 대한 취약성이다. 본 발명의 실시예에서, 사용자 얼굴의 복수의 포인트 상에서 측정을 수행하는 밀리미터파 기반 레이더 센서의 어레이를 사용하여 안면 인식이 수행된다. 이들이 고주파수 RF 신호와 관련되기 때문에, 사용자 얼굴 부분의 반사 속성 뿐만 아니라, 안면 특징의 깊이 및 안면 특징들 사이의 거리와 같은 파라미터를 측정함으로써, 사람의 효과적인 식별 및 인증이 달성될 수 있다. 일부 실시예에서, 나중 측정과의 효과적인 비교를 위해 사람의 얼굴로 이루어진 RF 측정을 분류 및 최적화하기 위해 머신 러닝 알고리즘이 사용된다. 머신 러닝 프로세스 동안, 식별 정확도를 증가시키기 위해 사용자의 특징 벡터를 생성하는 이미지 형성 알고리즘의 파라미터가 반복적으로 수정된다. 사람 안면 인식을 위한 이러한 시스템은 또한 신체의 다른 부분 뿐만 아니라 비인간 타겟을 식별하기 위해서도 사용될 수 있다는 것을 이해할 수 있다. 이들 다른 타겟들은 식물 및 동물과 같이 살아있거나 또는 죽은 생물 타겟 또는 비생물 타겟을 포함할 수 있는데, 이들 타겟의 물리적 크기 및 RF 반사 속성에 기초하여 이들을 식별할 수 있다.
도 1a는 레이더 기반 안면 인식 시스템(100)의 블록도를 도시한다. 도시된 바와 같이, 레이더 기반 안면 인식 시스템(100)은 시스템에 의해 식별될 수 있는 사용자의 RF 측정에 기초한 특징 벡터를 포함하는 데이터베이스(106), 프로세서(104), 및 밀리미터파 레이더 센서 어레이(102)를 포함한다. 동작 동안, 밀리미터파 레이더 센서 어레이(102)는 밀리미터파 RF 신호를 송신하고, 이들 신호는 타겟(114)에 의해 반사된다. 반사된 밀리미터파 RF 신호는 밀리미터파 레이더 센서 어레이(102)에 의해 수신된다. 이들 수신된 RF 신호는 디지털 표현으로 변환되어, 프로세서(104)에 의해 프로세싱되고, 데이터베이스(106)에 포함된 사용자 측정치와 비교된다. 이 비교의 결과는 타겟(114)의 신원을 나타내는 표시 ID를 생성한다. 예시에서는, 타겟(114)이 안면 특징에 기초하여 신원이 인증되는 사람으로 나타내었지만, 본 발명의 대안의 실시예에서, 다른 특징 및 다른 객체가 측정되고 인증될 수 있다는 것을 이해할 수 있다. 예를 들어, 실시예의 시스템은 손바닥과 같은 신체의 다른 부분에 기초하여 사람의 신원을 인증할 수 있다. 추가 실시예에서, 실시예의 시스템을 사용하여 비인간 객체, 생물, 비생물, 유기물 및 무기물의 신원이 식별되고 인증될 수 있다.
일부 실시예에서, 타겟(114)은 예를 들어, 밀리미터파 레이더 센서 어레이(102)로부터 10cm 미만의 거리가 될 수 있는 근거리 감지 구역에서 복수의 레이더 빔에 노출된다. 대안으로, 타겟(114)은 레이더 센서 어레이(102)로부터 약 10cm와 약 30cm 사이의 중간 감지 구역에 위치할 수 있다. 미세한 피부 질감과 같은 근거리 감지 파라미터를 사용하여 스케일링이 추출, 식별 및 구분될 수 있다. 일부 실시예에서, 근거리 감지는 사용자 손 또는 손가락에 기초한 사용자 인식과 같은 다른 형태의 생체 인식에 적용될 수 있다. 중간 감지는 다른 신체 부분의 형상 및/또는 크기, 및 안면 특징의 깊이 및 크기를 포함하지만, 이에 제한되지 않는 다양한 매크로 안면 특징을 추출하기 위해 사용될 수 있다.
레이더 센서 어레이(102)에 의해 생성된 레이더 빔이 도 1b에 도시된 타겟(114)과 관련하여 도시된 사용자 얼굴의 다양한 포인트로 지향될 수 있다. 일부 실시예에서, 하나 이상의 레이더 빔이 사용자 얼굴 상의 생체 특징 추출 위치(116)로 지향된다. 도시된 다이어그램에서, 생체 특징 추출 위치(116)가 사용자의 우측 뺨 및 좌측 뺨으로 도시되지만, 얼굴의 다른 부분이 사용자의 빰 대신에 또는 추가로 사용될 수 있다. 생체 특징 추출 위치(116)로부터 반사된 레이더 신호의 RF 속성이 사전저장된 측정치와의 비교를 가능하게 하는 방식으로 저장되고 파라미터화될 수 있다. 생체 특징 추출 포인트 이외에, 중심 추출된 포인트(118)와 같은 기준 포인트가 사용자 공간의 깊이의 특징을 나타내기 위해 사용될 수 있고/있거나 시스템 정렬 목적을 위해 사용될 수 있다. 도 1b에 도시된 바와 같이, 중심 추출된 포인트(118)는 사용자 코끝이지만, 대안적인 실시예에서, 중심 추출된 포인트 또는 다른 기준 포인트에 대해 다른 안면 특징이 사용될 수 있다. 타겟(114)에 의해 나타낸 사용자 얼굴의 다양한 특징 깊이 및 측정된 생체 특징 추출 위치(116)의 RF 반사 속성을 측정함으로써, 타겟(114)의 아이덴티티가 확실하게 식별될 수 있다. 타겟(114)의 얼굴의 측정된 속성이 사진 또는 다른 시각적 이미지, 또는 심지어 마스크와 같은 사용자의 얼굴의 3차원 표현과도 상이하기 때문에, 얼굴 식별 프로세스에서 밀리미터파 기반 레이더 센서를 사용하면 사용자 얼굴의 모델 및 표현을 사용하는 스푸핑을 방지할 수 있다. 또한, 실시예의 밀리미터파 레이더 기반 안면 인식 시스템은 광학 센서, 지문 스캐너, 막망 스캐너 등을 포함하는 다른 생체 센서 유형과 비교하여 적은 비용으로 높은 정확도를 제공할 수 있다.
도 1c는 실시예의 안면 특징 저장 프로세스를 나타내는 픽토그램을 도시한다. 단계(120)에서, 실시예의 레이더 센서 시스템은 "+" 부호로 나타낸 타겟(114)의 얼굴 상에서의 일련의 측정을 수행한다. 이들 측정의 각각은 레이더 픽셀로서 지칭될 수 있다. 도시된 바와 같이, 이들 측정은 각각의 눈의 좌측 및 우측, 사용자 코끝, 및 사용자 입술의 우측, 좌측, 및 중심에 대해 수행된다. 이들 포인트는 단지 예시이고 사용자 얼굴의 다른 부분은 도 1c에 도시된 포인트 대신에 또는 추가로 측정될 수 있다는 것을 이해할 수 있다. 다양한 실시예에서, 밀리미터파 레이더 신호와 관련한 다양한 반사 속성 및 다양한 깊이를 갖는 안면 특징이 선택될 수 있다. 예를 들어, 얼굴의 이들 영역에서의 피부 깊이 및 조직 유형의 차이 때문에, 사용자 코의 반사 속성은 사용자 입술의 반사 속성과 상이할 수 있다. 일부 실시예에서, 다양한 상이한 안면 특징을 통합함으로써, 사용자를 확실하게 식별하고 인증하는 시스템 기능이 향상될 수 있다. 다음으로, 단계(122)에서, 실시예의 시스템은 사용자 얼굴의 각각의 포인트에서의 측정치를 숫자 알고리즘으로서 데이터베이스에 저장한다. 일부 실시예에서, 미가공 레이더 측정치는 본원의 이하에서 논의되는 다양한 디지털 신호 프로세싱 알고리즘 및 머신 러닝 알고리즘을 사용하여 특징 벡터의 세트로 변환된다. 단계(124)에서, 이들 특징 벡터는 나중 비교 및 인증을 위해 컴퓨터 메모리에 저장된다.
일부 실시예에서, 타겟(114)으로 나타낸 사용자는 도 1d에 도시된 레이더 센서 회로(154) 및 복수의 얼굴 정렬 광 이미터(152)를 포함하는 장치 패널(150)을 통해 실시예의 안면 인식 시스템과 인터랙팅한다. 안면 인식 프로세스 동안, 사용자는 시각적 가이드(guide) 또는 큐(cue)로서 광 이미터(152)를 사용하여 자신의 얼굴을 장치 패널(150)과 정렬시킨다. 예를 들어, 사용자는 자신의 얼굴과 장치 패널(150) 사이의 거리를 사전정의된 범위의 거리 내로 유지하면서 자신의 얼굴을 광 이미터(152)의 경계 내에 정렬시킬 수 있다. 일부 실시예에서, 사전정의된 거리 범위는 타겟(114)이 유지해야 하는 레이더 센서 회로(154)의 중간 감지 구역 내이다. 일부 실시예에서, 이 사전정의된 범위는 약 10cm와 약 30cm 사이일 수 있다. 약 10cm 미만의 거리는 레이더 센서 회로(154)의 근거리 감지 구역 내에 있을 수 있고, 정확한 거리 정보를 추출하는 시스템의 기능은 약 30cm 초과의 거리에서 감소한다. 이들 범위는 단지 예시이고, 실제 사전정의된 범위는 특정 시스템 아키텍쳐 및 특정 시스템의 사양에 따라 변할 수 있다는 것을 이해할 수 있다. 일부 실시예에서, 이 사전정의된 범위는 더 양호한 성능을 위해 최적화될 수 있다. 또한, 일부 실시예는 레이더 회로(154)의 중간 감지 구역 대신에 또는 추가로 약 10cm 미만의 근거리 구역을 활용할 수 있다.
일부 실시예에서, 안면 인식 시스템은 타겟(114)이 광 이미터(152)의 경계 내에 있고 레이더 센서 회로(154)의 사전결정된 범위 내에 있다고 감지하면 타겟(114)의 얼굴의 레이더 측정을 개시하도록 구성된다. 이 타겟(114)의 위치 판정은 레이더 센서 회로(154), 타겟(114)을 모니터링하는 비디오 카메라 또는 이들의 조합을 사용하여 판정될 수 있다. 다양한 실시예에서, 광 이미터(152)는 발광 다이오드(LED)를 사용하여 구현될 수 있다. 본 발명의 대안의 실시예에서, 타겟(114)에게 정렬을 위한 시각적인 큐를 제공하기 위해 LED 외에 다른 장치가 사용될 수 있다. 이들 다른 장치는, 예를 들어, 시각적인 큐를 제공할 수 있는 백열등 또는 레이저, 또는 다른 객체와 같은 조명 장치를 포함할 수 있다. 4개 초과 또는 미만의 광 이미터(152)가 대안의 실시예에서 사용될 수 있다는 것을 또한 이해할 수 있다.
도 1e는 안면 인식 시스템(160)의 블록도를 도시한다. 도시된 바와 같이, 안면 인식 시스템(160)은 신호 프로세싱 유닛(SPU)(164)에 연결된 복수의 밀리미터파 레이더 센서(162)를 포함한다. 밀리미터파 레이더 센서(162)는 레이더 측정을 수행하고 수행된 레이더 측정을 아날로그 도메인으로부터 디지털 도메인으로 변환하는 필수 RF 회로 및 안테나를 포함하고, 상술된 바와 같이 디지털 버스를 사용하여 SPU(164)에 연결된다. SPU(164)는 밀리미터파 레이더 센서(162)의 디지털화된 출력을 컴퓨터(172)에 제공한다. SPU(164)에 의해 제공되는 실시예의 기능(166)은 센서 시스템 제어(168), 및 데이터 생성 및 준비(170)를 포함한다. 센서 제어(168)는 측정치 및 제어 파라미터를 밀리미터파 레이더 센서(162)에 제공한다. 측정치 파라미터는, 예를 들어, 밀리미터파 레이더 센서(162)를 위한 다양한 다른 초기화 파라미터 뿐만 아니라 빔 조종 파라미터(beam steering parameter) 및 스위프 주파수 파라미터(sweep frequency parameter)를 포함할 수 있다. 제어 신호는, 예를 들어, 레이더 측정을 개시하는 커맨드 및 SPU(164)와 밀리미터파 레이더 센서(162) 사이의 데이터 교환을 제어하는 커맨드를 포함할 수 있다. 데이터 생성 및 준비 기능(170)은, 컴퓨터(172)로 전달되기 이전에, 밀리미터파 레이더 센서(162)에 의해 생성되는 미가공 데이터를 관리, 포맷팅, 및/또는 변환하도록 구성될 수 있다. 센서 시스템 제어 기능(168) 및 데이터 생성 및 준비 기능(170)은 SPU(164)에 의해 실행되는 소프트웨어를 사용하여 구현될 수 있다. 대안으로, 센서 시스템 제어(168) 및/또는 데이터 생성 및 준비(170)는 SPU(164) 상에 존재하는 하드웨어 로직, 프로그래밍가능한 로직 또는 전용 회로를 사용하여 구현될 수 있다.
다양한 실시예에서, 레이더 센서(162)는 도 1c에 도시된 것과 같이 사용자 얼굴의 특정 부분과 같은 타겟의 다양한 부분을 향해 지향되는 레이더 픽셀을 구현하기 위해 사용될 수 있다. 예를 들어, 레이더 센서(162) 중 하나의 레이더 센서는 좌측 눈에 인접한 사용자 얼굴의 부분을 향해 지향되는 제 1 레이더 픽셀에 대응하고, 레이더 센서(162) 중 두 번째 레이더 센서는 우측 눈에 인접한 사용자 얼굴의 부분을 향해 지향될 수 있고, 레이더 센서(162)의 세 번째 레이더 센서는 사용자 코를 향해 지향될 수 있고, 나머지 복수의 레이더 센서(162)는 사용자 입술의 다양한 부분을 향해 지향될 수 있다. 다양한 실시예에서, 이들 레이더 픽셀은 사용자 얼굴의 상이한 부분에 각각 지향되는 개별 밀리미터파 레이더 센서 회로(162)를 사용하여 구현될 수 있다. 대안으로, 더 적은 수의 레이더 센서 회로가 시간 멀티플렉싱 방식으로 사용될 수 있다. 예를 들어, 단일 밀리미터파 레이더 회로(162)는 빔 조종을 사용하여 사용자 얼굴을 스캐닝함으로써 사용자 얼굴의 다양한 부분에 대한 레이더 측정을 수행하기 위해 사용될 수 있다.
밀리미터파 레이더 회로(162)는 다양한 레이더 픽셀에 대응하는 측정을 수행하는 경우, 이들 픽셀과 연관된 데이터가 신호 프로세싱 유닛(SPU)(164)으로 송신된다. SPU(164)에 의한 통신은 SPI, USB, BT, WiFi, WigiG, I3C, LVDS 및 MIPI와 같은 다양한 디지털 버스 표준에 따라 구현되는 다양한 디지털 통신 채널을 통해 발생할 수 있다. 대안으로, 다른 버스 유형 및 표준이 사용될 수 있다. SPU(164)는 다양한 레이더 픽셀의 상태 정의를 제공한다. 승인된 사용자를 나타내는 특징 데이터와 같은, 사전로딩된 정보와의 비교가 예를 들어, 컴퓨터(172)에 의해 수행된다. 컴퓨터(172)의 기능은 레이더 센서에 대해 로컬로 구현될 수 있거나 컴퓨터 서버 또는 클라우드 기반 프로세서와 같은 다른 프로세싱 장치에 의해 전체적으로 또는 부분적으로 구현될 수 있다. 사전로딩된 정보와의 비교가 수행되는 경우, 측정된 안면 인식 특징이 사전로딩된 정보 내에 표현된 승인된 사용자와 매칭되면, 정의된 동작이 수행될 수 있다. 이 정의된 동작은, 예를 들어, 문을 여는 것 또는 컴퓨터 또는 다른 시스템으로의 액세스를 제공하는 것과 같은 물리적 동작 뿐만 아니라 사용자의 식별을 포함할 수 있다.
컴퓨터(172)는 SPU(164)로부터 레이더 센서 데이터를 수신하도록 구성된다. 본 발명의 일부 실시예에서, 컴퓨터(172)는 SPU(164)에 의해 제공되는 데이터를 프로세싱하여 밀리미터파 레이더 센서 데이터에 의해 나타낸 안면 특징을 다양한 사용자를 나타내는 저장된 데이터와 매칭시킨다. 컴퓨터(172)는 또한 신원 인증의 목적으로 나중 측정과의 비교를 위해 기준 사용자 데이터 세트를 생성하도록 구성될 수 있다. 실시예에서, 컴퓨터(172)는 기능(174)을 구현한다. 기능(174)은 예를 들어, 데이터 스티칭(176), 검출 및 특징 추출(178) 및 인증(180)을 포함할 수 있다. 데이터 스티칭 기능(176)은 검출 및 특징 추출 기능(178)에 의한 추가 프로세싱을 위해 수신된 밀리미터파(162)의 출력을 포맷팅 및 동기화하는 것을 포함한다.
실시예에서, 검출 및 특징 추출 기능(178)은 데이터 스티칭 기능(176)에 의해 프로세싱되는 데이터를 취하고 밀리미터파 센서(162)에 의해 측정된 안면 특징에 대응하는 특징 벡터의 세트를 생성한다. 이들 검출 및 특징 추출 동작(178)은, 예를 들어, FFT 및 다른 수치 동작 뿐만 아니라 머신 러닝 및 분류 알고리즘의 실행과 같은 다양한 신호 프로세싱 단계를 포함할 수 있다. 새로운 사용자를 위해 저장된 데이터 세트를 생성하는 경우, 검출 및 특징 추출 기능(178)은 타겟(114)의 효과적인 식별을 제공하는 기준 특징 벡터의 세트를 제공하기 위해 머신 러닝 알고리즘을 사용할 수 있다. 머신 러닝 알고리즘의 실행은 또한 특징 추출 프로세스에서 사용되는 파라미터를 최적화할 수 있다. 일부 실시예에서, 머신 러닝 알고리즘은 또한 동작 중에 SPU(164)로 피드백될 수 있는 밀리미터파 센서(162)의 센서 시스템 제어 파라미터를 설정하기 위해 사용될 수 있다. 인증 목적을 위해 타겟(114)의 측정을 프로세싱하는 경우, 검출 및 특징 추출 기능(178)은 SPU(164)에 의해 제공되는 측정치에 기초하여 특징 벡터의 세트를 제공할 수 있다.
인증 기능(180)은 밀리미터파 센서(162)에 의해 제공되는 측정치가 알려진 사용자와 연관된 저장된 특징 벡터와 연관되는 경우를 판정하는 예측 모델을 사용할 수 있다. 이 인증 프로세스의 결과는 사용자 피드백(184)을 통해 사용자에게 제공될 수 있다. 이 사용자 피드백(184)은, 예를 들어, 시각적 또는 음향 표시를 포함할 수 있거나, 문을 여는 것 또는 컴퓨터 시스템으로의 액세스를 제공하는 것과 같은 다른 동작을 수행하기 위해 사용될 수 있다. 데이터 스티칭(176), 검출 및 특징 추출(178) 및 인증(180)을 포함하는 기능(174)은 컴퓨터(172)에 의해 실행되는 소프트웨어로서 구현될 수 있다.
카메라(182)는 타겟(114)을 밀리미터파 센서(162)와 정렬시키도록 센서 시스템(160)을 돕기 위해 사용될 수 있다. 예를 들어, 카메라(182)는 사용자의 이미지를 캡쳐하고 박스와 같은 덧붙여진 경계와 함께 이미지를 디스플레이할 수 있다. 시스템이 사용자의 얼굴이 덧붙여진 경계 내에 있다는 것을 검출할 시에(자동으로 또는 사용자 피드백을 통해), 안면 인식 프로세스가 개시된다. 일부 실시예에서, 카메라(182)에 의해 캡쳐된 타겟(114)의 이미지는 타겟(114)에 의해 나타낸 사용자를 인증하는 것을 돕기 위해 사용될 수 있다. 다른 실시예에서, 감지 어레이의 모서리에 위치한 4개의 레이더 센서가 사용자가 사용자의 얼굴을 센서 어레이로 교정/정렬시키는 것을 돕기 위해 사용될 수 있다.
도 2a 내지 2c는 실시예의 밀리미터파 기반 안면 인식 시스템이 어떻게 다양한 애플리케이션과 함께 사용되는지를 도시한다. 도 2a는 밀리미터파 레이더 센서(202)가 장착된 스마트 폰(200)을 도시한다. 도시된 바와 같이, 스마트 폰(200)은 스마트 폰(200)의 각각의 모서리에 하나씩 4개의 밀리미터파 레이더 센서(202)를 포함한다. 동작 중에, 밀리미터파 레이더 센서(202)는 사용자의 얼굴 상의 복수의 포인트를 측정하고 사용자 얼굴의 측정치가 저장된 측정치의 세트에 대응하는지 여부를 판정한다. 이 판정은 스마트 폰(200) 상에서 국부적으로 또는 스마트 폰(200)과 통신하는 클라우드 컴퓨터와 같은 원격 컴퓨터를 통해 이루어질 수 있다. 스마트 폰(200)에 의해 제공되는 인증은, 예를 들어, 스마트 폰(200)에 액세스하기 위해, 스마트 폰(200) 내에서의 특정한 특징에 액세스하기 위해 사용될 수도 있고 컴퓨터 시스템이 스마트 폰(200)과 통신하여 사용자를 인증하는 방식으로 사용될 수도 있다. 예를 들어, 스마트 폰(200) 상에서 구동 중인 애플리케이션은 실시예의 밀리미터파 기반 안면 인식 시스템을 사용하여 사용자를 인증하거나 애플리케이션 내의 특정 기능을 제공할 수 있다. 예를 들어, 애플리케이션이 뱅킹 애플리케이션이면, 실시예의 밀리미터파 기반 안면 인식 시스템은 사용자의 신원을 검증하고 인증된 안면 인식 측정치에 기초하여 사용자의 은행 계좌로의 액세스를 제공하도록 사용될 수 있다.
도 2b는 복수의 밀리미터파 레이더 센서(202)가 자동차(210)의 문(212) 상에 장착되는 자동차(210)를 도시한다. 동작 중에, 밀리미터파 레이더 센서(202)를 활용하는 실시예의 안면 인식 시스템은 사용자가 문(212)에 접근함에 따라 사용자를 인식할 수 있다. 안면 인식 시스템이 밀리미터파 측정을 통해 사용자를 인증하는 경우, 문이 열릴 수 있다. 일부 실시예에서, 안면 인식 시스템은 또한 사용자가 차를 작동시키는 것을 가능하게 하도록 사용될 수 있다. 다른 실시예의 밀리미터파 기반 안면 인식 시스템은 또한 사용자가 차 내부에서 식별되는 것을 가능하게 하도록 자동차(210) 내부에 장착될 수 있다.
도 2c는 밀리미터파 레이더 센서(202)가 장착되는 문(220)을 도시한다. 실시예의 밀리미터파 기반 안면 인식 시스템은 사용자가 문(220)에 접근함에 따라 사용자를 인증하도록 사용될 수 있다. 시스템이 사용자를 인증하는 경우, 문(220)이 열린다.
도 2a, 도 2b 및 도 2c에 도시된 적용예는 단지 실시예의 밀리미터파 기반 안면 인식 시스템과 함께 사용될 수 있는 많은 가능한 적용예의 일부 예시일 뿐이다. 도 2a, 도 2b, 및 도 2c에 도시된 객체 상에 장착되는 오직 4개의 밀리미터파 레이더 센서(202)가 도시되었지만, 임의의 수의 밀리미터파 레이더 센서 회로는 특정 적용예 및 사양에 따라 장착될 수 있다. 또한, 밀리미터파 레이더 센서(202)는 이하에서 설명되는 다양한 상이한 방식에 따라 배열될 수 있다.
도 3a는 다양한 개시된 실시예에서 밀리미터파 레이더 센서 회로를 구현하기 위해 사용될 수 있는 밀리미터파 레이더 센서 시스템(300)의 블록도를 도시한다. 밀리미터파 레이더 센서 시스템(300)은 밀리미터파 레이더 센서 회로(302) 및 프로세싱 회로(304)를 포함한다. 실시예의 밀리미터파 레이더 센서 회로는, 예를 들어, 타겟(114)의 위치 및 상대 속도를 측정하는 2차원 밀리미터파 위상 어레이 레이더를 사용하여 구현될 수 있다. 밀리미터파 위상 어레이 레이더는 50GHz 내지 80GHz 범위에서 신호를 송신 및 수신한다. 대안으로, 이 범위 외의 주파수가 또한 사용될 수 있다. 일부 실시예에서, 밀리미터파 레이더 센서 회로(302)는 다수의 송신 및 수신 채널을 갖는 주파수 변조 연속파(FMCW) 레이더 센서로서 동작한다. 대안으로, 밀리미터파 레이더 센서 회로(302)를 구현하기 위해 펄스 레이더, MCFW, 및 NLFM과 같은 다른 타입의 레이더 시스템이 사용될 수 있다.
밀리미터파 레이더 센서 회로(302)는 3차원 공간에서 타겟(114)을 검출하기 위해 무선 신호를 송신 및 수신한다. 예를 들어, 밀리미터파 레이더 센서 회로(302)는 입사 RF 신호를 송신하고 타겟(114)으로부터 입사 RF 신호의 반사 RF 신호를 수신한다. 수신된 반사 RF 신호는 비트 주파수 신호를 결정하기 위해 밀리미터파 레이더 센서 회로(302)에 의해 하향 변환(downconverted)된다. 이들 비트 주파수 신호는 3차원 공간에서 타겟의 위치, 속도, 각도 등과 같은 정보를 결정하기 위해 사용될 수 있다.
다양한 실시예에서, 밀리미터파 레이더 센서 회로(302)는 송신 안테나(312)를 통해 타겟(114)을 향해 입사 RF 신호(301)을 송신하고 수신 안테나(314)를 통해 타겟(114)으로부터 반사 RF 신호(303)를 수신하도록 구성된다. 밀리미터파 레이더 센서 회로(302)는 송신 안테나(312)에 연결된 송신기 프론트엔드 회로(308) 및 수신 안테나(314)에 연결된 수신기 프론트엔드 회로(310)를 포함한다.
동작 중에, 송신기 프론트엔드 회로(308)는 한번에 또는 동시에 타겟(114)을 향해 RF 신호를 송신할 수 있다. 두 송신기 프론트엔드 회로(308)가 도 3a에 도시되었지만, 밀리미터파 레이더 센서 회로(302)는 2개보다 적거나 많은 송신기 프론트엔드 회로(308)를 포함할 수 있다. 각각의 송신기 프론트엔드 회로(308)는 입사 RF 신호를 생성하도록 구성된 회로를 포함한다. 이러한 회로는, 예를 들어, RF 발진기, 상향 변환 믹서, RF 증폭기, 가변 이득 증폭기, 필터, 변환기, 전력 분할기, 및 다른 타입의 회로를 포함할 수 있다.
수신기 프론트엔드 회로(310)는 타겟(114)으로부터 반사된 RF 신호를 수신 및 프로세싱한다. 도 3a에 도시된 바와 같이, 수신기 프론트엔드 회로(310)는 2 x 2 안테나 어레이로 구성될 수 있는 4개의 수신 안테나(314)에 연결되도록 구성된다. 대안의 실시예에서, 수신기 프론트엔드 회로(310)는 4개보다 많거나 적은 안테나에 연결되도록 구성될 수 있고, 결과의 안테나 어레이는 특정 실시예 및 사양에 따라 다양한 n x m 차원이 된다. 수신기 프론트 엔드 회로(310)는, 예를 들어, RF 발진기, 상향 변환 믹서, RF 증폭기, 가변 이득 증폭기, 필터, 변환기, 전력 결합기 및 다른 타입의 회로를 포함할 수 있다.
레이더 회로(306)는 송신기 프론트엔드 회로(308)로 송신될 신호를 제공하고, 수신기 프론트엔드 회로(310)로부터 신호를 수신하며, 밀리미터파 레이더 센서 회로(302)의 동작을 제어하도록 구성될 수 있다. 일부 실시예에서, 레이더 회로(306)는, 주파수 합성 회로, 상향 변환 및 하향 변환 회로, 가변 이득 증폭기, 아날로그 대 디지털 변화기, 디지털 대 아날로그 변화기, 기저대역 신호를 위한 디지털 신호 프로세싱 회로, 바이어스 생성 회로, 및 전압 조절기를 포함하지만, 이에 제한되지 않는다.
레이더 회로(306)는 프로세싱 회로(304)로부터 기저대역 레이더 신호를 수신하고 수신된 기저대역 신호에 기초하여 RF 발진기의 주파수를 제어할 수 있다. 일부 실시예에서, 이 수신된 기저대역 신호는 송신될 FMCW 주파수 처프를 나타낼 수 있다. 레이더 회로(306)는 위상 동기 루프의 주파수 제어 입력으로 수신된 기저대역 신호에 비례하는 신호를 인가함으로써 RF 발진기의 주파수를 조정할 수 있다. 대안으로, 프로세싱 회로(304)로부터 수신된 기저대역 신호는 하나 이상의 믹서를 사용하여 상향 변환될 수 있다. 레이더 회로(306)는 디지털 버스(예를 들어, USB 버스)를 통해 기저대역 신호를 송신 및 디지털화할 수 있고, 아날로그 신호 경로를 통해 아날로그 신호를 송신 및 수신할 수 있고/있거나 프로세싱 회로(304)로 아날로그 및 디지털 신호의 조합을 송신하고/하거나 프로세싱 회로(304)로부터 아날로그 및 디지털 신호의 조합을 수신할 수 있다.
프로세싱 회로(304)는 레이더 회로(306)에 의해 제공되는 기저대역 신호를 획득하고 도 1e에 도시된 SPU(164)와 같은 실시예의 신호 프로세싱 유닛으로의 비트 주파수 신호를 나타내는 송신을 위해 획득된 기저대역 신호를 포맷팅한다. 일부 실시예에서, 프로세싱 회로(304)는 안면 인식 시스템 내의 다른 컴포넌트로 데이터를 전송하기 위한 버스 인터페이스(도시되지 않음)를 포함한다. 선택적으로, 프로세싱 회로(304)는 또한 고속 푸리에 변환(FFT), 단시간 푸리에 변환(STFT), 타겟 분류, 머신 러닝 등과 같은 실시예의 안면 인식 시스템에 의해 사용되는 신호 프로세싱 단계를 수행할 수 있다. 획득된 기저대역 신호를 처리하는 것 이외에, 프로세싱 회로(304)는 또한 밀리미터파 레이더 센서 회로(302)에 의해 생성되는 송신을 제어하는 것과 같이, 밀리미터파 레이더 센서 회로(302)의 양상을 제어할 수 있다.
밀리미터파 레이더 센서 시스템(300)의 다양한 컴포넌트는 다양한 방식으로 구분될 수 있다. 예를 들어, 밀리미터파 레이더 센서 회로(302)는 하나 이상의 RF 집적 회로(RFIC) 상에서 구현될 수 있고, 안테나(312 및 314)는 회로 보드 상에 배치될 수 있고, 프로세싱 회로(304)는 하나 이상의 집적 회로/반도체 기판 상에 배치된 프로세서, 마이크로프로세서, 디지털 신호 프로세서 및/또는 주문제작 로직 회로를 사용하여 구현될 수 있다. 프로세싱 회로(304)는 프로세싱 회로(304)의 기능을 수행하는 메모리와 같은, 비일시적인 컴퓨터 판독가능 저장 매체에 저장된 실행가능한 프로그램에서의 명령어를 실행하는 프로세서를 포함할 수 있다. 그러나, 일부 실시예에서, 프로세싱 회로(304)의 기능의 모두 또는 일부는 밀리미터파 레이더 센서 회로(302)가 배치되는 동일한 집적 회로/반도체 기판 상에 통합될 수 있다.
일부 실시예에서, 밀리미터파 레이더 센서 회로(302)의 일부 또는 모든 부분은 송신 안테나(312), 수신 안테나(314), 송신기 프론트엔드 회로(308), 수신기 프론트엔드 회로(310), 및/또는 레이더 회로(306)를 포함하는 패키지로 구현될 수 있다. 일부 실시예에서, 밀리미터파 레이더 센서(302)는 회로 보드 상에 배치된 하나 이상의 집적 회로로서 구현될 수 있고, 송신 안테나(312) 및 수신 안테나(314)는 집적 회로에 인접한 회로 보드 상에 구현될 수 있다. 일부 실시예에서, 송신기 프론트엔드 회로(308), 수신기 프론트엔드 회로(310), 및 레이더 회로(306)는 동일한 레이더 프론트엔드 집적 회로(IC) 다이 상에 형성된다. 송신 안테나(312) 및 수신 안테나(314)는 레이더 프론트엔드 IC 다이의 일 부분일 수도 있거나, 레이더 프론트엔드 IC 다이 위에 또는 인접하게 배치된 개별 안테나로서 구현될 수도 있다. 레이더 프론트엔드 IC 다이는 밀리미터파 레이더 센서 회로(302)의 다양한 수동 또는 능동 장치의 라우팅 및/또는 구현을 위해 사용되는, 재분배 층(RDL)과 같은, 도전층을 더 포함할 수 있다. 실시예에서, 송신 안테나(312) 및 수신 안테나(314)는 레이더 프론트엔드 IC 다이의 RDL을 사용하여 구현될 수 있다.
도 3b는 밀리미터파 레이더 센서 회로(302)를 구현하기 위해 사용될 수 있는 밀리미터파 레이더 센서 회로(320)의 평면도를 도시한다. 도시된 바와 같이, 밀리미터파 레이더 센서 회로(320)는 기판(322) 상에 또는 내부에 배치된 패치 안테나로서 구현되는 송신 안테나(312) 및 수신 안테나(314)에 연결된 RFIC(324)로서 구현된다. 일부 실시예에서, 기판(322)은, 밀리미터파 레이더 센서 회로(302)가 배치되고 송신 안테나(312) 및 수신 안테나(314)가 회로 보드의 도전층을 사용하여 구현되는 회로 보드를 사용하여 구현될 수 있다. 대안으로, 기판(322)은 하나 이상의 RDL이 배치되고 송신 안테나(312) 및 수신 안테나(314)가 하나 이상의 RDL 상의 도전층을 사용하여 구현되는 웨이퍼 기판을 나타낸다.
도 3b의 구현예는 실시예의 밀리미터파 레이더 센서 회로가 구현될 수 있는 많은 방식 중 단지 하나임을 이해하여야 한다. 대안의 실시예에서, 밀리미터파 레이더 센서 회로는 2개보다 많거나 적은 송신기 및 4개보다 많거나 적은 수신기를 포함할 수 있다. 예를 들어, 도 3b의 밀리미터파 레이더 센서 회로(320)는 ij=n인 i x j 어레이에 배치된 n개의 수신 안테나(314)와 같은, 임의의 차원의 어레이를 갖는 수신 안테나(314)의 직사각형 선형 어레이(RLA)를 통합하도록 수정될 수 있다. 특정 예시는 3 x 2 어레이로 배열되는 총 6개의 수신 안테나, 4 x 2 어레이로 배열되는 총 8개의 안테나, 또는 8 x 2 어레이로 배열되는 총 16개의 안테나를 포함하지만 이에 제한되지 않는다. 이들 n 개의 수신 안테나(314)의 각각은 RFIC(324) 상의 대응하는 핀에 연결될 수 있고 RFIC(324) 내부의 대응하는 수신 회로에 연결될 수 있다.
추가 예시로서, 도 3c는 기판(336) 상에 배치되는 RFIC(334)에 연결되는 하나의 송신 안테나(312) 및 두 개의 수신 안테나(314)를 포함하는 밀리미터파 레이더 센서 회로(332)의 평면도를 도시한다. 밀리미터파 레이더 센서 회로(332)는 n x 1 또는 1 x n으로 배열되는 n 개의 수신 안테나(314)와 같이, 임의의 길이의 선형 어레이를 갖는 수신 안테나(314)의 균일 선형 어레이(ULA)를 통합하도록 수정될 수 있다. 특정 예시는 1 x 1 어레이로 배열되는 총 4개의 수신 안테나 또는 8 x 1 어레이로 배열되는 총 8개의 안테나를 포함하지만 이에 제한되지 않는다. 이들 n개의 수신 안테나(314)의 각각은 RFIC(334) 상의 대응하는 핀에 연결될 수 있고 RFIC(334) 내의 대응하는 수신 회로에 연결될 수 있다. 추가 대안의 실시예에서, 송신 안테나(312) 밀리미터파 레이더 센서 회로(320 및 332)는 RLA 또는 ULA로 유사하게 배열될 수 있다.
일부 실시예의 안면 인식 적용예에서, 사용되는 센서의 개수 및 센서 상에 존재하는 송신/수신 안테나의 개수와 관련하여 절충이 이루어질 수 있다. 예를 들어, 많은 적용예에서, 도 3a 및 도 3b에 도시된 것과 같은 1개의 송신 안테나 및 2개의 수신 안테나를 갖는 4개 이상의 센서를 사용하는 것과, 도 3c에 도시된 것과 같은 2개의 송신 안테나 및 4개의 수신 안테나를 갖는 2개 이상의 센서를 사용하는 것 사이에서 선택이 이루어질 수 있다. 많은 안테나를 갖는 더 적은 레이더 센서 회로를 사용하는 하나의 이유는 더 많은 안테나를 갖는 센서의 증가된 지향성 및 분해능 때문이다. 일반적으로, 밀리미터파 레이더 센서(202) 마다 더 많은 안테나를 사용하는 것은 코히런트 신호 프로세싱을 이용하는 위치 정보의 추출을 돕고 계산적으로 덜 집약적이다. 반면, 적은 안테나를 포함하는 더 많은 수의 밀리미터파 레이더 센서(202)는 추가적인 계산 및 보상으로 비코히런트 신호를 사용함으로써 구현될 수 있다.
도 4a 내지 도 4d는 밀리미터파 레이더 센서(202)의 배치에 대한 다양한 구성을 도시한다. 도 4a는 각 센서 사이의 간격 y를 갖는 균일 선형 어레이로 구성되는 밀리미터파 레이더 센서(202)를 도시한다. 6개의 밀리미터파 레이더 센서(202)가 도면에서 도시되었지만, 6개보다 더 많은 또는 더 적은 밀리미터파 레이더 센서(202)가 특정 실시예 및 사양에 따라 사용될 수 있음을 이해할 수 있다.
도 4b는 각 센서 사이의 간격 y를 갖는 균일 직사각형 어레이로 구성되는 밀리미터파 레이더 센서(202)를 도시한다. 2 x 6 밀리미터파 레이더 센서(202)가 도면에서 도시되었지만, 특정 실시예 및 사양에 따라 임의의 직사각형 어레이 차원이 사용될 수 있다는 것을 이해할 수 있다. 직사각형 구성으로 밀리미터파 레이더 센서(202)를 구성하는 것은 크로스 범위 분해능(cross-range resolution)을 향상시키도록 돕는다. 다양한 실시예에서, 레이더 시스템의 범위는 센서와 타겟 사이의 간격이지만, 분해능의 크로스 범위는 레이더 센서(202)의 감지 장소 내의 공간 분해능과 관련있다.
밀리미터파 레이더 센서(202)는 또한 비균일 구성으로 구현될 수 있다. 예를 들어, 도 4c는 비균일 선형 어레이로 구성되는 밀리미터파 레이더 센서(202)를 도시하고, 도 4d는 비균일 2차원 어레이로 구성되는 밀리미터파 레이더 센서(202)를 도시한다.
다양한 실시예에서, 밀리미터파 레이더 센서(202)는 서로 간에 0.5λ과 0.7λ 사이의 최소 간격을 갖는데, λ는 밀리미터파 RF 신호의 파장이다. 각 센서의 위치가 추출된 데이터를 프로세싱하기 위해 알려져있는 경우 밀리미터파 레이더 센서(202) 사이의 이 간격이 증가될 수 있다.
다양한 실시예에서, 밀리미터파 레이더 센서(202)는 다양한 표면 상에 장착될 수 있고 예를 들어, 폴리카보네이트, 유리, 플라스틱 및 다른 재료를 포함하는 상이한 재료 및/또는 레이돔(radome) 유형 아래에 숨겨질 수 있다. 일부 실시예에서, 금속은 센서 시스템 위에서 사용되지 않는다. 다른 실시예에서, 금속은 특정 시스템에 따라 차폐 또는 도파로로서 센서 평면 위에서 사용될 수 있다. 예를 들어, 밀리미터파 레이더 센서(202)의 기판 상에 배치되는 야기 안테나(yagi antenna)는 센서와 동일한 평면에서 신호를 송신 또는 수신하기 위해 사용될 수 있다. 이러한 경우에, 안테나는 레이더 센서에 의해 생성되는 빔이 타겟을 향해 지향되도록 90도만큼 회전될 수 있다. 금속 차폐가 안테나 위에 배치될 수도 있다.
일부 실시예에서, 밀리미터파 레이더 센서(202)는 7GHz 대역폭에 대해 57GHz 내지 64GHz의 주파수 범위에서 동작한다. 그러나, 시스템의 분해능이 일반적으로 대역폭에 비례하기 때문에, 상이한 주파수 범위 및 대역폭이 사용될 수 있다. 일부 경우에, 밀리미터파 레이더 센서(202)에 의해 송신되는 전력 레벨은 미국 FCC(Federal Communcation Commission)에 의해 공포된 규정과 같은, 정부 규정을 준수하도록 제한될 수 있다. 일부 실시예에서, 분해능 요건, 전력 소비, 가용 시스템 공간 등에 따라 임의의 균일 선형 어레이(ULA), 비균일 선형 어레이(NULA), 균일 직사각형 어레이(URA) 또는 비균일 직사각형 어레이(NURA)가 사용될 수 있다.
도 5는 각각이 m개의 수신 안테나를 갖는 n개의 밀리미터파 레이더 센서에 대해 수신 RF 신호의 주파수를 보여주는 파형 다이어그램을 도시한다. 예를 들어, S1, Rx1으로 표시된 파형은 제 1 센서 S1의 제 1 안테나 Rx1 상에 수신되는 RF 신호의 수신 주파수를 나타내고, S1, Rx2는 제 1 센서 S1의 제 2 안테나 Rx2 상에 수신되는 Rf 신호의 수신 주파수를 나타내고, S2, Rx1은 제 2 센서 S2의 제 1 안테나 Rx1 상에 수신되는 RF 신호의 수신 주파수를 나타내고, S2, Rx2는 제 2 센서 S2의 제 2 안테나 Rx2 상에서 수신되는 RF 신호의 수신 주파수를 나타내고, Sn, Rxm은 n번째 센서 Sn의 m번째 안테나 Rxm 상에서 수신되는 RF 신호의 수신 주파수를 나타낸다. 일부 실시예에서, 이들 파형은 기저대역으로 하향 변환되고 주파수뿐만 아니라 신호의 위상이 결정/기록된다. 파형 다이어그램의 각각의 트레이스의 각각의 톱니 형상 부분은 개별적인 레이더 센서에 의해 수신되는 하나의 반사된 "처프(chirp)"를 나타낸다. 예를 들어, 각각의 톱니 형상 부분의 최소 값은 최소 수신 주파수(예를 들어, 57GHz)를 나타내고, 각각의 톱니 형상 부분의 최대 값은 최대 수신 주파수(예를 들어, 64GHz)를 나타낸다. 일 특정 예시에서, 각각의 밀리미터파 레이더 센서는 2초의 기간 동안 64개의 처프(chirp)를 송신하고, 시스템은 처프 당 256개의 샘플을 획득한다. 이들 샘플은 각각의 밀리미터파 센서 내에서 획득되고 디지털화되어 추가 프로세싱을 위해 도 1e에 도시된 SPU(164)와 같은 프로세서로 송신될 수 있다. 다양한 실시예에서, 수신 신호의 위상 뿐만 아니라 신호의 주파수가 샘플링되고 기록된다.
일부 실시예에서, 도 5에 도시된 수신 신호에 기초하여 일련의 FFT가 계산된다. 예를 들어, 각각의 파형의 FFT가 얻어질 수 있다. 일부 실시예에서, 처프의 길이(예를 들어, 256개의 샘플)를 갖는 윈도윙된 FFT는 전체 64개의 처프 기간 또는 64개의 처프 기간의 일부 동안 각각의 파형을 따라 계산될 수 있다. 각각의 파형의 이들 FFT는 "범위 FFT(range FFT)"로서 지칭될 수 있다. 또한, 공간 FFT는 각각의 밀리미터파 레이더 센서 및 안테나의 위치에 따라 하나 이상의 샘플 포인트에 대해 계산될 수 있다. 이들 FFT는 "방위각 FFT(azimuth FFT)"로서 지칭될 수 있다. 대안의 실시예에서, 이산 푸리에 변환(DFT) 또는 z-변환과 같은 다른 변환 유형과 같이 FFT 외에 다른 변환 유형이 사용될 수 있다.
도 6은 본 발명의 실시예에 따른 특징 추출 방법을 도시한다. 다양한 실시예에서, 방법은 밀리미터파 레이더 센서에 의해 생성되는 샘플링된 데이터(위상 및 주파수)를 취하고 범위 및 방위각 FFT의 형태로 추출된 특징을 생성한다. 일부 실시예에서, 추가적인 특징이 도출될 수 있다. 이들 추출된 특징은 나중 비교를 위해 저장될 수 있거나, 머신 러닝 알고리즘을 사용하여 사용자를 식별 및 인증하기 위해 저장된 파라미터와 비교될 수 있다.
단계(602)에서, 간섭 완화가 수행된다. 이는 안테나 상관 및 색상 클러터 응답을 완화시키기 위해 수신된 레이더 센서 데이터를 초기 백색화(pre-whitening)하는 것을 포함한다. 단계(604)에서, 방위각 FFT가 수행될 데이터 어레이(훈련 데이터를 나타냄)를 윈도윙 및 제로 패딩함으로써 방위각 FFT의 수행을 위해 수신된 센서 데이터가 준비된다. 일부 실시예에서, 윈도윙은 방위각/크로스 범위 축을 따라 변환의 사이드로브(side-lobes)를 감소시킨다. 단계(606)에서, 시점(502)과 같이, 특정 선택된 시점에서의 센서의 공간에 걸쳐서 수신된 센서 데이터를 나타내는 일련의 2차원 FFT인 방위각 FFT가 수행된다. 일부 실시예에서, 방위각 FFT의 세트는 단일 처프에 걸쳐 수집되어 스펙토그램을 형성한다. 처프의 각각의 시점의 FFT는 다수의 처프 기간 내에서 둘 이상의 처프에 걸쳐 평균을 낸다.
단계(608)에서, 단계(606)로부터의 범위 방위각 데이터에 대해 도플러 중심 추정이 수행되며, 여기서 모든 센서로부터의 표준 시간을 따른 사람의 움직임에 기인한 도플러 효과가 이하에서 설명되는 나중 단계(단계(624))에서의 보상에 대해 추정된다. 신호 품질을 향상시키기 위해 처프에 걸쳐 평균 값을 결정하도록 수신된 레이더 센서 데이터에 대해 사전 합산 단계가 수행된다(단계(610)). 단계(610)에서의 사전 합산은 클러터 응답을 제거하고 시스템의 SNR을 향상시키기 위해 수행된다. 사전 합산은 평활화하기 위해(smoothening) 범위-방위각 데이터 맵에 대해 수행될 수 있다. 단계(612)에서, 레이더 센서의 방위각 축으로부터 발생할 수 있는 레이더 센서와 범위 워크(range walk) 사이의 범위 부정합이 처프의 정렬에 의해 보정된다. 단계(614)에서, 각각의 센서로부터 수신된 센서 데이터에 대해 범위 FFT의 준비 중 범위 윈도윙, 제로 패딩이 수행된다. 이 단계에서, 범위 축을 따라 정확도를 향상시키기 위해 윈도우 함수가 수신된 레이더 데이터에 적용되고 이어서 제로 패딩이 이루어진다. 단계(616)에서, 윈도윙되고 제로 패딩된 범위 데이터에 대해 각각의 센서 및/또는 각각의 센서의 각각의 안테나에 의해 수신된 데이터에 대해 범위 FFT가 수행된다.
단계(618)에서, 단계(616)에서 생성된 범위 FFT가 안테나 패턴 및 경로 손실에 대해 보정하도록 조정된다. 일부 실시예에서, 안테나 패턴은 R4 경로 손실에 따라 보정된다. 단계(620)에서 예를 들어, 눈, 코, 귀, 뺨과 같은 주요 안면 특징을 포함하는 잠재적인 범위 포인트가 선택되고, 단계(622)에서 다항식 맞춤 위상 기울기 알고리즘(polynomial fitted phase gradient algorithm)을 사용하여 자동초점 보정이 범위 FFT 데이터에 적용된다. 단계(624)에서, 도플러 중심 보상이 단계(608)에서 수행된 도플러 중심 추정에 기초하여 자동 초점 범위-방위각 데이터에 적용된다. 이 단계에서, 범위-크로스 범위 이미지(range-cross range image)를 향상시키기 위해 사람 움직임이 보정된다.
단계(626)에서, 방위각 마이그레이션 보정(azimuth migration corection)이 수행된다. 방위각 마이그레이션은 범위 및 방위각 방향 모두를 따라 FFT 스펙트럼의 스미어링(smearing)의 형태로 나타날 수 있다. 다양한 실시예에서, 방위각 마이그레이션이 압축을 통해 보정된다. 방위각 FFT에 걸친 데이터는 매칭된 필터 기술을 사용하여 압축될 수 있다. 단계(630)에서 잔여 범위 셀 마이그레이션 보정(RCMC)이 범위-방위각 압축 데이터 맵에 대해 수행된다. 더 이전의 RCMC는 단계(612)에서 명시적인 범위 워크를 보정하였지만, 단계(630)에서 수행된 잔여 RCMC는 상이한 센서에 의해 보여지는 상이한 범위에 의해 유도된 위상 변화를 보정한다. 마지막으로, 단계(632)에서, 스케일링 및 시프팅 동작이 최종 범위-방위각 맵에 대해 수행되어 모든 이미지가 동일한 스케일을 갖도록 보장한다.
도 7은 특징 추출 및 식별을 위한 머신 러닝 파이프라인을 도시하는 블록도를 도시한다. 도 7의 상부(700)는 나중 측정과의 비교를 위한 특징의 저장 프로세싱을 위한 것이다. 이 부분에 도시된 데이터 및 단계는 새로운 사용자에 대해 레이더 측정이 수행되고 프로세싱되는 경우 수행되는 동작을 나타낸다. 아래 부분(720)은 저장된 데이터와의 비교를 위한 새로운 측정의 프로세싱 및 비교를 위한 것이다. 이들 데이터 및 단계는 시스템이 정상 동작 동안 사용자를 식별하고 인증하는 경우 수행되는 동작을 나타낸다.
도 7의 상부(700)에 도시된 바와 같이, 훈련 데이터(702)가 저장된 특징 벡터(710) 및 대응하는 레이블(712)로 변환된다. 훈련 데이터(702)는 하나 이상의 세트의 레이더 센서 측정에 의해 생성되는 미가공 데이터를 나타내고, 특징 벡터(710)는 훈련 데이터(702)를 나타내는 생성된 벡터의 세트를 나타내며, 레이블(712)은 대응하는 훈련 데이터(702) 및 특징 벡터(710)와 연관된 사용자 메타데이터를 나타낸다. 도시된 바와 같이, 훈련 데이터(702)는 압축된 방위각 범위 맵으로부터의 이미지 형성 알고리즘(706)을 사용하여 특징 벡터(710)로 변환된다. 이 이미지 형성 알고리즘은 위에서 도 6과 관련하여 도시되고 설명된 특징을 추출하는 방법에 대응할 수 있다. 데이터 준비 블록(704)은 미가공 센서 데이터의 초기 형성을 나타내고, 데이터 주석 블록(708)은 훈련 데이터(702)로부터의 명칭 및 공식적인 크리덴셜과 같은, 사용자 식별의 도출을 나타낸다. 일부 실시예에서, 레이블(712)은 사용자 메타데이터의 클래스 및 구분을 포함한다.
동작 중에, 하나 이상의 레이더 이미지는 상술된 밀리미터파 센서를 사용하여 사용자가 얻을 수 있다. 일부 경우에, 다수의 레이더 이미지는 식별의 정확도를 증가시키기 위해 기록된다. 머신 러닝 알고리즘(714)은 예측 모델(730)의 능력을 평가하여 특징 벡터를 식별하고 이미지 형성 알고리즘(706) 및 훈련 데이터(702)를 반복적으로 업데이트하여 알고리즘의 분류 정확도를 증가시킨다. 머신 러닝 알고리즘의 훈련 성능은 크로스 엔트로피(cross-entropy) 성능을 계산함으로써 판정될 수 있다. 일부 실시예에서, 머신 러닝 알고리즘(714)은 적어도 90%의 분류 정확도를 위해 이미지 형성 파라미터를 반복적으로 조정한다. 대안으로, 다른 분류 정확도가 사용될 수 있다.
머신 러닝 알고리즘(714)은 당 기술분야에 알려진 다양한 머신 러닝 알고리즘을 사용하여 구현될 수 있다. 예를 들어, 랜덤 포레스트 알고리즘 또는 신경망 알고리즘은 저장된 특징 벡터(710)의 분류 및 분석을 위해 사용될 수 있다. 저장된 특징 벡터(710)의 반복적인 최적화 동안, 이미지 형성(706)의 파라미터 수가 업데이트될 수 있다. 머신 러닝 프로세스를 사용하여 업데이트될 수 있는 이미지 형성 파라미터의 예시는 범위 FFT 및/또는 방위각 FFT의 계산 동안 평균을 내는 처프의 수, 범위 FFT 및/또는 방위각 FFT의 윈도윙 및 제로 패딩, 선택된 범위 포인트의 수 및 자동초점 알고리즘을 위한 다항식 순서를 포함하지만 이에 제한되지 않는다.
복수의 기준 위치(예를 들어, 사람 얼굴의 다양한 부분)에 대해 수행되는 기준 레이더 측정치를 나타내는 기준 훈련 데이터(702)를 사용하여 시스템이 훈련되면, 새로운 타겟 데이터(722)는 사용자 및 타겟을 식별하는 과정 동안 실시예의 밀리미터파 레이더 센서에 의해 수신된다. 데이터 준비 블록(724)은 이미지 형성을 위한 새로운 타겟 데이터(722)를 준비하고, 이미지 형성 블록(726)은 예를 들어, 도 6과 관련하여 상술된 방법을 사용하여 새롭게 추출된 특징 벡터(728)를 형성한다. 예측 모델(730)은 머신 러닝 알고리즘(714)을 활용하여 새롭게 추출된 특징 벡터(728)를 저장된 특징 벡터(710)와 매칭시킨다. 매치가 식별될 때 새로운 특징 벡터를 식별하는 예측 레이블이 제공된다. 일부 실시예에서, 저장된 레이블(712)로부터의 데이터가 예측 레이블로서 제공된다. 예측 모델(730)은 머신 러닝 알고리즘을 통해 계산/평가되는 최적 파라미터를 갖는 머신 러닝 모델이 될 수 있다.
도 8은 본원에 개시된 다양한 실시예에서 시스템 기능의 가능한 분할을 도시하는 실시예의 안면 인식 시스템(800)의 블록도를 도시한다. 도시된 바와 같이, 안면 인식 시스템(800)은 밀리미터파 레이더 센서(202)를 포함한다. 도시의 용이함을 위해 오직 4개의 밀리미터파 레이더 센서(202)가 도시되었지만, 임의의 수의 밀리미터파 센서가 사용될 수 있음을 이해할 수 있다. 다양한 실시예에서, 밀리미터파 레이더 센서(202)는, 예를 들어, 위의 도 4a 내지 도 4d에 도시된 바와 같이 배열될 수 있다.
데이터 인출 기능(802)은 밀리미터파 레이더 센서(202)에 의해 생성된 데이터를 전달하고 신호 프로세싱 유닛(804)에 의한 추가 프로세싱을 위해 데이터를 포맷팅하는 것을 담당한다. 예를 들어, 데이터 인출 기능(802)은 밀리미터파 레이더 센서(202)에 연결된 하나 이상의 데이터 버스를 모니터링하고, 하나 이상의 데이터 버스로부터 데이터를 수신하고, 수신된 데이터를 포맷팅하고, 신호 프로세싱 유닛(804)에 의한 추가 프로세싱을 위해 메모리에서 데이터 포맷팅된 데이터를 저장할 수 있다. 데이터 인출 기능부(802)의 기능은 애플리케이션 프로세서, CPU, FPGA 또는 데이터 인출 기능을 수행하는 것이 가능한 다른 회로를 사용하여 구현될 수 있다.
일부 실시예에서, 신호 프로세싱 유닛(804)은 머신 러닝 알고리즘(714)을 제외한 도 7의 상부(700)에 도시된 훈련 단계(예를 들어, 단계(702, 704, 706, 708, 710 및 712))를 수행하고, 이는 최종 압축된 방위각-범위 이미지 맵의 생성에 대한 데이터 준비의 단계를 포함한다. 더 구체적으로, 신호 프로세싱 유닛(804)은 데이터 준비(704 및 724), 저장된 특징 벡터(710) 및 추출된 특징 벡터(728)를 형성하는 이미지 형성(706 및 726), 및 데이터 주석(708)의 단계를 수행하여 레이블(712)을 형성한다. 신호 프로세싱 유닛(804)은 다수의 센서 데이터를 함께 융합하는 것과 같은 추가적인 기능을 수행할 수 있다. 다양한 실시예에서, 신호 프로세싱 유닛(804)의 기능은 프로세서 상에서 구동하는 소프트웨어로서 구현될 수 있다. 대안으로, 신호 프로세싱 유닛(804)의 기능 전체 또는 부분은 예를 들어, 주문제작 로직으로 구현되는 전용 디지털 신호 프로세싱 하드웨어(DSP), 표준 셀 로직, 또는 FPGA와 같은 프로그래밍가능한 로직을 사용하여 하드웨어로 구현될 수 있다. 일부 실시예에서, 신호 프로세싱 유닛(804)의 기능 전체 또는 부분은 컴퓨터 서버 또는 클라우드 기반 컴퓨팅을 사용하여 원격으로 구현될 수 있다.
머신 러닝 블록(810)은 도 7과 관련하여 상술된 예측 모델(730) 및/또는 머신 러닝 알고리즘(714)과 같은, 본 발명의 실시예의 머신 러닝 양상을 구현한다. 신호 프로세싱 유닛(804)의 기능은 프로세서 상에서 구동하는 소프트웨어로서 구현될 수 있거나 예를 들어, 주문 제작 로직으로 구현된 전용 디지털 신호 프로세싱 하드웨어(DSP), 표준 셀 로직, FPGA와 같은 프로그래밍가능한 로직을 사용하여 하드웨어로 구현될 수 있다. 일부 실시예에서, 머신 러닝 블록(810)은 컴퓨터 서버 또는 클라우드 기반 컴퓨팅을 사용하여 원격으로 구현될 수 있다.
인증 엔진(812)은 도 7에 도시된 예측 모델(730)의 단계를 수행하고 추출된 특징 벡터를 확인한다. 사용자 피드백(814)은 LED 또는 LCD 디스플레이와 같은 전자 디스플레이와 같은 그래픽 사용자 피드백을 포함할 수 있다. 일부 실시예에서, 사용자 피드백(814)은 또한 인증 프로세스에 응답하여 동작을 수행하는 것을 포함할 수 있다. 예를 들어, 사용자가 성공적으로 식별되고 인증되면, 동작은 차의 문 또는 빌딩 문과 같은 문을 여는 것, 컴퓨터 시스템으로의 액세스를 부여하는 것, 뱅킹 애플리케이션과 같은 소프트웨어 애플리케이션으로의 액세스를 허용하는 것, 또는 컴퓨터 프로그램을 실행하는 것을 포함하지만 이에 제한되지 않는다. 일부 실시예에서, 사용자 피드백(814)은 또한 알람을 울리는 것 또는 인증된 직원에게 가능한 보안 침입을 알리는 것과 같이 인증 프로세스가 실패하는 경우의 동작을 포함할 수 있다.
일부 실시예에서, 타겟(114)은 실시예의 밀리미터파 레이더 센서로부터의 측정치를 지문 스캐너, 광학 안면 인식 시스템, 바디 스캐너, 카메라 센서, 및 망막 스캐너를 포함하지만 이에 제한되지 않는, 다른 생체 및 광학 센서와 통합시킴으로써 식별 및 인증될 수 있다. 이들 스캐너로부터 도출되는 데이터는 타겟 데이터 세트(702 및 722) 내에 및/또는 특징 벡터(710 및 728) 내에 포함될 수 있고, 머신 러닝 알고리즘(714)은 밀리미터파 레이더 센서로부터 그리고 다른 센서로부터 도출되는 데이터를 포함하는 통합된 데이터 세트 및 벡터에 적용될 수 있다.
이제 도 9를 참조하면, 프로세싱 시스템(900)의 블록도가 본 발명의 실시예에 따라 제공된다. 프로세싱 시스템(900)은 범용 플랫폼 및 일반 컴포넌트 및 실시예의 레이더 시스템에 대해 인터페이싱되는 외부 컴퓨터 또는 프로세싱 장치 및/또는 실시예의 레이더 시스템의 부분을 구현하기 위해 사용될 수 있는 기능을 도시하한다. 프로세싱 시스템(900)은, 예를 들어, 중앙 프로세싱 유닛(CPU)(902) 메모리(904) 및 상술된 프로세스를 수행하도록 구성된 버스(908)에 연결된 대용량 저장 장치(906)를 포함할 수 있다. 프로세싱 시스템(900)은, 원하거나 필요하다면, 로컬 디스플레이(912)에 연결성을 제공하는 비디오 어댑터(910) 및 마우스, 키보드, 프린터, 테이프 드라이브, CD 드라이브 등과 같은, 하나 이상의 입력/출력 장치(916)에 대해 입력/출력 인터페이스를 제공하는 입력/출력(I/O) 어댑터(914)를 더 포함할 수 있다.
프로세싱 시스템(900)은 또한 이더넷 케이블, USB 인터페이스 등과 같은 유선 링크, 및/또는 네트워크와의 통신을 위한 무선/셀룰러 링크에 연결되도록 구성된 네트워크 어댑터를 사용하여 구현될 수 있는 네트워크 인터페이스(918)를 포함한다. 네트워크 인터페이스(918)는 또한 무선 통신을 위한 적합한 수신기 및 송신기를 포함할 수 있다. 프로세싱 시스템(900)은 다른 컴포넌트를 포함할 수 있다는 것에 유의해야한다. 예를 들어, 프로세싱 시스템(900)은 전원 장치, 케이블, 마더보드, 제거가능한 저장 매체, 케이스 등을 포함할 수 있다. 이들 다른 컴포넌트는, 도시되지 않았지만, 프로세싱 시스템(900)의 부분으로 고려된다.
본 발명의 예시의 실시예가 이하에서 요약된다. 다른 실시예는 또한 본원에서 제출된 명세서 및 청구항의 전체로부터 이해될 수 있다.
예 1. 생물 타겟을 인식하는 방법으로서, 방법은 밀리미터파 레이더 센서를 사용하여 생물 타겟 상의 복수의 위치에 대한 레이더 측정을 수행하는 단계와, 레이더 측정에 기초하여 복수의 위치에 대해 타겟 데이터 세트를 생성하는 단계와, 타겟 데이터 세트로부터 특징을 추출하는 단계와, 추출된 특징을 저장된 특징과 비교하는 단계와, 비교에 기초하여 추출된 특징이 저장된 특징과 매칭되는지 여부를 판정하는 단계를 포함한다.
예 2. 예 1의 방법으로서, 레이더 측정을 수행하는 단계는 복수의 레이더 빔을 형성하는 단계를 포함하고, 복수의 레이더 빔의 각각은 생물 타겟 상의 복수의 위치의 대응하는 위치로 지향된다.
예 3. 예 1 및 예 2 중 하나의 방법으로서, 생물 타겟은 사람 얼굴을 포함하고, 레이더 측정을 수행하는 단계는 사람 얼굴 상의 복수의 위치에 대해 레이더 측정을 수행하는 단계를 포함한다.
예 4. 예 3의 방법으로서, 사람 얼굴을 밀리미터파 레이더 센서와 정렬시키는 단계를 더 포함한다.
예 5. 예 4의 방법으로서, 정렬시키는 단계는, 사람 얼굴이 밀리미터파 레이더 센서의 제 1 거리 내에 있는 경우를 판정하는 단계와, 판정에 기초하여 사람 얼굴이 제 1 거리 내에 있는 경우 레이더 측정을 수행하는 단계를 포함한다.
예 6. 예 5의 방법으로서, 제 1 거리는 10 센티미터와 30 센티미터 사이이다.
예 7. 예 5 및 예 6 중 하나의 방법으로서, 정렬시키는 단계는, 카메라를 사용하여 사람 얼굴의 이미지를 캡쳐하는 단계와, 캡쳐된 이미지에 기초하여 제 1 영역 내에 사람 얼굴을 위치시키는 단계를 더 포함한다.
예 8. 예 5 내지 예 7 중 어느 하나의 방법으로서, 정렬시키는 단계는, 사람 얼굴을 복수의 광 이미터 사이에 정렬시키는 단계를 포함한다.
예 9. 예 8 및 예 9 중 하나의 방법으로서, 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서 회로를 포함한다.
예 10. 예 9의 방법으로서, 복수의 밀리미터파 레이더 센서 회로의 각각은 생물 타겟 상의 대응하는 위치와 연관된다.
예 11. 예 9 및 예 10 중 하나의 방법으로서, 복수의 밀리미터파 레이더 센서 회로는 선형 어레이로 배열된다.
예 12. 예 11의 방법으로서, 선형 어레이는 균일한 선형 어레이이다.
예 13. 예 9의 방법으로서, 복수의 밀리미터파 레이더 센서 회로는 직사각형 어레이로 배열된다.
예 14. 예 13의 방법으로서, 직사각형 어레이는 균일한 직사각형 어레이이다.
예 15. 예 1 내지 예 14 중 어느 하나의 방법으로서, 추출된 특징을 저장된 특징과 비교하는 단계는 랜덤 포레스트 알고리즘(random forest algorithm)을 사용하는 단계를 포함한다.
예 16. 예 1 내지 예 14 중 어느 하나의 방법으로서, 추출된 특징을 저장된 특징과 비교하는 단계는 신경망 알고리즘을 사용하는 단계를 포함한다.
예 17. 예 1 내지 예 16 중 어느 하나의 방법으로서, 저장된 특징의 세트를 생성하는 단계는, 밀리미터파 레이더 센서를 사용하여 생물 타겟 상의 복수의 기준 위치에 대한 기준 레이더 측정의 세트를 수행하는 단계와, 기준 레이더 측정에 기초하여 복수의 기준 위치에 대한 훈련 데이터 세트를 생성하는 단계와, 훈련 데이터 세트에 기초하여 저장된 특징을 형성하는 단계를 포함한다.
예 18. 예 17의 방법으로서, 저장된 특징을 형성하는 단계는 머신 러닝 알고리즘(machine learning algorithm)을 사용하여 저장된 특징을 형성하는 것을 반복적으로 조정하는 단계를 포함한다.
예 19. 예 18의 방법으로서, 저장된 특징을 형성하는 단계는 훈련 데이터 세트에 대해 FFT를 수행하는 단계를 포함하고, 저장된 특징을 형성하는 것을 반복적으로 조정하는 단계는 머신 러닝 알고리즘을 사용하는 것에 기초하여 FFT의 파라미터를 조정하는 단계를 포함한다.
예 20. 예 19의 방법으로서, FFT의 파라미터를 조정하는 단계는 FFT의 윈도잉(windowing)을 조정하는 단계와 FFT를 수행하는 단계 이전에 훈련 데이터 세트의 제로 패딩(zero padding)을 조정하는 단계를 포함한다.
예 21. 예 19의 방법으로서, FFT를 수행하는 단계는, 복수의 기준 위치의 각각에 대응하는 각각의 타겟 데이터 세트에 대한 범위 FFT를 수행하는 단계와 선택된 시점에 대한 복수의 기준 위치에 걸쳐 2차원 FFT를 수행하는 단계를 포함한다.
예 22. 예 21의 방법으로서, 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서를 포함하고, 복수의 밀리미터파 레이더 센서의 각각은 복수의 위치 중 대응하는 하나의 위치와 연관되고, 방법은, 범위 FFT 및 2차원 FFT를 조정하여 복수의 밀리미터파 레이더 센서의 범위 및 방위각 마이그레이션(range and azimuth migration)을 보상하는 단계를 더 포함한다.
예 23. 예 1 내지 예 22 중 어느 하나의 방법으로서, 판정에 기초하여 추출된 특징이 저장된 특징과 매칭되는 경우 제 1 동작을 수행하는 단계를 더 포함한다.
예 24. 예 23의 방법으로서, 제 1 동작은 잠금을 잠금해제하는 것을 포함한다.
예 25. 시스템으로서, 밀리미터파 레이더 센서와 연결되도록 구성되는 프로세싱 시스템을 포함하되, 프로세싱 시스템은, 밀리미터파 레이더 센서로부터 생물 타겟의 복수의 위치에 대한 레이더 측정을 수신하고, 밀리미터파 레이더 센서에 의해 수행되는 레이더 측정에 기초하여 복수의 위치에 대해 타겟 데이터 세트를 생성하고, 타겟 데이터 세트로부터 특징을 추출하고, 추출된 특징을 저장된 특징과 비교하고, 비교에 기초하여 추출된 특징이 저장된 특징과 매칭되는지 여부를 판정하도록 구성된다.
예 26. 예 25의 시스템으로서, 밀리미터파 레이더 센서를 더 포함한다.
예 27. 예 26의 시스템으로서, 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서 회로를 포함한다.
예 28. 예 27의 시스템으로서, 복수의 밀리미터파 레이더 센서 회로의 각각은 2개의 수신 안테나 및 1개의 송신 안테나를 포함한다.
예 29. 예 27의 시스템으로서, 복수의 밀리미터파 레이더 센서 회로의 각각은 4개의 수신 안테나 및 2개의 송신 안테나를 포함한다.
예 30. 예 27 내지 예 29 중 어느 하나의 시스템으로서, 복수의 밀리미터파 레이더 센서 회로의 각각은 생물 타겟 상의 대응하는 위치와 연관된다.
예 31. 예 27 내지 예 30 중 어느 하나의 시스템으로서, 복수의 밀리미터파 레이더 센서 회로는 선형 어레이로 배열된다.
예 32. 예 31의 시스템으로서, 선형 어레이는 균일한 선형 어레이이다.
예 33. 예 27 내지 예 30 중 어느 하나의 시스템으로서, 복수의 밀리미터파 레이더 센서 회로는 직사각형 어레이로 배열된다.
예 34. 예 33의 시스템으로서, 직사각형 어레이는 균일한 직사각형 어레이이다.
예 35. 예 25 내지 예 34 중 어느 하나의 시스템으로서, 생물 타겟은 사람 얼굴을 포함한다.
예 36. 예 25 내지 예 35 중 어느 하나의 시스템으로서, 프로세싱 시스템은 랜덤 포레스트 알고리즘을 사용하여 추출된 측징을 저장된 특징과 비교하도록 구성된다.
예 37. 예 25 내지 예 35 중 어느 하나의 시스템으로서, 프로세싱 시스템은 신경망 알고리즘을 사용하여 추출된 특징을 저장된 특징과 비교하도록 구성된다.
예 38. 예 25 내지 예 37 중 어느 하나의 시스템으로서, 프로세싱 시스템은 밀리미터파 레이더 센서로부터 생물 타겟 상의 복수의 기준 위치에 대한 기준 레이더 측정의 세트를 수신하는 것과, 기준 레이더 측정에 기초하여 복수의 기준 위치에 대해 훈련 데이터 세트를 생성하는 것과, 훈련 데이터 세트에 기초하여 저장된 특징을 형성하는 것에 의해 저장된 특징의 세트를 생성하도록 더 구성된다.
예 39. 예 38의 시스템으로서, 저장된 특징을 형성하는 것은 머신 러닝 알고리즘을 사용하여 저장된 특징을 형성하는 것을 반복적으로 조정하는 것을 포함한다.
예 40. 예 39의 시스템으로서, 저장된 특징을 형성하는 것은 훈련 데이터 세트에 대해 FFT를 수행하는 것을 포함하고, 저장된 특징을 형성하는 것을 반복적으로 조정하는 것은 머신 러닝 알고리즘을 사용하는 것에 기초하여 FFT의 파라미터를 조정하는 것을 포함한다.
예 41. 예 40의 시스템으로서, FFT의 파라미터를 조정하는 것은 FFT의 윈도윙을 조정하는 것과 FFT를 수행하기 이전에 훈련 데이터 세트의 제로 패딩을 조정하는 것을 포함한다.
예 42. 예 40 및 예 41 중 어느 하나의 시스템으로서, FFT를 수행하는 것은, 복수의 기준 위치의 각각에 대응하는 각각의 타겟 데이터에 대해 범위 FFT를 수행하는 것과, 선택된 시점에 대한 복수의 기준 위치에 걸쳐 2차원 FFT를 수행하는 것을 포함한다.
예 43. 예 42의 시스템으로서, 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서를 포함하고, 복수의 밀리미터파 레이더 센서의 각각은 복수의 위치 중 대응하는 하나의 위치와 연관되고, 프로세싱 시스템은 범위 FFT 및 2차원 FFT를 조정하여 복수의 밀리미터파 레이더 센서의 범위 및 방위각 마이그레이션을 보상하도록 더 구성된다.
예 44. 내부에 저장된 실행가능한 프로그램을 갖는 비일시적인 컴퓨터 판독가능 저장 매체로서, 실행가능한 프로그램은, 밀리미터파 레이더 센서로부터 생물 타겟의 복수의 위치에 대한 레이더 측정치를 수신하고, 밀리미터파 레이더 센서에 의해 수행되는 레이더 측정치에 기초하여 복수의 위치에 대한 타겟 데이터 세트를 생성하고, 타겟 데이터 세트로부터 특징을 추출하고, 추출된 특징을 저장된 특징과 비교하고, 비교에 기초하여 추출된 특징이 저장된 특징과 매칭되는지 여부를 판정하는 명령어를 포함한다.
예 45. 예 44의 비일시적인 컴퓨터 판독가능 저장 매체로서, 실행가능한 프로그램은, 밀리미터파 레이더 센서로부터 생물 타겟 상의 복수의 기준 위치에 대한 기준 레이더 측정치의 세트를 수신하는 것과, 기준 레이더 측정에 기초하여 복수의 기준 위치에 대한 훈련 데이터 세트를 생성하는 것과, 훈련 데이터 세트에 기초하여 저장된 특징을 형성하는 것에 의해 저장된 특징의 세트를 형성하도록 더 구성된다.
예 46. 예 45의 비일시적인 컴퓨터 판독가능 저장 매체로서, 저장된 특징을 형성하는 것은 머신 러닝 알고리즘을 사용하여 저장된 특징을 형성하는 것을 반복적으로 조정하는 것을 포함한다.
예 47. 예 46의 비일시적인 컴퓨터 판독가능 저장 매체로서, 저장된 특징을 형성하는 것은 훈련 데이터 세트에 대해 FFT를 수행하는 것을 포함하고, 저장된 특징을 형성하는 것을 반복적으로 조정하는 것은 머신 러닝 알고리즘을 사용하는 것에 기초하여 FFT의 파라미터를 조정하는 것을 포함한다.
예 48. 예 47의 비일시적인 컴퓨터 판독가능 저장 매체로서, FFT의 파라미터를 조정하는 것은 FFT의 윈도윙을 조정하는 것과 FFT를 수행하기 이전에 훈련 데이터 세트의 제로 패딩을 조정하는 것을 포함한다.
예 49. 예 47의 비일시적인 컴퓨터 판독가능 저장 매체로서, FFT를 수행하는 것은, 복수의 기준 위치의 각각에 대응하는 각각의 타겟 데이터에 대해 범위 FFT를 수행하는 것과, 선택된 시점에 대한 복수의 기준 위치에 걸쳐 2차원 FFT를 수행하는 것을 포함한다.
예 50. 예 49의 비일시적인 컴퓨터 판독가능 저장 매체로서, 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서를 포함하고, 복수의 밀리미터파 레이더 센서의 각각은 복수의 위치 중 대응하는 하나의 위치와 연관되고, 실행가능한 프로그램은 범위 FFT 및 2차원 FFT를 조정하여 복수의 밀리미터파 레이더 센서의 범위 및 방위각 마이그레이션을 보상하는 것을 더 포함한다.
본 발명의 실시예의 장점은 사람 얼굴 또는 다른 생물 타겟을 정확하게 식별하고 인증하는 기능을 포함한다. 타겟의 상이한 부분에서 지향되는 복수의 밀리미터파 레이더 센서를 사용함으로써, 타겟의 물리적 크기 및 RF 반사 속성이 평가될 수 있다. 이러한 유형의 측정은 유리하게 타겟의 사진 또는 인공적인 모델을 센서에 제시함으로써 보안 시스템을 스푸핑하는 것을 어렵게 만든다. 추가 장점은 스마트폰과 같은 휴대용 전자 장치 상에 적합하게 포함된 작은 형상 계수의 정확한 안면 인식 시스템을 구현하는 기능을 포함한다. 안면 인식 시스템이 유선 또는 무선 네트워크 인터페이스를 갖는 저전력 애플리케이션에서, 계산 집약적인 프로세싱 태스크는 유리하게 외부 컴퓨팅 장치 또는 클라우드 기반 프로세싱 시스템에 오프로딩(offloaded) 또는 파티셔닝(partitioned)될 수 있다.
실시예의 다른 장점은 머신 러닝 알고리즘의 실행 동안 레이더 센서의 전자 및 물리적 부정합 에러를 보정(calibrate)하는 기능을 포함한다. 동작 중에 에러를 보정하는 이 기능은 유리하게 대규모 공장 테스팅 및 보정에 대한 필요성 없이 값싼 컴포넌트를 사용하여 센서 및 센서 어레이의 물리적 구현을 가능하게 한다.
본 발명은 예시적인 실시예를 참조하여 설명되었지만, 이 설명은 제한적인 의미로서 해석되는 것이 아니다. 본 발명의 예시적인 실시예의 다양한 수정 및 조합 뿐만 아니라 다른 실시예는, 설명을 참조할 시에 당업자에게 명백해질 것이다. 따라서, 첨부된 청구항은 임의의 이러한 수정 또는 실시예를 포함하는 것이다.

Claims (25)

  1. 생물 타겟(biological target)을 인식하는 방법으로서,
    밀리미터파 레이더 센서를 사용하여 상기 생물 타겟 상의 복수의 위치(site)에 대한 레이더 측정을 수행하는 단계와,
    상기 레이더 측정에 기초하여 상기 복수의 위치에 대해 타겟 데이터 세트를 생성하는 단계와,
    상기 타겟 데이터 세트로부터 특징을 추출하는 단계와,
    저장된 특징의 세트를 생성하는 단계 - 상기 저장된 특징의 세트를 생성하는 단계는
    상기 밀리미터파 레이더 센서를 사용하여 상기 생물 타겟 상의 복수의 기준 위치에 대한 기준 레이더 측정의 세트를 수행하는 단계와,
    상기 기준 레이더 측정에 기초하여 상기 복수의 기준 위치에 대한 훈련 데이터 세트를 생성하는 단계와,
    상기 훈련 데이터 세트에 기초하여 상기 저장된 특징을 형성하는 단계를 포함하되, 상기 저장된 특징을 형성하는 단계는 상기 훈련 데이터 세트에 대해 FFT를 수행하는 단계 및 머신 러닝 알고리즘(machine learning algorithm)을 사용하는 것에 기초하여 상기 FFT의 파라미터를 조정하는 것에 의해 상기 저장된 특징을 형성하는 것을 반복적으로 조정하는 단계를 포함함 - 하는 단계와,
    상기 추출된 특징을 상기 저장된 특징과 비교하는 단계와,
    상기 비교에 기초하여 상기 추출된 특징이 상기 저장된 특징과 매칭되는지 여부를 판정하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 레이더 측정을 수행하는 단계는 복수의 레이더 빔을 형성하는 단계를 포함하고, 상기 복수의 레이더 빔의 각각은 상기 생물 타겟 상의 상기 복수의 위치의 대응하는 위치로 지향되는
    방법.
  3. 제 1 항에 있어서,
    상기 생물 타겟은 사람 얼굴을 포함하고,
    상기 레이더 측정을 수행하는 단계는 상기 사람 얼굴 상의 복수의 위치에 대해 레이더 측정을 수행하는 단계를 포함하는
    방법.
  4. 제 3 항에 있어서,
    상기 사람 얼굴을 상기 밀리미터파 레이더 센서와 정렬시키는 단계를 더 포함하는
    방법.
  5. 제 4 항에 있어서,
    상기 정렬시키는 단계는,
    상기 사람 얼굴이 상기 밀리미터파 레이더 센서의 제 1 거리 내에 있는 경우를 판정하는 단계와,
    상기 판정에 기초하여 상기 사람 얼굴이 상기 제 1 거리 내에 있는 경우 상기 레이더 측정을 수행하는 단계를 포함하는
    방법.
  6. 제 5 항에 있어서,
    상기 제 1 거리는 10 센티미터와 30 센티미터 사이인
    방법.
  7. 제 5 항에 있어서,
    상기 정렬시키는 단계는,
    카메라를 사용하여 상기 사람 얼굴의 이미지를 캡쳐하는 단계와,
    상기 캡쳐된 이미지에 기초하여 제 1 영역 내에 상기 사람 얼굴을 위치시키는 단계를 더 포함하는
    방법.
  8. 제 1 항에 있어서,
    상기 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서 회로를 포함하고,
    상기 복수의 밀리미터파 레이더 센서 회로의 각각은 상기 생물 타겟 상의 대응하는 위치와 연관되는
    방법.
  9. 제 1 항에 있어서,
    상기 추출된 특징을 저장된 특징과 비교하는 단계는 랜덤 포레스트 알고리즘(random forest algorithm) 또는 신경망 알고리즘 중 적어도 하나를 사용하는 단계를 포함하는
    방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 1 항에 있어서,
    상기 FFT의 파라미터를 조정하는 단계는 상기 FFT를 수행하는 단계 이전에 훈련 데이터 세트의 제로 패딩(zero padding)을 조정하는 단계와 상기 FFT의 윈도잉(windowing)을 조정하는 단계를 포함하는
    방법.
  14. 제 1 항에 있어서,
    상기 FFT를 수행하는 단계는,
    상기 복수의 기준 위치의 각각에 대응하는 각각의 타겟 데이터 세트에 대한 범위(range) FFT를 수행하는 단계와, 선택된 시점에 대하여 상기 복수의 기준 위치에 걸쳐 2차원 FFT를 수행하는 단계를 포함하는
    방법.
  15. 제 14 항에 있어서,
    상기 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서를 포함하고,
    상기 복수의 밀리미터파 레이더 센서의 각각은 상기 복수의 위치 중 대응하는 하나의 위치와 연관되고,
    상기 방법은,
    상기 범위 FFT 및 상기 2차원 FFT를 조정하여 상기 복수의 밀리미터파 레이더 센서의 범위 및 방위각 마이그레이션(range and azimuth migration)을 보상하는 단계를 더 포함하는
    방법.
  16. 제 1 항에 있어서,
    상기 판정에 기초하여 상기 추출된 특징이 상기 저장된 특징과 매칭되는 경우 제 1 동작을 수행하는 단계를 더 포함하는
    방법.
  17. 밀리미터파 레이더 센서와 연결되도록 구성되는 프로세싱 시스템을 포함하되, 상기 프로세싱 시스템은,
    상기 밀리미터파 레이더 센서로부터 생물 타겟의 복수의 위치에 대한 레이더 측정을 수신하고,
    상기 밀리미터파 레이더 센서에 의해 수행되는 상기 레이더 측정에 기초하여 상기 복수의 위치에 대해 타겟 데이터 세트를 생성하고,
    상기 타겟 데이터 세트로부터 특징을 추출하고,
    저장된 특징의 세트를 생성하고 - 상기 저장된 특징의 세트를 생성하는 것은
    상기 밀리미터파 레이더 센서를 사용하여 상기 생물 타겟 상의 복수의 기준 위치에 대한 기준 레이더 측정의 세트를 수신하는 것과,
    상기 기준 레이더 측정에 기초하여 상기 복수의 기준 위치에 대한 훈련 데이터 세트를 생성하는 것과,
    상기 훈련 데이터 세트에 기초하여 상기 저장된 특징을 형성하는 것을 포함하되, 상기 저장된 특징을 형성하는 것은 상기 훈련 데이터 세트에 대해 FFT를 수행하는 것 및 머신 러닝 알고리즘(machine learning algorithm)을 사용하는 것에 기초하여 상기 FFT의 파라미터를 조정하는 것에 의해 상기 저장된 특징을 형성하는 것을 반복적으로 조정하는 것을 포함함 -,
    상기 추출된 특징을 상기 저장된 특징과 비교하고,
    상기 비교에 기초하여 상기 추출된 특징이 상기 저장된 특징과 매칭되는지 여부를 판정하도록 구성되는
    시스템.
  18. 제 17 항에 있어서,
    상기 밀리미터파 레이더 센서를 더 포함하되,
    상기 밀리미터파 레이더 센서는 복수의 밀리미터파 레이더 센서 회로를 포함하는
    시스템.
  19. 제 18 항에 있어서,
    상기 복수의 밀리미터파 레이더 센서 회로의 각각은 2개의 수신 안테나 및 1개의 송신 안테나를 포함하는
    시스템.
  20. 제 18 항에 있어서,
    상기 복수의 밀리미터파 레이더 센서 회로의 각각은 4개의 수신 안테나 및 2개의 송신 안테나를 포함하는
    시스템.
  21. 제 18 항에 있어서,
    상기 복수의 밀리미터파 레이더 센서 회로는 선형 어레이 또는 직사각형 어레이 중 적어도 하나로 배열되는
    시스템.
  22. 제 21 항에 있어서,
    상기 선형 어레이는 균일한 선형 어레이이고,
    상기 직사각형 어레이는 균일한 직사각형 어레이인
    시스템.
  23. 삭제
  24. 실행가능한 프로그램이 저장되어 있는 비일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 실행가능한 프로그램은,
    밀리미터파 레이더 센서로부터 생물 타겟의 복수의 위치에 대한 레이더 측정치를 수신하고,
    상기 밀리미터파 레이더 센서에 의해 수행되는 상기 레이더 측정치에 기초하여 상기 복수의 위치에 대한 타겟 데이터 세트를 생성하고,
    상기 타겟 데이터 세트로부터 특징을 추출하고,
    저장된 특징의 세트를 생성하고 - 상기 저장된 특징의 세트를 생성하는 것은
    상기 밀리미터파 레이더 센서를 사용하여 상기 생물 타겟 상의 복수의 기준 위치에 대한 기준 레이더 측정의 세트를 수신하는 것과,
    상기 기준 레이더 측정에 기초하여 상기 복수의 기준 위치에 대한 훈련 데이터 세트를 생성하는 것과,
    상기 훈련 데이터 세트에 기초하여 상기 저장된 특징을 형성하는 것을 포함하되, 상기 저장된 특징을 형성하는 것은 상기 훈련 데이터 세트에 대해 FFT를 수행하는 것 및 머신 러닝 알고리즘(machine learning algorithm)을 사용하는 것에 기초하여 상기 FFT의 파라미터를 조정하는 것에 의해 상기 저장된 특징을 형성하는 것을 반복적으로 조정하는 것을 포함함 -,
    상기 추출된 특징을 상기 저장된 특징과 비교하고,
    상기 비교에 기초하여 상기 추출된 특징이 상기 저장된 특징과 매칭되는지 여부를 판정하는 명령어를 포함하는
    비일시적 컴퓨터 판독가능 저장 매체.
  25. 삭제
KR1020180074856A 2017-07-07 2018-06-28 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법 KR102578944B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762529967P 2017-07-07 2017-07-07
US62/529,967 2017-07-07
US15/703,605 US10591586B2 (en) 2017-07-07 2017-09-13 System and method for identifying a target using radar sensors
US15/703,605 2017-09-13

Publications (2)

Publication Number Publication Date
KR20190005740A KR20190005740A (ko) 2019-01-16
KR102578944B1 true KR102578944B1 (ko) 2023-09-18

Family

ID=62874735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180074856A KR102578944B1 (ko) 2017-07-07 2018-06-28 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법

Country Status (4)

Country Link
US (2) US10591586B2 (ko)
EP (1) EP3425421A1 (ko)
KR (1) KR102578944B1 (ko)
CN (1) CN109212499A (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019060023A1 (en) * 2017-09-22 2019-03-28 Visa International Service Association METHOD FOR FACIAL ANTI-USURPATION USING DIFFERENCES IN IMAGE PROPERTIES
US10976429B1 (en) * 2017-10-16 2021-04-13 Hrl Laboratories, Llc System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks
US20190120934A1 (en) * 2017-10-19 2019-04-25 GM Global Technology Operations LLC Three-dimensional alignment of radar and camera sensors
EP3489851B1 (en) * 2017-11-21 2021-07-07 Panasonic Intellectual Property Management Co., Ltd. Identification device and identification method
US11308339B2 (en) * 2018-01-30 2022-04-19 T-Mobile Usa, Inc. Methods and systems for identifying and profiling biological tissue
US11391817B2 (en) * 2018-05-11 2022-07-19 Qualcomm Incorporated Radio frequency (RF) object detection using radar and machine learning
US10962637B2 (en) * 2018-06-25 2021-03-30 Texas Instruments Incorporated Radar data processing using neural network classifier and confidence metrics
KR102146665B1 (ko) * 2018-11-15 2020-08-24 국민대학교산학협력단 Visual-mimo 환경에서의 신경망 모델을 이용한 led 색상 예측 장치 및 그 방법
CN109886157A (zh) * 2019-01-30 2019-06-14 杭州芯影科技有限公司 一种基于毫米波图像的人脸识别方法及系统
KR20200095691A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 밀리미터 웨이브를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
US11402464B2 (en) * 2019-02-25 2022-08-02 Samsung Electronics Co., Ltd. Radar leakage measurement update
CN109948481B (zh) * 2019-03-07 2024-02-02 惠州学院 一种基于窄带射频链路采样的无源人体识别方法
US11017209B2 (en) * 2019-03-15 2021-05-25 Samsung Electronics Co., Ltd. Millimeter wave radar and camera fusion based face authentication system
US11550031B2 (en) * 2019-03-18 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
KR102021531B1 (ko) * 2019-03-28 2019-11-04 세종대학교 산학협력단 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
US11506753B2 (en) 2019-04-08 2022-11-22 Samsung Electronics Co., Ltd. Systems and methods for radar based face authentication anti-spoofing
CN110045371A (zh) * 2019-04-28 2019-07-23 软通智慧科技有限公司 一种鉴定方法、装置、设备及存储介质
CN109996175B (zh) * 2019-05-15 2021-04-30 苏州矽典微智能科技有限公司 室内定位系统和方法
CN110187321B (zh) * 2019-05-30 2022-07-22 电子科技大学 基于深度学习的复杂环境下雷达辐射源特征参数提取方法
CN110290353A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质
CN110290352A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质
CN110197664B (zh) * 2019-07-02 2020-01-21 上海交通大学 基于fmcw与特征表达迁移的声道用户验证方法及系统
EP4004686A1 (en) * 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
CN110412378B (zh) * 2019-07-30 2021-08-24 北京经纬恒润科技股份有限公司 目标物体检测方法及装置
CN110457885B (zh) * 2019-08-08 2022-02-01 维沃移动通信有限公司 一种操作方法及电子设备
CN110471029B (zh) * 2019-08-16 2023-11-24 天津大学 一种基于扩展卡尔曼滤波的单站无源定位方法及装置
CN110610706A (zh) * 2019-09-23 2019-12-24 珠海格力电器股份有限公司 声音信号采集方法、装置、电器设备控制方法及电器设备
CN110636266B (zh) * 2019-10-10 2020-10-16 珠海格力电器股份有限公司 基于电器的安防监控方法及装置、存储介质
CN110766067B (zh) * 2019-10-21 2023-07-21 浙江工业大学之江学院 基于机器学习的毫米波雷达材质识别方法
US11361554B2 (en) * 2019-10-22 2022-06-14 Robert Bosch Gmbh Performing object and activity recognition based on data from a camera and a radar sensor
CN110779149A (zh) * 2019-11-14 2020-02-11 宁波奥克斯电气股份有限公司 一种空调控制方法、装置及空调器
US11747442B2 (en) * 2019-12-11 2023-09-05 Samsung Electronics Co., Ltd. Method and apparatus with radar data recognition
KR20210074749A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
CN113033254A (zh) * 2019-12-24 2021-06-25 深圳市万普拉斯科技有限公司 体貌识别方法、装置、终端和计算机可读存储介质
CN113267755A (zh) * 2020-02-14 2021-08-17 Oppo广东移动通信有限公司 毫米波信号处理方法、装置、电子设备和可读存储介质
CN113433541A (zh) * 2020-03-23 2021-09-24 Oppo广东移动通信有限公司 人脸检测方法和装置、电子设备、计算机可读存储介质
US20210326581A1 (en) * 2020-04-14 2021-10-21 Bitsensing Inc. DNN-Based Human Face Classification
US11639985B2 (en) * 2020-07-02 2023-05-02 International Business Machines Corporation Three-dimensional feature extraction from frequency modulated continuous wave radar signals
US11964214B2 (en) * 2020-08-19 2024-04-23 Universal City Studios Llc Systems and methods for adjusting an operation of an attraction system
EP3973862A1 (en) 2020-09-23 2022-03-30 Nokia Technologies Oy Authentication by dielectric properties of skin
US11899127B2 (en) * 2020-09-30 2024-02-13 Aurora Operations, Inc. Virtual antenna array with distributed aperture
US11573643B2 (en) * 2021-01-04 2023-02-07 Bank Of America Corporation Apparatus and methods for contact-minimized ATM transaction processing using radar-based gesture recognition and authentication
CN114863501A (zh) * 2021-02-04 2022-08-05 西安电子科技大学青岛计算技术研究院 一种基于调频连续波雷达和神经网络的人脸识别算法
CN113010127A (zh) * 2021-02-20 2021-06-22 北京小米移动软件有限公司 显示切换方法及装置、移动终端、存储介质
US20220283296A1 (en) * 2021-03-03 2022-09-08 Qualcomm Incorporated Facial recognition using radio frequency sensing
US20220327863A1 (en) * 2021-04-12 2022-10-13 Bitsensing Inc. Face identification using millimeter-wave radar sensor data
US12022358B2 (en) * 2021-04-13 2024-06-25 Qualcomm Incorporated Self-supervised passive positioning using wireless data
US11755886B2 (en) 2021-04-13 2023-09-12 Qualcomm Incorporated Passive positioning with radio frequency sensing labels
US11575452B2 (en) 2021-04-13 2023-02-07 Qualcomm Incorporated Passive positioning with radio frequency sensing
CN113296092B (zh) * 2021-05-24 2023-01-20 北京环境特性研究所 基于多源信息融合的雷达探测方法、装置及存储介质
CN113160454A (zh) * 2021-05-31 2021-07-23 重庆长安汽车股份有限公司 自动驾驶车辆历史传感器数据回灌方法及系统
DE102021206165A1 (de) * 2021-06-16 2022-12-22 Pepperl+Fuchs Se Messeinrichtung und messverfahren
KR102602163B1 (ko) * 2021-09-08 2023-11-15 한국광기술원 이미지 센서 기반 거대 구조물의 미세모션 모니터링 장치
CN113723380B (zh) * 2021-11-03 2022-02-08 亿慧云智能科技（深圳）股份有限公司 基于雷达技术的人脸识别方法、装置、设备和存储介质
US20230262485A1 (en) * 2022-02-14 2023-08-17 Ramesh Annavajjala Method and Apparatus to Control and Process a Plurality of Radar Sensors and Radio Units
KR102475268B1 (ko) 2022-04-12 2022-12-06 가천대학교 산학협력단 레이더 센서 기반 개인 인식 장치 및 방법
EP4270222A1 (en) * 2022-04-29 2023-11-01 Rohde & Schwarz GmbH & Co. KG Device, system and method for authenticating a user of a security scanner
CN114966675B (zh) * 2022-05-25 2023-09-05 苏州威陌电子信息科技有限公司 一种基于距离补偿的mimo阵列快速成像方法
CN115345908B (zh) * 2022-10-18 2023-03-07 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法
KR102529179B1 (ko) * 2022-11-24 2023-05-08 (주)디지탈엣지 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법
CN115902814B (zh) * 2023-03-09 2023-05-09 中国人民解放军国防科技大学 基于信息空间度量的目标识别模型性能评估方法和装置
WO2024209515A1 (ja) * 2023-04-03 2024-10-10 三菱電機株式会社 センシングシステム、受信装置、制御回路、記憶媒体、センシング方法および受信方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133804A1 (en) * 2002-02-07 2004-07-08 Smith Evan Ronald System and method for automated biometric data collection
US20080101705A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. System for pattern recognition with q-metrics
US20100002912A1 (en) * 2005-01-10 2010-01-07 Solinsky James C Facial feature evaluation based on eye location
US20170124384A1 (en) * 2015-10-30 2017-05-04 Mark A. Allyn Progressive radar assisted facial recognition

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4901084A (en) * 1988-04-19 1990-02-13 Millitech Corporation Object detection and location system
US6826300B2 (en) * 2001-05-31 2004-11-30 George Mason University Feature based classification
US6987560B2 (en) * 2003-05-30 2006-01-17 The Boeing Company Inverse synthetic aperture radar-based covert system for human identification
JP4217646B2 (ja) 2004-03-26 2009-02-04 キヤノン株式会社 認証方法及び認証装置
US20070237365A1 (en) 2006-04-07 2007-10-11 Monro Donald M Biometric identification
US20080100510A1 (en) * 2006-10-27 2008-05-01 Bonthron Andrew J Method and apparatus for microwave and millimeter-wave imaging
WO2008102291A2 (en) 2007-02-20 2008-08-28 Philips Intellectual Property & Standards Gmbh Method and system for identifying a subject
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
CA2718699C (en) * 2008-03-18 2018-11-13 Manchester Metropolitan University Remote detection and measurement of objects
US8531523B2 (en) * 2009-12-08 2013-09-10 Trueposition, Inc. Multi-sensor location and identification
WO2012038867A1 (en) 2010-09-22 2012-03-29 Koninklijke Philips Electronics N.V. Method and device for identifying a subject in a sensor based monitoring system
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
US9524421B2 (en) 2013-12-09 2016-12-20 Google Inc. Differentiating real faces from representations
CN103707781B (zh) 2013-12-26 2016-02-24 苏州清研微视电子科技有限公司 基于距离图像的驾驶员座椅位置自动调整系统
CN103942577B (zh) * 2014-04-29 2018-08-28 上海复控华龙微系统技术有限公司 视频监控中基于自建立样本库及混合特征的身份识别方法
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133804A1 (en) * 2002-02-07 2004-07-08 Smith Evan Ronald System and method for automated biometric data collection
US20100002912A1 (en) * 2005-01-10 2010-01-07 Solinsky James C Facial feature evaluation based on eye location
US20080101705A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. System for pattern recognition with q-metrics
US20170124384A1 (en) * 2015-10-30 2017-05-04 Mark A. Allyn Progressive radar assisted facial recognition

Also Published As

Publication number Publication date
US20200166609A1 (en) 2020-05-28
US11656333B2 (en) 2023-05-23
US10591586B2 (en) 2020-03-17
CN109212499A (zh) 2019-01-15
US20190011534A1 (en) 2019-01-10
KR20190005740A (ko) 2019-01-16
EP3425421A1 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
KR102578944B1 (ko) 레이더 센서를 사용하여 타겟을 식별하는 시스템 및 방법
Xia et al. Multidimensional feature representation and learning for robust hand-gesture recognition on commercial millimeter-wave radar
US20210103031A1 (en) Gesture recognition radar systems and methods
US11126885B2 (en) Character recognition in air-writing based on network of radars
US10775483B1 (en) Apparatus for detecting and recognizing signals and method thereof
CN105824021B (zh) 一种基于模数混合二维相控阵射频多波束智能成像系统
US11704394B2 (en) Apparatus and method for authenticating object in electronic device
US11372086B2 (en) Radio frequency (RF) object detection using radar and machine learning
US20180121713A1 (en) Systems and methods for verifying a face
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
Shi et al. Detecting, tracking, and identifying airborne threats with netted sensor fence
Ledergerber et al. Angle of arrival estimation based on channel impulse response measurements
Liu et al. Analysis on a 77 GHz MIMO radar for touchless gesture sensing
Paredes et al. A Gaussian Process model for UAV localization using millimetre wave radar
CN114661142A (zh) 一种手势识别方法以及装置
KR20230152662A (ko) 라디오 주파수 감지를 이용한 얼굴 인식
KR20180088009A (ko) 레이더를 이용한 거리 측정 방법 및 장치
KR20210074158A (ko) 레이더 데이터 인식 장치 및 방법
CN114127579A (zh) 用于改进雷达扫描覆盖和效率的系统和方法
Qu et al. Dynamic hand gesture classification based on multichannel radar using multistream fusion 1-D convolutional neural network
Zhao et al. RF‐Motion: A Device‐Free RF‐Based Human Motion Recognition System
RU2439611C1 (ru) Радиолокационная станция с поимпульсной перестройкой несущей частоты, нейросетевым распознаванием объектов и инверсным синтезированием апертуры антенны
Helgesen Sensor fusion for detection and tracking of maritime vessels
Zi et al. Wi-Fi imaging based segmentation and recognition of continuous activity
US11211700B1 (en) Dynamic noise cancellation using noise patterns

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant