KR102660187B1 - 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템 - Google Patents

레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템 Download PDF

Info

Publication number
KR102660187B1
KR102660187B1 KR1020210187103A KR20210187103A KR102660187B1 KR 102660187 B1 KR102660187 B1 KR 102660187B1 KR 1020210187103 A KR1020210187103 A KR 1020210187103A KR 20210187103 A KR20210187103 A KR 20210187103A KR 102660187 B1 KR102660187 B1 KR 102660187B1
Authority
KR
South Korea
Prior art keywords
states
signal
metasurface
key point
keypoint
Prior art date
Application number
KR1020210187103A
Other languages
English (en)
Other versions
KR20230097525A (ko
Inventor
최계원
손하영
김건우
이상원
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210187103A priority Critical patent/KR102660187B1/ko
Publication of KR20230097525A publication Critical patent/KR20230097525A/ko
Application granted granted Critical
Publication of KR102660187B1 publication Critical patent/KR102660187B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 RF 신호 기반의 물체 탐지에 있어서, 메타표면 상태들에 대응하는 RF 신호 상태들을 최적화하기 위한 상태 간소화 알고리즘 및 대상 인물의 관절 좌표 등의 키포인트를 추정하기 위한 딥러닝 기반의 트랜스포머 모델을 기반으로, 대상 물체의 위치만이 아닌 행위까지 인식할 수 있는 키포인트 인식 시스템에 관한 것이다. 본 발명에 따른 RF 신호 기반의 키포인트 인식 시스템에 의하면, 메타표면을 활용하여 다중 안테나 개수를 과도하게 늘리지 않으면서도 원하는 수준의 RF 신호 해상도 및 정확도를 구현할 수 있으며, 그와 동시에 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘이 수행될 수 있으므로, 딥러닝 기반의 트랜스포머 모델에 입력될 데이터의 양이 적절하게 조정될 수 있다. 따라서, 키포인트 좌표들을 도출하는 트랜스포머 모델에서 과도한 RF 신호 상태들의 개수, 즉 과도한 메타표면 상태들의 개수에 의해 연산 효율이 저하되는 문제가 해소될 수 있다.

Description

레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템{DEEP LEARNING BASED KEYPOINT DETECTION SYSTEM USING RADAR AND METASURFACE}
본 발명은 RF 신호 기반의 물체 탐지에 있어서, 메타표면 상태들에 대응하는 RF 신호 상태들을 최적화하기 위한 상태 간소화 알고리즘 및 대상 인물의 관절 좌표 등의 키포인트를 추정하기 위한 딥러닝 기반의 트랜스포머 모델을 기반으로, 대상 물체의 위치만이 아닌 행위까지 인식할 수 있는 키포인트 인식 시스템에 관한 것이다.
무선 네트워크 기술의 발전으로 인해 IoT 산업 분야가 주목받고 있는 가운데, 안전과 관련된 자율주행이나 재난/구조 분야 등에서 사물 인식 및 시각화 기술에 대한 수요가 높아지고 있다. RF(radio frequency) 신호를 이용하면 사각 지대에 해당하는 비가시 영역에 대해서도 물체의 위치 정보가 확인될 수 있다. 한편, 대상 물체의 키포인트들을 인식할 수 있다면 물체의 위치 정보만을 인식하는 것을 넘어 물체의 행위 정보까지 인식하는 것이 가능해지므로, 보다 고차원적인 사물 인식이 수행될 수 있다.
키포인트 인식을 위해서는 다량의 공간적인 정보를 수집하는 것이 요구될 수 있다. 이를 위해 RF 송수신부를 다중 안테나로 구성하는 MIMO 구조를 통해 RF 신호의 해상도 및 공간 정보의 정확도가 향상될 수 있다. 다만, 목표 해상도 및 정확도를 달성하기 위해 MIMO 구조의 다중 안테나 개수를 늘리는 방식은 공간적인 제약과 비용 부담을 초래할 수 있다.
다중 안테나 개수를 늘리지 않으면서 RF 신호의 세기나 위상과 같은 신호 특성을 변경시킬 수 있도록 메타표면(metasurface)이 활용될 수 있다. 송신 안테나에서 생성된 RF 신호가 메타표면을 투과하면서 메타표면 셀들의 온/오프 상태에 따라 신호 특성이 변경될 수 있다. 다만, 이와 같은 메타표면 상태들의 개수, 즉 RF 신호 상태들의 개수가 과도하게 많은 경우, 이후 키포인트 인식을 위한 연산/처리 과정이 복잡해져 연산 효율이 저하된다는 점이 문제될 수 있다.
따라서, 키포인트 인식을 위한 연산/처리 과정을 수행하기 이전의 단계에서 유효하지 않은 상태들을 배제하여 연산 대상이 되는 메타표면 상태들의 개수를 적절하게 조정하는 기술이 요구될 수 있다.
본 발명에 의해 해결하고자 하는 기술적 과제는, 키포인트 인식을 위한 연산/처리 과정을 수행하기 이전의 단계에서 유효하지 않은 상태들을 배제하여 연산 대상이 되는 메타표면 상태들의 개수가 적절하게 조정될 수 있도록 하는 상태 간소화 알고리즘을 활용하는 키포인트 인식 시스템을 제공하는 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템은, 키포인트 인식 대상으로 조사되는 RF 레이더 펄스 신호를 생성하는 송신 안테나들 및 상기 키포인트 인식 대상으로부터 반사되는 반사 신호를 수신하는 수신 안테나들을 포함하는 데이터 수집부; 및 상기 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘을 수행하여 RF 최종 상태들을 결정하고, 상기 RF 최종 상태들을 가진 채로 조사되는 상기 RF 레이더 펄스 신호가 상기 키포인트 인식 대상으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델에 입력하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하는 데이터 처리부; 를 포함한다.
전술한 기술적 과제를 해결하기 위한 또다른 수단으로서, 본 발명의 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템에 의해 수행되는 키포인트 인식 방법은, 상기 키포인트 인식 시스템의 데이터 수집부의 송신 안테나들에 의해, 키포인트 인식 대상으로 조사되는 RF 레이더 펄스 신호를 생성하는 단계; 상기 데이터 수집부의 수신 안테나들에 의해, 상기 키포인트 인식 대상으로부터 반사되는 반사 신호를 수신하는 단계; 상기 키포인트 인식 시스템의 데이터 처리부에 의해, 상기 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘을 수행하여 RF 최종 상태들을 결정하는 단계; 및 상기 데이터 처리부에 의해, 상기 RF 최종 상태들을 가진 채로 조사되는 상기 RF 레이더 펄스 신호가 상기 키포인트 인식 대상으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델에 입력하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하는 단계; 를 포함한다.
본 발명에 따른 RF 신호 기반의 키포인트 인식 시스템 및 방법에 의하면, 메타표면을 활용하여 다중 안테나 개수를 과도하게 늘리지 않으면서도 원하는 수준의 RF 신호 해상도 및 정확도를 구현할 수 있으며, 그와 동시에 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘이 수행될 수 있으므로, 딥러닝 기반의 트랜스포머 모델에 입력될 데이터의 양이 적절하게 조정될 수 있다. 따라서, 키포인트 좌표들을 도출하는 트랜스포머 모델에서 과도한 RF 신호 상태들의 개수, 즉 과도한 메타표면 상태들의 개수에 의해 연산 효율이 저하되는 문제가 해소될 수 있다.
도 1은 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템의 동작 방식을 설명하기 위한 도면이다.
도 2는 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템을 구성하는 요소들을 설명하기 위한 도면이다.
도 3 내지 도 5는 일부 실시예에 따른 키포인트 인식 시스템에서 상태 간소화 알고리즘이 수행되는 구체적인 과정을 설명하기 위한 도면이다.
도 6은 일부 실시예에 따른 트랜스포머 모델의 이전 단계에서 1차원 피쳐들을 추출하기 위한 레지듀얼 구조의 합성곱 신경망을 구조를 설명하기 위한 도면이다.
도 7은 일부 실시예에 따른 트랜스포머 모델을 통해 키포인트 인식 대상의 키포인트 좌표들을 도출하는 과정을 설명하기 위한 도면이다.
도 8은 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템에 의해 수행되는 키포인트 인식 방법을 구성하는 단계들을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명의 실시예들이 상세하게 설명될 것이다. 이하에서의 설명은 실시예들을 구체화하기 위한 것일 뿐, 본 발명에 따른 권리범위를 제한하거나 한정하기 위한 것은 아니다. 본 발명에 관한 기술 분야에서 통상의 지식을 가진 자가 발명의 상세한 설명 및 실시예들로부터 용이하게 유추할 수 있는 것은 본 발명에 따른 권리범위에 속하는 것으로 해석되어야 한다.
본 발명에서 사용되는 용어는 본 발명에 관한 기술 분야에서 널리 사용되는 일반적인 용어로 기재되었으나, 본 발명에서 사용되는 용어의 의미는 해당 분야에 종사하는 기술자의 의도, 새로운 기술의 출현, 심사기준 또는 판례 등에 따라 달라질 수 있다. 일부 용어는 출원인에 의해 임의로 선정될 수 있고, 이 경우 임의로 선정되는 용어의 의미가 상세하게 설명될 것이다. 본 발명에서 사용되는 용어는 단지 사전적 의미만이 아닌, 명세서의 전반적인 맥락을 반영하는 의미로 해석되어야 한다.
본 발명에서 사용되는 '구성된다' 또는 '포함한다'와 같은 용어는 명세서에 기재되는 구성 요소들 또는 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 일부 구성 요소들 또는 단계들은 포함되지 않는 경우, 및 추가적인 구성 요소들 또는 단계들이 더 포함되는 경우 또한 해당 용어로부터 의도되는 것으로 해석되어야 한다.
본 발명에서 사용되는 '제 1' 또는 '제 2'와 같은 서수를 포함하는 용어는 다양한 구성 요소들 또는 단계들을 설명하기 위해 사용될 수 있으나, 해당 구성 요소들 또는 단계들은 서수에 의해 한정되지 않아야 한다. 서수를 포함하는 용어는 하나의 구성 요소 또는 단계를 다른 구성 요소들 또는 단계들로부터 구별하기 위한 용도로만 해석되어야 한다.
이하에서는 도면을 참조하여 본 발명의 실시예들이 상세하게 설명될 것이다. 본 발명에 관한 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 대해서는 자세한 설명이 생략된다.
도 1은 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템의 동작 방식을 설명하기 위한 도면이다.
도 1을 참조하면, RF 신호 기반의 키포인트 인식 시스템(100)은 데이터 수집부(110) 및 데이터 처리부(120)를 포함할 수 있고, 키포인트 인식 대상(130)에 대한 데이터 수집 및 처리 과정들을 수행할 수 있다.
본 발명에서는 UWB(Ultra-WideBand) 레이더 칩이 사용될 수 있고, MIMO (Multi-In Multi-Out)인 다중 안테나 배열이 구성될 수 있다. 1-bit 디지털 신호로 동작하는 N개의 셀을 가진 투과형 메타표면을 통해 안테나를 통해 송출된 신호를 변환하고, 변환된 신호의 특성(위상, 세기 등)을 송신하고 물체에 반사한 신호를 수신하는 송ㆍ수신 시스템이 제안될 수 있다.
또한, 앞선 시스템을 통해 수신된 신호의 높은 차원으로 인해 올라간 계산의 부하를 줄이기 위해 셀프 어텐션의 결과인 어텐션 스코어를 통해 메타표면의 상태를 간소화하는 방식이 제안될 수 있다.
마지막으로, 간소화된 메타표면의 상태가 트랜스포머의 입력으로 활용될 수 있다. 해당 데이터로부터 레지듀얼(Residual) 구조의 CNN(Convolutional Neural Network)을 통해 샘플링된 신호의 특징이 추출될 수 있고, 추출된 정보가 트랜스포머의 입력으로 활용될 수 있다. 그리고 키포인트 추정을 위해 트랜스포머의 출력에 합성곱 층이 적용되고 헤드가 정의된 모델이 구성될 수 있다. 구성한 모델은 학습을 통해 레이더 신호를 이용한 키포인트 추정에 활용될 수 있다.
본 발명의 목적은 레이더 및 메타표면을 이용하여 3차원 공간에 대한 해상도를 높이고 해상도의 증가에 따른 입력 데이터의 차원 증가를 간소화 알고리즘을 통해 감소시켜 입력 데이터에 대한 효율성을 높이는 것이다. 이렇게 얻은 입력 데이터는 1차원의 시퀀셜 데이터라는 특성을 가지고 이러한 특성을 통해 시퀀셜 데이터에 알맞은 인코더와 디코더의 형태를 가진 트랜스포머를 활용하여 더 높은 정확도로 사람의 키포인트를 추정하는 방식이 구현될 수 있다.
본 발명에서는 RF 신호를 이용한 물체의 위치 예측을 넘어, 물체의 행위 인식을 위한 키포인트 예측을 구현하기 위해 발생하는 하드웨어적인 한계점을 메타표면 및 상태 간소화 알고리즘을 통해 보완하고, 트랜스포머 딥러닝 모델을 사용하는 시스템을 구성한다. 이때, RF 신호를 이용하는데, RF 신호는 주파수에 따라 투과도가 달라져 다양한 재질의 물체를 측정할 수 있는 장점이 있으며, 또한 주파수를 조정하여 벽을 투과할 수 있도록 만들어 비가시 영역에서도 물체를 탐지할 수 있는 특징을 지니고 있다. 이러한 RF 신호의 특징을 통해 송신부에서 송출한 신호가 시야를 방해하는 장애물을 통과하고, 장애물 뒤에 있는 물체에 RF 신호가 반사되어 수신부에 저장될 수 있다.
이 때, 공간적인 정보를 더 많이 수집하기 위해 송ㆍ수신부에 다수의 안테나가 배치될 수 있는데, 다중 입출력을 뜻하는 MIMO 다중 안테나 기술을 통해 RF 신호의 해상도를 높이고 다양한 안테나 구성을 통해 물체에 대한 공간적 정보를 비교적 정확하게 추정할 수 있도록 구성될 수 있다.
본 발명에서는 3차원 공간에서 물체에 대한 키포인트 예측을 구현하기 위해, RF 신호의 해상도를 높이는 방법으로 송ㆍ수신부를 다중 안테나로 배치하는 방법이 있지만, 이는 다수의 안테나 배치로 인한 공간적인 제약과 비용 부담을 초래한다. 이 문제점을 해결하기 위해 안테나 송신부에 메타표면을 추가하여, 송신부에 출력하는 RF 신호의 위상 혹은 세기를 변형하여 비가시 공간에 대한 RF 신호의 해상도를 높이는 것이 가능하다.
본 발명에서의 메타표면은 송신부에서 출력되는 RF 신호를 입력으로 받고, PIN 다이오드 회로를 통해 신호를 원하는 위상 혹은 크기로 변형시키고, 이 변형한 RF 신호를 물체 혹은 공간에 대한 정보를 수집하기 위해 방향을 조절하여 송출할 수 있다.
메타표면에서 수집한 다량의 데이터는 상태 간소화 알고리즘을 거쳐 처리가 되는데, 메타표면 상태 서브 알고리즘을 먼저 거치고 셀프 어텐션 알고리즘을 응용하여 메타표면 상태들에 관한 어텐션 스코어가 계산될 수 있다. 계산된 어텐션 스코어를 기준으로 유효하지 않은 메타표면 상태를 제외하는 단계를 거쳐 데이터가 가공될 수 있다.
이렇게 상태 간소화 알고리즘으로 선별된 데이터로부터 레지듀얼 구조의 CNN 인공신경망을 통해 RF 신호의 특징이 추출될 수 있고, 이 추출된 데이터가 트랜스포머 딥러닝 모델의 입력값으로 설정될 수 있다. 해당 트랜스포머 모델은 레이더 신호의 1차원의 시퀀셜 데이터 특성과 안테나 쌍의 거리 차이로 생기는 물체에 반사된 수신 신호의 특성 변화의 관계성을 파악하기 위해 사용될 수 있다. 그 다음, 트랜스포머 모델에서 포지셔널 인코딩부터 인코딩ㆍ디코딩 층을 거치고, 마지막으로 합성곱 층을 거쳐 물체의 키포인트를 대변하는 결과값이 도출될 수 있다.
따라서, 본 발명에서는 다중 안테나 기술 및 메타표면을 활용하여 레이더 신호를 통해 공간에 대한 정보가 수집될 수 있다. 그리고 메타표면 및 다중 안테나의 조합을 통해 얻을 수 있는 수많은 정보를 딥러닝을 활용하여 사람의 키포인트를 추정하는데 유효한 정보만 추출하는 알고리즘과 추출한 정보를 입력으로 하는 트랜스포머 및 CNN을 이용한 키포인트 추정 알고리즘이 설계될 수 있다.
제안된 시스템은 메타표면을 통해 더 많은 상태의 레이더 신호를 이용하여 높은 해상도의 레이더 신호를 얻을 수 있다. 해상도가 높아지면서 입력 데이터의 차원이 증가하는데, 간소화 알고리즘을 통해 입력 데이터의 차원을 낮춰 데이터의 높은 효율성을 나타낼 수 있다는 효과가 제공될 수 있다.
구체적으로, 본 발명의 첫 번째 이점은 RF 신호 송출 단계에서의 MIMO 안테나 배열 구성에 대한 공간적인 제약과 비용적인 부담을 감소할 수 있다는 것이다. RF 신호의 해상도를 높이기 위해 중복되지 않으면서 많은 데이터를 수집해야 하는데, 고가의 방향성 안테나를 추가로 탑재하는 것과 비례하여 데이터 수가 증가하는 것에 의해서는 높은 효율을 기대하기 어렵다. 또는 측정하는 공간에 대한 너비가 정해지고 그에 맞게 안테나 배열이 구성되는데, 다수의 안테나를 배열할 때 정해진 너비를 초과하게 되면 데이터의 수가 많아지지만 측정 공간에 대한 RF 신호의 해상도는 높아지지 않게 된다. 이러한 공간적인 제약과 비용적인 단점이 투과성 메타표면을 통해 최소화될 수 있다.
또한, 기존에 탐지하고자 하는 물체 또는 복원하고자 하는 공간에 대해 측정되는 RF 신호는 실제 물체 또는 공간에 대한 일부 정보만을 대변하고 있기 때문에, 이러한 제한적인 정보를 토대로 원하는 물체 또는 공간을 완벽히 복원하는 작업은 불가능하다. 하지만 셀프 어텐션 기법을 통한 상태 간소화 알고리즘을 활용하여 수집한 RF 신호 데이터에 대해 유효성을 판별함으로써, 이후 트랜스포머 모델에 입력되는 데이터의 수를 줄여 계산 부하를 감소시킬 수 있다는 이점이 있다. RF 신호에 대한 신뢰도 또한 향상시켜 트랜스포머 모델에서 출력되는 결과값을 보다 더 높은 정확도로 얻는 것이 가능해질 수 있다. 이후 트랜스포머 모델에서 레이더 신호의 1차원의 시퀀셜 데이터 특성과 안테나 쌍의 거리 차이로 생기는 물체에 반사된 수신 신호의 특성 변화의 관계성이 파악될 수 있으므로, 기존 CNN 기반 딥러닝 네트워크와 비교하여 물체 키포인트 탐지에 대한 정확도가 향상될 수 있다.
도 2는 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템을 구성하는 요소들을 설명하기 위한 도면이다.
도 2를 참조하면, RF 신호 기반의 키포인트 인식 시스템(100)은 데이터 수집부(110) 및 데이터 처리부(120)를 포함할 수 있다. 데이터 수집부(110)는 RF 송신부(111), 메타표면(112) 및 RF 수신부(113)를 포함할 수 있고, 데이터 처리부(120)에서는 상태 간소화 알고리즘(121) 및 딥러닝 기반의 트랜스포머 모델(122)이 동작할 수 있다.
RF 송신부(111)는 도 1에 도시된 바와 같은 송신용 TX 스위치 및 송신용 TX 안테나들을 의미할 수 있고, RF 수신부(113)는 수신용 RX 스위치 및 수신용 RX 안테나들을 의미할 수 있다. 상태 간소화 알고리즘(121) 및 딥러닝 기반의 트랜스포머 모델(122)을 처리하기 위한 데이터 처리부(120)는 집적회로 칩, FPGA 및 PC 등으로 구성될 수 있고, 또는 기타 다른 형태의 컴퓨팅 디바이스를 포함할 수 있다.
키포인트 인식 시스템(100)은 키포인트 인식 대상(130)에 RF 신호를 송출하고, 그로부터 반사되어 돌아오는 신호를 상태 간소화 알고리즘(121) 및 딥러닝 기반의 트랜스포머 모델(122)로 처리하여 최종 출력(140)을 얻을 수 있다. 예를 들면, 최종 출력(140)은 키포인트 인식 대상(130)인 사람의 관절들의 3차원 좌표들일 수 있고, 그로 인해 키포인트 인식 대상(130)의 위치 정보뿐만이 아니라 어떤 행위를 하고 있는지에 관한 정보까지 도출될 수 있다.
데이터 수집부(110)는 키포인트 인식 대상(130)으로 조사되는 RF 레이더 펄스 신호를 생성하는 송신 안테나들 및 키포인트 인식 대상(130)으로부터 반사되는 반사 신호를 수신하는 수신 안테나들을 포함할 수 있다.
데이터 수집부(110)의 송신 안테나들은 도 1에 도시된 바와 같은 TX 스위치에 연결되는 안테나들을 의미할 수 있고, 수신 안테나들은 RX 스위치에 연결되는 안테나들을 의미할 수 있다. 송신 안테나들은 데이터 처리부(120)로부터 전달되는 제어 신호에 기반하여 RF 레이더 펄스 신호를 생성할 수 있다. RF 레이더 펄스 신호는 키포인트 인식 대상(130)으로 송신되어 상호작용한 후 키포인트 인식 대상(130)으로부터 반사되어 수신 안테나들에 의해 수신될 수 있다.
데이터 처리부(120)는 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘(121)을 수행하여 RF 최종 상태들을 결정할 수 있다.
RF 신호 상태들은 RF 레이더 펄스 신호가 키포인트 인식 대상(130)으로 조사될 때 가질 수 있는 신호 세기나 위상 등의 신호 상태들의 집합을 의미할 수 있다. RF 신호 상태들은 MIMO 다중 안테나 배열의 구조에 의해 결정되거나, 또는 메타표면(112)의 셀들의 온/오프 상태에 의한 메타표면 상태에 의해 결정될 수 있다. RF 신호 상태들이 다양할수록 키포인트 인식의 해상도/정확도가 향상될 수 있으나, 과도하게 다양할 경우 계산 효율이 저하될 수 있으므로, 상태 간소화 알고리즘(121)을 통해 이를 적정한 범위로 조정하는 것이 필요할 수 있다. 상태 간소화 알고리즘(121)이 수행되면 유효 상태들만이 선별되어 RF 최종 상태들이 결정될 수 있다.
데이터 처리부(120)는 RF 최종 상태들을 가진 채로 조사되는 RF 레이더 펄스 신호가 키포인트 인식 대상(130)으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델(122)에 입력하여 키포인트 인식 대상(130)의 키포인트 좌표들을 도출할 수 있다.
상태 간소화 알고리즘(121)을 통해 RF 최종 상태들이 결정되면, 키포인트 인식 대상(130)으로 조사되는 RF 레이더 펄스 신호가 RF 최종 상태들을 갖도록 설정될 수 있다. 예를 들면, RF 레이더 펄스 신호가 투과되는 메타표면(112)의 셀들의 온/오프 상태가 RF 최종 상태들에 대응하도록 조정될 수 있다.
RF 최종 상태들을 갖는 RF 레이더 펄스 신호가 키포인트 인식 대상(130)으로부터 반사되면, 최적으로 조정된 유효 상태들만에 의한 유효 반사 신호가 RF 수신부(113)에서 수신될 수 있다. 유효 반사 신호는 딥러닝 기반의 트랜스포머 모델(122)에 대한 입력으로 기능할 수 있다. 트랜스포머 모델(122)은 유효 반사 신호에 대한 피쳐 추출. 임베딩 등을 거쳐 키포인트 인식 대상(130)의 키포인트 좌표들을 도출하도록 학습되는 딥러닝 모델일 수 있다.
위와 같이 상태 간소화 알고리즘(121) 및 트랜스포머 모델(122)을 활용하는 방식으로 키포인트 인식 대상(130)의 키포인트 좌표들을 도출하는 경우, 트랜스포머 모델(122)에서 처리해야 할 RF 신호 상태들, 즉 메타표면(112)이 갖는 상태들의 개수가 과다한 경우에도, 상태 간소화 알고리즘(121)을 통해 RF 신호 상태들의 개수가 조정되어, 간소화된 RF 최종 상태들이 활용될 수 있으므로, 연산 효율이 저하되는 문제점이 개선될 수 있다.
도 3 내지 도 5는 일부 실시예에 따른 키포인트 인식 시스템에서 상태 간소화 알고리즘이 수행되는 구체적인 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 키포인트 인식 시스템(100)에서 상태 간소화 알고리즘(121)이 수행되는 구체적인 과정을 설명하기 위한 흐름도(300)가 도시되어 있고, 도 4를 참조하면, 상태 간소화 알고리즘(121)에서 성능 만족 여부에 따라 상태 개수 조정을 반복하는 방식을 설명하기 위한 흐름도(400)가 도시되어 있고, 도 5를 참조하면, 상태 간소화 알고리즘(121)에서 매 반복마다 어텐션 스코어 행렬의 행들을 제거하는 방식을 설명하기 위한 흐름도(500)가 도시되어 있다.
먼저, 변수 리스트(360)에서 흐름도(300)에서 사용되는 변수들이 설명될 수 있다. nTx 및 nRx는 각각 송신 안테나들의 개수 및 수신 안테나들의 개수를 의미할 수 있다. 이와 같은 데이터 수집부(110)의 RF 신호 생성기는 물체 탐지에 적합한 주파수 대역의 신호를 초단시간에 송출하여 레이더 펄스 신호를 생성할 수 있다.
한편, 본 발명에서 RF 송신부(111)는 메타표면(112)을 향하여 펄스를 송출하고, 메타표면에서는 내부의 각 셀들을 제어하여 입사된 신호의 특성(위상, 세기 등)이 변환될 수 있다. 투과형의 메타표면(112)은 N개의 셀들로 구성되어 있으며, 각 셀의 PIN 다이오드에서 RF 신호에 대한 원하는 특성 변환은 RLC 회로로 모델링될 수 있다. 또한 데이터 처리부(120)의 PC와 연결된 FPGA를 통해 1-bit 디지털 신호로 제어하여 특성을 변형하는 상태인 ON-STATE, 변형하지 않는 OFF-STATE가 정의될 수 있다. 이 상태를 제어하기 위해 PC와 FPGA를 통한 1-bit 디지털 코딩을 하여 각 셀의 상태를 제어하고, 변형된 RF 신호를 송ㆍ수신하여 데이터로 얻게 되면, 상태 간소화 알고리즘(121)을 수행하기 위한 입력이 될 수 있다.
흐름도(300)에서와 같이 도시되는 셀프 어텐션 기법을 통한 상태 간소화 알고리즘(121)은 트랜스포머 모델(122)에 진입하기 전에 수행되며, 하나의 송수신기 또는 여러 개의 송수신기가 있는 메타표면(112)의 상태를 간소화하여 유효한 메타표면 상태를 찾고 트랜스포머 계산 부하를 줄이는 알고리즘이다. 상태 간소화 알고리즘(121)에 입력되는 데이터의 형식은 다음과 같이 정의될 수 있다.
메타표면(112)의 셀 하나당 0 또는 1의 상태가 있으므로 N개의 셀들을 갖는 메타표면(112)에서 얻을 수 있는 상태는 2N개이다. 이 메타표면(112)의 한 상태당 송신기와 수신기의 조합 개수만큼의 레이더 신호 데이터가 제공될 수 있는데, 송신기와 수신기의 개수는 각각 nTx 및 nRx로 표기될 수 있다. 신호 하나의 샘플 개수를 ns라고 표기하면, 입력 데이터의 형태는 단계 310 및 단계 410에서와 같이 (nTx x nRx) x ns의 3차원 행렬이 2N개 있는 형태로 아래와 같이 표기될 수 있다.
이 입력 데이터는 흐름도(300)와 같이 트랜스포머 모델(122) 이전의 셀프 어텐션 층의 반복적인 수행을 통해 2N개의 메타표면 상태 중 유효하지 않은 메타표면 상태를 거르면서 그 크기가 줄어들게 된다.
단계 420 및 단계 430에서와 같이, 이 알고리즘의 첫 번째 실행에서는 2N개의 (nTx x nRx) x ns 행렬이 모두 입력되는데, 이를 그대로 트랜스포머 모델(122)에 입력할 경우 컴퓨터의 계산 부하가 크게 되므로, 트랜스포머 모델(122)에 입력하기 전 셀프 어텐션을 거쳐 어텐션 스코어 값이 낮은 순으로 데이터를 제거하면서 입력 크기를 줄여 크기가 감소된 데이터가 트랜스포머 모델(122)에 입력될 수 있다.
셀프 어텐션에서 어텐션 스코어를 구하는 과정은 다음과 같다. 설명을 위해 송신기의 개수 nTx가 1, 수신기의 개수 nRx가 1, 샘플 개수 ns가 512라고 가정하며, 메타표면(112)의 셀들의 개수 N은 16으로 가정한다. 이때 입력 데이터의 형태는 216 x (1 x 1) x 512 크기의 행렬이 된다. 여기서 메타표면 상태를 제외한 (1 x 1) x 512를 평탄화하여 512 크기의 행렬로 만든다(단계 480). 즉, 최종 입력 데이터는 216 x 512 크기의 행렬이 된다.
먼저, 도 5의 흐름도(500)에서와 같이, 어텐션 스코어 계산을 위한 쿼리 행렬 Q 및 키 행렬 K를 구하기 위해 위 입력 행렬에 가중치 행렬이 곱해질 수 있다(단계 510). 이 가중치 행렬은 학습 가능한 매개변수이며, 가중치 행렬과 Q, K 행렬의 차원은 모델의 초매개변수(hyperparameter) 중 어텐션을 병렬로 실행하는 멀티헤드 어텐션을 결정하는 헤드의 개수에 따라 결정된다. 이 헤드의 개수는 nhead로 표기된다. 가중치 행렬과 Q, K 행렬의 열의 크기는 ns/nhead로 정의된다. 셀프 어텐션에서의 Q, K, V에 대한 각각의 가중치 행렬 WQ, WK, WV의 크기는 각각 (ns, ns/nhead)이며 Q, K 행렬의 크기는 각각 (2N, ns/nhead)로 정의된다. nhead가 8일 때 216 x 512 크기의 행렬에 관한 본 예시에서는 가중치 행렬의 크기는 (512, 64)가 되고 Q, K 행렬의 크기는 (216, 64)가 된다.
단계 520에서와 같이, 구해진 Q 행렬과 전치한 K 행렬을 곱하면 (216 x 216) 크기의 어텐션 스코어 행렬 score를 아래 수학식 2에서와 같이 구할 수 있다. 어텐션 스코어 행렬의 행-열 인덱스 (m, n)의 값은 m번째 메타표면 상태와 n번째 메타표면 상태 사이의 관련성을 나타낼 수 있다.
이 어텐션 스코어의 값을 행을 기준으로 평균하여 낮은 순대로 정렬한 뒤 하위 Rd만큼의 행이 제거될 수 있다. 제거된 메타표면 상태는 Sn 집합에 저장될 수 있다(단계 550). Rd가 0.5일 때, 이 과정을 거친 후의 어텐션 스코어의 행렬의 크기는 (28 x 216)이 될 수 있다.
한편, 단계 340에서와 같이, 이러한 연산 처리 과정을 미리 지정해둔 헤드의 개수 nhead만큼 멀티-헤드 어텐션을 수행하며 병렬적으로 수행하는 것이 가능하다(단계 341, 342, ..., 343). 멀티-헤드 어텐션을 수행하는 이유는 여러 시점을 통해 다양한 메타표면 상태 조합의 정보를 얻기 위해서이다.
기존의 트랜스포머 모델에서의 멀티-헤드 셀프 어텐션은 Q, K행렬을 구할 때 V(Value) 행렬을 구하고, 어텐션 스코어 행렬에 소프트맥스 함수를 거치게 한 어텐션 분포 행렬에 V 행렬을 곱하여 최종적으로 어텐션 값 행렬을 구해 이를 행을 기준으로 붙여 최종 어텐션 값 행렬을 구한 뒤 여기에 최종 어텐션 값 행렬의 열 크기만큼의 정사각형 가중치 행렬 W0을 곱하여 최종으로 (28, 512) 크기의 멀티-헤드 어텐션 행렬을 구하지만, 본 알고리즘에서 셀프 어텐션을 사용하는 목적은 메타표면 상태끼리의 유효성을 찾기 위해서이므로, 최종 어텐션 값 행렬을 구하기 이전에 각 헤드마다 걸러진 메타표면 상태 조합을 S 배열에 저장한 뒤 바로 종료한다(단계 350).
트랜스포머 모델(122)의 두번째 반복 입력부터는, 단계 330에서와 같이 첫번째 반복을 거쳐 216개에서 걸러진 28개의 메타표면 상태의 행렬을 가져오며(단계 440), 여기에 첫번째 반복에서 걸러진 28개의 조합 중 특정 비율 Ra만큼 무작위로 가져와 추가한다. 이 추가 비율은 추후 모델 성능의 결과를 반영하여 조정될 수 있다. 단계 450에서와 같이, 이전 반복 결과의 성능이 특정 목표치의 성능 T보다 낮아, (T - 이전 결과의 성능) / T의 값이 일정 비율 목표값 Tr보다 높을 경우, 목표 성능 달성을 위한 유효 조합이 아니라고 판단하여 이전에 걸러졌던 조합에서 Ra 비율만큼의 메타표면 상태 개수를 랜덤으로 가져와 추가하여 메타표면 상태의 경우의 수를 늘려 또다른 조합을 탐색하게 된다(단계 460). 즉, 이전 모델의 성능이 특정 성능의 일정 비율에 미치지 못하는 경우, Ra가 0.5일 때 두번째 반복에서의 입력은 (28 + 24) x (1 x 1) x 512 크기의 행렬이 된다.
반대로, 특정 목표치의 성능보다 우수한 성능을 보이거나, (T - 이전 결과의 성능) / T의 값이 Tr보다 낮지만 목표 성능 T보다 크게 낮지 않은 경우(T와 엇비슷하게 낮은 경우), 현재 데이터의 메타표면 상태가 유효 조합인 것으로 판단하여, Ra보다 감소한 Ra x ra만큼의 상태 개수만을 랜덤으로 가져오게 된다(단계 470). 또한, 도 5의 흐름도(500)의 단계 530 및 단계 540에서와 같이, 어텐션 스코어 행렬의 행을 줄이는 비율 Rd 역시 매 반복마다 일정 비율 rd씩 감소하게 하여 너무 많은 행이 제거되지 않을 수 있다.
이 알고리즘은 이전 반복의 모델 성능이 목표 성능보다 우수한 경우가 5회 이상일 때 메타표면 상태의 개수를 조정하는 것을 종료하고(단계 320), 최종 상태를 확정하게 된다.
도 3 내지 도 5의 흐름도(300, 400, 500)에서의 상태 간소화 알고리즘(121)과 관련하여, 키포인트 인식 시스템(100)의 구조가 보다 구체적으로 제시될 수 있다. 즉, 데이터 수집부(110)는 각 셀의 온/오프 상태에 의해 RF 신호 상태들에 대응하는 메타표면 상태들이 결정되는 셀들을 포함하는 메타표면(metasurface; 112)을 더 포함할 수 있고, RF 레이더 펄스 신호가 메타표면(112)을 투과할 때 메타표면 상태들에 따라 RF 레이더 펄스 신호의 위상 및 세기를 포함하는 RF 신호 상태들이 변경될 수 있다.
한편, 흐름도(500)의 단계 520 내지 단계 550과 관련하여, 상태 간소화 알고리즘(121)은 N개의 셀들의 개수에 의한 2N개의 메타표면 상태들에 대해 쿼리 행렬 Q 및 전치 키 행렬 KT의 곱에 의해 생성되는 2N x 2N의 어텐션 스코어 행렬에서 각 행의 평균으로 계산되는 2N개의 어텐션 스코어들을 기준으로 RF 신호 상태들 중 일부의 유효한 상태들을 선별하는 셀프 어텐션 기법에 기초하여 RF 최종 상태들을 결정할 수 있다.
한편, 흐름도(400)의 단계 450 내지 단계 470과 관련하여, 셀프 어텐션 기법은, 메타표면 상태들에 대한 i) 상태 개수 조정; ii) 조정된 상태 개수에 따른 모델 성능 측정; 및 iii) 목표 성능과의 비교를 통한 상태 개수 조정의 증감 방향과 조정 크기의 결정; 을 반복하면서 메타표면 상태들의 상태 개수를 반복적으로 업데이트하여 최종 메타표면 상태들을 결정할 수 있고, RF 최종 상태들은 최종 메타표면 상태들에 대응할 수 있다.
구체적으로, 흐름도(400)의 단계 460 및 흐름도(500)의 단계 540과 관련하여, 셀프 어텐션 기법은, i) 최초 반복에서, 행 제거 비율 Rn에 따라 어텐션 스코어 행렬의 2N개의 행들 중 하위 스코어 행들을 제거할 수 있고, ii) 이후 반복들마다, 감소율 rd를 적용하여 행 제거 비율 Rn을 감소시킬 수 있고, 이후 반복들마다, iii) 직전 반복에 의해 조정된 메타표면 상태 개수에 따른 모델 성능과 목표 성능의 차이의 비율이 임계 비율보다 높을 경우, 제거된 상태들 중 임의의 일부 상태들을 추가 도입 비율 Ra에 따라 어텐션 스코어 행렬에 추가할 수 있고, iv) 차이의 비율이 임계 비율보다 낮을 경우, 감소율 ra를 적용하여 추가 도입 비율 Ra를 감소시킬 수 있다.
한편, 흐름도(300)의 단계 320에서와 같이, 셀프 어텐션 기법은 차이의 비율이 임계 비율보다 낮은 경우가 5회 이상 반복되는 경우 메타표면 상태들의 상태 개수 조정을 중단하고 최종 메타표면 상태들을 확정할 수 있다.
한편, 흐름도(300)의 단계 340에서 병렬로 실행되는 멀티-헤드 어텐션의 서브 알고리즘(341, 342, ..., 343)과 같이, 셀프 어텐션 기법에서 최종 메타표면 상태들을 결정하기 위해 메타표면 상태들의 상태 개수를 반복적으로 업데이트하는 것은 멀티-헤드 어텐션의 헤드 개수 nhead에 대해 병렬로 실행될 수 있다.
도 6은 일부 실시예에 따른 트랜스포머 모델의 이전 단계에서 1차원 피쳐들을 추출하기 위한 레지듀얼 구조의 합성곱 신경망의 구조를 설명하기 위한 도면이고, 도 7은 일부 실시예에 따른 트랜스포머 모델을 통해 키포인트 인식 대상의 키포인트 좌표들을 도출하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 트랜스포머 모델(122)의 이전 단계에서 1차원 피쳐들을 추출하기 위한 합성곱 신경망의 구조(600)를 설명하기 위한 레지듀얼 구조(610) 및 CNN 인공신경망(620)이 도시되어 있고, 도 7을 참조하면, 키포인트 인식 대상(130)의 키포인트 좌표들을 도출하기 위해 학습되는 트랜스포머 모델(122; 700)의 구조가 도시되어 있다.
트랜스포머 모델(122)은 레이더 신호의 1차원의 시퀀셜 데이터 특성과 안테나 쌍의 거리 차이로 생기는 물체에 반사된 수신 신호의 특성 변화의 관계성을 파악하기 위해 사용한다. 상태 간소화 알고리즘(121)을 통해 얻은 데이터로부터 트랜스포머 모델(122)의 입력으로 받기 전에 레지듀얼 구조(610)의 CNN 인공신경망을 통해 특징(feature)이 추출될 수 있다. 레지듀얼 구조(610)를 가지는 CNN에서는 인공신경망의 깊이가 깊어질수록 기울기 소실(Gradient Vanishing) 현상이나 기울기 폭발(Gradient Exploding) 문제가 발생할 수 있다.
레지듀얼 구조(610)가 반영된 CNN 인공신경망(620)의 구조는 기울기 소실 또는 폭발 문제를 해결하기 위해, 입력 x를 일정 개수의 합성곱 층 이후의 출력값에 더해주는 구조이다. 이를 통해 인공신경망 층이 깊어질수록 기울기의 전파가 소실되는 현상을 해결될 수 있다.
합성곱 층의 커널은 레이더 신호의 1차원 특성만을 추출하기 위한 1차원 형태의 커널일 수 있다. 레지듀얼 구조(610) 및 커널의 크기를 통해 구성한 CNN 인공신경망(620)을 이용하여 안테나 쌍과 메타표면의 상태에 따라 수신되는 레이더 신호의 특징이 추출될 수 있다. 첫 번째 합성곱 층을 통해 샘플 개수를 절반으로 줄이고 Max-Pooling을 통해 한 번 더 절반으로 줄이게 된다. 그리고 합성곱 층의 채널이 증가할 때마다 샘플 개수를 절반으로 줄이도록 층을 구성하게 된다. 이때 위의 상태 간소화 알고리즘(121)을 통해 얻은 메타표면의 상태 개수를 Nal이라 할 때, 추출한 데이터의 형태는 다음과 같다.
그리고 해당 데이터에 대해서는 합성곱 층을 통해 모든 메타표면 상태 및 안테나 쌍의 레이더 신호별 임베딩(710)이 수행될 수 있다. 그 후, 모든 상태에 대한 레이더 신호에 대해 1차원의 형태로 평탄화가 진행되어 트랜스포머 입력 시퀀스가 생성될 수 있다. dmodel을 임베딩 차원이라 할 때, 해당 입력 시퀀스의 형태는 다음과 같다.
여기에 트랜스포머 모델(700)과 같이 포지셔널 인코딩(720) 벡터를 추가하여 트랜스포머 인코더 레이어(730)의 입력으로 사용하게 된다. 포지셔널 인코딩(720)은 레이더 신호의 1차원의 시퀀스 데이터에 대한 시간적 정보를 포함하기 위해 사용하게 된다. 포지셔널 인코딩 벡터는 시퀀스의 위치 별로 유일한 벡터 값이고 서로 다른 길이의 시퀀스에 대해서 적용 가능하며, 서로 다른 길이의 시퀀스의 두 위치 간 거리가 일정할 수 있다. 시퀀스의 위치를 pos라 하고 i를 위치 정보의 차원 인덱스, dmodel을 위치 정보에 대한 최대 차원 및 임베딩 차원이라 할 때, 포지셔널 인코딩(720)의 수학식은 다음과 같다.
이렇게 위치 정보가 포함된 레이더 신호의 특징을 트랜스포머 인코더 레이어(730)에 입력하고 입력된 정보는 트랜스포머 모델(700)의 셀프 어텐션 구조에 적용하여, 안테나와 메타표면의 상태 쌍의 관계성을 학습하게 된다.
디코더 레이어(740)는 학습된 사람마다 위치 정보를 입력값으로 하고, 해당 정보와 인코더 레이어(730)를 통해 학습된 관계성 정보를 이용하여 두 정보 간의 유사도를 구할 수 있다. 두 정보의 유사도는 디코더 레이어(740)의 어텐션 구조를 이용하여 학습될 수 있고, 트랜스포머 모델(700)에 합성곱 레이어(750)을 추가하여 사람의 머리, 좌우 어깨, 좌우 팔꿈치, 좌우 손끝, 좌우 엉덩이, 좌우 무릎, 좌우 발목의 총 13개 관절의 3차원 키포인트를 예측하게 된다. 측정할 사람의 최대 인원수를 k라 할 때, 최종 출력의 형태는 (k, 13, 3)로 도출될 수 있다. 이를 통해 레이더 신호의 1차원의 시퀀셜 데이터 특성과 안테나 쌍의 거리 차이로 생기는 물체에 반사된 수신 신호의 특성 변화의 관계성을 파악하여, 키포인트 예측의 정확도를 높이는 것이 가능해질 수 있다.
정리하면, 트랜스포머 모델(700)의 구체적인 구조와 관련하여, 트랜스포머 모델(700)은, 1차원 커널을 통해 유효 반사 신호로부터 1차원 피쳐들을 추출하도록 학습되는 레지듀얼 구조(610)의 합성곱 신경망(620), 1차원 피쳐들의 특성과 송수신 안테나 쌍의 거리 차이로 인해 발생하는 유효 반사 신호의 특성 변화 간의 관계성을 파악하도록 학습되는 인코더 레이어(730), 및 키포인트 인식 대상(130)의 위치 정보와 관계성 간의 유사도를 도출하도록 학습되는 디코더 레이어(740)를 포함할 수 있다.
추가적으로, 트랜스포머 모델(700)은, 1차원 피쳐들에 대한 임베딩을 수행하여 평탄화된 1차원의 입력 시퀀스를 생성하도록 학습되는 임베딩 레이어(710), 인코더 레이어(730)에 입력되는 1차원의 입력 시퀀스에 위치 정보를 반영하도록 학습되는 포지셔널 인코딩 레이어(720), 및 유사도에 기초하여 키포인트 인식 대상의 키포인트 좌표들을 도출하도록 학습되는 합성곱 레이어(750)를 더 포함할 수 있다.
한편, 키포인트 인식 대상(130)은 사람일 수 있고, 키포인트 좌표들은 머리, 좌우 어깨, 좌우 팔꿈치, 좌우 손끝, 좌우 엉덩이, 좌우 무릎 및 좌우 발목의 13개 키포인트들의 3차원 좌표들일 수 있다. 다만 이에 제한되는 것은 아니고, 사람 외의 다른 키포인트 인식 대상(130)이 활용될 수 있으며, 키포인트 좌표들 또한 키포인트 인식 대상(130)의 행위를 판별하기 위한 다른 정보일 수 있다.
도 8은 일부 실시예에 따른 RF 신호 기반의 키포인트 인식 시스템에 의해 수행되는 키포인트 인식 방법을 구성하는 단계들을 설명하기 위한 도면이다.
도 8을 참조하면, RF 신호 기반의 키포인트 인식 시스템(100)에 의해 수행되는 키포인트 인식 방법(800)은 단계(810) 내지 단계(840)를 포함할 수 있다. 다만 이에 제한되는 것은 아니고, 다른 범용적인 단계들이 키포인트 인식 방법(800)에 더 포함될 수 있다.
키포인트 인식 방법(800)은 키포인트 인식 시스템(100)에서 시계열적으로 처리되는 단계들로 구성될 수 있다. 따라서, 이하에서 생략되는 내용이라 할지라도 이상에서 키포인트 인식 시스템(100)에 대해 설명되는 내용은, 키포인트 인식 방법(800)에 대해서도 동일하게 적용될 수 있다.
키포인트 인식 방법(800)은 키포인트 인식 시스템(100)에 의해 수행될 수 있다. 단계(810) 및 단계(820)은 데이터 수집부(110)에 의해 수행될 수 있고, 단계(830) 및 단계(840)은 데이터 처리부(120)에 의해 수행될 수 있다.
단계(810)에서, 키포인트 인식 시스템(100)은, 데이터 수집부(110)의 송신 안테나들에 의해, 키포인트 인식 대상(130)으로 조사되는 RF 레이더 펄스 신호를 생성할 수 있다.
단계(820)에서, 키포인트 인식 시스템(100)은, 데이터 수집부(110)의 수신 안테나들에 의해, 키포인트 인식 대상(130)으로부터 반사되는 반사 신호를 수신할 수 있다.
단계(830)에서, 키포인트 인식 시스템(100)은, 데이터 처리부(120)에 의해, RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘(121)을 수행하여 RF 최종 상태들을 결정할 수 있다.
단계(840)에서, 키포인트 인식 시스템(100)은, 데이터 처리부(120)에 의해, RF 최종 상태들을 가진 채로 조사되는 RF 레이더 펄스 신호가 키포인트 인식 대상(130)으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델(122)에 입력하여 키포인트 인식 대상(130)의 키포인트 좌표들을 도출할 수 있다.
한편, 키포인트 인식 방법(800)은, 그 방법을 실행하는 명령어들을 포함하는 적어도 하나의 프로그램 또는 소프트웨어가 기록되는 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터로 판독 가능한 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다.
이상에서 본 발명의 실시예들이 상세하게 설명되었으나 본 발명에 따른 권리범위가 이에 한정되는 것은 아니고, 다음의 청구범위에 기재되어 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명에 따른 권리범위에 포함되는 것으로 해석되어야 한다.
100: 키포인트 인식 시스템 110: 데이터 수집부
111: RF 송신부 112: 메타표면
113: RF 수신부 120: 데이터 처리부
121: 상태 간소화 알고리즘 122: 트랜스포머 모델

Claims (11)

  1. RF 신호 기반의 키포인트 인식 시스템에 있어서,
    키포인트 인식 대상으로 조사되는 RF 레이더 펄스 신호를 생성하는 송신 안테나들, 상기 키포인트 인식 대상으로부터 반사되는 반사 신호를 수신하는 수신 안테나들 및 각 셀의 온/오프 상태에 의해 상기 RF 신호 상태들에 대응하는 메타표면 상태들이 결정되는 셀들을 포함하는 메타표면(metasurface)을 포함하는 데이터 수집부; 및
    상기 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 메타표면 상태들을 선별하기 위한 셀프 어텐션 기법에 기초하는 상태 간소화 알고리즘을 수행하여 RF 최종 상태들을 결정하고,
    상기 RF 최종 상태들을 가진 채로 조사되는 상기 RF 레이더 펄스 신호가 상기 키포인트 인식 대상으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델에 입력하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하는 데이터 처리부; 를 포함하는, RF 신호 기반의 키포인트 인식 시스템.
  2. 제 1 항에 있어서,
    상기 RF 레이더 펄스 신호가 상기 메타표면을 투과할 때 상기 메타표면 상태들에 따라 상기 RF 레이더 펄스 신호의 위상 및 세기를 포함하는 상기 RF 신호 상태들이 변경되는, RF 신호 기반의 키포인트 인식 시스템.
  3. 제 2 항에 있어서,
    상기 상태 간소화 알고리즘은 N개의 상기 셀들의 개수에 의한 2N개의 상기 메타표면 상태들에 대해 쿼리 행렬 Q 및 전치 키 행렬 KT의 곱에 의해 생성되는 2N x 2N의 어텐션 스코어 행렬에서 각 행의 평균으로 계산되는 2N개의 어텐션 스코어들을 기준으로 상기 RF 신호 상태들 중 일부의 유효한 상태들을 선별하는 셀프 어텐션 기법에 기초하여 상기 RF 최종 상태들을 결정하는, RF 신호 기반의 키포인트 인식 시스템.
  4. 제 3 항에 있어서,
    상기 셀프 어텐션 기법은, 상기 메타표면 상태들에 대한 i) 상태 개수 조정; ii) 조정된 상태 개수에 따른 모델 성능 측정; 및 iii) 목표 성능과의 비교를 통한 상기 상태 개수 조정의 증감 방향과 조정 크기의 결정; 을 반복하면서 상기 메타표면 상태들의 상태 개수를 반복적으로 업데이트하여 최종 메타표면 상태들을 결정하고,
    상기 RF 최종 상태들은 상기 최종 메타표면 상태들에 대응하는, RF 신호 기반의 키포인트 인식 시스템.
  5. 제 4 항에 있어서,
    상기 셀프 어텐션 기법은, i) 최초 반복에서, 행 제거 비율 Rn에 따라 상기 어텐션 스코어 행렬의 2N개의 행들 중 하위 스코어 행들을 제거하고, ii) 이후 반복들마다, 감소율 rd를 적용하여 상기 행 제거 비율 Rn을 감소시키고,
    상기 이후 반복들마다, iii) 직전 반복에 의해 조정된 메타표면 상태 개수에 따른 모델 성능과 목표 성능의 차이의 비율이 임계 비율보다 높을 경우, 제거된 상태들 중 임의의 일부 상태들을 추가 도입 비율 Ra에 따라 상기 어텐션 스코어 행렬에 추가하고, iv) 상기 차이의 비율이 상기 임계 비율보다 낮을 경우, 감소율 ra를 적용하여 상기 추가 도입 비율 Ra를 감소시키는, RF 신호 기반의 키포인트 인식 시스템.
  6. 제 5 항에 있어서,
    상기 셀프 어텐션 기법은 상기 차이의 비율이 상기 임계 비율보다 낮은 경우가 5회 이상 반복되는 경우 상기 메타표면 상태들의 상태 개수 조정을 중단하고 상기 최종 메타표면 상태들을 확정하는, RF 신호 기반의 키포인트 인식 시스템.
  7. 제 4 항에 있어서,
    상기 셀프 어텐션 기법에서 상기 최종 메타표면 상태들을 결정하기 위해 상기 메타표면 상태들의 상태 개수를 반복적으로 업데이트하는 것은 멀티-헤드 어텐션의 헤드 개수 nhead에 대해 병렬로 실행되는, RF 신호 기반의 키포인트 인식 시스템.
  8. 제 1 항에 있어서,
    상기 트랜스포머 모델은, 1차원 커널을 통해 상기 유효 반사 신호로부터 1차원 피쳐들을 추출하도록 학습되는 레지듀얼 구조의 합성곱 신경망, 상기 1차원 피쳐들의 특성과 송수신 안테나 쌍의 거리 차이로 인해 발생하는 상기 유효 반사 신호의 특성 변화 간의 관계성을 파악하도록 학습되는 인코더 레이어, 및 상기 키포인트 인식 대상의 위치 정보와 상기 관계성 간의 유사도를 도출하도록 학습되는 디코더 레이어를 포함하는, RF 신호 기반의 키포인트 인식 시스템.
  9. 제 8 항에 있어서,
    상기 트랜스포머 모델은, 상기 1차원 피쳐들에 대한 임베딩을 수행하여 평탄화된 1차원의 입력 시퀀스를 생성하도록 학습되는 임베딩 레이어, 상기 인코더 레이어에 입력되는 상기 1차원의 입력 시퀀스에 위치 정보를 반영하도록 학습되는 포지셔널 인코딩 레이어, 및 상기 유사도에 기초하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하도록 학습되는 합성곱 레이어를 더 포함하는, RF 신호 기반의 키포인트 인식 시스템.
  10. 제 1 항에 있어서,
    상기 키포인트 인식 대상은 사람이고, 상기 키포인트 좌표들은 머리, 좌우 어깨, 좌우 팔꿈치, 좌우 손끝, 좌우 엉덩이, 좌우 무릎 및 좌우 발목의 13개 키포인트들의 3차원 좌표들인, RF 신호 기반의 키포인트 인식 시스템.
  11. RF 신호 기반의 키포인트 인식 시스템에 의해 수행되는 키포인트 인식 방법에 있어서,
    상기 키포인트 인식 시스템의 데이터 수집부의 송신 안테나들에 의해, 키포인트 인식 대상으로 조사되는 RF 레이더 펄스 신호를 생성하는 단계;
    상기 데이터 수집부의 수신 안테나들에 의해, 상기 키포인트 인식 대상으로부터 반사되는 반사 신호를 수신하는 단계;
    상기 데이터 수집부의 각 셀의 온/오프 상태에 의해 상기 RF 신호 상태들에 대응하는 메타표면 상태들이 결정되는 셀들을 포함하는 메타표면 및 상기 키포인트 인식 시스템의 데이터 처리부에 의해, 상기 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 메타표면 상태들을 선별하기 위한 셀프 어텐션 기법에 기초하는 상태 간소화 알고리즘을 수행하여 RF 최종 상태들을 결정하는 단계; 및
    상기 데이터 처리부에 의해, 상기 RF 최종 상태들을 가진 채로 조사되는 상기 RF 레이더 펄스 신호가 상기 키포인트 인식 대상으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델에 입력하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하는 단계; 를 포함하는, 키포인트 인식 방법.
KR1020210187103A 2021-12-24 2021-12-24 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템 KR102660187B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210187103A KR102660187B1 (ko) 2021-12-24 2021-12-24 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210187103A KR102660187B1 (ko) 2021-12-24 2021-12-24 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템

Publications (2)

Publication Number Publication Date
KR20230097525A KR20230097525A (ko) 2023-07-03
KR102660187B1 true KR102660187B1 (ko) 2024-04-23

Family

ID=87157261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210187103A KR102660187B1 (ko) 2021-12-24 2021-12-24 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템

Country Status (1)

Country Link
KR (1) KR102660187B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908808B (zh) * 2023-09-13 2023-12-01 南京国睿防务系统有限公司 一种基于rtn的高分辨一维像目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988182B1 (ko) 2018-11-02 2019-06-11 세종대학교산학협력단 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법
KR102060761B1 (ko) 2019-04-09 2019-12-30 주식회사 에이치랩 기계 학습을 활용한 rf 기반의 낙상 판단 시스템 및 그의 낙상 판단 방법
CN113241075A (zh) 2021-05-06 2021-08-10 西北工业大学 一种基于残差高斯自注意力的Transformer端到端语音识别方法
CN113466852A (zh) 2021-06-08 2021-10-01 江苏科技大学 应用于随机干扰场景下的毫米波雷达动态手势识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127201B1 (ko) * 2018-07-11 2020-06-29 서울대학교산학협력단 특정 각도에서 빔 조향 손실을 보상하기 위한 비선형 메타표면

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988182B1 (ko) 2018-11-02 2019-06-11 세종대학교산학협력단 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법
KR102060761B1 (ko) 2019-04-09 2019-12-30 주식회사 에이치랩 기계 학습을 활용한 rf 기반의 낙상 판단 시스템 및 그의 낙상 판단 방법
CN113241075A (zh) 2021-05-06 2021-08-10 西北工业大学 一种基于残差高斯自注意力的Transformer端到端语音识别方法
CN113466852A (zh) 2021-06-08 2021-10-01 江苏科技大学 应用于随机干扰场景下的毫米波雷达动态手势识别方法

Also Published As

Publication number Publication date
KR20230097525A (ko) 2023-07-03

Similar Documents

Publication Publication Date Title
CN108279413B (zh) 传感器以及生物体动作推定方法
EP3812791A1 (en) Integration of tracking with classifier in mmwave radar
JP2016035440A (ja) レーダ装置および物体検知方法
KR102660187B1 (ko) 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템
Zecchin et al. LIDAR and position-aided mmWave beam selection with non-local CNNs and curriculum training
KR101614766B1 (ko) 재머 구별이 가능한 조향 벡터 연산을 이용하는 표적의 dod-doa 추정 방법 및 장치
Li et al. Human target detection based on FCN for through-the-wall radar imaging
Wang et al. Multi-classification of UWB signal propagation channels based on one-dimensional wavelet packet analysis and CNN
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
EP3417311B1 (en) A method for motion classification using a pulsed radar system
CN116049650A (zh) 基于rfsfd-t网络的射频信号指纹识别方法及系统
CN113792598B (zh) 基于车载摄像头的汽车碰撞预测系统和方法
Fontana et al. Bernoulli merging for the Poisson multi-Bernoulli mixture filter
WO2017188905A1 (en) A method for motion classification using a pulsed radar system
CN112634566B (zh) 基于毫米波的智能电子围栏构建方法及系统
CN110361709B (zh) 一种基于动态虚警概率的车载毫米波雷达目标识别方法
Iqbal et al. Indoor motion classification using passive RF sensing incorporating deep learning
CN113260871A (zh) 传感器
CN116017280A (zh) 一种目标免携带设备的快速室内路径跟踪方法
CN113030849B (zh) 一种基于自编码器与并行网络的近场源定位方法
Li et al. SADOE: Sequential‐based angle‐Doppler off‐grid estimation with coprime sampling structures for space‐time adaptive processing
KR101988478B1 (ko) Mimo 레이더의 안테나 정보 추정 장치 및 방법
KR102589127B1 (ko) 저계수 특이값 근사화를 이용한 클러터 억압 거리 추정 방법
Yun et al. Distance estimation scheme exploiting IR-UWB radar with clutter suppressing algorithm in indoor environments
Yang et al. Deep contrastive clustering for signal deinterleaving

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant