KR20230044912A - 영상과 무선 전파를 이용하는 측위 방법 및 장치 - Google Patents

영상과 무선 전파를 이용하는 측위 방법 및 장치 Download PDF

Info

Publication number
KR20230044912A
KR20230044912A KR1020210188901A KR20210188901A KR20230044912A KR 20230044912 A KR20230044912 A KR 20230044912A KR 1020210188901 A KR1020210188901 A KR 1020210188901A KR 20210188901 A KR20210188901 A KR 20210188901A KR 20230044912 A KR20230044912 A KR 20230044912A
Authority
KR
South Korea
Prior art keywords
positioning
target terminal
positioning target
distance
path
Prior art date
Application number
KR1020210188901A
Other languages
English (en)
Other versions
KR102610912B1 (ko
Inventor
김근영
방승찬
고영조
장갑석
김일규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/563,272 priority Critical patent/US20230101594A1/en
Publication of KR20230044912A publication Critical patent/KR20230044912A/ko
Application granted granted Critical
Publication of KR102610912B1 publication Critical patent/KR102610912B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257Hybrid positioning
    • G01S5/0258Hybrid positioning by combining or switching between measurements derived from different systems
    • G01S5/02585Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0273Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves using multipath or indirect path propagation signals in position determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/12Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

영상과 무선 전파를 이용하는 측위 방법 및 장치가 개시된다. 측위 방법은 측정 기준노드에서 측위 대상단말과의 거리와 각도를 추정하는 단계, 거리와 각도로 추정되는 위치 범위의 측위 대상단말에 대한 영상 정보를 통해 측위 대상단말 주변이나 측위 대상단말과 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계, 영상 정보의 반사물을 통해 반사되는 무선 전파 신호의 입사 각도나 반사 각도를 추정하는 단계, 및 반사 각도와 거리를 토대로 측위 대상단말의 위치를 추정하는 단계를 포함한다.

Description

영상과 무선 전파를 이용하는 측위 방법 및 장치{METHOD AND APPARATUS FOR POSITIONING USING IMAGE AND RADIO SIGNALS}
본 발명은 특정 사용자의 위치 정보를 파악하기 위한 측위 시스템에서, 영상과 무선 전파 신호 정보를 이용하여 비가시 경로 상에 있는 사용자 또는 측정 대상에 대해서 정확한 위치 정보를 획득할 수 있는 영상과 무선전파를 이용하는 측위 방법 및 장치에 관한 것이다.
사용자 위치 정보를 담고 있는 측위 정보는 인명 구조 등 긴급 서비스, 지능형 교통 정보, 게임, 사람이나 물건 찾기 등의 다양한 생활 편의 정보 서비스, 제품 생산, 물류 관리, 유통 관리, 자동화 등의 생산성 향상 서비스 등과 같은 다양한 분야나 그 서비스에 활용될 수 있다. 특히, 측위 정보는, 무인기의 원격 제어 및 데이터 분석, 증강현실, 스마트 공장 내 이동체 제어 등에 사용하기 위해 10㎝ 정도의 고정밀 정확도를 요구하는 서비스에도 사용될 수 있다.
이러한 측위 정보를 얻기 위한 대표적인 방식으로는 위성항법시스템인 GNSS(Global Navigation Satellite System)을 이용한 측위 방식이 있으나, 이 측위 방식은 실내 등 위성신호 수신이 어려운 곳에서는 사용하기 어렵고, 또한 비가시(NLoS, non-line of Sight) 경로 및 다중 경로 환경, 높은 건물로 인해 보이는 위성 확보가 미흡한 경우, 측위 정확도가 저하되는 문제가 있다.
본 발명은 전술한 종래 기술의 문제를 해결하기 위해 도출된 것으로, 본 발명의 목적은 실내 혹은 도심 밀집지에 위치한 사용자나 측정 대상에 대해서는 통신 전파를 이용하여 측위 정보를 제공하고, 카메라와 가시(line of sight, LoS) 경로 상에 위치한 사용자에 대해서는 영상 정보를 사용하여 사용자 위치 정보를 파악할 수 있는, 영상과 무선전파를 이용하는 측위 방법 및 장치를 제공하는데 있다.
본 발명의 다른 목적은 비가시(Non-LoS, NLoS) 경로에 존재하는 측위 대상이나 사용자 단말에 대한 정확한 위치 정보 획득을 위해 영상 정보와 무선 측위 기술을 결합한 측위 방식을 이용하는, 영상과 무선전파를 이용하는 측위 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은, 무선 측위 기술의 활용 시, 전파 반사 효과가 적은 고주파수 대역 예를 들면, 밀리미터파(mmWave) 또는 테라헤르츠(㎔) 대역의 무선 전파를 활용한 측위를 이용하는, 영상과 무선전파를 이용하는 측위 방법 및 장치를 제공하는데 있다.
상기한 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상과 무선 전파를 이용하는 측위 방법은, 측정 기준노드에서 측위 대상단말과의 거리와 각도를 추정하는 단계; 상기 거리와 각도로 추정되는 위치의 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계; 상기 영상 정보의 반사물을 통해 반사되는 무선 전파 신호의 입사 각도나 반사 각도를 추정하는 단계; 및 상기 반사 각도와 상기 거리를 토대로 상기 측위 대상단말의 위치를 추정하는 단계를 포함한다.
일실시예에서, 측위 방법은, 상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 포함할 수 있다.
일실시예에서, 측위 방법은, 상기 판단하는 단계의 판단 결과, 상기 측정 대상단말이 비가시 경로 상에 존재하면, 상기 영상 정보를 통해 가시경로 상의 상기 측정 기준노드와 상기 반사물 간 거리를 추정하는 단계를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상과 무선 전파를 이용하는 측위 방법은, 다수의 측정 기준노드들 각각에서 측위 대상단말과의 거리 또는 각도를 추정하는 단계; 상기 거리 또는 각도로 추정되는 위치 범위에 존재가능한 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계; 상기 다수의 측정 기준노드들 각각에서 상기 영상 정보로 파악된 반사물에서 반사되는 무선 전파의 반사 위치들을 파악하는 단계; 및 상기 반사 위치들 각각에서 상기 측위 대상단말까지에 해당하는 거리를 반경으로 하는 원들의 교점을 통해 상기 측위 대상단말의 위치를 추정하는 단계를 포함한다.
일실시예에서, 측위 방법은, 상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상과 무선 전파를 이용하는 측위 장치는, 영상과 무선 전파를 이용하는 측위 장치로서, 프로세서(processor); 및 상기 프로세서에 의해 실행되는 하나 이상의 명령들을 저장하는 메모리(memory)를 포함하며, 상기 하나 이상의 명령들에 의해 상기 프로세서는: 측정 기준노드에서 측위 대상단말과의 거리와 각도를 추정하는 단계; 상기 거리와 각도로 추정되는 위치의 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계; 상기 영상 정보의 반사물을 통해 반사되는 무선 전파 신호의 입사 각도나 반사 각도를 추정하는 단계; 및 상기 반사 각도와 상기 거리를 토대로 상기 측위 대상단말의 위치를 추정하는 단계를 수행하도록 구성될 수 있다.
일실시예에서, 측위 장치의 프로세서는, 상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 수행하도록 구성될 수 있다.
일실시예에서, 측위 장치의 프로세서는, 상기 판단하는 단계의 판단 결과, 상기 측정 대상단말이 비가시 경로 상에 존재하면, 상기 영상 정보를 통해 가시경로 상의 상기 측정 기준노드와 상기 반사물 간 거리를 추정하는 단계를 더 수행하도록 구성될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상과 무선 전파를 이용하는 측위 장치는, 영상과 무선 전파를 이용하는 측위 장치로서, 프로세서(processor); 및 상기 프로세서에 의해 실행되는 하나 이상의 명령들을 저장하는 메모리(memory)를 포함하며, 상기 하나 이상의 명령들에 의해 상기 프로세서는: 다수의 측정 기준노드들 각각에서 측위 대상단말과의 거리 또는 각도를 추정하는 단계; 상기 거리 또는 각도로 추정되는 위치 범위에 존재가능한 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계; 상기 다수의 측정 기준노드들 각각에서 상기 영상 정보로 파악된 반사물에서 반사되는 무선 전파의 반사 위치들을 파악하는 단계; 및 상기 반사 위치들 각각에서 상기 측위 대상단말까지에 해당하는 거리를 반경으로 하는 원들의 교점을 통해 상기 측위 대상단말의 위치를 추정하는 단계를 수행하도록 구성될 수 있다.
일실시예에서, 측위 장치의 프로세서는, 상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 수행하도록 구성될 수 있다.
일실시예에서, 상기 무선 전파 신호는 전파 반사 효과가 상대적으로 적은 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호일 수 있다.
일실시예에서, 상기 무선 전파 신호는 상대적으로 대역폭이 큰 광대역폭을 가진 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호일 수 있다.
일실시예에서, 상기 무선 전파 신호는 초다수 안테나를 활용한 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호일 수 있다.
본 발명에 의하면, 기존 측위 시스템에서 LoS 경로상 측위 대상 단말의 위치를 정확하게 측정할 수 있지만 NLoS 경로상 측위 대상 단말의 위치 추정 시에 많은 오차를 발생하는 문제를 해결하면서, NLoS 경로상 측위 대상 단말의 측위에 대한 정확도를 향상시킬 수 있는 새로운 측위 방식을 제공할 수 있다.
또한, 본 발명에 의하면, 실내 혹은 도심 밀집지에 위치한 사용자나 측정 대상에 대해서는 통신 전파를 이용하여 측위 정보를 제공하고 카메라와 가시(Line of Sight, LoS) 경로 상에 위치한 사용자에 대해서는 영상 정보를 사용하여 사용자 위치를 파악함으로서, 사용자나 측정 대상이 위치하는 장소에 상관없이 정확한 측위를 수행할 수 있는 장점이 있다.
또한, 본 발명에 의하면, 비가시(Non-LoS, NLoS) 경로에 존재하는 측위 대상이나 사용자 단말에 대한 정확한 위치 정보 획득을 위해 영상 정보와 무선 측위 기술을 결합한 측위 방식을 통해 각도와 거리 정보를 이용하여 신호 반사 위치 파악하고, 이를 토대로 반사각이나 동일 반경 교점을 통해 측위 대상단말의 위치를 효과적으로 정밀하게 추정할 수 있다.
또한, 본 발명에 의하면, 무선 전파 신호로서 전파 반사 영향이 적은 고주파수 대역 예를 들어 밀리미터파(mmWave) 또는 테라헤르츠(㎔) 대역의 무선 전파를 활용함으로써 해당 주파수 대역의 광대역폭을 활용하여 거리 정확도를 향상시키고, 초다수 안테나를 활용하여 각도 정확도를 향상시켜 효과적으로 측위를 수행할 수 있는 장점이 있다.
도 1은 본 발명의 일실시예에 따른 영상과 무선 전파를 이용하는 측위 방법(이하 간략히 '하이브리드 측위 방법'에 대한 흐름도이다.
도 2는 도 1의 하이브리드 측위 방법을 적용할 수 있는 위치 추정 환경을 도시한 개념도이다.
도 3은 본 발명의 다른 실시예에 따른 다수의 비가시(non-line of sight, NLoS) 거리를 활용한 하이브리드 측위 방법에 대한 흐름도이다.
도 4는 도 3의 하이브리드 측위 방법을 적용할 수 있는, 반사 벽면에서 거리 반경 교점을 활용한 위치 추정 환경을 도시한 개념도이다.
도 5는 본 발명의 또 다른 실시예에 따른 영상과 무선 전파를 이용하는 측위 장치(이하 간략히 '하이브리드 측위 장치')가 적용되는 전체 시스템 구성에 대한 개략적인 개념도이다.
도 6은 본 실시예의 하이브리드 방법에 채용할 수 있는 거리 활용 위치 추정 방법을 설명하기 위한 개념도이다.
도 7은 본 실시예의 하이브리드 방법에 채용할 수 있는 각도 활용 위치 추정방법을 설명하기 위한 개념도이다.
도 8은 본 실시예의 하이브리드 방법에 채용할 수 있는 거리 및 각도 동시 활용 위치 추정 방법을 설명하기 위한 개념도이다.
도 9는 본 실시예의 하이브리드 방법에 채용할 수 있는 거리 차이 활용 위치 추정 방법을 설명하기 위한 개념도이다.
도 10은 본 발명의 또 다른 실시예에 따른 하이브리드 측위 장치의 구성을 나타낸 개략적인 블록도이다.
도 11은 도 10의 하이브리드 측위 장치의 주요 작동 원리를 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원의 실시예들에서, “A 및 B 중에서 적어도 하나”는 “A 또는 B 중에서 적어도 하나” 또는 “A 및 B 중 하나 이상의 조합들 중에서 적어도 하나”를 의미할 수 있다. 또한, 본 출원의 실시예들에서, “A 및 B 중에서 하나 이상”은 “A 또는 B 중에서 하나 이상” 또는 “A 및 B 중 하나 이상의 조합들 중에서 하나 이상”을 의미할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 실시예들이 적용되는 통신 시스템(communication system) 또는 메모리 시스템(memory system)이 설명될 것이다. 본 발명에 따른 실시예들이 적용되는 통신 시스템 또는 메모리 시스템은 아래 설명된 내용에 한정되지 않으며, 본 발명에 따른 실시예들은 다양한 통신 시스템에 적용될 수 있다. 여기서, 통신 시스템은 통신 네트워크(network)와 동일한 의미로 사용될 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명에 따른 실시예들이 적용되는 통신 시스템(communication system)이 설명될 것이다. 통신 시스템은 4G 통신 시스템(예를 들어, LTE(long-term evolution) 통신 시스템, LTE-A 통신 시스템), 5G 통신 시스템(예를 들어, NR(new radio) 통신 시스템) 등일 수 있다. 4G 통신 시스템은 6㎓ 이하의 주파수 대역에서 통신을 지원할 수 있고, 5G 통신 시스템은 6㎓ 이하의 주파수 대역뿐만 아니라 6㎓ 이상의 주파수 대역에서 통신을 지원할 수 있다. 본 발명에 따른 실시예들이 적용되는 통신 시스템은 아래 설명된 내용에 한정되지 않으며, 본 발명에 따른 실시예들은 다양한 통신 시스템에 적용될 수 있다. 여기서, 통신 시스템은 통신 네트워크(network)와 동일한 의미로 사용될 수 있고, "LTE"는 "4G 통신 시스템", "LTE 통신 시스템" 또는 "LTE-A 통신 시스템"을 가리킬 수 있고, "NR"은 "5G 통신 시스템" 또는 "NR 통신 시스템"을 가리킬 수 있다.
도 1은 본 발명의 일실시예에 따른 영상과 무선 전파를 이용하는 측위 방법(이하 간략히 '하이브리드 측위 방법'에 대한 흐름도이다. 도 2는 도 1의 하이브리드 측위 방법을 적용할 수 있는 위치 추정 환경을 도시한 개념도이다.
도 1 및 도 2를 참조하면, 하이브리드 측위 방법은 비가시 경로 상에 측위 대상단말(10)이 존재하는지를 판단한다(S11).
본 단계(S11)는 무선 신호와 영상 정보를 조합하여 판단 기준으로 이용할 수 있다. 즉, 무선전파 신호를 이용하여 측위 대상단말(10)이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 여부를 추정하고, 영상 정보를 이용하여 측위 대상단말(10)의 주변 반사물이나 장애물의 존재 여부를 추정할 수 있다.
여기서, 전파를 발신한 측위 대상단말(10)과 영상 정보를 통해 확인한 측위 대상단말(10)의 매칭은 현재 측위서비스를 이용하고자 하는 단말의 정보를 측위 서버(도 5의 100 참조)에서 확인하는 방법 등을 통해 적용할 수 있다. 예를 들어, 스몰셀, 기지국 등을 포함할 수 있는 측위 기준노드(30)가 획득한 통신전파 정보와 영상 정보는 측위 서버로 전송되고, 측위 대상단말(10)에 대한 단말 식별자(identification, ID)와 영상 정보를 가지고 있는 측위 서버가 이를 확인해 줄 수 있다. 즉, 본 실시예에서는 측위 서비스를 이용하는 단말의 ID가 측위 서버로 전송되고, 단말의 ID에 해당하는 영상 정보와 측위 서버로 전송된 영상 정보로부터 측위 서버가 딥러닝 이미지 인식 기술을 활용하여 단말 정보를 획득할 수 있도록 구성되어 있는 것을 가정한다.
또한, 영상 정보를 이용하여 대상 단말을 특정하는 것은 현재의 딥러닝 이미지 인식 기술이나 딥러닝 영상 인식 기술을 통해 수행될 수 있음이 이미 잘 알려져 있으므로, 그에 대한 상세 설명은 생략한다.
위의 판단 단계(S11)에서의 판단 결과, 측위 대상단말(10)이 비가시경로 상에 존재하면(S11의 Yes), 영상 정보를 활용하여 가시경로 상의 측정 기준노드(30)와 반사물(20) 간의 거리를 추정할 수 있다(S12). 반사물(20)은 난반사가 없는 반사물일 수 있다. 그리고 난반사가 있는 반사물에 대하여는 후술하는 실시예에서 좀더 상세히 설명하기로 한다.
다음, 영상 정보를 활용하여 반사물을 통한 무선전파의 입사각 또는 반사각을 추정할 수 있다(S13).
다음, 추정된 전체 거리에서 가시경로 상의 거리 차이를 이용하여 비가시 경로 상의 거리를 추정한다(S14).
다음, 비가시 경로상의 거리와 입사각 또는 반사각을 이용하여 측위 대상단말의 위치를 추정한다(S15).
한편, 위의 판단 단계(S11)에서의 판단 결과, 측위 대상단말(10)이 비가시경로 상에 존재하지 아니하면(S11의 No), 즉 측위 대상단말(10)이 가시경로 상에 존재하면, 무선신호 혹은 영상정보로 측정한 거리를 이용하여 측위 대상단말의 위치를 추정할 수 있다(S16).
이와 같이, 본 실시예에 의하면, 영상 정보와 무선전파 신호를 이용하여 측정 대상단말(10)로부터 측정된 무선전파의 비가시(NLoS) 경로 여부와 측정 대상단말(10)의 주변 반사물이나 장애물을 추정할 수 있다.
다시 말해서, 무선전파 신호를 통해 측위 기준노드(30)와 측위 대상단말(10) 간 신호 전파시간을 측정하고, 이를 통해 전송 경로 상 거리를 계산할 수 있다. 그리고 영상 정보를 이용하여 이미지의 특징을 통해 측위 대상단말(10)의 위치를 파악할 수 있다. 따라서, 계산된 거리를 반경으로 하는 원주 상에 측위 대상단말(10)에 대한 존재 여부를 영상 정보를 이용해 파악할 수 있다.
즉, 해당 거리 반경에 측위 대상단말(10)의 위치가 영상 정보로 확인되면, 측위 대상단말(10)은 가시(LoS) 경로에 위치하는 것이며, 영상 정보를 통해 측위 대상단말(10)의 위치가 확인되지 못하면, 측위 대상단말(10)은 비가시(NLoS) 경로에 위치하는 것으로 판단할 수 있다.
또한, 무선전파 신호를 통해 측위 기준노드(30)와 측위 대상단말(10)의 전송 경로 상 거리와 송수신 신호 각도를 측정하여, 원주 상 위치가 아닌 한 점의 위치로 측위 대상단말(10)의 위치를 결정할 수 있다. 그리고 영상 정보를 통해 해당 거리와 각도 위치에 측위 대상단말(10)이 존재하면, 측위 대상단말(10)이 가시(LoS) 경로 상에 위치한 것으로 판단하고, 해당 위치에 측위 대상단말(10)이 존재하지 않는다면, 비가시(NLoS) 경로 상에 위치한 것으로 판단할 수 있다.
그리고, 가시(LoS) 거리 경로 상에 반사물이나 장애물이 없다는 것을 확인하면, 측위 대상단말(10)이 가시(LoS) 경로 상에 존재하고 있는 것으로 판단할 수 있으므로 측위 대상단말(10)의 위치를 결정할 수 있다. 본 실시예에 따른 측위 방법을 사용하면, 측위 대상단말(10)의 이미지 특징을 미리 알고 있을 필요가 없다.
이와 같이 본 실시예에 의하면, 영상 정보를 통해 비가시(NLoS) 경로 여부와 더불어 해당 위치에 존재하는 반사물이나 장애물 정보를 획득할 수 있고, 아울러 무선전파 신호를 이용하여 거리와 각도를 측정함으로써, 영상 정보를 이용하여 해당 경로 상에 위치하는 반사물이나 장애물 정보를 정확하게 파악할 수 있다.
즉, 무선전파 신호에서 측정한 측위 대상단말(10)에 대한 거리와 송수신 각도 정보, 및 영상 정보를 통해 측위 대상단말이 비가시(NLoS) 경로에 존재하고 있다고 판단되면, 가시(LoS) 경로 상에 위치한 반사물 정보를 이용하여 비가시(NLoS) 경로 상에 위치한 측위 대상단말(10)의 위치를 다음과 같은 두 가지 방법을 통해 확보할 수 있다.
첫째, 반사물(20)을 통해 반사되는 각도와 거리 추정을 통해 비가시(NLoS) 경로 상 측위 대상단말(10)의 위치를 파악할 수 있다.
둘때, 반사물을 통해 반사되는 다수의 측위 기준노드(30)와 측위 대상단말(10) 간 다수의 거리를 측정하여 측위 대상단말(10)의 위치를 파악할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 다수의 비가시(non-line of sight, NLoS) 거리를 활용한 하이브리드 측위 방법에 대한 흐름도이다. 도 4는 도 3의 하이브리드 측위 방법을 적용할 수 있는, 반사 벽면에서 거리 반경 교점을 활용한 위치 추정 환경을 도시한 개념도이다.
도 3 및 도 4를 참조하면, 하이브리드 측위 방법은 비가시 경로 상에 측위 대상단말(10)이 존재하는지를 판단할 수 있다(S31).
위의 판단 단계(S31)에서의 판단 결과, 측위 대상단말(10)이 비가시 경로 상에 존재하면(S31의 Yes), 다수의 측위 기준노드들(30, 32)에서 영상 정보를 활용하여 가시 경로 상의 측정 기준노드 각각과 반사물(20, 22) 간의 거리를 추정한다(S32). 다수의 측위 기준노드들(30, 32)은 일정 간격 이격되어 위치할 수 있고, 각 측위 기준노드는 통신 노드, 기지국 등으로 지칭될 수 있으며, 네트워크로 연결되는 통신 시스템과 연결될 수 있다. 그리고, 제1 반사물(20)은 제1 위치에 위치하는 난반사가 없는 반사물일 수 있고, 제2 반사물(22)은 제1 위치와 일정 간격 떨어져 있는 제2 위치에 위치하는 난반사가 없는 다른 반사물일 수 있다.
다음, 다수의 측위 기준노드들(30,32)에서 가시경로 상의 거리차를 이용하여 다수의 비가시 경로 상의 거리를 추정한다(S33).
다음, 다수의 비가시 경로 상의 거리를 이용하여 측위 대상단말(10)의 위치를 추정할 수 있다(S34).
한편, 위의 판단 단계(S31)에서의 판단 결과, 측위 대상단말(10)이 비가시 경로 상에 존재하지 않으면(S31의 No), 즉 측위 대상단말(10)이 가시 경로 상에 존재하면, 무선 신호 혹은 영상 정보로 측정한 거리를 이용하여 측위 대상단말(10)의 위치를 추정할 수 있다(S35).
이와 같이, 본 실시예에 따른 측위 방법은 반사물을 통해 반사되는 각도와 거리 추정을 통해 비가시(NLoS) 경로 상의 측위 대상단말의 위치를 파악할 수 있다.
즉, 반사물에서 반사되는 각도와 거리 추정을 통한 비가시(NLoS) 경로 상 측위 대상단말(10)의 위치를 파악하는 방식은 영상 정보를 통해 반사물(20, 22)에서 반사하는 정확한 반사 각도를 추정할 수 있을 경우에 활용할 수 있다. 측위 기준노드(30, 32)에서 측정한 반사 각도를 기반으로 반사물(20, 22)에서 입사하거나 반사하는 각도를 추정하고, 이를 통해 무선 전파가 반사되는 각도를 측정할 수 있다.
이러한 각도 정보와 거리 정보를 추정하면 측위 대상단말(10)의 위치를 파악할 수 있다. 이때 반사물(20, 22) 표면에서 반사 각도 정보를 얻을 수 있는 경우는, 반사물(20, 22) 표면에서 난반사가 없고, 반사물(20, 22) 표면에서 입사각과 반사각이 동일한 경우이다.
또한, 비가시(NLoS) 경로 상에서 여러 번 반사가 발생한 경우, 정확한 위치 추정이 어려울 수 있으며, 만약 3차원(3D) 맵을 구축하고, 반사 정보를 미리 획득한 경우에는 비교적 쉽게 각도 정보를 얻을 수 있다.
한편, 본 실시예에서는 다수의 반사물을 통해 반사되는 다수의 측위 기준노드(30, 32)와 측정 대상단말(10) 간의 거리를 측정하여 측정 대상단말(10)의 위치를 파악할 수 있다.
즉, 반사물을 통해 반사되는 다수의 측위 기준노드(30, 32)와 측위 대상단말(10) 간의 다수의 거리를 측정하여 측위 대상단말(10)의 위치를 파악하는 방식은 반사물의 표면을 통한 반사각 추정이 어려울 경우에 활용할 수 있다. 이 경우, 다수의 측정 기준노드(30, 32)에서 수신되는 무선 전파를 통해 측위 대상단말(10)과의 거리 혹은 반사물(20, 22)까지의 거리와 각도를 측정한다. 이를 통해 전파가 반사된 지점을 파악한다.
한편, 다수의 반사물(20, 22)의 표면의 반사 위치에서 측위 대상단말(10)과의 거리만을 모르는 상황의 경우, 측정 거리들 각각을 반경으로 하는 원들의 교점을 통해 측위 대상단말(10)의 위치를 파악할 수 있다. 반사물 표면의 반사 위치와 측위 대상단말(10) 간 거리는 영상 정보를 통해 정확하게 파악할 수 있으므로, 측위 기준노드(30, 32)와 측위 대상단말(10) 간 거리 만을 파악한 경우에 비해 보다 정확한 비가시(NLoS) 경로 상의 측위 대상단말(10)에 대한 위치 추정이 가능하다.
다시 말해서, 본 실시예에서는 무선 전파 신호 정보를 이용하여 측위 대상단말(10)과 측위 기준노드(30, 32) 간 거리 정보나 거리 및 각도 정보를 추출할 수 있고, 이를 이용하여 비가시(NLoS) 경로 상에 존재하는 측정 대상단말(10)의 위치를 추정할 수 있다.
다만, 3D 맵 정보가 없는 경우, 비가시(NLoS) 경로 상의 측위 대상단말(10)의 위치는 부정확할 가능성이 높다. 그리고 영상 정보만을 이용할 경우, 가시(LoS) 경로 상의 측위 대상단말(10)의 위치는 정확하게 추정할 수 있으나, 비가시(NLoS) 경로 상의 측위 대상단말(10)의 위치를 추정하기는 불가능하다. 이에 본 실시예에서는, 무선 전파 신호 정보와 영상 정보를 조합한 정보를 이용하면, 3D 맵 정보가 없이도 비가시(NLoS) 경로 상의 측정 대상단말(10)의 위치를 비교적 정밀하게 추정할 수 있다.
이와 같이, 본 실시예에 따른 측위 방법을 통해 보다 정확한 비가시(NLoS) 경로 상의 측위 대상단말의 위치 추정이 가능하며 그 4가지 주요 요인을 살펴보면 다음과 같다.
첫째, 무선 전파를 통해 측정한 거리와 각도 정보와 영상 정보를 활용하여 장애물 반사 벽면까지의 위치를 정확히 할 수 있고, 이를 통해 장애물의 반사 벽면과 측위 대상단말의 위치 만을 추정하게 되어 거리 추정의 정확도를 향상시킬 수 있다.
둘째, 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 무선 전파를 사용할 경우, 여러 번 반사되는 전파가 줄어들어 반사 이후에 추정해야 되는 거리를 단축시킬 수 있다.
셋째, 주파수 대역이 상대적으로 높아 신호 감쇄가 커지고 그 대신에 전파 반사 효과가 줄어드는 밀리미터파 혹은 테라헤르츠 대역을 이용하여 신호 샘플링율을 증가시키고 시간 영역 정밀도를 향상시킴으로써 정확한 거리 정보를 추정할 수 있다.
넷째, 밀리미터파 혹은 테라헤르츠 대역의 무선 전파를 사용할 때 활용 가능한 초다수의 안테나들을 사용함으로써, 정확한 각도 추정을 수행할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 영상과 무선 전파를 이용하는 측위 장치(이하 간략히 '하이브리드 측위 장치')가 적용되는 전체 측위 시스템의 구성에 대한 개략적인 개념도이다.
도 5를 참조하면, 측위 시스템은 카메라(50); 카메라(50)와 네트워크 또는 통신 시스템(60)을 통해 연결되는 하이브리드 측위 장치(80); 및 측위 대상단말(10), 카메라(50), 하이브리드 측위 장치(80) 등과 네트워크 또는 통신 시스템(60)을 통해 연결되는 측위 서버(100)를 포함할 수 있다. 하이브리드 측위 장치(80)는 기지국이나 통신 노드(70) 또는 통신 시스템의 일부에 탑재되거나 결합될 수 있다.
측위 대상단말(10)은 모바일 사용자 단말, 사물인터넷(internet of thing, IoT) 단말, 드론 단말, 차량 단말, 항공기 단말 등을 포함할 수 있다.
본 실시예의 측위 시스템은 측위 대상단말에 대한 정확한 측위 정보를 획득하도록 구성될 수 있다. 즉 측위 시스템은, 측위 기준노드에 카메라 영상과 무선전파 신호를 사용하는 시스템으로 구축될 수 있다.
이때, 측위 시스템의 하이브리드 측위 장치(80)는 카메라(50)를 통한 영상 정보와 무선전파 신호를 이용하여, 측정 대상단말(10)의 무선 전파와 영상 정보의 조합을 토대로 측정 대상단말(10)의 가시(LoS) 또는 비가시(NLoS) 경로 상의 존재 여부를 파악하고 측정 대상단말(10)의 주변 반사물이나 장애물 정보를 추정하고 이를 이용함으로써, 비가시(NLoS) 경로 상에 위치한 측위 대상단말(10)에 대한 정확한 거리와 각도 정보를 추정할 수 있다.
또한, 하이브리드 측위 장치(80)의 측위 방법을 수행하는 과정에서는, 난반사가 존재하지 않는 경우, 1개의 측위 기준노드를 이용하여 측정 대상단말의 위치를 특정할 수 있다. 그리고, 난반사가 존재하는 경우, 다수의 측위 기준노드들 각각에서 측정한 다수의 정보를 조합하고 이를 통해 측정 오차를 감소시킴으로써 측정 대상단말의 위치를 특정할 수 있다.
또한, 본 실시예에 의하면, 무선 전파 혹은 영상을 이용한 측위에서 예상되는 문제점을 해결할 수 있다.
즉, 무선 전파 혹은 영상을 이용한 측위는 사용자 등이 휴대하는 측위 대상단말(10)과 측위 기준노드 간의 가시(LoS) 경로가 확보된 상황에서는 비교적 정확한 측위가 가능하나, 비가시(NLoS) 경로인 경우, 측위 대상단말의 위치 정확도가 떨어지며 특히, 영상을 이용한 측위 방식은 사용할 수 없다.
이것은, 비가시(NLoS) 경로에 존재하는 측위 대상단말에 대한 위치 정확도를 향상시키기 위해, 측위 대상단말이 가시 경로에 있는지, 비가시 경로에 있는지 파악하는 것과, 측위 대상단말이 비가시 경로에 존재하는 경우, 무선 전파 신호가 어떠한 경로를 거쳐 측위 기준노드에 도달하는지를 파악하는 것이 우선되어야 함을 나타낸다.
다시 말해서, 영상 정보를 통해 측위 대상단말(10)의 이미지 특징을 알고 있는 경우, 가시(LoS) 경로 상의 측위 대상단말(10)에 대한 위치 정보는 영상을 이용하여 파악할 수 있으며, 이를 통해 측위 대상단말(10)이 가시(LoS) 경로 혹은 비가시(NLoS) 경로에 있는지 파악하는 것이 가능하다.
특히, 딥러닝 기술 발달로 인해, 영상 정보를 활용한 이미지 분류 기술은 인간의 분류 능력을 넘어서고 있기 때문에, 가시(LoS) 경로 상에 존재하는 특정 대상의 유무를 높은 확률로 파악할 수 있다. 또한, 가시(LoS) 경로 확보 시에는 사전 구축된 3차원(3D) 특징점 분포와 카메라 사양에 따라, 수 밀리미터(㎜) 정도의 오차 범위의 정확도로 측위 대상단말(10)에 대한 측위가 가능하다.
위에서 살핀 바와 같이, 비가시(NLoS) 경로에 존재하는 측위 대상단말(10)에 대한 정확한 위치 정보 획득을 위해서, 본 실시예에서는 영상 정보와 무선 측위 기술을 결합한 측위 방식을 이용한다. 특히, 무선 측위 기술을 활용하는 경우, 측위 정확도를 높이기 위해서, 전파 반사 효과가 적은 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 무선 전파를 활용하는 측위를 사용함으로써 비교적 정확한 측위를 수행할 수 있다.
통상 무선 전파는 주파수 대역이 높아질수록 거리에 따른 신호 감쇄가 커지기 때문에, 전파 반사 효과가 줄어들어, 다중 경로를 통해 신호가 전달되는 경우가 적어진다. 예를 들어 테라헤르츠 대역의 무선 전파는, 1~2번 정도의 벽면 반사가 있을 수 있다. 또한, 테라헤르츠 대역을 이용하면, 광대역 신호를 전송하기 때문에 신호 샘플링율이 크고, 따라서 시간 영역의 정밀도 향상으로 인해 정확한 거리 정보 획득이 가능한 장점이 있다. 그리고, 초다수 안테나를 이용한 송수신을 사용하면, 신호의 출발각과 도착각에 대한 정확한 각도 정보 획득도 가능하다.
도 6은 본 실시예의 하이브리드 방법에 채용할 수 있는 무선 전파 신호를 이용한 위치 추정 방법을 설명하기 위한 개념도이다. 도 7은 본 실시예의 하이브리드 방법에 채용할 수 있는 각도 활용 위치 추정방법을 설명하기 위한 개념도이다. 도 8은 본 실시예의 하이브리드 방법에 채용할 수 있는 거리 및 각도 동시 활용 위치 추정 방법을 설명하기 위한 개념도이다. 그리고, 도 9는 본 실시예의 하이브리드 방법에 채용할 수 있는 거리 차이 활용 위치 추정 방법을 설명하기 위한 개념도이다.
도 6을 참조하면, 무선 전파 신호를 이용한 측위는, 송수신 기간의 신호 전파시간을 이용한 거리와 신호 송수신 각도를 측정하는 방식으로 사용자 또는 측정 대상단말의 위치를 파악할 수 있다. 예를 들어, 측위 기준노드들(30, 32, 34)의 송신전력을 알고 있다면, 측위 장치는 RSSI(received signal strength indicator) 등을 이용하여 측위 기준노드에서의 수신 신호의 전파 세기를 거리(r1)에 대응하여 측정 대상단말(10)의 위치를 추정할 수 있다.
예를 들어, 측위 대상단말의 송신기의 전파 송신시간과 측위 기준노드의 수신기의 전파 수신시간 간의 시간 차이(Time of Flight, ToF) 즉, 신호 전파시간을 측정한 후 빛의 속도를 곱하여 송수신 기간의 거리를 추정함으로써 측정 대상단말의 위치를 추정할 수 있다. 이 경우, 2차원 평면상 측위를 위해서는 측위 기준노드가 최소 3개 이상 필요하다. 또한, 정확한 거리 추정을 위해서는 측위 기준노드(30, 32, 34)와 측위 대상단말(10)에 해당하는 송수신기들 간의 정확한 동기 즉, 송수신기 간 기준시간 일치가 필요하다.
또한, 송수신 기간의 왕복(round-trip) 신호전파 시간(Round-Trip of Flight, RToF)을 측정하여 측정 대상단말(10)의 위치를 추정할 수 있다. 이 경우, 송수신기들 간 정확한 동기의 필요없이 측위가 가능하지만, 단일 측위 방식으로의 적용시, ToF 대비 신호 전파시간 증가에 따른 오차 누적의 가능성이 있다.
또한, 도 7에 도시한 바와 같이, 송수신 기간 동안의 전파의 송수신 각도(angle of arrival, AoA)를 통해 측위 대상단말(10)의 위치를 추정할 수 있다. 이 경우, 2차원 평면상 측위를 위해서는 측위 기준노드(30, 32)가 최소 2개 이상 필요하며, 송수신 기간에 거리 증가에 따라 작은 각도 추정 오차가 큰 측위 오차를 유발할 가능성이 있다.
또한, 도 8에 도시한 바와 같이, 거리(ToF)와 각도(AoA)를 조합할 경우, 최소 하나의 측위 기준노드(30) 만으로도 측위 대상단말(10)의 측위가 가능하다. 다만, 이것만을 이용한 측위의 경우, 송수신 기간에 정확한 동기 확보 및 각도 측정이 필요하다.
또한, 도 9에 도시한 바와 같이, 다른 송신기에서 수신되는 신호전파시간 차이(Time Difference of Arrival, TDoA)를 활용하여 측위 대상단말(10)의 측위를 수행할 수 있다. 즉, 각 측위 기준노드(30, 32, 34)에서 파악된 반사 위치들 각각에서 측위 대상단말까지로 추정되는 각 거리를 반경으로 하는 원들이나 쌍곡선(40)의 교점을 통해 측위 대상단말(10)의 위치를 추정할 수 있다. 이 경우, ToF 및 AoA의 조합에서처럼 송수신 기간에 기준시간 일치가 아닌 측위 기준노드 간 기준시간 일치가 필요하다.
전술한 무선 전파 신호를 이용한 측위는 측위 대상에 대한 위치 정보뿐 아니라, 무선 신호에 실리는 정보를 활용하여 측위 대상에 대한 식별자(ID)를 확보할 수 있다.
한편, 영상을 이용한 측위는, 3차원(3D) 맵에서 거리 측정의 기준이 되는 특징점을 확보하여 사용자 위치를 구하거나, 3D 맵 부재 시에는, 2대 이상의 카메라를 이용한 깊이 정보 추출을 기반으로 하여 사용자의 위치 정보를 파악할 수 있다. 또한, 측정 대상의 특징을 파악하고 있다면, 영상 정보에서 측정 대상에 대한 식별도 가능하다.
도 10은 본 발명의 또 다른 실시예에 따른 하이브리드 측위 장치의 구성을 나타낸 개략적인 블록도이다. 도 11은 도 10의 하이브리드 측위 장치의 주요 작동 원리를 설명하기 위한 흐름도이다.
도 10을 참조하면, 하이브리드 측위 장치(200)는, 통신 노드의 일종으로서, 적어도 하나의 프로세서(210), 메모리(220) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(230)를 포함할 수 있다. 또한, 하이브리드 측위 장치(200)는 입력 인터페이스 장치(240), 출력 인터페이스 장치(250), 저장 장치(260) 등을 더 포함할 수 있다. 하이브리드 측위 장치(200)에 포함된 각각의 구성 요소들은 버스(bus)(270)에 의해 연결되어 서로 통신을 수행할 수 있다.
다만, 하이브리드 측위 장치(200)에 포함된 각각의 구성요소들은 공통 버스(270)가 아니라, 프로세서(210)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다. 예를 들어, 프로세서(210)는 메모리(220), 송수신 장치(230), 입력 인터페이스 장치(240), 출력 인터페이스 장치(250) 및 저장 장치(260) 중에서 적어도 하나와 전용 인터페이스를 통하여 연결될 수도 있다.
프로세서(210)는 메모리(220) 및 저장 장치(260) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(210)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
메모리(220) 및 저장 장치(260) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(220)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
하이브리드 측위 장치(200)의 주요 작동 원리를 설명하면, 하이브리드 측위 장치는 도 11에 도시한 바와 같이 무선신호의 전파시간 측정을 통해 측위 기준노드와 측위 대상단말 간의 거리 및/또는 각도를 추정하고(S110), 추정한 거리를 활용하여 가시경로 상의 측위 대상단말의 위치를 파악하고(S112), 카메라의 영상을 활용하여 가시경로 상의 위치에 측위 대상단말이 존재하는지 여부와 가시경로 상의 반사물이나 장애물을 파악하고(S114), 추정되고 파악된 거리 정보, 반사물에서의 반사 각도 등을 토대로 측위 대상단말의 위치를 파악할 수 있다.
이를 위해, 하이브리드 측위 장치는, 도 10에 도시한 바와 같이, 프로그램 명령에 의해 프로세서(210)가 실행될 때, 프로세서(210)는 제1 추정부(212), 제2 추정부(214), 제3 추정부(216), 제4 추정부 등의 적어도 하나 이상의 소프트웨어 모듈을 탑재할 수 있다. 여기서 제1 추정부(212)는 무선신호의 전파시간 측정을 통해 측위 기준노드와 측위 대상단말 간의 거리 및/또는 각도를 추정하도록 기능하고, 제2 추정부(214)는 제1 추정부(212)를 통해 추정한 거리를 활용하여 가시경로 상의 측위 대상단말의 위치를 파악하도록 기능하고, 제3 추정부(216)는 카메라의 영상을 활용하여 가시경로 상의 위치에 측위 대상단말이 존재하는지 여부와 가시경로 상의 반사물이나 장애물을 파악하도록 기능하고, 제4 추정부는 추정되고 파악된 거리 정보, 반사물에서의 반사 각도 등을 토대로 측위 대상단말의 위치를 파악하도록 기능할 수 있다.
전술한 하이브리드 측위 장치(200)가 측위 기준노드에 설치되는 경우, 측위 기준노드는 다양한 통신 시스템이나 통신 노드에 연결되거나 탑재될 수 있다.
이러한 통신 시스템은 코어 네트워크(core network) 예를 들어, S-GW(serving-gateway), P-GW(PDN(packet data network)-gateway), MME(mobility management entity)를 포함할 수 있다. 통신 시스템이 5G 통신 시스템 예를 들어, NR(new radio) 시스템인 경우, 코어 네트워크는 AMF(access and mobility management function), UPF(user plane function), SMF(session management function) 등을 포함할 수 있다.
또한, 통신 시스템은 세 가지 타입(type)의 프레임 구조들을 지원할 수 있다. 타입 1의 프레임 구조는 FDD(frequency division duplex) 통신 시스템에 적용될 수 있고, 타입 2의 프레임 구조는 TDD(time division duplex) 통신 시스템에 적용될 수 있고, 타입 3의 프레임 구조는 비면허 대역 기반의 통신 시스템 예를 들어, LAA(licensed assisted access) 통신 시스템에 적용될 수 있다.
통신 노드는 3GPP(3rd generation partnership project) 표준에서 규정된 통신 프로토콜 예를 들어, LTE 통신 프로토콜, LTE-A 통신 프로토콜, NR 통신 프로토콜 등을 지원하도록 구성될 수 있다. 즉, 통신 노드는 CDMA(code division multiple access), WCDMA(wideband CDMA), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDM(orthogonal frequency division multiplexing), Filtered OFDM, CP(cyclic prefix)-OFDM, DFT-s-OFDM(discrete Fourier transform-spread-OFDM), OFDMA(orthogonal frequency division multiple access), SC(single carrier)-FDMA, NOMA(Non-orthogonal Multiple Access), GFDM(generalized frequency division multiplexing), FBMC(filter bank multi-carrier), UFMC(universal filtered multi-carrier), SDMA(Space Division Multiple Access) 등의 통신 기술을 지원할 수 있다.
복수의 통신 노드들을 포함하는 통신 시스템은 매크로 셀(macro cell)을 형성할 수 있다. 이때 각 통신 노드는 스몰 셀(small cell)이나 기지국을 형성할 수 있다. 여기서, 기지국은 NB(NodeB), eNB(evolved NodeB), gNB, ABS(advanced base station), HR-BS(high reliability-base station), BTS(base transceiver station), 무선 기지국(radio base station), 무선 트랜시버(radio transceiver), 액세스 포인트(access point), 액세스 노드(node), RAS(radio access station), MMR-BS(mobile multihop relay-base station), RS(relay station), ARS(advanced relay station), HR-RS(high reliability-relay station), HNB(home NodeB), HeNB(home eNodeB), RSU(road side unit), RRH(radio remote head), TP(transmission point), TRP(transmission and reception point) 등으로 지칭될 수 있다.
또한, 복수의 기지국들은 서로 다른 주파수 대역에서 동작할 수 있고, 또는 동일한 주파수 대역에서 동작할 수 있다. 복수의 기지국들은 아이디얼 백홀 링크(ideal backhaul link) 또는 논(non)-아이디얼 백홀 링크를 통해 서로 연결될 수 있고, 아이디얼 백홀 링크 또는 논-아이디얼 백홀 링크를 통해 서로 정보를 교환할 수 있다. 복수의 기지국들은 아이디얼 백홀 링크 또는 논-아이디얼 백홀 링크를 통해 코어 네트워크와 연결될 수 있다. 복수의 기지국들은 코어 네트워크로부터 수신한 신호를 해당 단말에 전송할 수 있고, 해당 단말로부터 수신한 신호를 코어 네트워크에 전송할 수 있다.
또한, 복수의 기지국들은 MIMO 전송 예를 들어, SU(single user)-MIMO, MU(multi user)-MIMO, 대규모(massive) MIMO 등을 지원하거나, CoMP(coordinated multipoint), 캐리어 집성(carrier aggregation, CA), 비면허 대역(unlicensed band), 단말 간 직접 통신(device to device communication, D2D)(또는, ProSe(proximity services)), IoT(Internet of Things) 통신, 이중 연결성(dual connectivity, DC) 등의 전송 방식이나 통신 방식을 지원할 수 있다.
전술한 측위 대상단말은 UE(user equipment), TE(terminal equipment), AMS(advanced mobile station), HR-MS(high reliability-mobile station), 터미널(terminal), 액세스 터미널(access terminal), 모바일 터미널(mobile terminal), 스테이션(station), 가입자 스테이션(subscriber station), 모바일 스테이션(mobile station), 휴대 가입자 스테이션(portable subscriber station), 노드(node), 다바이스(device), OBU(on board unit) 등으로 지칭될 수 있다.
전술한 본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 측정 기준노드에서 측위 대상단말과의 거리와 각도를 추정하는 단계;
    상기 거리와 각도로 추정되는 위치의 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계;
    상기 영상 정보의 반사물을 통해 반사되는 무선 전파 신호의 입사 각도나 반사 각도를 추정하는 단계; 및
    상기 반사 각도와 상기 거리를 토대로 상기 측위 대상단말의 위치를 추정하는 단계를 포함하는 영상과 무선 전파를 이용하는 측위 방법.
  2. 청구항 1에 있어서,
    상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 포함하는, 영상과 무선 전파를 이용하는 측위 방법.
  3. 청구항 2에 있어서,
    상기 판단하는 단계의 판단 결과, 상기 측정 대상단말이 비가시 경로 상에 존재하면, 상기 영상 정보를 통해 가시경로 상의 상기 측정 기준노드와 상기 반사물 간 거리를 추정하는 단계를 더 포함하는, 영상과 무선 전파를 이용하는 측위 방법.
  4. 청구항 1에 있어서,
    상기 무선 전파 신호는 전파 반사 효과가 상대적으로 적은 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 방법.
  5. 청구항 1에 있어서,
    상기 무선 전파 신호는 상대적으로 대역폭이 큰 광대역폭을 가진 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 방법.
  6. 청구항 1에 있어서,
    상기 무선 전파 신호는 초다수 안테나를 활용한 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 방법.
  7. 다수의 측정 기준노드들 각각에서 측위 대상단말과의 거리 또는 각도를 추정하는 단계;
    상기 거리 또는 각도로 추정되는 위치 범위에 존재가능한 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계;
    상기 다수의 측정 기준노드들 각각에서 상기 영상 정보로 파악된 반사물에서 반사되는 무선 전파의 반사 위치들을 파악하는 단계; 및
    상기 반사 위치들 각각에서 상기 측위 대상단말까지에 해당하는 거리를 반경으로 하는 원들의 교점을 통해 상기 측위 대상단말의 위치를 추정하는 단계;
    를 포함하는 영상과 무선 전파를 이용하는 측위 방법.
  8. 청구항 7에 있어서,
    상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 포함하는, 영상과 무선 전파를 이용하는 측위 방법.
  9. 청구항 7에 있어서,
    상기 무선 전파 신호는 전파 반사 효과가 상대적으로 적은 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 방법.
  10. 청구항 7에 있어서,
    상기 무선 전파 신호는 상대적으로 대역폭이 큰 광대역폭을 가진 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 방법.
  11. 청구항 7에 있어서,
    상기 무선 전파 신호는 초다수 안테나를 활용한 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 방법.
  12. 영상과 무선 전파를 이용하는 측위 장치로서,
    프로세서(processor); 및
    상기 프로세서에 의해 실행되는 하나 이상의 명령들을 저장하는 메모리(memory)를 포함하며,
    상기 하나 이상의 명령들에 의해 상기 프로세서는:
    다수의 측정 기준노드들 각각에서 측위 대상단말과의 거리 또는 각도를 추정하는 단계;
    상기 거리 또는 각도로 추정되는 위치 범위에 존재가능한 상기 측위 대상단말에 대한 영상 정보를 통해 상기 측위 대상단말 주변이나 상기 측위 대상단말과 상기 측정 기준노드 사이의 경로 상의 장애물이나 반사물 정보를 파악하는 단계;
    상기 다수의 측정 기준노드들 각각에서 상기 영상 정보로 파악된 반사물에서 반사되는 무선 전파의 반사 위치들을 파악하는 단계; 및
    상기 반사 위치들 각각에서 상기 측위 대상단말까지에 해당하는 거리를 반경으로 하는 원들의 교점을 통해 상기 측위 대상단말의 위치를 추정하는 단계를 수행하는, 영상과 무선 전파를 이용하는 측위 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는, 상기 측위 대상단말이 비가시(non-line of sight, NLoS) 경로 상에 존재하는지 판단하는 단계를 더 수행하는, 영상과 무선 전파를 이용하는 측위 장치.
  14. 청구항 12에 있어서,
    상기 무선 전파 신호는 전파 반사 효과가 상대적으로 적은 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 장치.
  15. 청구항 12에 있어서,
    상기 무선 전파 신호는 상대적으로 대역폭이 큰 광대역폭을 가진 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 장치.
  16. 청구항 12에 있어서,
    상기 무선 전파 신호는 초다수 안테나를 활용한 밀리미터파(mmWave) 혹은 테라헤르츠(㎔) 대역의 신호인, 영상과 무선 전파를 이용하는 측위 장치.
KR1020210188901A 2021-09-27 2021-12-27 영상과 무선 전파를 이용하는 측위 방법 및 장치 KR102610912B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/563,272 US20230101594A1 (en) 2021-09-27 2021-12-28 Method and apparatus for positioning using image and radio signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210127466 2021-09-27
KR20210127466 2021-09-27

Publications (2)

Publication Number Publication Date
KR20230044912A true KR20230044912A (ko) 2023-04-04
KR102610912B1 KR102610912B1 (ko) 2023-12-06

Family

ID=85928894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188901A KR102610912B1 (ko) 2021-09-27 2021-12-27 영상과 무선 전파를 이용하는 측위 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102610912B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015045531A (ja) * 2013-08-27 2015-03-12 国立大学法人 名古屋工業大学 位置推定システム
KR20170015754A (ko) * 2015-07-31 2017-02-09 현대엠엔소프트 주식회사 스카이라인을 이용한 차량의 측위 방법
WO2019164370A1 (en) * 2018-02-23 2019-08-29 Lg Electronics Inc. Method for determining a position of nlos tx ue
KR20210054016A (ko) * 2018-09-28 2021-05-12 삼성전자주식회사 통신 시스템에서 각도기반 포지셔닝 및 측정과 관련된 개선안

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015045531A (ja) * 2013-08-27 2015-03-12 国立大学法人 名古屋工業大学 位置推定システム
KR20170015754A (ko) * 2015-07-31 2017-02-09 현대엠엔소프트 주식회사 스카이라인을 이용한 차량의 측위 방법
WO2019164370A1 (en) * 2018-02-23 2019-08-29 Lg Electronics Inc. Method for determining a position of nlos tx ue
KR20210054016A (ko) * 2018-09-28 2021-05-12 삼성전자주식회사 통신 시스템에서 각도기반 포지셔닝 및 측정과 관련된 개선안

Also Published As

Publication number Publication date
KR102610912B1 (ko) 2023-12-06

Similar Documents

Publication Publication Date Title
US11009582B2 (en) Method, apparatus, and system for positioning terminal device
US11385315B2 (en) Method for determining a position of NLoS Tx UE
CN113381787B (zh) 用于波束成形通信系统中设备的网络定位的系统和方法
US10904710B2 (en) User equipment positioning using PRSs from a plurality of TRPs in a 5G-NR network
US20220271818A1 (en) Non-Line-of-Sight Path Detection for User Equipment Positioning in Wireless Networks
KR102347722B1 (ko) 무선 통신 시스템에서 위치 측정을 위한 장치 및 방법
CN112166632B (zh) 计算和报告定位信标波束的相关性度量
CN110794398B (zh) 无线通信系统中通过镜面反射的车辆微波成像方法和设备
EP3348099B1 (en) Fingerprint positioning for mobile terminals
US20230300630A1 (en) Method for angle based positioning measurement and apparatus therefor
US20240064692A1 (en) Data gathering and data selection to train a machine learning algorithm
US20240015693A1 (en) User equipment (ue) positioning
Li et al. Performance evaluation of E-CID based positioning on OAI 5G-NR testbed
KR102610912B1 (ko) 영상과 무선 전파를 이용하는 측위 방법 및 장치
US20230101594A1 (en) Method and apparatus for positioning using image and radio signals
US20230258760A1 (en) Method of transmitting and receiving information for measurement of prs in wireless communication system and apparatus therefor
US20240125887A1 (en) Virtual anchor detection based on channel tap removal
WO2023185407A1 (zh) 一种通信方法及装置
WO2024075098A1 (en) Repeater signal pattern as assisting information
JP2024514401A (ja) 二重差分タイミングプロシージャおよび必要とされる測位のための基準信号測定セットの指示
KR20240064640A (ko) 업링크 전력-제한 사용자 장비를 위한 포지셔닝 방법
KR20240008314A (ko) 포지셔닝을 위한 특징 프로세싱 뉴럴 네트워크의 서버-대-기지국 구성
WO2023242798A1 (en) Wireless angle-based positioning
KR20230130626A (ko) 다운링크 출발 각도 포지셔닝을 위한 기저 함수 기반빔 형상 보조
CN118102207A (zh) 一种通信方法、装置、存储介质及计算机程序产品

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant