KR20230151661A - 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR20230151661A
KR20230151661A KR1020220051257A KR20220051257A KR20230151661A KR 20230151661 A KR20230151661 A KR 20230151661A KR 1020220051257 A KR1020220051257 A KR 1020220051257A KR 20220051257 A KR20220051257 A KR 20220051257A KR 20230151661 A KR20230151661 A KR 20230151661A
Authority
KR
South Korea
Prior art keywords
information
target terminal
wireless communication
location information
base station
Prior art date
Application number
KR1020220051257A
Other languages
English (en)
Other versions
KR102600224B1 (ko
Inventor
심병효
안용준
김진홍
김준한
김승년
심규홍
김지영
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020220051257A priority Critical patent/KR102600224B1/ko
Priority to PCT/KR2023/005452 priority patent/WO2023211066A1/ko
Publication of KR20230151661A publication Critical patent/KR20230151661A/ko
Application granted granted Critical
Publication of KR102600224B1 publication Critical patent/KR102600224B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q15/00Devices for reflection, refraction, diffraction or polarisation of waves radiated from an antenna, e.g. quasi-optical devices
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q15/00Devices for reflection, refraction, diffraction or polarisation of waves radiated from an antenna, e.g. quasi-optical devices
    • H01Q15/0006Devices acting selectively as reflecting surface, as diffracting or as refracting device, e.g. frequency filtering or angular spatial filtering devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/309Measuring or estimating channel quality parameters
    • H04B17/318Received signal strength
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0408Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas using two or more beams, i.e. beam diversity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621Feedback content
    • H04B7/0626Channel coefficients, e.g. channel state information [CSI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0695Hybrid systems, i.e. switching and simultaneous transmission using beam selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/14Relay systems
    • H04B7/15Active relay systems
    • H04B7/155Ground-based stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/14Relay systems
    • H04B7/15Active relay systems
    • H04B7/155Ground-based stations
    • H04B7/15507Relay station based processing for cell extension or control of coverage area

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법은, 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하는 단계; 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정하는 단계; 특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보를 획득하는 단계; 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계; 및 파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 단계;를 포함한다. 이에 따라, 무선통신 환경에서 빔 포밍의 정확도를 크게 높일 수 있으며, 전력소모와 무선자원 오버헤드 그리고 빔포밍에 필요한 지연시간을 감소시킬 수 있다.

Description

밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR MMWAVE AND TERAHERTZ BEAM CONTROL USING MULTI SENSORS IN WIRELESS COMMUNICATION SYSTEM, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 RGB-D 카메라, LiDAR, 레이더, 초음파 센서 등의 다중 센서의 측정값으로부터 채널 정보를 추출하고, 이를 활용하여 밀리미터파 및 테라헤르츠파 빔을 제어하는 기술에 관한 것이다.
가상/증강현실(virtual/augmented reality; VR, AR), 자율주행차(autonumous vehicle), 메타 버스(metaverse), 사물 인터넷(Internet of Everything; IoE) 기술들에 대한 폭발적인 수요와 기대로 인해, 무선통신기술은 근래 연결성, 데이터 전송률, 신뢰도, 지연 시간 등 다양한 관점에서 현재의 수준을 크게 뛰어 넘는 성능향상이 요구되고 있다.
이러한 요구조건을 만족하기 위해서 최근 상용화가 이루어진 5세대 이동통신에서는 밀리미터파(millimeter wave; mmWave) 대역의 충분한 주파수 자원을 사용한다. 최근 연구가 막 시작되고 있는 6세대 이동통신 시스템에서는 밀리미터파 대역뿐 아니라 더욱 상위 대역인 테라헤르츠파(terahertz wave; THz wave) 대역의 주파수 자원까지 활용하여 속도와 신뢰도 측면에서 한층 더 발전한 무선통신 망을 구축하는 것을 목표로 하고 있다.
밀리미터파 및 테라헤르츠파 대역 무선통신시스템의 주요 도전들은 전파의 물리적 특성(한계점)으로 인해 발생하는 여러 문제를 해결해야 한다는 것에 있다.
전통적인 4세대 이동통신인 롱텀에볼루션(Long Term Evolution; LTE)에서 사용했던 마이크로웨이브 대역과는 달리, 밀리미터파 및 테라헤르츠파 대역에서는 전파의 파장이 짧고 직진성이 매우 강해 경로손실이나 회절, 투과 등으로 인한 전파손실이 크다. 이러한 손실을 보상하기 위해, 5G NR 시스템에서는 안테나에서 송신신호를 원하는 수신기의 방향으로 집중시키는 빔 포밍(beamforming) 기술을 활용해왔다.
빔 포밍 기법을 수행하기 위해서는 송신기와 수신기 사이의 거리 및 각도 정보 등이 필요하다. 앞서 언급한대로 밀리미터파 및 테라헤르츠파는 회절 및 투과에 의한 전력손실이 크기 때문에 송신단에서 출발한 전파의 전력은 직진파(line of sight wave; LOS wave)에 집중되며 비 직진파(non-line of sight wave; NLOS) 성분은 매우 미약한 편이다.
빔 포밍은 모든 송신 전력을 직진파의 방향에 집중하는 방식으로 이루어지기 때문에, 송신기와 수신기 사이의 물리적 경로에 임의로 장애물이 끼어들게 되면 전파가 차단(blockage)된다는 문제점을 가진다. 따라서, 통신 장애를 방지하기 위해서는 전파 손실의 원인을 파악해야 하며, 직진파 경로가 존재하는 인접 기지국이나 중계기 등으로 무선 연결을 전환할 필요가 있다.
이러한 종래의 방식은, 여러 기지국(base station; BS)과 단말 사이의 거리와 각도를 추정하고 주변 환경 정보(장애물의 위치 등)를 알아내기 위한 지속적인 신호 교환이 요구되므로, 미래 통신 시스템에서 이를 구현하는 것은 현실적으로 매우 어렵다는 한계가 있다.
KR 10-2022-0036646 A KR 10-2371930 B1
이에, 본 발명의 기술적 과제는 이러한 한계를 극복하고자 하는데서 착안된 것으로 본 발명의 목적은 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법은, 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하는 단계; 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정하는 단계; 특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보를 획득하는 단계; 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계; 및 파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 단계;를 포함한다.
본 발명의 실시예에서, 파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 단계는, 목표 단말기로 직접 데이터를 전송이 불가능한 경우, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 중 적어도 하나에 데이터를 전송하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에서, 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계는, 오차율 또는 오차범위로 표시되는 신뢰도 정보를 추출하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에서, 통신할 목표 단말기의 위치 정보는, 채널 상태 정보(channel state information; CSI) 또는 빔 인덱스(beam index) 피드백으로부터 받은 목표 단말기의 위치 정보일 수 있다.
본 발명의 실시예에서, 통신할 목표 단말기의 위치 정보는, 거리, 방위각(azimuth angle) 및 상하각(elevation angle) 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에서, 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계는, 획득한 영상 정보를 신호처리 또는 머신러닝 기술로 가공하는 전처리 단계;를 더 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치는, 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하는 빔 스위핑부; 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정하는 분할 영역 특정부; 특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보를 획득하는 정보 획득부; 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 객체 검출 및 위치 추출부; 및 파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 데이터 전송부;를 포함한다.
본 발명의 실시예에서, 데이터 전송부는, 파악된 목표 단말기로 직접 데이터를 전송이 불가능한 경우, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 중 적어도 하나에 데이터를 전송할 수 있다.
본 발명의 실시예에서, 객체 검출 및 위치 추출부는, 획득한 영상 정보를 신호처리 또는 머신러닝 기술로 가공하는 전처리하고, 오차율 또는 오차범위로 표시되는 신뢰도 정보를 추출할 수 있다.
이와 같은 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법에 따르면, 센서의 측정값으로부터 채널의 정보를 추출하고, 이를 활용하여 밀리미터파 및 테라헤르츠파 빔을 세부적으로 제어한다. 이에 따라, 본 발명은 별도의 전파 송수신 없이 기지국에서 촬영된 이미지 또는 수신된 센싱 정보로부터 무선 환경정보를 높은 정확도로 추출해낼 수 있기 때문에, 빔 포밍의 정확도를 크게 높일 수 있다. 동시에 종래의 통신 시스템에서 문제가 되었던 제어신호 오버헤드를 크게 줄일 수 있으며 송신전력 및 송수신 지연시간 역시 크게 단축할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치의 블록도이다.
도 2는 기지국에서 빔 포밍을 수행하는 과정을 설명하기 위한 도면이다.
도 3은 도 1의 분할 영역 특정부가 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정하는 과정을 설명하기 위한 도면이다.
도 4는 도 1의 객체 검출 및 위치 추출부가 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고 파악된 목표 단말기의 위치 정보를 추출하는 과정을 설명하기 위한 도면이다.
도 5은 도 4의 빔 포밍 결과로 수신한 피드백을 통해 최적의 송수신 빔 쌍을 획득하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치의 블록도이다.
본 발명에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치(10, 이하 장치)는 종래의 파일럿 전송 후 채널 또는 빔 인덱스를 피드백 하는 방법에서 벗어나서 센싱 및 인공지능 기술을 활용하여 획득한 센서 정보로부터 바로 수신기의 위치, 각도, 거리 등의 무선환경정보를 파악 후 빔 제어를 수행할 수 있다.
특히, 최근 센싱기술의 발전으로 이미지 분류/분할 기법의 정확도가 크게 상승하였기 때문에 기존 파일럿/빔 인덱스 피드백 기반 빔 포밍 대비 더욱 높은 해상도의 빔 포밍을 수행할 수 있다. 또한, 본 발명을 활용하여 종래의 빔 제어 기술 대비 월등히 빠른 시간 안에 빔 포밍을 수행할 수 있다.
도 1을 참조하면, 본 발명에 따른 장치(100)는 빔 스위핑부(110), 분할 영역 특정부(130), 정보 획득부(150), 객체 검출 및 위치 추출부(170) 및 데이터 전송부(190)를 포함한다.
본 발명의 상기 장치(100)는 기지국의 일부를 구성하거나, 기지국에 포함될 수 있다.
본 발명의 상기 장치(100)는 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어를 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 빔 스위핑부(110), 상기 분할 영역 특정부(130), 상기 정보 획득부(150), 상기 객체 검출 및 위치 추출부(170) 및 상기 데이터 전송부(190)의 구성은 상기 장치(100)에서 실행되는 상기 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어를 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(100)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 빔 스위핑부(110), 상기 분할 영역 특정부(130), 상기 정보 획득부(150), 상기 객체 검출 및 위치 추출부(170) 및 상기 데이터 전송부(190)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(100)는 이동성을 갖거나 고정될 수 있다. 상기 장치(100)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
본 발명에서는 라이다, 레이저, 영상 및 초음파 등 다양한 센서의 측정값으로부터 무선 환경정보를 추출하는 신호처리 및 인공지능을 활용하는 기술과, 추출한 정보를 통신 시스템에 활용하는 기술을 제안한다.
최근 딥러닝(deep learning; DL) 및 인공지능(artificial intelligence; AI)의 비약적 발전으로 인공지능 기술은 영상, 비디오 및 음성처리 기술에 기반한 이미지 분류/분할(image classification/segmentation), 자연어 처리(natural language processing; NLP) 등 다양한 분야에서 활용되고 있다.
본 발명에서는 영상, 라이더, 레이저 등의 센싱 정보로부터 정보를 수신 받는 무선 디바이스 또는 단말을 찾아내는 물체 탐지(object detection) 및 거리, 각도 등 위치 정보들을 찾아내는 위치 추정(object localization)을 머신러닝과 신호처리기법 혹은 이의 결합을 통해 수행한다.
구체적으로, 본 발명에서는 이미징 센서(RGB-D 카메라, LiDAR 등), 라이다, 레이저 또는 초음파 센서로부터 획득한 센싱 정보로부터 송신기와 수신기 사이의 거리, 각도 및 주변 지형에 대한 정보를 추출하고, 이를 활용하여 밀리미터파 및 테라헤르츠파 빔을 제어한다.
특히, 다중 센서가 장착된 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 등에서 추출된 송신기, 수신기 및 장애물(건물 외벽, 이동하는 물체 등)의 3차원 위치 정보를 활용해서 빔 포밍, 전파차단 예측, 핸드오버 등을 수행할 수 있다.
상기 빔 스위핑부(110)는 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하고, 상기 분할 영역 특정부(130)는 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정한다.
도 2를 참조하면, 기지국(10)은 단말기(50)과 초기접속을 통해 단말기(50)의 대략적인 위치 및 각도 정보를 획득한다.
기지국(10)은 접속한 단말기들의 주변부로 센싱 영역을 특정한 후, 해당 영역에서 영상 등의 센싱 정보를 얻는다.
기지국은 센서정보를 신호처리 또는 머신러닝 기술로 가공하여 단말의 정확한 위치 정보 를 획득한다. 이때 위치 정보는 예를 들어, 거리, 방위각, 상하각으로 표현되는 구면좌표계 형식 또는 직각좌표계 형식으로 나타낼 수 있다.
획득한 위치 정보를 아래의 수학식 1 내지 수학식 3에 대입하여 기지국은 높은 해상도를 가지는(정확히 단말기의 방향을 향하는) 빔 포밍 코드워드를 계산한다(도 5 참조). 기지국(10)은 고해상도 빔 포밍 코드워드를 이용하여 단말기(50)에 데이터를 전송한다.
[수학식 1]
[수학식 2]
[수학식 3]
이하에서는, 센서에서 획득한 주변 환경정보를 기지국으로 전달하여, 이를 바탕으로 기지국(10)과 단일 단말기 사이의 빔 포밍을 제어하는 실시예를 설명한다.
기지국(10)이 크기의 균등 평면 배열 형태의 안테나를 가지고 있는 상황에 대한 실시예를 예시를 통해 설명하며, 본 발명은 다양한 형태의 안테나 배열에 대해 적용이 가능하다.
먼저, 기지국(10)은 센서 정보를 신호처리 또는 머신러닝 기술로 가공하여 단말의 위치 정보 를 획득한다. 이때 위치 정보는 (거리, 방위각, 상하각)으로 표현되는 구면좌표계 형식 또는 직각좌표계 형식으로 나타난다.
기지국(10)은 단말이 위치한 영역에 한해, 높은 해상도를 가지는(세분화된 각도 영역을 향하는) 개 빔 포밍 코드워드를 수학식 1 내지 수학식 3을 이용해 계산하고 이를 모아 빔 포밍 코드북 를 구성한다.
기지국(10)은 개의 심볼 동안 차례로 빔 포밍 코드워드에 따라 빔 스위핑을 수행하며, 단말기(50)는 빔 포밍 코드북에 대해 수신 신호의 세기가 가장 강한 빔의 인덱스 를 기지국에 피드백한다(도 5에서 제4 인덱스).
기지국(10)은 피드백 받은 고해상도 빔 포밍 코드워드 를 이용하여 단말에 데이터를 전송한다.
이하에서는, 센서에서 획득한 주변 환경정보를 기지국(10)으로 전달하여, 이를 바탕으로 기지국 기지국(10)과 2개 이상의 단말기 사이의 빔 포밍을 제어하는 실시예를 설명한다.
기지국(10)이 크기의 균등 평면 배열 형태의 안테나를 가지고 있는 상황에 대한 실시예를 예시를 통해 설명하며, 본 발명은 다양한 형태의 안테나 배열에 대해 적용이 가능하다.
단말의 개수는 개라고 가정하며 각각 단말 1, 단말 2, 단말 으로 표시한다. 이때 단말 표시 순서는 임의로 바뀔 수 있다.
먼저, 기지국(10)은 센서정보를 신호처리 또는 머신러닝 기술로 가공하여 개의 위치 정보 를 획득한다. 이때 위치 정보는 (거리, 방위각, 상하각)으로 표현되는 구면좌표계 형식 또는 직각좌표계 형식으로 나타난다.
기지국(10)은 개의 단말들의 방향으로 동기 신호를 송신하고 초기접속을 통해 각 단말의 ID를 획득한다.
송신 단말기들의 ID를 토대로, 기지국(10)은 각 단말기의 방향으로 높은 해상도를 가지는(세분화된 각도 영역을 향하는) 개 빔 포밍 코드워드를 아래의 수학식 4를 이용하여 계산하고, 이를 모아 아래의 수학식 5와 같이 빔 포밍 코드북 를 구성한다.
[수학식 4]
[수학식 5]
기지국(10)은 개의 심볼 동안 차례로 빔 포밍 코드워드에 따라 각 단말기에 대해 빔 스위핑을 수행한다. 각 단말기는 수신 신호의 세기가 가장 강한 빔의 인덱스 를 기지국(10)에 피드백한다.
기지국(10)은 피드백 받은 고해상도 빔 포밍 코드워드 를 이용하여 각 단말에 데이터를 전송할 수 있다.
도 3을 참조하면, 상기 분할 영역 특정부(130)는 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정한다. 예를 들어, 상기 분할 영역 특정부(130)는 센서의 정보를 처리함에 있어, 신호처리 또는 머신러닝 기술을 적용할 수 있다.
센서 정보 처리를 위한 신호처리 과정은 전처리, 주처리 및 정보 추출과 같은 과정을 거쳐 적용될 수 있으며, 각 과정은 더 세분화된 단계로 구분되거나 생략될 수 있다.
RGB 카메라 기반의 센서에 인공지능 기술을 적용하는 경우, 노이즈를 제거하거나 관심 없는 영역을 제거하는 등의 전처리 과정을 거칠 수 있다. 이 외에도 추가적인 기술이 사용될 수 있다.
주처리 과정은 신호를 수신하는 단말 등의 물체 추출, 깊이 계산, 물체 추적 등을 수행할 수 있으며, 신호처리 과정의 최종 출력물로는 위치 정보, 물체의 ID, 신뢰도 정보(예: 오차율, 오차범위) 등이 있으며, 이외에도 통신에 도움이 될 수 있는 추가적인 정보를 전달할 수 있다.
일 실시예에서, 센서는 주기적으로(예: 0.1초) 영상, 비디오 등을 촬영하여 기지국으로 보낼 수 있다. 이와 다르게 이벤트가 생성된 경우 영상 등을 촬영하여 기지국으로 보낼 수도 있다.
상기 정보 획득부(150)는 특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보 등의 센싱 정보를 획득한다.
구체적으로, 상기 정보 획득부(150)는 기지국 또는 무선단말에 설치되어 전파 신호를 송신하고자 하는 영역의 물리적인 각도, 거리, 3D-형태 등의 정보를 얻기 위해 센서 정보를 사용한다.
예를 들어, 센서로는 RGB-D 카메라, 열화상 카메라, 레이더, LiDAR 등이 있으며 이에 국한되지 않는다. 본 발명에서는 센서의 가장 대표적인 예시로 “카메라” 예시를 혼용할 것이지만 이는 전통적인 의미의 카메라(RGB 카메라 등)로 국한되지 않으며 앞서 서술한 센서 전체에 동일하게 적용될 수 있다.
센서의 개수와 종류는 다양하게 지정할 수 있으며, 복수 개의 센서를 사용할 경우에도 센서의 종류가 동일할 필요는 없다.
카메라는 지정된 시각(예: 매초 간격) 혹은 관심 있는 상황(예: 사용자의 이동)이 발생시 영역의 정보를 획득하여 내장된 혹은 별도의 연산장치로 전송할 수 있다.
본 발명은 기지국에서의 활용에만 한정되지 않으며, 센서가 장착된 단말, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point), 송수신 장비가 갖춰진 무인기 등에서 활용할 수 있다.
예를 들어, 노트북에 RGB-D 카메라를 여러 대 장착한 후 노트북에서 직접 빔 포밍을 수행하거나 수신기와의 거리 및 각도 정보를 기지국으로 피드백할 수 있다.
상기 객체 검출 및 위치 추출부(170)는 획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출한다.
도 4를 참조하면, 상기 객체 검출 및 위치 추출부(170)는 상기 정보 획득부(150)로부터 획득한 정보를 신호처리 또는 머신러닝 기법을 사용하여 통신에 도움을 주는 물체의 위치 정보를 추출한다.
신호처리 및 머신러닝 기술로는 예를 들어 소프트웨어 기반의 알고리즘, 딥러닝, 인공지능 등이 사용될 수 있으며 이에 국한되지 않는다.
찾고자 하는 통신과 관련이 있는 물체 또는 영역으로는 (1) 무선통신장치를 포함한 장비, 스마트폰, 전자기기, 차량, 드론과 같은 비행체 등이 있을 수 있다. 또한, (2) 무선통신을 방해할 수 있는 장애물, 벽, 건물, 나무 등이 있을 수 있으며, (3) 무선통신 신호를 방출 및 수집하는 장비, 다른 기지국, 와이파이 엑세스 포인트 등이 있을 수 있으며 위 예시에 국한되지 않는다.
위치 정보는 기지국 또는 단말에 대한 상대적인 위치 또는 절대적인 공간상의 위치를 의미하며, 직각좌표계 정보, 구면좌표계 정보, GPS 정보 등 여러 가지 형태로 제공될 수 있다.
위치 정보의 특정 과정에 있어, 신호처리 기술이 추정한 위치의 신뢰도에 대한 정보를 위치 정보와 함께 제공할 수 있다. 예를 들어, 신뢰도 정보는 오차율 또는 오차범위로 표시될 수 있다.
예를 들어, 상기 객체 검출 및 위치 추출부(170)는 센서의 정보를 처리함에 있어, 신호처리 또는 머신러닝 기술을 적용할 수 있다. 센서 정보 처리를 위한 신호처리 과정은 전처리, 주처리 및 정보 추출과 같은 과정을 거쳐 적용될 수 있으며, 각 과정은 더 세분화된 단계로 구분되거나 생략될 수 있다.
이하에서는, 센서로 RGB 카메라를 사용하는 경우, 즉 신호처리 또는 머신러닝 기법의 입력으로 RGB 영상이 들어오는 경우를 예시로 설명한다.
첫 번째 단계로, 입력 이미지의 품질을 높여(image quality enhancement) 향후 단계에서의 처리를 보다 용이하게 선처리할 수 있다. 본 과정에서는 관심 없는 영역이나 잡음 제거(noise removal), 안개/비/눈 제거(fog/rain/snow removal), 얼룩 제거(lens obstacle removal), 고해상도 변환(super resolution), 저조도 개선(low-light enhancement) 등 여러 인공지능 기반의 기술을 사용할 수 있다.
두 번째 단계로, 카메라 자체의 왜곡을 보정(fix camera distortion)하고 복수 개의 카메라 정보를 결합해 하나의 큰 이미지로 만들어 보다 정확한 정보를 얻을 수 있다. 본 단계에서는 이미지 조합(image stitching), 이미지 변형(image warping), 배럴 왜곡 보정(fix barrel distortion), 셔터 보정(fix rolling shutter distortion)과 같은 여러 인공지능 기반의 기술을 사용할 수 있다.
세 번째 단계로, 이미지에서 핵심 위치 정보를 추출할 수 있다. 물체 탐지(object detection) 기술을 통해 사람, 스마트폰, 자동차, 드론, 지능형 반사판 등의 주요 물체의 위치를 박스 형태로(bounding box) 얻을 수 있다. 얻어지는 박스 정보에는 박스의 위치 정보, 박스 내부의 물체의 종류(class) 정보, 박스 자체의 신뢰도(confidence) 정보가 포함될 수 있다.
물체 탐지는 CNN 등의 인공신경망 구조를 사용할 수 있으며, 1개 프레임 혹은 최근의 복수 개의 프레임을 입력으로 받아 영상에 존재하는 물체에 대한 바운딩 박스(bounding box)를 파악한다.
또한, 깊이 예측(depth estimation) 기술을 통해 이미지 상의 각 픽셀이 카메라로부터 얼마나 떨어져 있는지를 계산할 수 있다. 단수 개의 RGB 카메라를 사용한다면 사전에 획득한 기준점들과의 거리를 통해 상대 거리를 절대 거리로 보정할 수 있고, 복수 개의 RGB 카메라를 사용한다면 카메라 사이의 거리와 상의 변화를 이용해 절대 거리를 계산할 수 있다. 깊이 예측은 사전에 획득한 하드웨어적인 정보와 CNN 기반의 인공신경망이 예측하는 정보를 조합하여 최종적인 결과를 출력할 수 있다.
또한, 물체 추적(object tracking) 기술을 통해 동일 물체가 이미지 상에서 어느 위치로 이동했는지를 판단할 수 있다. 물체 추적은 컴퓨터 비전의 칼만 필터링(Kalman filtering) 등의 규칙 기반(rule-based) 알고리즘이나 CNN 기반의 인공신경망을 사용할 수 있으며, 1개 프레임 혹은 최근의 복수 개의 영상 프레임과 예측한 바운딩 박스 정보를 함께 입력으로 사용해 보정된 바운딩 박스 위치와 각 바운딩 박스의 ID를 출력할 수 있다. 물체 추적은 바운딩 박스 정보를 보정하는데 사용될 뿐만 아니라 향후 물체가 어느 방향으로 움직일지에 대한 예상치를 제공할 수 있다.
추가적인 단계로, 위치 외의 유용한 부가 정보를 추출할 수 있다. 본 단계에서는 보행자 집계(pedestrian count), 군중 밀집도 예측(croud density estimation), 신뢰도 계산(uncertainty estimation) 등의 여러 인공지능 기반 기술을 사용할 수 있다.
상기 데이터 전송부(190)는 파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송한다.
본 발명에서는 추출된 단말기의 위치 정보를 통해 통신할 목표 단말기의 위치 정보를 정확히 파악한 후 파악된 목표 단말기의 방향으로 데이터를 바로 전송할 수 있다. 이를 바탕으로 기지국과 단말 사이의 빔 포밍을 효과적으로 제어할 수 있다.
이에 따라, 송신단에서는 센서에서 추정한 수신단의 위치로 빔 트레이닝 과정 없이 즉각적으로 목표 수신단으로 빔 전송이 가능하고, 목표 수신기의 이동 경로를 추적하여 목표 단말기(수신기)가 이동하는 방향으로 선제적으로 빔 전송이 가능하다.
또한, 전파를 차단하는 장애물이 존재하는 경우 또는 목표 단말기가 기지국의 직접전파 경로에서 가려지는 경우, 목표 단말기에게 직접 전파를 전송할 수 있는 다른 기지국, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 등에 목표 단말기의 위치 정보를 제공할 수 있다.
또한, 센서에서 추출된 정보를 신호처리 또는 머신러닝 기술로 가공함에 있어, 기지국 또는 단말에서 얻은 통신 정보를 추가적으로 활용하여, 더 나은 위치 정보를 특정할 수 있다.
본 발명은 송신기(예를 들어, 기지국)에서는 채널 상태 정보(channel state information; CSI) 또는 빔 인덱스(beam index) 피드백으로부터 받은 수신기(예를 들어, 목표 단말기)의 위치 정보를 활용하여 센싱 영역(예: 카메라 촬영 영역)을 좁힌 후 해당 영역에서 센싱된 정보로부터 머신러닝 또는 신호처리기술을 활용하여 수신기 방향의 고해상도(high-resolution) 빔을 형성할 수 있다.
본 발명의 다른 실시예로서, 센싱 정보를 먼저 활용하여 수신기의 방향을 좁힌 후에, 선택된 좁은 영역에서 빔 스위핑을 수행함으로써 고해상도 빔 포밍을 수행할 수도 있다.
센서 신호처리를 통해 획득한 위치 정보 및 신뢰도 정보를 사용하여 기지국 또는 단말에서는 탐지된 수신기 방향의 좁은 영역을 세밀하게 나누는 여러 빔을 전송한 후(빔 스위핑), 수신한 채널 상태 정보 또는 빔 인덱스 피드백을 이용하여 고해상도 빔을 형성할 수 있다.
본 발명은 도 3과 도 4의 두 기술을 교차적으로 사용하여 센서 정보 처리기술의 정확도와 빔 해상도 두 측면 모두에서의 성능 향상을 기대할 수 있다.
구체적으로, 기지국(10)과 단말기(50) 사이의 초기 접속 과정에서 얻은 단말의 위치 정보를 토대로, 센서에서 획득하고자 하는 영역을 특정한 후 해당 영역에서 고해상도 빔 포밍을 수행한다.
4차 산업혁명 시대의 도래로, 높은 수준의 데이터 전송률과 매우 낮은 수준의 전송시간을 동시에 요구하는 가상/증강현실 및 초고화질 스트리밍 등 미래지향적인 기술들에 대한 수요가 지속적으로 증가할 전망이다.
국제전기통신연합 ITU (international telecommunication union)에서는 향후 6G 시대 (2030년대) 데이터 수요량이 현재 2022년 기준의 데이터 수요에 비해 최소 20배 이상 증가할 것으로 예측하고 있으며, 따라서 통신기술 시장에 대한 수요는 지속적으로 증가할 전망이다.
본 발명에서는 이러한 폭발적인 수요 증가에 대처하기 위한 해결책으로서, 컴퓨터 비전, 인공지능/신호처리 기반 기술과 통신 시스템을 융합하는 새로운 방향의 미래지향적인 통신 패러다임을 제안한다.
본 발명은 향후 도래할 6G 시대의 필수요소인 밀리미터파 및 테라헤르츠파 빔 제어 기술을 주된 목표로 하며, 이는 전송속도를 크게 향상시키기 위한 송수신 핵심 기술이기 때문에 활용가치가 대단히 높다.
특히, 본 발명의 주요 관심사인 빔 제어와 인공지는/신호처리 기반 이미지 분류/분할은 무선통신 및 인공지능 분야에서 꾸준히 많은 연구와 사업화가 이루어지고 있기 때문에, 본 발명의 사업적 완성도 또한 매우 높다.
도 6은 본 발명의 일 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법의 흐름도이다.
본 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법은, 도 1의 장치(100)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(100)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또한, 본 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법은 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어를 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
본 발명은 종래의 파일럿 신호나 동기신호(SG의 SSB) 전송 후 채널 또는 빔 인덱스를 피드백 하는 방법에서 벗어나서 센싱 및 인공지능 기술을 활용하여 획득한 센서 정보로부터 바로 수신기의 위치, 각도, 거리 등의 무선환경정보를 파악 후 빔 제어를 수행할 수 있다.
특히, 최근 센싱기술의 발전으로 이미지 분류/분할 기법의 정확도가 크게 상승하였기 때문에 기존 파일럿/빔 인덱스 피드백 기반 빔 포밍 대비 더욱 높은 해상도의 빔 포밍을 수행할 수 있다. 또한, 본 발명을 활용하여 종래의 빔 제어 기술 대비 월등히 빠른 시간안에 빔 포밍을 수행할 수 있다.
도 6을 참조하면, 본 실시예에 따른 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법은, 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하고(단계 S10), 빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정한다(단계 S20).
예를 들어, 센서의 정보를 처리함에 있어, 신호처리 또는 머신러닝 기술을 적용할 수 있다. 센서 정보 처리를 위한 신호처리 과정은 전처리, 주처리 및 정보 추출과 같은 과정을 거쳐 적용될 수 있으며, 각 과정은 더 세분화된 단계로 구분되거나 생략될 수 있다.
RGB 카메라 기반의 센서에 인공지능 기술을 적용하는 경우, 노이즈를 제거하거나 관심 없는 영역을 제거하는 등의 전처리 과정을 거칠 수 있다. 이 외에도 추가적인 기술이 사용될 수 있다.
주처리 과정은 신호를 수신하는 단말 등의 물체 추출, 깊이 계산, 물체 추적 등을 수행할 수 있으며, 신호처리 과정의 최종 출력물로는 위치 정보, 물체의 ID, 신뢰도 정보(예: 오차율, 오차범위) 등이 있으며, 이외에도 통신에 도움이 될 수 있는 추가적인 정보를 전달할 수 있다.
일 실시예에서, 센서는 주기적으로(예: 0.1초) 영상, 비디오 등을 촬영하여 기지국으로 보낼 수 있다. 이와 다르게 이벤트가 생성된 경우 영상 등을 촬영하여 기지국으로 보낼 수도 있다.
이후, 특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보를 획득한다(단계 S30).
예를 들어, 센서로는 RGB-D 카메라, 열화상 카메라, 레이더, LiDAR 등이 있으며 이에 국한되지 않는다. 본 발명에서는 센서의 가장 대표적인 예시로 “카메라” 예시를 혼용할 것이지만 이는 전통적인 의미의 카메라(RGB 카메라 등)로 국한되지 않으며 앞서 서술한 센서 전체에 동일하게 적용될 수 있다.
센서의 개수와 종류는 다양하게 지정할 수 있으며, 복수 개의 센서를 사용할 경우에도 센서의 종류가 동일할 필요는 없다.
카메라는 지정된 시각(예: 매초 간격) 혹은 관심 있는 상황(예: 사용자의 이동)이 발생시 영역의 정보를 획득하여 내장된 혹은 별도의 연산장치로 전송할 수 있다.
본 발명은 기지국에서의 활용에만 한정되지 않으며, 센서가 장착된 단말, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point), 송수신 장비가 갖춰진 무인기 등에서 활용할 수 있다.
예를 들어, 노트북에 RGB-D 카메라를 여러 대 장착한 후 노트북에서 직접 빔 포밍을 수행하거나 수신기와의 거리 및 각도 정보를 기지국으로 피드백할 수 있다.
획득한 영상 정보를 이용하여 통신할 목표 단말기의 위치 정보를 파악하고, 파악된 목표 단말기의 위치 정보를 추출한다(단계 S40). 이때, 획득한 정보를 신호처리 또는 머신러닝 기법을 사용하여 통신에 도움을 주는 물체의 위치 정보를 추출할 수 있다.
신호처리 및 머신러닝 기술로는 예를 들어 소프트웨어 기반의 알고리즘, 딥러닝, 인공지능 등이 사용될 수 있으며 이에 국한되지 않는다.
찾고자 하는 통신과 관련이 있는 물체 또는 영역으로는 (1) 무선통신장치를 포함한 장비, 스마트폰, 전자기기, 차량, 드론과 같은 비행체 등이 있을 수 있다. 또한, (2) 무선통신을 방해할 수 있는 장애물, 벽, 건물, 나무 등이 있을 수 있으며, (3) 무선통신 신호를 방출 및 수집하는 장비, 다른 기지국, 와이파이 엑세스 포인트 등이 있을 수 있으며 위 예시에 국한되지 않는다.
위치 정보는 기지국 또는 단말에 대한 상대적인 위치 또는 절대적인 공간상의 위치를 의미하며, 직각좌표계 정보, 구면좌표계 정보, GPS 정보 등 여러 가지 형태로 제공될 수 있다.
위치 정보의 특정 과정에 있어, 신호처리 기술이 추정한 위치의 신뢰도에 대한 정보를 위치 정보와 함께 제공할 수 있다. 예를 들어, 신뢰도 정보는 오차율 또는 오차범위로 표시될 수 있다.
예를 들어, 센서의 정보를 처리함에 있어, 신호처리 또는 머신러닝 기술을 적용할 수 있다. 센서 정보 처리를 위한 신호처리 과정은 전처리, 주처리 및 정보 추출과 같은 과정을 거쳐 적용될 수 있으며, 각 과정은 더 세분화된 단계로 구분되거나 생략될 수 있다.
첫 번째 단계로, 입력 이미지의 품질을 높여(image quality enhancement) 향후 단계에서의 처리를 보다 용이하게 선처리할 수 있다. 본 과정에서는 관심 없는 영역이나 잡음 제거(noise removal), 안개/비/눈 제거(fog/rain/snow removal), 얼룩 제거(lens obstacle removal), 고해상도 변환(super resolution), 저조도 개선(low-light enhancement) 등 여러 인공지능 기반의 기술을 사용할 수 있다.
두 번째 단계로, 카메라 자체의 왜곡을 보정(fix camera distortion)하고 복수 개의 카메라 정보를 결합해 하나의 큰 이미지로 만들어 보다 정확한 정보를 얻을 수 있다. 본 단계에서는 이미지 조합(image stitching), 이미지 변형(image warping), 배럴 왜곡 보정(fix barrel distortion), 셔터 보정(fix rolling shutter distortion)과 같은 여러 인공지능 기반의 기술을 사용할 수 있다.
세 번째 단계로, 이미지에서 핵심 위치 정보를 추출할 수 있다. 물체 탐지(object detection) 기술을 통해 사람, 스마트폰, 자동차, 드론, 지능형 반사판 등의 주요 물체의 위치를 박스 형태로(bounding box) 얻을 수 있다. 얻어지는 박스 정보에는 박스의 위치 정보, 박스 내부의 물체의 종류(class) 정보, 박스 자체의 신뢰도(confidence) 정보가 포함될 수 있다.
물체 탐지는 CNN과 같은 인공신경망 구조를 사용할 수 있으며, 1개 프레임 혹은 최근의 복수 개의 프레임을 입력으로 받아 영상에 존재하는 물체에 대한 바운딩 박스(bounding box)를 파악한다.
또한, 깊이 예측(depth estimation) 기술을 통해 이미지 상의 각 픽셀이 카메라로부터 얼마나 떨어져 있는지를 계산할 수 있다. 단수 개의 RGB 카메라를 사용한다면 사전에 획득한 기준점들과의 거리를 통해 상대 거리를 절대 거리로 보정할 수 있고, 복수 개의 RGB 카메라를 사용한다면 카메라 사이의 거리와 상의 변화를 이용해 절대 거리를 계산할 수 있다. 깊이 예측은 사전에 획득한 하드웨어적인 정보와 CNN 기반의 인공신경망이 예측하는 정보를 조합하여 최종적인 결과를 출력할 수 있다.
또한, 물체 추적(object tracking) 기술을 통해 동일 물체가 이미지 상에서 어느 위치로 이동했는지를 판단할 수 있다. 물체 추적은 컴퓨터 비전의 칼만 필터링(Kalman filtering) 등의 규칙 기반(rule-based) 알고리즘이나 CNN 기반의 인공신경망을 사용할 수 있으며, 1개 프레임 혹은 최근의 복수 개의 영상 프레임과 예측한 바운딩 박스 정보를 함께 입력으로 사용해 보정된 바운딩 박스 위치와 각 바운딩 박스의 ID를 출력할 수 있다. 물체 추적은 바운딩 박스 정보를 보정하는데 사용될 뿐만 아니라 향후 물체가 어느 방향으로 움직일지에 대한 예상치를 제공할 수 있다.
추가적인 단계로, 위치 외의 유용한 부가 정보를 추출할 수 있다. 본 단계에서는 보행자 집계(pedestrian count), 군중 밀집도 예측(croud density estimation), 신뢰도 계산(uncertainty estimation) 등의 여러 인공지능 기반 기술을 사용할 수 있다.
파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송한다(단계 S50).
본 발명은 추출된 단말기의 위치 정보를 통해 통신할 목표 단말기의 위치 정보를 정확히 파악한 후, 파악된 목표 단말기의 방향으로 데이터를 바로 전송할 수 있다. 이를 바탕으로 기지국과 단말 사이의 빔 포밍을 효과적으로 제어할 수 있다.
이에 따라, 송신단에서는 센서에서 추정한 수신단의 위치로 빔 트레이닝 과정 없이 즉각적으로 목표 수신단으로 빔 전송이 가능하고, 목표 수신기의 이동 경로를 추적하여 목표 단말기(수신기)가 이동하는 방향으로 선제적으로 빔 전송이 가능하다.
또한, 전파를 차단하는 장애물이 존재하는 경우 또는 목표 단말기가 기지국의 직접전파 경로에서 가려지는 경우, 목표 단말기에게 직접 전파를 전송할 수 있는 다른 기지국, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 등에 목표 단말기의 위치 정보를 제공할 수 있다.
또한, 센서에서 추출된 정보를 신호처리 또는 머신러닝 기술로 가공함에 있어, 기지국 또는 단말에서 얻은 통신 정보를 추가적으로 활용하여, 더 나은 위치 정보를 특정할 수 있다.
본 발명은 송신기(예를 들어, 기지국)에서는 채널 상태 정보(channel state information; CSI) 또는 빔 인덱스(beam index) 피드백으로부터 받은 수신기(예를 들어, 목표 단말기)의 위치 정보를 활용하여 센싱 영역(예: 카메라 촬영 영역)을 좁힌 후 해당 영역에서 센싱된 정보로부터 머신러닝 또는 신호처리기술을 활용하여 수신기 방향의 고해상도(high-resolution) 빔을 형성할 수 있다.
본 발명의 다른 실시예로서, 센싱 정보를 먼저 활용하여 수신기의 방향을 좁힌 후에, 선택된 좁은 영역에서 빔 스위핑을 수행함으로써 고해상도 빔 포밍을 수행할 수도 있다.
센서 신호처리를 통해 획득한 위치 정보 및 신뢰도 정보를 사용하여 기지국 또는 단말에서는 탐지된 수신기 방향의 좁은 영역을 세밀하게 나누는 여러 빔을 전송한 후(빔 스위핑), 수신한 채널 상태 정보 또는 빔 인덱스 피드백을 이용하여 고해상도 빔을 형성할 수 있다.
종래의 이동통신시스템에서는 송신기와 수신기 사이의 전송 환경(무선 채널)을 알아내기 위해 무선 주파수(radio frequency; RF)를 활용하였다.
그러나, 본 발명에서는 센서의 측정값으로부터 채널의 정보를 추출하고, 이를 활용하여 밀리미터파 및 테라헤르츠파 빔을 제어한다. 본 발명은 다중 센서를 활용하여 초고주파(밀리미터, 테라헤르츠 대역) 통신을 용이하게 하는 기술에 관한 것으로써, 6G 이동통신을 포함한 다양한 이동통신에 사용될 수 있다.
이와 같은, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명에서 제안한 다중센서기반 빔 제어기법 및 장치는 빔 포밍을 사용하는 모든 통신 시스템에 광범위하게 적용이 가능하다. 특히, 다중 및 저지연 연결성을 요구하는 6G 만물인터넷, 높은 데이터 전송률이 요구되는 가상/증강현실, 초고신뢰-저지연이 요구되는 차량 통신 환경 등에도 응용될 수 있다.
10: 기지국
50: 단말기
100: 빔 제어 장치
110: 빔 스위핑부
130: 분할 영역 특정부
150: 정보 획득부
170: 객체 검출 및 위치 추출부
190: 데이터 전송부

Claims (10)

  1. 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하는 단계;
    빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정하는 단계;
    특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보를 획득하는 단계;
    획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계; 및
    파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 단계;를 포함하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법.
  2. 제1항에 있어서,
    파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 단계는,
    목표 단말기로 직접 데이터를 전송이 불가능한 경우, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 중 적어도 하나에 데이터를 전송하는 단계;를 더 포함하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법.
  3. 제1항에 있어서,
    획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계는,
    오차율 또는 오차범위로 표시되는 신뢰도 정보를 추출하는 단계;를 더 포함하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법.
  4. 제1항에 있어서,
    통신할 목표 단말기의 위치 정보는,
    채널 상태 정보(channel state information; CSI) 또는 빔 인덱스(beam index) 피드백으로부터 받은 목표 단말기의 위치 정보인, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법.
  5. 제1항에 있어서,
    통신할 목표 단말기의 위치 정보는,
    거리, 방위각(azimuth angle) 및 상하각(elevation angle) 중 적어도 하나를 포함하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법.
  6. 제1항에 있어서,
    획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 단계는,
    획득한 영상 정보를 신호처리 또는 머신러닝 기술로 가공하는 전처리 단계;를 더 포함하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법.
  7. 제1항 내지 제6항 중 어느 하나의 항에 따른 상기 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
  8. 기지국에서 빔 포밍 영역을 분할하여 빔 스위핑을 수행하는 빔 스위핑부;
    빔 스위핑을 통해 수신 신호의 세기가 가장 강한 분할 영역을 특정하는 분할 영역 특정부;
    특정된 분할 영역에 위치하는 기지국 또는 무선단말이 포함하는 적어도 하나의 센서를 통해 영상 정보를 획득하는 정보 획득부;
    획득한 영상 정보를 이용하여 통신할 목표 단말기를 파악하고, 파악된 목표 단말기의 위치 정보를 추출하는 객체 검출 및 위치 추출부; 및
    파악된 목표 단말기의 위치 정보에 해당하는 방향으로 데이터를 전송하는 데이터 전송부;를 포함하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치.
  9. 제8항에 있어서,
    데이터 전송부는,
    목표 단말기로 직접 데이터를 전송이 불가능한 경우, 중계기(relay), 소형기지국(small cell), 지능형 반사평면(intelligent reflecting surface) 및 와이파이 액세스포인트(WiFi access point) 중 적어도 하나에 데이터를 전송하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치.
  10. 제8항에 있어서,
    객체 검출 및 위치 추출부는,
    획득한 영상 정보를 신호처리 또는 머신러닝 기술로 가공하는 전처리하고, 오차율 또는 오차범위로 표시되는 신뢰도 정보를 추출하는, 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 장치.
KR1020220051257A 2022-04-26 2022-04-26 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치 KR102600224B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220051257A KR102600224B1 (ko) 2022-04-26 2022-04-26 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치
PCT/KR2023/005452 WO2023211066A1 (ko) 2022-04-26 2023-04-21 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220051257A KR102600224B1 (ko) 2022-04-26 2022-04-26 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (2)

Publication Number Publication Date
KR20230151661A true KR20230151661A (ko) 2023-11-02
KR102600224B1 KR102600224B1 (ko) 2023-11-09

Family

ID=88519371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220051257A KR102600224B1 (ko) 2022-04-26 2022-04-26 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (2)

Country Link
KR (1) KR102600224B1 (ko)
WO (1) WO2023211066A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112551A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR20200116727A (ko) * 2019-04-02 2020-10-13 삼성전자주식회사 카메라가 수집한 데이터에 기반하여 빔을 제어하는 전자 장치 및 전자 장치의 동작 방법
JP2021157699A (ja) * 2020-03-30 2021-10-07 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
KR102371930B1 (ko) 2016-08-11 2022-03-08 삼성전자 주식회사 빔 포밍 방식을 사용하는 무선 통신 시스템에서 안테나 또는 빔 선택 방법 및 장치
KR20220036646A (ko) 2020-09-16 2022-03-23 한국전자통신연구원 빔 포밍 기능을 갖는 광 무선 통신의 트래킹 방법 및 그 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210135022A (ko) * 2020-05-04 2021-11-12 한국전자통신연구원 통신 시스템에서의 빔포밍 방법 및 장치
KR102204783B1 (ko) * 2020-07-09 2021-01-18 전남대학교산학협력단 딥러닝 기반의 빔포밍 통신 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112551A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR102371930B1 (ko) 2016-08-11 2022-03-08 삼성전자 주식회사 빔 포밍 방식을 사용하는 무선 통신 시스템에서 안테나 또는 빔 선택 방법 및 장치
KR20200116727A (ko) * 2019-04-02 2020-10-13 삼성전자주식회사 카메라가 수집한 데이터에 기반하여 빔을 제어하는 전자 장치 및 전자 장치의 동작 방법
JP2021157699A (ja) * 2020-03-30 2021-10-07 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
KR20220036646A (ko) 2020-09-16 2022-03-23 한국전자통신연구원 빔 포밍 기능을 갖는 광 무선 통신의 트래킹 방법 및 그 장치

Also Published As

Publication number Publication date
WO2023211066A1 (ko) 2023-11-02
KR102600224B1 (ko) 2023-11-09

Similar Documents

Publication Publication Date Title
CN113287349B (zh) 使用与无线通信系统协作的感测系统的方法和装置
CN114747257B (zh) 估计无线通信网络中信号遮蔽障碍物的位置的方法和设备
US11927668B2 (en) Radar deep learning
WO2018058374A1 (zh) 环境感知方法以及基站
Salehi et al. Flash: Federated learning for automated selection of high-band mmwave sectors
CN113015084A (zh) 使用频率分集阵列信号的站点检测
CN106452541B (zh) 一种光和无线信号相互辅助的波束赋形方法和装置
US10856253B1 (en) System and method for beamsteering acquisition and optimization in an enhanced reality environment
US11960017B2 (en) Uplink beam configuration
EP3742632B1 (en) Device and method for generating environment information for network design in wireless communication system
US20230333242A1 (en) Collaborative environment sensing in wireless networks
CN115699921A (zh) 行人用户装备的定位估计
Roy et al. Going beyond RF: A survey on how AI-enabled multimodal beamforming will shape the NextG standard
CN114828128A (zh) 高速移动列车的多小区通信覆盖方法及相关设备
US20230412249A1 (en) Managing a network of radio frequency (rf) repeater devices
KR102600224B1 (ko) 밀리미터파 및 테라헤르츠파 무선통신시스템에서 다중 센서를 이용한 빔 제어 방법, 이를 수행하기 위한 기록 매체 및 장치
Burghal et al. Supervised learning approach for relative vehicle localization using V2V MIMO links
CN117221844A (zh) 一种ris辅助的通信网络csi估计预测系统及方法
CN116390114A (zh) 基于非视距链路识别的车联网感知辅助通信预波束对准方法
Mukhtar Machine learning enabled-localization in 5g and lte using image classification and deep learning
Demir et al. Digital Twins for Maintaining QoS in Programmable Vehicular Networks
CN105353643A (zh) 一种复杂环境中运动目标快速定位的方法
CN117278085B (zh) 车载毫米波终端波束跟踪方法、装置、设备和存储介质
Hasan et al. Localization Techniques Overview Towards 6G Communication
Zou et al. Computer vision assisted mmwave beamforming for uav-to-vehicle links

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant