KR20200124599A

KR20200124599A - 심볼 검출기 선택 방법 및 시스템

Info

Publication number: KR20200124599A
Application number: KR1020200032993A
Authority: KR
Inventors: 권혁준; 송기봉
Original assignee: 삼성전자주식회사
Priority date: 2019-04-23
Filing date: 2020-03-18
Publication date: 2020-11-03
Also published as: KR102632254B1; US20200343962A1; US10931360B2; TW202046649A

Abstract

뉴럴 네트워크를 사용하여 심볼 검출기를 선택하는 방법이 제공된다. 심볼 검출기 선택 방법은 k 번째 리소스 요소 (RE)(resource element)에 대한 제1 특징 세트를 추출하고, 제1 리소스 요소 내지 k-1 번째 리소스 요소로부터 제2 특징 세트를 추출하고, 추출된 제1 특징 세트 및 상기 추출된 제 2 특징 세트에 기초하여 RL (강화 학습)(reinforcement learning) 뉴럴 네트워크 (neural network)를 사용하여 k 번째 리소스 요소에 대한 심볼 검출기를 선택하는 것을 포함하고, k는 1보다 큰 정수이다.

Description

심볼 검출기 선택 방법 및 시스템{METHOD AND SYSTEM FOR SELECTING A SYMBOL DETECTOR}

본 발명은 일반적으로 무선 통신 시스템에 관한 것이다. 특히, 본 발명은 RL (강화 학습)(reinforcement learning) 뉴럴 네트워크를 이용한 다중-입력 다중-출력(MIMO)(multiple-input multiple-output) 검출기(detector) 선택에 관한 것이다.

무선 통신 시스템 (예를 들어, 롱텀 에볼루션 (LTE), 5세대 뉴 라디오 (5G NR))에서, 다중-입력 다중-출력 (MIMO) 심볼 검출기는 MIMO 레이어의 코딩된 비트의 LLR (log-likelihood-ratios)을 계산한다. LLR은 다양한 유형의 검출 방법을 사용하여 결정될 수 있다. 이러한 검출 방법의 복잡성은 매우 높은 복잡성 (예를 들어, 최대 우도 (ML)(maximum likelihood))에서부터 낮은 복잡성 (예를 들어, 최소 평균 제곱 에러 (MMSE)(minimum mean square error))에 이르기까지 다양하다. 일반적으로, 에러율로 측정된 검출 방법의 성능은 복잡성에 반비례한다. 따라서 ML은 최소 에러율을 갖고, MMSE는 최대 에러율을 가진다.

일반적으로, 하나의 검출기는 리소스 요소(REs)(resource elements)의 채널 조건에 상관없이 모든 RE에 대한 LLR을 구하기 위해 사용된다. 이러한 정적 검출기(static detector)를 사용하기로 선택한 경우, 복잡성과 에러율 사이에 트레이드-오프가 있다. 낮은 에러율이 요구되면, 높은 복잡성 검출기가 사용된다. 한편, 복잡성이 낮은 검출기를 사용하면 에러율이 증가한다.

본 발명이 해결하고자 하는 기술적 과제는 뉴럴 네트워크를 사용하여 심볼 검출기를 선택하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 뉴럴 네트워크를 사용하여 심볼 검출기를 선택하는 시스템을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 기술적 사상의 몇몇 실시예에 따른 심볼 검출기 선택 방법은 k 번째 RE (리소스 요소)(resource element)에 대한 제1 특징 세트를 추출하고, 제1 리소스 요소 내지 k-1 번째 리소스 요소로부터 제2 특징 세트를 추출하고, 추출된 제1 특징 세트 및 상기 추출된 제 2 특징 세트에 기초하여 RL (강화 학습)(reinforcement learning) 뉴럴 네트워크 (neural network)를 사용하여 k 번째 리소스 요소에 대한 심볼 검출기를 선택하는 것을 포함하고, k는 1보다 큰 정수일 수 있다.

몇몇 실시예에서, 제1 특징 세트는 k 번째 리소스 요소에 대한 채널 매트릭스에 기초할 수 있다.

몇몇 실시예에서, 제2 특징 세트는 누적 로그 우도 비 (LLR)(log likelihood ratios)에 기초할 수 있다.

몇몇 실시예에서, 제2 특징 세트는 정규화된 위치 (normalized location), LLR 분포의 절대값 또는 소프트 심볼 분포를 포함할 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 MLP (멀티 레이어 퍼셉트론)(Multi-Layer Perceptron)를 포함할 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 심볼 검출기의 복잡성(complexity)에 해당되는 복잡성 스코어를 생성할 수 있다.

몇몇 실시예에서, 심볼 검출기는 생성된 복잡성 스코어에 기초하여 선택될 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 디코딩의 성공 여부를 나타내는 디코딩 페널티 (decoding penalty)를 생성할 수 있다.

몇몇 실시예에서, 디코딩 페널티는 라그랑주 승수 (Lagrange multiplier) 페널티 파라미터에 기초할 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 DQN (deep Q-network)을 사용하여 훈련될 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 기술적 사상의 몇몇 실시예에 따른 심볼 검출기 선택 시스템은 메모리 및 프로세서를 포함하고, 프로세서는 k 번째 리소스 요소에 대한 제1 특징 세트를 추출하고, 제1 리소스 요소 내지 k-1 번째 리소스 요소로부터 제2 특징 세트를 추출하고, 추출된 제1 특징 세트 및 추출된 제 2 특징 세트에 기초하여 RL 뉴럴 네트워크를 사용하여 k 번째 리소스 요소에 대한 심볼 검출기를 선택하고, k는 1보다 큰 정수일 수 있다.

몇몇 실시예에서, 제2 특징 세트는 누적 로그 우도 비 (LLR)에 기초할 수 있다.

몇몇 실시예에서, 제2 특징 세트는 정규화된 위치, LLR 분포의 절대값 또는 소프트 심볼 분포를 포함할 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 MLP를 포함할 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 심볼 검출기의 복잡성에 해당되는 복잡성 스코어를 생성할 수 있다.

몇몇 실시예에서, RL 뉴럴 네트워크는 디코딩의 성공 여부를 나타내는 디코딩 페널티를 생성할 수 있다.

몇몇 실시예에서, 디코딩 페널티는 라그랑주 승수 페널티 파라미터에 기초할 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 일부 실시예의 상기 및 다른 특징들 및 장점들은 하기 도면과 함께 고려될 때 다음의 상세한 설명을 참조하여 보다 명백해질 것이다.
도 1은 본 발명의 기술적 사상의 몇몇 실시예에 따른 심볼 검출기를 이용하는 Markov 결정 프로세스 (MDP) 공식화(formulation) 시스템의 다이어그램이다.
도 2는 몇몇 실시예에 따른 단일 전송 블록 (TB)(transport block)에 대응하는 단일 에피소드의 다이어그램이다.
도 3은 몇몇 실시예에 따른 RL 뉴럴 네트워크를 이용한 검출기 선택의 순서도이다.
도 4는 몇몇 실시예에 따른 시뮬레이터와 관련된 RL 프로시져 (procedure)의 다이어그램이다.
도 5는 몇몇 실시예에 따른 검출기 선택의 흐름도이다.
도 6은 몇몇 실시예에 따른 검출기 선택 시스템의 다이어그램이다.
도 7은 몇몇 실시예에 따른 네트워크 환경에서의 전자 장치의 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. 동일한 도면 번호가 상이한 도면에 도시되어 있어도, 동일한 요소는 동일한 도면 번호로 표시될 것이다. 이하의 설명에서, 상세한 구성 및 구성 요소와 같은 특정 세부사항은 단지 본 발명의 실시예의 전반적인 이해를 돕기 위해 제공될 뿐이다. 그러므로, 본 명세서의 범위를 벗어나지 않고 본 명세서에 기술된 실시예들의 다양한 변경 및 수정이 이루어질 수 있다는 것이 당업자에게 명백하다. 또한, 잘 알려진 기능 및 구성에 대한 설명은 명확성 및 간결성을 위해 생략된다. 이하에서 설명되는 용어들은 본 발명의 기능을 고려하여 정의된 용어 들로서, 사용자, 사용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 그 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 다양하게 변경될 수 있고, 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명은 실시예들에 제한되지 않고 본 발명의 범위 내의 모든 수정, 균등물 및 대안들을 포함한다는 것을 이해해야 한다.

제1, 제2 등과 같은 서수를 포함하는 용어는 다양한 요소를 설명하기 위해 사용될 수 있지만, 구조적 요소는 이 용어에 의해 제한되지 않는다. 이 용어는 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 예를 들어, 본 발명의 범위를 벗어나지 않으면서, 제1 구조적 요소는 제2 구조적 요소로 지칭될 수 있다. 비슷하게, 제2 구조적 요소 또한 제1 구조적 요소로 지칭될 수 있다. 본원에 사용된 용어 "및/또는"은 하나 이상의 관련 항목의 임의의 및 모든 조합을 포함한다.

본 명세서에서 사용한 용어는 단지 본 발명의 다양한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다(include)" 또는 "가진다(have)"라는 용어는 특징, 수, 단계, 동작, 구조적 요소, 부분 또는 이들의 조합의 존재를 나타내며, 하나 이상의 다른 특징들, 숫자들, 단계들, 동작들, 구조적 요소들, 부분들, 또는 이들의 조합들을 추가하는 것의 존재 또는 확률을 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술 분야의 당업자가 이해하는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 용어와 같은 용어는 관련 기술 분야의 문맥적 의미와 동일한 의미를 갖는 것으로 해석되어야 하며, 본 발명에서 명확하게 정의되지 않는 한 이상적이거나 지나치게 공식적인 의미를 갖는 것으로 해석되어서는 안된다.

몇몇 실시예에 따른 전자 장치는 다양한 유형의 전자 장치들 중 하나일 수 있다. 전자 장치는 예를 들어 휴대용 통신 장치 (예 : 스마트폰), 컴퓨터, 휴대용 멀티미디어 장치, 휴대용 의료 장치, 카메라, 웨어러블 장치 또는 가전 제품을 포함할 수 있다. 본 발명의 몇몇 실시예에 따르면, 전자 장치는 전술한 것들로 제한되지 않는다.

본 명세서에서 사용한 용어는 단지 본 발명을 제한하고자 하는 것이 아니라, 해당되는 실시예에 대한 다양한 변경, 균등물 또는 대체물을 포함하도록 의도된 것이다. 첨부된 도면의 설명과 관련하여, 유사한 구성 요소 또는 관련된 구성 요소를 지칭하기 위해 유사한 참조 번호가 사용될 수 있다. 항목에 대응하는 단수형의 명사에는 관련 문맥이 명확하게 달리 나타내지 않는 한, 하나 이상의 사물이 포함될 수 있다. 본원에 사용된 "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B 또는 C 중 적어도 하나"와 같은 문구들 각각은, 해당 문구 중 하나에 함께 열거된 항목의 모든 가능한 조합을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "제1(1^st)", "제2(2^nd)", "제1(first)"및 "제2(second)"와 같은 용어는 대응하는 구성 요소를 다른 구성 요소와 구별하기 위해 사용될 수 있지만, 다른 측면(예를 들어, 중요성 또는 순서)에서 구성 요소를 제한하도록 의도되지는 않는다. 구성 요소(예를 들어, 제1 구성 요소)가 "작동적으로(operatively)"또는 "통신적으로(communicatively)"라는 용어와 함께 또는 없이, 다른 구성 요소 (예를 들어, 제2 구성 요소)와 "짝지어진(coupled with)", "짝지어진(coupled to)", "연결된(connected to)" 또는 "연결된(connected with)"으로 지칭된다면, 이는 구성 요소가 다른 구성 요소와 직접적으로(directly)(예를 들어, 유선), 무선으로(wirelessly) 또는 제3 구성 요소를 통해(via) 결합될 수 있음을 나타낸다.

본 명세서에서 사용되는 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있고, 다른 용어, 예를 들어 "논리", "논리 블록", "부분", 및 "회로"와 상호 교환 가능하게 사용될 수 있다. 모듈은 하나 이상의 기능을 수행하도록 구성된 단일 통합 구성 요소 또는 그 최소 단위 또는 부분 일 수 있다. 예를 들어, 몇몇 실시예에 따르면, 모듈은 주문형 집적 회로 (ASIC)(application-specific integrated circuit)의 형태로 구현될 수 있다.

심볼 검출기 블록(symbol detector block)은 기저 대역 모뎀 내에서 상대적으로 더 높은 전력을 소비한다. 변조 차수(modulation order) 또는 레이어(layers)의 수가 증가함에 따라 심볼 검출기의 전력 소비 레벨이 증가한다. 심볼 검출기는 RE(resource element) 마다 동작할 수 있다. 심볼 검출기의 높은 사용 빈도로 인해, 심볼 검출기의 전력 소비를 줄이고 5G에서 지원되는 최고 속도를 이용하는 것이 바람직하다.

페이딩 채널에서 채널은 시간과 주파수 모두에 따라 변동한다. 이러한 변동은 RE는 비교적 양호한 채널에서 덜 전력 집약적인(less power intensive) 심볼 검출기를 필요로 할 수 있고, RE가 비교적 불량인 채널에서 보다 전력 집약적인(more power intensive) 심볼 검출기를 필요로 할 수 있음을 의미한다. 본 발명의 기술적 사상에 따른 시스템 및 방법은 각각의 RE에 대해 최적의 심볼 검출기를 선택하는 학습 프로세스를 포함한다.

Q-러닝 (Q-learning)을 사용하면, 채널 및 신호의 관찰(observation)은 상태(states)로 변환되고 검출기 결정은 동작(actions)으로 간주된다. 각 검출기의 복잡성 또는 동등한 전력 소비는 모든 RE의 모든 결정에 의해 영향을 받는 디코딩 결과에 대한 보상으로 반영된다.

Q-값 (Q-values)은 전후 업데이트(back-and-forth update)에서 개선(refine)된다. 에러율에 제약을 주는 파라미터는 두 환경(two worlds)서 중간 결과를 따라 조정된다. 시뮬레이션 결과는 RL을 이용한 공식화가 블록 에러율 (BLER) 및 검출 활용 (detection utilization) 모두에 있어서 효과적임을 보여준다.

본 발명의 기술적 사상에 따른 시스템 및 방법은 과거의 결정이 현재의 상태에 반영되는 피드백 경로를 추가함으로써 전처리 (pre-processing) 및 후처리 (post-processing) 모두를 RL 기반 모드 선택으로 이동시킨다. 결과적으로 알고리즘 자체가 MLP 기반 정책(scheme)의 처리를 자동으로 조정할 수 있을 것으로 예상된다. 이 접근 방식을 통해 RL 기반 정책은 인간에 있어서 독립적 (human-independent)이게 될 수 있고, 자체 알고리즘으로 문제를 해결할 수 있다.

본 발명의 기술적 사상에 따른 시스템 및 방법은 몇몇 실시예에 따라, 샘플의 휴리스틱 조작(heuristic manipulation)을 사용하지 않고 RL 공식화를 제공하고, 최대 복잡성의 검출기를 최대한 사용하여 전력을 절약하고, 5G 사양을 지원하는 데이터 구동 시뮬레이터(data-driven simulator)를 제공한다.

무선 시스템에서, 기저 대역 수신기는 채널 측정기(channel estimator), 심볼 검출기 및 채널 디코더를 포함한다. 이러한 요소들 중에서, 심볼 검출기는 주로 k 번째 (k = 1… K이다.) RE에서 수신된 신호

와 측정된 채널 요소

의 두 변수로 동작한다. 일반론을 떠나지 않고, 레이어의 수는 송신 안테나의 수와 동일하고, 신호가 심볼 검출기로 전달되기 전에 잡음이 이미 화이트닝(whitened) 된다고 가정한다.

심볼 검출기의 목적은 채널 디코더로 전달되는 변조된 심볼에 대응하는 각각의 비트에 대한 로그 우도 비 (LLR)(log likelihood ratios)를 생성하는 것이다. 많은 심볼 검출기가 존재하며, 각각의 심볼 검출기는 다른 레벨의 복잡성에서 다른 품질의 LLR을 생성한다. 본 발명의 기술적 사상에 따른 시스템 및 방법은 LLR의 품질이 정확하게 디코딩되기에 충분하도록, 가장 낮은 복잡성을 갖는 검출기를 추천하는 알고리즘을 제공한다.

도 1은 본 발명의 기술적 사상의 몇몇 실시예에 따른 심볼 검출기를 이용하는 Markov 결정 프로세스 (MDP) 공식화(formulation) 시스템의 다이어그램이다. 시스템 (100)은 심볼 검출기 (102), LLR 버퍼 (104), 채널 디코더 (106), 채널 특징 추출 블록 (108), 지연기 (delay)(110) 및 LLR 특징 추출 블록 (112), 검출기 선택 블록 (116), 및 스코어 맵핑 블록 (118)을 포함한다. 검출기 선택 블록 (116)은 검출기 레벨이 결정되는 곳이다 (예를 들어, 최소 평균 제곱 측정 (MMSE)(minimum mean square estimation) 검출기가 충분히 심플한지, 또는 k 번째 RE에서 신호를 검출하기 위해 최대 우도 (ML)(maximum likelihood) 검출기가 필요한지). RL과 테이크 앤 입력 (taking and input)(즉, 채널 및 LLR)으로 공식화되는 딥 네트워크는 어떤 검출기가 적절한지(즉, 성공적인 디코딩에 기여할 수 있을 뿐만 아니라 복잡성을 감소시키기에 충분한)를 결정한다. 검출기 선택 블록 (116)은 ML (가장 복잡한 검출기)의 성능과 가장 유사한 성능을 달성하는 동시에, MMSE (가장 복잡하지 않은 검출기)의 복잡성과 가장 유사한 복잡성을 달성하는 것을 목표로 한다. 두 검출기는 각각 최소 및 최대 복잡성의 검출기의 예이다. 더 많은 검출기 레벨이 이용될 수 있는 것으로 이해된다. 검출기 선택 블록 (116)은 채널 특징 추출 블록 (108)으로부터 하나 이상의 채널 특징을 수신하고, LLR 특징 추출 블록 (112)으로부터 하나 이상의 LLR 특징을 수신한다. 채널 특징 추출 블록 (108)은 k 번째 RE에서 현재 채널 품질을 나타내는 채널 특징을 추출한다. LLR 특징 추출 블록 (112)은 최대 k-1 번째 RE까지의 과거 채널 품질을 나타내는 LLR 특징을 추출한다. 후자는 이미 생성되어 LLR 버퍼 (104)에 저장된 LLR 값으로 표현된다. 예를 들어, 이전의 모든 RE가 LLR 품질이 충분히 높아지도록 ML 검출기를 선택했다면, 현재 RE는 단일 비트 에러를 보상하기 위해 디코더 이득(decoder gain)을 기대하여 저-복잡성의 검출기를 선택할 가능성이 높다.

k 번째 RE가 주어지면, 채널 특징 및 LLR 특징은

및

로부터 추출된다. 상태

는 이 2 개의 특징 (채널 특징 및 LLR 특징)을 포함한다. 채널 특징은

의 순간 채널 (instantaneous channel)이 얼마나 양호한지를 나타낸다. 또한,

대신에

를 사용하여 채널 특징을 추출할 수 있다. LLR 특징은 (k - 1)번째 RE까지 결정된 동작 (action)을 반영하도록 설계되었다. LLR 정보

는 모든 레이어에 대한 LLR 세트이며, 제1 RE에서 (k - 1)번째 RE로 연결(concatenated)되며,

= [

,

]로 표현되며, 여기서

는 k 번째 RE에서 선택된 검출기로부터 생성되는 LLR이다.

는 빈 세트 (empty set)로 초기화된다. TB의 모든 RE에 걸쳐, 각 상태는 상태들(states)의 세트 S를 포함하고, 이는 k = 1,…, K에 대한

의 모든 가능한 실현을 나타낸다.

검출기 선택 블록 (116)의 출력은 스코어 맵핑 블록 (118)에서 복잡성 스코어

로 변환된다. 낮은 복잡성 검출기 (예를 들어, MMSE)는 더 높은 스코어로 맵핑되고 높은 복잡성 검출기 (예를 들어, ML)는 더 낮은 스코어로 맵핑된다. 채널 디코더 (106)로부터의 디코딩 결과

가 순환 중복 검사 (cyclic redundancy check)(CRC)를 통과하는 한, 보상의 합

을 최대화하기 위해 낮은 복잡성 검출기를 선택하는 것이 유리하다.

는 수학식 1으로 정의된다

본 명세서에 기술된 바와 같이, 상태

및 동작

가

가 아닌, k 번째 RE에 대한 보상

을 생성하도록 상태, 동작 및 보상 사이의 종래의 지수 표기법이 이용된다.

도 2는 몇몇 실시예에 따른 단일 전송 블록 (TB)(transport block)에 대응하는 단일 에피소드의 다이어그램이다. 수학식 1의 공식화는 RL의 문맥에서 사용되는 용어로 요약될 수 있다. 에피소드는 단일 TB와 관련된 모든 RE를 탐색하는 게임(game)으로 정의된다. 초기(initial) RE (202)로부터 시작하여, 검출기 선택 블록 (116)은 검출기의 유형 (즉, 동작

)을 결정하고 에피소드는 (T-1) 번째 RE (204)에서 종료된다. k 번째 RE에서의 상태

를 포함하여 현재와 과거의 특징을 표현하는데 2 개의 구별되는 특성이 사용된다. 채널 특징 3 개, LLR 특징 5 개를 포함하여 총 8 개의 특징이 정의된다.

도 3은 몇몇 실시예에 따른 RL 뉴럴 네트워크를 이용한 검출기 선택의 순서도이다. 시스템은 현재 환경을 나타내는 채널 특징을 추출한다 (302). 시스템은 RE의 채널 매트릭스로부터 채널 특징을 추출할 수 있다. 채널 특징은 대각-대-대각(diagonal-to-on-diagonal) 채널 전력 비율, 조건 개수 및

만을 사용하는 총 채널 전력 (즉, 프로베니우스 놈(frobenius norm))을 포함한다.

시스템은 LLR 특징을 추출한다 (304). 시스템은 이전의 RE까지 축적된 LLR을 사용하여 LLR 특징을 추출할 수 있다. LLR 특징은 LLR 버퍼 (104)의 출력

를 사용하여 생성되고, 정규화된 RE 위치 (k/T ~ [0,1]), LLR 분포의 절대 값, 평균

, 표준 편차

, 및 소프트 심볼 분포를 포함한다. LLR 특징은 수학식 2로 표현된다.

여기서

은 TB 내에서 함께 디코딩될 상대적 RE 위치에 해당하고,

및

은 과거 RE로부터의 LLR 특징의 평균 및 표준 편차 값에 해당하고,

및

는 과거 RE에서의 평균 및 표준 편차가 있는 성상도 맵(constellation map)의 소프트 심볼 분포에 해당한다.

소프트 심볼 분포의 경우, LLRs,

를 사용하여 각 성상도 포인트에 대한 심볼 확률을 계산할 수 있다. k 번째 RE 및 l 번째 레이어에 대한 심볼 확률은 수학식 3과 같이 정의된다.

여기서

은 m 번째 바이폴라 비트이다. 그 다음, 수학식 4에서와 같이

의 평균 및 표준 편차가 사용된다.

아래 첨자 1 : k -1은 1 내지 k-1의 지수(indices)를 나타낸다. 검출기에 스코어를 할당하는 것은 스코어 분포 ~ θ에서 상태

및 동작

를 제어하는 정책

이다. 그리고, 보상

은 단일 에피소드에서의 복잡성 스코어 및 디코딩 페널티의 합에 해당한다.

시스템은 추출된 채널 특징들 및 추출된 과거 환경 특징들에 기초하여 RL 뉴럴 네트워크를 사용하여 각각의 RE에 대한 심볼 검출기를 선택한다 (306). 개시된 접근법은 에러율이 적절하게 유지되어야 한다는 제약에 따라, 총 복잡성 스코어를 최대화하기 위해 최적화 문제와 함께 수학적으로 공식화된다. 이는 수학식 5로 표현된다.

여기서

는 k = T-1에서 디코딩 실패 여부를 나타내는 이진(binary) 이벤트이다.

은 가장 복잡한 검출기인 ML이 동일한 에피소드에서 사용될 때 발생하는 에러 이벤트이다. 랜덤 변수 τ는 정책

하에서 상태 동작 진화(state action evolution)를 나타내는 게임(game)의 궤적(trajectory)을 나타낸다. 마찬가지로

은 같은 에피소드에서 검출기 ML에 대한 게임의 궤적을 나타낸다. 디코딩 결과의 출력은 에피소드마다의 마지막 RE에서만 사용할 수 있다. 다시 말해, k <T 인

는 보상이나 제약에 기여하지 않고 오히려

에 기여한다. 수학식 5를 풀기 위해, 라그랑주 승수법 (Lagrange multiplier) μ를 도입하여 수학식 6에서와 같이 라그랑주 함수가 설정된다.

구체적으로, 라그랑주 함수는 수학식 7과 같이 발전된다.

여기서 (a)는

이 π와 독립적이고 k <T 인 경우

= 0이라는 사실에서 유도된다. (b)는 개시된 게임에 대한 보상은 복잡성 스코어 및 디코딩 실패가 페널티 파라미터 (예를 들어, 라그랑주 승수 π)로 처벌(punished)되는 디코딩 결과 모두에 의해 정의된다는 것을 나타낸다.

가치 네트워크 (value network)가 있는 정책 네트워크 (policy network)를 활성화할 때,

는 여러 기술 (예: 정책-그래디언트 및 액터-크리틱 알고리즘)을 사용하여 검출기에 대한 복잡성 스코어의 매핑을 조정하도록 업데이트된다. 가치 네트워크만 활성화되는 경우 복잡성 스코어 규칙은 변경되지 않으며, DQN (deep Q-network)을 통해 Q-러닝에서 θ를 조정하여 예상 보상을 최대화한다. 알고리즘 1이 표 1으로 제공된다.

알고리즘 1과 같이, 알고리즘으로부터의 에러율이 ML으로부터의 에러율에 비해 충분히 신뢰할 수 있을 때까지 반복(iteration)이 계속된다. 에러율의 감도(sensitivity)를 최소화하기 위해 수학식 8을 사용하여 시뮬레이션이 수행된다.

수학식 8은 수학식 9 대신에 사용될 수 있다.

여기서 1/16 과 로그 함수는 실험적 경험을 통해 선택되었다. 알고리즘 출력의 신뢰성 여부를 결정하기 위한 임의의 다른 메트릭이 이용될 수 있는 것으로 이해된다.

MIMO 모드는 딥 러닝 (DL) 기술에 기초하여 선택될 수 있다. MLP를 사용한 MIMO 모드 선택은 채널 특징을 사용할 수 있다. 다시 말해서, 도 1의 시스템 (100)은 도 1은 LLR 버퍼 (104)로부터의 피드백 경로없이 사용될 수 있다.

오프라인 훈련의 경우 각

에서 채널 특징이 적절한 라벨로 생성된다. MLP 훈련에는 에피소드 개념이 없으므로 모든 샘플에서

가 임의로 선택될 수 있다. MLP 네트워크는 수학식 10에서와 같이 정책을 생성하도록 훈련된다.

정책은

와

사이의 마진을 계산하는 후처리로 개선되고 (여기서 j = i+1이고), 안정적인 에러율을 보장하는 검출기 유형을 다시 라벨링(relabel)한다. 업데이트된 라벨은 반복적으로 재훈련된다.

온라인 프로시져는 심플하여

의 채널 특징은 훈련된 MLP 네트워크를 통해 포워드-전파(forward-propagated)된다. 그런 다음, 낮은 복잡성을 갖지만 충분히 신뢰할 수 있는 검출기에 해당하는 수학식 11과 같이 최상의 동작이 선택된다.

도 4는 몇몇 실시예에 따른 시뮬레이터와 관련된 RL 프로시져 (procedure)의 다이어그램이다. MIMO 모드 선택을 위해 환경과 에이전트 간에 RL이 수행될 수 있다. 표 2에 제공된 알고리즘 2는 시뮬레이터와 뉴럴 네트워크 사이의 상호 작용 측면에서의 알고리즘 1을 나타낸다. 표 2에서, 제1 "for"루프는 루프 (410)에 해당하고, 제 2 "for"루프는 루프 (412)에 해당하고, 제 3 "for"루프는 루프 (414)에 해당한다.

RL 시스템 (400)은 RL BLER을 테스트하기위한 블록 에러율 (BLER) 시뮬레이터 블록 (402), 정책을 생성하는 정책 시뮬레이터 블록 (404), 목표 Q-값 업데이트 블록 (406) 및 Q-함수 회귀 블록 (Q-function regression block)(408)을 포함한다. 시뮬레이터 (404)는 에피소드 당 궤적에 따라 4배(quadruple)의 상태/액션/리워드 (예를 들어, (s, a, s ', r))로 샘플을 수집한다. 본 발명의 기술적 사상에 따른 시스템과 방법은, 탐색을 위한 상태를 가이드하기 위해 첫 번째 라운드에서만 채널 특징을 사용한다. 그런 다음 수집된 샘플은 리플레이 버퍼를 형성하고, 수집된 샘플은 정책 외 Q-네트워크 (off-policy Q-network)를 사용하여 예상되는 향후 보상을 최대화하도록 개선(refine)된다. 정책을 개선하기 위해, 개선된 샘플을 사용하고 보상에 대한 상태 및 동작의 매핑과 함께, 블록 (406 및 408)에서 Q-러닝은 수행된다. 이 과정들은 현재 디코딩 페널티 하에서 Q-값이 충분히 신뢰할 수 있을 때까지 반복된다. 그런 다음, 디코딩 페널티 파라미터 μ가 업데이트되고, 업데이트된 페널티에서 샘플이 재생성되어 리플레이 버퍼에 공급된다.

개시된 알고리즘은 2 개의 반복을 포함한다. 외부 반복(outer iteration)이라고 하는 첫 번째 반복은 새로운 디코딩 페널티 파라미터로 샘플을 수집하는 데 사용되는

에 대한 것이며 최대 Nmax까지 반복된다. 내부 반복(inner iteration)이라고하는 두 번째 반복은 Q-러닝이 샘플 품질을 개선하기 위한 것이며, Kmax까지 반복된다. 또한, 직렬 반복은 아니지만 Q-러닝 측정은 병렬 반복으로 Mmax까지 향상된다.

통상적으로, RL 알고리즘은 404에서 4 배의 형태 (s, a, s ', r)로 샘플을 어떻게 수집하는지에 대한 질문, 및 예상되는 향후 평균 보상을 언제 업데이트할 것인지에 대한 질문 (즉, Q (s, a))에서 출발한다. 에피소드 당 샘플을 사용하거나 서로 충분히 가까운 에피소드들 내의 샘플을 사용하여 Q-값을 너무 자주 업데이트하는 것은, 해당 샘플에 포함된 상관 관계로 인해 권장되지 않는다. 큰 버퍼로부터 추출된 샘플들 사이의 상관 관계를 최소화하는 것이 달성되었으며, 이는 리플레이 버퍼 또는 전이(transition)의 데이터 세트로 지칭된다.

RL 결과를 업데이트하고 샘플을 수집하기 위해 직렬 및 병렬 작업이 모두 수행된다. Q-네트워크는 목표 Q-값 업데이트 (406) 및 Q-함수 회귀 (408)를 포함하며, 이들 모두는 직렬 방식으로 반복적으로 수행된다. 회귀 자체는 자체 반복으로 수행되어 측정을 위한 적절한 레벨의 평균 제곱 에러 (MSE)를 보장한다. 가이드된 결정은 수학식 12와 같이 초기 Q-값을 생성한다.

Q- 러닝 기반 결정은 각 순간의 회귀에서 측정된 Q (s, a)에 의존한다. 따라서, Q (s, a)가 모든 상태를 탐색하기에 충분한 수의 샘플로 훈련을 받는 것이 중요하다. 예를 들어, 상태

가 주어지면 동작

가 훈련에서 대부분 선택되었더라도 다른

를 경험해야 한다. 그렇지 않은 경우,

)가 정의되지 않거나,

)와 비교할 때 신뢰할 수 없는 것으로 측정되어 예기치 않은 동작이 발생할 수 있다. 따라서 훈련에서 예기치 않은 동작을 방문할 수 있는 기회를 제공하고, 측정된

)가 작은 것임을 보장하는 데에,

-greedy 알고리즘은 중요하다.

-greedy 결정에서 Q-값은 수학식 13과 같이 생성된다.

max 연산자 (max operator)는 동일한 Q-값과 사용되어 동작을 선택하고 평가한다. 이로 인해 과대 평가된 값을 선택할 수 있는 기회가 생겨 상승 경향(upward bias)이 발생한다. 대신에, 선택 및 평가는 이중 Q-러닝 또는 이중 DQN이라고하는 다른 Q-값을 사용하여 분리된다. 다시 말해서, 현재 Q- 네트워크 Q (s, a)는 동작을 선택하는데 사용되고, 이전 Q- 네트워크 Q '(s, a)는 동작을 평가하는데 사용된다. 따라서, 수학식 13은 수학식 14로 업데이트된다.

업데이트된 Q (s, a)는 다중 네트워크 초기화를 통해 MLP 네트워크를 이용하여 학습된다. 네트워크 초기화는 이전의 외부 반복(previous outer iteration)의 Q-값 파라미터, 이전 내부 반복(previous inner iteration)의 Q-값 파라미터 또는 Xavier의 방법으로부터의 임의의 입력이 될 수 있다. 네트워크 초기화가 존재하는 경우, 이는 학습을 위한 초기 파라미터로 사용된다. Xavier 방법으로부터의 임의 입력은 다른 초기화를 탐색하기 위해 활용된다.

종료 조건은

및 m> Mth 또는 m = Mmax로 정의된다. 이 조건은 측정된 MSE가 충분히 신뢰될 수 있게 하고, 노드의 수에 따라 네트워크가 완전히 활용될 것으로 기대할 수 있게 한다. MSE는 수학식 15와 같이 계산된다.

여기서

는 i 번째 샘플의 측정된 Q-값이다.

도 5는 몇몇 실시예에 따른 검출기 선택의 흐름도이다.

시스템은 동작과 함께, 채널 특징 및 LLR 특징을 훈련된 네트워크에 주입한다 (502). 시스템은 모든 동작이 테스트되는지를 결정한다 (504). 모든 동작이 테스트되지 않은 경우 시스템은 502를 반복한다. 모든 동작이 테스트되면 시스템은 최대 Q-값에 대응하는 최상의 동작을 찾는다 (506). 시스템은 최상의 동작에 대응하는 검출기를 사용한다 (508).

도 6은 몇몇 실시예에 따른 검출기 선택 시스템의 다이어그램이다. 시스템 (600)은 초기 뉴럴 네트워크에 기초한 LLR 특징, 채널 특징 및 동작을 추가적인 뉴럴 네트워크 (602)에 주입한다. 시스템 (600)은 뉴럴 네트워크 (602)에 대한 훈련이 완료된 후 보상 (604)을 생성하고 네트워크 가중치 (Q) (606)를 획득한다. 시스템 (600)은 LLR 특징들, 채널 특징들 및 이전 네트워크 가중치 (606)에 기초한 동작을 뉴럴 네트워크 (602)에 주입한다. 시스템 (600)은 보상 (608)을 생성하고 프로세스를 반복한다.

도 7은 몇몇 실시예에 따른 네트워크 환경에서의 전자 장치의 블록도이다. 도 7을 참조하면, 네트워크 환경 (700) 내의 전자 장치 (701)는 제1 네트워크 (798) (예를 들어, 근거리 무선 통신 네트워크)를 통해 전자 장치 (702)와 통신할 수 있고, 또는 제2 네트워크 (799) (예를 들어, 장거리 무선 통신 네트워크)를 통해 전자 장치 (704) 또는 서버 (708)와 통신할 수 있다. 전자 장치 (701)는 서버 (708)를 통해 전자 장치 (704)와 통신할 수 있다. 전자 장치 (701)는 프로세서 (720), 메모리 (730), 입력 장치 (750), 음향 출력 장치 (755), 디스플레이 장치 (760), 오디오 모듈 (770), 센서 모듈 (776), 인터페이스 (777), 햅틱 모듈 (779), 카메라 모듈 (780), 전력 관리 모듈 (788), 배터리 (789), 통신 모듈 (790), 가입자 식별 모듈 (SIM) (796) 또는 안테나 모듈 (797)을 포함할 수 있다. 몇몇 실시예에서, 구성 요소들 중 적어도 하나 (예 : 디스플레이 장치 (760) 또는 카메라 모듈 (780))는 전자 장치 (701)에서 생략되거나 하나 이상의 다른 구성 요소가 전자 장치 (701)에 추가될 수 있다. 몇몇 실시예에서, 구성 요소들 중 일부는 단일 집적 회로 (IC)로서 구현될 수 있다. 예를 들어, 센서 모듈 (776) (예를 들어, 지문 센서, 홍채 센서 또는 조도 센서)이 디스플레이 장치 (760) (예를 들어, 디스플레이)에 내장될 수 있다.

프로세서 (720)는 프로세서 (720)와 연결된 전자 장치 (701)의 적어도 하나의 다른 구성 요소 (예 : 하드웨어 또는 소프트웨어 구성 요소)를 제어하기위한 소프트웨어 (예 : 프로그램 (740))를 실행할 수 있고, 다양한 데이터를 처리하거나 계산할 수 있다. 데이터 처리 또는 계산의 적어도 일부로서, 프로세서 (720)는 다른 구성 요소 (예를 들어, 센서 모듈 (776) 또는 통신 모듈 (790))로부터 수신된 명령 또는 데이터를 휘발성 메모리 (732)에 로드하고, 휘발성 메모리 (732)에 저장된 명령 또는 데이터를 처리할 수 있고, 결과 데이터를 비휘발성 메모리 (734)에 저장할 수 있다. 프로세서 (720)는 메인 프로세서 (721) (예 : 중앙 처리 장치 (CPU) 또는 애플리케이션 프로세서 (AP)), 및 보조 프로세서 (710) (예 : 그래픽 처리 장치 (GPU), 이미지 신호 프로세서 (ISP), 센서 허브 프로세서 또는 통신 프로세서 (CP))를 포함할 수 있고, 보조 프로세서 (710)는 메인 프로세서 (721)와 독립적으로 또는 이와 함께 동작할 수 있다. 부가적으로 또는 대안적으로, 보조 프로세서 (710)는 메인 프로세서 (721)보다 적은 전력을 소비하거나 특정 기능을 실행하도록 구성될 수 있다. 보조 프로세서 (710)는 메인 프로세서 (721)와 별도로 또는 일부로 구현될 수 있다.

보조 프로세서 (710)는 메인 프로세서 (721)가 비활성 (예를 들어, 슬립) 상태에 있을 때 메인 프로세서 (721)를 대신하거나, 메인 프로세서 (721)가 활성 상태에 있는 동안 (예를 들어, 애플리케이션 실행) 메인 프로세서 (721)와 함께, 전자 장치 (701)의 구성 요소들 중 적어도 하나의 구성 요소 (예 : 디스플레이 장치 (760), 센서 모듈 (776) 또는 통신 모듈 (790))와 관련된 기능 또는 상태 중 적어도 일부를 제어할 수 있다. 몇몇 실시예에 따르면, 보조 프로세서 (710) (예 : 이미지 신호 프로세서 또는 통신 프로세서)는 보조 프로세서 (710)와 기능적으로 관련된 다른 구성 요소 (예 : 카메라 모듈 (780) 또는 통신 모듈 (790))의 일부로 구현될 수 있다.

메모리 (730)는 전자 장치 (701)의 적어도 하나의 구성 요소 (예 : 프로세서 (720) 또는 센서 모듈 (776))가 사용하는 다양한 데이터를 저장할 수 있다. 다양한 데이터는, 예를 들어, 소프트웨어 (예 : 프로그램 (740)) 및 관련 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리 (730)는 휘발성 메모리 (732) 또는 비휘발성 메모리 (734)를 포함할 수 있다.

프로그램 (740)은 소프트웨어로서 메모리 (730)에 저장될 수 있고, 예를 들어 운영 체제 (OS) (742), 미들웨어 (744), 또는 애플리케이션 (746)을 포함할 수 있다.

입력 장치 (750)은 전자 장치 (701)의 외부 (예 : 사용자)로부터 전자 장치 (701)의 다른 구성 요소 (예 : 프로세서 (720))가 사용할 명령 또는 데이터를 수신할 수 있다. 입력 장치 (750)는 예를 들어, 마이크, 마우스 또는 키보드를 포함할 수 있다.

음향 출력 장치 (755)는 전자 장치 (701) 외부로 음향 신호를 출력할 수 있다. 음향 출력 장치 (755)는 예를 들어, 스피커 또는 수신기를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 기록과 같은 일반적인 목적으로 사용될 수 있고, 수신기는 수신 통화(incoming call)를 수신하기 위해 사용될 수 있다. 몇몇 실시예에 따르면, 수신기는 스피커와 분리되거나 또는 일부로 구현될 수 있다.

디스플레이 장치 (760)는 전자 장치 (701)의 외부 (예 : 사용자)에게 시각적인 정보를 제공할 수 있다. 디스플레이 장치 (760)는 예를 들어 디스플레이, 홀로그램 장치, 또는 디스플레이, 홀로그램 장치 및 프로젝터 중 하나에 대응하는 것을 제어하기위한 프로젝터 및 제어 회로를 포함할 수 있다. 몇몇 실시예에 따르면, 디스플레이 장치 (760)는 터치를 감지하도록 구성된 터치 회로, 또는 터치에 의해 발생된 힘의 강도를 측정하도록 구성된 센서 회로 (예를 들어, 압력 센서)를 포함할 수 있다.

오디오 모듈 (770)은 사운드를 전기 신호로 또는 그 반대로 변환할 수 있다. 몇몇 실시예에 따르면, 오디오 모듈 (770)은 입력 장치 (750)를 통해 사운드를 얻거나, 사운드 출력 장치 (755) 또는 전자 장치 (701)과 직접 (예 : 유선) 또는 무선으로 연결된 외부 전자 장치 (702)의 헤드폰을 통하여 사운드를 출력할 수 있다.

센서 모듈 (776)은 전자 장치 (701)의 동작 상태 (예 : 전력 또는 온도) 또는 전자 장치 (701) 외부의 환경 상태 (예 : 사용자의 상태)를 감지할 수 있고, 전기 신호 또는 감지된 상태에 대응하는 데이터 값을 생성한다. 센서 모듈 (776)은 예를 들어 제스처 센서, 자이로 센서, 대기압 센서, 자기 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, 적외선 (IR) 센서, 생체 인식 센서, 온도 센서, 습도 센서 또는 조도 센서를 포함할 수 있다.

인터페이스 (777)는 전자 장치 (701)가 외부 전자 장치 (702)와 직접 (예를 들어, 유선) 또는 무선으로 연결되는 데 사용될 하나 이상의 특정 프로토콜을 지원할 수 있다. 몇몇 실시예에 따르면, 인터페이스 (777)는 예를 들어, HDMI (High Definition Multimedia Interface), USB (Universal Serial Bus) 인터페이스, SD (Secure Digital) 카드 인터페이스 또는 오디오 인터페이스를 포함할 수 있다.

연결 단자 (778)는 전자 장치 (701)가 외부 전자 장치 (702)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 몇몇 실시예에 따르면, 연결 단자 1678은, 예를 들어, HDMI 커넥터, USB 커넥터, SD 카드 커넥터 또는 오디오 커넥터 (예 : 헤드폰 커넥터)를 포함할 수 있다.

햅틱 모듈 (779)은 전기적 신호를 촉각적 감각 또는 운동감각을 통해 사용자에 의해 인식될 수 있는 기계적 자극 (예를 들어, 진동 또는 움직임) 또는 전기적 자극으로 변환할 수 있다. 몇몇 실시예에 따르면, 햅틱 모듈 (779)은 예를 들어 모터, 압전 소자(piezoelectric element) 또는 전기 자극기를 포함할 수 있다.

카메라 모듈 (780)은 정지 이미지 또는 동영상을 캡처할 수 있다. 몇몇 실시예에 따르면, 카메라 모듈 (780)은 하나 이상의 렌즈, 이미지 센서, 이미지 신호 프로세서 또는 플래시를 포함할 수 있다.

전력 관리 모듈 (788)은 전자 장치 (701)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈 (788)은 예를 들어 전력 관리 집적 회로 (PMIC)의 적어도 일부로서 구현될 수 있다.

배터리 (789)는 전자 장치 (701)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 몇몇 실시예에 따르면, 배터리 (789)는 예를 들어 재충전이 불가능한 1차 전지, 재충전이 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.

통신 모듈 (790)은 전자 장치 (701)와 외부 전자 장치 (예 : 전자 장치 (702), 전자 장치 (704) 또는 서버 (708)) 간의 직접 (예 : 유선) 통신 채널 또는 무선 통신 채널 설정을 지원할 수 있고, 설정된 통신 채널을 통해 통신을 하는 것을 지원할 수 있다. 통신 모듈 (790)은 프로세서 (720) (예를 들어, AP)와 독립적으로 동작할 수 있고 직접 (예를 들어, 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 통신 프로세서를 포함할 수 있다. 몇몇 실시예에 따르면, 통신 모듈 (790)은 무선 통신 모듈 (792) (예를 들어, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 글로벌 내비게이션 위성 시스템 (GNSS) 통신 모듈) 또는 유선 통신 모듈 (794) (예를 들어, 근거리 네트워크 (LAN) 통신 모듈 또는 전력선 통신 (PLC) 모듈) 을 포함할 수 있다. 이들 통신 모듈 중 대응하는 모듈은 제1 네트워크 (798) (예를 들어, 블루투스 TM, wireless-fidelity (Wi-Fi) 다이렉트 또는 Infrared Data Association (IrDA)의 표준과 같은 근거리 통신 네트워크)를 통해 또는 제2 네트워크 (799) (예를 들어, 셀룰러 네트워크, 인터넷 또는 컴퓨터 네트워크 (예를 들어, LAN 또는 WAN)와 같은 장거리 통신 네트워크)를 통해 외부 전자 장치와 통신할 수 있다. 이러한 다양한 유형의 통신 모듈은 단일 구성 요소 (예를 들어, 단일 IC)로서 구현될 수 있거나 서로 분리된 다중 구성 요소 (예를 들어, 다중 IC)로서 구현될 수 있다. 무선 통신 모듈 (792)은 가입자 식별 모듈 (796)에 저장된 가입자 정보 (예를 들어, 국제 이동 가입자 식별 정보 (IMSI))를 사용하여, 제1 네트워크 (798) 또는 제2 네트워크 (799)와 같은 통신 네트워크에서 전자 장치 (701)을 식별하고 인증할 수 있다.

안테나 모듈 (797)은 전자 장치 (701)의 외부 (예 : 외부 전자 장치)와 신호 또는 전력을 송수신할 수 있다. 몇몇 실시예에 따르면, 안테나 모듈 (797)은 하나 이상의 안테나를 포함할 수 있으며, 그로부터 제1 네트워크 (798) 또는 제2 네트워크 (799)와 같은 통신 네트워크에 사용되는 통신 방식에 적합한 적어도 하나의 안테나가 선택될 수 있다. 예를 들어, 통신 모듈 (790) (예 : 무선 통신 모듈 (792))에 의해 사용될 수 있다. 그 후, 신호 또는 전력은 선택된 적어도 하나의 안테나를 통해 통신 모듈 (790)과 외부 전자 장치 사이에서 송수신될 수 있다.

전술한 구성 요소들 중 적어도 일부는 서로 결합되어 주변 기기 간 통신 방식 (예를 들어, 버스, General Purpose Input and Output(GPIO), 직렬 주변기기 인터페이스 (SPI) 또는 모바일 산업 프로세서 인터페이스 (MIPI))을 통해 서로 신호 (예를 들어, 명령 또는 데이터)를 전달할 수 있다

몇몇 실시예에 따르면, 명령 또는 데이터는 제2 네트워크 (799)와 연결된 서버 (708)를 통해 전자 장치 (701)와 외부 전자 장치 (704) 사이에서 송수신될 수 있다. 각각의 전자 장치 (702, 1604)는 전자 장치 (701)와 동일한 유형 또는 다른 유형의 장치 일 수 있다. 전자 장치 (701)에서 실행될 동작의 전부 또는 일부는 하나 이상의 외부 전자 장치 (702, 1604 또는 1608)에서 실행될 수 있다. 예를 들어, 전자 장치 (701)가 기능 또는 서비스를 자동적이거나 사용자 또는 다른 장치의 요청에 응답하여 수행해야 하는 경우, 기능 또는 서비스를 실행하는 대신 또는 부가하여, 전자 장치 (701)는, 하나 이상의 외부 전자 장치가 기능 또는 서비스의 적어도 일부를 수행하도록 요청할 수 있다. 요청을 수신한 하나 이상의 외부 전자 장치는 요청된 기능 또는 서비스의 적어도 일부, 또는 요청과 관련된 추가 기능 또는 추가 서비스를 수행할 수 있고, 수행 결과를 전자 장치 (701)로 전달할 수 있다. 전자 장치 (701)는 요청에 대한 응답의 적어도 일부로서 결과의 추가 처리와 함께 또는 처리 없이 결과를 제공할 수 있다. 이를 위해, 예를 들어 클라우드 컴퓨팅, 분산 컴퓨팅 또는 클라이언트-서버 컴퓨팅 기술이 사용될 수 있다.

몇몇 실시예는 머신 (예를 들어, 전자 장치 (701))에 의해 판독 가능한 저장 매체 (예 : 내장 메모리 (736) 또는 외장 메모리 (738))에 저장되는 하나 이상의 명령어를 포함하는 소프트웨어 (예 : 프로그램 (740))로서 구현될 수 있다. 예를 들어, 전자 장치 (701)의 프로세서는 저장 매체에 저장된 하나 이상의 명령어 중 적어도 하나를 호출하여 프로세서의 제어 하에 하나 이상의 다른 구성 요소를 사용하거나 사용하지 않고 실행할 수 있다. 따라서, 호출된 적어도 하나의 명령에 따라 적어도 하나의 기능을 수행하도록 기계가 작동될 수 있다. 하나 이상의 명령어는 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행 가능한 코드를 포함할 수 있다. 기계-판독 가능 저장 매체는 비-일시적 저장 매체의 형태로 제공될 수 있다. "비-일시적"이라는 용어는 저장 매체가 실재하는 장치인 것을 나타내고, 신호 (예를 들어, 전자기파)를 포함하지 않지만, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 위치와 데이터가 저장 매체에 임시적으로 저장되는 위치를 구별하지는 않는다.

몇몇 실시예에 따르면, 본 발명의 방법은 컴퓨터 프로그램 제품에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 판매자와 구매자 사이의 제품으로 거래될 수 있다. 컴퓨터 프로그램 제품은 머신-판독 가능 저장 매체 (예를 들어, CD-ROM) 형태로 배포되거나, 애플리케이션 스토어 (예를 들어, Play Store^TM)를 통해 온라인으로 배포(예를 들어, 다운로드 또는 업로드)되거나, 직접적으로 2 개의 유저 장치 (예를 들어, 스마트폰) 사이에 배포될 수 있다. 온라인으로 배포되는 경우, 컴퓨터 프로그램 제품의 적어도 일부는 제조자 서버의 메모리, 애플리케이션 스토어의 서버, 또는 중계 서버와 같은 기계-판독 가능 저장 매체에 일시적으로 생성되거나 적어도 일시적으로 저장될 수 있다.

몇몇 실시예에 따르면, 전술한 구성 요소의 각 구성 요소 (예를 들어, 모듈 또는 프로그램)는 단일 엔티티 또는 다중 엔티티를 포함할 수 있다. 전술한 구성 요소들 중 하나 이상이 생략될 수 있고, 하나 이상의 다른 구성 요소가 추가될 수 있다. 대안적으로 또는 추가적으로, 복수의 구성 요소 (예를 들어, 모듈 또는 프로그램)가 단일 구성 요소에 통합될 수 있다. 이 경우, 통합 구성 요소(integrated component)는 통합 이전에 복수의 구성 요소 중 대응하는 하나에 의하여 수행되는 것과 동일 또는 유사한 방식으로 복수의 구성 요소 각각의 하나 이상의 기능을 여전히 수행할 수 있다. 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작은 순차적으로, 병렬로, 반복적으로 또는 경험적으로(heuristically) 수행될 수 있거나, 하나 이상의 동작이 상이한 순서로 실행되거나 생략될 수 있거나, 또는 하나 이상의 다른 동작이 추가될 수 있다.

본 발명의 특정 실시예들이 본 발명의 상세한 설명에서 설명되었지만, 본 발명은 본 발명의 범위를 벗어나지 않고 다양한 형태로 수정될 수도 있다. 따라서, 본 발명의 범위는 설명된 실시예들에 기초하여 결정될 것이 아니라 청구 범위 및 그 등가물에 기초하여 결정될 것이다.

Claims

k 번째 리소스 요소 (RE)(resource element)에 대한 제1 특징 세트를 추출하고,
제1 리소스 요소 내지 k-1 번째 리소스 요소로부터 제2 특징 세트를 추출하고,
상기 추출된 제1 특징 세트 및 상기 추출된 제 2 특징 세트에 기초하여 RL (강화 학습)(reinforcement learning) 뉴럴 네트워크 (neural network)를 사용하여 상기 k 번째 리소스 요소에 대한 심볼 검출기를 선택하는 것을 포함하고,
상기 k는 1보다 큰 정수인 심볼 검출기(symbol detector) 선택 방법.
제 1항에 있어서,
상기 제1 특징 세트는 상기 k 번째 리소스 요소에 대한 채널 매트릭스에 기초하는 심볼 검출기 선택 방법.
제 1항에 있어서,
상기 제2 특징 세트는 누적 로그 우도 비 (LLR)(log likelihood ratios)에 기초하는 심볼 검출기 선택 방법.
제 1항에 있어서,
상기 제2 특징 세트는 정규화된 위치 (normalized location), LLR 분포의 절대값 또는 소프트 심볼 분포를 포함하는 심볼 검출기 선택 방법.
제 1항에 있어서,
상기 RL 뉴럴 네트워크는 멀티 레이어 퍼셉트론 (MLP)(Multi-Layer Perceptron)을 포함하는 심볼 검출기 선택 방법.
제 1항에 있어서,
상기 RL 뉴럴 네트워크는 상기 심볼 검출기의 복잡성(complexity)에 해당되는 복잡성 스코어를 생성하는 심볼 검출기 선택 방법.
제 6항에 있어서,
상기 심볼 검출기는 상기 생성된 복잡성 스코어에 기초하여 선택되는, 심볼 검출기 선택 방법.
제 1항에 있어서,
상기 RL 뉴럴 네트워크는 디코딩의 성공 여부를 나타내는 디코딩 페널티 (decoding penalty)를 생성하는 심볼 검출기 선택 방법.
제 8항에 있어서,
상기 디코딩 페널티는 라그랑주 승수 (Lagrange multiplier) 페널티 파라미터에 기초하는 심볼 검출기 선택 방법.
제 1항에 있어서,
상기 RL 뉴럴 네트워크는 딥-Q 네트워크 (DQN)(deep Q-network)을 사용하여 훈련되는 심볼 검출기 선택 방법.
메모리; 및
프로세서를 포함하고,
상기 프로세서는,
k 번째 리소스 요소에 대한 제1 특징 세트를 추출하고,
제1 리소스 요소 내지 k-1 번째 리소스 요소로부터 제2 특징 세트를 추출하고,
상기 추출된 제1 특징 세트 및 상기 추출된 제 2 특징 세트에 기초하여 RL 뉴럴 네트워크를 사용하여 상기 k 번째 리소스 요소에 대한 심볼 검출기를 선택하고,
상기 k는 1보다 큰 정수인 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 제1 특징 세트는 상기 k 번째 리소스 요소에 대한 채널 매트릭스에 기초하는 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 제2 특징 세트는 누적 로그 우도 비 (LLR)에 기초하는 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 제2 특징 세트는 정규화된 위치, LLR 분포의 절대값 또는 소프트 심볼 분포를 포함하는 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 RL 뉴럴 네트워크는 멀티 레이어 퍼셉트론 (MLP)을 포함하는 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 RL 뉴럴 네트워크는 상기 심볼 검출기의 복잡성에 해당되는 복잡성 스코어를 생성하는 심볼 검출기 선택 시스템.
제16항에 있어서,
상기 심볼 검출기는 상기 생성된 복잡성 스코어에 기초하여 선택되는, 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 RL 뉴럴 네트워크는 디코딩의 성공 여부를 나타내는 디코딩 페널티를 생성하는 심볼 검출기 선택 시스템.
제18항에 있어서,
상기 디코딩 페널티는 라그랑주 승수 페널티 파라미터에 기초하는 심볼 검출기 선택 시스템.
제11항에 있어서,
상기 RL 뉴럴 네트워크는 딥-Q 네트워크 (DQN)(deep Q-network)을 사용하여 훈련되는 심볼 검출기 선택 시스템.