KR20230072355A

KR20230072355A - 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법

Info

Publication number: KR20230072355A
Application number: KR1020210183753A
Authority: KR
Inventors: 이상훈; 문한길; 김현욱; 박재하; 방경호; 양현철
Original assignee: 삼성전자주식회사
Priority date: 2021-11-17
Filing date: 2021-12-21
Publication date: 2023-05-24

Abstract

일 실시 예에 따른 전자 장치는, 컴퓨터로 실행 가능한 명령어들이 저장된 메모리, 및 메모리에 억세스하여 명령어들을 실행하는 프로세서를 포함하고, 명령어들은 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 오디오 신호의 비트레이트를 결정하고, 비트레이트에 따라 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하고, 전송 환경을 분석한 결과 및 패킷들의 종류 중 적어도 하나를 기초로 패킷들 별로 해당 패킷의 전송에 이용되는 변조 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고, 패킷들 별로 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성될 수 있다.

Description

오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE FOR PERFORMING AUDIO STREAMING AND OPERATING METHOD THEREOF}

아래의 개시는 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법에 관한 것이다.

무선 통신 기술의 발전으로 다양한 종류의 웨어러블 기기들(wearable devices)이 스마트폰과 함께 사용되고 있다. 예를 들어, 사용자가 음악을 듣거나 통화 시에 사용하는 헤드셋(head set)은 유선으로 연결하는 방식에서 블루투스와 같은 무선으로 연결하는 방식으로 빠르게 변환하고 있다. 특히, 좌/우가 분리된 TWS(True-Wireless Stereo) 방식의 무선 헤드셋이 대중화되면서, TWS 오디오 음질에 대한 시장 기대치가 상승하고 있다. 이에 따라, 국내외 주요 음원 서비스 업체에서도 고음질의 무손실 음원과 같은 하이파이 오디오 서비스를 강화하고 있다.

고음질의 오디오 데이터를 블루투스와 같은 무선 전송 기술을 이용하여 전송하기 위해서는 무선으로 다량의 데이터를 전송할 수 있어야 한다. 무선 헤드셋의 특성상, 전송 환경이 좋지 않은 약전계 상황에서 음 끊김이 발생할 수 있으며, 전송하는 데이터의 크기가 커질수록 음 끊김에 취약할 수 있다. 예를 들어, 좌/우가 분리된 TWS 방식의 무선 헤드셋에서는 이러한 음 끊김 현상이 더욱 빈번하게 발생할 수 있다.

다양한 실시 예에 따르면, 무선 통신 채널의 전송 환경을 분석한 결과(예: 혼잡도 또는 전계 상황)에 따라 비트레이트(bit rate)를 설정할 수 있다.

다양한 실시 예에 따르면, 무선 전송 환경에서 고음질 오디오 서비스를 위한 대용량의 데이터 전송 시에 오디오 데이터의 크기 및 전송하고자 하는 오디오 패킷의 패킷 타입(packet type)을 가변적으로 조정하여 음 끊김을 방지하고, 고음질 오디오 품질을 유지할 수 있다.

일 실시 예에 따른 전자 장치는, 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리, 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 명령어들은, 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호의 비트레이트(bit rate)를 결정하고, 상기 비트레이트에 따라 상기 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하고, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고, 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성될 수 있다.

일 실시 예에 따른 전자 장치의 동작 방법은 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작, 상기 비트레이트에 따라 상기 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하는 동작, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하는 동작, 및 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하는 동작을 포함할 수 있다.

일 실시 예에 따른 전자 장치는 무선 통신 채널의 전송 환경을 분석한 결과(예: 혼잡도 또는 전계 상황)에 따라 비트레이트를 설정하고, 오디오 프레임 내 복수의 패킷들에 대하여 적절한 패킷 타입을 결정함으로써 전송 환경이 혼잡한 상황에서도 음 끊김이 발생하지 않도록 할 수 있다.

일 실시 예에 따른 전자 장치는 전송 환경의 분석 결과와 전송하는 각 패킷(예: 확장 패킷들)의 중요도에 따라 패킷들 별로 패킷 타입을 설정함으로써 약전계 상황에서 음 끊김 현상을 개선하고 오디오 음질을 개선할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시에 따른 오디오 모듈의 블록도이다.
도 3은 다양한 실시 예에 따른 오디오 신호 처리 시스템의 일 예를 나타낸 도면이다.
도 4는 일 실시 예에 따른 대용량 오디오 스트리밍 환경에서의 패킷 전송 방법의 개요를 도시한 도면이다.
도 5는 일 실시 예에 따른 전자 장치의 블록도이다.
도 6은 일 실시 예에 따른 패킷 타입들 및 패킷 타입 별 타임 슬롯의 사용량을 나타낸 도면이다.
도 7은 다른 실시 예에 따른 전자 장치의 블록도이다.
도 8은 일 실시 예에 따른 오디오 인코더의 구성 및 동작을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다.
도 10은 다른 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 12는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 13은 일 실시 예에 따른 오디오 스트리밍에서 패킷 타입을 조절하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다.
도 15는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 16은 일 실시 예에 따른 UHQ 오디오 신호의 전송 비트레이트 별 패킷 페이로드 사이즈(payload size)를 나타낸 도면이다.
도 17은 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 18은 다른 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다.

이하, 실시 예에들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은, 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.

입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.

음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.

디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.

배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.

무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.

다양한 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.

일실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.

도 2는 다양한 실시에 따른 오디오 모듈(170)의 블록도(200)이다.

도 2를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(210), 오디오 입력 믹서(220), ADC(analog to digital converter)(230), 오디오 신호 처리기(240), DAC(digital to analog converter)(250), 오디오 출력 믹서(260), 또는 오디오 출력 인터페이스(270)를 포함할 수 있다.

오디오 입력 인터페이스(210)는 입력 모듈(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 오디오 신호가 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 획득되는 경우, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일실시 예에 따르면, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 통해 수신된 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(210)는 복수의 오디오 입력 채널들을 포함하고, 상기 복수의 오디오 입력 채널들 중 대응하는 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일실시 예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(210)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.

오디오 입력 믹서(220)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일실시 예에 따르면, 오디오 입력 믹서(220)는, 오디오 입력 인터페이스(210)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.

ADC(230)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 예를 들어, 일실시 예에 따르면, ADC(230)는 오디오 입력 인터페이스(210)을 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(220)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.

오디오 신호 처리기(240)는 ADC(230)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 일실시 예에 따르면, 오디오 신호 처리기(240)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일실시 예에 따르면, 오디오 신호 처리기(240)의 하나 이상의 기능들은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.

DAC(250)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 예를 들어, 일실시 예에 따르면, DAC(250)는 오디오 신호 처리기(240)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.

오디오 출력 믹서(260)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일실시 예에 따르면, 오디오 출력 믹서(260)는 DAC(250)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(210)을 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.

오디오 출력 인터페이스(270)는 DAC(250)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(260)에 의해 합성된 아날로그 오디오 신호를 음향 출력 모듈(155)을 통해 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)는, 예를 들어, dynamic driver 또는 balanced armature driver 같은 스피커, 또는 리시버를 포함할 수 있다. 일실시 예에 따르면, 음향 출력 모듈(155)는 복수의 스피커들을 포함할 수 있다. 이런 경우, 오디오 출력 인터페이스(270)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일실시 예에 따르면, 오디오 출력 인터페이스(270)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.

일실시 예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(220) 또는 오디오 출력 믹서(260)를 별도로 구비하지 않고, 오디오 신호 처리기(240)의 적어도 하나의 기능을 이용하여 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.

일실시 예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(210)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(270)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일실시 예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.

본 문서에 개시된 다양한 실시 예에들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

본 문서의 다양한 실시 예에들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예에들로 한정하려는 것이 아니며, 해당 실시 예에의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나 또는 둘"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 문서의 다양한 실시 예에들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시 예에들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예에들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시 예에들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예에들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예에들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

도 3은 다양한 실시 예에 따른 오디오 신호 처리 시스템(10)의 일 예를 나타낸 도면이다.

도 3을 참조하면, 일 실시 예에 따른 오디오 신호 처리 시스템(10)은 제1 전자 장치(101) 및 제2 전자 장치(102)를 포함할 수 있다. 제1 전자 장치(101) 및 제2 전자 장치(102)는 도 1을 참조하여 전술한 전자 장치(101)의 구성을 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(101)는 제2 전자 장치(102)와 유선 또는 무선으로 연결되고, 제2 전자 장치(102)가 전달하는 오디오 신호를 출력할 수 있다. 제1 전자 장치(101)는 복수의 마이크를 이용하여 외부 사운드 시그널을 수집하고, 수집된 오디오 신호를 제2 전자 장치(102)로 전달할 수 있다.

일 실시 예에 따르면, 제1 전자 장치(101)는 근거리 통신 채널(예: 블루투스 모듈 기반의 통신 채널)을 제2 전자 장치(102)와 형성할 수 있는 무선 이어폰일 수 있다. 예를 들어, 제1 전자 장치(101)는 완전 무선 이어폰(TWS: true-wireless stereo), 무선 헤드폰(headphone) 및 무선 헤드셋(headset) 중 어느 하나일 수 있다. 도 3에서 제1 전자 장치(101)가 커널형 무선 이어폰으로 도시되어 있으나, 이로 제한되는 것은 아니다. 일례로, 제1 전자 장치(101)는 양호한 사용자 음성 신호를 수집하기 위해 적어도 일부 하우징이 특정 방향으로 돌출된 지주(stem) 형 무선 이어폰일 수 있다. 다른 일 실시 예에 따르면, 제1 전자 장치(101)는 유선 방식으로 제2 전자 장치(102)와 연결되는 유선 이어폰일 수 있다.

일 실시 예에 따르면, 이어폰 타입의 제1 전자 장치(101)는 사용자의 귀에 삽입될 수 있는 삽입부(301a)와, 삽입부(301a)와 연결되며 사용자의 귓바퀴에 적어도 일부가 거치될 수 있는 거치부(301b)를 가지는 하우징(301)(또는 케이스)을 포함할 수 있다. 제1 전자 장치(101)는 복수의 마이크(150-1, 150-2)을 포함할 수 있다.

다양한 실시 예에 따르면, 전자 장치(101)는 사용자의 입력을 수신할 수 있는 입력 인터페이스(377)를 포함할 수 있다. 입력 인터페이스(377)는 예를 들어, 물리적인 인터페이스(예: 물리 버튼, 터치 버튼)와 가상 인터페이스(예: 제스처, 사물 인식, 음성 인식)를 포함할 수 있다. 일 실시 예에서, 전자 장치(101)는 사용자의 피부와 접촉을 감지할 수 있는 터치 센서를 포함할 수 있다. 예를 들어, 전자 장치(101)의 일부에는 터치 센서가 배치된 영역(예: 입력 인터페이스(377))이 위치할 수 있다. 사용자가 신체 부위를 이용하여 이 영역을 터치하는 것으로 입력을 인가할 수 있다. 이러한 터치 입력은 예를 들어, 한 번 터치, 복수 터치, 스와이프(swipe), 및/또는 튕기기(flick)를 포함할 수 있다.

마이크(150-1, 150-2)는 도 1을 참조하여 전술한 입력 모듈(150)의 기능을 수행할 수 있고, 도 1을 참조하여 설명한 부분과 중복되는 설명은 생략한다. 마이크(150-1, 150-2) 중 제1 마이크(150-1)는 거치부(301b)에 배치되어 제1 전자 장치(101)가 사용자의 귀에 착용된 상태에서 외부 주변 사운드를 수집할 수 있도록, 귀 내측을 기준으로, 음공의 적어도 일부가 외부로 노출되도록 배치될 수 있다. 마이크(150-1, 150-2) 중 제2 마이크(150-2)는 삽입부(301a)에 배치될 수 있다. 제2 마이크(150-2)는 제1 전자 장치(101)가 사용자의 귀에 착용된 상태에서 바깥귀길(또는, 외이도) 내부로 전달되는 신호를 수집할 수 있도록, 바깥귀길의 귓바퀴쪽 개구부를 기준으로, 음공의 적어도 일부가 바깥귀길 내측을 향해 노출되거나 바깥귀길의 내벽과 적어도 일부가 접촉되도록 배치될 수 있다. 예를 들어, 사용자가 제1 전자 장치(101)를 착용하고 음성을 발화하는 경우, 발화에 따른 떨림의 적어도 일부가 사용자의 피부나 근육 또는 뼈와 같은 신체조직을 통해 전달되고, 전달된 떨림은 귀 내측에서 제2 마이크(150-2)에 의해 주변 사운드로 수집될 수 있다.

다양한 실시 예에 따르면, 제2 마이크(150-2)는 사용자의 귀 내측 공동에서 소리를 수집할 수 있는 다양한 형태의 마이크(예: 인이어 마이크, 이너 마이크, 또는 골전도 마이크)일 수 있다. 예를 들어, 제2 마이크(150-2)는, 음성을 감지하기 위한 적어도 하나의 공기 전도 마이크(air conduction microphone) 및/또는 적어도 하나의 골 전도 마이크(bone conduction microphone)를 포함할 수 있다. 공기 전도 마이크는 공기를 통해 전달되는 음성(예: 사용자의 발화)을 감지하여, 감지된 음성에 대응하는 음성 신호를 출력할 수 있다. 골 전도 마이크는, 사용자의 발성에 의한 골(bone)(예: 두개골)의 진동을 측정하여, 측정된 진동에 대응하는 음성 신호를 출력할 수 있다. 골 전도 마이크는, 골 전도 센서 또는 그 밖의 다양한 명칭으로 호칭될 수 있다. 공기 전도 마이크에 의해 감지되는 음성은 사용자의 발화가 공기를 통해 전달되는 동안 외부 잡음(noise)이 섞인 음성일 수 있다. 골 전도 마이크에 의해 감지되는 음성은 골의 진동에 따라 감지된 음성이므로 외부 잡음의 유입(예: 잡음의 영향)이 적은 음성일 수 있다.

도 3에서는 제1 마이크(150-1) 및 제2 마이크(150-2)가 각각 한 개씩 전자 장치(101)에 탑재된 것으로 도시되었으나 이에 제한되는 것은 아니고, 외부 마이크인 제1 마이크(150-1) 및 인이어 마이크인 제2 마이크(150-2)는 전자 장치(101)에 복수 개 탑재될 수 있다. 도 3에서는 생략되었으나, 전자 장치(101)에는 음성 활동 감지(VAD: voice activity detection)를 위한 가속기(accelerator) 및 진동 센서(예: VPU(voice pickup unit) 센서)가 더 포함될 수 있다.

일 실시 예에 따르면, 제1 전자 장치(101)에는 도 1 및 도 2를 참조하여 전술한 오디오 모듈(170)이 포함될 수 있다. 도 1 및 도 2를 참조하여 설명한 부분과 중복되는 설명은 생략한다. 제1 전자 장치(101)는 오디오 모듈(170)을 통해(예를 들어, 도 2의 오디오 신호 처리기(240)를 통해) 노이즈 처리(예: 노이즈 억제(noise suppressing) 처리), 주파수 대역 조절, 이득(gain) 조절과 같은 오디오 신호 처리를 수행할 수 있다. 제1 전자 장치(101)의 구성은 도 5b를 참조하여 상세히 설명한다. 제1 전자 장치(101)는 도 4 내지 도 11에서 전자 장치(101)로 지칭될 수 있다.

일 실시 예에 따르면, 전자 장치(101)는 사용자의 귀에 착용된 상태를 감지할 수 있는 센서를 포함할 수 있다. 예를 들어, 센서는 물체와의 거리를 감지할 수 있는 센서(예: 적외선 센서, 레이저 센서), 물체와의 접촉을 감지할 수 있는 센서(예: 터치 센서)를 포함할 수 있다. 이러한 센서는 전자 장치(101)가 사용자의 귀에 착용됨에 따라, 피부와의 거리 또는 피부와의 접촉을 감지하여 신호를 생성할 수 있다. 전자 장치(101)의 프로세서(120)는 센서가 생성한 신호를 감지하여 전자 장치(101)가 현재 착용 상태인지 여부를 인식할 수 있다.

일 실시 예에 따르면, 제2 전자 장치(102)는 제1 전자 장치(101)와 통신 채널을 형성하고, 제1 전자 장치(101)로 지정된 오디오 신호를 전달하거나, 제1 전자 장치(101)로부터 오디오 신호를 수신할 수 있다. 예를 들어, 제2 전자 장치(102)는 제1 전자 장치(101)와 통신 채널(예: 유선 또는 무선 통신 채널)을 형성할 수 있는 휴대 단말, 단말 장치, 스마트폰, 태블릿 PC, 패드류, 웨어러블 전자 장치와 같은 다양한 전자 장치일 수 있다. 제2 전자 장치(102)는 도 1을 참조하여 전술한 전자 장치(101)와 동일하거나 대응하는 구성을 포함할 수 있고, 구현에 따라 도 1의 전자 장치(101)보다 적거나 많은 구성을 포함할 수 있다.

일 실시 예에 따르면 오디오 신호 처리 시스템(10)에서, 제1 전자 장치(101)는 향상된 사용자 음성 신호를 획득하기 위해 빔포밍(beamforming)을 수행할 수 있다. 예를 들어 제1 전자 장치(101)는 복수개의 마이크들(150-1, 150-2)로 수신한 외부 사운드 시그널에 대해 빔포밍을 수행할 수 있다.

도 4는 일 실시 예에 따른 오디오 스트리밍 환경에서의 패킷 전송 방법의 개요를 도시한 도면이다. 도 4를 참조하면, 일 실시 예에 따른 대용량 오디오 스트리밍 환경에서의 전송 환경이 좋은 경우('Good condition')와 전송 환경이 나쁜 경우('Bad condition')에 전송되는 패킷 타입들을 나타낸 도면(400)이 도시된다. 일 실시 예에 따라 이하 설명되는 전자 장치(예: 도 1의 전자 장치(101))의 동작들은 전자 장치의 통신 모듈(예: 도 1의 통신 모듈(190))에 포함되는 블루투스 칩에 의해 수행될 수 있고, 또는 전자 장치(101)의 프로세서(예: 도 1의 프로세서(120))에 의해 수행될 수도 있다. 블루투스 네트워크는 2.4GHz 대역을 사용하는 무선 기술이므로, 예를 들어, 와이파이(Wi-Fi), 지그비(Zigbee), 또는 엘티이 밴드(LTE Band) 7과 같은 동일 주파수 대역을 사용하는 다른 통신 기술에 의해 통신 품질이 영향받을 수 있다. 블루투스 네트워크는 예를 들어, 블루투스 레거시(legacy) 네트워크와, BLE(bluetooth low energy) 네트워크를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101) 및 외부 전자 장치(예: 도 1의 전자 장치(102))는 블루투스 레거시 네트워크와 BLE 네트워크 중 하나의 네트워크를 통해 무선 통신을 수행하거나, 두 개의 네트워크를 통해 무선 통신을 수행할 수 있다.

블루투스 오디오는 무선 전송 특성상, 전송 환경이 좋지 않은 약전계 상황에서 음 끊김이 발생할 수 있다. 일 예로, 블루투스 표준 코덱인 SBC(sub band codec)에서 일반적으로 사용하는 비트레이트는 229kbps이고, 무손실 오디오의 대표 코덱인 FLAC(free lossless audio codec)에서 사용하는 평균 비트레이트는 900kbps정도로 약 4배 정도 많을 수 있다. 블루투스 무선 통신을 이용하여 UHQ(96kHz/24bit) 오디오, 또는 무손실 오디오와 같은 대용량의 오디오 데이터를 전달하는 경우, 무선 전송 환경에 따라 음 끊김이 발생할 수 있다.

일반적인 블루투스 오디오 스트리밍 서비스에서는 부호화(encoding)한 오디오 신호의 데이터 크기가 작기 때문에 하나의 오디오 프레임을 하나의 오디오 패킷으로 전송할 수 있다. 하지만 무손실 오디오와 같이 대용량 오디오 신호를 전송하는 경우, 하나의 오디오 프레임을 하나의 패킷으로 전송하는 것이 불가능하고, 여러 개의 패킷에 나누어 전송해야 하므로 무선 전송 환경이 나빠졌을 때에 단순히 비트레이트를 조절하거나 또는 패킷 타입을 변경하는 것만으로는 약전계 상황에서 음끊김을 줄이면서 오디오 음질을 보장하는 것이 어려울 수 있다.

일 실시 예에서는 하나의 오디오 프레임을 복수의 오디오 패킷들에 나누어 전송하는 경우, 전송 환경의 분석 결과(예: 혼잡도 또는 전계 상황)에 따라 비트레이트를 설정하고, 전송 환경의 분석 결과와 함께 전송하는 패킷의 종류, 및/또는 각 패킷(예: 확장 패킷들)의 중요도를 고려하여 패킷들 별로 다양한 패킷 타입들(예: 제1패킷 타입 내지 제4 패킷 타입)을 설정함으로써 약전계 상황에서 음끊김 현상을 개선하고 오디오 음질을 향상시킬 수 있다.

도 5는 일 실시 예에 따른 전자 장치의 블록도이다. 도 5를 참조하면, 일 실시 예에 따른 전자 장치(500)(예: 도 1의 전자 장치(101))는 메모리(510)(예: 도 1의 메모리(130)), 프로세서(530)(예: 도 1의 프로세서(120)) 및 통신 인터페이스(550)(예: 도 1의 통신 모듈(190))를 포함할 수 있다. 메모리(510), 프로세서(530) 및 통신 인터페이스(550)는 통신 버스(505)를 통해 서로 통신할 수 있다.

메모리(510)는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)을 저장할 수 있다. 메모리(510)는 통신 인터페이스(550)를 통해 수신한 신호 또는 데이터 및/또는 프로세서(530)에 의해 구성된 오디오 패킷을 저장할 수 있다.

메모리(510)는 후술하는 프로세서(530)의 처리 과정에서 생성되는 다양한 정보를 저장할 수 있다. 이 밖에도, 메모리(510)는 각종 데이터와 프로그램을 저장할 수 있다. 메모리(510)는 휘발성 메모리(예: 도 1의 휘발성 메모리(132)) 또는 비휘발성 메모리(예: 도 1의 비휘발성 메모리(134))를 포함할 수 있다. 메모리(510)는 하드 디스크와 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.

프로세서(530)는 메모리(510)에 억세스(access)하여 명령어들을 실행할 수 있다. 프로세서(530)는 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 오디오 신호의 비트레이트(bit rate)를 결정할 수 있다. 프로세서(530)는 예를 들어, 일정 주기 단위로 오디오 패킷들을 전송하는 전자 장치(500)의 전송 버퍼의 잔여 공간에 대한 정보, 전자 장치(500)에서 측정되는 수신 신호의 강도 지표(RSSI), 전자 장치(500)에 연결된 블루투스 디바이스의 개수 및 전자 장치(500)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 전송 환경을 전송 환경의 레벨들로 분석할 수 있다. 블루투스 신호와 와이파이(WiFi) 신호 둘 다 1.4GHz 대역을 사용하여 전송되므로 전자 장치(500)에서 두 신호를 함께 사용하는 경우, 간섭이 발생할 수 있다. '와이파이(WiFi)의 사용 상태 값'은 전자 장치(500)가 와이파이(WiFi)를 사용하는지 여부를 나타내는 값으로써, 예를 들어, 전자 장치(500)가 와이파이(WiFi)를 사용하는 온(on) 상태에서는 '1'의 값을 가지고, 와이파이(WiFi)를 사용하지 않는 오프(off) 상태에서는 '0'의 값을 가질 수 있다.

프로세서(530)는 전송 환경의 레벨들에 기초하여, 예를 들어, 전송 환경의 레벨이 나타내는 무선 전송 환경이 좋을 때는 높은 비트레이트 값을 설정하고, 전송 환경의 레벨이 나타내는 무선 전송 환경이 좋지 않을 때는 낮은 비트레이트 값을 설정하는 방식으로 오디오 신호의 비트레이트를 결정할 수 있다.

프로세서(530)는 비트레이트에 따라 오디오 신호를 오디오 스트리밍을 위한 메인 패킷(예: 도 8의 메인 패킷(850)) 및 음질 향상을 위한 복수의 확장 패킷들(예: 도 8의 확장 패킷들(860))을 포함하는 패킷들로 부호화 할 수 있다. 프로세서(530)는 예를 들어, 무손실 오디오와 같이 대용량의 오디오 신호 전송이 필요한 경우, 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 메인 패킷 및 복수의 확장 패킷들로 부호화할 수 있다.

프로세서(530)는 오디오 신호를 손실 압축에 의해 부호화하고, 부호화된 신호를 메인 패킷으로 구성할 수 있다. 또한, 프로세서(530)는 오디오 신호와 손실 압축에 의해 부호화된 신호 간의 잔차 신호를 무손실 부호화하고, 무손실 부호화 한 신호를 복수의 확장 패킷들로 분할할 수 있다.

프로세서(530)가 오디오 신호를 메인 패킷과 확장 패킷들로 분할하여 부호화하는 방법은 아래의 도 8 내지 도 10을 참조하여 보다 구체적으로 설명한다.

프로세서(530)는 전송 환경을 분석한 결과 및 패킷들의 종류 중 적어도 하나를 기초로, 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하도록 구성될 수 있다. 프로세서(530)는 예를 들어, 해당 패킷의 종류가 메인 패킷인 경우, 전송 환경의 분석 결과와 무관하게 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정하도록 구성될 수 있다. 제1 패킷 타입은 예를 들어, 2-DH1 패킷 또는 2-DH5 패킷 일 수 있으며, 반드시 이에 한정되지는 않는다. 또한, 프로세서(530)는 해당 패킷의 종류가 확장 패킷인 경우, 전송 환경의 레벨 및 확장 패킷의 중요도 중 적어도 하나를 기초로, 확장 패킷의 패킷 타입을 제1 패킷 타입 내지 제4 패킷 타입 중 어느 하나로 결정하도록 구성될 수 있다. 예를 들어, 제1 패킷 타입은 2-DH1 패킷이고, 제2 패킷 타입은 2-DH3 패킷이고, 제3 패킷 타입은 2-DH5패킷이며, 제4 패킷 타입은 3-DH5 패킷일 수 있으며, 반드시 이에 한정되지는 않는다. 일 실시 예에 따른 패킷 타입들은 아래의 도 6을 참조하여 보다 구체적으로 설명한다.

실시 예에 따라서, UHQ(96kHz/24bit), Hifi(48kHz/24bit) 오디오와 같이 전송 용량이 큰 고음질 오디오의 경우, 프로세서(530)는 전송 환경을 분석한 결과에 오디오 신호의 데이터 량을 더 고려하여 패킷을 분할하고, 패킷 타입을 결정할 수 있다. 프로세서(530)가 오디오 신호의 데이터 량을 더 고려하여 패킷 타입을 결정하는 방법은 아래의 도 18을 참조하여 보다 구체적으로 설명한다.

프로세서(530)는 패킷들 별로 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성될 수 있다.

프로세서(530)는 프로그램을 실행하고, 전자 장치(500)를 제어할 수 있다. 프로세서(530)에 의하여 실행되는 프로그램 코드는 메모리(510)에 저장될 수 있다.

또한, 프로세서(530)는 아래의 도 5 내지 도 18를 통해 후술하는 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 기법을 수행할 수 있다. 전자 장치(500)는 프로세서(530)가 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 전자 장치(500)일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 프로세서(530)는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphic processing unit; GPU), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array), 및/또는 NPU(neural processing unit)를 포함할 수 있다.

도 6은 일 실시 예에 따른 패킷 타입들 및 패킷 타입 별 타임 슬롯의 사용량을 나타낸 도면이다. 도 6a를 참조하면, 일 실시 예에 따른 A2DP(advanced audio distribution profile)에서 사용되는 패킷의 패킷 타입들을 나타낸 표(600)가 도시된다. 여기서 패킷은 예를 들어, ACL(asynchronous connection-less) 패킷일 수 있으며, 반드시 이에 한정되지는 않는다.

블루투스 표준에서는 다양한 사용 용도에 맞게 여러 가지 프로파일들을 정의하고 있으며, 오디오 신호의 전송을 위해서는 예를 들어, A2DP(advanced audio distribution profile)와 같은 프로파일이 사용될 수 있다. A2DP에 의할 경우, 전자 장치(예: 도 1의 전자 장치(101), 및/또는 도 5의 전자 장치(500))는 예를 들어, 표(600)에 개시된 것과 같은 ACL 패킷을 사용하여 오디오 신호를 전송할 수 있다. 전자 장치(500)는 오디오 신호의 전송을 위해 전송하는 데이터의 크기 및/또는 오디오 신호의 비트레이트에 따라 사용할 ACL 패킷의 적절한 패킷 타입을 선택할 수 있다. ACL 패킷은 패킷의 변조(modulation) 방식에 따라 크게 2M 패킷과 3M 패킷으로 나눌 수 있다. 2M 패킷은 3M 패킷보다 전송하는 데이터 량이 적으므로 혼잡한 환경에서 음 끊김에 강건할 수 있다. 또한, 3M 패킷은 2M 패킷보다 전송하는 데이터 량이 많으므로 대용량의 데이터를 전송하기에 유리할 수 있다. 같은 2M 패킷 또는 3M 패킷 내에서도 아래의 도 6b와 같이 패킷 전송에 사용하는 타임 슬롯(time slot)들의 개수에 따라 패킷 타입들이 나뉘어질 수 있다.

일 실시 예에 따른 패킷 타입들은 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수에 따라 달라질 수 있다. 패킷 타입들은 예를 들어, 표(600)에 개시된 것과 같은 2-DH1 패킷 타입, 2-DH3 패킷 타입, 2-DH5 패킷 타입, 3-DH1 패킷 타입, D-DH3 패킷 타입, 및 D-DH5 패킷 타입을 포함할 수 있으며, 반드시 이에 한정되지는 않는다. 패킷 타입들에서 맨 앞에 기재된 2 또는 3은 패킷의 변조 방식에 해당하는 2M 패킷 또는 3M 패킷을 나타내고, DH 뒤에 기재된 숫자(예: 1, 3, 5)는 해당 패킷이 사용하는 타임 슬롯(들)의 개수를 나타낼 수 있다. 예를 들어 2-DH3 패킷 타입은 3개의 타임 슬롯들을 사용하는 2M 패킷을 나타내고, 3-DH5패킷 타입은 5개의 타임 슬롯들을 사용하는 3M 패킷을 나타낼 수 있다.

도 6b를 참조하면, 패킷 타입 별 타임 슬롯들의 사용량을 나타낸 도면(620)이 도시된다. 하나의 타임 슬롯은 예를 들어, 625u 초(sec)의 시간을 가질 수 있다. 해당 패킷이 사용하는 타임 슬롯의 개수가 적을수록 전송 에러가 발생할 확률이 더 적으며, 동일한 전송 주기에서 더 많은 재전송 기회를 얻을 수 있다. 때문에 패킷이 사용하는 타임 슬롯의 개수가 적을수록 전송 에러에 더 강인한 특성을 가질 수 있다.

도 7은 다른 실시 예에 따른 전자 장치의 블록도이다. 도 7을 참조하면, 일 실시 예에 따른 전자 장치(700)(예: 도 1의 전자 장치(101), 및/또는 도 5의 전자 장치(500))는 전계 상황 분석 모듈(710), 비트레이트 조절 모듈(720), 패킷 타입 조절 모듈(730), 오디오 인코더(740), 패킷 구성 모듈(750), 및 송신 모듈(760)을 포함할 수 있다.

전계 상황 분석 모듈(710)은 일정 주기 단위로 오디오 패킷들을 전송하는 전자 장치(700)의 전송 버퍼의 잔여 공간에 대한 정보, 전자 장치(700)에서 측정되는 수신 신호의 강도 지표(received signal strength indication; RSSI), 전자 장치(700)에 연결된 블루투스 디바이스의 개수 및 전자 장치(700)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 수집할 수 있다. 전계 상황 분석 모듈(710)은 수집한 정보 중 적어도 하나 또는 이들의 조합을 이용하여 전송 환경을 분석하고, 분석 결과를 전송 환경의 레벨들로 나타낼 수 있다.

전계 상황 분석 모듈(710)은 무선 통신 채널의 전계 강도를 포함하는 전송 환경을 분석할 수 있다. '전계 강도(electromagnetic field strength)'은 전파가 전달될 때의 전파의 세기를 단위 면적당 에너지로 표시한 것으로서, 전송 환경의 좋고 나쁨을 나타내는 지표의 일 예시로 사용될 수 있다. 이하에서 사용되는 용어 '전계 상황'은 '전송 환경'과 동일한 의미로 이해될 수 있다.

전계 상황 분석 모듈(710)은 전자 장치(700)의 전송 버퍼의 상태를 지속적으로 수집할 수 있다. 여기서, '전송 버퍼의 상태'는 전송 버퍼의 현재 잔여 공간을 의미할 수 있다. 전계 상황 분석 모듈(710)은 전송 버퍼의 상태를 이용하여 데이터를 송신하는 전자 장치(700)와 데이터를 수신하는 장치 간의 패킷 전송 상황을 파악할 수 있다. 예를 들어, 전송 환경이 좋은 경우에는 전송 버퍼의 잔여 공간을 나타내는 버퍼의 레벨은 일정한 상태를 유지하지만, 전송 환경이 좋지 않은 경우에는 전송 버퍼에 데이터가 쌓여 전송 버퍼의 레벨이 높아질 수 있다. 다시 말해, 전송 버퍼의 레벨이 일정 기준보다 낮은 경우에는 전송이 원활하여 버퍼링된 데이터가 적은 상태, 다시 말해 전송 환경이 좋은 상태에 해당할 수 있다. 또한, 전송 버퍼의 레벨이 일정 기준보다 높은 경우에는 전송이 원활하지 않아 버퍼링된 데이터가 많은 상태, 다시 말해 전송 환경이 나쁜 상태에 해당할 수 있다.

전계 상황 분석 모듈(710)은 전송 버퍼의 현재 잔여 공간이 일정 기준보다 많이 남은 정도 또는 현재 잔여 버퍼 공간이 일정 기준보다 적게 남은 정도에 따라 전송 환경의 레벨을 예를 들어, 1레벨(매우 좋음)부터 5레벨(매우 나쁨)까지 분석할 수 있다.

또한, 전계 상황 분석 모듈(710)은 전송 환경 측정을 위해 수신 신호의 강도 지표(RSSI)를 추가적으로 활용할 수도 있다. 수신 신호의 강도 지표(RSSI)는 각 장치에서 측정되는 수신 신호의 강도를 나타내는 지표를 의미하며, 예를 들어, 가까운 거리에서 전송 환경이 좋을수록 높은 값을, 기기가 서로 멀리 떨어져 전송 환경이 나쁠수록 낮은 값을 가질 수 있다. 전계 상황 분석 모듈(710)은 전자 장치(700)에서 측정되는 수신 신호의 강도 지표(RSSI)가 일정 기준보다 높은 경우에는 전송 환경이 좋은 상태를 나타내고, 수신 신호의 세기가 일정 기준보다 낮거나 같은 경우에는 전송 환경이 나쁜 상태를 나타낸다고 분석할 수 있다.

비트레이트 조절 모듈(720)은 전계 상황 분석 모듈(710)에서 전송 환경을 분석한 결과에 해당하는 전송 환경의 레벨에 따라서 비트레이트를 현재 전송 상황에 적합하게 변경시킬 수 있다. 비트레이트 조절 모듈(720)은 전송 환경이 좋을수록, 다시 말해 전송 환경의 레벨이 레벨 1에 가까울수록 높은 비트레이트 값을 설정하고, 전송 환경이 좋지 않을수록, 다시 말해, 전송 환경의 레벨이 레벨 5에 가까울수록 낮은 비트레이트 값을 설정할 수 있다.

비트레이트 조절 모듈(720)은 전송 환경의 레벨에 따라 설정된 비트레이트를 오디오 인코더(740)에게 전달할 수 있다.

패킷 타입 조절 모듈(730)은 전계 상황 분석 모듈(710)에서 분석된 전송 환경의 분석 결과와 패킷들의 종류(예: 메인 패킷(예: 도 8의 메인 패킷(850)) 또는 확장 패킷(예: 도 8의 확장 패킷들(860)))에 따라 전송에 사용할 적절한 패킷 타입을 결정할 수 있다.

패킷 타입 조절 모듈(730)은 예를 들어, 전송 환경의 레벨에 따라 패킷 타입을 결정할 수 있다. 패킷 타입 조절 모듈(730)은 예를 들어, 전송 환경의 레벨이 1에 가까울수록 3M 패킷을 선택하고, 전송 환경의 레벨이 5에 가까울수록 2M 패킷을 사용할 수 있다. 또한, 패킷 타입 조절 모듈(730)은 같은 2M 패킷 또는 3M 패킷 내에서도 전송 환경이 좀 더 좋은 경우에는 5개의 타임 슬롯들을 사용하는 패킷 타입을 선택하고, 전송 환경이 나쁜 경우에는 3개 혹은 1개의 타임 슬롯(들)을 사용하는 패킷 타입을 선택할 수 있다.

패킷 타입 조절 모듈(730)은 예를 들어, 패킷 종류에 따른 패킷 타입을 결정할 수 있다. 메인 패킷(850)은 끊김 없는 오디오 스트리밍을 위해서 반드시 전송되어야 하는 우선 순위가 가장 높은 패킷에 해당할 수 있다. 확장 패킷(860)은 잔차 오디오 데이터를 포함하는 패킷으로 오디오 음질 향상을 위하여 추가적으로 전송되는 패킷에 해당할 수 있다.

예를 들어, 해당 패킷의 종류가 메인 패킷(850)인 경우, 패킷 타입 조절 모듈(730)은 무선 전송 환경에 상관없이 항상 안정적으로 전송될 수 있도록 패킷 타입을 선택할 수 있다. 패킷 타입 조절 모듈(730)은 해당 패킷의 종류가 메인 패킷(850)인 경우, 전송 환경의 분석 결과와 무관하게 메인 패킷(850)의 안정적 전송을 위한 제1 패킷 타입, 다시 말해 2M 패킷에서 가장 작은 개수의 타임 슬롯을 사용하는 2-DH1 패킷 타입을 선택할 수 있다.

또는 해당 패킷의 종류가 확장 패킷(860)인 경우, 패킷 타입 조절 모듈(730)은 전송 환경의 레벨 및 확장 패킷(860)의 중요도 중 적어도 하나를 기초로, 확장 패킷(860)의 패킷 타입을 선택할 수 있다. 패킷 타입 조절 모듈(730)은 무선 전송 환경이 좋은 경우(예: 강전계)에는 음질을 개선하기 위하여, 모든 확장 패킷(860)들이 전송될 수 있는 제4 패킷 타입(예: 3-DH5) 또는 제3 패킷 타입(예: 2-DH5)을 선택할 수 있다. 이와 달리, 무선 전송 환경이 나쁜 경우(예: 약전계)에 패킷 타입 조절 모듈(730)은 중요한 확장 패킷(860)부터 안정적으로 전송될 수 있도록 제1 패킷 타입(예: 2-DH1) 또는 제2 패킷 타입(예: 2-DH3)을 선택할 수 있다.

오디오 인코더(740)는 비트레이트 조절 모듈(720)로부터 결정된 비트레이트를 이용하여 입력된 오디오 신호(705)를 부호화(encoding)할 수 있다. 오디오 인코더(740)는 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 메인 패킷(850) 및 복수의 확장 패킷(860)들로 부호화할 수 있다. 오디오 인코더(740)에 의해 부호화 된 오디오 신호는 패킷 변환을 위해 패킷 구성 모듈(750)에 전달될 수 있다. 오디오 인코더(740)의 구성 및 동작은 아래의 도 8을 참조하여 보다 구체적으로 설명한다.

패킷 구성 모듈(750)은 패킷 타입 조절 모듈(730)로부터 결정된 패킷 타입에 맞게, 메인 패킷(850) 및 복수의 확장 패킷(860)들의 패킷 타입을 결정하고, 결정된 패킷 타입 및/또는 패킷의 사이즈에 맞게 오디오 인코더(740)에서 부호화된 오디오 데이터를 각 오디오 패킷에 패킷화(packetizing)할 수 있다.

송신 모듈(760)은 패킷 구성 모듈(750)에서 구성된 오디오 패킷을 수신 장치로 전송할 수 있다.

일 실시 예에 따른 전자 장치(700)는 무선 전송 환경에서 고음질 오디오 서비스를 위한 대용량의 데이터 전송 시에 오디오 데이터의 크기 및/또는 사용하는 전송 패킷의 패킷 타입을 가변적으로 조정하여 음끊김을 방지하고, 고음질 오디오 퀄리티를 유지할 수 있다.

도 8은 일 실시 예에 따른 오디오 인코더의 구성 및 동작을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시 예에 따른 오디오 인코더(740)는 블루투스 오디오 인코더(BT encoder)(810), InMDCT(integer modified descrete consie transform) 모듈(820), 인버스 양자화(inverse quantization) 모듈(830), 및 무손실 압축 코딩(lossless coding) 모듈(840)을 포함할 수 있다.

오디오 인코더(740)에 입력된 오디오 신호(705)는 오디오 스트리밍에서 이용되는 블루투스 오디오 인코더(810)를 통하여 부호화될 수 있다. 블루투스 오디오 인코더(810)는 일반적인 오디오 코덱의 동작을 수행하고, 블루투스 오디오 인코더(810)를 통해 부호화된 신호는 메인 패킷(850)으로 구성될 수 있다.

InMDCT모듈(820)은 오디오 신호(705)를 주파수 도메인의 신호로 변환할 수 있다. 여기서, MDCT는 시간 도메인 신호를 주파수 도메인 신호로 변경해주는 방법으로 일반적으로 'time to frequency domain transform'이라고 표현할 수도 있다.

오디오 인코더(740)는 주파수 도메인에서 오디오 신호(705)와 인버스 양자화 모듈(830)에 의해 부호화된 신호 간의 차이에 해당하는 잔차(residual) 신호(835)를 구할 수 있다. 무손실 코딩 모듈(840)은 잔차 신호(835)를 무손실 부호화하고, 무손실 부호화한 신호를 복수의 확장 패킷들(860)로 분할하여 구성할 수 있다. 오디오 인코더(740)가 잔차 신호(835)를 확장 패킷들(860)로 분할하여 부호화하는 방법은 아래의 도 9 내지 도 10을 참조하여 보다 구체적으로 설명한다.

블루투스 오디오 인코더(810)는 손실 압축을 수행하므로 블루투스 오디오 인코더(810)에 의해 부호화 신호와 원본 신호인 오디오 신호(705)를 비교하는 경우, 신호의 손실이 발생할 수 있다. 따라서, 일 실시 예에서는 원본 신호인 오디오 신호(705)와 인버스 양자화 모듈(830)에 의한 손실 압축을 통해 부호화된 오디오 신호 간의 차이에 해당하는 잔차 신호(835)를 무손실 코딩 모듈(840)에 의한 무손실 부호화에 의해 복수의 확장(extension) 패킷들(863)로 분할하여 전송할 수 있다. 확장 패킷들(863)은 스트리밍을 위해 꼭 필요한 패킷은 아니지만 복수의 확장 패킷들(863)을 성공적으로 많이 수신할수록 음질이 원본 오디오 신호(705)와 유사할 수 있다.

수신 장치 측의 오디오 디코더에서는 첫번째로 메인 패킷(850)을 디코딩하게 되며, 메인 패킷(850)을 디코딩한 오디오 신호만을 출력하더라도 블루투스 오디오 스트리밍 수준의 음질을 확보할 수 있다. 수신 장치는 메인 패킷(850)에 더하여 추가적으로 전송되는 확장 패킷들(860)을 디코딩하여 메인 패킷(850)의 오디오 신호와 합쳐 줌으로써 원본인 오디오 신호(705)와 유사한 무손실 오디오 서비스를 제공받을 수 있다. 이와 같이 메인 패킷(850)에 확장 패킷(860)이 하나씩 추가될수록 원본인 오디오 신호(705)에 가까운 오디오 신호가 출력될 수 있다.

도면에 도시하지는 않았지만, 예를 들어, UHQ 오디오의 경우, 손실 압축 방식을 사용한 인코딩을 수행하므로 메인 패킷만이 존재하고, 별도의 확장 패킷들이 존재하지 않을 수 있다. 아래의 도 18을 통해 후술하겠지만, UHQ 오디오 신호는 사이즈가 매우 크므로 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 UHQ 오디오 패킷을 2M 패킷이 아니라 3M 패킷으로 전송할 수 있다. 이 경우, 전자 장치는 전송 환경에 따라서 3M 패킷을 사이즈가 작은 2M 패킷 2 개로 분할하여 전송할 수 있다.

도 9는 일 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 잔차 신호(예: 도 8의 잔차 신호(835))를 확장 패킷들(910,920,930,940)로 분할하여 부호화하는 과정이 도시된다.

전자 장치(700), 보다 구체적으로 오디오 인코더(예: 도 7의 오디오 인코더(740))는 무손실 부호화한 잔차 신호를 최상위 비트(most significant bit; MSB)부터 최하위 비트(lease significant bit; LSB)까지 복수의 영역들로 구분하고, 복수의 영역들의 중요도 별로 확장 패킷들로 분할할 수 있다. 전자 장치(700)는 잔차 신호(835)를 부호화한 비트 평면(900)에서 최상위 비트(MSB)에 대응하는 영역부터 최하위 비트(LSB)에 대응하는 영역까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(910)부터 중요도가 가장 낮은 제4 확장 패킷(940)으로 분할할 수 있다. 잔차 신호(835)를 4개의 영역들로 구분하는 경우, 음질 향상을 위해 최상위 비트(MSB)에 위치한 잔차 신호(835)의 데이터가 가장 중요한 데이터에 해당하며, 최하위 비트(LSB)에 가까울수록 데이터의 중요도가 떨어질 수 있다. 최상위 비트(MSB)는 임의의 데이터 형의 최상위 비트로서 가장 왼쪽에 위치하므로 "left-most bit(LMB)"로 불릴 수도 있다.

전자 장치(700)는 예를 들어, 비트 평면 분할(bit-plane slicing) 방식에 의해 최상위 비트(MSB)에 대응하는 영역을 중요도가 가장 높은 제1 확장 패킷(910)으로 분할하고, 제1 확장 패킷(910)에 대응하는 영역의 아래 영역을 중요도가 두 번째로 높은 제2 확장 패킷(920)으로 분할할 수 있다. 전자 장치(700)는 제2 확장 패킷(920)에 대응하는 영역의 아래 영역을 중요도가 세 번째로 높은 제3 확장 패킷(930)으로 분할할 수 있다. 또한, 전자 장치(700)는 최하위 비트(LSB)에 대응하는 영역을 중요도가 가장 낮은 제4 확장 패킷(940)으로 분할할 수 있다. 여기서, '최상위 비트(MSB)에 대응하는 영역'은 최상위 비트를 포함하는 영역으로 이해될 수 있다. 또한, '최하위 비트(LSB)에 대응하는 영역'은 최하위 비트를 포함하는 영역으로 이해될 수 있다.

일 실시 예에서는 설명의 편의를 위하여, 확장 패킷들의 중요도를 4단계로 구분하였으나 반드시 이에 한정되는 것은 아니고, 3단계, 5단계 또는 그 이상의 단계로의 분할 또한 가능하다.

전자 장치(700)는 잔차 신호(835)를 부호화한 비트 평면(900)의 각 영역들에 해당하는 데이터를 해당 영역에 대응하는 확장 패킷들(910,920,930,940)을 이용하여 전송할 수 있다.

도 10은 다른 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다. 도 10을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 잔차 신호(예: 도 8의 잔차 신호(835))를 확장 패킷들(1010,1020,1030,1040)로 분할하여 부호화하는 과정이 도시된다.

전자 장치(700), 보다 구체적으로 오디오 인코더(예: 도 7의 오디오 인코더(740))는 무손실 부호화한 잔차 신호(835)의 주파수 대역을 복수의 대역들로 구분하고, 복수의 대역들에 위치하는 데이터의 중요도 별로 확장 패킷들로 분할할 수 있다. 전자 장치(700)는 무손실 부호화한 잔차 신호(835)를 주파수 대역에 따라 예를 들어, 4개의 영역들로 구분하고, 각 주파수 대역에 대응하는 영역의 신호를 확장 패킷들(1010,1020,1030,1040) 각각을 이용하여 전송할 수 있다.

잔차 신호(835)를 주파수 대역(1000)으로 구분하는 경우, 저주파 대역에 위치한 잔차 신호(835)의 데이터가 가장 중요한 데이터에 해당하고, 고주파 대역에 위치한 잔차 신호(835)의 데이터가 가장 덜 중용한 데이터에 해당할 수 있다.

전자 장치(700)는 잔차 신호(835)의 주파수 대역(1000)에서 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(1010)부터 중요도가 가장 낮은 제4 확장 패킷(1040)까지 분할할 수 있다.

잔차 신호(835)의 주파수 대역(1000)에서 저주파 대역에 위치한 잔차 신호(835)의 데이터가 가장 중요한 데이터이며, 고주파 쪽에 위치할수록 데이터의 중요도가 떨어질 수 있다. 전자 장치(700)는 저주파 대역에 대응하는 영역의 잔차 신호(835)를 중요도가 가장 높은 제1확장 패킷(1010)으로 분할하고, 고주파 대역으로 갈수록 순차적으로 중요도가 두번째로 높은 제2 확장 패킷(1020), 및 중요도가 세번째로 높은 제3 확장 패킷(1030)으로 분할할 수 있다. 전자 장치(700)는 주파수 대역(1000)에서 가장 오른쪽에 해당하는 고주파 대역에 위치하는 데이터를 중요도가 가장 낮은 제4 확장 패킷(1040)으로 분할할 수 있다.

도 9와 마찬가지로, 일 실시 예에서는 설명의 편의를 위하여, 확장 패킷들(1010,1020,1030,1040)의 중요도를 4단계로 구분하였으나 반드시 이에 한정되는 것은 아니고, 3단계, 5단계 또는 그 이상의 단계로의 분할 또한 가능하다.

전자 장치(700)는 잔차 신호(835)의 주파수 대역(1000)에서 각 주파수 대역에 해당하는 데이터를 해당 주파수 대역에 대응하는 확장 패킷들(1010,1020,1030,1040)을 이용하여 전송할 수 있다.

도 11은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 11을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 동작 1110 내지 동작 1160을 통해 오디오 패킷들을 전송할 수 있다.

동작 1110에서, 전자 장치(500)는 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석할 수 있다. 전자 장치(500)는 예를 들어, 일정 주기 단위로 오디오 패킷들을 전송하는 전자 장치(500)의 전송 버퍼의 잔여 공간에 대한 정보, 전자 장치(500)에서 측정되는 수신 신호의 강도 지표(RSSI), 전자 장치(500)에 연결된 블루투스 디바이스의 개수 및 전자 장치(500)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 전송 환경을 전송 환경의 레벨들로 분석할 수 있다.

동작 1120에서, 전자 장치(500)는 동작 1110에서의 전송 환경의 분석 결과를 기초로, 오디오 신호의 비트레이트(bit rate)를 결정할 수 있다. 전자 장치(500)는 동작 1110에서 분석된 전송 환경의 레벨들에 기초하여 오디오 신호의 비트레이트를 결정할 수 있다.

동작 1130에서, 전자 장치(500)는 동작 1120에서 결정한 비트레이트에 따라 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화할 수 있다. 전자 장치(500)는 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 메인 패킷 및 복수의 확장 패킷들로 부호화할 수 있다. 전자 장치(500)는 오디오 신호를 손실 압축에 의해 부호화하여 메인 패킷으로 구성할 수 있다. 전자 장치(500)는 오디오 신호와 손실 압축에 의해 부호화된 신호 간의 잔차 신호를 무손실 부호화하고, 무손실 부호화한 신호를 복수의 확장 패킷들로 분할할 수 있다.

전자 장치(500)가 확장 패킷들을 부호화하는 방법의 예시들은 다음과 같을 수 있다. 전자 장치(500)는 예를 들어, 부호화한 잔차 신호를 최상위 비트(MSB)부터 최하위 비트(LSB)까지 복수의 영역들로 구분하고, 복수의 영역들의 중요도 별로 확장 패킷들로 분할할 수 있다. 또는 전자 장치(500)는 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고, 복수의 대역들에 위치하는 데이터의 중요도 별로 확장 패킷들로 분할할 수 있다.

동작 1140에서, 전자 장치(500)는 동작 1110에서 전송 환경을 분석한 결과 및 패킷들의 종류 중 적어도 하나를 기초로, 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정할 수 있다. 전자 장치(500)는 예를 들어, 해당 패킷의 종류가 메인 패킷인 경우, 전송 환경의 분석 결과와 무관하게 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정할 수 있다. 또는 전자 장치(500)는 해당 패킷의 종류가 확장 패킷인 경우, 전송 환경의 레벨 및 확장 패킷의 중요도 중 적어도 하나를 기초로, 확장 패킷의 패킷 타입을 예를 들어, 제1 패킷 타입 내지 제4 패킷 타입 중 어느 하나로 결정할 수 있다.

동작 1150에서, 전자 장치(500)는 패킷들 별로 동작 1140에서 결정한 패킷 타입을 반영한 오디오 패킷들을 구성할 수 있다.

동작 1160에서, 전자 장치(500)는 동작 1150에서 구성한 오디오 패킷들을 전송할 수 있다.

도 12는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.

도 12를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 예를 들어, TWS 헤드셋을 이용하여 오디오 스트리밍을 수행하는 경우, 동작 1210 내지 동작 1270을 통해 오디오 신호의 부호화 및 패킷 전송을 수행할 수 있다.

동작 1210에서, 전자 장치(500)는 입력된 오디오 신호를 입력 버퍼에 버퍼링(buffering)할 수 있다.

동작 1210과 함께 동작 1250에서, 전자 장치(500)는 입력된 오디오 신호가 전달된 전송 환경의 전계를 분석할 수 있다.

동작 1260에서, 전자 장치(500)는 동작 1250의 무선 통신 환경의 전계 분석 결과를 기초로, 비트레이트를 결정할 수 있다. 전자 장치(500)는 예를 들어, 전계 분석에 따른 전송 환경이 미리 설정된 기준보다 좋은 경우, 높은 비트레이트를 설정하고, 전송 환경이 미리 설정된 기준보다 나쁜 경우, 낮은 비트레이트를 설정할 수 있다.

동작 1220에서, 전자 장치(500)는 동작 1210에서 입력 버퍼에 저장된 오디오 신호를, 동작 1260에서 설정된 비트레이트를 이용해 인코딩할 수 있다. 전자 장치(500)는 예를 들어, 무손실 오디오와 같이 대용량의 오디오 신호 전송이 필요한 경우, 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 나누어 인코딩할 수 있다.

동작 1270에서, 전자 장치(500)는 동작 1250에서의 무선 전송 환경의 전계 분석 결과 및 패킷의 종류를 고려하여 패킷 타입을 결정할 수 있다. 예를 들어, 무선 전송 환경이 좋다면, 전자 장치(500)는 도 6a의 표(600)에서 우측 하단 방향에 해당하는 3-DH5와 같이 전송할 수 있는 데이터 양이 많고, 많은 개수의 타임 슬롯들을 이용하는 패킷 타입을 결정할 수 있다. 이와 달리, 전송 환경이 좋지 않다면, 전자 장치(500)는 도 6a의 표(600)에서 좌측 상단 방향에 해당하는 2- DH1과 같이 전송할 수 있는 데이터 양이 작고, 적은 개수의 타임 슬롯들을 이용하지만, 안정적인 패킷 타입을 결정할 수 있다.

동작 1230에서, 전자 장치(500)는 동작 1220에서 인코딩한 데이터를 동작 1270에서 결정된 패킷 타입에 맞게 패킷화(packetizing)할 수 있다.

동작 1240에서, 전자 장치(500)는 동작 1230에서 패킷화한 오디오 패킷을 전송할 수 있다.

도 13은 일 실시 예에 따른 오디오 스트리밍에서 패킷 타입을 조절하는 방법을 설명하기 위한 도면이다. 도 13을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 하이파이 오디오를 위한 스케일러블(scalable) 무손실 오디오 스트리밍에서 패킷 타입들을 조절하는 방법을 설명하기 위한 도면(1300)이 도시된다.

도 13에 도시된 메인 패킷(1310)은 예를 들어, SSC(Samsung scalable codec)와 같은 코어 코덱(core codec)에 의해 인코딩될 수 있다. 메인 패킷(1310)(예: 도 8의 메인 패킷(850))은 전송 환경에 따라 예를 들어, 88~192kbps 또는 88~229 kbps의 비트레이트로 전송될 수 있다. 메인 패킷과 확장(extension) 패킷(들)(예: 도 8의 확장 패킷들(860))이 결합된 패킷(1330)에서 메인 패킷은 꼭 전송되어야 하는 중요한 패킷으로 매 오디오 데이터를 부호화 할 때마다 전송되어야 하며, 확장 패킷(들)은 전송 환경이 좋을 경우에 순차적으로 전송될 수 있다. 확장 패킷(들)은 원본 오디오 데이터와 메인 패킷(1310) 간의 차이에 해당하는 잔차 신호(예: 도 8의 잔차 신호(835))를 부호화한 데이터에 해당할 수 있다. 해당 잔차 신호(835)는 여러 개의 확장 패킷들로 나누어 전송되며, 확장 패킷들 모두가 전송에 성공하여 모든 잔차 신호(835)가 전송되는 경우, 수신 장치가 무손실 부호화를 수행할 수 있다.

전자 장치(500)는 전송 환경의 분석 결과에 따라, 채널 조건(channel condition), 다시 말해 전송 환경이 나쁜 경우에는 메인 패킷(1310)을 88kbps의 낮은 비트레이트로 2-DH3과 같이 가장 안정적인 패킷 타입에 의해 전송하다가 채널 조건이 좋아질수록 192kbps 또는 229kbps와 같이 점차 높은 비트레이트로 2-DH5와 같이 타임 슬롯의 개수가 늘어난 패킷 타입에 의해 전송할 수 있다. 또한, 전자 장치(500)는 채널 조건이 점차 좋아짐에 따라 메인(core) 패킷과 확장(extension) 패킷(들)로 구성된 복수의 패킷(1330)을 512kbps의 비트레이트로 복수의2-DH3패킷 타입으로 전송하다가 채널 조건이 점차 개선됨에 따라 패킷(1330)을 2-DH5와 같이 더 많은 전송 용량을 갖는 패킷 타입에 의해 전송하거나, 또는 패킷(1330)에서 확장 패킷들을 전송하는데 이용되는 타임 슬롯의 개수가 더 큰 3-DH5 패킷 타입을 선택하여 전송할 수 있다.

도 14는 일 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다. 도 14를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 무선 전송 환경이 좋은 경우와 나쁜 경우에 메인 패킷(1410)(예: 도 8의 메인 패킷(850)) 및 확장 패킷(1430)(예: 도 8의 확장 패킷들(860))의 전송에 이용하는 패킷 타입들을 나타낸 도면(1400)이 도시된다.

전술한 바와 같이, 메인 패킷(1410)은 전송 환경에 상관없이 끊김없이 전송되어야 하므로 전자 장치(500)는 메인 패킷(1410)을 음 끊김에 강건성이 높은 2M 패킷으로 전송할 수 있다. 전자 장치(500)는 무선 전송 환경의 분석 결과와 무관하게, 메인 패킷(1410)을 예를 들어, 2-DH5 패킷 타입으로 전송할 수 있다.

전자 장치(500)는 전송 환경이 좋을 때에는 최대한 많은 잔여 신호를 전송하여 고음질을 유지하는 것이 중요하기 때문에 전송 데이터 양이 큰 3M 패킷을 이용하여 확장 패킷(1430)을 전송할 수 있다. 전송 환경이 점점 나빠지게 되면, 패킷 전송에 실패하는 경우가 발생할 수 있으므로, 전자 장치(500)는 전송 환경이 일정 수준 이하가 되면 확장 패킷(1430)을 전송하던 3M 패킷을 2M 패킷으로 변환하여 전송을 수행할 수 있다. 2M 패킷을 사용할 경우, 전자 장치(500)가 전송할 수 있는 데이터 양은 줄어들지만 전송 성공 가능성이 높아지므로 안정적으로 패킷을 전송할 수 있다. 전자 장치(500)는 전송 환경이 나빠지면 2M 패킷 내에서도 5개의 타입 슬롯들을 사용하는 2-DH5 패킷에서 3개의 타임 슬롯들을 사용하는 2-DH3 패킷으로 패킷 타입을 변환할 수 있다. 전자 장치(500)는 전송 환경이 더 나빠지는 경우, 메인 패킷(1410)만을 전송하고, 메인 패킷(1410)을 전송하는 비트레이트를 제어함으로써 음 끊김 강건성을 유지할 수 있다.

도 15는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.

도 15를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 동작 1510 내지 동작 1570을 통해 스케일러블 무손실 오디오 패킷의 패킷 타입을 선택하여 전송할 수 있다.

동작 1510에서, 전자 장치(500)는 전송하고자 하는 패킷의 종류가 메인 패킷(예: 도 8의 메인 패킷(850), 및/또는 도 14의 메인 패킷(1410))인지 또는 확장 패킷(예: 도 8의 확장 패킷들(860), 및/또는 도 14의 확장 패킷(1430))인지를 결정할 수 있다.

동작 1510에서 전송하고자 하는 패킷의 종류가 메인 패킷(1410)으로 결정된 경우, 동작 1520에서, 전자 장치(500)는 메인 패킷(1410)을 전송할 패킷 타입을 제1 패킷 타입으로 결정할 수 있다. 제1 패킷 타입은 예를 들어, 2-DH1일 수도 있고, 또는 2-DH3일 수도 있다.

동작 1510에서 전송하고자 하는 패킷의 종류가 확장 패킷(1430)으로 결정된 경우, 동작 1530에서, 전자 장치(500)는 해당 확장 패킷(1430)의 중요도를 분류하고, 동작 1540에서 전송 환경을 분석할 수 있다. 이때, 동작 1530과 동작 1540은 동시에 수행될 수도 있고, 또는 일정 시간 차를 두고 수행될 수도 있으며, 동작 1540이 먼저 수행된 후, 동작 1530이 수행될 수도 있다.

동작 1530에서 확장 패킷(1430)의 중요도가 분류되고, 동작 1540에서 전송 환경의 분석이 완료되면, 동작 1550에서, 전자 장치(500)는 확장 패킷(1430)의 중요도 및 전송 환경의 분석 결과를 기초로, 확장 패킷(1430)의 패킷 타입을 제1 패킷 타입 내지 제4 패킷 타입 중 어느 하나의 패킷 타입으로 결정할 수 있다.

동작 1560에서, 전자 장치(500)는 동작 1520에서 결정된 제1 패킷 타입 또는 동작 1550에서 결정된 패킷 타입에 따라 오디오 패킷을 구성할 수 있다.

동작 1570에서, 전자 장치(500)는 동작 1560에서 구성된 오디오 패킷을 전송할 수 있다.

도 16은 일 실시 예에 따른 UHQ 오디오 신호의 전송 비트레이트 별 패킷 페이로드 사이즈(payload size)를 나타낸 도면이다.

일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 UHQ 오디오 스트리밍 시에 전송 환경에 따라 패킷 타입을 조절하여 음끊김 강건성을 유지할 수도 있다.

UHQ 오디오는 일반적으로 96kHz/24bit 오디오 패킷을 말하며, 일반적으로 사용하는 오디오 포맷인 44.1kHz/16bit 대비 2배 이상의 데이터 량을 가질 수 있다. 표(1600)은 UHQ 오디오의 스트리밍 시에 비트레이트 별 패킷 페이로드 사이즈(payload size) 및 전송에 필요한 패킷 타입을 나타낼 수 있다.

전송 환경이 좋은 경우, 전자 장치(500)는 인코딩된 오디오 신호를 예를 들어, 328kbps의 비트레이트로 18msec마다 전송하게 되고, 이때, 패킷 타입이 3M 패킷인 3-DH5 패킷을 이용할 수 있다. 이때, 전송 환경이 점점 나빠지게 되면, 전자 장치(500)는 조금 더 안정적인 전송을 위해 328kbps의 비트레이트로 9msec마다 패킷 타입이 2M 패킷인 2-DH5 패킷을 전송할 수 있다. 이후, 전송 환경이 더 나빠지면, 전자 장치(500)는 비트레이트를 256kbps로 변경하여 전송할 데이터의 양을 감소시킴으로써 좀 더 안정적인 전송이 가능하게 할 수 있다. 전자 장치(500)는 예를 들어, 256kbps의 비트레이트로 18msec마다 2-DH5 패킷 타입에 의해 데이터를 전송하다가, 전송 환경이 더 나빠지면 패킷 타입을 변경하여 9msec 마다 2-DH3 패킷 타입의 오디오 패킷을 전송할 수 있다. 2-DH3패킷 타입은 2-DH5 패킷 타입 대비 사용하는 타임 슬롯의 개수가 적기 때문에 전자 장치(500)는 좀 더 안정적으로 오디오 패킷을 전송할 수 있다.

도 17은 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.

도 17을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 동작 1710 내지 동작 1790을 통해 예를 들어, 96kHz/24bit의 UHQ 오디오 스트리밍을 수행하는 전송 환경에 따라 예를 들어, 96kHz/24bit의 UHQ 오디오 패킷의 패킷 타입을 조절할 수 있다.

동작 1710에서, 전자 장치(500)는 전송 환경의 분석 결과에 따른 전송 환경의 레벨이 제1 임계치(Th1)보다 큰지 여부를 결정할 수 있다.

동작 1710에서, 전송 환경의 레벨이 제1 임계치보다 크다고 결정된 경우, 동작 1720에서, 전자 장치(500)는 UHQ 오디오 신호의 비트레이트를 제1 비트레이트로 결정할 수 있다.

동작 1720에서의 제1 비트레이트를 결정한 이후, 동작 1730에서, 전자 장치(500)는 다시 전송 환경의 레벨이 제2 임계치(Th2)보다 큰지 여부를 결정할 수 있다.

동작 1730에서, 전송 환경의 레벨이 제2 임계치(Th2)보다 크다고 결정된 경우, 동작 1740에서 전자 장치(500)는 제1 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다. 이와 달리, 동작 1730에서, 전송 환경의 레벨이 제2 임계치(Th2)보다 작거나 같다고 결정된 경우, 동작 1750에서 전자 장치(500)는 제2 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다.

또한, 동작 1710에서, 전송 환경의 레벨이 제1 임계치(Th1)보다 작거나 같다고 결정된 경우, 동작 1760에서 전자 장치(500)는 UHQ 오디오 신호의 비트레이트를 제2 비트레이트로 결정할 수 있다.

동작 1760에서의 제2 비트레이트를 결정한 이후, 동작 1770에서, 전자 장치(500)는 다시 전송 환경의 레벨이 제3 임계치(Th3)보다 큰지 여부를 결정할 수 있다.

동작 1770에서, 전송 환경의 레벨이 제3 임계치(Th3)보다 크다고 결정된 경우, 전자 장치(500)는 동작 1780에서 제3 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다. 이와 달리, 동작 1770에서, 전송 환경의 레벨이 제3 임계치(Th3)보다 작거나 같다고 결정된 경우, 동작 1790에서 전자 장치(500)는 제4 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다.

예를 들어, UHQ 오디오 또는 하이파이 오디오와 같은 고음질 오디오의 경우, 일반적인 CD 품질(44.1kHz/16bit)의 오디오보다 전송하는 데이터의 크기가 커질 수 있다. 이러한 경우, 전자 장치(500)는 무선 전송 환경을 좀 더 세분화하여 비트레이트와 패킷 타입을 조절할 수 있다. 전자 장치(500)는 좀더 세분화된 전송 환경의 분류에 따라 동일한 비트레이트에서도 서로 다른 패킷 타입을 이용하여 오디오 패킷을 전송할 수 있다.

도 18은 다른 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다. 도 18을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 UHQ 오디오 패킷을 스트리밍 시, 전송 환경에 따라 패킷 타입을 변경하는 과정을 나타낸 도면(1800)이 도시된다.

전자 장치(500)는 무선 전송 환경에 따라 비트레이트와 패킷 타입을 동시에 조절함으로써 블루투스를 이용한 TWS 무선 헤드셋에서 전송 환경에 따라 적절한 패킷을 선택하여 무선 에러에 강인한 오디오 데이터를 전송할 수 있다.

예를 들어, UHQ 오디오와 같이 대용량 오디오 프레임의 전송을 위해 오디오 데이터가 복수의 패킷들로 나뉘어 전송되는 경우, 전자 장치(500)는 무선 전송 환경에 따라 비트레이트와 패킷 타입을 동시에 조절함으로써 전송 환경이 나쁜 경우에도 음질을 유지하면서 음 끊김이 발생하지 않도록 할 수 있다. 전자 장치(500)는 예를 들어, 전송 환경이 좋은 경우에는 328kbps의 비트레이트로 3-DH5 패킷 타입에 의해 오디오 스트림을 전송할 수 있다. 이때, 오디오 스트림이 UHQ 스트림(1810)과 같이 대용량인 경우, 전자 장치(500)는 3-DH5 패킷 타입 대신에, 해당 오디오 스트림을 2-DH5 패킷 타입을 갖는 2개의 오디오 패킷들로 나누어 전송할 수도 있다. 이후, 전송 환경이 나빠지면, 전자 장치(500)는 256kbps의 비트레이트로 2-DH5 패킷 타입에 의해 오디오 스트림을 전송할 수 있다. 마찬가지로, 오디오 스트림이 UHQ 스트림(1810)와 같이 대용량인 경우, 전자 장치(500)는 2-DH5 패킷 타입 대신에, 해당 오디오 스트림을 2-DH2 패킷 타입을 갖는 2개의 오디오 패킷들로 나누어 전송할 수도 있다.

이와 같이, 전자 장치(500)는 전송 환경을 분석한 결과에 오디오 신호의 데이터 량(예: UHQ 오디오와 같이 대용량)을 더 고려하여 패킷을 분할하고, 패킷 타입을 결정할 수 있다.

일 실시 예에 따르면, 전자 장치(101,500,700)는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리(130,510), 및 상기 메모리(130,510)에 억세스(access)하여 상기 명령어들을 실행하는 프로세서(120,530)를 포함하고, 상기 명령어들은, 오디오 신호(705)가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호(705)의 비트레이트(bit rate)를 결정하고, 상기 비트레이트에 따라 상기 오디오 신호(705)를 오디오 스트리밍을 위한 메인 패킷(850,1410) 및 음질 향상을 위한 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)을 포함하는 패킷들로 부호화하고, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고, 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치(101,500,700)의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치(101,500,700)에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치(101,500,700)에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치(101,500,700)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호(705)의 비트레이트를 결정하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 오디오 신호(705)를 메인 오디오 신호(705)와 잔차 오디오 신호(705)로 분리하여 상기 메인 패킷(850,1410) 및 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 부호화 하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 오디오 신호(705)를 손실 압축에 의해 부호화하고, 상기 부호화된 신호를 상기 메인 패킷으로 구성하고, 상기 오디오 신호(705)와 상기 손실 압축에 의해 부호화된 신호 간의 잔차 신호(835)를 무손실 부호화하고, 상기 무손실 부호화한 신호를 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하도록 구성할 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 부호화한 잔차 신호(835)를 최상위 비트(most significant bit, MSB )부터 최하위 비트(lease significant bit, LSB)까지 복수의 영역들로 구분하고, 상기 복수의 영역들의 중요도 별로 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 잔차 신호(835)를 부호화한 비트 평면에서 상기 최상위 비트에 대응하는 영역부터 상기 최하위 비트에 대응하는 영역까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(910,1010)부터 상기 중요도가 가장 낮은 제4 확장 패킷(940,1040)으로 분할하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 잔차 신호(835)의 주파수 대역을 복수의 대역들로 구분하고, 상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 복수의 대역들 중 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(910,1010)부터 상기 중요도가 가장 낮은 제4 확장 패킷(940,1040)까지 분할하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 해당 패킷의 종류가 상기 메인 패킷(850,1410)인 경우, 상기 전송 환경의 분석 결과와 무관하게 상기 메인 패킷(850,1410)의 안정적 전송을 위한 제1 패킷 타입을 결정하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 해당 패킷의 종류가 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)인 경우, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)의 패킷 타입을 결정하도록 구성될 수 있다.

일 실시 예에 따르면, 상기 명령어들은 상기 전송 환경을 분석한 결과에 상기 오디오 신호(705)의 데이터 량을 더 고려하여 상기 패킷을 분할하고, 상기 패킷 타입을 결정하도록 구성될 수 있다.

일 실시 예에 따르면, 전자 장치(101,500,700)의 동작 방법은 오디오 신호(705)가 전송되는 무선 통신 채널의 전송 환경을 분석하는 동작, 상기 전송 환경의 분석 결과를 기초로, 상기 오디오 신호(705)의 비트레이트(bit rate)를 결정하는 동작, 상기 비트레이트에 따라 상기 오디오 신호(705)를 오디오 스트리밍을 위한 메인 패킷(850,1410) 및 음질 향상을 위한 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)을 포함하는 패킷들로 부호화하는 동작, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하는 동작, 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하는 동작, 및 상기 오디오 패킷들을 전송하는 동작을 포함할 수 있다.

일 실시 예에 따르면, 상기 전송 환경을 분석하는 동작은 일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치(101,500,700)의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치(101,500,700)에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치(101,500,700)에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치(101,500,700)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하는 동작을 포함하고, 상기 오디오 신호(705)의 비트레이트(bit rate)를 결정하는 동작은 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호(705)의 비트레이트를 결정하는 동작을 포함할 수 있다.

일 실시 예에 따르면, 상기 부호화하는 동작은 상기 오디오 신호(705)를 메인 오디오 신호(705)와 잔차 오디오 신호(705)로 분리하여 상기 메인 패킷(850,1410) 및 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 부호화하는 동작을 포함할 수 있다.

일 실시 예에 따르면, 상기 부호화하는 동작은 상기 오디오 신호(705)를 손실 압축에 의해 부호화하여 상기 메인 패킷(850,1410)으로 구성하는 동작, 상기 오디오 신호(705)와 상기 손실 압축에 의해 부호화된 신호 간의 잔차 신호(835)를 무손실 부호화하는 동작, 및 상기 무손실 부호화한 신호를 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하는 동작을 포함할 수 있다.

일 실시 예에 따르면, 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하여 부호화하는 동작은 상기 부호화한 잔차 신호(835)를 최상위 비트(most significant bit, MSB )부터 최하위 비트(lease significant bit, LSB)까지 복수의 영역들로 구분하고, 상기 복수의 영역들의 중요도 별로 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하는 동작, 및 상기 잔차 신호(835)의 주파수 대역을 복수의 대역들로 구분하고, 상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하는 동작 중 어느 하나를 포함할 수 있다.

일 실시 예에 따르면, 상기 패킷 타입을 결정하는 동작은 상기 해당 패킷의 종류가 상기 메인 패킷(850,1410)인 경우, 상기 전송 환경의 분석 결과와 무관하게 상기 메인 패킷(850,1410)의 안정적 전송을 위한 제1 패킷 타입을 결정하는 동작, 및 상기 해당 패킷의 종류가 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)인 경우, 상기 전송 환경의 레벨 및 상기 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)의 중요도 중 적어도 하나를 기초로, 상기 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)의 패킷 타입을 결정하는 동작 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따르면, 상기 패킷 타입을 결정하는 동작은 상기 전송 환경을 분석한 결과에 상기 오디오 신호(705)의 데이터 량을 더 고려하여 상기 패킷을 분할하고, 상기 패킷 타입을 결정하는 동작을 포함할 수 있다.

500: 전자 장치
505: 통신 버스
510: 메모리
530: 프로세서
550: 통신 인터페이스

Claims

전자 장치에 있어서,
컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서
를 포함하고,
상기 명령어들은,
오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호의 비트레이트(bit rate)를 결정하고,
상기 비트레이트에 따라 상기 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하고,
상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고,
상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성되는,
전자 장치.
제1항에 있어서,
상기 명령어들은
일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하도록 구성되는, 전자 장치.
제1항에 있어서,
상기 명령어들은
상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호의 비트레이트를 결정
하도록 구성되는, 전자 장치.
제1항에 있어서,
상기 명령어들은
상기 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 상기 메인 패킷 및 상기 복수의 확장 패킷들로 부호화
하도록 구성되는, 전자 장치.
제1항에 있어서,
상기 명령어들은
상기 오디오 신호를 손실 압축에 의해 부호화 하고, 상기 부호화된 신호를 상기 메인 패킷으로 구성하고,
상기 오디오 신호와 상기 손실 압축에 의해 부호화된 신호 간의 잔차 신호를 무손실 부호화하고, 상기 무손실 부호화한 신호를 상기 복수의 확장 패킷들로 분할하도록 구성되는, 전자 장치.
제5항에 있어서,
상기 명령어들은
상기 부호화한 잔차 신호를 최상위 비트(most significant bit; MSB)부터 최하위 비트(lease significant bit; LSB)까지 복수의 영역들로 구분하고,
상기 복수의 영역들의 중요도 별로 상기 확장 패킷들로 분할
하도록 구성되는, 전자 장치.
제6항에 있어서,
상기 명령어들은
상기 잔차 신호를 부호화한 비트 평면에서 상기 최상위 비트에 대응하는 영역부터 상기 최하위 비트에 대응하는 영역까지 순차적으로 중요도가 가장 높은 제1 확장 패킷부터 상기 중요도가 가장 낮은 제4 확장 패킷으로 분할
하도록 구성되는, 전자 장치.
제5항에 있어서,
상기 명령어들은
상기 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고,
상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들로 분할
하도록 구성되는, 전자 장치.
제8항에 있어서,
상기 명령어들은
상기 복수의 대역들 중 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷부터 상기 중요도가 가장 낮은 제4 확장 패킷까지 분할
하도록 구성되는, 전자 장치.
제1항에 있어서,
상기 명령어들은
상기 해당 패킷의 종류가 상기 메인 패킷인 경우, 상기 전송 환경의 분석 결과와 무관하게 상기 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정
하도록 구성되는, 전자 장치.
제1항에 있어서,
상기 명령어들은
상기 해당 패킷의 종류가 확장 패킷인 경우, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 확장 패킷의 패킷 타입을 결정
하도록 구성되는, 전자 장치.
제1항에 있어서,
상기 명령어들은
상기 전송 환경을 분석한 결과에 상기 오디오 신호의 데이터 량을 더 고려하여 상기 패킷을 분할하고, 상기 패킷 타입을 결정
하도록 구성되는, 전자 장치.
오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석하는 동작;
상기 전송 환경의 분석 결과를 기초로, 상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작;
상기 비트레이트에 따라 상기 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하는 동작;
상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하는 동작;
상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하는 동작; 및
상기 오디오 패킷들을 전송하는 동작
을 포함하는, 전자 장치의 동작 방법.
제13항에 있어서,
상기 전송 환경을 분석하는 동작은
일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하는 동작
을 포함하고,
상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작은
상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호의 비트레이트를 결정하는 동작
을 포함하는, 전자 장치의 동작 방법.
제13항에 있어서,
상기 부호화하는 동작은
상기 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 상기 메인 패킷 및 상기 복수의 확장 패킷들로 부호화하는 동작
을 포함하는, 전자 장치의 동작 방법.
제13항에 있어서,
상기 부호화하는 동작은
상기 오디오 신호를 손실 압축에 의해 부호화 하여 상기 메인 패킷으로 구성하는 동작;
상기 오디오 신호와 상기 손실 압축에 의해 부호화된 신호 간의 잔차 신호를 무손실 부호화하는 동작; 및
상기 무손실 부호화한 신호를 상기 복수의 확장 패킷들로 분할하는 동작
을 포함하는, 전자 장치의 동작 방법.
제16항에 있어서,
상기 복수의 확장 패킷들로 분할하여 부호화하는 동작은
상기 부호화한 잔차 신호를 최상위 비트(most significant bit; MSB)부터 최하위 비트(lease significant bit; LSB)까지 복수의 영역들로 구분하고, 상기 복수의 영역들의 중요도 별로 상기 확장 패킷들로 분할하는 동작; 및
상기 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고, 상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들로 분할하는 동작
중 어느 하나를 포함하는, 전자 장치의 동작 방법.
제13항에 있어서,
상기 패킷 타입을 결정하는 동작은
상기 해당 패킷의 종류가 상기 메인 패킷인 경우, 상기 전송 환경의 분석 결과와 무관하게 상기 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정하는 동작; 및
상기 해당 패킷의 종류가 확장 패킷인 경우, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 확장 패킷의 패킷 타입을 결정하는 동작
중 적어도 하나를 포함하는, 전자 장치의 동작 방법.
제13항에 있어서,
상기 패킷 타입을 결정하는 동작은
상기 전송 환경을 분석한 결과에 상기 오디오 신호의 데이터 량을 더 고려하여 상기 패킷을 분할하고 상기 패킷 타입을 결정하는 동작
을 포함하는, 전자 장치의 동작 방법.
하드웨어와 결합되어 제13항 내지 제19항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.