KR20220140519A - 무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체 - Google Patents

무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체 Download PDF

Info

Publication number
KR20220140519A
KR20220140519A KR1020227027724A KR20227027724A KR20220140519A KR 20220140519 A KR20220140519 A KR 20220140519A KR 1020227027724 A KR1020227027724 A KR 1020227027724A KR 20227027724 A KR20227027724 A KR 20227027724A KR 20220140519 A KR20220140519 A KR 20220140519A
Authority
KR
South Korea
Prior art keywords
audio
provider
credential information
server
data
Prior art date
Application number
KR1020227027724A
Other languages
English (en)
Inventor
이재호
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Publication of KR20220140519A publication Critical patent/KR20220140519A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50Secure pairing of devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시는 무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체에 대한 것이다. 본 개시의 일 실시예에 따른 무선 통신 시스템에서 어카운트 기반 페어링을 수행하는 방법은, 시커(seeker) 디바이스가 서버로부터 프로바이더(provider) 디바이스에 대한 자격증명 정보를 획득하는 단계; 상기 시커 디바이스가 상기 프로바이더 디바이스로부터 자격증명 정보에 기초한 해시 값을 포함하는 애드버타이징 패킷을 획득하는 단계; 및 상기 시커 디바이스가 상기 획득한 자격증명 정보 및 상기 획득한 자격증명 정보에 기초한 해시 값에 기초하여 상기 프로바이더 디바이스와 연결을 맺는 단계를 포함할 수 있다.

Description

무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
본 개시는 무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체에 대한 것이다.
블루투스(Bluetooth)는 근거리 무선 통신 규격으로서, BR(Basic Rate)/EDR(Enhanced Data Rate) 기술과 LE(Low Energy) 기술을 포함한다. BR/EDR은 블루투스 클래식(classic)이라고도 하며, 블루투스 1.0 부터 적용된 BR 기술과 블루투스 2.0 이후부터 적용된 EDR 기술을 포함한다. 블루투스 4.0 이후 적용된 블루투스 LE(BLE)는 저전력으로 상대적으로 큰 데이터의 송수신을 지원하는 기술이다.
블루투스 규격은 다양한 프로파일(profile)을 포함한다. 예를 들어, HFP(Hands-Free Profile)는 하나의 디바이스가 스마트폰과 같은 오디오 게이트웨이(AG)로서 기능하고 다른 디바이스가 헤드셋과 같은 핸즈-프리 디바이스로서 기능하기 위하여 필요한 사항을 정의한다. 또한, A2DP(Advance Audio Distribution Profile)는 하나의 디바이스가 음악 재생기(player)와 같은 오디오 소스(source)로서 기능하고 다른 디바이스가 스피커와 같은 오디오 싱크(sink)로서 기능하기 위하여 필요한 사항을 정의한다.
최근 무선 디바이스의 보급이 증가하면서 다-대-다 또는 M-대-N 연결 형태의 다양한 토폴로지에서 오디오 데이터 송수신에 대한 요구가 증가하고 있다. 예를 들어, 5.1 채널 환경을 요구하는 스트리밍 서비스들이 등장하고 있으며, 종래의 5.1 채널 전용 유선 스피커의 제약에서 벗어나 다수의 블루투스 휴대형 스피커들을 이용한 5.1 채널 환경을 지원하는 것이 논의되고 있다. 그러나, 종래의 블루투스 오디오 기술은 주로 두 개의 디바이스 간의 일-대-일 연결 형태의 유스 케이스(use case)를 고려하여 개발되었기 때문에, 다수의 디바이스 간의 오디오 데이터 송수신을 지원하기에 적합하지 않고 지연(delay)이 큰 문제가 있다. 또한, 블루투스 오디오 디바이스의 개수가 증가하면서 주변 디바이스 검색을 위한 전력 소모가 증가하는 등의 문제가 있다.
종래의 블루투스 시스템에서 신규 디바이스에 대한 페어링을 위해서 자동 인증을 제공하는 방안은 마련되어 있지 않다.
한편, 종래의 블루투스 시스템에서 복수의 디바이스 각각에서의 미디어(오디오 및/또는 비디오) 레코딩에 있어서 통합된 동기화를 제공하는 방안은 마련되어 있지 않다.
본 개시의 기술적 과제는 무선 통신 시스템에서 신규 페어링 대상 디바이스에 대한 자동 인증 방법을 제공하는 것이다.
본 개시의 추가적인 기술적 과제는 무선 통신 시스템에서 복수의 디바이스 각각에서의 미디어 레코딩에 있어서 통합된 동기화 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따른 무선 통신 시스템에서 어카운트 기반 페어링을 수행하는 방법은, 시커(seeker) 디바이스가 서버로부터 프로바이더(provider) 디바이스에 대한 자격증명 정보를 획득하는 단계; 상기 시커 디바이스가 상기 프로바이더 디바이스로부터 자격증명 정보에 기초한 해시 값을 포함하는 애드버타이징 패킷을 획득하는 단계; 및 상기 시커 디바이스가 상기 획득한 자격증명 정보 및 상기 획득한 자격증명 정보에 기초한 해시 값에 기초하여 상기 프로바이더 디바이스와 연결을 맺는 단계를 포함할 수 있다.
본 개시의 추가적인 양상에 따른 무선 통신 시스템에서 어카운트 기반 페어링을 수행하는 시커 디바이스 측의 장치는, 다른 장치와의 신호 송신 및 수신을 수행하기 위한 송수신기; 및 상기 송수신기 및 상기 장치를 제어하기 위한 프로세서를 포함하고, 상기 프로세서는, 상기 시커(seeker) 디바이스가 서버로부터 프로바이더(provider) 디바이스에 대한 자격증명 정보를 획득하고; 상기 시커 디바이스가 상기 프로바이더 디바이스로부터 자격증명 정보에 기초한 해시 값을 포함하는 애드버타이징 패킷을 획득하고; 및 상기 시커 디바이스가 상기 획득한 자격증명 정보 및 상기 획득한 자격증명 정보에 기초한 해시 값에 기초하여 상기 프로바이더 디바이스와 연결을 맺도록 설정될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 본 개시의 기술적 과제는 무선 통신 시스템에서 신규 페어링 대상 디바이스에 대한 자동 인증 방법이 제공될 수 있다.
본 개시에 따르면, 무선 통신 시스템에서 복수의 디바이스 각각에서의 미디어 레코딩에 있어서 통합된 동기화 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 오디오 연결 형태와 본 개시가 적용가능한 오디오 연결 형태를 예시적으로 나타내는 도면이다.
도 2는 종래의 오디오 관련 프로토콜 스택과 본 개시가 적용가능한 오디오 관련 프로토콜 스택을 예시적으로 나타내는 도면이다.
도 3은 본 개시가 적용가능한 5.1 채널 서라운드 시스템 하드웨어에 대한 예시들을 나타낸다.
도 4는 본 개시가 적용가능한 오디오 데이터 부호화/복호화 과정을 나타내는 도면이다.
도 5는 본 개시가 적용가능한 2개의 디바이스에 대한 채널 할당의 예시를 나타내는 도면이다.
도 6은 본 개시가 적용가능한 두 개의 스트림의 동기화 지연을 설명하기 위한 도면이다.
도 7은 본 개시가 적용가능한 복수의 디바이스에 대한 브로드캐스트 동작을 설명하기 위한 도면이다.
도 8 및 도 9는 본 개시가 적용가능한 ICL 타입 및 INCL 타입의 동작을 설명하기 위한 도면이다.
도 10은 본 개시가 적용가능한 브로드캐스트 오디오 스트림 상태 머신을 나타내는 도면이다.
도 11은 본 개시가 적용가능한 오디오 셋업 절차를 나타내는 도면이다.
도 12는 본 개시가 적용가능한 링크 계층 상태 머신을 나타내는 도면이다.
도 13은 본 개시가 적용가능한 오디오 토폴로지의 예시를 나타내는 도면이다.
도 14 내지 도 16은 본 개시가 적용될 수 있는 서버와 클라이언트 간의 메시지 교환 과정을 나타내는 도면이다.
도 17은 본 개시가 적용가능한 콜 서비스에 대한 상태 머신을 나타내는 도면이다.
도 18은 본 개시가 적용가능한 계층별 패킷 포맷을 나타내는 도면이다.
도 19는 본 개시가 적용가능한 데이터 유닛 포맷의 예시들을 나타내는 도면이다.
도 20은 본 개시가 적용가능한 애드버타이즈먼트 유닛 포맷의 예시들을 나타내는 도면이다.
도 21은 본 개시가 적용될 수 있는 자동 인증 방법의 일례를 설명하기 위한 도면이다.
도 22는 본 개시가 적용될 수 있는 애드버타이징 패킷의 예시적인 포맷을 나타내는 도면이다.
도 23은 본 개시가 적용될 수 있는 자동 인증 방법의 추가적인 예시를 설명하기 위한 도면이다.
도 24는 본 개시가 적용될 수 있는 어카운트 기반 자동 연결의 적용예를 나타내는 도면이다.
도 25는 본 개시가 적용될 수 있는 어카운트 기반 페어링 방법을 설명하기 위한 도면이다.
도 26은 본 개시가 적용될 수 있는 미디어 동기화 클럭을 설명하기 위한 도면이다.
도 27은 본 개시가 적용될 수 있는 미디어 동기화 클럭에 기반한 미디어 데이터 동기화 방법을 설명하기 위한 도면이다.
도 28은 본 개시가 적용될 수 있는 제 1 디바이스 및 제 2 디바이스의 구성을 나타내는 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙인다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 본 개시에서 용어 "포함한다" 또는 "가진다"는 언급된 특징, 단계, 동작, 요소 및/또는 구성요소의 존재를 특정하지만, 하나 이상의 다른 특징, 단계, 동작, 요소, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다.
본 개시에 있어서, "제 1", "제 2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되고 구성요소들을 제한하기 위해서 사용되지 않으며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제 1 구성요소는 다른 실시예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제 2 구성요소를 다른 실시예에서 제 1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시의 다양한 실시예는 모든 가능한 구성요소들의 조합을 빠짐없이 나열한 것이 아니라 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 구성요소들 중의 일부 또는 전부는 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다. 즉, 본 개시의 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 또한, 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시에서 사용된 용어는 특정 실시예에 대한 설명을 위한 것이며 청구범위를 제한하려는 것이 아니다. 실시예의 설명 및 첨부된 청구범위에서 사용되는 바와 같이, 단수 형태는 문맥상 명백하게 다르게 나타내지 않는 한 복수 형태도 포함하도록 의도한 것이다. 또한, 본 개시에 사용된 용어 "및/또는"은 관련된 열거 항목 중의 하나를 지칭할 수도 있고, 또는 그 중의 둘 이상의 임의의 및 모든 가능한 조합을 지칭하고 포함하는 것을 의미한다.
본 개시에서 사용하는 용어에 대한 정의는 다음과 같다.
오디오 싱크(audio sink)는 오디오 데이터를 오디오 소스로부터 수신하는 개체이다.
오디오 소스(audio source)는 오디오 데이터를 오디오 싱크로 전송하는 개체이다.
오디오 채널(audio channel)은 부호화된 또는 부호화되지 않은 오디오 데이터의 단일 플로우이다.
오디오 스트림(audio stream)은 오디오 소스로부터 오디오 싱크로 플로우하는 오디오 데이터를 나르는 단방향의(unidirectional) 논리적 통신 채널이다. 오디오 데이터는 오디오 스트림 세션(ASS) 상에서 플로우할 수 있다. 오디오 스트림은 하나 이상의 오디오 채널에 대한 오디오 데이터를 나를 수 있다.
오디오 그룹(audio group)은 하나 이상의 동기화된 오디오 스트림을 포함할 수 있다.
컨텐츠 타입(content type)은 오디오 그룹의 컨텐츠의 분류(classification)을 나타낸다. 분류는 오디오가 사용자에 의해서 개시되었는지 여부를 포함할 수 있다. 컨텐츠 타입의 예시는 미분류오디오(UncategorizedAudio), 링톤(Ringtone), 시스템사운드(SystemSound), 위성내비게이션(Satnav), 콜오디오(CallAudio), 미디어(Media) 등을 포함할 수 있다.
메타데이터(metadata)는 오디오 데이터의 컨텍스트(context)를 제공하고 설명하는 가변적인 길이의 데이터이다. 메타데이터는 상위 계층을 위해서 정의될 수 있다.
오디오 스트림 세션(audio stream session, ASS)은 오디오 스트림의 단방향 또는 양방향 전달/교환 과정을 의미한다. ASS의 말단(endpoint)은 오디오 스트림 세션의 오디오 입력 및/또는 오디오 출력에 해당하며, 하나의 디바이스 또는 디바이스 그룹에 대응할 수 있다. ASS의 말단은 서버 상에 존재하고 서버에 의해서 또는 클라이언트에 의해서 설정될 수 있다. 서버는 ASS 상태를 저장, 변경 및 관리할 수 있다.
QoS(Quality of Service)는 오디오 스트림에 대한 서비스 품질을 의미하며, 특정 서비스를 위한 요구조건에 대응할 수 있다.
오디오 로케이션(audio location)은 오디오를 렌더링하는 디바이스의 공간적인 배치 내에서 오디오 채널에 대해 의도된 논리적인 공간적 렌더링 위치를 의미한다. 예를 들어, 헤드셋의 왼쪽 및 오른쪽 위치가 오디오 로케이션에 해당할 수 있다. 오디오 채널에는 오디오 로케이션이 할당될 수 있다.
CBIS(Connection Based Isochronous Stream)은 코어 계층에서 정의되는 용어이며 ASS 서비스에서의 오디오 스트림에 대응하는 개념이다. 단방향 CBIS는 하나의 오디오 스트림을 가지고, 양방향(bidirectional) CBIS는 2개의 오디오 스트림을 가질 수 있다.
CBISS(Connection Based Isochronous Stream Set)은 코어 계층에서 정의되는 용어이며 ASS 서비스에서의 오디오 그룹에 대응하는 개념이다.
오디오 씬 애플리케이션(audio scene application, ASA)는 특정 컨텐츠 타입을 수행하는 오디오 그룹을 의미한다.
ASC(Audio Steam Capability)은 오디오 세션 캐퍼빌리티 설정을 위해서 필요한 파라미터들의 집합이다.
오디오 애드버타이즈먼트(Audio Advertisement)은 ASA 참가의 가용성(availability)를 디스커버하기 위한 것이다. 오디오 일반 애드버타이즈먼트(audio general advertisement)은 대상을 정하지 않은 오디오 알림이고, 오디오 다이렉티드 애드버타이즈먼트(audio directed advertisement)는 특정 대상에 대한 오디오 알림이다.
등시성 데이터(isochronous data)는 시간에 의해 한정되는 데이터를 의미한다. 예를 들어, 등시성 데이터는 비디오의 이미지에 대해 동기화될 필요가 있는 텔레비전 오디오, 또는 멀티 채널을 구성하는 다수의 디바이스에서 동기화되어 재생될 필요가 있는 오디오와 같이 시간에 종속된 오디오일 수 있다.
등시성 채널(isochronous channel)은 송신 디바이스로부터 하나 이상의 수신 디바이스로 등시성 데이터를 전송하기 위해 사용되는 논리적인 전송부를 의미한다.
등시성 스트림(isochronous stream)은 하나 이상의 등시성 채널을 나르는 논리적인 링크를 의미한다.
도 1은 종래의 오디오 연결 형태와 본 개시가 적용가능한 오디오 연결 형태를 예시적으로 나타내는 도면이다.
도 1(a)는 BR/EDR 오디오 연결 형태의 예시를 나타낸다. BR/EDR의 경우 일-대-일 연결을 지원한다. 하나의 디바이스(예를 들어, 스마트폰)가 중심(central) 디바이스로서 기능하고, 여러 디바이스들의 각각과 일-대-일로 연결될 수 있다. 즉, 복수의 일-대-일 연결이 존재할 수 있다. 이에 따라, 헤드셋을 통한 전화 통화 또는 스피커를 통한 음악 재생 등의 서비스가 지원될 수 있다. 이러한 연결 형태에서의 서비스의 중심은 오디오 소스이며, 헤드셋, 스피커, AVN(Audio Video Navigation)과 같은 오디오 싱크는 오디오 소스의 주변(peripheral) 디바이스로서 동작할 수 있다.
도 1(b)는 BLE 오디오 연결 형태의 예시를 나타낸다. BLE의 경우 다-대-다 연결을 지원할 수 있다. 이 경우, TV, 스마트폰, 게이트웨이 등의 복수의 중심 디바이스가 존재할 수 있고, 복잡한 M-대-N 연결이 구성될 수 있다. 이에 따라, 헤드셋을 통한 전화 통화 및 음악 재생의 서비스가 지원될 수 있고, 알람, 도어벨, 광고(advertising) 음성과 같은 브로드캐스트 오디오 서비스가 지원될 수 있다. 이러한 연결 형태에서의 서비스의 중심은 오디오 싱크이며, 다수의 오디오 소스를 이동하여 오디오 서비스를 사용할 수 있다.
도 2는 종래의 오디오 관련 프로토콜 스택과 본 개시가 적용가능한 오디오 관련 프로토콜 스택을 예시적으로 나타내는 도면이다.
도 2(a)는 BR/EDR 오디오 관련 프로토콜 스택의 예시를 나타낸다. L2CAP(Logical Link Control & Adaption Protocol) 계층은, 상위 계층과 하위 계층 사이에서 중재 및 조정의 기능을 한다. 상위 계층에는 RFCOMM(Radio Frequency Communication), AVDTP(Audio/Video Distribution Transport Protocol), AVCTP(Audio/Video Control Transport Protocol) 등의 프로토콜과, HFP(Hands Free Profile), A2DP(Advanced Audio Distribution Profile), AVRCP(Audio/Video Remote Control Profile) 등의 프로파일이 포함될 수 있다. 하위 계층은 MAC/PHY 계층을 포함할 수 있다. MAC(Medium Access Control) 계층은 링크 관리자(Link Manager) 및 링크 제어기(Link Controller)를 포함할 수 있고, PHY(Physical) 계층은 BR/EDR 무선(Radio)을 포함할 수 있다. 또한, SCO(Synchronous Connection Oriented)/eSCO(extended SCO)는 음성을 위한 동기 데이터 통신 경로를 제공할 수 있다. 이와 같이, BR/EDR에서는 프로파일 별로 프로토콜 스택이 설계될 수 있다. L2CAP 계층 및 BR/EDR 프로토콜, 포괄 액세스 프로파일(Generic Access Profile, GAP), BR/EDR 프로파일 계층을 통칭하여 호스트(host) 계층이라고 할 수 있고, 링크 관리자, 링크 제어기, BR/EDR 무선 계층을 제어기(controller) 계층이라고 할 수 있다. 호스트와 제어기 사이의 인터페이스는 HCI(Host Controller Interface)라 한다.
도 2(b)는 BLE 오디오 관련 프로토콜 스택의 예시를 나타낸다. 프로파일 별로 프로토콜이 구성되는 BR/EDR과 달리, BLE에서는 다양한 프로파일에 대한 공통의 프로토콜 스택이 설계될 수 있다. 이러한 공통의 프로토콜 스택을 미들웨어(middleware)라고 할 수 있다. 예를 들어, 보청기(hearing aids), 고품질 오디오/음악(high quality audio/music), 음성인식(voice recognition), 콜/미디어(call/media) 등의 다양한 프로파일에 대해서 공통의 프로토콜이 미들웨어 형태로 구성될 수 있다. 예를 들어, 미들웨어에는 디바이스 디스커버리(Discovery), 스트림 제어(Control) (또는 스트림 관리(management)), 코덱(Codec), 레거시 관리(legacy management) 등의 프로토콜이 포함될 수 있다. 또한, 코어 계층은 링크 계층(Link Layer, LL), LE 무선(Radio) (즉, PHY 계층)을 포함할 수 있고, LL에는 블루투스 5에서부터 정의된 멀티캐스트 지원 등시성(isochronous) 채널 관련 기능이 포함될 수 있다.
또한, 프로파일과 미들웨어는 호스트 계층이라 하고, 코어 계층은 제어기 계층이라 할 수 있고, 호스트와 제어기 사이에 HCI가 정의될 수 있다.
호스트는 도 2(b)에 예시된 호스트 프로파일 및 프로토콜 외에도, LE 프로파일, 포괄 액세스 프로파일(GAP), 포괄 애트리뷰트 프로파일(Generic ATTribute profile, GATT), ATT(Attribute) 프로토콜, SM(Security Manager) 등을 포함할 수 있다.
호스트로부터 제어기로 전송되는 정보는 HCI 명령 패킷(command packet)이라 칭할 수 있다. 제어기로부터 호스트로 전송되는 정보는 HCI 이벤트 패킷(event packet)이라 칭할 수 있다. 또한, 호스트와 제어기 사이에는 HCI 비동기식(asynchronous) 데이터 패킷 또는 HCI 동기식(synchronous) 데이터 패킷이 교환될 수 있다.
또한, 도 2(b)에 예시된 미들웨어 프로파일 및 서비스 외에도, 미들웨어에는 다음과 같은 다양한 프로파일 및/또는 서비스를 포함할 수 있다:
오디오 세션 캐퍼빌리티 서비스(Audio Session Capability Service, ASCS): 오디오 세션 캐퍼빌리티 서비스(ASCS)는 오디오 세션에 관련된 캐퍼빌리티를 알리거나 발견하는 것을 지원하는 서비스;
오디오 스트림 세션 서비스(Audio Stream Session Service, ASSS): 오디오 스트림 세션 서비스(ASSS)는 오디오 세션에 관련된 디스커버리, 설정, 수립, 제어, 관리를 지원하는 서비스;
오디오 입력 관리 서비스(Audio Input Management Service, AIMS): 오디오 입력의 볼륨 등의 관리를 위한 서비스;
오디오 라우팅 서비스(Audio Routing Service, ARS): 오디오 입력과 출력의 위치를 선택하기 위한 서비스;
오디오 미들웨어 프로파일(Audio Middleware Profile, AMP): 디바이스가 오디오를 분배하는 동작에 대한 기본적인 프로파일;
콜 관리 프로파일(Call Management Profile, CMP): 콜을 위해서 두 디바이스 간의 상호동작의 역할 및 절차에 대한 프로파일;
오디오 일반 미들웨어 프로파일(Audio General Middleware Profile, AGMP): 컨텐츠 및/또는 스트림 제어를 가능하게 하는 기본적인 프로파일;
그룹 식별 서비스(Group Identification Service, GIS): 그룹에 속한 디바이스의 디스커버리에 대한 서비스. 그룹 식별 서비스(GIS) 또는 그룹 식별 프로파일(Group Identification Profile, GIP)은 디바이스들이 그룹의 일부로서 디스커버되도록 할 수 있다. 그룹은 특정 시나리오를 지원하기 위해서 함께 동작하는 디바이스들의 그룹으로서 정의되며, 이러한 디바이스들을 그룹 멤버(Group Members)라고 칭할 수 있다. 예를 들어, 보청기(hearing aids)의 쌍, 이어버드(earbuds)의 쌍, 또는 멀티채널(예를 들어, 5.1CH) 오디오를 수신하는 스피커 셋과 같이 제어 명령에 함께 반응하는 디바이스들의 그룹이 이러한 예시에 해당할 수 있다;
오디오 플레이어 관리 프로파일(Audio Player Management Profile, APMP): 오디오 플레이어의 제어 또는 상호동작을 지원하는 프로파일;
오디오 플레이어 관리 서비스(Audio Player Management Service, APMS): 오디오 플레이어의 제어 또는 상호동작을 지원하는 서비스;
마이크로폰 관리 프로파일(Microphone Management Profile): 마이크로폰 상태 관리에 대한 프로파일;
마이크로폰 관리 서비스(Microphone Management Service): 마이크로폰 상태 관리를 위한 인터페이스 및 상태를 지원하는 서비스;
빠른 서비스 디스커버리 서비스(Quick Service Discovery Service, QSDS): 오디오 플레이어 관리, 콜 관리 등의 서비스에 대한 빠른 디스커버리를 지원하는 서비스;
콜 베어러 서비스(Call Bearer Service): 디바이스 상의 베어러에 대한 콜 인터페이스 및 콜 상태에 대한 관리를 지원하는 서비스;
볼륨 관리 프로파일(Volume Management Profile): 디바이스의 오디오 볼륨 관리를 지원하는 프로파일;
볼륨 관리 서비스(Volume Management Service): 디바이스의 오디오 볼륨 인터페이스 및 상태를 지원하는 서비스;
볼륨 오프셋 관리 서비스(Volume Offset Management Service): 오디오 출력에 대한 볼륨 관리를 위한 서비스.
도 3은 본 개시가 적용가능한 5.1 채널 서라운드 시스템 하드웨어에 대한 예시들을 나타낸다.
도 3에서 LE 오디오 소스 디바이스는 개시자(initiator)의 기능을 수행할 수 있고, LE 오디오 싱크 디바이스는 수용자(acceptor)의 기능을 수행할 수 있다. 개시자는 오디오 세션을 개시하는 디바이스를 의미하고, 수용자는 오디오 세션의 개시를 수락하는 디바이스를 의미한다. 여기서, 소스가 항상 개시자이거나 싱크가 항상 수용자인 것은 아니며, 소스가 수용자가 되거나 싱크가 개시자가 될 수도 있다.
예를 들어, 오디오 소스는 TV 디바이스이고, 오디오 싱크는 스피커 디바이스일 수 있다. 오디오 소스는 오디오 싱크에게 오디오 데이터를 전송할 수 있다. 또한, 오디오 소스는 오디오 싱크로부터 피드백 데이터를 수신할 수 있다. 복수의 오디오 싱크는 각각 5.1 채널 중의 하나, 즉, FL(Front Left), FR(Front Right), RL(Rear Left), RR(Rear Right), C(Center), W(Woofer)에 해당하는 오디오 데이터를 수신하여 스피커를 통해서 출력할 수 있다.
오디오 부호화기(encoder) 또는 복호화기(decoder)는 다양한 오디오 포맷을 지원할 수 있다. 예를 들어, 오디오 포맷은 BLEAC(Bluetooth Low Energy Audio Codec), Dolby 5.1CH, DTS(Digital Surround Sound) 등을 포함할 수 있으며, 각각의 포맷의 특징은 다음과 같다. BLEAC는 모노 코덱(mono codec)으로서 BLEAC의 96kbps 전송 레이트는 SBC(Sub-Band Codec)의 256kbps, MP3의 200kbps 전송 레이트와 동등한 품질을 제공할 수 있다. Dolby 5.1CH는 48 kHz 샘플링 레이트를 지원하고, 1 대 5.1 (또는 1 대 6) 채널을 지원하고, 최대 448 kbps 전송 레이트를 지원할 수 있다. DTS는 48 kHz 또는 96 kHz 샘플링 레이트를 지원하고, 2 대 6.1 채널을 지원하고, 768 kbps의 하프 레이트 및 1,536 kbps 풀 레이트의 전송 레이트를 지원할 수 있다.
도 4는 본 개시가 적용가능한 오디오 데이터 부호화/복호화 과정을 나타내는 도면이다.
도 4(a)를 참조하면 DTS 포맷의 스트림 또는 Dolby 5.1CH 포맷의 스트림이 송신단(Tx)의 DTS 복호화기 또는 Dolby 5.1CH 복호화기에 입력되어 PCM(Pulse-Code Modulation) 포맷의 오디오 신호로 출력될 수 있다. PCM 신호는 BLEAC 부호화기에 입력되어 BLEAC 포맷의 오디오 신호로 출력될 수 있다. 여기서 선택적 벤더 특정(optional vendor-specific) 정보가 추가될 수도 있다. BLEAC 신호는 BLE 인터페이스를 통하여 수신단(Rx)의 BLE 인터페이스로 전송될 수 있다. 수신단에서는 BLEAC 디코더를 통하여 BLEAC 신호를 처리하여 스피커를 통해 출력가능한 신호로 변환할 수 있다.
여기서, 송신단으로부터 복수의 수신단으로 복수의 스트림이 전달될 수 있다. 예를 들어, 복수의 스트림의 각각은 5.1CH 중의 하나의 채널에 대응하는 오디오 신호를 포함할 수 있다. 이러한 복수의 스트림은 복수의 수신단에서 수신되는 시점은 다를 수 있지만 동일한 시점에 재생(play) 또는 렌더링(rendering)이 요구되는 등시성(isochronous)을 가지며, 이러한 스트림을 CBIS (Connection Based Isochronous Stream)이라 할 수 있다. 즉, 5.1CH에 대응하는 6개의 CBIS가 송신단으로부터 수신단으로 전송될 수 있고, 이러한 6개의 CBIS의 집합을 하나의 CBISS(Connection Based Isochronous Steam Set)이라 할 수 있다.
도 4(b) 및 도 4(c)에서는 복수의 스트림을 통한 오디오 스트리밍을 개념적으로 나타낸다. 하나 이상의 오디오 스트림은 CBIS에 대응하고, 오디오 그룹은 CBISS에 대응할 수 있다. 예를 들어, 하나의 오디오 스트림이 하나의 CBIS에 대응할 수도 있고, 둘 이상의 오디오 스트림이 하나의 CBIS에 대응할 수도 있다. 복수의 CBIS는 하나의 오디오 그룹 또는 CBISS에 포함될 수 있다.
도 5는 본 개시가 적용가능한 2개의 디바이스에 대한 채널 할당의 예시를 나타내는 도면이다.
수신단은 송신단이 제공하는 타이밍 정보에 따라서 스트림 수신을 개시할 수 있다. 예를 들어, 타이밍 정보는, 타이밍 정보가 포함되는 데이터 유닛이 전송되는 시점으로부터 소정의 오프셋 이후의 시점을 지시할 수 있다. 수신단은 스트림에 포함되는 하나 이상의 채널에 해당하는 오디오 데이터를 수신할 수 있다. 예를 들어, 하나의 스트림에 포함되는 복수의 채널은 각각 복수의 수신단에게 할당될 수 있다. 하나의 스트림에 포함되는 복수의 채널(또는 복수의 오디오 데이터)은 시분할다중화(TDM) 방식으로 전송될 수 있다. 예를 들어, 제 1 타이밍에서 제 1 채널의 오디오 데이터가 전송되고, 제 2 타이밍에서 제 2 채널의 오디오 데이터가 전송될 수 있다.
브로드캐스트 수신단은 송신단으로부터 주기적으로 애드버타이징(advertising)되는 데이터 유닛에 포함되는 정보를 이용하여, 현재 획득가능한 브로드캐스트 오디오 스트림, 스트림 오프셋 값, 스트림 인터벌 값 등을 검출할 수 있다.
비연결 기반 등시성 링크인 INCL(Isochronous Non-Connection Link)의 경우, 소스 디바이스와 싱크 디바이스의 연결 없이 (예를 들어, 브로드캐스트 방식으로) 등시성 채널이 송수신될 수 있다. 송신단이 애드버타이징하는 AUX_SYNC_IND PDU(Protocol Data Unit)에 포함된 BSG(Broadcast Synch Group) 등의 정보로부터 수신단은 INCL 스트림 오프셋(stream offset) 또는 BSG 오프셋을 확인하고, 앵커 포인트 타이밍을 결정할 수 있다. 앵커 포인트로부터 INCL 스트림 전송이 시작될 수 있다. 연속되는 두 개의 앵커 포인트 간의 타이밍 차이는 인터벌(interval) (예를 들어, 도 5의 INCL CH1 인터벌 또는 ISO 인터벌)이라고 정의할 수 있다. 스트림 전송 이벤트(event) 내에는 하나 이상의 서브 이벤트(sub event)가 포함될 수 있다.
도 5의 예시에서 하나의 오디오 스트림은 2개의 채널에 대한 오디오 데이터를 포함할 수 있다. 제 1 채널(CH1)은 제 1 디바이스(디바이스 #1)에게 할당되고, 제 2 채널(CH2)은 제 2 디바이스(디바이스 #2)에게 할당될 수 있다. 앵커 포인트 이후의 하나 이상의 타이밍에서 INCL 스트림에 포함되는 CH1이 디바이스 #1에게 전송되고, 그 후에 하나 이상의 타이밍에서 CH2가 디바이스 #2에게 전송될 수 있다. 또한, INCL 스트림 이벤트는 CH1에 대한 이벤트와 CH2에 대한 이벤트를 포함할 수 있다. CH1에 대한 이벤트는 2 개의 서브이벤트를 포함할 수 있다. CH2에 대한 이벤트는 2 개의 서브이벤트를 포함할 수 있다. 서브 이벤트 간의 타이밍 차이는 서브이벤트 인터벌로 정의될 수 있다.
등시성 오디오 데이터는 제한된 수명(lifetime)을 가질 수 있다. 즉, 소정의 시간이 만료된 후에 오디오 데이터는 무효화될 수 있다. 예를 들어, ICL 채널에서 소정의 타임아웃 값이 정의될 수 있고, 복수의 디바이스로 전달된 등시성 오디오 데이터는 상기 소정의 타임아웃 값이 만료된 후에 폐기(discard)될 수 있다. 예를 들어, 타임아웃은 서브-이벤트의 개수(number of sub-events)로서 표현될 수도 있다.
도 6은 본 개시가 적용가능한 두 개의 스트림의 동기화 지연을 설명하기 위한 도면이다.
하나의 오디오 그룹에 복수의 스트림이 포함되고, 이러한 복수의 스트림은 동시에 재생될 것이 요구되는 등시성을 가지는 경우를 가정한다. 복수의 스트림은 하나의 디바이스에서 전송될 수도 있고 서로 다른 디바이스에서 전송될 수도 있다. 또한 복수의 스트림은 하나의 디바이스에서 수신될 수도 있고 서로 다른 디바이스에서 수신될 수도 있다.
블루투스 통신 방식에서는 복수의 스트림을 동시에 전송하는 것을 지원하지 않으므로, 복수의 스트림은 소정의 순서에 따라서 서로 다른 시간 자원(또는 타이밍) 상에서 TDM 방식으로 전송될 수 있다. 이 경우, 복수의 스트림의 전송 타이밍에 차이가 발생하고, 이에 따라 복수의 스트림의 수신 타이밍에도 차이가 발생할 수 있다. 또한, 복수의 스트림이 동시에 재생될 것이 요구되므로, 먼저 수신된 스트림이 먼저 재생될 수 없고 마지막 스트림이 수신될 때까지 대기한 후에 재생될 수 있다. 즉, 모든 스트림이 수신 완료되는 타이밍까지 동기화 지연(synchronization delay)이 발생할 수 있다.
도 6의 예시에서 제 1 스트림(CBIS#1) 및 제 2 스트림(CBIS#2)은 동시에 재생될 것이 요구되며, 하나의 CBISS에 포함될 수 있다. CBISS 앵커 포인트는 CBIS#1의 앵커 포인트와 동일하며, CBIS#1 오디오 데이터가 전송된 후 CBIS#1 인터벌 이후의 시점(예를 들어, T1)에 후속하는 CBIS#1 오디오 데이터가 전송될 수 있다. 다음으로 CBIS#2의 앵커 포인트에서 CBIS#2 오디오 데이터가 전송된 후 CBIS#2 인터벌 이후의 시점(예를 들어, T2)에 후속하는 CBIS#2 오디오 데이터가 전송될 수 있다. 하나의 CBISS에 포함되는 모든 스트림이 수신된 후 동시에 재생될 수 있다. 즉, 상대적으로 늦게 전송되는 CBIS#2의 수신 완료 시점에서 CBIS#1 및 CBIS#2의 오디오 데이터가 처리되어 재생될 수 있다.
여기서, CBISS의 동기화 지연은 CBISS에서 상대적으로 늦게 수신되는 CBIS#2의 수신 완료 시점(T2)까지의 시간 간격으로 정의될 수 있다. 예를 들어, CBIS#1의 수신 완료 시점(T1)과 CBIS#2의 수신 완료 시점(T2) 중에서 더 늦은 시점이 CBISS의 동기화 지연으로 결정될 수 있다. 즉, 복수의 스트림의 동기화 지연들 중에서 더 늦은 수신 완료 시점이 CBISS의 동기화 지연으로 결정될 수 있다. 구체적으로, CBIS#1 및 CBIS#2가 같은 하나의 CBISS로 묶여 있을 경우, 먼저 수신 완료된 스트림 CBIS#1은 나중에 수신 완료된 스트림 CBIS#2 정보가 전송 완료될 때까지 대기한 후 재생될 수 있다.
송신단(Tx)은 CBIS의 개수, CBIS 이벤트, 서브이벤트, 인터벌 등을 고려하여 계산된 예상 지연(Delay) 값을 수신단(Rx)에게 미리 알려줄 수 있다. 예를 들어, 송신단은 채널 설정시에 수신단에게 예상 지연 값을 알려줄 수 있다.
연결 기반 등시성 링크(Isochronous Connection Link, ICL)의 경우 송신단과 수신단은 연결된 상태이므로, 수신단은 실제 발생한 지연 값을 송신단에게 알려줄 수 있다.
INCL의 경우에는 송신단과 수신단이 연결되지 않은 상태이므로, 수신단은 실제 발생한 지연 값을 송신단에게 알려줄 수 없다. 만약 수신단으로부터 송신단으로 지연 값을 알려줄 수 있다고 하더라도, 송신단이 복수의 디바이스들의 동기화를 맞추기 위해서, 특정 디바이스의 재생 시점을 제어할 수 없다.
예를 들어, INCL인 경우에도 다수의 CBIS (예를 들어, 5.1CH의 6개 채널에 해당하는 6개의 CBIS)가 하나의 CBISS에 포함되는 경우, 송신단이 수신단으로부터 피드백을 받아서 동기화를 조절할 수도 있다. 피드백을 통해서 수신단은 자신의 지연 정보를 송신단에게 알려줄 수 있다.
도 7은 본 개시가 적용가능한 복수의 디바이스에 대한 브로드캐스트 동작을 설명하기 위한 도면이다.
오디오 소스 디바이스는 등시성 스트림들의 동시 재생을 위한 동기화 지연 값을 계산하여 복수의 오디오 싱크 디바이스에게 전달할 수 있다. 싱크 디바이스의 각각은 소스 디바이스로부터 제공된 지연 값에 기초하여 재생 타이밍을 결정할 수 있다. 즉, 소스 디바이스는 싱크 디바이스가 오디오 데이터를 수신하여 처리하기 위해서 소요되는 시간을 정확하게 알 수 없으므로, 싱크 디바이스가 재생 타이밍을 결정하기 위한 기초 정보로서 지연 값을 제공할 수 있다. 싱크 디바이스는 자신의 디바이스 특성에 따라 재생 타이밍을 결정하고 오디오 데이터를 재생할 수 있다.
예를 들어, 등시성 브로드캐스트(Isochronous Broadcast) 동작에 있어서, 소스 디바이스(예를 들어, TV)는 전송 지연(Transport Delay), 렌더링 지연(rendering delay) 등을 계산하여 싱크 디바이스(예를 들어, 스피커)에게 전달할 수 있다. 싱크 디바이스는 수신된 지연 값을 반영하여 오디오 데이터의 재생 또는 렌더링 타이밍을 조절할 수 있다. 싱크 디바이스 제조사마다 디바이스 특성이 다르기 때문에, 실제 재생 타이밍은 싱크 디바이스에서 결정하도록 할 수 있다.
만약 싱크 디바이스가 소스 디바이스에게 정보 전달이 가능한 경우에는, 싱크 디바이스가 지연 값을 계산하여 소스 디바이스에게 전달할 수 있다. 이에 따라, 소스 디바이스는 싱크 디바이스로부터 제공된 지연 값에 기초하여 전송 타이밍을 결정할 수 있다.
예를 들어, 싱크 디바이스(예를 들어, 스피커)가 소스 디바이스(예를 들어, TV)에게 정보를 전달할 수 있는 피드백 채널이 형성될 수 있다. 이 경우, 등시성 연결 기반의 유니캐스트 동작이 수행될 수 있다. 싱크 디바이스는 렌더링 지연(rendering delay) 값을 계산하여 소스 디바이스에게 피드백 채널을 통하여 전달할 수 있다. 이에 따라, 소스 디바이스는 싱크 디바이스로부터 제공된 지연 값을 반영하여 오디오 데이터의 전송 시간을 조절할 수 있다.
도 7을 참조하면 송신단은 TV이고, 두 개의 수신단인 제 1 스피커(스피커 #1) 및 제 2 스피커(스피커 #2)인 경우의 등시성 스트림 동작을 예시적으로 나타낸다. 제 1 스피커는 제 1 스트림/채널(예를 들어, 5.1CH 중에서 RR 채널), 제 2 스피커는 제 2 스트림/채널(예를 들어, 5.1CH 중에서 RL 채널)을 할당 받을 수 있다.
제 1 및 제 2 스피커는 각각 일반 오디오 일반 애드버타이즈먼트(audio general advertisement) 또는 오디오 다이렉티드 애드버타이즈먼트(audio directed advertisement)를 전송할 수 있다. TV와 제 1 스피커 또는 제 2 스피커 중의 하나 이상은 서로 연결을 맺을 수도 있고 연결을 맺지 않을 수도 있다.
TV와 스피커 중의 하나 이상이 연결을 맺은 경우에는, 스피커가 렌더링 지연 값을 계산하고 TV에게 보고할 수 있다. TV와 스피커가 연결을 맺지 않은 경우에는 TV가 전송 지연, 렌더링 지연 값 등을 계산하고 스피커에게 전달할 수 있다.
TV는 오디오 컨텐츠의 특성(content characteristics), 오디오/비디오 동기(A/V synch), 코덱 특성 등을 고려하여 동기화 작업을 수행하고 특정 오디오 스트림에 대해서 강제로 지연을 적용할 수 있다. 예를 들어, 오디오 코덱 인코딩/디코딩 지연은 BLEAC의 경우에 40ms, SBC의 경우에 200ms, APT-X의 경우에 100ms 등으로 상이하므로 코덱 특성에 따라서 지연 값이 결정될 수 있다. 또한, A/V 컨텐츠의 특성은 게임, 영화, 애니메이션 등에 따라서 상이하므로, 이를 고려하여 지연 값이 결정될 수 있다. 또한, 미디어 클럭(media clock)과 BLE 인터페이스의 클럭의 차이를 고려하여 지연 값이 결정될 수 있다. 미디어 클럭은 A/V 타임 스케일(time scale) 정보를 통해 확인할 수 있다.
또한, 도 7의 좌측에 표시된 바와 같이, 다양한 방송 표준에서 정의된 오디오/비디오 신호 처리 시간을 고려하여 지연 값이 결정될 수 있다. 예를 들어, 오디오-비디오-오디오 간의 시간 간격은, ATSC(Advanced Television Systems Committee)에서는 15ms 및 45ms, ITU-R BT.1359-1에서는 125ms 및 45ms, SMPTE(Society of Motion Picture and Television Engineers)에서는 22ms 및 22ms로 정의되며, 이러한 시간 간격을 고려하여 지연 값이 결정될 수 있다.
TV는 각각의 스트림의 렌더링 지연 값을 설정하여 스피커에게 알려주거나, 스피커로부터 제공된 지연 값에 기초하여 스트림의 전송 타이밍을 결정할 수 있다.
결정된 지연 값에 기초하여 TV는 스피커에게 스트림을 전송할 수 있다. 즉, 소스 디바이스 또는 송신단인 TV가 싱크 디바이스 또는 수신단인 스피커(들)과 지연 값을 교환하고, 지연 값을 반영하여 동기화를 맞추는 작업을 수행할 수 있다.
도 8 및 도 9는 본 개시가 적용가능한 ICL 타입 및 INCL 타입의 동작을 설명하기 위한 도면이다.
BLE에서 오디오 전송을 위한 채널은 ICL 타입과 INCL 타입으로 분류될 수 있다. ICL 채널과 INCL 채널 모두 스트림 식별자(Stream ID) 및 채널 식별자(Channel ID)를 이용하여 다수의 디바이스 및/또는 다수의 프로파일에게 오디오 데이터를 전송할 수 있다. ICL 타입과 INCL 타입에 따라서 오디오 데이터 전송을 위해 BLE 채널 상에서 어떠한 동작을 수행해야 하는지가 결정될 수 있다.
ICL 채널들의 경우에는 하나의 소스 디바이스와 하나의 싱크 디바이스 간의 포인트-대-포인트 물리 링크를 통한 단방향성 또는 양방향성 통신을 지원하는 연결 기반 유스 케이스에 해당한다. 또한, INCL 채널들의 경우에는 하나의 소스 디바이스와 하나 이상의 싱크 디바이스 간의 포인트-대-멀티포인트 물리 링크를 통한 단방향성의 통신만을 지원하는 브로드캐스트 유스 케이스에 해당한다.
디바이스의 프로토콜 스택은 상위계층으로부터 하위계층의 순서대로 프로파일 계층, 채널 관리자(channel manager) 계층, 호스트(host) 계층 및 제어기(controller) 계층을 포함할 수 있다. 프로파일 계층과 채널 관리자 계층 간에는 채널 단위로 데이터가 전달되고, 채널 관리자 계층과 호스트 계층 간에는 스트림 단위로 데이터가 전달될 수 있다.
도 8을 참조하여, ICL 타입의 경우에는 마스터(M)와 제 1 슬레이브1(S1) 간의 연결과 마스터(M)과 제 2 슬레이브(S2) 간의 연결이 존재할 수 있다. 이 경우, 두 개의 슬레이브에게 1개의 스트림에 포함되는 두 개의 채널을 채널 식별자로 구분하여 전송하는 것이 가능하다. 즉, Channel ID 1은 S1에게 할당되고, Channel ID 2는 S2에게 할당되는데, Channel ID 1 및 Channel ID 2는 모두 동일한 Stream ID 1을 통하여 전송될 수 있다. 또한, 연결 기반으로 양방향 통신이 가능하므로 슬레이브들은 마스터(M)에게 피드백 정보를 제공할 수도 있다. 예를 들어, S1이 오른쪽 귀에 장착하는 무선 이어폰이고, S2가 왼쪽 귀에 장착하는 무선 이어폰인 경우, 마스터(M)가 전송하는 음악을 S1과 S2를 통하여 스테레오로 청취하는 것이 가능하다.
도 9를 참조하여, INCL 타입의 경우에는 마스터(M)과 슬레이브들(S1, S2) 간의 연결이 없고, 슬레이브들은 마스터가 애드버타이징하는 동기화 정보에 기초하여 INCL 스트림 오프셋, 이벤트, 서브-이벤트의 타이밍에 동기화하고, 브로드캐스트되는 오디오 데이터를 수신할 수 있다. 또한, 마스터(M)는 두 가지의 프로파일(프로파일 #1 및 프로파일 #2)을 포함할 수 있다. 제 1 슬레이브(S1)은 프로파일 #1을 포함하고, 제 2 슬레이브(S2)는 프로파일 #1 및 프로파일 #2를 포함할 수 있다. 프로파일 #1에서 Channel ID 1 및 Channel ID 2가 하나의 스트림인 Stream ID 1을 통하여 마스터(M)로부터 브로드캐스트되고, 슬레이브들(S1, S2)이 각각 Channel ID 1 및 Channel ID를 프로파일 #1에서 수신하는 것은 도 8과 유사하다. 추가적으로, 프로파일 #2에서 Channel ID 1가 Stream ID 2를 통하여 마스터(M)로부터 브로드캐스트되고, 제 2 슬레이브(S2)가 Channel ID 1을 프로파일 #2에서 수신할 수 있다.
도 10은 본 개시가 적용가능한 브로드캐스트 오디오 스트림 상태 머신을 나타내는 도면이다.
브로드캐스트 오디오 스트림에 대한 제어는 브로드캐스트 송신단에서의 브로드캐스트 오디오 스트림 상태 머신(state machine) 및 상태 천이(transition)로 설명할 수 있다.
브로드캐스트 오디오 스트림 상태 머신은 브로드캐스트 송신기가 브로드캐스트 수신기(또는 브로드캐스트 디스커버리 클라이언트)와 통신하지 않거나, 연결 없이 단방향 방식으로 하나 이상의 브로드캐스트 수신기(또는 브로드캐스트 디스커버리 클라이언트)와 통신하는 것을 허용한다. 브로드캐스트 송신기는 BASS(Broadcast Audio Source Session)의 형태로 브로드캐스트 오디오 애드버타이즈먼트(audio advertisement)를 이용하여 통신할 수 있다. 브로드캐스트 오디오 스트림은 브로드캐스트 송신기에 의해서 송신될 수 있다.
AUDIO STANDBY 상태는 브로드캐스트 오디오 스트림이 전송되지 않는 상태를 의미한다.
AUDIO CONFIGURED 상태는 주기적인 애드버타이징 이벤트를 통해서 브로드캐스트 수신기(또는 브로드캐스트 디스커버리 개시자)가 오디오 스트림을 검출하도록 하는 정보를 애드버타이징하기 시작하는 상태를 의미한다. 주기적인 애드버타이징 이벤트는 애드버타이즈먼트 메타데이터(advertisement metadata), 스트림 설정(stream configuration), 동기화 정보 등을 전달하는 것을 포함할 수 있다. 이 상태에서 브로드캐스트 송신기로부터 오디오 데이터 패킷이 전송되지는 않는다.
AUDIO STREAMING 상태는 브로드캐스트 송신기에서 브로드캐스트 오디오 스트림이 활성화(enable)되어 오디오 데이터 패킷이 전송될 수 있는 상태를 의미한다. 브로드캐스트 송신기는 브로드캐스트 오디오 스트림을 전송하는 동안에 주기적인 애드버타이징을 통해서 계속하여 메타데이터 애드버타이즈먼트를 수행할 수 있다. AUDIO STANDBY 상태에서 스트림이 설정(configure stream)되면 AUDIO CONFIGURED 상태로 천이하고, AUDIO CONFIGURED 상태에서 스트림이 해제(release stream)되면 AUDIO STANDBY 상태로 천이할 수 있다. AUDIO CONFIGURED 상태에서 스트림이 활성화(enable stream)되면 AUDIO STREAMING 상태로 천이하고, AUDIO STREAMING 상태에서 스트림이 비활성화(disable stream)되면 AUDIO CONFIGURED 상태로 천이할 수 있다. AUDIO CONFIGURED 상태에서 스트림 재설정(reconfigure stream)이 발생하면 AUDIO CONFIGURED 상태로 천이할 수 있다. AUDIO STREAMING 상태에서 컨텐츠 재할당(content reassignment)이 발생하면 AUDIO STREAMING 상태로 천이할 수 있다.
도 11은 본 개시가 적용가능한 오디오 셋업 절차를 나타내는 도면이다.
디스커버리 결과가 없는 경우(즉, zero discovery) AUDIO STANDBY 상태로 천이하고, 디스커버리 결과가 있다면 ASC(Audio Stream Capability)에 대한 디스커버리를 수행하고 AUDIO STANDBY 상태로 천이할 수 있다.
ASS(Audio Stream Session) 설정이 발생하는 경우 AUDIO CONFIGURED 상태로 천이할 수 있다. AUDIO CONFIGURED 상태에서 ASS가 해제되면 AUDIO STANDBY 상태로 천이할 수 있다. AUDIO CONFIGURED 상태에서 재설정(reconfiguration)이 발생하는 경우에 ASS 설정을 거쳐 AUDIO CONFIGURED 상태로 천이할 수 있다.
ASS가 활성화되면 AUDIO STREAMING 상태로 천이할 수 있다. AUDIO STREAMING 상태에서 ASS 비활성화가 발생하면 AUDIO CONFIGURED 상태로 천이할 수 있다. AUDIO STREAMING 상태에서 컨텐츠 재할당이 발생하면 AUDIO STREAMING 상태로 천이할 수 있다.
도 12는 본 개시가 적용가능한 링크 계층 상태 머신을 나타내는 도면이다.
링크 계층(LL)의 동작은 (등시성 채널 관점에서) Standby, Advertising, Scanning, Initiating, Connection, Synchronized(synchronization), Streaming(Isochronous Broadcasting) 상태로 표현될 수 있다.
Standby 상태는 다른 상태로 천이하기 전의 대기 상태에 해당한다.
Advertising 상태에서 LL은 애드버타이징 패킷을 전송하는 애드버타이저(advertiser)로서 동작할 수 있다. Advertising 상태에서 연결을 맺는 경우 디바이스는 슬레이브(slave)로서 동작할 수 있다.
Initiating 상태에서 LL은 다른 애드버타이저로부터의 패킷을 청취(listen)하고 해당 패킷에 응답하여 연결을 개시하는 개시자(initiator)로서 동작할 수 있다. Initiating 상태에서 연결을 맺는 경우 디바이스는 마스터(master)로서 동작할 수 있다.
Scanning 상태에서 LL은 다른 애드버타이저로부터의 패킷을 청취하고 추가 정보를 요청할 수도 있는 스캐너(scanner)로서 동작할 수 있다.
Synchronized 상태는 다른 디바이스와 동기화되어 오디오 스트림을 수신하거나 수신할 수 있는 상태를 의미할 수 있다.
Streaming 상태는 동기화된 다른 디바이스에게 오디오 스트림을 전송하는 상태를 의미할 수 있다.
도 13은 본 개시가 적용가능한 오디오 토폴로지의 예시를 나타내는 도면이다.
유니캐스트의 경우에는 단방향 또는 양방향 오디오 스트림을 지원할 수 있다. 헤드셋과 스마트폰 간의 연결에 기반한 유니캐스트 오디오 데이터 송수신이 수행될 수 있고, 헤드셋과 스마트폰 간의 연결과 헤드셋과 태블릿 간의 연결에 기반한 유니캐스트 오디오 데이터 송수신이 수행될 수도 있다. 이 경우, 유니캐스트 오디오 서비스의 서버는 헤드폰이 될 수 있고, 클라이언트는 스마트폰, 태블릿 등이 될 수 있다. 또한, 헤드폰은 오디오 싱크에 해당하고, 스마트폰, 태블릿은 오디오 소스에 해당할 수 있다.
브로드캐스트의 경우에는 알림(announcement) 시스템, 도어벨(doorbell), TV 등이 브로드캐스트 방식으로 오디오 데이터를 전송하고, 브로드캐스트된 오디오 데이터를 하나 이상의 디바이스에서 수신할 수 있다. 이 경우, 브로드캐스트 오디오 서비스의 서버는 알림 시스템, 도어벨, TV 등이 될 수 있고, 클라이언트는 헤드폰이 될 수 있다. 또한, 헤드폰은 오디오 싱크에 해당하고, 알림 시스템, 도어벨, TV는 오디오 소스에 해당할 수 있다.
도 14 내지 도 16은 본 개시가 적용될 수 있는 서버와 클라이언트 간의 메시지 교환 과정을 나타내는 도면이다.
도 14 내지 도 16의 예시에서 클라이언트는 오디오 소스이고 서버는 오디오 싱크일 수 있다. 또는 클라이언트가 오디오 싱크이고 서버가 오디오 소스일 수도 있다.
도 14에서는 오디오 세션 캐퍼빌리티(ASC) 디스커버리(audio session capability discovery) 절차 및 ASC 업데이트(audio session capability update) 절차를 예시적으로 나타낸다.
도 14(a)의 오디오 세션 캐퍼빌리티 디스커버리 절차에서 클라이언트는 서버에서 ASC 디스커버리 요청(discovery request) 메시지를 전송하여 캐퍼빌리티 디스커버리를 요청하고, 이에 응답하여 서버가 클라이언트에게 ASC 디스커버리 응답(discovery response) 메시지를 전송하여 캐퍼빌리티의 세부 정보를 전달할 수 있다.
도 14(b)의 오디오 세션 캐퍼빌리티 업데이트 절차에서 서버는 클라이언트에게 ASC 업데이트 지시(update indication) 메시지를 전송하여 캐퍼빌리티 업데이트가 발생하였음을 알리고, 클라이언트는 서버에게 ASC 업데이트 확인(update confirmation) 메시지를 전송하여 캐퍼빌리티 업데이트를 수행할 것을 알릴 수 있다. 이에 후속하여 오디오 세션 캐퍼빌리티 디스커버리 절차 또는 ASC 디스커버리 절차(discovery procedure)가 수행될 수 있다.
도 14의 예시에서 이용되는 메시지의 포맷은 아래의 표 1과 같이 정의될 수 있다.
Figure pct00001
ASC 업데이트 지시 메시지 및 ASC 업데이트 확인 메시지에는 ASC 디스커버리가 필요하다는 것을 알리는 정보 및 이에 대한 확인 정보가 각각 포함될 수 있다.
도 15에서는 유니캐스트 오디오 스트림 설정 절차 및 유니캐스트 오디오 스트림 수립 절차를 예시적으로 나타낸다.
도 15(a)의 유니캐스트 오디오 스트림 설정(unicast audio stream configuration) 절차에서, 클라이언트는 AUDIO STANDBY 상태에서 코덱 설정 요청(Codec configuration request) 메시지를 서버에게 전송하여 설정을 요청하는 코덱이 무엇인지 등을 알릴 수 있다. 이에 응답하여 서버는 클라이언트에게 코덱 설정 응답(Codec configuration response) 메시지를 전송하여 서버가 지원하는 QoS 및 렌더링 지연값 등을 알릴 수 있다. 또한, 클라이언트는 서버에게 QoS 협상 요청(negotiation request) 메시지를 전송하여 특정 오디오 스트림 세션(ASS), 오디오 그룹, 오디오 스트림을 특정하여 클라이언트가 지원하는 QoS 및 렌더링 지연값 등을 알릴 수 있다. 이에 응답하여 서버는 클라이언트에게 QoS 협상 응답(negotiation response) 메시지를 전송할 수 있다. 이에 따라, 클라이언트와 서버 간에 대역폭(BW), 비트레이트(bitrate) 등이 협상에 의해 결정될 수 있고, 클라이언트와 서버는 CONFIGURED 상태로 천이할 수 있다.
도 15(b)의 유니캐스트 오디오 스트림 수립(unicast audio stream establishment) 절차에서, 클라이언트는 AUDIO CONFIGURED 상태에서 서버에게 ASS 활성화 요청(enable request) 메시지를 전송하여 활성화를 요청하는 ASS에 대한 정보를 알릴 수 있다. 이에 응답하여 서버는 클라이언트에게 ASS 활성화 응답(enable response) 메시지를 전송하여 어떤 ASS를 활성화시키는지에 대해서 알릴 수 있다. 클라이언트에서 연결 기반 등시성 링크 파라미터에 대한 설정이 수행되고, 클라이언트와 서버는 연결 기반 등시성 스트림 연결 및 관련 파라미터를 설정함으로써 CBIS가 수립될 수 있다. 클라이언트가 오디오 싱크이고 서버가 오디오 소스인 경우, 클라이언트는 오디오 데이터를 재생할 준비를 하고(예를 들어, 버퍼/메모리, 코덱, 오디오 애플리케이션 데이터 준비 확인 등), ASS 수신 준비 명령(ASS Rx ready command) 메시지를 서버에 전송하여 이를 알릴 수 있다. 이에 따라, 서버는 오디오 데이터를 제공할 준비(예를 들어, 버퍼/메모리, 코덱, 오디오 애플리케이션 데이터 준비 확인 등)를 하고, ASS 수신 준비 통지(ASS Rx ready notification) 메시지를 클라이언트로 전송하여 이를 알릴 수 있다. 클라이언트가 오디오 소스이고 서버가 오디오 싱크인 경우, 서버는 오디오 데이터를 재생할 준비를 하여 ASS 수신 준비 지시 통지(ASS Rx ready indication) 메시지를 클라이언트에게 전송하고, 클라이언트는 ASS 수신 준비 지시 통지 메시지를 수신한 후 오디오 데이터를 제공할 준비를 할 수 있다. 이에 따라, 클라이언트와 서버는 AUDIO STREAMING 상태로 천이할 수 있다.
도 15의 예시에서 이용되는 메시지의 포맷은 아래의 표 2와 같이 정의될 수 있다.
Figure pct00002
도 16에서는 클라이언트가 오디오 스트림을 비활성화하는 절차 및 서버가 오디오 스트림을 비활성화하는 절차를 예시적으로 나타낸다.
도 16(a)에서 클라이언트가 오디오 스트림을 비활성화하는(client disable audio streams) 절차에서, 클라이언트가 오디오 소스이고 서버가 오디오 싱크인 경우, AUDIO STREAMING 상태에서 클라이언트가 오디오 중단(audio stop) 결정을 하는 경우, ASS 비활성화 요청(disable request) 메시지를 서버로 전송할 수 있다. 이에 따라 서버는 오디오 데이터 스트리밍을 중단하고 ASS 비활성화 응답(disable response) 메시지를 클라이언트로 전송할 수 있다. 이를 수신한 클라이언트는 오디오 데이터 인코딩 및 오디오 애플리케이션 동작을 중지할 수 있다.
또는 클라이언트가 오디오 싱크이고 서버가 오디오 소스인 경우, 클라이언트는 오디오 데이터 스트리밍을 중단하고 ASS 비활성화 요청 메시지를 서버로 전송할 수 있다. 이에 따라 서버는 오디오 데이터 인코딩 및 오디오 애플리케이션 동작을 중지하고, ASS 비활성화 응답 메시지를 클라이언트로 전송할 수 있다.
이후 클라이언트와 서버는 연결 기반 등시성 스트림 해제 및 관련 파라미터 설정 해제를 수행할 수 있다. 여기서, 클라이언트와 서버간의 재연결을 대비하여 디바이스 정보가 등시성 스트림 연결 관련 파라미터와 함께 클라이언트 및/또는 서버에서 저장될 수 있다. 이에 따라, 클라이언트에서는 연결 기반 등시성 링크 관련 파라미터 설정을 해제할 수 있다. 이에 따라, 클라이언트 및 서버는 AUDIO CONFIGURED 상태로 천이할 수 있다.
도 16(b)의 예시에서 서버가 오디오 스트림을 비활성화하는 (server disable audio streams) 절차에서, 서버가 오디오 소스이고 클라이언트가 오디오 싱크인 경우, AUDIO STREAMING 상태에서 서버가 오디오 중단 결정을 하는 경우, ASS 비활성화 지시(disable indication) 메시지를 클라이언트로 전송할 수 있다. 이에 따라 클라이언트는 오디오 데이터 스트리밍을 중단하고 ASS 비활성화 확인(disable confirmation) 메시지를 서버로 전송하거나 전송하지 않을 수도 있다. ASS 비활성화 응답을 수신하거나 또는 수신하지 않더라도 서버는 오디오 데이터 인코딩 및 오디오 애플리케이션 동작을 중지할 수 있다.
또는 서버가 오디오 싱크이고 클라이언트가 오디오 소스인 경우, 서버는 오디오 데이터 스트리밍을 중단하고 ASS 비활성화 지시 메시지를 클라이언트로 전송할 수 있다. 이에 따라 클라이언트는 오디오 데이터 인코딩 및 오디오 애플리케이션 동작을 중지하고, ASS 비활성화 확인 메시지를 서버로 전송하거나 전송하지 않을 수도 있다.
이후 클라이언트와 서버는 연결 기반 등시성 스트림 해제 및 관련 파라미터 설정 해제를 수행할 수 있다. 여기서, 클라이언트와 서버간의 재연결을 대비하여 디바이스 정보가 등시성 스트림 연결 관련 파라미터와 함께 클라이언트 및/또는 서버에서 저장될 수 있다. 이에 따라, 클라이언트에서는 연결 기반 등시성 링크 관련 파라미터 설정을 해제할 수 있다. 이에 따라, 클라이언트 및 서버는 AUDIO CONFIGURED 상태로 천이할 수 있다.
도 16의 예시에서 이용되는 메시지의 포맷은 아래의 표 3과 같이 정의될 수 있다.
Figure pct00003
아래의 표 4는 컨텐츠 재할당 요청/응답, ASS 해제 요청/응답, 일반 애드버타이즈먼트, 다이렉티드 애드버타이즈먼트 메시지 포맷을 예시적으로 나타낸다.
Figure pct00004
도 17은 본 개시가 적용가능한 콜 서비스에 대한 상태 머신을 나타내는 도면이다.
AUDIO STANDBY 상태에서 콜이 착신(incoming)되는 경우에 CALL ACCEPTING 상태로 천이할 수 있다. CALL ACCEPTING 상태에서 콜을 수락(accept)하는 경우에 CALL ACTIVE 상태로 천이할 수 있다. CALL ACCEPTING 상태에서 콜을 거절(reject)하는 경우에 AUDIO STANDBY 상태로 천이할 수 있다. CALL ACCEPTING 상태에서 콜을 받을 수 없는 홀드(hold)의 경우에 CALL HELD 상태로 천이할 수 있고, CALL HELD 상태에서 홀드해제(unhold)되는 경우 CALL ACTIVE 상태로 천이할 수 있다. CALL HELD 상태 또는 CALL ACTIVE 상태에서 종료(terminate)되는 경우에 AUDIO STANDBY 상태로 천이할 수 있다.
또한, AUDIO STANDBY 상태에서 콜을 발신(outgoing)하는 경우에 CALL INITIATING 상태로 천이할 수 있다. CALL INITIATING 상태에서 원격지 또는 상대방에서 콜에 응답하는 경우에 CALL ACTIVE 상태로 천이할 수 있다. CALL INITIATING 상태에서 종료되는 경우 AUDIO STANDBY 상태로 천이할 수 있다.
이러한 콜 서비스 상태 머신에서, AUDIO STANDBY 상태에서 헤드셋으로 전달해야 하는 오디오 데이터가 발생할 수 있다. 예를 들어, 전화번호를 누를 때의 반응을 소리로 알림하는 경우에 헤드셋으로 오디오 데이터가 전달될 수도 있다.
또한, 콜 서비스와 관련된 다양한 무선 액세스 기술(예를 들어, 2G, 3G, 4G, 5G, Wi-Fi, GSM, CDMA, WCDMA 등)을 명시적으로 지시하는 정보가 정의될 수 있으며, 예를 들어, 1 옥텟 크기의 베어러 기술(bearer technology) 필드가 정의될 수 있다. 이는 전술한 콜 베어러 서비스(Call Bearer Service)와 관련될 수 있다.
멀티웨이 콜(Multiway Calling)의 경우에는 복수의 라인(line)이 존재할 수 있고, 도 17과 같은 상태 머신이 각각의 라인마다 유지될 수 있다. 예를 들어, 제 1 라인이 CALL ACTIVE 상태인 도중에 제 2 라인이 AUDIO STANDBY 상태에서 CALL ACCEPTING 상태로 천이하는 경우, 사용자의 제어에 따라 제 1 또는 제 2 라인을 CALL HELD 상태로 천이할 수 있다.
이하에서는, 블루투스 시스템의 논리 링크(logical links) 및 논리 트랜스포트(logical transports)에 대해서 설명한다.
다양한 애플리케이션 데이터 전송 요건을 지원하기 위해서 다양한 논리 링크가 사용될 수 있다. 각각의 논리 링크는 논리 트랜스포트와 연관(associate)되며, 이는 다양한 특성을 가질 수 있다. 이러한 특성은 플로우 제어, 확인응답(acknowledgment)/반복(repeat) 메커니즘, 시퀀스 넘버링 및 스케줄링 동작 등을 포함할 수 있다. 논리 트랜스포트는 그 타입에 따라서 다양한 타입의 논리 링크를 전달(carry)할 수 있다. 복수의 논리 링크가 동일한 하나의 논리 트랜스포트에 다중화될 수도 있다. 논리 트랜스포트는 특정 채널 상의 물리 링크에 의해서 전달될 수 있다.
논리 트랜스포트 식별정보 및 실시간 (링크 제어) 시그널링은 패킷 헤더에 포함될 수도 있고, 특정 논리 링크 식별정보는 페이로드의 헤더에 포함될 수도 있다.
아래의 표 5는 논리 트랜스포트 타입, 지원되는 논리 링크 타입, 지원되는 물리 링크 및 물리 채널 타입, 논리 트랜스포트에 대한 설명을 예시적으로 나타낸다.
Figure pct00005
도 18은 본 개시가 적용가능한 계층별 패킷 포맷을 나타내는 도면이다.
도 18(a)는 링크 계층(LL) 패킷 포맷의 예시를 나타낸다. LL 패킷 포맷은 프리앰블(preamble), 액세스 어드레스(access address) (또는 액세스 코드), PDU 및 CRC(Cyclic Redundancy Code) 필드를 포함할 수 있다. 프리앰블은 1 옥텟 크기를 가지고, 수신측에서 주파수 동기화, 심볼 타이밍 추정, AGC(Automatic Gain Control) 트레이닝 등을 위해서 사용될 수 있으며, 미리 정해진 비트 시퀀스로 구성될 수 있다. 액세스 어드레스는 4 옥텟 크기를 가지고, 물리 채널에 대한 상관 코드로서 사용될 수 있다. PDU는 Bluetooth 4.0 버전에서 2 내지 39 옥텟 크기로 정의되고, 4.2 버전에서는 2 내지 257 옥텟 크기로 정의될 수 있다. CRC는 PDU에 대한 24 비트 길이의 체크섬으로 계산된 값을 포함할 수 있다.
도 18(b)는 도 18(a)의 PDU의 예시적인 포맷을 나타낸다. PDU는 2 가지 타입으로 정의될 수 있으며, 하나는 데이터 채널 PDU(Data channel PDU)이고, 다른 하나는 애드버타이징 채널 PDU(Advertising channel PDU)이다. 데이터 채널 PDU에 대해서는 도 19를 참조하여 구체적으로 설명하고, 애드버타이징 채널 PDU에 대해서는 도 20을 참조하여 구체적으로 설명한다.
도 18(c)는 L2CAP PDU 포맷의 예시를 나타내며, 이는 도 18(b)의 페이로드 필드의 예시적인 포맷에 해당할 수 있다. L2CAP PDU는 길이(Length), 채널 식별자(Channel ID) 및 정보 페이로드(Information Payload) 필드를 포함할 수 있다. 길이 필드는 정보 페이로드의 크기를 지시할 수 있고, 정보 페이로드 필드는 상위 계층 데이터를 포함할 수 있다. 채널 식별자 필드는 정보 페이로드 필드가 어떤 상위 계층의 데이터를 포함하는지를 나타낼 수 있다. 예를 들어, 채널 식별자 필드의 값이 0x0004인 경우에는 ATT(ATTribute protocol), 0x0006인 경우에는 SMP(Security Manager Protocol)를 지시할 수 있으며, 또는 다른 타입의 상위 계층 또는 미들웨어를 지시하는 다른 채널 식별자 값이 정의 및 사용될 수 있다.
도 18(c)의 L2CAP 패킷이 시그널링 채널 상에서 전송되는 L2CAP PDU(즉, 제어 프레임)인 경우에, 도 18(c)의 정보 페이로드 필드는 도 18(d)와 같이 구성될 수 있다. 정보 페이로드 필드는 코드(Code), 식별자(Identifier), 길이(Length) 및 데이터(Data) 필드를 포함할 수 있다. 예를 들어, 코드 필드는 L2CAP 시그널링 메시지의 타입을 지시할 수 있다. 식별자 필드는 요청과 응답을 매칭시키는 값을 포함할 수 있다. 길이 필드는 데이터 필드의 크기를 지시할 수 있다. 데이터 필드에는 애트리뷰트(attribute)가 포함될 수 있다. 애트리뷰트는 임의의 데이터의 단위이며, 예를 들어, 위치, 크기, 중량, 온도, 속도 등의 디바이스의 다양한 상태의 다양한 시점의 데이터를 포함할 수 있다.
애트리뷰트는 애트리뷰트 타입(attribute type), 애트리뷰트 핸들(attribute handle), 애트리뷰트 밸류(attribute value) 및 애트리뷰트 퍼미션(attribute permission)을 포함하는 포맷을 가질 수 있다.
애트리뷰트 타입은 UUID(Universally Unique Identifier)에 의해서 식별되는 애트리뷰트 데이터의 종류를 지시하는 값을 포함할 수 있다.
애트리뷰트 핸들은 애트리뷰트 데이터를 식별하기 위해서 서버에 의해서 할당되는 값을 포함할 수 있다.
애트리뷰트 밸류는 애트리뷰트 데이터의 값을 포함할 수 있다.
애트리뷰트 퍼미션은 GATT(Generic ATTribute profile)에 의해서 설정될 수 있고, 해당 애트리뷰트 데이터에 대한 허용되는 액세스의 종류(예를 들어, 독출(read)/기입(write) 가능 여부, 암호화(encryption) 필요 여부, 인증(authentication) 필요 여부, 권한(authorization) 필요 여부 등)를 지시하는 값을 포함할 수 있다.
ATT(Attribute protocol)/GATT(Generic Attribute Profile) 관점에서 디바이스는 서버 및/또는 클라이언트의 역할을 할 수 있다. 서버는 애트리뷰트(attribute) 및 관련된 값을 제공하는 역할을 하고, 클라이언트는 서버 상의 애트리뷰트를 디스커버(discover)하거나, 독출(read), 기입(write)하는 역할을 할 수 있다.
ATT/GATT에서 서버와 클라이언트가 애트리뷰트 데이터를 주고받는 것을 지원할 수 있다. 이를 위해서 ATT 프로토콜에서 지원되는 PDU는 6개의 메소드(method) 타입, 즉, 요청, 응답, 명령, 통지, 지시 및 확인을 포함할 수 있다.
요청(request)은 클라이언트로부터 서버에게 전송되며, 이에 대한 서버의 응답이 요구된다. 응답(response)은 서버로부터 클라이언트에게 전송되며, 클라이언트로부터의 요청이 있는 경우 전송된다. 명령(command)은 클라이언트로부터 서버에게 전송되며, 이에 대한 응답은 요구되지 않는다. 통지(notification)는 서버로부터 클라이언트에게 전송되며, 이에 대한 확인은 요구되지 않는다. 지시(indication)는 서버로부터 클라이언트에게 전송되며, 이에 대한 클라이언트의 확인이 요구된다. 확인(confirmation)은 클라이언트로부터 서버에게 전송되며, 서버로부터의 지시가 있는 경우에 전송된다.
또한, GATT는 다양한 프로파일(profile)을 지원할 수 있다. GATT 기반 프로파일의 구조는, 서비스(service) 및 특성(characteristics)으로 설명될 수 있다. 디바이스는 하나 이상의 프로파일을 지원할 수 있다. 하나의 프로파일은 0 또는 하나 이상의 서비스(service)를 포함할 수 있다. 복수의 프로파일이 동일한 서비스를 이용할 수도 있다. 하나의 서비스는 하나 이상의 특성을 포함할 수 있다. 특성은 독출(read), 기입(write), 지시(indicate) 또는 통지(notify)의 대상이 되는 데이터 값을 의미한다. 즉, 서비스는 특정 기능 또는 특징(feature)를 설명하기 위해 사용되는 데이터 구조로 이해될 수 있으며, 특성의 조합인 서비스는 디바이스가 수행하는 동작을 나타낼 수 있다. 모든 서비스는 서버에 의해서 구현되며, 하나 이상의 클라이언트 의해서 액세스될 수 있다.
도 19는 본 개시가 적용가능한 데이터 유닛 포맷의 예시들을 나타내는 도면이다.
도 19(a)는 데이터 물리 채널 (Data Physical Channel PDU(Protocol Data Unit))의 예시적인 포맷을 나타낸다. 데이터 채널 PDU는 데이터 물리 채널(예를 들어, 채널 번호 0 내지 36) 상에서 패킷을 전송하기 위해 사용될 수 있다. 데이터 물리 채널 PDU는 16 또는 24 비트 길이의 헤더, 가변 크기(예를 들어, 0 내지 251 옥텟 크기)의 페이로드를 포함하며, 추가적으로 MIC(Message Integrity Check) 필드를 더 포함할 수 있다. 예를 들어, MIC 필드는 페이로드 필드 크기가 0이 아닌 암호화된 링크 계층 연결의 경우에 포함될 수 있다.
도 19(b)에 도시하는 바와 같이, 헤더 필드는 LLID(Logical Link Identifier), NESN(Next Expected Sequence Number), SN(Sequence Number), MD(More Data), CP(CTEInfo Present), RFU(Reserved for Future Use), 길이(Length) 필드를 포함할 수 있다. RFU는 향후 필요한 경우에 사용할 수 있도록 유보된(reserved) 부분에 해당하며, 그 값은 보통 0으로 채워질 수 있다. 또한, CP 필드의 값에 따라서 헤더 필드는 CTEInfo(Constant Tone Extension Information) 서브필드를 더 포함할 수 있다. 또한, Length 필드는 페이로드의 크기를 지시할 수 있으며, MIC가 포함되는 경우에는 페이로드 및 MIC의 길이를 지시할 수 있다.
도 19(c)는 LL 제어 PDU (LL Control PDU)의 예시적인 포맷을 나타낸다. LL Control PDU는 링크 계층 연결을 제어하기 위해서 사용되는 데이터 물리 채널 PDU에 해당할 수 있다. LL Control PDU는 동작코드(Opcode)에 따라서 고정된 값을 가질 수 있다. Opcode 필드는 LL Control PDU의 타입을 지시할 수 있다. 제어데이터(CtrData) 필드는 Opcode에 의해서 특정되는 다양한 포맷 및 길이를 가질 수 있다.
예를 들어, LL Control PDU의 Opcode는 LL_CBIS_REQ, LL_CBIS_RSP, LL_CBIS_IND, LL_CBIS_TERMINATE_IND, LL_CBIS_SDU_CONFIG_REQ, LL_CBIS_SDU_CONFIG_RSP 중의 하나를 나타내는 값(예를 들어, 0x1F, 0x20, 0x21, 0x22, ...)을 가질 수 있다.
Opcode가 LL_CBIS_REQ를 지시하는 경우, CtrData 필드에는 CBISS 식별정보, CBIS 식별정보과 함께 CBIS 요청에 필요한 정보를 포함할 수 있다. 이와 유사하게, Opcode가 LL_CBIS_RSP, LL_CBIS_IND, LL_CBIS_TERMINATE_IND, LL_CBIS_SDU_CONFIG_REQ, LL_CBIS_SDU_CONFIG_RSP 중의 하나를 지시하는 각각의 경우에, CtrData는 CBIS 응답, CBIS 지시(indication), CBIS 종료 지시, CBIS SDU(Service Data Unit) 설정 요청, CBIS SDU 설정 응답에 필요한 정보를 포함할 수 있다.
도 19(d)는 오디오 데이터 PDU 포맷의 예시를 나타낸다.
오디오 데이터 PDU는 CBIS PDU 또는 브로드캐스트 등시성 PDU(broadcast isochronous PDU)일 수 있다. CBIS 스트림에서 사용되는 경우, 오디오 데이터 PDU는 CBIS PDU로서 정의될 수 있다. 브로드캐스트 등시성 스트림에서 사용되는 경우, 오디오 데이터 PDU는 브로드캐스트 등시성 PDU로서 정의될 수 있다.
오디오 데이터 PDU는 16비트 길이의 헤더 필드 및 가변적인 길이의 페이로드 필드를 포함할 수 있다. 또한, 오디오 데이터 PDU는 MIC 필드를 더 포함할 수도 있다.
CBIS PDU인 경우에 헤더 필드의 포맷은 2비트 크기의 LLID, 1비트 크기의 NESN, 1비트 크기의 SN, 1비트 크기의 CIE(Close Isochronous Event), 1비트 크기의 RFU, 1비트 크기의 NPI(Null PDU Indicator), 1비트 크기의 RFU, 9비트 크기의 Length 서브필드를 포함할 수 있다.
브로드캐스트 등시성 PDU인 경우에 헤더 필드의 포맷은 2 비트 크기의 LLID, 3비트 크기의 CSSN(Control Subevent Sequence Number), 1 비트 크기의 CSTF(Control Subevent Transmission Number), 2 비트 크기의 RFU, 8 비트 크기의 Length 서브필드를 포함할 수 있다.
오디오 데이터 PDU의 페이로드 필드는 오디오 데이터를 포함할 수 있다.
도 20은 본 개시가 적용가능한 애드버타이즈먼트 유닛 포맷의 예시들을 나타내는 도면이다.
도 20(a)는 애드버타이징 물리 채널 (Advertising Physical Channel PDU(Protocol Data Unit))의 예시적인 포맷을 나타낸다. 애드버타이징 채널 PDU는 애드버타이징 물리 채널(예를 들어, 채널 번호 37, 38, 39) 상에서 패킷을 전송하기 위해 사용될 수 있다. 애드버타이징 채널 PDU는 2 옥텟 크기의 헤더 및 6 내지 37 옥텟 크기의 페이로드로 구성될 수 있다.
도 20(b)는 애드버타이징 채널 PDU의 헤더의 예시적인 포맷을 나타낸다. 헤더는 PDU 타입(PDU Type), RFU(Reserved for Future Use), 송신 어드레스(TxAdd), 수신 어드레스(RxAdd), 길이(Length), RFU 필드를 포함할 수 있다. 헤더의 길이 필드는 페이로드의 크기를 지시할 수 있다.
도 20(c)는 애드버타이징 채널 PDU의 페이로드의 예시적인 포맷을 나타낸다. 페이로드는 6 옥텟 길이의 AdvA(Advertiser Address) 필드 및 0 내지 31 옥텟 길이의 AdvData 필드를 포함할 수 있다. AdvA 필드는 애드버타이저의 공용 주소 또는 랜덤 주소를 포함할 수 있다. AdvData 필드는 0개 이상의 애드버타이징 데이터 스트럭처(Advertising Data(AD) structure) 및 필요한 경우 패딩을 포함할 수 있다.
도 20(d)에서는 하나의 AD structure의 포맷을 나타낸다. AD structure는 3개의 필드를 포함할 수 있다. 길이(Length) 필드는 AD 데이터(AD Data) 필드의 길이를 지시할 수 있다. 즉, 길이 필드에 의해서 지시되는 값에서 1을 차감한 값이 AD Data 필드의 길이에 해당할 수 있다. AD 타입(AD Type) 필드는 AD Data 필드에 포함되는 데이터의 타입을 지시할 수 있다. AD Data 필드는 애드버타이저의 호스트로부터 제공되는 애드버타이징 데이터를 포함할 수 있다.
이하에서는 본 개시에 따른 클라우드 인증 페어링(Cloud Authentication pairing)에 대해서 설명한다.
본 개시는 신규 페어링 대상 디바이스와의 보안 자동 인증에 대한 것이다.
본 개시에 따르면, 어카운트 서버(account server)(또는 자격증명 중개자(credential broker))를 통하여 제 1 디바이스(또는 프로바이더(provider))에 대한 정보를 사전에 제 2 디바이스(또는 시커(seeker))에게 전송하여, 제 1 디바이스와 제 2 디바이스 간의 인증을 자동적으로 수행하는 실시예를 포함한다.
예를 들어, 제 1 디바이스에 대한 정보는 제 2 디바이스(또는 제 1 시커)와 동일한 어카운트(또는 사용자)에 연관된 제 3 디바이스(또는 제 2 시커)를 통하여 어카운트 서버에 미리 제공될 수 있다.
예를 들어, 제 1 디바이스는 다양한 디바이스에 페어링(또는 연결)될 수 있는 페어링 대상 디바이스(예를 들어, 헤드셋, 이어버드 등)일 수 있고, 제 2 및/또는 제 3 디바이스(또는 제 1 및/또는 제 2 시커)는 제 1 디바이스와 페어링되어 데이터를 제 1 디바이스에게 제공할 수 있는 사용자 장치에 해당할 수 있다.
또한, 본 개시에 따른 프로토콜의 관점에서, 제 1 디바이스는 프로바이더(provider)에 해당할 수 있다. 제 2 및/또는 제 3 디바이스는 시커(seeker)에 해당할 수 있다.
이에 따라, 사용자는 다수의 디바이스(예를 들어, 제 2 및 제 3 디바이스)에서 끊김없이(seamless) 페어링 대상 디바이스(예를 들어, 제 1 디바이스)와 연결 또는 페어링될 수 있다.
도 21은 본 개시가 적용될 수 있는 자동 인증 방법의 일례를 설명하기 위한 도면이다.
도 21의 예시는 클라우드 또는 서버를 이용하여, 사용자 어카운트를 기반으로 디바이스에 대한 자동 인증을 제공하는 방법을 포함할 수 있다.
어카운트 서버(Account Server)(또는 자격증명 중개자)는 사용자의 정보(예를 들어, 사용자 어카운트에 대한 자격증명(credential) 정보 등), 프로바이더(Provider) 디바이스의 정보, 어카운트 관리자(Account Manager)의 정보 등을 유지 및 관리할 수 있다.
어카운트 관리자(Account Manager)(또는 시커)는 사용자의 정보를 획득하고, 사용자와의 상호작용을 통하여 사용자 정보를 관리할 수 있다. 예를 들어, 어카운트 관리자는 오디오 소스 또는 사용자 장치(예를 들어, 스마트폰, 랩탑 컴퓨터 등)에 포함될 수 있다. 본 개시에서 복수의 어카운트 관리자는 하나의 동일한 사용자 어카운트에 연관된 것으로 가정한다. 또한, 어카운트 관리자는 프로바이더(Provider)로부터의 사용자 정보를 찾는 시커(seeker)에 해당할 수 있다.
프로바이더(Provider)는 사용자의 정보를 획득하고, 사용자의 정보를 기반으로 어카운트 관리자와 자동 연결(또는 페어링)을 맺을 수 있다. 예를 들어, 프로바이더는 오디오 싱크 또는 주변 장치(예를 들어, 헤드셋)에 포함될 수 있다.
어카운트 서버(또는 자격증명 중개자)는 어카운트 관리자(또는 시커) 및/또는 프로바이더와 다양한 OOB(out-of-band) 통신 방식(예를 들어, 인터넷을 통한 HTTP)을 통하여 정보를 교환할 수 있다. 어카운트 관리자를 포함하는 디바이스를 사용하는 사용자의 입장에서 어카운트 서버는 클라우드에 포함된 것으로 인식될 수 있다.
한편, 어카운트 관리자(또는 시커)와 프로바이더는 인-밴드(in-band) 통신 방식(예를 들어, 블루투스 기반 통신 방식)을 통하여 정보를 교환할 수 있다. 예를 들어, 어카운트 관리자와 프로바이더는 GATT 기반으로 특성(들)의 독출/기입/지시/통지 절차를 통하여 정보를 교환할 수 있다.
예를 들어, 도 21에서 Account Server는 Account Manager #1과의 메시지 교환을 통하여, 특정 사용자의 자격증명 정보(credential information)를 Account Manager #1에게 전달할 수 있다.
Account Manager #1이 Provider #1과 Bluetooth 기반 연결 및 본딩(connection and bonding 또는 페어링(pairing))을 맺을 때, 사용자에게 Provider #1이 신뢰할 수 있는 기기인지 여부를 확인하고, Provider #1에게 자격증명 정보를 제공할지 여부를 확인할 수 있다.
사용자가 허가할 경우(예를 들어, Account Manager #1의 사용자 인터페이스(UI)를 통한 자격증명 정보 교환(exchange) 허가 여부에 대한 알람에 대해서 사용자가 허용/Yes 선택), 자격증명 정보 교환 절차가 수행될 수 있다.
만약 보안 레벨(Secure Level)이 낮은 경우 Account Manager #1과 Provider #1 간에 보안 링크(Secure Link)를 생성하여 자격증명 정보 교환 절차를 수행한다. 만약 보안 레벨이 높다면 보안 링크 생성 과정 없이, 자격증명 정보 교환 절차를 수행할 수 있다.
이와 같은 자격증명 정보 교환을 통해, Provider #1은 자격증명 정보의 전체 정보 또는 일부 정보(예를 들어, 자격증명 정보 기반으로 생성한 해시 값)를 획득할 수 있다.
Provider #1은 획득한 자격증명 정보를 애드버타이징할 수 있다.
도 22는 본 개시가 적용될 수 있는 애드버타이징 패킷의 예시적인 포맷을 나타내는 도면이다.
본 개시에서는 자격증명 정보의 애드버타이징을 위한 새로운 타입의 애드버타이징 패킷을 정의하는 예시를 포함한다. 예를 들어, 애드버타이징 패킷 포맷을 이용하면서, 애드버타이징 데이터 타입을 사용자 어카운트에 관련된 데이터를 지시하는 새로운 값으로 특정하고, 애드버타이징 데이터에 자격증명 정보에 기초한 정보를 포함하도록 구성할 수 있다.
도 22(a) 및 도 22(b)는 도 18(a) 및 도 18(b)에 대응하므로 설명을 생략한다. 다만, 도 22는 애드버타이징 패킷에 대한 것이므로, 도 22(b)의 페이로드는 6 내지 37 옥텟 길이를 가지는 애드버타이징 채널 PDU로 구성될 수 있다.
애드버타이징 패킷의 경우, 도 22(b)의 페이로드는 도 22(c)와 같이 6 옥텟 길이의 AdvA 필드 및 0 내지 31 옥텟 길이의 AdvData 필드를 포함할 수 있다. AdvA 필드는 애드버타이저의 공용 주소 또는 랜덤 주소를 포함할 수 있다. AdvData 필드는 0개 이상의 애드버타이징 데이터 구조(Advertising Data(AD) structure) 및 필요한 경우 패딩을 포함할 수 있다.
도 22(d)에서는 하나의 AD 스트럭쳐(structure)의 포맷을 나타낸다. AD 스트럭쳐는 3개의 필드를 포함할 수 있다. 길이(Length) 필드는 AD 데이터(AD Data) 필드의 길이를 지시할 수 있다. 즉, 길이 필드에 의해서 지시되는 값에서 1을 차감한 값이 AD Data 필드의 길이에 해당할 수 있다. AD 타입(AD Type) 필드는 AD Data 필드에 포함되는 데이터의 타입을 지시할 수 있다. AD Data 필드는 애드버타이저의 호스트로부터 제공되는 애드버타이징 데이터를 포함할 수 있다.
본 개시에서 이용되는 사용자 어카운트에 관련된 새로운 애드버타이징 패킷을 지시하기 위해서, AD Type은 사용자 어카운트에 관련된 정보를 지시하는 값을 포함하고, AD Data는 사용자 정보에 기초하여 생성된 정보를 포함할 수 있다. 예를 들어, AD Type은 "어카운트 기반 페어링(Account Based Pairing)"를 지시하는 값을 가질 수 있다. 또한, AD Data는 사용자의 자격증명 정보 기반으로 생성한 해시 값을 포함할 수 있다.
이와 같이, 애드버타이징 데이터에 자격증명 정보를 포함하는 애드버타이징 패킷을 전송할 수 있도록, 애드버타이징 패킷(구체적으로는, 애드버타이징 채널 PDU의 페이로드)에 자격증명 정보에 기초한 정보를 포함시키고, 이를 지시하는 AD Type을 포함시키는 형태로 변경하여 설계할 수 있다.
이와 같이, 사용자의 자격증명 정보에 기반한 정보를 애드버타이징함으로써, 기존의 애드버타이징 패킷 포맷을 지원하는 디바이스에서도 본 개시에 따른 사용자 어카운트 기반 연결 방식을 적용할 수 있다.
사용자 자격증명 정보에는 다양한 정보가 더 포함될 수 있다. 예를 들어, 사용자 자격증명 정보는 디바이스 모델(device model) 식별자, 공개 키(public key), 해시 값(hash valuer), 어카운트 네임(account name), 허용 레벨(permission level), 리프레시 주기(refresh period), 자격증명 유효성(credential validity) 여부, 자격증명 타입(credential type), 어카운트 타입 중의 하나 이상을 더 포함할 수도 있다.
다시 도 21을 참조하면, Provider #1은 도 22와 같은 포맷으로 사용자 자격증명 정보를 포함하는 애드버타이징 패킷을 애드버타이징할 수 있다.
사용자의 자격증명 정보가 포함된 애드버타이징 패킷을 수신한 Account Manager #2는, 사용자에게 Provider #1 디바이스에 연결될 수 있음을 알릴 수 있다.
여기서, Account Manager #1 및 #2는 동일한 사용자 어카운트에 연관된 디바이스에 해당할 수 있다. 이에 따라, Account Manager #2는 자신이 연관된 사용자 어카운트에 대한 자격증명 정보를 가지는 Provider #1을, 해당 사용자의 디바이스로 결정할 수 있다.
또한, Account Manager #2는 이전에 Provider #1과의 연결 또는 페어링을 수행한 적이 없더라도, 최초 페어링을 위한 인증 등의 절차를 생략하고, Provider #1과의 페어링을 지원할 수 있다.
즉, Account Manager #2에 대해서 Provider #1는 신규 페어링 대상 디바이스인 경우라도, Account Manager #2는 마치 이전에 Provider #1과 페어링됐던 적이 있는 상태와 같이, Provider #1과의 페어링이 가능한 것을 사용자에게 알릴 수 있다.
예를 들어, Account Manager #2는 Provider #1을 해당 사용자의 디바이스로 표시하여(예를 들어, 사용자 ID, E-mail 주소 등 사용자 식별이 가능한 정보 포함) 연결 확인 요청을 UI통하여 사용자에게 알릴 수 있다.
만약 사용자가 Account Manager #2과 Provider #1의 연결을 허락하는 경우, 어카운트 기반 자동 연결 절차가 수행될 수 있다.
도 23은 본 개시가 적용될 수 있는 자동 인증 방법의 추가적인 예시를 설명하기 위한 도면이다.
도 23의 예시에서 도 21의 예시와 중복되는 부분에 대한 설명은 생략한다.
도 23의 Account Manager #1으로부터 Account Manager #2로의 자격증명 정보 전달 절차에 대해서 설명한다. 사용자의 자격증명 정보는 Account Manager(또는 시커)들 간에(예를 들어, 스마트폰과 랩탑 컴퓨터 간에) 직접적으로 전달될 수도 있다. 예를 들어, Account Manager #1가 보유한 사용자의 자격증명 정보는 다른 하나 이상의 Account Manager(예를 들어, Account Manager #2 및/또는 #3)에게 직접 전달될 수 있다.
추가적인 예시로서, Account Manager #1은 등록 디바이스(Register Device) 메시지를 서버로 전송함으로써, 다른 하나 이상의 Account Manager(예를 들어, Account Manager #2 및/또는 #3)를 사용자 어카운트에 연관(또는 등록)시킬 수도 있다. 이를 통해 사용자가 Account Manager #2 디바이스를 직접 조작하지 않더라도, 특정 디바이스(예를 들어, 사용자가 선호하는 디바이스)인 Account Manager #1을 통해 Account Manager #3 디바이스를 자신의 어카운트에 등록시킬 수도 있다. 이에 따라, Account Server는 Account Manager #3과의 메시지 교환을 통하여, 사용자의 자격증명 정보를 Account Manager #3에게 전달할 수 있다.
이와 같이 서버로부터 또는 다른 Account Manager로부터 사용자의 자격증명 정보를 제공받은 Account Manager(또는 시커)는, 사용자의 자격증명 정보(또는 이에 기반한 정보)을 애드버타이징하는 Provider 디바이스와, 사용자 어카운트 기반 자동 연결을 수행할 수 있다.
한편, 서버는 주기적으로 또는 소정의 이벤트(예를 들어, 자격증명 유효기간 만료 등)가 발생하는 경우에 사용자 자격증명 정보를 리프레시(refresh)하는 절차를 수행할 수 있다. 사용자 자격증명 정보가 업데이트되는 경우, 서버 또는 업데이트된 자격증명 정보를 보유하는 Account Manager는, 다른 Account Manager에게 업데이트된 자격증명 정보를 전달할 수 있다.
한편, Account Manager #1이 Provider #1과 보안 링크를 맺은 경우, Account Manager #1으로부터 사용자 자격증명 정보를 전달받아서 Provider #1과 연결을 맺는 Account Manager #2는, Account Manager #1과 Provider #1의 보안 레벨보다 더 높은 레벨의 연결을 Provider #1과 맺을 수 없도록 제한될 수 있다. 서버로부터 직접 자격증명 정보를 획득한 Account Manager #3의 경우에는, 이러한 보안 레벨에 대한 제한이 적용되지 않을 수도 있다.
추가적인 예시로서, Provider #1과 Provider #2는 하나의 세트로 구성되는 두 개의 디바이스(예를 들어, 한 쌍의 이어버드)일 수 있다. 이 경우, 두 개의 디바이스 중 하나의 대표 디바이스가 어카운트 기반 자동 연결을 위한 기초 정보를 애드버타이징할 수 있다. 예를 들어, Provider #1은 사전에 Provider #2의 정보를 획득하고, Provider #2의 정보를 포함하는 애드버타이징 패킷을 생성하여 애드버타이징을 수행할 수 있다. 이 경우, 사용자의 자격증명 정보(또는 이에 기초하여 생성된 정보)는 Provider #1 또는 Provider #2 중의 하나 이상에서 획득될 수 있으며, 그 중의 하나의 Provider가 다른 Provider를 대신(또는 대표)하여 또는 다른 Provider로부터 필요한 정보를 제공받아서, 자격증명 정보(또는 이에 기초하여 생성된 정보)를 포함하는 애드버타이징을 수행할 수 있다.
도 24는 본 개시가 적용될 수 있는 어카운트 기반 자동 연결의 적용예를 나타내는 도면이다.
단계 1에서 Account Manager #1은 Account Server에 대한 서비스 가입 및 로그인 등의 절차를 통하여 사용자 자격증명 정보를 교환할 수 있다. 예를 들어, 사용자 자격증명 정보는 특정 매장(예를 들어, Store A)에 대한 사용자 자격증명 정보(예를 들어, 매장 A에 대한 자격증명 정보)을 포함할 수 있다. 여기서, Store A에 배치된 Provider는 Store A에 대한 자격증명 정보를 미리 가지고 있는 것으로 가정한다. 예를 들어, Store A의 대표 디바이스는 Account Server로부터 Store A에 대한 자격증명 정보를 전달받을 수 있고, 이를 Store A에 배치된 하나 이상의 Provider들에게 제공할 수 있다.
단계 2에서 사용자는 Account Manager #1이 설치된 디바이스(예를 들어, 스마트폰)를 휴대하고 특정 장소로 이동할 수 있다. 특정 장소는 사용자가 가입한 서비스를 제공하지만, 해당 사용자가 최초로 방문한 매장(예를 들어, Store A)일 수 있다. 즉, 특정 매장(Store A)에 배치된 Provider(예를 들어, 무선 충전기)는 Account Manager #1이 설치된 디바이스와 연결된 이력이 전혀 없는 새로운 페어링 대상 디바이스인 것으로 가정한다.
단계 3에서 Provider는 미리 가지고 있는 Store A에 대한 자격증명 정보를 애드버타이징할 수 있다. 이에 따라, 단계 4에서 Account Manager #1은 Provider와 어카운트 기반 자동 연결을 맺을 수 있다. Provider의 자격증명 정보 애드버타이징 및 이에 기초한 어카운트 기반 자동 연결의 구체적인 동작은 전술한 예시들과 동일하므로 중복되는 설명은 생략한다.
Account Manager #1을 통하여 Provider와 어카운트 기반 자동 연결을 맺은 디바이스는, 단계 5에서 Provider를 통한 서비스(예를 들어, 무선 충전)를 제공받을 수 있다.
이와 같이, Account Manager #1은 신규 페어링 대상인 Provider와 별도의 인증 절차를 거치지 않고도, 마치 이전에 해당 Provider와 페어링을 수행한 이력이 있는 것과 같이, 바로 페어링을 완료하여 서비스를 제공받을 수 있다.
도 25는 본 개시가 적용될 수 있는 어카운트 기반 페어링 방법을 설명하기 위한 도면이다.
단계 S2510에서 시커 디바이스(또는 어카운트 관리자 디바이스)는 서버(또는 어카운트 서버, 또는 자격증명 중개자)로부터 프로바이더 디바이스에 대한 자격증명 정보를 획득할 수 있다.
단계 S2520에서 시커 디바이스는 프로바이더 디바이스로부터 애드버타이징 패킷을 획득할 수 있다. 애드버타이징 패킷은 상기 프로바이더 디바이스가 보유한 자격증명 정보에 기초한 해시 값을 포함할 수 있다.
단계 S2530에서 시커 디바이스는 단계 S2510에서 서버로부터 획득한 자격증명 정보와 단계 S2520에서 프로바이더 디바이스로부터 획득한 자격증명 정보에 기초한 해시 값에 기초하여, 프로바이더 디바이스와의 연결 여부를 결정할 수 있다.
예를 들어, 프로바이더로부터 획득한 해시 값의 기초가 되는 자격증명 정보가 서버로부터 획득한 자격증명 정보와 동일한 경우, 시커 디바이스는 해당 프로바이더와 연결을 맺을 수 있다.
만약 프로바이더 디바이스로부터 수신되는 애드버타이징 패킷에 자격증명 정보에 기초한 해시 값이 포함되지 않는 경우(예를 들어, 서버가 해당 프로바이더 디바이스에 대한 자격증명 정보를 보유하지 않고, 이에 따라 시커 디바이스도 해당 프로바이더 디바이스에 대한 자격증명 정보를 보유하지 않고, 프로바이더와 시커가 최초로 페어링되는 경우), 시커 디바이스와 프로바이더 디바이스는 어카운트 기반 페어링이 아닌 일반 페어링(또는 낮은 보안 레벨의 연결)을 맺을 수 있다. 이에 따라, 시커 디바이스는 해당 프로바이더 디바이스가 신뢰되는 디바이스인지 확인할 수 있다.
프로바이더 디바이스가 신뢰되는 디바이스인 경우, 시커 디바이스는 프로바이더 디바이스에게 자격증명 정보를 제공할 수 있다.
이후 프로바이더 디바이스는 업데이트된 자격증명 정보에 기초한 해시값을 포함하는 애드버타이징 패킷을 애드버타이즈할 수 있다.
이하에서는 본 개시에 따른 미디어 동기화에 대한 예시들에 대해서 설명한다.
미디어(오디오 및/또는 비디오) 데이터를 생성함에 있어서, 하나 이상의 오디오 레코딩 장치(예를 들어, 마이크)와 하나 이상의 비디오 레코딩 장치(예를 들어, 카메라)가 이용될 수 있다. 이 경우, 미디어 데이터의 편집 등을 위해서, 오디오 데이터와 비디오 데이터 간, 복수의 오디오 데이터 간, 또는 복수의 비디오 데이터 간의 시간 동기화가 요구된다.
이러한 오디오/비디오 레코딩 장치를 무선으로 연결하는 경우, 시간 동기화가 용이하지 않은 문제점이 있다. 예를 들어, 장치 제조사 각자의 기술 기반의 다양한 오디오/비디오 시간 동기화 방법이 적용되므로, 서로 다른 제조사의 장치들을 이용한 다양한 토폴로지를 구성하기가 어렵다.
본 실시예에서는 소정의 미디어 동기화 클럭을 이용하여 미디어 데이터의 시간 동기화를 제공하는 방안을 포함할 수 있다. 미디어 동기화 클럭은 서로 다른 디바이스에서 상호 동기화되는 클럭일 수 있다.
본 실시예에서는 미디어 동기화 클럭을 기반으로 미디어 데이터에 시간 기준점을 제공하는 것을 포함한다. 예를 들어, 제 1 디바이스에서 생성하는 제 1 오디오 데이터를 미디어 동기화 클럭에 기반한 타임스탬프(time stamp)에 연관시키고, 제 2 디바이스에서 생성하는 제 2 오디오 데이터를 상기 미디어 동기화 클럭에 기반한 타임스탬프에 연관시킴으로써, 제 1 및 제 2 디바이스에서 상호 동기화된 타임스탬프를 기준으로 제 1 및 제2 오디오 데이터를 정렬시킬 수 있다.
예를 들어, 미디어 동기화 클럭은 블루투스 클럭(BT Clock)일 수 있다. 예를 들어, 블루투스 방식으로 연결되는 디바이스들 각각의 내부 클럭을 조정하여, 상기 디바이스들 간에 상호 동기화되는 일시적인 BT 클럭을 제공할 수 있다.
이와 같이, 본 개시에 따르면, 표준화된 BT Clock 기반 동기화를 사용하여 시간 동기화를 제공할 수 있다. 예를 들어, 오디오 정보에 BT Clock 기반 타임스탬프를 포함시켜 전송함으로써, 타임스탬프를 기준으로 오디오 스트림들을 정렬할 수 있다.
본 개시의 실시예들은, 무선 마이크와 스마트폰을 연결하여 무선 마이크의 오디오 입력을 스마트폰에서 수신 및 저장하면서, 카메라를 통해 비디오를 레코딩하는 상황에 적용될 수 있다. 이 경우, 오디오 제어 또는 마이크 관련 제어가 가능하다.
예를 들어, 카메라를 일시 정지하면 주변의 동기화된 마이크 및 디바이스들이 일시 정지되고, 다시 카메라를 동작시키면 주변의 동기화된 마이크 및 디바이스들이 동작을 재개하는 등의 사용 편의성이 제공될 수 있다.
도 26은 본 개시가 적용될 수 있는 미디어 동기화 클럭을 설명하기 위한 도면이다.
블루투스 디바이스는 각자의 네이티브 클럭(native clock)을 가질 수 있다. 네이티브 클럭은 프리 러닝(free running) 레퍼런스 클럭으로부터 유도될 수 있다. 블루투스 디바이스의 네이티브 클럭을 비-블루투스 디바이스와 동기화시키기 위해서, 레퍼런스 클럭에 오프셋이 적용될 수 있다. 블루투스 디바이스의 네이티브 클럭을 다른 블루투스 디바이스와 동기화시키기 위해서, 각자의 네이티브 클럭에 적절한 오프셋이 추가될 수 있고, 이에 따라 블루투스 디바이스들 간에 상호 동기화되는 일시적인 클럭이 제공될 수 있으며, 이와 같이 디바이스들 간에 동기화되는 클럭을, 본 개시에서의 미디어 동기화 클럭이라 할 수 있다. 예를 들어, 미디어 동기화 클럭은 BT Clock에 해당할 수 있다.
미디어 동기화 클럭은 ToD(Time of Day)에 관련되지 않으며, 임의의 값으로 초기화될 수 있다. 미디어 동기화 클럭은 약 하루 길이의 주기를 가질 수 있다. 도 24를 참조하면, 예를 들어, 미디어 동기화 클럭이 28-비트의 카운터로 구현되는 경우에, 0 부터 228-1의 값으로 랩어라운드할 수 있다. LSB(least significant bit)는 312.5us (microsecond)의 단위(또는 시간 슬롯의 반)로 1씩 증가(tick)할 수 있고, 클럭 레이트는 3.2kHz가 될 수 있다. 또한, 레퍼런스 클럭은 STANDBY, HOLD 등의 상태에서 최대 250ppm(parts per million) 오차의 정확도를 가질 수 있고, 다른 상태에서는 20ppm 오차의 정확도를 가질 수 있다. 이러한 정확도는 네트워크 내에서 클럭 조정을 수행함에 있어서 이용될 수도 있다.
전술한 바와 같이 디바이스들 간에 동기화되는 미디어 동기화 클럭이 설정되는 경우, 미디어 데이터에 상기 미디어 동기화 클럭에 기초한 기준 시점(예를 들어, 타임스탬프)를 포함시킬 수 있다. 이와 같은 기준 시점은 미디어 데이터를 처리하는 과정에서 서로 다른 소스로부터의 미디어 데이터의 동기화를 맞추기(또는 정렬하기) 위해서 이용될 수 있다.
예를 들어, 서로 다른 소스로부터의 미디어 데이터의 동기화는, 데이터의 생성, 후처리(예를 들어, 편집, 믹싱 등), 전송, 재생 등의 과정에서 수행될 수 있다.
도 27은 본 개시가 적용될 수 있는 미디어 동기화 클럭에 기반한 미디어 데이터 동기화 방법을 설명하기 위한 도면이다.
예를 들어, 오디오 인풋(audio input) #1 및 #2를 포함하는 디바이스는 각각 무선 마이크 디바이스일 수 있다.
비디오 레코더(video recorder) 및 오디오 억셉터(audio acceptor)는 하나의 디바이스에 포함된 기능부들에 해당할 수 있다. 예를 들어, 비디오 레코더 및 오디오 억셉터는 스마트폰 또는 카메라에 포함될 수 있다. 또한, 오디오 억셉터는 오디오 인풋 #3를 포함할 수도 있다.
오디오 인풋 #1을 포함하는 디바이스 #1, 오디오 인풋 #2를 포함하는 디바이스 #2, 및 비디오 레코더 및 오디오 억셉터를 포함하는 디바이스 #3는 네트워크 토폴로지를 구성할 수 있다. 예를 들어, 디바이스 #1과 디바이스 #3가 페어링될 수 있다. 또한, 디바이스 #2와 디바이스 #3가 페어링될 수 있다. 이에 추가적으로, M 개의 오디오 인풋과 N 개의 오디오 억셉터가 다-대-다(또는 M:N) 페어링을 맺을 수도 있다.
디바이스들이 서로 페어링된 후, 각각의 디바이스의 미디어 동기화 클럭이 동기화될 수 있다. 예를 들어, 각각의 디바이스의 내장 클럭의 간의 오프셋을 확인하고, 이에 기초하여 복수의 디바이스에서 동기화되는 미디어 동기화 클럭을 설정할 수 있다. 예를 들어, 디바이스 #1의 클럭은 디바이스 #3에 비하여 625us의 오프셋을 가지고, 디바이스 #2의 클럭은 디바이스 #3에 비하여 1.25ms의 오프셋을 가질 수 있다. 이러한 각각의 오프셋을 반영하여, 디바이스 #1 내지 #3 사이에 동기화된 미디어 동기화 클럭이 설정될 수 있다. 한편, 하나의 디바이스 #3 내에 포함된 비디오 레코더와 오디오 억셉터(또는 오디오 인풋 #3)는 서로 동기화된 것으로 가정한다.
복수의 디바이스에서 동기화된 미디어 동기화 클럭이 설정되면, 각각의 디바이스는 자신이 생성하는 미디어 데이터에 대해서, 미디어 동기화 클럭에 기초한 타임스탬프를 연관시킬 수 있다.
예를 들어, 오디오 인풋 #1은 디바이스 #1의 위치에서 레코딩되는 오디오에 기초하여 생성되는 오디오 스트림 #1에 타임스탬프를 포함시킬 수 있다. 오디오 인풋 #2는 디바이스 #2의 위치에서 레코딩되는 오디오에 기초하여 생성되는 오디오 스트림 #2에 타임스탬프를 포함시킬 수 있다. 비디오 레코더는 디바이스 #3의 위치에서 레코딩되는 비디오에 기초하여 생성되는 비디오 스트림에 타임스탬프를 포함시킬 수 있다. 오디오 인풋 #3은 디바이스 #3의 위치에서 레코딩되는 오디오에 기초하여 생성되는 오디오 스트림 #3에 타임스탬프를 포함시킬 수 있다.
디바이스 #1은 디바이스 #3의 오디오 억셉터에게 타임스탬프를 포함하는 오디오 스트림 #1을 전달할 수 있다. 디바이스 #2는 디바이스 #3의 오디오 억셉터에게 타임스탬프를 포함하는 오디오 스트림 #2를 전달할 수 있다. 이에 따라, 오디오 억셉터는 서로 다른 디바이스로부터 전달되는 오디오 스트림 #1 및 #2에 대해서, 미디어 동기화 클럭에 기초하여 부여되는 타임스탬프 값을 이용하여 오디오 스트림 동기화 또는 정렬을 수행할 수 있다.
만약, 디바이스 #3이 타임스탬프를 포함하는 오디오 스트림 #3를 생성한 경우, 오디오 억셉터는 오디오 스트림 #1, #2 및 #3에 대해서, 미디어 동기화 클럭에 기초하여 부여되는 타임스탬프 값을 이용하여 오디오 스트림 동기화 또는 정렬을 수행할 수 있다.
이에 추가적으로, 디바이스 #3은 스스로 생성한 비디오 스트림과 스스로 생성하거나 외부 디바이스로부터 전달된 오디오 스트림(들)에 대해서, 미디어 동기화 클럭에 기초하여 부여되는 타임스탬프 값을 이용하여 오디오 스트림 동기화 또는 정렬을 수행할 수 있다.
이에 따라, 서로 다른 디바이스에서 생성되는 미디어 스트림들이, 동기화된 클럭을 바탕으로 부여된 타임스탬프 값에 기초하여 동기화될 수 있다. 즉, 다중 채널 오디오가 동기화되어 저장될 수 있고, 오디오 및 비디오의 믹싱이 수행될 수 있으며, 이와 같이 생성된 오디오/비디오(A/V) 컨텐츠 데이터가 서버로 전달되어 저장될 수 있다.
또한, 본 개시와 같이 다수의 디바이스들간의 미디어 동기화 클럭이 설정되면, 이에 기초하여 미디어 제어 동작이 동기화되어 수행될 수도 있다.
예를 들어, 디바이스 #3에서 비디오 또는 오디오 레코딩을 시작 또는 재개하는 동작이 수행되면, 이를 지시하는 제어 메시지가 디바이스 #1 또는 #2 중의 하나 이상에게 전달될 수 있다. 레코딩 시작 또는 재개 동작을 지시하는 메시지에는 미디어 동기화 클럭에 기초한 타임스탬프 값이 포함될 수 있다. 이에 따라, 상기 메시지를 수신한 디바이스 #1 또는 #2 중의 하나 이상은, 타임스탬프 값이 지시하는 시점에서 오디오 레코딩을 시작 또는 재개할 수 있다.
또한, 디바이스 #3에서 비디오 또는 오디오 레코딩을 일시정지하는 동작이 수행되면, 이를 지시하는 제어 메시지가 디바이스 #1 또는 #2 중의 하나 이상에게 전달될 수 있다. 레코딩 일시정지 동작을 지시하는 메시지에는 미디어 동기화 클럭에 기초한 타임스탬프 값이 포함될 수 있다. 이에 따라, 상기 메시지를 수신한 디바이스 #1 또는 #2 중의 하나 이상은, 타임스탬프 값이 지시하는 시점에서 오디오 레코딩을 일시정지할 수 있다.
여기서, 디바이스 간의 미디어 제어 메시지 교환의 지연은, 디바이스에서 오디오 레코딩 제어를 수행하는 지연에 비하여 매우 짧은 것으로 가정할 수 있다.
이와 같이, 디바이스 #1 또는 #2에서 사용자에 의한 별도의 오디오 레코딩 조작이 수행되지 않더라도, 디바이스 #3에서의 사용자 조작에 의해서, 디바이스 #1 또는 #2에서 자동적으로 미디어 제어가 수행될 수 있다.
추가적인 예시로서, 디바이스 #1의 위치 정보가 오디오 스트림 #1에 포함될 수 있다. 또한, 디바이스 #2의 위치 정보가 오디오 스트림 #2에 포함될 수 있다. 디바이스 #1 또는 #2의 위치 정보는, 절대적인 위치를 나타내는 정보일 수도 있고, 디바이스 #3에 대한 상대적인 위치를 나타내는 정보일 수 있다.
이러한 위치 정보는 오디오 억셉터에서 스스로 생성한 또는 외부로부터 전달된 복수의 미디어 스트림을 믹싱하는 데에 사용될 수 있다. 이에 따라, 위치 기반, 또는 오디오 객체 기반 오디오 컨텐츠를 포함하는 미디어 데이터가 생성될 수 있다.
예를 들어, 디바이스 #1은 디바이스 #3을 기준으로 오른쪽에 위치한 마이크일 수 있고, 디바이스 #2는 디바이스 #3을 기준으로 왼쪽에 위치한 마이크일 수 있다. 이에 따라, 디바이스 #3에서 복수의 오디오 스트림을 믹싱하는 경우, 오디오 스트림 #1은 영상의 왼쪽 위치의 오디오 객체에 매핑될 수 있고, 오디오 스트림 #2는 영상의 오른쪽 위치의 오디오 객체에 매핑될 수 있다. 이에 따라, 믹싱된 A/V 데이터를 재생함에 있어서 시청자에게 공간감을 제공할 수 있다.
또한, 디바이스 #1 및 #2의 위치가 실시간으로 변경되더라도, 미디어 동기화 클럭에 기초한 타임스탬프가 미디어 스트림에 포함되므로, 오디오 스트림 #1 및 #2가 각각 특정 시간에 특정 위치에서의 오디오 데이터를 포함하는 것으로 식별할 수 있다.
예를 들어, 타임스탬프 값 또는 위치 정보의 하나 이상은, 미디어 데이터의 페이로드에 포함될 수도 있고, 미디어 데이터의 헤더 부분에 포함될 수도 있다.
도 28은 본 개시가 적용될 수 있는 제 1 디바이스 및 제 2 디바이스의 구성을 나타내는 도면이다.
제 1 디바이스(2800)는 프로세서(2810), 안테나부(2820), 송수신기(2830), 및 메모리(2840)를 포함할 수 있다.
프로세서(2810)는 베이스밴드 관련 신호 처리를 수행하며, 호스트 처리부(2811) 및 제어기 처리부(2815)를 포함할 수 있다. 호스트 처리부(2811) 및 제어기 처리부(2815)는 HCI를 통하여 정보를 교환할 수 있다. 호스트 처리부(2811)는 L2CAP, ATT, GATT, GAP, LE 프로파일 계층 등의 동작을 처리할 수 있다. 제어기 처리부(2815)는 LL, PHY 계층 등의 동작을 처리할 수 있다. 프로세서(2810)는 베이스밴드 관련 신호 처리를 수행하는 것 외에도, 제 1 디바이스(2800) 전반의 동작을 제어할 수도 있다.
안테나부(2820)는 하나 이상의 물리적 안테나를 포함할 수 있다. 송수신기(2830)는 RF(Radio Frequency) 송신기 및 RF 수신기를 포함할 수 있다. 메모리(2840)는 프로세서(2810)의 연산 처리된 정보, 및 제 1 디바이스(2800)의 동작에 관련된 소프트웨어, 운영체제, 애플리케이션 등을 저장할 수 있으며, 버퍼 등의 구성요소를 포함할 수도 있다.
제 1 디바이스(2800)의 프로세서(2810)는 본 발명에서 설명하는 실시예들에서의 제 1 디바이스(또는 오디오 소스, 또는 클라이언트 디바이스)의 동작을 구현하도록 설정될 수 있다.
예를 들어, 제 1 디바이스(2800)(예를 들어, 시커 디바이스)의 프로세서(2810)의 호스트 처리부(2811)는 서버(예를 들어, 어카운트 서버 또는 자격증명 중개자)로부터 제 2 디바이스(2850)(예를 들어, 프로바이더 디바이스)애 대한 자격증명 정보를 획득할 수 있다.
또한, 호스트 처리부(2811)는 제어기 처리부(2815)를 통하여 제 2 디바이스(2850)의 애드버타이징 패킷에 포함된 자격증명 정보에 기초한 해시 값을 획득할 수 있다.
또한, 호스트 처리부(2811)는 상기 서버로부터 획득된 자격증명 정보와 상기 프로바이더로부터 획득된 해시 값에 기초하여, 상기 프로바이더와 연결을 맺을지 여부를 결정할 수 있다.
제 2 디바이스(2850)는 프로세서(2860), 안테나부(2870), 송수신기(2880), 메모리(2890)를 포함할 수 있다.
프로세서(2860)는 베이스밴드 관련 신호 처리를 수행하며, 호스트 처리부(2861) 및 제어기 처리부(2865)를 포함할 수 있다. 호스트 처리부(2861) 및 제어기 처리부(2865)는 HCI를 통하여 정보를 교환할 수 있다. 호스트 처리부(2861)는 L2CAP, ATT, GATT, GAP, LE 프로파일 계층 등의 동작을 처리할 수 있다. 제어기 처리부(2865)는 LL, PHY 계층 등의 동작을 처리할 수 있다. 프로세서(2860)는 베이스밴드 관련 신호 처리를 수행하는 것 외에도, 제 2 디바이스(2860) 전반의 동작을 제어할 수도 있다.
안테나부(2870)는 하나 이상의 물리적 안테나를 포함할 수 있다. 송수신기(2880)는 RF 송신기 및 RF 수신기를 포함할 수 있다. 메모리(2890)는 프로세서(2860)의 연산 처리된 정보, 및 제 2 디바이스(2850)의 동작에 관련된 소프트웨어, 운영체제, 애플리케이션 등을 저장할 수 있으며, 버퍼 등의 구성요소를 포함할 수도 있다.
제 2 단말 장치(2850)의 프로세서(2860)는 본 발명에서 설명하는 실시예들에서의 제 2 디바이스(또는 오디오 싱크, 또는 서버 디바이스)의 동작을 구현하도록 설정될 수 있다.
예를 들어, 제 2 디바이스(2850)(또는 프로바이더 디바이스)의 프로세서(2860)의 호스트 처리부(2861)는 제 1 디바이스(2800)(또는 시커 디바이스)로부터 (업데이트된) 자격증명 정보를 획득한 경우, 해당 자격증명 정보에 기초한 해시값을 생성할 수 있다. 또한, 호스트 처리부(2861)는 생성된 해시 값을 제어기 처리부(2865)로 전달하여 애드버타이징 패킷을 통하여 애드버타이징되도록 할 수 있다. 또한, 호스트 처리부(2861)는 제 1 디바이스(2800)로부터의 연결 요청에 따라서 제 1 디바이스(2800)과 연결을 맺을 수 있다.
제어기 처리부(2865)는, 자격증명 정보를 보유하지 않은 경우에, 상기 해시 값을 포함하지 않는 일반적인 애드버타이징 패킷을 애드버타이징할 수 있다.
제 1 디바이스(2800) 및 제 2 디바이스(2850)의 동작에 있어서 본 발명의 예시들에서 제 1 디바이스(또는 시커 디바이스) 및 제 2 디바이스(또는 프로바이더 디바이스)에 대해서 설명한 사항이 동일하게 적용될 수 있으며, 중복되는 설명은 생략한다.
본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. 본 개시에서 설명하는 특징을 수행하는 프로세싱 시스템을 프로그래밍하기 위해 사용될 수 있는 명령은 저장 매체 또는 컴퓨터 판독가능 저장 매체 상에/내에 저장될 수 있고, 이러한 저장 매체를 포함하는 컴퓨터 프로그램 제품을 이용하여 본 개시에서 설명하는 특징이 구현될 수 있다. 저장 매체는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스와 같은 고속 랜덤 액세스 메모리를 포함할 수 있지만, 이에 제한되지 않으며, 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 장치, 플래시 메모리 디바이스 또는 다른 비-휘발성 솔리드 스테이트 저장 디바이스와 같은 비-휘발성 메모리를 포함할 수 있다. 메모리는 선택적으로 프로세서(들)로부터 원격에 위치한 하나 이상의 저장 디바이스를 포함한다. 메모리 또는 대안적으로 메모리 내의 비-휘발성 메모리 디바이스(들)는 비-일시적 컴퓨터 판독가능 저장 매체를 포함한다. 본 개시에서 설명하는 특징은, 머신 판독가능 매체 중 임의의 하나에 저장되어 프로세싱 시스템의 하드웨어를 제어할 수 있고, 프로세싱 시스템이 본 개시의 실시예에 따른 결과를 활용하는 다른 메커니즘과 상호작용하도록 하는 소프트웨어 및/또는 펌웨어에 통합될 수 있다. 이러한 소프트웨어 또는 펌웨어는 애플리케이션 코드, 디바이스 드라이버, 운영 체제 및 실행 환경/컨테이너를 포함할 수 있지만 이에 제한되지 않는다.
본 개시의 실시예들은 다양한 무선 통신 시스템에 적용되어, 무선 통신 시스템의 성능을 높일 수 있다.

Claims (9)

  1. 무선 통신 시스템에서 어카운트 기반 페어링을 수행하는 방법에 있어서,
    시커(seeker) 디바이스가 서버로부터 프로바이더(provider) 디바이스에 대한 자격증명 정보를 획득하는 단계;
    상기 시커 디바이스가 상기 프로바이더 디바이스로부터 자격증명 정보에 기초한 해시 값을 포함하는 애드버타이징 패킷을 획득하는 단계; 및
    상기 시커 디바이스가 상기 획득한 자격증명 정보 및 상기 획득한 자격증명 정보에 기초한 해시 값에 기초하여 상기 프로바이더 디바이스와 연결을 맺는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 시커 디바이스가 상기 서버로부터 획득한 프로바이더 디바이스에 대한 자격증명 정보와 상기 해시 값에 대응하는 자격증명 정보가 동일한 것에 기초하여, 상기 시커 디바이스가 상기 프로바이더 디바이스와 연결을 맺는, 방법.
  3. 제 1 항에 있어서,
    상기 프로바이더 디바이스로부터 수신되는 애드버타이징 패킷에, 상기 자격증명 정보에 기초한 해시 값이 포함되지 않은 경우,
    상기 시커 디바이스가 상기 프로바이더 디바이스와 연결을 맺을 때, 상기 프로바이더가 신뢰되는 디바이스인지 확인하는, 방법.
  4. 제 3 항에 있어서,
    상기 프로바이더 디바이스가 신뢰되는 디바이스인 경우, 상기 시커 디바이스는 상기 프로바이더 디바이스에게 자격증명 정보를 제공하는, 방법.
  5. 제 4 항에 있어서,
    상기 프로바이더 디바이스로부터 제공되는 애드버타이징 패킷은, 상기 시커 디바이스로부터 제공되는 업데이트된 자격증명 정보에 기초한 해시 값을 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 자격증명 정보는,
    상기 시커 디바이스 또는 상기 프로바이더 디바이스 중의 하나 이상에 연관된 사용자 어카운트에 관련된 정보;
    상기 서버, 상기 시커 디바이스, 또는 상기 프로바이더 디바이스 중의 하나 이상에 관련된 정보; 또는
    상기 시커 디바이스와 상기 프로바이더 디바이스 간의 암호화에 관련된 정보
    중의 하나 이상을 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 시커 디바이스, 상기 프로바이더 디바이스, 또는 상기 서버 중의 하나 이상은 OOB(out of band) 데이터 교환을 지원하는, 방법.
  8. 제 1 항에 있어서,
    상기 자격증명 정보는 소정의 시간 동안 유효한, 방법.
  9. 무선 통신 시스템에서 어카운트 기반 페어링을 수행하는 시커 디바이스 측의 장치에 있어서,
    다른 장치와의 신호 송신 및 수신을 수행하기 위한 송수신기; 및
    상기 송수신기 및 상기 장치를 제어하기 위한 프로세서를 포함하고,
    상기 프로세서는,
    상기 시커(seeker) 디바이스가 서버로부터 프로바이더(provider) 디바이스에 대한 자격증명 정보를 획득하고;
    상기 시커 디바이스가 상기 프로바이더 디바이스로부터 자격증명 정보에 기초한 해시 값을 포함하는 애드버타이징 패킷을 획득하고; 및
    상기 시커 디바이스가 상기 획득한 자격증명 정보 및 상기 획득한 자격증명 정보에 기초한 해시 값에 기초하여 상기 프로바이더 디바이스와 연결을 맺도록 설정되는, 장치.
KR1020227027724A 2020-02-14 2021-02-04 무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체 KR20220140519A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200018127 2020-02-14
KR20200018127 2020-02-14
PCT/KR2021/001452 WO2021162335A1 (ko) 2020-02-14 2021-02-04 무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체

Publications (1)

Publication Number Publication Date
KR20220140519A true KR20220140519A (ko) 2022-10-18

Family

ID=77292512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027724A KR20220140519A (ko) 2020-02-14 2021-02-04 무선 통신 시스템에서 클라우드 인증 페어링 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체

Country Status (5)

Country Link
US (1) US20230080122A1 (ko)
EP (1) EP4106373A4 (ko)
KR (1) KR20220140519A (ko)
CN (1) CN115398947A (ko)
WO (1) WO2021162335A1 (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9531695B2 (en) * 2009-06-12 2016-12-27 Microsoft Technology Licensing, Llc Access control to secured application features using client trust levels
US9742780B2 (en) * 2015-02-06 2017-08-22 Microsoft Technology Licensing, Llc Audio based discovery and connection to a service controller
US9660999B2 (en) * 2015-02-06 2017-05-23 Microsoft Technology Licensing, Llc Discovery and connection to a service controller
US10083291B2 (en) * 2015-02-25 2018-09-25 Verisign, Inc. Automating internet of things security provisioning
EP3284182B1 (en) * 2015-04-14 2020-11-04 Capital One Services, LLC Automated bluetooth pairing
US9967236B1 (en) * 2015-07-31 2018-05-08 Palo Alto Networks, Inc. Credentials enforcement using a firewall
US11176238B2 (en) * 2016-07-12 2021-11-16 Hewlett-Packard Development Company, L.P. Credential for a service
KR102362795B1 (ko) * 2017-09-27 2022-02-11 삼성에스디에스 주식회사 해시 체인을 이용한 단말 간 인증 절차를 거치는 단말 간 통신 방법

Also Published As

Publication number Publication date
WO2021162335A1 (ko) 2021-08-19
EP4106373A1 (en) 2022-12-21
EP4106373A4 (en) 2024-03-06
US20230080122A1 (en) 2023-03-16
CN115398947A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
US20220263883A1 (en) Adaptive audio processing method, device, computer program, and recording medium thereof in wireless communication system
KR101971183B1 (ko) 블루투스 등시성 채널과 연관된 동기화 정보를 브로드캐스팅하는 소스 디바이스
US9716969B2 (en) Method and apparatus for controlling device in wireless communication system
US20160359925A1 (en) Method and apparatus for transmitting and receiving data in wireless communication system
US20220321368A1 (en) Method, device, computer program, and recording medium for audio processing in wireless communication system
US20170034646A1 (en) Method and apparatus for transmitting and receiving data in wireless communication system
US9693180B2 (en) Method and apparatus for transmitting and receiving audio streams in wireless communication system
US9930477B2 (en) Method and apparatus for transmitting and receiving data in wireless communication system
US20220030505A1 (en) Method and device for providing audio service using bluetooth technology
US20240168703A1 (en) Method, device, and computer program for audio routing in wireless communication system, and recording medium therefor
US20220353616A1 (en) Method, device, and computer program for controlling and managing state of peripheral device in wireless communication system, and recording medium therefor
EP4057565A1 (en) Method, apparatus, and computer program for setting encryption key in wireless communication system, and recording medium for same
US11989485B2 (en) Method, device and computer program for controlling audio data in wireless communication system, and recording medium therefor
US20240049116A1 (en) Method for transmitting and receiving data and device for same in short-range wireless communication system
KR20210000228A (ko) 무선 통신 시스템에서 고속 서비스 디스커버리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
US20220256314A1 (en) Method, apparatus and computer program for broadcast discovery service in wireless communication system, and recording medium therefor
EP4142359A1 (en) Method, device, and computer program for selecting channel in wireless communication system, and recording medium therefor
US20230080122A1 (en) Method, device and computer program for cloud-authenticated pairing in wireless communication system, and recording medium therefor
US20240078076A1 (en) Method, apparatus, computer program, and recording medium thereof for managing sound exposure in wireless communication system