KR20230050449A - 패킷 손실 조기 검출을 갖는 무선 회의 시스템 - Google Patents

Abstract

패킷 손실 조기 검출을 갖는 무선 회의 시스템
무선 회의 시스템(100)은, 레이턴시 민감 오디오 데이터 패킷들의 양방향 TDMA 기반 무선 통신을 위해 구성된, 액세스 포인트(101; 300) 및 복수의 회의 유닛들(111-115; 200)을 포함한다. 상기 액세스 포인트(101; 300) 및 회의유닛들(111-115; 200)은 능동적으로 동기화되어, 상기 오디오 데이터 패킷들을 프로세싱하는데 사용되는 로컬 오디오 클록 신호 및 TDMA 기반 무선 통신에 사용되는 로컬 동기화 클록 신호를 생성하는 클록들(203; 303)을 포함한다. 상기 회의유닛들(111-115; 200) 및 액세스 포인트(101; 300)는 트랜시버(201; 301)를 포함한다. 상기 수신기(220; 320)는 오디오 데이터 패킷의 손실을 검출하도록 구성된 패킷 손실 검출 유닛(222; 322)을 포함하고, 상기 패킷 손실 검출 유닛(222; 322)은
- 상기 로컬 동기화 클록 신호로부터 및 상기 미리 결정된 예상 송신 지연으로부터 오디오 데이터 패킷에 대한 예상 도달 시간을 결정하는 수단(223; 323), 및
- 상기 오디오 데이터 패킷이 상기 예상 도달 시간까지 도달하지 않은 경우 상기 오디오 데이터 패킷이 손실되었음을 검출하는 수단(224; 324)을 포함한다. 상기 수신기(220; 320)는 손실된 오디오 데이터 패킷에 대한 대체 패킷을 생성하도록 구성된 패킷 손실 은닉 유닛(225; 325)을 더 포함한다.

Description

패킷 손실 조기 검출을 갖는 무선 회의 시스템

발명의 분야

본 발명은 일반적으로 다수의 사용자들이 회의(conference)에 참여할 수 있도록 회의실에서 사용되는 무선 회의 시스템에 관한 것이다. 이러한 회의시스템은 일반적으로 회의의 호스트 또는 주재자의 제어를 받는 중앙 액세스 포인트(central access point), 및 회의룸에 존재하는 사용자 데스크들에 설치되거나 그 안에 통합된 사용자들을 위한 다수의 회의유닛들을 포함한다. 본 발명은 특히 이러한 회의시스템에서 회의유닛들과 액세스 포인트 간의 레이턴시 민감 양방향 오디오 전송(latency sensitive, bi-directional audio transmission)에 관한 것이다.

본 발명의 배경

회의실들에는 종종 다수의 사용자들, 예를 들어 수십 내지 수백 명의 사용자들이 단일 회의에 참여할 수 있는 회의 시스템들이 구비된다. 무선 회의 시스템은 통상적으로 중앙 액세스 포인트 및 이 중앙 액세스 포인트에 결합된 다수의 회의 유닛들을 포함한다. 별개의 회의 유닛이 예를 들어 각각의 사용자에 대해 제공될 수 있거나, 또는 회의 유닛이 회의실 내의 인접한 좌석들에서 2명의 사용자들에 의해 공유될 수 있다. 각각의 회의 유닛은 전형적으로 마이크로폰을 연결할 수 있는 마이크로폰 커넥터, 예를 들어 구스넥 마이크로폰, 내장 라우드스피커, 및 헤드폰들을 연결할 수 있는 하나 또는 여러 개의 헤드폰 커넥터들을 갖는다. 각각의 회의 유닛은 제어기, 데이터 프로세서 및 중앙 액세스 포인트의 유사한 트랜시버와 무선 양방향 데이터 전송을 위해 구성된 트랜시버를 더 갖는다. 회의 유닛의 트랜시버는 중앙 액세스 포인트의 트랜시버의 일부를 형성하는 수신기에 디지털 데이터 패킷들을 업스트림 송신할 수 있는 송신기를 포함한다. 유사하게, 중앙 액세스 포인트의 트랜시버는 회의유닛(들)의 트랜시버(들)의 일부를 형성하는 수신기(들)에 디지털 데이터 패킷들을 다운스트림 송신할 수 있는 송신기를 포함한다. 단일 참가자가 말하는 동안 다른 참가자들이 듣는 전형적인 상황에서, 사람이 말하는 결과로서 회의 유닛의 마이크로폰에 의해 캡처된 오디오는 디지털화되고, 패킷화되고, 중앙 액세스 포인트로 업스트림 송신된다. 중앙 액세스 포인트는 수신된 오디오 패킷들을, 예를 들어 다른 오디오 입력 소스들과 믹싱하여 프로세싱하고, 그 프로세싱된 오디오를 회의실 내의 모든 다른 회의 유닛들에 다운스트림으로 분배하며, 여기서 수신기는 오디오를 수신하고 프로세서는 헤드폰들을 통해 재생(playout)을 위해 수신된 오디오 패킷들을 프로세싱하게 된다. 이것은 말하는 사람이 헤드폰들을 통해 자신의 스피치를 들을 수 있도록 오디오 패킷들이 수신되었던 발신 회의 유닛으로의 오디오의 다운스트림 송신을 포함한다.

회의 유닛과 액세스 포인트간의 무선 양방향 오디오 통신에는 실시간 요구 사항이라고도 하는 낮은 지연 요건(low latency requirements)이 적용된다. 적용가능한 품질 규범에 따라, 왕복 시간(RTT)에 대한 종단간 레이턴시, 즉 회의 시스템들에서 회의 유닛과 중앙 액세스 포인트에서의 모든 프로세싱을 포함하는 회의 유닛과 중앙 액세스 포인트 사이에서 왕복하여 오디오 패킷이 이동하기 위한 최대 지연은, 예를 들어, 10 밀리초로부터 최대 30 밀리초까지의 범위, 예를 들어, 15 밀리초의 값으로 제한될 수 있다. 최대 허용 가능한 지연보다 늦게 도달하는 오디오 패킷은 재생에 사용되지 않는다. 오디오 패킷이 제시간에 도달하지 않을 때(패킷 손실), 손실된 패킷은, 자신의 회의 유닛이 오디오 패킷을 제시간에 수신하지 않은 회의 참가자(들)에 의해 알아차릴 수 있는, 가청 아티팩트(audible artifact)를 피하기 위해 패킷 손실 은닉 알고리즘을 통해 결정된 패킷으로 대체된다. 이러한 패킷 손실 은닉 알고리즘이 적시에 대체 패킷을 생성할 수 있도록 하기 위해서는, 가능한 한 조기에 패킷 손실을 검출하는 것이 중요하다

예시적인 회의 시스템에서, 오디오 패킷들은 회의 유닛과 중앙 액세스 포인트 사이의 Wi-Fi 접속을 통해 TDMA 프레임의 타임슬롯들에서 전송된다. TDMA 프레임은 예를 들어, 500 마이크로초의 길이를 각각 갖는 10개의 타임슬롯으로 세분된 5 밀리초의 길이를 가질 수 있다. 회의유닛은 통상적으로 회의참가자에 의한 스피치인 5 밀리초(milliseconds)의 오디오를 캡처하고, 이 5 밀리초(milliseconds)의 오디오를 디지털 오디오 패킷으로 디지털화하고, 이 디지털 오디오 패킷을 TDMA 프레임의 단일 타임슬롯으로 송신한다. 이 예에서 패킷 생성은 이미 5 밀리초의 지연을 도입한다. 채널의 다른 사용자들과의 간섭을 회피하기 위해 소프트 TDMA가 적용되는 경우, 즉, 타임 슬롯들이 트랜시버들에 고정적으로 할당되지만, 트랜시버들은 타임 슬롯 내의 간섭 트래픽에 대해 채널을 청취하여, 채널이 그러한 타임 슬롯에서 데이터를 송신하기 전에 비워져 있는지를 결정하는 TDMA 방식에서, 이 소프트 TDMA는 가변 지연 또는 지터, 소위 Listen-Before-Talk 지터 또는 LBT 지터를 도입한다. 송신기 측 및 수신기 측에서의 데이터 패킷 프로세싱, 패킷 및 오디오 프로세싱 시간, 무선 채널을 통한 데이터 패킷의 전파 시간, 및 송신기와 수신기 사이의 임의의 동기화 부정확성들을 제어하는 인터럽트 메커니즘들은, LBT 지터와 조합하여, 단일 방향 송신에 대해 최대 2 밀리초까지 추가적인 지연들을 도입한다. 따라서, 5 밀리초의 TDMA 프레임 길이를 갖는 소프트 TDMA 방식을 구현하는 회의 시스템에서 오디오 패킷에 의해 경험되는 단일 방향 레이턴시는 최대 7 밀리초까지 일 수 있다

패킷 손실 은닉을 개시하기 위해 패킷 손실을 검출하는 간단한 방법은 디지털 오디오 패킷들의 시퀀스 번호지정(sequence numbering)에 의존한다. 그러면, 후속 시퀀스 번호를 갖는 오디오 패킷이 수신기에 의해 수신될 때 패킷이 손실된 것으로 가정된다. 그러나, 시퀀스 번호지정에 의존할 때, 데이터 패킷의 손실이 검출될 수 있는 가장 이른 순간은 다음 데이터 패킷이 수신되는 시점이다. 다음 오디오 패킷을 생성하여 송신하려면 위의 예에서 5밀리초의 TDMA 프레임을 사용하면 최소 5밀리초가 더 경과해야 하므로 수신기에서 패킷 손실 은닉을 적용하고 이전에 손실된 오디오 패킷을 대체할 패킷을 생성할 시간이 부족하다

오디오 패킷들의 시퀀스 번호지정에 의존하는 패킷 손실의 검출을 향상시키기 위한 해결책은 TDMA 프레임 길이를 감소시키고 결과적으로 단일 오디오 패킷에 임베딩된 오디오 세그먼트의 길이를 감소시키는 것에서 발견될 수 있다. 그러나, 패킷 길이를 감소시키는 것은 무선 채널의 용량에 부정적인 영향을 미친다. 그 결과, 패킷당 오버헤드가 일정하게 유지된다고 가정하면 오버헤드/페이로드 비율이 증가하므로 결과적으로 무선 링크의 유효 용량이 감소하게 된다. 또한, 패킷을 줄이면 패킷 처리 속도가 빨라져야 하므로 더 비싼 프로세서들이 필요하다

"무선 보청기에서 오디오를 렌더링하는 방법 및 장치"라는 제목의 미국 특허 출원 US 2015/0201289 A1은 다른 애플리케이션, 보다 정확하게는 난청을 겪고 있는 환자를 돕기 위해 사람의 머리 한쪽 또는 양쪽에 착용하는 보청기의 애플리케이션에서 무선 통신 링크를 통한 오디오 패킷 손실 문제를 인식하고 있다. US 2015/0201289 A1의 단락 [0030] 에서 설명돤 바와 같이, 패킷들은 무선 링크의 전체 패킷 에러 레이트 성능을 개선하기 위해 오디오 소스 디바이스로부터 재전송될 수 있다. 재송신들은 오디오 소스 디바이스가 오디오 싱크 디바이스로부터 확인응답을 수신하지 못한 결과로서 발생하거나, 또는 이들은 다수의 재송신들을 통해 무조건적으로 전송될 수 있다. 확인응답들 및 재송신들을 전송하기 위한 제안은 보청기들의 애플리케이션에서의 레이턴시 제약들이 회의 시스템들에서보다 덜 엄격하다는 것을 나타낸다. 위의 예에 의해 예시된 바와 같이, 회의 시스템들의 품질 제약들은 재송신들을 허용하지 않는다. US 2015/0201289 A1의 단락 [0029] 및 [0031]은 무선 통신 회로의 라디오와 처리 회로의 DSP(디지털 신호 프로세서) 사이에 공유되는 링크 계층 정보가 패킷 은닉 전략을 결정하는데 사용될 수 있음을 추가로 설명한다. 라디오에 의해 전개된 TDMA 메커니즘은 패킷 도달들을 스케줄링하는 것을 허용하는 고유의 양호한 타이밍 메커니즘들을 갖는다. 스케줄링된 수신 이벤트가 수신된 패킷 없이 발생하는 경우, 라디오는 DSP에 누락 패킷을 통지하여 DSP가 정보의 패킷 손실 은닉 프레임을 삽입하게 할 것이다

"Ultra-Low Latency Audio over Bluetooth"라는 명칭으로 출원된 미국 특허 출원 US 2019/0104423 A1은 다른 애플리케이션에서 무선 연결을 통해 전송되는 오디오 패킷에 대한 낮은 지연 요건의 문제, 더 정확하게는 디바이스와 무선 헤드셋 또는 무선 이어 버드 사이의 오디오-오버-블루투스 전송의 애플리케이션을 인식한다. 또한, US 2019/0104423 A1은 확인응답 및 재송신들에 의존하며, 단일 블루투스 프레임 내에서 BTC(Bluetooth Classic: 블루투스 클래식) 패킷들 및 BLTE(Bluetooth Low Energy: 블루투스 저 에너지) 패킷들을 결합함으로써 확인응답을 향상시킴으로써, 프레임 사이클 당 재송신들 및 패킷 은닉들의 수를 상한으로 제한함으로써, 그리고 RS(Reed-Solomon: 리드-솔로몬)와 같은 FEC(Forward Error Correction: 순방향 에러 정정)를 구현하는 시간 효율적인 오디오 코딩 및 디코딩을 사용함으로써 무선 오디오 패킷 송신에 대한 레이턴시를 감소시키도록 교시한다. 이는 예를 들어 US 2019/0104423 A1의 단락 [0005]에 기재되어 있다

본 발명의 목적은 기존 해결책들의 상기 언급된 단점들 중 하나 또는 몇몇을 해결하거나 완화하는 회의 시스템의 실시예들을 개시하는 것이다. 특히, 본 발명의 목적은 회의유닛과 중앙 액세스 포인트 간의 무선 전송 또는 그 반대로의 결과로서 오디오 패킷 손실이 더 빠르게 검출되고, 이에 따라 패킷 은닉(packet concealment)의 더 빠른 개시가 가능하게 되어 회의시스템이 회의시스템들에 적용가능한 레이턴시 요건들 및 품질 표준들을 충족하게 하는 회의시스템의 실시예들을 개시하는 것이다. 본 발명의 다른 목적은 무선 링크의 유효 대역폭에 부정적인 영향을 미치지 않고 회의시스템의 이러한 실시예들을 개시하는 것이다.

발명의 요약

본 발명의 실시예들에 따르면, 상기 정의된 목적은, 청구항 제1항에 의해 정의된 바와 같이, 복수의 사용자들이 회의실에서 회의에 참여할 수 있도록 구성된 무선 회의 시스템에 의해 달성되며, 이 무선 회의 시스템은 액세스 포인트 및 복수의 회의 유닛들을 포함하고,

- 상기 액세스 포인트 및 상기 회의유닛들 중 하나 이상은, 상기 하나 이상의 회의유닛들과 상기 액세스 포인트 간의 레이턴시 민감 오디오 데이터 패킷들의 양방향 시분할 다중 액세스 기반 또는 TDMA 기반 무선 통신을 위해 구성된 트랜시버를 포함하고, 상기 트랜시버는 송신기 및 수신기를 포함하고;

- 상기 액세스 포인트 및 상기 하나 이상의 회의 유닛들은 능동적으로 동기화되는 각각의 클록들을 포함하고, 상기 각각의 클록들의 클록은, 상기 오디오 데이터 패킷들을 프로세싱하기 위해 국부적으로 사용되는 로컬 오디오 클록 신호 및 상기 TDMA 기반 무선 통신을 위해 사용되는 로컬 동기화 클록 신호를 생성하도록 구성되고;

- 상기 수신기는 회의유닛으로부터 액세스 포인트로 또는 그 반대로 송신된 오디오 데이터 패킷의 손실을 검출하도록 구성된 패킷 손실 검출 유닛을 포함하고, 상기 패킷 손실 검출 유닛은:

- 상기 로컬 동기화 클록 신호로부터 상기 오디오 데이터 패킷에 대한 예상 도달 시간 및 미리 결정된 예상 송신 지연을 결정하도록 구성된 수단, 및

- 상기 오디오 데이터 패킷이 상기 예상 도달 시간까지 도달하지 않은 경우 상기 오디오 데이터 패킷이 손실되었음을 검출하도록 구성된 수단을 포함하고; 및

- 상기 수신기는 상기 패킷 손실 검출 유닛에 의해 손실되는 것으로 검출되는 상기 오디오 데이터 패킷에 대한 대체 패킷을 생성하도록 구성된 패킷 손실 은닉 유닛을 포함한다

따라서, 본 발명의 실시예들에 따르면, 상기 액세스 포인트 및 하나 이상의 회의 유닛들은 높은 정확도로 능동적으로 동기화되는 클록들 또는 타이머들을 구비한다. 그 결과, 상기 수신기는 데이터 패킷의 송신 시간을 알 수 있고, 상기 수신기는 데이터 패킷의 도달 예정 시간을 결정할 수 있다. 능동적으로 동기화된 클록들의 결과로서, 모든 트랜시버들은 TDMA 프레임들의 시작 및 종료 시간들 및 이들 TDMA 프레임들 내의 타임슬롯들을 일부 클록 동기화 허용오차까지 알고 있다. 결과적으로, 수신기는 자신의 로컬 클록 신호로부터 오디오 데이터 패킷의 예상 도달 시간, 즉 그 오디오 데이터 패킷의 송신 시간 플러스 예상 송신 지연을 도출할 수 있다. 송신 시간은 TDMA 기반 무선 통신을 위해 송신기와 수신기에 의해 사용되는 동기화 클록으로부터 알려진다. 실제로, 각각의 회의 유닛은 TDMA 스케줄을 알고 있으며, 그 동기화 클록을 통해 TDMA 프레임에서 그들이 있는 곳을 파악할 수 있다. 예상된 송신 지연은 송신기 및 수신기 측에서의 인터럽트 핸들링(interrupt handling), 무선 링크를 통한 오디오 데이터 패킷의 전파, 다양한 특성의 지터(jitter), 및 다양한 특성의 부정확성들에 대해 요구되는 전체 시간을 고려하고, 결과적으로 송신을 위해 오디오 데이터 패킷을 방출하는 송신기 측에서의 데이터 패킷 프로세서와 프로세싱을 위해 동일한 오디오 데이터 패킷을 수신하는 수신기 측에서의 데이터 패킷 프로세서 사이의 전체 시간에 대한 상한을 나타낸다. 예상 도달 시간까지 어떠한 데이터 패킷도 수신되지 않으면, 대체 패킷을 생성하기 위해 수신기 측에서 패킷 손실 은닉이 활성화된다

회의시스템들에서 전송 지연, 즉 전파, 지터(jitter), 인터럽트 핸들링, 프로세싱 및 동기화 부정확성들로 인한 전체 지연이 단일 방향에 대해 수 밀리초, 전형적으로 1 내지 3 밀리초의 범위에 있기 때문에, 본 발명에 따른 실시예들에서의 패킷 손실 은닉은 패킷 손실 검출을 위해 수신기 측에서의 확인응답들, 패킷 재송신들 및 타임-아웃들에 의존하는 공지된 회의시스템들, 또는 수신기 측에서 오디오 패킷 번호 누락에 기초한 패킷 손실 검출 및 오디오 패킷 번호지정에 의존하는 회의시스템들보다 훨씬 더 빠르게 개시될 수 있다. 패킷 손실 은닉의 더 빠른 개시는 전체 종단간 시스템 레이턴시를 감소시킬 수 있고, 패킷 손실 은닉이 오디오 스트림의 삽입 및 재생을 위한 대체물을 적시에 생성하지 못할 위험이 감소되며, 따라서 가청 아티팩트의 수가 감소된다. 또한, 본 발명에 따른 회의시스템의 실시예들은 TDMA 프레임 길이 및/또는 오디오 데이터 패킷 길이를 감소시킬 필요가 없다. 이러한 조치를 통해 패킷 손실을 더 빠르게 감지하고 결과적으로 오버헤드/페이로드 비율이 증가하여 무선 링크의 유효 대역폭(단위 시간당 전송 가능한 오디오 샘플 등 유용한 데이터의 양)이 감소하는 대가로 패킷 손실 은폐를 더 빠르게 시작할 수 있다

본 발명의 맥락에서 회의 유닛은 회의실 내의 사용자 책상 상에 설치되거나 통합된 임의의 유닛을 포함한다. 이러한 회의유닛은 전형적으로 내장 마이크로폰 어레이(built-in microphone array) 또는 오디오 입력 커넥터(예컨대, 구스넥(gooseneck) 마이크로폰용 커넥터)를 포함하는데, 이는 단일 사용자에 의해 사용될 수 있거나, 또는 회의유닛이 2명의 이웃한 사용자의 좌석들 사이에 설치될 때 2명의 사용자들 사이에 공유될 수 있다. 회의유닛은 전형적으로 또한 단일 또는 복수의 사용자들을 위한 헤드폰용 커넥터와 같은 하나 또는 복수의 오디오 출력 커넥터들을 포함하고, 전형적으로 또한 내장 스피커를 포함한다. 오디오 입력 커넥터 및 오디오 출력 커넥터는 또한 단일 커넥터로 통합될 수 있음은 물론이다. 회의유닛은 또한 카메라 또는 다른 센서들을 위한 커넥터를 포함할 수 있고, 디스플레이를 구비하고, 오디오 입력을 제어(예를 들어, 마이크로폰을 음소거(muting))하고, 오디오 출력을 제어(예를 들어, 헤드폰들의 볼륨을 제어)하고, 다른 센서들을 제어하고, 주재자와 상호 작용(예를 들어, 발언 요청)하고, 및/또는 투표 버튼들로서 기능하기 위한 물리적 또는 가상(즉, 디스플레이된) 버튼들을 구비할 수 있다. 회의 유닛은 회의 유닛의 상태가 무엇인지를 주재자, 회의 유닛의 사용자, 및/또는 다른 회의 참가자들에게 표시하는 표시자들, 예를 들어 컬러 LED들을 더 포함할 수 있다. 회의유닛은 오디오 입력 커넥터에 연결된 마이크로폰에 의해 캡처된 오디오를 디지털화하고 패킷화하기 위한 프로세서, 및 오디오 데이터 패킷들을 중앙 유닛, 소위 액세스 포인트에 송신하기 위한 무선 송신기를 더 갖는다. 회의유닛은 또한 중앙 유닛으로부터 오디오 데이터 패킷들을 수신하기 위한 수신기, 수신된 오디오 데이터 패킷들을 역-패킷화하고 오디오 출력 커넥터를 통해 소싱된 (아날로그 또는 디지털) 오디오 스트림을 생성하기 위한 프로세서를 갖는다. 송신기와 수신기는 중앙 유닛과 양방향 통신을 위한 트랜시버를 공동으로 구성한다. 송신을 위해 오디오 데이터 패킷들을 생성하는 프로세서 및 수신된 오디오 데이터 패킷들을 프로세싱하는 프로세서는 단일의 물리적 프로세서를 형성하도록 통합될 수 있다

본 발명의 맥락에서 액세스 포인트는 중앙 유닛을 구성하며, 주재자 또는 회의 조직에 의해 관리되고 제어된다. 액세스 포인트는 TDMA 기반 방식으로 회의실 내의 모든 회의 유닛들과 양방향 무선 통신을 제공한다. 액세스 포인트는 TDMA 프레임의 타임슬롯들에서 오디오 패킷들을 각각 송수신하는 송신기 및 수신기를 포함한다. 상이한 타임슬롯들에서 수신된 오디오 데이터 패킷들은 상이한 회의 유닛들로부터 시작된다. 액세스 포인트는 통상적으로 상이한 회의유닛들로부터의 수신된 오디오 데이터 패킷들을 프로세싱하고, 하나 또는 복수의 회의유닛들로부터의 오디오 패킷들을 그 송신기에 의한 회의유닛들로의 송신을 위해 단일 오디오 스트림으로 선택 또는 조합 (일반적으로 프로세싱) 하기 위한 프로세서를 갖는다. 액세스 포인트는 회의를 통제하는 주재자의 의견을 받아 언제든 어떤 회의 참가자의 발언이 허용되는지 결정할 수 있다. 회의유닛들에 더하여, 오디오 스트림이 또한 인터프리터 유닛들에 제공되어 통역기(interpreter) 또는 번역기(translator)가 중앙 액세스 포인트에 의해 회의유닛들에 추가로 분배되는 오디오 스트림의 통역 또는 번역을 업로드할 수 있도록 될 수 있다

본 발명의 맥락에서의 무선 회의시스템은 회의실 내에 설치된 회의유닛들의 세트 및 이러한 회의유닛들이 TDMA-기반 방식으로 공유되는 무선 양방향 링크를 통해 다점-대-점(multipoint-to-point) 방식으로 접속되는 액세스 포인트를 포함한다

본 발명의 맥락에서의 패킷 손실 은닉은 손실된 오디오 패킷, 즉, 수신기에 결코 도달하지 않거나 또는 수신기에 늦게 도달하여 그 결과 더 이상 프로세싱될 수 없고 오디오 스트림에 적시에 통합될 수 없는 오디오 데이터 패킷을 대체하여 오디오 샘플들을 생성하는 임의의 알고리즘 또는 기술을 포함한다. 패킷 손실 은닉 기법들은 통상적으로 손실된 오디오 데이터 패킷에 대한 대체 패킷을 생성하기 위해 최근에 수신된 오디오 패킷(들)을 사용한다. 패킷 손실 은닉 기법들은 통상적으로, 대체의 결과로서 가청 효과들을 회피하거나 최소화하려고 노력하며, 예를 들어, 최근의 오디오 샘플들의 주파수 또는 음조(tonality)에 기초할 수도 있다

청구항 제 2 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 액세스 포인트 및 하나 이상의 회의 유닛들은 오디오 데이터 패킷들의 수신을 확인응답하지 않도록 구성된다

실제로, 본 발명에 따른 무선 회의 시스템의 바람직한 실시예들은 오디오 데이터 패킷들에 대한 수신 확인응답들 없이, 또는 수신 확인응답이 비활성화되는 프로토콜을 구현한다. 확인응답들 또는 이들의 부재는 재송신들을 트리거할 것이지만, 재송신을 통해 손실된 오디오 데이터 패킷을 복원하려는 임의의 시도는 패킷 손실 은닉(packet loss concealment)의 활성화를 지연시킬 것이고, 따라서 무선 회의 시스템의 전체 레이턴시를 증가시킬 것이다

청구항 제 3 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 액세스 포인트 및 하나 이상의 회의 유닛들은 손실된 오디오 데이터 패킷을 재송신하지 않도록 구성된다

실제로, 본 발명에 따른 무선 회의 시스템의 바람직한 실시예들은 업스트림 및 다운스트림 방향들에서 오디오 데이터 패킷들의 재송신들 없이 프로토콜을 구현한다. 위에서 설명된 바와 같이, 재송신 시도들은 패킷 손실 은닉(packet loss concealment)의 활성화를 지연시킬 것이고, 따라서 무선 회의 시스템의 전체 레이턴시를 증가시킬 것이다

청구항 제 4 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 레이턴시 민감 오디오 데이터 패킷들은 회의 유닛으로부터 액세스 포인트로의 무선 전송 및 액세스 포인트로부터 회의 유닛으로의 무선 전송을 위해 25 밀리초의 왕복 (round trip) 시간 레이턴시 제한을 갖는다

따라서, 무선 회의 시스템의 실시예들은 오디오 데이터 패킷들의 왕복 시간에 대해 25 밀리초의 제한을 설정할 수 있다. 즉, 이 제한은 회의참가자가 자신의 회의유닛에 연결된 마이크로폰에서 말하는 것과 그 동일한 회의유닛에 연결된 헤드폰들에서 자신의 스피치를 듣는 것 사이의 최대 허용 가능한 지연을 설정한다. 당업자는 본 발명에 따른 무선 회의 시스템의 대안적인 실시예들이 25 밀리초보다 작은 임의의 다른 왕복 시간 레이턴시 제한을 구현할 수 있다는 것을 인식할 것이다. 이러한 대안적인 실시예들은 패킷 손실 은닉 알고리즘들과 같은 기반 기술이 더 낮은 왕복 시간 제한을 충족시킬 수 있다는 조건 하에 오디오에 대해 더 높은 품질 표준을 설정한다

청구항 제 5 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 레이턴시 민감 오디오 데이터 패킷들은 회의 유닛으로부터 액세스 포인트로의 무선 전송 및 액세스 포인트로부터 회의 유닛으로의 무선 전송을 위해 15 밀리초의 왕복 (round trip) 시간 레이턴시 제한을 갖는다

실제로, 무선 회의 시스템의 바람직한 실시예들은 오디오 데이터 패킷이 회의 유닛과 중앙 액세스 포인트 사이를 오가는데 걸리는 시간을 15 밀리초로 제한을 설정한다. 당업자는, 가청 아티팩트들을 최소화하기 위해, 더 비싼 더 높은 용량의 데이터 패킷 프로세서들이 전개되어야 하고, 및/또는 더 짧은 TDMA 프레임들 및 더 짧은 오디오 패킷 길이들이 무선 링크의 유효 대역폭에 부정적으로 영향을 미치면서 구현되어야 하는 위험에서, 15 밀리초 미만의 왕복 시간 제한들이 또한 구현될 수도 있음을 인식할 것이다

청구항 제 6 항에서 정의한 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서 상기 TDMA 기반의 무선 통신은, 5밀리초의 TDMA 프레임을 사용한다

따라서, 바람직한 실시예들은 5 밀리초의 길이를 갖는 TDMA 프레임을 구현한다. 이는 오디오 데이터 패킷들이 또한 5 밀리초들에 걸쳐 있는 오디오 샘플들을 포함한다는 것을 의미한다. 48 kHz 의 오디오 샘플링 레이트에서, 이것은 각각의 오디오 데이터 패킷이 240 개의 오디오 샘플들을 포함한다는 것을 의미한다. 이들 240개의 오디오 샘플은 오디오 데이터 패킷의 페이로드 섹션을 구성한다. 또한, 오디오 데이터 패킷은 오버헤드를 포함한다. 당업자는 더 짧은 TDMA 프레임들 및 더 짧은 오디오 데이터 패킷들이 무선 링크의 유효 대역폭에 부정적인 영향을 미친다는 것을 인식할 것이다: 오디오 데이터 패킷의 페이로드 섹션은 감소될 것인 반면, 그 오버헤드 섹션은 일정하게 유지될 것이다. 당업자는 더 긴 TDMA 프레임들 및 더 긴 오디오 데이터 패킷들이 가청 아티팩트들(audible artifacts) 없이 오디오 스트림을 적시에 생성하기 위해 패킷 프로세서들 및 패킷 손실 은닉 기술의 태스크를 복잡하게 할 수 있다는 것을 추가로 인식할 것이다. 다시 말해서, 5 밀리초의 바람직한 TDMA 프레임 길이는 회의 시스템들에 대해 충족되어야 할 품질 표준들에 대해 회의 유닛들과 액세스 포인트 사이의 무선 링크 상의 유효 대역폭을 트레이드-오프(trade-off)한 결과이다

청구항 제 7 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 송신기는 오디오 데이터 패킷을 TDMA 프레임 내의 할당된 타임슬롯 내에서 송신하기 전에 간섭 트래픽을 리스닝하도록 구성된다

실제로, 본 발명의 바람직한 실시예들은 소위 소프트 TDMA 방식을 구현하며, 여기서 TDMA 프레임의 일부를 형성하는 타임슬롯들은 미리 정의된 방식에 따라 회의유닛들에 고정적으로 할당되지만, TDMA 프레임의 각각의 타임슬롯 내의 송신 시간은 LBT(Listen Before Talk) 메커니즘에 기초하여 회의유닛들에 의해 유연하게 결정된다. LBT 메커니즘은 서로 다른 무선 시스템에서 무선 채널을 동시에 사용할 수 있어 무선 채널의 전체 가용 대역폭을 보다 효과적으로 사용할 수 있다는 이점을 제공한다.` 반면에 LBT 메커니즘은 송신기가 무선 회의 시스템 내부 또는 외부의 다른 송신기에서 타임슬롯을 사용하지 않는 것을 확인한 후에만 오디오 데이터 패킷을 송신하기 때문에 오디오 데이터 패킷의 도달 시간에 수신기에 지터 또는 불확실성(uncertainty)이 생긴다. 회의 시스템들에서의 LBT 지터는 통상적으로 1 내지 2 밀리초 정도이다

청구항 제 8 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 무선 통신은 Wi-Fi(IEEE 802.11)를 사용한다

실제로, Wi-Fi 프로토콜은 회의 시스템에서 중앙 액세스 포인트와 회의 유닛들을 연결하기 위한 무선 기술로 잘 활용되고 있다. Wi-Fi는 단일 액세스 포인트(또는 최대 몇 개의 액세스 포인트들)가 있는 회의실 영역을 커버할 수 있고 간섭을 처리할 수 있게 다중 채널들 또는 주파수 대역들을 제공한다

청구항 제 9 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 상기 하나 이상의 회의 유닛들은, 상기 액세스 포인트에 의해 정기적으로 브로드캐스트되는 비콘 메시지들에 삽입된 타임스탬프에 기초하여 상기 액세스 포인트의 클록과 그들 각각의 클록들을 능동적으로 동기화하도록 구성된 클록 동기화 유닛들을 포함한다

따라서, 액세스 포인트의 클록과 회의유닛들의 클록들 사이의 활성 동기화를 구현하기 위한 바람직한 방법은 액세스 포인트에 의해 정기적으로 브로드캐스트되는 비컨 메시지들에 의존한다. 액세스 포인트가 Wi-Fi 프로토콜에 의존하는 경우에, 비컨 메시지들은, 예를 들어, 디바이스들이 액세스 포인트의 존재를 검출하고 접속성을 확립할 수 있게 하기 위해 액세스 포인트가 자신의 SSID를 정기적으로 브로드캐스트하는 메시지들에 대응할 수 있다. 다른 메시지들과 비교하여, 이러한 비콘 메시지들은 전형적으로 더 낮은 변조 방식, 즉 덜 복잡한 콘스텔레이션(constellation) 방식 및 증가된 리던던시(redundancy)를 이용하여 송신되어, 이러한 비콘 메시지들은 더 강건하다: 이들은 수신기에 도달하기 전에 손실될 위험이 감소되고 더 큰 범위를 갖는다. 비컨 메시지들을 사용하여, 액세스 포인트와 회의시스템의 회의유닛간의 시간 값 또는 타임스탬프를 전달함으로써, 본 발명에 필수적인 활성 클록 동기화를 더욱 강건하게 한다. Wi-Fi의 경우에 추가적인 이점은, 그 안에서 전송되는 비콘 메시지(beacon message)가 Wi-Fi 기술의 이전 버전 또는 형태와 역호환된다는 것이다

청구항 제 10 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 미리 결정된 예상 송신 지연은 전파 지연, 지터, 인터럽트 핸들링 지연, 프로세싱 지연, 및 클록 동기화 부정확성의 합으로서 결정된다

실제로, 바람직한 실시예들에서의 오디오 데이터 패킷의 수신 시간에 대한 전체적인 부정확성은, 전형적으로 대략 100 내지 200 마이크로초 정도의, 대기를 통한 실효적인 전파로부터 초래되는 제1 기여를 포함한다. 오디오 패킷의 수신 시간에 대한 전체 부정확성은 소프트 TDMA 방식이 구현되는 실시예들에서 LBT 지터로부터 기인하는 제2 기여를 더 포함할 수 있다. 이러한 제2 기여는, 전형적으로 5 밀리초의 TDMA 프레임들에 대해 1 내지 1,5 밀리초의 범위 내에 상당한 것이다. 오디오 패킷의 수신 시간에 대한 전체 부정확성은 각각, 송신기 및 수신기 측에서의 인터럽트 핸들링, 즉, 예를 들어, 패킷의 수신과 같이 이벤트가 발생했음을 나타내는 인터럽트들의 프로세싱으로부타, 패킷 및 오디오 프로세싱 시간으로부터, 및 전개된 활성 동기화 메커니즘에 의존할 수 있는 송신기 클록과 수신기 클록 사이의 동기화 부정확성들로부터 발생하는 제3, 제4 및 제5 기여들을 더 포함한다

청구항 제 11 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 지터 지연은 리슨-비포-토크 지터 기여(listen-before-talk jitter contribution)를 포함한다

위에서 이미 설명된 바와 같이, 다양한 특성의 지터는 오디오 패킷의 수신 시간에 대한 전반적인 부정확성에 기여할 수 있다. 송신기는 스케줄링된 타임슬롯에서 송신하기 전에 채널이 비어있을 때까지 대기하는 소프트 TDMA 방식이 적용되는 경우, 중요한 지터 기여는 송신기의 리슨-비포-토크 거동(listen-before-talk behavior)으로부터 기인한다

청구항 제 12 항에 의해 정의된 바와 같이, 본 발명에 따른 무선 회의 시스템의 실시예들에서, 미리 결정된 예상된 송신 지연은 1,5 밀리초 내지 2 밀리초의 값으로 설정된다

테스트 결과, 회의 시스템의 회의 유닛과 중앙 액세스 포인트 사이의 통신을 위해 5 밀리초의 시간 프레임을 갖는 소프트 TDMA 방식을 갖는 Wi-Fi를 사용하고, 액티브 동기화를 위해 Wi-Fi 비컨에서 타임스탬프를 사용하는 회의 시스템에서, 1.5 밀리초로 설정된 전체 예상 송신 지연은 무선 링크 상의 유효 대역폭을 희생시키지 않으면서 패킷 손실 은닉의 검출 및 조기 활성화에서 실질적인 이득을 갖는 본 발명을 구현할 수 있게 된다

청구항 제 13 항에 의해 정의된 바와 같은 제2 양태에 따르면, 본 발명은 복수의 사용자가 회의실에서 회의에 참여할 수 있도록 구성된 회의 시스템에서 하나 이상의 회의 유닛과 액세스 포인트 사이의 레이턴시 민감 오디오 데이터 패킷의 전송 방법에 관한 것이고, 상기 전송 방법은 오디오 데이터 패킷들의 양방향 시분할 다중 액세스 기반 또는 TDMA 기반 무선 통신을 포함하고, 상기 방법은:

- 상기 하나 이상의 회의 유닛들 및 상기 액세스 포인트에서 각각의 클록들을 능동적으로 동기화하는 단계로서, 상기 각각의 클록들의 클록은 상기 오디오 데이터 패킷들을 프로세싱하기 위해 로컬로 사용되는 로컬 오디오 클록 신호 및 상기 TDMA 기반 무선 통신에 사용되는 로컬 동기화 클록 신호를 생성하도록 구성되는, 상기 각각의 클록들을 능동적으로 동기화하는 단계;

- 회의유닛으로부터 상기 액세스 포인트로 또는 그 반대로 송신된 오디오 데이터 패킷의 손실을 검출하는 단계로서:

- 상기 로컬 동기화 클록 신호로부터의 상기 오디오 데이터 패킷에 대한 예상 도달 시간 및 미리 결정된 예상 송신 지연을 결정하는 단계, 및

- 상기 오디오 데이터 패킷이 상기 예상 도달 시간까지 도달하지 않은 경우 상기 오디오 데이터 패킷이 손실된 것을 탐지하는 단계를 포함하는, 상기 오디오 데이터 패킷의 손실을 검출하는 단계; 및

- 패킷 손실 은닉을 통해 손실된 것으로 감지된 상기 오디오 데이터 패킷에 대한 대체 패킷을 생성하는 단계를 포함하는, 레이턴시 민감 오디오 데이터 패킷의 전송 방법이다.

도면의 간략한 설명
도 1은 본 발명에 따른 무선 회의 시스템(100)의 일 실시예를 개략적으로 도시한다
도 2는 본 발명에 따른 무선 회의 시스템(100)의 실시예의 일부를 형성하는 회의 유닛(200)의 실시예의 기능 블록도이다
도 3은 본 발명에 따른 무선 회의 시스템(100)의 실시예의 일부를 형성하는 액세스 포인트(300)의 실시예의 기능 블록도이다
도 4는 본 발명에 따른 레이턴시 민감 오디오 데이터 패킷들의 전송을 위한 방법의 실시예를 예시하는 의사 흐름도이다
도 5는 본 발명의 실시예들에서 하나 또는 여러 단계들을 수행하기 위한 적절한 컴퓨팅 시스템(500)의 예시적인 실시예를 도시한다.

실시예(들)의 상세한 설명

도 1은 액세스 포인트(AP 또는 101) 및 5개의 회의 유닛들(CU1-CU5 또는 111-115)을 포함하는 무선 회의 시스템을 도시한다. 회의유닛들(111-115)은 마이크로폰을 사용하여 각각의 회의참가자들로부터의 오디오 신호들을 캡처하고, 오디오 신호를 오디오 데이터 패킷들로 디지털화하고, 이 오디오 데이터 패킷들을 액세스 포인트(101)에 송신한다. 액세스 포인트(101)는 하나 또는 수개의 회의 유닛들로부터 오디오 패킷들을 수신하고, 오디오 패킷들을 프로세싱하고 모든 회의 유닛들(111-112)에 분배하기 위한 새로운 오디오 패킷들을 생성하여, 회의 유닛들(111-115)이 단일의 선택된 회의 참가자에 의해 생성된 오디오 신호(선택은 액세스 포인트(101)를 제어하는 주재자에 의해 이루어질 수 있음), 복수의 선택된 회의 참가자들에 의해 생성된 결합된 오디오 신호들(다시, 선택은 액세스 포인트(101)를 제어하는 주재자에 의해 이루어질 수 있음), 또는 예를 들어 통역되거나 변역된 오디오 신호, 원래의 오디오 신호의 오버레이에서의 통역 또는 번역 등과 같은 프로세싱된 오디오 신호에 대응하는 오디오 스트림을 수신하도록 한다. 도 1의 실시예에서, 회의 유닛들(111-115)은 Wi-Fi 를 사용하여 액세스 포인트(101)와 무선 및 양방향으로 통신한다. 업스트림 방향, 즉 회의 유닛들(111-115)로부터 액세스 포인트(101)로의 방향에 대해 선택된 Wi-Fi 채널은 소프트 시분할 다중 액세스(TDMA) 프로토콜을 사용하여 공유된다. 소프트 TDMA 프로토콜은 회의유닛내의 송신기가 할당된 타임슬롯(timeslot)에서 송신하기 전에 채널이 비워져 있는지의 여부를 먼저 리스닝할 것을 요구한다. 도 1의 회의 시스템(100)에서의 TDMA 프레임은 5 밀리초의 길이를 갖는 것으로 가정된다. TDMA 프레임은 0,5 밀리초의 10개의 타임슬롯을 포함한다. 채널이 점유되면, 송신기는 채널이 비워질 때까지 대기할 것이다. 이 리슨-비포-토크 또는 LBT 메커니즘은 지터, 즉, 할당된 타임슬롯 내의 액세스 포인트(101)에서의 패킷의 도달 시간에 대한 불확실성을 도입한다. 다운스트림 방향, 즉, 액세스 포인트(101)로부터 회의 유닛들(111-115)로의 방향에서, 오디오 데이터 패킷들은 또한 TDMA 프레임의 타임슬롯들에서 송신된다. 통상적으로, 동일한 TDMA 프레임이 상향 및 하향 송신에 사용되고, 동일한 Wi-Fi 채널이 상향 및 하향 송신에 사용된다. 액세스 포인트(101) 내의 송신기는 또한 동일한 채널을 사용하는 다른 Wi-Fi 네트워크들과의 간섭을 회피하기 위해 LBT 메커니즘을 구현한다

도 2는 본 발명의 관점에서 관련된 회의유닛(CU 또는 200)의 기능적 구성요소들을 도시한다. 도 2의 회의유닛(200)은 도 1에 도시된 회의유닛들(111-115) 각각의 가능한 구현을 나타낸다. 회의유닛(200)은 트랜시버(201), 무선 전송을 위한 안테나(202), 클록(203), 클록 동기화 로직(204), 오디오 입력 커넥터 또는 마이크로폰 커넥터(205), 및 오디오 출력 커넥터 또는 헤드폰 커넥터(206)를 포함한다. 도 2는 또한 오디오 신호들, 예를 들어 회의 참가자로부터의 음성을 캡처하기 위해 마이크로폰 커넥터(205)에 연결된 마이크로폰(250), 및 회의 참가자가 회의 대화를 따라갈 수 있게 하기 위해 오디오 출력 커넥터(206) 또는 내장 스피커에 연결된 헤드폰들(260)을 개략적으로 도시한다. 트랜시버(201)는 송신기(210) 및 수신기(220)를 포함한다. 송신기(210)는 마이크로폰(250)에 의해 캡처된 오디오 신호를 수신하고, 이 오디오 신호를 디지털화하고, 이 디지털화된 오디오 신호를 각각 캡처된 음성의 5밀리초를 포함하는 오디오 데이터 패킷으로 패킷화하도록 구성된 프로세서(211)를 포함한다. 이 프로세서(211)는 생성된 오디오 데이터 패킷들을 안테나(202), 즉, 위에서 설명된 바와 같이 소프트 TDMA 및 LBT 메커니즘을 갖는 Wi-Fi 프로토콜을 사용하여 회의시스템의 액세스 포인트에 업스트림 방향으로 오디오 데이터 패킷들을 송신하는 라디오 인터페이스에 포워딩한다. 다운스트림 방향에서, 안테나(202)는 그것이 연관시키는 액세스 포인트로부터 Wi-Fi 비컨 메시지들을 정기적으로 수신한다. 비콘 메시지들은 액세스 포인트 내의 클록과 클록(203)을 동기화하기 위해 클록 동기화 유닛(204)에 의해 사용되는 타임스탬프 또는 시간 값을 포함한다. 회의유닛(200) 내의 클록(203)에 의해 국부적으로 생성되지만 비컨 메시지들을 통해 액세스 포인트 내의 클록과 능동적으로 동기화된 클록 신호는 다음 오디오 데이터 패킷의 도달 시간을 추정하는 도달 추정 시간 (estimated time of arrival: ETA) 유닛(223)에 의해 사용된다. 클록 (203) 이 오디오 데이터 패킷들의 송신을 위해 액세스 포인트에서 사용되는 클록과 능동적으로 동기화됨에 따라, ETA 유닛 (223) 은 다음 오디오 데이터 패킷이 액세스 포인트에서 송신을 위해 준비된 시간을 정확하게 결정할 수 있다. ETA 유닛(223)은 미리 결정된 송신 지연, 즉, 송신기 및 수신기 측에서의 인터럽트 핸들링, Wi-Fi 채널을 통한 무선 전파, 및 예를 들어 송신기 측에서 구현된 LBT 메커니즘의 결과로서 가능한 지터에 필요한 허용가능한 시간으로 그 시간을 증가시킨다. 송신 지연은 추가로, 클록(203)과 그것이 능동적으로 동기화되는 액세스 포인트에서의 클록 사이의 클록 동기화 부정확성들을 고려할 수 있다. 도 2의 예에서, 전송 지연은 1,5 밀리초에 대응하도록 미리 결정된다. 국부적으로 생성된 클록 신호 및 미리 결정된 송신 지연은 ETA 유닛 (223) 이 다음 오디오 데이터 패킷의 도달 시간을 방어적으로 추정할 수 있게 한다. 오디오 데이터 패킷의 도달 시에 프로세서 (221) 로부터 인터럽트를 수신하는 손실 검출 유닛 (224) 은 오디오 데이터 패킷이 오디오 데이터 패킷의 다음 도달 추정 시간까지 수신되는지를 검증한다. 오디오 데이터 패킷이 제시간에 수신되면, 프로세서(221)는 수신된 오디오 데이터 패킷을 프로세싱하여그 안에 포함된 오디오 샘플들이 오디오 커넥터(206)를 통해 오디오 스트림의 일부로서 출력될 수 있도록 한다. 오디오 데이터 패킷의 도달 예정 시간까지 오디오 데이터 패킷이 수신되지 않을 때마다, 손실 검출 유닛(224)은 수신기(220)의 일부를 형성하는 패킷 은닉 유닛(225)을 트리거하여 대체 패킷을 생성하고 오디오 커넥터(206)를 통해 출력되는 오디오 스트림에 삽입하기 위해 대체 패킷을 프로세서(221)에 공급한다. 패킷 은닉 유닛 (225) 은, 손실된 오디오 데이터 패킷을 대체하기 위해 수신된 오디오 스트림에 삽입될 때 가청 아티팩트들을 생성하지 않는 대체 오디오 데이터 패킷을 생성하기 위해 통상적으로 이전에 수신된 오디오 데이터 패킷들을 사용하여, 프로세싱 집약적 은닉 알고리즘들을 적용한다. 오디오 데이터 패킷들의 능동 클록 동기화 및 도달 시간 추정 덕분에, 손실된 패킷 은닉이 조기에 트리거될 수 있다. 이는 회의유닛(200)이 회의시스템들에 대해 설정된 레이턴시 요건들, 통상적으로 회의유닛(200)과 액세스 포인트 사이에서 앞뒤로 이동하는 오디오 패킷들의 왕복 시간에 대해 15 밀리초 내지 25 밀리초 범위의 요건들을 충족시킬 수 있게 한다

도 3은 본 발명의 관점에서 관련된 액세스 포인트(AP 또는 300)의 기능적 구성요소들을 도시한다. 도 3의 액세스 포인트(300)는 도 1에 도시된 액세스 포인트(101)의 가능한 구현을 나타낸다. 액세스 포인트(300)는 트랜시버(301), 무선 전송을 위한 안테나(302), 클록(303), 및 회의의 주재자 또는 조직을 위한 인터페이스(304)를 포함한다. 트랜시버(301)는 송신기(310) 및 수신기(320)를 포함한다. 송신기(310)는 각각 5 밀리초의 오디오를 포함하는 오디오 데이터 패킷들을 생성하도록 구성되는 프로세서(311)를 포함한다. 이러한 오디오 데이터 패킷들의 콘텐츠는 인터페이스(304)를 통해 회의의 주재자에 의해 제어된다. 이들 오디오 데이터 패킷들의 콘텐츠는 예를 들어 단일 회의 유닛으로부터 수신된 오디오, 복수의 회의 유닛들로부터 수신된 오디오, 통역기(interpreter) 또는 번역기로부터 수신된 오디오 등일 수 있다. 프로세서(311)는 생성된 오디오 데이터 패킷들을 안테나(302), 즉, 위에서 설명된 바와 같이 소프트 TDMA 및 LBT 메커니즘을 갖는 Wi-Fi 프로토콜을 사용하여 회의시스템의 회의유닛들에 다운스트림 방향으로 오디오 데이터 패킷들을 송신하는 라디오 인터페이스에 포워딩한다. 다운스트림 방향에서, 안테나(302)는 또한, 회의유닛들이 액세스 포인트(300)와 연관될 수 있게 하기 위해, 예를 들어 액세스 포인트 식별자를 포함하는 Wi-Fi 비컨 메시지들을 규칙적으로 송신한다. 이러한 비콘 메시지들은 또한, 회의 유닛들이 그들의 클록을 액세스 포인트(300)에서의 클록(303)과 능동적으로 동기화할 수 있게 하는 클록(303)으로부터의 타임스탬프 또는 시간 값을 포함한다. 액세스 포인트(300)에서 클록(303)에 의해 국부적으로 생성된 클록 신호는 회의유닛으로부터 오는 다음 오디오 데이터 패킷의 도달 시간을 추정하는 도달 추정 시간 유닛(323)에 의해 사용된다. 클록(303)이 오디오 데이터 패킷들의 송신을 위해 회의유닛에서 사용되는 클록과 능동적으로 동기화됨에 따라, ETA 유닛(323)은 다음 오디오 데이터 패킷이 회의유닛에서 송신할 준비가 된 시간을 정확하게 결정할 수 있다. ETA 유닛(323)은 미리 결정된 송신 지연, 즉, 송신기 및 수신기 측에서의 인터럽트 핸들링, Wi-Fi 채널을 통한 무선 전파, 및 예를 들어 송신기 측에서 구현된 LBT 메커니즘의 결과로서 가능한 지터에 필요한 허용가능한 시간으로 그 시간을 증가시킨다. 송신 지연은 클록(303)과 그와 능동적으로 동기화된 회의 유닛 내의 클록 사이의 클록 동기화 부정확성을 추가로 고려할 수 있다. 도 3의 예에서, 전송 지연은 1,5 밀리초에 대응하도록 미리 결정된다. 국부적으로 생성된 클록 신호 및 미리 결정된 송신 지연은 ETA 유닛(323)이 회의 유닛에 대한 다음 오디오 데이터 패킷의 도달 시간을 방어적으로 추정할 수 있게 한다. 오디오 데이터 패킷의 도달 시에 프로세서 (321) 로부터 인터럽트를 수신하는 손실 검출 유닛 (324) 은 오디오 데이터 패킷이 오디오 데이터 패킷의 다음 도달 추정 시간까지 수신되는지를 검증한다. 오디오 데이터 패킷이 제시간에 수신되면, 프로세서(321)는 수신된 오디오 데이터 패킷을 프로세싱하여 그 안에 포함된 오디오 샘플들이 출력되어 다운스트림 송신을 위해 사용될 수 있도록 한다. 오디오 데이터 패킷의 도달 예정 시간까지 오디오 데이터 패킷이 수신되지 않을 때마다, 손실 검출 유닛(324)은 수신기(320)의 일부를 형성하는 패킷 은닉 유닛(325)을 트리거하여 대체 패킷을 생성하여 출력되는 오디오 스트림에 삽입하기 위해 대체 패킷을 프로세서(321)에 공급한다. 패킷 은닉 유닛 (325) 은, 손실된 오디오 데이터 패킷을 대체하기 위해 수신된 오디오 스트림에 삽입될 때 가청 아티팩트들을 생성하지 않는 대체 오디오 데이터 패킷을 생성하기 위해 통상적으로 이전에 수신된 오디오 데이터 패킷들을 사용하여, 프로세싱 집약적 은닉 알고리즘들을 적용한다. 오디오 데이터 패킷들의 능동 클록 동기화 및 도달 시간 추정 덕분에, 손실된 패킷 은닉이 조기에 트리거될 수 있다. 이는 액세스 포인트(300)가 회의 시스템들에 대해 설정된 레이턴시 요건들, 통상적으로 회의 유닛과 액세스 포인트(300) 사이에서 앞뒤로 이동하는 오디오 패킷들의 왕복 시간에 대해 15 밀리초 내지 25 밀리초 사이의 범위를 충족시킬 수 있게 한다

도 4는 본 발명에 따른 레이턴시 민감 오디오 데이터 패킷들의 전송을 위한 방법의 실시예를 예시하는 의사 흐름도를 나타낸다. 도 4의 의사 흐름도는 수신기 측에서 수행되는 단계들을 예시한다. 제1 단계(401)에서, 예상 도달 시간은 능동적으로 동기화된 클록(411)으로부터 수신된 시간 신호 및 미리 결정되어 예를 들어 컴퓨터 메모리 또는 레지스터에 기록된 예상 송신 지연(412)으로부터 오디오 데이터 패킷에 대해 결정된다. 제2 단계(402)에서, 오디오 데이터 패킷이 제1 단계(401)에서 결정된 도달 예정 시간까지 수신되었는지를 검증한다. 도달 예정 시간까지 오디오 데이터 패킷이 수신된 경우, 단계(403)에서는 수신된 오디오 데이터 패킷을 정상적으로 처리한다. 예상 도달 시간까지 오디오 데이터 패킷이 수신되지 않은 경우, 손실 패킷 은닉은 손실 오디오 데이터 패킷에 대한 대체 오디오 패킷을 생성하기 위해 단계(404)에서 활성화된다. 단계(404)의 손실 패킷 은닉은 예상 도달 시간에 도달하자마자 활성화된다. 마지막으로, 수신된 오디오 데이터 패킷으로부터 처리된 오디오 또는 은닉을 통해 생성된 오디오는 단계(405)에서 스트리밍되어 가청 아티팩트(audible artifact)가 없는 연속 오디오 스트림을 형성한다

도 5는 본 발명에 따른 레이턴시 민감 오디오 데이터 패킷들의 전송을 위한 방법의 실시예들에서 하나 또는 여러 단계들을 수행할 수 있게 하는 적절한 컴퓨팅 시스템(500)을 도시한다. 컴퓨팅 시스템 (500) 은 일반적으로 적합한 범용 컴퓨터로서 형성될 수도 있으며, 버스 (510), 프로세서 (502), 로컬 메모리 (504), 하나 이상의 선택적 입력 인터페이스들 (514), 하나 이상의 선택적 출력 인터페이스들 (516), 통신 인터페이스 (512), 저장 엘리먼트 인터페이스 (506), 및 하나 이상의 저장 엘리먼트들 (508) 을 포함할 수도 있다. 버스 (510) 는 컴퓨팅 시스템 (500) 의 컴포넌트들 간의 통신을 허용하는 하나 이상의 컨덕터들을 포함할 수도 있다. 프로세서 (502) 는 프로그래밍 명령을 해석하고 실행하는, 임의의 타입의 종래의 프로세서 또는 마이크로프로세서를 포함할 수도 있다. 로컬 메모리 (504) 는 프로세서 (502) 에 의한 실행을 위한 정보 및 명령들을 저장하는 랜덤 액세스 메모리 (RAM) 또는 다른 타입의 동적 저장 디바이스, 및/또는 프로세서 (502) 에 의한 사용을 위한 정적 정보 및 명령들을 저장하는 판독 전용 메모리 (ROM) 또는 다른 타입의 정적 저장 디바이스를 포함할 수도 있다. 입력 인터페이스 (514) 는 키보드 (520), 마우스 (530), 펜, 음성 인식 및/또는 생체 인식 메커니즘, 카메라 등과 같이, 운영자 또는 사용자가 정보를 컴퓨팅 디바이스 (500) 에 입력하게 하는 하나 이상의 종래의 메커니즘들을 포함할 수도 있다. 출력 인터페이스 (516) 는 디스플레이 (540) 등과 같이, 정보를 운영자 또는 사용자에게 출력하는 하나 이상의 종래의 메커니즘들을 포함할 수도 있다. 통신 인터페이스 (512) 는 예를 들어, 컴퓨팅 시스템 (500) 이 다른 디바이스 및/또는 시스템과, 예를 들어 다른 컴퓨팅 디바이스들(581, 582, 583)과 통신할 수 있게 하는 하나 이상의 이더넷 인터페이스와 같은 임의의 트랜시버-유사 메커니즘을 포함할 수도 있다. 컴퓨팅 시스템 (500) 의 통신 인터페이스 (512) 는, 예를 들어, 인터넷과 같은 광역 네트워크 (WAN) 또는 로컬 영역 네트워크 (LAN) 에 의해 그러한 다른 컴퓨팅 시스템에 연결될 수도 있다. 저장 엘리먼트 인터페이스 (506) 는 예를 들어 SATA (Serial Advanced Technology Attachment) 인터페이스 또는 SCSI (Small Computer System Interface) 와 같은 저장 인터페이스를 포함하여 버스 (510) 를 하나 이상의 로컬 디스크들 예를 들어 SATA 디스크 드라이브들과 같은 하나 이상의 저장 엘리먼트들 (508) 에 연결하고, 이들 저장 엘리먼트들 (508) 로의 및/또는 로부터의 데이터의 판독 및 기입을 제어할 수도 있다. 상기에서 저장 엘리먼트(들) (508) 가 로컬 디스크로 설명되었지만, 일반적으로, 착탈가능 자기 디스크, CD 또는 DVD 와 같은 광학 저장 매체들, -ROM 디스크, 솔리드 스테이트 드라이브들, 플래시 메모리 카드들, … 과 같은 임의의 다른 적합한 컴퓨터 판독가능 매체들이 사용될 수 있다. 따라서, 컴퓨팅 시스템(500)은 도 2에 의해 예시된 실시예에서의 프로세싱 회로(211, 221), 또는 도 3에 의해 예시된 실시예에서의 프로세싱 회로(311, 321)에 대응할 수 있다. 이들 실시예들의 송신기 및 수신기에서 각각 사용되는 프로세싱 회로는 이들 도면들에서 파선 직사각형들에 의해 표시된 바와 같이 명백히 단일 프로세서 또는 컴퓨터의 일부일 수 있다

본 발명이 특정 실시형태들을 참조하여 예시되었지만, 본 발명은 전술한 예시적인 실시형태들의 상세들로 한정되지 않고 그리고 본 발명은 그 범위로부터 일탈함없이 다양한 변경들 및 수정들로 구현될 수도 있음이 당업자들에게 명백할 것이다. 본 실시형태들은 따라서 모든 양태들에서 제한이 아니라 예시적인 것으로 간주되어야 하며, 본 발명의 범위는 전술한 설명에 의해서라기 보다는 첨부된 청구항들에 의해 나타내지고, 청구항들의 등가물의 의미 및 범위 내에 있는 모든 변경들이 따라서 본 명세서에 포괄되도록 의도된다. 즉, 기본적인 바탕이 되는 원리들의 범위 내에 있는 모든 또는 임의의 수정들, 변형들 또는 등가물들을 포괄하도록 고려되며, 이들의 본질적인 속성들은 본 특허 출원에서 청구된다. 더욱이, 단어들 "포함하는" 또는 "포함한다" 는 다른 엘리먼트들 또는 단계들을 배제하지 않고, 단어들 "a" 또는 "an" 은 복수를 배제하지 않고, 컴퓨터 시스템, 프로세서, 또는 다른 집적 유닛과 같은 단일 엘리먼트는 청구항들에 기재된 다수의 수단들의 기능들을 이행할 수도 있음이 본 특허 출원의 독자에 의해 이해될 것이다. 청구항들에서의 임의의 참조 부호들은 관련된 개별 청구항들을 한정하는 것으로서 해석되지 않아야 한다. 용어들 "제 1", "제 2", "제 3", "a", "b", "c" 등은, 상세한 설명 또는 청구항들에서 사용될 때, 유사한 엘리먼트들 또는 단계들 간을 구별하도록 도입되고 반드시 순차적인 또는 연대적인 순서를 기술하는 것은 아니다. 유사하게, 용어들 "상부", "하부", "위", "아래" 등은 설명적인 목적들로 도입되며 반드시 상대적인 포지션들을 표기하기 위한 것은 아니다. 그렇게 사용된 용어들은 적절한 상황들 하에서 상호교환가능하고 본 발명의 실시형태들은 다른 순서들로, 또는 상기에서 설명된 또는 예시된 것(들)과는 상이한 배향들로 본 발명에 따라 동작 가능함이 이해되어야 한다.

Claims (13)

1. 복수의 사용자들이 회의실에서 회의에 참여할 수 있도록 구성된 무선 회의 시스템(100)으로서, 상기 무선 회의 시스템(100)은 액세스 포인트(101; 300) 및 복수의 회의 유닛들(111-115; 200)을 포함하고,
   - 상기 액세스 포인트(101; 300) 및 상기 회의유닛들(111-115; 200) 중 하나 이상은, 상기 하나 이상의 회의유닛들(111-115; 200) 및 상기 액세스 포인트(101; 300) 사이의 레이턴시 민감 오디오 데이터 패킷들의 양방향 시분할 다중 액세스 기반 또는 TDMA 기반 무선 통신을 위해 구성된 트랜시버(201; 301)를 포함하고, 상기 트랜시버(201; 301)는 송신기(210; 310) 및 수신기(220; 320)를 포함하고;
   - 상기 액세스 포인트(101; 300) 및 상기 하나 이상의 회의 유닛들(111-115; 200)은 능동적으로 동기화되는 각각의 클록들(203; 303)을 포함하고, 상기 각각의 클록들의 클록(203; 303)은 상기 오디오 데이터 패킷들을 처리하기 위해 국부적으로 사용되는 로컬 오디오 클록 신호 및 상기 TDMA 기반 무선 통신에 사용되는 로컬 동기화 클록 신호를 생성하도록 구성되며;
   - 상기 수신기(220; 320)는 회의유닛(111-115; 200)으로부터 상기 액세스 포인트(101; 300)로 또는 그 반대로 송신된 오디오 데이터 패킷의 손실을 검출하도록 구성된 패킷 손실 검출 유닛(222; 322)을 포함하며, 상기 패킷 손실 검출 유닛(222; 322)은:
   - 상기 로컬 동기화 클록 신호로부터의 상기 오디오 데이터 패킷에 대한 예상 도달 시간 및 미리 결정된 예상 송신 지연을 결정하도록 구성된 수단(223; 323), 및
   - 상기 오디오 데이터 패킷이 상기 예상 도달 시간까지 도달하지 않았다면 상기 오디오 데이터 패킷이 손실되었음을 검출하도록 구성된 수단 (224; 324)을 포함하고; 및
   - 상기 수신기(220; 320)는 상기 패킷 손실 검출 유닛(222; 322)에 의해 손실된 것으로 검출되는 상기 오디오 데이터 패킷에 대한 대체 패킷을 생성하도록 구성된 패킷 손실 은닉 유닛(225; 325)을 포함하는, 무선 회의 시스템(100).
2. 제 1 항에 있어서,
   상기 액세스 포인트(101; 300) 및 상기 하나 이상의 회의 유닛들(111-115; 200)은 오디오 데이터 패킷들의 수신을 확인응답하지 않도록 구성되는, 무선 회의 시스템(100).
3. 제 1 항에 있어서,
   상기 액세스 포인트(101; 300) 및 상기 하나 이상의 회의 유닛들(101-105; 200)은 손실된 오디오 데이터 패킷을 재송신하지 않도록 구성되는, 무선 회의 시스템(100).
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 레이턴시 민감 오디오 데이터 패킷들은 회의유닛(111-115; 200)으로부터 상기 액세스 포인트(101; 300)로의 무선 전송, 및 상기 액세스 포인트(101; 300)로부터 상기 회의유닛(111-115; 200)으로의 무선 전송을 위해 25 밀리초의 왕복 (round trip) 시간 레이턴시 한계를 갖는, 무선 회의시스템(100).
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 레이턴시 민감 오디오 데이터 패킷들은 회의유닛(111-115; 200)으로부터 상기 액세스 포인트(101; 300)로의 무선 전송, 및 상기 액세스 포인트(101; 300)로부터 상기 회의유닛(111-115; 200)으로의 무선 전송을 위해 15 밀리초의 왕복시간 레이턴시 한계를 갖는, 무선 회의시스템(100).
6. 제 1 항에 있어서,
   상기 TDMA 기반 무선 통신은 5 밀리초의 TDMA 프레임을 사용하는, 무선 회의 시스템(100).
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 송신기(210; 310)는 오디오 데이터 패킷을 그 안에서 송신하기 전에 TDMA 프레임 내의 할당된 타임슬롯 내에서 간섭 트래픽을 리스닝하도록 구성되는, 무선 회의 시스템(100).
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 무선 통신은 Wi-Fi를 사용하는, 무선 회의 시스템(100).
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 하나 이상의 회의 유닛들(111-115; 200)은, 상기 액세스 포인트(101; 300)에 의해 규칙적으로 브로드캐스트되는 비콘 메시지들에 삽입된 타임스탬프에 기초하여 상기 액세스 포인트(101; 300)의 클록(303)과 그들 각각의 클록들(203)을 능동적으로 동기화하도록 구성된 클록 동기화 유닛들(204)을 포함하는, 무선 회의 시스템(100).
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 미리 결정된 예상 송신 지연은 전파 지연, 지터, 인터럽트 핸들링 지연, 프로세싱 지연 및 클록 동기화 부정확성의 합으로서 결정되는, 무선 회의 시스템(100),
11. 제 7 항 및 제 10 항에 있어서,
    상기 지터 지연은 리슨-비포-토크 지터 기여(listen-before-talk jitter contribution)를 포함하는, 무선 회의 시스템(100).
12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 미리 결정된 예상 송신 지연은 1,5 밀리초 내지 2 밀리초의 값으로 설정되는, 무선 회의 시스템(100).
13. 복수의 사용자들이 회의실에서 회의에 참여할 수 있도록 구성된 무선 회의 시스템(100)에서 하나 이상의 회의 유닛들(111-115; 200)과 액세스 포인트(101; 300) 사이의 레이턴시 민감 오디오 데이터 패킷들의 전송 방법으로서, 상기 전송 방법은 상기 오디오 데이터 패킷들의 양방향 시분할 다중 액세스 기반 또는 TDMA 기반 무선 통신을 포함하며, 상기 레이턴시 민감 오디오 데이터 패킷들의 전송 방법은:
    - 상기 하나 이상의 회의 유닛들(111-115; 200) 및 상기 액세스 포인트(101; 300)에서 각각의 클록들(203; 303)을 능동적으로 동기화하는 단계하는 단계로서, 상기 각각의 클록들의 클록(203; 303)은 상기 오디오 데이터 패킷들을 처리하기 위해 국부적으로 사용되는 로컬 오디오 클록 신호 및 상기 TDMA 기반 무선 통신에 사용되는 로컬 동기화 클록 신호를 생성하도록 구성되는, 상기 각각의 클록들(203; 303)을 능동적으로 동기화하는 단계;
    - 회의유닛(111-115; 200)으로부터 상기 액세스 포인트(101; 300)로 또는 그 반대로 송신된 오디오 데이터 패킷의 손실을 검출하는 단계로서:
    - 상기 로컬 동기화 클록 신호로부터 상기 오디오 데이터 패킷에 대한 예상 도달 시간 및 미리 결정된 예상 송신 지연을 결정하는 단계; 및
    - 상기 오디오 데이터 패킷이 상기 예상 도달 시간까지 도달하지 않은 경우 상기 오디오 데이터 패킷이 손실됨을 검출하는 단계를 포함하는, 상기 오디오 데이터 패킷의 손실을 검출하는 단계; 및
    - 패킷 손실 은닉을 통해 손실된 것으로 검출된 상기 오디오 데이터 패킷에 대한 대체 패킷을 생성하는 단계를 포함하는, 레이턴시 민감 오디오 데이터 패킷들의 전송 방법.

Images