KR20230028725A - 음향 투과성을 위한 시스템들, 장치, 및 방법들 - Google Patents

Abstract

오디오 신호 프로세싱을 위한 방법들, 시스템들, 컴퓨터 판독가능 매체들, 및 장치들이 제시된다. 오디오 신호 프로세싱을 위한 디바이스는 명령들을 저장하도록 구성된 메모리 및 명령들을 실행하도록 구성된 프로세서를 포함한다. 실행될 경우, 명령들은, 프로세서로 하여금, 제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하게 하고 그리고 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하게 한다. 청력 보상 데이터는 특정 사용자의 청력도에 기초한다. 명령들은, 실행될 경우, 또한 프로세서로 하여금, 라우드스피커가 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하게 한다.

Description

음향 투과성을 위한 시스템들, 장치, 및 방법들

관련 출원들에 대한 상호 참조

본 출원은 2020년 6월 25일자로 출원된 공동 소유 미국 가특허 출원 제63/044,201호, 및 2021년 6월 24일자로 출원된 미국 정규 특허 출원 제17/357,019호로부터의 우선권의 이익을 주장하며, 이들 각각의 내용들은 본 명세서에 참조로 전부 명백히 통합된다.

분야

본 개시의 양태들은 오디오 신호 프로세싱에 관한 것이다.

히어러블 디바이스들 또는 "히어러블들" (이를 테면 "스마트 헤드폰들", "스마트 이어폰들", 또는 "스마트 이어피스들") 이 점점 더 대중화되고 있다. 귀 위를 덮어 또는 귀 안에 착용되도록 설계되는 그러한 디바이스들은, 무선 송신 및 피트니스 추적을 포함한 다중의 목적들을 위해 사용되었다. 도 1A 에 도시된 바와 같이, 히어러블의 하드웨어 아키텍처는 통상적으로 사용자의 귀에 사운드를 재생하기 위한 라우드스피커; 사용자의 음성 및/또는 주변 사운드를 감지하기 위한 마이크로폰; 및 다른 디바이스 (예를 들어, 스마트폰) 와 통신하기 위한 신호 프로세싱 회로부를 포함한다. 히어러블은 또한, 예를 들어, 심박수를 추적하거나, 신체 활동 (예를 들어, 신체 움직임) 을 추적하거나, 또는 근접성을 검출하기 위해 하나 이상의 센서들을 포함할 수도 있다. 일부 예들에서, 히어러블들은 도 1B 의 히어러블 (D10R) 및 히어러블 (D10L) 과 같이 쌍으로 착용될 수도 있으며, 이는 도 1B 의 유선 신호들 또는 무선 신호들 (WS10, WS20) 을 사용하여 통신할 수도 있다.

도 2 는 사용자의 오른쪽 귀에 착용되도록 구성되는 히어러블 (D10R) 의 구현의 다이어그램을 도시한다. 히어러블 (D10R) 은 예를 들어, 히어러블 (D10R) 을 귀의 심바 및/또는 귓바퀴에 고정하기 위한 후크 (214) 또는 날개 (wing); 수동 음향 격리를 제공하기 위해 라우드스피커 (210) 를 둘러싸는 이어 팁 (212); 사용자 제어를 위한 스위치들 및/또는 터치 센서들과 같은 하나 이상의 입력들 (204); 하나 이상의 추가적인 마이크로폰들 (202); 및 (예를 들어, 디바이스가 착용되고 있음을 검출하기 위한) 하나 이상의 근접성 센서 (proximity sensor) 들 (208) 을 포함할 수도 있다.

본 개시의 양태들은 예로서 예시된다. 첨부 도면들에서, 동일한 참조 부호들은 유사한 엘리먼트들을 나타낸다.
도 1A 는 히어러블의 하드웨어 아키텍처의 블록 다이어그램을 도시한다;
도 1B 는 사용자의 각각의 귀에 착용된 히어러블들 간의 통신들을 도시한다;
도 2 는 히어러블의 구현의 다이어그램을 도시한다;
도 3A 는 히어-스루 필터 (V(z)) 를 포함하는 시스템의 블록 다이어그램을 도시한다;
도 3B 는 피드백 ANC 필터 (-C(z)) 를 포함하는 시스템의 블록 다이어그램을 도시한다;
도 3C 는 히어-스루 필터 (V(z)) 및 피드백 ANC 필터 (-C(z)) 를 포함하는 시스템의 블록 다이어그램을 도시한다;
도 4 는 도 3C 의 시스템의 다른 블록 다이어그램을 도시한다;
도 5A 는 도 4 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다;
도 5B 는 재생된 오디오 신호 (RX10) 를 수신하는 도 5A 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다;
도 6 은 도 4 의 시스템의 구현의 블록 다이어그램을 도시한다;
도 7A 는 특정 구성에 따른 장치 (A100) 를 포함하는 도 6 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다;
도 7B 는 프리-필터 (PF10) 의 구현 (PF20) 의 블록 다이어그램을 도시한다;
도 8a 는 특정 구성에 따른 방법 (M100) 의 플로우 다이어그램을 도시한다;
도 8b 는 특정 구성에 따른 방법 (M200) 의 플로우 다이어그램을 도시한다;
도 9 는 도 4 의 시스템의 구현의 블록 다이어그램을 도시한다;
도 10 은 사용자의 왼쪽 귀에 대한 청력도의 예를 도시한다;
도 11A 는 특정 구성에 따른 장치 (A200) 를 포함하는 도 9 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다;
도 11B 는 장치 (A200) 의 다른 구현에 대응하는 장치 (A250) 의 블록 다이어그램을 도시한다;
도 12 는 도 9 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다;
도 13 은 장치들 (A100 및 A200) 에 대응하는 장치 (A300) 의 블록 다이어그램을 도시한다;
도 14 는 사용자의 생체 인증에 기초하여 히어-스루 보상 필터 상태 (예를 들어, 청력 보상 데이터) 를 선택하는 동작에 대한 플로우 다이어그램을 도시한다;
도 15 는 가우시안 혼합 모델들을 사용하는 음성 인증 동작의 예를 도시한다;
도 16A 는 사용자의 얼굴의 인식에 기초하여 히어-스루 보상 필터 상태를 선택하는 동작에 대한 플로우 다이어그램을 도시한다;
도 16B 는 트레이닝된 뉴럴 네트워크를 사용하는 얼굴 인식 동작의 예를 도시한다;
도 17 은 피드포워드 ANC 필터를 포함하는 ANC 시스템의 예를 도시한다;
도 18 은 고정 전달 함수 (C(z)) 를 갖는 ANC 필터를 포함하는 ANC 시스템의 예를 도시한다;
도 19 는 피드백 경로 상에 고정 필터 (-H(z)) 를 갖는 도 17 의 ANC 시스템의 예를 도시한다;
도 20 은 특정 사용자에 대한 청력 보상 데이터에 기초한 오디오 신호 프로세싱을 위한 플로우 다이어그램을 도시한다;
도 21 은 특정 사용자에 대한 청력 보상 데이터에 기초하여 오디오 신호 프로세싱을 수행하도록 구성되는 디바이스의 다이어그램을 도시한다;
도 22 는 특정 사용자에 대한 청력 보상 데이터에 기초하여 오디오 신호 프로세싱을 수행하도록 구성되는 헤드셋의 다이어그램을 도시한다; 그리고
도 23 은 특정 사용자에 대한 청력 보상 데이터에 기초하여 오디오 신호 프로세싱을 수행하도록 구성되는 확장 현실 (예를 들어, 가상 현실, 혼합 현실, 또는 증강 현실) 헤드셋의 다이어그램을 도시한다.

본 명세서에서 설명된 원리들은 예를 들어, 사용자의 귀에 (예를 들어, 귀 위를 덮어, 위에, 또는 안에) 착용되도록 구성되는 히어러블, 헤드셋, 또는 다른 통신 또는 사운드 재생 디바이스 ("개인용 오디오 디바이스") 에 적용될 수도 있다. 그러한 디바이스는 예를 들어, 능동 잡음 제거 (ANC, 능동 잡음 감소로도 칭함) 디바이스 ("ANC 디바이스") 로서 구성될 수도 있다. 능동 잡음 제거는 "역위상 (antiphase)" 또는 "잡음 방지 (anti-noise)" 파형으로 또한 칭하는, (예를 들어, 동일한 레벨 및 반전 위상 (inverted phase) 을 갖는) 잡음 파의 역 형태인 파형을 생성함으로써 음향 잡음 (예를 들어, 주변 잡음) 을 능동적으로 감소시키는 기술이다. ANC 시스템은 일반적으로 하나 이상의 마이크로폰들을 사용하여 외부 잡음 참조 신호를 선택하고, 잡음 참조 신호로부터 잡음 방지 파형을 생성하고, 하나 이상의 라우드스피커들을 통해 잡음 방지 파형을 재생한다. 이 잡음 방지 파형은 원래의 잡음 파를 상쇄적으로 간섭하여 (사용자의 귀에서의 1 차 교란 ("d")), 사용자의 귀에 도달하는 잡음의 레벨을 감소시킨다.

능동 잡음 제거 기법들은 주변 환경으로부터의 음향 잡음을 감소시키기 위해, 개인용 통신 디바이스, 이를 테면 셀룰러 전화기들, 및 사운드 재생 디바이스들, 이를 테면 헤드폰들 및 히어러블들에 적용될 수도 있다. 그러한 애플리케이션들에서, ANC 기법의 사용은 음악 및 원단 음성들과 같은 유용한 사운드 신호들을 전달하면서 귀에 도달하는 배경 잡음의 레벨을 최대 20 데시벨 이상까지 감소시킬 수도 있다. 예를 들어, 통신 애플리케이션들을 위한 헤드폰들에서, 장비는 보통 마이크로폰 및 라우드스피커를 갖고, 여기서 마이크로폰은 송신을 위한 사용자의 음성을 캡처하는데 사용되고, 라우드스피커는 수신된 신호를 재생하는데 사용된다. 그러한 경우에, 마이크로폰은 붐 (boom) 상에 또는 이어컵 또는 이어버드 ("이어플러그" 로도 칭함) 상에 장착될 수도 있고 및/또는 라우드스피커는 이어컵 또는 이어버드 내에 장착될 수도 있다. 다른 예에서, 마이크로폰은 (한 쌍의 스마트 안경 또는 다른 헤드 장착 디바이스 또는 디스플레이의) 안경류 상에서 사용자의 귀에 가깝게 장착된다.

ANC 디바이스는 보통, 주변 잡음에 기초하여 참조 신호 ("x") 를 생성하도록 배열된 마이크로폰 (예를 들어, 외부 참조 마이크로폰) 및/또는 잡음 제거 후의 사운드 출력에 기초하여 에러 신호 ("e") 를 생성하도록 배열된 마이크로폰 (예를 들어, 내부 에러 마이크로폰) 을 갖는다. 어느 경우든, ANC 디바이스는 마이크로폰 입력을 사용하여 그 위치에서의 잡음을 추정하고 추정된 잡음의 수정된 버전인 잡음 방지 신호 ("y") 를 생성한다. 수정은 통상적으로 위상 반전에 의한 필터링을 포함하고 또한 이득 증폭을 포함할 수도 있다.

ANC 디바이스는 통상적으로, 외부 참조 마이크로폰과 내부 에러 마이크로폰 사이의 음향 1 차 경로 ("P(z)") 를 모델링하고 진폭의 음향 잡음과 매칭되고 위상의 음향 잡음과 반대인 잡음 방지 신호를 생성하는 ANC 필터를 포함한다. 예를 들어, 통상적인 피드포워드 설계에서, 참조 신호 (x) 는 그것을 2 차 경로 ("S(z)") (여기서 2 차 경로 (S(z)) 는 예를 들어, 라우드스피커 및 에러 마이크로폰을 통해 출력된 ANC 필터로부터의 전기-음향 경로임) 의 추정 (estimate) (

) 을 통해 통과시켜, ANC 필터의 상태 (예를 들어, 필터의 이득 및/또는 탭 계수 값들) 를 적응시키는데 사용될 추정된 참조 (x') 를 생성함으로써 수정된다. 통상적인 피드백 설계에서, 에러 신호 (e) 는 추정된 참조 (x') 를 생성하도록 수정된다. ANC 필터는 통상적으로, LMS (least-mean-squares) 알고리즘, 이를 테면 필터링된-참조 ("필터링된-X") LMS 알고리즘, 필터링된-에러 ("필터링된-E") LMS 알고리즘, 필터링된-U LMS 알고리즘, 이들의 변형들 (예를 들어, 서브대역 LMS 알고리즘, 스텝 사이즈 정규화된 LMS 알고리즘 등) 의 구현에 따라 적응된다. 잡음 제거를 개선하기 위해 시간 지연, 이득 증폭, 및 등화 또는 저역통과 필터링과 같은 신호 프로세싱 동작들이 수행될 수도 있다.

ANC 시스템은 주변 잡음을 제거하는데 효과적일 수 있다. 불행히도, ANC 디바이스는 ANC 시스템이 활성화되지 않을 때에도, 사용자가 원하는 외부 사운드들을 듣는 것을 방해할 수 있다. 사용자가 개인용 오디오 디바이스를 착용하고 있을 때, 디바이스의 수동적 감쇠 (passive attenuation) 는 환경 사운드들을 인지하기 어렵게 할 수 있다. 이어컵들 또는 이어버드들을 착용한 사용자는 종종, 디바이스가 외부 사운드를 머플링 (muffling) 하거나 또는 사용자의 외이도를 막기 때문에, ANC 시스템이 꺼져있더라도, 공지들을 듣거나 또는 다른 사람들과 대화하기 위해 디바이스를 제거할 필요가 있다.

예를 들어, 개인용 오디오 디바이스를 음향 투과성이 되게 하여, 사용자가 디바이스를 착용하지 않은 경우에 들을 것과 동일한 것을 듣도록 하는 것이 요망될 수도 있다. 디바이스는 예를 들어, 외부 사운드를 사용자의 외이도 내로 전달하도록 구성될 수도 있다. 디바이스가 환경 사운드를 귀로 전달하는 '주변 모드' 를 제공할 수도 있지만, 음향 투과성 (acoustic transparency) 의 인지가 부적절할 수도 있고, 음향 투과성의 원하는 인지가 충족되지 않기 때문에 사용자는 디바이스를 제거하도록 강제될 수도 있다.

이제 여러 예시적인 구성들이 그 일부를 형성하는 첨부 도면들과 관련하여 설명될 것이다. 본 개시의 하나 이상의 양태들이 구현될 수도 있는 특정 구성들이 하기에서 설명되지만, 다른 구성들이 사용될 수도 있고, 본 개시의 또는 첨부된 청구항들의 범위로부터 일탈함 없이 다양한 수정들이 행해질 수도 있다. 본 명세서에서 설명된 바와 같은 솔루션은 칩셋 상에서 구현될 수도 있다.

음향 투과성을 제공하는 일 양태는 디바이스가 착용되지 않은 것처럼 사용자가 환경 사운드들을 들을 수도 있도록 그 환경 사운드들을 통과시키는 것이다. 도 3A 는 외부 참조 신호 (x(n)) (원하는 공기-전도 환경 사운드) 가 1 차 경로 (P(z)) 에 의해 필터링되어 (예를 들어, 디바이스의 수동적 감쇠) 사용자의 귀에서 1 차 교란 (d(n)) 을 생성하는 시스템의 블록 다이어그램을 도시한다. 수동적 감쇠 때문에, 사용자의 귀에 도달하는 교란은 외부 참조 신호 (x(n)) 처럼 들리지 않는다.

도 3A 의 시스템은, 그 출력이, 2 차 경로 (S(z)) 를 통과한 후, d(n) 과 합산되어 음향 투과성 응답 (acoustically transparent response) 을 제공하도록 설계되는 히어-스루 필터 (hear-through filter) (V(z)) 를 포함한다. 도 3A 에 도시된 바와 같이, 히어-스루 필터 (V(z)) 는 (1 - P(z))/S(z) 의 전달 함수를 갖도록 (예를 들어, 수동적 감쇠 및 라우드스피커 응답의 온라인 모델들에 기초하여) 설계될 수도 있어서, 에러 신호 (e(n)) 는 x(n) 과 유사하다. V(z) 의 계수들은 반복 경사 하강 알고리즘을 통해 계산될 수도 있고, 1 차 경로 (P(z)) 를 모델링하는 필터는 입력들로서 내부 및 외부 마이크로폰 신호들을 갖는 LMS 알고리즘의 구현을 사용하여 계산될 수도 있다. 이 구조는 히어-스루 필터 (V(z)) 를 계산하는데 사용되는 음향 모델들 (S(z) 및 P(z)) 이 실제 시변 응답들 (S(t,z) 및 P(t,z)) 의 충분히 양호한 추정들일 때 적절한 투과성 응답을 생성할 것으로 예상될 수도 있다.

음향 투과성을 제공하는 제 2 양태는, 환경 사운드들을 방해하는 것에 더하여, 수동적 감쇠가 또한 사용자 자신의 음성 ("자기-음성") 에 대한 인지에 영향을 미칠 수도 있다는 것이다. 외이도의 폐색으로 인한 자기-음성의 공기-전도 컴포넌트의 그러한 머플링은 "폐색 효과" 로 칭해진다. 폐색 효과는 (예를 들어, 뼈 및 연조직을 통한 전도로 인한) 고 주파수 사운드의 과소강조 (underemphasis) 및 저 주파수 사운드의 과대강조 (overemphasis) 를 특징으로 하며, 이는 사용자에게 수중에서 말하는 듯한 느낌을 줄 수도 있다.

(예를 들어, 디바이스의 수동적 감쇠로 인해) 공기-전도 사운드가 없는 경우, 에러 신호 (e(n)) 는 주로 사용자의 머리 내에서 전도되는 사용자의 자기-음성이다. 도 3B 는 피드백 ANC 필터 (-C(z)) 가 에러 신호 (e(n)) 를 제거하기 위해 잡음 방지 신호 (y(n)) 를 생성하는데 사용되는 시스템의 블록 다이어그램을 도시한다. 도 3B 에 도시된 바와 같이, d(n) 로부터 (2 차 경로 (S(z)) 를 포함하여) e(n) 로의 이 시스템의 전달 함수는 H(z) = 1/[1 + C(z)S(z)] 로 특징지어질 수도 있다.

도 3C 는 위에서 설명된 2 개의 양태들이 결합된 시스템의 블록 다이어그램을 도시한다. 도 3C 에서, 히어-스루 필터 (V(z)) 는 [1 - P(z)H(z)]/S(z) 의 전달 함수를 갖도록 설계될 수도 있다. 이 시스템에서, V(z) 의 출력은 2 차 경로 (S(z)) 의 추정 (

) 에 의해 필터링된 후 에러 신호 (e(n)) 로부터 감산된다. 이 경로는 피드백 ANC 필터에 의해 제거될 신호로부터 히어-스루 컴포넌트를 제거하기 위해 제공된다. 이 시스템에서, 에러 신호 (e(n)) 는 x(n) 과 유사하고 사용자의 머리 내에서 전도되는 사용자의 자기-음성은 피드백 ANC 필터에 의해 제거될 수 있다. 도 4 는 이 시스템의 다른 블록 다이어그램을 도시하고, 도 5A 는 블록들 (V(z),

및 -C(z)) 이 각각 히어-스루 필터 (HF10), 경로 추정 (path estimate) (PE10), 및 피드백 ANC 필터 (FB10) 에 의해 구현되는 그러한 시스템의 구현의 블록 다이어그램을 도시한다. 도 5A 에서, 외부 마이크로폰 신호 (XM10) 는 히어-스루 필터 (HF10) 에 의해 필터링된다. 히어-스루 필터 (HF10) 의 출력은 경로 추정 (PE10) 에 기초하여 수정되고 내부 마이크로폰 신호 (EM10) 로부터 감산되어 피드백 ANC 필터 (FB10) 에 대한 입력을 생성한다. 피드백 ANC 필터 (FB10) 의 출력은 히어-스루 필터 (HF10) 의 출력과 결합되어 라우드스피커를 구동하는데 사용되는 오디오 출력 신호 (AO10) 를 생성한다.

개인용 오디오 디바이스의 사용자가 ANC 동작 동안 또는 심지어 음향 투과성 모드에 있을 때 재생된 오디오 신호 (예를 들어, 원단 음성 통신 신호 (예를 들어, 전화 통화) 또는 멀티미디어 신호 (예를 들어, 음악 신호, 이는 브로드캐스트를 통해 수신되거나 또는 저장된 파일 또는 다른 비트스트림으로부터 디코딩될 수도 있음)) 를 청취하는 것이 요망될 수도 있다. 도 5B 는 그러한 신호 (RX10) 를 포함하는 도 5A 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다.

도 3C, 도 4, 도 5A, 및/또는 도 5B 에 도시된 바와 같은 시스템은 V(z) 가 기초로 하는 1 차 경로 (P(z)) 및 2 차 경로 (S(z)) 의 추정들이 정확할 때 효과적일 수도 있다. 그러나, 이들 경로들은 시간에 따라 변하며, 이들은 P(t,z) 및 S(t,z) 로 더 잘 표현된다. 예를 들어, 이어버드가 끼워지는 방법에 약간의 변화가 있어도, 2 차 경로 (S(t,z)) 가 크게 변경될 수도 있다. 따라서, 하나의 시나리오에서, 그리고 허용가능하게는 많은 시나리오들에서 최상으로 작동하도록 설계되는 솔루션이라도, 개별 사례에서 원하는 결과를 제공하지 못할 수도 있다.

이어버드가 모든 사람에게 동일하게 맞지는 않으며, 외이도를 밀봉하기 위해 실리콘 팁을 사용하지 않는 이어버드 (폐색되지 않은 이어버드) 의 경우 특히 착용감 (fit) 의 변화가 있다. 그 결과는 상이한 사용자들에 대한 음향 투과성의 일관되지 않거나 또는 부적절한 레벨들일 수도 있다. 동일한 사용자라도, 착용감은 시간에 따라 다를 수도 있다: 예를 들어, 말하는 동안 또는 운동하는 동안. 그러한 경우들에서, 처음에는 착용감이 좋을 수도 있지만, 이동으로 인해 시간에 따라 착용감이 변화하고 일관되지 않은 성능을 초래할 수도 있다.

외부 및 내부 마이크로폰 신호들에 기초하여 히어-스루 필터의 계수들을 적응시키는 것이 요망될 수도 있다. 예를 들어, 적응은 (예를 들어, 착용감의 변화들을 설명하기 위해) 음향 전달 함수들이 변경될 때에도 내부 마이크로폰 신호를 외부 마이크로폰 신호와 동일하게 하도록 설계될 수도 있다.

도 6 은 히어-스루 필터가 위에서 설명된 바와 같은 고정 부분 (V(z)) 그리고 또한 적응 부분을 갖는 도 4 의 시스템의 구현의 블록 다이어그램을 도시한다. 적응 부분은 참조 신호 (x(n)) 및 에러 신호 (e(n)) 에 기초하여 상태가 업데이트되는 적응 필터 (W(z)) 를 포함한다.

적응 부분은 적응 블록, 및 적응 블록에 신호 (r(n)) 를 제공하는 프리-필터 (

) 를 포함한다. 프리-필터는 적응 필터에 대한 입력들이 시간-정렬되는 것을 보장하고, 신호 (r(n)) 는 W(z) 의 부재 시에 (그리고

을 가정하여) 히어-스루 컴포넌트를 나타낸다.

적응 블록은 r(n) 을 필터링하여 결과 (y(n)) 를 생성하고, W(z) 의 상태는 결과 (y(n)) 와 에러 신호 (e(n)) 사이의 차이에 기초하여 업데이트된다. 이 예에서, W(z) 의 상태는 규칙 w(n+1) = w(n) - μr(n)[e(n) - y(n)] 에 따라 업데이트되고, 여기서 μ 는 스텝 팩터 (step factor) 이다. W(z) 의 업데이트된 상태는 x(n) 의 프로세싱 경로에서 (즉, 고정 필터 (V(z)) 의 상류의, 또는 V(z) 의 출력에서의) 필터의 상태를 업데이트하는데 사용된다.

적응 필터 (W(z)) 의 유니티 (unity) 로의 수렴은, 예를 들어, 착용감 변화가 없고 정적 히어-스루 필터 (V(z)) 가 완벽한 음향 투과성을 달성한다는 것을 의미할 것이다. 도 6 에 도시된 바와 같은 솔루션은

가 S(t,z) 와 동일하지 않도록 2 차 경로 (S(t,z)) 가 변경될 때 특히 효과적일 수도 있으며, 그러한 시스템은 착용감 변화들로 인해 음향 전달 함수들을 변경하는 것에 직면하여 음향 투과성의 보다 일관된 레벨들을 제공할 수도 있다.

도 7A 는 도 5A 에 도시된 바와 같은 피처들 및 특정 구성에 따른 장치 (A100) 를 포함하는 도 6 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다. 장치 (A100) 는 도 5A 를 참조하여 설명된 경로 추정 (PE10) 및 피드백 ANC 필터 (FB10) 를 포함한다. 장치 (A100) 는 또한, 도 5A 의 히어-스루 필터 (HF10) 의 구현인 히어-스루 필터 (HF20) 를 포함한다. 도 7A 에서, 히어-스루 필터 (HF20) 는 고정 부분 (HF24) 및 적응 부분 (HF22) 을 갖는다. 고정 부분 (HF24) 은 고정 필터 (XF10) (예를 들어, 위에서 설명된 바와 같은 히어-스루 필터 (HF10) 의 구현) 를 포함한다. 적응 부분 (HF22) 은 적응 필터 (AF10) 에 의해 수행된 적응에 따라, 외부 마이크로폰 신호 (XM10) 및 내부 마이크로폰 신호 (EM10) 에 기초하여 상태가 업데이트되는 업데이트 필터 (UF10) 를 포함한다.

적응 부분 (HF22) 은 또한 적응 부분의 부재 시에 (그리고 경로 추정 (PE10) 의 전달 함수가 2 차 경로 (S(z)) 의 전달 함수와 동일함을 가정하여) 히어-스루 컴포넌트를 나타내는 신호를 적응 필터 (AF10) 에 제공하는 프리-필터 (PF10) 를 포함한다. 도 7B 는 도 7A 의 프리-필터 (PF10) 의 특정 구현에 대응하는 프리-필터 (PF20) 의 예의 블록 다이어그램을 도시한다. 도 7B 에서, 프리-필터 (PF20) 는 고정 필터 (XF10A) (이는 고정 필터 (XF10) 의 인스턴스임) 및 경로 추정 (PE10A) (이는 경로 추정 (PE10) 의 인스턴스임) 의 캐스케이드를 사용한다.

도 7A 로 돌아가면, 적응 필터 (AF10) 는 프리-필터 (PF10) 의 출력을 필터링하여 필터링된 결과를 생성하고, 필터링된 결과와 내부 마이크로폰 신호 (EM10) 사이의 차이에 기초하여 (예를 들어, 필터 (W(z)) 를 참조하여 위에서 설명된 바와 같은 규칙에 따라) 업데이트된다. 그 다음, 적응 필터 (AF10) 의 업데이트된 상태는 업데이트 필터 (UF10) 의 상태를 업데이트하는데 사용된다. 다른 구현에서, 업데이트 필터 (UF10) 는 경로 추정 (PE10) 으로의 분기 이전에 고정 필터 (XF10) 의 출력에 배치된다.

음향 전달 함수들이 시변하는 경우 (예를 들어, 이어버드의 착용감의 변화가 발생하는 경우) 에 대해, 히어-스루 필터 (HF20) 의 응답은 또한 시변하는 것으로 예상될 수도 있다. 히어-스루 응답과 직렬로 보조 필터 (예를 들어, 업데이트 필터 (UF10) 를 제공함으로써, 필터들 (XF10 및 UF10) 의 케스케이드의 출력은 음향 전달 함수들의 변화들을 추적할 수 있다.

업데이트 필터 (UF10) 의 구조에 대한 특별한 요건은 없다. 예를 들어, 업데이트 필터 (UF10) 는 유한 임펄스 응답 (FIR) 또는 무한 임펄스 응답 (IIR) 을 가질 수도 있다. 적응 필터 (AF10) 는 배경 프로세스에서 및/또는 적응 필터 (AF10) 계수들이 업데이트되는 레이트보다 낮은 레이트로 업데이트 필터 (UF10) 의 계수들을 적응시키도록 구성될 수도 있다. 적응 필터 (AF10) 는 적응 필터 (AF10) 의 현재 상태를 업데이트 필터 (UF10) 에 복사함으로써 업데이트 필터 (UF10) 의 계수 값들을 업데이트하도록 구성될 수도 있다.

업데이트 필터 (UF10) 의 상태 (예를 들어, 그의 탭 계수들의 값들) 는 주기적으로: 예를 들어, 시간 간격 (예를 들어, 1 초, 0.5 초, 1/4 초, 또는 1/10 초) 에 따라 및/또는 이벤트 시에 업데이트될 수도 있다. 적응 필터 (AF10) 는 예를 들어, 수렴 기준 및/또는 (IIR 구현의 경우) 안정성 기준에 도달한 후에만 업데이트된 계수 값들을 (신호 경로에 대한 적용을 위해) 업데이트 필터 (UF10) 에 복사하도록 구성될 수도 있다.

도 8a 는 태스크들 (T110, T120, 및 T130) 을 포함하는 오디오 신호 프로세싱의 방법 (M100) 의 플로우 다이어그램을 도시한다. 태스크 (T110) 는 (예를 들어, 히어-스루 필터 (HF20) 를 참조하여 위에서 설명된 바와 같이) 외부 마이크로폰 신호에 기초하는 히어-스루 컴포넌트를 생성한다. 태스크 (T120) 는 (예를 들어, 피드백 ANC 필터 (FB10) 를 참조하여 위에서 설명된 바와 같이) 내부 마이크로폰 신호에 기초하여 피드백 컴포넌트를 생성한다. 태스크 (T130) 는 (예를 들어, 태스크들 (T110 및 T120) 에 의해 생성된 신호들을 혼합함으로써) 히어-스루 컴포넌트 및 피드백 컴포넌트를 포함하는 오디오 출력 신호를 생성한다. 이 방법에서, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는, 오디오 출력 신호와 내부 마이크로폰 신호 사이의 관계의 변화 (예를 들어, 오디오 출력 신호에 기초하여 음향 신호를 생성하는 라우드스피커와 음향 신호에 응답하여 내부 마이크로폰 신호를 생성하도록 배열된 내부 마이크로폰 사이의 음향 커플링의 변화, 여기서 상기 음향 커플링은 예를 들어, 착용감 변화들의 결과로서 변할 수도 있음) 에 응답하여 변한다.

디바이스 (예를 들어, 히어러블) 는 오디오 데이터를 저장하도록 구성된 메모리, 및 메모리로부터 오디오 데이터를 수신하고 방법 (M100) 을 수행하도록 구성된 프로세서를 포함하도록 구현될 수도 있다. 장치는 (예를 들어, 하드웨어 상에서 실행되는 소프트웨어로서) 태스크들 (T110, T120, 및 T130) 의 각각을 수행하기 위한 수단을 포함하도록 구현될 수도 있다. 컴퓨터 판독가능 저장 매체는, 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서로 하여금 방법 (M100) 을 수행하게 하는 코드를 포함하도록 구현될 수도 있다.

사용자가 최적이 아닌 음향 투과성의 느낌을 가질 수도 있는 다른 이유는 모든 사람들이 동일하게 듣지 않기 때문이다. 각 개인의 청력 프로파일은 그 자신의 고유한 결함들을 가지며, 이는 귀마다 다를 수도 있다. 하나의 시나리오에서, 그리고 허용가능하게는 많은 시나리오들에서 최상으로 작동하는 디폴트에 의한 설계는, 사용자 자신의 선천적 청력 프로파일에 적합하지 않을 수도 있다.

개별화된 투과성 모드 설계들을 지원하는 것이 요망될 수도 있다. 예를 들어, 개인 자신의 청력 프로파일에 맞춰진 음향 전달 함수들 및/또는 시스템 모델들을 제공하는 것이 요망될 수도 있다.

도 9 는 히어-스루 필터 경로에 보상 필터 ("셰이핑 필터" 로도 칭함) 를 포함하는 도 4 의 시스템의 구현의 블록 다이어그램을 도시한다. 보상 필터는 개인의 고유한 청력 결함들을 보상하도록 선택되는 전달 함수 (

) 를 갖는다. 보상 필터는 도 9 에 도시된 바와 같은 프리-필터로서 구현될 수도 있거나, 또는 (2 차 경로 추정 (

) 으로의 분기 이전에) 히어-스루 필터 (V(z)) 의 출력에 적용될 수도 있다. 그러한 시스템은 불완전한 청력 프로파일을 갖는 사용자에게 음향 투과성의 인지를 제공하는데 사용될 수도 있다.

보상 필터의 응답은, 개인의 청력 결함 프로파일 (

) 을 설명하는 곡선을 기록하는 사용자의 청력도에 기초할 수도 있다. 사용자의 청력도는 각각의 귀에 대한 별도의 결과들을 포함할 수도 있다. 추가적으로, 청력도는 공기 전도를 통해 및/또는 골 전도를 통해 사용자가 (다양한 주파수들에서) 사운드를 인지하는 방법을 표시할 수도 있다. 따라서, 완전한 사용자 청력도는 공기에서 전도된 사운드의 다양한 주파수들의 그리고 뼈에서 전도된 사운드의 다양한 주파수들의 오른쪽 귀에서의 사용자 인지 및 공기에서 전도된 사운드의 다양한 주파수들의 그리고 뼈에서 전도된 사운드의 다양한 주파수들의 왼쪽 귀에서의 사용자 인지를 표시할 수도 있다. 골 전도 테스팅은 유양골의 진동을 통해 사운드를 전달하기 위하여 귀 뒤에 배치되는 디바이스를 사용하여 수행될 수도 있다.

도 10 은 사용자의 왼쪽 귀에 대한 청력도의 예를 도시한다. 이 예는 2kHz 에서 현저한 결함을 갖는, 골-전도 사운드들에 대한 30 내지 45 dB 의 손실, 및 4 kHz 에서 현저한 결함을 갖는, 50 내지 80 dB 의 총 (골-전도 및 공기-전도를 포함함) 청력 손실을 도시한다.

특정 구현에서, 총 청력 손실 청력도 곡선은, 사용자의 청력이 저하되는 대역들에서 더 높은 레벨들을 제공함으로써 응답을 보상하기 위하여 보상 필터에 대한 전달 함수 (

) 를 획득하기 위해 반전될 수도 있다. 다른 구현들에서, 공기-전도 청력 손실 청력도 곡선은 보상 필터에 대한 전달 함수 (

) 를 획득하기 위해 반전될 수도 있다. 예를 들어, 공기-전도 청력도 곡선은 테스팅을 통해 결정될 수 있거나, 또는 골-전도 청력도 곡선은 총 청력 손실 청력도 곡선으로부터 감산되어 공기-전도 청력도 곡선을 결정할 수 있다. 그러한 시스템은 적합한 청력도가 이용가능하다고 가정하여, 불완전한 청력을 갖는 개인들에 대해서도 지각적으로 음향 투과성 응답을 지원할 수도 있다.

일 예에서, (예를 들어, 개인용 오디오 디바이스에 링크되는 스마트폰 또는 태블릿 상에서 실행되는) 애플리케이션은 예를 들어, 수동 데이터 입력을 통해 또는 다른 디바이스에 질의함으로써, 사용자의 청력도를 획득하는데 사용된다. 다른 예에서, 애플리케이션은 사용자의 청력도를 측정하는데 사용된다. 사용자의 청력도가 획득 또는 생성 (예를 들어, 측정) 된 후, 사용자의 청력도 (또는 반전된 청력도) 를 설명하는 데이터는 (예를 들어, 개인용 오디오 디바이스 또는 다른 디바이스의) 메모리에 저장되고 보상 필터를 구성하는데 사용될 수도 있다. 예를 들어, 사용자의 청력도는 제 1 디바이스 (예를 들어, 컴퓨터, 태블릿, 또는 스마트폰) 에서 획득될 수도 있고, 사용자의 청력도를 설명하는 데이터는 보상 필터를 구성하기 위해 개인용 오디오 디바이스에 (예를 들어, 유선 또는 무선 데이터 링크, 이를 테면 Bluetooth® 데이터 링크를 통해) 업로드될 수도 있다 (Bluetooth 는 USA, 워싱턴, 컬크랜드 소재의 BLUETOOTH SIG, INC. 의 등록 상표임). 예를 들어, 애플리케이션은 (만약 있다면) 사운드가 어느 귀에서 인지되는지를 표시하기 위해 터치스크린의 지정된 부분을 탭하도록 사용자에게 지시하면서, 사운드가 왼쪽 귀 또는 오른쪽 귀에서 특정 강도 및 주파수로 플레이되게 하는 일련의 테스트들을 수행할 수도 있다.

도 11A 는 도 5A 에 도시된 바와 같은 피처들 및 특정 구성에 따른 장치 (A200) 를 포함하는 도 9 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다. 도 5A 에 도시된 피처들에 더하여, 장치 (A200) 는 개인의 고유한 청력 결함들 (예를 들어, 본 명세서에서 설명된 바와 같은 사용자의 청력도의 역) 을 보상하도록 선택되는 전달 함수를 갖는 보상 필터 (CF10) 를 포함한다. 보상 필터 (CF10) 는 도 11A 에 도시된 바와 같은 프리-필터로서 구현될 수도 있거나, 또는 (경로 추정 (PE10) 으로의 분기 이전에) 히어-스루 필터 (HF10) 의 출력에 적용될 수도 있다.

장치 (A200) 는 또한, (예를 들어, 도 5B 에 도시된 바와 같이) 재생된 오디오 신호 (RX10) 을 수신하도록 구성될 수도 있다. 도 11B 는, 보상이 또한 신호 (RX10) 에 적용되도록, 재생된 오디오 신호 (RX10) 가 보상 필터 (CF10) 의 상류의 히어-스루 경로에 삽입되는 장치 (A200) 의 구현에 대응하는 장치 (A250) 의 블록 다이어그램을 도시한다.

도 12 는 도 6 에 도시된 바와 같은 적응 필터 (W(z)) (및 연관된 프리-필터) 를 또한 포함하는 도 9 에 도시된 바와 같은 시스템의 구현의 블록 다이어그램을 도시한다. 도 13 은 장치들 (A100 및 A200) 의 양태들을 포함하는 장치 (A300) 의 블록 다이어그램을 도시한다.

도 8b 는 태스크들 (T210, T220, 및 T230) 을 포함하는 특정 구성에 따른 방법 (M200) 의 플로우차트를 도시한다. 태스크 (T210) 는 (예를 들어, 히어-스루 필터 (HF10) 를 참조하여 위에서 설명된 바와 같이) 외부 마이크로폰 신호에 그리고 (예를 들어, 보상 필터 (CF10) 를 참조하여 위에서 설명된 바와 같이) 식별된 사용자와 연관된 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성한다. 태스크 (T220) 는 (예를 들어, 피드백 ANC 필터 (FB10) 를 참조하여 위에서 설명된 바와 같이) 내부 마이크로폰 신호에 기초하여 피드백 컴포넌트를 생성한다. 태스크 (T230) 는 (예를 들어, 태스크들 (T210 및 T220) 에 의해 생성된 신호들을 혼합함으로써) 히어-스루 컴포넌트 및 피드백 컴포넌트를 포함하는 오디오 출력 신호를 생성한다. 방법 (M200) 은 또한 방법 (M100) 의 구현으로서 구현될 수도 있어서, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계가 오디오 출력 신호와 내부 마이크로폰 신호 사이의 관계의 변화 (예를 들어, 오디오 출력 신호에 기초하여 음향 신호를 생성하는 라우드스피커와 음향 신호에 응답하여 내부 마이크로폰 신호를 생성하도록 배열된 내부 마이크로폰 사이의 음향 커플링의 변화, 여기서 상기 음향 커플링은 예를 들어, 착용감 변화들의 결과로서 변할 수도 있음) 에 응답하여 변한다.

디바이스 (예를 들어, 히어러블) 는 오디오 데이터를 저장하도록 구성된 메모리, 및 메모리로부터 오디오 데이터를 수신하고 방법 (M200) 을 수행하도록 구성된 프로세서를 포함하도록 구현될 수도 있다. 장치는 (예를 들어, 하드웨어 상에서 실행되는 소프트웨어로서) 태스크들 (T210, T220, 및 T230) 의 각각을 수행하기 위한 수단을 포함하도록 구현될 수도 있다. 컴퓨터 판독가능 저장 매체는, 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서로 하여금 방법 (M200) 을 수행하게 하는 코드를 포함하도록 구현될 수도 있다.

개인용 오디오 디바이스가 1 초과의 사용자에 대해 그러한 개별화된 청력 보상을 지원하는 것이 요망될 수도 있다. 예를 들어, 디바이스는 등록된 사용자들의 세트의 각각에 대해, 청력 보상 데이터, 이를 테면 히어-스루 보상 필터 상태들 (예를 들어, 필터 계수 값들) 을 기록 및 저장하도록 구성될 수도 있다. 사용 시에 또는 사용 동안, 디바이스는 예를 들어, 사용자의 인증에 기초하여 현재 사용자에 대응하는 청력 보상 데이터 (예를 들어, 히어-스루 보상 필터 상태) 를 선택할 수도 있다. 예시하기 위해, 사용자는 생체 인증 기법들, 이를 테면 음성 인증, 지문 인식, 홍채 인식 및/또는 얼굴 인식을 사용하여 인증될 수도 있다. 사용자 인증에 기초한 청력 보상 데이터의 선택은 예를 들어, 도 9, 도 11A, 도 11B, 도 12, 또는 도 13 에 도시된 시스템들 중 임의의 것에 통합될 수도 있다.

도 14 는 사용자를 식별 또는 인증하는 생체 데이터에 기초하여 청력 보상 데이터 (예를 들어, 히어-스루 보상 필터 상태) 를 선택하는 동작에 대한 플로우 다이어그램을 도시한다. 식별 동작 (1402) 은 (예를 들어, 외부 마이크로폰 신호 (XM10), 내부 마이크로폰 신호 (EM10), 또는 양자의 조합에 기초하여) 사용자의 음성의 샘플과 같은 생체 데이터 (1404) 를 포함하는 신호 또는 요청을 수신하고, 사용자를 n 개의 등록된 사용자들의 세트 중에서 사용자 i 로서 식별한다. 식별 i 의 표시는, 동작 (1406) 에서, n 개의 저장된 청력 보상 데이터의 세트 중에서 대응하는 청력 보상 데이터 (1408) 를 선택하는데 사용된다. 도 14 에서, 저장된 청력 보상 데이터는 각각의 등록된 사용자에 대한 필터 상태를 포함하고, 선택된 청력 보상 데이터 (1408) 는 보상 필터 (예를 들어, 보상 필터 (CF10)) 에 복사된다. 일부 구현들에서, 저장된 청력 보상 데이터가 특정 사용자와 연관된 청력 보상 데이터를 포함하지 않으면, 프로세서는 명령들을 실행하여 특정 사용자에 대한 청력 보상 데이터를 청력 보상 데이터의 세트에 추가할 수도 있다. 예를 들어, 프로세서는 (이전에 생성된 파일을 선택하거나 또는 사용자의 청력을 테스팅함으로써) 청력도를 제공하도록 특정 사용자를 프롬프트할 수도 있고, 프롬프트에 대한 사용자의 응답에 기초하여 특정 사용자에 대한 청력 보상 데이터를 생성할 수도 있다.

일 예로서, 생체 인증은 등록된 사용자들에 대한 음성 신호의 분류로서 구현될 수도 있는 음성 인증 동작을 포함할 수도 있다. 일 예에서, 음성 신호는 보상 필터 선택 동작을 개시하기 위해 사용자가 말할 수도 있는 특정된 키워드이다. 그러한 동작은 예를 들어 딥 뉴럴 네트워크 (deep neural network; DNN) 를 사용하여 음성 신호를 분류하도록 구성될 수도 있다. 다른 예에서, 음성 인증 동작은 말하는 단어들에 상관없이 사용자의 자기-음성을 분류하도록 구성된다.

음성 인증 동작의 일 예는 가우시안 혼합 모델들 (GMM들) 을 사용한다. GMM 은 가설 화자가 소정의 발언을 말한 로그 우도비를 평가하는 통계적 방법이다. 도 15 에 도시된 바와 같이, 동작은 사용자의 스피치를 수신하고 피처 벡터를 생성하는 프론트-엔드 프로세싱 블록을 포함할 수도 있다. n 개의 등록된 사용자들의 각각에 대해, 대응하는 GMM 은 피처 벡터가 대응하는 사용자의 스피치를 나타낼 가능성을 표시하고, 음성은 가장 높은 가능성을 표시하는 GMM 에 따라 분류된다.

음성 인증 동작은 딥 뉴럴 네트워크 (DNN) 를 사용하여 개별화된 청력 결함 보상 필터를 인에이블하도록 구성될 수도 있다. DNN (예를 들어, 완전히 연결된 뉴럴 네트워크) 은 다수 (N 개) 의 등록된 화자들의 각각을 모델링하도록 트레이닝될 수도 있고, DNN 의 출력 계층은 N 개의 화자들 중 어느 화자가 예측되는지를 표시하는 1 x N 원-핫 벡터일 수도 있다. 일 예에서, DNN 은 피처 벡터들의 어레이들에 대해 트레이닝되고, 여기서 각각의 어레이는 스피치를 일련의 프레임들로 형성하고 각각의 프레임에 대한 MFCC들 (mel-frequency cepstral coefficients) 의 K-길이 벡터를 계산함으로써 등록된 화자들 중 하나의 스피치로부터 계산된다. 그 다음, 음성 인증 동작은 분류될 음성 신호로부터 실시간으로 K-길이 MFCC 벡터들을 계산하고 이들 벡터들을 트레이닝된 DNN 에 대한 입력으로서 사용함으로써 수행된다.

다른 예에서, LSTM (long short-term memory) 네트워크를 사용하여 텍스트 독립적 음성 인증 동작이 수행된다. LSTM 네트워크들은 시계열적으로 중요한 이벤트들 사이에 발생할 수도 있는 알려지지 않은 지속기간의 래그들에 상대적으로 둔감하다. LSTM 네트워크들은 시계열 데이터를 분류하는데 매우 적합하며, 짧은 발언들에 특히 효과적일 수도 있다. 그러한 동작은 예를 들어, 등록된 사용자들의 세트에 따라, LSTM 네트워크를 사용하여, 분류되는 시간 화자 정보를 직접 캡처하기 위해 MFCC들을 사용하도록 구성될 수도 있다.

추가적으로 또는 대안적으로, 디바이스는 사용자의 얼굴의 인식에 기초하여 현재 사용자에 대응하는 청력 보상 데이터 (예를 들어, 히어-스루 보상 필터 상태) 를 선택할 수도 있다. 인식 동작은 예를 들어, (예를 들어, 스마트폰, 태블릿, 랩탑 또는 다른 대인용 컴퓨터, 스마트 안경 등과 같은) 카메라를 갖고 개인용 오디오 디바이스로 (예를 들어, Bluetooth® 데이터 링크를 통해) 인식된 사용자 i 의 표시를 전송하도록 무선으로 링크되는 다른 디바이스에 의해 수행될 수도 있다 추가 예에서, 인식 동작은 사용자의 얼굴의 이미지를 캡처하도록 배열된 카메라를 포함하고 또한 개인용 오디오 디바이스를 포함하거나 그에 링크되는 헤드 장착 디바이스 ("HMD", 이를 테면 스마트 안경) 에 의해 수행된다.

도 16A 는 사용자의 얼굴의 인식에 기초하여 청력 보상 데이터 (도 16A 의 예에서 히어-스루 보상 필터 상태) 를 선택하는 동작에 대한 플로우 다이어그램을 도시한다. 얼굴 인식 동작은 (예를 들어, 위에서 설명된 바와 같은 카메라로부터) 사용자의 얼굴을 포함하는 이미지 신호를 수신하고 얼굴을 n 개의 등록된 사용자들의 세트 중에서 사용자 i 로서 인식한다. 식별 i 의 표시는 n 개의 저장된 필터 상태들의 세트 중에서 대응하는 필터 상태를 선택하는데 사용되고, 선택된 필터 상태는 보상 필터 (예를 들어, 보상 필터 (CF10)) 에 복사된다.

얼굴 인식 동작은 다양한 접근법들 중 임의의 것을 사용하여 수행될 수도 있다. 일 예에서, 얼굴 인식 동작은 알려진 이미지들의 세트들과의 비교를 용이하게 하도록 얼굴 이미지를 고차원 공간으로부터 저차원 공간으로 맵핑하기 위해 주요 컴포넌트 분석을 사용한다. 그러한 방법은 예를 들어 고유얼굴 알고리즘 (eigenface algorithm) 을 사용할 수도 있다.

얼굴 인식 동작은 문제의 차원성 (dimensionality) 을 감소시키기 위해 컨볼루션 및 풀링 계층들을 사용하는 DNN 기반 방법일 수도 있다. 그러한 동작은 딥 러닝을 통한 피처 추출을 수행한 다음, 추출된 피처들의 분류를 수행하도록 구성될 수도 있다. 사용될 수도 있는 알고리즘들의 예들은 FaceNet 및 DeepFace 를 포함한다.

얼굴 인식 동작은 등록된 사용자들에 대한 사용자의 얼굴의 분류로서 구현될 수도 있다. 도 16B 는 트레이닝된 DNN 이 분류를 수행하기 위해 사용되는 그러한 동작의 예를 도시한다. 이미지 신호는 프리-프로세싱되어 얼굴을 추출한다. 추출된 얼굴은 분류될 피처 벡터로서 사용될 수도 있거나, 또는 피처 벡터를 생성하기 위해 동작이 수행될 수도 있다. 피처 벡터는 n 개의 등록된 사용자들의 세트 중에서 대응하는 하나를 표시하기 위해 벡터를 분류하는 트레이닝된 DNN 에 입력된다.

DNN 기반 얼굴 인식 동작의 일 예에서, 얼굴 검출기는 얼굴을 로컬화하는데 사용되고, 이는 그 다음 이미지 공간에서 정규화된 표준 좌표들에 정렬된다. 정규화된 이미지는 얼굴 인식 모듈에 입력되고, 이는 트레이닝된 DNN 을 사용하여 이미지로부터 피처 벡터를 추출한다. 그 다음, 추출된 피처 벡터는 등록된 사용자들의 세트 중에서 하나를 식별하기 위해 (예를 들어, 지원 벡터 머신을 사용하여) 분류된다.

특정 사용 사례에서, 개인용 오디오 디바이스가, 사용자가 운전할 때 음향 투과성 모드로 자동으로 전환하는 것이 요망될 수도 있다. 차량 (예를 들어, 자동차) 은 운전자의 이미지를 캡처하도록 배열된 카메라 및 캡처된 이미지에 대해 얼굴 인식 동작을 실행하고 대응하는 개별화된 청력 보상 데이터의 선택을 위해 (예를 들어, 사용자에 의한 어떠한 입력도 없이) 개인용 오디오 디바이스에 사용자 i 의 식별의 표시를 송신하도록 구성된 프로세서를 포함할 수도 있다. 개인용 오디오 디바이스는 또한, 사용자 i 의 식별의 표시 및/또는 차량의 프로세서로부터의 다른 신호를 수신 시 음향 투과성 모드에 자동으로 참여하도록 구성될 수도 있다. 추가 예에서, 차량의 프로세서는 현재 사용자에 대응하는 히어-스루 보상 필터 상태를 저장하고 얼굴 인식 동작의 완료 시 개인용 오디오 디바이스에 업로드한다.

추가 예에서, 개인용 오디오 디바이스는 (예를 들어, 시선 검출을 위해) 사용자의 눈의 이미지를 캡처하도록 배열된 카메라를 포함하는 헤드 장착 디바이스 (HMD; 예를 들어, 스마트 안경) 에 설치되거나 또는 그에 링크된다. 이 경우에, HMD 는, 개인용 오디오 디바이스에 의해 수신되고 대응하는 개별화된 히어-스루 보상 필터 상태를 선택하는데 사용되는, 사용자 i 의 식별의 표시를 생성하기 위해 홍채 인식 동작을 수행하도록 구성된다.

본 명세서에서 설명된 바와 같은 개인용 오디오 디바이스는 또한, (예를 들어, 음향 투과성보다는, 잡음 제거가 요망되는 시간들에 대해) ANC 동작을 수행하도록 구성된 ANC 시스템을 포함할 수도 있다. 도 17 은 전달 함수 (C(z)) 가 정규화된 필터링된-X LMS (nFxLMS) 알고리즘에 따라 적응되는 피드포워드 ANC 필터를 포함하는 ANC 시스템의 예를 도시한다. 도 18 은 전달 함수 (C(z)) 가 고정되고 (예를 들어, 롱-탭 유한-임펄스-응답 (FIR) 또는 무한-임펄스-응답 (IIR) 필터로서 구현됨) 정규화된 필터링된-X LMS (nFxLMS) 알고리즘에 따라 적응되는 이득 (k) 을 포함하는 ANC 필터를 포함하는 ANC 시스템의 예를 도시한다. 일 예에서, 이득 (k) 은 식

에 따라 적응되며, 여기서 μ 는 스텝 팩터를 나타내고 γ 는 누설 팩터를 나타낸다. 도 18 및 도 19 에 도시된 바와 같이, (예를 들어, 저 주파수 잡음 감소에 대한 적응에 집중하기 위해) 외부 마이크로폰 신호에 대한 및/또는 내부 마이크로폰 신호에 대한 대역통과 필터를 포함하는 것이 요망될 수도 있다.

피드백 경로 상에, 고정되거나 또는 적응적일 수도 있는 필터를 포함하도록 ANC 시스템을 구현하는 것이 요망될 수도 있다. 그러한 피드백 필터는 피드포워드 경로 상의 필터에 더하여 또는 그 대신에 제공될 수도 있다. 도 19 는 피드백 경로 상에 고정 필터 (

) 를 또한 포함하는 도 18 의 ANC 시스템의 예를 도시한다.

도 18 및 도 19 에 도시된 바와 같이, (예를 들어, 낮은 오디오 주파수들에서의 제거를 강조하기 위해) 적응 알고리즘에 대한 신호 입력들을 저역통과 필터링하는 것이 요망될 수도 있다. 상이한 시간들에서 (예를 들어, 그 시간에 제거를 최적화하는 것이 요망되는 특정 오디오 주파수 범위에 따라) 상이한 고정 C(z) 및/또는 상이한 H(z) 사이에서 스위칭하기 위해 도 18 또는 도 19 에 도시된 바와 같은 시스템을 구현하는 것이 또한 가능하다.

(예를 들어, 고 진폭, 저 주파수 음향 신호들을 감쇠시키기 위해) 신호를 고역통과 필터링하도록 ANC 필터를 구성하는 것이 바람직할 수도 있다. 추가적으로 또는 대안적으로 (예를 들어, ANC 필터가 고 주파수들에서 주파수를 갖는 음향 신호들을 감소시키도록) 신호를 저역통과 필터링하도록 ANC 필터를 구성하는 것이 바람직할 수도 있다. 잡음 방지 신호는 음향 잡음이 마이크로폰으로부터 액추에이터 (즉, 라우드스피커) 로 이동하는 시간까지 이용가능해야 하기 때문에, ANC 필터에 의해 야기된 프로세싱 지연은 매우 짧은 시간 (통상적으로 대략 30 내지 60 마이크로초) 을 초과하지 않아야 한다. 도 17 에 도시된 예에서, ANC 필터는 제 1 클록 도메인에서 (예를 들어, 예를 들어, 8 MHz 의 클록 레이트로 하드웨어에서) 실행되고, 적응은 더 낮은 주파수에서 제 2 클록 도메인에서 (예를 들어, 예를 들면, 16 kHz 의 레이트로 클록킹된 디지털 신호 프로세서 (DSP) 상의 소프트웨어에서) 실행된다. 도 18 및 도 19 에 도시된 예들은 마찬가지로 구현될 수도 있고, 도 19 에 도시된 예에서, 피드백 필터는 또한 더 높은 레이트 클록 도메인에서 실행될 수도 있다.

도 1B 에 도시된 바와 같이, 사용자의 각각의 귀에 착용된 히어러블들 (D10L, D10R) 은 오디오 및/또는 제어 신호들을 서로 무선으로 (예를 들어, Bluetooth® 데이터 링크를 통해 또는 NFMI (near-field magnetic induction) 에 의해) 통신하도록 구성될 수도 있다. 일부 경우들에서, 히어러블에는 또한, 외이도 내부에 위치되는 내부 마이크로폰이 제공될 수도 있다. 예를 들어, 그러한 마이크로폰은 능동 잡음 제거 (ANC) 를 위한 에러 신호 (예를 들어, 피드백 신호) 를 획득하는데 사용될 수도 있다. 히어러블은, 예를 들어, 볼륨 레벨 또는 다른 제어 커맨드를 전송할 수도 있는 웨어러블 디바이스 또는 "웨어러블" 과 무선으로 통신하도록 구성될 수도 있다. 웨어러블들의 예들은 (히어러블들에 더하여) 시계들, 헤드 장착 디스플레이들, 헤드셋들, 피트니스 추적기들, 및 펜던트들을 포함한다.

사용자의 각각의 귀에 착용된 히어러블들은 오디오 및/또는 제어 신호들을 서로 무선으로 통신하도록 구성될 수도 있다. 예를 들어, TWS (True Wireless Stereo) 프로토콜은, 스테레오 Bluetooth 스트림이 하나의 채널을 재생하고 다른 채널을 슬레이브 디바이스 (예를 들어, 히어러블들의 쌍 중 다른 하나) 에 송신하는 마스터 디바이스 (예를 들어, 히어러블들의 쌍 중 하나) 에 제공될 수 있게 한다. 히어러블들의 쌍이 그러한 방식으로 링크될 때에도, ANC 동작과 같은 많은 오디오 프로세싱 동작들은 TWS 그룹 내의 각각의 디바이스 상에서 독립적으로 발생할 수도 있다.

각각의 디바이스가 그의 ANC 동작을 사용자의 다른 귀에 있는 디바이스와 독립적으로 수정하는 상황은 불균형한 청취 경험을 초래할 수도 있다. 무선 히어러블들에 대해, 2 개의 히어러블들이 그들의 상태들을 협상하고 ANC-관련 정보를 공유하는 메커니즘은 사용자에 대해 보다 균형잡힌 ANC 경험을 제공하는 것을 도울 수 있다. 본 명세서에서 설명된 바와 같은 디바이스, 방법, 및/또는 장치 (예를 들어, 히어러블들의 쌍 중 하나) 는 또한, 균일한 사용자 경험을 제공하기 위해 파라미터 값 또는 다른 표시를 다른 디바이스 (히어러블들의 쌍 중 다른 하나) 와 교환하도록 구성될 수도 있다. 일 예에서, 디바이스가 하울 검출 (howl detection) 의 다른 디바이스에 의한 표시에 응답하여 ANC 경로를 감쇠 또는 디스에이블하는 것이 요망될 수도 있다. 다른 예에서, 히어러블들의 쌍이 (예를 들어, 능동 (주변) 잡음 제거 모드로부터) 투과성 모드로의 동기화된 진입을 수행하는 것이 요망될 수도 있다.

인간의 귀는 일반적으로 위상에 둔감하다. 그러나, 사용자의 왼쪽 귀 및 오른쪽 귀에서 인지되는 사운드 간의 위상 차이는 공간 로케이터빌리티 (spatial locatability) 에 중요할 수 있다. 따라서, (예를 들어, 그러한 위상 차이들을 보존하기 위하여) 사용자의 왼쪽 귀 및 오른쪽 귀에서의 히어-스루 경로들의 위상 응답들이 유사한 것이 요망될 수도 있다. 추가 예에서, 히어-스루 필터 (HF20) 의 적응 동안 생성된 파라미터 값들 (예를 들어, 업데이트된 계수 값들) 은 사용자의 왼쪽 귀 및 오른쪽 귀에 착용된 개인용 오디오 디바이스들 (예를 들어. 이어버드) 사이에 공유된다. 그러한 공유된 파라미터들은 왼쪽 귀 및 오른쪽 귀에서의 적응 동작들이 유사한 위상 응답들을 갖는 히어-스루 필터 경로들을 생성하는 것을 보장하는데 사용될 수도 있다.

도 20 은 특정 사용자에 대한 청력 보상 데이터에 기초한 오디오 신호 프로세싱을 위한 방법 (M300) 의 플로우 다이어그램을 도시한다. 방법 (M300) 은 태스크들 (T310, T320, T330, 및 T340) 을 포함한다. 태스크 (T310) 는 제 1 마이크로폰으로부터의 외부 마이크로폰 신호 (예를 들어, 위에서 설명된 외부 마이크로폰 신호 (XM10)) 및 제 2 마이크로폰으로부터의 내부 마이크로폰 신호 (예를 들어, 위에서 설명된 내부 마이크로폰 신호 (EM10)) 를 수신한다. 태스크 (T320) 는 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하며, 여기서 청력 보상 데이터는 (예를 들어, 보상 필터 (CF10) 및 히어-스루 필터 (HF20) 를 참조하여 위에서 설명된 바와 같이) 특정 사용자의 청력도에 기초한다. 태스크 (T330) 는 (예를 들어, 피드백 ANC 필터 (FB10) 를 참조하여 위에서 설명된 바와 같이) 내부 마이크로폰 신호에 기초하여 피드백 컴포넌트를 생성한다. 태스크 (T340) 는 라우드스피커가 (예를 들어, 태스크들 (T320 및 T330) 에 의해 생성된 신호들을 혼합하고 신호들을 혼합한 결과에 기초하여 라우드스피커를 구동함으로써) 히어-스루 컴포넌트 및 피드백 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기한다. 이 방법에서, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는, 오디오 출력 신호와 내부 마이크로폰 신호 사이의 관계의 변화 (예를 들어, 오디오 출력 신호에 기초하여 음향 신호를 생성하는 라우드스피커와 음향 신호에 응답하여 내부 마이크로폰 신호를 생성하도록 배열된 내부 마이크로폰 사이의 음향 커플링의 변화, 여기서 상기 음향 커플링은 예를 들어, 착용감 변화들의 결과로서 변할 수도 있음) 에 응답하여 변한다. 추가적으로, 이 방법에서, 사용자 특정 청력도에 기초한 청력 보상 데이터는 사용자 자신의 청력 결함들에 기초하여 사용자에게 제공되는 오디오의 인지된 사운드 품질을 개선하는데 사용된다.

디바이스 (예를 들어, 히어러블) 는 오디오 데이터를 저장하도록 구성된 메모리, 및 메모리로부터 오디오 데이터를 수신하고 방법 (M300) 을 수행하도록 구성된 프로세서를 포함하도록 구현될 수도 있다. 장치는 (예를 들어, 하드웨어 상에서 실행되는 소프트웨어로서) 태스크들 (T310, T320, T330, 및 T340) 의 각각을 수행하기 위한 수단을 포함하도록 구현될 수도 있다. 컴퓨터 판독가능 저장 매체는, 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서로 하여금 방법 (M300) 을 수행하게 하는 코드를 포함하도록 구현될 수도 있다.

도 21 을 참조하면, 디바이스의 특정 예시적인 구현의 블록 다이어그램이 도시되고 일반적으로 2100 으로 지정된다. 예시적인 구현에서, 디바이스 (2100) 는, 도 1 내지 도 20 중 임의의 것을 참조하여 위에서 설명된 필터들, 신호 경로들, 또는 다른 오디오 신호 프로세싱 컴포넌트들 중 임의의 것에 대응하거나 또는 이를 포함할 수도 있는 신호 프로세싱 회로부 (2140) 를 포함한다. 예시적인 구현에서, 디바이스 (2100) 는 도 1 내지 도 20 을 참조하여 설명된 하나 이상의 동작들을 수행할 수도 있다.

도 21 에 예시된 예에서, 디바이스 (2100) 는 제 2 디바이스 (2190) 와 통신하도록 구성된다. 예를 들어, 제 2 디바이스 (2190) 는 복수의 청력 보상 데이터의 세트들 (2192) 을 저장할 수도 있다. 이 예에서, 디바이스 (2100) 는 신호 프로세싱 회로부 (2140) 에 의한 사용을 위해 제 2 디바이스 (2190) 로부터 특정 청력 보상 데이터를 취출할 수도 있다. 예시하기 위해, 디바이스 (2100) 는 생체 데이터에 기초하여 사용자를 인증하고 인증된 사용자를 식별하는 정보를 제 2 디바이스 (2190) 로 전송할 수도 있다. 이 예시적인 예에서, 제 2 디바이스 (2190) 는 청력 보상 데이터의 세트 (2192) 중에서 사용자에 대응하는 특정 청력 보상 데이터를 선택하고 사용을 위해 특정 청력 보상 데이터를 디바이스 (2100) 로 전송한다.

대안적으로, 제 2 디바이스 (2190) 는 사용자를 인증할 수도 있다. 예시하기 위해, 제 2 디바이스 (2190) 는 사용자를 인증하는데 사용되는 생체 데이터를 수집하기 위해 하나 이상의 센서들 (예를 들어, 지문 스캐너, 카메라, 마이크로폰 등) 을 포함할 수도 있다. 다른 예시적인 예로서, 디바이스 (2100) 는 생체 데이터를 수집하고 생체 데이터를 제 2 디바이스 (2190) 로 전송할 수도 있다. 이 예시적인 예에서, 제 2 디바이스 (2190) 는 디바이스 (2100) 로부터 수신된 생체 데이터에 기초하여 사용자를 인증한다.

특정 구현에서, 디바이스 (2100) 는 프로세서 (2106) (예를 들어, 중앙 프로세싱 유닛 (CPU)) 를 포함한다. 디바이스 (2100) 는 하나 이상의 추가적인 프로세서들 (2110) (예를 들어, 하나 이상의 DSP들) 을 포함할 수도 있다. 프로세서들 (2110) 은 음성 코더 ("보코더") 인코더 (2136), 보코더 디코더 (2138), 신호 프로세싱 회로부 (2140), 또는 이들의 조합을 포함하는 스피치 및 음악 코더-디코더 (CODEC) (2108) 를 포함할 수도 있다.

디바이스 (2100) 는 메모리 (2186) 및 CODEC (2134) 을 포함할 수도 있다. 메모리 (2186) 는 도 1 내지 도 20 중 하나 이상을 참조하여 설명된 기능성을 구현하기 위해 하나 이상의 추가적인 프로세서들 (2110) (또는 프로세서 (2106)) 에 의해 실행가능한 명령들 (2156) 을 포함할 수도 있다. 디바이스 (2100) 는 트랜시버 (2150) 를 통해, 안테나 (2152) 에 커플링된 모뎀 (2154) 을 포함할 수도 있다. 모뎀 (2154), 트랜시버 (2150), 및 안테나 (2152) 는 제 2 디바이스 (2190) 와 같은 다른 디바이스와의 데이터의 교환을 용이하게 할 수도 있다. 예를 들어, 제 2 디바이스 (2190) 는 복수의 사용자들에 대응하는 청력 보상 데이터의 세트를 저장할 수도 있다. 이 예에서, 디바이스 (2100) 는 (모뎀 (2154), 트랜시버 (2150), 및 안테나 (2152) 를 통해) 사용자 식별 정보, 이를 테면 특정 사용자의 사용자 아이덴티티 또는 특정 사용자와 연관된 생체 식별 데이터를 포함하는 요청을 송신할 수도 있다. 이 예에서, 제 2 디바이스 (2190) 는 예를 들어, 도 9 내지 도 16B 를 참조하여 위에서 설명된 바와 같이, 청력 보상 데이터의 세트 (2192) 중에서, 특정 사용자와 연관되는 특정 청력 보상 데이터 (이를 테면 특정 사용자의 청력도에 기초하여 결정된 히어-스루 보상 필터 상태) 를 선택할 수도 있다. 일부 구현들에서, 청력 보상 데이터의 세트 (2192) 가 특정 사용자와 연관된 임의의 청력 보상 데이터를 포함하지 않으면, 프로세서 (2106) 또는 프로세서(들) (2110) 는 명령들 (2156) 을 실행하여 특정 사용자에 대한 청력 보상 데이터를 청력 보상 데이터의 세트 (2192) 에 추가할 수도 있다. 예를 들어, 프로세서 (2106) 또는 프로세서(들) (2110) 는 (이전에 생성된 파일을 선택하거나 또는 사용자의 청력을 테스팅함으로써) 청력도를 제공하도록 특정 사용자를 프롬프트할 수도 있고, 프롬프트에 대한 사용자의 응답에 기초하여 특정 사용자에 대한 청력 보상 데이터를 생성할 수도 있다. 이 예에서, 디바이스 (2100) 는 청력 보상 데이터의 세트 (2192) 에 추가하기 위해 청력 보상 데이터를 제 2 디바이스 (2190) 로 전송할 수도 있다.

디바이스 (2100) 는 디스플레이 제어기 (2126) 에 커플링된 디스플레이 (2128) 를 포함할 수도 있다. 하나 이상의 라우드스피커들 (2146) 및 하나 이상의 마이크로폰들 (2142) 이 CODEC (2134) 에 커플링될 수도 있다. CODEC (2134) 은 디지털-아날로그 변환기 (DAC) (2102) 및 아날로그-디지털 변환기 (ADC) (2104) 를 포함할 수도 있다. 특정 구현에서, CODEC (2134) 은 마이크로폰(들) (2142) 으로부터 아날로그 신호들을 수신하고, 아날로그 신호들을 아날로그-디지털 변환기 (2104) 를 사용하여 디지털 신호들로 변환하고, 디지털 신호들을 스피치 및 음악 코덱 (2108) 으로 전송할 수도 있다. 특정 구현에서, 스피치 및 음악 코덱 (2108) 은 CODEC (2134) 에 디지털 신호들을 제공할 수도 있다. CODEC (2134) 은 디지털 신호들을 디지털-아날로그 변환기 (2102) 를 사용하여 아날로그 신호들로 변환할 수도 있고 아날로그 신호들을 라우드스피커(들) (2146) 에 제공할 수도 있다.

특정 구현에서, 디바이스 (2100) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (2122) 에 포함될 수도 있다. 특정 구현에서, 메모리 (2186), 프로세서 (2106), 프로세서들 (2110), 디스플레이 제어기 (2126), CODEC (2134), 모뎀 (2154), 및 트랜시버 (2150) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (2122) 에 포함된다. 특정 구현에서, 입력 디바이스 (2130) 및 전력 공급부 (2144) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (2122) 에 커플링된다. 더욱이, 특정 구현에서, 도 21 에 예시된 바와 같이, 디스플레이 (2128), 입력 디바이스 (2130), 라우드스피커(들) (2146), 마이크로폰(들) (2142), 안테나 (2152), 및 전력 공급부 (2144) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (2122) 의 외부에 있다. 특정 구현에서, 디스플레이 (2128), 입력 디바이스 (2130), 라우드스피커(들) (2146), 마이크로폰(들) (2142), 안테나 (2152), 및 전력 공급부 (2144) 의 각각은, 인터페이스 또는 제어기와 같은 시스템-인-패키지 또는 시스템-온-칩 디바이스 (2122) 의 컴포넌트에 커플링될 수도 있다.

디바이스 (2100) 는 히어러블, 스마트 스피커, 스피커 바, 모바일 통신 디바이스, 스마트 폰, 셀룰러 폰, 랩탑 컴퓨터, 컴퓨터, 태블릿, 개인용 디지털 보조기, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 음악 플레이어, 라디오, 디지털 비디오 플레이어, 디지털 비디오 디스크 (DVD) 플레이어, 튜너, 카메라, 내비게이션 디바이스, 차량, 헤드셋, 증강 현실 헤드셋, 가상 현실 헤드셋, 항공 차량 (aerial vehicle), 홈 자동화 시스템, 음성 활성화 디바이스, 무선 스피커 및 음성 활성화 디바이스, 휴대용 전자 디바이스, 자동차, 차량, 컴퓨팅 디바이스, 통신 디바이스, 사물 인터넷 (IoT) 디바이스, 가상 현실 (VR) 디바이스, 기지국, 모바일 디바이스, 또는 이들의 임의의 조합을 포함할 수도 있다.

다양한 구현들에서, 디바이스 (2100) 는 도 21 에 예시된 것보다 더 많거나 또는 더 적은 컴포넌트들을 가질 수도 있다. 예를 들어, 디바이스 (2100) 가 히어러블에 대응할 때, 디바이스 (2100) 는 일부 구현들에서, 디스플레이 (2128) 및 디스플레이 제어기 (2126) 를 생략할 수도 있다. 일부 구현들에서, 디바이스 (2100) 는 오디오 데이터를 히어러블 (도 21 에 도시되지 않음) 에 제공하는 스마트 폰 또는 다른 휴대용 전자 디바이스에 대응한다. 그러한 구현들에서, 신호 프로세싱 회로부 (2140) 는 디바이스 (2100) 가 아니라 (또는 그에 더하여) 히어러블에 포함될 수도 있다. 도 22 및 도 23 은 신호 프로세싱 회로부 (2140) 의 인스턴스들을 포함하는 히어러블들의 예들을 예시한다. 그러한 구현들에서, 제 2 디바이스 (2190) 는 청력 보상 데이터의 세트 (2192) 를 저장하고 디바이스 (2100) 로부터의 요청에 기초하여 특정 청력 보상 데이터를 디바이스 (2100) 에 제공하는 서버 또는 다른 컴퓨팅 디바이스를 포함할 수도 있다. 디바이스 (2100) 는 후속하여 오디오 데이터를 프로세싱하는데 사용하기 위해 히어러블에 특정 청력 보상 데이터를 제공할 수도 있다.

도 22 는 특정 사용자에 대한 청력 보상 데이터에 기초하여 오디오 신호 프로세싱을 수행하도록 구성되는 헤드셋 디바이스 (2200) 의 다이어그램을 도시한다. 도 22 에서, 디바이스 (2100) 의 컴포넌트들, 이를 테면 신호 프로세싱 회로부 (2140) 는 헤드셋 디바이스 (2200) 에 통합된다. 헤드셋 디바이스 (2200) 는 사용자의 스피치 및 환경 사운드들을 캡처하도록 포지셔닝된 마이크로폰들 (2210) 을 포함한다. 특정 예에서, 헤드셋 디바이스 (2200) 는 각각이 신호 프로세싱 회로부 (2140) 의 인스턴스를 포함하거나 또는 그에 커플링될 수도 있는 하나 이상의 히어러블들, 이를 테면 히어러블들 (D10L 및 D10R) 을 포함한다. 예시하기 위해, 히어러블 (D10L) 은 신호 프로세싱 회로부 (2140A) 를 포함하거나 또는 그에 커플링될 수도 있고, 히어러블 (D10R) 은 신호 프로세싱 회로부 (2140B) 를 포함하거나 또는 그에 커플링될 수도 있다.

도 23 은 특정 사용자에 대한 청력 보상 데이터에 기초하여 오디오 신호 프로세싱을 수행하도록 구성되는 확장 현실 (예를 들어, 가상 현실, 혼합 현실, 또는 증강 현실) 헤드셋 (2300) 의 다이어그램을 도시한다. 도 23 에서, 헤드셋 (2300) 은 헤드셋 (2300) 이 착용되는 동안 사용자로의 증강 현실 또는 가상 현실 이미지들 또는 장면들의 디스플레이를 가능하게 하기 위해 사용자의 눈 앞에 포지셔닝된 시각적 인터페이스 디바이스 (2302) 를 포함한다. 헤드셋 (2300) 은 또한, 주변 사운드 (예를 들어, 위에서 설명된 외부 마이크로폰 신호 (XM10)) 를 캡처하기 위해, 에러 신호 (예를 들어, 위에서 설명된 내부 마이크로폰 신호 (EM10)) 를 캡처하기 위해 등등을 위해 하나 이상의 마이크로폰들 (2304, 2306) 을 포함한다. 헤드셋 (2300) 은 또한, 신호 프로세싱 회로부 (2140A 및 2140B) 와 같은 도 20 의 신호 프로세싱 회로부 (2140) 의 하나 이상의 인스턴스들을 포함한다. 특정 예에서, 헤드셋 (2300) 의 사용자는 마이크로폰들 (2304, 2306) 을 사용한 비디오 컨퍼런스, 오디오 스피커들, 및 시각적 인터페이스 디바이스 (2302) 를 통해서와 같이, 원격 참여자와의 대화에 참여할 수도 있다.

본 명세서에서 설명된 시스템들 중 임의의 것은 장치, 디바이스, 어셈블리, 집적 회로 (예를 들어, 칩), 칩셋, 또는 인쇄 회로 보드로서 (또는 그 일부로서) 구현될 수도 있다. 일 예에서, 그러한 시스템은 셀룰러 전화기 (예를 들어, 스마트폰) 내에서 구현된다. 다른 예에서, 그러한 시스템은 히어러블 또는 다른 웨어러블 디바이스 내에서 구현된다.

그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "신호" 는 와이어, 버스, 또는 다른 송신 매체에 대해 표현된 바와 같은 메모리 위치 (또는 메모리 위치들의 세트) 의 상태를 포함하여 그 일반적인 의미들 중 임의의 의미를 나타내도록 본 명세서에서 사용된다. 그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "생성하는 것" 은 계산하는 것 또는 그렇지 않으면 생성하는 것과 같은 그 일반적인 의미들 중 임의의 의미를 나타내도록 본 명세서에서 사용된다. 그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "계산하는 것" 은 복수의 값들로부터 계산하는 것, 평가하는 것, 추정하는 것, 및/또는 선택하는 것과 같은 그 일반적인 의미들 중 임의의 의미를 나타내도록 본 명세서에서 사용된다. 그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "획득하는 것" 은 계산하는 것, 도출하는 것, (예를 들어, 외부 디바이스로부터) 수신하는 것, 및/또는 (예를 들어, 저장 엘리먼트들의 어레이로부터) 취출하는 것과 같은 그 일반적인 의미들 중 임의의 의미를 나타내도록 사용된다. 그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "선택하는 것" 은 2 이상의 세트 중 적어도 하나, 및 그 모두보다는 더 적게 식별하는 것, 표시하는 것, 적용하는 것, 및/또는 사용하는 것과 같은 그 일반적인 의미들 중 임의의 의미를 나타내도록 사용된다. 그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "결정하는 것" 은 결정하는 것, 확립하는 것, 결론을 내리는 것, 계산하는 것, 선택하는 것, 및/또는 평가하는 것과 같은 그 일반적인 의미들 중 임의의 의미를 나타내는데 사용된다. 용어 "포함하는 것 (comprising)" 이 본 설명 및 청구항들에서 사용되는 경우, 다른 엘리먼트들 또는 동작들을 배제하지는 않는다. ("A 는 B 에 기초함" 에서와 같이) 용어 "~ 에 기초하여" 는, (i) "~ 로부터 도출된" (예를 들어, "B 는 A 의 선행물 (precursor) 임), (ii) "적어도 ~ 에 기초하여" (예를 들어, "A 는 적어도 B 에 기초함") 및 특정 문맥에서 적절하면, (iii) "~ 와 동일한" (예를 들어, "A 는 B 와 동일함") 경우들을 포함하여 그 일반적인 의미들 중 임의의 의미를 나타내는데 사용된다. 유사하게, 용어 "~ 에 응답하여" 는 "적어도 ~ 에 응답하여" 를 포함하여 그 일반적인 의미들 중 임의의 의미를 나타내도록 사용된다. 달리 표시되지 않으면, 용어들 "A, B, 및 C 중 적어도 하나", "A, B, 및 C 중 하나 이상", "A, B, 및 C 중에서 적어도 하나", 및 "A, B, 및 C 중에서 하나 이상" 은 "A 및/또는 B 및/또는 C" 를 표시한다. 달리 표시되지 않으면, 용어들 "A, B, 및 C 의 각각" 및 "A, B, 및 C 중의 각각" 은 "A 및 B 및 C" 를 표시한다.

달리 표시되지 않으면, 특정 피처를 갖는 장치의 동작의 임의의 개시는 또한 유사한 피처를 갖는 방법을 개시하도록 명시적으로 의도되며 (그 역도 성립), 특정 구성에 따른 장치의 동작의 임의의 개시는 또한 유사한 구성에 따른 방법을 개시하도록 명시적으로 의도된다 (그 역도 성립). 용어 "구성" 은 그 특정 문맥에 의해 표시된 바와 같이 방법, 장치, 및/또는 시스템을 참조하여 사용될 수도 있다. 용어들 "방법", "프로세스", "절차", 및 "기법" 은, 특정 문맥에 의해 달리 표시되지 않으면, 일반적으로 그리고 상호교환가능하게 사용된다. 다중의 서브태스크들을 갖는 "태스크" 가 또한 방법이다. 용어들 "장치" 및 "디바이스" 는 또한, 특정 문맥에 의해 달리 표시되지 않으면, 일반적으로 그리고 상호교환가능하게 사용된다. 용어들 "엘리먼트" 및 "모듈" 은 통상적으로, 더 큰 구성의 부분을 표시하는데 사용된다. 그 문맥에 의해 명시적으로 제한되지 않으면, 용어 "시스템" 은 "공통 목적을 서빙하도록 상호작용하는 엘리먼트들의 그룹" 을 포함하여 그 일반적인 의미들 중 임의의 의미를 나타내도록 사용된다.

정관사가 초기에 도입되지 않으면, 청구항 엘리먼트를 수식하는데 사용되는 서수 용어 (예를 들어, "제 1", "제 2", "제 3" 등) 는 홀로 다른 청구항 엘리먼트에 관하여 그 청구항 엘리먼트의 임의의 우선순위 또는 순서를 표시하는 것이 아니라, 오히려 단지 그 청구항 엘리먼트를 (서수 용어의 사용이 없다면) 동일한 명칭을 갖는 다른 청구항 엘리먼트로부터 구별할 뿐이다. 문맥에 의해 명시적으로 제한되지 않으면, 용어들 "복수" 및 "세트" 의 각각은 1 보다 큰 정수량을 나타내도록 본 명세서에서 사용된다.

용어들 "코더", "코덱", 및 "코딩 시스템" 은 (가능하게는 하나 이상의 프리-프로세싱 동작들, 이를 테면 지각적 가중화 및/또는 다른 필터링 동작들 후에) 오디오 신호의 프레임들을 수신 및 인코딩하도록 구성된 적어도 하나의 인코더 및 프레임들의 디코딩된 표현들을 생성하도록 구성된 대응하는 디코더를 포함하는 시스템을 나타내기 위해 상호교환가능하게 사용된다. 그러한 인코더 및 디코더는 통상적으로 통신 링크의 대향 단말기들에 배치된다. 용어 "신호 컴포넌트" 는 신호의 구성 부분을 나타내는데 사용되며, 신호는 다른 신호 컴포넌트들을 포함할 수도 있다. 용어 "신호로부터의 오디오 콘텐츠" 는 신호에 의해 반송되는 오디오 정보의 표현을 나타내는데 사용된다.

본 명세서에 개시된 바와 같은 장치 또는 시스템의 구현의 다양한 엘리먼트들은 의도된 애플리케이션에 적합한 것으로 간주되는 하드웨어와 및/또는 소프트웨어와 하드웨어의 임의의 조합에서 구현될 수도 있다. 예를 들어, 그러한 엘리먼트들은 예를 들어 동일한 칩 상에 또는 칩셋의 2 개 이상의 칩들 사이에 상주하는 전자 및/또는 광학 디바이스들로서 제조될 수도 있다. 그러한 디바이스의 일 예는 트랜지스터들 또는 로직 게이트들과 같은 로직 엘리먼트들의 고정 또는 프로그래밍가능 어레이이고, 이들 엘리먼트들 중 임의의 것은 하나 이상의 그러한 어레이들로서 구현될 수도 있다. 이러한 엘리먼트들 중 임의의 2 개 이상, 또는 심지어 모두는 동일한 어레이 또는 어레이들 내에서 구현될 수도 있다. 그러한 어레이 또는 어레이들은 하나 이상의 칩들 내에서 (예를 들어, 2 개 이상의 칩들을 포함하는 칩셋 내에서) 구현될 수도 있다.

프로세서 또는 본 명세서에 개시된 바와 같이 프로세싱하기 위한 다른 수단은 예를 들어, 동일한 칩 상에 또는 칩셋의 2 개 이상의 칩들 사이에 상주하는 하나 이상의 전자 및/또는 광학 디바이스들로서 제조될 수도 있다. 그러한 디바이스의 일 예는 트랜지스터들 또는 로직 게이트들과 같은 로직 엘리먼트들의 고정 또는 프로그래밍가능 어레이이고, 이들 엘리먼트들 중 임의의 것은 하나 이상의 그러한 어레이들로서 구현될 수도 있다. 그러한 어레이 또는 어레이들은 하나 이상의 칩들 내에서 (예를 들어, 2 개 이상의 칩들을 포함하는 칩셋 내에서) 구현될 수도 있다. 그러한 어레이들의 예들은 마이크로프로세서들, 임베딩된 프로세서들, IP 코어들, DSP들 (디지털 신호 프로세서들), FPGA들 (필드 프로그래밍가능 게이트 어레이들), ASSP들 (애플리케이션 특정 표준 제품들), 및 ASIC들 (애플리케이션 특정 집적 회로들) 과 같은 로직 엘리먼트들의 고정 또는 프로그래밍가능한 어레이들을 포함한다. 프로세서 또는 본 명세서에 개시된 바와 같이 프로세싱하기 위한 다른 수단은 하나 이상의 컴퓨터들 (예를 들어, 명령들의 하나 이상의 세트들 또는 시퀀스들을 실행하도록 프로그래밍된 하나 이상의 어레이들을 포함하는 머신들) 또는 다른 프로세서들로서 구현될 수도 있다. 본 명세서에서 설명된 바와 같은 프로세서가, 그 프로세서가 임베딩되는 디바이스 또는 시스템 (예를 들어, 음성 통신 디바이스, 이를 테면 스마트폰, 또는 스마트 스피커) 의 다른 동작에 관한 태스크와 같은, 방법 (M100, M200, 또는 M300) (또는 본 명세서에서 설명된 장치 또는 시스템의 동작을 참조하여 개시된 바와 같은 다른 방법) 의 구현의 절차에 직접 관련되지 않은 명령들의 다른 세트들을 실행하거나 또는 태스크들을 수행하는데 사용되는 것이 가능하다. 본 명세서에 개시된 바와 같은 방법의 일부가 하나 이상의 다른 프로세서들의 제어 하에서 수행되는 것이 또한 가능하다.

본 개시의 특정 양태들은 하기의 상호관련된 조항들의 제 1 세트에서 설명된다:

조항 1 에 따르면, 오디오 신호 프로세싱을 위한 디바이스는, 명령들을 저장하도록 구성된 메모리; 및 프로세서를 포함하고, 프로세서는 명령들을 실행하여, 제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하고; 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하는 것으로서, 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하고; 그리고 라우드스피커가 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하도록 구성된다.

조항 2 는 조항 1 의 디바이스를 포함하고, 청력도는 특정 사용자의 청력 결함 프로파일을 나타낸다.

조항 3 은 조항 1 또는 조항 2 의 디바이스를 포함하고, 프로세서는 명령들을 실행하여 청력도의 역에 기초하여 청력 보상 데이터를 생성하도록 구성된다.

조항 4 는 조항 1 내지 조항 3 중 어느 하나의 디바이스를 포함하고, 프로세서는 명령들을 실행하여 제 2 디바이스로부터 청력 보상 데이터를 수신하도록 구성된다.

조항 5 는 조항 4 의 디바이스를 포함하고, 청력 보상 데이터는 특정 사용자의 인증에 기초하여 액세스된다.

조항 6 은 조항 5 의 디바이스를 포함하고, 특정 사용자는 음성 인식에 기초하여 인증된다.

조항 7 은 조항 5 또는 조항 6 의 디바이스를 포함하고, 특정 사용자는 얼굴 인식에 기초하여 인증된다.

조항 8 은 조항 5 내지 조항 7 중 어느 하나의 디바이스를 포함하고, 특정 사용자는 홍채 인식에 기초하여 인증된다.

조항 9 는 조항 5 내지 조항 8 중 어느 하나의 디바이스를 포함하고, 메모리는 복수의 사용자들에 대응하는 청력 보상 데이터의 세트를 저장하도록 구성되고, 청력 보상 데이터를 취출하기 위한 요청은, 청력 보상 데이터의 세트가 특정 사용자와 연관된 어떠한 청력 보상 데이터도 포함하지 않는다고 결정하는 것에 기초하여 제 2 디바이스로 전송된다.

조항 10 은 조항 5 내지 조항 9 중 어느 하나의 디바이스를 포함하고, 제 2 디바이스는 사용자 인증 동작들을 수행하고 특정 사용자의 인증에 응답하여 디바이스에 청력 보상 데이터를 제공한다.

조항 11 은 조항 10 의 디바이스를 포함하고, 프로세서는 또한, 명령들을 실행하여 청력 보상 데이터를 청력 보상 데이터의 세트에 추가하도록 구성된다.

조항 12 는 조항 1 내지 조항 11 중 어느 하나의 디바이스를 포함하고, 프로세서는 또한, 명령들을 실행하여 특정 사용자의 청력 테스트에 기초하여 청력 보상 데이터를 업데이트하도록 구성된다.

조항 13 은 조항 1 내지 조항 12 중 어느 하나의 디바이스를 포함하고, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는 외이도 내의 이어폰의 배치의 변화에 응답하여 변한다.

조항 14 는 조항 1 내지 조항 13 중 어느 하나의 디바이스를 포함하고, 메모리, 프로세서, 제 1 마이크로폰, 및 라우드스피커는 헤드셋, 개인용 오디오 디바이스, 또는 이어폰 중 적어도 하나에 통합된다.

조항 15 는 조항 1 내지 조항 14 중 어느 하나의 디바이스를 포함하고, 외부 마이크로폰 신호 및 히어-스루 컴포넌트 사이의 관계는 오디오 출력 신호와 내부 마이크로폰 신호 사이의 관계의 변화에 응답하여 변한다.

조항 16 은 조항 1 내지 조항 15 중 어느 하나의 디바이스를 포함하고, 프로세서는 또한, 명령들을 실행하여 재생된 오디오 신호를 수신하도록 구성되고, 오디오 출력 신호는 재생된 오디오 신호에 기초한다.

조항 17 은 조항 1 내지 조항 16 중 어느 하나의 디바이스를 포함하고, 프로세서는 또한, 명령들을 실행하여 히어-스루 컴포넌트를 동적으로 조정하여 폐색 효과를 감소시키도록 구성된다.

조항 18 은 조항 1 내지 조항 17 중 어느 하나의 디바이스를 포함하고, 프로세서는 또한, 제 2 마이크로폰으로부터 내부 마이크로폰 신호를 수신하고; 그리고 내부 마이크로폰 신호에 기초하여 피드백 컴포넌트를 생성하도록 구성되고, 오디오 출력 신호는 피드백 컴포넌트에 추가로 기초하고, 피드백 컴포넌트는 히어-스루 컴포넌트를 제외한 내부 마이크로폰 신호의 컴포넌트들을 감소시키는 것이다.

조항 19 에 따르면, 오디오 신호 프로세싱을 위한 방법은, 제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하는 단계; 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하는 단계로서, 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하는 단계; 및 라우드스피커가 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하는 단계를 포함한다.

조항 20 은 조항 19 의 방법을 포함하고, 재생된 오디오 신호를 수신하는 단계를 더 포함하고, 오디오 출력 신호는 재생된 오디오 신호를 포함하고, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는, 재생된 오디오 신호가 활성화되지 않을 때 변한다.

조항 21 은 조항 19 또는 조항 20 의 방법을 포함하고, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는 외이도 내의 디바이스의 배치의 변화에 응답하여 변한다.

조항 22 는 조항 19 내지 조항 21 중 어느 하나의 방법을 포함하고, 청력 보상 데이터는 신호에 기초하여, 복수의 사용자들에 대응하는 청력 보상 데이터의 세트 중에서 선택되고, 신호는 특정 사용자를 식별한다.

조항 23 은 조항 22 의 방법을 포함하고, 특정 사용자를 식별하는 신호는 음성 인증 동작에 기초하여 생성된다.

조항 24 는 조항 22 또는 조항 23 의 방법을 포함하고, 특정 사용자를 식별하는 신호는 얼굴 인식 동작에 기초하여 생성된다.

조항 25 는 조항 22 내지 조항 24 중 어느 하나의 방법을 포함하고, 특정 사용자를 식별하는 신호는 생체 식별 동작에 기초하여 생성된다.

조항 26 은 조항 20 내지 조항 25 중 어느 하나의 방법을 포함하고, 제 2 마이크로부터 내부 마이크로폰 신호를 수신하는 단계; 및 내부 마이크로폰 신호와 위상이 다른 피드백 컴포넌트를 생성하는 단계로서, 오디오 출력 신호는 피드백 컴포넌트에 추가로 기초하는, 상기 피드백 컴포넌트를 생성하는 단계를 더 포함한다.

조항 27 에 따르면, 오디오 신호 프로세싱을 위한 장치는, 제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하기 위한 수단; 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하기 위한 수단으로서, 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하기 위한 수단; 및 라우드스피커가 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하기 위한 수단을 포함한다.

조항 28 은 조항 27 의 장치를 포함하고, 신호에 기초하여 청력 보상 데이터의 세트 중에서 청력 보상 데이터를 선택하기 위한 수단을 더 포함하고, 청력 보상 데이터의 세트는 복수의 사용자들에 대응하고, 신호는 특정 사용자를 식별한다.

조항 29 는 조항 28 의 장치를 포함하고, 특정 사용자를 식별하는 신호는 생체 인증 동작에 의해 생성된다.

조항 30 은 조항 27 내지 조항 29 중 어느 하나의 장치를 포함하고, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는 특정 사용자의 외이도 내의 디바이스의 배치의 변화에 응답하여 변한다.

조항 31 은 조항 27 내지 조항 30 중 어느 하나의 장치를 포함하고, 제 2 마이크로폰으로부터 내부 마이크로폰 신호를 수신하기 위한 수단; 및 내부 마이크로폰 신호와 위상이 다른 피드백 컴포넌트를 생성하기 위한 수단으로서, 오디오 출력 신호는 피드백 컴포넌트에 추가로 기초하는, 상기 피드백 컴포넌트를 생성하기 위한 수단을 포함한다.

조항 32 에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는 명령들을 포함하고, 명령들은, 적어도 하나의 프로세서에 의해 실행될 경우, 적어도 하나의 프로세서로 하여금, 제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하게 하고; 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하게 하는 것으로서, 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하게 하고; 그리고 라우드스피커가 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하게 한다.

조항 33 은 조항 32 의 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 청력 보상 데이터는 신호에 기초하여 청력 보상 데이터의 세트 중에서 선택되고, 청력 보상 데이터의 세트는 복수의 사용자들에 대응하고, 신호는 생체 인증에 기초하여 특정 사용자를 식별한다.

조항 34 는 조항 28 또는 조항 33 의 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 외부 마이크로폰 신호와 히어-스루 컴포넌트 사이의 관계는 외이도 내의 디바이스의 배치의 변화에 응답하여 변한다.

조항 35 는 조항 28 또는 조항 34 의 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 명령들은, 적어도 하나의 프로세서에 의해 실행될 경우, 또한 적어도 하나의 프로세서로 하여금, 제 2 마이크로폰으로부터 내부 마이크로폰 신호를 수신하게 하고 그리고 내부 마이크로폰 신호와 위상이 다른 피드백 컴포넌트를 생성하게 하는 것으로서, 오디오 출력 신호는 피드백 컴포넌트에 추가로 기초하는, 상기 피드백 컴포넌트를 생성하게 한다.

본 명세서에 개시된 방법들의 태스크들의 각각은 직접 하드웨어에서, 프로세서에 의해 실행된 소프트웨어 모듈에서, 또는 이 둘의 조합에서 구현될 수도 있다. 본 명세서에 개시된 바와 같은 방법의 구현의 통상의 애플리케이션에서, 로직 엘리먼트들 (예를 들어, 로직 게이트들) 의 어레이는 방법의 다양한 태스크들 중 하나, 하나보다 많이, 또는 심지어 모두를 수행하도록 구성된다. 태스크들 중 하나 이상 (가능하게는 모두) 은 또한, 로직 엘리먼트들 (예를 들어, 프로세서, 마이크로프로세서, 마이크로제어기, 또는 다른 유한 상태 머신) 의 어레이를 포함하는 머신 (예를 들어, 컴퓨터) 에 의해 판독가능하고/하거나 실행가능한, 컴퓨터 프로그램 제품 (예를 들어, 하나 이상의 데이터 저장 매체들, 이를 테면 디스크들, 플래시 또는 다른 비휘발성 메모리 카드들, 반도체 메모리 칩들 등) 에 수록된, 코드 (예를 들어, 명령들의 하나 이상의 세트들) 로서 구현될 수도 있다. 본 명세서에 개시된 바와 같은 방법의 구현의 태스크들은 하나보다 많은 그러한 어레이 또는 머신에 의해 수행될 수도 있다. 이들 또는 다른 구현들에서, 태스크들은 셀룰러 전화기 또는 그러한 통신 능력을 갖는 다른 디바이스와 같은 무선 통신을 위한 디바이스 내에서 수행될 수도 있다. 그러한 디바이스는 (예를 들어, VoIP 와 같은 하나 이상의 프로토콜들을 사용하여) 회로-스위칭된 및/또는 패킷-스위칭된 네트워크들과 통신하도록 구성될 수도 있다. 예를 들어, 그러한 디바이스는 인코딩된 프레임들을 수신 및/또는 송신하도록 구성된 RF 회로부를 포함할 수도 있다.

하나 이상의 예시적인 실시형태들에서, 본 명세서에서 설명된 동작들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현되면, 그러한 동작들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 또는 이를 통해 송신될 수도 있다. 용어 "컴퓨터 판독가능 매체들" 은 컴퓨터 판독가능 저장 매체들 및 통신 (예를 들어, 송신) 매체들 양자 모두를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 저장 매체들은 반도체 메모리 (제한 없이 동적 또는 정적 RAM, ROM, EEPROM, 및/또는 플래시 RAM 을 포함할 수도 있음), 또는 강유전체, 자기저항, 오보닉, 폴리머, 또는 상변화 메모리와 같은 저장 엘리먼트들의 어레이; CD-ROM 또는 다른 광 디스크 스토리지; 및/또는 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들을 포함할 수 있다. 그러한 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 정보를 저장할 수도 있다. 통신 매체들은 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여, 컴퓨터에 의해 액세스될 수 있고 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 반송하는데 사용될 수 있는 임의의 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스티드 페어 (twisted pair), 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및/또는 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 매체의 정의에는 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및/또는 마이크로파와 같은 무선 기술이 포함된다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-ray Disc™ (블루-레이 디스크 협회, 유니버셜 시, 캘리포니아) 를 포함하며, 여기서, 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저로 데이터를 광학적으로 재생한다. 또한, 상기의 조합들이 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

이전의 설명은 당업자가 개시된 구현들을 제조 또는 사용하는 것을 가능하게 하기 위하여 제공된다. 이들 구현들에 대한 다양한 수정들은 당업자에게 용이하게 명백할 것이며, 본 명세서에서 정의된 원리들은 본 개시의 범위로부터 일탈함 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 나타낸 구현들에 제한되도록 의도되지 않고, 다음 청구항들에 의해 정의된 바와 같은 원리들 및 신규한 피처들과 부합하는 가능한 최광의 범위를 부여받아야 한다.

Claims (30)

1. 오디오 신호 프로세싱을 위한 디바이스로서,
   명령들을 저장하도록 구성된 메모리; 및
   프로세서를 포함하고, 상기 프로세서는 상기 명령들을 실행하여,
   제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하고;
   상기 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트 (hear-through component) 를 생성하는 것으로서, 상기 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하고; 그리고
   라우드스피커가 상기 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하도록 구성된, 오디오 신호 프로세싱을 위한 디바이스.
2. 제 1 항에 있어서,
   상기 청력도는 상기 특정 사용자의 청력 결함 프로파일을 나타내는, 오디오 신호 프로세싱을 위한 디바이스.
3. 제 1 항에 있어서,
   상기 프로세서는 상기 명령들을 실행하여 상기 청력도의 역에 기초하여 상기 청력 보상 데이터를 생성하도록 구성되는, 오디오 신호 프로세싱을 위한 디바이스.
4. 제 1 항에 있어서,
   상기 프로세서는 상기 명령들을 실행하여 제 2 디바이스로부터 상기 청력 보상 데이터를 수신하도록 구성되는, 오디오 신호 프로세싱을 위한 디바이스.
5. 제 4 항에 있어서,
   상기 청력 보상 데이터는 상기 특정 사용자의 인증에 기초하여 액세스되는, 오디오 신호 프로세싱을 위한 디바이스.
6. 제 5 항에 있어서,
   상기 특정 사용자는 음성 인식에 기초하여 인증되는, 오디오 신호 프로세싱을 위한 디바이스.
7. 제 5 항에 있어서,
   상기 특정 사용자는 얼굴 인식에 기초하여 인증되는, 오디오 신호 프로세싱을 위한 디바이스.
8. 제 5 항에 있어서,
   상기 특정 사용자는 홍채 인식에 기초하여 인증되는, 오디오 신호 프로세싱을 위한 디바이스.
9. 제 5 항에 있어서,
   상기 메모리는 복수의 사용자들에 대응하는 청력 보상 데이터의 세트를 저장하도록 구성되고, 상기 청력 보상 데이터를 취출하기 위한 요청은, 상기 청력 보상 데이터의 세트가 상기 특정 사용자와 연관된 어떠한 청력 보상 데이터도 포함하지 않는다고 결정하는 것에 기초하여 제 2 디바이스로 전송되는, 오디오 신호 프로세싱을 위한 디바이스.
10. 제 9 항에 있어서,
    상기 프로세서는 또한, 상기 명령들을 실행하여 상기 청력 보상 데이터를 상기 청력 보상 데이터의 세트에 추가하도록 구성되는, 오디오 신호 프로세싱을 위한 디바이스.
11. 제 1 항에 있어서,
    상기 프로세서는 또한, 상기 명령들을 실행하여 상기 특정 사용자의 청력 테스트에 기초하여 상기 청력 보상 데이터를 업데이트하도록 구성되는, 오디오 신호 프로세싱을 위한 디바이스.
12. 제 1 항에 있어서,
    상기 외부 마이크로폰 신호와 상기 히어-스루 컴포넌트 사이의 관계는 외이도 내의 이어폰의 배치의 변화에 응답하여 변하는, 오디오 신호 프로세싱을 위한 디바이스.
13. 제 1 항에 있어서,
    상기 메모리, 상기 프로세서, 상기 제 1 마이크로폰, 및 상기 라우드스피커는 헤드셋, 개인용 오디오 디바이스, 또는 이어폰 중 적어도 하나에 통합되는, 오디오 신호 프로세싱을 위한 디바이스.
14. 제 1 항에 있어서,
    상기 프로세서는 또한,
    제 2 마이크로폰으로부터 내부 마이크로폰 신호를 수신하고; 그리고
    상기 내부 마이크로폰 신호에 기초하여 피드백 컴포넌트를 생성하도록 구성되고,
    상기 오디오 출력 신호는 상기 피드백 컴포넌트에 추가로 기초하고, 상기 외부 마이크로폰 신호와 상기 히어-스루 컴포넌트 사이의 관계는 상기 오디오 출력 신호와 상기 내부 마이크로폰 신호 사이의 관계의 변화에 응답하여 변하고, 상기 피드백 컴포넌트는 상기 히어-스루 컴포넌트를 제외한 상기 내부 마이크로폰 신호의 컴포넌트들을 감소시키는 것인, 오디오 신호 프로세싱을 위한 디바이스.
15. 제 1 항에 있어서,
    상기 프로세서는 또한, 상기 명령들을 실행하여 재생된 오디오 신호를 수신하도록 구성되고, 상기 오디오 출력 신호는 상기 재생된 오디오 신호에 기초하는, 오디오 신호 프로세싱을 위한 디바이스.
16. 제 1 항에 있어서,
    상기 프로세서는 또한, 상기 명령들을 실행하여 상기 히어-스루 컴포넌트를 동적으로 조정하여 폐색 효과를 감소시키도록 구성되는, 오디오 신호 프로세싱을 위한 디바이스.
17. 오디오 신호 프로세싱을 위한 방법으로서,
    제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하는 단계;
    상기 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하는 단계로서, 상기 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하는 단계; 및
    라우드스피커가 상기 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하는 단계를 포함하는, 오디오 신호 프로세싱을 위한 방법.
18. 제 17 항에 있어서,
    재생된 오디오 신호를 수신하는 단계를 더 포함하고, 상기 오디오 출력 신호는 상기 재생된 오디오 신호를 포함하고, 상기 외부 마이크로폰 신호와 상기 히어-스루 컴포넌트 사이의 관계는, 상기 재생된 오디오 신호가 활성화되지 않을 때 변하는, 오디오 신호 프로세싱을 위한 방법.
19. 제 17 항에 있어서,
    상기 외부 마이크로폰 신호와 상기 히어-스루 컴포넌트 사이의 관계는 외이도 내의 디바이스의 배치의 변화에 응답하여 변하는, 오디오 신호 프로세싱을 위한 방법.
20. 제 17 항에 있어서,
    상기 청력 보상 데이터는 신호에 기초하여, 복수의 사용자들에 대응하는 청력 보상 데이터의 세트 중에서 선택되고, 상기 신호는 상기 특정 사용자를 식별하는, 오디오 신호 프로세싱을 위한 방법.
21. 제 20 항에 있어서,
    상기 특정 사용자를 식별하는 상기 신호는 음성 인증 동작에 기초하여 생성되는, 오디오 신호 프로세싱을 위한 방법.
22. 제 20 항에 있어서,
    상기 특정 사용자를 식별하는 상기 신호는 얼굴 인식 동작에 기초하여 생성되는, 오디오 신호 프로세싱을 위한 방법.
23. 제 17 항에 있어서
    제 2 마이크로폰으로부터 내부 마이크로폰 신호를 수신하는 단계; 및
    상기 내부 마이크로폰 신호와 위상이 다른 피드백 컴포넌트를 생성하는 단계로서, 상기 오디오 출력 신호는 피드백 신호에 추가로 기초하는, 상기 피드백 컴포넌트를 생성하는 단계를 더 포함하는, 오디오 신호 프로세싱을 위한 방법.
24. 오디오 신호 프로세싱을 위한 장치로서,
    제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하기 위한 수단;
    상기 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하기 위한 수단으로서, 상기 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하기 위한 수단; 및
    라우드스피커가 상기 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하기 위한 수단을 포함하는, 오디오 신호 프로세싱을 위한 장치.
25. 제 24 항에 있어서,
    신호에 기초하여 청력 보상 데이터의 세트 중에서 상기 청력 보상 데이터를 선택하기 위한 수단을 더 포함하고, 상기 청력 보상 데이터의 세트는 복수의 사용자들에 대응하고, 상기 신호는 상기 특정 사용자를 식별하는, 오디오 신호 프로세싱을 위한 장치.
26. 제 25 항에 있어서,
    상기 특정 사용자를 식별하는 상기 신호는 생체 인증 동작에 의해 생성되는, 오디오 신호 프로세싱을 위한 장치.
27. 제 24 항에 있어서,
    상기 외부 마이크로폰 신호와 상기 히어-스루 컴포넌트 사이의 관계는 상기 특정 사용자의 외이도 내의 디바이스의 배치의 변화에 응답하여 변하는, 오디오 신호 프로세싱을 위한 장치.
28. 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서로 하여금,
    제 1 마이크로폰으로부터 외부 마이크로폰 신호를 수신하게 하고;
    상기 외부 마이크로폰 신호 및 청력 보상 데이터에 기초하는 히어-스루 컴포넌트를 생성하게 하는 것으로서, 상기 청력 보상 데이터는 특정 사용자의 청력도에 기초하는, 상기 히어-스루 컴포넌트를 생성하게 하고; 그리고
    라우드스피커가 상기 히어-스루 컴포넌트에 기초하여 오디오 출력 신호를 생성하는 것을 야기하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
29. 제 28 항에 있어서,
    상기 청력 보상 데이터는 신호에 기초하여 청력 보상 데이터의 세트 중에서 선택되고, 상기 청력 보상 데이터의 세트는 복수의 사용자들에 대응하고, 상기 신호는 생체 인증에 기초하여 상기 특정 사용자를 식별하는, 비일시적 컴퓨터 판독가능 저장 매체.
30. 제 28 항에 있어서,
    상기 외부 마이크로폰 신호와 상기 히어-스루 컴포넌트 사이의 관계는 외이도 내의 디바이스의 배치의 변화에 응답하여 변하는, 비일시적 컴퓨터 판독가능 저장 매체.

Images