KR20220143704A - 안경테에 통합 가능한 보청기 시스템 - Google Patents

Abstract

본 개시는 적응된 에어 버드와 무선 통신하는 적어도 2개의 마이크로폰을 포함하는 안경테 시스템에 관한 것이다. 보청기 시스템은 오디오 프로세싱 시스템과 함께 각각의 마이크로폰의 빔포밍을 수행하는 얼굴 윤곽 검출 프로세스와 통신하는 비디오 카메라로 구성되며, 이에 의해 식별된 얼굴 윤곽의 방향으로부터 오디오 사운드의 수신을 개선한다.

Description

안경테에 통합 가능한 보청기 시스템

본 발명은 보청기 시스템을 포함하는 안경테에 관한 것으로, 안경테는 적어도 통합된 마이크로폰 및 마이크로폰 빔포밍(beamforming)을 제공하는 디지털 신호 프로세서를 포함하고, 여기서 보청기 시스템은 인간의 귀에 삽입 가능한 이어버드(earbud)와 무선 통신한다.

본 발명은 보청기 시스템에 유익한 기능 및 데이터를 제공하는 상이한 센서를 지지하는 지지 프레임 역할을 하는 안경테에 관한 것이다. 현대의 집적 회로 기술은 각각의 회로의 소형 웨이퍼에 대해 증가된 복잡성과 기능을 제공하며, 이는 본 발명에 따른 안경테에 적어도 하나의 SOC(System On a Chip)와 적어도 하나의 DSP(Digital Signal Processor)를 포함하는 매립된 컴퓨터 시스템과 센서의 통합을 가능하게 한다. 많은 SOC 시스템은 LINUX 운영 체제에 의해 지원되며 상이한 유형의 센서 및 DSP 회로를 지원하는 LINUX 디바이스 드라이버도 이용 가능하다.

본 발명의 양태는 예를 들어, 마이크로폰 빔포밍과 같은 상이한 보청기 기능을 수행하도록 보청기 시스템의 컴퓨터-제어 디바이스를 구성하는 소프트웨어 어플리케이션이다.

이러한 빔포밍은 매립된 SOC 시스템에서 실행되는 프로그램의 제어 하에 매립된 DSP에서 수행될 수 있으며 빔포밍은 예를 들어, 안경테의 전방 측면에 대해 상이한 방향으로 구성될 수 있다. 빔포밍의 이러한 변화는 또한 빔포밍 로브(lobe)의 폭을 변화시키는 것을 포함할 수 있다. 방향 및/또는 빔 폭에 대한 빔포밍 로브의 변화는 예를 들어, SOC 시스템의 제어 하에 안경테에 매립된 예를 들어, 자이로스코프 디바이스로부터의 센서 출력에 따라 자동으로 발생하도록 구성될 수 있다. 빔포밍 로브의 변화는 또한 안경테 내측에 매립된 매립 제스처 검출 시스템에 의해 검출 가능한 제스처를 통해 본 발명에 따른 안경테의 사용자에 의해 이루어질 수 있다.

다른 유형의 센서, 예를 들어, 여러 축을 갖는 자이로스코프 센서, 거리 측정 센서 등이 안경테에 매립될 수 있으며, 이러한 센서 출력은 예를 들어, 마이크로폰 빔포밍이 이루어져야 할 때마다 구성될 수 있는 SOC 시스템이 만드는 결정 루프의 일부일 수 있다.

종래 기술에는 보청기 시스템을 위한 다양한 해결책의 예가 있다. 예를 들어, JP 6514599 B2호는 안경테의 전방 측면 상에 위치된 지향성 마이크로폰을 지지하는 안경테를 개시한다. 무지향성 마이크로폰은 각각의 좌측 및 우측 안경 다리 상에 제공된다. 라우드스피커가 또한 좌측 및 우측 안경 다리 상에 제공된다.

또한, 좌측 안경 다리 상에는 터치 감지 센서가 있다. 터치 센서가 터치될 때 지향성 마이크로폰이 활성화되고 오디오 신호가 라우드스피커로 전송된다.

CA 2559844C호는 음향 통신을 제공하는 시스템 및 방법을 개시한다. 이 공보의 교시에 따르면, 안경테(10)는 사용자(21)의 음성 신호를 검출하기 위한 적어도 하나의 지향성 마이크로폰(13, 15, 16) 및 전자 디바이스(30)에 신호를 전송하기 위한 통신 수단(12)을 포함하여 적어도 하나의 마이크로폰(13, 15, 16)의 방향 의존성이 사용자에 따라 적응될 수 있다. 지향성 마이크로폰은 특히 마이크로폰 어레이로서 및/또는 MEMS 기술에 따라 구현될 수 있다.

US 6690807 B1호는 안경테(2)의 다리의 단부 상에 장착된 히어링(hearing) 모듈(3)을 포함하는 리스닝(listening) 보조 디바이스(1)를 개시하며, 상기 모듈은 사용자의 귀에 안경테를 지지하도록 설계된다. 히어링 모듈은 또한 청각관(auditive canal)을 폐쇄하지 않고 청각관으로 연장되고 모듈의 사운드 배출 구멍(6)을 포함하는 형성된 부분(5)을 갖는다. 모듈은 음성 양해도(speech intelligibility)를 개선하기 위해 음성 스펙트럼 주파수 응답 및 선형 동역학을 포함한다. 이는 보다 용이하고 경제적으로 생산될 수 있고, 보다 사용하기 편리하고, 첫눈에 관찰자에게 보청기로 여겨지지 않는 경도 난청(mild hearing loss)을 보상하는 리스닝 보조 디바이스를 제공할 수 있게 한다.

EP 3496417호는 내비게이션 시스템에 적응된 히어링 시스템 및 내비게이션을 수행하는 방법을 개시한다. 거리 측정 센서, 자기장 센서 등과 같은 복수의 상이한 센서를 갖는 안경테가 사용자 주변의 현재 환경을 나타내는 데이터를 생성하기 위해 시간의 경과에 따라 시스템에 의해 사용된다. 본 시스템은 하나 이상의 음원에 대해 시스템의 사용자를 로컬화하도록 추가로 구성된다. 예를 들어, 로컬화된 무선 필드와 자기 교란의 맵이 시스템과 통신하는 모바일 폰에서 시각화된 맵의 형태로 제공될 수 있다. 맵에서 위치 지정되고 선택된 음원을 향한 마이크로폰의 빔포밍이 가능하다.

특히, 본 발명의 목적은 예를 들어, 사람들의 그룹인 음원을 향한 방향 및 거리와 음원의 폭에 따라 빔포밍을 제공하는 오디오 프로세싱 능력을 갖는 안경테를 포함하는 보청기 시스템을 제공하는 것으로 볼 수 있다.

본 발명의 또 다른 목적은 종래 기술에 대한 대안을 제공하는 것이다.

따라서, 상술한 목적 및 몇몇 다른 목적은 안경테의 전방 측면 상의 적어도 하나의 마이크로폰 어레이, 거리 측정 센서, 자이로스코프 센서를 포함하는 안경테에 통합 가능한 보청기 시스템을 제공함으로써 본 발명의 제1 양태에서 달성되도록 의도되며, 여기서, 구성된 시스템 온 칩(System on a Chip: SoC)에 의해 제어되는 디지털 신호 프로세서(Digital Signal Processor: DSP)는 각각의 센서 출력 신호들에 따라 적어도 빔포밍 로브(beamforming lobe)를 제공하고,

- 음원에 대한 빔포밍 로브 방향은 구성된 마이크로폰 어레이에 대해 규정되고,

- 빔포밍 로브 폭은 음원까지의 거리에 기초하여 규정되고,

- 빔 로브의 규정된 방향에서 자이로스코프 센서에 의해 검출된 상대적인 각도 변화는 검출된 각도 변화에 따라 빔포밍 폭을 수정하는 DSP의 파라미터들의 변화를 업로드하도록 SoC 시스템을 트리거링하거나,

- 거리 측정 센서에 의해 검출된 음원까지의 측정된 거리의 상대적인 변화는 음원까지의 거리가 변할 때 음원 크기의 원근의(perspective) 증가 또는 감소에 따라 상기 빔포밍 폭을 수정하는 파라미터의 변화를 업로드하도록 SoC 시스템을 트리거링한다.

이하, 첨부 도면을 참조하여 본 발명에 따른 보청기 시스템을 보다 상세하게 설명한다. 도면은 본 발명의 실시예의 예를 도시하고 첨부된 청구항 세트의 범위 내에 속하는 다른 가능한 실시예로 제한되는 것으로 해석되어서는 안 된다. 또한, 실시예의 각각의 예는 각각 다른 실시예의 예 중 임의의 것과 조합될 수 있다.
도 1은 본 발명에 따른 보청기 시스템의 일 예를 도시한다.
도 2는 본 발명의 실시예의 일 예의 정면도를 도시한다.
도 3은 도 2에 도시된 실시예의 예의 추가 상세 사항을 도시한다.
도 4는 본 발명에 따른 마이크로폰 빔포밍의 일 예를 도시한다.
도 5는 본 발명에 따른 마이크로폰 빔포밍 알고리즘의 일 예를 도시한다.
도 6은 본 발명에 따른 사용자 인터페이스의 일 예를 도시한다.
도 7은 본 발명에 따른 사용자 인터페이스의 다른 예를 도시한다.
도 8은 본 발명에 따른 마이크로폰 빔포밍의 일 예를 도시한다.
도 9는 본 발명에 따른 마이크로폰 빔포밍의 일 예의 추가 상세 사항을 도시한다.
도 10은 본 발명에 따른 마이크로폰 빔포밍의 다른 예를 도시한다.
도 11은 비디오 프레임의 일 예를 도시한다.
도 12는 본 발명에 따른 얼굴 검출의 일 예를 도시한다.
도 13은 본 발명에 따른 얼굴 검출의 추가 상세 사항을 도시한다.
도 14는 비디오 카메라 녹화와 관련된 상이한 인간의 머리 위치를 도시한다.
도 15는 본 발명에 따른 하드웨어 구성의 일 예를 도시한다.

본 발명이 특정 실시예와 관련하여 설명되었지만, 본 예에 어떤 방식으로든 한정되는 것으로 해석되어서는 안 된다. 본 발명의 범위는 첨부된 청구항 세트에 의해 설정된다. 청구항의 맥락에서, "포함하는" 또는 "포함하다"라는 용어는 다른 가능한 요소 또는 단계를 배제하지 않는다. 또한, "어느(a)" 또는 "어떤(an)" 등과 같은 참조의 언급은 복수를 배제하는 것으로 해석되어서는 안 된다. 도면에 표시된 요소와 관련하여 청구항에서의 참조 부호의 사용이 또한 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 상이한 청구항에서 언급된 개별적인 특징은 가능하게는 유리하게 조합될 수 있으며, 상이한 청구항에서 이러한 특징의 언급은 특징의 조합이 가능하지 않고 유리하지 않다는 것을 배제하지 않는다.

본 발명에 따른 안경테는 부분적인 난청(hearing loss)을 갖는 사람들에 의해 사용될 수 있지만, 반드시 눈에 추가적인 문제가 있는 것은 아니다. 이러한 경우 안경테는 예를 들어, 안경테에 매립된 마이크로폰의 빔포밍을 단순화할 수 있는 지지 구조체일 뿐이다. 본 발명의 일 양태에 따르면, 삽입 가능한 이어버드(earbud)가 안경테와 무선 통신할 수 있다.

음향 신호의 빔포밍은 하나 이상의 방향으로부터의 음향 신호를 향상시키면서 다른 방향으로부터의 음향 노이즈 및 음향 간섭을 억제하기 위한 신호 프로세싱 기술이다. 이와 같은 빔포밍이 알려져 있다. 무지향성 마이크로폰, 또는 어레이 구조, 예를 들어, 선형 어레이로 배열된 지향성 마이크로폰을 사용하는 것이 일반적이다. 지향성 마이크로폰뿐만 아니라 무지향성 마이크로폰, 또는 두 가지 유형의 마이크로폰의 조합뿐만 아니라 상이한 마이크로폰 어레이 구성을 사용하는 것은 본 발명의 범위 내에 있다.

이러한 빔포밍은 매립된 SOC 시스템에서 실행되는 프로그램의 제어 하에 매립된 DSP로 수행될 수 있다.

다른 유형의 센서, 예를 들어, 자이로스코프 센서, 거리 측정 센서 등이 안경테에 매립될 수 있으며 이러한 센서 출력은 예를 들어, 마이크로폰 빔포밍이 이루어져야 할 때마다 구성될 수 있는 SOC 시스템이 만드는 결정 루프의 일부일 수 있다.

부분 난청을 가진 사람이 추가적으로 시력 문제를 갖는 경우, 본 발명에 따른 안경테는 안경테 착용자의 시각적 지각을 향상시키도록 구성될 수 있는 매립된 비디오 카메라를 포함할 수 있다. 매립된 비디오 시스템 및 마이크로폰은 거리의 쓰레기통, 다가오는 자동차, 지저귀는 새 등과 같은 일반적인 물체의 윤곽을 검출하도록 구성될 수 있고 SOC 시스템은 안경테 착용자의 외이도에 삽입 가능한 이어버드를 통해 안경테 착용자에게 각각의 물체를 나타내는 가청 음성 메시지를 전달하도록 구성될 수 있다. 다른 물체를 인식할 수 있는 이러한 가능성은 또한 예를 들어, 새의 지저귐으로부터 새와 새에 대한 방향을 식별하는 일부 빔포밍 시나리오에서 이용될 수 있다. 그 후, 예를 들어, 안경 프레임이 예를 들어, 새의 방향을 향하여 회전될 때 식별된 자이로스코프 센서 판독에 기초하여 또는 방향을 식별하기 위해 마이크로폰 어레이를 사용함으로써 해당 방향으로 빔포밍이 이루어질 수 있다.

본 발명의 실시예의 예에서, 안경테는 예를 들어, WIFI 통신을 통해 스마트폰과의 통신을 제공하도록 구성된다. 본 발명에 따른 안경테의 향상된 기능을 제공할 수 있는 어플리케이션의 예가 있다. 예를 들어, 녹음된 새의 지저귐에 기초하여 새의 이름을 식별할 수 있는 "WHATBIRD"라고 칭하는 앱이 있다. 더 많은 정보는 www.whatbird.no에 있다. 이것은 시력 문제에 대한 해결책이 가능한 히어링 문제에 대한 해결책을 제공하고 그 반대의 경우도 마찬가지인 상황의 일 예이다.

본 발명은 안경테에서 선택된 개수의 매립된 마이크로폰으로부터 오디오 신호를 수신하는 적어도 하나의 매립된 디지털 신호 프로세서(DSP)를 갖는 안경테를 포함하는 보청기 시스템을 제공하고, DSP는 매립된 마이크로폰의 마이크로폰 빔포밍과 같은 상이한 오디오 신호 프로세싱 단계와 마이크로폰 증폭 계수 조정 등과 같은 일반적인 제어를 제공하도록 구성된다. 안경테는 DSP로부터 안경테 착용자의 외이도에 삽입 가능한 적응된 이어버드로 오디오 신호를 무선으로 전달하도록 구성된다.

마이크로폰 빔포밍은 구성된 마이크로폰 어레이에 대해 특정 위치(또는 음원 방향)로부터의 사운드 신호를 증폭하는 반면, 다른 방향 또는 인접한 음원으로부터의 사운드 신호는 음소거되거나 감쇠된다. 이러한 가능성은 착용자에게 관심이 없는 경쟁 음원을 필터링 아웃(filtering out)하기 위한 본 발명의 실시예의 예를 사용하여 착용자를 돕는다. 이것은 부분 난청을 가진 사람이 경쟁 음원이 감쇠될 때 사람의 음성을 훨씬 더 명확하게 들을 수 있도록 도울 수 있다.

본 발명의 실시예의 일 예에서, 안경테는 안경테의 전방 측면 상에 위치된 마이크로폰의 제1 세트, 안경테의 2개의 다리 중 제1 다리 상에 위치된 마이크로폰의 제2 세트, 및 안경테의 2개의 다리 중 제2 다리 상에 위치된 마이크로폰의 제3 세트를 포함할 수 있다.

마이크로폰의 각각의 개별적인 세트는 마이크로폰 빔포밍 이론으로부터 알려진 바와 같이 브로드사이드 어레이(Broadside Array)로 구성될 수 있거나, 마이크로폰의 제1 세트 및 제2 세트로부터의 선택된 개수의 마이크로폰, 또는 마이크로폰의 제1 세트 및 제3 세트로부터의 선택된 개수의 마이크로폰은 예를 들어, 엔드파이어 어레이(Endfire Array)로서 배열될 수 있다.

그러나, 빔포밍은 또한 부분 난청을 갖는 사람이 그 일부인 시나리오 유형에 따른다. 위의 빔포밍의 예는 예를 들어, 대화가 두 사람 사이 또는 한 사람과 한 마리의 새 사이에 있는 상황을 나타낸다. 다른 유형의 시나리오는 부분 난청을 가진 사람이 예를 들어, 적어도 두 명의 다른 사람과 회의에 참가하는 경우일 수 있다.

따라서, 존재할 수 있는 문제는 예를 들어, 즉, 회의의 이러한 예에서와 같이 하나 초과의의 음원을 커버하기 위해 빔포밍 로브 폭을 증가시키는 방법이다.

또 다른 시나리오는 부분 난청을 가진 사람이 부분 난청을 가진 사람에게 무언가를 말하려는 다른 사람의 음성을 가릴 수 있는 많은 노이즈가 존재하는 거리를 걷고 있는 것일 수 있다.

그러나, 예를 들어, 부분 난청을 가진 사람에게 접근하는 자동차에서 오는 노이즈를 필터링하면 접근하는 자동차와 관련된 가능한 위험을 마스킹 아웃(masking out)할 수 있으므로 위험할 수 있다. 따라서, 어떻게 일부 다른 음원을 배제하지 않고 음원들 사이에서 구별하고 특정 음원을 향한 빔포밍을 제공할 수 있는지에 대한 가능한 문제가 존재할 수 있다. 예를 들어, 자동차, 자전거, 오토바이 등과 같은 접근하는 물체를 검출할 수 있는 다른 유형의 센서가 본 발명의 안경테 내부에 매립될 수 있다.

시골의 마을과 같은 풍경에서 걸을 때, 산 속이나 숲 속 등을 걸을 때에도 유사한 시나리오가 존재한다.

따라서, 매립된 마이크로폰의 다른 그룹 사이에서 배열하기 위해 하나 초과의 공간 빔포밍 로브가 필요할 수 있다. 또한, 사운드의 가능한 원점은 검출이 필요할 수 있다.

또 다른 시나리오는 기차에 앉아 앞에 앉아 있는 사람과 이야기하는 경우일 수 있다. 본 발명에 따른 빔포밍은 정확할 수 있으며, 이에 의해 당신 앞의 사람과의 양호한 가청 접촉을 가능하게 한다. 이러한 날카로운 빔포밍은 또한 단점을 갖는다. 예를 들어, 당신이 당신의 손에서 떨어진 일부 서류를 찾거나 당신의 티켓 등을 찾기 위해 몸을 구부려야 할 필요가 있는 경우, 이러한 액션에는 일정 시간이 걸릴 수 있다. 이러한 간격 동안 당신의 날카로운 빔포밍은 바닥을 향해 아래쪽으로 가리킬 것이며, 가청 접촉이 상실되거나 심각하게 줄어든다.

따라서, 마이크로폰 빔포밍은 본 발명에 따른 안경테 시스템을 착용한 머리의 움직임에 따를 수 있다. 매립된 자이로스코프 센서는 이러한 움직임을 검출하는 데 사용될 수 있으며, 시스템은 이러한 움직임이 검출되는 경우 앞에 앉아 있는 사람과 바닥을 향한 아래 모두를 커버하도록 마이크로폰 빔포밍 로브를 수정하도록 적응될 수 있다. 머리가 위쪽으로 움직이는 것이 검출되면, 원래의 빔포밍 로브가 다시 활성화될 수 있다. 마이크로폰 빔포밍은 본 발명에 따른 안경테 배향의 변화를 고려해야 한다.

도 1은 본 발명에 따른 보청기 시스템의 통상적인 구성을 도시한다. 안경 다리의 커버가 제거된 안경테(10)가 도시되어 있다. 안경 다리 내부에는 DSP 회로, 블루투스(Bluetooth) 통신 인터페이스, SOC 칩(System On a Chip)과 같은 제어기 등과 같은 프로그래밍 가능한 전자 기기가 위치된다. 배터리 및 다른 필요한 로직/전자 기기도 안경 다리에 매립되어 있으며 또한 가능하게는 안경을 유지하는 안경테 전방 부분 내부에 매립된다. 안경테 내부에 매립된 DSP 회로는 양쪽 안경 다리, 즉, 좌측 및 우측 안경 프레임 내부에 매립될 수 있으며, 이에 의해 2개의 DSP 회로가 사용될 수 있다. 이러한 상황에서 두 DSP 회로 중 하나는 일반적으로 마스터 디바이스로서 구성되는 반면 다른 DSP 회로는 슬레이브 디바이스로서 구성되며, 즉, 마스터 디바이스에 의해 제어된다. 마스터 DSP 디바이스는 인간의 이도(ear channel)에 삽입될 수 있는 이어버드(55)(또는 인-이어-헤드폰(in-ear-headphone))와 무선으로 통신하고 있다.

좌측 귀의 이도에 이어버드(55)가 삽입되고 우측 귀에 다른 이어버드(55)가 삽입될 때, 좌측 안경 다리의 DSP는 좌측 이도 내부의 이어버드와 무선으로 통신하고 우측 안경 다리의 DSP는 우측 귀의 이어버드(55)와 통신한다. 통신은 마스터 DSP 디바이스의 제어 하에 있지만, 이러한 구성은 양쪽 귀에 동시에 다른 사운드가 전달될 수 있게 한다. 이러한 특징은 사용자의 좌측 및 우측에 각각 있는 음원을 나타내는 사용자에 대한 사운드 환경을 제공할 것이다. 이러한 목적으로 우측 안경테와 좌측 안경 다리 상의 마이크로폰 어레이가 사용될 수 있다.

부분 난청을 가진 사람이 추가로 시력 문제도 갖는 경우, 본 발명에 따른 안경테는 안경테 착용자에 대한 시각적 지각을 향상시키도록 구성될 수 있는 매립된 비디오 카메라를 포함할 수 있다. 매립된 비디오 시스템 및 마이크로폰은 거리의 쓰레기통, 다가오는 자동차, 지저귀는 새 등과 같은 일반적인 물체의 윤곽을 검출하도록 구성될 수 있고, SOC 시스템은 안경테 착용자의 외이도에 삽입 가능한 이어버드를 통해 안경테 착용자에 대해 각각의 물체를 나타내는 가청 음성 메시지를 전달하도록 구성될 수 있다. 상이한 물체를 인식할 수 있는 이러한 가능성은 예를 들어, 새 소리로부터 새를 식별하고 예를 들어, 안경테의 전방 측면에 대한 새의 방향을 식별하는 일부 빔포밍 시나리오에서 이용될 수 있다. 그 후, 예를 들어, 자이로스코프 센서 판독에 기초하여 해당 방향으로 빔포밍이 이루어질 수 있다.

본 발명의 실시예의 일 예에서, 안경테는 예를 들어, WIFI 통신을 통해 스마트폰과의 통신을 제공하도록 구성된다. 본 발명에 따른 안경테의 향상된 기능을 제공할 수 있는 어플리케이션 프로그램의 예가 있다. 예를 들어, 녹음된 새의 지저귐에 기초하여 새의 이름을 식별할 수 있는 "WHATBIRD"라고 칭하는 앱이 있다. 더 많은 정보는 www.whatbird.no에 있다. 이것은 시력 문제에 대한 해결책이 가능한 히어링 문제에 대한 해결책을 제공하고 그 반대의 경우도 마찬가지인 상황의 일 예이다.

모바일 폰(56)이 또한 위에서 논의된 바와 같은 보청기 시스템의 일부일 수 있다. 도 1 및 도 6에는 사용자 특정 설정을 안경테(10)에 전달하는 이퀄라이저(equalizer)로서의 역할을 하는 모바일 폰의 어플리케이션 프로그램이 도시되어 있으며, 여기서 예를 들어 SOC 회로는 이어버드(55)에 제공된 오디오 신호에 대한 요청된 주파수 변화를 채용하도록 DSP 회로에 명령하거나 이를 재프로그래밍한다.

도 2를 참조하면, 안경테(10)의 전면(12)이 도시되어 있다. 안경 전면(12)의 상부에는 안경테 전면에 대해 전방을 향하는 4개의 디지털 무지향성 마이크로폰(13a, 13b, 13c, 13d)이 구성된다. 마이크로폰은 브로드사이드 마이크로폰 어레이로 배열될 수 있다. 또한, 콧대 바로 위에 위치된 안경테 전면에 매립된 비디오 카메라(15)가 있다. 안경테 전면의 각 모서리에는 안경 다리가 연결된 부분에 인접하여 한쪽 모서리에 마이크로파 변환기(11)가 있고 반대쪽에 위치된 모서리에 마이크로파 마이크로폰(14)이 있다. 마이크로파 변환기(11)에 의해 방출된 마이크로파는 예를 들어 인간의 얼굴에 의해 반사되어 마이크로파 마이크로폰(14)에 의해 수신될 수 있다. 마이크로파의 방출과 검출 사이의 경과된 시간 범위를 측정함으로써 예를 들어, 안경테가 향하고 있는 인간 얼굴까지의 거리가 계산될 수 있다.

도 2의 도시된 예에서 사용된 디지털 무지향성 마이크로폰은 예를 들어, DSP 회로의 마이크로폰 입력이 어떻게 설계되었는지, 디지털 또는 아날로그인지 등에 따라 다른 유형의 마이크로폰으로 교체될 수 있다. 또한, 무지향성 마이크로폰은 지향성 마이크로 교체될 수 있거나, 마이크로폰은 무지향성 마이크로폰과 지향성 마이크로폰의 혼합이다. 마이크로폰의 선택은 시스템이 DSP 회로에 업로드할 각 파라미터를 계산하는 데 사용할 수 있는 빔포밍 알고리즘에 영향을 미쳐 DSP가 설계된 빔포밍 로브에 따라 각 마이크로폰 출력을 조작하게 할 수 있다. 본 개시에 예시된 예에서는, 무지향성 마이크로폰이 사용된다.

도 3은 안경 다리(19)의 구성의 일 예를 도시한다. 도 3의 예에서, 마이크로폰 브로드 사이드 어레이로서 배열될 수 있는 6개의 무지향성 마이크로폰(13e, 13f, 13g, 13h, 13i, 13j)이 배열된다. 또한, 다가오거나 안경 다리가 향하고 있는 측면 상의 안경테 착용자에 근접하고 있거나 가까이 근접해 있는 물체 또는 사람까지의 거리를 측정하는 데 사용될 수 있는 마이크로파 마이크로폰(14a) 및 마이크로파 변환기(11a)가 있다. 6개의 마이크로폰(13e, 13f, 13g, 13h, 13i, 13j)의 마이크로폰 빔포밍의 일부인 것 외에도, 거리 측정은 또한 본 발명에 따른 안경테 내부에 매립된 사회적 거리 버저(buzzer) 어플리케이션의 일부일 수 있다.

안경테의 전면과 안경테의 다리 상의 각각의 마이크로폰은 빔포밍 알고리즘에서 사용될 때 다른 특성을 갖는 다른 마이크로폰 어레이로 구성될 수 있다. 안경테 주변의 마이크로폰 중 적어도 일부는 서로 독립적으로 상이한 빔포밍 로브를 지원하는 데 사용될 수 있는 상이한 어레이로 그룹화될 수 있거나, 각각의 어레이에서 마이크로폰의 일부 그룹은 함께 동작하도록 구성될 수 있다.

안경 다리(19)의 단부에는 본 발명에 따른 안경테 내부의 전자 기기용 배터리를 지지하도록 구성된 제거 가능한 섹션(16)이 있다. 예를 들어, 제거 가능한 부품(16)에 위치될 수 있는 소형 레이더 시스템(또는 도플러(doppler) 시프트 검출기)과 같은 다른 유형의 센서에 대한 지지를 제공하는 것도 본 발명의 범위 내에 있으며, 여기서 레이더는 본 발명에 따른 안경테 착용자의 뒤에서 오는 자동차와 같은 접근하는 물체에 대해 경고하도록 구성될 수 있다.

도 3은 또한 본 발명에 따른 안경테 착용자가 예를 들어, 상이한 검출 가능한 움직임 패턴으로 센서 표면에 걸쳐 움직이는 손가락을 사용함으로써 안경테의 구성된 시스템과 상호 작용할 수 있게 하는 제스처 검출 센서를 포함할 수 있는 안경 다리 표면의 영역(18)을 도시한다.

또한, 다른 유형의 센서를 지지하는 데 사용될 수 있는 선택적 영역(17)이 있다.

안경 다리(19)가 본 발명에 따른 안경테(10)에서 교체될 수 있다는 것은 본 발명의 범위 내에 있다. 이는 예를 들어, 안경테를 업그레이드해야 할 필요가 있을 때, 다른 유형의 센서가 필요할 때 또는 시스템의 새로운 버전을 사용할 수 있을 때 수행될 수 있다.

안경테의 전면부 내부에 매립된 전자 기기는 종래 기술에 알려진 바와 같이 가요성 또는 휨성 인쇄 회로 기판으로 안경 다리에 매립된 전자 기기에 연결될 수 있다.

도 4는 마이크로폰 빔포밍을 도시한다. 빔포밍의 극도표(polar plot)가 도시되어 있다. 도면 A에서 원의 중심은 도 2에 도시된 바와 같이 안경테 전면 상에 있는 것과 같은 마이크로폰 어레이이다. 빔포밍은 특정 사람(20)을 향해 지향되고 마이크로폰 빔포밍 로브(21)는 특정 사람(2)을 향해 지향된다. 본 발명에 따른 안경테(10)의 착용자는 도면 B에 도시된 바와 같이 임의의 시간에 다른 사람(23)에 대해 초점을 시프팅할 수 있다. 빔포밍(22)은 도면 A의 빔포밍과 유사하다. 도면 A의 상황으로부터 도면 B에 도시된 상황으로 초점을 시프팅할 때 안경테를 착용한 사용자는 도면 A의 사람(20)으로부터 도면 B의 사람(23)으로 사용자의 머리를 돌리고 있다. 그러나, 빔포밍은 안경테 전면의 마이크로폰 어레이에 대한 것이므로 이러한 두 상황 사이에서 빔포밍을 변경할 필요는 없다.

그러나, 안경테 착용자는 선택적으로 그의 머리의 측면으로부터도 더 잘 듣기를 원할 수 있다. 안경테(10)의 다리(19)의 실시예의 예에 도시된 마이크로폰(13e, 13f, 13g, 13h, 13i, 13j)은 안경테의 전면과 안경테의 다리 모두에서 마이크로폰 어레이의 마이크로폰 빔포밍 로브(21, 22)를 형성하는 부분일 수 있다. 그러면 빔포밍은 전면뿐만 아니라 안경테의 측면으로부터도 음성을 포착할 수 있다. 이러한 설정은 제스처 검출을 통해 안경 시스템에 전달될 수 있다.

세그먼트화된 공간 빔포밍을 제공하는 것도 본 발명의 범위 내에 있다. 위에서 논의된 예를 참조하면, 안경테(10)의 전면(12) 상의 마이크로폰(13a, 13b, 13c, 13d)은 시선 방향으로 전방을 가리키는 제1 빔포밍 로브를 규정하는 데 사용될 수 있는 반면, 안경테(10)의 다리(19) 상의 마이크로폰(13e, 13f, 13g, 13h, 13i, 13j)은 예를 들어, 안경테의 다리 상의 무지향성 마이크로폰 어레이에 대해 수직인 방향으로 가리키는 제2 빔포밍 로브를 형성하는 데 사용될 수 있다. 제2 빔포밍 로브가 다른 방향, 예를 들어 시선 방향으로 전방 또는 시선 방향의 반대 방향을 가리킬 수 있는 것도 본 발명의 범위에 속하며 이는 안경테의 측면으로부터 오거나, 안경테의 전면으로부터 오거나 안경테의 후방으로부터 오는 사운드를 더 잘 들을 수 있게 한다.

제3 빔포밍 로브가 제2 빔포밍 로브를 지원하는 다리 반대편의 안경테의 다리 상에 위치된 마이크로폰 어레이로 규정될 수 있는 것도 본 발명의 범위 내에 있다.

도 7을 참조하면, 안경테 착용자가 마이크로폰 빔포밍을 그래픽으로 변경할 수 있게 하는 마이크로폰 빔포밍을 가능하게 하는 그래픽 인터페이스의 도면이 도시된다. 예를 들어 아날로그 디바이스는 이러한 종류의 앱에 일부 DSP 회로에 대한 그래픽 인터페이스도 공급하는 DSP 회로의 공급자이다. 여하튼, 이와 같은 빔포밍은 안경테(10) 내부에 매립된 SOC 시스템에서 실행되는 어플리케이션 프로그램에 의해 제어된다. 아날로그 디바이스로부터의 DSP 회로를 포함하는 임의의 DSP 회로는 예를 들어, 마이크로폰 빔포밍을 제공하는 특수 알고리즘의 개발을 가능하게 하는 일반 프로그래밍 유틸리티를 갖는다.

이와 같은 빔포밍은 종래 기술에서 알려진 기술이다. 마이크로폰 빔포밍을 만들 때 존재할 수 있는 알려진 어려움의 일 예는 앨리어싱(aliasing)이라는 현상이다. 도 6을 참조하면, 본 발명에 따른 어플리케이션의 일 예가 도시된다. 안경테의 안경 다리에 통합된 DSP와 통신하는 모바일 폰의 이퀄라이저 인터페이스는 사용자가 특정 주파수 범위와 관련된 부분 난청을 보상하는 데 도움이 될 수 있다. 이러한 주파수가 변경되면 빔포밍과 관련된 앨리어싱 문제가 증폭될 가능성이 있다.

도 5는 논문 "마이크로폰 배열을 사용한 견고한 음성 인식(Robust Speech Recognition using Microphone Arrays)", 박사 논문, Queensland University of Technology, 호주, 2001에서 A. McCowan에 의해 개시된 마이크로폰 빔포밍 알고리즘의 일 예를 그래픽으로 도시한다. 이러한 아키텍처로 마이크로폰(13a, 13b, 13c, 13d, 3e, 13f, 13g, 13h, 13i 등)으로부터의 마이크로폰 출력은 상이한 패턴으로 함께 합산된다.

광대역 신호를 커버할 때, 어레이를 일련의 서브-어레이로 구현할 수 있으며, 이는 그 자체가 균일한 간격의 선형 마이크로폰 어레이이다. 이러한 마이크로폰 서브-어레이는 주어진 주파수 범위에 대해 원하는 응답 특성을 제공하도록 설계된다.

이러한 아키텍처의 일 양태는 주파수가 증가할 때 일정한 빔 폭을 유지하기 위해 더 작은 마이크로폰 어레이 길이가 필요하다는 것이다. 또한 사이드로브 레벨이 상이한 주파수 대역에 걸쳐 동일하게 유지되도록 보장하기 위해 각각의 서브-어레이의 요소의 개수가 동일하게 유지되어야 한다. 서브-어레이는 일반적으로 네스티드(nested) 방식으로 구현되어, 임의의 주어진 센서가 하나 초과의 서브-어레이에서 사용될 수 있다. 각각의 마이크로폰 서브-어레이는 대역-통과 필터를 적용하여 상이한 주파수 범위로 제한되며, 전체 마이크로폰 광대역 어레이 출력은 대역-제한 마이크로폰 서브-어레이의 출력을 재결합하여 형성된다. 이러한 가능성으로 인해, 도 6을 참조하여 위에서 논의된 바와 같이 이퀄라이저를 결합하는 것이 가능하다. 각각의 대역 통과 필터의 주파수는 이퀄라이저 설정에 적응될 수 있다.

위에 언급된 바와 같이, 비디오 카메라(15)가 본 발명에 따른 안경테의 전방 측면(12) 상에 매립될 수 있다. 도 8은 중간 섹션(미도시)에 비디오 카메라를 포함하는 마이크로폰 어레이(37)의 측면도를 도시한다. 카메라는 마이크로폰 어레이(37)로부터 거리(39)에서 얼굴(28)을 바라본다. 거리는 얼굴(28)의 전방을 통과하는 평면까지인 것으로 도시되어 있다. 얼굴(41)의 높이는 측면 라인(38, 40)의 기울기를 규정하며 얼굴의 높이를 나타내는 평면과 함께 평면에서 삼각형을 구성하지만, 이는 3차원에서 원뿔이며, 즉, 이러한 원뿔은 얼굴(28)을 리스닝할 때 원하는 빔포밍을 나타낸다.

이것은 도 9에 도시되어 있으며, 여기서 빔포밍 로브(43)는 도 8의 삼각형 내부에 배열된다. 또한 도 6에 도시된 바와 같이 알고리즘에 대한 파라미터의 적절한 선택에 의해 제거되거나 감소될 수 있는 일부 사이드 로브가 도시된다.

빔포밍 로브(43)는 라인(38, 40, 41)에 의해 규정된 삼각형 내부에 맞는 주변부(42)를 갖는다. 도 8을 참조하면, 거리(39)가 감소될 때 빔포밍 어레이(37)의 비디오 카메라(15)에 의해 보여지는 투시도는 비디오 카메라에 의해 보여지는 것과 같이 높이(41)를 비례적으로 증가시킬 것이다. 거리(39)가 증가하면 비디오 카메라(15)에 의해 보여지는 투시도는 비디오 카메라에 의해 보여지는 것과 같이 높이(41)를 비례적으로 감소시킬 것이다.

따라서, 마이크로폰 어레이로부터 음원(또는 물체)을 향한 거리와 음원(또는 물체)의 높이(또는 폭)를 측정하는 것은 도 9에 도시된 바와 같이 빔포밍 로브(43), 즉, 빔포밍 로브의 폭을 규정하는 기초가 될 수 있다.

도 10은 참가자가 테이블에 둘러앉는 회의에 대한 통상적인 시나리오를 도시한다. 사람 B는 본 발명에 따른 안경테(10)를 착용하고 있다. 비디오 카메라(15) 및 비디오 이미지 프로세싱은 사람 C, D, E 및 F가 카메라의 시야 내에 있다는 것을 검출할 수 있다. 사람 A도 회의에 참여하고 있지만 비디오 카메라(15)의 시야 밖에 있다. 사람 B에 의해 지지되는 안경테(10)의 우측 안경 다리(19) 상에는 위에서 논의한 바와 같은 마이크로폰 어레이가 있다. 각각의 마이크로파 디바이스(11a, 14a)로 거리 측정을 수행할 가능성도 있다. 이에 의해 사람 A를 향하는 안경 다리(19) 상에 위치된 마이크로폰 어레이에 기초한 빔포밍이 가능하다. 이것은 안경테의 양쪽 측면 상에서 수행될 수 있다. 이에 의해 안경테는 3개의 상이한 포인팅 빔포밍 로브로 구성된다.

본 발명의 실시예의 일 예에서, 자이로스코프 센서는 안경테 시스템의 일부일 수 있다. 자이로스코프 센서가 위에서 논의한 바와 같이 머리의 방향 변화를 검출하면 로브의 폭을 변경시킬 수 있으며 이에 의해 모든 사람 B, C, D, E, F 및 G를 포함하는 로브를 증가시킬 수 있다. 또 다른 가능성은 보청기 시스템이 단지 하나의 좁은 빔포밍 로브로 구성된다는 것이다. 이러한 로브 기하 형태는 안경테 착용자가 동일한 로브를 유지하게 허용하면서 착용자가 각각의 사람 B, C, D, E, F 및 G를 향해 한 번에 하나씩 머리를 회전시켜 각각의 사람에 대해 우수한 히어링 품질을 갖도록 할 수 있다.

그러나, 여러 사람이 있는 회의에서는, 동시에 모든 사람의 말을 어느 정도 들을 수 있는 것이 필요할 수 있다.

위에서 논의된 빔포밍 로브의 폭의 증가는 로브의 중심 라인 주위에서 대칭적으로 수행되지 않을 수 있다. 예를 들어, 자이로스코프가 우측으로의 안경테의 움직임을 검출하면, 로브의 좌측은 사람들의 위치에 대해 안정적으로 좌측이 될 수 있으며, 로브의 우측은 로브의 우측이 회전하는 안경테의 움직임을 따르는 것처럼 증가된다. 안경테가 이러한 프로세스의 개시를 향해 후방으로 회전되면 로브의 우측은 다시 후방으로의 머리의 움직임을 따를 수 있다. 이것은 빔포밍 로브의 형상 및 폭을 제어하기 위해 자이로스코프 판독을 사용하여 달성될 수 있다.

도 11은 예를 들어, 안경테(10)의 전면(12) 상에 위치된 비디오 카메라(15)를 직접 향하고 있는 머리(26)를 포함하는 비디오 프레임을 도시한다. 안경테(10)는 비디오 신호를 비디오 프로세서 또는 예를 들어 SOC 컴퓨터 시스템에서 실행되는 프로그램으로서 구현되는 비디오 프로세스에 전달한다. 비디오 프로세스는 얼굴 검출을 제공하도록 구성된다. 이러한 프로세스는 얼굴 인식과는 다르다. 얼굴 검출의 목적은 예를 들어, 사람의 아이덴티티를 알 필요 없이 비디오 프레임에서 인간의 얼굴인지 확인하는 것이다. 얼굴 검출 알고리즘에 관한 문헌에는 여러 프로그램이 있다. 그러나, 본 발명의 일 양태는 가능한 한 전력 소비를 감소시키는 것이며 이는 더 단순한 알고리즘의 사용을 필요로 한다.

본 발명의 일 양태에 따르면, 예를 들어, 광학 문자 인식 기술로부터 도출된 기술을 사용하여 얼굴 검출이 단순화될 수 있다. 예를 들어, 도 12를 참조하면, 머리(26)의 이미지의 픽셀 버전은 얼굴 윤곽(28) 주위에 구역을 가질 것이며, 이는 OCR 기술에서 알려진 바와 같이 에지 검출로 검출할 수 있다. 얼굴 윤곽(28)은 그것이 흑백 이미지이거나 인접한 픽셀 사이의 컬러 변화인 경우 윤곽 주위의 인접한 픽셀 사이의 그레이 스케일(grey scale) 레벨의 뚜렷한 변화를 남길 것이다. 이러한 컬러 또는 그레이 스케일 레벨의 변화는 윤곽(28)을 나타낸다. 전체 윤곽(28)을 정확하게 검출할 필요는 없으며 원(27)이 얼굴 이미지 위에 부과될 수 있도록 부분만 검출하면 된다. 높은 정확도가 필요하지 않다. 원이 제자리에 있으면, 도 13에 개시된 바와 같이 이미지 상에 좌표계가 부과될 수 있다. 수평 라인(29)과 수직 라인(30)에 의해 형성된 정사각형 또는 직사각형은 얼굴의 이미지 위에 정사각형을 형성하며, 이는 인간의 얼굴인지 또는 아닌지를 식별할 수 있는 생체 정보 검색을 단순화시킨다. 얼굴 인식 시스템으로부터 각각의 눈 사이의 상대적 위치 및 각각의 눈과 입 사이의 거리에 관한 생체 정보는 알려진 한계 내에 있어야 한다. 다른 특징은 콧대, 입술 윤곽, 귀, 턱 등의 상대적인 위치일 수 있다.

그러나, 이러한 특징은 사람의 인식이 검출의 객체인 경우에 사용한다. 본 발명의 범위 내에서, 눈 위치의 식별은 이미지가 인간의 이미지임을 검출하는 핵심이다. 눈에 대한 입의 위치 및 입의 검출을 추가하여 추가 확인이 이루어질 수 있다. 본 발명에 따른 얼굴 검출의 목적은 사람의 아이덴티티를 검출하는 것이 아니라 단지 인간의 얼굴임을 검출하는 것이다.

도 13을 참조하면, 직사각형(36)은 정사각형의 위치와 사람의 눈이 원(27) 내부에 위치될 가능성이 가장 높은 곳을 나타내는 생체 데이터의 일반적인 지식에 의해 주어진 위치에서 얼굴 이미지 위에 위치된다. 직사각형(36)은 생체적으로 알려진 눈 크기의 범위보다 더 크게 만들어진다. 직사각형(36)의 목적은 동공에 대한 패턴 검색 또는 템플릿 검색이 수행되어야 하는 곳을 나타내는 것이다. 컬러의 다른 그레이 스케일 컬러의 원형 중심을 갖는 타원형의 형성된 물체를 암시하는 눈 템플릿을 나타내는 템플릿이 위치된다. 직사각형(36)의 좌측 부분 내부에 위치한 이미지 위로 이러한 템플릿을 글라이딩(gliding)시킴으로써, 눈의 식별이 확립될 수 있다. 우측에 위치한 눈에 대해 동일한 절차가 수행될 수 있다. 일부 경우에, 이는 인간의 머리 윤곽(28)의 충분한 검출일 수 있다. 그러나, 사람 얼굴의 이미지에서 입을 검색하는 것도 본 발명의 범위 내에 있다. 직사각형(33)은 생체 데이터가 입의 위치가 정상인 곳을 알려주는 포션(potion) 위에 위치될 수 있다. 그 후, 직사각형(33)의 중앙 부분에서의 검색은 윗입술과 아랫입술을 나타내는 템플릿 매칭으로 수행될 수 있다. 각각의 거리(32, 34)는 추가 확인 기준으로서 사용될 수 있다.

이미지의 픽셀과 템플릿의 픽셀 간의 매칭은 간단한 상관 분석으로 수행될 수 있다. 상관에 대한 낮은 스코어는 유사성이 없음을 나타내고 높은 스코어는 높은 확률의 유사성을 나타낸다. 이러한 프로세스는 예시적인 이미지로 알고리즘의 훈련을 받을 수도 있다.

얼굴 검출 알고리즘의 결과가 결정적이지 않은 경우, 즉, 높거나 낮은 스코어 사이인 경우, 시스템은 구성된 음성 통신을 통해 안경테 착용자의 귀에 삽입된 이어버드(55)에 대해 사용자에게 묻고, 예를 들어 안경 다리(19) 상에 위치된 제스처 센서(18)에 의해 식별될 수 있는 예를 들어, 규정된 제스처를 수행함으로써 그것이 인간의 얼굴임을 확인하기 위해 안경테 사용자에게 묻도록 구성될 수 있다.

본 발명에 따른 안경테를 착용한 인간이 사람을 볼 수 있고 제스처 센서(18)에 의해 검출된 구성된 제스처를 통해 이에 대해 시스템에 알릴 수 있지만, 착용자를 향해 바라보는 얼굴이 양쪽 눈을 나타내는 것이 본 발명의 양태이다.

또한, 얼굴까지의 거리가 특정의 규정된 한계, 예를 들어, 10 미터 미만인 마이크로파 센서(11, 14)에 의해 수행된 범위 확인은 검출된 사람이 실제로 안경테 착용자와 대화할 수 있고 양쪽 눈이 검출되므로 그 사람이 안경테를 착용한 사람을 향한 방향으로 가능하게는 바라보고 있음을 어느 정도의 확실성으로 제공할 것이다.

그렇지 않으면, 안경테 착용자는 안경테의 빔포밍 기능을 사용하여 동의 없이 다른 사람의 대화를 감시하거나 들을 수 있다. 따라서, 가능하게는 대화에 참여하고 있는 사람, 즉, 제한된 거리 내에서 안경테 착용자를 향해 바라보고 있는 사람들만을 향해 마이크로폰 빔포밍을 가능하게 하는 것은 본 발명의 범위 내에 있다.

그러나, 히어링 문제에 추가하여 본 발명에 따른 안경테 시스템을 착용한 사람이 제한된 시력을 갖는 본 발명의 실시예의 일부 예에서, 매립된 비디오 프로세서는 각각의 사람의 다운로드된 사진에 기초하여 다른 사람의 세트의 얼굴 인식을 제공하도록 구성될 수 있으며, 여기서 시스템은 인식된 각각의 사람의 이름을 포함하는 음성 메시지를 전송하도록 구성되다. 이러한 사람은 가까운 친척 및/또는 친구, 동료 등이 될 수 있다.

도 14는 비디오 카메라의 시야에 대한 상이한 머리 위치의 샘플을 도시한다. 도 11의 이미지 E만이 카메라를 향해 지향되는 두 눈을 보여주는 위에서 설정한 기준을 충족한다. 이미지 D와 F는 가능하게는 더 낮은 확률로 식별될 수 있으며 확인을 요청하도록 시스템을 트리거링할 수 있다. 해당 사람(들)이 시선을 돌리고 있으므로 확인에 대한 응답은 아니오가 되어야 하거나, 안경테 착용자가 이 사람과 대화를 원한다고 확인한다.

도 8은 예를 들어, 안경테(10) 상의 마이크로폰 어레이(37)로부터 거리(39)에 있는 인간의 얼굴(28)의 검출로 빔포밍의 예가 개시될 수 있는 방식을 도시한다. 얼굴의 높이(41)는 일반적으로 얼굴의 폭보다 크므로, 마이크로폰 어레이의 중심에 원점이 있는 원뿔을 규정하는 데 사용되며 원뿔의 측면 라인(38, 40)은 평면 관점에서 삼각형을 구성한다. 거리(39)가 가변적일 수 있기 때문에, 즉, 사람이 안경테로부터 1 미터 떨어져 있거나 안경테로부터 10 미터 떨어져 있을 수 있기 때문에 얼굴(41)의 높이는 원근 양태로 인해 거리(39)의 함수로 상이할 것이다. 얼굴이 더 떨어져 위치될수록 높이(41)가 더 작아질 것이다. 그러나 1 미터의 거리에서 얼굴의 알려진 표준 높이 또는 평균 높이 사이의 관계는 예를 들어, 10 미터 거리에서 얼굴 높이의 원근 감소를 계산하는 데 쉽게 사용될 수 있다. 따라서, 올바른 삼각형의 치수를 계산하는 것이 가능하다. 이것이 완료되면 빔포밍이 수행되어야 하고 도 13에 개시된 바와 같은 빔포밍 로브(42)가 DSP에 의해 계산되고 프로세싱되어야 한다. 거리 라인(39)을 따른 로브(42)의 길이는 마이크로폰 어레이(37)가 빔포밍 로브(42) 내부에서 명확하게 들을 수 있는 것의 임의의 형태의 제한을 나타내지 않는다. 빔포밍 플롯은 극도표이다. 그러나, 사운드의 증폭도 빔포밍의 일부이며, 예를 들어 DSP에서 규정된 한계까지 자동으로 조정되거나 예를 들어, 제스처 센서(18)에 의해 검출된 제스처 제어를 통해 안경테 착용자에 의해 수동으로 조정될 수 있다.

시스템이 처리할 수 있어야 하는 다양한 형상의 마이크로폰 빔포밍 로브가 있다. 일 양태는 위에서 논의한 바와 같이 거리 등에 기초하여 특정 로브를 계산하는 것이다. 그러나, 이는 배터리 전력을 필요로 할 수 있으며, 이는 안경테에서 가능한 한 많이 절약되어야 한다. 따라서, 사전 계산된 로브가 필요할 때마다 DSP에 업로드될 수 있는 상이한 빔포밍 로브를 규정하는 사전 계산된 파라미터를 갖는 것은 본 발명의 범위 내에 있다. 런타임으로 수정될 수 있는 이러한 마이크로폰 빔포밍 로브의 여전히 다른 부분이 있다. 예를 들어, 빔포밍 로브의 폭은 다른 파라미터에 영향을 미치지 않고 제한된 개수의 파라미터를 변경함으로써 조정될 수 있다. 이러한 능력은 본 발명의 예시적인 실시예에서 사용되는 DSP의 유형에 따른다.

위의 다양한 시나리오의 예는 예를 들어, 특정 DSP 회로와 함께 제공되는 구성 프로그램 또는 시뮬레이션 프로그램에 의해 사전 계산될 수 있는 일부 표준 빔포밍 로브를 필요로 한다. 그러나, 위에서 논의된 바와 같이, 자동으로 또는 특정 제스처의 검출과 같은 사용자 입력으로 인해 빔포밍 로브의 수정이 또한 필요하다.

예를 들어, 폭을 증가시킴으로써 빔포밍 로브를 적응시키는 것은 빔포밍 로브 폭을 증가시키거나 감소시키는 결과를 초래하는 머리의 각도 운동의 정도를 나타내는 자이로스코프 판독에 연결될 수 있다.

본 발명의 일 양태는 물체로/물체로부터의 거리의 변화 또는 각도 변화의 모든 측정이 각각의 마이크로폰 어레이를 지지하는 안경테 자체에 대한 것이라는 점이다. 따라서, 자이로스코프 판독에 의해 빔포밍 로브가 증가하는 경우, 각도 증가는 DSP 회로에서 빔포밍에 의해 초기에 설정된 빔포밍 로브의 방향에 추가된 상대적인 값일 수 있다. 따라서, 예를 들어, 각각의 변화 각도에 대해 규정된 상대적 각도 증가 또는 감소와 연관된 각각의 DSP 설정의 테이블을 가질 수 있다. 이러한 테이블은 SoC 회로의 메모리에 저장될 수 있으며, 자이로스코프가 방향 변화, 각도 증가 또는 감소를 검출하면, 변화 값을 사용하여 SoC 시스템에 의해 DSP로 업로드될 수 있는 각도 변화에 가까운 DSP 설정의 테이블을 페칭할 수 있다.

안경테의 전면에 대한 "제로" 방향은 규정된 제스처를 통해 또는 안경테와 통신하는 모바일 폰을 통해 안경테 사용자에 의해 임의의 시간에 설정될 수 있다.

새나 사람과 같은 물체에 대한 거리 변화로 인한 빔포밍 로브의 변화도 빔포밍 로브 폭의 차이로 링크될 수 있다. 예를 들어, 특정 거리에 있는 사람은 특정 치수의 빔포밍 로브 폭을 필요로 한다. 사람이 안경테를 향해 움직일 때 원근의 증가로 인해, 빔 폭은 움직이는 사람의 얼굴을 커버하도록 대응되게 증가되어야 한다. 사람이 멀어지게 움직이면 빔 폭이 감소되어야 한다. 물론 이러한 변경은 실제적인 이유로 제한된다. 안경테 바로 앞에 서 있는 사람은 빔포밍 로브에 의해 커버될 필요가 없다. 사람이 안경테로부터 먼 거리에 서 있을 때 최소 빔포밍 로브 폭은 디폴트(default) 폭으로 규정될 수 있다. 그러나, 이러한 모든 변화는 안경테의 위치에 상대적이며, 즉, 예를 들어, 안경테 착용자가 다른 사람에게서 멀어지고 사람도 멀어지면 거리가 증가한다.

따라서, 상이한 상대 거리 변화는 테이블에 저장된 상이한 빔포밍 로브와 연관될 수 있다. 거리 측정 센서에 의해 특정 거리 변화가 검출되면, 거리 변화의 값은 상대 값이며, SoC 시스템은 사전 계산된 가장 가까운 거리 변화에 대응하는 특정 테이블을 페칭하여 이러한 값을 DSP에 업로드하도록 구성될 수 있다.

"제로" 거리는 예를 들어, 제스처 입력으로 시스템을 초기화하는 사용자에 의해 설정될 수 있다.

각각의 마이크로폰 어레이 구성에 따라 검출된 각도 변화 및/또는 거리 변화를 이용하는 것도 본 발명의 범위 내에 있다. 사용 중인 어레이 구성에 따라 상이한 테이블을 만들 수 있다. 거리 측정 센서는 또한 안경테의 안경 다리 상에 매립될 수 있다. 따라서, 안경테의 각각의 측면 상에 규정된 빔포밍 로브의 빔포밍은 또한 안경테의 각도 변화뿐만 아니라 물체까지의 거리 변화에 대해 수정될 수 있다.

비디오 프레임 내부의 물체의 원근 증가/감소의 다른 양태는 객체의 움직임의 방향이 검출될 수 있다는 것이다. 각각의 거리 측정 센서를 또한 사용하여 물체의 움직임의 방향을 검출할 수 있다. 이러한 거리 측정이 고정된 주파수로 반복되면 거리의 변화율을 측정할 수 있고 물체의 속도를 측정할 수 있다. 이에 의해, 안경테를 향하거나 안경테로부터 멀어지는 속도와 방향이 확립될 수 있다. 예를 들어, 자동차와 같이 고속으로 접근하는 물체에 대해 경고하는 데 이것이 사용될 수 있다. 귀에 대한 음성 메시지는 안경테 착용자가 접근하는 것을 보기 위해 머리를 돌리도록 촉구할 것이다. 이것은 저하된 시력을 갖는 사람들에게 중요한 문제이다.

거리 및 거리 변화 측정의 다른 어플리케이션은 사회적 거리 버저(buzzer)를 구현하는 것일 수 있다. 예를 들어, 물체가 2 미터 이내로 접근하면 사회적 거리 버저 어플리케이션이 음성 메시지를 트리거링할 수 있고, 경고가 방출된다.

안경테 사용자가 히어링 상황을 자신의 필요에 맞게 적응하기 위해 그 중에서 선택할 수 있는 상이한 시나리오의 선택을 제공하는 것은 본 발명의 범위 내에 있다. 예를 들어, "인물 모드"는 한 번에 하나의 얼굴을 검출하고 각각의 검출된 얼굴에 대해, 그러나 안경테로부터 규정된 범위 내의 얼굴에 대해서만 최적화된 마이크로폰 빔포밍을 수행하는 것을 포함한다. 다른 모드는 "풍경 모드"일 수 있으며, 여기서 마이크로폰은 전체 주변을 들으며, 예를 들어, 위에 언급한 바와 같이 새를 식별한다.

이러한 특수 모드는 보다 일반적인 모드로부터 활성화될 수 있다. 예를 들어, "풍경 모드"는 새 소리를 듣도록 구성될 수 있으며, 본 발명에 따른 안경테 착용자가 새와 같은 음원을 향하여 머리를 돌리면 특수화된 "새 소리" 모드가 활성화될 수 있다.

또한, 음원으로부터 수신된 가청 사운드의 일부 분석을 제공하도록 보청기 시스템을 구성하는 것이 가능하며, 음파의 주파수 성분에 기초하여 인간 등에서 나오는 사운드를 특성화하는 것이 가능하다. 보청기 시스템은 음원이 인간의 말, 모터, 기차 또는 다른 유형의 음원인 경우 빔포밍이 가리키는 음원의 가청음을 사용하여 확률 계수를 계산하도록 구성될 수 있다.

본 발명의 실시예의 일 예에 따르면, 사용자 사양의 설정을 규정하는 사용자 프로파일은 상이한 히어링 모드의 실행의 일부일 수 있다.

도 15는 도 1에 도시된 바와 같이 안경테 내부에 매립된 기능적 디지털 회로 및 기능 블록을 포함하는 본 발명에 따른 안경테 시스템의 실시예의 일 예를 도시한다.

예를 들어, 디지털 마이크로폰(13)은 8개의 디지털 마이크로부터 오디오 입력을 수신할 수 있는, 예를 들어 아날로그 디바이스(Analog Device) ADAU1787 유형의 오디오 신호 프로세서(54)에 연결될 수 있는 TDK ICS-41251 유형일 수 있다. 위에서 논의된 바와 같이 안경테에는 2개의 DSP 디바이스가 있고, 각 안경테에 하나씩 있으며, 실시예의 일 예에서 6개의 마이크로폰이 동일한 다리에 매립된 DSP(54)에 연결 가능한 하나의 안경 다리에 매립될 수 있다. 또한, 안경테 전면에 매립된 4개의 마이크로폰 중 2개는 동일한 DSP(54)에 의해 제어될 수 있다. 다른 안경 다리는 다른 안경테에 있는 6개의 마이크로폰과 안경테 전방에 있는 4개의 마이크로폰 중 나머지 2개를 더한 것을 제어할 수 있다. TDK ICS-41251 마이크로폰에 대한 정보는 https://www.invensense.com/products/digital/ics-41351/에서 찾을 수 있다.

ADAU1787 DSP 회로는 https://www.analog.com/en/products/adau1787.html#product-overview 링크에 개시된 빔포밍 기능을 갖는다.

아날로그 디바이스는 또한 그래픽 사용자 인터페이스를 통해 빔포밍을 용이하게 하는 사용자 어플리케이션 프로그램을 공급한다. 이러한 그래픽 사용자 인터페이스는 또한 모바일 폰(56)에 설치될 수 있는 어플리케이션 프로그램으로서 이용 가능하다.

또한, ADAU1787은 완전히 프로그래밍 가능한 DSP 디바이스이며, 이는 위에서 논의한 바와 같이 사용자 프로필 및/또는 다른 보청기 모드에 규정된 상이한 사용자 선택 가능 옵션을 지원할 수 있다. 이러한 기능의 변경은 또한 본 발명의 보청기 시스템의 일부인 SoC 시스템에서 실행되는 프로그램에 추가하여, 본 발명의 보청기 시스템의 일부일 수도 있는 제스처 검출 시스템에 의해 검출될 수 있는 특정 제스처에 의해 개시될 수도 있다.

각각의 디지털 기능 시스템-블록을 제어하는 제어기(44)는 컴퓨터 시스템의 기능적 구성 요소를 포함하는 집적 회로인 SOC(System On a Chip)로 표기된 유형의 회로일 수 있다. SoC(44)의 사용은 본 발명의 안경테 시스템의 동작 양태를 구성하는 소프트웨어를 개발하는 것을 훨씬 간단하게 만든다. 개발 및 런타임은 Linux와 같은 운영 체제의 감독 하에 수행될 수 있다. 종래 기술은 본 발명의 실시예의 예에서 사용될 수 있는 SOC 시스템의 여러 예를 갖는다. 또한, Linux 구현을 위해 상이한 디바이스에 대한 디바이스 드라이버가 이용 가능하다.

얼굴 검출 기능을 제공하는 비디오 카메라(15)를 갖는 비디오 시스템은 예를 들어, B5T-007001일 수 있다. 링크 https://omronfs.omron.com/en_US/ecb/products/pdf/en-b5t.pdf를 참조한다.

비디오 시스템(15)은 위에서 논의된 얼굴 검출 알고리즘을 실행하도록 구성된 카메라(15a) 및 비디오 SOC(15b)를 포함할 수 있다.

본 발명의 실시예에서 사용될 수 있는 도플러 시프트 레이더 시스템은 예를 들어, 속도 도플러 레이더 MW0582TR11일 수 있다. 링크 https://www.seeedstudio.com/MW0581TR11-5-8GHz-Microwave-Doppler-Radar-Motion-Sensor-p-4366.html을 참조한다.

도 15는 시스템이 가속도계(51)를 포함할 수 있음을 추가로 도시한다. 가속도계(51)의 기능적 양태는 예를 들어, 안경테 상의 손가락 터치를 검출하는 것이다. 이러한 터치는 마이크로폰에 의해 픽업되는 노이즈를 발생시키고 시스템은 해당 시스템에서 날카로운 노이즈를 발생시키는 것으로 알려져 있다. 본 발명의 실시예의 일 예에 따르면, 가속도계 검출은 마이크로폰 또는 시스템의 임의의 다른 적절한 전자 부품의 짧은 음소거를 초래할 수 있다. 실시예의 일부 예에서, 안경테는 일부 푸시 버튼(41)으로 구성될 수 있다. 이러한 버튼(41)의 활성화는 본 발명의 보청기 시스템의 착용자에 삽입된 이어 버드(55)에 도달하기 위한 버튼 액션으로부터 짧은 음소거 정지 노이즈를 초래할 것이다.

도 15에 도시된 예시적인 실시예는 또한 제스처 제어를 지원할 수 있다. 사용될 수 있는 제스처 시스템(48)의 일 예는 9개의 다른 제스처를 인식할 수 있는 제스처 센서 PAJ7620U이다. 제스처 센서는 안경테(10)에, 예를 들어, 안경테의 전방에 또는 도 3에 개시된 바와 같이 안경 다리에 위치될 수 있다. 그 후, 손 움직임이 검출되어 하나의 특정 제스처의 검출을 초래할 수 있으며, 하나의 특정 제스처는 SOC 시스템(44)이 응답하도록 구성된 특정 커맨드 또는 액션과 연관될 수 있다.

본 발명의 실시예의 일 예에서, SoC 시스템(44)은 본 발명의 안경테 착용자의 귀에 삽입된 이어 버그(55)에 음성 메시지를 전송하도록 구성된다. 예를 들어 메뉴 선택 및 진행 방식에 대한 명령이 예를 들어, 음성 메시지로서 보내어질 수 있다.

위의 논의를 참조하면, 가속도계는 손가락이 안경테를 터치할 때마다 오디오 스트림의 음소거를 트리거링할 것이다. 터치가 메뉴 선택 제스처의 일부인 경우, 센서 표면으로부터 손가락이 들어올려질 대 음소거가 종료된다.

도 15에 도시된 시스템은 또한 자이로스코프 센서(50)를 포함할 수 있다. 본 발명의 실시예의 예에서 사용될 수 있는 몇 가지 알려진 자이로스코프 센서가 있다.

본 발명의 실시예의 일 예에서, SOC 시스템(44)은 자이로스코프(50)에 의해 주어진 시선 방향의 컴파스(compass) 방향을 식별하도록 구성된다. 그 후, SOC 시스템(44)은 안경테(10)의 전방 컴파스 방향으로 빔포밍을 수행하도록 오디오 DSP(54)에 명령하도록 구성된다. 이러한 방식으로 빔포밍은 안경테(10)의 착용자가 보고 있는 방향으로 지향된다.

본 발명에 따른 안경테(10)의 무선 통신 시스템은 예를 들어, 블루투스(Blue tooth) 표준을 따를 수 있다. 도 15를 참조하면, 블루투스 안테나(45)는 RF 필터 섹션(46)을 통해 SOC(44)와 통신한다.

다른 통신 표준이 사용될 수 있다는 것이 본 발명의 범위 내에 있다.

디바이스 주소를 포함하는 통신 표준을 사용하는 것도 본 발명의 범위 내에 있으며, 즉, 안경테(10)로부터의 무선 신호는 우측 귀 내부의 이어버드(55)에 대한 특정의 제1 주소 및 좌측 귀의 이어버드(55)에 대한 특정의 제2 주소를 포함할 수 있다. 그 후, 상이한 정보가 각각의 상이한 귀로 보내어질 수 있다. 예를 들어, 안경테 중 하나의 마이크로파 디바이스(14a, 11a)가 우측에서 접근하는 물체를 검출하면, SOC(44)는 안경테 착용자의 우측 귀 내부에 위치한 이어버드(55)에 경고를 보내도록 구성될 수 있다. 이것은 예를 들어, 접근하는 자동차에 대한 경고일 수 있다. 예를 들어, 접근하는 물체의 거리 변화율을 검출하는 것은 자동차가 접근하고 있음을 검출하는 데 사용될 수 있고 접근하는 자동차의 경고를 트리거링할 수 있다.

트래픽 레이더 또는 도플러 시프트 레이더(49)가 또한 본 발명에 따른 안경테에 매립될 수 있다.

가능한 주소 메커니즘은 또한 서로 가까이 서 있는 두 사람이 사용하는 두 안경테(10) 사이의 무선 상호 통신을 중지할 수 있다. 이것은 예를 들어, 각각의 안경테에서 마이크로폰 빔포밍의 오정렬을 중지할 수 있다.

본 발명의 일 양태는 상이한 히어링 시나리오에 따라 빔포밍 로브를 제어하기 위해 SoC 시스템에서 실행되는 프로그램을 사용하는 것이다. 특정 히어링 시나리오를 변경하거나 선택하는 것은 도 3에 도시된 제스처 제어기(18)에 의해 검출된 제스처를 통해 또는 도 1에 도시된 연결된 모바일 폰을 통해 이루어질 수 있다. 빔포밍 로브는 마이크로폰 어레이 표면, 또는 예를 들어, 안경테의 전방 측면이 마이크로폰 어레이를 지지하므로 안경테의 전방 측면에 대한 방향에 의해 규정된다. 안경 다리 상에 배열된 마이크로폰 어레이에도 동일한 상황이 적용된다. 안경테 전방 측면 상의 마이크로폰과 안경테의 마이크로폰의 조합도 가능하다. 이러한 임의의 마이크로폰 어레이는 관심 있는 음원을 향할 것이다. 음원을 향한 빔포밍 로브 방향은 예를 들어, 사용자가 관심 있는 음원을 향해 머리를 돌린 다음 이를 빔포밍 로브 방향으로 선택할 때, 사용자에 의해 선택될 수 있다. 안경테 표면에 대한 상대 각도 방향은 안경테가 정면을 향하고 있을 때 예를 들어 0°의 상대 각도로 자이로스코프 센서가 초기화될 때 자이로스코프 센서로부터 판독될 수 있다.

빔포밍 로브를 계산할 때 적어도 두 가지 중요한 요소가 관련되어 있다. 하나는 물론 방향이지만 빔포밍 로브의 폭도 넓은 빔포밍 로브에 비해 좁은 빔포밍 로브의 필터링 효과에 대해 중요하다. 이에 의해 빔포밍 로브가 한 사람으로부터 음성 사운드를 픽업하도록 설계되더라도, 이러한 시나리오는 위에서 논의된 바와 같이 안경테 착용자에 대해 변경될 수 있다. 빔 폭 방향은 음원을 향하는 마이크로폰 로브 내부의 특정 마이크로폰과 연관될 수 있으며 이러한 마이크로폰은 예를 들어, DSP 회로의 전치-증폭기에서 증가된 증폭 계수로 설정될 수 있다.

또한, 음원까지의 거리는 안경테와 음원 사이의 거리 변화에 대한 음원 크기의 원근 상대 변화에 적응된 빔포밍 로브 폭을 규정하는 데 도움이 될 수 있으므로, 일반적으로,

- 빔포밍 로브 방향은 구성된 마이크로폰 어레이의 전방 측면에 대해 규정되고,

- 음원까지의 거리에 기초하여 빔포밍 로브 폭이 규정되고,

- 빔 로브의 규정된 방향에서 자이로스코프 센서에 의해 검출된 상대적 각도 변화는 검출된 각도 변화에 따라 빔포밍 폭을 수정하는 DSP의 파라미터 변경을 업로드하도록 SoC 시스템을 트리거링하거나,

- 거리 측정 센서에 의해 검출된 음원에 대한 측정된 거리의 상대적 변화는 검출된 거리 변화에 따라 빔포밍 폭을 수정하는 파라미터의 변경을 업로드하도록 SoC 시스템을 트리거링한다.

시스템은 사용자가 위에 규정된 규칙에 따라 시스템에 의해 식별된 임의의 설정을 고정할 수 있게 하고, 또한 시스템을 다시 활성화하여 선택된 시나리오에 따라 최적화된 빔포밍 로브를 능동적으로 제공할 수 있게 한다는 점에 유의해야 한다. 이러한 액션은 제스처 검출 또는 연결된 모바일 폰을 통해 수행될 수 있다.

Claims (21)

1. 안경테의 전방 측면 상의 적어도 하나의 마이크로폰 어레이, 거리 측정 센서, 자이로스코프 센서를 포함하는 안경테에 통합 가능한 보청기 시스템으로서, 구성된 시스템 온 칩(System on a Chip: SoC)에 의해 제어되는 디지털 신호 프로세서(Digital Signal Processor: DSP)는 각각의 센서 출력 신호들에 따라 적어도 빔포밍 로브(beamforming lobe)를 제공하고,
   음원에 대한 빔포밍 로브 방향은 상기 구성된 마이크로폰 어레이에 대해 규정되고,
   빔포밍 로브 폭은 상기 음원까지의 거리에 기초하여 규정되고,
   빔 로브의 규정된 방향에서 상기 자이로스코프 센서에 의해 검출된 상대적인 각도 변화들은 상기 검출된 각도 변화들에 따라 빔포밍 폭을 수정하는 상기 DSP의 파라미터들의 변화를 업로드하도록 상기 SoC 시스템을 트리거링하거나,
   상기 거리 측정 센서에 의해 검출된 상기 음원까지의 측정된 거리의 상대적인 변화들은 상기 음원까지의 상기 거리가 변할 때 음원 크기의 원근의(perspective) 증가 또는 감소에 따라 상기 빔포밍 폭을 수정하는 파라미터들의 변화를 업로드하도록 상기 SoC 시스템을 트리거링하는, 시스템.
2. 제1항에 있어서,
   빔포밍 로브 방향은 사용자에 대한 관심 음원의 방향으로 볼 때 사용자에 의해 설정되는, 시스템.
3. 제1항에 있어서,
   상기 구성된 보청기 시스템은 안경테 배향의 자이로스코프 센서가 검출한 제1 변화에 관련된 방향으로 상기 빔포밍 로브의 각각의 측면-곡선들 중 하나를 이동시킴으로써 규정된 빔포밍 로브의 빔 폭을 수정하는, 시스템.
4. 제3항에 있어서,
   상기 구성된 보청기 시스템은 상기 안경테 배향의 제2 변화가 상기 제1 검출된 변화에 반대되는 것으로 검출될 때 상기 안경테 배향의 상기 제1 변화가 검출되기 전에 원래 설정된 상기 빔포밍 로브 폭으로 다시 상기 빔 폭을 수정하는, 시스템.
5. 제1항에 있어서,
   각각의 검출된 상대 거리 변화들은 상기 안경테가 향하는 음원의 윤곽 크기의 원근의 증가 또는 감소와 상관되는, 시스템.
6. 제1항에 있어서,
   상기 구성된 보청기 시스템은 적어도 하나의 마이크로폰의 증폭 계수를 조정하고, 상기 증폭 계수 조정의 상향 또는 하향은 음원까지의 측정된 거리의 증가 또는 감소에 비례하는, 시스템.
7. 제1항에 있어서,
   상기 음원이 사람의 말소리, 모터, 기차 또는 다른 유형의 음원인 경우, 상기 구성된 보청기 시스템은 상기 빔포밍이 가리키는 음원으로부터의 가청음을 사용하여 확률 계수를 계산하는, 시스템.
8. 제1항에 있어서,
   상기 안경테는 상기 안경테의 전방에 매립된 비디오 카메라를 포함하는, 시스템.
9. 제8항에 있어서,
   상기 비디오 카메라와 통신하는 구성된 매립 비디오 프로세서는 상기 비디오 프로세서가 검출한 음원 윤곽의 수직 및 수평 높이를 측정하고, 상기 안경테의 전방을 향하고, 상기 음원의 상기 수직 또는 수평 높이는 빔포밍 로브 폭을 규정할 때 사용되는, 시스템.
10. 제9항에 있어서,
    윤곽 이미지가 인간의 눈으로 식별된 적어도 2개의 객체를 포함하는 경우에만 상기 구성된 매립 비디오 프로세서는 시야에 위치된 인간 얼굴의 윤곽을 검출하는, 시스템.
11. 제9항에 있어서,
    상기 비디오 프로세서는 상기 카메라의 시야에 위치된 다수의 인간 얼굴을 식별하도록 구성되고, 상기 SoC 시스템은 식별된 상기 다수의 인간 얼굴을 덮는 빔포밍 로브를 구성하는, 시스템.
12. 제10항에 있어서,
    2인의 눈이 상기 인간 얼굴의 검출된 윤곽 내측에서 식별되고 상기 검출된 인간 얼굴까지 측정된 거리가 규정된 거리 미만인 경우에만 상기 구성된 보청기 시스템은 빔포밍을 수행하는, 시스템.
13. 제1항에 있어서,
    상기 복수의 마이크로폰은 디지털 무지향성 마이크로폰들이고,
    - 상기 복수의 디지털 무지향성 마이크로폰의 제1 세트는 상기 안경테의 전면 부분 상에 선형 마이크로폰 어레이로서 배열되고/배열되거나
    - 상기 복수의 디지털 무지향성 마이크로폰의 제2 세트는 상기 안경테의 우측 안경 다리(arm) 상에 선형 마이크로폰 어레이로서 배열되고/배열되거나
    - 상기 복수의 디지털 무지향성 마이크로폰의 제3 세트는 상기 안경테의 좌측 안경 다리 상에 선형 마이크로폰 어레이로서 배열되고,
    - 상기 보청기 시스템은 상기 무지향성 마이크로폰들의 제1 세트, 및/또는 상기 무지향성 마이크로폰들의 제2 세트, 및/또는 상기 무지향성 마이크로폰들의 제3 세트, 또는 상기 무지향성 마이크로폰들의 상기 제1 세트, 상기 제2 세트 및 상기 제3 세트로부터의 무지향성 마이크로폰들의 임의의 다른 조합에 의해 형성된 각각의 마이크로폰 어레이들에 기초하여 빔포밍을 제공하도록 구성되는, 시스템.
14. 제13항에 있어서,
    상기 마이크로폰들의 제1 세트, 상기 마이크로폰들의 제2 세트 및 상기 마이크로폰들의 제3 세트로부터의 각각의 마이크로폰 어레이들에 기초한 빔포밍은 서로 독립적으로 규정되는, 시스템.
15. 제14항에 있어서,
    상기 마이크로폰들의 세트 중 적어도 2개로부터의 적어도 일부 마이크로폰들은 하나의 마이크로폰 어레이를 형성하는 데 사용되는, 시스템.
16. 제13항에 있어서,
    상기 무지향성 마이크로폰들의 상기 제1 세트, 상기 제2 세트 및 상기 제3 세트는 브로드사이드 어레이(Broadside Array)들로서 배열되는, 시스템.
17. 제13항에 있어서,
    상기 무지향성 마이크로폰들의 제1 세트로부터의 무지향성 마이크로폰들은 상기 무지향성 마이크로폰들의 제2 세트 및/또는 제3 세트로부터의 선택된 개수의 무지향성 마이크로폰들과 결합되고, 상기 마이크로폰들은 엔드파이어 어레이(Endfire Array)로서 구성되는, 시스템.
18. 제1항에 있어서,
    상기 안경테의 적어도 하나의 다리는 제스처(gesture) 검출 센서를 포함하는, 시스템.
19. 제1항에 있어서,
    사전 계산된 빔포밍 로브들의 세트가 상기 SoC 시스템에 저장되고 상기 사전 계산된 빔포밍 로브들의 각각을 규정하는 파라미터 설정들이 상기 구성된 SOC 시스템의 제어 하에 상기 DSP로 다운로드되는, 시스템.
20. 제9항에 있어서,
    상기 구성된 매립 비디오 프로세서는 각각의 사람들의 다운로드된 사진에 기초하여 상이한 사람들의 세트의 얼굴 인식을 제공하고, 상기 시스템은 각각의 인식된 사람들의 이름을 포함하는 음성 메시지를 상기 무선 이어버드(earbud)들에 전송하도록 구성되는, 시스템.
21. 제1항에 있어서,
    상기 보청기 시스템은 상기 안경테의 착용자에게 정보 및/또는 명령들을 제공하는 미리 녹음된 음성 메시지들을 삽입 가능한 이어버드들에 전송하도록 구성되는, 시스템.

Images