KR102329526B1

KR102329526B1 - 프라이버시 보호 센서 장치

Info

Publication number: KR102329526B1
Application number: KR1020167019166A
Authority: KR
Inventors: 용 루이; 다니엘 모리스; 앤드류 디 윌슨; 니쿤즈 라그반쉬; 데즈니 에스 탄; 진네트 엠 윙
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-01-18
Filing date: 2015-01-13
Publication date: 2021-11-19
Also published as: CN105917350B; EP3095068B1; US20150208233A1; EP3095068A1; US20180220297A1; CN105917350A; KR20160110385A; TW201535328A; WO2015108825A1; US10057764B2; US10341857B2

Abstract

본 명세서에서는 프라이버시 보호 센서 장치가 기술되어 있다. 프라이버시 보호 센서 장치는 환경 내 오디오를 나타내는 신호를 출력하도록 구성된 마이크로폰을 포함한다. 프라이버시 보호 센서 장치는 또한 마이크로폰과 함께 장치 내에 통합되는 특징 추출 회로를 포함하며, 특징 추출 회로는 마이크로폰에 의해 출력된 신호로부터 환경 내에서 이벤트의 발생을 검출하는데 사용될 수 있는 특징을 추출하도록 구성되고, 마이크로폰에 의해 출력된 신호는 이들 특징에만 기초하여 재구성되는데 사용할 수 없다.

Description

프라이버시 보호 센서 장치{PRIVACY PRESERVING SENSOR APPARATUS}

센서 장치는 빠르게 유비쿼터스(ubiquitous) 되어가고 있다. 예를 들어, 종래의 모바일 전화기가 마이크로폰, 비디오 카메라, 가속도계, GPS 센서 등을 포함할 수 있다. 그러나, 가정(home environment)에서 찾아볼 수 있는 일부 센서는 가정 내 사용자에게 브라이버시 우려를 일으킬 수 있다. 예를 들어, 종래의 텔레비전(및/또는 텔레비전 액세서리)이 비디오 카메라 및 마이크로폰을 구비할 수 있다. 비디오 카메라 및/또는 마이크로폰에 의해 출력된 신호는 처리 장치에 의해 처리될 수 있고, 텔레비전은 그러한 신호의 처리에 기초하여 시청자에게 콘텐츠를 제공할 수 있다. 예를 들어, 시청자는 "험퍼리 보가트가 주연인 영화를 보여줘(show me movies starring Humphrey Bogart)"라고 말할 수 있고, 텔레비전은 선택가능한 타일들의 목록을 제시할 수 있는데, 여기서 각각의 타일이 전술한 배우가 주연을 맡은 제각기의 영화를 나타낸다. 마찬가지로, 비디오 카메라에 의해 출력된 신호는 시청자가 특정한 제스처를 취했음을 나타낼 수 있고, 이 제스처가 인식되면 콘텐츠가 시청자에게 제공될 수 있다. 예컨대, 손목의 움직임으로 채널이 변경될 수 있고, 텔레비전 및/또는 관련 오디오 시스템에 의해 출력된 오디오의 볼륨이 변경될 수 있다.

일반적으로, 센서를 포함하는 장치가 켜지면, 센서 자체가 켜져서 센서 주변 상태를 나타내는 데이터를 생성한다. 전술한 예시적인 시나리오를 참조하면, 텔레비전의 마이크로폰은 텔레비전이 켜져 있는 동안 흔히 사용자가 모르는 사이에 오디오를 캡처할 수 있다. 또한, 일부 종래의 장치는 캡처된 신호(또는 이 신호를 나타내는 특징(features))를 클라우드 서비스에 이용되는 컴퓨팅 장치에게 전송하도록 구성되며, 이 컴퓨팅 장치는 음성 인식, 얼굴 인식, 제스처 인식 등을 위해 신호를 분석하고 단어가 인식되거나 얼굴이 식별되거나 할 때 액션을 수행한다. 클라우드 서비스는 그 후 수신된 신호를 폐기한다.

전술한 바와 같이, 사용자는 자신의 제각기의 액션이 이들 센서에 의해 캡처될 수 있는 경우에 프라이버시에 대해 우려를 할 수 있다. 예를 들어, 악의적 해커(malicious hacker)가 센서와 통신 중인 프로세서를 잠재적으로 재프로그램하여, 캡처된 신호가 악의적 해커가 선택한 데이터 저장소(예컨대, 센서 스트림에서 액션을 캡처 당한 사람이 모르는 사이에 이들 신호가 보관되어 검토될 수 있는 장소)에 전송되게 할 수 있다. 또한, 센서를 포함하는 장치로부터 클라우드 서비스에 이용되는 컴퓨팅 장치에 전송된 데이터는 시청자가 말한 단어들이 재구성되게 하거나 또는 그 시청자가 식별되게 하거나 하기에 충분한 정보를 포함할 수 있다. 전송 동안에 데이터가 도청될 수 있으므로 이것은 다시 프라이버시 우려를 일으킨다.

다음은 본 명세서에서 보다 상세하게 설명되는 발명의 대상을 간략히 요약한 것이다. 본 요약은 청구항의 범위에 대해 한정하고자 하는 것은 아니다.

본 명세서에서는 가정 환경(가정)에서 신호를 캡처하고 그러한 신호를 처리하되 가정에 있는 사람의 프라이버시를 보호하도록 구성될 수 있는 센서 장치에 관한 다양한 기술을 설명한다. 센서 장치는 적어도 하나의 센서를 포함하는데, 이 센서는 바람직하게 검출된 이벤트를 검출하는데 사용될 수 있는 데이터를 출력하는 임의의 적절한 센서일 수 있다. 따라서, 적어도 하나의 센서는 마이크로폰, 카메라, 가속도계, 진동 센서 등일 수도 있고 이들을 포함할 수도 있다. 센서는 센서에 의해 출력된 신호로부터 특징을 추출하도록 구성되는 특징 추출 회로에 단단히 결합된다. 설명을 위해서, 센서는 마이크로폰인 것으로 기술하겠지만, 본 명세서에 기술된 특징들이 마이크로폰에 한정될 필요는 없다. 일실시예에서, 마이크로폰은 특징 추출 회로와 결합될 수 있다. 따라서, 예컨대 마이크로폰이 특징 추출 회로와 함께 집적 회로(IC)에 매립될 수 있다. 따라서, 일례에 따르면, 마이크로폰은 특징 추출 회로와 함께 실리콘 내에 매립되는 매립형 마이크로 전기 기계 시스템(MEMS) 마이크로폰일 수 있다. 따라서, (마이크로폰에 의해 출력된 신호가 인터셉트되도록)하드웨어를 수정하려는 시도에 의해 마이크로폰 및/또는 관련 특징 추출 회로가 손상되어 센서 장치가 기능할 수 없도록, 센서 장치가 설계된다.

특징 추출 회로는, 마이크로폰에 의해 출력된 신호를 수신하고 그 신호로부터 특징을 추출하도록 구성되는데, 이들 특징은 바람직하게 검출된 이벤트를 검출하는 데에는 사용될 수 있지만 마이크로폰에 의해 출력된 신호를 재구성하는 데에는 사용될 수 없다. 예를 들어, 센서 장치는 어린이가 울고 있는 이벤트를 검출하는데 이용될 수 있다. 마이크로폰에 의해 출력된 신호로부터 추출된 특징이 어린이가 울고 있는지 여부를 나타낼 수 있음을 확인할 수 있다. 그러나, 센서 장치의 소유자가 마이크로폰 가까이에서 발화된 단어의 의미가 분석되지 않기를 바랄 수도 있다(예컨대, 센서 장치의 소유자는 대화의 의미가 분석될 때 자신의 프라이버시가 침해당한다고 느낄 수 있다). 특징 추출 회로는 마이크로폰에 의해 출력된 신호로부터 바람직하게 검출된 이벤트(예컨대, 어린이가 우는 경우)의 검출을 허용하는 특징을 추출할 수 있지만, 이들 특징은 의미 분석을 하거나 마이크로폰에 의해 출력된 신호를 재구성하는 데에는 사용될 수 없다.

다른 실시예에서, 센서 장치는 사전정의된 단어 세트를 센서 장치의 소유자의 언어로 기계 번역하는데 사용될 수 있는 특징을 추출하도록 구성될 수 있다. 따라서, 특징 추출 회로는 마이크로폰에 의해 출력된 신호로부터 기계 번역 시스템에 의해 이용될 수 있는 특징을 추출하여, 사람이 사전정의된 단어 세트 내의 단어를 말했음을 검출할 수 있다. 그러나, 특징 추출 회로에 의해 추출된 특징은 기계 번역 시스템이 사전정의된 세트 이외의 단어를 인식하게 하기에 충분한 정보를 포함하지는 않을 수 있다. 특징 추출 회로에 의해 추출되지 않은 신호의 특징은 즉각 폐기된다.

센서 장치는 또한 (예컨대, 마이크로폰에 의해 출력된)신호에서 추출된 특징을 클라우드 서비스에서 이용되는 컴퓨팅 장치로 (직접 또는 간접적으로) 전송할 수 있는 무선 트랜시버를 포함할 수 있다. 클라우드 서비스의 컴퓨팅 장치는 특징을 수신할 수 있고, 예를 들어, 이들 특징에 기초하여 바람직하게 검출된 이벤트의 발생을 검출할 수 있다. 전술한 예를 가지고 계속 설명하면, 클라우드 서비스 내의 컴퓨팅 장치는 어린이가 울고 있음을 식별할 수 있다. 출력 신호는 통지 장치로 전송될 수 있는데, 이 통지 장치는 센서 장치가 위치해 있는 환경 내에 있을 수 있다. 통지 장치는 이벤트의 발생을 사람에게 통지하도록 구성될 수 있다.

일실시예에서, 센서 장치 내의 특징 추출 회로는 사전 구성되며 정적이다. 따라서, 해커는 마이크로폰에 의해 출력된 신호로부터 다른 특징을 추출하기 위해 특징 추출 회로를 재프로그램할 수 없다. 다른 실시예에서는, 센서 장치가 복수의 사전정의된 특징 추출 모드로 구성될 수 있다. 예를 들어, 제1 모드에서, 특징 추출 회로는 마이크로폰에 의해 출력된 신호로부터 제1 특징 세트를 추출하도록 구성될 수 있는데, 여기서 제1 특징 세트는 발언의 의미를 검출하는데 이용될 수 있다. 제2 모드에서, 특징 추출 회로는 마이크로폰에 의해 출력된 신호로부터 제2 특징 세트를 추출하도록 구성될 수 있고, 제2 특징 세트는 말한 사람의 신원을 판정하는데 사용될 수 있는 정보를 포함한다. 제3 모드에서, 특징 추출 회로는 마이크로폰에 의해 출력된 신호로부터 제3 특징 세트를 추출하도록 구성될 수 있고, 제3 특징 세트는 어린이가 울고 있을 때를 검출하는데 사용될 수 있는 정보를 포함한다. 그러나, 제1 특징 세트는 말한 사람의 신원을 검출하거나 또는 어린이가 울고 있을 때를 검출하기에 충분한 정보를 포함하고 있지 않을 수 있다. 이와 유사하게, 제2 특징 세트는 발화된 단어의 의미를 검출하거나 또는 어린이가 울고 있을 때를 검출하기에 충분한 정보를 포함하고 있지 않을 수 있다. 마찬가지로, 제3 특징 세트는 발화된 단어의 의미를 검출하거나 말하는 사람의 신원을 검출하기에 충분한 정보를 포함하고 있지 않을 수 있다. 따라서, 특징 추출 회로는 세 개의 별도의 회로를 포함하여, 특정 시점에서 이들 중 하나만 활성화할 수 있다.

이러한 센서 장치는 다양한 애플리케이션에 특히 적합할 수 있다. 일실시예에서, 센서 장치는 텔레비전, 게임 콘솔 등과 함께 이용될 수 있다. 예를 들면, 음성 명령의 인식을 지원하는 텔레비전과 관련하여, 센서 장치는 비교적 적은 수의 단어(음성 명령어)를 식별하기 위해 음성 인식 시스템에 의해 사용될 수 있는 특징을 추출하도록 구성될 수 있지만, 이 음성 인식 시스템은 이러한 특징을 사용하여 다른 단어는 검출하지 못할 수 있다. 또한, 센서 장치는 홈 시큐리티 애플리케이션에 특히 적합할 수 있는데, 여기서 센서 장치는 오디오 신호로부터 유리창이 깨진다거나, 문이 부셔져서 열린다거나 하는 것을 식별하는데 사용될 수 있는 특징을 추출하도록 구성된다. 그러나, 추출된 특징은 마이크로폰에 의해 출력된 신호를 재구성하는 데에는 사용되지 못할 수 있고, 말에서 단어를 식별하는 데에는 사용되지 못할 수 있다. 센서 장치는 또한 사람이 도움을 필요로 할 수 있는 애플리케이션에 특히 적합할 수 있다. 예를 들어, 다소 연로한 사람의 경우, 프라이버시 우려를 경감하면서 낙상이나 도움 요청 등을 검출하기 위해 가정에 이러한 센서 장치를 구비하는 것이 도움이 될 수 있다.

이상, 본 명세서에 기술된 시스템 및/또는 방법의 일부 특징에 대한 기본적인 이해를 제공하기 위해 개요를 제시하였다. 본 개요는 본 명세서에 기술된 시스템 및/또는 방법에 대한 전체적인 개관은 아니다. 본 개요는 핵심적인 특징이나 필수적인 특징들을 밝히거나 또는 이들 시스템 및/또는 방법의 범위를 기술하기 위한 것이 아니다. 본 개요의 목적은 후속하는 발명의 상세한 설명에 대한 준비로서 일부 개념을 단순화된 형태로 소개하고자 제공되는 것이다.

도 1은 프라이버시 보호 센서 장치를 포함하는 예시적인 환경을 도시한 것이다.
도 2는 예시적인 프라이버시 보호 센서 장치를 도시한 것이다.
도 3은 프라이버시 보호 센서 장치로부터 특징을 수신하고 이 특징에 기초하여 이벤트를 검출할 수 있는 예시적인 서버 컴퓨팅 장치를 도시한 것이다.
도 4는 프라이버시 보호 센서 장치를 구축하는 예시적인 방법을 도시한 흐름도이다.
도 5는 프라이버시 보호 센서 장치의 동작에 대한 예시적인 방법을 도시한 흐름도이다.
도 6은 프라이버시 보호 센서 장치에 의해 수행될 수 있는 예시적인 방법을 도시한 흐름도이다.
도 7은 센서에 의해 출력된 신호에서 추출된 특징에 기초하여 이벤트를 검출하도록 구성된 컴퓨팅 장치에 의해 수행될 수 있는 예시적인 방법을 도시한 흐름도이다.
도 8은 예시적인 컴퓨팅 장치이다.

이하에서는 도면을 참고하여 프라이버시 보호 센서 장치에 관한 다양한 기술을 설명하는데, 도면에서 유사한 참조번호는 명세서 전반에 걸쳐 유사한 구성요소를 지칭하는데 사용된다. 이하에서는, 설명을 위한 목적으로, 하나 이상의 특징에 대해 철저히 이해할 수 있도록 다수의 특정 세부사항을 설명할 것이다. 그러나, 이러한 특징은 이들 특정 세부사항 없이 실시될 수도 있다. 다른 예에서는, 하나 이상의 특징을 보다 쉽게 기술하기 위해, 잘 알려져 있는 구성이나 장치는 블록도로 도시한다. 또한, 단일 시스템 컴포넌트에 의해 수행되는 것으로 설명되는 기능이 복수의 컴포넌트에 의해 수행될 수도 있다는 점을 이해해야 한다. 마찬가지로, 예를 들어 단일 컴포넌트가 복수의 컴포넌트에 의해 수행되는 것으로 설명되는 기능을 수행하도록 구성될 수도 있다.

또한, "또는"이란 표현은 배타적 의미의 "또는" 외에 포괄적 의미의 "또는"을 의미하기 위한 것이다. 즉, 달리 지정하지 않거나 문맥에서 명확하지 않는 한, "X가 A 또는 B를 포함한다"는 문장은 자연적인 포괄적 순열들(natural inclusive permutations) 중 어느 하나를 의미하고자 한다. 즉, "X가 A 또는 B를 이용한다"는 문장은, 다음 예들, 즉 X가 A를 이용한다, X가 B를 이용한다, 또는 X가 A와 B를 모두 이용한다 중 어느 하나에 의해 만족된다. 또한, 명세서 및 첨부한 청구범위에 사용된 단수형 항목은, 달리 지정하지 않거나 문맥에서 단수형으로 명확하게 지시되지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 이해해야 한다.

또한, 본 명세서에서 사용되는 "컴포넌트" 및 "시스템"이란 용어는 프로세서에 의해 실행될 경우에 소정의 기능이 수행되게 하는 컴퓨터 실행가능 명령어를 포함하도록 구성되어 있는 컴퓨터 판독가능한 데이터 저장부를 포함하기 위한 것이다. 컴퓨터 실행가능 명령어는 루틴, 함수 등을 포함할 수 있다. 컴포넌트 또는 시스템은 단일 장치에 배치될 수도 있고 여러 장치에 걸쳐 분산될 수도 있다. 또한, 본 명세서에서 사용되는 "예시적인"이란 용어는 어떤 것의 실례 또는 예의 역할을 하는 것을 의미하기 위한 것이지 더 나은 것(preference)을 나타내기 위한 것은 아니다.

이제 도 1을 참고하여, 사람들의 프라이버시가 관심사인 예시적인 환경(100)을 설명한다. 따라서, 환경(100)은 가정 내 방일 수도 있고, 일반적인 가정, 비밀 방, 사무실, 병원 룸이나, 또는 사람들이 프라이버시에 대한 권리를 갖는 다른 장소일 수 있다. 환경(100)에서, 제1 사람(102)과 제2 사람(104)은 서로 대화하고 있는 것으로 도시되어 있다. 환경(100)이 가정인 경우에, 제1 사람(102)과 제2 사람(104)은 이들의 대화 및 관련 행동이 비밀로 유지되기를(즉, 오로지 제1 사람(102)과 제2 사람(104) 사이에만 유지되기를) 희망할 수 있다. 환경(100)은 프라이버시 보호 센서 장치(106)를 포함하는데, 본 명세서에서는 이를 센서 장치(106)라고 지칭할 것이다. 일반적으로, 센서 장치(106)는, 어린이의 울음소리, 도움을 요청하는 외침, 환경(100)에 대한 침입, 특정 단어 말하기, 특정 제스처 취하기 등과 같이, 환경(100)에서 바람직하게 검출된 이벤트의 발생을 검출하는데 사용될 수 있는 데이터를 생성하도록 구성된다. 그러나, 센서 장치(106)의 동작이 제1 사람(102)과 제2 사람(104)이 갖고 있는 프라이버시에 대한 생각에 반하지 않는 것이 바람직하다.

이하에 상세히 설명하겠지만, 센서 장치(106)는, 비디오 카메라, 마이크로폰, 관성 센서, 광 센서, 온도계 등과 같은 센서를 포함할 수 있는데, 여기서 센서는 제1 사람(102)이 행한 동작, 제2 사람(104)이 말한 단어 등과 같이 환경(100)과 관련된 파라미터를 나타내는 신호를 출력할 수 있다. 따라서, 이 신호는 제1 사람(102) 및/또는 제2 사람(104)이 사적인 것으로 생각하는 콘텐츠를 포함할 수 있다. 설명을 위해, 센서 장치(106) 내의 센서는 마이크로폰인 것으로 기술하겠지만, 본 명세서에 기술된 특징들은 마이크로폰으로 한정되지는 않음을 이해해야 한다.

센서 장치(106) 내의 마이크로폰은 환경 내 오디오(이는 제1 사람(102)과 제2 사람(104) 사이의 대화를 포함할 수 있다)를 나타내는 신호를 출력하도록 구성된다. 센서 장치(106)는 또한 마이크로폰에 의해 출력된 신호로부터 바람직하게 검출된 이벤트의 발생을 검출하는데 사용될 수 있는 특징들을 추출하는 회로를 포함하지만, 이들 특징은 마이크로폰에 의해 출력된 오리지널 신호를 재구성(또는 제1 사람(102) 및/또는 제2 사람(104)에 의해 검출되도록 희망되지 않는 이벤트를 검출)하는 데에는 사용될 수 없다. 예를 들어, 마이크로폰에 의해 출력된 신호로부터 추출된 특징은 대화의 의미를 이해하기에는 불충분한 정보를 포함하거나, (예컨대, 음성 인식 시스템에 의해) 말하는 사람의 신원을 규명하기에는 불충분한 정보를 포함하거나 할 수 있다. 일례로, 바람직하게 검출된 이벤트는 어린이의 울음소리일 수 있으며, 이에 따라, 마이크로폰에 의해 출력된 신호로부터 일군의 특징이 추출될 수 있는데, 이 일군의 특징은 컴퓨터로 구현된 검출 시스템으로 하여금 어린이가 울고 있다는 것을 검출하게 할 수 있는 정보는 포함하지만, 이 일군의 특징은 컴퓨터로 구현된 기계 번역 시스템이 (예컨대) 발화된 단어에 대한 의미론적 분석을 수행하게 하기에는 불충분한 정보를 포함한다. 바람직하게 검출된 이벤트를 검출하기 위해 마이크로폰에 의해 출력된 신호로부터 추출되지 않은 특징은 즉각 폐기된다.

예시적인 환경(100)에서, 센서 장치(106)는 트랜시버를 포함할 수 있고, 난독화된 신호(obfuscated signal)를 무선 액세스 포인트(108)에 전송할 수 있다. 난독화된 신호는 마이크로폰에 의해 출력된 신호에 기초하며, 마이크로폰에 의해 출력된 신호로부터 추출된 (잠재적으로 압축 및/또는 인코딩된)특징을 포함한다. 무선 액세스 포인트(108)는, 환경(100) 내에 있는 것으로 도시되어 있지만, 환경(100) 외부에 있을 수도 있다(예컨대, 무선 액세스 포인트(108)가 셀룰러 안테나일 수 있다). 그 다음에 무선 액세스 포인트(108)가 난독화된 신호를 클라우드 기반 서비스를 수행하도록 구성된 컴퓨팅 장치(110)에 전송할 수 있고, 여기서 클라우드 기반 서비스는 바람직하게 검출된 이벤트가 액세스 포인트(108)로부터 수신된 난독화된 신호에 기초하여 발생했는지 여부를 검출한다. 전술한 예를 계속 살펴보면, 컴퓨팅 장치(110)는, 난독화된 신호를 분석하고 이러한 분석에 기초하여 어린이가 울고있는지 여부를 판정하도록 구성될 수 있다.

컴퓨팅 장치(110)가 바람직하게 검출된 이벤트의 발생을 검출하면, 컴퓨팅 장치(110)는, 일실시예에서, 환경(100) 내의 액세스 포인트(108)에 출력 신호를 전송할 수 있다. 출력 신호는, 바람직하게 검출된 이벤트가 발생했을 때 사람(예컨대, 제1 사람(102) 또는 제2 사람(104))에게 통지하도록 구성되는 환경(100) 내의 특정한 통지 장치(112)를 식별할 수 있다. 그 다음에 무선 액세스 포인트(108)는 출력 신호를 통지 장치(112)에 전송할 수 있고, 통지 장치(112)는 바람직하게 검출된 이벤트의 발생이 검출되었음을 사람에게 통지하는 출력을 생성할 수 있다. 통지 장치(112)는 알람, 컴퓨팅 장치(예컨대, 모바일 전화기, 태블릿 (슬레이트) 컴퓨팅 장치, 랩탑 컴퓨팅 장치, 웨어러블 컴퓨팅 장치 등), 텔레비전, 게임 콘솔, 또는 이벤트가 검출되었음을 사람에게 통지하도록 구성된 기타 장치일 수 있거나 또는 이들을 포함할 수 있다. 제1 사람(102) 및/또는 제2 사람(104)은 종래의 홈 센서와 관련된 프라이버시 우려 없이 이벤트의 발생을 통지받음으로써 혜택을 누린다.

도시된 바와 같이, 다른 실시예에서는, 클라우드 서비스(110)가 외부 통지 장치(114)에 출력 신호를 출력하도록 구성될 수 있다. 이 실시예는 환경(100) 외부의 사람에게 환경(100) 내 이벤트의 발생에 대해 통지하기에 바람직한 상황에 특히 적합할 수 있다. 예를 들어, 환경(100)이 노약자가 있는 가정인 경우에, 센서 장치(106)는 낙상(fall) 및/또는 도움 요청 소리를 검출하는데 사용될 수 있다. 컴퓨팅 장치(110)는 센서 장치(106)에 의해 출력된 난독화된 신호에 기초하여 이러한 이벤트를 검출할 수 있고, 출력 신호를 병원, 경찰, 외부 경비원(remote caretaker) 등과 연결될 수 있는 외부 통지 장치(114)에 전송할 수 있다.

다른 실시예에서는, 센서 장치(106)가 난독화된 신호를 컴퓨팅 장치(110)에 전송하기보다 그 신호를, 환경(100) 내의 컴퓨팅 장치와 같이, 센서 장치(106)의 소유자가 지정한 컴퓨팅 장치에 전송할 수 있다. 이러한 컴퓨팅 장치는 바람직하게 검출된 이벤트의 발생을 난독화된 신호에 기초하여 검출하도록 구성될 수 있다.

이제 센서 장치(106)가 특히 잘 어울리는 애플리케이션에 대해 설명한다. 그러나, 본 명세서에서 설명하는 애플리케이션은 한정적인 것은 아니며 센서 장치(106)에 대응하는 다양한 장점들을 예시하기 위해 설명되는 것임을 이해해야 한다. 센서 장치(106)는 환경(100) 내 오디오를 나타내는 신호를 생성하는 마이크로폰을 포함할 수 있다. 센서 장치(106)는 사람으로부터 음성 명령을 수신하는 것에 응답하여 멀티미디어 콘텐츠를 그 사람에게 제공하도록 구성되는 장치에 포함되거나 또는 연관될 수 있다. 따라서, 이 장치는 텔레비전, 셋탑 박스, 스트리밍 미디어 장치, 게임 콘솔 등일 수 있다. 이 예에서, 바람직하게 검출된 이벤트는 사람이 음성 명령을 말하였다는 것이고, 출력 신호는 콘텐츠가 그 사람에게 프리젠트되게 하여 이벤트가 검출되었음을 통지한다.

음성 명령은 사전정의될 수 있고, 센서 장치(106) 내의 회로는 센서 장치(106) 내의 마이크로폰에 의해 출력된 신호로부터 특징을 추출하도록 구성될 수 있으며, 여기서 컴퓨팅 장치(110)는 사람이 말했는지 여부를 추출된 특징에 기초하여 판정할 수 있다. 그러나, 이들 특징은 마이크로폰에 의해 출력된 오리지널 신호를 재생하는 데에는 사용될 수 없고, 말한 사람을 식별하기에는 불충분한 정보를 포함할 수 있다. 다른 예에서는, 마이크로폰에 의해 출력된 신호로부터 추출된 특징이 사람이 사전정의된 일군의 음성 명령 이외의 단어를 말한 경우를 식별하기에는 불충분한 정보를 포함할 수 있다. 따라서, 사람(102) 및/또는 사람(104)은 센서 장치(106)가 마이크로폰에 의해 출력된 깨끗한(난독화되지 않은) 신호를 유지하거나 또는 전송하고 있다는 염려 없이 텔레비전, 게임 콘솔, 및 서로간에 상호작용할 수 있다.

또한, 센서 장치(106)는 홈 시큐리티와 함께 사용하기에 특히 적합할 수 있다. 센서 장치(106) 내 회로는 마이크로폰에 의해 출력된 신호로부터 특징들을 추출하도록 구성될 수 있고, 여기서 이러한 특징들을 분석하여 유리창이 깨지는 소리가 발생했는지 여부를 판정할 수 있다. 그러나, 이러한 실시예에서, 추출된 특징들은 기계 번역 시스템으로 하여금 제1 사람(102)과 제2 사람(104) 간에 사적으로 이루어진 대화를 재구성하게 하기에는 불충분한 정보를 포함한다. 유사한 애플리케이션에서, 센서 장치(106)는 원격 환자 모니터링과 관련하여 사용될 수 있는데, 여기서 낙상, 도움 요청 소리 등과 같은 이벤트의 발생을 검출하는 것이 바람직하다. 다른 애플리케이션에서는, 센서 장치(106) 내의 회로가 컴퓨터로 구현된 검출 시스템으로 하여금 바람직하게 검출된 이벤트의 발생을 검출할 수 있게 하는데 충분한 정보를 포함하는 특징을 추출하지만, 추출된 특징은 오리지널 마이크로폰 신호가 재구성되게 하거나 또는 기계 번역 시스템이 발화된 단어를 식별하게 하기에는 불충분한 정보를 포함한다.

이제 도 2를 참조하여, 센서 장치(106)의 기능적 블록도를 설명한다. 센서 장치(106)는, 환경(100)에서 음향 진동(acoustic vibration)을 검출하고 그러한 진동을 나타내는 신호를 출력하도록 구성된 마이크로폰(202)을 포함한다. 일례에 따르면, 센서 장치(106)는, 변조될 때 마이크로폰(202)을 손상시키도록 구성될 수 있는 변조 방지(tamper-resistant) 하우징에 포함될 수 있다.

센서 장치(106)는 또한, 마이크로폰(202)에 의해 출력된 신호를 수신하고 이로부터 소정의 특징을 추출하는 특징 추출 회로를 포함하며, 여기서 특징은 바람직하게 검출된 이벤트를 검출하기 위해 컴퓨팅 장치(예컨대, 컴퓨팅 장치(110))에 의해 사용될 수 있다. 특징 추출 회로(204)는 마이크로폰(202)에 단단히 결합되고, 여기서 단단한 결합(tight coupling)은 악의적인 하드웨어 해커가 특징 추출 회로(204)에 의해 신호가 수신되기 전에 마이크로폰(202)에 의해 출력된 신호를 인터셉트하거나 아니면 이를 획득하려고 시도하지 못하게 막도록 한다. 따라서, 마이크로폰(202) 및 특징 추출 회로(204)는 센서 장치(106) 내에 함께 통합된다. 일실시예에서, 마이크로폰(202) 및 특징 추출 회로(204)는 반도체 칩 상에 함께 위치할 수 있다. 따라서, 마이크로폰(202)은 특징 추출 회로(204)를 포함하는 실리콘 칩에 매립되는 MEMS(micro-electrical mechanical system) 마이크로폰일 수 있다. 이러한 구성에서는, 마이크로폰(202)에 의해 출력된 신호가 특징 추출 회로(204)에 도달하기 전에 이 신호를 추출하려고 시도하는 하드웨어 해커가 센서 장치(106)를 광범위하게 손상시켜 마이크로폰(202)을 사용할 수 없게 만들 수 있다.

일실시예에서, 특징 추출 회로(204)는 ASIC(Application Specific Integrated Circuit) 또는 제조 후에 재구성될 수 없는 선구성(preconfigured) 회로일 수 있다. 이러한 실시예에서는, 해킹될 수 있는 소프트웨어는 없다. 따라서, 악의적인 해커가 소프트웨어를 수정해서 특징 추출 회로(204)로 하여금 부가적인 특징을 추출하게 하거나 바람직하게 폐기된 특징들을 폐기하는데 실패하게 할 염려가 없다. 다른 실시예에서는, 센서 장치(106)의 소유자가 설정 변경 기능(configurability)이 소프트웨어 해킹의 위험성을 능가한다고 생각할 경우, 특징 추출 회로(204)는 FPGA(field programmable gate array), 범용 프로세서 등으로 구현될 수 있다. 특징 추출 회로(204)의 출력은 난독화된 신호일 수 있다. 다른 실시예에서는, 특징 추출 회로(204)에 의해 추출된 특징을 암호화하기 위해 암호 회로가 사용될 수 있다.

또한, 일실시예에서, 특징 추출 회로(204)는 적절한 시간에 신호 내의 데이터를 모호하게(fuzz) 하도록 구성될 수 있으며, 따라서 신호를 인터셉트하는 개체가 그 내부의 시간적 패턴에 기초하여 신호의 콘텐츠를 디코딩하는데 어려움을 가질 것이다. 이러한 실시예에서, 특징 추출 회로(204)는 추출된 특징을 분석하는데 필요한 시간의 정확도를 나타내는 정보를 가지고 구성될 수 있으며, 특징 추출 회로(204)는 추출된 특징에 대응하는 타이밍을 수정하여, 이벤트 검출은 허용하면서 신호 내에 인코딩된 이벤트의 시간 특징은 모호하게 할 수 있다. 다른 예에서는, 특징 추출 회로(204)가 추출된 특징을 암호화하고, 타임 스탬프를 제각기의 데이터 패킷에 할당할 수 있다. 그 다음에 수신 애플리케이션이 추출된 특징을 해독할 수 있다. 또 다른 예에서는, 추출된 특징을 처리하는 회로 또는 애플리케이션이 가끔 추출된 특징에 대해 센서 장치(106)를 조사할 수 있다. 적절한 시간에 특징들을 난독화하기 위한 다른 기법도 물론 고려해 볼 수 있다.

센서 장치(106)는 또한 특징 추출 회로(204)에 의해 출력된 특징에 기초하여 (예컨대 이벤트 검출을 수행하는 컴퓨팅 장치(110) 말고) 이벤트 검출을 수행할 수 있는 특징 처리 회로(206)를 선택적으로 더 포함한다. 일부 실시예에서는, 이벤트 검출이 센서 장치(106)에서 로컬로 일어나는 것이, 예컨대 그렇게 하는 것이 더 경제적이거나, 네트워크와 연관된 지연이 센서 장치(206)를 사용하는 애플리케이션에서 허용될 수 없거나 할 경우에, 더 바람직할 수 있다. 일례에 따르면, 특징 처리 회로(206)는 실리콘 기판 상에 특징 추출 회로(204)와 마이크로폰(202)과 함께 위치할 수 있다.

센서 장치(106)는 또한 특징 추출 회로(204)에 의해 출력된 난독화된 신호를 액세스 포인트(108)로 전송할 수 있는 트랜시버(208)를 포함한다. 트랜시버(208)는 와이파이(Wi-Fi) 무선 칩, 블루투스 칩, 광 신호를 방사할 수 있는 광 방사기(optical emitter), 음향 방사기 등으로 구성될 수 있다. 센서 장치가 특징 처리 회로(206)를 포함할 경우, 트랜시버(208)는 출력 신호를 통지 장치(112) 및/또는 외부 통지 장치(114)에 전송하도록 구성될 수 있다. 센서 장치(106)는 또한 특징 처리 회로(206)와 통신하는 하드웨어 표시기(210)를 선택적으로 포함할 수 있으며, 여기서 하드웨어 표시기(210)는 특징 처리 회로(206)가 이벤트의 발생을 검출했음을 나타낸다. 예를 들어, 하드웨어 표시기(210)는, 특징 처리 회로(206)가 특징 추출 회로(204)에 의해 출력된 난독화된 신호에 기초하여 이벤트의 발생을 검출했을 때 광학 신호를 방사하는 LED(light emitting diode)일 수 있다. 다른 예에서, 하드웨어 표시기(210)는 바람직하게 검출된 이벤트의 발생이 검출되었을 때 오디오 신호를 출력하는 스피커일 수도 있다. 또 다른 예에서는, 하드웨어 표시기(210)가 센서 장치(106)로 하여금 진동하게 할 수도 있다.

다른 실시예에서, 센서 장치(106)는 다모드(multi-modal) 센서 장치일 수 있다. 도시되어 있지는 않지만, 특징 추출 회로(204)는 복수의 상이한 특징 추출 회로를 포함할 수 있는데, 각각의 회로는 센서 장치(106)의 제각기의 다양한 동작 모드(및 제각기의 상이한 바람직하게 검출된 이벤트)에 대응한다. 예컨대, 제1 동작 모드에서, 센서 장치(106)는 대화의 의미를 용이하게 검출하도록 구성될 수 있다. 제2 동작 모드에서, 센서 장치(106)는 특정한 사람이 말할 때(예컨대, 말하는 사람을 식별하는 것)를 용이하게 검출하도록 구성될 수 있다. 제3 동작 모드에서, 센서 장치(106)는 어린이가 가정에서 안전지대(safety zone)를 벗어날 때를 용이하게 검출하도록 구성될 수 있다. 다른 모드도 고려할 수 있으며, 이상의 설명은 단지 예들일 뿐이다.

사용자가 센서 장치(106)의 동작 모드를 전환할 수 있게 하기 위해, 센서 장치(106)는 버튼, 클릭 휠(click wheel), 슬라이더 등의 인터페이스(212)를 선택적으로 포함할 수 있다. 센서 장치(106)의 사용자는 인터페이스(212)와 상호작용하는데 이용되는 센서 장치(106)의 동작 모드 중 원하는 모드를 선택할 수 있다. 선택적으로 포함된 모드 선택기 회로(214)는 인터페이스(212)에 대한 사용자의 상호작용에 기초하여 특징 추출 회로(204) 내의 특징 추출 회로(예컨대, 사용자에 의해 선택된 동작 모드)를 선택할 수 있다. 예컨대, 모드 선택기 회로(214)는, 제1 동작 모드가 선택될 때 마이크로폰에 의해 출력된 신호를 (다른 특징 선택 회로는 그러한 신호를 수신하지 못하게 하면서) 제1 특징 추출 회로로 보내거나, 제2 동작 모드가 선택될 때(다른 특징 선택 회로는 그러한 신호를 수신하지 못하게 하면서) 이 신호를 제2 특징 추출 회로로 보내거나 할 수 있다.

일례에서, 인터페이스(212)는 버튼일 수 있으며, 사람은 이러한 버튼을 눌러 제1 동작 모드를 선택할 수 있다. 따라서 센서 장치는, 사람의 말의 의미를 검출하기 위해 기계 번역 시스템에 의해 사용될 수 있지만 음성 인식 시스템이 말하는 사람의 신원을 검출하거나 컴퓨터로 구현된 검출 시스템이 어린이의 울음소리를 검출하기에는 불충분한 정보를 포함하는 난독화된 신호를 생성하게 된다. 이어서 사용자는 다시 버튼을 선택하여, 센서 장치(106)의 동작 모드를 제2 모드로 변경할 수 있다. 그러므로, 센서 장치(106)가 다모드임이 확인될 수 있다.

센서 장치(106)는 또한 컴퓨팅 장치에 제공할(결국은 사람이 소비할) 메시지를 생성할 수 있는 메시지 생성기(216)를 선택적으로 포함할 수 있다. 메시지 생성기(216)는 특징 처리 회로(206)와 통신할 수 있고, 특징 처리 회로(206)로부터 특정 이벤트가 센서 장치(106)에 의해 검출되었다는 표시를 수신할 수 있다. 그 다음에 메시지 생성기(216)는 이벤트의 발생을 통지받을 사람의 컴퓨팅 장치에 보낼 메시지를 생성할 수 있다. 예를 들어, 메시지 생성기(216)는 텍스트 메시지를 생성할 수 있고, 트랜시버(208)는 이 텍스트 메시지를 그 사람의 지정된 모바일 장치에 전송하도록 구성될 수 있다. 다른 예에서는, 메시지 생성기(216)가 이메일, 음성 메시지, 또는 다른 적절한 통지를 생성할 수 있다.

이제 도 3을 참고하여, 센서 장치(106)에 의해 출력된 수신된 난독화된 신호에 기초하여 바람직하게 검출된 이벤트의 발생을 검출하도록 구성될 수 있는 예시적인 컴퓨팅 장치(300)를 설명한다. 예를 들어, 컴퓨팅 장치(300)는 컴퓨팅 장치(110)일 수 있다. 다른 예에서는, 컴퓨팅 장치(300)가 환경(100) 내에 위치해 있는 컴퓨팅 장치(예컨대, 데스크탑 컴퓨팅 장치, 게임 콘솔, 슬레이트 컴퓨팅 장치, 웨어러블 등)일 수 있다. 컴퓨팅 장치(300)는 센서 장치(106)에 의해 출력된 난독화된 신호를 (예컨대, 직접 또는 액세스 포인트(108)를 경유하여) 수신하는 신호 수신기 컴포넌트(302)를 포함한다. 컴퓨팅 장치(300)는 또한 난독화된 신호를 수신하고 난독화된 신호에 기초하여 사전정의된 이벤트가 발생했는지 여부를 확인하도록 구성된 이벤트 검출기 컴포넌트(304)를 더 포함한다. 이벤트 검출기 컴포넌트(304)에 의해 검출될 수 있는 예시적인 이벤트는, 예컨대 노약자가 낙상하였거나 도움이 필요한지 여부, 어린이가 집의 특정 영역 내에 있는지 여부, 도둑이 집안에 침입하려고 하는지 여부 등을 포함한다. 다른 예시적인 이벤트는 위에서 언급하였다. 컴퓨팅 장치(300)는 또한 이벤트 검출기 컴포넌트(304)가 신호 수신기 컴포넌트(302)에 의해 수신된 난독화된 신호에 기초하여 이벤트가 발생했음을 검출할 경우에 신호를 출력할 수 있는 출력 컴포넌트(306)를 포함한다. 예를 들어, 출력 컴포넌트(306)는 이벤트가 발생했음을 나타내는 신호를 통지 장치(112) 및/또는 외부 통지 장치(114)로 전송할 수 있다.

도 4 및 5는 프라이버시 보호 센서의 구성 및 사용과 관련한 예시적인 방법을 도시한 것이다. 이들 방법은 순서대로 수행되는 일련의 동작으로 도시되고 기술되지만, 이들 방법은 이 순서에 제한되지 않음을 이해해야 한다. 예를 들어, 일부 동작은 본 명세서에 기술된 것과 다른 순서로 일어날 수 있다. 또한, 하나의 동작이 다른 동작과 동시에 일어날 수도 있다. 또한, 일부 예에서는, 본 명세서에 기술된 방법을 구현하기 위해 모든 동작이 필요치는 않을 수도 있다.

또한, 본 명세서에 기술된 동작은 하나 이상의 프로세서에 의해 구현될 수 있고/있거나 컴퓨터 판독가능 매체 상에 저장될 수 있는 컴퓨터 실행가능 명령어일 수 있다. 컴퓨터 실행가능 명령어는 루틴, 서브루틴, 프로그램, 실행 스레드 등을 포함할 수 있다. 또한, 이들 방법의 동작 결과는 컴퓨터 판독가능 매체에 저장되거나 디스플레이 장치에 디스플레이되거나 할 수 있다.

이제 도 4를 참고하여, 프라이버시 보호 센서 장치의 구성을 용이하게 하는 예시적인 방법(400)을 설명한다. 방법(400)은 402에서 시작하고, 404에서, 센서가 특징 추출 회로와 통합된다. 예를 들어, 센서와 특징 추출 회로는 집적 회로에 함께 포함될 수 있다(예컨대, 단일 칩이 센서와 특징 추출 회로를 포함할 수 있다). 406에서, 집적 회로가 무선 트랜시버에 결합된다. 다른 실시예에서는, 무선 트랜시버가 집적 회로에 포함되어, 센서와 특징 추출 회로와 통합될 수 있다. 408에서, 집적 회로(및 선택적으로는 무선 트랜시버)는 변조 방지 하우징 내에 캡슐화된다. 전술한 바와 같이, 특징 추출 회로는 센서 신호로부터 소정의 특징 세트를 추출하도록 구성되며, 여기서 이들 특징은 이벤트를 검출하는데 사용될 수 있지만 오리지널 신호를 재구성하는 데에는 사용될 수 없다(따라서 프라이버시 보호 센서가 사용되는 위치에서 사람들의 프라이버시를 보호할 수 있다). 일실시예에서, 신호로부터 추출될 수 있는 특징은 (구어(spoken language)에서 단어를 나타내는) 위상 정보(phase information) 이외의 특징을 포함한다. 다른 예에서는, 음색 및 부대역 에너지와 같은 운율 특징이 마이크로폰에 의해 출력된 신호로부터 추출될 수 있는 반면에, 이 신호의 나머지는 폐기된다. 방법(400)은 410에서 완료된다.

이제 도 5를 참고하여, 난독화된 신호의 생성 및 전송을 용이하게 하는 예시적인 방법(500)을 설명한다. 난독화된 신호는 센서에 의해 출력된 신호로부터 추출된 특징을 포함하며, 여기서 센서에 의해 출력된 오리지널 신호는 난독화된 신호의 사용을 통해 재구성될 수 없다. 방법(500)은 502에서 시작하고, 504에서, 예컨대 특징 추출 회로와 함께 실리콘에 매립되어 있는 마이크로폰을 사용하여 오디오가 캡처된다. 506에서, 센서에 의해 출력된 신호로부터 특징이 추출된다. 508에서, 특징이 무선 액세스 포인트로 전송된다(예컨대, 난독화된 신호 형태의 특징). 이어서, 프라이버시 보호 센서가 이용되는 환경에서 이벤트의 발생을 검출하기 위해 난독화된 신호가 클라우드 서비스에 의해 사용된 컴퓨팅 장치로 전송될 수 있다. 이 방법(500)은 510에서 완료된다.

이제 도 6을 참고하여, 프라이버시 보호 센서 장치에 의해 수행될 수 있는 예시적인 방법(600)을 설명한다. 방법(600)은 602에서 시작하며, 604에서, 센서 장치 내의 센서가 센서 장치를 포함하는 환경의 파라미터를 나타내는 신호를 생성한다. 예를 들어, 이 신호는 (복수의 이미지를 포함하는) 비디오 신호, 오디오 신호, 온도 신호 등일 수 있다.

606에서, 센서에 의해 생성된 신호로부터 특징 세트가 추출된다. 전술한 바와 같이, 특징 세트는 이벤트를 검출하는데 사용될 수 있지만, 전술한 신호를 재구성하는 데에는 사용될 수 없다. 또한, 특징 세트는 이벤트를 검출하는데 사용될 수 있지만, 바람직하게 검출되지 않은 이벤트를 검출하기에는 불충분한 정보를 포함할 수 있다. 또한, 특징을 추출하는데 사용된 회로는 센서와 단단히 결합될 수 있다.

608에서, 특징 세트가 신호로부터 추출되는 것에 대한 응답으로, 신호가 폐기된다(따라서 이 신호의 특징 세트만 남는다). 예를 들어, 센서 장치는 버퍼를 포함할 수 있는데, 이 버퍼는 하나 이상의 프레임을 보관하는데 사용될 수 있다. 특징 추출 회로는 버퍼의 콘텐츠로부터 특징을 추출할 수 있고, 그 후 버퍼가 최신 프레임(또는 프레임들)으로 업데이트될 수 있다. 따라서, 악의적인 하드웨어 해커는 센서 장치를 해체해서 오리지널 신호를 검색하거나 재생성할 수 없다.

610에서, 센서 장치가 608에서 추출된 특징을 분석하도록 구성된다. 예를 들어, 센서 장치는 추출된 특징을 분석하고 특징에 기초하여 (센서 장치가 검출하도록 되어 있는)이벤트가 일어났는지 여부를 판정하도록 구성된 이벤트 검출 회로를 포함할 수 있다. 612에서 이벤트가 검출되었는지 여부에 대한 판정이 이루어진다. 이벤트가 검출되지 않은 경우, 방법(600)은 604로 돌아간다. 이벤트가 검출되면, 614에서 이벤트가 검출되었음을 나타내는 데이터가 출력된다. 이 데이터는 컴퓨팅 장치, 오디오 신호, 비주얼 신호 등에 전송된 신호일 수 있다.

이제 도 7을 참고하여, 센서에 의해 출력된 신호로부터 추출된 특징에 기초하여 이벤트를 검출하도록 구성된 컴퓨팅 장치에 의해 수행될 수 있는 예시적인 방법(700)을 설명한다. 방법(700)은 702에서 시작하고, 704에서 프라이버시 보호 센서 장치로부터 난독화된 신호가 수신된다. 전술한 바와 같이, 난독화된 신호는 특정 유형의 이벤트(예컨대, 어린이가 우는 것)가 발생했는지 여부를 판정하기 위해 컴퓨팅 장치에 의해 사용될 수 있는 센서 신호로부터 추출된 특징을 포함할 수 있지만, 이들 특징은 컴퓨팅 장치가 바람직하게 검출되지 않은 이벤트가 발생했는지(예컨대, 말한 사람 식별) 여부를 판정하기에 충분한 정보를 포함하지는 않는다. 706에서, 난독화된 신호 내의 특징에 기초하여, 바람직하게 검출된 이벤트가 프라이버시 보호 센서 장치의 환경에서 발생했는지 여부에 대한 판정이 이루어진다. 이벤트가 발생하지 않은 것으로 판정되면, 방법(700)은 704로 돌아간다. 706에서 이벤트가 발생한 것으로 판정되면, 708에서 이벤트가 발생했음을 나타내는 신호가 출력된다. 신호는, 예를 들어, 이벤트의 발생을 사람에게 통지하거나, (장래의 분석을 위해) 이벤트를 데이터 저장소에 기록하거나 하기 위해 전송될 수 있다. 다른 예에서는, 이벤트(예컨대, 음성 명령, 제스처 등)의 검출에 기초하여 매체 콘텐츠가 사용자에게 프리젠트될 수 있다.

이제 도 8을 참고하여, 본 명세서에 개시된 시스템 및 방법에 따라 사용될 수 있는 예시적인 컴퓨팅 장치(800)의 하이레벨 실례를 설명한다. 예를 들어, 컴퓨팅 장치(800)는 이벤트의 발생을 검출하는 것, 멀티미디어 콘텐츠를 사용자에게 프리젠트하는 것 등을 지원하는 시스템에 사용될 수 있다. 컴퓨팅 장치(800)는 메모리(804)에 저장되는 명령어를 실행하는 적어도 하나의 프로세서(802)를 포함한다. 명령어는, 예컨대 전술한 하나 이상의 컴포넌트에 의해 수행되는 것으로 기술된 기능을 구현하는 명령어 또는 전술한 방법들 중 하나 이상을 구현하는 명령어일 수 있다. 프로세서(802)는 시스템 버스(806)를 통해 메모리(804)에 액세스할 수 있다. 실행가능 명령어를 저장하는 것 외에, 메모리(804)는 특징들, 멀티미디어 콘텐츠 등을 저장할 수도 있다.

컴퓨팅 장치(800)는 또한 시스템 버스(806)를 통해 프로세서(802)에 의해 액세스가능한 데이터 저장부(808)를 포함한다. 데이터 저장부(808)는 실행가능 명령어, 특징, 멀티미디어 콘텐츠 등을 포함할 수 있다. 컴퓨팅 장치(800)는 또한 외부 장치가 컴퓨팅 장치(800)와 통신할 수 있게 하는 입력 인터페이스(810)를 포함한다. 예를 들어, 입력 인터페이스(810)는 외부 컴퓨터 장치, 사용자 등으로부터 명령어를 수신하는데 사용될 수 있다. 컴퓨팅 장치(800)는 또한 컴퓨팅 장치(800)를 하나 이상의 외부 장치와 인터페이스하는 출력 인터페이스(812)를 포함한다. 예를 들어, 컴퓨팅 장치(800)는 출력 인터페이스(812)를 통해 텍스트, 이미지 등을 디스플레이할 수 있다.

입력 인터페이스(810) 및 출력 인터페이스(812)를 통해 컴퓨팅 장치(800)와 통신하는 외부 장치가 사용자가 상호작용하는 임의의 유형의 사용자 인터페이스를 제공하는 환경에 포함될 수 있다. 사용자 인터페이스 유형의 예로는 그래픽 유저 인터페이스, 내추럴 유저 인터페이스 등을 포함한다. 예를 들어, 그래픽 유저 인터페이스는 키보드, 마우스, 리모트 컨트롤 등과 같은 입력 장치를 이용하여 사용자로부터 입력을 받아서 디스플레이와 같은 출력 장치에 출력을 제공할 수 있다. 또한, 내추럴 사용자 인터페이스는 키보드, 마우스, 리모트 컨트롤 등과 같은 입력 장치에 의해 부과된 제약으로부터 자유로운 방식으로 사용자가 컴퓨팅 장치(800)와 상호작용하게 할 수 있다. 사실은, 내추럴 사용자 인터페이스는 음성 인식, 터치 및 스타일러스 인식, 스크린 상에서 그리고 스크린에 가까이에서의 제스처 인식, 에어 제스처(air gesture), 머리와 눈 추적, 음성 및 말하기(voice and speech), 비전(vision), 터치, 제스처, 기계 지능(machine intelligence) 등에 의존할 수 있다.

또한, 컴퓨팅 장치(800)는 단일 시스템으로 도시되어 있지만, 분산 시스템일 수도 있다. 따라서, 예를 들어 여러 장치가 네트워크 연결을 통해 통신할 수도 있고 컴퓨팅 장치(800)에 의해 수행되는 것으로 기술된 태스크를 집합적으로 수행할 수 있다.

본 명세서에 기술된 다양한 기능은 하드웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이들 기능은 소프트웨어로 구현될 경우에, 하나 이상의 명령어 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 전송될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 저장 매체일 수 있다. 예를 들어, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 장치, 또는 명령어 또는 데이터 구조 형태로 원하는 프로그램 코드를 반송하거나 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 저장 매체를 포함할 수 있다. 본 명세서에 사용된 디스크(disk and disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크, 및 BD(Blu-ray disc)를 포함하며, 여기서 디스크는 데이터를 자기적으로 재생하고 디스크는 일반적으로 레이저로 광학적으로 데이터를 재생한다. 또한, 전파된 신호는 컴퓨터 판독가능 저장 매체의 범위 내에 포함되지 않는다. 컴퓨터 판독가능 매체는 또한 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함한다. 접속은, 예컨대, 통신 매체일 수 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 동축 케이블, 광섬유 케이블, 트위스트 페어(twisted pair), DSL, 또는 적외선, 무선 및 마이크로파와 같은 무선 기술을 이용하는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 적외선, 무선 및 마이크로파와 같은 무선 기술이 통신 매체의 정의에 포함된다. 이들의 조합 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.

이에 갈음하여 또는 이에 더하여, 본 명세서에 기술된 기능은 하나 이상의 하드웨어 로직 컴포넌트에 의해 적어도 부분적으로 수행될 수 있다. 예를 들어, 사용될 수 있는 예시적인 유형의 하드웨어 로직 컴포넌트는 FPGA(Field-programmable Gate Array), ASIC(Program-specific Integrated Circuit), ASSP(Program-specific Standard Product), SOC(System-on-a-chip system), CPLD(Complex Programmable Logic Device) 등을 포함한다.

전술한 것은 하나 이상의 실시예의 예들을 포함한다. 물론, 전술한 특징을 기술할 목적으로 위 장치 및 방법의 모든 가능한 수정 및 변형을 기술하는 것이 가능하지는 않지만, 당업자는 다양한 특징들의 많은 다른 수정 및 치환이 가능함을 알 수 있을 것이다. 따라서, 기술된 특징은 첨부한 청구항의 사상 및 범주 내에 있는 그러한 모든 변형, 수정, 및 변경을 포함하고자 한다. 또한, "포함"이란 용어가 상세한 설명 또는 청구항에 사용되는 경우에, 이 용어는 "포함"이란 용어가 청구항에서 통상의 단어로서 사용될 때 해석되는 것과 유사한 방식으로 포괄적임을 의미한다.

Claims

프라이버시 보호 센서 장치로서,
반도체 칩을 포함하되,
상기 반도체 칩은
환경에서 파라미터를 나타내는 신호를 출력하는 센서와,
상기 센서와 함께 상기 반도체 칩에 매립된 특징 추출 회로
를 포함하고,
상기 특징 추출 회로는,
상기 신호를 수신하고,
상기 신호로부터 특징을 추출 - 상기 특징은 위상 정보를 포함하지 않고, 상기 프라이버시 보호 센서 장치는 상기 특징 추출 회로가 상기 신호로부터 상기 특징을 추출하는 것에 응답하여 상기 신호를 즉각 폐기하도록 구성됨 - 하며,
상기 특징을 출력 - 상기 프라이버시 보호 센서 장치는 상기 환경에서 제1 음성 이벤트의 발생을 검출하도록 구성된 이벤트 검출 시스템과 통신하고, 상기 이벤트 검출 시스템은 상기 신호로부터 추출된 상기 특징에만 기초하여 상기 환경에서 상기 제1 음성 이벤트의 발생을 검출하도록 구성되며, 제2 음성 이벤트의 발생을 검출하도록 구성된 제2 이벤트 검출 시스템은 상기 특징에만 기초해서는 상기 제2 음성 이벤트를 검출할 수 없고, 상기 제2 음성 이벤트는 상기 이벤트 검출 시스템이 상기 센서에 의해 출력된 신호에 액세스한 경우 상기 제2 이벤트 검출 시스템에 의해 검출될 수 있음 - 하도록 구성되는
프라이버시 보호 센서 장치.
제1항에 있어서,
상기 반도체 칩을 캡슐화하는 변조 방지 하우징을 더 포함하는
프라이버시 보호 센서 장치.
제1항에 있어서,
상기 센서는 마이크로폰인
프라이버시 보호 센서 장치.
제1항에 있어서,
상기 특징 추출 회로에 의해 출력된 특징을 수신하고 상기 특징을 포함하는 출력 신호를 출력하도록 구성된 트랜시버를 더 포함하되,
상기 이벤트 검출 시스템을 실행하는 컴퓨팅 장치는 상기 트랜시버에 의해 출력된 상기 출력 신호를 수신하고 상기 출력 신호에 기초하여 상기 제1 음성 이벤트를 검출하도록 동작가능한
프라이버시 보호 센서 장치.
제1항에 있어서,
상기 반도체 칩은
상기 센서와 함께 상기 반도체 칩에 매립되는 제2 특징 추출 회로 - 상기 제2 특징 추출 회로는 상기 신호를 수신하고 상기 신호로부터 제2 특징을 추출하도록 구성되고, 상기 환경에서 상기 제2 음성 이벤트는 상기 제2 특징에만 기초하여 상기 제2 이벤트 검출 시스템에 의해 검출가능하고, 상기 제1 음성 이벤트는 상기 제2 특징에만 기초해서는 상기 이벤트 검출 시스템에 의해 검출될 수 없음 - 와,
사용자 입력 수신에 응답하여 상기 특징 추출 회로 및 상기 제2 특징 추출 회로 중 하나를 상기 센서와 연결하고 상기 특징 추출 회로 및 상기 제2 특징 추출 회로 중 다른 하나를 상기 센서로부터 분리하는 모드 선택기 회로
를 더 포함하는
프라이버시 보호 센서 장치.
제1항에 있어서,
상기 제1 음성 이벤트의 발생을 검출하는 것에 응답하여 검출 신호를 출력하도록 구성되는 상기 이벤트 검출 시스템을 더 포함하는
프라이버시 보호 센서 장치.
제6항에 있어서,
상기 이벤트 검출 시스템은 상기 반도체 칩 내에 상기 센서 및 상기 특징 추출 회로와 함께 매립된 특징 처리 회로를 포함하는
프라이버시 보호 센서 장치.
제6항에 있어서,
상기 이벤트 검출 회로에 의해 출력된 상기 검출 신호를 수신하고 상기 검출 신호를 수신하는 것에 응답하여 사람이 감지할 수 있는 신호를 방사하는 하드웨어 표시기를 더 포함하는
프라이버시 보호 센서 장치.
제6항에 있어서,
상기 이벤트 검출 시스템에 의해 출력된 상기 검출 신호를 수신하도록 구성된 메시지 생성기를 더 포함하되,
상기 메시지 생성기는 상기 환경에서 상기 제1 음성 이벤트의 발생을 나타내는 사람이 감지할 수 있는 메시지를 생성하도록 구성되는
프라이버시 보호 센서 장치.
프라이버시 보호 센서 장치에서 수행되는 방법으로서,
센서에 의해, 상기 프라이버시 보호 센서 장치가 위치해 있는 환경의 적어도 하나의 파라미터를 나타내는 센서 신호를 생성하는 단계와,
상기 센서 신호로부터 특징을 추출하는 단계 - 상기 특징은 위상 정보를 포함하지 않고, 상기 특징은 제1 음성 이벤트의 발생을 검출하기 위해 제1 이벤트 검출 시스템에 의해 사용되도록 구성되고, 상기 특징은 제2 음성 이벤트를 검출하기 위해 제2 이벤트 검출 시스템에 의해 사용되도록 구성되지 않으며 상기 제2 음성 이벤트는 상기 센서 신호에 기초하여 상기 제2 이벤트 검출 시스템에 의해 검출 가능하고, 상기 센서 신호로부터 상기 특징을 추출하는 특징 추출 회로는 반도체 칩에 상기 센서와 함께 매립됨 - 와,
상기 센서 신호로부터 상기 특징을 추출하는 것에 응답하여, 상기 센서 신호를 즉각 폐기하는 단계와,
상기 제1 이벤트 검출 시스템에 난독화된 신호를 출력하는 단계 - 상기 난독 화된 신호는 상기 특징을 포함하고, 상기 난독화된 신호는 상기 제2 음성 이벤트를 검출하기 위해 상기 제2 이벤트 검출 시스템에 의해 사용되도록 구성되지 않음 - 를 포함하는
방법.
제10항에 있어서,
상기 난독화된 신호를 출력하기 전에, 상기 특징을 암호화하는 단계를 더 포함하되, 상기 난독화된 신호는 상기 암호화된 특징을 포함하는
방법.
제10항에 있어서,
상기 난독화된 신호를 분석하는 단계와,
상기 난독화된 신호의 분석에 기초하여 상기 제1 음성 이벤트가 발생했음을 나타내는 신호를 출력하는 단계를 더 포함하는
방법.
제10항에 있어서,
상기 난독화된 신호는 상기 난독화된 신호를 수신하는 컴퓨팅 장치를 식별하는 데이터를 포함하고, 상기 컴퓨팅 장치는 상기 제1 이벤트 검출 시스템을 실행하는 클라우드 기반 컴퓨팅 장치인
방법.
제10항에 있어서,
상기 센서는 마이크로폰인
방법.
제10항에 있어서,
제3 음성 이벤트가 상기 환경에서 발생할 때 상기 제3 음성 이벤트가 검출될 것임을 나타내는 사용자 입력을 수신하는 단계와,
상기 사용자 입력 수신에 응답하여, 상기 센서를 상기 특징 추출 회로로부터 접속해제하는(communicatively decoupling) 단계와,
상기 사용자 입력 수신에 응답하여, 상기 센서를 제2 특징 추출 회로에 접속하는 단계와,
상기 센서 신호로부터 특징을 추출하는 단계 - 상기 특징은 상기 제3 음성 이벤트의 발생을 검출하는 데 사용하도록 구성되지만 상기 제2 음성 이벤트의 발생을 검출하는 데 사용하도록 구성되지 않고, 상기 센서 신호로부터 상기 특징을 추출하는 상기 제2 특징 추출 회로는 상기 반도체 칩에 상기 센서와 함께 매립됨 - 를 더 포함하는
방법.
제10항에 있어서,
상기 센서는 마이크로 전기 기계 시스템 마이크로폰인
방법.
프라이버시 보호 센서 장치로서,
반도체 칩을 포함하되,
상기 반도체 칩은,
상기 프라이버시 보호 센서 장치가 위치해 있는 환경의 적어도 하나의 파라미터를 나타내는 센서 신호를 생성하도록 구성된 마이크로폰과,
상기 마이크로폰과 함께 상기 반도체 칩에 매립된 특징 추출 회로를 포함하고,
상기 특징 추출 회로는,
상기 센서 신호로부터 특징을 추출 - 상기 특징은 위상 정보를 포함하지 않고, 상기 프라이버시 보호 센서 장치는 제1 음성 이벤트 및 상기 제1 음성 이벤트와는 다른 제2 음성 이벤트를 검출하도록 구성된 이벤트 검출 시스템과 통신하며, 상기 이벤트 검출 시스템은 상기 센서 신호로부터 추출된 특징에만 기초하여 상기 제1 음성 이벤트의 발생을 검출하도록 구성되고, 상기 이벤트 검출 시스템은 상기 신호로부터 추출된 특징에 기초하여 상기 제2 음성 이벤트를 검출할 수 없고, 상기 이벤트 검출 시스템은 상기 센서 신호에 기초하여 상기 제2 음성 이벤트를 검출하도록 구성됨 - 하고,
상기 센서 신호로부터 상기 특징을 추출하는 것에 응답하여 상기 센서 신호를 즉각 폐기하며,
상기 특징을 포함하는 난독화된 신호를 상기 이벤트 검출 시스템으로 출력하도록 구성되는
프라이버시 보호 센서 장치.
제17항에 있어서,
상기 제1 음성 이벤트는 발화된 단어(spoken word)이고, 상기 제2 음성 이벤트는 상기 발화된 단어를 말하는 사람(speaker)의 신원인
프라이버시 보호 센서 장치.
제17항에 있어서,
상기 이벤트 검출 시스템을 더 포함하는
프라이버시 보호 센서 장치.
제17항에 있어서,
상기 난독화된 신호는 상기 난독화된 신호를 수신하는 컴퓨팅 장치를 식별하는 데이터를 포함하고, 상기 컴퓨팅 장치는 상기 이벤트 검출 시스템을 실행하는 클라우드 기반 컴퓨팅 장치인
프라이버시 보호 센서 장치.