KR20210006419A

KR20210006419A - 건강 관련 정보 생성 및 저장

Info

Publication number: KR20210006419A
Application number: KR1020207034864A
Authority: KR
Inventors: 존 폴 레쏘
Original assignee: 시러스 로직 인터내셔널 세미컨덕터 리미티드
Priority date: 2018-05-08
Filing date: 2019-05-07
Publication date: 2021-01-18
Also published as: WO2019215433A1; GB2587108A; US20190348064A1; GB2605930A; GB2587108B; US11749298B2; GB202016163D0; GB202210385D0; US20230377602A1; GB202210386D0; CN112105297A; GB2605930B; GB2605929A; GB2605929B

Abstract

검출된 소리 신호는 음성 또는 비언어적 소리를 포함할 수 있으며, 많은 비언어적 소리는 건강 정보를 포함한다. 음성 또는 건강 정보를 포함하는 비언어적 소리가 등록된 사용자에 의해 생성되면, 소리와 관련된 데이터가 저장 요소에 저장될 수 있다. 시스템은 또한 수신된 데이터를 난독화하여 저장된 데이터의 난독화된 버전을 제공하기 위한 데이터 수정 블록을 포함한다. 시스템은 승인된 사용자만이 상기 저장된 데이터에 대한 액세스를 획득할 수 있도록 저장된 데이터에 대한 액세스를 제어하기 위한 제 1 액세스 메커니즘과, 제 2 액세스 메커니즘만이 저장된 데이터의 난독화된 버전에 대한 액세스를 제공하도록 상기 저장된 데이터에 대한 액세스를 제어하기 위한 제 2 액세스 메커니즘을 갖는다.

Description

건강 관련 정보 생성 및 저장

본 발명은 의료 정보의 생성 및 저장에 관한 것이다.

의료 관련 정보는 사람의 음성(speech)으로부터 또한 기침, 재채기 등과 같은 사람이 내는 비 음성 소리로부터 획득될 수 있는 것으로 알려져 있다.

스마트폰에는 물론 마이크로폰이 제공되고 통상 휴대되기 때문에, 그 소유자에 의해 생성되는 음성 및 비 음성 소리를 검출할 수 있다. 그러나, 의학적으로 관련이 있으려면, 검출된 소리가 건강 분석중인 사람에 의해 실제로 생성되었음을 확인할 필요가 있다. 또한, 디바이스 내에서 생성되는 모든 건강 관련 정보가 적절한 보안 방식으로 저장되는지를 확인할 필요가 있다.

본 발명의 제 1 양태에 따르면, 사용자의 건강과 관련된 정보를 획득하는 방법으로서, 상기 방법은 소리(sound)를 검출하는 단계; 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는지 여부를 결정하는 단계; 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는 것으로 결정되면, 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계; 및 비언어적 소리가 사용자에 의해 생성된 것으로 결정되면, 상기 비언어적 소리에 관한 데이터를 저장하는 단계를 포함하는 방법이 제공된다.

본 발명의 제 2 양태에 따르면, 등록된 사용자의 건강을 모니터링하는 방법으로서, 상기 방법은 음성을 표현하는 오디오 신호를 수신하는 단계; 수신된 오디오 신호에 대해 화자 인식 처리(speaker recognition process)를 수행하여 화자를 식별하는 단계; 식별된 화자가 등록된 사용자인 것으로 결정되면, 오디오 신호에 의해 표현된 음성으로부터 건강 마커 특징(health marker feature)을 획득하는 단계; 및 획득된 건강 마커 특징을 식별된 화자를 나타내는 데이터와 함께 보안 저장 요소에 저장하는 단계를 포함하는 방법이 제공된다.

본 발명의 제 3 양태에 따르면, 건강 관련 데이터를 위한 데이터 저장 시스템으로서, 상기 시스템은 입력 데이터를 저장하기 위한 저장 요소로서, 상기 입력 데이터는 등록된 사용자와 관련되어 있다고 결정된 후에 저장되는, 저장 요소; 상기 입력 데이터를 수신하기 위한, 또한 상기 수신된 입력 데이터를 난독화하여 상기 저장된 데이터의 난독화된 버전을 제공하기 위한 데이터 수정 블록; 승인된 사용자만이 상기 저장된 데이터에 대한 액세스를 획득할 수 있도록 상기 저장된 데이터에 대한 액세스를 제어하기 위한 제 1 액세스 메커니즘; 및 제 2 액세스 메커니즘만이 저장된 데이터의 난독화된 버전에 대한 액세스를 제공하도록 상기 저장된 데이터에 대한 액세스를 제어하기 위한 제 2 액세스 메커니즘을 포함하는 시스템이 제공된다.

본 발명의 이해를 더욱 용이하게 하기 위해, 그리고 본 발명을 실시할 수 있는 방법을 더욱 명확하게 나타내기 위해, 이하 단지 실시예에 의거하여 첨부 도면에 대해 언급할 것이다:
도 1은 스마트폰을 도시한다.
도 2는 스마트폰의 개략도이다.
도 3은 제 1 처리 시스템을 예시하는 블록도이다.
도 4는 제 1 방법을 예시하는 흐름도이다.
도 5는 제 2 처리 시스템을 예시하는 블록도이다.
도 6은 제 2 방법을 예시하는 흐름도이다.
도 7은 제 3 처리 시스템을 예시하는 블록도이다.
도 8은 처리 및 저장 디바이스의 개략적인 블록도이다.

이하의 설명은 본 개시내용에 따른 예시적인 실시형태들을 설명한다. 추가의 예시적인 실시형태 및 구현예는 당업자에게 자명할 것이다. 추가로, 당업자는 다양한 등가 기술이 아래에 설명되는 실시형태들을 대신하여 또는 그들 실시형태들과 함께 적용될 수 있으며, 이러한 모든 등가물은 본 개시내용에 포함되어야 한다는 것을 인식할 것이다.

명확성을 위해, 본 설명은 본원에서는 화자 인식 및 다른 의미를 갖는 것으로 간주되는 음성 인식을 지칭한다는 것을 주의해야 할 것이다. 화자 인식은 말하는 사람의 신원에 관한 정보를 제공하는 기술을 지칭한다. 예를 들어, 화자 인식은 이전에 등록된 개인 그룹 중에서 화자의 신원을 결정(화자 식별)하거나, 예를 들어, 인증 목적으로 화자가 특정 개인인지 여부를 나타내는 정보를 제공(화자 확인)할 수 있다. 음성 인식은 말하는 사람을 인식하는 것이 아니라 내용 및/또는 말한 내용의 의미를 결정하는 기술을 지칭한다.

도 1은 주변 소리를 검출하기 위한 마이크로폰(12)을 갖는 스마트폰(10)을 예시한다. 스마트폰(10)은 본 명세서에 설명된 시스템이 구현될 수 있고 본 명세서에 설명된 방법이 수행될 수 있는 전자 디바이스의 하나의 예일 뿐이다. 본 명세서에 설명된 시스템이 구현될 수 있고 본 명세서에 설명된 방법이 수행될 수 있는 전자 디바이스의 다른 예는 태블릿 또는 랩톱 컴퓨터, 게임 콘솔, 홈 제어 시스템, 홈 엔터테인먼트 시스템, 차량용 엔터테인먼트 시스템 및 가전 기기이다.

도 2는 스마트폰(10) 또는 다른 전자 디바이스의 형태를 나타내는 개략도이다.

구체적으로, 도 2는 스마트폰(10)의 다양한 상호 연결된 구성 요소를 도시한다. 스마트폰(10)은 실제로 많은 다른 구성 요소를 포함할 것이지만, 이하의 설명은 본 발명을 이해하기에 충분하다는 것을 이해할 것이다.

따라서, 도 2는 위에서 언급한 마이크로폰(12)을 도시한다. 특정 실시형태에서, 스마트폰(10)에는 다수의 마이크로폰(12, 12a, 12b 등)이 제공된다.

도 2는 또한 실제로 단일 구성 요소 또는 다중 구성 요소로서 제공될 수 있는 메모리(14)를 도시한다. 메모리(14)는 데이터 및 프로그램 명령을 저장하기 위해 제공된다.

도 2는 또한 실제로 단일 구성 요소 또는 다중 구성 요소로서 제공될 수 있는 프로세서(16)를 도시한다. 예를 들어, 프로세서(16)의 하나의 구성 요소는 스마트폰(10)의 애플리케이션 프로세서일 수 있다.

도 2는 또한 스마트폰(10)이 외부 네트워크와 통신할 수 있도록 제공되는 송수신기(18)를 도시한다. 예를 들어, 송수신기(18)는 WiFi 로컬 영역 네트워크 또는 셀룰러 네트워크를 통해 인터넷 접속을 설정하기 위한 회로를 포함할 수 있다.

도 2는 또한 필요에 따라 마이크로폰(12)에 의해 검출된 오디오 신호에 대한 동작을 수행하기 위한 오디오 처리 회로(20)를 도시한다. 예를 들어, 오디오 처리 회로(20)는 오디오 신호를 필터링하거나 다른 신호 처리 동작을 수행할 수 있다.

도 2는 또한 사용자에게 정보를 제공하고 및/또는 사용자로부터 입력을 수신하기 위한 사용자 인터페이스(22)를 도시한다. 예를 들어, 사용자 인터페이스(22)는 터치 스크린 디스플레이를 포함할 수 있다.

일부 실시형태에서, 스마트폰(10)에는 화자 인식 기능 및 제어 기능이 제공된다. 따라서, 스마트폰(10)은 등록된 사용자의 음성 명령에 응답하여 다양한 기능을 수행할 수 있다. 화자 인식 기능은 등록된 사용자의 음성 명령과, 다른 사람이 말할 때의 동일한 명령을 구별할 수 있다. 따라서, 본 발명의 특정 실시형태는 예를 들어 음성 명령을 수행하도록 의도된 디바이스에서 화자 인식 기능이 수행되는 태블릿 또는 랩톱 컴퓨터, 게임 콘솔, 홈 제어 시스템, 홈 엔터테인먼트 시스템, 차량 엔터테인먼트 시스템, 가전 기기 등과 같은 일종의 음성 조작성을 갖는 스마트폰 또는 다른 휴대용 전자 디바이스의 동작에 관한 것이다. 특정 다른 실시형태는 화자 인식 기능이 스마트폰 또는 다른 디바이스에서 수행되고, 화자 인식 기능이 화자가 등록된 사용자임을 확인할 수 있으면 명령을 별개의 디바이스에 전송하는 시스템에 관한 것이다.

일부 실시형태에서, 화자 인식 기능이 스마트폰(10) 또는 사용자 근처에 위치한 다른 디바이스에서 수행되는 동안, 음성 명령은 송수신기(18)를 사용하여 음성 명령의 의미를 결정하는 원격 음성 인식 시스템에 전송된다. 예를 들어, 음성 인식 시스템은 클라우드 컴퓨팅 환경의 하나 이상의 원격 서버에 위치할 수 있다. 그 다음, 음성 명령의 의미에 기반한 신호가 스마트폰(10) 또는 다른 로컬 디바이스에 리턴된다.

다른 실시형태에서, 화자 인식 기능의 제 1 부분은 스마트폰(10) 또는 사용자 근처에 위치한 다른 디바이스에서 수행된다. 그 다음, 아래에서 더 상세히 설명되는 바와 같이, 신호는 송수신기(18)를 사용하여 화자 인식 기능의 제 2 부분을 수행하는 원격 시스템에 전송될 수 있다.

이론적으로 스마트폰은 사용자의 음성과 사용자가 생성하는 비언어적 소리를 기초하여 사용자에 대한 잠재적인 의료 관련 정보를 제공하는데 사용될 수 있다. 그러나, 이들 영역에서 수행된 작업은 예를 들어 특정 사용자가 특정 시간에 말하도록 요청받거나 검출된 소리가 한 명의 사용자에 의해 생성되었다고 가정할 수 있는 부자연스러운 상황에서 일반적으로 수행되었다. 아래에 설명된 방법에 의해 자연스러운 상황에서 보다 지속적으로 정보가 생성될 수 있다.

본 명세서에 설명된 실시형태는 사용자에 의해 생성된 비 음성 소리 및 사용자의 음성에 관한 것이다.

도 3은 스마트폰(10)에서 구현될 수 있는 시스템의 개략적인 블록도이고, 도 4는 사용자의 건강과 관련된 정보를 얻기 위해 시스템에 의해 수행되는 방법을 예시하는 흐름도이다.

도 3은 스마트폰(10)의 마이크로폰(12) 중 하나를 도시한다. 도 4의 단계 50에서 도시된 바와 같이, 마이크로폰(10)은 스마트폰(10) 근방의 소리를 검출할 것이다. 하나의 마이크로폰(10)만이 도 3에 도시되지만, 다수의 마이크로폰에 의해 검출된 소리가 본 방법에 사용될 수 있다.

마이크로폰(10)에 의해 생성된 신호는 전처리 블록(30)에 전달된다. 예를 들어, 마이크로폰(10)에 의해 생성된 신호가 아날로그 신호이면, 전처리 블록(30)은 아날로그-디지털 변환을 수행할 수 있다. 신호는 또한 각 프레임이 별개로 고려될 수 있도록 예를 들어 20ms 기간의 프레임으로 분할될 수 있다.

전처리된 신호는 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는지 여부를 도 4에 도시된 프로세스의 단계 52에서 결정하는 소리 분석 블록(32)에 전달된다.

예를 들어, 일부 실시형태에서, 비언어적 소리는 기침이고; 일부 실시형태에서, 비언어적 소리는 재채기이고; 일부 실시형태에서, 비언어적 소리는 가청 호흡 소리이다. 일부 실시형태에서, 소리 분석 블록(32)은 다수의 비언어적 소리를 검출하도록 구성된다.

이들 소리 각각은 건강 정보를 포함한다. 따라서, 사용자가 기침했다는 사실은 사용자의 의학적 상태에 관한 정보를 추론하는데 사용될 수 있다. 소리 분석 블록은 또한 기침의 유형에 관한 추가 정보를 추출할 수 있다. 예를 들어, 소리 분석 블록(32)은 가래성 기침, 비가래성 기침 및 백일해를 구별할 수 있다. 유사하게, 사용자가 재채기를 했다는 사실은 사용자의 의학적 상태에 관한 정보를 추론하는데 사용될 수 있다. 즉, 사용자의 호흡을 들을 수 있다는 사실은 사용자의 의학적 상태에 관한 정보를 추론하는데에도 사용될 수 있다. 소리 분석 블록은 또한 호흡 소리에 관한 추가 정보를 추출할 수 있다.

따라서, 소리 분석 블록(32)에는 기침, 재채기, 코골이 또는 다른 가청 호흡 소리, (트림 또는 헛소리에 의한) 지나가는 바람 또는 딸꾹질과 같이 관련된 특정 비언어적 소리를 나타내는 모델이 제공될 수 있다. 그 다음, 이들 소리 중 하나가 검출되었는지 여부를 결정하기 위해, 전처리된 신호가 소리 분석 블록(32)에서 이들 모델과 비교될 수 있다.

또한, 소리 분석 블록(32)은 소리가 생성된 시간과 관련된, 비언어적 소리에 관한 정보와 연관되는 타임 스탬프 데이터를 생성할 수 있다. 추가로 또는 대안으로, 소리 분석 블록(32)은 소리의 지속 시간에 관한 데이터를 생성할 수 있다. 추가로 또는 대안으로, 소리 분석 블록(32)은 생성된 상기 비언어적 소리의 개수를 유지할 수 있다.

또한, 소리 분석 블록(32)은 소리의 가청 특징에 관한 데이터를 생성할 수 있다. 추가로 또는 대안으로, 소리 분석 블록(32)은 비언어적 소리의 분석을 수행하고, 상기 분석의 결과와 관련된 데이터를 생성할 수 있다.

도 4에 도시된 프로세스의 단계 54에서, 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함한다고 결정되면, 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정한다.

비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 프로세스는 몇몇 상이한 형태 중 하나 이상을 취할 수 있다.

예를 들어, 전처리 블록(30)에 의해 출력된 전처리된 신호는 생체 분석 블록(34)에 전달될 수 있으며, 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 것은 검출된 소리에 대해 생체 인식 프로세스를 수행하는 것을 포함할 수 있다.

보다 구체적으로, 하나의 예에서, 기침할 때 사람이 내는 소리는 그 사람에 대한 생체 인식 식별자로서 사용될 수 있다는 것이 인식되었다. 따라서, 비언어적 소리가 기침인 경우, 생체 인식 프로세스를 수행하는 것은 검출된 소리를 사용자가 이전에 생성한 기침과 비교하는 것을 포함할 수 있다. 이러한 강제 기침이 강제 기침의 많은 특징을 가지고 있다고 제안되었기 때문에, 한 가지 가능성은 사용자에게 의도적으로 기침하여 등록 절차를 수행하도록 요청하는 것이다. 그 다음 그 사용자의 기침의 특징은 기존 방식으로 추출되고 저장되어 모델로서 사용될 수 있다. 예를 들어, 추출되는 특징은 화자 인식을 수행하는데 사용될 수 있는 입력 오디오를 나타내는 특징을 포함할 수 있다. 예를 들어, 추출되는 특징에는 멜 주파수 켑스트럴 계수(Mel Frequency Cepstral Coefficients, MFCC)가 포함될 수 있다.

등록 프로세스는 장기간, 예를 들어 며칠에 걸쳐 발생할 수 있으므로, 등록 사용자가 소리를 생성하는 몇몇 예를 사용할 수 있다. 시스템은 사용자에게 한 번 이상의 경우에 소리를 생성하도록 요청할 수 있다. 대안으로 또는 추가로, 시스템이 관련 소리(예를 들어, 기침 또는 재채기)를 검출할 때, 사용자에게 그 소리를 냈는지 확인하라는 메시지가 표시될 수 있다. 그 다음 사용자에 의해 생성된 다수의 소리는 등록 목적으로 사용될 수 있다.

또한 등록은 등록 후에도 후속 소리가 분석되고 특정 사용자에 대한 모델을 개선하는데 사용되는 강화 단계를 포함할 수 있다. 이는 시스템이 특정 사용자의 기침(또는 다른 소리) 간의 변동성과 그 사용자와 다른 사용자 간의 변동성을 식별할 수 있도록 돕는다.

그 다음, 사용자가 시스템에 등록되어 모델이 생성되었을 때, 검출된 소리와 사용자에 의해 이전에 생성된 대응하는 비언어적 소리를 비교하는 것은 기침(또는 다른 소리)를 나타내는 수신된 오디오 신호의 일부로부터 동일한 특징을 추출하는 것과, 기침의 추출된 특징을 등록 중에 생성된 모델과 비교하는 것을 포함할 수 있다. 유사도가 충분하면, 그 기침은 등록된 사용자에 의해 생성되었다고 결정할 수 있다. 초기 등록이 수행되는지 여부에 관계없이, 소리 분석 블록(32)에 의해 검출된 기침 또는 다른 비언어적 소리는 사용자에 의해 이전에 생성된 것으로 인식된 대응하는 비언어적 소리와 비교될 수 있다.

다른 예에서, 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계는 사용자가 상기 비언어적 소리를 생성했는지 확인하도록 요청하는 것을 포함 할 수 있다.

예를 들어, 소리 분석 블록(32)이 재채기를 검출했다고 결정하면, 예를 들어 터치 스크린이 "방금 재채기를 한 것이 당신이었습니까? YES 또는 NO 버튼을 누르십시오"라는 메시지를 표시하게 하도록 스마트폰의 사용자 인터페이스(22)에 신호를 송신할 수 있다. 그 다음 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계는 화면에 표시된 "YES" 버튼이 눌려진 경우에만 재채기를 사용자에 의해 생성된 것으로서 기록하는 것을 포함할 수 있다.

다른 예에서, 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계는 사용자가 착용하거나 휴대하고 있는 디바이스의 움직임과 관련된 정보를 수신하는 것을 포함할 수 있다.

예를 들어 재채기를 하면, 보통 머리가 약간 움직인다. 그러므로, 소리 분석 블록은 사용자가 착용하고 있는 이어폰에 제공되는 가속도계(36)에 의해 생성되는 신호를 수신할 수 있다. 이어폰은 스마트폰(10)과 유선 또는 무선으로 연결될 수 있다. 재채기하는 사람의 전형적인 머리 움직임의 특징인 신호가 재채기 소리와 동시에 수신되면, 이는 재채기를 한 스마트폰(10)의 사용자라고 결정할 수 있다.

도 4에 도시된 프로세스의 단계 56에서, 비언어적 소리가 사용자에 의해 생성된 것으로 결정되면, 상기 비언어적 소리와 관련된 데이터가 저장된다. 예를 들어, 도 3에 도시된 바와 같이, 데이터는 메모리(38)에 저장될 수 있다. 필요할 때, 소리를 포함하는 오디오 신호가 또한 메모리(38)에 저장될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 메모리(38)는 시스템 온 칩에서 분석 및 분류를 수행하는 프로세서와 통합될 수 있거나 프로세서에 보안 접속될 수 있는 보안 저장 디바이스일 수 있다.

따라서, 본 방법과 시스템은 비언어적 소리에 대한 정보를 저장할 수 있다는 장점이 있다. 저장되는 정보는 임상적으로 관련이 있다. 예를 들어, 만성 흉부 질환이 의심되는 사람의 경우, 그 사람이 기침하는 횟수에 관한 정확한 정보를 얻을 수 있으며, 기침의 다른 관련 가청 특징도 얻을 수 있다. 폐쇄성 수면 무호흡증과 같은 상태에 있는 사람의 경우, 가청 호흡 효과의 지속 시간 및 빈도에 관한 정보를 얻을 수 있다.

또한 본 방법과 시스템은 디바이스를 사용하는 사람의 기침 및 재채기를 마이크로폰에 의해 검출될 수 있는 다른 기침 및 재채기와 구별할 수 있다. 예를 들어 사용자가 기침하는 횟수가 다른 사람의 기침을 검출하여 혼동되는 상황을 방지한다.

도 5는 스마트폰(10)에서 구현될 수 있는 시스템의 개략적인 블록도이고, 도 6은 사용자의 건강 모니터링의 사용에 관련된 정보를 얻기 위해 시스템에 의해 수행되는 방법을 예시하는 흐름도이다.

도 5는 스마트폰(10)의 마이크로폰(12) 중 하나를 도시한다. 마이크로폰(10)은 스마트폰(10) 근처의 소리를 검출할 것이다. 도 5에는 하나의 마이크로폰(10)만이 도시되어 있지만, 다수의 마이크로폰에 의해 검출된 소리가 본 방법에서 사용될 수 있다.

마이크로폰(10)에 의해 생성된 신호는 전처리 블록(70)에 전달된다. 예를 들어, 마이크로폰(10)에 의해 생성된 신호가 아날로그 신호이면, 전처리 블록(70)은 아날로그-디지털 변환을 수행할 수 있다. 신호는 또한 각 프레임이 별개로 고려될 수 있도록 예를 들어 20ms 기간의 프레임으로 분할될 수 있다.

전처리된 신호는 검출된 소리가 음성을 포함하는지 여부를 결정하는 음성 활동도 검출(Voice Activity Detection, VAD) 블록(72)에 전달된다. 음성을 나타내는 수신된 오디오 신호의 일부는 선입 선출 방식으로 고정된 시간 동안 버퍼에 저장될 수 있다. 예를 들어, 버퍼는 적어도 5 초 또는 적어도 10 초의 음성을 저장할 수 있다.

따라서, 도 6에 도시된 프로세스의 단계 90에서, 도 5의 시스템은 음성을 나타내는 오디오 신호를 수신한다. 수신된 오디오 신호는 한 명 이상의 사람들의 음성 및 관련 배경 소리를 포함할 수 있는 마이크로폰(12)에 의해 검출되는 소리에 의존할 것이다.

그 다음 음성을 나타내는 수신된 오디오 신호는 특징 추출 블록(74)에 전달된다.

특징 추출 블록(74)에 의해 추출되는 특징은 화자 인식을 수행하는데 사용될 수 있는 입력 오디오를 나타내는 특징을 포함한다. 예를 들어, 추출되는 특징은 멜 주파수 켑스트럴 계수(MFCC)를 포함할 수 있다. 음성 신호로부터 추출될 수 있는 다른 특징은 인지 선형 예측(Perceptual Linear Prediction, PLP) 특징, 선형 예측(Linear Predictive, LPC) 특징, 및 딥 뉴럴 네트워크(Deep Neural Network, DNN)으로 추출된 병목 또는 탠덤 특징이 있다. MFCC, PLP 특징 및 LPC 특징과 같은 음향 특징은 DNN 추출 특징과 결합될 수 있다.

또한, 특징 추출 블록(74)에 의해 추출되는 특징은 화자의 건강을 모니터링하는데 사용될 수 있는 입력 오디오를 나타내는 특징을 포함한다. 화자의 건강을 모니터링하는데 사용할 수 있는 일부 특징은 화자 인식을 수행하는데도 사용할 수 있는 특징이지만, 화자의 건강을 모니터링하는데 사용할 수 있는 다른 특징은 화자 인식을 수행하는데 사용할 수 있는 특징과는 상이하다. 예를 들어, 화자의 건강을 모니터링하는데 사용할 수 있는 특징은 무엇보다도 음성의 주파수 성분, 음성의 진폭 및 피치 기간을 포함한다.

따라서, 도 6의 흐름도에서, 단계 92에서, 수신된 오디오 신호로부터 특징 추출 블록(74)에 의해 추출된 특징들 중 적어도 일부 또는 전부에 대해 화자 인식 프로세스가 수행된다. 화자 인식 프로세스는 화자 인식 블록(76)에서 수행된다.

아래에 설명된 하나의 예에서, 등록 프로세스를 거친 시스템의 등록된 사용자가 적어도 한 명 있다고 가정한다. 등록 프로세스는 일반적으로 사용자가 미리 정해진 몇 가지 단어나 문구를 말하고, 사용자 음성의 특징을 추출한 후 사용자 음성의 모델을 형성하는 것을 포함한다.

이 경우, 등록 프로세스는 등록이 사용자의 건강을 모니터링하는 방법의 일부로서 사용될 화자 인식 프로세스를 가능하게 하는 것임을 사용자에게 알리는 것을 포함할 수 있다. 이러한 방식으로, 이 모니터링에 대한 사용자의 동의를 얻을 수 있다.

그 다음, 단계 92에서 수행된 화자 인식 프로세스는 모델과 비교되는 수신된 오디오 신호로부터 추출된 특징을 포함한다. 유사도 테스트를 통과하면, 수신된 음성은 등록된 사용자의 음성인 것으로 결정된다.

단계 92에서 화자가 건강을 모니터링하는 방법의 등록된 사용자라고 결정되면, 프로세스는 오디오 신호에 의해 표현된 음성으로부터 특징 추출 블록(74)에 의해 추출된 특징에 기초하여 건강 마커 특징이 획득되는 건강 마커 블록(78)에 특징 추출 블록(74)에 의해 추출된 특징이 전달되는 단계 94로 진행된다. 건강 마커 특징을 획득하기 위해 사용되는 특징은 화자 인식 프로세스를 수행하기 위해 사용된 추출된 특징의 일부 또는 전부를 포함할 수 있고 및/또는 화자 인식 프로세스를 수행하는데 사용되지 않은 일부 추출된 특징을 포함할 수 있다.

예를 들어, 획득된 건강 마커 특징은 음성의 기본 주파수; 지터(jitter), 즉 기본 주파수의 사이클 간 변동의 척도; 쉬머(shimmer), 즉 신호 진폭의 사이클 간 변동의 척도; 음성의 장기 평균 스펙트럼; 발화 속도; 최대 발성 시간(Maximal Phonation Time, MPT); 잡음 대 고조파 비율(Noise-to-Harmonic Ratio, NHR); 고조파 대 잡음비(Harmonic-to-Noise Ratio, HNR); 켑스트럴 피크 현저성(Cepstral Peak Prominence, CPP); 최대 유량 감소율(Maximum Flow Declination Rate, MFDR); 성문 맥박 기간(GPP) 동안 성문이 얼마나 닫혀 있는지의 측정치인 성문 접촉 지수 또는 폐쇄 지수(CQ); 및 제 1 및 제 2 고조파 성분(H1-H2) 사이의 상대 전력(또는 진폭)의 측정치 중 하나 이상을 포함할 수 있다. 연구에 따르면 이들 마커 특징 모두와 연관된 의학적 상태가 확인되었다.

예를 들어, US2003/0078768의 제목은 "단기 자살 위험 평가를 위한 음성 지터 분석 방법"이며, 사람의 음성 특징을 기반으로 의학적 상태를 진단하기 위한 많은 다른 공개된 기술이 있다. 이러한 기술의 한 가지 문제점은 자연 조건에서 사람의 음성 샘플을 얻는 데 어려움이 있지만, 검출된 음성이 실제로 관심 있는 사람의 음성임을 확신한다는 것이다.

또한, 건강 마커 블록(78)은 건강 마커를 발생시킨 음성이 생성된 특정 시간에 관련하여 건강 마커 정보와 연관될 타임 스탬프 데이터를 생성할 수 있다. 추가로 또는 대안으로, 건강 마커 블록(78)은 관련 음성의 지속 시간에 관한 데이터를 생성할 수 있다. 추가로 또는 대안으로, 건강 마커 블록(78)은 특정 시간 간격에 적용되는 건강 마커 값을 기록할 수 있다. 하나의 예시적인 예로서, 건강 마커 블록(78)은 월요일 09:00-12:00, 월요일 12:00-15:00 등의 기간 동안 지터 값을 기록할 수 있으며, 유사하게 월요일 09:00-12:00, 월요일 12:00-15:00 등의 기간 동안 쉬머 값을 기록할 수 있다.

도 6에 도시된 프로세스의 단계 96에서, 획득된 건강 마커는 식별된 화자를 나타내는 데이터와 함께 저장된다. 예를 들어, 도 5에 도시된 바와 같이, 데이터는 메모리(80)에 저장될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 메모리(80)는 시스템 온 칩에서 분석 및 분류를 수행하는 프로세서와 통합될 수 있거나 프로세서에 보안 접속될 수 있는 보안 저장 디바이스일 수 있다.

일부 경우에, 수신된 신호의 관련 부분은 전체적으로 저장되어, 임상의가 사람의 음성을 들을 수 있다.

위에서 설명한 바와 같이, 건강 마커는 음성이 등록된 사용자의 음성으로 식별되는 경우에만 획득된다. 다른 예에서, 임의의 처리 지연을 피하기 위해, 건강 마커를 획득하는 프로세스는 건강 마커가 획득되면, 그 경우에 음성이 등록된 사용자의 음성이라는 결정을 기다리지 않고 수행될 수 있지만, 음성이 등록된 사용자의 음성이 아니면, 건강 마커는 삭제될 수 있다.

또 다른 대안으로, 불필요한 계산 수행을 피하기 위해, 건강 마커를 얻기 위해 사용되는 특징은 음성이 등록된 사용자의 음성이라고 결정된 경우에만 추출된다. 이를 가능하게 하기 위해, 특징이 추출되기 전에 음성이 버퍼링될 수 있으며, 건강 마커를 획득하는데 사용될 특징을 추출하는 프로세스는 음성이 등록된 사용자의 음성이라고 결정된 경우에만 시작될 수 있다.

어떤 경우에도, 건강 마커는 해당 건강 마커가 파생된 음성이 건강 모니터링 시스템에 등록한 사용자의 음성이라고 결정되는 경우에만 저장된다.

따라서, 본 방법과 시스템은 사용자의 음성에 관한 임상 관련 정보를 저장할 수 있다는 장점이 있다. 특히, 본 방법과 시스템은 건강 모니터링 방법에 등록한, 디바이스를 사용하는 사람의 음성을 구별할 수 있어, 저장된 임상 관련 정보가 등록된 사람에게만 관련된다.

도 3 및 도 4의 실시형태 및 도 5 및 도 6의 실시형태에 도시된 바와 같이, 의료 관련 정보가 생성되고 저장된다.

본 개시내용의 일 양태는 저장된 정보에 대한 액세스가 제한되는 방식에 관한 것이다. 의료 관련 정보를 생성하고 저장하면, 해당 정보가 다른 관련 서비스에 어떻게 공개될 수 있는지의 문제가 있다. 예를 들어, 사용자는 승인된 의료 종사자가 모든 데이터를 사용할 수 있다는 점에 만족할 수 있다. 그러나, 이러한 의료 종사자가 생성될 수 있는 많은 양의 데이터를 검토하는 것은 일반적으로 효율적이지 않다. 오히려, 데이터가 특정 문제를 제기할 때만 자격을 갖춘 의료 종사자에게 경고를 받는 상태에서, 모든 데이터에 대해 초기 평가를 받는 것이 더 효율적일 수 있다. 예를 들어 이러한 초기 평가는 소프트웨어 프로그램에 의해 자동으로 수행될 수 있다. 스마트폰에서 실행되는 시스템의 경우에, 소프트웨어 프로그램은 스마트폰의 개별 프로세서에서 실행될 수 있으며, 그 다음 프로그램에 액세스할 수 있는 데이터는 사용자가 이런 일이 일어나기를 원하지 않을 때 다른 프로그램에도 액세스할 수 있다.

도 7은 의료 관련 정보를 위한 데이터 저장 시스템(100)의 한 형태를 도시하는 개략적인 블록도이다.

시스템(100)은 특정 사람과 관련된 것으로 식별된 의료 관련 정보를 저장하는데 사용되는 메모리(110)를 포함한다. 도 3에 도시된 바와 같은 시스템과 함께 사용될 때, 메모리(110)는 도 3에 도시된 메모리(38)와 동일할 수 있다. 따라서, 사람의 음성으로부터 파생된 정보의 경우에, 음성 생체 인식 프로세스가 그 음성에 대해 수행되었을 수 있다. 도 5에 도시된 바와 같은 시스템과 함께 사용될 때, 메모리(110)는 도 5에 도시된 메모리(80)와 동일할 수 있다. 따라서, 비 음성 소리로부터 파생된 정보의 경우에, 생체 인식 프로세스는 소리에 대해 수행되었거나 일부 다른 신원 확인이 수신되었을 수 있다.

따라서, 메모리(100)에 대한 입력(118)은 신원 정보를 제공하는 시스템으로부터 올 수 있다. 또한, 메모리(100)는 의료 관련 정보를 제공할 수 있는, 예를 들어 심박수 모니터 또는 활동 모니터와 같은 별개의 디바이스로부터 입력 데이터를 수신하기 위한 입력(120)을 가질 수도 있다.

메모리(110)에 저장된 데이터는 보안 인터페이스(112)를 통해 판독될 수 있다. 예를 들어, 승인된 사용자만 저장된 데이터를 조사할 수 있도록 및/또는 저장된 데이터가 승인된 사용자에게만 전송될 수 있도록, 보안 인터페이스(112)는 (예를 들어, 공개/비밀 키 암호화를 갖는 보안 소켓 계층(Secure Sockets Layer, SSL)을 사용하여) 인증되거나 암호화된 보안 링크에 접속될 수 있다.

승인된 사용자는 예를 들어 스마트폰 소유자에 의해 승인된 임상의일 수 있다.

또한, 메모리(110)에 저장된 데이터는 수정 블록(114)에 전달된 후, 비보안 인터페이스(116)를 통해 판독될 수 있다. 수정 블록(114)에 의해 수행되는 수정 및 비보안 인터페이스(116)의 동작은 데이터가 난독화되어 있도록 한다. 예를 들어, 일부 실시형태에서, 차등 프라이버시 기술이 적용된다.

예를 들어, 데이터 수정 블록(114)은 메모리(110)로부터 수신된 데이터의 전부 또는 서브 세트를 서브 샘플링하도록 구성될 수 있다. 이것은 비보안 인터페이스(116)를 통해 액세스될 수 있는 데이터가 난독화, 예를 들어 통계적으로 난독화되고, 데이터 전체에 액세스할 수 없는 효과를 갖는다.

다른 예로서, 데이터 수정 블록(114)은 메모리(110)로부터 수신된 데이터에 노이즈를 추가하도록 구성될 수 있다.

또 다른 예로서, 데이터 수정 블록(114)은 메모리(110)로부터 수신된 데이터에 관한 생성된 집계 통계를 위해 구성될 수 있다.

이들 기술의 일부 또는 전부와 결합하여, 비보안 인터페이스(116)는 데이터 수정 블록(114)에 의해 생성된 데이터에 대해 사전 결정된 최대 수의 액세스만이 허용되도록 구성된다. 이것은 사전 결정된 최대 수의 총 액세스만을 허용할 수 있거나, 주어진 시간 동안 사전 결정된 최대 수의 액세스만을 허용할 수 있다. 데이터 수정 블록의 목적은 특정 사람과 연관될 수 있는 정확한 정보를 얻을 수 없도록 데이터를 수정하는 것이다. 그러나, 허용된 데이터 액세스의 수가 무제한이면, 적대적인 행위자는 그들의 반복된 액세스로부터 얻은 부분적 또는 노이즈가 많은 데이터를 결합함으로써 정확한 정보를 추론할 수 있다. 유사하게, 데이터 수정 블록(114)에 의해 생성된 데이터의 전송 횟수도 제한될 수 있다.

출력 데이터는 데이터의 초기 자동화 분석을 수행하는 건강 의사 결정 엔진에 제공될 수 있다. 적절한 상황에서, 건강 의사 결정 엔진은 사용자에게 직접 출력(예를 들어, "긴급 의료 조언 구하기", "정기 의료 상담 준비", "약 검토", "문제 원인 없음" 등)을 생성할 수 있다. 다른 상황에서, 건강 의사 결정 엔진은 임상의에 의한 전체 검토 및 분석을 위해 데이터가 전송되어야 한다고 결정할 수 있다. 따라서, 건강 의사 결정 엔진이 상대적으로 안전하지 않으면, 사용자의 신원을 추론할 수 없는 형식 및/또는 사용자의 건강에 관한 자세한 정보를 얻을 수 없는 형식으로 저장된 데이터에 부분적으로 액세스할 수 있다. 그러나, 건강 의사 결정 엔진은 데이터에 대한 부분적인 액세스가 이것이 바람직하다고 제안하는 경우에 사용자가 더 자세한 조언을 구하도록 유도할 수 있는 충분한 정보를 가질 수 있다.

건강 결정 엔진은 예를 들어 원래의 건강 관련 정보를 처리하는 프로세서에 대해 별개의 프로세서에서 실행되는, 스마트폰(10)에 다운로드 가능한 애플리케이션으로 제공될 수 있거나, 건강 결정 엔진은 출력 데이터가 디바이스로부터 정기적으로 전송되는 상태에서 원격 서버에 제공될 수 있다.

도 8은 본 개시내용의 양태에 따른 건강 관련 정보 생성 및 저장 시스템의 대안적인 형태를 도시하는 개략도이다. 구체적으로, 도 8은 예를 들어 디지털 신호 프로세서(Digital Signal Processor, DSP)의 형태일 수 있는 처리 디바이스(130)를 도시한다. 처리 디바이스는 메모리 디바이스(132)에 접속된다.

입력(134)은 데이터가 처리 디바이스(130)에 공급되는 것을 허용하고, 인터페이스(136)는 데이터가 처리 디바이스(130)로부터 보안 또는 비보안 방식으로 공급되는 것을 허용한다.

일부 실시형태에서, 처리 디바이스(130) 및 메모리 디바이스(132)는 예를 들어 비 휘발성 RAM으로서 제공되는 메모리와 함께 단일 집적 회로로서 패키징된다.

다른 실시형태에서, 메모리 디바이스(132)는 메모리와의 통신 차단을 방지하기 위해 데이터가 처리 디바이스(130)로부터 메모리 디바이스(132)에 기록되기 전에 암호화될 수 있는 경우에 처리 디바이스(130)와는 별개 칩으로서 제공될 수 있다.

일부 실시형태에서, 처리 디바이스(130)는 전처리된 오디오 신호를 수신하고 모든 후속 처리 및 분석을 수행하는 단일 집적 회로일 수 있다. 예를 들어, 도 3에 도시된 시스템의 경우에, 소리 분석 블록(32) 및 생체 분석 블록(34)은 둘 다 처리 디바이스(130)에 구현될 수 있다. 유사하게, 도 5에 도시된 시스템의 경우에, 특징 추출 블록(74), 화자 인식 블록(76) 및 건강 마커 블록(78)은 모두 처리 디바이스(130)에 구현될 수 있다.

다른 실시형태에서, 처리 디바이스(130)는 오디오 신호의 추출된 특징을 수신할 수 있다. 예를 들어, 도 3에 도시된 시스템의 경우에, 특징 추출은 별개의 디바이스에서 수행될 수 있으며, 소리 분석 블록(32) 및 생체 분석 블록(34)의 분석 요소는 처리 디바이스(130)에 구현된다. 유사하게, 도 5에 도시된 시스템의 경우에, 특징 추출 블록(74)은 별개의 디바이스에 구현될 수 있는 반면, 화자 인식 블록(76) 및 건강 마커 블록(78)은 처리 디바이스(130)에 구현될 수 있다.

또 다른 실시형태에서, 처리 디바이스(130)는 별개의 블록으로부터 수신된 데이터의 저장을 관리하고 이에 대한 액세스를 제어한다. 예를 들어, 도 3에 도시된 시스템의 경우에, 처리 디바이스(130)는 소리 분석 블록(32) 및 생체 분석 블록(34)으로부터 출력 데이터를 수신할 수 있다. 유사하게, 도 5에 도시된 시스템의 경우에, 처리 디바이스(130)는 특징 추출 블록(74), 화자 인식 블록(76) 및 건강 마커 블록(78)으로부터 출력 데이터를 수신할 수 있다.

이러한 모든 실시형태에서, 처리 디바이스(130)는 메모리 디바이스(132)에 저장된 데이터에 대한 액세스를 제어할 수 있다.

따라서, 예를 들어, 처리 디바이스(130)는 저장된 데이터에 대한 보안 및 비보안 액세스 둘 다를 제어할 수 있다. 보안 및 비보안 인터페이스는 별개의 통신 회선이나 동일한 통신 회선에서 제공될 수 있다.

도 7을 참조하여 위에서 더 상세히 설명된 바와 같이, 처리 디바이스는 저장된 데이터에 대한 완전한 액세스가 암호화 보호 링크를 통해 승인된 사용자에게만 이용 가능하도록 보장할 수 있다. 비보안 인터페이스를 통한 저장된 데이터에 대한 액세스는 사용자의 개인 정보를 보호하는 방식으로만 허용된다. 예를 들어, 사용자의 개인 정보가 부분 데이터에 의해 손상되지 않도록, 데이터에 대한 부분적인 액세스만 허용될 수 있다. 예를 들어, 데이터는 사용자의 신원이 공개되지 않고 공개되는 데이터의 양이 사용자의 신원을 추론하기에 충분하지 않은 방식으로 액세스될 수 있다.

따라서, 시스템은 사용자의 상태에 대한 자세한 정보를 얻을 수 있지만 해당 정보에 대한 액세스를 제한하여 사용자의 개인 정보를 허용 가능한 수준으로 보호하는 방식으로 건강 관련 정보를 획득하고 저장할 수 있다.

당업자는 위에서 설명한 장치 및 방법의 일부 양태가 예를 들어 디스크, CD 또는 DVD-ROM과 같은 비휘발성 캐리어 매체, 판독 전용 메모리(펌웨어)와 같은 프로그램된 메모리, 또는 광학 또는 전기 신호 캐리어와 같은 데이터 캐리어 상에서 프로세서 제어 코드로서 구현될 수 있음을 인식할 것이다. 여러 애플리케이션을 위해 본 발명의 실시형태는 디지털 신호 프로세서(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated Circuit, ASIC) 또는 필드 프로그래밍 가능 게이트 어레이(Field Programmable Gate Array, FPGA)에서 구현될 것이다. 따라서 코드는 종래의 프로그램 코드 또는 마이크로 코드 또는 예를 들어 ASIC 또는 FPGA를 설정하거나 제어하기 위한 코드를 포함할 수 있다. 코드는 또한 재프로그래밍 가능 로직 게이트 어레이와 같은 재구성 가능 장치를 동적으로 구성하기 위한 코드를 포함할 수 있다. 유사하게, 코드는 베릴로그(Verilog) TM 또는 초고속 집적 회로 하드웨어 기술 언어(Very high speed integrated circuit Hardware Description Language, VHDL)과 같은 하드웨어 기술 언어에 대한 코드를 포함할 수 있다. 당업자가 이해하는 바와 같이, 코드는 서로 통신하는 복수의 결합된 구성 요소 사이에 분산될 수 있다. 적절한 경우, 실시형태는 아날로그 하드웨어를 구성하기 위해 필드 재프로그래밍 가능 아날로그 어레이 또는 유사한 디바이스에서 실행되는 코드를 사용하여 구현될 수도 있다.

본 명세서에서 사용되는 모듈이라는 용어는 사용자 정의 회로와 같은 전용 하드웨어 구성 요소에 의해 적어도 부분적으로 구현될 수 있고 및/또는 하나 이상의 소프트웨어 프로세서 또는 적절한 범용 프로세서 등에서 실행되는 적절한 코드에 의해 적어도 부분적으로 구현될 수 있는 기능 유닛 또는 블록을 지칭하는데 사용된다는 것을 알아야 한다. 모듈 자체는 다른 모듈 또는 기능 유닛을 포함할 수 있다. 모듈은 같은 위치에 배치될 필요가 없고 상이한 집적 회로에서 제공되거나 상이한 프로세서에서 실행될 수 있는 다수의 구성 요소 또는 하위 모듈에 의해 제공될 수 있다.

실시형태는 호스트 디바이스, 특히 모바일 컴퓨팅 디바이스, 예를 들어 랩탑 또는 태블릿 컴퓨터, 게임 콘솔, 원격 제어 디바이스, 홈 오토메이션 컨트롤러 또는 가정용 온도 또는 조명 제어 시스템을 포함하는 가전 기기, 장난감, 로봇과 같은 기계, 오디오 플레이어, 비디오 플레이어 또는 스마트폰과 같은 모바일 전화와 같은 휴대용 및/또는 배터리 구동식 호스트 디바이스에 구현될 수 있다.

상술된 실시형태들은 본 발명을 제한하기 보다는 예시하는 것이며, 당업자는 첨부된 청구 범위의 범위를 벗어나지 않고 여러 대체 실시형태를 설계할 수 있다는 점에 유의해야 한다. "포함하는"이라는 단어는 청구 범위에 나열된 것 이외의 요소 또는 단계의 존재를 배제하지 않으며, 단수 "a" 또는 "an"은 복수를 배제하지 않으며, 단일 특징 또는 다른 유닛은 청구항에 인용된 여러 유닛의 기능을 수행할 수 있다. 청구항의 참조 번호 또는 라벨은 그 범위를 제한하도록 해석되어서는 안된다.

Claims

사용자의 건강과 관련된 정보를 획득하는 방법으로서,
소리(sound)를 검출하는 단계;
상기 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는지 여부를 결정하는 단계;
상기 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는 것으로 결정되면, 상기 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계; 및
상기 비언어적 소리가 사용자에 의해 생성된 것으로 결정되면, 상기 비언어적 소리와 관련된 데이터를 저장하는 단계
를 포함하는 방법.
제 1 항에 있어서,
상기 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계는 검출된 소리에 대해 생체 인식 프로세스를 수행하는 단계를 포함하는 방법.
제 2 항에 있어서,
상기 생체 인식 프로세스를 수행하는 단계는 상기 검출된 소리를 사용자에 의해 이전에 생성된 대응하는 비언어적 소리와 비교하는 단계를 포함하는 방법.
제 3 항에 있어서,
상기 생체 인식 프로세스를 수행하는 단계는 상기 검출된 소리를 등록 프로세스 동안 사용자에 의해 이전에 생성된 대응하는 비언어적 소리와 비교하는 단계를 포함하는 방법.
제 1 항에 있어서,
상기 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계는 상기 비언어적 소리를 생성했는지 여부를 사용자에게 확인할 것을 요청하는 단계를 포함하는 방법.
제 1 항에 있어서,
상기 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하는 단계는 사용자가 착용하거나 휴대하고 있는 디바이스의 움직임에 관한 정보를 수신하는 단계를 포함하는 방법.
제 6 항에 있어서,
상기 디바이스는 사용자가 착용하고 있는 이어폰을 포함하는 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 비언어적 소리와 관련된 데이터를 저장하는 단계는 소리가 생성된 시간과 관련된 데이터를 저장하는 단계를 포함하는 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 비언어적 소리와 관련된 데이터를 저장하는 단계는 소리의 지속 시간과 관련된 데이터를 저장하는 단계를 포함하는 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 비언어적 소리와 관련된 데이터를 저장하는 단계는 소리의 가청 특징(audible feature)에 관한 데이터를 저장하는 단계를 포함하는 방법.
제 10 항에 있어서,
상기 비언어적 소리의 분석을 수행하는 단계 및 상기 분석의 결과와 관련된 데이터를 저장하는 단계를 포함하는 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 비언어적 소리와 관련된 데이터를 저장하는 단계는 생성된 상기 비언어적 소리의 개수를 유지하는 단계를 포함하는 방법.
제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 비언어적 소리는 기침인 방법.
제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 비언어적 소리는 재채기인 방법.
제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 비언어적 소리는 가청 호흡 소리인 방법.
시스템으로서,
소리를 나타내는 신호를 수신하기 위한 입력; 및
검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는지 여부를 결정하고; 검출된 소리가 건강 정보를 포함하는 비언어적 소리를 포함하는 것으로 결정되면, 비언어적 소리가 사용자에 의해 생성되었는지 여부를 결정하고; 및 비언어적 소리가 사용자에 의해 생성된 것으로 결정되면, 상기 비언어적 소리와 관련된 데이터를 저장하기 위한 프로세서
를 포함하는 시스템.
제 16 항에 따른 시스템을 포함하는 디바이스로서,
모바일 컴퓨팅 디바이스, 게임 콘솔, 원격 제어 디바이스, 홈 오토메이션 컨트롤러 또는 가전 기기, 장난감, 기계, 오디오 플레이어, 비디오 플레이어, 또는 모바일 전화
를 포함하는 디바이스.
컴퓨터 프로그램 제품으로서,
프로그램된 프로세서로 하여금 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 수행하게 하기 위한 컴퓨터 판독 가능 코드
를 포함하는 컴퓨터 프로그램 제품.
제 18 항에 있어서,
상기 코드를 저장하기 위한 유형의 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품.
등록된 사용자의 건강을 모니터링하는 방법으로서,
음성(speech)을 나타내는 오디오 신호를 수신하는 단계;
상기 수신된 오디오 신호에 대해 화자 인식 프로세스(speaker recognition process)를 수행하여 화자를 식별하는 단계;
상기 식별된 화자가 등록된 사용자인 것으로 결정되면, 상기 오디오 신호에 의해 표현된 음성으로부터 건강 마커 특징(health marker feature)을 획득하는 단계; 및
상기 획득된 건강 마커 특징을 상기 식별된 화자를 나타내는 데이터와 함께 보안 저장 요소에 저장하는 단계
를 포함하는 방법.
제 20 항에 있어서,
상기 수신된 오디오 신호의 특징을 추출하는 단계 및 상기 추출된 특징으로부터 상기 건강 마커 특징을 획득하는 단계를 포함하는 방법.
제 21 항에 있어서,
상기 건강 마커를 획득하는데 사용되는 것과 동일한 추출된 특징을 사용하여 상기 화자 인식 프로세스를 수행하는 단계를 포함하는 방법.
제 20 항, 제 21 항 또는 제 22 항에 있어서,
각각의 건강 마커 특징에 타임 스탬프를 적용하는 단계 및 보안 저장 요소에 건강 마커 특징과 함께 타임 스탬프를 저장하는 단계를 포함하는 방법.
제 20 항, 제 21 항 또는 제 22 항에 있어서,
적어도 하나의 기간에 걸쳐 건강 마커 특징을 획득하는 단계 및 보안 저장 요소에 건강 마커 특징과 함께 기간을 식별하는 데이터를 저장하는 단계를 포함하는 방법.
제 1 항 내지 제 24 항 중 어느 한 항에 있어서,
상기 건강 마커 특징은 음성의 기본 주파수; 지터(Jitter); 쉬머(Shimmer); 음성의 장기 평균 스펙트럼; 발화 속도(articulation rate); 최대 발성 시간(Maximal Phonation Time); 잡음 대 고조파 비율(Noise-to-Harmonic Ratio, NHR); 고조파 대 잡음비(Harmonic-to-Noise Ratio, HNR); 및 켑스트럴 피크 현저성(Cepstral Peak Prominence) 중 하나 이상을 포함하는 방법.
시스템으로서,
음성을 나타내는 오디오 신호를 수신하기 위한 입력; 및
수신된 오디오 신호에 대해 화자 인식 프로세스를 수행하여 화자를 식별하고; 식별된 화자가 등록된 사용자인 것으로 결정되면, 오디오 신호에 의해 표현된 음성으로부터 건강 마커 특징을 획득하고; 및 획득된 건강 마커 특징을 식별된 화자를 나타내는 데이터와 함께 보안 저장 요소에 저장하기 위한 프로세서
를 포함하는 시스템.
제 26 항에 따른 시스템을 포함하는 디바이스로서,
모바일 컴퓨팅 디바이스, 게임 콘솔, 원격 제어 디바이스, 홈 오토메이션 컨트롤러 또는 가전 기기, 장난감, 기계, 오디오 플레이어, 비디오 플레이어, 또는 모바일 전화
를 포함하는 디바이스.
컴퓨터 프로그램 제품으로서,
프로그램된 프로세서로 하여금 제 20 항 내지 제 25 항 중 어느 한 항의 방법을 수행하게 하기 위한 컴퓨터 판독 가능 코드
를 포함하는 컴퓨터 프로그램 제품.
제 28 항에 있어서,
상기 코드를 저장하기 위한 유형의 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품.
건강 관련 데이터를 위한 데이터 저장 시스템으로서,
입력 데이터를 저장하기 위한 저장 요소로서, 상기 입력 데이터는 등록된 사용자에 관한 것으로 결정된 후에 저장되는, 저장 요소;
상기 입력 데이터를 수신하기 위한 그리고 상기 수신된 입력 데이터를 난독화하여 상기 저장된 데이터의 난독화된 버전을 제공하기 위한 데이터 수정 블록;
승인된 사용자만이 상기 저장된 데이터에 대한 액세스를 획득할 수 있도록 상기 저장된 데이터에 대한 액세스를 제어하기 위한 제 1 액세스 메커니즘; 및
제 2 액세스 메커니즘만이 저장된 데이터의 난독화된 버전에 대한 액세스를 제공하도록 상기 저장된 데이터에 대한 액세스를 제어하기 위한 제 2 액세스 메커니즘
을 포함하는 데이터 저장 시스템.
제 30 항에 있어서,
데이터가 등록된 사용자와 연관되어 있는지 여부를 결정하기 위한 데이터 검사 메커니즘을 추가로 포함하고, 상기 등록된 사용자와 연관된 데이터만이 저장되는 데이터 저장 시스템.
제 31 항에 있어서,
상기 데이터 검사 메커니즘은 음성 생체 인식 처리 블록인 데이터 저장 시스템.
제 30 항 내지 제 32 항 중 어느 한 항에 있어서,
상기 제 1 액세스 메커니즘은 승인된 사용자만이 상기 저장된 데이터를 조사할 수 있도록 암호화 보안 링크를 포함하는 데이터 저장 시스템.
제 30 항 내지 제 32 항 중 어느 한 항에 있어서,
상기 제 1 액세스 메커니즘은 상기 저장된 데이터가 승인된 사용자에게만 전송될 수 있도록 암호화 보안 링크를 포함하는 데이터 저장 시스템.
제 30 항 내지 제 34 항 중 어느 한 항에 있어서,
상기 제 2 액세스 메커니즘은 사전 결정된 시간에 상기 수정된 데이터에 대한 사전 결정된 최대 수의 액세스만을 허용하는 데이터 저장 시스템.
제 30 항 내지 제 34 항 중 어느 한 항에 있어서,
상기 제 2 액세스 메커니즘은 상기 수정된 데이터를 별개의 디바이스에 전송하고, 상기 제 2 액세스 메커니즘은 사전 결정된 시간에 상기 수정된 데이터의 사전 결정된 수의 전송만을 허용하는 데이터 저장 시스템.
제 30 항 내지 제 36 항 중 어느 한 항에 있어서,
상기 데이터 수정 블록은 상기 수신된 입력 데이터를 서브 샘플링하도록 구성되는 데이터 저장 시스템.
제 30 항 내지 제 37 항 중 어느 한 항에 있어서,
상기 데이터 수정 블록은 상기 수신된 입력 데이터에 노이즈를 추가하도록 구성되는 데이터 저장 시스템.
제 30 항 내지 제 38 항 중 어느 한 항에 있어서,
상기 데이터 수정 블록은 상기 수신된 입력 데이터에 관련된 생성된 집계 통계를 위해 구성되는 데이터 저장 시스템.
제 30 항 내지 제 39 항 중 어느 한 항에 있어서,
오디오 신호로부터 상기 입력 데이터를 추출하기 위한 특징 추출 블록을 포함하는 데이터 저장 시스템.
제 40 항에 있어서,
상기 입력 데이터는 상기 추출된 입력 데이터와 관련된 타임 스탬프를 포함하는 데이터 저장 시스템.
제 30 항 내지 제 41 항 중 어느 한 항에 있어서,
별개의 디바이스로부터 상기 입력 데이터를 수신하기 위한 입력을 포함하는 데이터 저장 시스템.