KR102399646B1 - 개인화된 사용자 환경을 생성하는 시스템 및 방법 - Google Patents

Abstract

본 발명은 복수의 센서로부터 출력을 수신함으로써 사용자의 개별 환경 및 상태를 처리하기 위해 개인화된 환경을 생성하는 방법 및 시스템에 관한 것이며, 상기 센서들은 사용자의 활동 및 사용자가 활동하는 환경을 감지한다. 사용자 장치에서 청취하고 시청할 수 있도록 전송될 소리 및/또는 시각 자료는 센서 출력, 사용자 프로필, 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 기초로 결정된다. 소리 및/또는 시각 자료는 사용자에게 전송되고 제공되며, 결정된 소리 및/또는 시각 자료는 복수의 센서 중 하나 이상으로부터의 출력의 변화 및/또는 사용자 프로필의 변경을 기초로 실시간으로 자동으로 및 동적으로 수정된다.

Description

개인화된 사용자 환경을 생성하는 시스템 및 방법

관련 출원의 상호 참조

이 출원은 PCT 국제 특허 출원으로 2019년 11월 5일에 출원되고 있으며, 2018년 11월 5일에 출원된 미국 임시 특허출원번호 62/755,725에 대해 우선권을 주장하며, 그 개시 내용은 전체가 참조로 여기에 통합된다.

산만함과 스트레스는 일상 생활에서 자연스럽게 발생된다; 그리고 삶의 질을 향상시키도록 의도된 기술 혁신은 종종 혁신으로 인한 어려움, 불안정성 및 변화와 함께 역효과를 낳는다. 결정을 내려야 한다; 약속을 정하고 지켜야 한다; 청구서를 지불해야 한다; 회의에 참석해야 하고 프로젝트를 완료하고, 검토하고 및 수정해야 한다; 전화는 적시에 이루어져야 하고 응답해야 한다; 새로운 절차, 기술 및 장치를 구현해야 하며, 산만함을 극복해야 한다.

사람들은 무시하기, 운동하기, 소설책 읽기, 중재하기, 먹기 등 다양한 방법으로 이러한 스트레스 유발 문제를 다루려고 시도한다. 그러나 이러한 시도의 대부분은 실제 스트레스 상황에서 사용할 수 없거나 특정 스트레스 원인이나 개인의 진화하는 환경에 반응하지 않기 때문에 효과가 없다.
[선행기술문헌]
1. 미국 특허등록공보: US 7786369 B2

따라서, 필요한 것은 개인의 상태(state) 및 주변과 관련된 정보에 자동으로 및 동적으로 액세스하고 집중 또는 이완을 위해 개별 사용자에게 소리 및/또는 시각 자료의 개인화된 전송 및/또는 사용자 환경의 개인화된 제어를 제공하고 개별 사용자의 하루를 준비하거나 나중에 긴장을 풀도록 도와주는 시스템이다.

실시 예들은 사람의 개별 환경 및 상태를 처리하기 위한 개인화된 환경을 생성하기 위한 컴퓨터 구현된 방법에 관한 것으로, 복수의 센서로부터 출력 수신하는 단계로서, 상기 센서들은 사용자가 활동하는 환경 및 사용자의 상태를 감지하고, 상기 수신된 센서 출력은 적어도 사용자 위치, 사용자 심박수, 사용자 운동 유형 및 사용자 날씨에 대한 정보를 제공하는 단계; 센서의 출력으로부터 사용자에 대해 적용 가능한 설명을 결정하는 단계; 및 상기 결정된 적용 가능한 설명으로부터 사용자 모드, 사용자 상태 및 사용자 컨텍스트(context)를 결정하는 단계를 포함한다. 이 방법은 소리, 시각 자료 또는 둘 다를 사용자에게 제공할지 여부를 사용자 프로필로부터 결정하는 단계; 상기 센서 출력, 상기 결정된 적용 가능한 사용자 설명, 상기 결정된 사용자 모드, 상기 결정된 사용자 상태 및 상기 결정된 사용자 컨텍스트 중 하나 이상에 기초하여 사용자에게 제공될 소리 및/또는 시각 자료를 결정하는 단계; 상기 결정된 소리 및/또는 시각 자료를 사용자 장치에서 사용자에게 제시하는 단계; 및 상기 복수의 센서 중 하나 이상으로부터의 출력의 변화에 기초하여 상기 결정된 소리 및/또는 시각 자료를 자동으로 수정하는 단계를 포함한다.

추가 실시 예는 개인의 개별 환경 및 상태를 처리하기 위해 개인화된 환경을 생성하기 위한 시스템에 관한 것으로서, 네트워크 사운드/비주얼 서버; 컴퓨터 판독 가능 매체; 및 상기 컴퓨터 판독 가능 매체에 연결된 프로세서를 포함한다. 상기 프로세서는 복수의 센서로부터 출력을 수신하도록 작동하며, 상기 센서들은 사용자의 상태 및 사용자가 활동 중인 환경을 감지하며, 여기서 상기 수신된 센서 출력은 적어도 사용자 위치, 사용자 심박수, 사용자 운동 유형 및 사용자 날씨에 대한 정보를 제공한다. 상기 프로세서는 센서의 출력에서 사용자에 대해 실행 가능한 묘사(actionable description)를 결정하고; 상기 결정된 실행 가능한 묘사로부터 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 결정한다. 상기 프로세서는 또한 사용자에게 소리, 시각 자료 또는 둘 다를 제공할지 여부를 사용자 프로필로부터 결정하고; 상기 센서 출력, 상기 결정된 실행 가능한 사용자 묘사, 상기 결정된 사용자 모드, 상기 결정된 사용자 상태 및 상기 결정된 사용자 컨텍스트 중 하나 이상에 기초하여 사용자에게 제시될 소리 및/또는 시각 자료를 결정하고; 상기 결정된 소리 및/또는 시각 자료를 사용자 장치에서 사용자에게 제공하고; 상기 복수의 센서 중 하나 이상으로부터의 출력의 변화에 기초하여 상기 결정된 소리 및/또는 시각 자료를 자동으로 수정하도록 작동된다.

추가 실시 예는 컴퓨터 판독 가능 명령이 저장되어 있는 신호를 포함하지 않는 컴퓨터 판독 가능 매체에 관한 것으로, 상기 명령은, 프로세서에 의해 실행될 때, 개인의 개별 환경 및 상태를 처리하기 위한 개인화된 환경을 생성하며, 컴퓨터의 프로세서에서 실행되는 명령은 복수의 센서로부터 출력을 수신하는 단계를 포함하며, 여기서 상기 센서는 사용자의 상태 및 사용자가 활동중인 환경을 감지하고, 상기 수신된 센서 출력은 적어도 사용자 위치, 사용자 심박수, 사용자 운동 유형 및 사용자 날씨에 대한 정보를 제공하며; 상기 명령은 센서의 출력으로부터 사용자에 대해 실행 가능한 묘사를 결정하는 단계; 및 상기 결정된 실행 가능한 묘사로부터 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 결정하는 단계를 포함한다. 추가 단계는 사용자 프로필로부터 사용자에게 소리, 시각 자료 또는 둘 다를 제공할지 여부를 결정하는 단계; 상기 센서 출력, 상기 결정된 실행 가능한 사용자 묘사, 상기 결정된 사용자 모드, 상기 결정된 사용자 상태 및 상기 결정된 사용자 컨텍스트 중 하나 이상을 기초로 사용자에게 제시될 소리 및/또는 시각자료를 결정하는 단계, 상기 결정된 소리 및/또는 시각 자료를 사용자 장치에서 사용자에게 제시하는 단계; 및 복수의 센서 중 하나 이상으로부터의 출력의 변화에 기초하여 상기 결정된 소리 및/또는 시각 자료를 자동으로 수정하는 단계를 포함한다.

본 출원의 추가 실시 예는 개인의 개별 스트레스 및/또는 상태를 해결하기 위해 개인화된 환경을 생성하기 위한 시스템 및 방법에 관한 것으로서, 복수의 센서로부터 출력을 수신하는 것을 포함하고, 여기서 센서들은 사용자의 활동 및 사용자가 활동하는 환경을 감지하며; 추가로, 상기 복수의 센서의 출력으로부터 사용자에 대한 실행 가능한 묘사를 결정하는 것을 포함하고; 및 상기 결정된 실행 가능한 묘사로부터 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 결정하는 것을 포함한다. 상기 시스템 및 방법은 또한 상기 센서 출력, 상기 결정된 실행 가능한 사용자 묘사, 상기 결정된 사용자 모드, 상기 결정된 사용자 상태 및 상기 결정된 사용자 컨텍스트 중 하나 이상에 기초하여 사용자에게 방송될 소리를 결정하는 것; 상기 결정된 방송 소리를 사용자에게 제공하는 것; 및 복수의 센서 중 하나 이상으로부터의 출력의 변화에 기초하여 상기 결정된 방송 소리를 자동으로 수정하는 것을 포함한다. 실시 예는 또한 사용자에게 움직이는 시각적 이미지 및 색상을 제시하기 위해 방송 소리로 또는 방송 소리 대신에 사용자에게 방송될 시각적 표현을 결정할 수 있다. 추가 실시 예는 사용자의 상기 결정된 모드, 상태 및 컨텍스트에 기초하여 사용자 환경의 조명 및 온도를 제어하도록 신호를 지시한다.

또한, 실시 예는 사용자에게 이익이 되도록 제시되는 소리 및 시각 자료의 개인화를 제공하고, 이러한 개인화된 소리 및 시각 자료 및 환경 제어의 제시는 사용자의 위치에 있는 임의의 장치 또는 플랫폼에서 사용자에게 실시간으로 제시될 수 있다. 소리 및 시각 자료의 제시는 사용자와 관련된 센서 정보와 사용자 프로필 및 선호도 정보를 기반으로 개인화된다.

현재 실시 예는 사용자에 대한 변경이 필요하거나 요청될 때 사용자 입력 없이 사용자에게 자동 및 동적 제시를 위해 개별적인 음표, 소리, 색상, 이미지 및 애니메이션을 선택함으로써 이전의 분위기 생성 및 변경 기술에 비해 개선된다. 실제 음악이나 사운드 트랙이 필요하지 않으며, 사용자가 지정하거나 사용자가 선택할 수 있도록 시스템에서 제공하는 재생 목록도 필요하지 않다. 또한, 상기 시스템은 수신된 센서 입력의 변화에 동적으로 반응하여 사용자의 모드, 상태 및 컨텍스트에 긍정적인 영향을 미치기 위해 사용자가 사용할 수 있는 소리, 시각 자료 및/또는 환경을 수정한다.

본 발명은 본 명세서에 포함되는 첨부된 도면과 본 발명의 특정 원리를 함께 설명하고 당업자가 본 명세서에 개시된 실시 예를 만들고 사용하는 것을 가능하게 하는 상세한 설명으로부터 명백해지거나 보다 상세하게 제시되는 다른 특징 및 이점을 갖는다. 도면에서 ,동일한 참조 번호는 동일하거나 기능적으로 유사한 요소를 나타낸다.
도 1은 사용자를 위한 개인화된 소리, 비디오, 조명 및 온도 환경을 생성하는 방법을 구현하기 위한 네트워크의 예시적인 아키텍처를 도시한다.
도 2는 사용자를 위한 개인화된 소리, 비디오, 조명 및 온도 환경을 생성하는 단계들을 도시하는 흐름도이다.
도 3은 사용자의 상태를 나타내는 실행 가능한 사용자 묘사를 결정하기 위해 원시 입력 데이터를 처리하는 프로세서에 대한 센서 입력을 보여주는 흐름도이다.
도 4는 소리 및 시각 미디어를 시퀀싱하여 사용자에게 제공하기 위해 결정된 사용자의 상태에 기초한 라이브러리 입력을 보여주는 흐름도이다.
도 5는 소리 및 시각적 출력을 생성하여 사용자에게 제공하기 위한 정보의 선택 및 흐름을 도시한다.
도 6은 사용자의 모드, 상태 및 컨텍스트에 반응하는 소리 층들의 다이어그램을 보여준다.
도 7은 사용자 모드와 감각적 및 환경적 입력에 기초하여 사용자에게 제공하기 위한 소리 층들의 차트를 도시한다.
도 8은 센서 정보에 기초하여 사용자에게 제공된 소리 및 시각 자료에 대한 생물학적 주기 리듬(circadian rhythms)의 적용을 도시한다.
도 9는 다수의 사용자 장치에서 소리 및 시각 자료의 표현을 적용한 것을 보여준다.
도 10 내지도 13은 센서 정보에 기초하여 사용자 장치에서 보기 위해 사용자에게 제공된 예시적인 시각 디스플레이를 도시한다.
첨부된 도면은 반드시 축척에 맞춰진 것은 아니며, 본 발명의 기본 원리를 예시하는 다양한 특징의 다소 단순화된 표현을 제공한다는 것을 이해해야 한다. 예를 들어, 특정 치수, 배향, 위치 및 형상을 포함하는 본 명세서에 개시된 본 발명의 특정 설계 특징은 특정 의도된 적용 및 사용 환경에 대해 당업자에 의해 부분적으로 결정될 수있다.

설명된 실시 예들은 임의의 적절한 데이터 전송 및 표현 기준을 지원하고 임의의 적절한 구성 요소를 사용하는 임의의 적절한 유형의 네트워크 시스템에서 구현될 수 있지만, 특정 실시 예는 도 1에 도시된 것과 같은 예시적인 네트워크에서 구현될 수 있다. 대안으로, 실시 예들은 사용자 장치(114)에서 사용자에게 소리 및 시각 자료를 제공하고 사용자 환경의 조명 및 온도를 제어하기 위해 센서 출력 및 사용자 입력의 수신 시 수행될 수 있다.

먼저, 도 1을 참조하면, 사용자를 위한 개인화된 소리, 시각 자료, 조명 및 온도 환경을 생성하기 위한 방법을 구현하는 네트워크 및 시스템의 예시적인 아키텍처가 도시되어 있다. 예시적인 실시 예에서 정보, 데이터, 소리, 시각적 이미지 및 제어 신호의 전송이 일어나는 네트워크(102)는 근거리 통신망, 광역 네트워크, 인터넷, WWW, 무선 주파수(RF), 블루투스, 및 클라우드 기반 네트워크를 포함하지만 이에 제한되지 않는 임의의 사설 또는 공용, 유선 또는 무선 네트워크를 포함할 수 있다. 예시적인 네트워크 사운드/비주얼 서버(104) 및 하나 이상의 데이터베이스 및/또는 저장 장치(106, 108, 110)가 도시되어 있다. 도 1에 표시된 것보다 더 많은 서버, 더 많은 데이터베이스 및 더 많은 저장 장치(110)가 있을 수 있으며, 상기 서버들은 메모리, 저장 매체, 적어도 하나의 프로세서, 통신 자원으로 최소한 구성되고, 데이터베이스와 파일은 서버의 외부에 있거나 서버와 통합된다. 개인화된 사운드/비주얼 시스템을 이용하기 위해 그리고 개인화된 소리 및/또는 시각 자료를 개별 사용자에게 제공하기 위한 하나 이상의 사용자 장치(114-120), 플랫폼 또는 채널이 있다. 제한이 아닌 편의를 위해, 사용자는 집합적으로 스마트폰(114)으로 표현된다. 시스템(100)은 센서 데이터, 환경 정보, 사용자 입력, 라이브러리 소리 및 시각 자료의 분석; 및 네트워크 사운드/비주얼 서버(104) 및 네트워크(102)를 통한 장치(114)의 사용자에게 개인화된 소리 및/또는 시각 자료의 전송을 실행할 수 있다. 또한, 시스템(100)은 사용자 환경의 조명 및 온도를 제어하여 사용자의 모드, 상태 및/또는 컨텍스트에 적극적인 영향을 미치기 위해 조명 및 온도 센서 출력을 수신하고 사용자에 가까운 조명 및 난방 장치 또는 에어컨에 신호를 전송함으로써 사용자의 환경을 제어할 수 있다. 상기 시스템은 적어도 수신된 센서 출력에 기초하여 조명 및 온도가 증가 또는 감소되어야 하는지를 결정할 수 있고, 사용자 위치에서의 조명 및 온도를 제어하는 장치(126)에 제어 신호를 생성하여 전송할 수 있다. 대안으로, 그러한 조명 및 온도 변화는 제어될 장치에 제어 신호를 전송하기 전에 인정 및/또는 승인을 위해 사용자에게 먼저 제공될 수 있다. 제어 신호는 블루투스 또는 WiFi와 같은 통신을 통해 전송될 수 있다. 개인화된 사운드/비주얼 시스템(100)은 사용자 장치 및 네트워크 서버 각각의 저장 매체 내의 소프트웨어, 프로그램 및 루틴으로 확장된다.

개인화된 소리 및/또는 시각 자료를 수신, 재생 및 디스플레이하기 위한 사용자 장치(114)는 대표적으로 스마트폰(114), 휴대폰(116), 휴대용 태블릿 또는 랩톱 컴퓨터(118) 및 데스크톱 컴퓨터(120)로 도시되어 있다. 사용자 장치(114)의 예에는 무선 사용자 장비 및 통신 장치, 예를 들어 이동 전화, 스마트폰, 개인용 디지털 단말기(PDA), 전자 판독기, 휴대용 전자 태블릿, 개인용 컴퓨터 및 랩톱 컴퓨터가 포함되지만 이에 제한되지는 않는다. 각각의 대표적인 사용자 장치(114)는 최소한 프로세서, 프로세서에 연결된 메모리, 컴퓨터 판독 가능 매체, 사용자 장치(114)에 정보를 입력하기 위한 설비, 정보, 메시지, 명령 또는 지시, 소리 및/또는 시각 자료를 수신하고 전송하기 위해 프로세서에 연결된 안테나 또는 기타 유선 또는 무선 연결 장치를 포함한다. 사용자 장치(114)상의 디스플레이는 시스템에 의해 요구되는 사용자 정보 및 사용자의 위치를 포함한 환경과 관련된 정보를 입력하기 위한 터치 스크린 기술을 포함할 수 있다. 상기 정보는 예를 들어 텍스트 형태로 또는 화면에 표시되거나 사용자 장치(114)의 본체에 통합된 동작 버튼을 터치하여 입력될 수 있다. 대안으로 사용자는 물리적 또는 터치 스크린 키보드를 사용하거나 음성으로 정보를 입력할 수 있다.

복수의 센서 장치(112)로부터의 출력 및 측정값은 사운드/비주얼 시스템(100), 특히 네트워크 사운드/비주얼 서버(104)에 의해 수신된다. 센서 장치(112)로부터 수신된 정보 및 데이터는 사용자 및 사용자가 있는 환경과 관련된 정보를 포함한다. 이 센서 데이터는 아래에서 자세히 설명하는 것처럼 사용자에게 제공할 소리 및 시각 자료의 선택을 지원하고 조명 및 온도 변화를 결정하는 데 사용된다.

사운드/비주얼 시스템(100)은 사용자 장치(114)로부터 정보 및 명령을 수신하기 위한 하나 이상의 수신기 장치(122, 124)를 대안으로 포함한다. 이러한 수신기 장치들은 집합적으로 컴퓨터(122)로 표현된다. 수신기 장치(122)는 사용자 장치(114)와 동일한 방식의 통신 및 디스플레이 설비를 갖는 임의의 유형의 컴퓨팅 장치일 수 있다. 일대다 수신기 장치(122)는 시스템(100)과 통신하고, 원격 사용자 장치(114)와 관련하여 설명된 바와 같이, 복수의 상이한 장치로부터 복수의 상이한 통신 프로토콜을 통해 통신할 수 있다. 도 1은 모든 통신이 네트워크 사운드/비주얼 서버(104)로 향하는 것을 도시하지만, 예시적인 실시 예는 이에 제한되지 않는다; 그리고 통신은 사용자 장치(114)로부터 정보를 수신하고 사용자 장치(114)에 소리/시각 자료를 제공하기 위해 사용자 장치(114)와 수신기 장치(122) 사이의 네트워크(102)를 통해 직접 제공될 수 있다.

예시적인 실시 예는 네트워크 사운드/비주얼 서버(104)에서 및 사용자 장치(114)의 컴퓨터들에서 그리고, 대안으로 수신기 장치(122)에서 구현된다. 컴퓨터 판독 가능하고 실행 가능한 명령어, 또는 소프트웨어는 사운드/비주얼 시스템(100)의 예시적인 실시 예의 단계들을 처리하는 것을 포함하는 예시적인 장치(114, 122, 104)의 컴퓨터들의 처리를 지시하기 위해 제공된다. 컴퓨터 실행 가능 명령어는, 컴퓨터(114, 122, 104) 및/또는 이 컴퓨터들 각각과 관련된 프로세서에 의해 실행될 때, 사용자 장치(114)에 개인화된 소리 및/또는 시각 자료의 표현 및 사용자 환경의 제어를 준비한다.

사용자 장치(114)에 제공될 소리 및 시각 자료를 구성하는 데 이용 가능한 자원에 관한 정보를 저장하기 위해 하나 이상의 저장 장치(106, 108 및 110)가 제공된다. 이 정보는 사용자 프로필, 음표 시퀀스(note sequence) 파일, 원시 오디오 파일, 단일 음표 소리 파일, 소리 톤, 악기들의 소리, 시각적 이미지 및 다양한 모양, 색상 및 애니메이션에서의 시각적 이미지를 포함하지만 이에 제한되지 않는다. 상기 저장된 정보에는 사용자에게 제공된 과거의 소리 및 시각 자료와 사용자 환경의 조명 및 온도를 제어하기 위해 전송된 과거의 제어 정보가 포함될 수도 있다. 상기 저장 장치는 데이터와 정보를 예를 들어 파일, 라이브러리 및 디렉토리로 유지할 수 있다. 사용자에게 제공할 소리 및 시각 자료를 구성하기 위한 이 정보에의 접근 및 사용에 대해서 아래에서 더 자세히 설명한다.

컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함하며, 이것은 휘발성 및 비휘발성 매체와, 컴퓨터 판독 가능 명령, 데이터 구조, 디스플레이 템플릿 및 응답자 정보를 포함하는 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 자기 매체(예를 들어, 하드 디스크), 비일시적 메모리, 광학 매체(예를 들어, DVD), 메모리 장치(예를 들어, 랜덤 액세스 메모리) 등을 포함하지만 이에 제한되지는 않는다. 일부 실시 예에서, 컴퓨터 판독 가능 명령어는, 프로세서에 의해 실행될 때, 명령어가 예시적인 컴퓨터(114, 122, 104)의 프로세서로 하여금 사운드/비주얼 시스템의 아래 설명된 단계(예를 들어, 도 2에 도시한 흐름도를 참조하여 아래에 설명된 단계)를 수행하게 하도록 구성된다. 다른 실시 예에서, 예시적인 컴퓨터(114, 122, 104)는 지시의 필요 없이 아래에 설명된 단계를 수행하도록 구성된다. 따라서, 본 명세서에 설명된 본 실시 예들의 특징은 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합으로 구현될 수 있다. 컴퓨터 저장 매체는 반송파 또는 기타 임의의 전파된 데이터 신호를 포함하지 않는다.

개시된 시스템 및 방법의 실시 예는 사용자가 휴식을 취하고 집중하는 것을 돕기 위해 개인화된 소리, 시각 자료, 조명, 및/또는 온도 환경을 생성한다. 휴식 모드는 사용자의 마음을 진정시키기고 편안함과 안전감을 유도하기 위해 부드러운 소리/시각 자료를 제공하도록 설계된다. 집중 모드는 사용자가 생산성을 높이고 집중력을 연장하는 데 도움을 준다. 분주한(on the go) 또는 활력을 주는 모드는 사용자의 개인적인 속도에 맞추어 사용자의 걷기와 달리기를 향상시킨다. 수면 모드는 개인화된 백색 소음을 생성하여 사용자를 깊은 수면 상태로 만든다.

일 실시 예에서, 사용자를 위한 개인화된 소리 환경을 생성하기 위한 방법론은 생물학적 주기 리듬, 5음 음계(pentatonic scale), 및 소리 차단(sound masking)에 기초한다. 생성된 소리, 시각 자료 및 제어 신호는, 임의의 사용자 입력 없이, 시간, 날씨, 심박수 및 위치와 같은 다양한 입력에 자동으로 적응된다. 이 프로세스는 사용자가 사용자 장치에서 애플리케이션을 여는 것으로 시작된다. 사용자의 장치는 바람직하게는 인터넷과 같은 네트워크에 연결된 휴대용 장치이다. 그러나 개시된 시스템 및 방법은 네트워크에 연결되지 않은 사용자 장치 또는 휴대용이 아닌 사용자 장치에서 로컬 저장 파일, 매체 및 소프트웨어를 가지고 잘 수행될 것이다.

도 2를 참조하면, 사용자의 환경 및 상태에 기초하여, 사용자의 환경을 제어하고 개인화된 소리 및 시각 자료를 구성하여 사용자에게 제공하는 방법의 흐름도가 도시되어 있다. 본 발명은 사용자의 개별 환경, 모드 또는 필요한 모드, 상태 및 컨텍스트를 처리하기 위해 개인화된 환경을 생성하고, 사용자의 환경 및 상태를 나타내는 센서 데이터를 수신 및 분석하고 분석된 데이터를 소리 및 시각 자료의 라이브러리와 함께 활용하여 소리 및/또는 시각 자료의 개인화된 동적 스트림을 구성하고 사용자에게 제공하는 것을 포함한다. 사용자에게 제공되는 소리는 다수의 조합 및 층으로 생성된 음표, 소리 및 악기 소리의 구성을 포함한다. 이러한 소리 제공은 사용자 선택 및/또는 청취를 위해 알려진 악보 또는 음악 재생 목록을 제공하는 것과는 대비된다. 상응하여, 사용자에게 제공되는 시각 자료는 색상, 임의의 모양, 이미지의 창작과, 이러한 색상, 모양 및 이미지의 애니메이션과 흐름으로 구성된다. 일부 실시 예에서, 사용자에게 제공하기 위해 생성된 시각 자료는 회전하는 만화경에서 보이는 이미지와 유사할 수 있다. 이하, 이 방법의 단계들이 상세하게 설명될 것이다.

단계 202에서, 애플리케이션은 사용자 프로필을 설정하기 위해 사용자에게 다수의 질문 및 카테고리를 제시하며, 상기 프로필은 예를 들어 음악과 관련된 사용자 선호, 장르, 소리, 활동, 직업, 취미, 이미지, 색상, 날씨를 포함할 수 있다. 상기 시스템은 질문 및 선택된 카테고리에 대해 응답으로 수신된 사용자 정보를 기반으로 사용자의 프로필을 작성한다. 사용자는 확인된 허가에 따라 자유롭게 프로필을 변경할 수 있다.

단계 204에서, 사용자의 환경 및 상태에 기초하여, 시스템으로부터 소리 및/또는 시각 자료를 수신하는 요청이 사용자로부터 수신된다. 이 요청은 소리, 시각 자료 또는 둘 다 요청되지를 나타낼 수 있다. 이 요청은 또한 특정 사용자 관련 환경 또는 상태 정보, 예를 들면 특정 기간 사용자가 요청하는 소리/시각 자료 및/또는 사용자를 위해 휴식, 집중 또는 분주함(또는 활력 충전) 모드를 제공하기 위해 사용자가 명시적으로 요청하는 소리/시각 자료를 나타낼 수 있다. 또는, 사용자 프로필이 이 정보를 제공할 수 있다. 또한, 사용자는 한 주의 특정 요일 또는 하루의 특정 시간에 또는 사용자의 특정 상태, 예를 들면 높은 심박수 또는 혈압 또는 장시간 운전이 판단될 때, 시스템으로 하여금 자동으로 소리/시각 자료의 제공을 개시하도록 지시하는 프로필을 설정할 수 있다.

단계 206에서, 그리고 도 3, 5, 8 및 9에서, 애플리케이션은 센서(112) 및 사용자로부터 출력을 수신한다; 그리고 이러한 출력에서 사용자에 대해 실행 가능한 묘사를 결정할 수 있다. 이러한 실행 가능한 묘사에는 사용자 모드, 사용자 상태, 사용자 컨텍스트 및 사용자 물리적 환경이 포함된다. 결정된 사용자의 실행 가능한 묘사를 기반으로, 시스템은 사용자의 위상(status)을 결정하고 사용자에게 적극적으로 영향을 미치기 위해 소리, 시각 자료, 조명 변화 및 온도 변화를 결정할 수 있다. 센서(112)는 예를 들면 사용자 장치(114)상의 GPS(Global Positioning Receiver)로부터 위치 정보를 제공할 수 있다. 수신된 GPS 정보는, 사용자가 정지되어 있는지, 걷고 있는지, 달리고 있는지 또는 운전 중인지를 시스템이 결정할 수 있도록, 연속적일 수 있다. 이 정보를 사용하여 시스템은 사용자에게 제공할 소리/시각 자료 및/또는 사용자를 위해 조명 및 온도를 어떻게 변경할지를 부분적으로 결정할 수 있다. 예를 들어, 사용자의 정지 상태는 사용자가 근무 중에 있을 수 있음을 암시한다; 그리고 시스템은 제공을 위해 집중에 관련된 소리/시각 자료를 선택한다. 마찬가지로, 사용자가 걷거나 뛰는 것으로 결정되면, 활력을 주는(즉, 경쾌한) 소리/시각 자료가 제공을 위해 선택될 수 있다. 대안으로, 사용자는 긴장을 풀어주는 소리/시각 자료가 걷기에 선호됨을 나타내는 프로필을 설정했을 수 있다. GPS 신호가 변화하는 속도 및 경로와 교통 정보 입력에 따라 사용자가 운전 중이라고 결정되면, 긴장을 풀어주고 집중시키는 소리/음악의 조합이 제공을 위해 선택될 수 있다. 또한, 시스템은 운전 중 사용자 환경의 조명과 온도에 영향을 미치기 위해 제어 신호를 보낼 수 있다. 또한, 위치 정보는 사용자에게 예를 들면 사용자의 작업 컴퓨터, 사용자의 휴대 전화 또는 사용자의 집 컴퓨터에 소리/시각 자료를 전송할 채널 또는 플랫폼을 결정할 수 있다. 이 시스템은 사용자의 위치 또는 이동 위치에 관계없이 네트워크 또는 클라우드-기반 서비스를 통해 사용자에게 개인화된 소리, 시각 자료 및/또는 제어 신호 전달을 제공하도록 적응할 수 있다. 사용자 프로필 및 선호도를 기반으로 센서 출력의 상대적 중요성과 영향에 가중치를 부여하기 위해 매개 변수를 설정할 수 있다. 예를 들어 노인의 경우 심박수와 혈압에 더 많은 중요성을 부여할 수 있다.

센서(112)는 또한 사용자의 심박수 및/또는 혈압과 같은 신체 정보를 제공할 수 있다. 다른 센서 데이터와 결합된 심박수 정보는 시스템이 사용자의 상태 및 사용자의 변화하는 상태(예를 들면 심박수가 증가 또는 감소하는 경우)를 확인하는 데 도움이 된다. 이 시스템은 사용자의 심박수를 나이, 체중, 운동 연대(exercise regiment)와 같은 사용자 프로필의 사람들에 대한 의료 기준 또는 누적된 사용자 심박수 이력과 비교할 수 있다. 이 비교는 사용자가 다소 스트레스를 받고 있고, 다소 격렬한 활동에 참여하고 있으며, 다소 이완되었음을 시사할 수 있다; 그리고 시스템은 사용자에게 제공된 소리/시각 자료와 조명/온도 제어를 동적으로 조정하여 사용자를 편안하게 하고, 사용자가 더 잘 집중하도록 하고, 사용자에게 활력을 불어 넣고, 사용자가 잠들도록 돕는 환경을 제공할 수 있다. 마찬가지로, 사용자의 혈압이 표준 또는 사용자의 이력에 비해 상승하면 진정시키거나 편안한 소리/시각 자료가 제공되어야 하는 스트레스받는 상태를 알릴 수 있다.

다른 센서(112)는 날씨 데이터를 제공하며, 강풍, 과도한 온도(높거나 낮음), 밝거나 약한 빛, 빠르게 변화하는 기압이 개인의 기분과 스트레스 수준에 영향을 미칠 수 있음을 알고 있다. 사용자가 활동하는 환경을 인식하여, 시스템은 사용자의 환경 효과에 대응하기 위해 소리/시각 자료, 조명 제어 및/또는 온도 제어를 제공할 수 있다. 예를 들면 낮은 조도에 대응하여 활력을 주는 소리/시각 자료 제공하고 및/또는 조명을 높이기 위해 제어 신호를 전송하거나, 또는 실내조명 또는 GPS 신호의 감지를 기반으로 사용자가 실내에 있음을 감지하고 제어 신호를 전송하여 온도를 조절한다.

추가 센서(112)는 사용자의 걸음(steps), 억양(cadence) 및 움직임 유형에 관한 데이터를 제공한다. 이러한 정보는 더 많은 글로벌 GPS 데이터와 함께 사용자가 무엇을 하고 있는지 확인하는 데 도움이 된다. 이 정보는 사용자가 느긋하게 걷고 있는지, 제시간에 약속을 지키기 위해 서두르고 있는지, 계단을 오르고 있는지, 책상에 앉아 있는지 또는 달리고 있는지를 구체적으로 확인하는 데 도움이 될 수 있다.이 정보는 시계 센서의 시간 및 날짜 정보와 결합하면 사용자가 언제 일과 관련하여 이동하는지, 아침 또는 저녁에 뛰는지, 집에서 휴식을 취하는지를 결정하는 데 도움이 될 수 있다. 다양한 센서 정보는 사용자가 활동하는 환경과 사용자의 상태를 시스템이 결정하는 데 도움이 된다 - 이 모두는 사용자에게 이 정보를 제공하도록 명시적으로 요청하지 않고 동적으로 수행된다. 이 시스템은, 긴장을 풀어주는, 동기를 부여하는, 활력을 주는, 분주한 등의 소리/시각 자료 및 환경을 제공함으로써, 사용자 환경을 개선하기 위한 소리/시각 자료, 조명 및 온도 제어를 자동으로 선택하여 이 정보에 응답한다.

상기 수신된 센서 정보는 후속 분석 및 사용자에 제공을 위한 데이터 라이브러리를 위해 사용자에게 제공되는 결정된 소리 및 시각 자료와 함께 저장 장치(106, 108 또는 110)에 저장될 수 있다. 예를 들어 저장된 심박수 데이터는 사용자의 현재 심박수가 높은지 낮은지 결정하기 위해 사용자의 현재 심박수와 비교될 수 있다. 또한, 과거에 제공된 소리 및 시각 자료가, 예를 들어 후속 사용자 의견 또는 행동에 의해 결정된 대로 편안하거나, 동기를 부여하거나, 진정시키거나, 활력을 주는 소리 및 시각 자료를 제공하는 것으로 성공적으로 지정된 경우, 상기 과거에 제공된 소리 및 시각 자료는 유사한 사용자 상태하의 후속 제공을 위해 표지될 수 있다.

단계 208에서, 사용자 입력, 사용자 프로필 및 센서 출력에 기초하여, 사용자의 활동 묘사가 결정된다. 사용자의 모드, 상태 및/또는 컨텍스트는 수신된 센서 정보 및 대안으로 사용자 프로필 정보의 분석을 기초로 결정된다. 위에서 논의한 바와 같이, 분석된 센서 데이터와 프로필 데이터는 사용자가 스트레스를 받고 있는지, 긴장을 풀고 있는지, 근무 중에 있는지, 집에 있는지, 체육관에 있는지, 휴식이 필요한지, 집중해야 하는지, 활력 충전이 필요한지 등을 결정할 수 있다. 또한, 사용자는 자신의 상태 또는 컨텍스트를 지정하기 위해 입력을 제공하거나, 시스템이 자신의 상태 또는 컨텍스트에 적합한 소리/시각 자료를 제공하도록 허용하거나, 제공될 소리/시각 자료의 유형을 명시적으로 요청할 수 있다. 사용자의 상태는 스트레스, 긴장 풀기, 수면, 달리기, 집중 필요 등과 같은 사용자의 정신적 및 신체적 상태와 관련된다. 사용자의 컨텍스트는 사용자가 근무 중에 있는지 또는 외부에 있는지; 사용자에게 날씨가 어떤지, 날짜 및 시간, 사용자 환경의 조명 수준 및 온도는 어떤지와 같은 사용자 환경에 관련된다. 결정된 사용자의 모드, 상태 및 컨텍스트를 결합하여 사용자 위상으로 지칭될 수 있다.

단계 210에서, 사용자의 결정된 또는 지정된 위상에 기초하여, 시스템은 사용자의 프로필 및 지정된 입력에 기초하여, 사용자에게 제공하기 위한 소리 및 시각 자료를 생성하기 위한 저장 라이브러리 또는 라이브러리들로부터 소리 및 시각 자료를 추출한다. 도 4 및 5를 참조하고, 단계 202와 관련하여 위에서 설명된 바와 같이, 원시 입력(502)은 사용자로부터 수신되고 처리되어 사용자 프로필(506)을 생성한다. 사용자 프로필, 사용자 입력 및/또는 센서 정보로부터, 사용자의 모션 및 모드가 510-514에 도시된 바와 같이 결정된다. 도 2 내지 5에는 도시되지 않지만, 시스템은 또 사용자의 위상을 분석하여 사용자 환경의 조명 및 온도와 관련하여 변경이 필요한지를 결정하고 사용자 환경의 조명 및/또는 온도에 변화를 일으키는 제어 신호를 생성 및 전송할 수 있다.

단계 212에서 시스템은 강도로 나눈 음표 시퀀스 파일(402)의 라이브러리에 액세스한다. 음표 시퀀스 파일은 음표 시퀀스의 무작위 악보로서, 보통 시간, 사용자 상태 또는 컨텍스트의 결정된 변화, 또는 사용자 요청에 의해 제공이 종료될 때까지 계속 반복될 수 있는 일반적으로 10-20초 지속 시간을 가진다. 선택된 악보(들)는 음표 생성기 엔진(404)의 소프트웨어 또는 펌웨어에 의해 선택되거나 생성되며, 이는 또 결정된 사용자의 상태 또는 컨텍스트에 기초하여 음표들의 시퀀스 및 음표 시퀀스의 지속 시간을 결정한다. 위에서 설명한 바와 같이, 음표 시퀀스의 선택은 수신된 센서 정보가 변경되거나 새로 고쳐질 때 동적으로 변경되어, 사용자의 환경, 상태 또는 컨텍스트의 변경을 반영한다. 예를 들어, 사용자의 심박수 또는 혈압은 분당 음표 비트의 형태로 음표 시퀀스의 템포를 결정할 수 있으며, 사용자의 혈압이 상대적으로 높거나 사용자가 스트레스를 받고 있다고 판단될 때 더 느린 템포가 제공된다. 대안으로, 만일 시스템이, 움직임, GPS 및/또는 심박수를 기초로, 사용자가 뛰고 있다고 판단하면, 시스템은 사용자에게 제공되는 음표의 템포를 높일 수 있다. 예를 들어, 템포는 분당 55-70 비트에서 시작하여 분당 100 비트 이상으로 증가하여 사용자가 달리거나 운동하는 동안 사용자에게 활력을 불어 넣을 수 있다.

단계 214에서, 음표 생성기(404)는, 규칙 및 사용자에 대한 과거의 성공적인 제공에 기초하여, 어떤 음표가 함께 또는 차례로 시퀀싱 될 수 있는지 추가로 결정한다. 예를 들어, 편안한 또는 부드러운 소리를 제공하기 위해 매우 다른 음조, 음색 또는 소리의 음표들이 함께 시퀀싱 되지 않는 반면 이러한 대조는 활력을 주는 소리를 제공하는 데 유용할 수 있다. 규칙 및 과거 제공하에서 함께 작동하는 것으로 알려진 음표들에 기초하여, 소리 생성기(404)는 최대 40개 음표의 시퀀스를 생성할 수 있으며, 이것은 반복적으로 제공되거나 다시 시퀀싱 되어 다양성을 제공하거나 변화하는 센서 정보에 응답할 수 있다.

단계 216에서, 단일 음표의 원시 오디오 파일로 구성된 소리 라이브러리(406)로부터 제3의 소리 소스가 선택된다. 다시, 결정된 상태, 컨텍스트 및/또는 사용자 프로필이 특정 음표를 결정할 것이다. 예를 들어, 음계 하단의 음표는 더 부드러울 수 있으며 부드러운 또는 편안한 소리를 제공하기 위해 시스템에 의해 선택된다. 음계의 다양한 음표는 각 음계 음표에 대해 사용할 수 있는 악기 소리를 갖기 위해 악기 소리에 색채로 매핑될 수 있다.

단계 218에서, 결정된 사용자 상태, 컨텍스트 및/또는 프로필에 기초하여, 제4의 소리 소스가 샘플 소리의 라이브러리(408)로부터 선택된다. 이러한 샘플 소리에는 자연의 소리, 백색 소음, 악기의 소리가 포함될 수 있다. 이러한 소리는 최대 몇 분까지 지속될 수 있으며, 결정된 상태, 컨텍스트 및/또는 사용자 프로필에 따라 다시 선택된다. 예를 들어, 달리는 중이거나 동기 부여가 필요한 사용자에게 제공하기 위해 보다 활력이 넘치는 소리를 위한 트럼펫 소리가 선택될 수 있다. 여러 샘플의 소리를 선택하여 사용자에게 제공할 수 있다.

단계 212 내지 216에서의 음표 시퀀스들 및 음표들 각각은 소리들의 층으로 볼 수 있으며, 하나 이상의 층이 사용자에게 제공된다. 단계 212-216로부터의 음표 시퀀스 및 음표를 단계 218의 선택된 악기에 적용함으로써 추가 층들을 사용할 수 있다. 도 6 및 도 7에서, 사용자에게 소리를 제공하기 위해 실시간 믹서(410)에 의해 특정 소리 층들(704)이 선택되고 결합된다. 이 특정 층들은, 위에서 논의된 바와 같이, 상기 특정 선택된 음표 및 악기가 상기 결정된 사용자 모드, 상태, 사용자 컨텍스트 또는 사용자 선호 및 프로필에 적합하도록, 선택을 안내하는 한 세트의 규칙들에 따라 선택된다. 또한, 결합된 출력의 층들이 템포 및 강도 측면에서 서로 충돌하지 않도록 층들이 선택된다. 단계 222에서, 상기 선택된 층들은 사용자 장치(114)상에서 사용자에게 제공을 위해 함께 시퀀싱 된다.

단계 224에서, 소리(520)의 결합된 층들은 사용자가 청취하도록 사용자에게 제공된다. 시각 자료를 생성, 결합 및 사용자에게 제공하여 사용자가 볼 수 있게 한다. 조명 및/또는 온도 제어 신호가 사용자의 인정 또는 허가 여부에 관계없이 사용자의 위치에 가까운 조명 및 난방/냉방 장치로 전송된다. 소리와 마찬가지로, 시각 자료는 저장 라이브러리(518)로부터 선택되고 사용자의 상태, 컨텍스트 및/또는 선호에 따라 애니메이션화되고 채색된다. 소리(520) 및 시각 자료(524) 모두가 사용자에게 제공될 때, 이것들은 단계 224에서 소리 음표, 템포 및 강도가 시각 자료의 색상, 이미지, 속도 및 애니메이션과 일치하고 어울리도록 동시에 제공된다. 도 10 내지 도 13은 사용자의 장치(114) 상에 제공된 예시적인 시각 자료를 도시한다. 그러나 아래에서 논의되는 바와 같이, 시각 자료가 사용자에게 제공되도록 전송되지 않을 때 센서 정보 및/또는 사용자 입력에 기초한 상황이 있다.

상기 시스템은 또한 소리가 사용자에게 제공되는 볼륨을 결정할 수 있다. 사용자 장치(114)는 단일 소리, 소리들의 조합, 소리와 음악의 조합, 사람의 음성을 포함하는 조합을 검출하기 위한 마이크를 포함할 수 있다. 예를 들어, 마이크는 사용자 공간의 소리 레벨을 측정하고 갑작스러운 볼륨 변화에 반응하기 위해, 즉 사용자가 계속해서 들을 수 있도록 소리 볼륨을 높이거나 낮추기 위해 사용될 수 있다. 새로운 사람의 음성을 감지하면 사용자가 제공된 소리에 산만해지지 않고 대화를 수행할 수 있도록 소리 볼륨을 줄일 수 있다.

단계 226에서, 시스템은 하나 이상의 센서로부터 수신된 정보가 변경되었는지를 동적으로 결정하고 사용자에게 제공하기 위해 전송되는 소리 및/또는 시각 자료의 변경이나 사용자 공간의 조명 또는 온도를 조정하기 위한 제어의 변경을 정당화한다. 예를 들어 사용자 위치가 변경되었고, GPS 데이터는 사용자가 체육관에서 집까지 운전하는 것을 보여준다. 따라서, 시스템은 사용자가 운전과 운동 후 집에서 휴식 시간을 준비하는데 필요한 주의를 처리하기 위해 더 집중력을 높이고 편안하게 하는 소리로 변경한다. 시스템은 사용자가 운전 중이고 교통 상황에 집중해야 함을 인식하기 때문에 사용자에게 제공을 위해 시각 자료는 전송되지 않는다. 대안으로, 사용자가 지정할 수 있거나 시스템이 사용자가 대중교통 경로에 있고, 시각 자료를 수신하고 보는 것이 문제가 되지 않는 것을 판단할 수 있다. 마찬가지로, 시스템은, 근무 중이거나 시각적 제공이 방해가 되거나 부적절할 때 예를 들면 회의 중이나 전화 회의 중에는 언제든지, 소리만 제공하도록 결정하거나 사용자에 의해 지시될 수 있다. 단계 210-226은 적어도 결정된 사용자 상태 및 컨텍스트에 기초하여 사람의 입력 없이 자동으로 수행된다.

상기 사운드/비주얼 시스템은, 센서 데이터 및 사용자 입력을 계속 수신하고 센서 데이터 및/또는 사용자 입력이 변경됨에 따라 사용자에게 소리/시각 자료가 제공되게 하고 제어 신호가 전송되게 자동으로 조정한다는 점에서 동적이다. 시스템은 센서로부터 지속적으로 출력을 수신하고, 센서 출력을 저장하고, 최근 수신된 센서 출력을 이전에 저장된 센서 출력과 센서별로 비교할 수 있다. 특정 센서의 출력이 해당 특정 센서에 대해 크게 변경된 경우, 시스템은 변경의 정도와 방향을 해당 규칙 비교하거나 대안으로 사용자의 프로필 및 선호와 비교할 수 있다. 센서 출력이 사용자에게 제공되는 소리 및/또는 시각 자료 또는 전송되는 조명 또는 온도 제어 시스템에 변경을 정당화할 정도로 변경된 경우, 시스템은 그 출력을 갱신하고 수정된 소리, 시각 자료 및/또는 제어 신호를 전송할 수 있다. 예를 들어, 사용자가 움직이지 않는 동안 사용자 심박수의 증가는 사용자가 더 많은 스트레스를 받고 있음을 나타내며, 시스템은 자동으로 더 편안한 소리/시각 자료를 구성하여 제공하기 시작한다. 마찬가지로, 사용자가 더 운전하지 않고 집이나 체육관에 도착했음을 나타내는 사용자의 GPS 신호는 편안한 소리/시각 자료가 제공되거나(집에서 휴식중) 또는 활력을 주는 소리/시각 자료가 제공되어야(체육관에서 운동 중) 함을 시사한다. 또한, 조명 센서 또는 시간은 조명 증가가 사용자에게 유리할 수 있다는 신호를 보낼 수 있으므로, 조명 제어 신호의 생성 및 전송을 촉발하여 사용자 환경에서 조명을 증가시킬 수 있다.

본 발명의 특정 예시적인 실시 예의 전술한 설명은 예시 및 설명의 목적으로 제시되었다. 이것들은 포괄적이거나 개시된 정확한 형태로 본 발명을 제한하려는 것이 아니며, 명백히 상기 교시에 비추어 많은 수정 및 변경이 있을 수 있다. 예시적인 실시 예는 본 발명의 특정 원리 및 그 실제 적용을 설명하기 위해 선택되고 기술되었으며, 당해 기술분야의 통상의 기술자가 본 발명의 다양한 예시적인 실시 예뿐만 아니라 다양한 대안 및 수정을 만들고 이용할 수 있게 한다. 본 발명의 범위는 여기에 첨부된 청구 범위 및 그 등가물에 의해 정해지는 것으로 의도된다.

Claims (20)

1. 사용자 장치 내의 프로세서가 사용자의 환경 및 상태를 처리하기 위해 개인화된 환경을 생성하는 방법에 있어서,
   하나 이상의 사용자 입력을 복수의 센서들과의 유선 또는 무선 통신을 통해 획득하고, 상기 하나 이상의 사용자 입력에 부분적으로 또는 전체적으로 기초하여 상기 사용자에 해당하는 사용자 프로필을 생성하는 단계;
   상기 복수의 센서들로부터 출력을 유선 또는 무선 통신을 통해 수신하는 단계로서, 상기 출력은 적어도 사용자 위치, 사용자 심박수, 사용자 움직임, 및 사용자 날씨에 대한 정보를 제공하는, 단계;
   상기 복수의 센서들의 출력으로부터 사용자의 상태 및 사용자가 활동하는 환경을 결정하는 단계;
   상기 생성된 사용자 프로필 및 상기 결정된 사용자 상태 및 환경에 기초하여, 사용자에 대한 실행 가능한 묘사를 생성하는 단계로서, 상기 실행 가능한 묘사는 적어도 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 포함하는, 단계;
   상기 실행 가능한 묘사로부터 복수의 소리, 시각 자료 또는 둘 다를 결정하는 단계;
   상기 실행 가능한 묘사에 부분적으로 또는 전체적으로 기초하여 복수의 음표 시퀀스 파일을 액세스하는 단계;
   상기 복수의 음표 시퀀스 파일의 적어도 서브세트에 대해 하나 이상의 시퀀스를 결정하는 단계;
   부분적으로 또는 전체적으로 상기 실행 가능한 묘사로부터 복수의 단일 음표를 결정하는 단계;
   부분적으로 또는 전체적으로 상기 실행 가능한 묘사로부터 하나 이상의 샘플 소리를 결정하는 단계;
   상기 복수의 소리 또는 시각 자료 중 하나 이상, 상기 하나 이상의 시퀀스, 상기 복수의 단일 음표의 하나 이상, 및 상기 하나 이상의 샘플 소리를 층층이 쌓아 결합된 층을 생성하는 단계;
   상기 결합된 층을 상기 사용자 장치로 제공하는 단계; 및
   상기 복수의 센서들의 하나 이상으로부터의 출력에서의 변화에 기초하여 상기 결합된 층을 자동으로 수정하는 단계;
   를 포함하는, 개인화된 환경을 생성하는 방법.
2. 제 1 항에 있어서,
   상기 복수의 센서들의 출력으로부터 상기 환경의 조명 및 온도를 결정하는 단계;
   상기 복수의 센서들의 출력들 중 하나 이상 및 상기 결정된 실행 가능한 사용자 묘사에 부분적으로 또는 전체적으로 기초하여 상기 환경의 조명 및 온도 중 적어도 하나를 변경할지를 결정하는 단계;
   상기 환경의 조명 및 온도 중 적어도 하나를 변경해야 한다고 결정하면,
   상기 환경의 조명 및 온도 중 적어도 하나를 변경하기 위해 제어 신호를 생성하고, 상기 생성된 제어 신호를 조명, 난방 및 냉각 장치 중 하나 이상에 전송하여 상기 환경의 조명 및 온도를 변경하는 단계;
   를 추가로 포함하는, 개인화된 환경을 생성하는 방법.
3. 제 1 항에 있어서,
   상기 결합된 층을 수정하는 단계는:
   상기 복수의 센서들의 출력을 이전에 수신된 복수의 센서들의 출력과 비교하여 상기 복수의 센서들의 출력이 변경되었는지를 결정하는 단계;
   상기 복수의 센서들의 출력이 변경된 것으로 결정하면, 상기 복수의 센서들의 출력은 제공될 상기 결합된 층의 하나 이상의 층에 대해 변경을 정당화할 정도로 변경되었는지를 결정하며;
   상기 결합된 층에 대해 변경이 정당화된다고 결정하면:
   상기 변경된 복수의 센서들의 출력으로부터 상기 사용자에 대한 갱신된 실행 가능한 묘사를 결정하고; 상기 결정된 갱신된 실행 가능한 묘사로부터 사용자 모드, 사용자 상태, 및 사용자 컨텍스트를 결정하고; 상기 사용자 프로필로부터 및 상기 갱신된 실행 가능한 묘사를 기초로 상기 복수의 소리, 시각 자료, 상기 하나 이상의 시퀀스, 상기 복수의 단일 음표의 하나 이상, 및 상기 하나 이상의 샘플 소리 중 적어도 갱신된 것을 결정하고; 상기 변경된 복수의 센서들의 출력 및 상기 결정된 갱신된 실행 가능한 사용자 묘사 중 하나 이상에 기초하여 제공될 갱신된 결합된 층을 결정하고; 및 상기 갱신된 결합된 층을 상기 사용자 장치에서 상기 사용자에게 제공하는, 단계;
   를 추가로 포함하는, 개인화된 환경을 생성하는 방법.
4. 제 1 항에 있어서,
   사용자로부터 소리 및 시각 자료 선호 중 적어도 하나를 수신하는 단계; 및
   상기 수신된 사용자의 선호에서의 변화를 기초로 상기 결합된 층을 자동으로 수정하는 단계;
   를 추가로 포함하는, 개인화된 환경을 생성하는 방법.
5. 제 1 항에 있어서,
   상기 결합된 층에 대한 소리 볼륨을 결정하는 단계를 추가로 포함하는, 개인화된 환경을 생성하는 방법.
6. 제 1 항에 있어서,
   상기 결정된 실행 가능한 묘사는 사용자 물리적 환경을 포함하는, 개인화된 환경을 생성하는 방법.
7. 제 1 항에 있어서,
   상기 복수의 센서들은 시계, 달력, 온도계, 보수계, 기압계, 강우 센서, 풍속 센서, 심박수 모니터, 혈압 모니터, 마이크, 및 공간 센서 중 하나 이상을 포함하는, 개인화된 환경을 생성하는 방법.
8. 제 1 항에 있어서,
   상기 수신된 출력은 시간, 날짜, 심박수, 혈압, 날씨, 사용자 위치 및 움직임 유형/속도를 포함하는 목록으로부터 유래하는, 개인화된 환경을 생성하는 방법.
9. 제 1 항에 있어서,
   상기 복수의 센서들의 출력으로부터 사용자 상태를 결정하는 상기 단계는 하나 이상의 사용자 활동을 추론하기 위해 상기 출력의 일부 또는 전부를 분석하는 단계를 포함하는, 개인화된 환경을 생성하는 방법.
10. 제 9 항에 있어서,
    상기 하나 이상의 사용자 활동은 정지, 걷기, 달리기, 운동 및 운전을 포함하는, 개인화된 환경을 생성하는 방법.
11. 제 9 항에 있어서,
    사용자 상태를 결정하는 상기 단계는 상기 하나 이상의 추론된 사용자 활동과 연관된 사용자 움직임 유형을 결정하는 것을 추가로 포함하며, 상기 사용자 움직임 유형은 휴식 중, 스트레스 받는 움직임, 격렬한 움직임, 서두르는 움직임, 및 장시간 이동을 포함하는, 개인화된 환경을 생성하는 방법.
12. 제 11 항에 있어서,
    상기 사용자 움직임 유형은 저장된 센서 출력에 대한 현재 센서 출력의 분석에 부분적으로 또는 전체적으로 기초하여 결정되며, 상기 현재 센서 출력 및 저장된 센서 출력은 둘 다 상기 사용자에 해당하는, 개인화된 환경을 생성하는 방법.
13. 제 1 항에 있어서,
    상기 복수의 센서들 중 하나 이상은 상기 사용자 장치에 위치하는, 개인화된 환경을 생성하는 방법.
14. 하나 이상의 프로세서와 명령을 저장하는 하나 이상의 메모리를 포함하는 사용자 장치를 포함하는 시스템으로서, 상기 명령은 실행될 때 상기 하나 이상의 프로세서에:
    하나 이상의 사용자 입력을 복수의 센서들과의 유선 또는 무선 통신을 통해 획득하고, 상기 하나 이상의 사용자 입력에 부분적으로 또는 전체적으로 기초하여 상기 사용자에 해당하는 사용자 프로필을 생성하는 동작;
    상기 복수의 센서들로부터 유선 또는 무선 통신을 통해 출력을 수신하는 동작으로서, 상기 출력은 적어도 사용자 위치, 사용자 심박수, 사용자 움직임, 및 사용자 날씨에 대한 정보를 제공하는, 동작;
    상기 복수의 센서들의 출력으로부터 사용자의 상태 및 사용자가 활동하는 환경을 결정하는 동작;
    상기 생성된 사용자 프로필 및 상기 결정된 사용자 상태 및 환경에 기초하여, 사용자에 대한 실행 가능한 묘사를 생성하는 동작으로서, 상기 실행 가능한 묘사는 적어도 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 포함하는, 동작;
    상기 실행 가능한 묘사로부터 복수의 소리, 시각 자료 또는 둘 다를 결정하는 동작;
    상기 실행 가능한 묘사에 부분적으로 또는 전체적으로 기초하여 복수의 음표 시퀀스 파일을 액세스하는 동작;
    상기 복수의 음표 시퀀스 파일의 적어도 서브세트에 대해 하나 이상의 시퀀스를 결정하는 동작;
    부분적으로 또는 전체적으로 상기 실행 가능한 묘사로부터 복수의 단일 음표를 결정하는 동작;
    부분적으로 또는 전체적으로 상기 실행 가능한 묘사로부터 하나 이상의 샘플 소리를 결정하는 동작;
    상기 복수의 소리 또는 시각 자료 중 하나 이상, 상기 하나 이상의 시퀀스, 상기 복수의 단일 음표의 하나 이상, 및 상기 하나 이상의 샘플 소리를 층층이 쌓아 결합된 층을 생성하는 동작;
    상기 결합된 층을 상기 사용자 장치로 제공하는 동작; 및
    상기 복수의 센서들의 하나 이상으로부터의 출력에서의 변화에 기초하여 상기 결합된 층을 자동으로 수정하는 동작;
    을 수행하게 하는, 시스템.
15. 제 14 항에 있어서,
    상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서에:
    상기 복수의 센서들의 출력으로부터 상기 환경의 조명 및 온도를 결정하는 동작;
    상기 복수의 센서들의 출력들 중 하나 이상 및 상기 결정된 실행 가능한 사용자 묘사에 부분적으로 또는 전체적으로 기초하여 상기 환경의 조명 및 온도 중 적어도 하나를 변경할지를 결정하는 동작;
    상기 환경의 조명 및 온도 중 적어도 하나를 변경해야 한다고 결정하면,
    상기 환경의 조명 및 온도 중 적어도 하나를 변경하기 위해 제어 신호를 생성하는 동작;및
    상기 생성된 제어 신호를 조명, 난방 및 냉각 장치 중 하나 이상에 전송하여 상기 환경의 조명 및 온도를 변경하는 동작;
    을 수행시키는 명령을 추가로 포함하는, 시스템.
16. 제 14 항에 있어서,
    상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서에:
    사용자로부터 소리 및 시각 자료 선호 중 적어도 하나를 수신하는 동작; 및
    상기 수신된 사용자의 선호에서의 변화를 기초로 상기 결합된 층을 자동으로 수정하는 동작;
    을 수행시키는 명령을 추가로 포함하는, 시스템.
17. 제 14 항에 있어서,
    상기 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 상기 결합된 층에 대한 소리 볼륨을 결정하도록 하는 명령을 추가로 포함하는, 시스템.
18. 제 14 항에 있어서,
    상기 결정된 실행 가능한 묘사는 사용자 물리적 환경을 포함하는, 시스템.
19. 제 14 항에 있어서,
    상기 복수의 센서들의 출력으로부터 사용자 상태의 결정은 하나 이상의 사용자 활동을 추론하기 위한 상기 출력의 일부 또는 전부의 분석을 포함하는, 시스템.
20. 명령을 저장하는 하나 이상의 비일시적 컴퓨터 판독 가능 매체로서, 상기 명령은 실행될 때 컴퓨터 내의 하나 이상의 프로세서에:
    하나 이상의 사용자 입력을 복수의 센서들과의 유선 또는 무선 통신을 통해 획득하고, 상기 하나 이상의 사용자 입력에 부분적으로 또는 전체적으로 기초하여 상기 사용자에 해당하는 사용자 프로필을 생성하는 동작;
    상기 복수의 센서들로부터 유선 또는 무선 통신을 통해 출력을 수신하는 동작으로서, 상기 출력은 적어도 사용자 위치, 사용자 심박수, 사용자 움직임, 및 사용자 날씨에 대한 정보를 제공하는, 동작;
    상기 복수의 센서들의 출력으로부터 사용자의 상태 및 사용자가 활동하는 환경을 결정하는 동작;
    상기 생성된 사용자 프로필 및 상기 결정된 사용자 상태 및 환경에 기초하여, 사용자에 대한 실행 가능한 묘사를 생성하는 동작으로서, 상기 실행 가능한 묘사는 적어도 사용자 모드, 사용자 상태 및 사용자 컨텍스트를 포함하는, 동작;
    상기 실행 가능한 묘사로부터 복수의 소리, 시각 자료 또는 둘 다를 결정하는 동작;
    상기 실행 가능한 묘사에 부분적으로 또는 전체적으로 기초하여 복수의 음표 시퀀스 파일을 액세스하는 동작;
    상기 복수의 음표 시퀀스 파일의 적어도 서브세트에 대해 하나 이상의 시퀀스를 결정하는 동작;
    부분적으로 또는 전체적으로 상기 실행 가능한 묘사로부터 복수의 단일 음표를 결정하는 동작;
    부분적으로 또는 전체적으로 상기 실행 가능한 묘사로부터 하나 이상의 샘플 소리를 결정하는 동작;
    상기 복수의 소리 또는 시각 자료 중 하나 이상, 상기 하나 이상의 시퀀스, 상기 복수의 단일 음표의 하나 이상, 및 상기 하나 이상의 샘플 소리를 층층이 쌓아 결합된 층을 생성하는 동작;
    상기 결합된 층을 상기 컴퓨터로 제공하는 동작; 및
    상기 복수의 센서들의 하나 이상으로부터의 출력에서의 변화에 기초하여 상기 결합된 층을 자동으로 수정하는 동작;
    을 수행하게 하는, 비일시적 컴퓨터 판독 가능 매체.

Images