KR101865486B1

KR101865486B1 - 사용자 경험들을 캡처하고 생성하는 장치 및 방법들

Info

Publication number: KR101865486B1
Application number: KR1020167007062A
Authority: KR
Inventors: 존 씨. 위스트; 조슈아 제이. 라트클리프; 리타 에이치. 워우헤이비; 아담 조단; 찰스 씨. 스미스; 글렌 제이. 앤더슨; 존 비. 비센테; 라마 나흐만
Original assignee: 인텔 코포레이션
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2018-06-07
Also published as: JP6219504B2; EP3060999A1; WO2015060872A1; US9355356B2; CN105556506A; EP3060999A4; JP2016537701A; CN105556506B; KR20160045785A; EP3060999B1; US20150120617A1; US20160292575A1

Abstract

사용자 경험들을 캡처하고 생성하는 장치 및 방법들의 실시예들이 본 명세서에 설명된다. 실시예들에서, 장치는, 프로세서를 포함할 수 있다. 이러한 장치는 또한, 프로세서와 연결되어, 하나 이상의 디바이스들에 부착되는 복수의 센서들에 의해 수집되는 센서 데이터를 저장하는 데이터 스토리지 모듈을 포함할 수 있다. 이러한 장치는, 데이터 스토리지 모듈과 연결되어, 센서 데이터의 일부에 적어도 부분적으로 기초하여 사용자를 위해 사용자 경험의 적어도 일부를 재생성할 수 있게 하도록, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 센서 데이터의 적어도 일부를 사용자 경험과 연관시키는 경험 상관 모듈을 더 포함할 수 있다. 다른 실시예들이 설명될 수 있고/있거나 청구될 수 있다.

Description

사용자 경험들을 캡처하고 생성하는 장치 및 방법들{APPARATUS AND METHODS FOR CAPTURING AND GENERATING USER EXPERIENCES}

본 개시내용은 일반적으로 컴퓨팅의 기술 분야에 관한 것으로, 보다 구체적으로는, 사용자 경험들을 캡처하고 생성하는 장치들 및 방법들에 관한 것이다.

본 명세서에 제공되는 배경 기술은 일반적으로 개시내용의 맥락을 제시하려는 목적을 위한 것이다. 본 명세서에서 달리 표시되지 않는 한, 이 부분에 설명되는 자료들은 본 출원의 청구항들에 대한 종래 기술이 아니며, 이 부분에 포함되는 것에 의해서, 종래 기술 또는 이러한 종래 기술의 제시들인 것으로 인정되는 것도 아니다.

의류는 인류와 문화의 필수적인 요소이다. 선사 시대 인간들은, 예를 들어, 동물 가죽으로 만들어진, 보호 의류를 따뜻함을 유지하기 위해 착용하는 것을 알고 있었다. 현대 사회에서, 다양한 천연의 또는 인공의 섬유와 직물 재료가 의류에 사용될 수 있다. 의류 착용의 목적은 인간 신체의 보호로부터 문화적인 또는 개인적인 표현으로 진화되어 왔을 수 있다.

센서는, 예를 들어, 대상의 음향적, 화학적, 전기적, 환경적, 또는 광학적 특성인 물리적 특성을 측정하여, 이러한 측정을, 관찰자 또는 다른 도구에 의해 판독될 수 있는, 예를 들어, 전기적 또는 광학적 신호인, 신호로 변환하는 도구이다. 센서는, MEMS(microelectromechanical systems) 기술을 사용하는 것에 의해서와 같이, 마이크로 센서들로서의 미세 규모(microscopic)로, 또는, NEMS(nanoelectromechanical systems) 기술 및/또는 나노기술을 사용하는 것에 의해서와 같이, 나노센서들로서의 나노 규모(nano-scale)로 제조될 수 있다.

실시예들은 첨부 도면들과 연계하여 이하의 상세한 설명에 의해 쉽게 이해될 것이다. 이러한 설명을 용이하게 하기 위해서, 유사한 참조 번호들은 유사한 구성 요소들을 지정한다. 실시예들은 첨부 도면들의 그림들에서 제한으로가 아니라 예로 도시된다.
도 1은, 다양한 실시예들에 따라서, 본 개시내용의 양상들을 포함하는, 사용자 경험들을 캡처하고 생성하는 장치의 예시적 구현을 도시하는 개략도이다.
도 2는, 다양한 실시예들에 따라서, 본 개시내용의 양상들을 포함하는, 예시적 장치에 의해 실시될 수 있는, 사용자 경험들을 캡처하고 생성하는 예시적 프로세스의 흐름도이다.
도 3은, 다양한 실시예들에 따라서, 본 개시내용의 양상들을 포함하는, 예시적 장치에 의해 실시될 수 있는, 센서 데이터를 사용자 경험들과 상관하는 예시적 프로세스의 흐름도이다.
도 4는, 다양한 실시예들에 따라서, 개시된 실시예들을 실시하는데 적합한 예시적 컴퓨팅 디바이스를 도시한다.
도 5는, 다양한 실시예들에 따라서, 본 개시내용의 양상들을 포함하는, 프로그래밍 명령어들을 갖는 제조 물품을 도시한다.

사용자 경험들을 캡처하고 생성하는 장치 및 방법들의 실시예들이 본 명세서에 설명된다. 실시예들에서, 사용자 경험들을 캡처하고 생성하는 장치는, 프로세서; 프로세서와 연결되어, 하나 이상의 디바이스들에 부착되는 복수의 센서들에 의해 수집되는 센서 데이터를 저장하기 위한 데이터 스토리지 모듈; 및 데이터 스토리지 모듈과 연결되어, 센서 데이터의 일부에 적어도 부분적으로 기초하여 사용자를 위해 사용자 경험의 적어도 일부를 재생성할 수 있도록, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 센서 데이터의 적어도 일부를 사용자 경험과 연관시키는 경험 상관 모듈을 포함할 수 있다. 일 예로서, 결혼한 부부가 그들의 결혼 기념일에 그들의 결혼 사진들을 보고있을 때, 그들의 사진 보기 경험을 향상시키기 위해 적절한 시간에 그들의 결혼식 중 캡처된 관련 오디오 데이터가 검색되어 그들에게 재생될 수 있다. 본 개시내용의 이들 및 다른 양상들이 이하 보다 충분하게 설명될 것이다.

이하의 상세한 설명에서는, 본 명세서의 일부를 형성하는 첨부 도면들에 대한 참조가 이루어지고, 여기서 유사한 참조 번호들은 그 전체에 걸쳐 유사한 부분들을 지정하며, 실시될 수 있는 실시예들이 도해에 의해 도시된다. 본 개시내용의 범위로부터 벗어나지 않고도, 다른 실시예들이 이용될 수 있으며, 구조적 또는 논리적 변경들이 이루어질 수 있다는 점이 이해되어야 한다. 따라서, 이하의 상세한 설명은 제한적인 의미로 취해져서는 안 되며, 실시예들의 범위는 첨부된 청구항들 및 이들의 균등물에 의해서 정의된다.

다양한 작업들이, 청구 대상을 이해하는 데 가장 도움이 되는 방식으로, 다수의 개별 작용들 또는 작업들로서 차례로 설명될 수 있다. 그러나, 설명의 순서는 이러한 작업들이 반드시 순서 의존적이라는 것을 암시하는 것으로 해석되서는 안 된다. 특히, 이러한 작업들은 제시된 순서로 수행되지 않을 수 있다. 설명된 작업들은 설명된 실시예와 상이한 순서로 수행될 수 있다. 다양한 추가적 작업들이 수행될 수 있고 및/또는 설명된 작업들이 추가적 실시예들에서 생략될 수 있다.

본 개시내용의 목적을 위해, "A 및/또는 B"라는 문구는 (A), (B), 또는 (A 및 B)를 의미한다. 본 개시내용의 목적을 위해, "A, B, 및/또는 C"라는 문구는 (A), (B), (C), (A 및 B), (A 및 C), (B 및 C), 또는 (A, B 및 C)를 의미한다. 본 개시내용이 "일(a)" 또는 "제1(a first)" 엘리먼트 또는 그 등가물을 언급하는 경우, 이러한 개시내용은 하나 이상의 이러한 엘리먼트들을 포함하며, 2개 이상의 이러한 엘리먼트를 요구하지도 않고 배제하지도 않는다. 더욱이, 식별된 엘리먼트들에 대한 서수 표시자들(예를 들어, 제1, 제2 또는 제3)은 엘리먼트들을 구분하는 데 사용되고, 달리 구체적으로 언급하지 않는 한, 요구된 또는 제한된 수의 이러한 엘리먼트들을 표시하거나 또는 암시하는 것은 아니며, 이러한 엘리먼트들의 특정의 위치 또는 순서를 표시하는 것도 아니다.

설명에서, 일 실시예 또는 실시예에 대한 참조는, 그 실시예와 관련하여 설명되는 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 점을 의미한다. 이 설명은 "일 실시예에서", "실시예에서", "다른 실시예에서", "실시예들에서", "다양한 실시예들에서" 등의 문구들을 사용할 수 있는데, 이는 각각 동일하거나 또는 상이한 실시예들 중 하나 이상을 참조할 수 있다. 더욱이, 본 개시내용의 실시예들에 대해 사용되는 바와 같이, "포함하는(comprising)", "포함하는(including)", "갖는(having)" 등의 용어들은 동의어들이다.

실시예들에서, "모듈"이라는 용어는, 설명된 기능성을 제공하는 하나 이상의 소프트웨어 또는 펌웨어 프로그램들을 실행하는 ASIC(application specific integrated circuit), 전자 회로, (공유된, 전용의, 또는 그룹) 프로세서 및/또는 (공유된, 전용의, 또는 그룹) 메모리, 조합형 논리 회로 및/또는 설명된 기능성을 제공하는 다른 적합한 컴포넌트들을 지칭할 수 있거나, 그 일부일 수 있거나, 또는 이를 포함할 수 있다. 실시예들에서, 모듈은, 펌웨어, 하드웨어, 소프트웨어, 또는 펌웨어, 하드웨어, 및 소프트웨어의 임의의 조합으로 구현될 수 있다. 실시예들에서, "인터페이스"라는 용어는, 컴퓨터 모니터, 네트워킹 디바이스, 카메라, 센서 등과 같은 주변 기기들을 포함하여, 소프트웨어 또는 컴퓨터 하드웨어와의 상호작용의 포인트를 지칭할 수 있다.

실시예들에서, 본 개시내용의 목적을 위해, "사용자 경험"이라는 문구는 사용자에 의한 이벤트에서의 관찰 또는 참여의 내용을 의미한다. 본 개시내용의 목적을 위해, "컨텍스트(context)"라는 문구는 사용자 경험의 배경을 특징화하는데 사용될 수 있는 임의의 정보를 의미한다.

이제 도 1을 참조하면, 다양한 실시예들에 따라서, 사용자 경험들을 캡처하고 생성하는 장치의 예시적인 구현이 도시된다. 실시예들에서, 장치(100)는, 모바일 디바이스일 수 있거나, 또는 다양한 센서들을 갖춘 하나 이상의 모바일 디바이스들과 연결될 수 있다. 실시예들에서, 장치(100)는 다양한 센서들을 갖춘 다양한 웨어러블(wearable), 모바일(mobile), 또는 고정형(stationary) 디바이스들에 분산된 다양한 컴포넌트들 또는 서브시스템들을 갖는 분산형 시스템일 수 있다. 실시예들에서, 장치(100)는, 예를 들어, 사용자 주위의 특정 순간에 대한 또는 그 사용자의 환경적 정보, 컨텍스트 정보, 생리학적 정보 등인 광범위한 정보를 캡처할 수 있는 다양한 센서들을 갖춘 웨어러블 디바이스일 수 있거나, 또는 이런 것들을 갖춘 하나 이상의 웨어러블 디바이스들과 연결될 수 있다. 더욱이, 장치(100)는 사용자를 위해 경험들을 생성하거나 재생성하는데 있어서 센서 데이터 및 다른 정보를 이용할 수 있다.

실시예들에서, 장치(100)는 센서 데이터를 수신하거나 또는 송신하기 위해 다양한 센서들과 또는 센서들을 갖는 디바이스들과 통신하도록 구성되는 센서 인터페이스(110)를 포함할 수 있다. 장치(100)는 장치(100)로부터의 외부 엔티티들 및 내부 컴포넌트들에 대한 액세스 및 장치(100)에 대한 액세스를 관리하도록 구성되는 액세스 제어 모듈(120)을 포함할 수 있다. 장치(100)는 센서 데이터의 컨텍스트 정보 및/또는 메타데이터를 관리하도록 구성되는 컨텍스트 처리 모듈(130)을 포함할 수 있다. 장치(100)는 데이터 스토리지를 관리하도록 구성되는 데이터 스토리지 모듈(140)을 포함할 수 있다. 또한, 장치(100)는 센서 데이터와 사용자 경험들 사이의 관련성을 관리하도록 구성되는 경험 상관 모듈(150)을 포함할 수 있다. 더욱이, 장치(100)는 사용자를 위해 경험의 생성 또는 재생성을 관리하도록 구성되는 경험 생성 모듈(160)을 포함할 수 있다.

실시예들에서, 센서 인터페이스(110)는 센서 데이터를 수신하거나 또는 송신하기 위해 다양한 센서들과 또는 다양한 센서들을 갖는 디바이스들과 통신하는데 사용될 수 있도록 구성될 수 있다. 센서 인터페이스(110)는, 이에 제한되는 것은 아니지만, I²C 버스, USB(universal serial bus), Bluetooth^® 등을 포함하는 광범위한 범위의 유선 또는 무선 인터페이스들을 나타내려는 의도이다. 센서 인터페이스(110)는, 이에 제한되는 것은 아니지만, 시간을 기록하는 시계들, 지리적 위치들을 기록하는 위치지정 디바이스들, 속도 및 가속도 정보를 기록하는 모션 디바이스들, 이미지들을 기록하는 카메라들, 사운드 및/또는 비디오를 기록하는 오디오 및/또는 비디오 레코더들, 심박수를 측정하는 전기 맥박 레코더들, 두피를 따르는 전기 액티비티성을 기록하는 EEG(electroencephalography) 디바이스들, 기능적 신경촬영의 목적을 위한 fNIR 또는 fNIRS(functional near-infrared spectroscopy), 냄새 또는 향기를 검출하는 전자 코들 등을 포함하는, 다수의 웨어러블 디바이스들 또는 고정형 디바이스들과 같은, 다수의 디바이스들에 분산되는, 센서들의 어레이와 통신하는데 또한 사용될 수 있다. 센서들을 갖는 디바이스들의 전술한 예들은 센서 인터페이스(100)와 상호작용하기 위한 잠재적인 바탕이 되는 센서들 또는 기술들을 단지 나타낼 뿐이라는 점을 인식하면, 다른 실시예들에서는, 상이한 센서들 또는 기술들이 또한 사용될 수 있다. 실시예들에서, 센서 인터페이스(110)는, 다양한 센서들로부터 수신되는 센서 데이터를 이용하여, 다른 타입들의 센서들을 선택적으로 작동시키고, 일부 센서들에 대해 작업들을 시작하거나, 중단하거나 또는 중지하기 위해서, 또는 다른 센서들의 감도를 조절하기 위해서와 같이, 다양한 센서 관련된 작업들을 명령하도록 구성될 수 있다.

실시예들에서, 센서 인터페이스(110)는, 눈 착용류(eyewear), 귀 착용류(earwear), 코 착용류(nosewear), 머리 착용류(headwear), 몸 착용류(bodywear), 손 착용류(handwear), 다리 착용류(legwear), 발 착용류(footwear) 등과 같이, 머리부터 발끝까지의 범위에 이르는, 센서가 풍부한 의류와 상호작용하도록 구성될 수 있다. 위에 설명된 의류의 물품(article)은 하나 이상의 센서를 갖출 수 있다. 일부 실시예들에서는, 센서들이 범용 애플리케이션 프로세서 및 일부 스토리지로 구성될 수 있고; 다른 실시예들에서, 센서들은 다른 것이 수집하기 위한 데이터를 분출하기만 하는 센서들과 같이, 스토리지 또는 계산 기능성이 거의 없거나 전혀 없이 구성될 수 있다. 실시예들에서, 다양한 센서들은 센서 인터페이스(110)를 통해 장치(100)에 예를 들어, 환경적 정보, 컨텍스트 정보, 사용자의 또는 사용자에 대한 생리학적 정보인 광범위한 범위의 정보를 제공할 수 있다. 일 예로서, 센서가 풍부한 의류의 물품은, 사용자의 위치, 사용자의 여행 경로, 사용자의 모션 특성들뿐만 아니라, 사용자의 심박수, 상이한 신체 부위들에서의 온도, 심지어 주변 온도, 풍속, 습도, UV 지수, 냄새, 사용자의 환경의 공기의 화학적 조성을 캡처할 수 있다. 따라서, 센서가 풍부한 의류는 사용자가 삶에서 경험하고 있는 것의 많은 양상들을 사용자가 캡처하는데 도움을 줄 수 있다.

실시예들에서, 액세스 제어 모듈(120)은 장치(100)로부터의 외부 엔티티들 및 내부 컴포넌트들에 대한 액세스 및 장치(100)에 대한 액세스를 관리하도록 구성되어 사용될 수 있다. 실시예들에서, 액세스의 레벨은 디바이스 레벨에서 관리될 수 있다. 일 예로서, 예를 들어, 비디오 카메라인, 승인된 외부 엔티티들만이, 그 비디오 카메라에 의해 캡처된 비디오 장면을 제공하기 위해, 또는 그 비디오 카메라에 디스플레이될 비디오 데이터를 검색하기 위해서와 같이, 장치(100)를 액세스할 수 있다. 실시예들에서, 액세스의 레벨은 또한 데이터 레벨에서 관리될 수 있다. 일 예로서, 장치(100)의 사용자는 애드-혹(ad-hoc) 기반의 환경에서 센서 데이터를 다른 사용자 또는 다른 디바이스들과 공유할 필요가 있을 수 있다. 예를 들어, 장치(100)는 그들의 사용자 경험들을 풍부하게 하기 위해 가까운 낯선 사람들로부터, 또는 보안성 목적을 위해 공원에서 카메라들로부터 비디오 데이터에 대한 요청들을 수신할 수 있다(예를 들어, 사용자 카메라로부터 상이한 앵글들(angles)을 얻는다). 이렇게 함으로써, 장치(100)로부터 전송된 데이터는 이러한 무관한(unaffiliated) 디바이스의 액세스 레벨에 기초하여 임의의 개인 정보(예를 들어, 마이크로폰 어레이들을 사용하여 기록된 대화들)를 제거하기 위해 먼저 필터링될 수 있다.

실시예들에서, 액세스의 레벨은 사용자 레벨에서 관리될 수 있다. 일 예로서, 액세스 제어 모듈(120)은 데이터를 서로 공유하기 위해 한 사용자의 2개의 웨어러블 디바이스들을 인에이블하거나 또는 디스에이블하도록 구성될 수 있다. 다른 예로서, 액세스 제어 모듈(120)은 한 웨어러블 디바이스로부터 다른 것으로 그들의 각 소유자들의 동의에 기초하여 센서 데이터의 전송을 인에이블하거나 또는 디스에이블하도록 구성될 수 있다. 또 다른 예로서, 개별 착용자들이 승인될 수 있고, 또한 그들의 수집된 데이터가 분리되어 착용자에 대해 사적인 것으로서 유지될 수 있도록, 센서가 풍부한 의류에 의해 캡처되는 센서 데이터에 대한 액세스를 적절히 제어함으로써 사생활 침해 없이 센서가 풍부한 의류가 공유될 수 있게 하도록 액세스 제어 모듈(120)이 구성될 수 있다.

실시예들에서, 센서가 풍부한 의류의 착용자에 대한 고유 ID(identification)는 착용자를 식별하기 위해 생성될 수 있다. 이러한 종류의 고유 식별자는 센서가 풍부한 의류에 의해 수집되는 개인 데이터를 보호하는데 사용될 수 있다. 이러한 방식으로, 친구들 및 형제자매들은 강건한 의류 기부 및 재판매 산업(예를 들어, Goodwill®, eBay® 등)이 센서가 풍부한 의류로 가득찬 세계에서 계속 기능할 것이라는 점을 보장하는 것은 물론이고 자유롭게 의류를 공유할 수 있다.

실시예들에서, 사용자의 고유한 신체적 또는 생리학적 특성들은 센서가 풍부한 의류의 물품의 착용자를 고유하게 식별하는데 사용될 수 있다. 어떠한 2명의 인간도 동일하지는 않다. 사용자의 고유한 신체적 또는 생리학적 특성들은, 이에 제한되는 것은 아니지만, 어깨 넓이, 팔 길이, 근육 탄력, 정맥 시그니처, 움직임의 스타일(즉, 걸음걸이), 의류를 착용하는 방법, 허리 형태, 족압도(foot pressure map), 족궁(foot arch), 몸무게, 체취 등 또는 이들의 임의의 조합을 포함할 수 있다. 이러한 특성들은, 고유 ID를 생성하기 위해 측정될 수 있고, 사용자들을 인증하여 사용자의 적절한 액세스 레벨을 결정하기 위해 액세스 제어 모듈(120)에 의해 사용될 수 있다.

실시예들에서, 사용자로부터 수집된 데이터(예를 들어, 사용자의 심박수 등)는 센서 데이터를 식별하고 구별하기 위해 착용자의 고유 ID로 태그될(tagged) 수 있다. 실시예들에서, 사용자에 대해 수집된 데이터는 또한 데이터를 보호하기에 적합한 임의의 암호화 알고리즘들에 의해 착용자의 고유 ID로 암호화될 수 있다. 일 예로서, 착용자의 고유 ID는, 센서 데이터의 시딩된 해시(seeded hash)에 사용될 수 있거나 또는 키로서 센서 데이터를 서명하는데 사용될 수 있다. 실시예들에서, 센서가 풍부한 의류의 물품이 상이한 사용자들에 의해 공유되면, 이러한 인식으로, 장치(100)는 사용 시나리오에 의존하여 상이하게 응답할 수 있다. 일 예로서, 장치(100)는, 사용 시나리오에 의존하여, 센서가 풍부한 의류의 물품이, 이전 사용자들의 모든 저장된 데이터를 분출(flush)할 것, 분출 이전의 가변 시간 동안의 이전 센서 데이터를 저장할 것, 새로운 데이터를 수집하기를 거절할 것 등을 요청할 수 있거나 또는 명령할 수 있다. 실시예들에서, 장치(100)에 의해 취해지는 응답 또는 작용은 그것의 사용자에 의해 구성될 수 있다.

실시예들에서, 컨텍스트 처리 모듈(130)은 센서 데이터의 컨텍스트 정보 및/또는 메타데이터를 관리하도록 구성될 수 있고 장치(100)에 의해 사용될 수 있다. 컨텍스트 처리 모듈(130)은 사용자 경험을 특징화하는데 있어서 객관적(예를 들어, 상황의 위치 또는 시간과 같은, 상황을 인지하기 위한 센서들을 사용함) 및 주관적(예를 들어, 맥박, 호흡 속도, ERG 등의 변화와 같은, 상황에 대한 측정된 사용자 응답) 컨텍스트 정보 양자 모두의 취득을 위해 구성되어 사용될 수 있다. 컨텍스트 처리 모듈(130)은 사용자 경험에 관한 상황들/액티비티들/이벤트들의 추상화, 인식, 또는 이해를 위해 구성되어 사용될 수 있다. 일 예로서, 컨텍스트 처리 모듈(130)은 상황들의 이해를 용이하게 하기 위해 대상 및 사람 인식 서브시스템을 포함할 수 있거나 또는 이에 접속될 수 있다. 다른 예로서, 컨텍스트 처리 모듈(130)은 사용자의 경험과 관련된 상황들의 추상화를 용이하게 하기 위해 사용자 상태들(예를 들어, 이완됨, 흥분됨 등)을 결정하는 지각(perceptual) 컴퓨팅 알고리즘들을 포함할 수 있다.

실시예들에서, 컨텍스트 처리 모듈(130)은 사용자의 관련 정보를 통해 상황의 컨텍스트를 결정하도록 구성될 수 있다. 일 예로서, 컨텍스트 처리 모듈(130)은 사용자가 사용자의 캘린더 정보에 적어도 부분적으로 기초하여 회의 중에 있다는 것을 결정할 수 있다. 다른 사용자처럼, 컨텍스트 처리 모듈(130)은 사용자의 의학적 정보 및/또는 사용자 체온의 이력 데이터에 기초하여 밤에 사용자의 낮은 열병의 연대기는 정상이라고 결정할 수 있다. 실시예들에서, 컨텍스트 처리 모듈(130)은 인터넷을 검색하는 것 또는 파고들어가는 것(mining)에 의해 상황의 컨텍스트를 결정할 수 있다. 일 예로서, 센서 데이터는 사용자가 장시간 동안 고속도로의 중앙에 있었다는 것을 표시할 수 있다. 컨텍스트 처리 모듈(130)은 아마 교통 혼잡의 증상으로서 이것을 결론지을 수 있다. 더욱이, 컨텍스트 처리 모듈(130)은, 인터넷을 검색할 수 있고, 추정된 교통 혼잡의 가능성 있는 원인이 동창회 축구 게임라고 결정할 수 있다. 이러한 외부 정보는 그리고 나서 사용자의 경험을 특징화하는데 있어서 컨텍스트 정보의 일부로서 취득될 수 있다.

실시예들에서, 컨텍스트 처리 모듈(130)은, 예를 들어, 메타데이터로서, 컨텍스트 정보로 센서 데이터를 태그하거나 마크하도록 구성될 수 있다. 일 예로서, 센서 데이터는 위치 및 타임 스탬프 정보로 태그될 수 있다. 다른 예로서, 센서 데이터는 세그먼트화되어 그들의 각각의 콘텐츠를 요약하거나 또는 설명함에 있어서 관념적 세그먼트 제목들로 태그될 수 있다. 예를 들어, 데이터의 세그먼트는 "뉴욕시의 센트럴 파크에서의 데이트 경험" 또는 "하와이, 호놀룰루에서의 직업 경험"으로서 태그될 수 있다.

실시예들에서, 컨텍스트 처리 모듈(130)은 인식된 컨텍스트에 기초하여 자신의 거동을 조절하게 장치(100)를 트리거하도록 구성될 수 있다. 일 예로서, 장치(100)는, 컨텍스트에 기초하여, 사용자 인터페이스들을 적응시키도록, 사용자 상호작용을 암시적이게 하도록, 수신된 센서 데이터를 조정하도록, 또는 컨텍스트에 기초하는 다른 작용을 트리거하도록 응답할 수 있다.

실시예들에서, 데이터 스토리지 모듈(140)은, 예를 들어, 센서 데이터를 저장하고, 검색하고, 쿼리하고, 조작하기 위해, 데이터 스토리지를 관리하는데 장치(100)에 의해 사용되도록 구성될 수 있다. 데이터 스토리지 모듈(140)은, 데이터베이스들의 정의, 생성, 쿼링, 업데이트, 및 관리를 허용하는 하나 이상의 DBMS들(database management systems)과 연결될 수 있다. 데이터 스토리지 모듈(140)은, SQL(structured query language), ODBC(open database connectivity), JDBC(Java database connectivity), 또는 하나보다 많은 데이터베이스와 함께 작업하기 위한 임의의 다른 데이터베이스 표준과 같은, 데이터베이스 표준들 중 임의의 것을 사용할 수 있다. 데이터 스토리지 모듈(140)은 장치(100)에 국부적으로 또는 원격 디바이스에 원격으로 센서 데이터를 저장하도록 구성될 수 있다.

실시예들에서, 경험 상관 모듈(150)은 센서 데이터와 사용자 경험들 사이의 관련성을 관리하도록 구성될 수 있고 장치(100)에 의해 사용될 수 있다. 실시예들에서, 경험 상관 모듈(150)은 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 센서 데이터의 일부 부분들을 사용자의 경험과 연관시킬 수 있다. 일 예로서, 경험 상관 모듈(150)은, 시간, 위치, 사용자들의 생리학적 상태들, 다른 사용자들 또는 특정 사용자들의 존재, 및 다른 요인들을 기초로 하는 규칙에 의해 제한될 수 있는 센서 데이터를 인식할 수 있다.

실시예들에서, 경험 상관 모듈(150)이 구성될 수 있고 새로운 센서 데이터가 장치(100)에 의해 수신될 때 이러한 연관 또는 상관 기능을 수행할 수 있다. 실시예들에서, 경험 상관 모듈(150)은, 센서 데이터가, 예를 들어, 컨텍스트 처리 모듈(130)에 의해, 적절한 컨텍스트 정보로 태그될 때 이러한 연관 또는 상관 기능을 수행할 수 있다. 실시예들에서, 경험 상관 모듈(150)은 경험 생성 모듈(160)로부터의 요청들이 있을 시에 이러한 연관 또는 상관 기능을 수행하도록 구성될 수 있다. 실시예들에서, 센서 데이터의 세그먼트와 사용자 경험 사이에 결정된 관련성은, 예를 들어, 데이터 스토리지 모듈(140)에 의해, 미래 참조를 위해 저장될 수 있다.

실시예들에서, 사용자 경험을 식별하는 규칙들은, 미리 정의될 수 있거나 또는 미리 결정될 수 있고, 위치, 환경적 파라미터, 시간, 사용자, 사용자 명령, 대상, 또는 액티비티 중 적어도 하나의 요인에 기초할 수 있다. 사용자 경험을 정의하기 위한 일부 예시적인 체험적 규칙들은, 관심의 특정 위치에 남아 있는 사용자, 일 기간 동안 동일한 위치에 남아 있는 사용자, 일 위치로부터의 도착 및 출발의 시간, 검출된 특정 사람의 존재, 특정 랜드마크 또는 대상의 존재, 검출된 특정 액티비티 등을 포함할 수 있다.

일부 실시예들에서, 사용자들은, 사용자 경험의 시작 및 종료를 마크하는 것과 같이, 사용자 경험을 구체적으로 정의하기 위해, 장치(100)의 사용자 인터페이스를 통해 명령을 발행한다. 일부 실시예들에서, 사용자들은 센서 데이터를 재검토할 수 있고, 예를 들어, 비디오 기록을 재검토할 수 있고, 특별한 사용자 경험으로서 센서 데이터의 일부 세그먼트들을 구체적으로 마크하거나 관련시킬 수 있다.

실시예들에서, 사용자 경험을 식별하는 규칙들은, 컨텍스트 정보에 적어도 부분적으로 기초하는 바와 같이, 다이나믹하게 생성될 수 있다. 일 예로서, 새로운 사용자 액티비티는, 예를 들어, 컨텍스트 처리 모듈(130)에 의해, 일부 컨텍스트 단서에 기초하여 인식될 수 있다. 예를 들어, 다수의 사람들이 신속히 움직이고 "Kabaddi"라는 단어를 연호하는 새로운 장면이 경험 상관 모듈(150)에 의해 검출될 수 있는 한편, 컨텍스트 처리 모듈(130)은 "Kabaddi"가 남아시아에서 열리는 인기있는 레슬링 스포츠이고, 현재 위치가 뉴 델리에 있다는 단서를 제공할 수 있다. 따라서, "Kabaddi" 경험을 식별하기 위한 새로운 규칙이 이러한 최근에 인식된 액티비티에 기초하여 생성될 수 있다.

실시예들에서, 사용자 경험을 식별하는 규칙은, 예를 들어, 컨텍스트 처리 모듈(130)에 의해, 사용자의 생리학적 판독에 기초할 수 있다. 일 예로서, 경험 상관 모듈(150)은 사용자의 심박수가 변하여 일 기간 동안 주어진 범위들 내에서 유지된다는 것을 검출할 수 있다. 따라서, 심박수 레벨의 기간은 사용자 경험을 제한하기 위한 규칙으로 사용될 수 있다. 다른 예로서, 사용자의 이완 상태는 사용자의 맥박 판독, ERG 판독, 또는 다른 생리학적 판독들의 센서 데이터에 기초하여 컨텍스트 처리 모듈(130)에 의해 검출될 수 있다. 따라서, 사용자의 이완 상태는 이러한 사용자 경험을 정의하기 위한 규칙으로서 사용될 수 있다.

실시예들에서, 경험 생성 모듈(160)은 사용자를 위한 경험들의 생성을 관리하도록 구성될 수 있고 장치(100)에 의해 사용될 수 있다. 일부 실시예들에서, 경험 생성 모듈(160)은, "경험 재생"과 같이, 사용자가 이전에 마주친 경험들을 재생성할 수 있다. 일부 실시예들에서, 경험 생성 모듈(160)은 이전에 다른 사용자들에게 속한 "차용된 경험들(borrowed experience)"에 기초하여 사용자를 위한 경험들을 생성할 수 있다. 일부 실시예들에서, 경험 생성 모듈(160)은 상이한 선행 사용자 경험들로부터 센서 데이터의 조합에 기초하여 새로운 경험들을 생성할 수 있다. 일부 실시예들에서, 사용자 경험들의 생성은 타깃화된 사용자 경험에 관련된 센서 데이터의 부분에 적어도 부분적으로 기초할 수 있다.

실시예들에서, 경험 생성 모듈(160)은 사용자 경험을 생성하기 위한 사용자로부터의 표시를 수신하도록 구성될 수 있다. 사용자 경험은 처음에 그 사용자를 위해 기록될 수 있다. 사용자 경험은 처음에 다른 사용자를 위해 기록될 수 있다. 적어도 그 사용자가 이전에 결코 경험하지 않은 사용자 경험은 새로운 것일 수 있다. 실시예들에서, 사용자로부터의 표시들은 사용자 명령들, 측정된 생리학적 상태들, 컨텍스트 변수들(예를 들어, 위치, 시간, 액티비티, 개체들의 존재) 등을 포함할 수 있다. 일 예로서, 사용자는, 재생을 위해 특정 선행 사용자 경험을 선택할 수 있거나, 생성될 신규 사용자 경험을 요구할 수 있거나, 또는 생성된 사용자 경험이 제공되고 있어야 할 타깃화된 정신 상태를 일반적으로 설명할 수 있다. 다른 예로서, 사용자가 사진 앨범을 브라우징(browsing)할 때, 이러한 브라우징과 관련된 컨텍스트 단서는, 사진들이 취해지는 시간 동안 사용자 경험의 부분을 재생하기를 사용자가 원할 수 있다는 표시가 될 수 있다. 또 다른 예로서, 경험 생성 모듈(160)은 컨텍스트 단서에 기초하여 경험 생성 또는 재생성을 위한 추천을 할 수 있다. 예를 들어, 경험 생성 모듈(160)은, 사용자가 스트레스가 많은 날이었다는 것을 검출한 후, 예를 들어, 완화 상태인, 바람직한 생리학적 조건들을 가능하게 할 것을 추천할 수 있다. 더욱이, 긍정적인 및 부정적인 사용자 반응들이 경험 생성 모듈(160)로부터의 추천들을 결정하는데 사용될 수 있도록, EEG 및 fNIRs 센서들은, 다른 센서 입력들과 함께, 알고리즘들이 인식 상태들을 추정할 수 있게 할 수 있다.

실시예들에서, 저장된 센서 데이터의 적어도 일부는, 예를 들어, 경험 상관 모듈(150)에 의해, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여, 사용자 경험과 상관될 수 있다. 사용자 경험을 식별하는 규칙들은 사용자 경험의 경계를 설정할 수 있다. 사용자 경험을 식별하는 규칙들은, 예를 들어, 센서 데이터가 수신되기 이전에 또는 수신되는 동안, 미리 결정될 수 있다. 사용자 경험을 식별하는 규칙들은, 사용자 경험을 생성하기 위한 사용자로부터의 표시가 수신된 후에, 이러한 표시에 기초하여 또한 다이나믹하게 정의될 수 있다. 실시예들에서, 사용자 경험을 식별하는 규칙은 경험 상관 모듈(150)과 관련하여 앞서 논의된 바와 유사하게 정의될 수 있다.

실시예들에서, 사용자 경험에 상관되는 것으로서 식별되는 센서 데이터의 부분은 센서 데이터의 그 부분에 적어도 부분적으로 기초하여 사용자 경험을 생성하기 위해 하나 이상의 디바이스들에 출력될 수 있다. 실시예들에서, 다양한 디바이스들은, 예를 들어, 공기 조절 디바이스를 통해 온도를 조절하는 것, 가습기들을 통해 습도를 조절하는 것, 화학적 기화기들을 통해 냄새들을 생성하는 것, 또는 심지어 머리에 착용하는 양방향 센서들을 통해 감각들을 촉진하는 것에 의해, 과거에 순간적으로 캡처된 정보에 비교할만한 환경적 및 생리학적 조건을 재생성하는데 사용될 수 있다. 이러한 디바이스들은, 압착(squeezing), 진동, 열, 및 다른 촉각적 출력을 공급할 수 있는, 양방향 센서가 풍부한 의류 또는 의류 기반의 장치들을 포함할 수 있다. 이러한 디바이스들은, 예를 들어, 머리에 장착하는 디스플레이들인 오디오 및 비주얼 디스플레이들을 포함할 수 있다. 이러한 디바이스들은 다양한 종류의 냄새들을 생성하기 위한 후각 출력 서브 시스템들을 포함할 수 있다. 이러한 디바이스들은 즉각적 환경에 대한 오디오 또는 비주얼 효과들의 추가를 포함하는 증강 현실 서브시스템들을 포함할 수 있다.

실시예들에서, 센서가 풍부한 의류 또는 기타 장치들에 의해 캡처되는 광범위한 환경적 및 생리학적 정보는, 앞서 논의된 바와 같이 본래 경험과 상관되는 촉각, 청각, 시각, 및 후각 경험들을 제공할 수 있는, 동일한 의류를 착용하는 동안 및/또는 다양한 출력 디바이스들 사용하는 동안 사용자에 의해 체험된 이전 기억을, 감각 관점으로부터, 재현하는데 사용될 수 있다. 이와 같이, 장치(100)는 많은 상이한 양식들에 사용될 수 있다. 일 예로서, 이것은 향상된 사진 보기에 사용될 수 있으며, 여기서 사진을 보는 사람들(예를 들어, 그들의 결혼 기념일에 그들의 결혼 사진들을 보는 결혼한 부부)은 사진에 의해 캡처된 장면들을 듣고, 보고, 맡고, 느끼고, 다시 체험할 수 있다. 다른 예로서, 그들의 팬들이 역사상 위대한 순간에 그것이 어떠하였는지를 느끼고 감지할 수 있도록, 유명인사들의 경험들이 그들의 팬들에게 판매될 수 있다.

실시예들에서, 경험 생성 모듈(160)은 감지 피드백 루프를 포함하도록 구성될 수 있다. 최근에 생성된 사용자 경험에 대한 사용자 반응들은, 예를 들어, 경험 생성 모듈(160)에 의해 측정될 수 있어서, 이들 출력 디바이스들의 시각, 청각, 촉각, 후각, 또는 미각 출력 중 적어도 하나는, 측정된 사용자 반응들과 센서 데이터의 부분에 의해 나타나는 본래 사용자 반응들 사이의 차이를 감소시키도록 조절될 수 있다. 예를 들어, 그 순간 캡처된 센서 데이터는 사용자 경험을 생성하는데 사용된 센서 데이터와 비교될 수 있고, 그 결과 출력되는 센서 데이터는 이러한 2개의 측정된 사용자 경험들 사이의 갭을 완화하기 위해 이에 따라 확대될 수 있거나 또는 축소될 수 있다.

실시예들에서, 경험 생성 모듈(160)에서의 감지 피드백 루프는 많은 상이한 서브 루프들을 포함할 수 있다. 예를 들어, 비디오 서브 루프는, 가상의 또는 합성의 현실 시각화를 생성하기 위해 머리에 장착된 디스플레이에 비디오 프레임 데이터를 입력하여, 사용자가 타깃화된 방향을 응시하는지를 모니터하는데 사용될 수 있다. 다른 예로서, 냄새 서브 루프는, 냄새 센서 데이터를 부합되는 냄새를 생성하기 위한 후각 출력 장치에 입력하여, 예를 들어, 흥분된 상태를 나타내는 심박수인, 사용자의 비교 생리학적 측정들이 달성되는지를 모니터하는데 사용될 수 있다. 다른 예로서, 오디오 서브 루프는, 부합하는 오디오 출력을 생성하기 위해 오디오 데이터를 스피커들 또는 헤드폰들에 입력하여, 예를 들어, 이완 상태를 나타내는 호흡 속도인, 사용자의 비교 생리학적 측정들이 달성되는지 모니터하는데 사용될 있다. 다른 예로서, 환경 서브 루프는, 유사한 환경 특징들을 재생성하기 위해 날씨 제어 디바이스에 습도 또는 온도 데이터를 입력하여(예를 들어, 서브시스템은 센서가 풍부한 의류의 공기 순환을 제어함), 온도계들, 습도계들, 풍속계 등을 사용하여 모니터하는데 사용될 수 있다. 또 다른 예로서, 액티비티 서브 루프는, 타깃화된 사용자 경험을 달성하기 위해 사용자가 참여할 수 있는 특별한 액티비티(예를 들어, 달리기, 걷기, 먹기 등)를 사용자에게 상기시켜, 그 사용자가 추천된 액티비티들에 실제로 참여되는지 모니터하는데 사용될 수 있다.

실시예들에서, 경험 생성 모듈(160)은 AR(augmented reality) 데이터로 사용자 경험을 보충하도록 구성될 수 있다. 일부 실시예들에서, 경험 생성 모듈(160)은, 예를 들어, 의류 기반의 감지 및 출력 디바이스들인, 출력 디바이스들과 AR 콘텐츠를 조정하기 위해 ARS(augmented reality systems)와 상호작용할 수 있다. 일부 실시예들에서, 경험 생성 모듈(160)은 AR 콘텐츠의 일부로서 컨텍스트 정보를 검색하기 위해 컨텍스트 처리 모듈(130)과 상호작용할 수 있다. 실시예들에서, AR 콘텐츠는 또한 센서 데이터와 유사한 방식으로 다양한 출력 디바이스들에 출력될 수 있다.

실시예들에서, 장치(100)는 도 1에 도시된 바와 상이하게 구현될 수 있다. 일 예로서, 컨텍스트 처리 모듈(130)은 경험 상관 모듈(150)의 통합 서브시스템으로서 구현될 수 있다. 다른 예로서, 경험 생성 모듈(160)은 포괄적 경험 핸들링 모듈을 형성하기 위해 경험 상관 모듈(150)과 조합될 수 있다. 실시예들에서, 도 1에 도시되는 컴포넌트들은 도 1에 도시되지 않은 직접 또는 간접 접속을 가질 수 있. 일 예로서, 경험 상관 모듈(150)은 액세스 제어 모듈(120)뿐만 아니라 컨텍스트 처리 모듈(130)과 직접 접속될 수 있다. 다른 예로서, 센서 인터페이스(110)는 데이터 스토리지 모듈(140)과 직접 접속될 수 있다.

실시예들에서, 장치(100)의 일부 또는 모든 컴포넌트들은 임의 수의 상이한 디바이스들 또는 네트워크들을 가로질러 확산될 수 있다. 장치(100)의 일부 또는 모든 컴포넌트들은 그의 경험들이 캡처되거나 생성되는 사람에 대해 국부적이거나 또는 원격일 수 있다. 실시예들에서, 장치(100)의 일부 또는 모든 컴포넌트들은 다양한 센서들과 직접적으로 또는 간접적으로 통신할 수 있다. 실시예들에서, 장치(100)의 일부 또는 모든 컴포넌들은 임의의 적합한 통신 프로토콜들로 하나 이상의 통신 모듈들(도 1에 도시되지 않음)을 통해 서로 및/또는 다양한 센서들과 통신할 수 있다.

본 개시내용으로 향상되어, 장치는, 예를 들어, 양방향 센서가 풍부한 의류와 같은, 적합한 디바이스들을 통해 장치가 수신 및 출력할 수 있는 센서 데이터에 부분적으로 기초하여, 사용자 경험들을 캡처하고 생성할 수 있다. 본 개시내용으로 향상되어, 장치는 다양한 국부적 또는 원격 센서들로부터의 센서 데이터를 단일화된 사용자 경험으로 단일화할 수 있다. 결과적으로, 사용자는 이러한 장치를 사용하여 사용자 경험들을 기억할 수 있거나, 그 저장된 사용자 경험들을 재생성할 수 있거나, 심지어 신규한 사용자 경험들을 생성할 수 있다. 이제 도 2를 참조하면, 이는, 다양한 실시예들에 따라서, 본 개시내용의 양상들을 포함하는 예시적 장치에 의해 실시될 수 있는, 사용자 경험들을 캡처하고 재생성하는 예시적인 프로세스의 흐름도이다. 프로세스(200)는, 하드웨어(예를 들어, 회로, 전용 로직, 프로그래머블 로직, 마이크로코드 등), 소프트웨어(예를 들어, 하드웨어 시뮬레이션을 수행하기 위해 처리 디바이스에서 실행되는 명령어들), 또는 이들의 조합을 포함하는 처리 로직에 의해 수행될 수 있다. 이러한 처리 로직은 사용자 경험을 식별하는 하나 이상의 규칙들에 기초하여 사용자 경험과 상관되는 센서 데이터에 적어도 부분적으로 기초하여 사용자를 위한 사용자 경험을 생성하거나 또는 재생성하도록 구성될 수 있다. 이와 같이, 프로세스(200)는 본 개시내용의 하나 이상의 실시예들을 구현하기 위해, 예를 들어, 장치(100)인, 컴퓨팅 디바이스에 의해 수행될 수 있다.

실시예들에서, 이러한 프로세스는 블록 210에서 시작할 수 있고, 여기서는 사용자를 위해 사용자 경험을 생성하기 위한 사용자로부터의 표시가, 예를 들어, 경험 생성 모듈(160)에 의해 수신될 수 있다. 도 1과 관련하여 논의된 바와 같이, 실시예들에서, 사용자로부터의 표시들은 사용자 명령들, 측정된 생리학적 상태들, 컨텍스트 변수들(예를 들어, 위치, 시간, 액티비티, 개체들의 존재) 등을 포함할 수 있다. 이하의 예에서, 사용자는 평온한 경치 위치에 있는 동안 존재하였던 정신 상태를 재현하기를 소망할 수 있다. 이러한 경험을 재현하려는 소망은 다수의 방식들로 알려질 수 있다. 이 사용자는 그 위치에서 촬영된 사진들을 보고 있을 수 있고 그 위치와 연관된 경험이 지금 재현되기를 요청할 수 있다. 대안적으로, 시스템은, 비디오 및/또는 오디오 입력을 통해 검출되는 바와 같이, 현재 환경에서 일부 유사도(예를 들어, 사용자가 있었던 하와이에서의 장소)를 검출할 수 있고, 사용자에게 "경험 재생"을 추천으로서 제시할 수 있다.

실시예들에서, 일 표시는, 사용자 경험을 제한함에 있어서 정확한 타임 스탬프들을 사용하는 것과 같이, 타깃화된 사용자 경험을 구체적으로 드러낼 수 있다. 실시예들에서, 일 표시는, 사용자 경험을 제한함에 있어서 마음의 상태(예를 들어, 이완됨)를 사용하는 것과 같이, 타깃화된 사용자 경험을 일반적으로 드러낼 수 있다. 실시예들에서, 사용자로부터의 이러한 표시는, 예를 들어, 도 1에서의 컨텍스트 처리 모듈(130)에 의해, 사용자의 제스처들, 얼굴 표정들, 음성의 톤, 및 많은 다른 양식들에 기초하여, 더욱 해석될 수 있다.

다음으로, 블록 220에서, 수신된 센서 데이터의 적어도 일부는, 예를 들어, 경험 상관 모듈(150)에 의해, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 타깃화된 사용자 경험과 상관될 수 있다. 실시예들에서, 타깃화된 사용자 경험을 식별하는 규칙들은, 미리 정의될 수 있거나 또는 미리 결정될 수 있고, 위치, 환경적 파라미터, 시간, 사용자, 사용자 명령, 대상, 또는 액티비티 중 하나의 요인에 적어도 기초할 수 있다. 실시예들에서, 타깃화된 사용자 경험을 식별하는 규칙들은, 예를 들어 사용자 경험을 생성하기 위한 표시들이 수신될 때 컨텍스트 정보에 적어도 부분적으로 기초하여, 다이나믹하게 생성될 수 있다. 실시예들에서, 경험 상관 모듈(150)은 타깃화된 사용자 경험을 식별하는 규칙에 기초하여 검색 쿼리들을 공식화할 수 있다. 이러한 검색 쿼리들은, 센서 데이터의 메타데이터(예를 들어, 데이터의 소스들), 센서 데이터로 태그된 컨텍스트 정보(예를 들어, 데이터와 관련된 액티비티들), 센서 데이터와 연관된 의미론적 정보(예를 들어, 센서 데이터의 상이한 세그먼트들 사이의 관련성)에 기초하여, 예를 들어, 데이터 스토리지 모듈(140)을 통해, 센서 데이터 상의 검색들을 가능하게 할 수 있다. 따라서, 경험 상관 모듈(150)은 타깃화된 사용자 경험을 식별하는 이러한 규칙들에 기초하여 적절한 센서 데이터를 타깃화된 사용자 경험과 선택적으로 상관시킬 수 있다.

다음에, 블록 230에서, 사용자 경험에 상관되는 것으로서 식별된 센서 데이터의 부분은, 경험 생성 모듈(160)에 의해서 센서 인터페이스(110)를 통해 지시되는 센서 데이터의 부분에 적어도 부분적으로 기초하여 사용자를 위한 사용자 경험을 생성하기 위해 복수의 센서들을 갖는 웨어러블 디바이스에 출력될 수 있다. 앞서 논의된 바와 같이, 웨어러블 디바이스는 타깃화된 사용자 경험과 상관되는 촉각, 청각, 시각, 또는 후각 출력을 제공할 수 있다. 실시예들에서, 웨어러블 디바이스는 센서 데이터의 그 부분을 캡처한 동일한 또는 유사한 디바이스일 수 있다. 실시예들에서, 웨어러블 디바이스는, 열, 촉각, 후각, 청각, 시각, 또는 다른 타입들의 출력을 공급할 수 있는 양방향 센서가 풍부한 의류 또는 의류 기반 장치들을 포함할 수 있다. 실시예들에서, 센서 데이터를 출력하는 방식은 최근에 수신된 센서 데이터로부터의 피드백에 따라서 조절될 수 있다. 예를 들어, 최근에 생성된 사용자 경험에 대한 사용자의 반응들이, 예를 들어, 경험 생성 모듈(160)에 의해, 측정될 수 있어서, 이러한 출력 디바이스들의 시각, 청각, 촉각, 후각, 또는 미각 출력 중 적어도 하나는, 측정된 사용자 반응들과 센서 데이터의 부분에 의해 표시된 본래 사용자 반응들 사이의 차이를 감소시키도록 조절될 수 있다.

도 3을 이제 참조하면, 이는, 다양한 실시예들에 따라서 예시적 장치에 의해 실시될 수 있는, 센서 데이터를 사용자 경험들과 상관시키는 예시적인 프로세스의 흐름도이다. 도시된 바와 같이, 프로세스(300)는 본 개시내용의 하나 이상의 실시예들을 구현하기 위해 장치(100)에 의해 수행될 수 있다. 실시예들에서, 프로세스(300)는 도 2의 블록 220을 참조하여 수행될 수 있다. 실시예들에서, 도 3의 다양한 블록들은, 예를 들어, 센서 데이터의 세그먼트를 사용자 경험과 상관시키기 위해 장치(100)의 특별한 실시예에 따라서, 임의의 적합한 순서로 조합될 수 있거나 또는 배열될 수 있다.

실시예들에서, 이러한 프로세스는 블록 310에서 시작할 수 있고, 여기서 센서들에 의해 수집된 센서 데이터, 및 센서 데이터에 관련되는 컨텍스트 정보는, 예를 들어 데이터 스토리지 모듈(140)에 의해 수신될 수 있거나, 또는, 예를 들어, 경험 상관 모듈(150)에 의해 검색될 수 있다. 이러한 센서 데이터는 센서 인터페이스(110)를 통해 직접 수신될 수 있거나 또는 센서 데이터 제공자를 통해 수신될 수 있다. 이러한 컨텍스트 정보는 센서 데이터를 분석하거나 또는 파고드는 것 또는 데이터베이스 또는 인터넷에서 이를 검색하는 것의 결과물일 수 있다.

다음으로, 블록 320에서, 센서 데이터는, 예를 들어, 컨텍스트 처리 모듈(130)에 의해 컨텍스트 정보로 태그될 수 있다. 실시예들에서, 특별히 설계된 마크업 언어(markup language)는 컨텍스트 정보로 센서 데이터를 태그하는데 사용될 수 있다. 실시예들에서, 계층적 태그들로 특별히 설계된 분류(taxonomy) 또는 관련 태그들로 특별히 설계된 온톨로지(ontology)는 센서 데이터 또는 컨텍스트 정보를 설명하는데 사용될 수 있다. 실시예들에서, 컨텍스트 정보는 센서 데이터와 함께 또는 별도의 위치에 저장될 수 있다. 실시예들에서, 센서 데이터와 컨텍스트 정보 사이의 관련성은 센서 데이터와 함께 저장될 수 있거나 또는 별도의 데이터베이스에 저장될 수 있다. 실시예들에서, 센서 데이터와 컨텍스트 정보 사이의 관련성은, 예를 들어, 컨텍스트 처리 모듈(130) 또는 경험 생성 모듈(160)에 의해, 검색될 수 있다.

다음으로, 블록 330에서, 센서 데이터와 사용자 경험 사이의 관련성은, 예를 들어, 경험 상관 모듈(150)에 의해, 사용자 경험을 식별하는 규칙들 및 컨텍스트 정보에 기초하여 결정될 수 있다. 실시예들에서, 이러한 관련성은 사용자 경험에 관련하여 센서 데이터의 포맷을 설명할 수 있다. 일 예로서, 센서 데이터의 일 세그먼트는 환경의 외부 측정 또는 사용자의 다양한 심리학적 또는 생리학적 양상들의 내부 측정일 수 있다. 다른 예로서, 센서 데이터의 일 세그먼트는 사용자 경험에 관한 오디오, 비디오, 촉각, 또는 후각 형태들일 수 있다. 이러한 관련성은 센서 데이터에 관련되는 컨텍스트 정보로부터 학습될 수 있다.

실시예들에서, 이러한 관련성은 센서 데이터와 사용자 경험 사이의 관련성의 레벨을 설명할 수 있다. 일 예로서, 일부 센서 데이터는, 도시를 관광하기 위한 비디오 데이터와 같이, 사용자 경험을 달성하기 위해 본질적인 것으로 생각될 수 있다. 일부 센서 데이터는, 동일한 여행에서 다른 관광객들에 의해 만들어진 소란과 같이, 사용자 경험을 재생하는데 보충적인 것 또는 옵션의 것으로서 생각될 수 있다.

도 4는 본 개시내용의 실시예들을 실시하는데 적합한 컴퓨팅 디바이스(400)의 일 실시예를 도시한다. 도시된 바와 같이, 컴퓨팅 디바이스(400)는, 하나 이상의 프로세서(들)(410)에, 시스템 메모리(430)에, 불휘발성 메모리(non-volatile memory: NVM)/스토리지(440)에, 및 하나 이상의 주변기기들 인터페이스(450)에 연결되는 시스템 제어 로직(420)을 포함할 수 있다. 다양한 실시예들에서, 하나 이상의 프로세서들(410)은 프로세서 코어를 포함할 수 있다.

실시예들에서, 주변기기들 인터페이스(450)는 도 1과 관련하여 먼저 설명된 센서 인터페이스(110)과 유사한 센서 인터페이스(454)를 포함할 수 있고, 이는 컴퓨팅 디바이스(400)가 도 1과 관련하여 앞서 논의된 바와 같이 다양한 센서들과 통신하는 인터페이스로서 사용될 수 있다. 주변기기들 인터페이스(450) 내의 통신 인터페이스(458)는 컴퓨팅 디바이스(400)가 하나 이상의 네트워크(들)에 걸쳐서 및/또는 임의의 다른 적절한 디바이스와 통신하기 위한 인터페이스를 제공할 수 있다. 통신 인터페이스(458)는, 네트워크 어댑터, 하나 이상의 안테나들, 무선 인터페이스(들) 등과 같은, 임의의 적합한 하드웨어 및/또는 펌웨어를 포함할 수 있다. 다양한 실시예들에서, 통신 인터페이스(458)는 컴퓨팅 디바이스(400)가 NFC(near field communication), 광 통신, 또는 다른 디바이스와 (예를 들어, 중계 없이) 직접 통신하기 위해 다른 유사 기술들을 사용하는 인터페이스를 포함할 수 있다. 다양한 실시예들에서, 통신 인터페이스(458)는, 예를 들어, WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile communications), LTE(Long Term Evolution), Bluetooth®, Zigbee 등과 같은, 무선 통신 기술들과 상호운용(interoperate)할 수 있다.

일부 실시예들에서, 시스템 제어 로직(420)은 프로세서(들)(410)에 대한 및/또는 시스템 제어 로직(420)과 통신하는 임의의 적합한 디바이스 또는 컴포넌트에 대한 임의의 적합한 인터페이스를 제공하기에 적합한 임의의 인터페이스 제어기들을 포함할 수 있다. 시스템 제어 로직(420)은 또한, 사용자에게 그런 것처럼, 정보의 표시를 위해 디스플레이(도시되지 않음)와 상호운용할 수 있다. 다양한 실시예들에서, 디스플레이는, 예를 들어, 액정 디스플레이들, 음극선관 디스플레이들, e-잉크 디스플레이들, 프로젝션 디스플레이들과 같은, 다양한 디스플레이 포맷들 및 형태들 중 하나를 포함할 수 있다. 다양한 실시예들에서, 디스플레이는 터치스크린을 포함할 수 있다.

일부 실시예들에서, 시스템 제어 로직(420)은 시스템 메모리(430)에 대한 인터페이스를 제공하기 위해 하나 이상의 메모리 제어기(들)(도시되지 않음)를 포함할 수 있다. 시스템 메모리(430)는, 예를 들어, 컴퓨팅 디바이스(400)를 위해, 데이터 및/또는 명령어들을 로드하고 저장하는데 사용될 수 있다. 시스템 메모리(430)는, 예를 들어, 적합한 DRAM(dynamic random access memory)과 같은, 임의의 적합한 휘발성 메모리를 포함할 수 있다.

일부 실시예들에서, 시스템 제어 로직(420)은 NVM/스토리지(440) 및 주변기기들 인터페이스(450)에 대한 인터페이스를 제공하기 위해 하나 이상의 I/O(input/output) 제어기(들)(도시되지 않음)를 포함할 수 있다. NVM/스토리지(440)는, 예를 들어, 데이터 및/또는 명령어들을 저장하는데 사용될 수 있다. NVM/스토리지(440)는, 예를 들어, 플래시 메모리와 같은, 임의의 적합한 불휘발성 메모리를 포함할 수 있고, 및/또는, 예를 들어, 하나 이상의 HDD(hard disk drive(s)), 하나 이상의 고체 상태 드라이브(들), 하나 이상의 CD(compact disc) 드라이브(들), 및/또는 하나 이상의 DVD(digital versatile disc) 드라이브(들)와 같은, 임의의 적합한 불휘발성 스토리지 디바이스(들)를 포함할 수 있다. NVM/스토리지(440)는 컴퓨팅 디바이스(400)가 그 상에 설치되는 디바이스의 물리적 부분인 스토리지 리소스를 포함할 수 있거나, 또는 이것은 반드시 컴퓨팅 디바이스(400)의 일부는 아니지만 컴퓨팅 디바이스(400)에 의해 액세스가능할 수 있다. 예를 들어, NVM/스토리지(440)는 통신 인터페이스(458)를 통해 네트워크를 거쳐서 컴퓨팅 디바이스(400)에 의해 액세스될 수 있다.

실시예들에서, 시스템 메모리(430), NVM/스토리지(440), 및 시스템 제어 로직(420)은, 특히, 경험 캡처 및 생성 로직(432)의 일시적 및 영구적 복사본들을 포함할 수 있다. 경험 캡처 및 생성 로직(432)은, 프로세서(들)(410) 중 적어도 하나에 의해 실행될 때, 컴퓨팅 디바이스(400)로 하여금, 이에 제한되는 것은 아니지만, 프로세스들(200 및 300)과 같이, 사용자 경험들을 캡처하고 및 생성/재생성하게 하는 명령어들을 포함할 수 있다. 실시예들에서, 경험 캡처 및 생성 로직(432)은, 프로세서(들)(410) 중 적어도 하나에 의해 실행될 때, 컴퓨팅 디바이스(400)로 하여금, 도 1과 관련하여, 액세스 제어 모듈(120), 컨텍스트 처리 모듈(130), 데이터 스토리지 모듈(140), 경험 상관 모듈(150), 및 경험 생성 모듈(160)과 관련된 다양한 기능들을 수행하게 하는 명령어들을 포함할 수 있다.

일부 실시예들에서, 프로세서(들)(410) 중 적어도 하나는 시스템 제어 로직(420) 및/또는 경험 캡처 및 생성 로직(432)과 함께 패키징될 수 있다. 일부 실시예들에서, 프로세서(들)(410) 중 적어도 하나는 SiP(System in Package)를 형성하도록 시스템 제어 로직(420) 및/또는 경험 캡처 및 생성 로직(432)과 함께 패키징될 수 있다. 일부 실시예들에서, 프로세서(들)(410) 중 적어도 하나는 시스템 제어 로직(420) 및/또는 경험 캡처 및 생성 로직(432)과 동일한 다이 상에 집적될 수 있다. 일부 실시예들에서, 프로세서(들)(410) 중 적어도 하나는 SoC(System on Chip)를 형성하도록 시스템 제어 로직(420) 및/또는 경험 캡처 및 생성 로직(432)과 동일한 다이 상에 집적될 수 있다.

도 1과 관련하여 장치(100)의 어느 모듈들이 컴퓨팅 디바이스(400)에 의해 호스팅되는 지에 의존하여, 프로세서들(410), 시스템 메모리(430) 등의 능력들 및/또는 성능 특성들이 달라질 수 있다. 다양한 구현들에서, 컴퓨팅 디바이스(400)는 본 개시내용의 교시사항들로 향상된, 스마트폰, 태블릿, 모바일 컴퓨팅 디바이스, 웨어러블 컴퓨팅 디바이스 등일 수 있다. 실시예들에서, 도 4에서의 상이한 모듈들의 배치 및/또는 이들이 다른 모듈들과 클러스터되는 방법은 도 4에 도시되는 것과 상이할 수 있다. 일 예로서, 센서 인터페이스(454)는, 경험 캡처 및 생성 로직(432)과 함께, 메모리(430)에 구현될 수 있다. 다른 예로서, 경험 캡처 및 생성 로직(432)에 의해 수행되는 기능들 중 적어도 일부는 다른 곳에 구현될 수 있다. 예를 들어, 액세스 제어 기능들은, 액세스 제어의 처리를 촉진하기 위해 및/또는 보안을 강화하기 위해, 주변기기들 인터페이스(450)에서의 독립적 모듈로서 구현될 수 있거나, 또는 프로세서(들)(410) 내에 직접 내장될 수 있다.

도 5는, 다양한 실시예들에 따라서, 본 개시내용의 양상들을 포함하는, 프로그래밍 명령어들을 갖는 제조 물품(510)을 도시한다. 다양한 실시예들에서, 본 개시내용의 다양한 실시예들을 구현하기 위해 제조 물품이 채택될 수 있다. 도시된 바와 같이, 제조 물품(510)은, 명령어들(530)이 본 명세서에 설명된 프로세스들 중 임의의 것의 실시예들 또는 실시예들의 양상들을 실시하도록 구성되는 컴퓨터 판독가능 비-일시적 저장 매체(520)를 포함할 수 있다. 저장 매체(520)는, 이에 제한되는 것은 아니지만, 플래시 메모리, 다이나믹 랜덤 액세스 메모리, 스태틱 랜덤 액세스 메모리, 광 디스크, 자기 디스크 등을 포함하는, 관련분야에 알려진 광범위한 영구 저장 매체를 나타낼 수 있다. 명령어들(530)은, 장치에 의한 그들의 실행에 응답하여, 장치가 본 명세서에 설명되는 다양한 작업들을 수행하게 할 수 있다. 예를 들어, 저장 매체(520)는, 예를 들어, 장치(100)인, 장치로 하여금, 본 개시내용의 실시예들에 따라서, 도 2의 프로세스(200) 또는 도 3의 프로세스(300)의 사용자 경험들을 캡처 및/또는 재생하는 일부 또는 모든 양상들을 실시하게 하도록 구성되는 명령어들(530)을 포함할 수 있다. 실시예들에서, 컴퓨터 판독가능 저장 매체(520)는 하나 이상의 컴퓨터 판독가능 비-일시적 저장 매체를 포함할 수 있다. 다른 실시예들에서, 컴퓨터 판독가능 저장 매체(520)는, 명령어들(530)로 인코딩되는 신호들과 같이, 일시적일 수 있다.

설명의 목적을 위해 특정 실시예들이 본 명세서에 도시되고 설명되었지만, 동일한 목적을 달성하는 것으로 추정되는 광범위한 대안적 및/또는 등가적 실시예들 또는 구현들이 본 개시내용의 범위로부터 벗어나지 않고도 도시되고 설명된 실시예들을 대체할 수 있다. 본 출원은 본 명세서에 논의되는 실시예들의 임의의 적응물들 또는 변형물들을 커버하는 것으로 의도된다. 예를 들어, 앞서 주목된 바와 같이, 개시내용의 용이한 이해를 위해 위에 설명된 개시내용이 다양한 실시예들을 드러내기 위해 측면에 금속 밴드를 갖는 장치로 주로 설명되었지만, 본 개시내용은 측면에 금속 밴드가 없는 장치로 또한 구현될 수 있다. 따라서, 본 명세서에 설명된 실시예들은 청구항들에 의해서만 제한된다는 점이 명백하게 의도된다.

이하의 문단들은 다양한 실시예들의 예들을 설명한다.

예 1은 사용자 경험들을 캡처하고 생성하는 장치이며, 이는 프로세서; 프로세서와 연결되어, 하나 이상의 디바이스들에 부착되는 복수의 센서들에 의해 수집되는 센서 데이터를 저장하는 데이터 스토리지 모듈; 및 데이터 스토리지 모듈과 연결되어, 센서 데이터의 일부에 적어도 부분적으로 기초하여 사용자를 위해 사용자 경험들의 적어도 일부를 재생성할 수 있도록, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 센서 데이터의 적어도 일부를 사용자 경험과 연관시키는 경험 상관 모듈을 포함할 수 있다.

예 2는 예 1의 대상을 포함할 수 있고, 데이터 스토리지 모듈과 연결되어, 센서 데이터를 컨텍스트 정보로 태그(tag)하는 컨텍스트 처리 모듈을 더 포함할 수 있다.

예 3은 예 1 또는 2의 대상을 포함할 수 있고, 경험 상관 모듈과 연결되어, 센서 데이터의 일부를 사용하여, 시각, 청각, 촉각, 후각, 또는 미각 출력들 중 적어도 하나의 출력의 생성을 통해 사용자를 위해 사용자 경험의 적어도 일부를 재생성하는 경험 재생성 모듈을 더 포함할 수 있다.

예 4는 예 1-3의 대상을 포함할 수 있고, 복수의 센서들은, 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 선택된 센서를 적어도 포함할 수 있다는 점을 더욱 구체화한다. 이러한 장치는 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 선택된 센서와 인터페이스하는 대응 인터페이스를 더 포함할 수 있다.

예 5는 예 1-4의 대상을 포함할 수 있고, 하나 이상의 규칙들 중 적어도 하나의 규칙은 장치의 사용자의 생리학적 판독에 기초할 수 있다는 점을 더욱 구체화한다.

예 6은 예 1-5의 대상을 포함할 수 있고, 하나 이상의 규칙들 중 적어도 하나의 규칙은 위치, 환경적 파라미터, 시간, 사용자, 대상, 또는 액티비티 중 적어도 하나에 기초할 수 있다는 점을 더욱 구체화한다.

예 7은 예 1-6의 대상을 포함할 수 있고, 경험 상관 모듈은 또한 하나 이상의 규칙들 중 적어도 하나의 규칙을 동적으로 생성할 수 있다는 점을 구체화한다.

예 8은 예 1-7의 대상을 포함할 수 있고, 하나 이상의 디바이스들은, 눈 착용류(eyewear), 귀 착용류(earwear), 코 착용류(nosewear), 머리 착용류(headwear), 몸 착용류(bodywear), 손 착용류(handwear), 다리 착용류(legwear), 또는 발 착용류(footwear) 중 적어도 하나를 포함하는 웨어러블 디바이스를 포함할 수 있다는 점을 더욱 구체화한다. 이러한 장치는 눈 착용류, 귀 착용류, 코 착용류, 머리 착용류, 몸 착용류, 손 착용류, 다리 착용류, 또는 발 착용류 중 적어도 하나와 인터페이스하는 대응 인터페이스를 더 포함할 수 있다.

예 9는 예 1-8의 대상을 포함할 수 있고, 사용자를 식별하기 위해 복수의 센서들 중 적어도 하나의 센서에 의해 측정될 수 있는 사용자의 하나 이상의 신체적 특성들에 적어도 부분적으로 기초하여 센서 데이터에 대한 액세스를 제어하도록 구성되는 액세스 제어 모듈을 더 포함할 수 있다.

예 10은 예 1-9의 대상을 포함할 수 있고, 웨어러블 디바이스는 복수의 사용자들 사이에 공유될 수 있고, 사용자를 위해 수집되는 센서 데이터의 일부에 대한 액세스는 액세스 제어 모듈을 통해 사용자에 의해 제어될 수 있다는 점을 더욱 구체화한다.

예 11은 예 10의 대상을 포함할 수 있고, 사용자의 하나 이상의 신체적 특성들은 사용자의 체취, 체형, 체중, 정맥 시그너처, 움직임의 스타일, 또는 족압도 중 적어도 하나 이상을 포함할 수 있다는 점을 더욱 구체화한다.

예 12는 사용자 경험들을 캡처하고 생성하는 방법이며, 이는 컴퓨팅 디바이스에 의해, 사용자를 위해 사용자 경험을 생성하기 위한 표시를 사용자로부터 수신하는 단계; 컴퓨팅 디바이스에 의해, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 수신된 센서 데이터의 적어도 일부를 사용자 경험과 상관시키는 단계; 및 컴퓨팅 디바이스에 의해, 센서 데이터의 일부에 적어도 부분적으로 기초하여, 사용자를 위해 사용자 경험을 재생성하도록, 사용자 경험에 상관된 것으로서 식별되는 센서 데이터의 일부를, 복수의 센서들을 갖는 웨어러블 디바이스에 출력하는 단계를 포함할 수 있다.

예 13은 예 12의 대상을 포함할 수 있고, 컴퓨팅 디바이스에 의해, 센서 데이터를 수신하는 단계를 더 포함할 수 있고, 센서 데이터는 웨어러블 디바이스에 부착되는 복수의 센서들 중 적어도 하나의 센서에 의해 수집된다.

예 14는 예 12 또는 13의 대상을 포함할 수 있고, 컴퓨팅 디바이스에 의해, 사용자 경험을 정의하기 위한 하나 이상의 규칙들을 생성하는 단계를 더 포함할 수 있다.

예 15는 예 12-14의 대상을 포함할 수 있고, 컴퓨팅 디바이스에 의해, 센서 데이터에 관련되는 컨텍스트 정보를 수신하는 단계; 및 컴퓨팅 디바이스에 의해, 센서 데이터를 컨텍스트 정보로 태그하는 단계를 더 포함할 수 있다.

예 16은 예 12-15의 대상을 포함할 수 있고, 상관시키는 단계는 컨텍스트 정보에 적어도 부분적으로 기초하여 센서 데이터의 일부와 사용자 경험 사이의 관계성을 결정하는 단계를 포함할 수 있다는 점을 더욱 구체화한다.

예 17은 예 12-16의 대상을 포함할 수 있고, 출력하는 단계는 웨어러블 디바이스의 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 적어도 하나의 센서에 대한 센서 데이터의 일부를 출력하는 단계를 포함할 수 있다는 점을 더욱 구체화한다.

예 18은 예 12-17의 대상을 포함할 수 있고, 컴퓨팅 디바이스에 의해, 생성된 사용자 경험에 대한 사용자의 반응들을 측정하는 단계; 및 컴퓨팅 디바이스에 의해, 사용자의 측정된 반응들과 센서 데이터의 일부에 의해 표현되는 사용자의 본래 반응들 사이의 차이를 감소시키도록, 웨어러블 디바이스의 시각, 청각, 촉각, 후각, 또는 미각 출력 중 적어도 하나의 출력을 조절하는 단계를 더 포함할 수 있다.

예 19는 예 12-18의 대상을 포함할 수 있고, 컴퓨팅 디바이스에 의해, 사용자의 사용자 경험을 증강 현실 데이터로 보충하기 위한 증강 현실 데이터를 출력하는 단계를 더 포함할 수 있다.

예 20은 장치에 의한 명령어들의 실행에 응답하여, 장치로 하여금 예 12 내지 19 중 어느 한 예의 대상을 실시하게 하도록 구성되는 복수의 명령어들을 저장하는 컴퓨터 판독가능 저장 매체이다. 이러한 저장 매체는 비-일시적일 수 있다.

예 21은 사용자 경험들을 캡처하고 생성하는 장치이며, 이는 사용자를 위해 사용자 경험을 생성하기 위한 표시를 사용자로부터 수신하는 수단; 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 수신된 센서 데이터의 적어도 일부를 사용자 경험과 상관시키는 수단; 및 센서 데이터의 일부에 적어도 부분적으로 기초하여, 사용자를 위해 사용자 경험을 재생성하도록, 사용자 경험에 상관된 것으로서 식별되는 센서 데이터의 일부를, 복수의 센서들을 갖는 웨어러블 디바이스에 출력하는 수단을 포함할 수 있다.

예 22는 예 21의 대상을 포함할 수 있고, 사용자 경험을 정의하기 위한 하나 이상의 규칙들을 생성하는 수단을 더 포함할 수 있다.

예 23은 예 21 또는 22의 대상을 포함할 수 있고, 센서 데이터에 관련되는 컨텍스트 정보를 수신하는 수단; 및 센서 데이터를 컨텍스트 정보로 태그하는 수단을 더 포함할 수 있다.

예 24는 예 23의 대상을 포함할 수 있고, 컨텍스트 정보에 적어도 부분적으로 기초하여 센서 데이터의 일부와 사용자 경험 사이의 관계성을 결정하는 수단을 더 포함할 수 있다.

예 25는 예 21-24의 대상을 포함할 수 있고, 출력하는 수단은 웨어러블 디바이스의 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 적어도 하나의 센서에 대한 센서 데이터의 일부를 출력하는 수단을 포함한다는 점을 더욱 구체화한다.

Claims

장치로서,
프로세서;
상기 프로세서와 연결되어, 발 착용류(footwear)가 상이한 시간에 복수의 착용자들에 의해 착용되어 있는 동안, 상기 발 착용류와 함께 매립된 복수의 센서들에 의해 상이한 시간에 수집된 센서 데이터를 저장하는 데이터 스토리지 모듈 - 수집된 상기 센서 데이터는 착용자들의 환경적 데이터, 컨텍스트 데이터 및 물리적 특징 데이터를 포함하며, 상기 물리적 특징 데이터는 각각의 착용자를 식별하기 위해 적어도 족궁(foot arch) 데이터 및 족압도(foot pressure map) 데이터를 포함하며, 상기 착용자들의 상기 환경적 및 컨텍스트 데이터는 상기 착용자들의 물리적 특징들과 대응하게 연관되어 있음-; 및
상기 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는 상기 착용자들의 물리적 특징 데이터에 적어도 부분적으로 기초하여, 상기 착용자들의 대응하는 환경적 및 컨텍스트 데이터에 대한 후속적인 액세스를 제어하는 액세스 제어 모듈
을 포함하고,
상기 복수의 착용자들 중 제1 착용자가 상기 발 착용류를 착용한 경우, 상기 액세스 제어 모듈은 상기 복수의 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는, 상기 복수의 착용자들의 상기 물리적 특징 데이터에 적어도 부분적으로 기초하여 상기 제1 착용자의 액세스 레벨을 결정하고, 상기 제1 착용자의 상기 액세스 레벨에 기초하여 상기 제1 착용자를 제외한 상기 복수의 착용자들의 상기 센서 데이터의 개인 정보를 필터링하는, 장치.
제1항에 있어서,
상기 데이터 스토리지 모듈과 연결되며, 상기 착용자들을 위한 상기 센서들에 의해 수집된 상기 컨텍스트 데이터에 적어도 부분적으로 기초하여, 상기 착용자들의 상기 센서 데이터를 컨텍스트 정보로 태그(tag)하는 컨텍스트 처리 모듈을 더 포함하는 장치.
제1항에 있어서,
상기 데이터 스토리지 모듈과 연결되고, 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여, 상기 복수의 착용자들 중 상기 제1 착용자의 센서 데이터의 적어도 일부를 상기 제1 착용자의 사용자 경험과 연관시키는 경험 상관 모듈; 및
상기 경험 상관 모듈과 연결되어, 상기 제1 착용자의 센서 데이터의 일부를 사용하여, 시각, 청각, 촉각(haptic), 후각, 또는 미각 출력들 중 적어도 하나의 출력의 생성을 통해 상기 제1 착용자를 위해 상기 사용자 경험의 적어도 일부를 재생성하는 경험 재생성 모듈을 더 포함하는 장치.
제1항에 있어서,
상기 복수의 센서들은, 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 선택된 센서를 적어도 포함하고, 상기 장치는 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 상기 선택된 센서와 인터페이스하는 대응 인터페이스를 더 포함하는 장치.
제3항에 있어서,
상기 하나 이상의 규칙들 중 적어도 하나의 규칙은 상기 제1 착용자의 생리학적 판독에 기초하는 장치.
제3항에 있어서,
상기 하나 이상의 규칙들 중 적어도 하나의 규칙은 위치, 환경적 파라미터, 시간, 상기 제1 착용자, 대상, 또는 액티비티 중 적어도 하나에 기초하는 장치.
제3항에 있어서,
상기 경험 상관 모듈은 또한 상기 하나 이상의 규칙들 중 적어도 하나의 규칙을 동적으로 생성하는 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 장치는 발 착용류와 인터페이스하는 대응 인터페이스를 더 포함하는 장치.
삭제
삭제
삭제
복수의 명령어들을 갖는 적어도 하나의 비일시적 머신 판독가능 저장 매체로서, 상기 복수의 명령어들은, 장치에 의한 상기 복수의 명령어들의 실행에 응답하여, 상기 장치로 하여금:
상이한 시간에 복수의 착용자들에 의해 착용된 발 착용류에 매립된 복수의 센서들에 의해 상이한 시간에 수집된 센서 데이터를 저장하게 하고 -상기 센서 데이터는 착용자들의 환경적 데이터, 컨텍스트 데이터 및 물리적 특징 데이터를 포함하며, 상기 물리적 특징 데이터는 각각의 착용자를 식별하기 위해 적어도 족궁 데이터 및 족압도 데이터를 포함하며, 상기 착용자들의 상기 환경적 및 컨텍스트 데이터는 상기 착용자들의 물리적 특징들과 대응하게 연관됨-,
상기 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는 상기 착용자들의 물리적 특징 데이터에 적어도 부분적으로 기초하여, 상기 착용자들의 센서 데이터에 대한 후속적인 액세스를 제어하게 하고,
상기 복수의 착용자들 중 제1 착용자가 상기 발 착용류를 착용한 경우, 상기 복수의 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는, 상기 복수의 착용자들의 상기 물리적 특징 데이터에 적어도 부분적으로 기초하여 상기 제1 착용자의 액세스 레벨을 결정하고, 상기 제1 착용자의 상기 액세스 레벨에 기초하여 상기 제1 착용자를 제외한 상기 복수의 착용자들의 상기 센서 데이터의 개인 정보를 필터링하게 하는,
적어도 하나의 비일시적 머신 판독가능 저장 매체.
제12항에 있어서, 상기 장치로 하여금 또한,
제1 착용자를 위해 사용자 경험을 생성하기 위한 상기 복수의 착용자들 중 제1 착용자로부터의 표시를 수신하고;
상기 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 상기 제1 착용자의 수신된 센서 데이터의 적어도 일부를 상기 사용자 경험과 상관시키고;
상기 센서 데이터의 일부에 적어도 부분적으로 기초하여, 상기 제1 착용자를 위해 상기 사용자 경험을 재생성하도록, 상기 사용자 경험에 상관된 것으로서 식별되는 상기 제1 착용자의 상기 센서 데이터의 일부를 출력
하게 하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제12항에 있어서,
상기 명령어들은 또한 상기 장치로 하여금, 상기 센서 데이터를 수신하게 하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제13항에 있어서,
상기 명령어들은 또한 상기 장치로 하여금, 상기 사용자 경험을 정의하기 위한 하나 이상의 규칙들을 생성하게 하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제12항에 있어서,
상기 명령어들은 또한 상기 장치로 하여금,
상기 센서 데이터에 관련되는 컨텍스트 정보를 수신하고;
상기 착용자들을 위해 상기 센서들에 의해 수집된 상기 컨텍스트 데이터에 적어도 부분적으로 기초하여 상기 센서 데이터를 컨텍스트 정보로 태그하게 하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제13항에 있어서,
상기 상관시키는 것은 컨텍스트 정보에 적어도 부분적으로 기초하여 상기 제1 착용자의 상기 센서 데이터의 일부와 상기 사용자 경험 사이의 관계성을 결정하는 것을 포함하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제13항에 있어서,
상기 출력하는 것은 웨어러블 디바이스의 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 적어도 하나의 센서에 대한 상기 센서 데이터의 일부를 출력하는 것을 포함하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제13항에 있어서,
상기 명령어들은 또한 상기 장치로 하여금,
상기 생성된 사용자 경험에 대한 상기 제1 착용자의 반응들을 측정하고;
상기 제1 착용자의 측정된 반응들과 상기 제1 착용자의 상기 센서 데이터의 일부에 의해 표현되는 상기 제1 착용자의 본래 반응들 사이의 차이를 감소시키도록, 웨어러블 디바이스의 시각, 청각, 촉각, 후각, 또는 미각 출력 중 적어도 하나의 출력을 조절하게 하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
제13항에 있어서,
상기 명령어들은 또한 상기 장치로 하여금, 상기 제1 착용자의 사용자 경험을 보충하기 위한 증강 현실 데이터를 출력하게 하는, 적어도 하나의 비일시적 머신 판독가능 저장 매체.
방법으로서,
컴퓨팅 디바이스에 의해, 상이한 시간에 복수의 착용자들에 의해 착용된 발 착용류에 매립된 복수의 센서들에 의해 상이한 시간에 수집된 센서 데이터를 저장하는 단계 -상기 센서 데이터는 착용자들의 환경적 데이터, 컨텍스트 데이터 및 물리적 특징 데이터를 포함하며, 상기 물리적 특징 데이터는 각각의 착용자를 식별하기 위해 적어도 족궁 데이터 및 족압도 데이터를 포함하며, 상기 착용자들의 상기 환경적 및 컨텍스트 데이터는 상기 착용자들의 물리적 특징들과 대응하게 연관됨-;
상기 저장하는 단계 이후에, 상기 컴퓨팅 디바이스에 의해, 상기 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는 상기 착용자들의 물리적 특징 데이터에 적어도 부분적으로 기초하여, 상기 착용자들의 대응하는 센서 데이터에 대한 액세스를 제어하는 단계; 및
상기 복수의 착용자들 중 제1 착용자가 상기 발 착용류를 착용한 경우, 상기 컴퓨팅 디바이스에 의해, 상기 복수의 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는, 상기 복수의 착용자들의 상기 물리적 특징 데이터에 적어도 부분적으로 기초하여 상기 제1 착용자의 액세스 레벨을 결정하고, 상기 제1 착용자의 상기 액세스 레벨에 기초하여 상기 제1 착용자를 제외한 상기 복수의 착용자들의 상기 센서 데이터의 개인 정보를 필터링하는 단계
를 포함하는 방법.
제21항에 있어서,
상기 컴퓨팅 디바이스에 의해, 상기 제1 착용자를 위해 사용자 경험을 생성하기 위해 상기 복수의 착용자들 중 상기 제1 착용자로부터의 표시를 수신하는 단계;
상기 컴퓨팅 디바이스에 의해, 상기 사용자 경험을 식별하는 하나 이상의 규칙들에 적어도 부분적으로 기초하여 상기 제1 착용자의 수신된 상기 센서 데이터의 적어도 일부를 상기 사용자 경험과 상관시키는 단계; 및
상기 컴퓨팅 디바이스에 의해, 상기 센서 데이터의 일부에 적어도 부분적으로 기초하여, 상기 제1 착용자를 위해 상기 사용자 경험을 재생성하도록, 상기 사용자 경험에 상관된 것으로서 식별되는 상기 제1 착용자의 상기 센서 데이터의 일부를 출력하는 단계
를 더 포함하는 방법.
제22항에 있어서,
상기 컴퓨팅 디바이스에 의해, 상기 사용자 경험을 정의하기 위한 하나 이상의 규칙들을 생성하는 단계
를 더 포함하는 방법.
제21항에 있어서,
상기 컴퓨팅 디바이스에 의해, 상기 센서 데이터에 관련되는 컨텍스트 정보를 수신하는 단계; 및
상기 착용자들을 위한 상기 센서들에 의해 수집된 상기 컨텍스트 데이터에 적어도 부분적으로 기초하여, 상기 컴퓨팅 디바이스에 의해, 상기 착용자들의 상기 센서 데이터를 상기 컨텍스트 정보로 태그하는 단계
를 더 포함하는 방법.
제24항에 있어서,
상기 컴퓨팅 디바이스에 의해, 상기 컨텍스트 정보에 적어도 부분적으로 기초하여 상기 센서 데이터의 일부와 상기 사용자 경험 사이의 관계성을 결정하는 단계
를 더 포함하는 방법.
제22항에 있어서,
상기 출력하는 단계는 웨어러블 디바이스의 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 적어도 하나의 센서에 대한 상기 센서 데이터의 일부를 출력하는 단계를 포함하는 방법.
발 착용류(footwear)로서,
발 착용류가 상이한 시간에 복수의 착용자들에 의해 착용되어 있는 동안, 상이한 시간에 센서 데이터를 수집하기 위해, 상기 발 착용류와 함께 매립된 복수의 센서들 -수집된 상기 센서 데이터는 착용자들의 환경적 데이터, 컨텍스트 데이터 및 물리적 특징 데이터를 포함하고, 상기 물리적 특징 데이터는 각각의 착용자를 식별하기 위해 적어도 족궁 데이터, 족압도 데이터를 포함하며, 상기 착용자들의 상기 환경적 및 컨텍스트 데이터는 상기 착용자들의 물리적 특징들과 대응하게 연관되어 있음-; 및
상기 착용자들의 상기 컨텍스트 데이터 및 물리적 특징 데이터를 저장하기 위해 컴퓨팅 디바이스에 상기 착용자들의 상기 컨텍스트 데이터 및 물리적 특징 데이터를 전송하도록 상기 센서들에 연결되는 통신 인터페이스 -상기 컴퓨팅 디바이스는 상기 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는 상기 착용자들의 상기 물리적 특징 데이터에 적어도 부분적으로 기초하여 상기 착용자들의 대응하는 환경적 및 컨텍스트 데이터에 대한 후속 액세스를 제어하기 위해 액세스 제어 모듈과 연관됨-
를 포함하고,
상기 복수의 착용자들 중 제1 착용자가 상기 발 착용류를 착용한 경우, 상기 액세스 제어 모듈은 상기 복수의 착용자들의 족궁 데이터 및 족압도 데이터를 포함하는, 상기 복수의 착용자들의 상기 물리적 특징 데이터에 적어도 부분적으로 기초하여 상기 제1 착용자의 액세스 레벨을 결정하고, 상기 제1 착용자의 상기 액세스 레벨에 기초하여 상기 제1 착용자를 제외한 상기 복수의 착용자들의 상기 센서 데이터의 개인 정보를 필터링하는, 발 착용류.
제27항에 있어서,
상기 복수의 센서들은, 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 선택된 센서를 적어도 포함하고, 장치는 시각, 청각, 촉각, 후각, 또는 미각 센서들 중 상기 선택된 센서와 인터페이스하는 대응 인터페이스를 더 포함하는 발 착용류.