KR20150092201A - 사용자 감정을 전자 미디어와 연관시키는 것 - Google Patents

사용자 감정을 전자 미디어와 연관시키는 것 Download PDF

Info

Publication number
KR20150092201A
KR20150092201A KR1020157017146A KR20157017146A KR20150092201A KR 20150092201 A KR20150092201 A KR 20150092201A KR 1020157017146 A KR1020157017146 A KR 1020157017146A KR 20157017146 A KR20157017146 A KR 20157017146A KR 20150092201 A KR20150092201 A KR 20150092201A
Authority
KR
South Korea
Prior art keywords
user
electronic media
associating
detecting
emotions
Prior art date
Application number
KR1020157017146A
Other languages
English (en)
Other versions
KR101789212B1 (ko
Inventor
리차드 오. 팔리
로버트 에스. 타르츠
아니켓 에이. 바르택
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150092201A publication Critical patent/KR20150092201A/ko
Application granted granted Critical
Publication of KR101789212B1 publication Critical patent/KR101789212B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

사용자 감정을 전자 미디어와 연관시키기 위한 시스템들, 방법들, 디바이스들, 및 장치들이 설명된다. 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이(biopotential electrode array) 사이의 접촉이 검출된다. 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터(electrodermal data)가 획득된다. 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 사용자 감정이 도출된다. 그 다음으로, 사용자 감정은 전자 미디어와 연관된다.

Description

사용자 감정을 전자 미디어와 연관시키는 것{ASSOCIATING USER EMOTION WITH ELECTRONIC MEDIA}
[0001] 모바일 디바이스들 및 무선 통신 시스템들은, 음성, 데이터 등과 같은 다양한 유형들의 전자 통신 콘텐츠를 제공하기 위해 폭넓게 전개된다. 전자 형태들의 통신(예를 들어, 이메일, 텍스트 메시지들, 음성메일, 전화 호출(phone call)들, 이미지들, 비디오들, 오디오 레코딩들, 및 웹 페이지들)은 사람들로 하여금 편리하게 다른 사람들과 접촉하고 상호작용하는 것을 가능하게 하였지만, 전자 통신들의 풍요도(richness)는 약화되었다.
[0002] 전자 통신들은 일반적으로, 전자 통신들 그 자체로는, 전송자의 완전한 감정적 상태를 전달하지 않는다. 예를 들어, 연구는, 주어진 메시지에서 적은 양의 감정적 콘텍스트가 단어들(예를 들어, 전자 통신들의 텍스트)에 의해 전달된다고 시사했다. 더 많은 양의 감정적 콘텍스트는 음성의 톤(tone)에 의해 목소리로 전달된다. 훨씬 더 많은 양은 얼굴 표정 및 다른 몸짓들과 같은 비-언어적 통신을 이용하여 표현된다. 전자 통신들과 관련하여, 콘텐츠 생성자 또는 전송자의 감정적 콘텍스트 또는 감정적 상태는 흔히, 수신자에 의해 잘못 해석된다.
[0003] 설명된 특징들은 일반적으로, 사용자 감정을 전자 미디어와 연관시키기 위한 하나 또는 둘 이상의 개선된 시스템들, 방법들, 디바이스들, 및/또는 장치들에 관한 것이다. 예시 방법에 따르면, 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이(biopotential electrode array) 사이의 접촉이 검출된다. 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터(electrodermal data)가 획득된다. 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 사용자 감정이 도출된다. 그 다음으로, 사용자 감정은 전자 미디어와 연관된다.
[0004] 사용자 감정을 전자 미디어와 연관시키기 위한 방법이 설명된다. 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉이 검출될 수 있다. 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터가 획득될 수 있다. 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 사용자 감정이 도출될 수 있고, 사용자 감정은 전자 미디어와 연관될 수 있다.
[0005] 일 실시예에서, 전자 미디어의 캡처링(capturing)이 디바이스에 의해 검출될 수 있다. 디바이스의 사용자와 생체전위 전극 어레이 사이의 접촉은 적어도 부분적으로 캡처링을 검출하는 것에 응답하여 검출될 수 있다. 전자 미디어의 재생(play back)이 디바이스에 의해 검출될 수 있다. 디바이스의 사용자와 생체전위 전극 어레이 사이의 접촉은 적어도 부분적으로 재생을 검출하는 것에 응답하여 검출될 수 있다. 전자 미디어의 프리젠테이션이 디바이스에 의해 검출될 수 있다. 디바이스의 사용자와 생체전위 전극 어레이 사이의 접촉은 적어도 부분적으로 프리젠테이션을 검출하는 것에 응답하여 검출될 수 있다. 또한, 디바이스 상에 설치된 애플리케이션의 활성화가 검출될 수 있다. 디바이스의 사용자와 생체전위 전극 어레이 사이의 접촉은 적어도 부분적으로 활성화를 검출하는 것에 응답하여 검출될 수 있다. 일 예에서, 애플리케이션은 카메라 애플리케이션이다.
[0006] 일 구성에서, 중력에 관한 디바이스의 배향이 검출될 수 있다. 디바이스의 사용자와 생체전위 전극 어레이 사이의 접촉은 적어도 부분적으로 배향을 검출하는 것에 응답하여 검출될 수 있다. 배향은 가로방향 배향(landscape orientation)일 수 있다.
[0007] 일 구성에서, 피부전기 데이터를 획득하는 단계는, 검출된 접촉에 적어도 부분적으로 기초하여, 생체전위 전극 어레이를 동적으로 구성하는 단계, 및 구성된 생체전위 전극 어레이로부터 피부전기 데이터를 획득하는 단계를 포함할 수 있다. 생체전위 전극 어레이를 동적으로 구성하는 단계는, 생체전위 전극 어레이 내에 제 1 활성 전극 영역을 형성하기 위해 적어도 2개의 인접한 전극 타일들을 전기적으로 커플링하는 단계를 포함할 수 있다.
[0008] 일 예에서, 사용자 감정을 도출하는 단계는, 피부전기 데이터를 복수의 감정 상태들 중 하나의 감정 상태와 상관시키는 단계를 포함할 수 있다. 사용자 감정을 전자 미디어와 연관시키는 단계는, 사용자 감정을 전자 미디어의 메타데이터로서 저장하는 단계를 포함할 수 있다. 사용자 감정을 전자 미디어와 연관시키는 단계는, 사용자 감정을 전자 미디어와 연관된 스키마(schema)에 저장하는 단계를 더 포함할 수 있다.
[0009] 일 구성에서, 사용자 감정을 편집(edit)하기 위해, 사용자 인터페이스가 디바이스 상에 프리젠팅될 수 있다. 전자 미디어는 이미지일 수 있다. 전자 미디어는 비디오일 수 있다. 전자 미디어는 오디오 레코딩일 수 있다. 일 예에서, 디바이스는 모바일 폰일 수 있다. 디바이스는 카메라일 수 있다.
[0010] 일 실시예에서, 생체전위 전극 어레이는 적어도 디바이스의 측부 에지 상에, 디바이스의 코너에 포지셔닝된 전극들의 그룹을 포함할 수 있다. 생체전위 전극 어레이는 전극들의 복수의 그룹들을 포함할 수 있고, 각각의 그룹의 전극들은, 디바이스의 4개의 코너들 중 상이한 하나의 코너에 포지셔닝되고, 각각의 그룹의 전극들은 적어도 디바이스의 측부 에지 상에 포지셔닝된다.
[0011] 사용자 감정을 전자 미디어와 연관시키기 위한 디바이스가 또한 설명된다. 디바이스는 프로세서, 및 프로세서와 전자 통신하는 메모리를 포함할 수 있다. 디바이스는 메모리에 저장된 명령들을 더 포함할 수 있다. 명령들은, 프로세서에 의해, 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하고, 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터를 획득하고, 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 사용자 감정을 도출하고, 사용자 감정을 전자 미디어와 연관시키도록 실행가능할 수 있다.
[0012] 사용자 감정을 전자 미디어와 연관시키기 위한 장치가 또한 설명된다. 장치는 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하기 위한 수단, 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터를 획득하기 위한 수단, 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 사용자 감정을 도출하기 위한 수단, 및 사용자 감정을 전자 미디어와 연관시키기 위한 수단을 포함할 수 있다.
[0013] 사용자 감정을 전자 미디어와 연관시키기 위한 컴퓨터 프로그램 물건이 또한 설명된다. 컴퓨터 프로그램 물건은 비-일시적 컴퓨터-판독가능 매체를 포함할 수 있다. 매체는, 프로세서에 의해, 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하고, 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터를 획득하고, 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 사용자 감정을 도출하고, 사용자 감정을 전자 미디어와 연관시키도록 실행가능한 명령들을 저장할 수 있다.
[0014] 설명된 방법들 및 장치들의 적용가능성의 추가의 범주는 다음의 상세한 설명, 청구항들, 및 도면들로부터 명백해질 것이다. 본 설명의 사상 및 범주 내의 다양한 변경들 및 수정들이 당업자들에게 명백해질 것이기 때문에, 상세한 설명 및 특정 예들은 단지 예시로만 주어진다.
[0015] 본 발명의 특성 및 이점들의 추가의 이해는 다음의 도면들을 참조로 하여 실현될 수 있다. 첨부된 도면들에서, 유사한 컴포넌트들 또는 특징부들은 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 유형의 다양한 컴포넌트들은, 참조 라벨 다음의 대시기호 및 유사한 컴포넌트들 사이를 구별하는 제 2 라벨에 의해 구별될 수 있다. 제 1 참조 라벨만이 본 명세서에서 이용되는 경우, 본 설명은 제 2 참조 라벨과 상관없이, 바로 그 제 1 참조 라벨을 갖는 유사한 컴포넌트들 중 임의의 하나의 컴포넌트에 적용가능하다.
[0016] 도 1은 무선 통신 시스템의 예의 블록도이고;
[0017] 도 2는 다양한 실시예들에 따라 사용자 감정을 전자 미디어와 연관시키는 모바일 디바이스의 제 1 예의 블록도이고;
[0018] 도 3은 다양한 실시예들에 따라 사용자 감정을 전자 미디어와 연관시키는 모바일 디바이스의 제 2 예의 블록도이고;
[0019] 도 4는 생체전위 전극 어레이와 통신하는, 피부전기 데이터를 획득하기 위한 획득 모듈의 제 1 예의 블록도이고;
[0020] 도 5는 생체전위 전극 어레이와 통신하는, 피부전기 데이터를 획득하기 위한 획득 모듈의 제 2 예의 블록도이고;
[0021] 도 6은 생체전위 전극 어레이와 통신하는, 피부전기 데이터를 획득하기 위한 획득 모듈의 제 3 예의 블록도이고;
[0022] 도 7은 감정 도출 모듈의 예의 블록도이고;
[0023] 도 8은 감정 연관 모듈의 예의 블록도이고;
[0024] 도 9는 다양한 실시예들에 따라 사용자 감정을 전자 미디어와 연관시키는 모바일 디바이스의 제 3 예의 블록도이고;
[0025] 도 10은 생체전위 전극 어레이의 제 1 예의 블록도이고;
[0026] 도 11은 생체전위 전극 어레이의 제 2 예의 블록도이고;
[0027] 도 12는 생체전위 어레이의 전극 타일들의 예시 수집의 블록도이고;
[0028] 도 13은 생체전위 전극 어레이의 동작 상태를 도시하는 블록도이고;
[0029] 도 14는 사용자 감정을 전자 미디어와 연관시키기 위한 방법의 제 1 예의 흐름도이고;
[0030] 도 15는 디바이스의 사용자와 동적 구성가능 생체전위 전극 어레이 사이의 접촉을 검출하기 위한 예시 방법의 흐름도이고;
[0031] 도 16은 사용자의 피부와 전극 타일들 중 적어도 2개의 전극 타일들 사이의 접촉을 검출하기 위해, 동적 구성가능 생체전위 전극 어레이의 전극 타일들을 폴링(polling)하기 위한 예시 방법의 흐름도이고;
[0032] 도 17은 사용자 감정을 전자 미디어와 연관시키기 위한 방법의 제 2 예의 흐름도이다.
[0033] 사용자 감정을 전자 미디어와 연관시키기 위한 시스템들, 방법들, 디바이스들, 및 장치들이 설명된다.
[0034] 사람이 특정 전자 미디어에 관하여 어떻게 느끼는지에 영향을 미칠 수 있는 다수의 팩터들이 존재한다. 예를 들어, 디지털 사진술(digital photography)에서, 사진사가 사진에 관하여 어떻게 느끼는지에 영향을 미치는 다수의 엘리먼트들이 존재한다. 이러한 팩터들은, 사진의 주제(subject matter)를 뷰잉(view)할 때와 관련된 감정들(예를 들어, "귀여운 아기네(cute baby)"; "나는 이 사람들을 사랑해(I love these people)"), 사진이 찍히는 환경을 경험하는 것과 관련된 감정들(예를 들어, "굉장한 휴가야(this is a great vacation)"; "바위 턱에서 떨어지기 전에 사진을 얼른 찍어야겠어(got to snap the photo quick, before I fall off this ledge)"), 사진의 품질과 관련된 감정들(예를 들어, "조명이 딱 좋군(the lighting is just right)"; "저것은 너무 흐리군(that one is too blurry)"), 또는 다른 사람이 사진을 볼 때 어떻게 반응할까에 관한 생각들(예를 들어, "내 친구에게 얼른 보여주고 싶어(I can't wait to show my friend)"; "이 사실을 알면 내 친구는 울거야(my friend is going to cry when they see this is true)")을 포함할 수 있다. 사진사에 의해 경험되는 감정들은 예를 들어, 행복, 슬픔, 흥분, 두려움, 긍지, 실망 등을 포함할 수 있다. 종종, 사진사의 감정들은, 사진사의 나이, 성향들, 또는 문화와 같은, 사진사의 개인적 특성들에 의해 영향받는다. 사진사가 사진에 관하여 어떻게 느끼는지에 영향을 미치는 많은 바로 그 팩터들은 마찬가지로, 추후의 뷰어(viewer)가 사진에 관하여 어떻게 느끼는지에 영향을 미친다. 그러나, 추후의 뷰어는, 완전히 상이한 세트의 감정들을 경험하고 사진에 관하여 상이한 느낌을 표출할 수 있다. 실제로, 상이한 세트의 조건들 하에서 사진을 뷰잉할 때, 사진사 조차도 상이한 감정들을 경험하고 사진에 관하여 상이한 느낌을 표출할 수 있다.
[0035] 소셜 네트워킹의 출현으로, 사진들 및 다른 유형들의 전자 미디어(예를 들어, 디지털 비디오들)는, 사용자들이 온라인으로 공유하는 중요한 항목들 중 하나가 되었다. 몇몇 사람들에 있어서, 자신들의 친구 집단(circle of friends)에 의해 소셜 네트워킹 사이트에 업로딩된 많은 사진들을 자세히 살펴보는것, 또는 자신들의 사진들을 보관하기로 결정하는 것은, 이들이 시간이 없기 때문에 벅찬 일이다. 사진사 또는 뷰어가 사진과 연관되는 감정을 캡처하는 것은, 사진사 또는 뷰어에게 가장 현저하게 영향을 미친 사진들을 식별하기 위한, 그리고 더 큰 세트의 사진들을 더 용이하게, 뷰잉가능한, 관리가능한, 또는 저장가능한 서브셋으로 다듬기(distilling) 위한 기초를 제공한다. 사진사의 또는 뷰어의 감정을 디지털 사진과 연관시키는 것은 또한, 추후의 뷰어가 자기 자신의 감정을 다른 이들의 감정들과 비교하는 것을 가능하게 한다.
[0036] 디지털 사진은 전자 미디어의 일 예이다. 다른 유형들의 전자 미디어는 예를 들어, 이미지들(사진들은 이미지들의 서브셋임), 비디오들, 및 오디오 레코딩들을 포함한다. 전자 미디어는 카메라, 모바일 폰, 태블릿 컴퓨터, 모바일 뮤직 플레이어, 모바일 게임 제어기, 랩톱 컴퓨터와 같은 모바일 디바이스 상에서, 또는 데스크톱 컴퓨터, 텔레비전 또는 고정 디스플레이 스크린과 같은 고정 디바이스 상에서 캡처, 프리젠팅, 또는 재생될 수 있다.
[0037] 하나 또는 둘 이상의 감정들은, 소셜 네트워킹 또는 파일 분류(file sorting) 이외의 목적들을 위해 전자 미디어와 연관될 수 있다. 예를 들어, 감정은, 미디어 품질을 모니터링하는 목적을 위해, 또는 어떤 유형들의 미디어, 이미지들 또는 메시지들이 사람 또는 사람들에게서 더 강한 감정적 응답을 트리거(trigger)하는지를 결정하는 목적을 위해 전자 미디어와 연관될 수 있다. 어떤 유형들의 미디어, 이미지들 또는 메시지들이 사람마다 더 강한 감정적 응답을 트리거(trigger)하는지를 결정하는 목적을 위해 전자 미디어와 연관되는 경우, 광고주, 뉴스캐스터 또는 다른 미디어 콘텐츠 제공자로 하여금 특정 유형들의 콘텐츠를 뷰어 또는 청취자(listener)에게 지향시키는 것을 가능하게 하는 목적을 위해, 감정이 캡처되어 전자 미디어와 연관될 수 있다.
[0038] 몇몇 실시예들에서, 디바이스의 사용자에 의해 경험된 감정은: 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하고; 사용자의 피부전기 데이터를 획득하고; 피부전기 데이터에 적어도 부분적으로 기초하여 사용자의 감정(즉, "사용자 감정")을 도출하고; 그 다음으로, 사용자 감정을 전자 미디어와 연관시킴으로써, 전자 미디어와 연관될 수 있다. 사용자와 생체전위 전극 어레이 사이의 접촉의 검출은 예를 들어, 전자 미디어의 캡처, 프리젠테이션, 또는 재생 동안 발생될 수 있다. 사용자 감정은, 사용자 감정을 전자 미디어의 메타데이터로서 저장함으로써 또는 사용자 감정을 전자 미디어와 연관된 스키마에 저장함으로써, 전자 미디어와 연관될 수 있다.
[0039] 몇몇 경우들에서, 디바이스의 사용자에 대한 피부전기 데이터는, 구성가능 생체전위 전극 어레이에 의해 획득될 수 있다. 일 예에서, 어레이는, 핸드헬드 전자 통신 디바이스 또는 다른 모바일 디바이스(예를 들어, 모바일 폰 또는 카메라)의 표면과 같은, 디바이스의 표면 영역 상에 임베딩될 수 있다. 어레이는 다수의 전극 타일들(또는 더 넓게는, 다수의 "전극들")을 포함할 수 있다. 전극들은, 디바이스 사용자의 피부전기 데이터를 수집하는 바이오센서들을 포함할 수 있다. 일 구성에서, 전극들(및 전극들의 연관된 바이오센서들)은, 전극들과 사용자의 피부 사이에서 접촉이 검출될 때 데이터를 수집하는 것을 시작하도록 활성화될 수 있다. 전극들은, 전극들과 사용자의 피부 사이의 접촉이 종결된 후에 비활성화될 수 있다. 비활성화된 전극은 피부전기 데이터를 수집하지 않을 수 있다.
[0040] 다수의 활성화된 전극들의 인접한 영역은 단일 전극으로서 기능할 수 있다. 인접한 영역은 활성 전극 영역(AEA)으로 지칭될 수 있다. AEA 내의 전극들은 사용자의 피부전기 데이터를 수집할 수 있다. 어레이는, 어레이를 따라 상이한 포지션들에 로케이팅된 하나 또는 둘 이상의 AEA들을 포함할 수 있다. 예를 들어, 사용자의 피부는 제 1 그룹의 전극들(제 1 AEA를 형성함), 및 별개의 제 2 그룹의 전극들(제 2 AEA를 형성함)과 접촉될 수 있다. 제 1 AEA 및 제 2 AEA는 어레이를 따라 서로 인접하지 않을 수 있다. 부가하여, 제 1 AEA 및 제 2 AEA는 생체전위 전극 어레이 내에 동시적으로 또는 동시적이지 않게 존재할 수 있다.
[0041] 일 구성에서, 어레이의 전극들은, 전극들이 사용자의 피부와 접촉되는지를 결정하기 위해, 또는 접촉이 이미 존재하는 경우에는, 사용자의 피부와 전극들 사이의 접촉이 유지되는지를 결정하기 위해 정례적으로(routinely) 폴링될 수 있다. 전극들의 바이오센서들에 의해 수집된 피부전기 데이터는 사용자의 감정 상태를 결정하기 위해 분석될 수 있다.
[0042] 다음의 설명은 청구항들에서 제시된 범주, 적용가능성 또는 구성의 제한적이지 않은 예들을 제공한다. 본원의 사상 및 범주로부터 벗어남이 없이, 논의된 엘리먼트들의 기능 및 어레인지먼트에서 변경들이 이루어질 수 있다. 다양한 실시예들은, 다양한 절차들 또는 컴포넌트들을 적절하게 생략, 대체, 또는 부가할 수 있다. 예를 들어, 설명된 방법들은, 설명된 순서들과 상이한 순서들로 수행될 수 있고, 다양한 단계들이 부가, 생략, 또는 결합될 수 있다. 또한, 특정 실시예들과 관련하여 설명된 특징들은 다른 실시예들에서 결합될 수 있다.
[0043] 사용자 감정을 전자 미디어와 연관시키기 위한 개시된 시스템들, 방법들 및 장치는, 다양한 유형들의 디바이스들에 의해 캡처, 프리젠팅, 또는 재생된 전자 미디어에 적용될 수 있다. 그러나, 본 기술들은 모바일 디바이스들 상에서 또는 모바일 디바이스들에 의해 캡처, 프리젠팅, 또는 재생되는 전자 미디어에 대한 적용에 특히 적절하다. 모바일 디바이스들은 셀룰러 폰들 및 무선 통신 디바이스들, 이를테면, 스마트 폰들을 포함하지만, PDA(personal digital assistant)들, 태블릿들, 다른 핸드헬드 디바이스들, 넷북들, 또는 노트북 컴퓨터들을 또한 포함할 수 있다.
[0044] 본 명세서에서 설명된 기법들은, 다양한 무선 통신 시스템들, 이를테면, 셀룰러 무선 시스템들, 피어-투-피어 무선 통신들, WLAN(wireless local access network)들, 애드혹 네트워크들, 위성 통신 시스템들 및 다른 시스템들과 통신할 수 있는 모바일 디바이스들에 의해 이용될 수 있다. 용어들 "시스템" 및 "네트워크"는 종종 상호교환가능하게 사용된다. 이러한 무선 통신 시스템들은 무선 시스템에서의 다중 액세스를 위해 여러 가지 무선 통신 기술들, 이를테면, CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), FDMA(Frequency Division Multiple Access), OFDMA(Orthogonal FDMA), SC-FDMA(Single-Carrier FDMA), 및/또는 다른 기술들을 이용할 수 있다. 일반적으로, 무선 통신들은, RAT(Radio Access Technology)로 지칭되는 하나 또는 둘 이상의 무선 통신 기술들의 표준화된 구현에 따라 수행된다. RAT(Radio Access Technology)를 구현하는 무선 통신 시스템 또는 네트워크는 RAN(Radio Access Network)으로 지칭될 수 있다.
[0045] CDMA 기술들을 이용하는 RAT(Radio Access Technology)들의 예들은, CDMA2000, UTRA(Universal Terrestrial Radio Access) 등을 포함한다. CDMA2000은 IS-2000, IS-95, 및 IS-856 표준들을 커버한다. IS-2000 릴리즈 0 및 릴리즈 A는 보통, CDMA2000 1X, 1X 등으로 지칭된다. IS-856(TIA-856)은 보통 CDMA2000 1xEV-DO, HRPD(High Rate Packet Data) 등으로 지칭된다. UTRA는 WCDMA(Wideband CDMA) 및 CDMA의 다른 변형들을 포함한다. TDMA 시스템들의 예들은, GSM(Global System for Mobile Communications)의 다양한 구현들을 포함한다. FDMA 및/또는 OFDMA를 이용하는 RAT(Radio Access Technology)들의 예들은 UMB(Ultra Mobile Broadband), E-UTRA(Evolved UTRA), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, Flash-OFDM 등을 포함한다. UTRA 및 E-UTRA는 UMTS(Universal Mobile Telecommunication System)의 부분이다. 3GPP LTE(Long Term Evolution) 및 LTE-A(LTE-Advanced)는 E-UTRA를 이용하는 UMTS의 새로운 릴리즈들이다. UTRA, E-UTRA, UMTS, LTE, LTE-A, 및 GSM은 "3GPP(3rd Generation Partnership Project)"로 명명된 기구로부터의 문서들에서 설명된다. CDMA2000 및 UMB는 "3GPP2(3rd Generation Partnership Project 2)"로 명명된 기구로부터의 문서들에서 설명된다. 본 명세서에서 설명된 기법들은, 앞서 언급된 시스템들 및 무선 기술들뿐만 아니라 다른 시스템들 및 무선 기술들을 이용하는 디바이스들 상에서 이용될 수 있다.
[0046] 먼저 도 1을 참조하면, 블록도는 무선 통신 시스템(100)의 예를 예시한다. 시스템(100)은 기지국들(105)(또는 셀들), 모바일 디바이스들(115), 기지국 제어기(120), 및 코어 네트워크(125)를 포함한다(제어기(120)는 코어 네트워크(125)에 통합될 수 있음). 시스템(100)은 다수의 캐리어들(상이한 주파수들의 파형 신호들)에 대한 동작을 지원할 수 있다.
[0047] 기지국들(105)은 기지국 안테나(도시되지 않음)를 통해 모바일 디바이스들(115)과 무선으로 통신할 수 있다. 기지국들(105)은 다수의 캐리어들을 통해 기지국 제어기(120)의 제어 하에서 모바일 디바이스들(115)과 통신할 수 있다. 기지국(105) 사이트들 각각은 각각의 지리학적 영역에 대한 통신 커버리지를 제공할 수 있다. 본 명세서에서, 각각의 기지국(105)에 대한 커버리지 영역은 110-a, 110-b, 또는 110-c로서 식별된다. 기지국에 대한 커버리지 영역은 섹터들(도시되지 않았지만, 커버리지 영역의 일부분만이 구성됨)로 분할될 수 있다. 시스템(100)은 상이한 유형들의 기지국들(105)(예를 들어, 매크로, 마이크로, 및/또는 피코 기지국들)을 포함할 수 있다. 상이한 기술들에 대한 오버랩핑하는 커버리지 영역들이 존재할 수 있다.
[0048] 모바일 디바이스들(115)은 커버리지 영역들(110) 전체에 걸쳐 분산될 수 있다. 모바일 디바이스들(115)은 대안적으로, 모바일 스테이션들, 액세스 단말(AT)들, 사용자 장비(UE)들, 가입자 스테이션(SS)들, 또는 가입자 유닛들로 지칭될 수 있다. 모바일 디바이스들(115)은 셀룰러 폰들 및 무선 통신 디바이스들을 포함할 수 있지만, PDA(personal digital assistant)들, 다른 핸드헬드 디바이스들, 넷북들, 노트북 컴퓨터들 등을 또한 포함할 수 있다.
[0049] 기지국들(105)은 모바일 디바이스들(115)의 사용자들이 서로 통신하도록 허용할 수 있다. 예를 들어, 모바일 디바이스(115)는 전자 통신들(예를 들어, 이메일, 텍스트 메시지들, 음성메일 메시지들, 이미지들, 비디오들, 오디오 레코딩들 등)을 다른 모바일 디바이스에 전송할 수 있다. 상이한 모바일 디바이스들(115)의 사용자들은 또한, 자신들의 각각의 디바이스들을 이용하여, 실시간 대화들(즉, 전화 호출들), 웹 브라우징, 미디어 캡처, 및 데이터 공유에 참여할 수 있다. 모바일 디바이스들(115)이 참여하는 활동들 중 몇몇(예를 들어, 웹 브라우징)은, 코어 네트워크를 통해 도달가능한 서버들과의 전자 통신들을 요구할 수 있다.
[0050] 모바일 디바이스들(115)에 의해 캡처된, 수신된, 리트리빙(retrieve)된 또는 전송된 데이터 중 일부는, 이미지들, 비디오들, 오디오 레코딩들, 또는 웹 페이지들과 같은 전자 미디어의 형태를 취할 수 있다. 전자 미디어가 모바일 디바이스들(115) 중 하나 상에서 캡처, 프리젠팅 또는 재생되는 경우, 모바일 디바이스는, 사용자 감정을 전자 미디어와 연관시키기 위해 하나 또는 둘 이상의 프로세스들을 실행시킬 수 있다. 그 다음으로, 사용자 감정이 이미 설명된 그러한 목적들을 비롯한 여러 가지 목적들을 위해 이용 또는 뷰잉되는 경우, 전자 미디어, 및 전자 미디어의 연관된 사용자 감정은, 모바일 디바이스들(115) 중 다른 모바일 디바이스(115) 또는 서버에 전송될 수 있다.
[0051] 이제 도 2를 참조하면, 블록도(200)는, 다양한 실시예들에 따라 사용자 감정을 전자 미디어와 연관시키기 위한 모바일 디바이스(115-a)를 예시한다. 모바일 디바이스(115-a)는 개인용 컴퓨터들(예를 들어, 랩톱 컴퓨터들, 넷북 컴퓨터들, 태블릿 컴퓨터들 등), 모바일 또는 셀룰러 텔레폰들, PDA들, DVR(digital video recorder)들, 인터넷 기기들, 게임 콘솔들, e-리더들 등과 같은 다양한 구성들 중 임의의 구성을 가질 수 있다. 모바일 디바이스(115-a)는, 모바일 동작을 용이하게 하기 위해 소형 배터리와 같은 내부 전원을 가질 수 있다. 몇몇 실시예들에서, 모바일 디바이스(115-a)는 도 1의 모바일 디바이스(115)의 예일 수 있다. 모바일 디바이스(115-a)는 다중-모드 모바일 디바이스일 수 있다.
[0052] 모바일 디바이스(115-a)는 안테나들(205), 트랜시버 모듈(210), 메모리(215), 및 프로세서 모듈(220)을 포함할 수 있고, 이들 각각은 서로 (예를 들어, 하나 또는 둘 이상의 버스들을 통해) 간접적으로 또는 직접적으로 통신할 수 있다. 트랜시버 모듈(210)은, 앞서 설명된 바와 같이, 안테나들(205) 및/또는 하나 또는 둘 이상의 유선 또는 무선 링크들을 통해 하나 또는 둘 이상의 네트워크들과 양방향으로 통신하도록 구성된다. 예를 들어, 트랜시버 모듈(210)은 도 1의 기지국들(105)과 양방향으로 통신하도록 구성될 수 있다. 트랜시버 모듈(210)은, 패킷들을 변조하고 변조된 패킷들을 송신을 위해 안테나들(205)에 제공하고, 안테나들(205)로부터 수신된 패킷들을 복조하도록 구성된 모뎀을 포함할 수 있다. 모바일 디바이스(115-a)가 단일의 안테나를 포함할 수 있지만, 모바일 디바이스(115-a)는 통상적으로 다수의 링크들에 대한 다수의 안테나들(205)을 포함할 것이다.
[0053] 메모리(215)는 RAM(random access memory) 및 ROM(read-only memory)을 포함할 수 있다. 메모리(215)는, 실행될 때, 프로세서 모듈(220)로 하여금 다양한 기능들을 수행하게 하도록 구성되는 명령들을 포함하는 컴퓨터-판독가능 컴퓨터-실행가능 소프트웨어 코드(225)를 저장할 수 있다. 대안적으로, 소프트웨어 코드(225)는, 프로세서 모듈(220)에 의해 직접적으로 실행가능한 것이 아니라, 컴퓨터로 하여금 (예를 들어, 컴파일링 및 실행될 때) 본 명세서에서 설명된 기능들을 수행하게 하도록 구성될 수 있다.
[0054] 프로세서 모듈(220)은 지능형 하드웨어 디바이스, 예를 들어, CPU(central processing unit), 이를테면, Intel® Corporation 또는 AMD®에 의해 제조된 것들, 마이크로제어기, ASIC(application-specific integrated circuit) 등을 포함할 수 있다. 프로세서 모듈(220)은, 마이크로폰을 통해 오디오를 수신하고, 오디오를, 수신된 오디오를 나타내는 패킷들(예를 들어, 30ms 길이)로 변환하고, 오디오 패킷들을 트랜시버 모듈(210)에 제공하고, 사용자가 말하고 있는 중인지의 표시들을 제공하도록 구성된 스피치 인코더(speech encoder)(도시되지 않음)를 포함할 수 있다. 대안적으로, 인코더는 단지 패킷들을 트랜시버 모듈(210)에 제공할 수 있고, 패킷의 제공(provision) 또는 보류(withholding)/억제(suppression) 그 자체가, 사용자가 말하고 있는 중인지의 표시를 제공한다.
[0055] 도 2의 아키텍처에 따르면, 모바일 디바이스(115-a)는 통신 관리 모듈(230)을 더 포함할 수 있다. 통신 관리 모듈(230)은 다른 모바일 디바이스들(115)과의 통신들을 관리할 수 있다. 예로서, 통신 관리 모듈(230)은, 버스를 통해 모바일 디바이스(115-a)의 다른 컴포넌트들 모두 또는 일부와 통신하는 모바일 디바이스(115-a)의 컴포넌트일 수 있다. 대안적으로, 통신 관리 모듈(230)의 기능성은, 트랜시버 모듈(210)의 컴포넌트로서, 컴퓨터 프로그램 물건(예를 들어, 소프트웨어)으로서, 및/또는 프로세서 모듈(220)의 하나 또는 둘 이상의 제어기 엘리먼트들로서 구현될 수 있다.
[0056] 몇몇 실시예들에서, 핸드오버 모듈(235)은, 하나의 기지국(105)으로부터 다른 기지국(105)으로의, 모바일 디바이스(115-a)의 재선택 및 핸드오버 절차들을 수행하기 위해 활용될 수 있다. 예를 들어, 핸드오버 모듈(235)은, 시그널링 캐리어로부터 다른 시그널링 캐리어로, 트래픽 캐리어로부터 다른 트래픽 캐리어로, 그리고 시그널링 캐리어와 트래픽 캐리어 사이에서, 모바일 디바이스(115-a)의 핸드오버 절차를 수행할 수 있다.
[0057] 디바이스(115-a)는 미디어 캡처 모듈(240), 미디어 프리젠테이션 모듈(245), 미디어 재생 모듈(250), 또는 웹 브라우저 모듈(255) 중 하나 또는 둘 이상을 포함할 수 있다. 이러한 모듈들은, 버스를 통해 모바일 디바이스(115-a)의 다른 컴포넌트들 모두 또는 일부와 통신하는 모바일 디바이스(115-a)의 컴포넌트들일 수 있다. 대안적으로, 이러한 모듈들 중 임의의 모듈 또는 모든 모듈들의 기능성은, 트랜시버 모듈(210)의 컴포넌트로서, 컴퓨터 프로그램 물건으로서, 및/또는 프로세서 모듈(220)의 하나 또는 둘 이상의 제어기 엘리먼트들로서 구현될 수 있다.
[0058] 미디어 캡처 모듈(240)은, 예를 들어 모바일 디바이스(115-a) 온-보드인 또는 모바일 디바이스(115-a)와 통신하는 카메라 및/또는 마이크로폰을 이용하여 이미지, 비디오, 또는 오디오 레코딩을 캡처하도록 구성될 수 있다. 미디어 프리젠테이션 모듈(245)은 예를 들어, 모바일 디바이스(115-a)의 스크린 상에 (또는 모바일 디바이스(115-a)에 연결된 스크린 상에) 이미지들, 비디오들, 또는 웹 페이지들을 프리젠팅하도록 구성될 수 있다. 미디어 재생 모듈(250)은 예를 들어, 모바일 디바이스(115-a) 상에 (또는 모바일 디바이스(115-a)에 부착된 스피커들 및/또는 스크린을 통해) 오디오 레코딩들 또는 비디오들을 플레이하도록 구성될 수 있다. 웹 브라우저 모듈(255)은 예를 들어, 웹 페이지 내에 임베딩된(또는 웹 페이지에 링크된) 다양한 유형들의 전자 미디어를 프리젠팅 또는 재생하도록 구성될 수 있다. 몇몇 경우들에서, 미디어 프리젠테이션 모듈(245), 미디어 재생 모듈(250), 또는 웹 브라우저 모듈(255)을 통해 프리젠팅 또는 재생되는 전자 미디어는, 트랜시버 모듈(210) 또는 미디어 캡처 모듈(240)을 통한 캡처에 따라 프리젠팅 또는 재생될 수 있다. 다른 경우들에서, 미디어 프리젠테이션 모듈(245), 미디어 재생 모듈(250), 또는 웹 브라우저 모듈(255)을 통해 재생된 전자 미디어는, 메모리(215) 또는 (예를 들어, 모바일 디바이스(115-a)에 연결된 외부 데이터 저장소를 포함하는) 다른 물리적 데이터 저장소로부터의 리트리벌(retrieval)에 따라 프리젠팅 또는 재생될 수 있다.
[0059] 몇몇 실시예들에서, 디바이스(115-a)는 생체전위 전극 어레이(260)를 포함할 수 있다. 어레이(260)는 디바이스(115-a)의 사용자의 피부전기 데이터를 획득할 수 있다. 몇몇 경우들에서, 생체전위 전극 어레이는, 전극들 또는 전극 타일들의 구성가능 생체전위 어레이이거나 구성가능 생체전위 어레이를 포함할 수 있다. 전극들은 상이한 구성들의 어레이에 그리고 상이한 형상들로 배열될 수 있다. 어레이는 디바이스(115-a)의 표면 영역을 따라 임베딩될 수 있다. 바이오센서들은, 디바이스(115-a)의 사용자와 연관된 피부전기 데이터를 수집하기 위해 전극들과 포함될 수 있다. 사용자의 피부와 접촉되는 전극들은 데이터를 수집하는 것을 시작하도록 활성화될 수 있다. 예를 들어, 사용자가 사용자의 손에 모바일 디바이스(115-a)를 홀딩함에 따라, 사용자의 손, 손가락들 등의 피부와 접촉되는 전극들이 활성화될 수 있다. 활성화된 전극들은 사용자의 피부와의 접촉이 종결된 후에 비활성화될 수 있다. 예를 들어, 사용자가, 자신이 디바이스(115)를 잡는(grip) 포지션을 변경함에 따라, 현재 활성화된 전극들은 비활성화될 수 있고, 현재 비활성화된 전극들이 활성화될 수 있다.
[0060] 감정 프로세싱 모듈(265)은, 미디어 캡처 모듈(240), 미디어 프리젠테이션 모듈(245), 미디어 재생 모듈(250), 웹 브라우저 모듈(255), 및 생체전위 전극 어레이(260)뿐만 아니라, 모바일 디바이스(115-a) 온-보드의 또는 모바일 디바이스(115-a) 외부의 다른 컴포넌트들 및 모듈들 중 다양한 것들과 통신할 수 있다. 감정 프로세싱 모듈(265)은 사용자 감정(예를 들어, 모바일 디바이스(115-a)를 홀딩하는 사용자의 감정)을, 모바일 디바이스(115-a)에 의해 캡처된, 프리젠팅된, 또는 재생된 전자 미디어와 연관시킬 수 있다. 감정 프로세싱 모듈(265)은 버스를 통해 모바일 디바이스(115-a)의 다른 컴포넌트들 모두 또는 일부와 통신하는 모바일 디바이스(115-a)의 컴포넌트일 수 있다. 대안적으로, 감정 프로세싱 모듈(265)의 기능성은, 트랜시버 모듈(210)의 컴포넌트로서, 컴퓨터 프로그램 물건으로서, 및/또는 프로세서 모듈(220)의 하나 또는 둘 이상의 제어기 엘리먼트들로서 구현될 수 있다.
[0061] 도 3은 모바일 디바이스의 다른 예를 예시하는 블록도(300)이다. 모바일 디바이스(115-b)는 도 1 및/또는 도 2의 모바일 디바이스(115)의 예일 수 있다. 일 실시예에서, 모바일 디바이스(115-b)는 생체전위 전극 어레이(260-a), 감정 프로세싱 모듈(265-a), 및 송신기(330)를 포함할 수 있다. 생체전위 전극 어레이(260-a)는 도 2의 생체전위 전극 어레이(260)의 예일 수 있고, 디바이스(115-b)의 사용자의 피부와 디바이스(115-a)의 표면 영역 사이의 접촉과 관련된 신호들을 발생시킬 수 있다. 생체전위 전극 어레이(260-a)는 수신기(305)의 하나의 엘리먼트일 수 있고, 수신기(305)는 기지국들(105) 또는 다른 모바일 디바이스들(115)과 같은 다른 디바이스들로부터 신호들 및 전자 통신들을 수신하기 위한 무선 수신기를 포함할 수 있다. 수신기(305)는 또한 유선 수신기를 포함할 수 있고, 케이블을 통해 (예를 들어, 하나 또는 둘 이상의 액세서리들로부터) 신호들 및 전자 통신들을 수신할 수 있다. 송신기(330)는 무선 송신기를 포함할 수 있고, 신호들 및 전자 통신들을 기지국들(105) 또는 다른 모바일 디바이스들(115)과 같은 다른 디바이스들에 전송할 수 있다. 송신기(330)는 또한 유선 송신기를 포함할 수 있다.
[0062] 감정 프로세싱 모듈(265-a)은 도 2의 감정 프로세싱 모듈(265)의 예일 수 있다. 감정 프로세싱 모듈(265-a)은 검출 모듈(310), 획득 모듈(315), 감정 도출 모듈(320), 및 감정 연관 모듈(325)을 포함할 수 있다. 일 예에서, 검출 모듈(310)은, 사용자의 피부와 생체전위 전극 어레이(260-a) 사이에 충분한 접촉이 존재하는지를 결정하기 위해, 디바이스(115-b)의 사용자와 디바이스(115-b)의 하나 또는 둘 이상의 표면들 상에 통합된 생체전위 전극 어레이 사이의 접촉과 관련된 신호들을 분석할 수 있다. 몇몇 실시예들에서, 이는, 사용자의 피부와 생체전위 전극 어레이(260-a)의 적어도 둘 또는 셋 이상의 전극 타일들 사이에 접촉이 존재하는지를 결정하는 것을 포함할 수 있다.
[0063] 획득 모듈(315)은 생체전위 전극 어레이(260-a)를 통해 디바이스(115-b)의 사용자의 피부전기 데이터를 획득할 수 있다. 획득 모듈(315)의 출력은 예를 들어, 피부 전도도 반응(skin conductance response)(SCR)일 수 있다. SCR은 대상의 에크린 땀샘(eccrine sweat gland)들의 전도도를 나타내고, 대상의 각성(arousal) 상태와 같은, 대상에 관한 유용한 피부전기 데이터를 제공할 수 있다. 대상은, 예를 들어, 감정들, 이를테면, 끌림(attraction), 흥분, 또는 두려움을 경험하는 결과로서 각성될 수 있다. 감정 도출 모듈(320)은 이러한 사용자 감정을 도출하기 위해 획득 모듈(315)의 SCR 또는 다른 출력을 프로세싱할 수 있다. 감정 연관 모듈(325)은 사용자 감정을, 사용자 감정이 도출된 전자 미디어와 연관시킬 수 있다.
[0064] 도 4는, 생체전위 전극 어레이(260-a) 및 검출 모듈(310)과 통신하는 획득 모듈(315-a)의 제 1 예를 예시하는 블록도(400)이다. 획득 모듈(315-a)은 도 3의 획득 모듈(315)의 예일 수 있다. 획득 모듈(315-a)은 동적 구성 모듈(405) 및 수집 모듈(410)을 포함할 수 있다.
[0065] 동적 구성 모듈(405)은 커플링 모듈(415)을 포함할 수 있다. 커플링 모듈(415)은, 사용자의 피부와 접촉되는 것으로 검출되는 생체전위 전극 어레이(260-a)의 전극들을 서로 커플링할 수 있다. 예를 들어, 각각의 전극은 각각의 전자 스위치들로, 인접한 전극들에 연결될 수 있다. 스위치의 예는, FET(field effect transistor)를 포함할 수 있다. 특정 전극 타일과 적어도 하나의 인접한 전극 타일이 피부와 접촉될 때, 이러한 2개의 전극들 사이의 전자 스위치는, 피부의 전기 전도성 성질들로 인해 폐쇄(close)될 수 있고, 따라서, 전극들 사이에 폐회로(closed circuit)를 생성한다. 폐회로는 전극들을 활성화시킬 수 있다. 피부와 접촉되지 않은 전극들 사이의 전자 스위치는 폐쇄되지 않을 수 있고, 개회로(open circuit)로 남겨진다. 이들은 비활성 전극들로 지칭될 수 있다.
[0066] 수집 모듈(410)은 활성화된 전극들로부터 모은 데이터를 수집할 수 있다. 예를 들어, 모듈(410)은 사용자와 연관된 피부전기 데이터(사용자의 "피부전기 데이터"로 또한 지칭됨)를 수집할 수 있다. 이러한 데이터는 전극 타일들과 함께 포함된 바이오센서들을 통해 모아질 수 있다. 결과적으로, 활성인 전극들은 데이터를 수집할 수 있는 반면, 비활성 전극들은 사용자의 피부전기 데이터를 모으는데 참여하지 않을 수 있다. 본 명세서에서 설명된 구성가능 생체전위 전극 어레이 아키텍처는 전기 잡음을 최소화할 수 있는데, 그 이유는 (사용자의 피부와 접촉되지 않는) 비활성인 전극들은 활성적으로 데이터를 수집하지 않기 때문이다.
[0067] 이제 도 5를 참조하면, 블록도(500)는 생체전위 전극 어레이(260-a) 및 검출 모듈(310-a)과 통신하는 획득 모듈(315-b)의 제 2 예를 예시한다. 획득 모듈(315-b)은 도 3 및/또는 도 4의 획득 모듈(315)의 예일 수 있다. 획득 모듈(315-b)은 동적 구성 모듈(405-a) 및 수집 모듈(410)(이전에 설명됨)을 포함할 수 있다. 동적 구성 모듈(405-a)은 커플링 모듈(415-a), 비교 모듈(505) 및 선택 모듈(510)을 포함할 수 있다. 검출 모듈(310-a)은 디바이스(115-b)의 외부 상에 임베딩된 제 1 그룹의 전극 타일들과 디바이스(115-b)의 사용자의 피부 사이의 접촉을 검출할 수 있다. 커플링 모듈(415-a)은 접촉을 검출하는 검출 모듈(310-a)에 기초하여 제 1 그룹의 전극 타일들을 전기적으로 커플링할 수 있다. 일 구성에서, 제 1 그룹의 커플링된 전극 타일들은 제 1 활성 전극 영역(AEA)을 형성할 수 있다. 일 예에서, 검출 모듈(310-a)은 사용자의 피부와 제 2 그룹의 전극 타일들 사이의 접촉을 검출할 수 있다. 커플링 모듈(415-a)은 또한, 제 2 AEA를 형성하기 위해 제 2 그룹의 전극들을 전기적으로 커플링할 수 있다. 제 1 AEA 및 제 2 AEA의 전극들 각각은, 디바이스(115-b)의 사용자에 관한 데이터를 수집하는 것을 시작할 수 있는 바이오센서를 포함할 수 있다. 일 예에서, AEA의 수는 데이터를 수집하기 위해 필요한 최소 수의 AEA들을 초과할 수 있다. 비교 모듈(505)은 각각의 AEA와 연관된 신호 품질 메트릭을 비교할 수 있다. 예를 들어, 비교 모듈(505)은 각각의 AEA에서 사용자의 피부로부터 검출된 전기 신호의 품질을 비교할 수 있다. 선택 모듈(510)은 각각의 AEA의 신호 품질 메트릭들의 비교에 기초하여 어느 AEA들로부터 데이터를 수신할지를 선택할 수 있다. 신호 품질 메트릭의 예들은, 신호-대-잡음비(SNR)를 포함할 수 있다(그러나, 이에 한정되지 않음).
[0068] 도 6은 생체전위 전극 어레이(260-a) 및 검출 모듈(310-b)과 통신하는 획득 모듈(315-c)의 제 3 예를 예시하는 블록도(600)이다. 획득 모듈(315-b)은 도 3, 도 4 및/또는 도 5의 획득 모듈(315)의 예일 수 있다. 획득 모듈(315-c)은 동적 구성 모듈(405-b) 및 수집 모듈(410)(이전에 설명됨)을 포함할 수 있다. 동적 구성 모듈(405-b)은 커플링 모듈(415-b) 및 폴링 모듈(605)을 더 포함할 수 있다. 일 예에서, 커플링 모듈(415-b)은, 검출 모듈(310-b)이 전극들과 사용자의 피부 사이의 접촉을 검출할 때, 전극 타일들을 전기적으로 커플링할 수 있다.
[0069] 일 구성에서, 폴링 모듈(605)은, 사용자의 피부와의 접촉이 유지되는지를 결정하기 위해, 커플링된 전극들을 정례적으로 폴링할 수 있다. 폴링 모듈(605)의 예는 전기 피부 반응(galvanic skin response)(GSR) 센서일 수 있다. 피부가 전극들에 접촉될 때, 피부의 전도성 성질들로 인해, 접촉된 전극들 사이의 전류가 0보다 더 클 수 있다. 결과적으로, 폴링 모듈(605)은 인접한 전극들 사이의 전류의 흐름을 폴링할 수 있다. 2개의 폴링된 전극들 사이의 전류의 흐름이 0인 경우, 검출 모듈(310-b)은 사용자의 피부와의 접촉이 더이상 존재하지 않는 것을 검출할 수 있다. 커플링 모듈(415-b)은 사용자의 피부와의 접촉이 종결된 후에 전극들을 디커플링(decouple)할 수 있다. 폴링 모듈(605)은 또한, 사용자의 피부와의 접촉이 존재할 수 있는지를 결정하기 위해, 이전에 언커플링(uncouple)된 전극들 사이의 전류의 흐름을 폴링할 수 있다. 적어도 2개의 인접한 전극들 사이에서 전류의 흐름이 0보다 더 큰 경우, 검출 모듈(310-b)은 이러한 이전에 언커플링된 전극들과 사용자의 피부 사이의 접촉을 검출할 수 있다. 그 다음으로, 커플링 모듈(415-b)은 이러한 전극들을 전기적으로 커플링할 수 있다.
[0070] 커플링된 동안, 전극들은 사용자의 피부와의 접촉이 유지되고, 수집 모듈(415-b)은 전극들과 연관된 바이오센서들을 통해 사용자의 피부전기 데이터를 수집할 수 있다.
[0071] 도 7은 감정 도출 모듈(320-a)의 예를 예시하는 블록도(700)이다. 감정 도출 모듈(320-a)은 도 3의 감정 도출 모듈(320)의 예일 수 있다. 감정 도출 모듈(320-a)은 분석 모듈(705) 및 감정 상태 모듈(710)을 포함할 수 있다. 분석 모듈(705)은 사용자의 수집된 피부전기 데이터(예를 들어, SCR)를 분석할 수 있다. 일 구성에서, 감정 상태 모듈(710)은 분석에 기초하여, 피부전기 데이터를 사용자의 감정 상태(예를 들어, 행복함, 흥분함, 슬픔, 화남, 불안함, 스트레스를 받음)와 상관시킬 수 있다. 일 예에서, 감정 상태 모듈(710)은 다양한 감정 상태들 및 하나 또는 둘 이상의 감정 상태들에 대한 대응하는 SCR을 저장하는 데이터베이스에 액세스할 수 있다. 데이터베이스는 디바이스(115) 상에 로컬로 또는 서버 상에 또는 몇몇 다른 컴퓨팅 디바이스 상에 원격으로 저장될 수 있다.
[0072] 이제 도 8을 참조하면, 블록도(800)는 감정 연관 모듈(325-a)의 일 예를 예시한다. 일 구성에서, 감정 연관 모듈(325-a)은 도 3의 감정 연관 모듈(325)의 예일 수 있다. 감정 연관 모듈(325-a)은 예를 들어, 메타데이터 연관 모듈(805) 및 스키마 연관 모듈(810) 중 하나 또는 둘 이상을 포함할 수 있다. 메타데이터 연관 모듈(805)은 전자 미디어의 연관된 메타데이터에 사용자 감정을 저장함으로써, 사용자 감정을 전자 미디어와 연관시킬 수 있다. 예를 들어, JPEG(Joint Photographic Experts Group) 이미지의 경우, 메타데이터 연관 모듈(805)은 사용자 감정의 표시자(또는 "태그(tag)")를 JPEG 이미지의 EXIF(Exchangeable Image File Format) 태그로 저장할 수 있다.
[0073] 스키마 연관 모듈(810)은, 사용자 감정을 전자 미디어와 연관된 스키마에 저장함으로써, 사용자 감정을 전자 미디어와 연관시킬 수 있다. 예를 들어, 스키마 연관 모듈(810)은 사용자 감정의 표시자를 주문형(custom) XMP(eXtensible Metadata Platform) 스키마에 저장할 수 있다. 표시자(또는 "태그")는, W3C(World Wide Web Consortium) EML(Emotion Markup Language)을 이용하여 생성될 수 있다. 이러한 EML 태그의 형태는 다음과 같을 수 있다:
Figure pct00001
[0074] 몇몇 실시예들에서, 감정 연관 모듈(325-a)은 먼저, 메타데이터 연관 모듈(805)을 인보크(invoke)할 수 있다. 메타데이터 연관 모듈(805)이 사용자 감정의 표시자를 전자 미디어의 메타데이터의 저장할 수 없는 경우, 감정 연관 모듈(325-a)은 스키마 연관 모듈(810)을 인보크할 수 있다. 다른 실시예들에서, 감정 연관 모듈(325-a)은, 전자 미디어 유형(예를 들어, 이미지, 비디오 또는 오디오) 또는 전자 미디어 파일 유형(예를 들어, JPEG 또는 TIFF(Tagged Image File Format))에 기초하여 메타데이터 연관 모듈(805) 또는 스키마 연관 모듈(810)을 인보크할 수 있다.
[0075] 도 9는 모바일 디바이스(115-c)의 표면 영역 상에 임베딩된 생체전위 전극 어레이(260-b)를 갖는 모바일 디바이스(115-c)의 일 예의 블록도(900)를 예시한다. 어레이(260-b)는 도 1, 도 2, 도 3, 도 4, 도 5, 및/또는 도 6의 생체전위 전극 어레이의 예일 수 있다. 일 구성에서, 모바일 디바이스(115-c)는 도 1, 도 2, 및/또는 도 3의 모바일 디바이스(115)의 예일 수 있다. 디바이스(115-c)는, 다수의 표면 영역들, 이를테면, 측부 에지 표면 영역(955)(또는 단순히 "측부 에지"), 디스플레이 표면 영역(960), 및 디스플레이 표면 영역 반대편의 표면 영역(예를 들어, 카메라의 애퍼처(910)가 로케이팅될 수 있는 표면 영역)을 포함할 수 있다. 어레이(260-b)는 이러한 예에서 측부 에지(955) 상에 임베딩 또는 포지셔닝될 수 있고, 더 구체적으로는 디바이스(115-c)의 4개의 코너들(935, 940, 945 및 950)에 로케이팅된 구역들(915, 920, 925 및 930) 사이에 분포될 수 있다. 그러나, 어레이(260-b)는 모바일 디바이스(115-c)의 다른 표면 영역들 상에 임베딩 또는 포지셔닝될 수 있다는 것이 이해될 것이다.
[0076] 이제 도 10을 참조하면, 블록도(1000)는 생체전위 전극 어레이(260-c)의 일 예를 예시한다. 일 구성에서, 생체전위 전극 어레이(260-c)는 도 1, 도 2, 도 3, 도 4, 도 5, 도 6, 및/또는 도 9의 생체전위 전극 어레이(260)의 예일 수 있다. 생체전위 전극 어레이(260-c)는 디바이스의 하나 또는 둘 이상의 표면들(955-a) 상에 다수의 전극 타일들(1005-a-1, 1005-a-2, 1005-a-3, 및 1005-a-n)을 포함할 수 있다. 몇몇 실시예들에서, 전극 타일들은 스테인리스 강으로 형성될 수 있다. 각각의 전극 타일(1005)은 바이오센서를 포함할 수 있다. 바이오센서들의 예들은 전기 피부 반응(GSR) 센서들 및 다른 생체전위 센서들을 포함할 수 있다. 예시된 바와 같이, 전극 타일들(1005)은 직사각형 형상일 수 있다. 전극 타일들 중 인접한 전극 타일들 사이에 간격들이 존재할 수 있다. 전극 타일들 중 몇몇 전극 타일들 사이에는 더 큰 간격들이 존재할 수 있는데, 그 이유는, 전극 타일들(1005)이, 도 9에 도시된 디바이스(115-c)의 구역들(915, 920, 925, 930)과 같은, 디바이스의 상이한 구역들에 걸쳐 분포될 수 있기 때문이다. 사람 피부와의 접촉으로 인해 인접한 전극들 사이에 흐르는 전류가 검출될 때, 전극들 사이의 전자 스위치는 폐회로를 생성하기 위해 폐쇄될 수 있다. 폐회로는, 전극들이 피부전기 데이터를 수집하도록 허용할 수 있는 한편, 개회로 상태인(사람 피부와 접촉되지 않은) 전극들은 데이터를 수집하는데 참여하지 않을 수 있다.
[0077] 도 11은 디바이스의 표면 영역(955-b) 상에 임베딩된 전극 타일들(1005-b-1 내지 1005-b-n)을 포함하는 생체전위 전극 어레이(260-d)의 다른 예를 예시하는 블록도(1100)이다. 생체전위 전극 어레이(260-d)는 도 1, 도 2, 도 3, 도 4, 도 5, 도 6, 도 9, 및/또는 도 10의 생체전위 전극 어레이(260)의 예일 수 있다. 전극 타일들(1005)은 육각형 형상일 수 있다. 예시된 바와 같이, 전극 타일들의 그룹(1105 또는 1110)의 인접한 전극 타일들 사이에는 공간이 거의 존재하지 않을 수 있다. 그러나, 전극 타일들의 그룹들이 디바이스의 상이한 구역들 사이에(예를 들어, 도 9에 도시된 디바이스(115-c)의 구역들(915, 920, 925, 930) 사이에) 분포될 때 요구될 수 있는 바와 같이, 더 큰 공간들이 전극 타일들의 상이한 그룹들(1105, 1110) 사이에 존재할 수 있다. 각각의 전극 타일은 디바이스 사용자에 관한 정보를 수집하기 위해 바이오센서를 포함할 수 있다. 바이오센서들은, 그들의 각각의 전극들이 사용자의 피부와 접촉될 때 데이터를 수집하는 것을 시작할 수 있다.
[0078] 이제 도 12를 참조하면, 전극 타일들(1005-c-1, 1005-c-2, 1005-c-3)의 수집(1200)이 예시된다. 전극 타일들은 도 10 및/또는 도 11의 전극 타일들(1005)의 예들일 수 있다. 일 예에서, 전자 스위치(1205-a-1, 1205-a-2, 또는 1205-a-3)가 인접한 전극 타일들 사이에 존재할 수 있다. 사용자의 피부가 적어도 2개의 인접한 전극 타일들에 접촉될 때, 적어도 2개의 전극들 사이의 전자 스위치는, 적어도 2개의 인접한 전극 타일들 사이의 전류의 흐름으로 인해 폐쇄될 수 있다. 적어도 2개의 전극 타일들과 연관된 바이오센서들은, 사용자와 연관된 피부전기 데이터를 수집하는 것을 시작할 수 있다. 예를 들어, 사용자는 제 1 전극 타일(1005-c-1) 및 제 2 전극 타일(1005-c-2)을 터치할 수 있다. 사용자의 피부와의 접촉이 검출될 때, 전극들은 자신들 사이의 전자 스위치(1205-a-2)를 폐쇄시킴으로써 전기적으로 커플링될 수 있다. 스위치가 폐쇄되면, 제 1 및 제 2 전극 타일들(1005-c-1, 1005-c-2)과 연관된 바이오센서들은 사용자에 관한 데이터를 수집할 수 있다. 스위치(1205-a-2)는, 전극 타일들과 피부 사이의 접촉이 종결될 때, 개방(그리고, 전극들이 언커플링)될 수 있다.
[0079] 도 13은 생체전위 전극 어레이(260-e)의 동작 상태를 예시하는 블록도(1300)이다. 어레이(260-e)는 도 1, 도 2, 도 3, 도 4, 도 5, 도 6, 도 9, 도 10, 및/또는 도 11의 생체전위 전극 어레이의 예일 수 있다. 어레이(260-e)는 생체전위 전극 어레이(260-e)와 접촉한 사용자에 의해 생성된 다수의 AEA들(1305-a-1, 1305-a-2)을 포함할 수 있다. 생체전위 전극 어레이(260-e)와 접촉한 사용자의 일 예에 따르면, 어레이(260-e)는 제 1 AEA(1305-a-1) 및 제 2 AEA(1305-a-2)를 포함하도록 구성될 수 있다. 각각의 AEA는 전기적으로 커플링된 적어도 2개의 전극 타일들을 포함할 수 있다. 다시 말해, 각각의 AEA는 사용자의 피부와 접촉되는 전극 타일들을 포함할 수 있다. 사용자가 디바이스를 잡는 상태(grip)가 시프트됨에 따라, AEA들 중 하나 또는 양쪽 모두의 포지션이 변경될 수 있다. 예를 들어, 제 1 시간 기간에서, 사용자는, 사용자의 피부가 제 1 AEA(1305-a-1) 및 제 2 AEA(1305-a-2)의 전극 타일들과 접촉되도록 디바이스를 홀딩하고 있을 수 있다. 이러한 AEA들의 전극 타일들은, 이들이 활성화된 동안(즉, 사용자의 피부와 접촉된 동안) 사용자와 연관된 피부전기 데이터를 수집할 수 있다. 제 2 시간 기간에서, 사용자는, 자신이 디바이스를 잡는 포지션을 변경할 수 있다. 결과적으로, 사용자는 제 1 AEA(1305-a-1)의 전극 타일들과 더이상 접촉하지 않을 수 있다. 그러므로, 이러한 전극 타일들은 비활성화될 수 있고, 제 1 AEA(1305-a-1)는 소멸(cease to exist)될 수 있다. 사용자가 어레이(260-e)의 제 2 AEA(1305-a-2)의 전극 타일들을 계속 터치하는 경우, 피부전기 데이터는 여전히, 제 2 AEA(1305-a-2)의 전극 타일들을 통해 제 2 시간 기간 동안 수집될 수 있다. 사용자가 어레이(260-e)의, 이전에 터치되지 않은 부분을 잡는 경우, 이러한 부분의 전극 타일들이 커플링될 수 있고, 새로운 AEA가 형성될 수 있다.
[0080] 이러한 예에서 예시된 바와 같이, AEA들은 동적으로 변경될 수 있고, 생체전위 전극 어레이(260-e)는 동적으로 구성될 수 있다. 예를 들어, 사용자가 표면 영역(955-c) ― 표면 영역(955-c)은 도 9, 도 10, 및/또는 도 11에 도시된 디바이스(115-c)의 표면 영역(955)의 예임 ― 상에서 자신의 잡는 상태를 시프트함에 따라, AEA들의 포지션 및 수가 또한 변경될 수 있다. 일 실시예에서, 폴링 모듈(605)(도 6)은, 어느 인접한 영역들이 활성으로 유지되는지 및 어레이(260-e)의 비활성 영역들이 활성화되어야 하는지를 결정하기 위해, 인접한 전극 타일들 사이의 전류의 흐름을 계속적으로 폴링할 수 있다. 이러한 아키텍처는, 사용자가 디바이스(115-c)와 같은 디바이스 상에서의 자신의 잡는 상태를 조정하는 동안(피부의 적어도 일부분이 어레이(260-e)와 접촉되고 있는 한), 피부전기 데이터의 수집이 발생하도록 허용한다.
[0081] 이제 도 14를 참조하면, 사용자 감정을 전자 미디어와 연관시키기 위한 방법(1400)의 일 예를 예시하는 흐름도가 제공된다. 방법(1400)은 도 1, 도 2, 도 3, 및/또는 도 9의 모바일 디바이스(115)와 같은 디바이스에 의해 구현될 수 있다. 일 구성에서, 방법(1400)은 도 2 및/또는 도 3의 감정 프로세싱 모듈(265)에 의해 구현될 수 있다.
[0082] 블록(1405)에서, 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉이 검출된다. 생체전위 전극 어레이는 몇몇 경우들에서, 도 2, 도 3, 도 4, 도 5, 도 6, 도 9, 도 10, 도 11, 도 12, 및/또는 도 13에 도시된 생체전위 전극 어레이들(260) 중 하나일 수 있다.
[0083] 블록(1410)에서, 사용자의 피부전기 데이터는 생체전위 전극 어레이를 통해 획득된다. 획득은 몇몇 경우들에서, 생체전위 전극 어레이를 동적으로 구성하는 것을 포함할 수 있고, 몇몇 경우들에서, SCR의 발생을 초래할 수 있다.
[0084] 일 구성에서, 블록(1415)에서, 사용자 감정은 적어도 부분적으로, 획득된 피부전기 데이터에 기초하여 도출된다. 그 다음으로, 블록(1420)에서 사용자 감정은 전자 미디어와 연관될 수 있다. 몇몇 경우들에서, 전자 미디어는 이미지, 비디오, 오디오 레코딩, 또는 웹 페이지일 수 있다.
[0085] 그러므로, 방법(1400)은 모바일 디바이스(115)와 같은 디바이스와 통합되는 생체전위 전극 어레이를 이용하여, 사용자 감정과 전자 미디어를 연관시키는 것을 제공할 수 있다. 방법(1400)은 단지 하나의 구현일 뿐이며 방법(1400)의 동작들은, 다른 구현들이 가능하도록, 재배열되거나 다른 방식으로 수정될 수 있다는 것을 주목해야 한다.
[0086] 도 15는, 생체전위 전극 어레이 내의 적어도 2개의 전극 타일들의 전기 커플링이 유지되는지를 결정하기 위해, 그리고 생체전위 전극 어레이를 통해 사용자의 피부전기 데이터를 획득하기 위해, 디바이스의 사용자와 동적 구성가능 생체전위 전극 어레이 사이의 접촉을 검출하는 방법(1500)의 예이다. 방법(1500)은 몇몇 경우들에서, 도 14 및 도 17에 도시된 방법들의 검출 및 획득 동작들을 완수하기 위해 이용될 수 있다. 방법(1500)은 도 1, 도 2, 도 3, 및/또는 도 9의 모바일 디바이스(115)와 같은 디바이스에 의해 구현될 수 있다. 몇몇 구성들에서, 방법(1500)은 도 2 및/또는 도 3의 감정 프로세싱 모듈(265)에 의해, 또는 도 3, 도 4, 도 5, 및/또는 도 6의 검출 모듈(310) 및 획득 모듈(315)에 의해 구현될 수 있다.
[0087] 일 예에서, 생체전위 전극 어레이(다수의 전극 타일들을 포함함)는 모바일 디바이스(115)의 외부 상에 포함될 수 있다. 블록(1505)에서, 적어도 2개의 인접한 전극 타일들과 사용자의 피부 사이의 접촉이 검출될 수 있다. 블록(1510)에서, 적어도 2개의 인접한 전극 타일들은, 접촉이 검출될 때 커플링될 수 있다. 커플링된 전극 타일들은 제 1 AEA를 형성할 수 있다. 일 구성에서, 블록(1515)에서, 사용자의 피부와 전극 타일들 사이의 접촉이 유지되는지에 관하여 결정이 이루어질 수 있다. 예를 들어, 폴링 모듈(605)은 전극들 사이의 전류의 흐름이 0보다 더 큰지를 결정하기 위해, 커플링된 전극 타일들을 폴링할 수 있다. 접촉이 유지되는 것으로(즉, 전류의 흐름이 0보다 더 큰 것으로) 결정되는 경우, 블록(1520)에서, 제 1 AEA의 커플링된 전극 타일들에 의해 피부전기 데이터가 수집될 수 있다. 전극 타일들은 데이터를 수집하기 위해 바이오센서들을 포함할 수 있다. 그 다음으로, 방법(1500)은, 커플링된 전극 타일들을 폴링하는 것을 계속함으로써, 접촉이 지속되는지를 결정하기 위해 리턴될 수 있다. 그러나, 접촉이 종결된 것으로 결정되는 경우, 블록(1525)에서 적어도 2개의 인접한 전극 타일들은 디커플링될 수 있다. 언커플링된 전극 타일들은 사용자와 연관된 피부전기 데이터를 수집하는 것을 중단할 수 있다. 그 다음으로, 방법(1500)은, 인접한 전극 타일들이 사용자의 피부와 접촉되는지를 검출하는 것을 계속하기 위해 리턴될 수 있다.
[0088] 그러므로, 방법(1500)은, 전극 타일들과 사용자의 피부 사이에 접촉이 유지되는지를 결정할 수 있다. 방법(1500)은 단지 하나의 구현일 뿐이며 방법(1500)의 동작들은, 다른 구현들이 가능하도록, 재배열되거나 다른 방식으로 변경될 수 있다는 것을 주목해야 한다.
[0089] 이제 도 16을 참조하면, 흐름도는, 사용자의 피부와, 전극 타일들 중 적어도 2개의 전극 타일들 사이의 접촉을 검출하기 위해 동적 구성가능 생체전위 전극 어레이의 전극 타일들을 폴링하는 방법(1600)의 일 예를 예시한다. 방법(1600)은 몇몇 경우들에서, 도 14 및 도 17에 도시된 방법들의 검출, 획득, 및 도출 동작들을 완수하기 위해 이용될 수 있다. 방법(1600)은 도 1, 도 2, 도 3, 및/또는 도 9의 모바일 디바이스(115)와 같은 디바이스에 의해 구현될 수 있다. 몇몇 구성들에서, 방법(1600)은, 도 2 및/또는 도 3의 감정 프로세싱 모듈(265)에 의해, 또는 도 3, 도 4, 도 5, 및/또는 도 6의 검출 모듈(310) 및 획득 모듈(315)에 의해 구현될 수 있다.
[0090] 블록(1605)에서, 생체전위 전극 어레이의 다수의 전극 타일들이 폴링될 수 있다. 예를 들어, 인접한 전극 타일들 사이의 전류 흐름은, 흐름이 0보다 더 큰지를 결정하기 위해 폴링될 수 있다. 일 구성에서, 어레이는 모바일 디바이스(115)의 외부 표면 영역 상에 임베딩될 수 있다. 블록(1610)에서, 전극 타일들과 모바일 디바이스(115)의 사용자의 피부 사이의 접촉이 검출될 수 있다. 블록(1615)에서, 최소 수의 전극 타일들이 피부와 접촉되는지에 관하여 결정이 이루어질 수 있다. 최소 수의 전극 타일들이 사용자의 피부와 접촉되지 않는 것으로 결정되는 경우, 방법(1600)은 접촉을 검출하기 위해 전극 타일들을 폴링하는 것을 계속하기 위해 리턴될 수 있다. 그러나, 최소 수의 전극 타일들이 피부와 접촉되는 것으로 결정되는 경우, 블록(1620)에서, 피부와 접촉되는 전극 타일들은 AEA를 형성하도록 전기적으로 커플링될 수 있다.
[0091] 블록(1625)에서, 최소 수의 AEA들이 존재하는지에 관하여 결정이 이루어질 수 있다. 예를 들어, 특정 유형들의 피부전기 데이터가 최소 수의 AEA들로부터 모아질 수 있다. 예로서, SCR 데이터를 수집하기 위해, 적어도 2개의 AEA들이 이용될 수 있다. 원하는 피부전기 데이터를 수집할 최소 수의 AEA들이 존재하지 않는 것으로 결정되는 경우, 방법(1600)은 접촉을 검출하기 위해 어레이 내 전극들을 폴링하기 위해 리턴될 수 있다. 그러나, 최소 수의 AEA들이 존재하는 것으로 결정되는 경우, 블록(1630)에서, 피부전기 데이터는 AEA들의 전극 타일들을 통해 수집될 수 있다. 데이터가 수집되는 동안, 폴링 모듈(605)은, 현재 커플링된 전극 타일들 사이에 접촉이 유지되는지 뿐만 아니라, 피부와 이전에 언커플링된 전극 타일들 사이의 접촉이 검출되는지를 검출하기 위해, 실시간으로 전극 타일들을 계속 폴링할 수 있다.
[0092] 블록(1635)에서, 수집된 데이터가 분석될 수 있다. 블록(1640)에서, 분석에 기초하여 사용자의 상태가 결정될 수 있다. 예를 들어, 사용자의 감정 상태는, 분석된 피부전기 데이터에 기초하여 결정될 수 있다. 방법(1600)은, 최소 수의 AEA들이 여전히 존재하는지를 결정하기 위해 리턴될 수 있다. AEA들이 유지되는 경우, AEA들의 전극 타일들과 연관된 바이오센서들을 통해 피부전기 데이터가 계속 수집될 수 있다.
[0093] 그러므로, 방법(1600)은 사용자의 피부와 전극 타일들 사이의 접촉을 검출하기 위해 동적 구성가능 생체전위 전극 어레이의 전극 타일들을 폴링할 수 있다. 방법(1600)은 단지 하나의 구현일 뿐이며 방법(1600)의 동작들은, 다른 구현들이 가능하도록, 재배열되거나 다른 방식으로 수정될 수 있다는 것을 주목해야 한다.
[0094] 앞서의 설명에 의해 제공된 바와 같이, 전극 타일들의 생체전위 전극 어레이는 모바일 디바이스(115)의 외부 표면 영역 상에 임베딩될 수 있다. 전극 타일들은, 모바일 디바이스(115)의 사용자에 관한 피부전기 데이터를 수집하기 위해 이용된 바이오센서들과 연관될 수 있다. 전극 타일들은, 전극 타일들이 사용자의 피부와 접촉될 때까지 서로 디커플링될 수 있다. 디커플링된 전극 타일들은, 디바이스(115)의 사용자와 연관된 피부전기 데이터를 수집하기 위해 활성화되지 않을 수 있다. 접촉이 검출되는 경우, 인접한 전극 타일들 사이의 전자 스위치는 폐쇄될 수 있고, 따라서, 피부와 접촉되는 전극 타일들을 전기적으로 커플링한다. 그 다음으로, 이러한 커플링된 전극 타일들과 연관된 바이오센서들은 사용자에 관한 피부전기 데이터를 수집하는 것을 시작할 수 있다. 사용자가, 모바일 디바이스(115)의, 자신의 잡는 상태를 변경하고, 어레이의 상이한 부분들을 터치함에 따라, 커플링된 전극 타일들은, 피부와의 접촉이 지속되지 않는 경우, 디커플링될 수 있다. 현재 피부와 접촉될 수 있는, 이전에 언커플링된 전극 타일들은, 데이터를 수집하는 것을 시작하기 위해 전기적으로 커플링될 수 있다.
[0095] 이제 도 17을 참조하면, 사용자 감정을 전자 미디어와 연관시키기 위한 방법(1700)의 다른 예를 예시하는 흐름도가 제공된다. 방법(1700)은 도 1, 도 2, 도 3, 및/또는 도 9의 모바일 디바이스(115)와 같은 디바이스에 의해 구현될 수 있다. 일 구성에서, 방법(1700)은 도 2 및/또는 도 3의 감정 프로세싱 모듈(265)에 의해 구현될 수 있다.
[0096] 블록(1705)에서, 전자 미디어가 캡처되는지, 프리젠팅되는지, 또는 재생되는지가 결정된다. 몇몇 실시예들에서, 이는, 예를 들어, 카메라, 마이크로폰, 또는 통신 인터페이스를 이용하여 디바이스의, 전자 미디어의 캡처를 검출하는 것을 포함할 수 있다. 캡처하는 것은 예를 들어, 카메라 또는 미디어 레코딩 하드웨어의 활성화 또는 사용을 검출함으로써, 중력에 관한 디바이스의 배향(예를 들어, 가로방향 배향(landscape orientation), 통상의 카메라 사용)을 검출함으로써, 디바이스 상에 설치된 카메라 또는 미디어 레코딩 애플리케이션의 활성화 또는 사용을 검출함으로써, 또는 이미지, 비디오, 또는 오디오 레코딩이 캡처되는 것을 나타내는 신호(예를 들어, 이미지, 비디오 또는 오디오 클립이 캡처/레코딩되도록 야기하는 버튼 또는 아이콘의 활성화)를 검출함으로써 검출될 수 있다.
[0097] 동일한 또는 다른 실시예들에서, 전자 미디어가 디바이스에 의해 재생되고 있다는 결정은 예를 들어, 디바이스 상에 설치된 미디어 재생 애플리케이션의 활성화 또는 사용을 검출함으로써 이루어질 수 있다. 전자 미디어가 사용자에게 프리젠팅되고 있다는 결정이 유사한 방식으로 이루어질 수 있다. 미디어 프리젠테이션은 또한, 웹 브라우저를 통해 미디어 콘텐츠가 디스플레이되고 있는 것에 의해 검출될 수 있다.
[0098] 블록(1705)에서 수행된 동작들은 몇몇 경우들에서, 도 2에 도시된 감정 프로세싱 모듈(265), 미디어 캡처 모듈(240), 미디어 프리젠테이션 모듈(245), 미디어 재생 모듈(250), 웹 브라우저 모듈(255), 및/또는 디바이스(115-a)의 다른 모듈들 또는 컴포넌트들 사이의 통신을 수반할 수 있다.
[0099] 블록(1710)에서, 그리고 전자 미디어가 디바이스에 의해 캡처되고 있거나, 프리젠팅되고 있거나, 재생되고 있다는 결정에 따라, 디바이스의 사용자와, 디바이스와 통합되는 생체전위 전극 어레이 사이에 접촉이 존재하는지가 결정된다. 접촉이 검출되는 경우, 블록(1720)에서 사용자의 피부전기 데이터가 생체전위 전극 어레이를 통해 획득된다. 몇몇 경우들에서, 피부전기 데이터의 획득은, 피부전기 데이터를 획득하기 위해 생체전위 전극 어레이를 동적으로 구성하는 것을 포함할 수 있다. 블록들(1710 및 1720)에서 수행된 동작들은 몇몇 경우들에서, 방법(1500 또는 1600) 중 일부 또는 모두를 이용하여 수행될 수 있다.
[0100] 블록(1725)에서, 사용자 감정이 도출된다. 사용자 감정은 획득된 피부전기 데이터에 적어도 부분적으로 기초한다. 블록(1725)에서 수행된 동작은 몇몇 경우들에서, 방법(1600)의 부분(예를 들어, 블록들(1635 및 1640))을 이용하여 수행될 수 있다.
[0101] 디바이스 사용자와 생체전위 전극 어레이 사이에 충분한 접촉이 존재하지 않는 경우(즉, 블록(1710)에서 대답이 "아니오"임), 디바이스 사용자에게, 전자 미디어를 다시 캡처(recapture)하는 옵션 또는 사용자의 감정을 입력하는 옵션과 같은 하나 또는 둘 이상의 옵션들이 프리젠팅될 수 있다. 이러한 옵션들은 디바이스의 사용자 인터페이스(예를 들어, 그래픽 사용자 인터페이스)를 통해 제공될 수 있다. 몇몇 경우들에서, 디폴트 또는 최상의 추측 사용자 감정의 표시자가 사용자 인터페이스를 통해 사용자에게 프리젠팅될 수 있다.
[0102] 블록(1730)에서, 사용자 감정이 연관되는 전자 미디어의 "유형" 또는 "파일 유형"이 결정된다. 이전에 논의된 바와 같이, 미디어 유형은 예를 들어: 이미지, 비디오, 또는 오디오일 수 있다. 미디어 파일 유형은 예를 들어: JPEG, TIFF, 또는 전자 미디어를 저장하기 위해 이용되는 다른 파일 포맷일 수 있다.
[0103] 블록(1730)에서 이루어진 결정에 기초하여, 사용자 감정은, (블록(1735)에서) 사용자 감정을 전자 미디어의 메타데이터로서 저장함으로써 또는 (블록(1740)에서) 사용자 감정을 전자 미디어와 연관된 스키마에 저장함으로써, 전자 미디어와 연관될 수 있다.
[0104] 본 명세서에서 개시된 시스템들, 방법들, 디바이스들, 및 장치들의 몇몇 실시예들에서, 시스템들, 방법들, 디바이스들, 및 장치들은 자동화(또는 실질적으로 자동화)된다. 자동화는, 사용자 감정이 전자 미디어와 정례적으로 연관되는 것을 보장하는 것을 돕는다.
[0105] 첨부된 도면들과 관련하여 앞서 제시된 상세한 설명은, 예시적인 실시예들을 설명하며, 청구항들의 범주 내에 있는 또는 청구항들의 범주 내에서 구현될 수 있는 유일한 실시예들을 나타내는 것은 아니다. 본 설명 전체에 걸쳐 이용된 용어 "예시적인"은, 다른 실시예들보다 "바람직한" 또는 "유리한"이 아닌, "예, 사례, 또는 예시의 역할을 하는"을 의미한다. 상세한 설명은 설명된 기법들의 이해를 제공하는 목적을 위한 특정 상세들을 포함한다. 그러나, 이러한 기법들은 이러한 특정 상세들 없이 실시될 수 있다. 몇몇 사례들에서, 잘-알려진 구조들 및 디바이스들은, 설명된 실시예들의 개념들을 모호하게 하는 것을 피하기 위해, 블록도 형태로 도시된다.
[0106] 정보 및 신호들은 여러 가지 상이한 기술들 및 기법들 중 임의의 것을 이용하여 표현될 수 있다. 예를 들어, 앞서의 설명 전체에 걸쳐 참조될 수 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은, 전압들, 전류들, 전자기파들, 자기 필드들 또는 입자들, 광학 필드들 또는 입자들, 또는 이들의 임의의 결합에 의해 표현될 수 있다.
[0107] 본 명세서에서 본원과 관련하여 설명된 다양한 예시적인 블록들 및 모듈들은, 본 명세서에서 설명된 기능들을 수행하도록 설계된 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그램가능 논리 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 결합을 이용하여 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 결합, 예를 들어, DSP 및 마이크로프로세서의 결합, 다수의 마이크로프로세서들, DSP 코어와 함께하는 하나 또는 둘 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다.
[0108] 본 명세서에서 설명된 기능들은 하드웨어, 프로세서에 의해 실행되는 소프트웨어, 펌웨어, 또는 이들의 임의의 결합으로 구현될 수 있다. 프로세서에 의해 실행되는 소프트웨어로 구현되는 경우, 기능들은 하나 또는 둘 이상의 명령들 또는 코드로서 컴퓨터-판독가능 매체 상에 저장 또는 전송될 수 있다. 다른 예들 및 구현들은 본원 및 첨부된 청구항들의 범주 및 사상 내에 있다. 예를 들어, 소프트웨어의 특성으로 인해, 앞서 설명된 기능들은 프로세서에 의해 실행되는 소프트웨어, 하드웨어, 펌웨어, 하드와이어링, 또는 이들 중 임의의 것들의 결합들을 이용하여 구현될 수 있다. 기능들을 구현하는 특징부들은 또한, 기능부들의 부분들이 상이한 물리적 위치들에 구현되도록 분산되는 것을 포함하여, 다양한 포지션들에 물리적으로 로케이팅될 수 있다. 또한, 청구항들을 포함하여 본 명세서에서 이용된 바와 같이, "중 적어도 하나"로 시작되는 항목들의 리스트에서 이용된 바와 같은 "또는"은, 예를 들어, "A, B, 또는 C 중 적어도 하나"의 리스트가 A 또는 B 또는 C 또는 AB 또는 AC 또는 BC 또는 ABC(즉, A 및 B 및 C)를 의미하도록 선언적 리스트를 나타낸다.
[0109] 컴퓨터-판독가능 미디어는, 하나의 위치로부터 다른 위치로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 미디어 및 통신 미디어 양쪽 모두를 포함한다. 저장 매체는 범용 컴퓨터 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 제한이 아닌 예로서, 이러한 컴퓨터-판독가능 미디어는, RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태의 원하는 프로그램 코드 수단을 캐리 또는 저장하기 위해 이용될 수 있고 범용 컴퓨터 또는 특수-목적 컴퓨터, 또는 범용 프로세서 또는 특수-목적 프로세서에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결은 적절하게 지칭된 컴퓨터-판독가능 매체이다. 예를 들어, 소프트웨어가, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL(digital subscriber line), 또는 무선 기술들, 이를테면, 적외선, 무선, 및 마이크로파를 이용하여, 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 무선 기술들, 이를테면, 적외선, 무선, 및 마이크로파는 매체의 정의에 포함된다. 본 명세서에서 사용된 바와 같은 디스크(disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크(laser disc), 광 디스크(optical disc), DVD(digital versatile disc), 플로피 디스크(floppy disk) 및 블루레이 디스크(blu-ray disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하는 한편, 디스크(disc)들은 데이터를 레이저들을 이용하여 광학적으로 재생한다. 앞서의 것들의 결합들이 또한 컴퓨터-판독가능 매체의 범주 내에 포함된다.
[0110] 본원의 이전의 설명은 당업자가 본원을 이루거나 이용하는 것을 가능하게 하기 위해 제공된다. 본원에 대한 다양한 수정들은 용이하게 당업자에게 명백해질 것이며, 본 명세서에서 정의된 일반적인 원리들은 본원의 사상 또는 범주로부터 벗어남이 없이 다른 변형들에 적용될 수 있다. 본원 전체에 걸쳐, 용어 "예" 또는 "예시적인"은 예 또는 사례들을 나타내고, 주목된 예에 대한 어떠한 선호도를 암시 또는 요구하지 않는다. 따라서, 본원은 본 명세서에서 설명된 예들 및 설계들로 제한되는 것이 아니라, 본 명세서에서 개시된 원리들 및 신규한 특징부들과 일치하는 가장 넓은 범주에 따를 것이다.

Claims (36)

  1. 사용자 감정(user emotion)을 전자 미디어(electronic media)와 연관시키는 방법으로서,
    디바이스의 사용자와, 상기 디바이스와 통합되는 생체전위 전극 어레이(biopotential electrode array) 사이의 접촉을 검출하는 단계;
    상기 생체전위 전극 어레이를 통해 상기 사용자의 피부전기 데이터(electrodermal data)를 획득하는 단계;
    상기 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 상기 사용자 감정을 도출하는 단계; 및
    상기 사용자 감정을 상기 전자 미디어와 연관시키는 단계
    를 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  2. 제 1 항에 있어서,
    상기 디바이스에 의해, 상기 전자 미디어의 캡처링(capturing)을 검출하는 단계; 및
    적어도 부분적으로 상기 캡처링을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하는 단계
    를 더 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  3. 제 1 항에 있어서,
    상기 디바이스에 의해, 상기 전자 미디어의 재생(play back)을 검출하는 단계; 및
    적어도 부분적으로 상기 재생을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하는 단계
    를 더 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  4. 제 1 항에 있어서,
    상기 디바이스에 의해 상기 전자 미디어의 프리젠테이션을 검출하는 단계; 및
    적어도 부분적으로 상기 프리젠테이션을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하는 단계
    를 더 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  5. 제 1 항에 있어서,
    상기 디바이스 상에 설치된 애플리케이션의 활성화를 검출하는 단계; 및
    적어도 부분적으로 상기 활성화를 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하는 단계
    를 더 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  6. 제 5 항에 있어서,
    상기 애플리케이션은 카메라 애플리케이션인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  7. 제 1 항에 있어서,
    중력에 관한 상기 디바이스의 배향을 검출하는 단계; 및
    적어도 부분적으로 상기 배향을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하는 단계
    를 더 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  8. 제 7 항에 있어서,
    상기 배향은 가로방향 배향(landscape orientation)인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  9. 제 1 항에 있어서,
    상기 피부전기 데이터를 획득하는 단계는,
    상기 검출된 접촉에 적어도 부분적으로 기초하여, 상기 생체전위 전극 어레이를 동적으로 구성하는 단계, 및
    상기 구성된 생체전위 전극 어레이로부터 상기 피부전기 데이터를 획득하는 단계를 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  10. 제 9 항에 있어서,
    상기 생체전위 전극 어레이를 동적으로 구성하는 단계는,
    상기 생체전위 전극 어레이 내에 제 1 활성 전극 영역을 형성하기 위해 적어도 2개의 인접한 전극 타일들을 전기적으로 커플링하는 단계를 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  11. 제 1 항에 있어서,
    상기 사용자 감정을 도출하는 단계는,
    상기 피부전기 데이터를 복수의 감정 상태들 중 하나의 감정 상태와 상관시키는 단계를 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  12. 제 1 항에 있어서,
    상기 사용자 감정을 상기 전자 미디어와 연관시키는 단계는,
    상기 사용자 감정을 상기 전자 미디어의 메타데이터로서 저장하는 단계를 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  13. 제 1 항에 있어서,
    상기 사용자 감정을 상기 전자 미디어와 연관시키는 단계는,
    상기 사용자 감정을 상기 전자 미디어와 연관된 스키마(schema)에 저장하는 단계를 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  14. 제 1 항에 있어서,
    상기 사용자 감정을 편집(edit)하기 위해 상기 디바이스 상에 사용자 인터페이스를 프리젠팅하는 단계
    를 더 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  15. 제 1 항에 있어서,
    상기 전자 미디어는 이미지인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  16. 제 1 항에 있어서,
    상기 전자 미디어는 비디오인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  17. 제 1 항에 있어서,
    상기 전자 미디어는 오디오 레코딩인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  18. 제 1 항에 있어서,
    상기 디바이스는 모바일 폰인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  19. 제 1 항에 있어서,
    상기 디바이스는 카메라인,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  20. 제 1 항에 있어서,
    상기 생체전위 전극 어레이는,
    적어도 상기 디바이스의 측부 에지 상에, 상기 디바이스의 코너에 포지셔닝된 전극들의 그룹을 포함하는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  21. 제 1 항에 있어서,
    상기 생체전위 전극 어레이는,
    전극들의 복수의 그룹들을 포함하고, 각각의 그룹의 전극들은, 상기 디바이스의 4개의 코너들 중 상이한 하나의 코너에 포지셔닝되고, 각각의 그룹의 전극들은 적어도 상기 디바이스의 측부 에지 상에 포지셔닝되는,
    사용자 감정을 전자 미디어와 연관시키는 방법.
  22. 사용자 감정을 전자 미디어와 연관시키기 위한 디바이스로서,
    프로세서;
    상기 프로세서와 전자 통신하는 메모리; 및
    상기 메모리에 저장된 명령들
    을 포함하고,
    상기 명령들은, 상기 프로세서에 의해,
    상기 디바이스의 사용자와, 상기 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하고,
    상기 생체전위 전극 어레이를 통해 상기 사용자의 피부전기 데이터를 획득하고,
    상기 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 상기 사용자 감정을 도출하고,
    상기 사용자 감정을 상기 전자 미디어와 연관시키도록 실행가능한,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  23. 제 22 항에 있어서,
    상기 명령들은 추가로, 상기 프로세서에 의해,
    상기 디바이스에 의해, 상기 전자 미디어의 캡처를 검출하고,
    적어도 부분적으로 상기 캡처링을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하도록 실행가능한,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  24. 제 22 항에 있어서,
    상기 명령들은 추가로, 상기 프로세서에 의해,
    상기 디바이스에 의해, 상기 전자 미디어의 재생을 검출하고,
    적어도 부분적으로 상기 재생을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하도록 실행가능한,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  25. 제 22 항에 있어서,
    상기 명령들은 추가로, 상기 프로세서에 의해,
    상기 디바이스에 의해 상기 전자 미디어의 프리젠테이션을 검출하고,
    적어도 부분적으로 상기 프리젠테이션을 검출하는 것에 응답하여, 상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하도록 실행가능한,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  26. 제 22 항에 있어서,
    상기 사용자 감정을 상기 전자 미디어와 연관시키는 명령들은,
    상기 사용자 감정을 상기 전자 미디어의 메타데이터로서 저장하는 명령들을 포함하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  27. 제 22 항에 있어서,
    상기 사용자 감정을 상기 전자 미디어와 연관시키는 명령들은,
    상기 사용자 감정을 상기 전자 미디어와 연관된 스키마에 저장하는 명령들을 포함하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  28. 제 22 항에 있어서,
    상기 생체전위 전극 어레이를 더 포함하고,
    상기 생체전위 전극 어레이는, 적어도 상기 디바이스의 측부 에지 상에, 상기 디바이스의 코너에 포지셔닝된 전극들의 그룹을 포함하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  29. 제 22 항에 있어서,
    상기 생체전위 전극 어레이를 더 포함하고,
    상기 생체전위 전극 어레이는, 전극들의 복수의 그룹들을 포함하고, 각각의 그룹의 전극들은, 상기 디바이스의 4개의 코너들 중 상이한 하나의 코너에 포지셔닝되고, 각각의 그룹의 전극들은 적어도 상기 디바이스의 측부 에지 상에 포지셔닝되는,
    사용자 감정을 전자 미디어와 연관시키기 위한 디바이스.
  30. 사용자 감정을 전자 미디어와 연관시키기 위한 장치로서,
    디바이스의 사용자와, 상기 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하기 위한 수단;
    상기 생체전위 전극 어레이를 통해 상기 사용자의 피부전기 데이터를 획득하기 위한 수단;
    상기 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 상기 사용자 감정을 도출하기 위한 수단; 및
    상기 사용자 감정을 상기 전자 미디어와 연관시키기 위한 수단
    을 포함하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 장치.
  31. 제 30 항에 있어서,
    상기 디바이스에 의해, 상기 전자 미디어의 캡처링을 검출하기 위한 수단
    을 더 포함하고,
    상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하기 위한 수단은, 적어도 부분적으로 상기 캡처링을 검출하는 것에 응답하여, 상기 접촉을 검출하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 장치.
  32. 제 30 항에 있어서,
    상기 디바이스에 의해, 상기 전자 미디어의 재생을 검출하기 위한 수단
    을 더 포함하고,
    상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하기 위한 수단은, 적어도 부분적으로 상기 재생을 검출하는 것에 응답하여, 상기 접촉을 검출하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 장치.
  33. 제 30 항에 있어서,
    상기 디바이스에 의해, 상기 사용자에 대한 상기 전자 미디어의 프리젠테이션을 검출하기 위한 수단
    을 더 포함하고,
    상기 디바이스의 사용자와 상기 생체전위 전극 어레이 사이의 접촉을 검출하기 위한 수단은, 적어도 부분적으로 상기 프리젠테이션을 검출하는 것에 응답하여, 상기 접촉을 검출하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 장치.
  34. 제 30 항에 있어서,
    상기 사용자 감정을 상기 전자 미디어와 연관시키기 위한 수단은,
    상기 사용자 감정을 상기 전자 미디어의 메타데이터로서 저장하기 위한 수단을 포함하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 장치.
  35. 제 30 항에 있어서,
    상기 사용자 감정을 상기 전자 미디어와 연관시키기 위한 수단은,
    상기 사용자 감정을 상기 전자 미디어와 연관된 스키마에 저장하기 위한 수단을 포함하는,
    사용자 감정을 전자 미디어와 연관시키기 위한 장치.
  36. 사용자 감정을 전자 미디어와 연관시키기 위한 컴퓨터 프로그램 물건으로서,
    상기 컴퓨터 프로그램 물건은 명령들을 저장하는 비-일시적 컴퓨터-판독가능 매체를 포함하고,
    상기 명령들은 프로세서에 의해,
    디바이스의 사용자와, 상기 디바이스와 통합되는 생체전위 전극 어레이 사이의 접촉을 검출하고,
    상기 생체전위 전극 어레이를 통해 상기 사용자의 피부전기 데이터를 획득하고,
    상기 획득된 피부전기 데이터에 적어도 부분적으로 기초하여 상기 사용자 감정을 도출하고,
    상기 사용자 감정을 상기 전자 미디어와 연관시키도록 실행가능한,
    사용자 감정을 전자 미디어와 연관시키기 위한 컴퓨터 프로그램 물건.
KR1020157017146A 2012-12-03 2013-11-22 사용자 감정을 전자 미디어와 연관시키는 것 KR101789212B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/692,954 2012-12-03
US13/692,954 US9378655B2 (en) 2012-12-03 2012-12-03 Associating user emotion with electronic media
PCT/US2013/071443 WO2014088844A1 (en) 2012-12-03 2013-11-22 Associating user emotion with electronic media

Publications (2)

Publication Number Publication Date
KR20150092201A true KR20150092201A (ko) 2015-08-12
KR101789212B1 KR101789212B1 (ko) 2017-10-23

Family

ID=49817258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157017146A KR101789212B1 (ko) 2012-12-03 2013-11-22 사용자 감정을 전자 미디어와 연관시키는 것

Country Status (6)

Country Link
US (1) US9378655B2 (ko)
EP (1) EP2925212A1 (ko)
JP (1) JP2016509276A (ko)
KR (1) KR101789212B1 (ko)
CN (1) CN104822312B (ko)
WO (1) WO2014088844A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
CN104394256A (zh) * 2014-10-28 2015-03-04 深圳市金立通信设备有限公司 一种通讯录排序方法
US20160180722A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
CN104873188A (zh) * 2015-05-28 2015-09-02 北京丰拓生物技术有限公司 一种无按键式智能心电测量装置及检测方法
US20180018899A1 (en) * 2016-07-15 2018-01-18 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus for presenting content, method for controlling the same, and control program
US11049147B2 (en) * 2016-09-09 2021-06-29 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection
CN109491499B (zh) * 2018-11-05 2022-05-24 创维集团智能科技有限公司 一种电器设备控制方法、装置、电器设备和介质
CN109730412A (zh) * 2019-01-22 2019-05-10 天津大学 一种用于手杖的体温皮电监测一体预警系统
US11157549B2 (en) * 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
CN112057090B (zh) * 2020-09-04 2021-10-29 浙江大学 基于体表极低频电势差特征的情绪判断穿戴式设备和方法
US11675436B2 (en) * 2020-10-21 2023-06-13 Toyota Motor Engineering & Manufacturing North America Inc. Hybrid interface for simultaneous biosensing and user input
CN112603279B (zh) * 2021-01-06 2022-11-11 睢宁赛航信息科技有限公司 医疗信息智能共享方法和系统
CN115715680A (zh) * 2022-12-01 2023-02-28 杭州市第七人民医院 一种基于结缔组织电势的焦虑判别方法及装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5261747A (en) 1992-06-22 1993-11-16 Trustees Of Dartmouth College Switchable thermoelectric element and array
DE19529371C3 (de) 1995-08-10 2003-05-28 Nmi Univ Tuebingen Mikroelektroden-Anordnung
JPH10201726A (ja) 1997-01-17 1998-08-04 Omron Corp 皮膚電気現象計測電極，皮膚電気現象計測装置，ゲーム機及び自動車
NO304956B1 (no) 1997-07-22 1999-03-08 Opticom As Elektrodeanordning uten og med et funksjonselement, samt en elektrodeinnretning dannet av elektrodeanordninger med funksjonselement og anvendelser derav
US6102846A (en) * 1998-02-26 2000-08-15 Eastman Kodak Company System and method of managing a psychological state of an individual using images
DE69923183T2 (de) 1998-07-06 2006-02-23 Pastor, Aleksander Gerät zur feststellung von hautimpedanzveränderungen
GB2378762A (en) 2001-06-09 2003-02-19 Inner Tek Ltd Galvanic Skin Response (GSR) sensor with skin contact pressure sensor
EP1278064B1 (en) 2001-07-18 2008-07-02 CSEM Centre Suisse d'Electronique et de Microtechnique SA High-density microelectrode arrangement
JP3787760B2 (ja) * 2001-07-31 2006-06-21 松下電器産業株式会社 カメラ付き携帯電話装置
US20030088167A1 (en) 2001-11-07 2003-05-08 Neurometrix, Inc. Biopotential electrode apparatus with integrated conductive gel switch
KR20040032451A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 생체신호 기반의 건강 관리 기능을 갖는 모바일 기기 및이를 이용한 건강 관리 방법
US7233684B2 (en) 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
EP1651101A1 (en) 2003-07-16 2006-05-03 Koninklijke Philips Electronics N.V. A portable electronic device and a health management system arranged for monitoring a physiological condition of an individual
JP4608858B2 (ja) * 2003-08-12 2011-01-12 ソニー株式会社 感情の可視化装置および感情の可視化方法、感情の可視化出力物
EP1685794B1 (en) 2003-11-18 2013-02-27 Sony Corporation Input device and input method
EP1722681A4 (en) 2004-03-06 2010-03-03 Calisto Medical Inc METHODS AND DEVICES FOR NON-INVASIVE MEASUREMENT OF QUANTITATIVE DATA OF SUBSTANCES OF LIVING ORGANISMS
US7501301B2 (en) 2004-03-10 2009-03-10 The Board Of Trustees Of The Leland Stanford Junior University Low cost fabrication of microelectrode arrays for cell-based biosensors and drug discovery methods
US7297110B2 (en) 2004-08-27 2007-11-20 Goyal Muna C Systems and methods for remote monitoring of fear and distress responses
KR100646868B1 (ko) * 2004-12-29 2006-11-23 삼성전자주식회사 피부전도도와 심박 정보를 이용한 홈 제어시스템 및 그 방법
AU2006217448A1 (en) * 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
WO2006131855A2 (en) 2005-06-07 2006-12-14 Philips Intellectual Property & Standards Gmbh Patient monitoring system and method
JP2009504274A (ja) * 2005-08-09 2009-02-05 アイキャップ テクノロジーズ，インコーポレイテッド 人の情動状態に適応する装置及び方法
JP5069687B2 (ja) 2005-09-26 2012-11-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置
WO2007047392A2 (en) 2005-10-12 2007-04-26 Southwest Research Institute Planar multi-electrode array sensor for localized electrochemical corrosion detection
JP4683423B2 (ja) 2006-01-19 2011-05-18 国立大学法人徳島大学 体表面心電計
WO2008017416A2 (en) 2006-08-07 2008-02-14 Eth Zurich Multitransducer array and method for configuring such a device
US8301239B2 (en) 2007-01-18 2012-10-30 Cardiac Pacemakers, Inc. Systems, devices and methods for acute autonomic stimulation
US8355768B2 (en) 2007-12-17 2013-01-15 California Institute Of Technology Micromachined neural probes
US8301219B2 (en) 2008-07-16 2012-10-30 The General Hospital Corporation Patient monitoring systems and methods
CN102112572B (zh) 2008-08-06 2014-07-23 弗莱康股份有限公司 用于心电图检测系统的多电极复合系统和方法
US20100086204A1 (en) 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US8004391B2 (en) 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
WO2011022068A1 (en) 2009-08-21 2011-02-24 Rutkove Seward B A hand-held device for electrical impedance myography
US20110177481A1 (en) * 2010-01-15 2011-07-21 Haff Olle Electronic device with media function and method
WO2011094399A2 (en) 2010-01-27 2011-08-04 Garber Miguel G Portable heart monitoring assembly
US8447610B2 (en) * 2010-02-12 2013-05-21 Nuance Communications, Inc. Method and apparatus for generating synthetic speech with contrastive stress
JP2011177298A (ja) 2010-02-26 2011-09-15 Tanita Corp 生体指標測定装置
JP2012075089A (ja) * 2010-09-03 2012-04-12 Nikon Corp 電子機器、及び通信システム
KR20140004639A (ko) 2010-09-30 2014-01-13 어펙티바,아이엔씨. 웹-인에이블 애플리케이션용 감정 데이터의 측정
US9026190B2 (en) * 2010-11-17 2015-05-05 Rhythm Check, Inc. Portable physiological parameter detection and monitoring device with integratable computer memory and communication disk, systems and methods of use thereof
ES2366219B1 (es) 2010-12-24 2012-09-27 Fico Mirrors, S.A. Método y sistema de medida de parámetros fisiológicos.
JP2014511620A (ja) 2011-02-27 2014-05-15 アフェクティヴァ，インコーポレイテッド 感情に基づく映像推薦
US8781565B2 (en) 2011-10-04 2014-07-15 Qualcomm Incorporated Dynamically configurable biopotential electrode array to collect physiological data
US20130143185A1 (en) * 2011-12-02 2013-06-06 Eric Liu Determining user emotional state
US20130317318A1 (en) 2012-05-25 2013-11-28 Qualcomm Incorporated Methods and devices for acquiring electrodermal activity

Also Published As

Publication number Publication date
KR101789212B1 (ko) 2017-10-23
US20140154649A1 (en) 2014-06-05
US9378655B2 (en) 2016-06-28
WO2014088844A1 (en) 2014-06-12
CN104822312B (zh) 2017-08-25
EP2925212A1 (en) 2015-10-07
CN104822312A (zh) 2015-08-05
JP2016509276A (ja) 2016-03-24

Similar Documents

Publication Publication Date Title
KR101789212B1 (ko) 사용자 감정을 전자 미디어와 연관시키는 것
US20210382941A1 (en) Video File Processing Method and Electronic Device
US9762719B2 (en) Systems and methods to enhance electronic communications with emotional context
US9681186B2 (en) Method, apparatus and computer program product for gathering and presenting emotional response to an event
CN109271081A (zh) 滚动截屏的方法及电子设备
CN109462692A (zh) 分屏显示操作方法、移动终端及计算机可读存储介质
WO2019072178A1 (zh) 一种通知处理方法及电子设备
US12135692B2 (en) File sharing method of mobile terminal and device
US11968058B2 (en) Method for adding smart home device to contacts and system
WO2015039523A1 (en) Multimedia file processing method and apparatus and terminal device
US20230176723A1 (en) Screen capturing method and electronic device
US20180109889A1 (en) Hearing aid adjustment via mobile device
CN110892411B (zh) 检测实时媒体中的流行面部
CN108170787A (zh) 一种影像文件删除方法、移动终端以及计算机可读存储介质
WO2017050090A1 (zh) 生成gif文件的方法、设备及计算机可读存储介质
US12028300B2 (en) Method, apparatus, and system for sending pictures after thumbnail selections
CN105515871B (zh) 记录日志的方法及装置
WO2023010705A1 (zh) 数据处理方法、移动终端及存储介质
CN110324488A (zh) 一种联系人信息显示方法、终端及计算机可读存储介质
CN109194829A (zh) 来电拒接回复方法、移动终端及计算机可读存储介质
CN105577653B (zh) 建立视频通话的方法及装置
KR20150105362A (ko) 잡음을 완화하고 신호 피처들을 검출하기 위한 피부 전도성 신호들의 프로세싱
CN114205318B (zh) 头像显示方法及电子设备
CN114071055B (zh) 一种快速加入会议的方法以及相关设备
CN116405596A (zh) 处理方法、智能终端及存储介质

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20150626

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160803

Comment text: Request for Examination of Application

PA0302 Request for accelerated examination

Patent event date: 20160803

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160922

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170214

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170717

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171017

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171018

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210728