KR20160125482A - 인지적 및 정서적 인간 기계 인터페이스 - Google Patents

인지적 및 정서적 인간 기계 인터페이스 Download PDF

Info

Publication number
KR20160125482A
KR20160125482A KR1020167026299A KR20167026299A KR20160125482A KR 20160125482 A KR20160125482 A KR 20160125482A KR 1020167026299 A KR1020167026299 A KR 1020167026299A KR 20167026299 A KR20167026299 A KR 20167026299A KR 20160125482 A KR20160125482 A KR 20160125482A
Authority
KR
South Korea
Prior art keywords
user
content
cognitive
data
emotional state
Prior art date
Application number
KR1020167026299A
Other languages
English (en)
Inventor
그레고리 에스. 스턴버그
유리 레즈닉
아리엘라 제이라
쇼샤나 롭
존 디. 캐웰
Original Assignee
인터디지탈 패튼 홀딩스, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지탈 패튼 홀딩스, 인크 filed Critical 인터디지탈 패튼 홀딩스, 인크
Publication of KR20160125482A publication Critical patent/KR20160125482A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G06K9/00221—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0252—Targeted advertisements based on events or environment, e.g. weather or festivals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0264—Targeted advertisements based upon schedule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

인지적, 감정적 및/또는 정서적 상태 정보는 적응적 게이밍(adaptive gaming), 광고 삽입 전달 타이밍, 운전자 또는 비행사 보조, 교육, 광고 선택, 제품 및/또는 콘텐트 제안들, 및/또는 비디오 채팅 애플리케이션들을 위하여 이용될 수도 있다. 인간 기계 인터페이스(HMI)가 생성될 수도 있다. HMI에서의 콘텐트 배치는 관리될 수도 있다. 하나 이상의 센서들로부터의 센서 데이터가 수신될 수도 있다. 콘텐트의 전달을 위한 타이밍이 결정될 수도 있다. 콘텐트의 전달을 위한 타이밍은 사용자의 결정된 인지적 상태 또는 사용자의 결정된 정서적 상태 중 적어도 하나에 기초하여 결정될 수도 있다. 콘텐트는 사용자의 인지적 상태 또는 사용자의 정서적 상태 중 적어도 하나에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다. 콘텐트는 광고를 포함할 수도 있다.

Description

인지적 및 정서적 인간 기계 인터페이스{COGNITIVE AND AFFECTIVE HUMAN MACHINE INTERFACE}
이 출원은 2014년 2월 23일자로 출원된 미국 특허 가출원 제61/943,467호의 이익을 주장하고; 그 내용들은 본원에 참조로 편입된다.
일부의 인간 기계 인터페이스(human machine interface; HMI)들은 사용자를 압도할 수도 있거나 좌절시킬 수도 있다. 예를 들어, 부적절한 시간의 광고 삽입들, 또는 과도하게 도전적이거나 지루하게 하는 게임들의 경우, 고객들은 소원해질 수도 있다. 자동차 충돌 경보 시스템들에서는, HMI가 임박한 위험의 경보들을 또한 발행하면서, 낮은-우선순위의 메시지들로 사용자를 산만하게 할 경우에, 안전이 쟁점이 될 수도 있다. 마케팅의 분야에서는, 마케팅의 유효성이 열악한 타이밍 및/또는 메시징에 의해 감소될 수도 있다. 제품들 또는 콘텐트에 관하여 소비자들에게 제안들을 행하기 위한 일부의 접근법들은 실제적인 제품 또는 콘텐트의 즐거움 또는 관심의 양호한 예측자가 아닐 수도 있는 추론 데이터를 이용할 수도 있다. 교사들 또는 컴퓨터-기반 훈련은 새로운 정보를 프로세싱하기 위한 학생의 능력에 관계 없이 진행될 수도 있으므로, 교육 설정들에서 자료를 학습하기 위한 학생들의 능력은 감소될 수도 있다. 이 방법으로 수업을 통해 진행하는 것은 효율의 손실로 귀착될 수도 있다.
사용자의 인지적 부하 및/또는 감정 정서적 상태를 알고 있을 수도 있고 이것에 적응할 수도 있는 인간 기계 인터페이스(HMI)를 생성하기 위한 시스템들, 방법들, 및 수단들이 개시되어 있다. 센서 데이터는, 우선순위화하거나, 또는 이와 다르게 사용자와의 상호작용들에 영향을 주기 위하여 이용될 수도 있는 사용자의 인지적 상태(예컨대, 인지적 부하) 및/또는 정서적 상태를 추정하기 위하여 이용될 수도 있다. 사용자의 인지적 및/또는 정서적 상태는 컨텍스트(context)로부터, 및/또는 이미 소비되었던 콘텐트로부터 추론될 수 있는 것 이외의 정보를 포함할 수도 있다. 예를 들어, 인지적 및/또는 정서적 상태 정보는 적응적 게이밍(adaptive gaming), 광고 배치 및/또는 전달 타이밍, 운전자 또는 비행사 보조, 교육, 광고 선택, 제품 및/또는 콘텐트 제안들, 및/또는 비디오 채팅 애플리케이션들을 위하여 이용될 수도 있다.
시스템은 인간 기계 인터페이스(HMI)를 생성할 수도 있다. 시스템은 HMI 에서의 콘텐트 배치를 관리할 수도 있다. 시스템은 콘텐트를 사용자에게 전달할 수도 있다. 콘텐트는 비디오 데이터, 비디오 게임 데이터, 교육 데이터, 훈련 데이터 등등을 포함할 수도 있다. 시스템은 하나 이상의 센서들로부터 센서 데이터를 수신할 수도 있다. 센서 데이터는 사용자와 연관될 수도 있다. 하나 이상의 센서들로부터의 센서 데이터는 카메라 데이터, 전기 피부 반응(galvanic skin response; GSR) 데이터, 음성 분석 데이터, 얼굴 표정 분석 데이터, 신체 언어 분석 데이터, 안구 운동 및 응시 추적 분석 데이터, 블링크 레이트(blink rate) 분석 데이터, 뇌파전위기록(electroencephalographic) 데이터, 피부전기 활동(electrodermal activity) 데이터, 동공계측(pupillometry) 데이터, 심박수(heart rate) 데이터, 혈압(blood pressure) 데이터, 호흡수(respiration rate) 데이터, 또는 체온 데이터 중 적어도 하나를 포함할 수도 있다. 시스템은 수신된 센서 데이터에 기초하여 사용자의 인지적 상태 또는 정서적 상태 중 적어도 하나를 결정할 수도 있다. 사용자의 인지적 상태는 사용자의 인지적 부하를 포함할 수도 있다. 사용자의 정서적 상태는 각성 척도(arousal measure) 및 유발성 척도(valence measure)를 포함할 수도 있다. 시스템은 수신된 센서 데이터를 분석할 수도 있다. 시스템은 2 차원 각성 유발성 공간 상에서 각성 척도 및 유발성 척도를 도표화할 수도 있다. 시스템은 도표에 기초하여 사용자를 하나 이상의 미리 정의된 정서적 상태들과 연관시킬 수도 있다.
시스템은 콘텐트의 전달을 위한 타이밍을 결정할 수도 있다. 콘텐트는 광고를 포함할 수도 있다. 콘텐트의 전달을 위한 타이밍은 사용자의 결정된 인지적 상태 또는 사용자의 결정된 정서적 상태 중 적어도 하나에 기초하여 결정될 수도 있다. 사용자의 인지적 부하가 미리 결정된 문턱 미만일 때, 또는 사용자의 정서적 상태가 사용자가 수용적이라는 것을 표시할 때, 콘텐트가 사용자에게 전달될 수도 있다. 사용자의 정서적 상태는 사용자의 정서적 상태로부터 미리 정의된 정서적 상태까지의 거리 척도가 미리 결정된 문턱 미만일 때에 사용자가 수용적이라는 것을 표시할 수도 있다. 미리 정의된 정서적 상태는 미리 정의된 각성 척도 및 미리 정의된 유발성 척도를 포함할 수도 있다. 거리 척도는 사용자의 정서적 상태와 미리 정의된 정서적 상태 사이의 거리에 기초할 수도 있다. 거리 척도는 각성 성분 및 유발성 성분을 포함할 수도 있다. 콘텐트는 결정된 타이밍에 기초하여 사용자에게 전달될 수도 있다. 콘텐트는 HMI 또는 제2 HMI를 통해 사용자에게 전달될 수도 있다.
시스템은 사용자로의 전달을 위한 콘텐트를 선택할 수도 있다. 콘텐트는 사용자의 인지적 상태 또는 사용자의 정서적 상태 중 적어도 하나에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다. 콘텐트는 사용자에 대한 자극 반응 모델(stimulus response model)에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다. 자극 반응 모델은 이전의 콘텐트에 대한 이력적 사용자 반응들(예컨대, 이에 응답하는 사용자의 인지적 및/또는 정서적 상태의 이력적 관찰들)에 기초할 수도 있다. 사용자는 고객 범주(customer category)와 연관될 수도 있다. 사용자는 자극/반응 쌍에 기초하여 고객 범주와 연관될 수도 있다. 자극/반응 쌍은 사용자에게 제시된 정보와, 제시된 정보에 응답하는 사용자의 인지적 상태 또는 정서적 상태 중 적어도 하나에 기초할 수도 있다. 시스템은 자극/반응 쌍을 저장할 수도 있다. 콘텐트는 사용자와 연관된 고객 범주에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다. 콘텐트는 미리 정의된 고객 범주에서 고객들의 자극 반응 데이터베이스에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다. 미리 정의된 고객 범주는 사용자를 포함할 수도 있다. 콘텐트는 제1 제품을 위한 제1 광고일 수도 있다. 제1 제품을 위한 제1 광고는 제2 제품을 위한 제2 광고에 대한 사용자의 이전의 반응에 기초하여 선택될 수도 있다.
도 1a는 하나 이상의 개시된 실시형태들이 구현될 수도 있는 일 예의 통신 시스템의 시스템 도면이다.
도 1b는 도 1a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 무선 송수신 유닛(wireless transmit/receive unit; WTRU)의 시스템 도면이다.
도 1c는 도 1a에서 예시된 통신 시스템 내에서 이용될 수도 있는 일 예의 라디오 액세스 네트워크 및 일 예의 코어 네트워크의 시스템 도면이다.
도 1d는 도 1a에서 예시된 통신 시스템 내에서 이용될 수도 있는 또 다른 예의 라디오 액세스 네트워크 및 또 다른 예의 코어 네트워크의 시스템 도면이다.
도 1e는 도 1a에서 예시된 통신 시스템 내에서 이용될 수도 있는 또 다른 예의 라디오 액세스 네트워크 및 또 다른 예의 코어 네트워크의 시스템 도면이다.
도 2는 동공 확장과 기억 부호화 곤란성(memory encoding difficulty) 사이의 일 예의 관계를 예시하는 도면이다.
도 3은 정서적 상태들을 범주화하기 위하여 이용될 수도 있는 일 예의 2 차원 공간을 예시하는 도면이다.
도 4는 일 예의 정서적-적응 및/또는 인지적-적응 게이밍 시스템을 예시하는 블록도이다.
도 5는 일 예의 정서적-적응 및/또는 인지적-적응 광고 전달 타이밍 시스템을 예시하는 블록도이다.
도 6은 일 예의 정서적-적응 및/또는 인지적-적응 경보 시스템을 예시하는 블록도이다.
도 7은 일 예의 정서적-적응 및/또는 인지적-적응 교육 시스템을 예시하는 블록도이다.
도 8은 일 예의 정서적-적응 및/또는 인지적-적응 제품 또는 콘텐트 제안 시스템을 예시하는 블록도이다.
도 9는 고객 범주화의 예를 예시하는 블록도이다.
도 10은 제품/콘텐트 제안의 예를 예시하는 블록도이다.
도 11은 일 예의 정서적-적응 및/또는 인지적-적응 비디오 채팅 시스템을 예시하는 블록도이다.
도 12는 인지적 및/또는 정서적 상태들을 해석들과 링크시킬 수도 있는 훈련 데이터로 상태/해석 데이터베이스를 파퓰레이팅(populate)할 수도 있는 일 예의 서브시스템을 예시하는 블록도이다.
도 13은 일 예의 비디오 주석 생성 서브시스템을 예시하는 블록도이다.
예시적인 실시형태들의 상세한 설명은 다양한 도면들을 참조하여 지금부터 설명될 것이다. 이 설명은 가능한 구현들의 상세한 예를 제공하지만, 세부사항들은 예시적이도록 의도된 것이며 결코 적용의 범위를 제한하도록 의도된 것이 아니라는 것에 주목해야 한다.
도 1a는 하나 이상의 개시된 실시형태들이 구현될 수도 있는 일 예의 통신 시스템(100)의 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐트를 다수의 무선 사용자들에게 제공하는 다중 액세스 시스템일 수도 있다. 통신 시스템(100)은 다수의 무선 사용자들이 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 이러한 콘텐트를 액세스하는 것을 가능하게 할 수도 있다. 예를 들어, 통신 시스템(100)은 코드 분할 다중 액세스(code division multiple access; CDMA), 시간 분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 단일-캐리어 FDMA(single-carrier FDMA; SC-FDMA) 등등과 같은 하나 이상의 채널 액세스 방법들을 채용할 수도 있다.
도 1a 에서 도시된 바와 같이, 개시된 실시형태들은 임의의 수의 WTRU들, 기지국(base station)들, 네트워크들, 및/또는 네트워크 엘리먼트(network element)들을 고려한다는 것이 인식될 것이지만, 통신 시스템(100)은 (일반적으로 또는 집합적으로 WTRU(102)로서 지칭될 수도 있는) 무선 송수신 유닛(WTRU)들(102a, 102b, 102c, 및/또는 102d), 라디오 액세스 네트워크(a radio access network; RAN)(103/104/105), 코어 네트워크(core network)(106/107/109), 공중 교환 전화 네트워크(public switched telephone network; PSTN)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수도 있다. WTRU들(102a, 102b, 102c, 102d)의 각각은 무선 환경에서 동작하고 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU들(102a, 102b, 102c, 102d)은 무선 신호들을 송신하고 및/또는 수신하도록 구성될 수도 있고, 사용자 장비(user equipment; UE), 이동국(mobile station), 고정 또는 이동 가입자 유닛, 페이저(pager), 셀룰러 전화, 개인 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 가전기기들 등등을 포함할 수도 있다.
통신 시스템(100)은 또한, 기지국(114a) 및 기지국(114b)을 포함할 수도 있다. 기지국들(114a, 114b)의 각각은 코어 네트워크(106/107/109), 인터넷(110), 및/또는 네트워크들(112)과 같은 하나 이상의 통신 네트워크들에 대한 액세스를 용이하게 하기 위하여 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국들(114a, 114b)은 기지국 트랜시버(base transceiver station; BTS), 노드-B(Node-B), eNode B, 홈 노드 B, 홈 eNode B, 사이트 제어기(site controller), 액세스 포인트(access point; AP), 무선 라우터(wireless router) 등등일 수도 있다. 기지국들(114a, 114b)은 단일 엘리먼트로서 각각 도시되어 있지만, 기지국들(114a, 114b)은 임의의 수의 상호접속된 기지국들 및/또는 네트워크 엘리먼트들을 포함할 수도 있다는 것이 인식될 것이다.
기지국(114a)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 중계기 노드(relay node)들 등과 같이, 다른 기지국들 및/또는 네트워크 엘리먼트들(도시되지 않음)을 또한 포함할 수도 있는 RAN(103/104/105)의 일부일 수도 있다. 기지국(114a) 및/또는 기지국(114b)은, 셀(도시되지 않음)로서 지칭될 수도 있는 특정한 지리적 영역 내에서 무선 신호들을 송신하고 및/또는 수신하도록 구성될 수도 있다. 셀은 셀 섹터(cell sector)들로 추가로 분할될 수도 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3 개의 섹터들로 분할될 수도 있다. 따라서, 하나의 실시형태에서, 기지국(114a)은 3 개의 트랜시버들, 즉, 셀의 각각의 섹터에 대해 하나를 포함할 수도 있다. 또 다른 실시형태에서, 기지국(114a)은 다중 입력 다중 출력(multiple input multiple output; MIMO) 기술을 채용할 수도 있고, 그러므로, 셀의 각각의 섹터에 대하여 다수의 트랜시버들을 사용할 수도 있다.
기지국들(114a, 114b)은, 임의의 적당한 무선 통신 링크(예컨대, 라디오 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet: UV), 가시광(visible light) 등)일 수도 있는 무선 인터페이스(115/116/117)를 통해 WTRU들(102a, 102b, 102c, 102d) 중의 하나 이상과 통신할 수도 있다. 무선 인터페이스(115/116/117)는 임의의 적당한 라디오 액세스 기술(radio access technology; RAT)을 이용하여 확립될 수도 있다.
더욱 구체적으로, 위에서 언급된 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등등과 같은 하나 이상의 채널 액세스 방식들을 채용할 수도 있다. 예를 들어, RAN(103/104/105)에서의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, 광대역 CDMA(wideband CDMA; WCDMA)를 이용하여 무선 인터페이스(115/116/117)를 확립할 수도 있는, 유니버셜 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 라디오 액세스(UMTS Terrestrial Radio Access; UTRA)와 같은 라디오 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화형 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜들을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수도 있다.
또 다른 실시형태에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, 롱텀 에볼루션(Long Term Evolution; LTE) 및/또는 LTE-어드밴스드(LTE- Advanced; LTE-A)를 이용하여 무선 인터페이스(115/116/117)를 확립할 수도 있는, 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 라디오 기술을 구현할 수도 있다.
다른 실시형태들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.16(예컨대, 마이크로파 액세스를 위한 전세계 상호운용성(Worldwide Interoperability for Microwave Access; WiMAX), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(Interim Standard 2000; IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 이동 통신을 위한 글로벌 시스템(Global System for Mobile communications; GSM), GSM 진화를 위한 증대된 데이터 레이트들(Enhanced Data rates for GSM Evolution; EDGE), GSM EDGE(GERAN) 등등과 같은 라디오 기술들을 구현할 수도 있다.
도 1a 에서의 기지국(114b)은 예를 들어, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 업무의 장소, 집, 차량, 캠퍼스 등등과 같은 국소화된 영역에서 무선 접속성(wireless connectivity)을 용이하게 하기 위한 임의의 적당한 RAT를 사용할 수도 있다. 하나의 실시형태에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 로컬 영역 네트워크(wireless local area network; WLAN)를 확립하기 위하여 IEEE 802.11과 같은 라디오 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(114b) 및 WTRU들(102c, 102d)은 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 확립하기 위하여 IEEE 802.15와 같은 라디오 기술을 구현할 수도 있다. 또 다른 실시형태에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀(picocell) 또는 펨토셀(femtocell)을 확립하기 위하여 셀룰러-기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 사용할 수도 있다. 도 1a에서 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 접속을 가질 수도 있다. 따라서, 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)을 액세스하도록 요구되지 않을 수도 있다.
RAN(103/104/105)은, 음성, 데이터, 애플리케이션들, 및/또는 보이스 오버 인터넷 프로토콜(VoIP) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중의 하나 이상에 제공하도록 구성된 임의의 타입의 네트워크일 수도 있는 코어 네트워크(106/107/109)와 통신하고 있을 수도 있다. 예를 들어, 코어 네트워크(106/107/109)는 호출 제어, 청구 서비스들, 이동 위치-기반 서비스들, 선불 통화(pre-paid calling), 인터넷 접속성, 비디오 분배 등을 제공할 수도 있고, 및/또는 사용자 인증(user authentication)과 같은 하이-레벨 보안 기능들을 수행할 수도 있다. 도 1a에서 도시되지 않았지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는 RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN들과 직접 또는 간접 통신할 수도 있다는 것이 인식될 것이다. 예를 들어, E-UTRA 라디오 기술을 사용하고 있을 수도 있는 RAN(103/104/105)에 접속되는 것에 추가하여, 코어 네트워크(106/107/109)는 또한, GSM 라디오 기술을 채용하는 또 다른 RAN(도시되지 않음)과 통신하고 있을 수도 있다.
코어 네트워크(106/107/109)는 또한, PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)을 액세스하기 위하여 WTRU들(102a, 102b, 102c, 102d)을 위한 게이트웨이로서 서빙할 수도 있다. PSTN(108)은 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선-교환 전화 네트워크(circuit-switched telephone network)들을 포함할 수도 있다. 인터넷(110)은 송신 제어 프로토콜(transmission control protocol; TCP), 사용자 데이터그램 프로토콜(user datagram protocol; UDP), 및 TCP/IP 인터넷 프로토콜 묶음에서의 인터넷 프로토콜(internet protocol; IP)과 같은 보편적인 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수도 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고 및/또는 운영되는 유선 또는 무선 통신 네트워크들을 포함할 수도 있다. 예를 들어, 네트워크들(112)은, RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 채용할 수도 있는 하나 이상의 RAN들에 접속된 또 다른 코어 네트워크를 포함할 수도 있다.
통신 시스템(100)에서의 WTRU들(102a, 102b, 102c, 102d)의 일부 또는 전부는 멀티-모드 능력들을 포함할 수도 있으며, 예컨대, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 다수의 트랜시버들을 포함할 수도 있다. 예를 들어, 도 1a 에서 도시된 WTRU(102c)는, 셀룰러-기반 라디오 기술을 채용할 수도 있는 기지국(114a)과, 그리고 IEEE 802 라디오 기술을 채용할 수도 있는 기지국(114b)과 통신하도록 구성될 수도 있다.
도 1b는 일 예의 WTRU(102)의 시스템 도면이다. 도 1b 에서 도시된 바와 같이, WTRU(102)는 프로세서(118), 트랜시버(120), 송수신 엘리먼트(transmit/receive element; 122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비착탈식 메모리(130), 착탈식 메모리(132), 전원(134), 글로벌 위치확인 시스템(global positioning system; GPS) 칩셋(136), 및 다른 주변기기들(138)을 포함할 수도 있다. WTRU(102)는 실시형태와 부합하게 유지하면서 상기한 엘리먼트들의 임의의 하위조합을 포함할 수도 있다는 것이 인식될 것이다. 또한, 실시형태들은, 기지국들(114a 및 114b), 및/또는 기지국들(114a 및 114b)이 나타낼 수도 있는 노드들, 예컨대, 그 중에서도, 트랜시버 스테이션(transceiver station; BTS), 노드-B, 사이트 제어기, 액세스 포인트(AP), 홈 노드-B, 진화형 홈 노드-B(eNodeB), 홈 진화형 노드-B(HeNB 또는 HeNodeB), 홈 진화형 노드-B 게이트웨이, 및 프록시 노드들이지만, 이것으로 제한되지는 않는 것들이 도 1b에서 도시되고 본원에서 설명된 엘리먼트들의 일부 또는 전부를 포함할 수도 있는 것을 고려한다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 기존의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit; ASIC)들, 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array; FPGA) 회로들, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신(state machine) 등등일 수도 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성을 수행할 수도 있다. 프로세서(118)는 송수신 엘리먼트(122)에 결합될 수도 있는 트랜시버(120)에 결합될 수도 있다. 도 1b는 프로세서(118) 및 트랜시버(120)를 별도의 컴포넌트들로서 도시하고 있지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 통합될 수도 있다는 것이 인식될 것이다.
송수신 엘리먼트(122)는 무선 인터페이스(115/116/117)를 통해 신호들을 기지국(예컨대, 기지국(114a))으로 송신하거나 기지국으로부터 신호들을 수신하도록 구성될 수도 있다. 예를 들어, 하나의 실시형태에서, 송수신 엘리먼트(122)는 RF 신호들을 송신하고 및/또는 수신하도록 구성된 안테나일 수도 있다. 또 다른 실시형태에서, 송수신 엘리먼트(122)는 예를 들어, IR, UV, 또는 가시광 신호들을 송신하고 및/또는 수신하도록 구성된 에미터/검출기(emitter/detector)일 수도 있다. 또 다른 실시형태에서, 송수신 엘리먼트(122)는 RF 및 광 신호들 양자를 송신하고 수신하도록 구성될 수도 있다. 송수신 엘리먼트(122)는 무선 신호들의 임의의 조합을 송신하고 및/또는 수신하도록 구성될 수도 있다는 것이 인식될 것이다.
게다가, 송수신 엘리먼트(122)는 도 1b에서 단일 엘리먼트로서 도시되어 있지만, WTRU(102)는 임의의 수의 송수신 엘리먼트들(122)을 포함할 수도 있다. 더욱 구체적으로, WTRU(102)는 MIMO 기술을 채용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 무선 신호들을 송신하고 수신하기 위한 2 개 이상의 송수신 엘리먼트들(122)(예컨대, 다수의 안테나들)을 포함할 수도 있다.
트랜시버(120)는 송수신 엘리먼트(122)에 의해 송신되어야 하는 신호들을 변조하도록, 그리고 송수신 엘리먼트(122)에 의해 수신되는 신호들을 복조하도록 구성될 수도 있다. 위에서 언급된 바와 같이, WTRU(102)는 멀티-모드 능력들을 가질 수도 있다. 따라서, 트랜시버(120)는 WTRU(102)가 예를 들어, UTRA 및 IEEE 802.11과 같은 다수의 RAT들을 통해 통신하는 것을 가능하게 하기 위한 다수의 트랜시버들을 포함할 수도 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예컨대, 액정 디스플레이(LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)에 결합될 수도 있고 이로부터 사용자 입력 데이터를 수신할 수도 있다. 프로세서(118)는 또한, 사용자 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)로 출력할 수도 있다. 게다가, 프로세서(118)는 비착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 타입의 적당한 메모리로부터 정보를 액세스할 수도 있고, 이 메모리 내에 데이터를 저장할 수도 있다. 비착탈식 메모리(130)는 랜덤-액세스 메모리(random-access memory; RAM), 판독전용 메모리(read-only memory; ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수도 있다. 착탈식 메모리(132)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 보안 디지털(secure digital; SD) 메모리 카드 등등을 포함할 수도 있다. 다른 실시형태들에서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시되지 않음) 상에서와 같이, WTRU(102) 상에 물리적으로 위치되지 않은 메모리로부터 정보를 액세스할 수도 있고, 이 메모리 내에 데이터를 저장할 수도 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수도 있고, 전력을 WTRU(102)에서의 다른 컴포넌트들로 분배하고 및/또는 제어하도록 구성될 수도 있다. 전원(134)은 WTRU(102)에 급전하기 위한 임의의 적당한 디바이스일 수도 있다. 예를 들어, 전원(134)은 하나 이상의 건전지 배터리들(예컨대, 니켈-카드뮴(nickel-cadmium; NiCd), 니켈-아연(nickel-zinc; NiZn), 니켈 금속 수소화물(nickel metal hydride; NiMH), 리튬-이온(lithium-ion; Li-ion) 등), 태양 전지(solar cell)들, 연료 전지들 등등을 포함할 수도 있다.
프로세서(118)는 또한, WTRU(102)의 현재의 위치에 관한 위치 정보(예컨대, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(136)에 결합될 수도 있다. GPS 칩셋(136)으로부터의 정보에 추가적으로 또는 이에 대신하여, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 기지국(예컨대, 기지국들(114a, 114b))으로부터 위치 정보를 수신할 수도 있고, 및/또는 2 개 이상의 근접 기지국들로부터 수신되고 있는 신호들의 타이밍에 기초하여 그 위치를 결정할 수도 있다. WTRU(102)는 실시형태와 부합하게 유지하면서 임의의 적당한 위치-결정 구현을 통해 위치 정보를 취득할 수도 있다는 것이 인식될 것이다.
프로세서(118)는, 추가적인 특징들, 기능성, 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수도 있는 다른 주변기기들(138)에 추가로 결합될 수도 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자-나침판(e-compass), 위성 트랜시버, (사진들 또는 비디오를 위한) 디지털 카메라, 유니버셜 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈 프리(hands free) 헤드셋, Bluetooth® 모듈, 주파수 변조된(FM) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저(internet browser) 등등을 포함할 수도 있다.
도 1c는 실시형태에 따른 RAN(103) 및 코어 네트워크(106)의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(103)은 무선 인터페이스(115)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위하여 UTRA 라디오 기술을 채용할 수도 있다. RAN(103)은 또한, 코어 네트워크(106)와 통신하고 있을 수도 있다. 도 1c에서 도시된 바와 같이, RAN(103)은, 무선 인터페이스(115)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있는 노드-B들(140a, 140b, 140c)을 포함할 수도 있다. 노드-B들(140a, 140b, 140c)은 RAN(103) 내의 특정한 셀(도시되지 않음)과 각각 연관될 수도 있다. RAN(103)은 또한, RNC들(142a, 142b)을 포함할 수도 있다. RAN(103)은 실시형태와 부합하게 유지하면서 임의의 수의 노드-B들 및 RNC들을 포함할 수도 있다는 것이 인식될 것이다.
도 1c에서 도시된 바와 같이, 노드-B들(140a, 140b)은 RNC(142a)와 통신하고 있을 수도 있다. 추가적으로, 노드-B(140c)는 RNC(142b)와 통신하고 있을 수도 있다. 노드-B들(140a, 140b, 140c)은 Iub 인터페이스를 통해 개개의 RNC들(142a, 142b)과 통신할 수도 있다. RNC들(142a, 142b)은 Iur 인터페이스를 통해 서로 통신하고 있을 수도 있다. RNC들(142a, 142b)의 각각은 그것이 접속되는 개개의 노드-B들(140a, 140b, 140c)을 제어하도록 구성될 수도 있다. 게다가, RNC들(142a, 142b)의 각각은 외부 루프 전력 제어, 부하 제어, 수락 제어(admission control), 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티(macrodiversity), 보안 기능들, 데이터 암호화 등등과 같은 다른 기능성을 수행하거나 지원하도록 구성될 수도 있다.
도 1c에서 도시된 코어 네트워크(106)는 미디어 게이트웨이(media gateway; MGW)(144), 이동 스위칭 센터(mobile switching center; MSG)(146), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(148), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(150)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(106)의 일부로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유되고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
RAN(103)에서의 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106)에서의 MSC(146)에 접속될 수도 있다. MSC(146)는 MGW(144)에 접속될 수도 있다. MSC(146) 및 MGW(144)는 WTRU들(102a, 102b, 102c)과 전통적인 지상-라인(land-line) 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여, PSTN(108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다.
RAN(103)에서의 RNC(142a)는 또한, IuPS 인터페이스를 통해 코어 네트워크(106)에서의 SGSN(148)에 접속될 수도 있다. SGSN(148)은 GGSN(150)에 접속될 수도 있다. SGSN(148) 및 GGSN(150)은 WTRU들(102a, 102b, 102c)과 IP-가능형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다.
위에서 언급된 바와 같이, 코어 네트워크(106)는 또한, 다른 서비스 제공자들에 의해 소유되고 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(112)에 접속될 수도 있다.
도 1d는 실시형태에 따른 RAN(104) 및 코어 네트워크(107)의 시스템 도면이다. 위에서 언급된 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위하여 E-UTRA 라디오 기술을 채용할 수도 있다. RAN(104)은 또한, 코어 네트워크(107)와 통신하고 있을 수도 있다.
RAN(104)은 실시형태와 부합하게 유지하면서 임의의 수의 eNode-B들을 포함할 수도 있다는 것이 인식될 것이지만, RAN(104)은 eNode-B들(160a, 160b, 160c)을 포함할 수도 있다. eNode-B들(160a, 160b, 160c)은 무선 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있다. 하나의 실시형태에서, eNode-B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수도 있다. 따라서, eNode-B(160a)는 예를 들어, 무선 신호들을 WTRU(102a)로 송신하고 WTRU(402a)로부터 무선 신호들을 수신하기 위하여, 다수의 안테나들을 이용할 수도 있다.
eNode-B들(160a, 160b, 160c)의 각각은 특정한 셀(도시되지 않음)과 연관될 수도 있고, 라디오 자원 관리 판정들, 핸드오버 판정들, 업링크 및/또는 다운링크에서의 사용자들의 스케줄링 등등을 처리하도록 구성될 수도 있다. 도 1d에서 도시된 바와 같이, eNode-B들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수도 있다.
도 1d에서 도시된 코어 네트워크(107)는 이동성 관리 게이트웨이(mobility management gateway; MME)(162), 서빙 게이트웨이(serving gateway; 164), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(166)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(107)의 일부로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유되고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104)에서의 eNode-B들(160a, 160b, 160c)의 각각에 접속될 수도 있고, 제어 노드로서 서빙할 수도 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들을 인증하는 것, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 연결 동안에 특정한 서빙 게이트웨이를 선택하는 것 등등을 담당할 수도 있다. MME(162)는 또한, RAN(104)과, GSM 또는 WCDMA와 같은 다른 라디오 기술들을 채용하는 다른 RAN들(도시되지 않음)과의 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수도 있다.
서빙 게이트웨이(164)는 S1 인터페이스를 통해 RAN(104)에서의 eNode-B들(160a, 160b, 160c)의 각각에 접속될 수도 있다. 서빙 게이트웨이(164)는 일반적으로, WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷들을 라우팅하고 포워딩할 수도 있다. 서빙 게이트웨이(164)는 또한, 인터-eNode B 핸드오버들 동안에 사용자 평면들을 앵커링(anchoring) 하는 것, 다운링크 데이터가 WTRU들(102a, 102b, 102c)에 대해 이용가능할 때에 페이징을 트리거링하는 것, WTRU들(102a, 102b, 102c)의 컨텍스트(context)들을 관리하고 저장하는 것 등등과 같은 다른 기능들을 수행할 수도 있다.
서빙 게이트웨이(164)는 또한, WTRU들(102a, 102b, 102c)과 IP-가능형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있는 PDN 게이트웨이(166)에 접속될 수도 있다.
코어 네트워크(107)는 다른 네트워크들과의 통신들을 용이하게 할 수도 있다. 예를 들어, 코어 네트워크(107)는 WTRU들(102a, 102b, 102c)과 전통적인 지상-라인 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여, PSTN(108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다. 예를 들어, 코어 네트워크(107)는, 코어 네트워크(107)와 PSTN(108) 사이의 인터페이스로서 서빙하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 이 IP 게이트웨이와 통신할 수도 있다. 게다가, 코어 네트워크(107)는, 다른 서비스 제공자들에 의해 소유되고 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다.
도 1e는 실시형태에 따른 RAN(105) 및 코어 네트워크(109)의 시스템 도면이다. RAN(105)은 무선 인터페이스(117)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위하여 IEEE 802.16 라디오 기술을 채용하는 액세스 서비스 네트워크(access service network; ASN)일 수도 있다. 이하에서 추가로 논의되는 바와 같이, WTRU들(102a, 102b, 102c), RAN(105)의 상이한 기능적 엔티티들과 코어 네트워크(109) 사이의 통신 링크들은 기준 포인트(reference point)들로서 정의될 수도 있다.
도 1e에서 도시된 바와 같이, RAN(105)은 실시형태와 부합하게 유지하면서 임의의 수의 기지국들 및 ASN 게이트웨이들을 포함할 수도 있는 것이 인식될 것이지만, RAN(105)은 기지국들(180a, 180b, 180c) 및 ASN 게이트웨이(182)를 포함할 수도 있다. 기지국들(180a, 180b, 180c)은 RAN(105)에서의 특정한 셀(도시되지 않음)과 각각 연관될 수도 있고, 무선 인터페이스(117)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버들을 각각 포함할 수도 있다. 하나의 실시형태에서, 기지국들(180a, 180b, 180c)은 MIMO 기술을 구현할 수도 있다. 따라서, 기지국(180a)은 예를 들어, 무선 신호들을 WTRU(102a)로 송신하고 WTRU(102a)로부터 무선 신호들을 수신하기 위하여, 다수의 안테나들을 이용할 수도 있다. 기지국들(180a, 180b, 180c)은 또한, 핸드오프 트리거링, 터널 확립, 라디오 자원 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 집행 등등과 같은 이동성 관리 기능들을 제공할 수도 있다. ASN 게이트웨이(182)는 트래픽 집합 포인트(traffic aggregation point)로서 서빙할 수도 있고, 페이징, 가입자 프로파일들의 캐싱(caching), 코어 네트워크(109)로의 라우팅 등등을 담당할 수도 있다.
WTRU들(102a, 102b, 102c)과 RAN(105) 사이의 무선 인터페이스(117)는 IEEE 802.16 사양을 구현하는 R1 기준 포인트로서 정의될 수도 있다. 게다가, WTRU들(102a, 102b, 102c)의 각각은 코어 네트워크(109)와 논리적 인터페이스(도시되지 않음)를 확립할 수도 있다. WTRU들(102a, 102b, 102c)과 코어 네트워크(109) 사이의 논리적 인터페이스는, 인증, 허가, IP 호스트 구성 관리, 및/또는 이동성 관리를 위하여 이용될 수도 있는 R2 기준 포인트로서 정의될 수도 있다.
기지국들(180a, 180b, 180c)의 각각 사이의 통신 링크는, 기지국들 사이의 WTRU 핸드오버들 및 데이터의 전송을 용이하게 하기 위한 프로토콜들을 포함하는 R8 기준 포인트로서 정의될 수도 있다. 기지국들(180a, 180b, 180c)과 ASN 게이트웨이(182) 사이의 통신 링크는 R6 기준 포인트로서 정의될 수도 있다. R6 기준 포인트는 WTRU들(102a, 102b, 102c)의 각각과 연관된 이동성 이벤트들에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜들을 포함할 수도 있다.
도 1e에서 도시된 바와 같이, RAN(105)은 코어 네트워크(109)에 접속될 수도 있다. RAN(105)과 코어 네트워크(109) 사이의 통신 링크는 예를 들어, 데이터 전송 및 이동성 관리 능력들을 용이하게 하기 위한 프로토콜들을 포함하는 R3 기준 포인트로서 정의될 수도 있다. 코어 네트워크(109)는 이동 IP 홈 에이전트(mobile IP home agent; MIP-HA)(184), 인증, 허가, 과금(authentication, authorization, accounting; AAA) 서버(186), 및 게이트웨이(188)를 포함할 수도 있다. 상기한 엘리먼트들의 각각은 코어 네트워크(109)의 일부로서 도시되어 있지만, 이 엘리먼트들 중의 임의의 하나는 코어 네트워크 운영자 이외의 엔티티에 의해 소유되고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MIP-HA는 IP 어드레스 관리를 담당할 수도 있고, WTRU들(102a, 102b, 102c)이 상이한 ASN들 및/또는 상이한 코어 네트워크들 사이에서 로밍(roaming)하는 것을 가능하게 할 수도 있다. MIP-HA(184)는 WTRU들(102a, 102b, 102c)과 IP-가능형 디바이스들 사이의 통신들을 용이하게 하기 위하여, 인터넷(110)과 같은 패킷-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다. AAA 서버(186)는 사용자 인증과, 사용자 서비스들을 지원하는 것을 담당할 수도 있다. 게이트웨이(188)는 다른 네트워크들과의 상호연동(interworking)을 용이하게 할 수도 있다. 예를 들어, 게이트웨이(188)는 WTRU들(102a, 102b, 102c)과 전통적인 지상-라인 통신 디바이스들 사이의 통신들을 용이하게 하기 위하여, PSTN(108)과 같은 회선-교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다. 게다가, 게이트웨이(188)는, 다른 서비스 제공자들에 의해 소유되고 및/또는 운영되는 다른 유선 또는 무선 네트워크들을 포함할 수도 있는 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수도 있다.
도 1e에서 도시되어 있지 않지만, RAN(105)은 다른 ASN들에 접속될 수도 있고 코어 네트워크(109)는 다른 코어 네트워크들에 접속될 수도 있는 것이 인식될 것이다. RAN(105)과 다른 ASN들 사이의 통신 링크는, RAN(105)과 다른 ASN들 사이에서 WTRU들(102a, 102b, 102c)의 이동성을 조정하기 위한 프로토콜들을 포함할 수도 있는 R4 기준 포인트로서 정의될 수도 있다. 코어 네트워크(109)와 다른 코어 네트워크들 사이의 통신 링크는, 홈 코어 네트워크들과 방문 코어 네트워크들 사이의 상호연동을 용이하게 하기 위한 프로토콜들을 포함할 수도 있는 R5 기준으로서 정의될 수도 있다.
인간-기계 인터페이스(HMI)는 하나 이상의 센서들로부터 데이터(예컨대, 센서 데이터)를 수신할 수도 있다. HMI는 수신된 센서 데이터에 기초하여, 사용자의 인지적 상태 및/또는 사용자의 정서적 상태를 결정할 수도 있다. HMI는 사용자의 인지적 상태 및/또는 정서적 상태에 적응할 수도 있다. HMI는 콘텐트를 사용자에게 전달할 수도 있다. 콘텐트는 도 1a 내지 도 1e에서 도시된 바와 같이 WTRU(102)(예컨대, 스마트폰 핸드셋 또는 태블릿 컴퓨터 등)를 통해 사용자에게 전달될 수도 있다. WTRU(102)는 도 1b에서 도시된 바와 같이, 프로세서(118) 및 디스플레이(128)를 포함할 수도 있다. 시스템들(400, 500, 600, 700, 800, 900, 1000, 1100, 1200, 및 1300)은, 본원에서 개시된 바와 같이, 도 1c 내지 도 1e에서 예시된 시스템들과 같은 시스템을 이용하여 구현될 수도 있다. 콘텐트는 비디오 데이터, 비디오 게임 데이터, 교육 데이터, 및/또는 훈련 데이터를 포함할 수도 있다.
인지적 부하 및/또는 정서적 상태에 상관될 수도 있는 하나 이상(예컨대, 다수)의 신호들이 캡처될 수도 있다. 하나 이상의 신호들은 하나 이상의 센서들로부터 수신된 센서 데이터를 포함할 수도 있다. 예를 들어, 동공 확장은 인지적 노력과 연관될 수도 있다. 심리학적인 자극들에 의해 도출된 동공 확장에 있어서의 변화는 대략 0.5 mm일 수도 있다. 동공 확장에 있어서의 변화는 부교감 신경계(parasympathetic nervous system)에 의한 신경 억제 메커니즘(neural inhibitory mechanism)의 결과로서 발생할 수도 있다. 도 2는 피험자들이 곤란성의 변동되는 레벨들로 기억들을 부호화하였던 동안에 피험자의 동공 직경들이 측정되었던 연구의 일 예의 결과들을 예시하는 도면이다. 도 2를 참조하면, 기억을 부호화하는 것은 동공 직경에 있어서의 증가와 상관될 수도 있다. 부호화된 기억의 곤란성의 레벨은 동공 직경에 있어서의 증가의 크기와 상관될 수도 있다.
침습성(invasiveness)의 변동되는 레벨들로 인지적 부하 및/또는 정서적 상태를 측정하기 위한 다수의 접근법들이 있을 수도 있다. 인지적 부하 및/또는 정서적 상태를 측정하기 위한 접근법들은 전기 피부 반응(GSR) 또는 피부전기 활동, 음성 분석, 얼굴 표정 분석, 신체 언어 분석, 안구 운동 및 응시 추적, 블링크 레이트 분석, 심박수 분석, 혈압 분석, 호흡수 분석, 체온 분석, 및/또는 뇌파전위기록술(electroencephalography)을 포함할 수도 있다. 인지적 부하 및/또는 정서적 상태 추정(예컨대, 결정)은 (예컨대, 데이터를 획득하는 설정 및 실현가능성에 따라) 인지적 부하 및/또는 정서적 상태를 측정하기 위한 접근법들 중의 하나 이상을 이용하여 수행될 수도 있다.
정서적 컴퓨팅은 인간 정서들을 인식할 수 있고, 해석할 수 있고, 프로세싱할 수 있고, 및/또는 시뮬레이팅할 수 있는 시스템들 및/또는 디바이스들의 연구 및 개발을 포함할 수도 있다. 정서적 컴퓨팅은 적어도 컴퓨터 과학, 심리학, 및/또는 인지 과학에 걸쳐 있는 복합 분야일 수도 있다. 기계는 인간의 감정적 상태를 해석할 수도 있다. 기계는 거동을 인간의 감정적 상태에 적응할 수도 있다. 기계는 인간의 감정적 상태에 대한 적절한 반응을 제공할 수도 있다.
정서적 상태는 하나 이상의 미리 정의된 정서적 상태들로 범주화될 수도 있다. 정서적 상태는 도 3에서의 예로서 도시된 바와 같이, 공간에서 범주화될 수도 있다. 하나 이상의 미리 정의된 정서적 상태들은 인간 정서의 추정치에 기초한 의사 결정을 가능하게 할 수도 있다. 도 3은 유발성에 대하여 각성을 도표화함으로써 정서적 상태들을 범주화하기 위하여 이용될 수도 있는 일 예의 2 차원 공간 (300) 을 예시하는 도면이다. 2 차원 공간은 하나 이상의 미리 정의된 정서적 상태들을 포함할 수도 있다. 2 차원 공간은 유발성 축에 수직인 각성 축을 포함할 수도 있다. 미리 정의된 정서적 상태는 각성 척도 및 유발성 척도에 의해 정의될 수도 있다. 각성 척도는 각성 축으로부터의 제1 거리를 포함할 수도 있다. 유발성 척도는 유발성 축으로부터의 제2 거리를 포함할 수도 있다. 하나 이상의 미리 정의된 정서적 상태들은 분노, 긴장, 공포, 중립, 기쁨, 슬픔, 및/또는 이완을 포함할 수도 있다. 예를 들어, 분노한 미리 정의된 정서적 상태는 부정적 유발성 척도 및 흥분된 각성 척도를 포함할 수도 있다. 또 다른 예로서, 긴장된 미리 정의된 정서적 상태는 적당한 부정적 유발성 척도 및 적당한 흥분된 각성 척도를 포함할 수도 있다. 또 다른 예로서, 공포스러운 미리 정의된 정서적 상태는 부정적 유발성 척도 및 적당하게 흥분된 각성 척도를 포함할 수도 있다. 또 다른 예로서, 중립적인 미리 정의된 정서적 상태는 약간 흥분되거나 차분한 유발성 척도 및 약간 긍정적이거나 부정적인 각성 척도를 포함할 수도 있다. 또 다른 예로서, 기쁜 미리 정의된 정서적 상태는 긍정적인 유발성 척도 및 흥분된 각성 척도를 포함할 수도 있다. 또 다른 예로서, 슬픈 미리 정의된 정서적 상태는 부정적 유발성 척도 및 차분한 각성 척도를 포함할 수도 있다. 또 다른 예로서, 이완된 정서적 상태는 긍정적 유발성 척도 및 차분한 각성 척도를 포함할 수도 있다. 각성은 깨어 있고 및/또는 자극들에 반응하는 생리학적 및/또는 심리학적 상태일 수도 있다. 유발성은 이벤트, 객체, 또는 상황의 매력도(attractiveness)(예컨대, 긍정적인 유발성) 또는 이에 대한 혐오감(aversiveness)(예컨대, 부정적인 유발성)의 척도일 수도 있다.
각성 및/또는 유발성은 추적될 수도 있다. 예를 들어, 각성 및/또는 유발성은 스피치 분석, 얼굴 표정 분석, 신체 언어 분석, 뇌파전위기록술, 전기 피부 반응(GSR) 또는 피부전기 활동(예컨대, 교감 신경계의 활동, 예컨대, 투쟁 또는 도피 반응(fight or flight response)의 척도), 떨림 또는 움직임 분석, 동공 측정, 안구 움직임/응시 분석, 블링크 레이트 분석, 심박수 분석, 혈압 분석, 호흡수 분석, 및/또는 체온 분석을 통해 추적될 수도 있다. 하나 이상의 미리 정의된 정서적 상태들이 결정될 수도 있고, 각성 및 유발성을 도표화하는 2 차원 공간 상에서 도표화될 수도 있다. 미리 정의된 정서적 상태는 하나 이상의 미리 정의된 정서적 상태들과 동시에 발생할 수도 있다. 사용자에 대한 각성 척도 및 유발성 척도는 다양한 시간들에서 결정될 수도 있다. 다양한 시간들에서, 각성 척도 및 유발성 척도는 2 차원 각성 유발성 공간 상에서 측정되고 및/또는 도표화될 수도 있다.
게임 설계자(예컨대, 비디오 게임 설계자)는 사용자를 좌절시킬 수도 있는, 게임들을 도전적(예컨대, 과도하게 도전적)으로 만드는 것과, 사용자를 지루하게 할 수도 있는, 게임들을 용이하게(예컨대, 과도하게 용이하게) 만드는 것 사이의 균형을 달성하는 것을 시도할 수도 있다. 센서 데이터는 카메라들, 가속도계들, 모션 추적기들, 응시 추적기들, 및/또는 등등을 편입시키는 게이밍 플랫폼들을 이용하여 캡처될 수도 있다. 센서 데이터는 사용자의 정서적 및/또는 인지적 상태를 결정하기 위하여 분석될 수도 있다. 센서 데이터를 분석하는 것은 GSR, 떨림, 신체 언어, 및/또는 얼굴 표정들과 같은 다른 센서 입력 데이터와 함께, 사용자의 캡처된 하나 이상의 비디오 이미지들을 분석하는 것을 포함할 수도 있다. 게임 콘텐트는 (예컨대, 사용자의 참여를 증가시키거나 최대화하기 위하여, 및/또는 소모(attrition)를 감소시키거나 최소화하기 위하여) 결정된 정서적 및/또는 인지적 상태에 기초하여 조절될 수도 있다.
예를 들어, 게임 콘텐트는 사용자의 유발성 및 각성 척도들이 게임 플레이에 있어서의 과도한 분노를 표시할 때에 곤란성의 레벨을 감소시킴으로써 적응될 수도 있다. 동공계측 추정치들이 사용자가 포화되어 있고 및/또는 기억들을 부호화할 수 없다는 것을 표시할 경우, 게임 콘텐트는 동공계측 추정치들에 기초하여 조절될 수도 있다. 시스템은 개방-루프(open-loop) 방식으로 이 절충에 접근할 수도 있다. 예를 들어, 사용자가 문턱 횟수를 초과하여 목적을 달성하는 것을 시도한 후, 시스템은 힌트 또는 또 다른 형태의 보조를 사용자에게 제공할 수도 있다. 폐쇄-루프 접근법은 게임 콘텐트에 대한 사용자의 반응에 더욱 동조될 수도 있다. 일부의 시스템들은 사용자가 게임에 대한 곤란성의 레벨을 선택하도록 할 수도 있다. 적응적 곤란성 모드는 곤란성의 레벨을 사용자의 측정된 정서적 및/또는 인지적 상태에 기초할 수도 있다. 정서적 및/또는 인지적 상태는 이러한 보조가 사용자의 게이밍 경험을 개선시킬 수도 있다는 것을 표시할 수도 있으므로, 시스템은 보조 및/또는 힌트들을 제공할 수도 있다. 적응적 곤란성은 예를 들어, 사용자의 선호도들에 기초하여 인에이블되거나 디스에이블될 수도 있다.
도 4는 일 예의 정서적-적응 및/또는 인지적-적응 게이밍 시스템(400)에서의 일 예의 정보의 흐름을 예시하는 블록도이다. 하나 이상의 센서들(402)은 사용자(404)와 연관된 데이터(예컨대, 센서 데이터)를 획득할 수도 있다. 하나 이상의 센서들(402)은 406에서의 인지적/정서적 상태 추정을 위한 데이터를 제공할 수도 있다. 406에서의 인지적/정서적 상태 추정은 사용자의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)하기 위하여 데이터를 이용할 수도 있다. 사용자의 인지적 상태는 사용자의 인지적 부하를 포함할 수도 있다. 결정된 사용자 인지적 및/또는 정서적 상태 정보는 408에서의 게임 곤란성 적응을 위하여 제공될 수도 있다. 408에서의 게임 곤란성 적응은 사용자의 결정된 인지적 및/또는 정서적 상태에 기초하여, 게임의 곤란성 레벨을 조절할 수도 있고 및/또는 사용자에게 제공하기 위한 힌트들 및/또는 다른 보조를 결정할 수도 있다. 408에서의 게임 곤란성 적응에 의해 구현된 조절들은 게임 엔진(410)에 의해 수행될 수도 있다. 게임 엔진(410)은 게임 경험을 사용자(404)에게 제시할 수도 있다.
콘텐트(예컨대, 하나 이상의 광고들)의 전달(예컨대, 삽입)을 위한 타이밍이 결정될 수도 있다. 전달을 위한 타이밍은 하나 이상의 광고들의 영향을 증가(예컨대, 최대화)시킬 수도 있다. 사용자의 정서적 및/또는 인지적 상태는 광고 배치(예컨대, 전달을 위한 타이밍)에 영향을 주기 위하여 이용될 수도 있다. 광고들이 사용자의 세션 동안의 잘못된 시간(예컨대, 사용자가 다른 활동들로 포화되어 있을 때)에 삽입될 경우, 마케팅 메시지가 손실될 수도 있거나, 광고가 우회될 수도 있다. 사용자의 정서적 및/또는 인지적 상태를 추적함으로써, 시스템은 메시지 전달의 효력을 증가시키거나 최대화할 수도 있고 및/또는 광고 우회들(예컨대, "광고 건너띄기" 클릭들)의 빈도를 감소시키거나 최소화할 수도 있는 시간에 광고들을 삽입할 수도 있다. 전달의 타이밍에 대한 조절은 광고 삽입들의 전체적인 레이트에 영향을 주지 않을 수도 있다. 전달의 타이밍에 대한 조절은 삽입의 타이밍을 최적화할 수도 있다. 예를 들어, 시간 윈도우(time window)는 광고가 삽입될 수도 있는 동안의 시간의 지속기간을 포함할 수도 있다. 시간 윈도우 내에서의 광고 전달의 타이밍은 사용자의 인지적 및/또는 정서적 상태에 기초하여 결정될 수도 있다. 광고는 윈도우 내의 특정한 시간에서의 사용자의 수용적인 인지적 상태 및/또는 수용적인 정서적 상태의 검출에 기초하여 윈도우 내에서의 특정한 시간에 삽입될 수도 있다. 사용자의 정서적 및/또는 인지적 상태가 시간 윈도우에서 더욱 조기에 광고 삽입을 트리거링하지 않았다는 것을 조건으로 하여, 광고는 시간 윈도우의 종점에서 또는 시간 윈도우의 종점을 향해 삽입될 수도 있다. 콘텐트 관측 타임라인(content viewing timeline)은 하나 또는 다수의 광고들이 사용자가 콘텐트를 관측할 때에 삽입되도록, 이러한 시간 윈도우들과 중첩될 수도 있거나, 하나 또는 다수의 이러한 시간 윈도우들로 분할될 수도 있다. 예를 들어, 1 시간 길이 비디오 프로그램(또는 단일 비디오 프로그램이 아니더라도, 1 시간의 비디오 관측)은 각각 12 분의 5 개의 시간 윈도우들로 분할될 수도 있고, 사용자의 인지적 및/또는 정서적 상태는 5 개의 시간 윈도우들의 각각으로의 광고의 전달(예컨대, 삽입)의 타이밍을 조절하기 위하여 이용될 수도 있다. 이러한 방법으로, 광고자는 광고 삽입의 미리 결정된 전체적인 레이트(예컨대, 시간 당 5 개의 광고들)를 유지하면서, 사용자의 수용적인 인지적 및/또는 정서적 상태들과 일치시키기 위하여 광고들의 전달의 시간을 정할 수도 있다. 시간 윈도우는 정규화된 피크 검출기와 조합될 수도 있다. 정규화된 피크 검출기는 사용자의 정서적 및/또는 인지적 상태의 이동 평균에 기초하여 정서적 및/또는 인지적 상태 정규화를 결정할 수도 있다. 광고 배치를 위한 문턱 정서적 및/또는 인지적 상태는 더 낮은 평균 반응으로 사용자에게 적응할 수도 있다.
도 5는 일 예의 정서적-적응 및/또는 인지적-적응 광고 삽입 타이밍 시스템(500)에서의 일 예의 정보의 흐름을 예시하는 블록도이다. 하나 이상의 센서들(502)은 사용자(504)와 연관된 데이터(예컨대, 센서 데이터)를 획득할 수도 있다. 하나 이상의 센서들(502)은 인지적/정서적 상태 추정(506)을 위한 데이터를 제공할 수도 있다. 인지적/정서적 상태 추정 서브시스템(506)은 사용자(504)의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)하기 위하여 데이터를 이용할 수도 있다. 예를 들어, 사용자의 각성 및 유발성은 데이터에 기초하여 결정될 수도 있다. 사용자(504)의 각성 및 유발성은 2 차원 각성 및 유발성 공간 상에서 도표화될 수도 있다. 사용자(504)의 정서적 상태는 사용자(504)의 도표화된 각성 및 유발성에 기초하여 결정될 수도 있다. 사용자는 각성 및 유발성의 도표에 기초하여 하나 이상의 미리 정의된 정서적 상태들과 연관될 수도 있다. 사용자(504)의 인지적 상태는 데이터에 기초하여 결정될 수도 있다. 사용자(504)의 인지적 상태는 사용자(504)의 인지적 부하를 포함할 수도 있다.
사용자(504)의 결정된 인지적 및/또는 정서적 상태는 508에서의 광고 전달 타이밍을 위하여 제공될 수도 있다. 인지적/정서적 상태 추정(506)은 네트워크(510)를 통해 제공될 수도 있다. 508에서의 광고 전달 타이밍은 사용자(504)의 결정된 인지적 및/또는 정서적 상태에 기초하여 하나 이상의 광고들의 전달(예컨대, 스케줄 삽입)을 위한 타이밍을 결정할 수도 있다. 광고 삽입은 사용자가 수용적일 때에 트리거링될 수도 있다. 예를 들어, 광고는 사용자가 수용적일 때에 사용자에게 전달될 수도 있다. 사용자의 정서적 상태는 사용자가 언제 수용적인지를 표시할 수도 있다. 예를 들어, 사용자의 정서적 상태로부터 미리 정의된 정서적 상태까지의 거리 척도가 결정될 수도 있다. 미리 정의된 정서적 상태는 미리 정의된 각성 척도 및 미리 정의된 유발성 척도를 포함할 수도 있다. 사용자의 정서적 상태로부터 미리 결정된 정서적 상태까지의 거리 척도가 미리 결정된 문턱 미만일 때, 사용자는 수용적일 수도 있다. 사용자가 적당하게 높은 각성 및 높은 유발성을 나타내고 있을 수도 있을 때, 사용자는 수용적일 수도 있다. 광고는 사용자의 인지적 부하가 미리 결정된 문턱 미만일 때에 사용자에게 전달될 수도 있다. 사용자의 인지적 부하는 사용자가 새로운 기억들을 부호화할 수 있을 때에 미리 결정된 문턱 미만일 수도 있다.
508에서의 하나 이상의 광고들의 전달을 위한 결정된 타이밍은 콘텐트 발행자(content publisher; 512)에게 제공될 수도 있다. 콘텐트 발행자(512)는 결정된 타이밍에 기초하여 하나 이상의 광고들 및/또는 다른 콘텐트를 사용자(504)에게 전달할 수도 있다. 정서적-적응 및/또는 인지적-적응 광고 삽입 타이밍 시스템(500)은 도 1c 내지 도 1e에서 도시된 시스템들과 같은 시스템 아키텍처를 이용하여 구현될 수도 있다. 예를 들어, 광고 및/또는 콘텐트는 도 1c 내지 도 1e에서 도시된 바와 같이 WTRU(102)(예컨대, 스마트폰 핸드셋 또는 태블릿 컴퓨터 등)를 통해 사용자에게 전달될 수도 있다. 사용자의 인지적 부하를 모니터링하고, 사용자가 새로운 기억들을 부호화할 수 있을 수도 있을 때에 광고를 트리거링(예컨대, 전달)함으로써, 광고의 마케팅 메시지의 유지가 증가되거나 최대화될 수도 있다. 사용자의 인지적 부하가 미리 결정된 문턱 미만일 때에 광고가 전달되면, 사용자의 거동이 광고 마케팅 메시지에 의해 변화될 수도 있을 가능성이 증가될 수도 있다.
사용자의 정서적 및/또는 인지적 상태는 운전자들 및/또는 비행사들을 보조하기 위하여 이용될 수도 있다. 사용자의 인지적 상태는 사용자의 정서적 상태보다 더 큰 가중치를 부여받을 수도 있다(예컨대, 인지적 프로세싱이 정서적 상태보다 더욱 중요할 수도 있음). 인포테인먼트 시스템(infotainment system)들의 적응은 본원에서 개시된 바와 같은 정서적 상태 추정을 레버리지로 활용할 수도 있다. 예를 들어, 음악은 운전자의 정서적 상태에 기초하여 운전자에게 제안될 수도 있다.
운전자들 또는 비행사들은 더 낮은 우선순위의 인터페이스 경보들로 산만하게 되거나 포화될 수도 있고, 충돌 경보들과 같은 높은 우선순위의 메시지들을 놓칠 수도 있다. 사용자의 인지적 부하는 예를 들어, (예컨대, 후방-관측 미러 또는 대시보드 장착형 카메라를 이용한) 동공계측, (예컨대, 조향 휠 또는 항공기 요크(aircraft yoke) 내에 편입된 GSR 센서들을 이용한) GSR, (예컨대, 차량 통신 시스템에 의해 캡처된 바와 같은) 음성 분석, 및/또는 (예컨대, GPS 등에 기초한) 차량 내비게이션 시스템으로부터의 정보를 통해 모니터링될 수도 있다. 이 입력들은 하나 이상의 트리거들(예컨대, 사용자 인터페이스 경보들을 위한 동적 트리거들)을 제공하기 위하여 이용될 수도 있는 인지적 부하 평가 내로 합성될 수도 있다. 예를 들어, 연료 레벨이 문턱 미만으로 하락하고 있을 경우, 산만함을 회피하고 및/또는 운전자가 충돌을 회피하는 것과 같은 더 높은 우선순위의 직무들에 초점을 유지하도록 하기 위하여, 경보는 전달을 위해 시간이 정해질 수도 있다. 경보는 운전자 또는 비행사의 인지적 및/또는 정서적 상태에 기초하여 우선순위화된 방식으로 전달을 위해 시간이 정해질 수도 있다. 우선순위화된 방식은 하나 이상의 중요한 경보들이 즉시(예컨대, 지연 없이) 프로세싱되는 것을 가능하게 할 수도 있다. 더 낮은 우선순위의 경보는 우선순위화된 방식으로 전달될 수도 있는 반면, 운전자 또는 비행사의 인지적 대역폭(예컨대, 인지적 부하)은 운전자 또는 비행사가 더 낮은 우선순위의 경보에 초점을 맞추는 것을 가능하게 한다. 차량 내비게이션 시스템은 경로 상의 핵심 포인트들을 추적하고 및/또는 당면한 조종들의 경보들을 트리거링하기 위하여 이용될 수도 있다.
인지적 부하는 입력을 하나 이상의 사용자 인터페이스 메시지들의 타이밍에 제공할 수도 있다. 예를 들어, 운전자 또는 비행사가 (예컨대, 미리 계획된 내비게이션 경로 또는 비행 계획에 따라) 고속도로로부터의 진출 또는 벡터 변화와 같은 조종의 실행을 수반할 수도 있는 위치에 접근하고 있을 경우, HMI는 인지적 부하를 모니터링하면서 하나 이상의 비본질적인 메시지들을 전달할 수도 있고, 사용자의 인지적 부하에 기초하여 하나 이상의 표시들을 제공할 수도 있다. 예를 들어, 동공계측 및/또는 전기 피부 반응(GSR) 측정들이 운전자 또는 비행사가 중요한 조종에 앞서서, 정신적 활동으로 포화되지 않는다는 것을 표시할 경우, 인터페이스는 더 낮은 우선순위의 인터럽트, 예컨대, 유지보수 환기들 등의 존재를 표시할 수도 있다. 또 다른 예로서, 동공계측 및/또는 GSR 측정들이 운전자 또는 비행사가 정신적 활동으로 포화될 수도 있다는 것을 표시할 경우, 인터페이스는 더 낮은 우선순위 인터럽트들의 존재를 표시하는 것을 생략하거나 지연시킬 수도 있다.
도 6은 일 예의 정서적-적응 및/또는 인지적-적응 경보 시스템(600)에서의 일 예의 정보의 흐름을 예시하는 블록도이다. 하나 이상의 센서들(602)(예컨대, 운전자 또는 비행사 대면 카메라, 조향 휠 또는 요크-장착형 GSR 센서 등)은 운전자 또는 비행사(604)와 연관된 데이터를 획득할 수도 있다. 하나 이상의 센서들(602)은 606에서의 인지적/정서적 상태 추정을 위한 데이터를 제공할 수도 있다. 606에서의 인지적/정서적 상태 추정은 운전자 또는 비행사(604)의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)하기 위하여 데이터를 이용하는 것을 포함할 수도 있다 운전자 또는 비행사(604)의 인지적 상태는 운전자 또는 비행사(604)의 인지적 부하를 포함할 수도 있다. 결정된 인지적 및/또는 정서적 상태는 608에서의 경보 스케줄링, 및/또는 610에서의 음악 또는 멀티미디어 선택을 위하여 제공될 수도 있다. 608에서의 경보 스케줄링은 경보 디스플레이 인터페이스(612) 상에서의 제시를 위한 하나 이상의 경보들의 전달을 위한 타이밍을 결정할 수도 있다. 하나 이상의 경보들의 전달을 위한 타이밍은 운전자 또는 비행사(604)의 결정된 인지적 및/또는 정서적 상태, 차량 내비게이션 시스템(614)으로부터의 정보, 차량 상황 모니터링(616)으로부터의 정보, 및/또는 차량 통신 시스템(618)으로부터의 정보에 기초할 수도 있다. 610에서의 음악 또는 멀티미디어 선택은 운전자 또는 비행사(604)의 결정된 정서적 상태에 기초하여 운전자 또는 비행사(604)를 위한 음악 및/또는 멀티미디어 콘텐트를 선택할 수도 있다. 선택된 음악 및/또는 멀티미디어 콘텐트는 차량 인포테인먼트 시스템(620)을 통해 운전자 또는 비행사(604)에게 전달될 수도 있다.
정서적 및/또는 인지적 상태는 컴퓨터-기반 훈련 세션들 및/또는 교실 환경(예컨대, 라이브 교실 환경)과 같은 교육 설정들에서 이용될 수도 있다. 하나 이상의 큐(cue)는 학생 참여 및 유지를 결정하기 위하여 이용될 수도 있다. 하나 이상의 큐들은 정보의 흐름 및/또는 정보의 흐름에서의 휴식(break)들의 타이밍을 제어하기 위하여 이용될 수도 있다. 학생의 인지적 및/또는 정서적 상태는 자료의 제시를 위한 타이밍(예컨대, 페이스(pace))를 결정하기 위하여 이용될 수도 있다. 학생의 인지적 상태는 학생의 인지적 부하를 포함할 수도 있다. 학생의 인지적 및/또는 정서적 상태는 반복 및/또는 보강을 위한 트리거로서 이용될 수도 있다. 예를 들어, 주제의 제1 제시가 부정적 정서(예컨대, 높은 각성 및 부정적 유발성)로 귀착될 경우, 주제는 명확하게 될 수도 있고 및/또는 추가적인 예들이 제공될 수도 있다. 학생의 인지적 및/또는 정서적 상태는 교사(예컨대, 라이브 교사(live teacher))에 의해, 또는 컴퓨터-기반 훈련의 맥락에서 이용될 수도 있다. 예를 들어, 자료를 흡수하기 위한 학생의 능력은 학생의 인지적 및/또는 정서적 상태에 기초하여 계산될 수도 있다. 또 다른 예로서, 휴식(예컨대, 적절한 휴식들)의 타이밍은 학생의 인지적 및/또는 정서적 상태에 기초하여 계산될 수도 있다. 컴퓨터-기반 또는 라이브 훈련 시스템은 수업에서 하나 이상의 학생들을 모니터링할 수도 있다. 컴퓨터-기반 또는 라이브 훈련 시스템은 하나 이상의 학생들의 인지적 및/또는 정서적 상태들의 하나 이상의 표시들(예컨대, 보고들)을 제공할 수도 있다. 예를 들어, 하나 이상의 표시들은 수업 동안에 HMI를 통해 라이브 교실에서 교사에게 제시될 수도 있다. 하나 이상의 학생들의 인지적 및/또는 정서적 상태에 기초하여, 컴퓨터-기반 또는 라이브 훈련 시스템은 교육의 레이트(예컨대, 현재의 레이트)의 효력을 결정할 수도 있고, 진전되고 있을 수도 있는 초기의 좌절감들을 모니터링할 수도 있다. 라이브 훈련(예컨대, 교실) 시스템에서는, 교육 페이스를 변환시키고, 낮은(예컨대, 열악한) 인지적 및/또는 정서적 상태들과 연관된 자료를 보강하기 위하여 추가적인 시간을 소비하고, 및/또는 낮은(예컨대, 열악한) 인지적 및/또는 정서적 상태를 가지는 것으로서 식별된 하나 이상의 학생들로 추가적인 시간을 소비하기 위한 추천안이 (예컨대, HMI를 통해) 교사에게 제시될 수도 있다. 컴퓨터-기반 훈련(예컨대, 학습) 시스템에서는, 교육 페이스(예컨대, 강의들의 페이스)가 조절될 수도 있고, 및/또는 학생을 위한 자료의 보강이 학생의 낮은(예컨대, 열악한) 인지적 및/또는 정서적 상태의 검출에 응답하여 자동으로 트리거링될 수도 있다.
도 7은 일 예의 정서적-적응 및/또는 인지적-적응 교육 시스템(700)에서의 일 예의 정보의 흐름을 예시하는 블록도이다. 컴퓨터-기반 훈련을 위하여, 학생(702)은 컴퓨터에 밀접하게 근접하여 위치될 수도 있다. 학생(702)의 인지적 및/또는 정서적 상태는 전방 대면 카메라와 같은 하나 이상의 센서들(704)을 통해 수행될 수도 있다. 하나 이상의 센서들(704)은 학생(702)과 연관된 데이터(예컨대, 센서 데이터)를 706에서의 인지적/정서적 상태 추정에 제공할 수도 있다. 706에서, 인지적/정서적 상태 추정은 센서 데이터에 기초하여 학생(702)의 인지적 및/또는 정서적 상태를 추정(예컨대, 결정)할 수도 있다. 사용자의 결정된 인지적 및/또는 정서적 상태는 페이스, 반복, 검토, 및/또는 휴식의 효력을 분석하기 위하여 제공될 수도 있다. 708에서, 페이스, 반복, 검토, 및 휴식 분석은 정보 흐름의 페이스를 증가시키거나 감소시킬 것인지 여부, 및/또는 이전의 주제를 검토할 것인지 여부를 교사 또는 컴퓨터-기반 훈련 서브시스템(710)에 표시할 수도 있다. 인지적 및/또는 정서적 상태 추적 입력은 훈련에서 휴식들의 시간을 정하기 위하여(예컨대, 휴식하고, 더 양호한 태도로, 그리고 인지적 자원들의 복구된 레벨로 훈련 세션에 복귀할 수 있기 위한 시간을 학생들에게 제공하기 위하여) 이용될 수도 있다. 라이브 교실 설정을 위하여, 정서적-적응 및/또는 인지적-적응 교율 시스템(700)은 디스플레이(예컨대, 수업 과정 동안에 교사에게 가시적일 수도 있는 헤드업 디스플레이(heads up display; HUD)) 상에서의 학생 수신의 표시를 제공할 수도 있다. 교실(예컨대, 라이브 교실) 설정에서, 하나 이상의 센서들(704)은 하나 이상의 학생들의 인지적 부하를 추적하기 위하여 이용될 수도 있다. 하나 이상의 센서들(704)은 교실의 전방에 장착될 수도 있다. 하나 이상의 센서들(704)은 하나 이상의 학생들의 얼굴들을 추적할 수도 있다. 하나 이상의 센서들(704)은 하나 이상의 텔레포토(telephoto) 렌즈들을 포함할 수도 있다. 하나 이상의 센서들(704)은 (예컨대, 동공계측 측정들을 위한 충분한 분해능을 제공하기 위하여) 전기기계식 조향(electromechanical steering)을 이용할 수도 있다.
정서적 및/또는 인지적 상태는 제품 제안(예컨대, 광고 선택)을 위하여 이용될 수도 있다. 콘텐트 제공자는 피드백(예컨대, 명시적 피드백)에 기초하여 제안을 사용자에게 제공할 수도 있다. 피드백은 "좋음(like)" 버튼의 클릭 및/또는 사용자에 의한 이전의 관측 선택들을 포함할 수도 있다. 소매업자는 사용자의 브라우징(browsing) 및/또는 구입 이력에 기초하여 하나 이상의 제품들을 제안(예컨대, 전달을 위하여 선택)할 수도 있다. 사용자의 인지적 및/또는 정서적 상태는 (예컨대, 사용자가 즐길 수도 있는 제품들 및/또는 콘텐트를 위한 광고들을 선택하는 것을 용이하게 하기 위하여) 추적될 수도 있다. 예를 들어, 사용자가 어떤 타입의 비디오, 오디오, 또는 제품의 제시(예컨대, 전달) 후에 높은 레벨의 각성(예컨대, 높은 각성 척도) 및 긍정적인 유발성(예컨대, 기쁨)을 나타낼 때, 소매업자는 유사한 사용자들로부터의 이력적으로 도출된 긍정적인 정서적 반응들을 가지는, 전달을 위한 제품을 선택할 수도 있다. 유사한 사용자들은 관심 있는 현재의 사용자와 유사한 정서적 반응들을 콘텐트에 대해 가졌던 사용자들을 포함할 수도 있다. 유사한 반응들을 가졌던 사용자들은 새로운 콘텐트에 대한 현재의(예컨대, 타겟) 사용자의 예상된 반응에 대한 프록시(proxy)들로서 이용될 수 있다.
도 8은 일 예의 정서적-적응 및/또는 인지적-적응 제품 제안 시스템(800)에서의 일 예의 정보의 흐름을 예시하는 블록도이다. 하나 이상의 센서들(802)은 사용자(804)와 연관된 데이터(예컨대, 센서 데이터)를 생성할 수도 있다. 하나 이상의 센서들(802)은 인지적/정서적 상태 추정을 위한 데이터를 제공할 수도 있다. 806에서의 인지적/정서적 상태 추정은 데이터에 기초하여 사용자의 인지적 및/또는 정서적 상태를 추정(예컨대, 결정)할 수도 있다. 사용자의 인지적 및/또는 정서적 상태는 제품/콘텐트 제안을 위하여 제공될 수도 있다. 사용자의 인지적 및/또는 정서적 상태는 네트워크(810)를 통해 제품/콘텐트 제안을 위하여 제공될 수도 있다. 808에서, 하나 이상의 제품들 또는 콘텐트는 사용자의 인지적 및/또는 정서적 상태에 기초하여 사용자로의 전달을 위하여 결정되거나 선택될 수도 있다. 제품/콘텐트 제안은 청중들, 다른 사용자들, 유사한 사용자들, 또는 현재의 사용자에서의 이력적으로 도출된 유사한 반응들을 가지는 하나 이상의 제품들 또는 콘텐트에 기초하여 하나 이상의 제품들 또는 콘텐트를 결정할 수도 있다. 제품/콘텐트 제안에 의해 결정된 하나 이상의 제품들 또는 콘텐트 정보는 콘텐트 발행자 또는 소매업자(812)에게 제공될 수도 있다. 콘텐트 발행자 또는 소매업자(812)는 사용자(803)로의 전달을 위하여 선택된 하나 이상의 제품들 또는 콘텐트를 위한 광고를 전달할 수도 있다. 정서적-적응 및/또는 인지적-적응 제품 제안 시스템(800)은 도 1c 내지 도 1e에서 도시된 시스템들과 같은 시스템 아키텍처를 이용하여 구현될 수도 있다. 예를 들어, 광고 및/또는 콘텐트는 도 1c 내지 도 1e에서 도시된 바와 같이 WTRU(102)(예컨대, 스마트폰 핸드셋 또는 태블릿 컴퓨터 등)를 통해 사용자에게 전달될 수도 있다.
정서적-적응 및/또는 인지적-적응 제품 제안 시스템은 사용자가 콘텐트(예컨대, 광고)를 소비할 때에 사용자의 인지적 및/또는 정서적 상태를 추적할 수도 있다. 정서적-적응 및/또는 인지적-적응 제품 제안 시스템은 사용자가 콘텐트를 소비할 때에 사용자의 인지적 및/또는 정서적 상태를 범주화할 수도 있다. 정서적-적응 및/또는 인지적-적응 제품 제안 시스템은 사용자가 콘텐트를 소비할 때에 사용자의 인지적 및/또는 정서적 상태에 기초하여 하나 이상의 자극/반응 쌍들을 범주화할 수도 있다. 자극/반응 쌍들에서의 자극은 사용자에게 제시된 정보(예컨대, 콘텐트)를 포함할 수도 있다. 자극/반응 쌍에서의 반응은 사용자에게 제시된 정보에 응답하는 사용자의 인지적 상태 및/또는 정서적 상태를 포함할 수도 있다. 사용자는 하나 이상의 자극/반응 쌍들에 기초하여 고객 범주와 연관될 수도 있다. 하나 이상의 자극/반응 쌍들은 콘텐트 또는 제품이 사용자가 어떻게 느끼게 하였는지를 표시할 수도 있다. 하나 이상의 자극/반응 쌍들은 데이터베이스 내에 저장될 수도 있다. 사용자는 하나 이상의 자극/반응 쌍들에 기초하여 고객 범주와 연관될 수도 있다. 광고는 사용자와 연관된 고객 범주에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다. 정서적-적응 및/또는 인지적-적응 제품 제안 시스템은 사용자가 상이한 콘텐트 또는 제품들에 대해 어떻게 반응하는지를 관찰할 수도 있고, 시간 경과에 따라, 자극 반응 모델을 진전시킬 수도 있다. 자극 반응 모델은 하나 이상의 이전의 광고들에 대한 이력적 사용자 반응들에 기초할 수도 있다. 자극 반응 모델은 사용자의 하나 이상의 선호도들을 범주화하기 위하여 이용될 수도 있다. 자극 반응 모델은 사용자로의 전달을 위한 광고를 선택하기 위하여 이용될 수도 있다. 자극 반응 모델은 하나 이상의 제품들을 위한 하나 이상의 광고들에 대한 사용자에 의한 하나 이상의 이전의 반응들에 기초하여 사용자로의 전달을 위한 광고를 선택할 수도 있다. 예를 들어, 제1 제품을 위한 제1 광고는 제2 제품을 위한 제2 광고에 대한 사용자의 이전의 반응에 기초하여 사용자로의 전달을 위하여 선택될 수도 있다.
도 9는 정서적-적응 및/또는 인지적-적응 제품 제안 시스템(800)과 같은 제품 제안 시스템에 의해, 또는 이러한 제품 제안 시스템과 함께 이용될 수도 있는 일 예의 고객 범주화 서브시스템(900)을 예시하는 블록도이다. 하나 이상의 센서들(902)은 콘텐트 및/또는 제품 정보(910)가 사용자(902)에게 제시될 때에 사용자(904)와 연관된 데이터(예컨대, 센서 데이터)를 생성할 수도 있다. 하나 이상의 센서들(902)은 인지적/정서적 상태 추정 서브시스템(906)에 데이터를 제공할 수도 있다. 인지적/정서적 상태 추정 서브시스템(906)은 사용자(904)의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)하기 위하여 데이터를 이용할 수도 있다. 인지적/정서적 상태 추정 서브시스템(906)은 사용자(904)의 결정된 인지적 및/또는 정서적 상태를 자극/반응 데이터베이스(908)에 제공할 수도 있다. 인지적/정서적 상태 추정 서브시스템(906)은 사용자(904)의 결정된 인지적 및/또는 정서적 상태를 콘텐트 및/또는 제품 정보(910)와 조합할 수도 있다. 고객 범주화 서브시스템(900)은 912에서, 사용자(904)를 고객 범주와 연관시키기 위하여 자극/반응 엔트리(stimulus/response entry)들을 프로세싱할 수도 있다. 고객 범주는 미리 정의된 고객 범주일 수도 있다. 고객 범주화 서브시스템(900)은 고객 범주 데이터베이스(914) 내에 범주화 정보, 하나 이상의 미리 정의된 고객 범주들, 및/또는 하나 이상의 자극/반응 쌍들을 저장할 수도 있다. 고객 범주 데이터베이스(914)는 자극 반응 데이터베이스일 수도 있다.
예를 들어, 사용자는 어떤 콘텐트 또는 제품들을 즐기는 것 및 다른 콘텐트 또는 제품들로 행복하지 않은 것과 연관된 카테고리 내에 배치(예컨대, 이와 연관)될 수도 있다. 널리 소비되는 콘텐트(예컨대, 특정 콘텐트) 및/또는 하나 이상의 제품들(예컨대, 인기 있는 콘텐트 및/또는 인기 있는 제품들)은 사용자 친화도의 표식(marker)들로서 이용될 수도 있다. 널리 소비되는 콘텐트 및/또는 하나 이상의 제품들은 하나 이상의 광고들을 하나 이상의 고객 범주들과 연관시키기 위하여 이용될 수도 있다. 하나 이상의 광고 선택들(예컨대, 제품 제안들)은 동일하거나 유사한 고객 범주에서의 하나 이상의 다른 사용자들로부터의 자극/반응 쌍에 기초하여 (예컨대, 하나 이상의 긍정적인 반응들을 추론함으로써) 결정될 수도 있다.
도 10은 일 예의 제품/콘텐트 제안 서브시스템(1000)을 예시하는 블록도이다. 일 예의 제품/콘텐트 제안 서브시스템(1000)은 정서적-적응 및/또는 인지적-적응 제품 제안 시스템(800)과 같은 제품 제안 시스템에 의해, 또는 이러한 제품 제안 시스템과 함께 이용될 수도 있다. 제품/콘텐트 제안 서브시스템(1000)은 1002에서, 고객에 대한 고객 범주를 결정(예컨대, 룩업(look up))할 수도 있다. 제품/콘텐트 제안 서브시스템(1000)은 고객 범주 데이터베이스(1004)로부터 고객에 대하여 고객에 대한 고객 범주를 결정할 수도 있다. 1006에서, 제품/콘텐트 제안 서브시스템(1000)은 자극/반응 데이터베이스(1008)로부터 제품 또는 제품들을 위한 콘텐트 및/또는 하나 이상의 광고들을 선택할 수도 있다. 선택된 콘텐트 및/또는 하나 이상의 광고들은 유사한 고객들(예컨대, 고객과 동일한 고객 범주에서의 고객들)로부터의 이력적으로 도출된 긍정적인 반응들을 가지는 것에 기초하여 선택될 수도 있다. 1010에서, 제품/콘텐트 제안 서브시스템(1000)은 선택된 제품 및/또는 콘텐트를 위한 광고(예컨대, 제안)를 고객에게 전달(예컨대, 제공)할 수도 있다. 제품/콘텐트 제안 서브시스템(1000)은 도 1c 내지 도 1e에서 도시된 시스템들과 같은 시스템 아키텍처를 이용하여 구현될 수도 있다. 예를 들어, 광고 및/또는 콘텐트는 도 1c 내지 도 1e에서 도시된 바와 같이 WTRU(102)(예컨대, 스마트폰 핸드셋 또는 태블릿 컴퓨터 등)를 통해 고객에게 전달될 수도 있다.
정서적-적응 및/또는 인지적-적응 제품 제안 시스템(800)과 같은 정서적-적응 및/또는 인지적-적응 제품 제안 시스템은, 제1 콘텐트 또는 광고를 시청하였고 제1 제품을 구입하였던 사용자가 제2 콘텐트 및/또는 제2 제품에 관심이 있을 수도 있다는 것을 표시할 수도 있다. 제1 콘텐트 및/또는 제1 제품을 시청하였고 및/또는 구입하였던 사람은 제1 콘텐트 및/또는 제1 제품을 즐겼거나 이것으로 기뻐하였지 않을 수도 있다. 제1 콘텐트 및/또는 제1 제품을 시청하였고 및/또는 구입하였던 사용자는 제2 콘텐트 및/또는 제2 제품으로 기뻐하지 않을 수도 있다.
사용자의 정서적 및/또는 인지적 상태를 모니터링함으로써, 정서적-적응 및/또는 인지적-적응 제품 제안 시스템(예컨대, 정서적-적응 및/또는 인지적-적응 제품 제안 시스템(800)은 명시적 사용자 피드백에 대한 필요 없이, 제1 콘텐트 및/또는 제1 제품을 즐겼거나 이것으로 기뻐하였던, 유사한 취향들 또는 관심들을 갖는 하나 이상의 사용자들이 제2 콘텐트 및/또는 제2 제품을 또한 즐겼거나 이것으로 또한 기뻐하였다는 것을 사용자에게 표시(예컨대, 보고)할 수 있을 수도 있다. 정서적-적응 및/또는 인지적-적응 제품 제안 시스템은 명시적 사용자 피드백을 요구하지 않을(예컨대, 그 필요성을 회피함) 수도 있다. 정서적-적응 및/또는 인지적-적응 제품 제안 시스템은 고객 만족의 더욱 신속하고(예컨대, 더욱 즉각적) 및/또는 더욱 직접적인 척도를 제공할 수도 있다. 예를 들어, 사용자는 사용자의 즐거움 레벨을 의식적으로 알고 있지 않을 수도 있다. 또 다른 예로서, 사용자는 사용자 경험의 사용자 평가에 영향을 주지 않을 수도 있는 하나 이상의 일시적 이벤트들에 의해 영향을 받을 수도 있다.
정서적 및/또는 인지적 상태는 비디오 채팅과 같은 인간-기계-기계-인간 상호작용들을 위하여 이용될 수도 있다. 하나 이상의 참여자들의 정서적 및/또는 인지적 분석은 2 이상의 참여자들 사이의 실시간 비디오 채팅(예컨대, 비디오 호출)에서 수행될 수도 있다. 하나 이상의 참여자들의 정서적 및/또는 인지적 분석은 정보의 흐름 및/또는 콘텐트를 증대시키기 위하여 정보를 하나 이상의 참여자들에게 제공할 수도 있다. 정서적 및/또는 인지적 분석은 센서 데이터에 기초하여 하나 이상의 참여자들의 인지적 상태 및/또는 하나 이상의 참여자들의 정서적 상태를 결정할 수도 있다. 정서적 및/또는 인지적 상태 분석은 개인간 관계들을 보조할 수도 있다. 예를 들어, 대화에서의 참여자는 또 다른 참여자를 불쾌하게 할 수도 있다(예컨대, 부지불식간에 불쾌하게 함). 정서적 상태 분석이 수행될 때, 2 이상의 참여자들 사이의 상호작용은 개선될 수도 있다(예컨대, 그리고 쟁점들을 해결되지 않은 상태로 내버려 두는 것인 아니라 쟁점들이 처리될 수도 있음). 실시간 비디오 채팅의 종단(예컨대, 각각의 종단) 상에서의 사용자 인터페이스는 인지적 및/또는 정서적 상태 분석을 편입할 수도 있다. 사용자 비디오 스트림은 세션 비디오(예컨대, 하나 이상의 세션 비디오 스트림들)를 프로세싱하는 클라이언트(예컨대, 각각의 클라이언트)에서 또는 중앙 서버에서 인지적 및/또는 정서적 상태 분석을 위하여 프로세싱될 수도 있다.
도 11은 일 예의 정서적-적응 및/또는 인지적-적응 비디오 채팅 시스템(1100)을 예시하는 블록도이다. 정서적-적응 및/또는 인지적-적응 비디오 채팅 시스템(1100)은 하나 이상의 디스플레이들(1102, 1104) 및 하나 이상의 카메라들(1106, 1108)을 포함할 수도 있다. 하나 이상의 비디오 클라이언트들(1110, 1112)은 인터넷과 같은 네트워크(1114)를 통해 서로 통신할 수도 있다. 하나 이상의 카메라들(1106, 1108) 및/또는 다른 센서들(도 11에서 도시되지 않음)은 데이터를 하나 이상의 인지적/정서적 상태 추정 서브시스템들(1116, 1118)에 제공할 수도 있다. 하나 이상의 인지적/정서적 상태 추정 서브시스템들(1116, 1118)은 원격 참여자의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)할 수도 있다. 예를 들어, 인지적/정서적 상태 추정 서브시스템(1116)은 카메라(1106)에 근접하게 위치된 참여자의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)하기 위하여 카메라(1106)로부터의 데이터를 이용할 수도 있다. 인지적/정서적 상태 추정 서브시스템(1118)은 카메라(1108)에 근접하게 위치된 참여자의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)하기 위하여 카메라(1108)로부터의 데이터를 이용할 수도 있다. 인지적/정서적 추정 서브시스템들(1116, 1118)은 결정된 인지적 및/또는 정서적 상태 정보를 개개의 비디오 주석 생성 서브시스템들(1120, 1122)에 제공할 수도 있다. 개개의 비디오 주석 생성 서브시스템들(1120, 1122)은 각각 디스플레이들(1102, 1104)을 이용하여 디스플레이되어야 할 하나 이상의 주석들(예컨대, 하나 이상의 비디오 주석들)을 생성할 수도 있다. 정서적-적응 및/또는 인지적-적응 비디오 채팅 시스템(1100)은 도 1c 내지 도 1e에서 도시된 시스템들과 같은 시스템 아키텍처를 이용하여 구현될 수도 있다. 예를 들어, 하나 이상의 디스플레이들(1102, 1104)은 도 1c 내지 도 1e에서 도시된 바와 같이 WTRU(102)(예컨대, 스마트폰 핸드셋 또는 태블릿 컴퓨터 등)를 포함할 수도 있다.
비디오 주석의 예들은 호출에서의 제2 당사자(예컨대, 다른 당사자)가 혼동될 수도 있고 및/또는 명확함 또는 반복을 희망할 수도 있다는, 제1 당사자에 대한 표시를 포함할 수도 있다. 예를 들어, 제2 당사자는 (예컨대, 정보를 프로세싱하면서) 논의를 계속하기 전에 추가적인 시간을 희망할 수도 있다. 제2 당사자는 불쾌하게 될 수도 있고, 사과 또는 다른 형태의 화해를 희망할 수도 있다. 제2 당사자는 과부하가 될 수도 있고, 대화로부터의 일시정지 또는 휴식을 희망할 수도 있다. 제2 당사자는 분리될 수도 있다(예컨대, 주의를 기울이지 않을 수도 있음). 인지적/정서적 추정 서브시스템은 예를 들어, 얼굴 표정들 및/또는 인지적 및/또는 정서적 분석에 기초하여, 다른 당사자가 기만하고 있을 수도 있는 것으로 결정(예컨대, 추정)할 수도 있다. 당사자가 기만하고 있는 것으로 결정될 때, 인지적/정서적 추정 서브시스템은 당사자가 기만하고 있고 당사자가 주의 깊게 다루어져야(예컨대, 당사자에 의해 제공된 반응들을 조심하고, 임의의 기만적인 전술들에 대해 경계하는 등) 한다는 것을 표시할 수도 있다.
해석이 수행될 수도 있다. 인지적 및/또는 정서적 상태의 해석들을 하나 이상의 사용자들에게 제공하기 위하여, 인지적 및/또는 정서적 상태 및/또는 하나 이상의 해석들의 하나 이상의 기준 쌍들을 레버리지로 활용함으로써 해석이 수행될 수도 있다. 도 12는 훈련 데이터로 상태/해석 데이터베이스(1202)를 파퓰레이팅할 수도 있는 일 예의 서브시스템(1300)을 예시하는 블록도이다. 훈련 데이터는 하나 이상의 인지적 및/또는 정서적 상태들을 하나 이상의 해석들(예컨대, 불쾌함, 지루함, 기만, 혼동 등)과 링크시킬 수도 있다. 인지적/정서적 상태 추정 서브시스템(1204)은 하나 이상의 센서들(1206)로부터 데이터를 수신할 수도 있다. 하나 이상의 센서들(1206)은 예를 들어, 사용자(1208)와 연관된 하나 이상의 이미지들 및/또는 생체계측 데이터를 캡처할 수도 있다. 사용자(1208)로부터의 하나 이상의 이미지들 및/또는 생체계측 데이터는 예컨대, 스피치 분석, 얼굴 표정 분석, 신체 언어 분석, 안구 움직임/응시 방향 분석, 블링크 레이트 분석, 및/또는 등등을 포함할 수도 있다. 인지적/정서적 상태 추정 서브시스템(1204)은 사용자(1208)의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)할 수도 있다. 인지적/정서적 상태 추정 서브시스템(1204)은 하나 이상의 이미지들 및/또는 생체계측 데이터에 기초하여 사용자(1208)의 인지적 및/또는 정서적 상태를 결정할 수도 있다. 인지적/정서적 상태 추정 서브시스템(1204)은 사용자(1208)의 결정된 인지적/정서적 상태로 상태/해석 데이터베이스(1202)를 파퓰레이팅할 수도 있다.
도 13은 일 예의 비디오 주석 생성 서브시스템(1300)을 예시하는 블록도이다. 하나 이상의 센서들(1302)은 사용자(1304)와 연관된 하나 이상의 이미지들 및/또는 생체계측 데이터를 캡처할 수도 있다. 하나 이상의 이미지들 및/또는 생체계측 데이터는 예컨대, 스피치 분석, 얼굴 표정 분석, 신체 언어 분석, 안구 움직임/응시 방향 분석, 블링크 레이트 분석, 및/또는 등등을 포함할 수도 있다. 하나 이상의 센서들(1302)은 하나 이상의 이미지들 및/또는 생체계측 데이터를 인지적/정서적 상태 추정 서브시스템(1306)에 제공할 수도 있다. 인지적/정서적 상태 추정 서브시스템(1306)은 사용자(1304)의 인지적 및/또는 정서적 상태를 결정(예컨대, 추정)할 수도 있다. 인지적/정서적 상태 추정 서브시스템(1306)은 하나 이상의 이미지들 및/또는 생체계측 데이터에 기초하여 사용자(1304)의 인지적 및/또는 정서적 상태를 결정할 수도 있다. 하나 이상의 인지적 및/또는 정서적 해석들은 상태/해석 데이터베이스(1308)를 통해 생성될 수도 있다. 1310에서, 비디오 주석 생성 서브시스템(1300)은 하나 이상의 인지적 및/또는 정서적 해석들을 표시할 수도 있는 하나 이상의 비디오 주석들을 제공할 수도 있다.
본원에서 설명된 프로세스들 및 수단들은 임의의 조합으로 적용될 수도 있고, 다른 무선 기술들에, 그리고 다른 서비스들에 대해 적용될 수도 있다.
WTRU는 물리적 디바이스의 아이덴티티(identity), 또는 가입 관련 아이덴티티들, 예컨대, MSISDN, SIP URI 등과 같은 사용자의 아이덴티티를 참조할 수도 있다. WTRU는 애플리케이션-기반 아이덴티티들, 예컨대, 애플리케이션마다 이용될 수도 있는 사용자 명칭들을 참조할 수도 있다.
위에서 설명된 프로세스들은 컴퓨터 및/또는 프로세서에 의한 실행을 위하여 컴퓨터-판독가능 매체 내에 편입된 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수도 있다. 컴퓨터-판독가능 매체들의 예들은 (유선 및/또는 무선 접속들을 통해 송신된) 전자 신호들 및/또는 컴퓨터-판독가능 저장 매체들을 포함하지만, 이것으로 제한되지는 않는다. 컴퓨터-판독가능 저장 매체들의 예들은 판독전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 예컨대, 내부 하드 디스크들 및 착탈식 디스크들, 그러나 이것으로 제한되지는 않는 자기 매체들, 자기-광 매체들, 및/또는 광학 매체들, 예컨대, CD-ROM 디스크들 및/또는 디지털 다기능 디스크(DVD)들을 포함하지만, 이것으로 제한되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 이용하기 위한 라디오 주파수 트랜시버를 구현하기 위하여 이용될 수도 있다.

Claims (26)

  1. 인간 기계 인터페이스(human machine interface; HMI)에서 콘텐트 배치를 관리하기 위한 방법에 있어서,
    하나 이상의 센서들로부터 센서 데이터를 수신하는 단계;
    상기 수신된 데이터에 기초하여, 사용자의 인지적 상태 또는 사용자의 정서적 상태 중 적어도 하나를 결정하는 단계;
    상기 사용자의 인지적 부하가 미리 결정된 문턱 미만일 때, 또는 상기 사용자의 상기 정서적 상태가 상기 사용자가 수용적이라는 것을 표시할 때, 광고가 상기 사용자에게 전달되도록, 상기 사용자의 상기 결정된 인지적 상태 또는 상기 사용자의 상기 결정된 정서적 상태 중 적어도 하나에 기초하여 콘텐트의 전달을 위한 타이밍을 결정하는 단계; 및
    상기 결정된 타이밍에 기초하여, 상기 HMI를 통해 상기 콘텐트를 상기 사용자에게 전달하는 단계
    를 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  2. 제1항에 있어서,
    상기 센서 데이터는, 카메라 데이터, 전기 피부 반응(galvanic skin response; GSR) 데이터, 음성 분석 데이터, 얼굴 표정 분석 데이터, 신체 언어 분석 데이터, 안구 운동 및 응시 추적 분석 데이터, 블링크 레이트(blink rate) 분석 데이터, 뇌파전위기록(electroencephalographic) 데이터, 피부전기 활동(electrodermal activity) 데이터, 동공계측(pupillometry) 데이터, 심박수(heart rate) 데이터, 혈압(blood pressure) 데이터, 호흡수(respiration rate) 데이터, 또는 체온 데이터 중 적어도 하나를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  3. 제1항에 있어서,
    상기 사용자의 상기 인지적 상태는 상기 사용자의 상기 인지적 부하를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  4. 제1항에 있어서,
    상기 사용자의 상기 정서적 상태는 각성 척도(arousal measure) 및 유발성 척도(valance measure)를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  5. 제4항에 있어서,
    상기 사용자의 상기 정서적 상태는 상기 사용자의 상기 정서적 상태로부터 미리 정의된 정서적 상태까지의 거리 척도가 미리 결정된 문턱 미만일 때에 상기 사용자가 수용적이라는 것을 표시하고, 상기 미리 정의된 정서적 상태는 미리 정의된 각성 척도 및 미리 정의된 유발성 척도를 포함하고, 상기 거리 척도는 상기 사용자의 상기 정서적 상태와 상기 미리 정의된 정서적 상태 사이의 거리에 기초하고, 상기 거리 척도는 각성 척도 및 유발성 척도를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  6. 제1항에 있어서,
    상기 사용자의 상기 인지적 상태 또는 상기 사용자의 상기 정서적 상태 중 적어도 하나에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하는 단계를 더 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  7. 제1항에 있어서,
    이전의 콘텐트에 대한 이력적 사용자 반응들에 기초한 상기 사용자를 위한 자극 반응 모델에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하는 단계를 더 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  8. 제1항에 있어서,
    상기 사용자를 포함하는 미리 정의된 고객 범주에서의 고객들의 자극 반응 데이터베이스에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하는 단계를 더 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  9. 제1항에 있어서,
    상기 사용자에게 제시된 정보와, 상기 제시된 정보에 응답하는 상기 사용자의 상기 인지적 상태 또는 상기 정서적 상태 중 적어도 하나에 기초한 자극/반응 쌍에 기초하여, 상기 사용자를 고객 범주와 연관시키는 단계; 및
    상기 사용자와 연관된 상기 고객 범주에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하는 단계
    를 더 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  10. 제1항에 있어서,
    상기 콘텐트는 제1 제품을 위한 제1 광고이고,
    상기 방법은, 제2 제품을 위한 제2 광고에 대한 상기 사용자의 이전의 반응에 기초하여 상기 사용자로의 전달을 위한 상기 제1 광고를 선택하는 단계를 더 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  11. 제1항에 있어서,
    상기 콘텐트는 제1 콘텐트이고,
    상기 방법은,
    상기 HMI를 통해, 제2 콘텐트 - 상기 제2 콘텐트는 비디오 데이터, 비디오 게임 데이터, 교육 데이터, 또는 훈련 데이터 중 적어도 하나를 포함함 - 를 상기 사용자에게 전달하는 단계; 및
    상기 사용자에게 전달된 상기 제2 콘텐트와, 상기 사용자에게 전달된 상기 제2 콘텐트에 응답하는 상기 사용자의 상기 인지적 상태 또는 상기 정서적 상태 중 적어도 하나에 기초하여 자극/반응 쌍을 저장하는 단계
    를 더 포함하는, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  12. 제1항에 있어서,
    사용자의 인지적 상태 또는 상기 사용자의 정서적 상태 중 적어도 하나를 결정하는 단계는,
    상기 수신된 센서 데이터를 분석하는 단계;
    2 차원 각성 유발성 공간 상에서 각성 척도 및 유발성 척도를 도표화하는 단계; 및
    상기 도표에 기초하여 상기 사용자를 하나 이상의 미리 정의된 정서적 상태들과 연관시키는 단계
    를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  13. 제1항에 있어서,
    상기 콘텐트는 광고를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하기 위한 방법.
  14. 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템에 있어서,
    프로세서를 포함하고, 상기 프로세서는,
    하나 이상의 센서들로부터 센서 데이터를 수신하고;
    상기 수신된 센서 데이터에 기초하여, 사용자의 인지적 상태 또는 사용자의 정서적 상태 중 적어도 하나를 결정하고;
    상기 사용자의 인지적 부하가 미리 결정된 문턱 미만일 때, 또는 상기 사용자의 상기 정서적 상태가 상기 사용자가 수용적이라는 것을 표시할 때, 콘텐트가 상기 사용자에게 전달되도록, 상기 사용자의 상기 결정된 인지적 상태 또는 상기 사용자의 상기 결정된 정서적 상태 중 적어도 하나에 기초하여 콘텐트의 전달을 위한 타이밍을 결정하고;
    상기 결정된 타이밍에 기초하여, 상기 HMI를 통해 상기 콘텐트를 상기 사용자에게 전달하도록
    적어도 부분적으로 구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  15. 제14항에 있어서,
    상기 센서 데이터는, 카메라 데이터, 전기 피부 반응(galvanic skin response; GSR) 데이터, 음성 분석 데이터, 얼굴 표정 분석 데이터, 신체 언어 분석 데이터, 안구 운동 및 응시 추적 분석 데이터, 블링크 레이트(blink rate) 분석 데이터, 뇌파전위기록(electroencephalographic) 데이터, 피부전기 활동(electrodermal activity) 데이터, 동공계측(pupillometry) 데이터, 심박수(heart rate) 데이터, 혈압(blood pressure) 데이터, 호흡수(respiration rate) 데이터, 또는 체온 데이터 중 적어도 하나를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  16. 제14항에 있어서,
    상기 사용자의 상기 인지적 상태는 상기 사용자의 상기 인지적 부하를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  17. 제14항에 있어서,
    상기 사용자의 상기 정서적 상태는 각성 척도 및 유발성 척도를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  18. 제17항에 있어서,
    상기 사용자의 상기 정서적 상태는 상기 사용자의 상기 정서적 상태로부터 미리 정의된 정서적 상태까지의 거리 척도가 미리 결정된 문턱 미만일 때에 상기 사용자가 수용적이라는 것을 표시하고, 상기 미리 정의된 정서적 상태는 미리 정의된 각성 척도 및 미리 정의된 유발성 척도를 포함하고, 상기 거리 척도는 상기 사용자의 상기 정서적 상태와 상기 미리 정의된 정서적 상태 사이의 거리에 기초하고, 상기 거리 척도는 각성 척도 및 유발성 척도를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  19. 제14항에 있어서,
    상기 프로세서는 또한, 상기 사용자의 상기 인지적 상태 또는 상기 사용자의 상기 정서적 상태 중 적어도 하나에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하도록 구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  20. 제14항에 있어서,
    상기 프로세서는 또한, 이전의 콘텐트에 대한 이력적 사용자 반응들에 기초한 상기 사용자를 위한 자극 반응 모델에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하도록 구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  21. 제14항에 있어서,
    상기 프로세서는 또한, 상기 사용자를 포함하는 미리 정의된 고객 범주에서의 고객들의 자극 반응 데이터베이스에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하도록 구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  22. 제14항에 있어서,
    상기 프로세서는 또한,
    상기 사용자에게 제시된 정보와, 상기 제시된 정보에 응답하는 상기 사용자의 상기 인지적 상태 또는 상기 정서적 상태 중 적어도 하나에 기초한 자극/반응 쌍에 기초하여, 상기 사용자를 고객 범주와 연관시키고;
    상기 사용자와 연관된 상기 고객 범주에 기초하여 상기 사용자로의 전달을 위한 상기 콘텐트를 선택하도록
    구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  23. 제14항에 있어서,
    상기 콘텐트는 제1 제품을 위한 제1 광고이고,
    상기 프로세서는 또한, 제2 제품을 위한 제2 광고에 대한 상기 사용자의 이전의 반응에 기초하여 상기 사용자로의 전달을 위한 상기 제1 광고를 선택하도록 구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  24. 제14항에 있어서,
    상기 콘텐트는 제1 콘텐트이고,
    상기 프로세서는 또한,
    상기 HMI를 통해, 콘텐트 - 상기 콘텐트는 비디오 데이터, 비디오 게임 데이터, 교육 데이터, 또는 훈련 데이터 중 적어도 하나를 포함함 - 를 상기 사용자에게 전달하고;
    상기 사용자에게 전달된 상기 콘텐트와, 상기 사용자에게 전달된 상기 콘텐트에 응답하는 상기 사용자의 상기 인지적 상태 또는 상기 정서적 상태 중 적어도 하나에 기초하여 자극/반응 쌍을 저장하도록
    구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  25. 제14항에 있어서,
    사용자의 인지적 상태 또는 상기 사용자의 정서적 상태 중 적어도 하나를 결정하도록 구성되는 상기 프로세서는 또한,
    상기 수신된 센서 데이터를 분석하고;
    2 차원 각성 유발성 공간 상에서 각성 척도 및 유발성 척도를 도표화하고;
    상기 도표에 기초하여 상기 사용자를 하나 이상의 미리 정의된 정서적 상태들과 연관시키도록
    구성되는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
  26. 제14항에 있어서,
    상기 콘텐트는 광고를 포함하는 것인, 인간 기계 인터페이스(HMI)에서 콘텐트 배치를 관리하도록 구성된 시스템.
KR1020167026299A 2014-02-23 2015-02-23 인지적 및 정서적 인간 기계 인터페이스 KR20160125482A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461943467P 2014-02-23 2014-02-23
US61/943,467 2014-02-23
PCT/US2015/017093 WO2015127361A1 (en) 2014-02-23 2015-02-23 Cognitive and affective human machine interface

Publications (1)

Publication Number Publication Date
KR20160125482A true KR20160125482A (ko) 2016-10-31

Family

ID=52727371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026299A KR20160125482A (ko) 2014-02-23 2015-02-23 인지적 및 정서적 인간 기계 인터페이스

Country Status (6)

Country Link
US (1) US20180189398A1 (ko)
EP (1) EP3108432A1 (ko)
KR (1) KR20160125482A (ko)
CN (1) CN106030642A (ko)
TW (1) TW201546735A (ko)
WO (1) WO2015127361A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030549A (ko) * 2017-09-14 2019-03-22 주식회사 스무디 영상 채팅에 기반하여 광고 콘텐츠의 흐름을 제어하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2019245065A1 (ko) * 2018-06-18 2019-12-26 주식회사 헬스맥스 컨텐츠 인터페이스의 제공 방법

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387173B1 (en) * 2015-03-27 2019-08-20 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
US20160291854A1 (en) * 2015-03-30 2016-10-06 Ford Motor Company Of Australia Limited Methods and systems for configuration of a vehicle feature
US10081366B1 (en) 2015-05-04 2018-09-25 Carnegie Mellon University Sensor-based assessment of attention interruptibility
US10489043B2 (en) * 2015-12-15 2019-11-26 International Business Machines Corporation Cognitive graphical control element
DE202017105761U1 (de) * 2016-10-20 2018-03-19 Google LLC (n.d.Ges.d. Staates Delaware) Automatische Schrittsteuerung der Interaktion eines Fahrers mit Inhalten
CN106580282A (zh) * 2016-10-25 2017-04-26 上海斐讯数据通信技术有限公司 一种人体健康监测装置、系统及方法
CN110447047A (zh) * 2016-12-08 2019-11-12 阿里巴巴集团控股有限公司 消息分发中的机器学习
US10929886B2 (en) * 2017-01-05 2021-02-23 Rovi Guides, Inc. Systems and methods for personalized timing for advertisements
US20180197425A1 (en) * 2017-01-06 2018-07-12 Washington State University Self-monitoring analysis and reporting technologies
CN107092664B (zh) * 2017-03-30 2020-04-28 华为技术有限公司 一种内容解释方法及装置
US10591885B2 (en) 2017-09-13 2020-03-17 International Business Machines Corporation Device control based on a user's physical setting
CN109523008A (zh) * 2017-09-18 2019-03-26 富泰华工业（深圳）有限公司 智能设备及人物模型创建方法
KR102485253B1 (ko) * 2017-11-10 2023-01-06 현대자동차주식회사 대화 시스템 및 그 제어방법
US10632387B2 (en) * 2017-11-15 2020-04-28 International Business Machines Corporation Cognitive user experience optimization
CN112118784B (zh) * 2018-01-08 2024-06-14 华纳兄弟娱乐公司 用于检测神经生理状态的社交交互应用
US10775887B2 (en) 2018-01-22 2020-09-15 Hrl Laboratories, Llc Neuro-adaptive body sensing for user states framework (NABSUS)
TWI650719B (zh) * 2018-02-12 2019-02-11 中華電信股份有限公司 從文字內容評核客戶服務品質之系統及方法
CN110248219A (zh) * 2018-03-08 2019-09-17 腾讯科技（深圳）有限公司 视频播放方法、装置及设备
US10542314B2 (en) 2018-03-20 2020-01-21 At&T Mobility Ii Llc Media content delivery with customization
US20200065832A1 (en) * 2018-08-21 2020-02-27 Disney Enterprises Inc.. Automated assessment of media content desirability
AU2019376682A1 (en) * 2018-11-09 2021-05-27 Akili Interactive Labs, Inc, Facial expression detection for screening and treatment of affective disorders
US10770072B2 (en) 2018-12-10 2020-09-08 International Business Machines Corporation Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning
SE1851562A1 (en) 2018-12-12 2020-06-02 Tobii Ab Method Computer Program and Driver Unit for Streaming Gaze Data Packets
WO2020214185A1 (en) * 2019-04-19 2020-10-22 Hewlett-Packard Development Company, L.P. Noise adjustments to content based on cognitive loads
WO2020222318A1 (ko) * 2019-04-29 2020-11-05 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
CN110297907B (zh) * 2019-06-28 2022-03-08 谭浩 生成访谈报告的方法、计算机可读存储介质和终端设备
CN110432915B (zh) * 2019-08-02 2022-03-25 秒针信息技术有限公司 一种评估信息流创意的方法及装置
CN110414465B (zh) * 2019-08-05 2023-11-10 北京深醒科技有限公司 一种视频通讯的情感分析方法
US20210264808A1 (en) * 2020-02-20 2021-08-26 International Business Machines Corporation Ad-hoc training injection based on user activity and upskilling segmentation
CN111493883B (zh) * 2020-03-31 2022-12-02 北京大学第一医院 汉语重复-回忆言语认知功能测试评估系统
US11394755B1 (en) * 2021-06-07 2022-07-19 International Business Machines Corporation Guided hardware input prompts
US11890545B2 (en) * 2021-09-14 2024-02-06 Sony Group Corporation Enhancement of gameplay experience based on analysis of player data
GB2621870A (en) * 2022-08-25 2024-02-28 Sony Interactive Entertainment Inc Cognitive load assistance method and system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
JP2008170820A (ja) * 2007-01-12 2008-07-24 Takeshi Moriyama コンテンツ提供システム及び方法
US20080319827A1 (en) * 2007-06-25 2008-12-25 Microsoft Corporation Mining implicit behavior
EP2215253B1 (en) * 2007-09-26 2016-04-27 Navigenics, Inc. Method and computer system for correlating genotype to phenotype using population data
US10366336B2 (en) * 2009-09-02 2019-07-30 Sri International Method and apparatus for exploiting human feedback in an intelligent automated assistant
WO2011115727A1 (en) * 2010-03-18 2011-09-22 Ohm Technologies Llc Method and apparatus for training brain development disorders
US20110276401A1 (en) * 2010-05-10 2011-11-10 Research In Motion Limited Research In Motion Corporation System and method for distributing messages to an electronic device based on correlation of data relating to a user of the device
US8285516B2 (en) * 2010-07-13 2012-10-09 General Electric Company Systems, methods, and apparatus for determining steady state conditions in a gas turbine
DE102010039013A1 (de) * 2010-08-06 2012-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Regeneration eines Partikelfilters
US20130110617A1 (en) * 2011-10-31 2013-05-02 Samsung Electronics Co., Ltd. System and method to record, interpret, and collect mobile advertising feedback through mobile handset sensory input
US20130132172A1 (en) * 2011-11-21 2013-05-23 Ford Global Technologies, Llc Method and Apparatus for Context Adjusted Consumer Capture
TW201322034A (zh) * 2011-11-23 2013-06-01 Inst Information Industry 結合搜尋引擎服務的廣告播放系統及方法
EP2842288A1 (en) * 2012-04-27 2015-03-04 Interdigital Patent Holdings, Inc. Systems and methods for personalizing and/or tailoring a service interface
US20140025330A1 (en) * 2012-07-11 2014-01-23 Mcube, Inc. Dynamic temperature calibration
US9808851B2 (en) * 2015-04-02 2017-11-07 Milwaukee Electric Tool Corporation PEX crimping tool

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030549A (ko) * 2017-09-14 2019-03-22 주식회사 스무디 영상 채팅에 기반하여 광고 콘텐츠의 흐름을 제어하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2019245065A1 (ko) * 2018-06-18 2019-12-26 주식회사 헬스맥스 컨텐츠 인터페이스의 제공 방법

Also Published As

Publication number Publication date
WO2015127361A8 (en) 2015-11-12
EP3108432A1 (en) 2016-12-28
CN106030642A (zh) 2016-10-12
US20180189398A1 (en) 2018-07-05
TW201546735A (zh) 2015-12-16
WO2015127361A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
KR20160125482A (ko) 인지적 및 정서적 인간 기계 인터페이스
JP7140138B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US10593182B1 (en) Vehicle operator emotion management system and method
US11932263B2 (en) Travel sickness estimation system, moving vehicle, travel sickness estimation method, and travel sickness estimation program
US10375135B2 (en) Method and system for event pattern guided mobile content services
US20190282155A1 (en) Systems, devices, and/or processes for behavioral and/or biological state processing
CN105404394B (zh) 显示界面的显示控制方法及移动终端
US20220129534A1 (en) Electronic authentication system, device and process
US20180262804A1 (en) Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording
US20150120465A1 (en) Detecting Body Language Via Bone Conduction
JP2016537750A (ja) ユーザ適応型マルチメディア配信フレームワークにおける広告インプレッションの検証
WO2014138925A1 (en) Wearable computing apparatus and method
US20150126892A1 (en) Cloud server for processing electroencephalgraphy information, and apparatus for processing electroencephalography information based on cloud server
US11557105B2 (en) Managing real world and virtual motion
US20200202474A1 (en) Service information providing system and control method
US11539762B2 (en) Conferencing based on driver state and context
Cardona et al. Blinking and driving: the influence of saccades and cognitive workload
EP3925812B1 (en) Modifying media content playback based on user mental state
WO2018200734A1 (en) Field-of-view prediction method based on non-invasive eeg data for vr video streaming services
US11040290B2 (en) Network-controllable physical resources for sensory service
US12001606B2 (en) Control device comprising detection unit configured to perform detection of brain wave and control method therefor
Hohmann et al. MYND: Unsupervised evaluation of novel BCI control strategies on consumer hardware
US20210004078A1 (en) Processing device, processing method, data processing device, data processing system, data processing method and non-transitory computer readable storage medium
WO2018179346A1 (ja) 操作システム、サーバ、操作システムにおける制御方法およびプログラム
US20240134454A1 (en) System and method for controlling digital cinematic content based on emotional state of characters

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application