KR20160105321A - 사용자의 무드에 기초하는 액션 생성 - Google Patents

사용자의 무드에 기초하는 액션 생성 Download PDF

Info

Publication number
KR20160105321A
KR20160105321A KR1020160021774A KR20160021774A KR20160105321A KR 20160105321 A KR20160105321 A KR 20160105321A KR 1020160021774 A KR1020160021774 A KR 1020160021774A KR 20160021774 A KR20160021774 A KR 20160021774A KR 20160105321 A KR20160105321 A KR 20160105321A
Authority
KR
South Korea
Prior art keywords
user
mood
determined
action
electronic device
Prior art date
Application number
KR1020160021774A
Other languages
English (en)
Inventor
윌리암 린
데이비드 번바움
아마야 베크바 웨들
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160105321A publication Critical patent/KR20160105321A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

시스템이 관련 사용자의 무드를 결정한다. 결정된 무드에 기초하여, 시스템에 의해 수행될 액션이 결정된다. 이어서, 시스템은 결정된 무드에 대응하는 객체를 다른 시스템으로 전송함으로써 결정된 액션을 개시한다.

Description

사용자의 무드에 기초하는 액션 생성{GENERATING ACTIONS BASED ON A USER'S MOOD}
관련 출원의 상호 참조
본원은 2015년 2월 27일자로 출원된 특허 가출원 제62/126,185호의 우선권을 주장하며, 이에 따라 그 내용은 참고로 포함된다.
분야
일 실시예는 일반적으로 장치들 간의 통신에 관한 것으로서, 구체적으로는 장치들 간의 사용자 감지 파라미터들의 통신에 관한 것이다.
스마트폰, 태블릿 등과 같은 핸드헬드 전자 장치 및 스마트워치, 피트니스 밴드 등과 같은 착용식 장치를 포함하는 이동 장치들의 사용은 사람들이 서로 실시간으로 통신하는 방법들을 확장하였다. 예를 들어, 텍스팅은 전화로 사람을 호출하거나 이메일을 전송할 필요 없이 이동 장치의 다른 사용자에게 간단한 통신들을 전송하기 위한 인기 있는 방법이 되었다. 텍스팅 및 이메일을 통한 통신의 하나의 단점은 그러한 작성된 통신들에서는 감정이 전달되지 않는다는 것이다. :), :(, :D, =) 등과 같은 이모티콘들, 애니메이팅된 이모티콘들, 이모지, 카오모지 등의 추가는 소정 타입의 감정이 작성된 통신들 내에 포함되는 것을 가능하게 하였고,
Figure pat00001
등과 같은 사전 정의된 전자 스티커들의 스택 또는 라이브러리로부터 선택된 전자 스티커들의 추가는 감정들을 통신하고, 통신시에 지름길을 가능하게 하여 시간을 절약하기 위한 훨씬 더 많은 방법을 제공하였다. 그러나, 이모티콘, 애니메이팅된 이모티콘, 이모지, 카오모지, 전자 스티커 등의 사용조차도 예를 들어 텍스트 메시지 내의 단어들 이면의 사용자의 진정한 무드 및 의도의 어떠한 지시도 제공하지 못한다.
게다가, 이동 장치들의 핸즈프리 동작이 더 유력해지고 있다. 예를 들어, 전화 번호의 다이얼링 또는 정보 검색과 같은 액션을 트리거링하도록 이동 장치에 지시하기 위해 음성 명령들이 사용될 수 있다. 그러한 액션들을 트리거링하기 위한 다른 핸즈프리 방법들을 갖는 것이 바람직하다.
발명의 요약
일 실시예는 관련 사용자의 무드를 결정하는 시스템이다. 결정된 무드에 기초하여, 시스템에 의해 수행될 액션이 결정된다. 이어서, 시스템은 결정된 무드에 대응하는 객체를 다른 시스템으로 전송함으로써 결정된 액션을 개시한다.
아래의 도면들의 컴포넌트들은 본 발명의 일반적인 원리들을 강조하기 위해 예시되며, 반드시 축척으로 그려진 것은 아니다. 대응하는 컴포넌트들을 지시하는 참조 부호들이 필요에 따라 도면들 전반에서 일관성 및 명료화를 위해 반복된다.
도 1은 본 발명의 실시예들에 따른 시스템의 블록도이다.
도 2는 일 실시예에 따른 제1 전자 장치 및/또는 제2 전자 장치의 블록도이다.
도 3은 일 실시예에 따른 도 2의 프로세서의 블록도이다.
도 4a 및 4b는 본 발명의 실시예들에 따른 시스템의 일 구현을 예시한다.
도 5는 본 발명의 실시예들에 따른, 사용자의 무드에 기초하여 액션들을 생성할 때의 도 2의 프로세서의 흐름도이다.
일 실시예는 스마트폰과 같은 전자 장치와 관련된 사용자의 무드를 결정한다. 일 실시예는 결정된 무드에 기초하여 다른 전자 장치로 전송될 메시지를 생성하며, 메시지는 무드에 기초하는 자동 선택된 시각 또는 햅틱 성분을 포함한다. 다른 실시예들에서는, 결정된 무드에 기초하여 다른 타입의 액션들이 자동으로 개시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템(100)의 블록도이다. 도시된 바와 같이, 시스템(100)은 제1 전자 장치(110) 및 제2 전자 장치(120)를 포함한다. 제1 전자 장치(110) 및 제2 전자 장치(120)는 하나 이상의 통신 네트워크(130)를 통해 서로 통신하도록 구성된다. 통신 네트워크(130)는 무선 통신 네트워크, 인터넷, 개인 영역 네트워크, 근거리 네트워크, 도시 영역 네트워크, 광역 네트워크 등 중 하나 이상을 포함할 수 있다. 통신 네트워크(130)는 로컬 무선 주파수, 블루투스, 셀룰러(GPRS, CDMA, GSM, CDPD, 2.5G, 3G, 4G LTE 등), 초광대역("UWB"), 와이맥스, 지그비 및/또는 다른 애드혹/메시 무선 네트워크 기술을 포함할 수 있다.
제1 전자 장치(110) 및 제2 전자 장치(120)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 전자 워크북, (이동 전화, 스마트폰, 태블릿 게이밍 장치, 개인 휴대 단말기(PDA), 휴대용 이메일 장치, 휴대용 인터넷 액세스 장치, 계산기 등과 같은) 전자 핸드헬드 장치, 판매 시점 장치, 게임 제어기, (스마트워치, 피트니스 밴드 등과 같은) 착용식 장치 또는 다른 전자 장치와 같은 임의의 전자 장치일 수 있다. 일 실시예에서, 제1 전자 장치(110) 및 제2 전자 장치(120) 각각은 스마트폰 또는 태블릿과 같은 이동 장치이다. 일 실시예에서, 제1 전자 장치(110) 및 제2 전자 장치(120) 중 하나는 이동 장치이고, 다른 하나는 착용식 장치이다. 후술하는 본 발명의 일부 실시예들이 제1 전자 장치(110) 및 제2 전자 장치(120) 양자를 이동 장치들인 것으로서 언급하는 한도에서, 본 발명의 실시예들은 그에 한정되지 않으며, 제1 전자 장치(110) 및 제2 전자 장치(120)는 위에서 열거된 바와 같은 많은 다른 타입의 장치들일 수 있다는 것을 이해해야 한다.
도 2는 일 실시예에 따른 제1 전자 장치(110) 및/또는 제2 전자 장치(120)의 블록도이다. 이어지는 설명은 본 명세서에서 설명되는 컴포넌트들이 제2 전자 장치(120) 내에도 포함될 수 있다는 것을 이해하면서 제1 전자 장치(110)만을 참조할 수 있다. 물론, 더 많거나 적은 컴포넌트가 제1 전자 장치(110) 및 제2 전자 장치(120) 내에 포함될 수 있다. 예시된 실시예는 어떠한 방식으로도 한정을 의도하지 않는다.
예시된 바와 같이, 제1 전자 장치(110)는 버스(240)를 통해 상호접속되는 프로세서(210), 메모리 장치(220) 및 입출력 장치들(230)을 포함한다. 일 실시예에서, 입출력 장치들(230)은 터치스크린 장치(250), 햅틱 출력 장치(260), 카메라(280)를 포함할 수 있는 하나 이상의 센서(270), 및/또는 제1 전자 장치(110)의 사용자로부터 입력을 수신하는 다른 입력 장치들 및 스피커(290) 형태의 오디오 출력 장치와 같이 제1 전자 장치(110)의 사용자에게 정보를 출력하는 출력 장치들을 포함할 수 있다. 입력 장치들은 키보드, 키패드, 커서 제어 장치(예로서, 컴퓨터 마우스), 스타일러스 또는 다른 데이터 입력 장치 또는 마이크와 같은 오디오 수신기와 같은 장치들도 포함할 수 있다.
터치스크린 장치(250)는 임의의 적절한 사용자 인터페이스 또는 터치/콘택 표면 조립체로서 구성될 수 있다. 터치스크린 장치(250)는 임의의 터치스크린, 터치 패드, 터치 감지 구조, 컴퓨터 모니터, 랩탑 디스플레이 장치, 워크북 디스플레이 장치, 휴대용 전자 장치 스크린, 또는 다른 적절한 터치 감지 장치일 수 있다. 터치스크린 장치(250)는 스타일러스, 손가락 등과 같은 사용자 제어 장치와의 물리적 상호작용을 위해 구성될 수 있다. 일부 실시예들에서, 터치스크린 장치(250)는 적어도 하나의 출력 장치 및 적어도 하나의 입력 장치를 포함할 수 있다. 예를 들어, 터치스크린 장치(250)는 이미지를 표시하도록 구성되는 시각적 디스플레이(252) 및 사용자의 손가락 또는 사용자에 의해 제어되는 스타일러스로부터 입력을 수신하기 위해 그 위에 겹쳐진 적어도 하나의 센서를 포함하는 터치 감지 스크린을 포함할 수 있다. 시각적 디스플레이(252)는 고화질 디스플레이 스크린을 포함할 수 있다. 일 실시예에서, 시각적 디스플레이(252)는 터치스크린 장치(250)로부터 분리될 수 있다.
다양한 실시예들에서, 햅틱 출력 장치(260)는 제1 전자 장치(110)의 사용자가 제1 전자 장치(110)의 적어도 일부와 접촉하는 동안 사용자에게 햅틱 피드백을 제공하도록 구성된다. 예컨대, 햅틱 출력 장치(260)는 사용자가 터치스크린 장치(250)와 접촉할 때 햅틱 효과를 주기 위해 터치스크린 장치(250) 자체에 그리고/또는 적어도 입출력 장치들(230)을 포함하는 하우징과 같은 제1 전자 장치(110)의 다른 요소에 햅틱 피드백을 제공할 수 있다.
햅틱 출력 장치(260)에 의해 제공되는 햅틱 피드백은 진동, 변형, 운동 감각, 정전기 또는 초음파 마찰 등과 같은 햅틱 효과들을 생성하는 임의의 방법들을 이용하여 생성될 수 있다. 일 실시예에서, 햅틱 출력 장치(260)는 액추에이터, 예로서 전자기 액추에이터, 예로서 모터에 의해 편심 질량이 이동되는 편심 회전 질량("ERM"), 스프링에 부착된 질량이 앞뒤로 구동되는 선형 공진 액추에이터("LRA"), 또는 "스마트 재료", 예로서 압전 재료, 전기 활성 폴리머 또는 형상 기억 합금, 매크로-복합 섬유 액추에이터, 정전기 액추에이터, 전기-촉각 액추에이터 및/또는 진동 촉각 피드백과 같은 물리적 피드백을 제공하는 다른 타입의 액추에이터를 포함할 수 있다. 햅틱 출력 장치(260)는 정전기 마찰("ESF"), 초음파 마찰("USF")을 이용하는 것들 또는 초음파 햅틱 트랜스듀서를 이용하여 음향 방사 압력을 유도하는 것들 또는 햅틱 기판 및 연성 또는 변형 가능 표면을 이용하는 것들 또는 열 효과를 제공하는 것들 또는 에어 제트를 이용하여 바람(puff of air)과 같은 투사 햅틱 출력을 제공하는 것들 등과 같은 비기계 또는 비진동 장치들을 포함할 수 있다.
센서(들)(270)는 제1 전자 장치(110)의 사용자에 관한 무드 정보를 감지 및 수집하도록 구성되는 단일 감지 장치 또는 다수의 감지 장치를 포함할 수 있다. 예를 들어, 센서(들)(270)는 얼굴 표정, 음성 피치 및/또는 생체 측정치와 같은 사용자의 물리적 속성들을 포함하지만 이에 한정되지 않는 다양한 양상들 또는 사용자의 무드 상태들을 통해 무드 정보를 검출 및/또는 수집하도록 구성될 수 있다. 일 실시예에서, 카메라(280)는 사용자 얼굴의 이미지를 캡처하는 데 사용될 수 있으며, 아래에 더 상세히 설명되는 바와 같이, 프로세서(210)는 이미지를 처리하여 사용자의 무드를 결정할 수 있다. 생체 측정 센서를 이용하여, 생체 마커, 예로서 체온, 신체 습도 또는 발한, 열 펄스 또는 레이트, 호흡 리듬, 뇌파, 몸 자세, 손 제스처 또는 이동 등을 감지할 수 있다. 일 실시예에서, 생체 측정 센서는 손목 밴드 또는 목걸이와 같은 착용식 장치 내에 제공될 수 있으며, 사용자의 펄스를 감지하는 것을 물론, 시간 경과에 따라 사용자의 무드를 예측하도록 구성될 수 있다.
센서(들)(270)는 사용자의 무드를 결정하는 데 사용될 수 있는 압력 감지 메커니즘들도 포함할 수 있다. 예를 들어, 전화 통화 동안 스마트폰이 얼마나 단단히 파지되는지를 감지하고 분석하여, 사용자가 분노 무드에 있는지를 결정할 수 있다. 또한, 키보드에 대해 사용자가 얼마나 강하게 키들을 치고 있는지를 감지하고 또한 분석하여 사용자의 무드를 결정할 수 있다. 실시예들은 사용자 입력의 압력을 검출하고, 사용자의 압력을 입력 프로필과 비교하여, "정상" 압력량으로부터의 편차를 결정할 수 있다. 차이에 기초하여, 사용자의 무드가 결정될 수 있으며, 결정된 무드는 결정된 무드에 기초하여 출력될 햅틱 효과를 변경하는 것과 같은 액션을 생성하는 데 사용될 수 있다.
일 실시예에서, 센서(들)(270)에 의해 이용되는 감지 기술들은 다양한 사운드 또는 오디오 센서들도 이용하여 음성 분석을 기록 및/또는 촉진할 수 있다. 예를 들어, 사용자가 얘기하는 동안의, 예로서 전화 통화하는 동안의 음성 주파수 또는 음성 강도를 이용하여 사용자의 무드를 추정할 수 있다. 또한, 사용자가 웃거나, 화나서 "그링(grring)" 사운드를 만들거나, 고양이 소리를 흉내 내거나, 코고는 등의 소리를 낼 수 있다는 사실이 결정되고, 사용자의 무드를 결정하는 데 사용될 수 있다.
센서(들)(270)는 주변 조건들을 검출하도록 구성되는 센서도 포함할 수 있다. 예를 들어, 센서(들)(270) 중 하나 이상은 온도, 습도, 조명, 기압 등과 같은 주변 환경에 관한 주변 정보를 수집할 수 있다. 주변 센서에 의해 출력된 데이터는 사용자 무드의 평가를 돕는 데 사용될 수 있다. 일 실시예에서, 하나 이상의 센서(들)(270)는 사용자의 위치 및 움직임을 감지하는 데 사용될 수 있으며, 따라서 사용자가 적대적인 또는 우호적인 환경에 있는지 또는 사용자가 교통 정체 상황에 있는지 등이 결정될 수 있다. 주변 환경은 자동 생성 위치 기반 이모티콘들을 제안하기 위해서도 검출될 수 있다. 예를 들어, 생일 케이크 및 풍선을 검출하는 센서/카메라는 생일 파티 기반 이모티콘들의 생성/선택을 제안할 수 있다.
프로세서(210)는 제1 전자 장치(110)의 동작들 및 기능들을 관리 또는 제어하기 위한 범용 또는 특수 목적 프로세서 또는 마이크로컨트롤러일 수 있다. 예를 들어, 프로세서(210)는 햅틱 효과들을 제공하기 위해 햅틱 출력 장치(260)로의 출력 신호들을 제어하기 위한 주문형 집적 회로("ASIC")로서 특별히 설계될 수 있다. 프로세서(210)는 사전 정의된 팩터들에 기초하여, 어떤 햅틱 효과들이 프로세서(210)에 의해 수신 또는 결정된 햅틱 신호에 기초하여 생성될지, 햅틱 효과들이 생성되는 순서, 및 햅틱 효과들의 크기, 주파수, 지속기간 및/또는 다른 파라미터들을 결정하도록 구성될 수 있다. 프로세서(210)는 특정 햅틱 효과를 제공하기 위해 햅틱 출력 장치(260)를 구동하는 데 사용될 수 있는 스트리밍 명령들을 제공하도록 구성될 수도 있다. 프로세서(210)는 후술하는 바와 같이 다른 액션들을 개시하기 위해 다른 출력 장치들에 스트리밍 명령들을 제공하도록 구성될 수도 있다. 일부 실시예들에서, 프로세서(210)는 실제로는 제1 전자 장치(110) 내의 소정 기능들을 수행하도록 각자 구성되는 복수의 프로세서일 수 있다. 프로세서(210)는 아래에서 더 상세히 설명된다.
메모리 장치(220)는 하나 이상의 내부 고정 저장 유닛, 이동식 저장 유닛 및/또는 원격 액세스 가능 저장 유닛을 포함할 수 있다. 다양한 저장 유닛들은 휘발성 메모리와 비휘발성 메모리의 임의 조합을 포함할 수 있다. 저장 유닛들은 정보, 데이터, 명령어, 소프트웨어 코드 등의 임의 조합을 저장하도록 구성될 수 있다. 더 구체적으로, 저장 유닛들은 햅틱 효과 프로필, 햅틱 출력 장치(260)의 구동 방법에 대한 명령어, 또는 햅틱 효과를 생성하기 위한 다른 정보를 포함할 수 있다. 물리적 속성 및 무드 프로필과 같은 다른 프로필들도 메모리 장치(220) 내에 저장될 수 있다.
햅틱 전자 장치들(110, 120) 각각은 임의 수의 햅틱 출력 장치(260) 및 센서(270)를 포함할 수 있다. 또한, 햅틱 전자 장치들(110, 120) 각각은 상이한 타입의 햅틱 출력 장치들(260) 및 센서들(270)을 포함할 수 있고, 햅틱 전자 장치(110)는 햅틱 전자 장치(120)와 다른 수 및 다른 타입의 햅틱 출력 장치들(260) 및 센서들(270)의 조합을 포함할 수 있다.
도 3은 일 실시예에 따른 도 2의 프로세서(210)의 블록도이다. 프로세서(210)는 하나 이상의 컴퓨터 프로그램 모듈을 실행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램 모듈은 센서 모듈(212), 무드 결정 모듈(214), 액션 결정 모듈(216), 출력 장치 제어 모듈(218) 및/또는 다른 모듈들 중 하나 이상을 포함할 수 있다. 프로세서(210)는 메모리 장치(220)와 동일하거나 메모리 장치(220)에 추가적일 수 있는 전자 저장소(219)도 포함할 수 있다. 프로세서(210)는 소프트웨어, 하드웨어, 펌웨어, 소프트웨어, 하드웨어 및/또는 펌웨어의 소정 조합, 및/또는 프로세서(210) 상의 처리 능력을 구성하기 위한 다른 메커니즘들에 의해 모듈들(212, 214, 216 및/또는 218)을 실행하도록 구성될 수 있다.
도 3에는 모듈들(212, 214, 216, 218)이 단일 처리 유닛 내에 함께 배치되는 것으로 도시되지만, 다수의 처리 유닛이 존재하는 실시예들에서는 모듈들(212, 214, 216 및/또는 218) 중 하나 이상이 나머지 모듈로부터 원격적으로 배치될 수 있다는 것을 알아야 한다. 후술하는 상이한 모듈들(212, 214, 216 및/또는 218)에 의해 제공되는 기능의 설명은 예시의 목적을 위한 것이며, 한정을 의도하지 않는데, 이는 모듈들(212, 214, 216 및/또는 218) 중 임의 모듈이 설명되는 것보다 많거나 적은 기능을 제공할 수 있기 때문이다. 예를 들어, 모듈들(212, 214, 216 및/또는 218) 중 하나 이상이 배제될 수 있고, 그의 기능의 일부 또는 전부가 모듈들(212, 214, 216 및/또는 218) 중 다른 모듈들에 의해 제공될 수 있다. 다른 예로서, 프로세서(210)는 모듈들(212, 214, 216 및/또는 218) 중 하나에 기인하는 기능 중 일부 또는 전부를 수행할 수 있는 하나 이상의 추가 모듈을 실행하도록 구성될 수 있다.
센서 모듈(212)은 센서(들)(270)가 사용자의 얼굴 표정, 사용자의 심박, 사용자의 뇌파 등과 같이 제1 전자 장치(110)의 사용자의 무드와 관련된 물리적 속성을 검출할 때 생성되는 센서(들)(270)로부터의 입력 신호를 수신하도록 구성된다. 다수의 센서(270)가 존재하는 실시예들에서, 센서 모듈(212)은 다수의 센서(270)로부터 입력 신호들을 수신하고 처리하도록 구성된다. 센서 모듈(212)은 또한 추가 처리를 위해 신호를 무드 결정 모듈(214)로 전송하도록 구성된다.
무드 결정 모듈(214)은 센서 모듈(212)로부터 수신된 신호에 기초하여 제1 전자 장치(110)의 사용자의 무드를 결정하도록 구성되며, 결정된 무드의 "무드 프로필"을 결정할 수 있다. 예를 들어, 카메라(280)가 웃음 짓는 사용자의 이미지를 캡처하는 데 사용되는 경우, 무드 결정 모듈(214)은 이미지를 분석하여, 사용자가 좋은 무드에 있고 행복한 것으로 결정할 수 있다. 생체 측정 센서가 사용자의 심박을 감지하는 데 사용되고, 센서가 빠른 심박을 감지하는 경우, 무드 결정 모듈(214)은 사용자가 걱정하고 있고 스트레스를 받고 있는 것으로 결정하는 데 사용될 수 있다. 무드 결정 모듈(214)은 물리적 속성들 및 관련 무드들의 라이브러리를 갖도록 프로그래밍될 수 있으며, 따라서 센서(들)(270)가 물리적 속성들 중 하나를 감지할 때, 무드 결정 모듈(214)은 제1 전자 장치(110)의 사용자의 무드를 결정할 수 있다. 무드 결정 모듈(214)은 GPS와 같은 위치 센서에 의해 감지된 지리 위치일 수 있는 사용자의 위치 또는 제1 전자 장치(110) 상에 메모리 장치(220) 내에 저장될 수 있는 사용자의 캘린더로부터 검색될 수 있는 중요한 회의의 참석과 같은 상황 위치를 이용할 수 있다. 무드 결정 모듈(214)은 또한 추가 처리를 위해 신호를 액션 결정 모듈(216)로 출력할 수 있다.
액션 결정 모듈(216)은 무드 결정 모듈(214)로부터 출력 신호를 수신하고, 제1 전자 장치(110)의 사용자의 결정된 무드에 기초하여 개시할 액션을 결정하도록 구성된다. 일 실시예에서, 결정된 개시할 액션은 제2 사용자에 의해 조작되는 제2 전자 장치(120) 상에서의 시각, 오디오 및/또는 햅틱 효과의 생성을 포함할 수 있다. 시각 효과는 이모티콘을 포함할 수 있는, 제1 전자 장치(110)의 사용자의 무드를 반영하는 사전 결정된 텍스트 메시지, 및/또는 제1 전자 장치(110)의 사용자의 무드를 반영하는 전자 스티커와 같은 사전 결정된 이미지일 수 있다. 오디오 효과는 제1 전자 장치(110)의 사용자의 무드를 반영하는 사전 결정된 사운드 또는 징글을 포함할 수 있다. 햅틱 효과는 제1 전자 장치(110)의 사용자의 무드를 반영하는 사전 결정된 진동 패턴을 포함할 수 있다. 일 실시예에서, 액션 결정 모듈(216)은 햅틱 효과의 진폭, 주파수, 지속기간 등과 같은 햅틱 효과의 하나 이상의 파라미터를 결정할 수 있다.
일 실시예에서, 액션 결정 모듈(216)은 제1 전자 장치(110)의 사용자의 위치를 감지하도록 구성되는 센서(들)(270) 중 하나로부터의 입력을 이용하여, 제2 전자 장치(120) 상에서 생성되는 효과를 조절하여 효과를 강조하거나 약화시키고, 따라서 제1 전자 장치(110)의 사용자의 무드에 대한 추가 정보를 제2 전자 장치(120)의 제2 사용자에게 제공할 수 있다.
일 실시예에서, 액션 결정 모듈(216)은 제2 전자 장치(120)의 제2 사용자의 무드와 관련된 물리적 속성을 감지하도록 구성되는 센서들(270) 중 하나로부터의 입력을 이용하고, 제2 사용자의 무드와 관련된 감지된 물리적 속성에 기초하여 개시될 액션을 조절하며 따라서 제2 전자 장치(120) 상에서 생성되는 효과가 강조, 약화 또는 변경된다.
일 실시예에서, 무드 프로필은 수반되는 오디오 또는 햅틱 피드백 효과를 조절할 수 있다. 햅틱 피드백 효과들이 실시간 또는 거의 실시간으로 합성되는 실시예들에서, 합성 파라미터들은 송신자의 무드를 반영하도록 변경될 수 있다. 예를 들어, 더 낮은 피치들이 "더 낮은" 무드들과 관련되는 시스템에서, 오디오 및 햅틱 효과들의 주파수는 더 낮아짐으로써 그러한 무드들을 반영할 수 있다.
일 실시예에서, 액션 결정 모듈(216)이 개시를 위해 결정할 수 있는 액션은 제1 전자 장치(110)를 이용한 전화 번호의 다이얼링의 개시를 포함할 수 있다. 그러한 실시예는 카메라(280)에 의해 캡처되는 얼굴 단서들이 특정 전화 번호의 다이얼링에 대응하는 음성 명령 또는 "단축 다이얼" 번호 또는 버튼 대신 사용되는 것을 가능하게 할 수 있다. 일 실시예에서, 결정된 개시할 액션은 제1 전자 장치(110)를 이용한 작성된 통신의 개시를 포함할 수 있다. 그러한 실시예는 카메라(280)에 의해 캡처되는 얼굴 단서들이 제1 전자 장치(110)에 의해 텍스트 메시지 또는 이메일로서 전송될 메시지를 지시하는 데 사용되는 것을 가능하게 할 수 있다. 액션 결정 모듈(216)은 추가 처리를 위해 신호를 출력 장치 제어 모듈(218)로 출력할 수 있다.
출력 장치 제어 모듈(218)은 액션 결정 모듈(216)로부터 출력 신호를 수신하고, 결정된 액션을 개시할 출력 장치로 제어 신호를 전송하도록 구성된다. 예를 들어, 개시될 액션이 제2 전자 장치(120) 상에서의 시각, 오디오 및/또는 햅틱 효과의 생성을 포함하는 경우, 출력 장치 제어 모듈(218)은 제2 전자 장치(120)로 통신되고, 적절한 출력 장치, 예로서 디스플레이(252), 스피커(290) 및/또는 햅틱 출력 장치(260)로 전송될 수 있는 신호를 출력할 수 있다. 일 실시예에서, 출력 장치 제어 모듈(218)은 액션 결정 모듈(216) 대신에 햅틱 효과의 진폭, 주파수, 지속기간 등과 같은 햅틱 효과의 하나 이상의 파라미터를 결정할 수 있다. 유사하게, 개시될 액션이 전화 번호의 다이얼링을 포함하는 경우, 출력 장치 제어 모듈(218)은 제1 전자 장치(110)의 전화의 다이얼러가 통신 라인을 열고 전화 번호를 다이얼링하게 하는 신호를 출력할 수 있다. 개시될 액션이 작성된 통신의 개시를 포함하는 경우, 출력 장치 제어 모듈(218)은 키보드 또는 키패드에 의해 출력되는 신호를 흉내 내는 신호를 출력할 수 있다.
응용에 따라, 상이한 양상들을 이용하여, 타겟 무드 기반 햅틱 피드백을 생성할 수 있다. 예를 들어, 전화를 통해 얘기하면서 친구와 행복한 마음 상태를 공유하기 위해, 하나의 사용자의 전화로부터 다른 사용자의 전화로 행복한 무드 또는 즐거운 마음 상태를 알리는 햅틱 단서들을 전송함으로써 통신이 증강될 수 있다. 이동 전화 상에서 다이얼링하거나 얘기하는 동안 사용자의 감정 상태를 캡처하기 위해, 이동 전화 상의 디지털 카메라 및/또는 비디오 카메라를 이용하여, 무드 정보 또는 얼굴 표정을 캡처한 후에 캡처된 무드 정보 또는 얼굴 표정을 호출되는 사용자에게 전송할 수 있다.
도 4a 및 4b는 본 발명의 실시예들에 따른, 전술한 구현 시스템(100)을 나타낸다. 도 4a 및 4b에 도시된 시스템(400)은 스마트폰과 같은 이동 전화일 수 있는 제1 전자 장치(410), 및 또한 스마트폰과 같은 이동 전화일 수 있는 제2 전자 장치(420)를 포함한다. 도 4a에 도시된 바와 같이, 제1 전자 장치(410)의 제1 사용자는 제1 전자 장치(410) 상의 정면 카메라(480)를 이용하여, 제1 사용자의 이미지(412)를 캡처할 수 있다. 전술한 프로세서(210)와 같은 프로세서가 카메라(480)에 의해 출력된 신호를 수신하고, 무드 결정 모듈(214)을 이용하여 제1 사용자의 무드를 결정할 수 있으며, 이 무드는 도 4a에 도시된 실시예에서 행복한 무드이다. 이어서, 프로세서(210)는 액션 결정 모듈(216)을 이용하여, 행복한 무드에 기초하여 개시할 액션을 결정할 수 있다. 이어서, 출력 장치 제어 모듈(218)은 결정된 개시될 액션에 기초하여 신호를 출력할 수 있으며, 이 신호는 전술한 통신 네트워크(130)를 통해 제2 전자 장치(420)로 통신될 수 있다. 예시된 실시예에서는, 행복한 얼굴 전자 스티커(422)가 제2 전자 장치(420)의 디스플레이(452)에 의해 텍스트 박스(424) 내에 표시된다. 이와 동시에, 행복한 무드와 관련될 수 있는 비교적 강한 진동을 포함할 수 있는 햅틱 효과(462)가 전술한 햅틱 출력 장치(260)와 같은 햅틱 출력 장치에 의해 출력될 수 있다.
도 4b에 도시된 바와 같이, 제1 전자 장치(410)의 제1 사용자는 제1 전자 장치(410) 상의 정면 카메라(480)를 이용하여, 제1 사용자의 다른 이미지(413)를 캡처할 수 있다. 프로세서(210)는 카메라(480)에 의해 출력된 신호를 수신하고, 무드 결정 모듈(214)을 이용하여, 도 4b에 도시된 실시예에서 슬픈 무드인 제1 사용자의 무드를 결정할 수 있다. 이어서, 프로세서(210)는 액션 결정 모듈(216)을 이용하여, 슬픈 무드에 기초하여 개시할 액션을 결정할 수 있다. 이어서, 출력 장치 제어 모듈(218)은 결정된 개시될 액션에 기초하여 신호를 출력할 수 있으며, 이 신호는 통신 네트워크(130)를 통해 제2 전자 장치(420)로 통신될 수 있다. 예시된 실시예에서는, 슬픈 얼굴 전자 스티커(423)가 제2 전자 장치(420)의 디스플레이(452)에 의해 텍스트 박스(424) 내에 표시된다. 이와 동시에, 슬픈 무드와 관련될 수 있는 (도 4a의 햅틱 효과(462)에 비해) 비교적 약한 진동을 포함할 수 있는 햅틱 효과(463)가 햅틱 출력 장치(260)에 의해 출력될 수 있다.
본 발명의 실시예들의 일 구현에서, 시스템(100)의 제1 사용자는 그의 전자 장치(110) 상에서 채트 애플리케이션을 열어 시스템(100)의 제2 사용자에게 메시지를 전송할 수 있다. 제1 사용자가 메시지를 타이핑함에 따라, 카메라(280)가 활성화될 수 있다. 카메라(280)의 활성화는 자동적일 수 있거나, 제1 사용자가 카메라(280)를 수동으로 활성화할 수 있다. 카메라(280)는 제1 사용자의 무드를 결정하는 데 사용될 수 있는 얼굴 단서들을 캡처할 수 있다. 추가로 또는 대안으로서, 센서들(270)은 제1 사용자의 무드를 결정하기 위한 생체 마커 데이터 또는 위치 데이터를 제공할 수 있다. 일 실시예에서, 제1 전자 장치(110)로부터의 캘린더 데이터를 이용하여, 캡처된 얼굴 단서들, 생체 마커 데이터 및/또는 위치 데이터에 대한 상황을 제공하여, 제1 사용자의 무드의 결정을 도울 수 있다. 프로세서(210)는 잠재적으로 자동으로 시스템(100)의 제2 사용자에게 전송할 적절한 이모티콘, 전자 스티커 및/또는 햅틱 효과를 결정할 수 있으며, 따라서 제2 사용자는 메시지의 통지시에 메시지의 개인화 및 의미 전달을 돕기 위한 제1 사용자의 무드의 지시를 메시지와 함께 수신한다.
도 5는 본 발명의 일 실시예에 따른, 사용자의 무드에 기초하여 액션들을 생성할 때의 도 2의 프로세서(210)의 흐름도이다. 일 실시예에서, 도 5의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독 가능 또는 유형 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능은 하드웨어에 의해(예로서, 주문형 집적 회로("ASIC"), 프로그래밍 가능 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등을 통해) 또는 하드웨어와 소프트웨어의 임의 조합에 의해 수행될 수 있다.
예시된 바와 같이, 흐름도(500)는 510에서 시작된다. 520에서, 전술한 제1 전자 장치(110)와 같은 전자 장치의 제1 사용자의 물리적 속성이 전술한 센서들(170) 중 하나와 같은 센서에 의해 감지된다. 530에서, 감지된 물리적 속성에 기초하여 제1 사용자의 무드가 결정된다. 결정은 무드 결정 모듈(214)이 프로세서(210)에 의해 실행될 때 전술한 프로세서(210)의 무드 결정 모듈(214)에 의해 완료될 수 있다. 540에서, 개시될 액션이 결정된 무드에 기초하여 자동으로 결정된다. 개시될 액션의 결정은 액션 결정 모듈(216)이 프로세서(210)에 의해 실행될 때 전술한 프로세서(210)의 액션 결정 모듈(216)에 의해 완료될 수 있다. 550에서, 결정된 액션이 개시된다. 액션은 출력 장치 제어 모듈(218)이 프로세서(210)에 의해 실행될 때 프로세서(210)의 출력 장치 제어 모듈(218)에 의해 개시될 수 있다. 560에서 흐름도(500)가 종료된다.
550에서 결정된 액션은 무드를 나타내는 객체를 전송함으로써 무드를 다른 장치로 자동 전송하는 것을 포함할 수 있다. 객체는 이모티콘 또는 임의의 사전 결정된 이미지, 예로서 전자 스티커 또는 애니메이팅된 그래픽 인터체인지 포맷("GIF")일 수 있으며, 임의의 타입의 오디오 및/또는 햅틱 효과를 포함할 수 있다. 또한, 객체는 오디오만을 또는 햅틱 효과만을 또는 임의의 조합을 포함할 수 있다. 객체는 텍스트 메시지, 이메일 또는 다른 엔티티의 전송과 함께 전송될 수 있거나, 독립적으로 전송될 수 있다.
본 발명의 실시예들의 일 구현에서, 시스템(100)의 제1 사용자 및 시스템(100)의 제2 사용자는 스마트폰과 같은 이동 장치 형태일 수 있는 그들 각각의 전자 장치들(110, 120) 상의 채트 애플리케이션("채트 앱")을 이용하여 통신할 수 있다. 제1 사용자는 다음의 메시지 "I have big news! I got a promotion today!"를 제2 사용자에게 타이핑할 수 있다. 제2 사용자는 과장된 "wow!" 얼굴을 만들어 반응할 수 있다. 제2 사용자의 장치 상의 정면 카메라는 과장된 "wow!" 얼굴을 만드는 동안 그의 얼굴의 이미지를 캡처함으로써 제2 사용자의 감정을 캡처할 수 있다. 제2 사용자의 장치는 그의 감정이 "놀라움"인 것으로 결정하고, "놀라움" 감정과 매칭되는 전자 스티커를 전자 스티커 팩 또는 라이브러리에서 식별할 수 있다. 예를 들어, 전자 스티커는 고릴라가 놀라서 그의 턱을 큰 "THUD!"와 함께 바닥으로 떨구는 것처럼 보이는 애니메이션일 수 있으며, 이는 전자 스티커가 제1 사용자에게 전달될 때 전자 스티커와 통합된 햅틱 효과로서 느껴질 수 있다.
일 실시예에서, 무드 프로필을 이용하여, 스티커 또는 아바타와 같은 시각 자산에 적용되는 애니메이션 파라미터들의 세트를 선택한다. 예를 들어, 한 사람이 그의 친구에게 애니메이팅된 캐릭터를 전송할 수 있다. 캐릭터가 전송될 때 그리고/또는 그 후에, 그가 나타내는 시각적 거동들이 무드 프로필에 의해 변경될 수 있다. 송신자가 슬픈 경우, 캐릭터는 슬픔과 관련된 액션들 및 거동들, 예로서 아래를 보거나 발을 끄는 것 등을 취할 수 있다. 햅틱 피드백은 발 끌기와 매칭되어, 수신자의 주의를 그러한 무드로 끌어들이고 감정 경험을 생성할 수 있다. 송신자의 무드가 흥분으로 변경되는 경우, 캐릭터는 위아래로 점프하기 시작할 수 있고, 수신자는 캐릭터가 착륙할 때마다 진동 펄스를 갖는 점핑과 매칭되는 "흥분" 진동 패턴을 느낄 수 있다.
본 발명의 실시예들의 다른 구현에서, 제1 사용자 및 제2 사용자는 구글 행아웃들을 이용하여 서로 통신할 수 있다. 제2 사용자는 제2 사용자의 랩탑을 통해 통신하는 동안 제1 사용자가 친구들과의 이벤트에 도달하기를 기다릴 수 있다. 제2 사용자는 제1 사용자의 GPS 위치에 의해 확인될 수 있는 제1 사용자의 지각에 의해 유발되는, 제2 사용자에 의해 느껴지는 스트레스의 징후를 감지하는 착용식 전자 장치를 착용할 수 있다. 제2 사용자의 스트레스 레벨을 암시하는 이모티콘이 제1 사용자의 이동 장치로 전송될 수 있다. 제1 사용자는 예를 들어 이벤트로 향할 때 버스에 있는 동안 그의 이동 장치 상에서 메시지를 수신할 수 있다. 제1 사용자는 제2 사용자가 스트레스를 받고 있다는 것을 알 수 있다. 버스가 교통 혼잡을 벗어나 이벤트 장소로 빠르게 접근함에 따라, 제1 사용자의 장치는 그의 미소를 캡처하고, 긍정적인 이모티콘을 전송하여 그가 정시에 도착할 것이라는 것을 제2 사용자에게 알릴 수 있다. 제2 사용자는 제2 사용자의 착용식 전자 장치, 이동 전화, 마우스 및 햅틱 인에이블드 랩탑 터치패드 등을 포함하지만 이에 한정되지 않는, 그의 구글 계정에 접속된 다양한 장치들을 통해 통지를 수신할 수 있다.
본 발명의 실시예들의 다른 구현에서, 시스템의 제1 사용자가 시스템의 제2 사용자에게 메시지를 타이핑하기 시작할 때, 제2 사용자의 장치는 제2 사용자의 무드의 지시를 제1 사용자에게 제공할 수 있으며, 따라서 제1 사용자는 제2 사용자의 무드를 고려할 수 있다. 예를 들어, 제1 사용자는 짓궂은 농담을 포함하는 메시지를 제2 사용자에게 전송하기를 원할 수 있다. 제1 사용자가 메시지를 타이핑하기 시작함에 따라, 제1 사용자는 그의 전자 장치(110) 상에서 제2 사용자가 좋은 무드에 있지 않다는 것을 통지받을 수 있으며, 따라서 제1 사용자는 메시지의 말씨 또는 타이밍을 변경해야 할지를 재고할 수 있다.
본 발명의 실시예들의 일 구현에서, 시스템의 제1 사용자의 무드는 전술한 바와 같이 액션을 결정하는 데 사용될 수 있으며, 결정된 액션은 시스템의 제2 사용자의 감지된 무드에 의해 더 조절될 수 있다. 예를 들어, 제1 사용자의 무드가 흥분된 상태이지만, 제2 사용자의 무드가 침울한 상태인 경우, 제1 사용자의 무드에 기초하여 취해지도록 결정된 본래의 액션은 제2 사용자의 무드에 기초하여 조절될 수 있으며, 따라서 제2 사용자에게 출력되는 효과가 변경된다.
본 발명의 실시예들은 게이밍 환경에서 구현될 수 있다. 예를 들어, 본 발명의 실시예들의 일 구현에서, 시스템의 제1 사용자의 무드는 게임 내의 제1 사용자의 아바타에 영향을 주는 데 사용될 수 있고/있거나, 게임 내의 다른 플레이어들에 영향을 주는 데 사용될 수 있다. 시스템의 제1 사용자의 아바타가 시스템의 제2 사용자의 아바타를 심하게 해치거나 제거하는 일 구현에서, 본 발명의 실시예들은 액션의 결과로서 제2 사용자가 당황하거나 분노했는지를 검출하고 제2 사용자의 무드를 제1 사용자에게 통신하는 데 사용될 수 있다. 제2 사용자의 무드의 그러한 통신은 제1 사용자가 그러한 액션 후에 제2 사용자를 비웃는 것을 의도하고, 비웃음이 좋은 아이디어인지의 여부, 즉 제2 사용자가 그러한 비웃음을 처리할 수 있는지에 관하여 더 잘 알기를 원하는 경우에 도움이 될 수 있다.
개시된 바와 같이, 실시예들은 전자 장치의 사용자의 무드를 감지하고, 무드에 기초하여 액션을 자동으로 수행한다. 액션의 예는 제1 사용자의 무드를 반영하는 시각 및/또는 햅틱 성분을 포함하는 제2 사용자에 대한 전자 메시지의 생성 및 전송일 수 있다. 이모티콘 스티커와 같은 시각 및/또는 햅틱 성분은 무드에 기초하여 자동 선택될 수 있어서, 사용자가 선택을 행할 필요성을 줄일 수 있다.
본 명세서에서 설명된 실시예들은 다수의 가능한 구현 및 예를 나타내며, 본 발명을 임의의 특정 실시예들로 반드시 한정하는 것을 의도하지 않는다. 대신, 이 분야의 통상의 기술자에 의해 이해되는 바와 같이 이러한 실시예들에 대해 다양한 변경들이 이루어질 수 있다. 임의의 그러한 변경들은 본 발명의 사상 및 범위 내에 포함되고 아래의 청구항들에 의해 보호되는 것을 의도한다.

Claims (20)

  1. 전자 장치를 동작시키기 위한 방법으로서,
    제1 전자 장치와 관련된 사용자의 무드를 결정하는 단계;
    상기 결정된 무드에 기초하여 상기 제1 전자 장치에 의해 수행될 액션을 결정하는 단계; 및
    상기 결정된 액션을 개시하는 단계
    를 포함하고, 상기 결정된 액션은 상기 결정된 무드에 대응하는 객체를 제2 전자 장치로 전송하는 액션을 포함하는 방법.
  2. 제1항에 있어서,
    상기 무드를 결정하는 상기 단계는 상기 사용자의 물리적 속성에 기초하는 방법.
  3. 제2항에 있어서,
    상기 물리적 속성은 상기 전자 장치 상의 카메라에 기초하여 결정되는 상기 사용자의 얼굴 단서들을 포함하는 방법.
  4. 제2항에 있어서,
    상기 물리적 속성은 상기 사용자의 감지된 생체 마커, 상기 사용자의 음성 또는 상기 전자 장치 상에 상기 사용자에 의해 인가되는 입력 압력 중 적어도 하나를 포함하는 방법.
  5. 제1항에 있어서,
    상기 결정된 액션은 이모티콘 또는 전자 스티커를 포함하는 상기 객체를 자동으로 선택하여 상기 사용자에 의해 준비된 메시지에 첨부하는 액션을 포함하는 방법.
  6. 제1항에 있어서,
    상기 결정된 액션은 상기 결정된 무드를 반영하는 시각 효과, 상기 결정된 무드를 반영하는 오디오 효과 또는 상기 결정된 무드를 반영하는 햅틱 효과 중 적어도 하나를 제2 전자 장치로 자동 전송하는 액션을 포함하는 방법.
  7. 제1항에 있어서,
    상기 결정된 액션은 상기 사용자의 위치에 더 기초하는 방법.
  8. 제5항에 있어서,
    상기 결정된 액션은 상기 결정된 무드에 기초하여 상기 이모티콘 또는 전자 스티커를 변경하는 액션을 더 포함하는 방법.
  9. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 전자 장치를 동작시키게 하는 명령어들을 저장한 컴퓨터 판독 가능 매체로서,
    상기 동작은
    제1 전자 장치와 관련된 사용자의 무드를 결정하고;
    상기 결정된 무드에 기초하여 상기 제1 전자 장치에 의해 수행될 액션을 결정하고;
    상기 결정된 액션을 개시하는 것
    을 포함하고, 상기 결정된 액션은 상기 결정된 무드에 대응하는 객체를 제2 전자 장치로 전송하는 액션을 포함하는 컴퓨터 판독 가능 매체.
  10. 제9항에 있어서,
    상기 무드의 상기 결정은 상기 사용자의 물리적 속성에 기초하는 컴퓨터 판독 가능 매체.
  11. 제10항에 있어서,
    상기 물리적 속성은 상기 전자 장치 상의 카메라에 기초하여 결정되는 상기 사용자의 얼굴 단서들을 포함하는 컴퓨터 판독 가능 매체.
  12. 제10항에 있어서,
    상기 물리적 속성은 상기 사용자의 감지된 생체 마커, 상기 사용자의 음성 또는 상기 전자 장치 상에 상기 사용자에 의해 인가되는 입력 압력 중 적어도 하나를 포함하는 컴퓨터 판독 가능 매체.
  13. 제9항에 있어서,
    상기 결정된 액션은 이모티콘 또는 전자 스티커를 포함하는 상기 객체를 자동으로 선택하여 상기 사용자에 의해 준비된 메시지에 첨부하는 액션을 포함하는 컴퓨터 판독 가능 매체.
  14. 제9항에 있어서,
    상기 결정된 액션은 상기 결정된 무드를 반영하는 시각 효과, 상기 결정된 무드를 반영하는 오디오 효과 또는 상기 결정된 무드를 반영하는 햅틱 효과 중 적어도 하나를 제2 전자 장치로 자동 전송하는 액션을 포함하는 컴퓨터 판독 가능 매체.
  15. 제9항에 있어서,
    상기 결정된 액션은 상기 사용자의 위치에 더 기초하는 컴퓨터 판독 가능 매체.
  16. 제13항에 있어서,
    상기 결정된 액션은 상기 결정된 무드에 기초하여 상기 이모티콘 또는 전자 스티커를 변경하는 액션을 더 포함하는 컴퓨터 판독 가능 매체.
  17. 장치로서,
    센서를 포함하고, 상기 장치와 관련된 사용자의 무드를 결정하는 무드 결정기; 및
    송신기를 포함하고, 상기 결정된 무드에 기초하여 상기 장치에 의해 수행될 액션을 결정하고, 상기 결정된 액션을 개시하는 액션 결정기
    를 포함하고,
    상기 결정된 액션은 상기 결정된 무드에 대응하는 객체를 제2 장치로 전송하는 액션을 포함하는 장치.
  18. 제17항에 있어서,
    상기 무드의 상기 결정은 상기 사용자의 물리적 속성에 기초하는 장치.
  19. 제18항에 있어서,
    카메라를 더 포함하고, 상기 물리적 속성은 상기 카메라를 이용하여 결정되는 상기 사용자의 얼굴 단서들을 포함하는 장치.
  20. 제18항에 있어서,
    상기 물리적 속성은 상기 사용자의 감지된 생체 마커, 상기 사용자의 음성 또는 상기 장치 상에 상기 사용자에 의해 인가되는 입력 압력 중 적어도 하나를 포함하는 장치.
KR1020160021774A 2015-02-27 2016-02-24 사용자의 무드에 기초하는 액션 생성 KR20160105321A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562126185P 2015-02-27 2015-02-27
US62/126,185 2015-02-27

Publications (1)

Publication Number Publication Date
KR20160105321A true KR20160105321A (ko) 2016-09-06

Family

ID=55453041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160021774A KR20160105321A (ko) 2015-02-27 2016-02-24 사용자의 무드에 기초하는 액션 생성

Country Status (5)

Country Link
US (2) US10248850B2 (ko)
EP (1) EP3062198B1 (ko)
JP (1) JP2016162459A (ko)
KR (1) KR20160105321A (ko)
CN (1) CN105929942A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154417A1 (ko) * 2021-01-15 2022-07-21 삼성전자 주식회사 감정 상태를 식별하는 전자 장치 및 그 운용 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225220B2 (en) 2015-06-01 2019-03-05 Facebook, Inc. Providing augmented message elements in electronic communication threads
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
AU2017240259A1 (en) 2016-04-01 2018-10-18 Upmc Regulatory device and associated method
CN105763431B (zh) * 2016-05-06 2019-03-26 腾讯科技（深圳）有限公司 一种信息推送方法、装置及系统
US9870025B1 (en) * 2016-07-10 2018-01-16 Emotive Digital, LP Display case
US10387571B2 (en) * 2016-07-20 2019-08-20 Vidicons LLC Networked device with suggested response to incoming message
US11138262B2 (en) * 2016-09-21 2021-10-05 Melodia, Inc. Context-aware music recommendation methods and systems
CN106648100B (zh) * 2016-12-23 2019-08-06 深圳先进技术研究院 一种人机交互方法、装置和系统
US10769418B2 (en) 2017-01-20 2020-09-08 At&T Intellectual Property I, L.P. Devices and systems for collective impact on mental states of multiple users
US11482132B2 (en) * 2017-02-01 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Devices and methods for providing tactile feedback
JP7052734B2 (ja) * 2017-02-20 2022-04-12 ソニーグループ株式会社 情報処理システムおよび情報処理方法
US11562271B2 (en) 2017-03-21 2023-01-24 Huawei Technologies Co., Ltd. Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture
WO2018215575A1 (en) * 2017-05-26 2018-11-29 Jamzone B.V. System or device allowing emotion recognition with actuator response induction useful in training and psychotherapy
CN107153496B (zh) * 2017-07-04 2020-04-28 北京百度网讯科技有限公司 用于输入表情图标的方法和装置
CN110019286B (zh) * 2017-07-19 2021-10-29 中国移动通信有限公司研究院 一种基于用户社交关系的表情推荐方法及装置
US10582119B2 (en) * 2017-07-26 2020-03-03 Sony Corporation Image processing method and device for composite selfie image composition for remote users
GB201713301D0 (en) * 2017-08-18 2017-10-04 Revolutioneyes Me Ltd Communication method
TWI787205B (zh) * 2017-09-28 2022-12-21 日商電通股份有限公司 表情記錄系統、嬰兒車、及表情記錄程式
US10817316B1 (en) 2017-10-30 2020-10-27 Wells Fargo Bank, N.A. Virtual assistant mood tracking and adaptive responses
US20190138095A1 (en) * 2017-11-03 2019-05-09 Qualcomm Incorporated Descriptive text-based input based on non-audible sensor data
US11195118B2 (en) 2017-11-20 2021-12-07 International Business Machines Corporation Detecting human input activity in a cognitive environment using wearable inertia and audio sensors
US10958610B2 (en) 2018-01-10 2021-03-23 International Business Machines Corporation Generating alerts based on predicted mood responses to received electronic messages
CN108399358B (zh) * 2018-01-11 2021-11-05 中国地质大学（武汉） 一种在视频聊天的表情显示方法及系统
CN108512995B (zh) * 2018-03-01 2020-08-18 Oppo广东移动通信有限公司 电子装置、脑电波控制方法及相关产品
CN108600502B (zh) * 2018-03-05 2021-04-06 Oppo广东移动通信有限公司 电子装置、拨号方法及相关产品
US10699104B2 (en) 2018-05-03 2020-06-30 International Business Machines Corporation Image obtaining based on emotional status
EP3572911A1 (de) * 2018-05-24 2019-11-27 Skidata Ag Interaktiver automat und verfahren zur optimierung der benutzerführung und ergonomie während der bedienung des interaktiven automaten
US11636365B2 (en) 2018-09-13 2023-04-25 International Business Machines Corporation State of emotion time series
US10346541B1 (en) * 2018-10-05 2019-07-09 Capital One Services, Llc Typifying emotional indicators for digital messaging
US11023687B2 (en) * 2018-10-08 2021-06-01 Verint Americas Inc. System and method for sentiment analysis of chat ghost typing
CN109525725B (zh) * 2018-11-21 2021-01-15 三星电子（中国）研发中心 一种基于情绪状态的信息处理方法和装置
KR20210113266A (ko) 2019-01-04 2021-09-15 아폴로 뉴로사이언스 인코포레이티드 경피 진동을 위한 파 생성 시스템들 및 방법들
JPWO2020166495A1 (ja) * 2019-02-14 2021-12-23 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN113050843A (zh) * 2019-12-27 2021-06-29 深圳富泰宏精密工业有限公司 情绪识别及管理方法、计算机程序及电子装置
US11818286B2 (en) * 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
CN112244837A (zh) * 2020-07-27 2021-01-22 长春中医药大学附属医院(吉林省中医院) 针对治疗失忆类脑病的中医治疗仪
US20220037004A1 (en) * 2020-07-31 2022-02-03 Hennepin Healthcare System, Inc. Healthcare worker burnout detection tool
US11258936B1 (en) * 2020-10-03 2022-02-22 Katherine Barnett Remote selfie system
US11283751B1 (en) * 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time
US11676317B2 (en) 2021-04-27 2023-06-13 International Business Machines Corporation Generation of custom composite emoji images based on user-selected input feed types associated with Internet of Things (IoT) device input feeds
US11429188B1 (en) 2021-06-21 2022-08-30 Sensie, LLC Measuring self awareness utilizing a mobile computing device
US11765115B2 (en) * 2021-07-29 2023-09-19 Snap Inc. Emoji recommendation system using user context and biosignals
US20230240374A1 (en) * 2022-01-28 2023-08-03 Nicoventures Trading Limited Electronic vapor provision system and method
KR102650224B1 (ko) * 2023-06-05 2024-03-20 광운대학교 산학협력단 감정 전달 시스템 및 감정 전달 방법

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076737B2 (en) 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6850150B1 (en) 2000-11-21 2005-02-01 Nokia Mobile Phones Ltd. Portable device
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US7039676B1 (en) * 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US7624149B2 (en) * 2004-09-15 2009-11-24 Microsoft Corporation Instant messaging with audio
EP2194509A1 (en) * 2006-05-07 2010-06-09 Sony Computer Entertainment Inc. Method for providing affective characteristics to computer generated avatar during gameplay
US20080027984A1 (en) * 2006-07-31 2008-01-31 Motorola, Inc. Method and system for multi-dimensional action capture
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
CN101020312A (zh) * 2007-03-13 2007-08-22 叶琛 基于网络功能的机器人传递行为的方法和装置
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US8740622B2 (en) 2008-01-17 2014-06-03 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
KR100952698B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US20100177116A1 (en) * 2009-01-09 2010-07-15 Sony Ericsson Mobile Communications Ab Method and arrangement for handling non-textual information
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US20110291953A1 (en) * 2010-05-31 2011-12-01 National University Of Singapore Robot device and platform for social networking
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US20130159919A1 (en) * 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9460473B2 (en) * 2012-06-26 2016-10-04 International Business Machines Corporation Content-sensitive notification icons
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
DK3014394T3 (da) 2013-07-05 2022-07-11 Jacob A Rubin Helkrops-menneske-computer-grænseflade
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9392094B2 (en) 2014-01-15 2016-07-12 Sony Corporation Mobile electronic wearable device and method for providing haptic notification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9773389B2 (en) 2014-07-28 2017-09-26 Ck Materials Lab Co., Ltd. Tactile information supply module
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9778746B2 (en) 2015-09-25 2017-10-03 Oculus Vr, Llc Transversal actuator for haptic feedback
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154417A1 (ko) * 2021-01-15 2022-07-21 삼성전자 주식회사 감정 상태를 식별하는 전자 장치 및 그 운용 방법

Also Published As

Publication number Publication date
EP3062198A1 (en) 2016-08-31
US20160253552A1 (en) 2016-09-01
US20190258850A1 (en) 2019-08-22
CN105929942A (zh) 2016-09-07
EP3062198B1 (en) 2019-09-04
JP2016162459A (ja) 2016-09-05
US10248850B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
US10248850B2 (en) Generating actions based on a user's mood
JP6849722B2 (ja) 可変触覚出力のための意味論的フレームワーク
JP7240347B2 (ja) 触覚フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
US10593166B2 (en) Haptically enabled messaging
TWI497406B (zh) 用於為一語音辨識互動模組提供輸入功能之方法及電腦可讀取媒體
CN108958631B (zh) 屏幕发声控制方法、装置以及电子装置
US20240078079A1 (en) Devices, Methods, and User Interfaces for Controlling Operation of Wireless Electronic Accessories
KR102657331B1 (ko) 햅틱 피드백을 제공하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스