KR102013493B1 - 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하기 위한 시스템 및 방법 - Google Patents
감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR102013493B1 KR102013493B1 KR1020170113156A KR20170113156A KR102013493B1 KR 102013493 B1 KR102013493 B1 KR 102013493B1 KR 1020170113156 A KR1020170113156 A KR 1020170113156A KR 20170113156 A KR20170113156 A KR 20170113156A KR 102013493 B1 KR102013493 B1 KR 102013493B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic device
- emotional state
- user
- content item
- circuits
- Prior art date
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 328
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000007704 transition Effects 0.000 claims abstract description 128
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000008451 emotion Effects 0.000 claims description 82
- 230000007935 neutral effect Effects 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 29
- 230000003542 behavioural effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 239000003826 tablet Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000035900 sweating Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 241000039077 Copula Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000027758 ovulation cycle Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0255—Targeted advertisements based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G06K9/00302—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0261—Targeted advertisements based on user location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 시스템 및 방법의 다양한 양태가 여기서 개시된다. 한 실시예에 따르면, 이 시스템은 전자 디바이스를 포함하고, 이 전자 디바이스는, 제1 감정 상태로부터 제2 감정 상태로의, 이 전자 디바이스와 연관된 사용자의 감정 상태에서의 천이를 검출하도록 구성된다. 사용자의 제2 감정 상태와 연관된 태깅된 콘텐츠 항목이 사용자의 신원 정보 및 검출된 천이에 기초하여 네트워크 디바이스로부터 검색된다. 전자 디바이스 상에서 애플리케이션이 론칭되어 검색된 태깅된 콘텐츠 항목에 관련된 제품 또는 서비스를 추천한다. 이 애플리케이션은 사용자의 감정 상태에서의 검출된 천이 및 전자 디바이스의 현재 위치에 응답하여 론칭된다.
Description
본 개시 내용의 다양한 실시예들은 사용자의 감정 상태의 검출에 관한 것이다. 특히, 본 개시 내용의 다양한 실시예들은 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하기 위한 시스템 및 방법에 관한 것이다.
감정은 인간의 삶에서 중요한 역할을 하며, 심박수 또는 얼굴 표정의 변화 등의, 생리학적 및 행동적 표현을 야기할 수 있다고 알려져 있다. 사용자의 감정을 식별하기 위한 시도가 있어왔지만, 기존 시스템은 사용자와 감정적으로 또는 공감적으로 연결할 수 있는 능력이 여전히 부족하다. 관련 콘텐츠를 사용자에게 추천하는데 초점을 맞춘 기존 시스템은 최종 소비자의 실제 이용에 적합한 인간의 감정 상태의 변화를 거의 고려하지 않을 수 있다. 따라서, 인간의 감정 상태의 이러한 변화가 지능적인 방식으로 채용되어 실제적인 유용성이 강화된 감정-기반 추천을 제공할 수 있는 진보된 시스템이 요구될 수 있다.
종래의 및 전통적인 접근법의 추가적인 제한 및 단점은, 설명되는 시스템과 도면을 참조한 본 출원의 나머지 부분에 개시되는 본 개시내용의 일부 양태들과의 비교를 통해 본 기술분야의 통상의 기술자에게 명백해질 것이다.
사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 시스템 및 방법은, 실질적으로 도면들 중 적어도 하나에서 도시되고 이와 관련하여 설명되며, 청구항들에서 더 완전하게 개시되는 바와 같이 제공된다.
본 개시내용의 이들 및 다른 피쳐들 및 이점들은, 전체적으로 유사한 참조 번호는 유사한 부분을 나타내는 첨부된 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있을 것이다.
도 1은, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 네트워크 환경을 나타내는 블록도이다.
도 2는, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 추천을 제공하는 예시적인 전자 디바이스의 블록도를 나타낸다.
도 3은, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 추천을 제공하는 또 다른 예시적인 전자 디바이스의 블록도를 나타낸다.
도 4a 및 도 4b는, 집합적으로, 본 개시내용의 한 실시예에 따른 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법의 구현을 위한 제1 예시적인 시나리오를 나타낸다.
도 5a 및 도 5b는, 집합적으로, 본 개시내용의 한 실시예에 따른 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법의 구현을 위한 제2 예시적인 시나리오를 나타낸다.
도 6은 본 개시내용의 실시예에 따른 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 예시적인 방법을 도시하는 제1 플로차트를 나타낸다.
도 7a 및 도 7b는, 집합적으로, 본 개시내용의 실시예에 따른 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 또 다른 예시적인 방법을 도시하는 제2 플로차트를 나타낸다.
도 2는, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 추천을 제공하는 예시적인 전자 디바이스의 블록도를 나타낸다.
도 3은, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 추천을 제공하는 또 다른 예시적인 전자 디바이스의 블록도를 나타낸다.
도 4a 및 도 4b는, 집합적으로, 본 개시내용의 한 실시예에 따른 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법의 구현을 위한 제1 예시적인 시나리오를 나타낸다.
도 5a 및 도 5b는, 집합적으로, 본 개시내용의 한 실시예에 따른 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법의 구현을 위한 제2 예시적인 시나리오를 나타낸다.
도 6은 본 개시내용의 실시예에 따른 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 예시적인 방법을 도시하는 제1 플로차트를 나타낸다.
도 7a 및 도 7b는, 집합적으로, 본 개시내용의 실시예에 따른 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 또 다른 예시적인 방법을 도시하는 제2 플로차트를 나타낸다.
이하의 설명된 구현들은 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법에서 발견될 수 있다. 본 개시 내용의 예시적인 양태들은 제1 감정 상태로부터 제2 감정 상태로의 전자 디바이스와 연관된 사용자의 감정 상태의 천이를 검출할 수 있는 전자 디바이스를 포함할 수 있다. 사용자의 제2 감정 상태와 연관된 태깅된 콘텐츠 항목이 사용자의 신원 정보 및 검출된 천이에 기초하여 네트워크 디바이스로부터 검색될 수 있다. 전자 디바이스 상에서 애플리케이션이 론칭되어 검색된 태깅된 콘텐츠 항목에 관련된 제품 또는 서비스를 추천할 수 있다. 이 애플리케이션은 사용자의 감정 상태에서의 검출된 천이 및 전자 디바이스의 현재 위치에 응답하여 론칭될 수 있다.
한 실시예에 따르면, 제1 감정 상태 및 제2 감정 상태는, 중립, 행복, 슬픔, 분노, 경멸, 두려움, 놀람, 혼란 및 애정에 대응할 수 있다. 네트워크 디바이스는, 서버, 무선 홈 네트워크 내의 전자 디바이스에 접속된 또 다른 전자 디바이스, 및/또는 클라우드 기반 서비스에 대응할 수 있다.
한 실시예에 따르면, 센서 데이터는 사용자와 연관된 착용형 디바이스 및/또는 전자 디바이스의 내장형 카메라로부터 수신될 수 있다. 센서 데이터는 또한, 사용자의 감정 상태에서의 천이의 검출을 위해 전자 디바이스 상의 텍스트-기반 입력 및/또는 전자 디바이스 상의 음성-기반 입력에 대응할 수 있다.
한 실시예에 따르면, 제품 또는 서비스는 전자 디바이스 상의 검색된 태깅된 콘텐츠 항목에 기초하여 검색될 수 있다. 전자 디바이스의 홈 스크린 인터페이스(home screen interface)는 사용자의 감정 상태에서의 검출된 천이에 기초하여 동적으로 맞춤화될 수 있다. 전자 디바이스의 홈 스크린 인터페이스는 네트워크 디바이스에서 제2 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 추가로 기초하여 동적으로 맞춤화될 수 있다.
본 개시내용의 예시적인 양태에 따르면, 전자 디바이스 상의 콘텐츠 항목을 시청하는 사용자에 대해 제1 감정 상태로부터 제2 감정 상태로의 감정 상태에서의 천이가 검출될 수 있다. 검출된 천이 동안 시청된 콘텐츠 항목의 일부는 사용자의 제2 감정 상태와 연관될 수 있다. 제2 감정 상태로의 검출된 천이의 원인은 제2 감정 상태와 연관된 콘텐츠 항목의 상기 일부에서 식별될 수 있다. 식별된 원인에 기초하여 제품 또는 서비스에 대한 추천이 생성될 수 있다. 이 추천은 사용자의 감정 상태에서의 검출된 천이 및 전자 디바이스의 현재 위치에 응답하여 생성될 수 있다.
한 실시예에 따르면, 콘텐츠 항목의 일부에서 식별된 원인은, 이미지 프레임(image frame), 이미지 프레임 내의 객체, 콘텐츠 항목의 일부의 컨텍스트(context)에 대응할 수 있다. 사용자의 제2 감정 상태의 레벨은, 전자 디바이스 상의 콘텐츠 항목의 시청 동안에 결정될 수 있다. 콘텐츠 항목의 일부는 결정된 레벨이 임계값보다 클 때 제2 감정 상태와 연관될 수 있다.
한 실시예에 따르면, 콘텐츠 항목의 일부에서 식별된 원인은, 제2 감정 상태, 사용자의 신원 정보, 검출된 천이의 타임스탬프, 및/또는 제2 감정 상태의 결정된 레벨로 태깅될 수 있다. 제2 감정 상태와 연관된 태깅된 원인에 관련된 제품 또는 서비스는, 추천을 위해 미리-명시된 검색 엔진을 이용하여 실시간으로 또는 거의 실시간으로 검색될 수 있다.
한 실시예에 따르면, 콘텐츠 항목의 일부 내의 태깅된 원인은 전자 디바이스에 통신가능하게 결합된 서버 또는 네트워크 디바이스에 전달될 수 있다. 제품 또는 서비스에 대한 생성된 추천의 디스플레이는, 전자 디바이스 상에서 또는 전자 디바이스에 통신가능하게 결합된 또 다른 전자 디바이스 상에서 제어될 수 있다.
한 실시예에 따르면, 통보가 또 다른 전자 디바이스에 전달되어 그 또 다른 전자 디바이스의 홈 스크린 인터페이스를 잠금해제하여 생성된 추천을 디스플레이할 수 있다. 한 실시예에 따라, 생성된 추천은, 생성된 추천의 사용 패턴과 연관된 머신 학습에 기초하여 업데이트될 수 있다.
도 1은, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 네트워크 환경을 나타내는 블록도이다. 도 1을 참조하면, 예시적인 네트워크 환경(100)이 도시되어 있다. 예시적인 네트워크 환경(100)은, 제1 전자 디바이스(102) 및 제2 전자 디바이스(104) 등의 하나 이상의 전자 디바이스, 서버(106), 하나 이상의 착용형 디바이스(108), 통신 네트워크(110), 및 사용자(112) 등의 하나 이상의 사용자를 포함할 수 있다. 또한, 사용자(112)와 연관된 복수의 감정 상태(114)가 도시되어 있다.
제1 전자 디바이스(102)는, 이미지 포착 유닛(102a), 디스플레이 스크린(102b), 및 디스플레이 스크린(102b) 상에 렌더링 애플리케이션 인터페이스(102c)를 포함할 수 있다. 유사하게, 제2 전자 디바이스(104)는, 이미지 포착 유닛(104a), 디스플레이 스크린(104b), 및 애플리케이션 인터페이스(104c)를 포함할 수 있다. 제1 전자 디바이스(102), 제2 전자 디바이스(104), 및 서버(106)는 통신 네트워크(110)를 통해 서로 통신가능하게 결합될 수 있는 네트워크 디바이스일 수 있다. 하나 이상의 착용형 디바이스(108)는, 별개의 근거리 통신 채널을 통해 또는 통신 네트워크(110)를 통해, 제1 전자 디바이스(102) 또는 제2 전자 디바이스(104) 등의 하나 이상의 전자 디바이스 중 하나에 통신가능하게 결합될 수 있다. 사용자(112)는, 하나 이상의 착용형 디바이스(108), 제1 전자 디바이스(102), 및/또는 제2 전자 디바이스(104)와 연관될 수 있다.
제1 전자 디바이스(102) 및 제2 전자 디바이스(104) 등의 하나 이상의 전자 디바이스는, 제1 감정 상태로부터 제2 감정 상태로의 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 제1 전자 디바이스(102) 및 제2 전자 디바이스(104)의 예로서는, 스마트 텔레비전(TV), 스마트폰, 디스플레이 디바이스, 랩탑, 태블릿 컴퓨터, 카메라, 액션 캠(action cam), 캠코더, 디지털 사이니지(digital signage), 프로젝터, 및/또는 비디오-처리 디바이스가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
이미지 포착 유닛(102a 및 104a)은 사용자(112)의 하나 이상의 이미지 또는 비디오를 포착하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 한 실시예에 따르면, 이미지 포착 유닛(102a, 104a)이란, 각각의 전자 디바이스의 내장형 카메라 또는 이미지 센서를 지칭할 수 있다.
디스플레이 스크린(102b 및 104b)은, 도시된 바와 같이, 각각의 애플리케이션 인터페이스(102c 및 104c)를 렌더링하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 디스플레이 스크린(102b 및 104b)은, 액정 디스플레이(LCD), 발광 다이오드(LED) 기반 디스플레이, 유기 LED 디스플레이 기술, 레티나 디스플레이 기술(Retina display technology) 및/또는 이와 유사한 것 등의 수 개의 공지된 기술을 통해 실현될 수 있다.
애플리케이션 인터페이스(102c 및 104c)는, 제1 전자 디바이스(102) 및 제2 전자 디바이스(104) 등의, 각각의 전자 디바이스에 미리저장된 애플리케이션에 대응할 수 있다. 애플리케이션 인터페이스(102c)는, 비디오 또는 TV 프로그램 등의 하나 이상의 콘텐츠 항목을, 제1 전자 디바이스(102)의 디스플레이 스크린(102b) 상에 렌더링하도록 구성될 수 있다. 애플리케이션 인터페이스(104c)는 제2 전자 디바이스(104)의 디스플레이 스크린(104b) 상에 렌더링될 수 있다. 애플리케이션 인터페이스(104c)는 스마트폰 등의 제2 전자 디바이스(104)와 사용자(112)의 상호작용을 용이하게 할 수 있다. 한 실시예에 따르면, 애플리케이션 인터페이스(104c)는 제2 전자 디바이스(104)의 디스플레이 스크린(104b) 상에 디스플레이된 홈 스크린에 대응할 수 있다.
서버(106)는, 제1 전자 디바이스(102)로부터, 사용자(112) 등의 사용자의 특정한 감정 상태로 태깅된 이미지 프레임의 시퀀스 등의, 태깅된 콘텐츠 항목, 또는 콘텐츠 항목의 일부를 수신하고 저장하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 사용자(112)의 감정 상태에서의 천이는, 제1 전자 디바이스(102), 제2 전자 디바이스(104), 및 하나 이상의 착용형 디바이스(108) 등의 다양한 전자 디바이스의 이용에 의해, 모니터링되고 지속적으로 추적될 수 있다. 서버(106)는 또한, 제1 전자 디바이스(102), 제2 전자 디바이스(104), 및 하나 이상의 착용형 디바이스(108) 등의 다양한 전자 디바이스로부터 타임스탬프와 함께 감정 상태에서의 검출된 천이에 관련된 정보를 수신하도록 구성될 수 있다. 서버(106)는, 클라우드 기반 서버, 웹 서버, 데이터베이스 서버, 파일 서버, 애플리케이션 서버, 또는 이들의 조합일 수 있다. 서버(106)는, 본 기술분야의 통상의 기술자에게 널리 공지된 수 개의 기술들을 이용하여 구현될 수도 있다.
하나 이상의 착용형 디바이스(108)란, 착용형 전자기기 및/또는 전자식 임플란트를 지칭할 수 있다. 하나 이상의 착용형 디바이스(108)는, 제1 전자 디바이스(102) 또는 제2 전자 디바이스(104) 등의, 접속된 디바이스에 센서 데이터를 전달하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 하나 이상의 착용형 디바이스(108)는 사용자(112)에 의해 착용될 수 있다. 예를 들어, 칼로리 섭취량, 소모된 칼로리, 수면 패턴, 및/또는 발한(perspiration) 또는 심박수 또는 사용자(112)의 신체 활동 등의 생리학적 파라미터를 측정하기 위해 사용자(112)에 의해 착용된 스마트 안경, 스마트 밴드, 또는 스마트 시계가 이용될 수 있다. 하나 이상의 착용형 디바이스(108)의 예로서는, 착용형 심장 이벤트 기록기, (배란 주기를 예측하고, 심장 박동수, 맥박 산소 측정법, 호흡 수 및/또는 혈압 등의 생리학적 파라미터를 모니터링하기 위해 인체에 부착, 착용 또는 임플란트될 수 있는) 생체적합형 센서, "오바마케어 마이크로 칩 RFID 임플란트" 등의 임플란트가능한 무선 주파수 디바이스, 및/또는 사용자(112)의 감정 상태를 추적하기 위해 사용자(112)의 생리학적 파라미터를 모니터링하는 것과 관련된 센서 데이터를 제공할 수 있는 착용형 또는 임플란트가능한 기타의 디바이스가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
통신 네트워크(110)는, 제1 전자 디바이스(102), 제2 전자 디바이스(104), 하나 이상의 착용형 디바이스(108), 및 서버(106)가 서로 통신하기 위한 매체를 포함할 수 있다. 통신 네트워크(110)는 무선 통신 네트워크일 수 있다. 통신 네트워크(110)의 예로서는, 무선 홈 네트워크 등의 무선 근거리 통신망(WLAN), 클라우드 네트워크, "All-joyn" 또는 사물 인터넷(IoT) 통신 프레임워크, LTE(Long Term Evolution) 네트워크, POTS(plain old telephone service), MAN(Metropolitan Area Network) 및/또는 인터넷이 포함될 수 있지만, 이것으로 제한되는 것은 아니다. 예시적인 네트워크 환경(100)의 다양한 디바이스들은, 다양한 무선 통신 프로토콜에 따라 통신 네트워크(110)에 접속하도록 구성될 수 있다. 이러한 무선 통신 프로토콜의 예로서는, 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 파일 전송 프로토콜(FTP), ZigBee, EDGE, 적외선(IR), IEEE 802.11, 802.16, LTE(Long Term Evolution), Li-Fi(Light Fidelity), 및/또는 기타의 셀룰러 통신 프로토콜 또는 Bluetooth(BT) 통신 프로토콜이 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
복수의 감정 상태(114)란, 제1 전자 디바이스(102) 및/또는 제2 전자 디바이스(104)에 의해 검출된 사용자(112) 등의 하나 이상의 사용자의 감정 상태를 지칭한다. "EM1, EM2, EM3, ..., EMn" 등의 복수의 감정 상태(114)는, 중립, 행복, 슬픔, 분노, 경멸, 두려움, 놀람, 혼란, 및/또는 애정 감정을 포함할 수 있다. 복수의 감정 상태(114)는, 이미지 포착 유닛(102a 또는 104a)에 의해 포착된 사용자(112)의 하나 이상의 이미지 또는 비디오에 기초하여 검출될 수 있다. 한 실시예에 따르면, 사용자(112) 등의 하나 이상의 사용자 각각은, 제1 전자 디바이스(102) 및/또는 제2 전자 디바이스(104)와 통신가능하게 결합될 수 있는 하나 이상의 착용형 디바이스(108)와 연관될 수 있다. 하나 이상의 착용형 디바이스(108)로부터 수신된 센서 데이터는, 사용자(112)의 감정 상태에서의 천이를 모니터링하거나 추적하기 위해 추가로 이용될 수 있다.
동작시, 제1 전자 디바이스(102)는 하나 이상의 콘텐츠 항목을 수신하도록 구성될 수 있다. 하나 이상의 콘텐츠 항목은, 통신 네트워크(110)를 통해, 서버(106), 네트워크 서비스 제공자의 다른 서버(미도시), 또는 네트워크 디바이스로부터 수신될 수 있다. 하나 이상의 콘텐츠 항목은, 가입된 네트워크 서비스 제공자로부터 수신된 TV 채널의 TV 쇼, 영화, TV 광고 등의 비디오일 수 있다. 하나 이상의 콘텐츠 항목은 또한, 제1 전자 디바이스(102) 또는 통신 네트워크(110) 등의 무선 네트워크에 접속된 네트워크 디바이스에 미리 저장된 비디오, 이미지 또는 기타의 파일일 수 있다. 하나 이상의 콘텐츠 항목은 또한, 제1 전자 디바이스(102)에 의해 인터넷으로부터 액세스가능한 웹 콘텐츠에 대응할 수 있다. 제1 전자 디바이스(102)는, 애플리케이션 인터페이스(102c)를 통해 수신된 콘텐츠 항목들로부터 적어도 비디오 등의 콘텐츠 항목을 렌더링하도록 구성될 수 있다.
한 실시예에 따르면, 사용자(112) 등의 하나 이상의 사용자는, 디스플레이 스크린(102b) 상에서, 비디오 등의 렌더링된 콘텐츠 항목을 시청할 수 있다. 제1 전자 디바이스(102)는, 이미지 포착 유닛(102a)의 이용에 의해, 제1 전자 디바이스(102) 상에서 콘텐츠 항목을 시청할 수 있는 사용자(112)의 하나 이상의 이미지 또는 비디오를 포착할 수 있다. 나아가, 하나 이상의 착용형 디바이스(108)로부터 수신된 센서 데이터는 또한, 사용자(112)의 생리학적 및/또는 행동적 특성을 모니터링 또는 추적하여 사용자(112)의 감정 상태에서의 천이를 검출하는데 이용될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 제1 감정 상태로부터 제2 감정 상태로의, 제1 전자 디바이스(102) 상에서 제1 콘텐츠 항목을 시청하는 사용자(112)의 감정 상태의 천이를 검출하도록 구성될 수 있다. 예를 들어, 사용자(112)의 중립 감정 상태로부터 흥분된 감정 상태로의 천이. 제1 감정 상태 및 제2 감정 상태는 복수의 감정 상태(114)에 대응할 수 있다.
한 실시예에 따르면, , 제1 전자 디바이스(102) 상에서 제1 콘텐츠 항목을 시청하면서, 음성-기반 입력 또는 텍스트-기반 입력이 제2 전자 디바이스(104) 등의 또 다른 전자 디바이스 상에 제공될 수 있다. 제2 전자 디바이스(104)는 또한, 수신된 음성-기반 입력 및/또는 텍스트-기반 입력에 기초하여 사용자(112)의 감정 상태를 모니터링할 수 있다. 사용자(112)의 감정 상태에서의 천이가 제2 전자 디바이스(104)에서 검출될 때, 이러한 정보는, 제1 전자 디바이스(102) 또는 서버(106) 등의 접속된 네트워크 디바이스에 전달될 수 있다. 전달은 연속적으로 또는 주기적으로 발생할 수 있으며, 사용자(112)의 감정 상태에서의 마지막 검출된 천이는 그에 따라 보고되고 업데이트될 수 있다. 따라서, 사용자(112)의 감정 상태에서의 천이는, 제1 전자 디바이스(102), 제2 전자 디바이스(104), 및 하나 이상의 착용형 디바이스(108) 등의 다양한 전자 디바이스의 이용에 의해, 모니터링되고 지속적으로 추적될 수 있다. 제1 전자 디바이스(102) 등의 주 디바이스가 스위치 오프된 상태일 때, 하나 이상의 착용형 디바이스(108), 제2 전자 디바이스(104) 또는 기타의 디바이스 등의 보조 디바이스가 이전의 사용 패턴 데이터에 기초하여 감정 추적을 제어하고 그에 따라 동작할 수 있다. 서버(106)는 또한, 제1 전자 디바이스(102), 제2 전자 디바이스(104), 및 하나 이상의 착용형 디바이스(108) 등의 다양한 전자 디바이스로부터 타임스탬프와 함께 감정 상태에서의 검출된 천이에 관련된 정보를 수신하도록 구성될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 제1 전자 디바이스(102) 상에서 제1 콘텐츠 항목을 시청하는 동안 사용자(112)의 제2 감정 상태의 레벨을 결정하도록 구성될 수 있다. 결정된 레벨은, 사용자(112)가 제1 콘텐츠 항목을 시청하고 있는 동안, 행복한 상태(스케일 5.1)로부터 매우 행복한 상태(스케일 5.5) 내지 흥분되거나 환희의 상태(스케일 5.9) 등의, 특정한 감정 상태의 스케일에 대응할 수 있다. 유사하게, 다른 검출된 감정 상태들, 감정 상태의 레벨이 검출될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 검출된 천이 동안 시청된 제1 콘텐츠 항목의 일부를 사용자(112)의 제2 감정 상태와 연관시키도록 구성될 수 있다. 제1 콘텐츠 항목의 그 일부는 결정된 레벨이 임계값보다 클 때 제2 감정 상태와 연관될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 제2 감정 상태와 연관된 제1 콘텐츠 항목의 일부에서 제2 감정 상태로의 검출된 천이의 원인을 식별하도록 구성될 수 있다. 제1 콘텐츠 항목의 일부에서 식별된 원인은, 이미지 프레임, 이미지 프레임 내의 객체, 컨텍스트, 또는 제1 콘텐츠 항목의 일부의 테마에 대응할 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 제1 콘텐츠 항목의 일부에서 식별된 원인을 하나 이상의 파라미터로 태깅하도록 구성될 수 있다. 하나 이상의 파라미터는, 제2 감정 상태, 사용자(112)의 신원 정보, 검출된 천이의 타임스탬프, 및/또는 제2 감정 상태의 결정된 레벨일 수 있다. 제1 전자 디바이스(102)는, 제1 콘텐츠 항목의 일부 내의 태깅된 원인을, 서버(106)에 또는 제1 전자 디바이스(102)에 통신가능하게 결합된 네트워크 디바이스에 전달하도록 구성될 수 있다. 예시적인 시나리오가 도 4a에 도시되고 설명되어 이들 피쳐들을 더 상세하게 설명한다.
한 실시예에 따르면, 제1 전자 디바이스(102)는 실시간 또는 거의 실시간으로 제2 감정 상태와 연관된 태깅된 원인에 관련된 제품 또는 서비스를 검색하도록 구성될 수 있다. 검색은, 태깅된 원인에 기초하여 미리-명시된 검색 엔진을 이용하여 수행될 수 있다. 태깅된 원인에 관련된 검색은, 인터넷 검색 엔진을 통한 글로벌 검색이거나 미리-정의된 설정에 따른 로컬 검색일 수 있다. 제1 전자 디바이스(102)는, 사용자(112)의 감정 상태에서의 검출된 천이 및 제1 전자 디바이스의 현재 위치에 응답하여 식별된 원인에 기초해 제품 또는 서비스에 대한 추천을 생성하도록 구성될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 스마트폰 등의 제2 전자 디바이스(104)에 통보를 전달하여 제2 전자 디바이스(104)의 홈 스크린 인터페이스를 잠금해제해 생성된 추천을 디스플레이하도록 구성될 수 있다. 이러한 통보는, 사용자(112)가 제1 전자 디바이스(102)로부터 멀리 이동할 때 또는 사용자(112)가 제1 전자 디바이스(102)의 직접적인 시선(direct line-of-sight)에 있지 않을 때 전달될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)에서의 제2 감정 상태로의 검출된 천이는, 스마트폰 등의 제2 전자 디바이스(104)에 전달될 수 있다. 제2 전자 디바이스(104)의 홈 스크린 인터페이스가 잠금해제되기 전에도, 제2 전자 디바이스(104)는 미리설치된 애플리케이션으로부터 검색된 어떤 콘텐츠, 애플리케이션, 월페이퍼, 파생 데이터가, 제1 전자 디바이스(102)에서 이전에 검출된 제2 감정 상태를 사용자(112)가 제2 전자 디바이스(104)에서 유지하기에 적합한지를 결정할 수 있다. 복수의 전자 디바이스들 사이에서의 이러한 감정 상태의 매끄러운 유지 또는 전달은, 제2 감정 상태 등의 마지막으로 검출된 감정 상태가, 슬픔 등의 부정적인 감정 대신에 행복 등의 긍정적 감정일 때 발생할 수 있다.
예를 들어, 사용자(112)는 제1 전자 디바이스(102) 상에서 크리켓 매치를 시청할 수 있다. 소정의 시나리오에서, 사용자(112)는, (차량을 운전하는 등) 제1 전자 디바이스(102)로부터 먼 또 다른 위치로 이동할 필요가 있을 수 있다. 이러한 시나리오에서, 제2 전자 디바이스(104)는, 사용자(112)가 차량을 운전하는 동안 제2 전자 디바이스(104) 상에서 "크리켓 해설 실행" 등의 추천을 제공하거나 소정의 동작을 수행하고, "크리켓 점수 경고"를 애플리케이션 인터페이스(104c)를 통해 제공하도록 구성될 수 있다. 따라서, 제1 전자 디바이스(102)에서의 제2 감정 상태로의 검출된 천이는, 스마트폰 등의 제2 전자 디바이스(104)에 전달될 수 있다.
한 실시예에 따르면, 소정의 시나리오에서, 지루함, 분노, 슬픔, 혼란, 또는 짜증남 등의 부정적인 감정이 제1 전자 디바이스(102)에서 마지막으로 검출된 감정 상태일 수 있다. 이러한 시나리오에서, 제2 전자 디바이스(104)는 미리설치된 애플리케이션으로부터 검색된 어떤 추천, 콘텐츠, 애플리케이션, 월페이퍼, 파생 데이터가, 제1 전자 디바이스(102)에서 이전에 검출된 사용자(112)의 부정적 감정 상태를 사용자(112)가 바꾸거나 영향을 미치기에 적합한지를 결정할 수 있다. 미리설치된 애플리케이션으로부터 검색된 이러한 추천, 콘텐츠, 애플리케이션, 월페이퍼, 파생 데이터는, 제2 전자 디바이스(104)에서, 사용자(112)의 부정적 감정 상태를 행복한 감정 상태 등의 긍정적 감정 상태로 변경시키는데 유용할 수 있다.
한 실시예에 따르면, 스마트폰 등의 제2 전자 디바이스(104)는, 제1 감정 상태로부터 제2 감정 상태로의, 제2 전자 디바이스(104)와 연관된 사용자(112)의 감정 상태에서의 천이를 추가로 검출하도록 구성될 수 있다. 사용자(112)의 감정 상태에서의 천이의 검출을 위해, 제2 전자 디바이스(104)는 사용자(112)와 연관된 (센서 데이터 등의) 하나 이상의 착용형 디바이스(108) 및/또는 제2 전자 디바이스(104)의 이미지 포착 유닛(104a) 등의 내장형 카메라로부터 수신된 데이터를 이용할 수 있다. 한 실시예에 따르면, 제2 전자 디바이스(104)는 또한, 사용자(112)의 감정 상태에서의 천이의 검출을 위해, 제2 전자 디바이스(104) 상의 텍스트-기반 입력 및/또는 음성-기반 입력을 이용할 수 있다.
한 실시예에 따르면, 제2 전자 디바이스(104)는, 이미지 포착 유닛(104a) 등의 내장형 카메라의 이용에 의해 하나 이상의 착용형 디바이스(108)로부터 수신된 센서 데이터, 및/또는 수신된 텍스트-기반 입력 및/또는 음성-기반 입력에 기초하여, 사용자(112)를 식별하도록 구성될 수 있다. 한 실시예에 따르면, 스마트폰 등의 제2 전자 디바이스(104)는, 사용자(112)의 신원 정보 및 검출된 천이에 기초하여 네트워크 디바이스로부터 사용자(112)의 검출된 제2 감정 상태와 연관된 태깅된 콘텐츠 항목을 검색하도록 구성될 수 있다. 네트워크 디바이스는, 서버(106), 통신 네트워크(110) 등의 무선 홈 네트워크에서 제2 전자 디바이스(104)에 접속된 제1 전자 디바이스(102) 등의 또 다른 전자 디바이스, 및/또는 기타의 가입된 클라우드 기반 서비스에 대응할 수 있다.
한 실시예에 따르면, 제2 전자 디바이스(104)는, 제2 전자 디바이스(104) 내의 검색된 태깅된 콘텐츠 항목에 기초하여 하나 이상의 제품 또는 서비스를 검색하도록 구성될 수 있다. 한 실시예에 따르면, 제2 전자 디바이스(104)는, 제2 전자 디바이스(104) 상에서 애플리케이션을 론칭하여 적어도 검색된 태깅된 콘텐츠 항목에 관련된 하나의 제품 또는 서비스를 추천하도록 구성될 수 있다. 이 애플리케이션은, 사용자(112)의 감정 상태에서의 검출된 천이 및 제2 전자 디바이스(104)의 현재 위치에 응답하여 론칭될 수 있다. 예시적인 시나리오가 도 4b에 도시되고 설명되어 이들 피쳐들을 더 상세하게 설명한다.
도 2는, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 추천을 제공하는 예시적인 전자 디바이스의 블록도를 나타낸다. 도 2는 도 1의 요소들과 연계하여 설명된다. 도 2를 참조하면, 제1 전자 디바이스(102)가 도시되어 있다. 제1 전자 디바이스(102)는, 프로세서(202) 등의 하나 이상의 프로세서, 메모리(204), I/O 디바이스(206) 등의 하나 이상의 입력/출력(I/O) 디바이스, 감정 핸들러 회로(208) 및 네트워크 인터페이스(210)를 포함할 수 있다. 메모리는, 감정 학습 엔진(212)과 추천 학습 엔진(214)을 포함할 수 있다. I/O 디바이스(206)에는 이미지 포착 유닛(102a), 디스플레이 스크린(102b), 및 애플리케이션 인터페이스(102c)가 더 도시되어 있다.
프로세서(202)는, 메모리(204), I/O 디바이스(206), 감정 핸들러 회로(208), 및 네트워크 인터페이스(210)에 통신가능하게 결합될 수 있다. 네트워크 인터페이스(210)는, 프로세서(202)의 제어하에 통신 네트워크(110)를 통해 서버(106)와 통신할 수 있다.
프로세서(202)는, 메모리(204)에 저장된 한 세트의 명령어를 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 프로세서(202)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(202)의 예는, X86-기반 프로세서, X86-64 기반 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, CPU(central processing unit), EPIC(Explicitly Parallel Instruction Computing) 프로세서, VLIW(Very Long Instruction Word) 프로세서, 및/또는 기타의 프로세서 또는 제어 회로일 수 있다.
메모리(204)는, 프로세서(202)에 의해 실행가능한 머신 코드 및/또는 명령어 세트를 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 메모리(204)는 또한, 사용자(112)의 포착된 이미지 또는 비디오 및 하나 이상의 착용형 디바이스(108)로부터 수신된 센서 데이터를 저장하도록 구성될 수 있다. 메모리(204)는 또한, 애플리케이션 인터페이스(102c)와, 감정 학습 엔진(212) 및 추천 학습 엔진(214)과 연관된 다양한 데이터, 함수 및 훈련 데이터세트를 저장하도록 구성될 수 있다. 메모리(204)는 또한, 운영 체제 및 연관된 애플리케이션을 저장하도록 구성될 수 있다. 메모리(204)의 구현의 예는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM), 하드 디스크 드라이브(HDD), 솔리드-스테이트 드라이브(SSD), CPU 캐시, 및/또는 보안 디지털(SD) 카드를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
I/O 디바이스(206)는, 사용자(112) 등의 하나 이상의 사용자로부터 입력을 수신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. I/O 디바이스(206)는 또한, 하나 이상의 사용자에게 출력을 제공하도록 구성될 수 있다. I/O 디바이스(206)는 프로세서(202)와 통신하도록 동작할 수 있는 다양한 입력 및 출력 디바이스를 포함할 수 있다. 입력 디바이스의 예로는, 이미지 포착 유닛(102a), 터치 스크린, 키보드, 적외선 센서, 마우스, 조이스틱, 마이크로폰, 움직임 센서, 광 센서, 지리적 위치 검출 센서 등의 하나 이상의 센서, 및/또는 도킹 스테이션이 포함될 수 있지만, 이것으로 제한되는 것은 아니다. 출력 디바이스의 예로서는, 디스플레이 스크린(102b), 프로젝터 스크린, 및/또는 스피커가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
감정 핸들러 회로(208)는, 이미지 포착 유닛(102a)에 의해 포착된 하나 이상의 이미지 또는 비디오를 처리하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 감정 핸들러 회로(208)는 또한, 사용자(112)와 연관된 하나 이상의 착용형 디바이스(108)로부터 수신된 센서 데이터를 처리하여 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 감정 핸들러 회로(208)는, 포착된 하나 이상의 이미지, 비디오 및/또는 센서 데이터의 처리에 기초하여, 사용자(112)의 감정 상태에서의 천이를 연속적으로 검출하도록 구성될 수 있다. 감정 핸들러 회로(208)는 또한, 제2 감정 상태와 연관된, 소정의 이미지 프레임 등의, 콘텐츠 항목의 소정 부분에서 제2 감정 상태로의 검출된 천이의 원인을 식별하도록 구성될 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(208)는 프로세서(202)의 일부일 수 있다. 대안으로서, 감정 핸들러 회로(208)는 제1 전자 디바이스(102)에서 개별 프로세서 또는 회로로서 구현될 수 있다. 한 실시예에 따르면, 감정 핸들러 회로(208) 및 프로세서(202)는 감정 핸들러 회로(208) 및 프로세서(202)의 기능을 수행하는 통합형 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 한 실시예에 따르면, 감정 핸들러 회로(208)는, 프로세서(202)에 의한 실행시에, 제1 전자 디바이스(102)의 기능을 수행할 수 있는 메모리(204)에 저장된 명령어 세트로서 구현될 수 있다.
네트워크 인터페이스(210)는, (도 1에 도시된) 통신 네트워크(110)를 통해, 제2 전자 디바이스(104), 하나 이상의 착용형 디바이스(108), 및 서버(106)와 통신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(210)는, 통신 네트워크(110)와 제1 전자 디바이스(102)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술을 구현할 수 있다. 네트워크 인터페이스(210)는, 안테나, 무선 주파수(RF) 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 네트워크 인터페이스(210)는 유선 또는 무선 통신을 통해 통신 네트워크(110)와 통신할 수 있다. 무선 통신은, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(Wideband Code Division Multiple Access), 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), Bluetooth, LTE(Long-Term Evolution), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi, Light-Fidelity(Li-Fi), VoIP(Voice over Internet Protocol), Wi-MAX, 전자 메일, 인스턴트 메시징 및/또는 SMS(Short Message Service)를 위한 프로토콜 등의, 통신 표준들, 프로토콜들 및 기술들 중 하나 이상을 이용할 수 있다.
감정 학습 엔진(212)은, 복수의 감정 상태(114) 중 하나에서, 사용자(112) 등의 인간 대상의 상이한 감정들을 범주화하도록 구성될 수 있는 머신 학습 모델일 수 있다. 한 실시예에 따르면, 감정 학습 엔진(212)은 이력 데이터에 기초하여 훈련된 분류자일 수 있다. 분류자 또는 감정 학습 엔진(212)을 훈련시키는데 이용될 수 있는 하나 이상의 기술들의 예로서는, SVM(Support Vector Machine), 로지스틱 회귀(Logistic Regression), 베이지안 분류자(Bayesian Classifier), 결정 트리 분류자, Copula-기반 분류자, K-Nearest Neighbors(KNN) 분류자, 또는 Random Forest(RF) 분류자를 포함하지만, 이것으로 제한되는 것은 아니다.
한 실시예에 따르면, 훈련 단계에서, 감정 학습 엔진(212)의 이용에 의해, 복수의 감정 상태(114)들에 수치가 할당될 수 있다. 예를 들어, 감정은, "0 = 중립, 1 = 분노, 2 = 경멸, 3 = 혐오, 4 = 공포, 5 = 행복, 6 = 슬픔, 7 =놀람" 등의 복수의 감정 상태(114) 중 하나로 분류될 수 있다. 복수의 감정 상태(114) 각각은 다양한 레벨들로 더 하위분류될 수 있고, 예를 들어, 5.1, 5.2, 5.3, ... 5.9는 행복의 레벨(또는 스케일)을 나타낼 수 있으며, 여기서 5.1은 행복을 나타내고, 5.9는 그 순서에서 행복의 가장 높은 레벨, 예를 들어, 흥을 나타낼 수 있다. 유사하게, 1.9는 매우 분노함을 나타낼 수 있다. 행복 감정, 슬픔 감정, 또는 분노 감정 등의 다양한 감정을 검출하기 위해, 감정 학습 엔진(212)은 미리 훈련될 수 있다.
추천 학습 엔진(214)은, 제1 전자 디바이스(102)에서, 사용자(112)에 의한 생성된 추천의 사용 패턴과 연관된 머신 학습에 기초하여 생성된 추천을 업데이트하도록 구성될 수 있는 또 다른 머신 학습 모델일 수 있다. 추천 학습 엔진(214)을 훈련시키는데 이용될 수 있는 하나 이상의 기술들의 예로서는, 선형 회귀 기반 방법, 신경망, 베이지안 네트워크, 지원 벡터 머신(SVM), 결정 트리-기반 방법, 및/또는 가장 가까운 이웃-기반 방법이 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
동작에서, 프로세서(202)는, 이미지 포착 유닛(102a)의 이용에 의해, 제1 전자 디바이스(102) 상에서 콘텐츠 항목을 시청하고 있을 수 있는 사용자(112)의 하나 이상의 이미지 또는 비디오를 포착하도록 구성될 수 있다. 감정 핸들러 회로(208)는, 사용자(112)가 콘텐츠 항목을 시청하고 있는 동안 사용자(112)의 생리학적 및/또는 행동적 특성을 지속적으로 모니터링하도록 구성될 수 있다. 한 실시예에 따르면, 사용자(112)의 생리학적 및/또는 행동적 특성은, 얼굴 표정, 손이나 얼굴의 움직임, 사용자 착석 위치, 신체 자세, 및/또는 음성 패턴에 대응할 수 있다. 단독으로 또는 조합하여 취해진 사용자(112)의 이러한 생리학적 및/또는 행동적 특성은 사용자(112)의 현재의 감정 상태의 검출에서 증가된 정밀도를 제공할 수 있다. 사용자(112)의 생리학적 및/또는 행동적 특성은, 사용자(112)의 포착된 하나 이상의 이미지 또는 비디오의 분석에 기초하여 모니터링될 수 있다.
한 실시예에 따르면, 프로세서(202)는 하나 이상의 착용형 디바이스(108)로부터 센서 데이터를 수신하여 사용자(112)의 생리학적 및/또는 행동적 특성을 모니터링 또는 추적하도록 구성될 수 있다. 센서 데이터는, 혈압, 발한, 심박수, 체온 등의 다양한 인간 생리학적 파라미터의 측정 값에 대응할 수 있다. 예를 들어, 높은 발한률과 결합된 이미지 처리 기술의 이용에 의한 하나 이상의 요인의 분석에 기초하여 검출된 슬픔 또는 걱정 감정 상태는 높은 불안 레벨을 확신하게 할 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(208)는, 사용자(112)의 감정 상태에서의, 중립 등의 제1 감정 상태로부터, 행복, 분노, 흥분 등의 제2 감정 상태로의 천이를 검출하도록 구성될 수 있다. 제1 감정 상태 및 제2 감정 상태는 복수의 감정 상태(114)에 대응할 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(208)는, 제1 전자 디바이스(102) 상에 콘텐츠 항목을 시청하는 동안, 중립으로부터 슬픔, 분노, 경멸, 두려움, 놀람, 혼란, 애정 등의 다른 피크 감정으로의, 사용자(112)의 감정 상태에서의 상이한 천이들을 검출하도록 구성될 수 있다. 예를 들어, 중립 감정 상태에서 행복한 감정 상태로의 사용자(112)의 감정 상태에서의 제1 천이는 제1 시점에서 검출될 수 있다. 유사하게, 중립 감정 상태로부터 분노 감정 상태로의 사용자(112)의 감정 상태에서의 제2 천이는 콘텐츠 항목의 시청 동안의 제2 시점에서 검출될 수 있다. 한 실시예에 따르면, 복수의 사용자가 동시에 제1 전자 디바이스(102) 상에서 콘텐츠 항목을 시청할 수 있다. 이러한 실시예에서, 감정 핸들러 회로(208)는 감정들을 동시에 모니터링하고 제1 전자 디바이스(102) 상에서 콘텐츠 항목을 시청하는 복수의 사용자들의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 예를 들어, 복수의 사용자는 그룹 토의(group discussion)를 가질 수 있다. 감정 핸들러 회로(208)는, 그룹 토의의 기록된 오디오에 기초하여 및/또는 그룹 내의 각각의 사용자와 연관된 하나 이상의 착용형 디바이스(108)로부터 포착된 생리학적 파라미터에 기초하여 동시에 감정을 모니터링하고 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 그 후, 검출된 천이들에 따라 추천이 생성될 수 있고, TV 또는 디스플레이 디바이스 등의 공통의 미디어 스크린에 디스플레이되거나, 그룹 내의 각각의 사용자와 연관된 스마트-시계 또는 스마트폰 등의 개별 디바이스에 전달될 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(208)는, 제1 전자 디바이스(102) 상에서 콘텐츠 항목을 시청하는 동안 사용자(112)의 제2 감정 상태의 레벨을 결정하도록 구성될 수 있다. 결정된 레벨은, 사용자(112)가 콘텐츠 항목을 시청하고 있는 동안 행복으로부터 매우 행복 내지 흥분 또는 환희 상태 등의, 특정한 감정 상태의 스케일에 대응할 수 있다. 결정된 레벨은, 사용자(112)가 제1 콘텐츠 항목을 시청하고 있는 동안, 행복한 상태(스케일 5.1)로부터 매우 행복한 상태(스케일 5.5) 내지 흥분되거나 환희의 상태(스케일 5.9) 등의, 특정한 감정 상태의, ("n.1 내지 n.9"(여기서, n = 특정한 검출된 감정 상태에 대한 수치 식별자) 등의) 스케일에 대응할 수 있다. 유사하게, 다른 검출된 감정 상태들, 감정 상태의 레벨이 검출될 수 있다. 예를 들어, 슬픈 감정의 상이한 레벨들은, (지루함을 나타내는) 6.1, 6.2 내지 6.3(슬픈 상태), 6.4 내지 6.6(매우 슬픈 상태), 6.7 내지 6.9(극히 슬프고 비통함)로서 스케일링될 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(208)는, 검출된 천이 동안 시청된 콘텐츠 항목의 일부를 사용자(112)의 제2 감정 상태와 연관시키도록 구성될 수 있다. 콘텐츠 항목의 일부는 결정된 레벨이 임계값보다 클 때 제2 감정 상태와 연관될 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(208)는, 제2 감정 상태와 연관된 콘텐츠 항목의 일부에서 제2 감정 상태로의 검출된 천이의 원인을 식별하도록 구성될 수 있다. 제1 콘텐츠 항목의 일부에서 식별된 원인은, 이미지 프레임, 이미지 프레임 내의 객체, 컨텍스트, 또는 콘텐츠 항목의 일부의 테마에 대응할 수 있다. 다시 말해, 시청된 콘텐츠에서, 흥분된 감정 상태 등의 제2 감정 상태로의 검출된 천이의 실제의 또는 정확한 원인이 식별될 수 있다. 시청된 콘텐츠는 이미지 처리에 기초하여 분석되어 감정 상태 천이를 트리거한 부분으로부터 이미지 프레임 내의 하나 이상의 객체를 식별할 수 있다. 예를 들어, "James Bond" 영화를 시청하는 한 사람은 흥분되어 "스마트폰 또는 오메가 시계" 등의 객체를 볼 수도 있는 반면, 동일한 "James Bond" 영화를 기청하는 또 다른 사람은 흥분되어 "globe-trotter" 백 또는 카메라 등의 소정의 제조사 브랜드의 제품을 볼 수도 있다.
한 실시예에 따르면, 프로세서(202)는 콘텐츠 항목의 일부에서 식별된 원인을 하나 이상의 파라미터로 태깅하도록 구성될 수 있다. 하나 이상의 파라미터는, 제2 감정 상태, 사용자(112)의 사용자 ID 등의 신원 정보, 검출된 천이의 타임스탬프, 및/또는 제2 감정 상태의 결정된 레벨일 수 있다. 프로세서(202)는, 네트워크 인터페이스(210)를 통해, 콘텐츠 항목의 태깅된 원인(또는 제2 감정 상태에 관련된 태깅된 콘텐츠)을, 서버(106) 또는 제1 전자 디바이스(102)에 통신가능하게 결합된 네트워크 디바이스에 전달하도록 구성될 수 있다.
한 실시예에 따르면, 프로세서(202)는 실시간 또는 거의 실시간으로 제2 감정 상태와 연관된 태깅된 원인에 관련된 제품 또는 서비스를 검색하도록 구성될 수 있다. 검색은, 태깅된 원인에 기초하여 미리-명시된 검색 엔진을 이용하여 수행될 수 있다. 태깅된 원인에 관련된 검색은, 인터넷 검색 엔진을 통한 글로벌 검색이거나 미리-정의된 설정에 따른 로컬 검색일 수 있다.
한 실시예에 따르면, 프로세서(202)는, 사용자(112)의 감정 상태에서의 검출된 천이 및 제1 전자 디바이스(102)의 현재 위치에 응답하여 식별된 원인에 기초해 제품 또는 서비스에 대한 추천을 생성하도록 구성될 수 있다. 프로세서(202)는, 제1 전자 디바이스(102) 또는 제1 전자 디바이스(102)에 통신가능하게 결합된 제2 전자 디바이스(104) 등의 또 다른 전자 디바이스 상에서의 제품 또는 서비스에 대한 생성된 추천의 디스플레이를 제어하도록 구성될 수 있다. 한 실시예에 따르면, 프로세서(202)는, 생성된 추천의 사용 패턴과 연관된 머신 학습에 기초하여, 추천 학습 엔진(214)의 이용에 의해 생성된 추천을 업데이트하도록 구성될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)에서의 제2 감정 상태로의 검출된 천이는, 스마트폰 등의 제2 전자 디바이스(104)에 전달될 수 있다. 제2 전자 디바이스(104)의 홈 스크린 인터페이스가 잠금해제되기 전에도, 제2 전자 디바이스(104)는 미리 설치된 애플리케이션으로부터 검색된 어떤 콘텐츠, 애플리케이션, 월페이퍼, 파생 데이터가, 제1 전자 디바이스(102)에서 이전에 검출된 제2 감정 상태를 사용자(112)가 제2 전자 디바이스(104)에서 유지하기에 적합한지를 결정할 수 있다. 복수의 전자 디바이스들 사이에서의 이러한 감정 상태의 매끄러운 유지 또는 전달은, 제2 감정 상태 등의 마지막으로 검출된 감정 상태가, 슬픔 등의 부정적인 감정 대신에 행복 등의 긍정적 감정일 때 발생할 수 있다.
한 실시예에 따르면, 프로세서(202)는, 사용자(112)의 감정 상태에서의 천이의 검출에 기초하여 제1 전자 디바이스(102) 상에 현재 디스플레이된 콘텐츠 항목의 디스플레이를 동적으로 변경하도록 구성될 수 있다. 예를 들어, 사용자(112)는 TV 등의 제1 전자 디바이스(102) 상의 영화를 시청하고 있는 중일 수도 있다. 제1 전자 디바이스(102)는, 사용자(112)가, 중립 감정 상태로부터, 사용자(112)가 영화를 보면서 지루하게 되는 것과 같이, 슬픈 감정 상태로 천이하는 것을 검출할 수 있다. 이러한 시나리오에서, 제1 전자 디바이스(102)는 슬픈 감정 상태를 극복하기에 적합한 또 다른 영화를 자동으로 재생할 수 있다. 유사하게, 사용자(112)가 졸림을 느끼는 것으로 식별될 때, 제1 전자 디바이스(102)는 자동적으로 저절로 꺼질 수 있다. 대안으로서, 사용자(112)가 흥분된 감정 상태인 것으로 검출될 때, 흥분된 순간이 사용자(112)의 소셜 네트워크 프로파일 상에서 공유될 수 있다. 이것은, 제1 전자 디바이스(102)에 의해 제공되는 사용자(112)와의 감정적 연결인 "칸도(Kando)" 경험이라고 지칭될 수 있다.
또 다른 예에서, 사용자(112)는 TV 등의 제1 전자 디바이스(102) 상에서 영화를 시청하는 중일 수 있다. 제1 전자 디바이스(102)는, 사용자(112)가 중립 또는 슬픈 감정 상태로부터 행복한 감정 상태 등의 긍정적 감정 상태로 천이하는 것을 검출할 수 있다. 이러한 시나리오에서, 제1 전자 디바이스(102)는, 사용자(112)와 연관된, 제2 전자 디바이스(104) 등의 복수의 다른 디바이스들의 홈 스크린을 자동으로 변경할 수 있다. 예를 들어, 홈 스크린 변경 동작은, 스마트-시계, 스마트폰, 또는 사용자(112)와 연관된 기타 임의의 활성 및 이용중인 디바이스 등의, 현재 동작중인 디바이스 또는 활성 디바이스에 동시에 적용될 수 있다.
한 실시예에 따르면, 사용자(112)의 감정 상태에서의 검출된 천이에 응답하여 식별된 원인에 기초해 제품 또는 서비스에 대한 추천의 생성 및 디스플레이는, 선택된 모드에 기초하여 제어될 수 있다. 사용자(112) 등의 사용자는, 디스플레이 스크린(102b) 상에 렌더링된 애플리케이션 인터페이스(102c)의 이용에 의해, 제1 전자 디바이스(102) 등의 전자 디바이스 상에서 복수의 모드 중 특정한 모드를 선택할 수 있다. 복수의 모드는, 재미(fun) 모드, 건강(health) 모드, 평화(peace) 모드, 또는 정상 모드를 포함할 수 있다. 재미 모드는, 사용자(112)가 원하는 재미 관련된 추천의 생성에 관련된 구성 설정을 지칭할 수 있다. 예를 들어, 농담 애플리케이션에 링크된 농담 애플리케이션 아이콘이 디스플레이 스크린(102b) 상에 렌더링될 수 있고, 이것은 슬픈 감정 상태에 적합할 수 있다. 건강 모드는, 양호한 건강의 유지를 보조하거나 건강을 증진시키는 추천의 생성을 지칭할 수 있다. 예를 들어, 프로세서(202)는, 사용자(112)의 능동적 마음 상태를 촉진시키기 위해 소정의 퍼즐 게임을 해결하라는 추천을 생성하도록 구성될 수 있다. 이것은 지루한 감정 상태가 검출되는 경우에 발생할 수 있다. 또 다른 예에서, 상이한 동기부여 문구(motivational quote)들이 제1 전자 디바이스(102)의 홈 스크린 상에 디스플레이될 수 있다. 한 실시예에 따르면, 디스플레이된 문구의 범주들도 역시, 슬픈 감정 상태 등의 특정한 감정 상태의 결정된 레벨에 기초하여 동적으로 변경될 수 있다. 문구들의 상이한 범주들은, 6.1(지루한 상태) 내지 6.9(극단적 슬픔 상태) 등의 상이한 레벨에 대해 디스플레이될 수 있다. 평화 모드란, 분노한 사람을 진정시키고 편안한 경험을 제공하는 추천의 생성을 지칭할 수 있다. 예를 들어, 프로세서(202)는, (멜로디 노래 등의) 부드러운 음악을 재생하고 제1 전자 디바이스(102) 상에서 재생될 부드러운 음악의 소정의 옵션들을 디스플레이하기 위한 추천을 생성하도록 구성될 수 있다. 이것은, 분노 감정 상태가 검출되는 경우에 사용자(112)를 평화로운 상태로 진정시키기 위해 발생할 수 있다. 정상 모드는, 재미 모드, 평화 모드, 및 정상 모드 등의, 사용자-명시된 제어 모드와는 독립된 모든 타입의 추천을 생성하는 디폴트 모드이다. 상이한 감정 상태들에서의 추천의 생성의 다양한 다른 예들이 도 5a 및 도 5b에서 상세히 더 설명된다.
한 실시예에 따르면, 도 1에서 설명한 바와 같이, 제1 전자 디바이스(102)에 의해 수행되는 기능들 또는 동작들은 프로세서(202) 및/또는 감정 핸들러 회로(208)에 의해 수행될 수 있다. 프로세서(202) 및/또는 감정 핸들러 회로(208)에 의해 수행되는 다른 동작들은, 도 4a, 도 7a 및 도 7b의 설명으로부터 이해할 수 있을 것이다.
도 3은, 본 개시내용의 한 실시예에 따른, 사용자의 감정 상태 검출에 기초하여 추천을 제공하는 또 다른 예시적인 전자 디바이스의 블록도를 나타낸다. 도 3은, 도 1 및 도 2의 요소들과 연계하여 설명된다. 도 3을 참조하면, 제2 전자 디바이스(104)가 도시되어 있다. 제2 전자 디바이스(104)의 컴포넌트들은 제1 전자 디바이스(102)의 컴포넌트들과 유사할 수 있다. 제2 전자 디바이스(104)는, 프로세서(302) 등의 하나 이상의 프로세서, 메모리(304), I/O 디바이스(306) 등의 하나 이상의 입력/출력(I/O) 디바이스, 감정 핸들러 회로(308), 감지 디바이스(310), 및 네트워크 인터페이스(312)를 포함할 수 있다. 메모리(304)는, 감정 학습 엔진(314)과 추천 학습 엔진(316)을 포함할 수 있다. I/O 디바이스(206)에는 이미지 포착 유닛(104a), 디스플레이 스크린(104b), 및 애플리케이션 인터페이스(104c)가 더 도시되어 있다.
프로세서(302)는, 메모리(304), I/O 디바이스(306), 감정 핸들러 회로(308), 감지 디바이스(310), 및 네트워크 인터페이스(312)에 통신가능하게 결합될 수 있다. 네트워크 인터페이스(312)는, 프로세서(202)의 제어하에, 통신 네트워크(110)를 통해 제1 전자 디바이스(102) 등의 네트워크 디바이스와 통신할 수 있다.
프로세서(302)는, 메모리(304)에 저장된 한 세트의 명령어를 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 프로세서(302)의 구현 예는 프로세서(202)의 구현 예와 유사할 수 있다. 메모리(304)는, 프로세서(302)에 의해 실행가능한 머신 코드 및/또는 명령어 세트를 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 메모리(304)는 또한, 미리설치된 애플리케이션 및 감정 학습 엔진(314)과 연관된 애플리케이션 인터페이스(104c)를 저장하도록 구성될 수 있다. 메모리(304)는 또한, 운영 체제 및 연관된 애플리케이션을 저장하도록 구성될 수 있다. 메모리(304)의 구현 예는 메모리(204)의 구현 예와 유사할 수 있다.
I/O 디바이스(306)는, 사용자(112) 등의 하나 이상의 사용자로부터 입력을 수신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. I/O 디바이스(306)는 또한, 하나 이상의 사용자에게 출력을 제공하도록 구성될 수 있다. 입력 디바이스의 예로는, 이미지 포착 유닛(104a), 터치 스크린, 키보드, 적외선 센서, 마우스, 마이크로폰, 움직임 센서, 광 센서, 및/또는 도킹 스테이션이 포함될 수 있지만, 이것으로 제한되는 것은 아니다. 출력 디바이스의 예로서는, 디스플레이 스크린(104b), 프로젝터 스크린, 및/또는 스피커가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
감정 핸들러 회로(308)는, 이미지 포착 유닛(104a)에 의해 포착된 하나 이상의 이미지 또는 비디오를 처리하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 감정 핸들러 회로(308)는 감정 핸들러 회로(208)의 것과 유사하게 구현될 수 있다.
감지 디바이스(310)는, 물리적 또는 정량적 속성을 검출하고 대응하는 출력을 센서 데이터로서 제공하기 위해 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함하는 하나 이상의 센서를 포함할 수 있다. 물리적 또는 정량적 속성은, 배향, 움직임, 접촉, 근접성, 지자기장, 실내 위치 및/또는 주변 조명을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 감지 디바이스(310) 내의 하나 이상의 센서는, 제2 전자 디바이스(104)의 지리적 위치를 검출하도록 구성될 수 있다. 하나 이상의 센서의 예로서는, 가속도계, GPS(Global Positioning System) 센서, 실내 위치결정 시스템, 나침반 또는 자력계, 주변 광 센서, 트리코더(tricorder), 자이로스코프, 근접 센서, 이미지 센서, 조도계(lux meter), 터치 센서, 및/또는 적외선 센서가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
네트워크 인터페이스(312)는, (도 1에 도시된) 통신 네트워크(110)를 통해, 제1 전자 디바이스(102), 하나 이상의 착용형 디바이스(108), 및 서버(106)와 통신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(312)는 네트워크 인터페이스(210)의 것과 유사한 무선 통신에 대해 공지된 기술을 구현할 수 있다.
감정 학습 엔진(314)은, 복수의 감정 상태(114) 중 하나에서, 사용자(112) 등의 인간 대상의 상이한 감정들을 범주화하도록 구성될 수 있는 머신 학습 모델일 수 있다. 감정 학습 엔진(314)은 제1 전자 디바이스(102)의 감정 학습 엔진(212)(도 2)과 유사할 수 있다.
추천 학습 엔진(316)은, 제2 전자 디바이스(104)에서, 사용자(112)에 의한 생성된 추천의 사용 패턴과 연관된 머신 학습에 기초하여 추천을 생성하거나 생성된 추천을 업데이트하도록 구성될 수 있는 또 다른 머신 학습 모델일 수 있다. 감정 핸들러 회로(308)는, 미래를 위한 제2 전자 디바이스(104)의 홈 스크린 인터페이스의 맞춤화에 관련된 추천 및 사용자 경험의 생성을 즉석화하는 동작들에서 사용자(112)의 감정 상태에서의 천이 또는 변화를 지속적으로 머신 학습하도록 구성될 수 있다. 추천 학습 엔진(316)은 제1 전자 디바이스(102)(도 2)의 추천 학습 엔진(214)과 유사할 수 있다.
동작시, 프로세서(302)는, 제2 전자 디바이스(104)의 이미지 포착 유닛(104a) 등의 내장형 카메라의 이용에 의해 사용자(112)의 하나 이상의 이미지 또는 비디오를 수신하도록 구성될 수 있다. 감정 핸들러 회로(308)는, 사용자(112)의 수신된 하나 이상의 이미지 또는 비디오에서 사용자(112)의 생리학적 및/또는 행동적 특성의 분석에 기초하여 사용자(112)의 감정을 모니터링하도록 구성될 수 있다. 한 실시예에 따르면, 감정 핸들러 회로(308)는 개선된 정확도를 위해 감정 학습 엔진(314)을 이용하여 사용자(112)의 감정을 모니터링하도록 구성될 수 있다.
한 실시예에 따르면, 프로세서(302)는 네트워크 인터페이스(312)를 통해 하나 이상의 착용형 디바이스(108)로부터 센서 데이터를 수신하도록 구성될 수 있다. 하나 이상의 착용형 디바이스(108)는 제2 전자 디바이스(104)에 통신가능하게 결합될 수 있다. 심박수 또는 발한 값 등의, 사용자(112)의 수신된 센서 데이터는, 사용자(112)의 감정 상태에서의 천이의 검출을 위해 이용될 수 있다. 나아가, 한 실시예에 따르면, 프로세서(302)는 또한, 사용자(112)의 감정 상태에서의 천이의 검출을 위해, 제2 전자 디바이스(104) 상의 텍스트-기반 입력 및/또는 음성-기반 입력을 이용할 수 있다.
한 실시예에 따르면, 감정 핸들러 회로(308)는 제1 감정 상태로부터 제2 감정 상태로의 제2 전자 디바이스(104)와 연관된 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 프로세서(302)는, 하나 이상의 착용형 디바이스(108)로부터 수신된 센서 데이터, 사용자(112)의 수신된 하나 이상의 이미지 또는 비디오, 및/또는 수신된 텍스트-기반 입력 및/또는 음성-기반 입력에 기초하여, 사용자(112)를 식별하도록 구성될 수 있다.
한 실시예에 따르면, 프로세서(302)는, 네트워크 인터페이스(312)를 통해, 네트워크 디바이스로부터 사용자(112)의 검출된 제2 감정 상태와 연관된 태깅된 콘텐츠 항목을 검색하도록 구성될 수 있다. 검출된 제2 감정 상태와 연관된 태깅된 콘텐츠 항목은 사용자(112)의 신원 정보 및 검출된 천이에 기초하여 검색될 수 있다. 네트워크 디바이스는, 서버(106), 통신 네트워크(110) 등의 무선 홈 네트워크에서 제2 전자 디바이스(104)에 접속된 제1 전자 디바이스(102) 등의 또 다른 전자 디바이스, 및/또는 기타의 가입된 클라우드 기반 서비스에 대응할 수 있다.
한 실시예에 따르면, 프로세서(302)는, 제2 전자 디바이스(104) 내의 검색된 태깅된 콘텐츠 항목에 기초하여 하나 이상의 제품 또는 서비스를 검색하도록 구성될 수 있다. 한 실시예에 따르면, 프로세서(302)는, 제2 전자 디바이스(104) 상에서 애플리케이션을 론칭하여 적어도 검색된 태깅된 콘텐츠 항목에 관련된 하나의 제품 또는 서비스를 추천하도록 구성될 수 있다. 이 애플리케이션은, 사용자(112)의 감정 상태에서의 검출된 천이 및 제2 전자 디바이스(104)의 현재 위치에 응답하여 론칭될 수 있다.
한 실시예에 따르면, 사용자(112)의 감정 상태에서의 검출된 천이에 기초하여, 추천은, 검색된 태깅된 콘텐츠 항목에 관련된 제품뿐만 아니라 다양한 서비스에 대해 생성될 수 있거나, 사용자(112)의 실시간 또는 거의 실시간 지원을 위한 관련된 정보를 제공하기 위해 생성될 수 있다. 예를 들어, 사용자(112)는 제1 도시로부터 제2 도시로 이동 중일 수 있다. 사용자(112)는 유지보수 작업으로 인해 고속도로가 폐쇄된 것을 발견할 수 있다. 사용자(112)는, 스마트폰 등의 제2 전자 디바이스(104)를 잠금해제할 수 있다. 잠금해제시, 사용자(112)의 감정 상태는 "혼란"으로 인식될 수 있다. 이러한 시나리오에서, 제2 전자 디바이스(104)의 홈 스크린 또는 애플리케이션 인터페이스(104c)는 가치를 부가하고 사용자 경험을 향상시킬 수 있는 소정의 추천을 생성 및 제공할 수 있다. 추천 학습 엔진(316)의 이용에 의해 생성된 추천의 예는, ""Mr. X"에게 전화해 보세요. 최근에 그는 이 지역을 지났습니다"일 수 있다. "Mr. X"는 소셜 네트워크 애플리케이션으로부터 사용자(112)의 사회적 네트워크 프로파일로부터 검출된 사용자(112)의 친구일 수 있고, 이동 전화 번호는 연락처 애플리케이션으로부터 검색될 수 있다. 또 다른 추천은, "Mr. A"와 "Mr. B"(친구들)는 근처에 그들의 거주지가 있으므로, 안내받기 위해 그들에게 상담받으세요"일 수 있다. 또 다른 추천 사항이나 행동은, 미리로딩된 대체 경로를 수반한 맵 애플리케이션의 디스플레이일 수 있다. 동일한 감정 상태의 경우, 추천은, 이전 사용자 경험, 사용 패턴, 및 서버(106) 등의 네트워크 디바이스 또는 클라우드-기반 서비스로부터 수신된 입력에 기초한 새로운 학습 내용에 기초하여 달라질 수 있다.
한 실시예에 따르면, 제2 전자 디바이스(104)의 프로세서(302)는 제2 전자 디바이스(104)의 홈 스크린 인터페이스를 동적으로 맞춤화하도록 구성될 수 있다. 홈 스크린 인터페이스는, 사용자(112)의 감정 상태에서의 검출된 천이 및 제1 전자 디바이스(102) 등의 네트워크 디바이스에서의 제2 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 기초하여, 맞춤화될 수 있다. 예를 들어, 제2 전자 디바이스(104)는, 사용자(112)의 감정 상태에서의 검출된 천이 및 제1 전자 디바이스(102) 등의 네트워크 디바이스 상의 최근 동작에 기초하여, 홈 스크린 인터페이스 상의 월페이퍼를 자동으로 변경하도록 구성될 수 있다. 예를 들어, 최근 활동은, 웹 탐색, TV 시청 등일 수 있다.
한 실시예에 따르면, 추천 학습 엔진(316)의 이용에 의해, 분노 또는 행복 등의 사용자(112)의 검출된 현재 감정 상태 및 이전의 머신 학습된 사용자 경험에 기초하여, 전화 연락처 애플리케이션, 맵, 소셜 네트워크 애플리케이션에는 관련 데이터가 미리로딩될 수 있다. 사용자 인터페이스가 애플리케이션들을 위해 맞춤화될 뿐만 아니라, 사용자(112)의 검출된 현재의 감정 상태에 따라 애플리케이션들과 연관된 데이터도 역시 분석되고, 준비되고, 및/또는 맞춤화될 수 있다. 예시적인 시나리오가 도 5a 및 도 5b에 도시되고 기술되어 이들 피쳐들을 더 상세히 설명한다.
한 실시예에 따르면, 도 1에서 설명한 바와 같이, 제2 전자 디바이스(104)에 의해 수행되는 기능들 또는 동작들은 프로세서(302) 및/또는 감정 핸들러 회로(308)에 의해 수행될 수 있다. 프로세서(302) 및/또는 감정 핸들러 회로(308)에 의해 수행되는 다른 동작들은, 도 4b, 도 5a, 도 5b, 및 도 6의 설명으로부터 이해할 수 있을 것이다.
도 4a 및 도 4b는, 집합적으로, 본 개시내용의 한 실시예에 따른 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법의 구현을 위한 제1 예시적인 시나리오를 나타낸다. 도 4a 및 도 4b는, 도 1, 도 2, 및 도 3의 요소들과 연계하여 설명된다. 도 4a를 참조하면, 이미지 포착 유닛(102a), 디스플레이 스크린(102b) 및 애플리케이션 인터페이스(102c)를 갖춘 TV 등의 제1 전자 디바이스(102)가 도시되어 있다. 또한, 애플리케이션 인터페이스(102c)를 통해, 디스플레이 스크린(102b) 상에 렌더링된 비디오(402) 등의 콘텐츠 항목이 도시되어 있다. 또한, 비디오(402)의 제1 부분(402a)이 도시되어 있다. 또한, 사용자(112)의 흥분된 감정 상태의 가능한 식별된 원인으로서, 제1 객체(404a), 제2 객체(404b), 및 이벤트(406)가 도시되어 있다. 또한, 사용자(112)와 연관된 스마트 밴드(408), 레벨(410), 및 사용자 식별자(ID)(412)가 도시되어 있다.
제1 예시적인 시나리오에 따르면, 제1 전자 디바이스(102)는 스마트 TV 또는 태블릿 디바이스일 수 있다. 스마트 밴드(408)는 하나 이상의 착용형 디바이스(108)에 대응할 수 있다. 사용자(112)는 제1 전자 디바이스(102) 상에서 비디오(402)를 시청하는 중일 수 있다. 비디오(402)는, 제1 전자 디바이스(102)의, 브라우저 등의 애플리케이션 인터페이스(102c)를 통해 재생될 수 있다.
한 실시예에 따르면, 사용자(112)의 비디오는 이미지 포착 유닛(102a)에 의해 포착될 수 있다. 한 실시예에 따르면, 제1 전자 디바이스(102)의 감정 핸들러 회로(208)는 스마트 밴드(408)로부터 센서 데이터를 수신하도록 구성될 수 있다. 감정 핸들러 회로(208)는, 중립 감정 상태 "0" 등의 제1 감정 상태로부터, 행복 감정 상태 "5" 등의 제2 감정 상태로의 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 제1 전자 디바이스(102) 상에서 비디오(402)를 시청하는 사용자(112)의 제2 감정 상태로의 천이는 12분 2초 "00:12:02" 내지 12분 4초 "00:12:04"의 재생 시간 사이에서 검출될 수 있다. 사용자(112)의 감정 상태에서의 천이의 검출시 제1 전자 디바이스(102) 상에서 재생된 콘텐츠는, 비디오(402)의 제1 부분(402a) 등의, 소정의 부분에서 검출된 천이의 원인을 식별하는데 유용할 수 있다.
검출된 천이의 원인을 식별하기 위한 추가의 분석을 위해, 제2 감정 상태로의 천이를 검출하기 전후의, 2초 등의 미리결정된 기간이 고려될 수 있다. 따라서, (도시된 바와 같이) 타임스탬프 "00:12:00" 내지 00:12:06"에서 시작될 수 있고 "180"개의 이미지 프레임들의 시퀀스를 포함할 수 있는 비디오(402)의 제1 부분(402a)은이 분석 목적에 이용될 수 있다. "180"개의 이미지 프레임들의 제1 부분(402a)은 검출된 행복 감정 상태를 나타낼 수 있는 수치 "5"와 연관될 수 있다. 또한, 감정 핸들러 회로(208)는, 사용자(112)의 행복한 감정 상태 등의 제2 감정 상태의 수치 "5.9" 등의 레벨(410)을 결정하도록 구성될 수 있다. "5.9" 스케일에서의 레벨(410)은, 비디오(402)의 제1 부분(402a)을 시청하는 동안 사용자(112)의 흥분 또는 환희 상태를 나타낼 수 있다. 비디오(402)의 제1 부분(402a)은 결정된 레벨(410)이 임계값보다 클 때 흥분된 감정 상태와 연관될 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)의 감정 핸들러 회로(208)는, 제1 객체(404a), 제2 객체(404b) 및 (컨텍스트 등의) 이벤트(406)를 제1 부분(402a) 내의 가능한 원인으로서 식별하도록 구성될 수 있다. 제1 객체(404a)는, 비디오(402) 내의 유명한 인물 "James bond" 등의 인간 캐릭터일 수 있다. 제2 객체(404b)는, 인간 캐릭터에 의해 보유된, 소정의 제조사 브랜드의 카메라일 수 있다. 이벤트(406)는, 카메라 등의 제2 객체(404b)를 이용한, 싸우는 장면 등의 소정의 액션 장면을 지칭할 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)의 프로세서(202)는, 제1 객체(404a), 제2 객체(404b), 및 이벤트(406) 등의 식별된 원인, 및/또는 비디오(402)의 제1 부분(402a)의 하나 이상의 이미지 프레임을, 하나 이상의 파라미터로 태깅하도록 구성될 수 있다. 하나 이상의 파라미터는, 흥분된 감정 상태, "5.9" 등의 결정된 레벨(410), 사용자(112)의 사용자 ID(412) 등의 신원 정보, 및/또는 검출된 천이의 타임스탬프일 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)의 프로세서(202)는, ((메타데이터일 수 있는) 제1 객체(404a), 제2 객체(404b), 및 이벤트(406) 등의 태깅된 콘텐츠, 및/또는 제1 부분(402a)의 하나 이상의 이미지 프레임)을 네트워크 디바이스에 전달하도록 구성될 수 있다. 네트워크 디바이스는, 서버(106) 또는 제1 전자 디바이스(102)에 통신가능하게 결합된 네트워크 디바이스 등의, 클라우드 서버일 수 있다.
한 실시예에 따르면, 제1 전자 디바이스(102)는, 사용자(112)의 감정 상태에서의 검출된 천이에 응답하여 식별된 원인에 기초해 제품 또는 서비스에 대한 추천을 생성하도록 구성될 수 있다. 예를 들어, TV 또는 태블릿 디바이스 등의 제1 전자 디바이스(102) 상에 디스플레이된 후속 광고는, 제조자 브랜드의 카메라 등의 제2 객체(404b)로서, 그 장면이 사용자(112)의 흥분을 야기 또는 트리거한 것과 연관될 수 있다.
한 실시예에 따르면, 추천을 생성하는 것 대신에, 제1 전자 디바이스(102)는, 이벤트(406) 또는 제1 객체(404a)에 관련된 또 다른 비디오를 자동적으로 디스플레이하도록 구성될 수 있다. 또한, 한 실시예에 따르면, 제1 전자 디바이스(102)는, 사용자(112)와 연관된 소셜 프로파일 상에서 제1 부분(402a)과 함께 "이 비디오를 시청하면서 흥분된 느낌" 등의 흥분된 순간을 공유하도록 구성될 수 있다. 공유는, 최근에 제1 전자 디바이스(102) 상의 소정의 비디오를 시청하는 동안 사용자(112)가 흥분한 경우와 같은, 유사한 시나리오 하에서 사용자(112)의 이전 행위에 기초하여 추천 학습 엔진(316)의 결과에 기초해 수행될 수 있다. 한 실시예에 따르면, 생성된 추천의 최종 소비자는 제2 전자 디바이스(104)일 수 있다. 이러한 실시예에서, 추천은 제1 전자 디바이스(102) 상에서 생성되지 않을 수도 있다.
도 4b를 참조하면, 이미지 포착 유닛(104a), 디스플레이 스크린(104b), 및 애플리케이션 인터페이스(104c)를 갖춘 제2 전자 디바이스(104)가 도시되어 있다. 애플리케이션 인터페이스(104c)에는, 제1 객체(404a) 및 제2 객체(404b)에 관련된 제1 추천(414) 및 제2 추천(416)가 더 도시되어 있다.
제1 예시적인 시나리오에 따르면, 제2 전자 디바이스(104)는 스마트폰일 수 있다. 사용자(112)는 제1 위치에 위치할 수 있는 제1 전자 디바이스(102)로부터 멀리 이동할 수 있다. 예를 들어, 사용자(112)는, 비디오(402)(도 4a)를 시청하는, 수 일 또는 1달 등의, 소정의 기간 후에, 친구 집이나 새로운 도시 등의, 제2 위치를 방문할 필요가 있다.
한 실시예에 따르면, 스마트폰 등의 제2 전자 디바이스(104)의 감정 핸들러 회로(308)는, 중립 등의 제1 감정 상태로부터 흥분 등의 제2 감정 상태로의 제2 전자 디바이스(104)와 연관된 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 제2 전자 디바이스(104)는, 사용자(112)의 감정 상태에서의 천이의 검출을 위해, 사용자(112)와 연관된 스마트 밴드(408) 및/또는 제2 전자 디바이스(104)의 이미지 포착 유닛(104a) 등의 내장 카메라로부터 수신된 데이터를 이용할 수 있다.
한 실시예에 따르면, 제2 전자 디바이스(104)는, 스마트 밴드(408), 이미지 포착 유닛(104a), 및/또는 수신된 텍스트-기반 입력 및/또는 음성-기반 입력으로부터 수신된 데이터에 기초하여, 사용자 ID(412) "U001" 등의 사용자(112)를 식별하도록 구성될 수 있다. 한 실시예에 따르면, 스마트폰 등의 제2 전자 디바이스(104)의 프로세서(302)는, 예를 들어, 서버(106) 등의 네트워크 디바이스로부터 사용자(112)의 검출된 제2 감정 상태와 연관된 하나 이상의 태깅된 콘텐츠 항목을 검색하도록 구성될 수 있다. 제1 객체(404a) 및/또는 제2 객체(404b) 등의 하나 이상의 태깅된 콘텐츠 항목은, 사용자(112)의 사용자 ID(412) "U001" 등의 신원 정보 및 흥분한 감정 상태 등의 제2 감정 상태로의 검출된 천이에 기초하여 검색될 수 있다.
한 실시예에 따르면, 제2 전자 디바이스(104)의 프로세서(302)는, 제2 전자 디바이스(104) 내의, 제1 객체(404a) 및/또는 제2 객체(404b) 등의 검색된 하나 이상의 태깅된 콘텐츠 항목에 기초하여 하나 이상의 제품 또는 서비스를 검색하도록 구성될 수 있다. 제2 전자 디바이스(104)의 프로세서(302)는, 검색된 태깅된 콘텐츠 항목과 연관된 적어도 하나의 제품 또는 서비스를 추천하기 위해 제2 전자 디바이스(104) 상에서 애플리케이션 인터페이스(104c) 등의 애플리케이션을 론칭하도록 구성될 수 있다. 예를 들어, 제1 추천(414)은, 론칭된 애플리케이션의 애플리케이션 인터페이스(104c)를 통해 렌더링될 수 있다. 제1 추천은, 도시된 바와 같이, 제2 전자 디바이스(104)의 제2 위치 등의, 현재 위치의 부근에 있는 인근 시설이나 상점 "B"에서의, 제조사 브랜드 "X"의 카메라 등의 검색된 제2 객체(404b)에 관련된 할인 제안 등의 광고일 수 있다. 이 애플리케이션은 흥분된 감정 상태로의 사용자(112)의 감정 상태에서의 검출된 천이에 응답하여 론칭될 수 있다.
또 다른 예에서, 제2 추천(416)는 론칭된 애플리케이션의 애플리케이션 인터페이스(104c)를 통해 렌더링될 수 있다. 제2 추천은, 제2 전자 디바이스(104)의 현재 위치에서의, 제1 객체(404a) 등의 검색된 태깅된 콘텐츠 항목에 관련된 광고 또는 감정-기반 추천 또는 관련 정보일 수 있다. "인간 캐릭터 "James Bond" 등의 <제1 객체(404a)>에 관련된 새로운 영화를 구매하기를 원합니까?" 등의 감성-기반 추천이 생성되어 애플리케이션 인터페이스(104c)를 통해 렌더링될 수 있다. 제2 전자 디바이스(104)의 현재 위치에서 이용가능한 온라인 웹 포털로의 링크 또는 제2 전자 디바이스(104)의 제2 위치 등의 현재 위치 부근에 있는 인근 물리적 상점 "C"에 대한 맵도 역시 도시된 바와 같이 렌더링될 수 있다.
도 5a 및 도 5b는, 집합적으로, 본 개시내용의 한 실시예에 따른 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 개시된 시스템 및 방법의 구현을 위한 제2 예시적인 시나리오를 나타낸다. 도 5a 및 도 5b는, 도 1, 도 2, 도 3, 도4a 및 도 4b의 요소들과 연계하여 설명된다. 도 5a를 참조하면, 제2 전자 디바이스(104) 상의 제1 홈 스크린(502)이 도시되어 있다. 또한, 사용자(112), 감정-기반 추천(508), 및 음악 애플리케이션 아이콘(510a), 비디오 스트리밍 애플리케이션 아이콘(510b), 요가 애플리케이션 아이콘(510c), 및 맵 애플리케이션 아이콘(510d) 등의 복수의 어플리케이션 아이콘(510)과 함께, 사용자(112)의, 어머니 등의 가까운 가족 구성원의 제1 초상화(506)를 갖춘 제2 홈 스크린(504)이 더 도시되어 있다.
제2 예시적인 시나리오에 따르면, 제2 전자 디바이스(104)는 스마트폰 또는 태블릿 디바이스일 수 있다. 동작시, 스마트폰 등의 제2 전자 디바이스(104)의 감정 핸들러 회로(308)는, 중립 등의 제1 감정 상태로부터 분노 감정 상태 등의 제2 감정 상태로의, 제2 전자 디바이스(104)와 연관된 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 그 다음, 제2 전자 디바이스(104)의 프로세서(302)는, 사용자(112)의 감정 상태에서의 검출된 천이 및 제1 전자 디바이스(102) 등의 네트워크 디바이스에서의 제2 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 기초하여 제2 전자 디바이스(104)의 제1 홈 스크린(502)을 동적으로 맞춤화할 수 있다.
사용자(112)의 분노 감정 상태로의 검출된 천이에 응답하여, 제2 전자 디바이스(104)의 프로세서(302)는 제1 홈 스크린(502)을 제2 홈 스크린(504)으로 동적으로 변경할 수 있다. 예를 들어, 제1 초상화(506) 등의 즐거운 가족 사진이 제2 전자 디바이스(104)의 제2 홈 스크린(504) 상에서 자동으로 설정될 수 있다. "평온을 유지하고 안전하게 운전하세요" 등의 감정-기반 추천(508)이 제2 홈 스크린(504) 상에 렌더링될 수 있다.
또한, 음악 애플리케이션에 링크된 음악 애플리케이션 아이콘(510a)은 분노 감정 상태에 적합한 명상곡으로 미리로딩될 수 있다. "YouTube 애플리케이션" 등의 비디오 스트리밍 애플리케이션에 링크된 비디오 스트리밍 애플리케이션 아이콘(510b)은, 검출된 분노 감정 상태에 따라 편안한 경험을 위한 시각적으로 진정시키는 비디오의 추천으로 미리로딩될 수 있다. 맞춤화의 다른 예는 근육을 이완시킬 수 있는 운동에 관련된 실시간 맞춤화된 추천을 수반한 요가 애플리케이션에 링크된 요가 애플리케이션 아이콘(510c)일 수 있으며, 요가 애플리케이션 아이콘(510c)의 선택시 렌더링될 수 있다. 맵 애플리케이션에 링크된 맵 애플리케이션 아이콘(510d)은, 휴식에 적합한 정원, 호수 또는 게임 응접실 등의 인근 위치를 방문하라는 추천으로 미리로딩될 수 있다.
검출된 감정 상태 천이에 기초한 제2 전자 디바이스(104)의 홈 스크린 인터페이스 상의 앞서 언급된 실시간 또는 거의 실시간 맞춤화는 예시적인 것이며, 개시된 시스템 및 방법의 실제 이용을 나타내기 위해 설명된 것이라는 것을 이해해야 한다. 그러나, 본 개시내용의 범위는 상기 설명된 실시예로 제한되지 않으며, 도면을 참조하여 본 출원에서 개시된, 본 개시내용의 다양한 양태에 기초하여 본 기술분야의 통상의 기술자에게 다른 유사한 맞춤화가 명백해질 수 있다.
도 5b를 참조하면, 제2 전자 디바이스(104) 상의 제3 홈 스크린(512)이 더 도시되어 있다. 제3 홈 스크린(512)에는 소정의 배열로 렌더링된, 월페이퍼(514), 농담 애플리케이션 아이콘(510e), 게임 애플리케이션 아이콘(510f), 음악 애플리케이션 아이콘(510a) 및 맵 애플리케이션 아이콘(510d)이 더 도시되어 있다. 또한, 전화통신 애플리케이션(516), 전화통신 애플리케이션(516) 상의 제1 통화 추천(518a) 및 제2 통화 추천(518b)이 역시 도시되어 있다.
동작시, 스마트폰 등의, 제2 전자 디바이스(104)의 감정 핸들러 회로(308)는, 중립 감정 상태로부터 슬픔 감정 상태로의, 제2 전자 디바이스(104)와 연관된 사용자(112)의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 그 다음, 제2 전자 디바이스(104)의 프로세서(302)는, 제2 전자 디바이스(104)의 제1 홈 스크린(502)(도 5a에 도시됨)을 동적으로 맞춤화할 수 있다. 제1 홈 스크린(502)은, 사용자(112)의 감정 상태에서의 검출된 천이 및 제1 전자 디바이스(102) 등의 네트워크 디바이스에서의 슬픔 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 기초하여 동적으로 맞춤화될 수 있다.
사용자(112)의 슬픔 감정 상태로의 검출된 천이에 응답하여, 제2 전자 디바이스(104)의 프로세서(302)는 제1 홈 스크린(502)을 제3 홈 스크린(512)으로 동적으로 변경할 수 있다. 예를 들어, 월페이퍼(514) 등의 즐거운 풍경 사진 또는 꽃 사진이 제3 홈 스크린(512) 상에 자동으로 설정될 수 있다. 슬픔 감정 상태의 경우, 음악 애플리케이션에 링크된 음악 애플리케이션 아이콘(510a)은 슬픔 감정 상태에 적합한 멜로디 곡으로 미리로딩될 수 있다. 맵 애플리케이션에 링크된 맵 애플리케이션 아이콘(510d)은, 슬픔 감정 상태를 극복하기에 적합한, 친구 집 등의 인근 장소를 방문하라는 추천으로 미리로딩될 수 있다. 맞춤화의 다른 예는, 슬픔 감정 상태에 있을 때 사용자(112)에 의해 통상적으로 재생되는 게임 애플리케이션에 링크된 게임 애플리케이션 아이콘(510f)일 수 있다. 농담 애플리케이션에 링크된 농담 애플리케이션 아이콘(510e)이 렌더링될 수 있고, 이것은 슬픔 감정 상태에 적합할 수 있다.
한 실시예에 따르면, 제2 전자 디바이스(104)의 감정 핸들러 회로(308)는 사용자(112)의 슬픔 감정 상태의 레벨을 결정하도록 구성될 수 있다. 결정된 레벨이 "6.9"일 때, 수치 "6"은 슬픔 감정 상태를 나타내고 소수값 ".9"는, "0 내지 9" 스케일 상에서 극히 슬픔 등의 높은 레벨의 슬픔을 나타낸다. 이러한 시나리오에서, 전화통화 애플리케이션(516)이 론칭되어, 결정된 레벨이 임계 값보다 클 때, 제1 통화 추천(518a) 및 제2 통화 추천(518b)에 도시된 바와 같이, 친한 친구, 친척 또는 가족 구성원에게 전화할 것을 추천할 수 있다. 따라서, 인간의 감정 상태에서의 천이가 지능적인 방식으로 채용되어 실제 유용성이 강화된 감성-기반 추천을 제공한다.
도 6은 본 개시내용의 실시예에 따른 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 예시적인 방법을 도시하는 제1 플로차트를 나타낸다. 도 6을 참조하면, 플로차트(600)가 도시되어 있다. 플로차트(600)는, 도 1, 도 2, 도 3, 도 4b, 도 5a, 및 도 5b의 요소들과 연계하여 설명된다. 플로차트(600)에 따른 방법은 제2 전자 디바이스(104) 등의 전자 디바이스에서 구현될 수 있다. 이 방법은 단계 602에서 시작하여 단계 604로 진행한다.
단계 604에서, 사용자(112)와 연관된 센서 데이터는 하나 이상의 착용형 디바이스(108)로부터 수신될 수 있다. 한 실시예에 따르면, 사용자(112)의 감정 상태에서의 천이의 검출에 이용될 수 있는, 텍스트-기반 입력 및/또는 음성-기반 입력이 (제2 전자 디바이스(104) 등의) 전자 디바이스 상에서 수신될 수 있다. 단계 606에서, 사용자(112)의 하나 이상의 이미지 또는 비디오는, (제2 전자 디바이스(104) 등의) 전자 디바이스에 의해, 이미지 포착 유닛(104a) 등의 내장 카메라로부터 수신될 수 있다.
단계 608에서, 제1 감정 상태로부터 제2 감정 상태로의 (제2 전자 디바이스(104) 등의) 전자 디바이스와 연관된 사용자(112)의 감정 상태에서의 천이가 검출될 수 있다. 제1 감정 상태 및 제2 감정 상태는, 복수의 감정 상태(114) 중의 중립, 행복, 슬픔, 분노, 경멸, 두려움, 놀람, 혼란, 및/또는 애정에 대응할 수 있다. 단계 610에서, 사용자(112)의 신원 정보 및 검출된 천이에 기초하여 네트워크 디바이스로부터 사용자(112)의 제2 감정 상태와 연관된 태깅된 콘텐츠 항목이 검색될 수 있다. 네트워크 디바이스는, 서버(106), (통신 네트워크(110) 등의) 무선 홈 네트워크에서 제2 전자 디바이스(104) 등의 전자 디바이스에 접속된 제1 전자 디바이스(102) 등의 또 다른 전자 디바이스, 및/또는 기타의 클라우드 기반 서비스에 대응할 수 있다.
단계 612에서, 제품 또는 서비스는, (제2 전자 디바이스(104) 등의) 전자 디바이스 상의 검색된 태깅된 콘텐츠 항목에 기초하여 검색될 수 있다. 제품 또는 서비스의 검색은 또한, (제2 전자 디바이스(104) 등의) 전자 디바이스의 현재 위치에 기초할 수 있다. 단계 614에서, (제2 전자 디바이스(104) 등의) 전자 디바이스 상에서 애플리케이션이 론칭되어 검색된 태깅된 콘텐츠 항목에 관련된 제품 또는 서비스를 추천할 수 있다. 이 애플리케이션은, 사용자(112)의 감정 상태에서의 검출된 천이 및 (제2 전자 디바이스(104) 등의) 전자 디바이스의 현재 위치에 응답하여 론칭될 수 있다.
단계 616에서, 전자 디바이스의, 제1 홈 스크린(502) 등의, 홈 스크린 인터페이스는, 사용자(112)의 감정 상태에서의 검출된 천이에 기초하여 동적으로 맞춤화될 수 있다. (제2 전자 디바이스(104) 등의) 전자 디바이스의 홈 스크린 인터페이스는 또한, (제1 전자 디바이스(102) 또는 서버(106) 등의) 네트워크 디바이스에서의 제2 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 기초하여 동적으로 맞춤화될 수 있다. 제2 홈 스크린(504) 및 제3 홈 스크린(512) 등의 맞춤화된 홈 스크린 인터페이스의 예가 도 5a 및 도 5b에서 예시되고 기술되었다. 제어는 종료 단계(618)로 진행할 수 있다.
도 7a 및 도 7b는 집합적으로, 본 개시내용의 실시예에 따른 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 또 다른 예시적인 방법을 도시하는 제2 플로차트를 나타낸다. 도 7a 및 도 7b를 참조하면, 플로차트(700)가 도시되어 있다. 플로차트(700)는, 도 1, 도 2, 및 도 4a의 요소들과 연계하여 설명된다. 플로차트(700)에 따른 방법은 제1 전자 디바이스(102) 등의 전자 디바이스에서 구현될 수 있다. 이 방법은 단계 702에서 시작하여 단계 704로 진행한다.
단계 704에서, 하나 이상의 콘텐츠 항목이 (제1 전자 디바이스(102) 등의) 전자 디바이스에 의해 수신될 수 있다. 단계 706에서, 수신된 하나 이상의 콘텐츠 항목 중의 콘텐츠 항목이 (제1 전자 디바이스(102) 등의) 전자 디바이스 상에서 렌더링될 수 있다.
단계 708에서, (제1 전자 디바이스(102) 등의) 전자 디바이스 상에서 렌더링된 콘텐츠 항목을 시청하는 중일 수 있는 사용자(112)의 하나 이상의 이미지 또는 비디오가 수신될 수 있다. 하나 이상의 이미지 또는 비디오는 이미지 포착 유닛(102a)의 이용에 의해 수신될 수 있다. 단계 710에서, 센서 데이터는 사용자(112)와 연관된 (스마트 밴드(408) 등의) 하나 이상의 착용형 디바이스(108)로부터 수신될 수 있다. 한 실시예에 따르면, 센서 데이터는 수신되지 않을 수 있다.
단계 712에서, 제1 감정 상태로부터 제2 감정 상태로의, 전자 디바이스 상에서 렌더링된 콘텐츠 항목을 시청하는 사용자(112)의 감정 상태에서의 천이가 검출될 수 있다. 단계 714에서, 사용자(112)의 제2 감정 상태의 레벨은, (제1 전자 디바이스(102) 등의) 전자 디바이스 상에서 렌더링된 콘텐츠 항목을 시청하는 동안 결정될 수 있다.
단계 716에서, 검출된 천이 동안 시청된 (비디오(402) 등의) 콘텐츠 항목의 (제1 부분(402a) 등의) 일부는 사용자(112)의 제2 감정 상태와 연관될 수 있다. 콘텐츠 항목의 일부는 결정된 레벨이 임계값보다 클 때 제2 감정 상태와 연관될 수 있다. 단계 718에서, 제2 감정 상태로의 검출된 천이의 원인은 제2 감정 상태와 연관된 콘텐츠 항목의 상기 일부에서 식별될 수 있다. 콘텐츠 항목의 일부에서 식별된 원인은, 이미지 프레임, 이미지 프레임에서 검출된 객체, 및/또는 콘텐츠 항목의 일부의 컨텍스트에 대응할 수 있다.
단계 720에서, 콘텐츠 항목의 일부에서 식별된 원인은, 제2 감정 상태, 사용자(112)의 신원 정보, 검출된 천이의 타임스탬프, 및/또는 제2 감정 상태의 결정된 레벨로 태깅될 수 있다. 단계 722에서, 콘텐츠 항목의 일부 내의 태깅된 원인은, 서버(106), 또는 제1 전자 디바이스(102) 등의 전자 디바이스에 통신가능하게 결합된 제2 전자 디바이스(104) 등의 네트워크 디바이스에 전달될 수 있다.
단계 724에서, 제2 감정 상태와 연관된 태깅된 원인에 관련된 제품 또는 서비스는 미리-명시된 검색 엔진의 이용에 의해 실시간 또는 거의 실시간으로 검색될 수 있다. 제2 감정 상태와 연관된 태깅된 원인에 추가하여, 제품 또는 서비스의 검색은 또한, (제1 전자 디바이스(102) 등의) 전자 디바이스의 현재 위치에 기초할 수 있다. 단계 726에서, 식별된 원인에 기초하여 제품 또는 서비스에 대해 하나 이상의 추천이 생성될 수 있다. 이 추천은, 사용자(112)의 감정 상태에서의 검출된 천이 및 (제1 전자 디바이스(102) 등의) 전자 디바이스의 현재 위치에 응답하여 생성될 수 있다.
단계 728에서, 생성된 하나 이상의 추천은 생성된 추천의 사용 패턴과 연관된 머신 학습에 기초하여 업데이트될 수 있다. 프로세서(202)는 이러한 업데이트를 위해 추천 학습 엔진(214)을 이용하도록 구성될 수 있다. 단계 730에서, 통보는 제2 전자 디바이스(104) 등의 또 다른 전자 디바이스에 전달되어 다른 전자 디바이스의 홈 스크린 인터페이스를 잠금해제하여 생성된 하나 이상의 추천을 디스플레이할 수 있다.
단계 732에서, 제품 또는 서비스에 대한 생성된 추천의 디스플레이는, (제1 전자 디바이스(102) 등의) 전자 디바이스 또는 전자 디바이스에 통신가능하게 결합된 (제2 전자 디바이스(104) 등의) 또 다른 전자 디바이스 상에서 제어될 수 있다. 제어는 종료 단계(734)로 진행할 수 있다.
본 개시내용의 한 실시예에 따르면, 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 시스템이 개시된다. (제2 전자 디바이스(104)(도 1) 등의) 이 시스템은, (이후 프로세서(302) 및/또는 감정 핸들러 회로(308)(도 3)라고 지칭됨) 하나 이상의 회로를 포함할 수 있다. 감정 핸들러 회로(308)는, 제1 감정 상태로부터 제2 감정 상태로의 전자 디바이스와 연관된 (사용자(112) 등의) 사용자의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 프로세서(302)는, 사용자의 신원 정보 및 검출된 천이에 기초하여 네트워크 디바이스로부터 사용자의 제2 감정 상태와 연관된 태깅된 콘텐츠 항목을 검색하도록 구성될 수 있다. 프로세서(302)는 또한, 사용자의 감정 상태에서의 검출된 천이 및 전자 디바이스의 현재 위치에 응답하여, 전자 디바이스 상에서 애플리케이션을 론칭하여 검색된 태깅된 콘텐츠 항목에 관련된 제품 또는 서비스를 추천하도록 구성될 수 있다.
본 개시내용의 한 실시예에 따르면, 사용자의 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하는 또 다른 시스템이 개시된다. (제1 전자 디바이스(102)(도 1) 등의) 이 시스템은, (이후 프로세서(202) 및/또는 감정 핸들러 회로(208)(도 2)라고 지칭됨) 하나 이상의 회로를 포함할 수 있다. 감정 핸들러 회로(208)는, 제1 감정 상태로부터 제2 감정 상태로의 (제1 전자 디바이스(102) 등의) 전자 디바이스 상에서 콘텐츠 항목을 시청하는 (사용자(112) 등의) 사용자의 감정 상태에서의 천이를 검출하도록 구성될 수 있다. 감정 핸들러 회로(208)는 또한, 검출된 천이 동안 시청된 콘텐츠 항목의 일부를 사용자의 제2 감정 상태와 연관시키도록 구성될 수 있다. 감정 핸들러 회로(208)는 또한, 제2 감정 상태와 연관된 콘텐츠 항목의 일부에서 제2 감정 상태로의 검출된 천이의 원인을 식별하도록 구성될 수 있다. 프로세서(202)는, 사용자의 감정 상태에서의 검출된 천이 및 (제1 전자 디바이스(102) 등의) 전자 디바이스의 현재 위치에 응답하여 식별된 원인에 기초해 제품 또는 서비스에 대한 추천을 생성하도록 구성될 수 있다.
본 개시내용의 다양한 실시예는, 머신 코드가 저장된 비일시적 컴퓨터 판독가능한 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능한 매체 및/또는 저장 매체, 및/또는 사용자의 감정 상태 검출에 기초하여 추천을 제공하기 위해 머신 및/또는 컴퓨터에 의해 실행가능한 명령어 세트를 제공할 수 있다. 명령어 세트는, 머신 및/또는 컴퓨터로 하여금, 제1 감정 상태로부터 제2 감정 상태로의, (제2 전자 디바이스(104) 등의) 전자 디바이스와 연관된 (사용자(112) 등의) 사용자의 감정 상태에서의 천이의 검출을 포함하는 단계들을 수행하게 할 수 있다. 사용자의 제2 감정 상태와 연관된 태깅된 콘텐츠 항목이 사용자의 신원 정보 및 검출된 천이에 기초하여 네트워크 디바이스로부터 검색될 수 있다. 전자 디바이스 상에서 애플리케이션이 론칭되어 검색된 태깅된 콘텐츠 항목에 관련된 제품 또는 서비스를 추천할 수 있다. 이 애플리케이션은, 사용자의 감정 상태에서의 검출된 천이 및 (제2 전자 디바이스(104) 등의) 전자 디바이스의 현재 위치에 응답하여 론칭될 수 있다.
본 개시내용의 다양한 실시예는, 머신 코드가 저장된 비일시적 컴퓨터 판독가능한 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능한 매체 및/또는 저장 매체, 및/또는 사용자의 감정 상태 검출에 기초하여 추천을 제공하기 위해 머신 및/또는 컴퓨터에 의해 실행가능한 명령어 세트를 제공할 수 있다. 명령어 세트는, 머신 및/또는 컴퓨터로 하여금, 제1 감정 상태로부터 제2 감정 상태로의, (제1 전자 디바이스(102) 등의) 전자 디바이스 상에서 콘텐츠 항목을 시청하는 (사용자(112) 등의) 사용자의 감정 상태에서의 천이의 검출을 포함하는 단계들을 수행하게 할 수 있다. 검출된 천이 동안 시청된 콘텐츠 항목의 일부는 사용자의 제2 감정 상태와 연관될 수 있다. 제2 감정 상태로의 검출된 천이의 원인은 제2 감정 상태와 연관된 콘텐츠 항목의 상기 일부에서 식별될 수 있다. 식별된 원인에 기초하여 제품 또는 서비스에 대한 추천이 생성될 수 있다. 이 추천은 사용자의 감정 상태에서의 검출된 천이 및 전자 디바이스의 현재 위치에 응답하여 생성될 수 있다.
본 개시내용은, 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은, 적어도 하나의 컴퓨터 시스템에서 중앙집중형 방식으로, 또는 상이한 요소들이 수 개의 상호접속된 컴퓨터 시스템들에 걸쳐 분산되어 있을 수 있는 분산형 방식으로 실현될 수 있다. 여기서 설명된 방법을 수행하도록 적합화된 컴퓨터 시스템 또는 다른 장치가 적절할 수도 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되고 실행될 때, 여기서 설명된 방법을 실행하도록 컴퓨터 시스템을 제어 할 수 있는 컴퓨터 프로그램을 갖춘 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 역시 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수도 있다.
본 개시내용은 또한, 여기서 설명된 방법들의 구현을 가능하게 하고 컴퓨터 시스템에 로딩될 때 이들 방법을 실행할 수 있는 모든 피쳐들을 포함하는 컴퓨터 프로그램 제품에 임베딩될 수도 있다. 컴퓨터 프로그램은, 본 문맥에서, 정보 처리 능력을 가진 시스템으로 하여금, 특정 기능을, 곧바로, 또는 a) 또 다른 언어, 코드 또는 표기로의 변환; b) 상이한 자료 형태로의 재생산 중 어느 하나 또는 양쪽 모두 이후에, 수행하게 하도록 의도된 한 세트의 명령어로 이루어진, 임의의 언어로 된, 임의의 표현, 코드 또는 표기를 의미한다.
본 개시내용이 소정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자라면, 본 개시내용의 범위로부터 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물로 대체될 수 있다는 것을 이해할 것이다. 또한, 특정한 상황 또는 재료를 본 개시내용의 교시에 맞게 그 본질적 범위로부터 벗어나지 않고 적합하게 개작하도록 많은 수정이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예에 제한되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예를 포함하는 것으로 의도된다.
Claims (20)
- 추천을 제공하기 위한 시스템으로서,
전자 디바이스 내의 하나 이상의 회로를 포함하고, 상기 하나 이상의 회로는 :
제1 감정 상태로부터 제2 감정 상태로의, 상기 전자 디바이스와 연관된 사용자의 감정 상태에서의 천이를 검출하고;
상기 사용자의 신원 정보 및 상기 검출된 천이에 기초하여 네트워크 디바이스로부터 상기 사용자의 상기 제2 감정 상태와 연관된 태깅된 콘텐츠 항목을 검색하고;
상기 제2 감정 상태와 연관된 상기 콘텐츠 항목의 일부에서 상기 제2 감정 상태로의 상기 검출된 천이의 원인을 식별하고;
상기 사용자의 상기 감정 상태에서의 상기 검출된 천이 및 상기 전자 디바이스의 현재 위치에 응답하여 상기 식별된 원인에 기초해 상기 전자 디바이스 상에서 애플리케이션을 론칭하여 상기 검색된 태깅된 콘텐츠 항목(retrieved tagged content item)에 관련된 제품 또는 서비스를 추천하고;
상기 사용자의 상기 감정 상태에서의 상기 검출된 천이 및 상기 네트워크 디바이스에서의 복수의 태깅된 콘텐츠 항목 중에서 상기 제2 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 기초하여 상기 전자 디바이스의 홈 스크린 인터페이스(home screen interface)를 동적으로 맞춤화하도록 구성되고,
상기 마지막 태깅된 콘텐츠 항목은 상기 사용자의 상기 제2 감정 상태와 연관되어 있고,
상기 홈 스크린 인터페이스의 맞춤화는 월페이퍼의 변경, 감정-기반 추천의 디스플레이 또는 복수의 어플리케이션 아이콘의 디스플레이 중 적어도 하나를 포함하는, 시스템. - 제1항에 있어서, 상기 제1 감정 상태 및 상기 제2 감정 상태는, 중립, 행복, 슬픔, 분노, 경멸, 공포, 놀람, 혼란, 및/또는 애정 감정 상태 중 하나에 대응하는, 시스템.
- 제1항에 있어서, 상기 네트워크 디바이스는, 서버, 무선 네트워크 내의 상기 전자 디바이스에 접속된 또 다른 전자 디바이스, 및/또는 클라우드 기반 서비스 중 하나에 대응하는, 시스템.
- 제1항에 있어서, 상기 하나 이상의 회로는, 상기 사용자의 상기 감정 상태에서의 상기 천이의 상기 검출을 위해, 상기 사용자와 연관된 착용형 디바이스, 상기 전자 디바이스의 내장형 카메라, 상기 전자 디바이스 상의 텍스트-기반 입력, 및/또는 상기 전자 디바이스 상의 음성-기반 입력 중 하나 이상으로부터 센서 데이터를 수신하도록 추가로 구성된, 시스템.
- 제1항에 있어서, 상기 하나 이상의 회로는, 상기 전자 디바이스 상의 상기 검색된 태깅된 콘텐츠 항목에 기초하여 상기 제품 또는 상기 서비스를 검색하도록 추가로 구성된, 시스템.
- 삭제
- 추천을 제공하기 위한 시스템으로서,
제1 전자 디바이스 내의 하나 이상의 회로를 포함하고, 상기 하나 이상의 회로는 :
제1 감정 상태로부터 제2 감정 상태로의, 상기 제1 전자 디바이스 상에서 콘텐츠 항목을 시청하는 사용자의 감정 상태에서의 천이를 검출하고;
상기 검출된 천이 동안 시청된 상기 콘텐츠 항목의 일부를 상기 사용자의 상기 제2 감정 상태와 연관시키며;
상기 제2 감정 상태와 연관된 상기 콘텐츠 항목의 상기 일부에서 상기 제2 감정 상태로의 상기 검출된 천이의 원인을 식별하고;
상기 사용자의 상기 감정 상태에서의 상기 검출된 천이 및 상기 제1 전자 디바이스의 현재 위치에 응답하여 상기 식별된 원인에 기초해 제품 또는 서비스에 대한 추천을 생성하고;
제2 전자 디바이스에 통보를 전달하여 상기 제2 전자 디바이스의 홈 스크린 인터페이스를 잠금해제해 상기 생성된 추천을 디스플레이하도록 구성된, 시스템. - 제7항에 있어서, 상기 콘텐츠 항목의 상기 일부 내의 상기 식별된 원인은, 이미지 프레임(image frame), 상기 이미지 프레임 내의 객체, 상기 콘텐츠 항목의 상기 일부의 컨텍스트(context) 중 하나 이상에 대응하는, 시스템.
- 제7항에 있어서, 상기 하나 이상의 회로는, 상기 전자 디바이스 상에서 상기 콘텐츠 항목을 시청하는 동안 상기 사용자의 상기 제2 감정 상태의 레벨을 결정하도록 추가로 구성되고, 상기 콘텐츠 항목의 상기 일부는, 상기 결정된 레벨이 임계값보다 클 때 상기 제2 감정 상태와 연관되는, 시스템.
- 제9항에 있어서, 상기 하나 이상의 회로는, 상기 콘텐츠 항목의 상기 일부 내의 상기 식별된 원인을, 상기 제2 감정 상태, 상기 사용자의 신원 정보, 상기 검출된 천이의 타임스탬프, 및/또는 상기 제2 감정 상태의 상기 결정된 레벨 중 하나 이상으로 태깅하도록 추가로 구성된, 시스템.
- 제10항에 있어서, 상기 하나 이상의 회로는, 상기 추천을 위해 미리-명시된 검색 엔진을 이용하여 실시간 또는 거의 실시간으로 상기 제2 감정 상태와 연관된 상기 태깅된 원인에 관련된 제품 또는 서비스를 검색하도록 추가로 구성된, 시스템.
- 제10항에 있어서, 상기 하나 이상의 회로는 또한, 상기 콘텐츠 항목의 상기 일부 내의 상기 태깅된 원인을, 상기 전자 디바이스에 통신가능하게 결합된 서버 또는 네트워크 디바이스에 전달하도록 추가로 구성된, 시스템.
- 제7항에 있어서, 상기 하나 이상의 회로는, 상기 제1 전자 디바이스에 통신가능하게 결합된 상기 제2 전자 디바이스 상에서의 상기 제품 또는 상기 서비스에 대한 상기 생성된 추천의 디스플레이를 제어하도록 추가로 구성된, 시스템.
- 삭제
- 제7항에 있어서, 상기 하나 이상의 회로는, 상기 생성된 추천의 사용 패턴과 연관된 머신 학습에 기초하여 상기 생성된 추천을 업데이트하도록 추가로 구성된, 시스템.
- 추천을 제공하기 위한 방법으로서,
전자 디바이스의 하나 이상의 회로에 의해, 제1 감정 상태로부터 제2 감정 상태로의, 상기 전자 디바이스와 연관된 사용자의 감정 상태에서의 천이를 검출하는 단계;
상기 하나 이상의 회로에 의해, 상기 사용자의 신원 정보 및 상기 검출된 천이에 기초하여 네트워크 디바이스로부터 상기 사용자의 상기 제2 감정 상태와 연관된 태깅된 콘텐츠 항목을 검색하는 단계;
상기 제2 감정 상태와 연관된 상기 콘텐츠 항목의 일부에서 상기 제2 감정 상태로의 상기 검출된 천이의 원인을 식별하는 단계;
상기 하나 이상의 회로에 의해, 상기 사용자의 상기 감정 상태에서의 상기 검출된 천이 및 상기 전자 디바이스의 현재 위치에 응답하여 상기 식별된 원인에 기초해 상기 전자 디바이스 상에서 애플리케이션을 론칭하여 상기 검색된 태깅된 콘텐츠 항목에 관련된 제품 또는 서비스를 추천하는 단계; 및
상기 하나 이상의 회로에 의해, 상기 사용자의 상기 감정 상태에서의 상기 검출된 천이 및 상기 네트워크 디바이스에서의 상기 제2 감정 상태와 연관된 마지막 태깅된 콘텐츠 항목에 기초하여 상기 전자 디바이스의 홈 스크린 인터페이스를 동적으로 맞춤화하는 단계를 포함하고,
상기 마지막 태깅된 콘텐츠 항목은 상기 사용자의 상기 제2 감정 상태와 연관되어 있고,
상기 홈 스크린 인터페이스의 맞춤화는 월페이퍼의 변경, 감정-기반 추천의 디스플레이 또는 복수의 어플리케이션 아이콘의 디스플레이 중 적어도 하나를 포함하는 방법 - 제16항에 있어서, 상기 하나 이상의 회로에 의해, 상기 전자 디바이스 상의 상기 검색된 태깅된 콘텐츠 항목에 기초하여 상기 제품 또는 상기 서비스를 검색하는 단계를 추가로 포함하는 방법.
- 삭제
- 추천을 제공하기 위한 방법으로서,
제1 전자 디바이스의 하나 이상의 회로에 의해, 제1 감정 상태로부터 제2 감정 상태로의, 상기 제1 전자 디바이스 상에서 콘텐츠 항목을 시청하는 사용자의 감정 상태에서의 천이를 검출하는 단계;
상기 하나 이상의 회로에 의해, 상기 검출된 천이 동안 시청된 상기 콘텐츠 항목의 일부를 상기 사용자의 상기 제2 감정 상태와 연관시키는 단계;
상기 하나 이상의 회로에 의해, 상기 제2 감정 상태와 연관된 상기 콘텐츠 항목의 상기 일부에서 상기 제2 감정 상태로의 상기 검출된 천이의 원인을 식별하는 단계;
상기 하나 이상의 회로에 의해, 상기 사용자의 상기 감정 상태에서의 상기 검출된 천이 및 상기 제1 전자 디바이스의 현재 위치에 응답하여 상기 식별된 원인에 기초해 제품 또는 서비스에 대한 추천을 생성하는 단계; 및
상기 하나 이상의 회로에 의해, 제2 전자 디바이스에 통보를 전달하여 상기 제2 전자 디바이스의 홈 스크린 인터페이스를 잠금해제해 상기 생성된 추천을 디스플레이하는 단계를 포함하는 방법. - 제19항에 있어서, 상기 콘텐츠 항목의 상기 일부 내의 상기 식별된 원인은, 이미지 프레임, 상기 이미지 프레임 내의 객체, 상기 콘텐츠 항목의 상기 일부의 컨텍스트 중 하나 이상에 대응하는, 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/260,502 | 2016-09-09 | ||
| US15/260,502 US11049147B2 (en) | 2016-09-09 | 2016-09-09 | System and method for providing recommendation on an electronic device based on emotional state detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180028939A KR20180028939A (ko) | 2018-03-19 |
| KR102013493B1 true KR102013493B1 (ko) | 2019-08-22 |
Family
ID=59846373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170113156A KR102013493B1 (ko) | 2016-09-09 | 2017-09-05 | 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하기 위한 시스템 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11049147B2 (ko) |
| EP (1) | EP3293691A1 (ko) |
| JP (1) | JP6547977B2 (ko) |
| KR (1) | KR102013493B1 (ko) |
| CN (1) | CN107807947B (ko) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3300655A1 (en) * | 2016-09-28 | 2018-04-04 | Stichting IMEC Nederland | A method and system for emotion-triggered capturing of audio and/or image data |
| WO2018123057A1 (ja) * | 2016-12-28 | 2018-07-05 | 本田技研工業株式会社 | 情報提供システム |
| DE102017203570A1 (de) * | 2017-03-06 | 2018-09-06 | Volkswagen Aktiengesellschaft | Verfahren und vorrichtung zur darstellung von empfohlenen bedienhandlungen eines vorschlagssystems und interaktion mit dem vorschlagssystem |
| US10790053B2 (en) * | 2017-04-18 | 2020-09-29 | International Business Machines Corporation | Appetite improvement system through memory association |
| KR102132407B1 (ko) * | 2017-11-22 | 2020-07-10 | 인하대학교 산학협력단 | 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치 |
| US11259729B2 (en) * | 2018-03-15 | 2022-03-01 | Arm Ltd. | Systems, devices, and/or processes for behavioral and/or biological state processing |
| WO2019175569A1 (en) * | 2018-03-15 | 2019-09-19 | Arm Ltd | Systems, devices, and/or processes for behavioral and/or biological state processing |
| CN108401129A (zh) * | 2018-03-22 | 2018-08-14 | 广东小天才科技有限公司 | 基于穿戴式设备的视频通话方法、装置、终端及存储介质 |
| CN108647052B (zh) * | 2018-04-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 应用程序预加载方法、装置、存储介质及终端 |
| CN108616772B (zh) * | 2018-05-04 | 2020-10-30 | 维沃移动通信有限公司 | 一种弹幕显示方法、终端和服务器 |
| CN108733429B (zh) * | 2018-05-16 | 2020-01-21 | Oppo广东移动通信有限公司 | 系统资源配置的调整方法、装置、存储介质及移动终端 |
| CN108694619A (zh) * | 2018-06-20 | 2018-10-23 | 新华网股份有限公司 | 电影票房预测方法和系统 |
| KR20210022642A (ko) * | 2018-06-22 | 2021-03-03 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치 |
| CN108989887A (zh) * | 2018-07-17 | 2018-12-11 | 奇酷互联网络科技（深圳）有限公司 | 移动终端和推送视频的方法、装置 |
| WO2020050862A1 (en) * | 2018-09-07 | 2020-03-12 | Hewlett-Packard Development Company, L.P. | Determining sentiments of customers and employees |
| CN110970113B (zh) * | 2018-09-30 | 2023-04-14 | 宁波方太厨具有限公司 | 基于用户情绪的智能菜谱推荐方法 |
| US10960173B2 (en) * | 2018-11-02 | 2021-03-30 | Sony Corporation | Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis |
| CN109549624A (zh) * | 2018-11-04 | 2019-04-02 | 南京云思创智信息科技有限公司 | 一种基于深度学习的实时视频情感分析方法及系统 |
| JP7134357B2 (ja) * | 2018-12-07 | 2022-09-09 | グーグル エルエルシー | １つまたは複数のコンピュータアプリケーションから利用可能なアクションを選択し、ユーザに提供するためのシステムおよび方法 |
| KR20200089957A (ko) * | 2019-01-18 | 2020-07-28 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| US11933974B2 (en) | 2019-02-22 | 2024-03-19 | Semiconductor Energy Laboratory Co., Ltd. | Glasses-type electronic device |
| JP6611972B1 (ja) | 2019-03-05 | 2019-11-27 | 正通 亀井 | アドバイス提示システム |
| JP7090573B2 (ja) * | 2019-03-15 | 2022-06-24 | ヤフー株式会社 | 提供装置、提供方法及び提供プログラム |
| CN110069991A (zh) * | 2019-03-18 | 2019-07-30 | 深圳壹账通智能科技有限公司 | 反馈信息确定方法、装置、电子设备及存储介质 |
| JP7139270B2 (ja) * | 2019-03-18 | 2022-09-20 | ヤフー株式会社 | 推定装置、推定方法及び推定プログラム |
| WO2020222539A1 (en) | 2019-05-02 | 2020-11-05 | Samsung Electronics Co., Ltd. | Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same |
| KR102354964B1 (ko) * | 2019-10-11 | 2022-01-24 | 주식회사 케이티앤지 | 교체 가능한 카트리지를 추천하는 에어로졸 생성 장치 및 에어로졸 생성 시스템 |
| CN110826436A (zh) * | 2019-10-23 | 2020-02-21 | 上海能塔智能科技有限公司 | 情绪数据传输及处理方法、装置、终端设备、云平台 |
| CN111145912B (zh) * | 2019-12-23 | 2023-04-18 | 浙江大学 | 一种基于机器学习的个性化超促排卵方案的预测装置 |
| CN111222044A (zh) * | 2019-12-31 | 2020-06-02 | 深圳Tcl数字技术有限公司 | 基于情绪感知的信息推荐方法、设备及存储介质 |
| US11272314B2 (en) | 2020-01-07 | 2022-03-08 | Kyndryl, Inc. | Geofence selection and modification |
| KR20220006926A (ko) * | 2020-07-09 | 2022-01-18 | 삼성전자주식회사 | 요약 비디오를 생성하는 디바이스 및 방법 |
| RU2768551C1 (ru) * | 2020-10-07 | 2022-03-24 | Самсунг Электроникс Ко., Лтд. | Способ локального генерирования и представления потока обоев и вычислительное устройство, реализующее его |
| KR20220054067A (ko) * | 2020-10-23 | 2022-05-02 | 삼성전자주식회사 | 전자 장치 및 서버를 포함하는 시스템, 및 그 시스템을 이용한 컨텐츠 추천 방법 |
| CN112398952A (zh) * | 2020-12-09 | 2021-02-23 | 英华达（上海）科技有限公司 | 电子资源推送方法、系统、设备及存储介质 |
| CN112667762B (zh) * | 2020-12-25 | 2023-04-25 | 贵州北斗空间信息技术有限公司 | 一种零编程快速构建gis系统的方法 |
| WO2023073956A1 (ja) * | 2021-10-29 | 2023-05-04 | Ｖｉｅ Ｓｔｙｌｅ株式会社 | プログラム、情報処理方法、及び情報処理装置 |
| KR20230081026A (ko) * | 2021-11-30 | 2023-06-07 | 삼성전자주식회사 | 장애인을 위한 시청각 콘텐츠 제공 장치 및 방법 |
| US12020560B2 (en) | 2021-11-30 | 2024-06-25 | Samsung Electronics Co., Ltd. | Device and method of providing audiovisual content for the disabled |
| US11895368B2 (en) * | 2022-03-04 | 2024-02-06 | Humane, Inc. | Generating, storing, and presenting content based on a memory metric |
| GB2617385A (en) * | 2022-04-07 | 2023-10-11 | Sony Interactive Entertainment Inc | Game launching system and method |
| CN115375001A (zh) * | 2022-07-11 | 2022-11-22 | 重庆旅游云信息科技有限公司 | 一种用于景区的游客情绪评估方法及装置 |
| CN117593058A (zh) * | 2023-12-05 | 2024-02-23 | 北京鸿途信达科技股份有限公司 | 基于情绪识别的广告匹配系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005032167A (ja) * | 2003-07-11 | 2005-02-03 | Sony Corp | 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置 |
| JP2016085526A (ja) * | 2014-10-23 | 2016-05-19 | 株式会社デンソー | 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム |
| JP2016136294A (ja) * | 2015-01-23 | 2016-07-28 | セイコーエプソン株式会社 | 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4794846B2 (ja) | 2004-10-27 | 2011-10-19 | キヤノン株式会社 | 推定装置、及び推定方法 |
| US7539533B2 (en) * | 2006-05-16 | 2009-05-26 | Bao Tran | Mesh network monitoring appliance |
| US20080320037A1 (en) * | 2007-05-04 | 2008-12-25 | Macguire Sean Michael | System, method and apparatus for tagging and processing multimedia content with the physical/emotional states of authors and users |
| JP5083033B2 (ja) | 2008-05-23 | 2012-11-28 | 株式会社豊田中央研究所 | 感情推定装置及びプログラム |
| US10482333B1 (en) * | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
| CN102404680B (zh) | 2010-09-09 | 2015-12-09 | 三星电子（中国）研发中心 | 基于位置识别的启动应用的方法以及使用该方法的手持设备 |
| US20120143693A1 (en) | 2010-12-02 | 2012-06-07 | Microsoft Corporation | Targeting Advertisements Based on Emotion |
| US20130159228A1 (en) | 2011-12-16 | 2013-06-20 | Microsoft Corporation | Dynamic user experience adaptation and services provisioning |
| JP5752070B2 (ja) | 2012-02-17 | 2015-07-22 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 関連情報表示システム、関連情報表示制御装置、端末装置、プログラム、及び関連情報表示方法 |
| US20140324749A1 (en) * | 2012-03-21 | 2014-10-30 | Alexander Peters | Emotional intelligence engine for systems |
| US20150127628A1 (en) * | 2012-04-16 | 2015-05-07 | Onepatont Software Limited | Method and System for Display Dynamic & Accessible Actions with Unique Identifiers and Activities |
| CN102929660A (zh) | 2012-10-09 | 2013-02-13 | 广东欧珀移动通信有限公司 | 一种终端设备心情主题的控制方法及其终端设备 |
| US9378655B2 (en) * | 2012-12-03 | 2016-06-28 | Qualcomm Incorporated | Associating user emotion with electronic media |
| CN103093752A (zh) | 2013-01-16 | 2013-05-08 | 华南理工大学 | 一种基于手机语音的情感分析方法及其系统 |
| KR20140094336A (ko) | 2013-01-22 | 2014-07-30 | 삼성전자주식회사 | 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법 |
| US9015737B2 (en) | 2013-04-18 | 2015-04-21 | Microsoft Technology Licensing, Llc | Linked advertisements |
| US9594807B2 (en) * | 2013-08-06 | 2017-03-14 | Intel Corporation | Emotion-related query processing |
| US9264770B2 (en) | 2013-08-30 | 2016-02-16 | Rovi Guides, Inc. | Systems and methods for generating media asset representations based on user emotional responses |
| CN103697900A (zh) * | 2013-12-10 | 2014-04-02 | 郭海锋 | 一种情感车载机器人通过增强现实进行危险预警的方法 |
| US20150178915A1 (en) * | 2013-12-19 | 2015-06-25 | Microsoft Corporation | Tagging Images With Emotional State Information |
| US20150257706A1 (en) | 2014-03-17 | 2015-09-17 | Htc Corporation | Portable electronic device and method for physiological measurement |
| JP6054902B2 (ja) | 2014-03-20 | 2016-12-27 | ヤフー株式会社 | 感情推定装置、感情推定方法、及び感情推定プログラム |
| KR101598601B1 (ko) | 2014-05-14 | 2016-03-02 | 전자부품연구원 | 상황 기반 서비스 지원 기술 |
| CN104063427A (zh) * | 2014-06-06 | 2014-09-24 | 北京搜狗科技发展有限公司 | 一种基于语义理解的表情输入方法和装置 |
| US9805381B2 (en) * | 2014-08-21 | 2017-10-31 | Affectomatics Ltd. | Crowd-based scores for food from measurements of affective response |
| US10540348B2 (en) * | 2014-09-22 | 2020-01-21 | At&T Intellectual Property I, L.P. | Contextual inference of non-verbal expressions |
| CN104409085A (zh) * | 2014-11-24 | 2015-03-11 | 惠州Tcl移动通信有限公司 | 一种车载智能音乐播放器及其音乐播放方法 |
| CN104597825B (zh) | 2014-12-11 | 2020-02-04 | 小米科技有限责任公司 | 信息推送方法和装置 |
| US10592926B2 (en) * | 2014-12-18 | 2020-03-17 | Nbcuniversal Media, Llc | System and method for multimedia content composition |
| US10223459B2 (en) * | 2015-02-11 | 2019-03-05 | Google Llc | Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources |
| CN104699972A (zh) * | 2015-03-18 | 2015-06-10 | 小米科技有限责任公司 | 情绪识别提醒方法及装置 |
| CN104809221B (zh) * | 2015-04-30 | 2018-06-19 | 努比亚技术有限公司 | 音乐信息的推荐方法及装置 |
| CN105045916A (zh) | 2015-08-20 | 2015-11-11 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种手机游戏推荐系统及其推荐方法 |
| CN105791692B (zh) * | 2016-03-14 | 2020-04-07 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、终端及存储介质 |
-
2016
- 2016-09-09 US US15/260,502 patent/US11049147B2/en active Active
-
2017
- 2017-09-05 EP EP17189409.0A patent/EP3293691A1/en active Pending
- 2017-09-05 KR KR1020170113156A patent/KR102013493B1/ko active IP Right Grant
- 2017-09-05 CN CN201710788154.5A patent/CN107807947B/zh active Active
- 2017-09-06 JP JP2017170947A patent/JP6547977B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005032167A (ja) * | 2003-07-11 | 2005-02-03 | Sony Corp | 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置 |
| JP2016085526A (ja) * | 2014-10-23 | 2016-05-19 | 株式会社デンソー | 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム |
| JP2016136294A (ja) * | 2015-01-23 | 2016-07-28 | セイコーエプソン株式会社 | 情報処理システム、サーバーシステム、情報処理装置及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107807947B (zh) | 2022-06-10 |
| CN107807947A (zh) | 2018-03-16 |
| JP6547977B2 (ja) | 2019-07-24 |
| EP3293691A1 (en) | 2018-03-14 |
| JP2018041460A (ja) | 2018-03-15 |
| US11049147B2 (en) | 2021-06-29 |
| US20180075490A1 (en) | 2018-03-15 |
| KR20180028939A (ko) | 2018-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102013493B1 (ko) | 감정 상태 검출에 기초하여 전자 디바이스 상에서 추천을 제공하기 위한 시스템 및 방법 | |
| US11924576B2 (en) | Dynamic activity-based image generation | |
| US11503197B2 (en) | Retrieving and displaying key words from prior conversations | |
| US9936127B2 (en) | Systems and methods for providing attention directing functions in an image capturing device | |
| US10949872B2 (en) | Methods and systems for server generation of interactive advertising with content collections | |
| US10960173B2 (en) | Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis | |
| US10096143B2 (en) | Device and method of managing user information based on image | |
| JP6452443B2 (ja) | データ・ネットワーク・サービスを介した感情共有のためのバイオセンサーの使用 | |
| US20180285641A1 (en) | Electronic device and operation method thereof | |
| US11523159B2 (en) | Generating media content items based on location information | |
| US10346480B2 (en) | Systems, apparatus, and methods for social graph based recommendation | |
| US20230360082A1 (en) | Interactive advertising with media collections | |
| KR20160064337A (ko) | 컨텐트 제공 방법 및 장치 | |
| KR102384311B1 (ko) | 이미지 기반으로 사용자 정보를 관리하는 디바이스 및 그 방법 | |
| US20220318551A1 (en) | Systems, devices, and/or processes for dynamic surface marking | |
| WO2018111660A1 (en) | Wearable device control with inferred insights | |
| US10362002B2 (en) | Methods and systems for journaling and coaching using a wearable device | |
| US20220206924A1 (en) | Accessing third party resources via client application with messaging capability | |
| US20220318550A1 (en) | Systems, devices, and/or processes for dynamic surface marking | |
| US11995904B2 (en) | Systems, devices, and/or processes for dynamic surface marking | |
| US20210124980A1 (en) | Augmented group experience event correlation | |
| WO2022207145A1 (en) | Systems, devices, and/or processes for dynamic surface marking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |