KR20140089454A - 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법 - Google Patents

전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20140089454A
KR20140089454A KR1020130001087A KR20130001087A KR20140089454A KR 20140089454 A KR20140089454 A KR 20140089454A KR 1020130001087 A KR1020130001087 A KR 1020130001087A KR 20130001087 A KR20130001087 A KR 20130001087A KR 20140089454 A KR20140089454 A KR 20140089454A
Authority
KR
South Korea
Prior art keywords
emotion information
content
emotion
information
electronic device
Prior art date
Application number
KR1020130001087A
Other languages
English (en)
Other versions
KR102091848B1 (ko
Inventor
김대성
김소라
김현경
박항규
임승경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130001087A priority Critical patent/KR102091848B1/ko
Priority to US14/147,842 priority patent/US9807298B2/en
Publication of KR20140089454A publication Critical patent/KR20140089454A/ko
Priority to US15/796,120 priority patent/US20180054564A1/en
Application granted granted Critical
Publication of KR102091848B1 publication Critical patent/KR102091848B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00339—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an electronic or magnetic storage medium I/O device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 전자 장치에서 감정 정보를 제공하기 위한 장치 및 방법에 관한 것이다. 이때, 감정 정보를 제공하기 위한 방법은, 적어도 하나의 컨텐츠를 표시하는 과정과, 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정과, 상기 감정 정보를 상기 컨텐츠에 추가하는 과정을 포함한다.

Description

전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법{METHOD AND APPARATUS FOR PROVIDING EMOTION INFORMATION OF USER IN AN ELECTRONIC DEVICE}
본 발명은 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법에 관한 것으로서, 특히, 전자 장치에서 컨텐츠에 사용자의 감정 정보를 추가하기 위한 장치 및 방법에 관한 것이다.
휴대용 전자 장치는 통신 기술의 발전으로 인해 음성 통화 서비스뿐만 아니라 데이터 통신 서비스를 이용한 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다.
휴대용 전자 장치에서 멀티미디어 서비스를 제공함에 따라 휴대용 전자 장치의 사용자는 휴대용 전자 장치를 통해 더욱 다양한 서비스를 필요로 한다. 이에 따라, 휴대용 전자 장치는 사용자의 다양한 요구를 충족시키기 위한 일환으로 컨텐츠에 포함된 감정 정보를 이용한 서비스를 제공할 수 있다. 예를 들어, 휴대용 전자 장치는 사진에 포함된 피사체에 대한 감정을 이용하여 서비스를 제공할 수 있다.
상술한 바와 같이 휴대용 전자 장치에서 컨텐츠에 포함된 감정 정보를 이용하여 서비스를 제공하는 경우, 휴대용 전자 장치는 사진 등과 같은 컨텐츠에 포함된 감정 정보를 추정해야 한다. 이 경우, 휴대용 전자 장치는 사진에 사람 또는 동물 등과 같이 감정을 추정할 수 피사체가 존재하지 않는 경우, 해당 사진에 대한 감정을 추정할 수 없다. 또한, 휴대용 전자 장치는 사진에 포함된 감정만을 추정할 수 있을뿐 사진 촬영 시, 사용자의 감정을 추정할 수 없으므로 감정을 이용한 서비스를 제공하는데 한계가 존재한다. 이에 따라, 휴대용 전자 장치에서 컨텐츠를 사용하는 사용자의 감정을 확인 및 컨텐츠에 추가하기 위한 방법을 필요로 한다.
따라서, 본 발명은 전자 장치에서 컨텐츠를 사용하는 사용자의 감정 정보를 컨텐츠에 추가하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 제 1 카메라를 통해 촬영한 이미지에 제 2 카메라를 통해 인식한 사용자의 감정 정보를 추가하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 제 1 카메라를 통해 촬영한 동영상에 제 2 카메라를 통해 인식한 사용자의 감정 정보를 추가하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 동영상 재생 시, 카메라를 통해 인식한 사용자의 감정 정보를 재생 중인 동영상에 추가하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 전자 책 서비스 제공 시, 카메라를 통해 인식한 사용자의 감정 정보를 전자 책 컨텐츠에 추가하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 카메라를 통해 인식한 사용자의 감정 정보를 구매 가능한 물품 정보에 추가하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 컨텐츠에 추가된 감정 정보를 이용하여 컨텐츠를 검색하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 컨텐츠에 추가된 감정 정보를 이용하여 컨텐츠를 분류하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 전자 장치에서 감정 정보를 제공하기 위한 방법은, 적어도 하나의 컨텐츠를 표시하는 과정과, 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정과, 상기 감정 정보를 상기 컨텐츠에 추가하는 과정을 포함한다.
제 1 견지에서 상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하는 과정과, 상기 적어도 하나의 컨텐츠를 표시부에 표시하는 과정을 더 포함하며, 상기 적어도 하나의 컨텐츠 중 감정 정보를 포함하는 적어도 하나의 컨텐츠에 감정 정보를 추가 표시한다.
제 1 견지에서 상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하는 과정과, 상기 적어도 하나의 컨텐츠를 감정 정보에 따라 그룹핑하여 표시부에 표시한다.
제 1 견지에서 상기 컨텐츠에 감정 정보를 추가한 후, 동영상 컨텐츠를 재생하는 경우, 동영상 컨텐츠의 시간 탐색 바에 적어도 하나의 감정 정보를 표시하는 과정과, 상기 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보가 위치한 시간 정보에 따라 상기 동영상 컨텐츠의 재생 시점을 변경한다.
제 1 견지에서 상기 컨텐츠에 감정 정보를 추가한 후, 전자 책 컨텐츠를 표시하는 경우, 상기 전자 책 컨텐츠에 포함된 적어도 하나의 감정 정보에 대한 위치를 포함하는 구조 창을 표시하는 과정과, 상기 구조 창에 포함된 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보의 위치 정보에 따라 상기 표시부에 표시된 전자 책 컨텐츠의 표시 영역을 변경한다.
본 발명의 제 2 견지에 따르면, 전자 장치는, 적어도 하나의 카메라와, 표시부와, 적어도 하나의 프로세서와, 메모리 및, 상기 메모리에 저장되며, 상기 하나 이상의 프로세서에 의해 구동되는 적어도 하나의 프로그램을 포함하며, 상기 프로그램은, 적어도 하나의 컨텐츠를 상기 표시부에 표시하고, 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하고, 상기 감정 정보를 상기 컨텐츠에 추가한다.
제 2 견지에서 상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하고, 상기 적어도 하나의 컨텐츠를 표시부에 표시하며, 상기 적어도 하나의 컨텐츠 중 감정 정보를 포함하는 적어도 하나의 컨텐츠에 감정 정보를 추가 표시한다.
제 2 견지에서 상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하고, 상기 적어도 하나의 컨텐츠를 감정 정보에 따라 그룹핑하여 상기 표시부에 표시한다.
제 2 견지에서 상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 동영상 컨텐츠를 재생하는 경우, 동영상 컨텐츠의 시간 탐색 바에 적어도 하나의 감정 정보를 상기 표시부에 표시하고, 상기 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보가 위치한 시간 정보에 따라 상기 동영상 컨텐츠의 재생 시점을 변경한다.
제 2 견지에서 상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 전자 책 컨텐츠를 표시하는 경우, 상기 전자 책 컨텐츠에 포함된 적어도 하나의 감정 정보에 대한 위치를 포함하는 구조 창을 상기 표시부에 표시하고, 상기 구조 창에 포함된 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보의 위치 정보에 따라 상기 표시부에 표시된 전자 책 컨텐츠의 표시 영역을 변경한다.
상술한 바와 같이 전자 장치에서 컨텐츠 사용 시, 사용자의 감정을 추정하여 해당 컨텐츠에 추가함으로써, 컨텐츠 사용에 따른 사용자의 감정에 따른 서비스를 제공할 수 있으며, 컨텐츠 사용에 따른 사용자의 감정에 따라 적어도 하나의 컨텐츠를 검색, 분류 및 재생할 수 있는 이점이 있다.
도 1은 본 발명에 따른 전자 장치의 블록 구성을 도시하는 도면,
도 2는 본 발명의 실시 에에 따른 프로세서의 상세 블록 구성을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 컨텐츠에 추가하기 위한 절차를 도시하는 도면,
도 4는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 촬영 이미지에 추가하기 위한 절차를 도시하는 도면,
도 5는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 촬영 이미지에 추가하기 위한 화면 구성을 도시하는 도면,
도 6은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 절차를 도시하는 도면,
도 7은 본 발명의 다른 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 절차를 도시하는 도면,
도 8은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 절차를 도시하는 도면,
도 9는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 화면 구성을 도시하는 도면,
도 10은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 전자책 컨텐츠에 추가하기 위한 절차를 도시하는 도면,
도 11은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 전자책 컨텐츠에 추가하기 위한 화면 구성을 도시하는 도면,
도 12는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 쇼핑 정보에 추가하기 위한 절차를 도시하는 도면,
도 13은 본 발명의 다른 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 쇼핑 정보에 추가하기 위한 절차를 도시하는 도면,
도 14는 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 사진을 표시하기 위한 절차를 도시하는 도면,
도 15는 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 사진을 표시하기 위한 화면 구성을 도시하는 도면,
도 16은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 동영상 정보를 표시하기 위한 절차를 도시하는 도면,
도 17은 본 발명의 다른 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 동영상 정보를 표시하기 위한 절차를 도시하는 도면,
도 18은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 동영상을 표시하기 위한 화면 구성을 도시하는 도면,
도 19는 본 발명의 다른 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 동영상을 표시하기 위한 화면 구성을 도시하는 도면,
도 20은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 전자 책 컨텐츠를 표시하기 위한 절차를 도시하는 도면,
도 21은 본 발명의 다른 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 전자 책 컨텐츠를 표시하기 위한 절차를 도시하는 도면,
도 22는 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 전자 책 컨텐츠를 표시하기 위한 화면 구성을 도시하는 도면, 및
도 23은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 쇼핑 정보에 표시하기 위한 절차를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명은 전자 장치에서 컨텐츠에 사용자의 감정 정보를 추가하기 위한 기술에 대해 설명한다.
이하 설명에서 전자 장치는 카메라를 구비하는 이동통신단말기, PDA(Personal Digital Assistant), PC(Personal Computer), 랩탑(Laptop), 스마트폰(Smart Phone), 넷북(Netbook), 텔레비전(Television), 휴대 인터넷 장치(MID: Mobile Internet Device), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet PC), 네비게이션, 스마트 TV 및 MP3 등을 포함한다.
도 1은 본 발명에 따른 전자 장치의 블록 구성을 도시하고 있다.
도 1에 도시된 바와 같이 전자 장치(100)는 메모리(110), 프로세서 유닛(processor unit)(120), 오디오 처리부(130), 제 1 카메라부(140), 제 2 카메라부(150), 입출력 제어부(160), 표시부(170) 및 입력 장치(180)를 포함한다. 여기서, 메모리(110)는 다수 개 존재할 수도 있다.
각 구성요소에 대해 살펴보면 다음과 같다.
메모리(110)는 전자장치(100)의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부(111) 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 저장부(112)를 포함한다.
데이터 저장부(112)는 컨텐츠에 대한 사용자의 감정 정보를 저장한다. 예를 들어, 데이터 저장부(112)는 감정 추출 프로그램(114)을 통해 추출한 사용자 감정 정보에 대한 감정 태그가 추가된 컨텐츠를 저장할 수 있다. 다른 예를 들어, 데이터 저장부(112)는 적어도 하나의 컨텐츠 및 각 컨텐츠의 감정 정보를 포함하는 메타 데이터를 저장할 수도 있다. 즉, 데이터 저장부(112)는 적어도 하나의 컨텐츠 및 각 컨텐츠의 감정 정보를 포함하는 감정 정보 테이블을 저장할 수도 있다.
프로그램 저장부(111)는 그래픽 사용자 인터페이스(GUI: Graphic User Interface) 프로그램(113), 감정 추출 프로그램(114), 파일 관리 프로그램(115) 및 적어도 하나의 응용프로그램(116)을 포함한다. 여기서, 프로그램 저장부(111)에 포함되는 프로그램은 명령어들의 집합으로 명령어 세트(instruction set)로 표현할 수도 있다.
GUI 프로그램(113)은 표시부(170) 상에 그래픽으로 사용자 인터페이스를 제공하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, GUI 프로그램(113)은 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시부(170)에 표시하는 명령어를 포함한다. 만일, 감정 표시 메뉴가 설정된 경우, GUI 프로그램(113)은 표시부(170)에 표시된 컨텐츠에 대한 사용자의 감정 정보를 표시하는 명령어를 포함할 수도 있다. 예를 들어, 동영상 재생 시 감정 표시 메뉴가 설정된 경우, GUI 프로그램(113)은 도 18의 (b) 또는 (c)에 도시된 바와 같이 동영상에 대한 시간 탐색 바에 감정 정보(1803, 1805)를 표시하는 명령어를 포함한다. 다른 예를 들어, 전자 책 서비스 제공 시 감정 표시 메뉴가 설정된 경우, GUI 프로그램(113)은 도 22의 (b)에 도시된 바와 같이 표시부(170)에 표시된 전자 책 컨텐츠에 감정 정보를 추가 표시하는 명령어를 포함할 수도 있다. 또 다른 예를 들어, 쇼핑 서비스 제공 시 감정 표시 메뉴가 설정된 경우, GUI 프로그램(113)은 물품 정보에 감정 정보를 추가 표시하는 명령어를 포함할 수도 있다.
감정 추출 프로그램(114)은 사용자의 감정 정보를 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, 감정 추출 프로그램(114)은 제 1 카메라부(140) 또는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 감정 추출 프로그램(114)은 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 감정 추출 프로그램(114)은 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 컨텐츠에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
이때, 감정 추출 프로그램(114)은 사용자 이미지를 획득하기 위해 제 1 카메라부(140) 또는 제 2 카메라부(150)를 선택적으로 활성화시킬 수 있다. 예를 들어, 제 1 카메라부(140)를 통해 사진을 촬영하는 경우, 감정 추출 프로그램(114)은 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출 프로그램(114)은 제 1 카메라부(140)를 통해 이미지를 촬영하는 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출한다.
다른 예를 들어, 제 1 카메라부(140)를 통해 동영상을 촬영하는 경우, 감정 추출 프로그램(114)은 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출 프로그램(114)은 제 1 카메라부(140)를 동영상을 촬영하는 동안 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수 있다.
또 다른 예를 들어, 동영상 재생 응용프로그램이 구동된 경우, 감정 추출 프로그램(114)은 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출 프로그램(114)은 동영상 재생 중 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
또 다른 예를 들어, 전자 책 서비스를 제공하는 경우, 감정 추출 프로그램(114)은 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출 프로그램(114)은 전자 책 서비스를 제공하는 동안 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
또 다른 예를 들어, 쇼핑 서비스를 제공하는 경우, 감정 추출 프로그램(114)은 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출 프로그램(114)은 구매 가능한 물품 정보를 확인하는 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
또 다른 예를 들어, 쇼핑 서비스를 제공하는 경우, 감정 추출 프로그램(114)은 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출 프로그램(114)은 물품 구매 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
파일 관리 프로그램(115)은 데이터 저장부(112)에 저장된 컨텐츠에 대한 감정 정보를 이용하여 각 컨텐츠를 검색, 분류 및 재생하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, 파일 관리 프로그램(115)은 도 15의 (b) 또는 (c)에 도시된 바와 같이 데이터 저장부(112)에 저장된 사진 컨텐츠를 감정 정보에 따라 분류하여 표시하도록 제어할 수 있다. 다른 예를 들어, 파일 관리 프로그램(115)은 도 19의 (a)에 도시된 바와 같이 동영상에 포함된 감정 정보에 따라 동영상의 섬네일을 표시하도록 제어할 수도 있다. 또 다른 예를 들어, 파일 관리 프로그램(115)은 도 22의 (a)에 도시된 바와 같이 전자 책 컨텐츠에 포함된 감정 정보를 구조창(2201)을 이용하여 분류하여 표시하도록 제어할 수도 있다.
응용프로그램(116)은 전자장치(100)에 설치된 적어도 하나의 응용 프로그램에 대한 소프트웨어 구성 요소를 포함한다.
프로세서 유닛(120)은 메모리 인터페이스(121), 적어도 하나의 프로세서(processor)(122) 및 주변 장치 인터페이스(123)를 포함한다. 여기서, 프로세서 유닛(120)에 포함되는 메모리 인터페이스(121), 적어도 하나의 프로세서(122) 및 주변 인터페이스(123)는 적어도 하나의 집적화된 회로로 집적화되거나 별개의 구성 요소로 구현될 수 있다.
메모리 인터페이스(121)는 프로세서(122) 또는 주변 장치 인터페이스(123)와 같은 구성요소의 메모리(110) 접근을 제어한다.
주변 장치 인터페이스(123)는 전자장치(100)의 입출력 주변 장치와 프로세서(122) 및 메모리 인터페이스(121)의 연결을 제어한다.
프로세서(122)는 적어도 하나의 소프트웨어 프로그램을 사용하여 전자장치(100)가 다양한 멀티미디어 서비스를 제공하도록 제어한다. 이때, 프로세서(122)는 메모리(110)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공한다.
오디오 처리부(130)는 스피커(131) 및 마이크로폰(132)을 통해 사용자와 전자 장치(100) 사이의 오디오 인터페이스를 제공한다.
제 1 카메라부(140)는 전자 장치(100)의 후면에 위치하여 피사체에 대한 촬영을 통해 프로세서 유닛(120)으로 수집 영상을 제공하고, 제 2 카메라부(150)는 전자 장치(100)의 전면에 위치하여 피사체에 대한 촬영을 통해 프로세서 유닛(120)으로 수집 영상을 제공한다. 예를 들어, 제 1 카메라부(140)와 제 2 카메라부(150)는 광학적 신호를 전기적 신호로 변환하는 카메라 센서, 아날로그 영상 신호를 디지털 영상 신호로 변환하는 영상처리장치(Image Signal Processor) 및 영상처리장치에서 출력되는 영상 신호를 표시부(170)에 표시할 수 있도록 영상 처리하는 신호처리장치(Digital Signal Processor) 등을 포함할 수 있다. 여기서, 카메라 센서는 CCD(Chargecoupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 사용될 수 있고, 신호처리장치는 DSP(Digital Signal Processor)로 구현될 수 있다.
입출력 제어부(160)는 표시부(170) 및 입력 장치(180) 등의 입출력 장치와 주변 장치 인터페이스(123) 사이에 인터페이스를 제공한다.
표시부(170)는 전자장치(100)의 상태 정보, 사용자가 입력하는 문자, 동화상(moving picture) 및 정화상(still picture) 등을 표시한다. 예를 들어, 표시부(160)는 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시한다. 만일, 감정 표시 메뉴가 설정된 경우, 표시부(170)는 GUI 프로그램(113)의 제어에 따라 표시부(170)에 표시된 컨텐츠에 대한 사용자의 감정 정보를 추가 표시할 수도 있다. 예를 들어, 동영상 재생 시 감정 표시 메뉴가 설정된 경우, 표시부(170)는 도 18의 (b) 또는 (c)에 도시된 바와 같이 동영상에 대한 시간 탐색 바에 감정 정보(1803, 1805)를 표시할 수 있다. 다른 예를 들어, 전자 책 서비스 제공 시 감정 표시 메뉴가 설정된 경우, 표시부(170)는 도 22의 (b)에 도시된 바와 같이 표시부(170)에 표시된 전자 책 컨텐츠에 감정 정보를 추가 표시할 수도 있다. 또 다른 예를 들어, 쇼핑 서비스 제공 시 감정 표시 메뉴가 설정된 경우, 표시부(170)는 물품 정보에 감정 정보를 추가 표시할 수도 있다.
입력 장치(180)는 사용자의 선택에 의해 발생하는 입력 데이터를 입출력 제어부(160)를 통해 프로세서 유닛(120)으로 제공한다. 이때, 입력 장치(180)는 적어도 하나의 하드웨어 버튼을 포함하는 키패드 및 터치 정보를 감지하는 터치 패드 등을 포함한다. 예를 들어, 입력 장치(180)는 터치 패드를 통해 감지한 터치 정보를 입출력 제어부(160)를 통해 프로세서(122)로 제공한다.
추가적으로, 전자 장치(100)는 음성 통신 및 데이터 통신을 위한 통신 기능을 수행하는 통신 시스템을 포함할 수도 있다. 이때, 통신 시스템은 서로 다른 통신 네트워크를 지원하는 다수 개의 통신 서브 모듈들로 구분될 수 있다. 예를 들어, 통신 네트워크는 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, 무선랜, Bluetooth 네트워크 및 NFC(Near Field Communication) 등을 포함한다.
도 2는 본 발명의 실시 예에 따른 프로세서의 상세 블록 구성을 도시하고 있다.
도 2에 도시된 바와 같이 프로세서(122)는 응용프로그램 구동부(200), 감정 추출부(210), 파일 관리부(220) 및 표시 제어부(230)를 포함한다.
응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 적어도 하나의 응용프로그램(116)을 실행하여 해당 응용프로그램에 따른 서비스를 제공한다. 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 동영상을 재생할 수 있다. 다른 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 제 1 카메라부(140) 또는 제 2 카메라부(150)를 이용하여 사진 또는 동영상을 촬영할 수도 있다. 또 다른 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 전자 책 서비스를 제공할 수도 있다. 또 다른 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 쇼핑 서비스를 제공할 수도 있다.
감정 추출부(210)는 프로그램 저장부(111)에 저장된 감정 추출 프로그램(114)을 실행하여 사용자의 감정 정보를 추출한다. 예를 들어, 감정 추출부(210)는 제 1 카메라부(140) 또는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 감정 추출부(210)는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 감정 추출 프로그램(114)은 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 컨텐츠에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
이때, 감정 추출부(210)는 사용자 이미지를 획득하기 위한 제 1 카메라부(140) 또는 제 2 카메라부(150)를 선택적으로 활성화시킬 수 있다. 예를 들어, 제 1 카메라부(140)를 통해 사진을 촬영하는 경우, 감정 추출부(210)는 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출부(210)는 제 1 카메라부(140)를 통해 이미지를 촬영하는 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출한다.
다른 예를 들어, 제 1 카메라부(140)를 통해 동영상을 촬영하는 경우, 감정 추출부(210)는 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출부(210)는 제 1 카메라부(140)를 동영상을 촬영하는 동안 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수 있다.
또 다른 예를 들어, 동영상 재생 응용프로그램이 구동된 경우, 감정 추출부(210)는 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출부(210)는 동영상 재생 중 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
또 다른 예를 들어, 전자 책 서비스를 제공하는 경우, 감정 추출부(210)는 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출부(210)는 전자 책 서비스를 제공하는 동안 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
또 다른 예를 들어, 쇼핑 서비스를 제공하는 경우, 감정 추출부(210)는 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출부(210)는 구매 가능한 물품 정보를 확인하는 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
또 다른 예를 들어, 쇼핑 서비스를 제공하는 경우, 감정 추출부(210)는 제 2 카메라부(150)를 활성화한다. 이후, 감정 추출부(210)는 물품 구매 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지를 이용하여 사용자의 감정 정보를 추출할 수도 있다.
파일 관리부(220)는 프로그램 저장부(111)에 저장된 파일 관리 프로그램(115)을 실행하여 컨텐츠의 감정 정보에 따라 각 컨텐츠를 관리한다. 구체적으로, 파일 관리부(220)는 데이터 저장부(112)에 저장된 컨텐츠에 대한 감정 정보를 이용하여 각 컨텐츠를 검색, 분류 및 재생할 수 있다. 예를 들어, 파일 관리부(220)는 도 15의 (b) 또는 (c)에 도시된 바와 같이 데이터 저장부(112)에 저장된 사진 컨텐츠를 감정 정보에 따라 분류하여 표시하도록 제어할 수 있다. 다른 예를 들어, 파일 관리부(220)는 도 19의 (a)에 도시된 바와 같이 동영상에 포함된 감정 정보에 따라 동영상의 섬네일을 표시하도록 제어할 수도 있다. 또 다른 예를 들어, 파일 관리부(220)는 도 22의 (a)에 도시된 바와 같이 전자 책 컨텐츠에 포함된 감정 정보를 구조창(2201)을 이용하여 분류하여 표시하도록 제어할 수도 있다.
표시 제어부(230)는 프로그램 저장부(111)에 저장된 GUI 프로그램(113)을 실행하여 표시부(170) 상에 그래픽으로 사용자 인터페이스를 표시하도록 제어한다. 예를 들어, 표시 제어부(230)는 응용프로그램 구동부(200)에서 구동되는 응용프로그램 정보를 표시부(170)에 표시하도록 제어한다. 만일, 감정 표시 메뉴가 설정된 경우, 표시 제어부(230)는 표시부(170)에 표시된 컨텐츠에 대한 사용자의 감정 정보를 표시하는 명령어를 포함할 수도 있다. 예를 들어, 동영상 재생 시 감정 표시 메뉴가 설정된 경우, 표시 제어부(230)는 도 18의 (b) 또는 (c)에 도시된 바와 같이 동영상에 대한 시간 탐색 바에 감정 정보(1803, 1805)를 표시할 수 있다. 다른 예를 들어, 전자 책 서비스 제공 시 감정 표시 메뉴가 설정된 경우, 표시 제어부(230)는 도 22의 (b)에 도시된 바와 같이 표시부(170)에 표시된 전자 책 컨텐츠에 감정 정보를 추가 표시할 수도 있다. 또 다른 예를 들어, 쇼핑 서비스 제공 시 감정 표시 메뉴가 설정된 경우, 표시 제어부(230)는 물품 정보에 감정 정보를 추가 표시할 수도 있다.
상술한 실시 예에서 전자 장치(100)는 감정 추출부(210)와 파일 관리부(220)를 포함하는 프로세서(122)를 이용하여 사용자의 감정 정보를 컨텐츠에 추가하고, 사용자의 감정정보에 따라 컨텐츠를 관리한다.
다른 실시 예에서 전자 장치(100)는 사용자의 감정 정보를 컨텐츠에 추가하고, 사용자의 감정정보에 따라 컨텐츠를 관리하는 별도의 제어 모듈을 포함할 수도 있다.
도 3은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 컨텐츠에 추가하기 위한 절차를 도시하고 있다.
도 3을 참조하면 전자 장치는 301단계에서 제 1 응용프로그램을 구동하여 서비스를 제공한다. 예를 들어, 전자 장치는 카메라 응용프로그램을 구동하여 제 1 카메라부(140) 또는 제 2 카메라부(150)를 이용한 사진 촬영 또는 동영상 촬영 서비스를 제공한다. 다른 예를 들어, 전자 장치는 동영상 재생 응용프로그램을 구동하여 동영상을 재생할 수 있다. 또 다른 예를 들어, 전자 장치는 전자 책 응용프로그램을 구동하여 전자 책 서비스를 제공할 수도 있다. 또 다른 예를 들어, 전자 장치는 모바일 쇼핑 응용프로그램을 구동하여 모바일 쇼핑 서비스를 제공할 수도 있다.
이후, 전자 장치는 303단계로 진행하여 적어도 하나의 카메라를 통해 제공받은 사용자 이미지를 통해 제 1 응용프로그램에 따른 서비스를 사용하는 사용자의 감정 정보를 추출한다. 예를 들어, 제 1 카메라부(140)를 통해 사진 촬영 또는 동영상 촬영 서비스를 제공하는 경우, 전자 장치는 제 2 카메라부(150)를 활성화하여 획득한 사용자 이미지에서 감정 정보를 추출한다. 다른 예를 들어, 동영상을 재생하는 경우, 전자 장치는 제 2 카메라부(150)를 활성화하여 획득한 사용자 이미지에서 감정 정보를 추출할 수 있다. 또 다른 예를 들어, 전자 책 서비스를 제공하는 경우, 전자 장치는 제 2 카메라부(150)를 활성화하여 획득한 사용자 이미지에서 감정 정보를 추출할 수도 있다. 또 다른 예를 들어, 쇼핑 서비스를 제공하는 경우, 전자 장치는 제 2 카메라부(150)를 활성화하여 획득한 사용자 이미지에서 감정 정보를 추출할 수도 있다.
사용자의 감정 정보를 추출한 후, 전자 장치는 305단계로 진행하여 제 1 응용프로그램에 따른 컨텐츠에 사용자의 감정 정보를 추가하여 저장한다. 예를 들어, 전자 장치는 제 1 응용프로그램에 따른 컨텐츠에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 제 1 응용프로그램에 따른 컨텐츠에 대한 사용자의 감정 정보를 포함하는 메타 데이터를 생성하여 저장할 수도 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
도 4는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 촬영 이미지에 추가하기 위한 절차를 도시하고 있다.
도 4를 참조하면 전자 장치는 401단계에서 제 1 카메라부(140)를 이용한 이미지 촬영 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 제 1 카메라부(140)를 이용한 이미지 촬영 이벤트가 발생하는지 확인한다.
제 1 카메라부(140)를 이용한 촬영 서비스를 제공하는 경우, 전자 장치는 403단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 이때, 전자 장치는 도 5의 (a) 및 (b)에 도시된 바와 같이 감정 표시 메뉴가 설정된 경우, 피사체 촬영시 사용자의 이미지를 획득하기 위해 피사체를 촬영하는 제 1 카메라부(140)와 반대 방향으로 위치한 제 2 카메라부(150)를 활성화한다. 예를 들어, 전자 장치는 제 1 카메라부(140)를 이용한 촬영 서비스를 제공하는 경우, 도 5의 (a)에 도시된 바와 같은 제 1 카메라부(140)를 통해 획득한 프리뷰 화면을 표시부(170)에 표시한다. 프리뷰 화면에 포함된 설정 아이콘(501)에 대한 선택이 감지된 경우, 전자 장치는 설정 메뉴(503)를 표시한다. 이후, 도 5의 (b)에 도시된 바와 같이 설정 메뉴(503)에서 감정 표시 메뉴(sense tag)(511)의 선택이 감지된 경우, 전자 장치는 감정 표시 메뉴가 설정된 것으로 인식한다. 이 경우, 전자 장치는 도 5의 (c)에 도시된 바와 같이 제 1 카메라부(140)를 통해 획득한 프리뷰 화면에 제 2 카메라부(150)를 이용하여 추출한 사용자의 감정 정보(521)를 표시할 수 있다.
이후, 전자 장치는 405단계로 진행하여 이미지 촬영 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 도 5의 (c)에 도시된 바와 같이 촬영 아이콘(523)의 선택이 감지되는지 확인한다.
이미지 촬영 이벤트가 발생한 경우, 전자 장치는 407단계로 진행하여 제 1 카메라부(140)를 통해 촬영 이미지를 획득한다.
또한, 전자 장치는 409단계로 진행하여 이미지 촬영 이벤트가 발생한 시점에 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보를 추출한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 촬영 이미지에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
촬영 이미지 및 사용자의 감정 정보를 추출한 후, 전자 장치는 411단계로 진행하여 촬영 이미지 획득 시 추출한 사용자의 감정 정보를 촬영 이미지에 추가하여 저장한다. 예를 들어, 전자 장치는 촬영 이미지에 사용자의 감정 정보에 따른 감정 태그를 추가하거나, 촬영 이미지에 대한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 촬영 이미지에 대한 사용자의 감정 정보를 저장할 수 있다. 이때, 전자 장치는 도 5의 (d)에 도시된 바와 같이 촬영 이미지를 표시부(170)에 표시한다. 이때, 전자 장치는 촬영 이미지 획득 시 사용자의 감정 정보(531)를 표시부(170)의 일부 영역에 표시할 수 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치의 제 1 카메라부(140)를 이용한 촬영 서비스를 제공하는 경우, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 이용하여 사용자의 감정 정보를 추출한다.
다른 실시 예에서 전자 장치의 제 2 카메라부(150)를 이용한 촬영 서비스를 제공하는 경우, 전자 장치는 제 1 카메라부(140)를 통해 획득한 사용자 이미지에서 이용하여 사용자의 감정 정보를 추출할 수도 있다.
도 6은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 절차를 도시하고 있다.
도 6을 참조하면 전자 장치는 601단계에서 제 1 카메라부(140)를 이용한 동영상 촬영 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 제 1 카메라부(140)를 이용한 동영상 촬영 이벤트가 발생하는지 확인한다.
제 1 카메라부(140)를 이용한 동영상 촬영 서비스를 제공하는 경우, 전자 장치는 603단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 즉, 전자 장치는 감정 표시 메뉴가 설정된 경우, 동영상 촬영시 사용자의 이미지를 획득하기 위해 동영상을 촬영하는 제 1 카메라부(140)와 반대 방향으로 위치한 제 2 카메라부(150)를 활성화한다. 예를 들어, 전자 장치는 제 1 카메라부(140)를 이용한 동영상 촬영 서비스를 제공하는 경우, 제 1 카메라부(140)를 통해 획득한 프리뷰 화면을 표시부(170)에 표시한다. 만일, 프리뷰 화면에 포함된 설정 아이콘에 대한 선택이 감지된 경우, 전자 장치는 설정 메뉴를 표시한다. 이후, 설정 메뉴에서 감정 표시 메뉴의 선택이 감지된 경우, 전자 장치는 감정 표시 메뉴가 설정된 것으로 인식한다.
이후, 전자 장치는 605단계로 진행하여 동영상 촬영 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 프리뷰 화면에 표시된 촬영 아이콘의 선택이 감지되는지 확인한다.
동영상 촬영 이벤트가 발생한 경우, 전자 장치는 607단계로 진행하여 제 1 카메라부(140)를 통해 동영상을 획득한다.
이후, 전자 장치는 613단계로 진행하여 동영상 촬영이 종료되는지 확인한다.
또한, 동영상 촬영 이벤트가 발생한 경우, 전자 장치는 609단계로 진행하여 동영상이 촬영되는 동안 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 동영상의 촬영 시점의 프레임에 사용자의 감정을 추출한 것으로 인식할 수 있다.
사용자의 감정 정보가 추출되지 않은 경우, 전자 장치는 613단계에서 동영상 촬영이 종료되는지 확인한다.
한편, 사용자의 감정 정보가 추출된 경우, 전자 장치는 611단계로 진행하여 동영상 촬영 중 획득한 사용자의 감정 정보를 동영상에 추가한다. 이때, 전자 장치는 사용자의 감정 정보를 추출한 시점이 표시되도록 사용자의 감정 정보를 동영상에 추가한다. 예를 들어, 전자 장치는 도 9의 (a)에 도시된 바와 같이 동영상의 사용자의 감정 정보를 추출한 시점의 시간 탐색 바에 사용자의 감정 정보를 추가한다. 이후, 사용자의 감정 정보를 다시 추출한 경우, 전자 장치는 도 9의 (b) 또는 (c)에 도시된 바와 같이 동영상의 사용자의 감정 정보를 추출한 시점의 시간 탐색 바에 사용자의 감정 정보를 추가할 수 있다. 이때, 전자 장치는 도 9의 (b) 및 (c)에 도시된 바와 같이 이전에 추가한 사용자의 감정 정보를 시간 탐색 바에 지속적으로 표시할 수 있다.
이후, 전자 장치는 613단계로 진행하여 동영상 촬영이 종료되는지 확인한다.
동영상 촬영이 종료되지 않은 경우, 전자 장치는 607단계로 진행하여 제 1 카메라부(140)를 통해 동영상을 획득한다.
또한, 동영상 촬영이 종료되지 않은 경우, 전자 장치는 609단계로 진행하여 동영상이 촬영되는 동안 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다.
한편, 동영상 촬영이 종료된 경우, 전자 장치는 615단계로 진행하여 감정 정보가 추가된 동영상을 저장한다. 예를 들어, 전자 장치는 동영상을 구성하는 프레임들 중 사용자의 감정 정보를 추출한 시점의 프레임에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 동영상 촬영 중 획득한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 동영상과 함께 저장할 수 있다. 여기서, 사용자의 감정 정보를 포함하는 메타 데이터는, 동영상 촬영 중 사용자의 감정 정보를 추출한 시점 정보를 함께 포함한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사용자의 감정 정보를 추출한 시점마다 동영상의 시간 탐색 바에 사용자의 감정 정보를 추가한다.
다른 실시 예에서 전자 장치는 사용자의 감정 정보가 변경된 시점에 동영상의 시간 탐색 바에 사용자의 감정 정보를 추가할 수도 있다. 예를 들어, 동영상의 제 1 시점에서 사용자의 행복 감정을 추출한 후, 제 2 시점에서도 사용자의 행복 감정을 추출한 경우, 전자 장치는 동영상의 시간 탐색 바에 제 1 시점의 사용자 감정 정보만을 추가할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 절차를 도시하고 있다.
도 7을 참조하면 전자 장치는 701단계에서 제 1 카메라부(140)를 이용한 동영상 촬영 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 제 1 카메라부(140)를 이용한 동영상 촬영 이벤트가 발생하는지 확인한다.
제 1 카메라부(140)를 이용한 동영상 촬영 서비스를 제공하는 경우, 전자 장치는 703단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 즉, 전자 장치는 감정 표시 메뉴가 설정된 경우, 동영상 촬영시 사용자의 이미지를 획득하기 위해 동영상을 촬영하는 제 1 카메라부(140)와 반대 방향으로 위치한 제 2 카메라부(150)를 활성화한다.
이후, 전자 장치는 705단계로 진행하여 동영상 촬영 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 프리뷰 화면에 표시된 촬영 아이콘의 선택이 감지되는지 확인한다.
동영상 촬영 이벤트가 발생한 경우, 전자 장치는 707단계로 진행하여 제 1 카메라부(140)를 통해 동영상을 획득한다.
이후, 전자 장치는 715단계로 진행하여 동영상 촬영이 종료되는지 확인한다.
또한, 동영상 촬영 이벤트가 발생한 경우, 전자 장치는 709단계로 진행하여 감정 추출 주기가 도래하는지 확인한다. 여기서, 감정 추출 주기는 사용자의 입력 정보에 따라 변경될 수도 있다.
감정 추출 주기가 도래한 경우, 전자 장치는 711단계로 진행하여 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 동영상의 촬영 시점의 프레임에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
사용자의 감정 정보가 추출되지 않은 경우, 전자 장치는 715단계로 진행하여 동영상 촬영이 종료되는지 확인한다.
한편, 사용자의 감정 정보가 추출된 경우, 전자 장치는 713단계로 진행하여 사용자의 감정 정보를 동영상에 추가한다. 이때, 전자 장치는 사용자의 감정 정보를 추출한 시점이 표시되도록 사용자의 감정 정보를 동영상에 추가한다. 예를 들어, 전자 장치는 도 9의 (a)에 도시된 바와 같이 동영상의 사용자의 감정 정보를 추출한 시점의 시간 탐색 바에 사용자의 감정 정보를 추가한다. 이후, 사용자의 감정 정보를 다시 추출한 경우, 전자 장치는 도 9의 (b) 또는 (c)에 도시된 바와 같이 동영상의 사용자의 감정 정보를 추출한 시점의 시간 탐색 바에 사용자의 감정 정보를 추가할 수 있다. 이때, 전자 장치는 도 9의 (b) 및 (c)에 도시된 바와 같이 이전에 추가한 사용자의 감정 정보를 시간 탐색 바에 지속적으로 표시할 수 있다.
이후, 전자 장치는 715단계로 진행하여 동영상 촬영이 종료되는지 확인한다.
동영상 촬영이 종료되지 않은 경우, 전자 장치는 707단계로 진행하여 제 1 카메라부(140)를 통해 동영상을 획득한다.
또한, 동영상 촬영이 종료되지 않은 경우, 전자 장치는 709단계로 진행하여 감정 추출 주기가 도래하는지 확인한다.
한편, 동영상 촬영이 종료된 경우, 전자 장치는 717단계로 진행하여 감정 정보가 추가된 동영상을 저장한다. 예를 들어, 전자 장치는 동영상을 구성하는 프레임들 중 사용자의 감정 정보를 추출한 시점의 프레임에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 동영상 촬영 중 획득한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 동영상과 함께 저장할 수 있다. 여기서, 사용자의 감정 정보를 포함하는 메타 데이터는, 동영상 촬영 중 사용자의 감정 정보를 추출한 시점 정보를 함께 포함한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사용자의 감정 정보를 추출한 시점마다 동영상의 시간 탐색 바에 사용자의 감정 정보를 추가한다.
다른 실시 예에서 전자 장치는 사용자의 감정 정보가 변경된 시점에 동영상의 시간 탐색 바에 사용자의 감정 정보를 추가할 수도 있다. 예를 들어, 동영상의 제 1 감정 추출 주기에 사용자의 행복 감정을 추출한 후, 제 2 감정 추출 주기에도 사용자의 행복 감정을 추출한 경우, 전자 장치는 동영상의 시간 탐색 바에 제 1 감정 추출 주기에 추출한 사용자 감정 정보만을 추가할 수 있다.
상술한 실시 예에서 전자 장치의 제 1 카메라부(140)를 이용한 동영상 촬영 서비스를 제공하는 경우, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 이용하여 사용자의 감정 정보를 추출한다.
다른 실시 예에서 전자 장치의 제 2 카메라부(150)를 이용한 동영상 촬영 서비스를 제공하는 경우, 전자 장치는 제 1 카메라부(140)를 통해 획득한 사용자 이미지에서 이용하여 사용자의 감정 정보를 추출할 수도 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 동영상에 추가하기 위한 절차를 도시하고 있다.
도 8을 참조하면 전자 장치는 801단계에서 동영상 재생 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 동영상 파일 중 어느 하나의 동영상 파일이 선택되는지 확인한다.
동영상 재생 서비스를 제공하는 경우, 전자 장치는 803단계로 진행하여 동영상 재생 서비스를 위해 선택한 동영상을 재생한다. 즉, 전자 장치는 재생되는 동영상을 표시부(170)에 표시한다.
이후, 전자 장치는 811단계로 진행하여 동영상 재생이 종료되는지 확인한다.
또한, 동영상 재생 서비스를 제공하는 경우, 전자 장치는 805단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 즉, 전자 장치는 감정 표시 메뉴가 설정된 경우, 동영상 재생 중 사용자의 이미지를 획득하기 위해 재생 중인 동영상을 표시하는 표시부(170)와 동일한 방향에 위치한 제 2 카메라부(150)를 활성화한다.
이후, 전자 장치는 807단계로 진행하여 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 동영상의 촬영 시점의 프레임에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
사용자의 감정 정보가 추출되지 않은 경우, 전자 장치는 811단계에서 동영상 재생이 종료되는지 확인한다.
한편, 사용자의 감정 정보가 추출된 경우, 전자 장치는 809단계로 진행하여 사용자의 감정 정보를 동영상에 추가한다. 이때, 전자 장치는 사용자의 감정 정보를 추출한 시점이 표시되도록 사용자의 감정 정보를 동영상에 추가한다. 예를 들어, 전자 장치는 도 9의 (a)에 도시된 바와 같이 동영상의 사용자의 감정 정보를 추출한 시점의 시간 탐색 바에 사용자의 감정 정보를 추가한다. 이후, 사용자의 감정 정보를 다시 추출한 경우, 전자 장치는 도 9의 (b) 또는 (c)에 도시된 바와 같이 동영상의 사용자의 감정 정보를 추출한 시점의 시간 탐색 바에 사용자의 감정 정보를 추가할 수 있다. 이때, 전자 장치는 도 9의 (b) 및 (c)에 도시된 바와 같이 이전에 추가한 사용자의 감정 정보를 시간 탐색 바에 지속적으로 표시할 수 있다.
이후, 전자 장치는 811단계로 진행하여 동영상 재생이 종료되는지 확인한다.
동영상 재생이 종료되지 않은 경우, 전자 장치는 803단계로 진행하여 동영상 재생 서비스를 위해 선택한 동영상을 재생한다.
또한, 동영상 재생이 종료되지 않은 경우, 전자 장치는 807단계로 진행하여 사용자의 감정 정보가 추출되는지 확인한다.
한편, 동영상 재생이 종료된 경우, 전자 장치는 813단계로 진행하여 감정 정보가 추가된 동영상을 저장한다. 예를 들어, 전자 장치는 동영상을 구성하는 프레임들 중 사용자의 감정 정보를 추출한 시점의 프레임에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 동영상 촬영 중 획득한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 동영상과 함께 저장할 수 있다. 여기서, 사용자의 감정 정보를 포함하는 메타 데이터는, 동영상 촬영 중 사용자의 감정 정보를 추출한 시점 정보를 함께 포함한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사용자의 감정 정보를 추출한 시점마다 동영상의 시간 탐색 바에 사용자의 감정 정보를 추가한다.
다른 실시 예에서 전자 장치는 사용자의 감정 정보가 변경된 시점에 동영상의 시간 탐색 바에 사용자의 감정 정보를 추가할 수도 있다. 예를 들어, 동영상의 제 1 시점에 사용자의 행복 감정을 추출한 후, 제 2 시점에도 사용자의 행복 감정을 추출한 경우, 전자 장치는 동영상의 시간 탐색 바에 제 1 시점에 추출한 사용자 감정 정보만을 추가할 수 있다.
도 10은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 전자책 컨텐츠에 추가하기 위한 절차를 도시하고 있다.
도 10을 참조하면 전자 장치는 1001단계에서 전자 책 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 전자 책 파일 중 어느 하나의 전자 책 파일이 선택되는지 확인한다.
전자 책 서비스를 제공하는 경우, 전자 장치는 1003단계로 진행하여 전자 책 서비스를 위해 선택한 전자 책 컨텐츠를 표시부(170)에 표시한다.
이후, 전자 장치는 1011단계로 진행하여 전자 책 서비스가 종료되는지 확인한다.
또한, 전자 책 서비스를 제공하는 경우, 전자 장치는 1005단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 즉, 전자 장치는 감정 표시 메뉴가 설정된 경우, 전자 책 컨텐츠 표시 중 사용자의 이미지를 획득하기 위해 전자책 컨텐츠를 표시하는 표시부(170)와 동일한 방향에 위치한 제 2 카메라부(150)를 활성화한다.
이후, 전자 장치는 1007단계로 진행하여 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 전자 책 컨텐츠의 해당 위치에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
사용자의 감정 정보가 추출되지 않은 경우, 전자 장치는 1011단계에서 전자 책 서비스가 종료되는지 확인한다.
한편, 사용자의 감정 정보가 추출된 경우, 전자 장치는 1009단계로 진행하여 사용자의 감정 정보를 전자책 컨텐츠에 추가 및 표시한다. 예를 들어, 전자 장치는 도 11의 (a)에 도시된 바와 같이 사용자의 감정 정보를 추출한 페이지에 사용자의 감정 정보를 추가 및 표시한다(1101). 다른 예를 들어, 전자 장치는 도 11의 (b)에 도시된 바와 같이 사용자의 감정 정보를 추출한 문장 또는 문단에 사용자의 감정 정보를 추가 및 표시할 수도 있다(1103).
이후, 전자 장치는 1011단계로 진행하여 전자 책 서비스가 종료되는지 확인한다.
전자 책 서비스가 종료되지 않은 경우, 전자 장치는 1003단계로 진행하여 전자 책 컨텐츠를 표시부(170)에 표시한다.
또한, 전자 책 서비스가 종료되지 않은 경우, 전자 장치는 1007단계로 진행하여 사용자의 감정 정보가 추출되는지 확인한다.
한편, 전자 책 서비스가 종료된 경우, 전자 장치는 1013단계로 진행하여 감정 정보가 추가된 전자책 컨텐츠를 저장한다. 예를 들어, 전자 장치는 전자 책 컨텐츠에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 전자 책 컨텐츠에서 획득한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 전자 책 컨텐츠와 함께 저장할 수 있다. 여기서, 사용자의 감정 정보를 포함하는 메타 데이터는, 전자 책 컨텐츠에서 사용자의 감정 정보를 추출한 위치 정보를 함께 포함한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 바와 같이 전자 장치는 전자 책 컨텐츠에 사용자의 감정 정보를 추가할 수 있다. 만일, 전자 책 컨텐츠가 학습을 목적으로 하는 경우, 전자 장치는 전자 책 컨텐츠에 대한 사용자의 감정 정보를 고려하여 학습 난이도를 조절할 수도 있다.
도 12는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 쇼핑 정보에 추가하기 위한 절차를 도시하고 있다.
도 12를 참조하면 전자 장치는 1201단계에서 쇼핑 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 쇼핑 아이콘이 선택되는지 확인한다.
쇼핑 서비스를 제공하는 경우, 전자 장치는 1203단계로 진행하여 구매 가능한 물품 정보를 표시부(170)에 표시한다.
이후, 전자 장치는 1211단계로 진행하여 쇼핑 서비스가 종료되는지 확인한다.
또한, 쇼핑 서비스를 제공하는 경우, 전자 장치는 1205단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 즉, 전자 장치는 감정 표시 메뉴가 설정된 경우, 구매 가능한 물품 정보 표시 중 사용자의 이미지를 획득하기 위해 물품 정보를 표시하는 표시부(170)와 동일한 방향에 위치한 제 2 카메라부(150)를 활성화한다.
이후, 전자 장치는 1207단계로 진행하여 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 물품 정보에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
사용자의 감정 정보가 추출되지 않은 경우, 전자 장치는 1211단계에서 쇼핑 서비스가 종료되는지 확인한다.
한편, 사용자의 감정 정보가 추출된 경우, 전자 장치는 1209단계로 진행하여 사용자의 감정 정보를 물품 정보에 추가 및 표시한다. 예를 들어, 전자 장치는 구매 가능한 물품 목록 중 사용자의 감정 정보를 추출한 물품 정보에 사용자의 감정 정보를 추가 및 표시할 수 있다. 다른 예를 들어, 전자 장치는 구매 가능한 적어도 하나의 물품 중 사용자 감정 정보를 추출한 물품의 물품 상세 정보에 사용자의 감정 정보를 추가 및 표시할 수도 있다.
이후, 전자 장치는 1211단계로 진행하여 쇼핑 서비스가 종료되는지 확인한다.
쇼핑 서비스가 종료되지 않은 경우, 전자 장치는 1203단계로 진행하여 구매 가능한 물품 정보를 표시부(170)에 표시한다.
또한, 쇼핑 서비스가 종료되지 않은 경우, 전자 장치는 1207단계로 진행하여 사용자의 감정 정보가 추출되는지 확인한다.
한편, 쇼핑 서비스가 종료된 경우, 전자 장치는 1213단계로 진행하여 감정 정보가 추가된 물품 정보를 저장한다. 예를 들어, 전자 장치는 사용자 감정 정보를 출한 물품 정보에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 물품 정보에서 획득한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 물품 정보와 함께 저장할 수 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
도 13은 본 발명의 다른 실시 예에 따른 전자 장치에서 사용자의 감정 정보를 쇼핑 정보에 추가하기 위한 절차를 도시하고 있다.
도 13을 참조하면 전자 장치는 1301단계에서 쇼핑 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 쇼핑 아이콘이 선택되는지 확인한다.
쇼핑 서비스를 제공하는 경우, 전자 장치는 1303단계로 진행하여 구매 가능한 물품 정보를 표시부(170)에 표시한다.
이후, 전자 장치는 1305단계로 진행하여 물품 구매 이벤트가 발생하는지 확인한다.
물품 구매 이벤트가 발생하지 않은 경우, 전자 장치는 1303단계로 진행하여 구매 가능한 물품 정보를 표시부(170)에 표시한다.
한편, 물품 구매 이벤트가 발생한 경우, 전자 장치는 1307단계로 진행하여 제 2 카메라부(150)를 구동시킨다. 즉, 전자 장치는 감정 표시 메뉴가 설정된 경우, 구매 가능한 물품 정보 표시 중 사용자의 이미지를 획득하기 위해 물품 정보를 표시하는 표시부(170)와 동일한 방향에 위치한 제 2 카메라부(150)를 활성화한다.
이후, 전자 장치는 1309단계로 진행하여 제 2 카메라부(150)를 통해 획득한 사용자 이미지에서 사용자의 감정 정보가 추출되는지 확인한다. 예를 들어, 전자 장치는 제 2 카메라부(150)를 통해 획득한 사용자의 얼굴 이미지에서 감정정보를 추정하기 위한 다수 개의 얼굴 근육들의 움직임을 추정한다. 이후, 전자 장치는 얼굴 근육들에 대한 움직임 정보를 고려하여 사용자의 감정을 추출한다. 이때, 전자 장치는 얼굴 근육들의 움직임 정보를 고려하여 산출한 감정 추정 값이 기준 감정 값을 넘는 경우, 해당 물품 정보에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다.
사용자의 감정 정보가 추출되지 않은 경우, 전자 장치는 본 알고리즘을 종료한다.
한편, 사용자의 감정 정보가 추출된 경우, 전자 장치는 1311단계로 진행하여 사용자의 감정 정보를 물품 정보에 추가 및 표시한다. 예를 들어, 전자 장치는 구매 가능한 물품 목록 중 사용자의 감정 정보를 추출한 물품 정보에 사용자의 감정 정보를 추가 및 표시할 수 있다. 다른 예를 들어, 전자 장치는 구매 가능한 적어도 하나의 물품 중 사용자 감정 정보를 추출한 물품의 물품 상세 정보에 사용자의 감정 정보를 추가 및 표시할 수도 있다.
이후, 전자 장치는 1313단계로 진행하여 감정 정보가 추가된 물품 정보를 저장한다. 예를 들어, 전자 장치는 사용자 감정 정보를 출한 물품 정보에 사용자의 감정 정보에 따른 감정 태그를 추가하여 저장할 수 있다. 다른 예를 들어, 전자 장치는 물품 정보에서 획득한 사용자의 감정 정보를 포함하는 메타 데이터에 생성하여 물품 정보와 함께 저장할 수 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 바와 같이 물품 정보에 대한 사용자의 감정 정보를 추가하는 경우, 전자 장치는 물품 정보에 추가한 사용자의 감정 정보를 쇼핑 서버로 전송할 수 있다. 이 경우, 쇼핑 서버는 다수 개의 전자 장치들로부터 수집한 특정 물품에 대한 사용자들의 감정 정보를 고려하여 해당 물품에 대한 사용자의 호응도를 표시할 수도 있다. 즉, 쇼핑 서버는 사용자들의 감정 정보를 해당 물품의 마케팅에 사용할 수도 있다.
상술한 바와 같이 전자 장치는 컨텐츠 사용 시 추출한 사용자의 감정 정보를 해당 컨텐츠에 추가할 수 있다. 이에 따라, 전자 장치는 각 컨텐츠에 대한 사용자의 감정 정보를 고려하여 데이터 저장부(112)에 저장된 적어도 하나의 컨텐츠를 관리할 수도 있다.
도 14는 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 사진을 표시하기 위한 절차를 도시하고 있다.
도 14를 참조하면 전자 장치는 1401단계에서 사진 표시 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 사진 표시 아이콘의 선택이 감지되는지 확인한다.
사진 표시 이벤트가 발생한 경우, 전자 장치는 1403단계로 진행하여 데이터 저장부(112)에 저장된 적어도 하나의 사진에 대한 사진 목록을 표시부(170)에 표시한다. 예를 들어, 전자 장치는 도 15의 (a)에 도시된 바와 같이 데이터 저장부(112)에 저장된 적어도 하나의 사진에 대한 사진 목록을 표시부(170)에 표시한다.
이후, 전자 장치는 1405단계로 진행하여 감정 정보에 따른 정렬 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 도 15의 (a)에 도시된 바와 같이 사진에 대한 정렬 조건(1501)으로 감정 정보("emotion")(1503)가 선택되는지 확인한다.
감정 정보에 따른 정렬 이벤트가 발생하지 않은 경우, 전자 장치는 1407단계로 진행하여 데이터 저장부(112)에 저장된 각 사진에 추가된 사용자의 감정 정보를 확인한다. 예를 들어, 전자 장치는 사진에 태깅된 감정 태그를 통해 각각의 사진에 대한 사용자의 감정 정보를 확인할 수 있다. 다른 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 감정 정보에 대한 메타 데이터를 고려하여 각각의 사진에 대한 사용자의 감정 정보를 확인할 수도 있다.
각각의 사진에 대한 사용자의 감정 정보를 확인한 후, 전자 장치는 1409단계로 진행하여 사용자의 감정 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 사진 파일을 정렬하여 표시한다. 예를 들어, 전자 장치는 도 15의 (b)에 도시된 바와 같이 사용자의 감정 정보에 따라 적어도 하나의 사진 파일을 그룹핑하여 표시할 수 있다. 이후, 도 15의 (b)에 도시된 바와 같이 "행복(happy)" 폴더에 대한 선택이 감지된 경우(1505), 전자 장치는 도 15의 (c)에 도시된 바와 같이 "행복"의 감정을 포함하는 적어도 하나의 파일 목록을 표시부(170)에 표시한다. 또한, 파일 목록에서 특정 사진 파일에 대한 선택이 감지된 경우(1509), 전자 장치는 도 15의 (d)에 도시된 바와 같이 선택된 사진 파일을 표시부(170)에 표시할 수 있다. 추가적으로, 전자 장치는 도 15의 (c)에 도시된 바와 같이 사용자의 감정 정보에 따라 동영상의 섬네일을 사진 목록과 함께 표시할 수도 있다. 만일, 동영상의 섬네일의 선택이 감지된 경우(1509), 전자 장치는 도 19의 (b) 또는 (c)에 도시된 바와 같이 섬네일에 대한 동영상을 재생할 수 있다. 이때, 전자 장치는 섬네일로 표시된 시점부터 동영상을 재생할 수 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사진 목록을 표시한 후, 감정 정보에 따른 정렬 이벤트가 발생한 경우, 각각의 사진에 대한 감정 정보를 확인하여 감정 정보에 따라 사진을 정렬하여 표시한다.
다른 실시 예에서 전자 장치는 감정 정보가 기본 정렬 조건으로 설정된 경우, 전자 장치는 사진 표시 이벤트가 발생하면(1401단계), 데이터 저장부(112)에 저장된 각 사진에 추가된 사용자의 감정 정보를 확인한다(1407단계). 이후, 전자 장치는 사용자의 감정 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 사진 파일을 정렬하여 표시한다(1409단계).
또 다른 실시 예에서 전자 장치는 감정 정보 표시 메뉴가 설정된 경우, 사진 목록을 표시할 때, 감정 정보가 추가된 사진에 감정 표시 아이콘을 표시할 수도 있다. 구체적으로, 전자 장치는 사진 표시 이벤트가 발생한 경우, 감정 정보 표시 메뉴 설정 여부를 확인한다. 만일, 감정 정보 표시 메뉴가 설정된 경우, 전자 장치는 데이터 저장부(112)에 저장된 각 사진에 추가된 사용자의 감정 정보를 확인한다. 이후, 전자 장치는 사진 목록을 표시부(170)에 표시한다. 이때, 전자 장치는 감정 정보가 추가된 사진에 감정 표시 아이콘을 표시할 수 있다.
도 16은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 동영상 정보를 표시하기 위한 절차를 도시하고 있다.
도 16을 참조하면 전자 장치는 1601단계에서 동영상 재생 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 동영상 파일 중 어느 하나의 동영상 파일이 선택되는지 확인한다.
동영상 재생 서비스를 제공하는 경우, 전자 장치는 1603단계로 진행하여 동영상 재생 서비스를 위해 선택한 동영상을 재생한다. 예를 들어, 전자 장치는 도 18의 (a)에 도시된 바와 같이 동영상의 재생하여 표시부(170)에 표시한다.
이후, 전자 장치는 1605단계로 진행하여 감정 정보 표시 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 감정 정보 표시 메뉴에 대한 선택이 감지되는지 확인한다.
감정 정보 표시 이벤트가 발생하지 않은 경우, 전자 장치는 본 알고리즘을 종료한다. 예를 들어, 전자 장치는 동영상 재생 서비스를 위해 선택한 동영상을 지속적으로 재생한다.
한편, 감정 정보 표시 이벤트가 발생한 경우, 전자 장치는 1607단계로 진행하여 동영상 파일에 추가된 사용자의 감정 정보를 확인한다. 예를 들어, 전자 장치는 동영상을 구성하는 프레임에 태깅된 감정 태그를 통해 동영상에 추가된 사용자의 감정 정보를 확인할 수 있다. 다른 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 감정 정보에 대한 메타 데이터를 고려하여 동영상에 대한 사용자의 감정 정보를 확인할 수도 있다.
동영상 파일에 대한 사용자의 감정 정보를 확인한 후, 전자 장치는 1609단계로 진행하여 동영상 재생 시, 사용자의 감정 정보를 표시한다. 예를 들어, 전자 장치는 도 18의 (b)에 도시된 바와 같이 재생 중인 동영상의 시간 탐색 바에서 사용자 감정을 추출한 시점에 사용자의 감정 정보를 표시한다(1801, 1803). 추가적으로, 전자 장치의 사용자가 시간 탐색 바를 이용하여 동영상의 재생 시점을 제어하는 경우, 전자 장치는 도 18의 (c)에 도시된 바와 같이 사용자 감정을 추출한 시점에서는 사용자의 감정 정보를 표시할 수도 있다(1805).
추가적으로, 동영상의 시간 탐색 바에 사용자의 감정 정보를 표시한 후, 전자 장치는 1611단계로 진행하여 시간 탐색 바에 표시된 감정 정보에 대한 선택이 감지되는지 확인한다.
시간 탐색 바에 표시된 감정 정보에 대한 선택이 감지된 경우, 전자 장치는 1613단계로 진행하여 1611단계에서 선택된 감정 정보가 추출된 시점으로 동영상의 재생 시점을 변경한다. 예를 들어, 도 18의 (b)에 도시된 감정 정보에서 "우울" 감정 정보(1801)에 대한 선택이 감지된 경우, 전자 장치는 동영상의 재생 시점을 우울 감정 정보(1801)를 추출한 시점으로 변경한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 동영상 재생 중(1603단계) 감정 정보 표시 이벤트가 발생한 경우(1605단계), 동영상에 추가된 사용자의 감정 정보를 표시부(170)에 표시한다.
다른 실시 예에서 전자 장치는 감정 정보 메뉴가 설정된 경우, 동영상 재생 시점부터 동영상에 추가된 사용자의 감정 정보를 표시할 수 있다. 이 경우, 전자 장치는 동영상을 재생하기 이전에 재생하기 위한 동영상에 추가된 감정 정보를 확인한다.
도 17은 본 발명의 다른 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 동영상 정보를 표시하기 위한 절차를 도시하고 있다.
도 17을 참조하면 전자 장치는 1701단계에서 동영상 재생 서비스를 제공할 것인지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 동영상 재생 응용프로그램의 아이콘이 선택되는지 확인한다.
동영상 재생 서비스를 제공하는 경우, 전자 장치는 1703단계로 진행하여 데이터 저장부(112)에 저장된 적어도 하나의 동영상 파일에 대한 동영상 파일 목록을 표시부(170)에 표시한다.
이후, 전자 장치는 1705단계로 진행하여 동영상 파일 목록에서 어느 하나인 제 1 동영상 파일의 선택이 감지되는지 확인한다.
제 1 동영상 파일의 선택이 감지된 경우, 전자 장치는 1707단계로 진행하여 제 1 동영상 파일에 포함된 사용자의 감정 정보를 확인한다. 예를 들어, 전자 장치는 제 1 동영상 파일을 구성하는 프레임에 태깅된 감정 태그를 통해 제 1 동영상 파일에 추가된 사용자의 감정 정보를 확인할 수 있다. 다른 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 감정 정보에 대한 메타 데이터를 고려하여 제 1 동영상 파일에 대한 사용자의 감정 정보를 확인할 수도 있다.
제 1 동영상 파일에 대한 사용자의 감정 정보를 확인한 후, 전자 장치는 1709단계로 진행하여 제 1 동영상 파일에서 추가된 사용자의 감정 정보에 대한 섬네일을 표시부(170)에 표시한다. 예를 들어, 전자 장치는 도 19의 (a)에 도시된 바와 같이 제 1 동영상 파일에서 사용자의 감정 정보를 추출한 시점의 섬네일을 표시부(170)에 표시한다.
추가적으로, 전자 장치는 1711단계로 진행하여 제 1 동영상에 대한 사용자의 감정 정보를 나타내는 적어도 하나의 섬네일 중 어느 하나의 섬네일이 선택되는지 확인한다. 예를 들어, 도 19의 (a)에 도시된 제 1 동영상 파일에 대한 섬네일에서 제 1 섬네일(1901)의 선택이 감지되는지 확인한다.
제 1 동영상에 대한 사용자의 감정 정보를 나타내는 적어도 하나의 섬네일 중 어느 하나의 섬네일에 대한 선택이 감지된 경우, 전자 장치는 1713단계로 진행하여 섬네일의 감정 정보가 추출된 시점부터 동영상을 재생한다. 예를 들어, 전자 장치는 도 19의 (b) 또는 (c)에 도시된 바와 같이 섬네일의 감정 정보가 추출된 시점부터 동영상을 재생한다. 이때, 전자 장치는 도 19의 (b)에 도시된 바와 같이 제 1 동영상에 대한 섬네일 정보 또는 1711단계에서 선택된 섬네일과 동일한 감정 정보를 포함하는 섬네일 정보를 표시부(170)의 일부 영역(1903)에 표시할 수 있다. 한편, 전자 장치는 도 19의 (c)에 도시된 바와 같이 제 1 동영상에 대한 시간 탐색 바에 제 1 동영상에 대한 감정 정보(1805, 1807)를 표시할 수도 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 도 19의 (a)에 도시된 바와 같이 제 1 동영상에 추가된 각각의 감정 정보에 대한 섬네일을 표시한다.
다른 실시 예에서 전자 장치는 제 1 동영상 내에서 감정 정보가 변경된 시점의 섬네일만을 표시할 수도 있다.
도 20은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 전자 책 컨텐츠를 표시하기 위한 절차를 도시하고 있다.
도 20을 참조하면 전자 장치는 2001단계에서 전자 책 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 전자책 컨텐츠 중 어느 하나의 전자책 컨텐츠가 선택되는지 확인한다.
전자 책 서비스를 제공하는 경우, 전자 장치는 2003단계로 진행하여 전자 책 서비스를 위해 선택한 전자 책 컨텐츠를 표시부(170)에 표시한다.
이후, 전자 장치는 2005단계로 진행하여 감정 정보 표시 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 감정 정보 표시 메뉴에 대한 선택이 감지되는지 확인한다.
감정 정보 표시 이벤트가 발생하지 않은 경우, 전자 장치는 2003단계로 진행하여 전자 책 서비스를 위해 선택한 전자 책 컨텐츠를 지속적으로 표시부(170)에 표시한다.
한편, 감정 정보 표시 이벤트가 발생한 경우, 전자 장치는 2007단계로 진행하여 전자 책 컨텐츠에 추가된 사용자의 감정 정보를 확인한다. 예를 들어, 전자 장치는 전자 책 컨텐츠에 태깅된 감정 태그를 통해 전자 책 컨텐츠에 추가된 사용자의 감정 정보를 확인할 수 있다. 다른 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 감정 정보에 대한 메타 데이터를 고려하여 전자 책 컨텐츠에 추가된 사용자의 감정 정보를 확인할 수도 있다.
전자 책 컨텐츠에 대한 사용자의 감정 정보를 확인한 후, 전자 장치는 2009단계로 진행하여 전자 책 컨텐츠에서 감정 정보를 추출한 위치 정보를 포함하는 사용자의 감정 정보를 표시부(170)에 표시한다. 예를 들어, 전자 장치는 도 22의 (a)에 도시된 바와 같이 전자 책 컨텐츠에 추가된 감정 정보에 대한 구조 창(2201)을 표시부(170)에 표시한다. 이때, 구조 창(2201)은 사용자의 감정 정보의 추출 위치를 감정 종류별로 분류하여 표시된다.
추가적으로, 전자 장치는 2011단계로 진행하여 구조 창(2201)에 표시된 감정 정보에 대한 선택이 감지되는지 확인한다.
구조 창(2201)에 표시된 적어도 하나의 감정 정보 중 어느 하나의 감정 정보에 대한 선택이 감지된 경우, 전자 장치는 2013단계로 진행하여 선택이 감지된 감정 정보가 추출된 위치로 전자 책 컨텐츠의 표시 영역을 변경한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 감정 정보 구조 창(2201)을 이용하여 전자 책 컨텐츠에 추가된 감정 정보를 표시한다.
다른 실시 예에서 전자 장치는 하기 도 21에 도시된 바와 같이 전자 책 컨텐츠 내에 사용자의 감정 정보를 표시할 수도 있다.
도 21은 본 발명의 다른 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 전자 책 컨텐츠를 표시하기 위한 절차를 도시하고 있다.
도 21을 참조하면 전자 장치는 2101단계에서 전자 책 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 전자책 컨텐츠 중 어느 하나의 전자책 컨텐츠가 선택되는지 확인한다.
전자 책 서비스를 제공하는 경우, 전자 장치는 2103단계로 진행하여 감정 표시 메뉴가 설정되었는지 확인한다.
감정 표시 메뉴가 설정되지 않은 경우, 전자 장치는 2109단계로 진행하여 전자 책 서비스를 위해 선택한 전자 책 컨텐츠를 표시부(170)에 표시한다.
한편, 감정 표시 메뉴가 설정된 경우, 전자 장치는 2105단계로 진행하여 전자 책 컨텐츠에 추가된 사용자의 감정 정보를 확인한다. 예를 들어, 전자 장치는 전자 책 컨텐츠에 태깅된 감정 태그를 통해 전자 책 컨텐츠에 추가된 사용자의 감정 정보를 확인할 수 있다. 다른 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 감정 정보에 대한 메타 데이터를 고려하여 전자 책 컨텐츠에 추가된 사용자의 감정 정보를 확인할 수도 있다.
전자 책 컨텐츠에 대한 사용자의 감정 정보를 확인한 후, 전자 장치는 2107단계로 진행하여 전자 책 컨텐츠에서 추출한 감정 정보와 함께 전자 책 컨텐츠를 표시부(170)에 표시한다. 이때, 전자 장치는 전자 책 컨텐츠에서 감정 정보를 추출한 위치에 사용자의 감정 정보를 표시한다. 예를 들어, 전자 장치는 도 22의 (b)에 도시된 바와 같이 전자 책 컨텐츠에서 사용자의 감정 정보를 추출한 페이지에 사용자의 감정 정보에 따른 감정 아이콘(2211)를 표시할 수 있다. 다른 예를 들어, 전자 장치는 도 22의 (b)에 도시된 바와 같이 전자 책 컨텐츠에서 사용자의 감정 정보를 추출한 문단에 사용자의 감정 정보에 따른 감정 아이콘(2213)를 표시할 수도 있다. 또 다른 예를 들어, 전자 장치는 도 22의 (b)에 도시된 바와 같이 전자 책 컨텐츠에서 사용자의 감정 정보를 추출한 문단에 사용자의 감정 정보에 따른 음영 표시(2215)할 수도 있다. 이때, 전자 장치는 사용자의 감정 정보에 따라 음영의 모양, 색상, 투명도 중 적어도 하나를 결정할 수 있다. 또 다른 예를 들어, 전자 장치는 도 22의 (b)에 도시된 바와 같이 전자 책 컨텐츠에서 사용자의 감정 정보를 추출한 문장에 사용자의 감정 정보에 따라 밑줄(2217)을 표시할 수도 있다. 이때, 전자 장치는 사용자의 감정 정보에 따라 밑줄 모양, 색상, 굵기 중 적어도 하나를 결정할 수 있다. 또 다른 예를 들어, 전자 장치는 도 22의 (b)에 도시된 바와 같이 전자 책 컨텐츠에서 사용자의 감정 정보를 추출한 문장에 사용자의 감정 정보에 따라 괄호(2219) 표시할 수도 있다. 이때, 전자 장치는 사용자의 감정 정보에 따라 괄호의 모양을 결정할 수 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
도 23은 본 발명의 실시 예에 따른 전자 장치에서 감정 정보를 고려하여 쇼핑 정보에 표시하기 위한 절차를 도시하고 있다.
도 23을 참조하면 전자 장치는 2301단계에서 쇼핑 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(180)를 통해 제공받은 터치 정보에 따라 쇼핑 응용프로그램에 대한 아이콘의 선택이 감지되는지 확인한다.
쇼핑 서비스를 제공하는 경우, 전자 장치는 2303단계로 진행하여 감정 표시 메뉴가 설정되었는지 확인한다.
감정 표시 메뉴가 설정되지 않은 경우, 전자 장치는 2309단계로 진행하여 쇼핑 서비스를 통해 구매 가능한 물품 목록을 표시부(170)에 표시한다.
한편, 감정 표시 메뉴가 설정된 경우, 전자 장치는 2305단계로 진행하여 물품 정보에 추가된 사용자의 감정 정보를 확인한다. 예를 들어, 전자 장치는 각각의 물품 정보에 태깅된 감정 태그를 통해 물품 정보에 추가된 사용자의 감정 정보를 확인할 수 있다. 다른 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 감정 정보에 대한 메타 데이터를 고려하여 각각의 물품 정보에 추가된 사용자의 감정 정보를 확인할 수도 있다.
물품 정보에 추가된 사용자의 감정 정보를 확인한 후, 전자 장치는 2307단계로 진행하여 감정 정보를 포함하는 물품 정보를 표시부(170)에 표시한다. 예를 들어, 전자 장치는 구매 가능한 물품 목록 중 사용자의 감정 정보가 추가된 물품 정보에 감정 아이콘을 표시할 수 있다. 다른 예를 들어, 전자 장치는 구매 가능한 적어도 하나의 물품 중 사용자 감정 정보를 추출한 물품의 상세 정보를 표시하는 경우, 사용자의 감정 정보를 표시할 수도 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 컨텐츠 사용 시, 카메라를 통해 획득한 사용자의 이미지 정보에서 사용자의 감정을 추출한다.
다른 실시 예에서 전자 장치는 사용자의 교감 신경과 부교감 신경의 자극 정도를 측정하여 사용자의 감정을 추정할 수 있다. 이 경우, 전자 장치는 도 1에 도시된 전자 장치(100)의 구성에서 사용자의 피부 전기를 측정하기 위한 피부 전기 측정 센서를 더 포함할 수 있다. 즉, 전자 장치는 피부 전기 측정 센서를 이용하여 측정한 사용자의 피부 전기를 고려하여 교감 신경의 자극 정보를 측정할 수 있다. 예를 들어, 전자 장치는 음악 응용프로그램 구동 중 피부 전기 측정 센서를 이용하여 사용자의 피부 전기를 측정한다. 이후, 전자 장치의 감정 추출 프로그램(114)은 피부 전기 측정 센서에서 측정한 사용자의 피부 전기를 고려하여 사용자의 감정 정보를 추정할 수 있다. 이때, 감정 추출 프로그램(114)은 피부 전기 값이 기준 감정 값을 넘는 경우, 음악 컨텐츠에 대한 사용자의 감정을 추출한 것으로 인식할 수 있다. 추가적으로, 전자 장치는 음악 컨텐츠 재생 중 사용자의 감정을 추출한 시점에 해당 감정 정보를 추가할 수 있다.
또 다른 실시 예에서 전자 장치는 사용자의 피부 온도 변화를 고려하여 사용자의 감정을 추정할 수 있다. 이 경우, 전자 장치는 도 1에 도시된 전자 장치(100)의 구성에서 사용자의 피부 온도를 측정하기 위한 피부 온도 측정 센서를 더 포함할 수 있다. 즉, 전자 장치는 피부 온도 측정 센서를 이용하여 측정한 사용자의 피부 온도 변화를 고려하여 사용자의 감정을 추출할 수 있다.
또 다른 실시 예에서 전자 장치는 가속도 센서, 중력 센서 등과 같은 모션 센서를 이용하여 측정한 사용자의 움직임 패턴을 고려하여 사용자의 감정을 추정할 수도 있다. 이 경우, 전자 장치는 도 1에 도시된 전자 장치(100)의 구성에서 모션 센서를 더 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (28)

  1. 전자 장치에서 감정 정보를 제공하기 위한 방법에 있어서,
    적어도 하나의 컨텐츠를 표시하는 과정과,
    카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정과,
    상기 감정 정보를 상기 컨텐츠에 추가하는 과정을 포함하는 방법.
  2. 제 1항에 있어서,
    제 1 카메라를 통해 획득한 프리뷰 화면을 표시부에 표시한 경우, 상기 제 1 카메라와 반대 방향을 촬영할 수 있는 제 2 카메라를 활성화하는 과정을 더 포함하며,
    상기 감정 정보를 추출하는 과정은,
    상기 제 1 카메라를 통해 이미지를 촬영하는 시점에 상기 제 2 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정을 포함하는 방법.
  3. 제 1항에 있어서,
    제 1 카메라를 이용하여 획득한 프리뷰 화면을 표시부에 표시한 경우, 상기 제 1 카메라와 반대 방향을 촬영할 수 있는 제 2 카메라를 활성화하는 과정을 더 포함하며,
    상기 감정 정보를 추출하는 과정은,
    상기 제 1 카메라를 통해 동영상 촬영 중 상기 제 2 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정을 포함하는 방법.
  4. 제 1항에 있어서,
    동영상 재생 화면을 표시부에 표시한 경우, 상기 표시부와 동일한 방향으로 위치한 카메라를 활성화하는 과정을 더 포함하며,
    상기 감정 정보를 추출하는 과정은,
    상기 동영상 재생 중 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정을 포함하는 방법.
  5. 제 1항에 있어서,
    전자 책 컨텐츠를 표시부에 표시한 경우, 상기 표시부와 동일한 방향으로 위치한 카메라를 활성화하는 과정을 더 포함하며,
    상기 감정 정보를 추출하는 과정은,
    상기 전자 책 컨텐츠 표시 중 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정을 포함하는 방법.
  6. 제 1항에 있어서,
    쇼핑 정보를 표시부에 표시한 경우, 상기 표시부와 동일한 방향으로 위치한 카메라를 활성화하는 과정을 더 포함하며,
    상기 감정 정보를 추출하는 과정은,
    상기 쇼핑 정보 표시 중 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 과정을 포함하는 방법.
  7. 제 1항에 있어서,
    상기 감정 정보를 추출하는 과정은,
    상기 카메라를 통해 획득한 얼굴 이미지에서 감정 추출을 위한 적어도 하나의 근육 정보를 획득하는 과정과,
    상기 적어도 하나의 근육에 대한 움직임 정보를 고려하여 상기 카메라를 통해 획득한 얼굴 이미지에서 감정 정보를 추출하는 과정을 포함하는 방법.
  8. 제 1항에 있어서,
    상기 감정 정보를 상기 컨텐츠에 추가하는 과정은,
    상기 감정 정보에 따른 태그를 상기 컨텐츠에 추가하는 과정을 포함하는 방법.
  9. 제 1항에 있어서,
    상기 감정 정보를 상기 컨텐츠에 추가하는 과정은,
    상기 컨텐츠에 대한 감정 정보를 포함하는 메타 데이터를 생성하는 과정을 포함하는 방법.
  10. 제 1항에 있어서,
    상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하는 과정과,
    상기 적어도 하나의 컨텐츠를 표시부에 표시하는 과정을 더 포함하며,
    상기 적어도 하나의 컨텐츠 중 감정 정보를 포함하는 적어도 하나의 컨텐츠에 감정 정보를 추가 표시하는 방법.
  11. 제 1항에 있어서,
    상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하는 과정과,
    상기 적어도 하나의 컨텐츠를 감정 정보에 따라 그룹핑하여 표시부에 표시하는 과정을 더 포함하는 방법.
  12. 제 1항에 있어서,
    상기 컨텐츠에 감정 정보를 추가한 후, 동영상 컨텐츠를 재생하는 경우, 동영상 컨텐츠의 시간 탐색 바에 적어도 하나의 감정 정보를 표시하는 과정과,
    상기 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보가 위치한 시간 정보에 따라 상기 동영상 컨텐츠의 재생 시점을 변경하는 과정을 더 포함하는 방법.
  13. 제 1항에 있어서,
    상기 컨텐츠에 감정 정보를 추가한 후, 전자 책 컨텐츠를 표시하는 경우, 상기 전자 책 컨텐츠에 포함된 적어도 하나의 감정 정보에 대한 위치를 포함하는 구조 창을 표시하는 과정과,
    상기 구조 창에 포함된 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보의 위치 정보에 따라 상기 표시부에 표시된 전자 책 컨텐츠의 표시 영역을 변경하는 과정을 더 포함하는 방법.
  14. 제 13항에 있어서,
    상기 구조 창은, 상기 전자 책 컨텐츠에 포함된 적어도 하나의 감정 정보에 대한 위치를 감정 종류별로 구별하여 포함하는 방법.
  15. 전자 장치에 있어서,
    적어도 하나의 카메라와,
    표시부와,
    적어도 하나의 프로세서와,
    메모리 및,
    상기 메모리에 저장되며, 상기 하나 이상의 프로세서에 의해 구동되는 적어도 하나의 프로그램을 포함하며,
    상기 프로그램은,
    적어도 하나의 컨텐츠를 상기 표시부에 표시하고,
    상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하고,
    상기 감정 정보를 상기 컨텐츠에 추가하는 장치.
  16. 제 15항에 있어서,
    상기 프로그램은, 상기 적어도 하나의 카메라 중 제 1 카메라를 통해 획득한 프리뷰 화면을 상기 표시부에 표시한 경우, 상기 제 1 카메라와 반대 방향을 촬영할 수 있는 제 2 카메라를 활성화하고,
    상기 제 1 카메라를 통해 이미지를 촬영하는 시점에 상기 제 2 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 장치.
  17. 제 15항에 있어서,
    상기 프로그램은, 상기 적어도 하나의 카메라 중 제 1 카메라를 통해 획득한 프리뷰 화면을 상기 표시부에 표시한 경우, 상기 제 1 카메라와 반대 방향을 촬영할 수 있는 제 2 카메라를 활성화하고,
    상기 제 1 카메라를 통해 동영상 촬영 중 상기 제 2 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 장치.
  18. 제 15항에 있어서,
    상기 프로그램은, 동영상 재생 화면을 상기 표시부에 표시한 경우, 상기 표시부와 동일한 방향으로 위치한 카메라를 활성화하고,
    상기 동영상 재생 중 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 장치.
  19. 제 15항에 있어서,
    상기 프로그램은, 전자 책 컨텐츠를 상기 표시부에 표시한 경우, 상기 표시부와 동일한 방향으로 위치한 카메라를 활성화하고,
    상기 전자 책 컨텐츠 표시 중 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 장치.
  20. 제 15항에 있어서,
    상기 프로그램은, 쇼핑 정보를 표시부에 표시한 경우, 상기 표시부와 동일한 방향으로 위치한 카메라를 활성화하고,
    상기 쇼핑 정보 표시 중 상기 카메라를 통해 획득한 이미지에서 감정 정보를 추출하는 장치.
  21. 제 15항에 있어서,
    상기 프로그램은, 상기 카메라를 통해 획득한 얼굴 이미지에서 감정 추출을 위한 적어도 하나의 근육 정보를 획득하고,
    상기 적어도 하나의 근육에 대한 움직임 정보를 고려하여 상기 카메라를 통해 획득한 얼굴 이미지에서 감정 정보를 추출하는 장치.
  22. 제 15항에 있어서,
    데이터를 저장하는 메모리를 더 포함하며,
    상기 프로그램은, 상기 감정 정보에 따른 태그를 상기 컨텐츠에 추가하여 상기 메모리에 저장하는 장치.
  23. 제 15항에 있어서,
    데이터를 저장하는 메모리를 더 포함하며,
    상기 프로그램은, 상기 컨텐츠에 대한 감정 정보를 포함하는 메타 데이터를 생성하여 상기 메모리에 저장하는 장치.
  24. 제 15항에 있어서,
    상기 프로그램은 상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하고,
    상기 적어도 하나의 컨텐츠를 상기 표시부에 표시하며,
    상기 적어도 하나의 컨텐츠 중 감정 정보를 포함하는 적어도 하나의 컨텐츠에 감정 정보를 상기 표시부에 추가 표시하는 장치.
  25. 제 15항에 있어서,
    상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 컨텐츠 목록 표시 이벤트가 발생한 경우, 적어도 하나의 컨텐츠에 대한 감정 정보를 확인하고,
    상기 적어도 하나의 컨텐츠를 감정 정보에 따라 그룹핑하여 상기 표시부에 표시하는 장치.
  26. 제 15항에 있어서,
    상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 동영상 컨텐츠를 재생하는 경우, 동영상 컨텐츠의 시간 탐색 바에 적어도 하나의 감정 정보를 상기 표시부에 표시하고,
    상기 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보가 위치한 시간 정보에 따라 상기 동영상 컨텐츠의 재생 시점을 변경하는 장치.
  27. 제 15항에 있어서,
    상기 프로그램은, 상기 컨텐츠에 감정 정보를 추가한 후, 전자 책 컨텐츠를 표시하는 경우, 상기 전자 책 컨텐츠에 포함된 적어도 하나의 감정 정보에 대한 위치를 포함하는 구조 창을 상기 표시부에 표시하고,
    상기 구조 창에 포함된 적어도 하나의 감정 정보 중 어느 하나의 감정 정보의 선택이 감지된 경우, 상기 감정 정보의 위치 정보에 따라 상기 표시부에 표시된 전자 책 컨텐츠의 표시 영역을 변경하는 장치.
  28. 제 27항에 있어서,
    상기 구조 창은, 상기 전자 책 컨텐츠에 포함된 적어도 하나의 감정 정보에 대한 위치를 감정 종류별로 구별하여 포함하는 장치.
KR1020130001087A 2013-01-04 2013-01-04 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법 KR102091848B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130001087A KR102091848B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US14/147,842 US9807298B2 (en) 2013-01-04 2014-01-06 Apparatus and method for providing user's emotional information in electronic device
US15/796,120 US20180054564A1 (en) 2013-01-04 2017-10-27 Apparatus and method for providing user's emotional information in electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001087A KR102091848B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140089454A true KR20140089454A (ko) 2014-07-15
KR102091848B1 KR102091848B1 (ko) 2020-03-20

Family

ID=51060690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001087A KR102091848B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법

Country Status (2)

Country Link
US (2) US9807298B2 (ko)
KR (1) KR102091848B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160029375A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
KR20170013623A (ko) * 2015-07-28 2017-02-07 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6046931B2 (ja) * 2011-08-18 2016-12-21 キヤノン株式会社 撮像装置およびその制御方法
KR20140089146A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 영상 통화 방법 및 그 방법을 처리하는 전자 장치
KR102091848B1 (ko) * 2013-01-04 2020-03-20 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US9569424B2 (en) * 2013-02-21 2017-02-14 Nuance Communications, Inc. Emotion detection in voicemail
AP00894S1 (en) * 2013-02-23 2017-03-20 Samsung Electronics Co Ltd Display screen or portion thereof with animated graphical user interface
USD749626S1 (en) * 2013-09-03 2016-02-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD776124S1 (en) * 2013-09-03 2017-01-10 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
USD750125S1 (en) * 2013-12-30 2016-02-23 Beijing Qihoo Technology Co., Ltd. Display screen or portion thereof with animated icon for optimizing computer device resources
TWI533240B (zh) * 2014-12-31 2016-05-11 拓邁科技股份有限公司 資料顯示方法及系統，及相關電腦程式產品
CN106331586A (zh) * 2015-06-16 2017-01-11 杭州萤石网络有限公司 一种智能家居视频监控方法和系统
KR102344063B1 (ko) * 2015-06-29 2021-12-28 엘지전자 주식회사 이동 단말기
USD771653S1 (en) * 2015-07-29 2016-11-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
TWI597980B (zh) * 2015-08-10 2017-09-01 宏達國際電子股份有限公司 影音管理方法及其系統
CN106502712A (zh) 2015-09-07 2017-03-15 北京三星通信技术研究有限公司 基于用户操作的app改进方法和系统
USD819042S1 (en) 2015-10-07 2018-05-29 MAQUET CARDIOPULMONARY GmbH Display screen or portion thereof with graphical user interface for a medical device
CN105867781A (zh) * 2015-10-28 2016-08-17 乐视移动智能信息技术（北京）有限公司 拍照处理方法、装置和设备
CN109475294B (zh) * 2016-05-06 2022-08-19 斯坦福大学托管董事会 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
US20170329464A1 (en) 2016-05-11 2017-11-16 Sap Se Dynamic button with sub-buttons
USD827657S1 (en) * 2016-06-03 2018-09-04 Visa International Service Association Display screen with animated graphical user interface
USD835671S1 (en) * 2016-09-22 2018-12-11 Sap Se Display screen or portion thereof with a graphical user interface having a transitional icon
USD835669S1 (en) * 2016-09-22 2018-12-11 Sap Se Display screen or portion thereof with a graphical user interface having a transitional icon
USD835670S1 (en) * 2016-09-22 2018-12-11 Sap Se Display screen or portion thereof with a graphical user interface having a transitional icon
USD836134S1 (en) * 2016-09-22 2018-12-18 Sap Se Display screen or portion thereof with a graphical user interface having a transitional icon
USD816698S1 (en) * 2016-11-10 2018-05-01 Koninklijke Philips N.V. Display screen with animated graphical user interface
US10083162B2 (en) 2016-11-28 2018-09-25 Microsoft Technology Licensing, Llc Constructing a narrative based on a collection of images
US10636175B2 (en) 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
USD851111S1 (en) * 2017-09-09 2019-06-11 Apple Inc. Electronic device with graphical user interface
USD910046S1 (en) * 2017-09-29 2021-02-09 Apple Inc. Electronic device with graphical user interface
CN108039988B (zh) * 2017-10-31 2021-04-30 珠海格力电器股份有限公司 设备控制处理方法及装置
USD879122S1 (en) 2017-11-30 2020-03-24 MAQUET CARDIOPULMONARY GmbH Display screen or portion thereof with graphical user interface for a clamp display of a cardiopulmonary bypass machine system
US11249945B2 (en) * 2017-12-14 2022-02-15 International Business Machines Corporation Cognitive data descriptors
USD865001S1 (en) * 2018-03-08 2019-10-29 Capital One Services, Llc Display screen with animated graphical user interface
USD865000S1 (en) * 2018-03-08 2019-10-29 Capital One Services, Llc Display screen with animated graphical user interface
CN108960402A (zh) * 2018-06-11 2018-12-07 上海乐言信息科技有限公司 一种面向聊天机器人的混合策略式情感安抚系统
USD938968S1 (en) 2018-09-06 2021-12-21 Apple Inc. Electronic device with animated graphical user interface
US10891969B2 (en) * 2018-10-19 2021-01-12 Microsoft Technology Licensing, Llc Transforming audio content into images
USD930031S1 (en) 2018-12-18 2021-09-07 Spotify Ab Media player display screen with graphical user interface
USD910649S1 (en) * 2018-12-20 2021-02-16 Facebook, Inc. Display screen with a graphical user interface
US11157549B2 (en) 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
USD924912S1 (en) 2019-09-09 2021-07-13 Apple Inc. Display screen or portion thereof with graphical user interface
JPWO2022230070A1 (ko) * 2021-04-27 2022-11-03
WO2022230069A1 (ja) * 2021-04-27 2022-11-03 株式会社I’mbesideyou 動画像分析システム
WO2024111943A1 (ko) * 2022-11-21 2024-05-30 삼성전자주식회사 복수의 카메라를 이용하여 코드 정보에 대응하는 시각적 객체를 식별하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036874A (ja) * 2005-07-28 2007-02-08 Univ Of Tokyo 視聴者情報測定システム及びこれを用いたマッチングシステム
JP2009005094A (ja) * 2007-06-21 2009-01-08 Mitsubishi Electric Corp 携帯端末
KR20110100061A (ko) * 2010-03-03 2011-09-09 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
KR20110115906A (ko) * 2010-04-16 2011-10-24 엘지전자 주식회사 컨텐츠 시청 정보 표시 방법, 그를 이용한 디스플레이 장치 및 리모트 컨트롤러

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US8209182B2 (en) 2005-11-30 2012-06-26 University Of Southern California Emotion recognition system
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
KR101444103B1 (ko) * 2008-03-14 2014-09-26 삼성전자주식회사 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
KR20100000336A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치
JP4659088B2 (ja) 2008-12-22 2011-03-30 京セラ株式会社 カメラ付き携帯端末
US9277021B2 (en) 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
KR101679860B1 (ko) 2010-07-14 2016-11-25 엘지전자 주식회사 압축기
KR20120064563A (ko) 2010-12-09 2012-06-19 한국전자통신연구원 이질적 정보를 이용하여 가상 휴먼의 표정을 제어하기 위한 장치 및 그 방법
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
KR102091848B1 (ko) * 2013-01-04 2020-03-20 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036874A (ja) * 2005-07-28 2007-02-08 Univ Of Tokyo 視聴者情報測定システム及びこれを用いたマッチングシステム
JP2009005094A (ja) * 2007-06-21 2009-01-08 Mitsubishi Electric Corp 携帯端末
KR20110100061A (ko) * 2010-03-03 2011-09-09 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
KR20110115906A (ko) * 2010-04-16 2011-10-24 엘지전자 주식회사 컨텐츠 시청 정보 표시 방법, 그를 이용한 디스플레이 장치 및 리모트 컨트롤러

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160029375A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
KR20170013623A (ko) * 2015-07-28 2017-02-07 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 방법
US10078441B2 (en) 2015-07-28 2018-09-18 Samsung Electronics Co., Ltd Electronic apparatus and method for controlling display displaying content to which effects is applied

Also Published As

Publication number Publication date
US9807298B2 (en) 2017-10-31
US20180054564A1 (en) 2018-02-22
US20140192229A1 (en) 2014-07-10
KR102091848B1 (ko) 2020-03-20

Similar Documents

Publication Publication Date Title
KR102091848B1 (ko) 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US10721194B2 (en) User terminal device for recommending response to a multimedia message based on age or gender, and method therefor
US9681186B2 (en) Method, apparatus and computer program product for gathering and presenting emotional response to an event
CN113115099B (zh) 一种视频录制方法、装置、电子设备以及存储介质
CN104636106B (zh) 图片显示方法和装置、终端设备
US20100086204A1 (en) System and method for capturing an emotional characteristic of a user
KR20160087222A (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
CN102938826A (zh) 使用多个相机照相
US9589296B1 (en) Managing information for items referenced in media content
US20170329855A1 (en) Method and device for providing content
CN106789551B (zh) 会话消息展示方法及装置
WO2018098968A9 (zh) 一种拍照方法、装置及终端设备
CN109086366A (zh) 浏览器中的推荐新闻显示方法、装置、设备及存储介质
CN113099297A (zh) 卡点视频的生成方法、装置、电子设备及存储介质
CN107423058A (zh) 一种界面显示方法及装置
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
JP2014142876A (ja) データ生成装置、コンテンツ再生装置、および記憶媒体
CN103927334B (zh) 网页获取方法及装置
CN110008357A (zh) 事件记录方法、装置、电子设备及存储介质
CN107908324A (zh) 界面展示方法及装置
CN114780181A (zh) 资源显示方法、装置、计算机设备及介质
CN115129211A (zh) 生成多媒体文件的方法、装置、电子设备及存储介质
CN112825544A (zh) 图片处理方法、装置及存储介质
CN109885751A (zh) 一种数据处理方法、装置和用于数据处理的装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant