KR20150042886A - Emotional contents operating System, method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same - Google Patents

Emotional contents operating System, method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same Download PDF

Info

Publication number
KR20150042886A
KR20150042886A KR20130121065A KR20130121065A KR20150042886A KR 20150042886 A KR20150042886 A KR 20150042886A KR 20130121065 A KR20130121065 A KR 20130121065A KR 20130121065 A KR20130121065 A KR 20130121065A KR 20150042886 A KR20150042886 A KR 20150042886A
Authority
KR
South Korea
Prior art keywords
content
emotional
information
emotion
contents
Prior art date
Application number
KR20130121065A
Other languages
Korean (ko)
Other versions
KR102087290B1 (en
Inventor
주성환
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020130121065A priority Critical patent/KR102087290B1/en
Publication of KR20150042886A publication Critical patent/KR20150042886A/en
Application granted granted Critical
Publication of KR102087290B1 publication Critical patent/KR102087290B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Strategic Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Ecology (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to an emotional content operating system, which analyzes an emotional value corresponding to the emotional status of a user to specific content or while playing the specific content, creates emotional content indicating the user′s emotional status by combining the analyzed emotional value with the content; and provides a service in accordance with the user′s location by mapping the created emotional content to a map. The present invention also relates to a method for operating an emotional content service thereof, a service providing apparatus supporting thereof, a terminal emotional content operating system, and an electronic device supporting the same.

Description

감성 컨텐츠 운용 시스템, 그의 감성 컨텐츠 서비스 운용 방법, 이를 지원하는 서비스 제공 장치 및 단말기 {Emotional contents operating System, method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same}TECHNICAL FIELD [0001] The present invention relates to an emotional content operation system, a method of operating the emotional content service, a service providing apparatus and a terminal supporting the emotional content operation service, a method for operating an emotional contents service thereof,

본 발명은 컨텐츠 운용에 관한 것으로, 특히 특정 컨텐츠 혹은 특정 컨텐츠가 재생되는 동안 사용자의 감정 값을 분석하고, 분석된 감정 값을 해당 컨텐츠와 결합함으로써 사용자의 감성이 결합된 감성 컨텐츠를 생성하고, 생성된 감성 컨텐츠를 지도와 매핑하여 제공하는 감성 컨텐츠 운용 시스템, 그의 감성 컨텐츠 서비스 운용 방법, 이를 지원하는 서비스 제공 장치 및 단말기에 관한 것이다.The present invention relates to a content management system, and more particularly, it relates to a content management system, and more particularly, to a system and method for analyzing emotional values of a user during a specific content or a specific content is reproduced, A method of operating the emotional content service, a service providing device and a terminal supporting the emotional content service.

최근 정보통신 기술과 반도체 기술 등의 눈부신 발전에 힘입어 휴대 단말기의 보급과 이용이 급속도로 증가하고 있다. 특히, 최근의 휴대 단말기는 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말기들의 영역까지 아우르는 모바일 융/복합(mobile convergence) 단계에 이르고 있다. 대표적으로 이동통신 단말기의 경우에는 음성통화나 메시지 송수신과 같은 일반적인 통신 기능 외에도 DMB(Digital Multimedia Broadcasting)나 DVB(Digital Video Broadcasting)와 같은 이동 방송 시청 기능, MP3(MPEG Audio Layer-3)와 같은 음악 재생 기능, 사진 촬영 기능, 인터넷 접속 기능 등 다양한 기능들이 부가되고 있다. 이와 같이 종래 휴대 단말기는 저장된 특정 컨텐츠를 재생하는 서비스를 지원한다. Recently, due to the remarkable development of information communication technology and semiconductor technology, the spread and use of mobile terminals are rapidly increasing. In particular, recent mobile terminals have reached the stage of mobile convergence, which does not stay in the conventional inherent domain but covers other terminals. Typically, in the case of a mobile communication terminal, a mobile broadcasting viewing function such as DMB (Digital Multimedia Broadcasting) or DVB (Digital Video Broadcasting), MP3 (MPEG Audio Layer-3) Playback function, photo shooting function, internet access function, and the like. Thus, the conventional portable terminal supports a service for playing back the stored specific contents.

한편, 휴대 단말기를 사용하는 사용자는 재생되는 컨텐츠에 대한 다양한 생각과 감정을 가질 수 있다. 그런데 이러한 생각과 감정들은 일시적으로 형성되기 때문에 이를 기록하는 것이 용이치 않다. 따라서 종래 휴대 단말기 사용자는 휴대 단말기를 사용하면서 가지는 생각과 감정들에 대한 기록에 어려움을 가지고 있었다.Meanwhile, a user using the portable terminal can have various thoughts and feelings about the content to be reproduced. These thoughts and feelings are temporarily formed, so it is unreasonable to record them. Therefore, the conventional portable terminal user has difficulty in recording the thoughts and feelings he has while using the portable terminal.

한국등록특허 제0600537호, 2006년 07월 06일 등록 (명칭: 타게팅 컨텐츠 및 광고 서비스 방법 및 그 시스템)Korean Registered Patent No. 0600537, July 06, 2006 (Name: Targeting Content and Advertising Service Method and System)

따라서 본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명은 특정 컨텐츠 또는 특정 컨텐츠를 재생하는 중에 사용자의 감정 상태에 대응하는 감정 값을 분석하고, 분석된 감정 값을 컨텐츠와 결합하여 사용자의 감성 상태를 알 수 있는 감성 컨텐츠를 생성하고, 생성된 감성 컨텐츠를 지도와 매핑하여 위치 기반으로 제공하는 감성 컨텐츠 운용 시스템, 그의 감성 컨텐츠 서비스 운용 방법, 이를 지원하는 서비스 제공 장치 및 단말기 감성 컨텐츠 운용 시스템과 이를 지원하는 단말기 및 운용 방법을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the problems of the related art described above, and it is an object of the present invention to provide a method and apparatus for analyzing emotion values corresponding to a user's emotion state during reproduction of specific contents or specific contents, An emotional content management system for generating emotional content that can recognize the emotional state of a user by combining the generated emotional content and mapping the generated emotional content to a map and providing the generated emotional content to a location basis; We will provide a sensitive content management system, a terminal supporting it, and a method of operation.

또한 본 발명은 사용자 감정이 결합된 감성 컨텐츠를 위치 기반으로 제공함으로써 사용자의 기억을 보조하거나 타 사용자들과의 감정 공유를 지원할 수 있는 감성 컨텐츠 운용 시스템, 그의 감성 컨텐츠 서비스 운용 방법, 이를 지원하는 서비스 제공 장치 및 단말기 감성 컨텐츠 운용 시스템과 이를 지원하는 단말기 및 운용 방법을 제공하고자 한다. The present invention also provides an emotional content management system capable of assisting a user in memorizing or sharing emotions with other users by providing emotional contents combined with user emotions on a location basis, a method of operating the emotional content service, And a terminal operating method and a method of operating the content management system.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 단말기는 신체의 적어도 일부 변화에 해당하는 바이오 정보를 수집하는 바이오 정보 수집부; 바이오 정보 수집부에서 수집된 바이오 정보를 사용자의 감정 값으로 변환하고, 감정 값을 지정된 특정 컨텐츠 또는 현재 재생 중인 컨텐츠와 결합하여 감성 컨텐츠를 생성하고, 생성된 감성 컨텐츠를 특정 위치 정보와 매핑하여 관리하는 제어부; 위치 정보를 기반으로 지도 상에 상기 감성 컨텐츠를 매핑하여 출력하는 표시부; 지도 데이터 및 상기 감성 컨텐츠를 저장하는 저장부를 포함하여 이루어진다.According to another aspect of the present invention, there is provided a terminal comprising: a bio information collector for collecting bio information corresponding to at least a change of a body; Converts the bio information collected by the bio information collecting unit into the user's emotion value, combines the emotion value with the specified content or the currently reproduced content to generate emotional content, maps the generated emotional content to specific position information ; A display unit for mapping the emotional content on a map based on position information and outputting the sensed content; Map data, and a storage unit for storing the sensible contents.

본 발명에 따른 단말기는, 사용자가 상기 특정 위치 정보를 선택 또는 입력하기 위한 입력부를 더 포함하고, 제어부가 입력부를 통해 선택 또는 입력된 특정 위치 정보를 감성 컨텐츠와 매핑하거나, 단말기의 현재 위치를 측정하여 위치 정보를 출력하는 위치 측정부를 더 포함하고, 제어부가 위치 측정부로부터 출력된 위치 정보를 감성 컨텐츠와 매핑할 수 있다.The terminal according to the present invention may further include an input unit for the user to select or input the specific location information, wherein the control unit maps the specific location information selected or input through the input unit to the sensible content, The control unit may map the position information output from the position measurement unit to the sensible content.

더하여, 본 발명에 따른 단말기에 있어서, 저장부는 바이오 정보에 대응하는 감정 값들을 포함하는 감정 테이블을 더 저장하고, 제어부가 수집되는 바이오 정보를 상기 감정 테이블을 기반으로 감정 값으로 변환할 수 있다.In addition, in the terminal according to the present invention, the storage unit may further store an emotion table including emotion values corresponding to the bio information, and the controller may convert the bio information to emotion values based on the emotion table.

또한, 본 발명에 따른 단말기에 있어서, 제어부는 컨텐츠가 재생되는 동안, 일정 시간 단위로 바이오 정보를 수집하여 하나 이상의 감정 값들을 수집하고, 이를 시간별로 연결한 시간별 감정 값들을 컨텐츠와 결합하거나, 컨텐츠가 재생되는 동안, 일정 시간 단위로 수집한 바이오 정보들을 변환한 하나 이상의 감정 값의 평균값을 기반으로 지배적 감정 값을 산출한 후, 산출된 지배적 감정 정보를 컨텐츠와 결합할 수 있다. 아울러, 지배적 감정 정보의 산출 시, 일정 시간 단위로 수집한 감정 값들에 시간별 가중치를 더 부여할 수 도 있다.Also, in the terminal according to the present invention, the controller collects bio-information on a predetermined time basis to collect one or more emotion values while the contents are being reproduced, combines the emotion values according to time, It is possible to calculate the dominant emotion value based on the average value of the one or more emotion values obtained by converting the bio information collected in a predetermined time unit and then combine the calculated dominant emotion information with the content. In calculating the dominant emotion information, it is also possible to give more weight to the emotion values collected in units of time.

또한, 본 발명에 따른 단말기에 있어서, 바이오 정보 수집부는 심박 측정 센서, 뇌파 측정 센서, 혈압 측정 센서, 체온 측정 센서 중 적어도 하나를 포함할 수 있다.Further, in the terminal according to the present invention, the bio-information collector may include at least one of a heart rate sensor, an EEG sensor, a blood pressure measurement sensor, and a body temperature measurement sensor.

더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 본 발명에 따른 감성 컨텐츠 서비스를 위한 서비스 제공 장치는, 신체의 적어도 일부 변화에 해당하는 바이오 정보에 대응하는 감정 값이 연결된 적어도 하나의 감성 컨텐츠 및 각 감성 컨텐츠의 감정 값을 획득한 위치 정보 또는 지정된 위치 정보를 단말기로부터 수신하여 저장하는 서비스 저장부; 단말기와의 데이터 송수신을 지원하는 서비스 통신부; 단말기의 요청에 대응하여 감성 컨텐츠를 수신하면, 특정 감성 컨텐츠를 상기 위치 정보와 매핑하여 서비스 저장부에 저장하며, 하나 이상의 감성 컨텐츠를 위치 정보를 기반으로 지도 상에 매핑하여 제공하는 서비스 제어부;를 포함한다.In addition, according to another aspect of the present invention, there is provided an apparatus for providing a service for an emotional content service, the apparatus comprising: at least one emotional content And a service storage unit for receiving and storing location information or designated location information obtained from the emotion value of each sensible content from the terminal; A service communication unit for supporting data transmission / reception with the terminal; A service controller for mapping specific emotional contents to the positional information and storing the mapped emotional contents in a service storage unit when the emotional contents are received in response to a request of the terminal, .

본 발명에 따른 서비스 제공 장치에 있어서, 서비스 제어부는 하나 이상의 감성 컨텐츠를 사용자, 위치, 컨텐츠 중 하나 이상을 기준으로 분류하여 제공할 수 있다.In the service providing apparatus according to the present invention, the service control unit may classify one or more emotional contents by classifying at least one of the user, the location, and the content.

또한, 본 발명은 신체의 적어도 일부 변화에 해당하는 바이오 정보를 수집하고, 수집된 바이오 정보를 사용자의 감정 값으로 변환하여 지정된 특정 컨텐츠 또는 현재 재생 중인 컨텐츠에 연결하여 감성 컨텐츠를 생성하고, 감성 컨텐츠 및 특정 위치 정보를 서비스 제공 장치로 전송하는 하나 이상의 단말기; 및 상기 하나 이상의 단말기로부터 제공받은 하나 이상의 감성 컨텐츠를 각각 매핑된 특정 위치 정보를 기준으로 지도 상에 매핑하여 하나 이상의 단말기에 제공하는 서비스 제공 장치;를 포함하는 감성 컨텐츠 운용 시스템을 더 제공한다.In addition, the present invention collects bio information corresponding to at least some changes of the body, converts the collected bio information into a user's emotion value, creates emotional contents by connecting the specified specific contents or currently reproduced contents, And at least one terminal for transmitting specific location information to the service providing apparatus; And a service providing device for mapping the at least one emotional content provided from the one or more terminals onto the map based on the mapped specific location information and providing the mapped content to one or more terminals.

더하여, 본 발명은 신체의 적어도 일부 변화에 해당하는 바이오 정보에 대응하는 감정 값이 연결된 적어도 하나의 감성 컨텐츠 및 각 감성 컨텐츠의 감정 값을 획득한 위치 정보 또는 지정된 위치 정보를 하나 이상의 단말기로부터 수신하는 단계; 하나 이상의 감성 컨텐츠를 각 위치 정보와 매핑하여 저장하는 단계; 특정 단말기로부터의 요청에 따라서, 하나 이상의 감성 컨텐츠를 위치 정보를 기반으로 지도 상에 매핑하여 특정 단말기로 제공하는 단계를 포함하는 서비스 제공 장치의 감성 컨텐츠 서비스 운용 방법을 제공한다.In addition, the present invention provides a method for receiving at least one emotional content corresponding to bio information corresponding to at least a part of a body and receiving positional information or designated positional information obtained from an emotion value of each emotional content from one or more terminals step; Mapping one or more emotional contents to each positional information and storing them; And mapping one or more emotional contents to a map on the map based on location information according to a request from a specific terminal and providing the map to a specific terminal.

본 발명에 따른 서비스 제공 장치의 감성 컨텐츠 서비스 운용 방법은, 지도 상에 매핑된 하나 이상의 감성 컨텐츠 중 특정 단말기에서 선택된 감성 컨텐츠를 특정 단말기로 제공하는 단계;를 더 포함할 수 있다.The method of operating an emotional content service of a service providing apparatus according to the present invention may further include providing emotional contents selected from a specific terminal among the one or more emotional contents mapped on a map to a specific terminal.

또한, 본 발명은, 신체의 적어도 일부 변화에 해당하는 바이오 정보를 수집하는 단계; 수집된 바이오 정보를 사용자의 감정 값으로 변환하는 단계; 감정 값을 지정된 특정 컨텐츠 또는 현재 재생 중인 컨텐츠와 결합하여 감성 컨텐츠를 생성하는 단계; 감성 컨텐츠를 특정 위치 정보와 매핑하는 단계; 특정 위치 정보를 기준으로 감성 컨텐츠를 지도 상에 매핑하여 출력하는 단계;를 포함하는 단말기의 감성 컨텐츠 서비스 운용 방법을 제공한다.In addition, the present invention provides a bio-information processing method comprising the steps of: collecting bio-information corresponding to at least a change of a body; Converting the collected bio information into a user's emotion value; Generating emotional content by combining the emotion value with the specified specific content or the currently reproduced content; Mapping sensitive content to specific location information; And mapping and outputting emotional contents on a map based on specific location information and outputting the mapped content.

본 발명에 따른 단말기의 감성 컨텐츠 서비스 운용 방법에 있어서, 상기 수집하는 단계는, 컨텐츠가 재생되는 동안, 일정 시간 단위로 하나 이상의 바이오 정보를 수집할 수 있으며, 상기 감성 컨텐츠를 생성하는 단계는, 일정 시간 단위로 수집된 하나 이상의 바이오 정보로부터 변환된 하나 이상의 감정 값을 시간별로 연결한 시간별 감정 값을 컨텐츠와 결합하거나, 일정 시간 단위로 수집된 하나 이상의 바이오 정보로부터 변환된 하나 이상의 감정 값의 평균 값을 기반으로 산출된 지배적 감정 값을 컨텐츠와 결합할 수 있다.In the method of operating an emotional content service of a terminal according to the present invention, the collecting step may collect one or more pieces of bio information at predetermined time intervals while contents are reproduced, The method includes combining time-based emotion values obtained by connecting one or more emotion values converted from one or more pieces of bio information collected in a time unit by time or combining average values of one or more emotion values converted from one or more pieces of bio information collected in a predetermined time unit Can combine the dominant emotion value calculated based on the content with the content.

또한, 본 발명에 따른 단말기의 감성 컨텐츠 서비스 운용 방법은, 생성된 감성 컨텐츠 및 매핑된 특정 위치 정보를 서비스 제공 장치에 전송하는 단계; 및 서비스 제공 장치로부터 하나 이상의 감성 컨텐츠가 매핑된 지도 데이터를 수신하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of operating an emotional content service of a terminal, the method comprising: transmitting sensed content and mapped specific location information to a service providing apparatus; And receiving map data on which one or more emotional contents are mapped from the service providing apparatus.

본 발명은 또한, 상술한 감성 컨텐츠 서비스 운용 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체의 구성을 개시한다.The present invention also discloses the structure of a computer-readable recording medium on which a program for executing the emotional content service operating method described above is recorded.

상술한 바와 같이 본 발명의 실시 예에 따른 감성 컨텐츠 운용 시스템과 이를 지원하는 감성 컨텐츠 운용 방법에 따르면, 본 발명은 특정 컨텐츠 혹은 상기 특정 컨텐츠의 재생 중에 나타나는 사용자의 일시적인 감정을 수집하고 이를 해당 컨텐츠와 결합하여 사용자의 감성이 표현된 감성 컨텐츠를 생성할 수 있다.As described above, according to the emotional content management system and the emotional content management method supporting the emotional content management system according to the embodiment of the present invention, the present invention collects the temporary emotions of the user appearing during the reproduction of specific contents or the specific contents, It is possible to generate emotional contents in which the emotion of the user is expressed.

아울러, 본 발명은 생성된 감성 컨텐츠를 지정된 혹은 검출된 위치 정보를 기반으로 지도 상에 매핑하여 나타냄으로써, 사용자의 기억을 보조하거나 타 사용자들과의 감정을 보다 쉽게 공유할 수 있도록 지원할 수 있다.Further, according to the present invention, the generated emotional contents are mapped on the map based on the specified or detected location information, so that it is possible to assist the user in memorizing or sharing emotions with other users more easily.

특히, 본 발명은 감성 컨텐츠를 관리하는데 있어서, 상기 감성 컨텐츠에 대한 감정이 획득된 위치 정보를 기반으로 지도 상에 매핑하여 관리함으로써, 감성 컨텐츠를 보다 쉽게 관리할 수 있도록 한다.In particular, in managing emotional contents, the present invention manages emotional contents more easily by mapping and managing the emotions on the map on the basis of the obtained location information.

도 1은 본 발명의 실시 예에 따른 감성 컨텐츠 운용 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 감성 컨텐츠 운용을 지원하는 단말기 구성을 개략적으로 나타낸 것이다.
도 3은 본 발명의 실시 예에 따른 단말기의 제어부 구성을 보다 상세히 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 감성 컨텐츠 운용을 지원하는 서비스 제공 장치 구성을 개략적으로 나타낸 것이다.
도 5는 본 발명의 실시 예에 따른 단말기의 감성 컨텐츠 서비스 운용 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 서비스 제공 장치의 감성 컨텐츠 서비스 운용 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 단말기의 화면 인터페이스의 일예를 나타낸 도면이다.
FIG. 1 is a diagram illustrating a configuration of an emotional content management system according to an embodiment of the present invention.
FIG. 2 schematically shows a terminal configuration supporting emotional content operation according to an embodiment of the present invention.
3 is a detailed block diagram of a control unit of a terminal according to an embodiment of the present invention.
4 schematically shows a configuration of a service providing apparatus for supporting emotional content operation according to an embodiment of the present invention.
5 is a diagram illustrating a method of operating an emotional content service of a terminal according to an embodiment of the present invention.
6 is a diagram for explaining a method of operating an emotional content service of a service providing apparatus according to an embodiment of the present invention.
7 is a diagram illustrating an example of a screen interface of a terminal according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that, in the drawings, the same components are denoted by the same reference numerals as possible. Further, the detailed description of known functions and configurations that may obscure the gist of the present invention will be omitted.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.It should be noted that the embodiments of the present invention disclosed in the present specification and drawings are only illustrative of the present invention in order to facilitate the understanding of the present invention and are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

도 1은 본 발명의 실시 예에 따른 감성 컨텐츠 운용 시스템의 구성을 나타낸 도면이다.FIG. 1 is a diagram illustrating a configuration of an emotional content management system according to an embodiment of the present invention.

도 1을 참조하면, 감성 컨텐츠 운용 시스템(1000)은 다수의 단말기(100, 101, 102), 통신망(300), 서비스 제공 장치(200)를 포함할 수 있다.1, the emotional content operating system 1000 may include a plurality of terminals 100, 101, and 102, a communication network 300, and a service providing apparatus 200.

이러한 구성의 감성 컨텐츠 운용 시스템(1000)은 하나 이상의 단말기(100, 101, 102)가 생성한 감성 컨텐츠를 서비스 제공 장치(200)에 업로드 하도록 지원할 수 있다. 또한 감성 컨텐츠 운용 시스템(1000)은 하나 이상의 단말기(100, 101, 102)들이 업로드한 감성 컨텐츠를 공유하도록 지원할 수 있다. 특히 본 발명의 감성 컨텐츠 운용 시스템(1000)은 특정 단말기(100)가 업로드한 감성 컨텐츠를 다른 단말기들(101, 102)에 제공할 수 있다. 이때 서비스 제공 장치(200)는 하나 이상의 단말기(100, 101, 102)가 업로드한 감성 컨텐츠들을 지도 기반으로 제공할 수 있으며, 아울러, 상기 감성 컨텐츠들을 일정 기준에 따라 분류하여 제공할 수 있다. 예컨대, 서비스 제공 장치(200)는 감성 컨텐츠들을 단말기별, 위치 별로, 감성별로 분류하여 제공할 수 있다. The emotional content operating system 1000 having such a configuration can support the emotional content generated by one or more terminals 100, 101, and 102 to upload to the service providing apparatus 200. In addition, the emotional content management system 1000 may support sharing of emotional contents uploaded by one or more terminals 100, 101, and 102. In particular, the emotional content management system 1000 of the present invention can provide emotional contents uploaded by a specific terminal 100 to other terminals 101 and 102. At this time, the service providing apparatus 200 may provide the emotional contents uploaded by one or more terminals 100, 101, and 102 on a map basis, and may classify and provide the emotional contents according to a certain criterion. For example, the service providing apparatus 200 can classify emotional contents classified by terminal, by location, and by emotion.

하나 이상의 단말기(100, 101, 102)는 특정 컨텐츠 혹은 재생중인 컨텐츠와 관련한 사용자의 감정 정보를 분석하고, 분석된 감정 정보를 해당 컨텐츠와 결합하여 사용자의 감성이 표현된 감성 컨텐츠를 생성할 수 있다.The one or more terminals 100, 101, and 102 may analyze the user's emotion information related to the specific content or the content being reproduced, and may combine the analyzed emotion information with the corresponding content to generate emotional content expressed by the emotion of the user .

아울러, 하나 이상의 단말기(100, 101, 102)는 서비스 제공 장치(200)에 접속하여, 생성한 하나 이상의 감성 컨텐츠를 업로드하고, 아울러, 서비스 제공 장치(200)가 제공하는 적어도 하나의 감성 컨텐츠를 다운로드할 수 있다. 이때, 단말기(100, 101, 102)는 감성 컨텐츠와 함께 대응하는 위치 정보를 수신할 수 있다. 단말기(100, 101, 102)는 수신된 감성 컨텐츠에서 위치 정보를 추출하고, 추출된 위치 정보를 기반으로 해당 감성 컨텐츠와 지도 정보(157)의 위치 매핑을 수행할 수 있다. 이에 따라, 단말기(100)는 감성 컨텐츠 검색을 요청하는 입력 이벤트가 발생하면, 지도 상에 상기 위치 정보를 기반으로 감성 컨텐츠를 배치하여 출력할 수 있다. 여기서, 감성 컨텐츠는 소정의 아이콘 형태로 표시될 수 있다. 본 발명의 다른 실시 예에서, 단말기(100, 101, 102)는 서비스 제공 장치(200)로부터 하나 이상의 감성 컨텐츠가 매핑된 지도 데이터를 수신하여 출력할 수 도 있다. 아울러, 단말기(100, 101, 102)는 지도 상에 배치된 감성 컨텐츠 중 특정 감성 컨텐츠를 선택하는 이벤트 발생 시, 해당 감성 컨텐츠의 상세보기(혹은 재생) 화면을 출력할 수 있다. 감성 컨텐츠 아이템의 상세 보기 화면은 감성 컨텐츠에 포함된 컨텐츠의 표시 영역 또는 컨텐츠의 재생 영역을 포함하며, 감정 값 표시 영역을 포함할 수 있다. In addition, one or more terminals 100, 101, and 102 access the service providing apparatus 200 to upload the generated one or more emotional contents, and transmit at least one emotional content provided by the service providing apparatus 200 You can download it. At this time, the terminals 100, 101, and 102 may receive corresponding location information together with emotional contents. The terminals 100, 101, and 102 may extract the location information from the received emotional content and map the location of the emotional content and the map information 157 based on the extracted location information. Accordingly, when the input event for requesting the search for emotional contents occurs, the terminal 100 can arrange the emotional contents based on the location information on the map and output the emotional contents. Here, the emotional contents can be displayed in a predetermined icon form. In another embodiment of the present invention, the terminals 100, 101, and 102 may receive and output map data on which one or more emotional contents are mapped from the service providing apparatus 200. In addition, the terminals 100, 101, and 102 can output a detailed view (or playback) screen of the sensible contents when an event for selecting specific sensible contents among the sensible contents arranged on the map is displayed. The detailed view of the emotional content item includes a display area of the content included in the emotional content or a content playback area, and may include an emotion value display area.

통신망(300)은 단말기(100, 101, 102)와 서비스 제공 장치(200) 간의 통신 채널, 단말기(100, 101, 102) 간의 통신 채널 등을 형성하도록 지원한다. 이러한 통신망(300)은 단말기(100, 101, 102)의 통신 채널 형성을 위한 기지국을 포함하며, 각 기지국을 제어하는 제어기 및 호 전환을 위한 코어 통신망을 포함하여 구성될 수 있다. 통신망(300)은 단말기(100, 101, 102)가 이동통신 기능을 지원하는 기기인 경우 다양한 통신 방식을 지원하는 이동통신 기지국 중 적어도 하나를 포함할 수 있으며, 또한 무선 기지국들 중 적어도 하나를 포함할 수 있다. The communication network 300 supports a communication channel between the terminals 100, 101 and 102 and the service providing apparatus 200 and a communication channel between the terminals 100, 101 and 102. The communication network 300 includes a base station for forming communication channels of the terminals 100, 101 and 102, a controller for controlling each base station, and a core communication network for call switching. The communication network 300 may include at least one of mobile communication base stations supporting various communication methods when the terminals 100, 101, 102 are devices supporting mobile communication functions, and may include at least one of the wireless base stations can do.

예를 들어 통신망(300)은 본 발명의 감성 컨텐츠 송수신을 위하여 SMS(Short Message Service), LMS(Long Message Service) 및 MMS(Multimedia Message Service) 지원을 위한 통신 채널을 형성할 수 있다. 또한 통신망(300)은 본 발명의 감성 컨텐츠 전송을 위하여 SNS(Social Network Service) 채널, 채팅 서비스 채널, 이메일 서비스 채널 등의 데이터 서비스 채널을 형성할 수 있다. For example, the communication network 300 may form a communication channel for supporting Short Message Service (SMS), Long Message Service (LMS), and Multimedia Message Service (MMS) for transmitting and receiving emotional contents of the present invention. Also, the communication network 300 may form a data service channel such as an SNS (social network service) channel, a chat service channel, and an e-mail service channel for the emotional contents transmission of the present invention.

다음으로, 본 발명에 따른 감성 컨텐츠 운용 시스템(100)을 구성하는 단말기(100, 101, 102) 및 서비스 제공 장치(200)의 구성 및 작용을 더 구체적으로 설명한다.Next, the configuration and operation of the terminals 100, 101, and 102 and the service providing apparatus 200 constituting the emotional content operating system 100 according to the present invention will be described more specifically.

도 2는 본 발명의 실시 예에 따른 감성 컨텐츠 운용을 지원하는 단말기 구성을 개략적으로 나타낸 것이다. 참고로, 이하에서는 단말기(100)을 기준으로 설명하나, 다른 단말기(101, 102)도 하기에서 설명하는 구성 및 기능을 포함할 수 있다.FIG. 2 schematically shows a terminal configuration supporting emotional content operation according to an embodiment of the present invention. For reference, the following description will be made on the basis of the terminal 100, but other terminals 101 and 102 may also have the configuration and functions described below.

도 2를 참조하면, 본 발명에 따른 단말기(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150), 바이오 정보 수집부(170), 카메라부(180), 위치 측정부(190) 및 제어부(160)의 구성을 포함할 수 있다.2, a terminal 100 according to the present invention includes a communication unit 110, an input unit 120, an audio processing unit 130, a display unit 140, a storage unit 150, a bio information collection unit 170, A camera unit 180, a position measuring unit 190, and a controller 160. [

이와 같은 구성의 단말기(100)는 바이오 정보 수집부(170)를 기반으로 수집되는 바이오 정보를 분석하여 사용자의 감정을 나타내는 감정 값을 산출할 수 있다. 그리고, 단말기(100)는 산출된 감정 값을 이용하여 다양한 감성 컨텐츠의 생성 및 운용을 지원할 수 있다. 예컨대, 단말기(100)는 산출된 감정 값을 저장부(150)에 저장된 컨텐츠(151)와 결합하여 감성 컨텐츠(155)를 생성할 수 있다. 이때, 상기 감정 값과 결합되는 컨텐츠(151)는 현재 재생중인 컨텐츠거나 사용자에 의해 선택된 컨텐츠일 수 있다.The terminal 100 having the above-described structure may analyze the bio information collected on the basis of the bio-information collector 170 to calculate an emotion value indicating the emotion of the user. The terminal 100 can support the generation and operation of various emotional contents using the calculated emotion value. For example, the terminal 100 may generate the emotional content 155 by combining the calculated emotion value with the content 151 stored in the storage unit 150. [ At this time, the content 151 combined with the emotion value may be the currently playing content or the content selected by the user.

그리고, 단말기(100)는 위치 측정부(190)를 통해서 측정된 감정 값 산출 시점의 위치 정보 또는 입력부(120)를 통해 사용자에 의해 지정된 위치 정보를 상기 감성 컨텐츠(155)와 매핑할 수 있다. 이렇게 매핑된 위치 정보는 추후 감성 컨텐츠(155)의 출력 시, 지도 기반으로 출력될 수 있도록 이용된다. 또한 단말기(100)는 생성된 감성 컨텐츠(155)를 서비스 제공 장치(200)를 통하여 타 단말기와 공유할 수 있다. The terminal 100 may map the location information of the emotion value measured through the position measuring unit 190 or the location information designated by the user through the input unit 120 to the emotional contents 155. The location information thus mapped is used to output the map based on the output of the emotional contents 155 in the future. In addition, the terminal 100 can share the generated emotional contents 155 with other terminals through the service providing apparatus 200. [

이와 관련된 각 구성 요소의 기능을 더 구체적으로 설명한다.The function of each component related thereto will be described in more detail.

통신부(110)은 단말기(100)의 통신 기능을 지원하기 위한 통신 채널을 형성한다. 통신부(110)은 통신망(300)을 통하여 서비스 제공 장치(200)와 통신 채널을 형성할 수 있다. 통신부(110)은 형성된 통신 채널을 통하여 단말기(100)의 감성 컨텐츠(155)를 서비스 제공 장치(200)에 업로드할 수 있다. 통신부(110)은 서비스 제공 장(200)치에 접속 상태를 유지하고, 서비스 제공 장치(200)에 저장된 하나 이상의 감성 컨텐츠 공유를 지원할 수 있다. 여기서 서비스 제공 장치(200)가 클라우드 서비스 장치 형태로 설계되는 경우 통신부(110)은 클라우드 서비스 장치와 통신 채널을 형성하게 된다. 통신부(110)은 사용자 제어에 따라 감성 컨텐츠(155)를 타 단말기에 직접 전송할 수도 있다. 또한 통신부(110)은 사용자 제어에 따라 타 단말기가 생성한 감성 컨텐츠를 서비스 제공 장치(200)를 거치지 않고 타 단말기로부터 수신할 수도 있다.The communication unit 110 forms a communication channel for supporting the communication function of the terminal 100. The communication unit 110 may form a communication channel with the service providing apparatus 200 through the communication network 300. The communication unit 110 can upload the emotional contents 155 of the terminal 100 to the service providing apparatus 200 through the formed communication channel. The communication unit 110 maintains a connection state with the service providing site 200 and can support sharing of one or more emotional contents stored in the service providing device 200. Here, when the service providing apparatus 200 is designed as a cloud service apparatus, the communication unit 110 forms a communication channel with the cloud service apparatus. The communication unit 110 may directly transmit the emotional contents 155 to another terminal according to user control. In addition, the communication unit 110 may receive emotional contents generated by another terminal according to a user's control from another terminal without going through the service providing apparatus 200.

이러한 통신부(110)은 다양한 통신 방식 중 적어도 하나의 통신 방식을 지원하는 적어도 하나의 통신부일 수 있다. 예컨대, 통신부(110)은 이동통신 기능을 지원하는 이동통신모듈을 포함할 수 있다. 즉, 통신부(110)은 다양한 통신 방식 중 적어도 하나의 이동통신 방식을 지원하는 형태로 마련될 수 있다. 또한 통신부(110)은 인터넷 통신망 통신 모뎀 형태로 마련될 수도 있다. 따라서, 본 발명에서 통신부(110)은 특정 통신 방식이나 전송 형태로 한정되는 것이 아니라, 단말기(100)와 서비스 제공 장치(200) 간의 통신 채널, 단말기(100)와 타 단말기와의 통신 채널 등을 형성할 수 있는 다양한 통신 방식 중 적어도 하나의 형태일 수 있다. The communication unit 110 may be at least one communication unit supporting at least one of various communication methods. For example, the communication unit 110 may include a mobile communication module supporting a mobile communication function. That is, the communication unit 110 may support at least one of various communication methods. Also, the communication unit 110 may be provided in the form of an Internet communication network communication modem. Therefore, the communication unit 110 of the present invention is not limited to a specific communication method or transmission mode, but may be a communication channel between the terminal 100 and the service providing apparatus 200, a communication channel between the terminal 100 and another terminal, And may be in the form of at least one of various communication schemes that can be formed.

입력부(120)은 단말기(100)의 기능 조작을 위한 구성으로서, 숫자 또는 다양한 문자 정보를 입력 받고, 각종 기능들의 설정 및 단말기(100)의 기능 제어를 위한 입력키 및 기능키들을 포함할 수 있다. 예컨대, 입력부(120)은 단말기(100) 기능 지원에 따라 음성 통화 요청을 위한 통화키, 화상 통화 요청을 위한 화상 통화키, 음성 통화 또는 화상 통화 종료 등을 요청하는 종료키, 오디오 신호의 출력 볼륨을 조정할 수 있는 볼륨키 및 방향키 등을 포함할 수 있다. 입력부(120)는 표시부(140)에 출력되는 터치 맵의 형태로 구성될 수도 있다. The input unit 120 may include input keys and function keys for inputting numbers or various character information and for setting various functions and controlling the functions of the terminal 100 . For example, the input unit 120 may include a call key for a voice call request, a video call key for a video call request, an end key for requesting a voice call or a video call end, A volume key and an arrow key for adjusting the volume of the image. The input unit 120 may be configured in the form of a touch map output to the display unit 140.

이러한 입력부(120)는 감성 컨텐츠를 지원과 관련된 감성 모드 진입과 관련한 입력 신호, 바이오 정보 수집 제어와 관련한 입력 신호, 감성 컨텐츠(155)의 생성 허락과 저장과 관련한 입력 신호를 사용자 제어에 따라 생성할 수 있다. 또한 입력부(120)는 감성 컨텐츠(155)의 공유와 관련한 입력 신호, 감성 컨텐츠(155) 검색과 관련한 입력 신호 등을 사용자 제어에 따라 생성할 수 있다. 입력부(120)에서 생성된 입력 신호는 제어부(160)에 전달되고, 해당 기능 지원을 위한 명령어 셋으로 동작할 수 있다.The input unit 120 generates an input signal related to the entry into the emotion mode related to supporting emotional contents, an input signal related to the control of the collection of bio information, and an input signal related to generation permission and storage of the sensible contents 155 according to user control . Also, the input unit 120 may generate an input signal related to the sharing of the emotional contents 155, an input signal related to the search of the sensible contents 155, and the like according to user control. The input signal generated by the input unit 120 is transmitted to the controller 160 and may operate as a command set for supporting the function.

오디오 처리부(130)는 단말기(100) 운용과 관련한 다양한 오디오 신호의 처리를 수행할 수 있다. 예컨대, 오디오 처리부(130)은 단말기(100)에 저장된 컨텐츠 재생 과정에서 발생하는 오디오 데이터의 출력, 통신부(110)가 수신한 오디오 데이터의 출력 등을 지원하는 스피커를 포함할 수 있다. 오디오 처리부(130)는 오디오 신호 수집을 지원하는 마이크를 포함할 수 있다. 일 실시 예에 따르면, 오디오 처리부(130)는 감성 모드 상태임을 안내하는 안내음이나 효과음의 출력, 감성 모드 상태에서 재생되는 컨텐츠에 포함된 오디오 데이터의 출력, 감성 모드 상태에서 오디오 데이터의 수집, 현재 위치 또는 지정된 특정 위치에 대한 안내음이나 효과음 출력, 감성 컨텐츠(155) 생성 및 저장을 안내하는 안내음이나 효과음을 출력할 수 있다. 또한 오디오 처리부(130)는 서비스 제공 장치(200)로의 접속 및 감성 컨텐츠 검색과 관련한 오디오 데이터의 출력, 감성 컨텐츠(155) 업로드 관련 안내음 등을 수행할 수 있다. 한편 상술한 오디오 데이터의 출력은 사용자 제어에 따라 또는 단말기(100) 지원여부에 따라 생략될 수도 있다.The audio processing unit 130 may process various audio signals related to the operation of the terminal 100. For example, the audio processing unit 130 may include a speaker for supporting output of audio data generated in a content reproduction process stored in the terminal 100, audio data received by the communication unit 110, and the like. The audio processing unit 130 may include a microphone for supporting audio signal collection. According to one embodiment, the audio processing unit 130 outputs a guide sound or effect sound to guide the user to the emotional mode state, outputs audio data included in the content to be reproduced in the emotional mode state, collects audio data in the emotional mode state, A guidance sound or an effect sound output for the position or the designated specific position, and a guidance sound or effect sound for guiding generation and storage of the sensible contents 155. [ Also, the audio processing unit 130 can perform connection to the service providing apparatus 200, output of audio data related to searching for emotional contents, and a guidance sound related to the uploading of the sensible contents 155. On the other hand, the output of the audio data may be omitted depending on user control or whether the terminal 100 is supported.

표시부(140)는 단말기(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보 등을 표시한다. 예를 들면, 표시부(140)는 대기 화면, 메뉴 화면, 통화 화면 등을 제공할 수 있다. 본 발명의 실시 예에 따른 표시부(140)는 감성 컨텐츠 생성과 관련한 화면, 감성 컨텐츠 검색과 관련한 화면, 감성 컨텐츠 업로드 관련 화면 등을 제공할 수 있다. 감성 컨텐츠 생성과 관련한 화면은 컨텐츠 재생 또는 검색 영역, 위치 관련 지도 정보 영역, 분석된 감정 값 표시 영역 등을 포함할 수 있다. 감성 컨텐츠 검색 관련 화면은 저장부(150)에 저장된 감성 컨텐츠(155)를 검색하는 화면 및 서비스 제공 장치(200)가 제공하는 감성 컨텐츠 검색 화면 등을 포함할 수 있다. The display unit 140 displays various menus of the terminal 100, information input by the user, information provided to the user, and the like. For example, the display unit 140 can provide an idle screen, a menu screen, a call screen, and the like. The display unit 140 according to the embodiment of the present invention can provide a screen related to emotional content generation, a screen related to emotional content search, and a screen related to emotional content upload. The screen related to emotional content generation may include a content reproduction or search area, a location related map information area, an analyzed emotion value display area, and the like. The emotional content search related screen may include a screen for searching the emotional contents 155 stored in the storage unit 150 and an emotional content search screen provided by the service providing apparatus 200. [

상술한 화면들에 대한 예시를 후술하는 도면들을 참조하여 보다 상세히 설명하기로 한다. 한편 본 발명의 표시부(140)는 터치 패널과 표시 패널을 포함하여 구성될 수 있다. 이때 터치 패널은 표시 패널의 전체 면적 이상 또는 이하의 크기를 가지며 단말기(100)가 터치스크린 기능을 가지도록 지원할 수 있다. 터치 패널은 터치 시트로 대체될 수도 있다. 사용자는 표시 패널에 출력되는 다양한 화면 정보 및 키 맵 등을 확인하고 터치 패널을 운용하여 감성 모드 운용과 관련한 터치 이벤트 생성을 수행할 수 있다. 상술한 표시부(140)는 액정 표시 장치(Liquid Crystal Display: LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등 다양한 표시 장치로 형성될 수 있다. An example of the above-mentioned screens will be described in more detail with reference to the following drawings. Meanwhile, the display unit 140 of the present invention may include a touch panel and a display panel. At this time, the touch panel has a size equal to or larger than the entire area of the display panel and can support the terminal 100 to have a touch screen function. The touch panel may be replaced with a touch sheet. The user can confirm various screen information and key map outputted on the display panel, and operate the touch panel to perform touch event generation related to the emotion mode operation. The display unit 140 may be formed of various display devices such as a liquid crystal display (LCD), an organic light emitting diode (OLED), and an active matrix organic light emitting diode (AMOLED).

저장부(150)는 단말기(100) 운용과 관련한 다양한 데이터나 프로그램을 저장할 수 있다. 예컨대, 저장부(150)는 단말기(100)의 운영체제(OS, Operating System)를 비롯하여, 음원 재생 기능이나, 비디오 재생 기능, 전자 도서 열람 기능, 서버 검색 기능 등을 지원하는 응용 프로그램을 저장할 수 있다. 저장부(150)는 상술한 기능 운용 과정에서 발생하는 다양한 데이터를 저장할 수 있다. 본 발명의 실시예에 따르면, 저장부(150)는 컨텐츠(151), 감정 테이블(153), 감성 컨텐츠(155) 및 지도 정보(157) 중 하나 이상을 저장할 수 있다.The storage unit 150 may store various data and programs related to the operation of the terminal 100. For example, the storage unit 150 may store an application program supporting an audio playback function, a video playback function, an electronic book browsing function, and a server search function, as well as an operating system (OS) of the terminal 100 . The storage unit 150 may store various data generated in the above-described functional operation process. The storage unit 150 may store at least one of the content 151, the emotion table 153, the emotional content 155, and the map information 157. [

컨텐츠(151)는 단말기(100)에서 운용되는 다양한 종류의 컨텐츠를 의미한다. 예를 들어, 컨텐츠(151)는 오디오 컨텐츠, 비디오 컨텐츠, 텍스트 컨텐츠, 이미지 컨텐츠 중 적어도 하나를 포함할 수 있다. 오디오 컨텐츠는 음악 컨텐츠, 녹음 컨텐츠 등을 포함할 수 있다. 비디오 컨텐츠는 동영상 컨텐츠나 영화 컨텐츠, 방송 컨텐츠 등을 포함할 수 있다. 텍스트 컨텐츠는 문서 컨텐츠, 문자 컨텐츠, 이메일 컨텐츠 등을 포함할 수 있다. 이미지 컨텐츠는 사진 컨텐츠, 그림 컨텐츠 등을 포함할 수 있다. 컨텐츠(151)는 저장부(150)에 저장되고, 검색 리스트 형태로 제공될 수 있다. 컨텐츠(151)는 재생 요청 발생 시 재생될 수 있다. 한편 컨텐츠(151)는 방송 컨텐츠와 같이 서비스 장치로부터 실시간 수신되는 컨텐츠를 포함할 수 있다. 방송 컨텐츠와 같이 실시간 수신되는 또는 수집된 컨텐츠는 감성 모드 운용 과정에서 일시적으로 저장될 수 있다. The content 151 refers to various types of content operated in the terminal 100. For example, the content 151 may include at least one of audio content, video content, text content, and image content. The audio content may include music content, recorded content, and the like. The video content may include video content, movie content, broadcast content, and the like. The text content may include document content, text content, email content, and the like. The image contents may include photo contents, picture contents, and the like. The content 151 may be stored in the storage unit 150 and provided in the form of a search list. The content 151 can be reproduced when a reproduction request is generated. Meanwhile, the content 151 may include content received in real time from the service device, such as broadcast content. The contents received or collected in real time like broadcast contents can be temporarily stored in the emotional mode operation process.

감정 테이블(153)은 바이오 정보 수집부(170)에 의해 수집된 바이오 정보를 분석하는 기준 값이다. 예컨대 바이오 정보가 심박수 정보인 경우 감정 테이블(153)은 심박수의 크기에 따른 감정 값들을 포함할 수 있다. 다른 예로서, 바이오 정보가 뇌파 정보인 경우 감정 테이블(153)은 뇌파의 패턴 형태에 따른 감정 값들을 포함할 수 있다. 또 다른 예로서 바이오 정보가 체온 정보인 경우 감정 테이블(153)은 체온의 크기에 따른 감정 값들을 포함할 수 있다. 또 다른 예로서 바이오 정보가 혈압 정보인 경우 감정 테이블(153)은 혈압의 크기에 따른 감정 값들을 포함할 수 있다. 이와 같이 감정 테이블(153)은 사람의 인체와 관련하여 수집되는 다양한 정보들 예컨대, 심박수, 뇌파, 체온, 혈압, 혈류량, 근육의 경직도의 변화, 동공의 변화, 얼굴 근육의 변화 등 다양한 변화 정보들에 대응되는 감정 값을 포함할 수 있다. The emotion table 153 is a reference value for analyzing the bio information collected by the bio information collector 170. For example, when the bio information is heart rate information, the emotion table 153 may include emotion values according to the heart rate. As another example, if the bioinformation is EEG information, the emotion table 153 may include emotion values according to a pattern shape of an EEG. As another example, if the bioinformation is body temperature information, the emotion table 153 may include emotion values according to the body temperature. As another example, if the bioinformation is blood pressure information, the emotion table 153 may include emotion values according to the magnitude of the blood pressure. As described above, the emotion table 153 stores various kinds of change information such as heart rate, brain waves, body temperature, blood pressure, blood flow, changes in muscle rigidity, changes in pupil, and changes in facial muscles, As shown in FIG.

일 실시 예에 따르면, 감정 테이블(153)은 복합적인 바이오 정보 요소들에 대한 감정 값들을 포함할 수 있다. 예컨대, 감정 테이블(153)은 특정 크기의 심박수와 특정 패턴의 뇌파, 특정 크기의 체온에 대응되는 감정 값을 포함할 수 있다. 감정 테이블(153)이 포함하는 감정 값은 다양한 바이오 정보들에 대한 통계치와 사람들의 평균치에 대응되는 값을 가질 수 있으며, 각 사용자별로 학습에 따라 보정될 수 있다. 상술한 다양한 바이오 정보들의 조합과 적절한 통계적 계산 값을 기반으로 감정 테이블(153)이 포함하는 감정 값은 예를 들면, 슬픔, 기쁨, 분노, 사랑, 설레임, 지루함, 졸림, 웃김 등 다양한 값들을 포함할 수 있다.According to one embodiment, the emotion table 153 may contain emotion values for complex bio-information elements. For example, the emotion table 153 may include an emotion value corresponding to a heart rate of a specific size, a brain wave of a specific pattern, and a body temperature of a specific size. The emotion value included in the emotion table 153 may have a value corresponding to a statistic value of various bio information and an average value of people, and may be corrected according to learning for each user. The emotion value included in the emotion table 153 based on the combination of the various bio information and appropriate statistical calculation values includes various values such as sadness, joy, anger, love, excitement, boredom, sleepiness, can do.

감성 컨텐츠(155)는 컨텐츠(151)에 특정 감정 값이 조합된 형태일 수 있다. 예컨대, 특정 음악 컨텐츠를 재생하는 동안 감성 모드가 수행되어 바이오 정보가 수집되면, 제어부(160)은 수집된 바이오 정보를 기반으로 해당 음악 컨텐츠에 감정 값들의 변화 중 적어도 일부 값을 조합하여 감성 컨텐츠(155)를 생성할 수 있다. 이에 따라, 이전에 단순한 음악 데이터를 포함하는 컨텐츠(151)는 상기 컨텐츠(151)와 관련하여 일시적으로 발생하는 사용자의 감정 변화 중 적어도 일부가 포함된 감성 컨텐츠(155)로 변화될 수 있다. 감성 컨텐츠(155)에는 사용자의 감정 변화 중 적어도 일부 및 감정 값들의 전체 평균 값을 포함할 수 있다. 예컨대, 음악이나 영화 등은 부분적으로는 슬프거나 기쁠 수 있으며, 전체적으로 슬픈 음악이나 영화일 수 있다. 감성 컨텐츠(155)는 이러한 컨텐츠(151)들에 대한 각 부분별 슬픔이나 기쁨 등의 감정 값을 포함할 뿐만 아니라, 컨텐츠(151) 전체에 대한 평균 값 예컨대 전체적으로 슬프거나 웃긴 감정에 대응되는 값을 포함할 수 있다.The emotion content 155 may be a form in which a specific emotion value is combined with the content 151. [ For example, when the emotion mode is performed during reproduction of specific music contents and the bio information is collected, the controller 160 combines at least some of the changes of the emotion values in the music contents based on the collected bio information, 155 < / RTI > Accordingly, the content 151 including the previously simple music data may be changed to the emotional content 155 including at least a part of the user's emotional changes temporarily occurring in association with the content 151. [ The emotional content 155 may include at least some of the emotional changes of the user and an overall average value of emotion values. For example, music or movies can be sad or joyous in part, or sad music or movies in general. The emotional content 155 includes emotion values such as sadness or joy for each of the contents 151 for the contents 151 as well as a value corresponding to an average value of the entire contents 151, .

감성 컨텐츠(155)는 위치 정보와 매핑되어 관리될 수 있다. 감성 컨텐츠(155)에 매핑된 위치 정보는 감성 컨텐츠(155)가 생성된 시점의 위치 정보일 수 있다. 또는 감성 컨텐츠(155)에 매핑된 위치 정보는 입력부(120)를 통해서 사용자에 의해 지정한 특정 위치 정보일 수 있다. 감성 컨텐츠(155)에 매핑된 위치 정보는 감성 컨텐츠(155)를 지도 기반으로 제공하기 위하여 이용될 수 있다. 즉, 감성 컨텐츠(155) 검색이 요청되면 지도 상의 특정 위치에서 특정 감성 컨텐츠(155)가 매핑되어 있음을 지시하는 아이콘이나 아이템이 출력될 수 있다.The emotional contents 155 may be managed by being mapped with the location information. The location information mapped to the emotional contents 155 may be location information at the time when the emotional contents 155 are generated. Or the location information mapped to the emotional contents 155 may be specific location information designated by the user through the input unit 120. [ The location information mapped to the emotional contents 155 may be used to provide the emotional contents 155 on a map basis. That is, when a search for the emotional contents 155 is requested, an icon or an item indicating that the specific emotional contents 155 is mapped at a specific position on the map may be output.

지도 정보(157)는 상기 감성 컨텐츠(155)를 출력하기 위한 지도를 구현하기 위한 데이터로서, 일정 지역이나, 행정 구역 등과 관련한 정보를 포함할 수 있다. 지도 정보(157)는 적어도 하나의 감성 컨텐츠(155)가 배치된 위치 값을 가질 수 있다. 또는 지도 정보(157)는 감성 컨텐츠(155) 생성이 요청되면 표시부(140)에 표시될 수 있다. 지도 정보(157)에서 지정된 위치 또는 현 위치 값은 감성 컨텐츠(155) 생성 시 제공될 수 있다. 또한 감성 컨텐츠(155)가 생성되면 지도 정보(157)의 특정 위치에 매핑될 수 있다. 지도 정보(157) 검색이 요청된 후, 감성 컨텐츠(155) 검색이 요청되면 표시부(140)에 지도 정보(157)만이 표시되다가 제어 따라 감성 컨텐츠(155)들에 대응되는 아이콘이나 아이템들이 지도의 특정 위치에 출력될 수 있다.The map information 157 is data for implementing a map for outputting the emotional contents 155, and may include information related to a certain area, an administrative area, and the like. The map information 157 may have a position value in which at least one emotional content 155 is disposed. Or the map information 157 may be displayed on the display unit 140 when the generation of the sensible contents 155 is requested. The position or the current position value specified in the map information 157 may be provided at the time of generating the emotional contents 155. Also, when the emotional content 155 is generated, it can be mapped to a specific position of the map information 157. [ After the search for the map information 157 is requested, when the search for the sensitive content 155 is requested, only the map information 157 is displayed on the display unit 140, and icons and items corresponding to the sensible contents 155, It can be output at a specific position.

지도 정보(157)는 증강 현실 관련 3차원 정보를 포함할 수 있다. 단말기(100)는 본 발명의 실시예에 따른 감성 컨텐츠 운용 기능이 증강 현실 기반으로 제공되도록 설계되는 경우, 저장부(150)에 저장된 증강 현실 관련 지도 정보를 운용할 수 있다. 또는 단말기(100)는 증강 현실 기능 지원 서비스 장치 접속을 제어할 수 있다. 그리고 단말기(100)는 증강 현실 관련 서비스 장치가 제공하는 주변 정보들을 표시부(140)에 출력하는 상태에서 감정 값 수집을 수행할 수 있다. 단말기(100)는 수집된 감정 값을 증강 현실의 특정 상황에 매핑하여 감성 컨텐츠를 생성할 수 있다. 이 동작에서 단말기(100)는 카메라부(180)를 활성화하여 증강 현실 기능 지원 및 감성 컨텐츠 운용을 제어할 수 있다.The map information 157 may include three-dimensional information related to the augmented reality. The terminal 100 may operate the augmented reality related map information stored in the storage unit 150 when the emotional content operation function according to the embodiment of the present invention is designed to be provided based on augmented reality. Or the terminal 100 can control access to the augmented reality function supporting service device. The terminal 100 may perform emotion value collection in a state of outputting peripheral information provided by the augmented reality related service device to the display unit 140. [ The terminal 100 may generate emotional content by mapping the collected emotion value to specific situations of the augmented reality. In this operation, the terminal 100 can activate the camera unit 180 to control the augmented reality function support and the emotional content operation.

바이오 정보 수집부(170)은 바이오 정보 수집과 관련한 적어도 하나의 센서를 포함할 수 있다. 바이오 정보 수집부(170)은 예컨대, 심박 측정 센서(171), 뇌파 측정 센서(173), 혈압 측정 센서(175), 체온 측정 센서(177) 중 적어도 하나를 포함할 수 있다. 또한, 바이오 정보 수집부(170)은 습도 측정 센서, 조도 측정 센서, 압력 측정 센서, 진동 측정 센서 등 다양한 센서를 더 포함할 수도 있다. The bio-information collection unit 170 may include at least one sensor related to bio-information collection. The bioinformation collection unit 170 may include at least one of a heart rate measurement sensor 171, an EEG measurement sensor 173, a blood pressure measurement sensor 175, and a body temperature measurement sensor 177, for example. The bio-information collecting unit 170 may further include various sensors such as a humidity measuring sensor, an illuminance measuring sensor, a pressure measuring sensor, and a vibration measuring sensor.

심박 측정 센서(171)는 심박수를 측정할 수 있는 센서이다. 심박 측정 센서(171)는 심장의 펌프 운동에 대응하여 인체에 발생하는 변화 중 적어도 하나를 감지할 수 있는 센서로 구성될 수 있다. 예컨대, 심박 측정 센서(171)는 조광부와 수광부를 포함하고, 손가락 등의 혈관 혈류 변화를 측정할 수 있는 센서로 구성될 수 있다. 심박 측정 센서(171)는 특정 혈관의 진동을 검출할 수 있는 센서로 구성될 수 있다. 심박 측정 센서(171)는 혈관이 위치한 영역의 피부색 변화를 감지할 수 있는 센서로 구성될 수 있다. 심박 측정 센서(171)는 인체의 특정 근육 변화를 감지할 수 있는 센서로 구성될 수 있다. 한 실시예에 따르면, 심박 측정 센서(171)는 심박 측정의 용이성 및 간편성 지원을 위하여 심장 박동 발생에 따라 사용자의 손가락 변화를 감지할 수 있는 센서로 구성될 수 있다. 다른 실시 예에 따르면, 심박 측정 센서(171)는 접촉 또는 비접촉 방식 중 적어도 하나에 따라 심박 운동에 대응하여 변화되는 인체의 특정 혈관 변화를 감지할 수 센서로 구성될 수 있다. 심박 측정 센서(171)가 수집한 센서 신호는 제어부(160)에 전달될 수 있다.The heart rate measuring sensor 171 is a sensor capable of measuring the heart rate. The heart-rate measuring sensor 171 may be a sensor capable of sensing at least one of the changes occurring in the human body in response to the pumping motion of the heart. For example, the heart-rate measuring sensor 171 may include a light-emitting portion and a light-receiving portion, and may be a sensor capable of measuring changes in blood flow of a finger or the like. The heart-rate measuring sensor 171 may be constituted by a sensor capable of detecting the vibration of a specific blood vessel. The heart-rate measuring sensor 171 may be constituted by a sensor capable of detecting a skin color change in a region where a blood vessel is located. The heart-rate measuring sensor 171 may be constituted by a sensor capable of detecting a specific muscle change of the human body. According to one embodiment, the heart rate sensor 171 may be configured as a sensor capable of detecting a user's finger change according to the occurrence of a heartbeat in order to facilitate ease and simplicity of heart rate measurement. According to another embodiment, the heart-rate measuring sensor 171 can be constituted by a sensor capable of detecting a specific blood vessel change of the human body, which is changed in accordance with at least one of the contact or non-contact method in response to the heart-beating motion. The sensor signals collected by the heart rate measuring sensor 171 may be transmitted to the controller 160.

뇌파 측정 센서(173)는 사용자의 뇌파를 측정할 수 있는 센서이다. 뇌파 측정 센서(173)는 센서 중 적어도 일부가 사용자의 뇌 부근에 배치되는 케이스를 가지고 뇌파 수신이 가능하도록 마련될 수 있다. 예컨대, 뇌파 측정 센서(173)는 머리 부근에 두르거나, 붙이거나 걸치거나, 삽입하는 등의 착용 가능한(wearable) 형태로 구성될 수 있다. 한 실시 예에 따르면, 뇌파 측정 센서(173)는 헤드셋이나 이어폰 중의 헤드에 장착되거나 오디오 액세서리 형태로 마련될 수 있다. 헤드셋이나 이어폰 헤드가 사용자의 귓속에 장착되면, 뇌파 측정 센서(173)는 귀 주변에서 발생하는 뇌파를 측정할 수 있다. 뇌파 측정 센서(173)는 측정한 뇌파를 제어부(160)에 제공할 수 있다.The EEG sensor 173 is a sensor capable of measuring a user's brain wave. The brain-wave measuring sensor 173 may be provided so that at least a part of the sensors may be disposed in the vicinity of the user's brain to receive brain waves. For example, the brain-wave measuring sensor 173 may be configured in a wearable form such as to be worn around the head, stuck, worn, or inserted. According to one embodiment, the brain-wave measuring sensor 173 may be mounted on a head in a headset or earphone, or in the form of an audio accessory. When the headset or the earphone head is mounted on the user's ear, the EEG sensor 173 can measure the EEG occurring around the ear. The EEG sensor 173 may provide the measured EEG to the controller 160. [

혈압 측정 센서(175)는 사용자의 혈압을 측정할 수 있는 센서이다. 혈압 측정 센서(175)의 케이스 중 적어도 일부는 혈압 측정이 가능한 외관을 가질 수 있다. 예컨대, 혈압 측정 센서(175)는 시계나 팔찌, 목걸이 등의 형태로 마련될 수 있다. 혈압 측정 센서(175)는 감성 모드 진입 시 활성화되어, 실시간 수집되는 혈압을 제어부(160)에 제공할 수 있다. 혈압 측정 센서(175)는 감성 모드 기능 종료가 발생하면 자동으로 비활성화될 수 있다.The blood pressure measurement sensor 175 is a sensor capable of measuring the blood pressure of the user. At least a part of the case of the blood pressure measurement sensor 175 may have an appearance capable of measuring blood pressure. For example, the blood pressure measurement sensor 175 may be provided in the form of a watch, a bracelet, a necklace, or the like. The blood pressure measurement sensor 175 is activated upon entering the emotion mode, and can provide the blood pressure to the control unit 160 in real time. The blood pressure measurement sensor 175 can be automatically deactivated when the emotion mode function end occurs.

체온 측정 센서(177)는 사용자의 체온을 측정할 수 있는 센서이다. 체온 측정 센서(177)는 적어도 일부가 사용자의 신체와 접촉될 수 있는 형태로 마련될 수 있다. 또는 체온 측정 센서(177)는 단말기(100)의 일정 형태 배치되고, 사용자의 손가락 등이 접촉되면 해당 신체의 체온을 측정할 수 있다. 체온 측정 센서(177)가 수집한 체온 정보는 제어부(160)에 전달될 수 있다. 체온 측정 센서(177)는 단말기(100)의 주변 온도 정보 측정도 수행할 수 있다. 주변 온도 정보는 체온 정보와 함께 제어부(160)에 전달될 수 있다. 한편, 상술한 설명에서 바이오 정보 수집부(170)이 심박 측정 센서(171), 뇌파 측정 센서(173), 혈압 측정 센서(175), 체온 측정 센서(177)를 주 예시로 설명하였으나, 앞서 언급한 바와 같이 본 발명이 이에 한정되는 것은 아니다.The body temperature measuring sensor 177 is a sensor capable of measuring the body temperature of the user. The body temperature measuring sensor 177 may be provided in a form such that at least a portion thereof can be in contact with the user's body. Or the temperature measurement sensor 177 is arranged in a certain form of the terminal 100 and can measure the body temperature of the body when the user's finger or the like is in contact. The body temperature information collected by the body temperature measuring sensor 177 may be transmitted to the controller 160. [ The body temperature measuring sensor 177 may also measure ambient temperature information of the terminal 100. [ The ambient temperature information may be transmitted to the control unit 160 together with the body temperature information. In the above description, the bio-information collecting unit 170 has been described with reference to the heartbeat measuring sensor 171, the brain-wave measuring sensor 173, the blood pressure measuring sensor 175 and the body temperature measuring sensor 177 as examples. However, The present invention is not limited thereto.

카메라부(180)는 정지 영상 또는 동영상을 촬영할 수 있는 적어도 하나의 촬상 소자를 포함할 수 있다. 예컨대, 카메라부(180)는 단말기(100)의 일정 위치에 배치되어 사용자의 얼굴 등의 피사체 촬영을 수행하고, 촬영된 영상을 제어부(160)에 제공할 수 있다. 또한 카메라부(180)는 단말기(100)의 타측 위치에 배치되어 단말기(100)를 파지하는 사용자의 손이나 손가락 등을 촬영하고, 촬영된 영상을 제어부(160)에 제공할 수 있다. 카메라부(180)가 감성 모드에서 운용되는 경우 실시간 또는 일정 주기로 영상을 수집하여 제어부(160)에 전달할 수 있다. 추가로 카메라부(180)는 주변 조도 측정을 지원하는 조도 센서로 활용될 수도 있다. 한 실시예에 따르면, 카메라부(180)는 감성 모드에서 일정 주기로 조도 값을 측정하여 제어부(160)에 전달할 수도 있다.The camera unit 180 may include at least one imaging device capable of capturing a still image or a moving image. For example, the camera unit 180 may be disposed at a predetermined position of the terminal 100 to photograph a subject such as a face of a user, and provide the photographed image to the controller 160. The camera unit 180 may be disposed at the other side of the terminal 100 to photograph a hand or a finger of the user holding the terminal 100 and provide the captured image to the controller 160. When the camera unit 180 is operated in the emotional mode, it can collect images in real time or at regular intervals and transmit them to the controller 160. In addition, the camera unit 180 may be used as an illuminance sensor that supports the measurement of the ambient illuminance. According to one embodiment, the camera unit 180 may measure the illuminance value at a predetermined period in the emotion mode, and may transmit the illuminance value to the controller 160.

위치 측정부(190)는 단말기(100)의 현재 위치를 측정할 수 있다. 위치 측정부(190)는 예컨대 GPS 모듈일 수 있다. 위치 측정부(190)는 감성 모드에서 자동으로 활성화될 수 있다. 위치 측정부(190)는 감성 컨텐츠 생성을 요청하는 입력 신호가 발생하면 현재 위치 정보를 수집할 수 있다. 수집된 현재 위치 정보는 제어부(160)에 전달될 수 있다. The position measuring unit 190 may measure the current position of the terminal 100. [ The position measuring unit 190 may be, for example, a GPS module. The position measuring unit 190 can be automatically activated in the emotion mode. The position measuring unit 190 may collect current position information when an input signal requesting emotional content generation is generated. The collected current position information may be transmitted to the controller 160.

제어부(160)는 단말기(100)의 전반적인 동작 및 단말기(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 특히, 본 발명에 따른 제어부(160)은 본 발명의 감성 컨텐츠 운용과 관련한 신호의 전송과 처리, 데이터 제어를 지원할 수 있다. 이를 위하여 제어부(160)은 도 3에 도시된 바와 같은 기능 모듈을 포함할 수 있다.The control unit 160 may control the overall operation of the terminal 100 and the signal flow between the internal blocks of the terminal 100 and may perform a data processing function for processing the data. In particular, the controller 160 according to the present invention can support signal transmission, processing, and data control related to the emotional content operation of the present invention. For this, the control unit 160 may include a functional module as shown in FIG.

도 3은 본 발명의 실시 예에 따른 단말기의 제어부(160) 구성을 보다 상세히 나타낸 도면이다.3 is a detailed block diagram of a controller 160 of a terminal according to an embodiment of the present invention.

도 3을 참조하면, 상기 제어부(160)는 바이오 정보 처리 모듈(161), 감성 컨텐츠 생성 모듈(163), 위치 정보 처리 모듈(165) 및 공유 지원 모듈(167)를 포함할 수 있다.3, the control unit 160 may include a bio information processing module 161, an emotional content generation module 163, a location information processing module 165, and a sharing support module 167.

바이오 정보 처리 모듈(161)은 단말기(100)의 바이오 정보 수집을 제어할 수 있다. 바이오 정보 처리 모듈(161)은 감성 모드 활성화를 요청하는 입력 신호가 발생하면, 바이오 정보 수집부(170)에 포함된 센서 중 적어도 하나 및 카메라부(180) 등을 설계 방식에 대응하여 활성화할 수 있다. 여기서 바이오 정보 처리 모듈(161)은 설계 형태에 따라 바이오 정보 수집부(170)가 심박 측정 센서(171)만을 포함하는 경우, 심박 측정 센서(171)의 전원 공급 및 초기화를 제어할 수 있다. 바이오 정보 처리 모듈(161)은 특정 감성 컨텐츠(155) 생성을 요청하는 입력 신호가 발생하는 경우 바이오 정보 수집과 관련한 센서를 활성화하도록 제어할 수도 있다. 바이오 정보 처리 모듈(161)은 카메라부(180)를 이용하여 사용자 신체 중 적어도 일부를 촬영할 수 있다. 예컨대, 바이오 정보 처리 모듈(161)는 카메라부(180)를 운용하여 사용자의 얼굴 피사체에 대한 영상을 수집할 수 있다. 바이오 정보 처리 모듈(161)는 카메라부(180)를 이용하여 손이나 손가락 또는 단말기(100)를 파지하는 손의 적어도 일부에 대한 영상을 수집할 수 있다. 바이오 정보 처리 모듈(161)은 얼굴 피사체 영상 또는 손 관련 영상을 실시간 또는 주기적으로 촬영될 수 있으며, 피사체의 윤곽이나 피부 형태 변화, 주름 변화, 미세 근육 변화 등에 대한 정보를 수집할 수 있다. 이러한 변화 정보는 사용자의 감정 변화를 판별하는 기준으로 이용될 수 있다. 이를 위하여 감정 테이블(153)은 상술한 변화에 대한 참조 데이터들 및 참조 데이터에 매핑된 감정 값들에 대한 정보를 포함할 수 있다.The bioinformation processing module 161 can control the bioinformation collection of the terminal 100. [ The bio information processing module 161 can activate at least one of the sensors included in the bio information collector 170 and the camera unit 180 in response to the design method when an input signal requesting activation of the emotion mode is generated have. The bioinformation processing module 161 may control power supply and initialization of the heartbeat measurement sensor 171 when the bioinformation collector 170 includes only the heartbeat measurement sensor 171 according to the design mode. The bio-information processing module 161 may control to activate the sensor related to bio-information collection when an input signal requesting generation of specific emotional contents 155 is generated. The bioinformation processing module 161 can photograph at least a part of the user's body using the camera unit 180. [ For example, the bio-information processing module 161 can operate the camera unit 180 to collect images of the user's face. The bioinformation processing module 161 can collect images of at least a part of the hand holding the hand or the finger or the terminal 100 using the camera unit 180. [ The bio-information processing module 161 can capture a face image or a hand-related image in real time or periodically, and can collect information on a contour of a subject, changes in skin shape, wrinkles, and fine muscle changes. Such change information can be used as a criterion for discriminating a user's emotional change. For this, the emotion table 153 may include reference data for the above-described change and information about emotion values mapped to the reference data.

바이오 정보 처리 모듈(161)은 센서들을 일정 시점에 일시적으로 운용하고, 일정 시점에서의 바이오 정보만을 수집할 수 있다. 또는 바이오 정보 처리 모듈(161)는 센서들을 일정 기간 동안 지속적으로 운용하고, 일정 기간 동안 실시간으로 또는 일정 주기로 바이오 정보들을 수집할 수 있다. 예컨대, 바이오 정보 처리 모듈(161)은 단말기(100)에서 운용 중인 컨텐츠(151)가 일시적인 컨텐츠 예컨대, 사진이나 문서 등과 같은 컨텐츠이면 해당 컨텐츠가 수집되거나 감성 컨텐츠 생성이 요청되는 일정 시점의 바이오 정보만을 수집할 수 있다. 바이오 정보 처리 모듈(161)는 단말기(100)에서 운용 중인 컨텐츠(151)가 연속적인 컨텐츠 예컨대, 일정 재생 시간을 가지는 음악이나 동영상인 경우 일정 구간의 바이오 정보를 수집할 수 있다.The bioinformation processing module 161 can temporarily operate the sensors at a certain point in time and collect only the bioinformation at a certain point in time. Or the bio-information processing module 161 may continuously operate the sensors for a predetermined period of time, and may collect bio-information in real time or at regular intervals for a certain period of time. For example, if the content 151 being operated by the terminal 100 is a temporary content, for example, a content such as a photograph or a document, the bioinformation processing module 161 may collect only the bioinformation at a certain point of time Can be collected. The bioinformation processing module 161 can collect bioinformation of a predetermined section when the content 151 being operated on the terminal 100 is music or moving picture having continuous contents, for example, a predetermined reproduction time.

바이오 정보 처리 모듈(161)는 수집된 바이오 정보와 저장부(150)에 저장된 감정 테이블(153)을 이용하여 감정 값을 산출할 수 있다. 예컨대, 바이오 정보 처리 모듈(161)는 일정 시점에 수집된 적어도 한 종류의 바이오 정보를 감정 테이블(153)과 비교하여 "슬픔"에 해당하는 감정 값을 산출할 수 있다. 한 실시 예에 따르면, 바이오 정보 처리 모듈(161)는 일정 기간 동안 수집된 적어도 한 종류의 바이오 정보들을 감정 테이블(153)과 비교하여 "기쁨", "놀람", "슬픔", "분노" 등에 대한 감정 값을 산출할 수 있다. 여기서 바이오 정보 처리 모듈(161)는 각 감정 값들에 대한 가중치를 시간크기로 적용할 수 있다. 그리고 바이오 정보 처리 모듈(161)는 가중치가 적용된 감정 값들의 평균을 계산하여 어떠한 감정 값이 지배적인지를 결정할 수 있다. 바이오 정보 처리 모듈(161)는 지배적 감정 값과 시간별 감정 값을 각각 구분할 수 있다. 바이오 정보 처리 모듈(161)는 산출된 감정 값을 감성 컨텐츠 생성 모듈(163) 및 위치 정보 처리 모듈(165) 중 적어도 하나에 제공할 수 있다.The bioinformation processing module 161 can calculate the emotion value using the collected bio information and the emotion table 153 stored in the storage unit 150. [ For example, the bioinformation processing module 161 may compute at least one kind of bio information collected at a certain time point with the emotion table 153 to calculate emotion values corresponding to "sadness ". According to one embodiment, the bioinformation processing module 161 compares at least one type of bioinformation collected during a certain period with the emotion table 153 to determine whether or not it is "joy", "surprise", "sadness" Can be calculated. Here, the bioinformation processing module 161 may apply a weight value to each emotion value as a time magnitude. The bioinformation processing module 161 may determine an emotion value dominant by calculating an average of emotion values to which weights are applied. The bioinformation processing module 161 can distinguish the dominant emotion value and the time-based emotion value, respectively. The bioinformation processing module 161 may provide the calculated emotion value to at least one of the emotion content generation module 163 and the position information processing module 165. [

감성 컨텐츠 생성 모듈(163)은 바이오 정보 처리 모듈(161)가 제공하는 감정 값들을 기반으로 감성 컨텐츠(155)를 생성할 수 있다. 예컨대, 감성 컨텐츠 생성 모듈(163)은 현재 표시부(140)에 출력 중인 특정 컨텐츠 또는 현재 재생 중인 특정 컨텐츠와 바이오 정보 처리 모듈(161)가 제공한 감정 값을 연결하여 감성 컨텐츠(155)를 생성할 수 있다. 감성 컨텐츠 생성 모듈(163)은 컨텐츠(151)가 연속 재생의 특징이 있는 경우 하나 이상의 감정 값들을 컨텐츠(151)에 연결하여 감성 컨텐츠(155)를 생성할 수 있다. 이 동작에서 감성 컨텐츠 생성 모듈(163)는 전달된 감정 값을 컨텐츠(151) 재생 시점별로 연결할 수 있다. 감성 컨텐츠 생성 모듈(163)는 감성 컨텐츠(155)가 생성되면 이를 자동 저장하거나, 사용자 입력 제어에 대응하여 저장부(150)에 저장할 수 있다. The emotional content generation module 163 may generate the emotional content 155 based on the emotion values provided by the bio information processing module 161. [ For example, the emotional content generation module 163 generates the emotional content 155 by connecting the specific content currently being output to the display unit 140 or the specific content currently being reproduced with the emotion value provided by the bio-information processing module 161 . The emotional content generation module 163 may generate the emotional content 155 by connecting one or more emotion values to the content 151 when the content 151 has a characteristic of continuous playback. In this operation, the emotional content generation module 163 can connect the delivered emotion value for each content playback time. The emotional content generation module 163 may automatically save the emotional content 155 when it is created or may store it in the storage unit 150 according to the user input control.

아울러, 감성 컨텐츠 생성 모듈(163)은 위치 정보 처리모듈(162)로부터 제공되는 위치 정보를 상기 생성한 감성 컨텐츠와 매핑하여 저장할 수 있다.In addition, the emotional content generation module 163 can map the location information provided from the location information processing module 162 to the generated emotional content and store the information.

감성 컨텐츠 생성 모듈(163)은 감성 컨텐츠(155) 검색 기능을 지원할 수 있다. 감성 컨텐츠 생성 모듈(163)은 감성 컨텐츠(155) 검색을 위한 메뉴 항목이나 아이콘을 표시부(140)에 출력할 수 있다. 또한 감성 컨텐츠 생성 모듈(163)은 특정 하드웨어 물리키를 감성 컨텐츠(155) 검색의 핫키로 할당할 수 있다. 감성 컨텐츠 생성 모듈(163)은 감성 컨텐츠 검색 요청이 발생하면, 저장부(150)에 저장된 감성 컨텐츠(155)를 표시부(140)에 출력할 수 있다. 이 동작에서 감성 컨텐츠 생성 모듈(163)은 감성 컨텐츠(155)의 컨텐츠 정보와 감정 값을 함께 출력할 수 있다. 감성 컨텐츠 생성 모듈(163)는 저장부(150)에 저장된 감성 컨텐츠(155)의 삭제 및 수정 기능을 지원할 수도 있다.The emotional content generation module 163 may support the emotional content 155 search function. The emotional content generation module 163 may output a menu item or an icon for searching the emotional content 155 to the display unit 140. [ In addition, the emotional content generation module 163 may assign a specific hardware physical key to the hot key of the emotional content 155 search. The emotional content generation module 163 may output the emotional content 155 stored in the storage unit 150 to the display unit 140 when the emotional content search request is generated. In this operation, the emotional content generation module 163 may output both the content information of the emotional content 155 and the emotion value. The emotional content generation module 163 may support deletion and correction functions of the emotional contents 155 stored in the storage unit 150. [

위치 정보 처리 모듈(165)은 감성 모드 진입 상태에서 바이오 정보 처리 모듈(161)로부터 감정 값을 전달 받으면, 위치 측정부(190)를 활성화하여 위치 정보를 수집하도록 제어할 수 있다. 위치 정보 처리 모듈(165)는 위치 측정부(190)가 수집한 위치 정보를 상기 감성 컨텐츠 생성 모듈(163)로 제공할 수 있다. 이에 따르면, 감성 컨텐츠 생성 모듈(163)는 현재 실행 중인 컨텐츠 또는 사용자가 지정한 특정 컨텐츠를 전달된 감정 값과 결합하여 생성한 감성 컨텐츠(155)를 위치 정보와 함께 관리할 수 있다. 다른 실시예에 따르면, 위치 정보 처리 모듈(165)는 입력부(120)를 통해서 사용자가 지정한 특정 위치 정보를 수집하여 감성 컨텐츠 생성 모듈(163)로 제공할 수 있다. When the emotion value is received from the bio information processing module 161 in the emotion mode entering state, the position information processing module 165 may activate the position measuring unit 190 to control the position information collecting. The location information processing module 165 may provide the location information collected by the location measurement unit 190 to the emotional content generation module 163. [ According to this, the emotional contents generation module 163 can manage the emotional contents 155 generated by combining the currently executed contents or the specific contents designated by the user with the delivered emotion values together with the position information. According to another embodiment, the location information processing module 165 may collect the specific location information designated by the user through the input unit 120 and provide the collected location information to the emotional content generation module 163. [

이를 위하여, 위치 정보 처리 모듈(165)은 저장부(150)에 저장된 지도 정보(157)를 호출하여 표시부(140)로 출력할 수 있으며, 지도 정보(157)에서 선택된 위치 정보를 감성 컨텐츠 생성 모듈(163)로 제공할 수 있다. The location information processing module 165 calls the map information 157 stored in the storage unit 150 and outputs the map information to the display unit 140. The location information selected in the map information 157 is transmitted to the emotional content generation module (163).

공유 지원 모듈(167)은 생성된 감성 컨텐츠(155)의 공유 기능을 제어할 수 있다. 공유 지원 모듈(167)는 감성 컨텐츠 공유와 관련한 메뉴 항목이나 아이콘을 표시부(140)에 제공할 수 있다. 또한 공유 지원 모듈(167)는 특정 기능 수행이 진행되면, 자동으로 공유 기능을 수행하거나 또는 공유 기능 수행 여부를 확인하는 팝업창을 출력할 수 있다. 공유 지원 모듈(167)은 공유 기능 요청이 발생하면, 통신부(110)을 활성화하고 감성 컨텐츠(155) 공유 관련 기능을 제어할 수 있다. 예컨대, 공유 지원 모듈(167)는 통신부(110)을 기반으로 서비스 제공 장치(200)로의 접속을 수행할 수 있다. 공유 지원 모듈(167)는 서비스 제공 장치(200)가 제공하는 감성 컨텐츠(155) 공유 관련 페이지를 수신하고 이를 표시부(140)에 출력하도록 제어할 수 있다. 공유 지원 모듈(167)은 사용자 입력에 대응하여 저장부(150)에 저장된 특정 감성 컨텐츠(155) 및 매핑된 위치 정보를 서비스 제공 장치(200)에 전송하도록 제어할 수 있다. 공유 지원 모듈(167)은 사용자 입력에 대응하여 서비스 제공 장치(200)에 등록된 하나 이상의 감성 컨텐츠를 수신하고 이를 저장부(150)에 저장하도록 제어할 수 있다.The sharing support module 167 can control the sharing function of the generated emotional contents 155. The sharing support module 167 can provide a menu item or icon related to emotional content sharing to the display unit 140. Also, when the specific function is performed, the sharing support module 167 may automatically perform a sharing function or output a pop-up window for confirming whether the sharing function is performed. The sharing support module 167 can activate the communication unit 110 and control the emotional contents sharing related function when a sharing function request occurs. For example, the sharing support module 167 can perform a connection to the service providing apparatus 200 based on the communication unit 110. The sharing support module 167 may receive the emotional content 155 related page provided by the service providing apparatus 200 and control the display unit 140 to output the received page. The sharing support module 167 may control to transmit the specific emotional contents 155 and the mapped location information stored in the storage unit 150 to the service providing apparatus 200 in response to user input. The sharing support module 167 may control the receiving unit 150 to receive one or more emotional contents registered in the service providing apparatus 200 in response to user input.

일 실시 예에 따르면, 공유 지원 모듈(167)은 타 단말기와 통신 채널을 형성할 수 있다. 공유 지원 모듈(167)는 사용자 입력 제어에 따라 저장부(150)에 저장된 감성 컨텐츠(155) 중 적어도 하나 또는 감성 컨텐츠 목록을 타 단말기에 전송할 수 있다. 공유 지원 모듈(167)은 타 단말기 요청에 대응하는 특정 감성 컨텐츠를 타 단말기에 전송하도록 제어할 수 있다. 한편, 수신측면에서 공유 지원 모듈(167)는 타 단말기로부터 적어도 하나의 감성 컨텐츠 목록을 수신할 수 있다. 공유 지원 모듈(167)은 사용자 입력에 따라 특정 감성 컨텐츠를 요청하는 신호를 타 단말기에 전송할 수 있다. 공유 지원 모듈(167)은 타 단말기 허용여부에 따라 감성 컨텐츠를 수신하고 이를 저장부(150)에 저장하도록 제어할 수 있다. 공유 지원 모듈(167)은 감성 컨텐츠 수신 시, 저장된 위치 정보를 확인하고 이를 지도 정보(157)에 매핑하도록 제어할 수 있다. 공유 지원 모듈(167)는 단말기(100)가 생성한 감성 컨텐츠와 타 단말기 또는 서비스 제공 장치가 제공한 감성 컨텐츠를 구분하여 표시하도록 제어할 수 있으며, 또한 통합하여 표시하도록 제어할 수 있다.According to one embodiment, the sharing support module 167 may form a communication channel with another terminal. The sharing support module 167 may transmit at least one of the emotional contents 155 stored in the storage unit 150 or the emotional contents list to the other terminal according to the user input control. The sharing support module 167 can control to transmit specific emotional contents corresponding to the request of the other terminal to the other terminals. On the receiving side, the sharing support module 167 may receive at least one emotional content list from another terminal. The sharing support module 167 may transmit a signal requesting specific emotional contents to another terminal according to a user input. The sharing support module 167 can receive emotional content according to whether the terminal is allowed or not and store the received emotional content in the storage unit 150. [ The sharing support module 167 can check the stored location information and map it to the map information 157 when receiving emotional contents. The sharing support module 167 can control to display the emotional content generated by the terminal 100 and the emotional content provided by the other terminal or the service providing device separately and to display them in a unified manner.

도 4는 본 발명의 실시 예에 따른 서비스 제공 장치(200)의 구성을 나타낸 블록도이다.4 is a block diagram showing a configuration of a service providing apparatus 200 according to an embodiment of the present invention.

본 발명에 있어서, 서비스 제공 장치(200)는 하나 이상의 감성 컨텐츠들을 관리하면서 이를 하나 이상의 단말기(100, 101, 102)로 제공한다. 이를 위하여, 서비스 제공 장치(200)는, 도 4에 도시된 바와 같이, 서비스 저장부(210)와, 서비스 통신부(220)와, 서비스 제어부(230)를 포함할 수 있다. In the present invention, the service providing apparatus 200 manages one or more emotional contents and provides the sensed contents to one or more terminals 100, 101, and 102. 4, the service providing apparatus 200 may include a service storage unit 210, a service communication unit 220, and a service control unit 230.

서비스 저장부(210)는 하나 이상의 단말기(100, 101, 102)로부터 업로드된 하나 이상의 감성 컨텐츠를 위치 정보와 매핑하여 저장할 수 있다. 아울러, 상기 하나 이상의 감성 컨텐츠가 위치 정보를 기반으로 매핑된 지도 정보를 저장할 수 있다. 아울러, 서비스 저장부(210)는 하나 이상의 감성 컨텐츠들을 사용자, 위치, 단말기 중 하나 이상을 기준으로 분류하여 저장할 수 있다.The service storage unit 210 may store one or more emotional contents uploaded from one or more terminals 100, 101 and 102 by mapping the location information with the location information. In addition, the at least one emotional content may store map information mapped based on the location information. In addition, the service storage unit 210 may classify and store one or more emotional contents based on at least one of a user, a location, and a terminal.

서비스 통신부(220)는 단말기(100) 및 타 단말기들(101, 102)과의 통신 채널 형성 및 운용을 지원할 수 있다. 서비스 통신부(220)는 단말기(100) 및 타 단말기들(101, 102)의 감성 컨텐츠의 업로드를 위한 통신 채널을 지원할 수 있다. 서비스 통신부(220)는 단말기(100) 및 타 단말기들(101, 102)의 감성 컨텐츠 다운로드를 지원할 수 있다. The service communication unit 220 can support the communication channel formation and operation with the terminal 100 and the other terminals 101 and 102. The service communication unit 220 may support a communication channel for uploading emotional contents of the terminal 100 and other terminals 101 and 102. The service communication unit 220 may support the downloading of emotional contents of the terminal 100 and other terminals 101 and 102.

서비스 제어부(230)는 감성 컨텐츠 서비스 운용을 위한 제어 구성으로서, 서비스 제공 장치(200) 운용과 관련한 신호의 처리와 전달 및 데이터 처리와 저장 및 전달을 제어할 수 있다. 예컨대 서비스 제어부(230)는 하나 이상의 단말기(100, 101, 102)의 감성 컨텐츠의 업로드 및 다운로드 관련 데이터 처리를 제어할 수 있다. 여기서 상기 감성 컨텐츠는 상기 감정 값이 획득된 위치 정보 또는 지정된 특정 위치 정보를 포함할 수 있다. The service control unit 230 may control signal processing, transmission, data processing, storage, and transmission related to the operation of the service providing apparatus 200 as a control configuration for emotional content service operation. For example, the service control unit 230 may control data processing related to uploading and downloading emotional contents of one or more terminals 100, 101, and 102. Here, the emotional content may include location information on which the emotion value is obtained or specific location information.

도 5는 본 발명의 실시 예에 따른 단말기에 의한 감성 컨텐츠 서비스 운용 방법을 설명하기 위한 도면이다. 상기 단말기에 의한 감성 컨텐츠 서비스 운용 방법은 단말기(100)을 기준으로 설명하나, 이에 한정되지 않고, 다른 단말기(101, 102)에도 동일하게 적용되어 운용될 수 있다.5 is a diagram for explaining a method of operating an emotional content service by a terminal according to an embodiment of the present invention. The method of operating the emotional content service by the terminal is described based on the terminal 100, but the present invention is not limited thereto and can be applied to other terminals 101 and 102 as well.

도 5를 참조하면, 본 발명의 단말기에 의한 감성 컨텐츠 서비스 운용 방법은 동작 401에서 제어부(160)가 기능 대기 또는 기능 운용을 제어할 수 있다. 이?, 제어부(160)의 소정의 컨텐츠를 표시부(140)로 출력하거나 재생 중일 수 있다. 예를 들면, 제어부(160)는 음악 컨텐츠 재생을 제어할 수 있다. 제어부(160)는 방송 컨텐츠나 비디오 컨텐츠 재생을 제어할 수 있다. 제어부(160)는 카메라부(180) 운용을 제어하여 피사체 영상 수집을 제어할 수 있다. 제어부(160)은 웹 기반 주변 검색 기능을 제어할 수 있다. Referring to FIG. 5, the method for operating the emotional content service by the terminal of the present invention can control the function standby or the function operation by the control unit 160 in operation 401. The predetermined content of the control unit 160 may be output to the display unit 140 or may be being reproduced. For example, the control unit 160 may control reproduction of music contents. The control unit 160 may control the reproduction of the broadcast content or the video content. The control unit 160 controls the operation of the camera unit 180 to control the collection of the subject image. The control unit 160 may control the web-based peripheral search function.

상술한 기능 대기 또는 운용 중에서 특정 입력 신호가 발생하면, 동작 403에서 제어부(160)는 해당 입력 신호가 감성 모드 진입을 위한 입력 신호인지 확인할 수 있다. 동작 403에서 감성 모드 진입을 위한 입력 신호 발생이 아니면, 제어부(160)은 동작 405로 분기하여 입력 신호와 관련한 해당 기능 수행을 제어할 수 있다. 예컨대, 제어부(160)는 음악 재생 기능, 동영상 재생 기능, 방송 수신 기능, 웹 접속 및 서핑 기능, 이미지 촬영 기능 등을 지원할 수 있다. 제어부(160)는 단말기(100)의 슬립 상태 유지나 잠금 화면 처리 등을 제어할 수 있다.When a specific input signal is generated from the above-described function standby or operation, the controller 160 can confirm in step 403 whether the input signal is an input signal for entering the emotion mode. If the input signal for generating the emotion mode is not generated in operation 403, the controller 160 branches to operation 405 to control the performance of the corresponding function related to the input signal. For example, the control unit 160 may support a music playback function, a moving image playback function, a broadcast reception function, a web connection and surfing function, an image shooting function, and the like. The control unit 160 can control the sleep state of the terminal 100, lock screen processing, and the like.

한편, 동작 403에서 감성 모드 진입을 위한 입력 신호 발생이 있으면, 제어부(160)는 동작 407로 분기하여 바이오 정보 수집을 제어할 수 있다. 이를 위하여 제어부(160)은 바이오 정보 수집부(170) 및 카메라부(180) 중 적어도 하나를 활성화하도록 제어할 수 있다. 그리고 제어부(160)는 바이오 정보 수집부(170) 및 카메라부(180)를 통해서 사용자 신체 변화와 관련한 적어도 하나의 바이오 정보를 수집할 수 있다.On the other hand, if there is an input signal for entering the emotion mode in operation 403, the controller 160 branches to operation 407 to control the bio information collection. For this, the control unit 160 may control to activate at least one of the bio-information collection unit 170 and the camera unit 180. The control unit 160 may collect at least one bio-information related to the change of the user's body through the bio-information collector 170 and the camera unit 180.

다음으로, 동작 409에서 제어부(160)는 감정 분석을 수행할 수 있다. 제어부(160)는 저장부(150)에 저장된 감정 테이블(153)을 이용하여 현재 수집된 바이오 정보가 어떠한 감정 값을 가지는지 확인할 수 있다. 이와 더불어, 제어부(160)는 현재 수집된 바이오 정보에 대한 감정 값이 없는 경우, 감정 테이블(153) 갱신을 제어할 수 있다. 이를 위하여 제어부(160)은 감정 테이블(153) 갱신을 지원하는 서비스 장치(도시생략) 접속을 제어할 수 있다. Next, in operation 409, the control unit 160 may perform emotional analysis. The control unit 160 can use the emotion table 153 stored in the storage unit 150 to determine what emotion value the currently collected bio information has. In addition, the control unit 160 can control the update of the emotion table 153 when there is no emotion value for the currently collected bio information. For this, the control unit 160 may control the connection of the service apparatus (not shown) supporting the update of the emotion table 153.

동작 411에서, 제어부(160)은 분석된 감정 값 및 특정 컨텐츠를 조합하여 감성 컨텐츠를 생성할 수 있다. 이때, 특정 컨텐츠는 입력부(120)를 통해서 지정된 컨텐츠 혹은 현재 재생 또는 출력 중인 컨텐츠가 될 수 있다.In operation 411, the control unit 160 can generate emotional content by combining the analyzed emotion value and specific contents. At this time, the specific content may be the content designated through the input unit 120 or the content currently being reproduced or outputted.

그리고, 동작 413에서 제어부(160)는 상기 감성 컨텐츠를 특정 위치 정보와 매핑한다. 이를 위하여, 제어부(160)은 감성 컨텐츠(155) 생성 시 위치 정보 포함이 요청되거나 디폴트로 설정되면 위치 측정부(190)를 활성화하여 위치 측정이 이루어지도록 제어할 수 있다. 또한, 제어부(160)은 저장부(150)에 저장된 지도 정보(157)를 출력하고, 상기 지도 정보(157)를 기반으로 선택된 특정 위치 정보를 감성 컨텐츠(155)와 매핑할 수 있다.In operation 413, the controller 160 maps the sensible contents to specific position information. For this, the control unit 160 may control the position measurement unit 190 to activate the position measurement unit 190 when the inclusion of the position information is requested or the default position is set. The control unit 160 may output the map information 157 stored in the storage unit 150 and may map the selected location information based on the map information 157 to the emotional contents 155.

그리고, 동작 415 에서, 제어부(160)는 매핑된 위치 정보를 기반으로 상기 감성 컨텐츠(155)를 지도 상에 매칭하여 출력할 수 있다. In operation 415, the controller 160 may match the emotional contents 155 on the map based on the mapped location information and output the sensed contents.

추가로, 제어부(160)는 입력 신호에 대응하여 생성된 감성 컨텐츠의 공유를 제어할 수 있다. 예컨대, 제어부(160)는 특정 감성 컨텐츠(155) 생성 시 해당 위치 및 해당 컨텐츠에 대한 타 단말기 사용자들의 감성 컨텐츠 정보를 수집하도록 제어할 수 있다. 이를 지원하는 동작에서 제어부(160)는 타 단말기 사용자들의 감성 컨텐츠를 제공하는 서비스 장치 접속을 제어할 수 있다. 그리고 제어부(160)는 위치 정보 및 컨텐츠 정보를 검색어로 이용하여 관련된 타 감성 컨텐츠를 수집할 수 있다. 제어부(160)은 수집된 적어도 하나의 관련 감성 컨텐츠를 표시부(140)에 출력하도록 제어할 수 있다. 사용자는 특정 컨텐츠(151)에 대한 또는 특정 위치에 대한 다른 사용자들의 감성에 대한 정보를 확인할 수 있다. 상술한 감성 컨텐츠들이 연결된 지도 정보(157)는 증강 현실 기반으로 구현될 수도 있다.In addition, the control unit 160 may control the sharing of the generated emotion content in response to the input signal. For example, the control unit 160 may control to collect emotional contents information of other users of the corresponding location and corresponding contents when the specific emotional contents 155 is generated. In operation supporting this, the controller 160 may control access to service devices providing emotional contents of other terminal users. The control unit 160 may collect other related sensible contents by using the location information and the content information as search terms. The control unit 160 may control the display unit 140 to output at least one related sensible content. The user can check the information about the specific contents 151 or the sensitivity of other users to a specific location. The map information 157 to which the above-described emotional contents are connected may be implemented based on an augmented reality.

다음으로, 동작 417에서 제어부(160)은 기능 종료와 관련한 입력 신호 발생이 있는지 확인할 수 있다. 제어부(160)은 기능 종료와 관련한 입력 신호가 발생하면 단말기(100)의 기능 종료를 제어할 수 있다. 한편, 제어부(160)은 기능 종료와 관련한 입력 신호 발생이 없으면, 동작 403 이전으로 분기하여 이하 과정을 재수행하도록 제어할 수 있다.Next, in operation 417, the control unit 160 can check whether there is an input signal occurrence related to the function termination. The control unit 160 may control the termination of the function of the terminal 100 when an input signal related to termination of the function is generated. On the other hand, if there is no input signal related to the end of the function, the controller 160 branches to the step 403 and controls to perform the following process again.

도 6은 본 발명의 실시 예에 따른 서비스 제공 장치(200)의 서비스 운용 방법을 설명하기 위한 도면이다.6 is a view for explaining a service operation method of the service providing apparatus 200 according to the embodiment of the present invention.

도 6을 참조하면, 서비스 제공 장치(200)는 동작 501에서 기능 대기를 수행할 수 있다. 상기 기능 대기는, 단말기(100, 101, 102)로부터의 요청 대기를 포함할 수 있다.Referring to FIG. 6, the service providing apparatus 200 can perform a function wait in operation 501. The functional wait may include waiting for a request from the terminal 100, 101, 102.

그리고, 동작 503에서 서비스 제공 장치(200)는 단말기 접속 요청이 발생하는지 확인할 수 있다. 서비스 제공 장치(200)는 단말기 접속 요청이 없으면 동작 501 이전으로 분기하여 이하 과정의 재수행을 지원할 수 있다. 여기서, 단말기는 부호 100, 101, 102로 표시되는 하나 이상의 단말기 중 어느 하나일 수 있다.In operation 503, the service providing apparatus 200 can confirm whether a terminal connection request is generated. If the service providing apparatus 200 does not request the terminal connection, the service providing apparatus 200 may branch back to operation 501 and support the re-execution of the following procedure. Here, the terminal may be any one of one or more terminals denoted by reference numerals 100, 101, and 102.

동작 503에서 단말기 접속이 발생하면, 동작 505에서 서비스 제공 장치(200)는 감성 컨텐츠 검색을 위한 요청이 수신되는지 확인할 수 있다. 동작 505에서 감성 컨텐츠 검색을 요청하는 신호가 수신되면, 서비스 제공 장치(200)는 동작 507에서 서비스 제공 장치(200)에 저장된 감성 컨텐츠 목록을 해당 단말기에 제공할 수 있다. 이때, 상기 감성 컨텐츠 목록은, 각 감성 컨텐츠에 매핑된 위치 정보를 기반으로 지도 상에 매핑되어 제공될 수 있다. 이를 위해, 상기 서비스 제공 장치(200)는 다수의 감성 컨텐츠가 매핑된 지도를 단말기로 제공하거나, 다수의 감성 컨텐츠 및 매핑된 위치 정보를 단말기로 제공하여, 단말기가 수신된 위치 정보를 기반으로 지도 상에 다수의 감성 컨텐츠를 매핑하여 출력하도록 할 수 있다.If a terminal connection occurs in operation 503, the service providing apparatus 200 can confirm whether a request for searching emotional contents is received in operation 505. In operation 505, when a signal for requesting emotional content search is received, the service providing apparatus 200 may provide the emotional content list stored in the service providing apparatus 200 to the corresponding terminal in operation 507. At this time, the emotional contents list may be mapped on the map based on the location information mapped to each emotional content. To this end, the service providing apparatus 200 may provide a map in which a plurality of emotional contents are mapped to the terminal, provide a plurality of emotional contents and mapped position information to the terminal, It is possible to map and output a plurality of emotional contents on the screen.

그리고 서비스 제공 장치(200)는 동작 509에서 단말기 요청에 따라서 선택된 특정 감성 컨텐츠를 해당 단말기에 전송하도록 제어할 수 있다.In operation 509, the service providing apparatus 200 may control to transmit the selected specific emotional content to the terminal in response to the terminal request.

한편, 동작 505에서 감성 컨텐츠 검색 요청이 아닌 경우, 서비스 제공 장치(200)는 동작 511에서 감성 컨텐츠 업로드 요청이 발생하는지 확인할 수 있다. 서비스 제공 장치(200)는 동작 511에서 감성 컨텐츠 업로드 요청이 발생하면, 동작 513에서 단말기로부터 감성 컨텐츠 및 매핑된 위치 정보를 수신하여 저장하고, 수신된 감성 컨텐츠를 단말기, 사용자, 위치, 감성 정보 중 하나 이상을 기준으로 분류 저장할 수 있다.On the other hand, if it is not an emotional content search request in operation 505, the service providing apparatus 200 can check if an emotional content upload request is generated in operation 511. When the emotional content upload request is generated in operation 511, the service providing apparatus 200 receives and stores the emotional content and the mapped position information from the terminal in operation 513, and stores the received sensible content in the terminal, user, One or more can be classified and stored.

도 7은 본 발명의 실시 예에 따른 단말기의 화면 인터페이스의 일예를 나타낸 도면이다.7 is a diagram illustrating an example of a screen interface of a terminal according to an embodiment of the present invention.

도 6을 참조하면, 단말기(100)의 표시부(140)은 감성 모드 진입 요청 이벤트가 발생하면, 화면 601에서와 같은 감성 모드 진입 화면을 출력할 수 있다. 감성 모드 진입 화면은 지도 영역(41) 및 메뉴 영역(10)을 포함할 수 있다. 제어부(160)는 저장부(150)에 저장된 지도 정보(157)를 호출하여 도시된 바와 같이 지도 영역(41)을 구성할 수 있다. 이 동작에서 제어부(160)는 위치 측정부(190)를 활성화하여 현재 위치 정보를 수집하고, 지도 정보(157) 중에 현재 위치를 포함하는 일정 범위의 영역이 지도 영역(41)으로 출력되도록 제어할 수 있다. 이 경우 지도 영역(41)은 현재 위치를 지시하는 지점 아이템(42)이 표시될 수 있다. 또는 제어부(160)은 사용자가 지정한 특정 위치 또는 이전 검색된 최종 위치 등을 기준으로 지도 영역(41)을 구성할 수 있다. 이 경우 이전 검색 위치나 지정 위치가 지점 아이템(42)으로 표시될 수 있다.Referring to FIG. 6, the display unit 140 of the terminal 100 may output an emotion mode entry screen as shown on screen 601 when an emotion mode entry request event occurs. The emotion mode entry screen may include a map area 41 and a menu area 10. The control unit 160 calls the map information 157 stored in the storage unit 150 to configure the map area 41 as shown in FIG. In this operation, the control unit 160 activates the position measuring unit 190 to collect current position information, and controls the map information 157 such that a range of areas including the current position is output to the map area 41 . In this case, the map area 41 may be displayed with a point item 42 indicating the current position. Alternatively, the control unit 160 may configure the map area 41 based on a user-specified specific location or a previously searched final location. In this case, the previous search position or the designated position may be displayed as the point item 42. [

한편, 제어부(160)은 감성 모드 진입을 요청하는 이벤트가 발생하면, 감성 모드와 관련한 적어도 하나의 메뉴 항목을 포함하는 메뉴 영역(10)을 출력할 수 있다. 메뉴 영역(10)은 감성 컨텐츠(155) 생성 또는 검색 중 적어도 하나와 관련한 항목을 포함할 수 있다. 예컨대, 메뉴 영역(10)은 사진 촬영과 관련된 카메라 항목, 저장부(150)에 저장된 저장 컨텐츠와 관련된 저장 컨텐츠 항목을 포함할 수 있다. 추가로 메뉴 영역(10)은 방송 수신 컨텐츠 항목, 음악 컨텐츠 항목, 갤러리 컨텐츠 항목, 이북 컨텐츠 항목 등 다양한 컨텐츠 항목을 더 포함할 수 있다. 메뉴 영역(10)은 스크롤 기능을 지원할 수 있다. 스크롤 이벤트가 발생하면 표시되지 않은 다른 항목들이 메뉴 영역(10)에 출력될 수 있다.Meanwhile, when an event requesting the emotion mode entry is generated, the controller 160 may output the menu area 10 including at least one menu item related to the emotion mode. The menu area 10 may include items relating to at least one of generating or searching the emotional content 155. For example, the menu area 10 may include a storage item associated with camera content related to photography, storage content stored in the storage unit 150, and the like. In addition, the menu area 10 may further include various content items such as a broadcast receiving content item, a music content item, a gallery content item, and a north content item. The menu area 10 may support the scroll function. When a scroll event occurs, other items that are not displayed can be output to the menu area 10.

화면 601의 메뉴 영역(10)에서 카메라 항목이 선택되면, 표시부(140)은 화면 603에서와 같이 감성 모드 수행 화면을 출력할 수 있다. 감성 모드 수행 화면은 지도 영역(41) 및 제1 컨텐츠 영역(30)을 포함할 수 있다. 지도 영역(41)은 화면 601에서 설명한 지도 영역(41)과 동일한 영역으로 유지될 수 있다.When the camera item is selected in the menu area 10 on the screen 601, the display unit 140 can output the emotional mode performing screen as shown on the screen 603. The emotional mode execution screen may include a map area 41 and a first content area 30. The map area 41 can be maintained in the same area as the map area 41 described on the screen 601. [

제1 컨텐츠 영역(30)은 메뉴 영역(10)에서 선택된 항목과 관련한 화면 요소로 구성될 수 있다. 예컨대, 카메라 항목이 선택됨에 따라, 제어부(160)는 카메라부(180)를 활성화하고, 카메라부(180)가 수집한 프리뷰 화면을 제1 컨텐츠 영역(30)에 출력할 수 있다. 한편 제어부(160)은 사진 촬영을 위한 입력 이벤트가 발생하면, 프리뷰 영상 특정 영상을 촬영 영상으로 수집하도록 제어할 수 있다. 제어부(160)은 영상 수집 과정에서 사용자 신체와 관련한 적어도 일부 바이오 정보를 수집할 수 있다. 제어부(160)은 수집된 바이오 정보와 감정 테이블(153)을 이용하여 감정 분석을 수행할 수 있다. 감정 분석이 완료되면, 표시부(140)은 수집된 영상 컨텐츠와 분석된 감정 값(20)을 제1 컨텐츠 영역(30)에 출력할 수 있다. 바이오 정보 수집을 위하여 사용자는 단말기(100)의 특정 센서를 손으로 파지할 수 있다. 단말기(100)는 파지된 손의 신체 변화에 대응하는 바이오 정보를 수집하거나, 카메라부(180) 중 영상 촬영 이외의 센서가 사용자의 얼굴 피사체를 촬영하여 감정 분석을 수행하도록 제어할 수 있다. 제어부(160)은 사진 컨텐츠 수집 및 감정 분석이 완료되면, 수집된 사진 컨텐츠에 분석된 감정 값을 결합하여 감성 컨텐츠를 생성할 수 있다.The first content area 30 may be composed of screen elements related to the item selected in the menu area 10. [ For example, when the camera item is selected, the control unit 160 activates the camera unit 180 and outputs the preview screen, which is collected by the camera unit 180, to the first content area 30. [ On the other hand, when an input event for photographing is generated, the control unit 160 can control to collect the preview image specific image as an image captured. The control unit 160 may collect at least some bio information related to the user's body during the image collection process. The control unit 160 may perform emotion analysis using the bio information and the emotion table 153. When the emotion analysis is completed, the display unit 140 may output the collected image content and the analyzed emotion value 20 to the first content area 30. [ The user can grasp a specific sensor of the terminal 100 by hand for collecting bio information. The terminal 100 may collect biometric information corresponding to a change in the body of the hand held or may control the sensor 180 of the camera unit 180 to perform emotional analysis by photographing a user's facial object. The controller 160 may generate emotional content by combining analyzed emotional values with the collected photographic content when the photographic content collection and emotional analysis is completed.

화면 603에서, 감성 컨텐츠가 생성되면, 표시부(140)은 화면 605에서와 같이 감성 컨텐츠 적용 화면을 출력할 수 있다. 이를 위하여 제어부(160)은 현재 위치 정보 또는 지도 영역(41) 상에서 사용자가 지정한 특정 지점에 대한 위치 정보를 수집할 수 있다. 감성 컨텐츠 적용 화면은 지도 영역(41) 및 제2 컨텐츠 영역(50)을 포함할 수 있다. On the screen 603, when the emotional content is generated, the display unit 140 can output the emotional content application screen as shown on the screen 605. [ For this, the control unit 160 may collect current location information or location information of a specific point designated by the user on the map area 41. [ The emotional content application screen may include a map area 41 and a second content area 50.

제어부(160)는 감성 컨텐츠 아이템(43)을 지도 영역(41)의 특정 위치에 출력하도록 제어할 수 있다. 감성 컨텐츠 아이템(43)은 감성 컨텐츠 관련 아이템으로서, 사진 컨텐츠의 썸네일이 될 수 있다. 또한 감성 컨텐츠 아이템(43)은 시간 정보와 위치 정보를 더 포함할 수 있다. 제2 컨텐츠 영역(50)은 사용자가 지정한 특정 컨텐츠 예컨대 음악 컨텐츠 재생과 관련한 화면 요소로 구성될 수 있다. 제어부(160)은 감성 컨텐츠가 생성되면, 해당 감성 컨텐츠의 감정 값과 관련된 특정 컨텐츠들을 자동으로 추천하거나 자동으로 재생하도록 제어할 수 있다. 또는 제어부(160)은 감정 값과 관련한 특정 컨텐츠 재생을 확인하는 팝업창을 출력하도록 제어할 수 있다. 이를 위하여 저장부(150)에 저장된 컨텐츠(151)들은 감정 값과 관련된 연관 정보들을 포함할 수 있다. 예컨대 음악 컨텐츠들 중 슬픔이나 사랑 기쁨 등과 관련한 컨텐츠들은 연관 정보로서 "슬픔", "사랑", "기쁨" 등의 정보를 포함할 수 있다. 또는 제2 컨텐츠 영역(50)은 복수의 컨텐츠들이 감성 컨텐츠로 포함된 상태에 따라 특정 컨텐츠를 출력하는 영역일 수 있다. 예컨대, 제2 컨텐츠 영역(50)은 사진 컨텐츠 관련 화면 요소와 음악 컨텐츠 관련 화면 요소가 교번적으로 출력되는 영역일 수 있다. 또는 제1 컨텐츠 영역(30)에서와 같이 사진 컨텐츠 관련 화면 요소가 출력되다가 터치 이벤트 등이 발생하면 제2 컨텐츠 영역(50)으로 변경될 수 있다. 이 동작에서 오디오 처리부(130)은 음악 컨텐츠 재생에 따른 오디오 데이터 출력을 수행할 수 있다.The control unit 160 may control the emotional content item 43 to be output at a specific position in the map area 41. [ The emotional content item 43 may be an emotional content related item, and may be a thumbnail of the photographic content. In addition, the emotional content items 43 may further include time information and position information. The second content area 50 may include a screen element related to reproduction of a specific content designated by the user, for example, music content. When the emotional content is generated, the controller 160 can automatically recommend or automatically reproduce specific contents related to the emotional value of the emotional content. Or the control unit 160 may control to output a pop-up window for confirming the reproduction of the specific content related to the emotion value. For this purpose, the contents 151 stored in the storage unit 150 may include related information related to the emotion value. For example, among music contents, contents related to sadness or love joy may include information such as "sadness "," love ", "joy" Or the second content area 50 may be a region for outputting specific content according to a state in which a plurality of contents are included as emotional contents. For example, the second content area 50 may be an area in which picture content related screen elements and music content related screen elements are alternately output. Or when a touch event or the like occurs while a picture content related screen element is outputted as in the first content area 30, the second content area 50 may be changed. In this operation, the audio processing unit 130 can output audio data according to music content reproduction.

한편, 화면 601의 메뉴 영역(10)에서 저장 컨텐츠 항목이 선택되면, 표시부(140)은 화면 607에서와 같이 지도 영역(41) 및 상세 메뉴 영역(60)을 출력할 수 있다. 지도 영역(41)은 화면 601 에서의 지도 영역(41)과 동일한 영역일 수 있다. 상세 메뉴 영역(60)은 특정 메뉴 항목에 서브 항목들이 포함된 경우, 해당 서브 항목들을 보다 상세히 나타내는 영역일 수 있다. 상세 메뉴 영역(60)에서 사용자는 복수의 컨텐츠들 예컨대 음악 컨텐츠로서 "Lonely night"및 이미지 컨텐츠로서 "야경"을 선택하고, 지도 영역(41)에서 특정 위치를 지정할 수 있다. 그러면 제어부(160)은 복수의 컨텐츠들과 지도 영역(41)에서의 위치 값을 포함하는 감성 컨텐츠를 생성할 수 있다. 그러면 표시부(140)은 화면 605에서와 같이 음악 컨텐츠 재생과 관련한 제2 컨텐츠 영역(50)과 감성 컨텐츠 아이템(43)이 배치된 지도 영역(41)을 포함하는 화면을 출력할 수 있다.On the other hand, when the stored content item is selected in the menu area 10 on the screen 601, the display unit 140 can output the map area 41 and the detailed menu area 60 as shown on the screen 607. The map area 41 may be the same area as the map area 41 on the screen 601. [ The detailed menu area 60 may be an area that displays the sub-items in more detail when sub-items are included in a specific menu item. In the detail menu area 60, the user can select a plurality of contents such as "Lonely night" as music content and "Night view" as image content, and specify a specific position in the map area 41. [ The control unit 160 may generate emotional contents including a plurality of contents and a position value in the map area 41. [ Then, the display unit 140 may output a screen including the second content area 50 related to music content reproduction and the map area 41 in which the emotional content items 43 are arranged, as shown in the screen 605.

한편, 상술한 화면들은 감성 컨텐츠 생성 관련 인터페이스로 제공될 수 있으며, 또한 감성 컨텐츠 검색 관련 인터페이스로 제공될 수도 있다. 예컨대, 표시부(140)은 감성 모드 검색을 요청하는 이벤트가 발생하면 401 화면에서와 같이 감성 컨텐츠 관련 항목들 및 지도 영역(41)을 출력할 수 있다. 한 실시예에 따르면, 표시부(140)은 특정 위치에 매핑된 감성 컨텐츠가 존재하면 해당 감성 컨텐츠와 관련한 감성 컨텐츠 아이템(43)을 출력할 수 있다. 예컨대, 표시부(140)은 카메라 관련 항목이 선택되면, 해당 감성 컨텐츠와 관련한 감성 컨텐츠 아이템(43)이 배치된 화면 605를 출력할 수 있다.Meanwhile, the above-described screens may be provided to an interface for generating emotional content, or may be provided to an interface for emotional content search. For example, when the event requesting the emotional mode search is generated, the display unit 140 may output the emotional content related items and the map area 41 as in the case of the 401 screen. According to one embodiment, the display unit 140 may output the emotional content item 43 related to the sensible content when the sensible content mapped to the specific position exists. For example, when the camera-related item is selected, the display unit 140 can output the screen 605 on which the emotional content items 43 related to the emotional content are arranged.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented in a computer program product, such as an information carrier, e.g., a machine readable storage device, such as a computer readable storage medium, for example, for processing by a data processing apparatus, Apparatus (computer readable medium) or as a computer program tangibly embodied in a propagation signal. A computer program, such as the computer program (s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be stored as a stand-alone program or in a module, component, subroutine, As other suitable units for use in the present invention. A computer program may be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communications network.

방법 단계들은 온 입력(on input) 데이터를 동작시키고 출력을 발생시킴으로써 기능들을 수행하기 위해 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서들에 의해 수행될 수 있다. 방법 단계들은 또한 특수 목적 논리 회로조직, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)에 의해 수행될 수 있고, 장치는 이들로서 구현될 수 있다.The method steps may be performed by one or more programmable processors executing a computer program to perform functions by operating on input data and generating an output. The method steps may also be performed by special purpose logic circuitry, e.g., a field programmable gate array (FPGA) or an application-specific integrated circuit (ASIC), and the devices may be implemented as such.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, EPROM, EEPROM, 및 플래시 메모리 장치들을 포함하는 모든 형태들의 비휘발성 메모리, 자기 디스크들, 예를 들어 내부 하드 디스크들 또는 착탈식 디스크들, 자기-광 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general purpose and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read-only memory or a random access memory or both. The elements of a computer may include at least one processor for executing instructions and one or more memory devices for storing instructions and data. Generally, a computer may include one or more mass storage devices for storing data, such as magnetic, magneto-optical disks, or optical disks, or may receive data from them, transmit data to them, . ≪ / RTI > Information carriers suitable for embodying computer program instructions and data may include, for example, semiconductor memory devices, for example EPROM, EEPROM, and any type of nonvolatile memory, including flash memory devices, magnetic disks, Hard disks or removable disks, magnetic-optical disks, and CD-ROM and DVD-ROM disks. The processor and memory may be supplemented or included by special purpose logic circuitry.

이상에서는 본 발명의 실시 예에 따른 메시지 서비스 기반의 부가 정보 전송 기능에 대하여 본 명세서 및 도면을 통해 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.Hereinabove, preferred embodiments of the message transmission service based on the message service according to the embodiment of the present invention have been described with reference to the present specification and drawings, and although specific terms have been used, The present invention is not limited to the above-described embodiments. That is, it is apparent to those skilled in the art that various embodiments based on the technical idea of the present invention are possible.

본 발명은 감성 컨텐츠 운용에 관한 것으로, 특히, 특정 컨텐츠 혹은 상기 특정 컨텐츠의 재생 중에 나타나는 사용자의 일시적인 감정을 수집하고 이를 해당 컨텐츠와 결합하여 사용자의 감성이 표현된 감성 컨텐츠를 생성할 수 있다.The present invention relates to emotional content management, and more particularly, it is possible to collect emotional contents expressing the emotions of a user by collecting temporary emotions of a user appearing during reproduction of specific contents or the specific contents and combining the emotional contents with corresponding contents.

아울러, 본 발명은 생성된 감성 컨텐츠를 지정된 혹은 검출된 위치 정보를 기반으로 지도 상에 매핑하여 나타냄으로써, 사용자의 기억을 보조하거나 타 사용자들과의 감정을 보다 쉽게 공유할 수 있도록 지원할 수 있다.Further, according to the present invention, the generated emotional contents are mapped on the map based on the specified or detected location information, so that it is possible to assist the user in memorizing or sharing emotions with other users more easily.

특히, 본 발명은 감성 컨텐츠를 관리하는데 있어서, 상기 감성 컨텐츠에 대한 감정이 획득된 위치 정보를 기반으로 지도 상에 매핑하여 관리함으로써, 감성 컨텐츠를 보다 쉽게 관리할 수 있도록 한다.In particular, in managing emotional contents, the present invention manages emotional contents more easily by mapping and managing the emotions on the map on the basis of the obtained location information.

이에 따라서, 본 발명은 보다 다양한 컨텐츠 이용을 지원할 있으며, 컨텐츠 산업의 다양성을 확보하고, 보다 양질의 컨텐츠 재생산과 유통을 지원할 수 있다. Accordingly, the present invention can support a wider variety of contents, secure diversity of the contents industry, and support reproduction and distribution of higher quality contents.

100, 101, 102: 단말기 110: 통신부
120: 입력부 130: 오디오 처리부
140: 표시부 150: 저장부
160: 제어부 170: 바이오 정보 수집부
180: 카메라부 190: 위치 측정부
200: 서비스 제공 장치 300 : 통신망
1000: 감성 컨텐츠 운용 시스템
100, 101, 102: terminal 110:
120: input unit 130: audio processing unit
140: Display unit 150:
160: control unit 170: bio information collecting unit
180: camera unit 190: position measuring unit
200: service providing apparatus 300: communication network
1000: Emotional content management system

Claims (19)

신체의 적어도 일부 변화에 해당하는 바이오 정보를 수집하는 바이오 정보 수집부;
상기 바이오 정보 수집부에서 수집된 바이오 정보를 사용자의 감정 값으로 변환하고, 상기 감정 값을 지정된 특정 컨텐츠 또는 현재 재생 중인 컨텐츠와 결합하여 감성 컨텐츠를 생성하고, 상기 생성된 감성 컨텐츠를 특정 위치 정보와 매핑하여 관리하는 제어부;
상기 위치 정보를 기반으로 지도 상에 상기 감성 컨텐츠를 매핑하여 출력하는 표시부;
지도 데이터 및 상기 감성 컨텐츠를 저장하는 저장부를 포함하는 단말기.
A bio information collector for collecting bio information corresponding to at least some change of the body;
Converting the bio information collected by the bio information collector into a user's emotion value, combining the emotion value with the specified content or the currently playing content to generate emotion content, A control unit for mapping and managing the data;
A display unit for mapping the emotional contents on a map based on the location information and outputting the mapped contents;
Map data, and a storage unit for storing the sensible contents.
제1항에 있어서,
사용자가 상기 특정 위치 정보를 선택 또는 입력하기 위한 입력부를 더 포함하고,
상기 제어부는 상기 입력부를 통해 선택 또는 입력된 특정 위치 정보를 상기 감성 컨텐츠와 매핑하는 것을 특징으로 하는 단말기.
The method according to claim 1,
Further comprising an input unit for the user to select or input the specific location information,
Wherein the control unit maps specific location information selected or input through the input unit to the emotional contents.
제1항에 있어서,
단말기의 현재 위치를 측정하여 위치 정보를 출력하는 위치 측정부를 더 포함하고,
상기 제어부는 상기 위치 측정부로부터 출력된 위치 정보를 상기 감성 컨텐츠와 매핑하는 것을 특징으로 하는 단말기.
The method according to claim 1,
And a position measuring unit for measuring a current position of the terminal and outputting position information,
Wherein the control unit maps the position information output from the position measurement unit to the sensible content.
제1항에 있어서,
상기 저장부는 바이오 정보에 대응하는 감정 값들을 포함하는 감정 테이블을 더 저장하고,
상기 제어부는 상기 수집되는 바이오 정보를 상기 감정 테이블을 기반으로 감정 값으로 변환하는 것을 특징으로 하는 단말기.
The method according to claim 1,
Wherein the storage unit further stores an emotion table including emotion values corresponding to the bio information,
Wherein the controller converts the collected bio information into emotion values based on the emotion table.
제1항에 있어서, 상기 제어부는
상기 컨텐츠가 재생되는 동안, 일정 시간 단위로 바이오 정보를 수집하여 하나 이상의 감정 값들을 수집하고, 이를 시간별로 연결한 시간별 감정 값들을 컨텐츠와 결합하는 것을 특징으로 하는 단말기.
The apparatus of claim 1, wherein the control unit
Wherein the terminal collects bio information in units of a predetermined time to collect one or more emotion values while the contents are being reproduced, and combines the emotion values according to the time with the contents.
제1항에 있어서, 상기 제어부는
상기 컨텐츠가 재생되는 동안, 일정 시간 단위로 수집한 바이오 정보들을 변환한 하나 이상의 감정 값의 평균값을 기반으로 지배적 감정 값을 산출한 후, 산출된 지배적 감정 정보를 컨텐츠와 결합하는 것을 특징으로 하는 단말기.
The apparatus of claim 1, wherein the control unit
Calculating a dominant emotion value based on an average value of at least one emotion value obtained by converting biometric information collected in a predetermined time unit while the content is reproduced and then combining the calculated dominant emotion information with the content, .
제6항에 있어서, 상기 제어부는
상기 일정 시간 단위로 수집한 감정 값들에 시간별 가중치를 부여한 후, 그 평균값을 기반으로 상기 지배적 감정 정보를 산출하는 것을 특징으로 하는 단말기.
7. The apparatus of claim 6, wherein the control unit
Wherein the terminal calculates the dominant emotion information on the basis of the average value after assigning the weighted value to the emotion values collected in the predetermined time unit.
제1항에 있어서,
상기 바이오 정보 수집부는
심박 측정 센서, 뇌파 측정 센서, 혈압 측정 센서, 체온 측정 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 단말기.
The method according to claim 1,
The bio-information collecting unit
A heart rate measuring sensor, a brain wave measuring sensor, a blood pressure measuring sensor, and a body temperature measuring sensor.
신체의 적어도 일부 변화에 해당하는 바이오 정보에 대응하는 감정 값이 연결된 적어도 하나의 감성 컨텐츠 및 각 감성 컨텐츠의 감정 값을 획득한 위치 정보 또는 지정된 위치 정보를 단말기로부터 수신하여 저장하는 서비스 저장부;
단말기와의 데이터 송수신을 지원하는 서비스 통신부;
상기 단말기의 요청에 대응하여 감성 컨텐츠를 수신하면, 상기 특정 감성 컨텐츠를 상기 위치 정보와 매핑하여 서비스 저장부에 저장하며, 하나 이상의 감성 컨텐츠를 상기 위치 정보를 기반으로 지도 상에 매핑하여 제공하는 서비스 제어부;를 포함하는 서비스 제공 장치.
A service storage unit for receiving and storing at least one emotional content associated with an emotion value corresponding to bio information corresponding to at least a partial change of the body and positional information obtained by obtaining an emotion value of each emotional content or designated positional information from the terminal;
A service communication unit for supporting data transmission / reception with the terminal;
A mapping unit for mapping the specific emotional content to the location information and storing the mapped location information in a service storage unit and mapping one or more emotional contents to a map on the map based on the location information, And a control unit.
제9항에 있어서,
상기 서비스 제어부는
상기 하나 이상의 감성 컨텐츠를 사용자, 위치, 컨텐츠 중 하나 이상을 기준으로 분류하여 제공하는 것을 특징으로 하는 서비스 제공 장치.
10. The method of claim 9,
The service control unit
Wherein the at least one emotional content is classified and provided based on at least one of a user, a location, and a content.
신체의 적어도 일부 변화에 해당하는 바이오 정보를 수집하고, 수집된 바이오 정보를 사용자의 감정 값으로 변환하여 지정된 특정 컨텐츠 또는 현재 재생 중인 컨텐츠에 연결하여 감성 컨텐츠를 생성하고, 상기 감성 컨텐츠 및 특정 위치 정보를 서비스 제공 장치로 전송하는 하나 이상의 단말기; 및
상기 하나 이상의 단말기로부터 제공받은 하나 이상의 감성 컨텐츠를 각각 매핑된 특정 위치 정보를 기준으로 지도 상에 매핑하여 하나 이상의 단말기에 제공하는 서비스 제공 장치;를 포함하는 감성 컨텐츠 운용 시스템.
The biometric information corresponding to at least some changes of the body is collected and converted into the emotion value of the user to connect the biometric information to the specified content or the currently playing content to generate the sensible content, To a service providing apparatus; And
And mapping the at least one emotional content provided from the one or more terminals to map on the basis of the mapped specific location information and providing the mapped content to one or more terminals.
신체의 적어도 일부 변화에 해당하는 바이오 정보에 대응하는 감정 값이 연결된 적어도 하나의 감성 컨텐츠 및 각 감성 컨텐츠의 감정 값을 획득한 위치 정보 또는 지정된 위치 정보를 하나 이상의 단말기로부터 수신하는 단계;
상기 하나 이상의 감성 컨텐츠를 각 위치 정보와 매핑하여 저장하는 단계;
특정 단말기로부터의 요청에 따라서, 상기 하나 이상의 감성 컨텐츠를 상기 위치 정보를 기반으로 지도 상에 매핑하여 상기 특정 단말기로 제공하는 단계를 포함하는 서비스 제공 장치의 감성 컨텐츠 서비스 운용 방법.
Receiving from at least one terminal at least one emotional content to which an emotion value corresponding to at least a part of the body of the body is connected and position information or designated position information obtained from the emotion value of each emotional content;
Mapping the at least one emotional content to each location information and storing the at least one emotional content;
And mapping the at least one emotional content to a map based on the location information in response to a request from a specific terminal and providing the map to the specific terminal.
제12항에 있어서,
상기 지도 상에 매핑된 하나 이상의 감성 컨텐츠 중 상기 특정 단말기에서 선택된 감성 컨텐츠를 상기 특정 단말기로 제공하는 단계;를 더 포함하는 서비스 제공 장치의 감성 컨텐츠 서비스 운용 방법.
13. The method of claim 12,
And providing the selected emotional content selected from the specific terminal among the one or more emotional contents mapped on the map to the specific terminal.
신체의 적어도 일부 변화에 해당하는 바이오 정보를 수집하는 단계;
수집된 바이오 정보를 사용자의 감정 값으로 변환하는 단계;
상기 감정 값을 지정된 특정 컨텐츠 또는 현재 재생 중인 컨텐츠와 결합하여 감성 컨텐츠를 생성하는 단계;
상기 감성 컨텐츠를 특정 위치 정보와 매핑하는 단계;
상기 특정 위치 정보를 기준으로 상기 감성 컨텐츠를 지도 상에 매핑하여 출력하는 단계;를 포함하는 단말기의 감성 컨텐츠 서비스 운용 방법.
Collecting bio information corresponding to at least some change of the body;
Converting the collected bio information into a user's emotion value;
Generating emotional content by combining the emotion value with a specified content or a currently reproduced content;
Mapping the emotional content to specific location information;
And mapping the emotional content to a map on the basis of the specific location information and outputting the mapped content.
제14항에 있어서, 상기 수집하는 단계는
상기 컨텐츠가 재생되는 동안, 일정 시간 단위로 하나 이상의 바이오 정보를 수집하는 것을 특징으로 하는 단말기의 감성 컨텐츠 서비스 운용 방법.
15. The method of claim 14, wherein collecting comprises:
And collecting one or more pieces of bio information at predetermined time intervals while the contents are being reproduced.
제15항에 있어서, 상기 감성 컨텐츠를 생성하는 단계는
상기 일정 시간 단위로 수집된 하나 이상의 바이오 정보로부터 변환된 하나 이상의 감정 값을 시간별로 연결한 시간별 감정 값을 상기 컨텐츠와 결합하는 것을 특징으로 하는 단말기의 감성 컨텐츠 서비스 운용 방법.
16. The method of claim 15, wherein the generating the emotional content comprises:
And combining the at least one emotion value converted from the at least one bio information collected at the predetermined time unit with a time-based emotion value connected with the time to the content.
제15항에 있어서, 상기 감성 컨텐츠를 생성하는 단계는,
상기 일정 시간 단위로 수집된 하나 이상의 바이오 정보로부터 변환된 하나 이상의 감정 값의 평균 값을 기반으로 산출된 지배적 감정 값을 상기 컨텐츠와 결합하는 것을 특징으로 하는 단말기의 감성 컨텐츠 서비스 운용 방법.
16. The method of claim 15, wherein the generating the emotional content comprises:
And combining the dominant emotion value calculated based on the average value of the one or more emotion values converted from the one or more biometric information collected at the predetermined time unit with the content.
제14항에 있어서,
상기 생성된 감성 컨텐츠 및 매핑된 특정 위치 정보를 서비스 제공 장치에 전송하는 단계; 및
상기 서비스 제공 장치로부터 하나 이상의 감성 컨텐츠가 매핑된 지도 데이터를 수신하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 감성 컨텐츠 서비스 운용 방법.
15. The method of claim 14,
Transmitting the generated emotional content and the mapped specific location information to a service providing apparatus; And
Further comprising the step of receiving map data on which one or more emotional contents are mapped from the service providing device.
제12항 내지 제18항 중 어느 한 항에 기재된 감성 컨텐츠 서비스 운용 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium storing a program for executing the emotional content service operating method according to any one of claims 12 to 18.
KR1020130121065A 2013-10-11 2013-10-11 Method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same KR102087290B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130121065A KR102087290B1 (en) 2013-10-11 2013-10-11 Method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130121065A KR102087290B1 (en) 2013-10-11 2013-10-11 Method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same

Publications (2)

Publication Number Publication Date
KR20150042886A true KR20150042886A (en) 2015-04-22
KR102087290B1 KR102087290B1 (en) 2020-04-14

Family

ID=53035784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130121065A KR102087290B1 (en) 2013-10-11 2013-10-11 Method for operating emotional contents service thereof, service providing apparatus and electronic Device supporting the same

Country Status (1)

Country Link
KR (1) KR102087290B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180122860A (en) * 2017-05-04 2018-11-14 전자부품연구원 Emotional Map Generation Method and System using Geographic Information and Vital Signals
KR20190119571A (en) * 2017-02-20 2019-10-22 소니 주식회사 Information processing system and information processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100600537B1 (en) 2003-12-29 2006-07-13 전자부품연구원 Method for targeting contents and advertisement service and system thereof
KR20080037947A (en) * 2006-10-27 2008-05-02 삼성전자주식회사 Method and apparatus of generating meta data of content
KR20100092630A (en) * 2009-02-13 2010-08-23 경희대학교 산학협력단 Method for managing server providing user emotion information based on position information
KR20110086616A (en) * 2008-11-19 2011-07-28 알까뗄 루슨트 Method and device for recording data representing feelings felt by persons in positionable locations and associated server
KR101224734B1 (en) * 2006-12-31 2013-01-21 주식회사 포스코아이씨티 Contents server for providing location based contents service and service method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100600537B1 (en) 2003-12-29 2006-07-13 전자부품연구원 Method for targeting contents and advertisement service and system thereof
KR20080037947A (en) * 2006-10-27 2008-05-02 삼성전자주식회사 Method and apparatus of generating meta data of content
KR101224734B1 (en) * 2006-12-31 2013-01-21 주식회사 포스코아이씨티 Contents server for providing location based contents service and service method thereof
KR20110086616A (en) * 2008-11-19 2011-07-28 알까뗄 루슨트 Method and device for recording data representing feelings felt by persons in positionable locations and associated server
KR20100092630A (en) * 2009-02-13 2010-08-23 경희대학교 산학협력단 Method for managing server providing user emotion information based on position information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119571A (en) * 2017-02-20 2019-10-22 소니 주식회사 Information processing system and information processing method
US11413519B2 (en) 2017-02-20 2022-08-16 Sony Corporation Information processing system and information processing method
KR20180122860A (en) * 2017-05-04 2018-11-14 전자부품연구원 Emotional Map Generation Method and System using Geographic Information and Vital Signals

Also Published As

Publication number Publication date
KR102087290B1 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
WO2021018154A1 (en) Information representation method and apparatus
JP6574937B2 (en) COMMUNICATION SYSTEM, CONTROL METHOD, AND STORAGE MEDIUM
CN107707828B (en) A kind of method for processing video frequency and mobile terminal
CN111079012A (en) Live broadcast room recommendation method and device, storage medium and terminal
CN114205324B (en) Message display method, device, terminal, server and storage medium
CN109271081A (en) Roll the method and electronic equipment of screenshotss
CN109660728B (en) Photographing method and device
KR20140089149A (en) Method for obtaining video data and an electronic device thereof
CN110248236B (en) Video playing method, device, terminal and storage medium
CN110868626A (en) Method and device for preloading content data
KR20180133743A (en) Mobile terminal and method for controlling the same
CN111741366A (en) Audio playing method, device, terminal and storage medium
CN111339938A (en) Information interaction method, device, equipment and storage medium
KR20160065670A (en) Method and device for providing contents
CN111880888A (en) Preview cover generation method and device, electronic equipment and storage medium
CN110059211A (en) Record the method and relevant apparatus of user feeling
CN114371824A (en) Audio processing method, system and related device
CN111818358A (en) Audio file playing method and device, terminal and storage medium
CN111818367A (en) Audio file playing method, device, terminal, server and storage medium
CN109547847B (en) Method and device for adding video information and computer readable storage medium
CN113609358A (en) Content sharing method and device, electronic equipment and storage medium
CN109005337A (en) A kind of photographic method and terminal
KR20170004076A (en) Intelligent agent system including terminal device and controlling method thereof
CN112004134B (en) Multimedia data display method, device, equipment and storage medium
KR101911086B1 (en) Terminal and control method thereof

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant