WO2016089047A1 - 컨텐트를 제공하는 방법 및 디바이스 - Google Patents

컨텐트를 제공하는 방법 및 디바이스 Download PDF

Info

Publication number
WO2016089047A1
WO2016089047A1 PCT/KR2015/012848 KR2015012848W WO2016089047A1 WO 2016089047 A1 WO2016089047 A1 WO 2016089047A1 KR 2015012848 W KR2015012848 W KR 2015012848W WO 2016089047 A1 WO2016089047 A1 WO 2016089047A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
content
information
emotion
biometric information
Prior art date
Application number
PCT/KR2015/012848
Other languages
English (en)
French (fr)
Inventor
류종현
채한주
차상옥
최원영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/532,285 priority Critical patent/US20170329855A1/en
Publication of WO2016089047A1 publication Critical patent/WO2016089047A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method for providing content and a device for providing content.
  • An embodiment of the present invention may provide a method and a device for providing content based on the user's biometric information and the user's situation.
  • FIG. 1 is a conceptual diagram illustrating a method for providing content by a device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of providing content by a device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of extracting content data from a content part by a device according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing a method of selecting, by a device, at least one content part based on a type of content according to an embodiment of the present invention.
  • FIG. 5 is a flowchart for describing a method of generating, by the device, a database of emotion information about a user according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of providing, by a device, content summary information about an emotion selected by a user to a user according to an embodiment of the present invention.
  • FIG. 7 is a diagram for describing a method of providing, by a device, a user interface for selecting one of a plurality of emotions from a user according to an embodiment of the present invention.
  • FIG. 8 is a flowchart for describing in detail a method of outputting content summary information about content when content is re-executed in the device.
  • FIG. 9 is a diagram for describing a method of providing content summary information when an e-book is executed in a device according to one embodiment of the present invention.
  • FIG. 10 is a diagram for describing a method of providing content summary information when an e-book is executed in a device according to another embodiment of the present invention.
  • FIG. 11 is a diagram for describing a method of providing content summary information when a video is executed in a device according to an embodiment of the present invention.
  • FIG. 12 is a diagram for describing a method of providing content summary information when a video is executed in a device according to another embodiment of the present invention.
  • FIG. 13 is a diagram for describing a method of providing content summary information when a device executes a call application according to an embodiment of the present invention.
  • FIG. 14 is a diagram for describing a method of providing content summary information about a plurality of contents by combining content portions having a specific emotion among a plurality of contents according to an embodiment of the present disclosure.
  • 15 is a flowchart illustrating a method of providing, by a device, content summary information of another user regarding content according to an embodiment of the present invention.
  • FIG. 16 is a diagram for describing a method of providing, by a device, content summary information of another user regarding content according to an embodiment of the present invention.
  • FIG. 17 is a diagram for describing a method of providing, by a device, content summary information of another user regarding content according to another embodiment of the present invention.
  • FIGS. 18 and 19 are block diagrams illustrating a device configuration according to an embodiment of the present invention.
  • the first aspect of the present invention when the content is executed in the device, the user's biometric information using the executed content and the situation of the user at the time when the user's biometric information is obtained Acquiring context information indicating the information; Determining an emotion of a user using the content based on the obtained biometric information of the user and the obtained context information; Extracting at least one content part corresponding to the emotion of the user satisfying the preset condition; And generating content summary information including the extracted at least one content portion and the emotion information corresponding to the extracted at least one content portion, respectively.
  • the first aspect of the present invention when the content is executed, indicates the user's biometric information using the executed content and the user's situation at the time when the user's biometric information is obtained
  • a sensing unit for obtaining context information And determining the emotion of the user using the content based on the acquired biometric information of the user and the acquired context information, extracting at least one content part corresponding to the emotion of the user that satisfies a predetermined condition, and extracts the extracted content.
  • the content may mean a concept that encompasses various information or contents thereof for digitally producing, processing, and distributing text, codes, voice, sound, images, and images for use in wired and wireless telecommunication networks.
  • the content may include at least one of a character, a sign, a voice, a sound, an image, and an image output on the screen of the device as the application is executed.
  • Content may include, for example, electronic books, notes, photos, movies, music, and the like. However, this is merely an example, and the content of the present invention is not limited to the above-described example.
  • an application refers to a set of computer programs for performing a specific task.
  • the applications described herein may vary. For example, there may be a music playing application, a game application, a video playing application, a map application, a memo application, a diary application, a phone book application, a broadcasting application, an exercise support application, a payment application, a photo folder application, and the like. It is not.
  • the biometric information refers to information about a biosignal generated in the user's body.
  • the biometric information may include a user's pulse rate, blood pressure, amount of sweat, body temperature, size of sweat glands, facial expression, and pupil size.
  • this is only an embodiment, and the biometric information of the present invention is not limited to the above-described example.
  • the context information may include information related to the situation of the user who uses the device. For example, information about the user's location, the temperature of the location where the user is located, the amount of noise and the brightness, the body part of the user who is wearing the device, and the action that the user is taking while using the device is contextual information. Can be included.
  • the device may predict the situation of the user through the context information.
  • the context information of the present invention is not limited to the above-described example.
  • the emotion of the user who uses the content refers to the mental reaction that the user who uses the content feels about the content.
  • the emotions of the user may include, for example, mental reactions such as boredom, interest, fear and sadness.
  • FIG. 1 is a conceptual diagram illustrating a method for providing content by the device 100 according to an embodiment of the present invention.
  • the device 100 may output at least one content to the device 100 according to the executed application. For example, when the video reproducing application is executed, the device 100 may play a movie file and output the combined content such as an image, text, code, and sound to the device 100.
  • the device 100 may obtain information related to a user who uses the content by using at least one sensor.
  • the information related to the user may include at least one of biometric information of the user and context information of the user.
  • the device 100 may obtain biometric information including an electrocardiogram 12, a pupil size 14, a facial expression of a user, the number of pulses 18, and the like.
  • the device 100 may obtain context information indicating a situation of the user. May be included.
  • the device 100 may determine an emotion of a user with respect to content in a situation determined based on context information. For example, the device 100 may determine the temperature around the user using the context information. The device 100 may determine the emotion of the user based on the amount of sweat emitted by the user at the determined ambient temperature.
  • the device 100 may determine whether the user feels scared by comparing the amount of sweat that is a reference to the amount of sweat emitted by the user to determine whether the user feels the feeling of fear.
  • the amount of sweat as a reference may be set differently when the temperature of the environment where the user is located is low and when the temperature of the environment where the user is located is low. Can be.
  • the device 100 may generate content summary information corresponding to the determined emotion of the user.
  • the content summary information may include a plurality of content parts included in the content used by the user, classified according to the user's feeling.
  • the content summary information may include emotion information indicating emotion corresponding to each of the classified content parts.
  • the content summary information may include content parts that the user felt scared while using the content and emotion information indicating the fear.
  • the device 100 may generate scene summary information by capturing scenes 1 to 10 where the user feels scared in the A movie watched by the user, and combining emotion information indicating fear with the captured scenes. .
  • Device 100 may be, but is not limited to, a smartphone, a cellular phone, a personal digital assistant, a laptop, a media player, a global positioning system (GPS) device, a laptop, and other mobile or non-mobile computing devices.
  • a smartphone a cellular phone
  • a personal digital assistant a laptop
  • a media player a media player
  • GPS global positioning system
  • laptop a laptop
  • other mobile or non-mobile computing devices may be, but is not limited to, a smartphone, a cellular phone, a personal digital assistant, a laptop, a media player, a global positioning system (GPS) device, a laptop, and other mobile or non-mobile computing devices.
  • GPS global positioning system
  • FIG. 2 is a flowchart illustrating a method of providing content by the device 100 according to an embodiment of the present invention.
  • the device 100 obtains context information indicating the user's situation and the biometric information of the user at the time when the biometric information of the user using the content running on the device 100 is obtained.
  • the device 100 may obtain biometric information including at least one of a pulse rate, a blood pressure, a sweat amount, a body temperature, a size of a sweat gland, a facial expression, and a pupil size of a user who uses the content. have.
  • the device 100 may obtain information that the size of the pupil of the user is x and the temperature of the user is y.
  • the device 100 may obtain context information including at least one of information about a user's location and weather, temperature, sunshine and humidity of a place where the user is located.
  • the device 100 may determine the user's situation by using the obtained context information.
  • the device 100 may obtain information that the temperature of the place where the user is located is z. The device 100 may determine whether the user is indoors or outdoors by using information about the temperature of the place where the user is located. In addition, the device 100 may determine the degree to which the location of the user changes over time based on the context information. The device 100 may determine a user's movement, such as whether the user is moving, by using a degree in which the user's location changes with time.
  • the device 100 may store the information about the content executed at the time of obtaining the biometric information and the context information together with the biometric information and the context information. For example, when the user watches a movie, the device 100 may store the user's biometric information and context information for each preset number of frames.
  • the device 100 when the acquired biometric information differs from the user's biometric information when the user does not use the content by more than a threshold value, the device 100 acquires the biometric information, the context information, and the biometric information and the context information. Information about the content executed at the time can be stored.
  • the device 100 determines an emotion of the user who uses the content based on the obtained biometric information of the user and the obtained context information.
  • the device 100 may determine the user's emotion corresponding to the user's biometric information in consideration of the user's situation indicated by the acquired context information.
  • the device 100 may determine the emotion of the user by comparing the acquired biometric information with reference biometric information with respect to each of the plurality of emotions in a user's situation.
  • the reference biometric information may indicate information on the type of biometric information and the numerical value of the biometric information, which are reference for each of the plurality of emotions.
  • the reference biometric information may be different for each user's situation.
  • the device 100 may determine an emotion associated with the reference biometric information as the user's emotion. For example, when the user watches a movie at a temperature two degrees higher than the average temperature, the reference biometric information associated with the fear may be set such that the pupil is enlarged by 1.05 times or more and the body temperature is increased by 0.5 degrees or more. The device 100 may determine whether the user feels afraid by determining whether the acquired pupil size and body temperature satisfy a range set in the reference biometric information.
  • the device 100 may change the reference biometric information in consideration of a situation in which the user moves.
  • the device 100 may select reference biometric information associated with fear as a pulse rate of 130 or more and 140 or less.
  • the device 100 may determine whether the acquired user's pulse rate is included in a range of 130 or more and 140 or less, and determine whether the user feels scared.
  • the device 100 extracts at least one content part corresponding to the emotion of the user who satisfies the preset condition.
  • the predetermined condition may include information about the type of emotion or the degree of emotion. Types of feelings may include fear, joy, excitement, sadness and boredom.
  • the degree of emotion may be distinguished according to the degree to which the user feels any one emotion. For example, the feeling of fear that the user feels may be classified into a little scary or very scary.
  • biometric information of the user may be used. For example, when the reference biometric information about the pulse rate of a user who feels scared is 130 to 140 or less, 130 to 135 is a little scary, and 135 to 140 or more is very scary. Can be distinguished.
  • the content portion may be a data unit constituting the content.
  • the content part may be different according to the type of content.
  • the content portion may be generated by dividing the content over time.
  • the content portion may be at least one frame constituting the movie.
  • this is only an example and may be equally applied to content whose data output according to time is changed.
  • the content part when the content is a picture, the content part may be an image constituting the picture. According to another example, when the content is an e-book, the content part may be a sentence, paragraph, or page constituting the e-book.
  • the device 100 may select a preset condition for the specific emotion. For example, when the user selects an emotion of fear, the device 100 may select a condition of a pulse rate of 130 or more and 140, which is a preset condition for the emotion of fear. A content part that satisfies the selected condition may be extracted from the plurality of content parts included in the content.
  • the device 100 may detect at least one related content related to the selected emotion from among the contents stored in the device 100.
  • the device 100 may detect a movie, music, a photo, an e-book, and the like related to the fear.
  • the device 100 may extract at least one content portion related to the selected content.
  • the device 100 may output content related to an emotion selected from the specified type of content.
  • the device 100 may detect at least one movie related to fear.
  • the device 100 may extract at least one content part related to the selected movie.
  • the device 100 may extract at least one content part related to the selected emotion from the specified content.
  • the device 100 generates content summary information including emotion information corresponding to the extracted at least one content portion and the extracted at least one content portion, respectively.
  • the device 100 may generate content summary information by combining a content part that satisfies a predetermined condition and emotion information of fear for the emotion of fear.
  • Emotion information may be represented using at least one of a text, an image, and a sound.
  • the device 100 may generate content summary information by combining at least one frame related to the fear and the image representing the scary expression in the A movie.
  • the device 100 may store the generated content summary information as metadata regarding the content.
  • the metadata about the content may include information representing the content. For example, information about a type of content, a title of the content, a playback time of the content, and at least one emotion felt by the user using the content may be stored in metadata about the content. According to another example, the device 100 may store emotion information corresponding to the content portion as metadata about the content portion.
  • the metadata about the content portion may include information that can identify the content portion within the content. For example, the metadata about the content portion may store information about a position, a play time, a playback time, and a feeling felt by the user using the content portion included in the content portion.
  • FIG. 3 is a flowchart illustrating a method of extracting content data from a content part according to the type of content by the device 100 according to an embodiment of the present invention.
  • the device 100 obtains context information indicating the user's situation and the biometric information of the user at the time when the biometric information of the user using the content running on the device 100 is obtained.
  • step 310 may correspond to step 210 described above with reference to FIG. 2.
  • the device 100 determines an emotion of a user who uses the content based on the acquired biometric information of the user and the obtained context information.
  • the device 100 may determine the emotion of the user corresponding to the biometric information of the user based on the user's situation indicated by the acquired context information.
  • step 320 may correspond to step 220 described above with reference to FIG. 2.
  • the device 100 selects information on the content part in which the determined user's emotion satisfies a preset condition based on the type of the content.
  • the type of content may be determined according to types of information, such as text, codes, voice, sound, images, and images included in the content, and the type of application to which the content is output. For example, video, movie, e-book, photo, music, and the like may be included in the type of content.
  • the device 100 may determine the type of content by using metadata regarding the application.
  • the metadata regarding the application may store identification values for identifying each of the plurality of applications stored in the device 100.
  • the metadata about the application may store a code number indicating the type of content to be executed in each application.
  • the type of content may be determined in any one of steps 310 to 330.
  • the device 100 may select at least one frame that satisfies a predetermined condition among a plurality of scenes included in the movie.
  • the preset condition may include reference biometric information indicating information on the type of biometric information and the numerical value of the biometric information, which are reference to each of the plurality of emotions.
  • the reference biometric information may be different for each user's situation.
  • the device 100 may select at least one frame that satisfies the pulse rate of the scary emotion in the situation of the user determined based on the context information.
  • the device 100 may select a page or some text included in the page that satisfies the pulse rate of the scary emotion among the plurality of pages included in the e-book. Can be.
  • the device 100 may select a partial playback section that satisfies the pulse rate of the scary emotion in the entire playback section where the music is played.
  • the device 100 may extract at least one selected content portion to generate content summary information related to the emotion of the user.
  • the device 100 may generate content summary information by combining the selected at least one content part and the emotion information corresponding to the selected at least one content part.
  • the device 100 may store emotion information in metadata for at least one content part.
  • the metadata for the content portion may include data assigned to the content according to a predetermined rule in order to efficiently detect and use a specific content portion among a plurality of content portions constituting the content.
  • the metadata for the content portion may include an identification value indicating each of the plurality of content portions.
  • the device 100 may store emotion information together with an identification value representing each of the content portions.
  • the device 100 may generate content summary information about the movie by combining frames of the selected movie and emotion information indicating fear.
  • the metadata of each of the frames of the selected movie may be stored together with an identification value indicating the frame and emotion information.
  • the device 100 may correspond to at least one selected playback section and at least one selected playback section of music.
  • the emotion summary may be combined to generate content summary information.
  • the metadata of each of the selected music playback sections may be stored together with an identification value indicating the playback section and emotion information.
  • FIG. 4 is a diagram for describing a method of selecting, by a device 100, at least one content part based on a type of content according to an embodiment of the present invention.
  • the device 100 may output an e-book.
  • the device 100 may obtain information that the output content is an e-book using metadata regarding an e-book playback application.
  • the device 100 may obtain information that the output content is the e-book using the identification value of the application stored in the metadata regarding the e-book playback application.
  • the device 100 may select a text 414 that satisfies a preset condition from among the plurality of texts 412, 414, and 416 included in the e-book.
  • the device 100 may determine whether the biometric information satisfies the reference biometric information set for sadness in the user's situation.
  • the device 100 analyzes the size of the pupil of the user using the e-book, and when the acquired pupil size is included in the size range of the pupil set for sadness, The text 414 used when the biometric information is obtained may be selected.
  • the device 100 may generate content summary information by combining the selected text 414 and emotion information corresponding to the selected text 414.
  • the device 100 may generate content summary information about the e-book by storing emotion information indicating sadness in metadata regarding the selected text 414.
  • the device 100 may output a photo.
  • the device 100 may obtain information that the output content is a photo by using an identification value of the application stored in metadata regarding the photo storage application.
  • the device 100 may select an image 422 satisfying a preset condition from among a plurality of images included in the picture 420.
  • the device 100 may determine whether the biometric information satisfies the reference biometric information set for joy in the user's situation. For example, when the user is stationary, the device 100 analyzes the heart rate of the user using the picture, and when the acquired heart rate falls within the range of the heart rate set for the joy, acquires the biometric information.
  • the image 422 used at one point in time can be selected.
  • the device 100 may generate content summary information by combining the selected image 422 and emotion information corresponding to the selected image 422.
  • the device 100 may generate content summary information about the picture by combining the selected image 422 and emotion information representing joy.
  • FIG. 5 is a flowchart illustrating a method of generating, by the device 100, a database of emotion information about a user, according to an exemplary embodiment.
  • the device 100 may store biometric information and context information corresponding to the emotion information and the emotion information of the user determined regarding the at least one content.
  • the biometric information and the context information corresponding to the emotion information refer to the biometric information and the context information based on the determination of the emotion information.
  • the device 100 may store biometric information and context information of a user who uses each of at least one kind of content that is output by executing an application and emotion information determined based on the same.
  • the device 100 may classify the stored emotion information and the corresponding biometric information according to the situation by using the context information.
  • the device 100 may determine reference biometric information according to the emotion using biometric information and context information corresponding to the stored emotion information and the emotion information of the user. In addition, the device 100 may determine the reference biometric information according to the emotion according to the user's situation. For example, the device 100 may determine, as the reference biometric information, an average value of biometric information obtained when watching each of A, B, and C movies while the user is walking.
  • the device 100 may store reference biometric information initially set according to an emotion.
  • the device 100 may change the reference biometric information to suit the user by comparing the initially set reference biometric information with the acquired biometric information. For example, in the reference biometric information initially set in the device 100, it may be determined that the facial expression when the user feels an interesting emotion is increased by 0.5 cm. On the other hand, in the case of watching each of the A, B and C movies, if the user's mouth rises by 0.7cm on average, the device 100 may determine that the reference biometric information when the user feels an interesting emotion rises by 0.7cm.
  • the device 100 may generate an emotion information database including the determined reference biometric information.
  • the device 100 may generate an emotion information database that stores reference biometric information for each situation for each emotion that the user may feel.
  • the emotion information database may store reference biometric information that may determine that the user feels an emotion in a specific situation.
  • the emotion information database contains information about pulse rate, amount of sweat, facial expression, etc., which can be judged as feeling scared, joyful, or sad when the user is walking or when there are many places. Biometric information may be stored.
  • FIG. 6 is a flowchart illustrating a method of providing, by the device 100, content summary information about an emotion selected by a user to a user according to an embodiment of the present invention.
  • the device 100 may output a list for selecting at least one of a plurality of emotions. At least one of text and an image representing each of the plurality of emotions may be displayed on the list. This will be described later in detail with reference to FIG. 7.
  • the device 100 may select at least one emotion based on a selection input of the user.
  • the user may transmit an input for selecting any one of a plurality of emotions displayed through the user interface to the device 100.
  • the device 100 may output content summary information corresponding to the selected emotion.
  • the content summary information may include at least one content part corresponding to the selected emotion and emotion information indicating the selected emotion.
  • the emotion information corresponding to each of the at least one content part may be output in various forms such as an image and text.
  • the device 100 may detect at least one related content related to the selected emotion from among contents stored in the device 100.
  • the device 100 may detect a movie, music, a photo, an e-book, and the like related to the fear.
  • the device 100 may select one of the contents related to the detected fear according to the user's input.
  • the device 100 may extract at least one content part regarding the selected content.
  • the device 100 may output the extracted at least one content part and text or an image representing the selected emotion together.
  • the device 100 may output content related to an emotion selected from the specified type of content.
  • the device 100 may detect at least one movie related to fear.
  • the device 100 may select one of at least one movie related to the detected fear according to a user input.
  • the device 100 may extract at least one content part related to the selected emotion from the selected movie.
  • the device 100 may output the extracted at least one content part and text or an image representing the selected emotion together.
  • the device 100 may extract at least one content part related to the selected emotion from the specified content.
  • the device 100 may output at least one content part extracted from the specified content and text or an image representing the selected emotion together.
  • the present invention is not limited thereto.
  • the device 100 may provide the user with content summary information about all emotions without selecting any emotion.
  • FIG. 7 is a diagram for describing a method of providing, by the device 100, a user interface for selecting one of a plurality of emotions to a user according to an embodiment of the present invention.
  • the device 100 may display a user interface indicating a plurality of emotions that a user may feel using at least one of text and an image.
  • the device 100 may provide the user with information about a plurality of emotions using sound.
  • the device 100 may provide a user interface for selecting one emotion.
  • the device 100 when the video playing application 710 is executed, the device 100 provides a user interface in which emotions such as fun 722, boredom 724, sadness 726, and fear 728 are displayed as images. can do.
  • the user may select an image corresponding to any one emotion from among the plurality of displayed images, and may be provided with content related to the selected emotion and summary information about the content.
  • the device 100 may provide a user interface displaying emotions felt by the user regarding the re-executed content.
  • the device 100 may output content portions regarding the selected emotion as summary information about the content to be re-executed.
  • the device 100 may provide a user interface in which feelings of the user regarding the A content are displayed as images.
  • the device 100 may output portions of the A content related to the emotion selected by the user as summary information about the A content.
  • FIG. 8 is a flowchart for describing in detail a method of outputting content summary information about content when content is re-executed in the device 100.
  • the device 100 may replay content.
  • the device 100 may determine whether content summary information exists.
  • the device 100 may provide a user interface for selecting at least one emotion from among a plurality of emotions when there is content summary information about the content to be re-executed.
  • the device 100 may select at least one emotion based on a selection input of the user.
  • the device 100 may select an emotion corresponding to the touch input.
  • the user may input text indicating a specific emotion in an input window displayed on the device 100.
  • the device 100 may select an emotion corresponding to the input text.
  • the device 100 may output content summary information about the selected emotion.
  • the device 100 may output content portions associated with the selected scary emotion.
  • the content to be re-executed is a video
  • the device 100 may output scenes determined that the user feels scary feelings.
  • the device 100 may output text determined that the user feels scary feelings.
  • the device may output the melody portion determined that the user feels sad.
  • the device 100 may output emotion information about the content parts together with the content parts.
  • the device 100 may output at least one of the text, the image, and the sound representing the selected emotion together with the content parts.
  • FIG. 9 is a diagram illustrating a method of providing content summary information when an e-book is executed in the device 100 according to an embodiment of the present invention.
  • the device 100 may display highlight marks 910, 920, and 930 on texts on which a user feels a particular emotion with respect to a page of an e-book displayed on a screen.
  • the device 100 may display the highlight marks 910, 920, and 930 on the text portion where the user feels the selected emotion.
  • the device 100 may display highlight marks 910, 920, and 930 on text corresponding to each of a plurality of emotions felt by the user on the displayed page.
  • the device 100 may display highlight marks 910, 920, and 930 of different colors according to the emotion.
  • the device 100 may display yellow highlights 910 and 930 on a portion of the text where the user feels sad on a page of an e-book that is being redone, and a red highlight mark (910) on the portion of the text where the user feels anger ( 920.
  • the device 100 may display a highlight display by changing the transparency of colors with respect to the same kind of emotion.
  • the device 100 may display a light yellow highlight mark 910 on a text portion having a relatively low sadness level, and a dark yellow highlight display 920 on a text portion having a relatively high sadness level.
  • FIG. 10 is a diagram for describing a method of providing content summary information 1020 when the e-book 1010 is executed in the device 100 according to another embodiment of the present invention.
  • the device 100 may extract and provide text corresponding to each of a plurality of emotions felt by a user on a displayed page.
  • the device 100 may generate a content summary information about the e-book by extracting a cover page 1010 of the e-book used by the user and a text 1020 that has a feeling of sadness selected by the user. have.
  • this is only an embodiment of the present invention, and only the extracted text 1020 may be included in the content summary information, except for the cover 1010 of the e-book.
  • the device 100 may provide the user with information about the e-book by outputting content summary information about the generated e-book.
  • FIG. 11 is a diagram for describing a method of providing content summary information 1122 and 1124 when a video is executed in the device 100 according to an embodiment of the present invention.
  • the device 100 may provide information about a scene in which the user feels a particular emotion in the executed video. For example, the device 100 may display the bookmarks 1110, 1120, and 1130 at a position corresponding to a scene where a certain emotion is felt in the progress bar.
  • the user may select one of the bookmarks 1110, 1120, and 1130.
  • the device 100 may display the information 1122 about the scene corresponding to the selected bookmark 1120 together with the emotion information 1124.
  • the device 100 may display a thumbnail image representing a scene corresponding to the selected bookmark 1120 and an image 1124 representing emotion.
  • the device 100 may automatically play back the scenes displayed by the bookmarks 1110, 1120, and 1130.
  • FIG. 12 is a diagram for describing a method of providing content summary information 1210 when a video is executed in the device 100 according to another embodiment of the present invention.
  • the device 100 may provide scenes (eg, 1212) corresponding to a specific emotion among the plurality of scenes included in the video together with the emotion information 1214.
  • scenes eg, 1212
  • the device 100 may provide an image 1214 of a facial expression as emotion information about the scene 1212.
  • the device 100 may display a scene 1212 corresponding to a specific emotion on a screen, and display an image 1214 of photographing a facial expression of a user on one side overlapping the scene 1212.
  • the device 100 may provide the emotion information in another manner in addition to the image 1214 photographing the facial expression of the user. For example, when the user feels a certain emotion, the device 100 may record the user's words or exclamation and provide the emotion information about the scene 1212.
  • FIG. 13 is a diagram for describing a method of providing content summary information when the device 100 executes a call application according to an embodiment of the present invention.
  • the device 100 may record a call content according to the setting.
  • the device 100 may record the contents of the user's call and photograph the expression of the user making the call.
  • the device 100 may record a call section in which it is determined that the user feels a particular emotion during the call, and may store an image 1310 photographing the expression of the user in the recorded call section.
  • the device 100 may provide an image photographing the conversation contents and the expression of the user in the recorded call section.
  • the device 100 may provide an image photographing the conversation contents and the expression of the user in the call section in which the user felt pleasure in the contents of the call.
  • the device 100 may provide not only the contents of the conversation but also an image 1320 capturing the other's facial expression as the content portion of the contents of the call.
  • FIG. 14 is a diagram for describing a method of providing content summary information about a plurality of contents by combining content portions having a specific emotion among a plurality of contents according to an embodiment of the present disclosure.
  • the device 100 may extract a content part that feels a specific emotion from among the content parts included in the plurality of content.
  • the plurality of contents may be contents associated with each other.
  • the first content may be the first part of the A movie and the second content may be the second part of the A movie.
  • a plurality of contents constituting the drama series may also be included in the related content.
  • the device 100 displays a user interface 1420 in which emotions such as fun 1422, boredom 1424, sadness 1426, and fear 1428 are displayed as images. Can be provided. The user may select an image corresponding to any one emotion from among the displayed plurality of images and provide summary information about the content and content associated with the selected emotion.
  • the device 100 may capture scenes 1432, 1434, and 1436 having a user's fun in the plurality of contents constituting the drama series, and provide the emotion information together with the emotion information.
  • the device 100 may automatically play the captured scenes 1432, 1434, and 1436.
  • the device 100 may provide a thumbnail image of the scenes 1432, 1434, and 1436 in which the user has fun with the emotion information.
  • 15 is a flowchart illustrating a method of providing, by the device 100, content summary information of another user regarding content according to an embodiment of the present invention.
  • the device 100 may obtain content summary information of another user regarding the content.
  • the device 100 may obtain information of another user who uses the content. For example, the device 100 may obtain identification information about a device of another user using content and IP information to which the device of another user is connected.
  • the device 100 may request content summary information about the content from another user's device.
  • the user may select a specific emotion and request content summary information about the selected emotion.
  • the user may request content summary information about all emotions without selecting a particular emotion.
  • the device 100 may obtain content summary information about the content from another user's device according to the user's request.
  • the content summary information of another user may include content parts and emotion information that the other user has felt a particular emotion.
  • the device 100 may provide content summary information of another user obtained.
  • the device 100 may provide the acquired content summary information of another user with the content.
  • the device 100 may provide the content summary information together with the other user.
  • the device 100 may provide a combination of emotion information about a content part corresponding to the content summary information of the user among the content summary information of another user. For example, in the A movie, the device 100 may provide a combination of the user's feelings and the boring emotion information of another user regarding the first scene in which the user felt a scary emotion.
  • the device 100 may extract and provide parts that do not match the content summary information of the user among the content summary information of the other user.
  • the device 100 may provide richer information about the content by providing the content summary information of the other user.
  • FIG. 16 is a diagram for describing a method of providing, by the device 100, content summary information of another user regarding content according to an embodiment of the present invention.
  • the device 100 may obtain content summary information 1610 and 1620 of another user regarding the video.
  • the device 100 may obtain content summary information 1610 and 1620 of other users who use the A drama.
  • the content summary information of other users may include, for example, a scene in which the other user feels a certain emotion and an image of a facial expression of the user in a scene where the specific emotion is felt among a plurality of scenes included in the A drama. .
  • the device 100 may output content summary information of a user previously generated about the A drama. For example, the device 100 may automatically output scenes extracted with respect to a specific emotion based on the content summary information of the user. In addition, the device 100 may extract content summary information corresponding to scenes extracted from the acquired content summary information of another user, and output the extracted content summary information together with the extracted scenes.
  • the device 100 may output an image photographing a facial expression of another user along with a scene where the user feels pleasure in the A drama. Meanwhile, this is only an exemplary embodiment, and the device 100 may output the emotion information of the user together with the emotion information of the other user. For example, the device 100 may output emotion information of a user on one side of the screen and output emotion information of another user on the other side.
  • 17 is a diagram for describing a method of providing, by the device 100, content summary information of another user regarding content according to another embodiment of the present invention.
  • the device 100 may obtain content summary information 1720 of another user regarding the photo 1710. Referring to FIG. 17, the device 100 may obtain content summary information 1720 of other users viewing the photo 1710.
  • the content summary information of other users may include, for example, emotion information representing a text of another user's emotion with respect to the photo 1710.
  • the device 100 may output content summary information of the user previously generated about the photo 1710. For example, the device 100 may output the emotion that the user feels about the photo 1710 together with the photo 1710 in the form of text.
  • the device 100 may extract content summary information corresponding to scenes extracted from the acquired content summary information of another user, and output the extracted content summary information together with the extracted scenes.
  • the device 100 may output emotion information of another user along with the emotion information of the user regarding the picture 1710 in text.
  • the device 100 outputs a photo 1710 on one side of the screen, and displays the emotion information of the user and the emotion information of the other user as text as emotion information 1720 on the photo 1710 on the other side. can do.
  • 18 and 19 are block diagrams for describing the configuration of the device 100 according to an embodiment of the present invention.
  • the device 100 may include a sensing unit 110, a control unit 120, and an output unit 130.
  • a sensing unit 110 may include a sensing unit 110, a control unit 120, and an output unit 130.
  • the device 100 may be implemented by more components than the illustrated components, and the device 100 may be implemented by fewer components.
  • the device 100 may include a user input unit 140 and a communication unit in addition to the sensing unit 110, the control unit 120, and the output unit 130.
  • 150 may further include an audio / video (A / V) input unit 160 and a memory 170.
  • the sensing unit 110 may detect a state of the device 100 or a state around the device 100 and transmit the detected information to the control unit 120.
  • the sensing unit 110 obtains biometric information of a user using the executed content and context information indicating a user's situation at the time when the biometric information of the user is obtained.
  • the sensing unit 110 may include a geomagnetic sensor 141, an acceleration sensor 142, a temperature / humidity sensor 143, an infrared sensor 144, a gyroscope sensor 145, a position sensor (Eg, GPS) 146, barometric pressure sensor 147, proximity sensor 148, and RGB sensor illuminance sensor 149, but are not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
  • the controller 120 typically controls the overall operation of the device 100.
  • the controller 120 executes programs stored in the memory 170 to thereby execute the user input unit 140, the output unit 130, the sensing unit 110, the communication unit 150, and the A / V input unit 160. ) Can be controlled overall.
  • the controller 120 determines an emotion of a user using content based on the acquired biometric information of the user and the acquired context information, and extracts at least one content part corresponding to the emotion of the user satisfying a preset condition. can do.
  • the controller 120 may generate content summary information including emotion information corresponding to each of the extracted at least one content part and the extracted at least one content part.
  • the controller 120 may determine one of the emotions as the user's emotion.
  • the controller 120 may generate a database of emotion information about the emotion of the user using the stored biometric information of the user and the stored context information of the user.
  • the controller 120 may determine the emotion of the user by comparing the biometric information and content information regarding each of the plurality of emotions stored in the generated emotion information database with the acquired biometric information and the acquired context information.
  • the controller 120 may determine the type of content to be executed in the device, and determine the extracted content part based on the type of the determined content.
  • the controller 120 may combine content summary information of each of the plurality of contents obtained by obtaining content summary information about the emotion selected by the user from each of the plurality of contents.
  • the output unit 130 is for performing the operation determined by the controller 120, and may include a display unit 131, a sound output unit 132, a vibration motor 133, and the like.
  • the display unit 131 outputs information processed by the device 100.
  • the display unit 131 may display the executed content.
  • the display unit 131 may output the generated content summary information.
  • the display unit 131 may output content summary information about an emotion selected according to the obtained selection input.
  • the display unit 131 may output content summary information of the user and content summary information of another user together.
  • the display unit 131 may be used as an input device in addition to the output device.
  • the display unit 131 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, or a three-dimensional display. 3D display, an electrophoretic display.
  • the device 100 may include two or more display units 131 according to the implementation form of the device 100. In this case, the two or more display units 121 may be disposed to face each other using a hinge.
  • the sound output unit 132 outputs audio data received from the communication unit 150 or stored in the memory 170. In addition, the sound output unit 132 outputs a sound signal related to a function (for example, a call signal reception sound, a message reception sound, and a notification sound) performed in the device 100.
  • the sound output unit 132 may include a speaker, a buzzer, and the like.
  • the vibration motor 133 may output a vibration signal.
  • the vibration motor 133 may output a vibration signal corresponding to the output of audio data or video data (eg, call signal reception sound, message reception sound, etc.).
  • the vibration motor 133 may output a vibration signal when a touch is input to the touch screen.
  • the user input unit 140 means a means for a user to input data for controlling the device 100.
  • the user input unit 140 may include a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input unit 140 may obtain a user input.
  • the user input unit 100 may obtain a user's selection input for selecting any one of a plurality of emotions.
  • the user input unit 140 may obtain a user input for requesting execution of at least one of a plurality of contents executable in the device 100.
  • the communicator 150 may include one or more components that allow communication between the device 100 and the external device 200 or the device 100 and the server 300.
  • the communication unit 150 may include a short range communication unit 151, a mobile communication unit 152, and a broadcast receiving unit 153.
  • the short-range wireless communication unit 151 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit (Near Field Communication unit), a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 152 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 153 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel. According to an implementation example, the device 100 may not include the broadcast receiver 153.
  • the communication unit 150 may share a result of performing an operation corresponding to the generated input pattern information with the external device 200.
  • the communication unit 150 may transmit a result of performing an operation corresponding to the input pattern information through the server 300 to the external device 200, or directly perform an operation corresponding to the input pattern information to the external device 200. You can also send the result.
  • the communication unit 150 may receive a result of performing an operation corresponding to the input pattern information generated by the external device 200.
  • the communication unit 150 may receive a result of performing an operation corresponding to the input pattern information of the external device 200 through the server 300 from the external device 200 or directly from the external device 200.
  • the result of performing an operation corresponding to the input pattern information of the device 200 may be received.
  • the communication unit 150 may receive a call connection request from the external device 200.
  • the A / V input unit 160 is for inputting an audio signal or a video signal, and may include a camera 161 and a microphone 162.
  • the camera 161 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured by the image sensor may be processed by the controller 120 or a separate image processor (not shown).
  • the image frame processed by the camera 161 may be stored in the memory 170 or transmitted to the outside through the communication unit 150. Two or more cameras 161 may be provided according to the configuration aspect of the terminal.
  • the microphone 162 receives an external sound signal and processes the external sound signal into electrical voice data.
  • the microphone 162 may receive an acoustic signal from an external device or speaker.
  • the microphone 162 may use various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the memory 170 may store a program for processing and controlling the controller 120, and input / output data (eg, a plurality of menus, a plurality of first hierarchical sub-menus corresponding to each of the plurality of menus, And a plurality of second hierarchical submenus corresponding to each of the plurality of first hierarchical submenus).
  • input / output data eg, a plurality of menus, a plurality of first hierarchical sub-menus corresponding to each of the plurality of menus, And a plurality of second hierarchical submenus corresponding to each of the plurality of first hierarchical submenus).
  • the memory 170 may store biometric information of the user and context information of the user regarding at least one content.
  • the memory 170 may store a reference emotion information database.
  • the memory 170 may store content summary information.
  • the memory 170 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • the device 100 may operate a web storage or a cloud server that performs a storage function of the memory 170 on the Internet.
  • Programs stored in the memory 170 may be classified into a plurality of modules according to their functions. For example, the programs stored in the memory 170 may be classified into the UI module 171, the touch screen module 172, and the notification module 173. .
  • the UI module 171 may provide a specialized UI, GUI, and the like, which are linked to the device 100 for each application.
  • the touch screen module 172 may detect a touch gesture on a user's touch screen, and transmit information about the touch gesture to the controller 120.
  • the touch screen module 172 according to an embodiment of the present invention may recognize and analyze a touch code.
  • the touch screen module 172 may be configured as separate hardware including a controller.
  • Various sensors may be provided inside or near the touch screen to detect a touch or proximity touch of the touch screen.
  • An example of a sensor for sensing a touch of a touch screen is a tactile sensor.
  • the tactile sensor refers to a sensor that senses the contact of a specific object to the extent that a person feels or more.
  • the tactile sensor may sense various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like.
  • an example of a sensor for sensing a touch of a touch screen is a proximity sensor.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the user's touch gesture may include tap, touch and hold, double tap, drag, pan, flick, drag and drop, and swipe.
  • the notification module 173 may generate a signal for notifying occurrence of an event of the device 100. Examples of events occurring in the device 100 include call signal reception, message reception, key signal input, schedule notification, and user input.
  • the notification module 173 may output the notification signal in the form of a video signal through the display unit 121, may output the notification signal in the form of an audio signal through the sound output unit 122, or the vibration motor 123. Through the notification signal may be output in the form of a vibration signal.
  • Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the device 100 provides a user interaction for generating and sharing an image card indicating a user's state. Accordingly, the device 100 according to an exemplary embodiment of the present invention allows a user to generate an image card indicating a user's state and share an image card with friends through simple user interaction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

디바이스에서 실행중인 컨텐트를 이용하는 사용자의 생체 정보, 및 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보를 획득하고, 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보에 기초하여, 컨텐트를 이용하는 사용자의 감정을 결정하며, 기 설정된 조건을 만족하는 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출하여, 추출된 적어도 하나의 컨텐트 부분, 및 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성하는 디바이스가 컨텐트를 제공하는 방법이 개시된다.

Description

컨텐트를 제공하는 방법 및 디바이스
본 발명은 컨텐트를 제공하는 방법 및 컨텐트를 제공하는 디바이스에 관한 것이다.
최근, 정보 통신 기술 및 네트워크 기술이 발달됨에 따라 디바이스는 다양한 기능들을 갖는 멀티미디어형 휴대기기로 진화하고 있으며, 근래 들어서는 사용자의 생체 신호 또는 디바이스 주변에서 발생하는 신호들을 감지할 수 있는 센서들을 구비하고 있다.
종래의 디바이스는 사용자의 입력을 기초로 사용자의 입력에 대응되는 동작들을 단순히 수행하였다. 한편, 최근에는 디바이스에서 실행 가능한 다양한 어플리케이션들이 개발되고, 디바이스가 구비하고 있는 센서들의 기술이 발달함에 따라 디바이스가 획득할 수 있는 사용자의 정보가 증가하였다. 디바이스에서 획득할 수 있는 사용자의 정보가 증가함에 따라, 사용자의 입력에 단순히 대응되는 동작이 아닌 사용자의 정보를 분석하여, 사용자가 보다 필요로 하는 동작을 디바이스가 수행할 수 있는 방법에 대한 연구가 활발하게 이루어지고 있다.
본 발명의 일 실시예는 사용자의 생체 정보 및 사용자의 상황에 기초하여 컨텐트를 제공하는 방법 및 디바이스를 제공할 수 있다.
디바이스에서 실행중인 컨텐트를 이용하는 사용자의 생체 정보, 및 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보를 획득하고, 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보에 기초하여, 컨텐트를 이용하는 사용자의 감정을 결정하며, 기 설정된 조건을 만족하는 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출하여, 추출된 적어도 하나의 컨텐트 부분, 및 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성하는 디바이스가 컨텐트를 제공하는 방법이 개시된다.
도 1은 본 발명의 일 실시예에 따른 디바이스가 컨텐트를 제공하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따라 디바이스가 컨텐트를 제공하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 디바이스가 컨텐트의 종류에 따라 컨텐트 부분에서 컨텐트 데이터를 추출하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 디바이스가 컨텐트의 종류에 기초하여, 적어도 하나의 컨텐트 부분을 선택하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 디바이스가 사용자에 관한 감정 정보 데이터 베이스를 생성하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 디바이스가 사용자가 선택한 감정에 관한 컨텐트 요약 정보를 사용자에게 제공하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 디바이스가 사용자에게 복수의 감정들 중 어느 하나의 감정을 선택할 수 있는 사용자 인터페이스를 제공하는 방법을 설명하기 위한 도면이다.
도 8은 디바이스에서 컨텐트가 재실행되는 경우, 컨텐트에 관한 컨텐트 요약 정보가 출력되는 방법을 구체적으로 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따라 디바이스에서 e-북이 실행되는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 다른 실시예에 따라 디바이스에서 e-북이 실행되는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따라 디바이스에서 동영상이 실행되는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 다른 실시예에 따라 디바이스에서 동영상이 실행되는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따라 디바이스가 통화 어플리케이션을 실행하는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따라 복수의 컨텐츠 중에서, 특정 감정을 느끼는 컨텐츠 부분들을 조합하여 복수의 컨텐츠에 관한 컨텐츠 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 디바이스가 컨텐츠에 관한 다른 사용자의 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시예에 따라 디바이스가 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예에 따라 디바이스가 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 18 및 도 19은 본 발명의 일 실시예에 따른 디바이스의 구성을 설명하기 위한 블록 구성도이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 디바이스에서 컨텐트가 실행되는 경우, 실행되는 컨텐트를 이용하는 사용자의 생체 정보 및 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보를 획득하는 단계; 획득된 사용자의 생체 정보 및 획득된 컨텍스트 정보에 기초하여, 컨텐트를 이용하는 사용자의 감정을 결정하는 단계; 기 설정된 조건을 만족하는 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출하는 단계; 및 추출된 적어도 하나의 컨텐트 부분 및 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성하는 단계를 포함하는 것인 디바이스가 컨텐트를 제공하는 방법을 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 컨텐트가 실행되는 경우, 실행되는 컨텐트를 이용하는 사용자의 생체 정보 및 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보를 획득하는 센싱부; 및 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보에 기초하여, 컨텐트를 이용하는 사용자의 감정을 결정하고, 기 설정된 조건을 만족하는 상기 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출하여, 추출된 적어도 하나의 컨텐트 부분 및 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성하는 제어부를 포함하는 것인 컨텐트를 제공하는 디바이스를 제공할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서, 컨텐트는 유무선 전기 통신망에서 사용하기 위하여 문자, 부호, 음성, 음향, 이미지, 영상 등을 디지털 방식으로 제작해 처리 및 유통하는 각종 정보 또는 그 내용물을 통틀어 이르는 개념을 의미할 수 있다. 컨텐트는 어플리케이션이 실행됨에 따라 디바이스의 화면 상에 출력되는 문자, 부호, 음성, 음향, 이미지 및 영상 중 적어도 하나를 포함할 수 있다. 컨텐트에는, 예를 들어, e-북(electronic book), 메모, 사진, 영화 및 음악 등이 포함될 수 있다. 다만, 이는 일 실시예일 뿐, 본 발명의 컨텐트가 전술한 예에 한정되는 것은 아니다.
한편, 명세서 전체에서 어플리케이션은 특정한 업무를 수행하기 위한 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 어플리케이션은 다양할 수 있다. 예를 들어, 음악 재생 어플리케이션, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 다이어리 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
또한, 생체 정보는, 사용자의 신체에서 발생하는 생체 신호에 관한 정보를 일컫는다. 예를 들어, 생체 정보는 사용자의 맥박수, 혈압, 땀의 양, 체온, 땀샘의 크기, 얼굴 표정 및 동공의 크기 등을 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 본 발명의 생체 정보가 전술한 예에 한정되는 것은 아니다.
또한, 컨텍스트 정보(Context Information)는, 디바이스를 사용하는 사용자의 상황과 관련된 정보를 포함할 수 있다. 예를 들어, 사용자의 위치, 사용자가 위치하는 장소의 온도, 소음의 크기 및 밝기 정도, 디바이스가 착용된 사용자의 신체 부위 및 사용자가 디바이스를 사용하고 있는 상황에서 취하고 있는 동작에 관한 정보가 컨텍스트 정보에 포함될 수 있다. 디바이스는 컨텍스트 정보를 통해 사용자의 상황을 예측할 수 있다. 다만, 이는 본 발명의 일 실시예일 뿐, 본 발명의 컨텍스트 정보가 전술한 예에 한정되는 것은 아니다.
또한, 컨텐트를 이용하는 사용자의 감정은, 컨텐트를 이용한 사용자가 컨텐트에 대해 느끼는 정신적 반응을 일컫는다. 사용자의 감정은, 예를 들어, 지루함, 흥미로움, 무서움 및 슬픔 등의 정신적 반응을 포함할 수 있다. 다만, 이는 본 발명의 일 실시예일 뿐, 본 발명의 감정이 전술한 예에 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 디바이스(100)가 컨텐트를 제공하는 방법을 설명하기 위한 개념도이다.
디바이스(100)는 실행되는 어플리케이션에 따라 적어도 하나의 컨텐트를 디바이스(100)에 출력할 수 있다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션이 실행되는 경우, 영화 파일을 재생하여 영상, 문자, 부호 및 음향 등이 결합된 컨텐트를 디바이스(100)에 출력할 수 있다.
디바이스(100)는 적어도 하나의 센서를 이용하여, 컨텐트를 이용하는 사용자와 관련된 정보를 획득할 수 있다. 사용자와 관련된 정보에는 사용자의 생체 정보 및 사용자의 컨텍스트 정보 중 적어도 하나가 포함될 수 있다. 예를 들어, 디바이스(100)는 심전도(12), 동공의 크기(14), 사용자의 얼굴 표정 및 맥박의 수(18) 등을 포함하는 생체 정보를 획득할 수 있다. 또한, 디바이스(100)는 사용자의 상황을 나타내는 컨텍스트 정보를 획득할 수 있다. 포함될 수 있다.
일 실시예에 따른 디바이스(100)는 컨텍스트 정보를 기초로 결정된 상황에서, 컨텐트에 대한 사용자의 감정을 결정할 수 있다. 예를 들어, 디바이스(100)는 컨텍스트 정보를 이용하여 사용자 주변의 온도를 결정할 수 있다. 디바이스(100)는 결정된 주변의 온도에서, 사용자가 배출하는 땀의 양을 기초로 사용자의 감정을 결정할 수 있다.
구체적으로, 디바이스(100)는 무서움에 관한 감정을 느끼는 지 여부를 판단하기 위해 기준이 되는 땀의 양과 사용자가 배출하는 땀의 양을 비교하여, 사용자가 무서움을 느끼는 지 여부를 판단할 수 있다. 여기에서, 사용자가 영화를 보면서 느낄 수 있는 무서움에 대한 감정을 결정하는데 있어, 기준이 되는 땀의 양은 사용자가 위치한 환경의 온도가 높은 경우와 사용자가 위치한 환경의 온도가 낮은 경우가 서로 다르게 설정될 수 있다.
디바이스(100)는 결정된 사용자의 감정에 대응되는 컨텐트 요약 정보를 생성할 수 있다. 컨텐트 요약 정보에는 사용자가 이용한 컨텐트에 포함된 복수의 컨텐트 부분들이 사용자가 느끼는 감정에 따라 분류되어 포함될 수 있다. 또한, 컨텐트 요약 정보에는 분류된 컨텐트 부분들 각각에 대응되는 감정을 나타내는 감정 정보가 함께 포함될 수 있다. 예를 들어, 컨텐트 요약 정보에는 사용자가 컨텐트를 이용하는 도중에 무서움을 느꼈던 컨텐트 부분들과 무서움을 나타내는 감정 정보가 함께 포함될 수 있다. 디바이스(100)는 사용자가 시청한 A 영화에서, 사용자가 무서움을 느끼는 장면 1 내지 장면 10을 캡쳐하고, 캡쳐된 장면들과 함께 무서움을 나타내는 감정 정보를 조합하여, 컨텐트 요약 정보를 생성할 수 있다.
디바이스(100)는 스마트폰, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, GPS(global positioning system) 장치, 랩톱, 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.
도 2는 본 발명의 일 실시예에 따라 디바이스(100)가 컨텐트를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 디바이스(100)는 디바이스(100)에서 실행중인 컨텐트를 이용하는 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보 및 사용자의 생체 정보를 획득한다.
본 발명의 일 실시예에 따른 디바이스(100)는 컨텐트를 이용하는 사용자의 맥박수, 혈압, 땀의 양, 체온, 땀샘의 크기, 얼굴 표정 및 동공의 크기 중 적어도 하나를 포함하는 생체 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 사용자의 동공의 크기가 x이고 사용자의 체온이 y라는 정보를 획득할 수 있다.
디바이스(100)는 사용자의 위치와 사용자가 위치한 장소의 날씨, 기온, 일조량 및 습도에 관한 정보 중 적어도 하나를 포함하는 컨텍스트 정보를 획득할 수 있다. 디바이스(100)는 획득한 컨텍스트 정보를 이용하여, 사용자의 상황을 결정할 수 있다.
예를 들어, 디바이스(100)는 사용자가 위치한 장소의 기온이 z라는 정보를 획득할 수 있다. 디바이스(100)는 사용자가 위치한 장소의 기온에 대한 정보를 이용하여, 사용자가 실내에 있는지 또는 실외에 있는지 여부를 판단할 수 있다. 또한, 디바이스(100)는 컨텍스트 정보를 기초로, 사용자의 위치가 시간에 따라 변경되는 정도를 결정할 수 있다. 디바이스(100)는 사용자의 위치가 시간에 따라 변경되는 정도를 이용하여, 사용자가 이동하고 있는지 여부 등의 사용자의 움직임을 판단할 수 있다.
한편, 디바이스(100)는 생체 정보 및 컨텍스트 정보를 획득한 시점에 실행된 컨텐트에 관한 정보를 생체 정보 및 컨텍스트 정보와 함께 저장할 수 있다. 예를 들어, 디바이스(100)는 사용자가 영화를 시청하는 경우, 미리 설정된 개수의 프레임 별로 사용자의 생체 정보 및 컨텍스트 정보를 저장할 수 있다.
다른 실시예에 따라, 디바이스(100)는 획득한 생체 정보가 컨텐트를 이용하지 않는 경우의 사용자의 생체 정보와 임계값 이상의 차이가 나는 경우, 생체 정보, 컨텍스트 정보 및 생체 정보와 컨텍스트 정보를 획득한 시점에 실행된 컨텐트에 관한 정보를 저장할 수 있다.
단계 S220에서, 디바이스(100)는 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보에 기초하여 컨텐트를 이용하는 사용자의 감정을 결정한다. 디바이스(100)는 획득한 컨텍스트 정보가 나타내는 사용자의 상황을 고려하여, 사용자의 생체 정보에 대응되는 사용자의 감정을 결정할 수 있다.
일 실시예에 따른, 디바이스(100)는 사용자의 상황에서, 복수의 감정들 각각에 관해 기준 생체 정보와 획득한 생체 정보를 비교하여 사용자의 감정을 결정할 수 있다. 여기에서, 기준 생체 정보는 복수의 감정들 각각에 대해 기준이 되는 생체 정보의 종류 및 생체 정보의 수치에 관한 정보를 나타낼 수 있다. 기준 생체 정보는 사용자의 상황 별로 상이할 수 있다.
디바이스(100)는 획득한 생체 정보가 기준 생체 정보와 대응되는 경우, 기준 생체 정보와 연관된 감정을 사용자의 감정으로 결정할 수 있다. 예를 들어, 사용자가 평균 온도보다 2도 높은 온도에서 영화를 시청하는 경우, 무서움과 연관된 기준 생체 정보는 동공이 1.05배 이상 확대되고, 체온은 0.5도 이상 증가하는 것으로 설정될 수 있다. 디바이스(100)는 획득한 사용자의 동공의 크기 및 체온이 기준 생체 정보에서 설정된 범위를 만족하는지 여부를 판단하여, 사용자가 무서움을 느끼는 지 여부를 판단할 수 있다.
다른 예에 따라 사용자가 실외에서 걸어가면서 영화 파일을 시청하는 경우, 디바이스(100)는 사용자가 움직이는 상황을 고려하여, 기준 생체 정보를 변경할 수 있다. 디바이스(100)는 사용자가 실외에서 걸어가면서 영화 파일을 시청하는 경우, 무서움과 연관된 기준 생체 정보를 맥박수 130 이상 140 이하로 선택할 수 있다. 디바이스(100)는 획득한 사용자의 맥박수가 130 이상 140 이하의 범위에 포함되는지 여부를 판단하여, 사용자가 무서움을 느끼는 지 여부를 판단할 수 있다.
단계 S230에서, 디바이스(100)는 기 설정된 조건을 만족하는 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출한다. 여기에서, 기 설정된 조건은 감정의 종류 또는 감정의 정도에 관한 정보를 포함할 수 있다. 감정의 종류에는 무서움, 기쁨, 흥미로움, 슬픔 및 지루함 등이 포함될 수 있다. 또한, 감정의 정도는 사용자가 어느 하나의 감정을 느끼는 정도에 따라 구별할 수 있다. 예를 들어, 사용자가 느끼는 무서움이라는 감정은, 조금 무서움 또는 매우 무서움 등으로 구별될 수 있다. 감정의 정도를 구별하는 기준으로는 사용자의 생체 정보가 이용될 수 있다. 예를 들어, 디바이스(100)는 무서움을 느끼는 사용자의 맥박수에 관한 기준 생체 정보가 130이상에서 140이하인 경우, 130이상에서 135미만은 조금 무서움, 135 이상에서 140 이상은 아주 무서움으로 감정의 정도를 구별할 수 있다.
또한, 컨텐트 부분은 컨텐트를 구성하는 데이터 단위일 수 있다. 컨텐트 부분은 컨텐트의 종류에 따라 상이할 수 있다. 컨텐트가 영화인 경우, 컨텐트 부분은 컨텐트를 시간에 따라 분할하여 생성될 수 있다. 예를 들어, 컨텐트가 영화인 경우, 컨텐트 부분은 영화를 구성하는 적어도 하나의 프레임일 수 있다. 다만, 이는 일 실시예일 뿐, 시간에 따라 출력되는 데이터가 변경되는 컨텐트에 대해 동일하게 적용될 수 있다.
다른 예에 따라 컨텐트가 사진인 경우, 컨텐트 부분은 사진을 구성하는 이미지일 수 있다. 또 다른 예에 따라 컨텐트가 e-북인 경우, 컨텐트 부분은 e-북을 구성하는 문장, 문단, 페이지일 수 있다.
한편, 디바이스(100)는 사용자로부터 특정 감정을 선택하는 입력을 획득하는 경우, 특정 감정에 대한 기 설정된 조건을 선택할 수 있다. 예를 들어, 사용자가 무서움이라는 감정을 선택하는 경우, 디바이스(100)는 무서움이라는 감정에 대해 기 설정된 조건인 맥박수 130이상 140이하라는 조건을 선택할 수 있다. 컨텐트에 포함되는 복수의 컨텐트 부분들 중에서 선택된 조건을 만족하는 컨텐트 부분을 추출할 수 있다.
일 실시예에 따라 디바이스(100)는 디바이스(100)에 저장된 컨텐츠 중에서, 선택된 감정과 관련된 적어도 하나의 관련된 컨텐트를 검출할 수 있다. 예를 들어, 디바이스(100)는 무서움과 관련된 영화, 음악, 사진 및 e-북 등을 검출할 수 있다. 디바이스(100)는 검출된 무서움과 관련된 컨텐츠 중에서, 사용자가 어느 하나를 선택하는 경우, 선택된 컨텐트에 관한 적어도 하나의 컨텐트 부분을 추출할 수 있다.
다른 예에 따라 디바이스(100)는 사용자가 컨텐트의 종류를 특정한 경우, 특정된 종류의 컨텐트 중에서 선택된 감정과 관련된 컨텐트를 출력할 수 있다. 예를 들어, 디바이스(100)는 사용자가 컨텐트의 종류를 영화로 특정한 경우, 무서움과 관련된 적어도 하나의 영화를 검출할 수 있다. 디바이스(100)는 검출된 무서움과 관련된 적어도 하나의 영화 중에서, 사용자가 어느 하나를 선택하는 경우, 선택된 영화에 관한 적어도 하나의 컨텐트 부분을 추출할 수 있다.
또 다른 예에 따라 디바이스(100)는 어느 하나의 컨텐트가 미리 특정된 경우, 특정된 컨텐트에서 선택된 감정과 관련된 적어도 하나의 컨텐트 부분을 추출할 수 있다.
단계 S240에서, 디바이스(100)는 추출된 적어도 하나의 컨텐트 부분 및 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성한다. 디바이스(100)는 무서움이라는 감정에 대해 기 설정된 조건을 만족하는 컨텐트 부분과 무서움이라는 감정 정보를 조합하여 컨텐트 요약 정보를 생성할 수 있다. 일 실시예에 따른 감정 정보는 텍스트, 이미지 및 음향 등 적어도 하나를 이용하여 나타낼 수 있다. 예를 들어, 디바이스(100)는 A 영화에서 무서움과 관련된 적어도 하나의 프레임과 무서운 표정을 나타내는 이미지를 조합하여, 컨텐트 요약 정보를 생성할 수 잇다.
한편, 디바이스(100)는 생성된 컨텐트 요약 정보를 컨텐트에 관한 메타데이터로서 저장할 수 있다. 컨텐트에 관한 메타데이터에는 컨텐트를 나타내는 정보들이 포함될 수 있다. 예를 들어, 컨텐트의 종류, 컨텐트의 제목, 컨텐트의 재생 시간 및 컨텐트를 이용한 사용자가 느낀 적어도 하나의 감정에 관한 정보가 컨텐트에 관한 메타데이터에 저장될 수 있다. 다른 예에 따라, 디바이스(100)는 컨텐트 부분에 대응되는 감정 정보를 컨텐트 부분에 관한 메타데이터로서 저장할 수도 있다. 컨텐트 부분에 관한 메타데이터에는 컨텐트 내에서 컨텐트 부분을 식별할 수 있는 정보들이 포함될 수 있따. 예를 들어, 컨텐트 부분에 관한 메타데이터에는 컨텐트 부분에 컨텐트 내에서 포함된 위치, 재생 시간, 재생 시점 및 컨텐트 부분을 이용한 사용자가 느낀 감정에 관한 정보가 저장될 수 있다.
도 3은 본 발명의 일 실시예에 따른 디바이스(100)가 컨텐트의 종류에 따라 컨텐트 부분에서 컨텐트 데이터를 추출하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 디바이스(100)는 디바이스(100)에서 실행중인 컨텐트를 이용하는 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보 및 사용자의 생체 정보를 획득한다.
한편, 단계 310은 도 2를 참조하여 전술한 단계 210과 대응될 수 있다.
단계 S320에서, 디바이스(100)는 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보에 기초하여 컨텐트를 이용하는 사용자의 감정을 결정한다. 디바이스(100)는 획득한 컨텍스트 정보가 나타내는 사용자의 상황을 기초로, 사용자의 생체 정보에 대응되는 사용자의 감정을 결정할 수 있다.
한편, 단계 320은 도 2를 참조하여 전술한 단계 220과 대응될 수 있다.
단계 S330에서, 디바이스(100)는 컨텐트의 종류에 기초하여, 결정된 사용자의 감정이 기 설정된 조건을 만족하는 컨텐트 부분에 관한 정보를 선택한다. 컨텐트의 종류는 컨텐트에 포함되는 문자, 부호, 음성, 음향, 이미지 및 영상 등의 정보들 및 컨텐트가 출력되는 어플리케이션의 종류에 따라 결정될 수 있다. 예를 들어, 비디오, 영화, e-북, 사진, 음악 등이 컨텐트의 종류에 포함될 수 있다.
한편, 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여 컨텐트의 종류를 결정할 수 있다. 어플리케이션에 관한 메타데이터에는 디바이스(100)에 저장된 복수개의 어플리케이션들 각각을 식별할 수 식별값들이 저장될 수 있다. 또한, 어플리케이션에 관한 메타데이터는 각각의 어플리케이션에서 실행되는 컨텐트의 종류를 나타내는 코드 번호 등이 저장될 수 있다. 컨텐트의 종류는 단계 310 내지 단계 330 중 어느 하나의 단계에서 결정될 수 있다.
디바이스(100)는 컨텐트의 종류가 영화로 결정되는 경우, 영화에 포함된 복수의 장면들 중 기 설정된 조건을 만족하는 적어도 하나의 프레임을 선택할 수 있다. 기 설정된 조건은 복수의 감정들 각각에 대해 기준이 되는 생체 정보의 종류 및 생체 정보의 수치에 관한 정보를 나타내는 기준 생체 정보를 포함할 수 있다. 기준 생체 정보는 사용자의 상황 별로 상이할 수 있다. 예를 들어, 디바이스(100)는 컨텍스트 정보를 기초로 결정된 사용자의 상황에서, 무서운 감정에 관한 맥박수를 만족하는 적어도 하나의 프레임을 선택할 수 있다. 다른 예에 따라 디바이스(100)는 컨텐트의 종류가 e-북으로 결정되는 경우, e-북에 포함되는 복수의 페이지들 중 무서운 감정에 관한 맥박수를 만족하는 페이지나 페이지에 포함된 일부 텍스트를 선택할 수 있다. 또 다른 예에 따라 디바이스(100)는 컨텐트의 종류가 음악으로 결정되는 경우, 음악이 재생되는 전체 재생 구간에서 무서운 감정에 관한 맥박수를 만족하는 일부 재생 구간을 선택할 수 있다.
단계 S340에서, 디바이스(100)는 선택된 적어도 하나의 컨텐트 부분을 추출하여, 사용자의 감정과 관련된 컨텐트 요약 정보를 생성할 수 있다. 디바이스(100)는 선택된 적어도 하나의 컨텐트 부분과 선택된 적어도 하나의 컨텐트 부분에 대응되는 감정 정보를 조합하여 컨텐트 요약 정보를 생성할 수 있다.
디바이스(100)는 적어도 하나의 컨텐트 부분에 대한 메타데이터에 감정 정보를 저장할 수 있다. 컨텐트 부분에 대한 메타데이터는 컨텐트를 구성하는 복수의 컨텐트 부분들 중에서, 특정 컨텐트 부분을 효율적으로 검출하여 이용하기 위해 일정한 규칙에 따라 컨텐트에 부여되는 데이터를 포함할 수 있다. 컨텐트 부분에 대한 메타데이터는 복수의 컨텐트 부분들 각각을 나타내는 식별 값 등이 포함될 수 있다. 일 실시예에 따른 디바이스(100)는 컨텐트 부분들 각각을 나타내는 식별 값과 함께 감정 정보를 저장할 수 있다.
예를 들어, 디바이스(100)는 선택된 영화의 프레임들과 무서움을 나타내는 감정 정보를 조합하여, 영화에 관한 컨텐트 요약 정보를 생성할 수 있다. 선택된 영화의 프레임들 각각의 메타데이터에는 프레임을 나타내는 식별값과 감정 정보가 함께 저장될 수 있다.또한, 디바이스(100)는 음악의 선택된 적어도 하나의 재생 구간과 선택된 적어도 하나의 재생 구간에 대응되는 감정 정보를 조합하여 컨텐트 요약 정보를 생성할 수 있다. 선택된 음악의 재생 구간들 각각의 메타데이터에는 재생 구간을 나타내는 식별값과 감정 정보가 함께 저장될 수 있다.
도 4는 본 발명의 일 실시예에 따른 디바이스(100)가 컨텐트의 종류에 기초하여, 적어도 하나의 컨텐트 부분을 선택하는 방법을 설명하기 위한 도면이다.
도 4의 (a)를 참조하면, 디바이스(100)는 e-북을 출력할 수 있다. 디바이스(100)는 e-북 재생 어플리케이션에 관한 메타데이터를 이용하여, 출력되고 있는 컨텐트가 e-북이라는 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 e-북 재생 어플리케이션에 관한 메타데이터에 저장된 어플리케이션의 식별값을 이용하여, 출력되고 있는 컨텐트가 e-북이라는 정보를 획득할 수 있다. 디바이스(100)는 e-북에 포함되는 복수의 텍스트들(412, 414, 416) 중에서, 기 설정된 조건을 만족하는 텍스트(414)를 선택할 수 있다. 디바이스(100)는 e-북을 이용하는 사용자의 생체 정보 및 컨텍스트 정보를 분석한 결과, 생체 정보가 사용자의 상황에서, 슬픔에 관해 설정된 기준 생체 정보를 만족하는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 밝기 정도가 1인 경우, e-북을 이용하는 사용자의 동공의 크기를 분석한 결과, 획득한 동공의 크기가 슬픔에 관해 설정된 동공의 크기 범위 내에 포함되는 경우, 생체 정보를 획득한 시점에 이용된 텍스트(414)를 선택할 수 있다.
디바이스(100)는 선택된 텍스트(414)와 선택된 텍스트(414)에 대응되는 감정 정보를 조합하여, 컨텐트 요약 정보를 생성할 수 있다. 디바이스(100)는 선택한 텍스트(414)에 관한 메타데이터에 슬픔을 나타내는 감정 정보를 저장함으로써 e-북에 관한 컨텐트 요약 정보를 생성할 수 있다.
도 4의 (b)를 참조하면, 디바이스(100)는 사진을 출력할 수 있다. 디바이스(100)는 사진 저장 어플리케이션에 관한 메타데이터에 저장된 어플리케이션의 식별값을 이용하여, 출력되고 있는 컨텐트가 사진이라는 정보를 획득할 수 있다.
디바이스(100)는 사진(420)에 포함되는 복수의 이미지들 중에서, 기 설정된 조건을 만족하는 이미지(422)를 선택할 수 있다. 디바이스(100)는 사진을 이용하는 사용자의 생체 정보 및 컨텍스트 정보를 분석한 결과, 생체 정보가 사용자의 상황에서, 기쁨에 관해 설정된 기준 생체 정보를 만족하는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 사용자가 정지해 있는 경우, 사진을 이용하는 사용자의 심장 박동수를 분석한 결과, 획득한 심장 박동수가 기쁨에 관해 설정된 심장 박동수의 범위 내에 포함되는 경우, 생체 정보를 획득한 시점에 이용된 이미지(422)를 선택할 수 있다.
또한, 디바이스(100)는 선택된 이미지(422)와 선택된 이미지(422)에 대응되는 감정 정보를 조합하여, 컨텐트 요약 정보를 생성할 수 있다. , 예를 들어, 디바이스(100)는 선택한 이미지(422)와 기쁨을 나타내는 감정 정보를 조합하여 사진에 관한 컨텐트 요약 정보를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디바이스(100)가 사용자에 관한 감정 정보 데이터 베이스를 생성하는 방법을 설명하기 위한 흐름도이다.
단계 S510에서, 디바이스(100)는 적어도 하나의 컨텐트에 관해 결정된 사용자의 감정 정보와 감정 정보에 대응되는 생체 정보 및 컨텍스트 정보를 저장할 수 있다. 여기에서, 감정 정보에 대응되는 생체 정보 및 컨텍스트 정보는 감정 정보를 결정하는데 기초가 된 생체 정보 및 컨텍스트 정보를 일컫는다.
예를 들어, 디바이스(100)는 어플리케이션이 실행되어 출력되는 적어도 하나의 종류의 컨텐트 각각을 이용하는 사용자의 생체 정보 및 컨텍스트 정보와 이를 기초로 결정된 감정 정보를 저장할 수 있다. 또한, 디바이스(100)는 컨텍스트 정보를 이용하여, 저장되는 감정 정보와 이에 대응되는 생체 정보를 상황에 따라 분류할 수 있다.
단계 S520에서, 디바이스(100)는 저장된 사용자의 감정 정보 및 감정 정보에 대응되는 생체 정보 및 컨텍스트 정보를 이용하여, 감정에 따른 기준 생체 정보를 결정할 수 있다. 또한, 디바이스(100)는 사용자의 상황에 따라 감정에 따른 기준 생체 정보를 결정할 수 있다. 예를 들어, 디바이스(100)는 사용자가 걸어가고 있는 상황에서, A, B 및 C 영화 각각을 시청하는 경우 획득되는 생체 정보의 평균 값을 기준 생체 정보로 결정할 수 있다.
한편, 디바이스(100)에는 감정에 따라 최초로 설정된 기준 생체 정보가 저장될 수 있다. 디바이스(100)는 최초로 설정된 기준 생체 정보와 획득한 생체 정보를 비교하여, 기준 생체 정보를 사용자에 적합하도록 변경할 수 있다. 예를 들어, 디바이스(100)에 최초로 설정된 기준 생체 정보에서는, 사용자가 흥미로운 감정을 느낄 때의 얼굴 표정이 입꼬리가 0.5cm 올라가는 것으로 결정될 수 있다. 한편, A, B 및 C 영화 각각을 시청하는 경우, 사용자의 입꼬리가 평균적으로 0.7cm 올라간다면, 디바이스(100)는 흥미로운 감정을 느낄 때의 기준 생체 정보를 입꼬리가 0.7cm 올라가는 것으로 결정할 수 있다.
단계 S530에서, 디바이스(100)는 결정된 기준 생체 정보를 포함하는 감정 정보 데이터 베이스를 생성할 수 있다. 디바이스(100)는 사용자가 느낄 수 있는 각각의 감정에 대해 상황 별 기준 생체 정보를 저장하는 감정 정보 데이터 베이스를 생성할 수 있다. 감정 정보 데이터 베이스에는 사용자가 특정 상황에서, 감정을 느낀다고 판단할 수 있는 기준 생체 정보들이 저장될 수 있다.
예를 들어, 감정 정보 데이터 베이스에는 사용자가 걸어가고 있는 경우, 사람들이 많은 장소에 있는 경우 등의 상황에서, 무서움, 기쁨 또는 슬픔 등을 느낀다고 판단할 수 있는 맥박수, 땀의 양, 얼굴 표정 등에 관한 생체 정보들이 저장될 수 있다.
도 6은 본 발명의 일 실시예에 따른 디바이스(100)가 사용자가 선택한 감정에 관한 컨텐트 요약 정보를 사용자에게 제공하는 방법을 설명하기 위한 흐름도이다.
단계 610에서, 디바이스(100)는 복수의 감정들 중 적어도 하나를 선택 가능한 리스트를 출력할 수 있다. 리스트 상에는 복수의 감정들 각각의 나타내는 텍스트 및 이미지 중 적어도 하나가 표시될 수 있다. 이에 대해서는 도 7을 참조하여 구체적으로 후술하도록 한다.
단계 620에서, 디바이스(100)는 사용자의 선택 입력에 기초하여 적어도 하나의 감정을 선택할 수 있다. 사용자는 사용자 인터페이스를 통해 표시된 복수의 감정들 중 어느 하나의 감정을 선택하는 입력을 디바이스(100)에 전송할 수 있다.
단계 630에서, 디바이스(100)는 선택된 감정에 대응되는 컨텐트 요약 정보를 출력할 수 있다. 컨텐트 요약 정보에는 선택된 감정에 대응되는 적어도 하나의 컨텐트 부분 및 선택된 감정을 나타내는 감정 정보가 포함될 수 있다. 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보는 이미지, 텍스트 등의 다양한 형태로 출력될 수 있다.
예를 들어, 디바이스(100)는 디바이스(100)에 저장된 컨텐츠 중에서, 선택된 감정과 관련된 적어도 하나의 관련된 컨텐트를 검출할 수 있다. 예를 들어, 디바이스(100)는 무서움과 관련된 영화, 음악, 사진 및 e-북 등을 검출할 수 있다. 디바이스(100)는 검출된 무서움과 관련된 컨텐츠 중에서, 사용자의 입력에 따라 어느 하나를 선택할 수 있다. 디바이스(100)는 선택된 컨텐트에 관한 적어도 하나의 컨텐트 부분을 추출할 수 있다. 디바이스(100)는 추출된 적어도 하나의 컨텐트 부분과 선택된 감정을 나타내는 텍스트 또는 이미지를 함께 출력할 수 있다.
다른 예에 따라 디바이스(100)는 사용자가 컨텐트의 종류를 특정한 경우, 특정된 종류의 컨텐트 중에서 선택된 감정과 관련된 컨텐트를 출력할 수 있다. 예를 들어, 디바이스(100)는 사용자가 컨텐트의 종류를 영화로 특정한 경우, 무서움과 관련된 적어도 하나의 영화를 검출할 수 있다. 디바이스(100)는 검출된 무서움과 관련된 적어도 하나의 영화 중에서, 사용자의 입력에 따라 어느 하나를 선택할 수 있다. 디바이스(100)는 선택된 영화에서 선택된 감정과 관련된 적어도 하나의 컨텐트 부분을 추출할 수 있다. 디바이스(100)는 추출된 적어도 하나의 컨텐트 부분과 선택된 감정을 나타내는 텍스트 또는 이미지를 함께 출력할 수 있다.
또 다른 예에 따라 디바이스(100)는 어느 하나의 컨텐트가 미리 특정된 경우, 특정된 컨텐트에서 선택된 감정과 관련된 적어도 하나의 컨텐트 부분을 추출할 수 있다. 디바이스(100)는 특정된 컨텐트에서 추출된 적어도 하나의 컨텐트 부분과 선택된 감정을 나타내는 텍스트 또는 이미지를 함께 출력할 수 있다.
한편, 이는 본 발명의 일 실시예일 뿐, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 디바이스(100)는 사용자로부터 컨텐트 요약 정보에 관한 요청을 수신하는 경우, 어느 하나의 감정을 선택하지 않고 모든 감정에 관한 컨텐트 요약 정보를 사용자에게 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따른 디바이스(100)가 사용자에게 복수의 감정들 중 어느 하나의 감정을 선택할 수 있는 사용자 인터페이스를 제공하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 디바이스(100)는 사용자가 느낄 수 있는 복수의 감정들을 나타내는 사용자 인터페이스를 텍스트 및 이미지 중 적어도 하나를 이용하여 표시할 수 있다. 또한, 디바이스(100)는 사운드를 이용하여 복수의 감정들에 관한 정보를 사용자에게 제공할 수 있다.
도 7을 참조하면, 디바이스(100)는 선택된 어플리케이션에서 실행 가능한 컨텐트들의 컨텐트 요약 정보가 생성되어 있는 경우, 어느 하나의 감정을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 동영상 재생 어플리케이션(710)이 실행되는 경우, 디바이스(100)는 재미(722), 지루함(724), 슬픔(726), 무서움(728) 등의 감정이 이미지로 표시된 사용자 인터페이스를 제공할 수 있다. 사용자는 표시된 복수의 이미지들 중에서 어느 하나의 감정에 대응되는 이미지를 선택하여, 선택된 감정과 연관된 컨텐트 및 컨텐트에 관한 요약 정보를 제공받을 수 있다.
한편, 이는 일 실시예일 뿐, 디바이스(100)는 컨텐트를 재실행하는 경우, 재실행되는 컨텐트에 관해 사용자가 느낀 감정들을 표시한 사용자 인터페이스를 제공할 수 있다. 디바이스(100)는 선택된 감정에 관한 컨텐트 부분들을 재실행되는 컨텐트에 관한 요약 정보로서 출력할 수 있다. 예를 들어, 디바이스(100)는 A 컨텐트를 재실행하는 경우, A 컨텐트에 관해 사용자가 느낀 감정들이 이미지로 표시된 사용자 인터페이스를 제공할 수 있다. 디바이스(100)는 사용자가 선택한 감정과 관련된 A 컨텐트의 부분들을 A 컨텐트에 관한 요약 정보로서 출력할 수 있다.
도 8은 디바이스(100)에서 컨텐트가 재실행되는 경우, 컨텐트에 관한 컨텐트 요약 정보가 출력되는 방법을 구체적으로 설명하기 위한 흐름도이다.
단계 810에서, 디바이스(100)는 컨텐트를 재실행할 수 있다. 디바이스(100)는 컨텐트가 재실행되는 경우, 컨텐트 요약 정보가 존재하는지 여부를 판단할 수 있다. 디바이스(100)는 재실행되는 컨텐트에 관한 컨텐트 요약 정보가 존재하는 경우, 복수의 감정들 중 적어도 하나의 감정을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다.
단계 820에서, 디바이스(100)는 사용자의 선택 입력에 기초하여 적어도 하나의 감정을 선택할 수 있다.
사용자가 복수의 감정들이 표시된 사용자 인터페이스에서 어느 하나의 감정을 나타내는 이미지에 터치 입력을 전송하는 경우, 디바이스(100)는 터치 입력에 대응되는 감정을 선택할 수 있다.
다른 예에 따라, 사용자는 디바이스(100)에 표시되는 입력 창에 특정 감정을 나타내는 텍스트를 입력할 수도 있다. 디바이스(100)는 입력된 텍스트에 대응되는 감정을 선택할 수 있다.
단계 830에서, 디바이스(100)는 선택된 감정에 관한 컨텐트 요약 정보를 출력할 수 있다.
예를 들어, 디바이스(100)는 선택된 무서운 감정과 연관된 컨텐트 부분들을 출력할 수 있다. 재실행되는 컨텐트가 동영상인 경우, 디바이스(100)는 사용자가 무서운 감정을 느낀다고 결정된 장면들을 출력할 수 있다. 또한, 재실행되는 컨텐트가 e-북인 경우, 디바이스(100)는 사용자가 무서운 감정을 느낀다고 결정된 텍스트를 출력할 수 있다. 다른 예에 따라, 재실행되는 컨텐트가 음악인 경우, 디바이스는 사용자가 슬픔을 느낀다고 결정된 멜로디 부분을 출력할 수 있다.
또한, 디바이스(100)는 컨텐트 부분들과 함께 컨텐트 부분들에 관한 감정 정보를 출력할 수 있다. 디바이스(100)는 선택된 감정을 나타내는 텍스트, 이미지 및 사운드 중 적어도 하나를 컨텐트 부분들과 함께 출력할 수 있다.
디바이스(100)에서 출력되는 컨텐트 요약 정보에 관한 구체적인 설명은 도 9 내지 도 14를 참조하여 구체적으로 후술하도록 한다.
도 9는 본 발명의 일 실시예에 따라 디바이스(100)에서 e-북이 실행되는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 디바이스(100)는 화면에 표시되는 e-북의 페이지에 대해서, 사용자가 특정 감정을 느낀 텍스트에 하이라이트 표시(910, 920, 930)를 나타낼 수 있다. 예를 들어, 디바이스(100)는 사용자가 선택한 감정을 느낀 텍스트 부분에 하이라이트 표시(910, 920, 930)를 나타낼 수 있다. 다른 예에 따라 디바이스(100)는 표시된 페이지에서 사용자가 느낀 복수의 감정들 각각과 대응되는 텍스트에 하이라이트 표시(910, 920, 930)를 나타낼 수 있다. 디바이스(100)는 감정에 따라 서로 다른 색의 하이라이트 표시(910, 920, 930)를 나타낼 수 있다.
예를 들어, 디바이스(100)는 재실행되는 e-북의 페이지에서 사용자가 슬픔을 느낀 텍스트 부분에는 노란색의 하이라이트 표시(910, 930)를 나타내고, 사용자가 분노를 느낀 텍스트 부분에는 빨간색의 하이라이트 표시(920)를 나타낼 수 있다. 또한, 디바이스(100)는 동일한 종류의 감정에 대해서, 색채의 투명도를 다르게 하여 하이라이트 표시를 나타낼 수도 있다. 디바이스(100)는 슬픔의 정도가 상대적으로 낮은 텍스트 부분에는 연한 노란색의 하이라이트 표시(910)를 나타내고, 슬픔의 정도가 상대적으로 높은 텍스트 부분에는 진한 노란색의 하이라이트 표시(920)를 나타낼 수 있다.
도 10은 본 발명의 다른 실시예에 따라 디바이스(100)에서 e-북(1010)이 실행되는 경우, 컨텐트 요약 정보(1020)를 제공하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 디바이스(100)는 표시된 페이지에서 사용자가 느낀 복수의 감정들 각각과 대응되는 텍스트를 추출하여 제공할 수 있다. 예를 들어, 디바이스(100)는 사용자가 이용한 e-북의 표지(1010)와 사용자가 선택한 슬픔에 관한 감정을 느낀 텍스트(1020)를 추출하여, e-북에 관한 컨텐트 요약 정보를 생성할 수 있다. 다만, 이는 본 발명의 일 실시예일 뿐, e-북의 표지(1010)를 제외한, 추출된 텍스트(1020) 만이 컨텐트 요약 정보에 포함될 수 있다.
디바이스(100)는 생성된 e-북에 관한 컨텐트 요약 정보를 출력함으로써, 사용자에게 e-북에 관한 정보를 제공할 수 있다.
도 11은 본 발명의 일 실시예에 따라 디바이스(100)에서 동영상이 실행되는 경우, 컨텐트 요약 정보(1122, 1124)를 제공하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 디바이스(100)는 동영상이 실행되는 경우, 실행되는 동영상에서 사용자가 특정 감정을 느낀 장면에 관한 정보를 제공할 수 있다. 예를 들어, 디바이스(100)는 프로그레스 바에서, 특정 감정을 느낀 장면에 대응되는 위치에 북마크(1110, 1120, 1130)를 표시할 수 있다.
사용자는 복수의 북마크(1110, 1120, 1130)들 중에서, 어느 하나를 선택할 수 있다. 디바이스(100)는 선택된 북마크(1120)에 대응되는 장면에 관한 정보(1122)를 감정 정보(1124)와 함께 표시할 수 있다. 예를 들어, 동영상의 경우, 디바이스(100)는 선택된 북마크(1120)에 대응되는 장면을 나타내는 썸네일 이미지 및 감정을 나타내는 이미지(1124)를 표시할 수 있다.
한편, 이는 본 발명의 일 실시예일 뿐, 디바이스(100)는 북마크(1110, 1120, 1130) 표시된 장면들을 자동으로 재생할 수도 있다.
도 12는 본 발명의 다른 실시예에 따라 디바이스(100)에서 동영상이 실행되는 경우, 컨텐트 요약 정보(1210)를 제공하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 동영상에 포함되는 복수의 장면들 중에서, 특정 감정에 대응되는 장면들(예를 들어, 1212)을 감정 정보(1214)와 함께 제공할 수 있다. 도 12를 참조하면, 디바이스(100)는 동영상을 이용하는 사용자가 특정 감정을 느끼는 경우 얼굴 표정을 촬영한 이미지(1214)를 장면(1212)에 대한 감정 정보로서 제공할 수 있다. 디바이스(100)는 특정 감정에 대응되는 장면(1212)을 화면에 표시하고, 장면(1212)과 오버랩되는 일 측면에 사용자의 얼굴 표정을 촬영한 이미지(1214)를 표시할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)는 화면을 일정 비율로 분할하여, 분할된 각각의 영역에 장면(1212)과 감정 정보(1214)를 표시할 수도 있다.
한편, 이는 본 발명의 일 실시예일 뿐, 디바이스(100)는 사용자의 얼굴 표정을 촬영한 이미지(1214) 이외에도 다른 방식으로 감정 정보를 제공할 수 있다. 예를 들어, 디바이스(100)는 사용자가 특정 감정을 느끼는 경우, 사용자의 말 또는 감탄사를 녹음하여, 장면(1212)에 대한 감정 정보로서 제공할 수 있다.
도 13은 본 발명의 일 실시예에 따라 디바이스(100)가 통화 어플리케이션을 실행하는 경우, 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 설정에 따라 통화 내용을 녹음할 수 있다. 디바이스(100)는 사용자로부터 통화 내용에 관한 컨텐츠 요약 정보의 생성 요청을 수신하는 경우, 사용자의 통화 내용을 녹음하고 통화를 하는 사용자의 표정을 촬영할 수 있다. 예를 들어, 디바이스(100)는 통화 도중, 사용자가 특정 감정을 느낀다고 판단되는, 통화 구간을 기록하고, 기록된 통화 구간에서의 사용자의 표정을 촬영한 이미지(1310)를 저장할 수 있다.
디바이스(100)는 사용자로부터 통화 내용에 관한 컨텐츠 요약 정보의 출력 요청을 수신하는 경우, 기록된 통화 구간에서의 대화 내용과 사용자의 표정을 촬영한 이미지를 제공할 수 있다. 예를 들어, 디바이스(100)는 통화 내용에서 사용자가 즐거움을 느꼈던 통화 구간에서의 대화 내용과 사용자의 표정을 촬영한 이미지를 제공할 수 있다.
또한, 디바이스(100)는 사용자가 상대방과 영상 통화를 수행한 경우, 대화 내용 뿐만 아니라, 상대방의 얼굴 표정을 캡쳐한 이미지(1320)를 통화 내용의 컨텐트 부분으로서 제공할 수 있다.
도 14는 본 발명의 일 실시예에 따라 복수의 컨텐츠 중에서, 특정 감정을 느끼는 컨텐츠 부분들을 조합하여 복수의 컨텐츠에 관한 컨텐츠 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 복수의 컨텐츠에 포함된 컨텐츠 부분들 중에서, 특정 감정을 느끼는 컨텐츠 부분을 추출할 수 있다. 여기에서, 복수의 컨텐츠는 서로 연관된 컨텐츠 일 수 있다. 예를 들어, 제 1 컨텐츠가 A 영화의 전편이고, 제 2 컨텐츠가 A 영화의 후편일 수 있다. 또한, 컨텐츠가 드라마인 경우, 드라마 시리즈를 구성하는 복수의 컨텐츠 역시 연관된 컨텐츠에 포함될 수 있다.
도 14를 참조하면, 디바이스(100)는 동영상 재생 어플리케이션이 실행되는 경우, 재미(1422), 지루함(1424), 슬픔(1426), 무서움(1428) 등의 감정이 이미지로 표시된 사용자 인터페이스(1420)를 제공할 수 있다. 사용자는 표시된 복수의 이미지들 중에서 어느 하나의 감정에 대응되는 이미지를 선택하여, 선택된 감정과 연관된 컨텐트 및 컨텐트에 관한 요약 정보를 제공할 수 있다.
예를 들어, 디바이스(100)는 드라마 시리즈를 구성하는 복수의 컨텐츠에서, 사용자가 재미를 느낀 장면들(1432, 1434, 1436)을 캡쳐하여, 감정 정보와 함께 제공할 수 있다. 디바이스(100)는 캡쳐한 장면들(1432, 1434, 1436)을 자동으로 재생할 수 있다. 다른 예에 따라 디바이스(100)는 사용자가 재미를 느낀 장면들(1432, 1434, 1436)의 썸네일 이미지를 감정 정보와 함께 제공할 수 있다.
도 15는 본 발명의 일 실시예에 따른 디바이스(100)가 컨텐츠에 관한 다른 사용자의 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 1510에서, 디바이스(100)는 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 획득할 수 있다.
디바이스(100)는 컨텐트를 이용하는 다른 사용자의 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 컨텐트를 이용하는 다른 사용자의 디바이스에 대한 식별 정보 및 다른 사용자의 디바이스가 연결된 IP 정보 등을 획득할 수 있다.
디바이스(100)는 다른 사용자의 디바이스에 컨텐트에 관한 컨텐트 요약 정보를 요청할 수 있다. 사용자는 특정 감정을 선택하여, 선택된 감정에 관한 컨텐트 요약 정보를 요청할 수 있다. 다른 예에 따라, 사용자는 특정 감정을 선택하지 않고, 모든 감정에 관한 컨텐츠 요약 정보를 요청할 수 있다.
디바이스(100)는 사용자의 요청에 따라, 다른 사용자의 디바이스로부터 컨텐트에 관한 컨텐트 요약 정보를 획득할 수 있다. 다른 사용자의 컨텐트 요약 정보에는 다른 사용자가 특정 감정을 느낀 컨텐트 부분들과 감정 정보들이 포함되어 있을 수 있다.
단계 1520에서, 디바이스(100)는 컨텐트 재생 시, 획득한 다른 사용자의 컨텐트 요약 정보를 제공할 수 있다.
디바이스(100)는 획득한 다른 사용자의 컨텐트 요약 정보를 컨텐트와 함께 제공할 수 있다. 또한, 디바이스(100)는 컨텐트에 관한 사용자의 감정 정보를 포함한 컨텐트 요약 정보가 미리 존재하는 경우, 다른 사용자의 컨텐트 요약 정보와 함께 제공할 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 다른 사용자의 컨텐트 요약 정보 중에서, 사용자의 컨텐트 요약 정보와 대응되는 컨텐트 부분에 관한 감정 정보를 조합하여 제공할 수 있다. 예를 들어, 디바이스(100)는 A 영화에서, 사용자가 무서운 감정을 느꼈던 제 1 장면에 관한 다른 사용자의 지루한 감정 정보와 사용자의 감정을 조합하여 제공할 수 있다.
한편, 이는 본 발명의 일 실시예일 뿐, 디바이스(100)는 다른 사용자의 컨텐트 요약 정보 중에서, 사용자의 컨텐트 요약 정보와 일치하지 않는 부분들을 추출하여 제공할 수 있다. 디바이스(100)는 사용자의 감정 정보와 다른 내용의 감정 정보가 다른 사용자의 컨텐트 요약 정보에 포함되는 경우, 다른 사용자의 컨텐트 요약 정보를 제공함으로써, 컨텐트에 관해 보다 풍부한 정보를 제공할 수 있다.
도 16은 본 발명의 일 실시예에 따라 디바이스(100)가 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 동영상을 재생하는 경우, 동영상에 관한 다른 사용자의 컨텐트 요약 정보(1610, 1620)를 획득할 수 있다. 도 16을 참조하면, 디바이스(100)는 A 드라마를 이용하는 다른 사용자들의 컨텐트 요약 정보(1610, 1620)를 획득할 수 있다. 다른 사용자들의 컨텐트 요약 정보에는 예를 들어, A 드라마에 포함된 복수의 장면들 중에서 다른 사용자가 특정 감정을 느끼는 장면 및 특정 감정을 느끼는 장면에서의 사용자의 얼굴 표정을 촬영한 이미지 등이 포함될 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 사용자로부터 A 드라마에 관한 정보 요청을 수신하는 경우, A 드라마에 관해 미리 생성된 사용자의 컨텐트 요약 정보를 출력할 수 있다. 예를 들어, 디바이스(100)는 사용자의 컨텐트 요약 정보를 기초로, 특정 감정에 관해 추출된 장면들을 자동으로 출력할 수 있다. 또한, 디바이스(100)는 획득한 다른 사용자의 컨텐트 요약 정보에서 추출된 장면들과 대응되는 컨텐트 요약 정보를 추출하여, 추출된 장면들과 함께 출력할 수 있다.
도 16에서, 디바이스(100)는 A 드라마에서 사용자가 즐거움을 느끼는 장면과 함께, 다른 사용자의 얼굴 표정을 촬영한 이미지를 출력할 수 있다. 한편, 이는 일 실시예일 뿐, 디바이스(100)는 다른 사용자의 감정 정보와 함께 사용자의 감정 정보도 출력할 수 있다. 예를 들어, 디바이스(100)는 화면의 일 측면에는 사용자의 감정 정보를 출력하고, 다른 측면에는 다른 사용자의 감정 정보를 출력할 수 있다.
도 17은 본 발명의 다른 실시예에 따라 디바이스(100)가 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 제공하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 사진(1710)을 출력하는 경우, 사진(1710)에 관한 다른 사용자의 컨텐트 요약 정보(1720)를 획득할 수 있다. 도 17을 참조하면, 디바이스(100)는 사진(1710)을 감상하는 다른 사용자들의 컨텐트 요약 정보(1720)를 획득할 수 있다. 다른 사용자들의 컨텐트 요약 정보에는 예를 들어, 사진(1710)에 대한 다른 사용자의 감정을 텍스트로 표현한 감정 정보가 포함될 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 사용자로부터 사진(1710)에 관한 정보 요청을 수신하는 경우, 사진(1710)에 관해 미리 생성된 사용자의 컨텐트 요약 정보를 출력할 수 있다. 예를 들어, 디바이스(100)는 사용자가 사진(1710)에 대해 느끼는 감정을 텍스트 형태로 사진(1710)과 함께 출력할 수 있다. 또한, 디바이스(100)는 획득한 다른 사용자의 컨텐트 요약 정보에서 추출된 장면들과 대응되는 컨텐트 요약 정보를 추출하여, 추출된 장면들과 함께 출력할 수 있다.
도 17에서, 디바이스(100)는 사진(1710)에 관한 사용자의 감정 정보와 함께 다른 사용자의 감정 정보를 텍스트로 출력할 수 있다. 예를 들어, 디바이스(100)는 화면의 일 측면에 사진(1710)을 출력하고 다른 측면에서는 사진(1710)에 관한 감정 정보(1720)로서 사용자의 감정 정보와 다른 사용자의 감정 정보를 텍스트로 표시할 수 있다.
도 18 및 도 19은 본 발명의 일 실시예에 따른 디바이스(100)의 구성을 설명하기 위한 블록 구성도이다.
도 18에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 센싱부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.
예를 들어, 도 19에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 센싱부(110), 제어부(120), 출력부(130) 이외에 사용자 입력부(140), 통신부(150), A/V(Audio/Video) 입력부(160), 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
센싱부(110)는, 디바이스(100)의 상태 또는 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.
센싱부(110)는, 디바이스(100)에서 컨텐트가 실행되는 경우, 실행되는 컨텐트를 이용하는 사용자의 생체 정보 및 사용자의 생체 정보가 획득된 시점의 사용자의 상황을 나타내는 컨텍스트 정보를 획득한다.
센싱부(110)는, 지자기 센서(Magnetic sensor)(141), 가속도 센서(Acceleration sensor)(142), 온/습도 센서(143), 적외선 센서(144), 자이로스코프 센서(145), 위치 센서(예컨대, GPS)(146), 기압 센서(147), 근접 센서(148), 및 RGB 센서(illuminance sensor)(149) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(140), 출력부(130), 센싱부(110), 통신부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.
제어부(120)는, 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보에 기초하여, 컨텐트를 이용하는 사용자의 감정을 결정하고, 기 설정된 조건을 만족하는 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출할 수 있다. 제어부(120)는 추출된 적어도 하나의 컨텐트 부분 및 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성할 수 있다.
제어부(120)는 생체 정보가 복수의 감정들 중 어느 하나의 감정에 대해 기 설정된 기준 생체 정보에 대응되는 경우, 어느 하나의 감정을 사용자의 감정으로 결정할 수 있다.
제어부(120)는 저장된 사용자의 생체 정보 및 저장된 사용자의 컨텍스트 정보를 이용하여 사용자의 감정에 관한 감정 정보 데이터베이스를 생성할 수 있다.
제어부(120)는 생성된 감정 정보 데이터 베이스에 저장된 복수의 감정들 각각에 관한 생체 정보 및 컨텐스트 정보와, 획득한 사용자의 생체 정보 및 획득한 컨텍스트 정보를 비교하여 사용자의 감정을 결정할 수 있다.
제어부(120)는 디바이스에서 실행되는 컨텐트의 종류를 결정하고, 결정된 컨텐트의 종류에 기초하여, 추출되는 컨텐트 부분을 결정할 수 있다.
제어부(120)는 사용자가 선택한 감정에 관한 컨텐트 요약 정보를 복수의 컨텐츠 각각으로부터 획득하여 획득한 복수의 컨텐츠 각각의 컨텐트 요약 정보를 조합할 수 있다.
출력부(130)는, 제어부(120)에서 결정된 동작을 수행하기 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.
디스플레이부(131)는 디바이스(100)에서 처리되는 정보를 출력한다. 예를 들어, 디스플레이부(131)는, 실행되는 컨텐트를 디스플레이 할 수 있다. 또한, 디스플레이부(131)는 생성된 컨텐트 요약 정보를 출력할 수 있다. 디스플레이부(131)는 획득된 선택 입력에 따라 선택되는 감정에 관한 컨텐트 요약 정보를 출력할 수 있다. 디스플레이부(131)는 사용자의 컨텐트 요약 정보와 다른 사용자의 컨텐트 요약 정보를 함께 출력할 수 있다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(131)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(121)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(132)는 통신부(150)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(140)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(140)는, 사용자 입력을 획득할 수 있다. 예를 들어, 사용자 입력부(100)는, 복수의 감정들 중에서 어느 하나의 감정을 선택하는 사용자의 선택 입력을 획득할 수 있다. 또한, 사용자 입력부(140)는 디바이스(100)에서 실행 가능한 복수의 컨텐츠 중에서 적어도 하나의 실행을 요청하는 사용자 입력을 획득할 수 있다.
통신부(150)는, 디바이스(100)와 외부 기기(200) 또는 디바이스(100)와 서버(300) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.
통신부(150)는, 생성된 입력 패턴 정보에 대응되는 동작을 수행한 결과를 외부 기기(200)와 공유할 수 있다. 이때, 통신부(150)는 서버(300)를 통해서 입력 패턴 정보에 대응되는 동작을 수행한 결과를 외부 기기(200)에 전송할 수도 있고, 직접 외부 기기(200)에 입력 패턴 정보에 대응되는 동작을 수행한 결과를 전송할 수도 있다.
통신부(150)는, 외부 기기(200)에서 생성된 입력 패턴 정보에 대응되는 동작을 수행한 결과를 수신할 수 있다. 이때, 통신부(150)는 서버(300)를 통해서 외부 기기(200)의 입력 패턴 정보에 대응되는 동작을 수행한 결과를 외부 기기(200)로부터 수신할 수도 있고, 직접 외부 기기(200)로부터 외부 기기(200)의 입력 패턴 정보에 대응되는 동작을 수행한 결과를 수신할 수도 있다.
통신부(150)는, 외부 기기(200)로부터 통화 연결 요청을 수신할 수 있다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 메뉴, 복수의 메뉴 각각에 대응하는 복수의 제 1 계층 서브 메뉴, 복수의 제 1 계층 서브 메뉴 각각에 대응하는 복수의 제 2 계층 서브 메뉴 등)을 저장할 수도 있다.
메모리(170)는 적어도 하나의 컨텐트에 관한 사용자의 생체 정보 및 상기 사용자의 컨텍스트 정보를 저장할 수 있다. 또한, 메모리(170)는 기준 감정 정보 데이터 베이스를 저장할 수 있다. 메모리(170)는 컨텐트 요약 정보를 저장할 수 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 및 사용자 입력의 획득 등이 있다. 알림 모듈(173)은 디스플레이부(121)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(122)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(123)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 발명의 일 실시예에 따른 디바이스(100)는, 사용자의 상태를 나타내는 이미지 카드를 생성하고 공유할 수 있는 사용자 인터랙션을 제공한다. 따라서, 본 발명의 일 실시예에 따른 디바이스(100)는, 간단한 사용자 인터랙션을 통해 사용자가 사용자의 상태를 나타내는 이미지 카드를 생성하고, 친구들과 이미지 카드를 공유할 수 있도록 한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 디바이스에서 실행중인 컨텐트를 이용하는 사용자의 생체 정보, 및 상기 사용자의 생체 정보가 획득된 시점의 상기 사용자의 상황을 나타내는 컨텍스트 정보를 획득하는 단계;
    상기 획득된 사용자의 생체 정보 및 상기 획득된 컨텍스트 정보에 기초하여, 상기 컨텐트를 이용하는 사용자의 감정을 결정하는 단계;
    기 설정된 조건을 만족하는 상기 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출하는 단계; 및
    상기 추출된 적어도 하나의 컨텐트 부분, 및 상기 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성하는 단계를 포함하는 디바이스가 컨텐트를 제공하는 방법.
  2. 제 1 항에 있어서, 상기 사용자의 감정을 결정하는 단계는,
    복수의 감정들 중 어느 하나의 감정에 대해 기 설정된 기준 생체 정보에 상기 생체 정보가 대응되는 경우, 상기 어느 하나의 감정을 상기 사용자의 감정으로 결정하는 디바이스가 컨텐트를 제공하는 방법.
  3. 제 1 항에 있어서,
    복수의 컨텐츠 각각에 포함된 적어도 하나의 컨텐트 부분에 관한 상기 사용자의 생체 정보 및 상기 사용자의 컨텍스트 정보를 저장하는 단계; 및
    상기 저장된 사용자의 생체 정보 및 상기 저장된 사용자의 컨텍스트 정보를 이용하여 상기 사용자의 감정에 관한 생체 정보 데이터베이스를 생성하는 단계를 더 포함하는 디바이스가 컨텐트를 제공하는 방법.
  4. 제 3 항에 있어서, 상기 컨텐트를 이용하는 사용자의 감정을 결정하는 단계는,
    상기 생성된 감정 정보 데이터 베이스에 저장된 복수의 감정들 각각에 관한 생체 정보 및 컨텐스트 정보와, 상기 획득한 사용자의 생체 정보 및 상기 획득한 컨텍스트 정보를 비교하여 상기 사용자의 감정을 결정하는 디바이스가 컨텐트를 제공하는 방법.
  5. 제 1 항에 있어서, 상기 적어도 하나의 컨텐트 부분을 추출하는 단계는,
    상기 디바이스에서 실행되는 컨텐트의 종류를 결정하는 단계; 및
    상기 결정된 컨텐트의 종류에 기초하여, 상기 추출되는 컨텐트 부분을 결정하는 단계를 포함하는 디바이스가 컨텐트를 제공하는 방법.
  6. 제 5 항에 있어서,
    상기 선택된 감정에 관한 컨텐트 요약 정보를 복수의 컨텐츠 각각으로부터 획득하는 단계; 및
    상기 획득한 복수의 컨텐츠 각각의 컨텐트 요약 정보를 조합하여 출력하는 단계를 더 포함하는 디바이스가 컨텐트를 제공하는 방법.
  7. 제 1 항에 있어서,
    상기 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 획득하는 단계를 더 포함하고,
    상기 사용자의 컨텐트 요약 정보와 상기 다른 사용자의 컨텐트 요약 정보를 함께 출력하는 단계를 더 포함하는 디바이스가 컨텐트를 제공하는 방법.
  8. 디바이스에서 실행중인 컨텐트를 이용하는 사용자의 생체 정보, 및 상기 사용자의 생체 정보가 획득된 시점의 상기 사용자의 상황을 나타내는 컨텍스트 정보를 획득하는 센싱부;
    상기 획득한 사용자의 생체 정보 및 상기 획득한 컨텍스트 정보에 기초하여, 상기 컨텐트를 이용하는 사용자의 감정을 결정하고, 기 설정된 조건을 만족하는 상기 사용자의 감정에 대응되는 적어도 하나의 컨텐트 부분을 추출하여,
    상기 추출된 적어도 하나의 컨텐트 부분, 및 상기 추출된 적어도 하나의 컨텐트 부분에 각각 대응되는 감정 정보를 포함하는 컨텐트 요약 정보를 생성하는 제어부; 및
    상기 실행되는 컨텐트를 디스플레이 하는 출력부를 포함하는 컨텐트를 제공하는 디바이스.
  9. 제 8 항에 있어서, 상기 제어부는,
    복수의 감정들 중 어느 하나의 감정에 대해 기 설정된 기준 생체 정보에 상기 생체 정보가 대응되는 경우, 상기 어느 하나의 감정을 상기 사용자의 감정으로 결정하는 컨텐트를 제공하는 디바이스.
  10. 제 8 항에 있어서,
    복수의 컨텐츠 각각에 포함된 적어도 하나의 컨텐트 부분에 관한 상기 사용자의 생체 정보 및 상기 사용자의 컨텍스트 정보를 저장하는 메모리를 더 포함하고,
    상기 제어부는,
    상기 저장된 사용자의 생체 정보 및 상기 저장된 사용자의 컨텍스트 정보를 이용하여 상기 사용자의 감정에 관한 감정 정보 데이터베이스를 생성하는 컨텐트를 제공하는 디바이스.
  11. 제 10 항에 있어서, 상기 제어부는,
    상기 생성된 감정 정보 데이터 베이스에 저장된 복수의 감정들 각각에 관한 생체 정보 및 컨텐스트 정보와, 상기 획득한 사용자의 생체 정보 및 상기 획득한 컨텍스트 정보를 비교하여 상기 사용자의 감정을 결정하는 컨텐트를 제공하는 디바이스.
  12. 제 8 항에 있어서, 상기 제어부는,
    상기 디바이스에서 실행되는 컨텐트의 종류를 결정하고, 상기 결정된 컨텐트의 종류에 기초하여, 상기 추출되는 컨텐트 부분을 결정하는 컨텐트를 제공하는 디바이스.
  13. 제 12 항에 있어서, 상기 제어부는,
    상기 선택된 감정에 관한 컨텐트 요약 정보를 복수의 컨텐츠 각각으로부터 획득하여 상기 획득한 복수의 컨텐츠 각각의 컨텐트 요약 정보를 조합하고,
    상기 조합된 복수의 컨텐츠 각각의 컨텐트 요약 정보를 출력하는 출력부를 더 포함하는 컨텐트를 제공하는 디바이스.
  14. 제 8 항에 있어서,
    상기 컨텐트에 관한 다른 사용자의 컨텐트 요약 정보를 획득하는 통신부; 및
    상기 사용자의 컨텐트 요약 정보와 상기 다른 사용자의 컨텐트 요약 정보를 함께 출력하는 출력부를 더 포함하는 컨텐트를 제공하는 디바이스.
  15. 제 1항 내지 제 7항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2015/012848 2014-12-01 2015-11-27 컨텐트를 제공하는 방법 및 디바이스 WO2016089047A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/532,285 US20170329855A1 (en) 2014-12-01 2015-11-27 Method and device for providing content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0169968 2014-12-01
KR1020140169968A KR20160065670A (ko) 2014-12-01 2014-12-01 컨텐트를 제공하는 방법 및 디바이스

Publications (1)

Publication Number Publication Date
WO2016089047A1 true WO2016089047A1 (ko) 2016-06-09

Family

ID=56091952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012848 WO2016089047A1 (ko) 2014-12-01 2015-11-27 컨텐트를 제공하는 방법 및 디바이스

Country Status (3)

Country Link
US (1) US20170329855A1 (ko)
KR (1) KR20160065670A (ko)
WO (1) WO2016089047A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121127A1 (ja) * 2015-01-30 2016-08-04 株式会社Ｕｂｉｃ データ評価システム、データ評価方法、およびデータ評価プログラム
US20170286755A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Facebot
US10529379B2 (en) * 2016-09-09 2020-01-07 Sony Corporation System and method for processing video content based on emotional state detection
KR102629772B1 (ko) * 2016-11-29 2024-01-29 삼성전자주식회사 전자 장치 및 이의 컨텐츠 요약 방법
WO2018101694A1 (en) * 2016-11-29 2018-06-07 Samsung Electronics Co., Ltd. Electronic apparatus and method for summarizing content
EP3688997A4 (en) * 2017-09-29 2021-09-08 Warner Bros. Entertainment Inc. PRODUCTION AND CONTROL OF CINEMATIC CONTENT IN RESPONSE TO A USER'S EMOTIONAL STATE
KR102168968B1 (ko) * 2019-01-28 2020-10-22 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR102617115B1 (ko) * 2023-06-12 2023-12-21 광운대학교 산학협력단 감정 표현 시스템 및 감정 표현 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
WO2010001512A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 印象度抽出装置および印象度抽出方法
JP4965322B2 (ja) * 2007-04-17 2012-07-04 日本電信電話株式会社 ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム
KR20120097098A (ko) * 2011-02-24 2012-09-03 주식회사 메디오피아테크 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치
KR101203182B1 (ko) * 2010-12-22 2012-11-20 전자부품연구원 감성형 콘텐츠 커뮤니티 서비스 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
KR101184515B1 (ko) * 2010-12-20 2012-09-19 경희대학교 산학협력단 사용자 이동 패턴과 감정 정보에 따른 사용자 정보의 제공 서버의 운영 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
JP4965322B2 (ja) * 2007-04-17 2012-07-04 日本電信電話株式会社 ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム
WO2010001512A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 印象度抽出装置および印象度抽出方法
KR101203182B1 (ko) * 2010-12-22 2012-11-20 전자부품연구원 감성형 콘텐츠 커뮤니티 서비스 시스템
KR20120097098A (ko) * 2011-02-24 2012-09-03 주식회사 메디오피아테크 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치

Also Published As

Publication number Publication date
KR20160065670A (ko) 2016-06-09
US20170329855A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
WO2017082519A1 (ko) 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
WO2016195291A1 (en) User terminal apparatus and method of controlling the same
WO2016052874A1 (ko) 영상과 관련되는 리마크 정보 제공 방법 및 그 단말
WO2017043857A1 (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
WO2015064903A1 (en) Displaying messages in an electronic device
WO2016126007A1 (en) Method and device for searching for image
WO2015072670A1 (en) System and method of sharing profile image card for communication
WO2011059202A2 (en) Display device and method of controlling the same
WO2016117836A1 (en) Apparatus and method for editing content
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2014112847A1 (en) Method and electronic device for providing guide
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2013169051A1 (en) Method and apparatus for performing auto-naming of content, and computer-readable recording medium thereof
WO2015005728A1 (ko) 이미지 표시 방법 및 장치
WO2015147486A1 (en) Method of providing activity notification and device thereof
WO2014042474A2 (en) Method and system for executing application, and device and recording medium thereof
WO2016093633A1 (ko) 컨텐트를 표시하는 방법 및 디바이스
WO2017030212A1 (ko) 이동 단말기 및 그 제어 방법
WO2016129781A1 (ko) 이동 단말기 및 그 제어 방법
WO2016080662A1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
WO2016076561A2 (en) Method of controlling device and device for performing the method
WO2015041491A1 (en) Method and device for displaying content
WO2018056587A1 (en) Electronic apparatus and controlling method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865442

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15532285

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15865442

Country of ref document: EP

Kind code of ref document: A1