WO2012020861A1 - 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법 - Google Patents

영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법 Download PDF

Info

Publication number
WO2012020861A1
WO2012020861A1 PCT/KR2010/005294 KR2010005294W WO2012020861A1 WO 2012020861 A1 WO2012020861 A1 WO 2012020861A1 KR 2010005294 W KR2010005294 W KR 2010005294W WO 2012020861 A1 WO2012020861 A1 WO 2012020861A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
scene
information
unit
output
Prior art date
Application number
PCT/KR2010/005294
Other languages
English (en)
French (fr)
Inventor
장승진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US13/816,439 priority Critical patent/US9099019B2/en
Priority to PCT/KR2010/005294 priority patent/WO2012020861A1/ko
Publication of WO2012020861A1 publication Critical patent/WO2012020861A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54

Definitions

  • the present invention relates to an image display device, an image display system, and a method for analyzing a user's emotional state, and more particularly, to an image display device, a video display system, and a user emotional state analysis method .
  • the present invention analyzes information related to a user's reaction to a scene included in a content to provide information on the user's emotional state to the scene or selectively provide information added for each scene of the content to provide an interactive A video display system and a method for analyzing the user's emotional state.
  • a method of analyzing a user emotion state of a video display device comprising: outputting a scene to which identification information is assigned in a content; Receiving information related to a user's reaction to the scene; Determining an emotional state of the user for the scene based on information related to the reaction of the user; And connecting and storing the identification information to the determined emotion state.
  • the method for analyzing the user's emotional state of the image display apparatus further includes outputting the determined emotional state and / or transmitting the emotional state to the mobile terminal.
  • the step of outputting and / or transmitting the emotional state to the mobile terminal further comprises the steps of: confirming the output setting and / or the transmission setting of the emotional state; And outputting and / or transmitting the determined emotion state to the mobile terminal based on the output setting and / or the transmission setting.
  • the scene is associated with additional information related to the scene
  • the method for analyzing the user's emotional state of the image display device may include transmitting the additional information to the output and / or the mobile terminal based on the determined emotional state Further comprising the steps of: Further, in one embodiment, the step of outputting the additional information and / or transmitting the additional information to the mobile terminal includes: confirming output setting and / or transmission setting of the additional information; And outputting and / or transmitting the additional information based on the output setting and / or transmission setting and the determined emotion state to the mobile terminal.
  • the additional information is information related to a content or a scene related to the scene. In one embodiment, the information related to the scene or the content related to the scene is information related to the advertisement content or the scene.
  • the information related to the user's reaction includes at least one of information related to the user's visual response and information related to the auditory response.
  • the information related to the reaction of the user includes at least one of skin temperature, skin conductivity, heart rate variability, and brain wave signal of the user.
  • the step of receiving information related to the reaction of the user is a step of receiving information related to the reaction of the user from the remote apparatus of the user.
  • the step of determining the user's emotional state for the scene includes determining the degree of pleasantness, discomfort, arousal, and relaxation of the user based on information related to the reaction of the user; And determining the emotion state of the user for the scene based on the degree of comfort, discomfort, arousal, and relaxation of the user.
  • the identification information assigned to the scene includes information on a time stamp of the scene.
  • the method for analyzing the user's emotional state of the image display device includes the steps of generating the user's taste information based on the determined emotional state and the identification information; And storing the generated taste information.
  • an image display apparatus including an output unit for outputting a scene to which identification information is assigned in a content; A communication unit for receiving information related to a user's reaction to the scene; And a control unit for determining the emotional state of the user based on the information related to the reaction of the user and for storing and storing the identification information in the determined emotional state.
  • an image display system including a remote device and an image display device, the image display device including: an output unit outputting a scene in which identification information is assigned to the image; A communication unit for receiving information related to a user's reaction to the scene from the remote device; And a control unit for determining an emotional state of the user based on information related to the reaction of the user, and for storing and storing the identification information in the determined emotional state, And transmits information related to the user's reaction to the scene to the device.
  • the image display device can analyze and store the emotion state of each scene included in the content. Accordingly, the content provider can objectively receive the feedback of the user according to the scene-specific characteristics of the content, and selectively provide the service added for each scene. In addition, the user can check his / her emotional state according to the scene-specific characteristics of the content, and can receive the customized service according to the emotional state without any action.
  • FIG 1 shows an image display system according to an embodiment of the present invention.
  • FIG. 2 (a) is a block diagram of a video display device according to an embodiment of the present invention.
  • FIG. 2 (b) is a detailed block diagram of the controller 170 shown in FIG. 2 (a).
  • FIG. 3 is a block diagram of a mobile terminal according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a signal measuring apparatus 300 according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an emotion state classification model according to an embodiment of the present invention.
  • FIG. 6 is a diagram showing a structure of contents according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a process of analyzing a user's emotional state according to an exemplary embodiment of the present invention.
  • FIG. 8 is a view showing an emotion state record table according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a process of outputting a user emotion state according to an embodiment of the present invention.
  • FIG. 10 is a view showing an emotion state output screen of the image display device 100 according to an embodiment of the present invention.
  • FIGS. 11A and 11B show a structure of a content to which additional information is linked to a scene according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a process of outputting additional information according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an additional information output screen according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a screen for displaying additional information of a mobile terminal according to an exemplary embodiment of the present invention.
  • FIG. 15 is a diagram showing a setting screen for outputting / transmitting emotion states and additional information according to an embodiment of the present invention.
  • an image display system 10 includes an image display device 100, a mobile terminal 200, and a signal measurement device 300.
  • the video display device 100 may receive a broadcasting signal including a video signal transmitted from a broadcasting station.
  • the video display device 100 may process the video signal, the audio signal, or the data signal included in the broadcast signal so as to be suitable for output from the video display device 100.
  • the video display device 100 can output video or audio based on the processed video signal.
  • the video display device 100 can communicate with a network server.
  • the network server is a device capable of transmitting and receiving signals to and from the video display device 100 through an arbitrary network.
  • the network server may be a mobile terminal that can be connected to the video display device 100 through a wired or wireless base station.
  • the network server may be a device capable of providing contents to the video display device 100 through the Internet network.
  • the content provider can provide the content to the video display device 100 using the network server.
  • the video display device 100 can communicate with the mobile terminal 200 and the signal measuring device 300.
  • the mobile terminal 200 and the signal measuring apparatus 300 can transmit and receive signals directly to the image display apparatus 100 by wire or wirelessly.
  • the broadcasting station, the network server, or the mobile terminal 200 may transmit a signal including a video signal to the video display device 100.
  • the image display device 100 can display an image based on a video signal included in an input signal.
  • the video display device 100 may transmit a signal transmitted from the broadcast station or the network server to the video display device 100 to the mobile terminal 200.
  • the video display device 100 may transmit a signal transmitted from the mobile terminal 200 to the video display device 100 to a broadcasting station or a network server. That is, the video display device 100 can transmit contents included in the signals transmitted from the broadcasting station, the network server, and the mobile terminal 200, in addition to directly reproducing the video content from the video display device 100.
  • the video display device 100 outputs a scene in which identification information is assigned to the content.
  • the signal measuring apparatus 300 generates information related to the user's reaction to the scene and transmits information related to the user's reaction to the image display apparatus 100.
  • the image display device 100 receives information related to the user's reaction and determines the user's emotional state with respect to the scene based on information related to the user's reaction.
  • the image display device 100 connects and stores the identification information assigned to the scene in the determined emotion state.
  • the video display device 100 includes a broadcast receiver 105, an external device interface 135, a storage 140, a user input interface 150, a control unit 170, a display unit 180, an audio output unit 185, and a power supply unit 190.
  • the broadcast receiving unit 105 may include a tuner 110, a demodulating unit 120, and a network interface unit 130.
  • the tuner 110 and the demodulator 120 may be selectively provided with the network interface unit 130.
  • the broadcast receiving unit 105 may include a plurality of tuners 110.
  • the tuner 110 selects an RF broadcast signal corresponding to a channel selected by the user or all previously stored channels among RF (Radio Frequency) broadcast signals received through the antenna. Also, the selected RF broadcast signal is converted into an intermediate frequency signal, a baseband image, or a voice signal. For example, if the selected RF broadcast signal is a digital broadcast signal, it is converted into a digital IF signal (DIF). If the selected RF broadcast signal is an analog broadcast signal, it is converted into an analog baseband image or voice signal (CVBS / SIF). That is, the tuner 110 can process a digital broadcast signal or an analog broadcast signal.
  • the analog baseband video or audio signal (CVBS / SIF) output from the tuner 110 can be directly input to the controller 170.
  • the tuner 110 can receive RF carrier signals of a single carrier according to an Advanced Television System Committee (ATSC) scheme or RF carriers of a plurality of carriers according to a DVB (Digital Video Broadcasting) scheme. Meanwhile, the tuner 110 sequentially selects RF broadcast signals of all the broadcast channels stored through the channel memory function among the RF broadcast signals received through the antenna, and converts the RF broadcast signals into an intermediate frequency signal, a baseband image, or a voice signal have.
  • ATSC Advanced Television System Committee
  • DVB Digital Video Broadcasting
  • the demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation. For example, when the digital IF signal output from the tuner 110 is the ATSC scheme, the demodulator 120 performs an 8-VSB (8-Vestigal Side Band) demodulation. Also, the demodulation unit 120 may perform channel decoding. To this end, the demodulator 120 includes a trellis decoder, a de-interleaver, and a reed solomon decoder to perform trellis decoding, deinterleaving, Solomon decoding can be performed.
  • the demodulator 120 when the digital IF signal output from the tuner 110 is a DVB scheme, the demodulator 120 performs COFDMA (Coded Orthogonal Frequency Division Modulation) demodulation. Also, the demodulation unit 120 may perform channel decoding. For this, the demodulator 120 may include a convolution decoder, a deinterleaver, and a reed-solomon decoder to perform convolutional decoding, deinterleaving, and reed solomon decoding.
  • COFDMA Coded Orthogonal Frequency Division Modulation
  • the demodulation unit 120 may perform demodulation and channel decoding, and then output a stream signal TS.
  • the stream signal may be a signal in which a video signal, a voice signal, or a data signal is multiplexed.
  • the stream signal may be an MPEG-2 TS (Transport Stream) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, or the like.
  • the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
  • the demodulating unit 120 may be separately provided according to the ATSC scheme and the DVB scheme. That is, it can be provided as an ATSC demodulation unit and a DVB demodulation unit.
  • the stream signal output from the demodulation unit 120 may be input to the controller 170.
  • the control unit 170 performs demultiplexing, video / audio signal processing, and the like, and then outputs the video to the display unit 180 and audio to the audio output unit 185.
  • the external device interface unit 135 can connect the external device and the video display device 100.
  • the external device interface unit 135 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the external device interface unit 135 can be connected to an external device such as a DVD (Digital Versatile Disk), a Blu ray, a game device, a camera, a camcorder, a computer (notebook)
  • the external device interface unit 135 transmits external video, audio, or data signals to the controller 170 of the video display device 100 through a connected external device.
  • the control unit 170 can output the processed video, audio, or data signal to the connected external device.
  • the external device interface unit 135 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the A / V input / output unit includes a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), a DVI (Digital Visual Interface) terminal, an HDMI (High Definition Multimedia Interface) terminal, an RGB terminal, a D-SUB terminal, and the like.
  • the wireless communication unit can perform short-range wireless communication with other electronic devices.
  • the video display device 100 is connected to a communication network such as Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, DLNA (Digital Living Network Alliance) Depending on the standard, it can be networked with other electronic devices.
  • RFID Radio Frequency Identification
  • IrDA infrared data association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • DLNA Digital Living Network Alliance
  • the external device interface unit 135 may be connected to the various set-top boxes via at least one of the various terminals described above to perform input / output operations with the set-top box. Meanwhile, the external device interface unit 135 may receive the application or application list in the adjacent external device, and may transmit the received application or application list to the control unit 170 or the storage unit 140.
  • the network interface unit 130 provides an interface for connecting the video display device 100 to a wired / wireless network including the Internet network.
  • the network interface unit 130 may include an Ethernet terminal or the like for connection to a wired network and may be a WLAN (Wireless LAN) (Wi-Fi), Wibro (Wireless) broadband), Wimax (World Interoperability for Microwave Access), and HSDPA (High Speed Downlink Packet Access) communication standards.
  • the network interface unit 130 can access a predetermined web page via the network. That is, it is possible to access a predetermined web page through a network and transmit or receive data with the server.
  • content or data provided by a content provider or a network operator can be received. That is, it can receive contents such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • the update information and the update file of the firmware provided by the network operator can be received. It may also transmit data to the Internet or a content provider or network operator.
  • the network interface unit 130 can select and receive a desired application among applications open to the public via a network.
  • the storage unit 140 may store a program for each signal processing and control in the control unit 170 or may store the processed video, audio, or data signals.
  • the storage unit 140 may also function to temporarily store video, audio, or data signals input from the external device interface unit 135 or the network interface unit 130.
  • the storage unit 140 may store information on a predetermined broadcast channel through the channel memory function.
  • the storage unit 140 may store a list of applications or applications input from the external device interface unit 135 or the network interface unit 130.
  • the storage unit 140 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) RAM, ROM (EEPROM, etc.), and the like.
  • the video display device 100 may reproduce and provide a content file (a moving image file, a still image file, a music file, a document file, an application file, etc.) stored in the storage unit 140 to a user.
  • FIG 2 (a) shows an embodiment in which the storage unit 140 is provided separately from the controller 170, but the scope of the present invention is not limited thereto.
  • the storage unit 140 may be included in the controller 170.
  • the user input interface unit 150 transmits a signal input by the user to the control unit 170 or a signal from the control unit 170 to the user.
  • the user input interface unit 150 may transmit a user input signal or a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170 have.
  • the user input interface unit 150 may transmit a user input signal or a control signal input from a sensing unit (not shown) that senses a user's gesture to the control unit 170, (Not shown) can be transmitted.
  • the sensing unit may include a touch sensor, an audio sensor, a position sensor, an operation sensor, and the like.
  • the control unit 170 demultiplexes the input stream or processes the demultiplexed signals through the tuner 110 or the demodulation unit 120 or the external device interface unit 135 to generate a signal for video or audio output Can be generated and output.
  • the video signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the video signal.
  • the video signal processed by the controller 170 may be input to the external output device through the external device interface 135.
  • the audio signal processed by the control unit 170 may be output to the audio output unit 185 through audio.
  • the voice signal processed by the control unit 170 may be input to the external output device through the external device interface unit 135.
  • the controller 170 may include a demultiplexer, an image processor, and the like.
  • control unit 170 can control the overall operation in the video display device 100.
  • control unit 170 may control the tuner 110 to control the tuner 110 to select an RF broadcast corresponding to a channel selected by the user or a previously stored channel.
  • controller 170 may control the image display device 100 according to a user command or an internal program input through the user input interface unit 150.
  • the user can access the network and download a list of applications or applications desired by the user to the video display device 100.
  • the controller 170 controls the tuner 110 to input a signal of a selected channel according to a predetermined channel selection command received through the user input interface unit 150. Then, video, audio, or data signals of the selected channel are processed.
  • the control unit 170 allows the display unit 180 or the audio output unit 185 to output the video or audio signal processed by the user through the channel information or the like selected by the user.
  • control unit 170 may control the operation of the external device through the external device interface unit 135, for example, a camera or a camcorder, according to an external device video playback command received through the user input interface unit 150 So that the video signal or the audio signal of the audio signal output through the display unit 180 or the audio output unit 185 can be outputted.
  • the external device interface unit 135, for example, a camera or a camcorder for example, a camera or a camcorder
  • control unit 170 may control the display unit 180 to display an image.
  • the broadcast image input through the tuner 110, the external input image input through the external device interface unit 135, the image input through the network interface unit, or the image stored in the storage unit 140 may be displayed on the display unit 180).
  • the image displayed on the display unit 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • control unit 170 can control to display a list of applications or applications that can be downloaded from the video display device 100 or from an external network.
  • the control unit 170 can control to install and drive an application downloaded from an external network, in addition to various user interfaces. Further, it is possible to control so that an image related to the executed application is displayed on the display unit 180 by the user's selection.
  • a channel browsing processing unit for generating a channel signal or a thumbnail image corresponding to an external input signal may be further provided.
  • the channel browsing processing unit receives the stream signal TS output from the demodulation unit 120 or the stream signal output from the external device interface unit 135 and extracts an image from an input stream signal to generate a thumbnail image .
  • the generated thumbnail image may be directly or encoded and input to the controller 170.
  • the generated thumbnail image may be encoded in a stream format and input to the controller 170.
  • the control unit 170 may display a thumbnail list having a plurality of thumbnail images on the display unit 180 using the input thumbnail images.
  • the thumbnail images in this thumbnail list can be updated in sequence or simultaneously. Accordingly, the user can easily grasp the contents of a plurality of broadcast channels.
  • the display unit 180 converts an image signal, a data signal, an OSD signal processed by the control unit 170 or a video signal and a data signal received from the external device interface unit 135 into R, G, and B signals, respectively Thereby generating a driving signal.
  • the display unit 180 may be a PDP, an LCD, an OLED, a flexible display, a 3D display, or the like. Meanwhile, the display unit 180 may be configured as a touch screen and used as an input device in addition to the output device.
  • the audio output unit 185 receives a signal processed by the control unit 170, for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs it as a voice.
  • the voice output unit 185 may be implemented by various types of speakers.
  • a photographing unit (not shown) for photographing a user can be further provided.
  • the photographing unit (not shown) may be implemented by a single camera, but the present invention is not limited thereto, and may be implemented by a plurality of cameras.
  • the image information photographed by the photographing unit (not shown) is input to the control unit 170.
  • a sensing unit having at least one of a touch sensor, a voice sensor, a position sensor, and an operation sensor may be further included in the image display device 100 have.
  • a signal sensed by a sensing unit may be transmitted to the controller 170 through the user input interface unit 150.
  • the control unit 170 may sense the gesture of the user by combining the images photographed by the photographing unit (not shown) or the signals sensed by the sensing unit (not shown).
  • the power supply unit 190 supplies power to the entire video display device 100. Particularly, it is possible to supply power to a control unit 170 that can be implemented in the form of a system on chip (SOC), a display unit 180 for displaying an image, and an audio output unit 185 for audio output .
  • SOC system on chip
  • the power supply unit 190 may include a converter (not shown) for converting the AC power into DC power.
  • a converter for converting the AC power into DC power.
  • an inverter (not shown) that can perform a PWM operation for variable luminance or dimming driving is further provided It is possible.
  • the video display device 100 described above can be applied to digital broadcasting of the ATSC system (8-VSB system), digital broadcasting of the DVB-T system (COFDM system), digital broadcasting of the ISDB-T system (BST-OFDM system) And a digital broadcasting receiver capable of receiving at least one of the digital broadcasting signals.
  • the video display device described in this specification is an image display device excluding the display portion 180 and the audio output portion 185 shown in FIG. And a wireless type that transmits and receives data to and from the audio output unit 185.
  • a block diagram of the image display device 100 shown in FIG. 2 (a) is a block diagram for an embodiment of the present invention.
  • Each component of the block diagram can be integrated, added, or omitted according to the specifications of the video display device 100 actually implemented. That is, two or more constituent elements may be combined into one constituent element, or one constituent element may be constituted by two or more constituent elements, if necessary.
  • the functions performed in each block are intended to illustrate the embodiments of the present invention, and the specific operations and apparatuses do not limit the scope of the present invention.
  • the video display device 100 does not include the tuner 110 and the demodulation unit 120 shown in FIG. 2 (a), and the network interface unit 130 or Via the external device interface unit 135, the image content and reproduce the image content.
  • the control unit 170 includes a main control unit 171, an output control unit 172, a transmission / reception control unit 173, an emotion state analysis unit 174, and an information management unit 175 according to an exemplary embodiment of the present invention.
  • the main control unit 171 includes other modules in the control unit 170 and the broadcast receiving unit 105, the external device interface unit 135, the storage unit 140, the user input interface unit 150, the display unit 180, And controls the operation of the power supply unit 190 and the power supply unit 190.
  • the output control unit 172 controls the overall operation regarding the output of the scene included in the content.
  • the output control unit 172 reads out the requested scene from the storage unit 140 or transmits the requested scene to the broadcast receiving unit 105 or the external device interface unit 135, And output the read or received contents through the display unit 180 and / or the audio output unit 185.
  • the scene included in the content may be a scene provided with identification information.
  • the output control unit 172 controls the overall operation of the output of the user's emotional state or additional information with respect to the scene being output.
  • the output control unit 172 outputs the requested emotion state to the display unit 180 and / or the audio output unit 185 when receiving the output request of the user's emotional state for the scene being output from the main control unit 171 can do.
  • the output control unit 172 receives the output request for the additional information assigned to the scene being output from the main control unit 171
  • the output control unit 172 outputs the requested additional information to the display unit 180 and / or the audio output unit 185 .
  • the transmission / reception control unit 173 controls reception of information related to the user's reaction to the scene being output.
  • Reception control unit 173 receives a request for information related to a user's reaction to a scene output from the main control unit 171 to the signal measuring apparatus 300 and transmits a control signal to the signal measuring apparatus 300 And receive information related to the user's reaction to the scene being output from the signal measuring apparatus 300.
  • the transmission / reception control unit 173 controls transmission of the emotion state or additional information of the user to the scene being output.
  • the transmission / reception control unit 173 can transmit the requested emotion state to the mobile terminal 200 upon receiving a request to transmit the emotion state of the user to the scene being output from the main control unit 171.
  • the transmission / reception control unit 173 can transmit the requested supplementary information to the mobile terminal 200 upon receiving the transmission request for the supplementary information connected to the scene being output from the main control unit 171.
  • the emotion state analyzing unit 174 determines the emotion state of the user based on the information related to the user's reaction to the scene being output, which is received from the signal measuring apparatus 300.
  • the emotion state analyzer 174 receives information (e.g., information about the motion of the user's eyes) related to the user's visual response from the signal measurement device 300 and provides information related to the received visual response From the information, the user's emotional state (for example, information on the recognition of objects of interest and concentration, etc.).
  • the emotion state analyzing unit 174 receives information related to the auditory response of the user from the signal measuring apparatus 300 (for example, information about the user's sound) Emotional state (vocabulary use, exclamation, voice pattern, etc.).
  • the emotion state analyzing unit 174 may be configured to determine, based on information about the skin temperature measured from the signal measuring apparatus 300, information on skin conductivity, information on heart rate variability, and information on brain waves of the prefrontal lobe
  • the user's emotional state can be determined.
  • the user's emotional state can be expressed as the degree of pleasure-displeasure and arousal-high-arousal-low.
  • the user's emotional state can be expressed in a pre-defined emotional state according to the degree of pleasant-ness and the degree of awakening-relaxation. For example, emotional states can be expressed as angry, delighted, relaxed, and tired.
  • the information management unit 175 links the emotional state of the user with respect to the scene being outputted to the identification information of the scene being outputted (so as to be associated or corresponded).
  • the information management unit 175 receives the request for storing the emotion state from the main control unit 171 and receives the identification information about the scene being output from the output control unit 172.
  • the information management unit 175 receives the identification information for the scene being output from the emotion state analysis unit 174, The user's emotional state is received.
  • the information management unit 175 also connects the emotion state received from the emotion state analysis unit 174 to the identification information received from the output control unit 172 and stores the coupled state in the storage unit 140.
  • the information management unit 175 may generate the user's taste information based on the determined emotion state and the identification information of the scene, and store the generated taste information in the storage unit 140.
  • the user's taste information is determined according to the genre of the scene to be output and the satisfaction with the scene.
  • the information management unit 175 may determine the genre of the scene based on the identification information of the outputted scene, and may generate the user's taste information based on the emotion state of the outputted scene.
  • the mobile terminal 200 includes a wireless communication unit 210, an A / V input unit 220, a user input unit 230, a sensing unit 240, an output unit 250, A memory 260, an interface unit 270, a control unit 280, a power supply unit 290, and the like.
  • the wireless communication unit 210 may include one or more modules for enabling wireless communication between the mobile terminal 200 and the wireless communication system or between the mobile terminal 200 and the network in which the mobile terminal 200 is located.
  • the wireless communication unit 210 may include a broadcast receiving module 211, a mobile communication module 212, a wireless Internet module 213, a short distance communication module 214, and a location information module 215 .
  • the broadcast receiving module 211 receives broadcast signals and / or broadcast-related information from an external broadcast management server through a broadcast channel.
  • the mobile communication module 212 transmits and receives a radio signal to at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless Internet module 213 is a module for wireless Internet access, and may be embedded in the mobile terminal 200 or externally.
  • the short range communication module 214 is a module for short range communication.
  • the position information module 215 is a module for obtaining the position of the mobile terminal, and a representative example thereof is a Global Position System (GPS) module.
  • GPS Global Position System
  • the A / V (Audio / Video) input unit 220 is for inputting an audio signal or a video signal, and may include a camera 221 and a microphone 222.
  • the camera 221 processes an image frame such as a still image or a moving image obtained by the image sensor in the video communication mode or the photographing mode.
  • the processed image frame can be displayed on the display unit 251.
  • the microphone 222 receives an external sound signal by a microphone in a communication mode, a recording mode, a voice recognition mode, or the like, and processes it as electrical voice data.
  • the user input unit 230 generates input data for a user to control the operation of the terminal.
  • the user input unit 230 may include a key pad, a dome switch, a touch pad (static / static), a jog wheel, a jog switch, and the like.
  • the sensing unit 240 senses the current state of the mobile terminal 200 such as the open / close state of the mobile terminal 200, the position of the mobile terminal 200, the presence of the user, the orientation of the mobile terminal, And generates a sensing signal for controlling the operation of the mobile terminal 200.
  • the output unit 250 includes a display unit 251, an audio output module 252, an alarm unit 253, a haptic module 254, and the like, for generating output related to visual, auditory, .
  • the display unit 251 displays (outputs) information processed by the mobile terminal 200.
  • the audio output module 252 can output audio data received from the wireless communication unit 210 or stored in the memory 260 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode,
  • the alarm unit 253 outputs a signal for notifying the occurrence of an event of the mobile terminal 200.
  • the haptic module 254 generates various tactile effects that the user can feel.
  • the memory 260 may store a program for the operation of the control unit 280 and temporarily store input / output data (e.g., a phone book, a message, a still image, a moving picture, etc.).
  • input / output data e.g., a phone book, a message, a still image, a moving picture, etc.
  • the interface unit 270 serves as a path for communication with all external devices connected to the mobile terminal 200.
  • the controller 280 typically controls the overall operation of the mobile terminal.
  • the control unit 280 may include a multimedia module 281 for multimedia playback.
  • the power supply unit 290 receives external power and internal power under the control of the controller 280 and supplies power required for operation of the respective components.
  • the control unit 280 may control the emotion state of the user from the image display device 100 through the wireless communication unit 210 or the interface unit 270, Or additional information linked to a scene being output from the video display device 100. [ The control unit 280 may output the emotion state or the additional information received from the image display device 100 through the output unit 250.
  • the signal measuring apparatus 300 includes a five-sensory signal measuring unit 310, a bio-signal measuring unit 320, a control unit 330, a network interface unit 340 and an external device interface unit 350.
  • the 5-sensed signal measuring unit 310 may measure an optical signal (e.g., a low-power CMOS camera) and information (sound, etc.) related to a user's auditory response to measure information (E. G., A microphone) for measurement.
  • an optical signal e.g., a low-power CMOS camera
  • information sound, etc.
  • the bio-signal measuring unit 320 may include a temperature sensor (for example, a clinical thermometer) for measuring skin temperature and the like, a skin conductivity sensor (for example, GSR (Galvanic Skin Resistance) sensor) for measuring skin conductivity through skin resistance, A PPG (Photoplethysmogram) sensor for indirectly measuring heart beat variability, and an EEG (Electroencephalogram) sensor for measuring brain waves of the prefrontal region (forehead region).
  • the bio-signal measuring unit 320 may further include a blood oxygen saturation measuring sensor, a respiration measuring sensor, and a facial muscle EMG measuring sensor.
  • the control unit 330 controls the operation of the ophthalmologic signal measuring unit 310, the bio-signal measuring unit 320, the network interface unit 340, and the external device interface unit 350.
  • the control unit 330 measures the user's five-sensory signal and / or the biological signal through the ophthalmologic signal measuring unit 310 and / or the bio-signal measuring unit 320, And generates information related to the user's reaction to the scene being output.
  • control unit 330 amplifies the measured signals from the ophthalmologic signal measuring unit 310 and / or the bio-signal measuring unit 320 and outputs the amplified signals to the network interface unit 340 or the external device interface unit 350 to a signal that can be transmitted to the image display device 100.
  • the network interface unit 340 provides an interface for connecting the signal measuring apparatus 300 to the image display apparatus 100 through a wired / wireless network including the Internet network.
  • the network interface unit 340 may include an Ethernet terminal or the like for connection to a wired network and may be a WLAN (Wireless LAN) (Wi-Fi), a Wibro (Wireless) broadband), Wimax (World Interoperability for Microwave Access), and HSDPA (High Speed Downlink Packet Access) communication standards.
  • the external device interface unit 350 provides an interface by which the signal measuring device 300 can be connected to the image display device 100.
  • the external device interface unit 350 allows the signal measuring apparatus 300 to perform short-range wireless communication with the image display apparatus 100.
  • the signal measuring apparatus 300 may be a communication device such as a Bluetooth, a Radio Frequency Identification (RFID), an IrDA (Infrared Data Association), a UWB (Ultra Wideband), a ZigBee, a DLNA (Digital Living Network Alliance) And can be connected to the image display device 100 according to the standard.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • DLNA Digital Living Network Alliance
  • control unit 330 when the control unit 330 receives a control signal requesting information related to a user's reaction to a scene being output from the video display device 100 at a predetermined cycle or a predetermined period, And / or the biological signal measuring unit 320, and transmits the generated information to the image display device 100.
  • the image display device 100 may be a personal computer or the like.
  • the emotion state classification model 400 is a two-dimensional model in which emotional states are mapped to specific coordinates having x and y values.
  • the x-axis represents the degree of user's pleasant-nessiness
  • the y-axis represents the degree of awakening-relaxation of the user.
  • each emotional state is classified according to degree of pleasure-unpleasantness and degree of awakening-relaxation.
  • the image display device 100 receives information related to a user's reaction to a scene being output from the signal measurement device 300, and determines the user's pleasure, discomfort, awakening And degree of relaxation. Further, the emotion state is determined based on the degree of pleasantness, discomfort, arousal, and relaxation of the determined user.
  • the image display device 100 stores data regarding pleasantness, discomfort, arousal, and relaxation degree according to a user's five senses and / or a biological signal.
  • the data may be determined experimentally.
  • the image display apparatus 100 receives the information related to the user's reaction to the scene being output from the signal measuring apparatus 300, the image display apparatus 100 displays a signal value included in the information related to the user's reaction, , Discomfort, arousal, and relaxation.
  • the image display device 100 applies the calculated pleasantness, discomfort, arousal, and relaxation degree to the emotion state classification model 400.
  • the image display device 100 determines the emotion state of the user as the emotion state closest to the degree of pleasantness, discomfort, arousal, and relaxation calculated in the emotion state classification model 400.
  • the emotion state classification model 400 shown in FIG. 5 is merely an illustrative example. In another embodiment of the present invention, the emotion state classification model 400 shown in FIG. 5 determines the emotion state of the user from the information about the reaction of the user received from the signal measurement apparatus 300 A different emotion state classification model can be used.
  • FIG. 6 is a diagram showing a structure of contents according to an embodiment of the present invention.
  • the content 500 includes a video, a plurality of images, or a plurality of text pages, and a frame, an image, or a text page included in the content according to a time- And may be displayed contents.
  • the content 500 may include at least one scene.
  • a scene means a scene such as a movie or a play.
  • a scene refers to a portion of content 500, such as one or more frames, images, or text pages.
  • one scene may include one frame, and may include a plurality of frames.
  • One content 500 may include one scene and may include a plurality of scenes.
  • the scene included in the content 500 may be provided with identification information (A, B, C).
  • the identification information means information for distinguishing the scene from another scene.
  • the identification information may be an ID including one or more characters and / or numbers.
  • the identification information may be time stamps (510 to 560) corresponding to the start and end points of the scene.
  • the scene included in the content 500 may be connected with additional information related to the scene.
  • the additional information may be information related to the content or the scene related to the outputted scene.
  • the information on the content may be the content itself or detailed information on the content.
  • the information about the scene may be the detailed information about the scene itself or the scene.
  • a movie related to the movie trailer may be output or detailed information about the movie may be output according to the emotion state of the user.
  • the scene output from the video display device 100 is a scene corresponding to the identification information A
  • a scene corresponding to the identification information B is output according to the user's emotion state
  • Detailed information on the corresponding scene can be output.
  • FIG. 7 is a flowchart illustrating a process of analyzing a user's emotional state according to an exemplary embodiment of the present invention.
  • the control unit 170 outputs a scene to which the identification information is assigned in the content (S100).
  • the control unit 170 reads the requested scene from the storage unit 140 or transmits the requested scene to the broadcast receiving unit 105 or the external device interface unit 135 And output the read or received contents through the display unit 180 and / or the audio output unit 185.
  • control unit 170 receives information related to the user's reaction to the scene being output (S200).
  • the control unit 170 transmits a control signal to the signal measuring apparatus 300 at a predetermined cycle or a predetermined time period to transmit a control signal to the user for a scene being output from the signal measuring apparatus 300, Lt; / RTI >
  • the control unit 170 determines the emotion state of the user based on the information related to the user's reaction to the scene being output, which is received from the signal measuring apparatus 300 (S300).
  • control unit 170 receives information related to the visual response of the user from the signal measuring device 300, and determines the emotional state of the user from the information related to the received visual response.
  • controller 170 receives information related to the auditory response of the user from the signal measuring apparatus 300, and determines the emotional state of the user from the information related to the received auditory response.
  • control unit 170 determines the emotional state of the user based on the information about the skin temperature measured from the signal measuring apparatus 300, information on the skin conductivity, information on the heartbeat variation, information on the brain waves of the prefrontal lobe, .
  • the control unit 170 stores the user's emotional state of the scene being output in connection with the identification information of the scene being output (S400). Upon receiving the request for storing the emotional state, the controller 170 connects the emotional state of the user with respect to the scene being output to the identification information of the scene being output, and stores it in the storage unit 140. [ The control unit 170 may generate the user's taste information based on the determined emotion state and the identification information of the scene, and may store the taste information in the storage unit 140. [
  • FIG. 8 is a view showing an emotion state record table according to an embodiment of the present invention.
  • the emotion state record table 600 includes identification information 610, 620 for the scene and emotion state 630 of the user.
  • Identification information 610 and 620 for a scene includes an ID 610 or a time stamp 620 that can distinguish each scene from another scene.
  • the scene A corresponds to a section corresponding to 00:12:00 to 00:13:30.
  • the scene B corresponds to the interval corresponding to 00:50:00 to 00:55:00, and the user's emotional state is tired while the scene B is output.
  • the scene C corresponds to a section corresponding to 01:20:00 to 01:30:00. It can be seen that the emotion state of the user is excited while the scene C is outputted.
  • the recorded emotional state can be utilized as various information.
  • an emotional state can be provided to a user.
  • the recorded emotional state may be provided to the content provider.
  • FIG. 9 is a flowchart illustrating a process of outputting a user emotion state according to an embodiment of the present invention.
  • steps 100 to 400 are described in FIG. 7, a detailed description thereof will be omitted.
  • the control unit 170 outputs the requested emotion state through the display unit 180 and / or the audio output unit 185 upon receiving the output request of the user's emotional state for the scene being output.
  • the control unit 170 may transmit the requested emotion state to the mobile terminal 200 (S500) upon receiving a request to transmit the emotion state of the user to the scene being output.
  • the emotional state output screen includes an area 710 indicating the degree of pleasantness, discomfort, arousal, and relaxation of the user by time or scene in response to the output content, and an area 720 indicating the emotional state of the user per scene.
  • the item 714 indicating the degree of pleasantness or discomfort with respect to time or scene is obtained by visually displaying the degree of pleasantness or discomfort calculated according to the user's reaction will be.
  • item 716 indicating the degree of awakening and relaxation according to time or scene is a visual indication of the degree of arousal and relaxation calculated according to the user's reaction.
  • the upper side of the reference line 712 has a positive value and is a value indicating the degree of pleasantness (or awakening)
  • the lower side of the reference line 712 has a negative value and indicates a degree of unpleasant Lt; / RTI >
  • An area 720 indicating the emotion state of the user includes identification information on the scene and an emotion state for the scene.
  • the area 720 representing the emotional state of the user may further include detailed information about the scene.
  • FIGS. 11A and 11B show a structure of a content to which additional information is linked to a scene according to an embodiment of the present invention.
  • content 810 may include one or more scenes 812, 814 or 816.
  • the scene 814 may be associated with additional information related to the scene, and the additional information may be information relating to the content 820.
  • the content 820 may be the same content as the content 810, or may be a content different from the content 810.
  • the information on the content 820 may be information on the advertisement content.
  • content 830 may include one or more scenes 832, 834, or 836.
  • the scene 834 may be associated with additional information associated with the scene and the additional information may be information regarding the scene 846 included in the content 840.
  • the content 830 may be the same content as the content 840, or may be a different content from the content 840.
  • the information on the scene 840 may be information on the advertisement scene.
  • FIG. 12 is a flowchart illustrating a process of outputting additional information according to an embodiment of the present invention.
  • steps 100 to 400 are described in FIG. 7, a detailed description thereof will be omitted.
  • the control unit 170 may output the requested additional information through the display unit 180 and / or the audio output unit 185 upon receiving the output request of the additional information connected to the scene being output. Alternatively, the control unit 170 may transmit the requested additional information to the mobile terminal 200 (S600) upon receiving the request for transmitting the additional information connected to the scene being output.
  • FIG. 13 is a diagram illustrating an additional information output screen according to an embodiment of the present invention.
  • the additional information output screen 910 includes a first area 912 for outputting a scene and a second area 914 for outputting additional information.
  • the second area 914 may be displayed outside the first area 912 on the additional information output screen 910. [
  • the second area 914 may be displayed adjacent to the first area 912.
  • the second area 914 may be displayed superimposed on the first area 912.
  • the first area 912 may be represented by a full screen, while the second area 914 may be inserted into the first area 912 and displayed. In this case, a picture-in-picture technique may be used.
  • the second area 914 may further include a link item 916 associated with the content or application associated with the additional information. If the link item 916 is selected by the user, the content corresponding to the link item 916 can be output or the application can be executed.
  • movie information about a movie trailer scene is displayed. Also, it can be seen that the movie trailer scene is displayed in full screen, and the movie information is inserted and displayed in the scene. It can be seen that the movie information further includes a link for pre-ordering the movie.
  • FIG. 14 is a diagram illustrating a screen for displaying additional information of a mobile terminal according to an exemplary embodiment of the present invention.
  • Additional information received from the video display device 100 is displayed on the additional information output screen 920.
  • the additional information output screen 920 may further display a link item 922 associated with the content or application related to the additional information. If the link item 922 is selected by the user, the content corresponding to the link item 922 can be output or the application can be executed.
  • movie information about a movie trailer scene is displayed. It can be seen that the movie information further includes a link for pre-ordering the movie.
  • FIG. 15 is a diagram showing a setting screen for outputting / transmitting emotion states and additional information according to an embodiment of the present invention.
  • the setting screen 1000 for outputting / transmitting includes an area 1010 for setting whether or not the emotion state and the additional information are outputted and whether or not to transmit the emotion state and the additional information.
  • the area 1010 for setting whether to output and transmit data includes an emotion state tab 1020 and a side information tab 1030.
  • an item 1022 for setting whether to output the emotional state or the additional information and an item 1024 for setting whether to transmit the emotional state or the additional information are displayed do.
  • An item 1022 for setting whether to output the emotional state or the additional information, and an item 1024 for setting whether to transmit the emotional state or the additional information include use, disable, and confirmation, respectively.
  • the emotion state or additional information is automatically output.
  • the item 1022 or 1024 is set to " disabled ", no emotional state or additional information is output.
  • the item 1022 or 1024 is set to confirm, the emotional state or the additional information is not outputted or output depending on whether or not the user confirms it.
  • control unit 170 can confirm the output setting and / or transmission setting of the emotion state, and can transmit the emotion state to the output and / or the mobile terminal based on the output setting and / or the transmission setting. Also, the control unit 170 may confirm the output setting and / or transmission setting of the additional information, and may output the additional information to the output terminal and / or the mobile terminal based on the output setting and / or the transmission setting and the determined emotion state .
  • the present invention is not limited to the configuration and method of the embodiments described above, but the embodiments may be configured by selectively combining all or some of the embodiments so that various modifications may be made.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 콘텐츠에 포함된 장면에 대한 사용자의 반응에 관한 정보를 분석함으로써, 장면에 대한 사용자의 감정 상태에 관한 정보를 제공하거나 콘텐츠의 각 장면별로 부가되어 있는 정보를 선별적으로 제공하여 인터렉티브한 서비스를 제공할 수 있게 해주는 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법에 관한 것이다. 이를 위해 본 발명의 실시예에 따른 사용자 감정 정보 분석 방법은, 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 단계; 상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 단계; 상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계; 및 상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 단계를 포함하는 것을 특징으로 한다.

Description

영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법
본 발명은 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법에 관한 것으로서, 더욱 상세하게는 콘텐츠를 출력할 수 있는 기능을 구비한 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법에 관한 것이다.
최근 디지털 방송, 네트워크 및 멀티미디어 기술의 발달에 힘입어 사용자들은 다양한 콘텐츠들을 감상할 수 있게 되었다.
본 발명은 콘텐츠에 포함된 장면에 대한 사용자의 반응에 관한 정보를 분석함으로써, 장면에 대한 사용자의 감정 상태에 관한 정보를 제공하거나 콘텐츠의 각 장면별로 부가되어 있는 정보를 선별적으로 제공하여 인터렉티브한 서비스를 제공할 수 있게 해주는 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법을 제공하는 것을 기술적 과제로 한다.
상기 기술적 과제를 해결하기 위한 영상표시기기의 사용자 감정 상태 분석 방법은, 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 단계; 상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 단계; 상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계; 및 상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서 상기 영상표시기기의 사용자 감정 상태 분석 방법은, 상기 판단된 감정 상태를 출력 및/또는 이동단말기에 송신하는 단계를 더 포함하는 것을 특징으로 한다. 또한 일 실시예에서 상기 감정 상태를 출력 및/또는 이동단말기에 송신하는 단계는, 감정 상태의 출력 설정 및/또는 송신 설정을 확인하는 단계; 및 상기 출력 설정 및/또는 송신 설정에 근거하여 상기 판단된 감정 상태를 출력 및/또는 상기 이동단말기에 송신하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서 상기 장면은 상기 장면과 관련된 부가 정보와 연결되어 있고, 상기 영상표시기기의 사용자 감정 상태 분석 방법은 상기 판단된 감정 상태에 근거하여 상기 부가 정보를 출력 및/또는 이동단말기에 송신하는 단계를 더 포함하는 것을 특징으로 한다. 또한 일 실시예에서 상기 부가 정보를 출력 및/또는 이동단말기에 송신하는 단계는, 부가 정보의 출력 설정 및/또는 송신 설정을 확인하는 단계; 및 상기 출력 설정 및/또는 송신 설정과 상기 판단된 감정 상태에 근거하여 상기 부가 정보를 출력 및/또는 상기 이동단말기에 송신하는 단계를 포함하는 것을 특징으로 한다. 또한 일 실시예에서 상기 부가 정보는, 상기 장면과 관련된 콘텐츠 또는 장면에 관한 정보인 것을 특징으로 한다. 또한 일 실시예에서 상기 장면과 관련된 콘텐츠 또는 장면에 관한 정보는, 광고 콘텐츠 또는 장면에 관한 정보인 것을 특징으로 한다.
일 실시예에서 상기 사용자의 반응과 관련된 정보는, 상기 사용자의 시각적 반응과 관련된 정보 및 청각적 반응과 관련된 정보 중 적어도 하나를 포함하는 것을 특징으로 한다. 또한 일 실시예에서 상기 사용자의 반응과 관련된 정보는, 상기 사용자의 피부 온도, 피부 전도도, 심박동 변이도 및 뇌파 신호 중 적어도 하나를 포함하는 것을 특징으로 한다. 또한 일 실시예에서 상기 사용자의 반응과 관련된 정보를 수신하는 단계는, 상기 사용자의 원격 장치로부터 상기 사용자의 반응과 관련된 정보를 수신하는 단계인 것을 특징으로 한다.
일 실시예에서 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계는, 상기 사용자의 반응과 관련된 정보에 근거하여 상기 사용자의 쾌, 불쾌, 각성 및 이완의 정도를 판단하는 단계; 및 상기 사용자의 쾌, 불쾌, 각성 및 이완의 정도에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서 상기 장면에 부여되어 있는 식별 정보는, 상기 장면의 타임 스탬프에 관한 정보를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 영상표시기기의 사용자 감정 상태 분석 방법은, 상기 판단된 감정 상태 및 상기 식별 정보에 근거하여 상기 사용자의 취향 정보를 생성하는 단계; 및 상기 생성된 취향 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 상기 기술적 과제를 해결하기 위한 영상표시기기는, 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 출력부; 상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 통신부; 상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하고, 상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 제어부를 포함하는 것을 특징으로 한다.
다른 한편, 상기 기술적 과제를 해결하기 위한 영상표시시스템은, 원격 장치 및 영상표시기기를 포함하고, 상기 영상표시기기는 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 출력부; 상기 원격 장치로부터 상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 통신부; 및 상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하고, 상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 제어부를 포함하고, 상기 원격 장치는 상기 영상표시기기에 상기 장면에 대한 사용자의 반응과 관련된 정보를 송신하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 영상표시기기가 콘텐츠에 포함된 장면별 감정 상태를 분석 및 저장할 수 있다. 이에 따라, 콘텐츠 제공자는 콘텐츠의 장면별 특성에 따라 사용자의 피드백을 객관적으로 받을 수 있고, 장면별로 부가된 서비스를 선택적으로 제공할 수 있다. 또한, 사용자는 콘텐츠의 장면별 특성에 따른 자신의 감정 상태를 확인할 수 있고, 별도의 동작 없이 감정 상태에 따른 맞춤형 서비스를 제공받을 수 있다.
도 1은 본 발명의 일실시예에 따른 영상표시시스템을 나타낸다.
도 2(a)는 본 발명의 일실시예에 따른 영상표시기기의 블록도이다.
도 2(b)는 도 2(a)에 도시된 제어부(170)의 상세 블록도이다.
도 3은 본 발명의 일실시예에 따른 이동단말기의 블록도이다.
도 4는 본 발명의 일실시예에 따른 신호 측정 장치(300)의 블록도이다.
도 5는 본 발명의 일실시예에 따른 감정 상태 분류 모델을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 콘텐츠의 구조를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 사용자 감정 상태 분석 과정을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 감정 상태 기록 테이블을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 사용자 감정 상태 출력 과정을 나타내는 흐름도이다.
도 10은 본 발명의 일실시예에 따른 영상표시기기(100)의 감정 상태 출력 화면을 나타내는 도면이다.
도 11(a) 및 도 11(b)는 본 발명의 일실시예에 따른 장면에 부가 정보가 연결되어 있는 콘텐츠의 구조를 나타낸다.
도 12는 본 발명의 일실시예에 따른 부가 정보 출력 과정을 나타내는 흐름도이다.
도 13은 본 발명의 일실시예에 따른 부가 정보 출력 화면을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 이동단말기의 부가 정보 출력 화면을 나타내는 도면이다.
도 15는 본 발명의 일실시예에 따른 감정 상태 및 부가 정보의 출력/송신에 관한 설정 화면을 나타내는 도면이다.
이하에서는, 본 발명의 일실시예에 따른 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법의 바람직한 실시예들을 도 1 내지 도 15를 참조하여 상세히 설명한다.
영상표시시스템에 대한 설명
도 1은 본 발명의 일실시예에 따른 영상표시시스템을 나타낸다. 도 1을 참조하면, 영상표시시스템(10)은 영상표시기기(100), 이동단말기(200) 및 신호 측정 장치(300)를 포함한다.
영상표시기기(100)는 방송국에서 전송하는 영상신호를 포함하는 방송신호를 수신할 수 있다. 영상표시기기(100)는 방송신호에 포함되는 영상신호 및 음성신호 또는 데이터신호를 영상표시기기(100)에서 출력하기에 적합하도록 처리(process)할 수 있다. 영상표시기기(100)는 처리한 영상신호에 기초하는 영상 또는 오디오를 출력할 수 있다.
한편, 영상표시기기(100)는 네트워크 서버와 통신할 수 있다. 네트워크 서버는 임의의 네트워크를 통하여 영상표시기기(100)와 신호를 송수신할 수 있는 장치이다. 예를 들어, 네트워크 서버는 유선 또는 무선 기지국을 통하여 영상표시기기(100)와 연결될 수 있는 이동단말기일 수 있다. 또한, 네트워크 서버는 인터넷 네트워크를 통하여 영상표시기기(100)로 콘텐츠를 제공할 수 있는 장치일 수 있다. 콘텐츠 제공자는 네트워크 서버를 이용하여 영상표시기기(100)에 콘텐츠를 제공할 수 있다.
한편, 영상표시기기(100)는 이동단말기(200) 및 신호 측정 장치(300)와 통신할 수 있다. 이동단말기(200) 및 신호 측정 장치(300)는 유선 또는 무선으로 영상표시기기(100)와 직접 신호를 송수신할 수 있다.
방송국, 네트워크 서버, 또는 이동단말기(200)는, 영상표시기기(100)에 영상신호를 포함하는 신호를 전송할 수 있다. 영상표시기기(100)는 입력되는 신호에 포함되는 영상신호에 기초하는 영상을 표시할 수 있다. 또한, 영상표시기기(100)는 방송국 또는 네트워크 서버에서 영상표시기기(100)로 전송하는 신호를 이동단말기(200)에 전송할 수 있다. 또한, 영상표시기기(100)는 이동단말기(200)에서 영상표시기기(100)에 전송하는 신호를 방송국 또는 네트워크 서버로 전송할 수 있다. 즉, 영상표시기기(100)는 방송국, 네트워크 서버 및 이동단말기(200)에서 전송하는 신호에 포함되는 콘텐츠를 영상표시기기(100)에서 직접 재생하는 외에도 전달할 수 있다.
본 발명의 일실시예에 따르면, 영상표시기기(100)는 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력한다. 신호 측정 장치(300)는 장면에 대한 사용자의 반응과 관련된 정보를 생성하고, 사용자의 반응과 관련된 정보를 영상표시기기(100)에 송신한다. 영상표시기기(100)는 사용자의 반응과 관련된 정보를 수신하고, 사용자의 반응과 관련된 정보에 근거하여 장면에 대한 사용자의 감정 상태를 판단한다. 영상표시기기(100)는 판단된 감정 상태에 장면에 부여되어 있는 식별 정보를 연결하여 저장한다.
영상표시기기에 대한 설명
도 2(a)는 본 발명의 일실시예에 따른 영상표시기기의 블록도이다. 도 2(a)를 참조하면, 본 발명의 일실시예에 의한 영상표시기기(100)는, 방송 수신부(105), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 및 전원공급부(190)를 포함할 수 있다. 이 중 방송 수신부(105)는, 튜너(110), 복조부(120), 및 네트워크 인터페이스부(130)를 포함할 수 있다. 이 중 튜너(110)와 복조부(120)는, 네트워크 인터페이스부(130)와, 선택적으로 구비되는 것도 가능하다. 또한, 방송 수신부(105)는 복수개의 튜너(110)를 포함하는 것도 가능하다.
튜너(110)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다. 예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(170)로 직접 입력될 수 있다.
또한, 튜너(110)는, ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다. 한편, 튜너(110)는, 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
복조부(120)는, 튜너(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(120)는 8-VSB(8-Vestigal Side Band) 복조를 수행한다. 또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(120)는, 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는, 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
한편, 상술한 복조부(120)는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, ATSC 복조부와, DVB 복조부로 구비되는 것이 가능하다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.
외부장치 인터페이스부(135)는 외부 장치와 영상표시기기(100)를 접속할 수 있다. 이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(135)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 영상표시기기(100)의 제어부(170)로 전달한다. 또한, 제어부(170)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 영상표시기기(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 영상표시기기(100)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(135)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다. 한편, 외부장치 인터페이스부(135)는, 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(130)는, 영상표시기기(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(130)는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(130)는, 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외, 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(130)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다. 또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다. 또한, 저장부(140)는, 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시기기(100)는, 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 2(a)는 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 제어부(170) 내에 포함될 수도 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달한다. 또한, 예를 들어, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호 또는 제어 신호를 제어부(170)에 전달할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(150)는, 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 사용자 입력 신호 또는 제어 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.
제어부(170)는, 튜너(110) 또는 복조부(120) 또는 외부장치 인터페이스부(135)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다. 제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
도 2(a)에는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다.
그 외, 제어부(170)는, 영상표시기기(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170)는, 튜너(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시기기(100)를 제어할 수 있다. 특히, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 영상표시기기(100) 내로 다운받을 수 있도록 할 수 있다.
예를 들어, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(110)를 제어한다. 그리고, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(170)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
다른 예로, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는, 영상을 표시하도록 디스플레이부(180)를 제어할 수 있다. 예를 들어, 튜너(110)를 통해 입력되는 방송 영상, 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상 또는 네트워크 인터페이스부를 통해 입력되는 영상 또는 저장부(140)에 저장된 영상을 디스플레이부(180)에 표시하도록 제어할 수 있다. 이때, 디스플레이부(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(170)는, 애플리케이션 보기 항목에 진입하는 경우, 영상표시기기(100) 내 또는 외부 네트워크로부터 다운로드 가능한 애플리케이션 또는 애플리케이션 목록을 표시하도록 제어할 수 있다.
제어부(170)는, 다양한 유저 인터페이스와 더불어, 외부 네트워크로부터 다운로드되는 애플리케이션을 설치 및 구동하도록 제어할 수 있다. 또한, 사용자의 선택에 의해, 실행되는 애플리케이션에 관련된 영상이 디스플레이부(180)에 표시되도록 제어할 수 있다.
한편, 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다. 채널 브라우징 처리부는, 복조부(120)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(135)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(170)로 입력될 수 있다. 또한, 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(170)로 입력되는 것도 가능하다. 제어부(170)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(180)에 표시할 수 있다. 한편, 이러한 썸네일 리스트 내의 썸네일 영상들은 차례로 또는 동시에 업데이트될 수 있다. 이에 따라 사용자는 복수의 방송 채널의 내용을 간편하게 파악할 수 있게 된다.
디스플레이부(180)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다. 디스플레이부(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다. 한편, 디스플레이부(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력받아 음성으로 출력한다. 음성 출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
한편, 사용자를 촬영하는 촬영부(미도시)를 더 구비할 수 있다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(170)에 입력된다.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 영상표시기기(100)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자입력 인터페이스부(150)를 통해 제어부(170)로 전달될 수 있다.
제어부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
전원 공급부(190)는, 영상표시기기(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이부(180), 및 오디오 출력을 위한 오디오 출력부(185)에 전원을 공급할 수 있다.
이를 위해, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(180)가 다수의 백라이트 램프를 구비하는 액정패널로서 구현되는 경우, 휘도 가변 또는 디밍(dimming) 구동을 위해, PWM 동작이 가능한 인버터(미도시)를 더 구비할 수도 있다.
상술한 영상표시기기(100)는, 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 본 명세서에서 기술되는 영상표시기기는, 도 2(a)에서 도시된 디스플레이부(180)와 오디오 출력부(185)가 제외된 영상표시기기로서, 무선 통신을 통해, 디스플레이부(180) 및 오디오 출력부(185)와 데이터를 송수신하는, 와이어리스(wireless) 타입일 수도 있다.
한편, 도 2(a)에 도시된 영상표시기기(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시기기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 영상표시기기(100)는 도 2(a)에 도시된 바와 달리, 도 2(a)의 도시된 튜너(110)와 복조부(120)를 구비하지 않고, 네트워크 인터페이스부(130) 또는 외부장치 인터페이스부(135)를 통해서, 영상 콘텐츠를 수신하고, 이를 재생할 수도 있다.
도 2(b)는 도 2(a)에 도시된 제어부(170)의 상세 블록도이다. 본 발명의 일실시예에 따른 제어부(170)는 주 제어부(171), 출력 제어부(172), 송수신 제어부(173), 감정 상태 분석부(174) 및 정보 관리부(175)를 포함한다.
주 제어부(171)는 제어부(170) 내의 다른 모듈 및 방송 수신부(105), 외부장치 인터페이스부(135), 저장부(140), 사용자 입력 인터페이스부(150), 디스플레이부(180), 오디오 출력부(185) 및 전원 공급부(190)의 동작을 제어한다.
출력 제어부(172)는 콘텐츠에 포함된 장면의 출력에 관한 전반적인 동작을 제어한다. 출력 제어부(172)는 주 제어부(171)로부터 콘텐츠에 포함된 장면의 출력 요청을 수신하면, 요청된 장면을 저장부(140)로부터 판독하거나, 방송 수신부(105) 또는 외부장치 인터페이스부(135)를 통해 수신하고, 판독되거나 수신된 콘텐츠를 디스플레이부(180) 및/또는 오디오 출력부(185)를 통해 출력할 수 있다. 콘텐츠에 포함된 장면은 식별 정보가 부여되어 있는 장면이 될 수 있다.
또한, 출력 제어부(172)는 출력중인 장면에 대한 사용자의 감정 상태 또는 부가 정보의 출력에 관한 전반적인 동작을 제어한다. 출력 제어부(172)는 주 제어부(171)로부터 출력중인 장면에 대한 사용자의 감정 상태의 출력 요청을 수신하면, 요청된 감정 상태를 디스플레이부(180) 및/또는 오디오 출력부(185)를 통해 출력할 수 있다. 또한, 출력 제어부(172)는 주 제어부(171)로부터 출력중인 장면에 부여 되어 있는 부가 정보의 출력 요청을 수신하면, 요청된 부가 정보를 디스플레이부(180) 및/또는 오디오 출력부(185)를 통해 출력할 수 있다.
송수신 제어부(173)는 출력중인 장면에 대한 사용자의 반응과 관련된 정보의 수신을 제어한다. 송수신 제어부(173)는 주 제어부(171)로부터 신호 측정 장치(300)에 출력되는 장면에 대한 사용자의 반응과 관련된 정보의 요청을 수신하면, 소정 주기로 또는 신호 측정 장치(300)에 제어 신호를 송신하여 신호 측정 장치(300)로부터 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 수신할 수 있다.
또한, 송수신 제어부(173)는 출력중인 장면에 대한 사용자의 감정 상태 또는 부가 정보의 송신을 제어한다. 송수신 제어부(173)는 주 제어부(171)로부터 출력중인 장면에 대한 사용자의 감정 상태의 송신 요청을 수신하면, 요청된 감정 상태를 이동단말기(200)에 송신할 수 있다. 또한, 송수신 제어부(173)는 주 제어부(171)로부터 출력중인 장면에 연결되어 있는 부가 정보의 송신 요청을 수신하면, 요청된 부가 정보를 이동단말기(200)에 송신할 수 있다.
감정 상태 분석부(174)는 신호 측정 장치(300)로부터 수신된 출력중인 장면에 대한 사용자의 반응과 관련된 정보에 근거하여 사용자의 감정 상태를 판단한다. 예를 들어, 감정 상태 분석부(174)는 신호 측정 장치(300)로부터 사용자의 시각적 반응과 관련된 정보(예를 들어, 사용자의 눈동자의 움직임에 관한 정보)를 수신하고, 수신된 시각적 반응과 관련된 정보로부터 사용자의 감정 상태(예를 들어, 관심있는 사물인식에 대한 정보 및 집중도 등)를 판단한다. 또한, 감정 상태 분석부(174)는 신호 측정 장치(300)로부터 사용자의 청각적 반응과 관련된 정보(예를 들어, 사용자의 음향에 관한 정보)를 수신하고, 청각적 반응과 관련된 정보로부터 사용자의 감정 상태(어휘 사용, 감탄사 및 음성 패턴 등)를 판단한다.
또한, 예를 들어, 감정 상태 분석부(174)는 신호 측정 장치(300)로부터 측정된 피부 온도에 관한 정보, 피부전도도에 관한 정보, 심박동 변이도에 관한 정보 및 전전두엽의 뇌파에 관한 정보에 근거하여 사용자의 감정 상태를 판단할 수 있다. 이 경우에, 사용자의 감정 상태는 쾌(Pleasure)-불쾌(Displeasure)의 정도 및 각성(arousal-high)-이완(arousal-low)의 정도로 나타낼 수 있다. 또한, 사용자의 감정 상태는 쾌-불쾌의 정도 및 각성-이완의 정도에 따라, 사전에 정의된 감정 상태로 표현될 수 있다. 예를 들어, 감정 상태는 화남(angry), 기쁨(delighted), 편안함(relaxed) 및 피곤함(tired) 등으로 표현될 수 있다.
정보 관리부(175)는 출력중인 장면에 대한 사용자의 감정 상태를 출력중인 장면에 대한 식별 정보에 연결하여(연관시켜 또는 대응되도록) 저장한다. 정보 관리부(175)는 주 제어부(171)로부터 감정 상태의 저장 요청을 수신하면, 출력 제어부(172)로부터 출력중인 장면에 대한 식별 정보를 수신하고, 감정 상태 분석부(174)로부터 출력중인 장면에 대한 사용자의 감정 상태를 수신한다. 또한, 정보 관리부(175)는 감정 상태 분석부(174)로부터 수신된 감정 상태를 출력 제어부(172)로부터 수신된 식별 정보에 연결하여 저장부(140)에 저장한다.
또한, 정보 관리부(175)는 판단된 감정 상태 및 장면에 대한 식별 정보에 근거하여 사용자의 취향 정보를 생성하고, 생성된 취향 정보를 저장부(140)에 저장할 수 있다. 일실시예에서, 사용자의 취향 정보는 출력되는 장면의 장르와 장면에 대한 만족도에 따라 결정된다. 정보 관리부(175)는 출력되는 장면에 대한 식별 정보에 근거하여 장면의 장르를 판단하고, 출력되는 장면에 대한 감정 상태에 근거하여 사용자의 취향 정보를 생성할 수 있다.
이동단말기에 대한 설명
도 3은 본 발명의 일실시예에 따른 이동단말기의 블록도이다. 본 발명의 일실시예에 따른 이동단말기(200)는 무선 통신부(210), A/V(Audio/Video) 입력부(220), 사용자 입력부(230), 센싱부(240), 출력부(250), 메모리(260), 인터페이스부(270), 제어부(280) 및 전원 공급부(290) 등을 포함할 수 있다.
무선 통신부(210)는 이동 단말기(200)와 무선 통신 시스템 사이 또는 이동 단말기(200)와 이동 단말기(200)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(210)는 방송 수신 모듈(211), 이동통신 모듈(212), 무선 인터넷 모듈(213), 근거리 통신 모듈(214) 및 위치정보 모듈(215) 등을 포함할 수 있다.
방송 수신 모듈(211)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 이동통신 모듈(212)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈(213)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(200)에 내장되거나 외장될 수 있다. 근거리 통신 모듈(214)은 근거리 통신을 위한 모듈을 말한다. 위치정보 모듈(215)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
A/V(Audio/Video) 입력부(220)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(221)와 마이크(222) 등이 포함될 수 있다.
카메라(221)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(251)에 표시될 수 있다. 마이크(222)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다.
사용자 입력부(230)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(230)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(240)는 이동 단말기(200)의 개폐 상태, 이동 단말기(200)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(200)의 현 상태를 감지하여 이동 단말기(200)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
출력부(250)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(251), 음향 출력 모듈(252), 알람부(253), 및 햅틱 모듈(254) 등이 포함될 수 있다.
디스플레이부(251)는 이동 단말기(200)에서 처리되는 정보를 표시(출력)한다. 음향 출력 모듈(252)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(210)로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력할 수 있다. 알람부(253)는 이동 단말기(200)의 이벤트 발생을 알리기 위한 신호를 출력한다. 햅틱 모듈(haptic module)(254)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다.
메모리(260)는 제어부(280)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다.
인터페이스부(270)는 이동 단말기(200)에 연결되는 모든 외부기기와의 통로 역할을 한다.
제어부(controller, 280)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 제어부(280)는 멀티 미디어 재생을 위한 멀티미디어 모듈(281)을 구비할 수도 있다.
전원 공급부(290)는 제어부(280)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
본 발명의 일실시예에 따르면, 제어부(280)는 무선통신부(210) 또는 인터페이스부(270)를 통해 영상표시기기(100)로부터 영상표시기기(100)에서 출력중인 장면에 대한 사용자의 감정 상태 또는 영상표시기기(100)에서 출력중인 장면에 연결된 부가 정보를 수신할 수 있다. 제어부(280)는 출력부(250)를 통해 영상표시기기(100)로부터 수신된 감정 상태 또는 부가 정보를 출력할 수 있다.
신호 측정 장치에 대한 설명
도 4는 본 발명의 일실시예에 따른 신호 측정 장치(300)의 블록도이다. 신호 측정 장치(300)는 오감 신호 측정부(310), 생체 신호 측정부(320), 제어부(330), 네트워크 인터페이스부(340) 및 외부장치 인터페이스부(350)를 포함한다.
오감 신호 측정부(310)는 사용자의 시각적 반응과 관련된 정보(눈동자의 움직임 등)를 측정하기 위한 광학 센서(예를 들어, 저전력 CMOS 카메라) 및 사용자의 청각적 반응과 관련된 정보(음향 등)를 측정하기 위한 음향 센서(예를 들어, 마이크)를 포함한다.
생체 신호 측정부(320)는 피부 온도 등을 측정하는 온도 센서(예를 들어, 체온계), 피부저항을 통해 피부전도도를 측정하는 피부전도도 센서(예를 들어, GSR(Galvanic Skin Resistance) 센서), 심박동 변이도를 간접적으로 측정하는 PPG(Photoplethysmogram) 센서 및 전전두엽(이마 부위)의 뇌파를 측정하는 EEG(Electroencephalogram) 센서를 포함한다. 부가적으로, 생체 신호 측정부(320)는 혈중 산소포화도 측정 센서, 호흡 측정 센서 및 안면 근육의 근전도 측정 센서를 더 포함할 수도 있다.
제어부(330)는 오감 신호 측정부(310), 생체 신호 측정부(320), 네트워크 인터페이스부(340) 및 외부장치 인터페이스부(350)의 동작을 제어한다. 제어부(330)는 오감 신호 측정부(310) 및/또는 생체 신호 측정부(320)를 통해 사용자의 오감 신호 및/또는 생체 신호를 측정하고, 측정된 신호에 근거하여 영상표시기기(100)에서 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 생성한다.
예를 들어, 제어부(330)는 오감 신호 측정부(310) 및/또는 생체 신호 측정부(320)로부터 측정된 신호를 증폭하고, 증폭된 신호를 네트워크 인터페이스부(340) 또는 외부장치 인터페이스부(350)를 통해 영상표시기기(100)에 송신할 수 있는 신호로 변환한다.
네트워크 인터페이스부(340)는, 신호 측정 장치(300)를 인터넷망을 포함하는 유/무선 네트워크를 통해 영상표시기기(100)에 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(340)는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
외부장치 인터페이스부(350)는 신호 측정 장치(300)를 영상표시기기(100)에 접속할 수 있는 인터페이스를 제공한다. 예를 들어, 외부장치 인터페이스부(350)는 신호 측정 장치(300)가 영상표시기기(100)와 근거리 무선 통신을 수행할 수 있게 해준다. 신호 측정 장치(300)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 영상표시기기(100)와 연결될 수 있다.
본 발명의 일실시예에 따르면, 제어부(330)는 소정 주기로 또는 영상표시기기(100)로부터 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 요청하는 제어 신호를 수신하면, 오감 신호 측정부(310) 및/또는 생체 신호 측정부(320)를 통해 측정된 사용자의 오감 신호 및/또는 생체 신호와 관련된 정보를 생성하고, 영상표시기기(100)에 송신한다.
감정 상태의 분류
도 5는 본 발명의 일실시예에 따른 감정 상태 분류 모델을 나타내는 도면이다. 일실시예에서, 감정 상태 분류 모델(400)은 감정 상태를 x 및 y 값을 갖는 특정 좌표에 맵핑시킨 2차원 모델이다. 감정 상태 분류 모델(400)에서 x축은 사용자의 쾌-불쾌의 정도를 나타내고, y축은 사용자의 각성-이완의 정도를 나타낸다. 따라서 각 감정 상태는 쾌-불쾌의 정도 및 각성-이완의 정도에 따라 분류된다.
일실시예에서, 영상표시기기(100)는 신호 측정 장치(300)로부터 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 수신하고, 사용자의 반응과 관련된 정보에 근거하여 사용자의 쾌, 불쾌, 각성 및 이완의 정도를 판단한다. 또한, 판단된 사용자의 쾌, 불쾌, 각성 및 이완의 정도에 근거하여 감정 상태를 판단한다.
예를 들어, 영상표시기기(100)는 사용자의 오감 및/또는 생체 신호에 따른 쾌, 불쾌, 각성 및 이완 정도에 관한 데이터를 저장한다. 일실시예에서, 데이터는 실험에 의해 결정될 수 있다. 또한, 영상표시기기(100)는 신호 측정 장치(300)로부터 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 수신하면, 사용자의 반응과 관련된 정보에 포함된 신호 값을 미리 저장된 데이터에 근거하여 쾌,불쾌, 각성 및 이완 정도를 계산한다.
또한, 영상표시기기(100)는 계산된 쾌, 불쾌, 각성 및 이완 정도를 감정 상태 분류 모델(400)에 적용한다. 일실시예에서, 영상표시기기(100)는 감정 상태 분류 모델(400)에서 계산된 쾌, 불쾌, 각성 및 이완 정도에 가장 가까운 감정 상태를 사용자의 감정 상태로 결정한다.
도 5에 도시된 감정 상태 분류 모델(400)은 예시적인 것에 불과하며, 본 발명의 다른 일실시예에 있어서 신호 측정 장치(300)로부터 수신된 사용자의 반응에 관한 정보로부터 사용자의 감정 상태를 결정할 수 있는 다른 감정 상태 분류 모델이 이용될 수 있다.
콘텐츠의 구조
도 6은 본 발명의 일실시예에 따른 콘텐츠의 구조를 나타내는 도면이다.
본 발명의 일실시예에 따른 콘텐츠(500)는 영상, 복수의 이미지 또는 복수의 텍스트 페이지로 구성되고, 시간의 흐름에 따라 또는 사용자의 내비게이션 명령에 따라 콘텐츠에 포함된 프레임, 이미지 또는 텍스트 페이지가 표시되는 콘텐츠일 수 있다.
또한, 콘텐츠(500)는 적어도 하나의 장면을 포함할 수 있다. 일반적으로 장면은 영화나 연극 등의 한 정경을 의미한다. 본 명세서에서 장면은 하나 이상의 프레임, 이미지 또는 텍스트 페이지 등 콘텐츠(500)의 일부분을 의미한다. 또한, 하나의 장면은 하나의 프레임을 포함할 수 있고, 복수의 프레임들을 포함할 수도 있다. 하나의 콘텐츠(500)는 하나의 장면을 포함할 수 있고, 복수의 장면들을 포함할 수도 있다.
콘텐츠(500)에 포함된 장면에는 식별 정보(A, B, C)가 부여되어 있을 수 있다. 식별 정보는 해당 장면을 다른 장면과 구별하기 위한 정보를 의미한다. 예를 들어, 식별 정보는 하나 이상의 문자 및/또는 숫자를 포함하는 아이디가 될 수 있다. 또는, 식별 정보는 장면의 시작 지점 및 종료 지점에 해당하는 타임스탬프(510 내지 560)가 될 수 있다.
한편, 콘텐츠(500)에 포함된 장면은 장면과 관련된 부가 정보가 연결되어 있을 수 있다. 이 경우에 부가 정보는 출력되는 장면과 관련된 콘텐츠 또는 장면에 관한 정보가 될 수 있다.
부가 정보가 출력되는 장면과 관련된 콘텐츠에 관한 정보인 경우에, 콘텐츠에 관한 정보는 콘텐츠 자체 또는 콘텐츠에 대한 상세한 정보가 될 수 있다. 또한, 부가 정보가 출력되는 장면과 관련된 장면에 관한 정보인 경우에, 장면에 관한 정보는 장면 자체 또는 장면에 대한 상세한 정보가 될 수 있다.
따라서, 영상표시기기(100)에서 출력되는 장면에 대한 사용자의 감정 상태에 따라, 영상표시기기(100)에서 다른 콘텐츠 또는 다른 장면이 출력되거나, 영상표시기기(100)에서 다른 콘텐츠 또는 다른 장면에 대한 상세 정보가 출력될 수 있다.
일예로, 영상표시기기(100)에서 출력되는 장면이 영화 예고편인 경우에, 사용자의 감정 상태에 따라 영화 예고편과 관련된 영화가 출력되거나 영화에 대한 상세 정보가 출력될 수 있다. 또한, 영상표시기기(100)에서 출력되는 장면이 식별 정보(A)에 대응하는 장면인 경우에, 사용자의 감정 상태에 따라 식별 정보(B)에 대응하는 장면이 출력되거나 식별 정보(B)에 대응하는 장면에 대한 상세 정보가 출력될 수 있다.
감정 상태 분석 기능
도 7은 본 발명의 일실시예에 따른 사용자 감정 상태 분석 과정을 나타내는 흐름도이다.
제어부(170)는 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력한다(S100). 제어부(170)는 콘텐츠에 포함된 식별정보가 부여되어 있는 장면의 출력 요청을 수신하면, 요청된 장면을 저장부(140)로부터 판독하거나, 방송 수신부(105) 또는 외부장치 인터페이스부(135)를 통해 수신하고, 판독되거나 수신된 콘텐츠를 디스플레이부(180) 및/또는 오디오 출력부(185)를 통해 출력할 수 있다.
또한, 제어부(170)는 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 수신한다(S200). 제어부(170)는 출력되는 장면에 대한 사용자의 반응과 관련된 정보의 요청을 수신하면, 소정 주기로 또는 신호 측정 장치(300)에 제어 신호를 송신하여 신호 측정 장치(300)로부터 출력중인 장면에 대한 사용자의 반응과 관련된 정보를 수신할 수 있다.
제어부(170)는 신호 측정 장치(300)로부터 수신된 출력중인 장면에 대한 사용자의 반응과 관련된 정보에 근거하여 사용자의 감정 상태를 판단한다(S300).
예를 들어, 제어부(170)는 신호 측정 장치(300)로부터 사용자의 시각적 반응과 관련된 정보를 수신하고, 수신된 시각적 반응과 관련된 정보로부터 사용자의 감정 상태를 판단한다. 또한, 제어부(170)는 신호 측정 장치(300)로부터 사용자의 청각적 반응과 관련된 정보를 수신하고, 수신된 청각적 반응과 관련된 정보로부터 사용자의 감정 상태를 판단한다. 또한, 제어부(170)는 신호 측정 장치(300)로부터 측정된 피부 온도에 관한 정보, 피부 전도도에 관한 정보, 심박동 변이도에 관한 정보 및 전전두엽의 뇌파에 관한 정보 등에 근거하여 사용자의 감정 상태를 판단할 수 있다.
제어부(170)는 출력중인 장면에 대한 사용자의 감정 상태를 출력중인 장면에 대한 식별 정보에 연결하여 저장한다(S400). 제어부(170)는 감정 상태의 저장 요청을 수신하면, 출력중인 장면에 대한 사용자의 감정 상태를 출력중인 장면에 대한 식별 정보에 연결하여 저장부(140)에 저장한다. 또한, 제어부(170)는 판단된 감정 상태 및 장면에 대한 식별 정보에 근거하여 사용자의 취향 정보를 생성하고, 생성된 취향 정보를 저장부(140)에 저장할 수 있다.
도 8은 본 발명의 일실시예에 따른 감정 상태 기록 테이블을 나타내는 도면이다.
감정 상태 기록 테이블(600)은 장면에 대한 식별 정보(610, 620) 및 사용자의 감정 상태(630)를 포함한다. 장면에 대한 식별 정보(610, 620)는 각 장면을 다른 장면과 구별할 수 있는 아이디(610) 또는 타임 스탬프(620)를 포함한다.
예를 들어, 감정 상태 기록 테이블(600)을 참조하면, 장면(A)은 00:12:00 부터 00:13:30 에 해당하는 구간에 대응되는데, 장면(A)이 출력되는 동안 사용자의 감정 상태는 편안함(relaxed)이었음을 알 수 있다. 또한, 장면(B)는 00:50:00 부터 00:55:00 에 해당하는 구간에 대응되는데, 장면(B)이 출력되는 동안 사용자의 감정 상태는 피곤함(tired)이었음을 알 수 있다. 또한, 장면(C)는 01:20:00 부터 01:30:00 에 해당하는 구간에 대응되는데, 장면(C)이 출력되는 동안 사용자의 감정 상태는 흥분됨(excited)이었음을 알 수 있다.
이와 같이, 장면에 대한 사용자의 감정 상태가 장면에 대응하도록 기록되면, 기록된 감정 상태는 다양한 정보로 활용될 수 있다. 예를 들어, 감정 상태를 사용자에게 제공할 수 있다. 또는, 감정 상태에 근거하여 장면과 관련된 부가 정보를 사용자에게 제공할 수 있다. 또는, 기록된 감정 상태는 콘텐츠 제공자에게 제공될 수도 있다.
감정 상태 출력/송신 기능
도 9는 본 발명의 일실시예에 따른 사용자 감정 상태 출력 과정을 나타내는 흐름도이다.
제 100 단계 내지 제 400 단계는 도 7에서 설명된 내용이므로, 이에 대한 상세한 설명은 생략한다.
제어부(170)는 출력중인 장면에 대한 사용자의 감정 상태의 출력 요청을 수신하면, 요청된 감정 상태를 디스플레이부(180) 및/또는 오디오 출력부(185)를 통해 출력한다. 또는, 제어부(170)는 출력중인 장면에 대한 사용자의 감정 상태의 송신 요청을 수신하면, 요청된 감정 상태를 이동단말기(200)에 송신할 수 있다(S500).
도 10은 본 발명의 일실시예에 따른 영상표시기기(100)의 감정 상태 출력 화면을 나타내는 도면이다. 감정 상태 출력 화면은 출력된 콘텐츠에 반응한 사용자의 시간별 또는 장면별 쾌, 불쾌, 각성 및 이완의 정도를 나타내는 영역(710) 및 장면별 사용자의 감정 상태를 나타내는 영역(720)을 포함한다.
쾌, 불쾌, 각성 및 이완의 정도를 나타내는 영역(710)에서, 시간별 또는 장면별 쾌, 불쾌의 정도를 나타내는 항목(714)은 사용자의 반응에 따라 계산된 쾌, 불쾌의 정도를 시각적으로 표시한 것이다. 또한, 시간별 또는 장면별 각성, 이완의 정도를 나타내는 항목(716)은 사용자의 반응에 따라 계산된 각성, 이완의 정도를 시각적으로 표시한 것이다. 일실시예에서, 기준선(712)의 위쪽은 양의 값을 갖고 쾌(또는 각성)의 정도를 나타내는 값이 되며, 기준선(712)의 아래쪽은 음의 값을 갖고 불쾌(이완)의 정도를 나타내는 값이 된다.
사용자의 감정 상태를 나타내는 영역(720)은 장면에 대한 식별 정보 및 장면에 대한 감정 상태를 포함한다. 일실시예에서, 사용자의 감정 상태를 나타내는 영역(720)은 장면에 대한 상세 정보를 더 포함할 수 있다.
부가 정보 출력/송신 기능
도 11(a) 및 도 11(b)는 본 발명의 일실시예에 따른 장면에 부가 정보가 연결되어 있는 콘텐츠의 구조를 나타낸다.
도 11(a)를 참조하면, 콘텐츠(810)는 하나 이상의 장면(812, 814 또는 816)을 포함할 수 있다. 장면(814)은 장면과 관련된 부가 정보와 연결되어 있을 수 있고, 부가 정보는 콘텐츠(820)에 관한 정보가 될 수 있다. 여기에서, 콘텐츠(820)는 콘텐츠(810)와 동일한 콘텐츠가 될 수 있고, 콘텐츠(810)와 상이한 콘텐츠가 될 수도 있다. 또한, 콘텐츠(820)에 관한 정보는 광고 콘텐츠에 관한 정보가 될 수 있다.
도 11(b)를 참조하면, 콘텐츠(830)는 하나 이상의 장면(832, 834 또는 836)을 포함할 수 있다. 장면(834)은 장면과 관련된 부가 정보와 연결되어 있을 수 있고, 부가 정보는 콘텐츠(840)에 포함된 장면(846)에 관한 정보가 될 수 있다. 여기에서, 콘텐츠(830)는 콘텐츠(840)와 동일한 콘텐츠가 될 수 있고, 콘텐츠(840)와 상이한 콘텐츠가 될 수도 있다. 또한, 장면(840)에 관한 정보는 광고 장면에 관한 정보가 될 수 있다.
도 12는 본 발명의 일실시예에 따른 부가 정보 출력 과정을 나타내는 흐름도이다.
제 100 단계 내지 제 400 단계는 도 7에서 설명된 내용이므로, 이에 대한 상세한 설명은 생략한다.
제어부(170)는 출력중인 장면에 연결되어 있는 부가 정보의 출력 요청을 수신하면, 요청된 부가 정보를 디스플레이부(180) 및/또는 오디오 출력부(185)를 통해 출력할 수 있다. 또는, 제어부(170)는 출력중인 장면에 연결되어 있는 부가 정보의 송신 요청을 수신하면, 요청된 부가 정보를 이동단말기(200)에 송신할 수 있다(S600).
도 13은 본 발명의 일실시예에 따른 부가 정보 출력 화면을 나타내는 도면이다.
부가 정보 출력 화면(910)은 장면을 출력하는 제 1 영역(912) 및 부가 정보를 출력하는 제 2 영역(914)을 포함한다. 제 2 영역(914)은 부가 정보 출력 화면(910)에서 제 1 영역(912)의 외부에 표시될 수 있다. 예를 들어, 제 2 영역(914)은 제 1 영역(912)에 인접하여 표시될 수 있다. 또는, 제 2 영역(914)은 제 1 영역(912)에 중첩되어 표시될 수 있다. 예를 들어, 제 1 영역(912)은 풀스크린으로 표시되고, 동시에 제 2 영역(914)은 제 1 영역(912)에 삽입되어 표시될 수 있다. 이 경우에 픽쳐 인 픽쳐 기술이 이용될 수도 있다.
한편, 제 2 영역(914)은 부가 정보와 관련된 콘텐츠 또는 애플리케이션과 관련된 링크 항목(916)을 더 포함할 수 있다. 사용자에 의해 링크 항목(916)이 선택되면, 링크 항목(916)에 대응하는 콘텐츠가 출력되거나 애플리케이션이 실행될 수 있다.
도 13을 참조하면, 영화 예고편 장면에 대한 영화 정보가 표시되고 있음을 알 수 있다. 또한, 영화 예고편 장면이 풀스크린으로 표시되고, 영화 정보가 장면에 삽입되어 표시되고 있음을 알 수 있다. 영화 정보는 영화를 예매할 수 있는 링크를 더 포함하고 있음을 알 수 있다.
도 14는 본 발명의 일실시예에 따른 이동단말기의 부가 정보 출력 화면을 나타내는 도면이다.
부가 정보 출력 화면(920)에는 영상표시기기(100)로부터 수신한 부가 정보가 표시된다. 부가 정보 출력 화면(920)은 부가 정보와 관련된 콘텐츠 또는 애플리케이션과 관련된 링크 항목(922)을 더 표시할 수 있다. 사용자에 의해 링크 항목(922)이 선택되면, 링크 항목(922)에 대응하는 콘텐츠가 출력되거나 애플리케이션이 실행될 수 있다.
도 14를 참조하면, 영화 예고편 장면에 대한 영화 정보가 표시되고 있음을 알 수 있다. 영화 정보는 영화를 예매할 수 있는 링크를 더 포함하고 있음을 알 수 있다.
설정 기능
도 15는 본 발명의 일실시예에 따른 감정 상태 및 부가 정보의 출력/송신에 관한 설정 화면을 나타내는 도면이다.
출력/송신에 관한 설정 화면(1000)은 감정 상태 및 부가 정보의 출력 여부 및 송신 여부를 설정하는 영역(1010)을 포함한다. 출력 여부 및 송신 여부를 설정하는 영역(1010)은 감정 상태 탭(1020) 및 부가 정보 탭(1030)을 포함한다. 감정 상태 탭(1020) 또는 부가 정보 탭(1030)이 선택되면, 감정 상태 또는 부가 정보의 출력 여부를 설정하는 항목(1022) 및 감정 상태 또는 부가 정보의 송신 여부를 설정하는 항목(1024)이 표시된다. 감정 상태 또는 부가 정보의 출력 여부를 설정하는 항목(1022) 및 감정 상태 또는 부가 정보의 송신 여부를 설정하는 항목(1024)은 각각 사용함, 사용안함 및 확인을 포함한다.
항목(1022 또는 1024)이 사용함으로 설정된 경우에 감정 상태 또는 부가 정보가 자동으로 출력된다. 항목(1022 또는 1024)이 사용안함으로 설정된 경우에 감정 상태 또는 부가 정보가 출력되지 않는다. 항목(1022 또는 1024)이 확인으로 설정된 경우에 감정 상태 또는 부가 정보는 사용자의 확인 여부에 따라 출력되거나 출력되지 않는다.
따라서, 제어부(170)는 감정 상태의 출력 설정 및/또는 송신 설정을 확인하고, 출력 설정 및/또는 송신 설정에 근거하여 감정 상태를 출력 및/또는 이동단말기에 송신할 수 있다. 또한, 제어부(170)는 부가 정보의 출력 설정 및/또는 송신 설정을 확인하고, 출력 설정 및/또는 송신 설정과 판단된 감정 상태에 근거하여 부가 정보를 출력 및/또는 이동단말기에 송신할 수 있다.
본 발명은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

Claims (15)

  1. 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 단계;
    상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 단계;
    상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계; 및
    상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 단계를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  2. 제 1항에 있어서,
    상기 판단된 감정 상태를 출력 및/또는 이동단말기에 송신하는 단계를 더 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  3. 제 2항에 있어서, 상기 감정 상태를 출력 및/또는 이동단말기에 송신하는 단계는,
    감정 상태의 출력 설정 및/또는 송신 설정을 확인하는 단계; 및
    상기 출력 설정 및/또는 송신 설정에 근거하여 상기 판단된 감정 상태를 출력 및/또는 상기 이동단말기에 송신하는 단계를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  4. 제 1항에 있어서, 상기 장면은,
    상기 장면과 관련된 부가 정보와 연결되어 있고,
    상기 판단된 감정 상태에 근거하여 상기 부가 정보를 출력 및/또는 이동단말기에 송신하는 단계를 더 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  5. 제 4항에 있어서, 상기 부가 정보를 출력 및/또는 이동단말기에 송신하는 단계는,
    부가 정보의 출력 설정 및/또는 송신 설정을 확인하는 단계; 및
    상기 출력 설정 및/또는 송신 설정과 상기 판단된 감정 상태에 근거하여 상기 부가 정보를 출력 및/또는 상기 이동단말기에 송신하는 단계를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  6. 제 4항 또는 제 5항에 있어서, 상기 부가 정보는,
    상기 장면과 관련된 콘텐츠 또는 장면에 관한 정보인 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  7. 제 6항에 있어서, 상기 장면과 관련된 콘텐츠 또는 장면에 관한 정보는,
    광고 콘텐츠 또는 장면에 관한 정보인 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  8. 제 1항에 있어서, 상기 사용자의 반응과 관련된 정보는,
    상기 사용자의 시각적 반응과 관련된 정보 및 청각적 반응과 관련된 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  9. 제 1항에 있어서, 상기 사용자의 반응과 관련된 정보는,
    상기 사용자의 피부 온도, 피부 전도도, 심박동 변이도 및 뇌파 신호 중 적어도 하나를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  10. 제 1항에 있어서, 상기 사용자의 반응과 관련된 정보를 수신하는 단계는,
    상기 사용자의 원격 장치로부터 상기 사용자의 반응과 관련된 정보를 수신하는 단계인 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  11. 제 1항에 있어서, 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계는,
    상기 사용자의 반응과 관련된 정보에 근거하여 상기 사용자의 쾌, 불쾌, 각성 및 이완의 정도를 판단하는 단계; 및
    상기 사용자의 쾌, 불쾌, 각성 및 이완의 정도에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하는 단계를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  12. 제 1항에 있어서, 상기 장면에 부여되어 있는 식별 정보는,
    상기 장면의 타임 스탬프에 관한 정보를 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  13. 제 1항에 있어서,
    상기 판단된 감정 상태 및 상기 식별 정보에 근거하여 상기 사용자의 취향 정보를 생성하는 단계; 및
    상기 생성된 취향 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 영상표시기기의 사용자 감정 상태 분석 방법.
  14. 콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 출력부;
    상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 통신부; 및
    상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하고, 상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 제어부를 포함하는 것을 특징으로 하는 영상표시기기.
  15. 원격 장치 및 영상표시기기를 포함하는 영상표시시스템에 있어서,
    상기 영상표시기기는,
    콘텐츠에서 식별 정보가 부여되어 있는 장면을 출력하는 출력부;
    상기 원격 장치로부터 상기 장면에 대한 사용자의 반응과 관련된 정보를 수신하는 통신부; 및
    상기 사용자의 반응과 관련된 정보에 근거하여 상기 장면에 대한 상기 사용자의 감정 상태를 판단하고, 상기 판단된 감정 상태에 상기 식별 정보를 연결하여 저장하는 제어부를 포함하고,
    상기 원격 장치는,
    상기 영상표시기기에 상기 장면에 대한 사용자의 반응과 관련된 정보를 송신하는 것을 특징으로 하는 영상표시시스템.
PCT/KR2010/005294 2010-08-12 2010-08-12 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법 WO2012020861A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/816,439 US9099019B2 (en) 2010-08-12 2010-08-12 Image display device, image display system, and method for analyzing the emotional state of a user
PCT/KR2010/005294 WO2012020861A1 (ko) 2010-08-12 2010-08-12 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/005294 WO2012020861A1 (ko) 2010-08-12 2010-08-12 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법

Publications (1)

Publication Number Publication Date
WO2012020861A1 true WO2012020861A1 (ko) 2012-02-16

Family

ID=45567812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/005294 WO2012020861A1 (ko) 2010-08-12 2010-08-12 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법

Country Status (2)

Country Link
US (1) US9099019B2 (ko)
WO (1) WO2012020861A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191841A1 (en) * 2012-06-20 2013-12-27 Intel Corporation Multi-sensorial emotional expression
WO2014039293A1 (en) * 2012-09-07 2014-03-13 Google Inc. System and method for interacting with content of an electronic device
US8983998B1 (en) 2012-04-25 2015-03-17 Google Inc. Prioritizing points of interest in unfamiliar regions

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010035814B3 (de) * 2010-08-30 2011-12-29 Grenzebach Maschinenbau Gmbh Vorrichtung und Verfahren zum Betrieb eines Flugsimulators mit besonderer Realitäts-Anmutung
KR20150107482A (ko) * 2014-03-14 2015-09-23 엘지전자 주식회사 영상표시기기 및 이의 제어방법
US10521962B1 (en) 2018-03-08 2019-12-31 State Farm Mutual Automobile Insurance Company Method and system for visualizing overlays in virtual environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040054774A (ko) * 2001-11-13 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 감성적 텔레비젼 모니터링 및 제어
JP2005142975A (ja) * 2003-11-10 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> 視聴者反応情報収集システム及びその方法と、その視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
KR20060021544A (ko) * 2004-09-03 2006-03-08 (주) 엘지텔레콤 이동통신단말기 사용자의 표정인식을 이용한 방송 선호도조사방법
KR20080072085A (ko) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 콘텐츠에 대한 시청자 평가를 수집하는 장치 및 방법
JP2008258733A (ja) * 2007-04-02 2008-10-23 Sony Corp 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008092473A1 (en) * 2007-01-31 2008-08-07 Telecom Italia S.P.A. Customizable method and system for emotional recognition
JP5766119B2 (ja) * 2008-10-20 2015-08-19 コーニンクレッカ フィリップス エヌ ヴェ レンダリング環境のユーザへの影響の制御

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072085A (ko) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 콘텐츠에 대한 시청자 평가를 수집하는 장치 및 방법
KR20040054774A (ko) * 2001-11-13 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 감성적 텔레비젼 모니터링 및 제어
JP2005142975A (ja) * 2003-11-10 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> 視聴者反応情報収集システム及びその方法と、その視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
KR20060021544A (ko) * 2004-09-03 2006-03-08 (주) 엘지텔레콤 이동통신단말기 사용자의 표정인식을 이용한 방송 선호도조사방법
JP2008258733A (ja) * 2007-04-02 2008-10-23 Sony Corp 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983998B1 (en) 2012-04-25 2015-03-17 Google Inc. Prioritizing points of interest in unfamiliar regions
WO2013191841A1 (en) * 2012-06-20 2013-12-27 Intel Corporation Multi-sensorial emotional expression
WO2014039293A1 (en) * 2012-09-07 2014-03-13 Google Inc. System and method for interacting with content of an electronic device

Also Published As

Publication number Publication date
US20130135176A1 (en) 2013-05-30
US9099019B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
WO2012020861A1 (ko) 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법
KR101708682B1 (ko) 영상표시장치 및 그 동작 방법.
WO2010079929A1 (en) Apparatus for processing images and method thereof
WO2018186592A1 (en) Electronic device and operating method thereof
WO2017188585A1 (en) Display device and method of operating the same
WO2017142133A1 (en) Display device and operating method thereof
KR101668246B1 (ko) 영상표시장치 및 그 동작 방법.
WO2013100376A1 (en) Apparatus and method for displaying
WO2019164233A1 (en) Display device for identifying preference of contents, based on internet of things (iot) device
WO2016098992A1 (ko) 디스플레이 디바이스 및 그 제어 방법
WO2013172636A1 (en) Display apparatus, server, and controlling method thereof
WO2019098775A1 (ko) 디스플레이장치 및 그 제어방법
WO2018048178A1 (en) Display device
WO2015182893A1 (en) Apparatus and method for providing information
WO2021056766A1 (zh) 视频截屏方法、终端及计算机可读存储介质
WO2017188568A1 (en) Display device for providing scrap function and method of operating the same
WO2014189289A1 (ko) 연관 서비스 제공 방법 및 장치
EP3053342A1 (en) Image display apparatus, server for synchronizing contents, and method for operating the server
WO2015037767A1 (en) Image display apparatus and method for operating the same
KR101649158B1 (ko) 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치
WO2020166758A1 (ko) 복합 기능을 내장한 휴대용 블루투스 스피커 장치
WO2017122998A1 (en) Display device and operation method thereof
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
WO2022114516A1 (ko) 전자 장치 및 이의 제어 방법
WO2019172478A1 (ko) 표시장치와 그 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10855928

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13816439

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10855928

Country of ref document: EP

Kind code of ref document: A1