WO2021261612A1 - 영상표시장치 및 그 동작방법 - Google Patents

영상표시장치 및 그 동작방법 Download PDF

Info

Publication number
WO2021261612A1
WO2021261612A1 PCT/KR2020/008211 KR2020008211W WO2021261612A1 WO 2021261612 A1 WO2021261612 A1 WO 2021261612A1 KR 2020008211 W KR2020008211 W KR 2020008211W WO 2021261612 A1 WO2021261612 A1 WO 2021261612A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
image display
product
display device
output
Prior art date
Application number
PCT/KR2020/008211
Other languages
English (en)
French (fr)
Inventor
이혜승
설성운
안오봉
조은영
안상진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/008211 priority Critical patent/WO2021261612A1/ko
Priority to EP20941720.3A priority patent/EP4175308A4/en
Priority to US18/012,872 priority patent/US20230276099A1/en
Publication of WO2021261612A1 publication Critical patent/WO2021261612A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26283—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for associating distribution time parameters to content, e.g. to generate electronic program guide data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Definitions

  • the present invention relates to a video display device and an operating method thereof.
  • An image display device is a device having a function of displaying an image that a user can watch, and the user can watch a broadcast through the image display device.
  • the image display device includes a liquid crystal display (LCD) using liquid crystal or an OLED display using an organic light emitting diode (OLED), a TV (Television), and a monitor (Monitor). ), a projector, and the like.
  • the Digital TV service can provide various services that cannot be provided by the existing analog broadcasting service.
  • the Electronic Program Guide (EPG) service provides a guide screen so that the user can view the broadcasting information of various channels at a glance by arranging broadcasting programs that are being aired or scheduled to be aired on each channel in chronological order. is a service that
  • an electronic program guide EPG
  • a service for providing information on a person or a product included in a specific screen of content output through an image display device is also provided.
  • EPG electronic program guide
  • information on a person or product is mapped to each point of time in the timeline to form a database, and through an image display device While the program is being output, a service may be provided in which information on a person or product mapped to each point of the timeline of the electronic program guide (EPG) is also provided.
  • the displayed screen and the screen actually output through the image display device may be different from each other.
  • information on a person or product mapped at each point in the timeline of the electronic program guide (EPG) is provided on the screen together with the program, information on the person or product completely unrelated to the screen the user is watching is displayed on the screen problems may arise.
  • the present invention aims to solve the above and other problems.
  • Another object of the present invention is to provide an image display apparatus capable of accurately calculating an actual end time of content and accurately providing information in consideration of a user's preference at the actual end time of content, and an operating method thereof.
  • an image display device includes a display, a network interface unit for communicating through a network, and a control unit, wherein the control unit is configured to predict content output through the display.
  • the control unit is configured to predict content output through the display.
  • Check the end time obtain frame data for the screen output through the display at a first time point before a predetermined time from the expected end time, and calculate the actual end time of the content based on the obtained frame data and, at the calculated actual end time, a user interface (UI) that recommends at least one content-related product may be output through the display.
  • UI user interface
  • the operation of confirming the expected end time of the content output through the display of the image display apparatus, the first time point before a predetermined time from the expected end time For example, an operation of obtaining frame data for a screen output through a display, an operation of calculating an actual end time of the content based on the frame data, and a user who recommends at least one content-related product at the calculated actual end time It may include an operation of outputting an interface (User Interface, UI) through a display.
  • UI User Interface
  • the frame data for the screen output through the display is acquired before a predetermined time from the expected end point of time according to the timeline of ), the actual end time of the content is accurately calculated based on the frame data, information can be provided to users.
  • FIG. 1 is a diagram illustrating a system, according to an embodiment of the present invention.
  • FIG. 2 is an example of an internal block diagram of the image display device of FIG. 1 .
  • FIG. 3A is a diagram illustrating a control method of the remote control device of FIG. 2
  • FIG. 3B is an example of an internal block diagram of the remote control device of FIG. 2 .
  • 4A to 4C are flowcharts of a method of operating an image display apparatus according to an embodiment of the present invention.
  • 5A to 9C are diagrams referred to in the description of an operation method of an image display apparatus.
  • module and “part” for the components used in the following description are given simply in consideration of the ease of writing the present specification, and do not impart a particularly important meaning or role by themselves. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • FIG. 1 is a diagram illustrating a system, according to various embodiments of the present invention.
  • the system 10 may include an image display device 100 , a remote control device 200 , and/or at least one server 400 or 500 .
  • the image display device 100 may be a device that processes and outputs an image.
  • the image display device 100 is not particularly limited as long as it can output a screen corresponding to an image signal, such as a TV, a notebook computer, and a monitor.
  • the image display apparatus 100 may receive a broadcast signal, process it, and output a signal-processed broadcast image.
  • the image display device 100 may correspond to a broadcast reception device.
  • the image display apparatus 100 may receive a broadcast signal wirelessly through an antenna, or may receive a broadcast signal through a wire through a cable.
  • the image display apparatus 100 may receive a terrestrial broadcast signal, a satellite broadcast signal, a cable broadcast signal, an Internet Protocol Television (IPTV) broadcast signal, and the like.
  • IPTV Internet Protocol Television
  • the remote control apparatus 200 may be connected to the image display apparatus 100 by wire and/or wirelessly to provide various control signals to the image display apparatus 100 .
  • the remote control apparatus 200 establishes a wired or wireless network with the image display apparatus 100 and transmits various control signals to the image display apparatus 100 through the established network, or the image display apparatus 100 It may include a device for receiving signals related to various operations processed in the image display device 100 from the.
  • various input devices such as a mouse, a keyboard, a space remote control, a trackball, and a joystick may be used as the remote control device 200 .
  • the image display device 100 is connected to only a single remote control device 200 or is simultaneously connected to two or more remote control devices 200, based on a control signal provided from each remote control device 200, on the screen. You can change the displayed object or adjust the state of the screen.
  • the image display device 100 may transmit/receive data to and from at least one server 400 and 500 via a network 300 such as the Internet.
  • the servers 400 and 500 may transmit/receive data to and from the image display apparatus 100 through the network 300 , and may process data received from the image display apparatus 100 .
  • the servers 400 and 500 may be located in the same or similar area or may be located in areas separated from each other.
  • the servers 400 and 500 may be implemented in one server, or may be implemented in separate first and second servers 400 and 500, respectively.
  • FIG. 2 is an internal block diagram of the image display device of FIG. 1 .
  • the image display device 100 includes a broadcast receiving unit 105 , an external device interface unit 130 , a network interface unit 135 , a storage unit 140 , a user input interface unit 150 , and an input unit. 160 , a controller 170 , a display 180 , an audio output unit 185 , and/or a power supply unit 190 .
  • the broadcast receiver 105 may include a tuner 110 and a demodulator 120 .
  • the image display device 100 unlike the drawing, among the broadcast receiving unit 105, the external device interface unit 130, and the network interface unit 135, the broadcast receiving unit 105 and the external device interface unit 130 It is also possible to include only That is, the image display apparatus 100 may not include the network interface unit 135 .
  • the tuner unit 110 may select a broadcast signal corresponding to a channel selected by the user or all channels stored in advance among broadcast signals received through an antenna (not shown) or a cable (not shown).
  • the tuner unit 110 may convert the selected broadcast signal into an intermediate frequency signal or a baseband video or audio signal.
  • the selected broadcast signal may be converted into a digital IF signal (DIF), and if the selected broadcast signal is an analog broadcast signal, it may be converted into an analog baseband image or audio signal (CVBS/SIF).
  • DIF digital IF signal
  • CVBS/SIF analog baseband image or audio signal
  • the tuner unit 110 may process a digital broadcast signal or an analog broadcast signal.
  • An analog baseband video or audio signal (CVBS/SIF) output from the tuner unit 110 may be directly input to the control unit 170 .
  • the tuner unit 110 may sequentially select broadcast signals of all broadcast channels stored through the channel storage function among the received broadcast signals, and convert them into an intermediate frequency signal or a baseband image or audio signal.
  • the tuner unit 110 may include a plurality of tuners in order to receive broadcast signals of a plurality of channels.
  • a single tuner that simultaneously receives broadcast signals of a plurality of channels is also possible.
  • the demodulator 120 may receive the digital IF signal DIF converted by the tuner 110 and perform a demodulation operation.
  • the demodulator 120 may output a stream signal TS after demodulation and channel decoding are performed.
  • the stream signal may be a signal in which an image signal, an audio signal, or a data signal is multiplexed.
  • the stream signal output from the demodulator 120 may be input to the controller 170 .
  • the controller 170 may output an image through the display 180 and output an audio through the audio output unit 185 .
  • the external device interface unit 130 may transmit or receive data to or from a connected external device.
  • the external device interface unit 130 may include an A/V input/output unit (not shown).
  • the external device interface unit 130 may be connected to an external device such as a DVD (Digital Versatile Disk), Blu-ray, game device, camera, camcorder, computer (laptop), set-top box, and the like by wire/wireless. , it is also possible to perform input/output operations with an external device.
  • DVD Digital Versatile Disk
  • Blu-ray Blu-ray
  • game device camera
  • camcorder computer
  • set-top box and the like by wire/wireless.
  • the external device interface unit 130 establishes a communication network with various remote control devices 200 as shown in FIG. 1 , and controls related to the operation of the image display device 100 from the remote control device 200 .
  • the signal may be received or data related to the operation of the image display apparatus 100 may be transmitted to the remote control apparatus 200 .
  • the A/V input/output unit may receive video and audio signals from an external device.
  • the A/V input/output unit includes an Ethernet (Ethernet) terminal, a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), a DVI (Digital Visual Interface) terminal, and an HDMI (High It may include a Definition Multimedia Interface) terminal, a Mobile High-definition Link (MHL) terminal, an RGB terminal, a D-SUB terminal, an IEEE 1394 terminal, an SPDIF terminal, a Liquid HD terminal, and the like.
  • a digital signal input through these terminals may be transmitted to the controller 170 .
  • the analog signal input through the CVBS terminal and the S-video terminal may be converted into a digital signal through an analog-to-digital converter (not shown) and transmitted to the controller 170 .
  • the external device interface unit 130 may include a wireless communication unit (not shown) for short-range wireless communication with other electronic devices. Through such a wireless communication unit, the external device interface unit 130 may exchange data with an adjacent mobile terminal. For example, the external device interface unit 130 may receive device information, executed application information, an application image, and the like, from the mobile terminal in the mirroring mode.
  • the external device interface unit 130 performs short-range wireless communication using Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, etc. can be done
  • the network interface unit 135 may provide an interface for connecting the image display device 100 to a wired/wireless network including an Internet network.
  • the network interface unit 135 may include a communication module (not shown) for connection with the wired/wireless network 300 .
  • the network interface unit 135 communicates for a Wireless LAN (WLAN) (Wi-Fi), a Wireless broadband (Wibro), a World Interoperability for Microwave Access (Wimax), a High Speed Downlink Packet Access (HSDPA), and the like. It can contain modules.
  • the network interface unit 135 may transmit or receive data with another user or other electronic device through the connected network or another network linked to the connected network.
  • the network interface unit 135 may receive web content or data provided by a content provider or a network operator. That is, the network interface unit 135 may receive web contents such as movies, advertisements, games, VODs, broadcast signals, etc. and information related thereto, provided from the contents provider or the network provider through the network.
  • the network interface unit 135 may receive firmware update information and an update file provided by a network operator, and transmit data to the Internet or a content provider or network operator.
  • the network interface unit 135 may select and receive a desired application from among applications open to the public through a network.
  • the storage unit 140 may store a program for each signal processing and control in the control unit 170 , or may store a signal-processed image, audio, or data signal.
  • the storage unit 140 stores application programs designed for the purpose of performing various tasks that can be processed by the control unit 170 , and upon request of the control unit 170 , selectively selects some of the stored application programs can provide
  • the program stored in the storage unit 140 is not particularly limited as long as it can be executed by the control unit 170 .
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal received from an external device through the external device interface unit 130 .
  • the storage unit 140 may store information about a predetermined broadcast channel through a channel storage function such as a channel map.
  • the storage unit 140 may store various databases.
  • the storage unit 140 may include a database for content viewed by a user, a database for a history (hereinafter, referred to as a use history) using a UI for recommending a product related to the content by the user.
  • FIG 2 illustrates an embodiment in which the storage unit 140 is provided separately from the control unit 170 , the scope of the present invention is not limited thereto, and the storage unit 140 may be included in the control unit 170 .
  • the storage unit 140 may include a volatile memory (eg, DRAM, SRAM, SDRAM, etc.), a non-volatile memory (eg, a flash memory), a hard disk drive (HDD), or a solid state drive (Solid). -state drive (SSD), etc.) may be included. In various embodiments of the present invention, the storage unit 140 and the memory may be used interchangeably.
  • a volatile memory eg, DRAM, SRAM, SDRAM, etc.
  • a non-volatile memory eg, a flash memory
  • HDD hard disk drive
  • SSD solid state drive
  • the storage unit 140 and the memory may be used interchangeably.
  • the user input interface unit 150 may transmit a signal input by the user to the control unit 170 or may transmit a signal from the control unit 170 to the user.
  • transmit/receive user input signals such as power on/off, channel selection, and screen setting from the remote control device 200, or local keys (not shown) such as power key, channel key, volume key, and setting value transmits a user input signal input from the to the control unit 170, transmits a user input signal input from a sensor unit (not shown) that senses a user's gesture to the control unit 170, or transmits a signal from the control unit 170 It can be transmitted to the sensor unit.
  • the input unit 160 may be provided on one side of the main body of the image display device 100 .
  • the input unit 160 may include a touch pad, a physical button, and the like.
  • the input unit 160 may receive various user commands related to the operation of the image display apparatus 100 , and may transmit a control signal corresponding to the input command to the control unit 170 .
  • the input unit 160 may include at least one microphone (not shown), and may receive a user's voice through the microphone.
  • the controller 170 may include at least one processor, and may control the overall operation of the image display apparatus 100 by using the processor included therein.
  • the processor may be a general processor such as a central processing unit (CPU).
  • the processor may be a dedicated device such as an ASIC or other hardware-based processor.
  • the controller 170 demultiplexes a stream input through the tuner unit 110 , the demodulator 120 , the external device interface unit 130 , or the network interface unit 135 , or processes the demultiplexed signals to , it is possible to generate and output a signal for video or audio output.
  • the display 180 converts an image signal, a data signal, an OSD signal, a control signal, or an image signal, a data signal, and a control signal received from the external device interface unit 130 processed by the controller 170 to generate a driving signal. can create
  • the display 180 may include a display panel (not shown) including a plurality of pixels.
  • the plurality of pixels provided in the display panel may include RGB sub-pixels.
  • the plurality of pixels included in the display panel may include RGBW sub-pixels.
  • the display 180 may convert an image signal, a data signal, an OSD signal, a control signal, etc. processed by the controller 170 to generate driving signals for a plurality of pixels.
  • the display 180 may be a plasma display panel (PDP), a liquid crystal display (LCD), an organic light emitting diode (OLED), a flexible display, and the like, and a three-dimensional display (3D display) may be possible. have.
  • the 3D display 180 may be divided into a non-glasses type and a glasses type.
  • the display 180 may be configured as a touch screen and used as an input device in addition to an output device.
  • the audio output unit 185 receives the audio-processed signal from the control unit 170 and outputs it as audio.
  • the image signal processed by the controller 170 may be input to the display 180 and displayed as an image corresponding to the image signal. Also, the image signal processed by the control unit 170 may be input to an external output device through the external device interface unit 130 .
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185 . Also, the audio signal processed by the control unit 170 may be input to an external output device through the external device interface unit 130 .
  • the controller 170 may include a demultiplexer, an image processor, a mixer, a frame rate converter, a formatter, an audio processor, a data processor, and the like.
  • the controller 170 may control overall operations in the image display apparatus 100 .
  • the controller 170 may control the tuner 110 to select a channel selected by the user or a broadcast corresponding to a pre-stored channel (Tuning).
  • the control unit 170 may store the image content received through the broadcast receiving unit 105 , the external device interface unit 130 , or the network interface unit 135 in an external storage medium.
  • the external storage medium may refer to a device that is connected to the image display device 100 by wire/wireless through the external device interface unit 130 and transmits/receives data to and from the image display device 100 .
  • the control unit 170 may transmit a broadcast signal received through the broadcast receiving unit 105 to an external storage medium through the external device interface unit 130 .
  • controller 170 may control the image display apparatus 100 according to a user command input through the user input interface unit 150 or an internal program.
  • the controller 170 may control the display 180 to display an image.
  • the image displayed on the display 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • the controller 170 may cause a predetermined 2D object to be displayed in the image displayed on the display 180 .
  • the object may be at least one of an accessed web screen (newspaper, magazine, etc.), an Electronic Program Guide (EPG), various menus, widgets, icons, still images, moving pictures, and text.
  • EPG Electronic Program Guide
  • the image display apparatus 100 may further include a photographing unit (not shown).
  • the photographing unit may photograph the user.
  • the photographing unit may be implemented with one camera, but is not limited thereto, and may be implemented with a plurality of cameras.
  • the photographing unit may be embedded in the image display device 100 above the display 180 or disposed separately. Image information captured by the photographing unit may be input to the control unit 170 .
  • the control unit 170 may recognize the location of the user based on the image captured by the photographing unit. For example, the controller 170 may determine the distance (z-axis coordinate) between the user and the image display apparatus 100 . In addition, the controller 170 may determine the x-axis coordinates and the y-axis coordinates in the display 180 corresponding to the user's location.
  • the controller 170 may detect the user's gesture based on each or a combination of an image captured by the photographing unit or a signal sensed from the sensor unit.
  • the power supply unit 190 may supply the corresponding power throughout the image display device 100 .
  • the control unit 170 that can be implemented in the form of a system on chip (SOC), the display 180 for displaying an image, and the audio output unit 185 for outputting an audio, etc. have.
  • SOC system on chip
  • the power supply unit 190 may include a converter (not shown) that converts AC power into DC power, and a Dc/Dc converter (not shown) that converts the level of DC power.
  • the remote control device 200 may transmit a user input to the user input interface unit 150 .
  • the remote control device 200 Bluetooth (Bluetooth), RF (Radio Frequency) communication, infrared (Infrared Radiation) communication, UWB (Ultra-wideband), ZigBee (ZigBee) method, etc. may be used.
  • the remote control device 200 may receive an image, audio, or data signal output from the user input interface unit 150 , and display it or output the audio signal from the remote control device 200 .
  • the above-described image display device 100 may be a digital broadcasting receiver capable of receiving fixed or mobile digital broadcasting.
  • the block diagram of the image display device 100 shown in FIG. 2 is only a block diagram for an embodiment of the present invention, and each component of the block diagram is actually implemented according to the specifications of the image display device 100 . may be incorporated, added, or omitted.
  • two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed by each block is for explaining the embodiment of the present invention, and the specific operation or device does not limit the scope of the present invention.
  • FIG. 3A is a diagram illustrating a control method of the remote control device of FIG. 2
  • FIG. 3B is an example of an internal block diagram of the remote control device of FIG. 2 .
  • a pointer 205 corresponding to the remote control device 200 is displayed on the display 180 of the image display device 100 .
  • the user may move or rotate the remote control device 200 up, down, left and right, back and forth.
  • the pointer 205 displayed on the display 180 of the image display apparatus 100 may be displayed in response to the movement of the remote control apparatus 200 .
  • the remote control device 200 may be called a space remote controller or a 3D pointing device because the corresponding pointer 205 is moved and displayed according to movement in 3D space.
  • the pointer 205 displayed on the display 180 of the image display device 100 is also displayed on the remote control device 200 . You can see that it moves to the left in response to the movement.
  • Information on the movement of the remote control device 200 sensed through the sensor of the remote control device 200 may be transmitted to the image display device 100 .
  • the image display apparatus 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control apparatus 200 .
  • the image display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • the user may move the remote control device 200 away from the display 180 while pressing a specific button provided on the remote control device 200 . Accordingly, the selection area in the display 180 corresponding to the pointer 205 may be zoomed in and displayed. Conversely, when the user moves the remote control device 200 closer to the display 180 while pressing a specific button provided in the remote control device 200 , the display 180 corresponding to the pointer 205 . The selected area in the inside may be zoomed out and displayed in a reduced form.
  • the selection area is zoomed out, and when the remote control device 200 approaches the display 180 , the selection area can be zoomed in. .
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200 .
  • the remote control device 200 includes a wireless communication unit 220 , a user input unit 230 , a sensor unit 240 , an output unit 250 , a power supply unit 260 , a storage unit 270 , and/or a control unit 280 .
  • the wireless communication unit 220 may transmit and receive signals to and from the image display device 100 .
  • the remote control device 200 may include an RF module 221 capable of transmitting and receiving a signal to and from the image display device 100 according to a radio frequency (RF) communication standard.
  • the remote control device 200 may include an IR module 223 capable of transmitting and receiving a signal to and from the image display device 100 according to an IR (Infrared radiation) communication standard.
  • the remote control device 200 may transmit a signal including information about the movement of the remote control device 200 to the image display device 100 through the RF module 221 .
  • the remote control device 200 may receive a signal transmitted by the image display device 100 through the RF module 221 .
  • the remote control device 200 may transmit commands related to power on/off, channel change, volume change, etc. to the image display device 100 through the IR module 223 .
  • the user input unit 230 may include a keypad, a button, a touch pad, a touch screen, and the like. The user may input a command related to the image display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 230 .
  • the user input unit 230 includes a hard key button
  • the user may input a command related to the image display device 100 to the remote control device 200 through a push operation of the hard key button.
  • the user input unit 230 includes a touch screen
  • the user may input a command related to the image display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 230 may include various types of input means that the user can operate, such as a scroll key or a jog key, and this embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243 .
  • the gyro sensor 241 may sense a motion of the remote control device 200 .
  • the gyro sensor 241 may sense information about the operation of the remote control device 200 based on the x, y, and z axes.
  • the acceleration sensor 243 may sense information about the moving speed of the remote control device 200 .
  • the sensor unit 240 may further include a distance measuring sensor capable of sensing a distance to the display 180 .
  • the output unit 250 may output an image or audio signal corresponding to an operation of the user input unit 230 or a signal transmitted from the image display apparatus 100 . Through the output unit 250 , the user may recognize whether the user input unit 230 is operated or whether the image display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 including at least one light emitting device (eg, a Light Emitting Diode (LED)), a vibration module 253 for generating vibration, and a sound output module 255 for outputting sound. ), and/or a display module 257 for outputting an image may be provided.
  • LED Light Emitting Diode
  • the power supply unit 260 may supply power to each component provided in the remote control device 200 .
  • the power supply unit 260 may include at least one battery (not shown).
  • the power supply unit 260 when the movement of the remote control device 200 is not detected for a predetermined time through the sensor unit 240, stops the supply of power to each component provided in the remote control device 200, Unnecessary power consumption can be prevented.
  • the power supply unit 260 may resume power supply for each component included in the remote control device 200 .
  • the power supply unit 260 may resume supplying power to each component.
  • the power supply unit 260 may resume supplying power to each component provided in the remote control device 200 . .
  • the storage unit 270 may store various types of programs and application data required for control or operation of the remote control device 200 .
  • the remote control device 200 wirelessly transmits and receives signals through the image display device 100 and the RF module 221 , the remote control device 200 and the image display device 100 transmit signals through a predetermined frequency band. can transmit and receive.
  • the control unit 280 of the remote control device 200 stores information about a frequency band in which a signal can be wirelessly transmitted and received with the image display device 100 paired with the remote control device 200 in the storage unit 270 . and can be referenced.
  • the controller 280 may include at least one processor, and may control overall operations of the remote control device 200 by using the processor included therein.
  • the control unit 280 transmits a control signal corresponding to a predetermined key operation of the user input unit 230 or a control signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 to the wireless communication unit 220 . may be transmitted to the image display device 100 through the
  • the user input interface unit 150 of the image display device 100 includes a wireless communication unit 151 capable of wirelessly transmitting and receiving signals to and from the remote control device 200 , and a pointer corresponding to the operation of the remote control device 200 .
  • a coordinate value calculating unit 155 capable of calculating a coordinate value of may be provided.
  • the user input interface unit 150 may wirelessly transmit/receive a signal to and from the remote control device 200 through the RF module 152 . Also, a signal transmitted by the remote control device 200 according to the IR communication standard may be received through the IR module 153 .
  • the coordinate value calculating unit 155 is the coordinates of the pointer 205 to be displayed on the display 170 by correcting the hand shake or error from the signal corresponding to the operation of the remote control device 200 received through the wireless communication unit 151 .
  • the value (x, y) can be calculated.
  • the remote control apparatus 200 transmission signal input to the image display apparatus 100 through the user input interface 150 may be transmitted to the controller 180 of the image display apparatus 100 .
  • the control unit 180 of the image display device 100 determines information about the operation and key operation of the remote control device 200 from the signal transmitted from the remote control device 200, and in response thereto, the image display device 100 can control
  • the remote control apparatus 200 may calculate a pointer coordinate value corresponding to the operation and output it to the user input interface unit 150 of the image display apparatus 100 .
  • the user input interface unit 150 of the image display apparatus 100 may transmit information about the received pointer coordinate values to the control unit 180 without a separate hand shake or error correction process.
  • the coordinate value calculating unit 155 may be provided inside the control unit 170 instead of the user input interface unit 150 unlike the drawing.
  • FIGS. 5A to 8C are diagrams referenced in the description of the operating method of the image display apparatus of FIGS. 4A to 4C to be.
  • the image display apparatus 100 may output content through the display 180 in operation S410 .
  • the image display apparatus 100 may receive and process any one of a terrestrial broadcast signal, a satellite broadcast signal, a cable broadcast signal, and an IPTV broadcast signal, and output signal-processed broadcast content.
  • the image display device 100 may check the expected end time of the content.
  • the image display apparatus 100 may check the expected end time of the content based on the timeline of the electronic program guide (EPG).
  • EPG electronic program guide
  • the image display apparatus 100 may calculate the actual end time of the content at a time prior to a predetermined time from the expected end time of the content.
  • the preset predetermined time is to be determined in consideration of a possible error between the time when the content is actually output through the image display device 100 and the time when the content is previously scheduled to be output in the timeline of the electronic program guide (EPG).
  • EPG electronic program guide
  • the image display apparatus 100 may capture a screen output through the display 180 at a time prior to a predetermined time from the expected end time of the content.
  • the operation of capturing the screen may mean an operation of acquiring data for a frame of content output through the screen (hereinafter, frame data).
  • the image display device 100 may calculate a hash value of an image corresponding to the captured screen by using a predetermined hash function in operation S432.
  • the predetermined hash function may refer to a function that maps data of an arbitrary length to data of a fixed length for the purpose of efficient data management, and the hash value of the image is the image in the hash function. It may mean a result value obtained by inputting data corresponding to .
  • the image display apparatus 100 may receive metadata for content from the first server 400 in operation S433 .
  • the image display device 100 may transmit an identifier and/or hash value of the content to the first server 400 , and may transmit a content identifier and/or hash value corresponding to the identifier and/or hash value of the content from the first server 400 . You can receive metadata.
  • the first server 400 may be a server that stores various data related to content.
  • the first server 400 may store a plurality of hash values mapped to each screen frame constituting the content, and data about an object mapped to each hash value.
  • the data on the object may be data including various information on the object included in the screen.
  • data on an object mapped to a hash value includes a name and type (eg, person, clothing, furniture) of each object included in the screen corresponding to the hash value, a thumbnail image corresponding to each object, and each object. may include a Uniform Resource Locator (URL) of a web page corresponding to the .
  • URL Uniform Resource Locator
  • the image display apparatus 100 may check whether the metadata received from the first server 400 is metadata for the entire content.
  • the metadata for the entire content includes a thumbnail image corresponding to each screen frame constituting the content, a hash value mapped to each screen frame, a playback time corresponding to each hash value, and an object mapped to each hash value. data and the like. That is, the metadata for the entire content may include data for the entire product related to the content.
  • the image display apparatus 100 may receive the metadata for the entire content from the first server 400 . and, when the image display device 100 transmits the identifier and hash value of the content to the first server 400, the image display device 100 transmits metadata for a part of the content corresponding to the hash value to the first server It can be received from (400).
  • the image display device 100 in operation S435, when the metadata received from the first server 400 is metadata for the entire content, the image corresponding to the captured screen in the received metadata for the entire content You can check the hash value of
  • the image display device 100 may check a playback time point corresponding to a hash value of an image corresponding to the captured screen. For example, the image display device 100 may check the hash value of the image corresponding to the captured screen among the hash values included in the metadata for the entire content, and check the playback time corresponding to the hash value. have.
  • the image display device 100 when the metadata received from the first server 400 is metadata for a portion of the content, a playback time corresponding to the received metadata for a portion of the content can confirm. For example, when the first server 400 receives the identifier and hash value of the content from the image display device 100, the image display device 100 among hash values mapped to each screen frame constituting the content. It is possible to check the hash value received from , and transmit the playback time corresponding to the hash value and data on the object mapped to the hash value to the image display device 100 . In this case, the image display device 100 may check the playback time included in the metadata for a part of the received content as the playback time corresponding to the hash value of the image corresponding to the captured screen.
  • the image display apparatus 100 may calculate an actual end time of the content based on a reproduction time corresponding to a hash value of an image corresponding to the captured screen. For example, the image display device 100 may calculate the remaining playback time of the content by calculating the difference between the playback time corresponding to the hash value of the image corresponding to the captured screen and the expected end time of the content, , a time point at which the remaining playback time elapses from the actual time point at which the screen was captured may be calculated as the actual end time point of the content. In this regard, it will be described with reference to FIGS. 5A to 5C.
  • the image display device 100 may output an electronic program guide (EPG) screen 500 , and the user may use the electronic program guide (EPG) screen 500 to view the broadcast in each channel or You can check the timeline for the broadcast contents scheduled to be aired.
  • EPG electronic program guide
  • a timeline 510 for specific content included in the electronic program guide (EPG), an actual timeline 520 on which advertisements are output through the image display device 100, and a specific An actual timeline 530 on which content is output may be compared.
  • the timeline 510 for specific content included in the electronic program guide (EPG) may include both advertisement output times T1 and T3 and specific content output times T2.
  • FIG. 5C when an error occurs between the actual start time at which the advertisement is output through the image display device 100 and the start time that is previously scheduled in the timeline of the electronic program guide (EPG), the image is displayed It can be seen that an error occurs between a time point 541 at which a specific screen is output from the device 100 and a time point 542 at which a specific screen is previously scheduled to be output, and the specific screen is output from the image display device 100 . It can be seen that the timing 541 corresponds to a timing 543 at which a completely different screen is scheduled to be output in the timeline of the electronic program guide EPG.
  • an error occurs between the time when the image display device 100 outputs a specific screen and the time when the specific screen is previously scheduled to be output on the timeline of the electronic program guide (EPG). Even so, the actual end time of the content may be accurately calculated based on the hash value of the image corresponding to the screen that the image display device 100 is actually outputting.
  • EPG electronic program guide
  • the image display apparatus 100 may determine a recommendation criterion based on the database stored in the storage unit 140 .
  • a UI for recommending a product related to content is output through the display 180 of the image display device 100, and the user checks, selects or shares information about the product, or purchases a product through the UI
  • the image display device 100 provides information on the product, for example, the title, genre, date, type of product, detailed information, manufacturer, person who used or wore the product in the contents, etc. of the contents to which the product is exposed. Data may be added to the database for the usage history stored in the storage unit 140 .
  • the image display apparatus 100 may determine a recommendation criterion related to the content. For example, when specific content is output through the display 180 of the image display device 100, the image display device 100, among products included in the database for the usage history, the title and/or the specific content At least one product related to a genre may be determined, and the determined product type, detailed information, manufacturer, related person, etc. may be determined as a recommendation standard.
  • the image display device 100 may determine at least one product related to content corresponding to the recommendation criterion in operation S450.
  • the image display apparatus 100 may check whether metadata for the entire content has been previously received.
  • the image display device 100 sets the recommendation criteria to the first server when metadata for the entire content has not been previously received in operations S452 and S453, for example, when only metadata for a part of the content is received in operation S433.
  • 400 may receive metadata (hereinafter, additional metadata) corresponding to the recommendation criteria from the first server 400 .
  • the first server 400 checks the type of product, detailed information, manufacturer, related person, etc. included in the recommendation standard, It may be checked whether data on the corresponding object exists, and at least one hash value to which data of the object corresponding to the recommendation criterion is mapped may be checked.
  • the first server 400 the data on the object corresponding to the recommendation criterion, the hash value to which the data on the object corresponding to the recommendation criterion is mapped, the playback time corresponding to each hash value, the hash value mapped to each Additional metadata including a thumbnail image corresponding to the screen frame may be transmitted to the image display device 100 .
  • the image display device 100 adds a product to data about an object included in the additional metadata, and a product related to content corresponding to the recommendation criterion. can be determined as
  • the image display device 100 in operation S455, when the metadata for the entire content has been previously received, from among the products included in the metadata for the entire content, it is possible to determine a product related to the content corresponding to the recommendation criterion. have.
  • the image display device 100 may check at least one data on an object corresponding to a recommendation criterion among data on an object included in metadata for the entire content, and The included product may be determined as a product related to content corresponding to the recommendation criterion.
  • the image display apparatus 100 may store metadata and/or additional metadata for the entire content received from the first server 400 in the storage unit 140 .
  • the image display apparatus 100 may store data on a product related to content corresponding to the recommendation criterion in the storage unit 140 .
  • the image display device 100 may output a UI for recommending at least one content-related product through the display 180 at the actual end time of the content.
  • the video display device 100 at the actual end time of the content, the image corresponding to the reproduction time point to which the product related to the content corresponding to the recommendation criterion is mapped and/or the product related to the content corresponding to the recommendation criterion.
  • a UI including an image (hereinafter, referred to as a product recommendation UI) may be output through the display 180 .
  • the image included in the product recommendation UI may correspond to the thumbnail image included in the metadata for the entire content and/or the additional metadata.
  • the image display device 100 may check whether a user input for selecting one of the images included in the product recommendation UI is received in operation S470 .
  • the image display device 100 When a user input for selecting any one of the images included in the product recommendation UI is received in operation S480 , the image display device 100 outputs a screen at a playback time corresponding to the selected image through the display 180 , in operation S480 . can do.
  • the image display device 100 may obtain frame data at a playback time corresponding to the selected image from the external storage medium. And, based on the acquired frame data, a screen at a playback time corresponding to the selected image may be output.
  • the image display device 100 transmits the identifier of the content and data on the playback time corresponding to the selected image to the second server 500 , and reproduces the content corresponding to the selected image by the second server 500 . It is possible to request transmission of frame data of a viewpoint, and based on the frame data received from the second server 500 , a screen of a playback time corresponding to the selected image may be output.
  • the second server 500 may be a CP (Content Provider) server that stores various contents and provides the stored contents.
  • the image display device 100 may output, through the display 180, a UI (hereinafter referred to as product information UI) including information on at least one product mapped to a playback time point corresponding to the selected image in operation S490 . have. In this regard, it will be described in detail with reference to FIGS. 6A to 7B.
  • product information UI hereinafter referred to as product information UI
  • the image display device 100 corresponds to the playback time point at which the product related to the content is mapped while the screen 600 corresponding to the end time of the content is output through the display 180 .
  • the image display device 100 corresponds to the selected image 610 .
  • frame data may be obtained, and a screen 630 (hereinafter, referred to as a recommended time screen) of a playback time corresponding to the selected image 610 may be output through the display 180 .
  • the image display apparatus 100 may output the product information UI 640 related to the recommendation viewpoint screen 630 while the recommendation viewpoint screen 630 is output through the display 180 .
  • the product information UI 640 may include information 650 , 651 on at least one product mapped to the reproduction time point at which the recommendation time screen 630 is displayed.
  • the product information UI 640 may include a thumbnail image 650 for a product related to content and a thumbnail image 651 for a person related to the product.
  • the image display device 100 includes other types of product information including information 661 to 669 on at least one product mapped to a playback time point at which the recommendation time screen 630 is output.
  • a UI 660 may be output.
  • the product information UI 660 includes a thumbnail image 661 corresponding to the recommended viewpoint screen 630 , a thumbnail image 663 of a person related to the product, and a thumbnail image of a product related to content.
  • it may include items (667, 669) for sharing information about the product, or setting the user's preference.
  • the image display device 100 displays a thumbnail image ( 715) including only the product recommendation UI 710 may be output through the display 180, and a thumbnail image 721 of a person related to a product, a thumbnail image of a product related to content, and a corresponding product mapped reproduction
  • the product recommendation UI 720 including both the information 723 and 725 on the viewpoint may be output through the display 180 .
  • the image display device ( 100) may obtain frame data of the selected playback time and output a screen of the selected playback time.
  • the image display device 100 outputs a product information UI 820 for recommending a product related to content in a state in which the recommendation time screen 810 is output through the display 180 . can do.
  • a thumbnail image 821 corresponding to the recommendation time screen 810 an area 822 for displaying information about the first product, and an area for displaying information about a second product ( 823) may be included.
  • thumbnail image 821 corresponding to the recommended viewpoint screen 810 and the area 822 in which information about the first product is displayed is displayed on the display 180 of the image display device 100 . It can be confirmed that the area 823 that is output through the display and displays information about the second product is not output through the display 180 .
  • a thumbnail image for a specific product is output according to a preset standard
  • data including the type of specific product corresponding to the thumbnail image, detailed information, manufacturer, related person, etc. can be added to the database for usage history.
  • the image display device 100 may add data including accessories such as the type of the first product, earrings as detailed information, and Se-ri Yoon as a related person, to the database for the usage history.
  • the image display device 100 displays the second Data including a bag as a type of product, a handbag as detailed information, and Se-ri Yoon as a related person can be added to the database for the usage history.
  • the user uses a remote control to check information on specific content.
  • An item 915 corresponding to a specific content may be selected using the pointer 205 corresponding to the control device 200 .
  • the image display device 100 may output a screen 920 for recommending content to the user through the display 180 , and the user may use a remote control to check information on specific content.
  • An item 923 corresponding to a specific content may be selected from among a plurality of recommended contents 921 by using the pointer 205 corresponding to the control device 200 .
  • the image display device 100 may output a screen 930 (hereinafter, a specific content information screen) providing information on specific content corresponding to the selected items 915 and 923 through the display 180 . have.
  • a specific content is selected from the electronic program guide (EPG) screen 910 or the content recommendation screen 920
  • the image display device 100 includes metadata and/or specific content for the selected specific content. It can be checked whether data on a product corresponding to a related recommendation criterion is stored in the storage unit 140 .
  • One area of the specific content information screen 930 may include basic information 940 on specific content.
  • the basic information 940 on the specific content may include a production company, a production crew, a cast, a broadcast period, a broadcast time period, an audience rating, and episode information.
  • information 950 about a product related to a specific content may be further included.
  • a user watches a specific content through the image display device 100 , receives metadata about the specific content from the first server 400 , and determines a product related to the content corresponding to the recommendation criteria,
  • the image display device 100 may output a specific content information screen 930 including information 950 on a product related to a specific content.
  • the information 950 on the product related to the specific content may include information 951 about the product related to the content corresponding to the recommendation criterion.
  • the image display device 100 may include, based on the metadata for the entire contents stored in the storage unit 140 , additional metadata and/or data on products related to contents corresponding to the recommendation criteria, the recommendation criteria An image of a product related to content corresponding to may be included in the specific content information screen 930 .
  • a web page screen in which the product can be purchased may be output.
  • the specific content information screen 930 may include images of products related to content corresponding to a preset number of recommendation criteria.
  • the image display device 100 displays the product related to the content corresponding to the recommendation criterion.
  • information about the remaining products related to specific content can be output. As described above, according to various embodiments of the present invention, the content is actually output through the image display device 100 .
  • frame data for the screen output through the display 180 is acquired before a predetermined time from the expected end time point
  • the actual end time of the content may be accurately calculated based on the frame data, and information may be provided to the user through the UI at the correct end time.
  • the method of operating an image display apparatus of the present invention can be implemented as processor-readable codes on a processor-readable recording medium provided in the image display apparatus.
  • the processor-readable recording medium includes all types of recording devices in which data readable by the processor is stored. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and also includes those implemented in the form of carrier waves such as transmission over the Internet .
  • the processor-readable recording medium is distributed in a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은, 영상표시장치 및 그 동작방법에 관한 것이다. 본 발명의 일 실시예에 따른 영상표시장치는, 디스플레이, 네트워크를 통한 통신을 수행하는 네트워크 인터페이스부 및 제어부를 포함하고, 상기 제어부는, 디스플레이를 통해 출력되는 컨텐츠의 예상 종료 시점을 확인하고, 예상 종료 시점으로부터 기 설정된 소정 시간 이전의 제1 시점에, 디스플레이를 통해 출력되는 화면에 대한 프레임 데이터를 획득하고, 획득한 프레임 데이터에 기초하여, 컨텐츠의 실제 종료 시점을 산출하고, 산출된 실제 종료 시점에, 컨텐츠와 관련된 상품을 적어도 하나 추천하는 사용자 인터페이스(User Interface, UI)를 디스플레이를 통해 출력할 수 있다. 그 외에 다양한 실시예들이 가능하다.

Description

영상표시장치 및 그 동작방법
본 발명은, 영상표시장치 및 그 동작방법에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이며, 사용자는 영상표시장치를 통하여 방송을 시청할 수 있다. 예를 들면, 영상표시장치는, 액정을 이용한 액정 디스플레이(Liquid Crystal Display; LCD)나, 유기 발광 다이오드(Organic Light Emitting Diode; 이하 OLED)를 이용한 OLED 디스플레이를 구비하는 TV(Television), 모니터(Monitor), 프로젝터(Projector) 등을 포함할 수 있다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있으며, 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다. 그 중에서, 전자 프로그램 가이드(Electronic Program Guide, EPG) 서비스는, 각 채널에서 방영 중 또는 방영 예정인 방송 프로그램들을 시간 순서대로 배치하여 사용자로 하여금 다양한 채널의 방송 정보를 한눈에 볼 수 있도록 가이드 화면을 제공하는 서비스이다.
최근에는 전자 프로그램 가이드(EPG)를 이용하여, 영상표시장치를 통해 출력되는 컨텐츠의 특정 화면에 포함된 인물이나 상품의 정보를 제공하는 서비스도 제공된다. 예를 들면, 전자 프로그램 가이드(EPG)에 포함된 특정 프로그램에 대한 타임라인(timeline)을 이용하여, 해당 타임라인의 시점 각각에 인물이나 상품의 정보를 매핑하여 데이터베이스화하고, 영상표시장치를 통해 프로그램이 출력되는 동안, 전자 프로그램 가이드(EPG)의 타임라인의 각 시점에 매핑된 인물이나 상품의 정보를 함께 제공하는 서비스가 제공될 수 있다.
그러나 방송사의 사정 등으로 인해, 프로그램의 실제 시작 시점과 기존에 예정되어 있던 시작 시점 간에 오차가 발생하는 경우가 빈번하게 일어나는데, 이때, 특정 시점에 전자 프로그램 가이드(EPG)의 타임라인에서 출력되도록 예정되어 있는 화면과 영상표시장치를 통해 실제 출력되는 화면이 서로 상이할 수 있다. 또한, 전자 프로그램 가이드(EPG)의 타임라인의 각 시점에 매핑된 인물이나 상품의 정보를 프로그램과 함께 화면에 제공되는 경우, 사용자가 시청 중인 화면과 전혀 상관없는 인물이나 상품의 정보가 화면에 표시되는 문제가 발생할 수 있다.
한편, 사용자들은, 프로그램을 시청하는 동안에는 프로그램의 스토리에 집중하며, 프로그램이 종료된 이후에 프로그램에 등장한 인물이나 상품에 대한 정보를 검색하는 것이 일반적이다. 그러나 종래 서비스의 경우, 전자 프로그램 가이드(EPG)의 타임라인의 각 시점에 매핑된 인물이나 상품의 정보를, 사용자가 프로그램을 시청하는 동안에 실시간으로 화면에 제공하는 것이 일반적이어서, 종래 서비스에 대한 활용도가 낮을 뿐만 아니라, 인물이나 상품의 정보를 제공함에 있어서 사용자의 선호도를 전혀 고려하지 않아, 종래 서비스에 대한 사용자의 만족도가 낮은 문제점도 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
또 다른 목적은, 컨텐츠의 실제 종료 시점을 정확히 산출하고, 컨텐츠의 실제 종료 시점에 사용자의 선호를 고려한 정보를 정확히 제공할 수 있는 영상표시장치 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 영상표시장치는, 디스플레이, 네트워크를 통한 통신을 수행하는 네트워크 인터페이스부 및 제어부를 포함하고, 상기 제어부는, 디스플레이를 통해 출력되는 컨텐츠의 예상 종료 시점을 확인하고, 예상 종료 시점으로부터 기 설정된 소정 시간 이전의 제1 시점에, 디스플레이를 통해 출력되는 화면에 대한 프레임 데이터를 획득하고, 획득한 프레임 데이터에 기초하여, 컨텐츠의 실제 종료 시점을 산출하고, 산출된 실제 종료 시점에, 컨텐츠와 관련된 상품을 적어도 하나 추천하는 사용자 인터페이스(User Interface, UI)를 디스플레이를 통해 출력할 수 있다.
한편, 본 발명의 일 실시예에 따른 영상표시장치의 동작방법은, 영상표시장치의 디스플레이를 통해 출력되는 컨텐츠의 예상 종료 시점을 확인하는 동작, 예상 종료 시점으로부터 기 설정된 소정 시간 이전의 제1 시점에, 디스플레이를 통해 출력되는 화면에 대한 프레임 데이터를 획득하는 동작, 프레임 데이터에 기초하여, 컨텐츠의 실제 종료 시점을 산출하는 동작 및 산출된 실제 종료 시점에, 컨텐츠와 관련된 상품을 적어도 하나 추천하는 사용자 인터페이스(User Interface, UI)를 디스플레이를 통해 출력하는 동작을 포함할 수 있다.
본 발명에 따른 영상표시장치 및 그 동작방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 다양한 실시예에 따르면, 영상표시장치를 통해 컨텐츠가 실제 출력되는 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에서 예정되어 있던 시점 간에 오차가 발생하는 경우에도, 전자 프로그램 가이드(EPG)의 타임라인에 따라 예정된 예상 종료 시점으로부터 소정 시간 이전에, 디스플레이를 통해 출력되는 화면에 대한 프레임 데이터를 획득하고, 프레임 데이터에 기초하여 컨텐츠의 실제 종료 시점을 정확히 산출하여, 정확한 종료 시점에 UI를 통해 사용자에게 정보를 제공할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 영상표시장치에 대한 사용자의 사용 히스토리에 기초하여, 컨텐츠와 관련된 추천 기준을 생성함으로써, 사용자의 선호를 고려한 정보를 정확히 제공할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명의 일 실시예에 따른, 시스템을 도시한 도면이다.
도 2는, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 3a는, 도 2의 원격제어장치의 제어 방법을 도시한 도면이고, 도 3b는, 도 2의 원격제어장치의 내부 블록도의 일 예이다.
도 4a 내지 4c는, 본 발명의 일 실시예에 따른, 영상표시장치의 동작방법에 대한 순서도이다.
도 5a 내지 9c는, 영상표시장치의 동작방법에 대한 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1은, 본 발명의 다양한 실시예에 따른, 시스템을 도시한 도면이다.
도 1을 참조하면, 시스템(10)은, 영상표시장치(100), 원격제어장치(200), 및/또는 적어도 하나의 서버(400, 500)를 포함할 수 있다.
영상표시장치(100)는, 영상을 처리하여 출력하는 장치일 수 있다. 영상표시장치(100)는, TV, 노트북 컴퓨터(notebook computer), 모니터 등 영상신호에 대응하는 화면을 출력할 수 있는 것이라면 특별히 한정하지 않는다.
영상표시장치(100)는, 방송 신호를 수신하여 이를 신호 처리하고, 신호 처리된 방송 영상을 출력할 수 있다. 영상표시장치(100)가 방송 신호를 수신하는 경우, 영상표시장치(100)가 방송 수신 장치에 해당할 수 있다.
영상표시장치(100)는, 안테나를 통해 무선으로 방송 신호를 수신할 수도 있고, 케이블(cable)을 통해 유선으로 방송 신호를 수신할 수도 있다. 예를 들면, 영상표시장치(100)는, 지상파 방송 신호, 위성 방송 신호, 케이블 방송 신호, IPTV(Internet Protocol Television) 방송 신호 등을 수신할 수 있다.
원격제어장치(200)는, 영상표시장치(100)와 유선 및/또는 무선으로 연결되어, 영상표시장치(100)로 각종 제어신호를 제공할 수 있다. 이때, 원격제어장치(200)는 영상표시장치(100)와 유선 또는 무선 네트워크를 수립하여, 수립된 네트워크를 통해, 각종 제어신호를 영상표시장치(100)로 전송하거나, 영상표시장치(100)로부터 영상표시장치(100)에서 처리되는 각종 동작과 관련된 신호를 수신하는 장치를 포함할 수 있다.
예컨대, 원격제어장치(200)로는 마우스, 키보드, 공간 리모콘, 트랙볼, 조이스틱 등의 다양한 입력 장치가 이용될 수 있다.
영상표시장치(100)는 단일의 원격제어장치(200)만 연결되거나, 둘 이상의 원격제어장치(200)와 동시에 연결되어, 각 원격제어장치(200)로부터 제공되는 제어신호를 기초로, 화면에 표시되는 오브젝트를 변경하거나, 화면의 상태를 조절할 수 있다.
영상표시장치(100)는, 인터넷과 같은 네트워크(300)를 경유하여, 적어도 하나의 서버(400, 500)와 상호 간에 데이터를 송수신할 수 있다.
서버(400, 500)는, 네트워크(300)를 통해, 영상표시장치(100)와 상호 간에 데이터를 송수신할 수 있고, 영상표시장치(100)로부터 수신되는 데이터를 처리할 수 있다.
서버(400, 500)는, 동일 또는 유사한 영역에 위치하거나 서로 분리된 영역에 위치할 수 있다. 예를 들면, 서버(400, 500)는 하나의 서버에서 구현될 수도 있고, 서로 구분되는 제1 서버(400) 및 제2 서버(500)에 각각 구현될 수도 있다.
도 2는, 도 1의 영상표시장치의 내부 블록도이다.
도 2를 참조하면, 영상표시장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(130), 네트워크 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 입력부(160), 제어부(170), 디스플레이(180), 오디오 출력부(185) 및/또는 전원 공급부(190)를 포함할 수 있다.
방송 수신부(105)는, 튜너부(110) 및 복조부(120)를 포함할 수 있다.
한편, 영상표시장치(100)는, 도면과 달리, 방송 수신부(105), 외부장치 인터페이스부(130) 및 네트워크 인터페이스부(135) 중, 방송 수신부(105)와, 외부장치 인터페이스부(130)만을 포함하는 것도 가능하다. 즉, 영상표시장치(100)는, 네트워크 인터페이스부(135)를 포함하지 않을 수도 있다.
튜너부(110)는, 안테나(미도시) 또는 케이블(미도시)를 통해 수신되는 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 방송 신호를 선택할 수 있다. 튜너부(110)는, 선택된 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수 있다.
예를 들면, 튜너부(110)는, 선택된 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환할 수 있다. 즉, 튜너부(110)는, 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는, 제어부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 수신되는 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 방송 신호를 순차적으로 선택하여, 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는, 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는, 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)를 통해 영상을 출력하고, 오디오 출력부(185)를 통해 음성을 출력할 수 있다.
외부장치 인터페이스부(130)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋톱 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
또한, 외부장치 인터페이스부(130)는, 도 1에 도시된 것과 같은 다양한 원격제어장치(200)와 통신 네트워크를 수립하여, 원격제어장치(200)로부터 영상표시장치(100)의 동작과 관련된 제어신호를 수신하거나, 영상표시장치(100)의 동작과 관련된 데이터를 원격제어장치(200)로 전송할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 예를 들면, A/V 입출력부는, 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(170)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(170)로 전달될 수 있다.
외부장치 인터페이스부(130)는, 다른 전자기기와의 근거리 무선 통신을 위한, 무선 통신부(미도시)를 포함할 수 있다. 이러한 무선 통신부를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기와 데이터를 교환할 수 있다. 예를 들면, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
외부장치 인터페이스부(130)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), 지그비(ZigBee) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
네트워크 인터페이스부(135)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다.
네트워크 인터페이스부(135)는, 유/무선 네트워크(300)와의 연결을 위한 통신 모듈(미도시)를 포함할 수 있다. 예를 들면, 네트워크 인터페이스부(135)는, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 위한 통신 모듈을 포함할 수 있다.
네트워크 인터페이스부(135)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(135)는, 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 웹 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(135)는, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 웹 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
네트워크 인터페이스부(135)는, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있고, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(135)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다. 예를 들면, 저장부(140)는 제어부(170)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(170)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다.
저장부(140)에 저장되는 프로그램 등은, 제어부(170)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
저장부(140)는, 외부장치 인터페이스부(130)를 통해 외부장치로부터 수신되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여, 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(140)는, 다양한 데이터베이스를 저장할 수 있다. 예를 들면, 저장부(140)는, 사용자가 시청한 컨텐츠에 대한 데이터베이스, 사용자가 컨텐츠와 관련된 상품을 추천하는 UI를 사용한 히스토리(이하, 사용 히스토리)에 대한 데이터베이스 등을 포함할 수 있다.
도 2의 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않으며, 제어부(170) 내에 저장부(140)가 포함될 수도 있다.
저장부(140)는, 휘발성 메모리(예: DRAM, SRAM, SDRAM 등)나, 비휘발성 메모리(예: 플래시 메모리(Flash memory), 하드 디스크 드라이브(Hard disk drive; HDD), 솔리드 스테이트 드라이브(Solid-state drive; SSD) 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 있어서, 저장부(140)와 메모리는 서로 혼용되어 사용될 수도 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다.
예를 들면, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센서부로 송신할 수 있다.
입력부(160)는, 영상표시장치(100)의 본체의 일측에 구비될 수 있다. 예를 들면, 입력부(160)는, 터치 패드, 물리적 버튼 등을 포함할 수 있다.
입력부(160)는, 영상표시장치(100)의 동작과 관련된 각종 사용자 명령을 수신할 수 있고, 입력된 명령에 대응하는 제어 신호를 제어부(170)에 전달할 수 있다.
입력부(160)는, 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크를 통해 사용자의 음성을 수신할 수 있다.
제어부(170)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 영상표시장치(100)의 동작 전반을 제어할 수 있다. 여기서, 프로세서는 CPU(central processing unit)과 같은 일반적인 프로세서일 수 있다. 물론, 프로세서는 ASIC과 같은 전용 장치(dedicated device)이거나 다른 하드웨어 기반의 프로세서일 수 있다.
제어부(170)는, 튜너부(110), 복조부(120), 외부장치 인터페이스부(130), 또는 네트워크 인터페이스부(135)를 통하여 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
디스플레이(180)는, 제어부(170)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)로부터 수신되는 영상신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성할 수 있다.
디스플레이(180)는, 복수의 픽셀을 구비하는 디스플레이 패널(미도시)를 포함할 수 있다.
디스플레이 패널에 구비된 복수의 픽셀은, RGB의 서브 픽셀을 구비할 수 있다. 또는, 디스플레이 패널에 구비된 복수의 픽셀은, RGBW의 서브 픽셀을 구비할 수도 있다. 디스플레이(180)는, 제어부(170)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여, 복수의 픽셀에 대한 구동 신호를 생성할 수 있다.
디스플레이(180)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이(flexible display)등이 가능하며, 또한, 3차원 디스플레이(3D display)가 가능할 수도 있다. 3차원 디스플레이(180)는, 무안경 방식과 안경 방식으로 구분될 수 있다.
한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
제어부(170)에서 영상 처리된 영상신호는, 디스플레이(180)로 입력되어, 해당 영상신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상신호는, 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수도 있다.
제어부(170)에서 처리된 음성 신호는, 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는, 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
도 2에는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부, 믹서, 프레임 레이트 변환부, 포맷터, 오디오 처리부, 데이터 처리부 등을 포함할 수 있다.
그 외, 제어부(170)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들면, 제어부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기 저장된 채널에 해당하는 방송을 선택(Tuning)하도록 제어할 수 있다.
제어부(170)는, 방송 수신부(105), 외부장치 인터페이스부(130), 또는 네트워크 인터페이스부(135)를 통하여 수신되는 영상 컨텐츠를 외부 저장매체에 저장할 수 있다. 여기서, 외부 저장매체는, 외부장치 인터페이스부(130)를 통해 영상표시장치(100)와 유/무선으로 연결되어, 영상표시장치(100)와 상호 간에 데이터를 송수신하는 장치를 의미할 수 있다. 예를 들면, 제어부(170)는 방송 수신부(105)를 통해 수신되는 방송신호를, 외부장치 인터페이스부(130)를 통해 외부 저장매체로 전송할 수 있다.
또한, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
한편, 제어부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(170)는 디스플레이(180)에 표시되는 영상 내에, 소정 2D 오브젝트가 표시되도록 할 수 있다. 예를 들면, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
한편, 영상표시장치(100)는, 촬영부(미도시)를 더 포함할 수도 있다. 촬영부는, 사용자를 촬영할 수 있다. 촬영부는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 한편, 촬영부는 디스플레이(180) 상부에 영상표시장치(100)에 매립되거나 또는 별도로 배치될 수 있다. 촬영부에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들면, 제어부(170)는, 사용자와 영상표시장치(100) 간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 제어부(170)는, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상, 또는 센서부로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
전원 공급부(190)는, 영상표시장치(100) 전반에 걸쳐 해당 전원을 공급할 수 있다. 특히, 시스템 온 칩(System On Chip; SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)와, 직류 전원의 레벨을 변환하는 Dc/Dc 컨버터(미도시)를 구비할 수 있다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 전송할 수 있다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(Infrared Radiation) 통신, UWB(Ultra-wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 출력할 수 있다.
한편, 상술한 영상표시장치(100)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일 실시예를 위한 블록도일 뿐, 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3a는, 도 2의 원격제어장치의 제어 방법을 도시한 도면이고, 도 3b는, 도 2의 원격제어장치의 내부 블록도의 일 예이다.
도 3a를 참조하면, 영상표시장치(100)의 디스플레이(180)에, 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 확인할 수 있다.
도 3a의 (a)를 참조하면, 사용자는 원격제어장치(200)를 상하, 좌우, 앞뒤로 움직이거나 회전시킬 수 있다. 이때, 영상표시장치(100)의 디스플레이(180)에 표시된 포인터(205)는, 원격제어장치(200)의 움직임에 대응하여 표시될 수 있다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘 또는 3D 포인팅 장치라 명명할 수 있다.
도 3a의 (b)를 참조하면, 사용자가 원격제어장치(200)를 왼쪽으로 이동시키는 경우, 영상표시장치(100)의 디스플레이(180)에 표시된 포인터(205)도 원격제어장치(200)의 움직임에 대응하여 왼쪽으로 이동하는 것을 확인할 수 있다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시장치(100)로 전송될 수 있다. 영상표시장치(100)는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 3a의 (c)를 참조하면, 원격제어장치(200)에 구비된 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동시킬 수 있다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌-인(zoom-in)되어 확대 표시될 수 있다. 이와 반대로, 원격제어장치(200)에 구비된 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌-아웃(zoom-out)되어 축소 표시될 수 있다.
한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌-아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌-인될 수도 있다.
한편, 사용자가 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하 및 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식될 수 있다. 사용자가 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동만 인식할 수 있고, 이에 따라 포인터(205)만 이동할 수 있다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
도 3b를 참조하면, 원격제어장치(200)는, 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 및/또는 제어부(280)를 포함할 수 있다.
무선통신부(220)는, 영상표시장치(100)와 상호 간에 신호를 송수신할 수 있다.
본 실시예에서, 원격제어장치(200)는 RF(Radio frequency) 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비할 수 있다. 또한 원격제어장치(200)는 IR(Infrared radiation) 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다.
원격제어장치(200)는, 영상표시장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보를 포함하는 신호를 RF 모듈(221)을 통해 전송할 수 있다. 원격제어장치(200)는, 영상표시장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있다.
원격제어장치(200)는, IR 모듈(223)을 통해, 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는, 키패드, 버튼, 터치 패드, 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(230)가 하드키 버튼을 구비하는 경우, 사용자는 하드키 버튼의 푸쉬(push) 동작을 통하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
한편, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수도 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는, 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있다. 자이로 센서(241)는, 원격제어장치(200)의 움직임을 센싱할 수 있다.
자이로 센서(241)는, 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 센서부(240)는, 디스플레이(180)와의 거리를 센싱할 수 있는 거리측정센서를 더 구비할 수 있다.
출력부(250)는, 사용자 입력부(230)의 조작에 대응하거나 영상표시장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 영상표시장치(100)의 제어 여부를 인지할 수 있다.
출력부(250)는, 적어도 하나의 발광소자(예: LED(Light Emitting Diode))를 포함하는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 및/또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
전원공급부(260)는, 원격제어장치(200)에 구비된 각 구성에 전원을 공급할 수 있다. 전원공급부(260)는, 적어도 하나의 배터리(미도시)를 포함할 수 있다.
전원공급부(260)는, 센서부(240)를 통해 원격제어장치(200)의 움직임이 소정 시간 동안 감지되지 않는 경우, 원격제어장치(200)에 구비된 각 구성에 대한 전원 공급을 중단하여, 불필요한 전원 소모를 방지할 수 있다.
전원공급부(260)는, 소정 이벤트 발생 시, 원격제어장치(200)에 구비된 각 구성에 대한 전원 공급을 재개할 수 있다. 예를 들면, 전원공급부(260)는, 원격제어장치(200)에 구비된 소정 키가 조작된 경우, 각 구성에 전원 공급을 재개할 수 있다. 예를 들면, 전원공급부(260)는, 센서부(240)를 통해 원격제어장치(200)의 움직임이 감지된 경우, 원격제어장치(200)에 구비된 각 구성에 전원 공급을 재개할 수 있다.
저장부(270)는, 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다.
원격제어장치(200)가 영상표시장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신하는 경우, 원격제어장치(200)와 영상표시장치(100)는 소정 주파수 대역을 통하여 신호를 송수신할 수 있다. 원격제어장치(200)의 제어부(280)는, 원격제어장치(200)와 페어링된 영상표시장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 원격제어장치(200)의 동작 전반을 제어할 수 있다.
제어부(280)는, 사용자 입력부(230)의 소정 키 조작에 대응하는 제어신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 제어신호를, 무선 통신부(220)를 통해 영상표시장치(100)로 전송할 수 있다.
영상표시장치(100)의 사용자입력 인터페이스부(150)는, 원격제어장치(200)와 무선으로 신호를 송수신할 수 있는 무선통신부(151)와, 원격제어장치(200)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(155)를 구비할 수 있다.
사용자입력 인터페이스부(150)는, RF 모듈(152)을 통하여 원격제어장치(200)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(153)을 통하여 원격제어장치(200)이 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.
좌표값 산출부(155)는 무선통신부(151)를 통하여 수신된 원격제어장치(200)의 동작에 대응하는 신호로부터, 손떨림이나 오차를 수정하여 디스플레이(170)에 표시할 포인터(205)의 좌표값(x,y)을 산출할 수 있다.
사용자입력 인터페이스부(150)를 통하여 영상표시장치(100)로 입력된 원격제어장치(200) 전송 신호는, 영상표시장치(100)의 제어부(180)로 전달될 수 있다. 영상표시장치(100)의 제어부(180)는 원격제어장치(200)에서 전송한 신호로부터 원격제어장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.
또 다른 예로, 원격제어장치(200)는, 그 동작에 대응하는 포인터 좌표값을 산출하여 영상표시장치(100)의 사용자입력 인터페이스부(150)로 출력할 수 있다. 이 경우, 영상표시장치(100)의 사용자입력 인터페이스부(150)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 포인터 좌표값에 관한 정보를 제어부(180)로 전송할 수 있다.
또한, 다른 예로, 좌표값 산출부(155)가, 도면과 달리 사용자입력 인터페이스부(150)가 아닌, 제어부(170) 내부에 구비되는 것도 가능하다.
도 4a 내지 4c는, 본 발명의 일 실시예에 따른, 영상표시장치의 동작방법에 대한 순서도이고, 도 5a 내지 8c는, 도 4a 내지 4c의 영상표시장치의 동작방법에 대한 설명에 참조되는 도면이다.
도 4a를 참조하면, 영상표시장치(100)는, S410 동작에서, 디스플레이(180)를 통해, 컨텐츠를 출력할 수 있다. 예를 들면, 영상표시장치(100)는, 지상파 방송 신호, 위성 방송 신호, 케이블 방송 신호 및 IPTV 방송 신호 중 어느 하나를 수신하여 처리하고, 신호 처리된 방송 컨텐츠를 출력할 수 있다.
영상표시장치(100)는, S420 동작에서, 컨텐츠의 예상 종료 시점을 확인할 수 있다. 예를 들면, 영상표시장치(100)는, 전자 프로그램 가이드(EPG)의 타임라인에 기초하여, 컨텐츠의 예상 종료 시점을 확인할 수 있다.
영상표시장치(100)는, S430 동작에서, 컨텐츠의 예상 종료 시점으로부터 기 설정된 소정 시간만큼 이전 시점에, 컨텐츠의 실제 종료 시점을 산출할 수 있다. 여기서, 기 설정된 소정 시간은, 영상표시장치(100)를 통해 컨텐츠가 실제 출력되는 시점과, 전자 프로그램 가이드(EPG)의 타임라인에서 기존에 출력되도록 예정되어 있던 시점 간에 발생 가능한 오차를 고려하여 결정될 수 있다.
도 4b를 참조하면, 영상표시장치(100)는, S431 동작에서, 컨텐츠의 예상 종료 시점으로부터 기 설정된 소정 시간만큼 이전 시점에, 디스플레이(180)를 통해 출력되는 화면을 캡쳐할 수 있다. 여기서, 화면을 캡쳐하는 동작은, 화면을 통해 출력되는 컨텐츠의 프레임에 대한 데이터(이하, 프레임 데이터)를 획득하는 동작을 의미할 수 있다.
영상표시장치(100)는, S432 동작에서, 소정의 해시 함수(hash function)를 이용하여, 캡쳐된 화면에 대응하는 이미지의 해시 값(hash value)을 산출할 수 있다. 여기서, 소정의 해시 함수는, 데이터의 효율적 관리를 목적으로 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑하는 함수를 의미할 수 있고, 이미지의 해시 값은, 해시 함수(hash function)에 이미지에 대응하는 데이터를 입력하여 얻어지는 결과 값을 의미할 수 있다.
영상표시장치(100)는, S433 동작에서, 제1 서버(400)로부터 컨텐츠에 대한 메타데이터(metadata)를 수신할 수 있다. 예를 들면, 영상표시장치(100)는, 컨텐츠의 식별자 및/또는 해시 값을 제1 서버(400)에 전송할 수 있고, 제1 서버(400)로부터 컨텐츠의 식별자 및/또는 해시 값에 대응하는 메타데이터를 수신할 수 있다.
한편, 제1 서버(400)는, 컨텐츠에 관한 다양한 데이터를 저장하는 서버일 수 있다. 예를 들면, 제1 서버(400)는, 컨텐츠를 구성하는 화면 프레임 각각에 매핑된 복수의 해시 값과, 해시 값 각각에 매핑된 객체에 대한 데이터를 저장할 수 있다. 여기서, 객체에 대한 데이터는, 화면에 포함된 객체에 대한 다양한 정보를 포함하는 데이터일 수 있다. 예를 들면, 해시 값에 매핑된 객체에 대한 데이터는, 해시 값에 대응하는 화면에 포함된 객체 각각의 명칭, 타입(예: 인물, 의류, 가구), 객체 각각에 대응하는 썸네일 이미지, 객체 각각에 대응하는 웹 페이지의 URL(Uniform Resource Locator) 등을 포함할 수 있다.
영상표시장치(100)는, S434 동작에서, 제1 서버(400)로부터 수신된 메타데이터가 컨텐츠 전체에 대한 메타데이터인지 여부를 확인할 수 있다. 여기서, 컨텐츠 전체에 대한 메타데이터는, 컨텐츠를 구성하는 화면 프레임 각각에 대응하는 썸네일 이미지, 화면 프레임 각각에 매핑된 해시 값, 해시 값 각각에 대응하는 재생 시점, 해시 값 각각에 매핑된 객체에 대한 데이터 등을 포함할 수 있다. 즉, 컨텐츠 전체에 대한 메타데이터는, 컨텐츠와 관련된 상품 전체에 대한 데이터를 포함할 수 있다.
예를 들면, 영상표시장치(100)가 컨텐츠의 식별자를 제1 서버(400)에 전송하는 경우, 영상표시장치(100)는 제 컨텐츠 전체에 대한 메타데이터를 1 서버(400)로부터 수신할 수 있고, 영상표시장치(100)가 컨텐츠의 식별자와 해시 값을 제1 서버(400)에 전송하는 경우, 영상표시장치(100)는 해시 값에 대응하는 컨텐츠의 일부에 대한 메타데이터를 제1 서버(400)로부터 수신할 수 있다.
영상표시장치(100)는, S435 동작에서, 제1 서버(400)로부터 수신된 메타데이터가 컨텐츠 전체에 대한 메타데이터인 경우, 수신된 컨텐츠 전체에 대한 메타데이터에서, 캡쳐된 화면에 대응하는 이미지의 해시 값을 확인할 수 있다.
영상표시장치(100)는, S436 동작에서, 캡쳐된 화면에 대응하는 이미지의 해시 값에 대응하는 재생 시점을 확인할 수 있다. 예를 들면, 영상표시장치(100)는, 컨텐츠 전체에 대한 메타데이터에 포함된 해시 값 중, 캡쳐된 화면에 대응하는 이미지의 해시 값을 확인하여, 해당 해시 값에 대응하는 재생 시점을 확인할 수 있다.
한편, 영상표시장치(100)는, S437 동작에서, 제1 서버(400)로부터 수신된 메타데이터가 컨텐츠의 일부에 대한 메타데이터인 경우, 수신된 컨텐츠의 일부에 대한 메타데이터에 대응하는 재생 시점을 확인할 수 있다. 예를 들면, 제1 서버(400)는, 영상표시장치(100)로부터 컨텐츠의 식별자와 해시 값이 수신되는 경우, 컨텐츠를 구성하는 화면 프레임 각각에 매핑된 해시 값 중, 영상표시장치(100)로부터 수신된 해시 값을 확인할 수 있고, 해당 해시 값에 대응하는 재생 시점과, 해시 값에 매핑된 객체에 대한 데이터를 영상표시장치(100)에 전송할 수 있다. 이때, 영상표시장치(100)는, 수신된 컨텐츠의 일부에 대한 메타데이터에 포함된 재생 시점을, 캡쳐된 화면에 대응하는 이미지의 해시 값에 대응하는 재생 시점으로 확인할 수 있다.
영상표시장치(100)는, S438 동작에서, 캡쳐된 화면에 대응하는 이미지의 해시 값에 대응하는 재생 시점에 기초하여, 컨텐츠의 실제 종료 시점을 산출할 수 있다. 예를 들면, 영상표시장치(100)는, 캡쳐된 화면에 대응하는 이미지의 해시 값에 대응하는 재생 시점과, 컨텐츠의 예상 종료 시점 간의 차이를 연산하여, 컨텐츠의 잔여 재생 시간을 산출할 수 있고, 화면이 캡쳐된 실제 시점으로부터 잔여 재생 시간이 경과된 시점을, 컨텐츠의 실제 종료 시점으로 산출할 수 있다. 이와 관련하여, 도 5a 내지 5c를 참조하여 설명하도록 한다.
도 5a를 참조하면, 영상표시장치(100)는 전자 프로그램 가이드(EPG) 화면(500)을 출력할 수 있고, 사용자는 전자 프로그램 가이드(EPG) 화면(500)을 통해, 각 채널에서 방영 중 또는 방영 예정인 방송 컨텐츠들에 대한 타임라인을 확인할 수 있다.
한편, 도 5b 및 5c를 참조하면, 전자 프로그램 가이드(EPG)에 포함된 특정 컨텐츠에 대한 타임라인(510)과, 영상표시장치(100)를 통해 광고가 출력되는 실제 타임라인(520) 및 특정 컨텐츠가 출력되는 실제 타임라인(530)을 비교할 수 있다.
전자 프로그램 가이드(EPG)에 포함된 특정 컨텐츠에 대한 타임라인(510)에는, 광고가 출력되는 시간(T1, T3)과 특정 컨텐츠가 출력되는 시간(T2)이 모두 포함될 수 있다.
이때, 도 5b와 같이, 영상표시장치(100)가 전자 프로그램 가이드(EPG)의 타임라인에 따라 광고와 특정 컨텐츠를 정확히 출력하는 경우, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)과 기존에 특정 화면이 출력되도록 예정되어 있던 시점(542) 간에 오차가 발생하지 않는 것을 확인할 수 있다.
또한, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)과 기존에 특정 화면이 출력되도록 예정되어 있던 시점(542) 간에 오차가 발생하지 않으므로, 컨텐츠의 잔여 재생 시간(T4)에 기초할 때, 컨텐츠의 예상 종료 시점과 컨텐츠의 실제 종료 시점도 일치하는 것을 확인할 수 있다.
이에 반해, 도 5c와 같이, 영상표시장치(100)를 통해 광고가 출력되는 실제 시작 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에서 예정되어 있던 시작 시점 간에 오차가 발생하는 경우, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)과 기존에 특정 화면이 출력되도록 예정되어 있던 시점(542) 간에 오차가 발생하는 것을 확인할 수 있고, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)이 전자 프로그램 가이드(EPG)의 타임라인에서 전혀 다른 화면이 출력되도록 예정되어 있던 시점(543)에 대응하는 것을 확인할 수 있다.
또한, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)과 기존에 특정 화면이 출력되도록 예정되어 있던 시점(542) 간에 오차가 발생함에 따라, 컨텐츠의 예상 종료 시점과 컨텐츠의 실제 종료 시점 간에도 오차가 발생하는 것을 확인할 수 있다.
즉, 본 발명의 다양한 실시예에 따르면, 영상표시장치(100)가 특정 화면을 출력하는 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에 특정 화면이 출력되도록 예정되어 있던 시점 간에 오차가 발생하더라도, 영상표시장치(100)가 실제 출력 중인 화면에 대응하는 이미지의 해시 값에 기초하여, 컨텐츠의 실제 종료 시점을 정확히 산출할 수 있다.
다시 도 4a를 참조하면, 영상표시장치(100)는, S440 동작에서, 저장부(140)에 저장된 데이터베이스에 기초하여, 추천 기준을 결정할 수 있다.
예를 들면, 영상표시장치(100)의 디스플레이(180)를 통해 컨텐츠와 관련된 상품을 추천하는 UI가 출력되고, 사용자가 해당 UI를 통해 상품에 대한 정보를 확인, 선택 또는 공유하거나, 상품을 구매하는 경우, 영상표시장치(100)는 해당 상품에 대한 정보, 예컨대, 상품이 노출된 컨텐츠의 제목, 장르, 날짜, 상품의 종류, 세부 정보, 제조사, 컨텐츠에서 상품을 사용 또는 착용한 인물 등에 대한 데이터를, 저장부(140)에 저장된 사용 히스토리에 대한 데이터베이스에 추가할 수 있다.
이때, 상기와 같이 생성되는 사용 히스토리에 대한 데이터베이스에 기초하여, 영상표시장치(100)는 컨텐츠와 관련된 추천 기준을 결정할 수 있다. 예를 들면, 영상표시장치(100)의 디스플레이(180)를 통해 특정 컨텐츠가 출력되는 경우, 영상표시장치(100)는, 사용 히스토리에 대한 데이터베이스에 포함된 상품 중, 특정 컨텐츠의 제목 및/또는 장르와 관련된 상품을 적어도 하나 결정할 수 있고, 결정된 상품의 종류, 세부 정보, 제조사, 관련 인물 등을 추천 기준으로 결정할 수 있다.
영상표시장치(100)는, S450 동작에서, 추천 기준에 대응하는 컨텐츠와 관련된 상품을 적어도 하나 결정할 수 있다.
도 4c를 참조하면, 영상표시장치(100)는, S451 동작에서, 컨텐츠 전체에 대한 메타데이터를 기 수신하였는지 여부를 확인할 수 있다.
영상표시장치(100)는, S452 및 S453 동작에서, 컨텐츠 전체에 대한 메타데이터를 기 수신하지 않은 경우, 예컨대, S433 동작에서 컨텐츠의 일부에 대한 메타데이터만 수신한 경우, 추천 기준을 제1 서버(400)에 전송할 수 있고, 제1 서버(400)로부터 추천 기준에 대응하는 메타데이터(이하, 추가 메타데이터)를 수신할 수 있다.
예를 들면, 제1 서버(400)는, 영상표시장치(100)로부터 추천 기준이 수신되는 경우, 추천 기준에 포함된 상품의 종류, 세부 정보, 제조사, 관련 인물 등을 확인하여, 추천 기준에 대응하는 객체에 대한 데이터가 존재하는지 여부를 확인하고, 추천 기준에 대응하는 객체에 대한 데이터가 매핑된 해시 값을 적어도 하나 확인할 수 있다.
또한, 제1 서버(400)는, 추천 기준에 대응하는 객체에 대한 데이터, 추천 기준에 대응하는 객체에 대한 데이터가 매핑된 해시 값, 해시 값 각각에 대응하는 재생 시점, 해시 값 각각에 매핑된 화면 프레임에 대응하는 썸네일 이미지 등을 포함하는 추가 메타데이터를 영상표시장치(100)에 전송할 수 있다.
영상표시장치(100)는, S454 동작에서, 제1 서버(400)로부터 추가 메타데이터가 수신되는 경우, 추가 메타데이터에 포함된 객체에 대한 데이터에 상품을, 추천 기준에 대응하는 컨텐츠와 관련된 상품으로 결정할 수 있다.
한편, 영상표시장치(100)는, S455 동작에서, 컨텐츠 전체에 대한 메타데이터를 기 수신한 경우, 컨텐츠 전체에 대한 메타데이터에 포함된 상품 중에서, 추천 기준에 대응하는 컨텐츠와 관련된 상품을 결정할 수 있다. 예를 들면, 영상표시장치(100)는, 컨텐츠 전체에 대한 메타데이터에 포함된 객체에 대한 데이터 중, 추천 기준에 대응하는 객체에 대한 데이터를 적어도 하나 확인할 수 있고, 확인된 객체에 대한 데이터에 포함된 상품을 추천 기준에 대응하는 컨텐츠와 관련된 상품으로 결정할 수 있다.
한편, 영상표시장치(100)는, 제1 서버(400)로부터 수신되는 컨텐츠 전체에 대한 메타데이터 및/또는 추가 메타데이터를, 저장부(140)에 저장할 수 있다. 영상표시장치(100)는, 추천 기준에 대응하는 컨텐츠와 관련된 상품에 대한 데이터를 저장부(140)에 저장할 수 있다.
다시 도 4a를 참조하면, 영상표시장치(100)는, S460 동작에서, 컨텐츠의 실제 종료 시점에, 디스플레이(180)를 통해 컨텐츠와 관련된 상품을 적어도 하나 추천하는 UI를 출력할 수 있다. 예를 들면, 영상표시장치(100)는, 컨텐츠의 실제 종료 시점에, 추천 기준에 대응하는 컨텐츠와 관련된 상품이 매핑된 재생 시점에 대응하는 이미지 및/또는 추천 기준에 대응하는 컨텐츠와 관련된 상품의 이미지를 포함하는 UI(이하, 상품 추천 UI)를 디스플레이(180)를 통해 출력할 수 있다. 이때, 상품 추천 UI에 포함되는 이미지는, 컨텐츠 전체에 대한 메타데이터 및/또는 추가 메타데이터에 포함된 썸네일 이미지에 대응할 수 있다.
영상표시장치(100)는, S470 동작에서, 상품 추천 UI에 포함된 이미지 중 어느 하나를 선택하는 사용자 입력이 수신되는지 여부를 확인할 수 있다.
영상표시장치(100)는, S480 동작에서, 상품 추천 UI에 포함된 이미지 중 어느 하나를 선택하는 사용자 입력이 수신되는 경우, 디스플레이(180)를 통해, 선택된 이미지에 대응하는 재생 시점의 화면을 출력할 수 있다.
예를 들면, 영상표시장치(100)는, 디스플레이(180)를 통해 컨텐츠가 출력되는 동안 외부 저장매체에 컨텐츠가 저장된 경우, 선택된 이미지에 대응하는 재생 시점의 프레임 데이터를 외부 저장매체로부터 획득할 수 있고, 획득한 프레임 데이터에 기초하여, 선택된 이미지에 대응하는 재생 시점의 화면을 출력할 수 있다.
예를 들면, 영상표시장치(100)는, 컨텐츠의 식별자와 선택된 이미지에 대응하는 재생 시점에 대한 데이터를 제2 서버(500)에 전송하여, 제2 서버(500)에 선택된 이미지에 대응하는 재생 시점의 프레임 데이터의 전송을 요청할 수 있고, 제2 서버(500)로부터 수신되는 프레임 데이터에 기초하여, 선택된 이미지에 대응하는 재생 시점의 화면을 출력할 수 있다. 여기서, 제2 서버(500)는, 다양한 컨텐츠를 저장하고, 저장된 컨텐츠를 제공하는 CP(Content Provider) 서버일 수 있다.
영상표시장치(100)는, S490 동작에서, 선택된 이미지에 대응하는 재생 시점에 매핑된 적어도 하나의 상품에 대한 정보를 포함하는 UI(이하, 상품 정보 UI)를 디스플레이(180)를 통해 출력할 수 있다. 이와 관련하여, 도 6a 내지 7b를 참조하여 상세히 설명하도록 한다.
도 6a 및 6b를 참조하면, 영상표시장치(100)는, 컨텐츠의 종료 시점에 해당하는 화면(600)이 디스플레이(180)를 통해 출력된 상태에서, 컨텐츠와 관련된 상품이 매핑된 재생 시점에 대응하는 이미지(610)를 포함하는, 상품 추천 UI를 디스플레이(180)를 통해 출력할 수 있다. 이때, 상품 추천 UI는, 컨텐츠의 재생 시점의 선택과 관련된 재생 바(620)를 더 포함할 수도 있다.
한편, 사용자가 원격제어장치(200)에 대응하는 포인터(205)를 이용하여 상품 추천 UI에 포함된 이미지(610)를 선택하는 경우, 영상표시장치(100)는, 선택된 이미지(610)에 대응하는 프레임 데이터를 획득하여, 선택된 이미지(610)에 대응하는 재생 시점의 화면(630)(이하, 추천 시점 화면)을 디스플레이(180)를 통해 출력할 수 있다.
또한, 영상표시장치(100)는, 추천 시점 화면(630)이 디스플레이(180)를 통해 출력되는 동안, 추천 시점 화면(630)과 관련된 상품 정보 UI(640)를 함께 출력할 수 있다. 이때, 상품 정보 UI(640)는, 추천 시점 화면(630)이 표시되는 재생 시점에 매핑된 적어도 하나의 상품에 대한 정보(650, 651)을 포함할 수 있다. 예를 들면, 상품 정보 UI(640)는, 컨텐츠와 관련된 상품에 대한 썸네일 이미지(650)와, 해당 상품과 관련된 인물에 대한 썸네일 이미지(651)를 포함할 수 있다.
한편, 사용자가 상품 정보 UI(640)에 포함된 썸네일 이미지(650, 651) 중 하나를 선택하는 경우, 선택된 썸네일 이미지에 링크된 웹 페이지의 URL에 기초하여, 해당 상품의 구매가 가능한 웹 페이지 화면이 출력될 수도 있다.
한편, 도 6c를 참조하면, 영상표시장치(100)는, 추천 시점 화면(630)이 출력되는 재생 시점에 매핑된 적어도 하나의 상품에 대한 정보(661 내지 669)를 포함하는 다른 형태의 상품 정보 UI(660)를 출력할 수도 있다.
예를 들면, 상품 정보 UI(660)는, 추천 시점 화면(630)에 대응하는 썸네일 이미지(661)와, 해당 상품과 관련된 인물에 대한 썸네일 이미지(663)와, 컨텐츠와 관련된 상품에 대한 썸네일 이미지(665)를 포함할 뿐만 아니라, 상품에 대한 정보를 공유하거나, 사용자의 선호 여부를 설정하는 아이템(667, 669)를 포함할 수도 있다.
한편, 도 7a 및 7b를 참조하면, 영상표시장치(100)는, 컨텐츠의 종료 시점에 해당하는 화면(700)이 디스플레이(180)를 통해 출력된 상태에서, 컨텐츠와 관련된 상품에 대한 썸네일 이미지(715)만 포함하는 상품 추천 UI(710)를 디스플레이(180)를 통해 출력할 수도 있고, 상품과 관련된 인물에 대한 썸네일 이미지(721), 컨텐츠와 관련된 상품에 대한 썸네일 이미지, 해당 상품이 매핑된 재생 시점에 대한 정보(723, 725)를 모두 포함하는 상품 추천 UI(720)를 디스플레이(180)를 통해 출력할 수도 있다.
이때, 사용자가 원격제어장치(200)에 대응하는 포인터(205)를 이용하여, 컨텐츠에 관한 상품이 매핑된 재생 시점에 대한 정보(723, 725) 중 어느 하나를 선택하는 경우, 영상표시장치(100)는, 선택된 재생 시점의 프레임 데이터를 획득하여, 선택된 재생 시점의 화면을 출력할 수 있다.
한편, 사용 히스토리에 대한 데이터베이스의 업데이트와 관련하여, 도 8a 내지 8c를 참조하여 추가적으로 설명하도록 한다.
도 8a 내지 8c를 참조하면, 영상표시장치(100)는, 디스플레이(180)를 통해, 추천 시점 화면(810)이 출력된 상태에서, 컨텐츠와 관련된 상품을 추천하는 상품 정보 UI(820)를 출력할 수 있다.
또한, 상품 정보 UI(820)에는, 추천 시점 화면(810)에 대응하는 썸네일 이미지(821), 제1 상품에 대한 정보가 표시되는 영역(822) 및 제2 상품에 대한 정보가 표시되는 영역(823)이 포함될 수 있다.
예를 들면, 도 8a의 경우, 추천 시점 화면(810)에 대응하는 썸네일 이미지(821)와 제1 상품에 대한 정보가 표시되는 영역(822)만 영상표시장치(100)의 디스플레이(180)를 통해 출력되고, 제2 상품에 대한 정보가 표시되는 영역(823)은, 디스플레이(180)를 통해 출력되지 않는 것을 확인할 수 있다.
한편, 특정 상품에 대한 정보, 예컨대, 특정 상품에 대한 썸네일 이미지가 기 설정된 기준에 따라 출력되는 경우, 해당 썸네일 이미지에 대응하는 특정 상품의 종류, 세부 정보, 제조사, 관련 인물 등을 포함하는 데이터를, 사용 히스토리에 대한 데이터베이스에 추가할 수 있다.
예를 들면, 도 8a 및 8b에 도시된 바와 같이, 제1 상품에 대한 썸네일 이미지 전체의 세로 길이(h21) 중 절반 이상이 소정 시간(예: 5초) 이상 디스플레이(180)의 화면 영역을 통해 출력되는 경우, 영상표시장치(100)는 제1 상품의 종류인 장신구, 세부 정보인 귀걸이, 관련 인물인 윤세리 등을 포함하는 데이터를, 사용 히스토리에 대한 데이터베이스에 추가할 수 있다.
또한, 도 8b 및 8c를 참조하면, 제2 상품에 대한 썸네일 이미지 전체가 화면 영역에 모두 포함된 상태가 소정 시간 (예: 5초) 이상 지속되는 경우, 영상표시장치(100)는, 제2 상품의 종류인 가방, 세부 정보인 핸드백, 관련 인물인 윤세리 등을 포함하는 데이터를, 사용 히스토리에 대한 데이터베이스에 추가할 수 있다.
한편, 도 8c에 도시된 바와 같이, 제1 상품에 대한 썸네일 이미지 전체의 세로 길이(h21) 중 절반 이상이 소정 시간(예: 5초) 이상 디스플레이(180)의 화면 영역을 통해 출력되지 않고, 화면에 대한 사용자의 스크롤 입력에 따라, 제1 상품에 대한 썸네일 이미지 중 화면 영역을 통해 출력되는 영역의 세로 길이(h211)가, 화면 영역을 통해 출력되지 않는 영역의 세로 길이(h212)보다 짧은 상태가 유지되는 경우, 사용 히스토리에 대한 데이터베이스에는 제1 상품에 대한 데이터가 추가되지 않을 수 있다.
한편, 도 9a를 참조하면, 영상표시장치(100)의 디스플레이(180)를 통해 전자 프로그램 가이드(EPG) 화면(910)이 출력된 상태에서, 사용자는 특정 컨텐츠에 대한 정보를 확인하기 위해, 원격제어장치(200)에 대응하는 포인터(205)를 이용하여 특정 컨텐츠에 대응하는 아이템(915)을 선택할 수 있다.
또한, 도 9b를 참조하면, 영상표시장치(100)는 디스플레이(180)를 통해 사용자에게 컨텐츠를 추천하는 화면(920)을 출력할 수 있고, 사용자는 특정 컨텐츠에 대한 정보를 확인하기 위해, 원격제어장치(200)에 대응하는 포인터(205)를 이용하여, 추천된 복수의 컨텐츠들(921) 중에서 특정 컨텐츠에 대응하는 아이템(923)을 선택할 수 있다.
도 9c를 참조하면, 전자 프로그램 가이드(EPG) 화면(910)에서 특정 컨텐츠에 대응하는 아이템(915)이 선택된 경우, 또는 컨텐츠를 추천하는 화면(920)에서 특정 컨텐츠에 대응하는 아이템(923)이 선택된 경우, 영상표시장치(100)는 선택된 아이템(915, 923)에 대응하는 특정 컨텐츠에 대한 정보를 제공하는 화면(930)(이하, 특정 컨텐츠 정보 화면)을 디스플레이(180)를 통해 출력할 수 있다. 이때, 영상표시장치(100)는, 전자 프로그램 가이드(EPG) 화면(910) 또는 컨텐츠를 추천하는 화면(920)에서 특정 컨텐츠가 선택되는 경우, 선택된 특정 컨텐츠에 대한 메타데이터 및/또는 특정 컨텐츠와 관련된 추천 기준에 대응하는 상품에 대한 데이터가 저장부(140)에 저장되어 있는지 여부를 확인할 수 있다.
특정 컨텐츠 정보 화면(930)의 일 영역에는, 특정 컨텐츠에 대한 기본 정보(940)가 포함될 수 있다. 여기서, 특정 컨텐츠에 대한 기본 정보(940)는, 제작사, 제작진, 출연진, 방송 기간, 방송 시간대, 시청률, 회차 정보 등을 포함할 수 있다.
한편, 특정 컨텐츠 정보 화면(930)의 다른 일 영역에는, 특정 컨텐츠와 관련된 상품에 대한 정보(950)가 더 포함될 수 있다. 예를 들면, 사용자가 영상표시장치(100)를 통해 특정 컨텐츠를 시청하여, 제1 서버(400)로부터 특정 컨텐츠에 대한 메타데이터가 수신되고, 추천 기준에 대응하는 컨텐츠와 관련된 상품이 결정된 경우, 영상표시장치(100)는 특정 컨텐츠와 관련된 상품에 대한 정보(950)가 포함된 특정 컨텐츠 정보 화면(930)을 출력할 수 있다.
특정 컨텐츠와 관련된 상품에 대한 정보(950)에는, 추천 기준에 대응하는 컨텐츠와 관련된 상품에 대한 정보(951)가 포함될 수 있다. 예를 들면, 영상표시장치(100)는, 저장부(140)에 저장된 컨텐츠 전체에 대한 메타데이터, 추가 메타데이터 및/또는 추천 기준에 대응하는 컨텐츠와 관련된 상품에 대한 데이터에 기초하여, 추천 기준에 대응하는 컨텐츠와 관련된 상품의 이미지를, 특정 컨텐츠 정보 화면(930)에 포함시킬 수 있다.
이때, 사용자가 추천 기준에 대응하는 컨텐츠와 관련된 상품의 이미지 중 어느 하나를 선택하는 경우, 선택된 이미지에 링크된 웹 페이지의 URL에 기초하여, 해당 상품의 구매가 가능한 웹 페이지 화면이 출력될 수도 있다.
한편, 특정 컨텐츠 정보 화면(930)에는, 기 설정된 개수의 추천 기준에 대응하는 컨텐츠와 관련된 상품의 이미지가 포함될 수 있다. 이때, 사용자가 특정 컨텐츠 정보 화면(930)에 포함된, 특정 컨텐츠와 관련된 추가 상품에 대응하는 아이템(952)을 선택하는 경우, 영상표시장치(100)는, 추천 기준에 대응하는 컨텐츠와 관련된 상품에 대한 정보(951)뿐만 아니라, 특정 컨텐츠와 관련된 나머지 상품에 대한 정보도 출력할 수 있다.상기와 같이, 본 발명의 다양한 실시예에 따르면, 영상표시장치(100)를 통해 컨텐츠가 실제 출력되는 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에서 예정되어 있던 시점 간에 오차가 발생하는 경우에도, 예상 종료 시점으로부터 소정 시간 이전에, 디스플레이(180)를 통해 출력되는 화면에 대한 프레임 데이터를 획득하고, 프레임 데이터에 기초하여 컨텐츠의 실제 종료 시점을 정확히 산출하여, 정확한 종료 시점에 UI를 통해 사용자에게 정보를 제공할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 영상표시장치(100)에 대한 사용자의 사용 히스토리에 기초하여, 컨텐츠와 관련된 추천 기준을 생성함으로써, 컨텐츠의 실제 종료 시점에 사용자의 선호를 고려한 정보를 정확히 제공할 수 있다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (20)

  1. 영상표시장치에 있어서,
    디스플레이;
    네트워크를 통한 통신을 수행하는 네트워크 인터페이스부; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 디스플레이를 통해 출력되는 컨텐츠의 예상 종료 시점을 확인하고,
    상기 예상 종료 시점으로부터 기 설정된 소정 시간 이전의 제1 시점에, 상기 디스플레이를 통해 출력되는 화면에 대한 프레임 데이터를 획득하고,
    상기 획득한 프레임 데이터에 기초하여, 상기 컨텐츠의 실제 종료 시점을 산출하고,
    상기 디스플레이를 통해, 상기 산출된 실제 종료 시점에, 상기 컨텐츠와 관련된 상품을 적어도 하나 추천하는 사용자 인터페이스(User Interface, UI)를 출력하는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제1 시점에 상기 디스플레이를 통해 출력되는 화면을 캡쳐하여, 상기 캡쳐된 화면에 대응하는 이미지의 해시 값을, 상기 프레임 데이터로서 획득하는 것을 특징으로 하는 영상표시장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 컨텐츠에 대응하는 전자 프로그램 가이드(Electronic Program Guide, EPG)로부터, 상기 예상 종료 시점을 확인하는 것을 특징으로 하는 영상표시장치.
  4. 제3항에 있어서,
    사용자의 사용 히스토리에 대한 데이터베이스를 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 데이터베이스에 기초하여, 상기 상품의 종류, 세부 정보, 제조사 및 관련 인물 중 적어도 하나에 대한 추천 기준을 결정하고,
    상기 추천 기준에 기초하여, 상기 컨텐츠와 관련된 상품을 적어도 하나 결정하는 것을 특징으로 하는 영상표시장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 산출된 실제 종료 시점에, 상기 컨텐츠와 관련된 상품이 매핑된 재생 시점에 대응하는 이미지를 적어도 하나 포함하는 제1 UI를 상기 디스플레이를 통해 출력하고,
    상기 제1 UI에 포함된 이미지 중 어느 하나를 선택하는 사용자 입력이 수신되는 경우, 상기 선택된 이미지에 대응하는 재생 시점의 상기 컨텐츠의 프레임을, 상기 디스플레이를 통해 출력하고,
    상기 선택된 이미지에 대응하는 재생 시점에 매핑된 적어도 하나의 상품에 대한 정보를 포함하는 제2 UI를, 상기 컨텐츠의 프레임과 함께 상기 디스플레이를 통해 출력하는 것을 특징으로 하는 영상표시장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 제2 UI를 통해 출력되는 상품의 썸네일(thumbnail) 이미지 중 상기 디스플레이를 통해 소정 시간 이상 출력된 썸네일이 존재하는 경우, 상기 소정 시간 이상 출력된 썸네일에 대응하는 상품의 종류, 세부 정보, 제조사 및 관련 인물 중 적어도 하나를 포함하는 데이터를, 상기 데이터베이스에 추가하는 것을 특징으로 하는 영상표시장치.
  7. 제4항에 있어서,
    상기 제어부는,
    상기 네트워크 인터페이스부를 통해, 서버로부터 상기 컨텐츠 전체에 대한 제1 메타데이터를 수신하고,
    상기 제1 메타데이터에 포함된 해시 값들 중, 상기 프레임 데이터에 대응하는 제1 해시 값을 확인하고,
    상기 제1 해시 값에 대응하는 재생 시점에 기초하여, 상기 실제 종료 시점을 산출하는 것을 특징으로 하는 영상표시장치.
  8. 제7항에 있어서,
    상기 제1 메타데이터는, 상기 컨텐츠와 관련된 상품 전체에 대한 데이터를 포함하고,
    상기 제어부는,
    상기 제1 메타데이터에 포함된 상품 중 상기 추천 기준에 대응하는 상품을, 상기 컨텐츠와 관련된 상품으로 결정하는 것을 특징으로 하는 영상표시장치.
  9. 제4항에 있어서,
    상기 제어부는,
    상기 네트워크 인터페이스부를 통해, 상기 프레임 데이터를 포함하는 신호를 서버에 전송하고,
    상기 네트워크 인터페이스부를 통해, 상기 프레임 데이터에 대응하는, 상기 컨텐츠의 일부에 대한 제2 메타데이터를 상기 서버로부터 수신하고,
    상기 제2 메타데이터에 대응하는 재생 시점에 기초하여, 상기 실제 종료 시점을 산출하는 것을 특징으로 하는 영상표시장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 네트워크 인터페이스부를 통해, 상기 추천 기준을 포함하는 신호를 상기 서버에 전송하고,
    상기 네트워크 인터페이스부를 통해, 상기 추천 기준에 대응하는 상품에 대한 데이터가 포함된 제3 메타데이터를 상기 서버로부터 수신하고,
    상기 제3 메타데이터에 포함된 상품을, 상기 컨텐츠와 관련된 상품으로 결정하는 것을 특징으로 하는 영상표시장치.
  11. 영상표시장치의 동작방법에 있어서,
    상기 영상표시장치의 디스플레이를 통해 출력되는 컨텐츠의 예상 종료 시점을 확인하는 동작;
    상기 예상 종료 시점으로부터 기 설정된 소정 시간 이전의 제1 시점에, 상기 디스플레이를 통해 출력되는 화면에 대한 프레임 데이터를 획득하는 동작;
    상기 프레임 데이터에 기초하여, 상기 컨텐츠의 실제 종료 시점을 산출하는 동작; 및
    상기 디스플레이를 통해, 상기 산출된 실제 종료 시점에, 상기 컨텐츠와 관련된 상품을 적어도 하나 추천하는 사용자 인터페이스(User Interface, UI)를 출력하는 동작을 포함하는 영상표시장치의 동작방법.
  12. 제11항에 있어서,
    상기 프레임 데이터를 획득하는 동작은,
    상기 제1 시점에 상기 디스플레이를 통해 출력되는 화면을 캡쳐하여, 상기 캡쳐된 화면에 대응하는 이미지의 해시 값을, 상기 프레임 데이터로서 획득하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  13. 제12항에 있어서,
    상기 예상 종료 시점을 확인하는 동작은,
    상기 컨텐츠에 대응하는 전자 프로그램 가이드(Electronic Program Guide, EPG)로부터, 상기 예상 종료 시점을 확인하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  14. 제13항에 있어서,
    사용자의 사용 히스토리에 대한 데이터베이스에 기초하여, 상기 사용자가 선호하는 상품의 종류, 세부 정보, 제조사 및 사용 배우 중 적어도 하나에 대한 추천 기준을 결정하는 동작; 및
    상기 추천 기준에 기초하여, 상기 컨텐츠와 관련된 상품을 적어도 하나 결정하는 동작을 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  15. 제14항에 있어서,
    상기 UI를 출력하는 동작은,
    상기 산출된 실제 종료 시점에, 상기 컨텐츠와 관련된 상품이 매핑된 재생 시점에 대응하는 이미지를 적어도 하나 포함하는 제1 UI를 출력하는 동작;
    상기 제1 UI에 포함된 이미지 중 어느 하나를 선택하는 사용자 입력이 수신되는 경우, 상기 선택된 이미지에 대응하는 재생 시점의 상기 컨텐츠의 프레임을 출력하는 동작; 및
    상기 선택된 이미지에 대응하는 재생 시점에 매핑된 적어도 하나의 상품에 대한 정보를 포함하는 제2 UI를, 상기 컨텐츠의 프레임과 함께 출력하는 동작을 더 포함하는 것을 특징으로 하는 영상표시장치.
  16. 제15항에 있어서,
    상기 제2 UI를 통해 출력되는 상품의 썸네일(thumbnail) 이미지 중 상기 디스플레이를 통해 소정 시간 이상 출력된 썸네일이 존재하는 경우, 상기 소정 시간 이상 출력된 썸네일에 대응하는 상품의 종류, 세부 정보, 제조사 및 사용 배우 중 적어도 하나를 포함하는 데이터를, 상기 데이터베이스에 추가하는 동작을 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  17. 제13항에 있어서,
    상기 실제 종료 시점을 산출하는 동작은,
    상기 영상표시장치의 네트워크 인터페이스부를 통해, 서버로부터 상기 컨텐츠 전체에 대한 제1 메타데이터를 수신하는 동작;
    상기 제1 메타데이터에 포함된 해시 값들 중, 상기 프레임 데이터에 대응하는 제1 해시 값을 확인하는 동작; 및
    상기 제1 해시 값에 대응하는 재생 시점에 기초하여, 상기 실제 종료 시점을 산출하는 동작을 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  18. 제17항에 있어서,
    상기 제1 메타데이터는, 상기 컨텐츠와 관련된 상품 전체에 대한 데이터를 포함하고,
    상기 컨텐츠와 관련된 상품을 적어도 하나 결정하는 동작은,
    상기 제1 메타데이터에 포함된 상품 중 상기 추천 기준에 대응하는 상품을, 상기 컨텐츠와 관련된 상품으로 결정하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  19. 제14항에 있어서,
    상기 컨텐츠와 관련된 상품을 적어도 하나 결정하는 동작은,
    상기 영상표시장치의 네트워크 인터페이스부를 통해, 상기 프레임 데이터를 포함하는 신호를 서버에 전송하는 동작;
    상기 네트워크 인터페이스부를 통해, 상기 프레임 데이터에 대응하는, 상기 컨텐츠의 일부에 대한 제2 메타데이터를 상기 서버로부터 수신하는 동작; 및
    상기 제2 메타데이터에 대응하는 재생 시점에 기초하여, 상기 실제 종료 시점을 산출하는 동작을 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  20. 제19항에 있어서,
    상기 컨텐츠와 관련된 상품을 적어도 하나 결정하는 동작은,
    상기 네트워크 인터페이스부를 통해, 상기 추천 기준을 포함하는 신호를 상기 서버에 전송하는 동작;
    상기 네트워크 인터페이스부를 통해, 상기 추천 기준에 대응하는 상품에 대한 데이터가 포함된 제3 메타데이터를 상기 서버로부터 수신하는 동작; 및
    상기 제3 메타데이터에 포함된 상품을, 상기 컨텐츠와 관련된 상품으로 결정하는 동작을 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
PCT/KR2020/008211 2020-06-24 2020-06-24 영상표시장치 및 그 동작방법 WO2021261612A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2020/008211 WO2021261612A1 (ko) 2020-06-24 2020-06-24 영상표시장치 및 그 동작방법
EP20941720.3A EP4175308A4 (en) 2020-06-24 2020-06-24 IMAGE DISPLAY DEVICE AND OPERATION METHOD THEREFOR
US18/012,872 US20230276099A1 (en) 2020-06-24 2020-06-24 Image display apparatus and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/008211 WO2021261612A1 (ko) 2020-06-24 2020-06-24 영상표시장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
WO2021261612A1 true WO2021261612A1 (ko) 2021-12-30

Family

ID=79281353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008211 WO2021261612A1 (ko) 2020-06-24 2020-06-24 영상표시장치 및 그 동작방법

Country Status (3)

Country Link
US (1) US20230276099A1 (ko)
EP (1) EP4175308A4 (ko)
WO (1) WO2021261612A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257913B1 (ko) * 2011-08-02 2013-04-24 (주)이월리서치 스마트 미디어재생장치와 스마트 단말기를 이용한 미디어 관련 정보를 연동하는 시스템 및 그 방법
US20160021432A1 (en) * 2014-07-21 2016-01-21 Thomson Licensing Method of acquiring electronic program guide information and corresponding apparatus
KR101604193B1 (ko) * 2014-09-12 2016-03-25 (주)파인원커뮤니케이션즈 Epg 서비스 제공 시스템, 서버 및 방법
KR101756220B1 (ko) * 2015-09-16 2017-07-26 김덕우 방송 광고 제공 시스템 및 방법
KR20180102516A (ko) * 2017-03-07 2018-09-17 고현승 콘텐츠 제공 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8635639B1 (en) * 2012-02-27 2014-01-21 Google Inc. Identifying an end of a television program
JP6194484B2 (ja) * 2013-07-30 2017-09-13 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
EP3188107A1 (en) * 2015-12-28 2017-07-05 Sony Corporation Utilizing multiple dimensions of commerce and streaming data to provide advanced user profiling and realtime commerce choices
US9906831B2 (en) * 2016-02-24 2018-02-27 Sorenson Media, Inc. Fingerprinting media content using hashing
US20190354608A1 (en) * 2018-05-21 2019-11-21 Qingdao Hisense Electronics Co., Ltd. Display apparatus with intelligent user interface
US11488633B2 (en) * 2019-04-11 2022-11-01 Sony Group Corporation Playback device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257913B1 (ko) * 2011-08-02 2013-04-24 (주)이월리서치 스마트 미디어재생장치와 스마트 단말기를 이용한 미디어 관련 정보를 연동하는 시스템 및 그 방법
US20160021432A1 (en) * 2014-07-21 2016-01-21 Thomson Licensing Method of acquiring electronic program guide information and corresponding apparatus
KR101604193B1 (ko) * 2014-09-12 2016-03-25 (주)파인원커뮤니케이션즈 Epg 서비스 제공 시스템, 서버 및 방법
KR101756220B1 (ko) * 2015-09-16 2017-07-26 김덕우 방송 광고 제공 시스템 및 방법
KR20180102516A (ko) * 2017-03-07 2018-09-17 고현승 콘텐츠 제공 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4175308A4 *

Also Published As

Publication number Publication date
EP4175308A1 (en) 2023-05-03
US20230276099A1 (en) 2023-08-31
EP4175308A4 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
WO2018216865A1 (en) Display device and operating method thereof
WO2014017760A1 (en) Method of providing information and display device thereof
WO2014046411A1 (en) Image display apparatus, server and method for operating the same
WO2011028073A2 (en) Image display apparatus and operation method therefore
WO2016204520A1 (en) Display device and operating method thereof
WO2011021854A2 (en) Image display apparatus and method for operating an image display apparatus
WO2015037767A1 (en) Image display apparatus and method for operating the same
EP3449637A1 (en) Display device for providing scrap function and method of operating the same
WO2012020945A2 (ko) 영상표시기기의 데이터 입력 방법 및 그에 따른 영상표시기기
WO2022260259A1 (ko) 디스플레이 장치 및 그를 이용한 콘텐츠 추천 방법
WO2021261612A1 (ko) 영상표시장치 및 그 동작방법
WO2022014739A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2022034935A1 (ko) 맞춤 광고를 제공하는 디스플레이 장치 및 그의 동작 방법
WO2023200033A1 (ko) 영상표시장치 및 그 동작방법
WO2021246549A1 (ko) 영상표시장치 및 그 동작방법
WO2023042927A1 (ko) 영상표시장치 및 그 동작방법
WO2021029453A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021246552A1 (ko) 서버 및 이를 포함하는 시스템
WO2024143615A1 (ko) 영상표시장치 및 그 동작방법
WO2021221213A1 (ko) 영상표시장치 및 그 동작방법
WO2024143616A1 (ko) 영상표시장치 및 그 동작방법
WO2021141164A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2021221215A1 (ko) 영상표시장치, 시스템 및 그의 동작방법
WO2021241773A1 (ko) 방송 수신 장치 및 그 동작방법
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20941720

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020941720

Country of ref document: EP

Effective date: 20230124