WO2021246549A1 - 영상표시장치 및 그 동작방법 - Google Patents

영상표시장치 및 그 동작방법 Download PDF

Info

Publication number
WO2021246549A1
WO2021246549A1 PCT/KR2020/007259 KR2020007259W WO2021246549A1 WO 2021246549 A1 WO2021246549 A1 WO 2021246549A1 KR 2020007259 W KR2020007259 W KR 2020007259W WO 2021246549 A1 WO2021246549 A1 WO 2021246549A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
data
image display
server
learning model
Prior art date
Application number
PCT/KR2020/007259
Other languages
English (en)
French (fr)
Inventor
설성운
안오봉
이혜승
조은영
안상진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP20939311.5A priority Critical patent/EP4164234A4/en
Priority to US18/008,415 priority patent/US20230232064A1/en
Priority to PCT/KR2020/007259 priority patent/WO2021246549A1/ko
Publication of WO2021246549A1 publication Critical patent/WO2021246549A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms

Definitions

  • the present invention relates to a video display device and an operating method thereof.
  • An image display device is a device having a function of displaying an image that a user can watch, and the user can watch a broadcast through the image display device.
  • the image display device includes a liquid crystal display (LCD) using liquid crystal or an OLED display using an organic light emitting diode (OLED), a TV (Television), and a monitor (Monitor). ), a projector, and the like.
  • the Digital TV service can provide various services that cannot be provided by the existing analog broadcasting service.
  • the Electronic Program Guide (EPG) service provides a guide screen so that the user can view the broadcasting information of various channels at a glance by arranging broadcasting programs that are being aired or scheduled to be aired on each channel in chronological order. is a service that
  • the displayed screen and the screen actually output through the image display device may be different from each other. Accordingly, even if the user requests information on a person or product included in the screen at a specific time, there may be a problem in that information completely unrelated to the person or product included in the screen the user is viewing is provided.
  • an object included in the screen is generally identified using object recognition technology, and information is provided in response to the identified object.
  • object recognition technology when all information on persons or products mapped at a predetermined time before and after a specific point in time is synthesized and provided, there are too many and diverse identification targets, and in identifying all objects included in the screen, There is a problem in that the operation load increases, and when the identification level of an object is simply increased to improve the accuracy of object recognition, the operation load for object recognition is inevitably increased exponentially.
  • Another object of the present invention is to provide an image display device capable of accurately providing information on a corresponding screen when a user requests information on an object included in a screen at a specific time, and an operating method thereof.
  • Another object is, when a user requests information about an object included in the screen at a specific point in time, an image that can more quickly identify an object included in the screen and provide information corresponding to the identified object quickly and accurately
  • a display device and an operating method thereof are provided.
  • an image display apparatus includes a display, a network interface unit for communicating through a network, and a control unit, wherein the control unit outputs the first content through the display
  • a preset user input is received during the process
  • data on the screen output through the display is generated, and data on the object included in the screen corresponding to the data on the screen through the network interface unit is transmitted from the first server acquired, based on the data on the object, at least one first object related to a user input is determined among the objects included in the screen, and through a display, a user interface for the at least one first object (User Interface, UI) can be printed.
  • UI User Interface
  • EPG electronic program guide
  • an optimal learning model corresponding to the content is received and stored from the server, and the user receives an object included in the screen at a specific point in time.
  • an object included in the screen can be identified more quickly, and information corresponding to the identified object can be quickly provided. , it is possible to reduce the computational load for object recognition.
  • FIG. 1 is a diagram illustrating a system, according to an embodiment of the present invention.
  • FIG. 2 is an example of an internal block diagram of the image display device of FIG. 1 .
  • FIG. 3A is a diagram illustrating a control method of the remote control device of FIG. 2
  • FIG. 3B is an example of an internal block diagram of the remote control device of FIG. 2 .
  • 4A and 4B are flowcharts of a method of operating an image display apparatus according to an embodiment of the present invention.
  • 5A to 8B are diagrams referenced in the description of the operation method of the image display apparatus of FIGS. 4A and 4B .
  • module and “part” for the components used in the following description are given simply in consideration of the ease of writing the present specification, and do not impart a particularly important meaning or role by themselves. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • FIG. 1 is a diagram illustrating a system, according to various embodiments of the present invention.
  • the image display device 100 may be a device that processes and outputs an image.
  • the image display device 100 is not particularly limited as long as it can output a screen corresponding to an image signal, such as a TV, a notebook computer, and a monitor.
  • the image display apparatus 100 may receive a broadcast signal, process it, and output a signal-processed broadcast image.
  • the image display device 100 may correspond to a broadcast reception device.
  • the image display apparatus 100 may receive a broadcast signal wirelessly through an antenna, or may receive a broadcast signal through a wire through a cable.
  • the image display apparatus 100 may receive a terrestrial broadcast signal, a satellite broadcast signal, a cable broadcast signal, an Internet Protocol Television (IPTV) broadcast signal, and the like.
  • IPTV Internet Protocol Television
  • various input devices such as a mouse, a keyboard, a space remote control, a trackball, and a joystick may be used as the remote control device 200 .
  • the image display device 100 is connected to only a single remote control device 200 or is simultaneously connected to two or more remote control devices 200, based on a control signal provided from each remote control device 200, on the screen. You can change the displayed object or adjust the state of the screen.
  • the servers 400 and 500 may transmit/receive data to and from the image display apparatus 100 through the network 300 , and may process data received from the image display apparatus 100 .
  • the servers 400 and 500 may be located in the same or similar area or may be located in areas separated from each other.
  • the servers 400 and 500 may be implemented in one server, or may be implemented in separate first and second servers 400 and 500, respectively.
  • FIG. 2 is an internal block diagram of the image display device of FIG. 1 .
  • the broadcast receiver 105 may include a tuner 110 and a demodulator 120 .
  • the image display device 100 unlike the drawing, among the broadcast receiving unit 105, the external device interface unit 130, and the network interface unit 135, the broadcast receiving unit 105 and the external device interface unit 130 It is also possible to include only That is, the image display apparatus 100 may not include the network interface unit 135 .
  • the tuner unit 110 may select a broadcast signal corresponding to a channel selected by the user or all channels stored in advance among broadcast signals received through an antenna (not shown) or a cable (not shown).
  • the tuner unit 110 may convert the selected broadcast signal into an intermediate frequency signal or a baseband video or audio signal.
  • the tuner unit 110 may sequentially select broadcast signals of all broadcast channels stored through the channel storage function among the received broadcast signals, and convert them into an intermediate frequency signal or a baseband image or audio signal.
  • the tuner unit 110 may include a plurality of tuners in order to receive broadcast signals of a plurality of channels.
  • a single tuner that simultaneously receives broadcast signals of a plurality of channels is also possible.
  • the demodulator 120 may receive the digital IF signal DIF converted by the tuner 110 and perform a demodulation operation.
  • the demodulator 120 may output a stream signal TS after demodulation and channel decoding are performed.
  • the stream signal may be a signal in which an image signal, an audio signal, or a data signal is multiplexed.
  • the stream signal output from the demodulator 120 may be input to the controller 170 .
  • the controller 170 may output an image through the display 180 and output an audio through the audio output unit 185 .
  • the external device interface unit 130 may transmit or receive data to or from a connected external device.
  • the external device interface unit 130 may include an A/V input/output unit (not shown).
  • the external device interface unit 130 establishes a communication network with various remote control devices 200 as shown in FIG. 1 , and controls related to the operation of the image display device 100 from the remote control device 200 .
  • the signal may be received or data related to the operation of the image display apparatus 100 may be transmitted to the remote control apparatus 200 .
  • the A/V input/output unit may receive video and audio signals from an external device.
  • the A/V input/output unit includes an Ethernet (Ethernet) terminal, a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), a DVI (Digital Visual Interface) terminal, and an HDMI (High It may include a Definition Multimedia Interface) terminal, a Mobile High-definition Link (MHL) terminal, an RGB terminal, a D-SUB terminal, an IEEE 1394 terminal, an SPDIF terminal, a Liquid HD terminal, and the like.
  • a digital signal input through these terminals may be transmitted to the controller 170 .
  • the analog signal input through the CVBS terminal and the S-video terminal may be converted into a digital signal through an analog-to-digital converter (not shown) and transmitted to the controller 170 .
  • the external device interface unit 130 may include a wireless communication unit (not shown) for short-range wireless communication with other electronic devices. Through such a wireless communication unit, the external device interface unit 130 may exchange data with an adjacent mobile terminal. For example, the external device interface unit 130 may receive device information, executed application information, an application image, and the like, from the mobile terminal in the mirroring mode.
  • the external device interface unit 130 performs short-range wireless communication using Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, etc. can be done
  • the network interface unit 135 may provide an interface for connecting the image display device 100 to a wired/wireless network including an Internet network.
  • the network interface unit 135 may include a communication module (not shown) for connection with the wired/wireless network 300 .
  • the network interface unit 135 communicates for a Wireless LAN (WLAN) (Wi-Fi), a Wireless broadband (Wibro), a World Interoperability for Microwave Access (Wimax), a High Speed Downlink Packet Access (HSDPA), and the like. It can contain modules.
  • the network interface unit 135 may transmit or receive data with another user or other electronic device through the connected network or another network linked to the connected network.
  • the network interface unit 135 may receive web content or data provided by a content provider or a network operator. That is, the network interface unit 135 may receive web contents such as movies, advertisements, games, VODs, broadcast signals, etc. and information related thereto, provided from the contents provider or the network provider through the network.
  • the network interface unit 135 may receive firmware update information and an update file provided by a network operator, and transmit data to the Internet or a content provider or network operator.
  • the network interface unit 135 may select and receive a desired application from among applications open to the public through a network.
  • the storage unit 140 may store a program for each signal processing and control in the control unit 170 , or may store a signal-processed image, audio, or data signal.
  • the storage unit 140 stores application programs designed for the purpose of performing various tasks that can be processed by the control unit 170 , and upon request of the control unit 170 , selectively selects some of the stored application programs can provide
  • the program stored in the storage unit 140 is not particularly limited as long as it can be executed by the control unit 170 .
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal received from an external device through the external device interface unit 130 .
  • the storage unit 140 may store information about a predetermined broadcast channel through a channel storage function such as a channel map.
  • the storage unit 140 may store at least one learning model related to an object, previously learned through machine learning, such as deep learning.
  • the learning model for the object may be a learning model for identifying at least one object included in an image and determining the type of the object.
  • the learning model about the object may include a learning model about a person, a learning model about clothes, a learning model about furniture, a learning model about sporting goods, OCR about letters, numbers, symbols, etc. (optical character recognition) may include a related learning model.
  • Deep learning is a method of teaching human thinking to a computer based on Artificial Neural Networks (ANN).
  • the artificial neural network may be implemented in the form of software or in the form of hardware such as a chip.
  • an artificial neural network ANN
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • DBN deep trust neural network
  • DBN Deep Belief Network
  • FIG 2 illustrates an embodiment in which the storage unit 140 is provided separately from the control unit 170 , the scope of the present invention is not limited thereto, and the storage unit 140 may be included in the control unit 170 .
  • the storage unit 140 may include a volatile memory (eg, DRAM, SRAM, SDRAM, etc.), a non-volatile memory (eg, a flash memory), a hard disk drive (HDD), or a solid state drive (Solid). -state drive (SSD), etc.) may be included. In various embodiments of the present invention, the storage unit 140 and the memory may be used interchangeably.
  • a volatile memory eg, DRAM, SRAM, SDRAM, etc.
  • a non-volatile memory eg, a flash memory
  • HDD hard disk drive
  • SSD solid state drive
  • the storage unit 140 and the memory may be used interchangeably.
  • the user input interface unit 150 may transmit a signal input by the user to the control unit 170 or may transmit a signal from the control unit 170 to the user.
  • transmit/receive user input signals such as power on/off, channel selection, and screen setting from the remote control device 200, or local keys (not shown) such as power key, channel key, volume key, and setting value transmits a user input signal input from the to the control unit 170, transmits a user input signal input from a sensor unit (not shown) that senses a user's gesture to the control unit 170, or transmits a signal from the control unit 170 It can be transmitted to the sensor unit.
  • the input unit 160 may be provided on one side of the main body of the image display device 100 .
  • the input unit 160 may include a touch pad, a physical button, and the like.
  • the input unit 160 may receive various user commands related to the operation of the image display apparatus 100 , and may transmit a control signal corresponding to the input command to the control unit 170 .
  • the input unit 160 may include at least one microphone (not shown), and may receive a user's voice through the microphone.
  • the controller 170 may include at least one processor, and may control the overall operation of the image display apparatus 100 by using the processor included therein.
  • the processor may be a general processor such as a central processing unit (CPU).
  • the processor may be a dedicated device such as an ASIC or other hardware-based processor.
  • the display 180 converts an image signal, a data signal, an OSD signal, a control signal, or an image signal, a data signal, and a control signal received from the external device interface unit 130 processed by the controller 170 to generate a driving signal. can create
  • the display 180 may include a display panel (not shown) including a plurality of pixels.
  • the plurality of pixels provided in the display panel may include RGB sub-pixels.
  • the plurality of pixels included in the display panel may include RGBW sub-pixels.
  • the display 180 may convert an image signal, a data signal, an OSD signal, a control signal, etc. processed by the controller 170 to generate driving signals for a plurality of pixels.
  • the display 180 may be a plasma display panel (PDP), a liquid crystal display (LCD), an organic light emitting diode (OLED), a flexible display, and the like, and also a three-dimensional display (3D display) may be possible. have.
  • the 3D display 180 may be divided into a non-glasses type and a glasses type.
  • the display 180 may be configured as a touch screen and used as an input device in addition to an output device.
  • the audio output unit 185 receives the audio-processed signal from the control unit 170 and outputs it as audio.
  • the image signal processed by the controller 170 may be input to the display 180 and displayed as an image corresponding to the image signal. Also, the image signal processed by the control unit 170 may be input to an external output device through the external device interface unit 130 .
  • the controller 170 may include a demultiplexer, an image processor, a mixer, a frame rate converter, a formatter, an audio processor, a data processor, and the like.
  • the controller 170 may control overall operations in the image display apparatus 100 .
  • the controller 170 may control the tuner 110 to select a channel selected by the user or a broadcast corresponding to a pre-stored channel (Tuning).
  • controller 170 may control the image display apparatus 100 according to a user command input through the user input interface unit 150 or an internal program.
  • the controller 170 may control the display 180 to display an image.
  • the image displayed on the display 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • the controller 170 may cause a predetermined 2D object to be displayed in the image displayed on the display 180 .
  • the object may be at least one of an accessed web screen (newspaper, magazine, etc.), an Electronic Program Guide (EPG), various menus, widgets, icons, still images, moving pictures, and text.
  • EPG Electronic Program Guide
  • the image display apparatus 100 may further include a photographing unit (not shown).
  • the photographing unit may photograph the user.
  • the photographing unit may be implemented with one camera, but is not limited thereto, and may be implemented with a plurality of cameras.
  • the photographing unit may be embedded in the image display device 100 above the display 180 or disposed separately. Image information captured by the photographing unit may be input to the control unit 170 .
  • the control unit 170 may recognize the location of the user based on the image captured by the photographing unit. For example, the controller 170 may determine the distance (z-axis coordinate) between the user and the image display apparatus 100 . In addition, the controller 170 may determine the x-axis coordinates and the y-axis coordinates in the display 180 corresponding to the user's location.
  • the controller 170 may detect the user's gesture based on each or a combination of an image captured by the photographing unit or a signal sensed from the sensor unit.
  • the power supply unit 190 may supply the corresponding power throughout the image display device 100 .
  • the control unit 170 that can be implemented in the form of a system on chip (SOC), the display 180 for displaying an image, and the audio output unit 185 for outputting an audio, etc. have.
  • SOC system on chip
  • the power supply unit 190 may include a converter (not shown) that converts AC power into DC power, and a Dc/Dc converter (not shown) that converts the level of DC power.
  • the above-described image display device 100 may be a digital broadcasting receiver capable of receiving fixed or mobile digital broadcasting.
  • the block diagram of the image display device 100 shown in FIG. 2 is only a block diagram for an embodiment of the present invention, and each component of the block diagram is actually implemented according to the specifications of the image display device 100 . may be incorporated, added, or omitted.
  • two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed by each block is for explaining the embodiment of the present invention, and the specific operation or device does not limit the scope of the present invention.
  • FIG. 3A is a diagram illustrating a control method of the remote control device of FIG. 2
  • FIG. 3B is an example of an internal block diagram of the remote control device of FIG. 2 .
  • a pointer 205 corresponding to the remote control device 200 is displayed on the display 180 of the image display device 100 .
  • the user may move or rotate the remote control device 200 up, down, left and right, back and forth.
  • the pointer 205 displayed on the display 180 of the image display apparatus 100 may be displayed in response to the movement of the remote control apparatus 200 .
  • the remote control device 200 may be called a space remote controller or a 3D pointing device because the corresponding pointer 205 is moved and displayed according to movement in 3D space.
  • the pointer 205 displayed on the display 180 of the image display device 100 is also displayed on the remote control device 200 . It can be seen that it moves to the left in response to the movement.
  • Information on the movement of the remote control device 200 sensed through the sensor of the remote control device 200 may be transmitted to the image display device 100 .
  • the image display apparatus 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control apparatus 200 .
  • the image display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • the user may move the remote control device 200 away from the display 180 while pressing a specific button provided on the remote control device 200 . Accordingly, the selection area in the display 180 corresponding to the pointer 205 may be zoomed in and displayed. Conversely, when the user moves the remote control device 200 closer to the display 180 while pressing a specific button provided in the remote control device 200 , the display 180 corresponding to the pointer 205 . The selected area in the inside may be zoomed out and displayed in a reduced form.
  • the selection area is zoomed out, and when the remote control device 200 approaches the display 180 , the selection area can be zoomed in. .
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200 .
  • the remote control device 200 includes a wireless communication unit 220 , a user input unit 230 , a sensor unit 240 , an output unit 250 , a power supply unit 260 , a storage unit 270 , and/or a control unit 280 .
  • the wireless communication unit 220 may transmit and receive signals to and from the image display device 100 .
  • the remote control device 200 may include an RF module 221 capable of transmitting and receiving a signal to and from the image display device 100 according to a radio frequency (RF) communication standard.
  • the remote control device 200 may include an IR module 223 capable of transmitting and receiving a signal to and from the image display device 100 according to an IR (Infrared radiation) communication standard.
  • the remote control device 200 may transmit a signal including information about the movement of the remote control device 200 to the image display device 100 through the RF module 221 .
  • the remote control device 200 may receive a signal transmitted by the image display device 100 through the RF module 221 .
  • the remote control device 200 may transmit commands related to power on/off, channel change, volume change, etc. to the image display device 100 through the IR module 223 .
  • the user input unit 230 may include a keypad, a button, a touch pad, a touch screen, and the like. The user may input a command related to the image display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 230 .
  • the user input unit 230 includes a hard key button
  • the user may input a command related to the image display device 100 to the remote control device 200 through a push operation of the hard key button.
  • the user input unit 230 includes a touch screen
  • the user may input a command related to the image display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 230 may include various types of input means that the user can operate, such as a scroll key or a jog key, and this embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243 .
  • the gyro sensor 241 may sense a motion of the remote control device 200 .
  • the gyro sensor 241 may sense information about the operation of the remote control device 200 based on the x, y, and z axes.
  • the acceleration sensor 243 may sense information about the moving speed of the remote control device 200 .
  • the sensor unit 240 may further include a distance measuring sensor capable of sensing a distance to the display 180 .
  • the output unit 250 may output an image or audio signal corresponding to an operation of the user input unit 230 or a signal transmitted from the image display apparatus 100 . Through the output unit 250 , the user may recognize whether the user input unit 230 is operated or whether the image display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 including at least one light emitting device (eg, a Light Emitting Diode (LED)), a vibration module 253 for generating vibration, and a sound output module 255 for outputting sound. ), and/or a display module 257 for outputting an image may be provided.
  • LED Light Emitting Diode
  • the power supply unit 260 may supply power to each component provided in the remote control device 200 .
  • the power supply unit 260 may include at least one battery (not shown).
  • the power supply unit 260 when the movement of the remote control device 200 is not detected for a predetermined time through the sensor unit 240, stops the supply of power to each component provided in the remote control device 200, Unnecessary power consumption can be prevented.
  • the power supply unit 260 may resume power supply for each component included in the remote control device 200 .
  • the power supply unit 260 may resume supplying power to each component.
  • the power supply unit 260 may resume supplying power to each component provided in the remote control device 200 . .
  • the storage unit 270 may store various types of programs and application data required for control or operation of the remote control device 200 .
  • the remote control device 200 wirelessly transmits and receives signals through the image display device 100 and the RF module 221 , the remote control device 200 and the image display device 100 transmit signals through a predetermined frequency band. can transmit and receive.
  • the control unit 280 of the remote control device 200 stores information about a frequency band in which a signal can be wirelessly transmitted and received with the image display device 100 paired with the remote control device 200 in the storage unit 270 . and can be referenced.
  • the controller 280 may include at least one processor, and may control overall operations of the remote control device 200 by using the processor included therein.
  • the control unit 280 transmits a control signal corresponding to a predetermined key operation of the user input unit 230 or a control signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 to the wireless communication unit 220 . may be transmitted to the image display device 100 through the
  • the user input interface unit 150 of the image display device 100 includes a wireless communication unit 151 capable of wirelessly transmitting and receiving signals to and from the remote control device 200 , and a pointer corresponding to the operation of the remote control device 200 .
  • a coordinate value calculating unit 155 capable of calculating a coordinate value of may be provided.
  • the user input interface unit 150 may wirelessly transmit/receive a signal to and from the remote control device 200 through the RF module 152 . Also, a signal transmitted by the remote control device 200 according to the IR communication standard may be received through the IR module 153 .
  • the coordinate value calculating unit 155 is the coordinates of the pointer 205 to be displayed on the display 170 by correcting the hand shake or error from the signal corresponding to the operation of the remote control device 200 received through the wireless communication unit 151 .
  • the value (x,y) can be calculated.
  • the remote control apparatus 200 transmission signal input to the image display apparatus 100 through the user input interface 150 may be transmitted to the controller 180 of the image display apparatus 100 .
  • the control unit 180 of the image display device 100 determines information about the operation and key operation of the remote control device 200 from the signal transmitted from the remote control device 200, and in response thereto, the image display device 100 can control
  • the remote control apparatus 200 may calculate a pointer coordinate value corresponding to the operation and output it to the user input interface unit 150 of the image display apparatus 100 .
  • the user input interface unit 150 of the image display apparatus 100 may transmit information about the received pointer coordinate values to the control unit 180 without a separate hand shake or error correction process.
  • the coordinate value calculating unit 155 may be provided inside the control unit 170 instead of the user input interface unit 150 unlike the drawing.
  • FIGS. 5A to 8B are diagrams referenced for explanation of the operating method of the image display device of FIGS. 4A and 4B to be.
  • the image display apparatus 100 may output content through the display 180 in operation S410 .
  • the image display apparatus 100 may receive and process any one of a terrestrial broadcast signal, a satellite broadcast signal, a cable broadcast signal, and an IPTV broadcast signal, and output signal-processed broadcast content.
  • the image display device 100 may transmit an identifier of the content to the first server 400 .
  • the identifier of the content may be unique information (eg, title, number) corresponding to each content, but is not limited thereto, and may be a characteristic (eg, genre) of each content.
  • the first server 400 may be a server that provides a learning model about the object, and when the identifier of the content is received from the image display device 100, it is possible to determine at least one learning model corresponding to the identifier of the content. have. For example, when the genre of the content as the identifier of the content is transmitted to the first server 400 , the first server 400 may determine a learning model mapped to the genre of the content.
  • a learning model about a person, a learning model about clothes, and/or a learning model about furniture may be determined as a learning model corresponding to the identifier of the content
  • the genre of the content is sports and golf.
  • a learning model about a person, a learning model about clothes, and/or a learning model about sporting goods may be determined as the learning model corresponding to the identifier of the content.
  • the image display apparatus 100 may receive at least one learning model corresponding to the identifier of the content from the first server 400 in operation S430 . Also, the image display apparatus 100 may store at least one learning model received from the first server 400 in the storage unit 140 . At this time, if the learning model corresponding to the identifier of the other content is previously stored in the first server 400 , the learning model corresponding to the identifier of the other content is deleted, and at least one The learning model may be stored in the storage unit 140 .
  • the image display apparatus 100 may check whether a preset user input is received while content is output through the display 180 .
  • the image display device 100 is provided in the user input unit 230 of the remote control device 200 by the user through the user input interface unit 150 while the content is output through the display 180 . It can be checked whether a preset long press input of pressing a specific button (eg, the home button) for a predetermined time or longer is received.
  • a specific button eg, the home button
  • the image display device 100 identifies an object included in the screen, and an object related to the preset user input (hereinafter, referred to as a display target object) may be determined.
  • the display target object may mean an object related to information displayed through a user interface (UI) that is output in response to a preset user input. In this regard, it will be described with reference to FIG. 4B.
  • UI user interface
  • the image display device 100 may calculate a hash value of an image corresponding to the captured screen by using a predetermined hash function in operation S452, and provide the calculated hash value. 2 can be transmitted to the server 500 .
  • the predetermined hash function may refer to a function that maps data of an arbitrary length to data of a fixed length for the purpose of efficient data management, and the hash value of the image is the image in the hash function. It may mean a result value obtained by inputting data corresponding to .
  • the second server 500 may be a server that stores various data related to content.
  • the second server 500 may store a plurality of hash values mapped to each screen frame constituting the content, and data about an object mapped to each hash value.
  • the data on the object may be data including various information on the object included in the screen.
  • data about an object mapped to a hash value includes the name and type of each object included in the screen corresponding to the hash value (eg, person, clothing, furniture, exercise equipment), thumbnail image of each object, and object It may include a URL (Uniform Resource Locator) of a web page corresponding to each, and the like.
  • URL Uniform Resource Locator
  • the image display apparatus 100 may receive data about an object corresponding to a hash value of an image corresponding to the captured screen from the second server 500 . That is, when a hash value is received from the image display device 100 , the second server 500 may check the received hash value among hash values mapped to each screen frame constituting the content, and the hash value Data on the object mapped to may be transmitted to the image display device 100 .
  • the data on the object mapped to the hash value of the image corresponding to the screen may be data that more closely matches the screen that the viewer is watching, compared to data simply mapped to the timeline of the electronic program guide (EPG). In this regard, it will be described with reference to FIGS. 5A to 5C.
  • the image display device 100 may output an electronic program guide (EPG) screen 500 , and the user may use the electronic program guide (EPG) screen 500 to view the broadcast in each channel or You can check the timeline for the broadcast contents scheduled to be aired.
  • EPG electronic program guide
  • a timeline 510 for specific content included in the electronic program guide (EPG), an actual timeline 520 on which advertisements are output through the image display device 100, and a specific An actual timeline 530 on which content is output may be compared.
  • the timeline 510 for specific content included in the electronic program guide (EPG) may include both advertisement output times T1 and T3 and specific content output times T2.
  • FIG. 5C when an error occurs between the actual start time at which the advertisement is output through the image display device 100 and the start time that is previously scheduled in the timeline of the electronic program guide (EPG), the image is displayed It can be seen that an error occurs between a time point 541 at which a specific screen is output from the device 100 and a time point 542 at which a specific screen is previously scheduled to be output, and the specific screen is output from the image display device 100 . It can be seen that the timing 541 corresponds to a timing 543 at which a completely different screen is scheduled to be output in the timeline of the electronic program guide EPG.
  • an error occurs between the time when the image display device 100 outputs a specific screen and the time when the specific screen is previously scheduled to be output on the timeline of the electronic program guide (EPG). Even so, since the image display device 100 acquires data about an object mapped to a hash value of an image corresponding to an actual output screen, information on the corresponding screen can be more accurately provided to the user.
  • EPG electronic program guide
  • the image display device 100 transmits the hash value of the image corresponding to the captured screen to the second server 500, and data on the object mapped to the hash value from the second server 500 has been described as receiving, but the present invention is not limited thereto.
  • the image display device 100 transmits, to the second server 500, a hash value mapped to each screen frame constituting the content, and metadata including data on an object mapped to each hash value. ), and by checking the hash value of the image corresponding to the captured screen in the metadata, it is also possible to extract data about the object mapped to the hash value.
  • the image display apparatus 100 may identify each object included in the screen based on at least one learning model stored in the storage unit 140 .
  • the learning model stored in the storage unit 140 is a learning model about a person and a learning model about clothes
  • the image display device 100 may include an object corresponding to the person and clothing among objects included in the screen. Each object corresponding to can be identified.
  • the learning model provided from the first server 400 and stored in the storage unit 140 may be a learning model for identifying the type of object included in the screen. That is, when the image display device 100 uses the learning model for the person provided from the first server 400, it only identifies whether the object included in the screen is a person, and determines whether the object is a person may not
  • the image display apparatus 100 may generate coordinate regions on the screen corresponding to each identified object when each object included in the screen is identified.
  • the image display apparatus 100 may determine whether an object included in the screen can be identified in operation S455. For example, when the image display device 100 identifies an object included in the screen using a learning model about a person and a learning model about clothes, if at least one object identified as a person or clothing exists on the screen, , it can be determined that the object included in the screen can be identified.
  • the image display device 100 may transmit an image corresponding to the captured screen to the first server 400 when it is impossible to identify an object included in the screen in operations S456 and S457, and the first server 400 Data on the result of identifying each object included in the screen may be received from the . Meanwhile, according to various embodiments of the present disclosure, the image display apparatus 100 may omit operations S456 and S457.
  • the image display apparatus 100 may determine whether a specific identified object exists at a location on the screen corresponding to the user input based on the result of each identification of the objects included in the screen. For example, when the image display device 100 identifies an object included in a screen using a learning model about a person and a learning model about clothes, the object corresponding to the person is located on the screen corresponding to the user input. I can determine whether an object corresponding to clothing exists. At this time, the image display device 100 is, based on whether the on-screen position corresponding to the user input is included in the on-screen coordinate region corresponding to each object included in the screen, the image display device 100 is located at the on-screen position corresponding to the user input. , it is also possible to check whether a specific identified object exists.
  • the image display device 100 in operation S459, when the identified specific object exists at the location on the screen corresponding to the user input, among the objects included in the screen, the object corresponding to the specific object can be determined as the display target object. have.
  • the image display apparatus 100 may determine all objects corresponding to the person included in the screen as the display target object.
  • the image display device 100 may include, among the objects included in the screen, corresponding letters and numbers in the name. and/or an object including a symbol may be determined as a display target object.
  • the image display apparatus 100 may check whether a display target object has been determined in operation S460 .
  • the image display device 100 may output information on the display target object through the UI output through the display 180 . In this regard, it will be described with reference to FIGS. 6A to 7B.
  • the image display device 100 while the image display device 100 outputs content through the display 180 , the user sets the pointer 205 corresponding to the remote control device 200 to a person included in the screen.
  • a specific button eg, a home button
  • the image display device 100 responds to the user input It can be confirmed that the object corresponding to the person exists in the position on the screen.
  • the image display device 100 may determine all objects corresponding to people included in the screen as display target objects, and among the information on the display target object, thumbnail images 610 and 620 corresponding to each of the display target objects. ) can be output through the UI. In this case, the image display apparatus 100 may output the UI so that the thumbnail images 610 and 620 corresponding to each of the display target objects are disposed adjacent to the pointer 205 corresponding to the user input.
  • the image display device 100 while the image display device 100 outputs content through the display 180 , the user sets the pointer 205 corresponding to the remote control device 200 to clothes included in the screen.
  • a specific button eg, a home button
  • the image display device 100 responds to the user input It can be confirmed that an object corresponding to clothing exists in a position on the screen.
  • the image display device 100 may determine all objects corresponding to clothing included in the screen as display target objects, and among information on the display target object, thumbnail images 710 and 720 corresponding to each of the display target objects. ) can be output through the UI. In this case, the image display apparatus 100 may output the UI so that the thumbnail images 710 and 720 corresponding to each of the display target objects are disposed adjacent to the pointer 205 corresponding to the user input.
  • the image display device 100 displays a thumbnail image 710 corresponding to the object to be highlighted.
  • the thumbnail images 720 corresponding to the remaining display target objects may be outputted to be distinguished from each other.
  • the image display apparatus 100 may output a thumbnail image 710 corresponding to an object to be highlighted and a symbol 715 indicating that the object is to be highlighted.
  • the image display device 100 displays a list of objects included in the screen through the UI output through the display 180 when the display target object is not determined in operation S480 . can do.
  • the object list may refer to a list including information on objects included in the screen and included in the object data.
  • the image display apparatus 100 does not determine the display target object when it is determined that no object exists at the position on the screen corresponding to the user input based on the result of each identification of the object included in the screen. , can display a list of objects included in the screen. In this regard, it will be described with reference to FIGS. 8A and 8B.
  • the image display device 100 outputs content through the display 180 , the user places the pointer 205 corresponding to the remote control device 200 at a position corresponding to the background of the screen.
  • a specific button eg, a home button
  • the image display device 100 is positioned on the screen corresponding to the user input It can be determined that the identified object does not exist.
  • the image display apparatus 100 may output the UI so that the list 810 for the object is disposed adjacent to the pointer 205 which is a position corresponding to the user input.
  • EPG electronic program guide
  • an optimal learning model corresponding to the content is received and stored from the server 400 , and the user selects a specific point in time In the case of requesting information on an object included in the screen of can be provided quickly, and the load of computation for object recognition can be reduced.
  • the image display apparatus and the method of operation of the present invention can be implemented as processor-readable codes on a processor-readable recording medium provided in the image display apparatus.
  • the processor-readable recording medium includes all types of recording devices in which data readable by the processor is stored. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and also includes those implemented in the form of carrier waves such as transmission over the Internet .
  • the processor-readable recording medium is distributed in a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.

Abstract

본 발명은, 영상표시장치 및 그 동작방법에 관한 것이다. 본 발명의 일 실시예에 따른 영상표시장치는, 디스플레이, 네트워크를 통한 통신을 수행하는 네트워크 인터페이스부 및 제어부를 포함하고, 상기 제어부는, 디스플레이를 통해 제1 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 디스플레이를 통해 출력되는 화면에 대한 데이터를 생성하고, 네트워크 인터페이스부를 통해, 화면에 대한 데이터에 대응하는, 화면에 포함된 객체에 대한 데이터를 제1 서버로부터 획득하고, 객체에 대한 데이터에 기초하여, 화면에 포함된 객체 중, 사용자 입력과 관련된 적어도 하나의 제1 객체를 결정하고, 디스플레이를 통해, 적어도 하나의 제1 객체에 대한 사용자 인터페이스(User Interface, UI)를 출력할 수 있다. 그 외에 다양한 실시예들이 가능하다.

Description

영상표시장치 및 그 동작방법
본 발명은, 영상표시장치 및 그 동작방법에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이며, 사용자는 영상표시장치를 통하여 방송을 시청할 수 있다. 예를 들면, 영상표시장치는, 액정을 이용한 액정 디스플레이(Liquid Crystal Display; LCD)나, 유기 발광 다이오드(Organic Light Emitting Diode; 이하 OLED)를 이용한 OLED 디스플레이를 구비하는 TV(Television), 모니터(Monitor), 프로젝터(Projector) 등을 포함할 수 있다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있으며, 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다. 그 중에서, 전자 프로그램 가이드(Electronic Program Guide, EPG) 서비스는, 각 채널에서 방영 중 또는 방영 예정인 방송 프로그램들을 시간 순서대로 배치하여 사용자로 하여금 다양한 채널의 방송 정보를 한눈에 볼 수 있도록 가이드 화면을 제공하는 서비스이다.
최근에는 전자 프로그램 가이드(EPG)를 이용하여, 영상표시장치를 통해 출력되는 컨텐츠의 특정 화면에 포함된 인물이나 상품의 정보를 제공하는 서비스도 제공된다. 예를 들면, 전자 프로그램 가이드(EPG)에 포함된 특정 프로그램에 대한 타임라인(timeline)을 이용하여, 해당 타임라인의 시점 각각에 인물이나 상품의 정보를 매핑하여 데이터베이스화하고, 사용자가 특정 시점의 화면에 포함된 인물이나 상품의 정보를 요청하는 경우, 영상표시장치가 해당 시점에 매핑된 인물이나 상품의 정보를 제공하는 서비스가 제공된다.
그러나 방송사의 사정 등으로 인해, 프로그램의 실제 시작 시점과 기존에 예정되어 있던 시작 시점 간에 오차가 발생하는 경우가 빈번하게 일어나는데, 이때, 특정 시점에 전자 프로그램 가이드(EPG)의 타임라인에서 출력되도록 예정되어 있는 화면과 영상표시장치를 통해 실제 출력되는 화면이 서로 상이할 수 있다. 이에 따라, 사용자가 특정 시점의 화면에 포함된 인물이나 상품의 정보를 요청하더라도, 사용자가 시청 중인 화면에 포함된 인물이나 상품과 전혀 상관없는 정보가 제공되는 문제가 발생할 수 있다.
또한, 프로그램의 실제 시작 시점과 기존에 예정되어 있던 시작 시점 간에 발생할 수 있는 오차를 고려하여, 사용자가 화면에 포함된 인물이나 상품의 정보를 요청하는 시점을 전후로, 소정 시간에 매핑된 인물이나 상품의 정보를 모두 종합하여 제공할 수도 있으나, 사용자에게 제공되는 정보의 정확도가 현저히 낮아지는 문제가 있다.
한편, 사용자가 특정 시점의 화면에 포함된 인물이나 상품의 정보를 요청하는 경우, 일반적으로 객체 인식 기술을 이용하여 해당 화면에 포함된 객체를 식별하고, 식별된 객체에 대응하여 정보를 제공한다. 그러나 종래와 같이, 특정 시점을 전후로 하는 소정 시간에 매핑된 인물이나 상품의 정보를 모두 종합하여 제공하는 경우, 식별 대상이 너무 많고 다양하여, 화면에 포함된 모든 객체를 식별함에 있어서 객체 인식을 위한 연산의 부하가 커지는 문제점이 있고, 객체 인식에 대한 정확도 향상을 위해, 객체에 대한 식별 수준을 단순히 높이는 경우, 객체 인식을 위한 연산의 부하는 기하급수적으로 증가할 수밖에 없다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
또 다른 목적은, 사용자가 특정 시점의 화면에 포함된 객체에 대한 정보를 요청하는 경우, 해당 화면에 대한 정보를 정확히 제공할 수 있는 영상표시장치 및 그 동작방법을 제공함에 있다.
또 다른 목적은, 사용자가 특정 시점의 화면에 포함된 객체에 대한 정보를 요청하는 경우, 화면에 포함된 객체를 보다 신속하게 식별하여, 식별된 객체에 대응하는 정보를 빠르고 정확하게 제공할 수 있는 영상표시장치 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 영상표시장치는, 디스플레이, 네트워크를 통한 통신을 수행하는 네트워크 인터페이스부 및 제어부를 포함하고, 상기 제어부는, 디스플레이를 통해 제1 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 디스플레이를 통해 출력되는 화면에 대한 데이터를 생성하고, 네트워크 인터페이스부를 통해, 화면에 대한 데이터에 대응하는, 화면에 포함된 객체에 대한 데이터를 제1 서버로부터 획득하고, 객체에 대한 데이터에 기초하여, 화면에 포함된 객체 중, 사용자 입력과 관련된 적어도 하나의 제1 객체를 결정하고, 디스플레이를 통해, 적어도 하나의 제1 객체에 대한 사용자 인터페이스(User Interface, UI)를 출력할 수 있다.
한편, 본 발명의 일 실시예에 따른 영상표시장치의 동작방법은, 영상표시장치의 디스플레이를 통해 제1 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 디스플레이를 통해 출력되는 화면에 대한 데이터를 획득하는 동작, 영상표시장치의 네트워크 인터페이스부를 통해, 화면에 대한 데이터에 대응하는, 화면에 포함된 객체에 대한 데이터를 제1 서버로부터 획득하는 동작, 객체에 대한 데이터에 기초하여, 화면에 포함된 객체 중, 사용자 입력과 관련된 적어도 하나의 제1 객체를 결정하는 동작 및 디스플레이를 통해, 적어도 하나의 제1 객체에 대한 사용자 인터페이스(User Interface, UI)를 출력하는 동작을 포함할 수 있다.
본 발명에 따른 영상표시장치 및 그 동작방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 다양한 실시예에 따르면, 사용자가 특정 시점의 화면에 포함된 객체에 대한 정보를 요청하는 경우, 단순히 전자 프로그램 가이드(EPG)의 특정 시점에 매핑된 정보를 제공하지 않고, 특정 시점의 화면에 대한 데이터를 생성하고, 다양한 방식으로 화면에 포함된 객체에 대한 데이터를 획득함으로써, 영상표시장치를 통해 컨텐츠가 실제 출력되는 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에서 예정되어 있던 시점 간에 오차가 발생하는 경우에도, 화면에 대한 정보를 정확히 제공할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 영상표시장치를 통해 컨텐츠가 출력될 때마다, 서버로부터 해당 컨텐츠에 대응하는 최적의 학습 모델을 수신 및 저장하고, 사용자가 특정 시점의 화면에 포함된 객체에 대한 정보를 요청하는 경우, 해당 컨텐츠에 대응하는 학습 모델을 이용하여 객체 인식을 수행함에 따라, 화면에 포함된 객체를 보다 신속하게 식별하여, 식별된 객체에 대응하는 정보를 빠르게 제공할 수 있고, 객체 인식을 위한 연산의 부하를 줄일 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명의 일 실시예에 따른, 시스템을 도시한 도면이다.
도 2는, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 3a는, 도 2의 원격제어장치의 제어 방법을 도시한 도면이고, 도 3b는, 도 2의 원격제어장치의 내부 블록도의 일 예이다.
도 4a 및 4b는, 본 발명의 일 실시예에 따른, 영상표시장치의 동작방법에 대한 순서도이다.
도 5a 내지 8b는, 도 4a 및 4b의 영상표시장치의 동작방법에 대한 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1은, 본 발명의 다양한 실시예에 따른, 시스템을 도시한 도면이다.
도 1을 참조하면, 시스템(10)은, 영상표시장치(100), 원격제어장치(200), 및/또는 적어도 하나의 서버(400, 500)를 포함할 수 있다.
영상표시장치(100)는, 영상을 처리하여 출력하는 장치일 수 있다. 영상표시장치(100)는, TV, 노트북 컴퓨터(notebook computer), 모니터 등 영상신호에 대응하는 화면을 출력할 수 있는 것이라면 특별히 한정하지 않는다.
영상표시장치(100)는, 방송 신호를 수신하여 이를 신호 처리하고, 신호 처리된 방송 영상을 출력할 수 있다. 영상표시장치(100)가 방송 신호를 수신하는 경우, 영상표시장치(100)가 방송 수신 장치에 해당할 수 있다.
영상표시장치(100)는, 안테나를 통해 무선으로 방송 신호를 수신할 수도 있고, 케이블(cable)을 통해 유선으로 방송 신호를 수신할 수도 있다. 예를 들면, 영상표시장치(100)는, 지상파 방송 신호, 위성 방송 신호, 케이블 방송 신호, IPTV(Internet Protocol Television) 방송 신호 등을 수신할 수 있다.
원격제어장치(200)는, 영상표시장치(100)와 유선 및/또는 무선으로 연결되어, 영상표시장치(100)로 각종 제어신호를 제공할 수 있다. 이때, 원격제어장치(200)는 영상표시장치(100)와 유선 또는 무선 네트워크를 수립하여, 수립된 네트워크를 통해, 각종 제어신호를 영상표시장치(100)로 전송하거나, 영상표시장치(100)로부터 영상표시장치(100)에서 처리되는 각종 동작과 관련된 신호를 수신하는 장치를 포함할 수 있다.
예컨대, 원격제어장치(200)로는 마우스, 키보드, 공간 리모콘, 트랙볼, 조이스틱 등의 다양한 입력 장치가 이용될 수 있다.
영상표시장치(100)는 단일의 원격제어장치(200)만 연결되거나, 둘 이상의 원격제어장치(200)와 동시에 연결되어, 각 원격제어장치(200)로부터 제공되는 제어신호를 기초로, 화면에 표시되는 오브젝트를 변경하거나, 화면의 상태를 조절할 수 있다.
영상표시장치(100)는, 인터넷과 같은 네트워크(300)를 경유하여, 적어도 하나의 서버(400, 500)와 상호 간에 데이터를 송수신할 수 있다.
서버(400, 500)는, 네트워크(300)를 통해, 영상표시장치(100)와 상호 간에 데이터를 송수신할 수 있고, 영상표시장치(100)로부터 수신되는 데이터를 처리할 수 있다.
서버(400, 500)는, 동일 또는 유사한 영역에 위치하거나 서로 분리된 영역에 위치할 수 있다. 예를 들면, 서버(400, 500)는 하나의 서버에서 구현될 수도 있고, 서로 구분되는 제1 서버(400) 및 제2 서버(500)에 각각 구현될 수도 있다.
도 2는, 도 1의 영상표시장치의 내부 블록도이다.
도 2를 참조하면, 영상표시장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(130), 네트워크 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 입력부(160), 제어부(170), 디스플레이(180), 오디오 출력부(185) 및/또는 전원 공급부(190)를 포함할 수 있다.
방송 수신부(105)는, 튜너부(110) 및 복조부(120)를 포함할 수 있다.
한편, 영상표시장치(100)는, 도면과 달리, 방송 수신부(105), 외부장치 인터페이스부(130) 및 네트워크 인터페이스부(135) 중, 방송 수신부(105)와, 외부장치 인터페이스부(130)만을 포함하는 것도 가능하다. 즉, 영상표시장치(100)는, 네트워크 인터페이스부(135)를 포함하지 않을 수도 있다.
튜너부(110)는, 안테나(미도시) 또는 케이블(미도시)를 통해 수신되는 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 방송 신호를 선택할 수 있다. 튜너부(110)는, 선택된 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수 있다.
예를 들면, 튜너부(110)는, 선택된 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환할 수 있다. 즉, 튜너부(110)는, 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는, 제어부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 수신되는 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 방송 신호를 순차적으로 선택하여, 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는, 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는, 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)를 통해 영상을 출력하고, 오디오 출력부(185)를 통해 음성을 출력할 수 있다.
외부장치 인터페이스부(130)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋톱 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
또한, 외부장치 인터페이스부(130)는, 도 1에 도시된 것과 같은 다양한 원격제어장치(200)와 통신 네트워크를 수립하여, 원격제어장치(200)로부터 영상표시장치(100)의 동작과 관련된 제어신호를 수신하거나, 영상표시장치(100)의 동작과 관련된 데이터를 원격제어장치(200)로 전송할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 예를 들면, A/V 입출력부는, 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(170)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(170)로 전달될 수 있다.
외부장치 인터페이스부(130)는, 다른 전자기기와의 근거리 무선 통신을 위한, 무선 통신부(미도시)를 포함할 수 있다. 이러한 무선 통신부를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기와 데이터를 교환할 수 있다. 예를 들면, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
외부장치 인터페이스부(130)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), 지그비(ZigBee) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
네트워크 인터페이스부(135)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다.
네트워크 인터페이스부(135)는, 유/무선 네트워크(300)와의 연결을 위한 통신 모듈(미도시)를 포함할 수 있다. 예를 들면, 네트워크 인터페이스부(135)는, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 위한 통신 모듈을 포함할 수 있다.
네트워크 인터페이스부(135)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(135)는, 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 웹 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(135)는, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 웹 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
네트워크 인터페이스부(135)는, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있고, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(135)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다. 예를 들면, 저장부(140)는 제어부(170)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(170)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다.
저장부(140)에 저장되는 프로그램 등은, 제어부(170)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
저장부(140)는, 외부장치 인터페이스부(130)를 통해 외부장치로부터 수신되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여, 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(140)는, 딥 러닝(deep learning) 등 머신 러닝(machine learning)을 통해 미리 학습된, 객체에 관한 학습 모델을 적어도 하나 저장할 수 있다. 여기서, 객체에 관한 학습 모델은, 이미지에 포함된 적어도 하나의 객체(object)를 식별하고, 객체의 유형(type)을 판단하는 학습 모델일 수 있다. 예를 들면, 객체에 관한 학습 모델은, 객체의 유형에 따라, 인물에 관한 학습 모델, 의류에 관한 학습 모델, 가구에 관한 학습 모델, 스포츠 용품에 관한 학습 모델, 문자, 숫자, 기호 등에 관한 OCR(optical character recognition) 관련 학습 모델 등을 포함할 수 있다.
한편, 머신 러닝은, 컴퓨터에게 사람이 직접 로직(logic)을 지시하지 않아도 데이터를 통해 컴퓨터가 학습을 하고, 이를 통해 컴퓨터가 문제를 해결하게 하는 것을 의미한다. 딥 러닝은, 인공신경망(Artificial Neural Networks; ANN)을 기반으로 컴퓨터에게 사람의 사고방식을 가르치는 방법으로, 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술을 의미한다. 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 칩(chip) 등 하드웨어 형태로 구현될 수 있다. 예를 들면, 인공신경망(ANN)은, 심층신경망(Deep Neural Network; DNN), 합성곱신경망(Convolutional Neural Network; CNN), 순환신경망(Recurrent Neural Network; RNN), 심층신뢰신경망(Deep Belief Network; DBN) 등 다양한 종류의 알고리즘을 포함할 수 있다.
도 2의 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않으며, 제어부(170) 내에 저장부(140)가 포함될 수도 있다.
저장부(140)는, 휘발성 메모리(예: DRAM, SRAM, SDRAM 등)나, 비휘발성 메모리(예: 플래시 메모리(Flash memory), 하드 디스크 드라이브(Hard disk drive; HDD), 솔리드 스테이트 드라이브(Solid-state drive; SSD) 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 있어서, 저장부(140)와 메모리는 서로 혼용되어 사용될 수도 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다.
예를 들면, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센서부로 송신할 수 있다.
입력부(160)는, 영상표시장치(100)의 본체의 일측에 구비될 수 있다. 예를 들면, 입력부(160)는, 터치 패드, 물리적 버튼 등을 포함할 수 있다.
입력부(160)는, 영상표시장치(100)의 동작과 관련된 각종 사용자 명령을 수신할 수 있고, 입력된 명령에 대응하는 제어 신호를 제어부(170)에 전달할 수 있다.
입력부(160)는, 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크를 통해 사용자의 음성을 수신할 수 있다.
제어부(170)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 영상표시장치(100)의 동작 전반을 제어할 수 있다. 여기서, 프로세서는 CPU(central processing unit)과 같은 일반적인 프로세서일 수 있다. 물론, 프로세서는 ASIC과 같은 전용 장치(dedicated device)이거나 다른 하드웨어 기반의 프로세서일 수 있다.
제어부(170)는, 튜너부(110), 복조부(120), 외부장치 인터페이스부(130), 또는 네트워크 인터페이스부(135)를 통하여 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
디스플레이(180)는, 제어부(170)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)로부터 수신되는 영상신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성할 수 있다.
디스플레이(180)는, 복수의 픽셀을 구비하는 디스플레이 패널(미도시)를 포함할 수 있다.
디스플레이 패널에 구비된 복수의 픽셀은, RGB의 서브 픽셀을 구비할 수 있다. 또는, 디스플레이 패널에 구비된 복수의 픽셀은, RGBW의 서브 픽셀을 구비할 수도 있다. 디스플레이(180)는, 제어부(170)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여, 복수의 픽셀에 대한 구동 신호를 생성할 수 있다.
디스플레이(180)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이(flexible display)등이 가능하며, 또한, 3차원 디스플레이(3D display)가 가능할 수도 있다. 3차원 디스플레이(180)는, 무안경 방식과 안경 방식으로 구분될 수 있다.
한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
제어부(170)에서 영상 처리된 영상신호는, 디스플레이(180)로 입력되어, 해당 영상신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상신호는, 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수도 있다.
제어부(170)에서 처리된 음성 신호는, 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는, 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
도 2에는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부, 믹서, 프레임 레이트 변환부, 포맷터, 오디오 처리부, 데이터 처리부 등을 포함할 수 있다.
그 외, 제어부(170)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들면, 제어부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기 저장된 채널에 해당하는 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
한편, 제어부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(170)는 디스플레이(180)에 표시되는 영상 내에, 소정 2D 오브젝트가 표시되도록 할 수 있다. 예를 들면, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
한편, 영상표시장치(100)는, 촬영부(미도시)를 더 포함할 수도 있다. 촬영부는, 사용자를 촬영할 수 있다. 촬영부는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 한편, 촬영부는 디스플레이(180) 상부에 영상표시장치(100)에 매립되거나 또는 별도로 배치될 수 있다. 촬영부에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들면, 제어부(170)는, 사용자와 영상표시장치(100) 간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 제어부(170)는, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상, 또는 센서부로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
전원 공급부(190)는, 영상표시장치(100) 전반에 걸쳐 해당 전원을 공급할 수 있다. 특히, 시스템 온 칩(System On Chip; SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)와, 직류 전원의 레벨을 변환하는 Dc/Dc 컨버터(미도시)를 구비할 수 있다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 전송할 수 있다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(Infrared Radiation) 통신, UWB(Ultra-wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 출력할 수 있다.
한편, 상술한 영상표시장치(100)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일 실시예를 위한 블록도일 뿐, 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3a는, 도 2의 원격제어장치의 제어 방법을 도시한 도면이고, 도 3b는, 도 2의 원격제어장치의 내부 블록도의 일 예이다.
도 3a를 참조하면, 영상표시장치(100)의 디스플레이(180)에, 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 확인할 수 있다.
도 3a의 (a)를 참조하면, 사용자는 원격제어장치(200)를 상하, 좌우, 앞뒤로 움직이거나 회전시킬 수 있다. 이때, 영상표시장치(100)의 디스플레이(180)에 표시된 포인터(205)는, 원격제어장치(200)의 움직임에 대응하여 표시될 수 있다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘 또는 3D 포인팅 장치라 명명할 수 있다.
도 3a의 (b)를 참조하면, 사용자가 원격제어장치(200)를 왼쪽으로 이동시키는 경우, 영상표시장치(100)의 디스플레이(180)에 표시된 포인터(205)도 원격제어장치(200)의 움직임에 대응하여 왼쪽으로 이동하는 것을 확인할 수 있다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시장치(100)로 전송될 수 있다. 영상표시장치(100)는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 3a의 (c)를 참조하면, 원격제어장치(200)에 구비된 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동시킬 수 있다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌-인(zoom-in)되어 확대 표시될 수 있다. 이와 반대로, 원격제어장치(200)에 구비된 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌-아웃(zoom-out)되어 축소 표시될 수 있다.
한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌-아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌-인될 수도 있다.
한편, 사용자가 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하 및 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식될 수 있다. 사용자가 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동만 인식할 수 있고, 이에 따라 포인터(205)만 이동할 수 있다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
도 3b를 참조하면, 원격제어장치(200)는, 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 및/또는 제어부(280)를 포함할 수 있다.
무선통신부(220)는, 영상표시장치(100)와 상호 간에 신호를 송수신할 수 있다.
본 실시예에서, 원격제어장치(200)는 RF(Radio frequency) 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비할 수 있다. 또한 원격제어장치(200)는 IR(Infrared radiation) 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다.
원격제어장치(200)는, 영상표시장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보를 포함하는 신호를 RF 모듈(221)을 통해 전송할 수 있다. 원격제어장치(200)는, 영상표시장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있다.
원격제어장치(200)는, IR 모듈(223)을 통해, 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는, 키패드, 버튼, 터치 패드, 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(230)가 하드키 버튼을 구비하는 경우, 사용자는 하드키 버튼의 푸쉬(push) 동작을 통하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다.
한편, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수도 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는, 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있다. 자이로 센서(241)는, 원격제어장치(200)의 움직임을 센싱할 수 있다.
자이로 센서(241)는, 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 센서부(240)는, 디스플레이(180)와의 거리를 센싱할 수 있는 거리측정센서를 더 구비할 수 있다.
출력부(250)는, 사용자 입력부(230)의 조작에 대응하거나 영상표시장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 영상표시장치(100)의 제어 여부를 인지할 수 있다.
출력부(250)는, 적어도 하나의 발광소자(예: LED(Light Emitting Diode))를 포함하는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 및/또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
전원공급부(260)는, 원격제어장치(200)에 구비된 각 구성에 전원을 공급할 수 있다. 전원공급부(260)는, 적어도 하나의 배터리(미도시)를 포함할 수 있다.
전원공급부(260)는, 센서부(240)를 통해 원격제어장치(200)의 움직임이 소정 시간 동안 감지되지 않는 경우, 원격제어장치(200)에 구비된 각 구성에 대한 전원 공급을 중단하여, 불필요한 전원 소모를 방지할 수 있다.
전원공급부(260)는, 소정 이벤트 발생 시, 원격제어장치(200)에 구비된 각 구성에 대한 전원 공급을 재개할 수 있다. 예를 들면, 전원공급부(260)는, 원격제어장치(200)에 구비된 소정 키가 조작된 경우, 각 구성에 전원 공급을 재개할 수 있다. 예를 들면, 전원공급부(260)는, 센서부(240)를 통해 원격제어장치(200)의 움직임이 감지된 경우, 원격제어장치(200)에 구비된 각 구성에 전원 공급을 재개할 수 있다.
저장부(270)는, 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다.
원격제어장치(200)가 영상표시장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신하는 경우, 원격제어장치(200)와 영상표시장치(100)는 소정 주파수 대역을 통하여 신호를 송수신할 수 있다. 원격제어장치(200)의 제어부(280)는, 원격제어장치(200)와 페어링된 영상표시장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 원격제어장치(200)의 동작 전반을 제어할 수 있다.
제어부(280)는, 사용자 입력부(230)의 소정 키 조작에 대응하는 제어신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 제어신호를, 무선 통신부(220)를 통해 영상표시장치(100)로 전송할 수 있다.
영상표시장치(100)의 사용자입력 인터페이스부(150)는, 원격제어장치(200)와 무선으로 신호를 송수신할 수 있는 무선통신부(151)와, 원격제어장치(200)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(155)를 구비할 수 있다.
사용자입력 인터페이스부(150)는, RF 모듈(152)을 통하여 원격제어장치(200)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(153)을 통하여 원격제어장치(200)이 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.
좌표값 산출부(155)는 무선통신부(151)를 통하여 수신된 원격제어장치(200)의 동작에 대응하는 신호로부터, 손떨림이나 오차를 수정하여 디스플레이(170)에 표시할 포인터(205)의 좌표값(x,y)을 산출할 수 있다.
사용자입력 인터페이스부(150)를 통하여 영상표시장치(100)로 입력된 원격제어장치(200) 전송 신호는, 영상표시장치(100)의 제어부(180)로 전달될 수 있다. 영상표시장치(100)의 제어부(180)는 원격제어장치(200)에서 전송한 신호로부터 원격제어장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.
또 다른 예로, 원격제어장치(200)는, 그 동작에 대응하는 포인터 좌표값을 산출하여 영상표시장치(100)의 사용자입력 인터페이스부(150)로 출력할 수 있다. 이 경우, 영상표시장치(100)의 사용자입력 인터페이스부(150)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 포인터 좌표값에 관한 정보를 제어부(180)로 전송할 수 있다.
또한, 다른 예로, 좌표값 산출부(155)가, 도면과 달리 사용자입력 인터페이스부(150)가 아닌, 제어부(170) 내부에 구비되는 것도 가능하다.
도 4a 및 4b는, 본 발명의 일 실시예에 따른, 영상표시장치의 동작방법에 대한 순서도이고, 도 5a 내지 8b는, 도 4a 및 4b의 영상표시장치의 동작방법에 대한 설명에 참조되는 도면이다.
도 4a를 참조하면, 영상표시장치(100)는, S410 동작에서, 디스플레이(180)를 통해, 컨텐츠를 출력할 수 있다. 예를 들면, 영상표시장치(100)는, 지상파 방송 신호, 위성 방송 신호, 케이블 방송 신호 및 IPTV 방송 신호 중 어느 하나를 수신하여 처리하고, 신호 처리된 방송 컨텐츠를 출력할 수 있다.
영상표시장치(100)는, S420 동작에서, 디스플레이(180)를 통해 컨텐츠가 출력되는 경우, 제1 서버(400)에 컨텐츠의 식별자를 전송할 수 있다. 여기서, 컨텐츠의 식별자는, 컨텐츠 각각에 대응하는 고유 정보(예: 제목, 번호)일 수 있으나, 이에 한정되는 것은 아니며, 컨텐츠 각각에 대한 특징(예: 장르)일 수도 있다.
한편, 제1 서버(400)는 객체에 관한 학습 모델을 제공하는 서버일 수 있고, 영상표시장치(100)로부터 컨텐츠의 식별자가 수신되는 경우, 컨텐츠의 식별자에 대응하는 학습 모델을 적어도 하나 결정할 수 있다. 예를 들면, 컨텐츠의 식별자로서 컨텐츠의 장르가 제1 서버(400)에 전송된 경우, 제1 서버(400)는 컨텐츠의 장르에 매핑된 학습 모델을 결정할 수 있다.
이때, 컨텐츠의 장르가 드라마인 경우, 인물에 관한 학습 모델, 의류에 관한 학습 모델 및/또는 가구에 관한 학습 모델이 컨텐츠의 식별자에 대응하는 학습 모델로 결정될 수 있고, 컨텐츠의 장르가 스포츠 및 골프인 경우, 인물에 관한 학습 모델, 의류에 관한 학습 모델 및/또는 스포츠 용품에 관한 학습 모델이 컨텐츠의 식별자에 대응하는 학습 모델로 결정될 수 있다.
영상표시장치(100)는, S430 동작에서, 제1 서버(400)로부터 컨텐츠의 식별자에 대응하는 적어도 하나의 학습 모델을 수신할 수 있다. 또한, 영상표시장치(100)는, 제1 서버(400)로부터 수신된 적어도 하나의 학습 모델을 저장부(140)에 저장할 수 있다. 이때, 제1 서버(400)에 다른 컨텐츠의 식별자에 대응하는 학습 모델이 기 저장되어 있는 경우, 다른 컨텐츠의 식별자에 대응하는 학습 모델을 삭제하고, 제1 서버(400)로부터 수신된 적어도 하나의 학습 모델을 저장부(140)에 저장할 수 있다.
영상표시장치(100)는, S440 동작에서, 디스플레이(180)를 통해 컨텐츠가 출력되는 동안, 기 설정된 사용자 입력이 수신되는지 여부를 확인할 수 있다. 예를 들면, 영상표시장치(100)는, 디스플레이(180)를 통해 컨텐츠가 출력되는 동안, 사용자입력 인터페이스부(150)를 통해, 사용자가 원격제어장치(200)의 사용자 입력부(230)에 구비된 특정 버튼(예: 홈 버튼)을 소정 시간 이상 누르는, 기 설정된 롱 프레스(long press) 입력이 수신되는지 여부를 확인할 수 있다.
영상표시장치(100)는, S450 동작에서, 디스플레이(180)를 통해 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 화면에 포함된 객체에 대한 식별을 통해, 기 설정된 사용자 입력과 관련된 객체(이하, 표시 대상 객체)를 적어도 하나 결정할 수 있다. 여기서, 표시 대상 객체는, 기 설정된 사용자 입력에 대응하여 출력되는 사용자 인터페이스(User Interface, UI)를 통해 표시되는 정보와 관련된 객체를 의미할 수 있다. 이와 관련하여, 도 4b를 참조하여 설명하도록 한다.
도 4b를 참조하면, 영상표시장치(100)는, S451 동작에서, 디스플레이(180)를 통해 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 디스플레이(180)를 통해 출력 중인 화면을 캡쳐할 수 있다. 여기서, 화면을 캡쳐하는 동작은, 화면을 통해 출력되는 컨텐츠의 프레임에 대한 데이터(이하, 프레임 데이터)를 획득하는 동작을 의미할 수 있다. 한편, 영상표시장치(100)는, 기 설정된 사용자 입력이 수신되는 경우, 디스플레이(180)를 통한 컨텐츠의 출력을 일시 정지할 수 있고, 캡쳐된 화면에 대응하는 이미지를 계속 출력할 수 있다.
영상표시장치(100)는, S452 동작에서, 소정의 해시 함수(hash function)를 이용하여, 캡쳐된 화면에 대응하는 이미지의 해시 값(hash value)을 산출할 수 있고, 산출된 해시 값을 제2 서버(500)에 전송할 수 있다. 여기서, 소정의 해시 함수는, 데이터의 효율적 관리를 목적으로 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑하는 함수를 의미할 수 있고, 이미지의 해시 값은, 해시 함수(hash function)에 이미지에 대응하는 데이터를 입력하여 얻어지는 결과 값을 의미할 수 있다.
한편, 제2 서버(500)는, 컨텐츠에 관한 다양한 데이터를 저장하는 서버일 수 있다. 예를 들면, 제2 서버(500)는, 컨텐츠를 구성하는 화면 프레임 각각에 매핑된 복수의 해시 값과, 해시 값 각각에 매핑된 객체에 대한 데이터를 저장할 수 있다. 여기서, 객체에 대한 데이터는, 화면에 포함된 객체에 대한 다양한 정보를 포함하는 데이터일 수 있다. 예를 들면, 해시 값에 매핑된 객체에 대한 데이터는, 해시 값에 대응하는 화면에 포함된 객체 각각의 명칭, 타입(예: 인물, 의류, 가구, 운동기구), 객체 각각의 썸네일 이미지, 객체 각각에 대응하는 웹 페이지의 URL(Uniform Resource Locator) 등을 포함할 수 있다.
영상표시장치(100)는, S453 동작에서, 캡쳐된 화면에 대응하는 이미지의 해시 값에 대응하는 객체에 대한 데이터를 제2 서버(500)로부터 수신할 수 있다. 즉, 제2 서버(500)는, 영상표시장치(100)로부터 해시 값이 수신되는 경우, 컨텐츠를 구성하는 화면 프레임 각각에 매핑된 해시 값 중, 수신된 해시 값을 확인할 수 있고, 해당 해시 값에 매핑된 객체에 대한 데이터를 영상표시장치(100)에 전송할 수 있다.
이때, 화면에 대응하는 이미지의 해시 값에 매핑된 객체에 대한 데이터는, 전자 프로그램 가이드(EPG)의 타임라인에 단순히 매핑된 데이터에 비해, 시청자가 시청 중인 화면에 보다 부합하는 데이터일 수 있다. 이와 관련하여, 도 5a 내지 5c를 참조하여 설명하도록 한다.
도 5a를 참조하면, 영상표시장치(100)는 전자 프로그램 가이드(EPG) 화면(500)을 출력할 수 있고, 사용자는 전자 프로그램 가이드(EPG) 화면(500)을 통해, 각 채널에서 방영 중 또는 방영 예정인 방송 컨텐츠들에 대한 타임라인을 확인할 수 있다.
한편, 도 5b 및 5c를 참조하면, 전자 프로그램 가이드(EPG)에 포함된 특정 컨텐츠에 대한 타임라인(510)과, 영상표시장치(100)를 통해 광고가 출력되는 실제 타임라인(520) 및 특정 컨텐츠가 출력되는 실제 타임라인(530)을 비교할 수 있다.
전자 프로그램 가이드(EPG)에 포함된 특정 컨텐츠에 대한 타임라인(510)에는, 광고가 출력되는 시간(T1, T3)과 특정 컨텐츠가 출력되는 시간(T2)이 모두 포함될 수 있다.
이때, 도 5b와 같이, 영상표시장치(100)가 전자 프로그램 가이드(EPG)의 타임라인에 따라 광고와 특정 컨텐츠를 정확히 출력하는 경우, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)과 기존에 특정 화면이 출력되도록 예정되어 있던 시점(542) 간에 오차가 발생하지 않는 것을 확인할 수 있다.
이에 반해, 도 5c와 같이, 영상표시장치(100)를 통해 광고가 출력되는 실제 시작 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에서 예정되어 있던 시작 시점 간에 오차가 발생하는 경우, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)과 기존에 특정 화면이 출력되도록 예정되어 있던 시점(542) 간에 오차가 발생하는 것을 확인할 수 있고, 영상표시장치(100)에서 특정 화면이 출력되는 시점(541)이 전자 프로그램 가이드(EPG)의 타임라인에서 전혀 다른 화면이 출력되도록 예정되어 있던 시점(543)에 대응하는 것을 확인할 수 있다.
즉, 본 발명의 다양한 실시예에 따르면, 영상표시장치(100)가 특정 화면을 출력하는 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에 특정 화면이 출력되도록 예정되어 있던 시점 간에 오차가 발생하더라도, 영상표시장치(100)가 실제 출력 중인 화면에 대응하는 이미지의 해시 값에 매핑된 객체에 대한 데이터를 획득하므로, 사용자에게 해당 화면에 대한 정보를 보다 정확히 제공할 수 있다.
한편, 본 도면에서는, 영상표시장치(100)가 캡쳐된 화면에 대응하는 이미지의 해시 값을 제2 서버(500)에 전송하고, 제2 서버(500)로부터 해시 값에 매핑된 객체에 대한 데이터를 수신하는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 예를 들면, 영상표시장치(100)는, 컨텐츠를 구성하는 화면 프레임 각각에 매핑된 해시 값과, 해시 값 각각에 매핑된 객체에 대한 데이터를 포함하는 메타데이터(metadata)를 제2 서버(500)로부터 수신할 수 있고, 메타데이터에서 캡쳐된 화면에 대응하는 이미지의 해시 값을 확인하여, 해당 해시 값에 매핑된 객체에 대한 데이터를 추출할 수도 있다.
다시 도 4b를 참조하면, 영상표시장치(100)는, S454 동작에서, 저장부(140)에 저장된 적어도 하나의 학습 모델에 기초하여, 화면에 포함된 객체를 각각 식별할 수 있다. 예를 들면, 영상표시장치(100)는, 저장부(140)에 저장된 학습 모델이 인물에 관한 학습 모델과 의류에 관한 학습 모델인 경우, 화면에 포함된 객체 중, 인물에 해당하는 객체와 의류에 해당하는 객체를 각각 식별할 수 있다.
이때, 제1 서버(400)로부터 제공되어 저장부(140)에 저장되는 학습 모델은, 화면에 포함된 객체의 타입을 식별하는 학습 모델일 수 있다. 즉, 영상표시장치(100)가 제1 서버(400)로부터 제공되는 인물에 관한 학습 모델을 사용하는 경우, 화면에 포함된 객체가 인물인지 여부를 식별할 뿐, 객체가 어떤 인물인지 여부는 판단하지 않을 수 있다.
한편, 영상표시장치(100)는, 화면에 포함된 객체를 각각 식별함에 있어서, 식별되는 객체 각각에 대응하는 화면상 좌표 영역을 생성할 수도 있다.
영상표시장치(100)는, S455 동작에서, 화면에 포함된 객체의 식별이 가능한지 여부를 판단할 수 있다. 예를 들면, 영상표시장치(100)는, 인물에 관한 학습 모델과 의류에 관한 학습 모델을 사용하여 화면에 포함된 객체를 식별한 결과, 인물이나 의류로 식별된 객체가 화면에 적어도 하나 존재하면, 화면에 포함된 객체의 식별이 가능한 것으로 판단할 수 있다.
영상표시장치(100)는, S456 및 S457 동작에서, 화면에 포함된 객체의 식별이 불가능한 경우, 캡쳐된 화면에 대응하는 이미지를 제1 서버(400)에 전송할 수 있고, 제1 서버(400)로부터 화면에 포함된 객체를 각각 식별한 결과에 대한 데이터를 수신할 수 있다. 한편, 본 발명의 다양한 실시예에 따라서, 영상표시장치(100)는 S456 및 S457 동작을 생략할 수도 있다.
영상표시장치(100)는, S458 동작에서, 화면에 포함된 객체를 각각 식별한 결과에 기초하여, 사용자 입력에 대응하는 화면상 위치에, 식별된 특정 객체가 존재하는지 여부를 확인할 수 있다. 예를 들면, 영상표시장치(100)는, 인물에 관한 학습 모델과 의류에 관한 학습 모델을 사용하여 화면에 포함된 객체를 식별한 경우, 사용자 입력에 대응하는 화면상 위치에 인물에 해당하는 객체나 의류에 해당하는 객체가 존재하는지 여부를 판단할 수 있다. 이때, 영상표시장치(100)는, 사용자 입력에 대응하는 화면상 위치가, 화면에 포함된 객체 각각에 대응하는 화면상 좌표 영역에 포함되는지 여부에 기초하여, 사용자 입력에 대응하는 화면상 위치에, 식별된 특정 객체가 존재하는지 여부를 확인할 수도 있다.
영상표시장치(100)는, S459 동작에서, 사용자 입력에 대응하는 화면상 위치에 식별된 특정 객체가 존재하는 경우, 화면에 포함된 객체 중, 특정 객체에 대응하는 객체를 표시 대상 객체로 결정할 수 있다.
예를 들면, 영상표시장치(100)는, 사용자 입력에 대응하는 화면상 위치에 인물에 해당하는 객체가 존재하는 경우, 화면에 포함된 인물에 해당하는 모든 객체를 표시 대상 객체로 결정할 수 있다.
예를 들면, 영상표시장치(100)는, 사용자 입력에 대응하는 화면상 위치에 문자, 숫자 및/또는 기호에 해당하는 객체가 존재하는 경우, 화면에 포함된 객체 중, 명칭에 해당 문자, 숫자 및/또는 기호가 포함되는 객체를 표시 대상 객체로 결정할 수 있다.
다시 도 4a를 참조하면, 영상표시장치(100)는, S460 동작에서, 표시 대상 객체가 결정되었는지 여부를 확인할 수 있다.
영상표시장치(100)는, S470 동작에서, 표시 대상 객체가 결정된 경우, 디스플레이(180)를 통해 출력되는 UI를 통해, 표시 대상 객체에 대한 정보를 출력할 수 있다. 이와 관련하여, 도 6a 내지 7b를 참조하여 설명하도록 한다.
도 6a 및 6b를 참조하면, 영상표시장치(100)가 디스플레이(180)를 통해 컨텐츠를 출력하는 동안, 사용자가 원격제어장치(200)에 대응하는 포인터(205)를 화면에 포함된 인물에 해당하는 객체의 위치로 이동시킨 후, 원격제어장치(200)의 사용자 입력부(230)에 구비된 특정 버튼(예: 홈 버튼)을 소정 시간 이상 누르는 경우, 영상표시장치(100)는 사용자 입력에 대응하는 화면상 위치에 인물에 해당하는 객체가 존재하는 것을 확인할 수 있다.
또한, 영상표시장치(100)는, 화면에 포함된 인물에 해당하는 모든 객체를 표시 대상 객체로 결정할 수 있고, 표시 대상 객체에 대한 정보 중, 표시 대상 객체 각각에 대응하는 썸네일 이미지(610, 620)를 UI를 통해 출력할 수 있다. 이때, 영상표시장치(100)는, 표시 대상 객체 각각에 대응하는 썸네일 이미지(610, 620)가 사용자 입력에 대응하는 위치인 포인터(205)에 인접하여 배치되도록, UI를 출력할 수 있다.
도 7a 및 7b를 참조하면, 영상표시장치(100)가 디스플레이(180)를 통해 컨텐츠를 출력하는 동안, 사용자가 원격제어장치(200)에 대응하는 포인터(205)를 화면에 포함된 의류에 해당하는 객체의 위치로 이동시킨 후, 원격제어장치(200)의 사용자 입력부(230)에 구비된 특정 버튼(예: 홈 버튼)을 소정 시간 이상 누르는 경우, 영상표시장치(100)는 사용자 입력에 대응하는 화면상 위치에 의류에 해당하는 객체가 존재하는 것을 확인할 수 있다.
또한, 영상표시장치(100)는, 화면에 포함된 의류에 해당하는 모든 객체를 표시 대상 객체로 결정할 수 있고, 표시 대상 객체에 대한 정보 중, 표시 대상 객체 각각에 대응하는 썸네일 이미지(710, 720)를 UI를 통해 출력할 수 있다. 이때, 영상표시장치(100)는, 표시 대상 객체 각각에 대응하는 썸네일 이미지(710, 720)가 사용자 입력에 대응하는 위치인 포인터(205)에 인접하여 배치되도록, UI를 출력할 수 있다.
한편, 표시 대상 객체 중, 객체에 대한 데이터에 강조하여 표시되도록 기 설정된 객체, 예컨대, 상품 홍보 대상인 의류가 존재하는 경우, 영상표시장치(100)는, 강조 표시 대상인 객체에 대응하는 썸네일 이미지(710)와 나머지 표시 대상 객체에 대응하는 썸네일 이미지(720)가 서로 구분되도록 UI를 출력할 수 있다. 예를 들면, 영상표시장치(100)는, 강조 표시 대상인 객체에 대응하는 썸네일 이미지(710)와 강조 표시 대상임을 나타내는 기호(715)를 함께 출력할 수 있다.
다시 도 4a를 참조하면, 영상표시장치(100)는, S480 동작에서, 표시 대상 객체가 결정되지 않은 경우, 디스플레이(180)를 통해 출력되는 UI를 통해, 화면에 포함된 객체에 대한 리스트를 표시할 수 있다. 여기서, 객체에 대한 리스트는, 객체에 대한 데이터에 포함된, 화면에 포함된 객체들에 대한 정보가 포함된 리스트를 의미할 수 있다.
즉, 영상표시장치(100)는, 화면에 포함된 객체를 각각 식별한 결과에 기초하여, 사용자 입력에 대응하는 화면상 위치에 어떠한 객체도 존재하지 않는 것으로 판단한 경우, 표시 대상 객체를 결정하지 않고, 화면에 포함된 객체에 대한 리스트를 표시할 수 있다. 이와 관련하여, 도 8a 및 8b를 참조하여 설명하도록 한다.
도 8a 및 8b를 참조하면, 영상표시장치(100)가 디스플레이(180)를 통해 컨텐츠를 출력하는 동안, 사용자가 원격제어장치(200)에 대응하는 포인터(205)를 화면의 배경에 해당하는 위치로 이동시킨 후, 원격제어장치(200)의 사용자 입력부(230)에 구비된 특정 버튼(예: 홈 버튼)을 소정 시간 이상 누르는 경우, 영상표시장치(100)는 사용자 입력에 대응하는 화면상 위치에 식별된 객체가 존재하지 않는 것으로 판단할 수 있다.
이때, 영상표시장치(100)는, 객체에 대한 리스트(810)가, 사용자 입력에 대응하는 위치인 포인터(205)에 인접하여 배치되도록, UI를 출력할 수 있다.
상기와 같이, 본 발명의 다양한 실시예에 따르면, 사용자가 특정 시점의 화면에 포함된 객체에 대한 정보를 요청하는 경우, 단순히 전자 프로그램 가이드(EPG)의 특정 시점에 매핑된 정보를 제공하지 않고, 특정 시점의 화면에 대응하는 이미지의 해시 값 등을 생성하여, 다양한 방식으로 화면에 포함된 객체에 대한 데이터를 획득함으로써, 영상표시장치(100)를 통해 컨텐츠가 출력되는 시점과 기존에 전자 프로그램 가이드(EPG)의 타임라인에서 예정되어 있던 시점 간에 오차가 발생하는 경우에도, 해당 화면에 대한 정보를 정확히 제공할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 영상표시장치(100)를 통해 컨텐츠가 출력될 때마다, 서버(400)로부터 해당 컨텐츠에 대응하는 최적의 학습 모델을 수신 및 저장하고, 사용자가 특정 시점의 화면에 포함된 객체에 대한 정보를 요청하는 경우, 해당 컨텐츠에 대응하는 학습 모델을 이용하여 객체 인식을 수행함에 따라, 화면에 포함된 객체를 보다 신속하게 식별하여, 식별된 객체에 대응하는 정보를 빠르게 제공할 수 있고, 객체 인식을 위한 연산의 부하를 줄일 수 있다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명의 영상표시장치 및 그 동작방법은, 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (20)

  1. 영상표시장치에 있어서,
    디스플레이;
    네트워크를 통한 통신을 수행하는 네트워크 인터페이스부; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 디스플레이를 통해 제1 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 상기 디스플레이를 통해 출력되는 화면에 대한 데이터를 생성하고,
    상기 네트워크 인터페이스부를 통해, 상기 화면에 대한 데이터에 대응하는, 화면에 포함된 객체에 대한 데이터를 제1 서버로부터 획득하고,
    상기 객체에 대한 데이터에 기초하여, 상기 화면에 포함된 객체 중, 상기 사용자 입력에 대응하는 위치와 관련된 적어도 하나의 제1 객체를 결정하고,
    상기 디스플레이를 통해, 상기 적어도 하나의 제1 객체에 대한 사용자 인터페이스(User Interface, UI)를 출력하는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 디스플레이를 통해 출력되는 화면을 캡쳐하여, 상기 캡쳐된 화면에 대응하는 이미지의 해시 값을, 상기 화면에 대한 데이터로서 산출하고,
    상기 네트워크 인터페이스부를 통해, 상기 산출된 해시 값을 포함하는 신호를 상기 제1 서버에 전송하고,
    상기 네트워크 인터페이스부를 통해, 상기 산출된 해시 값에 대응하는, 상기 객체에 대한 데이터를 상기 제1 서버로부터 수신하는 것을 특징으로 하는 영상표시장치.
  3. 제2항에 있어서,
    인공지능을 이용하여 미리 학습된 객체에 관한 학습 모델을 적어도 하나 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 학습 모델에 기초하여, 상기 화면에 포함된 객체를 각각 식별하고,
    상기 화면에 포함된 객체를 각각 식별한 결과에 기초하여, 상기 화면에 포함된 객체 중 상기 사용자 입력에 대응하는 위치에 해당하는 제2 객체를 확인하고,
    상기 객체에 대한 데이터에 포함된 객체 중, 상기 제2 객체에 대응하는 객체를 상기 제1 객체로 결정하는 것을 특징으로 하는 영상표시장치.
  4. 제3항에 있어서,
    상기 학습 모델은, 상기 화면에 포함된 객체의 타입을 각각 식별하도록 학습된 학습 모델이고,
    상기 제어부는,
    상기 학습 모델에 따라, 상기 화면에 포함된 객체의 타입을 각각 확인하고,
    상기 화면에 포함된 객체의 타입을 각각 확인한 결과에 기초하여, 상기 제2 객체의 타입을 확인하고,
    상기 객체에 대한 데이터에 포함된 객체 중, 상기 제2 객체의 타입에 대응하는 객체를 상기 제1 객체로 결정하는 것을 특징으로 하는 영상표시장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 디스플레이를 통해 제1 컨텐츠가 출력되는 경우, 상기 네트워크 인터페이스부를 통해, 상기 제1 컨텐츠의 식별자를 포함하는 데이터를 제2 서버에 전송하고,
    상기 네트워크 인터페이스부를 통해, 상기 제1 컨텐츠의 식별자에 대응하는 적어도 하나의 제1 학습 모델을 상기 제2 서버로부터 수신하여, 상기 저장부에 저장하는 것을 특징으로 하는 영상표시장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 디스플레이를 통해 제2 컨텐츠가 출력되는 경우, 상기 네트워크 인터페이스부를 통해, 상기 제2 컨텐츠의 식별자를 포함하는 데이터를 제2 서버에 전송하고,
    상기 네트워크 인터페이스부를 통해, 상기 제2 컨텐츠의 식별자에 대응하는 적어도 하나의 제2 학습 모델을 상기 제2 서버로부터 수신하여, 상기 저장부에 저장하고,
    상기 저장부에 저장된 상기 제1 학습 모델을 삭제하는 것을 특징으로 하는 영상표시장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 학습 모델에 기초하여 상기 화면에 포함된 객체가 식별되지 않는 경우, 상기 네트워크 인터페이스부를 통해, 상기 캡쳐된 화면에 대응하는 이미지에 대한 데이터를 상기 제2 서버에 전송하고,
    상기 네트워크 인터페이스부를 통해, 상기 캡쳐된 화면에 포함된 객체를 각각 식별한 결과에 대한 데이터를 상기 제2 서버로부터 수신하고,
    상기 제2 서버로부터 수신된 상기 화면에 포함된 객체를 각각 식별한 결과에 기초하여, 상기 화면에 포함된 객체 중 상기 제2 객체를 확인하는 것을 특징으로 하는 영상표시장치.
  8. 제6항에 있어서,
    상기 제어부는,
    상기 학습 모델에 기초하여 상기 제2 객체가 확인되지 않는 경우, 상기 제1 객체 대신, 상기 객체에 대한 데이터에 포함된 객체에 대한 리스트가 표시되도록, 상기 UI를 출력하는 것을 특징으로 하는 영상표시장치.
  9. 제2항에 있어서,
    상기 제1 서버로부터 수신되는 상기 객체에 대한 데이터는, 상기 화면에 포함된 객체에 대응하는 썸네일 이미지를 포함하고,
    상기 제어부는,
    상기 적어도 하나의 제1 객체 각각에 대응하는 썸네일 이미지가, 상기 사용자 입력에 대응하는 위치에 인접하여 배치되도록, 상기 UI를 출력하는 것을 특징으로 하는 영상표시장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 화면에 포함된 객체에 대한 데이터에 기초하여, 상기 적어도 하나의 제1 객체 중 강조 표시 대상인 제3 객체가 존재하는지 여부를 확인하고,
    상기 제3 객체가 적어도 하나 존재하는 경우, 상기 제3 객체와 상기 제3 객체를 제외한 나머지 제1 객체가 서로 구분되도록, 상기 UI를 출력하는 것을 특징으로 하는 영상표시장치.
  11. 영상표시장치의 동작방법에 있어서,
    상기 영상표시장치의 디스플레이를 통해 제1 컨텐츠가 출력되는 동안 기 설정된 사용자 입력이 수신되는 경우, 상기 디스플레이를 통해 출력되는 화면에 대한 데이터를 획득하는 동작;
    상기 영상표시장치의 네트워크 인터페이스부를 통해, 상기 화면에 대한 데이터에 대응하는, 화면에 포함된 객체에 대한 데이터를 제1 서버로부터 획득하는 동작;
    상기 객체에 대한 데이터에 기초하여, 상기 화면에 포함된 객체 중, 상기 사용자 입력에 대응하는 위치와 관련된 적어도 하나의 제1 객체를 결정하는 동작; 및
    상기 디스플레이를 통해, 상기 적어도 하나의 제1 객체에 대한 사용자 인터페이스(User Interface, UI)를 출력하는 동작을 포함하는 영상표시장치의 동작방법.
  12. 제11항에 있어서,
    상기 화면에 대한 데이터를 생성하는 동작은, 상기 디스플레이를 통해 출력되는 화면을 캡쳐하여, 상기 캡쳐된 화면에 대응하는 이미지의 해시 값을 산출하는 동작이고,
    상기 객체에 대한 데이터를 획득하는 동작은,
    상기 네트워크 인터페이스부를 통해, 상기 산출된 해시 값을 포함하는 신호를 상기 제1 서버에 전송하는 동작; 및
    상기 네트워크 인터페이스부를 통해, 상기 산출된 해시 값에 대응하는, 상기 객체에 대한 데이터를 상기 제1 서버로부터 수신하는 동작을 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  13. 제12항에 있어서,
    상기 적어도 하나의 제1 객체를 결정하는 동작은,
    상기 영상표시장치의 저장부에 저장된, 인공지능을 이용하여 미리 학습된 객체에 관한 학습 모델에 기초하여, 상기 화면에 포함된 객체를 각각 식별하는 동작;
    상기 화면에 포함된 객체를 각각 식별한 결과에 기초하여, 상기 화면에 포함된 객체 중 상기 사용자 입력에 대응하는 위치에 해당하는 제2 객체를 확인하는 동작; 및
    상기 객체에 대한 데이터에 포함된 객체 중, 상기 제2 객체에 대응하는 객체를 상기 제1 객체로 결정하는 동작을 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  14. 제13항에 있어서,
    상기 학습 모델은, 상기 화면에 포함된 객체의 타입을 각각 식별하도록 학습된 학습 모델이고,
    상기 화면에 포함된 객체를 각각 식별하는 동작은, 상기 학습 모델에 따라, 상기 화면에 포함된 객체의 타입을 각각 확인하는 동작이고,
    상기 제2 객체를 확인하는 동작은, 상기 화면에 포함된 객체의 타입을 각각 확인한 결과에 기초하여, 상기 제2 객체의 타입을 확인하는 동작이고,
    상기 제2 객체에 대응하는 객체를 상기 제1 객체로 결정하는 동작은, 상기 객체에 대한 데이터에 포함된 객체 중, 상기 제2 객체의 타입에 대응하는 객체를 상기 제1 객체로 결정하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  15. 제13항에 있어서,
    상기 디스플레이를 통해 제1 컨텐츠가 출력되는 경우, 상기 네트워크 인터페이스부를 통해, 상기 제1 컨텐츠의 식별자를 포함하는 데이터를 제2 서버에 전송하는 동작; 및
    상기 네트워크 인터페이스부를 통해, 상기 제1 컨텐츠의 식별자에 대응하는 적어도 하나의 제1 학습 모델을 상기 제2 서버로부터 수신하여, 상기 저장부에 저장하는 동작을 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  16. 제15항에 있어서,
    상기 디스플레이를 통해 제2 컨텐츠가 출력되는 경우, 상기 네트워크 인터페이스부를 통해, 상기 제2 컨텐츠의 식별자를 포함하는 데이터를 제2 서버에 전송하는 동작;
    상기 네트워크 인터페이스부를 통해, 상기 제2 컨텐츠의 식별자에 대응하는 적어도 하나의 제2 학습 모델을 상기 제2 서버로부터 수신하여, 상기 저장부에 저장하는 동작; 및
    상기 저장부에 저장된 상기 제1 학습 모델을 삭제하는 동작을 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  17. 제16항에 있어서,
    상기 학습 모델에 기초하여 상기 화면에 포함된 객체가 식별되지 않는 경우, 상기 네트워크 인터페이스부를 통해, 상기 캡쳐된 화면에 대응하는 이미지에 대한 데이터를 상기 제2 서버에 전송하는 동작; 및
    상기 네트워크 인터페이스부를 통해, 상기 캡쳐된 화면에 포함된 객체를 각각 식별한 결과에 대한 데이터를 상기 제2 서버로부터 수신하는 동작을 더 포함하고,
    상기 제2 객체를 확인하는 동작은, 상기 제2 서버로부터 수신된 상기 화면에 포함된 객체를 각각 식별한 결과에 기초하여, 상기 화면에 포함된 객체 중 상기 제2 객체를 확인하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  18. 제16항에 있어서,
    상기 UI를 출력하는 동작은, 상기 제2 객체가 확인되지 않는 경우, 상기 제1 객체 대신, 상기 객체에 대한 데이터에 포함된 객체에 대한 리스트가 표시되도록 상기 UI를 출력하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  19. 제12항에 있어서,
    상기 제1 서버로부터 수신되는 상기 객체에 대한 데이터는, 상기 화면에 포함된 객체에 대응하는 썸네일 이미지를 포함하고,
    상기 UI를 출력하는 동작은, 상기 적어도 하나의 제1 객체 각각에 대응하는 썸네일 이미지가, 상기 사용자 입력에 대응하는 위치에 인접하여 배치되도록 상기 UI를 출력하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
  20. 제19항에 있어서,
    상기 UI를 출력하는 동작은,
    상기 화면에 포함된 객체에 대한 데이터에 기초하여, 상기 적어도 하나의 제1 객체 중 강조 표시 대상인 제3 객체가 존재하는지 여부를 확인하는 동작을 더 포함하고,
    상기 UI를 출력하는 동작은, 상기 제3 객체가 적어도 하나 존재하는 경우, 상기 제3 객체와 상기 제3 객체를 제외한 나머지 제1 객체가 서로 구분되도록, 상기 UI를 출력하는 동작인 것을 특징으로 하는 영상표시장치의 동작방법.
PCT/KR2020/007259 2020-06-04 2020-06-04 영상표시장치 및 그 동작방법 WO2021246549A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20939311.5A EP4164234A4 (en) 2020-06-04 2020-06-04 IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREOF
US18/008,415 US20230232064A1 (en) 2020-06-04 2020-06-04 Image display device and operation method thereof
PCT/KR2020/007259 WO2021246549A1 (ko) 2020-06-04 2020-06-04 영상표시장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/007259 WO2021246549A1 (ko) 2020-06-04 2020-06-04 영상표시장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
WO2021246549A1 true WO2021246549A1 (ko) 2021-12-09

Family

ID=78830429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007259 WO2021246549A1 (ko) 2020-06-04 2020-06-04 영상표시장치 및 그 동작방법

Country Status (3)

Country Link
US (1) US20230232064A1 (ko)
EP (1) EP4164234A4 (ko)
WO (1) WO2021246549A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301856A (ja) * 2005-04-19 2006-11-02 Canon Inc 文書管理システム及びその履歴管理方法並びにプログラム
KR20100002759A (ko) * 2008-06-30 2010-01-07 주식회사 케이티 동영상 객체정보를 활용한 ｖｏｄ 추천서비스 제공방법 및시스템
KR20110076089A (ko) * 2009-12-29 2011-07-06 엔에이치엔(주) 이미지 중복 제거시의 대표 이미지 선택 방법 및 시스템
KR20130081595A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그 검색 방법
US20190158922A1 (en) * 2012-01-04 2019-05-23 Google Llc Systems and methods of image searching

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009137368A2 (en) * 2008-05-03 2009-11-12 Mobile Media Now, Inc. Method and system for generation and playback of supplemented videos
US9407973B2 (en) * 2009-12-02 2016-08-02 At&T Intellectual Property I, L.P. System and method to identify an item depicted when media content is displayed
KR101562588B1 (ko) * 2010-01-26 2015-10-23 엘지전자 주식회사 정보 제공 장치 및 그 방법
WO2018131875A1 (en) * 2017-01-11 2018-07-19 Samsung Electronics Co., Ltd. Display apparatus and method for providing service thereof
US11272256B2 (en) * 2018-12-14 2022-03-08 Grabit Interactive Media, Inc. Connected interactive content data creation, organization, distribution and analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301856A (ja) * 2005-04-19 2006-11-02 Canon Inc 文書管理システム及びその履歴管理方法並びにプログラム
KR20100002759A (ko) * 2008-06-30 2010-01-07 주식회사 케이티 동영상 객체정보를 활용한 ｖｏｄ 추천서비스 제공방법 및시스템
KR20110076089A (ko) * 2009-12-29 2011-07-06 엔에이치엔(주) 이미지 중복 제거시의 대표 이미지 선택 방법 및 시스템
US20190158922A1 (en) * 2012-01-04 2019-05-23 Google Llc Systems and methods of image searching
KR20130081595A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그 검색 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4164234A4 *

Also Published As

Publication number Publication date
EP4164234A1 (en) 2023-04-12
EP4164234A4 (en) 2024-04-10
US20230232064A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
WO2012070812A2 (en) Control method using voice and gesture in multimedia device and multimedia device thereof
WO2014025219A1 (en) Portable terminal device and method for operating the same
WO2015030347A1 (ko) 영상 표시 기기 및 그 동작 방법
WO2014046411A1 (en) Image display apparatus, server and method for operating the same
WO2017188585A1 (en) Display device and method of operating the same
WO2011028073A2 (en) Image display apparatus and operation method therefore
WO2015119389A1 (en) User terminal and control method thereof
WO2015194697A1 (en) Video display device and operating method thereof
WO2015037767A1 (en) Image display apparatus and method for operating the same
WO2015046724A1 (en) Image display apparatus, server for synchronizing contents, and method for operating the server
WO2016043448A1 (en) Display apparatus and method of displaying indicator thereof
WO2017188568A1 (en) Display device for providing scrap function and method of operating the same
WO2021246549A1 (ko) 영상표시장치 및 그 동작방법
WO2012020945A2 (ko) 영상표시기기의 데이터 입력 방법 및 그에 따른 영상표시기기
WO2021261612A1 (ko) 영상표시장치 및 그 동작방법
WO2021029453A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021029469A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023042927A1 (ko) 영상표시장치 및 그 동작방법
WO2022149676A1 (ko) 영상표시장치 및 그 동작방법
WO2023200033A1 (ko) 영상표시장치 및 그 동작방법
WO2019182255A1 (ko) 영상 표시 장치 및 그것의 제어 방법
WO2021221213A1 (ko) 영상표시장치 및 그 동작방법
WO2021221215A1 (ko) 영상표시장치, 시스템 및 그의 동작방법
WO2021246552A1 (ko) 서버 및 이를 포함하는 시스템
WO2022181862A1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20939311

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020939311

Country of ref document: EP

Effective date: 20230104