WO2019203370A1 - 멀티미디어 디바이스 및 그 제어방법 - Google Patents

멀티미디어 디바이스 및 그 제어방법 Download PDF

Info

Publication number
WO2019203370A1
WO2019203370A1 PCT/KR2018/004381 KR2018004381W WO2019203370A1 WO 2019203370 A1 WO2019203370 A1 WO 2019203370A1 KR 2018004381 W KR2018004381 W KR 2018004381W WO 2019203370 A1 WO2019203370 A1 WO 2019203370A1
Authority
WO
WIPO (PCT)
Prior art keywords
banner
image
display device
output
group
Prior art date
Application number
PCT/KR2018/004381
Other languages
English (en)
French (fr)
Inventor
정은경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2018/004381 priority Critical patent/WO2019203370A1/ko
Publication of WO2019203370A1 publication Critical patent/WO2019203370A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Definitions

  • the present invention relates to a multimedia device and a control method thereof, and for example, to a technique for finding a banner timing provided by a set-top box in a display device.
  • Digital TV services using only wired or wireless communication are becoming common.
  • Digital TV service can provide a variety of services that could not be provided in the conventional analog broadcasting service.
  • IPTV Internet Protocol Television
  • smart TV service provide bidirectionality that allows a user to actively select a type of viewing program and a viewing time.
  • IPTV, smart TV services can provide a variety of additional services, such as Internet search, home shopping, online games based on this interactive.
  • the present invention is applicable to a multimedia device, in the present specification, for convenience of description, the TV and the STB will be described as an example.
  • a conventional TV may be connected to a set top box to provide a broadcast program input from the set top box.
  • the TV may acquire Electronic Program Guide (EPG) information from the set top box, the TV may not know the channel number of the broadcast program that the user is currently watching.
  • EPG Electronic Program Guide
  • a method of recognizing a channel number in a banner provided by a set top box may be considered. In this case, it is necessary to capture the screen including the banner.
  • the timing of outputting the banner after changing the channel varies depending on the type and environment of the set-top box, and when the capture timing is uniformly determined, there is a problem that the channel number recognition rate is significantly lowered.
  • An embodiment of the present invention is to provide a multi-media device that can find the banner timing provided by the set-top box after the channel change and a control method thereof.
  • an image including a banner is acquired to recognize a channel number.
  • a display device receives a user input interface for receiving a control signal from a remote controller, a memory for storing at least one data, and at least one signal from a set top box (STB) connected to the display device.
  • An external device interface for outputting video data included in the received at least one signal, and a controller for controlling the user input interface, the memory, the external device interface, and the display module.
  • the channel is changed in response to the received control signal, captures more than a predetermined number of images output to the display module, and outputs the graphic data provided by the STB through the color change amount between the captured images.
  • a display device for acquiring a liver is provided.
  • the graphic data provided by the STB may be a translucent or opaque banner overlaid on the video data.
  • the controller collects peripheral pixel information based on one pixel together to classify pixels having a color change amount corresponding to an opaque or semi-transparent banner characteristic into effective pixels, and group the effective pixels. Recognizing a candidate group of the banner may be characterized.
  • the opaque banner property is when the opaque banner is overlaid on the video data, the overlaid pixel has a preset color value, and the translucent banner property is when the translucent banner is overlaid on the video data, the overlaid pixel is at the maximum value. It is variable over a preset range, and the difference between the maximum value and the median value and the median value and the maximum value may be varied within the preset range.
  • the controller may filter the candidate group of the banner using at least one of a banner ratio, a banner size, a banner shape, a banner position, and a scatter plot of the effective pixels.
  • the controller may select a candidate group obtained one or two times from the captured images of the predetermined number of candidate groups as the candidate group by the actual banner.
  • the controller may be configured to exclude candidate groups that are continuously acquired from a predetermined number of the captured images among the filtered candidate groups, or the acquired positions or shapes vary from candidate groups that determine the output time of the banner. .
  • the controller may define an image including the selected candidate group as a first captured image in the captured images acquired sequentially, the predetermined number of images including the first captured image and turned on before the first captured image. Is defined as a first group image, a captured image immediately after the first captured image is defined as a second captured image, and includes a predetermined number of images including the second captured image and captured after the second captured image. May be defined as a second group image, and the number of common singularities between the first group image and the second group image may be compared to determine a group in which the banner is output.
  • the controller determines a time at which the banner is output through a capture time of the second captured image, and wherein the first group image is the first group image.
  • the time when the banner disappears may be determined based on the capture time of the second captured image.
  • the display device control method for determining the output time of the banner provided by the connected STB, receiving a channel change signal through a remote controller, receiving the channel change signal Capturing an image output to a display module after a predetermined number or more, recognizing the banner through the color change amount between the captured images, and re-receiving a channel change IR signal when the banner is not recognized; And a time information outputting the banner after changing the channel.
  • Recognizing the banner may include distinguishing effective pixels based on the amount of color change between the captured images, grouping the effective pixels, and recognizing a banner candidate group, and using the recognized candidate group as a ratio, size, shape, position, and the like of the banner. Filtering through at least one of the scatter plots of the effective pixels, selecting a candidate group obtained once from the captured number of the captured images among the filtered candidate groups as a candidate group by an actual banner, the selected candidate group and the capture And determining the time at which the banner is output through the capture time of the captured image.
  • the method may further include receiving time information on which the banner is output through a network interface after determining the time at which the banner is output.
  • the display device may find the timing at which the banner is output, regardless of the type or situation of the STB connected to the display device.
  • the display device may acquire an image including the banner through a timing at which the banner is output.
  • the display device may recognize a channel through an image including a banner, and flexibly detect the timing at which the banner is output, thereby improving channel recognition rate.
  • the display device may recognize the position of the banner in the process of detecting the timing at which the banner is output, thereby shortening the time required for channel recognition.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an exemplary embodiment.
  • FIG. 2 is a block diagram illustrating a detailed configuration of the remote controller of FIG. 1 according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining the configuration of the entire system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of finding a time at which a banner is output after a channel change by a display device according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a method of recognizing a banner through color change between images captured in FIG. 4.
  • FIG. 6 is a conceptual diagram illustrating a method of recognizing a banner through color change between captured images according to an embodiment of the present invention.
  • FIG. 7 is a table for explaining translucent features of a banner used to recognize a banner through color change between captured images.
  • FIG. 8 is a conceptual diagram illustrating a method of recognizing a banner candidate group by grouping effective pixels corresponding to a characteristic of an opaque or translucent banner on a display according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram illustrating a method of filtering the candidate group recognized in FIG. 8.
  • FIG. 10 is a conceptual diagram illustrating a method of selecting a candidate group corresponding to a color change by an actual banner from a filtered candidate group according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating a method of finding a time at which a banner is output through a number of common singularities of a selected candidate group and a captured image according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an entire process of a display device finding a timing at which a banner appears after channel switching according to an embodiment of the present invention.
  • the display device is, for example, an intelligent display device in which a computer support function is added to a broadcast reception function.
  • a more convenient interface such as a space remote controller can be provided.
  • it is connected to the Internet and a computer with the support of a wired or wireless Internet function, and can perform functions such as e-mail, web browsing, banking, or gaming. Standardized general-purpose operating systems can be used for these various functions.
  • the display device described in the present invention can be freely added or deleted, for example, on a general-purpose OS kernel, so that various user-friendly functions can be performed.
  • the display device may be, for example, a network TV, an HBBTV, a smart TV, an LED TV, an OLED TV, or the like, and may be applicable to a smartphone in some cases.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an exemplary embodiment.
  • the display device 100 includes a broadcast receiving module 130, an external device interface 135, a memory 140, a user input interface 150, a controller 170, a wireless communication module 173,
  • the display module 180, the audio output module 185, and the power supply module 190 may be included.
  • the broadcast receiving module 130 may include a tuner 131, a demodulator 132, and a network interface 133.
  • the tuner 131 may tune a specific broadcast channel according to the channel tuning sequence.
  • the tuner 131 may receive a broadcast signal for a tuned specific broadcast channel.
  • the demodulator 132 may separate the received broadcast signal into a video signal, an audio signal, and a data signal associated with a broadcast program, and may restore the separated video signal, the audio signal, and the data signal into a form capable of outputting the broadcast signal.
  • the external device interface 135 may receive an application or a list of applications in a neighboring external device and transmit the received application to the controller 170 floating memory 140.
  • the external device interface 135 may provide a connection path between the display device 100 and the external device.
  • the external device interface 135 may receive one or more of an image and an audio output from an external device connected to the display device 100 by wireless or wired, and transmit it to the controller 170.
  • the external device interface 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more High Definition Multimedia Interface (HDMI) terminals, and a component terminal.
  • HDMI High Definition Multimedia Interface
  • the image signal of the external device input through the external device interface 135 may be output through the display module 180.
  • the voice signal of the external device input through the external device interface 135 may be output through the audio output module 185.
  • the external device connectable to the external device interface 135 may be any one of a set top box, a Blu-ray player, a DVD player, a game machine, a sound bar, a smartphone, a PC, a USB memory, a home theater, but this is merely an example.
  • the network interface 133 may provide an interface for connecting the display device 100 to a wired / wireless network including an internet network.
  • the network interface 133 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • some content data stored in the display device 100 may be transmitted to a user selected from another user or another electronic device registered in advance in the display device 100 or the selected electronic device.
  • the network interface 133 may access a predetermined web page through the connected network or another network linked to the connected network. That is, by accessing a predetermined web page through the network, it is possible to send or receive data with the server.
  • the network interface 133 may receive content or data provided by a content provider or a network operator. That is, the network interface 133 may receive content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • the network interface 133 may receive the update information and the update file of the firmware provided by the network operator, and may transmit data to the Internet or the content provider or the network operator.
  • the network interface 133 may select and receive a desired application from among applications open to the public through the network.
  • the mevory 140 may store a program for processing and controlling each signal in the controller 170, and may store a signal-processed video, audio, or data signal.
  • the memory 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface 135 or the network interface 133. Information can be stored.
  • the memory 140 may store an application or an application list input from the external device interface 135 or the network interface 133.
  • the display device 100 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the memory 140 to the user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • the user input interface 150 may transmit a signal input by the user to the controller 170 or may transmit a signal from the controller 170 to the user.
  • the user input interface 150 may be configured according to various communication methods such as Bluetooth, Ultra-Wideband, ZigBee, Radio Frequency (RF), or Infrared (IR) communication.
  • the controller may receive and process a control signal such as power on / off, channel selection, screen setting, etc. from the remote controller 400, or transmit a control signal from the controller 170 to the remote controller 400.
  • the user input interface 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a setting key to the controller 170.
  • a local key such as a power key, a channel key, a volume key, and a setting key
  • the image signal processed by the controller 170 may be input to the display module 180 and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170 may be input to the external output device through the external device interface 135.
  • the voice signal processed by the controller 170 may be audio output to the audio output module 185.
  • the voice signal processed by the controller 170 may be input to the external output device through the external device interface 135.
  • controller 170 may control overall operations of the display device 100.
  • controller 170 may control the display device 100 by a user command or an internal program input through the user input interface 150, and access the network to display an application or a list of applications desired by the user. 100) can be downloaded into.
  • the controller 170 enables the channel information selected by the user to be output through the display module 180 or the audio output module 185 together with the processed video or audio signal.
  • the controller 170 may output an image signal from an external device, for example, a camera or a camcorder, input through the external device interface 135 according to an external device image playback command received through the user input interface 150.
  • the voice signal may be output through the display module 180 or the audio output module 185.
  • the controller 170 may control the display module 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input image input through the external device interface 135. Or, an image input through the network interface 133 or an image stored in the memory 140 may be displayed on the display module 180.
  • the image displayed on the display module 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the controller 170 may control the content stored in the display device 100, the received broadcast content, or the external input content input from the outside to be played, and the broadcast image, the external input image, the audio file, It may be in various forms such as a still image, a connected web screen, and a wireless file.
  • the wireless communication module 173 may communicate with an external device through wireless communication.
  • the wireless communication module 173 may perform short range communication with an external device.
  • the wireless communication module 173 may include Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, Near Field Communication (NFC), Wi
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra-Wideband
  • ZigBee Near Field Communication
  • NFC Near Field Communication
  • Wi A short-range communication may be supported using at least one of Wi-Fidelity (Fi), Wi-Fi Direct, and Wireless Universal Serial Bus (Wireless USB) technologies.
  • Such a wireless communication module 173 is provided between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or through the display area 100 through a wireless area network. And wireless communication between the network in which the display device 100 or the external server is located.
  • the local area network may be
  • the other display device 100 is a wearable device capable of exchanging (or interworking) data with the display device 100 according to the present invention (eg, smartwatch, smart glass). (smart glass), head mounted display (HMD), and a mobile terminal such as a smart phone.
  • the wireless communication module 173 may sense (or recognize) a communicable wearable device around the display device 100. Further, when the detected wearable device is a device that is authenticated to communicate with the display device 100 according to the present invention, the controller 170 may transmit at least a part of data processed by the display device 100 to the wireless communication module 173. It can be transmitted to the wearable device through. Therefore, a user of the wearable device may use data processed by the display device 100 through the wearable device.
  • the display module 180 converts an image signal, a data signal, an OSD signal processed by the controller 170, or an image signal, data signal, etc. received from the external device interface 135 into R, G, and B signals, respectively. Can be generated.
  • the display device 100 illustrated in FIG. 1 is only an embodiment of the present disclosure, some of the illustrated components may be integrated, added, or omitted depending on the use of the display device 100 that is actually implemented. have.
  • two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • the display device 100 does not include the tuner 131 and the demodulator 132, and the network interface 133 or the external device interface 135. You can also receive and play back images.
  • the display device 100 may be divided into an image processing apparatus such as a set-top box, etc., for receiving broadcast signals or contents according to various network services, and a content reproduction apparatus for reproducing contents input from the image processing apparatus. Can be implemented.
  • an image processing apparatus such as a set-top box, etc.
  • a content reproduction apparatus for reproducing contents input from the image processing apparatus. Can be implemented.
  • the operation method of the display device according to an embodiment of the present invention described below is not only the display device 100 as described with reference to FIG. 1, but also an image processing apparatus or a display module such as the separated set-top box ( 180 may be performed by any one of the content reproducing apparatus having the audio output module 185.
  • FIG. 2 is a block diagram illustrating a configuration of the remote controller 400 of FIG. 1 according to an exemplary embodiment. Referring to FIG.
  • the remote controller 400 includes a fingerprint recognition unit 410, a wireless communication unit 420, a user input unit 430, a sensor unit 440, an output unit 450, a power supply unit 460,
  • the storage unit 470 and the controller 480 may be included.
  • the wireless communication unit 420 transmits and receives a signal with any one of the image display apparatus according to the embodiments of the present invention described above.
  • the display devices according to embodiments of the present invention one display device 100 will be described as an example.
  • the remote controller 400 includes an RF module 421 capable of transmitting and receiving a signal to and from the display device 100 according to the RF communication standard, and an IR capable of transmitting and receiving a signal to and from the display device 100 according to the IR communication standard.
  • Module 423 may be provided.
  • the remote controller 400 may include a Bluetooth module 425.
  • the remote controller 400 includes an NFC module 427 capable of transmitting and receiving signals to and from the display device 100 according to a Near Field Communication (NFC) communication standard, and a display device according to a wireless NAN (WLAN) communication standard.
  • a WLAN module 429 capable of transmitting and receiving a signal with the 100 may be provided.
  • the remote controller 400 transmits a signal containing information on the movements of the remote controller 400 to the display device 100 through the RF module 421.
  • the remote controller 400 may receive a signal transmitted from the display device 100 through the RF module 421. In addition, the remote controller 400 may transmit a command regarding power on / off, channel change, volume change, etc. to the remote controller 400 through the IR module 423 as necessary.
  • the user input unit 430 may include a keypad, a button, a touch pad, or a touch screen.
  • the user may input a command related to the display device 400 to the remote controller 400 by manipulating the user input unit 430.
  • the user input unit 430 includes a hard key button
  • the user may input a command related to the display device 100 to the remote controller 400 through a push operation of the hard key button.
  • the user input unit 430 includes a touch screen
  • a user may input a command related to the display device 100 to the remote controller 400 by touching a soft key of the touch screen.
  • the user input unit 430 may include various kinds of input means that the user can operate, such as a scroll key or a jog key, and the embodiment does not limit the scope of the present invention.
  • the sensor unit 440 may include a gyro sensor 441 or an acceleration sensor 443.
  • the gyro sensor 441 may sense information about the movement of the remote controller 400.
  • the gyro sensor 441 may sense information about an operation of the remote controller 400 based on the x, y, and z axes.
  • the acceleration sensor 443 may sense information about a moving speed of the remote controller 400.
  • a distance measuring sensor may be further provided, whereby the distance with the display module 180 (see FIG. 1) may be sensed.
  • the output unit 450 may output a video or audio signal corresponding to an operation of the user input unit 430 or a signal transmitted to the display device 100.
  • the user may recognize whether the user input unit 430 is manipulated or whether the display device 100 is controlled through the output unit 450.
  • the output unit 450 is an LED module 451 which is turned on when the user input unit 430 is manipulated or a signal is transmitted and received with the display device 100 through the wireless communication unit 420, and the vibration module 453 generating vibration. ), A sound output module 455 for outputting sound, or a display module 457 for outputting an image.
  • the power supply unit 460 supplies power to the remote controller 400.
  • the power supply unit 460 may reduce power waste by stopping the power supply when the remote controller 400 does not move for a predetermined time.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote controller 400 is operated.
  • the storage unit 470 may store various types of programs, application data, and the like necessary for controlling or operating the remote controller 400. If the remote controller 400 transmits and receives a signal wirelessly through the display device 100 and the RF module 421, the remote controller 400 and the display device 100 transmit and receive a signal through a predetermined frequency band.
  • the control unit 480 of the remote controller 400 may store and refer to the storage unit 470 for information about a frequency band for transmitting and receiving a signal wirelessly with the display device 100 paired with the remote controller 400.
  • the controller 480 controls various items related to the control of the remote controller 400.
  • the controller 480 may display a signal corresponding to a predetermined key manipulation of the user input unit 430 or a signal corresponding to the movement of the remote controller 400 sensed by the sensor unit 440 through the wireless communication unit 420. ) Can be sent.
  • FIG. 3 is a view for explaining the configuration of the entire system according to an embodiment of the present invention.
  • the entire system including the display device according to an embodiment of the present invention includes a display device 100, an external device 500, a remote controller 400, a server 600, and the like. It is also within the scope of the present invention to apply only some components as needed.
  • the external device 500 may be an STB
  • the remote controller 400 may be a universal remote controller capable of simultaneously controlling the display device 100 and the STB.
  • the STB may transmit the changed broadcast image to the display device 100, and the display device 100 may recognize that the channel has been changed.
  • the STB may provide a banner displaying broadcast image information in addition to the changed broadcast image.
  • the time at which the banner is output may be several seconds after the channel change, and may vary depending on environmental factors (for example, network conditions), UI change, and STB type.
  • the display device 100 may receive fixed time and location information for outputting a banner for each type of STB through the server 600. However, receiving the time and location information at which the banner is output through the server 600 may be inflexible.
  • the display device 100 assists in receiving time and position information on which the banner is output through the server 600 and finds time and position information on which the banner provided by the STB is output on the display device 100 itself. It is required, but the current state of the art does not provide a solution to solve this situation.
  • FIG. 4 is a flowchart illustrating a method of finding a time at which a banner is output after a channel change by a display device according to an exemplary embodiment.
  • the display device 100 may find a timing at which a banner is output after changing a channel by itself regardless of the type or situation of the connected STB.
  • the display device 100 may use the amount of color change between the captured images and the capture time to find a timing at which the banner is output.
  • the display device 100 may recognize the banner by changing the color between the captured images, and find the time at which the banner is output through the capture time of the captured image.
  • the display device 100 may capture an image output to the display module 180 after receiving the channel change signal from the remote controller 400 (see FIG. 1).
  • the display device 100 may proceed to capture until the captured image is equal to or greater than a preset number (S403).
  • the display device 100 may recognize the banner by changing the color between the captured image (S404).
  • the display device 100 recognizes the banner by comparing the color change between the captured images, at least two captured images are preferable.
  • the display device 100 may receive the channel switching signal from the remote controller again (S407). ).
  • the channel may not be changed.
  • the remote controller 400 may transmit a channel change signal through the IR signal, and the IR signal may not penetrate an object such as a human hand because of the straightness. Therefore, when there is an object between the remote controller 400 to which the IR signal is transmitted and the STB, or when the IR signal direction is not the STB direction, the STB may not provide the changed broadcast image and the banner.
  • time information at which the banner is output may be obtained through the time at which the image is captured (S406).
  • the time information at which the banner is output may be a time point at which the banner is output and an end time at which the banner is output.
  • the display device 100 may set a capture timing for acquiring an image including the banner after changing a channel through the time information on which the banner is output.
  • the display device 100 may acquire an image including a banner and easily recognize a channel number through the image including the banner.
  • the display device 100 may recognize at least one of position information or singularity of the banner in the process of determining the capture timing, thereby shortening the time required to recognize the channel number.
  • the display device 100 includes a user input interface 150 (refer to FIG. 1) for receiving a control signal from the remote controller 400 and a memory 140 for storing at least one data. 1), an external device interface 135 (refer to FIG. 1) to receive at least one signal from a set top box (STB) connected to the display device 100, and video data included in at least one signal received from the STB.
  • a display module 180 (see FIG. 1) for outputting the controller, and a controller 170 (see FIG. 1) for controlling the user input interface 150, the memory 140, the external device interface 135, and the display module 180.
  • the output time of the graphic data provided by the STB can be obtained through the amount of color change between the captured images.
  • the graphic data provided by the STB may be a translucent or opaque banner that is overlaid on the video data output to the display module 180.
  • FIG. 5 is a flowchart illustrating a method of recognizing a banner (S404 (see FIG. 4)) through color change between images captured in FIG. 4.
  • the display device may recognize the banner candidate group by using the features of the translucent or opaque banner in a manner of recognizing the banner through the color change between the captured images (S501).
  • the banner provided by the STB is displayed by being overlaid on the video data output to the display module 180 and may be semitransparent or opaque graphic data.
  • the display device may recognize a banner candidate group by collecting pixels (effective pixels) whose color values change due to the presence of translucent or opaque graphic data in the captured image. In this regard it will be described in detail with reference to Figures 7 and 8.
  • the display device may filter the recognized candidate group (S502). Filtering can be done through the ratio, size, shape, position of the banner and scatter plot of the effective pixels. In this regard it will be described in detail with reference to FIG.
  • the display device may select a candidate group displayed once in a predetermined number of captured images among the filtered candidate groups as the candidate group by the actual banner (S503).
  • the above process uses the feature that the banner is output after a certain time after the channel change and lasts for a predetermined time.
  • the candidate group by the actual banner may be displayed twice in the captured image.
  • the banner candidate group is a group of pixels whose color value changes with or without the banner, and may appear not only when the banner is overlaid after a certain time but also when the banner is overlaid and then disappears.
  • the display device may select a candidate group displayed twice in the preset number of captured images among the filtered candidate groups as the candidate group by the actual banner.
  • a candidate group displayed twice in the preset number of captured images among the filtered candidate groups as the candidate group by the actual banner.
  • the display device may select a candidate group based on the actual banner and divide the captured image based on the selected candidate group into front and rear groups (S504).
  • the banner candidate group may be obtained when the banner is outputted with information obtained by color change between the captured images or when the banner is overlaid in the middle. Therefore, the display device may display an actual banner based on the selected candidate group. You need to determine where the output is from before and after.
  • front and rear groups used herein may correspond to the first and second groups used below for ease of description.
  • the display device may determine a group in which the banner is output based on the number of common singularities in the front and rear groups divided based on the selected candidate group (S505).
  • the group including the banner in the before and after group has a greater number of common singularities, and the group including the banner can be determined using the group.
  • a banner is output to a later group based on the selected candidate group first appearing after the channel change without comparing the number of common singularities between the front and rear groups.
  • FIG. 6 is a conceptual diagram illustrating a method of recognizing a banner through color change between captured images according to an embodiment of the present invention.
  • the display device may recognize the banner 720 using the amount of color change between the captured images 700-1 to n.
  • the captured images 700-1 to n may be sequentially obtained after the channel change, and the captured images 700-1 to n of this conceptual diagram may be a part of the entire captured image obtained from the point of view of the channel change. have.
  • FIG. 6A illustrates a case in which the banner 720 is output in the middle of the captured images 700-1 to n.
  • the banner candidate group 730 may be recognized through the color change amount between the captured images 700-1 to n, and the banner candidate group 730 may be the first to display the color change amount between the captured images 700-1 to n. This can be confirmed through the data 710-1 to n-1.
  • the first data 710-1 to n-1 may include a banner candidate group 730 as data indicating an amount of color change between the captured images 700-1 to n.
  • the first data 710-1 to n-1 are data introduced for convenience of description, and the banner candidate group 730 may be regarded as included in the captured images 700-1 to n.
  • FIG. 6 (b) illustrates a case in which the banner 720 disappears in the middle of the captured images 700-1 to n. Since the banner candidate group 730 may recognize the color change amount of the captured images 700-1 to n, even when the banner 720 disappears, the banner candidate group 730 from the first data 710-1 to n. can confirm.
  • the display device of the present invention aims to extract a banner from various graphic data output through the display module.
  • the display device may recognize the banner candidate group 730 through pixels whose color values increase or decrease in the captured image.
  • the banner candidate group 730 may be recognized using a translucent or opaque banner feature.
  • the translucent or opaque banner 720 is overlaid on the broadcast video, the pixels displaying the banner 720 between the captured images 700-1 to n are changed in color.
  • the display device may recognize the banner candidate group 730 through whether the amount of color change between the captured images 700-1 to n corresponds to the case where the translucent or opaque banner 720 is overlaid.
  • the broadcast image is not output in the portion where the banner 720 is overlaid.
  • the opaque banner 720 does not change the output color during output. Therefore, the display device can easily recognize the banner candidate group 730 through the above feature.
  • the broadcast video is output even in a portion where the banner 720 is overlaid.
  • the broadcast image of the portion where the banner 720 is overlaid is output in a state where the color is corrected according to the translucent banner characteristic.
  • the display device may determine whether the banner 720 is present based on the extent to which the banner 720 is overlaid and the color value is corrected.
  • FIG. 7 is a table 800 for explaining translucent features of a banner used to recognize a banner through color changes between captured images.
  • One pixel displayed on the display module may include color information of red (R), green (G), and blue (B), and location information (x, y).
  • Pixels (x ', y') of the background image when the black translucent banner is overlaid the color value is reduced as a whole.
  • the translucent banner is not limited to black.
  • the color value may increase.
  • the black translucent banner is different from the black translucent banner only by increasing or decreasing the color value.
  • the maximum color value of the pixel may be smaller than 1/3.
  • the overlaid pixels (x, y) may be smaller than the difference between the minimum and the middle value and the middle and the maximum value of the color value within the preset range.
  • the overlaid pixels may have a smaller color value difference from adjacent neighboring pixels.
  • a pixel whose color value is changed may be defined as a valid pixel, and a group of valid pixels may be grouped to recognize a banner candidate group.
  • the display device may classify the pixels having the color change amount corresponding to the opaque or semi-transparent banner characteristics into effective pixels by collecting together the peripheral pixel information of the corresponding pixel based on one pixel in the captured images obtained sequentially.
  • the opaque banner property may be characterized in that when the opaque banner is overlaid on the background image, the overlaid pixel has a preset color value.
  • the translucent banner property is that when the translucent banner is overlaid on the background image, the overlaid pixel has a maximum value that is variable above a preset range, and a difference between a minimum value, a median value, and a median value and a maximum value varies within a length setting range.
  • the display device may recognize the banner candidate group by grouping the effective pixels.
  • the banner candidate group may be recognized by using a feature in which the color value decreases when the translucent banner is overlaid, but in some cases, may be recognized by using a feature in which the color value increases. This is because a black translucent banner may decrease the color value when it is overlaid, while a white translucent banner may increase the color value.
  • the first banner candidate group may be selected using a feature of decreasing color value
  • the second banner candidate group may be selected using a feature of increasing color value
  • the display device may determine the time at which the banner is output through each of the first banner candidate group and the second banner candidate group.
  • FIG. 8 is a conceptual diagram illustrating a method of recognizing a banner candidate group by grouping effective pixels corresponding to a characteristic of an opaque or translucent banner on a display according to an embodiment of the present invention.
  • the effective pixel 7301 is obtained by comparing the color with the next captured image in one captured image and can be regarded as included in the captured image. However, for convenience of explanation, the effective pixel 7301 is displayed on the first data 710-1 to n-1 (see FIG. 6) indicating the amount of color change between captured images.
  • the display device may group the effective pixels 7301 through, for example, an open source morphology technique.
  • an open source morphology technique for example, an open source morphology technique.
  • alternative techniques may be employed in the present invention.
  • the display device may determine the same group information by calculating the distance value between the effective pixels 7301, and form a boundary of the banner candidate group including the valid pixels determined to be the same group.
  • FIG. 8 illustrates an embodiment in which the effective pixel 7301 is grouped to recognize the banner first candidate 731 and the banner second candidate 732.
  • the effective pixel 7301 may be partially generated through the movement of an object or other graphic data in a broadcast image. Therefore, it is not desirable to select all of the effective fill cells 7301 as the banner candidate group, and a certain filtering process is required.
  • FIG. 9 is a conceptual diagram illustrating a method of filtering the candidate group recognized in FIG. 8.
  • FIG. 9 is a view illustrating a portion 700-a to a + 2 of a sequentially captured image, and data filtered by first data 710-a + 1 and first data 710-a + 1 representing the amount of color change thereof. Is shown.
  • Some of the captured images 700-a through a + 2 may include a plurality of graphic data 721, 722, and 723, which may be candidates for the banner, and thus the first a + 1 captured image 700-a.
  • the first data 710-a + 1 obtained through the color change amount between the a + 1) and the a + 2th captured image 700-a + 2 may include a plurality of banner candidate groups 731, 732, and 733. Can be.
  • the plurality of banner candidate groups 731, 732, and 733 may be filtered using at least one of a ratio of a banner, a banner size, a banner shape, a banner position, and a scatter plot of the effective pixels 7301 (see FIG. 8).
  • Filtering using the ratio of the banner may be performed whether the ratio of the height and width of the banner candidate group 730 satisfies the following condition.
  • Filtering using the size and shape of the banner may be performed by excluding from the banner candidate group when the banner candidate group meets the following conditions.
  • the display device may also filter through the position of the banner candidate group. For example, banner candidates that are centrally located or too spaced apart from the edges of the captured image can be removed.
  • the display device may filter the banner candidate group through the scatter plot of the effective pixels in the banner candidate group. Filtering through the scatterplot of the effective pixels may be used to determine the boundary of the banner candidate group in addition to reducing the number of banner candidate groups. The scatter plot of the effective pixel may be filtered.
  • FIG 9 illustrates an embodiment of filtering the boundary of the banner candidate group 732 through a scatter plot of the effective pixels.
  • FIG. 10 is a conceptual diagram illustrating a method of selecting a candidate group corresponding to a color change by an actual banner from a filtered candidate group according to an embodiment of the present invention.
  • the display device may filter the banner candidate group through FIG. 9 and select a candidate group based on the actual banner among the filtered candidate groups.
  • the display device may use a feature that a banner is output after a channel change for a predetermined time to select a candidate group and maintains an output state for a predetermined time.
  • the first data 710-a to a +3 indicates the amount of change between the captured images 700-a to a +4, and the candidate by the actual banner among the candidate groups filtered may appear once on the first data. have.
  • the first data 710-a to a +3 is data for ease of explanation, and it is assumed that the candidate by the actual banner is obtained once from the captured image 700-a to a +4. Can be.
  • the display device may select a candidate group acquired once from a predetermined number of captured images among the filtered candidate groups as a candidate group corresponding to the actual banner.
  • one selected banner candidate includes the a + 1 captured image 700-a + 1 and the a + 2 captured image 700-a + 2. It appears once in the first data in between.
  • FIG. 10A illustrates a section disappearing in a state where the banner 722 is output, or a case in which the banner 722 is not output. This is because the banner candidate is selected through the amount of change between the captured images.
  • the candidate group corresponding to the actual banner may be selected.
  • the banner is output after a predetermined time elapses after the channel change and disappears after a predetermined time, the banner candidate group may appear twice in the first data (or captured image).
  • the display device may exclude the candidate group that appears continuously in the first data (or captured image) among the filtered candidate groups or whose position or shape is changed from the candidate groups by the actual banner.
  • the display device After selecting the candidate by the actual banner, the display device needs to determine where the banner is output in the captured image before or after the selected banner candidate. This is because the selected banner candidate is acquired through the color change amount and can be recognized even when the banner is displayed and then disappears or when the banner candidate is output after a predetermined time without the banner being output.
  • the display device may determine that the banner is output on the image captured after the selected candidate group by using the feature that the banner is output after a predetermined time after the channel change. However, this may vary depending on the connected STB. Therefore, it is preferable that the display device determines where the banner is output to the before or after group after selecting the banner candidate.
  • FIG. 11 is a conceptual diagram illustrating a method of finding a time at which a banner is output through a number of common singularities of a selected candidate group and a captured image according to an embodiment of the present invention.
  • FIG. 11 illustrates an embodiment in which the banner 720 is outputted and sequentially disappeared in the sequentially captured images 700-1 to n. However, the case where the banner 720 is output in the middle of the captured image 700 is not different.
  • An image including the candidate group 730 selected from sequentially obtained captured images 700-1 to n is defined as a first captured image 701, and includes a first captured image 701 and a first captured image.
  • a predetermined number of previously captured images may be defined as a first group image SECTION A.
  • a preset number of images captured immediately after the first captured image 701 is defined as a second captured image 702, includes a second captured image 702, and is captured after the second captured image 702.
  • the image of may be defined as the second group image SEC.
  • the first group and the second group may be referred to as the pre group and the post group.
  • the number of common singularities is greater.
  • the display device may determine the group where the banner 720 is output by comparing the number of common singularities between the first group image SEC A and the second group image SEC B.
  • the method of finding outliers in an image can be easily found in open source through, for example, a FAST (Features from Accelerated Segment Test) algorithm, but the present invention can be applied even if an alternative technique is adopted.
  • FAST Features from Accelerated Segment Test
  • the display device determines the time when the banner 720 is output through the capture time of the second captured image 702. can do.
  • the display device may display the time when the banner 720 disappears through the capture time of the first captured image 701. The duration of the banner can be determined.
  • the display device obtains the time when the banner is output when there are more singularities common to the later group based on the selected banner candidate, and determines the time when the banner disappears when there are more singularities common to all groups based on the selected banner candidate. can do.
  • the display device may acquire a time for which the banner is maintained through a time when the banner is output and a time when the banner disappears.
  • FIG. 12 is a diagram illustrating an entire process of a display device finding a timing at which a banner appears after channel switching according to an embodiment of the present invention.
  • the display device may acquire the captured images 700-1 to 5 at regular intervals after receiving the channel change signal.
  • 12 illustrates an embodiment of capturing an image every 1000 ms. The interval between capturing images can be finer for more accurate time information. 12 illustrates five captured images 700-1 through 5, but the number is not limited thereto.
  • the banner 720 provided by the STB may be output after a predetermined time elapses.
  • the time for providing the banner 710 in the STB after the channel change may vary depending on environmental factors and the model of the STB. 12 shows that the banner 710 starts to be output between 2000ms and 3000ms.
  • the display device may recognize the banner candidate group by using the amount of color change between the captured images 700-1 to 5. At this time, the translucent or opaque feature of the banner may be used. 12 illustrates an embodiment of a translucent banner 720.
  • the display device defines a pixel whose color change between the captured images in the captured images 700-1 to 5 corresponds to a characteristic of a translucent or opaque banner as an effective pixel, and groups the effective pixels to group the banner candidate group. Can be recognized.
  • the recognized candidate groups may be filtered through the ratio, size, shape, position of the banner and scatter plot of the effective pixels.
  • the display device may select a candidate group corresponding to the actual banner based on the feature that the banner is output after a predetermined time after the channel change and lasts for a predetermined time among the filtered candidate groups.
  • FIG. 12 illustrates an embodiment in which the banner 720 is output between 2000 ms and 3000 ms to maintain the output state.
  • the selected candidate group 730 may be obtained once from the first data 710-1 to 4 representing the amount of color change between the captured images 700-1 to 5. 12 illustrates that the selected candidate group 730 is displayed on the first data 710-1 to 4 for convenience of description, but the selected candidate group 730 is displayed once on the captured images 700-1 to 5. can see.
  • FIG. 12 illustrates an embodiment in which the candidate group 730 selected from the first data 710-2 of the first data 710-1 to 4 appears. This is because there is no banner 710 before the second captured image 700-2, and the banner 720 is output from the third captured image 700-3.
  • the selected candidate group 730 is data acquired by the amount of color change between the captured images 710-1 to 4, and it is necessary to determine in which group the banner 720 is output before or after the selected candidate group 730. . This is because the banner 720 provided by the STB is different.
  • the display device may select a group including the banner 720 using the number of common singularities of the before and after groups SECTION A and B divided based on the selected candidate group 730.
  • the group including the banner 720 may have more common singularities than the group not including the banner 720.
  • FIG. 12 illustrates an embodiment in which a pre-group SEC A and a post-group SEC B are divided based on the selected candidate group 730.
  • the display device displays a banner to the post group SEC B through a common singularity. It can be appreciated that 720 is included.
  • the display device may determine which of the before and after groups SECTION A and B are outputted based on the selected candidate group 730, and then determine the time when the banner 720 is output.
  • the time when the banner 720 lasts or the time when the banner 720 disappears through the capture time of the last captured image in the entire group SECTION A Can be judged.
  • the time at which the banner is output may be determined based on the capture time of the first image captured in the post group SEC B.
  • the display device since the banner 720 is output to the post group SEC B, the display device displays the capture time (3000 ms) of the first captured image 700-3 captured in the post group SEC B. It may be determined that the time 720 is output.
  • the display device may determine the capture timing for acquiring the banner 720 by recognizing the time when the banner 720 is output by itself.
  • the display device determines the time at which the banner 720 is output and analyzes the position and singularity of the banner 720. Therefore, the time required for recognizing the channel number from the image output from the banner 720 through the analyzed data can be shortened.
  • the display device may acquire capture timing information from the server 600 (FIG. 3) through the network.
  • the display device may determine the capture timing by itself, and if the capture timing cannot be determined by itself, the display device may assist the data of the server connected to the network.
  • the display device cannot determine the capture timing by itself, it may be the case that the channel is not substantially changed or the characteristics of the banner provided by the STB are different.
  • the present invention can be applied to display devices such as TVs, STBs (Set Top Boxes), and the like, and thus industrial applicability is recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

캡쳐된 이미지간 컬러 변화량을 통해 디스플레이 디바이스에 연결된 STB가 제공하는 배너의 출력시간을 판단하는 디스플레이 디바이스 및 그 제어방법을 제공할 수 있다. 본 디스플레이 디바이스에 따르면, 디스플레이 디바이스에 있어서, 리모트 컨트롤러로부터 제어신호를 수신하는 사용자 입력 인터페이스, 적어도 하나의 데이터를 저장하는 메모리, 상기 디스플레이 디바이스와 연결된 STB로부터 적어도 하나의 신호를 수신하는 외부 디바이스 인터페이스, 상기 수신된 적어도 하나의 신호에 포함된 비디오 데이터를 출력하는 디스플레이 모듈, 그리고, 상기 사용자 입력 인터페이스, 상기 메모리, 상기 외부 디바이스 인터페이스 및 상기 디스플레이 모듈을 제어하는 컨트롤러를 포함하되, 상기 컨트롤러는 상기 수신된 제어신호에 대응하여 채널을 변경하는 경우, 상기 디스플레이 모듈에 출력된 이미지를 기 설정 개수 이상 캡쳐하고, 상기 캡쳐된 이미지간 컬러 변화량을 통해, 상기 STB가 제공하는 그래픽 데이터의 출력 시간을 획득하는 것을 특징으로 할 수 있다.

Description

멀티미디어 디바이스 및 그 제어방법
본 발명은 멀티미디어 디바이스 및 그 제어방법에 관한 것으로, 예를 들어 디스플레이 디바이스에서 셋톱박스가 제공하는 배너 타이밍을 찾기 위한 기술에 관한 것이다.
유선 또는 무선 통신만을 이용한 디지털 TV서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어 디지털 TV 서비스의 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV 서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 들을 제공할 수 있다.
본 발명은 멀티미디어 디바이스에 적용 가능하나, 당해 명세서에서는 설명의 편의상 TV 및 STB를 예로 설명하도록 하겠다.
예컨대, 종래 TV는 셋톱 박스와 연결되어, 셋톱 박스로부터 입력된 방송 프로그램을 제공할 수 있다.
그러나, TV는 셋톱 박스로부터 전자 프로그램 가이드(Electronic Program Guide, EPG) 정보를 획득 수 있으나, 사용자가 현재 시청하고 있는 방송 프로그램의 채널 번호를 알 수는 없었다.
TV가 방송 프로그램의 채널 번호를 획득하는 방법으로 셋톱 박스에서 제공하는 배너에서 채널 번호를 인식하는 방법을 고려할 수 있다. 이 경우, 배너가 포함되는 화면을 캡쳐할 필요가 있다.
그러나, 채널 변경 후 배너가 출력되는 타이밍이 셋톱 박스의 기종 및 환경에 따라 달라 획일적으로 캡쳐 타이밍을 정할 경우, 채널 번호 인식률이 현저히 떨어지는 문제점이 있었다.
본 발명의 일 실시예는, 채널 변경 후 셋톱 박스가 제공하는 배너 타이밍을 찾을 수 있는 멀티디미어 디바이스 및 그 제어 방법을 제공하고자 한다.
본 발명의 다른 실시예는, 셋톱 박스가 제공하는 배너 타이밍을 멀티미디어 디바이스가 디텍트 한 후, 채널 번호를 인식하기 위해 배너가 포함되는 이미지를 획득하고자 한다.
본 발명의 일 실시 예에 따른 디스플레이 디바이스는 리모트 컨트롤러로부터 제어신호를 수신하는 사용자 입력 인터페이스, 적어도 하나의 데이터를 저장하는 메모리, 상기 디스플레이 디바이스와 연결된 STB(Set Top Box)로부터 적어도 하나의 신호를 수신하는 외부 디바이스 인터페이스, 상기 수신된 적어도 하나의 신호에 포함된 비디오 데이터를 출력하는 디스플레이 모듈, 그리고 상기 사용자 입력 인터페이스, 상기 메모리, 상기 외부 디바이스 인터페이스 및 상기 디스플레이 모듈을 제어하는 컨트롤러를 포함하되, 상기 컨트롤러는 상기 수신된 제어신호에 대응하여 채널을 변경하는 경우, 상기 디스플레이 모듈에 출력된 이미지를 기 설정 개수 이상 캡쳐하고, 상기 캡쳐된 이미지간 컬러 변화량을 통해, 상기 STB가 제공하는 그래픽 데이터의 출력 시간을 획득하는 디스플레이 디바이스를 제공한다.
상기 STB가 제공하는 그래픽 데이터는 상기 비디오 데이터에 오버레이되는 반투명 또는 불투명의 배너인 것을 특징으로 할 수 있다.
상기 컨트롤러는 순차적으로 획득된 상기 캡쳐된 이미지에서, 한 픽셀을 기준으로 주변 픽셀 정보를 함께 취합하여 컬러 변화량이 불투명 또는 반투명 배너특성에 부합하는 픽셀을 유효픽셀로 구분하고, 상기 유효 픽셀을 그룹핑하여 상기 배너의 후보군을 인식하는 것을 특징으로 할 수 있다.
상기 불투명 배너특성은 상기 비디오 데이터에 불투명 배너가 오버레이되는 경우, 오버레이된 픽셀은 기 설정된 컬러 값을 가지며, 상기 반투명 배너특성은 상기 비디오 데이터에 반투명 배너가 오버레이되는 경우, 오버레이된 픽셀은 최대값이 기 설정 범위 이상으로 가변되며, 최고값과 중간값 및 중간값과 최대값의 차이가 기 설정 범위 이내로 가변되는 것을 특징으로 할 수 있다.
상기 컨트롤러는 배너 비율, 배너 사이즈, 배너 형상, 배너 위치 및 상기 유효픽셀의 산점도 중 적어도 하나를 이용하여 상기 배너의 후보군을 필터링할 수 있다.
상기 컨트롤러는 상기 필터링된 후보군 중 기 설정 개수의 상기 캡쳐된 이미지에서 1회 또는 2회 획득되는 후보군을 실제 배너에 의한 후보군으로 선택하는 것을 특징으로 할 수 있다.
상기 컨트롤러는 상기 필터링된 후보군 중 기 설정 개수의 상기 캡쳐된 이미지에서 연속적으로 획득되거나, 획득되는 위치 또는 형상이 변동하는 후보군은 상기 배너의 출력 시간을 판단하는 후보군에서 제외하는 것을 특징으로 할 수 있다.
상기 컨트롤러는 순차적으로 획득된 상기 캡쳐된 이미지에서 상기 선택된 후보군을 포함하는 이미지를 제1 캡쳐 이미지로 정의하고, 상기 제1 캡쳐 이미지를 포함하며 상기 제1 캡쳐 이미지 이전에 켭쳐된 기 설정 개수의 이미지를 제1 그룹 이미지로 정의하고, 상기 제1 캡쳐 이미지 직후에 캡쳐된 이미지를 제2 캡쳐 이미지로 정의하고, 상기 제2 캡쳐 이미지를 포함하며 상기 제2 캡쳐 이미지 이후에 캡쳐된 기 설정 개수의 이미지를 제2 그룹 이미지로 정의하고, 상기 제1 그룹 이미지와 상기 제2 그룹 이미지간 공통 특이점 개수를 비교하여 상기 배너가 출력되는 그룹을 판단하는 것을 특징으로 할 수 있다.
상기 컨트롤러는 상기 제2 그룹 이미지가 상기 제1 그룹 이미지보다 공통 특이점 개수가 많은 경우, 상기 제2 캡쳐 이미지의 캡쳐 시간을 통해 상기 배너가 출력되는 시간을 판단하고, 상기 제1 그룹 이미지가 상기 제2 그룹 이미지보다 공통 특이점 개수가 많은 경우, 상기 제2 캡쳐 이미지의 캡쳐 시간을 통해 상기 배너가 사라지는 시간을 판단하는 것을 특징으로 할 수 있다.
본 발명의 일 실시 예에 따른 디스플레이 디바이스 제어방법은, 연결된 STB가 제공하는 배너의 출력 시간을 판단하는 디스플레이 디바이스 제어방법에 있어서, 리모트 컨트롤러를 통해 채널변경 신호를 수신하는 단계, 상기 채널변경 신호 수신 후 기 설정 개수 이상 디스플레이 모듈에 출력된 이미지를 캡쳐하는 단계, 상기 캡쳐된 이미지간 컬러 변화량을 통해 상기 배너를 인식하는 단계, 상기 배너를 인식할 수 없는 경우 채널 변경 IR 신호를 재 수신하는 단계, 채널 변경 후 상기 배너가 출력되는 시간 정보를 저장하는 단계를 포함하는 디스플레이 디바이스 제어방법을 제공한다.
상기 배너를 인식하는 단계는 상기 캡쳐된 이미지간 컬러 변화량을 통해 유효픽셀을 구분하고, 상기 유효픽셀을 그룹핑하여 배너 후보군을 인식하는 단계, 상기 인식된 후보군을 배너의 비율, 크기, 형상, 위치 및 상기 유효픽셀의 산점도 중 적어도 하나를 통해 필터링하는 단계, 상기 필터링된 후보군 중 기 설정 개수의 상기 캡쳐된 이미지에서 1회 획득되는 후보군을 실제 배너에 의한 후보군으로 선택하는 단계, 상기 선택된 후보군 및 상기 캡쳐된 이미지의 캡쳐 시간을 통해 상기 배너가 출력되는 시간을 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 배너의 출력 시간을 판단할 수 없는 경우, 상기 배너가 출력되는 시간을 판단하는 단계 이후에 네트워크 인터페이스를 통해 상기 배너가 출력되는 시간 정보를 수신하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 멀티미디어 디바이스의 효과에 대해 설명하면 다음과 같다.
본 발명의 일 실시 예에 따르면, 디스플레이 디바이스에 연결된 STB가 어떠한 기종 또는 상황이라도 디스플레이 디바이스는 배너가 출력되는 타이밍을 찾을 수 있다.
본 발명의 다른 일 실시 예에 따르면, 디스플레이 디바이스는 배너가 출력되는 타이밍을 통해 배너를 포함하는 이미지를 획득할 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 디스플레이 디바이스는 배너를 포함하는 이미지를 통해 채널을 인식하며, 배너가 출력되는 타이밍을 유연하게 디텍트 하여 채널 인식률을 향상시킬 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 디스플레이 디바이스는 배너가 출력되는 타이밍을 디텍트하는 과정에서 배너의 위치를 인지하고, 이를 통해 채널 인지에 소요되는 시간을 단축할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 디바이스의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따라 도 1의 리모트 컨트롤러의 상세 구성을 설명하기 위해 도시한 구성 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 전체 시스템의 구성을 설명하는 도면이다.
도 4 는 본 발명의 일 실시 예에 따라 디스플레이 디바이스가 채널 전환 후 배너가 출력되는 시간을 찾는 방법을 설명하기 위한 흐름도 이다.
도 5는 도 4에서 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하는 방법을 설명하기 위한 흐름도 이다.
도 6은 본 발명의 일 실시예에 따라 디스플레이 디바이스가 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하는 방법을 설명하기 위한 개념도 이다.
도 7은 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하는데 이용되는 배너의 반투명 특징을 설명하기 위한 테이블이다.
도 8 은 본 발명의 일 실시예에 따라 디스플레이에 디바이스가 불투명 또는 반투명 배너의 특징에 부합하는 유효픽셀을 그룹핑하여 배너 후보군을 인식하는 방법을 설명하기 위한 개념도 이다.
도 9는 도 8에서 인식된 후보군을 필터링하는 방법을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시예에 따라 디스플레이 디바이스가 필터링된 후보군 중에서 실제 배너에 의한 컬러변화에 대응하는 후보군을 선택하는 방법을 설명하기 위한 개념도이다.
도 11는 본 발명의 일 실시예에 따라 디스플레이 디바이스가 선택된 후보군 및 캡쳐된 이미지의 공통되는 특이점 개수를 통해 배너가 출력되는 시간을 찾는 방법을 설명하기 위한 개념도 이다.
도 12은 본 발명의 일 실시예에 따라 디스플레이 디바이스가 채널 전환 후 배너가 뜨는 타이밍을 찾는 전체 과정을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에 따른 디스플레이 디바이스는, 예를 들어 방송 수신기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 디바이스로서 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모트 컨트롤러 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행 가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 디바이스는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 디바이스는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1 은 본 발명의 일 실시 예에 따른 디스플레이 디바이스의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 디바이스(100)는 방송 수신 모듈(130), 외부 디바이스 인터페이스(135), 메모리(140), 사용자 입력 인터페이스(150), 컨트롤러(170), 무선 통신 모듈(173), 디스플레이 모듈(180), 오디오 출력 모듈(185), 전원 공급 모듈(190)를 포함할 수 있다.
방송 수신 모듈(130)은 튜너(131), 복조부(132) 및 네트워크 인터페이스(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명렬에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부 디바이스 인터페이스(135)는 인접하는 외부 디바이스 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 컨트롤러(170) 떠는 메모리(140)로 전달할 수 있다.
외부 디바이스 엔터페이스(135)는 디스플레이 디바이스(100)와 외부 디바이스 간의 연결 경로를 제공할 수 있다. 외부 디바이스 인터페이스(135)는 디스플레이 디바이스(100)에 무선 또는 유선으로 연결된 외부 디바이스로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 컨트롤러(170)로 전달할 수 있다. 외부 디바이스 인터페이스(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부 디바이스 인터페이스(135)를 통해 입력된 외부 디바이스의 영상 신호는 디스플레이 모듈(180)을 통해 출력될 수 있다. 외부 디바이스 인터페이스(135)를 통해 입력된 외부 디바이스의 음성 신호는 오디오 출력 모듈(185)를 통해 출력될 수 있다.
외부 디바이스 인터페이스(135)에 연결 가능한 외부 디바이스는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스(133)는 디스플레이 디바이스(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 디바이스(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 디바이스(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
메보리(140)는 컨트롤러(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수 있다.
또한, 메모리(140)는 외부 디바이스 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수 있다.
메모리(140)는 외부 디바이스 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 디바이스(100)는 메모리(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스(150)는 사용자가 입력한 신호를 컨트롤러(170)로 전달하거나, 컨트롤러(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자 입력 인터페이스(150)는 블루투수(Bluetooth), WB(Ultra-Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 리모트 컨트롤러(400)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 컨트롤러(170)로부터의 제어 신호를 리모트 컨트롤러(400)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스(150)는, 전원키, 채널키, 볼륨키, 설정키 등의 로컬키(미도시)에서 입력되는 제어 신호를 컨트롤러(170)에 전달할 수 있다.
컨트롤러(170)에서 영상 처리된 영상 신호는 디스플레이 모듈(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 컨트롤러(170)에서 영상 처리된 영상 신호는 외부 디바이스 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다.
컨트롤러(170)에서 처리된 음성 신호는 오디오 출력 모듈(185)로 오디오 출력될 수 있다. 또한, 컨트롤러(170)에서 처리된 음성 신호는 외부 디바이스 인터페이스(135)를 통하여 외부 출력 디바이스로 입력될 수 있다.
그 외, 컨트롤러(170)는, 디스플레이 디바이스(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 디바이스(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 디바이스(100) 내로 다운받을 수 있도록 할 수 있다.
컨트롤러(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이 모듈(180) 또는 오디오 출력 모듈(185)을 통하여 출력될 수 있도록 한다.
또한, 컨트롤러(170)는 사용자 입력 인터페이스(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부 디바이스 인터페이스(135)를 통하여 입력되는 외부 디바이스, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이 모듈(180) 또는 오디오 출력 모듈(185)를 통해 출력될 수 있도록 한다.
한편, 컨트롤러(170)는 영상을 표시하도록 디스플레이 모듈(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부 디바이스 인터페이스(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스(133)를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상이 디스플레이 모듈(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이 모듈(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 컨트롤러(170)는 디스플레이 디바이스(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠의 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 무선 파일 등 다양한 형태일 수 있다.
무선 통신 모듈(173)는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신 모듈(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신 모듈(173)은 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신 모듈(173)은 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 디바이스(100)와 무선 통신 시스템 사이, 디스플레이 디바이스(100)와 다른 디스플레이 디바이스(100) 사이, 또는 디스플레이 디바이스(100)와 디스플레이 디바이스(100, 또는 외부 서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 디바이스(100)는 본 발명에 따른 디스플레이 디바이스(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신 모듈(173)은 디스플레이 디바이스(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 컨트롤러(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 디바이스(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 디바이스(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신 모듈(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 디바이스(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
디스플레이 모듈(180)은 컨트롤러(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에서 도시된 디스플레이 디바이스(100)는 본 발명의 일 실시 예에 불과하므로, 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 디바이스(100)의 사용에 따라 통합, 추가 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성용소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시 예에 따르면, 디스플레이 디바이스(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스(133) 또는 외부 디바이스 인터페이스(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 디바이스(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋톱 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시 예에 따른 디스플레이 디바이스의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 디바이스(100)뿐 아니라, 상기 분리된 셋톱 박스 등과 같은 영상 처리 장치 또는 디스플레이 모듈(180) 및 오디오 출력 모듈(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
도 2 는 본 발명의 일 실시 예에 따라 도 1의 리모트 컨트롤러(400)의 상게 구성을 설명하기 위해 도시한 구성 블록도이다.
도 2에 도시한 바와 같이, 리모트 컨트롤러(400)는 지문 인식부(410) 무선통신부(420), 사용자 입력부(430), 센서부(440), 출력부(450), 전원공급부(460), 저장부(470), 제어부(480)를 포함할 수 있다.
무선통신부(420)은 전술하여 설명한 본 발명의 실시 예들에 따른 영상표시기기 중 임의의 어느 하나와 신호를 송수신한다. 본 발명의 실시예들에 따른 디스플레이 디바이스들 중에서, 하나의 디스플레이 디바이스(100)를 일예로 설명하도록 하겠다.
리모트 컨트롤러(400)는 RF 통신규격에 따라 디스플레이 디바이스(100)와 신호를 송수신할 수 있는 RF 모듈(421)을 구비하며, IR 통신규격에 따라 디스플레이 디바이스(100)와 신호를 송수신할 수 있는 IR 모듈(423)을 구비할 수 있다. 또한, 리모트 컨트롤러(400)는 블루투스 모듈(425)을 구비할 수 있다. 또한, 리모트 컨트롤러(400)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 디바이스(100)와 신호를 송수신할 수 있는 NFC 모듈(427)을 구비하며, WLAN(Wireless NAN) 통신 규격에 따라 디스플레이 디바이스(100)와 신호를 송수신할 수 있는 WLAN 모듈(429)을 구비할 수 있다.
본 실시 예에서, 리모트 컨트롤러(400)는 디스플레이 디바이스(100)로 리모트 컨트롤러(400)의 움직임 들에 관한 정보가 담긴 신호를 RF 모듈(421)을 통하여 전송한다.
또한, 리모트 컨트롤러(400)는 디스플레이 디바이스(100)가 전송한 신호를 RF 모듈(421)을 통하여 수신할 수 있다. 또한, 리모트 컨트롤러(400)는 필요에 따라 IR 모듈(423)을 통하여 리모트 컨트롤러(400)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(430)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(430)를 조작하여 리모트 컨트롤러(400)으로 디스플레이 디바이스(400)와 관련된 명령을 입력할 수 있다. 사용자 입력부(430)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 리모트 컨트롤러(400)으로 디스플레이 디바이스(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(430)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 리모트 컨트롤러(400)으로 디스플레이 디바이스(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(430)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(440)는 자이로 센서(441) 또는 가속도 센서(443)를 구비할 수 있다.
자이로 센서(441)는 리모트 컨트롤러(400)의 움직임에 관한 정보를 센싱할 수 있다.
일예로, 자이로 센서(441)는 리모트 컨트롤러(400)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있다. 가속도 센서(443)는 리모트 컨트롤러(400)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이 모듈(180, 도1 참조)과의 거리를 센싱할 수 있다.
출력부(450)는 사용자 입력부(430)의 조작에 대응하거나 디스플레이 디바이스(100)에 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(450)를 통하여 사용자는 사용자 입력부(430)의 조작 여부 또는 디스플레이 디바이스(100)의 제어 여부를 인지할 수 있다.
일예로, 출력부(450)는 사용자 입력부(430)가 조작되거나 무선 통신부(420)를 통하여 디스플레이 디바이스(100)와 신호가 송수신되면 점등되는 LED 모듈(451), 진동을 발생하는 진동 모듈(453), 음향을 출력하는 음향 출력 모듈(455), 또는 영상을 출력하는 디스플레이 모듈(457)을 구비할 수 있다.
전원 공급부(460)는 리모트 컨트롤러(400)로 전원을 공급한다. 전원 공급부(460)는 리모트 컨트롤러(400)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원 공급부(260)는 리모트 컨트롤러(400)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(470)는 리모트 컨트롤러(400)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 리모트 컨트롤러(400)가 디스플레이 디바이스(100)와 RF 모듈(421)을 통하여 무선으로 신호를 송수신할 경우 리모트 컨트롤러(400)와 디스플레이 디바이스(100)는 소정 주파수 대역을 통하여 신호를 송수신한다. 리모트 컨트롤러(400)의 제어부(480)는 리모트 컨트롤러(400)와 페어링된 디스플레이 디바이스(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(470)에 저장하고 참조할 수 있다
제어부(480)는 리모트 컨트롤러(400)의 제어에 관한 제반 사항을 제어한다. 제어부(480)는 사용자 입력부(430)의 소정 키 조작에 대응하는 신호 또는 센서부(440)에서 센싱한 리모트 컨트롤러(400)의 움직임에 대응하는 신호를 무선 통신부(420)를 통하여 디스플레이 디바이스(100)로 전송할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전체 시스템의 구성을 설명하는 도면이다.
도 3를 참조하면, 본 발명의 일 실시 예에 따른 디스플레이 디바이스를 포함하는 전체 시스템은 디스플레이 디바이스(100), 외부 디바이스(500), 리모트 컨트롤러(400) 및 서버(600) 등을 포함하며, 당업자의 필요에 따라 일부 구성요소만 적용하는 것도 본 발명의 권리범위에 속한다.
외부 디바이스(500)은 STB일 수 있고, 리모트 컨트롤러(400)는 디스플레이 디바이스(100) 및 STB를 동시에 제어할 수 있는 통합리모컨(Universal Remote Controller)일 수 있다.
리모트 컨트롤러(400)에서 채널변경 신호를 송신하는 경우, STB는 디스플레이 디바이스(100)에 변경된 방송 영상을 송신할 수 있고, 디스플레이 디바이스(100)은 채널이 변경되었음을 인식할 수 있다.
STB는 변경된 방송 영상 외에 방송 영상 정보를 표시하는 배너를 제공할 수 있다. 다만, 배너가 출력되는 시간은 채널 변경 이후 수초 이후일 수 있고, 환경적 요인(예를 들어, 네트워크 상황 등), UI의 변경, STB의 종류에 따라 다를 수 있다.
경우에 따라서, 디스플레이 디바이스(100)는 서버(600)를 통해 STB의 종류별로 배너가 출력되는 고정된 시간 및 위치 정보를 수신할 수 있다. 다만, 서버(600)를 통해 배너가 출력되는 시간 및 위치 정보를 수신하는 것은 유연성이 떨어질 수 있다.
따라서, 디스플레이 디바이스(100)는 서버(600)를 통해서 배너가 출력되는 시간 및 위치 정보 수신은 보조적으로 이용하고, 디스플레이 디바이스(100) 자체에서 STB가 제공하는 배너가 출력되는 시간 및 위치 정보를 찾는 것이 요구되지만, 현재 종래 기술은 이를 해결하기 위한 솔류션ㅇ디 제공되지 못하고 있는 실정이다.
이하에서는 디스플레이 디바이스(100) 자체에서 STB가 제공하는 배너가 출력되는 시간 및 위치 정보를 찾는 방법에 대하여 살펴본다.
도 4 는 본 발명의 일 실시 예에 따라 디스플레이 디바이스가 채널 전환 후 배너가 출력되는 시간을 찾는 방법을 설명하기 위한 흐름도 이다.
본 발명에 따른 디스플레이 디바이스(100, 도 1 참조)는 연결된 STB가 어떠한 종류 또는 상황이라도 스스로 채널변경 후 배너가 출력되는 타이밍을 찾을 수 있다.
디스플레이 디바이스(100)는 배너가 출력되는 타이밍을 찾기 위해, 캡쳐된 이미지간 컬러 변화량 및 캡쳐 시간을 이용할 수 있다.
구체적으로, 디스플레이 디바이스(100)는 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하고, 캡쳐된 이미지의 캡쳐 시간을 통해 배너가 출력되는 시간을 찾을 수 있다.
도 4를 통해서 살펴보면, 디스플레이 디바이스(100)는 채널이 전환된 경우(S401). STB로부터 수신되어 디스플레이 모듈(180, 도 1 참조)에 표시되는 이미지를 캡쳐할 수 있다(S402).
디스플레이 디바이스(100)는 리모트 컨트롤러(400, 도1 참조)로부터 채널 변경 신호를 수신한 이후부터 디스플레이 모듈(180)에 출력되는 이미지를 캡쳐할 수 있다.
디스플레이 디바이스(100)는 채널 변경 신호를 수신한 후 캡쳐된 이미지가 기 설정 개수 이상이 될 때까지 캡쳐를 진행할 수 있다(S403).
캡쳐된 이미지를 기 설정 개수 이상으로 캡쳐한 경우(S403, Yes) 디스플레이 디바이스(100)는 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식할 수 있다(S404).
디스플레이 디바이스(100)는 캡쳐된 이미지간 컬러 변화를 비교하여 배너를 인식하기 때문에 캡쳐된 이미지는 적어도 두 개임이 바람직하다.
디스플레이 디바이스(100)가 캡쳐된 이미지에서 배너를 인식하지 못하는 경우(즉, 갭쳐된 이미지에 배너가 존재하지 않는 경우(S405, No)), 리모트 컨트롤러로부터 채널 전환 신호를 재 수신 할 수 있다(S407).
캡쳐된 이미지에서 배너를 인식하지 못하는 경우로는 채널이 변경되지 않는 경우가 있을 수 있다.
리모트 컨트롤러(400)는 IR신호를 통해 채널 변경 신호를 송신할 수 있고, IR신호는 직진성이 강하여 사람의 손등의 물체를 투과할 수 없다. 따라서, IR 신호가 송출되는 리모트 컨트롤러(400)와 STB사이에 물체가 있거나, IR 신호 방향이 STB 방향이 아닌 경우, STB는 변경된 방송 영상 및 배너의 제공하지 않을 수 있다.
디스플레이 디바이스(100)가 캡쳐된 이미지에서 배너를 인식한 경우(S405, Yes) 이미지를 캡쳐한 시간을 통해 배너가 출력되는 시간 정보를 획득할 수 있다(S406).
배너가 출력되는 시간 정보로는 배너가 출력되는 시점 시간 및 배너가 출려되는 종점 시간일 수 있다.
배너가 출력되는 시간 정보를 통해 디스플레이 디바이스(100)는 채널 변경 후 배너가 포함되는 이미지를 획득할 수 있는 캡쳐 타이밍을 설정할 수 있다.
디스플레이 디바이스(100)는 설정된 캡쳐 타이밍에 디스플레이에 출력되는 이미지를 캡쳐하면, 배너를 포함하는 이미지를 획득할 수 있고, 배너를 포함하는 이미지를 통해 용이하게 채널 번호를 인식할 수 있다.
디스플레이 디바이스(100)는 캡쳐 타이밍을 판단하는 과정에서 배너의 위치 정보 또는 특이점 중 적어도 하나를 인식할 수 있고, 이를 통해 채널 번호를 인식하는데 소요되는 시간을 단출 할 수 있다.
상기 기능을 수행하기 위해, 본 발명에 따른 디스플레이 디바이스(100)는 리모트 컨트롤러(400)로부터 제어신호를 수신하는 사용자 입력 인터페이스(150, 도 1 참조), 적어도 하나의 데이터를 저장하는 메모리(140, 도 1 참조), 디스플레이 디바이스(100)와 연결된 STB(Set Top Box)로부터 적어도 하나의 신호를 수신하는 외부 디바이스 인터페이스(135, 도 1 참조), STB로부터 수신된 적어도 하나의 신호에 포함된 비디오 데이터를 출력하는 디스플레이 모듈(180, 도 1 참조), 그리고, 사용자 입력 인터페이스(150), 메모리(140), 외부 디바이스 인터페이스(135) 및 디스플레이 모듈(180)를 제어하는 컨트롤러(170, 도 1 참조)를 포함하되, 컨트롤러(170)는 상기 수신된 제어신호에 반응하여 채널을 변경하는 경우, 디스플레이 모듈(180)에 출력된 이미지를 기 설정 개수 이상 캡쳐하고, 캡쳐된 이미지간 컬러 변화량을 통해 STB가 제공하는 그래픽 데이터의 출력 시간을 획득할 수 있다.
여기서 STB가 제공하는 그래픽 데이터는 디스플레이 모듈(180)로 출력되는 비디오 데이터에 오버레이되는 반투명 또는 불투명의 배너일 수 있다.
이하에서는 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식(S404) 방법을 구체적으로 살펴본다.
도 5는 도 4에서 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식(S404, 도 4 참고)하는 방법을 설명하기 위한 흐름도 이다.
디스플레이 디바이스가 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하는 방법으로 반투명 또는 불투명 배너의 특징을 이용하여 배너 후보군을 인식(S501)할 수 있다.
STB가 제공하는 배너는 디스플레이 모듈(180)에 출력되는 비디오 데이터에 오버레이 되어 표시되며, 반투명 또는 불투명의 그래픽 데이터일 수 있다.
디스플레이 디바이스는 캡쳐된 이미지에서 반투명 또는 불투명의 그래픽 데이터의 유무로 인해 컬러 값이 변하는 픽셀(유효픽셀)을 컬렉트하여 배너 후보군을 인식할 수 있다. 이와 관련하여 이하 도 7및 8를 통해 구체적으로 살펴본다.
디스플레이 디바이스는 배너 후보군을 인식한 후, 인식된 후보군을 필터링 할 수 있다(S502). 필터링은 배너의 비율, 크기, 형상, 위치 및 유효픽셀의 산점도를 통하여 진행될 수 있다. 이와 관련하여 도 9을 통해 구체적으로 살펴본다.
디스플레이 디바이스는 필터링된 후보군 중 기 설정 개수의 캡쳐된 이미지에서 1회 표시되는 후보군을 실제 배너에 의한 후보군으로 선택할 수 있다(S503). 상기 과정은 배너가 채널 변경 후 일정 시간 후 출력되어 일정시간 지속되는 특징을 이용한다.
경우에 따라서 캡쳐된 이미지에서 실제 배너에 의한 후보군은 2회 표시될 있다. 배너 후보군은 배너의 유무로 컬러 값이 변하는 픽셀의 그룹으로, 배너가 일정시간 후에 오버레이 되는 경우뿐만 아니라, 오버레이되고 있다가 사라지는 경우에도 나타날 수 있다.
따라서, 디스플레이 디바이스는 필터링된 후보군 중 기 설정 개수의 캡쳐된 이미지에서 2회 표시되는 후보군도 실제 배너에 의한 후보군으로 선택할 수 있다. 이와 관련하여 도 10를 통해 구체적으로 살펴본다.
디스플레이 디바이스는 채널 변경 후 실제 배너에 의한 후보군을 선택하고, 선택된 후보군을 기준으로 캡쳐된 이미지를 전후 그룹으로 구분할 수 있다(S504).
배너 후보군은 캡쳐된 이미지간 컬러 변화에 의해 획득되는 정보로 배너가 출력된 상태에서 사라지거나, 배너가 중간에 오버레이되는 경우에 획득될 수 있다, 따라서, 디스플레이 디바이스는 선택된 후보군을 기준으로 실제 배너가 전후에서 어디에 출력되는지 판단할 필요가 있다.
여기서 사용되는 전후 그룹은 설명의 편이를 위해 이하 사용되는 제1, 2 그룹에 대응될 수 있다.
디스플레이 디바이스는 선택된 후보군을 기준으로 구분된 전후 그룹에서 공통된 특이점 개수를 통해 배너가 출력되는 그룹을 판단할 수 있다(S505). 전후 그룹에서 배너를 포함하고 있는 그룹은 공통된 특이점의 개수가 더 많고, 이를 이용하여 배너가 포함되는 그룹을 판단할 수 있다.
경우에 따라서, 전후 그룹간 공통된 특이점 개수를 비교하지 않고, 채널 변경 후 처음 나타나는 선택된 후보군을 기준으로 후 그룹에 배너가 출력되는 것으로 판단할 수 있다. 이와 관련하여 도 11을 통해 구체적으로 살펴본다.
도 6은 본 발명의 일 실시예에 따라 디스플레이 디바이스가 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하는 방법을 설명하기 위한 개념도 이다.
본 발명에 따른 디스플레이 디바이스는 캡쳐된 이미지(700-1~n)간 컬러 변화량을 이용하여 배너(720)를 인식할 수 있다.
캡쳐된 이미지(700-1~n)는 채널 변경 후 순차적으로 획득될 수 있으며, 본 개념도의 캡쳐된 이미지(700-1~n)는 채널 변경을 시점으로 획득된 전체 캡쳐 이미지의 일 부분일 수 있다.
도 6(a)는 캡쳐된 이미지(700-1~n)에서 중간에 배너(720)가 출력되는 케이스를 설명한다. 캡쳐된 이미지(700-1~n)간 컬러 변화량을 통해 배너 후보군(730)을 인식 할 수 있으며, 배너 후보군(730)은 캡쳐된 이미지(700-1~n)간 컬러 변화량을 표시하는 제1 데이터(710-1~n-1)를 통해 확인할 수 있다.
제1 데이터(710-1~n-1)은 캡쳐된 이미지(700-1~n)간 컬러 변화량을 표시하는 데이터로 배너 후보군(730)을 포함할 수 있다. 다만, 제1 데이터(710-1~n-1)는 설명 편의를 위해 도입된 데이터로 배너 후보군(730)은 캡쳐된 이미지(700-1~n)에 포함된 것으로 볼 수 있다.
도 6(b)는 캡쳐된 이미지(700-1~n)에서 중간에 배너(720)가 사라지는 케이스를 설명한다. 배너 후보군(730)은 캡쳐된 이미지(700-1~n)의 컬러 변화량을 통해 인식할 수 있으므로, 배너(720)가 사라지는 경우에도 제1 데이터(710-1~n)에서 배너 후보군(730)을 확인할 수 있다.
도 6은 배너(720)를 기준으로 설명하였으나, 디스플레이 모듈을 통해 출력되는 각종 그래픽 데이터일 수 있다. 본 발명의 디스플레 디바이스는 디스플레이 모듈을 통해 출력되는 각종 그래픽 데이터에서 배너를 추출하는 것을 목적으로 한다.
도 6(a) 및 도 6(b)와 같이 배너(730)가 일정 시간 후 출력되거나, 출력된 후 사라지는 경우에 배너 후보군(730)이 나타나는 이유는 캡쳐된 이미지(700-1~n)간 컬러 변화량을 이용하기 때문이다. 즉, 디스플레이 디바이스는 캡쳐된 이미지에서 컬러 값이 증가하거나 감소하는 픽셀을 통해 배너 후보군(730)을 인식할 수 있다.
구체적으로, 배너 후보군(730)은 반투명 또는 불투명의 배너 특징을 이용하여 인식될 수 있다. 방송 영상에 반투명 또는 불투명의 배너(720)가 오버레이되면 캡쳐된 이미지(700-1~n)간 배너(720)를 표시하는 픽셀은 컬러가 변하게 된다.
디스플레이 디바이스는 캡쳐된 이미지(700-1~n)간 컬러 변화량이 반투명 또는 불투명의 배너(720)가 오버레이 된 경우와 부합하는지 여부를 통해 배너 후보군(730)을 인식할 수 있다.
불투명의 배너(720)의 경우는 배너(720)가 오버레이되는 부분은 방송 영상이 출력되지 않는다. 또한, 불투명의 배너(720)는 출력되는 동안 출력되는 컬러가 달라지지 않는다. 따라서, 상기 특징을 통해서 디스플레이 디바이스는 배너 후보군(730)을 인식하기 용이하다.
다만, 반투명의 배너(720)는 배너(720)가 오버레이되는 부분에서도 방송 영상이 출력된다. 배너(720)가 오버레이되는 부분의 방송 영상은 반투명 배너 특성에 맞게 컬러가 보정된 상태로 출력된다.
따라서, 디스플레이 디바이스는 배너(720)가 오버레이되어 컬러 값이 보정되는 정도를 통해 배너(720)의 유무를 판단할 수 있다.
이하에서, 배경 영상에 반투명 배너가 오버레이 되는 경우 컬러 값이 어떻게 보정되는지 살펴본다.
도 7은 캡쳐된 이미지간 컬러 변화를 통해 배너를 인식하는데 이용되는 배너의 반투명 특징을 설명하기 위한 테이블(800)이다.
디스플레이 모듈에 표시되는 하나의 픽셀은 적색(R), 녹색(G), 청색(B)의 색정보와, 위치정보(x,y)를 포함할 수 있다.
도 7의 테이블(800)는 배경 영상의 픽셀(x', y')에 반투명의 배너(720, 도 6 참조)가 오버레이 되는 경우 배경 영상의 픽셀(x', y')의 컬러 값이 변하는 일 실시예로, 특히 일반적으로 사용되는 검정색의 반투명 배너가 오버레이 된 경우를 예시하고 있다.
배경 영상의 픽셀(x', y')은 검정색의 반투명 배너가 오버레이되는 경우, 컬러 값이 전체적으로 감소하게 된다.
다만, 반투명의 배너는 검정색에 한정되지 않는다. 흰색의 반투명 배너가 오버레이되는 경우는 컬러 값이 증가할 수 있다. 다만, 흰색의 반투명 배너의 경우 검정색의 반투명 배너와 컬러 값 증가 또는 감소만 달리하며 변화 정도는 다르지 않다.
반투명의 배너가 오버레이되어 컬러 값이 감소하는 특징을 살펴보면, 픽셀의 최대 컬러 값이 1/3이상으로 작아질 수 있다.
MaxColor(x, y) < MaxColor(x', y') * 1/3
따라서, 순차적으로 획득된 캡쳐된 이미지간 픽셀의 최대 컬러 값이 기 설정값 이상으로 변하는지 여부를 통해 해당 픽셀에 배너가 오버레이 되었는지 여부를 판단할 수 있다.
또한, 반투명 배너가 배경 영상에 오버레이 되는 경우, 오버레이된 픽셀(x, y)은 컬러 값의 최소값과 중간값 및 중간값과 최대값의 차이가 기 설정 범위 내로 작아질 수 있다.
MiddleColor(x, y) - MinColor(x, y) < 30
MaxColor(x, y) - MiddleColor(x, y) < 50
반투명 배너가 배경 영상에 오버레이 되는 경우, 오버레이된 픽셀(x, y)은 인접하는 주변 픽셀과의 컬러 값 차이가 작아질 수 있다.
상기와 같이 컬러 값이 변하는 픽셀을 유효픽셀로 정의하고, 유효픽셀을 그룹핑하여 배너 후보군을 인식할 수 있다.
구체적으로, 디스플레이 디바이스는 순차적으로 획득된 캡쳐된 이미지에서, 한 픽셀을 기준으로 해당 픽셀의 주변 픽셀 정보를 함께 취합하여 컬러 변화량이 불투명 또는 반투명 배너특성에 부합하는 픽셀을 유효 픽셀로 구분할 수 있다.
불투명 배너특성은 배경 이미지에 불투명 배너가 오버레이 되는 경우, 오버레이된 픽셀은 기 설정된 컬러값을 가지는 것을 특징을 할 수 있다.
반투명 배너특성은 배경 이미지에 반투명 배너가 오버레이 되는 경우, 오버레이된 픽셀은 최대값이 기 설정 범위 이상으로 가변되며, 최소값과 중간값 및 중간값과 최대값의 차이가 길 설정 범위 이내로 가변되는 것을 특징으로 할 수 있다.
디스플레이 디바이스는 유효 픽셀을 그룹핑하여 배너 후보군을 인식할 수 있다.
배너 후보군은 반투명 배너가 오버레이 되는 경우 컬러 값이 감소하는 특징을 이용하여 인식할 수 있지만 경우에 따라서는 컬러 값이 증가하는 특징을 이용하여 인식할 수 있다. 이는 검정색의 반투명 배너는 오버레이되는 경우 컬러 값이 감소하지만 흰색의 반투명 배너가 오버레이 되는 경우 컬러 값이 증가할 수 있기 때문이다.
따라서, 배너 후보군을 인식하는 반투명 배너가 오버레이 되는 경우 컬러 값이 감소하는 특징을 이용하여 제1 배너 후보군을 선정하고, 컬러 값이 증가하는 특징을 이용하여 제2 배너 후보군을 선정할 수 있다.
디스플레이 디바이스는 제1 배너 후보군과 제2 배너 후보군 각각을 통해 배너가 출력되는 시간을 판단할 수 있다.
도 8 은 본 발명의 일 실시예에 따라 디스플레이에 디바이스가 불투명 또는 반투명 배너의 특징에 부합하는 유효픽셀을 그룹핑하여 배너 후보군을 인식하는 방법을 설명하기 위한 개념도 이다.
유효 픽셀(7301)은 하나의 캡쳐된 이미지에서 다음 캡쳐된 이미지와 컬러를 비교하여 획득되는 것으로 캡쳐된 이미지에 구비되어 있다고 볼 수 있다. 다만, 설명의 편의를 위해 유효 픽셀(7301)을 캡쳐된 이미지간 컬러 변화량을 나타내는 제1 데이터(710-1~n-1, 도 6 참조) 상에 표시하였다.
디스플레이 디바이스는 유효 픽셀(7301)을 예를 들어 오픈소스인 모폴로지(Morphology) 기법을 통해 그룹화할 수 있다. 다만, 대체 가능한 다른 기법을 채택해도 본 발명에 적용할 수 있다.
구체적으로, 디스플레이 디바이스는 유효 픽셀(7301)간 거리값을 계산하여 동일한 그룹 정보인지 판단하고, 동일한 그룹으로 판단된 유효 픽셀을 포함하는 배너 후보군의 경계를 형성할 수 있다.
도 8은 유효 픽셀(7301)를 그룹핑하여 배너 제1 후보(731) 및 배너 제2 후보(732)를 인식하는 실시예를 도시하고 있다.
다만, 유효 필셀(7301)은 방송 영상에서 객체가 움직이거나, 다른 그래픽 데이터를 통해서도 부분적으로 생성될 수 있다. 따라서, 이러한 유효 필셀(7301)을 모두 배너 후보군으로 선정하는 것은 바람직하지 않고 일정 필터링의 과정이 필요하다.
도 9는 도 8에서 인식된 후보군을 필터링하는 방법을 설명하기 위한 개념도이다.
도 9은 순차적으로 캡쳐된 이미지의 일부(700-a~a+2), 이의 컬러 변화량을 나타나는 제1 데이터(710-a+1) 및 제1 데이터(710-a+1)를 필터링한 데이터를 도시하고 있다.
캡쳐된 이미지의 일부(700-a~a+2)에는 배너의 후보군이 될 수 있는 복수의 그래픽 데이터(721, 722, 723)를 포함할 수 있고, 이를 통해 제 a+1 캡쳐 이미지(700-a+1)와 제 a+2 캡쳐 이미지(700-a+2)간 컬러 변화량을 통해 획득된 제1 데이터(710-a+1)는 복수의 배너 후보군(731, 732, 733)을 포함할 수 있다.
복수의 배너 후보군(731, 732, 733)은 배너의 비율, 배너 사이즈, 배너 형상, 배너 위치 및 유효픽셀(7301, 도 8 참조)의 산점도 중 적어도 하나를 이용하여 필터링 될 수 있다.
배너의 비율을 이용한 필터링은 배너 후보군(730)의 높이(height)와 너비(width)의 비율이 다음의 조건을 만족하는지 여부 수행될 수 있다.
0.06 ≤ 배너 후보의 높이 / 배너 후보의 너비 ≤ 1
배너의 사이즈 및 형상을 이용한 필터링은 배너 후보군이 다음의 조건을 만족하는 경우 배너 후보군에서 제외하여 수행될 수 있다.
배너 후보의 높이 ≥ 배너 후보의 너비
배너 후보의 높이 < 65pixel
배너 후보의 너비 < 캡쳐 이미지의 * 1/3
또한, 디스플레이 디바이스는 배너 후보군의 위치를 통해서도 필터링할 수 있다. 예를 들어 중앙에 위치하고 있거나 캡쳐된 이미지의 가장자리에서 지나치게 이격되는 배너 후보군을 제거할 수 있다.
또한, 디스플레이 디바이스는 배너 후보군 내에 유효 픽셀의 산점도를 통해서도 배너 후보군을 필터링할 수 있다. 유효 픽셀의 산점도를 통한 필터링은 배너 후보군의 수를 줄이는 방법 외에 배너 후보군의 경계를 확정하는데 이용될 수 있다. 유효 필셀의 산점도가 다음에 해당하는 부분은 필터링 될 수 있다.
유효 픽셀의 산점도 < 30%
상기 배너 후보군을 필터링하는 방법 중 도 9는 유효 픽셀의 산점도를 통해서 배너 후보군(732)의 경계를 필터링하는 실시예를 도시하고 있다.
도 10은 본 발명의 일 실시예에 따라 디스플레이 디바이스가 필터링된 후보군 중에서 실제 배너에 의한 컬러변화에 대응하는 후보군을 선택하는 방법을 설명하기 위한 개념도이다.
디스플레이 디바이스는 도 9를 통해서 배너 후보군을 필터링하고, 필터링된 후보군 중 실제 배너에 의한 후보군을 선택할 수 있다.
디스플레이 디바이스는 후보군 선택을 위해 배너가 채널 변경 후 일정 시간 지나 출력되며, 일정 시간 동안 출력상태를 유지하는 특징을 이용할 수 있다.
제1 데이터(710-a~ a +3)는 캡쳐된 이미지(700-a~ a +4)간 변화량을 표시하는 것으로 필터링된 후보군 중 실제 배너에 의한 후보는 제1 데이터 상에 1회 나타날 수 있다.
다만, 제1 데이터(710-a~ a +3)는 설명을 편하게 하기 위한 데이터로, 실질적으로 실제 배너에 의한 후보는 캡쳐된 이미지(700-a~ a +4)에서 1회 획득되는 것으로 볼 수 있다.
즉, 디스플레이 디바이스는 필터링된 후보군 중 기 설정 개수의 캡쳐된 이미지에서 1회 획득되는 후보군을 실제 배너에 대응되는 후보군으로 선택할 수 있다.
도 10(a) 및 도 10(b)를 통해 일 실시예를 살펴보면, 선택된 배너 후보가 제a+1 캡쳐 이미지(700-a+1)와 제 a+2 캡쳐 이미지(700-a+2) 사이의 제1 데이터에서 1회 나타난다.
도 10(a)의 실시예는 배너(722)가 출력된 상태에서 사라지는 구간을 실시예로 든 것이나 배너(722)가 출력되지 않은 상태에서 출력되는 경우도 다르지 않다. 이는 캡쳐된 이미지간 변화량을 통해 배너 후보를 선택하기 때문이다.
다만, 경우에 따라서 제1 데이터에서 2회 나타나는 경우도 실제 배너에 대응되는 후보군으로 선택할 수 있다. 채널 변경 후 배너가 소정 시간 도과 후 출력되고 일정시간 지속 후 사라지는 경우, 제1 데이터(또는 캡쳐된 이미지)에서 2회 배너 후보군이 나타날 수 있다.
디스플레이 디바이스는 필터링된 후보군 중에서 제1 데이터(또는 캡쳐된 이미지)에서 연속적으로 나타나거나, 위치 또는 형상이 변경되는 후보군을 실제 배너에 의한 후보군에서 제외할 수 있다.
도 9(a) 및 도 9(b)를 통해 살펴보면, 반복해서 나타났다 사라지는 그래픽 데이터(721)는 제1 데이터(710)에서 1회 이상 연속하여 획득되는 것을 확인할 수 있다. 이러한 배너 후보군은 배너 후보에서 제외될 수 있다.
도 9(a) 및 도 9(c)를 통해 살펴보면, 위치가 변하는 그래픽 데이터(723)는 제1 데이터(710)에서 형상이 변하는 것을 확인 할 수 있다. 이러한 배너 후보군 역시 배너 후보에서 제외될 수 있다.
디스플레이 디바이스는 실제 배너에 의한 후보를 선택한 후, 선택된 배너 후보를 기준으로 전 또는 후로 캡쳐된 이미지에서 어디에 배너가 출력되는지 판단할 필요가 있다. 이는 선택된 배너 후보는 컬러 변화량을 통해 획득되는 것으로 배너가 출력되다가 사라지는 경우나, 배너가 출력되지 않은 상태에서 소정 시간 지난 후 출력되는 경우에도 인식될 수 있기 때문이다.
경우에 따라서는, 디스플레이 디바이스는 채널 변경 후에 일정 시간 도과 후 배너가 출력되는 특징을 이용하여 선택된 후보군 이후에 캡쳐된 이미지에 배너가 출력되는 것으로 판단할 수 있다. 다만, 이는 연결된 STB에 따라 다를 수 있다. 따라서, 디스플레이 디바이스는 배너 후보를 선택한 후 전 또는 후 그룹에 어디에 배너가 출력되는지 판단함이 바람직하다.
도 11는 본 발명의 일 실시예에 따라 디스플레이 디바이스가 선택된 후보군 및 캡쳐된 이미지의 공통되는 특이점 개수를 통해 배너가 출력되는 시간을 찾는 방법을 설명하기 위한 개념도 이다.
도 11은 순차적으로 캡쳐된 이미지(700-1~n)에 배너(720)가 출력되다 사라지는 실시예를 도시하고 있다. 다만, 캡쳐된 이미지(700)에 배너(720)가 중간에 출력되는 경우도 다르지 않다.
순차적으로 획득된 캡쳐된 이미지(700-1~n)에서 선택된 후보군(730)을 포함하는 이미지를 제 1 캡쳐 이미지(701)로 정의하고, 제1 캡쳐 이미지(701)를 포함하며 제1 캡쳐 이미지(701) 이전에 캡쳐된 기 설정 개수의 이미지를 제 1 그룹 이미지(SECTION A)로 정의 할 수 있다.
또한, 제 1 캡쳐 이미지(701) 직후에 캡쳐된 이미지를 제2 캡쳐 이미지(702)로 정의하고, 제2캡쳐 이미지(702)를 포함하며 제2 캡쳐 이미지(702) 이후에 캡쳐된 기 설정 개수의 이미지를 제 2 그룹 이미지(SECTION B)로 정의 할 수 있다.
제 1그룹 및 제2 그룹은 전 그룹 및 후 그룹과 같이 지칭될 수 있다.
제1 그룹(SECTION A) 및 제2 그룹(SECTION B) 중 배너(720)를 포함하고 있는 그룹은 공통되는 그래픽 데이터를 포함하고 있으므로 공통된 특이점 개수가 더 많다.
따라서, 디스플레이 디바이스는 제1 그룹 이미지(SECTION A)와 제2 그룹 이미지(SECTION B)간 공통 특이점 개수를 비교하여 배너(720)가 출력되는 그룹을 판단할 수 있다.
이미지에서 특이점을 찾는 방법은 오픈 소스로 예를 들어 FAST(Features from Accelerated Segment Test) 알고리즘 등을 통해 용이하게 찾을 수 있으나, 대체 가능한 기법을 채택해도 본 발명에 적용할 수 있다.
디스플레이 디바이스는 제 2 그룹 이미지(SECTION B)가 제1 그룹 이미지(SECTION A)보다 공통 특이점 개수가 많은 경우, 제2 캡쳐 이미지(702)의 캡쳐 시간을 통해 배너(720)가 출력되는 시간을 판단할 수 있다.
또한, 디스플레이 디바이스는 제1 그룹 이미지(SECTION A)가 제2 그룹 이미지(SECTION B)보다 공통 특이점 개수가 많은 경우, 제1 캡쳐 이미지(701)의 캡쳐 시간을 통해 배너(720)가 사라지는 시간 또는 배너가 지속되는 시간을 판단할 수 있다.
즉, 디스플레이 디바이스는 선택된 배너 후보를 기준으로 후 그룹에 공통된 특이점이 더 많은 경우 배너가 출력되는 시간을 획득하고, 선택된 배너 후보를 기준으로 전 그룹에 공통된 특이점이 더 많은 경우 배너가 사라지는 시간을 판단할 수 있다.
디스플레이 디바이스는 선택된 배너 후보군이 2회 획득되는 경우 배너가 출력되는 시간 및 배너가 사라지는 시간을 통해 배너가 지속되는 시간을 획득할 수 있다.
도 12은 본 발명의 일 실시예에 따라 디스플레이 디바이스가 채널 전환 후 배너가 뜨는 타이밍을 찾는 전체 과정을 도시한 도면이다.
본 발명에 따른 디스플레이 디바이스는 채널 변경 신호를 수신한 이후부터 일정시간 간격으로 캡쳐된 이미지(700-1~5)를 획득할 수 있다. 도 12는 1000ms 마다 이미지를 캡쳐하는 실시예를 나타내고 있다. 보다 정확한 시간 정보를 얻기 위해서 이미지를 캡쳐하는 간격을 보다 세밀하게 할 수 있다. 또한, 도 12는 5개의 캡쳐된 이미지(700-1~5)를 예시하고 있으나 개수는 이에 한정되지 않는다.
채널 변경 후 STB에서 제공하는 배너(720)는 소정 시간 도과 후 출력될 수 있다. 채널 변경 후 STB에서 배너(710)를 제공하는 시간은 환경적 요인 및 STB의 기종에 따라 다를 수 있다. 도 12는 2000ms 에서 3000ms 사이에 배너(710)가 출력되기 시작함을 알 수 있다.
본 발명에 따른 디스플레이 디바이스는 캡쳐된 이미지(700-1~5)간 컬러 변화량을 이용하여 배너 후보군을 인식할 수 있다. 이때, 배너의 반투명 또는 불투명의 특징이 이용될 수 있다. 도 12는 반투명 배너(720)의 실시예를 나타내고 있다.
본 발명에 따른 디스플레이 디바이스는 캡쳐된 이미지(700-1~5)에서 캡쳐된 이미지간 컬러 변화가 반투명 또는 불투명의 배너의 특성에 부합하는 픽셀을 유효 픽셀로 정의하고, 유효 픽셀을 그룹화하여 배너 후보군을 인식할 수 있다.
인식된 후보군은 배너의 비율, 사이즈, 형상, 위치 및 유효 픽셀의 산점도를 통해 필터링될 수 있다.
디스플레이 디바이스는 필터링된 후보군 중에서 배너가 채널 변경 후 일정 시간 지난 후 출력되어 일정시간 지속되는 특징을 통해 실제 배너에 대응되는 후보군을 선택할 수 있다.
도 12는 배너(720)가 2000ms에서 3000ms 사이에 출력되어 출력 상태를 유지하는 실시예를 나타내고 있다.
선택된 후보군(730)은 캡쳐된 이미지(700-1~5)간 컬러 변화량을 나타내는 제1 데이터(710-1~4)에서 1회 획득될 수 있다. 도 12는 설명의 편의를 위해 선택된 후보군(730)을 제1 데이터(710-1~4)에 표시하였으나, 선택된 후보군(730)은 캡쳐된 이미지(700-1~5)에 1회 표시되는 것으로 볼 수 있다.
구체적으로 살펴보면, 도 12는 제1 데이터(710-1~4) 중에서 두 번째의 제1 데이터(710-2)에 선택된 후보군(730)이 나타나는 실시예를 나타내고 있다. 이는 두 번째로 캡쳐된 이미지(700-2) 이전에는 배너(710)가 없다가 세 번째로 캡쳐된 이미지(700-3) 부터 배너(720)가 출력되기 때문이다.
선택된 후보군(730)은 캡쳐된 이미지(710-1~4) 간 컬러 변화량에 의해 획득되는 데이터로, 배너(720)가 선택된 후보군(730) 전 또는 후 중 어느 그룹에서 출력되는지 판단할 필요가 있다. 이는 STB 가 기종에 따라 제공하는 배너(720)가 상이하기 때문이다.
디스플레이 디바이스는 선택된 후보군(730)을 기준으로 구분되는 전,후 그룹(SECTION A,B)의 공통된 특이점 개수를 이용하여 배너(720)를 포함하는 그룹을 선별할 수 있다.
배너(720)를 포함하는 그룹은 배너(720)를 포함하지 않는 그룹보다 공통된 특이점이 많을 수 있다. 도 12는 선택된 후보군(730)을 기준으로 전 그룹(SECTION A)와 후 그룹(SECTION B)로 나눠지는 실시예를 도시하고 있으며, 디스플레이 디바이스는 공통된 특이점 개수를 통해 후 그룹(SECTION B)에 배너(720)가 포함되는 것을 인지할 수 있다.
디스플레이 디바이스는 선택된 후보군(730)을 기준으로 전,후 그룹(SECTION A,B) 중 어느 그룹에 배너가 출력되는지 판단한 후, 배너(720)가 출력되는 시간을 판단할 수 있다.
전 그룹(SECTION A)에 배너가 출력되는 것으로 판단된 경우, 전 그룹(SECTION A)에서 가장 마지막으로 캡쳐된 이미지의 캡쳐 시간을 통해 배너(720)가 지속되는 시간 또는 배너(720)가 사라지는 시간을 판단할 수 있다.
후 그룹(SECTION B)에 배너(720)가 출력되는 것으로 판단된 경우, 후 그룹(SECTION B)에서 가장 처음으로 캡쳐된 이미지의 캡쳐 시간을 통해 배너가 출력되는 시간을 판단할 수 있다.
도 12의 경우, 후 그룹(SECTION B)에 배너(720)가 출력되므로, 디스플레이 디바이스는 후 그룹(SECTION B)에서 가장 처음으로 캡쳐된 캡쳐 이미지(700-3)의 캡쳐 시간(3000ms)을 배너(720)가 출력되는 시간으로 판단할 수 있다.
상기와 같이, 본 발명에 따른 디스플레이 디바이스는 스스로 배너(720)가 출력되는 시간을 인지하여 배너(720)가 획득하기 위한 캡쳐 타이밍을 판단할 수 있다.
또한, 본 발명에 디스플레이 디바이스는 배너(720)가 출력되는 시간을 판단하며 배너(720)의 위치 및 특이점을 분석한다. 따라서, 상기 분석된 데이터를 통해 배너(720)가 출력되는 이미지로부터 채널 번호를 인식하는데 소용되는 시간을 단축할 수 있다.
경우에 따라서, 디스플레이 디바이스는 스스로 배너(720) 캡쳐 타이밍을 판단할 수 없는 경우, 네트워크를 통해 서버(600, 도 3)로부터 캡쳐 타이밍 정보를 획득 할 수 있다.
즉, 본 발명에 따른 디스플레이 디바이스는 자체적으로 캡쳐 타이밍을 판단하고, 스스로 캡쳐 타이밍을 판단할 수 없는 경우 네트워크 연결된 서버의 자료를 보조적으로 활용할 수 있다.
본 발명에 따른 디스플레이 디바이스가 스스로 캡쳐 타이밍을 판단할 수 없는 경우로는 실질적으로 채널이 변경되지 않은 경우나, STB 가 제공하는 배너의 특징이 상이한 경우일 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
전술한 발명의 실시를 위한 최선의 형태에서, 이미 본 발명이 적용될 수 있는 다양한 실시에들을 전술한 바 있다.
본 발명은 TV등의 디스플레이 디바이스 및 STB(Set Top Box)등에 적용될 수 있으므로, 산업상 이용가능성이 인정된다.

Claims (12)

  1. 디스플레이 디바이스에 있어서,
    리모트 컨트롤러로부터 제어신호를 수신하는 사용자 입력 인터페이스;
    적어도 하나의 데이터를 저장하는 메모리;
    상기 디스플레이 디바이스와 연결된 STB(Set Top Box)로부터 적어도 하나의 신호를 수신하는 외부 디바이스 인터페이스;
    상기 수신된 적어도 하나의 신호에 포함된 비디오 데이터를 출력하는 디스플레이 모듈; 그리고,
    상기 사용자 입력 인터페이스, 상기 메모리, 상기 외부 디바이스 인터페이스 및 상기 디스플레이 모듈을 제어하는 컨트롤러를 포함하되,
    상기 컨트롤러는
    상기 수신된 제어신호에 대응하여 채널을 변경하는 경우, 상기 디스플레이 모듈에 출력된 이미지를 기 설정 개수 이상 캡쳐하고,
    상기 캡쳐된 이미지간 컬러 변화량을 통해, 상기 STB가 제공하는 그래픽 데이터의 출력 시간을 획득하는 것을 특징으로 하는 디스플레이 디바이스.
  2. 제1항에 있어서,
    상기 STB가 제공하는 그래픽 데이터는
    상기 비디오 데이터에 오버레이되는 반투명 또는 불투명의 배너인 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 컨트롤러는
    순차적으로 획득된 상기 캡쳐된 이미지에서, 한 픽셀을 기준으로 주변 픽셀 정보를 함께 취합하여 컬러 변화량이 불투명 또는 반투명 배너특성에 부합되는 픽셀을 유효 픽셀로 구분하고,
    상기 유효 픽셀을 그룹핑하여 상기 배너의 후보군을 인식하는 것을 특징으로 하는 디스플레이 디바이스.
  4. 제3항에 있어서,
    상기 불투명 배너특성은 배경 이미지에 불투명 배너가 오버레이 되는 경우, 오버레이된 픽셀은 기 설정된 컬러 값을 가지며,
    상기 반투명 배너특성은 배경 이미지에 반투명 배너가 오버레이 되는 경우, 오버레이된 픽셀은 최대값이 기 설정 범위 이상으로 가변되며, 최소값과 중간값 및 중간값과 최대값의 차이가 기 설정 범위 이내로 가변되는 것을 특징으로 하는 디스플레이 디바이스.
  5. 제4항에 있어서,
    상기 컨트롤러는
    배너 비율, 배너 사이즈, 배너 형상, 배너 위치 및 상기 유효픽셀의 산점도 중 적어도 하나를 이용하여 상기 배너의 후보군을 필터링하는 것을 특징으로 하는 디스플레이 디바이스.
  6. 제5항에 있어서,
    상기 컨트롤러는
    상기 필터링된 후보군 중 기 설정 개수의 상기 캡쳐된 이미지에서 1회 또는 2회 획득되는 후보군을 실제 배너에 의한 후보군으로 선택하는 것을 특징으로 하는 디스플레이 디바이스.
  7. 제6항에 있어서,
    상기 컨트롤러는
    상기 필터링된 후보군 중 기 설정 개수의 상기 캡쳐된 이미지에서 연속적으로 획득되거나, 획득되는 위치 또는 형상이 변동하는 후보군은 실제 배너에 의한 후보군에서 제외하는 것을 특징으로 하는 디스플레이 디바이스.
  8. 제7항에 있어서,
    상기 컨트롤러는
    상기 선택된 후보군을 포함하는 이미지를 제1 캡쳐 이미지로 정의하고, 상기 제1 캡쳐 이미지를 포함하며 상기 제1 캡쳐 이미지 이전에 캡쳐된 기 설정 개수의 이미지를 제1 그룹 이미지로 정의하고,
    상기 제1 캡쳐 이미지 직후에 캡쳐된 이미지를 제2 캡쳐 이미지로 정의하고, 상기 제2 캡쳐 이미지를 포함하며 상기 제2 캡쳐 이미지 이후에 캡쳐된 기 설정 개수의 이미지를 제2 그룹 이미지로 정의하고,
    상기 제1 그룹 이미지와 상기 제2 그룹 이미지간 공통 특이점 개수를 비교하여 상기 배너가 출력되는 그룹을 판단하는 것을 특징으로 하는 디스플레이 디바이스.
  9. 제8항에 있어서,
    상기 컨트롤러는
    상기 제2 그룹 이미지가 상기 제1 그룹 이미지보다 공통 특이점 개수가 많은 경우, 상기 제2 캡쳐 이미지의 캡쳐 시간을 통해 상기 배너가 출력되는 시간을 판단하고,
    상기 제1 그룹 이미지가 상기 제2 그룹 이미지보다 공통 특이점 개수가 많은 경우, 상기 제2 캡쳐 이미지의 캡쳐 시간을 통해 상기 배너가 사라지는 시간을 판단하는 것을 특징으로 하는 디스플레이 디바이스.
  10. 연결된 STB(Set Top Box)가 제공하는 배너의 출력 시간을 판단하는 디스플레이 디바이스 제어방법에 있어서,
    리모트 컨트롤러를 통해 채널변경 신호를 수신하는 단계;
    상기 채널변경 신호 수신 후 기 설정 개수 이상 디스플레이 모듈에 출력된 이미지를 캡쳐하는 단계;
    상기 캡쳐된 이미지간 컬러 변화량을 통해 상기 배너를 인식하는 단계;
    상기 배너를 인식할 수 없는 경우 채널변경 신호를 재 수신하는 단계;
    채널 변경 후 상기 배너가 출력되는 시간 정보를 저장하는 단계;를 포함하는 디스플레이 디바이스 제어방법.
  11. 제10항에 있어서,
    상기 배너를 인식하는 단계는,
    상기 캡쳐된 이미지간 컬러 변화량을 통해 유효픽셀을 구분하고, 상기 유효픽셀을 그룹핑하여 배너 후보군을 인식하는 단계;
    상기 인식된 후보군을 배너의 비율, 크기, 형상 및 상기 유효픽셀의 산점도 중 적어도 하나를 통해 필터링하는 단계;
    상기 필터링된 후보군 중 기 설정 개수의 상기 캡쳐된 이미지에서 1회 획득되는 후보군을 실제 배너에 의한 후보군으로 선택하는 단계;
    상기 선택된 후보군 및 상기 캡쳐된 이미지의 캡쳐 시간을 통해 상기 배너가 출력되는 시간을 판단하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 디바이스 제어방법.
  12. 제11항에 있어서,
    상기 배너의 출력 시간을 판단할 수 없는 경우, 상기 배너가 출력되는 시간을 판단하는 단계 이후에 네트워크 인터페이스를 통해 상기 배너가 출력되는 시간 정보를 수신하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 디바이스 제어방법.
PCT/KR2018/004381 2018-04-16 2018-04-16 멀티미디어 디바이스 및 그 제어방법 WO2019203370A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/004381 WO2019203370A1 (ko) 2018-04-16 2018-04-16 멀티미디어 디바이스 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/004381 WO2019203370A1 (ko) 2018-04-16 2018-04-16 멀티미디어 디바이스 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2019203370A1 true WO2019203370A1 (ko) 2019-10-24

Family

ID=68240089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004381 WO2019203370A1 (ko) 2018-04-16 2018-04-16 멀티미디어 디바이스 및 그 제어방법

Country Status (1)

Country Link
WO (1) WO2019203370A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273114A1 (en) * 2007-05-04 2008-11-06 Hardacker Robert L STB channel reader
US20130002887A1 (en) * 2009-11-25 2013-01-03 Jeremy Bruce-Smith System And Method For Automated Set-Top Box Testing Via Configurable Event Time Measurements
US20140068675A1 (en) * 2011-05-20 2014-03-06 Eldon Technology Limited Enhanced program preview content
KR20140113286A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템
KR20170063658A (ko) * 2014-09-30 2017-06-08 삼성전자주식회사 채널 라인업, 셋탑박스 ir 코드 및 셋탑박스를 제어하는 tv에 대한 유료 tv 운영자의 자동 선택을 위한 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273114A1 (en) * 2007-05-04 2008-11-06 Hardacker Robert L STB channel reader
US20130002887A1 (en) * 2009-11-25 2013-01-03 Jeremy Bruce-Smith System And Method For Automated Set-Top Box Testing Via Configurable Event Time Measurements
US20140068675A1 (en) * 2011-05-20 2014-03-06 Eldon Technology Limited Enhanced program preview content
KR20140113286A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 패턴 매칭 및 문자 인식을 이용한 사용자 시청 행동을 추적하는 장치 및 방법, 그리고 시스템
KR20170063658A (ko) * 2014-09-30 2017-06-08 삼성전자주식회사 채널 라인업, 셋탑박스 ir 코드 및 셋탑박스를 제어하는 tv에 대한 유료 tv 운영자의 자동 선택을 위한 방법 및 시스템

Similar Documents

Publication Publication Date Title
WO2018216865A1 (en) Display device and operating method thereof
WO2016204520A1 (en) Display device and operating method thereof
WO2017111252A1 (en) Electronic device and method of scanning channels in electronic device
WO2019035657A1 (en) IMAGE DISPLAY APPARATUS
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2017159941A1 (en) Display device and method of operating the same
WO2020256185A1 (ko) 디스플레이 장치
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2015186857A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2018066788A1 (ko) 디스플레이 장치
WO2021010511A1 (ko) 디스플레이 장치
WO2021033785A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2019203370A1 (ko) 멀티미디어 디바이스 및 그 제어방법
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2020222322A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023182547A1 (ko) 디스플레이 장치
WO2023163253A1 (ko) 디스플레이 장치, 원격제어장치 및 이들로 구성되는 디스플레이 시스템
WO2024101491A1 (ko) 투명 디스플레이 장치 및 그의 동작 방법
WO2024147368A1 (ko) 디스플레이 장치 및 그의 특정 플랫폼 앱 사용 유도 방법
WO2024135871A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020262742A1 (ko) 디스플레이 장치
WO2020262732A1 (ko) 디스플레이 장치
WO2024147371A1 (ko) 비디오 전송 장치 및 그의 동작 방법
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18915103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18915103

Country of ref document: EP

Kind code of ref document: A1