WO2019151571A1 - 디스플레이 장치 - Google Patents

디스플레이 장치 Download PDF

Info

Publication number
WO2019151571A1
WO2019151571A1 PCT/KR2018/003437 KR2018003437W WO2019151571A1 WO 2019151571 A1 WO2019151571 A1 WO 2019151571A1 KR 2018003437 W KR2018003437 W KR 2018003437W WO 2019151571 A1 WO2019151571 A1 WO 2019151571A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
metadata
display
displayed
captured
Prior art date
Application number
PCT/KR2018/003437
Other languages
English (en)
French (fr)
Inventor
김자연
김명선
염정호
오주현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2019151571A1 publication Critical patent/WO2019151571A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Definitions

  • the present invention relates to a display apparatus capable of capturing and providing a scene capable of providing detailed information using meta data.
  • Digital TV services using wired or wireless communication networks are becoming common.
  • Digital TV service can provide a variety of services that could not be provided in the conventional analog broadcasting service.
  • the user must select the object that they want to search.
  • a problem may arise in that the object to be searched cannot be selected as the scene is changed.
  • An object of the present invention is to provide a display device capable of capturing and providing a scene capable of providing detailed information using metadata.
  • a display apparatus for receiving a broadcast signal, a display unit, and displays a real-time broadcast image corresponding to the broadcast signal, the meta based on the metadata included in the broadcast signal And a controller for capturing a scene corresponding to data and displaying the captured scene.
  • Figure 3 shows an example of the actual configuration of the remote control device according to an embodiment of the present invention.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIGS. 8 to 11 are diagrams for describing a method of displaying a plurality of thumbnail images according to output of a real-time broadcast image, according to an exemplary embodiment.
  • FIG. 12 is a diagram for describing an operation method when any one scene among a plurality of captured scenes is selected according to an embodiment of the present disclosure.
  • 13 to 14 are diagrams for describing an operating method when an icon is selected according to an embodiment of the present invention.
  • 17 to 18 are diagrams for describing a method of displaying a detailed icon of an icon according to an exemplary embodiment of the present invention.
  • FIG. 19 is a diagram illustrating an operation method when any one of a plurality of scenes captured while viewing VOD content is selected according to an embodiment of the present invention.
  • 21 is a diagram for describing an operating method when a specific scene is selected from a plurality of scenes according to an exemplary embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 may be implemented as a TV, a monitor, a projector, or a device including the same.
  • the display apparatus 100 may include a broadcast receiver 130, an external device interface 135, a storage 140, a user input interface 150, a camera 160, a controller 170, a display 180, The audio output unit 185 and the power supply unit 190 may be included.
  • the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface unit 133.
  • the tuner 131 may tune a specific broadcast channel according to a channel tuning command.
  • the tuner 131 may receive a broadcast signal for a tuned specific broadcast channel.
  • the demodulator 132 may separate the received broadcast signal into a video signal, an audio signal, and a data signal associated with a broadcast program, and may restore the separated video signal, the audio signal, and the data signal into a form capable of outputting the broadcast signal.
  • the network interface unit 133 may provide an interface for connecting the display apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 133 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • some content data stored in the display apparatus 100 may be transmitted to a user selected from another user or another electronic device registered in the display apparatus 100 or a selected electronic apparatus.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through the network, it is possible to send or receive data with the server.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive the update information and the update file of the firmware provided by the network operator, and may transmit data to the Internet or the content provider or the network operator.
  • the network interface unit 133 may select and receive a desired application from among applications that are open to the public through the network.
  • the external device interface unit 135 may provide a connection path between the display apparatus 100 and the external device.
  • the display apparatus 100 may be connected to the external device by wire or wirelessly through the external device interface unit 135.
  • the external device interface unit 135 may receive one or more of an image and audio output from the external device and transmit the received one or more to the controller 170.
  • the external device connectable to the external device interface unit 135 may be any one of a set top box, a Blu-ray player, a DVD player, a game machine, a sound bar, a terminal such as a smartphone, a PC, a USB memory, and a home theater.
  • the storage unit 140 may store a program for processing and controlling each signal in the controller 170, and may store a signal-processed video, audio, or data signal.
  • the storage 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface 135, the network interface 133, or the camera 160.
  • the channel storage function may also store information about a predetermined image.
  • the storage 140 may store an application or a list of applications input from the external device interface 135 or the network interface 133.
  • the display apparatus 100 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140 to the user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170, or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (UWB), ZigBee, RF (Radio Frequency) communication, or Infrared (IR) communication.
  • the remote controller 200 may receive and process a control signal such as power on / off, channel selection, screen setting, or the like, or transmit a control signal from the controller 170 to the remote controller 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • controller 170 may control overall operations of the display apparatus 100.
  • the controller 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131, or an external input input through the external device interface unit 135.
  • An image, an image input through a network interface unit, or an image stored in the storage 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the display unit 180 converts an image signal, a data signal, an OSD signal processed by the controller 170, or an image signal, data signal, etc. received from the external device interface unit 135 into R, G, and B signals, respectively. You can generate a signal.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display apparatus 100 that is actually implemented.
  • two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • the display apparatus 100 may be divided into an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services, and a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services
  • a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • the operation method of the display apparatus according to the embodiment of the present invention described below is not only the display apparatus 100 as described with reference to FIG. 1, but also an image processing apparatus or a display unit such as the separated set-top box or the like. 180 may be performed by any one of the content reproduction device including the audio output unit 185.
  • the wireless communication unit 220 transmits and receives a signal to and from a display device according to an embodiment of the present invention described above.
  • the remote control apparatus 200 includes an RF module 221 capable of transmitting and receiving a signal with the display apparatus 100 according to the RF communication standard, and capable of transmitting and receiving a signal with the display apparatus 100 according to the IR communication standard.
  • IR module 223 may be provided.
  • the remote control apparatus 200 may include a Bluetooth module 225 capable of transmitting and receiving a signal with the display apparatus 100 according to the Bluetooth communication standard.
  • the remote control apparatus 200 includes an NFC module 227 capable of transmitting and receiving a signal to and from the display apparatus 100 according to a Near Field Communication (NFC) communication standard, and displaying according to a WLAN (Wireless LAN) communication standard.
  • WLAN module 229 capable of transmitting and receiving signals to and from device 100 may be provided.
  • the remote control apparatus 200 transmits a signal containing information regarding the movement of the remote control apparatus 200 to the display apparatus 100 through the wireless communication unit 220.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and if necessary, the power supply to the display device 100 via the IR module 223 / Commands regarding off, channel change, volume change, etc. can be sent.
  • the user input unit 230 may include a keypad, a button, a touch pad, or a touch screen.
  • the user may input a command related to the display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 230.
  • the user input unit 230 includes a hard key button, the user may input a command related to the display apparatus 100 to the remote control apparatus 200 through a push operation of the hard key button. This will be described with reference to FIG. 3.
  • the remote control apparatus 200 may include a plurality of buttons.
  • the plurality of buttons may include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, It may include a channel change button 237, a confirmation button 238, and a back button 239.
  • the fingerprint recognition button 212 may be a button for recognizing a fingerprint of a user. In one embodiment, the fingerprint recognition button 212 may be pushed to receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on / off the power of the display apparatus 100.
  • the home button 232 may be a button for moving to the home screen of the display apparatus 100.
  • the live button 233 may be a button for displaying a live broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display apparatus 100.
  • the volume control button 235 may be a button for adjusting the volume of the volume output from the display apparatus 100.
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 230 may include various kinds of input means that the user can operate, such as a scroll key or a jog key, and the embodiment does not limit the scope of the present invention.
  • the gyro sensor 241 may sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 may move the speed of the remote control device 200. Information about the data can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, it is possible to sense the distance to the display unit 180 of the display device 100.
  • the output unit 250 may output a video or audio signal corresponding to an operation of the user input unit 235 or a signal transmitted from the display apparatus 100.
  • the user may recognize whether the user input unit 235 is manipulated or whether the display apparatus 100 is controlled through the output unit 250.
  • the output unit 250 is an LED module 251 that is turned on when the user input unit 235 is manipulated or a signal is transmitted to or received from the display apparatus 100 through the wireless communication unit 225, and a vibration module generating vibration. 253, a sound output module 255 for outputting sound, or a display module 257 for outputting an image.
  • the power supply unit 260 supplies power to the remote control device 200, and can reduce power waste by stopping the power supply when the remote control device 200 does not move for a predetermined time.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control apparatus 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control apparatus 200. If the remote control apparatus 200 transmits and receives a signal wirelessly through the display apparatus 100 and the RF module 221, the remote control apparatus 200 and the display apparatus 100 transmit and receive signals through a predetermined frequency band. .
  • the control unit 280 of the remote control apparatus 200 stores and refers to the storage unit 270 with information about a frequency band for transmitting and receiving a signal wirelessly with the display apparatus 100 paired with the remote control apparatus 200. can do.
  • the controller 280 controls various matters related to the control of the remote controller 200.
  • the controller 280 may display a signal corresponding to a predetermined key manipulation of the user input unit 235 or a signal corresponding to the movement of the remote controller 200 sensed by the sensor unit 240 through the wireless communication unit 220. 100).
  • the voice acquisition unit 290 of the remote control device 200 may obtain a voice.
  • the voice acquirer 290 may include at least one microphone, and may obtain a voice through the microphone.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control apparatus 200 is displayed on the display unit 180.
  • the user may move or rotate the remote control apparatus 200 vertically, left and right.
  • the pointer 205 displayed on the display unit 180 of the display apparatus 100 corresponds to the movement of the remote control apparatus 200.
  • the remote control apparatus 200 may be referred to as a spatial remote controller because the pointer 205 is moved and displayed according to the movement in the 3D space as shown in the figure.
  • the display apparatus 100 may calculate the coordinates of the pointer 205 from the information about the movement of the remote control apparatus 200.
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • recognition of up, down, left and right movements may be excluded when a specific button in the remote control apparatus 200 is pressed. That is, when the remote control apparatus 200 moves away from or approaches the display unit 180, the up, down, left, and right movements are not recognized, and only the front and back movements may be recognized. In a state in which a specific button in the remote control apparatus 200 is not pressed, only the pointer 205 moves according to the up, down, left, and right movements of the remote control apparatus 200.
  • the moving speed or the moving direction of the pointer 205 may correspond to the moving speed or the moving direction of the remote control apparatus 200.
  • the pointer in the present specification refers to an object displayed on the display unit 180 in response to the operation of the remote control apparatus 200.
  • the pointer 205 may be an object of various shapes in addition to the arrow shape shown in the drawing.
  • the concept may include a point, a cursor, a prompt, a thick outline, and the like.
  • the pointer 205 may be displayed corresponding to any one of the horizontal axis and the vertical axis of the display unit 180, or may be displayed corresponding to a plurality of points such as a line and a surface. Do.
  • FIG. 5 is a diagram illustrating a problem that may occur when a user selects an object for searching.
  • the controller may provide a magic link function.
  • the magic link function may be a function of searching for and providing a video or various information related to a broadcast program currently being viewed.
  • the controller may search and provide information related to the object included in the real-time broadcast image of the broadcast program on the web.
  • a user watches a real time broadcast image 510.
  • the user is in a state in which information about a person who is the first object 511 is curious.
  • FIG. 6 is a diagram for describing a method of operating a display apparatus according to an exemplary embodiment.
  • the method may further include displaying a real-time broadcast image corresponding to a broadcast signal (S610), and a scene corresponding to metadata based on metadata included in the broadcast signal.
  • the method may include capturing a scene in operation S630 and displaying a captured scene in operation S650.
  • the broadcast receiver may receive a broadcast signal. Also, the broadcast receiver may display a real-time broadcast image corresponding to the received broadcast signal using the broadcast signal.
  • the broadcast signal may include meta data.
  • the broadcast receiver may extract metadata from the received broadcast signal.
  • FIGS. 7 to 10 are diagrams for describing a method of capturing and displaying a scene corresponding to metadata according to an exemplary embodiment of the present invention.
  • the meta data may be data specifying one or more objects to be provided with detailed information.
  • various types of objects may be included and displayed in the real-time broadcast image.
  • the type of object may include a person, a hair, clothes, a bag, a place, furniture, shoes, a building, and a makeup.
  • the person may include a first person (for example, Hong Gil-dong), a second person (Seongchunhyang), and the bag may include a first bag (company A model name B), a second bag (company C model name D), and the like. It may include.
  • the hair may include a first hairstyle (Hong Gil-dong style), a second hairstyle (Sungchun style), and the like.
  • the meta data may be data specifying one or more objects to be provided with detailed information.
  • the metadata may be data specifying a first person, a second bag, and a second hairstyle.
  • the meta data may be data matched to a specific scene.
  • the meta data may be data designating one or more objects to be provided with detailed information in the specific scene.
  • the meaning that the metadata corresponds to a specific scene may mean that the metadata is designated to be applied to a specific scene.
  • meaning that metadata specifies one or more objects to be provided with detailed information in a specific scene means that one or more objects included in a specific scene to which metadata is matched is provided for details. It may mean that it is specified as.
  • first metadata is matched to the first scene
  • the first metadata is data specifying the first person
  • metadata is not matched to the second scene
  • the third scene Is assumed to match the second metadata and the second metadata is data specifying the second bag and the third garment.
  • the object to be provided with the detailed information may be a first person included in the first scene, a second bag and a third garment included in the third scene.
  • the controller may capture and display a first scene matched with the first metadata, and display the first person in the first scene so that the first person can be identified.
  • the controller may capture and display a third scene matched with the second metadata, and display the second bag and the third garment in the third scene so as to be identified.
  • the meta data may be data matching a specific broadcast program.
  • the meta data may be data designating one or more objects to be provided with detailed information in the real-time broadcast image of the specific broadcast program.
  • the real-time broadcast video may be composed of a plurality of scenes.
  • the real time broadcast video may be configured with first to 1000th scenes.
  • the first person is included in the twentieth scene among the plurality of scenes, the second person is included in the thirtieth scene, and the first person and the second person are included in the thirty-fiveth scene. It is assumed that this is included.
  • the object to be provided with the detailed information may be a first person and a second person.
  • the controller may capture and display a twentieth scene including the first person, and display the first person in the twentieth scene so that the first person can be identified.
  • the controller may capture and display a thirtieth scene including the second person, and display the second person in the thirtieth scene so that the second person can be identified.
  • the controller may capture and display a 35th scene including the first person and the second person, and display the first person and the second person in the 35th scene so that the first person and the second person can be identified.
  • the meaning of capturing a scene corresponding to metadata means that a scene is extracted and captured using metadata matched to a specific scene according to the first embodiment, and broadcasted according to the second embodiment. This may include all embodiments of extracting and capturing a scene based on metadata matched with a program.
  • the metadata may be data that designates an object generated by a user and a target of providing detailed information.
  • the controller may receive an input for selecting a specific object.
  • the controller may recognize the specific object and search through the web.
  • the controller may generate metadata for designating the selected specific object as an object for providing detailed information.
  • the generated metadata may be matched with the specific broadcast program.
  • the generated metadata may be matched to a specific scene constituting the specific broadcast program.
  • the controller may generate metadata for designating the selected specific object as an object for providing detailed information.
  • the controller may store the generated metadata by matching the specific scene.
  • the metadata may be data that is generated through image extraction and designates an object to be provided with detailed information.
  • the controller may extract an object from the scene.
  • the controller may recognize the extracted object and search through the web.
  • the controller may generate metadata for designating the extracted object as an object for providing detailed information.
  • the generated metadata may be matched to a specific broadcast program or matched to a specific scene from which an object is extracted.
  • a scene may mean one frame, and a plurality of frames may constitute one scene.
  • the metadata may be matched to a specific frame.
  • FIG. 7 is a diagram for describing an operating method when an input for executing a search function is received from a user according to an exemplary embodiment of the present disclosure.
  • the controller may start providing detailed information about the object.
  • the controller may store the real-time broadcast image in the storage unit.
  • the controller may capture a fourth scene before the currently displayed scene by using the stored broadcast image.
  • the fourth scene may be a scene corresponding to metadata.
  • the controller may display the captured fourth scene together with the real time broadcast image 710.
  • the controller may display the captured thumbnail image 720 of the fourth scene together with the real-time broadcast image 710.
  • FIGS. 8 to 10 are diagrams for describing a method of displaying a plurality of thumbnail images according to an output of a real-time broadcast image according to an embodiment of the present invention.
  • the controller may capture a scene corresponding to the metadata based on the metadata included in the broadcast signal and display the captured scene.
  • the controller may capture a scene in which metadata is matched among all scenes.
  • the controller may include a fifth scene in which the fifth metadata is matched, a sixth scene in which the sixth metadata is matched, a seventh scene in which the seventh metadata is matched, and the eighth metadata are matched.
  • the eighth scene and the ninth scene matched with the ninth metadata may be captured.
  • the controller may sequentially display a plurality of scenes in the order in which they are captured.
  • the controller captures the fifth scene and displays the captured fifth scene in real-time broadcast image ( 810 may be displayed together.
  • the controller may display the captured thumbnail image 730 of the fifth scene together with the real-time broadcast image 710.
  • the controller may display the thumbnail image 730 of the fifth scene on the right side of the thumbnail image 720 of the fourth scene that was previously captured and displayed.
  • control unit may capture a plurality of scenes in the same manner, and sequentially list thumbnail images 720, 730, 740, 750, and 760 of the captured plurality of scenes in real time to broadcast the image 910. Can be displayed together.
  • the controller captures the fifth scene and displays a thumbnail image 730 of the captured fifth scene together with the real-time broadcast image 810. It can be displayed.
  • the controller captures the sixth scene and displays a thumbnail image 740 of the captured sixth scene in real time. 810 and a thumbnail image 730 of the fifth scene.
  • thumbnail image 720 of the fourth scene a thumbnail image 730 of the fifth scene, a thumbnail image 740 of the sixth scene, a thumbnail image 750 of the seventh scene, and a thumbnail image of the eighth scene 760 is displayed.
  • the controller may capture the ninth scene.
  • the controller may display the thumbnail image 770 of the newly captured ninth scene at the rightmost side, and delete the thumbnail image of the fourth scene 720 most recently captured and displayed at the leftmost side.
  • the thumbnail image 730 of the fifth scene, the thumbnail image 740 of the sixth scene, the thumbnail image 750 of the seventh scene, and the thumbnail image 760 of the eighth scene may be moved to the left.
  • the controller may receive an input for viewing the thumbnail image that was previously displayed.
  • the controller may delete the newly captured thumbnail image 770 of the ninth scene and display the thumbnail image of the fourth scene 720 on the leftmost side.
  • the thumbnail image 730 of the fifth scene, the thumbnail image 740 of the sixth scene, the thumbnail image 750 of the seventh scene, and the thumbnail image 760 of the eighth scene may be moved to the right.
  • the controller may capture a scene corresponding to the metadata based on the metadata included in the broadcast signal and display the captured scene.
  • the controller may capture a plurality of scenes corresponding to the metadata based on the metadata included in the broadcast signal and the object included in the scene, and display the captured plurality of scenes.
  • the controller may determine whether the entire scene includes an object specified in the metadata.
  • the controller may capture a plurality of scenes including an object specified in metadata among all scenes.
  • the controller may include a plurality of scenes (five scenes, sixth scenes, seventh scenes, eighth scenes, and ninth scenes) including at least one object among one or more objects specified in metadata in a real-time broadcast image. Can be captured.
  • the controller may sequentially display a plurality of scenes in the order in which they are captured.
  • the controller captures the fifth scene and captures the captured scene. 5 may be displayed along with the real-time broadcast image 810.
  • the controller may display the captured thumbnail image 730 of the fifth scene together with the real-time broadcast image 710.
  • the controller may display the thumbnail image 730 of the fifth scene on the right side of the thumbnail image 720 of the fourth scene that was previously captured and displayed.
  • the controller may capture a plurality of scenes in the same manner and sequentially list thumbnail images 720, 730, 740, 750, and 760 of the plurality of scenes together with the real-time broadcast image 910. It can be displayed.
  • the controller captures the fifth scene and displays a thumbnail image 730 of the captured fifth scene together with the real-time broadcast image 810. It can be displayed.
  • the controller captures the sixth scene and displays a thumbnail image 740 of the captured sixth scene in real time. 810 and a thumbnail image 730 of the fifth scene.
  • FIG. 12 is a diagram for describing an operation method when any one scene among a plurality of captured scenes is selected according to an embodiment of the present disclosure.
  • the controller may display the selected scene.
  • the controller may control the fifth scene. 1210 may be displayed.
  • the controller may display one or more objects that are the targets of providing detailed information included in the fifth scene to be distinguishable.
  • the controller may display one or more icons 1230, 1240, and 1250 indicating what one or more objects to be provided with detailed information.
  • each of the one or more icons 1230, 1240, and 1250 may include information on the type of object.
  • the first icon 1230 is an icon representing an object related to a person, and may include an image corresponding to the person.
  • the second icon 1240 is an icon representing an object related to the clothes, and displays an image corresponding to the garment.
  • the third icon 1260 may include an image corresponding to a place as an icon representing an object related to the place.
  • the controller displays the first icon 1230 in the area where the sex chun-hyang is located and displays the second icon 1240 in the area where the B clothes is located.
  • the third icon 1260 may be displayed in an area in which the location C is located.
  • the metadata may include information for designating music to be output when the scene is displayed.
  • the controller may display a fourth icon 1250 corresponding to music.
  • the controller may display some of the icons in accordance with the priority of the icon display.
  • the first icon 1230 is an icon representing an object related to a person
  • the second icon 1240 is an icon representing an object related to a clothing
  • the third icon 1260 is an icon representing an object related to a place. If the fifth icon is an icon representing an object related to hair, the controller displays the first icon 1230, the second icon 1240, and the third icon 1260 of the plurality of icons according to the priority of the icon display. And the fifth icon may not be displayed.
  • the priority of the icon display may be determined based on at least one of a user preference and a genre of a broadcast program.
  • the controller may acquire information related to user preferences such as a search history. If there are objects related to clothing, place, hair, and shoes in a specific scene, and the user is interested in clothes, place, hair, the controller may display an icon representing clothing, an icon representing place, and an icon representing hair. have.
  • control unit may preferentially display an icon representing a person when the genre of the broadcast program is a soccer game, an icon representing a recipe when the genre of the broadcast program is a dish, and a travel genre of the broadcast program.
  • an icon indicating a place may be preferentially displayed.
  • the controller may display the selected scene on the main screen.
  • the controller may control the fifth scene. 1210 may be displayed on the main screen.
  • the controller may display the broadcast image 1220 on the sub screen.
  • the controller may display the broadcast image on the PIP screen.
  • 13 to 14 are diagrams for describing an operating method when an icon is selected according to an embodiment of the present invention.
  • the controller may display the object 1240 corresponding to the second icon 1240 to be identified.
  • the outline of the B garment may be highlighted.
  • the controller may display detailed information 1420 of the object 1240 corresponding to the second icon 1240.
  • the controller may display detailed information about the object 1240 corresponding to the second icon 1240 by performing a search on the web using object information (for example, the name of the object) included in the metadata. Can be.
  • object information for example, the name of the object
  • the controller recognizes an image of the object 1240 corresponding to the second icon 1240 and retrieves the recognized image from the web, thereby detailing the object 1240 corresponding to the second icon 1240. Information can be displayed.
  • 15 to 16 are diagrams for describing a method of modifying a search word according to an exemplary embodiment of the present invention.
  • the controller may display detailed information 1520 of the object corresponding to the first icon 1230.
  • the controller may determine a search word using at least one of metadata and the recognized image, and perform a search using the search word.
  • the controller may display the web page 1520 of the search.
  • the web page 1520 may include a search box 1521 and a search word input in the search box.
  • the search word extracted by the controller may not be a search word desired by the user.
  • the controller may input a new search word or receive an input for modifying an existing search word.
  • the controller may display a new search word or a modified search word in the search box 1521 and perform a search using the new search word or the modified search word.
  • 17 to 18 are diagrams for describing a method of displaying a detailed icon of an icon according to an exemplary embodiment of the present invention.
  • the controller may provide one or more functions related to an icon.
  • the controller may provide a music direct listening service, a music storage service, and a music transmission service.
  • the controller may display one or more detailed icons 1710, 1720, and 1730 corresponding to each of the one or more functions.
  • the number of detailed icons may be changed based on whether a user logs in.
  • control unit may include a detailed icon 1740 related to SNS registration and a detailed icon 1750 related to messenger transmission. ) Can be displayed additionally.
  • FIG. 19 is a diagram illustrating an operation method when any one of a plurality of scenes captured while viewing VOD content is selected according to an embodiment of the present invention.
  • the controller may display the selected scene 1910.
  • the controller may pause playback of the VOD content and display one or more icons 1230, 1240, and 1250 indicating what one or more objects to be provided with detailed information.
  • controller may pause playback of the VOD content and display the detailed information 1520 and 1420 of one or more objects to be provided with the detailed information.
  • the controller may replay the VOD content again from the time when the selected scene 1910 is captured.
  • 20 is a diagram for describing a method of classifying and displaying a plurality of captured scenes according to an exemplary embodiment.
  • the controller may display the plurality of scenes captured so far.
  • the controller may classify and display the plurality of scenes according to the types of objects included in the plurality of scenes.
  • the controller may display a plurality of icons 1230, 1240, 1250, and 1260 corresponding to a plurality of types, and when a specific icon is selected, display a plurality of scenes corresponding to the selected icon.
  • the controller may display one or more scenes including sex rhyme among the plurality of captured scenes.
  • the controller may include one or more scenes including C pants and one or more scenes 1241 and 1242 including D T-shirts among a plurality of captured scenes. , 1243, 1244, 1245, 1246 can be displayed.
  • the controller may display a plurality of scenes captured during the broadcast of the broadcast program or during the playback of the VOD content.
  • the controller may capture a scene based on a condition set by a user and display the captured scene.
  • the controller may capture a scene including the specific person and display the captured scene.
  • the priority of displaying the icons 1230, 1240, 1250, and 1260 may be determined based on at least one of a user preference and a genre of a broadcast program.
  • 21 is a diagram for describing an operating method when a specific scene is selected from a plurality of scenes according to an exemplary embodiment.
  • the controller may display the specific scene 2210 as shown in FIG. 21. .
  • the controller can play the VOD content or display the broadcast image from the time when the specific scene 2210 is captured.
  • the controller may store the real-time broadcast image in the storage unit.
  • the metadata generated by the display apparatus 100 may be used again.
  • the metadata generated while the real-time broadcast image of a specific broadcast program is displayed may be stored in the storage unit.
  • the control unit captures a scene corresponding to the stored metadata and displays the captured scene). can do.
  • metadata generated by the display apparatus 100 may be shared.
  • the controller may transmit the generated metadata to another display device or upload it to a server.
  • the display device of another person may capture a scene corresponding to the metadata and display the captured scene.
  • the present invention can provide an environment in which a user can easily select a scene desired to be searched.
  • the present invention can provide an environment in which a search can be easily performed even for a scene that has already passed during the real-time broadcasting.
  • the user has the advantage of being able to see a plurality of scenes at which the object that he was interested after seeing the broadcast all at once.
  • the plurality of scenes are classified and displayed according to types, thereby helping the user to easily search.
  • the user has an advantage that the object that he was interested in can see again from the time the object appeared.
  • control unit is generally in charge of controlling the device, and may be used interchangeably with terms such as a central processing unit, a microprocessor, and a processor.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. It includes.
  • the computer may include a controller of a display device. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치가 개시된다. 본 발명의 실시 예에 따른 디스플레이 장치는, 방송 신호를 수신하는 방송 수신부, 디스플레이부, 및, 상기 방송 신호에 대응하는 실시간 방송 영상을 디스플레이 하고, 상기 방송 신호에 포함되는 메타 데이터에 기초하여 상기 메타 데이터에 대응하는 씬(scene)을 캡쳐하고, 상기 캡쳐된 씬(scene)을 디스플레이 하는 제어부를 포함한다.

Description

디스플레이 장치
본 발명은, 메타 데이터를 이용하여 세부 정보의 제공이 가능한 씬을 캡쳐하여 제공 할 수 있는 디스플레이 장치에 관한 것이다.
유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
최근에는 방송 영상에 포함되는 오브젝트를 인식하고, 인식된 오브젝트를 이용하여 세부 정보를 검색한 후 사용자에게 제공하는 기술이 나타나고 있다.
이 경우 사용자는 검색하기를 원하는 오브젝트를 선택해야 한다. 다만 실시간 방송 영상을 보면서 오브젝트를 선택하는 조작을 하는 경우, 장면이 전환됨에 따라 검색하기를 원하는 오브젝트를 선택할 수 없는 문제가 발생할 수 있다.
본 발명의 목적은, 메타 데이터를 이용하여 세부 정보의 제공이 가능한 씬을 캡쳐하여 제공 할 수 있는 디스플레이 장치를 제공하기 위함이다.
본 발명의 실시 예에 따른 디스플레이 장치는, 방송 신호를 수신하는 방송 수신부, 디스플레이부, 및, 상기 방송 신호에 대응하는 실시간 방송 영상을 디스플레이 하고, 상기 방송 신호에 포함되는 메타 데이터에 기초하여 상기 메타 데이터에 대응하는 씬(scene)을 캡쳐하고, 상기 캡쳐된 씬(scene)을 디스플레이 하는 제어부를 포함한다.
본 발명은, 사용자가 검색을 원하는 장면을 용이하게 선택할 수 있는 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 사용자가 검색을 위한 오브젝트 선택시 발생할 수 있는 문제점을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른, 디스플레이 장치의 동작 방법을 설명하기 위한 도면이다.
도 7 내지 도 10은 본 발명의 실시 예에 따른, 메타 데이터에 대응하는 씬을 캡쳐하여 디스플레이 하는 방법을 설명하기 위한 도면이다.
도 8 내지 도 11은 본 발명의 실시 예에 따른, 실시간 방송 영상의 출력에 따라 복수의 썸네일 이미지를 디스플레이 하는 방법을 설명하기 위한 도면이다
도 12는 본 발명의 실시 예에 따른, 캡쳐된 복수의 씬 중 어느 하나의 씬이 선택되는 경우의 동작 방법을 설명하기 위한 도면이다.
도 13 내지 도 14는 본 발명의 실시 예에 따른, 아이콘 선택되는 경우의 동작 방법을 설명하기 위한 도면이다.
도 15 내지 도 16은 본 발명의 실시예에 따른, 검색어의 수정 방법을 설명하기 위한 도면이다.
도 17 내지 도 18은 본 발명의 실시 예에 따른 아이콘에 대한 세부 아이콘을 디스플레이 하는 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 실시 예에 따른, VOD 컨텐츠 시청 중 캡쳐된 복수의 씬 중 어느 하나의 씬이 선택되는 경우의 동작 방법을 설명하기 위한 도면이다.
도 20은 본 발명의 실시 예에 따른, 캡쳐된 복수의 씬을 분류하여 디스플레이 하는 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 실시 예에 따른, 복수의 씬 중 특정 씬을 선택하는 경우의 동작 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 TV, 모니터, 프로젝터 또는 이를 포함하는 장치 등으로 구현될 수 있다.
디스플레이 장치(100)는 방송 수신부(130), 외부기기 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 카메라(160), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 및 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부 (133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너 (131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
외부기기 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부기기 인터페이스부(135)는 디스플레이 장치(100)와 외부장치 간의 연결 경로를 제공할 수 있다. 디스플레이 장치(100)는 외부기기 인터페이스부(135)를 통해 외부장치와 유선 또는 무선으로 연결될 수 있다.
외부기기 인터페이스부(135)는 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부기기 인터페이스부(135)에 연결 가능한 외부장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰과 같은 단말기, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부기기 인터페이스부(135), 네트워크 인터페이스부 (133), 또는 카메라(160)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부기기 인터페이스부(135) 또는 네트워크 인터페이스부 (133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일 (동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), UWB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부기기 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부기기 인터페이스부 (135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부기기 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부기기 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부기기 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부기기 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부 (220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부 (270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2을 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예에 따른 디스플레이 장치와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)을 구비할 수 있다. 또한, 원격제어장치 (200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부 (180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크를 포함할 수 있고, 마이크를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부 (180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 사용자가 검색을 위한 오브젝트 선택시 발생할 수 있는 문제점을 설명하기 위한 도면이다.
제어부는 매직 링크 기능을 제공할 수 있다. 여기서 매직 링크 기능이란, 현재 시청 중인 방송 프로그램과 연관된 동영상이나 다양한 정보를 검색하여 제공하는 기능일 수 있다.
예를 들어 제어부는, 현재 시청중인 방송 프로그램과 연관된 동영상, 현재 시청중인 방송 프로그램과 동일한 장르의 채널, 키워드나 시청 프로그램과 관련되어 웹에서 검색되는 정보, 등장 인물 정보, 방송 프로그램 정보 등을 제공할 수 있다.
또한 제어부는 방송 프로그램의 실시간 방송 영상에 포함되는 오브젝트와 연관된 정보를 웹 등에서 검색하여 제공할 수 있다.
도 5a를 참고하면, 사용자는 실시간 방송 영상(510)을 시청하고 있다. 또한 사용자는 현재 제1 오브젝트(511)인 인물에 대한 정보가 궁금한 상태이다.
이 경우 사용자는 원격 제어 장치를 이용하여 포인터(520)를 생성하고, 포인터(520)를 제1 오브젝트(511)로 이동 시켜서 클릭하는 제어를 수행하여야 한다.
다만 제어를 수행하는 동안, 화면이 이미 다음 장면(530)으로 넘어가 버림에 따라, 사용자는 검색하기를 원하는 오브젝트를 선택할 수 없는 문제가 발생할 수 있다.
도 6은 본 발명의 실시 예에 따른, 디스플레이 장치의 동작 방법을 설명하기 위한 도면이다.
도 6에 따르면 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은, 방송 신호에 대응하는 실시간 방송 영상을 디스플레이 하는 단계(S610), 방송 신호에 포함되는 메타 데이터에 기초하여 메타 데이터에 대응하는 씬(scene)을 캡쳐하는 단계(S630) 및 캡쳐된 씬(scene)을 디스플레이 하는 단계(S650) 포함할 수 있다.
먼저 방송 신호에 대응하는 실시간 방송 영상을 디스플레이 하는 단계(S610)에 대하여 설명한다.
방송 수신부는 방송 신호를 수신할 수 있다. 또한 방송 수신부는 방송 신호를 이용하여 수신된 방송 신호에 대응하는 실시간 방송 영상을 디스플레이 할 수 있다.
한편 방송 신호는 메타 데이터를 포함할 수 있다. 이 경우 방송 수신부는 수신된 방송 신호로부터 메타 데이터를 추출할 수 있다.
방송 신호에 포함되는 메타 데이터에 기초하여 메타 데이터에 대응하는 씬(scene)을 캡쳐하는 단계(S630) 및 캡쳐된 씬(scene)을 디스플레이 하는 단계(S650)와 관련해서는 도 7 내지 도 10을 참고하여 구체적으로 설명한다.
도 7 내지 도 10은 본 발명의 실시 예에 따른, 메타 데이터에 대응하는 씬을 캡쳐하여 디스플레이 하는 방법을 설명하기 위한 도면이다.
먼저 방송 신호에 포함되어 수신되는 메타 데이터에 대해서 설명한다.
메타 데이터는, 세부 정보의 제공의 대상이 되는 하나 이상의 오브젝트를 지정하는 데이터일 수 있다.
구체적으로 실시간 방송 영상에는, 다양한 종류의 오브젝트가 포함되어 디스플레이 될 수 있다.
여기서 오브젝트의 종류는, 인물, 헤어, 의류, 가방, 장소, 가구, 구두, 건물, 화장 등을 포함할 수 있다.
이 경우 인물은 제1 인물(예를 들어 홍길동), 제2 인물(성춘향) 등을 포함할 수 있으며, 가방은 제1 가방(A사 모델명 B), 제2 가방(C사 모델명 D) 등을 포함할 수 있다. 또한 헤어는 제1 헤어 스타일(홍길동 스타일), 제2 헤어 스타일(성춘향 스타일) 등을 포함할 수 있다.
그리고 메타 데이터는, 세부 정보의 제공의 대상이 되는 하나 이상의 오브젝트를 지정하는 데이터일 수 있다.
예를 들어 메타 데이터는, 제1 인물, 제2 가방, 제2 헤어 스타일을 지정하는 데이터일 수 있다.
제1 실시 예로써, 메타 데이터는 특정 씬(scene)에 매칭된 데이터일 수 있다. 그리고 메타 데이터가 특정 씬(scene)에 매칭되는 경우, 메타 데이터는 특정 씬(scene) 내의 세부 정보의 제공의 대상이 되는 하나 이상의 오브젝트를 지정하는 데이터일 수 있다.
여기서 메타 데이터가 특정 씬(scene)에 매칭된다는 의미는, 메타 데이터가 특정 씬(scene)에 적용되는 것으로 지정된 것을 의미할 수 있다. 또한 메타 데이터가 특정 씬(scene) 내의 세부 정보의 제공의 대상이 되는 하나 이상의 오브젝트를 지정한 다는 의미는, 메타 데이터가 매칭된 특정 씬(scene)에 포함된 하나 이상의 오브젝트를 세부 정보의 제공의 대상으로 지정한다는 의미일 수 있다.
예를 들어 제1 씬(scene)에 제1 메타 데이터가 매칭되었고 제1 메타 데이터가 제1 인물을 지정하는 데이터이고, 제2 씬(scene)에는 메타 데이터가 매칭되지 않았고, 제3 씬(scene)에 제2 메타 데이터가 매칭되었고 제2 메타 데이터가 제2 가방 및 제3 의류를 지정하는 데이터인 것으로 가정한다.
이 경우 세부 정보의 제공의 대상이 되는 오브젝트는, 제1 씬(scene)에 포함되는 제1 인물, 그리고 제3 씬(scene)에 포함되는 제2 가방 및 제3 의류일 수 있다.
이 경우 제어부는 제1 메타 데이터가 매칭된 제1 씬(scene)을 캡쳐하여 디스플레이 하고, 제1 씬(scene) 내의 제1 인물을 식별 가능하도록 디스플레이 할 수 있다. 또한 제어부는 제2 메타 데이터가 매칭된 제3 씬(scene)을 캡쳐하여 디스플레이 하고, 제3 씬(scene) 내의 제2 가방 및 제3 의류를 식별 가능하도록 디스플레이 할 수 있다.
제2 실시 예로써, 메타 데이터는 특정 방송 프로그램에 매칭되는 데이터일 수 있다. 그리고 메타 데이터가 특정 방송 프로그램에 매칭되는 경우, 메타 데이터는 특정 방송 프로그램의 실시간 방송 영상에서 세부 정보의 제공의 대상이 되는 하나 이상의 오브젝트를 지정하는 데이터일 수 있다.
여기서 메타 데이터가 특정 방송 프로그램에 매칭된다는 의미는, 메타 데이터가 특정 방송 프로그램의 실시간 방송 영상에 적용되는 것으로 지정된 것을 의미할 수 있다. 또한 메타 데이터는 특정 방송 프로그램의 실시간 방송 영상에서 세부 정보의 제공의 대상이 되는 하나 이상의 오브젝트를 지정한 다는 의미는, 실시간 방송 영상을 구성하는 복수의 씬(scene)에 포함된 하나 이상의 오브젝트를 세부 정보의 제공의 대상으로 지정한다는 의미일 수 있다.
예를 들어 “한국 대 미국의 축구 경기”라는 방송 프로그램의 실시간 방송 영상에 제1 인물 및 제3 인물을 지정하는 메타 데이터가 매칭된다고 가정한다.
실시간 방송 영상은 복수의 씬(scene)으로 구성될 수 있다. 예를 들어 실시간 방송 영상은 제1 내지 제1000 씬(scene)으로 구성될 수 있다.
그리고 복수의 씬(scene) 중 제20 씬(scene)에 제1 인물이 포함되고, 제30 씬(scene)에 제2 인물이 포함되고, 제 35씬(scene)에 제1 인물 및 제2 인물이 포함되는 것으로 가정한다.
이 경우 세부 정보의 제공의 대상이 되는 오브젝트는, 제1 인물 및 제2 인물일 수 있다.
이 경우 제어부는 제1 인물을 포함하는 제20 씬(scene)을 캡쳐하여 디스플레이 하고, 제 20 씬(scene) 내부의 제1 인물을 식별 가능하도록 디스플레이 할 수 있다. 또한 제어부는 제2 인물을 포함하는 제30 씬(scene)을 캡쳐하여 디스플레이 하고, 제 30 씬(scene) 내부의 제2 인물을 식별 가능하도록 디스플레이 할 수 있다. 또한 제어부는 제1 인물 및 제2 인물을 포함하는 제35 씬(scene)을 캡쳐하여 디스플레이 하고, 제 35 씬(scene) 내부의 제1 인물 및 제2 인물을 식별 가능하도록 디스플레이 할 수 있다.
한편 본 명세서에서 메타 데이터에 대응하는 씬을 캡쳐한다는 의미는, 위의 제1 실시 예에 따라 특정 씬에 매칭된 메타 데이터를 이용하여 씬을 추출하고 캡쳐하는 실시 예, 제2 실시 예에 따라 방송 프로그램에 매칭된 메타 데이터에 기초하여 씬을 추출하고 캡쳐하는 실시 예를 모두 포함하는 의미일 수 있다.
한편 메타 데이터는 사용자에 의하여 생성되고 세부 정보 제공의 대상이 되는 오브젝트를 지정하는 데이터일 수 있다.
구체적으로 제어부는 특정 오브젝트를 선택하는 입력을 수신할 수 있다. 이 경우 제어부는 특정 오브젝트를 인식한 후 웹을 통하여 검색할 수 있다. 그리고 제어부는 선택된 특정 오브젝트를 세부 정보 제공의 대상이 되는 오브젝트로 지정하는 메타 데이터를 생성할 수 있다.
이 경우 생성된 메타 데이터는 상기 특정 방송 프로그램에 매칭될 수 있다.
또한 생성된 메타 데이터는 상기 특정 방송 프로그램을 구성하는 특정 씬에 매칭될 수도 있다. 구체적으로 특정 씬에 포함되는 특정 오브젝트를 선택하는 입력이 수신되는 경우, 제어부는 선택된 특정 오브젝트를 세부 정보 제공의 대상이 되는 오브젝트로 지정하는 메타 데이터를 생성할 수 있다. 이 경우 제어부는 생성된 메타 데이터를 상기 특정 씬과 매칭하여 저장할 수 있다.
한편 메타 데이터는 이미지 추출을 통하여 생성되고, 세부 정보 제공의 대상이 되는 오브젝트를 지정하는 데이터일 수 있다.
구체적으로 제어부는 씬으로부터 오브젝트를 추출할 수 있다. 이 경우 제어부는 추출된 오브젝트를 인식한 후 웹을 통하여 검색할 수 있다. 그리고 제어부는 추출된 오브젝트를 세부 정보 제공의 대상이 되는 오브젝트로 지정하는 메타 데이터를 생성할 수 있다.
이 경우 생성된 메타 데이터는 특정 방송 프로그램에 매칭될 수도 있으며, 오브젝트를 추출한 특정 씬에 매칭 될 수도 있다.
한편 씬(scene)은 하나의 프레임을 의미할 수도 있으며, 복수의 프레임이 하나의 씬(scene)을 구성할 수도 있다.
그리고 씬(scene)이 하나의 프레임을 의미하는 경우, 메타 데이터는 특정 프레임에 매칭될 수 있다.
도 7은 본 발명의 실시 예에 따른, 사용자로부터 검색 기능의 실행을 위한 입력이 수신되는 경우의 동작 방법을 설명하기 위한 도면이다.
검색 기능의 실행을 위한 입력이 입력부를 통하여 수신되는 경우, 제어부는 오브젝트에 대한 세부 정보의 제공을 시작할 수 있다.
구체적으로, 제어부는 실시간 방송 영상을 저장부에 저장할 수 있다.
그리고 제1 시점(t1)에 검색 기능의 실행을 위한 입력이 수신되면, 제어부는 저장된 방송 영상을 이용하여 현재 디스플레이 되는 씬 이전의 제4 씬을 캡쳐할 수 있다. 여기서 제4 씬은 메타 데이터에 대응하는 씬일 수 있다.
이 경우 제어부는 캡쳐된 제4 씬을 실시간 방송 영상(710)과 함께 디스플레이 할 수 있다.
한편 제어부는 캡쳐된 제4 씬의 썸네일 이미지(720)를 실시간 방송 영상(710)과 함께 디스플레이 할 수 있다.
도 8 내지 도 10은 본 발명의 실시 예에 따른, 실시간 방송 영상의 출력에 따라 복수의 썸네일 이미지를 디스플레이 하는 방법을 설명하기 위한 도면이다.
먼저, 씬에 메타 데이터가 매칭되는 제1 실시 예에 대하여 설명한다.
제1 실시 예에 따르면, 제어부는 방송 신호에 포함되는 메타 데이터에 기초하여 메타 데이터에 대응하는 씬을 캡쳐하고, 캡쳐된 씬을 디스플레이 할 수 있다.
구체적으로 제어부는 전체 씬 중 메타 데이터가 매칭된 씬을 캡쳐할 수 있다.
예를 들어 제어부는 실시간 방송 영상에서, 제5 메타 데이터가 매칭된 제5 씬, 제6 메타 데이터가 매칭된 제6 씬, 제7 메타 데이터가 매칭된 제7 씬, 제8 메타 데이터가 매칭된 제8 씬, 제9 메타 데이터가 매칭된 제9 씬을 캡쳐할 수 있다.
이 경우 제어부는 복수의 씬을 캡쳐되는 순서대로 순차적으로 나열하여 디스플레이 할 수 있다.
구체적으로 도 8에서 도시하는 바와 같이, 제2 시점(t2)에 제5 메타 데이터가 매칭된 제5 씬이 디스플레이 된 경우, 제어부는 제5 씬을 캡쳐하고 캡쳐된 제5 씬을 실시간 방송 영상(810)과 함께 디스플레이 할 수 있다.
이 경우 제어부는 캡쳐된 제5 씬의 썸네일 이미지(730)를 실시간 방송 영상(710)과 함께 디스플레이 할 수 있다.
또한 제어부는 제5 씬의 썸네일 이미지(730)를, 이전에 캡쳐되어 디스플레이 된 제4 씬의 썸네일 이미지(720)의 우측에 디스플레이 할 수 있다.
도 9를 참고하면, 제어부는 동일한 방식으로 복수의 씬을 캡쳐할 수 있으며, 캡쳐된 복수의 씬의 썸네일 이미지(720, 730, 740, 750, 760)를 순차적으로 나열하여 실시간 방송 영상(910)과 함께 디스플레이 할 수 있다.
예를 들어 메타 데이터에 대응하는 제5 씬이 제2 시점(t2)에 디스플레이 되면, 제어부는 제5 씬을 캡쳐하고 캡쳐된 제5 씬의 썸네일 이미지(730)를 실시간 방송 영상(810)과 함께 디스플레이 할 수 있다.
또한 제5 씬이 디스플레이 된 후 메타 데이터에 대응하는 제6 씬이 제3 시점(t3)에 디스플레이 되면, 제어부는 제6 씬을 캡쳐하고 캡쳐된 제6 씬의 썸네일 이미지(740)를 실시간 방송 영상(810) 및 제5 씬의 썸네일 이미지(730)와 함께 디스플레이 할 수 있다.
한편 도 9에서는 제4 씬의 썸네일 이미지(720), 제5 씬의 썸네일 이미지(730), 제6 씬의 썸네일 이미지(740), 제7 씬의 썸네일 이미지(750), 제8 씬의 썸네일 이미지(760)가 디스플레이 되어 있다.
한편 도 10을 참고하면, 제6 시점(t6)에 제9 메타 데이터가 매칭된 제9 씬이 디스플레이 된 경우, 제어부는 제9 씬을 캡쳐할 수 있다.
한편 썸네일 이미지의 디스플레이 개수는 한정되어 있다. 이 경우 제어부는 새롭게 캡쳐된 제9 씬의 썸네일 이미지(770)를 최 우측에 디스플레이 하고, 가장 이전에 캡쳐되어 최 좌측에 디스플레이 된 제4 씬(720)의 썸네일 이미지를 삭제할 수 있다. 또한 제5 씬의 썸네일 이미지(730), 제6 씬의 썸네일 이미지(740), 제7 씬의 썸네일 이미지(750), 제8 씬의 썸네일 이미지(760)는 좌측으로 이동할 수 있다.
한편 제어부는, 이전에 디스플레이 되었던 썸네일 이미지를 다시 보기 위한 입력을 수신할 수 있다.
이 경우 도 11에서 도시하는 바와 같이, 제어부는 새롭게 캡쳐된 제9 씬의 썸네일 이미지(770)를 삭제하고, 제4 씬(720)의 썸네일 이미지를 최 좌측에 다시 디스플레이 할 수 있다. 또한 제5 씬의 썸네일 이미지(730), 제6 씬의 썸네일 이미지(740), 제7 씬의 썸네일 이미지(750), 제8 씬의 썸네일 이미지(760)는 우측으로 이동할 수 있다.
다음은, 방송 프로그램에 메타 데이터가 매칭되는 제2 실시 예에 대하여 설명한다.
제2 실시 예에 따르면, 제어부는 방송 신호에 포함되는 메타 데이터에 기초하여 메타 데이터에 대응하는 씬(scene)을 캡쳐하고, 캡쳐된 씬(scene)을 디스플레이 할 수 있다.
구체적으로 제어부는 방송 신호에 포함되는 메타 데이터 및 씬에 포함되는 오브젝트에 기초하여, 메타 데이터에 대응하는 복수의 씬을 캡쳐하고, 캡쳐된 복수의 씬을 디스플레이 할 수 있다.
더욱 구체적으로 제어부는 전체 씬이, 메타 데이터에서 지정하는 오브젝트를 포함하는지 판단할 수 있다.
그리고 제어부는 전체 씬 중 메타 데이터에서 지정하는 오브젝트를 포함하는 복수의 씬을 캡쳐할 수 있다.
예를 들어 제어부는 실시간 방송 영상에서, 메타 데이터에서 지정하는 하나 이상의 오브젝트 중 적어도 하나의 오브젝트를 포함하는 복수의 씬(제5 씬, 제6 씬, 제7 씬, 제8 씬, 제9 씬)을 캡쳐할 수 있다.
이 경우 제어부는 복수의 씬을 캡쳐되는 순서대로 순차적으로 나열하여 디스플레이 할 수 있다.
구체적으로 도 8에서 도시하는 바와 같이, 제2 시점(t2)에 제5 씬이 디스플레이 되었고, 제5 씬이 메타 데이터에서 지정하는 오브젝트를 포함하는 경우, 제어부는 제5 씬을 캡쳐하고 캡쳐된 제5 씬을 실시간 방송 영상(810)과 함께 디스플레이 할 수 있다.
이 경우 제어부는 캡쳐된 제5 씬의 썸네일 이미지(730)를 실시간 방송 영상(710)과 함께 디스플레이 할 수 있다.
또한 제어부는 제5 씬의 썸네일 이미지(730)를, 이전에 캡쳐되어 디스플레이 된 제4 씬의 썸네일 이미지(720)의 우측에 디스플레이 할 수 있다.
도 9를 참고하면, 제어부는 동일한 방식으로 복수의 씬을 캡쳐할 수 있으며, 복수의 씬의 썸네일 이미지(720, 730, 740, 750, 760)를 순차적으로 나열하여 실시간 방송 영상(910)과 함께 디스플레이 할 수 있다.
예를 들어 메타 데이터에 대응하는 제5 씬이 제2 시점(t2)에 디스플레이 되면, 제어부는 제5 씬을 캡쳐하고 캡쳐된 제5 씬의 썸네일 이미지(730)를 실시간 방송 영상(810)과 함께 디스플레이 할 수 있다.
또한 제5 씬이 디스플레이 된 후 메타 데이터에 대응하는 제6 씬이 제3 시점(t3)에 디스플레이 되면, 제어부는 제6 씬을 캡쳐하고 캡쳐된 제6 씬의 썸네일 이미지(740)를 실시간 방송 영상(810) 및 제5 씬의 썸네일 이미지(730)와 함께 디스플레이 할 수 있다.
도 12는 본 발명의 실시 예에 따른, 캡쳐된 복수의 씬 중 어느 하나의 씬이 선택되는 경우의 동작 방법을 설명하기 위한 도면이다.
캡쳐된 복수의 씬 중 어느 하나의 씬을 선택하는 입력이 수신되면, 제어부는 선택된 씬을 디스플레이 할 수 있다.
예를 들어, 제4 씬의 썸네일 이미지(720) 및 제5 씬의 썸네일 이미지(730)가 디스플레이 된 상태에서 제5 씬의 썸네일 이미지(730)를 선택하는 입력이 수신되면, 제어부는 제5 씬(1210)을 디스플레이 할 수 있다.
또한 제어부는 제5 씬에 포함되는 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트를 식별 가능하도록 디스플레이 할 수 있다.
구체적으로 제어부는 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트가 무엇인지 나타내는 하나 이상의 아이콘(1230, 1240, 1250)을 디스플레이 할 수 있다.
여기서 하나 이상의 아이콘(1230, 1240, 1250) 각각은 오브젝트의 종류에 대한 정보를 포함할 수 있다.
예를 들어 제1 아이콘(1230)은 인물과 관련된 오브젝트를 나타내는 아이콘으로써 인물에 대응하는 이미지를 포함할 수 있고, 제2 아이콘(1240)은 의류와 관련된 오브젝트를 나타내는 아이콘으로써 의류에 대응하는 이미지를 포함할 수 있고, 제3 아이콘(1260)은 장소와 관련된 오브젝트를 나타내는 아이콘으로써 장소에 대응하는 이미지를 포함할 수 있다.
그리고 메타 데이터에 의하여 지정된 오브젝트가 인물 성춘향, B 의류, C 장소인 경우, 제어부는 성춘향이 위치하는 영역에 제1 아이콘(1230)을 디스플레이 하고 B 의류가 위치하는 영역에 제2 아이콘(1240)을 디스플레이 하고 C 장소가 위치하는 영역에 제3 아이콘(1260)을 디스플레이 할 수 있다.
한편 메타 데이터는 씬이 디스플레이 되는 당시에 출력되는 음악을 지정하는 정보를 포함할 수 있다.
이 경우 제어부는 음악에 대응하는 제4 아이콘(1250)을 디스플레이 할 수 있다.
한편 제어부는 아이콘 표시의 우선 순위에 따라 복수의 아이콘 중 일부 아이콘을 디스플레이 할 수 있다.
예를 들어 제1 아이콘(1230)은 인물 과 관련된 오브젝트를 나타내는 아이콘이고, 제2 아이콘(1240)은 의류와 관련된 오브젝트를 나타내는 아이콘이고, 제3 아이콘(1260)은 장소와 관련된 오브젝트를 나타내는 아이콘이고, 제5 아이콘은 헤어와 관련된 오브젝트를 나타내는 아이콘인 경우, 제어부는 아이콘 표시의 우선 순위에 따라 복수의 아이콘 중 제1 아이콘(1230), 제2 아이콘(1240) 및 제3 아이콘(1260)을 디스플레이 하고 제5 아이콘은 디스플레이 하지 않을 수 있다.
여기서 아이콘 표시의 우선 순위는 사용자 선호도 및 방송 프로그램의 장르 중 적어도 하나에 기초하여 결정될 수 있다.
예를 들어 제어부는 검색 이력 등 사용자 선호도와 관련된 정보를 획득할 수 있다. 그리고 특정 씬에 의류, 장소, 헤어, 구두와 관련된 오브젝트가 존재하고, 사용자가 의류, 장소, 헤어에 관심이 많은 경우 제어부는 의류를 나타내는 아이콘, 장소를 나타내는 아이콘, 헤어를 나타내는 아이콘을 디스플레이 할 수 있다.
다른 예를 들어 제어부는, 방송 프로그램의 장르가 축구경기인 경우 인물을 나타내는 아이콘을 우선적으로 디스플레이 할 수 있으며, 방송 프로그램의 장르가 요리인 경우 레시피를 나타내는 아이콘을, 그리고 방송 프로그램의 장르가 여행인 경우 장소를 나타내는 아이콘을 우선적으로 디스플레이 할 수 있다.
한편 캡쳐된 복수의 씬 중 어느 하나의 씬을 선택하는 입력이 수신되면, 제어부는 선택된 씬을 메인 화면에서 디스플레이 할 수 있다.
예를 들어, 제4 씬의 썸네일 이미지(720) 및 제5 씬의 썸네일 이미지(730)가 디스플레이 된 상태에서 제5 씬의 썸네일 이미지(730)를 선택하는 입력이 수신되면, 제어부는 제5 씬(1210)을 메인 화면에서 디스플레이 할 수 있다.
한편 선택된 씬이 메인 화면에서 디스플레이 되기 전에는 방송 영상이 메인 화면으로 디스플레이 되고 있었다. 그리고 복수의 씬 중 어느 하나의 씬을 선택하는 입력이 수신되면, 제어부는 방송 영상(1220)을 서브 화면에서 디스플레이 할 수 있다. 예를 들어 제어부는 방송 영상을 PIP 화면에서 디스플레이 할 수 있다.
도 13 내지 도 14는 본 발명의 실시 예에 따른, 아이콘 선택되는 경우의 동작 방법을 설명하기 위한 도면이다.
도 13에 따르면, 복수의 아이콘 중 제2 아이콘(1240)이 선택되는 경우, 제어부는 제2 아이콘(1240)에 대응하는 오브젝트(1240)을 식별 가능하도록 디스플레이 할 수 있다.
예를 들어 제2 아이콘(1240)이 선택되는 경우 B 의류의 윤곽이 하이라이트 표시될 수 있다.
또한 도 14에 따르면, 복수의 아이콘 중 제2 아이콘(1240)이 선택되는 경우, 제어부는 제2 아이콘(1240)에 대응하는 오브젝트(1240)의 세부 정보(1420)를 디스플레이 할 수 있다.
예를 들어 제어부는 메타 데이터에 포함되는 오브젝트 정보(예를 들어 오브젝트의 명칭)를 이용하여 웹에서 검색을 수행함으로써, 제2 아이콘(1240)에 대응하는 오브젝트(1240)에 대한 세부 정보를 디스플레이 할 수 있다.
다른 예를 들어 제어부는 제2 아이콘(1240)에 대응하는 오브젝트(1240)의 이미지를 인식하고, 인식된 이미지를 웹에서 검색함으로써, 제2 아이콘(1240)에 대응하는 오브젝트(1240)에 대한 세부 정보를 디스플레이 할 수 있다.
도 15 내지 도 16은 본 발명의 실시예에 따른, 검색어의 수정 방법을 설명하기 위한 도면이다.
제1 아이콘(1230)이 선택되는 경우 제어부는 제1 아이콘(1230)에 대응하는 오브젝트의 세부 정보(1520)를 디스플레이 할 수 있다.
이 경우 제어부는 메타 데이터 및 인식된 이미지 중 적어도 하나를 이용하여 검색어를 결정하고, 검색어를 이용하여 검색을 수행할 수 있다. 또한 제어부는 검색을 수행한 웹페이지(1520)를 디스플레이 할 수 있다. 여기서 웹 페이지(1520)는 검색창(1521) 및 검색창에 입력된 검색어를 포함할 수 있다.
한편 제어부가 추출한 검색어가 사용자가 원하는 검색어가 아닐 수도 있다.
한편 제어부는 새로운 검색어를 입력하거나 기존의 검색어를 수정하기 위한 입력을 수신할 수 있다.
이 경우 도 16에서 도시하는 바와 같이, 제어부는 새로운 검색어나 수정된 검색어를 검색창(1521)에 디스플레이 하고, 새로운 검색어나 수정된 검색어를 이용하여 검색을 수행할 수 있다.
도 17 내지 도 18은 본 발명의 실시 예에 따른 아이콘에 대한 세부 아이콘을 디스플레이 하는 방법을 설명하기 위한 도면이다.
도 17을 참고하면, 제어부는 아이콘과 관련된 하나 이상의 기능을 제공할 수 있다. 예를 들어 제5 아이콘(1250)이 음악 아이콘인 경우, 제어부는 음악 바로 듣기 서비스, 음악 저장하기 서비스 및 음악을 휴대폰 전송 하기 서비스를 제공할 수 있다.
이 경우 제어부는 하나 이상의 기능 각각에 대응하는 하나 이상의 세부 아이콘(1710, 1720, 1730)을 디스플레이 할 수 있다.
한편 세부 아이콘의 개수는 사용자의 로그인 여부에 기초하여 변경될 수 있다.
구체적으로 사용자가 SNS 등록이나 메신저 전송을 위한 서비스에 가입하고 로그인을 유지하고 있는 경우, 도 18에서 도시하는 바와 같이, 제어부는 SNS 등록과 관련된 세부 아이콘(1740) 및 메신저 전송과 관련된 세부 아이콘(1750)을 추가적으로 디스플레이 할 수 있다.
도 19는 본 발명의 실시 예에 따른, VOD 컨텐츠 시청 중 캡쳐된 복수의 씬 중 어느 하나의 씬이 선택되는 경우의 동작 방법을 설명하기 위한 도면이다.
실시간 방송 영상이 디스플레이 되는 경우뿐만 아니라, VOD 컨텐츠가 디스플레이 되는 경우에도 위에서 설명한 실시 예는 그대로 적용될 수 있다.
캡쳐된 복수의 씬 중 어느 하나의 씬을 선택하는 입력이 수신되면, 제어부는 선택된 씬(1910)을 디스플레이 할 수 있다.
이 경우 제어부는 VOD 컨텐츠의 재생을 일시 정지하고, 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트가 무엇인지 나타내는 하나 이상의 아이콘(1230, 1240, 1250)을 디스플레이 할 수 있다.
또한 제어부는 VOD 컨텐츠의 재생을 일시 정지하고, 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트의 세부 정보(1520, 1420)를 디스플레이 할 수 있다.
한편 VOD 컨텐츠의 재생을 재개하기 위한 입력이 수신되면, 제어부는 선택된 씬(1910)이 캡쳐된 시점부터 VOD 컨텐츠를 다시 재생할 수 있다.
도 20은 본 발명의 실시 예에 따른, 캡쳐된 복수의 씬을 분류하여 디스플레이 하는 방법을 설명하기 위한 도면이다.
방송 프로그램의 방송 영상이 디스플레이 되는 동안 복수의 씬이 캡쳐된 경우, 제어부는 현재까지 캡쳐된 복수의 씬을 디스플레이 할 수 있다.
이 경우 제어부는 복수의 씬을 복수의 씬에 각각 포함되는 오브젝트의 유형에 따라 분류하여 디스플레이 할 수 있다.
구체적으로 제어부는 복수의 유형에 각각 대응하는 복수의 아이콘(1230, 1240, 1250, 1260)을 디스플레이 하고, 특정 아이콘이 선택되는 경우 선택된 아이콘에 대응하는 복수의 씬을 디스플레이 할 수 있다.
예를 들어 인물을 나타내는 제1 아이콘(1230)을 선택하는 입력이 수신되면, 제어부는 캡쳐된 복수의 씬 중 성춘향을 포함하는 하나 이상의 씬을 디스플레이 할 수 있다.
다른 예를 들어 의류를 나타내는 제2 아이콘(1240)을 선택하는 입력이 수신되면, 제어부는 캡쳐된 복수의 씬 중 C 바지를 포함하는 하나 이상의 씬과 D 티셔츠를 포함하는 하나 이상의 씬(1241, 1242, 1243, 1244, 1245, 1246)을 디스플레이 할 수 있다.
한편 제어부는 방송 프로그램의 방송이 종료하거나 VOD 컨텐츠의 재생이 종료한 경우, 방송 프로그램의 방송 중 또는 VOD 컨텐츠의 재생 중 캡쳐된 복수의 씬을 디스플레이 할 수 있다.
한편 제어부는 사용자에 의하여 설정된 조건에 기초하여 씬을 캡쳐하고, 캡쳐된 씬을 디스플레이 할 수 있다.
예를 들어 사용자가 조건으로 특정 인물을 설정한 경우, 제어부는 특정 인물을 포함하는 씬을 캡쳐하고, 캡쳐된 씬을 디스플레이 할 수 있다.
한편 아이콘(1230, 1240, 1250, 1260) 표시의 우선 순위는 사용자 선호도 및 방송 프로그램의 장르 중 적어도 하나에 기초하여 결정될 수 있다.
도 21은 본 발명의 실시 예에 따른, 복수의 씬 중 특정 씬을 선택하는 경우의 동작 방법을 설명하기 위한 도면이다.
복수의 씬(1241, 1242, 1243, 1244, 1245, 1246)이 디스플레이 된 상태에서 특정 씬을 선택하는 입력이 수신되면, 도 21에서 도시하는 바와 같이 제어부는 특정 씬(2210)을 디스플레이 할 수 있다.
이 경우 제어부는 특정 씬(2210)이 캡쳐된 시점부터 VOD 컨텐츠를 재생하거나 방송 영상을 디스플레이 할 수 있다. 이를 위하여 제어부는 실시간 방송 영상을 저장부에 저장할 수 있다.
한편 디스플레이 장치(100)에서 생성된 메타 데이터는, 다시 활용될 수 있다.
구체적으로 특정 방송 프로그램의 실시간 방송 영상이 디스플레이 되는 동안 생성된 메타 데이터는 저장부에 저장될 수 있다. 그리고 상기 특정 방송 프로그램이 다시 디스플레이 되면(예를 들어 특정 방송 프로그램이 재방송 되거나, 특정 방송 프로그램을 녹화 후 다시 재생하여 보는 경우), 제어부는 저장된 메타 데이터에 대응하는 씬을 캡쳐하고 캡쳐된 씬을 디스플레이 할 수 있다.
또한 디스플레이 장치(100)에서 생성된 메타 데이터는 공유될 수 있다.
구체적으로 제어부는 생성된 메타 데이터를 다른 디스플레이 장치에 전송하거나, 서버에 업로드 할 수 있다.
그리고 타인의 디스플레이 장치는 메타 데이터를 수신하거나 다운로드 한 후, 메타 데이터에 대응하는 씬을 캡쳐하고 캡쳐된 씬을 디스플레이 할 수 있다.
이와 같이 본 발명은, 사용자가 검색을 원하는 장면을 용이하게 선택할 수 있는 환경을 제공할 수 있다.
또한 본 발명은, 실시간 방송 중 이미 지나간 장면에 대해서도 검색을 용이하게 수행할 수 있는 환경을 제공할 수 있다.
또한 본 발명에 따르면, 사용자는 방송을 모두 시청한 후 자신이 관심을 가졌던 오브젝트가 나오는 복수의 장면을 한꺼번에 볼 수 있는 장점이 있다. 또한 복수의 장면은 종류 별로 분류되어 디스플레이 됨으로써, 사용자의 용이한 검색을 도울 수 있다.
또한 본 발명에 따르면, 사용자는 자신이 관심을 가졌던 오브젝트를 오브젝트가 등장한 시점부터 다시 볼 수 있는 장점이 있다.
한편, 제어부는 일반적으로 장치의 제어를 담당하는 구성으로, 중앙처리장치, 마이크로 프로세서, 프로세서 등의 용어와 혼용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함한다. 또한, 상기 컴퓨터는 디스플레이 장치의 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (12)

  1. 방송 신호를 수신하는 방송 수신부;
    디스플레이부; 및
    상기 방송 신호에 대응하는 실시간 방송 영상을 디스플레이 하고, 상기 방송 신호에 포함되는 메타 데이터에 기초하여 상기 메타 데이터에 대응하는 씬(scene)을 캡쳐하고, 상기 캡쳐된 씬(scene)을 디스플레이 하는 제어부;를 포함하는
    디스플레이 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 메타 데이터가 매칭된 특정 씬(scene)을 캡쳐하고, 상기 특정 씬(scene)을 상기 실시간 방송 영상과 함께 디스플레이 하는
    디스플레이 장치.
  3. 제 1항에 있어서,
    상기 메타 데이터는,
    상기 특정 씬(scene) 내의 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트를 지정하는 데이터인
    디스플레이 장치.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 메타 데이터 및 씬(scene)에 포함되는 오브젝트에 기초하여, 상기 메타 데이터에 대응하는 복수의 씬(scene)을 캡쳐하고, 상기 캡쳐된 복수의 씬(scene)을 디스플레이 하는
    디스플레이 장치.
  5. 제 4항에 있어서,
    상기 메타 데이터는,
    특정 방송 프로그램의 실시간 방송 영상에서 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트를 지정하는 데이터인
    디스플레이 장치.
  6. 제 5항에 있어서,
    상기 제어부는,
    상기 지정된 하나 이상의 오브젝트 중 적어도 하나의 오브젝트를 포함하는 복수의 씬(scene)을 캡쳐하여 디스플레이 하는
    디스플레이 장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    특정 오브젝트를 선택하는 입력이 수신되는 경우, 상기 특정 오브젝트를 세부 정보 제공의 대상이 되는 오브젝트로 지정하는 메타 데이터를 생성하는
    디스플레이 장치.
  8. 제 1항에 있어서,
    사용자로부터 입력을 수신하는 입력부; 및
    상기 실시간 방송 영상을 저장하는 저장부;를 더 포함하고,
    상기 제어부는,
    검색 기능의 실행을 위한 입력이 수신되면, 상기 저장된 방송 영상을 이용하여 현재 디스플레이 되는 씬(scene) 이전의 상기 메타 데이터에 대응하는 씬(scene)을 캡쳐하고, 상기 캡쳐된 씬(scene)의 썸네일 이미지를 상기 실시간 방송 영상과 함께 디스플레이 하는
    디스플레이 장치.
  9. 제 1항에 있어서,
    상기 제어부는,
    상기 메타 데이터에 대응하는 제1 씬(scene)이 디스플레이 되면 상기 제1 씬(scene)을 캡쳐하고 상기 캡쳐된 제1 씬(scene)의 썸네일 이미지를 상기 실시간 방송 영상과 함께 디스플레이 하고,
    상기 제1 씬(scene)이 디스플레이 된 후 상기 메타 데이터에 대응하는 제2 씬(scene)이 디스플레이 되면 상기 제2 씬(scene)을 캡쳐하고 상기 캡쳐된 제2 씬(scene)의 썸네일 이미지를 상기 실시간 방송 영상 및 상기 제1 씬(scene)의 썸네일 이미지와 함께 디스플레이 하는
    디스플레이 장치.
  10. 제 9항에 있어서,
    사용자로부터 입력을 수신하는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 제1 씬(scene) 및 제2 씬(scene) 중 어느 하나의 씬(scene)을 선택하는 입력이 수신되면, 상기 선택된 씬(scene)을 메인 화면에서 디스플레이 하고 상기 실시간 방송 영상을 서브 화면에서 디스플레이 하는
    디스플레이 장치.
  11. 제 9항에 있어서,
    사용자로부터 입력을 수신하는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 제1 씬(scene) 및 제2 씬(scene) 중 어느 하나의 씬(scene)을 선택하는 입력이 수신되면, 상기 선택된 씬(scene)을 디스플레이 하고, 세부 정보 제공의 대상이 되는 하나 이상의 오브젝트를 나타내기 위한 아이콘을 디스플레이 하는
    디스플레이 장치.
  12. 제 1항에 있어서,
    상기 제어부는,
    복수의 씬(scene)이 캡쳐된 경우, 상기 캡쳐된 복수의 씬(scene)을 상기 캡쳐된 복수의 씬(scene)에 각각 포함되는 오브젝트의 유형에 따라 분류하여 디스플레이 하는
    디스플레이 장치.
PCT/KR2018/003437 2018-02-05 2018-03-23 디스플레이 장치 WO2019151571A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180014236A KR102509935B1 (ko) 2018-02-05 2018-02-05 디스플레이 장치
KR10-2018-0014236 2018-02-05

Publications (1)

Publication Number Publication Date
WO2019151571A1 true WO2019151571A1 (ko) 2019-08-08

Family

ID=67478854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003437 WO2019151571A1 (ko) 2018-02-05 2018-03-23 디스플레이 장치

Country Status (2)

Country Link
KR (1) KR102509935B1 (ko)
WO (1) WO2019151571A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060072639A (ko) * 2004-12-23 2006-06-28 주식회사 팬택앤큐리텔 특정 방송 자동녹화가 가능한 ｄｍｂ 수신 시스템과 이를탑재한 이동통신 단말기 및 ｄｍｂ 신호로부터 특정방송을 자동으로 녹화하는 방법
KR100867005B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들
KR100885615B1 (ko) * 2007-12-03 2009-02-24 브로드밴드미디어주식회사 시청 중인 콘텐츠 파생 상품에 대한 부가 정보를 제공하는양방향 ｉｐｔｖ 서비스 시스템 및 방법
KR20110025261A (ko) * 2009-09-04 2011-03-10 브로드밴드미디어주식회사 콘텐츠 화면 속에 숨겨진 인터렉티브 서비스를 제공하기 위한 양방향 방송 서비스 방법 및 시스템
KR20110053683A (ko) * 2009-11-16 2011-05-24 에스케이 텔레콤주식회사 방송재생장치에서 특정 오브젝트를 선택하는 방법 및 이를 이용한 시스템
KR20130050465A (ko) * 2011-11-08 2013-05-16 한국전자통신연구원 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치
KR20130097485A (ko) * 2012-02-24 2013-09-03 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060072639A (ko) * 2004-12-23 2006-06-28 주식회사 팬택앤큐리텔 특정 방송 자동녹화가 가능한 ｄｍｂ 수신 시스템과 이를탑재한 이동통신 단말기 및 ｄｍｂ 신호로부터 특정방송을 자동으로 녹화하는 방법
KR100867005B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들
KR100885615B1 (ko) * 2007-12-03 2009-02-24 브로드밴드미디어주식회사 시청 중인 콘텐츠 파생 상품에 대한 부가 정보를 제공하는양방향 ｉｐｔｖ 서비스 시스템 및 방법
KR20110025261A (ko) * 2009-09-04 2011-03-10 브로드밴드미디어주식회사 콘텐츠 화면 속에 숨겨진 인터렉티브 서비스를 제공하기 위한 양방향 방송 서비스 방법 및 시스템
KR20110053683A (ko) * 2009-11-16 2011-05-24 에스케이 텔레콤주식회사 방송재생장치에서 특정 오브젝트를 선택하는 방법 및 이를 이용한 시스템
KR20130050465A (ko) * 2011-11-08 2013-05-16 한국전자통신연구원 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치
KR20130097485A (ko) * 2012-02-24 2013-09-03 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기

Also Published As

Publication number Publication date
KR102509935B1 (ko) 2023-03-15
KR20190094740A (ko) 2019-08-14

Similar Documents

Publication Publication Date Title
WO2018216865A1 (en) Display device and operating method thereof
WO2016204520A1 (en) Display device and operating method thereof
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2021060575A1 (ko) 인공 지능 서버 및 그의 동작 방법
WO2019172472A1 (ko) 디스플레이 장치
WO2018066788A1 (ko) 디스플레이 장치
WO2015186857A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2021251519A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2021010511A1 (ko) 디스플레이 장치
WO2021033785A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2019151571A1 (ko) 디스플레이 장치
WO2020222322A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치
WO2021060570A1 (ko) 가전 기기 및 서버
WO2020171245A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021029453A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023149590A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023176997A1 (ko) 디스플레이 장치
WO2017126774A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023182547A1 (ko) 디스플레이 장치
WO2021060589A1 (ko) 디스플레이 장치
WO2023153639A1 (ko) 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903804

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903804

Country of ref document: EP

Kind code of ref document: A1