WO2019017579A1 - 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템 - Google Patents

디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템 Download PDF

Info

Publication number
WO2019017579A1
WO2019017579A1 PCT/KR2018/005779 KR2018005779W WO2019017579A1 WO 2019017579 A1 WO2019017579 A1 WO 2019017579A1 KR 2018005779 W KR2018005779 W KR 2018005779W WO 2019017579 A1 WO2019017579 A1 WO 2019017579A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image
frame
service server
processing unit
Prior art date
Application number
PCT/KR2018/005779
Other languages
English (en)
French (fr)
Inventor
이영호
이호남
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP18835036.7A priority Critical patent/EP3637785A4/en
Priority to CN201880047854.1A priority patent/CN110915225A/zh
Priority to US16/632,674 priority patent/US11284132B2/en
Publication of WO2019017579A1 publication Critical patent/WO2019017579A1/ko
Priority to US17/665,502 priority patent/US20220174340A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load

Definitions

  • the present invention relates to a display device and a control method thereof, and more particularly to a display device, a display method and a display system capable of streaming service.
  • an image display device is a device capable of displaying image data in various formats by having a display panel.
  • the image display device can receive content data from various content sources such as a broadcasting station, an Internet server, a video reproducing device, a game device, and / or a portable terminal. Also, the image display device can restore (or decode) the image frame from the content data, and display the restored image frame on the display panel.
  • content sources such as a broadcasting station, an Internet server, a video reproducing device, a game device, and / or a portable terminal.
  • the image display device can restore (or decode) the image frame from the content data, and display the restored image frame on the display panel.
  • a streaming service is a service that provides contents in real time through a communication network such as the Internet.
  • the streaming service is not limited to a display device in the home such as a home television, a desk-top computer or a lap-top computer, and a streaming service for advertising may be provided on an outdoor large billboard using a display device.
  • the quality of such a streaming service may be greatly affected by the traffic of the communication network.
  • a display device capable of minimizing deterioration in image quality experienced by a user even when network traffic increases during a streaming service.
  • a display apparatus including: a communication unit for receiving video content from a video service server through a network and transmitting data to the video service server; An image processing unit decoding the video content and outputting an image frame; And a video display unit for displaying the video frame.
  • the video processing unit may further include a video resolution reduction signal for causing the video service server to transmit video content having a resolution lower than a reference resolution in response to traffic increase of the network,
  • the video service server may transmit to the video service server any of a frame rate reduction signal that causes video content having a frame rate lower than a reference frame rate to be transmitted in response to an increase in traffic of the network.
  • the image processing unit may transmit either the video resolution reduction signal or the frame rate reduction signal to the video service server based on the metadata of the video content.
  • the image processing unit may transmit either the video resolution reduction signal or the frame rate reduction signal to the video service server based on the motion vectors of the image frame.
  • the image processing unit may transmit the frame rate reduction signal to the video service server if the size of the motion vectors is smaller than a predetermined reference value.
  • the image processing unit may transmit the frame rate reduction signal to the video service server if the size of the motion vectors is larger than a predetermined reference value and the direction of the motion vectors is within a predetermined angle range.
  • the image processing unit may transmit the resolution reduction signal to the video service server.
  • the image processing unit may transmit either the video resolution reduction signal or the frame rate reduction signal to the video service server based on the depth map of the image frame.
  • the image processor converts the image frame into an image frame having the reference resolution and outputs the converted image frame.
  • the image processing unit When video content having a frame rate lower than the reference frame rate is received from the video service server, the image processing unit generates a supplementary image frame based on the image frame, and outputs the supplementary image frame.
  • the display device may further include an illuminance sensor for measuring the illuminance around the display device, and the image processor may be configured to transmit the frame rate reduction signal to the video encoder, if the illuminance value measured by the illuminance sensor is smaller than a predetermined reference illuminance value. To the service server.
  • a display method includes receiving video content from a video service server over a network; Decoding the video content into video frames; Wherein the video service server is adapted to transmit video content having a resolution lower than a reference resolution in response to an increase in traffic of the network, Rate reduction signal for transmitting video content having a rate to the video service server; And displaying the image frame.
  • the transmission of either the video resolution reduction signal or the frame rate reduction signal is performed based on at least one of the metadata of the video content and the depth maps of the motion vectors of the video frame and the video frame, Signal and the frame rate reduction signal to the video service server.
  • the display method measures an ambient illuminance of the display device; And transmitting the frame rate reduction signal to the video service server if the illuminance value measured by the illuminance sensor is smaller than a predetermined reference illuminance value.
  • the display method may further include receiving the video content having a resolution lower than the reference resolution from the video service server, converting the video frame into an image frame having the reference resolution, and outputting the converted image frame .
  • the display method may further include generating a supplementary image frame based on the image frame when the video content having a frame rate lower than the reference frame rate is received from the video service server, and outputting the supplementary image frame .
  • a display system including a video service server for transmitting video contents via a gateway server; And a display unit for displaying a video frame corresponding to the video content and transmitting either a video resolution reduction signal or a frame rate reduction signal to the video service server when the traffic increase signal is received from the gateway server,
  • the video service server transmits video content having a resolution lower than a reference resolution in response to a traffic increase signal of the gateway server and a video resolution reduction signal of the display apparatus, In response to the frame rate reduction signal of the display device, video content having a frame rate lower than the reference frame rate may be transmitted.
  • the display device selects one of the video resolution reduction signal and the frame rate reduction signal based on at least one of the metadata of the video content, the motion vectors of the video frame, and the depth map of the video frame, Signal to the video service server.
  • the display device measures ambient illuminance and may transmit the frame rate reduction signal to the video service server if the measured illuminance value is smaller than a predetermined reference illuminance value.
  • the display device converts the video frame into the video frame having the reference resolution and outputs the converted video frame.
  • the display device When video content having a frame rate lower than the reference frame rate is received from the video service server, the display device generates a supplementary image frame based on the image frame, and outputs the supplementary image frame.
  • a display device capable of minimizing deterioration in image quality experienced by a user even if network traffic increases during a streaming service.
  • FIG. 1 and 2 show a display device and a content source according to an embodiment.
  • FIG. 3 shows a configuration of a display device according to an embodiment.
  • FIG. 4 shows a configuration of an image processing unit included in a display device according to an embodiment.
  • FIG 5 shows an example of the operation of the display device according to one embodiment.
  • FIG. 6 illustrates a method of determining motion characteristics / depth characteristics of a display device according to an embodiment.
  • FIG. 7 shows an example of estimating a motion vector according to the determination method shown in FIG.
  • FIG. 8 illustrates an example of determining the characteristics of an image based on a motion vector according to the determination method shown in FIG.
  • FIG. 9 shows an example of estimating the vanishing point by the determination method shown in FIG.
  • FIG. 10 shows an example of estimating a forward object according to the determination method shown in FIG.
  • FIG 11 shows another example of the operation of the display device according to one embodiment.
  • FIG 12 illustrates operation of the display apparatus according to the embodiment in accordance with the reduction of the video resolution and the reduction of the frame rate.
  • FIG. 13 shows an example of decoding an image at the video resolution reduction shown in Fig.
  • Fig. 14 shows an example of decoding an image at the frame rate reduction shown in Fig.
  • connection when a part is referred to as being "connected" to another part, it includes not only the case directly connected but also the case where the connection is indirectly connected, and the indirect connection includes connection through the wireless communication network do.
  • a member when a member is located on another member, it includes not only when a member is in contact with another member but also when another member exists between the two members.
  • first, second, etc. are used to distinguish one element from another, and the elements are not limited by the above-mentioned terms.
  • the identification code is used for convenience of explanation, and the identification code does not describe the order of the steps, and each step may be performed differently from the stated order unless clearly specified in the context. have.
  • FIG. 1 and 2 show a display device and a content source according to an embodiment.
  • the display device 100 may be a device for displaying images such as a television, a monitor, a display terminal, a portable terminal, a notebook computer, or the like, as shown in FIG.
  • the display device 100 may be a large format display (LFD) installed outside the building such as a building roof or a bus stop, as shown in FIG.
  • LFD large format display
  • the outdoor unit is not necessarily limited to the outdoor unit, and the display unit 100 according to an embodiment may be installed in a place where a large number of people can access the indoor unit such as a subway station, a shopping mall, a movie theater, a company or a shop.
  • the display apparatus 100 can receive video signals and audio signals from various content sources, and output video and audio corresponding to video signals and audio signals.
  • the display device 100 may receive television broadcast content via a broadcast receiving antenna or a wired cable.
  • the display device 100 may output video and audio corresponding to the video signal and the audio signal included in the television broadcasting contents.
  • the display device 100 can receive the content from the video playback device.
  • the video recoding apparatus can reproduce a recording medium on which various contents such as movies, sports, etc. are stored.
  • the display apparatus 100 can receive a video signal and an audio signal from an image reproducing apparatus and output video and audio corresponding to the video signal and the audio signal.
  • the display device 100 may receive video content from a video service server 2 of a content provider (CP).
  • CP content provider
  • the content provider can provide various video contents through the wide area network using the video service server 2.
  • the video service server 2 stores various video contents such as movies, dramas, sports, and the like and can transmit video content data in real time via a wide area network (e.g., the Internet).
  • the video service server 3 can provide a streaming service of video contents.
  • the display device 100 can access a wide area network through a network provided by an Internet service provider (ISP).
  • ISP Internet service provider
  • the Internet service provider can provide a network to which a plurality of terminals are connected, and can relay the network of the Internet service provider and the wide area network using a gateway server (1).
  • the gateway server 1 may be referred to as various other names such as a router, a switch, a bridge, a network hub, a repeater, and the like.
  • the gateway server 1 of the Internet service provider can serve as a gateway for the display device 100 to access a wide area network (e.g., the Internet).
  • the display apparatus 100 can access the Internet via the gateway server 1 provided by the Internet service provider and can receive video contents from the video service server 3 via the gateway server 1.
  • the gateway server 1 can control the traffic of the network provided by the Internet service provider.
  • the gateway server 1 may include a plurality of gateways, and may distribute traffic to a plurality of gateways.
  • the gateway server 1 can monitor the network of the Internet service provider and provide the display device 100 and / or the video service server 2 with information about the network traffic.
  • the video service server 2 may store various video contents.
  • the video service server 2 may store various video contents such as movies, sports, and the like.
  • the video service server 2 can transmit video (continuous image frame) included in the video contents and audio to the display device 100 via the network of the Internet service provider. At this time, since the network bandwidth of the Internet service provider is limited, the video service server 2 compresses and encodes the video and audio (hereinafter, it is referred to as 'encoding' as a whole) To the display device 100.
  • the video service server 2 can encode video and audio in a 'stream' format (hereinafter referred to as 'data stream') in order to transmit video contents in real time.
  • the 'encoding' may include compressing the video content to reduce the capacity of the transmitted video content.
  • MPEG Moving Picture Experts Group
  • HEVC High Efficiency Video Coding
  • the 'data stream' may be a contiguous sequence of data (or bits) that are continuous in time.
  • the continuous data stream contains video and audio, and video and audio can be recovered from the continuous data stream.
  • the display apparatus 100 receives a data stream from the video service server 2, decompresses and decodes the data stream (hereinafter, it is referred to as compression and encoding as a whole), and outputs the decoded video and audio can do.
  • the video service server 2 can receive information on network traffic from the gateway server 1 of the Internet service provider and can encode video and audio differently according to the network traffic.
  • the network bandwidth between the video service server 2 and the display device 100 may decrease.
  • the transmission speed of data between the video service server 2 and the display device 100 that is, the amount of data that can be transmitted per unit time, can be reduced.
  • the video service server 2 can reduce the resolution of the video or reduce the frame rate of the video for smooth video reproduction even if the network bandwidth is reduced.
  • the video service server 2 can provide video content having various video resolutions.
  • the video service server 2 may store the same content of video content having different video resolutions.
  • the video service server 2 may change the video resolution of the video content upon transmission of the video content.
  • the video resolution may indicate the number of pixels of the video frame that make up the video.
  • an image having a resolution of UHD Ultra High Definition
  • a image having a resolution of QHD QHigh Definition
  • an image of FHD (Full High Definition) resolution has 1920 ⁇ 1080 pixels
  • an image of HD (high definition) resolution has 1280 ⁇ 720 pixels.
  • the video service server 2 can reduce the video resolution such that video is seamlessly reproduced if traffic of the network increases (i. E., The amount of transmittable data per unit time decreases).
  • the video service server 2 may transmit video content having a video resolution lower than the reference video resolution in response to an increase in network traffic.
  • the video service server 2 in response to the reduction of the network bandwidth, can continuously transmit video contents of the same content, but can transmit low-resolution video contents.
  • the video service server 2 can provide video contents having various frame rates.
  • the video service server 2 may store video contents having the same contents having different frame rates.
  • the video service server 2 may change the frame rate of the video content upon transmission of the video content.
  • the frame rate of the video may indicate the number of video frames per unit time constituting the video. For example, 60 fps (frames per second) indicates displaying 60 image frames per second, and 30 fps indicates 30 image frames per second.
  • the video service server 2 can reduce the frame rate of video so that video is seamlessly reproduced when the traffic of the network increases (i. E., The amount of transmittable data per unit time decreases).
  • the video service server 2 may transmit video content having a frame rate lower than the reference frame rate in response to an increase in network traffic.
  • the video service server 2 in response to the reduction of the network bandwidth, can transmit video contents of the same content continuously, but at a lower frame rate.
  • Display device 100 can receive video and audio signals from video service server 2, decode video signals into video (a plurality of video frames), and display video frames of video.
  • the display apparatus 100 can select either the video resolution reduction of the video content or the frame rate reduction of the video content as the network traffic increases. Specifically, the display apparatus 100 determines whether to decrease the resolution of video content in response to an increase in network traffic (hereinafter referred to as 'video resolution reduction') or decrease the frame rate of video content in response to an increase in network traffic Frame rate reduction ").
  • the display apparatus 100 may select one of the video resolution reduction and the frame rate reduction according to the characteristics of the content received from the video service server 2 and the viewing environment of the user, (2).
  • the video service server 2 may transmit video content whose video resolution has been reduced or may transmit video content whose frame rate has been reduced in response to a traffic signal in response to an increase in network traffic. For example, if video resolution reduction is selected by the display device 100, the video service server 2 may transmit video content with reduced video resolution in response to increased network traffic, If frame rate reduction is selected, the video service server 2 can transmit video contents whose frame rate has been reduced in response to an increase in network traffic.
  • FIG. 3 shows a configuration of a display device according to an embodiment.
  • FIG. 4 shows a configuration of an image processing unit included in a display device according to an embodiment.
  • the display device 100 includes an input unit 110 for receiving user input, a sensing unit 120 for collecting environmental information around the display device 100, an input unit 110, A content receiving unit 140 for receiving content data from the content sources and a content receiving unit 140 for providing the content data received by the content receiving unit 140 to the image processing unit 160.
  • the input unit 110 may include input buttons 111 for receiving user input.
  • the input unit 110 may include a power button for turning the display device 100 on or off, a channel selection button for selecting broadcast content displayed on the display device 100, A sound control button for adjusting the volume of sound, a source selection button for selecting a content source, and the like.
  • Each of the input buttons 111 receives user input and outputs an electrical signal corresponding to the user input to the control unit 130.
  • the input buttons 111 may be implemented by various input means such as a push switch, a touch switch, a dial, a slide switch, and a toggle switch.
  • a remote controller for receiving user input may be provided separately from the display device 100.
  • the remote controller can receive the user input and transmit the wireless signal corresponding to the user input to the display device 100.
  • the input unit 110 can wirelessly receive user input from the remote controller.
  • the sensing unit 120 may collect information on the environment around the display device 100, that is, information on the viewing environment of the user.
  • the sensing unit 120 may include an illuminance sensor 121 for measuring the illuminance around the display device 100.
  • the illuminance sensor 121 can output different electrical signals according to the ambient brightness. Specifically, the illuminance sensor 121 senses the ambient brightness, and may output an electrical signal corresponding to the ambient brightness to the control unit 130.
  • the illuminance sensor 121 may include a cadmium sulfide (CdS) sensor whose electrical resistance value changes according to ambient brightness, or may include a photodiode device that outputs different voltages depending on the ambient brightness.
  • CdS cadmium sulfide
  • the control unit 130 may process the user input through the input unit 110 and the sensing result of the sensing unit 120 and may provide the processing result to the image processing unit 160. [ For example, when a content source is selected through the input unit 110, the control unit 130 may output a control signal to the content receiving unit 140 and / or the image processing unit 160 to receive content from the selected content source .
  • the control unit 130 may include a microcontroller 131 for generating a control signal according to a user input and / or a detection result.
  • the microcontroller 131 may generate a content selection signal for selecting a content source according to a user input, and may output a content selection signal to the image processing unit 160.
  • the microcontroller 131 includes an arithmetic circuit (ALU) for performing logic operations and arithmetic operations, a memory circuit (S-RAM, D-RAM, etc.) for storing the computed data, , Nonvolatile memory such as flash memory), and the like.
  • ALU arithmetic circuit
  • S-RAM static random access memory
  • D-RAM dynamic random access memory
  • Nonvolatile memory such as flash memory
  • the content receiving unit 140 may include input terminals 141 and a tuner 142 for receiving content data from content sources.
  • the input terminals 141 can receive a video signal and an audio signal from content sources via a cable.
  • the display device 100 can receive the video signal and the audio signal from the content sources via the input terminals 141.
  • the input terminals 141 may be, for example, a component (YPbPr / RGB) terminal, a composite video blanking and sync (CVBS) terminal, an audio terminal, a High Definition Multimedia Interface A universal serial bus (USB) terminal, and the like.
  • a component YPbPr / RGB
  • CVBS composite video blanking and sync
  • USB universal serial bus
  • the tuner 142 receives the broadcast signal and can extract the broadcast signal of the channel selected by the user in the broadcast signal.
  • the tuner 142 may transmit a broadcast signal having a frequency corresponding to a channel selected by a user among a plurality of broadcast signals received through a broadcast receiving antenna or a cable, and may block broadcast signals having different frequencies have.
  • the content receiving unit 140 can receive the video signal and the audio signal from the content sources through the input terminals 141 and / or the tuner 142, and the input terminals 141 and / or the tuner 142 And outputs the received video signal and the audio signal to the image processing unit 160.
  • the user can select any one of a plurality of content sources through the input unit 110 and the control unit 130 controls the content receiving unit 140 and / Can be output.
  • the communication unit 150 may include a wired communication module 151 and a wireless communication module 152 for exchanging data with the video service server 2.
  • the wired communication module 151 can access the gateway server 1 through the cable connected from the display device 100 to the gateway server 1 of the Internet service provider.
  • the wired communication module 151 can communicate with the gateway server 1 via Ethernet (IEEE 802.3 technical standard).
  • the wired communication module 151 can exchange data with the video service server 2 on the wide area network via the gateway server 1.
  • the wireless communication module 152 can wirelessly communicate with an access point (AP) (or a user's gateway) connected to the gateway server 1.
  • AP access point
  • the wireless communication module 152 may be connected via a WiFi (TM), IEEE 802.11 technology standard, Bluetooth (Bluetooth), or IEEE 802.15.1 technology standard or ZigBee And can communicate with the repeater.
  • the connection repeater can be connected to the gateway server 1.
  • the wireless communication module 152 can exchange data with the video service server 2 on the wide area network via the access repeater and the gateway server 1.
  • the communication unit 150 can exchange data with the video service server 2 via the gateway server 1, and the display device 100 can receive the content from the video service server 2 through the communication unit 150 Lt; / RTI > data stream.
  • the data stream received by the communication unit 150 may be input to the image processing unit 160.
  • the display apparatus 100 may transmit the traffic signal to the video service server 2 through the communication unit 150.
  • the image processing unit 160 may process the video / audio data stream received from the content receiving unit 140, and may generate image frame data and sound data. Specifically, the image processing unit 160 may decode the video data stream into an image frame and decode the audio data stream into audio data.
  • the image processing unit 160 may output the image frame data to the image display unit 170 and output the sound data to the sound output unit 180.
  • the image processing unit 160 may include a graphic processor 161 and a graphic memory 162 structurally as shown in FIG.
  • the graphics memory 162 may store programs and data for image processing.
  • the graphic memory 162 may store a program and data for video decoding, or may temporarily store image data generated during image processing of the graphic processor 161.
  • the graphics memory 162 can operate as an image buffer.
  • the graphic memory 162 includes a nonvolatile memory such as a Read Only Memory (EPROM), an Electrically Erasable Programmable Read Only Memory (EEPROM) for storing data for a long time, A static random access memory (S-RAM) for temporarily storing data, and a dynamic random access memory (D-RAM).
  • EPROM Read Only Memory
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • S-RAM static random access memory
  • D-RAM dynamic random access memory
  • the graphics processor 161 may perform image processing. For example, the graphics processor 161 may decode the data stream into video frames according to programs and data stored in the graphics memory 162. [ The graphic processor 161 may temporarily store the image data in the graphic memory 162 and may retrieve the image data from the graphic memory 162. [
  • the graphics processor 161 includes an arithmetic logic unit (ALU) for performing logic operations and arithmetic operations, a storage circuit (for example, a register) for storing data, And the like.
  • ALU arithmetic logic unit
  • the image processing unit 160 includes a meta analyzer 210 functionally analyzing metadata of a data stream, a video decoder 220 decoding the data stream into image frame data, An image analyzer 240 for analyzing an image frame, and an audio decoder 260 for decoding a data stream into audio data.
  • the frame buffer 230 temporarily stores an image frame, an image enhancer 250 for supplementing an image frame, .
  • the meta-analyzer 210 may extract metadata included in the data stream received from the video service server 2.
  • the metadata may include information on the content itself included in the data stream, information on video of the content, and information on the audio of the content.
  • the metadata may include the title of the content, the type of the content, the genre of the content, the creator of the content, and the like as the information about the content itself.
  • the metadata may include video encoding codecs, video resolution, video frame rate, etc. as information about the video.
  • the metadata may include audio encoding codecs, audio frequency bandwidths, audio channel counts, and the like as information related to audio.
  • the meta-analyzer 210 may store meta data relating to content, meta data relating to video, and meta data relating to audio.
  • Video decoder 220 may set video decoding options based on metadata about the video.
  • the audio decoder 260 may set audio decoding options based on the metadata about the audio.
  • the image enhancer 250 may supplement the image frame based on the metadata about the video.
  • the image analyzer 240 can determine the image characteristics of the video based on the metadata about the content.
  • the video decoding option may indicate a setting for decoding the data stream into video frame data and may be determined according to the video encoding option set in the video service server 2.
  • the video encoding option may include a motion estimation algorithm, a rate control, a bitrate, etc., and a video decoding option may be determined by a video encoding option.
  • the audio decoding option may indicate a setting for decoding the data stream into audio data and may be determined according to the audio encoding option set in the video service server 2.
  • the video decoder 220 may decode the data stream and recover the image frame data. Specifically, the video decoder 220 may set the video decoding option based on the metadata, decode the data stream according to the set video decoding option, and recover the image frame. For example, the video decoder 220 can decode a data stream into image frame data using a digital image compression algorithm such as Moving Picture Experts Group (MPEG) -2, MPEG4-4, or High Efficiency Video Coding (HEVC) have.
  • MPEG Moving Picture Experts Group
  • HEVC High Efficiency Video Coding
  • the frame buffer 230 may store the decoded video frames by the video decoder 220.
  • the frame buffer 230 may store a current image frame (currently output image frame), a past image frame (already output image frame), and a current image frame , And 'preview image frame (image frame that has not been decoded and outputted)'.
  • the frame buffer 230 may be implemented in the graphic memory 162 described above.
  • the image analyzer 240 can determine the image characteristics of the content and / or the inherent characteristics of the content based on the image frames and the metadata of the content stored in the frame buffer 230. For example, the image analyzer 240 may determine the motion and depth characteristics of the image from the image frames, and determine the image characteristics of the content from the motion and depth characteristics. The image analyzer 240 can determine the characteristic of the content type and / or genre based on the metadata of the content. In addition, the image analyzer 240 can receive the detection result of the sensing unit 120, that is, information on the viewing environment of the user, from the control unit 130. [ For example, the image analyzer 240 may receive information about the illuminance value around the display device 100 from the controller 130. For example,
  • the image analyzer 240 can select either the video resolution reduction or the frame rate reduction based on the image characteristics of the content, the unique characteristics of the content, and the viewing environment of the user (for example, illumination value).
  • the video analyzer 240 may also transmit the video resolution reduction signal or the frame rate reduction signal to the video service server 2 through the communication unit 150.
  • the image enhancer 250 can compensate the image frame with reduced video resolution or reduced frame rate. For example, when video having a reduced video resolution is received from the video service server 2, the video compensator 250 compensates the video resolution of the video frame, and the video having the reduced frame rate from the video service server 2 When received, the image enhancer 250 may supplement the frame rate of the image frame.
  • the image enhancer 250 may determine whether the resolution of the image frame is reduced or the frame rate of the image frame is reduced based on the resolution of the video and / or the metadata of the video frame.
  • the audio decoder 260 may decode the data stream and recover the audio data. Specifically, the audio decoder 260 may set an audio decoding option based on the metadata, decode the data stream according to the set audio decoding option, and recover the sound. For example, the audio decoder 260 may decode a data stream into audio data using a digital audio compression algorithm such as AAC (Advanced Audio Coding) or HE-AAC (High-Efficiency Advanced Audio Coding).
  • AAC Advanced Audio Coding
  • HE-AAC High-Efficiency Advanced Audio Coding
  • the image display unit 170 includes a display panel 172 for visually displaying an image, and a display driver 171 for driving the display panel 172. As shown in FIG.
  • the display panel 172 can generate an image according to the image data received from the display driver 171, and output an image.
  • the display panel 172 may include a pixel as a unit for displaying an image. Each pixel may receive an electrical signal representing the image data and output an optical signal corresponding to the received electrical signal. As described above, the optical signals output by the plurality of pixels are combined, so that one image can be displayed on the display panel 172.
  • the display panel 172 may be a cathode ray tube (CRT) display, a liquid crystal display (LCD) panel, a light emitting diode (LED) panel, an organic light emitting diode (OLED) A plasma display panel (PDP), and a field emission display (FED) panel.
  • CTR cathode ray tube
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • PDP plasma display panel
  • FED field emission display
  • the display panel 172 is not limited thereto, and the display panel 172 may employ various display means capable of visually displaying an image corresponding to the image data.
  • the display driver 171 receives the image data from the image processing unit 160 and drives the display panel 172 to display an image corresponding to the received image data.
  • the display driver 171 transmits an electrical signal corresponding to the image frame data to each of the plurality of pixels constituting the display panel 172.
  • the display driver 171 may transmit an electrical signal to each pixel in various ways in order to transmit an electrical signal to all the pixels constituting the display panel 172 within a short time.
  • each pixel when the display driver 171 transmits an electrical signal corresponding to the image data to each pixel constituting the display panel 172, each pixel outputs an optical signal corresponding to the received electrical signal, So that one image can be displayed on the display panel 172.
  • the sound output unit 180 includes an audio amplifier 181 for amplifying sound and a speaker 182 for outputting the amplified sound acoustically.
  • the audio amplifier 181 can amplify the electrical sound signal processed by the image processing unit 160.
  • the audio amplifier 181 may include a vacuum tube or a transistor for amplifying an electric acoustic signal.
  • the speaker 182 may convert the electrical sound signal output by the audio amplifier 181 to auditory sound.
  • the speaker 182 may include a thin film that vibrates according to an electrical acoustic signal, and sound (sound waves) may be generated by the vibration of the thin film.
  • control unit 130 and the image processing unit 160 have been described above, the control unit 130 and the image processing unit 160 are not structurally distinguished.
  • control unit 130 and the image processing unit 160 may be implemented as separate chips or as a single chip.
  • FIG 5 shows an example of the operation of the display device according to one embodiment.
  • the display device 100 receives the data stream (1010).
  • the communication unit 150 can receive the data stream from the video service server 2 and output the received data stream to the image processing unit 160.
  • the image processing unit 160 receives the data stream from the communication unit 150.
  • the communication unit 150 can exchange data with the video service server 2 via the gateway server 1 of the Internet service provider.
  • the communication unit 150 can receive a data stream for reproducing the content from the video service server 2 in real time.
  • the received data stream may be output from the communication unit 150 to the image processing unit 160.
  • the display apparatus 100 determines the characteristics of the content (1020).
  • the image processor 160 may extract the metadata included in the data stream and analyze the metadata to determine the characteristics of the content.
  • the metadata may include metadata about the content, metadata about the video, and metadata about the audio.
  • the metadata about the content may include information about the content itself such as the title of the content, the type of the content, the genre of the content, and the creator of the content.
  • the image processing unit 160 may analyze the metadata related to the content.
  • the image processing unit 160 can determine either the video resolution reduction or the frame rate reduction based on the type of the content and the genre of the content in the metadata about the content.
  • the video processing unit 160 can select a video resolution reduction.
  • the image processing unit 160 can select a video resolution reduction.
  • the image processing unit 160 can select the frame rate reduction.
  • the metadata related to the content is only used for determining the characteristics of the content, and the image processing unit 160 may not select either the video resolution reduction or the frame rate reduction based on the metadata related to the content.
  • the display apparatus 100 decodes the data stream into an image frame (1030).
  • the image processing unit 160 may extract metadata relating to video from the data stream prior to decoding the data stream and set a video decoding option based on the metadata relating to the video.
  • the video decoding option is determined by the video encoding option, and the metadata about the video may include a video encoding option.
  • the image processing unit 160 may decode the data stream and restore the image frame data.
  • the image processing unit 160 may decode the data stream into image frame data using a digital image compression algorithm such as Moving Picture Experts Group (MPEG) -2, MPEG4-4, or High Efficiency Video Coding (HEVC).
  • MPEG Moving Picture Experts Group
  • MPEG4-4 MPEG4-4
  • HEVC High Efficiency Video Coding
  • the image processing unit 160 may store the image frame data in the frame buffer 230.
  • the display apparatus 100 determines the motion characteristics and the depth characteristics of the image (1040).
  • the image processing unit 160 can determine the motion characteristics of the image and the depth characteristics of the image based on the image frame stored in the frame buffer 230.
  • the image processing unit 160 calculates a motion vector of an image based on the 'current image frame' and the 'past image frame' stored in the frame buffer 230, and calculates a motion vector of the image based on the motion vector of the image Can be determined.
  • the 'motion vector of the image' can represent the motion of the object in the image and / or the motion of the entire image.
  • an image may be divided into a plurality of blocks, and a motion vector may indicate a moving size and a moving direction of an image within each of the blocks.
  • the 'motion characteristic' may represent the motion form of the entire image and / or the motion form of the object.
  • the motion characteristics include motion of the entire image such as panning, pilot-view, zoom-in, zoom-out, And the motion of the object in the image including the direction of movement of the object.
  • the image processing unit 160 can determine the motion characteristics of the image including the motion of the entire image and / or the motion of the object in the image based on the 'current image frame' and the 'past image frame'.
  • the image processor 160 may calculate the depth map of the image based on the 'current image frame' stored in the frame buffer 230, and determine the depth characteristics of the image based on the depth map of the image.
  • the 'depth map' may indicate the distance from the reference position (for example, the position of the 'photographer or observer' who captured the image) to the object in the image.
  • the reference position for example, the position of the 'photographer or observer' who captured the image
  • an image may be divided into a plurality of blocks, and a depth map may indicate the distance from the reference position to each of the blocks.
  • a three-dimensional image captured by a stereo camera or the like generally includes a depth map of an image and an image, but a depth map may be calculated from a two-dimensional image.
  • the relative distance to the reference position of each block may be determined according to the relative position of the blocks from the vanishing point of the image.
  • the relative distance to the reference position of the objects in the image can be determined based on the relative position and sharpness of the objects in the image.
  • the 'depth characteristic' is a function of the relative distance between the objects in the image (for example, the distance from the photographer who captured the image), the relative positional relationship between the objects and / And the like.
  • the image processing unit 160 can generate a depth map of the image based on the 'current image frame' and determine the depth characteristics of the image based on the depth map of the image.
  • the display apparatus 100 determines the characteristics of the image (1050).
  • the image processing unit 160 determines the characteristics of the image based on the characteristics of the content, the motion characteristics of the image, and the depth characteristics.
  • the image processing unit 160 may determine the speed and / or degree of motion of the entire image and the speed and / or degree of motion of the objects in the image based on the motion characteristics of the image. Also, the image processing unit 160 can determine the relative position of the objects in the image and / or the distribution of the objects based on the depth characteristics.
  • the display apparatus 100 selects either the video resolution reduction or the frame rate reduction (1060).
  • the image processing unit 160 can determine either the video resolution reduction or the frame rate reduction based on the characteristics of the image. Specifically, the image processing unit 160 can select either the video resolution reduction or the frame rate reduction based on the characteristics of the image.
  • the image processing unit 160 can determine either the video resolution reduction or the frame rate reduction according to the content characteristic. If the type of content is sports or an action movie, the image processing unit 160 selects video resolution reduction. If the type of the content is movie and the genre of the content is drama or comedy, the image processing unit 160 can select a frame rate reduction .
  • the image processing unit 160 maintains the frame rate and displays the video resolution Can be selected to reduce video resolution. If the motion size of the objects in the image is equal to or greater than the reference value and the motion directions of the objects in the image are variously distributed, the image processing unit 160 may select a frame rate reduction . Also, if the motion size of the objects in the image is smaller than the reference value, the image processing unit 160 can select the frame rate reduction for maintaining the video resolution and reducing the frame rate for displaying a high-quality image.
  • the image processing unit 160 can select a frame rate reduction because a certain motion of the object is expected.
  • various motion of the object is expected, so that the image processing unit 160 can select a video resolution reduction.
  • the image processing unit 160 can transmit a traffic signal to the video service server 2 through the communication unit 150.
  • the image processing unit 160 may transmit a video resolution reduction signal to the video service server 2 or may transmit a frame rate reduction signal to the video service server 2 according to the selection.
  • the display apparatus 100 can analyze the image frame and select either the video resolution reduction or the frame rate reduction according to the analysis result.
  • the display device 100 selects either the video resolution reduction or the frame rate reduction every predetermined time. For example, the display device 100 selects either the video resolution reduction or the frame rate reduction regardless of the network environment of the Internet service provider, and transmits the video resolution reduction signal or the frame rate reduction signal to the video service server 2 .
  • the display apparatus 100 can select either video resolution reduction or frame rate reduction when network traffic increases.
  • the display apparatus 100 can receive information on the traffic of the network from the gateway server 1 of the Internet service provider.
  • the display device 100 can determine the traffic of the network based on the information received from the gateway server 1. [ If the network traffic is greater than the reference value, the display apparatus 100 may select either the video resolution reduction and the frame rate reduction and transmit the video resolution reduction signal or the frame rate reduction signal to the video service server 2. [
  • FIG. 6 illustrates a method of determining the motion / depth characteristics of a display device according to an exemplary embodiment of the present invention.
  • FIG. 7 shows an example of estimating a motion vector according to the determination method shown in FIG.
  • FIG. 8 illustrates an example of determining the characteristics of an image based on a motion vector according to the determination method shown in FIG.
  • FIG. 9 shows an example of estimating the vanishing point by the determination method shown in FIG.
  • FIG. 10 shows an example of estimating a forward object according to the determination method shown in FIG.
  • the display device 100 calculates a motion vector (1110)
  • the image processing unit 160 receives the n-th image frame In (for example, 'local image frame') and the n-1th image frame In-1 (for example, Video frame ') can be estimated.
  • the image processing unit 160 divides an n-1th image frame In-1 into a plurality of blocks B11, ..., B16, B21, ... B26, B31, ..., B36, B41 , ..., B46).
  • the image processing unit 160 may partition the nth image frame In into a plurality of blocks B11-B46.
  • the image processing unit 160 matches the blocks B11-B46 of the (n-1) -th image frame In-1 with the n-th image frame In. In other words, the image processing unit 160 searches for a portion of the n-th image frame In corresponding to the blocks B11-B46 of the (n-1) th image frame In-1.
  • the image processing unit 160 may search for a portion of the nth image frame In corresponding to the block 32 (B32) of the (n-1) th image frame In-1. Also, the image processing unit 160 can search for a portion of the nth image frame In that matches the block 43 (B43) of the (n-1) th image frame In-1.
  • the image processing unit 160 When the portion of the n-th image frame In corresponding to the blocks B11-B46 of the (n-1) th image frame In-1 is found, the image processing unit 160 reads the n- 1 between the blocks B11-B46 and the corresponding portion of the n-th image frame In. The image processing unit 160 may calculate the motion vector based on the calculated coordinate difference.
  • the block 32 (B32) of the (n-1) th image frame In-1 and the block 41 (B41) of the nth image frame In may coincide with each other.
  • the image processing unit 160 may calculate the motion vector V1 for the block 32 (B32) of the (n-1) th image frame In-1.
  • the motion vector V1 of the block 32 (B32) of the n-1th image frame (In-1) can be expressed as [+1, -1].
  • the block 43 (B43) of the (n-1) th image frame In-1 and the block 52 (B52) of the nth image frame In may coincide with each other.
  • the image processing unit 160 may calculate the motion vector V2 for the block 43 (B43) of the (n-1) th image frame In-1.
  • the motion vector V2 of the block 43 (B43) of the (n-1) -th image frame In-1 can be expressed as [+1, -1].
  • the motion detection area R may be the same as the motion detected part of the image.
  • the motion detection area R may include a block 41 (B41), a block 32 (B32), a block 42 (B42), a block 52 (B52) and a block 43 have.
  • the display device 100 analyzes the magnitude of the motion vector (1120).
  • the image processing unit 160 may collate the magnitude of the motion vector calculated in operation 1110. [ The magnitude of the motion vector can be calculated as the square root of the sum of the square of the x-axis component of the motion vector and the square of the y-axis component.
  • the motion vector V1 of the block 32 (B32) of the (n-1) -th image frame In-1 can be expressed as [+1, -1], and the magnitude of the motion vector V1 is equal to the square root of 2.
  • the motion vector V2 of the block 43 (B43) of the (n-1) -th image frame In-1 can be represented by [+1, -1].
  • the magnitude of the motion vector V2 is equal to the square root of 2.
  • the size of the motion vector may indicate the degree of movement of the image in the corresponding block Bxx. In other words, if the size of the motion vector is large, the motion of the image in the corresponding block Bxx may be large and fast, and if the motion vector is small, the motion of the image in the block Bxx may be small and slow .
  • the display device 100 analyzes the direction of the motion vector (1130).
  • the image processing unit 160 may calculate the direction of the motion vector calculated in operation 1110. [ The direction of the motion vector can be calculated as the square of the x-axis component of the motion vector and the arc tangent of the y-axis component.
  • the motion vector V2 of the block 43 (B43) of the (n-1) -th image frame In-1 can be expressed by [+1, -1], and the direction of the motion vector V2 is clockwise 45 degrees.
  • the direction of the motion vector may indicate the direction in which the image in the corresponding block Bxx moves. In other words, the direction in which the object in the image moves or the direction in which the photographer moved can be displayed.
  • the display device 100 analyzes the histogram of the motion vector (1140).
  • the image processing unit 160 may generate a histogram of the motion vector calculated in operation 1110.
  • the motion vector histogram may indicate the frequency of the block Bxx according to the magnitude and direction of the motion vector. In other words, the motion vector histogram may represent the number of blocks Bxx having the same motion vector magnitude and / or the number of blocks Bxx having the same motion vector direction.
  • the image processing unit 160 can determine the distribution of the magnitudes of the motion vectors of the entire image and the distribution of the directions of the motion vectors from the motion vector histogram.
  • the display device 100 determines the motion characteristics of the image (1150).
  • the image processing unit 160 may determine the motion characteristics of the image based on the size of the motion vector, the direction of the motion vector, and the histogram of the motion vector.
  • the image processing unit 160 may determine whether the motion of the image is a motion of an object in the image or a motion of the entire image (for example, movement of the photographer).
  • the image processing unit 160 can determine the movement of the object in the image.
  • the image processing unit 160 moves the entire image (for example, moving the photographer) It can be judged.
  • motion vectors having the same size and the same direction can be calculated in all the blocks B11-B64 in the image.
  • the image processing unit 160 can determine 'panning'. &Quot; Panning " indicates that the photographer or the observer captures an image while moving at the same height as the object. According to the " panning ", a motion vector in the direction opposite to the moving direction of the photographer or the observer can be generated.
  • a downwardly directed motion vector is calculated from the center portion of the image
  • a leftwardly downwardly directed motion vector is calculated from the left portion of the image
  • a rightwardly A motion vector can be calculated.
  • the image processing unit 160 can determine 'pilot-view'.
  • 'Pilot-view' indicates that the photographer or observer moves to a position higher than the subject and shoots the image.
  • a motion vector directed downward from the entire image can be generated.
  • a motion vector directed upward from the upper portion of the image is calculated, and a motion vector directed downward from the lower portion of the image can be calculated.
  • the image processing unit 160 can determine 'zoom-in'. 'Zoom-in' indicates that the photographer or the observer captures an image while moving toward the subject. According to 'zoom-in', motion vectors oriented in the upward direction are generated on the image side, and motion vectors oriented in the downward direction are generated on the lower side of the image.
  • the image processing unit 160 can determine movement of an object in the image or movement of the entire image (e.g., movement of the photographer) based on the size of the motion vector, the direction of the motion vector, and the histogram of the motion vector.
  • the display apparatus 100 performs a vanishing point analysis of the image (1160).
  • the image processing unit 160 performs a vanishing point analysis together with the motion vector calculation 1110, the motion vector size analysis 1120, the motion vector direction analysis 1130, the motion vector histogram generation 1140, Can be performed.
  • 'Vanishing point' represents the intersection point where the actual parallel straight line meets each other in the image by perspective. For example, as shown in Fig. 9, the lanes that distinguish the lane can be converged to the vanishing point VP.
  • the straight line converging to the vanishing point is not limited to the straight lines lying on the same plane.
  • the extension of the upper edge of the buildings shown on both sides of the road can be converged to the vanishing point VP.
  • the image processing unit 160 can determine the depth of the object (for example, the distance from the photographer or the observer to the object) according to the distance from the image to the vanishing point.
  • the distance between the vanishing point VP and the first object O3 in the image is larger than the distance between the vanishing point VP and the second object O4.
  • the image processing unit 160 may determine that the first object O3 is positioned closer to the photographer or the observer than the second object O4. In other words, the image processing unit 160 may determine that the first object O3 is positioned ahead of the second object O4.
  • the image processing unit 160 can determine the relative distance between the objects O3 and O4 and the photographer and / or the front / back positional relationship between the objects O3 and O4 using the vanishing point analysis of the image.
  • the display apparatus 100 performs the front object analysis of the image (1170).
  • the image processing unit 160 includes a motion vector calculation unit 1110, a motion vector size analysis unit 1120, a motion vector direction analysis unit 1130, a motion vector histogram generation unit 1140, Can be performed.
  • the image processing unit 160 can determine the forward and backward positional relationship between the objects O5 and O6 using 'forward object analysis'.
  • the image processing unit 160 can determine the positional relationship between the objects O5 and O6 based on the arrangement of the objects O5 and O6 in the image
  • the image processing unit 160 can determine that the object positioned on the lower side of the image is closer to the photographer or the observer than the object positioned on the image side. For example, the image processing unit 160 may determine that the third object O5 shown in FIG. 10 is closer to the photographer or the observer than the fourth object O6. In other words, the image processing unit 160 may determine that the third object O5 is located ahead of the fourth object O6.
  • the image processing unit 160 can determine the positional relationship between the objects O5 and O6 and the distance between the objects or the objects O5 and O6 using the forward object analysis of the image.
  • the display device 100 generates a depth map of the image (1180).
  • the image processing unit 160 may generate a depth map of the image based on the result of the vanishing point analysis and / or the result of the front object analysis.
  • the " depth map " may include information about the relative distance between the photographer and objects and / or information about the positional relationship between the objects.
  • the 'depth map' of the image shown in FIG. 9 indicates that the first object O3 has information about the context between the second objects O4, that is, the first object O3 is the second object O4 And the information indicating that the mobile terminal is located in front of the mobile terminal.
  • the 'depth map' of the image shown in FIG. 10 indicates that the third object O5 has information about the context between the fourth object O6, that is, the third object O5 is the same as the fourth object O6 And may include information indicating that it is located forward.
  • the image processing unit 160 can store the generated 'depth map'.
  • the display apparatus 100 determines the depth characteristics of the image (1190).
  • the image processing unit 160 can determine the depth characteristics of the image based on the depth map.
  • the 'depth property' refers to the relative distance of each object in the image (for example, the distance from the photographer who captured the image), the relative positional relationship between the objects, and / .
  • the image processing unit 160 can generate a depth map of the image based on the 'current image frame' and determine the depth characteristics of the image based on the depth map of the image.
  • the display device 100 determines the characteristics of the image (1195).
  • the image processing unit 160 can determine the characteristics of the image based on the motion characteristics of the image and the depth characteristics of the image.
  • the image processing unit 160 may synthesize a 'motion vector' of an image and a 'depth map' of an image. Specifically, the image processing unit 160 may match the motion vector and the depth map for each of the objects in the image. As a result of matching, the image processing unit 160 can acquire relative position information (depth map) and motion information (motion vector) of each of the objects in the image.
  • the image processor 160 may select either video resolution reduction or frame rate reduction based on bus information of objects in the image. For example, if the objects in the image do not move or move at a speed lower than the reference speed, the image processing unit 160 can easily reduce the frame rate because it is easy to complement the image frame. If the objects in the image move at a speed higher than the reference speed and the distribution of the moving directions of the objects is within the reference angle range, the image processing unit 160 can easily reduce the frame rate because it is easy to complement the image frame. In addition, if the objects in the image move at a speed greater than the reference speed and the distribution of the moving directions of the objects is dispersed in various directions, the image processing unit 160 can select a video resolution reduction.
  • the image processing unit 160 can select either the video resolution reduction or the frame rate reduction based on the motion information of the entire image. For example, in the case of 'panning' in which the entire image moves in the same direction, the image processing unit 160 can select a frame rate reduction because it is easy to complement the image frame. If the direction of the motion is 'pilot-view' or 'zoom-in' depending on the position of the image, the image processing unit 160 can select a video resolution reduction.
  • the image processing unit 160 can select either the video resolution reduction or the frame rate reduction based on the depth map of the objects in the image. For example, if an object located in front of the image (an object close to the photographer) occupies a wide portion, the image processing unit 160 can select a frame rate reduction. Also, if an object located behind the image (objects away from the photographer) is scattered and positioned within the image, the image processing unit 160 can select a video resolution reduction.
  • the image processing unit 160 can select either the video resolution reduction or the frame rate reduction based on the relative position information of the objects in the image and the motion information.
  • the image processing unit 160 can easily reduce the frame rate because it is easy to complement the image frame.
  • the image processing unit 160 can select a video resolution reduction to quickly display a change in the image frame.
  • the display apparatus 100 can determine the motion characteristic and the depth characteristic from the image frame, and can select either the video resolution reduction and the frame rate reduction based on the motion characteristic and the depth characteristic. Also, the display device 100 can simultaneously analyze the motion characteristics and the depth characteristics at the same time.
  • FIG 11 shows another example of the operation of the display device according to one embodiment.
  • the display device 100 receives the data stream (1210).
  • Operation 1210 may be identical to operation 1010 shown in FIG.
  • the display device 100 determines whether the illuminance value detected by the illuminance sensor 121 is less than the reference illuminance value (operation 1220).
  • the display device 100 may include an illuminance sensor 121 for sensing the illuminance of the surroundings and the detection result of the illuminance sensor 121 may be provided to the image processor 160 through the controller 130.
  • the image processing unit 160 may compare the illuminance value detected by the illuminance sensor 121 with the reference illuminance value and determine whether the illuminance value sensed by the illuminance sensor 121 is less than the reference illuminance value.
  • the display apparatus 100 selects one of the video resolution reduction and the frame rate reduction (1270).
  • the display apparatus 100 can select a frame rate reduction.
  • the image processing unit 160 can select the frame rate reduction so that the display device 100 displays a high-quality image.
  • the display device 100 determines (1230) the characteristics of the content, decodes the video (1240) And the depth characteristics are determined (1250), and the image characteristics are determined (1260).
  • Operations 1230, 1240, 1250, and 1260 may be identical to operations 1020, 1030, 1040, and 1050, respectively.
  • the display apparatus 100 selects one of the video resolution reduction and the frame rate reduction based on the characteristics of the image (1270).
  • the image processing unit 160 can select either the video resolution reduction or the frame rate reduction based on the characteristics of the image.
  • the display apparatus 100 can select either the video resolution reduction or the frame rate reduction according to the viewing environment of the user. For example, if the illuminance value around the display device 100 is smaller than a predetermined illuminance value, the display device 100 can select a frame rate reduction.
  • the display device 100 selects either the video resolution reduction or the frame rate reduction according to the characteristics of the content, the motion characteristics and the depth characteristics of the image, and the viewing environment of the user.
  • FIG. 12 illustrates operation of the display apparatus according to the embodiment in accordance with the reduction of the video resolution and the reduction of the frame rate.
  • 13 shows an example of decoding an image at the video resolution reduction shown in Fig.
  • Fig. 14 shows an example of decoding an image at the frame rate reduction shown in Fig.
  • the display device 100 receives the data stream (1310).
  • Operation 1310 may be the same as operation 1010 shown in FIG.
  • the communication unit 150 can receive the data stream from the video service server 2 and output the received data stream to the image processing unit 160.
  • the image processing unit 160 receives the data stream from the communication unit 150.
  • the display device 100 analyzes 1320 the metadata.
  • the image processing unit 160 may extract the metadata included in the data stream and analyze the metadata while receiving the data stream.
  • the metadata may include metadata about the content, metadata about the video, and metadata about the audio.
  • Metadata about the video may include information such as the encoding codec of the video, the video resolution of the video, and the frame rate of the video.
  • the image processing unit 160 can extract information about the video resolution of the video and the frame rate of the video, especially in the metadata.
  • the display apparatus 100 determines whether the video resolution of the video being received is degraded (1330).
  • the video service server 2 can transmit video with reduced video resolution or transmit video with reduced frame rate to provide video service seamlessly.
  • the video service server 2 upon receiving the video resolution reduction signal from the display device 100, transmits video with reduced video resolution in response to an increase in traffic of the network.
  • the display apparatus 100 can determine whether the video resolution is reduced based on the metadata included in the data stream received from the video service server 2. [ Specifically, the video processing unit 160 can determine whether the video resolution of the video received from the video service server 2 is degraded based on the information about the video resolution included in the meta data.
  • the image processing unit 160 may store the video resolution included in the metadata in the memory while receiving the data stream. Also, the image processing unit 160 can compare the video resolution stored in the memory with the video resolution of the current video. If the video resolution of the current video is smaller than the stored video resolution and the difference between the stored video resolution and the video resolution of the current video is greater than a predetermined error range, the image processing unit 160 may determine the video resolution degradation of the video.
  • the image processing unit 160 may compare the video resolution of the current video with a predetermined reference video resolution.
  • the reference video resolution may be set when the display device 100 first receives the content from the video service server 2 during the current reception.
  • the video service server 2 can notify the display device 100 of the reference video resolution of the content currently being transmitted. If the video resolution of the current video is smaller than the reference video resolution, the video processing unit 160 can determine the video resolution degradation of the video.
  • the display device 100 complements the video resolution of the video (1340).
  • the image processing unit 160 may generate an image frame with an increased video resolution in order to compensate for a decrease in video resolution in response to a decrease in the video resolution. Specifically, the image processing unit 160 may generate a 'supplementary image frame' having a video resolution improved by 'current image frame' and output a 'supplementary image frame' instead of a 'current image frame'.
  • the image processing unit 160 may decode the video frame 1 of the data stream into the temporary video frame 1, and may decode the video frame 2 of the data stream into the temporary video frame 2 .
  • the video resolution of the video frames of the data stream may correspond to half of the reference video resolution.
  • the image processing unit 160 can generate the video frame 1 whose video resolution is increased from the decoded temporary video frame 1.
  • the image processing unit 160 may use interpolation. For example, a new pixel may be created between pixels of an existing image frame, and the brightness and color of the new pixel may be determined as the average of the brightness and hues of adjacent existing pixels. As a result, the video resolution of the new video frame may be twice the video resolution of the existing video frame.
  • the image processing unit 160 may output the image frame 1 having the increased video resolution in place of the decoded temporary image frame 1.
  • the image processing unit 160 may generate the video frame 1 with increased video resolution from the decoded temporal video frame 2 and output the video frame 2 with the increased video resolution in place of the decoded temporary video frame 2.
  • the image processing unit 160 generates image frames 3, 4, ... , 11, and generates video frames 3, 4, ..., , 11 can be output.
  • the display apparatus 100 determines whether the frame rate of the video being received is lowered (1350).
  • the video service server 2 can transmit video with reduced video resolution or transmit video with reduced frame rate to provide video service seamlessly.
  • the video service server 2 upon receiving the frame rate reduction signal from the display device 100, transmits the video with reduced frame rate in response to an increase in the traffic of the network.
  • the display apparatus 100 may determine whether the frame rate is decreased based on the metadata included in the data stream received from the video service server 2. [ Specifically, the image processing unit 160 can determine whether the frame rate of the video received from the video service server 2 is lowered based on the information about the frame rate included in the meta data.
  • the image processing unit 160 may store the frame rate included in the metadata in the memory while receiving the data stream. Also, the image processing unit 160 can compare the frame rate stored in the memory with the frame rate of the current video. If the frame rate of the current video is smaller than the stored frame rate, and the difference between the stored frame rate and the frame rate of the current video is larger than a predetermined error range, the image processing unit 160 can determine a decrease in the frame rate of the video.
  • the image processing unit 160 may compare the frame rate of the current video with a predetermined reference frame rate.
  • the reference frame rate can be set when the display apparatus 100 first receives the content from the video service server 2 while it is currently receiving.
  • the video service server 2 may notify the display device 100 of the reference frame rate of the content currently being transmitted. If the frame rate of the current video is smaller than the reference frame rate, the image processing unit 160 can determine a decrease in the frame rate of the video.
  • the display device 100 compensates the frame rate (1360).
  • the image processor 160 may generate an image frame to compensate for a decrease in the frame rate in response to a decrease in the frame rate, and may insert the generated image frame between the decoded image frames. Specifically, the image processing unit 160 generates a 'supplementary image frame' based on the 'past image frame', and inserts a 'supplementary image frame' between the 'past image frame' and the 'current image frame'.
  • the image processing unit 160 may decode the image frame 1 of the data stream into the image frame 1 of the output image, and the image frame 2 of the data stream to the image frame 2 of the output image It can be decoded.
  • the time interval between the video frame 1 and the video frame 2 of the data stream may be two times (2 / F) of the time interval (1 / F) based on the reference frame rate (F).
  • the image processing unit 160 may generate the image frame 1.5 of the output image.
  • the image frame 1.5 may be the same image frame as the image frame 1, or may be generated by interpolation between the image frame 1 and the image frame 2.
  • the image processing unit 160 outputs the image frame 1 and then the image frame 1.5, and the image processing unit 160 outputs the image frame 2.
  • the image processing unit 160 can generate the image frame 2.5 of the output image.
  • the image frame 2.5 can be generated by interpolating the image frame 2 or the image frame 2 and the image frame 3. After outputting the image frame 2, the image processing unit 160 outputs the image frame 2.5 and outputs the image frame 3.
  • the image processing unit 160 generates the image frame 3.5, the image frame 4.5, and the image frame 5.5, inserts the image frame 3.5 between the image frame 3 and the image frame 4, 5 and insert the video frame 5.5 between the video frame 5 and the video frame 6.
  • the display apparatus 100 outputs decoded image frames (1370).
  • the display apparatus 100 can output the decoded image frames even after the video resolution is supplemented or the frame rate is supplemented.
  • the image processing unit 160 may transmit the decoded or supplemented image frame to the image display unit 170.
  • the image display unit 170 may display the image frame received from the image processing unit 160 on the display panel 172.
  • the display apparatus 100 can increase the video resolution of the video frame and output the video frame with increased video resolution.
  • the display device 100 can output an image frame with an increased frame rate by inserting an image frame.
  • the disclosed embodiments may be embodied in the form of a recording medium storing instructions executable by a computer.
  • the instructions may be stored in the form of program code and, when executed by a processor, may generate a program module to perform the operations of the disclosed embodiments.
  • the recording medium may be embodied as a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of recording media in which instructions that can be decoded by a computer are stored.
  • it may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치는 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고 상기 비디오 서비스 서버로 데이터를 전송하는 통신부; 상기 비디오 컨텐츠를 디코딩하고, 영상 프레임을 출력하는 영상 처리부; 및 상기 영상 프레임을 표시하는 영상 표시부를 포함하고, 상기 영상 처리부는, 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.

Description

디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
개시된 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 스트리밍 서비스가 가능한 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템에 관한 발명이다.
일반적으로 영상 디스플레이 장치는, 디스플레이 패널을 구비하여 다양한 포맷의 영상 데이터를 표시할 수 있는 장치이다.
예를 들어, 영상 디스플레이 장치는, 방송국, 인터넷 서버, 영상 재생 장치, 게임 장치 및/또는 휴대용 단말기 등 다양한 컨텐츠 소스로부터 컨텐츠 데이터를 수신할 수 있다. 또한, 영상 디스플레이 장치는 컨텐츠 데이터로부터 영상 프레임을 복원(또는 디코딩)하고, 복원된 영상 프레임을 디스플레이 패널에 표시할 수 있다.
최근, 컨텐츠의 스트리밍 서비스가 널리 제공되고 있다. 스트리밍 서비스는 인터넷 등 통신 네트워크를 통하여 실시간으로 컨텐츠를 제공하는 서비스이다.
스트리밍 서비스는 가정의 텔레비전, 데스크-탑 컴퓨터 또는 랩-탑 컴퓨터 등 가정 내의 디스플레이 장치에 한정되어 제공되는 것은 아니며, 디스플레이 장치를 이용한 실외 대형 광고판에도 광고를 위한 스트리밍 서비스가 제공될 수 있다.
이러한 스트리밍 서비스의 품질은 통신 네트워크의 트래픽에 크게 영향을 받을 수 있다.
개시된 발명의 일 측면은 스트리밍 서비스 중에 네트워크 트래픽이 증가하더라도 사용자가 체감하는 화질의 저하를 최소화할 수 있는 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템을 제공하고자 한다.
개시된 발명의 일 측면에 따른 디스플레이 장치는 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고 상기 비디오 서비스 서버로 데이터를 전송하는 통신부; 상기 비디오 컨텐츠를 디코딩하고, 영상 프레임을 출력하는 영상 처리부; 및 상기 영상 프레임을 표시하는 영상 표시부를 포함하고, 상기 영상 처리부는, 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 영상 처리부는 상기 비디오 컨텐츠의 메타 데이터를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 영상 처리부는 상기 영상 프레임의 모션 벡터들을 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 모션 벡터들의 크기가 미리 정해진 기준값보다 작으면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위 이내에 분포하면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위를 벗어나 분포하면 상기 영상 처리부는 상기 해상도 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 영상 처리부는 상기 영상 프레임의 깊이 지도를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력할 수 있다.
상기 디스플레이 장치는 상기 디스플레이 장치 주변의 조도를 측정하는 조도 센서를 더 포함하고, 상기 영상 처리부는 상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
개시된 발명의 일 측면에 따른 디스플레이 방법은 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고; 상기 비디오 컨텐츠를 영상 프레임으로 디코딩하고; 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하고; 상기 영상 프레임을 표시하는 것을 포함할 수 있다.
상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중 어느 하나를 전송하는 것은, 상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어도 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 것을 포함할 수 있다.
상기 디스플레이 방법은 상기 디스플레이 장치의 주변 조도를 측정하고; 상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 것을 더 포함할 수 있다.
상기 디스플레이 방법은 상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 것을 더 포함할 수 있다.
상기 디스플레이 방법은 상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 것을 더 포함할 수 있다.
개시된 발명의 일 측면에 따른 디스플레이 시스템은 게이트웨이 서버를 거쳐 비디오 컨텐츠를 전송하는 비디오 서비스 서버; 및 상기 비디오 컨텐츠에 대응하는 영상 프레임을 표시하고, 상기 게이트웨이 서버로부터 트래픽 증가 신호가 수신되면 상기 비디오 서비스 서버로 비디오 해상도 저감 신호와 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치를 포함하고, 상기 비디오 서비스 서버는 상기 게이트웨이 서버의 트래픽 증가 신호와 상기 디스플레이 장치의 비디오 해상도 저감 신호에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하고, 상기 게이트웨이 서버의 트래픽 증가 신호와 상기 디스플레이 장치의 프레임 레이트 저감 신호에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송할 수 있다.
상기 디스플레이 장치는 상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 선택하고, 선택된 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 디스플레이 장치는 주변 조도를 측정하고 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 디스플레이 장치는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 디스플레이 장치는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력할 수 있다.
개시된 발명의 일 측면에 따르면, 스트리밍 서비스 중에 네트워크 트래픽이 증가하더라도 사용자가 체감하는 화질의 저하를 최소화할 수 있는 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템을 제공할 수 있다.
도 1 및 도 2는 일 실시예에 의한 디스플레이 장치 및 컨텐츠 소스를 도시한다.
도 3는 일 실시예에 의한 디스플레이 장치의 구성을 도시한다.
도 4은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 구성을 도시한다.
도 5는 일 실시예에 의한 디스플레이 장치의 동작의 일 예를 도시한다.
도 6은 일 실시예에 의한 디스플레이 장치의 모션 특성/깊이 특성의 판단 방법을 도시한다.
도 7은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 추정하는 일 예를 도시한다.
도 8은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 기초로 영상의 특성을 판단하는 일 예를 도시한다.
도 9는 도 6에 도시된 판단 방법에 의하여 소실점을 추정하는 일 예를 도시한다.
도 10은 도 6에 도시된 판단 방법에 의하여 전방 객체를 추정하는 일 예를 도시한다.
도 11은 일 실시예에 의한 디스플레이 장치의 동작의 다른 일 예를 도시한다.
도 12는 일 실시예에 의한 디스플레이 장치의 비디오 해상도 저감과 프레임 레이트 저감에 따른 동작을 도시한다.
도 13은 도 12에 도시된 비디오 해상도 저감에서 영상을 디코딩하는 일 예를 도시한다.
도 14은 도 12에 도시된 프레임 레이트 저감에서 영상을 디코딩하는 일 예를 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1 및 도 2는 일 실시예에 의한 디스플레이 장치 및 컨텐츠 소스를 도시한다.
디스플레이 장치(100)는 도 1에 도시된 바와 같이 텔레비전, 모니터, 디스플레이 단말기, 휴대용 단말기, 노트북 컴퓨터 등 실내에 마련되어 영상을 표시하는 장치일 수 있다.
뿐만 아니라, 디스플레이 장치(100)는 도 2에 도시된 바와 같이 건물 옥상이나 버스 정류장과 같은 옥외에 설치되는 대형 디스플레이 장치(Large Format Display, LFD)일 수 있다. 여기서, 옥외는 반드시 야외로 한정되는 것은 아니며, 지하철역, 쇼핑몰, 영화관, 회사, 상점 등 실내이더라도 다수의 사람들이 드나들 수 있는 곳이면 일 실시예에 따른 디스플레이 장치(100)가 설치될 수 있다.
디스플레이 장치(100)는 다양한 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신하고, 비디오 신호와 오디오 신호에 대응하는 비디오와 오디오를 출력할 수 있다.
예를 들어, 디스플레이 장치(100)는 방송 수신 안테나 또는 유선 케이블을 통하여 텔레비전 방송 컨텐츠를 수신할 수 있다. 디스플레이 장치(100)는 텔레비전 방송 컨텐츠에 포함된 비디오 신호와 오디오 신호에 대응하는 비디오와 오디오를 출력할 수 있다.
또한, 디스플레이 장치(100)는 영상 재생 장치로부터 컨텐츠를 수신할 수 있다. 영상 재상 장치는 영화, 스포츠, 등의 다양한 컨텐츠가 저장된 기록 매체를 재생할 수 있다. 디스플레이 장치(100)는 영상 재생 장치로부터 비디오 신호 및 오디오 신호를 수신하고, 비디오 신호와 오디오 신호에 대응하는 비디오와 오디오를 출력할 수 있다.
특히, 도 1 및 도 2에 도시된 바와 같이 디스플레이 장치(100)는 컨텐츠 제공자(content provider, CP)의 비디오 서비스 서버(2)로부터 비디오 컨텐츠를 수신할 수 있다.
컨텐츠 제공자는 비디오 서비스 서버(2)를 이용하여 광역 네트워크를 통하여 다양한 비디오 컨텐츠를 제공할 수 있다. 비디오 서비스 서버(2)는 영화, 드라마, 스포츠 등의 다양한 비디오 컨텐츠를 저장하며, 광역 네트워크(예를 들어, 인터넷)을 통하여 비디오 컨텐츠 데이터를 실시간으로 전송할 수 있다. 다시 말해, 비디오 서비스 서버(3)는 비디오 컨텐츠의 스트리밍 서비스를 제공할 수 있다.
디스플레이 장치(100)는 인터넷 서비스 제공자(internet service provider, ISP)가 제공하는 네트워크를 통하여 광역 네트워크에 접속할 수 있다.
인터넷 서비스 제공자는 복수의 단말기가 연결되는 네트워크를 제공할 수 있으며, 게이트웨이 서버(gateway server) (1)를 이용하여 인터넷 서비스 제공자의 네트워크와 광역 네트워크를 중계할 수 있다. 이때, 게이트웨이 서버(1)는 라우터(router), 스위치(switch), 브리지(bridge), 네트워크 허브(network hub), 리피터(repeater) 등 다양한 다른 명칭으로 불릴 수 있다.
인터넷 서비스 제공자의 게이트웨이 서버(1)는 디스플레이 장치(100)가 광역 네트워크(예를 들어, 인터넷)에 접속하기 위한 관문 역할을 할 수 있다. 디스플레이 장치(100)는 인터넷 서비스 제공자가 제공하는 게이트웨이 서버(1)를 통하여 인터넷에 접속할 수 있으며, 게이트웨이 서버(1)를 통하여 비디오 서비스 서버(3)로부터 비디오 컨텐츠를 수신할 수 있다.
게이트웨이 서버(1)는 인터넷 서비스 제공자가 제공하는 네트워크의 트래픽을 통제할 수 있다. 예를 들어, 게이트웨이 서버(1)는 복수의 게이트웨이들을 포함할 수 있으며, 트래픽을 복수의 게이트웨이들에 분산할 수 있다.
또한, 게이트웨이 서버(1)는 인터넷 서비스 제공자의 네트워크를 모니터하고, 네트워크 트래픽에 관한 정보를 디스플레이 장치(100) 및/또는 비디오 서비스 서버(2)에 제공할 수 있다.
비디오 서비스 서버(2)는 다양한 비디오 컨텐츠를 저장할 수 있다. 예를 들어, 비디오 서비스 서버(2)는 영화, 스포츠, 등의 다양한 비디오 컨텐츠를 저장할 수 있다.
비디오 서비스 서버(2)는 비디오 컨텐츠에 포함된 비디오(연속적인 영상 프레임)와 오디오를 인터넷 서비스 제공자의 네트워크를 거쳐 디스플레이 장치(100)로 전송할 수 있다. 이때, 인터넷 서비스 제공자의 네트워크 대역폭이 제한되므로, 비디오 서비스 서버(2)는 비디오와 오디오를 압축 및 부호화(이하에서는 압축 및 부호화를 일체로 '인코딩'이라 한다)하고, 인코딩된 비디오 데이터와 오디오 데이터를 디스플레이 장치(100)로 전송할 수 있다.
비디오 서비스 서버(2)는 비디오 컨텐츠를 실시간으로 전송하기 위하여 비디오와 오디오를 '스트림' 형태(이하에서는 '데이터 스트림'이라 한다)로 인코딩할 수 있다. '인코딩'은 전송되는 비디오 컨텐츠의 용량을 감소시키기 위하여 비디오 컨텐츠를 압축하는 것을 포함할 수 있으며, 예를 들어 MPEG (Moving Picture Experts Group), HEVC (High Efficiency Video Coding) 등의 표준을 이용할 수 있다. '데이터 스트림'은 시간적으로 연속되는 데이터(또는 비트)의 연속일 수 있다. 연속적인 데이터 스트림은 비디오와 오디오를 담고 있으며, 연속적인 데이터 스트림으로부터 비디오와 오디오가 복원될 수 있다. 디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 데이터 스트림을 수신하고, 데이터 스트림을 압축 해제 및 복호화(이하에서는 압축 및 부호화를 일체로 '디코딩'이라 한다)하고, 디코딩된 비디오와 오디오를 출력할 수 있다.
비디오 서비스 서버(2)는 인터넷 서비스 제공자의 게이트웨이 서버(1)로부터 네트워크 트래픽에 관한 정보를 수신할 수 있으며, 네트워크 트래픽에 따라 비디오와 오디오를 다르게 인코딩할 수 있다.
예를 들어, 네트워크의 트래픽이 증가하면 비디오 서비스 서버(2)와 디스플레이 장치(100) 사이의 네트워크 대역폭이 감소할 수 있다. 다시 말해, 네트워크의 트래픽이 증가하면 비디오 서비스 서버(2)와 디스플레이 장치(100) 사이의 데이터의 전송 속도 즉 단위 시간 당 전송할 수 있는 데이터의 양이 감소할 수 있다.
네트워크 대역폭이 감소하더라도 원활한 비디오 재생을 위하여 비디오 서비스 서버(2)는 비디오의 해상도를 감소시키거나, 비디오의 프레임 레이트를 감소시킬 수 있다.
비디오 서비스 서버(2)는 다양한 비디오 해상도를 가지는 비디오 컨텐츠를 제공할 수 있다. 예를 들어, 비디오 서비스 서버(2)는 서로 다른 비디오 해상도를 가지는 동일한 내용의 비디오 컨텐츠를 저장할 수 있다. 다른 예로, 비디오 서비스 서버(2)는 비디오 컨텐츠의 전송 시에 비디오 컨텐츠의 비디오 해상도를 변경할 수도 있다.
비디오 해상도는 비디오를 구성하는 영상 프레임의 픽셀 개수를 나타낼 수 있다. 예를 들어, UHD (Ultra High Definition) 해상도의 영상은 3,840×2,160 개의 픽셀을 가지며, QHD (Quad High Definition) 해상도의 영상은 2560×1440개의 픽셀을 가진다. 또한, FHD (Full High Definition) 해상도의 영상은 1920×1080개의 픽셀을 가지며, HD (High Definition) 해상도의 영상은 1280×720개의 픽셀을 가진다.
비디오 해상도가 감소됨에 따라 비디오의 크기(또는 용량)이 감소되며, 비디오의 전송 시에 단위 시간 당 전송되는 데이터 양이 감소할 수 있다. 따라서, 비디오 서비스 서버(2)는 네트워크의 트래픽이 증가하면(즉, 단위 시간 당 전송 가능한 데이터의 양이 감소하면) 비디오가 끊김 없이 재생되도록 비디오 해상도를 감소시킬 수 있다.
이처럼, 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 기준 비디오 해상도보다 낮은 비디오 해상도를 가지는 비디오 컨텐츠를 전송할 수 있다. 다시 말해, 네트워크 대역폭의 감소에 응답하여 비디오 서비스 서버(2)는 동일한 내용의 비디오 컨텐츠를 연속하여 전송하되, 저해상도의 비디오 컨텐츠를 전송할 수 있다.
비디오 서비스 서버(2)는 다양한 프레임 레이트를 가지는 비디오 컨텐츠를 제공할 수 있다. 예를 들어, 비디오 서비스 서버(2)는 서로 다른 프레임 레이트를 가지는 동일한 내용의 비디오 컨텐츠를 저장할 수 있다. 다른 예로, 비디오 서비스 서버(2)는 비디오 컨텐츠의 전송 시에 비디오 컨텐츠의 프레임 레이트를 변경할 수 있다.
비디오의 프레임 레이트는 비디오를 구성하는 단위 시간 당 영상 프레임의 개수를 나타낼 수 있다. 예를 들어, 60fps (frames per second)는 1초당 60장의 영상 프레임을 표시하는 것을 나타내며, 30fps는 1초당 30장의 영상 프레임을 표시하는 것을 나타낼 수 있다.
비디오의 프레임 레이트가 감소됨에 따라 비디오의 전송 시에 단위 시간 당 전송되는 데이터 양이 감소할 수 있다. 따라서, 비디오 서비스 서버(2)는 네트워크의 트래픽이 증가하면(즉, 단위 시간 당 전송 가능한 데이터의 양이 감소하면) 비디오가 끊김 없이 재생되도록 비디오의 프레임 레이트를 감소시킬 수 있다.
이처럼, 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송할 수 있다. 다시 말해, 네트워크 대역폭의 감소에 응답하여 비디오 서비스 서버(2)는 동일한 내용의 비디오 컨텐츠를 연속하여 전송하되, 낮은 프레임 레이트의 비디오 컨텐츠를 전송할 수 있다.
디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 비디오 신호와 오디오 신호를 수신할 수 있으며, 비디오 신호를 비디오(복수의 영상 프레임들)로 디코딩하고, 비디오의 영상 프레임들을 표시할 수 있다.
또한, 디스플레이 장치(100)는 네트워크 트래픽 증가에 따른 비디오 컨텐츠의 비디오 해상도 저감 또는 비디오 컨텐츠의 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 구체적으로, 디스플레이 장치(100)는 네트워크 트래픽 증가에 응답하여 비디오 컨텐츠의 해상도를 감소시킬지(이하 '비디오 해상도 저감'라 한다) 또는 네트워크 트래픽 증가에 응답하여 비디오 컨텐츠의 프레임 레이트를 감소시킬지(이하 '프레임 레이트 저감'라 한다)를 선택할 수 있다.
예를 들어, 디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 수신되는 컨텐츠의 특성 및 사용자의 시청 환경에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하고, 선택된 트래픽 신호를 비디오 서비스 서버(2)로 전송할 수 있다.
비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 트래픽 신호에 따라 비디오 해상도가 감소된 비디오 컨텐츠를 전송하거나 프레임 레이트가 감소된 비디오 컨텐츠를 전송할 수 있다. 예를 들어, 디스플레이 장치(100)에 의하여 비디오 해상도 저감이 선택되면 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 비디오 해상도가 감소된 비디오 컨텐츠를 전송할 수 있고, 그리고 디스플레이 장치(100)에 의하여 프레임 레이트 저감이 선택되면 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 프레임 레이트가 감소된 비디오 컨텐츠를 전송할 수 있다.
이하에서는 디스플레이 장치(100)의 구성 및 동작이 설명된다.
도 3는 일 실시예에 의한 디스플레이 장치의 구성을 도시한다. 도 4은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 구성을 도시한다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 입력을 수신하는 입력부(110)와, 디스플레이 장치(100) 주변의 환경 정보를 수집하는 감지부(120)와, 입력부(110) 및 감지부(120)로부터의 입력을 영상 처리부(160)에 제공하는 제어부(130)와, 컨텐츠 소스들로부터 컨텐츠 데이터를 수신하는 컨텐츠 수신부(140)와, 컨텐츠 수신부(140)에 의하여 수신된 컨텐츠 데이터에 포함된 영상 데이터를 처리하는 영상 처리부(160)와, 영상 처리부(160)에 의하여 처리된 영상을 표시하는 영상 표시부(170)와, 영상 처리부(160)에 의하여 처리된 음향을 출력하는 음향 출력부(180)를 포함한다.
입력부(110)는 사용자 입력을 수신하는 입력 버튼들(111)을 포함할 수 있다. 예를 들어, 입력부(110)는 디스플레이 장치(100)를 턴온 또는 턴오프시키기 위한 전원 버튼, 디스플레이 장치(100)에 표시되는 방송 컨텐츠를 선택하기 위한 채널 선택 버튼, 디스플레이 장치(100)가 출력하는 음향의 볼륨을 조절하기 위한 음향 조절 버튼, 컨텐츠 소스를 선택하기 위한 소스 선택 버튼 등을 포함할 수 있다.
입력 버튼들(111)는 각각 사용자 입력을 수신하고, 사용자 입력에 대응하는 전기적 신호를 제어부(130)로 출력할 수 있다.
입력 버튼들(111)은 푸시 스위치, 터치 스위치, 다이얼, 슬라이드 스위치, 토글 스위치 등 다양한 입력 수단에 의하여 구현될 수 있다.
사용자 입력을 수신하는 리모트 컨트롤러가 디스플레이 장치(100)와 분리되어 마련될 수 있다. 리모트 컨트롤러는 사용자 입력을 수신하고, 사용자 입력에 대응하는 무선 신호를 디스플레이 장치(100)로 전송할 수 있다. 입력부(110)는 리모트 컨트롤러로부터 사용자 입력을 무선으로 수신할 수 있다.
감지부(120)는 디스플레이 장치(100) 주변의 환경에 관한 정보 즉, 사용자의 시청 환경에 관한 정보를 수집할 수 있다. 예를 들어, 감지부(120)는 디스플레이 장치(100) 주변의 조도를 측정하는 조도 센서(121)를 포함할 수 있다.
조도 센서(121)는 주변 밝기에 따라 서로 다른 전기적 신호를 출력할 수 있다. 구체적으로, 조도 센서(121)는 주변 밝기를 감지하고, 주변 밝기에 대응하는 전기적 신호를 제어부(130)로 출력할 수 있다.
조도 센서(121)는 주변 밝기에 따라 전기적 저항값이 변화하는 황화카드뮴(CdS) 센서를 포함하거나, 주변 밝기에 따라 서로 다른 전압을 출력하는 포토다이오드 소자를 포함할 수 있다.
제어부(130)는 입력부(110)를 통한 사용자 입력 및 감지부(120)의 감지 결과를 처리하고, 처리 결과를 영상 처리부(160)에 제공할 수 있다. 예를 들어, 입력부(110)를 통하여 컨텐츠 소스가 선택되면, 제어부(130)는 선택된 컨텐츠 소스로부터 컨텐츠를 수신하도록 컨텐츠 수신부(140) 및/또는 영상 처리부(160)에 제어 신호를 출력할 수 있다.
제어부(130)는 사용자 입력 및/또는 감지 결과에 따라 제어 신호를 생성하는 마이크로 컨트롤러(131)를 포함할 수 있다. 예를 들어, 마이크로 컨트롤러(131)는 사용자 입력에 따라 컨텐츠 소스를 선택하기 위한 컨텐츠 선택 신호를 생성할 수 있으며, 컨텐츠 선택 신호를 영상 처리부(160)로 출력할 수 있다.
마이크로 컨트롤러(131)는 논리 연산 및 산술 연산 등을 수행하는 연산 회로(ALU)와, 연산된 데이터를 기억하는 기억 회로(S-램, D-램 등의 휘발성 메모리 및 롬, 이피롬, 이이피롬, 플래시 메모리 등의 비휘발성 메모리) 등을 포함할 수 있다.
컨텐츠 수신부(140)는 컨텐츠 소스들로부터 컨텐츠 데이터를 수신하는 입력 단자들(141) 및 튜너(142)를 포함할 수 있다.
입력 단자들(141)은 케이블을 통하여 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신할 수 있다. 다시 말해, 디스플레이 장치(100)는 입력 단자들(141)을 통하여 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신할 수 있다.
입력 단자들(141)은 예를 들어 컴포넌트(component, YPbPr/RGB) 단자, 컴포지트 (composite video blanking and sync, CVBS) 단자, 오디오 단자, 고화질 멀티미디어 인터페이스 (High Definition Multimedia Interface, HDMI) 단자, 범용 직렬 버스(Universal Serial Bus, USB) 단자 등을 포함할 수 있다.
튜너(142)는 방송 신호를 수신하고, 방송 신호 중에 사용자에 의하여 선택된 채널의 방송 신호를 추출할 수 있다. 예를 들어, 튜너(142)는 방송 수신 안테나 또는 유선 케이블을 통하여 수신된 복수의 방송 신호 중에 사용자에 의하여 선택된 채널에 해당하는 주파수를 가지는 방송 신호를 통과시키고, 다른 주파수를 가지는 방송 신호를 차단할 수 있다.
이처럼, 컨텐츠 수신부(140)는 입력 단자들(141) 및/또는 튜너(142)를 통하여 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신할 수 있으며, 입력 단자들(141) 및/또는 튜너(142)를 통하여 수신된 비디오 신호와 오디오 신호를 영상 처리부(160)로 출력할 수 있다.
또한, 사용자는 입력부(110)를 통하여 복수의 컨텐츠 소스들 중에 어느 하나를 선택할 수 있으며, 사용자의 선택에 따라 제어부(130)는 컨텐츠 수신부(140) 및/또는 영상 처리부(160)에 컨텐츠 선택 신호를 출력할 수 있다.
통신부(150)는 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있는 유선 통신 모듈(151)과 무선 통신 모듈(152)을 포함할 수 있다.
유선 통신 모듈(151)은 디스플레이 장치(100)로부터 인터넷 서비스 제공자의 게이트웨이 서버(1)까지 연결된 케이블을 통하여 게이트웨이 서버(1)에 접속할 수 있다. 예를 들어, 유선 통신 모듈(151)은 이더넷(Ethernet, IEEE 802.3 기술 표준)을 통하여 게이트웨이 서버(1)와 통신할 수 있다.
유선 통신 모듈(151)은 게이트웨이 서버(1)를 거쳐 광역 네트워크 상의 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있다.
무선 통신 모듈(152)은 게이트웨이 서버(1)와 연결된 접속 중계기(Access Point, AP) (또는 사용자의 게이트웨이)와 무선으로 통신할 수 있다. 예를 들어, 무선 통신 모듈(152)은 와이파이(WiFi™, IEEE 802.11 기술 표준) 또는 블루투스 (Bluetooth™, IEEE 802.15.1 기술 표준) 또는 지그비(ZigBee™, IEEE 802.15.4 기술 표준)을 통하여 접속 중계기와 통신할 수 있다. 또한, 접속 중계기는 게이트웨이 서버(1)로 연결될 수 있다.
무선 통신 모듈(152)은 접속 중계기와 게이트웨이 서버(1)를 거쳐 광역 네트워크 상의 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있다.
이처럼, 통신부(150)는 게이트웨이 서버(1)를 거쳐 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있으며, 디스플레이 장치(100)는 통신부(150)를 통하여 비디오 서비스 서버(2)로부터 컨텐츠가 포함된 데이터 스트림을 수신할 수 있다. 예를 들어, 통신부(150)에 의하여 수신된 데이터 스트림은 영상 처리부(160)로 입력될 수 있다.
또한, 디스플레이 장치(100)는 통신부(150)를 트래픽 신호를 비디오 서비스 서버(2)로 전송할 수 있다.
영상 처리부(160)는 컨텐츠 수신부(140)로부터 수신된 비디오/오디오의 데이터 스트림을 처리하고, 영상 프레임 데이터와 음향 데이터를 생성할 수 있다. 구체적으로, 영상 처리부(160)는 비디오 데이터 스트림을 영상 프레임으로 디코딩하고, 오디오 데이터 스트림을 음향 데이터로 디코딩할 수 있다.
또한, 영상 처리부(160)는 영상 프레임 데이터를 영상 표시부(170)로 출력하고, 음향 데이터를 음향 출력부(180)로 출력할 수 있다.
영상 처리부(160)는 도 3에 도시된 바와 같이 구조적으로 그래픽 프로세서(161)와, 그래픽 메모리(162)를 포함할 수 있다.
그래픽 메모리(162)는 영상 처리를 위한 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 그래픽 메모리(162)는 비디오 디코딩을 위한 프로그램 및 데이터를 저장하거나, 그래픽 프로세서(161)의 영상 처리 중에 발생하는 영상 데이터를 임시로 기억할 수 있다. 다시 말해, 그래픽 메모리(162)는 영상 버퍼로써 동작할 수 있다.
그래픽 메모리(162)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리와, 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다.
그래픽 프로세서(161)는 영상 처리를 수행할 수 있다. 예를 들어, 그래픽 프로세서(161)는 그래픽 메모리(162)에 저장된 프로그램 및 데이터에 따라 데이터 스트림을 영상 프레임으로 디코딩할 수 있다. 또한, 그래픽 프로세서(161)는 영상 데이터를 그래픽 메모리(162)에 임시로 저장하고, 그래픽 메모리(162)로부터 영상 데이터를 불러올 수 있다.
그래픽 프로세서(161)는 논리 연산 및 산술 연산 등을 수행하는 연산 회로(Arithmetic logic unit, ALU)와, 데이터를 기억하는 기억 회로(예를 들어, 레지스터)와, 그래픽 프로세서(161)의 동작을 제어하는 제어 회로 등을 포함할 수 있다.
또한, 영상 처리부(160)는 도 4에 도시된 바와 같이 기능적으로 데이터 스트림의 메타 데이터를 분석하는 메타 분석기(210)와, 데이터 스트림을 영상 프레임 데이터로 디코딩하는 비디오 디코더(220)와, 영상 프레임을 일시 기억하는 프레임 버퍼(230)와, 영상 프레임을 보완하는 영상 보완기(250)와, 영상 프레임을 분석하는 영상 분석기(240)와, 데이터 스트림을 음향 데이터로 디코딩하는 오디오 디코더(260)를 포함한다.
메타 분석기(210)는 비디오 서비스 서버(2)로부터 수신된 데이터 스트림에 포함된 메타 데이터를 추출할 수 있다.
메타 데이터는 데이터 스트림에 포함된 컨텐츠 자체에 관한 정보와, 컨텐츠의 비디오에 관한 정보와, 컨텐츠의 오디오에 관한 정보를 포함할 수 있다. 예를 들어, 메타 데이터는 컨텐츠 자체에 관한 정보로서 컨텐츠의 제목, 컨텐츠의 타입, 컨텐츠의 장르, 컨텐츠의 제작자 등을 포함할 수 있다. 메타 데이터는 비디오에 관한 정보로서 비디오의 인코딩 코덱(codec), 비디오의 해상도, 비디오의 프레임 레이트 등을 포함할 수 있다. 또한, 메타 데이터는 오디오에 관한 정보로서 오디오의 인코딩 코덱, 오디오의 주파수 대역폭, 오디오의 채널 개수 등을 포함할 수 있다.
메타 분석기(210)는 컨텐츠에 관한 메타 데이터, 비디오에 관한 메타 데이터 및 오디오에 관한 메타 데이터를 기억할 수 있다.
비디오 디코더(220)는 비디오에 관한 메타 데이터를 기초로 비디오 디코딩 옵션을 설정할 수 있다. 오디오 디코더(260)는 오디오에 관한 메타 데이터를 기초로 오디오 디코딩 옵션을 설정할 수 있다. 영상 보완기(250)는 비디오에 관한 메타 데이터를 기초로 영상 프레임을 보완할 수 있다. 또한, 영상 분석기(240)는 컨텐츠에 관한 메타 데이터를 기초로 비디오의 영상 특성을 판단할 수 있다.
비디오 디코딩 옵션은 데이터 스트림을 영상 프레임 데이터으로 디코딩하기 위한 설정값을 나타낼 수 있으며, 비디오 서비스 서버(2)에서 설정된 비디오 인코딩 옵션에 따라 결정될 수 있다. 예를 들어, 비디오 인코딩 옵션은 모션 추정 알고리즘(motion estimation algorithm), 인코딩 모드(rate control), 비트레이트(bitrate) 등을 포함할 수 있으며, 비디오 인코딩 옵션에 의하여 비디오 디코딩 옵션이 결정될 수 있다.
오디오 디코딩 옵션은 데이터 스트림을 오디오 데이터로 디코딩하기 위한 설정값을 나타낼 수 있으며, 비디오 서비스 서버(2)에서 설정된 오디오 인코딩 옵션에 따라 결정될 수 있다.
비디오 디코더(220)는 데이터 스트림을 디코딩하고, 영상 프레임 데이터를 복원할 수 있다. 구체적으로, 비디오 디코더(220)는 메타 데이터를 기초로 비디오 디코딩 옵션을 설정하고, 설정된 비디오 디코딩 옵션에 따라 데이터 스트림을 디코딩하고 영상 프레임을 복원할 수 있다. 예를 들어, 비디오 디코더(220)는 MPEG (Moving Picture Experts Group)-2, MPEG4-4, HEVC (High Efficiency Video Coding) 등의 디지털 영상 압축 알고리즘을 이용하여 데이터 스트림을 영상 프레임 데이터로 디코딩할 수 있다.
프레임 버퍼(230)는 비디오 디코더(220)에 의하여 디코딩된 영상 프레임들을 저장할 수 있다. 예를 들어, 프레임 버퍼(230)는 영상 처리부(160)로부터 출력되는 영상 프레임을 기준으로 '현재 영상 프레임(현재 출력되는 영상 프레임)'과, '과거 영상 프레임(이미 출력된 영상 프레임)'과, '미리 영상 프레임(디코딩되고 출력되지 아니한 영상 프레임)'을 저장할 수 있다.
프레임 버퍼(230)는 앞서 설명된 그래픽 메모리(162)로 구현될 수 있다.
영상 분석기(240)는 프레임 버퍼(230)에 저장된 영상 프레임들과 컨텐츠의 메타 데이터를 기초로 컨텐츠의 영상 특성 및/또는 컨텐츠의 고유 특성을 판단할 수 있다. 예를 들어, 영상 분석기(240)는 영상 프레임들로부터 영상의 모션 특성 및 깊이 특성을 판단하고, 모션 특성 및 깊이 특성으로부터 컨텐츠의 영상 특성을 판단할 수 있다. 영상 분석기(240)는 컨텐츠의 메타 데이터를 기초로 컨텐츠의 타입 및/또는 장르 등의 고유 특성을 판단할 수 있다. 또한, 영상 분석기(240)는 제어부(130)로부터 감지부(120)의 감지 결과 즉 사용자의 시청 환경에 관한 정보를 수신할 수 있다. 예를 들어, 영상 분석기(240)는 제어부(130)로부터 디스플레이 장치(100) 주변의 조도값에 관한 정보를 수신할 수 있다.
영상 분석기(240)는 컨텐츠의 영상 특성과 컨텐츠의 고유 특성과 사용자의 시청 환경(예를 들어, 조도값)을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 또한, 영상 분석기(240)는 비디오 해상도 저감 신호 또는 프레임 레이트 저감 신호를 통신부(150)를 통하여 비디오 서비스 서버(2)로 전송할 수 있다.
영상 보완기(250)는 비디오 해상도가 저감되거나 프레임 레이트가 저감된 영상 프레임을 보완할 수 있다. 예를 들어, 비디오 서비스 서버(2)로부터 비디오 해상도가 저감된 비디오가 수신되면 영상 보완기(250)는 영상 프레임의 비디오 해상도를 보완하고, 비디오 서비스 서버(2)로부터 프레임 레이트가 저감된 비디오가 수신되면 영상 보완기(250)는 영상 프레임의 프레임 레이트를 보완할 수 있다.
또한, 영상 보완기(250)는 비디오의 해상도 및/또는 비디오의 프레임에 관한 메타 데이터를 기초로 영상 프레임의 해성도 저감 또는 영상 프레임의 프레임 레이트 저감을 판단할 수 있다.
오디오 디코더(260)는 데이터 스트림을 디코딩하고, 오디오 데이터를 복원할 수 있다. 구체적으로, 오디오 디코더(260)는 메타 데이터를 기초로 오디오 디코딩 옵션을 설정하고, 설정된 오디오 디코딩 옵션에 따라 데이터 스트림을 디코딩하고 음향을 복원할 수 있다. 예를 들어, 오디오 디코더(260)는 AAC (Advanced Audio Coding), HE-AAC (High-Efficiency Advanced Audio Coding) 등의 디지털 음향 압축 알고리즘을 이용하여 데이터 스트림을 오디오 데이터로 디코딩할 수 있다.
도 3으로 돌아가서, 영상 표시부(170)는 영상을 시각적으로 표시하는 디스플레이 패널(172)과, 디스플레이 패널(172)을 구동하는 디스플레이 드라이버(171)를 포함한다.
디스플레이 패널(172)은 디스플레이 드라이버(171)로부터 수신된 영상 데이터에 따라 영상을 생성하고, 영상을 출력할 수 있다.
디스플레이 패널(172)은 영상을 표시하는 단위가 되는 화소(pixel)을 포함할 수 있다. 각각의 화소는 영상 데이터를 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 이처럼, 복수의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(172)에 표시될 수 있다.
디스플레이 패널(172)은 음극선관(CRT, Cathode Ray Tube) 디스플레이, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다. 다만, 디스플레이 패널(172)은 이에 한정되지 않으며, 디스플레이 패널(172)은 영상 데이터에 대응하는 영상을 시각적으로 표시할 수 있는 다양한 표시 수단을 채용할 수 있다.
디스플레이 드라이버(171)는 영상 처리부(160)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에 대응하는 영상을 표시하도록 디스플레이 패널(172)을 구동한다.
구체적으로, 디스플레이 드라이버(171)는 디스플레이 패널(172)을 구성하는 복수의 화소 각각에 영상 프레임 데이터에 대응하는 전기적 신호를 전달한다. 특히, 디스플레이 드라이버(171)는 짧은 시간 이내에 디스플레이 패널(172)을 구성하는 모든 화소에 전기적 신호를 전달하기 위하여 다양한 방식으로 각각의 화소에 전기적 신호를 전달할 수 있다.
이처럼, 디스플레이 드라이버(171)가 디스플레이 패널(172)을 구성하는 각각의 화소에 영상 데이터에 대응하는 전기적 신호를 전달하면 각각의 화소는 수신된 전기적 신호에 대응하는 광학 신호를 출력하고, 각각의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(172)에 표시될 수 있다.
음향 출력부(180)는 음향을 증폭하는 오디오 앰프(181)와, 증폭된 음향을 청각적으로 출력하는 스피커(182)를 포함한다.
오디오 앰프(181)는 영상 처리부(160)에 의하여 처리된 전기적 음향 신호를 증폭할 수 있다. 오디오 앰프(181)는 전기적 음향 신호를 증폭하기 위한 진공관 또는 트랜지스터 등을 포함할 수 있다.
스피커(182)는 오디오 앰프(181)에 의하여 출력된 전기적 음향 신호를 청각적 음향으로 변환할 수 있다. 예를 들어, 스피커(182)는 전기적 음향 신호에 따라 진동하는 박막을 포함할 수 있으며, 박막의 진동에 의하여 음향(음파)가 생성될 수 있다.
이상에서는 제어부(130)와 영상 처리부(160)를 구별하여 설명하였으나, 제어부(130)와 영상 처리부(160)가 구조적으로 구별되는 것은 아니다. 예를 들어, 제어부(130)와 영상 처리부(160)는 별도의 칩으로 구현되거나 하나의 칩으로 구현될 수 있다.
이하에서는 디스플레이 장치(100)의 동작이 설명된다.
도 5는 일 실시예에 의한 디스플레이 장치의 동작의 일 예를 도시한다.
도 5와 함께 디스플레이 장치(100)의 동작(1000)이 설명된다.
디스플레이 장치(100)는 데이터 스트림을 수신한다(1010).
통신부(150)는 비디오 서비스 서버(2)로부터 데이터 스트림을 수신할 수 있으며, 수신된 데이터 스트림을 영상 처리부(160)로 출력할 수 있다. 영상 처리부(160)는 통신부(150)로부터 데이터 스트림을 수신한다.
통신부(150)는 인터넷 서비스 제공자의 게이트웨이 서버(1)를 거쳐 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있다. 특히, 통신부(150)는 비디오 서비스 서버(2)로부터 컨텐츠를 재생하기 위한 데이터 스트림을 실시간으로 수신할 수 있다. 수신된 데이터 스트림은 통신부(150)로부터 영상 처리부(160)로 출력될 수 있다.
이후, 디스플레이 장치(100)는 컨텐츠의 특성을 판단한다(1020).
영상 처리부(160)는 컨텐츠의 특성을 판단하기 위하여 데이터 스트림에 포함된 메타 데이터를 추출하고, 메타 데이터를 분석할 수 있다.
메타 데이터는 컨텐츠에 관한 메타 데이터, 비디오에 관한 메타 데이터 및 오디오에 관한 메타 데이터를 포함할 수 있다. 컨텐츠에 관한 메타 데이터는 컨텐츠의 제목, 컨텐츠의 타입, 컨텐츠의 장르, 컨텐츠의 제작자 등 컨텐츠 자체에 관한 정보를 포함할 수 있다.
영상 처리부(160)는 컨텐츠에 관한 메타 데이터를 분석할 수 있다. 영상 처리부(160)는 컨텐츠에 관한 메타 데이터 중에 컨텐츠의 타입 및 컨텐츠의 장르를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 판단할 수 있다.
예를 들어, 컨텐츠의 타입이 스포츠인 경우 비디오 내에서 영상의 변화(예를 들어, 화면의 전환)가 많고, 영상 내에서 움직임이 많을 수 있다. 이처럼 영상의 변화가 많은 경우, 높은 프레임 레이트를 유지함으로써 사용자에게 많은 영상 정보를 제공할 수 있다. 따라서, 컨텐츠 타입이 스포츠인 경우, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
또한, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 액션인 경우, 스포츠와 마찬가지로 영상 내의 움직임이 많다. 따라서, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 액션인 경우, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
또한, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 드라마 또는 코미디인 경우, 비디오 내에서 영상의 변화가 적고, 영상 내에서 움직임이 적을 수 있다. 이처럼 영상의 변화가 적은 경우, 높은 비디오 해상도를 유지함으로써 사용자에게 고화질의 영상을 제공할 수 있다. 따라서, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 드라마 또는 코미디인 경우, 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다.
다만, 컨텐츠에 관한 메타 데이터는 컨텐츠의 특성을 판단하기 위하여 이용될 뿐이며, 영상 처리부(160)는 컨텐츠에 관한 메타 데이터만으로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하지 아니할 수 있다.
이후, 디스플레이 장치(100)는 데이터 스트림을 영상 프레임으로 디코딩한다(1030).
영상 처리부(160)는 데이트 스트림을 디코딩하기 앞서 데이터 스트림으로부터 비디오에 관한 메타 데이터를 추출하고, 비디오에 관한 메타 데이터를 기초로 비디오 디코딩 옵션을 설정할 수 있다. 비디오 디코딩 옵션은 비디오 인코딩 옵션에 의하여 결정되며, 비디오에 관한 메타 데이터는 비디오 인코딩 옵션을 포함할 수 있다.
비디오 디코딩 옵션을 설정한 이후 영상 처리부(160)는 데이터 스트림을 디코딩하고, 영상 프레임 데이터를 복원할 수 있다. 영상 처리부(160)는 MPEG (Moving Picture Experts Group)-2, MPEG4-4, HEVC (High Efficiency Video Coding) 등의 디지털 영상 압축 알고리즘을 이용하여 데이터 스트림을 영상 프레임 데이터로 디코딩할 수 있다.
또한, 영상 처리부(160)는 영상 프레임 데이터를 프레임 버퍼(230)에 저장할 수 있다.
이후, 디스플레이 장치(100)는 영상의 모션 특성 및 깊이 특성을 판단한다(1040).
영상 처리부(160)는 프레임 버퍼(230)에 저장된 영상 프레임을 기초로 영상의 모션 특성 및 영상의 깊이 특성을 판단할 수 있다.
예를 들어, 영상 처리부(160)는 프레임 버퍼(230)에 저장된 '현재 영상 프레임'과 '과거 영상 프레임'을 기초로 영상의 모션 벡터를 산출하고, 영상의 모션 벡터를 기초로 영상의 모션 특성을 판단할 수 있다.
여기서, '영상의 모션 벡터'는 영상 내의 객체의 모션 및/또는 영상 전체의 모션을 나타낼 수 있다. 예를 들어, 영상은 복수의 블록들로 분할될 수 있으며 모션 벡터는 각각의 블록들 내에서의 영상의 이동 크기와 이동 방향을 나타낼 수 있다.
또한, '모션 특성'은 영상 전체의 모션 형태 및/또는 객체의 모션 형태를 나타낼 수 있다. 예를 들어, 모션 특성은 패닝(panning), 파일럿-뷰(pilot-view), 줌-인(zoom-in), 줌-아웃(zoom-out) 등의 영상 전체의 모션과, 객체(object)의 이동 크기와 이동 방향을 포함하는 영상 내의 객체의 모션을 포함할 수 있다.
이처럼, 영상 처리부(160)는 '현재 영상 프레임'과 '과거 영상 프레임'을 기초로 기초로 영상 전체의 모션 및/또는 영상 내 객체의 모션을 포함하는 영상의 모션 특성을 판단할 수 있다.
또한, 영상 처리부(160)는 프레임 버퍼(230)에 저장된 '현재 영상 프레임'을 기초로 영상의 깊이 지도를 산출하고, 영상의 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
여기서, '깊이 지도'은 기준 위치(예를 들어, 영상을 촬영한 '촬영자 또는 관찰자'의 위치)로부터 영상 내의 객체까지의 거리를 나타낼 수 있다. 예를 들어, 영상은 복수의 블록들로 분할될 수 있으며 깊이 지도는 기준 위치로부터 각각의 블록들까지의 거리를 나타낼 수 있다.
스테레오 카메라 등에 의하여 촬영된 3차원 영상은 영상과 영상의 깊이 지도를 포함하는 것이 일반적이나, 2차원 영상으로부터 깊이 지도를 산출할 수도 있다. 예를 들어, 영상의 소실점(vanishing point)으로부터 블록들의 상대적인 위치에 따라 각각의 블록들의 기준 위치에 대한 상대적인 거리가 판단될 수 있다. 또한, 영상 내에서의 객체들의 상대적인 위치 및 선명도 등을 기초로 영상 내의 객체들의 기준 위치에 대한 상대적인 거리가 판단될 수 있다.
또한, '깊이 특성'은 영상 내의 각 객체들의 상대적인 거리(예를 들어, 영상을 촬영한 '촬영자'로부터의 거리), 객체들 사이의 상대적인 위치 관계 및/또는 전방에 위치한 객체들이 영상에서 차지하는 영역 등을 포함할 수 있다.
영상 처리부(160)는 '현재 영상 프레임'을 기초로 영상의 깊이 지도를 생성하고, 영상의 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
영상의 모션 특성과 영상의 깊이 특성을 판단하는 것은 아래에서 더욱 자세한 설명된다.
이후, 디스플레이 장치(100)는 영상의 특성을 판단한다(1050).
영상 처리부(160)는 컨텐츠의 특성, 영상의 모션 특성 및 깊이 특성을 기초로 영상의 특성을 판단한다.
예를 들어, 영상 처리부(160)는 영상의 모션 특성을 기초로 영상 전체의 움직임의 속도 및/또는 움직임의 정도와 영상 내에서 객체들의 움직임의 속도 및/또는 움직임의 정도를 판단할 수 있다. 또한, 영상 처리부(160)는 깊이 특성을 기초로 영상 내의 객체들의 상대적인 위치 및/또는 객체들의 분포 등을 판단할 수 있다.
이후, 디스플레이 장치(100)는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다(1060).
영상 처리부(160)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 판단할 수 있다. 구체적으로, 영상 처리부(160)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다.
예를 들어, 영상 처리부(160)는 컨텐츠 특성에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 판단할 수 있다. 컨텐츠의 타입이 스포츠이거나 액션 영화인 경우 영상 처리부(160)는 비디오 해상도 저감을 선택하고, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 드라마 또는 코미디인 경우 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다.
다른 예로, 영상 내의 객체들의 모션 크기가 기준값 이상이고 영상 내의 객체들의 모션 방향들 모두가 미리 정해진 각도 범위 이내이면, 영상 처리부(160)는 영상의 모션을 빠르게 표시하기 위하여 프레임 레이트를 유지하고 비디오 해상도를 저감하는 비디오 해상도 저감을 선택할 수 있다. 영상 내의 객체들의 모션 크기가 기준값 이상이고 영상 내의 객체들의 모션 방향들이 다양하게 분포되면, 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 비디오 해상도를 유지하고 프레임 레이트를 저감하는 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내의 객체들의 모션 크기가 기준값보다 작으면, 영상 처리부(160)는 고화질의 영상을 표시하기 위하여 비디오 해상도를 유지하고 프레임 레이트를 저감하는 프레임 레이트 저감을 선택할 수 있다.
다른 예로, 영상 내에서 전방 객체가 넓은 부분을 차지하면, 객체의 일정한 모션이 예상되므로 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내에서 먼 거리(촬영자로부터 먼 거리)에 위치하는 객체가 분산되어 위치하면, 객체의 다양한 모션이 예상되므로 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한 이후, 영상 처리부(160)는 통신부(150)를 통하여 트래픽 신호를 비디오 서비스 서버(2)로 전송할 수 있다. 예를 들어, 영상 처리부(160)는 선택에 따라 비디오 해상도 저감 신호를 비디오 서비스 서버(2)로 전송하거나 프레임 레이트 저감 신호를 비디오 서비스 서버(2)로 전송할 수 있다.
이상에서 설명된 바와 같이, 디스플레이 장치(100)는 영상 프레임을 분석하고, 분석 결과에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다.
디스플레이 장치(100)는 미리 정해진 시간마다 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다. 예를 들어, 디스플레이 장치(100)는 인터넷 서비스 제공자의 네트워크 환경과 무관하게 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나 선택하고, 비디오 해상도 저감 신호 또는 프레임 레이트 저감 신호를 비디오 서비스 서버(2)에 전송할 수 있다.
또한, 디스플레이 장치(100)는 네트워크 트래픽이 증가할 때 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 디스플레이 장치(100)는 인터넷 서비스 제공자의 게이트웨이 서버(1)로부터 네트워크의 트래픽에 관한 정보를 수신할 수 있다. 디스플레이 장치(100)는 게이트웨이 서버(1)로부터 수신된 정보를 기초로 네트워크의 트래픽을 판단할 수 있다. 네트워크 트래픽이 기준값보다 크면 디스플레이 장치(100)는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하고, 비디오 해상도 저감 신호 또는 프레임 레이트 저감 신호를 비디오 서비스 서버(2)에 전송할 수 있다.
도 6은 일 실시예에 의한 디스플레이 장치의 모션 특성/깊이 특성 판단 방법을 도시한다. 도 7은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 추정하는 일 예를 도시한다. 도 8은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 기초로 영상의 특성을 판단하는 일 예를 도시한다. 도 9는 도 6에 도시된 판단 방법에 의하여 소실점을 추정하는 일 예를 도시한다. 도 10은 도 6에 도시된 판단 방법에 의하여 전방 객체를 추정하는 일 예를 도시한다.
도 6, 도 7, 도 8, 도 9 및 도 10과 함께, 모션 특성/깊이 특성의 판단 방법(1100)이 설명된다.
디스플레이 장치(100)는 모션 벡터를 산출한다(1110)
영상 처리부(160)는 프레임 버퍼(230)에 저장된 제n 영상 프레임(In) (예를 들어, '현지 영상 프레임')과 제n-1 영상 프레임(In-1) (예를 들어, '과거 영상 프레임')을 모션 벡터를 추정할 수 있다.
예를 들어, 도 7에 도시된 바와 같이 영상 처리부(160)는 제n-1 영상 프레임(In-1)을 복수의 블록들(B11, … B16, B21, … B26, B31, … B36, B41, … B46)로 구획할 수 있다. 또한, 영상 처리부(160)는 제n 영상 프레임(In)을 복수의 블록들(B11-B46)들으로 구획할 수 있다.
이후, 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록들(B11-B46)을 제n 영상 프레임(In)에 매칭시킨다. 다시 말해, 영상 처리부(160)는 제n 영상 프레임(In)에서 제n-1 영상 프레임(In-1)의 블록들(B11-B46)과 일치하는 부분을 검색한다.
예를 들어, 영상 처리부(160)는 제n 영상 프레임(In) 내에서 제n-1 영상 프레임(In-1)의 블록 32 (B32)와 일치하는 부분을 검색할 수 있다. 또한, 영상 처리부(160)는 제n 영상 프레임(In) 내에서 제n-1 영상 프레임(In-1)의 블록 43 (B43)과 일치하는 부분을 검색할 수 있다.
제n 영상 프레임(In)에서 제n-1 영상 프레임(In-1)의 블록들(B11-B46)과 일치하는 부분이 검색되면, 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록들(B11-B46)과 제n 영상 프레임(In)의 해당 부분 사이의 좌표 차이를 산출한다. 영상 처리부(160)는 산출된 좌표 차이를 기초로 모션 벡터를 산출할 수 있다.
예를 들어, 제n-1 영상 프레임(In-1)의 블록 32 (B32)와 제n 영상 프레임(In)의 블록 41 (B41)이 일치할 수 있다. 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록 32 (B32)에 대한 모션 벡터 V1을 산출할 수 있다. 제n-1 영상 프레임(In-1)의 블록 32 (B32)의 모션 벡터 V1은 [+1, -1]로 표현할 수 있다.
또한, 제n-1 영상 프레임(In-1)의 블록 43 (B43)와 제n 영상 프레임(In)의 블록 52 (B52)이 일치할 수 있다. 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록 43 (B43)에 대한 모션 벡터 V2을 산출할 수 있다. 제n-1 영상 프레임(In-1)의 블록 43 (B43)의 모션 벡터 V2은 [+1, -1]로 표현할 수 있다.
이러한 모션 벡터 V1와 V2는 영상 내의 객체(O1)의 이동에 의한 것으로, 객체(O1)가 표시되는 부분에서 집중적으로 발생된다. 모션 벡터가 산출되면 영상 처리부(160)는 모션 벡터가 '0'이 아닌 영역 즉 모션 감지 영역(R)을 판단할 수 있다. 모션 감지 영역(R)은 영상의 모션이 감지된 부분과 동일할 수 있다. 예를 들어, 모션 감지 영역(R)은 영상의 모션이 감지된 블록 41 (B41), 블록 32 (B32), 블록 42 (B42), 블록 52 (B52) 및 블록 43 (B43)을 포함할 수 있다.
디스플레이 장치(100)는 모션 벡터의 크기를 분석한다(1120).
영상 처리부(160)는 1110 동작에서 산출된 모션 벡터의 크기를 산훌할 수 있다. 모션 벡터의 크기는 모션 벡터의 x축 성분의 제곱과 y축 성분의 제곱 사이의 합의 제곱근으로 산출할 수 있다.
예를 들어, 제n-1 영상 프레임(In-1)의 블록 32 (B32)의 모션 벡터 V1은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V1의 크기는 2의 제곱근과 같다. 또한, 제n-1 영상 프레임(In-1)의 블록 43 (B43)의 모션 벡터 V2은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V2의 크기는 2의 제곱근과 같다.
또한, 모션 벡터의 크기는 해당 블록(Bxx)에서의 영상이 움직인 정도를 나타낼 수 있다. 다시 말해, 모션 벡터의 크기가 큰 것은 해당 블록(Bxx)에서 영상의 움직임이 크고 빠른 것을 나타낼 수 있으며, 모션 벡터의 크기가 작은 것은 해당 블록(Bxx)에서 영상의 움직임이 작고 느린 것을 나타낼 수 있다.
디스플레이 장치(100)는 모션 벡터의 방향을 분석한다(1130).
영상 처리부(160)는 1110 동작에서 산출된 모션 벡터의 방향을 산출할 수 있다. 모션 벡터의 방향은 모션 벡터의 x축 성분의 제곱과 y축 성분의 아크탄젠트 값으로 산출할 수 있다.
예를 들어, 제n-1 영상 프레임(In-1)의 블록 32 (B32)의 모션 벡터 V1은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V1의 방향은 x축 방향으로부터 시계 방향으로 45도 방향일 수 있다. 또한, , 제n-1 영상 프레임(In-1)의 블록 43 (B43)의 모션 벡터 V2은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V2의 방향은 x축 방향으로부터 시계 방향으로 45도 방향일 수 있다.
또한, 모션 벡터의 방향은 해당 블록(Bxx)에서의 영상이 움직인 방향을 나타낼 수 있다. 다시 말해, 영상 내의 객체가 이동한 방향 또는 촬영자가 이동한 방향 등을 나타낼 수 있다.
디스플레이 장치(100)는 모션 벡터의 히스토그램을 분석한다(1140).
영상 처리부(160)는 1110 동작에서 산출된 모션 벡터의 히스토그램을 생성할 수 있다. 모션 벡터 히스토그램은 모션 벡터의 크기 및 방향에 따른 블록(Bxx)의 빈도를 나타낼 수 있다. 쉽게 말해, 모션 벡터 히스토그램은 동일한 모션 벡터 크기를 가지는 블록(Bxx)의 개수 및/또는 동일한 모션 벡터 방향을 가지는 블록(Bxx)의 개수를 나타낼 수 있다.
영상 처리부(160)는 모션 벡터 히스토그램으로부터 영상 전체의 모션 벡터의 크기의 분포 및 모션 벡터의 방향의 분포를 판단할 수 있다.
디스플레이 장치(100)는 영상의 모션 특성을 판단한다(1150).
영상 처리부(160)는 모션 벡터의 크기, 모션 벡터의 방향 및 모션 벡터의 히스토그램을 기초로 영상의 모션 특성을 판단할 수 있다.
예를 들어, 영상 처리부(160)는 영상의 모션이 영상 내의 객체의 모션인지 또는 영상 전체의 모션(예를 들어, 촬영자의 이동)인지를 판단할 수 있다.
도 7에 도시된 바와 같이, 영상의 특정한 부분(모션 감지 영역, R)에서 모션 벡터가 집중적으로 발생되면, 영상 처리부(160)는 영상 내의 객체의 이동을 판단할 수 있다.
도 8의 (a), (b) 및 (c)에 도시된 바와 같이, 영상의 전체에서 모션 벡터가 발생되면, 영상 처리부(160)는 영상 전체의 이동(예를 들어, 촬영자의 이동)을 판단할 수 있다.
나아가, 도 8의 (a)에 도시된 바와 같이, 영상 내의 모든 블록(B11-B64)에서 동일한 크기 및 동일한 방향을 가지는 모션 벡터가 산출될 수 있다. 이러한 경우, 영상 처리부(160)는 '패닝'을 판단할 수 있다. '패닝'은 촬영자 또는 관찰자가 피사체와 같은 높이에서 이동하면서 영상을 촬영하는 것을 나타낸다. '패닝'에 의하면, 촬영자 또는 관찰자의 이동 방향과 반대 방향의 모션 벡터가 발생될 수 있다.
도 8의 (b)에 도시된 바와 같이, 영상의 중앙 부분에서 하방을 향하는 모션 벡터가 산출되고, 영상의 좌측 부분에서 좌측 하방을 향하는 모션 벡터가 산출되고, 영상의 우측 부분에서 우측 방향을 향하는 모션 벡터가 산출될 수 있다. 이러한 경우, 영상 처리부(160)는 '파일럿-뷰'를 판단할 수 있다. '파일럿-뷰'는 촬영자 또는 관찰자가 피사체보다 높은 위치에서 이동하면서 영상을 촬영하는 것을 나타낸다. '파일럿-뷰'에 의하면 영상 전체에서 아래 방향을 향하는 모션 벡터가 발생될 수 있다.
또한, 도 8의 (c)에 도시된 바와 같이, 영상의 상측 부분에서 상방을 향하는 모션 벡터가 산출되고, 영상의 하측 부분에서 하방을 향하는 모션 벡터가 산출될 수 있다. 이러한 경우, 영상 처리부(160)는 '줌-인'을 판단할 수 있다. '줌-인'은 촬영자 또는 관찰자가 피사체를 향하여 이동하면서 영상을 촬영하는 것을 나타낸다. '줌-인'에 의하면 영상의 상측에서는 위 방향을 향하는 모션 벡터가 발생되고, 영상의 하측에서는 아래 방향을 향하는 모션 벡터가 발생될 수 있다.
이처럼, 영상 처리부(160)는 모션 벡터의 크기, 모션 벡터의 방향 및 모션 벡터의 히스토그램을 기초로 영상 내의 객체의 이동 또는 영상 전체의 이동(예를 들어, 촬영자의 이동)을 판단할 수 있다.
디스플레이 장치(100)는 영상의 소실점 분석을 수행한다(1160).
영상 처리부(160)는 모션 벡터 산출(1110), 모션 벡터 크기 분석(1120), 모션 벡터 방향 분석(1130), 모션 벡터 히스토그램 생성(1140) 및 영상의 모션 특성 판단(1150)과 함께 소실점 분석을 수행할 수 있다.
'소실점(vanishing point)'은 실제 평행한 직선이 원근에 의하여 영상 내에서 서로 만나게 되는 교점을 나타낸다. 예를 들어, 도 9에 도시된 바와 같이 차로를 구별하는 차선들은 소실점 VP로 수렴될 수 있다.
소실점으로 수렴되는 직선은 동일한 평면 상에 위치하는 직선들에 한정되지 아니한다. 예를 들어, 도 9에 도시된 바와 같이 차로 양편에 도시된 건물들의 상측 모서리의 연장선은 소실점 VP로 수렴될 수 있다.
소실점은 무한히 먼 위치를 나타내므로, 영상 처리부(160)는 영상 내에서 소실점까지의 거리에 따라 객체의 깊이(예를 들어, 촬영자 또는 관찰자로부터 객체까지의 거리)를 판단할 수 있다.
예를 들어, 도 8에 도시된 바와 같이 영상 내에서 소실점 VP와 제1 객체(O3) 사이의 거리가 소실점 VP와 제2 객체(O4) 사이의 거리보다 크다. 영상 처리부(160)는 제1 객체(O3)가 제2 객체(O4) 보다 촬영자 또는 관찰자와 근접한 위치에 위치하는 것으로 판단할 수 있다. 다시 말해, 영상 처리부(160)는 제1 객체(O3)가 제2 객체(O4) 보다 전방에 위치하는 것으로 판단할 수 있다.
영상 처리부(160)는 영상의 소실점 분석을 이용하여 객체들(O3, O4)과 촬영자 사이의 상대적인 거리 및/또는 객체들(O3, O4) 사이의 전후 위치 관계를 판단할 수 있다.
디스플레이 장치(100)는 영상의 전방 객체 분석을 수행한다(1170).
영상 처리부(160)는 모션 벡터 산출(1110), 모션 벡터 크기 분석(1120), 모션 벡터 방향 분석(1130), 모션 벡터 히스토그램 생성(1140) 및 영상의 모션 특성 판단(1150)과 함께 전방 객체 분석을 수행할 수 있다.
영상 처리부(160)는 소실점이 발견되지 않는 경우 '전방 객체 분석'을 이용하여 객체들(O5, O6) 사이의 전후 위치 관계를 판단할 수 있다.
영상 처리부(160)는 영상 내에서의 객체들(O5, O6)의 배치를 기초로 객체들(O5, O6) 사이의 전후 위치 관계를 판단할 수 있다
영상 처리부(160)는 영상의 하측에 위치하는 객체가 영상의 상측에 위치하는 객체보다 촬영자 또는 관찰자와 근접한 것으로 판단할 수 있다. 예를 들어, 영상 처리부(160)는 도 10에 도시된 제3 객체(O5)가 제4 객체(O6)보다 촬영자 또는 관찰자와 근접한 것으로 판단할 수 있다. 다시 말해, 영상 처리부(160)는 제3 객체(O5)가 제4 객체(O6) 보다 전방에 위치하는 것으로 판단할 수 있다.
영상 처리부(160)는 영상의 전방 객체 분석을 이용하여 객체들(O5, O6)과 촬영자 사이의 거리 또는 객체들(O5, O6) 사이의 전후 위치 관계를 판단할 수 있다.
디스플레이 장치(100)는 영상의 깊이 지도를 생성한다(1180).
영상 처리부(160)는 소실점 분석의 결과 및/또는 전방 객체 분석의 결과를 기초로 영상의 깊이 지도를 생성할 수 있다.
'깊이 지도'은 촬영자와 객체들 사이의 상대적인 거리에 관한 정보 및/또는 객체들 사이의 전후 위치 관계에 관한 정보를 포함할 수 있다. 예를 들어, 도 9에 도시된 영상의 '깊이 지도'은 제1 객체(O3)가 제2 객체(O4) 사이의 전후 관계에 관한 정보 즉, 제1 객체(O3)가 제2 객체(O4) 보다 전방에 위치함을 나타내는 정보를 포함할 수 있다. 또한, 도 10에 도시된 영상의 '깊이 지도'은 제3 객체(O5)가 제4 객체(O6) 사이의 전후 관계에 관한 정보 즉, 제3 객체(O5)가 제4 객체(O6) 보다 전방에 위치함을 나타내는 정보를 포함할 수 있다.
영상 처리부(160)는 생성된 '깊이 지도'을 기억할 수 있다.
디스플레이 장치(100)는 영상의 깊이 특성을 판단한다(1190).
영상 처리부(160)는 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
'깊이 특성'은 영상 내의 각 객체들의 상대적인 거리(예를 들어, 영상을 촬영한 '촬영자'로부터의 거리), 객체들 사이의 상대적인 위치 관계 및/또는 전방에 위치한 객체들이 영상에서 차지하는 영역 등을 포함할 수 있다.
영상 처리부(160)는 '현재 영상 프레임'을 기초로 영상의 깊이 지도를 생성하고, 영상의 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
디스플레이 장치(100)는 영상의 특성을 판단한다(1195).
영상 처리부(160)는 영상의 모션 특성과 영상의 깊이 특성을 기초로 영상의 특성을 판단할 수 있다.
예를 들어, 영상 처리부(160)는 영상의 '모션 벡터'와 영상의 '깊이 지도'을 합성할 수 있다. 구체적으로, 영상 처리부(160)는 영상 내의 객체들 각각에 대한 모션 벡터와 깊이 지도를 매칭시킬 수 있다. 매칭 결과, 영상 처리부(160)는 영상 내의 객체들 각각의 상대적인 위치 정보(깊이 지도)와 모션 정보(모션 벡터)를 획득할 수 있다.
영상 처리부(160)는 영상 내의 객체들의 모선 정보를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 영상 내의 객체들이 이동하지 아니하거나 기준 속도보다 작은 속도로 이동하면 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 프레임 레이트 저감을 선택할 수 있다. 영상 내의 객체들이 기준 속도보다 큰 속도로 이동하고 객체들의 이동 방향의 분포가 기준 각도 범위 이내이면 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내의 객체들이 기준 속도보다 큰 속도로 이동하고 객체들의 이동 방향의 분포가 여러 방향으로 분산되면 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
영상 처리부(160)는 영상 전체의 모션 정보를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 영상 전체가 동일한 방향으로 이동하는 '패닝'의 경우, 영상 프레임의 보완이 용이하므로 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다. 영상의 위치에 따라 모션의 방향이 다른 '파일럿-뷰' 또는 '줌-인'의 경우, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
영상 처리부(160)는 영상 내의 객체들의 깊이 지도를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 영상 내에서 전방에 위치한 객체(촬영자와 근접한 객체)가 넓은 부분을 차지하면, 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내에서 후방에 위치한 객체(촬영자로부터 떨어진 객체들)가 분산되어 위치하면, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
영상 처리부(160)는 영상 내의 객체들의 상대적인 위치 정보와 모션 정보를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 영상 내의 전방에 위치한 하나의 객체가 이동하면 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 프레임 레이트 저감을 선택할 수 있다. 영상 내의 후방에 위치한 여러 객체들이 다양한 방향으로 이동하면 영상 처리부(160)는 영상 프레임의 변화를 빠르게 표시하기 위하여 비디오 해상도 저감을 선택할 수 있다.
이상에서 설명된 바와 같이, 디스플레이 장치(100)는 영상 프레임으로부터 모션 특성과 깊이 특성을 판단하고, 모션 특성 및 깊이 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 또한, 디스플레이 장치(100)는 모션 특성의 분석과 깊이 특성의 분석을 동시에 병렬적으로 수행할 수 있다.
도 11는 일 실시예에 의한 디스플레이 장치의 동작의 다른 일 예를 도시한다.
도 11와 함께 디스플레이 장치(100)의 동작(1200)이 설명된다.
디스플레이 장치(100)는 데이터 스트림을 수신한다(1210).
동작 1210은 도 5에 도시된 동작 1010과 동일할 수 있다.
디스플레이 장치(100)는 조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작은지를 판단한다(1220).
디스플레이 장치(100)는 주변의 조도를 감지하는 조도 센서(121)를 포함할 수 있으며, 조도 센서(121)의 감지 결과는 제어부(130)를 통하여 영상 처리부(160)로 제공될 수 있다.
영상 처리부(160)는 조도 센서(121)에 의하여 감지된 조도값과 기준 조도값을 비교하고, 조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작은지를 판단할 수 있다.
조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작으면(1220의 예), 디스플레이 장치(100)는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다(1270).
조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작으면, 디스플레이 장치(100)는 프레임 레이트 저감을 선택할 수 있다.
사람의 눈은 일반적으로 어두운 곳에서 시각 정보의 변화에 둔감한 것으로 알려져 있다. 다시 말해, 어두운 곳에서 사용자는 영상 프레임의 빠른 변화를 잘 인지하지 못한다. 따라서, 영상 처리부(160)는 디스플레이 장치(100)가 고화질의 영상을 표시하도록 프레임 레이트 저감을 선택할 수 있다.
조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작지 않으면(1220의 아니오), 디스플레이 장치(100)는 컨텐츠의 특성을 판단하고(1230), 비디오를 디코딩하고(1240), 모션 특성 및 깊이 특성을 판단하고(1250), 영상 특성을 판단한다(1260).
동작 1230, 1240, 1250, 및 1260은 각각 동작 1020, 1030, 1040, 및 1050과 동일할 수 있다.
이후, 디스플레이 장치(100)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다(1270).
영상 처리부(160)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다.
이상에서 설명된 바와 같이, 디스플레이 장치(100)는 사용자의 시청 환경에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 디스플레이 장치(100) 주변의 조도값이 미리 정해진 조도값보다 작으면 디스플레이 장치(100)는 프레임 레이트 저감을 선택할 수 있다.
이상에서는 디스플레이 장치(100)가 컨텐츠의 특성과 영상의 모션 특성 및 깊이 특성과 사용자의 시청 환경에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하는 것이 설명되었다.
이하에서는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나에 따른 디스플레이 장치(100)의 동작이 설명된다.
도 12는 일 실시예에 의한 디스플레이 장치의 비디오 해상도 저감과 프레임 레이트 저감에 따른 동작을 도시한다. 도 13은 도 12에 도시된 비디오 해상도 저감에서 영상을 디코딩하는 일 예를 도시한다. 도 14은 도 12에 도시된 프레임 레이트 저감에서 영상을 디코딩하는 일 예를 도시한다.
도 12, 도 13 및 도 14와 함께, 디스플레이 장치(100)의 동작(1300)이 설명된다.
디스플레이 장치(100)는 데이터 스트림을 수신한다(1310).
동작 1310은 도 5에 도시된 동작 1010과 동일할 수 있다. 통신부(150)는 비디오 서비스 서버(2)로부터 데이터 스트림을 수신할 수 있으며, 수신된 데이터 스트림을 영상 처리부(160)로 출력할 수 있다. 영상 처리부(160)는 통신부(150)로부터 데이터 스트림을 수신한다.
디스플레이 장치(100)는 메타 데이터를 분석한다(1320).
영상 처리부(160)는 데이터 스트림을 수신하는 중에 데이터 스트림에 포함된 메타 데이터를 추출하고, 메타 데이터를 분석할 수 있다.
메타 데이터는 컨텐츠에 관한 메타 데이터, 비디오에 관한 메타 데이터 및 오디오에 관한 메타 데이터를 포함할 수 있다. 비디오에 관한 메타 데이터는 비디오의 인코딩 코덱(codec), 비디오의 비디오 해상도, 비디오의 프레임 레이트 등의 정보를 포함할 수 있다.
영상 처리부(160)는 특히 메타 데이터 중에 비디오의 비디오 해상도와 비디오의 프레임 레이트에 관한 정보를 추출할 수 있다.
디스플레이 장치(100)는 수신 중인 비디오의 비디오 해상도 저하 여부를 판단한다(1330).
네트워크의 트래픽이 증가되면 비디오 서비스 서버(2)는 끊김없이 비디오 서비스를 제공하기 위하여 비디오 해상도가 감소된 비디오를 전송하거나 프레임 레이트가 감소된 비디오를 전송할 수 있다. 특히, 디스플레이 장치(100)로부터 비디오 해상도 저감 신호를 수신하면 비디오 서비스 서버(2)는 네트워크의 트래픽의 증가에 응답하여 비디오 해상도가 감소된 비디오를 전송한다.
디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 수신된 데이터 스트림에 포함된 메타 데이터를 기초로 비디오 해상도의 감소 여부를 판단할 수 있다. 구체적으로, 영상 처리부(160)는 메타 데이터에 포함된 비디오 해상도에 관한 정보를 기초로 비디오 서비스 서버(2)로부터 수신되는 비디오의 비디오 해상도 저하 여부를 판단할 수 있다.
예를 들어, 영상 처리부(160)는 데이터 스트림을 수신하는 중에 메타 데이터에 포함된 비디오 해상도를 메모리에 저장할 수 있다. 또한, 영상 처리부(160)는 메모리에 저장된 비디오 해상도와 현재 비디오의 비디오 해상도를 비교할 수 있다. 현재 비디오의 비디오 해상도가 저장된 비디오 해상도보다 작고 저장된 비디오 해상도와 현재 비디오의 비디오 해상도 사이의 차이가 미리 정해진 오차 범위보다 크면 영상 처리부(160)는 비디오의 비디오 해상도 저하를 판단할 수 있다.
다른 예로, 영상 처리부(160)는 현재 비디오의 비디오 해상도와 사전에 정해진 기준 비디오 해상도를 비교할 수 있다. 기준 비디오 해상도는 디스플레이 장치(100)가 현재 수신 중에 컨텐츠를 비디오 서비스 서버(2)로부터 최초로 수신할 때 설정될 수 있다. 예를 들어, 비디오 서비스 서버(2)는 현재 전송 중인 컨텐츠의 기준 비디오 해상도를 디스플레이 장치(100)에 고지할 수 있다. 현재 비디오의 비디오 해상도가 기준 비디오 해상도보다 작으면 영상 처리부(160)는 비디오의 비디오 해상도 저하를 판단할 수 있다.
비디오의 비디오 해상도 저하가 판단되면(1330의 예), 디스플레이 장치(100)는 영상의 비디오 해상도를 보완한다(1340).
영상 처리부(160)는 비디오 해상도의 저하에 응답하여 비디오 해상도 저하를 보완하기 위하여 비디오 해상도가 증가된 영상 프레임을 생성할 수 있다. 구체적으로, 영상 처리부(160)는 '현재 영상 프레임'을 기치로 비디오 해상도가 향상된 '보완 영상 프레임'을 생성하고, '현재 영상 프레임' 대신 '보완 영상 프레임'을 출력할 수 있다.
예를 들어, 도 13에 도시된 바와 같이 영상 처리부(160)는 데이터 스트림의 영상 프레임 1을 임시 영상 프레임 1로 디코딩할 수 있으며, 데이터 스트림의 영상 프레임 2를 임시 영상 프레임 2로 디코딩할 수 있다. 이때, 데이터 스트림의 영상 프레임들의 비디오 해상도는 기준 비디오 해상도의 절반에 해당할 수 있다.
영상 처리부(160)는 디코딩된 임시 영상 프레임 1으로부터 비디오 해상도가 증가된 영상 프레임 1을 생성할 수 있다. 영상 프레임의 비디오 해상도를 증가시키기 위하여 영상 처리부(160)는 내삽(interpolation)을 이용할 수 있다. 예를 들어, 기존 영상 프레임의 픽셀들 사이에 새로운 픽셀을 생성하고, 새로운 픽셀의 밝기 및 색상은 인접한 기존 픽섹들의 밝기 및 색상들의 평균값을 정할 수 있다. 그 결과, 새로운 영상 프레임의 비디오 해상도는 기존의 영상 프레임의 비디오 해상도의 2배가 될 수 있다. 또한, 영상 처리부(160)는 디코딩된 임시 영상 프레임 1을 대신하여 비디오 해상도가 증가된 영상 프레임 1을 출력할 수 있다.
영상 처리부(160)는 디코딩된 임시 영상 프레임 2로부터 비디오 해상도가 증가된 영상 프레임 1를 생성하고, 디코딩된 임시 영상 프레임 2를 대신하여 비디오 해상도가 증가된 영상 프레임 2를 출력할 수 있다.
같은 방식으로 영상 처리부(160)는 비디오 해상도가 증가된 영상 프레임 3, 4, …, 11을 생성하고, 디코딩된 영상 프레임들을 대신하여 비디오 해상도가 증가된 영상 프레임 3, 4, …, 11을 출력할 수 있다.
비디오의 비디오 해상도 저하가 판단되지 아니하면(1330의 아니오), 디스플레이 장치(100)는 수신 중인 비디오의 프레임 레이트 저하 여부를 판단한다(1350).
네트워크의 트래픽이 증가되면 비디오 서비스 서버(2)는 끊김없이 비디오 서비스를 제공하기 위하여 비디오 해상도가 감소된 비디오를 전송하거나 프레임 레이트가 감소된 비디오를 전송할 수 있다. 특히, 디스플레이 장치(100)로부터 프레임 레이트 저감 신호를 수신하면 비디오 서비스 서버(2)는 네트워크의 트래픽의 증가에 응답하여 프레임 레이트가 감소된 비디오를 전송한다.
디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 수신된 데이터 스트림에 포함된 메타 데이터를 기초로 프레임 레이트의 감소 여부를 판단할 수 있다. 구체적으로, 영상 처리부(160)는 메타 데이터에 포함된 프레임 레이트에 관한 정보를 기초로 비디오 서비스 서버(2)로부터 수신되는 비디오의 프레임 레이트 저하 여부를 판단할 수 있다.
예를 들어, 영상 처리부(160)는 데이터 스트림을 수신하는 중에 메타 데이터에 포함된 프레임 레이트를 메모리에 저장할 수 있다. 또한, 영상 처리부(160)는 메모리에 저장된 프레임 레이트와 현재 비디오의 프레임 레이트를 비교할 수 있다. 현재 비디오의 프레임 레이트가 저장된 프레임 레이트보다 작고 저장된 프레임 레이트와 현재 비디오의 프레임 레이트 사이의 차이가 미리 정해진 오차 범위보다 크면 영상 처리부(160)는 비디오의 프레임 레이트 저하를 판단할 수 있다.
다른 예로, 영상 처리부(160)는 현재 비디오의 프레임 레이트와 사전에 정해진 기준 프레임 레이트를 비교할 수 있다. 기준 프레임 레이트는 디스플레이 장치(100)가 현재 수신 중에 컨텐츠를 비디오 서비스 서버(2)로부터 최초로 수신할 때 설정될 수 있다. 예를 들어, 비디오 서비스 서버(2)는 현재 전송 중인 컨텐츠의 기준 프레임 레이트를 디스플레이 장치(100)에 고지할 수 있다. 현재 비디오의 프레임 레이트가 기준 프레임 레이트보다 작으면 영상 처리부(160)는 비디오의 프레임 레이트 저하를 판단할 수 있다.
비디오의 프레임 레이트 저하가 판단되면(1350의 예), 디스플레이 장치(100)는 프레임 레이트를 보완한다(1360).
영상 처리부(160)는 프레임 레이트의 저하에 응답하여 프레임 레이트 저하를 보완하기 위한 영상 프레임을 생성하고, 디코딩된 영상 프레임들 사이에 생성된 영상 프레임을 삽입할 수 있다. 구체적으로, 영상 처리부(160)는 '과거 영상 프레임'을 기초로 '보완 영상 프레임'을 생성하고, '보완 영상 프레임'을 '과거 영상 프레임'과 '현재 영상 프레임' 사이에 삽입할 수 있다.
예를 들어, 도 14에 도시된 바와 같이 영상 처리부(160)는 데이터 스트림의 영상 프레임 1을 출력 영상의 영상 프레임 1로 디코딩할 수 있으며, 데이터 스트림의 영상 프레임 2를 출력 영상의 영상 프레임 2로 디코딩할 수 있다. 이때, 데이터 스트림의 영상 프레임 1과 영상 프레임 2의 시간 간격은 기준 프레임 레이트(F)에 의한 시간 간격(1/F)의 2배(2/F)일 수 있다.
영상 처리부(160)는 출력 영상의 영상 프레임 1.5를 생성할 수 있다. 영상 프레임 1.5는 영상 프레임 1과 동일한 영상 프레임이거나, 영상 프레임 1과 영상 프레임 2의 내삽(interpolation)에 의하여 생성될 수 있다. 영상 처리부(160)는 영상 프레임 1을 출력한 이후, 영상 프레임 1.5를 하고, 영상 처리부(160)는 영상 프레임 2를 출력할 수 있다.
또한, 영상 처리부(160)는 출력 영상의 영상 프레임 2.5를 생성할 수 있다. 영상 프레임 2.5는 영상 프레임 2와 동일한 영상 프레임이거나, 영상 프레임 2와 영상 프레임 3의 내삽에 의하여 생성될 수 있다. 영상 처리부(160)는 영상 프레임 2를 출력한 이후, 영상 프레임 2.5를 출력하고, 영상 프레임 3을 출력할 수 있다.
같은 방식으로 영상 처리부(160)는 영상 프레임 3.5, 영상 프레임 4.5 및 영상 프레임 5.5를 각각 생성하고, 영상 프레임 3.5를 영상 프레임 3와 영상 프레임 4 사이에 삽입하고 영상 프레임 4.5를 영상 프레임 4와 영상 프레임 5 사이에 삽입하고 영상 프레임 5.5를 영상 프레임 5와 영상 프레임 6 사이에 삽입할 수 있다.
비디오의 프레임 레이트 저하가 판단되지 아니하면(1350의 아니오), 디스플레이 장치(100)는 디코딩된 영상 프레임들을 출력한다(1370).
비디오 해상도가 보완되거나 프레임 레이트가 보완된 이후도 디스플레이 장치(100)는 디코딩된 영상 프레임들을 출력할 수 있다.
영상 처리부(160)는 디코딩되거나 보완된 영상 프레임을 영상 표시부(170)로 전송할 수 있다. 영상 표시부(170)는 영상 처리부(160)로부터 수신된 영상 프레임을 디스플레이 패널(172)에 표시할 수 있다.
이상에서 설명된 바와 같이, 비디오 서비스 서버(2)로부터 비디오 해상도가 저감된 비디오가 수신되면 디스플레이 장치(100)는 영상 프레임의 비디오 해상도를 증가시키고 비디오 해상도가 증가된 영상 프레임을 출력할 수 있다. 또한, 비디오 서비스 서버(2)로부터 프레임 레이트가 저감된 비디오가 수신되면 디스플레이 장치(100)는 영상 프레임을 삽입함으로써 프레임 레이트가 증가된 영상 프레임을 출력할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고 상기 비디오 서비스 서버로 데이터를 전송하는 통신부;
    상기 비디오 컨텐츠를 디코딩하고, 영상 프레임을 출력하는 영상 처리부; 및
    상기 영상 프레임을 표시하는 영상 표시부를 포함하고,
    상기 영상 처리부는, 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 영상 처리부는 상기 비디오 컨텐츠의 메타 데이터를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 영상 처리부는 상기 영상 프레임의 모션 벡터들을 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 모션 벡터들의 크기가 미리 정해진 기준값보다 작으면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  5. 제3항에 있어서,
    상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위 이내에 분포하면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  6. 제3항에 있어서,
    상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위를 벗어나 분포하면 상기 영상 처리부는 상기 해상도 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 영상 처리부는 상기 영상 프레임의 깊이 지도를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 디스플레이 장치 주변의 조도를 측정하는 조도 센서를 더 포함하고,
    상기 영상 처리부는 상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  11. 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고;
    상기 비디오 컨텐츠를 영상 프레임으로 디코딩하고;
    상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하고;
    상기 영상 프레임을 표시하는 것을 포함하는 디스플레이 방법.
  12. 제11항에 있어서,
    상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중 어느 하나를 전송하는 것은,
    상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어도 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 것을 포함하는 디스플레이 방법.
  13. 제11항에 있어서,
    상기 디스플레이 장치의 주변 조도를 측정하고;
    상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 것을 더 포함하는 디스플레이 방법.
  14. 제11항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 것을 더 포함하는 디스플레이 방법.
  15. 제11항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 것을 더 포함하는 디스플레이 방법.
PCT/KR2018/005779 2017-07-21 2018-05-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템 WO2019017579A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18835036.7A EP3637785A4 (en) 2017-07-21 2018-05-21 DISPLAY DEVICE, DISPLAY METHOD AND DISPLAY SYSTEM
CN201880047854.1A CN110915225A (zh) 2017-07-21 2018-05-21 显示设备、显示方法和显示系统
US16/632,674 US11284132B2 (en) 2017-07-21 2018-05-21 Display apparatus, display method, and display system
US17/665,502 US20220174340A1 (en) 2017-07-21 2022-02-05 Display apparatus, display method, and display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0092468 2017-07-21
KR1020170092468A KR102383117B1 (ko) 2017-07-21 2017-07-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/632,674 A-371-Of-International US11284132B2 (en) 2017-07-21 2018-05-21 Display apparatus, display method, and display system
US17/665,502 Continuation US20220174340A1 (en) 2017-07-21 2022-02-05 Display apparatus, display method, and display system

Publications (1)

Publication Number Publication Date
WO2019017579A1 true WO2019017579A1 (ko) 2019-01-24

Family

ID=65015590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005779 WO2019017579A1 (ko) 2017-07-21 2018-05-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템

Country Status (5)

Country Link
US (2) US11284132B2 (ko)
EP (1) EP3637785A4 (ko)
KR (1) KR102383117B1 (ko)
CN (1) CN110915225A (ko)
WO (1) WO2019017579A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466202A (zh) * 2020-11-06 2022-05-10 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978415B2 (en) * 2019-11-13 2024-05-07 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR102359367B1 (ko) * 2020-04-07 2022-02-07 주식회사 엔씨소프트 게임 스트리밍을 위한 방법 및 장치
CN112135190B (zh) * 2020-09-23 2022-08-16 成都市喜爱科技有限公司 视频处理方法、装置、系统、服务器及存储介质
KR20220116966A (ko) * 2021-02-16 2022-08-23 삼성전자주식회사 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치
CN115695853A (zh) * 2021-07-23 2023-02-03 伊姆西Ip控股有限责任公司 视频处理方法、电子设备和计算机程序产品
CN114584835B (zh) * 2022-02-10 2024-04-02 百果园技术(新加坡)有限公司 一种视频处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775092A (ja) * 1993-07-14 1995-03-17 Hitachi Ltd ディジタル動画圧縮装置およびこれを用いたリアルタイム動画通信システム
KR20050055820A (ko) * 2003-12-09 2005-06-14 한국전자통신연구원 실시간 트리밍 서비스 장치
KR20090001094A (ko) * 2007-06-29 2009-01-08 포스데이타 주식회사 영상 파일 생성 장치 및 방법
KR20140006102A (ko) * 2011-05-11 2014-01-15 알까뗄 루슨트 후속 적용들을 용이하게 하기 위해 비디오 이미지 파라미터들을 동적으로 적응시키기 위한 방법
KR20140117237A (ko) * 2013-03-25 2014-10-07 삼성전자주식회사 복수 개의 단말기들 간의 화면 공유시 ＱｏＥ(Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ)를 향상시키기 위한 방법, 장치 및 기록 매체
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
US20150195625A1 (en) * 2012-10-10 2015-07-09 Fujitsu Limited Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284148A (ja) * 1993-03-30 1994-10-07 Hitachi Ltd 動画通信制御方法及び通信制御装置
US20030174243A1 (en) * 2002-03-13 2003-09-18 Arbeiter James Henry Network streaming system for providing a user with data defining imagecontent at a resolution that may be determined by the user
US20040032906A1 (en) * 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
CN100375094C (zh) * 2005-08-23 2008-03-12 萧学文 实现移动终端搜索网络资源的系统及方法
US8472623B2 (en) * 2006-06-29 2013-06-25 Kyocera Corporation Content data, transmitting apparatus, receiving apparatus and decoding method
US7995515B2 (en) * 2006-10-03 2011-08-09 Viasat, Inc. Upstream resource optimization
US20100050221A1 (en) * 2008-06-20 2010-02-25 Mccutchen David J Image Delivery System with Image Quality Varying with Frame Rate
JP2010122609A (ja) * 2008-11-21 2010-06-03 Canon Inc 表示制御装置及び表示制御方法
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
JP2011066790A (ja) * 2009-09-18 2011-03-31 Pioneer Electronic Corp 画像記録装置及び画像再生装置
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
JP2014082731A (ja) * 2012-09-26 2014-05-08 Jvc Kenwood Corp 動画像データ処理装置及び動画像データ処理方法
WO2014157889A1 (en) * 2013-03-25 2014-10-02 Samsung Electronics Co., Ltd. Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof
CN104284139B (zh) * 2013-07-05 2017-09-01 深圳市江波龙电子有限公司 网络视频设备及其视频传输控制系统和方法
EP3800893B1 (en) 2013-07-11 2023-09-06 Dejero Labs Inc. Systems and methods for transmission of data streams
CN104580969A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 录像帧率调整方法和装置
JP6264119B2 (ja) * 2014-03-20 2018-01-24 株式会社Ｊｖｃケンウッド 映像信号処理装置及び方法
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775092A (ja) * 1993-07-14 1995-03-17 Hitachi Ltd ディジタル動画圧縮装置およびこれを用いたリアルタイム動画通信システム
KR20050055820A (ko) * 2003-12-09 2005-06-14 한국전자통신연구원 실시간 트리밍 서비스 장치
KR20090001094A (ko) * 2007-06-29 2009-01-08 포스데이타 주식회사 영상 파일 생성 장치 및 방법
KR20140006102A (ko) * 2011-05-11 2014-01-15 알까뗄 루슨트 후속 적용들을 용이하게 하기 위해 비디오 이미지 파라미터들을 동적으로 적응시키기 위한 방법
US20150195625A1 (en) * 2012-10-10 2015-07-09 Fujitsu Limited Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data
KR20140117237A (ko) * 2013-03-25 2014-10-07 삼성전자주식회사 복수 개의 단말기들 간의 화면 공유시 ＱｏＥ(Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ)를 향상시키기 위한 방법, 장치 및 기록 매체
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3637785A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466202A (zh) * 2020-11-06 2022-05-10 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
CN114466202B (zh) * 2020-11-06 2023-12-12 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质

Also Published As

Publication number Publication date
KR20190010129A (ko) 2019-01-30
CN110915225A (zh) 2020-03-24
US11284132B2 (en) 2022-03-22
EP3637785A4 (en) 2020-07-15
EP3637785A1 (en) 2020-04-15
US20220174340A1 (en) 2022-06-02
KR102383117B1 (ko) 2022-04-06
US20210168419A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
WO2019017579A1 (ko) 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
WO2015174753A1 (en) Content output apparatus, mobile apparatus, and controlling methods thereof
EP3138300A1 (en) Content output apparatus, mobile apparatus, and controlling methods thereof
WO2016013902A1 (en) Image photographing apparatus and image photographing method
WO2010151049A2 (en) Method and apparatus for automatic transformation of three-dimensional video
WO2019035657A1 (en) IMAGE DISPLAY APPARATUS
WO2015111833A1 (ko) 가상 광고 제공 장치 및 방법
WO2015046747A1 (ko) Tv 및 그 동작 방법
WO2017034155A1 (en) Method, apparatus and system for inserting watermark data
WO2015108341A1 (en) Display device, driver of the display device, electronic device including the display device and the driver, and display system
WO2016190691A1 (en) Display apparatus and control method thereof
WO2019088584A1 (ko) 디스플레이 장치 및 디스플레이 시스템
WO2019117460A1 (ko) 웨어러블 디스플레이 장치 및 그 제어 방법
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2016035983A1 (ko) 영상제공장치, 및 그 동작방법
WO2020171657A1 (en) Display device and image display method of the same
WO2015060523A1 (ko) 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
WO2019112182A1 (ko) 디스플레이 장치 및 음향 출력 방법
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2021149997A1 (en) Display apparatus and operating method thereof
WO2021241978A1 (ko) 멀티 레이어 기반 영상 코딩 장치 및 방법
WO2021246840A1 (ko) 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법
WO2016200078A1 (ko) 멀티미디어 컨텐츠를 공유하는 방법 및 장치
WO2022025343A1 (en) Organic light-emitting diode display device and operating method thereof
WO2019093801A1 (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18835036

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018835036

Country of ref document: EP

Effective date: 20200110