WO2022239887A1 - A/v 전송 장치 및 a/v 수신 장치 - Google Patents

A/v 전송 장치 및 a/v 수신 장치 Download PDF

Info

Publication number
WO2022239887A1
WO2022239887A1 PCT/KR2021/005993 KR2021005993W WO2022239887A1 WO 2022239887 A1 WO2022239887 A1 WO 2022239887A1 KR 2021005993 W KR2021005993 W KR 2021005993W WO 2022239887 A1 WO2022239887 A1 WO 2022239887A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
transmission device
processor
rate
complexity
Prior art date
Application number
PCT/KR2021/005993
Other languages
English (en)
French (fr)
Inventor
남연오
이명영
강석판
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2021/005993 priority Critical patent/WO2022239887A1/ko
Priority to KR1020237027410A priority patent/KR20230133326A/ko
Priority to US18/551,373 priority patent/US20240171787A1/en
Priority to EP21942035.3A priority patent/EP4297412A1/en
Publication of WO2022239887A1 publication Critical patent/WO2022239887A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Definitions

  • the present disclosure relates to a wireless display system for wirelessly transmitting and receiving A/V data.
  • SD Standard-Definition
  • HD Hi-Definition
  • SD supports a resolution of 704 ⁇ 480 and consists of about 350,000 pixels
  • HD is divided into HD and Full HD.
  • Full HD supports a resolution of 1920 ⁇ 1080 and has 2 million pixels It is configured to provide a high-quality image considerably compared to the SD.
  • UHD Ultra High-Definition
  • UHD Ultra High-Definition
  • the UHD supports 4K (3840 ⁇ 2160) and 8K (7680 ⁇ 4320) resolutions and up to 22.2 channels of surround audio.
  • Such UHD provides 4 times clearer picture quality compared to the HD, even on the basis of 4K UHD, and 8K UHD provides 16 times clearer picture quality compared to the HD.
  • a wireless display system is a system that transmits and receives A/V data between an A/V transmission device and an A/V reception device through a local area network.
  • the A/V receiving device displays A/V data received from the A/V transmitting device.
  • serious deterioration may occur in an image displayed by the A/V receiving device.
  • the A/V transmission device when the network environment deteriorates, the A/V transmission device must compress and transmit image data to a high level. At this time, it is difficult to restore the high-frequency components of the video in the A/V receiving device, and depending on circumstances, serious degradation may occur.
  • An object of the present disclosure is to efficiently display an image according to a network environment that changes in real time in a wireless display system.
  • An object of the present disclosure is to efficiently compress an image by intentionally degrading the image quality when the network environment deteriorates.
  • An object of the present disclosure is to minimize image degradation in a network environment that changes in real time.
  • An object of the present disclosure is to be able to transmit an image adaptively by simultaneously considering the complexity of the image and the network environment.
  • An A/V transmission device obtains network state information, determines a compression rate of an original video and values of one or more quality factors based on the obtained network state information, and determines values of one or more quality factors determined.
  • the image signal processed according to the values may be compressed with the determined compression rate, and the compressed image may be transmitted to the A/V receiver.
  • An A/V receiving device receives a first compressed image obtained by compressing an original image from a display and an A/V transmitting device in a first network state, and has a higher quality than that of the first compressed image in the first network state.
  • An RF receiving module for receiving a second compressed image obtained by compressing the original image in a bad second network state, wherein the original image consists of a black pattern and a white pattern; and reconstructing the first compressed image, displaying the reconstructed first reconstructed image on the display, measuring a first trend along a measurement line connecting one point and another point of the first reconstructed image, and A microcomputer for reconstructing a second compressed image, displaying the reconstructed second reconstructed image on the display, and measuring a second trend along a measurement line connecting one point and another point of the second reconstructed image; ,
  • the second trend may have degraded image characteristics compared to the first trend.
  • stable image output can be guaranteed by deteriorating image quality in a predictable manner in a poor network environment.
  • the user can stably watch the video regardless of the network environment.
  • a video that is easy to compress is not intentionally deteriorated, so that a high-quality video can be transmitted.
  • 1 and 2 are diagrams for explaining the configuration of a display system according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating the configuration of a remote control device according to an embodiment of the present disclosure.
  • 4 and 5 are diagrams illustrating problems that occur when compressing an image according to a network environment according to the prior art.
  • FIG. 6 is a ladder diagram for explaining a method of operating a wireless display system according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a table showing a correlation between a data transmission rate and a compression rate according to an embodiment of the present disclosure.
  • 8 to 10 are graphs illustrating a relationship between a compression rate of an image and a value of an image quality factor affecting image quality of an image.
  • 11 is a diagram comparing transitions of image patterns in two network states, depending on whether an embodiment of the present disclosure is applied.
  • FIG. 12 is a ladder diagram for explaining an operating method of a wireless display system according to another embodiment of the present disclosure.
  • 13 is a diagram for explaining a graph showing a relationship between image complexity and degradation intensity.
  • a video/audio (hereinafter referred to as A/V) transmission device is an intelligent device in which a computer support function is added to a broadcast reception function, for example, and an Internet function is added while being faithful to the broadcast reception function.
  • a handwriting type input device, a touch screen, or a space remote controller, etc. can be equipped with a more user-friendly interface.
  • 1 and 2 are diagrams for explaining the configuration of a wireless display system according to an embodiment of the present disclosure.
  • a wireless display system 1 includes an A/V transmission device 100 and an A/V reception device 200.
  • the A/V transmission device 100 wirelessly transmits A/V data to the A/V reception device 200, and the A/V reception device 200 transmits the A/V data. It can be an output system.
  • the A/V transmission device 100 may be a device capable of encoding video and audio and wirelessly transmitting the encoded content video and audio.
  • the A/V transmission device 100 may be a set-top box.
  • the A/V transmission device 100 may be connected to an external device such as a set-top box or a USB memory.
  • the A/V transmission device 100 may transmit a video signal or an audio signal received from a connected external device to the A/V reception device 200.
  • the A/V receiving device 200 may be a display device capable of wirelessly receiving encoded video and audio and decoding the received video and audio.
  • the A/V transmission device 100 and the A/V reception device 200 may constitute a video wall display system.
  • having a display with a thin bezel plays an important role in visualizing content images.
  • For the thin bezel of the display it is efficient to have only the components that can play the minimum role, and to perform the circuits or components for the main functions in a separate device.
  • the A/V transmission device 100 may determine the type of content video input from the outside, and determine a compression rate of the content video based on the determined type.
  • the compression rate of content video may be defined as the ratio of the size of video data before encoding to the size of video data after encoding.
  • the type of content video may include a still video type, a general video type, and a game video type.
  • the A/V transmission device 100 may compress the content video according to the determined compression rate and wirelessly transmit the compressed content video to the A/V reception device 200 .
  • the A/V receiving device 200 may restore the compressed content image received from the A/V transmitting device 100 and display the restored content image on a display.
  • FIG. 2 is a block diagram illustrating detailed configurations of the A/V transmission device 100 and the A/V reception device 200.
  • the A/V transmission device 100 includes a microphone 110, a Wi-Fi module 120, a Bluetooth module 130, a memory 140, an RF transmission module 150 and a processor 190. can do.
  • the microphone 110 may receive an audio signal and transmit it to the processor 190 .
  • the microphone 110 may receive a voice uttered by a user.
  • the Wi-Fi module 120 may perform wireless communication through the Wi-Fi standard.
  • the Wi-Fi module 120 may perform wireless communication with an external device or the A/V receiving device 200 through the Wi-Fi standard.
  • the Bluetooth module 130 may perform wireless communication through the Bluetooth Low Energy (BLE) standard.
  • BLE Bluetooth Low Energy
  • the Bluetooth module 130 may perform wireless communication with an external device such as a remote controller or the A/V receiving device 200 through Bluetooth Low Energy (BLE) standards.
  • BLE Bluetooth Low Energy
  • the memory 140 may store programs for signal processing and control, and may store signal-processed video, audio, or data signals.
  • the memory 140 may perform a function for temporarily storing video, audio, or data signals input from the outside, and may store information about a predetermined image through a channel storage function.
  • the RF transmission module 150 may transmit the A/V signal to the RF reception module 240 of the A/V reception device 200 through Radio Frequency (RF) communication.
  • RF Radio Frequency
  • the RF transmission module 150 may transmit the compressed A/V signal in digital form to the RF reception module 240 .
  • the RF transmission module 150 may transmit the A/V signal to the RF reception module 240 through one or more channels.
  • the processor 190 may control the overall operation of the A/V transmission device 100.
  • the processor 190 may be configured in the form of a System on Chip (SoC).
  • SoC System on Chip
  • a plurality of processors 190 may be provided.
  • the processor 190 may compress a video signal or an audio signal input from the outside and transmit the compressed signal to the RF transmission module 150 .
  • the processor 190 may include an encoder for compressing a video signal or an audio signal.
  • Processor 190 may be referred to as a main SoC.
  • the processor 190 may have one or more interfaces for connection with external devices.
  • the processor 190 may have one or more HDMI ports and one or more USB ports.
  • the processor 190 may include a tuner that receives broadcast signals.
  • the A/V receiving device 200 includes a Wi-Fi module 210, a Bluetooth module 220, an IR module 230, an RF receiving module 240, a memory 250, a display 260, and a microcomputer 290. can do.
  • the Wi-Fi module 210 may perform wireless communication through the Wi-Fi standard.
  • the Wi-Fi module 120 may perform wireless communication with an external device or the A/V transmission device 100 through the Wi-Fi standard.
  • the Bluetooth module 220 may perform wireless communication through a Bluetooth Low Energy (BLE) standard.
  • BLE Bluetooth Low Energy
  • the Bluetooth module 220 may perform wireless communication with an external device such as a remote controller or the A/V transmission device 200 through Bluetooth Low Energy (BLE) standards.
  • BLE Bluetooth Low Energy
  • the IR module 230 may receive a signal from the remote controller 300 to be described later through IR (Infrared) communication.
  • the RF receiving module 240 may receive an A/V signal from the RF transmitting module 150.
  • the RF receiving module 240 may receive the digital compressed A/V signal from the RF transmitting module 150 and transfer the received A/V signal to the microcomputer 290 .
  • the memory 250 may store programs for signal processing and control, and may store signal-processed video, audio, or data signals.
  • the display 260 may display an image signal received from the microcomputer 290 .
  • the display 260 may display an image signal according to driving of a timing controller (not shown).
  • the microcomputer 290 may control overall operations of the display device 200 .
  • the microcomputer 290 may restore the compressed A/V signal received by the RF receiving module 240.
  • the microcomputer 290 may include a decoder.
  • FIG. 3 is a block diagram illustrating the configuration of a remote control device according to an embodiment of the present disclosure.
  • the remote control device 300 may include a wireless communication interface 310 , a user input interface 330 , a memory 350 and a controller 390 .
  • the wireless communication interface 310 may be an interface for performing wireless communication with the A/V transmission device 100 or the A/V reception device 200.
  • the wireless communication interface 310 may include a Bluetooth Low Energy (BLE) module 311 and an InfraRed (IR) module 313 .
  • BLE Bluetooth Low Energy
  • IR InfraRed
  • the BLE module 311 may transmit a signal for controlling the operation of the A/V transmission device 100 to the A/V transmission device 100.
  • the BLE module 311 may transmit a signal triggering a pairing operation of the A/V transmission device 100 to the A/V transmission device 100.
  • the user input interface 330 may include a keypad, buttons, a touch pad, or a touch screen.
  • the user input interface 330 may generate a control command for controlling the operation of the A/V transmission device 100 or the A/V reception device 200 according to a user's manipulation command.
  • the user input interface 330 includes a hard key button
  • the user can operate the hard key by pushing the hard key button.
  • the user input interface 330 may include various types of input means that the user can manipulate, such as a scroll key or a jog key.
  • the memory 350 may store programs for operating the controller 390 and may temporarily store input/output data.
  • the controller 390 controls operations related to application programs and generally the overall operation of the remote control device 300 .
  • 4 and 5 are diagrams illustrating problems that occur when compressing an image according to a network environment according to the prior art.
  • an original video 410 displayed by the A/V receiving device is shown.
  • the A/V transmission device may detect a network environment and determine a compression rate of an image according to the detected network environment.
  • the A.V transmitting device compresses the video at the determined compression rate and transmits the compressed video to the A/V receiving device.
  • the A/V transmitting device compresses the video with a high compression rate and transmits the compressed video to the A/V receiving device.
  • contour noise 431 like a wave may be generated in the reconstructed image 430 displayed by the A/V receiving device.
  • contour noise 431 a user may feel great discomfort in viewing an image.
  • the restored image 530 includes a noise image 531 indicating that deterioration occurs during restoration due to a high compression rate.
  • FIG. 6 is a ladder diagram for explaining a method of operating a wireless display system according to an embodiment of the present disclosure.
  • the processor 190 of the A/V transmission device 100 obtains network status information (S601).
  • the network state information is about a communication state between the RF transmission module 150 included in the A/V transmission device 100 and the RF reception module 240 included in the A/V reception device 200. information may be included.
  • the network state information may include one or more of data transmission speed and reception sensitivity.
  • the processor 190 of the A/V transmission device 100 may receive network state information from the A/V reception device 200.
  • the microcomputer 290 of the A/V receiver 200 may measure one or more of a data transmission speed and reception sensitivity.
  • the A/V receiving device 200 may include a separate hardware component for measuring one or more of a data transmission speed or reception sensitivity.
  • the microcomputer 290 of the A/V receiving device 200 may transmit the obtained network state information to the A/V transmitting device 100.
  • the micom 290 of the A/V receiving device 200 transmits network state information through any one of the RF transmission module 150, the Wi-Fi module 120, and the Bluetooth module 130 to the A/V transmission device. (100).
  • the processor 190 of the A/V transmission device 100 determines a compression ratio of an image and values of one or more quality factors based on the obtained network state information (S603).
  • the processor 190 of the A/V transmission device 100 may determine a compression rate of an image based on network state information. Then, the processor 190 may determine one or more quality factor values suitable for the determined compression rate.
  • the processor 190 may simultaneously determine a compression ratio of an image and values of one or more image quality factors suitable for network state information.
  • the quality factor may be a factor that affects the quality of an image.
  • the quality factor may be any one of strength of a filter for removing blur or noise, strength of contrast enhancement, sharpness, and resolution.
  • the quality factor may be a factor capable of adjusting a high-frequency component of an image.
  • the processor 190 determines a compression rate of an image according to network state information and determines values of one or more picture quality factors according to the determined compression rate will be described.
  • the processor 190 may determine a compression rate of an image using a table representing a correlation between a data transmission rate and a compression rate.
  • FIG. 7 is a diagram illustrating a table showing a correlation between a data transmission rate and a compression rate according to an embodiment of the present disclosure.
  • the table 700 according to the embodiment of FIG. 7 may be stored in the memory 140 of the A/V transmission device 100.
  • the processor 190 may read a compression rate suitable for the data transmission rate received from the A/V receiving device 200 through the table 700 .
  • the slower the data transmission rate the lower the compression rate may be. That is, the slower the data transmission rate, the higher the magnification of image compression.
  • the processor 190 may determine the compression rate of the video as 1/10.
  • the processor 190 may determine values of one or more quality factors according to the determined compression rate.
  • 8 to 10 are graphs illustrating a relationship between a compression rate of an image and a value of an image quality factor affecting image quality of an image.
  • the first graph 800 of FIG. 8 is a graph showing the correlation between the compression rate of an image and the strength of a filter for removing noise
  • the second graph 900 of FIG. 9 shows the correlation between the compression rate of an image and the contrast value
  • the third graph 1000 of FIG. 10 is a graph showing the correlation between the image compression rate and the sharpness of the image.
  • the first graph 800 or the first function expression representing the first graph 800, the second graph 900 or the second function expression representing the second graph 900, and the third graph 1000 or the third graph 1000 ) may be stored in the memory 140 of the A/V transmission device 100.
  • the horizontal axis of FIGS. 8 to 10 is bit per pixel (bpp), which may be a concept corresponding to a compression magnification or compression rate.
  • the compression rate may represent the size of image data after encoding versus the size of image data before encoding.
  • the compression multiple may indicate the size of image data before encoding compared to the size of image data after encoding.
  • the compression factor and the compression rate are in inverse proportion to each other.
  • the compression ratio may increase and the compression ratio may decrease.
  • the compression ratio decreases and the compression ratio may increase.
  • a first graph 800 illustrating a correspondence relationship between intensities of a filter for removing noise of an image according to bbp values is shown.
  • the filter may be a low pass band filter. That is, the meaning of increasing the intensity of the filter may mean passing video signals of a low frequency band and blocking video signals of a high frequency band.
  • the processor 190 may extract a bbp value corresponding to the determined compression rate using the first graph 800 and determine a filter strength corresponding to the bbp value.
  • the filter strength decreases, and as the bbp value decreases (compression ratio decreases), the filter strength may increase.
  • the bbp value decreases, it means that the network environment is poor, and thus, a high frequency component video signal may be blocked by increasing the strength of the filter.
  • controllable distortion may occur by intentionally degrading the image quality.
  • FIG. 9 a second graph 900 illustrating a correspondence relationship between contrast values according to bbp values is shown.
  • the processor 190 may extract a bbp value corresponding to the determined compression rate using the second graph 900 and determine a contrast value corresponding to the bbp value.
  • the contrast value may increase, and as the bbp value decreases, the contrast value may decrease.
  • the bbp value decreases, it means that the network environment is poor, and thus, intentional distortion of the image may occur by reducing the contrast value.
  • FIG. 10 a third graph 1000 illustrating a correspondence relationship between sharpness intensities according to bbp values is shown.
  • the processor 190 may extract a bbp value corresponding to the determined compression rate using the third graph 1000 and determine a sharpness value corresponding to the bbp value.
  • the sharpness value may increase, and as the bbp value decreases, the sharpness value may decrease.
  • the bbp value decreases, it means that the network environment is poor, so intentional distortion of the image may occur by reducing the degree of sharpness.
  • the processor 190 may adjust one or more of filter strength, contrast value, and sharpness value according to the compression rate of the image.
  • the processor 190 may adjust all of the strength of the filter, the contrast value, and the sharpness value according to the compression rate of the image.
  • the A/V transmission device 100 may adjust values of one or more picture quality factors that determine picture quality according to the compression rate of the video.
  • the A/V transmission device 100 may intentionally deteriorate picture quality and generate predictable and controllable distortion.
  • stable image output can be guaranteed by deteriorating image quality in a predictable manner in a poor network environment.
  • the processor 190 of the A/V transmission device 100 compresses the image for which one or more quality factors have been adjusted with the determined compression rate (S605).
  • the processor 190 may apply values of one or more quality factors to an image signal and compress the image signal to which the values of one or more quality factors are applied with a determined compression rate.
  • the image processor may output a preprocessed image signal obtained by applying values of one or more image quality factors to the image signal.
  • the image processor may be included in the processor 190 or may exist as a separate component.
  • the decoder of the processor 190 may compress the pre-processed video signal with the determined compression rate.
  • the processor 190 of the A/V transmission device 100 transmits the compressed image to the RF reception module 240 of the A/V reception device 200 through the RF transmission module 150 (S607).
  • the microcomputer 290 of the A/V receiving device 200 restores the received compressed video (S609).
  • the microcomputer 290 may restore the received compressed image using a decoder.
  • the micom 290 of the A/V receiver 200 displays the restored image on the display 260 (S611).
  • the microcomputer 290 outputs the restored image to the display 260, and the display 260 can display the image.
  • 11 is a diagram comparing transitions of image patterns in two network states, depending on whether an embodiment of the present disclosure is applied.
  • FIG. 11 is a diagram for generating an image pattern 1100 that is simple enough not to be affected even in a state where a high compression ratio is applied and comparing the trend of degraded patterns according to the network environment.
  • the compression ratio may be 20 times, but this is only an example.
  • the image pattern 1100 may include a black pattern 1110 and a white pattern 1130 .
  • the black pattern 1110 may occupy the left half of the entire area of the image pattern 1100, and the white pattern 1130 may occupy the right half of the entire area of the image pattern 1100.
  • the processor 190 of the A/V transmission device 100 may compress the image pattern 1100 at a predetermined compression rate and transmit the compressed image to the A/V reception device 200.
  • the micom 290 of the A/V receiver 200 may restore the compressed image and display the restored image through the display 260 .
  • the microcomputer 290 may measure brightness or luminance along a line corresponding to the measurement line 1150 .
  • the microcomputer 290 may include a known brightness or luminance measuring device.
  • a device for measuring brightness or luminance may be provided separately.
  • the measurement line 1150 may be a line through which a change in luminance or brightness change from point A to point B is measured.
  • Each of point A and point B may be a point where a pixel of the display 260 is located.
  • a smooth network state may be a case where the data transmission rate is higher than the standard rate, and a poor network state may be a case where the data transmission rate is less than the standard rate.
  • the first trend graph 1170 shows a change in brightness or luminance measured along the measurement line 1150 in a seamless network state.
  • a second trend graph 1190 shows a change in brightness or luminance along the measurement line 1150 in a poor network condition.
  • An x-axis of each of the first trend graph 1170 and the second trend graph 1190 may represent a position of a measurement point, and a y-axis may represent brightness or luminance.
  • An embodiment of the present invention is an embodiment in which values of one or more picture quality factors are adjusted according to network state information.
  • the second trend graph 1190 is compared with the first trend graph 1170.
  • the brightness or luminance measured in the black pattern 1110 may be higher than when the embodiment of the present invention is not applied.
  • the brightness or luminance measured in the white pattern 1130 may be smaller than when the embodiment of the present invention is not applied.
  • FIG. 12 is a ladder diagram for explaining an operating method of a wireless display system according to another embodiment of the present disclosure.
  • FIG. 12 is an embodiment of determining one or more picture quality factors in consideration of complexity of an image in addition to a network state.
  • the processor 190 of the A/V transmission device 100 acquires the complexity of an image (S1201).
  • the complexity of an image may be expressed as a sum of high frequency components constituting the image. Specifically, the complexity of an image may be expressed as the number of pixels classified as high-frequency components among the total number of pixels.
  • the complexity of an image may increase as the number of pixels classified as high-frequency components increases.
  • 13 is a diagram for explaining a graph showing a relationship between image complexity and degradation intensity.
  • a graph 1300 may indicate that the intensity of degradation of an image increases as the complexity of the image increases.
  • An increase in the complexity of an image may mean that there are many high-frequency components in the image.
  • the processor 190 of the A/V transmission device 100 determines whether the acquired complexity is greater than or equal to a reference complexity (S1203).
  • the processor 190 may determine that the complexity of the image is equal to or greater than the reference complexity when the number of pixels classified as high frequency components among all pixels is equal to or greater than the reference number.
  • the processor 190 may determine that the complexity of the image is less than the reference complexity when the number of pixels classified as high frequency components among all pixels is less than the reference number.
  • the processor 190 of the A/V transmission device 100 obtains network state information when the obtained complexity is greater than or equal to the reference complexity (S1205).
  • the processor 190 may determine values of one or more quality factors by using network state information when the complexity of the image is greater than or equal to the reference complexity.
  • the complexity of the video is less than the reference complexity, that is, the video having a low video complexity is not deteriorated, so that a high-quality video can be transmitted to the A/V receiving device 200 .
  • the processor 190 of the A/V transmission device 100 determines a compression rate of an image and values of one or more quality factors based on the obtained network state information (S1207).
  • the processor 190 of the A/V transmission device 100 compresses the image for which one or more quality factors are adjusted with the determined compression rate (S1209).
  • the processor 190 of the A/V transmission device 100 transmits the compressed image to the RF reception module 240 of the A/V reception device 200 through the RF transmission module 150 (S1211).
  • the microcomputer 290 of the A/V receiving device 200 restores the received compressed video (S1213).
  • the micom 290 of the A/V receiver 200 displays the restored image on the display 260 (S1215).
  • the processor 190 of the A/V transmission device 100 determines the compression rate of the video regardless of network conditions (S1217).
  • the processor 190 may determine the compression rate of the video based on the type of video without considering the network state.
  • the type of video may be any one of a game video and a general video.
  • the compression rate of game videos may be smaller than that of general videos.
  • the processor 190 of the A/V transmission device 100 transmits the image compressed with the determined compression rate to the A/V reception device 200 through the RF transmission module 150 (S1219).
  • the A/V transmission device 100 can transmit a high-quality video to the A/V reception device 200 without degrading the video.
  • the microcomputer 290 of the A/V receiving device 200 restores the received compressed video (S1221).
  • the micom 290 of the A/V receiver 200 displays the restored image on the display 260 (S1223).
  • the intensity of degradation may be adaptively adjusted according to the complexity of the image as well as the network state. That is, even if the network condition is poor, an image that is easy to compress is not intentionally deteriorated, so that a high-quality image can be transmitted.
  • the image pattern 1400 of FIG. 14 may include a black pattern 1410, a white pattern 1420, and a background pattern 1430.
  • the background pattern 1430 may be a pattern added to consider the complexity of the image.
  • the measurement line 1401 may be a line for measuring luminance or change in brightness from point A to point B.
  • Each of point A and point B may be a point where a pixel of the display 260 is located.
  • Each of the first trend graph 1450 and the second trend graph 1470 may be a graph showing a change in brightness or luminance along the measurement line 1401 .
  • An x-axis of each of the first trend graph 1450 and the second trend graph 1470 may represent a position of a measurement point, and a y-axis may represent brightness or luminance.
  • the pattern of the background pattern 1430 may be changed from a low-complexity pattern to a high-complexity pattern.
  • the first trend graph 1450 in which only the network state is considered and the second trend graph 1470 in which complexity and network state are simultaneously considered may be different.
  • the second trend graph 1470 is a result of measurement without adjusting the image quality factors because the complexity of the image is less than the reference complexity, according to an embodiment of the present disclosure.
  • a trend graph in which only the network state is considered and a trend graph in which complexity and network state are simultaneously considered may be the same.
  • the above-described method can be implemented as a processor-readable code in a medium on which a program is recorded.
  • media readable by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.
  • the A/V transmission device described above is not limited to the configuration and method of the above-described embodiments, but all or part of each embodiment is selectively combined so that various modifications can be made. may be configured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시의 실시 예에 따른 A/V 전송 장치는 A/V 수신 장치에 영상 데이터를 전송하는 RF 송신 모듈 및 네트워크 상태 정보를 획득하고, 획득된 네트워크 상태 정보에 기초하여, 원본 영상의 압축률 및 하나 이상의 화질 팩터들의 값들을 결정하고, 결정된 하나 이상의 화질 팩터들의 값들에 따라 처리된 영상 신호를 상기 결정된 압축률로 압축하고, 압축된 압축 영상을 상기 RF 송신 모듈을 통해, 상기 A/V 수신 장치에 전송하는 프로세서를 포함할 수 있다.

Description

A/V 전송 장치 및 A/V 수신 장치
본 개시는 무선으로 A/V 데이터를 송수신하는 무선 디스플레이 시스템에 관한 것이다.
영상 기술이 아날로그방식에서 디지털 방식으로 변화하면서 더 실제화면과 가까운 영상을 제공하기 위해 SD(Standard-Definition)에서 HD(Hi-Definition)로 발전해왔다. SD는 704×480의 해상도를 지원하고 35만 픽셀 정도로 구성되어 있으며, HD는 HD와 Full HD로 구분되어 이 중 더 높은 해상도를 지원하는 Full HD의 경우 1920×1080의 해상도를 지원하며 200만 픽셀로 구성되어 상기 SD에 비해 상당한 고화질의 영상을 제공한다.
최근의 영상 기술은 상기 Full HD를 넘어 UHD(Ultra High-Definition)로 한 단계 더 성장해가고 있으며, 초고화질 및 초고해상도를 지원하는 상기 UHD는 차세대 미디어 환경으로 각광받고 있다. 상기 UHD는 4K(3840×2160)과 8K(7680×4320) 해상도와 최대 22.2 채널의 서라운드 오디오를 지원한다. 이와 같은 UHD는 상기 HD와 비교해 4K UHD 기준으로 보더라도 4배 더 선명한 화질을 제공하며, 8K UHD의 경우 상기 HD에 비해 16배나 더 선명한 화질을 제공한다.
최근에는 이러한 고 해상도의 영상을 무선을 통해 디스플레이 장치에 전송하는 무선 디스플레이 시스템이 등장하고 있다.
무선 디스플레이 시스템은 A/V 전송 장치와 A/V 수신 장치 간, 근거리 네트워크를 통해, A/V 데이터를 전송 및 수신하는 시스템이다.
A/V 수신 장치는 A/V 전송 장치로부터 수신된 A/V 데이터를 표시한다. 다만, 불안정한 네트워크 환경에서, A/V 수신 장치가 표시하는 영상에는 심각한 열화가 발생될 수 있다.
즉, 네트워크 환경이 열악해질 경우, A/V 전송 장치는 영상 데이터를 높은 수준으로 압축하여 전송해야 한다. 이때, 영상의 고주파 성분은 A/V 수신 장치에서 복원하기 어려워지며, 상황에 따라, 심각한 열화가 발생될 수 있다.
이러한 영상 열화로 인해, 사용자의 영상 시청에 큰 불편함이 초래될 수 있다.
본 개시는 무선 디스플레이 시스템에서, 실시간으로 변화하는 네트워크 환경에 따라, 영상을 효율적으로 표시할 수 있는 것에 그 목적이 있다.
본 개시는 네트워크 환경이 열악해진 경우, 영상의 화질을 의도적으로 열화시켜, 효율적으로 영상을 압축할 수 있도록 하는 것에 그 목적이 있다.
본 개시는 실시간으로 변화하는 네트워크 환경에서 영상의 열화를 최소화하는 것에 그 목적이 있다.
본 개시는 영상의 복잡도 및 네트워크 환경을 동시에 고려하여, 적응적으로, 영상을 전송할 수 있는 것에 그 목적이 있다.
본 개시의 실시 예에 따른 A/V 전송 장치는 네트워크 상태 정보를 획득하고, 획득된 네트워크 상태 정보에 기초하여, 원본 영상의 압축률 및 하나 이상의 화질 팩터들의 값들을 결정하고, 결정된 하나 이상의 화질 팩터들의 값들에 따라 처리된 영상 신호를 상기 결정된 압축률로 압축하고, 압축된 압축 영상을 상기 A/V 수신 장치에 전송할 수 있다.
본 개시의 실시 예에 따른 A/V 수신 장치는 디스플레이, A/V 전송 장치로부터, 제1 네트워크 상태에서, 원본 영상이 압축된 제1 압축 영상을 수신하고, 상기 제1 네트워크 상태보다 품질이 더 나쁜 제2 네트워크 상태에서 상기 원본 영상이 압축된 제2 압축 영상을 수신하는 RF 수신 모듈, 상기 원본 영상은 블랙 패턴 및 화이트 패턴으로 구성됨; 및 상기 제1 압축 영상을 복원하고, 복원된 제1 복원 영상을 상기 디스플레이 상에 표시하고, 상기 제1 복원 영상의 일 지점과 타 지점을 잇는 측정 라인을 따라, 제1 추이를 측정하고, 상기 제2 압축 영상을 복원하고, 복원된 제2 복원 영상을 상기 디스플레이 상에 표시하고, 상기 제2 복원 영상의 일 지점과 타 지점을 잇는 측정 라인을 따라, 제2 추이를 측정하는 마이컴을 포함하고, 상기 제2 추이는 상기 제1 추이에 비해, 열화된 영상 특성을 가질 수 있다.
본 개시의 실시 예에 따르면, 열악한 네트워크 환경에서, 영상의 품질을 예측 가능한 형태로 열화시켜, 안정적인 영상 출력이 보장될 수 있다.
이에 따라, 사용자는 네트워크 환경에 관계없이, 안정적으로 영상 시청이 가능하다.
본 개시의 실시 예에 따르면, 네트워크 상태가 좋지 않더라도, 압축하기 쉬운 영상은 의도적인 열화를 수행하지 않아, 고화질의 영상이 전송되도록 할 수 있다.
도 1 내지 도 2는 본 개시의 일 실시 예에 따른 디스플레이 시스템의 구성을 설명하는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 장치의 구성을 설명하는 블록도이다.
도 4 및 도 5는 종래 기술에 따라, 네크워크 환경에 맞추어, 영상을 압축할 시 발생되는 문제점을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 무선 디스플레이 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 7은 본 개시의 일 실시 예에 따른 데이터 전송 속도 및 압축률 간의 상관 관계를 나타내는 테이블을 설명하는 도면이다.
도 8 내지 도 10은 영상의 압축률과 영상의 화질에 영향을 주는 화질 팩터의 값 간의 관계를 나타내는 그래프들을 설명하는 도면이다.
도 11은 본 개시의 실시 예의 적용 여부에 따라, 2가지의 네트워크 상태에서, 영상 패턴의 추이(Transition)를 서로 비교하는 도면이다.
도 12는 본 개시의 또 다른 실시 예에 따른 무선 디스플레이 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 13은 영상의 복잡도와 열화 세기 간의 관계를 나타내는 그래프를 설명하는 도면이다.
도 14는 네트워크 상태만을 고려하여, 영상의 화질 팩터를 조절한 경우, 밝기 또는 휘도의 추이와, 영상의 복잡도 및 네트워크 상태를 고려하여, 영상의 화질 팩터를 조절한 경우, 밝기 또는 휘도의 추이를 비교하는 도면이다.
이하, 본 개시와 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 개시의 실시 예에 따른 영상/오디오(이하, A/V) 전송 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다.
그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행 가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 개시에서 기술되는 A/V 전송 장치 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다.
도 1 내지 도 2는 본 개시의 일 실시 예에 따른 무선 디스플레이 시스템의 구성을 설명하는 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 무선 디스플레이 시스템(1)은 A/V 전송 장치(100) 및 A/V 수신 장치(200)를 포함한다.
무선 디스플레이 시스템(1)은 A/V 전송 장치(100)가 무선으로, A/V 데이터를 A/V 수신 장치(200)에 전송하고, A/V 수신 장치(200)가 A/V 데이터를 출력하는 시스템일 수 있다.
A/V 전송 장치(100)는 영상 및 오디오를 인코딩하고, 인코딩된 컨텐트 영상 및 오디오를 무선으로 전송할 수 있는 장치일 수 있다.
A/V 전송 장치(100)는 셋톱 박스 일 수 있다.
A/V 전송 장치(100)는 셋톱 박스 또는 USB 메모리와 같은 외부 기기와 연결될 수 있다. A/V 전송 장치(100)는 연결된 외부 기기로부터 수신된 영상 신호 또는 오디오 신호를 A/V 수신 장치(200)에 전송할 수 있다.
A/V 수신 장치(200)는 인코딩된 영상 및 오디오를 무선으로 수신하고, 수신된 영상 및 오디오를 디코딩을 수행할 수 있는 디스플레이 장치일 수 있다.
A/V 전송 장치(100) 및 A/V 수신 장치(200)는 비디오 월 디스플레이 시스템을 구성할 수 있다.
비디오 월에서, 디스플레이가 얇은 베젤을 갖는 것은 컨텐트 영상의 시각화에 중요한 역할을 한다. 디스플레이의 얇은 베젤을 위해서는, 최소한의 역할만 할 수 있는 구성 요소만을 갖추고, 주요 기능을 위한 회로나, 구성 요소는 별도의 장치에서, 수행되는 것이 효율적이다.
A/V 전송 장치(100)는 외부로부터 입력된 컨텐트 영상의 타입을 판단하고, 판단된 타입에 기초하여, 컨텐트 영상의 압축률을 결정할 수 있다. 컨텐트 영상의 압축률은 인코딩 하기 전의 영상 데이터의 크기와 인코딩 하고 난 후의 영상 데이터 크기의 비율로 정의될 수 있다.
컨텐트 영상의 타입은 정지 영상 타입, 일반 동영상 타입, 게임 동영상 타입을 포함할 수 있다.
A/V 전송 장치(100)는 결정된 압축률에 따라 컨텐트 영상을 압축하고, 압축된 컨텐트 영상을 무선으로, A/V 수신 장치(200)에 전송할 수 있다.
A/V 수신 장치(200)는 A/V 전송 장치(100)로부터 수신된 압축 컨텐트 영상을 복원하고, 복원된 컨텐트 영상을 디스플레이 상에 표시할 수 있다.
도 2는 A/V 전송 장치(100) 및 A/V 수신 장치(200)의 상세 구성을 설명하는 블록도이다.
도 2를 참조하면, A/V 전송 장치(100)는 마이크로폰(110), 와이파이 모듈(120), 블루투스 모듈(130), 메모리(140), RF 송신 모듈(150) 및 프로세서(190)를 포함할 수 있다.
마이크로폰(110)은 오디오 신호를 입력 받아, 프로세서(190)로 전달할 수 있다.
마이크로폰(110)은 사용자가 발화한 음성을 수신할 수 있다.
와이파이 모듈(120)은 와이파이 규격을 통해, 무선 통신을 수행할 수 있다. 와이파이 모듈(120)은 외부 기기 또는 A/V 수신 장치(200)와 와이파이 규격을 통해 무선 통신을 수행할 수 있다.
블루투스 모듈(130)은 저전력 블루투스(Bluetooth Low Energy, BLE) 규격을 통해, 무선 통신을 수행할 수 있다.
블루투스 모듈(130)은 리모컨과 같은 외부 기기 또는 A/V 수신 장치(200)와 저전력 블루투스(Bluetooth Low Energy, BLE) 규격을 통해 무선 통신을 수행할 수 있다.
메모리(140)는 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수 있다.
메모리(140)는 외부로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
RF 송신 모듈(150)은 A/V 신호를 RF(Radio Frequency) 통신을 통해 A/V 수신 장치(200)의 RF 수신 모듈(240)에 전송할 수 있다.
RF 송신 모듈(150)은 디지털 형태의 압축된 A/V 신호를 RF 수신 모듈(240)에 전송할 수 있다.
RF 송신 모듈(150)은 하나 이상의 채널을 통해, A/V 신호를 RF 수신 모듈(240)에 전송할 수 있다.
프로세서(190)는 A/V 전송 장치(100)의 동작을 전반적으로 제어할 수 있다. 프로세서(190)는 시스템 온 칩(System on Chip, SoC) 형태로 구성될 수 있다.
프로세서(190)는 복수 개로 구비될 수 있다.
프로세서(190)는 외부로부터 입력된 영상 신호 또는 오디오 신호를 압축하고, 압축된 신호를 RF 송신 모듈(150)에 전달할 수 있다.
프로세서(190)는 영상 신호 또는 오디오 신호를 압축하기 위한 인코더를 구비할 수 있다.
프로세서(190)는 메인 SoC로 명명될 수 있다.
프로세서(190)는 외부 기기와의 연결을 위한 하나 이상의 인터페이스를 구비할 수 있다. 예를 들어, 프로세서(190)는 하나 이상의 HDMI 포트, 하나 이상의 USB 포트를 구비할 수 있다.
프로세서(190)는 방송 신호를 수신하는 튜너를 구비할 수도 있다.
A/V 수신 장치(200)는 와이파이 모듈(210), 블루투스 모듈(220), IR 모듈(230), RF 수신 모듈(240), 메모리(250), 디스플레이(260) 및 마이컴(290)을 포함할 수 있다.
와이파이 모듈(210)은 와이파이 규격을 통해, 무선 통신을 수행할 수 있다.
와이파이 모듈(120)은 외부 기기 또는 A/V 전송 장치(100)와 와이파이 규격을 통해 무선 통신을 수행할 수 있다.
블루투스 모듈(220)은 저전력 블루투스(Bluetooth Low Energy, BLE) 규격을 통해, 무선 통신을 수행할 수 있다.
블루투스 모듈(220)은 리모컨과 같은 외부 기기 또는 A/V 전송 장치(200)와 저전력 블루투스(Bluetooth Low Energy, BLE) 규격을 통해 무선 통신을 수행할 수 있다.
IR 모듈(230)은 IR(Infrared) 통신을 통해, 후술할 리모컨(300)으로부터 신호를 수신할 수 있다.
RF 수신 모듈(240)은 RF 송신 모듈(150)로부터, A/V 신호를 수신할 수 있다.
RF 수신 모듈(240)은 RF 송신 모듈(150)로부터 디지털 형태의 압축된 A/V 신호를 수신하고, 수신된 A/V 신호를 마이컴(290)에 전달할 수 있다.
메모리(250)는 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수 있다.
디스플레이(260)는 마이컴(290)으로부터 수신된 영상 신호를 표시할 수 있다.
디스플레이(260)는 타이밍 컨트롤러(미도시)의 구동에 따라 영상 신호를 표시할 수 있다.
마이컴(290)은 디스플레이 장치(200)의 전반적인 동작을 제어할 수 있다.
마이컴(290)은 RF 수신 모듈(240)이 수신한 압축된 A/V 신호를 복원할 수 있다. 이를 위해, 마이컴(290)은 디코더를 포함할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 장치의 구성을 설명하는 블록도이다.
도 3을 참조하면, 원격 제어 장치(300)는 무선 통신 인터페이스(310), 사용자 입력 인터페이스(330), 메모리(350) 및 컨트롤러(390)를 포함할 수 있다.
무선 통신 인터페이스(310)는 A/V 전송 장치(100) 또는 A/V 수신 장치(200)와 무선 통신을 수행하기 위한 인터페이스일 수 있다.
무선 통신 인터페이스(310)는 블루투스 저전력(Bluetooth Low Energy, BLE) 모듈(311) 및 IR(InfraRed) 모듈(313)을 포함할 수 있다.
BLE 모듈(311)은 A/V 전송 장치(100)의 동작을 제어하기 위한 신호를 A/V 전송 장치(100)에 전송할 수 있다.
BLE 모듈(311)은 A/V 전송 장치(100)의 페어링 동작을 트리거 하는 신호를 A/V 전송 장치(100)에 전송할 수 있다.
사용자 입력 인터페이스(330)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다.
사용자 입력 인터페이스(330)는 사용자의 조작 명령에 따라 A/V 전송 장치(100) 또는 A/V 수신 장치(200)의 동작을 제어하기 위한 제어 명령을 생성할 수 있다.
사용자 입력 인터페이스(330)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여, 하드 키를 조작할 수 있다.
사용자 입력 인터페이스(330) 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있다.
메모리(350)는 컨트롤러(390)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다.
컨트롤러(390)는 응용 프로그램과 관련된 동작과, 통상적으로 원격 제어 장치(300)의 전반적인 동작을 제어한다.
도 4 및 도 5는 종래 기술에 따라, 네크워크 환경에 맞추어, 영상을 압축할 시 발생되는 문제점을 설명하는 도면이다.
도 4를 참조하면, A/V 수신 장치에서 표시되는 원본 영상(410)이 도시되어 있다.
A/V 전송 장치는 네트워크 환경을 감지하고, 감지된 네트워크 환경에 따라 영상의 압축률을 결정할 수 있다.
A.V 전송 장치는 결정된 압축률로 영상을 압축하고, 압축된 영상을 A/V 수신 장치에 전송한다.
만약, 네트워크 환경이 크게 열악해짐이 감지된 경우, A/V 전송 장치는 높은 압축률로 영상을 압축하고, 압축된 영상을 A/V 수신 장치에 전송한다.
도 4에서는 원본 영상의 1/20의 크기로, 압축을 했음을 가정한다.
이 경우, A/V 수신 장치가 표시하는 복원 영상(430)에는, 물결 형태와 같은 Contour noise(431)가 발생될 수 있다.
Contour noise(431)에 따라, 사용자는 영상 시청에 큰 불편함을 느낄 수 있다.
다음으로, 도 5를 설명한다.
도 5에서도, 원본 영상(510)의 1/20 크기로, 원본 영상이 압축되었음을 가정한다.
복원 영상(530)에는, 높은 압축률로 인해, 복원 시, 열화가 발생됨을 나타내는 노이즈 영상(531)이 포함되었다.
이와 같이, 네트워크 환경이 열악하게 된 경우, 고 배율로 영상이 압축되고, 압축된 영상의 복원 시, 영상에 열화가 발생될 수 있다.
이하에서는, 네트워크 환경이 원활하지 않은 경우, 네트워크 환경에 맞게, 영상의 화질 팩터들을 조절하여, 안정적인 영상을 출력하도록 하는 실시 예를 설명한다.
도 6은 본 개시의 일 실시 예에 따른 무선 디스플레이 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
A/V 전송 장치(100)의 프로세서(190)는 네트워크 상태 정보를 획득한다(S601).
일 실시 예에서, 네트워크 상태 정보는, A/V 전송 장치(100)에 구비된 RF 송신 모듈(150)과 A/V 수신 장치(200)에 구비된 RF 수신 모듈(240) 간의 통신 상태에 대한 정보를 포함할 수 있다.
구체적으로, 네트워크 상태 정보는 데이터 전송 속도, 수신 감도 중 하나 이상을 포함할 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 A/V 수신 장치(200)로부터 네트워크 상태 정보를 수신할 수 있다.
A/V 수신 장치(200)의 마이컴(290)은 데이터 전송 속도, 수신 감도 중 하나 이상을 측정할 수 있다. A/V 수신 장치(200)은 데이터 전송 속도 또는 수신 감도 중 하나 이상을 측정하기 위한 별도의 하드웨어 구성 요소를 포함할 수도 있다.
A/V 수신 장치(200)의 마이컴(290)은 획득된 네트워크 상태 정보를 A/V 전송 장치(100)에 전송할 수 있다.
A/V 수신 장치(200)의 마이컴(290)은 RF 송신 모듈(150), 와이파이 모듈(120), 또는 블루투스 모듈(130) 중 어느 하나의 수단을 통해, 네트워크 상태 정보를 A/V 전송 장치(100)에 전송할 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 획득된 네트워크 상태 정보에 기초하여, 영상의 압축률 및 하나 이상의 화질 팩터의 값들을 결정한다(S603).
일 실시 예에서, A/V 전송 장치(100)의 프로세서(190)는 네트워크 상태 정보에 기초하여, 영상의 압축률을 결정할 수 있다. 그 후, 프로세서(190)는 결정된 압축률에 맞는 하나 이상의 화질 팩터의 값들을 결정할 수 있다.
또 다른 실시 예에서, 프로세서(190)는 네트워크 상태 정보에 맞는 영상의 압축률 및 하나 이상의 화질 팩터의 값들을 동시에 결정할 수 있다.
화질 팩터는 영상의 화질에 영향을 미치는 팩터일 수 있다.
화질 팩터는 Blur 또는 노이즈를 제거하기 위한 필터의 강도, 명암 강조의 세기, 선명도, 해상도 중 어느 하나일 수 있다.
특히, 화질 팩터는 영상의 고주파 성분을 조절할 수 있는 팩터일 수 있다.
이하에서는, 프로세서(190)가 네트워크 상태 정보에 따라 영상의 압축률을 결정하고, 결정된 압축률에 맞게, 하나 이상의 화질 팩터들의 값을 결정하는 실시 예를 가정하여 설명한다.
프로세서(190)는 데이터 전송 속도 및 압축률 간의 상관 관계를 나타내는 테이블을 이용하여, 영상의 압축률을 결정할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 데이터 전송 속도 및 압축률 간의 상관 관계를 나타내는 테이블을 설명하는 도면이다.
도 7의 실시 예에 따른 테이블(700)은 A/V 전송 장치(100)의 메모리(140)에 저장될 수 있다.
프로세서(190)는 A/V 수신 장치(200)로부터 수신된 데이터 전송 속도에 맞는 압축률을 테이블(700)을 통해 독출할 수 있다.
데이터 전송 속도가 느릴수록, 압축률 또한, 작아질 수 있다. 즉, 데이터 전송 속도가 느릴수록, 영상 압축의 배율이 커질 수 있다.
반대로, 데이터 전송 속도가 빠를수록, 압축률 또한, 커질 수 있다. 즉, 데이터 전송 속도가 빠를수록, 영상 압축의 배율이 작아질 수 있다.
예를 들어, 데이터 전송 속도가 25Mbps인 경우, 프로세서(190)는 영상의 압축률을 1/10로 결정할 수 있다.
한편, 프로세서(190)는 영상의 압축률이 결정된 경우, 결정된 압축률에 따라 하나 이상의 화질 팩터들의 값들을 결정할 수 있다.
이에 대해서는, 다음의 도 8 내지 도 10을 참조하여 설명한다.
도 8 내지 도 10은 영상의 압축률과 영상의 화질에 영향을 주는 화질 팩터의 값 간의 관계를 나타내는 그래프들을 설명하는 도면이다.
도 8의 제1 그래프(800)는 영상의 압축률 및 노이즈 제거를 위한 필터의 강도 간의 상관 관계를 나타내는 그래프이고, 도 9의 제2 그래프(900)는 영상의 압축률 및 콘트라스트의 값 간의 상관 관계를 나타내는 그래프이고, 도 10의 제3 그래프(1000)는 영상의 압축률 및 영상의 선명도 간의 상관 관계를 나타내는 그래프이다.
제1 그래프(800) 또는 제1 그래프(800)를 나타내는 제1 함수식, 제2 그래프(900) 또는 제2 그래프(900)를 나타내는 제2 함수식 및 제3 그래프(1000) 또는 제3 그래프(1000)를 나타내는 제3 함수식 각각은 A/V 전송 장치(100)의 메모리(140)에 저장되어 있을 수 있다.
도 8 내지 도 10의 가로축은 bit per pixel(bpp)로, 압축 배율 또는 압축률에 대응되는 개념일 수 있다.
압축률은 인코딩 전 영상 데이터의 크기 대비, 인코딩 후, 영상 데이터의 크기를 나타낼 수 있다. 압축 배수는 인코딩 후, 영상 데이터의 크기 대비, 인코딩 전 영상 데이터의 크기를 나타낼 수 있다.
즉, 압축 배수와 압축률은 반비례 관계에 있다.
bbp 값이 커질수록, 압축률은 커지고, 압축 배율은 작아질 수 있다.
반대로, bbp 값이 작아질수록, 압축률은 작아지고, 압축 배율을 커질 수 있다.
도 8을 참조하면, bbp 값에 따른 영상의 노이즈 제거를 위한 필터의 강도 간의 대응 관계를 나타낸 제1 그래프(800)가 도시되어 있다.
필터는 저역 통과 대역 필터일 수 있다. 즉, 필터의 강도가 커진다는 의미는, 저 주파수 대역의 영상 신호를 통과시키고, 고주파수 대역의 영상 신호를 차단하는 의미일 수 있다.
프로세서(190)는 제1 그래프(800)를 이용하여, 결정된 압축률에 상응하는 bbp 값을 추출하고, bbp 값에 상응하는 필터 강도를 결정할 수 있다.
bbp 값이 커질수록(압축률이 커질수록) 필터 강도는 작아지고, bbp 값이 작아질수록(압축율이 작아질수록) 필터 강도는 커질 수 있다.
bbp 값이 작아질수록, 네트워크 환경이 열악하다는 의미이므로, 필터의 강도를 증가시켜, 고주파수 성분의 영상 신호를 차단할 수 있다.
이에 따라, 의도적으로, 영상의 화질을 열화시켜, 컨트롤 가능한 왜곡이 발생될 수 있다.
다음으로, 도 9를 설명한다.
도 9를 참조하면, bbp 값에 따른 콘트라스트 값 간의 대응 관계를 나타낸 제2 그래프(900)가 도시되어 있다.
프로세서(190)는 제2 그래프(900)를 이용하여, 결정된 압축률에 상응하는 bbp 값을 추출하고, bbp 값에 상응하는 콘트라스트의 값을 결정할 수 있다.
bbp 값이 커질수록 콘트라스트의 값은 커지고, bbp 값이 작아질수록 콘트라스트의 값은 작아질 수 있다.
bbp 값이 작아질수록, 네트워크 환경이 열악하다는 의미이므로, 콘트라스트 값을 줄여, 영상의 의도적인 왜곡이 발생될 수 있다.
다음으로, 도 10을 설명한다.
도 10을 참조하면, bbp 값에 따른 선명도(sharpness)세기 간의 대응 관계를 나타낸 제3 그래프(1000)가 도시되어 있다.
프로세서(190)는 제3 그래프(1000)를 이용하여, 결정된 압축률에 상응하는 bbp 값을 추출하고, bbp 값에 상응하는 선명도의 값을 결정할 수 있다.
bbp 값이 커질수록 선명도의 값은 커지고, bbp 값이 작아질수록 선명도의 값은 작아질 수 있다.
bbp 값이 작아질수록, 네트워크 환경이 열악하다는 의미이므로, 선명도의 정도를 줄여, 영상의 의도적인 왜곡이 발생될 수 있다.
프로세서(190)는 영상의 압축률에 따라, 필터의 강도, 콘트라스트의 값, 선명도의 값 중 하나 이상을 조절할 수 있다.
프로세서(190)는 영상의 압축률에 따라 필터의 강도, 콘트라스트의 값, 선명도의 값 모두를 조절할 수 있다.
이와 같이, 본 개시의 실시 예에 따르면, A/V 전송 장치(100)는 영상의 압축률에 따라 화질을 결정하는 하나 이상의 화질 팩터들의 값들을 조절할 수 있다.
즉, 네트워크 환경이 열악해지는 경우, A/V 전송 장치(100)는 의도적으로, 화질을 열화시키고, 예측 가능하며, 제어 가능한 왜곡을 발생시킬 수 있다.
발생된 영상의 왜곡은 이웃 픽셀 간의 유사도를 높이는 결과를 초래하므로, 인코더가 낮은 비트로도 영상을 효율적으로 압축할 수 있는 환경이 제공될 수 있다.
즉, 본 개시의 실시 예에 따르면, 열악한 네트워크 환경에서, 영상의 품질을 예측 가능한 형태로 열화시켜, 안정적인 영상 출력이 보장될 수 있다.
다시, 도 6을 설명한다.
A/V 전송 장치(100)의 프로세서(190)는 하나 이상의 화질 팩터들이 조절된 영상을 결정된 압축률로 압축한다(S605).
프로세서(190)는 영상 신호에 하나 이상의 화질 팩터들의 값들을 적용하고, 하나 이상의 화질 팩터들의 값들이 적용된 영상 신호를 결정된 압축률로 압축할 수 있다.
이미지 프로세서는 영상 신호에 하나 이상의 화질 팩터들의 값들을 적용한 전처리 영상 신호를 출력할 수 있다. 이미지 프로세서는 프로세서(190)에 포함될 수도 있고, 별도의 구성 요소로 존재할 수 있다.
프로세서(190)의 디코더는 전처리 영상 신호를 결정된 압축률로 압축할 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 압축된 영상을 RF 송신 모듈(150)을 통해 A/V 수신 장치(200)의 RF 수신 모듈(240)에 전송한다(S607).
A/V 수신 장치(200)의 마이컴(290)은 수신된 압축 영상을 복원한다(S609).
마이컴(290)은 수신된 압축 영상을 디코더를 이용하여, 복원할 수 있다.
A/V 수신 장치(200)의 마이컴(290)은 복원된 영상을 디스플레이(260) 상에 표시한다(S611).
마이컴(290)은 복원된 영상을 디스플레이(260)로 출력하고, 디스플레이(260)는 영상을 표시할 수 있다.
도 11은 본 개시의 실시 예의 적용 여부에 따라, 2가지의 네트워크 상태에서, 영상 패턴의 추이(Transition)를 서로 비교하는 도면이다.
즉, 도 11은 높은 압축배율을 적용한 상태에서도, 영향을 받지 않을 만큼 단순한 영상 패턴(1100)을 발생시켜, 네트워크 환경에 따라 열화된 패턴의 추이를 비교하는 도면이다.
도 11에서, 압축배율은 20배일 수 있으나, 이는 예시에 불과하다.
먼저, 영상 패턴(1100)은 블랙 패턴(1110) 및 화이트 패턴(1130)을 포함할 수 있다.
블랙 패턴(1110)은 영상 패턴(1100)의 전체 영역 중 좌측 절반 영역을 차지하고, 화이트 패턴(1130)은 영상 패턴(1100)의 전체 영역 중 우측 절반 영역을 차지할 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 영상 패턴(1100)을 기 설정된 압축률로 압축하고, 압축된 압축 영상을 A/V 수신 장치(200)에 전송할 수 있다.
A/V 수신 장치(200)의 마이컴(290)은 압축 영상을 복원하고, 복원된 영상을 디스플레이(260)를 통해 표시할 수 있다.
마이컴(290)은 측정 라인(1150)에 해당되는 라인을 따라, 밝기 또는 휘도를 측정할 수 있다. 이를 위해, 마이컴(290)은 공지의 밝기 또는 휘도 측정 기기를 구비할 수 있다. 또 다른 예로, 밝기 또는 휘도 측정 기기는 별도로 구비될 수 있다.
측정 라인(1150)은 A 지점부터 B 지점까지의 휘도 또는 밝기 변화의 추이가 측정되는 라인일 수 있다.
A 지점 및 B 지점 각각은 디스플레이(260)의 픽셀이 위치한 지점일 수 있다.
원활한 네트워크 상태는 데이터 전송 속도가 기준 속도 이상인 경우이고, 열악한 네트워크 상태는 데이터 전송 속도가 기준 속도 미만인 경우일 수 있다.
제1 추이 그래프(1170)는 원활한 네트워크 상태에서, 측정 라인(1150)을 따라 측정된 밝기 또는 휘도의 변화를 보여준다.
제2 추이 그래프(1190)는 열악한 네트워크 상태에서, 측정 라인(1150)에 따른 밝기 또는 휘도의 변화를 보여준다.
제1 추이 그래프(1170) 및 제2 추이 그래프(1190) 각각의 x축은 측정 지점의 위치이고, y축은 밝기 또는 휘도를 나타낼 수 있다.
원활한 네트워크 상태에서는, 본 발명의 적용 우무와 관계없이, 원본 영상 패턴(1100)과 동일한 수준으로, 밝기 또는 휘도의 변화 추이가 관측되었다.
본 발명의 실시 예는, 네트워크 상태 정보에 따라 하나 이상의 화질 팩터들의 값들이 조절된 실시 예이다.
제2 추이 그래프(1190)를 제1 추이 그래프(1170)와 비교해 본다.
본 발명의 실시 예가 적용된 경우, 블랙 패턴(1110)에서 측정된 밝기 또는 휘도는 본 발명의 실시 예가 적용되지 않은 경우에 비해, 더 클 수 있다.
또한, 본 발명의 실시 예가 적용된 경우, 화이트 패턴(1130)에서 측정된 밝기 또는 휘도는 본 발명의 실시 예가 적용되지 않은 경우에 비해, 더 작을 수 있다.
즉, 본 개시의 실시 예가 적용된 경우, 의도적인 영상의 열화가 발생됨이 확인될 수 있다.
도 12는 본 개시의 또 다른 실시 예에 따른 무선 디스플레이 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
특히, 도 12는 네트워크 상태에 더해, 영상의 복잡도를 고려하여, 하나 이상의 화질 팩터를 결정하는 실시 예이다.
도 12를 참조하면, A/V 전송 장치(100)의 프로세서(190)는 영상의 복잡도(complexity)를 획득한다(S1201).
일 실시 예에서, 영상의 복잡도는 영상을 구성하는 고 주파수 성분들의 합으로 나타내어질 수 있다. 구체적으로, 영상의 복잡도는 전체 픽셀의 개수 중 고주파수 성분으로 분류된 픽셀의 개수로 표현될 수 있다.
즉, 고주파수 성분으로 분류된 픽셀의 개수가 많아질수록 영상의 복잡도가 증가될 수 있다.
반대로, 저주파수 성분으로 분류된 픽셀의 개수가 많아질수록 영상의 복잡도가 감소될 수 있다.
한편, 영상의 복잡도가 커질수록, 영상 열화의 세기도 커질 수 있다. 이에 대해서는, 도 13을 참조하여 설명한다.
도 13은 영상의 복잡도와 열화 세기 간의 관계를 나타내는 그래프를 설명하는 도면이다.
도 13을 참조하면, 그래프(1300)는 영상의 복잡도가 증가할수록, 영상의 열화 세기도 커짐을 나타낼 수 있다. 영상의 복잡도가 증가한다는 것은 영상에 고주파수 성분이 많다는 것을 의미할 수 있다.
영상에 고주파수 성분이 많은 경우, 할당되는 비트가 많아져, 복원 과정에서, 예상치 못한 왜곡이 많이 발생될 수 있다.
다시, 도 12를 설명한다.
A/V 전송 장치(100)의 프로세서(190)는 획득된 복잡도가 기준 복잡도 이상인지를 판단한다(S1203).
프로세서(190)는 전체 픽셀 중 고주파수 성분으로 분류된 픽셀의 개수가 기준 개수 이상인 경우, 영상의 복잡도가 기준 복잡도 이상인 것으로 판단할 수 있다.
프로세서(190)는 전체 픽셀 중 고주파수 성분으로 분류된 픽셀의 개수가 기준 개수 미만인 경우, 영상의 복잡도가 기준 복잡도 미만인 것으로 판단할 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 획득된 복잡도가 기준 복잡도 이상인 경우, 네트워크 상태 정보를 획득한다(S1205).
즉, 프로세서(190)는 영상의 복잡도가 기준 복잡도 이상인 경우에, 네트워크 상태 정보를 이용하여, 하나 이상의 화질 팩터들의 값들을 결정할 수 있다.
영상의 복잡도가 기준 복잡도 미만인 경우, 즉, 영상의 복잡도가 낮은 영상은 열화시키지 않도록 하여, 고화질의 영상이 A/V 수신 장치(200)에 전송될 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 획득된 네트워크 상태 정보에 기초하여, 영상의 압축률 및 하나 이상의 화질 팩터의 값들을 결정한다(S1207).
이에 대한 설명은 도 6의 실시 예로 대체한다.
A/V 전송 장치(100)의 프로세서(190)는 하나 이상의 화질 팩터들이 조절된 영상을 결정된 압축률로 압축한다(S1209).
A/V 전송 장치(100)의 프로세서(190)는 압축된 영상을 RF 송신 모듈(150)을 통해 A/V 수신 장치(200)의 RF 수신 모듈(240)에 전송한다(S1211).
A/V 수신 장치(200)의 마이컴(290)은 수신된 압축 영상을 복원한다(S1213).
A/V 수신 장치(200)의 마이컴(290)은 복원된 영상을 디스플레이(260) 상에 표시한다(S1215).
한편, A/V 전송 장치(100)의 프로세서(190)는 획득된 복잡도가 기준 복잡도 미만인 경우, 네트워크 상태에 관계없이, 영상의 압축률을 결정한다(S1217).
프로세서(190)는 네트워크 상태를 고려하지 않고, 영상의 타입에 기초하여 영상의 압축률을 결정할 수 있다.
영상의 타입은 게임 동영상, 일반 동영상 중 어느 하나의 타입일 수 있다.
게임 동영상의 압축률은 일반 동영상의 압축률보다 작을 수 있다.
A/V 전송 장치(100)의 프로세서(190)는 결정된 압축률로 압축된 영상을 RF 송신 모듈(150)을 통해, A/V 수신 장치(200)에 전송한다(S1219).
즉, A/V 전송 장치(100)는 영상의 복잡도가 낮다고 판단된 경우, 영상을 열화시키지 않고, 고화질의 영상을 A/V 수신 장치(200)에 전송할 수 있다.
A/V 수신 장치(200)의 마이컴(290)은 수신된 압축 영상을 복원한다(S1221).
A/V 수신 장치(200)의 마이컴(290)은 복원된 영상을 디스플레이(260) 상에 표시한다(S1223).
이와 같이, 도 12의 실시 예에 따르면, 네트워크 상태뿐만 아니라, 영상의 복잡도에 따라, adaptive 하게, 열화의 강도가 조절될 수 있다. 즉, 네트워크 상태가 좋지 않더라도, 압축하기 쉬운 영상은 의도적인 열화를 수행하지 않아, 고화질의 영상이 전송되도록 할 수 있다.
도 14는 네트워크 상태만을 고려하여, 영상의 화질 팩터를 조절한 경우, 밝기 또는 휘도의 추이와, 영상의 복잡도 및 네트워크 상태를 고려하여, 영상의 화질 팩터를 조절한 경우, 밝기 또는 휘도의 추이를 비교하는 도면이다.
도 14에서, 네트워크 상태는 열악한 상태 즉, 데이터 전송 속도가 기준 속도 미만임을 가정한다.
도 14의 영상 패턴(1400)은 블랙 패턴(1410), 화이트 패턴(1420) 및 배경 패턴(1430)을 포함할 수 있다.
배경 패턴(1430)은 영상의 복잡도를 고려하기 위해 추가된 패턴일 수 있다.
측정 라인(1401)은 A 지점부터 B 지점까지의 휘도 또는 밝기 변화의 추이가 측정되는 라인일 수 있다.
A 지점 및 B 지점 각각은 디스플레이(260)의 픽셀이 위치한 지점일 수 있다.
제1 추이 그래프(1450) 및 제2 추이 그래프(1470) 각각은 측정 라인(1401)에 따른 밝기 또는 휘도의 변화를 보여주는 그래프일 수 있다.
제1 추이 그래프(1450) 및 제2 추이 그래프(1470) 각각의 x축은 측정 지점의 위치이고, y축은 밝기 또는 휘도를 나타낼 수 있다.
배경 패턴(1430)에는 복잡성이 낮은 패턴부터, 높은 패턴까지, 패턴이 변경될 수 있다.
만약, 영상 패턴(1400)의 복잡도가 기준 복잡도 미만인 경우, 네트워크 상태만을 고려한 경우의 제1 추이 그래프(1450)와 복잡도 및 네트워크 상태를 동시에 고려한, 제2 추이 그래프(1470)는 서로 다를 수 있다.
제2 추이 그래프(1470)는 본 개시의 실시 예에 따라, 영상의 복잡도가 기준 복잡도 미만이므로, 영상의 화질 팩터들의 값들이 조절되지 않은 채, 측정된 결과이기 때문이다.
이에 반해, 영상 패턴(1400)의 복잡도가 기준 복잡도 이상인 경우, 네트워크 상태만을 고려한 경우의 추이 그래프와 복잡도 및 네트워크 상태를 동시에 고려한 추이 그래프는 서로 동일할 수 있다.
이는, 본 개시의 실시 예에 따라, 영상의 복잡도가 기준 복잡도 이상이므로, 영상의 화질 팩터들의 값들이 조절된 상태에서, 측정된 결과이기 때문이다.
이와 같이, 영상 패턴(1400)의 복잡도를 변경하도록 배경 패턴(1430)을 변화시킴에 따라, 추이 그래프가, 네트워크 만을 고려한 경우에 비해, 변화되는지를 살피면, 본 개시의 실시 예가 적용되었는지 여부가 판단될 수 있다.
본 개시의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
상기와 같이 설명된 A/V 전송 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. A/V 전송 장치에 있어서,
    A/V 수신 장치에 영상 데이터를 전송하는 RF 송신 모듈; 및
    네트워크 상태 정보를 획득하고, 획득된 네트워크 상태 정보에 기초하여, 원본 영상의 압축률 및 하나 이상의 화질 팩터들의 값들을 결정하고, 결정된 하나 이상의 화질 팩터들의 값들에 따라 처리된 영상 신호를 상기 결정된 압축률로 압축하고, 압축된 압축 영상을 상기 RF 송신 모듈을 통해, 상기 A/V 수신 장치에 전송하는 프로세서를 포함하는
    A/V 전송 장치.
  2. 제1항에 있어서,
    상기 네트워크 상태 정보는
    상기 A/V 전송 장치 및 상기 A/V 수신 장치 간 데이터 전송 속도를 포함하고,
    상기 프로세서는
    상기 데이터 전송 속도가 기준 속도 미만인 경우, 상기 원본 영상이 열화되도록 상기 하나 이상의 화질 팩터들의 값들을 결정하는
    A/V 전송 장치.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 데이터 전송 속도에 대응하는 상기 압축률을 결정하고, 결정된 압축률에 기초하여, 상기 하나 이상의 화질 팩터들의 값들을 결정하는
    A/V 전송 장치.
  4. 제3항에 있어서,
    상기 화질 팩터는
    저 대역 통과 필터의 강도, 콘트라스트, 선명도 중 어느 하나인
    A/V 전송 장치.
  5. 제4항에 있어서,
    상기 프로세서는
    상기 압축률이 작아질수록, 상기 저 대역 통과 필터의 강도를 증가시키는
    A/V 전송 장치.
  6. 제4항에 있어서,
    상기 프로세서는
    상기 압축률이 작아질수록, 상기 콘트라스트의 값을 감소시키는
    A/V 전송 장치.
  7. 제4항에 있어서,
    상기 프로세서는
    상기 압축률이 작아질수록, 상기 선명도의 값을 감소시키는
    A/V 전송 장치.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 원본 영상의 복잡도를 획득하고,
    상기 복잡도가 기준 복잡도 미만인 경우, 상기 네트워크 상태 정보에 관계없이, 상기 압축률을 결정하고,
    상기 복잡도가 상기 기준 복잡도 이상인 경우, 상기 네트워크 상태 정보에 기초하여, 상기 압축률 및 상기 하나 이상의 화질 팩터들의 값들을 결정하는
    A/V 전송 장치.
  9. 제8항에 있어서,
    상기 복잡도는
    전체 픽셀의 개수 중 고주파수 성분들의 개수로 표현되고,
    상기 프로세서는
    상기 고주파수 성분들의 개수가 기준 개수 이상인 경우, 상기 복잡도가 상기 기준 복잡도 이상인 것으로 판단하는
    A/V 전송 장치.
  10. 제2항에 있어서,
    상기 프로세서는
    상기 A/V 수신 장치로부터, 상기 데이터 전송 속도에 대한 정보를 수신하는
    A/V 전송 장치.
  11. A/V 수신 장치에 있어서,
    디스플레이;
    A/V 전송 장치로부터, 제1 네트워크 상태에서, 원본 영상이 압축된 제1 압축 영상을 수신하고, 상기 제1 네트워크 상태보다 품질이 더 나쁜 제2 네트워크 상태에서 상기 원본 영상이 압축된 제2 압축 영상을 수신하는 RF 수신 모듈, 상기 원본 영상은 블랙 패턴 및 화이트 패턴으로 구성됨; 및
    상기 제1 압축 영상을 복원하고, 복원된 제1 복원 영상을 상기 디스플레이 상에 표시하고, 상기 제1 복원 영상의 일 지점과 타 지점을 잇는 측정 라인을 따라, 제1 추이를 측정하고,
    상기 제2 압축 영상을 복원하고, 복원된 제2 복원 영상을 상기 디스플레이 상에 표시하고, 상기 제2 복원 영상의 일 지점과 타 지점을 잇는 측정 라인을 따라, 제2 추이를 측정하는 마이컴을 포함하고,
    상기 제2 추이는 상기 제1 추이에 비해, 열화된 영상 특성을 갖는
    A/V 수신 장치.
  12. 제11항에 있어서,
    상기 제1,2 추이는 밝기 변화를 나타내고,
    상기 블랙 패턴에 위치한 상기 측정 라인에서 측정된 상기 제2 추이의 밝기 값은 상기 제1 추이의 밝기 값보다 크고,
    상기 화이트 패턴에 위치한 상기 측정 라인에서 측정된 상기 제2 추이의 밝기 값은 상기 제1 추이의 밝기 값보다 작은,
    A/V 수신 장치.
  13. 제11항에 있어서,
    상기 제1,2 추이는 휘도 변화를 나타내고,
    상기 블랙 패턴에 위치한 상기 측정 라인에서 측정된 상기 제2 추이의 휘도 값은 상기 제1 추이의 휘도 값보다 크고,
    상기 화이트 패턴에 위치한 상기 측정 라인에서 측정된 상기 제2 추이의 휘도 값은 상기 제1 추이의 휘도 값보다 작은,
    A/V 수신 장치.
  14. 제11항에 있어서,
    상기 제1 네트워크 상태는 상기 A/V 전송 장치와 상기 A/V 수신 장치 간 제1 데이터 전송 속도를 나타내고,
    상기 제2 네트워크 상태는 상기 A/V 전송 장치와 상기 A/V 수신 장치 간 제2 데이터 전송 속도를 나타내고,
    상기 제1 데이터 전송 속도는 기준 속도 이상이고, 상기 제2 데이터 전송 속도는 상기 기준 속도 미만인
    A/V 수신 장치.
  15. 제14항에 있어서,
    상기 마이컴은
    상기 제1 데이터 전송 속도 및 상기 제2 데이터 전송 속도를 상기 A/V 전송 장치에 전송하는
    A/V 수신 장치.
PCT/KR2021/005993 2021-05-13 2021-05-13 A/v 전송 장치 및 a/v 수신 장치 WO2022239887A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2021/005993 WO2022239887A1 (ko) 2021-05-13 2021-05-13 A/v 전송 장치 및 a/v 수신 장치
KR1020237027410A KR20230133326A (ko) 2021-05-13 2021-05-13 A/v 전송 장치 및 a/v 수신 장치
US18/551,373 US20240171787A1 (en) 2021-05-13 2021-05-13 A/v transmission device and a/v reception device
EP21942035.3A EP4297412A1 (en) 2021-05-13 2021-05-13 A/v transmission device and a/v reception device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/005993 WO2022239887A1 (ko) 2021-05-13 2021-05-13 A/v 전송 장치 및 a/v 수신 장치

Publications (1)

Publication Number Publication Date
WO2022239887A1 true WO2022239887A1 (ko) 2022-11-17

Family

ID=84028350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005993 WO2022239887A1 (ko) 2021-05-13 2021-05-13 A/v 전송 장치 및 a/v 수신 장치

Country Status (4)

Country Link
US (1) US20240171787A1 (ko)
EP (1) EP4297412A1 (ko)
KR (1) KR20230133326A (ko)
WO (1) WO2022239887A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090076915A (ko) * 2006-10-30 2009-07-13 소니 가부시끼 가이샤 전송방법, 전송시스템, 송신장치 및 수신장치
KR20110085201A (ko) * 2010-01-19 2011-07-27 엘지전자 주식회사 미디어 신호 송수신 시스템 및 그 미디어 신호 송수신방법
KR20170025536A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 입출력 장치와, 그 입출력 장치를 통해 수신된 컨텐츠를 외부 장치로 전달하는 중계 장치 및 그 방법들
KR20190127610A (ko) * 2018-05-04 2019-11-13 엘지전자 주식회사 영상 전송 장치
KR20210017658A (ko) * 2019-08-09 2021-02-17 주식회사 엘지유플러스 영상 전송 환경을 최적화하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090076915A (ko) * 2006-10-30 2009-07-13 소니 가부시끼 가이샤 전송방법, 전송시스템, 송신장치 및 수신장치
KR20110085201A (ko) * 2010-01-19 2011-07-27 엘지전자 주식회사 미디어 신호 송수신 시스템 및 그 미디어 신호 송수신방법
KR20170025536A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 입출력 장치와, 그 입출력 장치를 통해 수신된 컨텐츠를 외부 장치로 전달하는 중계 장치 및 그 방법들
KR20190127610A (ko) * 2018-05-04 2019-11-13 엘지전자 주식회사 영상 전송 장치
KR20210017658A (ko) * 2019-08-09 2021-02-17 주식회사 엘지유플러스 영상 전송 환경을 최적화하는 방법 및 장치

Also Published As

Publication number Publication date
KR20230133326A (ko) 2023-09-19
EP4297412A1 (en) 2023-12-27
US20240171787A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
WO2019035657A1 (en) IMAGE DISPLAY APPARATUS
WO2016175467A1 (en) Source device and control method thereof, and sink device and image quality improvement processing method thereof
WO2015009107A1 (en) Method and apparatus for generating 3k-resolution display image for mobile terminal screen
WO2020130496A1 (en) Display apparatus and control method thereof
WO2018192253A1 (zh) 视频信号的传输方法及装置
WO2019098778A1 (en) Display apparatus, method for controlling the same and image providing apparatus
WO2017005066A1 (zh) 录制音视频同步时间戳的方法和装置
WO2018161572A1 (zh) 移动终端帧率的控制方法、装置、存储介质及电子设备
WO2020256185A1 (ko) 디스플레이 장치
WO2016190691A1 (en) Display apparatus and control method thereof
WO2021118130A1 (en) Electronic apparatus and method of controlling the same
WO2022030857A1 (ko) 오디오 신호 처리 장치 및 그 동작 방법
WO2022025343A1 (en) Organic light-emitting diode display device and operating method thereof
WO2020171657A1 (en) Display device and image display method of the same
WO2022239887A1 (ko) A/v 전송 장치 및 a/v 수신 장치
WO2021010511A1 (ko) 디스플레이 장치
WO2020075952A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2019107769A1 (ko) 이미지 센서의 리드 아웃 속도에 따라 이미지 데이터를 선택적으로 압축하는 전자 장치 및 그의 운용 방법
WO2018186626A1 (en) Display device configuring multi display system and control method thereof
WO2021221195A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
EP3566434A1 (en) Display device configuring multi display system and control method thereof
WO2023277205A1 (ko) A/v 수신 장치 및 무선 디스플레이 시스템
WO2019098672A1 (en) Content providing apparatus and method for controlling thereof
WO2022250174A1 (ko) A/v 수신 장치 및 무선 디스플레이 시스템
WO2023286889A1 (ko) A/v 수신 장치 및 무선 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942035

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237027410

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237027410

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 18551373

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021942035

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021942035

Country of ref document: EP

Effective date: 20230921

NENP Non-entry into the national phase

Ref country code: DE