KR100954303B1 - spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system - Google Patents

spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system Download PDF

Info

Publication number
KR100954303B1
KR100954303B1 KR1020080006808A KR20080006808A KR100954303B1 KR 100954303 B1 KR100954303 B1 KR 100954303B1 KR 1020080006808 A KR1020080006808 A KR 1020080006808A KR 20080006808 A KR20080006808 A KR 20080006808A KR 100954303 B1 KR100954303 B1 KR 100954303B1
Authority
KR
South Korea
Prior art keywords
image
spatial resolution
bit rate
video
quality
Prior art date
Application number
KR1020080006808A
Other languages
Korean (ko)
Other versions
KR20090080830A (en
Inventor
이용희
신현식
이희정
채병조
Original Assignee
갤럭시아커뮤니케이션즈 주식회사
재단법인서울대학교산학협력재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 갤럭시아커뮤니케이션즈 주식회사, 재단법인서울대학교산학협력재단 filed Critical 갤럭시아커뮤니케이션즈 주식회사
Priority to KR1020080006808A priority Critical patent/KR100954303B1/en
Publication of KR20090080830A publication Critical patent/KR20090080830A/en
Application granted granted Critical
Publication of KR100954303B1 publication Critical patent/KR100954303B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것이다.The present invention relates to a spatial resolution control system of an image and an image transmission control method using the same.

본 발명에 따르면, 영상을 전송함에 있어서, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준을 설정하고, 상기 토탈 퀄리티 규준에 따라 최적의 공간 해상도를 계산하여, 대역폭이 특정 수치 이하의 환경에서는 프레임의 사이즈를 축소시켜 전송하고, 수신단에서는 상기 축소된 프레임을 원래의 사이즈로 복원하여 디스플레이하도록 한다. 이처럼, 원본 영상을 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준에 따라 소정 사이즈로 축소시켜 전송할 경우, 영상의 사이즈는 그대로 유지한 상태에서 압축률을 높여 전송하는 종래의 방법에 비하여, 수신단측에서의 영상 퀄리티가 우수해지며, 디코딩 타임이 감소하여 전력 소모 또한 크게 절감된다. According to the present invention, in transmitting an image, a total quality criterion in consideration of image quality and power consumption is set, and an optimal spatial resolution is calculated according to the total quality criterion. It is reduced and transmitted, and the receiving end recovers the reduced frame to its original size and displays it. As such, when the original image is reduced and transmitted to a predetermined size according to the total quality standard considering the image quality and power consumption, the image quality at the receiving end is higher than that of the conventional method of increasing the compression rate while maintaining the image size. It is excellent, and the decoding time is reduced, which greatly reduces the power consumption.

양자화 계수, 비트율, 공간 해상도, PSNR, 영상 퀄리티 Quantization Coefficient, Bit Rate, Spatial Resolution, PSNR, Image Quality

Description

영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법{spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system}Spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system

본 발명은 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것으로서, 보다 상세하게는 영상 전송시 수신단측에서의 영상 퀄리티 저하를 방지하고, 전력 소모를 최소화할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것이다.The present invention relates to a spatial resolution control system of an image and an image transmission control method using the same, and more particularly, to a spatial resolution control system of an image for preventing degradation of image quality at the receiving end and minimizing power consumption during image transmission. And an image transmission control method using the same.

통신 기술의 눈부신 발달로 인해, 네트웍을 이용한 영상 정보의 송/수신 및 저장은 현대 사회를 살아가는데 없어서는 안 될 필수적인 생활 아이템으로 자리 잡고 있다.Due to the remarkable development of communication technology, transmission / reception and storage of video information using a network have become an indispensable life item in modern society.

특히, 최근에는 UCC 열풍에 힘입어 더욱 다양하고 독특한 동영상들을 네트웍상에서 손쉽게 접할 수 있게 되었다.In particular, recently, thanks to the UCC craze, more diverse and unique videos can be easily accessed on the network.

그러나, 이러한 영상 서비스를 지원하는 사용망의 용량은 한정되어 있다. 따라서, 영상 정보의 송/수신 및 저장 효율을 높이기 위해서는 영상 압축 기술을 도 입함으로써, 주어진 사용망의 용량 한도내에서 최적의 영상 퀄리티를 얻을 수 있도록 하는 것이 매우 중요하다.However, the capacity of the use network supporting such video service is limited. Therefore, in order to increase the transmission / reception and storage efficiency of image information, it is very important to introduce an image compression technology so that an optimum image quality can be obtained within the capacity limit of a given network.

통상적으로, 영상 서비스의 비디오 스트림은 시간적 해상도, 공간적 해상도 및 영상 퀄리티와 같은 세 가지 요소를 조절함에 의해 압축될 수 있다. 즉, 시간 및 공간적 해상도가 주어지면, 비디오 엔코더는 양자화 계수를 지정된 비트율에 이르도록 조정함으로써, 영상 퀄리티를 조절하게 되는 것이다.Typically, the video stream of a video service can be compressed by adjusting three factors: temporal resolution, spatial resolution and image quality. That is, given the temporal and spatial resolution, the video encoder adjusts the image quality by adjusting the quantization coefficients to reach a specified bit rate.

그러나, 움직임이 크고 장면의 복잡도가 클수록 데이터량이 커지게 되는데, 특히 영상 서비스의 경우에는 영상의 움직임 변화와 영상의 복잡도가 다양하므로, 비디오 엔코더를 통해 출력되는 비트율의 변동이 심해지게 된다.However, the larger the motion and the greater the complexity of the scene, the greater the amount of data. In particular, in the case of a video service, the change in the motion of the video and the complexity of the video vary, so that the variation in the bit rate output through the video encoder becomes severe.

더욱이, 제한된 망의 용량과 부호화, 복호화기의 한정된 버퍼 용량으로 인하여 출력 비트율의 변동은 더욱 악화되기도 한다.Moreover, fluctuations in the output bit rate are even worse due to limited network capacity and limited buffer capacity of the encoder and decoder.

따라서, 이러한 비트율 변동을 최소화하기 위하여, 영상 전환시, 현재의 버퍼 상태와 이전에 부호화된 영상들의 통계적 데이터에 기초하여 부호화될 영상의 복잡도를 미리 예측하여 양자화 계수를 결정한 뒤, 상기 결정된 양자화 계수의 몇 단계 위로 양자화 계수를 상향 조정하여 부호화하는 비트율 제어 기법을 사용하기도 한다.Therefore, in order to minimize such a bit rate variation, when the image is switched, the complexity of the image to be encoded is predicted in advance based on the current buffer state and statistical data of previously encoded images, and then the quantization coefficient is determined. A bit-rate control technique is used in which the quantization coefficients are up-adjusted and coded up a few steps.

그러나, 양자화 계수가 상향 조정할 경우, 압축 프로세스 동안 보다 많은 데이터가 버려지게 되어 비트 스트림은 보다 컴팩트해지는 장점은 있으나, 낮은 비트율로 인하여 영상의 퀄리티는 저하되는 단점이 있다.However, when the quantization coefficient is adjusted upward, more data is discarded during the compression process, thereby making the bit stream more compact, but the quality of the image is degraded due to the low bit rate.

게다가 양자화 계수가 이미 상위의 계수로 설정되어 있는 상태에서 장면 전 환이 일어나 더욱 높은 상위의 양자화 계수로 부호화하게 되면 다음 영상의 퀄리티 열화가 더욱 심해지게 된다.In addition, when the scene transition occurs when the quantization coefficient is already set to the higher coefficient and the higher quantization coefficient is encoded, the quality degradation of the next video becomes more severe.

또한, 대역폭이 낮은 상태에서는 이처럼 양자화 계수를 조절하여 압축률을 조절할 경우, 지나친 데이터 압축 및 이에 따른 정보손실로 인해 영상의 퀄리티가 더욱 저하되는데, 특히, 무선 랜(LAN)이나 핸드폰을 통한 동영상 전송등의 무선통신상에서 이러한 퀄리티 저하가 더욱 심화되는 것으로 나타나고 있다.In addition, when the compression rate is adjusted by adjusting the quantization coefficient in the low bandwidth state, the image quality is further degraded due to excessive data compression and information loss. In particular, video transmission through a wireless LAN or a mobile phone is performed. In the wireless communication of this quality degradation appears to be more severe.

한편, 영상을 전송함에 있어서, 영상 퀄리티만을 추구하여 비트율을 높일 경우, 디코딩 타임이 증가하게 되는데, 디코딩 타임이 증가한다는 것은 결국 전력 소비가 증가한다는 것을 의미한다.On the other hand, when transmitting a video, if the bit rate is increased by pursuing only the video quality, the decoding time increases, which means that the power consumption increases.

특히, DMB폰이나 핸드폰과 같은 핸드 헬드 디바이스는 베터리 수명이 제한되어 있는데, 이러한 핸드 헬드 디바이스의 CPU를 구성하는 씨모오스 회로의 에너지 소비는 다음과 같이 쓸 수 있다.In particular, handheld devices such as DMB phones and mobile phones have a limited battery life. The energy consumption of the CMOS circuit constituting the CPU of the handheld device can be written as follows.

E ∝ C·V2·fE ∝ CV 2

여기서, C는 동작시의 유효한 스위칭 캐패시턴스이고, V는 공급전압이고 f는 클럭 주파수이다. Where C is the effective switching capacitance in operation, V is the supply voltage and f is the clock frequency.

따라서, CPU 내에서의 씨모오스 회로는 보다 낮은 주파수에서 작동될 때 보다 적은 에너지를 소비하고, 이에 따라 공급 전압은 감소하게 된다. Thus, the CMOS circuit in the CPU consumes less energy when operating at lower frequencies, thereby reducing the supply voltage.

그러나, 멀티미디어 제품에 있어서, 상기 CPU 주파수는 압축된 비디오를 정확하게 디코드 및 디스플레이하기위해 충분히 높을 것이 요구된다. 그리고, 가장 낮은 적정 CPU 주파수를 찾기 위해서, 비디오 디코더는 하나의 영상 프레임을 디코드 하는데 요구되는 실행 타임이 어떻게 영향을 받는지를 예측할 수 있어야만 한다.However, for multimedia products, the CPU frequency is required to be high enough to accurately decode and display the compressed video. And in order to find the lowest appropriate CPU frequency, the video decoder must be able to predict how the runtime required to decode one picture frame is affected.

따라서, 영상 전송시, 비트율을 증가시키는 것은 영상 퀄리티 측면에서는 이점이 될 수 있으나, 디코딩 타임 증가로 인해 전력 소비가 높아지므로, 특히 사용량이 유한한 배터리를 전력원으로 사용하는 핸드 헬드 디바이스에 있어서는 매우 취약한 단점이 아닐 수 없다.Therefore, increasing the bit rate in video transmission may be advantageous in terms of video quality, but the power consumption is increased due to the increased decoding time, and thus, especially in a handheld device using a limited-use battery as a power source. It is a weak point.

상기와 같은 종래의 문제점들을 해결하기 위한 본 발명의 목적은, 지나친 데이터 압축 및 이에 따른 정보손실로 인한 퀄리티 저하를 방지할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a spatial resolution control system of an image and an image transmission control method using the same, which can prevent degradation of quality due to excessive data compression and information loss. have.

본 발명의 다른 목적은, 디코딩 타임 증가로 인한 전력 소모를 최소화할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제공함에 있다. Another object of the present invention is to provide a system for controlling spatial resolution of an image and minimizing power consumption due to an increase in decoding time and an image transmission control method using the same.

상기한 목적들을 달성하기 위한 본 발명에 따른 영상의 공간 해상도 제어 시스템은, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준에 따라 최적의 공간 해상도를 계산하고, 상기 계산된 공간 해상도를 가지도록 영상 프레임 사이즈를 조절하여 전송함을 특징으로 한다.In order to achieve the above objects, a spatial resolution control system for an image according to the present invention calculates an optimal spatial resolution according to a total quality criterion in consideration of image quality and power consumption, and has an image frame size to have the calculated spatial resolution. It is characterized by transmitting by adjusting.

또한, 상기한 목적들을 달성하기 위한 본 발명에 따른 영상의 공간 해상도 제어 시스템은, 영상을 전송할 네트웍 상태를 모니터링하는 네트웍 모니터부, 이용가능한 대역폭을 검출하는 대역폭 검출부, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준에 따라, 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있는 최적의 공간 해상도를 선택하는 공간 해상도 선택부, 상기 공간 해상도 선택부로부터 선택된 최적의 공간 해상도를 가지도록 원 영상 프레임의 사이즈를 조절하는 프레임 축소부, 및 최적의 공간 해상도 선택에 필요한 파라메터를 조정하는 파라메터 조정부를 포함함을 특징으로 한다. In addition, the spatial resolution control system of the image according to the present invention for achieving the above object, the network monitor for monitoring the network state to transmit the image, the bandwidth detection unit for detecting the available bandwidth, the total considering the image quality and power consumption According to the quality standard, the spatial resolution selecting unit selects an optimal spatial resolution that improves image quality and obtains power saving effect, and adjusts the size of the original image frame to have an optimal spatial resolution selected from the spatial resolution selecting unit. And a parameter adjusting unit for adjusting a parameter required for selecting an optimal spatial resolution.

또한, 상기한 목적들을 달성하기 위한 본 발명에 따른 영상 전송 제어 방법은, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준에 따라 최적의 공간 해상도를 계산하는 단계와, 상기 계산된 공간 해상도를 가지도록 영상 프레임 사이즈를 조절하여 전송하는 단계를 포함함을 특징으로 한다. In addition, the image transmission control method according to the present invention for achieving the above object, the step of calculating the optimal spatial resolution according to the total quality standard in consideration of the image quality and power consumption, and the image to have the calculated spatial resolution And transmitting the adjusted frame size.

또한, 상기한 목적들을 달성하기 위한 본 발명에 따른 영상 전송 제어 방법은, 영상을 전송할 네트웍 상태를 모니터링하는 단계와, 상기 영상 전송에 이용할 수 있는 대역폭을 검출하는 단계와, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준에 따라, 상기 영상을 수신하게 될 수신단측에서의 영상 퀄리티를 향상시키고, 전력 소비를 절감할 수 있도록 하는 최적의 공간 해상도를 선택한 뒤, 상기 선택된 최적의 공간 해상도를 가지도록 상기 영상의 프레임 사이즈를 조절하여 수신단측으로 전송하는 단계와, 상기 수신단측에서는 축소된 영상을 수신한 뒤, 이를 원래의 사이즈로 리사이징하여 디스플레이하는 단계를 포함함을 특징으로 한다. In addition, the image transmission control method according to the present invention for achieving the above object, the step of monitoring the network state to transmit the image, detecting the bandwidth available for the image transmission, the image quality and power consumption According to the total quality criteria considered, after selecting the optimal spatial resolution to improve the image quality at the receiving end to receive the image, and to reduce the power consumption, the frame of the image to have the selected optimal spatial resolution Transmitting the image to the receiving end by adjusting the size; and receiving the reduced image from the receiving end, resizing the image to its original size, and displaying the same.

이때, 상기 최적의 공간 해상도는 영상의 비트율과 뒤틀림(왜곡) 사이의 관계, 노이즈 비율에 대한 피크 시그널(PSNR), 비디오 프레임을 디코드하는데 요구되는 시간, 축소된 영상을 원래 사이즈로 리사이징 하는데 소요되는 시간을 모두 고려하여 추출한 토탈 퀄리티 측정 규준에 따라 선택함을 특징으로 한다. In this case, the optimal spatial resolution is the relationship between the bit rate and distortion (distortion) of the image, the peak signal (PSNR) for the noise ratio, the time required to decode the video frame, and the resizing of the reduced image to its original size. It is selected according to the total quality measurement standard extracted by considering all the time.

본 발명에서는, 영상을 전송함에 있어서, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준을 설정하고, 상기 토탈 퀄리티 규준에 따라 최적의 공간 해상도를 계산하여, 대역폭이 특정 수치 이하의 환경에서는 프레임의 사이즈를 축소시켜 전송하고, 수신단측에서는 상기 축소된 영상 프레임을 원래의 사이즈로 복원하여 디스플레이한다. 그 결과, 영상의 프레임 사이즈는 그대로 유지한 상태에서 데이터 압축률을 높여 전송하는 종래의 경우에 비하여, 수신단측에서의 영상 퀄리티를 더욱 향상시킬 수 있게 되며, 디코딩 타임이 감소하여 전력 소모 또한 크게 절감할 수 있게 된다.According to the present invention, in transmitting an image, a total quality criterion in consideration of image quality and power consumption is set, and an optimal spatial resolution is calculated according to the total quality criterion. It reduces and transmits the data, and the receiving end restores and displays the reduced video frame to its original size. As a result, it is possible to further improve the image quality at the receiving end, and to reduce the decoding time, thereby significantly reducing power consumption, compared with the conventional case of transmitting by increasing the data compression rate while maintaining the image frame size. do.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것으로서, 영상을 전송함에 있어서, 비트율과 영상 퀄리티, 비트율과 디코딩 타임, 비트율과 리사이징 타임간의 상호 관계를 규명함으로써, 퀄리티 저하 를 방지하면서도 전력 소모 또한 반감할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제시하고자 한다.The present invention relates to a spatial resolution control system of an image and an image transmission control method using the same. The present invention proposes a spatial resolution control system of an image and an image transmission control method using the same to prevent power consumption and reduce power consumption.

도 1에는 본 발명에 따른 영상의 공간 해상도 제어 시스템에 대한 블록 구성도가 도시되어 있다.1 is a block diagram of a spatial resolution control system of an image according to the present invention.

도 1을 참조하면, 상기 공간 해상도 제어 시스템(100)은, 영상을 전송할 네트웍 상태를 모니터링하는 네트웍 모니터부(102), 이용가능한 대역폭을 검출하는 대역폭 검출부(104), 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있는 최적의 공간 해상도를 선택하는 공간 해상도 선택부(106), 상기 공간 해상도 선택부(106)로부터 선택된 최적의 공간 해상도를 가지도록 원 영상 프레임의 사이즈를 축소하는 프레임 축소부(108) 및 최적의 공간 해상도 선택에 필요한 파라메터를 조정하는 파라메터 조정부(110)로 구성되어 있다.Referring to FIG. 1, the spatial resolution control system 100 may include a network monitor 102 that monitors a network state to transmit an image, a bandwidth detector 104 that detects available bandwidth, and improves image quality. A spatial resolution selecting unit 106 for selecting an optimal spatial resolution capable of obtaining a saving effect, and a frame reduction unit for reducing the size of the original image frame to have an optimal spatial resolution selected from the spatial resolution selecting unit 106 ( 108) and a parameter adjusting unit 110 for adjusting parameters necessary for selecting an optimal spatial resolution.

여기서, 상기 공간 해상도 선택부(106)에서는, 영상의 비트율과 뒤틀림(왜곡) 사이의 관계로부터 도출되는 노이즈 비율에 대한 피크 시그널(PSNR) 및 비디오 프레임을 디코드하는데 요구되는 시간이 고려된 비디오 컨텐츠의 토탈 퀄리티 측정 규준에 따라, 영상 퀄리티를 향상시키면서도 전력 소비를 절감할 수 있도록 하는 최적의 공간 해상도를 선택하게 된다.In this case, the spatial resolution selecting unit 106 determines the peak signal PSNR and the time required for decoding the video frame with respect to the noise ratio derived from the relationship between the bit rate and distortion (distortion) of the image. According to the total quality measurement standard, the optimal spatial resolution is selected to reduce the power consumption while improving the image quality.

이처럼, 상기 공간 해상도 제어 시스템(100)에 영상이 입력되면, 상기 공간 해상도 제어 시스템(100)에서는 상기 입력된 영상을 퀄리티는 향상시키면서도 전력 소비를 절감할 수 있는 공간 해상도로 축소한 후, 수신단측으로 전송한다.As such, when an image is input to the spatial resolution control system 100, the spatial resolution control system 100 reduces the input image to a spatial resolution that can reduce power consumption while improving the quality, and then returns to the receiving end. send.

상기 수신단측에서는 상기 축소 전송된 영상을 원래의 사이즈로 리사이징하 여 디스플레이함으로써, 사용자는 자신이 소지한 영상 디스플레이장치의 전력 손실을 최소화하면서도 양호한 영상 퀄리티를 가지는 영상을 손쉽게 감상할 수 있게 된다.By resizing and displaying the reduced-sized image in its original size, the receiving end can easily enjoy an image having good image quality while minimizing power loss of the image display apparatus possessed by the user.

도 2에는 상기 도 1에 도시되어 있는 영상의 공간 해상도 제어 시스템에 의해 수행되는 영상 전송 제어 방법이 도시되어 있다. 2 illustrates an image transmission control method performed by the spatial resolution control system of the image illustrated in FIG. 1.

도 2를 참조하면, 먼저, 영상을 전송할 네트웍 상태를 모니터링한다(200).Referring to Figure 2, first, to monitor the network state to transmit the image (200).

이어서, 영상 전송에 이용 가능한 대역폭을 검출(202)한 뒤, 수신단측에서의 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있도록 하는 최적의 공간 해상도를 선택한다(204).Subsequently, the bandwidth available for video transmission is detected (202), and then the optimal spatial resolution for improving the video quality at the receiving end and obtaining power saving effect is selected (204).

이어서, 영상의 프레임 사이즈를 상기 최적의 공간 해상도를 가지도록 축소한 후, 수신단측으로 전송한다(206).Subsequently, the frame size of the image is reduced to have the optimal spatial resolution and then transmitted to the receiving end (206).

그러면, 상기 수신단측에서는 이처럼 축소된 영상을 수신한 뒤, 원래 사이즈로 리사이징하여 디스플레이한다(208). Then, the receiving end receives the reduced image and resizes it to its original size and displays it (208).

상기한 영상 전송 제어 방법에 있어서, 상기 최적의 공간 해상도는 영상의 비트율과 뒤틀림(왜곡) 사이의 관계, 노이즈 비율에 대한 피크 시그널(PSNR), 비디오 프레임을 디코드하는데 요구되는 시간, 축소된 영상을 원래 사이즈로 리사이징 하는데 소요되는 시간등을 모두 고려하여 추출한 토탈 퀄리티 측정 규준에 따라 선택하게 되는데, 이러한 토탈 퀄리티 측정 규준이 추출되는 과정을 하기의 여러 수학식들 및 도면들을 참조하여, 보다 구체적으로 살펴보기로 한다.In the above video transmission control method, the optimal spatial resolution is the relationship between the bit rate and distortion (distortion) of the image, the peak signal (PSNR) for the noise ratio, the time required to decode the video frame, and the reduced image. The total quality measurement standard is selected in consideration of all the time required for resizing to the original size. The process of extracting the total quality measurement standard is described in detail with reference to the following equations and drawings. Let's look at it.

먼저, 도 3은 비트율과 영상 퀄리티간의 관계를 나타내는 그래프로서, x축은 비트율을 나타내고, y축은 영상 퀄리티에 관련될 수 있는 노이즈 비율에 대한 피크 시그널(PSNR)을 나타낸다.First, FIG. 3 is a graph showing the relationship between the bit rate and the image quality, where the x axis represents the bit rate and the y axis represents the peak signal PSNR for a noise ratio that may be related to the image quality.

도 3에 도시된 것과 같이 비트율이 증가할수록 PSNR이 증가하게 되는데, 이러한 비트율과 PSNR의 관계는 하기 수학식들에 의해 도출될 수 있다. As shown in FIG. 3, as the bit rate increases, the PSNR increases. The relationship between the bit rate and the PSNR may be derived by the following equations.

우선, 영상의 비트율과 뒤틀림(왜곡) 사이의 관계를 양자화 이론에 기인하여 정의하면, 예컨대 하기 수학식 (1)과 같이 나타낼 수 있다. First, if the relationship between the bit rate and distortion (distortion) of the image is defined based on the quantization theory, it can be expressed as, for example, the following equation (1).

Figure 112008005434716-pat00001
Figure 112008005434716-pat00001

여기서, D는 MSE(mean-square error)로 측정된 뒤틀림으로서, 오리지날 및 재구성된 픽셀 데이터 사이의 차이의 제곱(스쿼어)이고, R은 디코디드된 비트 스트림의 비트율이고, σx 2은 인풋 시그널의 변화를 나타낸다. 상기 수학식 (1)을 보다 일반적으로 나타내면, 예컨대 하기 수학식 (2)와 같이 나타낼 수 있다. Where D is a distortion measured in mean-square error (MSE), where the square of the difference between the original and reconstructed pixel data (square), R is the bit rate of the decoded bit stream, and σ x 2 is the input Indicates a change in the signal. If the above equation (1) is represented more generally, for example, it can be expressed as the following equation (2).

Figure 112008005434716-pat00002
Figure 112008005434716-pat00002

여기서, γ는 데이터의 상호관계 계수이고, εx 2 는 소오스 분포가 가우시안, 라플라시안 또는 유니폼 분포에 따라 결정되는 스케일링(크기조절) 파라메터이다. Where γ is the correlation coefficient of the data and ε x 2 is a scaling parameter whose source distribution is determined by Gaussian, Laplacian or uniform distribution.

그러나, 영상 품질에 대한 보다 실용적인 측정 규준은, 예컨대 하기 수학식 (3)에 따른 뒤틀림(D)에 관련될 수 있는 노이즈 비율에 대한 피크 시그널(PSNR)로 나타낼 수 있다. However, a more practical measurement criterion for image quality can be expressed as a peak signal (PSNR) for a noise ratio that can be related to distortion (D), for example according to Equation (3) below.

Figure 112008005434716-pat00003
Figure 112008005434716-pat00003

이러한 결과는 영상 품질과 비트율 사이의 리니어 관계를 나타낸다. 그러나, 만약 상기 인풋 소오스의 뒤틀림이 라플라시안을 취할 경우, 예컨대 하기 수학식 (4)와 같은 스퀘어 루트 모델이 제안될 수 있다. These results indicate a linear relationship between picture quality and bit rate. However, if the distortion of the input source takes Laplacian, a square root model, for example, as in Equation 4 below can be proposed.

Figure 112008005434716-pat00004
Figure 112008005434716-pat00004

여기서, R은 비트율이고, q1, q2, q3는 특수한 코딩 방법 및 비디오 컨텐츠에 의존하여, 실험이나 관찰에 의해 경험적으로 추론될 수 있는 상수이다. Where R is the bit rate and q1, q2 and q3 are constants that can be empirically inferred by experimentation or observation, depending on the particular coding method and video content.

상기 도 3 및 수학식 (1)~(4)에 기재된 바와 같이, 영상의 비트율과 영상 퀄리티는 리니어 관계로서, 비트율이 증가할수록 영상 퀄리티가 향상됨을 알 수 있다.As shown in FIG. 3 and Equations (1) to (4), the bit rate and the image quality of the image are linear, and as the bit rate increases, the image quality improves.

한편, 도 4는 다양한 공간 해상도를 가지는 싱글 프레임에 대한 디코딩 타임의 변화를 나타내는 그래프로서, x축은 비트율을 나타내고, y축은 디코딩 타임을 나타낸다.On the other hand, Figure 4 is a graph showing the change in decoding time for a single frame having a variety of spatial resolution, the x axis represents the bit rate, the y axis represents the decoding time.

도 4를 참조하면, 라인 L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320× 256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타내는데, 비트율이 증가할수록 디코딩 타임이 증가함을 알 수 있다. 4, lines L1, L2, L3, L4 and L5 are 352 × 288 (100%), 320 × 256 (80%), 288 × 240 (70%), 272 × 224 (60%), respectively. And 176 x 144 (25%) spatial resolution. Decoding time increases as the bit rate increases.

이러한 비트율과 디코딩 타임의 관계는 하기 식들에 의해 도출될 수 있다. This relationship between bit rate and decoding time can be derived by the following equations.

비디오 프레임을 디코드하는데 요구되는 시간은 매크로 블록수 NMB와 매크로 블록 디코딩을 위한 평균 시간 TMB에 의해, 예컨대 하기 수학식 (5)와 같이 나타낼 수 있다. The time required to decode the video frame can be represented by, for example, the following equation (5) by the number of macro blocks N MB and the average time T MB for macro block decoding.

Figure 112008005434716-pat00005
Figure 112008005434716-pat00005

여기서, 상기 TMB는 두 파트로 나눌 수 있다. 즉, 매크로블럭 헤더 프로세싱, 모션 벡터 디코딩 및 모션 보상을 포함하는 매크로 블록을 처리하는 강제적인 프로세스에 요구되는 시간과, 가변길이 DCT 계수 디코딩, 역양자화 및 역 DCT와 같은 선택적 향상을 위한 시간 OMB으로 나눌 수 있다. Here, the T MB can be divided into two parts. That is, the macroblock header processing, the time for optional enhancement, such as a motion vector decoding and the time required for the compulsory process for processing a macroblock including a motion compensation, and variable-length DCT coefficient decoding, inverse quantization and inverse DCT O MB Can be divided into

통상적으로 영상 품질은 각 매크로블록에 할당된 비트율에 번갈아 비례하는 OMB에 비례하게 된다. 따라서, 상기 수학식 (5)는, 예컨대 하기 수학식 (6)과 같이 상수 a를 가지도록 다시 나타낼 수 있다.Typically, the image quality is proportional to O MB which is alternately proportional to the bit rate assigned to each macroblock. Therefore, Equation (5) can be represented again to have a constant a as shown in Equation (6) below.

Figure 112008005434716-pat00006
Figure 112008005434716-pat00006

나아가, 상기 수학식 (6)에 있어서, 상기 NMB는 NMB = (Sx × Sy)/16×16 에 의해 직접적으로 공간 해상도와 관련되어 있으므로, 예컨대 하기 수학식 (7)과 같이 고유 상수 b를 가지는 식으로 다시 나타낼 수 있다. Furthermore, in Equation (6), the N MB is directly related to the spatial resolution by N MB = (Sx × Sy) / 16 × 16, so that, for example, the intrinsic constant b as in Equation (7) It can be represented again as

Figure 112008005434716-pat00007
Figure 112008005434716-pat00007

여기서, 상기 Sx 및 Sy는 수평 및 수직 방향의 픽셀 수로서, 예컨대 하기 수학식 (8)로 다시 나타낼 수 있다.Here, Sx and Sy are the number of pixels in the horizontal and vertical directions, for example, can be represented by Equation (8) below.

Figure 112008005434716-pat00008
Figure 112008005434716-pat00008

상기 도 4 및 수학식 (5)~(8)에 기재된 바와 같이, 비트율이 증가할수록 디코딩 타임이 리니어하게 증가됨을 알 수 있다.As described in FIG. 4 and Equations (5) to (8), it can be seen that the decoding time increases linearly as the bit rate increases.

그리고, 도 5는 다양한 공간 해상도에 따른 리사이징 타임 변화를 나타내는 그래프로서, x축은 비트율을 나타내고, y축은 리사이징 타임을 나타낸다. 5 is a graph illustrating a change in resizing time according to various spatial resolutions, in which the x axis represents a bit rate and the y axis represents a resizing time.

도 5를 참조하면, 라인 L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타낸다.Referring to Figure 5, lines L1, L2, L3, L4 and L5 are 352 × 288 (100%), 320 × 256 (80%), 288 × 240 (70%), 272 × 224 (60%), respectively. And a spatial resolution of 176 x 144 (25%).

상기 라인 L1은 영상의 프레임 사이즈를 그대로 전송하는 경우이므로, 리사이징 타임이 제로로 나타난다. 그리고, 리사이징 오버헤드로 인해 디코딩된 영상을 디스플레이하기 위한 리사이징 타임은 다양한 공간 해상도에 대해서도 다소 명백하 지 않은 결과를 나타낸다.Since the line L1 transmits the frame size of the image as it is, the resizing time is zero. In addition, the resizing time for displaying the decoded image due to the resizing overhead is somewhat unclear for various spatial resolutions.

따라서, 이러한 리사이징 오버헤드를 반영하여 비트율과 전체적인 디코딩 타임(디코딩 타임+리사이징 타임)에 대한 파이널 수학식을 산출하면, 예컨대 디스플레이 시간 상수 t3이 포함된 하기 수학식 (9)와 같이 표현될 수 있다. Accordingly, when the final equation for the bit rate and the overall decoding time (decoding time + resizing time) is calculated by reflecting such resizing overhead, it can be expressed as Equation (9) including, for example, the display time constant t3. .

Figure 112008005434716-pat00009
Figure 112008005434716-pat00009

그리고, 상기 수학식 (9)에 따른 비트율과 전체적인 디코딩 타임간의 관계는 도 6에 도시되어 있다. The relationship between the bit rate and the overall decoding time according to Equation (9) is shown in FIG.

도 6을 참조하면, 라인 L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타내는데, 비트율이 증가할수록 디코딩 타임과 리사이징 타임이 결합된 토탈 디코딩 타임이 증가함을 알 수 있다.6, lines L1, L2, L3, L4, and L5 are 352 × 288 (100%), 320 × 256 (80%), 288 × 240 (70%), 272 × 224 (60%), respectively. And 176 × 144 (25%) spatial resolution, and as the bit rate increases, the total decoding time combined with the decoding time and the resizing time increases.

상기 도 3 내지 도 6를 통해 확인한 바와 같이, 비디오 컨텐츠를 전송함에 있어서, 비트율이 증가함에 따라 영상 퀄리티가 향상됨과 아울러 디코딩 타임이 증가하는 것을 알 수 있다.As shown in FIG. 3 to FIG. 6, in transmitting video content, as the bit rate is increased, the image quality is improved and the decoding time is increased.

이때, 디코딩 타임이 증가한다는 것은 전력 소비가 증가한다는 것을 의미한다. 따라서, 비트율을 증가시키는 것은 영상 퀄리티면에서는 이점이 될 수 있으나, 소비 전력면에서는 매우 불리한 조건이 된다. 특히, 사용량이 유한한 배터리를 전력원으로 사용하는 핸드 핼드 디바이스의 경우, 높은 소비 전력은 매우 치명적인 단점이 된다.In this case, an increase in decoding time means an increase in power consumption. Therefore, increasing the bit rate may be advantageous in terms of image quality, but is a very disadvantageous condition in terms of power consumption. In particular, in the case of a handheld device using a limited-use battery as a power source, high power consumption is a very fatal disadvantage.

따라서, 본 발명에서는 주어진 전력 공급 레벨 P와 비트율 R 조건하에서 최상의 영상 퀄리티를 제공하면서도, 전력 소모를 절감할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제시하고자 한다. Accordingly, the present invention provides a spatial resolution control system of an image and an image transmission control method using the same to provide the best image quality under a given power supply level P and a bit rate R, and to reduce power consumption.

하기 수학식 (10)에는 영상 퀄리티와 에너지 변화에 따른 비디오 컨텐츠의 토탈 퀄리티 규준이 정의되어 있다. In Equation (10), a total quality standard of video content according to a change in image quality and energy is defined.

Figure 112008005434716-pat00010
Figure 112008005434716-pat00010

여기서, φ는 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준으로서, Q는 영상 퀄리티를 나타내고, E는 영상 품질을 달성하는데 요구되는 에너지, 즉 전력 소비량을 나타낸다.Here, φ is a total quality criterion in consideration of image quality and power consumption, Q represents image quality, and E represents energy, that is, power consumption required to achieve image quality.

상기 수학식 (10)에 대하여, 추가적인 변화요소로서, 에너지 소비에 대한 사용자들의 관심도를 반영하는 w를 더 도입하여, 예컨대 수학식 (11)과 같이 재구성할 수 있다. With respect to Equation (10), as an additional change factor, w that reflects the user's interest in energy consumption may be further introduced and reconfigured as shown in Equation (11).

Figure 112008005434716-pat00011
Figure 112008005434716-pat00011

상기 수학식 (11)에서와 같이, 에너지 소비에 대한 사용자들의 관심 지수인 w이 커질수록 에너지 소비를 감소시킬 수 있게 된다.As shown in Equation (11), as the user's interest index w for energy consumption increases, the energy consumption can be reduced.

또한, 에너지 및 실행 시간이 교체될 수 있으므로, 상기 수학식 (11)의 Q In addition, since energy and execution time can be exchanged, Q in Equation 11 above.

및 E를 확장하여, 예컨대 하기 수학식 (12)와 같이 나타낼 수 있다. And E can be expanded, for example, as shown in Equation (12) below.

Figure 112008005434716-pat00012
Figure 112008005434716-pat00012

그리고, 상기 수학식 (12)는, 예컨대 하기 수학식 (13)과 같은 함수로 표현될 수 있다. Equation (12) may be represented by a function such as Equation (13).

Figure 112008005434716-pat00013
Figure 112008005434716-pat00013

여기서, R, S 및 w는 각각 비트율, 공간 해상도 및 에너지 관심 지수를 나타낸다. 따라서, 상기한 R,S 및 w를 이용하여 영상의 토탈 퀄리티를 계산할 수 있게 된다. 예컨대, 비트율과 에너지 관심 지수가 정해지면, 영상 퀄리티는 공간 해상도에 의존하게 되므로, 최상의 퀄리티에 해당하는 공간 해상도를 선택할 수 있게 된다.Where R, S and w represent the bit rate, spatial resolution and energy interest index, respectively. Therefore, the total quality of the image can be calculated using the above R, S and w. For example, when the bit rate and the energy interest index are determined, the image quality depends on the spatial resolution, so that the spatial resolution corresponding to the best quality can be selected.

하기 도 7 및 도 8에는 각각 스테판 시퀀스 및 모바일 시퀀스에 대한 실험 결과로서, 다양한 공간 해상도에 대한 비트율과 영상 품질간의 관계가 도시되어 있다.7 and 8 illustrate the relationship between the bit rate and the image quality for various spatial resolutions as experimental results of the Stefan sequence and the mobile sequence, respectively.

먼저, 도 7은 스테판 시퀀스에 따른 결과로서, x축은 비트율을 나타내고, y축은 PSNR을 나타낸다. 그리고, 라인 L1, L2 및 L3은 각각 352×288(100%), 288×240(70%) 및 176×144(25%)의 공간 해상도를 나타낸다.First, FIG. 7 shows the result of the Stefan sequence, where the x-axis represents the bit rate and the y-axis represents the PSNR. Lines L1, L2 and L3 show spatial resolutions of 352x288 (100%), 288x240 (70%) and 176x144 (25%), respectively.

통상적으로, 비트율이 동일한 조건하에서는 공간 해상도가 높을수록 PSNR 또 한 증가하는 경향을 보이게 된다. 그러나, 도 7에 도시된 것과 같이, 비트율이 특정 수치 이하(특정 대역폭 이하)일 경우에는 보다 낮은 공간 해상도에서의 PSNR이 오히려 우수함을 알 수 있다.In general, under the same bit rate conditions, the higher the spatial resolution, the more likely the PSNR also tends to increase. However, as shown in FIG. 7, it can be seen that the PSNR at a lower spatial resolution is rather excellent when the bit rate is below a certain value (below a specific bandwidth).

즉, 비트율이 약 100kbps 이상일 경우에는 공간 해상도가 가장 높은 라인 L1의 PSNR이 가장 우수하나, 비트율이 약 100~60kbps 일 경우에는 공간 해상도가 288×240(70%)인 라인 L2의 PSNR이 가장 높음을 알 수 있다.That is, the PSNR of the line L1 with the highest spatial resolution is the best when the bit rate is about 100kbps or more, but the PSNR of the line L2 with the spatial resolution of 288 × 240 (70%) is the highest when the bit rate is about 100 ~ 60kbps. It can be seen.

또한, 비트율이 약 60kbps 이하일 경우에는 공간 해상도가 352×288(100%)인 라인 L1 또는 공간 해상도가 288×240(70%)인 라인 L2에 비해 공간 해상도가 176×144(25%)로서 가장 낮은 라인 L3의 PSNR이 가장 높음을 알 수 있다.If the bit rate is about 60kbps or less, the spatial resolution is 176 × 144 (25%) compared to the line L1 with 352 × 288 (100%) or the line L2 with 288 × 240 (70%). It can be seen that the PSNR of the low line L3 is the highest.

상기 도 7에서와 같은 실험 결과는 도 8을 통해서도 동일하게 확인할 수 있다. Experimental results as shown in FIG. 7 can be similarly confirmed through FIG. 8.

도 8은 모바일 시퀀스에 따른 결과로서, x축은 비트율을 나타내고, y축은 PSNR을 나타내며, L1, L2 및 L3은 각각 352×288(100%), 272×224(60%) 및 176×144(25%)의 공간 해상도를 나타낸다.8 shows the results according to the mobile sequence, where the x-axis represents the bit rate, the y-axis represents the PSNR, and L1, L2 and L3 are 352 × 288 (100%), 272 × 224 (60%) and 176 × 144 (25), respectively. %) Spatial resolution.

도 8을 참조하면, 즉, 비트율이 약 110kbps 이상일 경우에는 공간 해상도가 가장 높은 라인 L1의 PSNR이 가장 우수하나, 비트율이 약 110~70kbps 일 경우에는 공간 해상도가 272×224(60%)인 라인 L2의 PSNR이 가장 높음을 알 수 있다. Referring to FIG. 8, that is, when the bit rate is about 110 kbps or more, the PSNR of the line L1 having the highest spatial resolution is the best, but when the bit rate is about 110 to 70 kbps, the line having the spatial resolution of 272 × 224 (60%) It can be seen that the PSNR of L2 is the highest.

또한, 비트율이 약 70kbps 이하일 경우에는 공간 해상도가 352×288(100%)인 라인 L1 또는 공간 해상도가 272×224(70%)인 라인 L2에 비해 공간 해상도가 176×144(25%)로서 가장 낮은 라인 L3의 PSNR이 가장 높음을 알 수 있다.If the bit rate is about 70 kbps or less, the spatial resolution is 176 × 144 (25%) compared to the line L1 with 352 × 288 (100%) or the line L2 with 272 × 224 (70%). It can be seen that the PSNR of the low line L3 is the highest.

따라서, 상기 도 7에서의 실험 결과에 의하면, 비트율이 약 100~60kbps 사이인 경우에는 공간 해상도를 288×240(70%)로 축소하여 전송하는 것이 영상 퀄리티 및 전력 손실면에서 바람직하며, 비트율이 약 60kbps 이하일 경우에는 공간 해상도를 176×144(25%)로 축소하여 전송하는 것이 영상 퀄리티 및 전력 손실면에서 바람직하다. Therefore, according to the experimental results in FIG. 7, when the bit rate is between about 100 and 60 kbps, it is preferable to reduce the spatial resolution to 288 x 240 (70%) for transmission in terms of image quality and power loss. If it is about 60 kbps or less, it is preferable to reduce the spatial resolution to 176 x 144 (25%) and to transmit the image quality and power loss.

또한, 상기 도 8에서의 실험 결과에 의하면, 비트율이 약 110~70kbps 일 경우에는 공간 해상도를 272×224(60%)로 축소하여 전송하는 것이 영상 퀄리티 및 전력 손실면에서 바람직하며, 비트율이 약 70kbps 이하일 경우에는 공간 해상도를 176×144(25%)로 축소하여 전송하는 영상 퀄리티 및 전력 손실면에서 바람직하다.In addition, according to the experimental results in FIG. 8, when the bit rate is about 110 to 70 kbps, it is preferable to reduce the spatial resolution to 272 x 224 (60%) for transmission in terms of image quality and power loss. In the case of 70 kbps or less, it is preferable in view of image quality and power loss of reducing the spatial resolution to 176 × 144 (25%).

한편, 축소된 프레임들을 정해진 디스플레이 사이즈에 적합하도록 리사이징하는 과정이 필요하다. 축소된 프레임들을 정해진 디스플레이 사이즈에 적합하도록 업샘플하는 리사이징 알고리즘은, 본 발명에 따른 영상 해상도 조절 과정에 있어서 매우 중요한 역할을 한다. 이러한 리사이징 알고리즘은 이미지 프로세싱 커뮤니티에 의해 광범위하게 연구되어 왔는데, 단순히 두배 곱하는 것에서부터 매우 복잡한 계산 결과에 이르는 다양한 알고리즘이 있다. Meanwhile, there is a need for a process of resizing the reduced frames to fit a predetermined display size. A resizing algorithm that upsamples the reduced frames to fit a given display size plays a very important role in the image resolution adjustment process according to the present invention. These resizing algorithms have been extensively studied by the image processing community, with a variety of algorithms ranging from simple multiplication to very complex computational results.

이러한 리사이징은, 예컨대 하기의 4가지 방법들에 의해 수행될 수 있다. Such resizing can be performed, for example, by the following four methods.

먼저, 방법 0은 확장된 공간에 대한 비례 축소를 뒷받침하도록 설계되어 있는데, Lanczos-3 필터로부터 파생된 integer-based 6-tap 세트를 사용한다. 따라서, 어떠한 스케일링(비례축소) 비율도 지지되며, 상기 비율은 수평 및 수직 방향으로 달라질 수 있다.First, method 0 is designed to support proportional reduction for extended space, using an integer-based 6-tap set derived from the Lanczos-3 filter. Thus, any scaling ratio is supported, which ratio can vary in the horizontal and vertical directions.

방법 1은 단지 한쌍의 리스케일링 비율을 지지하는데, 몇몇 한쌍의 스테이지에 의해 업샘플링이 실현된다.Method 1 only supports a pair of rescaling rates, where upsampling is realized by several pairs of stages.

방법 3은 three-lobed lanczos-windowed sinc 함수를 사용하는 것이다. Method 3 uses the three-lobed lanczos-windowed sinc function.

그리고, 방법 4는 AVC half-sample 필터와 쌍일차(bi-linear) 필터의 결합을 이용하는 것이다. And method 4 uses a combination of an AVC half-sample filter and a bi-linear filter.

상기한 네 가지 리사이징 방법(방법 0, 방법 1, 방법 3 및 방법 4)에 의해 리사이징된 영상의 PSNR 및 실행 타임이 하기 표 1에 도시되어 있다.The PSNR and execution time of the resized image by the four resizing methods (method 0, method 1, method 3 and method 4) described above are shown in Table 1 below.

Resizing Method Resizing Method PSNR(db)PSNR (db) Execution time(ms)Execution time (ms) 00 28.6828.68 353353 1One 26.5326.53 199199 33 26.5126.51 310310 44 26.5326.53 656656

상기 [표 1]을 통해 알 수 있는 바와 같이, 방법 0은 실행 타임은 타 방법들에 비해 높지 않으면서도 최상의 PSNR을 제공한다. 따라서, 축소된 프레임들을 리사이징함에 있어서, 상기 방법 0을 적용하는 것이 가장 바람직하다. As can be seen from Table 1, Method 0 provides the best PSNR while the execution time is not higher than other methods. Thus, in resizing reduced frames, it is most desirable to apply the method 0 above.

그리고, 도 9 및 도 10에는 각각 스테판 시퀀스 및 포어맨 시퀀스에 대한 실험 결과로서, 다양한 비트율에 대한 토탈 영상 퀄리티의 변화가 도시되어 있다.9 and 10 show changes in total image quality for various bit rates as experimental results of the Stefan sequence and the Foreman sequence, respectively.

먼저, 도 9를 참조하면, x축은 비트율을 나타내고, y축은 토탈 영상 퀄리티를 나타내며, L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타낸다.First, referring to FIG. 9, the x axis represents a bit rate, the y axis represents a total image quality, and L1, L2, L3, L4, and L5 represent 352 × 288 (100%), 320 × 256 (80%), and 288, respectively. 240 x 70 (70%), 272 x 224 (60%), and 176 x 144 (25%).

여기서, 상기 토탈 영상 퀄리티는 비트율 변화에 따른 PSNR, 디코딩 타임 및 리사이징 타임 및 에너지 소비에 대한 사용자들의 관심 지수인 w을 모두 고려하여 산출되는 값이다.Here, the total image quality is a value calculated by considering all of w, which is an index of interest of users for PSNR, decoding time and resizing time, and energy consumption according to a bit rate change.

통상적으로, 비트율이 동일한 조건하에서는 공간 해상도가 높을수록 토탈 영상 퀄리티가 향상되는 경향을 보이게 된다. 그러나, 도 9에 도시된 것과 같이, 비트율이 특정 수치 이하일 경우에는 보다 낮은 공간 해상도에서의 토탈 영상 퀄리티가 보다 우수함을 알 수 있다. In general, under the condition of the same bit rate, the higher the spatial resolution, the more the total image quality tends to be improved. However, as shown in FIG. 9, when the bit rate is below a certain value, it can be seen that the total image quality at a lower spatial resolution is better.

즉, 비트율이 약 120 이상일 경우에는 라인 L1~L4의 토탈 영상 퀄리티가 우수하나, 비트율이 약 120kbps 이하일 경우에는 공간 해상도가 가장 낮은 라인 L5의 토탈 영상 퀄리티가 오히려 가장 우수한 것으로 나타나고 있다. That is, when the bit rate is about 120 or more, the total image quality of the lines L1 to L4 is excellent, but when the bit rate is about 120 kbps or less, the total image quality of the line L5 having the lowest spatial resolution is rather excellent.

상기 도 9에서와 같은 실험 결과는 도 10을 통해서도 동일하게 확인할 수 있다.Experimental results as shown in FIG. 9 can be confirmed in the same manner through FIG. 10.

도 10을 참조하면, x축은 비트율을 나타내고, y축은 토탈 영상 퀄리티는 나타내며, L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타낸다.Referring to FIG. 10, the x-axis represents the bit rate, the y-axis represents the total image quality, and L1, L2, L3, L4 and L5 are 352 × 288 (100%), 320 × 256 (80%), and 288 × 240, respectively. (70%), 272 × 224 (60%), and 176 × 144 (25%).

도 10을 참조하면, 비트율이 약 60 이상일 경우에는 라인 L1~L4의 토탈 영상 퀄리티가 우수하나, 비트율이 약 60kbps 이하일 경우에는 공간 해상도가 가장 낮은 라인 L5의 토탈 영상 퀄리티가 오히려 가장 우수한 것으로 나타나고 있다.Referring to FIG. 10, when the bit rate is about 60 or more, the total image quality of the lines L1 to L4 is excellent, but when the bit rate is about 60 kbps or less, the total image quality of the line L5 having the lowest spatial resolution is rather excellent. .

따라서, 영상 전송시, 100% 크기의 프레임 사이즈를 그대로 유지한 상태로 수신자측으로 전송하는 경우에 비해(이러한 경우, 물론 양자화 계수를 이용한 통상의 비트율 조절 과정은 수반될 것이다), 100% 크기의 프레임 사이즈를 176×144(25%)의 공간 해상도를 가지도록 축소한 뒤, 수신단측으로 전송할 경우, 수신단측에 보여지는 영상의 퀄리티를 보다 향상시킬 수 있게 된다. 그리고, 비트율이 낮을수록 디코딩 타임이 감소하므로, 수신단측에서의 전력 소모 또한 반감시킬 수 있게 된다.Therefore, when transmitting an image, a frame of 100% size is compared with the case of transmitting to a receiver side while maintaining a frame size of 100% (in this case, a normal bit rate adjustment process using a quantization coefficient will be involved). When the size is reduced to have a spatial resolution of 176 × 144 (25%) and then transmitted to the receiving end, the quality of the image shown on the receiving end can be further improved. In addition, since the decoding time is reduced as the bit rate is lower, the power consumption at the receiving end can also be halved.

하기 도 11 및 도 12에는 원 프레임 사이즈(352×288)를 축소시키지 않고 그대로 전송한 경우(100%→100%)와, 원 프레임 사이즈(352×288(100%))를 176×144(25%) 사이즈로 축소시켜 전송한 경우의 수신자측에 디스플레이되는 화면 상태가 도시되어 있다. 11 and 12 below, the original frame size (352 × 288) is transmitted as it is without being reduced (100% → 100%), and the one frame size (352 × 288 (100%)) is 176 × 144 (25). %) The state of the screen displayed on the receiver side when the transmission is reduced in size is shown.

원래의 프레임 사이즈(352×288)를 변화시키지 않은 상태로 그대로 전송할 경우(100%→100%)에는 원 프레임 사이즈(352×288)를 176×144(25%) 크기로 축소시켜 전송한 경우에 비해 수신자측에서 디스플레이되는 영상의 PSNR은 보다 우수한 것으로 나타난다(도 12의 PSNR이 보다 우수).When the original frame size (352 × 288) is transmitted without changing (100% → 100%), when the original frame size (352 × 288) is reduced to 176 × 144 (25%) size and transmitted In comparison, the PSNR of the image displayed on the receiver side is better (the PSNR of FIG. 12 is better).

그러나, 원 프레임 사이즈(352×288)를 176×144(25%) 크기로 축소시켜 전송한 경우에는 원 프레임 사이즈(352×288)를 변화시키지 않은 상태로 그대로 전송한 경우(100%→100%)에 비해 수신자측에 디스플레이되는 영상의 퀄리티가 보다 우수한 것으로 나타난다(도 11의 영상 퀄리티가 보다 우수). 이는 비트율 변화에 따른 PSNR 이외에 디코딩 타임 및 리사이징 타임이 고려되었기 때문인 것으로 추측할 수 있다.However, when the original frame size (352 × 288) is reduced to 176 × 144 (25%) size and transmitted, the original frame size (352 × 288) is transmitted as it is without changing (100% → 100%). It is shown that the quality of the image displayed on the receiver side is better than that (). This may be because the decoding time and the resizing time are considered in addition to the PSNR according to the bit rate change.

상기 PSNR은 노이즈 비율에 대한 피크 시그널로서, 영상 퀄리티의 정도를 나타내는 하나의 규준이 될 있으나, 이것을 영상 퀄리티와 동일하게 취급할 수는 없다. 따라서, 상기 도 12의 PSNR이 보다 우수하나, 실질적으로 수신자의 육안을 통해 확인되는 영상 퀄리티는 도 11의 경우가 보다 우수하므로, 원 프레임 사이즈(352×288)를 176×144(25%) 크기로 축소시켜 전송하는 것이 영상 퀄리티 및 전력 손실 측면에서 유리하다.The PSNR is a peak signal with respect to the noise ratio, and may be a criterion for indicating the degree of image quality, but the PSNR cannot be treated the same as the image quality. Accordingly, although the PSNR of FIG. 12 is better, the image quality confirmed through the naked eye of the receiver is substantially better than that of FIG. 11, so that the original frame size (352 × 288) is 176 × 144 (25%). The reduced transmission is advantageous in terms of image quality and power loss.

특히, 핸드 헬드 디바이스간 영상은 주파수 대역이 낮은 저전송로를 통해 송/수신하게 된다. 따라서, 영상의 데이터량을 축소시켜 전송하게 되는데, 데이터 비트율이 낮을수록 영상 퀄리티가 저하되는 문제점이 있다.In particular, video between handheld devices is transmitted / received through a low transmission path having a low frequency band. Therefore, the amount of data in the image is reduced and transmitted. However, the lower the data bit rate, the lower the image quality.

그러나, 상기한 바와 같이, 특정 비트율 이하에서는 공간 해상도가 낮은 경우에 오히려 영상 퀄리티가 우수해 진다는 것을 밝혀내었다. However, as described above, it has been found that the image quality is better when the spatial resolution is lower than the specific bit rate.

따라서, 본 발명에서와 같이, 핸드 핼드 디바이스를 비롯한 각종 영상 디스플레이장치간 영상을 전송함에 있어서, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준을 설정하고, 상기 토탈 퀄리티 규준에 따라 최적의 공간 해상도를 계산하여, 대역폭이 특정 수치 이하의 환경에서는 원래의 영상 프레임 사이즈를 소정 사이즈로 축소시켜 전송하고, 수신단측에서는 상기 축소되어 전송된 영상 프레임을 원래의 프레임 사이즈로 복원하여 디스플레이함으로써, 수신단측에서의 영상 퀄리티를 보다 향상시킬 수 있게 되며, 디코딩 타임을 단축시켜 소비 전력 또한 절감할 수 있게 된다. 실질적으로, 대역폭이 특정 수치 이하의 환경하에서 타 조건은 동일하다고 가정했을 때, 양자화 계수를 조절하여 전송하는 경우에 비하여 공간 해상도를 감소시켜 전송할 경우에 약 1 db 이상 영상 퀄리티를 향상시킬 수 있으며, 전력 소비 또한 반감시킬 수 있는 것으로 나타나고 있다.Accordingly, as in the present invention, in transmitting images between various image display apparatuses including a handheld device, total quality criteria in consideration of image quality and power consumption are set, and an optimal spatial resolution is calculated according to the total quality criteria. In the environment where the bandwidth is less than the specified value, the original video frame size is reduced to a predetermined size and transmitted. On the receiving end, the reduced and transmitted video frame is restored and displayed to the original frame size, so that the image quality at the receiving end is displayed. This can improve the power consumption by reducing the decoding time. Substantially, when the bandwidth is lower than a certain value, it is assumed that the other conditions are the same, and the image quality can be improved by about 1 db or more when transmitting by reducing the spatial resolution compared to the case of transmitting by adjusting the quantization coefficient. Power consumption has also been shown to be halved.

도 1은 본 발명에 따른 영상의 공간 해상도 제어 시스템의 블록 구성도를 나타낸다. 1 is a block diagram of a system for controlling a spatial resolution of an image according to the present invention.

도 2는 본 발명에 따른 영상 전송 제어 방법을 나타낸다. 2 shows an image transmission control method according to the present invention.

도 3은 비트율과 영상 퀄리티간의 관계를 나타내는 그래프이다. 3 is a graph showing a relationship between a bit rate and video quality.

도 4는 다양한 공간 해상도를 가지는 싱글 프레임에 대한 디코딩 타임의 변화를 나타내는 그래프이다. 4 is a graph illustrating a change in decoding time for a single frame having various spatial resolutions.

도 5는 다양한 공간 해상도에 따른 리사이징 타임 변화를 나타내는 그래프이다. 5 is a graph illustrating a change in resizing time according to various spatial resolutions.

도 6은 비트율과 전체적인 디코딩 타임간의 관계를 나타내는 그래프이다. 6 is a graph showing the relationship between bit rate and overall decoding time.

도 7 및 도 8은 각각 스테판 시퀀스 및 모바일 시퀀스에 대한 실험 결과로서, 다양한 공간 해상도에 대한 비트율과 영상 품질간의 관계를 나타내는 그래프이다. 7 and 8 are graphs showing the relationship between the bit rate and the image quality for various spatial resolutions as the experimental results for the Stefan sequence and the mobile sequence, respectively.

도 9 및 도 10은 각각 스테판 시퀀스 및 포어맨 시퀀스에 대한 실험 결과로서, 다양한 비트율에 대한 토탈 영상 퀄리티의 변화를 나타내는 그래프이다. 9 and 10 are graphs illustrating changes in total image quality for various bit rates, respectively, as a result of experiments on the Stefan sequence and the Foreman sequence.

도 11은 원 프레임 사이즈(352×288)를 축소시키지 않고 그대로 전송한 경우(100%→100%), 수신자측에 디스플레이되는 화면 상태를 나타낸다.Fig. 11 shows the screen state displayed on the receiver side when the original frame size (352x288) is transmitted as it is without being reduced (100% → 100%).

도 12는 원 프레임 사이즈(352×288(100%))를 176×144(25%) 사이즈로 축소시켜 전송한 경우, 수신자측에 디스플레이되는 화면 상태를 나타낸다.Fig. 12 shows the screen state displayed on the receiver side when the original frame size 352 × 288 (100%) is reduced to 176 × 144 (25%) size and transmitted.

Claims (9)

삭제delete 삭제delete 삭제delete 삭제delete 영상 전송 제어 방법에 있어서,In the video transmission control method, 영상을 전송할 네트웍 상태를 모니터링하는 단계와,Monitoring network status to transmit video; 상기 영상 전송에 이용할 수 있는 대역폭을 검출하는 단계와,Detecting a bandwidth available for the image transmission; 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 규준에 따라, 상기 영상을 수신하게 될 수신단측에서의 영상 퀄리티를 향상시키고, 전력 소비를 절감할 수 있도록 하는 최적의 공간 해상도를 선택한 뒤, 상기 선택된 최적의 공간 해상도를 가지도록 상기 영상의 프레임 사이즈를 조절하여 수신단측으로 전송하는 단계와,According to the total quality standard considering the image quality and the power consumption, the optimal spatial resolution is selected to improve the image quality at the receiving end to receive the image and reduce the power consumption, and then select the selected optimal spatial resolution. Adjusting the frame size of the video so as to have it transmitted to a receiving end; 상기 수신단측에서는 축소된 영상을 수신한 뒤, 이를 원래의 사이즈로 리사이징하여 디스플레이하는 단계를 포함하고, Receiving the reduced image from the receiving end, and resizing the image to its original size and displaying the same; 상기 영상의 프레임사이즈를 조절하여 수신단측으로 전송하는 단계에 있어서, 최적의 공간 해상도는 영상의 비트율과 뒤틀림(왜곡) 사이의 관계, 노이즈 비율에 대한 피크 시그널(PSNR), 비디오 프레임을 디코드하는데 요구되는 시간, 축소된 영상을 원래 사이즈로 리사이징 하는데 소요되는 시간을 모두 고려하여 추출한 토탈 퀄리티 측정 규준에 따라 선택함을 특징으로 하는 영상 전송 제어 방법.In the step of adjusting and transmitting the frame size of the image to the receiving end, the optimal spatial resolution is required to decode the video frame, the peak signal (PSNR) for the noise ratio, the relationship between the bit rate and distortion (distortion) of the image A method for controlling video transmission, characterized in that the selection is made according to a total quality measurement standard extracted by considering all the time and time required to resize a reduced image to its original size. 제 5항에 있어서, 상기 영상의 비트율과 뒤틀림(왜곡) 사이의 관계는, The method of claim 5, wherein the relationship between the bit rate and distortion (distortion) of the video,
Figure 112009068996618-pat00014
(D는 MSE(mean-square error)로 측정된 뒤틀림, R은 디코디드된 비트 스트림의 비트율, εx 2은 인풋 시그널의 변화)
Figure 112009068996618-pat00014
(D is the distortion measured in mean-square error (MSE), R is the bit rate of the decoded bit stream, and ε x 2 is the change in the input signal.)
또는, or,
Figure 112009068996618-pat00015
(γ는 데이터의 상호관계 계수,εx 2 는 소오스 분포가 가우시안, 라플라시안 또는 유니폼 분포에 따라 결정되는 스케일링(크기조절) 파라메터)로 정의됨을 특징으로 하는 영상 전송 제어 방법.
Figure 112009068996618-pat00015
(γ is a correlation coefficient of the data, ε x 2 is a scaling (scaling) parameter whose source distribution is determined according to Gaussian, Laplacian or uniform distribution).
제 5항에 있어서, 상기 노이즈 비율에 대한 피크 시그널(PSNR)은,The method of claim 5, wherein the peak signal (PSNR) for the noise ratio,
Figure 112009068996618-pat00016
Figure 112009068996618-pat00016
또는,
Figure 112009068996618-pat00017
(R은 비트율, q1, q2, q3는 특수한 코딩 방법 및 비디오 컨텐츠에 의존하여, 실험이나 관찰에 의해 경험적으로 추론될 수 있는 상수)
or,
Figure 112009068996618-pat00017
(R is the bit rate, q1, q2, q3 are constants that can be empirically inferred by experiment or observation, depending on the particular coding method and video content)
로 정의됨을 특징으로 하는 영상 전송 제어 방법.Image transmission control method characterized in that defined by.
제 5항에 있어서, 상기 비디오 프레임을 디코드하는데 요구되는 시간은,The method of claim 5, wherein the time required to decode the video frame is:
Figure 112008005434716-pat00018
(NMB는 매크로 블록수, TMB는 매크로 블록 디코딩을 위한 평균 시간),
Figure 112008005434716-pat00018
(N MB is the number of macroblocks, T MB is the average time for macroblock decoding),
또는,
Figure 112008005434716-pat00019
(OMB는 가변길이 DCT 계수 디코딩, 역양자화 및 역 DCT와 같은 선택적 향상을 위한 시간, a는 상수),
or,
Figure 112008005434716-pat00019
(O MB is the time for selective enhancements such as variable-length DCT coefficient decoding, inverse quantization, and inverse DCT, a is a constant),
또는, or,
Figure 112008005434716-pat00020
(NMB = (Sx × Sy)/16×16, b는 상수),
Figure 112008005434716-pat00020
(N MB = (Sx × Sy) / 16 × 16, b is a constant),
또는, or, T= t1R + t2S,T = t 1 R + t 2 S, 또는,or, T= t1R + t2S + t3 , (t3은 디스플레이 시간)T = t 1 R + t 2 S + t 3 , (t 3 is the display time) 로 정의됨을 특징으로 하는 영상 전송 제어 방법.Image transmission control method characterized in that defined by.
제 5항에 있어서, 영상에 대한 토탈 퀄리티 측정 규준은, The method of claim 5, wherein the total quality measurement standard for the image is:
Figure 712010000503582-pat00021
(φ는 토탈 퀄리티 측정 규준, Q는 영상 퀄리티, E는 영상 품질을 달성하는데 요구되는 에너지),
Figure 712010000503582-pat00021
(φ is total quality measurement standard, Q is image quality, E is energy required to achieve image quality),
또는, or,
Figure 712010000503582-pat00022
(w는 에너지 소비에 대한 사용자들의 관심 지수),
Figure 712010000503582-pat00022
(w is the user's interest in energy consumption),
또는, or,
Figure 712010000503582-pat00023
Figure 712010000503582-pat00023
또는, or, φ= f(R,S,w) ,φ = f (R, S, w), 로 정의됨을 특징으로 하는 영상 전송 제어 방법.Image transmission control method characterized in that defined by.
KR1020080006808A 2008-01-22 2008-01-22 spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system KR100954303B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080006808A KR100954303B1 (en) 2008-01-22 2008-01-22 spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080006808A KR100954303B1 (en) 2008-01-22 2008-01-22 spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system

Publications (2)

Publication Number Publication Date
KR20090080830A KR20090080830A (en) 2009-07-27
KR100954303B1 true KR100954303B1 (en) 2010-04-21

Family

ID=41291866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080006808A KR100954303B1 (en) 2008-01-22 2008-01-22 spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system

Country Status (1)

Country Link
KR (1) KR100954303B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015009107A1 (en) * 2013-07-19 2015-01-22 Samsung Electronics Co., Ltd. Method and apparatus for generating 3k-resolution display image for mobile terminal screen
KR20220014669A (en) 2020-07-29 2022-02-07 주식회사 핀그램 Method and system for adaptive image transferring for enhancing image quality

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101067317B1 (en) * 2009-09-30 2011-09-23 (주)유디웍스 Apparatus and method for transmitting an image
CN102883157B (en) * 2011-07-12 2015-09-09 浙江大学 Method for video coding and video encoder
KR101403512B1 (en) * 2013-02-28 2014-06-09 주식회사에어플러그 A method for selectively changing a network being used according to a state in receiving content data, and an apparatus for said method
KR101289758B1 (en) * 2013-05-06 2013-07-26 (주)오티에스 Transmission system and method for variable streaming of hd media
KR102085270B1 (en) * 2013-08-12 2020-03-05 삼성전자 주식회사 Method for selecting resolution with minimum distortion value and devices performing the method
KR20210067788A (en) 2019-11-29 2021-06-08 삼성전자주식회사 Electronic apparatus, system and control method thereof
CN111726554B (en) 2020-06-30 2022-10-14 阿波罗智能技术(北京)有限公司 Image processing method, device, equipment and storage medium
CN116095355A (en) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 Video display control method and device, equipment, medium and product thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040080982A (en) * 2003-03-07 2004-09-20 삼성전자주식회사 Apparatus and method for processing audio signal, and computer-readable recording media for storing computer program
KR20060066521A (en) * 2004-12-13 2006-06-16 삼성전자주식회사 Transcoding apparatus and method for seamless video contents transmission
KR20070045982A (en) * 2005-10-28 2007-05-02 캐논 가부시끼가이샤 Image distribution system and client terminal and control method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040080982A (en) * 2003-03-07 2004-09-20 삼성전자주식회사 Apparatus and method for processing audio signal, and computer-readable recording media for storing computer program
KR20060066521A (en) * 2004-12-13 2006-06-16 삼성전자주식회사 Transcoding apparatus and method for seamless video contents transmission
KR20070045982A (en) * 2005-10-28 2007-05-02 캐논 가부시끼가이샤 Image distribution system and client terminal and control method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015009107A1 (en) * 2013-07-19 2015-01-22 Samsung Electronics Co., Ltd. Method and apparatus for generating 3k-resolution display image for mobile terminal screen
US9734557B2 (en) 2013-07-19 2017-08-15 Samsung Electronics Co., Ltd. Method and apparatus for generating 3K-resolution display image for mobile terminal screen
KR20220014669A (en) 2020-07-29 2022-02-07 주식회사 핀그램 Method and system for adaptive image transferring for enhancing image quality
US11509912B2 (en) 2020-07-29 2022-11-22 Fingram Co., Ltd Method and system for adaptive image transferring for enhancing image quality

Also Published As

Publication number Publication date
KR20090080830A (en) 2009-07-27

Similar Documents

Publication Publication Date Title
KR100954303B1 (en) spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system
JP6714695B2 (en) Real-time video encoder rate control using dynamic resolution switching
US9661329B2 (en) Constant quality video coding
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
US8218638B2 (en) Method and system for optical flow based motion vector estimation for picture rate up-conversion
US10574988B2 (en) System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
US10555002B2 (en) Long term reference picture coding
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
US20090207915A1 (en) Scalable motion search ranges in multiple resolution motion estimation for video compression
WO1998034408A1 (en) Video encoder performing adaptive compression encoding in accordance with viewer information data
US20150326857A1 (en) Video coding quantization parameter determination suitable for video conferencing
US20120195356A1 (en) Resource usage control for real time video encoding
KR20110045026A (en) Intelligent Frame Skipping of Video Coding Based on Similarity Metrics in Compressed Domain
US11418789B2 (en) Content adaptive quantization for video coding
US20060120449A1 (en) Method of coding and decoding moving picture
US20120195364A1 (en) Dynamic mode search order control for a video encoder
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
KR20180134895A (en) Apparatus and methods for perceptual quantization parameter (QP) weighting for display stream compression
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
JP5656575B2 (en) Image encoding device
KR100689406B1 (en) Method for transmitting moving picture in mobile communication terminal
US20210306640A1 (en) Fine grain lookahead enhancement for video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140415

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170411

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180410

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 10