KR20090080830A - 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법 - Google Patents

영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법 Download PDF

Info

Publication number
KR20090080830A
KR20090080830A KR1020080006808A KR20080006808A KR20090080830A KR 20090080830 A KR20090080830 A KR 20090080830A KR 1020080006808 A KR1020080006808 A KR 1020080006808A KR 20080006808 A KR20080006808 A KR 20080006808A KR 20090080830 A KR20090080830 A KR 20090080830A
Authority
KR
South Korea
Prior art keywords
image
spatial resolution
video
bit rate
quality
Prior art date
Application number
KR1020080006808A
Other languages
English (en)
Other versions
KR100954303B1 (ko
Inventor
이용희
신현식
이희정
채병조
Original Assignee
바로비젼(주)
재단법인서울대학교산학협력재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바로비젼(주), 재단법인서울대학교산학협력재단 filed Critical 바로비젼(주)
Priority to KR1020080006808A priority Critical patent/KR100954303B1/ko
Publication of KR20090080830A publication Critical patent/KR20090080830A/ko
Application granted granted Critical
Publication of KR100954303B1 publication Critical patent/KR100954303B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것이다.
본 발명에 따르면, 영상을 전송함에 있어서, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준을 설정하고, 상기 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하여, 대역폭이 특정 수치 이하의 환경에서는 프레임의 사이즈를 축소시켜 전송하고, 수신단에서는 상기 축소된 프레임을 원래의 사이즈로 복원하여 디스플레이하도록 한다. 이처럼, 원본 영상을 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라 소정 사이즈로 축소시켜 전송할 경우, 영상의 사이즈는 그대로 유지한 상태에서 압축률을 높여 전송하는 종래의 방법에 비하여, 수신단측에서의 영상 퀄리티가 우수해지며, 디코딩 타임이 감소하여 전력 소모 또한 크게 절감된다.
양자화 계수, 비트율, 공간 해상도, PSNR, 영상 퀄리티

Description

영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법{spatial resolution control system for video applications and transmission control method for video applications using the spatial resolution control system}
본 발명은 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것으로서, 보다 상세하게는 영상 전송시 수신단측에서의 영상 퀄리티 저하를 방지하고, 전력 소모를 최소화할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것이다.
통신 기술의 눈부신 발달로 인해, 네트웍을 이용한 영상 정보의 송/수신 및 저장은 현대 사회를 살아가는데 없어서는 안 될 필수적인 생활 아이템으로 자리 잡고 있다.
특히, 최근에는 UCC 열풍에 힘입어 더욱 다양하고 독특한 동영상들을 네트웍상에서 손쉽게 접할 수 있게 되었다.
그러나, 이러한 영상 서비스를 지원하는 사용망의 용량은 한정되어 있다. 따라서, 영상 정보의 송/수신 및 저장 효율을 높이기 위해서는 영상 압축 기술을 도 입함으로써, 주어진 사용망의 용량 한도내에서 최적의 영상 퀄리티를 얻을 수 있도록 하는 것이 매우 중요하다.
통상적으로, 영상 서비스의 비디오 스트림은 시간적 해상도, 공간적 해상도 및 영상 퀄리티와 같은 세 가지 요소를 조절함에 의해 압축될 수 있다. 즉, 시간 및 공간적 해상도가 주어지면, 비디오 엔코더는 양자화 계수를 지정된 비트율에 이르도록 조정함으로써, 영상 퀄리티를 조절하게 되는 것이다.
그러나, 움직임이 크고 장면의 복잡도가 클수록 데이터량이 커지게 되는데, 특히 영상 서비스의 경우에는 영상의 움직임 변화와 영상의 복잡도가 다양하므로, 비디오 엔코더를 통해 출력되는 비트율의 변동이 심해지게 된다.
더욱이, 제한된 망의 용량과 부호화, 복호화기의 한정된 버퍼 용량으로 인하여 출력 비트율의 변동은 더욱 악화되기도 한다.
따라서, 이러한 비트율 변동을 최소화하기 위하여, 영상 전환시, 현재의 버퍼 상태와 이전에 부호화된 영상들의 통계적 데이터에 기초하여 부호화될 영상의 복잡도를 미리 예측하여 양자화 계수를 결정한 뒤, 상기 결정된 양자화 계수의 몇 단계 위로 양자화 계수를 상향 조정하여 부호화하는 비트율 제어 기법을 사용하기도 한다.
그러나, 양자화 계수가 상향 조정할 경우, 압축 프로세스 동안 보다 많은 데이터가 버려지게 되어 비트 스트림은 보다 컴팩트해지는 장점은 있으나, 낮은 비트율로 인하여 영상의 퀄리티는 저하되는 단점이 있다.
게다가 양자화 계수가 이미 상위의 계수로 설정되어 있는 상태에서 장면 전 환이 일어나 더욱 높은 상위의 양자화 계수로 부호화하게 되면 다음 영상의 퀄리티 열화가 더욱 심해지게 된다.
또한, 대역폭이 낮은 상태에서는 이처럼 양자화 계수를 조절하여 압축률을 조절할 경우, 지나친 데이터 압축 및 이에 따른 정보손실로 인해 영상의 퀄리티가 더욱 저하되는데, 특히, 무선 랜(LAN)이나 핸드폰을 통한 동영상 전송등의 무선통신상에서 이러한 퀄리티 저하가 더욱 심화되는 것으로 나타나고 있다.
한편, 영상을 전송함에 있어서, 영상 퀄리티만을 추구하여 비트율을 높일 경우, 디코딩 타임이 증가하게 되는데, 디코딩 타임이 증가한다는 것은 결국 전력 소비가 증가한다는 것을 의미한다.
특히, DMB폰이나 핸드폰과 같은 핸드 헬드 디바이스는 베터리 수명이 제한되어 있는데, 이러한 핸드 헬드 디바이스의 CPU를 구성하는 씨모오스 회로의 에너지 소비는 다음과 같이 쓸 수 있다.
E ∝ C·V2·f
여기서, C는 동작시의 유효한 스위칭 캐패시턴스이고, V는 공급전압이고 f는 클럭 주파수이다.
따라서, CPU 내에서의 씨모오스 회로는 보다 낮은 주파수에서 작동될 때 보다 적은 에너지를 소비하고, 이에 따라 공급 전압은 감소하게 된다.
그러나, 멀티미디어 제품에 있어서, 상기 CPU 주파수는 압축된 비디오를 정확하게 디코드 및 디스플레이하기위해 충분히 높을 것이 요구된다. 그리고, 가장 낮은 적정 CPU 주파수를 찾기 위해서, 비디오 디코더는 하나의 영상 프레임을 디코드 하는데 요구되는 실행 타임이 어떻게 영향을 받는지를 예측할 수 있어야만 한다.
따라서, 영상 전송시, 비트율을 증가시키는 것은 영상 퀄리티 측면에서는 이점이 될 수 있으나, 디코딩 타임 증가로 인해 전력 소비가 높아지므로, 특히 사용량이 유한한 배터리를 전력원으로 사용하는 핸드 헬드 디바이스에 있어서는 매우 취약한 단점이 아닐 수 없다.
상기와 같은 종래의 문제점들을 해결하기 위한 본 발명의 목적은, 지나친 데이터 압축 및 이에 따른 정보손실로 인한 퀄리티 저하를 방지할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제공함에 있다.
본 발명의 다른 목적은, 디코딩 타임 증가로 인한 전력 소모를 최소화할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제공함에 있다.
상기한 목적들을 달성하기 위한 본 발명에 따른 영상의 공간 해상도 제어 시스템은, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하고, 상기 계산된 공간 해상도를 가지도록 영상 프레임 사이즈를 조절하여 전송함을 특징으로 한다.
또한, 상기한 목적들을 달성하기 위한 본 발명에 따른 영상의 공간 해상도 제어 시스템은, 영상을 전송할 네트웍 상태를 모니터링하는 네트웍 모니터부, 이용가능한 대역폭을 검출하는 대역폭 검출부, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라, 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있는 최적의 공간 해상도를 선택하는 공간 해상도 선택부, 상기 공간 해상도 선택부로부터 선택된 최적의 공간 해상도를 가지도록 원 영상 프레임의 사이즈를 조절하는 프레임 축소부, 및 최적의 공간 해상도 선택에 필요한 파라메터를 조정하는 파라메터 조정부를 포함함을 특징으로 한다.
또한, 상기한 목적들을 달성하기 위한 본 발명에 따른 영상 전송 제어 방법은, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하는 단계와, 상기 계산된 공간 해상도를 가지도록 영상 프레임 사이즈를 조절하여 전송하는 단계를 포함함을 특징으로 한다.
또한, 상기한 목적들을 달성하기 위한 본 발명에 따른 영상 전송 제어 방법은, 영상을 전송할 네트웍 상태를 모니터링하는 단계와, 상기 영상 전송에 이용할 수 있는 대역폭을 검출하는 단계와, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라, 상기 영상을 수신하게 될 수신단측에서의 영상 퀄리티를 향상시키고, 전력 소비를 절감할 수 있도록 하는 최적의 공간 해상도를 선택한 뒤, 상기 선택된 최적의 공간 해상도를 가지도록 상기 영상의 프레임 사이즈를 조절하여 수신단측으로 전송하는 단계와, 상기 수신단측에서는 축소된 영상을 수신한 뒤, 이를 원래의 사이즈로 리사이징하여 디스플레이하는 단계를 포함함을 특징으로 한다.
이때, 상기 최적의 공간 해상도는 영상의 비트율과 뒤틀림(왜곡) 사이의 관계, 노이즈 비율에 대한 피크 시그널(PSNR), 비디오 프레임을 디코드하는데 요구되는 시간, 축소된 영상을 원래 사이즈로 리사이징 하는데 소요되는 시간을 모두 고려하여 추출한 토탈 퀄리티 측정 규준에 따라 선택함을 특징으로 한다.
본 발명에서는, 영상을 전송함에 있어서, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준을 설정하고, 상기 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하여, 대역폭이 특정 수치 이하의 환경에서는 프레임의 사이즈를 축소시켜 전송하고, 수신단측에서는 상기 축소된 영상 프레임을 원래의 사이즈로 복원하여 디스플레이한다. 그 결과, 영상의 프레임 사이즈는 그대로 유지한 상태에서 데이터 압축률을 높여 전송하는 종래의 경우에 비하여, 수신단측에서의 영상 퀄리티를 더욱 향상시킬 수 있게 되며, 디코딩 타임이 감소하여 전력 소모 또한 크게 절감할 수 있게 된다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명은 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법에 관한 것으로서, 영상을 전송함에 있어서, 비트율과 영상 퀄리티, 비트율과 디코딩 타임, 비트율과 리사이징 타임간의 상호 관계를 규명함으로써, 퀄리티 저하 를 방지하면서도 전력 소모 또한 반감할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제시하고자 한다.
도 1에는 본 발명에 따른 영상의 공간 해상도 제어 시스템에 대한 블록 구성도가 도시되어 있다.
도 1을 참조하면, 상기 공간 해상도 제어 시스템(100)은, 영상을 전송할 네트웍 상태를 모니터링하는 네트웍 모니터부(102), 이용가능한 대역폭을 검출하는 대역폭 검출부(104), 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있는 최적의 공간 해상도를 선택하는 공간 해상도 선택부(106), 상기 공간 해상도 선택부(106)로부터 선택된 최적의 공간 해상도를 가지도록 원 영상 프레임의 사이즈를 축소하는 프레임 축소부(108) 및 최적의 공간 해상도 선택에 필요한 파라메터를 조정하는 파라메터 조정부(110)로 구성되어 있다.
여기서, 상기 공간 해상도 선택부(106)에서는, 영상의 비트율과 뒤틀림(왜곡) 사이의 관계로부터 도출되는 노이즈 비율에 대한 피크 시그널(PSNR) 및 비디오 프레임을 디코드하는데 요구되는 시간이 고려된 비디오 컨텐츠의 토탈 퀄리티 측정 규준에 따라, 영상 퀄리티를 향상시키면서도 전력 소비를 절감할 수 있도록 하는 최적의 공간 해상도를 선택하게 된다.
이처럼, 상기 공간 해상도 제어 시스템(100)에 영상이 입력되면, 상기 공간 해상도 제어 시스템(100)에서는 상기 입력된 영상을 퀄리티는 향상시키면서도 전력 소비를 절감할 수 있는 공간 해상도로 축소한 후, 수신단측으로 전송한다.
상기 수신단측에서는 상기 축소 전송된 영상을 원래의 사이즈로 리사이징하 여 디스플레이함으로써, 사용자는 자신이 소지한 영상 디스플레이장치의 전력 손실을 최소화하면서도 양호한 영상 퀄리티를 가지는 영상을 손쉽게 감상할 수 있게 된다.
도 2에는 상기 도 1에 도시되어 있는 영상의 공간 해상도 제어 시스템에 의해 수행되는 영상 전송 제어 방법이 도시되어 있다.
도 2를 참조하면, 먼저, 영상을 전송할 네트웍 상태를 모니터링한다(200).
이어서, 영상 전송에 이용 가능한 대역폭을 검출(202)한 뒤, 수신단측에서의 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있도록 하는 최적의 공간 해상도를 선택한다(204).
이어서, 영상의 프레임 사이즈를 상기 최적의 공간 해상도를 가지도록 축소한 후, 수신단측으로 전송한다(206).
그러면, 상기 수신단측에서는 이처럼 축소된 영상을 수신한 뒤, 원래 사이즈로 리사이징하여 디스플레이한다(208).
상기한 영상 전송 제어 방법에 있어서, 상기 최적의 공간 해상도는 영상의 비트율과 뒤틀림(왜곡) 사이의 관계, 노이즈 비율에 대한 피크 시그널(PSNR), 비디오 프레임을 디코드하는데 요구되는 시간, 축소된 영상을 원래 사이즈로 리사이징 하는데 소요되는 시간등을 모두 고려하여 추출한 토탈 퀄리티 측정 규준에 따라 선택하게 되는데, 이러한 토탈 퀄리티 측정 규준이 추출되는 과정을 하기의 여러 수학식들 및 도면들을 참조하여, 보다 구체적으로 살펴보기로 한다.
먼저, 도 3은 비트율과 영상 퀄리티간의 관계를 나타내는 그래프로서, x축은 비트율을 나타내고, y축은 영상 퀄리티에 관련될 수 있는 노이즈 비율에 대한 피크 시그널(PSNR)을 나타낸다.
도 3에 도시된 것과 같이 비트율이 증가할수록 PSNR이 증가하게 되는데, 이러한 비트율과 PSNR의 관계는 하기 수학식들에 의해 도출될 수 있다.
우선, 영상의 비트율과 뒤틀림(왜곡) 사이의 관계를 양자화 이론에 기인하여 정의하면, 예컨대 하기 수학식 (1)과 같이 나타낼 수 있다.
Figure 112008005434716-PAT00001
여기서, D는 MSE(mean-square error)로 측정된 뒤틀림으로서, 오리지날 및 재구성된 픽셀 데이터 사이의 차이의 제곱(스쿼어)이고, R은 디코디드된 비트 스트림의 비트율이고, σx 2은 인풋 시그널의 변화를 나타낸다. 상기 수학식 (1)을 보다 일반적으로 나타내면, 예컨대 하기 수학식 (2)와 같이 나타낼 수 있다.
Figure 112008005434716-PAT00002
여기서, γ는 데이터의 상호관계 계수이고, εx 2 는 소오스 분포가 가우시안, 라플라시안 또는 유니폼 분포에 따라 결정되는 스케일링(크기조절) 파라메터이다.
그러나, 영상 품질에 대한 보다 실용적인 측정 규준은, 예컨대 하기 수학식 (3)에 따른 뒤틀림(D)에 관련될 수 있는 노이즈 비율에 대한 피크 시그널(PSNR)로 나타낼 수 있다.
Figure 112008005434716-PAT00003
이러한 결과는 영상 품질과 비트율 사이의 리니어 관계를 나타낸다. 그러나, 만약 상기 인풋 소오스의 뒤틀림이 라플라시안을 취할 경우, 예컨대 하기 수학식 (4)와 같은 스퀘어 루트 모델이 제안될 수 있다.
Figure 112008005434716-PAT00004
여기서, R은 비트율이고, q1, q2, q3는 특수한 코딩 방법 및 비디오 컨텐츠에 의존하여, 실험이나 관찰에 의해 경험적으로 추론될 수 있는 상수이다.
상기 도 3 및 수학식 (1)~(4)에 기재된 바와 같이, 영상의 비트율과 영상 퀄리티는 리니어 관계로서, 비트율이 증가할수록 영상 퀄리티가 향상됨을 알 수 있다.
한편, 도 4는 다양한 공간 해상도를 가지는 싱글 프레임에 대한 디코딩 타임의 변화를 나타내는 그래프로서, x축은 비트율을 나타내고, y축은 디코딩 타임을 나타낸다.
도 4를 참조하면, 라인 L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320× 256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타내는데, 비트율이 증가할수록 디코딩 타임이 증가함을 알 수 있다.
이러한 비트율과 디코딩 타임의 관계는 하기 식들에 의해 도출될 수 있다.
비디오 프레임을 디코드하는데 요구되는 시간은 매크로 블록수 NMB와 매크로 블록 디코딩을 위한 평균 시간 TMB에 의해, 예컨대 하기 수학식 (5)와 같이 나타낼 수 있다.
Figure 112008005434716-PAT00005
여기서, 상기 TMB는 두 파트로 나눌 수 있다. 즉, 매크로블럭 헤더 프로세싱, 모션 벡터 디코딩 및 모션 보상을 포함하는 매크로 블록을 처리하는 강제적인 프로세스에 요구되는 시간과, 가변길이 DCT 계수 디코딩, 역양자화 및 역 DCT와 같은 선택적 향상을 위한 시간 OMB으로 나눌 수 있다.
통상적으로 영상 품질은 각 매크로블록에 할당된 비트율에 번갈아 비례하는 OMB에 비례하게 된다. 따라서, 상기 수학식 (5)는, 예컨대 하기 수학식 (6)과 같이 상수 a를 가지도록 다시 나타낼 수 있다.
Figure 112008005434716-PAT00006
나아가, 상기 수학식 (6)에 있어서, 상기 NMB는 NMB = (Sx × Sy)/16×16 에 의해 직접적으로 공간 해상도와 관련되어 있으므로, 예컨대 하기 수학식 (7)과 같이 고유 상수 b를 가지는 식으로 다시 나타낼 수 있다.
Figure 112008005434716-PAT00007
여기서, 상기 Sx 및 Sy는 수평 및 수직 방향의 픽셀 수로서, 예컨대 하기 수학식 (8)로 다시 나타낼 수 있다.
Figure 112008005434716-PAT00008
상기 도 4 및 수학식 (5)~(8)에 기재된 바와 같이, 비트율이 증가할수록 디코딩 타임이 리니어하게 증가됨을 알 수 있다.
그리고, 도 5는 다양한 공간 해상도에 따른 리사이징 타임 변화를 나타내는 그래프로서, x축은 비트율을 나타내고, y축은 리사이징 타임을 나타낸다.
도 5를 참조하면, 라인 L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타낸다.
상기 라인 L1은 영상의 프레임 사이즈를 그대로 전송하는 경우이므로, 리사이징 타임이 제로로 나타난다. 그리고, 리사이징 오버헤드로 인해 디코딩된 영상을 디스플레이하기 위한 리사이징 타임은 다양한 공간 해상도에 대해서도 다소 명백하 지 않은 결과를 나타낸다.
따라서, 이러한 리사이징 오버헤드를 반영하여 비트율과 전체적인 디코딩 타임(디코딩 타임+리사이징 타임)에 대한 파이널 수학식을 산출하면, 예컨대 디스플레이 시간 상수 t3이 포함된 하기 수학식 (9)와 같이 표현될 수 있다.
Figure 112008005434716-PAT00009
그리고, 상기 수학식 (9)에 따른 비트율과 전체적인 디코딩 타임간의 관계는 도 6에 도시되어 있다.
도 6을 참조하면, 라인 L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타내는데, 비트율이 증가할수록 디코딩 타임과 리사이징 타임이 결합된 토탈 디코딩 타임이 증가함을 알 수 있다.
상기 도 3 내지 도 6를 통해 확인한 바와 같이, 비디오 컨텐츠를 전송함에 있어서, 비트율이 증가함에 따라 영상 퀄리티가 향상됨과 아울러 디코딩 타임이 증가하는 것을 알 수 있다.
이때, 디코딩 타임이 증가한다는 것은 전력 소비가 증가한다는 것을 의미한다. 따라서, 비트율을 증가시키는 것은 영상 퀄리티면에서는 이점이 될 수 있으나, 소비 전력면에서는 매우 불리한 조건이 된다. 특히, 사용량이 유한한 배터리를 전력원으로 사용하는 핸드 핼드 디바이스의 경우, 높은 소비 전력은 매우 치명적인 단점이 된다.
따라서, 본 발명에서는 주어진 전력 공급 레벨 P와 비트율 R 조건하에서 최상의 영상 퀄리티를 제공하면서도, 전력 소모를 절감할 수 있도록 하는 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송 제어 방법을 제시하고자 한다.
하기 수학식 (10)에는 영상 퀄리티와 에너지 변화에 따른 비디오 컨텐츠의 토탈 퀄리티 기준이 정의되어 있다.
Figure 112008005434716-PAT00010
여기서, φ는 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준으로서, Q는 영상 퀄리티를 나타내고, E는 영상 품질을 달성하는데 요구되는 에너지, 즉 전력 소비량을 나타낸다.
상기 수학식 (10)에 대하여, 추가적인 변화요소로서, 에너지 소비에 대한 사용자들의 관심도를 반영하는 w를 더 도입하여, 예컨대 수학식 (11)과 같이 재구성할 수 있다.
Figure 112008005434716-PAT00011
상기 수학식 (11)에서와 같이, 에너지 소비에 대한 사용자들의 관심 지수인 w이 커질수록 에너지 소비를 감소시킬 수 있게 된다.
또한, 에너지 및 실행 시간이 교체될 수 있으므로, 상기 수학식 (11)의 Q
및 E를 확장하여, 예컨대 하기 수학식 (12)와 같이 나타낼 수 있다.
Figure 112008005434716-PAT00012
그리고, 상기 수학식 (12)는, 예컨대 하기 수학식 (13)과 같은 함수로 표현될 수 있다.
Figure 112008005434716-PAT00013
여기서, R, S 및 w는 각각 비트율, 공간 해상도 및 에너지 관심 지수를 나타낸다. 따라서, 상기한 R,S 및 w를 이용하여 영상의 토탈 퀄리티를 계산할 수 있게 된다. 예컨대, 비트율과 에너지 관심 지수가 정해지면, 영상 퀄리티는 공간 해상도에 의존하게 되므로, 최상의 퀄리티에 해당하는 공간 해상도를 선택할 수 있게 된다.
하기 도 7 및 도 8에는 각각 스테판 시퀀스 및 모바일 시퀀스에 대한 실험 결과로서, 다양한 공간 해상도에 대한 비트율과 영상 품질간의 관계가 도시되어 있다.
먼저, 도 7은 스테판 시퀀스에 따른 결과로서, x축은 비트율을 나타내고, y축은 PSNR을 나타낸다. 그리고, 라인 L1, L2 및 L3은 각각 352×288(100%), 288×240(70%) 및 176×144(25%)의 공간 해상도를 나타낸다.
통상적으로, 비트율이 동일한 조건하에서는 공간 해상도가 높을수록 PSNR 또 한 증가하는 경향을 보이게 된다. 그러나, 도 7에 도시된 것과 같이, 비트율이 특정 수치 이하(특정 대역폭 이하)일 경우에는 보다 낮은 공간 해상도에서의 PSNR이 오히려 우수함을 알 수 있다.
즉, 비트율이 약 100kbps 이상일 경우에는 공간 해상도가 가장 높은 라인 L1의 PSNR이 가장 우수하나, 비트율이 약 100~60kbps 일 경우에는 공간 해상도가 288×240(70%)인 라인 L2의 PSNR이 가장 높음을 알 수 있다.
또한, 비트율이 약 60kbps 이하일 경우에는 공간 해상도가 352×288(100%)인 라인 L1 또는 공간 해상도가 288×240(70%)인 라인 L2에 비해 공간 해상도가 176×144(25%)로서 가장 낮은 라인 L3의 PSNR이 가장 높음을 알 수 있다.
상기 도 7에서와 같은 실험 결과는 도 8을 통해서도 동일하게 확인할 수 있다.
도 8은 모바일 시퀀스에 따른 결과로서, x축은 비트율을 나타내고, y축은 PSNR을 나타내며, L1, L2 및 L3은 각각 352×288(100%), 272×224(60%) 및 176×144(25%)의 공간 해상도를 나타낸다.
도 8을 참조하면, 즉, 비트율이 약 110kbps 이상일 경우에는 공간 해상도가 가장 높은 라인 L1의 PSNR이 가장 우수하나, 비트율이 약 110~70kbps 일 경우에는 공간 해상도가 272×224(60%)인 라인 L2의 PSNR이 가장 높음을 알 수 있다.
또한, 비트율이 약 70kbps 이하일 경우에는 공간 해상도가 352×288(100%)인 라인 L1 또는 공간 해상도가 272×224(70%)인 라인 L2에 비해 공간 해상도가 176×144(25%)로서 가장 낮은 라인 L3의 PSNR이 가장 높음을 알 수 있다.
따라서, 상기 도 7에서의 실험 결과에 의하면, 비트율이 약 100~60kbps 사이인 경우에는 공간 해상도를 288×240(70%)로 축소하여 전송하는 것이 영상 퀄리티 및 전력 손실면에서 바람직하며, 비트율이 약 60kbps 이하일 경우에는 공간 해상도를 176×144(25%)로 축소하여 전송하는 것이 영상 퀄리티 및 전력 손실면에서 바람직하다.
또한, 상기 도 8에서의 실험 결과에 의하면, 비트율이 약 110~70kbps 일 경우에는 공간 해상도를 272×224(60%)로 축소하여 전송하는 것이 영상 퀄리티 및 전력 손실면에서 바람직하며, 비트율이 약 70kbps 이하일 경우에는 공간 해상도를 176×144(25%)로 축소하여 전송하는 영상 퀄리티 및 전력 손실면에서 바람직하다.
한편, 축소된 프레임들을 정해진 디스플레이 사이즈에 적합하도록 리사이징하는 과정이 필요하다. 축소된 프레임들을 정해진 디스플레이 사이즈에 적합하도록 업샘플하는 리사이징 알고리즘은, 본 발명에 따른 영상 해상도 조절 과정에 있어서 매우 중요한 역할을 한다. 이러한 리사이징 알고리즘은 이미지 프로세싱 커뮤니티에 의해 광범위하게 연구되어 왔는데, 단순히 두배 곱하는 것에서부터 매우 복잡한 계산 결과에 이르는 다양한 알고리즘이 있다.
이러한 리사이징은, 예컨대 하기의 4가지 방법들에 의해 수행될 수 있다.
먼저, 방법 0은 확장된 공간에 대한 비례 축소를 뒷받침하도록 설계되어 있는데, Lanczos-3 필터로부터 파생된 integer-based 6-tap 세트를 사용한다. 따라서, 어떠한 스케일링(비례축소) 비율도 지지되며, 상기 비율은 수평 및 수직 방향으로 달라질 수 있다.
방법 1은 단지 한쌍의 리스케일링 비율을 지지하는데, 몇몇 한쌍의 스테이지에 의해 업샘플링이 실현된다.
방법 3은 three-lobed lanczos-windowed sinc 함수를 사용하는 것이다.
그리고, 방법 4는 AVC half-sample 필터와 쌍일차(bi-linear) 필터의 결합을 이용하는 것이다.
상기한 네 가지 리사이징 방법(방법 0, 방법 1, 방법 3 및 방법 4)에 의해 리사이징된 영상의 PSNR 및 실행 타임이 하기 표 1에 도시되어 있다.
Resizing Method PSNR(db) Execution time(ms)
0 28.68 353
1 26.53 199
3 26.51 310
4 26.53 656
상기 [표 1]을 통해 알 수 있는 바와 같이, 방법 0은 실행 타임은 타 방법들에 비해 높지 않으면서도 최상의 PSNR을 제공한다. 따라서, 축소된 프레임들을 리사이징함에 있어서, 상기 방법 0을 적용하는 것이 가장 바람직하다.
그리고, 도 9 및 도 10에는 각각 스테판 시퀀스 및 포어맨 시퀀스에 대한 실험 결과로서, 다양한 비트율에 대한 토탈 영상 퀄리티의 변화가 도시되어 있다.
먼저, 도 9를 참조하면, x축은 비트율을 나타내고, y축은 토탈 영상 퀄리티를 나타내며, L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타낸다.
여기서, 상기 토탈 영상 퀄리티는 비트율 변화에 따른 PSNR, 디코딩 타임 및 리사이징 타임 및 에너지 소비에 대한 사용자들의 관심 지수인 w을 모두 고려하여 산출되는 값이다.
통상적으로, 비트율이 동일한 조건하에서는 공간 해상도가 높을수록 토탈 영상 퀄리티가 향상되는 경향을 보이게 된다. 그러나, 도 9에 도시된 것과 같이, 비트율이 특정 수치 이하일 경우에는 보다 낮은 공간 해상도에서의 토탈 영상 퀄리티가 보다 우수함을 알 수 있다.
즉, 비트율이 약 120 이상일 경우에는 라인 L1~L4의 토탈 영상 퀄리티가 우수하나, 비트율이 약 120kbps 이하일 경우에는 공간 해상도가 가장 낮은 라인 L5의 토탈 영상 퀄리티가 오히려 가장 우수한 것으로 나타나고 있다.
상기 도 9에서와 같은 실험 결과는 도 10을 통해서도 동일하게 확인할 수 있다.
도 10을 참조하면, x축은 비트율을 나타내고, y축은 토탈 영상 퀄리티는 나타내며, L1, L2, L3, L4 및 L5는 각각 352×288(100%), 320×256(80%), 288×240(70%), 272×224(60%), 및 176×144(25%)의 공간 해상도를 나타낸다.
도 10을 참조하면, 비트율이 약 60 이상일 경우에는 라인 L1~L4의 토탈 영상 퀄리티가 우수하나, 비트율이 약 60kbps 이하일 경우에는 공간 해상도가 가장 낮은 라인 L5의 토탈 영상 퀄리티가 오히려 가장 우수한 것으로 나타나고 있다.
따라서, 영상 전송시, 100% 크기의 프레임 사이즈를 그대로 유지한 상태로 수신자측으로 전송하는 경우에 비해(이러한 경우, 물론 양자화 계수를 이용한 통상의 비트율 조절 과정은 수반될 것이다), 100% 크기의 프레임 사이즈를 176×144(25%)의 공간 해상도를 가지도록 축소한 뒤, 수신단측으로 전송할 경우, 수신단측에 보여지는 영상의 퀄리티를 보다 향상시킬 수 있게 된다. 그리고, 비트율이 낮을수록 디코딩 타임이 감소하므로, 수신단측에서의 전력 소모 또한 반감시킬 수 있게 된다.
하기 도 11 및 도 12에는 원 프레임 사이즈(352×288)를 축소시키지 않고 그대로 전송한 경우(100%→100%)와, 원 프레임 사이즈(352×288(100%))를 176×144(25%) 사이즈로 축소시켜 전송한 경우의 수신자측에 디스플레이되는 화면 상태가 도시되어 있다.
원래의 프레임 사이즈(352×288)를 변화시키지 않은 상태로 그대로 전송할 경우(100%→100%)에는 원 프레임 사이즈(352×288)를 176×144(25%) 크기로 축소시켜 전송한 경우에 비해 수신자측에서 디스플레이되는 영상의 PSNR은 보다 우수한 것으로 나타난다(도 12의 PSNR이 보다 우수).
그러나, 원 프레임 사이즈(352×288)를 176×144(25%) 크기로 축소시켜 전송한 경우에는 원 프레임 사이즈(352×288)를 변화시키지 않은 상태로 그대로 전송한 경우(100%→100%)에 비해 수신자측에 디스플레이되는 영상의 퀄리티가 보다 우수한 것으로 나타난다(도 11의 영상 퀄리티가 보다 우수). 이는 비트율 변화에 따른 PSNR 이외에 디코딩 타임 및 리사이징 타임이 고려되었기 때문인 것으로 추측할 수 있다.
상기 PSNR은 노이즈 비율에 대한 피크 시그널로서, 영상 퀄리티의 정도를 나타내는 하나의 기준이 될 있으나, 이것을 영상 퀄리티와 동일하게 취급할 수는 없다. 따라서, 상기 도 12의 PSNR이 보다 우수하나, 실질적으로 수신자의 육안을 통해 확인되는 영상 퀄리티는 도 11의 경우가 보다 우수하므로, 원 프레임 사이즈(352×288)를 176×144(25%) 크기로 축소시켜 전송하는 것이 영상 퀄리티 및 전력 손실 측면에서 유리하다.
특히, 핸드 헬드 디바이스간 영상은 주파수 대역이 낮은 저전송로를 통해 송/수신하게 된다. 따라서, 영상의 데이터량을 축소시켜 전송하게 되는데, 데이터 비트율이 낮을수록 영상 퀄리티가 저하되는 문제점이 있다.
그러나, 상기한 바와 같이, 특정 비트율 이하에서는 공간 해상도가 낮은 경우에 오히려 영상 퀄리티가 우수해 진다는 것을 밝혀내었다.
따라서, 본 발명에서와 같이, 핸드 핼드 디바이스를 비롯한 각종 영상 디스플레이장치간 영상을 전송함에 있어서, 영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준을 설정하고, 상기 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하여, 대역폭이 특정 수치 이하의 환경에서는 원래의 영상 프레임 사이즈를 소정 사이즈로 축소시켜 전송하고, 수신단측에서는 상기 축소되어 전송된 영상 프레임을 원래의 프레임 사이즈로 복원하여 디스플레이함으로써, 수신단측에서의 영상 퀄리티를 보다 향상시킬 수 있게 되며, 디코딩 타임을 단축시켜 소비 전력 또한 절감할 수 있게 된다. 실질적으로, 대역폭이 특정 수치 이하의 환경하에서 타 조건은 동일하다고 가정했을 때, 양자화 계수를 조절하여 전송하는 경우에 비하여 공간 해상도를 감소시켜 전송할 경우에 약 1 db 이상 영상 퀄리티를 향상시킬 수 있으며, 전력 소비 또한 반감시킬 수 있는 것으로 나타나고 있다.
도 1은 본 발명에 따른 영상의 공간 해상도 제어 시스템의 블록 구성도를 나타낸다.
도 2는 본 발명에 따른 영상 전송 제어 방법을 나타낸다.
도 3은 비트율과 영상 퀄리티간의 관계를 나타내는 그래프이다.
도 4는 다양한 공간 해상도를 가지는 싱글 프레임에 대한 디코딩 타임의 변화를 나타내는 그래프이다.
도 5는 다양한 공간 해상도에 따른 리사이징 타임 변화를 나타내는 그래프이다.
도 6은 비트율과 전체적인 디코딩 타임간의 관계를 나타내는 그래프이다.
도 7 및 도 8은 각각 스테판 시퀀스 및 모바일 시퀀스에 대한 실험 결과로서, 다양한 공간 해상도에 대한 비트율과 영상 품질간의 관계를 나타내는 그래프이다.
도 9 및 도 10은 각각 스테판 시퀀스 및 포어맨 시퀀스에 대한 실험 결과로서, 다양한 비트율에 대한 토탈 영상 퀄리티의 변화를 나타내는 그래프이다.
도 11은 원 프레임 사이즈(352×288)를 축소시키지 않고 그대로 전송한 경우(100%→100%), 수신자측에 디스플레이되는 화면 상태를 나타낸다.
도 12는 원 프레임 사이즈(352×288(100%))를 176×144(25%) 사이즈로 축소시켜 전송한 경우, 수신자측에 디스플레이되는 화면 상태를 나타낸다.

Claims (9)

  1. 영상의 공간 해상도 제어 시스템에 있어서,
    영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하고, 상기 계산된 공간 해상도를 가지도록 영상 프레임 사이즈를 조절하여 전송함을 특징으로 하는 영상의 공간 해상도 제어 시스템.
  2. 영상의 공간 해상도 제어 시스템에 있어서,
    영상을 전송할 네트웍 상태를 모니터링하는 네트웍 모니터부,
    이용가능한 대역폭을 검출하는 대역폭 검출부,
    영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라, 영상 퀄리티를 향상시키고, 전력 절감 효과를 얻을 수 있는 최적의 공간 해상도를 선택하는 공간 해상도 선택부,
    상기 공간 해상도 선택부로부터 선택된 최적의 공간 해상도를 가지도록 원 영상 프레임의 사이즈를 조절하는 프레임 축소부, 및
    최적의 공간 해상도 선택에 필요한 파라메터를 조정하는 파라메터 조정부를 포함함을 특징으로 하는 영상의 공간 해상도 제어 시스템.
  3. 영상 전송 제어 방법에 있어서,
    영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라 최적의 공간 해상도를 계산하는 단계와,
    상기 계산된 공간 해상도를 가지도록 영상 프레임 사이즈를 조절하여 전송하는 단계를 포함함을 특징으로 하는 영상 전송 제어 방법.
  4. 영상 전송 제어 방법에 있어서,
    영상을 전송할 네트웍 상태를 모니터링하는 단계와,
    상기 영상 전송에 이용할 수 있는 대역폭을 검출하는 단계와,
    영상 퀄리티와 전력 소비량을 고려한 토탈 퀄리티 기준에 따라, 상기 영상을 수신하게 될 수신단측에서의 영상 퀄리티를 향상시키고, 전력 소비를 절감할 수 있도록 하는 최적의 공간 해상도를 선택한 뒤, 상기 선택된 최적의 공간 해상도를 가지도록 상기 영상의 프레임 사이즈를 조절하여 수신단측으로 전송하는 단계와,
    상기 수신단측에서는 축소된 영상을 수신한 뒤, 이를 원래의 사이즈로 리사이징하여 디스플레이하는 단계를 포함함을 특징으로 하는 영상 전송 제어 방법.
  5. 제 2항에 있어서, 상기 최적의 공간 해상도는 영상의 비트율과 뒤틀림(왜곡) 사이의 관계, 노이즈 비율에 대한 피크 시그널(PSNR), 비디오 프레임을 디코드하는데 요구되는 시간, 축소된 영상을 원래 사이즈로 리사이징 하는데 소요되는 시간을 모두 고려하여 추출한 토탈 퀄리티 측정 규준에 따라 선택함을 특징으로 하는 영상 전송 제어 방법.
  6. 제 3항에 있어서, 상기 영상의 비트율과 뒤틀림(왜곡) 사이의 관계는,
    Figure 112008005434716-PAT00014
    (D는 MSE(mean-square error)로 측정된 뒤틀림, R은 디코디드된 비트 스트림의 비트율, εx 2은 인풋 시그널의 변화)
    또는,
    Figure 112008005434716-PAT00015
    (γ는 데이터의 상호관계 계수,εx 2 는 소오스 분포가 가우시안, 라플라시안 또는 유니폼 분포에 따라 결정되는 스케일링(크기조절) 파라메터)로 정의됨을 특징으로 하는 영상 전송 제어 방법.
  7. 제 4항에 있어서, 상기 노이즈 비율에 대한 피크 시그널(PSNR)은,
    Figure 112008005434716-PAT00016
    또는,
    Figure 112008005434716-PAT00017
    (R은 비트율, q1, q2, q3는 특수한 코딩 방법 및 비디오 컨텐츠에 의존하여, 실험이나 관찰에 의해 경험적으로 추론될 수 있는 상수)
    로 정의됨을 특징으로 하는 영상 전송 제어 방법.
  8. 제 5항에 있어서, 상기 비디오 프레임을 디코드하는데 요구되는 시간은,
    Figure 112008005434716-PAT00018
    (NMB는 매크로 블록수, TMB는 매크로 블록 디코딩을 위한 평균 시간),
    또는,
    Figure 112008005434716-PAT00019
    (OMB는 가변길이 DCT 계수 디코딩, 역양자화 및 역 DCT와 같은 선택적 향상을 위한 시간, a는 상수),
    또는,
    Figure 112008005434716-PAT00020
    (NMB = (Sx × Sy)/16×16, b는 상수),
    또는,
    T= t1R + t2S,
    또는,
    T= t1R + t2S + t3 , (t3은 디스플레이 시간)
    로 정의됨을 특징으로 하는 영상 전송 제어 방법.
  9. 제 6항에 있어서, 영상에 대한 토탈 퀄리티 측정 규준은,
    Figure 112008005434716-PAT00021
    (φ는 토탈 퀄리티 측정 규준, Q는 영상 퀄리티, E는 영상 품질을 달성하는데 요구되는 에너지),
    또는,
    Figure 112008005434716-PAT00022
    (w는 에너지 소비에 대한 사용자들의 관심 지수),
    또는,
    Figure 112008005434716-PAT00023
    또는,
    φ= f(R,S,w) ,
    로 정의됨을 특징으로 하는 영상 전송 제어 방법.
KR1020080006808A 2008-01-22 2008-01-22 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법 KR100954303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080006808A KR100954303B1 (ko) 2008-01-22 2008-01-22 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080006808A KR100954303B1 (ko) 2008-01-22 2008-01-22 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법

Publications (2)

Publication Number Publication Date
KR20090080830A true KR20090080830A (ko) 2009-07-27
KR100954303B1 KR100954303B1 (ko) 2010-04-21

Family

ID=41291866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080006808A KR100954303B1 (ko) 2008-01-22 2008-01-22 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법

Country Status (1)

Country Link
KR (1) KR100954303B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101067317B1 (ko) * 2009-09-30 2011-09-23 (주)유디웍스 영상 전송 장치 및 영상 전송 방법
CN102883157A (zh) * 2011-07-12 2013-01-16 浙江大学 视频编码方法和视频编码器
KR101289758B1 (ko) * 2013-05-06 2013-07-26 (주)오티에스 Hd영상 가변스트리밍 전송시스템 및 전송방법
KR101403512B1 (ko) * 2013-02-28 2014-06-09 주식회사에어플러그 컨텐트 데이터를 수신하는 상태에 따라 사용 통신망을 선택적으로 변경하는 방법과 그 방법을 위한 장치
KR20150019163A (ko) * 2013-08-12 2015-02-25 삼성전자주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
KR20210040881A (ko) * 2020-06-30 2021-04-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 이미지 처리 방법, 장치, 기기 및 저장매체
CN112887739A (zh) * 2019-11-29 2021-06-01 三星电子株式会社 电子设备、系统及其控制方法
KR20220014669A (ko) * 2020-07-29 2022-02-07 주식회사 핀그램 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
CN116095355A (zh) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 视频显示控制方法及其装置、设备、介质、产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102062764B1 (ko) 2013-07-19 2020-02-21 삼성전자주식회사 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100561867B1 (ko) * 2003-03-07 2006-03-17 삼성전자주식회사 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100703399B1 (ko) * 2004-12-13 2007-04-03 삼성전자주식회사 멀티미디어 컨텐츠를 연속적으로 전송하는 장치 및 방법
JP4926601B2 (ja) * 2005-10-28 2012-05-09 キヤノン株式会社 映像配信システム、クライアント端末及びその制御方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101067317B1 (ko) * 2009-09-30 2011-09-23 (주)유디웍스 영상 전송 장치 및 영상 전송 방법
CN102883157A (zh) * 2011-07-12 2013-01-16 浙江大学 视频编码方法和视频编码器
CN102883157B (zh) * 2011-07-12 2015-09-09 浙江大学 视频编码方法和视频编码器
KR101403512B1 (ko) * 2013-02-28 2014-06-09 주식회사에어플러그 컨텐트 데이터를 수신하는 상태에 따라 사용 통신망을 선택적으로 변경하는 방법과 그 방법을 위한 장치
KR101289758B1 (ko) * 2013-05-06 2013-07-26 (주)오티에스 Hd영상 가변스트리밍 전송시스템 및 전송방법
KR20150019163A (ko) * 2013-08-12 2015-02-25 삼성전자주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
US11361404B2 (en) 2019-11-29 2022-06-14 Samsung Electronics Co., Ltd. Electronic apparatus, system and controlling method thereof
CN112887739A (zh) * 2019-11-29 2021-06-01 三星电子株式会社 电子设备、系统及其控制方法
WO2021107275A1 (en) * 2019-11-29 2021-06-03 Samsung Electronics Co., Ltd. Electronic apparatus, system and controlling method thereof
US11475539B2 (en) 2019-11-29 2022-10-18 Samsung Electronics Co., Ltd. Electronic apparatus, system and controlling method thereof
KR20210040881A (ko) * 2020-06-30 2021-04-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 이미지 처리 방법, 장치, 기기 및 저장매체
US11523141B2 (en) 2020-06-30 2022-12-06 Beijing Baidu Neicom Science Technology Co., Ltd. Image processing method, apparatus, device and storage medium
KR20220014669A (ko) * 2020-07-29 2022-02-07 주식회사 핀그램 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
CN116095355A (zh) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 视频显示控制方法及其装置、设备、介质、产品

Also Published As

Publication number Publication date
KR100954303B1 (ko) 2010-04-21

Similar Documents

Publication Publication Date Title
KR100954303B1 (ko) 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
JP6714695B2 (ja) 動的な解像度切換えを用いたリアルタイムビデオエンコーダレート制御
US9661329B2 (en) Constant quality video coding
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
US10574988B2 (en) System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
US8218638B2 (en) Method and system for optical flow based motion vector estimation for picture rate up-conversion
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
US20100027663A1 (en) Intellegent frame skipping in video coding based on similarity metric in compressed domain
US20150326857A1 (en) Video coding quantization parameter determination suitable for video conferencing
US20120195356A1 (en) Resource usage control for real time video encoding
WO1998034408A1 (en) Video encoder performing adaptive compression encoding in accordance with viewer information data
US11418789B2 (en) Content adaptive quantization for video coding
US20060120449A1 (en) Method of coding and decoding moving picture
US20120195364A1 (en) Dynamic mode search order control for a video encoder
US20110299605A1 (en) Method and apparatus for video resolution adaptation
JP2019514290A (ja) ディスプレイストリーム圧縮用の知覚的量子化パラメータ（ｑｐ）重み付けのための装置および方法
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US6040875A (en) Method to compensate for a fade in a digital video input sequence
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
JP2012105128A (ja) 画像符号化装置
KR20050082102A (ko) 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140415

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170411

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180410

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 10