KR101685331B1 - 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템 - Google Patents

계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템 Download PDF

Info

Publication number
KR101685331B1
KR101685331B1 KR1020160113401A KR20160113401A KR101685331B1 KR 101685331 B1 KR101685331 B1 KR 101685331B1 KR 1020160113401 A KR1020160113401 A KR 1020160113401A KR 20160113401 A KR20160113401 A KR 20160113401A KR 101685331 B1 KR101685331 B1 KR 101685331B1
Authority
KR
South Korea
Prior art keywords
value
frame rate
segment
video coding
motion
Prior art date
Application number
KR1020160113401A
Other languages
English (en)
Other versions
KR20160107145A (ko
Inventor
송민석
양진우
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020160113401A priority Critical patent/KR101685331B1/ko
Publication of KR20160107145A publication Critical patent/KR20160107145A/ko
Application granted granted Critical
Publication of KR101685331B1 publication Critical patent/KR101685331B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템이 제시된다. 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 단계; 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 단계; 및 계산된 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 단계를 포함할 수 있다.

Description

계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템{Method and System for Managing Power Utilizing Time Scale of Hierarchical Video Coding}
본 발명은 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템에 관한 것으로, 더욱 상세하게는 휴대용 미디어 플레이어에서의 에너지 절약을 위한 임계값 기반의 프레임 율 수정 방법 및 시스템에 관한 것이다.
스마트폰을 포함한 동영상 재생 기기의 광범위한 사용으로 시간에 구애 받지 않고 흔히 동영상을 볼 수 있게 되었다. 하지만, 동영상 어플리케이션은 CPU의 높은 전력 소모를 수반하는 수많은 연산을 요구한다. CPU 전력 소모를 줄이는 효과적인 방법은 CPU의 작업량에 따라 프로세서의 전압과 주파수를 동적으로 변경하는 동적 전압 조절(DVFS) 기법을 사용하는 것이다. 또한, 동영상 코덱은 압축 기법을 사용하고 프레임들은 재생시간에 디코딩이 이루어진다. 프레임 스킵 기법은 이러한 디코딩 연산에 사용되는 CPU 전력 소모를 완화시켜 주지만 사용자가 인지하는 체감 품질은 감소하게 된다. 따라서 체감 품질과 에너지 소비 사이의 트레이드오프를 해결하는 것이 중요하다.
ITU-T에 의해 소개된 TI(Temporal Information)라고 불리는 비디오 품질 변수는 연속된 화면의 움직임의 정도를 표현하고, 프레임 스킵의 비율을 결정하는데 사용될 수 있다. 프레임 스킵에 의한 품질 저하는 움직임의 변화가 많은 화면에서 더 쉽게 인식되는 반면, 정적인 화면에서는 간과될 수 있다. 하지만, 여기에는 실제로 이 기법을 사용함에 있어 두 가지 사안에 대해 고려해야 한다. 첫째로, TI 값은 디코딩 된 연속된 두 프레임들이 디코딩된 후에만 얻어질 수 있다. 둘째로, 이 계산은 모든 픽셀단위의 비교를 요구하기 때문에, 결과적으로 많은 연산을 야기한다.
한국등록특허 10-0631768호는 이러한 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와, 비디오 디코딩 방법 및 비디오 디코더에 관한 기술을 기재하고 있다.
본 발명은 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 기법 및 시스템에 관한 것으로, CPU에 소비되는 전력을 감소시킬 수 있는 계층적 비디오 코딩의 시간 확장성을 활용한 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템에 관한 것이다.
본 발명이 이루고자 하는 기술적 과제는 적은 비용의 연산을 가지고 움직임의 변화 정도를 예측하기 위해, 프레임의 샘플 픽셀의 밝기 값을 비교함으로써 TI 값을 추정하고, 사용자에 의해 인식되는 품질의 저하를 완화하도록 정적인 장면에서는 높은 프레임 스킵 비율을 적용하고, 동적인 화면에서는 작은 프레임 스킵 비율을 적용하는 프레임 율을 조정하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템을 제공하는데 있다.
일 측면에 따르면, 본 발명에서 제안하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 단계; 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 단계; 및 계산된 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 단계를 포함한다.
다른 측면에 따르면, 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 상기 TI 값을 계산하는 단계는 재생되는 상기 영상의 프레임 율에 따라 상기 픽셀을 표본 추출하여 선택된 상기 픽셀만 비교 연산을 수행하여 상기 TI 값을 계산하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 상기 픽셀만 비교 연산을 수행하여 상기 TI 값을 계산하는 단계는 상기 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 상기 TI 값을 계산할 수 있다.
또 다른 측면에 따르면, 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 단계는 임계값을 설정하는 단계; 상기 TI 값을 움직임의 정도를 표현하는 값으로 변환하는 단계; 및 상기 움직임의 정도를 표현하는 값과 상기 임계값을 비교하여 상기 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 상기 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 상기 영상의 프레임 율을 변경하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 본 발명에서 제안하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템에 있어서, 영상의 프레임들을 복수의 세그먼트로 분할하는 분할부; 상기 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 TI 값 계산부; 및 계산된 상기 TI 값을 이용하여 재생되는 상기 영상의 프레임 율을 변경하는 프레임 율 변경부를 포함하고, 상기 프레임 율 변경부는 임계값을 설정하고, 상기 TI 값을 움직임의 정도를 표현하는 값으로 변환하며, 상기 움직임의 정도를 표현하는 값과 상기 임계값을 비교하여 상기 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 상기 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 상기 영상의 프레임 율을 변경할 수 있다.
본 발명의 실시예들에 따르면 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리하고, 디코딩 시간 예측에 의해 최적의 CPU 주파수가 선택됨으로써, 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 애니메이션의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 스포츠의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 티비 쇼의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 계층적 비디오 코딩 기반의 휴대용 미디어 플레이어에서 CPU 소비전력을 감소시키기 위한 기법에 관한 것이다. 구체적으로 동영상 프레임 율과 전력소비간의 트레이드오프 관계에 따라, H.264/SVC의 시간 확장성을 통해 동영상이 여러 프레임 율을 가질 수 있도록 인코딩 할 수 있다. 이때, 동영상이 재생될 때, 연속된 프레임의 움직임의 정도가 정적인 경우에 낮은 프레임 율로 재생되도록 하여 CPU의 전력 소비를 낮출 수 있다. 그리고, 연속된 프레임들의 움직임 정도를 파악하기 위해 발생하는 수많은 픽셀 단위 연산을 감소시키도록 프레임 율에 따라 픽셀 표본 추출을 통해 비교 연산을 줄여 CPU의 전력 소비를 낮출 수 있다.
즉, 본 발명은 위와 같이 휴대용 미디어 플레이어에서 소비되는 CPU 전력을 효과적으로 감소시킬 수 있도록 하는 선택적 프레임 율 적용 및 픽셀 표본 추출 정책에 관한 것이다.
아래에서는, H.264/SVC의 시간 확장성을 활용하여 적은 양의 연산과 움직임의 변화를 고려한 새로운 CPU 전력을 효과적으로 감소시킬 수 있는 방법을 제안하고자 한다.
첫째, 화면의 움직임 정도를 예측하기 위한 연산의 수를 감소시킨다. 더 구체적으로, 연속된 화면의 움직임 정도를 파악하기 위한 TI(Temporal Information) 값의 도출을 위해 모든 픽셀 간의 밝기를 비교하게 되는데, 이때 발생하는 수많은 연산의 양을 정확성을 고려하여 감소시키는 픽셀 표본 추출 기법을 이용할 수 있다.
둘째, 임계값을 설정하고 프레임들의 움직임 정도에 따라서 프레임 율을 조절한다. 더 구체적으로, 세그먼트 단위의 프레임들이 동적인 화면들로 구성되어 있을 때, 프레임 율을 낮추면 체감 품질은 더 심하게 감소될 수 있다. 따라서 세그먼트의 움직임 정도와 임계값 수위 선을 비교해 체감 품질의 감소를 줄일 수 있는 프레임 율 조절 기법을 이용할 수 있다.
일 예로, 상기의 방법을 이용하여 두 가지 기종의 스마트폰에서 구현하여 실제 측정에 적용하였을 경우에 온디맨드 거버너에 비해 최대 약 47%의 에너지 감소를 확인할 수 있다.
사용자가 비디오의 해상도, 품질 등의 서비스를 선호도에 따라 선택할 수 있도록 영상을 동적으로 인코딩 할 수 있는 계층적 비디오 코딩(Scalable Video Coding, SVC)이 있다. 이러한 여러 계층적 비디오 코딩(SVC) 코덱 가운데 뛰어난 효율성과 세 가지 확장성을 제공하는 H.264/SVC 코덱이 있다. H.264/SVC 코덱은 다양한 해상도를 제공하는 공간적 확장성, 여러 프레임 율을 제공하는 시간적 확장성, 및 비디오의 계층들이 다양한 품질 레벨을 지닐 수 있도록 하는 품질 확장성이 있다. 이 중 시간 확장성을 활용하여 비디오가 재생될 때 사용자의 품질 저하 인지를 줄이며 프레임 율을 조절해 소비된 전력을 줄일 수 있다.
프레임 스킵을 수행하는 동안 프레임 율을 동적으로 조절하기 위해서 부분적 비디오 스트림이 낮은 프레임 율로 비디오를 제공할 수 있는 계층적 비디오 코딩 기법의 시간적 확장성을 이용할 수 있다.
일 예로, 동영상은 3.2초의 길이에 해당하는 세그먼트로 나누어진다.
Figure 112016086045880-pat00001
는 시간적 레벨이 j일 때, 세그먼트 내의 프레임의 번호가 된다.
Figure 112016086045880-pat00002
와
Figure 112016086045880-pat00003
는 각각 시간적 레벨의 번호와 세그먼트의 번호를 나타낸다.
디코딩 제한시간을 만족하는 가장 작은 주파수 값을 선택하는 프레임 레벨의 동적 전압 및 주파수 조절(DVFS) 기법을 사용할 수 있다. 각 주파수에서 다음 프레임의 예측 디코딩 시간에 기초하여, 미디어 플레이어는 선택된 시간적 레벨의 디코딩 데드라인을 충족시키는 최저 주파수를 선택할 수 있다.
도 1은 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템을 나타내는 블록도이다.
도 1을 참조하면, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템(100)은 분할부(110), TI 값 계산부(120), 및 프레임 율 변경부(130)를 포함할 수 있다.
분할부(110)는 영상의 프레임들을 복수의 세그먼트로 분할할 수 있다.
TI 값 계산부(120)는 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산할 수 있다. 다시 말하면, TI 값 계산부(120)는 재생되는 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 픽셀만 비교 연산을 수행하여 TI 값을 계산할 수 있다. 이때, 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 TI 값을 계산할 수 있다.
프레임 율 변경부(130)는 계산된 TI 값을 이용하여 재생되는 영상의 프레임 율을 변경할 수 있다. 또한, 프레임 율 변경부(130)는 임계값을 설정하고, TI 값을 움직임의 정도를 표현하는 값으로 변환하며, 움직임의 정도를 표현하는 값과 임계값을 비교하여 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 영상의 프레임 율을 변경할 수 있다. 즉, 움직임의 정도를 표현하는 값과 임계값을 비교하여, 움직임의 정도를 표현하는 값이 임계값보다 높을 경우의 프레임 스킵 율이 임계값보다 낮을 경우의 프레임 스킵 율보다 높게 선택하여. 재생되는 영상의 프레임 율을 변경할 수 있다.
도 2는 본 발명의 일 실시예에 따른 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법을 나타내는 흐름도이다.
도 2를 참조하면, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법은 도 1에서 설명한 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템을 이용하여 구체적으로 설명할 수 있다. 여기서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 분할부, TI 값 계산부, 및 프레임 율 변경부를 포함할 수 있다.
단계(210)에서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 영상의 프레임들을 복수의 세그먼트로 분할할 수 있다.
단계(220)에서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산할 수 있다.
여기서, 복수의 세그먼트 내의 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI 값을 계산하는 단계는 재생되는 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 픽셀만 비교 연산을 수행하여 TI 값을 계산하는 단계를 포함할 수 있다. 이는, 수많은 연산을 수행하게 되면 CPU의 전력 소모를 유발시키기 때문에 특정 표본을 추출하여 선택된 픽셀만 비교 연산을 수행하도록 함으로써, 전력 소모를 최소화할 수 있다.
또한, 영상의 프레임 율에 따라 픽셀을 표본 추출하여 선택된 픽셀만 비교 연산을 수행하여 TI 값을 계산하는 단계는 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 TI 값을 계산할 수 있다.
단계(230)에서, 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템은 계산된 TI 값을 이용하여 재생되는 영상의 프레임 율을 변경할 수 있다.
여기서, TI 값을 이용하여 재생되는 영상의 프레임 율을 변경하는 단계를 더 구체적으로 설명하기로 한다.
이러한, TI 값을 이용하여 재생되는 영상의 프레임 율을 변경하는 단계는 먼저 미리 지정된 수위 점인 임계값을 설정할 수 있다. 이어, TI 값을 새로운 지표인 움직임의 정도를 표현하는 값으로 변환할 수 있다. 이후, 움직임의 정도를 표현하는 값과 임계값을 비교하여 임계값보다 낮을 경우에는 낮은 프레임 스킵 율을 선택하고, 임계값보다 높을 경우 높은 프레임 스킵 율을 선택하여, 재생되는 영상의 프레임 율을 변경할 수 있다. 즉, 상기의 계산을 통해 현재의 세그먼트가 동적인 프레임들을 포함하는지, 정적인 화면을 포함하는지를 파악해 다음 세그먼트의 움직임의 정도를 예측하여 시간적 레벨을 변화시킴으로써 사용자가 느끼는 체감 품질의 저하를 최소로 할 수 있다. 즉, 움직임의 정도를 표현하는 값과 임계값을 비교하여, 움직임의 정도를 표현하는 값이 임계값보다 높을 경우의 프레임 스킵 율이 임계값보다 낮을 경우의 프레임 스킵 율보다 높게 선택하여. 재생되는 영상의 프레임 율을 변경할 수 있다.
다시 말하면, 휴대용 미디어 기기에서 비디오 재생 시에 CPU에 의해 소비되는 전력을 줄이기 위해 H.264/SVC의 시간 확장성이 적용된 비디오를 세그먼트 단위로 나누고, 각 세그먼트별로 연속된 프레임들 간의 픽셀 간 비교를 통해 TI(Temporal Information) 값을 도출할 수 있다.
이 값은 움직임의 정도를 표현하는 값으로 변환되어 특정 임계값보다 낮을 경우 낮은 프레임 스킵 율을 선택하고, 그렇지 않을 경우 높은 프레임 스킵 율을 선택할 수 있다.
또한, 연속된 두 프레임들의 픽셀 간에 이루어지는 수많은 연산의 양을 줄이기 위해 프레임 율에 따라 다른 픽셀 표본을 추출할 수 있다. 이를 통해, 휴대용 미디어 기기에서의 소비되는 전력을 최소화할 수 있다.
아래에서는, 픽셀 표본 추출 방법에 대해 구체적으로 설명하기로 한다.
TI(Temporal Information) 값을 도출하고 세그먼트의 움직임 정도에 따라 다른 프레임 율을 선택하는 알고리즘에 관한 컴퓨터의 부담을 줄이기 위해 픽셀 표본 추출 기법을 이용할 수 있다.
Figure 112016086045880-pat00004
의 도출은 전력 소모적 측면에서 불리한 영향을 미치는 연산 집중적인 연속된 두 프레임 사이의 픽셀단위 비교를 할 수도 있다.
이러한 부담을 줄이기 위해서, 연속된 두 프레임들 사이에서 오직 선택된 픽셀만을 비교하는 방법을 이용할 수 있다. 여기서, 모든 픽셀은 레스터 주사 순서에 따라 분류된다고 가정할 수 있고, 시간적 레벨 j에서의 각 프레임 안의 모든
Figure 112016086045880-pat00005
픽셀 중 하나의 픽셀이 선택되고,
Figure 112016086045880-pat00006
는 시간적 레벨 j에서의 비교를 위해 사용되는 픽셀의 행과 열 쌍의 결과 집합을 나타낼 수 있다.
또한,
Figure 112016086045880-pat00007
는 시간적 레벨 j에서의 세그먼트 m의 밝기 영역에서 연속된 두 프레임 사이의 표본 픽셀 값 차이의 평균 표준편차를 나타낼 수 있다. 이러한,
Figure 112016086045880-pat00008
는 하기 식과 같이 표현할 수 있다.
Figure 112016086045880-pat00009
여기서,
Figure 112016086045880-pat00010
은 프레임 I의 밝기영역에서 k열과 l행
Figure 112016086045880-pat00011
의 픽셀 값이고,
Figure 112016086045880-pat00012
는 위의 모든 픽셀들을 통해 표준 편차를 나타낼 수 있다.
Figure 112016086045880-pat00013
값은 새로운 지표인
Figure 112016086045880-pat00014
로 변환될 수 있으며, 이는 ㏈로 표현될 수 있다.
Figure 112016086045880-pat00015
는 하기 식과 같이 표현할 수 있다. .
Figure 112016086045880-pat00016
여기서,
Figure 112016105103416-pat00017
값은 대개 움직임 변화의 정도를 나타낸다. 따라서, 동적인 화면을 가지는 세그먼트는 높은
Figure 112016105103416-pat00018
값의 결과로 낮은
Figure 112016105103416-pat00019
값을 가지고, 이와 비교하여 정적인 화면을 가지는 세그먼트에서는 낮은
Figure 112016105103416-pat00020
값의 결과로 높은
Figure 112016105103416-pat00021
값을 가질 수 있다.
또한, 이는 낮은 프레임 율이 연속된 두 프레임 사이의 밝기 값의 차이를 더 크게 만들기 때문에
Figure 112016086045880-pat00022
는 시간적 레벨 j에서 증가하는 것을 예상할 수 있다.
만약, 세그먼트가 동적인 화면들로 구성되어 있다면, 프레임 율을 낮추는 것은 정적인 화면들로 구성되어 있을 때와 비교하여 체감 품질을 더 심하게 감소시킬 수 있다. 이 같은 점으로부터, 최저와 최고 수위 점을 명시하여
Figure 112016086045880-pat00023
값이 유지되고, 동적인 화면들은 높은 프레임 율을 적용하지만 정적인 화면은 낮은 프레임 율을 적용할 수 있다.
Figure 112016086045880-pat00024
은 임계값을 나타내는 것으로,
Figure 112016086045880-pat00025
이 가장 높은 시간적 레벨로 초기화된
Figure 112016086045880-pat00026
일 때, 세그먼트 m에 대해 선택된 시간적 레벨을 나타낼 수 있다. 그러나, 다음 세그먼트 m+1의
Figure 112016086045880-pat00027
을 예측하는 것은 불가능하므로 다음과 같은 세 단계를 세그먼트 m의 시간적 레벨을 선택하기 위해 반복할 수 있다
Figure 112016086045880-pat00028
.
1) 각 세그먼트 m 의 말에 수학식 1 및 수학식 2를 사용하여
Figure 112016086045880-pat00029
의 값이 계산될 수 있다.
2) 현재
Figure 112016105103416-pat00030
값이 최저 수준점보다 아래에 있는 경우, 시간적 레벨
Figure 112016105103416-pat00031
의 다음 세그먼트는 동적인 화면들로 기대되어지기 때문에 시간적 레벨
Figure 112016105103416-pat00032
은 한 단계 증가될 수 있다.
3) 현재
Figure 112016105103416-pat00033
값이 최고 수준점보다 위에 있는 경우, 시간적 레벨
Figure 112016105103416-pat00034
의 다음 세그먼트는 정적인 화면들로 기대되어지기 때문에 시간적 레벨
Figure 112016105103416-pat00035
은 한 단계 감소할 수 있다.
도 3은 본 발명의 일 실시예에 따른 애니메이션의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 스포츠의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 티비 쇼의 재생에 따른 CPU 전력 비교 그래프를 나타낸다.
도 3 내지 도 5를 참조하면, 애니메이션, 스포츠, 및 티비 쇼의 세 가지 비디오를 높은 프레임 율 및 온디맨드 거버너로 재생하였을 때와 임계값(
Figure 112016086045880-pat00036
)에 따른 품질 선택 및 최적의 CPU를 사용하여 재생하였을 때의 소비된 에너지를 비교하여 그래프로 나타낼 수 있다. 이때, 에너지 절약을 평가하기 위해 서로 다른 CPU 주파수 대역을 가진 두 가지 기종의 스마트폰에서 구현한 기법을 이용한 전력소모를 측정할 수 있다.
아래에서는, 위에서 제시한 본 발명에 따라 다른 CPU를 가진 두 가지 스마트폰에서 구현된 예를 나타낼 수 있다.
먼저, 하나의 스마트폰은 245MHz에서 998MHz 사이의 12개의 주파수를 가지고, 다른 하나는 200MHz에서 1400MHz 사이의 13개의 주파수를 가진다. 프레임 율의 실시간 적용을 허용하기 위해, H.264/SVC 디코더를 스마트폰에 포팅할 수 있다.
또한, 측정을 위해, 서로 다른 세 가지 H.264/SVC 동영상들(애니메이션, 스포츠, TV 쇼)이 사용 되었고, 이들 각각 4가지 프레임 율을 지원한다(3.75, 7.5, 15, 30fps). 각 시간적 레벨마다, 픽셀 표본 추출 비율이 다르게 선택될 수 있다
Figure 112016086045880-pat00037
. 리눅스의 Userspace 거버너는 DVFS를 지원하는데 사용되며, 스마트폰의 전력 소모는 직류 전류 입력을 받는 외부 디지털 멀티미터에 의해 측정될 수 있다.
도 5에 도시된 바와 같이, 프레임 율 조정 기법은 온디맨드 거버너보다 24%에서 47% 사이의 에너지를 덜 사용해 에너지 절약에 효과적인 것을 확인할 수 있다.
표 1은 본 발명의 일 실시예에 따른 각 픽셀에서의 비교를 나타내기 위한 표이다.
표 1을 참조하면, 모든 픽셀을 비교했을 때의
Figure 112016086045880-pat00038
값의 평균 비율의 차이를 보여줌으로써, 픽셀 표본 추출 방식이 정확하다는 것을 확인할 수 있다.
Figure 112016086045880-pat00039
이와 같이, 연속된 두 프레임들 사이의 밝기 영역의 최근 표본 추출된 픽셀들의 비교로 얻어진 TI 값의 인계 값에 기인한 프레임 율 조정의 새로운 기법을 고안하고 구현할 수 있다. 나아가, 남은 배터리를 효과적으로 사용하여 체감품질의 저하효과를 최소로 만들도록 SVC의 기능이 없는 동영상 플레이어를 지원하는 것도 가능하다.
따라서, 본 발명의 실시예들에 따르면 사용자가 인지하지 못하거나 수용 가능한 범위 내에서 영상의 품질을 관리하고, 디코딩 시간 예측에 의해 최적의 CPU 주파수가 선택됨으로써, 높은 품질 및 온디맨드 거버너로 재생되던 휴대용 미디어 기기에서의 높은 소비 전력을 효과적으로 감소시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법에 있어서,
    상기 시간 확장성이 적용된 영상을 복수의 세그먼트로 분할하는 단계;
    상기 복수의 세그먼트 별로 연속된 프레임들 간의 픽셀 간 비교를 통해 세그먼트의 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 단계;
    상기 TI 값을 세그먼트의 움직임의 정도를 표현하는 Q값으로 변환하는 단계; 및
    상기 세그먼트의 움직임의 정도를 표현하는 Q값과 미리 정의된 최저 수위점 및 최고 수위점에 기초하여 예측되는 다음 세그먼트가 정적 화면인지 동적 화면인지 여부에 따라, 다음 세그먼트의 Q값이 상기 최저 수위점과 최고 수위점 내에서 유지되도록 재생되는 상기 영상의 프레임 율을 변경하는 단계
    를 포함하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법.
  2. 제1항에 있어서,
    상기 영상의 프레임 율을 변경하는 단계는,
    상기 세그먼트의 움직임의 정도를 표현하는 Q값이 최저 수위점보다 낮아 상기 다음 세그먼트가 동적 화면으로 예측되어 상기 세그먼트의 프레임율보다 상기 다음 세그먼트의 프레임율이 높아지도록 변경하고, 상기 Q 값이 최고 수위점보다 높아 상기 다음 세그먼트가 정적 화면으로 예측되어 상기 세그먼트의 프레임율보다 상기 다음 세그먼트의 프레임율이 낮아지도록 변경함으로써, 상기 다음 세그먼트의 Q값을 상기 최저 수위점과 상기 최고 수위점 내에서 유지시키는 것
    을 특징으로 하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법.
  3. 제1항에 있어서,
    상기 TI 값을 계산하는 단계는,
    재생되는 상기 영상의 프레임 율에 따라 상기 픽셀을 표본 추출하고, 추출된 픽셀을 대상으로 비교 연산을 수행하여 상기 TI 값을 계산하는 것
    을 특징으로 하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력관리 방법.
  4. 제3항에 있어서,
    상기 TI 값을 계산하는 단계는
    상기 영상의 각 프레임 율에 따라 서로 다른 픽셀 표본 추출 비율을 선택하여 상기 TI 값을 계산하는 것
    을 특징으로 하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법.
  5. 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템에 있어서,
    상기 시간 확장성이 적용된 영상을 복수의 세그먼트로 분할하는 분할부;
    상기 복수의 세그먼트 별로 연속된 프레임들 간의 픽셀 간 비교를 통해 움직임의 정도를 파악하기 위한 TI(Temporal Information) 값을 계산하는 TI 값 계산부; 및
    계산된 상기 TI 값을 세그먼트의 움직임 정도를 표현하는 Q값으로 변환하고, 상기 세그먼트의 움직임의 정도를 표현하는 Q값과 미리 정의된 최저 수위점 및 최고 수위점에 기초하여 예측되는 다음 세그먼트가 정적 화면인지 동적 화면인지 여부에 따라, 다음 세그먼트의 Q값이 상기 최저 수위점과 최고 수위점 내에서 유지되도록 재생되는 상기 영상의 프레임 율을 변경하는 프레임 율 변경부
    를 포함하는 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 시스템.
KR1020160113401A 2016-09-02 2016-09-02 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템 KR101685331B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113401A KR101685331B1 (ko) 2016-09-02 2016-09-02 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113401A KR101685331B1 (ko) 2016-09-02 2016-09-02 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150017916A Division KR20160096754A (ko) 2015-02-05 2015-02-05 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160107145A KR20160107145A (ko) 2016-09-13
KR101685331B1 true KR101685331B1 (ko) 2016-12-12

Family

ID=56946619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113401A KR101685331B1 (ko) 2016-09-02 2016-09-02 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101685331B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106720B1 (ko) 2011-06-02 2012-01-18 인하대학교 산학협력단 Ｈ．２６４／ｓｖｃ 동영상 재생 시 씨피유 전압을 동적으로 조절하는 방법
KR101411411B1 (ko) 2013-02-26 2014-06-25 인하대학교 산학협력단 미디어 재생장치 및 미디어 재생장치의 에너지 관리방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772502B1 (ko) * 2004-12-21 2007-11-01 한국전자통신연구원 디코딩 시간 예측에 따른 동작주파수 및 구동전압 변동을이용한 ｍｐｅｇ 재생 장치 및 그 방법
KR101314594B1 (ko) * 2012-01-03 2013-10-14 인하대학교 산학협력단 동영상 데이터 선반입 방법 및 이를 이용한 동영상 재생 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106720B1 (ko) 2011-06-02 2012-01-18 인하대학교 산학협력단 Ｈ．２６４／ｓｖｃ 동영상 재생 시 씨피유 전압을 동적으로 조절하는 방법
KR101411411B1 (ko) 2013-02-26 2014-06-25 인하대학교 산학협력단 미디어 재생장치 및 미디어 재생장치의 에너지 관리방법

Also Published As

Publication number Publication date
KR20160107145A (ko) 2016-09-13

Similar Documents

Publication Publication Date Title
JP5643300B2 (ja) モーションベースの動的解像度マルチビットレートの動画符号化
US10674158B2 (en) Method and system of video coding optimization
TWI511544B (zh) 用於可調適視訊串流之技術
JP5490146B2 (ja) 適応ビデオ・ストリーミングのための可変ビット・レートおよび動的解像度を用いた多ビット・レート・ビデオ・エンコーディング
JP6280144B2 (ja) デジタルビデオレコーダのための動画像編集および再フォーマット
KR101097636B1 (ko) 데이터 스트림들의 인코딩시 최적 전력 이용
CN106961603B (zh) 帧内编码帧码率分配方法和装置
US8428145B2 (en) System and method for providing fast trick modes
CN103826121A (zh) 低延迟视频编码基于场景切换检测的码率控制方法
EP2410752B1 (en) Image coding apparatus, image coding control method and image coding program
US9984504B2 (en) System and method for improving video encoding using content information
US11012698B2 (en) Image encoding apparatus and method for controlling the same
WO2017166487A1 (zh) 实时码率调节方法、装置及服务端设备
KR20090046812A (ko) 비디오 압축 방법
KR101685331B1 (ko) 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템
US20140153639A1 (en) Video encoding system with adaptive hierarchical b-frames and method for use therewith
US20100027621A1 (en) Apparatus, method and computer program product for moving image generation
KR20160096754A (ko) 계층적 비디오 코딩의 시간 확장성을 활용한 전력 관리 방법 및 시스템
JP3660514B2 (ja) 可変レート動画像符号化方法および動画像編集システム
JP2008098980A (ja) 動画像符号化装置
JP6239838B2 (ja) 動画像符号化装置、その制御方法、及び撮像装置
JP2007300557A (ja) 画像符号化装置及び画像符号化方法
KR101637741B1 (ko) 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템
US20230179800A1 (en) Low-Latency Online Per-Title Encoding
Overmeire et al. Constant quality video coding using video content analysis

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4