KR101358576B1 - 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법 - Google Patents

주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법 Download PDF

Info

Publication number
KR101358576B1
KR101358576B1 KR1020130167960A KR20130167960A KR101358576B1 KR 101358576 B1 KR101358576 B1 KR 101358576B1 KR 1020130167960 A KR1020130167960 A KR 1020130167960A KR 20130167960 A KR20130167960 A KR 20130167960A KR 101358576 B1 KR101358576 B1 KR 101358576B1
Authority
KR
South Korea
Prior art keywords
video
index
transcoding
correlation
image quality
Prior art date
Application number
KR1020130167960A
Other languages
English (en)
Inventor
박준석
이상철
최민국
백치선
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020130167960A priority Critical patent/KR101358576B1/ko
Application granted granted Critical
Publication of KR101358576B1 publication Critical patent/KR101358576B1/ko
Priority to PCT/KR2014/011600 priority patent/WO2015102237A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법이 개시된다. 동영상 트랜스코딩 방법은, 동영상 콘텐츠에 대해 서로 다른 비트레이트(bitrate)로 코딩된 두 프레임 간 그레이 명암도 변화량(gray intensity variation)을 나타내는 정량화 지수를 산출하는 단계; 상기 정량화 지수를 상기 서로 다른 비트레이트로 코딩된 신(scene) 간 화질 차이가 주관적 스코어링을 통해 수치화 된 화질 평가 지수와 비교하여 상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 도출하는 단계; 및 상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 이용하여 서비스 대상이 되는 신규 동영상 콘텐츠의 트랜스코딩을 수행하는 단계를 포함할 수 있다.

Description

주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법{VIDEO TRANSCODING OPTIMIZATION METHOD USING CORRELATION OF SUBJECTIVE AND OBJECTIVE VIDEO QUALITY ASSESSMENT}
본 발명의 실시예들은 영상처리 기법을 이용한 동영상 트랜스코딩의 최적화 기법에 관한 것이다.
일반적으로 영상 화질 개선을 위한 방법은 여러 가지 방법이 있는데, 영상의 선명도와 노이즈 정도를 정량화하고 정량화 수치에 따라 화질 개선 파라미터를 결정하는 방법이 있다. 이러한 방법은 원본 영상과 저역 필터 통과 영상 간 계조 차이의 히스토그램을 이용해 영상의 선명도를 정량화한다. 그리고 입력 영상 내 블록(block) 및 링잉(ringing) 노이즈를 검출 및 저감하고, 노이즈가 저감된 영상과 원본 영상 간 차이를 계산하여 영상의 노이즈 발생 정도를 분석한다. 이후 분석된 선명도 및 노이즈 발성 정도에 따라 화질 개선 파라미터를 다르게 설정하여 화질을 개선시킨다.
예컨대, 한국공개특허 제10-2011-0025306호(공개일 2011년 03월 10일)에는 콘텐츠 정보로부터 해당 콘텐츠의 비디오 화질 개선 파라미터를 획득한 후 획득된 파라미터에 따라 비디오 신호 처리를 가변 조정하여 비디오 화질을 개선하는 기술이 개시되어 있다.
영상의 화질 측면에서 가장 좋은 트랜스코딩 방법은 입력된 영상의 비트스트림(bitstream)을 복호화하고, 복호화된 영상을 다시 부호화 하는 직렬 픽셀 도메인 트랜스코딩(Cascaded Pixel-domain Transcoding) 방법이다.
사용자가 인식하는 화질 저하를 최소화 하기 위해 영상처리 기법을 이용하여 동영상 트랜스코딩을 최적화 하는 방법을 제공한다.
주관적/객관적 동영상 비교를 통해 동영상 트랜스코딩을 최적화 하는 방법을 제공한다.
컴퓨터로 구현되는 동영상 트랜스코딩 방법에 있어서, 동영상 콘텐츠에 대해 서로 다른 비트레이트(bitrate)로 코딩된 두 프레임 간 그레이 명암도 변화량(gray intensity variation)을 나타내는 정량화 지수를 산출하는 단계; 상기 정량화 지수를 상기 서로 다른 비트레이트로 코딩된 신(scene) 간 화질 차이가 주관적 스코어링을 통해 수치화 된 화질 평가 지수와 비교하여 상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 도출하는 단계; 및 상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 이용하여 서비스 대상이 되는 신규 동영상 콘텐츠의 트랜스코딩을 수행하는 단계를 포함하는 동영상 트랜스코딩 방법이 제공된다.
일 측면에 따르면, 상기 두 프레임 간 그레이 명암도 변화량을 나타내는 정량화 지수를 산출하는 단계는, 수학식 1을 통해 상기 두 프레임 간 그레이 명암도 변화량에 대한 특징 벡터를 산출할 수 있다.
수학식 1:
Figure 112013120922295-pat00001
(여기서, ri,j는 동영상을 i, j개 만큼의 그리드 형태의 블록으로 분할할 때 각 블록에서의 명암도 변화량의 평균값, x2는 명암도 변화량에 대한 특징 벡터 U와 V는 블록의 크기, u와 v는 현재 처리하는 블록의 위치, I1와 I2는 서로 다른 비트레이트로 코딩된 프레임, M과 m은 각 블록의 너비, N과 n은 각 블록의 길이, k는 최소 인코딩 블록 크기를 나타낸다.)
다른 측면에 따르면, 상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 도출하는 단계는, 상기 정량화 지수를 신 단위로 적용하기 위해 신 영역에서의 상기 두 프레임 간 그레이 명암도 변화량에 대한 평균 값을 구한 후 상기 평균 값을 상기 화질 평가 지수와 비교할 수 있다.
또 다른 측면에 따르면, 상기 신규 동영상 콘텐츠의 트랜스코딩을 수행하는 단계는, 특정 신에서의 그레이 명암도 변화량에 대하여 서로 다른 비트레이트 간 차이 값이 임계치를 초과하면 최대 화질로 상기 신규 동영상 콘텐츠를 트랜스코딩하고 상기 임계치 이내이면 상기 차이 값이 가장 큰 비트레이트로 상기 신규 동영상 콘텐츠를 트랜스코딩할 수 있다.
본 발명의 실시예에 따르면, 영상처리 기법을 통해 동영상에 나타나는 특징들을 정량화 하여 정량화 된 지수에 따라 동영상 트랜스코딩을 수행함으로써 출력 영상의 화질을 최적화 할 수 있다.
본 발명의 실시예에 따르면, 동영상 콘텐츠에 대한 주관적 평가 결과와 영상처리 기반 정량화 지수의 관계 지표에 따라 동영상을 재트랜스코딩 함으로써 사용자가 인식하는 화질 저하를 최소화 한 동영상을 서비스 할 수 있다.
도 1은 본 발명의 일 실시예에 있어서, 화질 정량화 지수를 기반으로 한 동영상 트랜스코딩 방법을 도시한 순서도이다.
도 2는 동영상 콘텐츠에 대한 주관적 화질 평가 실험 결과를 나타낸 도표이다.
도 3 내지 도 5는 장르(액션, 스포츠, 뉴스)별 동영상 콘텐츠에 대한 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 설명하기 위한 그래프이다.
도 6은 본 발명의 일 실시예에 있어서, 화질 정량화 지수를 기반으로 한 동영상 트랜스코딩 장치의 내부 구성을 도시한 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 영상처리 기법을 이용한 동영상 트랜스코딩 방법 및 장치에 관한 것이다.
도 1은 본 발명의 일 실시예에 있어서, 화질 정량화 지수를 기반으로 한 동영상 트랜스코딩 방법을 도시한 순서도이다. 일 실시예에 따른 동영상 트랜스코딩 방법은 도 6을 통해 설명할 동영상 트랜스코딩 장치에 의해 각각의 단계가 수행될 수 있다.
1. 동영상 콘텐츠에 대한 주관적 실험 설계 및 수행 단계(S11~S12)
본 발명은 동영상 콘텐츠의 화질을 평가하기 위한 주관적 실험 방법을 제안하며, 주관적 실험을 통해 동영상을 시청하는 사용자가 동영상의 트랜스코딩 비트레이트(bitrate)에 따라 느끼는 주관적 점수를 할당할 수 있다. 본 발명에서는 기존의 표준화된 주관적 평가방식(ITU-R, VQEG Continuous Quality Evaluation)을 개선하여 동영상 내에서 신(scene)이 바뀔 때 마다 새로운 점수를 측정하여 할당하는 방법을 채택한다.
이를 위하여, 국제 표준에 의거하여 재생 시간이 5분 이내로 제한된 특정 장르에 해당하는 동영상 콘텐츠를 제작한다. 이때, 동영상은 동일한 장르 내에서 서로 다른 다수의 샷(shot)과 신(scene)을 포함할 수 있다.
(1) 주관적 실험을 위한 실험 설계 조건은 다음과 같다.
(본 실험에 적용된 사용기기, 해상도 및 비트레이트 수치는 현시점의 상용 서비스를 기준으로 한 수치이며, 서비스 대상 영상의 해상도가 달라질 경우 그에 따른 비트레이트 설정이 변경되어야 한다.)
- 실험에 사용되는 영상 콘텐츠의 재생 시간은 국제 표준에 의거하여 5분 이내로 제한한다.
- 영상 콘텐츠를 시청하는데 있어 관측자와 모바일 디바이스와의 거리는 매우 중요한 요소이나, 실험 환경상 모바일 디바이스와의 거리를 20~30Cm(모바일 디바이스로 영상 콘텐츠를 시청하는 데 있어 가장 많이 관측하는 거리)로 가정하고 실험한다.
- 영상 콘텐츠를 시청하는데 있어 주변의 빛과 환경의 영향을 많이 받기 때문에 실험은 단일한 장소에서 진행한다.
(2) 실험용 기기 및 환경 설정은 다음과 같다.
- 실험 시청 기기:
아이패드2
- 해상도 설정
영상 퀄리티에 있어 해상도의 크기에 따라 블록 현상과 열화 현상에 영향을 받고 두 영상과의 비교를 통해 주관적 영상 퀄리티를 측정하기 때문에 해상도를 자동으로 맞춘다.
(3) 실험 영상 콘텐츠의 구성은 다음과 같다.
- 콘텐츠 종류
스트리밍 서비스가 가장 많이 되는 콘텐츠 중 영상에서 나타나는 모션 편차가 가장 큰 액션(C1), 농구(C2), 뉴스(C3) 세 장르를 포함한다.
- 인코딩
모바일 스트리밍 서비스에서 가장 보편적으로 사용되는 480p(800x480)
비트레이트: 200, 400, 800, 1600 kbps
재생시간: 각 콘텐츠 당 10개 신 × 신 당 30초 = 총 300초(5분)
(4) 실험 수행 방법은 다음과 같다.
- 각 영상 콘텐츠 별로 3가지 비트레이트 셋(200vs400, 400vs800, 800vs1600)에 대해 MSU Continuous Quality Evaluation(MSU CQE) 방법을 따르며 실험을 진행한다.
- 각 신 구간 별로 기록된 체크 회수를 카운트하여 피험자가 느끼는 영상 간의 주관적 화질차이를 수치화 한다.
2. 영상처리 기법에 의한 동영상 화질의 정량화 단계(S13~S14)
본 발명은 서로 다른 트랜스코딩 비트레이트를 갖는 동일한 콘텐츠의 동영상에 대하여 정량화된 화질 평가 지수를 얻기 위해 영상처리 방법을 제시한다. 동영상 트랜스코딩 장치는 영상처리 기법에 의해 비트레이트 별로 동영상에 나타난 특징들을 활용하여 시청자의 주관적 평가 결과와 유사한 결과를 갖는 영상처리 기반의 화질 평가를 수행할 수 있다.
일 예로, 동영상 트랜스코딩 장치는 비트레이트별 동영상 콘텐츠의 화질 정량화를 위해 프레임 별 고주파 정보를 이용할 수 있다. 이때, 동영상 트랜스코딩 장치는 각 프레임에 대한 가우시안 저대역 필터링을 수행한 영상과 원본 프레임과의 차이의 평균값을 산출함으로써 프레임 별 고주파 정보를 나타내는 특징 벡터(x1)를 추출할 수 있다.
Figure 112013120922295-pat00002
여기서, I는 원본 프레임, Ih는 고주파 필터링이 적용된 영상, M과 N은 각각 영상의 너비와 길이를 나타내며, m과 n은 각각 영상의 2차원 공간 상에서의 픽셀 위치를 나타낸다.
다른 예로, 동영상 트랜스코딩 장치는 비트레이트별 동영상 콘텐츠의 화질 정량화를 위해 프레임 간 지역 영역에서의 명암도 변화량을 이용할 수 있다. 이때, 동영상 트랜스코딩 장치는 인코딩의 최소 블록 사이즈인 8×8 영역에서의 두 프레임 간 명암도 차이를 구하고 각 영역에서 변화량에 대한 전체 평균값을 산출함으로써 지역 영역에서의 명암도 변화량을 나타내는 특징 벡터(x2)를 추출할 수 있다.
Figure 112013120922295-pat00003
ri,j는 영상의 i, j개 만큼의 그리드 형태의 지역 영역으로 분할했을 때 각 지역 영역에서의 명암도 변화량의 평균값이며, U, V, u, v는 각각 블록의 크기와 블록의 현재 처리하는 블록의 위치를 나타낸다. k는 블록의 크기로 본 발명에서는 최소 블록 인코딩 크기인 8로 고정한다.
또 다른 예로, 동영상 트랜스코딩 장치는 비트레이트별 동영상 콘텐츠의 화질 정량화를 위해 프레임 간 지역 영역에서의 컬러 명암도 변화량을 이용할 수 있다. 이때, 동영상 트랜스코딩 장치는 지역 영역에서의 명암도 변화량을 추출하는 것과 동일한 방식으로 세 컬러 밴드에 대한 변화량을 구하고 각 밴드의 산출 결과에 대한 평균값을 산출함으로써 지역 영역에서의 컬러 명암도 변화량을 나타내는 특징 벡터(x3)를 추출할 수 있다.
Figure 112013120922295-pat00004
여기서, IR에 대한 변화량 연산을 IG와 IB에도 동일하게 적용하여 xG와 xB를 얻을 수 있다.
3. 주관적 평가 실험과 영상처리 기법 기반의 정량화 지수 간 관계 도출 단계(S15~S16)
본 발명은 주관적 스코어링을 통한 동영상 콘텐츠 화질 평가와 영상처리 기법에 의한 화질 평가 정량화 지수 간의 유사도를 분석하게 된다. 이에 따라, 주관적 평가 방법으로 얻어진 결과와 유사도가 높은 정량화 지수를 가지고 시청자가 느끼는 화질을 최소한 저해하는 수준의 판단 기준을 확보할 수 있다.
먼저, 단계(S11~S12)에서의 특정 장르에 대한 주관적 평가 실험 결과는 도 2에 나타낸 표와 같이 얻어질 수 있다.
그리고, 동영상 트랜스코딩 장치는 영상처리 기법 기반의 정량화 지수를 신 단위로 적용하기 위해 단계(S13~S14)에서 추출된 프레임 별 특징 값들(x1, x2, x3) 중 적어도 하나를 신 영역에서 평균값을 취할 수 있다.
Figure 112013120922295-pat00005
이에, 동영상 트랜스코딩 장치는 영상 화질 평가 기준으로서 특정 장르에 대한 각기 다른 비트레이트로 트랜스코딩 된 동영상의 주관적 평가 실험 결과와 영상처리 기반의 정량화 지수를 비교한 상관 관계를 도출할 수 있다.
일 예로, 동영상 트랜스코딩 장치는 프레임 간 지역 영역에서의 명암도 변화량을 영상 화질에 대한 정량화 지수로 이용하여 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 도출할 수 있다. 다른 예로, 동영상 트랜스코딩 장치는 프레임 별 고주파 정보를 영상 화질에 대한 정량화 지수로 이용하여 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 도출할 수 있다. 또 다른 예로, 동영상 트랜스코딩 장치는 프레임 간 지역 영역에서의 명암도 변화량과 RGB 컬러 밴드에 대한 변화량을 영상 화질에 대한 정량화 지수로 이용하여 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 도출할 수 있다.
주관적 평가 실험 결과와 영상 화질 정량화 지수의 차이는 일반적으로 데이터(확률 변수) 사이에 상관성/종속성/의존성/유사성의 방향 및 정도에 대한 척도인 상관 계수를 계산함으로써 구할 수 있습니다. 두 값에 대한 상관 계수를 계산하는 것은 기 공지된 상관 계수 산출 알고리즘을 이용할 수 있다.
동영상 콘텐츠에 대한 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계는 장르(액션, 스포츠, 뉴스)에 따라 도 3 내지 도 5와 같은 그래프의 형태로 나타날 수 있다.
도 3은 액션 장르의 동영상 콘텐츠에 대한 3가지 비트레이트 셋(200vs400, 400vs800, 800vs1600)에 대한 주관적 평가치(a), 프레임 별 고주파 정보(b), 프레임 간 지역 영역에서의 그레이 명암도 변화량(c), 프레임 간 지역 영역에서의 컬러(RGB) 명암도 변화량(d)을 나타내고 있다. 도 3을 참조하면, 액션 동영상에 대한 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 알 수 있다.
도 4는 스포츠 영상에 대한 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를, 도 5는 뉴스 영상에 대한 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 나타낸 것이다.
상기한 내용에 따르면, 동영상 트랜스코딩 장치는 주관적 평가 실험 결과와 영상 화질 정량화 지수를 비교하여 그 차이를 통해 영상 화질 평가 기준을 수립할 수 있다. 또한, 동영상 트랜스코딩 장치는 영상 콘텐츠의 장르(예컨대, 액션, 스포츠, 뉴스 등) 별로 영상 화질 평가 기준을 수립할 수 있다.
4. 도출된 결과 지표에 따라 동영상을 재트랜스코딩 하는 단계(S17~S18)
본 발명은 주관적 평가 방법으로 얻어진 결과와 유사도가 높은 정량화 지수를 가지고 시청자가 느끼는 화질을 최소한 저해하는 수준에서 동영상 콘텐츠를 재트랜스코딩 하여 저용량 인코딩 및 모바일 환경에서의 저전력 동영상 재생을 달성할 수 있다. 동영상 트랜스코딩 장치는 상관 관계가 높은 지수 정보를 이용하여 주관적 평가를 수행하지 않은 신규 영상에 대해 트랜스코딩 과정에서 영상 처리 기법 기반 정량화 지수를 추출함으로써, 시청자가 인식하는 화질 저하를 최소화한 동영상을 서비스한다. 즉, 트랜스코딩 시 동영상 콘텐츠에 대한 프레임 별 고주파 정보, 프레임 간 지역 영역에서의 그레이 명암도 변화량, 프레임 간 지역 영역에서의 컬러(RGB) 명암도 변화량에 따른 값으로부터 해당 동영상의 주관적 평가 결과의 차이를 확률 변수로 사용하여 상관 관계가 높은 지수를 추출할 수 있다.
다시 말해, 동영상 트랜스코딩 장치는 영상 화질에 대한 정량화 지수, 즉 프레임 별 고주파 정보, 프레임 간 지역 영역에서의 그레이 명암도 변화량, 프레임 간 지역 영역에서의 컬러(RGB) 명암도 변화량 중 적어도 하나를 이용하여 온라인 서비스 대상에 해당되는 영상 콘텐츠의 트랜스코딩을 수행할 수 있다. 이때, 동영상 트랜스코딩 장치는 영상 콘텐츠의 장르를 구분하여 해당 장르에 해당되는 영상 화질 정량화 지수를 이용하여 영상 트랜스코딩을 수행할 수 있다.
영상처리 기법으로 i번째 신에서 추출된 정량화 지수 xi는 각 비트레이트에 따라 xi,200, xi,400, xi,800, xi,1600으로 추출될 수 있다. 동영상 트랜스코딩 장치는 수학식 5와 같이 특정 신에서 정규화 된 특징값
Figure 112013120922295-pat00006
에 대하여 비트레이트 간 차이값이 특정 임계 값
Figure 112013120922295-pat00007
을 넘을 경우 최대 화질(예컨대, 1600)로 트랜스코딩을 수행하며, 넘지 않을 경우 비트레이트 간 차이가 가장 커지는 비트레이트를 선택하여 재트랜스코딩을 수행한다.
Figure 112013120922295-pat00008
여기서, B는 최종으로 결정되는 비트레이트이고, b는 비트레이트 레벨 벡터로 b=[200,400,800,1600]T와 같이 정의된다. B는 최종 재트랜스코딩 되는 비트레이트 레벨로, 각 신에 대해 B 값으로 설정하게 된다.
단계(S15~S16)를 통해 도출된 상관 지수를 적용하여, 서비스 대상 동영상의 영상 처리 기반 정량화 지수를 계산한 후, 서비스 대상 동영상의 주관적 평가를 예측할 수 있다. 예측된 주관적 평가는 주관적 평가를 수행한 실험에 대응하는 수치로 나타나는데, 예컨대, VQEG의 CQE 평가 기준에 따라 20명 이상의 시청자가 해당 동영상을 비교할 경우, (중복응답을 포함하여) 단위시간당 x회 이상의 영상 퀄리티 차이를 인식한 것으로 나타나고, 단위시간당 x1, x2, x3회를 임계값으로 설정할 경우, 임계 수치에 따라 비트레이트 y1, y2, y3를 서비스 비트레이트로 설정하여 트랜스코딩을 수행할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 입력 화면 제어를 위한 앱은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션(예컨대, 메신저 프로그램 등)의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.
도 6은 본 발명의 일 실시예에 있어서, 화질 정량화 지수를 기반으로 한 동영상 트랜스코딩 장치의 내부 구성을 도시한 것이다.
도 6에 도시한 바와 같이, 일 실시예에 따른 동영상 트랜스코딩 장치는 정량화부(610)와 비교부(620) 및 코딩부(630)로 이루어진 프로세서(600), 메모리(601), 그리고 데이터베이스(602)를 포함하여 구성될 수 있다.
메모리(601)는 동영상 콘텐츠에 대한 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계를 기반으로 동영상 트랜스코딩을 수행하는 명령어를 포함하는 프로그램이 저장될 수 있다. 도 1 내지 도 5를 통해 설명한 동영상 트랜스코딩 방법의 과정들은 메모리(601)에 저장된 프로그램에 의해 실행될 수 있다. 예를 들어, 메모리(601)는 하드디스크, SSD, SD 카드 및 기타 저장매체일 수 있다.
데이터베이스(602)는 동영상 트랜스코딩을 수행하는데 필요한 모든 정보들을 저장 및 예측할 수 있는 저장소로서, 사전에 수립된 동영상 콘텐츠의 주관적 평가 실험 결과와 영상 화질 정량화 지수의 상관 관계에 대한 정보 등이 저장될 수 있다.
프로세서(600)는 메모리(601)에 저장된 프로그램의 명령어에 따라 처리하는 장치로서, CPU 등의 마이크로프로세서가 포함될 수 있다. 프로세서(600)의 내부 구성은 다음과 같다.
정량화부(610)는 동영상 콘텐츠에 대해 정량화 된 화질 평가 지수를 산출할 수 있다. 이때, 정량화부(610)는 영상처리 방법을 기반으로 서로 다른 트랜스코딩 비트레이트를 갖는 동일 동영상에 대하여 정량화된 화질 평가 지수를 얻을 수 있다. 일 예로, 정량화부(610)는 각 프레임에 대한 가우시안 저대역 필터링을 수행한 영상과 원본 프레임과의 차이의 평균값을 산출함으로써 프레임 별 고주파 정보를 나타내는 특징 벡터를 추출할 수 있다. 다른 예로, 정량화부(610)는 인코딩의 최소 블록 사이즈인 8×8 영역에서의 두 프레임 간 명암도 차이를 구하고 각 영역에서 변화량에 대한 전체 평균값을 산출함으로써 지역 영역에서의 명암도 변화량을 나타내는 특징 벡터를 추출할 수 있다. 또 다른 예로, 정량화부(610)는 지역 영역에서의 명암도 변화량을 추출하는 것과 동일한 방식으로 세 컬러 밴드에 대한 변화량을 구하고 각 밴드의 산출 결과에 대한 평균값을 산출함으로써 지역 영역에서의 컬러 명암도 변화량을 나타내는 특징 벡터를 추출할 수 있다.
비교부(620)는 정량화부(610)를 통해 산출된 화질 평가 지수를 사전 실험 조건 하의 주관적 스코어링을 통한 동영상 콘텐츠 화질 평가 지수와 비교하여 두 지수 간의 유사도를 분석할 수 있다. 이때, 비교부(620)는 영상처리 기법 기반의 정량화 지수를 신 단위로 적용하기 위해 정량화부(610)에서 추출된 프레임 별 특징 값들 중 적어도 하나를 신 영역에서 평균값을 취할 수 있다. 이에, 비교부(620)는 영상 화질 평가 기준으로서 특정 장르에 대한 각기 다른 비트레이트로 트랜스코딩 된 동영상의 주관적 평가 실험 결과와 영상처리 기반의 정량화 지수를 비교한 상관 관계를 도출할 수 있다.
코딩부(630)는 주관적 평가 방법으로 얻어진 결과와 유사도가 높은 정량화 지수를 가지고 시청자가 느끼는 화질을 최소한 저해하는 수준에서 동영상 콘텐츠 재트랜스코딩을 수행할 수 있다. 이때, 코딩부(630)는 영상처리 기법으로 i번째 신에서의 정량화 지수 xi를 각 비트레이트에 따라 산출함으로써 xi,200, xi,400, xi,800, xi,1600를 구할 수 있다. 그리고, 코딩부(630)는 특정 신에서 정규화 된 특징값
Figure 112013120922295-pat00009
에 대하여 비트레이트 간 차이값이 특정 임계 값
Figure 112013120922295-pat00010
을 넘을 경우 최대 화질(1600)로 트랜스코딩을 수행하며, 넘지 않을 경우 비트레이트 간 차이가 가장 커지는 비트레이트를 선택하여 재트랜스코딩을 수행할 수 있다.
상기한 동영상 트랜스코딩 장치는 도 1 내지 도 5를 통해 설명한 동영상 트랜스코딩 방법의 상세 내용을 바탕으로 구성 요소 일부가 생략되거나 추가의 구성요소들이 더 포함될 수 있다. 또한, 둘 이상의 구성요소가 조합될 수 있고 구성요소 간의 동작 순서나 연계 방식이 변경될 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 영상처리 기법을 통해 동영상에 나타나는 특징들을 정량화 하여 정량화 된 지수에 따라 동영상 트랜스코딩을 수행함으로써 출력 영상의 화질을 최적화 할 수 있다. 더욱이, 본 발명의 실시예에 따르면, 동영상 콘텐츠에 대한 주관적 평가 결과와 영상처리 기반 정량화 지수의 관계 지표에 따라 동영상을 재트랜스코딩 함으로써 사용자가 인식하는 화질 저하를 최소화 한 동영상을 서비스 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
610: 정량화부
620: 비교부
630: 코딩부

Claims (4)

  1. 컴퓨터로 구현되는 동영상 트랜스코딩 방법에 있어서,
    동영상 콘텐츠에 대해 서로 다른 비트레이트(bitrate)로 코딩된 두 프레임 간 그레이 명암도 변화량(gray intensity variation)을 나타내는 정량화 지수를 산출하는 단계;
    상기 정량화 지수를 상기 서로 다른 비트레이트로 코딩된 신(scene) 간 화질 차이가 주관적 스코어링을 통해 수치화 된 화질 평가 지수와 비교하여 상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 도출하는 단계; 및
    상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 이용하여 서비스 대상이 되는 신규 동영상 콘텐츠의 트랜스코딩을 수행하는 단계
    를 포함하는 동영상 트랜스코딩 방법.
  2. 제1항에 있어서,
    상기 두 프레임 간 그레이 명암도 변화량을 나타내는 정량화 지수를 산출하는 단계는,
    수학식 1을 통해 상기 두 프레임 간 그레이 명암도 변화량에 대한 특징 벡터를 산출하는 것
    을 특징으로 하는 동영상 트랜스코딩 방법.
    수학식 1:
    Figure 112013120922295-pat00011

    (여기서, ri,j는 동영상을 i, j개 만큼의 그리드 형태의 블록으로 분할할 때 각 블록에서의 명암도 변화량의 평균값, x2는 명암도 변화량에 대한 특징 벡터, U와 V는 블록의 크기, u와 v는 현재 처리하는 블록의 위치, I1와 I2는 서로 다른 비트레이트로 코딩된 프레임, M과 m은 각 블록의 너비, N과 n은 각 블록의 길이, k는 최소 인코딩 블록 크기를 나타낸다.)
  3. 제1항에 있어서,
    상기 정량화 지수와 상기 화질 평가 지수 간 상관 관계를 도출하는 단계는,
    상기 정량화 지수를 신 단위로 적용하기 위해 신 영역에서의 상기 두 프레임 간 그레이 명암도 변화량에 대한 평균 값을 구한 후 상기 평균 값을 상기 화질 평가 지수와 비교하는 것
    을 특징으로 하는 동영상 트랜스코딩 방법.
  4. 제1항에 있어서,
    상기 신규 동영상 콘텐츠의 트랜스코딩을 수행하는 단계는,
    특정 신에서의 그레이 명암도 변화량에 대하여 서로 다른 비트레이트 간 차이 값이 임계치를 초과하면 최대 화질로 상기 신규 동영상 콘텐츠를 트랜스코딩하고 상기 임계치 이내이면 상기 차이 값이 가장 큰 비트레이트로 상기 신규 동영상 콘텐츠를 트랜스코딩하는 것
    을 특징으로 하는 동영상 트랜스코딩 방법.
KR1020130167960A 2013-12-31 2013-12-31 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법 KR101358576B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130167960A KR101358576B1 (ko) 2013-12-31 2013-12-31 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법
PCT/KR2014/011600 WO2015102237A1 (ko) 2013-12-31 2014-12-01 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167960A KR101358576B1 (ko) 2013-12-31 2013-12-31 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법

Publications (1)

Publication Number Publication Date
KR101358576B1 true KR101358576B1 (ko) 2014-02-06

Family

ID=50269892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167960A KR101358576B1 (ko) 2013-12-31 2013-12-31 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법

Country Status (1)

Country Link
KR (1) KR101358576B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653892A (zh) * 2020-12-18 2021-04-13 杭州当虹科技股份有限公司 一种利用视频特征实现转码测试评估的方法
KR20220116709A (ko) 2021-02-15 2022-08-23 김한슬 히비스커스 추출물을 함유한 기능성이 증진된 히비스커스 모주 조성물

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0970041A (ja) * 1995-08-30 1997-03-11 Kokusai Denshin Denwa Co Ltd <Kdd> 可変ビットレート符号化装置
JP2003037844A (ja) 2001-07-23 2003-02-07 Sharp Corp 動画像符号化装置
KR20040105964A (ko) * 2003-06-10 2004-12-17 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치및 방법
KR20070049833A (ko) * 2005-11-09 2007-05-14 삼성전자주식회사 화질 평가 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0970041A (ja) * 1995-08-30 1997-03-11 Kokusai Denshin Denwa Co Ltd <Kdd> 可変ビットレート符号化装置
JP2003037844A (ja) 2001-07-23 2003-02-07 Sharp Corp 動画像符号化装置
KR20040105964A (ko) * 2003-06-10 2004-12-17 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치및 방법
KR20070049833A (ko) * 2005-11-09 2007-05-14 삼성전자주식회사 화질 평가 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653892A (zh) * 2020-12-18 2021-04-13 杭州当虹科技股份有限公司 一种利用视频特征实现转码测试评估的方法
CN112653892B (zh) * 2020-12-18 2024-04-23 杭州当虹科技股份有限公司 一种利用视频特征实现转码测试评估的方法
KR20220116709A (ko) 2021-02-15 2022-08-23 김한슬 히비스커스 추출물을 함유한 기능성이 증진된 히비스커스 모주 조성물

Similar Documents

Publication Publication Date Title
KR102110022B1 (ko) 지각 비디오 품질을 예측하기 위한 기술
Winkler Perceptual video quality metrics—A review
US9282330B1 (en) Method and apparatus for data compression using content-based features
US10841620B1 (en) Noisy media content encoding
US9412024B2 (en) Visual descriptors based video quality assessment using outlier model
KR102523149B1 (ko) 부트스트래핑을 통한 지각 품질 모델 불확실성의 정량화
US10750211B2 (en) Video-segment identification systems and methods
KR102522098B1 (ko) 인지 민감도를 고려하는 영상 화질 측정 방법 및 장치
WO2016033725A1 (zh) 视频编码中的块分割方式处理方法和相关装置
KR20120105821A (ko) 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치
WO2018153161A1 (zh) 一种视频质量评价方法及装置、设备、存储介质
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
KR101358576B1 (ko) 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법
US10425642B1 (en) Noisy media content encoding
US10412391B1 (en) Minimize number of encoded video stream frames for content recognition
US10264273B2 (en) Computed information for metadata extraction applied to transcoding
KR101362654B1 (ko) 컬러 및 명암 분석 기술을 활용한 동영상 트랜스코딩 최적화 방법
KR101361442B1 (ko) 프레임별 고주파 정보 추출을 활용한 동영상 트랜스코딩 최적화 방법
JP2007027980A (ja) 復号装置および符号化装置
Khatoonabadi et al. Compressed-domain visual saliency models: a comparative study
JP5119740B2 (ja) 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
KR102574353B1 (ko) 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법
WO2015102237A1 (ko) 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법
Kim et al. Efficient video quality assessment for on-demand video transcoding using intensity variation analysis
US20190098316A1 (en) Complexity control of video codec

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 6