KR101563923B1 - 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치 - Google Patents

온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치 Download PDF

Info

Publication number
KR101563923B1
KR101563923B1 KR1020140016142A KR20140016142A KR101563923B1 KR 101563923 B1 KR101563923 B1 KR 101563923B1 KR 1020140016142 A KR1020140016142 A KR 1020140016142A KR 20140016142 A KR20140016142 A KR 20140016142A KR 101563923 B1 KR101563923 B1 KR 101563923B1
Authority
KR
South Korea
Prior art keywords
video
video content
rate
value
deterioration rate
Prior art date
Application number
KR1020140016142A
Other languages
English (en)
Other versions
KR20150095069A (ko
Inventor
이종석
권영재
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140016142A priority Critical patent/KR101563923B1/ko
Publication of KR20150095069A publication Critical patent/KR20150095069A/ko
Application granted granted Critical
Publication of KR101563923B1 publication Critical patent/KR101563923B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/32—Arrangements for monitoring conditions of receiving stations, e.g. malfunction or breakdown of receiving stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

온라인으로 비디오를 송신하는 사업자 입장에서, 비디오 컨텐츠의 특성 및 네트워크 상황 정보 만을 이용하여 비디오를 수신하여 재생하는 가입자 단말에서 어느 정도 화질 열화가 있을 것인지를 예측하는 방법 및 그 장치가 제공된다. 본 발명에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법은 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정하는 단계, 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률(Packet Loss Rate) PLR을 측정하는 단계, 상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 단계를 포함한다.

Description

온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치 {Method and apparatus for estimating degradation rate of online video quality}
본 발명은 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 비디오 송신자가 비디오 수신 단말에서의 화질 열화도를 예측하기 위한 방법 및 그 장치에 관한 것이다.
온라인 상으로 비디오 컨텐츠를 배포하는 경우, 네트워크에서 발생하는 패킷 유실 등의 문제로 인하여 비디오 화질의 열화가 발생하게 된다. 최근 IPTV(Internet Protocol Television) 서비스 등, 온라인 비디오 제공 서비스가 다양하게 활용되고 있는데, 비디오 컨텐츠를 배포하는 사업자 입장에서는 고객들의 체감 품질(Quality of Experience)을 관리하기 위한 방법의 일환으로, 고객들이 실제로 시청하게 될 비디오의 화질을 관리할 필요성이 제시된다.
일반적으로 영상 화질 평가를 하려면 Full Reference Metric을 사용하지만, 영상이 네트워크를 통해 전송될 경우 reference로 사용할 원본 영상을 전송하는 것이 불가능하기 때문에 이를 대체할 수 있는 모델이 필요하다.
Wang, Z. and Bovik, A. C.: ‘Mean squared error: Love it or leave it? A new look at signal fidelity measures’, IEEE Signal Processing Magazine, 2009, 26, (1), pp. 98-117 Tao, S., Apostolopoulos, J. and Guerin, R.: ‘Real-time monitoring of video quality in IP networks’, IEEE/ACM Transactions on Networking, 2008, 16, (5), pp. 1052-1065 Recommendation ITU-T G.1070: Opinion model for video-telephony applications, April 2007 Joskowicz, J. and Lopez Ardao, J. C.: ‘A general parametric model for perceptual video quality estimation’, IEEE International Workshop Technical Committee on Communications Quality and Reliability, 2010, pp. 1-6 Seshadrinathan, K., Soundararajan, R., Bovik, A. C. and Cormack, L. K.: ‘Study of subjective and objective quality assessment ofvVideo’, IEEE Transactions on Image Processing, 2010, 19, (6), pp. 1427-1441 Hasslinger, G. and Hohlfeld, O.: ‘The Gilbert-Elliott model for packet loss in real time services on the Internet’, 14th GI/ITG Conference on Measuring, Modelling and Evaluation of Computer and Communication Systems, 2008, pp. 1-15 Yang, F. and Wan, S.: ‘Bitstream-based quality assessment for networked video: a review’, IEEE Communications Magazine, 2012, 50, (11), pp. 203-209
본 발명이 해결하고자 하는 기술적 과제는 온라인으로 비디오를 송신하는 사업자 입장에서, 비디오 컨텐츠의 특성 및 네트워크 상황 정보 만을 이용하여 비디오를 수신하여 재생하는 가입자 단말에서 어느 정도 화질 열화가 있을 것인지를 예측하는 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 온라인으로 비디오를 송신하는 사업자 입장에서 수신자 단말의 화질 열화율을 예측하고, 예측된 상기 화질 열화율이 일정 수준 내에서 관리되도록 조치를 취하는 QoE(Quality of Experience) 유지 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법은 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정하는 단계와, 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률(Packet Loss Rate) PLR을 얻는 단계와, 상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 단계를 포함한다.
일 실시예에서, 상기 PLR을 얻는 단계는, 상기 PLR을 측정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 PLR을 얻는 단계는, 상기 PLR을 제공 받는 단계를 포함할 수 있다.
일 실시예에서, 화질 열화율은 △SSIM(Structural Similarity) = (수신 측 단말의 SSIM - 송신 측 장치의 SSIM)일 수 있다.
일 실시예에서, 상기 비디오 컨텐츠의 특성 값은 인접 매크로블럭 간 픽셀 차이 값의 평균 값 일 수 있다.
일 실시예에서, 상기 화질 열화율은 아래의 수식으로 연산될 수 있다.
Figure 112014013874282-pat00001
,
(단, α1, β1, γ1, b는 각각 0이 아닌 기 정의된 실수, β1, γ1은 0보다 큰 실수, α1 은 0보다 작은 실수)
일 실시예에서, α1 = -8.52 * 10-4 ,α2 = 4.21 * 10-2,β1 = 2.82 * 10-4,β2 = 5.52 * 10-3,γ1 = 3.45 * 10-3,γ2 = -8.56 * 10-3,b = 8.77 * 10-1일 수 있다.
일 실시예에서, 상기 온라인 비디오 컨텐츠의 화질 열화율 예측 방법은 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 비디오 컨텐츠를 변환하여, s', g' 값과 상기 d, PLR 값을 모두 이용하여 연산된 상기 화질 열화율이 상기 기준치 이하가 되도록 하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 비디오 컨텐츠 대신 보조 비디오 컨텐츠를 송신하는 단계를 더 포함할 수 있다. 이 때, 상기 보조 비디오 컨텐츠는 상기 비디오 컨텐츠보다 상기 s 값이 더 크고, 상기 g 값이 더 작도록 인코딩된 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 온라인 비디오 컨텐츠의 QoE 유지 방법은 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d, 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률(Packet Loss Rate) PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 단계; 및 상기 화질 열화율에 따라 송신될 비디오 컨텐츠의 인코딩 파라미터를 조정하는 단계를 포함한다.
일 실시예에서, 상기 인코딩 파라미터를 조정하는 단계는, 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 인코딩 파라미터를 조정하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 태양에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 장치는 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정하는 컨텐츠 특성 분석부와, 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률 PLR을 얻는 네트워크 모니터링부와, 상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 화질 열화율 연산부를 포함할 수 있다.
일 실시예에서, 상기 화질 열화율 연산부는 상기 화질 열화율을 아래의 수식으로 연산할 수 있다.
Figure 112014013874282-pat00002
(단, α1, β1,γ1, b는 각각 0이 아닌 기 정의된 실수, β1, γ1은 0보다 큰 실수, α1은 0보다 작은 실수)
일 실시예에서, 상기 온라인 비디오 컨텐츠의 화질 열화율 예측 장치는 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 비디오 컨텐츠의 포맷을 변환하여, s', g' 값과 상기 d, PLR 값을 모두 이용하여 연산된 상기 화질 열화율이 상기 기준치 이하가 되도록 하는 QoE 유지부를 더 포함할 수 있다.
일 실시예에서, 상기 온라인 비디오 컨텐츠의 화질 열화율 예측 장치는 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 비디오 컨텐츠 대신 보조 비디오 컨텐츠를 송신하는 QoE 유지부를 더 포함할 수 있다. 이 때, 상기 보조 비디오 컨텐츠는 상기 비디오 컨텐츠의 포맷보다 상기 s 값이 더 크고, 상기 g 값이 더 작도록 인코딩 된 것이다.
상기와 같은 본 발명에 따르면, 온라인으로 비디오를 송신하는 사업자 입장에서, 비디오 컨텐츠의 특성 및 네트워크 상황 정보 만을 이용하여 비디오를 수신하여 재생하는 가입자 단말에서 어느 정도 화질 열화가 있을 것인지를 예측할 수 있다. 이 때, 사업자는 온라인 비디오 서비스 가입자들의 서비스 만족도를 높이기 위해, 상기 예측된 화질 열화도가 적절한 수준 이하로 관리되도록 여러 조치를 취할 수 있다.
도 1은 본 발명의 일 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법의 제1 순서도이다.
도 2는 도 1에 도시된 순서도에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법에 연결되어 실시될 수 방법에 대한 제1 순서도이다.
도 3은 도 1에 도시된 순서도에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법에 연결되어 실시될 수 방법에 대한 제2 순서도이다.
도 4는 본 발명의 일 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 장치의 구성도를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 장치의 하드웨어 구성을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 제1, 제2 등이 다양한 소자나 구성요소들을 서술하기 위해서 사용되나, 이들 소자나 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자나 구성요소를 다른 소자나 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자나 구성요소는 본 발명의 기술적 사상 내에서 제2 소자나 구성요소 일 수도 있음은 물론이다.
본 실시예에서 사용되는 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법에 대하여 설명한다.
도 1에 도시된 순서도에 따른 방법은 비디오 컨텐츠를 온라인으로 송신하는 장치 또는 비디오 컨텐츠를 온라인으로 송신하는 장치와 직간접적으로 연결된 장치, 예를 들어 컨텐츠 배포 서버 등을 이용하여 수행될 수 있다. 본 실시예에 따르면, 송신되는 온라인 컨텐츠 전체를 대상으로 화질 열화율이 예측될 수도 있고, 송신되는 온라인 컨텐츠 중 일부인 샘플을 추출하여, 추출된 샘플들에 대하여만 화질 열화율을 예측함으로써 전체적인 화질 열화율 추이를 파악할 수도 있다.
본 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법에서는 화질 열화율 측정 대상인 송신될 비디오 컨텐츠의 비디오 특성을 파악하는 단계(S100)를 포함한다. 파악된 비디오 특성 중 일부는 화질 열화율을 예측하는 수식 모델에 대한 입력 파라미터로 사용될 수 있을 것이다.
본 출원인은 다수의 테스트 및 시뮬레이션을 거쳐 화질 열화율을 예측하는데 사용하기 적합할 것으로 예상된 다수의 비디오 특성 데이터 - 양자화 파라미터, 슬라이스 당 매크로블록의 개수, GOP(Group Of Picture) 내 프레임의 개수, 프레임 당 슬라이스의 개수 등 - 중, 아래의 수치를 이용하는 것이 가장 바람직 하다는 결론을 얻게 되었다.
- 하나의 프레임(frame)에 포함된 슬라이스(slice)의 개수; 이하 s로 표현. 슬라이스는 H.264/MPEG-4 AVC와 같은 동영상 압축 코덱에서 제시된 개념으로, 프레임 내의 서로 다른 영역을 표현하는 데이터
- 하나의 GOP에 포함된 프레임의 개수; 이하 g로 표현. GOP는 코딩된 비디오 내의 연속적인 이미지들의 집합임
- 컨텐츠 특성 값; 이하 d로 표현. 비디오 컨텐츠에 포함된 프레임들의 복잡도를 의미함. 예를 들어, 인접한 매크로블럭 간의 픽셀 값의 차이 값의 전체 비디오 컨텐츠에 대한 평균 값(NMD; Neighbor Macroblock Difference)일 수 있음. 복잡한 프레임들을 가지고 있는 비디오 컨텐츠 일수록 패킷 손실에 의하여 화질 열화가 더 많이 이뤄질 수 있음.
상기 3개의 비디오 특성 데이터(s, g, d) 외에, 네트워크의 상황에 따라 달라질 수 있는 패킷 손실률(Packet Loss Rate) PLR도 화질 열화율의 예측 수식 모델에 대한 입력 파라미터로 사용된다. 따라서, 본 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 방법에서는 패킷 손실률을 측정하는 단계(S102)를 더 포함한다. 패킷 손실률을 측정함에 있어서, 예를 들어 한국공개특허 2007-0051044, 한국공개특허 2004-0111669, 한국공개특허 2012-0088297 등 다양한 종래 기술이 활용될 수 있다. 상기 패킷 손실률은 % 단위의 값을 가질 수 있다. 예를 들어, PLR = 0.01이라면, 0.01 퍼센트의 패킷이 손실되는 상태를 의미할 것이다.
즉, 본 실시예에 따르면, 상기 3개의 비디오 특성 데이터(s, g, d)와 PLR을 입력 파라미터로 사용하는 수식 모델을 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산한다.
연산되는 화질 열화율은 수신 측 단말의 SSIM(Structural similarity)에서 송신 측 장치의 SSIM을 뺀 수치, 즉 △SSIM 일 수 있다. SSIM의 연산 방법에 관하여는, http://en.wikipedia.org/wiki/SSIM 등을 참조할 수 있다.
다음으로, 상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산한다(S104). 이 때 상기 화질 열화율을 연산하는데 사용되는 수식 모델은 아래와 같다.
Figure 112014013874282-pat00003
단, α1, β1, γ1, b는 각각 0이 아닌 기 정의된 실수,
β1, γ1은 0보다 큰 실수, α1은 0보다 작은 실수,
즉, 상기 수학식 1에 따르면, s 값이 작을수록, g 값이 클수록 화질열화율이 증가하게 된다. 즉, 패킷 손실률이 동일하다면 비디오 컨텐츠의 인코딩 방식에 따라서도 화질열화율이 달라질 수 있는데, s 값이 작을수록, g 값이 클수록 화질열화율이 증가한다. 반대로, s 값이 클수록, g 값이 작을수록 화질열화율이 감소한다.
본 출원인은 다수의 테스트 및 시뮬레이션에 따른 데이터의 분석을 거쳐, 상기 수학식 1의 각 계수 α1, α2, β1, β2, γ1, γ2, b의 최적 값을 아래와 같이 얻었다.
α1 = -8.52 * 10-4
α2 = 4.21 * 10-2
β1 = 2.82 * 10-4
β2 = 5.52 * 10-3
γ1 = 3.45 * 10-3
γ2 = -8.56 * 10-3
b = 8.77 * 10-1
상기 언급된 계수의 수치는 본 발명의 일 예일 뿐이며, 본 발명의 기술 분야에 종사하는 당업자에게 자명한 수준의 범위 내에서 수치가 조정될 수 있는 점을 유의하여야 한다.
상기 연산된 화질 열화율은 다양한 분야에서 활용될 수 있다. 예를 들어, IPTV 사업자가 현재의 화질 열화율을 모니터링하고, 특정 지역의 가입자 또는 특정 요건을 만족하는 가입자에 대한 화질 열화율이 기준치 이하로 떨어지는 상황이 발생하면 상기 IPTV 사업자가 비디오 컨텐츠의 인코딩 방식을 변경하여 송신하거나, 변경된 방식으로 인코딩된 보조 비디오 컨텐츠를 송신함으로써 상기 화질 열화율을 관리할 수 있다. 이에 대하여 도 2 내지 도 3을 참조하여 설명한다.
일 실시예에 따르면, 도 2에 도시된 바와 같이 상기 연산된 화질 열화율이 기 정의된 기준치(TH)를 벗어나는 경우(S106), 원래 송신하려고 했던 비디오 컨텐츠 대신 보조 비디오 컨텐츠를 송신한다(S108). 상기 보조 비디오 컨텐츠는 원래 송신하려고 했던 비디오 컨텐츠의 포맷보다 상기 s 값이 더 크고, 상기 g 값이 더 작도록 인코딩된 것이다.
다른 실시예에 따르면, 도 3에 도시된 바와 같이 상기 연산된 화질 열화율이 기 정의된 기준치(TH)를 벗어나는 경우(S106), 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 비디오 컨텐츠의 포맷을 변환(S114)하여, s', g' 값과 상기 d, PLR 값을 모두 이용하여 연산된 상기 화질 열화율이 상기 기준치 이하가 되도록 한다. 상기 s'와 g' 값은 상기 수학식 1에서 △SSIM이 TH이하의 소정 수치를 갖도록 하는 값이다(S112). 상기 연산된 화질 열화율이 기 정의된 기준치(TH)를 벗어나는 경우(S106), s', g'에 따라 인코딩 된 비디오 컨텐츠를 송신하고(S116), 상기 연산된 화질 열화율이 기 정의된 기준치(TH)보다 작은 경우, s, g에 따라 인코딩 된 비디오 컨텐츠를 송신한다(S118).
본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는 컴퓨터가 읽을 수 있는 저장 매체 및 컴퓨터가 읽을 수 있는 전송 매체를 포함할 수 있다. 상기 컴퓨터가 읽을 수 있는 저장 매체는 데이터를 저장하고, 저장된 데이터는 추후 컴퓨터 시스템에 의하여 리드(read)되는 데이터 스토리지 장치일 수 있으며, 예를 들어, ROM, RAM, CD-ROM, 자기 테이브, 플로피 디스크, 기타 옵티컬 저장 장치일 수 있다. 상기 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 각 컴퓨터가 읽을 수 있는 코드가 저장되고 실행되는 것이 분산 처리 방식에 의하여 수행되도록 할 수 있다. 상기 컴퓨터가 읽을 수 있는 전송 매체는 유무선 인터넷 접속을 통하여 반송파 또는 반송 신호(carrier wave, carrier signal)를 송신하는 것일 수 있다.
이하, 본 발명의 다른 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 장치의 구성 및 동작을 설명한다.
도 4는 본 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)를 포함하는 온라인 비디오 컨텐츠 제공 시스템을 도시한다. 아울러, 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)의 상세 블록 구성이 도시된다.
본 실시예에 따른 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)는 온라인 비디오 컨텐츠를 스트리밍 서비스 하는 서비스 서버 자체 또는 상기 서비스 서버에 연결되어 온라인 비디오 컨텐츠의 화질 열화율을 상기 서비스 서버에 제공하는 장치로 이해될 수 있다. 설명의 편의를 위하여, 도 4는 온라인 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)가 온라인 비디오 컨텐츠를 스트리밍 서비스 하는 서비스 서버인 것으로 가정하여 도시되어 있다.
온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)는 비디오 컨텐츠 데이터를 저장하는 컨텐츠 서버(20)와 이격되어 위치하고, 네트워크를 통해 연결될 수 있다. 그러나, 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)는 비디오 컨텐츠 데이터를 저장하는 컨텐츠 서버(20)와 동일한 장치 내에 구성될 수도 있음은 당연하다.
온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)는 컨텐츠 특성 분석부(11), 네트워크 모니터링부(12) 및 화질 열화율 연산부(13)를 포함할 수 있다.
컨텐츠 특성 분석부(11)는 컨텐츠 서버(20)로부터 비디오 컨텐츠를 제공 받아, 상기 비디오 컨텐츠를 분석하거나, 상기 비디오 컨텐츠의 메타 데이터를 분석하여, 상기 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정한다.
또한, 네트워크 모니터링부(12)는 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률 PLR을 얻는다. 일 실시예에 따르면, 네트워크 모니터링부(12)가 직접 패킷 손실률을 측정할 수도 있고, 다른 실시예에 따르면 네트워크 모니터링부(12)가 직접 패킷 손실률을 측정하지 않고, 패킷 손실률을 전문적으로 제공하는 장치로부터 주기적으로 또는 비주기적으로 패킷 손실률을 제공받음으로써 보다 정확한 패킷 손실률을 파악할 수도 있다.
화질 열화율 연산부(13)는 컨텐츠 특성 분석부(11)와 네트워크 모니터링부(12)로부터 제공받은 상기 s, g, d, PLR을 모두 이용하여, 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산한다. 화질 열화율 연산부(13)가 상기 화질 열화율을 사용하는데 사용하는 수식 모델은 이미 설명한 바 있다. (수학식 1 및 최적의 계수 값)
일 실시예에 따르면, 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)가 비디오 컨텐츠를 네트워크를 통해 단말에 송신하는 컨텐츠 송신부(15)를 제어하여 적절한 QoE가 유지되도록 관리하는 QoE(Quality of Experience) 유지부(14)를 더 포함할 수 있다.
일 실시예에 따르면, QoE 유지부(14)는 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 비디오 컨텐츠를 변환하여, s', g' 값과 상기 d, PLR 값을 모두 이용하여 연산된 상기 화질 열화율이 상기 기준치 이하가 되도록 할 수 있다.
다른 실시예에 따르면, QoE 유지부(14)는 상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 비디오 컨텐츠 대신 보조 비디오 컨텐츠를 송신할 수도 있다. 이 때, 상기 보조 비디오 컨텐츠는 상기 비디오 컨텐츠보다 상기 s 값이 더 크고, 상기 g 값이 더 작도록 인코딩된 것이다.
온라인으로 비디오 컨텐츠를 수신하여 재생하는 단말 장치는 컴퓨터, UMPC (Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 3차원 수상기(3-dimensional television), 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 영상 녹화기(digital picture recorder), 디지털 영상 재생기(digital picture player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), 정보를 무선 환경에서 송수신할 수 있는 장치, 홈 네트워크를 구성하는 다양한 전자 장치들 중 하나, 컴퓨터 네트워크를 구성하는 다양한 전자 장치들 중 하나, 텔레매틱스 네트워크를 구성하는 다양한 전자 장치들 중 하나, RFID 장치, 또는 컴퓨팅 시스템을 구성하는 다양한 구성 요소들 중 하나 등과 같은 전자 장치의 다양한 구성 요소들 중 하나로 제공된다.
지금까지 도 4의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
도 5는 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)의 하드웨어 구성이다. 온라인 비디오 컨텐츠의 화질 열화율 예측 장치(10)는 명령어를 수행하는 프로세서(102), 온라인 비디오 컨텐츠의 화질 열화율 예측 프로그램 데이터가 저장되는 스토리지(106), 메모리(104), 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(108) 및 스토리지(106), 네트워크 인터페이스(108), 프로세서(102) 및 메모리(104)와 연결되어 데이터 이동 통로가 되는 데이터 버스(100)를 포함할 수 있다.
스토리지(106)에는 온라인 비디오 컨텐츠의 화질 열화율 예측 프로그램 데이터가 저장될 수 있다. 상기 온라인 비디오 컨텐츠의 화질 열화율 예측 프로그램은 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정하는 모듈, 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률(Packet Loss Rate) PLR을 측정하는 모듈, 상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 모듈을 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
온라인 비디오 컨텐츠의 화질 열화율 예측 장치 10
컨텐츠 서버 20

Claims (13)

  1. 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정하는 단계;
    상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률(Packet Loss Rate) PLR을 얻는 단계;
    상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 단계를 포함하는,
    온라인 비디오 컨텐츠의 화질 열화율 예측 방법.
  2. 제1 항에 있어서,
    상기 화질 열화율은 △SSIM(Structural Similarity) = (수신 측 단말의 SSIM - 송신 측 장치의 SSIM)인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 방법.
  3. 제1 항에 있어서,
    상기 비디오 컨텐츠의 특성 값은 인접 매크로블럭 간 픽셀 차이 값의 평균 값인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 방법.
  4. 제3 항에 있어서,
    상기 화질 열화율은 아래의 수식으로 연산되는,
    Figure 112014013874282-pat00004
    ,
    단, α1, β1, γ1, b는 각각 0이 아닌 기 정의된 실수,
    β1, γ1은 0보다 큰 실수, α1은 0보다 작은 실수인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 방법.
  5. 제4 항에 있어서,
    α1 = -8.52 * 10-4 ,α2 = 4.21 * 10-2,β1 = 2.82 * 10-4,β2 = 5.52 * 10-3,γ1 = 3.45 * 10-3,γ2 = -8.56 * 10-3,b = 8.77 * 10-1인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 방법.
  6. 제1 항에 있어서,
    상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 비디오 컨텐츠 대신 보조 비디오 컨텐츠를 송신하는 단계를 더 포함하되,
    상기 보조 비디오 컨텐츠는 상기 비디오 컨텐츠보다 상기 s 값이 더 크고, 상기 g 값이 더 작도록 인코딩된 것인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 방법.
  7. 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d, 상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률(Packet Loss Rate) PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 단계; 및
    상기 화질 열화율에 따라 송신될 비디오 컨텐츠의 인코딩 파라미터를 조정하는 단계를 포함하는,
    온라인 비디오 컨텐츠의 QoE 유지 방법.
  8. 제7 항에 있어서,
    상기 인코딩 파라미터를 조정하는 단계는,
    상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 인코딩 파라미터를 조정하는 단계를 포함하는,
    온라인 비디오 컨텐츠의 QoE 유지 방법.
  9. 제1 항 내지 8 항 중 어느 한 항의 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 비디오 컨텐츠의 프레임 당 슬라이스 개수 s, GOP(Group Of Pictures)에 포함된 프레임 개수 g, 및 상기 비디오 컨텐츠의 특성 값 d를 결정하는 컨텐츠 특성 분석부;
    상기 비디오 컨텐츠의 송신에 사용될 네트워크의 패킷 손실률 PLR을 얻는 네트워크 모니터링부; 및
    상기 s, g, d, PLR을 모두 이용하여 상기 비디오 컨텐츠를 상기 네트워크를 통해 수신하는 단말에서의 화질 열화율을 연산하는 화질 열화율 연산부를 포함하는,
    온라인 비디오 컨텐츠의 화질 열화율 예측 장치.
  11. 제10 항에 있어서,
    상기 화질 열화율 연산부는,
    상기 화질 열화율을 아래의 수식으로 연산하는,
    Figure 112015034237739-pat00005
    ,
    단, α1, β1, γ1, b는 각각 0이 아닌 기 정의된 실수,
    β1, γ1은 0보다 큰 실수, α1은 0보다 작은 실수인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 장치.
  12. 제10 항에 있어서,
    상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 s 값이 s'로 증가하고 상기 g 값은 g'로 감소하도록 상기 비디오 컨텐츠를 변환하여, s', g' 값과 상기 d, PLR 값을 모두 이용하여 연산된 상기 화질 열화율이 상기 기준치 이하가 되도록 하는 QoE 유지부를 더 포함하는,
    온라인 비디오 컨텐츠의 화질 열화율 예측 장치.
  13. 제10 항에 있어서,
    상기 연산된 화질 열화율이 기 정의된 기준치를 벗어나는 경우, 상기 비디오 컨텐츠 대신 보조 비디오 컨텐츠를 송신하는 QoE 유지부를 더 포함하되,
    상기 보조 비디오 컨텐츠는 상기 비디오 컨텐츠보다 상기 s 값이 더 크고, 상기 g 값이 더 작도록 인코딩된 것인,
    온라인 비디오 컨텐츠의 화질 열화율 예측 장치.
KR1020140016142A 2014-02-12 2014-02-12 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치 KR101563923B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140016142A KR101563923B1 (ko) 2014-02-12 2014-02-12 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140016142A KR101563923B1 (ko) 2014-02-12 2014-02-12 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150095069A KR20150095069A (ko) 2015-08-20
KR101563923B1 true KR101563923B1 (ko) 2015-10-28

Family

ID=54058200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140016142A KR101563923B1 (ko) 2014-02-12 2014-02-12 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101563923B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100646233B1 (ko) 2005-05-30 2006-11-23 연세대학교 산학협력단 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
JP4791443B2 (ja) 2007-12-27 2011-10-12 日本電信電話株式会社 客観品質評価方法、客観品質評価装置およびプログラム
WO2012076202A1 (en) 2010-12-10 2012-06-14 Deutsche Telekom Ag Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100646233B1 (ko) 2005-05-30 2006-11-23 연세대학교 산학협력단 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
JP4791443B2 (ja) 2007-12-27 2011-10-12 日本電信電話株式会社 客観品質評価方法、客観品質評価装置およびプログラム
WO2012076202A1 (en) 2010-12-10 2012-06-14 Deutsche Telekom Ag Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal

Also Published As

Publication number Publication date
KR20150095069A (ko) 2015-08-20

Similar Documents

Publication Publication Date Title
US8355342B2 (en) Video quality estimation apparatus, method, and program
Mu et al. Framework for the integrated video quality assessment
US9037743B2 (en) Methods and apparatus for providing a presentation quality signal
Paudyal et al. Impact of video content and transmission impairments on quality of experience
EP2252073A1 (en) Method, device, and program for objectively evaluating video quality
KR102059222B1 (ko) 비디오 스트리밍 서비스를 위한 컨텐트-의존 비디오 품질 모델
Shahid et al. A no-reference machine learning based video quality predictor
Joskowicz et al. A general parametric model for perceptual video quality estimation
Hewage et al. Measuring, modeling and integrating time-varying video quality in end-to-end multimedia service delivery: A review and open challenges
Wang et al. No-reference hybrid video quality assessment based on partial least squares regression
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2015505196A (ja) ビデオ品質測定のための方法及び装置
JP2015530807A (ja) ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置
Liu et al. Real-time video quality monitoring
KR101563923B1 (ko) 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치
Zhang et al. A content-adaptive video quality assessment method for online media service
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
US20150373324A1 (en) Method And Apparatus For Context-Based Video Quality Assessment
JP6373681B2 (ja) 客観画質評価装置、客観画質評価方法、およびプログラム
Zhang et al. Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change
Garcia et al. Video streaming
Shahid et al. Perceptual quality estimation of H. 264/AVC videos using reduced-reference and no-reference models
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
Soares et al. No-reference lightweight estimation of 3D video objective quality
Su et al. Packet-layer quality assessment for networked video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee