KR102548422B1 - 영상품질 측정장치 및 방법 - Google Patents

Abstract

본 발명의 실시예들은 고성능의 계측기를 이용하지 않으면서도 부호화된 대용량 영상 컨텐츠의 손실을 프레임 단위로 측정할 수 있도록 하는 영상품질 측정장치 및 방법을 제공한다.

Description

영상품질 측정장치 및 방법{Video Quality Measurement Apparatus and Method}

본 발명의 일 실시예는 영상품질 측정장치 및 방법에 관한 것이다.

이하에 기술되는 내용은 단순히 본 발명에 따른 일 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

다양한 전자기기의 발달 덕택에, UHD(ultra high definition)급(4K) 영상을 포함하는 대용량 영상 컨텐츠의 생성, 처리, 전달 및 재생이 가능해졌다. 이러한 대용량 영상 컨텐츠를 이용할 수 있도록 하는 여러 시스템들 중, 가장 대표적인 시스템이 IPTV(internet protocol television) 시스템이다.

IPTV 시스템은 인터넷 네트워크를 기반으로 실시간 방송 서비스(live broadcasting service), VOD(video on-demand), 전자 상거래 컨텐츠 등의 서비스를 복합적으로 구현할 수 있는 플랫폼(platform)을 제공한다. 일반적인 가정에서는 셋탑박스(set-top box), 케이블 박스(cable box), 하이브리드 박스(hybrid box), IPTV 박스(internet protocol television box) 등과 같은 별도의 외부정보수신장치가 IPTV 시스템을 구현하는 매개체 역할을 한다.

도 1은 일반적인 가정에서의 인터넷 환경을 나타낸 개념도이다.

가정 인터넷 환경은 외부정보수신장치(110), TV(120), 랩탑PC(130), 무선중계기(140), 모바일 기기(150), IP 네트워크(160), 데스크탑PC(170), 게임 콘솔(180), 네트워크 스위치(190) 및 컨텐츠 제공장치(200) 등을 포함할 수 있다.

컨텐츠 제공장치(200)는 영상 컨텐츠를 부호화(encoding)하고, 패킷화된 스트림(packetized stream; 이하, '스트림 패킷'이라고 칭함)의 형태로 변환하여 외부정보수신장치(110)로 전송한다. 부호화된 영상 컨텐츠는 영상뿐만 아니라 음성정보도 포함한다. 전송된 영상 컨텐츠는 IP 네트워크(160), 네트워크 스위치(190) 등을 경유하여 외부정보수신장치(110)에 도달한다.

외부정보수신장치(110)는 컨텐츠 제공장치(200)로부터 부호화된 영상 컨텐츠를 수신한 후, 복호화(decoding)하여 표시 장치로 출력되도록 한다.

TV(120) 등의 표시 장치는 외부정보수신장치(110)으로부터 복호화된 영상 컨텐츠를 전달받아 출력한다. TV(120) 이외에도, 랩탑PC(130), 모바일 기기(150), 데스크탑PC(170) 등의 장치가 표시 장치의 역할을 할 수 있다.

IP 네트워크(160)로부터 수신되는 데이터는 통상적으로 네트워크 스위치(190)를 가장 먼저 거친다.

네트워크 스위치(190)는 대개 유선 또는 무선으로 IP 네트워크(160)에 연결되어, 외부로부터 데이터를 수신하고, 이를 다양한 전자기기로 스위칭하는 역할을 한다.

한편, 영상 컨텐츠는 표준 코덱(codec) 및 비표준 코덱 등을 사용하여 부호화된다. 코덱을 사용하여 부호화하는 경우, 컨텐츠 제공장치(200)는 영상 스트림 패킷을 생성하기 위해, I 프레임(intra coded frame), P 프레임(predictive coded frame), B 프레임(bipredictive coded frame) 및 D 프레임(DC direct coded frame) 등의 프레임을 사용할 수 있다.

부호화된 영상의 전송 과정 중에, 패킷 손실(packet loss)이 발생할 수 있다. 패킷 손실이 I 프레임에서 발생하는 경우, 재생 화면 대부분이 손실될 수도 있다. 패킷 손실이 I 프레임에서 발생하면, 재생되고 있는 화면이 정지될 수도 있기 때문에 I 프레임의 손실이 사용자 인지 품질(user experience quality)에 큰 영향을 미치는 것으로 알려져 있다. 또한, I 프레임과 인접한 부분에서 패킷 손실이 발생한 경우에도 재생 화면의 대부분이 손실될 수 있어, 사용자 인지 품질에 큰 영향을 미칠 수 있다.

따라서 영상품질을 관리하기 위해 프레임의 손실을 검출하여, 영상품질을 측정하고, 이에 대한 관리기준을 마련할 필요가 있다.

종래에는, 고성능의 계측기를 이용하여 영상품질을 측정하였다. 이러한 계측기는 IP 네트워크로부터 부호화된 영상 스트림 패킷을 수신하여 역다중화하고(demuxing), 역다중화된 영상신호를 복호화한 뒤 프레임 단위로 품질을 측정한다.

그러나 이 방법은 별도의 장치를 설치해야 한다는 단점이 있다. 또한, 대용량 비디오 컨텐츠의 경우, 압축 효율(compression efficiency)이 좋은 HEVC를 사용해도 연산 복잡도가 매우 높기 때문에 모든 프레임을 복호화하여 프레임 손실을 검출하기에는 매우 많은 연산량과 메모리가 필요하다. 이러한 많은 연산량은 셋탑박스 등과 같은 외부정보수신장치에서 제공하고 있는 기존 서비스에 영향을 줄 수 있고, 외부정보수신장치의 성능을 저하시킬 수 있다.

따라서, 복호화하는데 필요한 연산량을 최소화하여 외부정보수신장치의 성능을 저하시키지 않으면서도 UHD급(4K) 이상의 대용량 영상 컨텐츠의 프레임 손실을 측정할 수 있는 장치와 방법이 필요하다.

본 발명의 실시예들은 고성능의 계측기를 이용하지 않으면서도 영상 프레임 단위의 손실을 측정할 수 있는 영상품질 측정장치 및 방법을 제공하는 데에 주된 목적이 있다.

본 발명의 일 실시예에 따르면, 컨텐츠 제공장치로부터 복수의 프레임 단위로 구분되어 부호화(encoding)된 영상 스트림 패킷(video stream packet)을 수신하는 송수신부; 상기 영상 스트림 패킷에 포함된 손상 프레임(corrupted frame)을 검출하여 손상 프레임 정보를 생성하는 손상 프레임 정보 생성부; 상기 손상 프레임 및 상기 손상 프레임을 직간접적으로 참조하는 프레임 가운데, 표시 순서(display order) 상 가장 선행하는 프레임을 파악하는 참조 관계 분석부; 및 상기 표시 순서 상 가장 선행하는 프레임부터 상기 복수의 프레임 단위 내에 포함되는 가장 마지막 프레임까지의 프레임 수에 기초하여 사용자 인지 품질 지표(user experience quality index)를 계산하는 사용자 인지 품질 지표 계산부를 포함하는 것을 특징으로 하는 영상품질 측정장치를 제공한다.

본 발명의 일 실시예에 따르면, 영상품질 측정장치를 이용하여 영상품질을 측정하는 방법에 있어서, 컨텐츠 제공장치로부터 복수의 프레임 단위로 구분되어 부호화(encoding)된 영상 스트림 패킷(video stream packet)을 수신하는 과정; 상기 영상 스트림 패킷에 포함된 손상 프레임(corrupted frame)을 검출하여 손상 프레임 정보를 생성하는 과정; 상기 손상 프레임 및 상기 손상 프레임을 직간접적으로 참조하는 프레임 가운데, 표시 순서(display order) 상 가장 선행하는 프레임을 파악하는 과정; 및 상기 표시 순서 상 가장 선행하는 프레임부터 상기 복수의 프레임 단위 내에 포함되는 가장 마지막 프레임까지의 프레임 수에 기초하여 사용자 인지 품질 지표(user experience quality index)를 계산하는 과정을 포함하는 것을 특징으로 하는 영상품질 측정방법을 제공한다.

본 발명의 일 실시예에 따르면, 고성능의 계측기를 이용하지 않으면서도 부호화된 대용량 비디오 컨텐츠의 손실을 프레임 단위로 측정할 수 있도록 하는 효과가 있다.

본 발명의 일 실시예의 다른 측면에 의하면, 외부정보수신장치에서 제공하는 기존 서비스에 영향을 주지 않고도 UHD(ultra high definition)급(4K) 채널의 프레임 손실을 측정할 수 있도록 하는 효과가 있다.

본 발명의 일 실시예의 또 다른 측면에 의하면, 실제로 표시되는 프레임에 기초하여 손상 프레임을 처리하기 때문에, 사용자가 인지하는 주관적 품질을 잘 반영할 수 있도록 하는 효과가 있다.

도 1은 일반적인 가정에서의 인터넷 환경을 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상품질 측정장치가 적용된 인터넷 환경의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상품질 측정장치의 개략적인 구성도이다.
도 4는 부호화된 영상 스트림 패킷에서의 프레임간 손실 전파(propagation of loss)를 설명하기 위한 도면이다.
도 5는 부호화된 영상 스트림 패킷에서의 프레임 표시 순서, 프레임 복호화 순서 및 프레임 간 참조 관계를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상품질 측정방법을 나타낸 흐름도이다.

이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 일 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

이하, 첨부도면을 참조하여 본 발명의 일 실시예에 따른 영상품질 측정장치 및 방법을 설명하면 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 영상품질 측정장치가 적용된 인터넷 환경의 개념도이다.

본 발명의 일 실시예에 따른 컨텐츠 제공장치(200)는 영상 컨텐츠를 부호화하고, 패킷화된 스트림(packetized stream; 이하, '스트림 패킷'이라 칭함)으로 변환하여 IP 네트워크(160)로 전송한다.

컨텐츠 제공장치(200)는 MPEG-2 표준(ISO/IEC13818), H.264/AVC(advanced video coding) 및 H.265/HEVC(high efficiency video coding) 등에 기초한 코덱(codec)을 이용하여 대용량 영상 컨텐츠를 부호화할 수 있다.

컨텐츠 제공장치(200)는 대용량 영상 컨텐츠를 부호화할 때, I 프레임, P 프레임, B 프레임 및 D 프레임 중 일부 또는 전부를 이용하여 복수의 프레임 단위로 구분하여 영상 스트림 패킷을 생성한다.

따라서, 외부정보수신장치(110)에서 수신되는 영상 컨텐츠, 특히 대용량 영상 컨텐츠에 대한 사용자의 체감품질(quality of experience: QoS)을 관리하기 위해서는 프레임의 유형을 인지할 필요가 있다.

본 발명의 일 실시예에 따른 영상품질 측정장치(300)는 컨텐츠 제공장치(200)로부터 수신된 영상 스트림 패킷을 복호화하여 TV(120)로 전달하기 위해, 네트워크 스위치(190)와 TV(120) 사이에 위치한다.

영상품질 측정장치(300)는 소형의 모듈 형태로 제작되어 외부정보수신장치(110)뿐만 아니라, 랩탑PC(130), 데스크탑PC(170) 및 모바일 기기(150)에 내장될 수 있다. 또한, 영상품질 측정장치(300)는 스마트TV(smart television)과 같은 TV(120)에 집적화될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 영상품질 측정장치의 개략적인 구성도이다.

본 발명의 일 실시예에 따른 영상품질 측정장치(300)는 영상 스트림 패킷을 수신하고 수신한 패킷을 복호화하기 이전에, 일부 프레임의 헤더 정보만을 파악함으로써, 영상 스트림 손상의 범위를 객관적으로 수치화한다.

본 발명의 일 실시예에 따른 영상품질 측정장치(300)는 송수신부(310), 손상 프레임 정보 생성부(320), 참조 관계 분석부(330) 및 사용자 인지 품질 지표 계산부(340)를 포함한다.

도 3에서는 도시하고 있지 않지만, 본 발명의 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 영상품질 측정을 위한 구성요소 외에, 셋탑박스와 같은 외부정보수신장치(110) 본연의 기능을 수행하는 데에 필요한 구성요소들을 더 포함할 수 있음을 이해할 수 있을 것이다.

송수신부(310)는 컨텐츠 제공장치(200)으로부터 영상 스트림 패킷을 수신하고, 네트워크 관리자 또는 네트워크 관리장치로 계산된 영상품질정보를 송신한다. 송수신부(310)는 IP와 함께, TCP(transmitting control protocol) 및 UDP(user datagram protocol)를 사용할 수 있다.

손상 프레임 정보 생성부(320)는 부호화된 영상 스트림 패킷이 완전히 복호화되기 이전에 영상 스트림 패킷에서 손상 프레임(corrupted frame)을 발견하여, 손상 프레임 정보를 생성한다.

손상 프레임은 최초로 손실 또는 손상이 파악된 프레임을 의미한다. 참조 프레임은 자신의 프레임 정보를 형성하기 위해 적어도 하나의 다른 프레임의 정보를 참조하는 프레임을 의미한다. 즉, 한 프레임의 정보를 형성하기 위해 적어도 하나의 다른 프레임의 정보를 이용하는 프레임이 참조 프레임이다.

참조 관계 분석부(330)는 영상 스트림 패킷 내의 프레임 사이의 참조 관계인 프레임 참조 관계를 생성하고, 생성된 프레임 참조 관계와 손상 프레임 정보 생성부(320)에서 생성한 손상 프레임 정보를 이용하여 손상 전파 프레임 정보를 생성한다.

참조 프레임과의 구별을 위해, 다른 어떠한 프레임도 참조하지 않는 프레임을 독립 프레임이라고 가정하자. 프레임 사이의 참조 관계인 프레임 참조 관계는 적어도 두 개의 프레임 사이의 관계이다. 즉, 참조 프레임은 스스로의 정보를 형성하기 위해, 적어도 하나의 참조 프레임 또는 독립 프레임의 정보를 이용한다는 것을 의미한다. 그리고 적어도 두 개의 프레임이 참조 관계에 있다는 말은, 적어도 두 개의 프레임 중, 적어도 하나의 프레임은 참조 프레임이라는 의미이다.

참조 관계 분석부(330)는 프레임 참조 관계와 손상 프레임 정보를 이용하여, 손상 프레임에 의해 일차, 이차, 삼차 또는 그 이상의 차수로 영향을 받는 프레임인 손상 전파 프레임을 파악한다. 즉, 발견된 손상 프레임으로부터 손상 또는 손실이 전파되어 영향을 받는 프레임을 파악하고, 이러한 프레임에 대한 정보인 손상 전파 프레임 정보를 생성한다.

참조 관계 분석부(330)는 손상 프레임을 직접적 또는 간접적으로 참조하는 프레임들 중, 표시 순서(display order) 상 가장 선행하는 프레임을 파악하기 위해 프레임의 헤더 정보를 이용한다.

헤더 정보는 RPS(reference picture set), POC(picture order count), VPS(video parameter set), SPS(sequence parameter set), PPS(picture parameter set) 등을 포함한다.

여기서, 부호화된 영상 스트림 패킷이 HEVC에 기초하여 부호화되었다면, 파싱되는 헤더는 프레임의 헤더가 아니라 슬라이스(slice)의 헤더일 수 있다.

한편, HEVC에서는 참조 관계가 H.264/AVC 또는 MPEG-2 표준(ISO/IEC13818)에서보다 훨씬 유동적(flexible)일 수 있다. 바꿔 말하면, 부호화하는 장치의 측면에서 하나의 프레임을 생성하기 위해 더욱 많은 프레임을 참조 프레임으로 사용할 수 있고, 표시 순서에 대한 부호화 순서(encoding order)의 자유도 또한 훨씬 높다.

여기서, 부호화 순서는 영상 스트림 내에서 각 프레임이 부호화되어 있는 순서를 의미한다.

HEVC에서는 다른 B 또는 P 프레임을 부호화하기 위해, B 프레임을 참조 프레임으로 사용할 수도 있다. 이러한 점이 HEVC의 압축 효율을 향상시킨다. 그러나 일부 데이터가 손실되거나 손상되는 경우, 오류의 전파를 야기할 수 있는 단점을 지닌다.

HEVC에서 사용되는 아주 유용한 구조가 B 프레임 계층구조(hierarchy of B frame 또는 hierarchical B)이다. B 프레임 계층구조는 특정 데이터 손상에 의해 영향받는 프레임의 숫자를 엄격히 제한하기 때문에, 오류의 전파를 제한함과 동시에 아주 높은 압축 효율을 제공할 수 있다.

일반적으로, 더욱 많은 I 프레임을 지니는 영상 스트림일수록, 더욱 자유롭게 부호화되고 수정될 수 있다. 그러나 영상 스트림이 I 프레임을 많이 지니면 지닐수록, 영상을 부호화하기 위해 필요한 비트레이트(bit rate)가 증가한다는 단점이 있다.

사용자 인지 품질 지표 계산부(340)는 참조 관계 분석부(330)에서 구한 프레임 사이의 참조 관계에 기초하여 사용자 인지 품질 지표(user experience quality index)를 계산한다.

사용자 인지 품질 지표 계산부(340)는 사용자 인지 품질 지표를 계산하기 위해, 손상 프레임 및 손상 프레임을 참조하는 손상 전파 프레임 가운데, 표시 순서 상 가장 선행하는 프레임부터, 복수의 프레임 단위 내에 포함되는 가장 마지막 프레임까지의 프레임 수에 기초하여 사용자 인지 품질 지표를 계산한다. 여기서, 복수의 프레임 단위는 I 프레임의 주기로 정의되는 인트라 주기(intra period) 및 GOP(group of pictures) 등의 단위일 수 있다.

도 4는 부호화된 영상 스트림 패킷에서의 프레임간 손실 전파를 나타낸 개념도이다.

도 4에 도시된 본 발명의 일 실시예에 따른 부호화된 영상 스트림(430)은 복수의 프레임 그룹(420)을 포함하며, 그 구조는 B 프레임 계층구조(hierarchy of B frame)이다.

하나의 프레임 그룹(420)은 8개의 프레임(410)을 포함한다. 채워진 원으로 표기된 프레임은 손상이 발생한 손상 발생 프레임(412)을 나타내며, 빈 원으로 표기된 프레임은 손상 발생 프레임(412)으로부터 손상이 전파되어 간접적으로 손상된 손상 전파 프레임(414)을 나타낸다.

도 4의 (a)는 손상 발생 프레임(412)이 프레임 위치 0에 존재하는 경우를 나타낸다. 이 경우, 일차적 참조 관계에 의해, 프레임 위치 1, 프레임 위치 2 및 프레임 위치 8에 존재하는 프레임들이 영향을 받는다.

일차적 참조 관계에 의해 영향을 받은 프레임 위치 1, 프레임 위치 2 및 프레임 위치 8에 존재하는 프레임들에 의한 참조 관계에 기인하여 프레임 위치 3, 프레임 위치 4, 프레임 위치 6 및 프레임 위치 7에 존재하는 프레임들이 영향을 받는다.

이와 마찬가지로, 이차적 참조 관계에 의해 영향을 받은 프레임 위치 3, 프레임 위치 4, 프레임 위치 6 및 프레임 위치 7에 존재하는 프레임들의 삼차적 참조 관계에 의해, 프레임 위치 5에 존재하는 프레임이 영향을 받아, 결국 한 그룹 내에 속한 모든 프레임이 손상 전파 프레임(414)이 된다.

도 4의 (b)는 손상 발생 프레임(412)이 프레임 위치 1에 존재하는 경우이다. 이 경우, 프레임 위치 1에 존재하는 손상 발생 프레임(412)을 참조하는 프레임이 없기 때문에, 프레임 위치 1에 존재하는 손상 발생 프레임(412)만이 손상 프레임이 된다.

도 4의 (c)는 손상 발생 프레임(412)이 프레임 위치 2에 존재하는 경우를 나타낸다. 이 경우, 일차적 참조 관계에 의해, 프레임 위치 1 및 프레임 위치 3에 존재하는 프레임들이 영향을 받는다. 그러나, 프레임 위치 1 및 프레임 위치 3의 프레임을 참조하는 프레임이 없기 때문에, 손상이 발생한 프레임인 프레임 위치 2 프레임 및 일차적 참조 관계에 의해 영향을 받은 프레임 위치 1 프레임과 프레임 위치 3 프레임이 손상 전파 프레임(414)이 된다.

도 4의 (d)는 손상 발생 프레임(412)이 프레임 위치 3에 존재하는 경우를 나타낸다. 이 경우, 프레임 위치 3에 존재하는 손상 발생 프레임(412)을 참조하는 프레임이 없기 때문에, 프레임 위치 3에 존재하는 손상 발생 프레임(412)만이 손상 프레임이 된다.

도 4의 (e)는 손상 발생 프레임(412)이 프레임 위치 4에 존재하는 경우를 나타낸다. 이 경우, 일차적 참조 관계에 의해, 프레임 위치 2, 프레임 위치 3, 프레임 위치 5 및 프레임 위치 6에 존재하는 프레임들이 영향을 받아 손상 전파 프레임(414)이 된다.

일차적 참조 관계에 의해 영향을 받은 프레임 위치 2, 프레임 위치 3, 프레임 위치 5 및 프레임 위치 6에 존재하는 프레임들 중, 프레임 위치 3 및 프레임 위치 5를 참조하는 프레임은 없다.

따라서 프레임 위치 2 및 프레임 위치 6에 존재하는 프레임에 의해 프레임 위치 1 및 프레임 위치 7에 존재하는 프레임들이 영향을 받아 손상 전파 프레임(414)이 된다. 즉, 이 경우, 프레임 위치 0 및 프레임 위치 8을 제외한 나머지 프레임들이 모두 영향을 받아 손상 전파 프레임(414)이 된다.

도 4의 (f)는 손상 발생 프레임(412)이 프레임 위치 5에 존재하는 경우를 나타낸다.

도 4의 (f)에서는, 프레임 위치 5에 존재하는 손상 발생 프레임(412)을 참조하는 프레임이 없기 때문에, 프레임 위치 5에 존재하는 손상 발생 프레임(412)만이 손상 프레임이 된다.

도 4의 (g)는 손상 발생 프레임(412)이 프레임 위치 6에 존재하는 경우를 나타낸다.

도 4의 (g)에서는, 일차적 참조 관계에 의해, 프레임 위치 5 및 프레임 위치 7에 존재하는 프레임들이 영향을 받는다. 그러나, 프레임 위치 5 및 프레임 위치 7의 프레임을 참조하는 프레임이 없기 때문에, 손상이 발생한 프레임인 프레임 위치 6에 존재하는 프레임 및 일차적 참조 관계에 의해 영향을 받은 프레임 위치 5 및 프레임 위치 7에 존재하는 프레임 손상 프레임이 된다.

도 4의 (h)는 손상 발생 프레임(412)이 프레임 위치 7에 존재하는 경우이다. 이 경우, 프레임 위치 7에 존재하는 손상 발생 프레임(412)을 참조하는 프레임이 없기 때문에, 프레임 위치 7에 존재하는 손상 발생 프레임(412)만이 손상 프레임이 된다.

도 4의 (i)는 손상 발생 프레임(412)이 프레임 위치 8에 존재하는 경우를 나타낸다. 이 경우, 일차적 참조 관계에 의해, 프레임 위치 4, 프레임 위치 6 및 프레임 위치 7에 존재하는 프레임들이 영향을 받는다.

일차적 참조 관계에 의해 영향을 받은 프레임 위치 4, 프레임 위치 6 및 프레임 위치 7에 존재하는 프레임들에 의한 참조 관계에 기인하여 프레임 위치 2, 프레임 위치 3 및 프레임 위치 5에 존재하는 프레임들이 영향을 받는다.

이와 마찬가지로, 이차적 참조 관계에 의해 영향을 받은 프레임 위치 2, 프레임 위치 3 및 프레임 위치 5에 존재하는 프레임들의 삼차적 참조 관계에 의해, 프레임 위치 1에 존재하는 프레임이 영향을 받아, 프레임 위치 0을 제외한 모든 프레임 위치에 존재하는 프레임들이 손상 전파 프레임(414)이 된다.

도 5는 부호화된 영상 스트림 패킷에서의 프레임 표시 순서, 프레임 복호화 순서 및 프레임 간 참조 관계를 나타낸 도면이다.

도 5를 참조하면, 인트라 주기, 즉, I 프레임의 주기는 I0 프레임에서 I1 프레임 사이의 프레임 개수로서 30이다. 표시 순서는, I0 프레임, B2 프레임, B1 프레임, B3 프레임, B0 프레임, B5 프레임, B4 프레임, B6 프레임, P0 프레임, B9 프레임, B8 프레임, B10 프레임, B7 프레임, B12 프레임, B11 프레임, B13 프레임, P1 프레임,……이다. 복호화 순서는 I0 프레임, P0 프레임, B0 프레임, B1 프레임, B2 프레임, B3 프레임, B4 프레임, B5 프레임, B6 프레임, P1 프레임, B7 프레임, B8 프레임, B9 프레임, B10 프레임, B11 프레임, B12 프레임, B13 프레임, ……이다.

표시 순서를 참조하면, B0 프레임은 I0 프레임과 B0 프레임을 참조한다. B1 프레임은 I0 프레임과 B0 프레임을 참조하며, B2 프레임은 I0 프레임과 B1 프레임을 참조한다. B3 프레임은 B0 프레임과 B1 프레임을 참조하며, B4 프레임은 B0 프레임과 P0 프레임을 참조한다. B5 프레임은 B0 프레임과 B4 프레임을 참조하며, B6 프레임은 B4 프레임과 P0 프레임을 참조한다.

B2 프레임, B3 프레임, B5 프레임 및 B6 프레임을 참조하는 프레임은 없다. 이와 같이, B7 프레임 이후의 프레임에 대해서도 참조 관계를 파악할 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상품질 측정방법을 나타낸 순서도이다.

본 발명의 일 실시예에 따른 영상품질 측정방법은 손상 발생 프레임 및 손상 발생 프레임을 참조하는 손상 전파 프레임 중, 표시 순서 상 가장 선행하는 프레임부터 다음 I 프레임 바로 앞 프레임까지의 프레임 수를 측정하여 영상품질을 측정한다.

예컨대, B1 프레임이 손실된 경우를 가정하면, 송수신부(310)가 컨텐츠 제공장치(200)로부터 부호화된 영상 스트림 패킷을 수신한다(S610). 부호화된 영상 스트림 패킷은 IP 네트워크(160)를 거치고 댁내의 네트워크 스위치(190) 또는 무선 중계기(140)를 통해 전달될 수 있다.

손상 프레임 정보 생성부(320)는 영상 스트림 패킷에 포함된 손상 프레임을 검출하여, 손상 프레임 정보를 생성한다(S620). 이 과정에서 손상 프레임 정보 생성부(320)는 손실된 B1 프레임의 표시 순서가 3인 것을 확인한다.

참조 관계 분석부(330)는 영상 스트림 패킷에 포함된 프레임 사이의 참조 관계인 프레임 참조 관계를 생성하고, 손상 프레임 정보 생성부(320)에서 생성한 손상 프레임 정보를 이용하여 손상 전파 프레임 정보를 생성한다(S630).

이 과정에서 표시 순서가 3인 B1 프레임 바로 다음의 표시 순서 4에 위치하는 B2 프레임의 헤더로부터 POC(picture order count) 정보를 파싱한다. B2 프레임은 표시 순서 상, B1 프레임보다 빠르므로 B2 프레임의 헤더로부터 RPS(reference picture set)를 파싱하여 B2 프레임 주변의 참조 관계를 파악할 수 있다.

또한, B2 프레임의 표시 순서가 2이므로, B2 프레임 이후에 위치하는 프레임들의 헤더는 파싱할 필요가 없다. 인트라 주기가 30이기 때문에, B1 프레임의 손실로 인해 폐기되어야 하는 프레임의 개수는 총 30개의 프레임 중, I0 프레임을 제외한 29개이다.

사용자 인지 품질 지표(user experience quality index) 계산부(340)는 손상 프레임 정보, 손상 전파 프레임 정보 및 프레임 참조 관계에 기초하여 사용자 인지 품질 지표를 계산한다(S640).

사용자 인지 품질 지표 계산부(340)는 폐기되어야 하는 프레임의 개수와 인트라 주기에 포함되는 프레임들의 개수를 이용하여 사용자 인지 품질 지표를 계산한다. 사용자 인지 품질 지표 계산부(340)는 계산된 결과를 송수신부(310)를 통해 외부의 네트워크 관리자 또는 네트워크 관리장치(미도시)로 송신할 수 있다.

또한, 사용자 인지 품질 지표 계산부(340)는 사용자 인지 품질 지표를 일정 목표 기간 동안 누적하여, 누적된 사용자 인지 품질 지표의 평균, 최대값, 분산 또는 표준편차를 포함하는 통계를 계산하며, 계산된 결과를 송수신부(310)를 통해 외부의 네트워크 관리자 또는 네트워크 관리장치(미도시)로 송신할 수 있다.

본 발명에 따른 영상품질 측정방법에 대한 다른 일 실시예로 P0 프레임이 손실된 경우에 대하여 설명한다. 전술한 과정에서와 마찬가지로 송수신부(310)가 부호화된 영상 스트림 패킷을 수신한다.

손상 프레임 정보 생성부(320)는 부호화된 영상 스트림 패킷이 완전히 복호화되기 이전에 손상 프레임이 P0인 것을 발견하여 손상 프레임 정보를 생성한다. 이 과정에서 손상된 P0 프레임의 표시 순서가 9인 것을 확인한다.

참조 관계 분석부(330)는 표시 순서 상 가장 선행하는 프레임을 파악하기 위해, 표시 순서가 P0 프레임보다 빠른 B0 프레임, B1 프레임, B2 프레임, B3 프레임, B4 프레임, B5 프레임 및 B6 프레임의 헤더 정보를 파싱한다.

헤더 정보를 파싱하여 프레임 참조 관계를 파악한 결과, P0 프레임을 참조하는 프레임 중, 표시 순서에서 가장 앞선 위치에 존재하는 프레임이 B2 프레임인 것을 확인하고, 표시 순서에서 B2 프레임부터 다음 I 프레임 직전까지의 위치에 존재하는 모든 프레임을 폐기한다.

B2 프레임의 표시 순서가 2이므로, B2 프레임 이후에 위치하는 프레임들의 헤더는 파싱할 필요가 없다. 인트라 주기가 30이기 때문에, B1 프레임의 손실로 인해 폐기되어야 하는 프레임의 개수는 총 30개의 프레임 중, I0 프레임을 제외한 29개이다.

본 발명의 일 실시예에 따른 영상품질 측정방법은 인트라 주기, 즉, I 프레임 주기 단위로 영상품질을 측정할 프레임을 정한다. 그러나 I 프레임보다 더욱 작은 크기의 프레임 주기에 의해 구분되는 단위 주기를 파악할 수 있다면, 측정해야 할 프레임을 정하는 데에 인트라 주기를 이용하는 것이 아니라 단위 주기 등을 이용할 수 있다.

또한, 본 발명의 일 실시예에 따른 영상품질 측정방법은 손상 프레임 및 손상 프레임을 참조하는 손상 전파 프레임들 가운데, 표시 순서 상 가장 선행하는 손상 프레임부터 복수의 프레임 단위에 포함되는 마지막 프레임까지의 프레임이 표시되지 않도록 손상 처리를 수행하는 손상 프레임 처리 과정을 더 포함할 수 있다.

여기서, 복수의 프레임 단위는 I 프레임 주기 또는 GOP 등의 구분된 프레임 단위이다.

본 발명의 일 실시예에 따른 영상품질 측정방법은 멀티뷰(multi-view) 서비스를 제공할 수 있는 영상 스트림 패킷에 대하여도 전술한 방법과 동일한 방법을 이용하여 영상품질을 측정할 수 있다.

멀티뷰 서비스는 각 뷰의 프레임을 하나의 타일(tile)로 간주하고, 하나의 멀티뷰 프레임을 복수의 타일로 구성한다고 간주한다. 따라서 복수의 뷰 중 하나라도 손상되면, 전체 멀티뷰 화면을 구성하는 프레임이 손상된 것으로 가정하고, 전술한 방법과 동일한 방법으로 영상품질을 측정할 수 있다.

도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.

한편, 도 6에 도시된 흐름도의 각 단계는 컴퓨터로 읽을 수 있는 기록매체(computer-readable recording medium)에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 발명에 따른 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명에 따른 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 따른 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명에 따른 일 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 따른 일 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 일 실시예는 IPTV 시스템 등에서 영상의 품질을 측정하는 기술분야에 적용되어, 고성능의 계측기를 이용하지 않으면서도 영상 프레임 단위의 손실을 측정할 수 있도록 함으로써, 비용을 절감할 수 있는 유용한 발명이다.

100: 인터넷 환경 110: 외부정보수신장치
120: TV 130: 랩탑PC
140: 무선중계기 150: 모바일 기기
160: 인터넷 170: 데스크탑PC
180: 게임 콘솔 190: 네트워크 스위치
300: 영상품질 측정장치 310: 송수신부
320: 손상 프레임 정보 생성부 330: 참조 관계 분석부
340: 사용자 인지 품질 지표 계산부 410: 프레임
412: 손상 발생 프레임 414: 손상 전파 프레임

Claims (10)

1. 컨텐츠 제공장치로부터 복수의 프레임 단위로 구분되어 부호화(encoding)된 영상 스트림 패킷(video stream packet)을 수신하는 송수신부;
   상기 영상 스트림 패킷에 포함된 손상 프레임(corrupted frame)을 검출하여 손상 프레임 정보를 생성하는 손상 프레임 정보 생성부;
   상기 손상 프레임이 속한 인트라 주기(intra period)를 파악하고, 상기 인트라 주기 내에서 상기 손상 프레임 및 상기 손상 프레임을 직간접적으로 참조하는 프레임 가운데, 표시 순서(display order) 상 가장 선행하는 프레임을 파악하는 참조 관계분석부; 및
   상기 표시 순서 상 가장 선행하는 프레임부터 상기 인트라 주기 내에 포함되는 가장 마지막 프레임까지의 프레임 수에 기초하여 사용자 인지 품질 지표(user experience quality index)를 계산하는 사용자 인지 품질 지표 계산부
   를 포함하되,
   상기 인트라 주기는,
   I 프레임(intra coded frame)을 기준으로 구분되며,
   상기 참조 관계 분석부는,
   상기 손상 프레임이 속한 인트라 주기의 파악이 완료될 때까지, 상기 손상 프레임 이후에 복호화되는 프레임의 헤더 정보로부터 해당 프레임의 POC(picture order count) 정보를 파싱하고, 상기 파싱된 POC 정보가 상기 해당 프레임이 상기 손상 프레임보다 먼저 표시된다는 것을 지시할 때, 상기 해당 프레임의 RPS(reference picture set) 정보를 파싱하여 상기 해당 프레임과 상기 손상 프레임 사이의 참조 관계를 분석하는 것을 특징으로 하는 영상품질 측정장치.
2. 삭제
3. 삭제
4. 제 1 항에 있어서,
   상기 참조 관계 분석부는,
   상기 손상 프레임 이후에 복호화되는 프레임의 헤더 정보로부터 해당 프레임의 POC(picture order count) 정보를 파싱하고, 상기 파싱된 POC 정보가 상기 해당 프레임이 상기 손상 프레임보다 나중에 표시된다는 것을 지시할 때, 상기 해당 프레임의 RPS(reference picture set) 정보를 파싱하지 않고, 상기 해당 프레임 바로 다음 번에 복호화(decoding)되는 프레임의 POC 정보를 파싱하는 것을 특징으로 하는 영상품질 측정장치.
5. 제 4 항에 있어서,
   상기 참조 관계 분석부는,
   상기 손상 프레임보다 먼저 표시되는 프레임들이 모두 결정되면, 상기 손상 프레임보다 나중에 표시되는 프레임들의 POC 또는 RPS 정보를 파싱하지 않는 것을 특징으로 하는 영상품질 측정장치.
6. 제 1 항에 있어서,
   상기 표시 순서 상 가장 선행하는 프레임으로부터 상기 복수의 프레임 단위에 포함되는 마지막 프레임까지의 프레임이 표시되지 않도록 손상 처리를 수행하는 손상 프레임 처리부를 포함하는 것을 특징으로 하는 영상품질 측정장치.
7. 제 1 항에 있어서,
   상기 사용자 인지 품질 지표 산출부는,
   상기 사용자 인지 품질 지표를 일정 목표 기간 동안 누적하여, 상기 사용자 인지 품질 지표에 대한 평균, 최대값, 분산 또는 표준편차를 포함하는 통계를 계산하는 것을 특징으로 하는 영상품질 측정장치.
8. 영상품질 측정장치를 이용하여 영상품질을 측정하는 방법에 있어서,
   컨텐츠 제공장치로부터 복수의 프레임 단위로 구분되어 부호화(encoding)된 영상 스트림 패킷(video stream packet)을 수신하는 과정;
   상기 영상 스트림 패킷에 포함된 손상 프레임(corrupted frame)을 검출하여 손상 프레임 정보를 생성하는 과정;
   상기 손상 프레임이 속한 인트라 주기(intra period)를 파악하고, 상기 인트라 주기 내에서 상기 손상 프레임 및 상기 손상 프레임을 직간접적으로 참조하는 프레임 가운데, 표시 순서(display order) 상 가장 선행하는 프레임을 파악하는 과정; 및
   상기 표시 순서 상 가장 선행하는 프레임부터 상기 인트라 주기 내에 포함되는 가장 마지막 프레임까지의 프레임 수에 기초하여 사용자 인지 품질 지표(user experience quality index)를 계산하는 과정
   을 포함하되,
   상기 인트라 주기는,
   I 프레임(intra coded frame)을 기준으로 구분되며,
   상기 표시 순서 상 가장 선행하는 프레임을 파악하는 과정은,
   상기 손상 프레임이 속한 인트라 주기의 파악이 완료될 때까지, 상기 손상 프레임 이후에 복호화되는 프레임의 헤더 정보로부터 해당 프레임의 POC(picture order count) 정보를 파싱하고, 상기 파싱된 POC 정보가 상기 해당 프레임이 상기 손상 프레임보다 먼저 표시된다는 것을 지시할 때, 상기 해당 프레임의 RPS(reference picture set) 정보를 파싱하여 상기 해당 프레임과 상기 손상 프레임 사이의 참조 관계를 분석하는 과정을 포함하는 것을 특징으로 하는 영상품질 측정방법.
9. 삭제
10. 제 8 항에 있어서,
    상기 표시 순서 상 가장 선행하는 프레임으로부터 상기 인트라 주기 내에 포함되는 마지막 프레임까지의 프레임이 표시되지 않도록 손상 처리를 수행하는 과정을 포함하는 것을 특징으로 하는 영상품질 측정방법.
    

Images