KR20100071820A - 영상 품질 측정 방법 및 그 장치 - Google Patents

영상 품질 측정 방법 및 그 장치 Download PDF

Info

Publication number
KR20100071820A
KR20100071820A KR1020080130664A KR20080130664A KR20100071820A KR 20100071820 A KR20100071820 A KR 20100071820A KR 1020080130664 A KR1020080130664 A KR 1020080130664A KR 20080130664 A KR20080130664 A KR 20080130664A KR 20100071820 A KR20100071820 A KR 20100071820A
Authority
KR
South Korea
Prior art keywords
information
image
visual
received image
screen damage
Prior art date
Application number
KR1020080130664A
Other languages
English (en)
Inventor
권재철
서창렬
정학진
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020080130664A priority Critical patent/KR20100071820A/ko
Publication of KR20100071820A publication Critical patent/KR20100071820A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비쥬얼 율동을 이용하는 감소기준 기반의 영상 품질 측정 방법 및 그 장치를 개시한다. 본 발명은 (a) 원 영상에서 추출된 제1 비쥬얼 율동(visual rhythm) 정보와 원 영상을 수신하여 복호화시킨 수신 영상에서 추출된 제2 비쥬얼 율동 정보를 수신하는 단계; 및 (b) 두 비쥬얼 율동 정보들을 비교하여 수신 영상의 품질을 측정하는 단계를 포함하는 것을 특징으로 하는 영상 품질 측정 방법을 제공한다. 본 발명에 따르면, 감소기준(RR)에 의한 영상 품질 모니터링을 실시간으로 구현할 수 있으며, STB 재생 영상에 대한 객관적 품질 척도인 PSNR 값을 추정할 수 있다. 또한, 수신측 사용자에게 디스플레이되는 재생 영상에서 발생되는 에러의 위치, 에러 지속 시간, 에러 발생 횟수 등을 확인할 수 있으며, 화면 손상률, 화면 손상 정도 등의 화질 정보도 함께 얻을 수 있다. 또한, 시각적으로도 재생 영상의 품질 열화를 확인할 수 있다.
비쥬얼 율동(VR), 영상 품질, 감소기준(RR), STB(Set-Top Box), PSNR(Peak Signal-to-Noise Ratio)

Description

영상 품질 측정 방법 및 그 장치 {Method and apparatus for measuring quality of video}
본 발명은 영상 품질 측정 방법 및 그 장치에 관한 것이다. 보다 상세하게는, 감소기준(RR; Reduces Reference)에 기반하여 영상의 품질을 측정하고 모니터링하는 영상 품질 측정 방법 및 그 장치에 관한 것이다.
지상파 방송, 위성 방송, IPTV 등 디지털 TV의 확산으로 가입자들은 보다 선명한 화면의 비디오를 시청할 수 있게 되었다. 아날로그 방송과는 다르게 디지털 방송은 비디오 정보를 압축하는 과정에서 화질의 열화가 발생한다. 압축을 많이 하면 할수록 재생 비디오의 품질은 떨어지게 된다. 지상파 방송과 위성 방송 등은 채널의 전송 용량이 고정되어 있기 때문에 비디오 인코더의 성능에 의해서만 화질이 좌우되나, IPTV는 채널 용량이 고정되어 있지 않고 얼마든지 용량을 확장시킬 수 있기 때문에 컨텐츠를 어느 정도의 비트율로 인코딩할 것인가도 재생 화질에 영향을 미치게 된다.
방송 사업자 입장에서는 최종 시청자가 경험하는 화질의 수준을 모니터링하고 그 결과를 컨텐츠 생성이나 전송에 반영하면 보다 효율적인 방송 시스템을 구축 할 수 있으며, 고객의 만족도도 높을 수가 있다. 이를 위해서는 디지털 TV의 화질을 측정하고 평가하는 방법이 필요하다. 현재 ITU-T와 VQEG(Video Quality Expert Group)에서 주관적 화질의 객관적 평가를 위해 표준화 작업을 하고 있는데, 이들이 접근하는 방법은 다음과 같이 크게 세가지 방법이 있다.
(1) FR(Full Reference) : 원본 영상과 재생 영상 간의 유사성 또는 왜곡 차이를 계산하여 상대적인 화질을 측정한다. 가장 정확하게 재생 화질의 수준을 판단할 수 있다. 그러나 수신측에서 송신측이 사용한 원본 영상이 필요하기 때문에 사용이 매우 제한적이다.
(2) RR(Reduced Reference) : 원본 영상로부터 추출한 특징 정보와 재생 영상으로부터 추출한 특징 정보를 비교하여 상대적인 화질을 측정한다. FR보다는 적은 계산량으로 상대적인 화질을 측정할 수 있다.
(3) NR(No Reference) : 원본 영상 자체나 특징 정보가 존재하지 않는 상태에서 재생 영상만으로 화질을 측정한다. 기준 영상이 없기 때문에 가장 부정확한 방법이다.
이 세가지 방법 중 FR 방법은 원본 영상이 존재해야 하는 가정으로 인해 일반 시청자의 화질을 측정하는 목적으로는 사용할 수 없으며, 원본 영상이 가용한 실험실이나 특수한 환경에서만 적용할 수 있다. 반면, RR 방법과 NR 방법은 원본 영상이 필요없이 원본 영상의 특징 정보만을 이용하거나 아예 원본 영상에 대한 어떠한 정보도 필요없는 방법이다. 따라서, 일반적인 비디오 전송 환경에서 사용할 수 있다. 그러나, NR 방법은 상대적 화질의 비교 대상인 원본에 대한 정보가 존재 하지 않기 때문에 정확하지가 않다는 단점이 있다.
한편, 종래에는 수신측에서 복잡도가 큰 척도를 사용함에 따라 계산 능력이 떨어지는 STB 등 임베디드 시스템에 적용하기 어려운 문제점도 있었다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 비쥬얼 율동(VR; Visual Rhythm)을 이용하는 감소기준(RR) 기반의 영상 품질 측정 방법 및 그 장치를 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, (a) 원 영상에서 추출된 제1 비쥬얼 율동(visual rhythm) 정보와 상기 원 영상을 수신하여 복호화시킨 수신 영상에서 추출된 제2 비쥬얼 율동 정보를 수신하는 단계; 및 (b) 상기 두 비쥬얼 율동 정보들을 비교하여 상기 수신 영상의 품질을 측정하는 단계를 포함하는 것을 특징으로 하는 영상 품질 측정 방법을 제공한다.
바람직하게는, 상기 (b) 단계는 상기 비교된 두 비쥬얼 율동 정보들로부터 잡음 정보를 계산하며, 상기 계산된 잡음 정보를 토대로 상기 수신 영상의 품질을 측정한다. 더욱 바람직하게는, 상기 (b) 단계는 상기 수신 영상으로부터 왜곡량을 계산하고, 상기 계산된 왜곡량을 이용하여 상기 잡음 정보를 계산한다. 또한, 상기 (b) 단계는 상기 잡음 정보로 PSNR을 계산한다.
바람직하게는, 상기 (b) 단계는 (ba) 상기 비교된 두 비쥬얼 율동 정보들로부터 화면 손상에 대한 정보를 계산하는 단계를 포함한다. 더욱 바람직하게는, 상기 (ba) 단계는 상기 화면 손상에 대한 정보로 상기 수신 영상에서의 오류 위치, 상기 수신 영상에서의 오류 지속 시간, 상기 수신 영상에서의 오류 발생 횟수, 상 기 수신 영상에서의 화면 손상율, 및 상기 수신 영상에서의 화면 손상 정도 중 적어도 하나를 계산한다. 더욱더 바람직하게는, 상기 (ba) 단계는 상기 수신 영상 중 손상된 프레임의 개수를 상기 수신 영상의 프레임 총 개수로 나누어 상기 화면 손상율을 계산하거나, 상기 수신 영상의 비쥬얼 율동에 구비되는 특정 비쥬얼 율동 라인에서 손상된 화소 수를 상기 특정 비쥬얼 율동 라인의 총 화소 수로 나누어 상기 화면 손상 정도를 계산한다.
바람직하게는, 상기 (a) 단계의 이전 단계는 (a') 상기 제1 비쥬얼 율동 정보 또는 상기 제2 비쥬얼 율동 정보를 추출하는 단계를 포함한다. 더 바람직하게는, 상기 (a') 단계는 상기 원 영상 또는 상기 원 영상을 인코딩시킨 인코딩 영상에서 상기 제1 비쥬얼 율동 정보를 추출한다.
또한, 본 발명은 원 영상에서 추출된 제1 비쥬얼 율동(visual rhythm) 정보와 상기 원 영상을 수신하여 복호화시킨 수신 영상에서 추출된 제2 비쥬얼 율동 정보가 수신되면, 상기 두 비쥬얼 율동 정보들을 비교하는 비쥬얼 율동 비교부; 상기 비교된 두 비쥬얼 율동 정보들로부터 잡음 정보를 계산하는 잡음 정보 계산부; 및 상기 계산된 잡음 정보를 이용하여 상기 수신 영상의 품질을 측정하는 영상 품질 측정부를 포함하는 것을 특징으로 하는 영상 품질 측정 장치를 제공한다.
본 발명에 따르면, 비쥬얼 율동을 이용하여 감소기준 기반의 영상 품질을 측정하고 모니터링함으로써 다음 효과를 얻을 수 있다. 첫째, 감소기준(RR)에 의한 영상 품질 모니터링을 실시간으로 구현할 수 있다. 둘째, 비쥬얼 율동(VR) 정보를 통해 STB(Set-Top Box) 재생 영상에 대한 객관적 품질 척도인 PSNR(Peak Signal-to-Noise Ratio) 값을 추정할 수 있다. 세째, 수신측 사용자에게 디스플레이되는 재생 영상에서 발생되는 에러의 위치, 에러 지속 시간, 에러 발생 횟수 등을 확인할 수 있다. 또한, 화면 손상률, 화면 손상 정도 등의 화질 정보도 함께 얻을 수 있다. 네째, 특징 정보로서 비쥬얼 율동 정보를 이용함으로써 시각적으로도 재생 영상의 품질 열화를 확인할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명에서는 FR과 NR의 중간 정도의 복잡도와 정확도를 가지는 RR 방법으로 분류되는 화질 측정 장치 및 화질 측정 방법을 제안한다. RR 방법은 원본 영상으로부터 특징 정보를 추출하여 이 정보를 수신측으로 전송하거나 제3의 시스템(이하, 품질 관리 서버라 함)으로 보낸다. 수신측에서는 재생 영상에 대해 송신측과 동일한 특징 추출 방법으로 특징 정보를 추출하여 송신측에서 전송된 특징 정보와 매칭되는지를 비교하거나, 품질 관리 서버로 추출한 특징 정보를 보낸다. 품질 관리 서버는 송신측과 수신측이 각각 전달한 특징 정보를 비교하여 상대적인 화질을 측정한다.
시청자 댁내의 STB(셋톱박스, Set-top Box)는 일반적으로 연산 능력이 낮기 때문에 특징 정보의 추출에 많은 시간이 걸려서는 곤란하다. 일반적으로 RR 방식에서는 송신측이 특징 정보를 추출하여 수신측으로 전송해 주면 수신측이 수신된 비트 스트림을 디코딩하여 얻은 비디오 정보로부터 특징 정보를 추출하고, 추출된 두 특징 정보를 이용하여 상대적인 화질을 측정한다. 이 경우, 반드시 상대 화질을 측정하는 것이 수신측이 될 필요는 없다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 품질 측정 장치를 개략적으로 도시한 블록도이다. 상기 도 1에 도시한 바에 따르면, 본 발명의 바람직한 실시예에 따른 영상 품질 측정 장치(100)는 특징 정보 비교부(110), PSNR 계산부(120), 화면 손상 정도 계산부(130), 영상 품질 측정부(140), 전원부(150) 및 제어부(160)를 포함한다.
특징 정보 비교부(110)는 영상에서 추출된 특징 정보를 비교하는 기능을 수행한다. 일반적으로 RR 방식에서 사용되는 특징 정보는 픽셀들의 통계 특성을 이용한 국부 유사성(local similarity)에 근거한 방법으로부터 추출된다. 이러반 방법은 원 영상과 재생 영상 간의 에지(edge business), 블록(blocking), 저키(jerkiness) 등의 왜곡량을 측정한 후 두 값을 비교하는 과정으로 진행된다. 그런데, 이러한 방법은 특징 정보의 추출에 많은 계산량을 필요로 한다. 따라서, STB 의 한정된 계산 능력으로는 실시간으로 처리하기가 어렵다. 또한, 화질이 손상되어 재생 영상이 원본 영상과 달라진 경우 특징 정보 값이 차이가 나는데, 그 차이 정도가 어느 정도의 화질 손상으로 이어지는지를 직관적으로 판단하기도 어렵다.
본 발명에 따른 특징 정보 추출부(110)가 비교하는 특징 정보들은 원본 영상의 비쥬얼 율동(VR; Visual Rhythm) 정보와 재생 영상의 비쥬얼 율동 정보이다. 특징 정보 추출부(110)가 비쥬얼 율동 정보를 추출함을 감안할 때, 특징 정보 추출부(110)는 VR 추출부라고 정의함도 가능하다.
비쥬얼 율동은 2차원 비디오 프레임에서 수직, 수평 또는 대각선 방향에 위치하는 픽셀들을 샘플링하여 1차원 정보로 구성한 다음, 시간축으로 연속적인 비디오 프레임들에 대해 동일한 위치에서 픽셀들을 샘플링하여 3차원 비디오 정보를 2차원 정보로 구성한 것이다. 도 2는 비쥬얼 율동의 일실시 예시도이다.
도 2를 참조하면, 원래 비쥬얼 율동은 편집을 위해 장면 전환(scene change)이나 샷 전환(shot change)을 검출하기 위한 용도로 제안되었다. 그런데, 본 발명에서는 RR 방식의 영상 품질 측정을 위한 영상 데이터의 특징 정보로서 비쥬얼 율동 정보를 사용한다. Full SD 해상도(720 × 480) 비디오에 대한 VR 정보를 전송하는데 필요한 대역폭은 480 Byte/frame × 8 bit/Byte × 30 frame/sec = 115,200 bit/sec이다. 대역폭을 줄이기 위해서는 시간적/공간적으로 픽셀을 서브 샘플링하면 된다.
일반적으로 영상 프레임은 시간에 따라 그 변화 속도가 매우 느리므로 비쥬얼 율동으로 만들어지는 화면은 도 2에서처럼 같은 장면(scene) 내에서는 완만하게 변화하게 된다. 만일 같은 장면 내에서 화면이 열화되는 경우에는 일시적인 불연속이나 이전 또는 이후 프레임들과는 다른 경계면 도면을 보여주게 된다. 본 발명에서는 이러한 점을 이용하여 품질 평가자가 에러가 발생한 위치 뿐만 아니라 에러가 지속된 시간 정보, 에러의 발생 횟수 등에 대한 정보를 얻을 수 있다. 또한, 품질 평가자가 직접 눈으로도 원본과 재생본 간의 차이를 확인할 수 있는 장점도 발생한다. 또한, 비쥬얼 율동을 얻는 과정은 수신측에서 디스플레이되는 메모리의 값을 단순히 복사만 하면 되기 때문에 실시간 처리가 가능한 장점도 발생한다.
비쥬얼 율동을 얻는 방법은 도 3에서처럼 여러 가지가 있을 수 있다. 도 2는 도 3의 (가) 방법으로 화면의 중앙 수직선 상에 있는 화소들을 모아놓은 것이다. 프레임의 공간 해상도가 W 화소 × H 라인이라고 했을 때, 한 프레임에서 얻어지는 비쥬얼 율동 정보는 (라) 방법을 제외하고는 모두 H 바이트가 된다. 이 H 바이트의 정보가 한 프레임을 대표하는 특징 정보로 사용된다. VR 정보는 원본 영상의 극히 일부분의 공간 방향의 정보에 불과하지만 PSNR 측면에서 2차원 프레임 정보의 상당 부분을 반영함이 실험을 통해 확인되었다.
PSNR 계산부(120)는 비교된 두 특징 정보로부터 PSNR 값을 계산하는 기능을 수행한다. 본 발명의 실시예에서 PSNR(Peak Signal-to-Noise Rate) 값은 잡음에 대한 정보로 이해할 수 있다.
도 4에서는 2차원 영상 프레임에 대한 PSNR 값과 VR 정보만으로 계산한 PSNR 값 간의 상관성을 보여주고 있다. (a)는 2차원 영상 프레임인 원본 영상과 재생 영상 간의 제1 PSNR 값과 이 두 영상의 VR 간의 제2 PSNR 값을 비교한 그래프이다. 그리고, (b)는 상기 제1 PSNR 값과 상기 제2 PSNR 값 간의 상관성을 보여주는 그래프이다. 그리고, (c)는 H.263 코덱을 사용했을 때 비트율별 PSNR을 비교한 그래프이다.
도 4에서 보는 바와 같이 VR의 PSNR과 2차원 프레임의 PSNR이 높은 상관성을 가짐을 볼 수 있다. 이러한 상관성을 이용하면 VR 정보를 재생 영상의 특성을 대표하는 정보로 활용할 수 있다. VR이 한 프레임의 특성을 반영하는 이유는 화면의 중요한 중간 부분을 샘플링한다는 것과 인코딩 및 전송 과정에서 영상의 공간적 상관성이 화질에 영향을 미치기 때문이다. 인코딩 과정에서 얻어진 재생 영상에 대한 VR 정보는 품질 관리 서버에 저장된다고 가정한다.
PSNR 계산부(120)는 재생 영상의 왜곡량을 계산하고, 계산된 왜곡량을 이용하여 PSNR 값을 계산하는 기능을 수행한다.
STB에서 재생되는 영상의 총 왜곡량은 수학식 1과 같다.
DTotal = E[(PSRC-PSTB)2] = E[{(PSRC-PENC)+(PENC-PSTB)}2]
=DENC + DCHANNEL if DENC and DCHANNEL are uncorrelated
여기서, PSRC는 원본영상, PSTB는 STB 재생영상 , PENC는 인코딩 후 재생 영상 프레임의 픽셀값 벡터를 나타낸다.
이중에서 DENC는 인코딩 단계에서 알 수 있는 양이나, DCHANNEL은 알 수 없는 양이고 STB에서 원본 영상이 가용하지도 않으므로 DTotal은 알 수 없는 양이다. 따라서, 본 발명에서는 이 양을 추정하기 위해 위에서 기술한 VR 정보를 사용한다.
총 왜곡량의 추정치를 DE Total라고 하고, DCHANNEL의 추정치를 DE CHANNEL, 인코딩 단계에서 얻어진 비트스트림의 재생 영상에 대한 VR 정보를 PVR ENC, STB에서 재생된 영상에 대한 VR 정보를 PVR STB정보라고 하면 STB에서 재생되는 영상의 총 왜곡량은 수학식 2와 같다.
DE Total = DENC + DE CHANNEL = DENC + E[(PVR ENC - PVR STB)2]
즉, 인코딩 과정에서 취한 VR 정보 PVR ENC와 STB에서 취한 VR 정보 PVR STB를 가지고 총 왜곡량 추정이 가능하다. 만일 서버측에서 PVR ENC 대신 원본 영상에 대한 PVR SRC 정보를 이용할 수 있다면 수학식 2는 수학식 3과 같이 더욱 간단하게 추정할 수 있다. 이 경우에는 DENC를 이용하지 않아도 된다.
DE Total = DE ENC + DE CHANNEL = E[(PVR SRC - PVR STB)2]
한편, 이렇게 추정된 총 왜곡량에 대한 PSNR 추정치는 수학식 4와 같다.
PSNRE Total = 10log10(2552/DE Total)
실험 영상을 가지고 패킷 오류가 발생하는 상황에서 수학식 4와 같이 추정한 원본 영상의 VR과 재생 영상의 VR 간의 PSNR 값의 상관성은 도 5와 같다. 도 5에서도 도 4의 경우에서처럼 높은 상관성이 있음을 알수 있다. 또한, VR로부터 추정된 PSNR이 2차원 재생 영상의 PSNR 대비 평균적으로 1dB 이내의 차이를 보이는 정확도를 가짐을 확인할 수 있다. VR로부터 추정한 PSNR 값이 매 프레임 별로 2차원 재생 영상으로부터 구한 PSNR 값과 정확히 같지는 않으나, 시청자들이 평균적으로 어느 정도의 화질로 시청하고 있는지 비교적 정확하게 모니터링이 가능하다.
이와 같은 경우, STB는 단순히 재생 영상으로부터 VR 정보만 추출해서 서버로 전송하는 역할만 수행하면 되고, 나머지 연산은 품질 관리 서버에서 수행하면 되므로, 자원이 부족한 STB의 부담을 경감하면서도 효율적으로 품질을 모니터링할 수 있는 장점이 발생한다. 또한, VR을 얻는 과정은 수신측에서 프레임 메모리의 일정 주소의 픽셀값을 단순히 복사만 하면 되기 때문에 실시간 처리가 가능하다. 또한, 본 발명에 따른 방법을 통해 얻은 PVR ENC, PVR STB를 단순 비교하면 전송 과정 중에 발생한 오류의 위치와 오류가 지속된 시간, 오류의 발생 횟수 등에 대한 정보도 얻을 수 있다. 무엇보다도 VR들간의 차이를 확인함으로써 품질 평가자가 직접 눈으로 도 오류의 위치와 양을 확인할 수 있는 장점이 있다.
도 6의 (a)의 좌측도와 우측도는 각각 인코더 재생 영상의 6번째 프레임과 150번째 프레임에 대한 것이다. 인코딩된 비트스트림을 1%의 패킷 손실을 가지는 네트워크를 통과하여 수신측(즉, STB)에서 재생시키면, 이때의 영상은 도 6의 (b)와 같다. 도 6의 (b)의 좌측도와 우측도는 각각 STB 재생 영상의 6번째 프레임과 150번째 프레임에 대한 것이다. 도 6의 (b)를 보면, 6번째 프레임에서는 에러가 없지만 150번째 프레임에서는 화면이 손상됨을 볼 수 있다.
인코더 재생 영상과 STB 재생 영상에 대한 VR과 그들의 차이를 추출하여 보면 도 7과 같다. 도 7의 (a)는 인코딩 재생 영상의 VR이며, 도 7의 (b)는 STB 재생 영상의 VR이다. 그리고, 도 7의 (c)는 두 재생 영상 간의 VR 차이 영상이다. 도 7의 (c)를 보면 어느 부분에서 에러가 발생했으며 어느 정도로 손상되었는지를 눈으로 즉시 확인할 수 있다.
화면 손상 정도 계산부(130)는 인코딩 재생 영상과 STB 재생 영상을 비교하여 화면 손상 정보를 계산하는 기능을 수행한다. 특징 정보 추출부(110)가 추출한 특징 정보인 STB 재생 영상의 비쥬얼 율동(VR) 정보는 STB에서 취하며, 시청이 끝나거나 시청중 중간중간 품질 관리 서버로 VR 정보를 전송한다. 그러나, 반드시 이에 한정되는 것은 아니고, 영상 품질 측정 장치(100)가 직접 품질 관리 서버에 전송하는 것도 가능하다.
STB는 특징 정보(비쥬얼 율동)만을 전송하므로 적은 양의 상향 대역폭만을 소모하면 된다. 품질 관리 서버에서는 원본 영상(또는 인코딩 재생 영상)과 STB 재 생 영상의 비쥬얼 율동(VR) 정보를 모두 가지고 있으므로 두 정보를 비교만 하면 된다. 이 정보를 단순히 비교만 해도 전송중 발생한 에러의 위치, 에러의 유지 시간, 에러 횟수 등을 확인할 수 있다. 또한, 아래 수학식 5와 같이 정의되는 화면 손상율, 화면 손상 정도 등의 화면 손상 정보도 얻을 수 있다. 이로써 품질 관리 서버 요원은 직접 눈으로 에러의 위치와 화면 왜곡량을 확인할 수 있게 된다.
Figure 112008087607921-PAT00001
상기에서, 손상된 화면의 개수는 원본 영상의 비쥬얼 율동과 재생 영상의 비쥬얼 율동을 1:1로 비교해 보면 쉽게 알 수 있다. 한편, 손상된 화소는 원본과 재생본의 VR을 비교했을 때 같은 위치에서 다른 값을 가지는 경우이다. 화면 손상률은 전체 프레임에 대해 얻어지는 값이며, 화면 손상 정도값은 각 프레임당 얻어지는 값이다.
영상 품질 측정부(140)는 사용자가 시청하는 영상 즉, STB 재생 영상의 객관적 품질을 측정하는 기능을 수행한다. 구체적으로, 영상 품질 측정부(140)는 STB 재생 영상의 VR 정보와 원본 영상의 VR 정보, 또는 인코딩 재생 영상의 VR를 이용하여 STB 재생 영상에 대한 PSNR 값을 측정한다. 영상 품질 측정부(140)는 측정된 PSNR 값을 이용하여 사용자가 시청하는 영상의 객관적 품질을 측정한다. 상기에서 언급하였듯이, 여기에는 수학식 2 내지 수학식 4가 이용됨은 물론이다. 수학식 2는 인코딩 재생 영상의 VR을 사용하는 경우로서 이 경우에는 DENC 즉 인코딩 과정에서 발생한 왜곡량 정보가 필요하므로 인코더의 도움이 필요하다. 수학식 3에서는 원본 영상의 VR을 사용하는데, 이 VR 정보는 원본 영상으로부터 직접 추출이 가능하므로 손쉽게 얻을 수 있다.
다음으로, 영상 품질 측정 장치(100)의 영상 품질 측정 방법을 설명한다. 도 8은 본 발명의 바람직한 실시예에 따른 영상 품질 측정 방법에 대한 개념도이고, 도 9는 본 발명의 바람직한 실시예에 따른 영상 품질 측정 방법을 도시한 순서도이다. 이하 도 8과 도 9를 참조하여 설명한다.
송신측(800)에서는 제1 VR 추출부(802)가 원본 영상으로부터 VR을 추출하거나(S900), 비디오 인코더(801)의 비디오 인코딩 단계 이후에 제1 VR 추출부(802)가 VR을 추출한다(S901). 이후, 송신측(800)에서는 인코딩한 후 서버에 저장되어 있는 비트스트림으로부터 VR을 추출하여 품질 관리 서버(820)로 전송한다(S902). 품질 관리 서버(820)에서는 서비스되는 모든 컨텐츠에 대해 VR 정보를 보유하고 있다.
수신측(810)에서는 비디오 디코더(811)가 전송되어온 비디오 비트스트림을 디코딩하면, 제2 VR 추출부(812)가 사용자에게 디스플레이되는 비디오 정보(즉, STB 재생 영상)로부터 VR 정보를 추출한다(S910). 이후, 품질 관리 서버(820)로 추출된 VR 정보를 전송한다(S911).
S902 단계에서 송신측(800)에서 전송된 VR 정보와 S911 단계에서 수신측(810)에서 전송된 VR 정보는 품질 관리 서버(820)의 영상 품질 측정 장치(100)가 수신하게 된다. 따라서, 영상 품질 측정 장치(100)는 도 1에서는 언급하지는 않았지만, 통신부를 더 구비함이 바람직하다. 한편, 품질 관리 서버(820)가 VR 정보를 수신하고, 이를 영상 품질 측정 장치(100)에 입력시키는 것도 가능하다.
이후, VR 비교부(110)가 수신된 두 VR 정보를 비교하여 품질 정보를 얻는다(S920). 인코더 재생 영상에 대한 VR을 사용하는 경우, 네트워크에서나 비디오 디코더에서의 에러가 없다면 두 VR 정보는 정확하게 같을 것이다(S921). 그러나, 패킷 손실이나 디코더 에러에 의해 화질이 저하되면 수신측 VR 값이 송신측의 그것과 달라질 것이다. VR 비교부(110)에서는 두 VR 값을 비교하여(S922) 에러의 위치, 에러의 지속 시간, 에러 횟수를 얻어낸다(S923).
한편, PSNR 계산부(120)에서는 두 VR 정보를 이용하여(S930) PSNR 값을 계산한다(S931). 이때, 수학식 2 내지 수학식 4가 이용될 수 있다.
한편, 에러가 발생한 경우에는 S923 단계에서 화면 손상 정도 계산부(130)가 수학식 5 및 수학식 6을 이용하여 화면 손상률과 화면 손상 정도 값을 계산한다.
한편, 본 발명의 실시예에서 제1 VR 추출부(802) 또는 제2 VR 추출부(812)가 영상 품질 측정 장치(100)에 포함되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도 면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 비쥬얼 율동을 이용하는 감소기준 기반의 영상 품질 모니터링 방법 및 그 장치를 개시한다. 본 발명에 따르면, 감소기준(RR)에 의한 영상 품질 모니터링을 실시간으로 구현할 수 있으며, STB(Set-Top Box) 재생 영상에 대한 객관적 품질 척도인 PSNR(Peak Signal-to-Noise Ratio) 값을 추정할 수 있다. 또한, 수신측 사용자에게 디스플레이되는 재생 영상에서 발생되는 에러의 위치, 에러 지속 시간, 에러 발생 횟수 등을 확인할 수 있으며, 화면 손상률, 화면 손상 정도 등의 화질 정보도 함께 얻을 수 있다. 또한, 시각적으로도 재생 영상의 품질 열화를 확인할 수 있다.
본 발명은 지상파 방송, 위성 방송, IPTV 등 디지털 방송에 적용할 수 있다. 본 발명은 시청자가 경험하는 화질의 수준을 모니터링하고 그 결과를 컨텐츠 생성이나 전송에 반영함으로써 방송 사업자가 보다 효율적인 방송 시스템을 구축하고 고객의 만족도를 향상시키는 데에 기여할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 품질 측정 장치를 개략적으로 도시한 블록도이고,
도 2는 비쥬얼 율동의 일실시 예시도이고,
도 3은 영상에서 비쥬얼 율동 정보를 추출하는 방법에 대한 예시도이고,
도 4는 원본 영상과 재생 영상 간의 PSNR 값과 이 두 영상의 VR 간의 PSNR 값을 비교한 그래프이고,
도 5는 전송 오류 발생시 원본 영상과 재생 영상 간의 PSNR과 이 두 영상의 VR 간의 PSNR 상관성을 도시한 그래프이고,
도 6은 인코딩 재생 영상과 STB 재생 영상을 비교한 도면이고,
도 7은 인코딩 재생 영상의 VR과 STB 재생 영상의 VR을 비교한 그래프이고,
도 8은 본 발명의 바람직한 실시예에 따른 영상 품질 측정 방법에 대한 개념도이고,
도 9는 본 발명의 바람직한 실시예에 따른 영상 품질 측정 방법을 도시한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 영상 품질 측정 장치 110 : 특징 정보 비교부
120 : PSNR 계산부 130 : 화면 손상 정도 계산부
140 : 영상 품질 측정부 150 : 전원부
160 : 제어부 800 : 송신측
801 : 비디오 인코더 802 : 제1 VR 추출부
810 : 수신측 811 : 비디오 디코더
812 : 제2 VR 추출부 820 : 품질 관리 서버

Claims (16)

  1. (a) 원 영상에서 추출된 제1 비쥬얼 율동(visual rhythm) 정보와 상기 원 영상을 수신하여 복호화시킨 수신 영상에서 추출된 제2 비쥬얼 율동 정보를 수신하는 단계; 및
    (b) 상기 두 비쥬얼 율동 정보들을 비교하여 상기 수신 영상의 품질을 측정하는 단계
    를 포함하는 것을 특징으로 하는 영상 품질 측정 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는 상기 비교된 두 비쥬얼 율동 정보들로부터 잡음 정보를 계산하며, 상기 계산된 잡음 정보를 토대로 상기 수신 영상의 품질을 측정하는 것을 특징으로 하는 영상 품질 측정 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는 (ba) 상기 비교된 두 비쥬얼 율동 정보들로부터 화면 손상에 대한 정보를 계산하는 단계를 포함하는 것을 특징으로 하는 영상 품질 측정 방법.
  4. 제 2 항에 있어서,
    상기 (b) 단계는 상기 수신 영상으로부터 왜곡량을 계산하고, 상기 계산된 왜곡량을 이용하여 상기 잡음 정보를 계산하는 것을 특징으로 하는 영상 품질 측정 방법.
  5. 제 3 항에 있어서,
    상기 (ba) 단계는 상기 화면 손상에 대한 정보로 상기 수신 영상에서의 오류 위치, 상기 수신 영상에서의 오류 지속 시간, 상기 수신 영상에서의 오류 발생 횟수, 상기 수신 영상에서의 화면 손상율, 및 상기 수신 영상에서의 화면 손상 정도 중 적어도 하나를 계산하는 것을 특징으로 하는 영상 품질 측정 방법.
  6. 제 5 항에 있어서,
    상기 (ba) 단계는 상기 수신 영상 중 손상된 프레임의 개수를 상기 수신 영상의 프레임 총 개수로 나누어 상기 화면 손상율을 계산하거나, 상기 수신 영상의 비쥬얼 율동에 구비되는 특정 비쥬얼 율동 라인에서 손상된 화소 수를 상기 특정 비쥬얼 율동 라인의 총 화소 수로 나누어 상기 화면 손상 정도를 계산하는 것을 특징으로 하는 영상 품질 측정 방법.
  7. 제 1 항에 있어서,
    상기 (a) 단계의 이전 단계는 (a') 상기 제1 비쥬얼 율동 정보 또는 상기 제2 비쥬얼 율동 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 품질 측 정 방법.
  8. 제 7 항에 있어서,
    상기 (a') 단계는 상기 원 영상 또는 상기 원 영상을 인코딩시킨 인코딩 영상에서 상기 제1 비쥬얼 율동 정보를 추출하는 것을 특징으로 하는 영상 품질 측정 방법.
  9. 제 2 항에 있어서,
    상기 (b) 단계는 상기 잡음 정보로 PSNR(Peak Signal-to-Noise Ratio)을 계산하는 것을 특징으로 하는 영상 품질 측정 방법.
  10. 원 영상에서 추출된 제1 비쥬얼 율동(visual rhythm) 정보와 상기 원 영상을 수신하여 복호화시킨 수신 영상에서 추출된 제2 비쥬얼 율동 정보가 수신되면, 상기 두 비쥬얼 율동 정보들을 비교하는 비쥬얼 율동 비교부;
    상기 비교된 두 비쥬얼 율동 정보들로부터 잡음 정보를 계산하는 잡음 정보 계산부; 및
    상기 계산된 잡음 정보를 이용하여 상기 수신 영상의 품질을 측정하는 영상 품질 측정부
    를 포함하는 것을 특징으로 하는 영상 품질 측정 장치.
  11. 제 10 항에 있어서,
    상기 비교된 두 비쥬얼 율동 정보들로부터 화면 손상에 대한 정보를 계산하는 화면 손상 정도 계산부
    를 더 포함하는 것을 특징으로 하는 영상 품질 측정 장치.
  12. 제 10 항에 있어서,
    상기 잡음 정보 계산부는 상기 수신 영상으로부터 왜곡량을 계산하고, 상기 계산된 왜곡량을 이용하여 상기 잡음 정보를 계산하는 것을 특징으로 하는 영상 품질 측정 장치.
  13. 제 10 항에 있어서,
    상기 화면 손상 정도 계산부는 상기 화면 손상에 대한 정보로 상기 수신 영상에서의 오류 위치, 상기 수신 영상에서의 오류 지속 시간, 상기 수신 영상에서의 오류 발생 횟수, 상기 수신 영상에서의 화면 손상율, 및 상기 수신 영상에서의 화면 손상 정도 중 적어도 하나를 계산하는 것을 특징으로 하는 영상 품질 측정 장치.
  14. 제 13 항에 있어서,
    상기 화면 손상 정도 계산부는 상기 수신 영상 중 손상된 프레임의 개수를 상기 수신 영상의 프레임 총 개수로 나누어 상기 화면 손상율을 계산하거나, 상기 수신 영상의 비쥬얼 율동에 구비되는 특정 비쥬얼 율동 라인에서 손상된 화소 수를 상기 특정 비쥬얼 율동 라인의 총 화소 수로 나누어 상기 화면 손상 정도를 계산하는 것을 특징으로 하는 영상 품질 측정 장치.
  15. 제 10 항에 있어서,
    상기 제1 비쥬얼 율동 정보 또는 상기 제2 비쥬얼 율동 정보를 추출하는 비쥬얼 율동 정보 추출부
    를 더 포함하는 것을 특징으로 하는 영상 품질 측정 장치.
  16. 제 10 항에 있어서,
    상기 잡음 정보 계산부가 계산하는 잡음 정보는 PSNR(Peak Signal-to-Noise Ratio)을 포함하는 것을 특징으로 하는 영상 품질 측정 장치.
KR1020080130664A 2008-12-19 2008-12-19 영상 품질 측정 방법 및 그 장치 KR20100071820A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080130664A KR20100071820A (ko) 2008-12-19 2008-12-19 영상 품질 측정 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080130664A KR20100071820A (ko) 2008-12-19 2008-12-19 영상 품질 측정 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20100071820A true KR20100071820A (ko) 2010-06-29

Family

ID=42369248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080130664A KR20100071820A (ko) 2008-12-19 2008-12-19 영상 품질 측정 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20100071820A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272697B1 (ko) * 2011-11-29 2013-06-10 (주)에이치엠솔루션 셋탑박스 품질측정 시스템
KR101461513B1 (ko) * 2010-08-21 2014-11-13 강호갑 디지털 시네마의 이미지 품질 검사 자동화 장치 및 방법
KR102222915B1 (ko) 2019-10-28 2021-03-04 한국표준과학연구원 모듈 전환형 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102229604B1 (ko) 2019-10-28 2021-03-18 한국표준과학연구원 교정이 가능한 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102240190B1 (ko) 2019-11-29 2021-04-14 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈와 광학계 광학특성 측정시스템
KR20210114230A (ko) 2020-03-10 2021-09-23 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈의 왜곡 측정방법
CN114079777A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 视频处理方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461513B1 (ko) * 2010-08-21 2014-11-13 강호갑 디지털 시네마의 이미지 품질 검사 자동화 장치 및 방법
KR101272697B1 (ko) * 2011-11-29 2013-06-10 (주)에이치엠솔루션 셋탑박스 품질측정 시스템
KR102222915B1 (ko) 2019-10-28 2021-03-04 한국표준과학연구원 모듈 전환형 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102229604B1 (ko) 2019-10-28 2021-03-18 한국표준과학연구원 교정이 가능한 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102240190B1 (ko) 2019-11-29 2021-04-14 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈와 광학계 광학특성 측정시스템
KR20210114230A (ko) 2020-03-10 2021-09-23 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈의 왜곡 측정방법
CN114079777A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 视频处理方法和装置
CN114079777B (zh) * 2020-08-20 2024-06-04 华为技术有限公司 视频处理方法和装置

Similar Documents

Publication Publication Date Title
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
Zinner et al. Towards QoE management for scalable video streaming
US20130318253A1 (en) Methods and apparatus for providing a presentation quality signal
KR20100071820A (ko) 영상 품질 측정 방법 및 그 장치
US10182233B2 (en) Quality metric for compressed video
JP6328637B2 (ja) ビデオストリーミングサービスのためのコンテンツ依存型ビデオ品質モデル
KR101783071B1 (ko) 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치
EP2649801A1 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
Joskowicz et al. A parametric model for perceptual video quality estimation
Leszczuk et al. Key indicators for monitoring of audiovisual quality
US11638051B2 (en) Real-time latency measurement of video streams
Nur Yilmaz A no reference depth perception assessment metric for 3D video
JP5851332B2 (ja) ３ｄ映像品質評価装置及び方法及びプログラム
CA2408435C (en) Method for testing video sequences
JP5851331B2 (ja) ３ｄ映像品質評価装置及び方法及びプログラム
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Liu et al. Real-time video quality monitoring for mobile devices
Yamada et al. Video-quality estimation based on reduced-reference model employing activity-difference
Kwon et al. A novel video quality impairment monitoring scheme over an ipty service with packet loss
Bretillon et al. Method for image quality monitoring on digital television networks
JP5851330B2 (ja) ３ｄ映像品質評価装置及び方法及びプログラム
Zhang et al. Overview of full-reference video quality metrics and their performance evaluations for videoconferencing application
Lee et al. Hybrid Reduced-Reference Video Quality Assessment of Streaming Services Over Reliable Transport
Farrugia et al. Objective video quality metrics for HDTV services: A survey
KR20100131735A (ko) 영상 품질 모니터링 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination