KR100612691B1 - 동영상 화질 평가시스템 및 방법 - Google Patents

동영상 화질 평가시스템 및 방법 Download PDF

Info

Publication number
KR100612691B1
KR100612691B1 KR1020040030686A KR20040030686A KR100612691B1 KR 100612691 B1 KR100612691 B1 KR 100612691B1 KR 1020040030686 A KR1020040030686 A KR 1020040030686A KR 20040030686 A KR20040030686 A KR 20040030686A KR 100612691 B1 KR100612691 B1 KR 100612691B1
Authority
KR
South Korea
Prior art keywords
video
boundary
received
image
data
Prior art date
Application number
KR1020040030686A
Other languages
English (en)
Other versions
KR20050105630A (ko
Inventor
이철희
이상우
설원희
나동원
윤홍서
채상호
박현중
이중윤
Original Assignee
에스케이 텔레콤주식회사
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사, 학교법인연세대학교 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020040030686A priority Critical patent/KR100612691B1/ko
Priority to US11/112,500 priority patent/US8031770B2/en
Publication of KR20050105630A publication Critical patent/KR20050105630A/ko
Application granted granted Critical
Publication of KR100612691B1 publication Critical patent/KR100612691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/06—Picture frames
    • A47G1/0616—Ornamental frames, e.g. with illumination, speakers or decorative features
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G2200/00—Details not otherwise provided for in A47G
    • A47G2200/06—Humidity

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 송신측이 수신측의 화질을 모니터링할 수 있는 동영상 화질평가 시스템 및 방법에 관한 것으로, 송신하고자 하는 기준동영상(소스 비디오)으로부터 경계동영상을 추출하여 소정의 특징 파라미터를 생성하고, 생성된 특징 파라미터 정보 및 압축동영상을 네트워크를 통하여 송신하는 동영상 송신장치, 상기 네트워크를 통하여 상기 압축동영상 및 특징 파라미터 정보를 수신하며, 상기 특징 파라미터 정보를 이용하여 수신동영상의 화질평가를 수행하고 그 결과를 네트워크를 통하여 상기 동영상 송신장치로 전송하는 동영상 수신장치를 구비하여, 화질평가의 기준이 될 수 있는 기준동영상에서 화질평가를 위한 특징 파라미터를 추출하고, 추출된 파라미터를 압축동영상과 함께 전송함으로써 수신장치는 수신되는 동영상을 상기 특징 파라미터를 통하여 화질평가를 수행할 수 있고, 수신장치는 화질평가 결과를 송신장치로 전송함으로써 송신장치는 수신측의 동영상 화질을 모니터링할 수 있다.

Description

동영상 화질 평가시스템 및 방법{Systems and Methods for Measurement of Video Quality}
도 1은 본 발명에 따른 동영상 화질평가 시스템을 설명하기 위한 설명도,
도 2a 및 도 2b는 본 발명에 따른 동영상 송신장치의 구성을 설명하기 위한 블록도,
도 3a 및 3b는 본 발명에 따른 동영상 수신장치의 구성을 설명하기 위한 블록도,
도 4는 본 발명에 따른 마스크 영상 생성의 실시예를 설명하기 위한 설명도,
도 5는 본 발명에 적용되는 기준영상의 예,
도 6은 본 발명에 따른 도 5의 기준영상의 수평 구배 영상의 예,
도 7은 본 발명에 따른 도 5의 기준영상의 수직 구배 영상의 예,
도 8은 본 발명에 따른 수직 및 수평 구배 영상을 나타내는 도면,
도 9는 본 발명에 따른 도 8의 영상에 대한 마스크 영상,
도 10은 본 발명에 따른 마스크 영상 생성의 다른 실시 예를 설명하기 위한 설명도,
도 11은 본 발명에 따른 도 5의 기준영상의 수직 구배 영상,
도 12는 본 발명에 따른 도10의 영상을 수평 구배연산 처리한 수직/수평 구 배 영상,
도 13는 본 발명에 따른 도 12의 마스크 영상,
도 14는 본 발명에 따른 동영상 화질평가 방법의 적용을 설명하기 위한 설명도,
도 15는 본 발명에 따른 동영상 화질평가 방법의 컬러 동영상 적용을 설명하기 위한 설명도,
도 16은 본 발명에 따른 동영상 송신장치의 동작을 설명하기 위한 흐름도,
도 17은 본 발명에 따른 동영상 수신장치의 동작을 설명하기 위한 흐름도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110: 영상입력부 120: 경계영역추출부
130: 마스크영상 생성부 140: 경계동영상 생성부
150: 부호화부 160: 통신부
210: 통신부 220: 복호화부
230: 정합부 240: 화질평가부
본 발명은 동영상 품질을 객관적으로 평가할 수 있는 동영상 화질 평가 시스템 및 방법에 관한 것이다.
동영상에 대한 화질평가는 동영상 코덱의 성능 검증과 새로운 압축 코딩기법의 개발분야 뿐만 아니라 동영상 전송품질평가 등에 필요한 핵심 기술임을 감안할 때, 그 중요성이 더욱 강조되고 있다.
지금까지 동영상 화질 평가는 다수의 평가자들에 의해 주관적으로 수행되어 왔다. 이러한 방식은 시간과 비용 면에서 많은 제약과 한계를 가지며, 실시간 평가가 불가능하다는 점에서 매우 비효율적이다.
특히 디지털 기술 및 통신기술이 발달함에 따라 동영상을 디지털화하여 네트워크를 통해 전송할 수 있는 기술이 등장하고 있는데, 이러한 디지털 기술 방식으로 압축된 동영상 전송시스템에서는 수신측에서의 동영상 화질을 모니터링하는 것은 상당히 중요하다.
그런데, 상기한 종래의 동영상 시스템에서는 수신측에서의 동영상에 대한 객관적 화질평가를 수행할 수 있는 방법이 없었으며, 특히 송신측이 수신측의 화질을 모니터링을 할 수 없는 문제점이 있다
본 발명은 이와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 화질평가의 기준이 될 수 있는 기준동영상에서 화질평가를 위한 특징 파라미터를 추출하여 송신하고, 수신측은 추출된 파라미터를 통하여 수신 동영상의 객관적인 평가를 수행하여 그 결과를 송신측으로 전송하여 송신측이 수신측의 화질을 모니터링할 수 있는 동영상 화질평가 시스템 및 방법을 제공하는데 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 동영상 화질평가 시스템은, 송신하고자 하는 기준동영상으로부터 경계동영상을 추출하여 소정의 특징 파라미터를 생성하고, 생성된 특징 파라미터 정보 및 압축동영상을 네트워크를 통하여 송신하는 동영상 송신장치, 상기 네트워크를 통하여 상기 압축동영상 및 특징 파라미터 정보를 수신하고 복호화한 후, 상기 특징 파라미터 정보를 이용하여 수신 동영상의 화질평가를 수행하고 그 결과를 상기 네트워크를 통하여 상기 동영상 송신장치로 전송하는 동영상 수신장치를 포함하는 것을 특징으로 한다. 위에서 압축동영상은 기준동영상에 압축알고리즘을 적용하여 구할 수 있다. 기준동영상은 원동영상이 있는 경우 원동영상을 사용하며, 송신측에 원동영상이 없는 경우 송신측에 제공된 압축동영상을 사용한다. 예로. 많은 경우 송신측(컨텐츠 공급업자, 서비스 제공업자 또는 통신회사 등)에는 압축된 동영상만 존재한다. 본 발명에서는 "압축동영상"과 "동영상데이터"는 동일한 의미로 사용된다. 때로는 압축동영상은 압축동영상을 복호화하여 얻은 동영상을 의미할 수 있다. 만일 전송 시, 오류가 발생하지 않았으면 송신된 압축동영상과 수신된 압축동영상은 동일하나. 전송오류가 발생하면 송신된 압축동영상과 수신된 압축동영상은 서로 다르게 된다. 때로는 송신측에 압축동영상이 주어지고 송신측은 다른 방식으로 압축하거나 다른 압축율로 압축할 필요가 있다. 이 경우 주어진 압축동영상을 복화화하여 기준동영상으로 사용하고 이 기준동영상을 다시 부호화할 수 있다. 또한 트랜스코덱 등을 사용하여 주어진 압축동영상을 직접 재부호화할 수 있다. 본 발명에서 동영상이라 함은 원동영상, 원동영상을 압축한 압축동영상(동영상데이터), 압축된 동영상을 복호화하여 얻은 동영상 등을 지칭할 수 있으며 문맥에 따라 해석해야 할 것 이다.
또한 본 발명에 따른 동영상 화질평가 방법은, 네트워크를 통하여 송신되는 압축동영상 및 부호화된 경계동영상을 수신하는 1단계, 상기 수신한 압축동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계(외곽선) 영역들의 화소에 대한 자승평균오차를 산출하는 2단계; 상기 자승평균오차에 대한 최대신호대잡음비를 산출하는 3단계; 및 상기 최대신호대잡음비에 따라 평가를 산출하는 4단계를 포함하는 것을 특징으로 한다. 만일 시공간상에서 정합과정이 필요하면 압축동영상의 시퀀스와 경계동영상 시퀀스를 이용하여 정합하는 정합단계를 추가할 수 있다.
이하에서는 첨부된 도면을 참조하면 본 발명의 실시 예를 상세하게 설명하도록 한다.
도 1은 본 발명에 따른 동영상 화질 평가 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명에 따른 동영상 화질 평가 시스템은, 동영상을 송신하는 주체인 동영상 송신장치(100)와, 상기 동영상 송신장치(100)가 송신하는 동영상을 소정의 네트워크(10)를 경유하여 수신하는 클라이언트인 동영상 수신장치(200)를 포함한다. 이때 상기 네트워크(10)는 무선 및 유선 통신망을 모두 포함한다. 또한 상기 동영상 수신장치(200)는 사용자의 이동통신단말기가 될 수 있다.
상기 동영상 송신장치(100)는 송신하고자 하는 기준동영상으로부터 경계동영 상을 추출하여 소정의 파라미터를 생성하고, 생성된 파라미터 정보 및 압축동영상을 네트워크(10)로 송신한다(S1). 이에 따라 동영상 수신장치(200)는 상기 네트워크(10)를 통하여 상기 압축동영상 및 파라미터 정보를 수신하며, 상기 파라미터 정보를 이용하여 수신압축동영상의 화질평가를 수행한다(S2). 그리고 동영상 수신장치(200)는 상기 화질평가 결과를 네트워크(10)를 통하여 동영상 송신장치(100)로 전송하며(S3), 동영상 송신장치(100)는 상기 화질평가 결과를 수신하여 수신측의 동영상 화질을 판단할 수 있다.
도 2a 및 도 2b는 본 발명에 따른 동영상 송신장치의 구성을 설명하기 위한 블록도이다.
도 2a는 원 동영상으로부터 경계 동영상을 추출하는 송신장치 구성에 대한 실시예이고, 도 2b는 압축동영상으로부터 경계동영상을 추출하는 송신장치 구성에 대한 실시예이다.
도 2a를 참조하면, 본 발명에 따른 동영상 송신장치(100)는 원동영상(소스 비디오)을 입력하기 위한 영상입력부(110)와, 상기 영상입력부(110)로 입력되는 원동영상의 경계영역을 추출하기 위한 경계영역 추출부(120)와, 상기 경계영역추출부(120)의 출력으로부터 마스크 동영상을 생성하기 위한 마스크 영상 생성부(130)와, 상기 마스크 영상 생성부(130)의 출력과 원동영상을 입력으로 하여 경계동영상을 생성하는 경계동영상 생성부(140)와, 상기 원동영상과 경계동영상 생성부(140)에서 생성된 경계동영상을 부호화하는 부호화부(150) 및 부호화된 동영상 데이터를 네트 워크(10)로 송신하는 통신부(160)를 포함한다.
상기 영상입력부(110)는 외부 장치로부터 동영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다.
많은 경우, 송신측(컨텐츠 공급업자, 서비스 제공업자, 또는 통신회사 등)에는 원동영상이 존재하지 않고 압축된 동영상만 주어진다. 이러한 경우에는 후술하는 도 2b와 같이 압축동영상에서 경계동영상을 구할 수 있다. 이 경우 압축동영상을 먼저 복호화한 후 경계영역을 추출할 수 있다.
도 2b를 참조하면, 본 발명에 따른 동영상 송신장치는 부호화된 입력동영상을 복호화하여 기준동영상을 생성하고, 기준동영상의 경계영역을 추출하기 위한 경계영역 추출부(121)와, 상기 경계영역추출부(121)의 출력으로부터 마스크 동영상을 생성하기 위한 마스크 영상 생성부(131)와, 상기 마스크 영상 생성부(131)의 출력과 기준동영상을 입력으로 하여 경계동영상을 생성하는 경계동영상 생성부(141)와, 경계동영상 생성부(141)에서 생성된 경계동영상을 부호화하는 부호화부(151) 및 부호화된 경계 동영상 데이터와 전술한 부호화된 입력동영상을 네트워크(10)로 송신하는 통신부(161)를 포함한다.
화질평가에 사용되는 파라미터(상기 예에서는 부호화된 경계동영상 데이터)에는 오류가 발생하지 말아야 함으로 특수한 부호화기법을 사용하는 것도 가능하다. 또한 부호화된 경계동영상 데이터와 동영상데이터에 동시에 오류가 발생하는 것은 피하여야 한다. 따라서 부호화된 경계동영상 데이터와 동영상데이터는 다른 채널을 사용하여 전송하는 것이 바람직하다. 예로 서로 다른 패킷을 사용하여 전송 할 수 있고, 시간차를 두어 전송할 수 있다.
도 3a 및 3b는 본 발명에 따른 동영상 수신장치의 구성을 설명하기 위한 블록도이다.
도 3a는 동영상 수신장치가 화질평가를 수행하는 구성에 대한 실시예이고, 도 3b는 동영상 수신장치가 수신 동영상 데이터로부터 파라미터를 추출하여 송신측으로 재 전송하는 구성에 대한 실시예이다.
도 3a를 참조하면, 본 발명에 따른 동영상 수신장치(200)는 네트워크(10)를 통하여 동영상 데이터(압축동영상)를 수신하는 통신부(210)와, 상기 통신부(210)에서 수신된 동영상 데이터를 복호화하여 수신동영상과 경계동영상을 생성하는 복호화부(220)와, 상기 복호화부(220)에서 복호화되어 출력되는 수신동영상 및 경계동영상을 정합하는 정합부(230)와, 상기 정합부(230)의 출력(정합된 수신동영상 및 경계동영상)으로부터 상기 수신동영상의 화질을 평가하여 출력하는 화질평가부(240)를 포함한다.
상기 화질평가부(240)는 경계영역에서 신호대 잡음비를 산출하고 그 값을 이용하여 화질평가를 수행하는데, 상기 경계영역 신호대 잡음비는 경계영역 최대신호대 잡음비(이하 'E-PSNR'라 칭함)라 한다.
또한 상기 화질평가부(240)는 화질평가의 결과를 통신부(210)를 통하여 전술한 동영상 송신장치(100)로 전송함으로써, 수신측의 동영상 화질정보를 송신측에 알릴 수 있다.
한편, 본 발명에 따른 동영상 수신장치는 본 발명에 따른 전술한 파라미터를 추출하는 송신장치의 전술한 구성요소를 수신장치가 구비하고, 상기 수신장치는 송신장치가 전송하는 압축동영상을 수신하여 그로부터 파라미터를 추출하고 이 파라미터를 부호화하여 송신장치로 전송하며, 송신장치는 이 파라미터를 사용하여 수신장치에서의 동영상 화질을 모니터링할 수 있는데, 그 구성은 도 3b에 도시한 바와 같다.
도 3b를 참조하면, 본 발명에 따른 동영상 수신장치는 네트워크(10)를 통하여 동영상 데이터(압축동영상)를 수신하는 통신부(251)와, 상기 통신부(251)에서 수신된 동영상 데이터를 복호화하여 수신동영상을 생성하는 복호화부(252)와, 상기 복호화부(252)에서 복호화되어 출력되는 수신동영상의 경계영역을 추출하기 위한 경계영역 추출부(253)와, 상기 경계영역추출부(253)의 출력으로부터 마스크 동영상을 생성하기 위한 마스크 영상 생성부(254)와, 상기 마스크 영상 생성부(254)의 출력과 수신동영상을 입력으로 하여 경계동영상을 생성하는 경계동영상 생성부(255)와, 경계동영상 생성부(254)에서 생성된 경계동영상을 부호화하여 통신부(251)를 통해 네트워크(10)로 송신하는 부호화부(256)를 포함한다.
상기한 구성을 가지는 동영상 수신장치는 수신되는 동영상 데이터에 오류가 발생하는 경우에만, 오류에 해당하는 데이터 부분의 파라미터를 추출하여 송신장치로 전송하며, 동영상 송신장치는 상기 파라미터를 수신하여 화질평가를 수행할 수 있다.
또한 상기 동영상 수신장치는 수신되는 동영상 데이터에 패킷 오류가 발생하는 경우, 상기 오류가 발생한 패킷을 동영상 송신장치로 전송할 수 있으며, 동영상 송신장치는 상기 패킷을 수신하여 화질평가를 수행할 수 있다.
본 발명에 따른 마스크 영상을 생성하는 과정의 일 실시 예는 다음과 같다.
기준영상의 수직 및 수평 구배영상을 각각 생성하여 절대값 연산을 취하여 생성한 수직 및 수평 구배 영상에서 화소 값의 크기가 소정치 이상인 것을 추출함으로써 경계영역을 찾을 수 있다. 즉, 상기 수직 및 수평 구배 영상의 각 화소의 값이 미리 설정된 문턱값 이상인 화소(pixel)만 추출하면 그 추출된 화소들이 경계영역이 되는데, 이하에서 상세히 설명하도록 한다.
도 4는 본 발명에 따른 기준영상을 이용한 마스크 영상을 생성하는 방법을 설명하기 위한 실시 예의 설명도이다.
도 4를 참조하면, 본 발명에서는 경계영역을 찾기 위해 기준동영상에 외곽선 추출 알고리즘(edge detection algorithm)을 적용한다. 그리고 문턱 값을 이용하는 연산을 적용하여 경계영역을 구한다.
경계영역 검출 알고리즘은 경계영역을 찾는데 적용된다. 이때 경계영역 검출 알고리즘에 따라 다소의 차이가 있지만, 기존에 제안된 알고리즘의 하나를 사용할 수 있다. 예를 들면, 경계영역을 찾기 위해 소벨 (Sobel) 구배 연산자(Gradient Operator)를 이용할 수 있다.
경계영역 추출부(30)는 수직 구배 연산자를 이용한 경계영역 추출 알고리즘을 도 5에 도시된 기준영상에 적용하여 수직 구배 영상(
Figure 112004018485846-pat00001
)를 생성한다(S110). 이때
Figure 112004018485846-pat00002
는 기준영상의 화소(i,j)에 대하여 수직구배연산자(
Figure 112004018485846-pat00003
)를 적용하여 수직 구배 영상을 생성하는 것을 의미한다.
상기 수직 구배 영상은 도 7에 도시된 바와 같다.
경계영역 추출부(30)는 단계S110에서 상기 수직 구배 영상을 생성함과 동시(혹은 생성한 후)에 기준영상에 수평 구배 연산을 적용하여 수평 구배 영상(
Figure 112004018485846-pat00004
)를 생성한다(S120). 이때
Figure 112004018485846-pat00005
는 기준영상의 화소(i,j)에 대하여 수평구배연산자(
Figure 112004018485846-pat00006
)를 적용하여 수평구배 영상을 생성하는 것을 의미한다. 상기 수평구배 영상(
Figure 112004018485846-pat00007
)는 도 6에 도시된 바와 같다.
그리고 상기 생성된 수직 및 수평 구배 영상에 절대값 연산을 수행하여 수직 및 수평 구배 영상(g(i,j))를 생성한다(S130). 상기 절대값 연산에 의한 수직 및 수평 구배 영상(g(i,j))는 다음의 식 1과 나타낼 수 있으며 그 영상은 도 8에 도시된 바와 같다.
[식 1]
Figure 112004018485846-pat00008
그리고 최종적으로, 마스크 영상 생성부(40)는 상기 수직 및 수평 구배영상(g(i,j))에 문턱값 연산을 적용하여 수직 및 수평 구배 영상(g(i,j))에서 화소 값 의 크기가 소정치 이상인 것을 추출함으로써 경계영역을 찾는다(S140). 이때 문턱치 연산은 다음과 같이 나타낼 수 있다.
Figure 112004018485846-pat00009
여기서, R(i,j)은 마스크 영상, g(i,j)은 구배영상을 나타내며, 문턱치 t를 큰 값으로 설정하면 마스크 영상에서 경계에 해당하는 화소수는 줄어들게 된다. 또한 상기 구배영상은 본 실시예에 따른 방법에 의한 것뿐만 아니라, 다른 어떠한 경계검출 알고리즘을 사용하여 생성한 구배영상에도 적용할 수 있다.
따라서, 상기 단계S140에서는 수직 및 수평 구배 영상(g(i,j))의 각 화소의 값이 미리 설정된 문턱값(te) 이상인 화소(pixel)만 추출하고 추출된 화소들이 경계영역이 된다. 이에 따라 도 9에 도시된 바와 같이 마스크 영상을 얻을 수 있다.
전술한 본 실시 예에서는 기준영상에 수평 구배 연산자와 수직 구배 연산자를 각각 개별로 적용하였으나 도 10에 나타낸 바와 같이 변형된 방법을 적용할 수 있다.
도 10은 본 발명에 따른 기준영상을 사용하여 마스크 영상을 생성하는 다른 실시 예를 설명하기 위한 설명도이다.
도 10을 참조하면, 경계영역 추출부(120)는 기준영상에 수직 구배 연산자를 먼저 적용하여 수직 구배 영상을 생성한다(S210). 수직구배 영상은 도 11에 도시하였다.
그리고 상기 경계영역 추출부(120)는 상기 단계 S210에서 생성된 수직 구배 영상에 수평 구배 연산자를 적용하여 연속적인 수직 및 수평 구배 영상을 생성한다(S220). 상기 수직 및 수평 구배 영상은 도 12에 도시하였다.
본 실시 예에서는 단계 S210에서 수직 구배 영상을 먼저 생성하고, 단계 S220에서 상기 수직 구배 영상에 수평 구배 연산을 적용하여 수직 및 수평 구배 영상을 생성하였으나, 그 순서는 바뀌어도 무방하다.
경계영역 추출부(120)에서 생성된 상기 수직 및 수평 구배 영상은 마스크 영상 생성부(130)로 전달되고, 마스크 영상 생성부(130)는 상기 수직 및 수평 구배 영상으로부터 마스크 영상을 생성한다.
마스크 영상을 생성하기 위해 마스크 영상 생성부(130)는 상기 수직 및 수평 구배 영상에 문턱 값 연산을 적용한다(S230). 이에 따라서 경계영역을 나타내는 마스크 영상을 추출할 수 있다. 이때 문턱치 연산은 다음과 같이 나타낼 수 있다.
Figure 112004018485846-pat00010
여기서, R(i,j)은 마스크 영상, g(i,j)은 구배영상을 나타내며, 문턱치 t를 큰 값으로 설정하면 마스크 영상에서 경계에 해당하는 화소수는 줄어들게 된다. 즉, 큰 문턱치 값을 선택하면 화소수가 줄어들고 전송하여야 될 특징 파라미터의 크기도 줄어들게 된다.
또한 상기 구배영상은 본 실시 예에 따른 방법에 의한 것뿐만 아니라, 다른 어떠한 경계검출 알고리즘을 사용하여 생성한 구배영상에도 적용할 수 있다.
따라서, 단계 S230에서는 상기 연속적 구배 영상의 화소들 중 화소 값이 미리 설정된 문턱 값 이상인 화소들만을 추출하며, 그 화소들이 경계영역을 나타내는 마스크 영상이 된다. 상기 마스크 영상은 도 13에 도시하였다.
상기한 본 발명에 따른 두 가지 방법은 경계영역 추출 알고리즘이 될 수 있으며, 동영상 압축 알고리즘의 특성에 선택적으로 사용될 수 있다. 또한 유사한 외곽선 추출방법을 사용하여도 무방하다.
전술한 바와 같이, 상기한 본 발명에 따른 두 가지 방법에 의해 생성된 구배영상은 도 8및 도 12에 나타낸 바와 같다. 그리고 상기 도 8및 도 12에 문턱 값 연산을 적용함으로써 화소 값이 문턱값 이상인 화소들을 추출하면 도 9및 도 13에 도시한 마스크 영상이 생성된다. 경계영상은 도 9 및 도 13의 화소 중 영(zero)이 아니 화소에 기준영상의 화소를 치환함으로 구할 수 있다. 동영상은 프레임(frame) 또는 필드(field)들로 구성되므로 상기한 방법을 각 프레임 혹은 필드에 적용하여 경계동영상을 생성할 수 있다. 즉 경계동영상은 경계영역에 해당하는 화소에는 기준동영상의 화소값을 치환하고 경계영역이 아니 화소는 특별히 지정한 값을 갖는다. 경계영역이 아닌 화소를 나타내기 위해 사용하는 화소값은 영(zero)을 사용하는 것이 가능하나, 이 경우 경계영역의 기준동영상 화소값이 영인 경우와 구별을 할 수 없는 문제가 있다. 이러한 문제를 해결하기 위해 특별한 값(예로 음의 값) 등을 사용할 수 있다. 본 발명에 따른 상기 마스크 영상은 기준영상에 경계영역 추출 알고리즘을 적함으로써 얻어지는 것이나, 소정의 알고리즘에 의해 처리를 한 영상에 대해서도 적용할 수 있으며, 어플리케이션에 따라서 선택적으로 적용할 수 있 다. 즉 기준동영상은 원동영상 또는 압축된 동영상이 될 수 있다.
한편, 본 발명에 따른 화질평가부(240)는 수신동영상의 화질을 평가하는데 있어, 경계영역 최대신호대잡음비(E-PSNR)를 산출하고 그로 따라 화질평가를 수행할 수 있다. 화질평가를 위하여 상기 경계영역 최대신호대 잡음비(E-PSNR)를 산출하는 과정은 다음과 같다.
이하에서는 전술한 과정에서 생성된 경계동영상 시퀀스의 각 영상과 평가대상 동영상 시퀀스의 각 영상의 경계영역간의 자승평균오차를 산출하는 과정을 설명하도록 한다.
도 14는 본 발명에 따른 방법의 적용을 설명하기 위한 설명도이다.
도 14를 참조하면, 경계동영상(S) 및 평가대상동영상(P)은 다수의 프레임 또는 필드(l,l+1,l+2…)로 구성된다. 이하에서는 프레임으로 가정하고 설명한다. 각 프레임의 영상은 다수의 화소(P)가 M개의 행(row)과 N개의 열(column)로 구성되며 각 화소(P)는 P(i,j)로 나타낼 수 있다.
따라서 화질평가부(240)는 다음의 [식 2]에 의해 l번째 프레임의 경계영역의 오차를 산출한다.
[식 2]
Figure 112004018485846-pat00011
(
Figure 112004018485846-pat00012
가 경계영역에 속하는 경우에만 합산)
Figure 112004018485846-pat00013
: 경계동영상 시퀀스의 l번째 영상의 (i,j)번째 화소
Figure 112004018485846-pat00014
: 평가 대상 동영상 시퀀스의 l번째 영상의 (i,j)번째 화소
M : 행(row)의 수
N : 열(column)의 수
상기 식에서는 경계동영상 시퀀스와 수신 동영상 시퀀스의 자승오차를 계산하는데 경계영역에 해당하는 화소에서만 계산한다. 앞서 경계동영상을 생성하는데 있어 경계영역이 아닌 화소에는 특수 값을 갖도록 하였으므로 경계영역 여부는 쉽게 판단할 수 있다.
또한 전술한 도 2에서도 설명한 바와 같이 송신장치(송신측)에서는 대역폭을 효율적으로 사용하기 위하여 경계동영상을 부호화하게 된다. 이 때 일반적인 동영상 부호화 알고리즘을 사용할 수 있고 경계동영상의 특성을 고려하여 개발된 특화된 동영상 압축알고리즘을 사용할 수 있다. 예로, 경계영역의 화소 수가 적을 경우, 경계영역 화소 위치정보 및 화소 값을 부호화 하여 전송할 수 있다. 어떠한 경우에도 부호화된 경계동영상을 복호화하면 화소가 경계영역에 속한 여부를 판단하여 전술한 식 2를 계산할 수 있다.
만일 시공간상에서 정합이 필요한 경우 경계동영상을 사용하여 정합할 수 있다. 즉 경계동영상에서 경계영역에 속한 화소들을 사용하여 시공간상의 이동정도를 구할 수 있으며, 일반적인 정합알고리즘을 사용할 수 있다. 또한 지연, 지터 등의 오류가 시간에 따라 변할 수 있으므로 시간축상의 정합은 일정시간 단위로 정합을 수행할 수 있다.
[식 2]에 의해 산출되는 기준동영상의 시퀀스와 평가대상 동영상 시퀀스의 자승평균오차(MSE)를 산출하기 위해 후술하는 [식 3]이 이용된다. 또한 [식 2]에서 절대치를 이용한 형태도 이용될 수 있다.
전술한 방법은 동영상의 전체 프레임에 대하여 수행하며 본 발명의 경계영역 자승평균오차(MSE)는 다음의 식 3에 의해 산출된다.
[식 3]
Figure 112004018485846-pat00015
, 이때, K는 경계영역의 전체 화소수이다.
그리고, 경계영역의 E-PSNR은 다음의 식 4에 의해 산출된다.
[식 4]
, 이때 P는 최대 화소 값이다.
화질평가부(240)는 상기 데이터를 객관적인 동영상 품질을 평가하기 위한 측정 기준으로 이용한다,
이하에서는 컬러 동영상에 대한 본 발명의 적용 예를 설명하도록 한다.
도 15는 본 발명에 따른 동영상 화질평가 방법을 컬러 동영상에 적용한 예를 설명하기 위한 설명도이다.
대부분의 컬러 동영상은 3가지의 성분으로 표현할 수 있는데, RGB, YUV 및 YCrCb의 포맷형태로 나타낼 수 있다. 그리고 YUV 포맷은 스케일링 및 오프셋을 적용함으로써 YCrCb 형태로 변환된다. 이때 Y는 휘도 성분을 나타내며, U 와 V (혹은 Cr와 Cb) 는 색 정보를 나타낸다.
상기한 컬러 동영상의 각 성분에 대하여 전술한 본 발명의 실시예의 방법을 적용함으로써 각 성분과 그 평균을 객관적 품질을 평가하기 위한 기준으로 사용할 수 있다. 또한 상기 컬러 동영상의 모든 요소에 대하여 본 발명을 적용하지 않고 그 요소 중 가장 비중이 있는 요소(Dominant)인 Y에 대하여 전술한 실시예의 방법을 적용하여도 본 발명의 목적을 달성할 수 있다.
예를 들면, 컬러 동영상의 여러 요소 중 가장 비중이 있는 요소에 대하여 우선적으로 본 발명의 방법을 적용하여 E-PSNR을 산출하고, 그 후 나머지 요소들의 E-PSNR을 이용하여 상기 가장 비중이 있는 요소(Dominant)의 E-PSNR을 보정할 수 있으며, 다음과 같이 최종 VQM(video quality metric)을 계산할 수 있다.
Figure 112004018485846-pat00017
이때
Figure 112004018485846-pat00018
과
Figure 112004018485846-pat00019
은 나머지 요소들의 E-PSNR이며, f(x,y)의 함수이다.
상기 함수는 f(x,y)는 선형함수를 사용하고, 이 경우
Figure 112004018485846-pat00020
는 상수 α 및 β를 이용하여
Figure 112004018485846-pat00021
으로 표현할 수 있다.
이에 따라,
Figure 112004018485846-pat00022
으로 표현할 수 있으며, 상기 상수 α 및 β는 학습 비디오 데이터로부터 구할 수 있다.
대부분의 동영상 압축 표준인 MPEG 1, MPEG 2, MPEG 4, H.26x 등은 YCrCb의 포맷으로 나타내며, Y 요소가 E-PSNR을 산출하는데 가장 중요한 요소이다.
본 발명에 따른 바람직한 실시예는 상기
Figure 112004018485846-pat00023
은 Y요소에 대하여 수행하고, 상기
Figure 112004018485846-pat00024
과
Figure 112004018485846-pat00025
는 나머지 요소인 U 및 V 또는 Cr 및 Cb에 대해 실시한다. RGB 포맷일 경우 동일한 가중치를 부여하여 VQM을 계산할 수도 있고 서로 다른 가중치를 부여하여 계산할 수도 있다.
이하에서는 본 발명에 따른 동영상 화질평가의 전체 과정을 설명하도록 한다.
도 16은 본 발명에 따른 동영상 송신장치에서의 동작을 설명하기 위한 흐름도이다. 도 17은 본 발명에 따른 동영상 수신장치에서의 동작을 설명하기 위한 흐름도이다.
도 16을 참조하면, 본 발명에 따른 동영상 송신장치(100)는, 영상입력부(110)를 통하여 입력되는 기준동영상을 경계영역 추출부(120)를 경유하여 기준영상의 경계영역을 추출한다. 그리고 마스크 영상 생성부(130)를 통해 상기 추출된 경계영역으로부터 마스크 동영상을 생성한다(S310).
단계 S310에서 마스크 동영상이 생성된 후에는 경계동영상 생성부(140)를 통하여 경계동영상을 생성한다(S320). 상기 경계 동영상 생성부(140)는 상기 마스크 영상 생성부(130)에서 생성된 마스크 동영상과 기준동영상에 논리곱연산(AND 연산)을 취함으로써 경계동영상을 생성할 수 있다. 상기 경계동영상은 마스크 동영상의 경계영역(화소값이 "1"이 영역)에 기준동영상의 동일위치의 화소값을 치환함으로 생성한다. 경계영역이 아닌 화소를 나타내기 위해 사용하는 화소값은 영(zero)을 사용하는 것이 가능하나, 이 경우 경계영역의 기준동영상 화소값이 영인 경우와 구별을 할 수 없는 문제가 있다. 이러한 문제를 해결하기 위해 특별한 값(예로 음의 값) 등을 사용할 수 있다. 이때 경계동영상의 극히 일부만 경계영역임을 감안하여 경계영역 위치와 경계영역에 해당하는 기준동영상의 화소값을 부호화할 수 있다.
상기 생성된 경계동영상은 부호화부(150)에서 부호화되며(S330), 화질평가를 위한 특징 파라미터가 되며, 이때 데이터량을 줄이기 위하여 다양한 압축알고리즘을 이용할 수도 있다. 또한 부호화부(150)는 송신하고자 하는 기준동영상을 부호화하여, 통신부(160)로 전송한다. 만일 기준동영상이 이미 부호화되어 있으면 그대로 전송하는 것도 가능하다. 즉 송신측에서 직접 원동영상을 부호화 하지 않고 이미 부호화된 압축동영상이 주어진다며 이 압축동영상을 직접 전송한다. 그리고 통신부(160)는 상기 부호화된 데이터를 네트워크(10)로 송신한다(S340).
화질평가에 사용되는 특징 파라미터에는 오류가 발생하지 말아야 함으로 특수한 부호화기법을 사용하는 것도 가능하다. 또한 부호화된 경계동영상 데이터와 동영상데이터에 동시에 오류가 발생하는 것은 피하여야 한다. 따라서 부호화된 경계동영상 데이터와 동영상데이터는 다른 채널을 사용하여 전송하는 것이 바람직하다. 예로 서로 다른 패킷을 사용하여 전송할 수 있고, 시간차를 두어 전송할 수 있다.
때로는 송신측에 압축 동영상이 주어지나, 송신측(컨텐츠 공급업자, 서비스 제공업자, 또는 통신회사)는 다른 방식으로 압축하거나 다른 압축율로 압축할 필요가 있다. 이 경우 주어진 압축동영상을 복호화하여 기준동영상을 생성하고 이 기준동영상을 다시 부호화할 수 있다. 또한 트랜스코덱을 사용하여 주어진 압축동영상를 직접 재부호화할 수 있다.
이에 따라 동영상 수신장치(200)는 네트워크(10)를 통하여 상기 단계 S340에서 송신하는 동영상데이터(압축동영상)를 수신할 수 있는데, 도 17을 참조하여 설 명하도록 한다.
본 발명에 따른 동영상 수신장치(200)는 통신부(210)를 통하여 상기 동영상데이터를 수신한다(S410). 통신부(210)에서 수신된 동영상데이터는 복호화부(220)에서 수신동영상 및 경계동영상으로 복호화된다(S420).
복호화된 각 데이터는 정합부(230)를 통하여 시공간상에서 정합이 필요하면 정합이 이루어진 후 화질평가부(240)로 출력된다(S430). 이에 따라 화질평가부(240)는 경계영역 최대 신호대 잡음비(E-PSNR)을 산출하고(S440), 그로부터 미리 설정된 기준에 따른 화질평가를 수행한다(S450). 즉 본 발명에 따르면 전송된 경계동영상의 정보를 이용하여 시공간상의 정합이 필요한 경우 정합과정을 수행한다.
화질평가 수행 후 동영상 수신장치(200)는 화질평가부(240)의 출력을 통신부(210)를 통하여 동영상 송신장치(100)로 전송한다(S460).
이에 따라 동영상 송신장치(100)는 상기 단계 S460에서 전송되는 결과를 수신함으로써 수신측의 동영상 화질을 모니터링할 수 있다.
이상에서는 송신장치가 파라미터를 추출하여 수신장치로 전송하는 것을 예로 설명하였으나 그 반대의 경우도 가능하다.
즉, 도 3b에 도시한 것과 같이, 파라미터를 추출하는 송신장치의 전술한 구성요소를 수신장치가 구비하고, 상기 수신장치는 송신장치가 전송하는 동영상을 수신하여 그로부터 파라미터를 추출하고 이 파라미터를 부호화하여 송신장치로 전송하며, 송신장치는 이 파라미터를 사용하여 수신장치에서의 동영상 화질을 모니터링 할 수 있다.
디지털 통신에서는 전송 시 오류발생여부를 알 수 있는 경우가 많이 있다. 디지털 통신에서 발생할 수 있는 에러에는, 패킷 손실, 비트 에러, 시간 지연, 지터(jitter) 등이 있다. 만일 전송 과정에 에러가 없다면, 수신측에서의 수신 압축동영상의 화질은 송신측의 송신 압축동영상의 화질과 동일할 것이다. 또한, 송신측에서도, 수신측로부터 오류가 발생하지 않았음을 통지 받으면, 수신측의 수신 압축동영상의 화질이 송신측에서 전송한 송신 압축동영상의 품질과 동일하다는 것을 알 수 있다.
이와 같은 디지털통신에서는, 수신측은 오류발생 시에만 발생한 오류가 영향을 미치는 동영상 부분에 대한 특징 파라미터를 추출하여 송신측에 전송함으로 네트워크의 대역폭을 효율적으로 사용할 수 있다.
패킷단위로 데이터를 전송할 경우, 오류 발생 시 많은 경우 오류 정정은 불가능하지만 패리티 등의 정보를 이용하여 오류발생여부는 알 수 있다. 이러한 경우, 오류가 발생한 패킷 전부를 송신측에 전송함으로 송신측에서는 수신측의 화질모니터링을 정확하게 수행할 수 있다.
즉 송신측에서는 수신측에서 전송한 오류를 포함한 패킷을 사용하여 수신측의 동영상을 정확하게 재구성할 수 있다. 송신측에서는 재구성된 수신측의 동영상과 기준동영상을 사용하여 수신측의 동영상 화질을 모니터링할 수 있다. 필요할 경우 수신측을 제반 오류정보(패킷 손실, 비트 에러, 시간 지연, 지터 등)의 정보도 송신측으로 보낼 수 있다.
화질평가에 사용되는 데이터에는 오류가 발생하지 말아야 함으로 특수한 부호화기법을 사용하여 전송하는 것도 가능하다. 또한 부호화된 경계동영상 데이터와 동영상데이터에 동시에 오류가 발생하는 것은 피하여야 한다. 따라서 부호화된 경계동영상 데이터와 동영상데이터는 다른 채널을 사용하여 전송하는 것이 바람직하다. 예로 서로 다른 패킷을 사용하여 전송할 수 있고, 시간차를 두어 전송할 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상에서 상세히 설명한 바와 같이, 본 발명에 따른 동영상 화질 평가 시스템 및 방법에 의하면, 화질평가의 기준이 될 수 있는 기준동영상에서 화질평가를 위한 특징 파라미터를 추출하고, 추출된 파라미터를 압축동영상과 함께 전송함으로써 수신장치는 수신되는 동영상을 상기 특징 파라미터를 통하여 화질평가를 수행할 수 있고, 수신장치는 화질평가 결과를 송신장치로 전송함으로써 송신장치는 수신측 의 동영상 화질을 판단할 수 있다.

Claims (34)

  1. 동영상의 화질을 평가하기 위한 시스템으로서,
    송신하고자 하는 동영상의 기준동영상으로부터 경계영역을 추출하여 경계동영상을 생성하고, 생성된 경계동영상을 부호화하여 부호화된 경계동영상 데이터 및 압축동영상을 네트워크를 통하여 송신하는 동영상 송신장치와;
    상기 네트워크를 통해 상기 압축동영상 및 경계동영상 데이터를 수신하면, 수신한 압축동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하고, 상기 자승평균오차에 대한 최대신호대잡음비를 산출함으로써 수신동영상의 화질평가를 수행하며, 그 결과를 상기 네트워크를 통하여 상기 동영상 송신장치로 전송하는 동영상 수신장치;
    를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.
  2. 제 1 항에 있어서
    상기 동영상 송신장치는,
    기준동영상을 입력하기 위한 영상입력부와, 상기 영상입력부로 입력되는 상기 기준동영상의 경계영역을 추출하기 위한 경계영역 추출부와, 상기 경계영역 추출부의 출력과 상기 기준동영상을 입력으로 하여 경계동영상을 생성하는 경계동영상 생성부와, 상기 경계동영상 생성부에서 생성된 경계동영상을 부호화하는 부호화부 및 부호화된 경계동영상 데이터와 압축동영상을 상기 네트워크를 통해 상기 동영상 수신장치로 송신하는 통신부를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.
  3. 제 2 항에 있어서,
    상기 영상입력부는 외부 장치로부터 동영상을 입력받는 입력장치 또는 동영상이 미리 저장된 저장장치 중 어느 하나인 것을 특징으로 하는 동영상 화질 평가시스템.
  4. 제 2 항에 있어서,
    상기 경계영역추출부는, 입력되는 동영상의 영상에 구배 연산에 의한 경계영역 추출알고리즘을 적용하여 경계영역을 추출하는 것을 특징으로 하는 동영상 화질 평가시스템.
  5. 제 2 항에 있어서,
    상기 화질평가 시스템은,
    상기 경계영역 추출부 출력영상의 화소 값이 미리 설정된 문턱 값 이하인 화소는 비경계영역소정값으로 설정하고 문턱 값 이상인 화소는 상기 비경계영역소정값이 아닌 값으로 설정하여 마스크 동영상을 생성하고, 상기 마스크 동영상을 상기 경계동영상 생성부로 전달하는 마스크 영상 생성부를 더 포함하고,
    상기 경계동영상 생성부는, 상기 마스크 영상 생성부의 출력과 기준동영상을 입력으로 하여 경계동영상을 생성하는 것을 특징으로 하는 동영상 화질평가 시스템.
  6. 제 5 항에 있어서,
    상기 마스크 영상 생성부는 상기 문턱값을 조절하여 출력영상의 화소수를 제 어하는 것을 특징으로 하는 동영상 화질평가 시스템.
  7. 제 2 항에 있어서,
    상기 경계동영상 생성부는, 경계영역에 해당하는 화소에는 상기 기준동영상의 화소값을 치환하고 경계영역이 아니 화소는 비경계영역소정값을 치환하여 경계동영상을 생성하는 것을 특징으로 하는 동영상 화질평가 시스템.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 동영상 수신장치는,
    상기 네트워크를 통하여 부호화된 경계동영상 데이터 및 압축동영상 데이터을 수신하는 통신부와, 상기 통신부에서 수신된 데이터를 복호화하여 수신동영상과 경계동영상을 생성하는 복호화부와, 상기 복호화부에서 복호화되어 출력되는 수신동영상 및 경계동영상을 시공간상에서 정합하는 정합부와, 정합된 상기 수신동영상과 상기 경계동영상을 이용하여 수신한 압축동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하고, 상기 자승평균오차에 대한 최대신호대잡음비를 산출함으로써 수신동영상의 화질을 평가하고, 그 결과를 상기 통신부를 통해 상기 동영상 송신장치로 전송하는 화질평가부를 포함하는 것을 특징으로 하는 동영상 화질평가시스템.
  10. 동영상의 화질을 평가하기 위한 시스템으로서,
    네트워크를 통해 수신된 동영상 데이터로부터 경계영역을 추출하여 경계동영상을 생성하고, 생성된 경계동영상을 부호화하여 부호화된 경계동영상 데이터를 송신측으로 송신하는 동영상 수신장치와;
    상기 동영상 수신장치가 전송하는 부호화된 경계동영상 데이터를 사용하여, 기준동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하고, 상기 자승평균오차에 대한 최대신호대잡음비를 산출함으로써 수신동영상의 화질을 평가하는 동영상송신장치;
    를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.
  11. 제 10 항에 있어서,
    상기 동영상 수신장치는,
    수신된 동영상으로부터 기준동영상의 경계영역을 추출하기 위한 경계영역 추출부와, 상기 경계영역 추출부의 출력과 상기 기준동영상으로부터 경계동영상을 생성하는 경계동영상 생성부와, 상기 경계동영상 생성부에서 생성된 경계동영상을 부호화하는 부호화부 및 부호화된 경계동영상 데이터를 상기 네트워크를 통해 상기 동영상 송신장치로 송신하는 통신부를 포함하는 것을 특징으로 하는 동영상 화질평가 시스템.
  12. 제 10 항에 있어서,
    상기 동영상 수신장치는 상기 수신된 동영상 데이터에 오류가 있을 경우에만 해당 부분의 부호화된 경계동영상 데이터를 생성하여 동영상 송신장치로 전송하는 것을 특징으로 하는 동영상 화질평가 시스템.
  13. 삭제
  14. 네트워크를 통하여 동영상 송신장치로부터 압축동영상 데이터와, 경계동영상 데이터를 수신하여 화질 평가를 수행하는 동영상 수신장치로서,
    상기 동영상 수신장치는,
    상기 네트워크를 통하여 부호화된 경계동영상 데이터 및 압축동영상 데이터을 수신하는 통신부와;
    상기 통신부에서 수신된 데이터를 복호화하여 수신동영상과 경계동영상을 생성하는 복호화부와;
    상기 수신동영상과 상기 경계동영상을 이용하여 수신한 압축동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하고, 상기 자승평균오차에 대한 최대신호대잡음비를 산출함으로써 수신동영상의 화질을 평가하고, 그 결과를 상기 통신부를 통해 상기 동영상 송신장치로 전송하는 화질평가부;
    로 이루어진 것을 특징으로 하는 동영상 수신장치.
  15. 제 14 항에 있어서,
    상기 동영상 수신장치는,
    상기 복호화부에서 복호화되어 출력되는 수신동영상 및 경계동영상을 시공간상에서 정합하고, 정합된 상기 수신동영상 및 경계동영상을 상기 화질평가부로 전달하는 정합부; 를 더 포함하고,
    상기 화질평가부는 상기 시공간상에서 정합된 수신동영상 및 경계동영상을 이용하여 화질을 평가하는 것을 특징으로 하는 동영상 수신장치.
  16. 삭제
  17. 동영상 수신장치에서의 화질 평가가 가능하도록 하는 동영상 송신장치에 있어서,
    상기 동영상 송신장치는,
    상기 동영상 수신장치로 전송할 동영상에 대한 기준동영상의 경계영역을 추출하기 위한 경계영역 추출부와;
    상기 경계영역추출부의 출력과 상기 기준동영상을 입력으로 하여 경계동영상을 생성하는 경계동영상 생성부와;
    상기 기준동영상과 경계동영상 생성부에서 생성된 경계동영상을 부호화하는 부호화부; 및
    상기 부호화된 경계동영상 데이터를 이용하여 상기 동영상 수신장치에서 수신한 동영상의 화질을 평가할 수 있도록, 상기 부호화된 경계동영상 데이터와 압축동영상을 상기 네트워크를 통해 상기 동영상 수신장치로 송신하는 통신부;
    를 포함하는 것을 특징으로 하는 동영상 송신장치.
  18. 삭제
  19. 동영상 송신장치가 동영상 수신장치의 수신 동영상 데이터에서 생성된 경계동영상 데이터를 이용하여 상기 동영상 수신장치의 수신 동영상에 대한 화질을 평가할 수 있도록 하기 위한 동영상 수신장치로서,
    네트워크를 통해 상기 동영상 송신장치로부터 수신된 동영상 데이터로부터 경계영역을 추출하기 위한 경계영역 추출부와;
    상기 경계영역 추출부의 출력과 상기 수신 동영상으로부터 경계동영상을 생성하는 경계동영상 생성부와;
    상기 경계동영상 생성부에서 생성된 경계동영상을 부호화하는 부호화부; 및
    부호화된 경계동영상 데이터를 상기 네트워크를 통해 상기 동영상 송신장치로 송신하는 통신부;
    로 이루어진 것을 특징으로 하는 동영상 수신장치.
  20. 네트워크를 통하여 동영상 데이터를 수신한 동영상 수신장치로부터 상기 동영상 데이터에서 생성된 경계동영상 데이터를 수신하여 상기 동영상 수신장치의 수신 동영상에 대한 화질을 평가하기 위한 동영상 송신장치로서,
    상기 동영상 송신장치는,
    상기 동영상 수신장치가 전송하는 부호화된 경계동영상 데이터를 사용하여, 기준동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하고, 상기 자승평균오차에 대한 최대신호대잡음비를 산출함으로써 수신동영상의 화질을 평가하는 것을 특징으로 하는 동영상 송신장치.
  21. 삭제
  22. 네트워크를 통하여 동영상 송신장치로부터 압축동영상 데이터와, 경계동영상 데이터를 수신하여 화질 평가를 수행하는 동영상 수신장치에서의 동영상 화질평가 방법으로서,
    상기 동영상 송신장치로부터 상기 네트워크를 통하여 부호화된 경계동영상 데이터 및 압축동영상 데이터가 수신되면, 수신된 데이터를 복호화하여 수신동영상과 경계동영상을 생성하는 제 1 단계와;
    상기 수신동영상과 상기 경계동영상을 이용하여 수신한 압축동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하는 제 2 단계와;
    상기 자승평균오차에 대한 최대신호대잡음비를 상기 수신동영상의 화질평가 결과로서 산출하는 제 3 단계;
    로 이루어진 것을 특징으로 하는 동영상 화질평가 방법.
  23. 제 22 항에 있어서,
    상기 제 3 단계 이후,
    상기 3 단계에서의 화질평가 결과를 상기 동영상 송신장치로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  24. 제 22 항에 있어서,
    상기 자승평균오차를 산출하는 단계는,
    상기 동영상 시퀀스의 영상과 경계 동영상 시퀀스 영상 사이의 경계영역들의 화소에 대한 차이를 산출하는 단계; 및 상기 산출 결과에 대한 전체 프레임의 합을 산출하고 상기 전체 합을 경계영역의 화소수로 나누는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  25. 삭제
  26. 삭제
  27. 제 22 항에 있어서,
    상기 제1단계 이전에,
    송신측에서 기준동영상 시퀀스의 각 영상에 경계영역 추출 알고리즘을 적용하여 경계영역을 추출하는 단계;
    상기 추출 결과 및 상기 기준동영상 시퀀스를 통하여 경계 동영상을 생성하는 단계; 및
    상기 경계동영상을 부호화하여 네트워크를 통하여 상기 수신측으로 데이터를 송신하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  28. 제 27 항에 있어서,
    상기 경계영역을 추출하는 단계는, 상기 기준동영상에 수직 구배 연산 및 수평구배 연산을 각각 수행하고, 각각의 결과에 절대값 연산을 수행하여 경계영역을 추출하는 단계임을 특징으로 하는 동영상 화질평가방법.
  29. 제 27 항에 있어서,
    상기 경계영역을 추출하는 단계는, 상기 기준동영상에 수직 구배 연산 및 수평구배 연산을 순차적으로 수행하여 경계영역을 추출하는 단계임을 특징으로 하는 동영상 화질 평가 방법.
  30. 제 22 항에 있어서,
    상기 제 1 단계 이후, 제 2 단계 이전에,
    상기 수신한 동영상의 시퀀스와 경계동영상 시퀀스 사이에 정합이 필요한 경우, 상기 수신한 동영상의 시퀀스와 경계동영상 시퀀스를 시공간상에서 정합하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 화질 평가 방법.
  31. 동영상 화질평가방법에 있어서,
    동영상 수신장치가 네트워크를 통해 동영상 송신장치로부터 수신된 동영상 데이터로부터 경계영역을 추출하여 경계동영상을 생성하고, 생성된 경계동영상을 부호화하여 부호화된 경계동영상 데이터를 송신측으로 송신하는 제 1 단계와;
    동영상 송신장치가 상기 동영상 수신장치로부터 수신되는 부호화된 경계동영상 데이터를 사용하여, 기준동영상의 시퀀스와 경계동영상 시퀀스 사이의 경계 영역들의 화소에 대한 자승평균오차를 산출하고, 상기 자승평균오차에 대한 최대신호대잡음비를 산출함으로써 수신동영상의 화질을 평가하는 제 2 단계;
    를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.
  32. 제 31 항에 있어서,
    상기 1 단계에서,
    상기 동영상 수신장치는 상기 수신된 동영상 데이터에 오류가 있는지의 여부를 판단하고, 판단 결과 상기 동영상 데이터에 오류가 있다고 판단될 경우에만 수신된 동영상 데이터로부터 경계영역을 추출하여 경계동영상을 생성하고, 생성된 경계동영상을 부호화하여 부호화된 경계동영상 데이터를 송신측으로 송신하는 것을 특징으로 하는 동영상 화질평가 방법.
  33. 삭제
  34. 동영상 수신장치가 동영상 송신장치로부터 수신한 수신 동영상의 화질을 평가할 수 있도록 하는 방법으로서,
    동영상 송신장치가 상기 동영상 수신장치로 전송할 동영상에 대한 기준동영상의 경계영역을 추출하는 단계와;
    상기 추출된 경계영역 및 상기 기준동영상을 이용하여 경계동영상을 생성하는 단계와;
    상기 기준동영상과 상기 생성된 경계동영상을 부호화하는 단계와;
    상기 동영상 수신장치가 상기 부호화된 경계동영상 데이터를 이용하여 수신 동영상의 화질을 평가할 수 있도록, 상기 부호화된 경계동영상 데이터와 기준동영상이 부호화된 압축동영상을 상기 네트워크를 통해 상기 동영상 수신장치로 송신하는 단계;
    를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.
KR1020040030686A 2004-04-30 2004-04-30 동영상 화질 평가시스템 및 방법 KR100612691B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040030686A KR100612691B1 (ko) 2004-04-30 2004-04-30 동영상 화질 평가시스템 및 방법
US11/112,500 US8031770B2 (en) 2004-04-30 2005-04-22 Systems and methods for objective video quality measurements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040030686A KR100612691B1 (ko) 2004-04-30 2004-04-30 동영상 화질 평가시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20050105630A KR20050105630A (ko) 2005-11-04
KR100612691B1 true KR100612691B1 (ko) 2006-08-16

Family

ID=35187078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040030686A KR100612691B1 (ko) 2004-04-30 2004-04-30 동영상 화질 평가시스템 및 방법

Country Status (2)

Country Link
US (1) US8031770B2 (ko)
KR (1) KR100612691B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896676B1 (ko) 2007-08-08 2009-05-14 주식회사 이노와이어리스 영상전화의 화질 측정 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100646233B1 (ko) * 2005-05-30 2006-11-23 연세대학교 산학협력단 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
KR100933284B1 (ko) * 2008-04-14 2009-12-22 연세대학교 산학협력단 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
EP2114080A1 (en) * 2008-04-30 2009-11-04 Thomson Licensing Method for assessing the quality of a distorted version of a frame sequence
US20100080286A1 (en) * 2008-07-22 2010-04-01 Sunghoon Hong Compression-aware, video pre-processor working with standard video decompressors
KR101024384B1 (ko) * 2009-02-27 2011-03-23 연세대학교 산학협력단 동영상 화질평가 방법 및 시스템
KR101316699B1 (ko) * 2009-11-24 2013-10-10 연세대학교 산학협력단 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
US8619588B2 (en) * 2010-04-07 2013-12-31 Avaya Inc. System and method for predicting video transmission quality through a network
WO2012004924A1 (ja) * 2010-07-05 2012-01-12 三菱電機株式会社 映像品質管理システム
KR101471010B1 (ko) * 2010-08-30 2014-12-10 연세대학교 산학협력단 동영상 화질평가 방법 및 시스템
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
KR101846449B1 (ko) 2011-06-21 2018-04-09 톰슨 라이센싱 사용자 단말 디바이스, 서버 디바이스, 매체 데이터의 품질을 평가하기 위한 시스템 및 방법
TWI497981B (zh) * 2012-12-03 2015-08-21 Arcadyan Technology Corp 影像訊號測試方法與裝置
KR101416265B1 (ko) * 2013-02-28 2014-07-09 연세대학교 산학협력단 하이브리드 방식 기반 영상의 화질을 평가하기 위한 장치 및 그 방법
CN103533367B (zh) * 2013-10-23 2015-08-19 传线网络科技（上海）有限公司 一种无参考视频质量评价方法及装置
CN104978917B (zh) * 2015-07-20 2017-12-12 武汉精测电子技术股份有限公司 Dp视频信号自动测试方法和装置
KR101846386B1 (ko) * 2017-08-02 2018-04-06 주식회사 비바엔에스 모바일 영상통화 품질측정 방법 및 시스템
CN111656785A (zh) * 2019-06-28 2020-09-11 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
CN111726554B (zh) * 2020-06-30 2022-10-14 阿波罗智能技术(北京)有限公司 图像处理方法、装置、设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4509075A (en) * 1981-06-15 1985-04-02 Oxbridge, Inc. Automatic optical inspection apparatus
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
KR100304660B1 (ko) * 1995-09-22 2001-11-22 윤종용 누적에러처리를통한비디오신호부호화방법및부호화기
US5790269A (en) * 1995-12-12 1998-08-04 Massachusetts Institute Of Technology Method and apparatus for compressing and decompressing a video image
DE69803830T2 (de) * 1998-03-02 2002-09-12 Koninkl Kpn Nv Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung
US6898319B1 (en) * 1998-09-11 2005-05-24 Intel Corporation Method and system for video frame enhancement using edge detection
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel
KR100580158B1 (ko) * 1999-06-12 2006-05-15 삼성전자주식회사 화상 패킷 전송을 위한 무선통신 시스템
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
US20040117427A1 (en) * 2001-03-16 2004-06-17 Anystream, Inc. System and method for distributing streaming media
US7020093B2 (en) * 2001-05-30 2006-03-28 Intel Corporation Delivery of streaming media
WO2003049353A1 (en) * 2001-12-05 2003-06-12 Qualcomm, Incorporated System and method for adjusting quality of service in a communication system
JP3844445B2 (ja) 2002-04-19 2006-11-15 日本電信電話株式会社 映像コンテンツ配信方法、装置、および映像コンテンツ配信プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896676B1 (ko) 2007-08-08 2009-05-14 주식회사 이노와이어리스 영상전화의 화질 측정 방법

Also Published As

Publication number Publication date
US20050243910A1 (en) 2005-11-03
KR20050105630A (ko) 2005-11-04
US8031770B2 (en) 2011-10-04

Similar Documents

Publication Publication Date Title
KR100612691B1 (ko) 동영상 화질 평가시스템 및 방법
Hameed et al. A decision-tree-based perceptual video quality prediction model and its application in FEC for wireless multimedia communications
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
KR101601788B1 (ko) 비디오 시퀀스들에서 인지 품질 평가를 위한 장면 변경 검출
CN101267563B (zh) 自适应可变长度编码
EP2347599B1 (en) Method and system for determining a quality value of a video stream
KR100646233B1 (ko) 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
JP6328637B2 (ja) ビデオストリーミングサービスのためのコンテンツ依存型ビデオ品質モデル
KR101783071B1 (ko) 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치
US20160373762A1 (en) Methods of and arrangements for processing an encoded bit stream
WO2008047865A1 (fr) Procédé, système et programme d&#39;évaluation de qualité d&#39;image
US20130028325A1 (en) Method and device for error concealment in motion estimation of video data
EP2736261A1 (en) Method For Assessing The Quality Of A Video Stream
US6755531B2 (en) Motion picture code evaluator and billing system
CN101296166B (zh) 基于索引的多媒体数据的测量方法
US7702994B2 (en) Method of determining a corruption indication of a sequence of encoded data frames
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
Usman et al. Exploiting the spatio-temporal attributes of HD videos: A bandwidth efficient approach
Carreira et al. Error concealment-aware encoding for robust video transmission
EP1555788A1 (en) Method for improving the quality of an encoded video bit stream transmitted over a wireless link, and corresponding receiver
JP2009171023A (ja) 画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末
US20120213283A1 (en) Method of decoding a sequence of encoded digital images
JPWO2008123126A1 (ja) 画質評価システム、方法およびプログラム
Zhao et al. MATHEMATICAL MODELS FOR QUALITY ANALYSIS OF MOBILE VIDEO.
Hameed et al. Predicting the perceptual quality of networked video through light-weight bitstream analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120720

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130717

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140725

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150723

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160802

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 13