KR101600284B1 - 영상 품질 측정 방법 - Google Patents

영상 품질 측정 방법 Download PDF

Info

Publication number
KR101600284B1
KR101600284B1 KR1020140140900A KR20140140900A KR101600284B1 KR 101600284 B1 KR101600284 B1 KR 101600284B1 KR 1020140140900 A KR1020140140900 A KR 1020140140900A KR 20140140900 A KR20140140900 A KR 20140140900A KR 101600284 B1 KR101600284 B1 KR 101600284B1
Authority
KR
South Korea
Prior art keywords
caption
frame
calculating
reception
frames
Prior art date
Application number
KR1020140140900A
Other languages
English (en)
Inventor
정진섭
하경민
최진혁
김도훈
성태현
박만조
Original Assignee
주식회사 이노와이어리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이노와이어리스 filed Critical 주식회사 이노와이어리스
Priority to KR1020140140900A priority Critical patent/KR101600284B1/ko
Application granted granted Critical
Publication of KR101600284B1 publication Critical patent/KR101600284B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/65Purpose and implementation aspects
    • H03M13/6522Intended application, e.g. transmission or communication standard
    • H03M13/6547TCP, UDP, IP and associated protocols, e.g. RTP

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 참조 영상이 네트워크를 통해 전송되거나 영상 기기를 통해 재생되는 과정에서 열화되는 정도를 신속하면서도 간단하게 측정할 수 있도록 한 영상 품질 측정 방법에 관한 것이다.
본 발명의 영상 품질 측정 방법은 캡션이 삽입되고, 복수의 프레임으로 이루어진 참조 영상 데이터를 수신하여 저장하는 (a) 단계; 상기 (a) 단계에서 저장된 전체 영상 데이터의 최초 수신 시점부터 최종 수신 시점까지의 시간을 계산하여 전체 딜레이를 계산하거나 각 프레임의 영상 데이터의 최초 수신 시점부터 최종 수신 시점까지의 시간을 계산하여 각 프레임간 딜레이를 계산하는 (b) 단계; 각 프레임에 삽입된 캡션을 인식한 후에 모든 프레임에 대한 캡션 인식 성공률을 계산하는 (c) 단계 및 상기 전체 딜레이 시간과 상기 각 프레임간 딜레이 시간 중 적어도 하나 및 상기 캡션 인식 성공률에 의거하여 MOS(Mean Opinion Score)를 계산하는 (d) 단계를 포함하여 이루어진다.
전술한 구성에서, 상기 (a) 단계에서 상기 참조 영상 데이터는 RTP 패킷으로 수신되는 것을 특징으로 한다.
동일 프레임에 속한 상기 RTP 패킷에는 동일한 타임스탬프가 부여되고, 각각의 상기 프레임간 딜레이는 동일 타임스탬프를 갖는 모든 RTP 패킷의 수신 소요 시간으로부터 참조 영상의 프레임의 길이를 감하여 구해지는 것을 특징으로 한다.
상기 캡션은 2 이상의 숫자, 문자 또는 그 조합을 이루어지는 것을 특징으로 한다.
상기 캡션은 광학문자인식 프로그램에 의해 인식되는 것을 특징으로 한다.

Description

영상 품질 측정 방법{method for measuring video quality}
본 발명은 영상 품질 측정 방법에 관한 것으로, 특히 참조 영상이 네트워크를 통해 전송되거나 영상 기기를 통해 재생되는 과정에서 열화되는 정도를 신속하면서도 간단하게 측정할 수 있도록 한 영상 품질 측정 방법에 관한 것이다.
잘 알려진 바와 같이, PEVQ(Perceptual Evaluation of Video Quality)는 5점 척도인 MOS(mean opinion score)에 의해 개인간(E2E(End to End))에 전송되는 영상의 품질을 측정하는 표준화된 측정 방법이다. 이러한 PEVQ 알고리즘은 유/무선 네트워크를 경유한 재생 영상과 참조 영상(원본 영상)(reference video)을 픽셀마다 비교하여 그 열화 여부를 측정한 후에 그 결과를 아래의 표 1과 같은 5점 척도인 MOS로 나타낸다.
Figure 112014099206779-pat00001
이와 같이 PEVQ 알고리즘은 프레임 단위로 영상 품질을 측정하는 방식으로서, 일시적 활성(Temporal Activity), Spatial Activity(공간적 활성), 명도(Brightness), 콘트라스트(Contrast), PSNR(Peak Signal to Noise Ratio), 프레임 프리즈(Frame Freeze), 프레임 스킵(Frame Skip), 저크니스(Jerkiness) 및 블러(Blur) 등의 매우 많은 파라미터를 고려하여 MOS를 계산하기 때문에 계산 시간과 CPU 부하의 부담이 크다.
한편, 근래들어 영상 처리 및 통신 기술의 발전에 따라 기존의 SD(Standard Definition)급 영상보다 훨씬 선명한 HD(High Definition)급 또는 풀 HD급 영상이 서비스되고 있는바, SD급 영상이 720*480의 해상도를 갖는 반면에 HD급 영상은 1,280*720의 해상도를 가지며, 풀 HD급 영상은 1,920*1,080의 해상도를 갖는다.
따라서, SD급 영상에 대해 PEVQ 알고리즘을 사용하여 품질을 측정하는 것에 비해 HD급 또는 풀 HD급 영상에 대해 PEVQ 알고리즘을 사용하여 품질을 측정하는 경우에 훨씬 많은 시간이 소요된다. 예를 들어, 초당 50 프레임의 8초짜리 HD급 참조 영상을 사용하여 PEVQ 알고리즘에 의해 그 품질을 측정하는 경우에 대략 231초 정도의 많은 시간이 소요될 뿐만 아니라 100%에 가까운 CPU 부하를 소모하는 문제점이 있었다.
* 10-0824264호 등록특허공보(발명의 명칭: 통신망을 거친 영상에 대한 품질측정장치 및 방법) * 10-0938034호 등록특허공보(발명의 명칭: V o I P 용 적응성 디-지터 버퍼) * 10-2014-0001199호 공개특허공보(발명의 명칭 : 전송 체인을 통한 오디오 및 비디오 비트 스트림 전송들의 품질 측정 방법 및 시스템)
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 참조 영상이 네트워크를 통해 전송되거나 영상 기기를 통해 재생되는 과정에서 열화되는 정도를 신속하면서도 간단하게 측정할 수 있도록 한 영상 품질 측정 방법을 제공함을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 영상 품질 측정 방법은 캡션이 삽입되고, 복수의 프레임으로 이루어진 참조 영상 데이터를 수신하여 저장하는 (a) 단계; 상기 (a) 단계에서 저장된 전체 영상 데이터의 최초 수신 시점부터 최종 수신 시점까지의 시간을 계산하여 전체 딜레이를 계산하거나 각 프레임의 영상 데이터의 최초 수신 시점부터 최종 수신 시점까지의 시간을 계산하여 각 프레임간 딜레이를 계산하는 (b) 단계; 각 프레임에 삽입된 캡션을 인식한 후에 모든 프레임에 대한 캡션 인식 성공률을 계산하는 (c) 단계 및 상기 전체 딜레이 시간과 상기 각 프레임간 딜레이 시간 중 적어도 하나 및 상기 캡션 인식 성공률에 의거하여 MOS(Mean Opinion Score)를 계산하는 (d) 단계를 포함하여 이루어진다.
전술한 구성에서, 상기 (a) 단계에서 상기 참조 영상 데이터는 RTP 패킷으로 수신되는 것을 특징으로 한다.
동일 프레임에 속한 상기 RTP 패킷에는 동일한 타임스탬프가 부여되고, 각각의 상기 프레임간 딜레이는 동일 타임스탬프를 갖는 모든 RTP 패킷의 수신 소요 시간으로부터 참조 영상의 프레임의 길이를 감하여 구해지는 것을 특징으로 한다.
상기 캡션은 2 이상의 숫자, 문자 또는 그 조합을 이루어지는 것을 특징으로 한다.
상기 캡션은 광학문자인식 프로그램에 의해 인식되는 것을 특징으로 한다.
본 발명의 영상 품질 측정 방법에 따르면, 전체 딜레이와 프레임간 딜레이 및 참조 영상의 일부에 포함되어 있는 샘플 이미지의 인식 여부에 의해 영상의 품질을 측정함으로써 참조 영상이 네트워크를 통해 전송되거나 영상 기기를 통해 재생되는 과정에서 열화되는 정도를 신속하면서도 간단하게 측정할 수 있을 뿐만 아니라 종래에 비해 CPU의 이용률을 현저하게 감소시킬 수가 있다.
도 1은 본 발명의 영상 품질 측정 방법에서 적소에 타이머 캡션이 삽입된 참조 영상의 한 프레임의 예시 사진.
도 2는 본 발명의 영상 품질 측정 방법을 설명하기 위한 흐름도.
도 3은 본 발명의 영상 품질 측정 방법에서 수신단에 저장된 각종 영상 데이터를 예시적으로 보인 표.
이하에는 첨부한 도면을 참조하여 본 발명의 영상 품질 측정 방법의 바람직한 실시예에 대해 상세하게 설명한다.
본 발명의 영상 품질 측정 방법에 따르면, 먼저 참조 영상을 준비, 예를 들어 초당 50 프레임으로 이루어진 8초 분량의 참조 영상을 준비하는데, 이러한 참조 영상은 HD급이나 풀 HD급인 바람직하고, 경우에 따라서는 그 이상 또는 그 이하 등급의 동영상이 될 수 있다.
다음으로, 이렇게 준비된 참조 영상의 각 프레임에 타이머 캡션을 삽입, 바람직하게는 각 프레임마다 1씩 증가하는 숫자를 캡션으로 삽입하는데, 향후 수신단에서 이를 적은 계산량에 의해 용이하게 인식할 수 있도록 미리 약속된 위치, 예를 들어 해당 프레임 이미지의 좌하단 또는 중앙 부위 등에 삽입할 수 있다. 캡션 이미지의 크기는 참조 영상의 해상도가 1280*720인 경우에 그 1/10 크기인 128*72가 될 수 있고, 예를 들어 좌하단을 X-Y 좌표의 원점으로 하는 경우에, X축으로 50~177, Y축으로 50~121의 범위로 정해질 수 있을 것이다. 타이머 캡션의 경우에도 단단위 부터 시작하는 것이 아니라 만단위 또는 그 이상의 숫자에서 시작할 수 있을 것이다.
도 1은 본 발명의 영상 품질 측정 방법에서 적소에 타이머 캡션이 삽입된 참조 영상의 한 프레임의 예시 사진이다.
도 2는 본 발명의 영상 품질 측정 방법을 설명하기 위한 흐름도인바, 수신단 기기, 예를 들어 MOS 측정 장비의 CPU에 의해 수행될 수 있을 것이다.
전술한 바와 같이 캡션 이미지가 삽입된 참조 영상이 준비되면 송신측 서버에서는 이렇게 준비된 참조 영상을 유/무선 통신망을 경유하여 수신단 기기로 송신하는데, 이에 따라 수신단은 단계 S10에서 참조 영상을 수신하여 메모리에 저장한다.
도 3은 본 발명의 영상 품질 측정 방법에서 수신단에 저장된 각종 영상 데이터를 예시적으로 보인 표이다. 도 3에서 알 수 있는 바와 같이, 수신단에 저장된 참조 영상 데이터에는 송신에 사용된 프로토콜 정보, 예를 들어 RTP(Real Time transport Protocol), 출발지(Source) IP 주소와 목적지(Destination) IP 주소, 각 RTP 패킷의 수신 시각, 패킷 사이즈, 일련 번호(Seq) 및 타임스탬프(time) 정보가 포함되어 있다.
여기에서, 한 프레임은 복수의 RTP 패킷으로 이루어질 수 있는데, 동일 프레임의 모든 RTP 패킷에는 동일한 타임스탬프가 부여되기 때문에 수신단에서는 이를 통해 한 프레임 분량의 영상 데이터를 획득할 수가 있을 뿐만 아니라 해당 프레임의 데이터가 모두 수신되기까지의 시간을 계산할 수가 있다. 도 3에 따르면, "1767250259"의 타임스탬프가 부여된 일련 번호(Seq) 7701~7711의 RTP 패킷이 동일 프레임에 속한 영상 데이터(RTP 패킷)임을 알 수 있을 뿐만 아니라 해당 영상 데이터를 수신하기까지 총 0.01982초(=0.301723-0.299741)가 소요되었음을 알 수 있다.
다시 도 2로 돌아가서, 단계 S20에서 수신단은 전체 딜레이 및 프레임간 딜레이를 계산한다. 즉, 수신단은 송신단으로부터 송신된, 최초의 RTP 패킷이 수신된 시점부터 마지막 프레임의 마지막 RTP 패킷이 수신된 시점까지의 시간을 계산한 후에 여기에서 전체 참조 영상의 길이, 예를 들어 8초를 빼서 전체 딜레이를 계산할 수 있다.
마찬가지 방법으로 한 프레임의 영상 데이터가 모두 수신되기까지의 시간을 계산, 즉 동일 타임스탬프를 갖는 최초의 RTP 패킷의 수신 시점부터 마지막 RTP 패킷의 수신 시점까지의 시간을 계산하고, 여기에서 참조 영상의 한 프레임의 길이를 빼서 각 프레임의 수신 딜레이를 계산할 수 있다.
다시 도 2로 돌아가서, 단계 S30에서는 참조 영상의 각 프레임의 특정 위치의 영상 데이터를 분석, 예를 들어 해당 영상 데이터를 광학문자인식((Optical Character Recognition) 프로그램을 이용하여 분석함으로써 당해 프레임에 부여된 타이머 캡션을 인식한다.
다음으로, 단계 S40에서는 모든 프레임에 대한 타이머 캡션의 인식이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S30으로 복귀하는 반면에 완료된 경우에는 단계 S50으로 진행하여 타이머 캡션의 인식 성공률을 계산한다. 타이머 캡션의 인식 성공 여부는, 예를 들어 타이머 캡션을 일련 번호 순서로 부여함으로써 손쉽게 확인될 수 있다.
마지막으로 단계 S60에서는 단계 S20에서 계산된 전체 딜레이 시간과 각 프레임간 딜레이 시간 및 타이머 캡션 인식 성공률을 종합적으로 판단하여 MOS를 측정한다.
이상, 첨부한 도면을 참조하여 본 발명의 영상 품질 측정 방법의 바람직한 실시예에 대하여 상세히 설명하였으나 이는 예시에 불과한 것이며, 본 발명의 기술적 사상의 범주 내에서 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 권리범위는 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다. 예를 들어, 숫자만으로 이루어진 타이머 캡션 대신에 2개 이상으로 이루어진 특정 문자나 숫자의 조합으로 이루어진 캡션을 사용할 수도 있을 것이다.
타이머 캡션의 경우에는 예를 들어 두 프레임 또는 그 이상의 프레임당 1개의 타이머 캡션이 삽입되는 방식 등으로 삽입될 수도 있을 것이다. 나아가, 단계 S50에서 MOS를 계산함에 있어서는 전체 딜레이 또는 각 프레임간 딜레이만을 사용할 수도 있을 것이다.

Claims (5)

  1. 각 영상 프레임의 전체 영역 중 미리 약속된 일부 영역에 미리 약속된 방식에 따라 변화되는 캡션이 삽입되는, 복수의 프레임으로 이루어진 참조 영상 데이터를 수신하여 저장하는 (a) 단계;
    상기 (a) 단계에서 저장된 전체 영상 데이터의 최초 수신 시점부터 최종 수신 시점까지의 시간을 계산하여 전체 딜레이를 계산하거나 각 프레임의 영상 데이터의 최초 수신 시점부터 최종 수신 시점까지의 시간을 계산하여 각 프레임간 딜레이를 계산하는 (b) 단계;
    각 프레임에 삽입된 캡션을 인식한 후에 모든 프레임에 대한 캡션 인식 성공률을 계산하는 (c) 단계 및
    상기 전체 딜레이 시간과 상기 각 프레임간 딜레이 시간 중 적어도 하나 및 상기 캡션 인식 성공률에 의거하여 전체 MOS(Mean Opinion Score)를 계산하는 (d) 단계를 포함하여 이루어진 영상 품질 측정 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계에서 상기 참조 영상 데이터는 RTP 패킷으로 수신되는 것을 특징으로 하는 영상 품질 측정 방법.
  3. 제 2 항에 있어서,
    동일 프레임에 속한 상기 RTP 패킷에는 동일한 타임스탬프가 부여되고,
    각각의 상기 프레임간 딜레이는 동일 타임스탬프를 갖는 모든 RTP 패킷의 수신 소요 시간으로부터 참조 영상의 프레임의 길이를 감하여 구해지는 것을 특징으로 하는 영상 품질 측정 방법.
  4. 제 1 항에 있어서,
    상기 캡션은 2 이상의 숫자, 문자 또는 그 조합을 이루어지는 것을 특징으로 하는 영상 품질 측정 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 캡션은 광학문자인식 프로그램에 의해 인식되는 것을 특징으로 하는 영상 품질 측정 방법.
KR1020140140900A 2014-10-17 2014-10-17 영상 품질 측정 방법 KR101600284B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140140900A KR101600284B1 (ko) 2014-10-17 2014-10-17 영상 품질 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140140900A KR101600284B1 (ko) 2014-10-17 2014-10-17 영상 품질 측정 방법

Publications (1)

Publication Number Publication Date
KR101600284B1 true KR101600284B1 (ko) 2016-03-07

Family

ID=55540338

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140900A KR101600284B1 (ko) 2014-10-17 2014-10-17 영상 품질 측정 방법

Country Status (1)

Country Link
KR (1) KR101600284B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210738A (ja) * 1991-10-07 1993-08-20 Televerket 光学的パターン認識を用いて画像品質を測定するための手段
JP2005322995A (ja) * 2004-05-06 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム
KR100722670B1 (ko) * 2006-03-13 2007-05-28 에스케이 텔레콤주식회사 전송에러정보를 이용한 화질 평가 시스템 및 방법
KR20080028483A (ko) * 2005-09-06 2008-03-31 니폰덴신뎅와 가부시키가이샤 영상 커뮤니케이션 품질 추정장치, 방법, 및 프로그램
KR100824264B1 (ko) 2006-11-23 2008-04-24 주식회사 이노와이어리스 통신망을 거친 영상에 대한 품질측정장치 및 방법
KR100938034B1 (ko) 2004-08-30 2010-01-21 퀄컴 인코포레이티드 V o I P 용 적응성 디-지터 버퍼
KR20140001199A (ko) 2010-09-16 2014-01-06 도이체 텔레콤 악티엔 게젤샤프트 전송 체인을 통한 오디오 및 비디오 비트 스트림 전송들의 품질 측정 방법 및 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210738A (ja) * 1991-10-07 1993-08-20 Televerket 光学的パターン認識を用いて画像品質を測定するための手段
JP2005322995A (ja) * 2004-05-06 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム
KR100938034B1 (ko) 2004-08-30 2010-01-21 퀄컴 인코포레이티드 V o I P 용 적응성 디-지터 버퍼
KR20080028483A (ko) * 2005-09-06 2008-03-31 니폰덴신뎅와 가부시키가이샤 영상 커뮤니케이션 품질 추정장치, 방법, 및 프로그램
KR100722670B1 (ko) * 2006-03-13 2007-05-28 에스케이 텔레콤주식회사 전송에러정보를 이용한 화질 평가 시스템 및 방법
KR100824264B1 (ko) 2006-11-23 2008-04-24 주식회사 이노와이어리스 통신망을 거친 영상에 대한 품질측정장치 및 방법
KR20140001199A (ko) 2010-09-16 2014-01-06 도이체 텔레콤 악티엔 게젤샤프트 전송 체인을 통한 오디오 및 비디오 비트 스트림 전송들의 품질 측정 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11423942B2 (en) Reference and non-reference video quality evaluation
US9591300B2 (en) Video streaming and video telephony downlink performance analysis system
JP6190525B2 (ja) 品質対ビットレートが変動するメディアデータストリームの品質を決定するための概念
US7965650B2 (en) Method and system for quality monitoring of media over internet protocol (MOIP)
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
JP5955319B2 (ja) 映像ビットストリームと出力映像シーケンスとの間の時間的な同期のための方法および装置
KR100922898B1 (ko) IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법
US9723329B2 (en) Method and system for determining a quality value of a video stream
EP2119204A1 (en) Method and arrangement for video telephony quality assessment
KR20130019435A (ko) 비디오 스트림 품질 평가 방법 및 장치
CN107517410B (zh) 视频业务质量评估的方法及装置
CN109286813B (zh) 一种视频通信质量检测方法和装置
CN103945213A (zh) 一种视频流质量监测方法及装置
US11539985B2 (en) No reference realtime video quality assessment
Lubkowski et al. The end-to-end rate adaptation application for real-time video monitoring
US20150207715A1 (en) Receiving apparatus, transmitting apparatus, communication system, control method for receiving apparatus, control method for transmitting apparatus, and recording medium
JP5450279B2 (ja) 映像品質客観評価装置及び方法及びプログラム
Leszczuk et al. Key indicators for monitoring of audiovisual quality
KR101600284B1 (ko) 영상 품질 측정 방법
CN114866763A (zh) 一种视频质量的评估方法、装置、终端设备和存储介质
JP7431514B2 (ja) 映像通話サービスの品質をリアルタイムで測定する方法およびシステム
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
US11917327B2 (en) Dynamic resolution switching in live streams based on video quality assessment
JP2014007584A (ja) 映像符号化遅延測定装置及び映像復号遅延測定装置及び方法
CN117834954A (zh) 一种远程预览系统、方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200204

Year of fee payment: 5