KR20090063406A - 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법 - Google Patents

전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법 Download PDF

Info

Publication number
KR20090063406A
KR20090063406A KR1020070130749A KR20070130749A KR20090063406A KR 20090063406 A KR20090063406 A KR 20090063406A KR 1020070130749 A KR1020070130749 A KR 1020070130749A KR 20070130749 A KR20070130749 A KR 20070130749A KR 20090063406 A KR20090063406 A KR 20090063406A
Authority
KR
South Korea
Prior art keywords
video
image quality
quality evaluation
unit
image
Prior art date
Application number
KR1020070130749A
Other languages
English (en)
Inventor
김용규
박태성
권재훈
정도영
박재성
김성기
이창현
송지완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070130749A priority Critical patent/KR20090063406A/ko
Priority to US12/331,599 priority patent/US20090153668A1/en
Publication of KR20090063406A publication Critical patent/KR20090063406A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 부호화 과정과 복호화 과정을 이용하는 동영상의 정보를 화질평가에 이용하여 화질 평가 성능을 향상시키기 위한 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법에 관한 것으로서 비디오 전송 시스템에서 클라이언트의 연산량을 줄이면서도 정확한 실시간 화질 평가를 수행하는 방법에 관한 것이다. 특히 본 발명은 서버에서 1차 화질 평가를 하여 클라이언트로 보내고, 클라이언트에서는 전송 손실 발생시에만 2차 화질 평가를 하여 클라이언트의 연산량을 줄일 수 있도록 한다.
전송 특성, 동영상, 화질 평가, 열화량, PSNR

Description

전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및 방법{RESOLUTION CHECKING SYSTEM AND METHOD FOR REAL TIME MOTION IMAGE BASED ON TRANSMISSION CONFIGURATION}
본 발명은 실시간 객관적 동영상 평가 기술에 대한 것으로서, 더욱 상세하게는 무선통신시스템에서 다양한 무선 채널을 통해 제공되는 컨텐츠의 품질에 대한 QoS 보장 문제의 해결책을 제공하고 이에 따라 다양한 멀티미디어장비 및 서비스에 대한 품질을 수치화하고 정량화하는 기술로서 영상 통화(Video Telephony), 개인 휴대 모바일 방송 등과 같이 무선망을 통한 영상전송 애플리케이션(Application)의 운용 시에 수신 동영상의 품질을 수치화하고 정량화 할 수 있는 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및 방법에 관한 것이다.
동영상에 대한 화질평가는 동영상 코덱의 성능 검증과 새로운 압축 코딩 기법의 개발분야 뿐만 아니라, 동영상 전송품질평가 등에 필요한 핵심 기술이며, 특히 디지털 기술 방식으로 압축된 동영상 전송 시스템에서의 객관적인 동영상 화질 평가의 중요성이 더욱 강조되고 있다.
또한, 객관적 화질 평가 기술은 텔레비전뿐 아니라 휴대폰 동영상 등의 화질 평가에도 사용될 수 있으며, 비디오 코덱의 성능 검증, 새로운 압축 코딩기법 개발, 전송품질 평가 등에 필요한 핵심 기술로서, 디지털 방송 전송품질 평가 및 캠코더, 비디오 플레이어, 디지털 카메라 등 관련 장비의 개발과 성능 평가에 활용될 수 있다는 점에서 매우 중요한 기술이다.
객관적 화질평가 방법은 기준영상의 사용여부에 따라 FR(Full reference), RR(reduced reference), NR(no reference)과 같이 크게 3가지로 분류된다. 전기준법(full reference)은 입력영상과 출력영상을 동시에 요구하기 때문에 객관적 화질평가방법 중에서 가장 높은 정확도를 제공하지만 기준영상과 처리영상 모두를 필요로 한다는 점에서 사용에 제약을 받는다. 감소기준법(reduced reference)은 FR과 달리 영상의 송신단과 수신단이 서로 다를 경우 영상 전체를 보내는 대신, 상대적으로 좁은 대역폭(10Kb, 56Kb, 256Kb 등)의 부가채널을 사용하여, 영상 일부의 특징만을 전송하여 평가하는 방법으로 우수한 성능의 화질 측정 시스템을 구성할 수 있다. NR(no reference)방법은 기준비디오를 사용하지 않고 처리 비디오만을 이용하여 화질을 평가하는 방법이다. 따라서 NR 방법은 부가 채널의 제약이 없기 때문에 매우 폭넓은 응용범위를 가진다. 그러나 NR방법의 경우 화질측정 성능은 FR이나 RR에 비해 현저하게 낮은 것으로 알려져 있다.
따라서 본 발명은 상술한 종래 기술의 필요성을 해결하기 위하여 창안된 것으로서, 본 발명의 목적은, 비디오 전송 시스템에서 수신단의 연산량을 줄이면서도 정확한 실시간 화질 평가를 수행할 수 있도록 송신단에서 1차 화질 평가를 하여 수신단으로 보내고, 수신단에서는 전송 손실 발생시에만 2차 화질 평가를 수행하여 수신단에서의 연산량을 획기적으로 줄일 수 있는 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및 방법을 제공함에 있다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 전송 특성을 고려한 실시간 동영상 화질 평가 시스템은, 원동영상을 입력 받아 부호화하여 데이터를 송신하는 송신부와 상기 전송된 데이터를 전송하는 전송망과 전송망을 통하여 부호화된 동영상을 입력 받아 복호화하고 복호화된 데이터를 이용하여 화질평가를 수행하는 수신기를 포함하는 동영상 화질 평가 시스템에 있어서, 상기 송신부는 원동영상을 입력받아 부호화를 수행하는 동영상 부호화부와, 상기 입력된 원동영상과 상기 부호화된 동영상으로 송신부의 화질을 평가하는 1차 화질 평가부를 포함하고, 상기 수신부는 송신부로부터 입력된 부호화된 동영상을 복호화하는 동영상 복호화부와, 상기 복호화부에서 제공받은 수신측 정보를 입력받아 화질을 평가하는 2차 화질 평가부를 포함함을 특징으로 한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 전송 특성을 고려한 실시간 동영상 화질 평가 방법은, 원동영상을 입력 받아 부호화하여 데이터를 송신하는 송신부와 상기 전송된 데이터를 전송하는 전송망과 전송망을 통하여 부호화된 동영상을 입력 받아 복호화하여 복호화된 데이터를 이용하여 화질평가를 수행하는 수신기를 포함하는 동영상 화질 평가 방법에 있어서, 상기 송신부에서 원동영상을 입력받아 동영상 부호화부에서 부호화를 수행하는 부호화 단계; 상기 송신부의 제 1차 화질평가부에서 상기 입력된 원동영상과 상기 부호화된 동영상으로 송신부의 화질을 평가하는 송신부 화질 평가 단계; 상기 수신부에서 전송망을 통하여 상기 송신부로부터 입력된 부호화된 동영상을 동영상 복호화부를 통하여 복호화하는 복호화 단계; 및 상기 수신부의 2차 화질평가부에서 상기 복호화부로부터 제공받은 수신측 정보를 입력받아 화질을 평가하는 수신부 화질 평가 단계를 특징으로 한다.
본 발명의 실시간 화질 평가 기술은 장비 및 서비스에 대한 품질을 수치화하여 최적화에 이용 가능하고, 수신 화질을 feedback 하여 송신단에서 비디오 인코더 제어에 이용 가능하며, 수신 화질에 따른 과금에도 이용 가능하다.
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 송신부(110) 및 수신부(120)의 구조를 나타내는 블록도이다. 송신부(110)는 비디오 인코더(111)와 1차 화질 평가부(112)로 구성된다. 1차 화질 평가부(112)는 인코딩 이전의 원본 영상과 인코딩된 이후의 재구성된 영상을 이용하여 1차 화질 평가를 실시한다. 1차 화질 평가 시 계산량을 줄이기 위하여 PSNR(Peak Signal to Noise Ratio)을 사용할 수도 있다. PSNR을 계산하기 위하여 다음 수학식 1 및 수학식 2를 이용할 수 있다.
[수학식 1]
Figure 112007089993212-PAT00001
[수학식 2]
Figure 112007089993212-PAT00002
여기서, MSE는 mean square error를 의미하며, 또한 M은 가로축 pixel수, N은 세로축 pixel수를 나타내며, g(m,n)은 원본 영상, gr(m,n)은 재구성된 영상을 나타낸다. 본 발명에서는 1차 화질 평가 방식에 대해서는 제한을 두지 않는다. 정확성을 향상시키기 위해서는 전기준법(Full reference)등의 화질 평가방법을 사용할 수도 있다. 상기의 화질 평가방법으로 계산된 1차 화질 평가 결과는 수신 부(120)로 전달된다. 1차 화질 평가 결과와 함께 현재 frame number를 함께 보내서, 정확한 frame loss를 계산 할 수도 있다. 전달 방식은 RTP extension header등을 이용하여 인코딩된 영상 데이터와 함께 보내는 것이 가능하며, 별도의 채널을 통해 보낼 수도 있다. 원동영상은 비디오 인코더(111)에 의해 미리 설정된 특정 코덱으로 압축, 변환되며 송신부(110)로부터 송신된다. 비디오 인코더(111)를 거치기 전의 원동영상과 비디오 인코더(111)를 통하여 변하여진 영상은 송신부내의 송신부 1차 화질 평가부(112)로 입력되며, 1차 화질 평가를 행하게 된다. 이 때 화질 평가 방법으로는 앞서 설명한 전기준법(Full reference)혹은 감소기준법(Reduced reference)등의 방법이 가능하다. 이때 특정 코덱으로 압축, 변환 시 그에 따르는 코덱 보조정보가 화질 평가의 지표로 사용될 수 있다.
한편, 본 발명에서 코덱 보조정보는, 비디오 인코더(111)에서의 부호화 과정 또는 복호화 과정에서 습득되는 정보 중 화질 평가에 유용한 정보들로서, 부호화 과정의 보조 정보는 코덱 종류 정보(예MPEG2, MPEG4, H.263, H.264등), 비트율(Bit rate), 초당 프레임수(FPS:Frame Per Second), 인접한 블록 t이의 불연속성을 나타내는 블록킹(Blocking)정도, 움직임 정도(Motion Amount), 잔여 오차 정보 등을 포함한다.
송신부(110)로부터 송신된 압축영상은 전송망(101)을 통하여 전송된다. 상기 전송망(101)은 특정 무선통신망 혹은 유선통신망에 국한되지 않으며 상용적으로 사용되는 일반적인 통신망을 지칭한다.
수신부(120)는 비디오 디코더(121)와 2차 화질 평가부(122)로 구성된다. 2차 화질 평가부(122)에서는 1차 화질 평가부(112)의 결과와 수신측 정보를 이용하여 화질 평가를 실시한다. 수신측 정보는 Frame loss, MB loss, Frame type(Intra(I), predicted(P), bi-predicted(B)등), 수신 Frame간 영상 변화량, intra/inter MB비율, error resilient tool 사용 여부, error concealment사용 여부 등을 이용할 수 있다.
도 2는 본 발명의 일실시 예로 수신측 2차 화질 평가 과정을 도시한 흐름도이고, 도 3은 도 2에서 전송 손실 발생시나, error propagation 발생 시 수신 PSNR 예측 블록 (140 단계)에 대한 일 실시 예이다.
전송과정에서 손실이 발생하지 않았을 경우에는 수신 화질은 송신 화질과 같다. 하지만, 손실이 발생하였을 때에는 손실이 발생한 frame은 송신 화질에 비해 수신 화질에 열화가 발생한다. 대부분의 코덱에서는 이전 프레임과 현재 프레임간의 움직임 정보를 이용하여 데이터량을 줄이게 된다. 따라서 이전 frame에서 손실이 발생하였을 경우, 현재 frame에도 영향을 주게 된다. Frame에 발생한 error가 다음 frame에 영향을 주는 것을 error propagation 이라고 한다. 예를 들어 MPEG4 코덱의 경우 손실이 발생하였을 때 intra-frame 이전까지, H.264 코덱의 경우 IDR (instantaneous decoder refresh) frame 이전까지 error propagation이 발생하게 된다. 이러한 error propagation을 줄이기 위해 일반적으로 일정한 간격으로 intra frame이나 IDR frame을 사용하여 영상을 압축한다.
수신부의 2차 화질 평가부에서는 먼저 frame loss나 marcoblock loss가 발생 했는지를 판단 한다(110단계). 송신부에서 frame number를 수신부로 보내면 frame loss 판단을 더욱 정확하게 할 수 있다. 판단 결과 frame loss나 marcoblock loss가 발생 하였을 경우(120-YES), Error_Propagation_Flag를 TRUE로 설정하고, 수신 PSNR을 예측 한다(140). 판단 결과 frame loss나 marcoblock loss가 발생하지 않았을 경우 (120-NO), 현재 수신 frame 이 intra frame 인지 아닌지를 판단 한다(130).
수신 frame이 intra-frame 일 경우(130-YES), Error_Propagation_Flag를 FALSE 로 설정하고(132), 수신 PSNR은 송신단으로부터 전송 받은 PSNR (1차 화질 평가 결과)을 그대로 사용 한다(150). 수신 frame이 intra-frame이 아닐 경우(130-NO), 현재 Error_Propagation_Flag 가 TRUE 인지 FALSE인지를 확인 한다(131).
현재 Error_Propagation_Flag 가 TRUE 인 경우(131-YES), error propagation인 경우 이므로, 수신 PSNR을 예측 한다(140). 현재 Error_Propagation_Flag 가 FALSE 인 경우(131-NO), error propagation인 아닌 경우 이므로 수신 PSNR은 송신단으로부터 전송 받은 PSNR(1차 화질 평가 결과)을 그대로 사용 한다(150).
전송 손실이 발생하였을 경우나 error propagation이 발생하는 경우에는 2차 화질 평가에서 화질 열화량을 계산해야 한다. 화질 열화량은 수신측 정보로부터 계산 될 수 있다. 화질 열화량에 영향을 주는 주요 인자로는 이전 수신 frame과 현재 frame과의 영상 변화량 (inter MSE), 현재 frame의 intra/inter/loss macroblock 비율, error resilient tool (ERT) 및 error concealment 사용 여부 등이다.
141 단계 이전 수신 frame과 현재 수신 frame과의 frame간 영상 변화량은 다음과 같은 수학식 3을 이용하여 구할 수 있다.
[수학식 3]
Figure 112007089993212-PAT00003
여기서 M 은 가로축 pixel 수, N은 세로축 pixel 수를 나타내며, hk(m,n)은 k번째 수신 영상을 나타낸다. Inter MSE 값이 클수록 이전 수신 frame과 현재 수신 frame 간의 영상 변화가 크다는 것을 의미하므로, frame이나 macroblock loss 발생 시 또는 error propagation 발생 시 수신 화질 열화량이 커지게 된다. 반면에 inter MSE 값이 작을수록 영상 변화가 작으므로 수신 화질 열화량이 작아진다.
142 단계는 현재 frame의 macroblock이 어떠한 marcoblock으로 이루어져 있는지를 분석하고, 화질 열화량을 계산한다. Marcoblock은 크게 intra macroblock, inter macroblock, lost marcoblock으로 나눌 수 있다. Intra macroblock은 다른 macroblock 참조 없이 압축된 macroblock을 의미하고, inter macroblock은 다른 macroblock을 참조하여 압축된 maroblock이다. 그리고 lost marcoblock은 전송 중에 에러나 손실이 발생에 marcoblock을 의미한다. 각 marcoblock의 비율을 계산하여 화질 열화량을 구한다. 현재 frame의 macroblock 비율은 encoded bit-stream을 분석하거나, video decoder에서 전달 받을 수 있다. Lost macroblock 비율이 높을 경우, 화질 열화량은 커지게 되고, lost macroblock 비율이 낮을 경우에는 화질 열화량이 작아진다. 또한 intra macroblock의 비율이 낮고, inter macroblock의 비율이 낮을 경우, error propagation에 의한 화질 열화량이 커지고, intra macroblock 의 비율이 높고 inter macroblock의 비율이 낮을 경우, error propagation에 의한 화질 열화량이 작아진다.
143 단계는 error resilient tool (ERT) 및 error concealment 사용 여부에 따른 화질 열화량을 계산한다. ERT는 인코더에서 error 발생에 의한 영향을 줄이기 위한 도구이고, error concealment는 decoder 이후의 후처리 방식으로, error 발생에 의한 영향을 줄이는 방법이다. MPEG4 코덱을 사용할 경우 ERT의 예로는 resynchronization, data partitioning, reversible VLC 등이 존재한다. 다양한 ERT 및 error concealment 사용할 경우 화질 열화량이 작아지고, ERT 및 error concealment를 사용하지 않을 경우에는 화질 열화량이 작아진다.
144 단계에서는 141~143 단계에서 구한 화질 열화량으로부터 총 화질 열화량을 계산한다. 총 화질 열화량은 평균값이나 Root mean square (RMS) 값으로 구할 수 있다.
145 단계에서는 최종 수신 PSNR을 구한다. 송신 PSNR이 존재할 경우 최종 수신 PSNR은 수학식 4에서와 같이 송신 PSNR과 총화질 열화량의 차로 구할 수 있다.
[수학식 4]
(수신 PSNR) = (송신 PSNR) - (총 화질 열화량)
Loss에 의해서 송신 PSNR 값이 손실되었을 경우 송신 PSNR은 가장 최근에 수신한 frame의 송신 PSNR을 사용할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가 지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 동영상 화질 평가 시스템을 나타낸 송신부와 수신부를 나타낸 도면,
도 2는 본 발명의 일실시 예로 수신부의 2차 화질 평가 과정을 도시한 흐름도,
도 3은 본 발명의 일실시 예로 수신부의 2차 화질 평가 과정 중 전송 손실 발생시나 오류 전파 발생시 수신 PSNR 예측과정을 나타낸 도면.

Claims (16)

  1. 원동영상을 입력 받아 부호화하여 데이터를 송신하는 송신부와 상기 전송된 데이터를 전송하는 전송망과 전송망을 통하여 부호화된 동영상을 입력 받아 복호화하고 복호화된 데이터를 이용하여 화질평가를 수행하는 수신기를 포함하는 동영상 화질 평가 시스템에 있어서,
    상기 송신부는 원동영상을 입력받아 부호화를 수행하는 동영상 부호화부와, 상기 입력된 원동영상과 상기 부호화된 동영상으로 송신부의 화질을 평가하는 1차 화질 평가부를 포함하고,
    상기 수신부는 송신부로부터 입력된 부호화된 동영상을 복호화하는 동영상 복호화부와, 상기 복호화부에서 제공받은 수신측 정보를 입력받아 화질을 평가하는 2차 화질 평가부를 포함함을 특징으로 하는 동영상 화질 평가 시스템.
  2. 제 1항에 있어서, 상기 1차 화질 평가부는
    추가의 복호화 없이 원영상과 부호화 시 재구성된 영상 (reconstructed image)을 사용하는 하기의 수학식 1 및 수학식 2를 이용하여 PSNR(Peak Signal to Noise Ratio) 연산하는 것을 특징으로 하는 동영상 화질 평가 시스템.
    [수학식 1]
    Figure 112007089993212-PAT00004
    [수학식 2]
    Figure 112007089993212-PAT00005
    여기서, MSE: mean square , M: 가로축 pixel수, N: 세로축 pixel수
    g(m,n) : 원본 영상, gr(m,n) : 재구성된 영상
  3. 제 1항에 있어서, 상기 1차 화질 평가부는
    전기준법(Full reference) 또는 감소기준법(Reduced reference)을 사용함을 특징으로 하며 상기 동영상 부호화부의 코덱 보조정보를 활용함을 특징으로 하는 동영상 화질 평가 시스템.
  4. 제 1항에 있어서, 상기 송신부는
    상기 1차 화질 평가부에서 계산된 화질 평가 결과를 RTP extension header 를 이용하여 전송망으로 송신함을 특징으로 하는 동영상 화질 평가 시스템.
  5. 제 1항에 있어서, 상기 송신부는
    상기 1차 화질 평가부에서 계산된 화질 평가 결과와 현재 frame number를 RTP extension header 를 이용하여 전송망으로 송신함을 특징으로 하는 동영상 화질 평가 시스템.
  6. 제 1 항에 있어서, 상기 송신부는
    상기 1차 화질 평가부에서 계산된 화질 평가 결과를 별도의 채널을 통하여 전송망으로 송신함을 특징으로 하는 동영상 화질 평가 시스템.
  7. 제 3 항에 있어서, 상기 코덱 보조정보는
    부호화 과정의 코덱 종류 정보, 비트율, 초당 프레임수, 인접한 블록과의 불연속성을 나타내는 블록킹 정도, 움직임 정도 및 잔여 오차 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 코덱 보조정보.
  8. 제 1 항에 있어서, 상기 2차 화질 평가부는
    상기 1차 화질 평가부의 결과와 상기 동영상 복호화부에서의 복호화시 나타나는 수신측 정보를 이용하여 화질 평가함을 특징으로 하는 동영상 화질 평가 시스템.
  9. 제 8 항에 있어서, 상기 수신측 정보는
    Frame loss, MB loss, Frame type정보, 수신 Frame간 영상 변화량, macroblock type 정보, error resilient tool사용여부 및 error concealment사용 여부 중 적어도 하나를 포함하는 것을 특징으로 하는 동영상 화질 평가 시스템.
  10. 원동영상을 입력 받아 부호화하여 데이터를 송신하는 송신부와 상기 전송된 데이터를 전송하는 전송망과 전송망을 통하여 부호화된 동영상을 입력 받아 복호화하여 복호화된 데이터를 이용하여 화질평가를 수행하는 수신기를 포함하는 동영상 화질 평가 방법에 있어서,
    상기 송신부에서 원동영상을 입력받아 동영상 부호화부에서 부호화를 수행하는 부호화 단계;
    상기 송신부의 제 1차 화질평가부에서 상기 입력된 원동영상과 상기 부호화된 동영상으로 송신부의 화질을 평가하는 송신부 화질 평가 단계;
    상기 수신부에서 전송망을 통하여 상기 송신부로부터 입력된 부호화된 동영상을 동영상 복호화부를 통하여 복호화하는 복호화 단계; 및
    상기 수신부의 2차 화질평가부에서 상기 복호화부로부터 제공받은 수신측 정보를 입력받아 화질을 평가하는 수신부 화질 평가 단계를 특징으로 하는 동영상 화질 평가방법.
  11. 제 10 항에 있어서, 상기 1차 화질 평가부에서 계산된 화질 평가 결과를 별도의 채널을 통하여 전송망으로 송신하는 단계를 더 포함함을 특징으로 하는 동영상 화질 평가 방법.
  12. 제 10 항에 있어서, 상기 수신부 화질 평가 단계는
    상기 송신부 화질 평가 결과와 상기 동영상 복호화부에서의 복호화시 나타나는 수신측 정보를 이용하여 화질 평가함을 특징으로 하는 동영상 화질 평가 방법.
  13. 제 10 항에 있어서, 상기 수신부 화질 평가 단계는
    상기 송신부에서 전송된 동영상 데이터를 입력받아 전송 손실 발생(Frame loss) 및 마크로블록 손실(Macroblock loss)을 판단하는 단계;
    상기 손실 판단 결과에 따라 손실 발생 시 전파되는 에러 발생을 결정하는 단계; 및
    에러 전파 발생에 따라 수신 PSNR을 예측하는 단계;를 포함하는 것을 특징으로 하는 동영상 화질 평가 방법.
  14. 제 13 항에 있어서, 상기 수신부 화질 평가 단계는
    상기 손실 판단 결과에 따라 손실이 발생하지 않을 시 현재 수신되는 Frame이 intra Frame인지 아닌지 판단하는 단계를 포함하고,
    상기 수신되는 Frame이 intra Frame일 경우 에러 전파가 발생하지 않은 것으로 판단하고, 수신 PSNR을 상기 송신부로부터 전송 받은 송신부 화질 평가 결과와 동일하게 사용하는 단계; 또는
    상기 수신되는 Frame이 intra Frame이 아닐 경우 현재 에러 전파가 발생한 것으로 판단하고, 수신 PSNR을 예측하는 단계를 특징으로 하는 동영상 화질 평가 방법.
  15. 제 13 항에 있어서, 상기 수신 PSNR을 예측하는 단계는
    상기 수신 Frame간의 영상 변화량을 계산하는 단계, 상기 Macroblock을 분석하는 단계 및 상기 오류 보정 방법 사용 여부에 대한 판단단계 중 적어도 하나의 단계를 수행하고,
    화질 열화량을 계산하여 수신 PSNR를 계산하는 단계를 포함하는 것을 특징으로 하는 동영상 화질 평가 방법.
  16. 제 13 항에 있어서, 전송 손실 발생(Frame loss) 및 마크로블록 손실(Macroblock loss)을 판단하는 단계에서
    송신단에서 frame number를 전달 받아 정확한 Frame loss를 판단 하는 방법,
KR1020070130749A 2007-12-14 2007-12-14 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법 KR20090063406A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070130749A KR20090063406A (ko) 2007-12-14 2007-12-14 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
US12/331,599 US20090153668A1 (en) 2007-12-14 2008-12-10 System and method for real-time video quality assessment based on transmission properties

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070130749A KR20090063406A (ko) 2007-12-14 2007-12-14 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법

Publications (1)

Publication Number Publication Date
KR20090063406A true KR20090063406A (ko) 2009-06-18

Family

ID=40752661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070130749A KR20090063406A (ko) 2007-12-14 2007-12-14 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법

Country Status (2)

Country Link
US (1) US20090153668A1 (ko)
KR (1) KR20090063406A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210115171A (ko) 2020-03-12 2021-09-27 임정호 천정등용 엘이디램프 및 이를 구성하는 렌즈

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260941A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
SG181131A1 (en) * 2010-01-11 2012-07-30 Ericsson Telefon Ab L M Technique for video quality estimation
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
CN102348125B (zh) * 2010-07-30 2014-03-05 上海炬力集成电路设计有限公司 视频数据接收系统的验证方法及其装置
US20120114046A1 (en) * 2010-11-10 2012-05-10 Iouri Gordon Transcode video verifier device and method for verifying a quality of a transcoded video file
KR20140022065A (ko) * 2011-05-12 2014-02-21 톰슨 라이센싱 비트스트림 레벨로 비디오 품질을 추정하는 방법 및 장치
GB2497915B (en) 2011-10-25 2015-09-09 Skype Estimating quality of a video signal
CN102421009A (zh) * 2011-12-07 2012-04-18 中国航空无线电电子研究所 一种视频信号的自动测试方法
CN103379358B (zh) * 2012-04-23 2015-03-18 华为技术有限公司 评估多媒体质量的方法和装置
DE102012207558B4 (de) * 2012-05-07 2016-01-07 Opticom Dipl.-Ing. Michael Keyhl Gmbh Verfahren und vorrichtung zur bestimmung der qualität eines kodierten mediensignals
CN103634577B (zh) 2012-08-22 2014-12-31 华为技术有限公司 多媒体质量的监控方法和设备
CN103945213B (zh) * 2013-01-22 2016-12-28 中兴通讯股份有限公司 一种视频流质量监测方法及装置
GB2513090B (en) 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
DE102013211571B4 (de) 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
US10185884B2 (en) * 2016-09-07 2019-01-22 Apple Inc. Multi-dimensional objective metric concentering
CN108647563A (zh) * 2018-03-27 2018-10-12 阿里巴巴集团控股有限公司 一种车辆定损的方法、装置及设备
CN111385648A (zh) * 2018-12-28 2020-07-07 成都鼎桥通信技术有限公司 一种视频帧率的调控方法和系统
CN111726554B (zh) * 2020-06-30 2022-10-14 阿波罗智能技术(北京)有限公司 图像处理方法、装置、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170933B2 (en) * 2002-12-13 2007-01-30 International Business Machines Corporation Method and system for objective quality assessment of image and video streams
KR100541526B1 (ko) * 2004-01-30 2006-01-10 에스케이 텔레콤주식회사 멀티미디어 데이터의 전송품질 측정방법 및 장치
US20100053300A1 (en) * 2007-02-02 2010-03-04 Einarsson Torbjoern Method And Arrangement For Video Telephony Quality Assessment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210115171A (ko) 2020-03-12 2021-09-27 임정호 천정등용 엘이디램프 및 이를 구성하는 렌즈

Also Published As

Publication number Publication date
US20090153668A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
KR20090063406A (ko) 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
JP6047835B2 (ja) 符号化方法及び送信端末
EP2737703B1 (en) Video refresh using error-free reference frames
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
US20100053300A1 (en) Method And Arrangement For Video Telephony Quality Assessment
KR100646233B1 (ko) 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
JP2011525094A (ja) ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
US9077972B2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
TW201933870A (zh) 利用略過機制對一連串視訊圖框中之一圖框的處理區塊編碼的方法及裝置
US9769501B2 (en) Video quality assessment at a bitstream level
Chakareski et al. Distortion chains for predicting the video distortion for general packet loss patterns
KR100733261B1 (ko) 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법
AU2013307970A1 (en) Method and apparatus for estimating content complexity for video quality assessment
KR100827108B1 (ko) 영상 서비스 제공 시스템 및 이를 위한 방법 및 장치
Xiong et al. Rate control for real-time video network transmission on end-to-end rate-distortion and application-oriented QoS
Hu et al. Use of content complexity factors in video over ip quality monitoring
KR101557164B1 (ko) 영상화질 평가 장치 및 방법
Paulikas Estimation of degraded video quality of mobile h. 264/avc video streaming
KR100926826B1 (ko) 비디오 비트열의 전송 오류에 대비하기 위한 변환부호장치 및 방법
Song et al. No-reference video quality assessment model for distortion caused by packet loss in the real-time mobile video services
KR20060063604A (ko) 영상 신호의 인코딩 및 디코딩 방법
Lie et al. Error-Resilience Transcoding of H. 264/AVC Compressed Videos
KR20160002659A (ko) 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치
Madu et al. Modelling Human Perception for Objective Prediction and Assessment of Video Quality in Packet Networks
KR20050093435A (ko) 에러 대응 인트라 예측 모드 복호화 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid