KR101465664B1 - 영상 데이터 품질 평가 장치, 방법 및 시스템 - Google Patents

영상 데이터 품질 평가 장치, 방법 및 시스템 Download PDF

Info

Publication number
KR101465664B1
KR101465664B1 KR20130168195A KR20130168195A KR101465664B1 KR 101465664 B1 KR101465664 B1 KR 101465664B1 KR 20130168195 A KR20130168195 A KR 20130168195A KR 20130168195 A KR20130168195 A KR 20130168195A KR 101465664 B1 KR101465664 B1 KR 101465664B1
Authority
KR
South Korea
Prior art keywords
quality
model
index value
user terminal
video
Prior art date
Application number
KR20130168195A
Other languages
English (en)
Inventor
신지태
이용우
박명우
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR20130168195A priority Critical patent/KR101465664B1/ko
Application granted granted Critical
Publication of KR101465664B1 publication Critical patent/KR101465664B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하는 단계, 네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과의 네트워크의 품질 예측 지표 값을 산출하는 단계, 단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출하는 단계 및 상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 단계를 포함하는 영상 데이터 품질 평가 방법을 개시하고 있다.

Description

영상 데이터 품질 평가 장치, 방법 및 시스템{IMAGE DATA QUALITY ASSESSMENT APPARATUS, METHOD AND SYSTEM}
본 발명은 영상 데이터의 품질 평가 방법에 관한 것으로, 보다 상세하게는, 영상 데이터 사용자의 니즈와 이동망의 효율성을 동시에 충족하는 영상 데이터 전송 규격을 결정하기 위한 품질 평가 방법에 관한 것이다.
종래의 영상 데이터 품질 평가 모델은 먼저, 동영상 압축시의 비트율, 프레임율 등 기본적인 압축요소만을 고려하는 압축 모델을 사용하였다. 이는 다양한 영사의 종류에 따른 복잡도, 움직임 등에 따라 사람의 눈으로 느낄 수 있는 인지적 품질의 변화를 고려하지 못하여, 무선 자원의 낭비 또는 부족을 초래하였다.
또한, 두 번째로, 네트워크 상태 모델에서 영상의 지연 모델을 고려하지 않고, 손실 모델만을 고려하여, 최근 추세에 따른 실시간 방송, 스트리밍 등의 영상 제공에 적합하지 못한 측면이 존재하였다.
더욱이, 스마트 폰 및 태블릿 단말의 증가로 인해, 각 단말이 가지고 있는 디스플레이 특성 및 성능을 고려하지 못하여, 지나치게 고 사양으로 또는 저 사양으로 영상 데이터를 송수신하는 문제점이 있다.
상기와 같은 여러 문제점이 존재하고 있어, 종래 영상 데이터 모델은 폭넓고 다양한 영상 데이터와 사용자를 위해 적합한 영상 데이터 모델이라고 볼 수 없으며, 이는 효율적인 무선 트래픽의 규격화를 불가능하게 한다.
또한, 종래 객관적인 품질 영상 지표로 사용되던 PSNR(peak signal to noise rate)은 인지적인 품질을 고려하지 못해, 실제적인 영상 데이터 모델 및 규격화를 도모하지 못하였다. 이를 위해서는 주관적인 화질 평가 방법이 필요한데, 종래 주관적인 화질 평가 방법은 공정성, 객관성, 시간 및 비용 증가 등의 문제로 실시간 측정이 불가능하다는 문제점이 존재한다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 영상의 유형에 따라 다르게 느낄 수 있는 품질의 변화, 및 영상의 지연에 따른 변화, 마지막으로 단말의 종류에 따라 다르게 느낄 수 있는 영상 품질의 변화를 인지 품질 지표를 기반으로 영상 데이터 모델로서 제공하고, 이를 기반으로 효율적인 무선 데이터의 트래픽 규격화를 가능하게 하는 영상 데이터 품질 평가 장치, 방법 및 시스템을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 영상 데이터 품질 평가 방법은 동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하는 단계, 네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과의 네트워크의 품질 예측 지표 값을 산출하는 단계, 단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출하는 단계 및 상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 단계를 포함할 수 있다.
상기 동영상 코덱 변수 고려 모델, 상기 네트워크 상태 변수 고려 모델 및 상기 사용자 단말 변수 고려 모델의 모델 계수는 사람의 품질 인지 여부를 측정하는 인지적 품질 지표(VQM: Video Quality Metric)를 바탕으로 산출된 수치를 기반으로 생성될 수 있다.
상기 영상 데이터 품질 평가 방법은 상기 산출된 최종 영상 품질 지표 값을 기반으로 상기 영상 데이터 트래픽 규격을 결정하는 단계를 더 포함할 수 있다.
상기 인지 품질 모델의 모델 계수는 상기 동영상 코덱 변수 고려 모델, 상기 네트워크 상태 변수 고려 모델 및 상기 사용자 단말 변수 고려 모델을 결합한 형태의 모델을 이용하여 결정되는 수치와 인지 품질 지표를 이용하여 산출된 수치를 나열하고, 비선형 회귀분석 알고리즘을 이용하여 산출될 수 있다.
상기 동영상 코덱 변수 고려 모델의 입력 변수로서 상기 대상 영상 데이터의 동영상 유형에 따른 동영상 유형 정보를 고려할 수 있다.
상기 동영상 유형 정보는 상기 대상 영상 데이터의 압축 과정에서 생성되는 움직임 벡터 값을 이용하여 산출되는 움직임 정보 및 상기 대상 영상 데이터의 참조 프레임의 비트율을 통해 획득되는 복잡도를 정량적으로 측정한 정보를 포함할 수 있다.
상기 동영상 코덱 변수 고려 모델은 입력 변수로서 상기 동영상 유형 정보뿐만 아니라 상기 대상 영상 데이터의 프레임율 정보, 비트율 정보 및 해상도 정보를 더 고려할 수 있다.
상기 네트워크 상태 변수 고려 모델은 패킷 손실 모델 및 패킷 지연 모델을 포함할 수 있다.
상기 패킷 지연 모델은 상기 대상 영상 데이터가 송수신되는 네트워크의 패킷 지연율 정보 및 패킷 지연 변화율 정보를 고려할 수 있다.
상기 사용자 단말 변수 고려 모델은 입력 변수로서 사용자 단말의 화면 크기와 해상도를 고려한 PPI(Pixel Per Inch) 정보를 고려할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 영상 데이터 품질 평가 장치는 동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하는 동영상 코덱 품질 산출부, 네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과의 네트워크의 품질 예측 지표 값을 산출하는 네트워크 품질 산출부, 단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출하는 단말 품질 산출부 및 상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 최종 영상 품질 산출부를 포함할 수 있다.
상기 동영상 코덱 변수 고려 모델, 상기 네트워크 상태 변수 고려 모델 및 상기 사용자 단말 변수 고려 모델의 모델 계수는 사람의 품질 인지 여부를 측정하는 인지적 품질 지표(VQM: Video Quality Metric)를 바탕으로 산출된 수치를 기반으로 생성될 수 있다.
상기 영상 데이터 품질 평가 장치는 상기 산출된 최종 영상 품질 지표 값을 기반으로 상기 영상 데이터 트래픽 규격을 결정하는 영상 데이터 규격 결정부를 더 포함할 수 있다.
상기 동영상 코덱 변수 고려 모델의 입력 변수로서 상기 대상 영상 데이터의 동영상 유형에 따른 동영상 유형 정보를 고려할 수 있다.
상기 동영상 유형 정보는 상기 대상 영상 데이터의 압축 과정에서 생성되는 움직임 벡터 값을 이용하여 산출되는 움직임 정보 및 상기 대상 영상 데이터의 참조 프레임의 비트율을 통해 획득되는 복잡도를 정량적으로 측정한 정보를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 영상 데이터 품질 평가 시스템은 동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하고, 네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과 관련된 네트워크의 품질 예측 지표 값을 산출하며, 단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출한 후, 상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 영상 품질 평가 장치 및 상기 대상 영상 데이터를 송수신하고 사용자 단말과 관련된 정보를 상기 영상 품질 평가 장치로 전송하는 사용자 단말을 포함할 수 있다.
본 발명의 영상 데이터 품질 평가 장치, 방법 및 시스템에 따르면, 무선 데이터 트래픽 규격화를 위한 영상 데이터 모델의 개발을 통해 영상의 유형별로 움직임의 크기, 영상의 복잡도를 고려할 수 있고, 이동망에서의 영상 지연을 고려할 수 있으며, 단말별 디스플레이 특성 및 기능에 따라 달라지는 영상 품질의 인지적인 특성을 정밀하게 고려할 수 있어 사용자의 요구를 충족시킬 수 있는 모델을 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 시스템의 구성을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 구성을 개략적으로 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 산출부의 구성을 구체적으로 나타낸 상세블록도,
도 4는 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 동영상 코덱 품질 산출부가 동영상 코덱 품질 예측 지표 값을 산출하는 구성을 구체적으로 나타낸 상세블록도,
도 5는 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 네트워크 품질 산출부가 네트워크 품질 예측 지표 값을 산출하는 구성을 구체적으로 나타낸 상세블록도,
도 6은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 단말 품질 산출부가 단말 품질 예측 지표 값을 산출하는 구성을 구체적으로 나타낸 상세블록도,
도 7은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 최종 영상 품질 산출부가 최종 영상 품질 지표 값을 산출하고, 산출된 지표 값을 기반으로 규격 결정부가 무선 트래픽 규격을 결정하는 구성을 구체적으로 나타낸 상세블록도,
도 8은 본 발명의 다른 실시예에 따라, 인코더가 외부에 배치되어 통신부, 산출부 및 규격 결정부를 포함하여 구성된 영상 데이터 품질 평가 장치의 구성을 개략적으로 나타낸 블록도,
도 9는 본 발명의 또 다른 실시예에 따라, 동영상 코덱 변수 고려 모델, 네트워크 변수 고려 모델, 사용자 단말 변수 고려 모델 및 인지 품질 모델을 생성하는 동작을 설명하기 위한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 시스템의 구성을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 시스템은 품질 평가 서버(10), 네트워크(20) 및 사용자 단말(30)을 포함할 수 있다.
도 1을 참조하면, 품질 평가 서버(10)는 네트워크(20)를 통해 사용자 단말(30)로 송수신되는 영상 데이터를 기반으로 영상 데이터의 품질을 평가한다. 품질 평가 서버(10)는 동영상을 직접 인코딩하여 사용자 단말(30)로 전송하는 장치일 수 있다. 예컨대, 방송국 서버, 동영상 스트리밍 서버, 또는 미디어 서버일 수 있다. 다만, 반드시 상기 예로 한정되는 것은 아니다. 상기 예와 같이, 영상 데이터를 송신할 수도 있고, 경우에 따라 사용자 단말(30)로부터 영상 데이터를 수신하여 데이터의 품질을 평가할 수도 있다. 이 경우, 수신되는 영상 데이터의 정보를 기반으로 영상 품질을 평가하고, 평가 결과를 기반으로 결정된 영상 데이터 규격 정보를 사용자 단말(30)로 전송하여, 사용자 단말(30)이 상기 규격에 맞춰 영상 데이터를 송신하도록 지원할 수 있다. 경우에 따라, 상기 품질 평가 서버(10)는 서로 다른 사용자 단말(30) 간에 주고 받는 영상 데이터를 기반으로 영상 품질을 평가할 수도 있다. 여기서, 품질은 실제로 디스플레이되는 영상에 대해 사람이 인지할 수 있는지와 관련된 인지 품질이다. 인지 품질이 객관적인 품질뿐만 아니라, 사람의 주관적인 품질까지 고려한 사람이 느낄 수 있는 가장 정확한 품질이기 때문이다. 주관적인 품질은 동영상 인지 품질을 표시하는 지표로서 VQM(Video Quality Metric)이라는 지표가 사용될 수 있다. VQM은 VQEG(Video Quality Expert Group)에서 개발한 대표적인 지표로서, 특정 소프트웨어를 통해 산출될 수 있다. 이는 비디오의 인지적 특성들, 블러링(blurring), 부자연스러운 모션(unnatural motion), 소음(global noise), 블록/컬러 왜곡(block/color distortion)을 반영할 수 있다. 이렇게, 인지 품질 지표를 통해 상기 송수신되는 영상 데이터의 품질을 평가하되, 품질 평가의 입력 변수가 되는 정보로는 원본 영상의 압축과 관련된 동영상 코덱 변수, 네트워크 상태 변수 및 사용자 단말 변수를 고려할 수 있다.
본 발명의 일 실시예에 따르면, 품질 평가 서버(10)는 영상 데이터 인지 품질 평가 모델을 통해 영상 데이터의 품질을 평가하고, 이때, 영상 데이터 압축 모델로써, 비트율, 프레임율, 해상도 등의 기본적인 변수뿐만 아니라, 영상 유형 변수를 적용하여 영상의 움직임 정보, 복잡도를 정량적으로 측정하는 모델을 이용할 수 있다. 즉, 영상의 비트율, 프레임율, 해상도 및 영상 유형 정보를 통하여 해당 영상 데이터의 인지적 품질 지표(예컨대, VQM 지표)를 측정할 수 있다. 품질 평가 서버(10)는 동영상 코덱 변수 이외에, 네트워크 상태 변수로서, 패킷 손실 모델뿐만 아니라, 패킷 지연 모델을 추가적으로 고려하여 영상의 품질을 평가할 수 있다. 즉, 종래에는 패킷 손실 모델만을 고려한데 반해, 패킷 지연율 및 패킷 지연 변화율과 같은 정보를 통해 패킷 지연 모델을 더 고려하여, 보다 정확한 네트워크 상태를 파악할 수 있다. 추가적으로, 품질 평가 서버(10)는 다양한 사용자 단말(30)의 종류를 구분하기 위해, 각 단말의 화면 크기와 해상도를 고려한 PPI(Pixel Per Inch) 변수를 사용자 단말 변수로서 고려하여 영상의 품질을 평가할 수 있다. 이를 통해, 영상 데이터를 송수신하는 단말이 필요 이상으로 고해상도의 영상 데이터를 수신하여 무선 자원을 낭비하거나, 요구하는 해상도에 못 미치는 저해상도의 영상 데이터를 수신하여 사용자의 니즈를 충족시키지 못하는 문제를 해결할 수 있고, 단말에 특정한(UE-specific) 영상 데이터 규격에 따라 동영상 데이터를 송수신할 수 있다.
네트워크(20)는 상기 품질 평가 서버(10)와 사용자 단말(30) 간에 데이터를 송수신할 수 있도록 연결하는 구성으로, 무선 또는 유선 네트워크를 포함할 수 있다. 네트워크(20)는 사용하는 사용자 단말(30)의 수에 따라, 또는 할당된 무선 자원에 따라 패킷 손실율 또는 패킷 지연율과 같은, 데이터 전송율이 변화하게 되고, 품질 평가 서버(10)는 이렇게 변화되는 데이터 전송율을 기반으로 적절하게 영상 데이터를 변환하여 송수신해야 한다. 따라서, 품질 평가 서버(10)는 네트워크 상태 변수를 고려하여 영상 데이터를 송수신할 수 있다. 네트워크(20)와 관련된 정보는 수신 사용자 단말(30)로부터 획득할 수도 있고, 네트워크(20)를 관할하는 기지국으로부터 획득할 수도 있다.
사용자 단말(30)은 네트워크(20)를 통해 품질 평가 서버(10)로부터 영상 데이터를 송수신할 수 있다. 전술한 바와 같이, 영상 데이터를 수신하는 경우, 품질 평가 서버(10)로 사용자 단말(30)의 정보(예컨대, PPI 정보)를 제공하여 단말 특정한 규격에 맞춰 품질 평가 서버(10)로부터 영상 데이터를 수신할 수 있다. 또한, 영상 데이터를 전송하는 경우에는, 사용자 단말(30) 정보뿐만 아니라, 전송되는 영상과 관련된 인코딩 정보를 전송하여 품질 평가 서버(10)가 품질 평가를 수행할 수 있도록 지원하고, 경우에 따라서는 네트워크 상태 변수 정보도 사용자 단말(30)이 품질 평가 서버(10)로 전송할 수 있다. 이 경우, 사용자 단말(30)은 품질 평가 서버(10)에서 결정된 규격 정보를 수신하고, 상기 규격 정보에 맞게 영상 데이터를 변환하여 데이터를 송수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치(도 1의 품질 평가 서버와 대응됨)의 구성을 개략적으로 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치(200)는 인코더(210), 산출부(220), 규격 결정부(230) 및 통신부(240)를 포함할 수 있다. 이는 도 1에 도시된 바와 같이, 영상 데이터 품질 평가 장치(200)가 직접 영상 데이터를 인코딩하여 사용자 단말(290)로 전송하는 실시예를 나타낸다.
도 2를 참조하면, 인코더(210)는 사용자 단말(30)로 전송될 원본 영상을 압축 부호화하는 역할을 수행한다. 인코더(210)는 영상 데이터 압축시 비트율, 프레임율, 해상도, 영상 유형 정보 등의 변수를 기반으로 압축 부호화를 수행한다. 본 발명의 일 실시예에 따르면, 인코더(210)는 HEVC(High Efficiency Video Coding), H.264/AVC, H.263, MPEG-4, MPEG-3 비디오 코딩 표준에 따라 압축 부호화를 수행할 수 있다. 인코더(210)는 부호화를 수행한 후, 부호화와 관련된 정보(비트율, 프레임율, 해상도 정보 및 영상 유형 정보)를 산출부(220)로 전송하여 동영상 코덱 품질 예측 지표 값을 산출할 수 있도록 할 수 있다. 또한, 부호화된 영상 데이터는 통신부(240)로 전송되어 사용자 단말(290)로 전송될 수 있다. 인코더(210)는 규격 결정부(230)에서 결정된 영상 데이터 트래픽 규격에 맞게 압축 부호화를 수행할 수 있다.
산출부(220)는 인코더(210)로부터 동영상 코덱 변수 정보를 수신하고, 통신부(240)를 통해 네트워크 상태 변수 정보 및 사용자 단말 변수 정보를 수신하여, 동영상 코덱 품질 예측 지표 값, 네트워크 품질 예측 지표 값 및 사용자 단말 품질 예측 지표 값을 산출할 수 있다. 그리고는, 산출된 동영상 코덱 품질 예측 지표 값, 네트워크 품질 예측 지표 값 및 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출할 수 있다.
규격 결정부(230)는 상기 산출부(220)를 통해 산출된 최종 영상 품질 지표 값을 기반으로 적합한 무선 트래픽 규격을 결정할 수 있다. 규격 결정부(230)는 최종 영상 품질 지표 값의 범위를 나누어서, 특정 범위에 속하는 지표 값에 대응되는 트래픽 규격을 구분하여 놓고, 대응되는 트래픽 규격을 해당 영상 데이터에 적합한 규격으로 결정할 수 있다. 그리고는, 결정된 규격 정보를 통신부(240)를 통해 사용자 단말(290)로 전송할 수 있다. 또한, 인코더(210)로 전송하여, 해당 규격 정보에 맞게 인코딩이 수행될 수 있도록 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 산출부의 구성을 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 산출부(320)는 동영상 코덱 품질 산출부(322), 네트워크 품질 산출부(324), 단말 품질 산출부(326) 및 최종 영상 품질 산출부(328)를 포함할 수 있다.
동영상 코덱 품질 산출부(322)는 인코더(310)로부터 인코딩과 관련된 정보를 수신하고, 이를 기반으로 동영상 코덱 품질 예측 지표 값을 산출할 수 있다. 동영상 코덱 품질 산출부(322)는 동영상 코덱 품질 예측 지표 값을 산출하기 위해, 동영상 코덱 변수 고려 모델을 사용할 수 있다. 동영상 코덱 변수 고려 모델은 입력 변수로서 비트율 정보, 프레임율 정보, 해상도 정보뿐만 아니라 영상의 복잡도 및 움직임 정보를 기반으로 하는 동영상 유형 정보를 더 고려할 수 있다.
네트워크 품질 산출부(324)는 통신부(340)를 통해 네트워크 상태와 관련된 정보를 수신하고, 이를 기반으로 네트워크 품질 예측 지표 값을 산출할 수 있다. 상기 네트워크 상태 관련 정보는 네트워크를 관할하는 기지국 또는 사용자 단말(미도시)로부터 수신할 수 있다. 네트워크 관련 정보는 영상 데이터 품질 평가 장치(미도시)의 요청에 의해 응답하여 수신될 수 있다. 네트워크 품질 산출부(324)는 네트워크 품질 예측 지표 값을 산출하기 위해, 네트워크 상태 변수 고려 모델을 사용하고, 네트워크 상태 변수 고려 모델은 패킷 손실 모델 정보 및 패킷 지연 모델 정보를 고려할 수 있다.
단말 품질 산출부(326)는 통신부(340)를 통해 단말의 디스플레이 사양과 관련된 정보를 수신하고, 이를 기반으로 단말 품질 예측 지표 값을 산출할 수 있다. 단말 품질 산출부(326)는 단말 품질 예측 지표 값을 산출하기 위해, 단말 변수 고려 모델을 사용하고, 단말 변수 고려 모델은 사용자 단말의 장치 해상도 정보 및 화면 크기 정보를 기반으로 하는 단말 상태 모델(PPI) 정보를 고려할 수 있다.
최종 영상 품질 산출부(328)는 동영상 코덱 품질 산출부(322)에서 산출된 동영상 코덱 품질 예측 지표 값과, 네트워크 품질 산출부(324)에서 산출된 네트워크 품질 예측 지표 값과, 단말 품질 산출부(326)에서 산출된 단말 품질 예측 지표 값을 인지 품질 모델의 입력으로 하여, 최종 영상 품질 지표 값을 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 동영상 코덱 품질 산출부가 동영상 코덱 품질 예측 지표 값을 산출하는 구성을 구체적으로 나타낸 상세블록도이다.
도 4를 참조하면, 동영상 코덱 품질 산출부(420)는 인코더(410)로부터 원본 영상(402)에서 압축 영상(418)으로의 압축 부호화 과정에서의 정보를 수신한다. 전술한 바와 같이, 동영상 코덱 품질 산출부(420)는 동영상 코덱 변수 고려 모델을 이용하여 상기 수신된 정보를 입력으로 동영상 코덱 품질 예측 지표 값을 산출한다. 동영상 코덱 변수 고려 모델은 영상 데이터 압축과 관련된 인지 품질 예측 모델로서 해상도(404), 비트율(406) 및 프레임율(408)의 기본적인 변수와 함께, 영상 유형 변수(412)를 추가적으로 고려할 수 있다. 상기 동영상 코덱 변수 고려 모델은 5가지 이상의 영상(예컨대, 스포츠, 드라마, 애니메이션 등 서로 다른 유형의 영상을 포함함)을 이용하여 실험을 통해, 각각 다른 해상도(404), 비트율(406), 프레임율(408) 및 영상 유형 정보(412)를 입력으로 한 결과를 인지적 품질 지표인 VQM으로 측정하여 모델 계수를 확정함으로써 완성된 모델이다. 이때, 상기 영상 유형 변수(412)는 유형 측정 정보로 구성될 수 있는데, 이는 움직임 벡터(414) 정보 및 복잡도 정보(예컨대, 참조 프레임 비트율(416) 정보일 수 있음)를 포함할 수 있다. 움직임 벡터(414)는 영상 압축 표준 소프트웨어(예컨대, JM 소프트웨어)를 사용하여 원본 영상(402)으로부터 압축 영상(418)을 생성하는 압축 부호화 과정에서 생성되는 영상 전체의 평균적인 움직임 벡터 값으로 구성될 수 있다. 또한, 복잡도 정보는 영상의 참조 프레임의 비트율(416)을 통해서 획득될 수 있다. 이는 I 프레임의 비트율 수를 측정하여 획득될 수도 있다.
실험을 통해서 모델 계수가 확정됨에 따라 생성된 동영상 코덱 변수 고려 모델은 다음과 같은 수학식으로 표현될 수 있다.
Figure 112013121016278-pat00001
여기서, Mc는 동영상 코덱 변수 고려 모델의 의미하고, a 및 b는 실험을 통해 얻은 모델 계수이며, R은 해상도를, B는 비트율을 나타낸다. R 값과 관련하여, SD는 1로, VGA는 0.9로, CIF는 0.47로, QCIF는 0.03의 값을 가질 수 있다.
이때, a와 b는 다음과 같이 나타낼 수 있다.
Figure 112013121016278-pat00002
여기서, a와 관련하여, f는 프레임율을 나타내고, fmax는 최대 프레임율을, s는 영상 유형을 나타낸다. 또한, complexity는 복잡도 값이고, motion은 움직임 벡터 값을 나타내고, b1 및 b2는 모델 계수로서 실험을 통해 0.006 및 0.017의 값을 얻을 수 있다. 또한 여기서, cn과 kn은 상수이다. 이렇게, 생성된 동영상 코덱 변수 고려 모델을 통해 동영상 코덱 인지 품질을 계산할 수 있고, 이는 종래의 동영상 품질을 측정하는 모델보다 동영상 유형 정보를 더 고려하여, 보다 정확한 동영상 품질 지표 값을 산출할 수 있도록 한다.
동영상 코덱 품질 산출부(420)는 상기 동영상 코덱 변수 고려 모델을 통해 필요한 정보를 인코더(410)로부터 수신하여 동영상 코덱 품질 예측 지표 값을 산출하고, 이는 실제 사람이 동영상 품질의 변화를 인지하지 못하는 선에서 비트율이 최소로 되는 지점을 찾아 부호화 효율을 높이기 위해 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 네트워크 품질 산출부가 네트워크 품질 예측 지표 값을 산출하는 구성을 구체적으로 나타낸 상세블록도이다.
도 5를 참조하면, 네트워크 품질 산출부(530)는 통신부(520)로부터 네트워크(510)의 상태 변수 관련 정보를 수신한다. 전술한 바와 같이, 네트워크 품질 산출부(530)는 네트워크 상태 변수 고려 모델을 이용하여 상기 수신된 정보를 입력으로 네트워크 품질 예측 지표 값을 산출한다. 네트워크 상태 변수 고려 모델은 패킷 손실 모델(512) 및 패킷 지연 모델(514)을 포함할 수 있다. 패킷 손실 모델(512)은 손실 영향력 변수, 손실율 변수 및 Burst 정도 정보를 고려할 수 있다. 본 발명의 일 실시예에 따르면, 이는 UDP 프로토콜에 적용될 수 있다. 즉, UDP 프로토콜은 정보가 목적지까지 손실 없는 전송을 보장 못하기 때문에, 영상 정보 손실로 인해 영상 화질이 떨어질 가능성이 존재할 수 있고, 따라서, 패킷 손실 모델(512)을 고려해야 한다. 패킷 손실 모델(512)은 다음의 수학식으로 표현될 수 있다.
Figure 112013121016278-pat00003
여기서, MT는 패킷 손실 모델에 따른 네트워크 품질 예측 지표 값이고, P는 패킷 손실율, DP는 패킷 손실에 대해 어느 정도의 강인함을 가지는가를 나타내는 척도(손실 영향력 정보), B는 burst 정도를 나타내는 척도로서, 하단의 수학식으로 통해 산출될 수 있고, 여기서, Bd는 burst 밀도, BP는 burst들의 주기 Pb는 손실 중 burst 손실의 비율을 나타낸다.
또한, TCP 프로토콜에 사용되는 패킷 손실 모델(512)은
Figure 112013121016278-pat00004
로 표현될 수 있다.
이렇게 산출된 패킷 손실 값은 packet delay 값으로 나타나고, 최종 패킷 손실 모델식은 다음과 같이 표현될 수 있다.
Figure 112013121016278-pat00005
실험을 통해, α는 1.09, β는 0.629 값을 가질 수 있다.
다음으로, 패킷 지연 모델(514)은 패킷 지연율 및 패킷 지연 변화율을 고려한다. 본 발명의 일 실시예에 따르면, 손실이 없는 네트워크(510)에서는 패킷 손실 모델(512)을 고려하지 않고, 패킷 지연 모델(514)을 고려할 수 있다. 패킷 지연 모델(514)는 손실이 없는 네트워크 에퓰레이터를 통해 IP 네트워크(510)에서 전송하고자 하는 영상 데이터에 손실 및 지연을 가한 후, 패킷 지연 분포를 생성하여 영상 재생 시간, 버퍼링 위치, 그리고 버퍼링 시간을 계산하여 가상의 손상된 데이터를 생성하고, 인지품질 지표인 VQM 결과를 계산하고 나서, 비선형 회귀 분석 알고리즘을 적용해 모델 계수를 결정하는 방식을 사용하여 산출된 것이다. 최종 패킷 지연 모델식은 다음과 같이 표현될 수 있다.
Figure 112013121016278-pat00006
여기서, packet delay는 패킷 지연 값을 나타내고, 패킷 지연 모델(514)의 최종 모델 계수는 α는 1.406, β는 -0.005 값을 가질 수 있다. 네트워크 품질 산출부(530)는 상기 패킷 손실 모델(512) 및 패킷 지연 모델(514)을 고려하여 네트워크 품질 예측 지표 값을 산출하고, 이는 최종 영상 품질 지표 값을 산출하는데 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 단말 품질 산출부가 단말 품질 예측 지표 값을 산출하는 구성을 구체적으로 나타낸 상세블록도이다.
도 6을 참조하면, 단말 품질 산출부(630)는 통신부(620)로부터 사용자 단말(600)의 단말 변수 관련 정보를 수신한다. 전술한 바와 같이, 단말 품질 산출부(630)는 단말 변수 고려 모델(610)을 이용하여 상기 수신된 정보를 입력으로 단말 품질 예측 지표 값을 산출한다. 이때, 단말 변수 고려 모델(610)은 다양한 사용자 단말(600)의 종류를 구분하기 위한 모델로서, 각 단말 별로 계산될 인지 품질 지표를 사용하여 실험을 통해 완성된 모델이다. 단말 변수 고려 모델(610)은 단말의 화면 크기와 해상도를 고려한 PPI 변수를 각 단말을 구분하는 변수로 정하여 이 변수에 따른 인지 품질 지표 수치를 비교 분석하고 모델 계수를 결정하여 생성될 수 있다. 영상 데이터 품질 평가 장치(미도시)는 사용자 단말(600)에 PPI 관련 정보(예컨대, 장치 해상도 정보 및 화면 크기 정보)를 요청하고, 사용자 단말(600)은 이에 응답하여 관련 정보를 전송할 수 있다. 단말 변수 고려 모델(610)은 다음과 같이 표현될 수 있다.
Figure 112013121016278-pat00007
여기서, MD는 단말 변수 고려 모델을 통한 단말 품질 예측 지표 값이고, ad1 및 ad2는 모델 계수이며, pp는 PPI 값을 나타낸다. 실험을 통해, ad1은 0.04, 그리고, ad2는 0.78의 값을 가질 수 있다. 단말 품질 산출부(630)는 상기 단말 변수 고려 모델(610)를 이용하여 단말 품질 예측 지표 값을 산출하고, 이는 최종 영상 품질 지표 값을 산출하는데 사용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 데이터 품질 평가 장치의 최종 영상 품질 산출부가 최종 영상 품질 지표 값을 산출하고, 산출된 지표 값을 기반으로 규격 결정부가 무선 트래픽 규격을 결정하는 구성을 구체적으로 나타낸 상세블록도이다.
도 7을 참조하면, Mc 품질은 동영상 코덱 품질 예측 지표 값을, MT 품질은 네트워크 품질 예측 지표 값을 의미하며, MD 품질은 단말 품질 예측 지표 값을 의미할 수 있다. 최종 영상 품질 산출부(700)는 인지 품질 모델을 이용하여 상기 3가지 지표를 입력으로 최종 영상 품질 지표 값을 산출할 수 있다. 산출에 사용되는 인지 품질 모델은 다음과 같이 나타낼 수 있다.
Figure 112013121016278-pat00008
여기서, MOS는 최종 인지 품질 지표 값을 나타내고, MC는 동영상 코덱 품질 예측 지표 값을, MT는 네트워크 품질 예측 지표 값을, MD는 단말 품질 예측 지표 값을 나타낼 수 있다. 이를 UDP 및 TCP 네트워크에 따라 풀어서 나타내면 다음과 같이 나타낼 수 있다.
Figure 112013121016278-pat00009
상기 수학식을 통해 산출된 최종 영상 품질 지표 값은 규격 결정부(710)로 전송된다. 규격 결정부(710)는 상기 인지 품질 모델을 통해 산출된 최종 영상 품질 지표 값을 기반으로 적절한 규격을 결정한다. 규격 결정부(710)는 경우에 따라, 동영상 코덱 품질 예측 지표 값, 네트워크 품질 예측 지표 값 및 단말 품질 예측 지표 값 각각을 별도로 고려하여, 규격을 결정할 수 있다. 예컨대, 동영상 코덱 품질 예측 지표 값이 특정 기준 값 이하로 나온 경우, 다른 지표 값들(네트워크 품질 예측 지표 값, 단말 품질 예측 지표 값)을 고려하지 않고, 바로 상대적으로 낮은 품질의 전송 트래픽 규격으로 결정할 수 있다. 즉, 그렇게 하여도, 수신측에서의 인지 품질에는 영향이 없을 수 있기 때문이다. 규격 결정부(710)는 사용자 인터페이스(미도시)를 통해 특정 항목(예컨대, 비트율)의 요구치를 입력하여 정해 놓고, 해당 항목의 요구치에 대응하는 최대 인지 품질을 기준으로 차이값이 특정 임계 범위(실제로 사람이 동영상 품질 변화를 인지 못하는 범위 : 예컨대, 0.1 차이 정도) 미만으로 차이가 없도록 유지하면서, 상기 해당 항목(비트율)을 조절할 수 있고, 이에 맞는 규격으로 결정할 수 있다. 본 발명의 실시예에 따르면, 상기 임계 범위와 관련하여, 최종 영상 품질 지표 값이 0.334 값 이상 차이가 나면 사용자가 변화를 인지할 확률이 높으므로, 0.334 값을 임계 범위로 정하여 영상 전송 트래픽 규격을 결정하는 것이 바람직할 수 있다.
도 8은 본 발명의 다른 실시예에 따라, 인코더가 외부에 배치되어 통신부, 산출부 및 규격 결정부를 포함하여 구성된 영상 데이터 품질 평가 장치의 구성을 개략적으로 나타낸 블록도이다.
도 8을 참조하면, 인코더(800)는 영상 데이터 품질 평가 장치(810) 외부에 배치될 수 있고, 영상 데이터 품질 평가 장치(810)는 통신부, 산출부 및 규격 결정부를 포함할 수 있다. 이 경우, 동영상의 제공은 외부 모듈(본 실시예에서는 인코더(800))로부터 수행되고, 상기 영상 데이터 품질 평가 장치(810)는 외부의 인코더(800)로부터 압축된 영상 데이터와 부호화와 관련된 정보, 해상도 정보, 비트율 정보, 프레임율 정보 및 영상 유형 정보를 수신할 수 있다. 그리고는, 수신된 부호화 관련 정보를 기반으로 산출부는 동영상 코덱 품질 예측 지표 값을 산출할 수 있다. 본 실시예에 따르면, 서로 다른 사용자 단말(820)에 의해 영상 데이터를 송수신하는 환경을 고려할 수 있다. 즉, 사용자 단말 1이 영상 데이터를 송신하고, 사용자 단말 2가 영상 데이터를 수신하는 경우, 상기 영상 데이터 품질 평가 장치(810)는 송수신되는 영상 데이터의 인지 품질을 평가할 수 있다. 이 경우, 도 8의 인코더(800)는 사용자 단말 1 내부에 위치한 구성일 수 있다. 즉, 사용자 단말 1은 전송되는 압축 영상 데이터를 영상 데이터 품질 평가 장치(810)로 전송하고, 부호화와 관련된 정보를 상기 영상 데이터 품질 평가 장치(810)로 전송하며, 사용자 단말 2는 네트워크 관련 정보(패킷 손실 관련 정보 및/또는 패킷 지연 관련 정보) 및 사용자 단말 변수 정보(단말 PPI 정보)를 상기 영상 데이터 품질 평가 장치(810)로 전송할 수 있다. 상기 영상 데이터 품질 평가 장치(810)는 사용자 단말 1 및 2로부터 수신된 정보를 기반으로 영상 데이터의 인지 품질을 산출할 수 있고, 산출 결과 및 그에 대응하는 무선 트래픽 규격 정보를 사용자 단말 1 및 사용자 단말 2로 전송할 수 있다. 사용자 단말 1은 수신되는 규격 정보에 기초하여 영상 데이터의 인코딩을 수행하여 사용자 단말 2로 전송함으로써 효율적인 영상 데이터 전송이 이루어질 수 있다.
도 9는 본 발명의 또 다른 실시예에 따라, 동영상 코덱 변수 고려 모델, 네트워크 변수 고려 모델, 사용자 단말 변수 고려 모델 및 인지 품질 모델을 생성하는 동작을 설명하기 위한 블록도이다.
도 9를 참조하면, 동영상 코덱 변수 고려 모델(912: MC Model)을 생성하기 위해, 인코딩부(910)로부터 해상도, 비트율, 프레임율, 영상 유형 정보를 획득하고, 상기 정보, 즉, 해상도, 비트율, 프레임율 및 영상 유형 정보를 서로 다르게 하면서 인지 품질 지표(914: VQM) 값을 산출한다. 이때, 영상 유형 정보는 움직임 벡터 정보 및 참조 프레임 비트율 정보를 포함할 수 있다. 본 발명의 실시예에 따르면, 서로 다른 해상도, 비트율, 프레임율 및 영상 유형을 갖는 5가지 영상 데이터(스포츠 영상, 애니메이션 영상, 드라마 영상, 교육용 영상 및 영화 영상)의 압축 모델을 사용하여, 인지 품질 지표(914)로 결과를 측정한 후, 반복적으로, 다양한 경우의 수를 갖는 입력 변수와 그에 따른 결과(측정 데이터)에 대해 통계 분석을 수행한다. 통계 분석은 기초 통계 분석, 데이터 분석, 회귀/분산 분석, 다변량 분석 및 추세 분석/예측 방식 중 적어도 어느 하나를 적용할 수 있다. 통계 분석한 결과를 기반으로 비선형 모델 분석을 수행하여 계수를 결정함으로써 동영상 코덱 변수 고려 모델(912)을 완성할 수 있다.
다음으로, 네트워크 상태 변수 고려 모델(922: MT Model)과 관련하여, 네트워크(920)의 패킷 손실 모델(손실 영향력, 손실율 및 Burst 정도와 관련된 정보를 포함할 수 있음)뿐만 아니라 패킷 지연 모델(패킷 지연율 및 지연 변화율 정보를 포함할 수 있음)을 추가하여 네트워크 상태 변수 고려 모델을 완성한다. 즉, 네트워크 에뮬레이터를 통해 패킷 손실 및/또는 지연을 가하고, 패킷 손실 모델을 위해 손실된 패킷을 기반으로 하는 손상된 영상 데이터를 저장하고 이에 대한 인지 품질 지표(924: VQM)를 산출한다. 이때, 패킷 손실 정보를 변환하면서 다양한 결과를 생성하고, 결과 값에 대해 통계 분석을 수행하고, 이를 기반으로 비선형 모델 분석을 수행하여 계수를 결정함으로써 패킷 손실 모델을 완성할 수 있다. 또한, 패킷 지연 모델을 위해 매틀랩(Matlab)을 이용하여 제작한 코드로 지수 분포에 따른 패킷 지연 분포를 생성하여 영상 재생 시간, 버퍼링 위치 및 버퍼링 시간을 계산하여 가상읜 손상 데이터를 생성하고, 이를 역시, 인지 품질 지표(924) 결과를 산출하고, 비선형 회귀 분석 알고리즘을 이용하여 모델 계수를 결정하여 모델을 완성한다.
다음으로, 단말 변수 고려 모델(932: MD Model)과 관련하여, 다양한 사용자 단말(930)의 종류를 구분하기 위해 다양한 사용자 단말을 복수 개 구비하고, 이를 사용하여 실험 결과를 산출할 수 있다. 각 단말 별로 계산될 인지 품질 지표(934: VQM)를 사용하였고, 단말의 화면 크기와 해상도를 고려한 PPI 변수를 각 단말을 구분하는 변수로 정하여 이 변수에 따른 인지 품질 지표(934) 수치를 비교하여 모델 계수를 결정함으로써 모델을 완성한다.
마지막으로, 최종 영상 인지 품질 모델(942: M model)과 관련하여, 동영상 코덱 변수 고려 모델(912), 네트워크 상태 변수 고려 모델(922) 및 단말 변수 고려 모델(932)의 세 가지 모델을 모두 결함한 형태의 모델에서 결정되는 수치와 인지 품질 지표(944: VQM) 수치를 차례대로 나열하고, 비선형적인 특성을 선형적인 하나의 모델로 결정하기 위해, 비선형 회귀 분석 알고리즘을 이용하여 전체 모델의 모델 계수를 찾아 인지 품질 기반의 영상 데이터 모델(942)을 최종 완성할 수 있다.
이렇게 완성된 인지 품질 기반의 영상 데이터 모델(942)은 인지 품질 지표(944)와 비교하여 측정 영상 데이터의 품질 수치가 유사한 값과 분포로 나오나, 이는 동영상 코덱별, 네트워크 상태별 및 단말별 특징을 모두 정밀하게 분석하여 생성된 것으로, 일반 인지 품질 지표(944)보다 정확한 품질 지표를 산출할 수 있고, 이를 통해 사용자의 요구를 만족시키는 무선 트래픽의 최소 규격을 정할 수 있으며, 결과적으로 효율적인 네트워크 운용이 가능하다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 영상 데이터 품질 평가 방법에 있어서,
    동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하는 단계;
    네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과의 네트워크의 품질 예측 지표 값을 산출하는 단계;
    단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출하는 단계; 및
    상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  2. 제 1 항에 있어서,
    상기 동영상 코덱 변수 고려 모델, 상기 네트워크 상태 변수 고려 모델 및 상기 사용자 단말 변수 고려 모델의 모델 계수는 사람의 품질 인지 여부를 측정하는 인지적 품질 지표(VQM: Video Quality Metric)를 바탕으로 산출된 수치를 기반으로 생성되는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  3. 제 1 항에 있어서,
    상기 산출된 최종 영상 품질 지표 값을 기반으로 상기 영상 데이터 트래픽 규격을 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  4. 제 3 항에 있어서,
    상기 인지 품질 모델의 모델 계수는 상기 동영상 코덱 변수 고려 모델, 상기 네트워크 상태 변수 고려 모델 및 상기 사용자 단말 변수 고려 모델을 결합한 형태의 모델을 이용하여 결정되는 수치와 인지 품질 지표를 이용하여 산출된 수치를 나열하고, 비선형 회귀분석 알고리즘을 이용하여 산출되는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  5. 제 1 항에 있어서,
    상기 동영상 코덱 변수 고려 모델의 입력 변수로서 상기 대상 영상 데이터의 동영상 유형에 따른 동영상 유형 정보를 고려하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  6. 제 5 항에 있어서,
    상기 동영상 유형 정보는 상기 대상 영상 데이터의 압축 과정에서 생성되는 움직임 벡터 값을 이용하여 산출되는 움직임 정보 및 상기 대상 영상 데이터의 참조 프레임의 비트율을 통해 획득되는 복잡도를 정량적으로 측정한 정보를 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  7. 제 5 항에 있어서,
    상기 동영상 코덱 변수 고려 모델은 입력 변수로서 상기 동영상 유형 정보뿐만 아니라 상기 대상 영상 데이터의 프레임율 정보, 비트율 정보 및 해상도 정보를 더 고려하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  8. 제 1 항에 있어서,
    상기 네트워크 상태 변수 고려 모델은 패킷 손실 모델 및 패킷 지연 모델을 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  9. 제 8 항에 있어서,
    상기 패킷 지연 모델은 상기 대상 영상 데이터가 송수신되는 네트워크의 패킷 지연율 정보 및 패킷 지연 변화율 정보를 고려하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  10. 제 1 항에 있어서,
    상기 사용자 단말 변수 고려 모델은 입력 변수로서 사용자 단말의 화면 크기와 해상도를 고려한 PPI(Pixel Per Inch) 정보를 고려하는 것을 특징으로 하는 영상 데이터 품질 평가 방법.
  11. 영상 데이터 품질 평가 장치에 있어서,
    동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하는 동영상 코덱 품질 산출부;
    네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과의 네트워크의 품질 예측 지표 값을 산출하는 네트워크 품질 산출부;
    단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출하는 단말 품질 산출부; 및
    상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 최종 영상 품질 산출부를 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 장치.
  12. 제 11 항에 있어서,
    상기 동영상 코덱 변수 고려 모델, 상기 네트워크 상태 변수 고려 모델 및 상기 사용자 단말 변수 고려 모델의 모델 계수는 사람의 품질 인지 여부를 측정하는 인지적 품질 지표(VQM: Video Quality Metric)를 바탕으로 산출된 수치를 기반으로 생성되는 것을 특징으로 하는 영상 데이터 품질 평가 장치.
  13. 제 11 항에 있어서,
    상기 산출된 최종 영상 품질 지표 값을 기반으로 상기 영상 데이터 트래픽 규격을 결정하는 영상 데이터 규격 결정부를 더 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 장치.
  14. 제 11 항에 있어서,
    상기 동영상 코덱 변수 고려 모델의 입력 변수로서 상기 대상 영상 데이터의 동영상 유형에 따른 동영상 유형 정보를 고려하는 것을 특징으로 하는 영상 데이터 품질 평가 장치.
  15. 제 14 항에 있어서,
    상기 동영상 유형 정보는 상기 대상 영상 데이터의 압축 과정에서 생성되는 움직임 벡터 값을 이용하여 산출되는 움직임 정보 및 상기 대상 영상 데이터의 참조 프레임의 비트율을 통해 획득되는 복잡도를 정량적으로 측정한 정보를 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 장치.
  16. 영상 데이터 품질 평가 시스템에 있어서,
    동영상 코덱 변수 고려 모델을 이용하여 사용자 단말로부터 송수신되는 대상 영상 데이터의 동영상 코덱 품질 예측 지표 값을 산출하고, 네트워크 상태 변수 고려 모델을 이용하여 상기 사용자 단말과 관련된 네트워크의 품질 예측 지표 값을 산출하며, 단말 변수 고려 모델을 이용하여 사용자 단말 품질 예측 지표 값을 산출한 후, 상기 산출된 동영상 코덱 예측 지표 값, 상기 네트워크 품질 예측 지표 값 및 상기 사용자 단말 품질 예측 지표 값을 인지 품질 모델에 입력하여 최종 영상 품질 지표 값을 산출하는 영상 품질 평가 장치; 및
    상기 대상 영상 데이터를 송수신하고 사용자 단말과 관련된 정보를 상기 영상 품질 평가 장치로 전송하는 사용자 단말을 포함하는 것을 특징으로 하는 영상 데이터 품질 평가 시스템.
KR20130168195A 2013-12-31 2013-12-31 영상 데이터 품질 평가 장치, 방법 및 시스템 KR101465664B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130168195A KR101465664B1 (ko) 2013-12-31 2013-12-31 영상 데이터 품질 평가 장치, 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130168195A KR101465664B1 (ko) 2013-12-31 2013-12-31 영상 데이터 품질 평가 장치, 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101465664B1 true KR101465664B1 (ko) 2014-12-01

Family

ID=52676840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130168195A KR101465664B1 (ko) 2013-12-31 2013-12-31 영상 데이터 품질 평가 장치, 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101465664B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040744A (zh) * 2018-07-27 2018-12-18 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
CN110677639A (zh) * 2019-09-30 2020-01-10 中国传媒大学 一种基于特征融合和循环神经网络的无参考视频质量评价方法
CN110874547A (zh) * 2018-08-30 2020-03-10 富士通株式会社 从视频中识别对象的方法和设备
CN111510707A (zh) * 2020-04-23 2020-08-07 华侨大学 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法
CN117689611A (zh) * 2023-08-02 2024-03-12 上海荣耀智慧科技开发有限公司 质量预测网络模型生成方法、图像处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100733261B1 (ko) 2005-09-21 2007-06-27 에스케이 텔레콤주식회사 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법
JP2010098441A (ja) 2008-10-15 2010-04-30 Nec Corp 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
JP2012039530A (ja) 2010-08-10 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末
JP5277177B2 (ja) 2007-02-02 2013-08-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ビデオテレフォニー品質評価方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100733261B1 (ko) 2005-09-21 2007-06-27 에스케이 텔레콤주식회사 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법
JP5277177B2 (ja) 2007-02-02 2013-08-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ビデオテレフォニー品質評価方法及び装置
JP2010098441A (ja) 2008-10-15 2010-04-30 Nec Corp 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
JP2012039530A (ja) 2010-08-10 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040744A (zh) * 2018-07-27 2018-12-18 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
CN109040744B (zh) * 2018-07-27 2020-03-10 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
CN110874547A (zh) * 2018-08-30 2020-03-10 富士通株式会社 从视频中识别对象的方法和设备
CN110874547B (zh) * 2018-08-30 2023-09-12 富士通株式会社 从视频中识别对象的方法和设备
CN110677639A (zh) * 2019-09-30 2020-01-10 中国传媒大学 一种基于特征融合和循环神经网络的无参考视频质量评价方法
CN110677639B (zh) * 2019-09-30 2021-06-11 中国传媒大学 一种基于特征融合和循环神经网络的无参考视频质量评价方法
CN111510707A (zh) * 2020-04-23 2020-08-07 华侨大学 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法
CN117689611A (zh) * 2023-08-02 2024-03-12 上海荣耀智慧科技开发有限公司 质量预测网络模型生成方法、图像处理方法及电子设备

Similar Documents

Publication Publication Date Title
JP5970724B2 (ja) ビデオ符号化圧縮品質を取得するための方法および装置
KR101465664B1 (ko) 영상 데이터 품질 평가 장치, 방법 및 시스템
CN110139109B (zh) 图像的编码方法及相应终端
EP2615833A1 (en) A method for determining video quality
CN103533367B (zh) 一种无参考视频质量评价方法及装置
CA2958720A1 (en) Method and system for objective perceptual video quality assessment
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
WO2013173909A1 (en) Methods and apparatus for providing a presentation quality signal
JP2011514059A (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
CN111193927B (zh) 编码数据处理方法、装置、计算机设备和存储介质
CN114513655A (zh) 直播视频质量评价方法、视频质量的调整方法及相关装置
KR20130107687A (ko) 비디오 품질 측정 장치 및 그 방법
Alreshoodi et al. Prediction of perceptual quality for mobile video using fuzzy inference systems
Anegekuh et al. Encoding and video content based HEVC video quality prediction
Martínez-Rach et al. Quality assessment metrics vs. PSNR under packet lossscenarios in manet wireless networks
CN115174919B (zh) 一种视频处理方法、装置、设备及介质
Leszczuk Optimising task-based video quality: A journey from subjective psychophysical experiments to objective quality optimisation
Reiter et al. Comparing apples and oranges: assessment of the relative video quality in the presence of different types of distortions
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
Zhang et al. Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change
RU2420022C2 (ru) Способ определения качества видео
JP6373681B2 (ja) 客観画質評価装置、客観画質評価方法、およびプログラム
Martínez-Rach et al. On the performance of video quality assessment metrics under different compression and packet loss scenarios
Sevcik et al. Prediction of subjective video quality based on objective assessment
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 5