KR100934539B1 - 멀티미디어 비디오 통신 품질 측정 방법 - Google Patents

멀티미디어 비디오 통신 품질 측정 방법 Download PDF

Info

Publication number
KR100934539B1
KR100934539B1 KR1020077013860A KR20077013860A KR100934539B1 KR 100934539 B1 KR100934539 B1 KR 100934539B1 KR 1020077013860 A KR1020077013860 A KR 1020077013860A KR 20077013860 A KR20077013860 A KR 20077013860A KR 100934539 B1 KR100934539 B1 KR 100934539B1
Authority
KR
South Korea
Prior art keywords
watermark
multimedia video
data
blocks
original
Prior art date
Application number
KR1020077013860A
Other languages
English (en)
Other versions
KR20070088716A (ko
Inventor
푸즈헹 양
종 루오
슈아이 완
이린 창
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20070088716A publication Critical patent/KR20070088716A/ko
Application granted granted Critical
Publication of KR100934539B1 publication Critical patent/KR100934539B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

멀티미디어 통신의 품질을 검출하기 위한 방법이 개시된다. 상기 방법은 멀티미디어 비디오 데이터의 품질에 영향을 주지 않고 워터마크를 삽입 및 추출함으로써 멀티미디어 통신의 품질을 객관적으로 나타낸다. 멀티미디어의 모든 프레임은 균일하게 블록화되고, 워터마크는 모든 블록에 삽입되어 워터마크의 일정한 분산을 실현한다. 멀티미디어 데이터는 그룹화된 멀티프레임이고, 워터마크는 동일한 간격으로 모든 그룹의 부분 프레임에 삽입되어 데이터에 대한 워터마크의 영향을 더 감소시킨다. 워터마크 정보는 오리지널 멀티미디어 데이터의 공간 영역에 직접 삽입된다. 멀티미디어 데이터의 PSNR은 멀티미디어 통신의 측정 표준 품질로서 복구된 워터마크와 오리지널 워터마크의 비교의 정확도에 맞춰진다(fitted). 워터마크를 추출한 후에, 멀티미디어 데이터의 워터마크의 영향을 제거하기 위해, 평탄해진(smoothed) 필터링과 같은 후처리가 비디오 이미지에 행해진다.

Description

멀티미디어 비디오 통신 품질 측정 방법{METHOD FOR DETECTING THE QUALITY OF THE MULTIMEDIA COMMUNICATION}
본 발명은 멀티미디어 통신 기술에 관한 것으로서, 보다 구체적으로는 멀티미디어 비디오 통신 품질을 측정하는 방법에 관한 것이다.
멀티미디어 정보 시대의 도래와 함께, 다양한 멀티미디어 처리 및 통신 기술 특히 비디오 처리 및 비디오 통신 기술들이 출현하였다. 따라서, 디지털 비디오에 대한 품질 평가는 점점 더 중요해지고 있다. 디지털 비디오는 최근 멀티미디어 비디오 통신에 대한 가장 중요한 미디어이다. 네트워크 스트리밍 미디어(예컨대, 네트워크 영화, 네트워크 TV 등), 비디오 회의 및 비디오 전화 등은 모두 비디오를 기반으로 한 멀티미디어 어플리케이션이다. 멀티미디어 어플리케이션 서비스에 대한 소비자 만족은 비디오 품질에 따라 크게 좌우된다. 디지털 비디오 신호 전송은 아날로그 비디오 신호의 샘플링, 양자화, 압축 코딩, 네트워크 전송, 디코딩 및 복구와 같은 과정을 포함하며, 일부 프로세스에서는 특히, QoS(Quality of Service) 보장 없는 네트워크 전송(예컨대, 패킷 전송 네트워크), 에러 및 정보 왜곡이 각 프로세스에 유도되어 소비자의 만족도를 감소시킬 수 있다. 멀티미디어 비디오 통신 품질은 원래 신호에 대한 디지털 멀티미디어 신호의 왜곡을 측정하는 기준이다. 비디오 품질 평가는 비디오 압축, 처리 및 비디오 통신 분야에서 매우 중요한 역할을 한다. 실시간 또는 비 실시간 비디오 시스템의 성능 및 다양한 비디오 통신 전송 채널의 QoS는 결국 비디오 품질로 반영되고, 코덱 또는 채널의 파라미터들을 조정하는 피드백이 주어지므로, 허용 가능한 범위 내의 비디오 품질을 보장하게 된다. 다양한 서로 다른 코덱들의 출력 비디오 품질의 측정을 이해하기 쉬운 한가지 방법이 제공되며, 코덱의 성능이 설계, 평가 및 최적화된다. 인간의 시각적 모델에 따른 그래픽 및 이미지 디스플레이 시스템이 설계 및 최적화된다.
무선 및 IP(Internet Protocol) 전송 비디오 시스템에서 비디오 품질에 영향을 주는 2가지 팩터는 다음과 같다. 하나는 비디오 품질이 비디오 압축 때문에 품질저하된다는 것이고, 다른 하나는 상대적으로 좋지 않은 채널 환경 때문에 비디오 품질이 채널 패킷 손실 및 랜덤 에러 코드에 영향을 받는고, 특히 비디오 콘텐츠는 헤더 정보 및 움직임 벡터의 다양한 에러에 손상을 받는다는 것이다. 몇 가지 허용불가한 모자이크 블록들이 종종 이들 손상된 비디오 콘텐츠에 형성되고, 복구된 비디오의 본질적인 품질에 상당한 영향을 준다. 따라서, 측정을 기반으로 한 비디오 품질 측정, 피드백 정정 및 테스트 개발은 무선 및 IP 전송을 향해 진화하는 현재 멀티미디어 비디오 통신에 바람직하다.
비디오 품질 평가는 또는 비디오 통신 장치 제조자 및 전기통신 운영자에 대해 매우 중요한 것이다. 장비 제조자들에 대해서는, 시스템의 확실한 비디오 품질 평가 결과를 제공하면 그 제품의 판매를 상당히 촉진할 수 있다. 운영자들에게는, 비디오 품질의 평가 데이터는 그 서비스의 보급 및 전파에 사용될 수 있다. 또한, 제조자 및 운영자가 비디오 장비에 대한 실시간 모니터링을 수행할 수 있는 기반이 되는 자동 실시간 비디오 품질 평가 방법을 개발하면 트러블 슈팅 및 오류 진단을 촉진할 수 있을 것이다.
비디오 품질 평가는 주관적 품질 평가와 객관적 품질 평가로 구분될 수 있다. 주관적인 품질 평가 결과는 신뢰할 수 있지만, 주관적 평가는 비디오 품질에 대한 주관적인 평가는 인간 테스트 주체 때문에 제한적이게 되는데, 그것은 인간 테스트 주체의 참가에 의존하고, 그러한 테스트는 복잡하고 특히 실시간 요구가 있는 응용 환경에서 평가에 대해 널리 적용되기 힘들기 때문이다. 객관적인 품질 평가는 또다른 관점으로부터의 양자화된 방법을 사용하여 비디오 품질을 측정하며, 고 효율로, 인간의 참가 없이 자동으로 수행될 수 있다.
객관적인 품질 평가는 다음 3가지로 더 분류될 수 있다.
(1) 풀 오리지널 비디오 시퀀스가 필요한 풀 레퍼런스 모델;
(2) 오리지널 비디오 시퀀스의 부분적 통계 특성이 필요한 부분적 레퍼런스 모델;
(3) 오리지널 비디오 시퀀스에 대한 정보가 필요없는 레퍼런스 모델.
풀 레퍼런스 및 부분적 레퍼런스 평가 모델은 필요한 레퍼런스 비디오 시퀀스를 실제 응용에서 획득할 수 없기 때문에 널리 사용되지 않고, 따라서 레퍼런스 정보가 필요없는 새로운 객관적 실시간 비디오 품질 평가 방법이 바람직하다. 현재, VQEG(Video Quality Experts Group)은 레퍼런스 없는 비디오 품질 평가 방법을 연구하고 그 표준을 구성하는데 전력을 쏟고 있다.
PSNR(Peak Signal-to-Noise Ratio)은 계산하기 용이하고, 명백한 물리적 의미를 가지며, 이미지의 왜곡 정도를 실질적으로 반영하기 때문에 다수의 객관적 품질 평가 표시에 사용된다.
디지털 미디어는 액세스, 복사, 전송 및 편집이 용이한 반면에, 디지털 미디어 저작권을 표절하고, 디지털 미디어 콘텐츠를 삽입하는 등의 문제점이 발생한다. 따라서, 디지털 미디어 저작권을 보호하기 위한 디지털 워터마크 기술이 제안되었다.
디지털 워터마크 기술은 최근에 개발되어 널리 사용된다. 오리지널 미디어 데이터에 내장된 워터마크 정보는 일련의 정보를 오리지널 미디어 데이터에 내장함으로써 항상 오리지널 미디어 데이터와 함께 존재하고, 따라서 오리지널 데이터의 저작권 및 콘텐츠의 무결성이 보호될 수 있다. 기술의 발전과 함께, 저작권 보호 외에, 디지털 워터마크 기술은 다른 많은 분야에 사용될 수 있다. 예를 들어, 앞서 언급한 멀티미디어 비디오 통신 품질 측정은 부분적 레퍼런스 모델 방법과 같이 오리지널 비디오 이미지를 모르는 상태에서 채널 전송 전의 워터마크 이미지와 채널 전송 후의 왜곡된 워터마크 이미지를 참조하여 오리지널 이미지의 상태를 간접적으로 반영함으로써 디지털 워터마크를 임베드및 추출함으로써 달성할 수 있고, 그에 따라 품질 측정, 계산 및 평가가 수행된다.
디지털 워터마크는 오리지널 데이터 중 임의의 부분에 내장될 수 있으나, 오리지널 데이터에 대한 영향은 최대한 감소 되어야 한다. 디지털 워터마크 기술은 디지털 워터마크 임베드방법에 따라 공간 영역의 디지털 워터마크 기술 및 변형 영 역의 디지털 워터마크 기술로 분류될 수 있다. 디지털 워터마크 기술에서, 워터마크 정보는 미디어의 공간 영역에 직접 내장된다. 예를 들어, 정보는 이미지의 픽셀에 내장된다. 변형 영역의 디지털 워터마크 기술에서, DFT(Discrete Fourier Transform), DCT(Discrete Cosine Transform) 또는 DWT(Discrete Wavelet Transform) 등의 변환이 우선 미디어에 대해 수행된 후에, 워터마크 정보가 변형 영역에 내장된다.
도 1은 디지털 워터마크의 원리를 나타내는 블록도이다. 이 도면에서, 마스터 미디어 I0는 일반적으로 비디오 또는 오디오 등의 오리지널 또는 압축된 멀티미디어 데이터이고, 숨겨질 데이터 b0는 I0에 비해 적은 데이터만을 갖는다. 워터마크가 내장된 미디어 I1와 I0 사이의 차이점은 내장된 워터마크에 기인한다. 일반적으로, 그러한 왜곡은 인간에 의해 감지되지 않는 것이 바람직하다. 미디어 I2는 I1에 데이터 압축, 노이즈 혼합 및 노이즈로 간주될 수 있는 워터마크에 대한 의도적 공격과 같은 몇가지 처리를 수행함으로써 획득된다. 따라서, I2로부터 추출된 워터마크 b1는 오리지널 워터마크 b0와 비교하여 어느 정도 왜곡될 수 있다. I2가 I1과 동일하다면, I2로부터 추출된 워터마크 b1은 오리지널 워터마크 b0와 동일하여야 한다.
워터마크 임베드및 추출을 위한 공통 수학 모델은 I0와 I1이 각각 오리지널 데이터와 워터마크가 내장된 데이터를 나타내고, b0는 오리지널 워터마크를 나타내고, 워터마크 임베드 프로세스는 I1=I0+f(I0,b0)으로 표현될 수 있고, 여기서 f(I0,b0)는 워터마크 임베드 알고리즘을 나타낸다는 것이다. 워터마크 측정 프로세스는 H0 : b1=I2-I0=N인 경우에, 워터마크는 존재하지 않고, H1 : b1=I2-I0=b0+N이면, 워터마크가 존재한다는 것으로 표현될 수 있다. N은 노이즈를 나타낸다. 예를 들어, 노이즈는 데이터 압축, 노이즈 혼합 및 워터마크에 대한 의도된 공격 등에 의해 야기될 수 있다. 워터마크가 내장된 데이터는 처리 뒤에는 어느 정도 왜곡될 것이고, 처리된 데이터로부터 측정된 워터마크는 오리지널 워터마크와 어느 정도 다를 수 있다.
워터마크 측정 기술은 통상적인 신호 검출 기술에 의해 공통적으로 구현되며, 신호 검출 기술은 목적지로부터 신호를 반사하는 것이 데이터 반사 신호에 포함되어 있는 여부와 같이 목적지 신호가 노이즈에 존재하는지, 또 목적지 신호가 전재하면 통계 원리를 사용하여 어떻게 최적 신호 추출을 수행하는지를 연구하는데 사용된다. 통계 가설 테스트/검증은 신호가 노이즈에 존재하는지를 결정하는데 사용된다. 워터마크 측정 프로세스는 2개의 가설 H0 및 H1을 제시하고, 테스트 결과에 따라 어느 가설이 옳은지를 결정하며, 그에 따라 워터마크가 존재하는지를 알아내는 단계를 포함한다.
현재, 디지털 워터마크를 기반으로 한 멀티미디어(비디오 및 이미지) 품질 평가를 위한 모든 방법들은 동일한 원리를 따른다. 도 2는 디지털 워터마크를 기 반으로 한 비디오 통신 품질 측정의 원리를 나타내는 블록도를 나타내고, 그 기본 원리에 대해서 이하에서 설명한다.
오리지널 이미지에 비해서는 매우 작은 워터마크 이미지는 오리지널 이미지에 내장되고, 따라서 부가된 이미지 양은 오리지널 이미지의 데이터 양에 비해 무시할 만하고, 멀티미디어 품질에 거의 영향을 미치지 않는다. 워터마크가 내장된 오리지널 이미지는 전송 채널을 통과한 후에 왜곡되고, 그로부터 추출된 워터마크 이미지도 왜곡될 것이다. 워터마크는 오리지널 이미지의 모든 곳에 내장되고, 워터마크 이미지용 품질 측정은 분산된 샘플링 후의 오리지널 이미지용 측정과 균등하다. 워터마크의 분산이 충분히 일정한 한, 왜곡된 이미지의 품질은 워터마크 이미지의 품질 측정에 의해 충분히 반영될 수 있다. 오리지널 이미지가 통신의 양단에 의해 공유되는 반면에, 수신 측은 복구된 워터마크 이미지와 알고 있는 오리지널 워터마크 이미지를 비교함으로써 통신 품질을 측정하고, 따라서 워터마크용 품질 평가는 사실 레퍼런스를 가지고 평가하는 것이 된다.
도 3은 디지털 워터마크를 기반으로 한 멀티미디어 비디오 통신 품질의 측정의 예를 나타낸다. 좌측은 오리지널 워터마크 이미지이고, 흑백(에러 위치를 결정하기 쉬운) 2레벨 이미지이다. 중간은 워터마크가 내장되고, JPEG(Joint Photographic Experts Group) 표준 압축 및 전송 프로세스 중 네트워크 패킷 손실이 발생한 후의 국제 표준 테스트 이미지 Lena의 왜곡된 이미지이다. 저작권은 왜곡된 Lena 이미지로부터 추출된 복구된 워터마크가 되고, 여기서 흩어져 분산된 검은색 점들 및 흰색 점들은 압축에 기인한 왜곡들이고, 복구된 Lena 이미지의 3개의 명확한 왜곡들에 해당하는 큰 검은색 점들 및 흰색 점들은 패킷 손실과 같은 에러에 의해 야기된 것이다.
실제 응용예에서, 전술한 솔루션이 사용되면 워터마크 이미지 내장은 불가피하게 멀티미디어 비디오 데이터의 유효성 및 비디오 품질을 저하시키게 된다. 이론적으로, 더 많은 양의 워터마크 정보가 비디오에 임베드될수록, 전체 이미지가 워터마크 정보에 의해 보다 양호하게 커버될 수 있고, 더 많은 샘플들이 제공될 수 있다. 따라서, 추출된 워터마크 정보는 오리지널 정보를 완전하게 반영할 수 있고, 획득된 비디오 품질 평가는 보다 정확하게 된다. 반면에, 더 많은 양의 정보가 비디오에 임베드될수록, 비디오의 품질이 더 많이 영향을 받게 된다. 따라서, 비디오 품질은 저하된다. 즉, 디지털 워터마크를 기반으로 한 비디오 품질 평가 방법에는 모순이 있다. 즉 더 많은 정보가 비디오에 임베드될수록, 비디오 품질 측정은 더 정확해 지지만, 내장된 워터마크 정보가 비디오 품질에 더 많은 영향을 주게 된다. 종래 기술은 이러한 모순을 해결할 수 없고, 따라서 비디오 통신 품질이 영향을 받지 않아야 한다는 전제 조건 하에서, 비디오 통신 품질은 워터마크를 임베드및 추출함으로써 정확하게 측정 및 계산될 수 없다.
이러한 경우의 주된 이유는 종래 기술에서는 워터마크 정보가 멀티미디어 데이터 전체에 균일하게 내장되지 않고, 이것은 멀티미디어 비디오 통신 품질은 적은 양의 워터마크 정보에 의해 완전하게 반영되지 않게 되는 반면에, 너무 많은 워터마크 정보는 멀티미디어 비디오 데이터에 영향을 줄 것이기 때문이다.
본 발명의 일 실시예에 따라 멀티미디어 비디오 통신 품질을 측정하는 방법이 제공된다. 상기 방법은 객관적 품질 평가이며, 따라서 멀티미디어 비디오 통신 품질은 멀티미디어 비디오 데이터의 품질이 명백하게 영향받아서는 안된다는 전제 조건 하에서 디지털 워터마크를 임베드및 추출함으로써 객관적으로 반영될 수 있다.
멀티미디어 비디오 데이터 품질에 대한 워터마크의 영향을 제거하기 위해 워터마크 추출 후에 평탄해진(smoothed) 필터링과 같은 후처리가 비디오 이미지에 대해 수행된다.
본 발명의 일 실시예에 따라, 멀티미디어 비디오 통신 품질을 측정하는 방법에 있어서,
송신단에서 오리지널 워터마크 데이터를 멀티미디어 비디오 데이터를 균일하게 임베드하고, 상기 멀티미디어 비디오 데이터를 수신단으로 전송하는 단계;
상기 수신단에서 상기 수신된 멀티미디어 비디오 데이터로부터 복구된 워터마크를 추출하는 단계;
상기 오리지널 워터마크에 상대적인 복구된 워터마크의 왜곡 정도를 계산하는 단계를 포함하는 멀티미디어 비디오 통신 품질 측정 방법이 제공된다.
바람직하게는, 상기 방법은 오리지널 워터마크를 상기 오리지널 멀티미디어 데이터에 균일하게 임베드하는 단계,
상기 송신단에서 압축 코딩 또는 데이터 패키징 또는 프레이밍을 수행하는 단계, 및
상기 수신단으로 데이터를 전송하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 방법은 멀티미디어 비디오 데이터 프레임을 동일한 크기의 블록들로 균일하게 분할하는 단계, 및 상기 송신단에서 동일한 양의 오리지널 워터마크 데이터를 상기 블록들의 일부 또는 모든 블록들에 임베드하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 송신단에서 상기 멀티미디어 비디오 데이터를 각각 동일한 수의 프레임을 포함하는 그룹들로 분할하는 단계, 동일한 그룹의 동일한 간격을 갖는 적어도 2개의 프레임을 임베드된 프레임으로 선택하는 단계, 상기 임베드된 프레임 각각을 동일한 크기의 다수의 블록들로 균일하게 분할하는 단계, 상기 다수의 블록들로부터 동일한 수의 블록들을 임베드된 블록들로 선택하는 단계, 및 동일한 양의 오리지널 워터마크 데이터를 상기 임베드된 블록 각각에 임베드하는 단계를 더 포함한다.
각 멀티미디어 비디오 데이터 프레임은 M행 × N열 픽셀들을 포함하고, M개의 행은 0부터 M-1까지 넘버링되고, N개의 열은 0부터 N-1까지 넘버링되며, 멀티미디어 비디오 데이터를 동일한 크기의 블록들로 균일하게 분할하는 단계는,
각 멀티미디어 비디오 데이터 프레임을 0부터 m-1까지 넘버링된 m개의 스트립으로 분할하는 단계로서, 상기 스트립 i(i=0,1,…,m-2)는 행 i×kv 부터 행 (i+1)×kv-1까지의 픽셀들을 포함하고, 스트립 m-1은 행 (m-1)×kv부터 행 M-1까지의 픽셀들을 포함하며, 여기서 m은 M/Kv보다 크거나 같은 최소 정수이고, m=M/k이면, 스트립 m-1은 제로 행 픽셀들을 포함하는 단계;
스트립 i(i=0,1,…,m-1)를 i×n부터 (i+1)×n-1까지 넘버링된 n개의 블록들로 분할하는 단계로서, 블록 i×n+j(0,1,…,n-2)는 열 j×kh부터 열(j+1)×kh-1까지의 픽셀들을 포함하고, 블록 n-1은 열(n-1)×kh부터 열 N-1까지의 픽셀들을 포함하고, 여기서 n은 N/kh보다 크거나 같은 최소 정수이고, n=N/kh이면, 스트립 n-1은 제로 열 픽셀들을 포함하는 단계;
동일한 양의 오리지널 워터마크 데이터를 상기 획득된 m×n 블록들 각각에 임베드하는 단계를 포함한다.
상기 멀티미디어 비디오 데이터는 0부터 L-1까지 넘버링된 L개의 블록들로 균일하게 분할되고, 상기 오리지널 워터마크를 임베드하는 단계는,
프레임 시퀀스를 각각 P×Q개의 프레임들을 포함하며, 상기 프레임들은 순차적으로 프레임 0부터 프레임 P×Q-1까지인 그룹들로 분할하는 단계;
각 그룹의 프레임 q×P(q=0,1,…,Q-1)를 임베드된 프레임으로 선택하는 단계;
상기 임베드된 프레임 q×P(q=0,1,…,Q-1) 중 블록 q+r×Q(r=0,…,R-1이고, q+r×Q≤L)을 상기 임베드된 블록으로 선택하는 단계로서, 상기 R은 L/Q 보다 작거나 같은 최대 정수인 단계;
동일한 양의 상기 오리지널 워터마크 데이터를 상기 그룹의 모든 임베드된 블록들에 임베드하는 단계를 포함한다.
바람직하게, 상기 방법은 상기 데이터 블록의 크기에 따라 상기 블록의 일부 또는 모든 블록에 임베드된 오리지널 워터마크 데이터의 비트 수를 결정하는 단계를 더 포함할 수 있다.
상기 오리지널 워터마크의 1비트 데이터를 상기 멀티미디어 비디오 데이터 블록에 임베드하는 단계는,
삭제
픽셀에 따라 상기 멀티미디어 비디오 데이터 블록의 평균값 μ을 계산하는 단계;
b'=b+c에 다라 상기 멀티미디어 비디오 데이터 블록의 각 픽셀 값을 변형하는 단계로서, b'는 픽셀의 변형된 값이고, b는 변형 전의 픽셀 값이며, c는 변형 양인 단계를 포함하고,
상기 변형 양은 다음 공식에 따라 계산된다.
상기 오리지널 워터마크 데이터 비트가 1이면,
Figure 112007044291731-pct00001
상기 오리지널 워터마크 데이터 비트가 0이면,
Figure 112007044291731-pct00002
이고, 여기서 γ는 μ를 2A로 나눈 나머지이고, A는 임베드 강도를 나타내고 2×Qp-1에 해당하며, Qp는 멀티미디어 비디오 통신 압축 코딩에 대한 양자화 팩터를 나타낸다.
상기 수신된 멀티미디어 비디오 데이터 블록으로부터 복구된 워터마크의 데이터 비트를 추출하는 단계는,
픽셀에 따라 상기 멀티미디어 비디오 데이터 블록의 평균값 μ'을 계산하는 단계;
삭제
다음 공식에 따라 상기 복구된 워터마크의 추출된 데이터 ω'를 계산하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
Figure 112007044291731-pct00003
이고, 여기서 γ'는 μ'를 2A를 나눈 나머지이고, A는 임베드 강도를 나타내고, 2×Qp-1에 해당하며, Qp는 상기 멀티미디어 비디오 통신 압축 코딩에 대한 양자화 팩터를 나타낸다.
상기 방법은 상기 멀티미디어 비디오 통신의 객관적인 품질을 측정하기 위해 상기 복구된 워터마크의 PRR(Pixel Recovery Rate)를 사용하여 상기 오리지널 워터마크에 상대적인 PSNR(Peak Signal-to-Noise Ratio)을 계산하는 단계;
상기 멀티미디어 비디오 통신의 객관적인 품질을 계산하기 위해 멀티미디어 비디오 통신 실험의 통계를 기반으로, 평균 제곱 에러 기준에 따라 상기 복구된 워터마크의 PPR의 선형함수를 사용하여 오리지널 워터마크에 상대적인 PSNR의 평가된 값을 획득하도록 피팅(fitting)하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 상기 멀티미디어 비디오 통신의 객관적인 품질을 측정하기 위해 상기 오리지널 워터마크에 상대적인 상기 복구된 워터마크의 왜곡 정도를 계산하는 단계를 더 포함한다.
상기 방법은 상기 오리지널 워터마크에 상대적인 상기 복구된 워터마크의 PRR을 사용하여 상기 오리지널 워터마크에 상대적인 상기 복구된 워터마크의 왜곡 정도를 계산하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 상기 복구된 워터마크를 추출한 후에, 상기 워터마크 임베드의 영향을 제거하기 위해 상기 수신된 멀티미디어 비디오 데이터를 후처리하는 단계를 더 포함하고, 상기 후처리는,
평탄화(smoothing) 필터링, 중간 필터링, 신경 네트워크 필터링, 수학적 형태 필터링 및 퍼지 수학 방법을 기반으로 한 필터링 중 하나를 포함한다.
상기 방법은, 상기 오리지널 워터마크, 관련 변수, 및 상기 오리지널 워터마크를 임베드하는 전략을 결정하는 단계, 및 상기 송신단과 상기 수신단 사이의 통신 협상을 통해 상기 복구된 워터마크를 추출하는 단계를 더 포함할 수 있다.
상기 방법은 상기 오리지널 워터마크, 상기 관련 변수, 및 상기 오리지널 워터마크를 임베드하는 전략을 결정하는 단계, 상기 송신단에서 상기 복구된 워터마크를 추출하는 단계, 및 통신 전에 상기 수신단에게 알려주는 단계를 더 포함한다.
컬러 이미지에 대해서, 상기 오리지널 워터마크는 상기 오리지널 멀티미디어 데이터의 조도 성분에 임베드된다.
멀티채널 이미지에 대해서, 상기 오리지널 워터마크는 상기 오리지널 멀티채널 이미지 데이터의 하나 이상의 채널에 임베드된다.
상기 오리지널 워터마크는 2레벨 이미지이다.
종래 기술에 비해, 본 발명의 실시예들의 기술적 솔루션에 따르면, 멀티미디어 비디오 데이터의 각 프레임은 동일한 크기의 블록들에 균일하게 분할되고, 워터마크 데이터는 완전히 일정한 워터마크 분산에 대해 각 블록에 내장된다. 따라서 워터마크에 의해 멀티미디어 비디오 통신 품질을 반영하는 정확도가 향상된다.
또한, 멀티미디어 비디오 데이터의 프레임은 그룹들로 분할되고, 워터마크는 완전히 일정한 워터마크 분산을 위해 각 그룹의 프레임의 일부에 동일한 간격으로 내장된다. 워터마크 정보의 양은 감소된다. 멀티미디어 비디오 데이터에 대한 워터마크 내장의 영향은 감소된다. 멀티미디어 비디오 통신 품질은 보장되고, 정확하게 측정된다.
또한, 워터마크 정보는 오리지널 멀티미디어 데이터 또는 비디오 공간 영역에 직접 및 균일하게 내장되며, 워터마크는 멀티미디어 또는 비디오의 직관적 품질 반영과 완전히 동일할 수 있고, 멀티미디어 비디오 통신 품질 평가의 정확도는 향상된다.
오리지널 워터마크에 대해 복구된 워터마크의 정확도율을 사용하여 멀티미디어 비디오 데이터의 선형적으로 피팅된(fitted) PSNR은 멀티미디어 비디오 통신 품질에 대한 측정 표준으로 간주되며, 이것은 통신 상태를 정확하게 반영할 수 있다.
멀티미디어 비디오 데이터 또는 비디오 품질에 대한 워터마크의 영향의 제거하기 위해, 워터마크 추출 후에 비디오 이미지에 대해 평탄화된 필터링, 중간(median) 필터링, 신경 네트워크 필터링, 수학적 형태 필터링 또는 퍼지 수학 방법을 기반으로 한 필터링과 같은 후처리가 수행된다.
본 발명의 일 실시예에 따라, 블록들 및 그룹들을 분할하는 방법을 사용하여, 워터마크를 멀티미디어 비디오 데이터에 균일하게 내장하면, 워터마크 정보의 양이 감소될 수 있고, 멀티미디어 비디오 데이터의 품질에 대한 워터마크의 손상이 상당히 감소될 수 있다. 워터마크에 의해 멀티미디어 비디오 통신 품질을 반영하는 정확도는 향상된다.
본 발명의 일 실시예에 따라, 워터마크는 코딩 전에 오리지널 멀티미디어 데이터에 직접 내장되거나 또는 비디오 공간 영역에 내장되며, 워터마크는 멀티미디어의 직관적 품질을 완전히 동등하게 반영할 수 있다. 멀티미디어 비디오 통신 품질 측정의 정확도는 향상되고, 멀티미디어 코딩 프로세스에 의해 야기된 품질 손실 정도가 반영될 수 있다.
본 발명의 일 실시예에 따라, 피팅된 PSNR을 품질 측정 표시로 간주하는 것은, 레퍼런스 평가 방법과 유사하고, 멀티미디어 비디오 통신에 대한 객관적인 품질 평가의 정확도가 향상된다.
본 발명의 일 실시예에 따라, 멀티미디어 비디오 데이터 또는 비디오 데이터에 대한 워터마크의 영향은 워터마크 추출에 대해 평탄화된 필터링 후처리를 수행함으로써 감소될 수 있고, 비디오 통신 품질은 보장될 수 있다.
본 발명의 실시예들에 제공되는 상술한 방법들에 따라, 멀티미디어 비디오 통신의 품질은 비디오 통신 품질이 손상되지 않아야 한다는 전제 조건 하에서 정확하게 반영될 수 있다. 빠른 실시간 통신 품질 측정은 비디오 통신에 제공되어 네트워크 오류 및 다른 시스템 오류의 발견을 촉진할 수 있다. 상기 방법은 운영자가 서비스 품질을 실시간으로 디스플레이하고 고객 신뢰도를 개선할 수 있도록 해준다. 상기 방법은 제조자가 비디오 통신 제품의 개발 중에 테스트 및 자료 검증을 수행할 수 있도록 해주며, 비디오 통신 제품의 성능은 개선될 수 있고, 비디오 통신 서비스는 대중화될 수 있다.
도 1은 디지털 워터마크 기술의 원리를 나타내는 개략도이다.
도 2는 디지털 워터마크를 기반으로 한 비디오 통신 품질 측정의 원리를 나타내는 블록도이다.
도 3은 워터마크가 내장된 이미지 및 워터마크 복구 상황을 나타내는 개략도이다.
도 4는 본 발명의 일 실시예에 따라 멀티미디어 비디오 통신 품질을 측정하는 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 프레임을 동일한 크기의 블록들로 균일하게 분할하는 방법을 나타내는 개략도이다.
도 6a 및 6b는 본 발명의 제8 실시예에 따른 실험 결과를 나타내는 개략도이다.
이하 첨부된 도면 및 실시예들에 대한 상세한 설명을 통해 본 발명의 하나 또는 몇몇 실시예들의 다양한 목적, 기술적 해결 방법 및 효과를 설명한다.
전술한 바와 같이, 손상된 비디오 품질과 비디오 통신 품질의 정확한 반영 간의 모순의 관점에서, 본 발명의 실시예들에 따라, 비디오 품질에 대한 내장된 워터마크의 영향과 비디오 품질 반영의 정확성의 균형을 맞출 수 있어서, 비디오 품질이 손상되지 않고, 비디오 통신 품질이 정확하게 측정되는 디지털 워터마크를 기반으로 비디오 통신 품질을 측정하는 방법이 제공된다.
상기 방법의 원리는: 압축된 비디오의 특성에 따라, 블록 및 그룹으로의 분할을 기반으로 워터마크 임베드알고리즘을 사용하여 워터마크는 비디오 공간 영역에 완전히 균일하게 내장되고, PSNR은 워터마크 복구 정확도를 사용하여 필터링된다. 소위 피팅(fitting)은 계산 수학용 데이터 프로세싱 방법이다: 일련의 이산 데이터 포인트를 기반으로, 이러한 데이터 포인트를 나타내는 커브가 획득되고, 여기서 커브 및 이러한 이산 데이터 포인트들 간의 총 거리는 특정 최적 기준에 따라 최소이다. 여기서, 피팅은 PSNR을 PRR(Pixel Recovered Rate) 데이터와 근사화하는 것을 가리키고, 그 목적은 둘다 매우 유사하고 매우 높은 상관성 및 일관성을 갖는 것을 보여주며, 그에 따라 저 코드율로 압축된 비디오에 적용가능한 품질 평가 표시를 제공하는 것이다.
종래기술과 비교하면, 본 발명의 일 실시예에 따라, 비디오 품질에 대한 내장된 디지털 워터마크의 효과가 상당히 감소된다. 본 발명의 방법은 상술한 품질 평가 기준에 따른 부분적 레퍼런스 모델 방법에 속한다. 오리지널 비디오 이미지를 알 필요없이, 상기 방법은 참조로서 전송 채널을 통과하는 오리지널 워터마크 이미지 및 왜곡된 워터마크 이미지를 사용하여 오리지널 이미지의 상태를 간접적으로 반영하고, 그에 따라 비디오 통신 품질을 측정한다.
본 발명의 실시예에 따른 디지털 워터마크를 기반으로 멀티미디어 비디오 통신에 대한 객관적인 품질 측정 방법은 3개의 기본 단계들을 포함한다. 즉, 송신단에서 균일하게 멀티미디어 비디오 데이터에 오리지널 워터마크를 내장하고, 그 데이터를 수신단으로 전송하는 단계; 수신단에서 워터마크 임베드프로세스와 반대되는 프로세스를 통해 수신된 멀티미디어 비디오 데이터로부터 복구된 워터마크를 추출하는 단계; 오리지널 워터마크에 비해 복구된 워터마크의 왜곡 정도에 따라 멀티미디어 비디오 통신의 객관적인 품질을 측정하는 단계를 포함한다.
본 발명의 제1 실시예
도 4는 본 발명의 일 실시예에 따라 디지털 워터마크를 기반으로 멀티미디어 비디오 통신의 객관적 품질을 측정하기 위한 방법의 흐름도를 나타낸다. 이하에서, 각 프로세스의 원리, 구현 상세 및 실제 효과를 상세히 설명한다.
다음 설명에서 비디오 통신 품질 평가의 예로서, 비디오 데이터는 연속 프레임 시퀀스를 포함한다. 현존하는 비디오에 대해, B-DCT(Block-based DCT) 코딩 및 H.263, H.264 및 MPEG(Moving Picture Expert Group)과 같은 움직임 보상되는 압축된 알고리즘이 공통적으로 사용된다. 당업자는 본 방법이 다른 코딩 또는 압축 솔루션 및 다른 멀티미디어 비디오 통신에 대한 품질 측정에 적용될 수 있음을 이해할 것이고, 본 발명의 목적은 본 발명의 범위에 영향을 주지않고 마찬가지로 달성될 수 있다.
블록(401)에서, 오리지널 워터마크 이미지 및 비디오 품질 평가용의 관련된 알고리즘 또는 솔루션이 결정된다. 일단 디지털 워터마크를 기반으로 통신 품질 평가를 위한 적절한 워터마크를 선택할 필요가 있다. 사실, 비디오 품질을 반영하고 도한 비디오 품질에 가능한 한 적은 영향을 주는 적절한 디지털 워터마크를 선택하는 것은 비디오 통신 품질 평가에 중요하다.
본 발명의 제2 실시예
본 실시예에서는 2레벨(bi-level) 이미지가 선택되며, 이것은 정보의 양을 감소시킬 수 있고, 워터마크 픽셀을 숨기는데 적절하다. 또한, 도 3에 도시된 바와 같은 워터마크 이미지와 같이 흑백 패턴도 사용된다. 흑백은 0과 1을 의미하고, 따라서 그러한 이미지에 의해 전달되는 정보의 양은 크지 않지만, 이미지는 고 민감도와 에러 코드를 검출하는데 있어서 강점을 갖는다.
본 발명의 제3 실시예
워터마크 이미지는 통신 양측의 협상을 통해 결정될 필요가 있고, 따라서 본 발명의 제3 실시예에서는, 비디오 통신의 송신단과 수신단은 통신 신호 전송을 통해 협상을 하여 오리지널 워터마크, 및 워터마크 내장과 워터마크 추출을 위한 특정 솔루션을 결정한다.
오리지널 워터마크가 결정된 후에, 본 발명의 원리에 따라 워터마크는 비디오 이미지에 균일하게 내장될 것이다. B-DCT 카테고리의 비디오 압축 코딩 표준에 대해서, 양자화 및 코딩은 움직임 예측을 통해 수행된다. 즉 프레임의 예측 및 차이 코딩은 이후 프레임 또는 이전 프레임을 참조하여 수행된다. DCT 변환은 코딩에 사용되고, 따라서 변환된 코딩 스트림 데이터는 이전의 직관적인 비디오 이미지와 완전히 동일하지는 않다.
본 발명의 제4 실시예
이 실시예에서, 디지털 워터마크는 DCT 변환 전에 비디오 공간 영역에 내장된다. 즉, 오리지널 워터마크는 송신단에서 오리지널 미디어 데이터에 균일하게 내장되고, 그리고 나서 압축 코딩 및 데이터 패킷화(패킷 스위칭 네트워크에 대해) 또는 프레이밍(회로 스위칭 네트워크에 대해)이 수행되고, 최종적으로 데이터는 네트워크를 통해 수신단으로 전송된다.
한편으로는, 비디오 품질에 대한 비디오 압축의 영향이 반영될 수 있고; 다른 한편으로는, 압축된 예측 프레임 또는 역 예측 프레임에 많은 수의 제로 매크로 블록들이 존재하고, 변환 영역에 워터마크를 내장하는 것은 코딩 효율을 크게 감소시키고 코딩된 비디오 품질에 영향을 줄 것이다. 따라서, 공간 영역에 워터마크를 내장하는 방법은 전술한 양단에 대해 변환 영역에 워터마크를 내장하는 방법에 비해 장점을 갖는다.
바람직한 제5 실시예
또한, 시각적 영혼의 원리에 따라, 색차값과 비교하여, 인간의 눈은 이미지 의 조도값의 광변화에 민감하지 않다. 본 실시예에서는, 컬러 이미지에 대해서, 워터마크 내장에 기인한 비디오 품질의 손실을 감소시키기 위해, 오리지널 워터마크는 오리지널 멀티미디어 데이터의 조도 성분에 내장된다. 즉 워터마크 신호는 비디오 이미지 시퀀스의 조도 성분(Y 성분)에 내장된다.
또한, 멀티채널 이미지(예컨대 멀티채널 원격 센싱 이미지)에 대해서, 오리지널 워터마크는 오리지널 멀티채널 이미지 데이터의 하나 이상의 채널에 내장될 수 있다.
본 발명의 제1 실시예의 블록(402)에서, 이미지의 각 프레임은 송신단에서 동일한 크기의 블록들로 균일하게 분할되고, 오리지널 워터마크 데이터의 동일한 양이 블록들의 일부 또는 모든 블록들에 내장된다.
각 프레임이 M행 × N 열의 픽셀들을 포함한다고 가정한다. 여기서 M개의 행은 0부터 M-1까지 넘버링되고, N개의 열은 0부터 N-1까지 넘버링된다. 각 프레임은 다음 방법에 따라 블록들로 균일하게 분할된다:
각 프레임은 0부터 m-1까지 넘버링된 m개의 스트립으로 분할되고, 스트립 i(i=0,1,…,m-2)는 행 i×kv 부터 행 (i+1)×kv-1까지의 픽셀들을 포함하고, 스트립 m-1은 행 (m-1)×kv부터 행 M-1까지의 픽셀들을 포함하며, 여기서 m은 M/Kv보다 크거나 같은 최소 정수이다;
스트립 i(i=0,1,…,m-1)는 i×n부터 (i+1)×n-1까지 넘버링된 n개의 블록들로 분할되고, 스트립의 블록 i×n+j(0,1,…,n-2)는 열 j×kh부터 열(j+1)×kh-1까지의 픽셀들을 포함하고, 블록 n-1은 열(n-1)×kh부터 열 N-1까지의 픽셀들을 포함하고, 여기서 n은 N/kh보다 크거나 같은 최소 정수이다;
동일한 양의 오리지널 워터마크 데이터가 획득된 m×n 블록들의 각 블록들에 내장된다.
특정 상세예가 도 5에 도시되어 있다. 압축될 비디오의 이미지의 크기는 M×N이고, 워터마크 이미지의 크기는 [M/kv]×[N/Kh]이다. 여기서 [ ]는 최대값을 의미한다. 오리지널 이미지의 크기가 kv×kh 픽셀인 각 블록에 하나의 워터마크 픽셀이 임베드되고, 따라서 에러의 위치는 찾을 수 있고, 이미지 품질에 대한 워터마크의 영향은 감소된다. kv는 임베드의 수직 방향 기간을 나타내고, kh는 임베드의 수평 방향 기간을 나타낸다.
일반적으로, M 또는 N는 kh 또는 kh에 의해 나눌 수 없고, 그 나머지는 각각 rv 및 rh이다. M과 N 모두는 가장 복잡한 경우에 나눌 수 없고, 따라서 4개 분류의 영역이 이미지의 상단 좌측 부분, 우측 에지, 하부 에지 및 하단 우측 코너에 존재하고, 도 5에는 1,2,3 및 4로 표시되어 있다. 영역 1의 블록의 크기는 모두 kv×kh 픽셀이다. 영역 2의 블록의 크기는 모두 kv×rh 픽셀이다. 영역 3의 블록의 크기는 rv×kh 픽셀이다. 영역 4의 단 하나의 블록의 크기는 rv×rh 픽셀이다.
영역 1은 반드시 존재하는 반면에, 다른 영역은 분할 상황에 따라 존재할 수 도, 존재하지 않을 수도 있다. 행 번호 M이 kv로 나눌 수 있으면, 영역 3 및 영역 4 모두 존재하지 않는다. 마찬가지로, 열 N이 kh로 나눌 수 있으면, 영역 2 및 영역 4 모두 존재하지 않는다.
블록들로 분할함으로써, 워터마크는 분산되고 각 프레임에 균일하게 임베드된다. 서로 다른 프레임들을 처리하고 워터마크를 복수의 프레임에 내장하기 위해 그룹핑 임베드 방법이 더 요구된다. 특히 몇 가지 경우에 대해서, 예컨대 통신 대역폭이 매우 낮거나 선택된 워터마크 이미지가 상대적으로 큰 경우, 이미지의 각 프레임에 임베드된 워터마크 데이터의 양을 더 감소시킬 필요가 있다. 즉, 복수의 프레임들이 워터마크를 공유할 필요가 있다.
블록(403)에서, 비디오 프레임 시퀀스는 송신단에서 그룹들로 분할된다. 각 그룹은 동일한 수의 프레임들을 포함한다. 동일한 그룹에서 동일한 간격을 갖는 적어도 2개의 프레임들이 임베드된 프레임으로 선택되고, 각 임베드된 프레임에서 동일한 수의 블록들이 임베드된 블록들로 선택된다. 각 임베드된 블록에는 동일한 양의 오리지널 워터마크 데이터가 임베드된다.
압축 코딩될 이미지의 각 프레임에서 전체 워터마크 이미지의 임베드에 기인하는 품질 및 이미지의 프레임의 코드 스트림 레이트에 대한 상당한 영향을 피하기 위해서, 디지털 워터마크 이미지는 서로 다른 프레임들에 균일하게 분산될 수 있다. 워터마크의 일부가 비디오 시퀀스의 이미지의 각 프레임에 임베드되거나, 또는 서브 블록이 2개 프레임 마다 하나씩 등으로 임베드되고, 연속된 이미지 그룹은 임베드 기간으로 간주된다. 워터마크의 모든 픽셀 포인트들은 일정하고 분산되어 이미지의 서로 다른 위치에 임베드되고, 동일한 임베드 기간 내에 서로 다른 이미지들의 워터마크 임베드 위치도 다르게 된다. 디코딩 단에서 임베드된 워터마크를 편리하게 추출하기 위해, 각 임베드 기간 내에 각 이미지에 워터마크를 임베드 하기 위한 위치는 고정된다.
각 프레임은 0 부터 L-1까지 넘버링된 L개의 블록들로 균일하게 분할된다. 이미지는 수평으로 또는 수직으로 L개의 스트립으로 균일하게 분할되거나, 다른 방향으로 균일하게 분할될 수 있다. 예를 들어, 블록(403)에 도시된 솔루션 L=M×N으로 분할될 수 있다. 오리지널 워터마크를 임베드하는 방법 또한 다음을 포함한다:
프레임 시퀀스를 각각 프레임 0부터 P×Q-1까지 P×Q개의 프레임을 포함하는 그룹들로 분할하는 단계;
각 그룹의 프레임 q×P(q=0,1,…,Q-1)을 임베드된 프레임으로 선택하는 단계;
프레임 q×P(q=0,1,…,Q-1)의 블록 q+r×Q(r=0,…,R-1이고, q+r×Q≤L)ㅡㄹ 임베드된 블록을 선택하는 단계, 여기서 R은 L/Q보다 작거나 같은 최대 정수임;
동일한 양의 오리지널 워터마크 데이터를 이 그룹의 모든 임베드된 블록들에 임베드하는 단계.
한 간격, 즉 P=2로 임베딩하는 예를 들어, 이하 상세히 설명한다. 각 그룹은 2Q개의 프레임을 포함하고, R=[L/Q]이다. 워터마크는 동일한 크기의 Q개의 블 록들로 분할되고, 각 블록은 하나의 임베드된 프레임에 해당한다. 이미지의 이 그룹의 프레임들 0,2,4,6,8,...,2Q-2는 블록들로 분할되고, 블록들은 상부에서 하부로, 또한 좌측에서 우측 순서대로 0,1,2,3,...,L-1로 넘버링된다.
이 그룹의 프레임 0에서, 블록들 0,Q,…,R×Q은 임베드된 블록들로 간주된다.
이 그룹의 프레임 2에서, 블록들 1,Q+1,…,R×Q+1은 임베드된 블록들로 간주되고, 나머지는 유사하게 추론될 수 있다.
이 그룹의 프레임 2Q-2까지, 블록들 Q-1,2Q-1,…,(R+1)×Q-1은 임베드된 블록으로 간주된다.
전술한 블록 번호는 추후에 L을 초과할 수 있으며, 따라서 그러한 번호들론 임베드된 블록들은 취소될 필요가 있다. 상기 기간의 프레임들 1,3,…,2Q-1은 처리되지 않을 것이다.
그리고 나서, 블록(404)에서, 각 임베드된 블록에 1비트 워터마크 정보가 임베드된다. 워터마크 픽셀을 각 블록에 임베드하는 방법은 본 발명의 실시예의 알고리즘의 성능에 영향을 주는 주요 팩터이다.
본 발명의 제6 실시예
이 실시예에서, 오리지널 워터마크의 1비트 데이터를 멀티미디어 비디오 데이터의 한 블록에 임베드하는 방법은 다음 단계들을 포함한다:
임베드 강도를 A=2×Qp-1로 설정하는 단계로서, Qp는 상기 멀티미디어 비디 오 통신 압축 코딩에 대한 양자화 팩터를 나타냄;
픽셀에 따라 멀티미디어 비디오 데이터의 블록들의 평균 조도값 μ을 계산하는 단계;
b'=b+c에 따라 데이터의 블록의 각 픽셀의 조도값을 변경하는 단계, 여기서 b'는 픽셀의 변경된 값이고, b는 변경 전의 픽셀 값이고, c는 변경 양임;
상기 변형 양은 다음 공식에 따라 계산된다:
1비트 오리지널 워터마크 데이터 ω=1 일때, 다음과 같이 된다.
Figure 112007044291731-pct00004
1비트 오리지널 워터마크 데이터 ω=0 일때, 다음과 같이 된다.
Figure 112007044291731-pct00005
여기서 γ는 μ를 2A로 나눈 나머지이다.
블록(405)에서, 복구된 워터마크는 워터마크 임베드의 반대 프로세스를 통해 수신단에서 수신된 비디오 데이터로부터 추출된다. 워터마크 임베드에 대응하여, 워터마크 추출은 전술한 프로세스의 정확히 반대이다: 임베드된 프레임을 그룹핑 및 결정하는 단계; 각 임베드된 프레임에 임베드된 블록을 결정하는 단계; 각 블록으로부터 워터마크 정보를 추출하는 단계를 포함한다. 임베드된 프레임을 결정하고 임베드된 블록들을 더 결정하는 방법에 관하여는 여기서는 더 이상 상세히 설명하지 않는다. 임베드된 블록으로부터 워터마크를 추출하는 방법이 설명될 것이다.
본 발명의 제7 실시예
이 실시예에서, 제6 실시예에 설명된 워터마크 임베드 알고리즘을 기반으로 수신된 비디오 데이터의 하나의 블록으로부터 복구된 워터마크의 1비트 데이터를 추출하는 방법은 다음 단계들을 포함한다:
임베드 강도를 A=2×Qp-1로 설정하는 단계로서, Qp는 상기 멀티미디어 비디오 통신 압축 코딩에 대한 양자화 팩터를 나타냄;
픽셀에 따라 수신된 멀티미디어 비디오 데이터의 블록의 평균값 μ'를 계산하는 단계;
다음 공식에 따라 복구된 워터마크의 추출된 데이터 ω'를 계산하는 단계;
Figure 112007044291731-pct00006
여기서, γ'는 μ'를 2A로 나눈 나머지이다.
한 그룹의 모든 임베드된 프레임의 모든 임베드된 블록들에 대해, 전체 워터마크 이미지의 프레임은 워터마크 비트 정보의 복구를 통해 복구될 수 있다.
블록(406)에서, 멀티미디어 비디오 통신의 객관적인 품질을 측정하기 위해 수신단에서 오리지널 워터마크에 상대적으로 복구된 PRR(Pixel Recovered Rate)을 사용하여 PSNR가 평가된다.
워터마크의 픽셀 복구율은 워터마크에 의해 비디오 품질을 평가하기 위한 PRR로 정의된다. PRR은 왜곡된 워터마크와 오리지널 워터마크를 비교하여 워터마크 픽셀의 총수에 대한 왜곡 후의 정확한 워터마크 픽셀의 수의 비율을 얻는 것을 가리킨다. 즉,
PRR = 100*(왜곡된 워터마크의 올바른 픽셀 수/ 워터마크 이미지 픽셀의 총 수)%
전송 과정 중에 생성된 비디오 압축 및 에러 코드 모두는 PRR 값에 영향을 줄 것이다. 실험을 통해 복구된 워터마크의 PRR 및 평가될 비디오 품질의 PSNR이 완전히 동일하지는 않지만, 그들 사이에 고정 또는 대략적으로라도 선형인 관계가 있음을 확인할 수 있을 것이다. 왜곡된 비디오의 품질 평가 결과와 PSNR 사이에 매우 강한 상호 관련성이 있음이 지적된다. 따라서, 참조 비디오가 없고, PSNR을 획득할 수 없는 경우에, PRR과 PSNR 간의 관계를 설정함으로써, 왜곡된 비디오의 PSNR은 PRR에 따라 평가되고, 디코딩되고 복구된 비디오 품질의 평가 목적이 달성된다.
본 발명의 제8 실시예
제1 실시예를 기반으로, 멀티미디어 비디오 통신 실험에 따라, 이 실시예의 멀티미디어 비디오 통신의 객관적인 품질을 측정하기 위한 MSE(Mean Square Error) 기준에 따라 PRR의 선형 함수를 사용하여 PSNR의 평가값이 피팅된다.
전술한 임베드 알고리즘을 기반으로, 워터마크 정보가 표준 테스트 시퀀스 클레어(Claire)에 (QCIF 포맷으로) 임베드된다. 그리고 나서, 워터마크가 임베드된 비디오 시퀀스는 비디오 압축 표준 H.263에 따라 압축된다. 압축된 비디오 스트림은 비디오 디코딩을 위한 채널 "전송" 후에 디코더로 들어간다. 최종적으로, 임베드된 디지털 워터마크는 디코딩된 비디오로부터 추출되고, PRR이 계산된다. 간명함을 위해 채널을 시뮬레이션하는데 BSC(Binary Symmetric Channel)가 사용된다. 노이즈는 균일하게 분산된 랜덤 노이즈이다. 채널의 평균 에러율은 10-5이다. 도 6의 첫번째 다이어그램은 오리지널 비디오에 대한 복구된 비디오의 PSNR 및 워터마크의 PRR을 나타낸다. PSNR과 PRR 사이에 보다 양호한 일관성이 있음을 할 수 있을 것이다.
PSNR 커브 및 PRR 커브 간의 유사도를 측정하기 위해, 다이어그램에서 그들의 표준화된 상관 효율이 계산된다:
Figure 112007044291731-pct00007
상기 공식에서, X와 Y는 각각 PSNR 및 PRR을 나타낸다. Cov(X,Y)는 X와 Y의 공통 변이(variance)이다. D(X)와 D(Y)는 각각 X와 Y의 변이이다.
실험 데이터를 기반으로, ρ=98.3%이다. PRR 커브와 PSNR 커브 사이에 강한 상호 관련성이 있음이 명백하다. PSNR은 PRR과 PSNR 간의 강한 상호관련성에 기인한 PRR에 의해 매핑될 수 있다. 즉, 실제 PSNR을 피팅하는데 다음 1차 함수가 사용된다.
Figure 112007044291731-pct00008
MSE 기준에 따라, 다이어그램의 데이터를 사용하면, 평균 제곱 에러
Figure 112007044291731-pct00009
가 최소일 때, a0=-16.9079, a1=0.5632이다. 도 6a와 같이 PSNR에 대한 평가 PSNR'이 계산된다. PSNR'과 PSNR을 비교하면, 그들의 MSE 0.735가 얻어진다. PSNR'이 PSNR과 매우 잘 피팅됨을 알 수 있을 것이다.
PSNR 평가로서 PSNR'의 정확도를 더 검증하기 위해, 채널의 코드 에러율은 1.5×10-5로 변경된다. 복구된 비디오의 획득된 PSNR 및 PRR 매핑을 통해 획득된 평가값 PSNR'이 도 6b에 도시되어 있다. 2개 그룹의 데이터의 획득된 상관 계수 ρ는 98.6%이고, MSE는 겨우 0.696이다. PSNR'이 PSNR과 매우 잘 피팅됨은 명백하다.
본 발명의 제9 실시예
이 실시예에서, 워터마크 임베드에 의해 야기된 비디오 품질의 손실을 추가적으로 제거하기 위해, 수신된 비디오 이미지는 워터마크 임베드의 영향을 제거하기 위해 복구된 워터마크가 추출된 후에 후처리될 것이다. 상기 후처리는 평탄화된 필터링, 중간 필터링, 신경 네트워크 필터링, 수학적 형태 필터링 또는 퍼지 수학 방법을 기반으로 한 필터링 수 있다.
워터마크는 블록을 기반으로 임베드된다. 임베드 강도가 너무 높으면, 사람에 의해 유도된 블록 영향이 되고, 이미지 품질이 감소된다. 임베드 강도가 너무 낮으면, 비디오 압축에 의해 야기된 영향을 극복하기 어렵고, 복구된 워터마크의 PRR이 매우 낮아지게 된다. 따라서, 본 발명의 실시예에서는, 자기 적응적 워터마크 임베드 방법이 선택되고, 워터마크를 복구한 후에, 디코딩 단에서 워터마크가 임베드된 이미지에 대해 평탄화(smoothing) 필터링이 수행된다. 실험을 통해 비디오의 객관적 품질에 대한 워터마크의 영향이 이런 방식으로 효과적으로 약화될 수 있음을 확인할 수 있다.
본 발명의 제10 실시예
이 실시예에서, 본 발명의 실시예에 따라 디지털 워터마크를 기반으로 멀티미디어 비디오 통신 품질을 측정하기 위한 방법의 성능이 실험을 통해 평가된다. 결과는 표1 및 표 2에 나타내었다.
표 1 및 표 2는 각각 본 발명의 실시예의 방법을 사용하여 워터마크 임베드에 의해 야기된 코딩된 비디오 품질 및 비트 레이트에 대한 영향을 나타낸다. 본 발명의 실시예의 방법에 의한 멀티미디어 비디오 데이터 품질에 대한 영향이 거의 없음을 알 수 있을 것이다.
표 1 동일한 비트 레이트에서, 워터마크 임베드에 의해 야기된 코딩된 비디오 품질에 대한 영향(프레임 레이트는 30 frame/s 임)
비트레이트(bps) 20K 50K 80K
임베드전의 PSNR(dB) 37.60 41.51 43.87
임베드후의 PSNR(dB) 37.44 41.42 43.80
표 2 동일한 양자화 팩터로, 워터마크 임베드에 의해 야기된 오리지널 비디오 품질 및 비트 레이트에 대한 영향
양자화 단계 길이 Qp=5 Qp=8 Qp=12
임베드 전 비트 레이트(bps) 66.67K 33.60K 20.23K
PSNR(dB) 40.44 37.59 35.31
임베드 후 비트 레이트(bps) 69.60K 35.97K 21.02K
PSNR(dB) 40.37 37.49 35.24
당업자는 본 발명의 실시예의 기술적 솔루션이 레퍼런스와 함께 품질 평가 방법들과 함께 사용되어 정보 융합 등의 방법을 통해 보다 개선된 효과를 달성할 수 있음을 이해할 것이다.
본 발명을 몇가지 실시예들을 참조하여 설명하였으나, 당업자는 첨부된 청구범위에 의해 정해지는 본 발명의 범위를 벗어나지 않고 상기 실시예들에 다양한 변형을 가할 수 있음을 이해할 것이다.

Claims (18)

  1. 멀티미디어 비디오 통신 품질을 측정하는 방법에 있어서,
    송신단에서 오리지널 워터마크 데이터를 멀티미디어 비디오 데이터에 균일하게 임베드하고, 상기 멀티미디어 비디오 데이터를 수신단으로 전송하는 단계;
    상기 수신단에서 상기 수신된 멀티미디어 비디오 데이터로부터 복구된 워터마크를 추출하는 단계;
    상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 왜곡 정도를 계산하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  2. 제1항에 있어서,
    상기 임베드 단계와 상기 전송 단계 사이에, 상기 멀티미디어 비디오 데이터에 대해 압축 코딩 또는 데이터 패키징 또는 프레이밍를 수행하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  3. 제1항에 있어서, 상기 임베드 단계는
    멀티미디어 비디오 데이터 프레임들을 동일한 크기의 블록들로 균일하게 분할하는 단계, 및 상기 송신단에서 동일한 양의 오리지널 워터마크 데이터를 상기 블록들의 일부 또는 모든 블록들에 임베드하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  4. 제3항에 있어서, 상기 임베드 단계는
    송신단에서 상기 멀티미디어 비디오 데이터를 각각 동일한 수의 프레임을 포함하는 그룹들로 분할하는 단계,
    동일한 그룹의 동일한 간격을 갖는 적어도 2개의 프레임을 임베드된 프레임으로 선택하는 단계,
    상기 임베드된 프레임 각각을 동일한 크기의 다수의 블록들로 균일하게 분할하는 단계,
    상기 다수의 블록들로부터 동일한 수의 블록들을 임베드된 블록들로 선택하는 단계, 및
    동일한 양의 오리지널 워터마크 데이터를 상기 임베드된 블록 각각에 임베드하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  5. 제3항에 있어서,
    각 멀티미디어 비디오 데이터 프레임은 M행 × N열 픽셀들을 포함하고, M개의 행은 0부터 M-1까지 넘버링되고, N개의 열은 0부터 N-1까지 넘버링되며, 멀티미디어 비디오 데이터를 동일한 크기의 블록들로 균일하게 분할하는 단계는,
    각 멀티미디어 비디오 데이터 프레임을 0부터 m-1까지 넘버링된 m개의 스트립으로 분할하는 단계로서, 상기 스트립 i(i=0,1,…,m-2)는 행 i×kv 부터 행 (i+1)×(kv-1)까지의 픽셀들을 포함하고, 스트립 m-1은 행 (m-1)×kv부터 행 M-1까지의 픽셀들을 포함하며, 여기서 m은 M/Kv보다 크거나 같은 최소 정수이고, m=M/k이면, 스트립 m-1은 제로 행 픽셀들을 포함하는 단계;
    스트립 i(i=0,1,…,m-1)를 i×n부터 (i+1)×(n-1)까지 넘버링된 n개의 블록들로 분할하는 단계로서, 블록 i×(n+j)(0,1,…,n-2)는 열 j×kh부터 열(j+1)×(kh-1)까지의 픽셀들을 포함하고, 블록 n-1은 열(n-1)×kh부터 열 N-1까지의 픽셀들을 포함하고, 여기서 n은 N/kh보다 크거나 같은 최소 정수이고, n=N/kh이면, 스트립 n-1은 제로 열 픽셀들을 포함하는 단계;
    동일한 양의 오리지널 워터마크 데이터를 상기 획득된 m×n 블록들 각각에 임베드하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  6. 제4항에 있어서,
    상기 멀티미디어 비디오 데이터는 0부터 L-1까지 넘버링된 L개의 블록들로 균일하게 분할되고, 상기 오리지널 워터마크를 임베드하는 단계는,
    프레임 시퀀스를 각각 P×Q개의 프레임들을 포함하며, 상기 프레임들은 순차적으로 프레임 0부터 프레임 P×Q-1까지인 그룹들로 분할하는 단계;
    각 그룹의 프레임 q×P(q=0,1,…,Q-1)를 임베드된 프레임으로 선택하는 단계;
    상기 임베드된 프레임 q×P(q=0,1,…,Q-1) 중 블록 (q+r)×Q(r=0,…,R-1이고, (q+r)×Q≤L)을 상기 임베드된 블록으로 선택하는 단계로서, 상기 R은 L/Q 보다 작거나 같은 최대 정수인 단계;
    동일한 양의 상기 오리지널 워터마크 데이터를 상기 그룹의 모든 임베드된 블록들에 임베드하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  7. 제3항에 있어서, 상기 멀티미디어 비디오 데이터 프레임을 동일한 크기의 블록들로 균일하게 분할하는 단계와 상기 송신단에서 동일한 양의 오리지널 워터마크 데이터를 상기 블록들의 일부 또는 모든 블록들에 임베드하는 단계 사이에,
    상기 블록들의 크기에 따라 상기 블록의 일부 또는 모든 블록에 임베드된 오리지널 워터마크 데이터의 비트 수를 결정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  8. 제7항에 있어서,
    상기 블록들 중 일부 또는 모든 블록들에 임베드되는 상기 오리지널 워터마크 데이터의 비트 수는 1로 정의되고,
    상기 오리지널 워터마크의 1-비트 데이터를 상기 멀티미디어 비디오 데이터 블록에 임베드하는 단계는,
    픽셀에 따라 상기 멀티미디어 비디오 데이터 블록의 평균값 μ을 계산하는 단계; 및
    b'=b+c에 따라 상기 멀티미디어 비디오 데이터 블록의 각 픽셀 값을 변형하는 단계를 포함하고,
    상기 b'는 픽셀의 변형된 값이고, 상기 b는 변형 전의 픽셀 값이며, 상기 c는 변형 양이고,
    상기 변형 양은 다음 공식에 따라 계산되는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
    상기 오리지널 워터마크 데이터 비트가 1이면,
    Figure 112009063978680-pct00010
    상기 오리지널 워터마크 데이터 비트가 0이면,
    Figure 112009063978680-pct00011
    이고, 여기서 γ는 μ를 2A로 나눈 나머지이고, A는 임베드 강도를 나타내고, 2×Qp-1에 해당하며, Qp는 상기 멀티미디어 비디오 통신 압축 코딩에 대한 양자화 팩터를 나타냄.
  9. 제7항에 있어서, 상기 수신단에서 상기 수신된 멀티미디어 비디오 데이터로부터 복구된 워터마크를 추출하는 단계는 상기 수신된 멀티미디어 비디오 데이터 블록으로부터 상기 복구된 워터마크의 데이터 비트를 추출하는 단계를 포함하고,
    상기 수신된 멀티미디어 비디오 데이터 블록으로부터 상기 복구된 워터마크의 데이터 비트를 추출하는 단계는,
    픽셀에 따라 상기 멀티미디어 비디오 데이터 블록의 평균값 μ'을 계산하는 단계;
    다음 공식에 따라 상기 복구된 워터마크의 추출된 데이터 ω'를 계산하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
    Figure 112009027726096-pct00012
    이고, 여기서 γ'는 μ'를 2A를 나눈 나머지이고, A는 임베드 강도이고 2×Qp-1에 해당하며, Qp는 상기 멀티미디어 비디오 통신 압축 코딩에 대한 양자화 팩터를 나타냄.
  10. 제1항에 있어서, 상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 왜곡 정도를 계산하는 단계는,
    상기 멀티미디어 비디오 통신의 객관적인 품질을 측정하기 위해, 상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 PRR(Pixel Recovery Rate)를 사용하여 PSNR(Peak Signal-to-Noise Ratio)을 계산하는 단계를 포함하는 멀티미디어 비디오 통신 품질 측정 방법.
  11. 제10항에 있어서, 상기 PSNR을 계산하는 단계는,
    상기 멀티미디어 비디오 통신의 객관적인 품질을 측정하기 위해, 멀티미디어 비디오 통신 실험의 통계를 기반으로, 평균 제곱 에러 기준에 따라 상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 PPR의 선형함수를 사용하여 상기 PSNR의 평가된 값을 획득하도록 피팅(fitting)하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  12. 삭제
  13. 제1항에 있어서, 상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 왜곡 정도를 계산하는 단계는,
    상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 PRR을 사용하여, 상기 오리지널 워터마크와 비교한 상기 복구된 워터마크의 왜곡 정도를 계산하는 멀티미디어 비디오 통신 품질 측정 방법.
  14. 제1항에 있어서,
    상기 복구된 워터마크를 추출한 후에, 상기 워터마크 임베드의 영향을 제거하기 위해 상기 수신된 멀티미디어 비디오 데이터를 후처리하는 단계를 더 포함하고, 상기 후처리는,
    평탄화(smoothing) 필터링, 중간 필터링, 신경 네트워크 필터링, 수학적 형태 필터링 및 퍼지 수학 방법을 기반으로 한 필터링 중 하나를 포함하는 멀티미디어 비디오 통신 품질 측정 방법.
  15. 제1항에 있어서, 상기 임베드 단계 이전에,
    상기 송신단과 상기 수신단 사이의 통신 신호 전송에 의해,
    상기 오리지널 워터마크, 관련 변수들 및 상기 오리지널 워터마크를 임베드하고 상기 복구된 워터마크를 추출하는 방법을 결정하는 단계를 더 포함하는 멀티미디어 비디오 통신 품질 측정 방법.
  16. 제1항에 있어서, 상기 임베드 단계 이전에,
    상기 송신단에서 상기 오리지널 워터마크, 관련 변수들 및 상기 오리지널 워터마크를 임베드하고 상기 복구된 워터마크를 추출하는 방법을 결정하는 단계 및 통신 전에 상기 수신단에게 알려주는 단계를 더 포함하는 멀티미디어 비디오 통신 품질 측정 방법.
  17. 제2항에 있어서,
    컬러 이미지에 대해서, 상기 오리지널 워터마크는 상기 오리지널 멀티미디어 데이터의 조도 성분에 임베드되고;
    멀티채널 이미지에 대해서, 상기 오리지널 워터마크는 상기 오리지널 멀티채널 이미지 데이터의 하나 이상의 채널에 임베드되는 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
  18. 제1항, 제2항, 제4항, 제6항, 제9항 내지 제11항 및 제13항 내지 제17항 중 어느 한 항에 있어서,
    상기 오리지널 워터마크는 2레벨 이미지인 것을 특징으로 하는 멀티미디어 비디오 통신 품질 측정 방법.
KR1020077013860A 2005-06-25 2006-06-23 멀티미디어 비디오 통신 품질 측정 방법 KR100934539B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNB2005100355669A CN100461864C (zh) 2005-06-25 2005-06-25 基于数字水印的多媒体视频通信客观质量评价方法
CN200510035566.9 2005-06-25
PCT/CN2006/001433 WO2007000103A1 (fr) 2005-06-25 2006-06-23 Detection de la qualite d'une communication multimedia

Publications (2)

Publication Number Publication Date
KR20070088716A KR20070088716A (ko) 2007-08-29
KR100934539B1 true KR100934539B1 (ko) 2009-12-29

Family

ID=37583887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013860A KR100934539B1 (ko) 2005-06-25 2006-06-23 멀티미디어 비디오 통신 품질 측정 방법

Country Status (8)

Country Link
US (1) US8184164B2 (ko)
EP (1) EP1814307B9 (ko)
JP (2) JP4763721B2 (ko)
KR (1) KR100934539B1 (ko)
CN (2) CN100461864C (ko)
AT (1) ATE452384T1 (ko)
DE (1) DE602006011119D1 (ko)
WO (1) WO2007000103A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
WO2004036352A2 (en) 2002-10-15 2004-04-29 Verance Corporation Media monitoring, management and information system
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
CN100461864C (zh) * 2005-06-25 2009-02-11 华为技术有限公司 基于数字水印的多媒体视频通信客观质量评价方法
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
KR100816089B1 (ko) * 2006-07-20 2008-03-24 광운대학교 산학협력단 3차원 정보를 가지고 있는 집적영상의 요소영상을워터마크로 사용하는 워터마킹 장치 및 그 방법
US8300877B2 (en) * 2007-02-20 2012-10-30 Sony Mobile Communications Ab Copy protected information distribution
CN101675451B (zh) * 2007-05-10 2012-08-15 汤姆森许可贸易公司 使用所嵌入的水印的故障检测
US9275401B2 (en) * 2007-09-06 2016-03-01 Adobe Systems Incorporated Tamper resistant video rendering
KR100922898B1 (ko) 2007-12-17 2009-10-20 한국전자통신연구원 ＩＰ 미디어의 ＱｏＥ 보장형 영상품질 측정장치 및측정방법
KR100902887B1 (ko) * 2008-10-17 2009-06-16 주식회사 씨케이앤비 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템
US8661118B2 (en) * 2010-03-08 2014-02-25 Microsoft Corporation Detection of end-to-end transport quality
US8614731B2 (en) * 2010-04-21 2013-12-24 Spirent Communications, Inc. System and method for testing the reception and play of media on mobile devices
US9607131B2 (en) 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
CN102932649A (zh) * 2011-08-08 2013-02-13 华为软件技术有限公司 机顶盒视频解码质量检测方法及装置
US20140184647A1 (en) 2011-09-07 2014-07-03 Koninklijke Philips N.V. Device and method to support the operating of the display of image data
US9338463B2 (en) * 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8615104B2 (en) * 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9330429B2 (en) 2012-02-17 2016-05-03 Mobitv, Inc. Scalable watermark insertion for fragmented media stream delivery
CN102630010A (zh) * 2012-03-30 2012-08-08 西安烽火电子科技有限责任公司 一种无线视频传输系统及其传输方法
CN102902929B (zh) * 2012-08-10 2015-09-09 西北大学 自然语言水印鲁棒性测试方法及其系统
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
CN103533343B (zh) * 2013-09-29 2015-05-20 宁波大学 一种基于数字水印的立体图像质量客观评价方法
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
EP3172717A4 (en) 2014-07-22 2018-01-17 Hewlett-Packard Development Company, L.P. Rapid image registration
US9811882B2 (en) * 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
CN107018406B (zh) * 2016-01-27 2019-09-03 华为技术有限公司 视频信息处理方法及装置
US10085015B1 (en) * 2017-02-14 2018-09-25 Zpeg, Inc. Method and system for measuring visual quality of a video sequence
EP3445045A1 (en) * 2017-08-18 2019-02-20 NXP USA, Inc. Video device and method for embedded data capture on a virtual channel
CN108540867B (zh) * 2018-04-25 2021-04-27 中影数字巨幕（北京）有限公司 影片校正方法及系统
KR102637177B1 (ko) * 2018-05-23 2024-02-14 세종대학교산학협력단 워터마크 기반의 이미지 무결성 검증 방법 및 장치
US11025900B2 (en) 2018-07-18 2021-06-01 Universal City Studios Llc System and method for identifying b-roll conditions in live streams or live rendered content
CN109120377B (zh) * 2018-07-19 2020-11-27 华北水利水电大学 一种新的数据传输中的信息隐藏方法、存储介质
CN109309869B (zh) * 2018-09-11 2021-01-26 东方网力科技股份有限公司 一种水印嵌入方法、装置及存储介质
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
KR102285738B1 (ko) 2018-10-19 2021-08-05 삼성전자주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020080709A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
CN109684796A (zh) * 2018-10-31 2019-04-26 平安科技（深圳）有限公司 一种基于数字水印的文档防伪方法、装置及可读存储介质
CN110289014B (zh) * 2019-05-21 2021-11-19 华为技术有限公司 一种语音质量检测方法及电子设备
CN110366004B (zh) * 2019-07-22 2021-08-13 中国人民解放军战略支援部队信息工程大学 一种二次成像混合帧信息解析方法及系统
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
CN114466181A (zh) * 2021-12-29 2022-05-10 沈阳中科创达软件有限公司 一种视频异常检测方法、装置、设备和系统
CN115278314B (zh) * 2022-07-08 2023-10-13 南京大学 一种多值数字视频水印嵌入及盲提取方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836295B1 (en) * 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel
US6943827B2 (en) * 2001-04-16 2005-09-13 Kddi Corporation Apparatus for monitoring quality of picture in transmission
US7607016B2 (en) * 2001-04-20 2009-10-20 Digimarc Corporation Including a metric in a digital watermark for media authentication
GB2377109B (en) * 2001-06-28 2003-12-03 Motorola Inc Video/image communication with watermarking
US20030112996A1 (en) * 2001-12-19 2003-06-19 Holliman Matthew J. Automatic monitoring of host signal quality using embedded data
JP4107851B2 (ja) * 2002-02-13 2008-06-25 三洋電機株式会社 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
US7636440B2 (en) 2003-01-31 2009-12-22 Hewlett-Packard Development Company, L.P. Digital watermark with variable location
JP4602983B2 (ja) 2003-05-09 2010-12-22 アビッド テクノロジー インコーポレイテッド 構造化透かしの埋め込み及び検出のための方法及び装置
JP2004348293A (ja) * 2003-05-20 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 画像品質計算装置および方法、そのプログラム並びに記録媒体
CN1256705C (zh) * 2003-07-28 2006-05-17 西安电子科技大学 基于图像目标区域的小波域数字水印方法
US7376241B2 (en) * 2003-08-06 2008-05-20 The Boeing Company Discrete fourier transform (DFT) watermark
US7706565B2 (en) * 2003-09-30 2010-04-27 Digimarc Corporation Multi-channel digital watermarking
CN1306453C (zh) * 2003-12-30 2007-03-21 中国人民解放军第一军医大学 离散拉当变换域中抗冲击性的图像水印嵌入与检测方法
CN100461864C (zh) * 2005-06-25 2009-02-11 华为技术有限公司 基于数字水印的多媒体视频通信客观质量评价方法

Also Published As

Publication number Publication date
CN1885947A (zh) 2006-12-27
DE602006011119D1 (de) 2010-01-28
JP4763721B2 (ja) 2011-08-31
JP5161334B2 (ja) 2013-03-13
JP2011182423A (ja) 2011-09-15
CN101160951B (zh) 2010-07-21
ATE452384T1 (de) 2010-01-15
JP2008527810A (ja) 2008-07-24
US20080273861A1 (en) 2008-11-06
WO2007000103A1 (fr) 2007-01-04
EP1814307A4 (en) 2008-03-19
EP1814307A1 (en) 2007-08-01
KR20070088716A (ko) 2007-08-29
EP1814307B1 (en) 2009-12-16
CN101160951A (zh) 2008-04-09
US8184164B2 (en) 2012-05-22
EP1814307B9 (en) 2010-05-26
CN100461864C (zh) 2009-02-11

Similar Documents

Publication Publication Date Title
KR100934539B1 (ko) 멀티미디어 비디오 통신 품질 측정 방법
Ma et al. Reduced-reference video quality assessment of compressed video sequences
Wang et al. An image quality evaluation method based on digital watermarking
EP1366464A2 (en) Spatio-temporal channel for images
Lee et al. A new image quality assessment method to detect and measure strength of blocking artifacts
US9693078B2 (en) Methods and systems for detecting block errors in a video
JP4194029B2 (ja) 画像劣化自動検出装置
JP4126481B2 (ja) ディジタル伝送及び／又は記録及び／又は符号化システムにより導入されたビデオ画像の劣化評価方法
JP2005064679A (ja) 画像特徴量抽出方式および画質評価方式
Sugimoto et al. Objective measurement scheme for perceived picture quality degradation caused by MPEG encoding without any reference pictures
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
Dosselmann et al. A prototype no-reference video quality system
KR100902887B1 (ko) 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템
Aggarwal A review on video quality assessment
Ndjiki-Nya et al. Efficient full-reference assessment of image and video quality
Farias et al. Video quality assessment based on data hiding driven by optical flow information
Wang et al. A digital watermarking and perceptual model based video quality measurement
Ben Amor et al. A reduced reference video quality assessment of H. 264 and mpeg2 codec based on sharpness metric
Wu Introduction: State of the play and challenges of visual quality assessment
Bossi et al. Semi-fragile watermarking for video quality evaluation in broadcast scenario
Brandão Image communication quality assessment based on watermarking, an overview
Tian et al. Analysis and modelling of no-reference video quality assessment
Farrugia et al. Objective video quality metrics for HDTV services: A survey
Rahman et al. No-reference spatio-temporal activity difference PSNR estimation
Duta et al. MPEG-4 AVC domain watermarking transparency

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161208

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee