KR20090101909A - 자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치 - Google Patents

자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치

Info

Publication number
KR20090101909A
KR20090101909A KR1020097013084A KR20097013084A KR20090101909A KR 20090101909 A KR20090101909 A KR 20090101909A KR 1020097013084 A KR1020097013084 A KR 1020097013084A KR 20097013084 A KR20097013084 A KR 20097013084A KR 20090101909 A KR20090101909 A KR 20090101909A
Authority
KR
South Korea
Prior art keywords
artifact
video
artifacts
block
correction unit
Prior art date
Application number
KR1020097013084A
Other languages
English (en)
Other versions
KR101373890B1 (ko
Inventor
곡세 댄
위티퐁 쿰윌라이삭
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090101909A publication Critical patent/KR20090101909A/ko
Application granted granted Critical
Publication of KR101373890B1 publication Critical patent/KR101373890B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 프레임에 존재하는 아티팩트를 보정하기 위한 방법 및 시스템이 개시된다. 시스템은 결정 모듈(110) 및 아티팩트 보정 유닛(120)을 포함한다. 시스템은 비디오 프레임에 존재하는 아티팩트에 대응하는 아티팩트 매트릭스(112) 및 아티팩트 맵(122)을 수신하고 아티팩트의 종류, 심각도 및 비디오 프레임의 컨텐츠(113)를 고려해서 보정될 비디오 프레임을 우선순위화한다. 비디오 프레임의 우선순위화에 이어서, 시스템은, 양자화 파라미터 및 모드 결정과 같은 압축 영역 파라미터(126)의 조정에 의해서 선택된 프레임의 아티팩트를 보정한다. 인코더(130)는 아티팩트의 발생이 적고 낮은 심각도의 아티팩트를 가지는 비디오 스트림을 자동으로 제공하기 위해서 조정된 압축 영역 파라미터에 따라서 비디오 프레임을 압축한다.

Description

자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATIC VISUAL ARTIFACT ANALYSIS AND ARTIFACT REDUCTION}
관련출원
본 출원은, 본 명세서에서 참조되는 2006년 12월 28일 출원된 미국 출원 제60/877485호에 대하여 우선권 주장을 한다.
기술분야
본 발명은 일반적으로 비디오 데이터 처리에 관한 것으로, 보다 구체적으로는 비디오 데이터 스트림 내의 아티팩트(artifact) 보정에 관한 것이다.
비디오 데이터 압축은 데이터 저장 효율을 증가시키거나 또는 요구되는 전송 대역폭을 감소시키기 위하여 필연적으로 화면 품질의 감소를 포함한다. 압축 알고리즘의 목적이 오직 비디오 프레임의 인식할 수 없는 특성만을 제거하는 것이지만, 압축된 비디오 프레임은 때때로 아티팩트로 알려져 있는 눈에 띄는 결함을 포함한다. 통상의 압축 아티팩트는, 저압축 비율 및 고압축 비율에 모두 나타날 수 있는 블록킹(blocking), 밴딩(banding), 다크 패치(dark patches) 및 링잉(ringing) 아티팩트를 포함한다.
아티팩트 및 아티팩트 심각도(artifact severity)를 감소시키기 위한 다양한 방법이 압축된 비디오 데이터 스트림이 디코딩된 이후에 후속-처리 동작(post-processing operations)으로서 수행된다. 후속-처리 기술의 일예시는 H. S. Kong, A. Vetro, H. Sun의 "Edge map guided adaptive post-filter for blocking and ringing artifacts removal", ISCAS(IEEE International SYmposium on Circuits and Systems), vol. 3, pp. 929-932, 2004년 5월 및 A. Kaup의 "Reduction of ringing noise in transform image coding using a simple adaptive filter", Electronics Letters, vol. 34, no. 22, pp. 2110-2112, 1998년 10월에 개시된 적응형 필터링(adaptive filtering)이다. 추가적으로, V. Monga, N. Damera-Venkata, B. L. Evans의 "Image Halftoning by Error Diffusion: A Survey of Methods for Artifact Reduction", Journal of Electronic Imaging, 2003에서 제안한 디더링(dithering)의 개시가 있다. 그러나, 높은 화면 품질 및 매우 낮은 아티팩트의 발생을 보증하기 위해서는, 아티팩트가 비디오 처리의 압축 단계 동안 보정되어야 한다.
DCT(discrete cosine transform)를 사용하는 압축 방법을 위한, 이와 같은 공지된 압축 영역 처리(compressed domain processing)의 방법은 양자화된 DCT 계수(quantized DCT coefficients)의 일부를 변경하는 단계를 포함한다. DCT 계수는 주어진 이미지 블록에 존재하는 각 주파수의 승수(power)를 나타낸다. 대부분의 이미지 블록에 대해서, DCT 변환 이후에 신호 에너지의 대부분은 단지 많은 낮은 차수 DCT 계수에 의해서 전달된다. 이와 같은 계수는 눈에 보이는 아티팩트의 발생을 막기 위해서 높은 차수의 계수보다 더욱 세밀하게 양자화되는 것이 요구된다. 양자화된 DCT 계수의 변경은 압축 아티팩트의 인식을 감소시키거나 강화시킬 수 있다.
B. Gunturk, Y. Altunbasak, R. M. Merserau의 "Multi-frame blocking-artifact reduction for transform-coded video", IEEE Ttans. on Circuits and Systems for Video Technology, vol. 12, no. 4, 2002년 4월에 컨벡스 세트 상의 투사를 사용하여서 양자화된 DCT 계수를 변경하는 접근법의 예시가 개시된다. 대안적으로, G. A. Triantafyllidis, D. Tzovras, M. G. Strinzis의 "Blocking artifact detection and reduction in compressed data", IEEE Trans, on Circuits and Systems for Video Technology, vol. 12, no. 10, 2002년 10월에 변환 영역의 오류 기준 최소화에 의해서 DCT 계수의 양자화를 최소화하는 방법이 개시된다. 더 나아가, 다른 압축 영역 파라미터가 아티팩트의 심각도를 감소시키기 위해서 변경될 수 있다. 예를 들어, Ruol의 미국 특허공보 제2003/0156642 A1에 아티팩트 맵에서 식별되는 프레임의 매크로블록에 대한 양자화 단위 크기(quantizer step size)의 조정에 의해서 이중-경로 인코더(two-pass encoder)의 비디오 스트림의 아티팩트의 영향을 감소시키는 방법이 개시된다.
그러나, 상기에 개시된 공지된 방법은 모드 결정(mode decision) 또는 양자화 파라미터(quantization parameter)와 같은 압축 영역 파라미터의 조정에 의해 효율적으로 아티팩트의 심각도를 제거하거나 또는 감소시키는 방식에서 제한된 인코딩 시스템 자원(예를 들어, 비트 버짓(bit budget) 및/또는 인코딩 시간)을 활용하는 문제를 처리하지 못하였다. 구체적으로, 공지된 방법은 모드 결정 또는 양자화 파라미터의 조정을 위해서 비디오 프레임 또는 비디오 프레임의 컨텐츠 내의 상이한 종류의 아티팩트를 고려하여 비디오 프레임을 우선순위화(prioritize)하지 않는다.
도 1은 예시적인 아티팩트 보정 유닛의 블록도.
도 2는 아티팩트 보정 유닛을 포함하는 다중-경로 인코딩 시스템의 예시를 도시하는 블록도.
도 3은 본 사상의 실시예에 따라서 활용될 수 있는 통상적인 인코더의 블록도.
도 4는 결정 모듈에 의해서 수행되는 다양한 아티팩트 세기(strengths) 및 종류에 기초하는 우선순위화 과정의 예시를 도시하는 흐름도.
도 5는 다양한 아티팩트 종류에 기초해서 결정 모듈에 의해 컴파일되고 소팅되는 예시적인 아티팩트 리스트를 개시하는 흐름도.
도 6은 아타팩트의 다양한 종류, 그들의 대응하는 세기 및 일부 실시예에서는 비디오 데이터 스트림의 컨텐츠를 고려해서 새로운 아티팩트 레벨을 프레임에 할당하고 평균 아티팩트를 계산하는 단계를 포함하는 결정 모듈에 의해서 수행되는 과정의 예시를 제공하는 흐름도.
도 7은 평균 아티팩트 레벨, 할당된 최종 아티팩트 레벨에 따라서 소팅되고 아티팩트 보정을 위해서 선택되는 프레임의 예시를 표현하는 도면.
도 8은 분류된 프레임의 예시를 표현하는 도면.
도 9는 보정 모듈의 예시적인 실시예의 흐름도.
도 10은 결정 모듈에 의해서 선택되는 화상의 블록의 양자화 파라미터의 조정에 기초하여서, 보정 모듈에 의해서 수행되는 아티팩트 보정 과정의 예시를 도시하는 흐름도.
도 11은 아티팩트를 포함하는 화상의 블록의 양자화 파라미터의 조정을 위해서 다양한 아티팩트 종류, 세기 및 일부 실시예에서는 비디오 화면의 컨텐츠를 고려하는 것에 기초하는 아티팩트 보정 과정의 예시를 개시하는 흐름도.
도 12는 아티팩트 보정 동안 채용될 수 있는 바이-레벨 양자화 파라미터 옵셋의 예시를 개시하는 그래프.
도 13은 아티팩트 보정 동안 채용될 수 있는 멀티-레벨 양자화 파라미터 옵셋의 예시를 개시하는 그래프.
도 14A 및 14B는 양자화 파라미터 옵셋이 적용될 수 있는 블록의 예시를 표현하는 도면.
본 발명에 따라서, 비디오 처리 방법이 개시된다. 본 발명의 일태양은 비디오 화상에 존재하는 다양한 종류의 아티팩트에 대한 여러가지 측정들 (메트릭(metrics))의 생성에 대응하여 비디오 화상을 보정하는 단계를 포함한다. 본 발명의 다른 실시예는 비디오 화상의 메트릭(metrics) 및 컨텐츠에 따라서 일련의 화상에 포함되는 비디오 화상을 선택하는 단계 및 순위화하는 단계를 포함한다. 더 나아가, 본 발명의 또 다른 실시예에 따르면, 보정이 적어도 하나의 화상의 블록에 대응하는 양자화 파라미터 및 모드 결정 중 적어도 하나의 조정에 의해서 수행된다.
본 발명은 또한 일련의 비디오 화상에 포함되는 비디오 화상의 복수의 비디오 압축 아티팩트 종류에 대한 복수의 메트릭에 대응하여 압축 영역 파라미터를 생성하기 위해서 구성되는 아티팩트 보정 유닛을 포함하는 비디오 처리 시스템에서 구현될 수 있다. 그리고 본 발명은 또한 압축 영역 파라미터에 따라서 비디오 화상을 보정하기 위해서 구성되는 인코더에서 구현될 수 있다. 본 발명의 다른 실시예와 부합하도록, 아티팩트 보정 유닛은 비디오 화면의 메트릭 및 컨텐츠 모두에 따라서 일련의 화상에 포함되는 비디오 화상을 선택하고 우선순위화하기 위해서 구성될 수 있다. 더 나아가, 아티팩트 보정 유닛 및 인코더는 화상의 적어도 하나의 블록에 대응하는 양자화 파라미터 또는 모드 결정 중 적어도 하나의 조정에 의해서 비디오 화상을 보정하기 위해서 구성될 수 있다.
하나 이상의 실시예의 상세사항은 첨부된 도면 및 아래의 설명에 개시된다. 하나의 구체적인 방식에서 개시되더라도, 실시예가 다양한 다른 방식으로 구성 또는 구현될 수 있다는 것은 명백하다. 예를 들어, 구현은 방법으로서 수행될 수도 있고, 또는 동작 세트를 수행하기 위해서 구성되는 장치 또는 동작 세트를 수행하기 위한 명령어를 저장하는 장치로서 구현될 수 있다. 다른 태양들은 첨부되는 도면 및 청구항과 관련하여 아래의 상세한 설명으로부터 더욱 명백해질 것이다.
본 발명은 모드 결정 또는 양자화 파라미터와 같은 압축 영역 파라미터의 조정에 의해서 아티팩트의 심각도를 제거하거나 또는 감소시키기 위한 제한된 자원의 효율적인 활용과 직접 관련된다. 본 발명의 일태양은 프레임에 존재하는 상이한 종류의 아티팩트의 심각도를 고려하여 보정을 위해서 비디오 프레임을 우선순위화하는 단계를 포함한다. 더 나아가, 특정한 종류의 비디오 컨텐츠에는 특정한 종류의 아티팩트가 더 많아지는 경향이 있기 때문에, 비디오 프레임을 우선순위화할 때 비디오 스트림의 컨텐츠 또한 고려될 수 있다. 따라서, 본 발명은 모드 결정 또는 파라미터 양자화와 같은 압축 영역 파라미터의 조정에 의해서 압축된 비디오 스트림의 가장 인식하기 쉬운 아티팩트를 보정하는 효율적인 방식으로 인코더 시스템 자원을 활용한다.
본 발명에 의해서 보정될 수 있는 여러가지 종류의 아티팩트가 존재한다. 이와 같은 공통된 아티팩트는 프레임 픽셀의 블록의 눈에 보이는 에지에 의해서 특징지워지는 블록킹 아티팩트를 포함한다. 구체적인 블록킹 아티팩트는 크로마 블록킹 아티팩트 및 루마 블록킹 아티팩트를 포함한다. 본 발명에 의해서 보정할 수 있는 밴딩 아티팩트 및 다른 공통 아티팩트는 점진적인 색상 변화에서 독특한 색상 밴드를 인식함으로써 나타난다. 추가적으로, 다크 패치, 모스퀴토 잡음(mosquito noise) 및 링잉 아티팩트와 같은 모바일 영역에서 인식가능한 것들 또한 본 발명의 실시예에 따라서 감소될 수 있다. 그러나, 상기에 개시된 아티팩트의 종류는 비-한정적인 예시이고 본 발명은 다른 종류의 비디오 압축 아티팩트에서도 적용될 수 있다는 점을 유의해야 한다.
여러가지 도면에 걸쳐서 동일한 참조 번호가 유사한 또는 동일한 구성요소를 나타내는 도면의 구체적인 세부사항을 참조하면, 도 1에 본 발명의 태양에 따르는 예시적인 아티팩트 보정 유닛(100)이 도시된다. 아티팩트 보정 유닛(100)은 결정 모듈(110) 및 보정 모듈(120)을 포함할 수 있다. 도 2는, 선택적으로 아티팩트 감지기(80, 50)를 각각 포함할 수 있는 인코더(90, 130)를 가지는 다중-경로 비디오 인코딩 시스템의 아티팩트 보정 유닛의 예시를 제공한다. 인코더(130)는 또한 아티팩트 보정기(140)를 포함할 수 있는데, 이의 기능은 아래에 개시된다. 아티팩트 보정기(140)는 인코딩 과정 동안 압축 아티팩터의 생성을 막기 위해서 인코딩 전에 화상을 처리하는 기능을 가질 수 있다.
인코더(90)에 의해서 비디오 스트림 입력(202)이 수신되고, 아래에서 더 자세히 설명되는 바와 같이 본 발명에 따라서 처리된 이후에, 보정된 압축 비디오 스트림(208)이 인코더(130)에 의한 출력이 된다. 압축된 비디오 스트림(208)은 아티팩트 감지기(150)에 의해서 제공되는 아티팩트(206)의 존재의 표시를 포함하는 추가적인 보정 경로를 위해서 다른 인코더에 제공될 수 있다. 대안적으로, 아티팩트 감지기(150)는 최종 비트 스트림의 아티팩트(206)의 존재를 보고할 수 있다.
본 발명에 채용될 수 있는 통상적인 인코더(300)의 예시는 도 3에 개시된다. 이와 같은 인코더는 다음의 구성요소를 포함할 수 있다. 입력 비디오 스트림(302)을 수신할 수 있도록 구성된 프레임 오더링 버퍼(frame ordering buffer; 304), 변환 및 양자화 모듈(306), 역변환 및 역양자화 모듈(308), 인트라 예측 모듈(intra prediction module; 314), 디블록킹 필터(316), 레퍼런스 화상 버퍼(reference picture buffer; 318), 움직임 추정 모듈(motion estimation module; 320), 움직임 보상 모듈(motion compensation module; 322), 화상-종류 결정 모듈(310), 매크로블록-종류 결정 모듈(312), 엔트로피 코딩 모듈(324), 시퀀스 파라미터 세트 및 화상 파라미터 세트 삽입기(326), 메타데이터(344)를 처리하기 위해서 구성되는 보충적인 개선 정보 삽입기(supplemental enhancement information inserter; 332), 비율 제어 모듈(330) 및 인코딩된 비디오 데이터 스트림(336)을 출력하기 위하여 구성되는 출력 버퍼(328).
도 1 및 2로 돌아가면, 본 발명의 실시예에 따르는 과정은 아티팩트 측정의 유닛, 아티팩트 메트릭(112) 및 비디오 스트림의 프레임에 대응하는 아티팩트 맵(122)의 생성에 의해서 시작된다. 아티팩트 맵은 각 화상의 아티팩트의 위치를 도시할 수 있고, 블록킹, 밴딩, 다크 패치, 링잉 아티팩트 또는 다른 종류의 비디오 압축 아티팩트를 포함할 수 있는 아티팩트의 종류를 나타낼 수 있다. 아티팩트 맵은 또한 8 X 8 픽셀 또는 임의의 크기의 블록과 같은 고정된 크기 블록 내의 아티팩트의 존재 및 심각도를 나타낼 수 있다. 역으로, 아티팩트 메트릭은 프레임에 존재하는 각 종류의 전체적인 아티팩트의 심각도 레벨의 표시를 포함할 수 있다. 일실시예에 따르면, 양자화 파라미터, 모드 결정, 레퍼런스 프레임 선택 및 비트율 할당 중 하나 이상을 포함할 수 있는 주어진 비디오 압축 방법의 파라미터 설정에 따라서 비디오 프레임을 압축한 이후에, 아티팩트 메트릭 및 아티팩트 맵이 도 2에 도시되는 아티팩트 감지기(80)를 통해서 인코더(90)에 의해서 생성된다. 그러나, 아티팩트 맵 및 아티팩트 메트릭은 임의의 종류의 압축 동작장치(compression operator)에 의해서 생성될 수 있다는 것을 유의해야 한다.
이들의 생성에 이어서, 압축된 비디오 스트림뿐만 아니라 아티팩트 맵(122) 및 아티팩트 메트릭(112)도 결정 모듈(110)로 전송된다. 설정 데이터(144)는 또한 인코더(90) 또는 임의의 다른 종류의 동작장치에 의해서 결정 모듈(110)에 제공될 수 있다. 본 발명의 다른 태양에 따르면, 설정 데이터(114)는 결정 모듈(110)의 디폴트 파일에 포함될 수 있다. 본 발명의 일실시예에서, 설정 데이터는 아티팩트 보정 유닛(100)에 의해서 사용될 수 있는 압축된 비디오 스트림의 사용가능한 비트율을 포함한다. 예를 들어, 비디오 스트림의 목표 비트율이 10Mbps이고, 인코더(90)에 의한 압축 이후의 비디오 스트림의 비트율은 9Mbps라면, 아티팩트를 보정하기 위해서 아티팩트 보정 유닛(100)에 의해서 사용될 수 있는 사용가능한 비트율은 1Mbps이다. 더 나아가, 설정 데이터는 아티팩트 보정 유닛이 보정해야 하는 화상의 최소 또는 최대 백분율을 포함할 수 있다. 본 발명의 다른 태양을 따르면, 애니메이션 컨텐츠, 영화 컨텐츠 또는 다른 관련된 컨텐츠 종류와 같은 압축된 비디오 컨텐츠의 종류(113)는 추가적으로 인코더(90) 또는 다른 종류의 동작장치에 의해서 결정 모듈(110)에 제공될 수 있다.
본 발명의 구체적인 실시예에 따라서 결정 모듈(110)에 의해서 수행되는 과정은 도 4에 개시된다. 상기에서 논의한 바와 같이, 결정 모듈(110)은, 결정 모듈 설정(단계 402) 동안 발생할 수 있는 아티팩트 메트릭(112) 및 아티팩트 맵(122)을 수신한다. 아티팩트 메트릭은 이로부터 특정한 프레임에 존재하는 각 종류의 아티팩트의 심각도 레벨을 직접적으로 또는 간접적으로 추론할 수 있는 정보를 제공한다. 예를 들어, 프레임이 루마 블록킹 아티팩트, 크로마 블록킹 아티팩트, 밴딩 아티팩트 및 다크 패치 아티팩트를 가지면, 아티팩트 메트릭은 프레임에 대한 4가지 값의 아티팩트 세기를 특정한다. 결정 모듈 설정에서 아티팩트 메트릭 및 아티팩트 맵을 수신한 이후에, 결정 모듈(110) 또는 대안적으로 아티팩트 감지기(80)는 상이한 프레임에 대응하는 아티팩트의 각 종류에 대한 아티팩트 세기의 리스트를 컴파일한다. 예시적으로, 도 5의 좌측 부분에 개시되는 바와 같이, 결정 모듈(110)은 각 프레임에 대응하는 크로마 블록킹 세기 레벨의 항목으로 크로마 블록킹 아티팩트에 대한 리스트를 컴파일할 수 있다.
리스트를 컴파일한 이후에, 결정 모듈(110)은, 도 5에 도시되는 바와 같이 아티팩트 세기 레벨에 따라서 각 아티팩트 종류 리스트의 항목을 내림차순으로 정렬한다(도 4의 단계 404). 결정 모듈(110)은 그 다음에 소팅된 리스트의 아티팩트 세기 레벨 순위에 기초하여 각 아티팩트 종류에 대한 새로운 아티팩트 레벨을 세트의 각 프레임에 할당할 수 있다(단계 406). 새로운 레벨은 표준화된 아티팩트 세기 레벨(normalized artifact strength level)에 대응할 수 있고 또는 단순하게 아티팩트 감지기(80)에 의해서 제공되는 동일한 아티팩트 세기 레벨이 될 수도 있다. 상기에 제공된 예시에서, 도 6에서 각각 a, b, c 및 d로 표현되는 루마 블록킹 아티팩트, 크로마 블록킹 아티팩트, 밴딩 아티팩트 및 다크 패치 아티팩트에 대응하는 리스트 순위에 따라서 프레임에 4개의 새로운 아티팩트 레벨이 할당된다. 그 다음에 결정 모듈(110)은 도 6에서 "A"로 표시되는, 세트의 각 프레임에 대한 미리 할당된, 순위-기반 아티팩트 레벨의 평균을 계산한다(408 단계).
각 프레임에 대한 평균 아티팩트 레벨의 계산 이후에, 결정 모듈(110)은 도 7에 예시적으로 도시되는 바와 같이, 내림차순의 평균 아티팩트 레벨에 따라서 프레임을 소팅한다(단계 410). 결정 모듈(110)은 그 다음에 평균 아티팩트 레벨 순위에 기초해서 각 프레임에 최종 아티팩트 레벨(도 7의 "F")을 할당한다. 가장 높은 최종 아티팩트 레벨을 가지는 프레임이 아티팩트 보정을 위해서 선택되고 결정 모듈(110)은 보정 모듈(120)에 보정할 선택된 프레임(116) 또는 대안적으로 보정할 프레임의 표시를 제공한다. 추가적으로, 결정 모듈(110)은 최종 아티팩트 레벨에 따라서 프레임의 세트를 분류할 수 있다(단계 414). 예를 들어, 화상은 도 8에 도시되는 바와 같이 평균 아티팩트 레벨 리스트의 프레임의 위치에 따라서 매우 심함, 심함, 평균, 약함, 매우 약함과 같이 분류될 수 있다. 분류는 특정한 심각도 분류에 따라서 화상을 보정하기 위한 명령과 함께 보정 모듈(120)에 제공될 수 있다.
본 발명의 일실시예에 따르면, 보정될 프레임의 개수, 또는 역으로 스레스홀드 값은 상기에 개시된 설정 데이터에 기초한다. 예를 들어, 설정 데이터는 일련의 비디오 프레임에서 보정될 화상의 백분율을 특정할 수 있다. 대안적으로, 결정 모듈(110)은 상기에 개시되는 설정 데이터를 구성할 수 있는 사용가능한 비트율에 따라서 보정을 위해서 선택되는 프레임의 개수를 동적으로 결정할 수 있다. 사용가능한 비트율은 인코딩 과정에 할당되는 비트 버짓의 사용하지 않는 비트의 개수에 대응한다. 예를 들어, 인코딩 과정에 M 비트의 비트 버짓이 할당되었고 비디오 스트림을 인코딩하는데 오직 N 비트만 사용한다면(N은 M보다 작음), 아티팩트 보정을 위해서 사용가능한 비트율은 M - N 비트와 같다. 사용가능한 비트율이 높으면 보정될 프레임의 개수는 증가될 수 있고 사용가능한 비트율이 낮으면 보정될 프레임의 개수는 감소될 수 있다.
추가적으로, 본 발명의 다른 실시예에서, 아티팩트 맵에 의해서 제공되는 최종 아티팩트 세기 레벨 또는 아티팩트 세기 레벨은 보정될 프레임의 개수를 결정하기 위해서 사용될 수 있다. 예를 들어, 결정 모듈(110)은 프레임의 세트에서 가장 높은 최종 아티팩트 레벨을 가지는 프레임을 보정하기 위해서 요구되는 비트의 개수를 추정할 수 있다. 사용가능한 비트율이 가장 높은 최종 아티팩트 레벨을 가지는 프레임을 보정하기 위해서 요구되는 비트율보다 높다면, 결정 모듈(110)은 두번째로 높은 평균 아티팩트 레벨을 가지는 프레임을 보정하기 위해서 요구되는 비트율을 계산하고 사용가능한 비트율이 양 프레임을 보정하기 위해서 요구되는 결합된 비트율보다 더 큰지를 결정한다. 결정 모듈(110)은 복수의 프레임의 보정을 위해서 요구되는 비트율이 사용가능한 비트율을 초과할 때까지 상기 과정을 진행하고 이로 인해 보정될 프레임의 개수를 결정한다.
더 구체적인 실시예에서, 결정 모듈(110)은 또한, 특정한 카테고리의 비디오 컨텐츠에 특정한 종류의 아티팩트가 더 많아지는 경향이 있기 때문에, 보정될 비디오 프레임을 선택할 때 비디오 프레임의 컨텐츠를 고려한다. 예를 들어, 에니메이션 컨텐츠의 비디오 프레임에서는 밴딩 아티팩트를 가장 많이 인식할 수 있지만, 영화 컨텐츠에서는 블록킹 아티팩트가 우세해지는 경향이 있다. 본 발명의 일태양에 따르면, 결정 모듈(110)은 비디오 프레임의 컨텐츠를 고려해서 프레임에 대한 평균 아티팩트 레벨, "A"를 계산할 때 특정한 종류의 아티팩트에 더 많은 가중치를 둔다. 예시적으로, 결정 모듈(110)은 비디오가 영화 컨텐츠로 구성되면 평균 아티팩트 레벨을 더 높은 블록킹 아티팩트 레벨로 편향되게 가중치를 두고 비디오가 영화 컨텐츠로 구성되면 평균을 더 높은 밴딩 아티팩트 레벨에 편향되게 둔다. 더 나아가, 다른 실시예에서, 아티팩트 감지기(80)는 아티팩트 맵(112)에서 제공되는 아티팩트 세기 레벨의 가중치 인자를 포함할 수 있다.
상기에 개시되는 예시적인 실시예에서, 본 발명은 비디오 프레임 내의 아티팩트의 심각도, 비디오 프레임에 존재하는 아티팩트 종류 및 비디오 스트림의 컨텐츠 중 적어도 하나 이상을 고려해서 관찰자가 가장 잘 인식할 수 있는 아티팩트를 가지는 프레임을 우선순위화한다. 따라서, 인코더가 제한된 자원을 가지거나 또는 압축된 비디오 프레임 시퀀스에 대한 목표 비트율에 의해서 제약을 받을 때, 본 발명은 제한된 자원이 인코더 상에 부과되더라도 고품질 비디오 스트림을 제공하기 위한 가장 잘 인식될 수 있는 아티팩트를 가지는 프레임의 보정을 용이하게 한다.
상기에서 논의된 우선순위화에 이어서, 보정 모듈(120)은 일련의 화상에서 보정해야할 화상의 표시를 수신한다. 보정 모듈이 도 1 및 2에 도시되는 바와 같이 아티팩트 보정 유닛에 포함될 수 있다고 하더라도, 보정 모듈은 또한 도 9에 도시되는 바와 같이 독립형(stand-alone) 장치로 될 수 있다는 것을 유의해야 한다. 도 10은 보정 모듈(120)에 의해서 수행되는 아티팩트 보정 과정의 일실시예를 도시한다. 과정은 보정 모듈 설정(단계 1002) 후에 보정할 화상의 표시를 수신함에 의해서(단계 1004) 시작된다. 추가적으로, 보정 모듈은 또한 보정될 각 프레임에 대한 아티팩트 맵 및 압축 영역 파라미터를 수신한다(단계 1004). 아티팩트 맵 및 압축 영역 파라미터는 인코더(90) 또는 임의의 다른 종류의 동작장치에 의해서 제공될 수 있다. 압축 영역 파라미터는 양자화 파라미터 및/또는 모드 결정뿐만 아니라 보정될 프레임 내의 블록에 대응하는 DCT 계수와 같은 다른 종류의 압축 영역 파라미터를 포함할 수 있다. 간단한 설명을 위해서, 도 10에 제공되는 예시는 오직 양자화 파라미터만을 조정한다. 그러나, 본 발명은 추가적으로 또는 대안적으로 다른 압축 영역 파라미터를 조정하기 위해서 구성될 수 있다는 것을 유의해야 한다.
보정할 화상의 표시(116), 아티팩트 맵 및 설정 파라미터 정보를 수신한 이후에(116), 보정 모듈(120)은 보정될 화상에 대응하는 아티팩트 맵을 검사한다(단계 1006). 아티팩트 맵을 사용해서, 보정 모듈(120)은 화상 내에서 아티팩트에 의해서 영향을 받는 블록을 감지하는 기능을 가질 수 있다. 이와 같은 정보가 사용가능하면, 아티팩트 보정은 프레임-레벨 인코딩 파라미터(예를 들어, 디-블록킹 필터)뿐만 아니라, MB(macro block) 레벨 인코딩 파라미터(예를 들어, 양자화 파라미터(qunatization parameter; QP))의 수정에 의해서 수행될 수 있다. 보정 모듈(120)은 화상의 아티팩트 맵 내의 각 블록을 스캔하고 아티팩트를 포함하는 블록을 결정한다(단계 1008, 1010). 아티팩트를 가지는 블록을 발견하면, 보정 모듈(120)은 아래에서 더 자세히 개시하는 바와 같이 블록에 대한 양자화 파라미터를 조정한다(단계 1012). 보정 모듈이 아티팩트를 발견하지 못하면, 블록을 압축하기 위해서 사용되는 본래의 양자화 파라미터를 적용한다(단계 1014). 그 다음에, 보정 모듈(120)은 화상의 다음 블록을 스캔한다(단계 1008). 화상 내의 모든 블록을 처리한 이후에, 보정 모듈(120)은, 화상의 각 블록에 대응하는 조정된 양자화 파라미터를 표시하는 화상에 대한 양자화 파라미터 맵을 형성한다(단계 1018). 이어서, 보정 모듈(120)은 보정될 다음 화상에 대응하는 아티팩트 맵을 검사하고(단계 1006) 모든 표시되는 화상이 처리될 때까지 양자화 파라미터 조정 방법을 반복한다. 결정 모듈(110) 및 보정 모듈(120) 모두에 의해서 수행되는 과정을 포함하는 아티팩트 보정 유닛(100)의 전체적인 작업 흐름은 도 11에 제공된다.
양자화 파라미터는 본 발명에 따르는 다양한 방식으로 조정될 수 있다. 상기에 개시된 바와 같이, 양자화 파라미터는 화상의 덜 인식되는 형상을 제거하기 위해서 DCT 계수에 적용되는 스케일링 인자와 관련된다. 일반적으로, 낮은 양자화 파라미터 값은 DCT 계수의 더 세밀한 스케일 표현(finer scale representation)과 대응한다. 따라서, 양자화 파라미터를 낮추는 것은 원래 픽셀값의 더 정확한 재구성을 가능하도록 하고, 특히 블록킹과 밴딩 아티팩트 같은 아티팩트의 출현을 감소시킨다.
본 발명의 일실예에 따르면, 보정 모듈(120)은 아티팩트를 포함하는 블록에 대한 양자화 파라미터를 소정의 값으로 옵셋한다. 동일한 소정의 옵셋이, 도 12에 도시되는 바와 같이 전체로서 양자화 파라미터 옵셋의 절대값을 나타내는 아티팩트를 포함하는 모든 블록에 적용된다. 이와 같은 접근은 아티팩트 보정 유닛(100)이 아티팩트 세기를 표시하지 않는 아티팩트 맵(이진 아티팩트 맵(binary artifact map))을 채용할 때 가장 잘 적용된다.
본 발명의 다른 실시예에서, 아티팩트를 포함하는 블록에 적용되는 양자화 파라미터 옵셋은 도 13에 도시되는 바와 같이 상이하고 양자화 파라미터 옵셋의 절대값을 나타내는 블록의 아티팩트의 세기 레벨에 대응한다. 예를 들어, QP1은 약한 아티팩트에 대응하는 옵셋 크기를 표현하고, QP2는 중간 세기 아티팩트에 대응하는 상이한 옵셋 크기를 나타내고, QP3은 강한 아티팩트에 대응하는 다른 옵셋 크기를 나타낸다. 아티팩트의 세기는 아티팩트 감지기(80)에 의해서 제공되는 아티팩트 맵을 참조하여 획득될 수 있다. 활용되는 아티팩트 맵이 이진이면, 블록 내의 아티팩트의 세기를 결정하기 위해서 대안적으로 외부의 세기 감지기가 채용될 수 있다. 이미 개시된 실시예에서, 양자화 파라미터 옵셋은 적어도 하나의 아티팩트를 포함하는 전체 블록에 적용된다. 임의의 개수의 옵셋 값과 대응하는 아티팩트 세기가 채용될 수 있다는 것을 이해할 수 있다. 더 나아가, 화상의 블록의 크기 역시 변경될 수 있다.
양 실시예에서의 임의의 양자화 옵셋은 목표 비트율에 따른다는 것을 이해할 수 있다. 보정 모듈(120)은 비디오 스트림의 목표 비트율과 같거나 또는 이보다 낮은 비트율을 야기하는 양자화 파라미터 조정 크기를 선택한다. 더 나아가, 양 실시예에서의 양자화 파라미터 옵셋의 크기는 또한 결정 모듈(110)에 의해서 제공되는 아티팩트 세기 레벨(118)에 따를 수 있다. 예를 들어, 더 낮은 아티팩트 세기 레벨은 더 낮은 양자화 파라미터 옵셋을 요구한다. 더 나아가, 더 높은 아티팩트 세기 레벨은 더 큰 양자화 파라미터 옵셋을 필요로 하거나 또는 디블록킹 파라미터 및 라운딩 옵셋과 같은 다른 파라미터의 조정을 요구할 수 있다.
추가적으로, 본 발명의 다른 태양에 따라서 보정 모듈(120)은 파라미터 조정 이후의 결과 비트율을 결정하는 복잡성 모델(complexity model)을 활용할 수 있다. 보정 모듈(120)은 인코더에 통합되거나 또는 아티팩트를 보정하기 위해서 요구되는 비트의 개수를 추정하기 위하여 인코딩 과정의 적어도 일부를 수행할 수 있다. 복잡성 모델은 본래의 양자화 파라미터, 본래의 블록 당 할당되는 비트의 크기 및 새롭게 할당되는 양자화 파라미터를 고려해서 결과 비트율을 추정한다. 그러나, 결과 비트율을 결정하기 위한 다른 수단이 또한 채용될 수 있다.
본 발명의 다른 실시예에 따르면, 아티팩트를 포함하는 블록, 도 14의 "BA"를 둘러싸는 블록의 양자화 파라미터가 조정될 수 있다. 도 14A 및 14B에 도시되는 바와 같이, 예를 들어 둘러싸는 블록이 옵셋 O0, O1, O2, O3 ...에 따라서 조정될 수 있다. 블록 옵셋의 개수 및 옵셋의 크기는 본 발명에 따라서 변경될 수 있다. 더 나아가, 인접한 블록이 아티팩트를 포함하지 않더라도 인접한 블록의 양자화 파라미터가 조정될 수 있다. 인접한 블록의 양자화 파라미터의 급작스러운 변이가 프레임의 블록들 사이의 시각적으로 인식가능한 차이점을 야기하기 때문에, 인접한 블록의 양자화 파라미터의 옵셋은 프레임의 비디오 품질이 일관되게 하는 것을 보증한다. 인식할 수 있는 일관된 비디오 품질을 유지하기 위해서, 본 발명의 태양에 따라서 인접한 블록의 양자화 파라미터 옵셋의 크기가 아티팩트를 포함하는 블록으로부터 외견상 점진적으로 변경된다. 더 나아가, 양자화 파라미터가 변경되는 아티팩트를 가지는 블록을 둘러싸는 블록의 인접영역의 크기는 또한 아티팩트를 포함하는 블록의 양자화 파라미터 조정의 크기에 따를 수 있다.
그러나, 향상된 품질의 비디오 스트림을 생성하기 위해서, 둘러싸는 블록의 양자화 파라미터는 필요에 따라서 증가되거나 감소될 수 있다. 예를 들어, 아티팩트가 여려가지 블록을 스판(span)하는 경우와 같이 둘러싸는 블록이 그들의 보정을 보장하는 세기와 종류를 가지는 아티팩트를 포함하면 둘러싸는 블록의 양자화 파라미터가 감소될 수 있다.
뿐만 아니라, 양자화 파라미터 옵셋의 크기는 또한 아티팩트를 둘러싸는 블록의 모드에 따를수 있다. 일련의 비디오 프레임을 인코딩하는 공통적인 방법은, 비디오 시퀀스를 저장하기 위해서 요구되는 메모리를 감소시키기 위해서 비디오 프레임들 사이의 차이가 인코딩되는 움직임 보상을 포함한다. 이와 같은 인코딩 기법에서, 블록은 인터-모드(inter-mode) 또는 인트라-모드(intra-mode)의 양 모드에서 인코딩될 수 있다. 인터-블록은 다른 블록을 참조하여서 디코딩되는 반면에 인트라-블록은 다른 블록을 참조하지 않고 디코딩될 수 있다. 당연히, 인트라-블록은 인터-블록보다 많은 정보를 포함한다. 따라서, 인트라-블록은 통상적으로 아티팩트를 보정하기 위해서 인터-블록보다 더 낮은 양자화 파라미터 옵셋 크기를 요구한다. 본 발명의 다른 일태양에서, 보정 모듈(120)은 조정하는 블록의 모드에 따라서 양자화 파라미터 옵셋 크기를 결정한다. 이와 유사하게, 보정 모듈(120)은 둘러싸는 블록의 임의의 양자화 파라미터 옵셋을 그들 각각의 모드를 고려하여 결정한다. 인트라-블록의 양자화 파라미터의 조정은, 인터-블록이 인트라-블록에 저장된 정보를 통합함에 따라서, 인트라-블록을 참조하는 비디오 시퀀스의 화상 이전의 또는 이후의 임의의 인터-블록의 압축 및 인코딩에 불가피하게 영향을 끼친다는 것을 이해해야 한다.
상기에서 언급한 바와 같이, 본 발명은 아티팩트의 발생 및 심각도를 감소시키기 위한 화상의 블록의 양자화 파라미터의 조정에 관해서 개시되었지만, 다른 압축 영역 파라미터가 추가적으로 또는 대안적으로 조정될 수 있다. 예를 들어, 본 발명의 실시예에 따르면, 블록에 대응하는 모드 결정은 조정될 수 있다. 상기에서 개시된 바와 같이, 인트라-블록은 인터-블록보다 더 많은 정보, 즉 더 많은 비트를 포함한다. 인터-블록 내의 아티팩트의 보정을 위해서, 보정 모듈(120)은 아티팩트의 심각도를 제거하거나 또는 감소시키기도록 블록을 인트라-블록으로 전환시킬 수 있다. 추가적으로, 본 발명의 다른 태양에 따르면, 양자화 파라미터의 조정에 관해서 상기에서 개시한 바와 같이 보정 모듈(120)은 또한 아티팩트를 포함하거나 혹은 포함하지 않는 주변의 블록을 변환시킬 수 있다. 예시적으로, 보정 모듈(120)은 목표 비트율을 유지하기 위해서 추가적으로 이미 인코딩된 둘러싸는 인트라-블록을 인터-블록으로 변환시킬 수 있다.
압축 영역 파라미터의 조정이 완료되면, 보정 모듈(120)은 인코더(130) 또는 다른 압축 동작장치에 조정된 압축 영역 파라미터(126) 및 보정될 화상 또는 장면(128)을 제공한다. 상기에서 논의한 바와 같이, 조정된 압축 영역 파라미터(126)는 양자화 파라미터 맵의 형식으로 제공될 수 있다. 그 후에, 인코더(130)는 아티팩트 보정 압축 영역 파라미터(126)에 따라 표시된 화상을 압축하기 위해서 아티팩터 보정기(140)를 활용하고 이로 인해 아티팩트가 더 적게 발생하고 심각도가 더 낮은 비디오 스트림을 제공한다.
도 2에 도시되는 본 발명을 구현하는 시스템은 또한, 예를 들어 사용자-인터페이스(도시되지 않음)를 포함할 수 있다는 것을 이해할 수 있다. 본 발명에 따르면, 사용자는 사용자 인터페이스를 통해서 비디오 시퀀스의 화상에 존재하는 아티팩트의 종류를 통지받을 수 있다. 추가적으로, 사용자는 화상에 존재하는 아티팩트의 심각도에 따르는 비디오 화상의 분류를 통지받을 수 있다. 예를 들어, 상기에서 언급한 바와 같이 아티팩트 보정 유닛(120)은 계산된 화상의 최종 아티팩트 레벨에 따라서 화상을 매우 심함, 심함, 보통, 약함 또는 매우 약함과 같이 분류할 수 있다.
개시된 실시예의 태양은 다양한 애플리케이션에 적용될 수 있다. 애플리케이션은, 예를 들어 DVD 디스크 오서링(authoring) 및 비-실시간 압축 애플리케이션을 위한 다른 전문적인 장비를 포함한다. 본 명세서에 개시되는 실시예는, 예를 들어 방법 또는 과정, 장치 또는 소프트웨어 프로그램으로 구현될 수 있다. 실시예가 오직 단일한 형식의 컨텍스트에서 개시되었다고 해도(예를 들어, 오직 방법으로서 논의됨), 논의된 실시예의 태양은 또한 다른 형식(예를 들어, 장치 또는 프로그램)으로 구현될 수 있다. 예를 들어 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 본 방법은, 예를 들어 일반적으로 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램가능한 로직 장치를 포함하는 처리 장치로 지칭되는 프로세서와 같은 장치에서 구현될 수 있다. 처리 장치는 또한, 예를 들어 컴퓨터, 핸드폰, PDA 및 사용자들 사이의 정보의 교환을 용이하게 하는 다른 장치와 같은 통신 장치를 포함할 수 있다
본 명세서에 개시되는 다양한 과정 및 태양의 실시예는, 구체적으로 예를 들어 데이터 송신 및 수신과 관련된 장비 또는 애플리케이션과 같은 다양한 다른 장비 또는 애플리케이션에서 구현될 수 있다. 장비의 예시는 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-탑 박스, 랩탑, 개인용 컴퓨터 및 다른 통신 장치를 포함한다. 명확하게 하자면, 장비는 모바일이 될 수 있고 심지어 모바일 차량에 설치될 수 있다.
추가적으로, 본 방법은 프로세서에 의해서 수행되는 명령어에 의해서 구현될 수 있고, 이와 같은 명령어는, 예를 들어 집적 회로, 소프트웨어 캐리어 또는 하드 디스크, 컴팩트 디스켓, RAM(random access memory) 또는 ROM(read-only memory) 등의 다른 저장 장치와 같은 프로세서-판독가능 매체 상에 저장될 수 있다. 명령어는 프로세서-판독가능 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명확하게 하자면, 프로세서는 예를 들어 과정을 수행하는 명령어를 가지는 프로세서-판독가능 매체를 포함할 수 있다.
본 기술분야의 당업자에게 명백하게도, 실시예는 또한, 예를 들어 저장되거나 전송될 수 있는 정보를 전달하는 포맷된 신호를 발생시킬 수 있다. 상기 정보는, 예를 들어 방법을 수행하는 명령어 또는 개시된 실시예 중 하나에 의해서 발생되는 데이터를 포함할 수 있다. 이와 같은 신호는, 예를 들어 (스펙트럼의 라디오 주파수 부분을 사용해서) 전자기파 또는 베이스밴드 신호로서 포맷될 수 있다. 포맷화는, 예를 들어 데이터 스트림 인코딩, 인코딩된 스트림의 패킷화(packetizing) 및 패킷화된 스트림에 의한 캐리어의 변조를 포함할 수 있다. 신호가 전달하는 상기 정보는 예를 들어 아날로그 또는 디지털 정보가 될 수 있다. 신호는 공지된 다양한 유선 또는 무선 연결을 통해서 전송될 수 있다.
본 명세서에 많은 실시예가 개시되었지만, 다양한 수정이 가능하다는 것을 이해할 수 있다. 예를 들어, 상이한 실시예의 구성요소는 다른 실시예를 생성하기 위해서 결합되거나, 보충되거나 수정되거나 제거될 수 있다. 추가적으로, 본 기술분야의 당업자는 본 개시에 다른 구조 및 과정이 대체될 수 있고 이로 인한 결과적인 실시예가 본 명세서의 실시예가 개시하는 것과 실질적으로 동일한 결과를 얻기 위해서 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행할 수 있다는 것을 이해할 수 있다. 따라서, 이와 같은 실시예들은 다음의 청구항의 범위 내에 있다.

Claims (24)

  1. 비디오 처리 방법으로서,
    일련의 비디오 화상(a sequence of video pictures)에 포함되는 비디오 화상에 존재하는 복수의 비디오 압축 아티팩트 종류(video compression artifact types)에 대응하는 복수의 메트릭(metrics)을 생성하는 단계; 및
    상기 메트릭들에 따라 상기 비디오 화상을 보정하는 단계
    를 포함하는 비디오 처리 방법.
  2. 제1항에 있어서,
    상기 일련의 비디오 화상의 컨텐츠에 따른 보정을 위해서 일련의 화상으로부터 화상을 선택하는 단계
    를 더 포함하는 비디오 처리 방법.
  3. 제2항에 있어서,
    상기 선택하는 단계는 상기 메트릭들에 따른 상기 화상들의 우선순위화(prioritizing)에 따라 수행되는 비디오 처리 방법.
  4. 제2항에 있어서,
    상기 컨텐츠는 애니메이션 컨텐츠와 영화 컨텐츠 중 적어도 하나를 포함하는 비디오 처리 방법.
  5. 제1항에 있어서,
    상기 비디오 압축 아티팩트의 종류는 블록킹 아티팩트(blocking artifact), 밴딩 아티팩트(banding artifact), 다크 패치 아티팩트(dark patch artifact) 및 링잉 아티팩트(ringing artifact) 중 적어도 하나를 포함하는 비디오 처리 방법.
  6. 제1항에 있어서,
    상기 보정하는 단계는 상기 화상의 아티팩트를 포함하는 제1 블록을 보정하기 위해서 아티팩트 맵을 사용하는 단계를 포함하는 비디오 처리 방법.
  7. 제6항에 있어서,
    상기 아티팩트 맵은 고정된 크기의 블록들로 분할되는 비디오 처리 방법.
  8. 제6항에 있어서,
    상기 보정하는 단계는 아티팩트를 포함하지 않는 제2 블록을 보정하는 단계를 더 포함하는 비디오 처리 방법.
  9. 제1항에 있어서,
    상기 보정하는 단계는 상기 비디오 화상의 적어도 하나의 블록에 대응하는 양자화 파라미터(quantization parameter) 및 모드 결정(mode decision) 중 적어도 하나를 조정하는 단계를 더 포함하는 비디오 처리 방법.
  10. 제9항에 있어서,
    상기 조정하는 단계는 상기 조정에 이어서 비디오 정보를 조정하기 위해서 사용되는 비디오 처리 방법.
  11. 제1항에 있어서,
    사용자-인터페이스를 제공하는 단계; 및
    상기 비디오 화상에 존재하는 적어도 하나의 아티팩트의 종류를 사용자에게 통지하는 단계
    를 더 포함하는 비디오 처리 방법.
  12. 제11항에 있어서,
    적어도 하나의 아티팩트의 심각도(severity)에 따라서 상기 비디오 화상을 분류하는 단계; 및
    사용자에게 상기 비디오 화상의 상기 분류를 통지하는 단계
    를 포함하는 비디오 처리 방법.
  13. 처리 시스템으로서,
    일련의 비디오 화상에 포함되는 비디오 화상에 존재하는 복수의 비디오 압축 아티팩트 종류에 대응하는 복수의 메트릭에 대응하는 압축 영역 파라미터들(compressed domain parameters)을 생성하도록 구성되는 유닛; 및
    상기 압축 영역 파라미터들에 따라서 상기 비디오 화상을 보정하도록 구성되는 프로세서
    를 포함하는 처리 시스템.
  14. 제13항에 있어서,
    아티팩트 보정 유닛은 상기 일련의 비디오 화상의 컨텐츠에 따른 보정을 위해서 일련의 화상으로부터 화상을 선택하도록 구성되는 처리 시스템.
  15. 제14항에 있어서,
    상기 아티팩트 보정 유닛은 상기 메트릭들에 따른 상기 화상들의 우선순위화에 따라 상기 화상을 선택하도록 구성되는 처리 시스템.
  16. 제14항에 있어서,
    상기 컨텐츠는 애니메이션 컨텐츠와 영화 컨텐츠 중 적어도 하나를 포함하는 처리 시스템.
  17. 제13항에 있어서,
    상기 비디오 압축 아티팩트의 종류는 블록킹 아티팩트, 밴딩 아티팩트, 다크 패치 아티팩트 및 링잉 아티팩트 중 적어도 하나인 처리 시스템.
  18. 제13항에 있어서,
    상기 아티팩트 보정 유닛은 상기 화상의 아티팩트를 포함하는 제1 블록을 보정하기 위해서 아티팩트 맵을 사용하는 처리 시스템.
  19. 제18항에 있어서,
    상기 아티팩트 맵은 고정된 크기의 블록들로 분할되는 처리 시스템.
  20. 제18항에 있어서,
    상기 아티팩트 보정 유닛은 아티팩트를 포함하지 않는 상기 화상의 제2 블록을 보정하도록 구성되는 처리 시스템.
  21. 제13항에 있어서,
    상기 아티팩트 보정 유닛은 상기 비디오 화상의 적어도 하나의 블록에 대응하는 양자화 파라미터 및 모드 결정 중 적어도 하나를 조정하도록 구성되는 처리 시스템.
  22. 제21항에 있어서,
    상기 아티팩트 보정 유닛은 상기 조정에 이어서 비디오 정보를 조정하도록 더 구성되는 상기 프로세서에 조정 정보를 제공하는 처리 시스템.
  23. 제13항에 있어서,
    사용자-인터페이스는 상기 비디오 화상에 존재하는 적어도 하나의 아티팩트의 종류를 사용자에게 통지하도록 구성되는 처리 시스템.
  24. 제23항에 있어서,
    상기 아티팩트 보정 유닛은 적어도 하나의 아티팩트의 심각도에 따라서 상기 비디오 화상의 분류를 생성하도록 구성되고 상기 사용자-인터페이스는 상기 비디오 화상의 상기 분류를 사용자에게 통지하도록 구성되는 처리 시스템.
KR1020097013084A 2006-12-28 2007-12-05 자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치 KR101373890B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US87748506P 2006-12-28 2006-12-28
US60/877,485 2006-12-28
PCT/US2007/024868 WO2008088482A1 (en) 2006-12-28 2007-12-05 Method and apparatus for automatic visual artifact analysis and artifact reduction

Publications (2)

Publication Number Publication Date
KR20090101909A true KR20090101909A (ko) 2009-09-29
KR101373890B1 KR101373890B1 (ko) 2014-03-12

Family

ID=39312963

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097013084A KR101373890B1 (ko) 2006-12-28 2007-12-05 자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치
KR1020097011981A KR20090103873A (ko) 2006-12-28 2007-12-05 자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097011981A KR20090103873A (ko) 2006-12-28 2007-12-05 자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9602838B2 (ko)
EP (1) EP2103135A1 (ko)
JP (1) JP5270572B2 (ko)
KR (2) KR101373890B1 (ko)
CN (1) CN101578869B (ko)
BR (1) BRPI0718951A2 (ko)
WO (1) WO2008088482A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
CA2674310C (en) * 2007-01-16 2016-05-24 Thomson Licensing System and method for reducing artifacts in images
US9098902B2 (en) * 2007-11-16 2015-08-04 Thomson Licensing System and method for encoding video
US8320741B1 (en) * 2007-12-17 2012-11-27 Nvidia Corporation Media capture system, method, and computer program product for assessing processing capabilities
US8165204B2 (en) * 2008-02-29 2012-04-24 Michael Bronstein Resource allocation for frame-based controller
MX2010009932A (es) * 2008-03-10 2010-11-30 Fraunhofer Ges Forschung Metodo y dispositivo para manipular una señal de audio que tiene un evento transitorio.
CN102119401B (zh) * 2008-08-08 2013-12-04 汤姆逊许可证公司 用于带状伪像检测的方法和设备
US20110135012A1 (en) 2008-08-08 2011-06-09 Zhen Li Method and apparatus for detecting dark noise artifacts
US8526506B1 (en) * 2008-08-15 2013-09-03 Ipera Technology, Inc. System and method for transcoding with quality enhancement
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
CN103918274B (zh) * 2011-11-01 2015-08-26 杜比实验室特许公司 对具有扩展动态范围的图像的分层编码中的自适应伪轮廓预防
BR112014012798A8 (pt) 2011-11-28 2017-06-20 Thomson Licensing medição de qualidade de vídeo considerando múltiplos artefatos
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9565404B2 (en) 2012-07-30 2017-02-07 Apple Inc. Encoding techniques for banding reduction
US9355613B2 (en) 2012-10-09 2016-05-31 Mediatek Inc. Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
EP3069513B1 (en) 2013-11-12 2019-03-13 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
GB2534604B (en) * 2015-01-29 2021-11-10 British Broadcasting Corp Video encoding and decoding with adaptive quantisation
KR102338980B1 (ko) * 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10034005B2 (en) 2015-06-05 2018-07-24 Sony Corporation Banding prediction for video encoding
CN106331700B (zh) 2015-07-03 2019-07-19 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
DE102016100075A1 (de) * 2016-01-04 2017-07-06 Volkswagen Aktiengesellschaft Verfahren zur Auswertung von Gesten
US20170256036A1 (en) * 2016-03-03 2017-09-07 Lytro, Inc. Automatic microlens array artifact correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10509788B2 (en) * 2016-12-30 2019-12-17 Dev Gupta Systems and methods for lossy data compression using key artifacts and dynamically generated cycles
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
GB201904857D0 (en) * 2019-04-05 2019-05-22 Univ Oxford Innovation Ltd Quality assessment in video endosscopy
EP3826311A1 (en) * 2019-11-22 2021-05-26 MK Systems USA Inc. Systems and methods for measuring visual quality degradation in digital content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177464A (ja) * 1993-12-16 1995-07-14 Pioneer Video Corp リアルタイム画像圧縮処理装置
JP2000506687A (ja) * 1996-03-29 2000-05-30 サーノフ コーポレイション 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法
JPH10285592A (ja) 1997-04-09 1998-10-23 Sony Corp 画像符号化装置および方法、画像符号化制御用プログラムを記録したコンピュータ読み取り可能な記録媒体ならびに記録用データ作成装置
JP3721716B2 (ja) 1997-06-02 2005-11-30 富士ゼロックス株式会社 画像情報符号化装置および方法
CN1192632C (zh) * 1997-07-29 2005-03-09 皇家菲利浦电子有限公司 可变比特率视频编码方法和相应的视频编码器
JP3738574B2 (ja) * 1998-09-18 2006-01-25 富士ゼロックス株式会社 画像情報符号化装置
JP2004523985A (ja) 2001-03-29 2004-08-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化方法及びこれに対応する符号化装置
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US7119854B2 (en) * 2001-12-28 2006-10-10 Koninklijke Philips Electronics N.V. Method for deriving an objective sharpness metric
AU2003283723A1 (en) * 2002-12-10 2004-06-30 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
US20070139564A1 (en) * 2004-02-27 2007-06-21 Koninklijke Philips Electronics N.V. System and method for global indication of mpeg impairments in compressed digital video
JP4072859B2 (ja) 2004-03-03 2008-04-09 Ｋｄｄｉ株式会社 ビデオ情報再符号化装置
CN100397422C (zh) * 2005-05-17 2008-06-25 凌阳科技股份有限公司 影像方块内物体边缘侦测及决定量化缩放参数的方法

Also Published As

Publication number Publication date
EP2103135A1 (en) 2009-09-23
JP2010515344A (ja) 2010-05-06
US9602838B2 (en) 2017-03-21
US20110075729A1 (en) 2011-03-31
JP5270572B2 (ja) 2013-08-21
KR20090103873A (ko) 2009-10-01
CN101578869B (zh) 2012-11-14
BRPI0718951A2 (pt) 2013-12-17
KR101373890B1 (ko) 2014-03-12
CN101578869A (zh) 2009-11-11
WO2008088482A1 (en) 2008-07-24

Similar Documents

Publication Publication Date Title
KR101373890B1 (ko) 자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치
US11601687B2 (en) Method and device for providing compensation offsets for a set of reconstructed samples of an image
US8750390B2 (en) Filtering and dithering as pre-processing before encoding
US9185436B2 (en) Method and system for determining coding parameters on variable-resolution streams
CN108141598B (zh) 用于视频编码和解码中的量化的方法和装置
US9014268B2 (en) Video encoder and its decoder
CA2595583A1 (en) Method and apparatus for real-time frame encoding
EP2321796B1 (en) Method and apparatus for detecting dark noise artifacts
US20090092186A1 (en) Moving image encoding apparatus and method for controlling the same
WO2024064329A1 (en) Reinforcement learning-based rate control for end-to-end neural network bsed video compression
CN112385226A (zh) 视频编码中的照度补偿
CN116438798A (zh) 针对多个机器任务的学习型视频压缩和连接器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200226

Year of fee payment: 7