KR20090103873A - 자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치 - Google Patents

자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치

Info

Publication number
KR20090103873A
KR20090103873A KR1020097011981A KR20097011981A KR20090103873A KR 20090103873 A KR20090103873 A KR 20090103873A KR 1020097011981 A KR1020097011981 A KR 1020097011981A KR 20097011981 A KR20097011981 A KR 20097011981A KR 20090103873 A KR20090103873 A KR 20090103873A
Authority
KR
South Korea
Prior art keywords
artifact
video
artifacts
picture
pictures
Prior art date
Application number
KR1020097011981A
Other languages
English (en)
Inventor
곡스 데인
윗티퐁 쿰위라이삭
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090103873A publication Critical patent/KR20090103873A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 프레임들에 존재하는 아티팩트들을 정정하기 위한 시스템 및 방법이 개시된다. 이 시스템은 결정 모듈(110)과 아티팩트 정정 유닛(120)을 포함한다. 이 시스템은 비디오 프레임들에 존재하는 아티팩트들에 대응하는 아티팩트 맵(122)들과, 아티팩트 계량값(112)을 수신하고, 아티팩트들의 타입과 중대도 및 비디오 프레임들(113)의 내용을 고려함으로써 정정될 비디오 프레임들의 우선 순위를 정한다. 비디오 프레임들의 우선 순위를 정한 다음에는, 시스템이 양자화된 파라미터들과 모드 결정들과 같은 압축된 도메인 파라미터(126)들을 조정함으로써, 선택된 프레임들의 아티팩트들을 정정한다. 비디오 스트림에 아티팩트들의 더 낮은 발생률과 중대도를 자동으로 제공하기 위해, 인코더(130)가 조정된 압축된 도메인 파라미터에 따라, 비디오 프레임들을 압축한다.

Description

자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATIC VISUAL ARTIFACT ANALYSIS AND ARTIFACT REDUCTION}
상호 참조
본 출원은 2006년 12월 28일 출원된 미국 가특허 출원번호 60/877485에 대해 35 U.S.C. 119(e) 규정에 의한 우선권을 주장하며, 이 가특허 출원의 기재내용은 본 명세서에 참조로 통합되어 있다.
본 발명은 일반적으로 비디오 데이터를 처리하는 것에 관한 것으로, 특히 비디오 데이터 스트림 내의 아티팩트(artifact)의 정정에 관한 것이다.
비디오 데이터의 압축은 본질적으로 데이터 저장 효율을 증가시키고/증가시키거나 요구된 송신 대역폭을 축소하기 위해 화상 품질이 떨어지는 것을 수반한다. 비록 압축 알고리즘들의 목적이 비디오 프레임의 인지할 수 없는 특징만을 제거하는 것이지만, 종종 압축된 비디오 프레임이 아티팩트로 알려진 현저한 결함들을 포함한다. 흔한 압축 아티팩트에는 블로킹(blocking), 밴딩(banding), 다크 패치(dark patch), 및 링잉(ringing) 아티팩트가 포함되고, 이들은 낮은 압축비와 높은 압축비 모두에 존재할 수 있다.
아티팩트와 아티팩트 중대도(severity)를 축소시키기 위한 다양한 방법이 압축된 비디오 데이터 스트림이 디코딩된 후 후-처리(post-processing) 동작들로서 수행된다. 후-처리 기술 중, 일 예는 H.S.Kong, A.Vetro, H.Sun에 의한 "Edge map guided adaptive post-filter for blocking and ringing artifacts removal"이라는 제목의, 2004년 5월의 IEEE International Symposium on Circuits and Systems(ISCAS), vol.3,pp.929-932, A.Kaup에 의한 "Reduction of ringing noise in transform image coding using a simple adaptive filter"라는 제목의, 1998년 10월의 Electronics Letters, vol.34, no.22,pp.2110-2112, 및 디더링(dithering)의 설명을 제공하는 V.Monga, N.Damera-Venkata, B.L.Evans에 의한, "Image Halftoning by Error diffusion:A Survey of Methods for Artifact Reduction"이라는 제목의, 2003년의 Journal of Electronic Imaging에서 설명된 것과 같은 적응성 필터링이다. 하지만, 높은 화상 품질과 아티팩트들의 매우 낮은 발생률을 보장하기 위해, 아티팩트들은 비디오 처리의 압축 스테이지(stage) 동안 정정되어야 한다.
DCT(discrete cosine transform)을 사용하는 압축 방법들에서는, 그러한 압축된 도메인 처리의 알려진 방법이 양자화된 DCT 계수들 일부를 바꾸는 단계를 포함한다. DCT 계수들은 주어진 이미지 블록에 존재하는 각 주파수의 전력을 나타낸다. 대부분의 이미지 블록들에서, DCT 변환 후 신호 에너지 대부분은 단지 소수의 낮은 차수의 DCT 계수들에 의해 운반된다. 이들 계수들은 가시 아티팩트의 도입을 회피하기 위해, 더 높은 차수의 계수들보다 더 미세하게 양자화될 필요가 있다. 양자화 DCT 계수들을 바꾸는 것은 압축 아티팩트들의 지각을 축소하거나 늘릴 수 있다.
B.Gunturk, Y. Altunbasak, R.M.Merserau의 "Multi-frame blocking-artifact reduction for transform-coded video"라는 제목의, 2002년 4월 IEEE Trans . on Circuits and Systems for Video Technology, vol.12,no.4는, 볼록 집합(convex set) 접근(approach) 상으로의 프로젝션(projection)을 사용하여 양자화된 DCT 계수를 바꾸는 일 예를 개시하고 있다. 대안적으로, G.A.Triantafyllidis, D.Tzovras, M.G.Strintzis의 "Blocking Artifact detection and reduction in compressed data"라는 제목의, 2002년 10월의 IEEE Trans. on Circuits and Systems for Video Technology, vol.12,no.10은, 변환 도메인에서 에러 기준(criterion)을 최소화함으로써, DCT 계수의 양자화를 최적화하는 방법을 설명한다. 게다가, 다른 압축 도메인 파라미터들이 아티팩트들의 중대도를 축소시키기 위해 바뀔 수 있다. 예컨대, Ruol의 미국 공보 2003/0156642A1호는 아티팩트 맵에서 식별되는 프레임의 매크로블록들에 관한 양자화기 단계 크기(step size)를 조정함으로써, 2회-통과(two-pass) 인코더에서의 비디오 스트림에서의 아티팩트들의 중대도를 축소시키는 방법을 개시한다.
하지만, 전술한 알려진 방법들은 모드 결정들이나 양자화 파라미터들과 같은 압축된 도메인 파라미터들을 조정함으로써, 아티팩트들의 중대도를 제거하거나 축소시키기 위해, 효율적인 방식으로 제한된 인코딩 시스템 자원들{예컨대, 비트 버짓(budget) 및/또는 인코딩 시간}을 이용하는 문제점을 다루는 것을 못한다. 특히, 알려진 방법들은 모드 결정이나 양자화 파라미터를 조정하기 위해, 비디오 프레임들 내의 상이한 타입의 아티팩트들 또는 비디오 프레임들의 내용을 고려함으로써, 비디오 프레임들의 우선 순위를 정하지 않는다.
도 1은 예시적인 아티팩트 정정 유닛의 블록도.
도 2는 아티팩트 정정 유닛을 통합하는 다회-통과(multi-pass) 인코딩 시스템의 예시적인 일 예의 블록도.
도 3은 본 발명의 원리들의 구현예에 따라 이용될 수 있는 전형적인 인코더의 블록도.
도 4는 다양한 아티팩트 세기와 결정 모듈에 의해 수행된 타입에 기초한 우선 순위 결정 프로세스의 일 예를 예시하는 흐름도.
도 5는 결정 모듈에 의해 컴파일되고 분류되는 다양한 아티팩트 타입들에 기초한 예시적인 아티팩트 목록들을 도시하는 흐름도.
도 6은 새로운 아티팩트 레벨들을 프레임들에 할당하고, 다양한 타입의 아티팩트, 그것들의 대응하는 세기들, 및 일부 구현예에서는 비디오 데이터 스트림의 내용을 고려함으로써, 평균 아티팩트 레벨들을 계산하는 것을 포함하는 결정 모듈에 의해 수행된 프로세스의 일 예를 제공하는 흐름도.
도 7은 평균 아티팩트 레벨에 따라 분류되고 최종 아티팩트 레벨을 할당받고, 아티팩트 정정을 위해 선택되는 프레임들의 예시적인 표현.
도 8은 분류된 프레임들의 예시적인 표현.
도 9는 정정 모듈의 예시적인 구현예의 흐름도.
도 10은 정정 모듈에 의해 실행된 것처럼, 결정 모듈에 의해 선택된 화상들 블록들의 양자화 파라미터를 조정하는 것에 기초한 아티팩트 정정 프로세스의 일 예를 예시하는 흐름도.
도 11은 아티팩트를 포함하는 화상들 블록의 양자화 파라미터들을 조정하기 위해, 다양한 아티팩트 타입과 세기, 및 일부 구현예에서는 비디오 화상들의 내용을 고려하는 것에 기초한 아티팩트 정정 프로세스의 일 예를 도시하는 흐름도.
도 12는 아티팩트 정정 동안 이용될 수 있는 쌍-레벨(bi-level) 양자화 파라미터 오프셋들의 일 예를 도시하는 그래프.
도 13은 아티팩트 정정 동안 이용될 수 있는 멀티-레벨(multi-level) 양자화 파라미터 오프셋들의 일 예를 도시하는 그래프.
도 14a와 도 14b는 양자화 파라미터 오프셋들이 적용될 수 있는 블록들 예들의 표현.
본 발명에 따르면, 비디오 처리 방법이 개시된다. 본 발명의 일 양상은 비디오 화상에 존재하는 아티팩트들의 다양한 타입에 대응하는 여러 측정값들(계량값들:metrics)의 발생에 응답하여 비디오 화상을 정정하는 것을 포함한다. 본 발명의 다른 실시예는 비디오 화상의 내용과 계량값에 따라 화상들의 시퀀스에 포함된 비디오 화상들을 선택하고 우선 순위를 정하는 것을 포함한다. 게다가, 본 발명의 또 다른 양상에 따르면, 한 화상의 적어도 하나의 블록에 대응하는 양자화 파라미터와 모드 결정 중 적어도 하나를 조정함으로써 정정이 수행된다.
본 발명은 또한 비디오 화상의 시퀀스에 포함된 비디오 화상에 존재하는 복수의 비디오 압축 아티팩트 타입에 대응하는 복수의 계량값에 응답하여 압축된 도메인 파라미터들을 발생시키도록 구성된 아티팩트 정정 유닛과, 압축된 도메인 파라미터들에 따라 비디오 화상을 정정하도록 구성된 인코더를 포함하는 비디오 처리 시스템에서 구현될 수 있다. 본 발명의 다른 실시예와 조화되게, 아티팩트 정정 유닛은 계량값들과 비디오 화상들의 내용 모두에 따라 화상들의 시퀀스에 포함된 비디오 화상들을 선택하고, 그러한 비디오 화상들의 우선 순위를 정하도록 구성될 수 있다. 게다가, 아티팩트 정정 유닛과 인코더는 한 화상의 적어도 하나의 블록에 대응하는 모드 결정이나 양자화 파라미터 중 적어도 하나를 조정함으로써, 비디오 화상을 정정하도록 적응될 수 있다.
하나 이상의 구현예들의 세부 내용이 아래의 설명과 첨부 도면에서 설명된다. 심지어 특별한 일 실시예에서 설명되었지만, 구현예들이 다양한 방식으로 구성되거나 구현될 수 있음이 분명하다. 예컨대, 일 구현예가 하나의 방법으로서 수행될 수 있거나, 한 세트의 동작을 수행하도록 구성된 장치나 한 세트의 동작들을 수행하기 위한 명령어들을 저장하는 장치로서 구현될 수 있다. 다른 양상과 특성은 첨부 도면 및 청구항과 관련하여 고려된 후속하는 상세한 설명으로부터 분명해진다.
본 발명의 원리는 모드 결정들 또는 양자화 파라미터들과 같은 압축된 도메인 파라미터들을 조정함으로써, 아티팩트들의 중대도를 제거하거나 축소시키기 위해, 제한된 자원들을 효율적으로 이용하는 것에 관한 것이다. 본 발명의 원리의 일 양상은 프레임에 존재하는 상이한 타입의 아티팩트들의 중대도를 고려함으로써, 정정을 위한 비디오 프레임들의 우선 순위를 정하는 것을 포함한다. 더 나아가 일정한 타입의 아티팩트는 일정한 타입의 비디오 내용에서는 다른 것들보다 더 많이 우세한 경향이 있고, 비디오 스트림의 내용 또한 비디오 프레임들의 우선 순위를 정할 때 고려될 수 있다. 그러므로, 이로 인해 본 발명의 원리는 모드 결정들과 같은 압축된 도메인 파라미터들이나 양자화 파라미터들을 조정함으로써, 압축된 비디오 스트림에서 가장 인지할 수 있는 아티팩트들을 정정하는 효율적인 방식으로 인코더 시스템 자원들을 이용한다.
본 발명의 원리에 의해 정정될 수 있는 여러 타입의 아티팩트가 존재한다. 한 가지 그러한 흔한 아티팩트에는, 한 프레임에서 픽셀들 블록들의 가시(visible) 가장자리(edge)를 특징으로 하는 블로킹 아티팩트가 포함된다. 특정 블로킹 아티팩트에는 크로마(chroma) 블로킹 아티팩트와 루마(luma) 블로킹 아티팩트가 포함된다. 본 발명의 원리에 의해 정정 가능한 또 다른 흔한 아티팩트인, 밴딩 아티팩트는 점진적인 컬러 전이(transition)시 독특한 컬러 대역들의 지각으로서 나타난다. 또한, 다크 패치, 모기 잡음, 및 링잉 아티팩트와 같은 이동 영역들의 지각 능력도 본 발명의 원리의 구현예에 따라 축소될 수 있다. 하지만, 위에서 설명된 아티팩트들의 타입은 비-제한적인 예들이고, 본 발명의 원리는 다른 타입의 비디오 압축 아티팩트에도 적용될 수 있다는 점이 주목되어야 한다.
도면에서 특정 세부 내용을 참조할 때, 여러 도면에 걸쳐 동일한 참조 번호가 유사하거나 동일한 요소들을 가리키고, 처음에 본 발명의 원리의 일 양상에 따른 예시적인 아티팩트 정정 유닛(100)이 도 1에 도시되어 있다. 아티팩트 정정 유닛(100)은 결정 모듈(110)과 정정 모듈(120)을 포함할 수 있다. 도 2는 인코더(90,130)를 가지는 다회-통과 비디오 인코딩 시스템에서의 아티팩트 정정 유닛의 일 예를 제공하고, 이들 인코더(90,130)는 각각 아티팩트 검출기(80,150)를 임의로 포함할 수 있다. 인코더(130)는 또한 아티팩트 정정기(140)를 포함할 수 있고, 아티팩트 정정기(140)의 기능은 아래에 더 설명된다. 아티팩트 정정기(140)는 인코딩 프로세스 동안 압축 아티팩트들의 생성을 방지하기 위해, 인코딩에 앞서 화상들을 처리하는 능력을 가질 수 있다.
비디오 스트림 입력(202)이 인코더(90)에 의해 수신되고, 본 발명의 원리에 따라 처리한 후, 아래에 더 완전히 설명되는 것처럼, 정정된 압축된 비디오 스트림(208)이 인코더(130)에 의해 출력된다. 압축된 비디오 스트림(208)이 아티팩트 검출기(150)에 의해 제공된 아티팩트(206)들의 존재 표시를 포함하는 추가적인 정정 통과를 위해 또 다른 인코더에 제공될 수 있다. 대안적으로, 아티팩트 검출기(150)는 최종 비트 스트림에서의 아티팩트(206)들의 존재를 보고할 수 있다.
본 발명의 원리에 따라 이용될 수 있는 통상적인 인코더(300)의 예가 도 3에 도시되어 있다. 그러한 인코더는 입력 비디오 스트림(302)을 수신하도록 구성된 프레임 순서화 버퍼(304), 변환 및 양자화 모듈(306), 역 변환 및 역 양자화 모듈(308), 인트라(intra) 예측 모듈(314), 디블로킹(deblocking) 필터(316), 기준 화상 버퍼(318), 움직임 추정 모듈(320), 움직임 보상 모듈(322), 화상-타입 결정 모듈(310), 매크로블록-타입 결정 모듈(312), 엔트로피 코딩 모듈(324), 시퀀스 파라미터 세트 및 화상 파라미터 세트 삽입기(326), 메타데이터(metadata)(334)를 처리하도록 구성된 보충 강화(supplemental enhancement) 정보 삽입기(332), 속도 제어(rate control) 모듈(330), 및 인코딩된 비디오 데이터 스트림(336)을 출력하도록 구성된 출력 버퍼(328)를 포함할 수 있다.
이제 도 1과 도 2를 참조하면, 본 발명의 원리의 일 구현예에 따른 프로세스는 아티팩트들의 측정 유닛, 아티팩트 계량값(112), 및 비디오 프레임에서의 한 프레임에 대응하는 아티팩트 맵(122)을 발생시킴으로써 시작한다. 아티팩트 맵은 각 화상에서의 아티팩트들의 위치를 예시하고, 아티팩트의 타입을 표시할 수 있으며, 이러한 아티팩트의 타입은 블로킹, 밴딩, 다크 패치, 링잉 아티팩트들 또는 다른 타입의 비디오 압축 아티팩트들을 포함할 수 있다. 아티팩트 맵은 또한 8 픽셀 ×8 픽셀처럼 고정된 크기의 블록 또는 임의의 크기의 블록들 내에서의 아티팩트들의 존재 또는 중대도를 표시할 수 있다. 반대로, 아티팩트 계량값은 전체적으로 한 프레임에 존재하는 아티팩트의 각 타입의 중대도 레벨의 표시를 포함한다. 일 구현예에 따르면, 아티팩트 계량값과 아티팩트 맵은 도 2에 도시된 것처럼, 주어진 비디오 압축 방법의 파라미터 구성에 따라 비디오 프레임들을 압축한 후, 아티팩트 검출기(80)를 통해 인코더(90)에 의해 발생되고, 이러한 파라미터 구성은 양자화 파라미터, 모드 결정, 기준 프레임 선택 및 비트 속도 할당 중 하나 이상을 포함할 수 있다. 하지만, 아티팩트 맵과 아티팩트 계량값은 임의의 타입의 압축 오퍼레이터(operator)에 의해 발생될 수 있음이 주목되어야 한다.
그 다음에는, 압축된 비디오 스트림(204)과 함께, 아티팩트 맵(122)과 아티팩트 계량값(112)이 결정 모듈(110)에 송신된다. 구성 데이터(114)는 또한 임의의 타입의 오퍼레이터나 인코더(90)에 의해 결정 모듈(110)에 제공될 수 있다. 본 발명의 원리의 또 다른 양상에 따르면, 구성 데이터(114)가 결정 모듈(110)에서의 디폴트(default) 파일에 포함될 수 있다. 본 발명의 원리의 일 구현예에서는, 구성 데이터가 아티팩트 정정 유닛(100)에 의해 사용될 수 있는 압축된 비디오 스트림의 이용 가능한 비트 속도를 포함한다. 예컨대, 비디오 스트림의 목표 비트 속도가 10Mbps이고, 인코더(90)에 의한 압축 후 비디오 스트림의 비트 속도가 9Mbps라면, 아티팩트를 정정하기 위해 아티팩트 정정 유닛(100)에 의해 사용될 수 있는 이용 가능한 비트 속도는 1Mbps이다. 게다가, 구성 데이터는 또한 아티팩트 정정 유닛이 정정해야 하는 화상들의 최소 백분율과 최대 백분율을 포함할 수 있다. 본 발명의 원리의 또 다른 양상에 따르면, 애니메이션 내용, 영화 내용 또는 다른 관련 내용 타입과 같은 압축된 비디오 내용의 타입(113)은 인코더(90)나 임의의 타입의 오퍼레이터에 의해 결정 모듈(110)에 추가로 제공될 수 있다.
도 4에는 본 발명의 원리의 특별한 일 구현예에 따른 결정 모듈(110)에 의해 수행된 프로세스가 도시되어 있다. 위에서 논의된 것처럼, 결정 모듈(110)은 아티팩트 계량값(112)과 아티팩트 맵(122)을 수신하고, 이것들은 결정 모듈 설정(단계 402) 동안 일어날 수 있다. 아티팩트 계량값은 특별한 한 프레임에 존재하는 아티팩트 각각의 타입의 중대도 레벨을 직접적으로 또는 간접적으로 나타낼 수 있는 정보를 제공한다. 예컨대, 어떤 프레임이 루마 블로킹 아티팩트, 크로마 블로킹 아티팩트, 밴딩 아티팩트 및 다크 패치 아티팩트를 가진다면, 아티팩트 계량값들은 그 프레임에 관한 아티팩트 세기들의 4개의 값들을 특정한다. 아티팩트 계량값과 아티팩트 맵을 결정 모듈 설정시 수신한 다음, 결정 모듈(110) 또는 대안적으로, 아티팩트 검출기(80)가 아티팩트 각각의 타입에 관해 상이한 프레임들에 대응하는 아티팩트 세기들의 목록을 컴파일한다. 도 5의 좌측 부분에서 도시된 것과 같은 비-제한적인 예에 의해, 결정 모듈(110)은 각 프레임에 대응하는 크로마 블로킹 세기 레벨들의 엔트리들로 크로마 블로킹 아티팩트들에 관한 목록을 컴파일할 수 있다.
목록들을 컴파일한 후, 결정 모듈(110)은 도 5에 예시된 것처럼 가장 높은 레벨로부터 가장 낮은 레벨까지(도 4에서의 단계 404)의 아티팩트 세기 레벨에 따라 각각의 아티팩트 타입 목록에서 엔트리들을 분류한다. 이후 결정 모듈(110)은 분류된 목록들에서의 아티팩트 세기 레벨 랭킹(ranking)들에 기초한 집합에서 각 프레임에 각 아티팩트 타입에 관한 새로운 아티팩트 레벨을 할당할 수 있다(단계 406). 새로운 레벨은 정규화된 아티팩트 세기 레벨에 대응할 수 있거나, 간단히 아티팩트 검출기(80)에 의해 제공된 동일한 아티팩트 세기 레벨일 수 있다. 위에 제공된 예에서, 프레임에는 도 6에 각각 a,b,c,d로 나타난 루마 블로킹 아티팩트, 크로마 블로킹 아티팩트, 밴딩 아티팩트, 다크 패치 아티팩트에 대응하는 목록 랭킹들에 따라 4개의 새로운 아티팩트 레벨들이 할당된다. 그 다음, 결정 모듈(110)이 도 6에서 "A"로 표시되는 집합에서 각 프레임에 관한 이전에 할당된 랭크에 기초한(rank-based) 아티팩트 레벨들의 평균을 계산한다.
각 프레임에 관한 평균 아티팩트 레벨을 계산한 다음에는, 결정 모듈(110)이 예컨대 도 7에 도시된 것처럼, 내림 차순으로 평균 아티팩트 레벨에 따라 프레임들을 분류한다(단계 410). 이후 결정 모듈(110)은 도 7에서 최종 아티팩트 레벨인 "F"를 평균 아티팩트 레벨 랭킹에 기초하여 각 프레임에 할당한다(단계 412). 가장 높은 최종 아티팩트 레벨들을 지닌 프레임이 아티팩트 정정을 위해 선택되고, 그 후 결정 모듈(110)이 정정될 선택된 프레임(116)이나 대안적으로 정정될 프레임들의 표시(indication)를 정정 모듈(120)에 제공한다. 추가로, 결정 모듈(110)은 최종 아티팩트 레벨에 따라 프레임들의 집합들을 분류할 수 있다(단계 414). 예컨대, 도 8에 예시된 것처럼, 평균 아티팩트 레벨들의 목록에서 프레임의 위치에 따라 화상들은 매우 중대한, 중대한, 중간인, 가벼운 또는 매우 가벼운 아티팩트를 가지는 것으로 구분할 수 있다. 이러한 구분은 특정된 중대도 분류법 위의 화상들을 정정하라는 지시로 정정 모듈(120)에 제공될 수 있다.
본 발명의 원리의 일 구현예에 따르면, 정정될 프레임들의 개수 또는 반대로, 임계값은 전술한 구성 데이터에 기초한다. 예컨대, 구성 데이터는 비디오 프레임들의 시퀀스에서 정정될 화상들의 백분율을 특정할 수 있다. 대안적으로, 결정 모듈(110)은 이용 가능한 비트 속도에 따른 정정을 위해 선택될 프레임들의 개수를 동적으로 결정할 수 있고, 이는 또한 전술한 바와 같은 구성 데이터를 조직할 수 있다. 이용 가능한 비트 속도는 인코딩 프로세스에서 할당된 비트 버짓에서 사용되지 않는 비트들의 개수에 대응한다. 예컨대, 비디오 스트림을 인코딩하기 위해, N<M인 M개의 비트로 된 한 비트 버짓이 인코딩 프로세스에 할당되고 N개의 비트만을 사용한다면, 아티팩트 정정을 위한 이용 가능한 비트 속도는 M-N 비트와 같다. 정정될 프레임들의 개수는 이용 가능한 비트 속도가 높으면 증가하고, 이용 가능한 비트 속도가 낮으면 감소될 수 있다.
추가로, 본 발명의 원리의 다른 구현예들에서는, 최종 아티팩트 세기 레벨들이나 아티팩트 맵에 의해 제공된 아티팩트 세기 레벨들이 정정되는 프레임들의 개수를 결정하기 위해 사용될 수 있다. 예컨대, 결정 모듈(110)은 프레임들의 한 집합에서 가장 높은 최종 아티팩트 레벨을 갖는 프레임을 정정하기 위해 요구되는 비트들의 개수를 추정할 수 있다. 이용 가능한 비트 속도가 가장 높은 최종 아티팩트 레벨을 갖는 프레임을 정정하기 위해 요구되는 비트 속도보다 크다면, 두 번째로 높은 평균 아티팩트 레벨을 갖는 프레임을 정정하기 위해 요구되는 비트 속도를 계산하고, 이용 가능한 비트 속도가 두 프레임 모두를 정정하기 위해 요구된 결합된 비트 속도보다 큰지를 결정한다. 결정 모듈(110)은 다수의 프레임들을 정정하기 위해 요구된 비트 속도가 이용 가능한 비트 속도를 초과할 때까지 이 프로세스를 계속하여, 정정될 프레임들의 개수를 결정한다.
더 구체적인 구현예에서는, 결정 모듈(110)이 또한 정정될 비디오 프레임들을 선택할 때 비디오 프레임들의 내용을 고려하는데, 이는 일정한 타입의 아티팩트가 비디오 내용의 일정한 카테고리에서 다른 것보다 더 많이 우세한 경향이 있기 때문이다. 예컨대, 애니메이션 내용을 지닌 비디오 프레임들에서는 밴딩 아티팩트가 가장 인지할 수 있는데 반해, 영화 내용에서는 블로킹 아티팩트가 지배적인 경향이 있다. 본 발명의 원리의 일 양상에 따르면, 결정 모듈(110)은 비디오 프레임들의 내용을 고려하고, 어떤 프레임에 관해 평균 아티팩트 레벨인 "A"를 계산할 때, 특별한 아티팩트 타입들에 다른 것들보다 더 많이 가중치를 둔다. 비-제한적인 예에 의해, 결정 모듈(110)은 비디오가 영화 내용으로 이루어지는 경우 평균 아티팩트 레벨을 더 높은 블로킹 아티팩트 레벨들 쪽으로 가중치를 두고, 비디오가 애니메이션 내용으로 이루어지는 경우 평균을 더 높은 밴딩 아티팩트 레벨들 쪽으로 치우치게 한다. 게다가, 또 다른 구현예에서는 아티팩트 검출기(80)가 아티팩트 맵(122)에서 제공된 아티팩트 세기 레벨들에서 가중 인자(weighting factor)을 포함할 수 있다는 점이 주목되어야 한다.
위에서 설명된 예시적인 구현예들에서는, 본 발명의 원리는 비디오 프레임들 내에서의 아티팩트들의 중대도, 비디오 프레임들에 존재하는 아티팩트 타입들, 및 비디오 스트림의 내용 중 적어도 하나 이상을 고려함으로써, 뷰어가 가장 인지할 수 있는 아티팩트들을 지닌 프레임들의 우선 순위를 정한다. 인코더가 제한된 자원들을 가지거나 압축된 비디오 프레임 시퀀스에 관한 목표 비트 속도에 의해 제한을 받을 때, 본 발명의 원리는 가장 인지할 수 있는 아티팩트들을 갖는 프레임들의 정정을 촉진하여, 인코더에 강제된 제한된 자원 강제 사항에도 불구하고 높은 품질의 비디오 스트림을 제공한다.
전술한 바와 같이 우선 순위를 정한 다음에는, 정정 모듈(120)이 화상들의 시퀀스 중 어느 화상들을 정정할지의 표시를 수신한다. 비록 정정 모듈이 도 1과 도 2에 도시된 것처럼, 아티팩트 정정 유닛에 포함될 수 있지만, 정정 모듈은 또한 도 9에 도시된 것처럼 단독 디바이스일 수 있음이 주목되어야 한다. 도 10은 정정 모듈(120)에 의해 수행된 아티팩트 정정 프로세스의 일 구현예를 예시한다. 프로세스는 정정 모듈 설정(단계 1002) 후, 정정할 화상들의 표시를 수신함으로써(단계 1004), 시작한다. 추가로 정정 모듈은 또한 아티팩트 맵과, 정정될 각 프레임에 관한 압축된 도메인 파라미터들을 수신한다. 아티팩트 맵과 압축된 도메인 파라미터들은 인코더(90)나 임의의 다른 타입의 오퍼레이터에 의해 제공될 수 있다. 압축된 도메인 파라미터에는 양자화 파라미터 및/또는 모드 결정, 및 정정될 프레임들 내에서의 블록들에 대응하는 DCT 계수들과 같은 다른 타입의 압축된 도메인 파라미터들이 포함될 수 있다. 간단하게 할 목적으로, 도 10에 제공된 예는 오직 양자화 파라미터를 조정한다. 하지만, 본 발명의 원리는 다른 압축된 도메인 파라미터들을 추가로 또는 대안적으로 조정하도록 적응될 수 있다는 점을 이해해야 한다.
정정할 화상들의 표시(116), 아티팩트 맵과 구성 파라미터 정보를 수신한 후, 정정 모듈(120)은 정정될 화상에 대응하는 아티팩트 맵을 검사한다(단계 1006). 아티팩트 맵을 사용하여, 정정 모듈(120)은 화상 내의 어느 블록들이 아티팩트에 의해 영향을 받는지를 검출한 능력을 가질 수 있다. 이러한 정보가 이용 가능하다면, 아티팩트 정정은 프레임-레벨 인코딩 파라미터들(예컨대, 디블로킹 필터)뿐만 아니라, 매크로 블록(MB) 레벨 인코딩 파라미터들(예컨대, 양자화 파라미터인 QP)을 수정함으로써 수행될 수 있다. 정정 모듈(120)은 한 화상의 아티팩트 맵 내의 각 블록을 스캐닝하고 그 블록이 아티팩트를 포함하는지를 결정한다(단계 1008, 단계 1010). 아티팩트를 지닌 블록을 찾게 되면, 아래에 더 완전히 설명되는 것처럼, 정정 모듈(120)이 그 블록에 관한 양자화 파라미터를 조정한다. 정정 모듈이 아티팩트를 찾지 못한다면, 그 블록을 압축하기 위해 사용된 본래의 양자화 파라미터를 적용한다(단계 1014). 이후, 정정 모듈(120)은 화상 내의 다음 블록을 스캐닝한다(단계 1008). 화상 내의 모든 블록들을 처리한 후, 정정 모듈(120)은 그 화상의 각 블록에 대응하는 조정된 양자화 파라미터들을 표시하는 그 화상에 관한 양자화 파라미터 맵을 형성한다(단계 1018). 그 다음, 정정 모듈(120)은 정정될 다음 화상에 대응하는 아티팩트 맵을 검사하고(단계 1006), 표시된 화상들 모두가 처리될 때까지 양자화 파라미터 조정 방법을 반복한다. 결정 모듈(110)과 정정 모듈(120) 모두에 의해 수행된 프로세스들을 포함하여 아티팩트 정정 유닛(100)의 전체적인 작업 흐름이 도 11에 제공된다.
양자화 파라미터는 본 발명의 원리에 따라 다양한 방식으로 조정될 수 있다. 전술한 바와 같이, 양자화 파라미터는 화상의 덜 인지 가능한 특성을 제거하기 위해 DCT 계수들에 적용된 스케일링 인자에 상관된다. 일반적으로, 더 낮은 양자화 파라미터 값들은 DCT 계수들의 더 미세한 스케일 표현에 대응한다. 그러므로, 양자화 파라미터를 낮추는 것은 본래의 픽셀 값들의 더 정확한 재구성을 허용하고, 아티팩트, 특히 블로킹 아티팩트와 밴딩 아티팩트의 출현을 축소시킨다.
본 발명의 원리의 일 구현예에 따르면, 정정 모듈(120)은 미리 결정된 양만큼 아티팩트를 포함하는 블록에 관한 양자화 파라미터를 오프셋한다. 동일한 미리 결정된 오프셋이, 양자화 파라미터 오프셋의 절대값을 보여주는 도 12에 예시된 것처럼, 아티팩트를 전체적으로 포함하는 모든 블록에 적용된다. 이러한 접근은 아티팩트 정정 유닛(100)이 아티팩트 세기(2진 아티팩트 맵)를 표시하지 않는 아티팩트 맵을 이용할 때 최상으로 이루어진다.
본 발명의 원리의 또 다른 구현예에서는, 아티팩트들을 포함하는 블록들에 적용된 양자화 파라미터 오프셋은 상이하고, 양자화 파라미터 오프셋들의 절대값을 도시하는 도 13에 도시된 것처럼, 블록에서의 아티팩트들의 세기 레벨에 대응한다. 예컨대, QP1은 약한 아티팩트에 대응하는 오프셋 크기를 나타내고, QP2는 중간 세기의 아티팩트에 대응하는 상이한 오프셋 크기를 나타내며, QP3은 강한 아티팩트에 대응하는 또 다른 오프셋 크기를 나타낸다. 아티팩트의 세기는 아티팩트 검출기(80)에 의해 제공된 아티팩트 맵을 참조함으로써 얻어질 수 있다. 이용된 아티팩트 맵이 2진 형식이라면, 외부 세기 검출기가 한 블록 내의 아티팩트들의 세기를 결정하기 위해 대안적으로 이용될 수 있다. 전술한 구현예에서처럼, 양자화 파라미터 오프셋은 적어도 하나의 아티팩트를 포함하는 전체 블록에 적용된다. 임의의 개수의 오프셋 값들과 대응하는 아티팩트 세기들이 이용될 수 있음을 알아야 한다. 게다가, 한 화상의 블록들의 크기 또한 변할 수 있다.
어느 구현예에서도 임의의 양자화 파라미터 오프셋이 목표 비트 속도에 의존적인 점이 이해되어야 한다. 정정 모듈(120)은, 비디오 스트림의 목표 비트 속도에 있거나 그 아래에 있는 비트 속도를 초래하는 양자화 파라미터 조정 크기를 선택한다. 게다가, 어느 구현예에서도 양자화 파라미터 오프셋의 크기 또한 결정 모듈(110)에 의해 제공된 아티팩트 세기 레벨들(118)에 의존적일 수 있다. 예컨대, 더 낮은 아티팩트 세기 레벨들은 더 낮은 양자화 파라미터 오프셋을 요구한다. 또한, 더 높은 아티팩트 세기 레벨들은 더 큰 양자화 파라미터 오프셋을 필요로 하고, 또한 디블로킹 필터 파라미터들과 라운딩(rounding) 오프셋들과 같은 다른 파라미터들의 조정도 요구할 수 있다.
추가로, 본 발명의 원리의 또 다른 양상에 따르면, 정정 모듈(120)은 파라미터 조정 후 결과 비트 속도를 결정하기 위해 복잡도(complexity) 모델을 이용할 수 있다. 정정 모듈(120)은 인코더 내부로 통합될 수 있거나, 아티팩트를 정정하기 위해 요구된 비트들의 개수를 추정하기 위해, 적어도 인코딩 프로세스의 부분을 수행한다. 복잡도 모델은 본래의 양자화 파라미터, 블록마다 할당된 비트들의 본래의 크기, 및 새롭게 할당된 양자화 파라미터를 고려함으로써 그 결과 비트 속도를 추정한다. 하지만, 그 결과 비트 속도를 결정하기 위한 다른 수단도 이용될 수 있다.
본 발명의 원리의 또 다른 구현예에 따르면, 도 14에서 아티팩트인 "BA"를 포함하는 블록을 둘러싸는 블록들의 양자화 파라미터들이 조정될 수 있다. 예컨대 도 14a와 도 14b에 도시된 것처럼, 둘러싸는 블록들은 오프셋인 Q0,Q1,Q2,Q3....에 따라 조정될 수 있다. 블록들 오프셋의 개수와 오프셋들의 크기 모두 본 발명의 원리에 따라 변할 수 있다. 게다가, 이웃하는 블록들의 양자화 파라미터는 심지어 이웃하는 블록들이 아티팩트들을 포함하지 않는 경우에도 조정될 수 있다. 이웃하는 블록들의 양자화 파라미터를 오프셋하는 것은, 어떤 한 프레임의 비디오 품질이 일관적인 것을 보장하는데, 이는 이웃하는 블록들의 양자화 파라미터들의 급격한 변화가 한 프레임에서의 블록들 사이의 시각적으로 지각 가능한 차이를 초래하기 때문이다. 본 발명의 원리의 일 양상에 따라, 지각할 수 있게 비디오 품질을 일관적으로 유지하기 위해서 이웃하는 블록들의 양자화 파라미터 오프셋들의 크기는 아티팩트를 포함하는 블록으로부터 점진적으로 그리고 바깥쪽으로 변한다. 게다가, 양자화 파라미터들이 변하는 아티팩트를 지닌 블록들 둘러싸는 블록들 부근의 크기 또한 아티팩트를 포함하는 블록의 양자화 파라미터 크기 조정에 의존적일 수 있다.
하지만, 향상된 품질을 지닌 비디오 스트림을 발생시키기 위해서는 둘러싸는 블록들의 양자화 파라미터가 필요에 따라 증가되거나 감소될 수 있다는 점을 인식해야 한다. 예컨대, 둘러싸는 블록들의 양자화 파라미터는 흔히 아티팩트들이 여러 블록들에 걸치는 경우처럼, 그것들의 정정을 보증하는 세기와 타입의 아티팩트들을 포함한다면 감소될 수 있다.
또한, 양자화 파라미터 오프셋의 크기도 아티팩트를 둘러싸는 블록들의 모드들에 의존적일 수 있다. 비디오 프레임들의 시퀀스를 인코딩하는 흔한 방법은, 비디오 프레임들 간의 차이가 비디오 시퀀스를 저장하기 위해 요구된 메모리를 축소시키기 위해 인코딩되는 움직임 보상을 포함한다. 이러한 인코딩 구조에서, 블록들은 인터-모드(inter-mode)나 인트라-모드(intra-mode)에서 인코딩될 수 있다. 인터-블록은 또 다른 블록을 참조함으로써 디코딩되고, 인트라-블록은 임의의 다른 블록을 참조하지 않고 디코딩될 수 있다. 당연히, 인트라-블록들이 인터-블록들보다 많은 정보를 포함한다. 그러므로, 인트라-블록들은 통상적으로 아티팩트를 정정하기 위해 인터-블록들보다 낮은 양자화 파라미터 오프셋 크기를 요구한다. 본 발명의 원리의 일 양상에서는, 조정하는 블록의 모드에 따라, 정정 모듈(120)이 양자화 파라미터 오프셋 크기를 결정한다. 유사하게, 정정 모듈(120)은 그것들 각각의 모드들을 고려함으로써, 둘러싸는 블록들의 임의의 양자화 파라미터 오프셋을 결정할 수 있다. 인터-블록들이 인트라-블록에 저장된 정보를 통합하기 때문에, 인트라-블록의 양자화 파라미터를 조정하는 것이 인트라-블록을 참조하는 비디오 시퀀스의 화상들 앞이나 뒤에 있는 화상들의 임의의 인터-블록들의 인코딩과 압축에 필연적으로 영향을 미친다는 점이 이해되어야 한다.
전술한 바와 같이, 비록 본 발명의 원리들이 아티팩트들의 발생률과 중대도를 축소시키기 위해 화상들 블록들의 양자화 파라미터의 조정에 관해 설명되었지만, 다른 압축된 도메인 파라미터들이 추가로 또는 대안적으로 조정될 수 있다. 예컨대, 본 발명의 원리의 일 구현예에 따르면, 블록들에 대응하는 모들 결정들이 조정될 수 있다. 전술한 바와 같이, 인트라-블록들은 인터-블록들보다 더 많은 정보를 포함하고 따라서 인터-블록들보다 많은 비트를 포함한다. 한 인터-블록 내의 아티팩트들을 정정하기 위해, 정정 모듈(120)이 아티팩트들의 중대도를 제거하거나 축소하기 위해 인트라-블록으로 그 블록을 전환할 수 있다. 또한, 본 발명의 또 다른 양상에 따르면, 정정 모듈(120)도 양자화 파라미터들의 조정에 관해 전술한 것처럼 아티팩트를 포함하거나 포함하지 않는 둘러싸는 블록들을 전환할 수 있다. 제한적이지 않는 예에 의하면, 정정 모듈(120)은 목표 비트 속도를 유지하기 위해, 이전에 인코딩된 둘러싸는 인트라-블록들을 인터-블록들로 추가로 전환할 수 있다.
압축된 도메인 파라미터 조정이 완료되면, 정정 모듈(120)이 인코더(130)나 상이한 압축 오퍼레이터에, 조정된 압축된 도메인 파라미터들(126)과 정정될 화상들이나 장면들(128)을 제공한다. 위에서 논의된 것처럼, 조정된 압축된 도메인 파라미터들(126)은 양자화 파라미터 맵들의 형태로 제공될 수 있다. 이후, 인코더(130)는 아티팩트 정정 압축된 도메인 파라미터들(126)에 따라 표시된 화상들을 압축하기 위한 아티팩트 정정기(140)를 이용하고 이를 통해 비디오 스트림에 아티팩트들의 더 낮은 발생률과 중대도를 제공한다.
예컨대, 도 2에 도시된 것처럼 본 발명의 원리를 구현하는 시스템이 또한 유저-인터페이스(미도시)를 포함한다는 것을 알아야 한다. 이러한 구현예에 따르면, 유저는 유저-인터페이스를 통해 비디오 시퀀스의 화상들에 존재하는 아티팩트의 타입을 통지받을 수 있다. 추가로, 유저는 한 화상에 존재하는 아티팩트의 중대도에 따른 비디오 화상의 구분을 통지받을 수 있다. 예컨대, 전술한 바와 같이 아티팩트 정정 유닛(120)은 한 화상을, 화상들의 계산된 최종 아티팩트 레벨들에 따라 매우 중대한, 중대한, 중간인, 가벼운 또는 매우 가벼운으로 구분할 수 있다.
설명한 구현예들의 특성과 양상이 다양한 응용예에 적용될 수 있다. 그러한 응용예에는, 예컨대 DVD 디스크 저작(authoring) 장비가 포함되고, 비실시간(non-real time) 압축 응용예를 위한 다른 전문적인 장비가 포함된다. 본 명세서에서 설명된 구현예들은, 예컨대 방법 또는 프로세스, 장치 또는 소프트웨어 프로그램에서 구현될 수 있다. 심지어 구현예의 단일 형태의 환경에서 논의되는 경우에도(예컨대, 오직 방법으로서 논의되는 경우에도), 논의된 특성들의 구현예는 또한 다른 형태로 구현될 수 있다(예컨대, 장치 또는 프로그램). 장치는, 예컨대 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예컨대 일반적으로 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직(logic) 디바이스를 포함하는 처리 디바이스들을 가리키는 프로세서와 같은 장치로 구현될 수 있다. 처리 디바이스는 컴퓨터, 이동 전화기, PDA(portable/personal digital assistant), 및 엔드-유저(end-user)들 사이의 정보의 교환을 촉진하는 다른 디바이스와 같은 통신 디바이스도 포함한다.
본 명세서에서 설명된 다양한 프로세스 및 특성의 구현예들은, 특히 데이터 송신 및 데이터 수신과 연관된 응용예들이나 장비와 같은 다양한 상이한 응용예들이나 장비에서 구현될 수 있다. 그러한 장비의 예들에는 비디오, 코더, 비디오 디코더, 비디오 코덱(codec), 웹 서버, 셋톱 박스, 랩톱(laptop), 개인용 컴퓨터, 및 다른 통신 디바이스가 포함된다. 물론, 이러한 장비는 이동성이 있고 심지어 이동 차량에 설치될 수 있다.
추가로, 이러한 방법들은 프로세서에 의해 수행되는 명령어에 의해 구현될 수 있고, 그러한 명령어는 집적 회로, 소프트웨어 캐리어(carrier) 또는 하드 디스크, 소형 디스켓, RAM 또는 ROM과 같은 다른 저장 디바이스와 같은 프로세서가 판독 가능한 매체에 저장될 수 있다. 그 명령어들은 프로세서가 판독 가능한 매체에 명백하게 구현된 응용 프로그램을 형성할 수 있다. 물론, 프로세서는 예컨대 프로세스를 실행하기 위한 명령어를 가지는 프로세스-판독 가능한 매체를 포함할 수 있다.
당업자에게 분명하듯이, 구현예들은 또한 예컨대 저장되거나 송신될 수 있는 정보를 운반하기 위해 포맷팅된 신호를 만들어낼 수 있다. 그러한 정보는, 예컨대 설명된 구현예들 중 하나에 의해 만들어진 데이터나 방법을 실행하기 위한 명령어들을 포함할 수 있다. 그러한 신호는, 예컨대 전자기파(예컨대, 스펙트럼의 무선 주파수 일부를 사용하는)나 기저대역(baseband) 신호로서 포맷팅될 수 있다. 그러한 포맷팅은, 예컨대 데이터 스트림을 인코딩하고, 인코딩된 스트림을 패킷화(packetizing)하며, 패킷화된 스트림으로 캐리어(carrier)를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예컨대 아날로그 정보이거나 디지털 정보이다. 신호는 알려진 것처럼, 다양한 상이한 유선 링크 또는 무선 링크를 통해 송신될 수 있다.
다수의 구현예들이 설명되었다. 그렇지만, 다양한 수정예가 만들어질 수 있음이 이해된다. 예컨대, 상이한 구현예들의 요소들은, 다른 구현예들을 만들어내기 위해 결합되고 보충되며, 수정되거나 제거될 수 있다. 추가로, 당업자라면 다른 구조와 프로세스들이 개시된 것들을 대신할 수 있고, 그 결과 구현예들이 적어도 사실상 개시된 구현예들과 동일한 결과(들)를 달성하기 위해, 적어도 사실상 동일한 방식(들)으로 적어도 사실상 동일한 기능(들)을 수행하게 됨을 이해하게 된다. 따라서, 이들 및 다른 구현예는 후속하는 청구항의 범주 내에 있다.
전술한 바와 같이, 본 발명은 비디오 데이터를 처리하는 것, 특히 비디오 데이터 스트림 내의 아티팩트를 정정하는 것에 이용 가능하다.

Claims (24)

  1. 비디오 처리 방법으로서,
    비디오 화상들의 시퀀스에 포함된 비디오 화상에 존재하는 복수의 비디오 압축 아티팩트(artifact) 타입에 대응하는 복수의 계량값(metric)을 발생시키는 단계와,
    상기 계량값에 응답하여 상기 비디오 화상을 정정하는 단계를
    포함하는, 비디오 처리 방법.
  2. 제 1항에 있어서,
    상기 비디오 화상들의 시퀀스의 내용에 따른 정정을 위해 상기 화상들의 시퀀스로부터 화상을 선택하는 단계를 더 포함하는, 비디오 처리 방법.
  3. 제 2항에 있어서,
    상기 선택 단계는, 상기 계량값에 따른 화상들의 우선 순위 정하기에 응답하여 수행되는, 비디오 처리 방법.
  4. 제 2항에 있어서,
    상기 내용은 애니메이션(animation) 내용과 영화 내용 중 적어도 하나를 포함하는, 비디오 처리 방법.
  5. 제 1항에 있어서,
    비디오 압축 아티팩트의 상기 타입은, 블로킹(blocking) 아티팩트, 밴딩(banding) 아티팩트, 다크 패치(dark patch) 아티팩트, 및 링잉(ringing) 아티팩트 중 적어도 하나를 포함하는, 비디오 처리 방법.
  6. 제 1항에 있어서,
    상기 정정 단계는 상기 화상의 아티팩트를 포함하는 제 1 블록을 정정하기 위해, 아티팩트 맵(map)을 이용하는 단계를 포함하는, 비디오 처리 방법.
  7. 제 6항에 있어서,
    상기 아티팩트 맵은 고정된 크기의 블록들로 분할되는, 비디오 처리 방법.
  8. 제 6항에 있어서,
    상기 정정 단계는 아티팩트를 포함하지 않는 제 2 블록을 정정하는 단계를 더 포함하는, 비디오 처리 방법.
  9. 제 1항에 있어서,
    상기 정정 단계는, 상기 비디오 화상의 적어도 한 블록에 대응하는 모드 결정과, 양자화 파라미터 중 적어도 하나를 조정하는 단계를 더 포함하는, 비디오 처리 방법.
  10. 제 9항에 있어서,
    상기 조정 단계는, 상기 조정 단계에 후속하는 비디오 정보를 조정하기 위해 사용되는, 비디오 처리 방법.
  11. 제 1항에 있어서,
    유저-인터페이스(user-interface)를 제공하는 단계와,
    상기 비디오 화상에서 존재하는 아티팩트의 적어도 하나의 타입을 유저에게 통지하는 단계를
    더 포함하는, 비디오 처리 방법.
  12. 제 11항에 있어서,
    적어도 하나의 아티팩트의 중대도(severity)에 따라 상기 비디오 화상을 분류하는 단계와,
    상기 비디오 화상의 분류를 유저에게 통지하는 단계를
    포함하는, 비디오 처리 방법.
  13. 처리 시스템으로서,
    비디오 화상들의 시퀀스에 포함된 비디오 화상에 존재하는 복수의 비디오 압축 아티팩트 타입에 대응하는 복수의 계량값에 응답하여, 압축된 도메인(domain) 파라미터들을 발생시키도록 구성된 유닛과,
    상기 압축된 도메인 파라미터들에 따라 상기 비디오 화상을 정정하도록 구성된 프로세서를
    포함하는, 처리 시스템.
  14. 제 13항에 있어서,
    비디오 화상들의 시퀀스의 내용에 따른 정정을 위해, 화상들의 시퀀스로부터 화상을 선택하도록 아티팩트 정정 유닛이 구성되는, 처리 시스템.
  15. 제 14항에 있어서,
    상기 아티팩트 정정 유닛은 상기 계량값에 따라 화상들의 우선 순위를 정하는 것에 응답하여 상기 화상을 선택하도록 구성되는, 처리 시스템.
  16. 제 14항에 있어서,
    상기 내용은 애니메이션 내용과 영화 내용 중 적어도 하나를 포함하는, 처리 시스템.
  17. 제 13항에 있어서,
    비디오 압축 아티팩트의 상기 타입은, 블로킹 아티팩트, 밴딩 아티팩트, 다크 패치 아티팩트, 및 링잉 아티팩트 중 적어도 하나인, 처리 시스템.
  18. 제 13항에 있어서,
    상기 아티팩트 정정 유닛은, 상기 화상의 아티팩트를 포함하는 제 1 블록을 정정하기 위해, 아티팩트 맵을 이용하는, 처리 시스템.
  19. 제 18항에 있어서,
    상기 아티팩트 맵은 고정된 크기의 블록들로 분할되는, 처리 시스템.
  20. 제 18항에 있어서,
    상기 아티팩트 정정 유닛은, 아티팩트를 포함하지 않는 상기 화상의 제 2 블록을 정정하도록 구성되는, 처리 시스템.
  21. 제 13항에 있어서,
    상기 아티팩트 정정 유닛은, 상기 비디오 화상의 적어도 하나의 블록에 대응하는 모드 결정과, 양자화 파라미터 중 적어도 하나를 조정하도록 구성되는, 처리 시스템.
  22. 제 21항에 있어서,
    상기 아티팩트 정정 유닛은, 상기 조정에 후속하여 비디오 정보를 조정하기 위해 또한 적응되는 상기 프로세서에 조정 정보를 제공하는, 처리 시스템.
  23. 제 13항에 있어서,
    상기 비디오 화상에 존재하는 아티팩트의 적어도 하나의 타입을 유저에게 통지하도록 구성된 유저-인터페이스를 포함하는, 처리 시스템.
  24. 제 23항에 있어서,
    상기 아티팩트 정정 유닛은, 적어도 하나의 아티팩트의 중대도(severity)에 따라 상기 비디오 화상의 분류를 발생시키도록 구성되고, 상기 유저-인터페이스는 상기 비디오 화상의 분류를 유저에게 통지하도록 구성되는, 처리 시스템.
KR1020097011981A 2006-12-28 2007-12-05 자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치 KR20090103873A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US87748506P 2006-12-28 2006-12-28
US60/877,485 2006-12-28
PCT/US2007/024868 WO2008088482A1 (en) 2006-12-28 2007-12-05 Method and apparatus for automatic visual artifact analysis and artifact reduction

Publications (1)

Publication Number Publication Date
KR20090103873A true KR20090103873A (ko) 2009-10-01

Family

ID=39312963

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097013084A KR101373890B1 (ko) 2006-12-28 2007-12-05 자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치
KR1020097011981A KR20090103873A (ko) 2006-12-28 2007-12-05 자동 시각 아티팩트 분석 및 아티팩트 축소를 위한 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020097013084A KR101373890B1 (ko) 2006-12-28 2007-12-05 자동적인 시각적 아티팩트 분석 및 아티팩트 감소를 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9602838B2 (ko)
EP (1) EP2103135A1 (ko)
JP (1) JP5270572B2 (ko)
KR (2) KR101373890B1 (ko)
CN (1) CN101578869B (ko)
BR (1) BRPI0718951A2 (ko)
WO (1) WO2008088482A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8600184B2 (en) * 2007-01-16 2013-12-03 Thomson Licensing System and method for reducing artifacts in images
WO2009067155A2 (en) * 2007-11-16 2009-05-28 Thomson Licensing System and method for encoding video
US8320741B1 (en) * 2007-12-17 2012-11-27 Nvidia Corporation Media capture system, method, and computer program product for assessing processing capabilities
US8165204B2 (en) * 2008-02-29 2012-04-24 Michael Bronstein Resource allocation for frame-based controller
EP2293294B1 (en) * 2008-03-10 2019-07-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Device and method for manipulating an audio signal having a transient event
KR101441175B1 (ko) * 2008-08-08 2014-09-18 톰슨 라이센싱 밴딩 아티팩트 검출을 위한 방법 및 장치
EP2321796B1 (en) 2008-08-08 2016-12-28 Thomson Licensing Method and apparatus for detecting dark noise artifacts
US8526506B1 (en) * 2008-08-15 2013-09-03 Ipera Technology, Inc. System and method for transcoding with quality enhancement
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
WO2013067113A1 (en) * 2011-11-01 2013-05-10 Dolby Laboratories Licensing Corporation Adaptive false contouring prevention in layered coding of images with extended dynamic range
EP2786567A4 (en) * 2011-11-28 2015-11-04 Thomson Licensing VIDEO QUALITY MEASURING TAKING ACCOUNT OF MULTIPLE ARTIFACTS
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9565404B2 (en) 2012-07-30 2017-02-07 Apple Inc. Encoding techniques for banding reduction
US9355613B2 (en) 2012-10-09 2016-05-31 Mediatek Inc. Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
WO2015073373A1 (en) 2013-11-12 2015-05-21 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
GB2534604B (en) * 2015-01-29 2021-11-10 British Broadcasting Corp Video encoding and decoding with adaptive quantisation
KR102338980B1 (ko) * 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10034005B2 (en) 2015-06-05 2018-07-24 Sony Corporation Banding prediction for video encoding
CN106331700B (zh) 2015-07-03 2019-07-19 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
DE102016100075A1 (de) * 2016-01-04 2017-07-06 Volkswagen Aktiengesellschaft Verfahren zur Auswertung von Gesten
US20170256036A1 (en) * 2016-03-03 2017-09-07 Lytro, Inc. Automatic microlens array artifact correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10509788B2 (en) 2016-12-30 2019-12-17 Dev Gupta Systems and methods for lossy data compression using key artifacts and dynamically generated cycles
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
GB201904857D0 (en) * 2019-04-05 2019-05-22 Univ Oxford Innovation Ltd Quality assessment in video endosscopy
EP3826311A1 (en) 2019-11-22 2021-05-26 MK Systems USA Inc. Systems and methods for measuring visual quality degradation in digital content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177464A (ja) * 1993-12-16 1995-07-14 Pioneer Video Corp リアルタイム画像圧縮処理装置
US6529631B1 (en) * 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
JPH10285592A (ja) 1997-04-09 1998-10-23 Sony Corp 画像符号化装置および方法、画像符号化制御用プログラムを記録したコンピュータ読み取り可能な記録媒体ならびに記録用データ作成装置
JP3721716B2 (ja) 1997-06-02 2005-11-30 富士ゼロックス株式会社 画像情報符号化装置および方法
DE69830979T2 (de) * 1997-07-29 2006-05-24 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zur videocodierung mit variabler bitrate
JP3738574B2 (ja) 1998-09-18 2006-01-25 富士ゼロックス株式会社 画像情報符号化装置
JP2004523985A (ja) 2001-03-29 2004-08-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化方法及びこれに対応する符号化装置
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US7119854B2 (en) * 2001-12-28 2006-10-10 Koninklijke Philips Electronics N.V. Method for deriving an objective sharpness metric
EP1574070A1 (en) * 2002-12-10 2005-09-14 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
US20070139564A1 (en) * 2004-02-27 2007-06-21 Koninklijke Philips Electronics N.V. System and method for global indication of mpeg impairments in compressed digital video
JP4072859B2 (ja) * 2004-03-03 2008-04-09 Ｋｄｄｉ株式会社 ビデオ情報再符号化装置
CN100397422C (zh) * 2005-05-17 2008-06-25 凌阳科技股份有限公司 影像方块内物体边缘侦测及决定量化缩放参数的方法

Also Published As

Publication number Publication date
KR20090101909A (ko) 2009-09-29
WO2008088482A1 (en) 2008-07-24
US20110075729A1 (en) 2011-03-31
CN101578869B (zh) 2012-11-14
JP5270572B2 (ja) 2013-08-21
BRPI0718951A2 (pt) 2013-12-17
EP2103135A1 (en) 2009-09-23
US9602838B2 (en) 2017-03-21
KR101373890B1 (ko) 2014-03-12
JP2010515344A (ja) 2010-05-06
CN101578869A (zh) 2009-11-11

Similar Documents

Publication Publication Date Title
JP5270572B2 (ja) 自動的な視覚的なアーチファクトの分析及び視覚的なアーチファクトの低減の方法及び装置
AU2021203738B2 (en) Chroma quantization in video coding
US11601687B2 (en) Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9756326B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP6651005B2 (ja) Ｑｐ値の決定
US8750390B2 (en) Filtering and dithering as pre-processing before encoding
US7280700B2 (en) Optimization techniques for data compression
US10491899B2 (en) Method and apparatus for quantization in video encoding and decoding
US20010017887A1 (en) Video encoding apparatus and method
US10223774B2 (en) Single-pass and multi-pass-based polynomial approximations for reshaping functions
US20110129020A1 (en) Method and apparatus for banding artifact detection
CN1726709A (zh) 利用基于图像的超前查看窗口进行速率控制
CA2595583A1 (en) Method and apparatus for real-time frame encoding
EP2321796B1 (en) Method and apparatus for detecting dark noise artifacts
US8774268B2 (en) Moving image encoding apparatus and method for controlling the same
JP2018137542A (ja) 符号化装置、符号化方法、及び、プログラム
Mir et al. Adaptive residual mapping for an efficient extension layer coding in two-layer HDR video coding
WO2024064329A1 (en) Reinforcement learning-based rate control for end-to-end neural network bsed video compression

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid