KR100989296B1 - 아티팩트 평가를 통한 향상된 이미지/비디오 품질 - Google Patents

아티팩트 평가를 통한 향상된 이미지/비디오 품질 Download PDF

Info

Publication number
KR100989296B1
KR100989296B1 KR1020087024136A KR20087024136A KR100989296B1 KR 100989296 B1 KR100989296 B1 KR 100989296B1 KR 1020087024136 A KR1020087024136 A KR 1020087024136A KR 20087024136 A KR20087024136 A KR 20087024136A KR 100989296 B1 KR100989296 B1 KR 100989296B1
Authority
KR
South Korea
Prior art keywords
artifact
video unit
video
metric
block
Prior art date
Application number
KR1020087024136A
Other languages
English (en)
Other versions
KR20080108511A (ko
Inventor
수하일 자릴
칼레드 헬미 엘-말레
첸충 창
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20080108511A publication Critical patent/KR20080108511A/ko
Application granted granted Critical
Publication of KR100989296B1 publication Critical patent/KR100989296B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

아티팩트 평가기를 채용하는 이미지/비디오 인코딩 및 디코딩 시스템에서, 비디오 블록들을 프로세싱하기 위한 방법 및/또는 장치는, 필터링되지 않은 재구축된 비디오 블록 또는 프레임을 합성하도록 동작 가능한 디코더, 및 필터링된 재구축된 비디오 블록 또는 프레임을 생성하는, 필터링되지 않은 재구축된 비디오 블록 또는 프레임을 수신하도록 동작 가능한 아티팩트 필터를 포함한다. 메모리 버퍼는, 필터링된 재구축된 비디오 블록 또는 프레임과 필터링되지 않은 재구축된 비디오 블록 또는 프레임 중 어느 하나를 저장하도록 동작 가능하며, 아티팩트 평가기는, 필터링된 비디오 블록 또는 프레임과 필터링되지 않은 비디오 블록 또는 프레임 중 어떤 것이 더 양호한 이미지/비디오 품질을 산출하는지를 평가 및 결정한 후에, 메모리 버퍼를 업데이트하도록 동작 가능하다.
비디오 블록, 비디오 프레임, 아티팩트 필터, 블록 현상

Description

아티팩트 평가를 통한 향상된 이미지/비디오 품질{ENHANCED IMAGE/VIDEO QUALITY THROUGH ARTIFACT EVALUATION}
기술 분야
본원은 디지털 이미지 및 비디오 프로세싱에 관한 것으로, 특히 아티팩트 평가 (artifact evaluation) 를 통한 향상된 이미지/비디오 품질에 관한 것이다.
배경
디지털 비디오 성능은, 디지털 텔레비전, 디지털 직접 방송 시스템, 무선 통신 디바이스, PDA (personal digital assistant), 랩탑 컴퓨터, 데스크탑 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 이동 또는 위성 무선 전화기 등을 포함하는 광범위한 디바이스들에 통합될 수도 있다. 디지털 비디오 및 화상 디바이스들은, 풀 모션 비디오 시퀀스들 및 화상들을 생성, 수정, 송신, 저장, 레코딩, 및 재생하는데 있어서 종래의 아날로그 비디오 및 화상 시스템들에 비해 상당한 향상을 제공할 수 있다. (또한 비디오 클립들이라 지칭되는) 비디오 시퀀스들은 프레임들의 시퀀스로 이루어진다. 또한, 화상은 프레임으로서 표현될 수 있다. 비디오 또는 화상으로부터의 임의의 프레임 또는 프레임의 일부는 종종 이미지라 호칭된다.
이동 전화기 및 휴대용 디지털 카메라와 같은 디지털 디바이스들은 화상들 및/또는 비디오 양자 모두를 취할 수 있다. 화상들 및 비디오 시퀀스들은 저장 될 수도 있고, 무선 또는 케이블을 통해 다른 디바이스에 송신될 수도 있다. 송신 이전에, 프레임은 샘플링되고 디지털화될 수도 있다. 디지털화되면, 프레임은 더 작은 블록들로 파싱 (parse) 되고 인코딩될 수도 있다. 인코딩은 때때로 압축과 동일한 의미이다. 압축은, 프레임을 표현하는데 필요한 데이터 (즉, 비트) 의 전체 (통상 리던던트 (redundant)) 양을 감소시킬 수 있다. 비디오 및 이미지 데이터를 압축함으로써, 다수의 이미지 및 비디오 인코딩 표준들은 비디오 시퀀스들 및 이미지들의 개선된 송신 레이트들을 허용한다. 통상적으로 압축된 비디오 시퀀스들 및 압축된 이미지들은 인코딩된 비트스트림, 인코딩된 패킷들, 또는 비트스트림이라 지칭된다. 대부분의 이미지 및 비디오 인코딩 표준들은, 압축 기술들이 없이 사용되는 송신들보다 더 적은 송신 비트들을 갖는 비디오 및 이미지 송신을 용이하게 하도록 디자인된 이미지/비디오 압축 기술들을 이용한다.
압축을 지원하기 위해, 통상적으로, 디지털 비디오 및/또는 화상 디바이스는, 디지털 비디오 시퀀스들을 압축하거나 또는 화상을 압축하기 위한 인코더, 및 디지털 비디오 시퀀스들을 압축해제하기 위한 디코더를 포함한다. 다수의 경우들에서, 인코더 및 디코더는, 비디오 시퀀스를 정의하는 프레임들 내의 픽셀들의 블록들에 대해 동작하는 통합된 인코더/디코더 (CODEC) 를 형성한다. 예컨대, 국제 전기 통신 연합 (International Telecommunication Union; ITU) H.264, MPEG (Moving Picture Experts Group)-4, 및 JPEG (Joint Photographic Experts Group) 와 같은 표준들에서, 통상적으로, 인코더는 송신될 비디오 프레임 또는 이미지를 " 매크로블록들"이라 지칭되는 비디오 블록들로 분할한다. 통상적으로, 매크로블록은 16픽셀 높이 및 16픽셀 폭을 갖는다. 다양한 사이즈의 비디오 블록들이 사용될 수도 있다. 이미지 및 비디오 프로세싱 분야의 당업자는, 용어 비디오 블록 또는 이미지 블록이 호환성 있게 사용될 수도 있음을 알아야 한다. 때때로 이들의 호환성을 명료히 하기 위해, 용어 이미지/비디오 블록이 사용된다. ITU H.264 표준은, 16×16 비디오 블록들, 16×8 비디오 블록들, 8×16 이미지 블록들, 8×8 이미지 블록들, 8×4이미지 블록들, 4×8 이미지 블록들, 및 4×4 이미지 블록들의 프로세싱을 지원한다. 다른 표준들은 상이한 사이즈의 이미지 블록들을 지원할 수도 있다. 당업자는 때때로, 인코딩 프로세스를 설명할 때 비디오 블록 또는 프레임을 호환성 있게 사용하고, 때때로 비디오 블록 또는 프레임을 비디오 물 (video matter) 이라 지칭할 수도 있다. 일반적으로, 비디오 인코딩 표준들은 비디오 유닛의 인코딩 및 디코딩을 지원하고, 여기서 비디오 유닛은 비디오 블록 또는 비디오 프레임일 수도 있다.
비디오 프레임 내의 각각의 비디오 블록에 대해, 인코더는 다수의 "예측" 모드들에서 동작한다. 일 모드에서, 인코더는 하나 이상의 직전의 비디오 프레임들 (또는 후속 프레임들) 의 유사한 사이즈의 비디오 블록들을 탐색하여, "최상의 예측 블록 (best prediction block)" 이라 지칭되는 가장 유사한 비디오 블록을 식별한다. 일반적으로, 현재의 비디오 블록을 다른 프레임들의 비디오 블록들에 대해 비교하는 프로세스는 블록-레벨 모션 추정 (block-level motion estimation; BME) 이라 지칭된다. BME는 각각의 블록에 대한 모션 벡터를 발생시킨다. 현재의 비디오 블록에 대해 "최상의 예측 블록"이 식별되면, 인코더는 현재의 비디오 블록과 최상의 예측 블록 간의 차이들을 인코딩할 수 있다. 현재의 비디오 블록과 최상의 예측 블록 간의 차이들을 사용하는 이 프로세스는 모션 보상이라 지칭되는 프로세스를 포함한다. 특히, 통상적으로 모션 보상은, 모션 벡터를 사용하여 최상의 예측 블록을 인출한 후, 차이 블록을 생성하기 위해 입력 비디오 블록으로부터 최상의 예측 블록을 감산하는 행위를 지칭한다. 모션 보상 후에 통상적으로, 일련의 추가 인코딩 단계들이 차이 블록의 인코딩을 마무리하기 위해 수행된다. 이들 추가 인코딩 단계들은 사용되는 인코딩 표준에 의존할 수도 있다. 다른 모드에서, 인코더는, 동일한 프레임 내의 하나 이상의 이웃 비디오 블록들의 유사한 사이즈의 비디오 블록들을 탐색하고, 그 블록들로부터의 정보를 사용하여 인코딩 프로세스를 원조한다.
일반적으로, 인코딩 프로세스의 일부로서, 비디오 블록 (또는 차이 비디오 블록) 의 변환이 취해진다. 그 변환은, 비디오 블록 (또는 차이 비디오 블록) 을 픽셀들로 표현되는 것으로부터 변환 계수들로 표현되는 것으로 변환한다. 비디오 인코딩에서 전형적인 변환은 이산 코사인 변환 (DCT) 이라 호칭된다. DCT는 비디오 블록 데이터를 픽셀 도메인으로부터 공간 주파수 도메인으로 변환한다. 공간 주파수 도메인에서, 데이터는 DCT 블록 계수들로 표현된다. DCT 블록 계수들은 비디오 블록에서 검출된 공간 주파수들의 수 및 차수 (degree) 를 표현한다. DCT가 계산된 후에, DCT 블록 계수들은 "블록 양자화"라 알려진 프로세스로 양자화될 수도 있다. (비디오 블록과 차이 비디오 블록 중 어느 하나 로부터 기인한) DCT 블록 계수들의 양자화는 블록으로부터 공간 리던던시의 부분을 제거한다. "블록 양자화" 프로세스 동안에 때때로, 양자화된 DCT 블록 계수들을 임계치와 비교함으로써 추가의 공간 리던던시가 제거될 수도 있다. 양자화된 DCT 블록 계수의 크기가 임계치보다 더 작은 경우에, 그 계수는 폐기되거나 또는 0의 값으로 설정된다.
그러나, 인코더에서의 블록 양자화는 종종, 인코더에서 압축된 비디오 프레임들 또는 이미지들을 재구축할 때 디코더에서 상이한 아티팩트들이 나타나도록 야기할 수도 있다. 재구축된 비디오 이미지에서 나타나는 아티팩트의 예가 블록들일 때, 이는 "블록 현상 (blockiness)"이라 알려져 있다. 몇몇 표준들은, 인코딩 프로세스의 일부로서 디-블록킹 필터를 포함함으로써 이 문제를 처리하기 위해 시도하였다. 몇몇 경우들에서, 디-블록킹 필터는 블록 현상을 제거하지만, 또한 비디오 프레임 또는 이미지를 스미어링 (smear) 하거나 또는 블러링 (blur) 하는 효과를 가지며, 이는 블러링 현상 (blurriness) 아티팩트라 알려져 있다. 따라서, 이미지/비디오 품질은, "블록 현상"과 디-블록킹 필터들로부터의 블러링 현상 중 어느 하나로부터 영향을 받는다. 인지되는 시각 품질에 대한 코딩 아티팩트들의 효과를 감소시킬 수 있는 방법 및 장치는 상당한 이익을 가질 수도 있다.
요약
하나 이상의 실시형태들의 상세한 설명은 이하의 상세한 설명 및 첨부 도면들에서 설명된다. 다른 특징들, 목적들, 및 이점들은 상세한 설명, 도면들, 및 청구항들로부터 명백하게 될 것이다.
일반적으로, 비디오 블록들을 프로세싱하는 아티팩트 평가기를 채용하는 이미지/비디오 인코딩 및 디코딩 시스템은 이미지/비디오 품질을 향상시킬 수도 있다. 인코딩 프로세스 동안에, 텍스쳐 디코더, 및 인터-코딩 또는 인트라-코딩 예측 모드로부터 초래되는 비디오 블록 또는 프레임은, 필터링되지 않은 재구축된 비디오 블록 또는 프레임을 합성한다. 필터링되지 않은 재구축된 비디오 블록 또는 프레임은 필터링된 재구축된 비디오 블록 또는 프레임을 산출하기 위해 아티팩트 필터를 통해 전달된다. 아티팩트 필터는 디-블록킹 필터일 수도 있거나 또는 디-블록킹 필터이도록 구성될 수도 있다. 아티팩트 필터가 디-블록킹 필터이거나 또는 디-블록킹 필터이도록 구성되는 경우에, 블록 현상을 억제 (suppress) 할 수도 있다. 그러나, 필터링 후에, 결과의 필터링된 재구축된 비디오 블록 또는 프레임은 블러리 (blurry) 하게 될 수도 있다. 현재의 인코딩 방법들 및 표준들은, 인-루프 (in-loop) 메모리 버퍼가 어떻게 업데이트되는지를 "적응적으로" 변경하는 방식을 갖지 않기 때문에 한계를 갖는다. 현재 인코딩 방법들 및 표준들에서의 이 한계 때문에, 특히 인터-코딩 예측 모드에서 불량한 이미지/비디오 품질이 다른 프레임들에 전달된다.
아티팩트 평가기의 사용은 현재의 인코딩 방법들 및 표준들의 한계들을 극복할 수도 있다. 아티팩트 평가기의 사용은 인-루프 메모리 버퍼를 업데이트하기 위해, 디-블록킹 필터와 같은 아티팩트 필터의 출력을 사용하는 것이 더 양호할 때, 또는 디-블록킹 필터와 같은 아티팩트 필터의 입력을 사용하는 것이 더 양호할 때를, 인지되는 이미지/비디오 품질에 기초하여 평가 및 결정한다. 아티팩트 평가기의 사용은, 현재 프레임의 현재의 방법들 및 표준들의 이미지/비디오 품질을 향상시킬 수도 있을 뿐만 아니라, 특히 인터-코딩 예측 모드에서, 후속 프로세싱되는 프레임들로의 불량한 이미지/비디오 품질 전달을 방지하는 추가적인 이점을 제공할 수도 있다. 또한, 아티팩트 평가기는 표준 순응형일 수도 있다.
각각의 필터링되지 않은 재구축된 비디오 블록 또는 프레임 및 각각의 필터링된 재구축된 비디오 블록 또는 프레임에 대해, 아티팩트 메트릭은 아티팩트의 양을 측정하기 위해 생성될 수도 있다. 아티팩트 메트릭은 비-오리지널 참조 (non-original reference; NR) 또는 풀-오리지널 참조 (full-original reference; FR) 일 수도 있다. NR과 FR 아티팩트 메트릭 간의 차이는 오리지널 비디오 블록 또는 프레임의 유효성에 기초할 수도 있다. 아티팩트 메트릭 생성기들은 아티팩트 메트릭들을 생성하며 아티팩트 평가기의 일부이다. 아티팩트 메트릭들이 생성된 후에, 인지되는 이미지/비디오 품질에 기초하여, 어느 비디오 블록 또는 프레임이 인-루프 메모리 버퍼를 업데이트하는데 사용되는지에 대한 결정이 행해진다. 아티팩트 메트릭을 어떻게 생성하는지에 대한 변형들, 및 인-루프 메모리 버퍼를 업데이트하는데 필터링된 재구축된 비디오 블록 또는 프레임이 사용되는지, 또는 필터링되지 않은 비디오 블록 또는 프레임이 사용되는지를 결정하는 다양한 방식들이 존재한다. 이들 변형들은 이하의 실시형태들에서 예시된다.
일 실시형태에서, 아티팩트 메트릭 생성기는, NR 아티팩트 메트릭들을 생성하기 위해 비디오 인코더에서 사용된다.
다른 실시형태에서, 아티팩트 메트릭 생성기는, FR 아티팩트 메트릭들을 생성하기 위해 비디오 인코더에서 사용된다.
또 다른 실시형태에서, NR 아티팩트 메트릭과 FR 아티팩트 메트릭 중 어느 하나가 블록 현상의 양을 측정하기 위해 사용될 수도 있다.
또 다른 실시형태에서, 구성 가능한 아티팩트 메트릭 생성기가 다중 아티팩트 메트릭들을 한번에 출력하기 위해 사용될 수도 있다.
또 다른 실시형태에서, 인-루프 메모리 버퍼를 업데이트하기 위해 어느 비디오 블록 또는 프레임이 사용되어야 하는지를 결정하기 위한 결정은, 예컨대 블록 현상 (또는 디-블록 현상) 메트릭과 같은 단 하나의 타입의 메트릭에 기초한다.
다른 실시형태에서, 인-루프 메모리 버퍼를 업데이트하기 위해 어느 비디오 블록 또는 프레임이 사용되어야 하는지를 결정하기 위한 결정은, 예컨대 블록 현상 (또는 디-블록 현상) 메트릭 및 블러링 현상 메트릭과 같은 다중 타입의 메트릭들에 기초할 수도 있다.
상술된 실시형태들 중 몇몇은 다른 실시형태들을 형성하기 위해 조합될 수도 있다.
하나 이상의 실시형태들의 상세한 설명이 이하의 상세한 설명 및 첨부 도면들에서 설명된다. 다른 특징들, 목적들, 및 이점들은 상세한 설명, 도면들, 및 청구항들로부터 명백하게 될 것이다.
도면의 간단한 설명
도 1a는 본원에 설명된 기술들에 기초하는 아티팩트 평가기를 채용하는 이미 지/비디오 인코딩 및 디코딩 시스템을 예시한다.
도 1b는 본원에 설명된 기술들에 기초하여 사용될 수도 있는 2개의 CODEC들을 예시한다.
도 2는 화상들의 그룹 (GOP) 이라 알려진, 비디오 시퀀스를 예시한다.
도 3은 도 1a 또는 도 1b의 디바이스에서 사용될 수도 있는 예시적인 이미지/비디오 인코더를 예시한다.
도 4a는 도 3의 디-블록킹 필터가 더 일반적인 아티팩트 필터로 대체된 간략화된 도 3의 예시적인 이미지/비디오 인코더를 예시한다.
도 4b는 재구축된 이미지/비디오 블록(들) 또는 프레임 및 선택적인 오리지널 이미지/비디오 블록(들) 또는 프레임 양자 모두를 이용하여 이미지 및 비디오 품질을 평가하는데 원조하는 아티팩트 메트릭 생성기의 사용을 예시한다.
도 5a는 재구축된 이미지/비디오 블록(들) 또는 프레임만을 갖는, 도 4b에 사용된 아티팩트 메트릭 생성기의 일 양태를 예시한다.
도 5b는 도 4b에 사용된 아티팩트 메트릭 생성기의 일 양태를 예시하는, 재구축된 이미지/비디오 블록(들) 또는 프레임 및 오리지널 이미지/비디오 블록(들) 또는 프레임 양자 모두를 갖는 블록도이다.
도 6은 ASNR 메트릭을 계산하기 위해 사용되는 아티팩트 메트릭 생성기에서 사용되는 가중치 값 선택 (WVS) 을 예시하는 그래프이다.
도 7은 선택적인 메트릭 제어기를 이용하여 구성될 수도 있는 일반적인 아티팩트 필터 및 더 일반적인 아티팩트 메트릭 생성기를 갖는 예시적인 이미지/비디오 인코더를 예시한다.
도 8은 아티팩트 메트릭 생성기의 일반적인 구성을 예시한다.
도 9는 도 8의 아티팩트 메트릭 생성기가 ASNR 메트릭의 상이한 버전들을 구현하도록 구성될 수도 있음을 예시한다.
도 10은 아티팩트 평가기가 전형적인 이미지/비디오 인코더의 피드백 루프에서 사용될 수도 있음을 예시한다.
도 11a는 출력 결정을 행하기 위해 하나의 타입의 메트릭을 사용하는 아티팩트 평가기의 버전을 예시한다.
도 11b는 출력 결정을 행하기 위해 다중 타입들의 메트릭들을 사용하는 아티팩트 평가기의 버전을 예시한다.
도 12는 도 11a의 결정 로직 블록에 의해 사용되는 방법의 흐름도를 예시한다.
도 13은 도 11b의 결정 로직 블록에 의해 사용되는 방법의 흐름도를 예시한다.
도 14는 아티팩트 평가 프로세스의 흐름도를 예시한다.
상세한 설명
본원에서, 단어 "예시적"은 "예, 실례, 또는 예시로서 역할함"을 의미하기 위해 사용된다. 본원에서 "예시적"으로서 설명된 임의의 실시형태, 구성, 또는 디자인은 다른 실시형태들 또는 디자인들에 비해 바람직하거나 또는 유익하다고 해석될 필요는 없다. 일반적으로, 아티팩트들을 평가할 뿐만 아니라, 평가의 결 과로서 인지되는 이미지/비디오 품질을 개선하기 위한 신규의 방법 및 장치가 본원에서 설명된다.
도 1a는 본원에 설명된 실시형태에 따른 기술들에 기초하는 아티팩트 평가기를 채용할 수도 있는 이미지/비디오 인코딩 및 디코딩 시스템 (2) 을 예시한다. 도 1a에 도시된 바와 같이, 소스 디바이스 (4a) 는, 비디오 시퀀스 또는 이미지를 디스플레이 디바이스 (8) 에 전송하기 전에 비디오 또는 화상 입력을 캡쳐링하는 캡쳐 디바이스 (6) 를 포함한다. 비디오 시퀀스 또는 이미지는 메모리 (10) 또는 이미지/비디오 프로세싱 유닛 (14) 에 전송될 수도 있다. 또한, 비디오 시퀀스 또는 이미지가 이미지/비디오 프로세싱 유닛 (14) 으로부터 메모리 (10) 에 기록될 수도 있다. 메모리 (10) 또는 캡쳐 디바이스 (6) 로부터 이미지/비디오 프로세싱 유닛 (14) 이 수신하는 입력은 이미지/비디오 인코더에 전송될 수도 있다. 이미지/비디오 인코더는 이미지/비디오 프로세싱 유닛 (14) 내부에 있을 수도 있다. 비디오 인코더에 의해 출력된 인코딩된 비트스트림은 저장될 수도 있거나 또는 송신기 (16) 에 전송될 수도 있다. 소스 디바이스 (4a) 는 채널 (19) 을 통해 수신 디바이스 (18a) 에 인코딩된 비트스트림을 송신한다. 채널 (19) 은 무선 채널 또는 유선 채널일 수도 있다. 매체는, 공기, 또는 소스 디바이스를 수신 디바이스에 접속시킬 수 있는 임의의 케이블 또는 링크일 수도 있다. 예컨대, 수신기 (20) 는, 상술된 인코딩된 비트스트림을 디코딩하기 위해 이미지/비디오 디코더 (21) 를 구동시키는, 임의의 컴퓨터, PDA, 이동 전화기, 디지털 텔레비전, DVD 플레이어, 이미지/비디오 테스트 장비 등에 설치될 수도 있다. 이미지/비디오 디코더 (21) 의 출력은, 디코딩된 신호가 디스플레이될 수도 있는 디스플레이 디바이스 (22) 에 디코딩된 신호를 전송할 수도 있다.
소스 디바이스 (4a) 및/또는 수신 디바이스 (18a) 는 그 전부 또는 일부가, 하드웨어, 소프트웨어, 펌웨어, 및/또는 하나 이상의 마이크로프로세서들의 조합, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍 가능한 게이트 어레이 (FPGA), 또는 이들의 다양한 조합들을 포함하는, 이동 전화기를 위한 "칩 세트" 또는 "칩"을 포함할 수도 있다. 또한, 다른 실시형태에서, 이미지/비디오 인코딩 및 디코딩 시스템 (2) 은 CODEC (24) 의 일부로서 하나의 소스 디바이스 (4b) 및 하나의 수신 디바이스 (18b) 로 이루어질 수도 있다. 따라서, 소스 디바이스 (4b) 및 수신 디바이스 (18b) 는 도 1b에 보이는 바와 같이, 소스 및 수신 디바이스가 적어도 하나의 CODEC (24) 을 포함할 수도 있음을 예시한다. CODEC (24) 은, 이미지/비디오 인코더 (23) 및 이미지/비디오 디코더 (21) 로 이루어지고, 이미지/비디오 프로세싱 유닛 (14) 내에 위치될 수도 있다.
도 2는, 화상들의 그룹 (GOP) (130) 이라 알려진, 비디오 시퀀스를 예시한다. 통상적으로, 인터-코딩 예측 모드 인코딩은, 상이한 프레임들 내의 비디오 블록들 간의 시간 및 공간 차이들 양자 모두를 보상하기 위해 사용된다. 인트라-코딩 예측 모드 인코딩은, 동일한 프레임 내의 비디오 블록들 간의 공간 차이들을 보상하기 위해 사용된다. 인터-코딩 및 인트라-코딩 모드들 양자 모두는, 비디오 블록의 현재의 인코딩을 원조하기 위해 이전의 (또는 미래의 버퍼링된) 정보를 사용하기 때문에 예측 모드들이라 알려져 있다. 몇몇 표준들에서 통상적 으로, I-프레임 (31) 은 이전의 프레임들과 컨텐츠가 상이한 프레임들의 시퀀스 또는 장면의 제 1 프레임을 지시할 것이다. 통상적으로, I-프레임은 인트라-코딩 모드를 사용한다. B-프레임(들) (33) 및 P-프레임(들) (35) 양자 모두는 인트라 또는 인터 코딩 모드들을 사용할 수도 있다. P-프레임(들) (35) 은 인코딩을 위한 참조로서 이전의 프레임들을 사용할 수도 있고, B-프레임(들) (33) 은 인코딩을 위한 참조로서 이전의 프레임들 및 미래의 프레임들 양자 모두를 사용할 수도 있다. 그러나, ITU H.264 표준에서, 임의의 프레임 (I-프레임, P-프레임, B-프레임) 이 인코딩을 위한 참조로서 사용될 수도 있다. 프레임들은 통상적으로 버퍼링되고, 버퍼 내의 과거 또는 미래의 프레임들로부터의 데이터가 인코딩되는 현재의 프레임을 위해 사용될 수도 있기 때문에 미래의 프레임들이 사용될 수도 있다.
도 3은 도 1a 또는 도 1b의 디바이스에서 사용될 수도 있는 예시적인 이미지/비디오 인코더를 예시한다. 비디오 시퀀스로부터의 프레임들 또는 프레임들의 일부는, CODEC (24) 의 일부일 수도 있는 이미지/비디오 인코더 (23) 내부, 및/또는 이미지/비디오 프로세싱 유닛 (14) 내부의 입력 프레임 버퍼 (42) 내에 위치될 수도 있다. 입력 프레임 버퍼 (42) 로부터의 입력 프레임은, 블록들 (비디오 블록들은 임의의 사이즈일 수도 있지만, 표준 정사각형 비디오 블록 사이즈들은 4×4, 8×8, 또는 16×16이다) 로 파싱될 수도 있고, 비디오 블록 버퍼 (43) 에 전송될 수도 있다. 통상적으로, 비디오 블록 버퍼 (43) 는 비디오 블록을 감산기 (44) 에 전송한다. 감산기 (44) 는 스위치 (46) 의 출력으로부터 비디오 블록 x를 감산한다. 스위치 (46) 는 인코딩의 인트라-코딩과 인터-코딩 예측 모드들 간에서 스위칭할 수도 있다. 스위치 (46) 가 인터-코딩 예측 모드를 인에이블링하는 경우에, 상이한 (이전의 또는 후속의) 프레임으로부터의 비디오 블록과 x로부터의 결과 차이가 텍스쳐 인코더 (47) 를 통해 압축된다. 스위치 (46) 가 인트라-코딩 예측 모드를 인에이블링하는 경우에, 동일한 프레임 내의 이전의 비디오 블록으로부터의 예측된 값과 x로부터의 결과 차이가 텍스쳐 인코더 (47) 를 통해 압축된다.
텍스쳐 인코더 (47) 는, 입력 x (비디오 블록 또는 차이 블록) 를 픽셀 도메인으로부터 공간 주파수 도메인으로 변환하는 DCT 블록 (48) 을 갖는다. 공간 주파수 도메인에서, 데이터는 DCT 블록 계수들에 의해 표현된다. DCT 블록 계수들은, 비디오 블록에서 검출된 공간 주파수들의 수 및 차수를 표현한다. DCT가 계산된 후에, DCT 블록 계수들은, "블록 양자화"라 알려진 프로세스로, 양자화기 (50) 에 의해 양자화될 수도 있다. (비디오 블록 또는 차이 비디오 블록으로부터 기인한) DCT 블록 계수들의 양자화는 블록으로부터 공간 리던던시의 부분을 제거한다. 이러한 "블록 양자화" 프로세스 동안에 때때로, 양자화된 DCT 블록 계수들을 임계치와 비교함으로써 추가 공간 리던던시가 제거될 수도 있다. 이러한 비교는 양자화기 (50) 또는 다른 비교기 블록 (미도시) 내부에서 수행될 수도 있다. 양자화된 DCT 블록 계수의 크기가 임계치보다 더 작은 경우에, 그 계수는 폐기되거나 또는 0의 값으로 설정된다.
블록 양자화 후에, 결과의 출력은 2개의 별개의 구조들: (1) 텍스쳐 디코더 (65), 및 (2) 엔트로피 인코더 (55) 로 전송될 수도 있다. 텍스쳐 디코더 (65) 는, 코딩 예측 모드에서 사용될 재구축된 이미지/비디오 블록 또는 프레임의 발생을 원조하는 역양자화기 (66) 를 포함한다. 엔트로피 인코더 (55) 는 송신 또는 저장을 위한 비트스트림을 발생시킨다. 엔트로피 인코더 (55) 는, 블록 양자화된 출력을 수신하며, 가변 길이 코더 (VLC) (58) 에 의한 더 효율적인 인코딩을 위해 그 출력을 리오더링 (re-order) 하는 스캐너 (56) 를 포함할 수도 있다. VLC (58) 는 인코딩된 비트 스트림을 발생시키기 위해 런-렝스 (run-length) 및 허프만 코딩 기술들의 사용을 채용할 수도 있다. 인코딩된 비트스트림은 출력 버퍼 (60) 에 전송된다. 비트스트림은 레이트 제어기 (62) 에 전송될 수도 있다. 기본 품질을 유지하면서, 레이트 제어기 (62) 는 양자화기 (50) 에 의해 사용되는 양자화 비트들의 수를 버짓 (budget) 한다. 엔트로피 인코딩은 압축의 무손실 형태라 고려된다. 무손실 압축은, 인코딩된 데이터가 손상되지 않고 엔트로피 디코더에 의해 디코딩된 경우에 인코딩된 데이터가 동일하게 복원됨을 의미한다. 엔트로피 인코더 (55) 는 무손실 압축을 수행한다.
손실 압축은, 인코딩된 입력이 손상되지 않았더라도, 입력 x가 인코딩의 결과로서 x의 동일한 카피를 발생시키지 않음을 의미한다. 재구축된 입력은 그 정보의 "손실된" 부분을 갖는다. 텍스쳐 인코더 (47) 는 손실 압축을 수행한다. 통상적으로, 전형적인 이미지/비디오 인코더 (23) 는 인터-코딩 및 인트라-코딩 예측 모드들 양자 모두의 보상을 원조하기 위해 로컬 텍스쳐 디코더 (65) 를 갖는다. 역양자화기 (66), 역 DCT (68), 및 가산기 (69) 에 전송된 스위치 (46) 의 출력은, 텍스쳐 인코더 (47) 의 출력을 디코딩하고, 텍스쳐 인코더 (47) 내로 입력되었던 입력 x를 재구축하기 위해 함께 작동한다. 재구축된 입력 y는 x와 유사하게 보이지만 정확히 x가 아니다. 통상적으로, 일반적인 이미지/비디오 "디코더"는 역양자화기 (66), 역 DCT (68), 및 가산기 (69) 에 전송된 스위치 (46) 의 출력의 기능을 포함한다.
MPEG-4 및 H.263 베이스라인 프로파일 (baseline profile) 과 같은 몇몇 표준들에서, 디-블록킹 필터 (70) 의 사용은 존재하지 않는다. MPEG-4 및 H.263 베이스라인 프로파일에서, 디블록킹 필터는, 수신 디바이스의 비디오 디코더에서의 포스트-프로세싱 단계로서 선택적이다. ITU H.264, Windows Media 9 (WM9), 또는 Real Video 9 (RV9) 과 같은 다른 표준들은, "인-루프" 디-블록킹 필터라 알려진, 디-블록킹 필터 (70) 의 사용을 인에이블링하는 것을 지원한다. 디-블록킹 필터 (70) 는, 재구축된 입력 y에 블록들이 존재할 때 나타나는 "블록 현상 (blockiness)" 을 제거하기 위해 사용된다. 상술된 바와 같이, 몇몇 경우들에서, 디-블록킹 필터는 블록 현상을 제거하지만 비디오 프레임 또는 이미지를 블러링하는 효과를 갖는다. 블록 현상 아티팩트와 블러링 현상 아티팩트 간에 트레이드오프가 존재한다. 디-블록킹 필터 (70) 를 인에이블링하는 것은 블록 현상을 감소시킬 수도 있지만, 이미지를 블러링하여 인지되는 시각 품질을 저하시킬 수도 있다. 디-블록킹 필터 (70) 의 사용을 인에이블하는 표준들은 항상, 필터링된 재구축된 비디오 블록 또는 프레임
Figure 112008069176797-pct00001
를 이용하여 메모리 버퍼 (81) 를 업데이트한다. 메모리 버퍼 (81) 를 업데이트하기 위해, 디-블록킹 필터 (70) 의 출력 을 사용하는 것이 더 양호할 때, 또는 디-블록킹 필터 (70) 의 입력을 사용하는 것이 더 양호할 때를 결정하는 방식을 발견하는 것은 매우 유익할 것이다. 본원의 다양한 실시형태들은 이전의 표준들의 한계를 식별하고 해소한다. 본원의 다양한 실시형태들은, 디-블록킹 필터 (70) 와 같은 아티팩트 필터의 출력을 사용하는 것이 더 양호할 때, 또는 디-블록킹 필터 (70) 와 같은 아티팩트 필터의 입력을 사용하는 것이 더 양호할 때를 평가 및 결정하는 방식들을 교시한다.
상술된 바와 같이, 몇몇 표준들에서, 디-블록킹 필터 (70) 가 인에이블링될 때, 그 출력이 메모리 버퍼 (81) 에 전송될 수도 있다. 메모리 버퍼 (81) 내부에는, 2개의 메모리 버퍼들: (1) 재구축된 신 프레임 버퍼 (82); 및 (2) 재구축된 구 프레임 버퍼 (84) 가 존재할 수도 있다. 재구축된 신 프레임 버퍼 (82) 는 현재 프로세싱되는 재구축된 프레임 (또는, 부분 프레임) 을 저장한다. 재구축된 구 프레임 버퍼 (84) 는 과거의 프로세싱된 재구축된 프레임을 저장한다. 과거의 프로세싱된 재구축된 프레임은 (재구축된) 참조 프레임으로서 사용된다. 재구축된 참조 프레임은 입력 프레임 버퍼 (42) 내의 현재 프레임의 이전 또는 이후의 프레임일 수도 있다. 현재 프레임 (또는 현재 프레임으로부터의 비디오 블록) 또는 현재 프레임과 재구축된 참조 프레임 간의 차이들 (또는 차이 블록으로부터의 비디오 블록) 이 "현재" 인코딩되는 것이다. 현재 프레임이 인코딩을 마친 후 및 입력 프레임 버퍼 (42) 로부터의 입력의 다음 프레임이 인코딩되기 위해 인출되기 전에, 재구축된 구 프레임 버퍼 (84) 는 재구축된 신 프레임 버퍼 (82) 의 컨텐츠와의 카피를 이용하여 업데이트된다.
재구축된 신 프레임 버퍼 (82) 는 재구축된 비디오 블록을 전송할 수도 있고, 그 재구축된 비디오 블록은 공간 예측기 (86) 에서 사용되기 위해 수신된다. 재구축된 구 프레임 버퍼 (84) 는 과거의 프로세싱된 재구축된 비디오 블록을 MEC (motion estimation and compensation block) (87) 에 전송한다. MEC 블록은, 모션 추정기 (88) 및 모션 보상기 (90) 를 포함한다. 모션 추정기 (88) 는, 인코딩되는 프레임과 다른 프레임들의 차이들을 보상하기 위해 모션 보상기 (90) 에 의해 사용될 수도 있는 모션 벡터 예측자들 (MVP) (94) 및 모션 벡터들 (MV) (92) 을 생성한다. MV들 (92) 은 엔트로피 인코더 (55) 에 의해 또한 사용될 수도 있다. ITU H.264와 같은 몇몇 표준들에서, 공간 예측기 (86) 의 출력은 인트라-프레임 예측 모드에서 사용되며, 감산기 (44) 및 가산기 (69) 양자 모두에 공급된다. MPEG-4 또는 JPEG와 같은 몇몇 표준들에서, 공간 예측기 (86) 는 존재하지 않는다.
도 4a는 도 3과 유사하다. 그러나, 단지 예시의 목적을 위해, 도 4a 및 후속 도면들에서는 레이트 제어기 (62) 및 엔트로피 인코더 (55) 가 생략된다. 또한, 도 4a 및 후속 도면들에서는 도 3의 디-블록킹 필터 (70) 가 더 일반적인 필터인 아티팩트 필터 (72) 로 대체된다. 그 대체의 의도는, 일반적인 아티팩트 필터가 "인-루프"로 사용될 수도 있음을 전달하기 위한 것이다. 상술된 바와 같이, 디코딩 동안, 압축된 프레임들을 재구축할 때 아티팩트들이 나타날 수도 있다. 아티팩트들의 몇몇 예들은, 블록 현상, 블러링 현상, 물결 현상 (ringing), 및 색 번짐 현상 (color bleeding) 이다. 블록 현상은, 개별 비디 오 블록들의 독립적인 양자화에 의해 야기된다. 블러링 현상은, 고주파수 DCT 계수들의 코오스 양자화 또는 절단 (truncation) 을 통해 고주파수 계수들의 억제에 의해 야기된다. 또한, 블러링 현상은 저역 통과 필터링 또는 스무드닝 (smoothening) 을 통해 발생할 수도 있다. 물결 현상은, 높은 콘트라스트 에지 위치를 따라 리플 (ripple) 하며, 고주파수 계수들의 양자화 또는 절단에 의해 야기될 수도 있다. 색 번짐 현상은, 크로마 컴포넌트들의 고주파수 계수들의 억제에 의해 야기되는 크게 차이나는 크로미넌스 영역에서 발생할 수도 있다.
이미지 및 비디오 품질을 측정하기 위해 가장 널리 사용되는 메트릭들 중 하나는 피크 신호대 잡음 비 (peak signal to noise ratio; PSNR) 이고, 다음 식 1에서 정의된다.
Figure 112008069176797-pct00002
(식 1)
여기서 PKS는 피크 픽셀 값의 제곱을 의미하며 통상 2552이다.
coding_error는 종종, 비디오 블록들의 페어 간의 픽셀들의 차이의 평균 제곱 오차 (Mean Squared Error; MSE) 를 구함으로써 계산된다. 페어는, 오리지널 참조 프레임으로부터의 비디오 블록 x, 및 재구축된 프레임으로부터의 비디오 블록 y로 구성될 수도 있다. PSNR은 비디오 블록들의 페어 간의 coding_error의 함수이다. coding_error는, 비교되는 비디오 블록들의 픽셀들 간의 유사의 양을 지시한다. 더 많은 유사한 픽셀들이 더 큰 PSNR을 초래한다. 더 작은 PSNR은 더 적은 픽셀들이 유사함을 의미한다. 또한, PSNR은 평균 코딩 오차의 측정을 지시하기 위해 사용될 수도 있다. 평균 coding_error는 <coding_error>에 의해 표시되며, coding_error의 러닝 평균 (running average) 을 구함으로써 생성될 수도 있다. 후자의 경우에, PSNR은 프레임에 대한 coding_error의 측정이다. PSNR이 coding_error의 함수이지만, 더 작은 coding_error가 사용자에 의해 인지되는 양호한 이미지 및 비디오 품질을 항상 산출하지는 않는다. 예로서, 타일이 붙은 벽 또는 바닥의 이미지가 디-블록킹 필터가 적용된 후에 블러리하게 나타날 수도 있다. 타일들 간의 경계인 에지는 전체 이미지의 작은 일부만을 표현할 수도 있다. 따라서, coding_error가 픽셀 단위로 계산될 때, 결과의 PSNR은 타일들의 에지들이 블러리함에도 이미지 및 비디오 품질이 양호하다고 지시할 수도 있다. 재구축된 이미지에 디-블록킹 필터가 적용되지 않는 경우에, 타일들의 에지들은 블록키 (blocky) 하게 나타낼 수도 있다. 이러한 경우에, PSNR은 인지되는 이미지 및 비디오 품질의 측정에서 바람직하지 않게 한계를 갖는다.
PSNR의 한계는 새로운 메트릭인 아티팩트 신호대 노이즈 비 (artifact signal to noise ratio; ASNR) 에 의해 극복될 수도 있다. ASNR 메트릭은 아티팩트의 결핍 (또는 존재) 을 측정하기 위한 방법을 제공한다. ASNR 메트릭의 버전, ASNR(y 또는
Figure 112008069176797-pct00003
) 는, 도 4b의 아티팩트 메트릭 생성기 (101) 에 의해 생성될 수도 있다. ASNR 메트릭의 상이한 버전, ASNR(x, y 또는
Figure 112008069176797-pct00004
) 는, 선택적인 입력 x가 사용되는 경우에 아티팩트 메트릭 생성기 (101) 에 의해 생성될 수도 있다. 입력 x가 선택적임을 예시하기 위해 아티팩트 메트릭 생성기 (101) 로 점선이 도시된다. ASNR 메트릭은 다양한 인스턴시에이션 (instantiations) 을 가질 수도 있다.
인코딩 아티팩트들 또는 coding_error를 측정할 때 사용될 수도 있는 2개의 프레임워크들은: (1) 비-오리지널 참조 (non-original reference; NR); 또는 (2) 풀-오리지널 참조 (full-original reference; FR) 이다. NR 프레임워크의 예는 도 5a에 도시되어 있다. 도 5a는, 도 4b의 아티팩트 메트릭 생성기 (101) 가 사용될 수도 있는 일 양태를 예시한다. 도 5a의 아티팩트 메트릭 생성기 (101a) 는 재구축된 (오리지널 프레임이 없는, REC) 비디오 블록 또는 프레임으로부터만의 비디오 블록들에 대한 인지되는 이미지 및 비디오 품질의 평가를 원조한다. 비-참조 프레임은 오리지널 프레임이 아닌 임의의 프레임일 수도 있다. 통상적으로, 비디오 블록 또는 프레임은 압축되고 재구축된 것이다. FR 프레임워크의 예는 도 5b에 도시된다. 도 5b는, 도 4b의 선택적인 오리지널 입력 x를 갖는 아티팩트 메트릭 생성기 (101) 가 사용될 수도 있는 일 양태를 예시하는 블록도이다. 도 5b의 아티팩트 메트릭 생성기 (101b) 는, 오리지널 (참조) 입력 x, 및 비-오리지널 (재구축된) (REC, y 또는
Figure 112008069176797-pct00005
) 비디오 블록 또는 프레임 양자 모두로부터의 비디오 블록들에 대한 인지되는 이미지 및 비디오 품질의 평가를 원 조한다.
일반적으로, 아티팩트 메트릭 생성기의 출력은 아티팩트의 양의 측정이다. 아티팩트가 블록 현상일 때, ASNR 메트릭의 인스턴시에이션이 사용될 수도 있다. 인스턴시에이션은, 블록 현상의 결핍 또는 존재를 측정하는 디-블록킹 신호대 노이즈 비 (de-blocking signal to noise ratio; DSNR) 메트릭이다. NR 프레임워크에서, 아티팩트 메트릭 생성기에 의해 수행되는 생성은 재구축된 프레임에만 기초한다. 아티팩트 필터 (72) 가 디-블록킹 필터인 경우에, x가 존재하지 않는다면, 도 4b의 상부 아티팩트 메트릭 생성기 (101) 는 DSNR(y)를 출력할 수도 있다. DSNR(y)는 재구축된 비디오 블록인 비디오 블록 y의 블록 현상의 양의 측정이다. 아티팩트 필터 (72) 가 디-블록킹 필터인 경우에, x가 존재하지 않는다면, 도 4b의 하부 아티팩트 메트릭 생성기 (101) 는 DSNR(
Figure 112008069176797-pct00006
)를 출력할 수도 있다. DSNR(
Figure 112008069176797-pct00007
)는, 아티팩트 필터링된 비디오 블록인 비디오 블록
Figure 112008069176797-pct00008
의 블록 현상의 양의 측정이다. DSNR(y 또는
Figure 112008069176797-pct00009
)로서 기재된, DSNR(y) 또는 DSNR(
Figure 112008069176797-pct00010
)는 비-오리지널 참조 (NR) 메트릭들이다.
오리지널 입력 x가 도 4b의 아티팩트 메트릭 생성기 (101) 에 공급되는 경우에, FR 프레임워크가 메트릭을 생성하기 위해 사용될 수도 있다. FR 프레임워크의 메트릭은, 오리지널 참조 프레임에 대한 비-참조 프레임의 아티팩트의 양의 측정이다. 아티팩트 필터 (72) 가 디-블록킹 필터인 경우에, 도 4b의 상부 아티팩트 메트릭 생성기 (101) 는 DSNR(x,y)을 출력할 수도 있다. DSNR(x,y)는, 비디오 블록 x에 대한 비디오 블록 y의 블록 현상의 양의 측정이다. 아티팩트 필터 (72) 가 디-블록킹 필터인 경우에, 하부 아티팩트 메트릭 생성기 (101) 는 DSNR(x,
Figure 112008069176797-pct00011
)를 출력할 수도 있다. DSNR(x,
Figure 112008069176797-pct00012
)는 비디오 블록 x에 대한 비디오 블록
Figure 112008069176797-pct00013
의 블록 현상의 양의 측정이다. DSNR(x, y 또는
Figure 112008069176797-pct00014
)로서 기재된, DSNR(x,y) 또는 DSNR(x,
Figure 112008069176797-pct00015
)는 풀-오리지널 참조 (FR) 메트릭들이다.
이미지 또는 프레임 내의 블록 현상의 양을 측정하기 위하여, 평균 제곱 경사차 (Mean Square Difference of Slope; MSDS) 메트릭이 재구축된 이미지 또는 프레임 내의 블록 현상의 양을 결정하기 위해 때때로 사용된다. 그러나, MSDS 메트릭은, 오리지널 이미지 또는 프레임의 실제 텍스쳐 내의 블록 현상과 비디오 인코더의 블록 양자화 단계에 의해 도입된 블록 현상 간을 구별하지 않는다. 또한, MSDS 메트릭의 사용은 인간 시각 인지의 사용을 활용하지 않는다. MSDS의 한계는 DSNR 메트릭에 의해 극복될 수도 있다. DSNR 메트릭은, 상이한 타입의 블록 현상을 고려하며 인간 시각 인지를 고려함으로써, 블록 기반 비디오 인코더들의 이미지 및 비디오 품질을 더 양호하게 평가하기 위해 사용되므로, 다양한 형태들을 가질 수도 있다. 상술된 바와 같이, DSNR 메트릭은 ASNR 메트릭의 인스턴시에이션이다.
아티팩트 신호대 노이즈 비 (ASNR) 메트릭의 일반적인 형태가 다음과 같이 식 2로 보여진다.
Figure 112008069176797-pct00016
(식 2)
여기서 PKS는 피크 픽셀 값의 제곱을 의미하며 통상 2552이다. 식 2의 분자는 PKS, WS, WP, 및 WT의 곱을 포함한다. WS, WP, 및 WT는, 이미지 및 비디오 품질에 영향을 미치는 공간 (WS), 인지 (WP), 및 시간 (WT) 인자들을 고려하기 위해 선택된 가중치들이다. 식 2의 분모는 F(x,y)이며, x 및 y의 공통이거나 또는 공통이 아닌 함수일 수도 있다. x가 이용 가능하지 않은 경우에, F(x,y)는 F(y)로 대체될 수도 있다. 또한, 필터링되지 않은 재구축된 비디오 블록 또는 프레임 y는 필터링된 재구축된 비디오 블록 또는 프레임
Figure 112008069176797-pct00017
로 대체될 수도 있음을 주의한다.
F(x,y)를 위해 사용될 수도 있는 함수들 중 하나는 MSDS_error(x,y)이다. 통상적으로, MSDS_error(x,y)의 사용은, ASNR 메트릭의 DSNR 메트릭 인스턴시에이션이 사용될 때 이루어진다. 일 양태에서, MSDS_error(x,y)는 MSDS(x)와 MSDS(y) 간의 오차 제곱 (squared error) 일 수도 있다. 다른 양태에서, MSDS_error(x,y)는 MSDS(x)와 MSDS(y) 간의 오차의 절대값일 수도 있다. MSDS_error(x,y)는 다른 변형들을 가질 수도 있으나, FR 프레임워크에서 종종, MSDS(x) 및 MSDS(y) 간의 오차의 함수일 것이다. NR 프레임워크에서, MSDS_error(x,y)는 서로 비교될 수도 있는 적어도 2개의 상이한 MSDS 계산들로 대 체될 수도 있다. 예컨대, MSDS(y) 및 MSDS(
Figure 112008069176797-pct00018
)가 사용될 수도 있다. MSDS(x)는 오리지널 참조 프레임으로부터의 입력 비디오 블록 x의 함수이다. MSDS(y 또는 )는 재구축된 프레임으로부터의 비디오 블록 y 또는
Figure 112008069176797-pct00020
의 함수이다.
평균 제곱 경사차 (MSDS) 는 종종, 모든 비디오 블록 경계들에서, 인접한 비디오 블록들의 페어 간의 경계 근처의 3개의 상이한 타입의 경사들을 가지고 계산된다. 통상적으로, 3개의 상이한 타입의 경사들은 동일한 픽셀 로우 상의 픽셀들 간에 계산된다. L 로우들의 서로 바로 옆에 있는 2개의 인접한 비디오 블록들을 고려한다. 제 1 비디오 블록 내의 픽셀들의 마지막 2개의 컬럼들은 제 2 비디오 블록 내의 픽셀들의 처음 2개의 컬럼들 옆에 있다. Type_1 경사는 제 1 비디오 블록의 마지막 컬럼 내의 픽셀과 끝에서 두번째 컬럼 내의 픽셀 간에 계산된다. Type_2 경사는 제 2 비디오 블록의 제 1 컬럼 내의 픽셀과 제 2 컬럼 내의 픽셀 간에 계산된다. Type_3 경사는 제 2 비디오 블록의 제 1 컬럼 내의 픽셀과 제 1 비디오 블록의 마지막 컬럼 간에 계산된다.
통상적으로, MSDS는 식 3에서와 같이 픽셀들의 공통 로우에 대해 계산되는 것으로서 예시된다.
Figure 112008069176797-pct00021
(식 3)
여기서 pixels(i)는 임의의 L 로우들 내의 계산에 포함되는 픽셀들의 i번째 그룹을 표현하고, 이 경우에는 임의의 i번째 그룹은 6개의 픽셀들을 포함한다. 각각의 비디오 블록 경계에 대해, MSDS(pixels(i))는 L 로우들에 대해 평균화된다. 각각의 비디오 블록 및 비디오 블록 경계에 대한 전체 (평균) MSDS는 이하의 식 4에서와 같이 기재될 수도 있다.
Figure 112008069176797-pct00022
(식 4)
여기서 L은 비디오 블록의 경계를 정의하는 로우들의 수이다.
그러나, 컬럼이 픽셀들의 어레이이므로, 동일한 타입의 모든 경사들은 병렬로 계산될 수도 있다. 이러한 병렬 계산은 경사도라 호칭된다. 따라서, 인접한 비디오 블록들의 페어 간의 경계 근처에서 MSDS를 계산할 때, 3개의 경사도들이 계산될 수도 있으며, 이들은 (1) pre_gradient (Type 1 경사들 용); (2) post_gradient (Type 2 경사들 용); 및 (3) edge_gradient (Type 3 경사들 용) 이다. 계산된 경사도는 벡터이다. 따라서, 식 4의 병렬 예들이 이하의 식 5를 이용하여 계산될 수도 있다.
Figure 112008069176797-pct00023
(식 5)
여기서 b는 임의의 비디오 블록을 표현한다. MSDS(b)는, 픽셀들의 i번째 그룹 (i = 1,...L) 에 대한 인접한 비디오 블록들의 페어 간의 경계들에서 계산된다.
차이 벡터 (edge_gradient - _average(pre_gradient, post_gradient))의 L2_norm을 제곱함으로써, 식 5가 구현될 수도 있다. norm은 수학 구성체이다. L2 norm은 norm의 일 타입이고 벡터의 크기를 계산하기 위해 사용될 수도 있다. 크기를 계산하기 위해, L2 norm은 벡터의 컴포넌트들의 제곱들의 합의 제곱근을 구한다. MSDS가 종종 식 4 및 식 5에 보이는 바와 같이 계산되지만, edge_gradient와 pre_gradient와 post_gradient의 평균 간의 차이를 제곱하지 않는 변형들이 존재할 수도 있다. 예컨대, L1 norm이 대신 사용될 수도 있다. 본원에 포함된 실시형태들은, Type 1, Type 2, 및 Type 3 경사들을 사용하는 임의의 변형을 포함하고 그 변형에 적용된다.
상술된 바와 같이, F(x,y)를 위한 MSDS의 사용은, ASNR 메트릭의 인스턴시에이션인 DSNR 메트릭을 산출한다. 유사하게, ASNR 메트릭의 다른 인스턴시에이션들을 산출하기 위해, F(x,y) 대신 다른 알려진 메트릭들이 사용될 수도 있다. 디-블록킹 신호대 노이즈 비 (DSNR) 메트릭의 일반적인 FR 형태가 이하의 식 6에서 정의된다.
Figure 112008069176797-pct00024
(식 6)
DSNR 메트릭의 일반적인 NR 형태는 이하의 식 7에서 정의된다.
Figure 112008069176797-pct00025
(식 7)
도 5a는 재구축된 이미지/비디오 블록(들) 또는 프레임만을 갖는, 도 4b에서 사용된 아티팩트 메트릭 생성기의 일 양태를 예시한다. 도 5a의 아티팩트 메트릭 생성기 (101a) 는 오리지널 참조 없이 DSNR 메트릭을 생성한다. 디-블록킹 아티팩트를 평가하기 위해, DSNR(y)와 DSNR(
Figure 112008069176797-pct00026
) 간의 비교 (미도시) 가 이루어질 수도 있다. 식 6 또는 식 7에 의해 보여지는 DSNR 메트릭의 분자는, (1) 가중치 WS를 출력하는 공간 WVS (104), (2) 가중치 WP를 출력하는 인지 WVS (105), 및 가중치 WT를 출력하는 시간 WVS (106) 의 3개의 가중치 값 선택기들로 구성된 가중치 값 선택기 (WVS) 뱅크 (bank) (103) 를 사용함으로써, 아티팩트 메트릭 생성기 (101a) 에서 생성될 수도 있다. 가중치들 WS, WP, 및 WT는 입력 파라미터들 ZS, ZP, 및 ZT로부터 인코딩 프로세스 동안에 선택되거나 또는 미리 선택될 수도 있다. 입력 파라미터들 ZS, ZP, 및 ZT는 인코딩 프로세스 동안에 생성될 수도 있거나 또는 인코더 러닝 이전에 생성될 수도 있다. 분자 발생기 (107) 는, 식 6 또는 식 7의 분자에서 보이는 PKS, WS, WP, 및 WT의 곱을 계산한다. 가중치들 WS, WP, 및 WT가 모두 1과 동일할 때, DSNR 메트릭의 분자 기여는 식 1의 PSNR의 분자와 동일하 다. 1개의 곱셈기 (108) 가 분자 발생기 (107) 에서 충분하지만, 분자에 WS, WP, 및 WT를 갖는 효과를 엠퍼사이즈 (emphasize) 하기 위해 2개가 도시된다.
식 7에 보이는 DSNR 메트릭의 분모는 아티팩트 메트릭 생성기 (101a) 에서 수행될 수도 있다. 그 입력은 REC (재구축된 비디오 블록 또는 프레임) 이고, 따라서, 식 2의 F(x,y)는 REC만의 함수 F(y 또는
Figure 112008069176797-pct00027
)이다. 도 5a는 F(y 또는
Figure 112008069176797-pct00028
)가 MSDS(y 또는
Figure 112008069176797-pct00029
)일 때의 예를 도시한다. 재구축된 입력 REC는 y와
Figure 112008069176797-pct00030
중 어느 하나일 수도 있고, MSDS (112) 는 식 4와 식 5 중 하나에 보이는 바와 같이 MSDS(y) 및 MSDS(
Figure 112008069176797-pct00031
)를 계산한다.
분할기 (109) 는 분자 발생기 (107) 의 출력 (PKS*WS*WP*WT) 을 MSDS (112) 의 출력인 MSDS(REC(y 또는
Figure 112008069176797-pct00032
))로 제산한다. 로그 블록 (114) 은, 분할기 (109) 에 의해 발생된 결과의 10*log10을 구한다. 로그 블록 (114) 의 출력은 아티팩트 메트릭 생성기 (101) 에 의해 계산된 ASNR(y 또는
Figure 112008069176797-pct00033
) 의 인스턴시에이션인 DSNR 메트릭이다.
도 5b는 도 4b의 선택적인 오리지널 입력 x를 갖는 아티팩트 메트릭 생성기 (101) 가 사용될 수도 있는 일 양태를 예시한다. 아티팩트 메트릭 생성기 (101b) 는, 단 1개의 MSDS (112) 대신에 분모 발생기 (110) 를 갖는 점을 제외하면, 아티팩트 메트릭 생성기 (101a) 와 유사한 구조를 갖는다. 분모 발생기 (110) 는 2개의 MSDS (112) 블록들, 감산기 (44), 및 norm 인자 (116) 로 구성된 다. 분모 발생기 (110) 는 2개의 입력들: (1) 오리지널 입력, ORIG(x); 및 (2) 재구축된 입력, REC(y 또는
Figure 112008069176797-pct00034
)를 수신한다. 감산기 (44) 는 MSDS(x)와 MSDS(y 또는
Figure 112008069176797-pct00035
) 간의 차이를 계산하고 그 차이를 norm 인자 (116) 에 전송한다. 분모 발생기 (110) 의 일 구성에서, norm 인자 (116) 는 그 입력을 제곱할 수도 있다. 다른 구성에서, norm 인자 (116) 는 그 입력의 절대값을 구할 수도 있다. 각 구성에서, norm 인자 (116) 는 분모 발생기 (110) 에 의해 출력되는 MSDS_error(x,y)를 발생시킬 수도 있다. 분할기 (109) 는 분자 발생기 (107) 의 출력을 MSDS_error(x,y)로 제산하고, 로그 블록 (114) 은 분할기 (109) 에 의해 발생된 결과의 10*log10을 구한다. 로그 블록 (114) 의 출력은, 아티팩트 메트릭 생성기 (101) 에 의해 생성된 ASNR(x, y 또는
Figure 112008069176797-pct00036
) 메트릭의 인스턴시에이션인 DSNR(ORIG,REC)이다. DSNR 메트릭의 각각의 공간, 인지, 및 시간 컴포넌트들은, 평가되는 블록 현상 아티팩트를 디-엠퍼사이즈 (de-emphasize) 하거나, 엠퍼사이즈하거나, 또는 아무것도 하지 않을 수도 있다. DSNR은 블록 현상 아티팩트를 목적으로 하지만, 그 구조는 존재하는 임의의 다른 아티팩트에도 영향을 미친다. 예컨대, 디-블록킹 필터를 적용한 결과로서 블러링 현상 아티팩트도 디-엠퍼사이즈되거나, 엠퍼사이즈되거나, 또는 동일하게 남아 있을 수도 있다.
일반적으로, ASNR 메트릭에 대한 WVS 뱅크 (103) 내의 것들과 같은 가중치들의 선택 프로세스는 이미지/비디오 품질을 개선하는 방식으로 이루어진다. DSNR 메트릭에 대해, 디-블록 현상의 적당한 양이 엠퍼사이즈되고, 블러링 현상의 적당한 양이 디-엠퍼사이즈된다. 선택 프로세스는 도 6의 그래프 (118) 에 기초한다. 도 6에서, 그래프 (118) 는 아티팩트 평가기에서 사용되는 가중치 값 선택기 (WVS) (공간, 인지, 또는 시간) 를 예시한다. 그래프 (118) 의 횡좌표 축에는, 2개의 마크들: (1) 임계치 1을 표현하는 Th1; 및 (2) 임계치 2를 표현하는 Th2가 존재한다. 그래프 (118) 의 종좌표 축에는, 3개의 마크들이 WVS로부터의 가중치 값들을 표현한다. 일반적인 입력 파라미터 Z (ZS, ZP, 또는 ZT) 가 생성되고, 그래프 (118) 의 횡좌표 (Z) 축에 매핑된다. Z는, 3개의 범위들: (1) 0≤Z≤Th1; (2) Th1≤Z<Th2; 및 (3) Th2≤Z, 중 하나 내에 있을 것이다. WVS로부터의 가중치들은 Z의 범위에 의해 결정된다. WVS는 3개의 범위들에 기초하여 가중치들을 선택하며: (1)에서 [WZ]-1이 선택되고; (2)에서 1이 선택되고; (3)에서 WZ가 선택된다. [WZ]-1 가중치는, 블록 현상 아티팩트의 공간, 인지, 또는 시간 컴포넌트를 디-엠퍼사이즈할 수도 있다. 1의 가중치 값은 블록 현상 아티팩트를 수정하지 않는다. WZ 가중치는, 블록 현상 아티팩트의 공간, 인지, 또는 시간 컴포넌트를 엠퍼사이즈할 수도 있다. 이는 이하에 보이는 다시 기재한 식 2에 의해 보여질 수도 있다.
Figure 112008069176797-pct00037
분자 컴포넌트들 및 분모의 로그를 구하는 것은, 가중치들의 효과가 가산되거나, 감산되거나, 또는 (가중치 값이 1일 때) 효과를 갖지 않음을 보인다.
입력 파라미터들의 선택은 변한다. 그러나, ZS, ZP, 및 ZT에 대한 선택은 다음과 같을 수도 있다. ZS는 일례를 통해 설명된 다중-단계 프로세스에 의해 생성될 수도 있다. (좌측에) 이웃 D, (위에) 이웃 B, 및 (대각선 좌상측 근처에 위치된) 이웃 A를 갖는, 인코딩될 현재의 비디오 블록 E를 고려한다. 비디오 블록 E의 부분 및 비디오 블록 A의 부분이 비디오 블록 AE를 형성하기 위해 사용된다. 유사하게, 비디오 블록들 BE 및 DE가 형성될 수도 있다. 각각의 비디오 블록들 AE, BE, 및 DE에 대해 DCT들이 계산될 수도 있고, DCT들의 평균은 ZS에 대해 사용될 수도 있으며, ZP는 전체 프레임에 대해 평균 DCT를 계산함으로써 생성될 수도 있다. ZT는, 하나의 프레임 내의 평균 DCT와 다른 프레임 내의 평균 DCT 간의 차이를 계산함으로써 생성될 수도 있다.
도 7은, 선택적인 메트릭 제어기 (122) 를 이용하여 구성될 수도 있는 일반적인 아티팩트 필터 및 더 일반적인 아티팩트 메트릭 생성기 (121) 를 갖는 예시적인 이미지/비디오 인코더를 예시한다. 메트릭 제어기 (122) 뿐만 아니라 입력 x는 그 각각이 선택적임을 보이기 위해 도 7에서 점선으로 도시된다. 아티팩트 메트릭 생성기 (121) 는 미리 구성될 수도 있고, 따라서 메트릭 제어기 (122) 가 반드시 필요하지는 않을 수도 있다. 메트릭 제어기 (122) 가 사용될 때, 메트릭 제어기 (122) 는 입력 파라미터들을 아티팩트 메트릭 생성기 (121) 에 전달한다. 입력 파라미터들은, 아티팩트 메트릭 생성기 (121) 내에 저장될 수도 있거 나, 또는 메트릭 제어기 (122) 에 의해 전달될 수도 있다. 아티팩트 메트릭 생성기는, 1개의 출력만이 아닌, 메트릭들의 세트를 출력한다. 또한, 아티팩트 메트릭 생성기 (121) 는 메트릭들의 세트를 계산할 때 오리지널 입력 x를 사용할 수도 있거나 또는 사용하지 않을 수도 있다.
도 8은 아티팩트 메트릭 생성기 (121) 의 일반적인 구성을 예시한다. 컴포넌트 블록들 내의 첨자 [i] 는, 아티팩트 메트릭 생성기 (121a) 내의 2개의 양태들을 보이기 위해 사용되며, 그 양태들은: (1) 다양한 메트릭 버전이 생성될 수도 있고; (2) 전부 상이한 메트릭들이 생성될 수도 있다는 것이다. 양태 (1) 로부터, 예컨대, 다양한 형태의 ASNR이 생성될 수도 있다. 양태 (2) 로부터, 예컨대, 디-블록킹 (또는 블록킹) 메트릭, 블러링 현상 메트릭, 물결 현상 메트릭, 및 색 번짐 현상 메트릭, 또는 임의의 다른 타입의 아티팩트 메트릭이 생성될 수도 있다. 가능할 수도 있는 상이한 메트릭들 및 다양한 메트릭 버전들을 캡쳐링하기 위한 일반적인 아키텍쳐가 도시된다.
F_err 블록 (123) 은, 오리지널 비디오 블록 또는 프레임의 함수의 인스턴스와 재구축된 비디오 블록 또는 프레임의 함수의 인스턴스 간에 오차를 계산하기 위해 사용될 수도 있다. 그 함수들 간의 차이는 감산기 (44) 에 의해 계산되며, norm 인자 (NF) (128) 는 F의 특정한 선택을 위해 선택될 수 있다. 아티팩트 메트릭 생성기 (121) 는 아티팩트 메트릭 생성기 (101) 의 함수들을 구현할 수도 있다. 이는, 도 5a의 아티팩트 메트릭 생성기 (101a) 의 아키텍쳐에서, F의 선택이 MSDS(y) 및 MSDS(
Figure 112008069176797-pct00038
)이었음을 인식함으로써 보여질 수도 있다. 도 5b의 아 티팩트 메트릭 생성기 (101b) 의 아키텍쳐에서, F의 선택은 MSDS(x,y) 및 MSDS(x,
Figure 112008069176797-pct00039
)의 함수였었다. F의 선택은, 미리 구성되거나 또는 메트릭 제어기 (122) 에 의해 전송될 수도 있는 METRIC_SORT[i]를 통해 제어될 수도 있다. 컨디셔너[i] (130) 는, 1로 곱하는 것을 포함하는, F_err 블록 (123) 의 출력에 대한 임의의 세트의 연산들을 위해 사용될 수도 있다. 컨디셔너[i] (130) 는 F_err 블록 (123) 의 출력을 "컨디셔닝 (condition)" 한다. 컨디셔너[i] (130) 의 출력은 메트릭 배열기 (132) 에 전송될 수도 있다. 메트릭 배열기 (132) 는, 다양한 메트릭 또는 메트릭 버전들을 메트릭 버퍼 (136) 에 라우팅하기 위해 선택기 (134) 를 사용한다. 선택기 (134) 는 내부적으로 구동되거나 또는 메트릭 제어기 (122) 를 통해 선택적으로 제어될 수도 있다. 출력 MSET(ORIG,REC)는 출력들 MA[1], MA[2],...,MA[N]의 세트이다. MSET(ORIG,REC)의 각각의 멤버는 상이한 메트릭 또는 다양한 메트릭 버전일 수도 있다. 도 8로부터, ASNR 메트릭의 일반적인 형태가 컨디셔너(F(x,y))일 수도 있음을, 즉 F(x,y)가 몇몇 다른 함수 또는 함수들의 세트들에 의해 컨디셔닝될 수도 있음을 보인다. 식 2에서, 컨디셔너는 10*log10(PKS*WS*WP*WT)이다.
도 9는, 도 8의 아티팩트 메트릭 생성기 (121a) 가 ASNR의 다양한 버전들을 구현하기 위해 구성될 수도 있음을 나타낸다. ASNR의 어떤 버전이 출력될 수도 있는지 선택하기 위해 사용될 수도 있는 추가의 선택적인 선택기 (139) 가 존재한다. 선택적인 선택기 (139) 는, 도 9의 아티팩트 메트릭 생성기 (121b) 가 아 티팩트 메트릭 생성기 (101) (단일 ASNR 출력) 처럼 기능하도록 구성될 수도 있음을 보이기 위해 사용된다. 선택적인 선택기 (139) 가 사용되지 않는 경우에, 아티팩트 생성기 (121b) 의 출력은 ASNRSET(ORIG,REC)일 수도 있다. 상술된 바와 같이, F_err 블록 (123) 은 MSDS(x,y) 및 MSDS(x,
Figure 112008069176797-pct00040
)를 구현할 수도 있다. 또한, 도 9는 컨디셔너[i] (130) 를 도시한다. 컨디셔너[i] (130) 는 식 2의 분자를 구현할 수도 있으며 제산 및 그 제산의 로그를 구할 수도 있다. 메트릭 제어기 (122) 는, 컨디셔너[i] (130) 의 상이한 버전들을 초래하는 상이한 입력 파라미터들을 전송할 수도 있다. 다른 방법으로, METRIC_SORT[i]는 MSDS 이외의 상이한 함수들을 선택할 수도 있다. 또한, 다른 norm 인자(들) [i] (128) 도 마찬가지로 선택될 수도 있다. 도 9의 구성에서, 일반적인 출력 ASNRSET(ORIG,REC)는 ASNR[1], ASNR[2],...,ASNR[N]이고, 이들 중 하나가 출력되기 위해 선택기 (139) 에 의해 선택적으로 선택될 수도 있다.
아티팩트들이 이미지 및 비디오 품질에 영향을 미칠 수도 있으므로, 인코딩 프로세스 동안에 인지되는 이미지 및 비디오 품질을 평가하는데 원조하기 위해 메트릭들을 사용하는 방식이 바람직하다. 도 10의 아티팩트 평가기 (140) 의 사용은 이러한 방식을 허용한다. 아티팩트 평가기 (140) 는 어떤 재구축된 입력이 더 양호한 인지되는 이미지 및 비디오 품질을 갖는지를 평가할 수도 있다. 통상적으로, 인코딩 프로세스 동안에, 메모리 버퍼 (81) 가 2개의 선택들 중 어느 하나를 이용하여 업데이트된다. 통상적으로, 그 선택은, 필터링되지 않은 재구 축된 비디오 블록 (또는 프레임) y, 또는 (디-블록킹된) 필터링된 재구축된 비디오 블록 (또는 프레임)
Figure 112008069176797-pct00041
이다. 하위 비트 컨디션들 하에서, 블록 현상은 때때로 도미넌트 아티팩트이다. 따라서, 통상적으로, 아티팩트 필터 (72) 는 블록 현상을 줄이도록 구성될 수도 있다. 그렇게 하여, 필터링된 재구축된 비디오 블록 (또는 프레임)
Figure 112008069176797-pct00042
가 너무 블러리하게 될 수도 있다.
Figure 112008069176797-pct00043
가 너무 블러리하게 되는 경우에,
Figure 112008069176797-pct00044
를 이용하여 메모리 버퍼 (81) 를 업데이팅하는 것은 블러리한 에지들을 초래할 것이다. y가 너무 블록키한 경우에, y를 이용하여 메모리 버퍼 (81) 를 업데이트하는 것은 "블록 현상"을 초래할 것이다. 현재의 인코딩 방법들 및 표준들이 디-블록킹 필터 (70) 를 사용하는 경우에, 이들은 항상 디-블록킹 필터 (70) 의 출력을 이용하여 메모리 버퍼 (81) 를 업데이트한다. 현재의 인코딩 방법들 및 표준들은 메모리 버퍼 (81) 가 어떻게 업데이트될지를 "적응적으로" 변경하는 방식을 가지고 있지 않기 때문에 한계를 갖는다. 현재의 인코딩 방법들 및 표준들에서의 이 한계 때문에, 특히 인터-코딩 예측 모드에서, 불량한 이미지/비디오 품질이 다른 프레임들에 전달된다.
도 10의 아티팩트 평가기를 사용하여, "인-루프", 즉 이미지/비디오 인코더의 피드백 루프가 메모리 버퍼 (81) 가 어떻게 업데이트되는지를 변경하는 "적응적인" 방식을 허용한다. 적응적은, 이미지/비디오 인코더가, y와
Figure 112008069176797-pct00045
중 어느 재구축된 비디오 블록 (또는 프레임) 이 더 양호한 인지되는 시각 품질을 갖는지에 따라 메모리 버퍼 (81) 로의 입력을 조정할 수 있음을 의미한다. 아티팩트 평가 기 (140) 는 y와
Figure 112008069176797-pct00046
중 어느 이미지 및 비디오 품질이 더 양호한지를 평가한다. y의 품질이 더 양호한 경우에, 아티팩트 평가기 (140) 는 출력 QA(x,y,
Figure 112008069176797-pct00047
)를 y로 설정할 수도 있고, y를 이용하여 메모리 버퍼 (81) 를 업데이트할 수도 있다.
Figure 112008069176797-pct00048
의 품질이 더 양호한 경우에, 아티팩트 평가기 (140) 는 출력 QA(x,y,
Figure 112008069176797-pct00049
)를
Figure 112008069176797-pct00050
로 설정할 수도 있고,
Figure 112008069176797-pct00051
를 이용하여 메모리 버퍼 (81) 를 업데이트할 수도 있다. y와
Figure 112008069176797-pct00052
양자 모두의 이미지 및 비디오 품질이 허용 가능한 이미지 및 비디오 품질이 아닌 경우에, 아티팩트 평가기 (140) 는 이미지/비디오 인코더 (23) 로 하여금 상이한 세트의 양자화 계수들을 이용하여 재인코딩하도록 명령할 수도 있다. 따라서, 아티팩트 평가기 (140) 에 의해 평가된 이미지 및 비디오 품질은 프레임 내의 임의의 비디오 블록의 인코딩 및 재구축 직후에 적응적으로 개선될 수도 있다. 따라서, 아티팩트 평가기 (140) 의 사용은 현재의 인코딩 방법들 및 표준들의 한계들을 극복한다. 아티팩트 평가기 (140) 의 사용을 통해 도 10에 보이는 아키텍쳐는 현재의 방법들 및 표준들의 이미지/비디오 품질을 향상시킬 뿐만아니라, 특히 인터-코딩 예측 모드에 대해, 후속의 프로세싱되는 프레임들로의 불량한 이미지/비디오 품질 전달 방지의 추가 이점을 제공한다.
또한, ITU H.264, WM9, 및 RV9와 같은 몇몇 표준들이 디-블록킹 필터들의 사용을 지원하므로, 아티팩트 평가기 (140) 의 사용은 표준 순응형이다. 예컨대, 인코더에서 메모리 버퍼 (81) 를 업데이트하기 위해 어떤 재구축된 (필터링되거나 또는 필터링되지 않은) 비디오 블록 또는 프레임이 사용되었는지의 결정이 비디오 디코더에 전달될 수도 있다. 따라서, "동기"되는 비디오 인코더 및 비디오 디코더에 대해, 그 결정은 비디오 디코더의 헤더 정보에 삽입될 수도 있고, 즉 디-블록킹 필터가 온인지 또는 오프인지를 비디오 디코더에 알려주는 비트스트림의 일부로서 삽입될 수 있다.
도 11a는, 출력 결정을 행하기 위해 하나의 타입의 메트릭을 사용하는 아티팩트 평가기의 버전 (140a) 을 예시한다. 도 11a는 도 10에서 사용되는 아티팩트 평가기 (140) 의 구성을 예시한다. 아티팩트 평가기 (140a) 는 2개의 입력들, y 및
Figure 112008069176797-pct00053
를 수신하며, 입력들 x 및 메트릭 제어기 (122) 로부터 입력 파라미터들 (IP) 을 선택적으로 수신한다. 메트릭 제어기 (122) 로부터의 아티팩트 평가기 (140a) 에 대한 입력 파라미터들 (IP) 은 미리 구성될 수도 있고, 즉 메트릭 제어기 (122) 로부터의 직접 입력이 필요하지 않을 수도 있다. 따라서, 메트릭 제어기 (122) 로부터의 입력 파라미터들이 도 11a에서 생략된다. 아티팩트 평가기 (140a) 는 입력들, x (수신된 경우) 및 y를 아티팩트 메트릭 생성기 (101) 에 보내고, 또한 입력들, x (수신된 경우) 및
Figure 112008069176797-pct00054
를 상이한 아티팩트 메트릭 생성기 (101) 에 보낸다. 아티팩트 메트릭 생성기 (101) 의 구조의 일 실시형태는 도 5a 및 도 5b에 도시되고, 그 기능은 상술되었으며, 그 중 어느 하나가 사용될 수도 있다. 도 11a 상부에서, 아티팩트 메트릭 생성기 (101) 는 (ASNR(
Figure 112008069176797-pct00055
)가 교대로 사용될 수도 있지만) ASNR(x,
Figure 112008069176797-pct00056
)를 출력하고, 하부 아티팩트 평가기 (101) 는 (ASNR(y)가 교대로 사용될 수도 있지만) ASNR(x,y)를 출력한다. 결정 로직 (142) 은 ASNR(x,
Figure 112008069176797-pct00057
) 및 ASNR(x,y)를 수신하고, 2개의 입력 ASNR 메트릭들에 기초하여, y 또는
Figure 112008069176797-pct00058
를 출력하도록 결정하거나, 또는 재인코딩하기 위해 라인 출력 RE를 활성화한다. 도 11a에 나타낸 로직이 DSNR 메트릭만이 아닌 임의의 ASNR 메트릭에 대해 사용될 수도 있음을 인식해야 한다.
도 11b는, 출력 결정을 행하기 위해 다중 메트릭들 또는 메트릭 버전들을 사용하는 아티팩트 평가기의 버전 (140b) 을 예시한다. 도 11b는 도 10에서 사용되는 아티팩트 평가기 (140) 의 구성을 예시한다. 아티팩트 평가기 (140b) 는 2개의 입력들, y 및
Figure 112008071276016-pct00059
를 수신하며, 입력들 x 및 메트릭 제어기 (122) 로부터의 입력 파라미터들 (IP) 을 선택적으로 수신한다. 메트릭 제어기 (122) 로부터의 아티팩트 평가기 (140b) 에 대한 입력 파라미터들 (IP) 은 미리 구성될 수도 있고, 즉 메트릭 제어기 (122) 로부터의 직접 입력이 필요하지 않을 수도 있다. 따라서, 메트릭 제어기 (122) 로부터의 입력 파라미터들은 도 11b에서 생략된다. 아티팩트 평가기 (140b) 는, 입력들 x (수신된 경우) 및 y를 아티팩트 메트릭 생성기 (121) 에 보내고, 또한 입력들 x (수신된 경우) 및
Figure 112008071276016-pct00060
를 상이한 아티팩트 메트릭 생성기 (121) 에 보낸다. 아티팩트 메트릭 생성기 (121) 의 구조는 도 8 및 도 9 양자 모두에서 도시되고, 그 기능은 상술되었으며, 그 중 어느 하나가 사용될 수도 있다. 도 11b에서, 상부 아티팩트 메트릭 생성기 (121) 는 (MSET(
Figure 112008071276016-pct00061
))가 교대로 사용될 수도 있지만) MSET(x,
Figure 112008071276016-pct00062
)를 출력하고, 하부 아티팩트 평가기 (121) 는 (MSET(y))가 교대로 사용될 수도 있지만) MSET(x,y)를 출력한다. 결정 로직 (143) 은 MSET(x,
Figure 112008071276016-pct00063
) 및 MSET(x,y)를 수신하고, 2개의 입력 세트들의 메트릭들에 기초하여, y 또는
Figure 112008071276016-pct00064
를 출력하도록 결정하거나, 또는 재인코딩하기 위해 라인 출력 RE를 활성화한다.
도 12는 도 11a에서 결정 로직 (142) 블록에 의해 사용된 방법의 흐름도를 예시한다. 감산기 (44) 는 ASNR 메트릭 입력들 ASNR(x,
Figure 112008069176797-pct00065
) 와 ASNR(x,y)를 감산하고, 그 결과의 차이는 출력 품질 (144) 블록에 전송된다. 출력 품질 (144) 블록 내부에서, 그 차이는 0과 비교된다 (146). 그 차이가 0 보다 더 큰 경우에, 이는 (1) ASNR(x,
Figure 112008069176797-pct00066
) > ASNR(x,y)이고 출력이
Figure 112008069176797-pct00067
이며 (148); (2) ASNR(x,
Figure 112008069176797-pct00068
) > 이미지 및 비디오 품질의 허용 가능한 임계치임을 의미한다. 그 차이가 0 보다 더 작은 경우에, 이는 (1) ASNR(x,y) > ASNR(x,
Figure 112008069176797-pct00069
)이고 출력이 y이며 (150); (2) ASNR(x,y) > 이미지 및 비디오 품질의 허용 가능한 임계치임을 의미한다. 제어 (CTRL) 신호가 인에이블링되는 경우에, 결정 로직 (142) 블록의 출력 (RE) 은 이미지/비디오 인코더 (23) 로 하여금 x를 재인코딩하도록 명령할 수도 있다. 이는, ASNR(x,y)와 ASNR(x,
Figure 112008069176797-pct00070
) 양자 모두가 이미지 및 비디오 품질의 허용 가능한 임계치보다 더 작은 경우에 가능할 수도 있다. 인코더 메모리 버퍼 (도 10 참조) 를 업데이트하기 위해 출력 QA(x,y,
Figure 112008069176797-pct00071
)가 사용된다. 도 12의 흐름도에 예시된 로직이 DSNR 메트릭만이 아닌 임의의 ASNR 메트릭에 대해 사용될 수도 있음을 알아야 한다.
도 13은 도 11b의 결정 로직 (143) 에 의해 사용되는 방법의 흐름도를 예시한다. 그 흐름도는 임의의 아티팩트 메트릭 또는 아티팩트 메트릭의 변형에 대한 결정 로직을 표현한다. 예컨대, A[1]은 블록 현상일 수도 있고, MA[1](x,
Figure 112008069176797-pct00072
)는 DSNR(x,
Figure 112008069176797-pct00073
)일 수도 있다. 유사하게, A[2]는 블러링 현상일 수도 있고, MA[2](x,
Figure 112008069176797-pct00074
)는
Figure 112008069176797-pct00075
의 블러링 현상의 양을 측정하는 메트릭일 수도 있다. 유사하게, MA[1](x,y)는 DSNR(x,y)일 수도 있고, MA[2](x,y)는 y의 블러링 현상의 양을 측정하는 메트릭일 수도 있다. MA[2](x, y 또는
Figure 112008069176797-pct00076
)는 MA[1](x, y 또는
Figure 112008069176797-pct00077
)에 비하여 블록 현상을 디-엠퍼사이즈하고 블러링 현상을 더 엠퍼사이즈하는 DSNR의 다른 버전일 수도 있다. 또한, MA[2](x, y 또는
Figure 112008069176797-pct00078
)는 블러링 현상의 양을 측정하는 메트릭일 수도 있다.
MA[1](x,
Figure 112008069176797-pct00079
)와 블록 현상 임계치 간의 비교 (160) 가 필터링된 재구축된 비디오 블록 (또는 프레임)
Figure 112008069176797-pct00080
내에 존재하는 블록 현상의 양을 체크하기 위해 행해진다. 그 비교 (160) 가 참 (예) 인 경우에,
Figure 112008069176797-pct00081
는 "허용 가능한" 인지되는 이미지 및 비디오 품질을 만족시킨다. MA[2](x,
Figure 112008069176797-pct00082
)와 블러링 현상 임계치 간의 추가 비교 (162) 가
Figure 112008069176797-pct00083
내에 존재하는 블러링 현상의 양을 체크하기 위해 행해진다. 그 비교 (162) 가 참 (예) 인 경우에,
Figure 112008069176797-pct00084
는 블러링 현상 및 블록 현상 양자 모두에 대한 "허용 가능한" 인지되는 이미지 및 비디오 품질을 만족시킨다. 결과의 출력 QA(x,y,
Figure 112008069176797-pct00085
)는
Figure 112008069176797-pct00086
가 되고 (164), 인코더 메모리 버퍼 (도 10 참조) 는
Figure 112008069176797-pct00087
를 이용하여 업데이트된다.
비교 (160) 또는 비교 (162) 중 어느 하나가 거짓 (아니오) 인 경우에, MA[1](x,y)와 블러링 현상 임계치 간의 비교 (166) 가 필터링되지 않은 재구축된 비디오 블록 (또는 프레임) y 내에 존재하는 블러링 현상의 양을 체크하기 위해 행해진다. 그 비교 (166) 가 참 (예) 인 경우에, y는 "허용 가능한" 인지되는 이미지 및 비디오 품질을 만족시킨다. MA[2](x,y)와 블러링 현상 임계치 간의 추가 비교 (168) 가 y 내에 존재하는 블러링 현상의 양을 체크하기 위해 행해진다. 그 비교 (168) 가 참 (예) 인 경우에, y는 블러링 현상 및 블록 현상 양자 모두에 대한 "허용 가능한" 인지되는 이미지 및 비디오 품질을 만족시킨다. 결과의 출력 QA(x,y,
Figure 112008071276016-pct00088
)는 y가 되고 (170), 인코더 메모리 버퍼 (도 10 참조) 는 y를 이용하여 업데이트된다. 비교 (166) 또는 비교 (168) 중 어느 하나가 거짓 (아니오) 인 경우에, 라인 출력 RE가 활성화되고 (172), 오리지널 비디오 블록 (또는 프레임) x의 재인코딩이 수행될 수도 있다.
도 14는 아티팩트 평가 프로세스의 흐름도를 예시한다. 아티팩트 평가가 시작한 후에, metric_sort의 선택 (180) 은 어떤 타입 또는 버전의 메트릭이 생성 될 것인지에 기초한다. 오리지널 x 비디오 블록 또는 프레임 (이용 가능한 경우) 의 로딩, 및 이용 가능한 재구축된 y 또는
Figure 112008069176797-pct00090
비디오 블록(들) 또는 프레임(들) 의 로딩이 수행된다 (182). 오차(들)는 함수들 F, 및/또는 norm 인자들 (NF) 을 이용하여 계산될 수도 있다 (184). 컨디셔너[i]는 (직렬 또는 병렬) 인코딩 동안에 또는 그 이전에 이루어질 수도 있다 (186). 그 후, 컨디셔너[i]와 함수들 F 및/또는 NF를 이용하여 계산된 오차(들)의 조합이 실행될 수도 있다 (188). 결과의 조합(들)은 2개의 MSET 메트릭 결과, MSET(x,y) 및 MSET(x,
Figure 112008069176797-pct00091
)를 초래한다. MSET(x,y) 및 MSET(x,
Figure 112008069176797-pct00092
)의 각각의 멤버는 배열될 수도 있다 (192). MSET(x,y)의 멤버와 MSET(x,
Figure 112008069176797-pct00093
)의 멤버 간의 적어도 하나의 비교에 기초한 논리적 결정 (194) 은 y와
Figure 112008069176797-pct00094
중 어느 것이 더 양호한 이미지 및/또는 비디오 품질을 갖는지를 결정한다. 그 결정에 기초하여, 출력 QA(x,y,
Figure 112008069176797-pct00095
), y와
Figure 112008069176797-pct00096
중 더 양호한 것이 인코딩 프로세스 동안 인-루프로 인코더 메모리 버퍼를 업데이트하기 위해 사용된다. 또한, 결정 로직 (194) 블록은, y와
Figure 112008069176797-pct00097
중 어느 하나의 이미지 및 비디오 품질이 허용 가능하지 않은 경우에, 재인코딩 신호 RE를 전송할 수도 있다.
다수의 상이한 실시형태들이 설명되었다. 그 기술들은, 인코딩 프로세스 동안 아티팩트 평가기의 사용을 통해 인-루프로 이미지 및 비디오 품질을 개선함으로써 비디오 인코딩을 개선하는 것이 가능할 수도 있다. 그 기술들은 표준 순응형이다. 또한, 그 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임 의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우에, 그 기술들은, 비디오 시퀀스들을 인코딩하는 디바이스에서 실행될 때, 상술된 하나 이상의 방법들을 수행하는 (또한 컴퓨터 코드라 호칭될 수도 있는) 컴퓨터 판독가능 프로그램 코드를 포함하는 컴퓨터 판독가능 매체로 지향될 수도 있다.
컴퓨터 판독가능 프로그램 코드는 컴퓨터 판독가능 명령들의 형태로 메모리 상에 저장될 수도 있다. 그 경우에, DSP와 같은 프로세서는 본원에서 설명된 하나 이상의 기능들을 수행하기 위해 메모리 내에 저장된 명령들을 실행할 수도 있다. 몇몇 경우들에서, 그 기술들은, 인코딩 프로세스를 가속화하기 위해 모션 추정기와 같은 다양한 하드웨어 컴포넌트들을 인보크 (invoke) 하는 DSP에 의해 실행될 수도 있다. 다른 경우들에서, 비디오 인코더는, 마이크로프로세서, 하나 이상의 주문형 집적 회로들 (ASIC), 하나 이상의 필드 프로그래밍 가능한 게이트 어레이들 (FPGA), 또는 몇몇 다른 하드웨어-소프트웨어 조합으로서 구현될 수도 있다. 이들 및 다른 실시형태들은 다음 청구항들의 범위 내에 속한다.

Claims (42)

  1. 비디오 블록들을 프로세싱하도록 구성된 장치로서,
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛을 합성 (synthesize) 하도록 동작 가능한 디코더;
    상기 필터링되지 않은 재구축된 비디오 유닛을 수신하도록 동작 가능하며, 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛을 생성하는 아티팩트 필터;
    상기 필터링된 재구축된 비디오 유닛과 상기 필터링되지 않은 재구축된 비디오 유닛 중 어느 하나를 저장하도록 동작 가능한 메모리 버퍼; 및
    상기 메모리 버퍼를 업데이트하도록 동작 가능한 아티팩트 평가기로서, 상기 아티팩트 평가기는 상기 필터링되지 않은 재구축된 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛을 수신하고, 상기 필터링되지 않은 재구축된 비디오 유닛과 상기 필터링된 재구축된 비디오 유닛을 비교하며, 상기 비교에 기초하여 상기 필터링되지 않은 재구축된 비디오 유닛 또는 상기 필터링된 재구축된 비디오 유닛 중 하나를 출력하는 것을 결정하도록 구성되는, 상기 아티팩트 평가기를 포함하는, 장치.
  2. 제 1 항에 있어서,
    상기 아티팩트 평가기는, 적어도 하나의 아티팩트 메트릭 생성기 및 결정 로직 블록을 포함하는, 장치.
  3. 제 2 항에 있어서,
    상기 적어도 하나의 아티팩트 메트릭 생성기 중 임의의 아티팩트 메트릭 생성기는, 상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛을 수신하도록 구성된, 장치.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 아티팩트 메트릭 생성기는 또한, 오리지널 비디오 유닛 (original video unit) 을 수신하도록 구성된, 장치.
  5. 제 4 항에 있어서,
    상기 적어도 하나의 아티팩트 메트릭 생성기 중 임의의 아티팩트 메트릭 생성기는, 비-오리지널 참조 (non-original reference; NR) 아티팩트 메트릭 또는 풀-오리지널 참조 (full-original reference; FR) 아티팩트 메트릭을 생성하는 것을 포함하는, 장치.
  6. 제 5 항에 있어서,
    상기 적어도 하나의 아티팩트 메트릭 생성기로부터의 제 1 아티팩트 메트릭 생성기 및 상기 적어도 하나의 아티팩트 메트릭 생성기로부터의 제 2 아티팩트 메트릭 생성기는, 제 1 결정 로직 블록 또는 제 2 결정 로직 블록에 커플링된, 장치.
  7. 제 6 항에 있어서,
    상기 제 1 결정 로직 블록은,
    상기 필터링된 재구축된 비디오 유닛 및 상기 필터링되지 않은 재구축된 비디오 유닛을 수신하도록 구성되며,
    제 1 NR 아티팩트 메트릭을 제 2 NR 아티팩트 메트릭과 비교하거나 또는 제 1 FR 아티팩트 메트릭을 제 2 FR 아티팩트 메트릭과 비교하며, 상기 비교 중 어느 하나에 기초하여, 상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛 중 하나를 출력하는 것을 결정하도록 또한 구성된, 장치.
  8. 제 6 항에 있어서,
    상기 제 2 결정 로직 블록은,
    상기 필터링된 재구축된 비디오 유닛 및 필터링되지 않은 재구축된 비디오 유닛을 수신하도록 구성되며,
    NR 아티팩트 메트릭들의 제 1 세트를 NR 아티팩트 메트릭들의 제 2 세트와 비교하거나 또는 FR 아티팩트 메트릭들의 제 1 세트를 FR 아티팩트 메트릭들의 제 2 세트와 비교하며, 상기 비교 중 어느 하나에 기초하여, 상기 필터링된 재구축된 비디오 유닛과 상기 필터링되지 않은 재구축된 비디오 유닛 중 어느 하나를 출력하는 것을 결정하도록 또한 구성된, 장치.
  9. 제 7 항에 있어서,
    상기 출력은, 재생 디바이스, 이동 디바이스, 또는 컴퓨터 내에서 인-루프 (in-loop) 로 상기 메모리 버퍼에 전송되는, 장치.
  10. 제 8 항에 있어서,
    상기 출력은, 재생 디바이스, 이동 디바이스, 또는 컴퓨터 내에서 인-루프로 상기 메모리 버퍼에 전송되는, 장치.
  11. 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛 및 비디오 블록과 비디오 프레임 중 적어도 하나인 오리지널 비디오 유닛 (original video unit) 으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 수단;
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛 및 상기 오리지널 비디오 유닛으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 수단;
    제 1 아티팩트 메트릭을 제 2 아티팩트 메트릭과 비교하는 수단; 및
    상기 비교하는 수단에 기초하여, 출력을 결정하는 수단을 포함하는, 아티팩트 평가기 디바이스.
  12. 제 11 항에 있어서,
    상기 출력은, 이미지/비디오 인코더의 인-루프 (in-loop) 메모리 버퍼에 커플링되는, 아티팩트 평가기 디바이스.
  13. 제 12 항에 있어서,
    상기 제 1 아티팩트 메트릭 및 상기 제 2 아티팩트 메트릭은, 비-오리지널 참조 (non-original reference; NR) 아티팩트 메트릭 또는 풀-오리지널 참조 (full-original reference; FR) 아티팩트 메트릭인, 아티팩트 평가기 디바이스.
  14. 제 13 항에 있어서,
    상기 출력은, 상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛인, 아티팩트 평가기 디바이스.
  15. 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛 및 비디오 블록과 비디오 프레임 중 적어도 하나인 오리지널 비디오 유닛 (original video unit) 으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 수단;
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛 및 상기 오리지널 비디오 유닛으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 수단;
    제 1 아티팩트 메트릭과 제 1 아티팩트 임계치의 제 1 비교를 행하는 수단;
    제 2 아티팩트 메트릭과 제 2 아티팩트 임계치의 제 2 비교를 행하는 수단;
    제 3 아티팩트 메트릭과 제 3 아티팩트 임계치의 제 3 비교를 행하는 수단;
    제 4 아티팩트 메트릭과 제 4 아티팩트 임계치의 제 4 비교를 행하는 수단; 및
    상기 비교를 행하는 수단들의 다양한 조합들에 기초하여, 출력을 결정하는 수단을 포함하는, 아티팩트 평가기 디바이스.
  16. 제 15 항에 있어서,
    상기 출력은, 이미지/비디오 인코더의 인-루프 (in-loop) 메모리 버퍼에 커플링되는, 아티팩트 평가기 디바이스.
  17. 제 16 항에 있어서,
    상기 제 1, 제 2, 제 3, 또는 제 4 아티팩트 메트릭은, 비-오리지널 참조 (non-original reference; NR) 아티팩트 메트릭 또는 풀-오리지널 참조 (full-original reference; FR) 아티팩트 메트릭인, 아티팩트 평가기 디바이스.
  18. 제 17 항에 있어서,
    상기 출력은, 상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛 중 하나인, 아티팩트 평가기 디바이스.
  19. 비디오 블록들을 프로세싱하기 위해 실행 가능한 명령들의 세트를 저장하도록 구성된 컴퓨터 판독가능 매체로서,
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛 및 비디오 블록과 비디오 프레임 중 적어도 하나인 오리지널 비디오 유닛 (original video unit) 으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 컴퓨터 판독가능 프로그램 코드 수단;
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛 및 상기 오리지널 비디오 유닛으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 컴퓨터 판독가능 프로그램 코드 수단;
    제 1 아티팩트 메트릭을 제 2 아티팩트 메트릭과 비교하는 컴퓨터 판독가능 프로그램 코드 수단;
    상기 비교하는 컴퓨터 판독가능 프로그램 코드 수단에 기초하여, 출력을 결정하는 컴퓨터 판독가능 프로그램 코드 수단; 및
    상기 결정하는 컴퓨터 판독가능 프로그램 코드 수단에 기초하여, 상기 출력을 이용하여 인-루프 (in-loop) 로 메모리 버퍼를 업데이트하는 컴퓨터 판독가능 프로그램 코드 수단을 포함하는, 컴퓨터 판독가능 매체.
  20. 제 19 항에 있어서,
    상기 적어도 하나의 아티팩트 메트릭을 생성하는 컴퓨터 판독가능 프로그램 코드 수단은, 비-오리지널 참조 (non-original referenc; NR) 아티팩트 메트릭 또는 풀-오리지널 참조 (full-original reference; FR) 아티팩트 메트릭 중 하나를 생성하는 것인, 컴퓨터 판독가능 매체.
  21. 제 20 항에 있어서,
    상기 인-루프로 메모리 버퍼를 업데이트하는 컴퓨터 판독가능 프로그램 코드 수단은, 상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛 중 하나를 이용하여 상기 메모리 버퍼를 업데이트하는 것을 포함하는, 컴퓨터 판독가능 매체.
  22. 비디오 블록들을 프로세싱하도록 구성된 컴퓨터 판독가능 매체로서,
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛 및 비디오 블록과 비디오 프레임 중 적어도 하나인 오리지널 비디오 유닛 (original video unit) 으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 컴퓨터 판독가능 프로그램 코드 수단;
    필터링된 재구축된 비디오 유닛 및 상기 오리지널 비디오 유닛으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 컴퓨터 판독가능 프로그램 코드 수단;
    제 1 아티팩트 메트릭과 제 1 아티팩트 임계치의 제 1 비교를 행하는 컴퓨터 판독가능 프로그램 코드 수단;
    제 2 아티팩트 메트릭과 제 2 아티팩트 임계치의 제 2 비교를 행하는 컴퓨터 판독가능 프로그램 코드 수단;
    제 3 아티팩트 메트릭과 제 3 아티팩트 임계치의 제 3 비교를 행하는 컴퓨터 판독가능 프로그램 코드 수단;
    제 4 아티팩트 메트릭과 제 4 아티팩트 임계치의 제 4 비교를 행하는 컴퓨터 판독가능 프로그램 코드 수단;
    상기 비교를 행하는 컴퓨터 판독가능 프로그램 코드 수단들의 다양한 조합에 기초하여, 출력을 결정하는 컴퓨터 판독가능 프로그램 코드 수단; 및
    상기 결정하는 컴퓨터 판독가능 프로그램 코드 수단에 기초하여, 상기 출력을 이용하여 인-루프 (in-loop) 로 메모리 버퍼를 업데이트하는 컴퓨터 판독가능 프로그램 코드 수단을 포함하는, 컴퓨터 판독가능 매체.
  23. 제 22 항에 있어서,
    상기 적어도 하나의 아티팩트 메트릭을 생성하는 컴퓨터 판독가능 프로그램 코드 수단은, 비-(오리지널) 참조 (non-(original) reference; NR) 아티팩트 메트릭 또는 풀-(오리지널) 참조 (full-(original) reference; FR) 아티팩트 메트릭 중 하나를 생성하는 것인, 컴퓨터 판독가능 매체.
  24. 제 23 항에 있어서,
    상기 인-루프로 메모리 버퍼를 업데이트하는 컴퓨터 판독가능 프로그램 코드 수단은, 상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛 중 하나를 이용하여 상기 메모리 버퍼를 업데이트하는 것을 포함하는, 컴퓨터 판독가능 매체.
  25. 비디오 블록과 비디오 프레임 중 적어도 하나인 오리지널 비디오 유닛 (original video unit) 을 입력하는 단계;
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛을 입력하는 단계;
    비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛을 입력하는 단계;
    상기 오리지널 비디오 유닛 및 상기 필터링되지 않은 재구축된 비디오 유닛으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 단계;
    상기 오리지널 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛으로부터 적어도 하나의 아티팩트 메트릭을 생성하는 단계;
    상기 오리지널 비디오 유닛 및 상기 필터링되지 않은 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 하나를, 상기 오리지널 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 하나와 비교하는 단계; 및
    상기 비교에 기초하여, 상기 필터링되지 않은 재구축된 비디오 유닛 또는 상기 필터링된 재구축된 비디오 유닛 중 하나를 출력하도록 결정하는 단계를 포함하는, 아티팩트 평가 방법.
  26. 제 25 항에 있어서,
    상기 오리지널 비디오 유닛 및 상기 필터링되지 않은 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 것, 및 상기 오리지널 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 것은, 블록 현상 (blockiness) 또는 블러링 현상 (blurriness) 의 양을 측정하는, 아티팩트 평가 방법.
  27. 제 26 항에 있어서,
    필요한 경우에, 상기 비교에 기초하여 재인코딩하는 단계를 더 포함하는, 아티팩트 평가 방법.
  28. 제 27 항에 있어서,
    상기 오리지널 비디오 유닛 및 상기 필터링되지 않은 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 하나와 제 1 아티팩트 임계치의 제 1 비교를 행하는 단계;
    상기 제 1 비교에서 사용된 아티팩트 메트릭들 중 임의의 것이 상기 제 1 아티팩트 임계치보다 더 작은 경우에, 상기 오리지널 비디오 유닛 및 상기 필터링되지 않은 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 하나와 제 2 아티팩트 임계치의 제 2 비교를 행하는 단계;
    상기 제 1 비교에서 사용된 아티팩트 메트릭들 중 임의의 것이 상기 제 1 아티팩트 임계치보다 더 작고, 상기 제 2 비교에서 사용된 아티팩트 메트릭들 중 임의의 것이 상기 제 2 아티팩트 임계치보다 더 작은 경우에, 상기 오리지널 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 하나와 제 3 아티팩트 임계치의 제 3 비교를 행하는 단계;
    상기 제 3 비교에서 사용된 아티팩트 메트릭들 중 임의의 것이 상기 제 3 아 티팩트 임계치보다 더 작은 경우에, 상기 오리지널 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛으로부터 생성된 아티팩트 메트릭들 중 임의의 하나와 제 4 아티팩트 임계치의 제 4 비교를 행하는 단계;
    상기 제 1 및 제 2 비교들에 기초하여, 상기 필터링된 재구축된 비디오 유닛을 출력하도록 결정하는 단계;
    상기 제 3 및 제 4 비교들에 기초하여, 상기 필터링되지 않은 재구축된 비디오 유닛을 출력하도록 결정하는 단계; 및
    필요한 경우에, 상기 제 3 비교와 상기 제 4 비교 중 어느 하나에 기초하여 재인코딩하는 단계를 더 포함하는, 아티팩트 평가 방법.
  29. 제 27 항에 있어서,
    상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛은, 텍스쳐 인코더를 포함하는 인코딩 프로세스의 일부로서 인-루프 (in-loop) 로 사용되는 메모리 버퍼 내에 저장되는, 아티팩트 평가 방법.
  30. 제 28 항에 있어서,
    상기 필터링된 재구축된 비디오 유닛 또는 상기 필터링되지 않은 재구축된 비디오 유닛은, 텍스쳐 인코더를 포함하는 인코딩 프로세스의 일부로서 인-루프로 사용되는 메모리 버퍼 내에 저장되는, 아티팩트 평가 방법.
  31. 인-루프 (in-loop) 로 사용되는 아티팩트 평가기의 출력을 이용하여 메모리 버퍼를 업데이트하는 단계; 및
    아티팩트 메트릭들의 제 1 세트 및 아티팩트 메트릭들의 제 2 세트를 사용하여 비교를 행하는 결정 로직 블록을 이용하여 결정을 행하는 단계를 포함하고,
    상기 비교에 기초하여, 상기 아티팩트 평가기가 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛 또는 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛을 출력하며,
    상기 결정 로직 블록은 상기 아티팩트 평가기의 일부인, 아티팩트 평가 방법.
  32. 제 31 항에 있어서,
    상기 메모리 버퍼는, 상기 필터링된 재구축된 비디오 유닛과 상기 필터링되지 않은 재구축된 비디오 유닛 중 어느 하나를 저장하는, 아티팩트 평가 방법.
  33. 제 32 항에 있어서,
    상기 메트릭들의 제 1 세트는, 오리지널 비디오 유닛 (original video unit) 및 상기 필터링되지 않은 재구축된 비디오 유닛에 기초하는, 아티팩트 평가 방법.
  34. 제 33 항에 있어서,
    상기 메트릭들의 제 2 세트는, 상기 오리지널 비디오 유닛 및 상기 필터링된 재구축된 비디오 유닛에 기초하는, 아티팩트 평가 방법.
  35. 제 32 항에 있어서,
    상기 메트릭들의 제 1 세트는, 상기 필터링되지 않은 재구축된 비디오 유닛에 기초하는, 아티팩트 평가 방법.
  36. 제 33 항에 있어서,
    상기 메트릭들의 제 2 세트는, 상기 필터링된 재구축된 비디오 유닛에 기초하는, 아티팩트 평가 방법.
  37. 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛과 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛 중 어느 하나를 다음 아티팩트 메트릭 구현을 가지고 사용하는 단계를 포함하며,
    Figure 112008069176797-pct00098
    여기서, y는 필터링되지 않은 재구축된 비디오 유닛과 필터링된 재구축된 비디오 유닛 중 어느 하나를 표현하고;
    PKS는 픽셀의 피크 값의 제곱이고;
    WS는 상기 필터링되지 않은 재구축된 비디오 유닛에 영향을 미치는, 공간 인자들에 기초하는 가중치이고;
    WP는 상기 필터링되지 않은 재구축된 비디오 유닛에 영향을 미치는, 인지 인자들에 기초하는 가중치이고;
    WT는 상기 필터링되지 않은 재구축된 비디오 유닛에 영향을 미치는, 시간 인자들에 기초하는 가중치이며;
    F(y)는 y의 함수인, 아티팩트 측정 방법.
  38. 제 37 항에 있어서,
    ASNR(y)는 F(y)가 Norm_Factor(MSDS(y))인 경우에 DSNR(y)이며;
    Norm_Factor는 절대값과 제곱값 중 어느 하나를 구하는 것을 포함하는, 아티팩트 측정 방법.
  39. 제 38 항에 있어서,
    WS, WP, 또는 WT 값들의 조합을 통해 블록 현상 아티팩트를 엠퍼사이즈 (emphasize) 또는 디-엠퍼사이즈 (de-emphasize) 하는 단계를 더 포함하는, 아티팩트 측정 방법.
  40. 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링되지 않은 재구축된 비디오 유닛과 비디오 블록과 비디오 프레임 중 적어도 하나인 필터링된 재구축된 비디오 유닛 중 어느 하나를 오리지널 비디오 유닛 (original video unit) 과 함께, 다음 아티팩트 메트릭 구현을 가지고 사용하는 단계를 포함하며,
    Figure 112008069176797-pct00099
    여기서, y는 필터링되지 않은 재구축된 비디오 유닛과 필터링된 재구축된 비디오 유닛 중 어느 하나를 표현하고;
    x는 비디오 블록과 비디오 프레임 중 적어도 하나인 오리지널 비디오 유닛을 표현하고;
    PKS는 픽셀의 피크 값의 제곱이고;
    WS는 상기 필터링된 재구축된 비디오 유닛에 영향을 미치는, 공간 인자들에 기초하는 가중치이고;
    WP는 상기 필터링된 재구축된 비디오 유닛에 영향을 미치는, 인지 인자들에 기초하는 가중치이고;
    WT는 상기 필터링된 재구축된 비디오 유닛에 영향을 미치는, 시간 인자들에 기초하는 가중치이며;
    F(x,y)는 x 및 y의 함수인, 아티팩트 측정 방법.
  41. 제 40 항에 있어서,
    ASNR(x,y)는 F(x,y)가 MSDS_error(x,y)인 경우에 DSNR(x,y)이고;
    MSDS_error(x,y) = Norm_Factor(MSDS(x)-MSDS(y)) 이고;
    MSDS(x)는 (x)의 평균 제곱 경사차 (Mean Square Difference of Slope) 이고;
    MSDS(y)는 (y)의 평균 제곱 경사차이며;
    Norm_Factor는 절대값과 제곱값 중 어느 하나를 구하는 것을 포함하는, 아티팩트 측정 방법.
  42. 제 41 항에 있어서,
    WS, WP, 또는 WT 값들의 조합을 통해 블록 현상 아티팩트를 엠퍼사이즈 (emphasize) 또는 디-엠퍼사이즈 (de-emphasize) 하는 단계를 더 포함하는, 아티팩트 측정 방법.
KR1020087024136A 2006-03-01 2007-03-01 아티팩트 평가를 통한 향상된 이미지/비디오 품질 KR100989296B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/366,787 US7873224B2 (en) 2006-03-01 2006-03-01 Enhanced image/video quality through artifact evaluation
US11/366,787 2006-03-01

Publications (2)

Publication Number Publication Date
KR20080108511A KR20080108511A (ko) 2008-12-15
KR100989296B1 true KR100989296B1 (ko) 2010-10-22

Family

ID=38171178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087024136A KR100989296B1 (ko) 2006-03-01 2007-03-01 아티팩트 평가를 통한 향상된 이미지/비디오 품질

Country Status (6)

Country Link
US (2) US7873224B2 (ko)
EP (1) EP1994760A2 (ko)
JP (2) JP2009528798A (ko)
KR (1) KR100989296B1 (ko)
CN (1) CN101390401B (ko)
WO (1) WO2007103743A2 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218080B2 (en) * 2005-12-05 2012-07-10 Samsung Electronics Co., Ltd. Personal settings, parental control, and energy saving control of television with digital video camera
US8848057B2 (en) * 2005-12-05 2014-09-30 Samsung Electronics Co., Ltd. Home security applications for television with digital video cameras
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
US7911538B2 (en) * 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
US9036712B1 (en) * 2006-05-08 2015-05-19 Geo Semiconductor Inc. Methods and/or apparatus for controlling zero-residual coding in predictive image/video coding
US7683910B2 (en) * 2006-06-29 2010-03-23 Microsoft Corporation Strategies for lossy compression of textures
US7714873B2 (en) * 2006-06-29 2010-05-11 Microsoft Corporation Strategies for compressing textures
CA2674164A1 (en) * 2006-12-28 2008-07-17 Thomson Licensing Detecting block artifacts in coded images and video
US8019167B2 (en) 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
US8711901B2 (en) * 2007-03-12 2014-04-29 Vixs Systems, Inc. Video processing system and device with encoding and decoding modes and method for use therewith
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
JP5269088B2 (ja) * 2007-11-16 2013-08-21 トムソン ライセンシング ビデオをエンコードするシステムおよび方法
EP2071852A1 (en) * 2007-12-11 2009-06-17 Alcatel Lucent Process for delivering a video stream over a wireless bidirectional channel between a video encoder and a video decoder
EP2071851B1 (en) * 2007-12-11 2011-09-28 Alcatel Lucent Process for delivering a video stream over a wireless channel
EP2144449A1 (en) * 2008-07-07 2010-01-13 BRITISH TELECOMMUNICATIONS public limited company Video quality measurement
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
WO2010091505A1 (en) * 2009-02-13 2010-08-19 Research In Motion Limited Modified entropy encoding for images and videos
EP2396770B1 (en) * 2009-02-13 2016-04-20 BlackBerry Limited Adaptive quantization with balanced pixel-domain distortion distribution in image processing
KR101260157B1 (ko) * 2009-02-13 2013-05-06 리서치 인 모션 리미티드 인트라코딩된 이미지 또는 프레임에 대한 인루프 디블로킹
US8279259B2 (en) * 2009-09-24 2012-10-02 Microsoft Corporation Mimicking human visual system in detecting blockiness artifacts in compressed video streams
CN101827280B (zh) * 2010-02-04 2012-03-21 深圳市同洲电子股份有限公司 视频输出质量的检测方法和装置
US9237526B2 (en) 2010-03-12 2016-01-12 Sunrise Micro Devices, Inc. Power efficient communications
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR101751497B1 (ko) * 2010-06-11 2017-06-27 삼성전자주식회사 행렬 네트워크 코딩을 사용하는 장치 및 방법
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US9008180B2 (en) 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
US9924167B2 (en) * 2011-11-28 2018-03-20 Thomson Licensing Video quality measurement considering multiple artifacts
US9661325B1 (en) * 2012-02-17 2017-05-23 Polycom, Inc. Lossy channel video blur avoidance
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US20150288979A1 (en) * 2012-12-18 2015-10-08 Liu Yang Video frame reconstruction
JP2014187580A (ja) * 2013-03-25 2014-10-02 Kddi Corp 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
US10015506B2 (en) * 2013-05-20 2018-07-03 Cinova Media Frequency reduction and restoration system and method in video and image compression
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US10003811B2 (en) * 2015-09-01 2018-06-19 Microsoft Technology Licensing, Llc Parallel processing of a video frame
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
JP2018191136A (ja) * 2017-05-02 2018-11-29 キヤノン株式会社 符号化装置、符号化方法およびプログラム
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
KR20210158261A (ko) 2020-06-23 2021-12-30 삼성전자주식회사 비디오 품질 평가 방법 및 장치
KR20220014715A (ko) 2020-07-29 2022-02-07 삼성전자주식회사 비디오 품질 평가 방법 및 장치
CN112579845B (zh) * 2020-12-29 2023-03-31 江西省能源大数据有限公司 工业大数据展示地理信息系统平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000012878A (ko) * 1998-08-01 2000-03-06 윤종용 영상데이터 루프필터링방법 및 장치
WO2000022834A2 (en) * 1998-10-09 2000-04-20 Snell & Wilcox Limited Method and apparatus for blocking effect reduction
KR20040054606A (ko) * 2001-11-29 2004-06-25 마츠시타 덴끼 산교 가부시키가이샤 코딩 왜곡 제거 방법, 비디오 인코딩 방법, 비디오 디코딩방법, 및 그것을 실현하는 장치 및 프로그램
WO2005086490A1 (en) * 2004-02-27 2005-09-15 Koninklijke Philips Electronics, N.V. Ringing artifact reduction for compressed video applications

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63199589A (ja) * 1987-02-14 1988-08-18 Fujitsu Ltd フレ−ム間符号化方式
US5166790A (en) * 1989-08-25 1992-11-24 U.S. Philips Corporation Method and apparatus for maintaining the mean valves of video signals
JPH03136586A (ja) * 1989-10-23 1991-06-11 Nec Corp 圧縮符号化装置
DE69129871T2 (de) * 1990-03-21 1999-03-04 Philips Electronics N.V., Eindhoven Verfahren und Vorrichtung zur Signalverarbeitung
KR0148130B1 (ko) 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
US5691775A (en) * 1995-03-30 1997-11-25 Intel Corporation Reduction of motion estimation artifacts
US6061400A (en) * 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6148033A (en) * 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
US6285801B1 (en) 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
JP2003509979A (ja) 1999-09-14 2003-03-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタルビデオ画像におけるブロックアーチファクトを識別する方法及び装置
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
EP1404136B1 (en) 2001-06-29 2018-04-04 NTT DoCoMo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
CA2582664C (en) * 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
CN100358366C (zh) 2002-07-11 2007-12-26 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
US7173971B2 (en) * 2002-11-20 2007-02-06 Ub Video Inc. Trailing artifact avoidance system and method
GB0228556D0 (en) 2002-12-06 2003-01-15 British Telecomm Video quality measurement
KR100672592B1 (ko) * 2005-01-14 2007-01-24 엘지전자 주식회사 디스플레이 장치의 영상 보상장치 및 보상방법
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000012878A (ko) * 1998-08-01 2000-03-06 윤종용 영상데이터 루프필터링방법 및 장치
WO2000022834A2 (en) * 1998-10-09 2000-04-20 Snell & Wilcox Limited Method and apparatus for blocking effect reduction
KR20040054606A (ko) * 2001-11-29 2004-06-25 마츠시타 덴끼 산교 가부시키가이샤 코딩 왜곡 제거 방법, 비디오 인코딩 방법, 비디오 디코딩방법, 및 그것을 실현하는 장치 및 프로그램
WO2005086490A1 (en) * 2004-02-27 2005-09-15 Koninklijke Philips Electronics, N.V. Ringing artifact reduction for compressed video applications

Also Published As

Publication number Publication date
CN101390401A (zh) 2009-03-18
KR20080108511A (ko) 2008-12-15
US7873224B2 (en) 2011-01-18
US20110075037A1 (en) 2011-03-31
JP2013102471A (ja) 2013-05-23
JP2009528798A (ja) 2009-08-06
WO2007103743A3 (en) 2007-11-08
US8391622B2 (en) 2013-03-05
EP1994760A2 (en) 2008-11-26
WO2007103743A2 (en) 2007-09-13
CN101390401B (zh) 2010-12-08
US20070206871A1 (en) 2007-09-06

Similar Documents

Publication Publication Date Title
KR100989296B1 (ko) 아티팩트 평가를 통한 향상된 이미지/비디오 품질
JP4666411B2 (ja) 画像復号方法および画像復号装置
EP1076885B1 (en) Method and apparatus for reducing breathing artifacts in compressed video
US20070098067A1 (en) Method and apparatus for video encoding/decoding
US20190394464A1 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
US9270993B2 (en) Video deblocking filter strength derivation
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
KR101482896B1 (ko) 최적화된 디블록킹 필터
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
KR100801155B1 (ko) Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법
JP5298487B2 (ja) 画像符号化装置、画像復号化装置、および画像符号化方法
JP2006270181A (ja) 動き補償型時間方向フィルタ処理における残差成分の復号化および格納方法ならびに装置
KR20050079690A (ko) 필터링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 10