KR20080106246A - 디스플레이된 이미지들에서의 압축 아티팩트들의 감소, 인코딩 파라미터들의 분석 - Google Patents

디스플레이된 이미지들에서의 압축 아티팩트들의 감소, 인코딩 파라미터들의 분석 Download PDF

Info

Publication number
KR20080106246A
KR20080106246A KR1020087022219A KR20087022219A KR20080106246A KR 20080106246 A KR20080106246 A KR 20080106246A KR 1020087022219 A KR1020087022219 A KR 1020087022219A KR 20087022219 A KR20087022219 A KR 20087022219A KR 20080106246 A KR20080106246 A KR 20080106246A
Authority
KR
South Korea
Prior art keywords
blocks
frame
block
data stream
difference value
Prior art date
Application number
KR1020087022219A
Other languages
English (en)
Inventor
아이오 오. 키렌코
레나투스 제이. 반 더 브로이텐
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20080106246A publication Critical patent/KR20080106246A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이미지 아티팩트들의 지금까지 인지되지 않은 원인이 식별된다. MPEG 인코더들과 같은 인코더들은 2개의 화상 구조들: 필드 화상들 및 프레임 화상들을 사용할 수 있다. 프레임 화상의 경우에, 프레임 및 필드 둘 모두를 기반으로 한 DCT(및 다른 유형들)의 코딩이 사용될 수 있다. 프레임 기반 코딩을 사용할지 또는 필드 기반 코딩을 사용할지에 대한 판정이 항상 정확하게 행해지지는 않는다. 디코딩 이미지에서, 이것은 스트립된 블록들로서 보이는 이미지 아티팩트를 초래한다. 본 발명은 본 발명의 일 양상에서, 이와 같은 아티팩트들의 존재 시에 블록 콘텐트를 분석하고 이와 같은 아티팩트들이 존재한다는 것이 분석을 통해 입증되는 경우, 블록 내의 데이터에 수직 저역 통과 필터를 적용함으로써 이러한 아티팩트들을 감소시킨다. 본 발명의 또 다른 양상에서, 아티팩트가 발생할 수 있고 이와 같은 블록들이 표시되는 인코딩 파라미터들의 조합에 대해 인코딩 파라미터들이 검사된다. 본 발명은 방법 뿐만 아니라, 수신기, 인코더, 디코더, 디스플레이 장치, 등과 같은 장치로 구현될 수 있다.
이미지 아티팩트, 인코더, 필드 화상, 프레임 화상, 인코딩 파라미터.

Description

디스플레이된 이미지들에서의 압축 아티팩트들의 감소, 인코딩 파라미터들의 분석{Reduction of compression artefacts in displayed images, analysis of encoding parameters}
본 발명은 압축 아티팩트들(artefact)이 감소되는 압축된 이미지 데이터 스트림을 프로세싱하는 방법에 관한 것이다.
본 발명은 또한 디스플레이되는 압축해제된 이미지에서 압축 아티팩트들을 감소시키는 리듀서(reducer)에 관한 것이다.
본 발명은 또한 이미지를 디스플레이하기 위하여 압축된 이미지 데이터 스트림을 수신하도록 배열되고, 디스플레이되는 압축해제된 이미지에서의 압축 아티팩트들의 감소를 위한 리듀서를 포함하는 수신기에 관한 것이다.
본 발명은 또한 이미지를 디스플레이하기 위하여 압축된 이미지 데이터를 수신하도록 배열되고, 디스플레이되는 압축해제된 이미지에서의 압축 아티팩트들의 감소를 위한 리듀서를 포함하는 수신기를 포함하는 디스플레이 장치에 관한 것이다.
본 발명은 또한 압축된 이미지 데이터 스트림을 트랜스코딩하고, 디스플레이되는 압축해제된 이미지에서의 압축 아티팩트들의 감소를 위한 리듀서를 포함하는 트랜스코더에 관한 것이다.
본 발명은 또한 인코딩된 이미지 데이터 스트림의 인코딩 파라미터들을 분석하는 방법 및 인코딩된 이미지 데이터 스트림의 인코딩 파라미터들을 분석하는 분석기에 관한 것이다.
이미지 디스플레이 시스템들은 종종 압축된 데이터 스트림들을 수신한다. 저장 또는 전송되어야 하는 이미지의 량을 감소시키기 위한 다수의 "손실이 많은" 비디오 압축 기술들이 공지되어 있다. MPEG 또는 웨이브렛-기반과 같은 복잡한 압축 방식들은 뷰어(viewer)의 지각에 중요하지 않은 공간 주파수 정보를 트렁케이팅(truncating)하도록 시도한다. 압축에 의하여, 압축해제된 이미지에서 이미지 아티팩트들이 나타날 수 있다. 이미지 아티팩트들을 감소시키기 위하여 많은 방식들이 제안되었다.
본 발명자들은 공지된 아티팩트 억제 방법들에도 불구하고, 특정 이미지 아티팩트가 거의 감소되지 않고 존재한다는 것을 인식하였다. 이 아티팩트는 이미지의 부분들에서 스트립된 대역(stripped band)들의 형태로 존재한다. 공지된 아티팩트 억제 방법들은 이 문제를 감소시키지 못하거나 심각한 부작용들을 갖는다.
본 발명의 제1 양상의 목적은 압축에 기인한 상술된 이미지 아티팩트들의 감소를 위한 방법이 구현되는, 도입 단락들에 설명된 바와 같은 디스플레이 장치, 수신기 및/또는 트랜스코더 뿐만 아니라, 리듀서와 같은 방법 및 장치를 제공하는 것이다.
이를 위해, 상기 방법은 디코딩된 이미지 블록 또는 디코딩된 이미지 블록들의 그룹에 대하여, 인접한 라인들 간의 수직 방향에서의 픽셀 데이터의 차이들로부터 적어도 하나의 차이 값이 결정되고, 상기 차이 값이 임계값과 비교되며, 상기 차이 값이 상기 임계값을 충족시키는 경우에, 디코딩된 이미지 블록에 수직 방향의 저역 통과 필터링이 적용되는 것을 특징으로 한다.
본 발명의 다음 통찰(insight)을 기반으로 한다:
MPEG와 같은 현재의 이미지 및 비디오 압축 방식들은 블록-기반 프로세싱을 사용한다. 픽셀들의 8-로우 ×8-컬럼 매트릭스로 구성된 각각의 블록이 DCT 변환되고 개별적으로 양자화된다. MPEG 표준에 따르면, 인터레이싱된 비디오 화상(interlaced video picture)는 프레임 또는 필드 화상 중 하나로서 인코딩될 수 있다.
프레임 화상들에서, 프레임 및 필드 DCT 코딩 둘 모두가 사용될 수 있다:
프레임 DCT 코딩의 경우에, 각각의 블록은 교호적으로 2개의 필드들로부터의 라인들로 구성된다.
필드 DCT의 경우에, 각각의 블록은 2개의 필드들 중 단지 하나로부터의 라인들로 구성된다.
MPEG 인코더는 각각의 매크로블록에 대해 프레임 DCT가 적용되어야 하는지 또는 필드 DCT가 적용되어야 하는지에 대한 판정을 행한다.
모션 예측(motion prediction)이 또한 2개의 상이한 모드들: 필드 및 프레임 예측으로 실행된다. 전자의 경우에, 예측들은 하나 이상의 이전에 디코딩된 필드들로부터의 데이터를 사용함으로써 각각의 필드에 대해 독립적으로 행해진다. 프레임 예측은 하나 이상의 이전에 디코딩된 프레임들로부터 프레임에 대한 예측을 형성한다.
필드 화상에서, 모든 예측들은 필드 예측들이다. 그러나, 프레임 화상에서, 필드 예측 또는 프레임 예측들 중 하나가 사용될 수 있다(매크로블록을 기반으로 하여 선택된다). 그러므로, 프레임 화상들에 대하여, 인코더는 2개의 상이한 판정들을 행할 수 있다.
이상적으로는, MPEG 코덱은 프레임 프로세싱이 사용되어야 하는지 또는 필드 프로세싱이 사용되어야 하는지를 정확하게 결정하고, 원래 인터레이싱된 자료에 필드 DCT 및 모션 예측을 적용하고 프로그레시브 자료(progressive material)에 프레임 프로세싱을 적용해야 한다. 실제로, MPEG 인코더들은 특히 인터레이싱된 필름(따라서, 원래 프로그레시브) 자료를 포함하는 입력 소스에 대하여 이와 같은 판정을 항상 정확하게 하지는 못한다. 아티팩트들은 표준 코딩에 내재한다. 사용된 MPEG 인코더의 품질이 상기 문제를 감소시킬 수 있을지라도, 상기 문제는 하이-엔드 인코더(high-end encoder)들에서도 존재하는 것처럼 보인다.
MPEG 인코더가 특정 블록 또는 매크로블록에 대해 프레임 또는 필드 모드를 사용하는 것에 관하여 잘못된 판정을 행하는 경우, 그 블록 또는 매크로블록 내에서 국소화되는 아티팩트들이 나타날 것이다. 이러한 아티팩트들은 특히 저 비트-레이트 코딩에서 보이게 된다. 아티팩트들은 명백한 패턴: 하나의 픽셀 폭은 갖는 수평 라인들(및 이에 따라 2개의 라인들의 수직 공간 파장)을 가지며, 이는 블록 또는 매크로블록(4개의 블록들) 내에서 국소화된다. 픽셀 폭 수평 스트라이프들(업-다운-업-다운)이 보이며, 여기서 수평 스트라이프들은 블록 또는 매크로블록에 걸쳐 스패닝(spanning)된다. 이러한 아티팩트들은 이들이 이제 주변에서 보일 수 있을지라도, 많은 다른 아티팩들과 같이 에지들 주위의 영향들에 기인하지 않는다. 아티팩트들은 또한 통상적으로 이동하는 에지들 주위에서 발생하고 통상적으로 많은 블록들에 걸쳐 확장되는 인터레이스 에러들과 혼동되지 않아야 한다. 본 발명이 감소시키고자 하는 아티팩트들은 인코딩에서의 내재하는 에러들에 기인한다. 아티팩트들은 프레임 화상에 대해 잘못된 프레임-필드 코딩(DCT 및/또는 모션 예측)에 기인한다. 에러는 프레임 및 필드 코딩 사이에서 블록 또는 매크로블록에 대해 판정이 행해질 때마다 만들어질 수 있고, 불규칙적인 위치들에서 이미지 내의 어딘가에서 보이거나 보이지 않을 수 있다. 이와 같은 에러의 특징적인 아티팩트 패턴은 물체의 중간 또는 에지 또는 그 밖의 어딘가에서 보일 수 있다. 상기 패턴은 어딘가에 나타날 수 있다. 상기 설명은 MPEG 코딩에 대해 제공된다. 그러나, 프레임 화상들에 대해 매크로블록들의 블록들의 프레임 및 필드 코딩 사이에서 선택이 행해져야 하는 임의의 다른 유형의 코딩이 디스플레이된 이미지에서 동일한 아티팩트들을 발생시킬 수 있다. 그러므로, 본 발명은 MPEG 인코딩된 데이터 스트림들에 특히 관심이 있을지라도, MPEG 인코딩된 데이터 스트림들에 국한되지 않는다.
본 발명의 제1 양상은 2개의 간단한 기본적인 단계들에 의해, 디코딩된 비트 스트림들에서 문제가 존재할 때 상기 문제를 감소시키는 것이다.
제1 단계에서, 블록 또는 매크로블록 내의 인접한 라인들에서의 픽셀들 간의 수직 방향에서의 픽셀 데이터 차이들로부터 차이 값이 결정된다. 이 제1 단계는 디코딩된 이미지의 루미넌스(luminance) 및/또는 크로미넌스(chrominance) 성분들, 더 일반적으로는 픽셀 데이터의 로컬(즉, 블록 또는 매크로블록 내) 공간(즉, 라인의 특정 공간 거리를 갖거나 또는 이 거리에 가까움) 분석을 기반으로 한 아티팩트 검출을 포함한다. 예시적인 알고리즘들이 이하에 제공될 것이다. 공간 제브라-형 패턴(spatial zebra-like pattern)의 교호 라인들(두 번째로 가까운 라인보다 인접한 라인들과 더 낮은 상관을 갖는 라인들)(더 밝고, 덜 밝고, 더 밝고, 등)을 갖는 스트립된 패턴을 검출할 수 있는 임의의 알고리즘이 사용될 수 있다. 일반적으로, 예를 들어, 인접한 라인들에서 2개의 포인트 차이들 찾아냄으로써 동일하게(적어도 1 픽셀) 두꺼운 '업-다운-업(up-down-up)' 패턴을 검출하는 임의의 검출기 및 검출 단계가 행해질 것이다. 이것은 픽셀 값들을 감산하고, 평균을 취하고, 이를 임계값과 비교하는 간단한 문제이거나, 또는 더 복잡할 수 있는데, 예를 들어, 구형파 기본 함수들의 존재를 조사하는 하다마드 변환(Hadamard transform)을 취하고 나서, 수직 방향에서 1-픽셀 폭 기초 함수에서의 에너지의 량을 결정하고, 이를 고정된 임계값 뿐만 아니라, 예를 들어, 수직 방향에서 2-픽셀 폭 기초 함수에서의 에너지의 량의 k 배일 수 있는 임계값과 비교한다. 차이 값들은 알고리즘에 따라, 각종 방식으로 표현될 수 있다. 방식들 모두에서 공통적으로, 차이 값, 또는 하나 이상의 차이 값들은 결정되는 경우에는 값들이 스트립된 패턴의 존재 또는 부재와 관련되고, 상기 존재 또는 부재는 픽셀 데이터 간의 수직 방향에서의 차이들로부터 결정된다. 본 발명의 개념 내에서, 하나 이상의 차이 값들이 결정될 수 있다. 아티팩트의 존재의 가능도(likelihood) 또는 세기를 나타내는 전체 블록 또는 매크로블록에 대한 단일 값이 결정되는 것이 바람직하다. 그러나, 본 발명은 단일 차이 값의 사용에 국한되지 않고, 하나 이상의 차이 값이 사용될 수 있다.
제2 단계는 아티팩트 감소인데, 즉, 감소 값에 의해 표현되는 측정된 아티팩트가 임계값을 초과하는 그러한 블록들에 대해, 디코딩된 이미지 블록에 수직 방향의 저역 통과 필터링이 적용된다. 저역 통과 필터링은 스무딩 효과(smoothing effect)를 가짐으로써 아티팩트를 감소시킨다. 그러므로, 제1 단계는 아티팩트 인식으고, 제2 단계는 저역 통과 필터를 사용하는 것에 의한 아티팩트 감소이다.
저역 통과 필터링은 차이 값이 임계값을 충족시키는 경우에만 적용된다. 이로써, 이미지에서의 디테일(detail)들을 불필요하게 감소시키는 불필요한 저역 통과 필터링이 피해진다.
본 발명의 실시예들에서, 차이 값의 결정은 차이 값 결정 및 저역 통과 필터링이 수행되어야 하는 블록을 선택하기 위한 선택 단계 이후에 행해진다.
차이 값 결정 및 저역 통과 필터링은 계산력을 필요로 한다. 저역 통과 필터링은 디테일들의 일부 손실을 초래할 것이다. 블록들을 선택함으로써, 즉, 가장 문제가 발생할 것 같고/같거나 이미지 품질에 상당한 영향을 미칠 것 같은 그러한 블록들을 식별하고, 다른 블록들에 대해 차이 값 결정 및 저역 통과 필터링을 바이패스함으로써, 필요로 되는 계산력을 더 감소시키고 효율을 유지하면서 디테일들의 손실이 피해질 수 있다.
실시예에서, 선택은 블록의 평균 루미넌스 또는 평균 컬러 콘텐트를 기반으로 하여 수행된다. 인간의 눈은 밝은 컬러들에 가장 민감하며, 피부 컬러들에 매우 민감하다. 이와 같은 실시예들에서, 블록들을 선택할지 말지에 대한 판정은 영향이 비록 보일 수 있을지라도, 이미지의 어떤 환경들 및/또는 부분들, 예를 들어, 얼굴에서 가장 성가시고, 이미지의 다른 환경들 및/또는 부분들, 예를 들어, 초원 상에서 가장 덜 성가실 것이라는 가정 하에서 행해진다. 더 일반적으로, 이미지의 인지된 전체 품질에 가장 덜 중요할 것 같은 그러한 블록들이 차이 값 결정 및 저역 통과 필터링으로부터 면제된다.
다른 실시예들에서, 선택은 이웃하는 블록들과 함께 수행된 일관성 검사를 포함한다. 일관성 검출기는 검출된 제브라-형 패턴이 블록 내에서로 국한되는지 또는 이웃하는 블록들을 따라 지속되는지를 검사한다. 다수의 이웃하는 블록들에서 존재하고 또한 동일한 유형(예를 들어, 동일한 평균 그레이 값 및 그레이 값 내의 동일한 차이)의 패턴들은 예를 들어, 펜스의 실제 물체 패턴을 가리킬 수 있다.
또 다른 실시예들에서, 선택 단계는 블록들의 인코딩 파라미터들이 분석되는 단계를 포함한다.
이 실시예에서, 선택 단계 동안, 인코딩 파라미터들, 예를 들어, 비트스트림 헤더들의 특정 세트의 플래그들이 분석된다. 상술된 바와 같이, 아티팩트들은 잘못된 프레임/필드 코딩 판정에 기인한다. 이러한 헤더들은 인코딩된 비트스트림에 존재한다. 헤더들 내의 데이터는 인코더가 잘못될 판정을 행할 수 있는지 없는지의 여부를 표시한다. 헤더들 내의 데이터가 이와 같은 가능성이 없다는 것을 표시할 때, 차이 값 및 저역 통과 필터링을 결정하는 다음 단계들을 취할 이유가 없는데, 그 이유는 다음 단계들이 계산력을 필요로 할 것이며, 디테일들을 감소시킬 수 있기 때문이다. 데이터가 잘못된 프레임/필드 코딩 판정의 가능성을 표시할 때, 블록은 더 프로세싱된다.
상술된 다양한 유형들의 선택 단계들은 이미지를 과도하게 스무딩함이 없이 아티팩트들을 더 효율적으로 감소시키면서, 필요로 되는 계산력을 더 감소시키기 위하여 결합될 수 있다.
임계값은 고정된 임계값이거나, 블록 내에 포함된 데이터에 따를 수 있다. 블록 내에 포함된 데이터는 예를 들어, 평균 루미넌스일 수 있다. 임계값은 예를 들어, 모든 방향들에서의 루미넌스의 평균 변화에 따를 수 있다. 모든 방향에서 루미넌스의 평균 변화가 높은 경우, 즉 노이지 이미지(noisy image) 또는 많은 디테일들을 갖는 이미지가 존재하는 경우, 수평 방향에서의 변화가 또한 클 것이다. 또 다른 실시예에서, 1 픽셀의 거리의 변화가 2개의 픽셀 거리의 변화와 비교된다. 본 발명이 극복하고자 하는 아티팩트들은 인접한 라인들 사이, 홀수 및 짝수 라인들 사이, 블록 내에서 루미넌스 및/또는 크로미넌스의 큰 변화를 나타내지만, 홀수 및 짝수 라인들 사이에서 임의의 변화가 전혀 없거나 거의 없다.
본 발명의 제1 양상은 디코딩된 이미지에서 압축 아티팩트들을 감소시키는 간단하고 로버스트한 방법을 제공한다.
간단한 알고리즘으로도 다른 이미지 피처들에 대한 과도하게 부정적인 영향 없이, 제브라-패턴 아티팩트들이 효율적으로 감소된다는 것이 실험들을 통해 나타났다.
본 발명의 제1 양상에 따른 디스플레이 디바이스, 수신기 및/또는 검출기, 인코더 또는 트랜스코더, 더 일반적으로는 임의의 장치는 본 발명의 제1 양상에 따른 알고리즘을 수행하는 리듀서를 포함한다.
본 발명은 여러 방식들로 구현될 수 있으므로, 구현방식에 따라 여러 장치들로 구현될 수 있다.
본 발명은 실시예들에서 인코딩된 스트림으로부터의 정보가 이용 가능하지 않은 비디오 사후-프로세싱 체인(video post-processing chain)을 사용한다. 즉, 본 발명의 이와 같은 실시예에서 사용되는 알고리즘은 이미 디코딩된 이미지 데이터를 프로세싱하고, 임의의 코딩 파라미터들을 필요로 하지 않는다. 가능한 애플리케이션은 입력 신호가 디코딩된 비디오 시퀀스인 하이-엔드 TV, 멀티미디어 센터들, 및 임의의 다른 프로세싱 장치들이다.
본 발명은 방법 뿐만 아니라, 디스플레이 장치, 수신기, 트랜스코더, 등으로 구현될 수 있다.
본 발명은 또한 인코더 측에서 구현될 수 있다. 인코더 측, 또는 더 일반적으로 인코딩 파라미터가 이용 가능한 임의의 포인트에서 구현될 때, 잘못된 프레임/잘못된 필드 인코딩이 수행되거나 수행될 수 있는 경우들에 대해 검사하기 위하여 인모더에서 부가적인 알고리즘이 사용될 수 있다.
인코더 측에서, 본 발명의 이 양상은 아티팩트의 어느 장소의 수정이 유용하다는 것을 표시하기 위하여 사용될 수 있다. 이것은 이미 인코딩된 신호를 송신하기 전에 수정하는데 사용될 수 있다.
본 발명의 제2 양상은 인코더가 프레임 또는 필드 인코딩을 수행할 수 있는 프레임 화상 내의 블록 또는 매크로블록들이 표시되는 인코딩 파라미터들을 분석하는 방법이다.
본 발명의 이 양상은 예를 들어, 본 발명이 인코딩된 데이터 스트림에 대한 것인 경우에서와 같이, 잘못된 프레임/필드 인코딩의 부정적인 영향들을 감소시키기보다는 오히려, 상기 문제를 제거하도록 인코딩 판정을 변경하기 위한 사후-확인에 사용될 수 있다.
아티팩트를 나타낼 수 있는 블록들을 표시하기 위하여 인코딩 파라미터들을 분석하는 본 발명의 제2 양상은 제1 양상이 기반으로 하는 것과 동일한 기본적인 통찰, 즉, MPEG와 같은 현재의 코딩 표준들이 인코더에서 행해지는 잘못된 프레임/필드 코딩 판정들로 인해 상술된 아티팩트의 가능성을 열어둔다는 통찰을 기반으로 한다. 설명된 아티팩트 감소 방법들 중 일부는 인코딩 및 디코딩이 수행되는 방법에 대한 임의의 정보 없이 디코딩된 데이터 스트림들에 대해 수행될 수 있다. 이와 같은 방법들 및 장치들에서, 디코딩된 이미지 데이터 스트림의 모든 블록들이 분석된다. 헤더들이 여전히 이용 가능할 때 헤더들을 분석함으로써, 아티팩트가 발생하는 블록들을 표시하는 것이 가능하여, 아티팩트 감소 방법들이 아티팩트에 의해 영향을 받지 않는 블록들이 아티팩트 감소 단계를 겪을 필요가 없기 때문에 더 경제적으로 수행될 수 있다. 인코딩 파라미터를 분석하는 방법 및 대응하는 분석기 뿐만 아니라, 분석기를 포함하거나 인코딩 파라미터 분석 방법을 사용하거나 사용하기 위한 임의의 장치가 또한 신규하고 진보성이 있으며, 상기 문제와 관련되는데, 즉 상기 문제를 해결할 시의 제1 단계와 관련된다. 상기 분석 방법은 또한 신규한 제품, 즉, 이미지 데이터 스트림 또는 이미지 데이터 스트림을 포함하는 신호를 제공하며, 상기 이미지 데이터 스트림 또는 신호는 표시자 및/또는 표시 신호를 갖는 잠재적으로 영향을 받는 블록들 및/또는 블록들의 표시자들을 포함한다.
상기 분석 방법은 아티팩트 감소 방법의 부분을 형성할 수 있고, 이 경우 본 발명의 양상들 둘 모두는 결합된다.
그러나, 본 발명의 양상들 둘 모두는 개별적으로 사용될 수 있다.
본질적으로, 제1 양상(아티팩트 감소보다 선행하는 패턴 인식)은 문제를 초래할 수 있는 사용된 인코딩의 실제 진단(diagnostic)에 관계없이 상기 문제에 대한 교정법(remedy)이다. 제2 양상(분석)은 아마도 문제가 있는 블록들을 식별하기 위하여 인코딩 파라미터들을 분석한다. 분석 방법에 의해 수집된 정보는 이 정보가 제1 양상에 따른 방법에서 사용되든지 또는 임의의 다른 방법에서 사용되든지 간에 유용하고 간단하게 기록된다.
제2 양상에 따른 방법은 제1 양상에 따른 방법 또는 인코더 또는 디코더 단에서의 임의의 다른 교정 방법보다 선행할 수 있거나, 또는 예를 들어, 아마도 문제가 있는 블록들을 찾아내거나 문제가 있는 블록들의 퍼센티지를 찾아내기 위하여 단순히 진단 용도들에 사용될 수 있다. 상기 방법은 예를 들어, MPEG 인코더들의 진단들에 사용될 수 있다. 어느 MPEG 인코더들이 가장 아티팩트 생성을 겪게 될지를 식별할 수 있는 것은 매우 유용하고, MPEG 인코더들을 개발할 시의 제1 단계는 아티팩트를 생성하지 않는다.
본 발명의 이러한 양상들 및 부가적인 양상들이 예로서, 그리고 첨부 도면들을 참조하여 더 상세히 설명될 것이다.
도1 및 2는 본 발명이 감소시키고자 하는 아티팩트를 개략적으로 도시한 도면.
도3은 매크로블록의 DCT 코딩을 도시한 도면.
도4는 모션 예측을 도시한 도면.
도5는 본 발명의 제1 양상에 따른 방법을 개략적으로 도시한 도면.
도6은 본 발명의 제1 양상에 따른 방법의 실시예를 도시한 도면.
도7 및 8은 본 발명의 제1 양상에 따른 부가적인 실시예들을 도시한 도면.
도9는 본 발명의 효과를 도시한 도면.
도10은 본 발명의 부가적인 실시예를 도시한 도면.
도11은 본 발명의 제2 양상에 따른 방법을 도시한 도면.
도12는 본 발명의 제2 양상에 따른 방법을 개략적으로 도시한 도면.
도13은 본 발명에 따른 디스플레이 장치를 개략적으로 도시한 도면.
도면들은 크기대로 도시되어 있지는 않다. 일반적으로, 도면들에서 동일한 요소들에는 동일한 참조 번호들이 병기되어 있다.
본 발명의 각종 양상들에서 본 발명은 본 발명의 바람직한 실시예들이 도시되어 있는 첨부 도면들을 참조하여 이하에 더 충분히 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있고, 본원에 설명된 실시예들로 국한되는 것으로 해석되지 않아야 한다; 오히려, 이러한 실시예들이 제공되어, 본 명세서가 철저해지고 완전해질 것이며, 당업자들에게 본 발명의 범위를 충분히 전달할 것이다. 전체에 걸쳐 동일한 요소들에는 동일한 번호들이 병기된다.
압축 기술들은 종종 데이터 스트림을 압축시키는데, 즉, 데이터 스트림 내의 데이터의 량을 감소시키는데 사용된다. 특히, 소비자 레코더 장치들(DVD 레코더들, 하드-디스크 레코더들, 등)은 MPEG2 스트림들과 같은 디지털로 압축된 스트림들을 제공하기 위하여 디지털 압축 알고리즘들을 사용한다. 이와 같은 압축 기술들은 무손실 기술들일 수 있지만, 종종 감지 가능한 압축 량이 사용될 때, 약간의 데이터 손실이 수용 가능하다고 간주된다. 통상적으로, 데이터 압축 기술들은 데이터의 손실이 비교적 적게 유지되어 데이터 압축의 많은 가시 영향들이 압축해제되는 디스플레이된 이미지에서 보이지 않도록 배열된다. 그러나, 특히 고 압축 비들의 경우에, 이미지 아티팩트들이 압축해제된 이미지에서 나타날 수 있다. 이와 같은 아티팩트들 중 하나가 제브라-형 패턴이며, 여기서 이미지 내의 어딘가에 가짜 제브라-형 패턴들이 나타난다. 지금까지는, 이러한 가짜 제브라-형 패턴들에 대한 특성 및 이유가 인지되지 않았다. 이러한 아티팩트들은 에지 피처의 존재 또는 부재에 관계없이, 그리고 가능한 인터레이스 에러들의 임의의 표시 또는 인터레이스 에러들과 일치하지 않는 패턴들 또는 실제로 압축 아티팩트들의 임의의 다른 공지된 원인의 존재 시에 이미지의 어딘가에 나타날 수 있다.
도1 및 2는 이러한 아티팩트들을 개략적으로 도시한다.
도면들은 백색 및 흑색인데, 그 이유는 이것이 특허 출원들에서 필수적이기 때문이다. 블록-방식의 수직 줄무늬들이 화살표들에 의해 볼 수 있게 표시된다. 실제 컬러 이미지에서, 이와 같은 줄무늬들은 흑색 및 백색에서보다 훨씬 더 잘 보인다. 이러한 줄무늬들은 블록 형태의 제브라-형 패턴들을 형성한다. 이미지 전체에 걸쳐, 이와 같은 줄무늬들이 보인다. 이러한 줄무늬들은 이미지에서 에지 또는 다른 피처의 존재와 관련되는 것처럼 보이지 않고, 다른 피처들을 갖지 않는 에어리어들에서 형성될 수 있다. 블록들 중 일부에서, 줄무늬들이 깨끗하게 보이며; 즉 줄무늬들이 완전히 없다. 패턴들은 인터레이스 에러들이 존재하는 경우에, 인터레이스 에러들이 발생한다고 예측할 수 있는 그러한 에어리어들로 국한되지 않는다. 그러므로, 아티팩트들의 공지된 원인들에 대해 검사하는 것으로는 이와 같은 공지된 원인을 찾을 수 없다. 본 발명의 양상은 아티팩트가 지금까지 인지하지 못했던 원인에 기인한다는 것을 발명자들이 인식하였다는 것이다. 발명자들은 아티팩트의 모든 다른 공지된 원인들의 존재 시에도, MPEG와 같은 표준 인코딩 기술들이 이러한 아티팩트들을 초래할 수 있다는 것을 인식하였다. 이러한 통찰은 본 발명이 기반으로 하는 신규한 통찰이다.
MPEG와 같은 현대의 비디오 압축 방식들은 비디오-기반 프로세싱을 사용한다. 필셀들의 8-로우×8-컬럼 매트릭스로 구성된 각 블록은 DTC 변환되고 개별적으로 양자화된다. MPEG 표준에 따르면, 인터레이싱된 비디오 화상은 프레임 또는 필드 화상 중 하나로서 인코딩될 수 있다. 프레임 화상들에서, 프레임 및 필드 DCT 코들 둘 모두가 사용된다:
ㆍ 프레임 DCT 코딩의 경우에, 각각의 블록은 교호적으로 2개의 필드들로부터의 라인들로 구성된다.
ㆍ 필드 DCT의 경우에, 각각의 블록은 2개의 필드들 중 단지 하나로부터의 라인들로 구성된다.
도3은 매크로블록의 DCT 코딩을 도시한다. DCT 코딩은 프레임 코딩(도3의 파트 A) 및 필드 코딩(도3의 파트 B) 중 하나일 수 있다.
MPEG 인코더는 각각의 매크로블록에 대해 프레임 DCT가 적용되어야 하는지 또는 필드 DCT가 적용되어야 하는지에 대한 판정을 행한다.
모션 예측이 또한 2개의 상이한 모드들: 필드 및/또는 프레임 예측으로 실행된다. 전자의 경우에, 예측들은 하나 이상의 이전에 디코딩된 필드들로부터의 데이터를 사용함으로써 각각의 필드에 대해 독립적으로 행해진다. 프레임 예측은 하나 이상의 이전에 디코딩된 프레임들로부터 프레임에 대한 예측을 형성한다. 필드 화상에서, 모든 예측들은 필드 예측들이다. 그러나, 프레임 화상에서, 필드 예측 또는 프레임 예측들 중 하나가 사용될 수 있다(매크로블록을 기반으로 하여 선택된다).
도4는 프레임 및 필드 모션 예측을 개략적으로 도시한다. 프레임 예측(A')에서, 기준 프레임(R)으로부터 예측된 프레임(P)으로 모션을 예측하기 위하여 하나의 모션 벡터(M)만이 사용된다. 필드 예측에서, 필드들 각각에 대해 하나씩 2개의 모션 벡터들(M1 및 M2)이 사용된다. 이러한 모션 벡터들(M1 및 M2)은 도4의 예에 개략적으로 도시된 바와 같이, 상이할 수 있다.
이상적으로는, MPEG 코덱은 프레임 프로세싱이 사용되어야 하는지 또는 필드 프로세싱이 사용되어야 하는지를 정확하게 결정해야 하고, 인터레이싱된 자료에 필드 DCT 및 모션 예측을 적용하고 프로그레시브 자료에 프레임 프로세싱을 적용해야 한다. 그러나, 실제로는, 저-비용(및 이에 따라 저-품질) MPEG 인코더들은 특히 인터레이싱된 필름 자료를 포함하는 입력 소스들에 대해 항상 이와 같은 판정을 정확하게 행하지는 않는다. 하이 엔드 MPEG 인코더들에서도, 부정확한 판정이 빈번하다.
MPEG 인코더가 특정 매크로블록에 대해 프레임 모드를 사용할지 또는 플드 모드를 사용할지에 관해 잘못된 판정을 행하는 경우, 그 매크로블록 내에서 국소화되는 이미지 아티팩트들이 나타날 것이다. 이러한 아티팩트들은 특히 저 비트-레이트 코딩에서 보이게 된다. 도1 및 2는 이와 같은 아티팩트들의 일부 예들을 도시한다. 알 수 있는 바와 같이, 아티팩트들은 명백한 패턴: 하나의 픽셀 폭은 갖는 수평 라인들을 가지며, 이는 블록 또는 매크로블록(4개의 블록들) 내에서 국소화된다. 본 발명은 이러한 아티팩트들을 감소시키거나 적어도 이러한 아티팩트들의 감소를 가능하게 하는 수단을 제공하는 것을 목적으로 한다. 모션 예측에 대해서 잘못된 판정이 행해질 때, 동일하거나 유사한 아티팩트들이 발생한다.
도5는 본 발명의 제1 양상에 따른 방법을 도시한다. 도5는 또한 본 발명에 따른 리듀서를 개략적으로 도시한다. 입력 프레임의 블록들 또는 매크로블록들은 상기 방법의 단계 1에 대응하는 리듀서의 파트 1에서 분석된다. 이 제1 단계에서, 블록 또는 매크로블록 내의 인접한 라인들에서의 픽셀들 간의 차이가 결정된다. " 차이 값"은 인접한 라인들에서의 픽셀들 간의 루미넌스 및/또는 크로미넌스의 차이들을 표현하는 임의의 수인 것으로 광범위하게 해석되어야 한다. 이와 같은 차이 값들의 여러 예들이 본원에서 이하에 제공될 것이다. 상기 차이 값은 비교기(C)에서 임계값과 비교된다. 차이 값이 임계값을 충족시키는 경우, 저역 통과 필터에서 블록 또는 매크로블록에 대해 수직 방향의 저역 통과 필터링이 적용된다. 차이 값이 임계값을 충족시키지 않는 경우, 저역 통과 필터링이 적용되지 않는다. 차이 값의 결정 및 임계값과의 비교는 제브라-형 패턴의 존재의 검출과 등가이다. 저역 통과 필터링은 패턴이 검출되는 그러한 블록들에만 적용된다. 그러므로, 상기 방법은 디코딩된 신호에서 패턴이 검출되는 그러한 블록에 대해 저역 통과 필터링보다 선행하는 블록 방식 패턴 검출로 이루어진다. 검출된 데이터 스트림의 출력 프레임이 만들어진다. 이 출력 프레임은 예를 들어, 디스플레이 장치에 전송되거나 기록 매체 상에 기록된다.
도6은 본 발명의 실시예를 도시한다. 이 실시예에서, 선택 단계 3은 단계 1 패턴 검출 이전에 선택기(3)에서 수행된다. 상기 선택은 상이한 라인들을 따라 수행될 수 있다. 상기 선택은 저역-통과 필터링이 유용하지 않거나 덜 유용한 블록들을 식별함으로써 필요로 되는 계산력을 감소시키고 저역 통과 필터링의 부정적인 역효과를 감소시키는 것을 목적으로 한다.
실시예들의 제1 유형에서, 상기 선택은 인간의 눈이 이미지 내의 어떤 컬러들 및/또는 어떤 에어리어들에 더 민감하다는 통찰을 기반으로 한다. 인간이 눈이 비교적 민감하지 않고/않거나 주목되지 않는 블록들은 필요로 되는 계산들을 감소 시키기 위하여 다음 단계들로부터 면제된다. 예를 들어, 블록의 평균 컬러를 결정하기 위하여 블록에 컬러 결정이 적용될 수 있다. 피부 컬러들과 같은 어떤 컬러들에 대하여, 블록은 단계 1에 대한 입력이 되는 반면, 청색(하늘) 및 녹색(풀)과 같은 다른 컬러들에 대해, 블록은 단계 1에 대한 입력이 아니며, 단계들 1 및 2를 바이패스한다. 뷰어는 하늘 또는 초원에 주의를 기울이지 않는 경향이 있다. 뷰어는 또한 스크린의 중간 부분에 주의를 기울이는 경향이 있다. 그러므로, 스크린의 에지들에서의 아티팩트들은 중앙보다 덜 눈에 띈다. 그러므로, 기준은 이미지 내의 위치일 수 있다. 이미지의 흐릿한 부분들은 이미지의 뚜렷한 부분들보다 덜 주위를 이끌게 된다. 그러므로, 블록이 속하는 이미지의 부분이 선명도(sharpness)가 기준일 수 있다.
실시예들의 제2 양상에서, 데이터 스트림의 인코딩에 대한 정보가 존재한다. 선택 단게에서, 인코딩 파라미터들은 예를 들어, 아티팩트를 포함하는 블록을 식별하기 위하여, 인코딩된 데이터 스트림의 화상 헤더들을 분석하는 수단에 의해 검사된다.
이 실시예에서, 선택 단계 3 동안, 인코딩 파라미터들, 예를 들어, 비트스트림 헤더들의 특정 세트의 플래그들이 분석된다. 상술된 바와 같이, 아티팩트들은 프레임 화상에 대한 잘못된 프레임/필드 코딩 판정에 기인한다. 헤더들 내의 데이터는 인코더가 잘못될 판정을 행할 수 있는지 없는지의 여부를 표시한다. 헤더들 내의 데이터가 이와 같은 가능성이 없다는 것을 표시할 때, 다음 단계들을 취할 이유가 없는데, 그 이유는 다음 단계들이 계산력을 필요로 할 것이며, 임의의 이로운 효과가 예측됨이 없이 디테일들을 감소시킬 수 있기 때문이다. 데이터가 잘못된 프레임/필드 코딩 판정의 가능성을 표시할 때, 블록은 더 프로세싱된다. 이 실시예는 인코딩 정보가 이용 가능한 모든 그러한 경우들 및 장치들에 사용될 수 있다. 아티팩트들을 나타낼 수 있는 블록들을 표시하기 위하여 인코딩 파라미터들을 분석하는 것이 자체적으로 제1 양상과 독립적으로 사용될 수 있는 본 발명의 제2 양상을 형성한다는 것이 이하에 설명될 것이다.
실시예들의 제2 양상에서, 이웃하는 블록들과의 일관성 검사가 수행된다. 이 비교는 패턴 인식 단계 1 이전, 또는 패턴 인식 단계 1에서 행해질 수 있다. 검출기 실시예는 제브라-형 패턴들이 블록 내에서로 국한되는지 또는 이웃하는 블롯들로 지속되는지를 검사한다. 다수의 이웃하는 블록들에서 존재하고 또한 동일한 유형(예를 들어, 동일한 평균 그레이 값 및 그레이 값에서의 동일한 차이) 패턴들은실제 패턴, 예를 들어, 펜스의 이미지를 가리킬 수 있다. 이와 같은 블록들은 일관성 검사가 선택 단계 3으로서 수행되는 경우에 단계들 1 및 2로부터 면제되거나, 또는 일관성 단계가 패턴 인식 단계 1 내에서 수행되는 경우, 차이 값이 임계값을 충족시킨다는 사실에도 불구하고, 저역 통과 필터링(2)이 적용되지 않는다.
도7 및 8은 본 발명의 실시예를 도시한다.
도7은 블록 방식의 알고리즘을 도시한다. 도7은 2개의 파트, 점선들 내에서 에어리어 1로 표시된 패턴 검출, 및 점선들 내에서 에어리어 2로 표시된 아티팩트 감소를 포함한다. yes 카운트 값이 설정되므로, 차이 값, 즉 yes 카운트가 결정된다. 이는 임계값이 3*no 카운트인 경우에, 임계값과 비교된다. 차이 값, 즉, yes 카운트가 임계값을 충족시키는 경우, 즉, yes 카운트>3no 카운트인 경우, 저역 통과 필터링(2)이 적용되고, 그렇지 않은 경우, 저역 통과 필터링(2)이 적용되지 않는다.
초기에, DCT 블록 그리드의 위치 및 크기를 찾아내기 위하여 입력 프레임에 대해 블록 그리드 검출(BGD)이 실행된다. 그 후, 각각의 블록에 대해, 아티팩트의 존재 또는 부재가 검출된다. 이것은 슬라이딩 분석 윈도우(ANW) 내의 특정 공간 패턴을 검출함으로써 성취된다. 이 분석 윈도우(ANW)가 도8에 도시되어 있다. 분석 윈도우(ANW)를 슬라이딩하는 것에 의하여, 블록 내의 모든 픽셀들이 스캐닝 및 분석되는데, 이는 블록의 좌측 상부 코너로부터 시작하고 우측 하부 코너에서 종료된다. 도8에서 분석된 윈도우의 중앙은 픽셀 쌍(Y3 및 Y4)이다. 알고리즘은 픽셀들(Y3 및 Y4) 사이의 픽셀 값 델타의 차이가 아마도 물체 에지일 것 같은지 또는 가능한 아티팩트일 것 같은지를 결정한다. 이것은 아티팩트 패턴(블록 또는 매크로블록(4 블록들) 내에서 국소화되는 하나의 픽셀 폭을 갖는 수평 라인들)의 존재들을 검출함으로써 성취된다. 상기 차이가 아마도 아티팩트일 거 같다고 결정될 때, yes 카운트가 1씩 증가되고, 그 경우가 아니라고 결정되면, no 카운트가 1씩 증가된다. yes 카운트 및 no 카운트 둘 모두는 블록 또는 매크로블록을 스캐닝하는 초기에 제로로 설정된다. 따라서, yes 카운트는 차이 값을 결정하는 디터미네이터(determinator)의 출력이고, no 카운트는 임계값을 결정하는 디터미네이터의 출력이며, 이 예에서, 차이 값 및 임계값에 대한 디터미네이터는 공통의 요소들을 갖는다. 이 패턴 검출 기술은 예를 들어, 다음 방식으로 구현된다:
Figure 112008064436746-PCT00001
이것은 도7에 개략적으로 도시되어 있는 이 예에서 실행된 알고리즘이다.
실험들에서 T1은 25였고, T2는 5였다;
따라서, yes 카운트는 인접한 라인들 내의 얼마나 많은 픽셀 쌍들이 픽셀 데이터 차이 델타 =|Y3-Y4|를 나타내는지를 표현하는 차이 값이며, 이는 D24 등과 같은 다른 픽셀 값 차이들을 고려하면, 제브라-형 패턴이 존재할 수 있다는 것을 나타낸다. 그 후, 아티팩트의 존재의 가능도 또는 세기를 표현하는 차이 값 yes 카운트가 비교기(C)에서 임계값, 이 예에서, 3*no 카운트와 비교된다. 차이 값 yes 카운트가 임계값(3*no 카운트)를 충족시키는 경우, 저역 통과 필터링이 적용된다. 그렇지 않은 경우, 저역 통과 필터링은 적용되지 않는다.
상기 조건들이 패턴 검출 메커니즘의 특정 예들이라는 점이 주의된다. (실험적으로 발견된) 상기 조건들이 양호한 결과들을 제공한다는 것이 실험들을 통해 제시되었을지라도, 당업자는 유사한 결과들을 제공하는 상이한 조건들을 제안할 수 있다. 그러므로, 조건들 (1) -(3)의 특정한 설명은 매우 유용할지라도, 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 제안된 알고리즘의 패턴 검출 단계의 일반화된 사상은 이 블록 내에서 거의 동일한 기울기를 갖는 블록 내에서 국소화된 (인터레이싱된) 수평 라인들을 검출하는 것이다. 패턴 검출 단계는 값 결정 단계 및 비교 단계를 포함한다.
비디오 프로세싱 시스템 충분한 계산 및 메모리 자원들을 가지는 경우에, 에러 패턴 검출 메커니즘의 로버스트니스(robustness)는 크로미넌스 성분들 뿐만 아니라, 루미넌스 성분들에 상술된 방법을 적용함으로써 증가될 수 있다.
예시적인 알고리즘의 블록-방식에 따르면, 아티팩트 패턴이 현재 분석 윈도우(ANW)에서 검출되는 경우, 카운터 yes 카운트의 값이 1씩 증가되고, 그렇지 않은 경우, no 카운트가 증가된다. 그 후, 분석된 윈도우가 한 픽셀만큼 시프트되고, 새로운 쌍의 픽셀들에 패턴 검출 알고리즘이 적용된다. 블록 내의 모든 픽셀들이 스캐닝 및 분석될 때, yes 카운트 및 no 카운트의 축적된 값들을 비교함으로써 이 블록 내의 에러의 존재에 관한 판정이 행해진다. yes 카운트>k*no 카운트인 경우, 이 블록에서 아티팩트가 존재한다. 파라미터(k)는 검출의 로버스트니스를 조정한다. 본 발명의 실싱예에서, k=3이다.
현재 블록에서 아티팩트가 검출되는 경우, 알고리즘의 다음 단계인 아티팩트 의 제거가 단계 2에서 실행된다. 본 발명의 실시예에 따르면, 이 아티팩트 감소는 수직 방향(아티팩트의 수평 스트라이프들에 수직)의 간단한 저역-통과 필터링에 의하여 성취된다. 일반적으로, 저역-통과 필터링의 세기는 에러들의 크기(예를 들어, 수평 스트라이프들 간의 수직 기울기들의 수평 크기) 및 (스트라이프 내에서의) 수평 방향의 픽셀 값들의 균일도에 적응형으로 선택될 수 있다. 이 경우에, 세기 파라미터는 실험적으로 생성된 LUT를 사용하여 규정 또는 조정될 수 있다.
실험에서, 고정된 파라미터들을 갖는 비-적응형 필터링이 사용되었다:
Y3'=(Y2+Y3*3+Y4)/5;
Y4'=(Y3+Y4*3+Y5)/5;
본 발명의 예시적인 실시예의 효율은 한 세트의 실험들을 수행함으로써 평가되었다. 낮은 비트 레이트로 인코딩된 10개 이상의 테스트 시퀀스가 실험들에서 사용되었다. 알고리즘의 효율은 주관적으로 추정되었다.
도9는 제안된 알고리즘이 의한 프로세싱 전 및 후의 디코딩된 프레임의 예를 도시하며, 여기서 "전" 이미지는 상부에서 제공되고 "후" 이미지는 도9의 하부에서 제공된다. 실험들에서, 저역 통과 필터링의 적응 없이 알고리즘의 간소화된 버전이 사용되었다. 아티팩트의 매우 현저한 감소가 보인다.
제안된 예시적인 알고리즘은 아티팩트의 효율적으로 감소시키는 동시에, 물체 에지들을 보존한다. 분석 윈도우의 크기가 작기 때문에, 알고리즘의 하드웨어 구현에는 3개의 메모리 라인들만이 필요로 된다.
도10은 본 발명의 또 다른 실시예를 도시한다. 알고리즘은 이전 도면들에서 와 같이, 아티팩트 검출 단계 1 및 저역 통과 필터링에 의한 아티팩트 감소 단계 2를 포함한다.
검출 파트 1에서, 아티팩트들의 존재를 확인하고 그러한 아티팩트들이 보이는 매크로블록들을 선택하기 위하여 (이전 단계 3에서 검출된) 잠재적으로 영향을 받는 매크로블록들의 공간 분석이 수행된다.
제안된 알고리즘의 감소 파트 2 동안, 검출된 매크로블록들의 아티팩트들은 적응형 1D 공간 저역-통과 필터링에 의해 감소된다.
검출 파트는 인코딩 파라미터들이 이 유형의 아티팩트들을 잠재적으로 포함할 수 있는 블록들 또는 매크로블록들의 검출을 위해, 예를 들어, 인코딩된 비디오 비트스트림의 시퀀스 헤더들 및 화상 헤더들의 분석을 사용하여 분석되는 선택 단계 3 이후에 행해진다. 이와 같은 블록들이 부가적으로 분석된다. 시퀀스 헤더들 및 화상 헤더들의 분석을 통해 아티팩트들이 가능하지 않거나 적어도 거의 가능하지 않을 거 같다는 것이 나타내는 블록들은 부가적으로 분석되지 않고, 저역 통과 필터링되지 않는다.
본 발명의 바람직한 실시예의 선택 단계 3 동안, 비트스트림 헤더들의 특성 세트의 플래그들이 검사되는데, 이는 인코더가 프레임/필드 프로세싱의 적용에 관해 프레임 화상들에서 잘못된 판정을 행할 수 있는지를 나타낼 것이다. 이 선택 단계에서, 잠재적으로 영향을 받는 블록을 나타내기 위하여 인코딩 파라미터들이 분석된다.
예를 들어, 다음 인코딩 파라미터들이 검사된다:
o 시퀀스 확장자 헤더 내의 Progressive_sequence(PrSe) 플래그 - "1"로 설정될 때, 코딩된 비디오 시퀀스는 프로그레시브 프레임-화상들만을 포함한다. 이 플래그가 "0"으로 설정되는 경우, 코딩된 비디오 시퀀스는 프레임-화상들 및 필드-화상들 둘 모두를 포함할 수 있고, 프레임-화상은 프로그레시브 또는 인터레이싱된 프레임들일 수 있다.
o 화상 확장자 헤더 내의 Picture_structure(PiSt) 플래그. 이 플래그가 11로 설정되는 경우, 화상은 프레임_화상로서 인코딩되며, 01 또는 10으로 설정되는 경우, 화상은 필드_화상로서 인코딩된다.
o Frame_pred_frame_dct(fpfd) - 화상 확장자 헤더 내의 이 플래그가 "1"로 설정되는 경우, 프레임 내의 모든 매크로블록들에 대해 프레임 DCT 및 프레임 예측들만이 사용된다. 그렇지 않은 경우, 프레임 내에서 프레임 뿐만 아니라, 필드 DCT 및 예측들이 사용될 수 있다.
o 매크로블록 모드 헤더 내의 Frame_motion_type(fmt) 플래그 - 10으로 설정될 때, 매크로블록은 프레임 기반 예측을 사용한다. 상기 플래그가 01로 설정되는 경우, 매크로블록은 필드-기반 예측을 사용한다.
o Dct_type. 매크로블록 모드 헤더 내의 이 플래그는 매크로블록이 프레임 DCT 코딩되는지 또는 필드 DCT 코딩되는지의 여부를 표시한다. 이 플래그가 "1"로 설정되는 경우, 매크로블록은 필드 DCt 코딩된다.
플래그(fpfd)가 1로 설정되는 경우, 플래그들(fmt 및 dt)은 비트스트림으로부터 생략되고, 디폴트에 의하여 프레임-기반 DCT 및 예측들이 사용된다.
이상적으로는, DVD 레코더에 의한 영화 자료의 인코딩 동안, 플래그(fpfd)는 1로 설정되어야 하고, 그 후, 인코딩 동안 프레임-기반 프로세싱만이 적용될 것이므로, 상술된 바와 같이, 프레임/필드 에러들이 발생하지 않을 것이다. 불행히도, 항상 그렇지는 않고, 플래그(fpfd)가 매우 자주 "0"으로 설정되고 나서, 인코더가 저비용 소비자 DVD 레코더들 상에 기록된 홈-메이드 DVD(home-made DVD)들을 언급하지 않도록 하기 위하여, 전문적으로 마스터(master)된 DVD들에서도, 상황이 통지되었다는 것을 결정한다. 인코더가 특정 매크로블록에 대해 잘못된 판정을 행하는 경우, 시퀀스가 원래 프로그래시브로 디스플레이될 때 아티팩트들이 발생할 수 있다.
본 발명의 이러한 바람직한 실시예에서, 이와 같은 아티팩트들을 겪기 쉬운, 즉, 인코더들이 잘못된 판정을 행할 수 있는 매크로블록들이 부가적인 프로세싱을 위해 식별 및 선택된다. 매크로블록들은 상술된 헤더 플래그들이 다음 값을 취할 때 잠재적으로 영향을 받는다:
Figure 112008064436746-PCT00002
프로세스의 다음 단계에서, "잠재적으로 영향을 받는" 것으로 식별 및 선택된 블록들 또는 매크로블록들에 공간 분석이 적용된다. 이 분석은 이 예에서 블록 내에서의 수평 및 수직 방향들에서의 픽셀 쌍들의 평균 기울기들 사이의 비교에 의해 구현된다. 도8에 도시된 예에 대해, 8x8 블록에 대한 평균 수직 기울기는
Figure 112008064436746-PCT00003
이고, 평균 수평 기울기는
Figure 112008064436746-PCT00004
이다.
Gv>k*Gh인 경우 8x8 블록 내의 아티팩트가 보인다라고 가정하자.
통상적으로 k=2이다.
따라서, 이 예에서, 차이 값은 Gv이고 임계값은 k*Gh이다.
이것은 결코 가능한 비교가 아니다; 예를 들어, 평균 2-픽셀 기울기(Gv2)를 계산하고 이를 Gv와 비교할 수 있다.
Figure 112008064436746-PCT00005
그 후, 상기 비교는 Gv>k*Gv2이다. 따라서, 차이 값을 결정하는 디터미네이터는 Gv를 계산하는 계산기를 포함하고, 임계값을 결정하는 디터미네이터는 Gh 또는 Gv2를 계산하는 계산기를 포함하며, 비교기는 Gv를 k*Gh 또는 k*Gv2와 비교한 다.
알고리즘의 아티팩트 감소 동안, 1D 적응형 저역 통과 필터가 단계 3에서 선택된 블록들로부터의 모든 픽셀들에 적용되고, 단계 1에서 설정된 조건(Gv>kGh) 아래로 떨어진다. 저역 통과 필터는 수직 방향에서 픽셀들을 스무딩시킨다. 이 예에서, 필터의 세기는 이 블록에서의 평균 수평 기울기(Gh)의 값에 따르며:
Figure 112008064436746-PCT00006
여기서 yi ,j는 필터링된 출력 픽셀이고, f(Gh/k)는 Gh가 증가함에 따라 증가하고 k가 증가함에 따라 감소하는 함수를 나타낸다. f(Gh/k)=2일 때, 상기 식은 이전에 제공된 간단한 비-적응형 필터와 비교 가능하다. 이 예는 저역 통과 필터링의 세기가 블록 내에서 비교된 데이터, 이 예에서는 Gh의 값에 따르는 본 발명의 바람직한 실시예를 예시한다. Gh가 커지면, 팩터(f(Gh/k))가 커지며, 스무딩 효과 및 이로 인한 저역 통과 필터링이 약해진다. 따라서, 이 예에서, 리듀서는 블록 내에 포함된 데이터에 따른 저역 통과 필터의 세기를 결정하기 위한 부가적인 디터미네이터를 포함한다. 부가적인 디터미네이터는 Gh의 디터미네이터 및 Gh의 함수로서 필터의 세기를 표현하는 알고리즘으로 구성된다.
본 특허의 범위는 저역 통과 필터링의 임의의 특정 방법에 의해 국한되지 않는다. 당업자는 아티팩트의 가시성 및/또는 로컬 공간 활동에 적응 가능한 다른 저역 통과 필터를 제안할 수 있다.
상기 방법이 전체 이미지 또는 이미지의 부분에 적용될 수 있다는 점이 주의된다. 실시예들 내에서, 본 발명의 알고리즘의 여러 버전들이 스크린의 상이한 부분들에 적용될 수 있다. 예를 들어, 높은 파워 버전(power viesion)이 스크린의 중앙 부분에 적용될 수 있는 반면, 더 간단한 버전이 스크린의 덜 중요한 부분에 적용될 수 있다.
단계 3과 관련하여 상술된 인코딩 파라미터들을 분석하는 방법이 아티팩트 감소 방법에서의 제1 단계로서 도10과 관련하여 상술된다. 아티팩트 감소 방법은 잘못된 프레임/필드 코딩이 초래하는 문제들에 대한 교정법으로 간주될 수 있다.
잠재적으로 영향을 받는 블록들을 표시하기 위하여 인코딩 파라미터들을 분석하는 방법은 개별적이고 독립적으로 사용될 수 있고, 그 자체로 본 발명의 양상이다. 본 발명의 프레임워크 내에서, "식별" 및 "표시"는 등가이며, 용어 "표시" 하에서 커버된다. 표시는 잠재적으로 영향을 받는 이러한 블록들이 잠재적으로 영향을 받지 않는 블록들과 구별되도록 한다. 상기 분석 방법은 아티팩트에 의해 잠재적으로 영향을 받는 그러한 블록들을 찾아내기 위하여 진단 툴을 형성한다. 따라서, 아티팩트 감소 방법 및 인코딩 파라미터들을 분석하는 상기 방법은 동일한 문제에 관한 것이며, 동일한 통찰을 기반으로 한다. 아티팩트 감소 방법이 상기 문제의 감소를 제공하는 반면, 상기 분석 방법은 잠재적으로 영향을 받는 블록들의 식별을 제공한다. 상기 2개의 방법들은 개별적으로 또는 조합하여 사용될 수 있다. 본 발명의 이러한 2개의 양상들에 관한 청구항들의 범위가 상이할지라도, 2개의 양상들 모두는 동일한 통찰을 기반으로 하며, 동일한 문제에 관한 것이며, 둘 모두가 신규하고 진보성이 있다. 도11은 인코딩 파라미터들이 식별되는 아티팩트 감소 방법을 도시한다. 도10 및 11에 개략적으로 도시된 방법들 간의 차는 단계 1(차이 값의 계산 및 임계값과의 비교)이 도11에 존재하지 않는다는 것이다. 인코딩 파라미터들을 분석함으로써, 잠재적으로 영향을 받는 블록들이 표시된다. 아티팩트에 의해 영향을 받지 않는 블록들은 저역 통과 필터링을 겪지 않는다. 영향을 받을 수 있는 블록들이 저역 통과 필터링을 겪는다. 저역 통과 필터링은 디테일에서 잠재성 감소(potential reduction)의 결점을 갖는다. 따라서, 인코딩 파라미터들의 임의의 정보 없이, 그리고 아티팩트의 존재를 검사함이 없이 디코딩된 데이터 스트림의 모든 블록들을 무차별적으로 저역 통과 필터링하는 것은 아마도 양호하기보다는 해로울 것이다. 그러므로, 도5의 방법에서, 아티팩트 검출 단계 1이 존재한다. 그러나, 잠재적으로 영향을 받는 이러한 블록들이 표시되는 경우, 저역 통과 필터링이 선택적으로, 즉 아티팩트들에 의해 잠재적으로 영향을 받는 그러한 블록들에만 적용될 수 있으므로, 손해의 량이 상당히 감소된다. 이것은 모든 잠재적으로 영향을 받는 블록들이 차이 값을 결정하고 상기 차이 값을 임계값과 비교하는 이전 단계 없이 저역 통과 필터링되는 방법이 간소화되도록 할 것이다. 이와 같은 간소화된 방법이 도11에 개략적으로 도시되어 있다. 도11의 간소화된 방법이 단계 1의 부재로 인해 도5에 도시된 바와 같은 방법보다 다소 더 비효율적일 수 있을지라도, 상기 간소화된 방법은 아무것도 하지 않는 것 또는 모든 블록들을 무차별적으로 저역 통과 필터링하는 것보다 더 양호할 것이다.
도12는 인코딩 파라미터들을 분석하는 방법을 개략적으로 도시한다. 인코딩 파라미터들은 분석기(AN)에서 분석된다. 코딩 파라미터들이 아티팩트들의 잠재성을 표시하는 경우, 표시자(I)는 아티팩트의 발생이 가능하다는 것을 표시하는 인코딩 파라미터들의 조합이 발견되는 블록 또는 매크로블록, 즉 잘못된 프레임/필드 인코딩이 수행될 수 있는 가능성을 표시하는 표시자와 관련된다. 그 후, 이와 같은 블록들은 차이 값의 선행 결정을 갖거나 가지지 않는 아티팩트 감소 방법을 겪게 될 수 있다. "~과 관련된"은 이미지 데이터 스트림들 및 표시자들 사이에 링크가 존재하는 것으로 본 발명의 개념 내에서 이해되어야 한다. 표시자들(I)은 예를 들어, 헤더들 또는 플래그들로서 데이터 스트림 내에 삽입될 수 있다. 이와 같은 실시예들에서, 표시자들(I)은 이미지 데이터 스트림 내에 포함된다. 따라서, 새로운 프로덕트(product), 즉 이미지 데이터 스트림 또는 이미지 데이터 스트림을 포함하는 신호를 제공하며, 상기 신호는 블록들 또는 블록들의 그룹들에 대해 잘못된 프레임/필드 인코딩의 가능성을 표시하는 표시자들(I)을 포함한다. 표시자들(I)은 또한 이미지 데이터 스트림과 분리되지만 상기 이미지 데이터 스트림에 링크 가능한 데이터 스트림 내에 포함될 수 있다. 이것은 예를 들어, 가능한 영향을 받는 블록들 또는 블록들의 그룹들의 리스트가 제공되는 실제 데이터 스트림 이전 또는 이후의 짧은 신호일 수 있다. 이미지 데이터 스트림에 대한 이와 같은 신호는 또한 신규한 프로덕트를 제공한다. 아티팩트 감소 방법은 상술된 바와 같고 청구된 바와 같은 아티팩트 감소 방법일 수 있다. 그러나, 이것은 분석 방법에 대해서도 필수적이지는 않다. 분석 방법은 예를 들어, 인코더들의 레이트 성능(rate performance)들에 대한 진단 툴로서 사용될 수 있다. 잠재적인 문제가 되는 블록들이 많을수록, 인코 더는 더 많은 아티팩트들을 생성할 것이다. 따라서, 분석 방법은 인코더들의 성능들을 개선시키는 툴로서 사용될 수 있다. 이와 같은 진단 툴은 이 순간에 존재하지 않는다. 분석 방법은 또한 잠재적으로 영향을 받는 블록들을 식별하고 이러한 블록들을 재-인코딩 또는 교체하거나, 잠재적으로 영향을 받는 블록들 또는 매크로블록들이 식별되는 이미지 데이터 스트림을 발생시키기 위하여 인코더 또는 트랜스코더에서 사용될 수 있다.
도13은 본 발명에 따른 디스플레이 장치의 예를 도시한다. 디스플레이 장치는 이 예에서, 파트 1(아티팩트 검출), 2(저역 통과 필터링) 및 3(선택)을 포함하는 리듀서를 포함한다. 디스플레이 장치는 이미지 데이터 스트림 신호를 포함하는 입력 신호(5)를 수신하는 수신기(4)를 포함한다. 입력 신호는 이미 디코딩된 이미지 데이터 스트림(5) 및 인코딩된 이미지 데이터 스트림(5')을 포함할 수 있다. 상기 신호는 입력(6)에 이르게 된다. 인코딩된 신호(5')가 수신되는 경우, 디스플레이 장치는 들어오는 인코딩된 신호를 디코딩하는 디코더(7)를 포함한다. 디스플레이 장치가 들어오는 인코딩된 신호를 디코딩하는 디코더(7)를 포함하는 경우, 인코딩 파라미터들이 비교 파트(3)에 전송될 수 있다. 디코딩 동안, 잠재적으로 영향을 받는 블록들에는 플래그들이 제공되어, 이와 같은 블록들이 선택 단계(3)에서 식별될 수 있다. 출력은 디스플레이 스크린(8) 상에 디스플레이된다. 본 발명에 따른 디스플레이 장치는 TV 장치들, 모니터들, PDA, 이동 전화들을 포함하지만, 이에 국한되지 않는, 이미지를 디스플레이하는 임의의 장치일 수 있다.
요약하면, 본 발명은 다음에 의해 설명될 수 있다:
이미지 아티팩트들의 지금까지 인지되지 않은 원인이 식별되었다. MPEG 인코더들과 같은 인코더들은 2개의 화상 구조들: 필드 화상들 및 프레임 화상들을 사용할 수 있다. 프레임 화상의 경우에, 프레임 및 필드 둘 모두를 기반으로 한 DCT(및 다른 유형들)의 코딩이 사용될 수 있다. 프레임 기반 코딩을 사용할지 또는 필드 기반 코딩을 사용할지에 대한 판정이 항상 정확하게 행해지지는 않는다. 디코딩 이미지에서, 이것은 스트립된 블록들로서 보이는 이미지 아티팩트를 초래한다. 본 발명은 본 발명의 일 양상에서, 이와 같은 아티팩트들의 존재 시에 블록 콘텐트를 분석하고 이와 같은 아티팩트들이 존재한다는 것이 분석을 통해 입증되는 경우, 블록 내의 데이터에 수직 저역 통과 필터를 적용함으로써 이러한 아티팩트들을 감소시킨다. 본 발명의 또 다른 양상에서, 아티팩트가 발생할 수 있고 이와 같은 블록들이 표시되는 인코딩 파라미터들의 조합에 대해 인코딩 파라미터들이 검사된다. 본 발명은 방법 뿐만 아니라, 수신기, 인코더, 디코더, 디스플레이 장치, 등과 같은 장치로 구현될 수 있다.
본 발명은 또한 본 발명에 따른 방법 또는 장치용의 임의의 컴퓨터 프로그램 제품으로 구현된다. 프로세서 내로 명령들을 행하고, 발명의 특징적인 기능들 중 어느 하나를 실행하기 위하여 (중간 언어, 및 최종 프로세서 언어로의 변환과 같은 중간 변환 단계들을 포함할 수 있는) 일련의 로딩 단계들 이후에, 프로세서 - 일반 또는 특수 목적을 가능하게 하는 명령들의 집합의 임의의 물리적인 실현이 컴퓨터 프로그램 제품 하에서 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예를 들어, 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 존재하는 데이터, 네트 워크 접속-유선 또는 무선을 통하여 이동하는 데이터, 종이 상의 프로그램 코드로서 실현될 수 있다. 프로그램 코드와 별도로, 프로그램에 필요로 되는 특징적인 데이터가 또한 컴퓨터 프로그램 제품으로서 구현될 수 있다.
상기 방법의 동작에 필요로 되는 단계들 중 일부는 데이터 입력 및 출력 단계들과 같이 컴퓨터 프로그램 제품에서 설명되는 대신, 프로세서의 기능이 이미 존재할 수 있다.
본 명세서에서 개시된 알고리즘 구성요소들은 실제로 (전적으로 또는 부분적으로) 하드웨어(예를 들어, 주문형 반도체의 파트들) 또는 특수 디지털 신호 프로세서, 또는 일반 프로세서, 등 상에서 실행되는 소프트웨어로서 실현될 수 있다.
본 발명의 개념 내에서, '비교기', '디터미네이터', '리듀서', '저역 통과 필터' 등은 광범위하게 이해되어야 하고, 이하에 제공된 예시적인 실시예들에 국한됨이 없이, 예를 들어, 상술된 바와 같은 비교, 결정, 감소, 저역 통과 필터링 등의 기능을 수행하도록 설계된 임의의 피스(piece)의 하드웨어, 임의의 회로 또는 서브-회로 뿐만 아니라, 본 발명의 임의의 양상에 따른 비교, 결정, 감소, 저역 통과 필터링, 등의 동작을 수행하도록 설계 또는 프로그래밍된 임의의 피스의 소프트웨어(컴퓨터 프로그램 또는 서브 프로그램 또는 컴퓨터 프로그램들의 세트, 또는 프로그램 코드(들)) 뿐만 아니라, 이와 같이 동작하는 하드웨어 및 소프트웨어의 피스들(단독 또는 조합)의 임의의 조합을 포함하여야 한다. 하나의 프로그램 또는 알고리즘은 여러 기능들을 결합할 수 있고, 여러 기능들은 하나 이상의 프로그램들의 공통 요소들을 공유할 수 있다.
상술된 실시예들이 본 발명을 제한하기보다는 오히려, 설명하며, 당업자들이 첨부된 청구항들의 범위를 벗어남이 없이 많은 대안적인 실시예들을 설계할 수 있을 것이라는 점이 주의되어야 한다.
청구항들에서, 괄호들 사이에 배치된 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되지 않아야 한다.
단어 "포함하는"은 청구항에서 목록화된 것들 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 여러 상이한 요소들을 포함하는 하드웨어, 및 적절하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 열거하는 장치 청구항에서, 이러한 수단들 중 여러 개는 하드웨어의 하나의 동일한 항목에 의해 구현될 수 있다. 본 발명은 상술된 바와 같이 여러 상이한 바람직한 실시예들의 특징들의 임의의 조합에 의해 구현될 수 있다.

Claims (24)

  1. 압축 아티팩트들(compression artefacts)이 감소되는 압축된 이미지 데이터 스트림을 프로세싱하는 방법에 있어서:
    디코딩된 이미지 블록 또는 디코딩된 이미지 블록들의 그룹에 대하여, 인접한 라인들 간의 수직 방향에서의 픽셀 데이터의 차이들로부터 적어도 하나의 차이 값(yes 카운트(Gv))이 결정되고(1), 상기 차이 값이 임계값(k*no 카운트(k*Gh))과 비교되며, 상기 차이 값이 상기 임계값을 충족시키는 경우에, 상기 디코딩된 이미지 블록 또는 블록들에 수직 방향의 저역 통과 필터링(2)이 적용되는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  2. 제1항에 있어서, 상기 임계값은 고정된 값인 압축된, 이미지 데이터 스트림 프로세싱 방법.
  3. 제1항에 있어서, 상기 임계값(k*no 카운트(k*Gh))은 상기 블록 내에 포함된 데이터에 의존하는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  4. 제1항에 있어서, 상기 저역 통과 필터링의 세기는 상기 블록 내에 포함된 데이터에 의존하는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 차이 값의 결정은 상기 차이 값 결정(1) 및 저역 통과 필터링(2)이 수행되어야 하는 블록들을 선택하는 선택 단계(3) 이후에 행해지는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  6. 제5항에 있어서, 상기 선택은 상기 블록의 평균 루미넌스 또는 평균 컬러 콘텐트를 기반으로 하여 수행되는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  7. 제5항에 있어서, 상기 선택은 이웃하는 블록들과 함께 수행된 일관성 검사를 포함하는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  8. 제5항에 있어서, 상기 선택 단계는 상기 블록들의 인코딩 파라미터들이 분석되는 단계를 포함하는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  9. 제8항에 있어서, 비트스트림 헤더들(PrSe, PiSt, fpfd, fmt, dt)이 분석되는, 압축된 이미지 데이터 스트림 프로세싱 방법.
  10. 이미지 아티팩트들을 감소시키는 리듀서(reducer)에 있어서:
    디코딩된 이미지 블록 또는 디코딩된 이미지 블록들의 그룹에 대하여, 인접한 라인들 간의 수직 방향에서의 픽셀 데이터의 차이들로부터 적어도 하나의 차이 값(Yes 카운트(Gv))을 결정하는 디터미네이터(determinator), 상기 적어도 하나의 차이 값을 임계값(k*no 카운터(k*Gh))과 비교하는 비교기(C), 및 상기 차이 값이 상기 임계값을 충족시키는 경우에 상기 디코딩된 이미지 블록 또는 블록들에 수직 방향의 저역 통과 필터링(2)을 적용하는 저역 통과 필터를 포함하는, 리듀서.
  11. 제10항에 있어서, 상기 리듀서는 상기 블록 내에 포함된 데이터로부터 상기 임계값(k*no 카운터(k*Gh))을 결정하는 부가적인 디터미네이터를 포함하는, 리듀서.
  12. 제10항 또는 제11항에 있어서, 상기 리듀서는 상기 블록 내에 포함된 데이터(Gh)에 의존하여 저역 통과 필터링의 세기를 결정하는 부가적인 디터미네이터를 포함하는, 리듀서.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 리듀서는 인코딩 파라미터들(PrSe, PiSt, fpfd, fmt, dt)을 분석하는 분석기를 포함하는, 리듀서.
  14. 제10항 내지 제13항 중 어느 한 항에 따른 리듀서를 포함하는, 이미지를 디스플레이하기 위하여 압축된 이미지 데이터 스트림을 수신하는 수신기(4).
  15. 디스플레이 스크린(8) 상에 이미지를 디스플레이하기 위해 압축된 이미지 데이터 스트림(5, 5')을 수신하는 수신기(4) 및 제10항 내지 제13항 중 어느 한 항에 따른 리듀서를 포함하는, 디스플레이 장치.
  16. 제10항 내지 제13항 중 어느 한 항에 따른 리듀서를 포함하는 압축된 이미지 데이터 스트림을 트랜스코딩(transcoding)하는, 트랜스코더.
  17. 인코딩된 이미지 데이터 스트림의 인코딩 파라미터를 분석하는 방법에 있어서:
    상기 인코더가 프레임 또는 필드 인코딩을 수행할 수 있는 프레임 화상(frame picture) 내의 블록들 또는 매크로블록들이 표시되는, 인코딩된 이미지 데이터 스트림의 인코딩 파라미터 분석 방법.
  18. 제17항에 있어서, 상기 인코딩된 비디오 비트스트림의 시퀀스 헤더들 및 화상 헤더들(PrSe, PiSt, fpfd, fmt, dt)이 분석되는, 인코딩된 이미지 데이터 스트림의 인코딩 파라미터 분석 방법.
  19. 제17항 또는 제18항에 있어서, 상기 방법은 상기 이미지 데이터 스트림 내 또는 상기 이미지 데이터 스트림에 대해 표시자들(I)의 발생을 포함하는, 인코딩된 이미지 데이터 스트림의 인코딩 파라미터 분석 방법.
  20. 인코딩된 이미지 데이터 스트림의 인코딩 파라미터들을 분석하는 분석기(AN) 에 있어서:
    인코더가 프레임 또는 필드 인코딩을 수행할 수 있는 프레임 화상 내의 블록들 또는 매크로블록들을 표시하는 수단을 포함하는, 인코딩된 이미지 데이터 스트림의 인코딩 파라미터들을 분석하는 분석기.
  21. 컴퓨터 상에서 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법에 대해, 압축된 데이터 스트림을 프로세싱하기 위한 명령들을 포함하는, 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 있어서:
    상기 컴퓨터 장치는 프로세싱 수단을 포함하고, 상기 프로세싱 수단은:
    - 디코딩된 이미지 블록 또는 디코딩된 이미지 블록들의 그룹에 대하여, 인접한 라인들 간의 수직 방향에서의 픽셀 데이터의 차이들로부터 적어도 하나의 차이 값(yes 카운트(Gv))을 결정하는 디터미네이터,
    - 상기 차이 값을 임계값(k*no 카운터(k*Gh))과 비교하는 비교기(C), 및
    - 상기 차이 값이 상기 임계값을 충족시킬 때 상기 디코딩된 이미지 블록 또는 이미지 블록들의 그룹을 수직 방향으로 저역 통과 필터링(2)하는 수단을 포함하는, 컴퓨터 프로그램 제품.
  22. 컴퓨터 상에서 실행될 때, 제17항 내지 제19항 중 어느 한 항에 따른 방법에 대해, 압축된 데이터 스트림을 프로세싱하기 위한 명령들을 포함하는, 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 있어서:
    상기 컴퓨터 장치는 프로세싱 수단을 포함하고, 상기 프로세싱 수단은 인코딩된 이미지 데이터 스트림의 인코딩 파라미터들을 분석하는 분석기를 포함하며, 인코더가 프레임 또는 필드 인코딩을 수행할 수 있는 프레임 화상 내의 블록들 또는 매크로블록들이 표시되는, 컴퓨터 프로그램 제품.
  23. 이미지 데이터 스트림을 포함하는 신호에 있어서, 상기 신호가 블록들 또는 블록들의 그룹들에 대하여 잘못된 프레임/필드 인코딩의 가능성을 표시하는 표시자들(I)을 포함하는, 이미지 데이터 스트림을 포함하는 신호.
  24. 이미지 데이터 스트림에 대한 신호에 있어서, 상기 신호가 블록들 또는 블록들의 그룹들에 대하여 잘못된 프레임/필드 인코딩의 가능성을 표시하는 표시자들(I)을 포함하는, 이미지 데이터 스트림에 대한 신호.
KR1020087022219A 2006-02-15 2007-02-09 디스플레이된 이미지들에서의 압축 아티팩트들의 감소, 인코딩 파라미터들의 분석 KR20080106246A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06101694.5 2006-02-15
EP06101694 2006-02-15

Publications (1)

Publication Number Publication Date
KR20080106246A true KR20080106246A (ko) 2008-12-04

Family

ID=38268954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087022219A KR20080106246A (ko) 2006-02-15 2007-02-09 디스플레이된 이미지들에서의 압축 아티팩트들의 감소, 인코딩 파라미터들의 분석

Country Status (8)

Country Link
US (1) US20090022416A1 (ko)
EP (1) EP1987492A2 (ko)
JP (1) JP2009527175A (ko)
KR (1) KR20080106246A (ko)
CN (1) CN101385046A (ko)
BR (1) BRPI0707778A2 (ko)
RU (1) RU2008136835A (ko)
WO (1) WO2007093942A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010028107A1 (en) * 2008-09-07 2010-03-11 Dolby Laboratories Licensing Corporation Conversion of interleaved data sets, including chroma correction and/or correction of checkerboard interleaved formatted 3d images
JP5470819B2 (ja) * 2008-11-28 2014-04-16 富士通株式会社 空間データの出力処理方法、そのプログラム及びデータ処理システム
US20100135417A1 (en) * 2008-12-02 2010-06-03 Asaf Hargil Processing of video data in resource contrained devices
US9055278B2 (en) 2009-01-07 2015-06-09 Dolby Laboratories Licensing Corporation Conversion, correction, and other operations related to multiplexed data sets
TWI401963B (zh) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
US8462197B2 (en) * 2009-12-17 2013-06-11 Motorola Mobility Llc 3D video transforming device
EP2569942A1 (en) * 2010-05-11 2013-03-20 Telefonaktiebolaget LM Ericsson (publ) Video signal compression coding
CN102300044B (zh) * 2010-06-22 2013-05-08 原相科技股份有限公司 处理图像的方法与图像处理模块
JP5567413B2 (ja) * 2010-06-29 2014-08-06 国立大学法人電気通信大学 輪郭抽出システム、復号化装置及び輪郭抽出プログラム
US20130022288A1 (en) * 2011-07-20 2013-01-24 Sony Corporation Image processing apparatus and method for reducing edge-induced artefacts
CN104766351B (zh) * 2015-04-24 2018-06-01 惠仁望都医疗设备科技有限公司 一种mri超范围编码成像方法
JP2019524007A (ja) * 2016-06-15 2019-08-29 アベネセル インコーポレーテッド 動画圧縮方法及び装置、並びにこれに対するコンピュータプログラム
US11334979B2 (en) * 2020-05-08 2022-05-17 Istreamplanet Co., Llc System and method to detect macroblocking in images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001560A (en) * 1987-01-07 1991-03-19 Pictel Corporation Method and apparatus employing adaptive filtering for efficiently communicating image sequences
US5005419A (en) * 1988-06-16 1991-04-09 General Electric Company Method and apparatus for coherent imaging system
US5280343A (en) * 1992-01-21 1994-01-18 Eastman Kodak Company Separable subsampling of digital image data with general periodic symmetry
KR940005118A (ko) * 1992-08-13 1994-03-16 에프. 제이. 스미트 레터박스 텔레비젼 시스템
US5870502A (en) * 1996-04-08 1999-02-09 The Trustees Of Columbia University In The City Of New York System and method for a multiresolution transform of digital image information
US6608867B2 (en) * 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
US6909750B2 (en) * 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
US20030043916A1 (en) * 2001-09-05 2003-03-06 Koninklijke Philips Electronics N.V. Signal adaptive spatial scaling for interlaced video
US7602849B2 (en) * 2003-11-17 2009-10-13 Lsi Corporation Adaptive reference picture selection based on inter-picture motion measurement
US7483577B2 (en) * 2004-03-02 2009-01-27 Mitsubishi Electric Research Laboratories, Inc. System and method for joint de-interlacing and down-sampling using adaptive frame and field filtering

Also Published As

Publication number Publication date
WO2007093942A3 (en) 2008-04-10
EP1987492A2 (en) 2008-11-05
US20090022416A1 (en) 2009-01-22
JP2009527175A (ja) 2009-07-23
RU2008136835A (ru) 2010-03-20
BRPI0707778A2 (pt) 2011-05-10
CN101385046A (zh) 2009-03-11
WO2007093942A2 (en) 2007-08-23

Similar Documents

Publication Publication Date Title
KR20080106246A (ko) 디스플레이된 이미지들에서의 압축 아티팩트들의 감소, 인코딩 파라미터들의 분석
US6061400A (en) Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6148033A (en) Methods and apparatus for improving picture quality in reduced resolution video decoders
US6668018B2 (en) Methods and apparatus for representing different portions of an image at different resolutions
JP5662023B2 (ja) ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置
US6845180B2 (en) Predicting ringing artifacts in digital images
US7957467B2 (en) Content-adaptive block artifact removal in spatial domain
US8315475B2 (en) Method and apparatus for detecting image blocking artifacts
US20130148744A1 (en) Block Error Compensating Apparatus Of Image Frame And Method Thereof
US20100027905A1 (en) System and method for image and video encoding artifacts reduction and quality improvement
US9706209B2 (en) System and method for adaptively compensating distortion caused by video compression
US9693078B2 (en) Methods and systems for detecting block errors in a video
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
US20130195206A1 (en) Video coding using eye tracking maps
EP1777967B1 (en) Filtering apparatus, method, and medium for multi-format codec
US8144247B2 (en) Detection and interpolation of still objects in a video sequence
US20040146113A1 (en) Error concealment method and device
EP3780602A1 (en) Image processing device and image processing method
JP2007501561A (ja) ブロックアーティファクトの検出
US20050196066A1 (en) Method and apparatus for removing blocking artifacts of video picture via loop filtering using perceptual thresholds
Kirenko Reduction of coding artifacts using chrominance and luminance spatial analysis
US20120133836A1 (en) Frame level quantization estimation
US20090123079A1 (en) Reduction of compression artefacts in displayed images
JP4500112B2 (ja) 画像特徴量検出装置、画質改善装置、表示装置および受信機
Wong et al. Practical content-adaptive subsampling for image and video compression

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid