KR20020076166A - 데이터의 후-처리 및 디코딩을 공동으로 구현하는 장치 - Google Patents

데이터의 후-처리 및 디코딩을 공동으로 구현하는 장치 Download PDF

Info

Publication number
KR20020076166A
KR20020076166A KR1020020016382A KR20020016382A KR20020076166A KR 20020076166 A KR20020076166 A KR 20020076166A KR 1020020016382 A KR1020020016382 A KR 1020020016382A KR 20020016382 A KR20020016382 A KR 20020016382A KR 20020076166 A KR20020076166 A KR 20020076166A
Authority
KR
South Korea
Prior art keywords
processing
blocks
post
data
block
Prior art date
Application number
KR1020020016382A
Other languages
English (en)
Inventor
미로소롤라카롤리나
게스노아나우드
카비데스조지이.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020076166A publication Critical patent/KR20020076166A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 블록-기반 코딩 기술에 따라 코딩된 디지털 이미지들(ES)의 시퀀스에 포함된 코딩된 데이터의 블록들을 처리하기 위한 장치에 관한 것으로, 상기 장치는 후-처리 회로 DFD(33)를 포함한다. 이런 장치는, 사용된 대역폭을 최소화하는 동안, 블로킹 아티팩트들(blocking artifacts)을 정정하고, 디코더는 디코딩된 데이터 블록들(B)을 후-처리 회로에 직접 송신한다. 부가하여, 이런 장치는 디코더가 동작 보상 단계(motion compensation step) 동안 참조 이미지들(reference images; RB)을 계속 사용하기 때문에 디코딩 동안 전혀 또는 거의 드리프트(drift)를 도입하지 않는다. 이는 참조 이미지들이 더 이상 디코딩 이미지들이 아니기 때문에 후-처리 회로로서 완전히 처리된 이미지들이 디코딩 루프에 놓인다.

Description

데이터의 후-처리 및 디코딩을 공동으로 구현하는 장치{Device jointly implementing a post-processing and a decoding of data}
본 발명은 블록-기반 코딩 기술에 따라 코딩된 디지털 이미지들의 시퀀스에 포함된 코딩된 데이터 블록들을 처리하기 위한 방법 및 장치에 관한 것이다.
그것은 블록-기반 코딩 기술, 예를 들면, MPEG(Moving Pictures Expert Group) 표준에 따라 먼저 코딩되고 이어서 디코딩된 디지털 이미지의 시퀀스에 나타나는 블로킹의 정정에서 그 응용을 찾는다. 이 정정은 블록-기반 코딩 기술에 의해 야기된 아티팩트들(artifacts)의 가시성(visibility)을 감쇠한다.
"Proceedings of 3rdIEEE International Conference on Image Processing, Vol 2, Lausanne, Switzerland, 16-19 Sept 1996, p.53-56"에서 훈 백(Hoon Paek) 및 상욱 리(Sang-Uk Lee)에 의해 발표된 "A projection-based post-processing technique to reduce blocking artifacts using a priori information on DCT coefficients of adjacent blocks" 제하의 논문은 디지털 이미지에 포함된 데이터를 처리하는 발명을 설명한다.
이런 데이터 처리 방법은 도 1에 도시된 다음의 단계들,
- 사용된 예에서 N = 8을 갖는 N 픽셀들의 제 1 세그먼트(u)의 제 1 이산 코사인 변환(discrete cosine transformation) DCT1(11)을 계산하여, 제 1 변환된 세그먼트 U를 초래하는 단계,
- N 픽셀들의 제 2 세그먼트(v)의 제 1 이산 코사인 변환 DCT2(12)를 계산하여, 제 2 세그먼트는 제 1 세그먼트에 인접하고, 제 2 변환된 세그먼트 V를 초래하는 단계,
- kpred = 2.max(ku,kv) + 2
with ku = max(k∈{0,...,N-1} / U(k) ≠ 0),
kv = max(k∈{0,...,N-1} / V(k) ≠ 0) 및
max은 주어진 값들의 세트 중 k의 최대값을 제공하는 함수와 같이, 최대 빈도들(maximum frequencies)U 및 V의 ku 및 kv의 함수로서 예측된 최대 빈도(kpred)를 결정하는 단계(13),
- 2N 픽셀들, 즉, 이 경우 16개의 픽셀들을 포함하는 연쇄된 세그먼트(w)를 처리하고, 제 1(u) 및 제 2(v) 세그먼트들의 연쇄(14)에 대응하는 단계(15)로서, 상기 처리 단계는,
- 연쇄된 세그먼트(concatenated segment; w)의 제 2 이산 코사인 변환 DCT2(16)를 계산하여, 변환된 연쇄된 세그먼트 W를 초래하는 단계,
- 0으로 설정함으로써, 빈도 k가 홀수이고 예측된 최대 빈도(kpred)보다 큰 변환된 데이터 W(k)를 정정하여, 정정되고 변환되고 연쇄된 세그먼트 Wc를공급하는 단계(17),
- 정정되고 변환된 세그먼트 Wc의 역 이산 변환 IDCT2(18)를 계산하여, 정정되고 연쇄된 세그먼트(cw)를 공급하는 단계를 포함하는 서브 단계들을 포함하는, 상기 처리 단계(15)를 포함한다.
도 1은 종래 기술에 대응하는 블로킹 아티팩트 정정 방법(blocking artifact correction method)을 도시하는 도면.
도 2는 종래 기술에 규정된 블로킹 아티팩트 정정 방법을 직접 구현하는 구조의 예를 도시하는 도면.
도 3은 본 발명에 따른 데이터 처리를 실행하는 구조로서, 블로킹 아티팩트 정정을 실행하는 후-처리 회로(post-processing circuit)가 디코더로부터 나오는 데이터를 직접 처리할 수 있는, 상기 구조를 도시하는 도면.
도 4는 본 발명에 따른 데이터 처리를 실행하는 구조로서, 후-처리 회로가 디코더로부터 루미넌스 데이터를 직접 처리할 수 있는, 상기 구조를 도시하는 도면.
도 5는 파이프라인 원리에 따라 기능하는 데이터 처리 구조의 유리한 실시예를 도시하는 도면.
도 6은 본 발명에 따른 후-처리 회로의 기능을 도시하는 도면.
도 7은 본 발명에 따른 후-처리 회로에 의해 데이터 처리의 사이클 동안 이미지에 속하는 데이터 블록들의 연속적인 상태들을 도시하는 도면.
*도면의 주요부분에 대한 부호의 설명*
11; DCT1 17; 정정
21; 디코더 23; DFD
24; 디스플레이
본 발명의 목적은 처리 동안 데이터의 송신의 더 낮은 성능을 사용하는 블록-기반 코딩 기술에 따라 코딩된 디지털 이미지들의 시퀀스에 포함된 코딩된 데이터 블록들의 처리를 허용하는 구조를 제안하는 것이다.
사실상, 종래 기술에 기술된 처리 방법은 디코더의 출력에서 구현되도록 의도된다. 도 2를 참조하여 기술된 바와 같이 이런 방법을 사용하는 구조의 기능은 B-이미지로 불리는 양방향성으로 예측 코딩을 갖는 이미지의 디코딩에 대응하는 가장 불리한 경우에, 데이터 버스를 통해, 인터페이스 메모리(22)로부터 디코더(21)로 통과하는 2개의 참조 이미지들(RP)을 요구한다. 코딩된 이미지(ES)로부터의 디코더는 디코딩된 이미지(DPk+1)를 인터페이스 메모리에 공급한다. 디코딩에 병행하여, 이미 디코딩된 이미지(DPk)는 종래 기술의 방법을 구현하는 후-처리 회로(22)에 의해 처리되고, 상기 회로는 인터페이스 메모리에 처리된 이미지(CPk)를 공급한다. 처리에 병행하여, 인터페이스 메모리(CPk-1)에 이미 저장된 이미지는 디스플레이 장치(DIS)에 의해 스크린 상에 디스플레이된다. 이런 구조는 데이터 버스의 대역폭이 기껏해야 6개의 이미지들(4:2:2 코딩 포맷에서 216 Mbit/s의 대역폭에 대응하는이미지),즉, 디코더에 의해 판독된 2개의 참조 이미지들, 디코더에 의해 디코딩된 하나의 이미지, 후-처리 회로에 의해 판독된 하나의 디코딩된 이미지, 하나의 처리된 이미지 및 디스플레이 장치에 의해 판독된 하나의 이미지이기 때문에 송신 성능에 관하여 고비용이다.
이들 결점들을 완화하기 위해, 서두에 기술된 바와 같은 코딩된 데이터 블록 처리 장치는,
- 이미지의 데이터 블록들의 수평 처리를 실행할 수 있고, 상기 블록들의 수직 처리와 연관된 후-처리 회로로서, 수평 또는 수직 처리는, 제 1 블록의 단일 처리, 상기 제 1 블록에 인접한 제 2 블록의 단일 처리와 상기 제 1 및 제 2 블록들의 연쇄의 이중 처리를 포함하고, 후-처리 회로는 완전히 처리된 데이터, 부분적으로 처리된 데이터와 전처리된 데이터를 포함하는 처리된 데이터의 연쇄된 블록들을 공급할 수 잇고, 후-처리된 데이터는 후-처리 회로에 의해 재사용되도록 의도되는, 상기 후-처리 회로,
- 코딩된 데이터 블록들을 수신하고, 후-처리 회로에 디코딩된 데이터 블록들을 공급할 수 있는 디코딩 유닛과,
- 후-처리 회로에 이미 부분적으로 처리된 데이터 블록들을 공급하고, 스크린 상에 디스플레이를 위해 완전히 처리된 데이터 블록들뿐만 아니라 후-처리 회로에 의해 후속하는 처리를 위해 부분적으로 처리된 데이터 블록들을 저장할 수 있는 메모리 인터페이스를 포함하는 것을 특징으로 한다.
이런 장치는, 디코더가 후-처리 회로에 디코딩된 데이터 블록들을 직접 송신하기 때문에, 사용된 대역폭을 최소화하는 동안 블로킹 아티팩트들(blocking artifacts)을 효율적으로 정정하는 것이 가능하다. 부가하여, 이런 장치는, 디코더가 동작 보상 동안 참조 이미지들의 사용을 계속하기 때문에, 디코딩 동안, 어떤 드리프트(drift)도 도입하지 않거나, 단지 약간 도입한다. 이는, 후-처리 회로가 디코딩 루프에 놓이기 때문이고, 참조 이미지들은 더 이상 디코딩 이미지들이 아니라 완전히 처리된 이미지들이다.
본 발명의 특히 유리한 실시예에 있어서, 데이터 처리 장치는,
- 후-처리 회로에 의한 미래 처리를 위해 디코딩된 데이터 및 이미 부분적으로 처리된 데이터의 미래 블록들의 로딩할 수 있는 입력 메모리와,
- 후-처리 회로에 의해 처리된 데이터 및 부분적으로 처리된 데이터의 과거 블록들을 저장할 수 있는 내부 출력 메모리를 더 포함하고,
후-처리 회로는 내부 입력 메모리에 포함된 디코딩된 데이터, 부분적으로 처리된 데이터 및 전-처리된 데이터의 현재 블록들의 현재 처리를 실행할 수 있다.
따라서, 데이터 처리 장치는 파이프라인 원리에 따라 기능하고, 더 나은 방식으로, 내부 메모리에 관한 매우 소액의 자원들을 사용하며, 상기 메모리들은 꽤 값비싸다. 이런 해법은 그러므로 특히 경제적이다.
본 발명은 도면들에 도시된 실시예들의 예들을 참조하여 또한 기술될 것이지만, 본 발명을 제한하는 것은 아니다.
본 발명은 DFD("DCT 주파수 역블로킹") 방법으로서 공지된 데이터 블록 후-처리 방법의 구현에 관한 것이다. 이전에 보여진 바와 같이, 이 방법은 코딩 기술에 기인한 시각적인 아티팩트들(visual artifacts)을 정정하기 위해 블록-기반 코딩 기술에 따라 코딩된 이미지들의 시퀀스의 완전한 처리를 실행한다. 후-처리 방법은 종래 기술에 기술된 원리에 따라 구현될 수 있다.
본 발명의 양호한 실시예에 있어서, 그것은 다음의 원리에 따른 필터링 문턱값들을 도입함으로써 구현된다.
kumax = max(k({0,...,N-1} / abs(U(k)) > T)
kumax = max(k({0,...,N-1} / abs(V(k)) > T)
여기서, T는 0과 다른 문턱값이다.
따라서, 결정 단계(13)는 블로킹 아티팩트들의 더 효과적인 정정을 허용하는 문턱값(T)의 도입으로부터 예측된 최대 주파수(kpred)의 더 정확한 계산을 실행한다. 문턱값(T)의 값은 세그먼트들(u 및 v)의 사이즈의 함수이다. 이는 세그먼트들(u 및 v)의 픽셀들, 예컨대, 짝수 랭크 또는 홀수 랭크의 픽셀들의 단지 몇몇을 처리하는 것이 가능하기 때문이다.
정정 단계 COR(17)는 양호하게, 초기 세그먼트들(u 및 v) 및 변환된 세그먼트들(U 및 V)의 픽셀들의 값들로부터 자연적인 윤곽들(natural contours)을 검출하는 서브 단계를 포함한다. 이 서브 단계는 블로킹 아티팩트들의 자연적인 윤곽들을 구별하는 것을 가능하게 한다. 이 목적을 위해, 자연적인 윤곽은 2개의 조건들이 실행되면 검출된다.
- 블록 경계의 각각의 쪽에 세그먼트들의 픽셀들의 평균값들(mean values)이 M보다 더 큰 높은 값만큼 다르고,
- 세그먼트들(u 및 v)은 값들(ku 및 kv)이 값(k0)보다 낮고 적은 사실을 실행하는 낮은 활동성이다.
데이터 블록 후-처리 방법은 또한, 이미지의 적어도 하나의 수직 처리(V)와 연관된 상기 이미지의 적어도 하나의 수평 처리(H)를 포함한다. 이는 블로킹 아티팩트들이 블록, 즉, 블록을 수직 또는 수평으로 범위를 정하는 4개의 세그먼트들 상에, 8개 픽셀들의 8개 로우들을 일반적으로 포함하는 MPEG 표준에 따라 코딩된 데이터 블록의 경계들에서 제공될 수 있기 때문이다. 이미지가 수평 방향으로 처리되면, 수직 블로킹 아티팩트들은 검출될 것이다. 역으로, 이미지가 수직 방향으로 처리되면, 수평 블로킹 아티팩트들은 검출될 것이다.
데이터 블록 후-처리 방법은 이미지가 2개의 프레임들로 구성되면 이미지를 구성하는 2개의 프레임들의 각각에 연속적으로 적용된다. 그것은 양호하게 디지털 이미지에 포함된 루미넌스 데이터에 적용된다. 모든 경우들에 있어서, 데이터 블록 후-처리 방법은 처리 방향에 따라 한 로우씩 또는 한 칼럼씩 제 1 데이터 블록 및 그것에 인접한 제 2 데이터 블록에 적용된다.
후-처리 방법을 구현하는 구조는 4개의 주요 단계들을 포함한다.
- N2곱셈들 및 N2덧셈들에 대응하는 N 픽셀들의 세그먼트의 제 1 이산 코사인 변환(DCT1),
- 4N2곱셈들 및 4N2덧셈들에 대응하는 2N 픽셀들의 세그먼트의 제 2 이산 코사인 변환(DCT2),
- 4개의 덧셈들에 대응하는 길이 2N의 변환된 세그먼트의 정정(COR)과,
- 4N2곱셈들 및 4N2덧셈들에 대응하는 2N 픽셀들의 세그먼트의 역 이산 코사인 변환(IDCT2).
수평 블로킹 아티팩트들 및 수직 블로킹 아티팩트들 양쪽을 정정하는 것을 가능하게 하는 이미지의 완전한 처리를 얻기 위해, 각각의 블록이 있다.
- 수평 방향으로 2개 및 수직 방향으로 2개인 4개의 제 1 이산 코사인 변환들(DCT1), 즉, 초당 509만 엘리먼트리 동작들에 대응하는 완전한 이미지를 위한 203,328개의 변환들,
- 수평 방향으로 1개 및 수직 방향으로 1개인 2개의 제 2 이산 코사인 변환들(DCT2), 즉, 초당 255만 엘리먼트리 동작들에 대응하는 완전한 이미지를 위한 101,664개의 변환들,
- 각각의 방향으로 하나인 변환된 세그먼트의 2개의 정정들(COR), 즉, 초당 255만 엘리먼트리 동작들에 대응하는 완전한 이미지를 위한 101,664 정정들,
- 또한, 각각의 방향으로 하나인 2개의 역 이산 코사인 변환들(IDCT2), 즉, 초당 255만 엘리먼트리 동작들에 대응하는 완전한 이미지를 위한 101,664 변환들.
도 3은 본 발명에 따른 데이터 처리를 실행하는 구조(30)를 도시한다. 그런 구조는,
블로킹 아티팩트들의 접속을 실행하고, 블록들의 수직 처리와 연관된 이미지의 데이터 블록들의 수평 처리를 실행할 수 있는 후-처리 회로 DFD(33)로서, 수평 또는 수직 처리는, 제 1 블록의 단일의 처리(unitary processing), 상기 제 1 블록에 인접한 제 2 블록의 단일의 처리와 제 1 및 제 2 블록들의 연쇄(concatenation)의 이중 처리를 포함하고, 후-처리 회로는 완전하게 처리된(Bc), 부분적으로 처리된(Bik+1) 및 전처리된(Bb) 데이터의 블록들을 포함하는 처리된 데이터의 연쇄된 블록들을 공급할 수 있고, 전처리된 데이터는 후-처리 회로에 의해 재사용되는, 상기 후-처리 회로 DFD(33),
- 코딩된 데이터 블록들을 수신하고, 후-처리 회로에 디코딩된 데이터 블록들(B)을 포함하는 매크로블록들을 직접 공급할 수 있는 디코딩 유닛 DEC(21)과,
- 현재 매크로블록을 디코딩하기 위해, 후-처리 회로에 의해 완전히 처리된 블록들에 대응하는 디코딩 유닛 참조 데이터 블록들(RB)에 공급하고, 후-처리 회로에 이미 부분적으로 처리된 데이터(Bik)의 블록들을 공급하며, 스크린 DIS(24) 상에 디스플레이하기 위해 완전히 처리된 데이터 블록들(Bc)뿐만 아니라 후-처리 회로에 의해 후속하는 처리를 위해 부분적으로 처리된 데이터 블록들(Bik+1)도 저장할 수 있는 메모리 인터페이스 MI(32)를 포함한다.
도 4에 도시된 본 발명의 양호한 실시예에 있어서, 매크로블록에 의해 디코딩 매크로블록을 실행하는 디코딩 유닛 DEC(21)은 4:2:2 이미지 포맷의 경우에 후-처리 회로 및 크로미넌스 블록들(chrominance blocks)에 대한 루미넌스 데이터(YB)의 4개의 블록들을 메모리 인터페이스 MI(32)에 송신할 수 있다.
후-처리 회로 DFD(33)는 완전히 처리된 데이터(YBc)의 4개 블록들, 부분적으로 처리된 데이터(YBik+1)의 2개 블록들과, 후-처리 회로에 의해 재사용된 전처리된 데이터의 2개 블록들을 포함하는 전처리된 루미넌스 데이터의 연쇄된 블록들을 공급할 수 있다.
메모리 인터페이스는 디코딩 유닛에 대한 참조 데이터 블록들(RB) 및 후-처리 회로에 대한 부분적으로 처리된 루미넌스 데이터 블록들(YBik)을 공급하고, 스크린 DIS(24) 상에 디스플레이를 위한 4개의 완전히 처리된 데이터 블록들(YBc)뿐만 아니라 후-처리 유닛에 의해 후속하는 처리를 위한 부분적으로 처리된 데이터(YBik+1)의 2개의 블록들을 저장할 수 있다.
따라서, 사용된 대역폭은 단지 루미넌스 데이터가 처리된 경우의 4.5개의 이미지들, 및 루미넌스 및 크로미넌스 데이터가 처리된 경우의 5개의 이미지들의 최대값, 즉, 본 발명의 개시에 기술된 바와 같이, 직접 처리에 주어졌던 것보다 적당히 적은 대역폭이다.
부가하여, 그런 데이터 처리 구조는 동작 보상(motion compensation)을 할 수 있게 하도록 후-처리 회로에 의해 완전히 처리된 블록들에 대응하여 디코딩 유닛에 참조 데이터 블록들을 공급한다. 완전히 처리된 데이터 블록들을 사용하는 것은 때때로 디코딩 동안 근소한 드리프트(slight drift)를 발생시킬 수 있다. 이어서, 본 명세서에 도시되지 않은 제어 장치는 디코딩 유닛에 의해 공급된 이미지 타입의 지시(indication)를 사용하는 후-처리 회로를 금지한다. 예컨대, 제어 장치는 연속적인 예측-코딩 이미지들(P)의 일정한 수를 포함하는 이미지들의 시퀀스에 대한 후-처리 회로를 금지할 수 있다.
도 5는 본 발명에 따른 데이터 처리 구조의 유리한 실시예를 도시한다. 이 구조는 파이프라인 원리에 따라 기능한다. 후-처리 회로 DFD(33)가 내부 입력 메모리(51)에 저장된 현재의 데이터 블록들(Bik, B, Bb)을 처리하는 동안, 디코딩 유닛(21) 및 메모리 인터페이스(32)로부터 나오는 미래 데이터 블록들(nB, NBik)은 내부 입력 메모리에 저장된다.
후-처리 회로의 출력에서, 내부 출력 메모리(52)는 메모리 인터페이스에 대한 그들의 송신의 관점에서 후-처리 회로에 의해 처리된(pBc) 및 부분적으로 처리된(pBik+1) 데이터의 과거 블록들을 포함한다.
도 6은 처리 사이클 동안 본 발명에 따른 후-처리 회로의 기능을 도시한다.
시간 t에서 시간 (t+1)까지, 후-처리 회로 DFD는 지시된 순서로 다음 처리들을 실행할 것이다.
- 블록들 BHH[i-1,j], BHH[i-1,j+1], BH[i,j] 및 BH[i,j+1]을 공급하는 4개의 블록들 BH[i-1,j], BH[i-1,j+1], B[i,j] 및 B[i,j+1]의 제 1 수평 처리 H1,
- 블록들 BHH[i,j], BHH[i,j+1], BH[i+1,j] 및 BH[i+1,J+1]을 공급하는 4개의 블록들 BH[i,j], BH[i,j+1], B[i+1,j} 및 B[i+1,j+1]의 제 2 수평 처리 H2,
- 블록들 BHHVV[i-1,j-1], BHHVV[i,j-1], BHHV[i-1,j] 및 BHHV[i,j]을 공급하는 4개의 블록들 BHHV[i-1,j-1], BHHV[i,j-1], BHH[i-1,j] 및 BHH[i,j]의 제 1 수직 처리 V1, 및
- 블록들 BHHVV[i-1,j], BHHVV[i,j], BHHV[i-1,j+1] 및 BHHV[i,j+1]을 공급하는 4개의 블록들 BHHV[i-1,j], BHHV[i,j], BHH[i-1,j+1] 및 BHH[i,j+1]의 제 2 수직 처리 V2.
도 1은 본 발명에 따른 후-처리 회로에 의해 데이터 처리의 사이클 동안 이미지에 속하는 데이터 블록들의 연속적인 상태들을 도시한다.
입력 메모리는 제 1 상태(S1)에 대응하는 시간 t에서, 다음의 14 블록들을 포함한다.
- 디코더로부터 오는 데이터를 로딩하기 위한 4개의 블록들: B[i+2,j], B[i+3,j], B[i+2,J+1] 및 B[i+3,j+1],
- 인터페이스 메모리로부터 오는 데이터를 로딩하기 위한 2개의 블록들: BHHV[i+1,J-1] 및 BHHV[i+2,J-1],
- DFD에 의한 처리를 위한 4개의 블록들: B[i,j], B[i+1,J], B[i,J+1] 및 B[i+1,j+1],
- 2개의 전처리된, 즉, DFD에 의한 새로운 처리를 위해, 이전의 시간에 수평적으로 처리된 블록들: BH[i-1,j] 및 BH[i-1,j+1], 및
- DFD에 의한 처리를 위해 더 먼저 한 라인 이미 처리된 2개의 블록들: BHHV[i-1,j-1] 및 BHHV[i,j-1].
내부 출력 메모리는 다음의 6개 블록들을 동시에 포함한다.
- 디스플레이 유닛에 송신되는, DFD에 의한 수직 처리 V1 후의 2개의 블록들: BHHVV[i-3,j-1] 및 BHHVV[i-2,j-1],
- 디스플레이 유닛에 송신되는, DFD에 의한 수평 H1 및 수직 V1 및 V2 처리들 후의 1개 블록: BHHVV[i-3,j],
- 인터페이스 메모리에 송신되는, DFD에 의한 수평 H1 및 수직 V2 처리들 후의 1개 블록: BHHV[i-3,j+1],
- 디스플레이 유닛에 송신되는, DFD에 의한 수평 H1 및 H2 및 수직 V1 및 V2 처리들 후의 1개 블록: BHHVV[i-2,j], 및
- 인터페이스 메모리에 송신되는, DFD에 의한 수평 H1 및 H2 및 수직 V2 처리들 후의 1개 블록: BHHV[i-2,j+1].
본 발명에 따른 데이터 처리 장치는, 이 구성에 있어서, 최적화된 메모리 자원들을 사용하고, 내부 입력 메모리는 7 킬로바이트이고, 내부 출력 메모리는 양호한 실시예에서 3 킬로바이트이다.
제 2 상태(S2)에 대응하는 제 1 수평 처리 H1 후에, 블록들 BHH[i-1,j], BHH[i-1,j+1], BH[i,j] 및 BH[i,j+1]이 얻어진다.
제 3 상태(S3)에 대응하는 제 2 수평 처리 H2 후에, 블록들 BHH[i,j], BHH[i,j+1], BH[i+1,j] 및 BH[i+1,j+1]이 얻어진다.
제 4 상태(S4)에 대응하는 제 1 수직 처리 V1 후에, 블록들 BHHVV[i-1,j-1], BHHVV[i,j-1], BHHV[i-1,j] 및 BHHV[i,j]이 얻어진다.
마침내, 제 5 상태(S1')에 대응하는 제 2 수직 처리 V2 후에, 블록들 BHHVV[i-1,j], BHHVV[i,j], BHHV[i-1,j+1] 및 BHHV[i,j+1]이 얻어진다.
본 발명에 따른 데이터 처리 구조(30, 40)는 이전에 기술된 바와 같이 집적 회로들의 형태로 또는 하나 또는 그 이상의 회로들 상에 로딩된 소프트웨어의 형태로 생성될 수 있다. 소프트웨어는 여기에서 도 3의 기능적인 블록들을 반복하는 코딩된 데이터 블록 처리 방법을 사용한다. 따라서, 상기 방법은 다음의 단계들을 포함한다.
- 상기 블록들의 수직 처리와 연관된 이미지의 데이터 블록들의 수평 처리를 실행하는 후-처리 단계(33)로서, 수평 또는 수직 처리는, 제 1 블록의 단일의 처리, 상기 제 1 블록에 인접한 제 2 블록의 단일의 처리와 제 1 및 제 2 블록들의 연쇄의 이중 처리를 포함하고, 후-처리 단계는 완전히 처리된(Bc), 부분적으로 처리된(Bik+1), 및 전처리된(Bb) 데이터 블록들을 포함하는 처리된 데이터의 연쇄된 블록들을 공급할 수 있으며, 전처리된 블록들은 후-처리 단계에 의해 재사용되는, 상기 후-처리 단계(33),
- 후-처리 단계에서 코딩된 데이터 블록들을 수신하고, 디코딩된 데이터 블록들(B)을 공급하기 위한 디코딩 단계(21),
- 스크린(24) 상에 디스플레이를 위한 완전히 처리된 데이터 블록들(Bc)뿐만 아니라 후-처리 단계에 의한 후속하는 처리를 위해, 후-처리 단계에서 이미 부분적으로 처리된 데이터(Bik)의 블록들을 공급하고, 부분적으로 처리된 데이터 블록들(Bik+1)을 저장하기 위한 저장 단계(32).
이런 데이터 처리 방법은 따라서 메모리에 액세스하기 위해 요구된 시간을 최소화하고, 그러므로, 방법 실행 시간을 최적화한다.
소프트웨어에 의해 기술된 기능들을 구현하는 여러 가지 방식들이 존재한다.이와 관련하여, 도 3 및 도 4는 매우 도식적이고, 각각의 도면은 단지 하나의 실시예를 도시한다. 그러므로, 도면이 개개의 블록들의 형태로 서로 다른 기능들을 도시할지라도, 이는 몇몇 기능들을 수행하는 소프트웨어의 단일 아이템을 배제하지 않는다. 이는 함수들이 소프트웨어의 아이템들의 세트에 의해 수행될 수 있음을 배제하지 않는다.
비디오 디코더 회로 또는 셋 톱 박스 회로에 의해 이들 기능들을 구현하는 것은 가능하며, 상기 회로는 적합하게 프로그래밍된다. 프로그래밍 메모리에 포함된 명령들의 세트는 회로로 하여금 도 3 및 도 4를 참조하여 상술된 서로 다른 동작들을 수행하게 한다. 명령들의 세트는 또한 예컨대, 명령들의 세트를 포함하는 디스크와 같은 데이터 캐리어(data carrier)를 판독함으로서 프로그래밍 메모리에 로딩된다. 또한, 판독은 예컨대, 인터넷과 같은 통신 네트워크에 의해 실행될 수 있다. 이 경우, 서비스 제공자는 흥미로운 집단들에 이용 가능한 명령들의 세트를 만들 것이다.
본 명세서의 괄호 사이의 참조 부호는 제한적으로 개입된 것이 아니다. 어휘"포함하는(to comprise)" 및 그 활용은 문장 안에 열거된 것 외의 요소들 및 단계들의 존재를 배제하는 것이 아니다. 요소 및 단계 앞에 오는 단어 "하나(one)"는 복수의 그런 요소들 및 단계들의 존재를 배제하는 것이 아니다.
본 발명에 의하면, 처리 동안 데이터의 송신의 더 낮은 성능을 사용하는 블록-기반 코딩 기술에 따라 코딩된 디지털 이미지들의 시퀀스에 포함된 코딩된 데이터 블록들의 처리를 허용하는 구조가 제공된다.

Claims (6)

  1. 블록-기반 코딩 기술에 따라 코딩된 디지털 이미지들(ES)의 시퀀스에 포함된 코딩된 데이터 블록들을 처리하기 위한 장치에 있어서,
    - 상기 블록들의 수직 처리와 연관된, 이미지의 데이터 블록들의 수평 처리를 실행할 수 있는 후-처리 회로(33)로서, 상기 수평 또는 수직 처리는, 제 1 블록의 단일 처리(unitary processing), 상기 제 1 블록에 인접한 제 2 블록의 단일 처리 및, 상기 제 1 및 제 2 블록들의 연쇄(concatenation)의 이중 처리를 포함하고, 상기 후-처리 회로는 완전히 처리된 데이터(Bc), 부분적으로 처리된 데이터(Bik+1)와 전-처리된 데이터(Bb)의 블록들을 포함하고, 상기 전-처리된 데이터는 상기 후-처리 회로에 의해 재사용되는, 상기 후-처리 회로와,
    - 상기 코딩된 데이터 블록들을 수신하고, 상기 후-처리 회로에 디코딩된 데이터 블록들(B)을 공급할 수 있는 디코딩 유닛(21)과,
    - 상기 후-처리 회로에 이미 부분적으로 처리된 데이터 블록들(Bik)을 공급하고, 스크린(24) 상에 디스플레이를 위해 완전히 처리된 데이터 블록들(Bc)뿐만 아니라 상기 후-처리 회로에 의해 후속하는 처리를 위해 부분적으로 처리된 데이터 블록들(Bik+1)을 저장할 수 있는 메모리 인터페이스(32)를 포함하는 코딩된 데이터 블록들의 처리 장치.
  2. 제 1 항에 있어서,
    - 상기 후-처리 회로(33)에 의한 미래 처리를 위해 디코딩된 데이터(nB) 및 이미 부분적으로 처리된 데이터(nBik)의 미래 블록들을 로딩할 수 있는 내부 입력 메모리(51)와,
    - 상기 후-처리 회로에 의해 처리된 데이터(pBc) 및 부분적으로 처리된 데이터(pBik+1)의 과거 블록들을 저장할 수 있는 내부 출력 메모리(52)를 더 포함하고,
    상기 후-처리 회로는 내부 입력 메모리에 포함된 디코딩된 데이터(B), 부분적으로 처리된 데이터(Bik) 및 전-처리된 데이터(Bb)의 현재 블록들의 현재 처리를 실행할 수 있는, 코딩된 데이터 블록들의 처리 장치.
  3. 디코딩 유닛(21)으로부터 나오는 데이터 블록들을 처리하기 위한 회로(33)로서, 상기 블록들의 수직 처리와 조합되어, 상기 데이터 블록들의 수평 처리를 수행할 수 있는 상기 회로(33)에 있어서, 상기 수평 또는 수직 처리는, 제 1 블록의 단일 처리, 상기 제 1 블록에 인접한 제 2 블록의 단일 처리와 상기 제 1 및 제 2 블록들의 연쇄의 이중 처리를 포함하고, 상기 후-처리 회로는 완전히 처리된 데이터(Bc), 부분적으로 처리된 데이터(Bik+1)과, 전처리된 데이터(Bb)의 블록들을 포함하는 처리된 데이터의 연쇄 블록들을 공급할 수 있고, 상기 전처리된 데이터는 상기 후-처리 회로에 의해 재사용되고, 상기 처리된 데이터 블록들(Bc, Bik+1)은 인터페이스 메모리(32)에 송신되는, 데이터 블록들의 처리 회로.
  4. 블록-기반 코딩 기술에 따라 코딩된 디지털 이미지들(ES)의 시퀀스에 포함된 코딩된 데이터 블록들을 처리하는 방법에 있어서,
    - 상기 블록들의 수직 처리와 연관된, 이미지의 데이터 블록들의 수평 처리를 실행하기 위한 후-처리 단계(33)로서, 상기 수평 또는 수직 처리는, 제 1 블록의 단일 처리, 상기 제 1 블록에 인접한 제 2 블록의 단일 처리 및, 상기 제 1 및 제 2 블록들의 연쇄의 이중 처리를 포함하고, 상기 후-처리 단계는 완전히 처리된 데이터 블록(Bc), 부분적으로 처리된 데이터 블록(Bik+1), 및 전처리된 데이터 블록(Bb)을 포함하는 처리된 데이터의 연쇄된 블록들을 공급할 수 있고, 상기 전처리된 블록들은 상기 후-처리 단계에 의해 재사용되는, 상기 후-처리 단계,
    - 상기 코딩된 데이터 블록들을 수신하고, 상기 후-처리 단계에 디코딩된 데이터 블록들(B)을 공급하기 위한 디코딩 단계(21)와,
    - 상기 후-처리 단계에 이미 부분적으로 처리된 데이터의 블록들(Bik)을 공급하고, 스크린(24) 상에 디스플레이를 위해 완전히 처리된 데이터 블록들(Bc)뿐만 아니라 상기 후-처리 단계에 의해 후속하는 처리를 위해 부분적으로 처리된 데이터 블록들(Bik+1)을 저장하기 위한 저장 단계(32)를 포함하는 코딩된 데이터 블록들의 처리 방법.
  5. 명령들의 세트를 포함하는 비디오 디코더를 위한 "컴퓨터 프로그램" 제품에있어서,
    상기 명령들이 상기 비디오 디코더에 로딩될 때, 상기 비디오 디코더로 하여금 제 4 항에 청구된 코딩된 데이터 블록들을 처리하는 방법을 실행하게 하는 "컴퓨터 프로그램" 제품.
  6. 명령들의 세트를 포함하는 셋 톱 박스를 위한 "컴퓨터 프로그램" 제품에 있어서,
    상기 명령들이 상기 셋 톱 박스에 로딩될 때, 상기 셋 톱 박스로 하여금 제 4 항에 청구된 코딩된 데이터 블록들을 처리하는 방법을 실행하게 하는 "컴퓨터 프로그램" 제품.
KR1020020016382A 2001-03-27 2002-03-26 데이터의 후-처리 및 디코딩을 공동으로 구현하는 장치 KR20020076166A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0104109A FR2823050A1 (fr) 2001-03-27 2001-03-27 Dispositif implementant conjointement un post-traitement et un decodage de donnees
FR0104109 2001-03-27

Publications (1)

Publication Number Publication Date
KR20020076166A true KR20020076166A (ko) 2002-10-09

Family

ID=8861584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020016382A KR20020076166A (ko) 2001-03-27 2002-03-26 데이터의 후-처리 및 디코딩을 공동으로 구현하는 장치

Country Status (6)

Country Link
US (1) US6909751B2 (ko)
EP (1) EP1246471A1 (ko)
JP (1) JP2002354481A (ko)
KR (1) KR20020076166A (ko)
CN (1) CN1213609C (ko)
FR (1) FR2823050A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644618B1 (ko) * 2004-07-02 2006-11-10 삼성전자주식회사 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법
KR20160111779A (ko) 2015-03-17 2016-09-27 정승훈 숯이 포함된 패드 제조 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
JP4582070B2 (ja) * 2006-08-18 2010-11-17 ソニー株式会社 受信装置および受信方法
CN102368822A (zh) * 2011-06-28 2012-03-07 上海盈方微电子有限公司 一种视频解码输出模型的架构方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0166717B1 (ko) * 1992-06-18 1999-03-20 강진구 가변화면분할기법을 이용한 부호화/복호화방법 및 장치
KR100363588B1 (ko) * 1993-03-25 2003-02-17 세이코 엡슨 가부시키가이샤 화상처리장치
JP3149331B2 (ja) * 1995-01-30 2001-03-26 松下電器産業株式会社 デジタル画像データ処理装置
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6732328B1 (en) * 1999-07-12 2004-05-04 Maxtor Corporation Two stage detector having viterbi detector matched to a channel and post processor matched to a channel code
US6477679B1 (en) * 2000-02-07 2002-11-05 Motorola, Inc. Methods for decoding data in digital communication systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644618B1 (ko) * 2004-07-02 2006-11-10 삼성전자주식회사 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법
KR20160111779A (ko) 2015-03-17 2016-09-27 정승훈 숯이 포함된 패드 제조 방법

Also Published As

Publication number Publication date
EP1246471A1 (fr) 2002-10-02
CN1378385A (zh) 2002-11-06
JP2002354481A (ja) 2002-12-06
US6909751B2 (en) 2005-06-21
FR2823050A1 (fr) 2002-10-04
US20020196856A1 (en) 2002-12-26
CN1213609C (zh) 2005-08-03

Similar Documents

Publication Publication Date Title
US5646686A (en) Methods and apparatus for reducing drift in video decoders
US10499053B2 (en) Method of improved directional intra prediction for video coding
KR100994979B1 (ko) 인트라-인코딩된 비디오의 병렬 디코딩
EP3057320A1 (en) Method and apparatus of loop filters for efficient hardware implementation
US8451911B2 (en) Adaptively post filtering encoded video
JP2009540680A (ja) ビデオブロックの並列バッチ復号
US20170118480A1 (en) Sample adaptive offset (sao) filtering in video coding
US6223193B1 (en) Macroblock variance estimator for MPEG-2 video encoder
US20100321579A1 (en) Front End Processor with Extendable Data Path
WO1989003152A1 (en) Motion estimator
KR20020076166A (ko) 데이터의 후-처리 및 디코딩을 공동으로 구현하는 장치
US20040264572A1 (en) Motion prediction compensating device and its method
US7885334B2 (en) Image coding or decoding device and method involving multithreading of processing operations over a plurality of processors, and corresponding computer program and synchronisation signal
KR20220112783A (ko) 블록 기반 압축 자동 인코더
US9635360B2 (en) Method and apparatus for video processing incorporating deblocking and sample adaptive offset
US20150117535A1 (en) Motion search with scaled and unscaled pictures
US20050047502A1 (en) Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding
US6160850A (en) Motion estimator employing a three-step hierachical search block-matching algorithm
US6907076B2 (en) Method of simultaneous format reduction and decoding of encoded video signals
JPH08181984A (ja) 画像圧縮装置および画像圧縮方法
US20060245501A1 (en) Combined filter processing for video compression
US7636490B2 (en) Deblocking filter process with local buffers
US8503537B2 (en) System, method and computer readable medium for decoding block wise coded video
US8265164B2 (en) Method and apparatus for determining whether adjacent macroblocks are located in the same slice
US20070153909A1 (en) Apparatus for image encoding and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application