KR20020071754A - 에러 은폐에 기초하여 디지털 이미지들을 코딩하는 방법 - Google Patents

에러 은폐에 기초하여 디지털 이미지들을 코딩하는 방법 Download PDF

Info

Publication number
KR20020071754A
KR20020071754A KR1020020011793A KR20020011793A KR20020071754A KR 20020071754 A KR20020071754 A KR 20020071754A KR 1020020011793 A KR1020020011793 A KR 1020020011793A KR 20020011793 A KR20020011793 A KR 20020011793A KR 20020071754 A KR20020071754 A KR 20020071754A
Authority
KR
South Korea
Prior art keywords
macroblocks
data stream
binary data
coding
decoder
Prior art date
Application number
KR1020020011793A
Other languages
English (en)
Inventor
바렌테스테판에두아르
뒤푸르세실
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8860802&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20020071754(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020071754A publication Critical patent/KR20020071754A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 2진 데이터 스트림에서 매크로블록들을 포함하는, 디지털 이미지를 코딩하는 방법에 관한 것으로, 이는 매크로블록들에 대하여, 에러 은폐 방법에 의해 재구성될 용량(capacity)을 추정하는 단계와, 코딩으로부터 매크로블록들을 배제하기 위한 결정을 하는 단계로서, 코딩으로부터 매크로블록을 배제하기 위한 결정은 재구성될 이러한 매크로블록의 용량에 기초하여 행해지는, 상기 결정 단계, 및 하나 또는 그 이상의 매크로블록들을 배제한 다음에 재동기화 마커를 2진 데이터 스트림에 삽입하는 단계를 포함한다.
본 발명은 매크로블록들이 코딩으로부터 배제될 수 있도록 하여, 그것에 의해 데이터 스트림의 재동기화 처리들을 필요로 하는 코딩 표준들을 필요로 하는 전송 자원들이 감소된다.
응용들 : 표준들 MPEG-4, H26L, ...에 따른 코더 및 디코더
참조 : 도 1

Description

에러 은폐에 기초하여 디지털 이미지들을 코딩하는 방법{Method of coding digital images based on error concealment}
본 발명은 2진 데이터 스트림에서 매크로블록들을 포함하는 디지털 이미지를 코딩하는 방법에 관한 것으로, 상기 방법은,
매크로블록들에 대하여, 에러 은폐(error concealment) 방법을 통해 재구성될 용량을 추정하는 단계와,
코딩으로부터 배제될 매크로블록들에 대하여 결정하는 단계로서, 코딩으로부터 매크로블록을 배제하기 위한 결정은 재구성될 이러한 매크로블록의 용량에 기초하여 행해지는, 상기 결정 단계를 포함한다.
이러한 타입의 코딩 방법은 1999년 6월, IEEE Transactions on Circuits and System For Video Technology에서, W. Zeng 및 B. Liu에 의한, 문서 "Geometric-Structure-Based Error Concealment with Novel Applications in Block-Based Low-Bit-rate Coding"에 공지되어 있다. 이 문서는 매크로블록들, 블록 조합에 속하는 블록들의 배제를 기술하고 있으며, 상기 매크로블록들은 인터코드(intercode)화되거나 인트라코드(intracode)화될 수 있다. 이 문서에서는 첫 번째 해결책으로, 코드화되지 않은 블록들을 일정한 블록들, 예를 들어, 수신기에 의해 그 다음에 검출되는 블랙 블록들로 대체하거나, 또는 두 번째 해결책으로, 블록들이 매크로블록 내에서 코드화됨을 정의하는 워드를 수정함으로써, 이 블록 배제를 비디오 코딩 기준과 조화시키는 것을 제안하고 있는데, 이러한 수정은 매크로블록내의 모든 블록들이 배제될 때 매크로블록들의 어드레스 워드들을 수정하는 것과 동일한 시간에 발생한다. 임의의 수의 비트들은 인터코드(intercode)화된 매크로블록들내에서 배제된 블록들의 어드레스를 전하기 위해 할당된다.
본 발명은 다음의 고려할 사항과 연관된다:
MPEG-4 표준은 코딩 신택스(syntax)를 규정하고 전송 에러들을 관리하기 위한 임의의 수의 툴들을 제안하고 있다. 전송 에러들을 관리하기 위한 이 툴들은 어떤 제약을 부과한다. 이 툴들간의 MPEG-4 표준은 재동기화 마커(resynchronization marker)들을 데이터 스트림으로 주기적으로 삽입하는 2진 데이터 스트림을 재동기화하기 위한 툴들을 제안하고 있다. 이 마커들은 디코딩 동안 그들 때문에 재동기화되는 수신기에 의해 사용된다. 데이터 스트림에서 에러가 발생하면, 수신기는 다음의 재동기화 마커를 검출할 때까지 더 이상 데이터를 판독할 수 없다. 마커 그리고 이 마커 및 다음 마커간의 데이터에 의해 형성된 세트는 비디오 패킷으로 불린다. 재동기화 마커는 비디오 패킷의 헤더 요소에 포함된다. 헤더 요소는 또한 공간적 재동기화를 허락하기 위해, 비디오 패킷의 제 1 매크로블록의 수 및 수신기가 계속 디코딩하도록 하는 파라미터들을 포함한다. 다음의 매크로블록들의 수는 데이터 스트림에 존재하지 않는다. 따라서 MPEG-4 표준에 규정된 바와 같은 재동기화는 포인트 재동기화로서 불릴 수 있으며, 스트림에서 데이터의 임의의 항목들이 단지 존재하기 때문에, 스트림의 나머지는 수동적으로 해석된다. 그러므로 이 경우에, 상기에서 인용된 문서에서 제안된 두 번째 해결책에 따르면, 매크로블록들의 어드레스를 변경하거나 또는 불록들이 코드화되지 않음을 나타내는 것은 불가능하다. 따라서 모든 매크로블록들은 디코드되고 순차적으로 놓여지며, 매크로블록들이 배제된 경우 이미지 요소들의 그래픽 "래그(lag)" 에러들이 발생된다. 인용된 문서에서 제안된 첫 번째 해결책은 배제된 블록들을 대신하는 일정한 블록들의 디코더에 의한 검출을 수반한다. 이러한 검출에 대해서는 MPEG-4 신택스에서 어떠한 것도 제공하지 않는데, 이는 대부분의 수신기들에 그래픽 에러들을 야기시킬 것이다.
포인트 재동기화 수단을 포함하는 코딩 표준과 호환 가능한 코딩으로부터 재구성될 임의의 용량을 갖는 매크로블록들의 배제를 포함하는 코딩 방법을 제안하기 위한 것이 본 발명의 목적이다.
실제로, 서두의 단락에 규정된 바와 같은 코딩 방법은 또한 본 발명에 따라 하나 또는 그 이상의 매크로블록들의 배제 후에 재동기화 마커를 2진 데이터 스트림에 삽입하는 단계를 포함하는 것을 특징으로 한다.
재동기화 마커는 데이터 스트림(적어도 17 및 23 비트들간)내에서 임의의 수의 비트들을 나타낸다. 매크로블록들을 배제함으로써 디지털 이미지들의 전송과 연관된 2진 데이터 스트림을 감소시키기 위한 것이 본 발명의 다른 목적이다. 본 발명에 따라, 하나 또는 보다 일반적으로, 몇몇 매크로블록들의 배제가 임의의 수의 비트들을 나타내는 재동기화 마커의 삽입을 좌우한다는 사실이 제공되며, 매크로블록들의 이러한 배제는 2진 데이터 스트림의 사이즈를 감소시키는 것에 관하여 아무 것도 공헌할 수 없다.
특히 이로운 실시예에서, 코딩 방법은 결정 단계가 매크로블록들의 배제로 초래된 2진 데이터 스트림의 감소를 평가하는 서브단계를 포함하는 것을 특징으로하며, 매크로블록들을 배제하기 위한 결정은 상기 배제로부터 생긴 2진 데이터 스트림을 감소시키는 기능으로서 행해진다.
본 발명은 코더, 예를 들어, 비디오 코더로 구현될 수 있다. 본 발명은 또한 본 발명에 따른 방법을 통해 생성되는 것과 같은 데이터 스트림에 관한 것이다. 그 결과, 본 발명은 또한 본 발명에 따른 방법에 의해 생성된 것과 같은 데이터 스트림의 정확한 디코딩을 허락하는 디코딩 방법 및 디코더에 관한 것이다. 마지막으로, 본 발명은 본 발명에 따른 방법의 다양한 단계들을 구현하기 위한 컴퓨터 프로그램에 관한 것이다.
본 발명의 이들 및 다른 양태들은 하기에 기술된 실시예(들)를 참조하여, 비제한적인 예에 의해 명백해지고 설명되어질 것이다.
도 1은 2진 데이터 스트림에서 매크로블록들을 포함하는 디지털 이미지의 코딩 방법의 다양한 단계들을 나타내는 기능도.
도 2는 매크로블록들을 포함하는 디지털 이미지의 코드화된 데이터를 포함하는 스트림 상에서 본 발명에 따른 방법의 효과를 도시한 도면.
도 3은 본 발명에 따른 비디오 코더의 개략도.
도 4는 본 발명에 따른 비디오 디코더의 개략도.
* 도면의 주요 부분에 대한 부호의 설명 *
MB : 매크로블록DCTQ 및 IDCTQ : 변환
MCE : 움직임 추정 및 보상ENC : 제 1 코딩 스테이지
VLC : 가변 길이 코더EST : 추정 모듈
MEM : 메모리VLC: 코더
DFRMT : 디포맷터VLD : 가변 길이 워드 디코더
CDEC : 디코딩 스테이지
도 1은 본 발명에 따른 2진 데이터 스트림에서 매크로블록들(MB)을 포함하는 디지털 이미지를 코드화하는 방법의 다양한 단계들을 나타내는 기능도이다. 본 명세서에 예시된 실시예에서, 본 발명에 따른 방법은 특히 한 세트의 양자화 계수(QC)(MB) 및 움직임 벡터들(MV)(MB)의 형태로 이미 변환된 매크로블록들(MB) 상에서 수행되는 코딩의 일부에 관한 것이다. 본 실시예에 있어서 방법의 시작에 삽입된 이 양자화 계수(QC)(MB) 및 이 움직임 벡터들(MV)(MB)이 있다. 제 1 추정 단계(EST)는 에러 은폐 방법에 의해 재구성될 매크로블록들의 용량(CAP)(MB)을 추정한다.
이 기준은 디코더들에서 이용 가능한 에러 은폐 수단에 대응한다. 따라서,에러 은폐에 있어서 2개의 주요 클래스들이 가능하다: 공간 에러 은폐 및 시간 에러 은폐. 특히, 동질 영역들 및 동질 움직임의 영역들은 에러 은폐 방법에 의해 재구성될 임의의 용량(capacity)을 분명히 나타내는데 도움이 된다.
예를 들어, 제 1 세트의 기준은 동질 영역에 관한 것이며, 따라서 공간 에러 은폐를 수행한다: 한 시퀀스의 매크로블록들에서 유사한 매크로블록들의 부근의 반복 또는 매크로블록이 그 이웃들로부터 공간적 삽입에 의해 재구성될 수 있는 능력(facility). 이들 2개의 기준은 예를 들어, 배제를 위해 고려되는 매크로블록과, 계산이 추정 단계(EST)의 일부로서 수행되는, 이웃 매크로블록들에서 부근에 또는 공간에 삽입되는 하나 또는 그 이상의 매크로블록들간의 차를 계산함으로써 실질적으로 그리고 간단히 평가될 수 있다.
다른 세트의 기준은 동질 움직임의 영역들과 연관되며 시간적 에러 은폐를 수행한다. 따라서 예를 들어, 동질 움직임의 영역들에 속하는 매크로블록들은 배제될 수 있으며, 이웃하는 매크로블록들의 움직임 벡터들은 배제된 매크로블록들을 삽입하는데(interpolate) 사용될 수 있다. 이 기준은 이웃하는 매크로블록들의 움직임 벡터들간의 그리고 한 이미지로부터 다음 이미지까지 매크로블록들의 나머지 신호의 양자화 계수들간의 차를 계산함으로써 구해질 수 있다.
용량(CAP)(MB)은 따라서 당업자에게 공지되어 있는 매우 다양한 수단에 의해 추정될 수 있다. 추정 단계(EST)로부터 나온 용량(CAP)(MB)은 2진 형태일 수 있으며 또는 예를 들어, 배제를 위해 고려된 매크로블록이 삽입된 매크로블록과 상이한 정도에 의해, 그 값이 결정된 수의 형태일 수 있다.
본 발명에 따른 방법은 다음으로 코딩으로부터 매크로블록들의 배제에 관하여 결정 단계(DEC)를 포함한다. 이 결정은 재구성될 매크로블록들의 용량(CAP)(MB)에 근거하여 행해진다. 용량(CAP)(MB)이 2진인 경우, 매크로블록은 임의의 비트 값에 대해 배제되며, 용량(CAP)(MB)이 임의의 수인 경우, 매크로블록은 예를 들어 소정의 임계를 초과하는 용량 값들에 대해 배제된다. 이 소정의 임계는 다음에 기술되어질 전송에 이용 가능한 자원들에 의존하여 고정되거나 또는 변조될 수 있다. 이 용량(CAP)(MB)에 관한 상태들은 다음의 설명에서 "양호한" 재구성 용량을 규정한다.
본 발명의 특정하게 이로운 실시예에서, 결정 단계는 매크로블록들의 배제로 생긴 2진 데이터 스트림의 사이즈의 감소를 평가하는 서브단계를 포함하며, 매크로블록들을 배제하는지 여부를 결정하는 것은 이러한 배제로부터 초래된 2진 데이터 스트림의 감소의 기준에 기초한다. 이 단계는 재동기화 마커의 삽입이 데이터 스트림(적어도 17 및 23 비트들간)에서 임의의 수의 비트들을 나타내는, 완전한 헤더 요소의 삽입을 수반한다는 사실에 의해 정당화된다. 본 발명의 다른 목적은 매크로블록들을 배제함으로써 이미지들의 전송과 연관된 2진 데이터 스트림의 사이즈를 감소시키는 것이다. 본 발명에 따라 하나 또는 보다 일반적으로, 몇몇 매크로블록들의 배제가 임의의 수의 비트들을 나타내는 완전한 헤더 요소의 삽입을 좌우한다는 사실이 제공되며, 매크로블록들의 상기 배제는 2진 데이터 스트림의 감소에 아무 것도 공헌할 수 없다. 그러므로 매크로블록들의 배제로 초래된 2진 데이터 스트림의 감소의 평가는 실제 목적에 들어맞는다. 이 단계(EVAL)에서, 임의의 수의매크로블록들의 배제로 절약된 비트들의 수가 구해지며, 다음으로 이 수는 예를 들어 결정 단계(DEC)에서 헤더 요소의 삽입에 의해 나타난 비트의 수와 비교된다. 배제하기 위한 결정은 매크로블록들의 코딩으로부터 배제함으로써 야기되는 2진 데이터 스트림의 감소가 0이 아닐 때 행해진다.
본 발명에 따른 방법은 다행스럽게도 2진 데이터 스트림의 출력률(output rate)의 계산 단계(CAL)를 포함하며, 매크로블록들을 배제하기 위한 결정은 2진 데이터 스트림의 이 출력률에 기초하여 행해진다. 이 계산 단계(CAL)는 2진 데이터 스트림을 전송하는 코드화된 매크로블록들의 전송 수단과 함께 수행된다.
상기 단계들(CAL, EST 및 EVAL)은 또한 조합될 수 있다: 예를 들어, 계산 단계(CAL)의 결과는 매크로블록들의 "양호한" 재구성 용량을 결정하는 임계값에 영향을 줄 수 있으며, 상기 임계는 이용 가능한 스트림이 더 크게 될 때 더욱 더 엄격하게 된다. 따라서 이 임계보다 큰 용량(CAP)(MB)을 갖는 매크로블록들이 결정 단계(DEC)에서 배제되는 것에서 벗어나 용량(CAP)(MB)에 대한 임계값을 결정하기 위한 평가 단계(EVAL)의 결과와 계산 단계(CAL)의 결과를 조합하는 단계를 고려하는 것도 가능하다
결정 단계(DEC)의 결과에 따라, 매크로블록은 단계(BC)(경우 N)에서 비디오 패킷에 삽입되거나 또는 단계(EXC)(경우 Y)에서 코딩으로부터 배제된다. 단계(BC)에서, 비트들은, 비디오 패킷이 충분한 사이즈로 이루어지는 경우 단계(MARK)에서 재동기화 마커의 삽입을 트리거하기 위해 카운트된다. 각 단계(EXC) 후, 재동기화 마커는 단계(MARK)에서 2진 데이터 스트림에 삽입된다. 여기서, 용어 "재동기화마커"는 예를 들어 MPEG-4 표준에서, RESYNC, VOPStart(시간 예(계획)의 비디오 객체의 시작), GOVStart(한 그룹의 시간 예의 비디오 객체의 시작), EOS(비디오 세션의 끝)와 같은 통상적인 마커들을 포함하는 것으로 일반적으로 해석해야 한다. 방법의 끝에서 2진 데이터 스트림(BIN)이 이와 같이 얻어진다.
비디오 패킷들의 구성 방식은 데이터 분할 작업을 임의로 사용할 수 있으며, 본 발명은 데이터 분할 작업을 사용하거나 사용하지 않는 것에 일반적으로 영향을 받지 않음에 유념해야 한다.
MPEG-4 표준에는 이미 "코드화되지 않은" 플래그의 존재로 이러한 코딩의 부재를 나타내는, 비디오 객체, 또는 보다 일반적으로, 비디오 이미지에서, 임의의 매크로블록들을 코드화하지 않도록 이미 제안하고 있음에 유념해야 한다. 이 플래그의 존재는 코드화되지 않은 매크로블록을 비디오 객체의 선행하는 예에서 동일한 위치에 위치하는 매크로블록과 대체하는 디코더들에 의해 판단된다. 일반적으로, 질문에서 예에 바로 선행하는 예가 사용된다. 그 결과, 이 플래그는 P 코드화된 이미지들에 단지 사용될 수 있으며, 선행 예가 이용 가능하고 B 코드화된 이미지들에서 무조건적(implicitly)으로 반향(echo)된다. 그러므로 이 성질의 플래그의 삽입은 0에 가까운 움직임 벡터를 갖는 영역들에 단지 유용하며 텍스쳐(texture)는 한 이미지나 또는 다음 이미지의 예로부터 두드러지게 변하지는 않는다. 본 발명에 따른 코딩으로부터 매크로블록들의 배제는 임의의 특정 플래그의 삽입을 수반하지 않으며, 코딩으로부터 매크로블록들의 배제는 I, P 또는 B 코딩의 모든 모드들에서 이와 같이 가능하다.
도 2는 매크로블록들을 포함하는 디지털 이미지나 비디오 객체의 코드화된 데이터를 포함하는 2진 데이터 스트림 상에서 본 발명에 따른 방법의 효과를 예시한다. 도 2a는 재동기화 마커(MA)를 포함하는 헤더 요소(H)와 비디오 패킷(VP)을 나타낸다. 마커의 주기성은 다수의 매크로블록들 또는 보다 유리하게도 다수의 비트들에 기초한다. MPEG-4 표준에 의해 바람직하게도 선택된 후자의 해결책은 마커들이 스트림 내내 균일하게 분배되도록 허락한다. 모든 경우에, 재동기화 마커 및 다음의 재동기화 마커에 잇따르는 데이터는 비디오 패킷을 규정한다. 마커들의 주기성이 다수의 비트들에 기초하는 경우, 이 비디오 패킷들의 길이는 현재 비디오 패킷에서 비트들의 수가 임계값을 초과하는 경우, 새로운 비디오 패킷이 재동기화 마커의 삽입에 의해 다음의 매크로블록의 시작에서 생성됨에 따라 메커니즘에 의해 결정된다.
MPEG-4 표준에서, 수신기에서 디코딩 절차를 재시작하는데 필요한 정보, 비디오 패킷의 제 1 매크로블록(MB)(n)의 수 n 뿐만 아니라, 이 제 1 매크로블록을 디코딩하는데 필요한 양자화 파라미터들은 재동기화 마커를 또한 포함하는 헤더 요소에 포함된다. 제 1 매크로블록의 수 n은 공간 재동기화가 수행되도록 허락하며 양자화 파라미터는 차별적인 디코딩 절차가 재동기화되도록 허락한다. 다음의 매크로블록들의 수들은 나타나지 않는다.
도 2b에서, 재구성될 양호한 용량을 갖는 매크로블록들은 빗금이 그어져 나타나있다. 이들은 j개의 매크로블록들 MBn+i+1내지 MBn+i+j이다. 이 매크로블록들이 도 1에 그리고 상기에 기술된 방법에 삽입되는 경우, 비디오 패킷의 구조는 도 2c에 개략적으로 나타난 배제 결정(EXC)에 의해 방해받는다. 여기서, 개략적인 표시는 데이터의 분할 작업이 없는 경우를 도시하며, 매크로블록들은 서로 간단하고 일련의 스트림에 따른다. 데이터 분할 작업은 본 발명의 원리를 부정하지 않는다. 이러한 경우에 그 결과로 생긴 2진 데이터 스트림은 도 2d에 도시된다. 재동기화 마커(MA) 및 연관된 헤더 요소는 배제된 매크로블록들 중 제 1 매크로블록이 있어야 했던 포인트에서, 매크로블록 MBn+i+j+1전에 스트림에 삽입되었다. 여기서, 재동기화 마커(MA) 및 연관된 헤더 요소의 삽입에 의해 야기된 2진 데이터 스트림의 사이즈에 있어서의 감소는 도 2에 따라 제로가 아니다: 배제된 매크로블록들 MBn+i+1내지 MBn+i+j을 나타내는 블록이 삽입된 헤더 요소의 사이즈보다 크다. 평가 단계(EVAL)가 방법에 포함되는 경우, 이러한 매크로블록들의 배제가 초래된다; 이러한 배제는 평가 단계(EVAL)가 존재하는 경우, 그리고 매크로블록들을 나타내는 블록이 헤더 요소를 포함하는 블록보다 더 작은 경우에 발생하지 않는다.
2진 데이터 스트림이 매크로블록들을 포함하는 디지털 이미지의 코드화된 데이터를 포함하므로, 상기 2진 데이터 스트림은 매크로블록들 MBn+i+1내지 MBn+i+j가 2진 데이터 스트림에서의 적어도 한 포인트에 대하여 2진 데이터 스트림에서 코드화되지 않도록 하며 이러한 코드화되지 않은 매크로블록들이 에러 은폐 방법에 의해 재구성될 수 있으므로, 상기 2진 데이터 스트림은 본 발명에 따라 매크로블록들이 코드화되지 않는 2진 데이터 스트림내의 위치에서 재동기화 마커(MA)가 2진 데이터 스트림내에 존재하는 것을 특징으로 한다.
도 3은 본 발명에 따른 비디오 코더의 개략도이다. 도 3에 나타난 비디오 코더는 매크로블록들(MB)의 형태로 그래픽 데이터(이미지들)를 수신한다. 이 그래픽 이미지들은 매크로블록들에 포함된 정보가 추가(ADD), 빼기(SUB), 변환(DCTQ 및 IDCTQ), 움직임 추정 및 보상(MCE)과 같은 일련의 동작에 의해 움직임 벡터들(MV)(MB) 및 양자화 계수들(QC)(MB)로 코드화되는 제 1 코딩 스테이지(ENC)의 일부로서 변환된다. 메모리(MEM)는 임의의 이 동작들이 수행되도록 하고 데이터(예를 들어 이미지 데이터)를 저장하도록 한다. 매크로블록들은 인터코드(intercode)화되거나 인트라코드(intracode)화된다. 한편으로 양자화 계수(QC)(MB) 및 움직임 벡터들(MV)(MB)은 가변 길이 코더(VLC)에 전송되며, 한편으로 추정 모듈(EST)에 전송된다. 도 3에 도시된 바와 같이, 추정 모듈(EST)은 유리하게 제 1 코딩 스테이지(ENC)의 메모리(MEM)에 연결된다. 코더(VLC)에서, 양자화 계수(QC)(MB) 및 움직임 벡터들(MV)(MB)은 다음의 포맷팅을 위해 제 1 형태로 변환된다. 에러 은폐 방법을 통해 재구성될 매크로블록들의 용량은 추정 모듈(EST)에서 추정된다. 다음으로 용량 값은 코더(VLC)의 출력 포맷에서 수신하는 데이터를 포맷하는 포맷터(FRMT)에 속하는 인터럽트(INT)에 연결된 결정 모듈(DEC)에 전송된다. 용량 값(CAP)(MB)에 따라 그리고 유리하게도 2진 데이터 스트림의 사이즈에서의 감소에 관하여 평가 단계 및 2진 데이터 스트림의 출력률에 관하여 계산 단계의 결과에 따라, 결정 모듈(DEC)은 2개의 코딩 경로들간의 인터럽터(INT)를 스위치한다. 결정 모듈(DEC)이 인터럽트를 위치 1로 스위치할 때, 비디오 패킷은 모듈(BC)에서 비트들 또는 매크로블록들을 계산함으로써 통상적인 방식으로 구성된다. 다음으로 재동기화 마커를 포함하는 헤더 요소의 삽입은 비디오 패킷이 요청된 사이즈에 도달하는 경우 마킹 모듈(MARK)에 의해 이루어진다. 결정 모듈(DEC)이 인터럽터를 위치 2로 스위치할 때, 결정 모듈이 배제하기로 결정했던 매크로블록들은 배제 단계(EXC)를 실행하는 모듈에 의한 코딩으로부터 배제된다. 각 배제 단계(EXC) 후, 재동기화 마커를 포함하는 헤더 요소는 모듈(MARK)에 의해 2진 데이터 스트림에 삽입된다. 도 2a 및 도 2d에 기술된 것에 대응하는 비디오 패킷들(VP)은 포맷터(FRMT)로부터 이와 같이 얻어진다.
이 코더에서 다양한 모듈들의 배치는 특정 실시예에 대응하며 당업자에게 명백해질 수 있는 다른 실시예들을 배제하지 않는다.
도 4는 본 발명에 따른 비디오 디코더의 개략도이다. 디코더는 예를 들어, 도 2에 나타난 비디오 패킷들(VP)의 형태로 전송 채널(도시되지 않음)을 통해 코드화된 2진 데이터 스트림을 수신한다. 이는 한 시퀀스의 디코드된 매크로블록들을 제공함으로써 응답한다. 디코더는 디포맷터(DFRMT), 가변 길이 워드 디코더(VLD), 디코딩 스테이지(CDEC)를 포함한다. 디코딩 스테이지(CDEC)는 역 변환(IDCTQ), 움직임 보상기(MC) 및 메모리(MEM)를 포함한다. 디포맷터(DFRMT)는 2진 데이터 스트림에서의 적어도 한 포인트에서 코드화되지 않은 매크로블록들을 검출할 목적으로 검출 모듈(DET)을 포함한다. 검출 모듈(DET)은 검출 단계(DET)에서 걸출되었던 코드화되지 않은 매크로블록들에 대해 특히 활성화되도록 설계되는 에러 은폐 모듈(EC)에 결합된다. 그것에 의해 활성화된 에러 은폐 모듈(EC)은 매크로블록을 재구성한다.
본 발명에 따른 디코더는 코드화되지 않은 매크로블록들의 검출 모듈(DET)이 재동기화 마커들간의 불규칙한 간격들을 검출할 목적으로 검출 서브모듈을 포함하는 것을 특징으로 한다. 따라서, 서브단계는 매크로블록들이 코드화되지 않는 포인트에서 재동기화 마커의 검출을 사용하는 코드화되지 않은 매크로블록들을 검출한다. 요청된 사이즈를 달성하기 위해 매크로블록들을 카운트함으로써 형성된 비디오 패킷들에 관한 본 발명의 실시예에서, 본 발명에 따른 디코더는 각각의 재동기화 마커에서 시작하는, 선행하는 비디오 패킷에 존재하는 매크로블록들을 카운트하며, 막 수신된 비디오 패킷의 제 1 매크로블록 및 시작하는 비디오 패킷의 제 1 매크로블록의 수를 사용하여, 동일한 매크로블록들이 코드화되지 않음을 추론하며, 매크로블록들이 코드화되지 않은 포인트에서 재동기화 마커의 삽입을 검출한다. 검출 모듈(DET)은 또한 예를 들어, 2진 데이터 스트림에서 에러들을 검출하는데 사용될 수 있으며, 상기 에러들은 상기 검출 모듈(DET)에 연결된 에러 은폐 모듈에 의해 은폐된다. 재구성된 매크로블록들은 이미지 또는 비디오 객체 패킷의 대응 시퀀스에 따라 디포맷터(DFRMT)의 출력 데이터에 삽입된다. 그러나, 이러한 재구성된 데이터의 삽입은 효과적으로 재구성된 데이터에 따라 디코딩 방법에서 몇 가지 포인트들에서 또는 단계들에서 효과적으로 될 수 있다.
이와 같이 여기에 나타난 디코더는 매크로블록들과 디지털 이미지의 코드화된 데이터를 포함하고, 2진 데이터 스트림의 적어도 하나의 포인트에서 코드화되지 않는 매크로블록들을 검출하는 단계, 검출 단계(DET)에서 검출된 코드화되지 않는 매크로블록들을 위해 주로 활성화된 에러 은폐 단계(EC)를 포함하는 2진 데이터 스트림을 검출하는 방법을 구현하며, 코드화되지 않는 매크로블록들을 검출하는 단계는 재동기화 마커들간의 불균일한 간격들을 검출할 목적을 위해 검출 서브단계를 포함한다.
여기에 기술된 디코딩 방법은 표준 MPEG-4, H26L 및 다른 것들에 적용될 수 있다.
도 4에 도시된 이로운 실시예에서, 에러 은폐 모듈(EC)은 1차 재구성을 위해 제 1 수단(PEC), 즉, 예를 들어, 에러에 대한 시간적 재구성, 에러 재구성을 수정하거나(경우 2) 또는 제 1 재구성을 정당화하는지(경우 1) 여부를 결정하는 이 제 1 구성을 평가하기 위한 수단(SCT), 2차 재구성을 위한 제 2 수단(SEC), 즉, 예를 들어, 에러 재구성의 수정시 평가 단계가 결정되는 경우 활성화되는, 공간 재구성을 포함한다. 예를 들어, 내부적으로 코드화된 이미지(인트라코드에 대해 I)에 속하는 코드화되지 않은 매크로블록은 공간 에러 은폐에 의해 보다 더 양호하게 정정될 것이며, 반면에 외부적으로 코드화된 이미지(인터코드에 대해 P 또는 B)에 속하는 코드화되지 않은 매크로블록은 공간 또는 시간 에러 은폐에 의해 보다 더 양호하게 정정될 것이다. 이와 같이 본 명세서에 나타난 이로운 실시예는 다양한 타입들의 에러 은폐를 시도하고 테스트함으로써 최적화된 재구성을 얻도록 허락한다. 기술적으로 표현된 것은 본 발명의 범위에서 벗어남 없이 복잡성을 변화시키는 조합에 따라 재구성의 품질의 평가 테스트(공간 연속 테스트)의 다음에 오는 재구성하기 위한 다양한 수단을 이와 같이 사용할 수 있다.
당업자가 이용할 수 있는 소프트웨어 및/또는 하드웨어를 사용함으로써 본발명에 따른 방법 단계들에 기재된 기능들을 구현하기 위한 많은 방식들이 있다. 이러한 이유에 대해, 도면들은 실제로 개략도이다. 따라서, 도면들이 다양한 블록들에 의해 실행되는 다양한 기능들을 도시한데 반하여, 이는 소프트웨어 및/또는 하드웨어의 싱글 유닛이 몇 개의 기능들을 실행할 수 없음을 이야기하지 않는다. 이는 소프트웨어 및/또는 하드웨어 수단의 결합이 싱글 기능을 실행하도록 허락하는 것을 배제하지 않는다.
다음의 청구항들에 규정된 의도 및 범위에 벗어나지 않고 많은 수정들이 당업자에 의해 초래될 수 있다.
본 발명은 포인트 재동기화 수단을 포함하는 코딩 표준과 호환 가능한 코딩으로부터 재구성될 임의의 용량을 갖는 매크로블록들의 배제를 포함하는 코딩 방법을 제안한다.

Claims (10)

  1. 2진 데이터 스트림에서 매크로블록들을 포함하는 디지털 이미지를 코딩하는 방법에 있어서, 상기 방법은,
    매크로블록들에 대하여, 에러 은폐 방법을 통해 재구성될 용량의 추정 단계와,
    코딩으로부터 매크로블록들을 배제하기 위한 결정 단계로서, 코딩으로부터 매크로블록을 배제하기 위한 결정은 재구성될 이러한 매크로블록의 용량에 기초하여 행해지는, 상기 결정 단계를 포함하며,
    하나 또는 그 이상의 매크로블록들의 배제 후 재동기화 마커를 2진 데이터 스트림에 삽입하는 단계를 또한 포함하는 것을 특징으로 하는, 방법.
  2. 제 1 항에 있어서, 상기 결정 단계는 매크로블록들의 배제로 초래된 2진 데이터 스트림의 감소를 평가하는 서브단계를 포함하며, 매크로블록들을 배제하기 위한 상기 결정은 이러한 배제로부터 생긴 2진 데이터 스트림을 감소시키는 기능으로서 행해지는, 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 2진 데이터 스트림 출력률의 계산 단계를 포함하며, 매크로블록들을 배제하기 위한 상기 결정은 이 2진 데이터 스트림 출력률에 기초하여 행해지는, 방법.
  4. 2진 데이터 스트림에서 매크로블록들을 포함하는 디지털 이미지를 코딩하기 위한 코더에 있어서,
    에러 은폐 방법에 의해 재구성될 매크로블록들의 용량을 추정하기 위한 추정 모듈과,
    매크로블록들에 대한 코딩의 배제를 결정하도록 의도된 결정 모듈로서, 매크로블록을 배제하기 위한 결정은 재구성될 상기 매크로블록의 용량에 기초하여 행해지는, 상기 결정 모듈을 포함하며,
    재동기화 마커를 하나 또는 그 이상의 매크로블록들의 배제 다음의 2진 데이터 스트림에 삽입하기 위한 모듈을 또한 포함하는 것을 특징으로 하는, 코더.
  5. 제 3 항에 있어서, 청구항 제 2 항 또는 제 3 항의 특정한 단계를 실행하기 위한 하나 또는 그 이상의 모듈들을 포함하는 것을 특징으로 하는, 방법.
  6. 매크로블록들을 포함하는 디지털 이미지의 코드화된 데이터를 포함하는 2진 데이터 스트림에 있어서,
    상기 2진 데이터 스트림은 매크로블록들이 2진 데이터 스트림의 적어도 하나의 위치에서의 2진 데이터 스트림에서 코드화되지 않도록 하며, 상기 코드화되지 않는 매크로블록들은 에러 은폐 방법에 의해 재구성될 용량을 가지며,
    재동기화 마커는 매크로블록들이 코드화되지 않는 포인트에서 2진 데이터 스트림에 존재하는 것을 특징으로 하는, 2진 데이터 스트림.
  7. 매크로블록들을 포함하는 디지털 이미지의 코드화된 데이터를 포함하는 2진 데이터 스트림을 디코딩하는 방법에 있어서,
    일정한 간격들에서 재동기화 마커들을 포함하는 상기 2진 데이터 스트림은,
    2진 데이터 스트림의 적어도 하나의 위치에서 코드화되지 않은 매크로블록들에 대한 결정 단계와,
    결정 단계에서 검출되는 코드화되지 않는 매크로블록들에 대해 현저하게 활성화되는 에러 은폐 단계를 포함하며,
    코드화되지 않는 매크로블록들에 대한 상기 검출 단계는 재동기화 마커들간의 불규칙 간격들을 검출하기 위한 검출 서브단계를 포함하는 것을 특징으로 하는, 방법.
  8. 매크로블록들을 포함하는 디지털 이미지의 코드화된 데이터를 포함하는 2진 데이터 스트림을 디코딩하는 디코더에 있어서,
    2진 데이터 스트림의 적어도 하나의 위치에서 코드화되지 않는 매크로블록들을 검출하기 위한 검출 모듈과,
    검출 모듈에 의해 검출된 코드화되지 않는 매크로블록들에 대해 현저하게 활성화되지 않도록 의도된 에러 은폐 모듈을 포함하며,
    코드화되지 않는 매크로블록들에 대한 검출 모듈은 재동기화 마커들간의 불규칙 간격들을 검출하기 위한 검출 서브모듈을 포함하는 것을 특징으로 하는, 디코더.
  9. 기능들이 액세스하는 일련의 기능들과 수집된 자원을 포함하는 디코더용의 컴퓨터 프로그램 제품에 있어서,
    컴퓨터 프로그램 제품은 이러한 디코더로 로드될 때, 디코더에 관하여 청구항 제 1 항 내지 제 3 항에 청구된 것들 중 어느 하나에 청구된 바와 같은 방법을 실행하는 한 세트의 명령을 포함하는, 컴퓨터 프로그램 제품.
  10. 기능들이 액세스하는 일련의 기능들과 수집된 자원을 포함하는 디코더용의 컴퓨터 프로그램 제품에 있어서,
    컴퓨터 프로그램 제품은 이러한 디코더로 로드될 때, 디코더에 관하여 청구항 제 7 항에 청구된 바와 같은 방법을 실행하는 한 세트의 명령을 포함하는, 컴퓨터 프로그램 제품.
KR1020020011793A 2001-03-06 2002-03-06 에러 은폐에 기초하여 디지털 이미지들을 코딩하는 방법 KR20020071754A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0103047 2001-03-06
FR0103047A FR2821998A1 (fr) 2001-03-06 2001-03-06 Procede de codage d'images numeriques base sur la dissimulation d'erreurs

Publications (1)

Publication Number Publication Date
KR20020071754A true KR20020071754A (ko) 2002-09-13

Family

ID=8860802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020011793A KR20020071754A (ko) 2001-03-06 2002-03-06 에러 은폐에 기초하여 디지털 이미지들을 코딩하는 방법

Country Status (6)

Country Link
US (1) US6895118B2 (ko)
EP (1) EP1241894A1 (ko)
JP (1) JP2002325259A (ko)
KR (1) KR20020071754A (ko)
CN (1) CN1374624A (ko)
FR (1) FR2821998A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653136B2 (en) 2004-01-14 2010-01-26 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319754B2 (en) * 2002-06-28 2008-01-15 Stmicroelectronics S.A. Insertion of binary messages in video pictures
JP4030055B2 (ja) * 2002-11-26 2008-01-09 インターナショナル・ビジネス・マシーンズ・コーポレーション フォーマット変換回路
US7471723B2 (en) * 2003-05-13 2008-12-30 Sigmatel, Inc. Error concealment and error resilience
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
JP5193026B2 (ja) * 2006-03-07 2013-05-08 日本電気株式会社 動画像配信システムおよび変換装置
KR100827152B1 (ko) * 2006-10-20 2008-05-02 삼성전자주식회사 Ｎａｌ 유닛 에러 검출을 위한 효율적인 ｈ.264 복호 방법및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US6445823B1 (en) * 1997-03-12 2002-09-03 Texas Instruments Incorporated Image compression
US6690833B1 (en) * 1997-07-14 2004-02-10 Sarnoff Corporation Apparatus and method for macroblock based rate control in a coding system
GB9816780D0 (en) * 1998-07-31 1998-09-30 Basf Ag Reactive dyes containing a linkage
EP0979011A1 (en) * 1998-08-06 2000-02-09 STMicroelectronics S.r.l. Detection of a change of scene in a motion estimator of a video encoder
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653136B2 (en) 2004-01-14 2010-01-26 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus

Also Published As

Publication number Publication date
US20030031261A1 (en) 2003-02-13
CN1374624A (zh) 2002-10-16
EP1241894A1 (fr) 2002-09-18
US6895118B2 (en) 2005-05-17
FR2821998A1 (fr) 2002-09-13
JP2002325259A (ja) 2002-11-08

Similar Documents

Publication Publication Date Title
EP0933948B1 (en) Video encoder and video encoding method
US7606313B2 (en) System, method, and apparatus for error concealment in coded video signals
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
KR100296660B1 (ko) 디코딩비디오신호용에러은페장치
US7486734B2 (en) Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same
US5737022A (en) Motion picture error concealment using simplified motion compensation
Apostolopoulos Error-resilient video compression through the use of multiple states
EP2285122B1 (en) A method and device for reconstructing a sequence of video data after transmission over a network
US20050265615A1 (en) Simplified predictive video encoder
EP1811788A2 (en) Picture encoding method and apparatus and picture decoding method and apparatus
EP0901288A1 (en) Moving image coding method and apparatus
EP1908300B1 (en) Method and apparatus for the concealment of missing video frames
US6489996B1 (en) Moving-picture decoding method and apparatus calculating motion vectors to reduce distortion caused by error propagation
US5854799A (en) Video decoder with functions to detect and process errors in encoded video data
JPH09187007A (ja) 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器
US5557331A (en) Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
US6907071B2 (en) Selective prediction for intra-coding video data block
JP2007507128A (ja) 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化
EP1158812A2 (en) Method for detecting errors in a video signal
KR20020071754A (ko) 에러 은폐에 기초하여 디지털 이미지들을 코딩하는 방법
US7627042B2 (en) System, method, and apparatus for error recovery in coded video signals
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
US6356661B1 (en) Method and device for robust decoding of header information in macroblock-based compressed video data
KR100927353B1 (ko) 채널을 통해 전송되는 부호화된 비디오 신호에서 데이터손실들을 완화하는 비디오 부호화 및 복호 방법
JP2002077922A (ja) 画像制御システム及び画像復号化装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid