KR20080061379A - 비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및장치 - Google Patents

비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및장치 Download PDF

Info

Publication number
KR20080061379A
KR20080061379A KR1020087010008A KR20087010008A KR20080061379A KR 20080061379 A KR20080061379 A KR 20080061379A KR 1020087010008 A KR1020087010008 A KR 1020087010008A KR 20087010008 A KR20087010008 A KR 20087010008A KR 20080061379 A KR20080061379 A KR 20080061379A
Authority
KR
South Korea
Prior art keywords
matching
region
area
information
coded
Prior art date
Application number
KR1020087010008A
Other languages
English (en)
Inventor
다큉 장
진 왕
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20080061379A publication Critical patent/KR20080061379A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및 장치가 제공된다. 여기에서, 상기 코딩 방법은 한 영역에 대해 가장 매칭하는 영역의 관련 정보를 획득하는 단계로서, 상기 가장 매칭하는 영역 및 상기 영역은 모두 동일한 화상에 위치되는, 상기 관련 정보 획득 단계; 및 상기 가장 매칭하는 영역의 상기 관련 정보를 상기 영역을 포함하는 코딩된 비디오 스트림으로 코딩하는 단계를 포함한다. 본 발명의 에러 은폐에는, 코딩할 때 오직 수 개의 비트만이 더 필요할 뿐이며, 이에 의해 전체 화상은 디코딩 및 에러 은폐 동안 더욱 자연스럽고, 화상 품질은 또한 상당히 개선된다.
비디오 에러 은폐, 가장 매칭하는 영역, 관련 정보, 화상 품질, 비디오 스트림

Description

비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및 장치{CODING/DECODING METHOD AND APPARATUS FOR IMPROVING VIDEO ERROR CONCEALMENT}
본 발명은 비디오 코딩/디코딩 방법 및 장치에 관한 것으로서, 더욱 상세하게는, 비디오 에러 은폐(video error concealment)를 개선하기 위한 코딩/디코딩 방법 및 장치에 관한 것이다.
디지털 TV(SDTV/HDTV) 및 멀티미디어의 응용 프로그램에서, 상이한 요구들을 충족시키기 위해, MPEG(Motion Picture Experts Group), H.263, 및 퀵타임(Quicktime)과 같은 다양한 비디오 압축 표준들이 등장해 왔다. 이 표준들의 주된 목표는 압축된 비디오 스트림이 낮은 비트율과 양호한 품질을 갖도록 하는 것이다. 그러나, 코딩된 비디오 스트림 내의 산발적인 또는 인 버스트(in burst)의 비트 에러들 즉, 비트-스트림 에러들은 종종 디코더의 동기화 실패를 야기하고, 이 디코더는 다음 동기화 지점에 이르기 전까지는 기능할 수 없기 때문에, 화상 품질이 열화된다.
화상 품질의 열화를 피하기 위한 가능한 일 방법은, 디코딩 장치에서, 에러 은폐 기술을 이용하여 디코딩된 화상에 대해 에러들이 있는 부분들을 마스킹하는 것이다. 예를 들어, PCT 특허 공보 WO 2004/064397는 디코딩된 화상에 대한 에러 은폐 방법을 개시하고 있고, 이는 디코딩 프로세스 동안 인접한 블록들에 상대적인 픽셀 데이터 에러들이 있는 매크로블록(MB)에 대한 인트라-예측 모드(intra-prediction mode)를 구성하는 것을 포함하여, 예측된 픽셀 데이터가 에러를 보정하기 위하여 유도된다.
그러나, 디코딩 장치에 대한 에러 은폐 기술들의 효과들은 제한되어 있다. 예를 들면, 상기 PCT 특허에 대해, 그것은 단지 디코딩 프로세스 동안 인접한 블록들에 대한 하나 이상의 인트라-예측 모드들을 예측하기 때문에, 픽셀 데이터 에러를 갖는 MB와 인접한 MB 사이의 차이가 비교적 크다면, 화상의 품질은 이러한 방법의 에러 은폐 효과들에 의해 개선되지 않을 것이다.
에러 은폐에 대한 다른 고찰은 상이한 종류들의 코딩된 MB의 중요성이 다르다는 것이다. 예를 들어, MPEG-2에서, 코딩된 프레임은 3가지 유형들, 즉, I 프레임, P 프레임, 및 B 프레임으로 분류될 수 있다. 그러나, 화상의 시간적 중복성(Temporal redundancy)이 비교적 낮을 때, I 프레임, P 프레임, 또는 B 프레임 상의 MB 모두 인트라-코딩될(intra-coded) 필요가 있다. 인트라-코딩 프로세스는 주로 비트 에러에 의한 참조 화상의 플로팅(floating)이 현재 프레임에 영향을 주는 것을 막는데 이용되고, 인트라-코딩된 MB가 소실된 때 디코더가 그것을 은폐하는 것이 매우 어렵다. 따라서, 인트라-코딩된 MB가 일반적으로 인터-코딩된(inter-coded) MB보다 더욱 중요하다. 덧붙여, 비디오 데이터가 에러에 취약한(error-prone) 채널을 통해 전송될 때, 인트라-코딩된 MB가 화상 콘텐트의 일부 영역들을 갱신함으로써 비트 스트림의 비트 에러 견고성(robustness)을 개선하기 위해 이용될 수 있다. 따라서, 인트라-코딩된 MB들이 소실되거나 손상된 때, 인트라-코딩된 MB들을 더 잘 은폐하는 것이 더욱 요구된다.
MB의 유형이 무엇이든지, 상기 방법들은 인접한 MB들에 기초한 상이한 보간 또는 복사 기법들을 통해 에러들을 은폐한다. 이들 방법들은 하나의 가정에 기초하는데, 즉, MB들이 더 인접할수록, 그들의 콘텐츠들은 더욱 유사해진다는 것이다. 이 가정이 틀린 때, 에러 은폐는 원하는 효과들을 달성할 수 없다. 따라서, 디코딩 프로세스 동안 더욱 양호한 에러 은폐를 제공하기 위하여, 비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및 장치가 요구된다.
본 발명은 비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및 장치를 제공하며, 이에 의해 대체 MB는 원래의 것과 더욱 유사하고, 전체 화상은 더욱 자연스럽게 보이며, 화상의 품질은 크게 개선된다.
본 발명의 일 실시예에 따르면, 비디오 에러 은폐를 개선하기 위한 코딩 방법이 제공되며, 이는 한 영역에 대해 가장 매칭하는 영역의 관련 정보를 획득하는 단계로서, 상기 가장 매칭하는 영역 및 상기 영역은 모두 동일한 화상에 위치되는, 상기 관련 정보 획득 단계; 및 상기 가장 매칭하는 영역의 상기 관련 정보를 상기 영역을 포함하는 코딩된 비디오 스트림으로 코딩하는 단계를 포함한다.
본 발명의 다른 실시예에 따르면, 비디오 에러 은폐를 개선하기 위한 디코딩 방법이 제공되며, 이는 화상 내의 손상된 MB의 매칭 정보를 획득하는 단계로서, 상기 매칭 정보는 상기 화상 내의 적어도 하나의 매칭 영역을 나타내는 상기 획득 단계; 및 상기 매칭 정보에 따라 상기 손상된 MB를 상기 적어도 하나의 매칭 영역으로 대체하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따르면, 비디오 에러 은폐를 개선하기 위한 코딩 장치가 제공되며, 이는 한 영역에 대해 가장 매칭하는 영역의 관련 정보를 획득하기 위한 획득 장치로서, 상기 가장 매칭하는 영역 및 상기 영역은 동일 화상에 위치되는, 상기 획득 장치; 및 상기 가장 매칭하는 영역의 상기 관련 정보를 상기 영역을 포함하는 코딩된 비디오 스트림으로 코딩하기 위한 기록 장치를 포함한다.
본 발명의 또 다른 실시예에 따르면, 비디오 에러 은폐를 개선하기 위한 디코딩 장치가 제공되며, 이는 화상 내에 손상된 MB의 매칭 정보를 획득하기 획득 장치로서, 상기 매칭 정보는 상기 화상 내의 적어도 하나의 매칭 영역을 나타내는, 상기 획득 장치; 및 상기 매칭 정보에 따라 상기 손상된 MB를 상기 적어도 하나의 매칭 영역으로 대체하기 위한 대체 장치를 포함한다.
본 발명의 실시예에 따르면, 상기 가장 매칭하는 영역은 화상의 특정 범위에서 탐색 및 매칭을 통해 획득되고, 소실 또는 손상된 MB를 최고 매칭 대체 MB로 대체 한 후, 복구된 MB는 원래의 것과 더욱 유사하고, 화상의 품질은 크게 개선된다. 더욱이, 코딩할 때 오직 수 개의 비트가 비트 스트림에 부가될 뿐이어서, 코딩시의 증가된 부담은 무시할 수 있다.
본 발명의 다른 목적들 및 달성들은 첨부하는 도면들을 참조하여 본 발명의 상세한 설명들 및 청구항들을 통해 더욱 명백하게 될 것이며, 본 발명이 개략적으로 이해될 것이다.
수반되는 모든 도면들에서, 동일한 참조 번호들이 동일, 유사, 또는 대응하는 특성들 또는 기능들을 지시하도록 이용되었다.
도 1은 본 발명의 일 실시예에 따른 에러 은폐를 위한 코딩 방법의 순서도.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른, 하나의 MB의 상이한 분할 모드 그림들.
도 3은 본 발명의 다른 실시예에 따른 에러 은폐를 위한 코딩 방법의 순서도.
도 4는 MPEG-코딩된 화상에 대한 신택스 구조(syntactic structure)의 개략도.
도 5는 본 발명의 일 실시예에 따른 MPEG-코딩된 화상에 대한 신택스 구조의 개략도.
도 6은 본 발명의 일 실시예에 따른, 매칭 벡터 정보 또는 매칭 벡터가 없다는 정보를 슬라이스 헤더 세그먼트로 코딩하는 개략도.
도 7은 본 발명의 일 실시예에 따른 에러 은폐를 위한 디코딩 방법의 순서도.
도 8은 본 발명의 일 실시예에 따른 코딩 장치의 구조의 개략도.
도 9는 본 발명의 일 실시예에 따른 디코딩 장치의 구조의 개략도.
개선된 에러 은폐 기법이 본 발명의 일 실시예에서 제공된다. 코딩할 때, 코딩될 MB가 특정 모드를 통해 하나 이상의 서브-유닛들로 나누어지고: 각각의 서브-유닛에 대해 가장 매칭하는 영역이 상기 모드 하에서 탐색되고; 가장 매칭하는 영역의 정보는 비트 스트림으로 코딩된다. 디코딩될 때, MB가 소실 또는 손상된다면, 소실 또는 손상된 MB의 가장 매칭하는 영역이 MB를 대체하는데 이용되는데, 대체된 서브-유닛은 원래의 것과 더욱 유사하고, 따라서 전체 화상은 더욱 자연스럽게 보이고, 반면 화상의 품질이 또한 크게 개선된다.
인트라-코딩된 MB는 다른 MB들보다 더욱 중요하기 때문에, 본 발명의 에러 은폐 개선을 위한 코딩은 I 프레임, P 프레임, 및 B 프레임 상의 인트라-코딩된 MB들에 수행될 수 있고, 코딩 효율이 최적으로 향상될 수 있으며, 이에 의해 더욱 바람직한 은폐 효과들을 달성할 수 있다. 그러나, 그것은 본 발명을 인트라-코딩된 MB에 한정하는 것은 아니다. 본 발명은 본 명세서의 내용을 이해한 후 당업자에 의해 순방향 코딩, 양방향 코딩, 또는 다른 코딩 방법들에 대한 MB들에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 에러 은폐를 개선하기 위한 코딩 방법의 순서도이다. 이 실시예에서, 가장 매칭하는 영역은 모든 미리 결정된 모드들을 통해 탐색된다.
먼저, S110 단계에서, 미리 결정된 모드에 따라, 현재 화상 내에서 코딩될 현재 MB에 가장 매칭하는 영역이 이 탐색 모드 하에서 탐색된다. 소위 모드는 코딩될 현재 MB의 분할 방식이다. 코딩될 MB는 특정 분할 모드하에서 하나 이상의 상이한 서브-유닛들로 분할된다. 각각의 서브-유닛에 관해, 가장 매칭하는 영역이 현재 화상 내에서 탐색된다. 본 발명의 일 실시예에 따라, 탐색 프로세스는 다음과 같이 수행될 수 있다: 먼저, 탐색될 서브 유닛과 동일한 크기를 갖는 탐색 창을 정의하고; 그 후, 현재의 서브-유닛과 가장 적은 차이를 갖는 영역을 찾기 위하여 탐색 창으로 현재 화상을 여기저기 돌아다닌다.
분명, 당업자는 탐색 창이 또한 현재 화상 내의 특정 크기를 갖는 영역을 여기저기 돌아다니도록 이용될 수 있고, 이는 사용자에 의해 예컨대, 탐색될 서브-유닛과 함께 특정 크기를 갖는 장방형 영역이 중심으로서 설정될 수 있고, 이에 의해 코딩을 위한 계산량들이 적절히 감소될 수 있다.
화상들의 상이한 복잡도에 기인하여, 오직 하나의 분할 모드가 이용된다면 바람직한 결과들이 모든 MB들에 대해 달성될 수 있는 것은 아니다. 따라서, 본 발명의 일 실시예에 따라, 다양한 모드들이 탐색을 위해 조합될 수 있어, 얻어진 가장 매칭하는 영역은 원래의 화상에 더욱 유사하다. 예를 들어, 많은 분할 모드들은 미리 결정될 수 있다. 하나의 미리 결정된 모드로 탐색 프로세스가 종료된 때, S120 단계에서, 미리 결정된 모드들 모두로 탐색 프로세스들이 종결된 것인지의 여부를 결정한다. 종결되지 않았다면, S130 단계에서, 탐색되지 않은 미리 결정된 모드로 진입하여 탐색한다. 이것은 미리 결정된 모드들 전부가 탐색되는 때까지 반복된다.
도 2a 내지 도 2d는 하나의 MB의 분할 모드들의 4 가지 가능한 예들을 보여준다. 도 2a에 도시된 모드에서, 코딩될 MB는 하나의 서브-유닛으로 간주되고 탐 색된다; 반면 도 2b 및 도 2c에 도시된 모드에서 코딩될 MB는 2 개의 서브-유닛들로 수평으로 및 수직으로 각각 분할되어 있다; 그리고, 도 2d에 도시된 모드에서, 코딩될 MB는 평균하여 4 개의 서브-유닛들로 분할되고, 각각의 서브-유닛이 개별적으로 탐색된다.
본 발명에 대해, 많은 탐색 모드들이 있고, 이들은 앞서 열거된 4 개의 모드들에 제한되지 않는다. 예를 들어, 코딩될 MB는 더욱 정교하게 나누어질 수 있고, 여기에서 분할은 균등하게 또는 불균등하게 수행될 수 있고, 또는 다수의 MB들이 탐색될 전체로 간주될 수 있다. 본 발명의 일 실시예에 따라, 그것은 도 2a 내지 도 2d에 도시된 바와 같은 4 개의 모드들을 통해 탐색될 수 있고, 각각의 모드의 시퀀스는 앞서서 고정될 수 있고 또는 랜덤할 수 있다.
S140 단계에서, 모든 분할 모드들로부터 얻어진 결과들을 비교하고, 코딩될 MB에 대한 가장 매칭하는 영역으로서 코딩될 MB와 가장 작은 차이를 갖는 영역을 선택한다. 개별적인 모드들의 결과들을 비교하기 위하여, 각각의 서브-유닛과 가장 매칭하는 영역 사이의 차이는 먼저 각각의 분할 모드 하에서 획득된다. 이 차이는 본 발명의 실시예에 따라 다양한 형태들로 표현될 수 있고, 이 차이는 차의 절대값의 합(sum of absolute difference; SAD)으로서 표현될 수 있다. 즉:
Figure 112008029880616-PCT00001
여기에서, x는 MB 내 픽셀의 가로좌표(abscissa)를 나타낸다; X는 MB 내의 서브-유닛으로서 선택된 영역의 폭을 나타낸다; y는 MB 내 픽셀의 세로좌 표(ordinate)를 나타낸다; Y는 MB내 서브-유닛으로 선택된 영역의 높이를 나타낸다; Bma(x,y)는 코딩될 MB 내 (x,y) 좌표를 갖는 픽셀의 휘도 성분값(luminance component value)을 나타낸다; Brf(x,y)는 탐색된 매칭 MB 내의 (x,y) 좌표를 갖는 픽셀의 휘도 성분값을 나타낸다. SAD의 계산들에 대해, 일반적으로 오직 Y 휘도 성분이 이용된다는 것을 주의한다; 분명, 계산 복잡도가 고려되지 않는다면, 추가적인 두 성분들 즉, 색 정보 내의 채도 성분(chroma information)(U) 및 색 정보 내의 변색 정보(chromatism information)(V)가 또한 이용될 수 있다.
차이는 또한 평균절대차(MAD)로서 표현될 수 있다. 즉,
Figure 112008029880616-PCT00002
여기에서, x는 MB 내 픽셀의 가로좌표를 나타낸다; X는 MB 내의 서브-유닛으로서 선택된 영역의 폭을 나타낸다; y는 MB 내 픽셀의 세로좌표를 나타낸다; Y는 MB내 서브-유닛으로 선택된 영역의 높이를 나타낸다; Bma(x,y)는 코딩될 MB 내 (x,y) 좌표를 갖는 픽셀의 휘도 성분값을 나타낸다; Brf(x,y)는 탐색된 매칭 MB 내의 (x,y) 좌표를 갖는 픽셀의 휘도 성분값을 나타낸다. SAD의 계산들과 유사하게, MAD의 계산들에 대해, 추가적인 두 성분들 즉, 색 정보 내의 채도 성분(U) 및 색 정보 내의 변색 정보(V) 없이 일반적으로 오직 Y 휘도 성분이 이용된다는 것을 주의한다.
각각의 서브-유닛과 가장 매칭하는 영역 사이의 차이가 구해진 후, 코딩될 MB의 차이값이 이들 차이들(MAD)을 서로 더함으로써 구해질 수 있다. 상이한 분할 모드들에서 산출되고 구해진, 코딩될 MB의 차이값들이 비교된다. 분할 모드 하에서 가장 작은 값을 갖는 하나 이상의 가장 매칭하는 영역들은 코딩될 MB의 가장 매칭하는 영역(들)이다. 상이한 모드들로 인해, 코딩될 MB의 가장 매칭하는 영역들의 그룹이 코딩될 전체 화상에서 분포될 수 있다.
다양한 모드들이 탐색 프로세스에 대해 이용되더라도, 얻어진 가장 매칭하는 영역은 또한 원래 화상과 상당한 차이들을 가질 수 있다. 이 경우, 에러 은폐 단계는 기대된 결과들을 달성할 수 없다. 코딩된다면, 많은 비효율적인 코딩 연산들이 부가되고, 리소스들의 낭비를 초래한다. 따라서, S140 단계에서 얻어지는 가장 매칭하는 영역들이 코딩 효율을 개선하기 위하여 필터링될 수 있다.
S150 단계에서, 가장 매칭하는 영역과 원래 화상 사이의 차이가 미리 결정된 문턱값과 비교되고, 그 차이가 문턱값의 조건을 만족하면 즉, 문턱값보다 작거나 같다면, 이 모드 하에서의 가장 매칭하는 영역의 정보가 S160 단계에서 코딩된 비디오 스트림으로 코딩된다. 그 차이가 문턱값을 초과하면, 가장 매칭하는 영역이 없음을 나타내는 정보가 S170 단계에서 코딩된 비디오 스트림으로 코딩된다. 마지막으로, 상기 코딩 프로세스가 종료된다.
본 발명의 실시예에 따라, 코딩될 MB의 가장 매칭하는 영역들을 필터링하기 위한 문턱값은 실제 조건들 및 실험에 따라 구해지는 경험치일 수 있다. 예를 들어, 문턱값은 2 ×W ×H로 설정될 수 있는데, 여기에서 W, H는 이용된 서브-유닛의 폭과 높이다. 그렇지 않으면, MB의 거의 두 배값이 문턱값으로 이용될 수 있다. 예를 들어, MB가 16 ×16이라면, 문턱값은 512 또는 약 512 정도일 수 있다. 분명, 문턱값을 구하기 위한 많은 방법들이 있고, 따라서 이는 여기에서 일일이 설명하지 않을 것이다.
본 발명의 실시예에 따라, 가장 매칭하는 영역의 정보는 모드 정보 및 이 모드 하에서 가장 매칭하는 영역을 향하는 하나 이상의 움직임 벡터들을 포함한다. 서브-유닛의 특징적인 정보 예컨대, 하나의 MB, 하나의 MB의 상부 절반, 또는 하나의 MB의 상부 좌측의 1/4 영역이 모드 정보를 통해 얻어질 수 있다. 가장 선호되는 영역의 위치가 움직임 벡터를 통해 얻어질 수 있다. 가장 매칭하는 영역의 정보는 또한 예컨대, 하나의 상부 지점의 위치와 가장 매칭하는 영역의 폭과 높이를 직접 제공함으로써, 다른 많은 방법들에 의해 표현될 수 있으며, 이는 여기에서 장황하게 설명되지 않을 것이다.
본 발명의 실시예에 따라, 가장 매칭하는 영역이 없음을 나타내는 정보는 비트 스트림 내의 특정 위치의 부호일 수 있다. 예를 들어, 부호 비트(sign bit)가 0이면 그것은 가장 매칭하는 영역이 없음을 나타내고; 부호 비트가 1이면, 그것은 가장 매칭하는 영역이 있음을 나타낸다.
바람직한 효과가 상기 실시예에서 얻어질 수 있으나, 코딩 단말의 제한된 계산 능력 및 요구되는 더 빠른 코딩 속도를 고려하는 경우, 문턱값에 대한 직접 필터링이 또한 수행될 수 있는데, 즉 하나의 미리 결정된 모드가 탐색된 후 각각의 경우에 그것이 문턱값과 비교될 것이고, 문턱값의 조건이 만족된다면, 탐색은 더 이상 수행되지 않을 것이다. 따라서, 모든 미리 결정된 모드들이 탐색될 필요가 있는 것은 아니다.
본 발명의 다른 실시예에 따라, 도 3은 에러 은폐를 개선하기 위한 코딩 방법의 순서도이다. 이 방법에서, 탐색은 이 모드 하에서 코딩될 MB의 모든 서브-유닛들에 대한 가장 매칭하는 영역들을 얻기 위해 특정 모드로 수행된다. 이후, 이 모드 하에서, 모든 서브-유닛들에 대한 가장 매칭하는 영역들의 차이들이 개별적으로 문턱값 이하인지의 여부가 결정된다. 만약 문턱값 이하라면, 가장 매칭하는 영역의 정보가 코딩된 비디오 스트림으로 코딩되고; 그렇지 않다면 탐색은 문턱값 조건을 만족하는 가장 매칭하는 영역이 발견될 때까지 또는 모든 미리 결정된 모드들이 탐색될 때까지 다른 모드들에서 수행된다. 따라서, 문턱값 조건이 만족된다면, 코딩 프로세스는 수행될 수 있고, 이는 계산량을 크게 감소시키고 코딩 속도를 증가시킬 것이다.
본 발명의 다른 실시예에 따르면, 모든 서브-유닛들에 대한 가장 매칭하는 영역들의 차이들이 각각 문턱값 이하인지의 여부를 결정하는 대신, 서브-유닛들의 일부(예를 들면, 75% 이상)에 대한 가장 매칭하는 영역들의 차이들이 각각 문턱값 이하인지가 또한 결정될 수 있다.
이 실시예에서 단계들 S310, S330, S340, S350, S360, 및 S370은 도 1에 도시된 실시예의 단계들 S110, S120, S130, S160, S170, 및 S180과 유사하며, 여기에서 장황하게 설명하지 않을 것이다.
S320 단계에서, 이 모드 하에서 코딩될 MB의 각각의 서브-유닛과 그것의 최대 매칭 영역 사이의 차이가 미리 결정된 문턱값과 비교된다. 모든 서브-유닛들의 차이들이 문턱값 이하이면, 다음 S350 단계로 진행한다. 문턱값 조건이 만족되지 않으면, S330 단계로 돌아가고, 탐색은 다른 미리 결정된 모드들로 수행된다. 미리 결정된 모드들 모두가 탐색되면, 그것은 S360 단계로 진행하고, 매칭 영역이 없다는 정보가 코딩된 비디오 스트림으로 코딩된다.
이러한 실시예에서, S320 단계에서 문턱값은 서브-유닛의 크기와 관련 있다. 예를 들어, 도 2a에 도시된 탐색 모드에 대해, MB의 크기가 16 ×16이고 서브 유닛의 크기가 또한 16 ×16이라면, 문턱값은 여전히 512이다. 도 2b에 도시된 바와 같은 탐색 모드에서, 서브-유닛의 크기가 16 ×8이고 128 개의 픽셀들이 있다면, 문턱값은 512/2=256으로 구해질 수 있다. 유사하게, 도 2c에 도시된 탐색 모드에서, 문턱값은 또한 512/2=256일 수 있고, 도 2d에 도시된 탐색 모드에서 문턱값은 512/4=128일 수 있다.
최대 매칭 영역의 정보를 비디오 스트림으로 코딩하는 방법이 이하에서 자세히 설명된다. 더욱 상세하게는, MPEG 코딩을 예를 들어, 본 발명의 기법이 인트라-코딩된 MB에만 적용되었다는 전제 조건을 가진 특정 코딩 방법이 설명될 것이다.
도 4는 일반적인 MPEG-코딩된 화상의 신택스 구조(syntactic structure)의 개략도이다. 도 4에 도시된 바와 같이, 완전한 비디오 정보 블록들 외에도, 각각의 화상은: 화상 헤더 세그먼트(picture header segment), 슬라이스 헤더 세그먼트(slice header segment), 및 MB 헤더 세그먼트(MB header segment)를 더 포함한다. 부가적으로, MB의 MB 헤더 각각은 MB가 인트라-코딩되었는지 또는 인터-코딩되었는지를 나타내는 정보(미도시)를 포함한다.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따라, 슬라이스 내 인트라-코딩된 MB를 나타내는 매칭 정보가 각각의 슬라이스의 슬라이스 헤더로 코딩된다. MPEG 표준에서, 표준에서 요구되는 필수적인 정보 이외에, 보유된 필드(retained field)가 또한 원하는 다른 정보를 코딩하기 위하여 슬라이스 헤더 세그먼트 내에 더 포함된다. 이 실시예에서, 그와 같은 보유 필드는 슬라이스 내의 각각의 인트라-코딩된 MB에 대해 가장 매칭하는 영역 및 가장 바람직한 매칭 벡터 정보가 있는지 나타내는데 이용된다.
도 6은 인트라-코딩된 MB의 매칭 영역의 정보, 매칭 벡터 정보 등을 슬라이스 헤더 세그먼트로 코딩의 개략도이다. 슬라이스 헤더 세그먼트로 코딩된 모든 관련 정보는 인트라-코딩된 MB 매칭 정보를 구성하고, 이는 가변 길이의 비트들의 시퀀스를 포함하고, 특히 부호 (1): 인트라-코딩된 MB가 존재하는지의 여부, 긍정이라면, 인트라-코딩된 MB의 위치가 표시되고, 부호 (2)인트라-코딩된 MB와 매칭하는 영역이 존재하는지의 여부, 긍정이라면 인트라-코딩된 MB의 분할 모드 정보 및 최대 매칭 영역을 향하는 움직임 벡터가 비트 스트림으로 코딩되는 것을 포함한다.
부호 (1)의 제 1 비트 즉, Intra_MB_existing_flag(도 1 참조)가 부호 인트라-코딩된 MB가 존재하는지의 여부를 나타내는데 이용된다.
표 1: 인트라-코딩된 MB가 존재하는지의 여부를 나타내기 위한 부호들의 코드 표
Code Intra_MB_existing_flag
0 부존재
1 존재
인트라-코딩된 MB가 존재한다면, 즉 Intra_MB_existing_flag가 1이라면, 다 음 인접한 5 개의 비트들은 인트라-코딩된 MB의 위치 즉, Intra_MB_position(표 2 참조)을 나타내는데 이용되고; 존재하지 않는다면, Intra_MB_existing_flag는 0이다.
표 2: Intra_MB_existing_flag가 1일 때, 현재 슬라이스 내의 인트라-코딩된 MB 위치 정보의 코드 표
5 비트 코드 Intra_MB_position
00001 슬라이스 헤더 뒤로 1번째 MB
00010 슬라이스 헤더 뒤로 2번째 MB
00011 슬라이스 헤더 뒤로 3번째 MB
00100 슬라이스 헤더 뒤로 4번째 MB
..... ....
10000 슬라이스 헤더 뒤로 16번째 MB
..... .....
11111 슬라이스 헤더 뒤로 31번째 MB
부호 (2)의 제 1 비트는 또한 인트라-코딩된 MB에 매칭하는 영역이 있는지의 여부를 나타내기 위한 부호의 비트 즉, Matching_area_existing_flag(표3에 도시)이다.
표 3: 현재 화상에 인트라-코딩된 MB에 대한 매칭 영역이 있는지의 여부를 나타내기 위한 부호의 코드 표
코드 Matching_area_existing_flag
0 부존재
1 존재
만약 존재한다면, 즉, Matching_area_existing_flag가 1이라면, 다음의 코드 비트들은 인트라-코딩된 MB를 분할하기 위한 모드 즉, MB_division_mode_type을 나타내는데 이용되며, 이는 또한 표 4를 참조하면 서브-유닛의 특성 정보이다.
표 4: Matching_area_existing_flag가 1일 때, MB 분할 모드의 코드 표
코드 MB_division_mode_type
00 모드 a
01 모드 b
10 모드 c
11 모드 d
도 2a 내지 도 2d에 도시된 4 가지 유형의 모드들에 대하여, 이진 코드의 2 비트들은 4가지 유형의 모드들 모두 예컨대, 모드 a, 모드 b, 모드 c, 및 모드 d를 나타내는데 이용될 수 있다. 4 개 이상의 유형들의 모드들이 이용된다면, MB_division_mode_type의 비트 수는 대응하여 증가될 것이다.
부호 (2)의 말단에는 이 모드하에서 생성된 인트라-코딩된 MB의 서브-유닛 각각에 대한 가장 매칭하는 영역을 향하는 벡터가 있으며, 이는 수평 벡터 즉, horizontal_vector, 및 수직 벡터 즉, vertical_vector를 포함한다(표 5 참조).
표 5: 인트라 코딩된 MB의 서브-유닛 각각에 매칭하는 움직임 벡터의 코드 표
6 비트 코드 horizontal_vector 6 비트 코드 vertical_vector
000001 1 000001 1
000010 2 000010 2
000011 3 000011 3
000100 4 000100 4
...... ...... ...... ....
100000 32 100000 32
...... ...... ...... ....
111111 63 1111111 63
표 6에 도시된 바와 같은 MPEG 슬라이스 헤더의 신택스(syntax)에 따르면, 인트라-코딩된 MB의 매칭 정보의 8 개의 비트들 각각은 한 바이트를 구성하고, 여분의 정보 세그먼트로서 즉, extra_information-slice로서 기능하고, 말단 부분에 8개 미만의 나머지 비트들은 완전한 바이트를 형성하기 위하여 패딩 비트들(padding bits)(1과 같은)로 보충된다. 여분의 정보 세그먼트는 "1"인 각각의 여분의 비트 세그먼트 뒤에 즉, extra_bit_slice 뒤에 삽입된다. 예를 들어, 하나의 인트라-코딩된 MB는 4 개의 서브-유닛들로 분할되고, 1(인트라-코딩된 MB의 존재)+5(인트라-코딩된 MB의 위치)+1(매칭 영역의 존재)+2(총 4 개 형식의 미리 결정된 모드들)+12(수평 및 수직 벡터들)×4(서브-유닛들의 수)=57개의 비트들을 포함하고, 총 8 바이트인 64 비트들을 형성하도록 보충을 위해 7 패딩 비트들(1과 같은)을 포함한다. 다음, 그것은 MPEG의 신택스에 따라 슬라이스 헤더로 코딩된다. extra_information_slice에 관련된 콘텐트 및 관련 신택스는 관련 MPEG 표준들에 참조될 수 있다.
표6: 슬라이스 헤더의 신택스
slice() 비트들 기억용 코드
slice_start_code 32 Bslbf
If(vertical_size>2800)
slice_vertical_position_extension 3 Uimsbf
if(<sequence_scalable_extension() is present in the bitstream>)
If(scalable_mode=="data partitioning"
priority_breakpoint 7 Uimsbf
Quantiser_scale_code 5 Uimsbf
If(nextbits()=='1'){
intra_slice_flag 1 Bslbf
Intra_slice 1 Uimsbf
reserved_bits 7 Uimsbf
while(nextbits()=='1'){
extra_bit_slice/*with the value "1"*/ 1 Uimsbf
extra information slice 8
}
}
extra_bit_slice/*with the value "0"*/ 1 Uimsbf
do{
macroblock()
} while(nextbits()!='000 0000 0000 0000 0000 0000')
next_start_code()
}
MPEG 표준의 상기 특정 예를 통해, 인트라-코딩된 MB의 매칭 정보를 비디오 스트림에 포함하는 방법이 설명된다. 물론, 상기 예에서, 많은 대체 기법들이 있다. 예컨대, 인트라-코딩된 MB의 매칭 정보가 화상의 헤더 세그먼트 또는 MB의 헤더 세그먼트로 코딩될 수 있고, 또는 여분의 정보 세그먼트가 "0"으로 보충될 수 있다. 다른 비디오 압축 표준들에 대해 예컨대, H.263 또는 QuickTime에 대해, 신택스 및 관련 요건들이 MPEG의 것들과는 다르며, 여기에서 인트라-코딩된 MB의 매칭 정보는 상이한 표준들에 따라 비디오 스트림의 상이한 위치들로 코딩될 수 있다는 것을 주의해야 한다.
도 7은 본 발명의 실시예에 따른 비디오 디코딩을 위한 순서도이다. 비디오 스트림내의 인트라-코딩된 MB의 매칭 정보에 따라, 가장 매칭하는 영역이 존재하는 때, 에러 은폐 프로세스가 소실된 또는 손상된 MB를 가장 매칭하는 영역으로 대체함으로써 수행된다.
먼저, 단계 S710에서, 압축된 비디오 데이터가 미리 결정된 표준에 따라 디코딩된다. 압축된 비디오 스트림이 가변 길이 디코딩(variable length decoding; VLD) 처리된 후, 인트라-코딩된 MB의 매칭 정보가 소실된 또는 손상된 MB에 대해 얻어진다. S720 단계에서, 구해진 인트라-코딩된 MB의 매칭 정보로부터 MB에 매칭 영역이 존재하는지의 여부가 결정된다. 긍정이라면, 예컨대 Matching_area_existing_flag이 1이라면, 그 영역은 단계 S730에서 소실된 또는 손상된 MB를 대체하는데 이용된다.
MB가 다수의 서브-유닛들로 분할되면, 서브-유닛 각각의 가장 매칭하는 영역이 소실된 또는 손상된 MB의 대응하는 서브-유닛을 대체하는데 각각 이용된다. 그 렇지 않으면, 소실된 인트라-코딩된 MB에 대응하는 가장 매칭하는 영역이 존재하지 않는다면, 예컨대 Matching_area_existing_flag가 0이라면, 단계 S740에서, 에러 은폐는 소실된 인트라-코딩된 MB에 대해 종래의 방법으로 예컨대, 소실된 MB의 주변 화상들로 예측 모드(predicition mode), 보간, 또는 복사하여 새로운 디코딩 화상을 형성하는 방법으로 수행된다. 그 후, 비디오 화상이 단계 S750에서 디스플레이된다. 마지막으로, 화상의 디코딩 프로세스가 종료된다.
도 8은 본 발명의 실시예에 따른 코딩 장치의 개략도이다. 코딩 장치(800)는 획득 장치(805) 및 기록 장치(830)를 포함하고, 도면에서 실선으로 도시된 바와 같이, 획득 장치(805)는 탐색 장치(810)를 포함한다. 탐색 장치(810)는 특정 모드 하에서 현재 화상 내의, 코딩될 각각의 MB의 각각의 서브-유닛에 대한 가장 매칭하는 영역을 탐색하는데 이용된다. 기록 장치(830)는 가장 매칭하는 영역 정보를 비트 스트림으로 기록하는데 이용된다.
본 발명의 MPEG 코딩을 이용한 실시예에 따르면, 본 발명의 코딩 방법은 오직 인트라-코딩된 MB에 적용된다. 기록 장치(830)는 인트라-코딩된 MB가 존재하는지의 여부를 나타내는 정보, 인트라-코딩된 MB의 위치 정보, 가장 매칭하는 영역이 존재하는지의 여부를 나타내는 정보, 분할 모드 정보, 및 가장 매칭하는 영역의 위치 정보를 순차적으로 슬라이스의 슬라이스 헤더 세그먼트으로 코딩하는데 이용되어, 화상의 코딩을 완성한다. 특히, 수평 및 수직 벡터들을 포함하는 움직임 벡터 정보가 가장 매칭하는 영역의 위치를 나타내는데 이용된다.
본 발명의 실시예에 따라, 획득 장치(805)는 또한 결정 장치(820)를 포함한 다. 결정 장치(820)는 탐색 장치(810)에 의해 구해진 가장 매칭하는 영역과 코딩될 대응하는 MB의 서브-유닛 사이에 차이가 문턱값의 조건, 즉, 문턱값 이하를 만족하는지의 여부를 결정하는데 이용된다. 상기 조건이 만족되면, 대응하는 가장 매칭하는 영역의 정보는 기록 장치(830)로 전달된다.
본 발명의 실시예에 따라, 탐색 장치(810)에서, 다수의 분할 모드들이 미리 결정된다. 특정 모드에서의 탐색 프로세서가 종료되면, 모든 분할 모드들이 실행될 때까지, 탐색 장치(810)는 실행되지 않은 다른 미리 결정된 분할 모드들로 계속해서 탐색한다. 탐색 장치(810)는 개별적인 분할 모드들의 탐색 결과들을 비교하고, 모든 분할 모드들 가운데 코딩될 MB와 가장 작은 차이를 나타내는 가장 매칭하는 영역의 정보를 결정 수단(820)으로 전달한다.
결정 수단(820)이 가장 매칭하는 영역 정보가 문턱값 조건을 만족한다고 결정한다면, 가장 매칭하는 영역의 정보가 기록 수단(830)으로 전달된다. 그렇지 않으면, 기록 장치(830)에 문턱값 조건을 만족하는 매칭 영역이 없음을 알린다. 기록 장치(830)는 문턱값 조건을 만족하는 매칭 영역이 없다는 정보를 정보 세그먼트로 코딩하고, 이에 의해 화상의 코딩을 종료한다.
본 발명의 다른 실시예에 따르면, 탐색 장치(810)에서, 많은 분할 모드들이 미리 결정된다. 특정 모드 하에서의 탐색 프로세스가 종료되면, 탐색 장치(810)는 가장 매칭하는 영역의 획득된 정보를 결정 장치(820)로 전달한다. 가장 매칭하는 영역의 정보가 문턱값 조건을 만족한다고 결정 장치(820)가 결정하면, 가장 매칭하는 영역의 정보는 기록 장치(830) 내로 전달된다. 문턱값 조건이 만족되지 않으 면, 모든 분할 모드들이 실행될 때까지, 탐색 수단(810)으로 돌아가 다른 실행되지 않은 미리 결정된 분할 모드들에 대해 탐색을 계속한다(도면에서 점선으로 표시된 바와 같음).
모든 분할 모드들이 수행된 후, 문턱값 조건을 만족하는 매칭 영역이 없다면, 기록 장치(830)는 문턱값 조건을 만족하는 매칭 영역이 없다는 정보를 얻는다. 기록 장치(830)는 문턱값 조건을 만족하는 매칭 영역이 없다는 정보를 정보 세그먼트으로 코딩하고, 이에 의해 화상의 코딩을 종료한다. 상기 코딩 프로세스의 상세한 설명은 상기 코딩 방법의 설명을 참조하여 얻을 수 있다.
코딩 장치(800)는 이산 코사인 변환(DCT) 장치(840), 양자화기(Q, 850), 및 가변 길이 코딩(VLC) 장치(860)를 더 포함하고, DCT 장치(840)는 이산 코사인 변환을 수행하기 위하여 비디오 화상의 원래 시퀀스를 수신하는데 이용된다.
획득된 DCT 계수들에 대해, 양자화기(850)는 상이한 요건들에 따라 상이한 양자화 레벨들을 설정하여 비트율을 줄이는데 이용된다. 그러나, 양자화 이후, 특히 사람의 눈들의 생리학적 특성에 따른 저주파 성분 및 고주파 성분에 대한 상이한 양자화 레벨들을 설정한 후에, 고주파 성분들 대부분에 대한 계수는 0이 될 것이다. 일반적으로, 인간의 눈들은 저주파 성분에 더욱 민감하고, 고주파 성분에는 덜 민감하다. 따라서, 양자화는 저주파 성분에 대해 더욱 정밀하고, 고주파 성분에는 덜 정밀하다.
VLC 장치(860)는 양자화기(850)에 의해 제공되는 양자화 범위에 따라 양자화기로부터의 양자화 계수를 가변 길이 코드 예컨대, 허프만 코드(Huffman code)로 변환하여, 비트율이 감소될 수 있다. 반면, 기록 장치(830)는 매칭 정보를 압축된 비디오 스트림에 기록한다. 당업자는 기록 장치(830)가 또한 VLC 장치(860)에 포함될 수 있다는 것을 이해할 수 있을 것이다.
도 9는 본 발명의 실시예에 따른 디코딩 장치의 구조의 개략도이다. 디코딩 장치(900)는 프레임들 사이의 관련성을 이용하여 시간적 중복성(temporal redundancy)을 감소시키기 위해 움직임 보상 장치(910)를 포함한다. 움직임 보상은 본 발명의 특징은 아니기 때문에, 움직임 보상에 대한 상세한 내용은 여기에서 상세히 설명하지 않는다.
움직임 보상 장치(910)는 에러 은폐 장치(920)를 포함하고, 이는 현재 화상에서 소실된 또는 손상된 MB를 대체할 가장 매칭하는 영역들이 있는지 여부를 결정하는데 이용된다. 만약 대체할 가장 매칭하는 영역들이 있다면, 그 MB는 가장 매칭하는 영역으로 대체되고, 이에 의해 에러 은폐가 종결된다.
본 발명의 실시예에 따라, 에러 은폐 장치(920)는 손상된 MB의 매칭 정보를 비디오 스트림에서 얻기 위하여 획득 장치(930)를 포함할 수 있다. 매칭 정보는 손상된 MB를 대체하기 위한 가장 매칭하는 영역이 현재 화상에 있는지의 여부를 나타내는데 이용된다.
본 발명의 실시예에 따라, 에러 은폐 장치(920)는 소실 또는 손상된 MB를 대체하기 위한 대체 장치(940)를 더 포함한다. 손상된 MB를 대체할 가장 매칭하는 영역이 있다면, MB에 대한 모든 가장 매칭하는 영역들이 비트 스트림내의 분할 모드 정보 및 매칭 영역들의 위치 정보를 통해 획득될 수 있다. 다음, 가장 매칭하 는 영역들은 소실된 또는 손상된 MB를 대체하는데 이용되고, 이에 의해 에러 은폐가 종료된다. 이 부분에 대해, 앞서 자세히 설명되었고, 여기에서는 중복하여 설명하지 않을 것이다. 본 발명의 실시예에 따라, 가장 매칭하는 영역들이 존재하지 않는다면, 다른 종래의 일반적인 에러 은폐 방법들을 통해 처리될 수 있다.
디코딩 장치(900)는 가변 길이 디코딩 장치(VLD)(950), 역 양자화기(IQ)(960), 및 역 이산 코사인 변환 장치(IDVT)(970)를 더 포함한다. 디코딩 기능들은 도 8의 코딩 장치(800)의 VLC 장치(860), 양자화기(850), 및 DCT 장치(840)에 대응하며, 상세히 설명되지 않을 것이다.
본 발명의 기술적 내용 및 특징들이 앞서 설명되었지만, 당업자는 본 발명의 사상의 벗어나지 않고 변형들 및 변경들을 할 수 있을 것이다. 따라서, 본 발명의 보호 범위는 실시예에 한정되는 것이 아니며, 이하 청구항에서 규정되는 본 발명의 사상을 벗어나지 않는 변형들 및 변경들을 포함한다.

Claims (17)

  1. 비디오 에러 은폐(video error concealment)를 개선하기 위한 코딩 방법에 있어서,
    (a) 한 영역에 대해 가장 매칭하는 영역의 관련 정보를 획득하는 단계로서, 상기 가장 매칭하는 영역 및 상기 영역은 모두 동일한 화상에 위치되는, 상기 관련 정보 획득 단계; 및
    (b) 상기 가장 매칭하는 영역의 상기 관련 정보를 상기 영역을 포함하는 코딩된 비디오 스트림으로 코딩하는 단계를 포함하는, 비디오 에러 은폐 개선을 위한 코딩 방법.
  2. 제 1 항에 있어서,
    상기 영역은 매크로블록(macroblock; MB)인, 비디오 에러 은폐 개선을 위한 코딩 방법.
  3. 제 1 항에 있어서,
    상기 영역은 MB의 서브-유닛이고, 상기 가장 매칭하는 영역의 상기 관련 정보는 상기 서브-유닛의 특성 정보를 포함하는, 비디오 에러 은폐 개선을 위한 코딩 방법.
  4. 제 1 항에 있어서,
    상기 영역은 인트라-코딩된 영역(intra-coded area)인, 비디오 에러 은폐 개선을 위한 코딩 방법.
  5. 제 1 항에 있어서,
    상기 (a) 단계는:
    상기 화상의 특정 범위 내에서 상기 영역에 대해 상기 가장 매칭하는 영역을 탐색하는 단계; 및
    상기 가장 매칭하는 영역과 상기 영역 사이의 차이가 문턱값보다 작은지의 여부를 결정하는 단계를 더 포함하고,
    상기 (b) 단계는, 상기 결정 결과가 긍정적인 경우, 상기 가장 매칭하는 영역의 상기 관련 정보를, 상기 영역을 포함하는 상기 코딩된 비디오 스트림으로 코딩하는 단계를 포함하는, 비디오 에러 은폐 개선을 위한 코딩 방법.
  6. 비디오 에러 은폐를 개선하기 위한 디코딩 방법에 있어서,
    (a) 화상 내의 손상된 MB의 매칭 정보를 획득하는 단계로서, 상기 매칭 정보는 상기 화상 내의 적어도 하나의 매칭 영역을 나타내는, 상기 획득 단계; 및
    (b) 상기 매칭 정보에 따라 상기 손상된 MB를 상기 적어도 하나의 매칭 영역으로 대체하는 단계를 포함하는, 비디오 에러 은폐 개선을 위한 디코딩 방법.
  7. 제 6 항에 있어서,
    상기 손상된 MB는 인트라-코딩된 MB인, 비디오 에러 은폐 개선을 위한 디코딩 방법.
  8. 제 6 항에 있어서,
    상기 적어도 하나의 매칭 영역들 중 하나는 상기 손상된 MB의 일 서브-유닛에 대응하는, 비디오 에러 은폐 개선을 위한 디코딩 방법.
  9. 비디오 에러 은폐를 개선하기 위한 코딩 장치에 있어서,
    한 영역에 대해 가장 매칭하는 영역의 관련 정보를 획득하기 위한 획득 장치로서, 상기 가장 매칭하는 영역 및 상기 영역은 동일 화상에 위치하는, 상기 획득 장치; 및
    상기 가장 매칭하는 영역의 관련 정보를, 상기 영역을 포함하는 코딩된 비디오 스트림으로 코딩하기 위한 기록 장치를 포함하는, 비디오 에러 은폐 개선을 위한 코딩 장치.
  10. 제 9 항에 있어서,
    상기 영역은 매크로블록(MB)인, 비디오 에러 은폐 개선을 위한 코딩 장치.
  11. 제 9 항에 있어서,
    상기 영역은 MB의 서브-유닛이고, 상기 가장 매칭하는 영역의 관련 정보는 상기 서브-유닛의 특성 정보를 포함하는, 비디오 에러 은폐 개선을 위한 코딩 장치.
  12. 제 9 항에 있어서,
    상기 영역은 인트라-코딩된 영역인, 비디오 에러 은폐 개선을 위한 코딩 장치.
  13. 제 9 항에 있어서,
    상기 획득 장치는:
    상기 화상의 특정 범위 내에서 상기 영역에 대해 상기 가장 매칭하는 영역을 탐색하기 위한 탐색 장치; 및
    상기 가장 매칭하는 영역 및 상기 영역 사이의 차이가 문턱값보다 작은지의 여부를 결정하기 위한 결정 장치를 더 포함하고,
    상기 기록 장치는 상기 결정된 결과가 긍정인 경우, 상기 가장 매칭하는 영역의 관련 정보를, 상기 영역을 포함하는 코딩된 비디오 스트림으로 코딩하는, 비디오 에러 은폐 개선을 위한 코딩 장치.
  14. 비디오 에러 은폐를 개선하기 위한 디코딩 장치에 있어서,
    화상 내에 손상된 MB의 매칭 정보를 획득하기 획득 장치로서, 상기 매칭 정 보는 상기 화상 내의 적어도 하나의 매칭 영역을 나타내는, 상기 획득 장치; 및
    상기 매칭 정보에 따라 상기 손상된 MB를 상기 적어도 하나의 매칭 영역으로 대체하기 위한 대체 장치를 포함하는, 비디오 에러 은폐 개선을 위한 디코딩 장치.
  15. 제 14 항에 있어서,
    상기 획득 장치는 상기 적어도 하나의 매칭 영역의 움직임 벡터 정보를 획득하는, 비디오 에러 은폐 개선을 위한 디코딩 장치.
  16. 제 14 항에 있어서,
    상기 손상된 MB는 인트라-코딩된 MB인, 비디오 에러 은폐 개선을 위한 디코딩 장치.
  17. 제 14 항에 있어서,
    상기 적어도 하나의 매칭 영역들 중 하나는 상기 손상된 MB의 일 서브-유닛에 대응하는, 비디오 에러 은폐 개선을 위한 디코딩 장치.
KR1020087010008A 2005-09-26 2006-09-15 비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및장치 KR20080061379A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200510105033.3 2005-09-26
CN200510105033 2005-09-26

Publications (1)

Publication Number Publication Date
KR20080061379A true KR20080061379A (ko) 2008-07-02

Family

ID=37889208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087010008A KR20080061379A (ko) 2005-09-26 2006-09-15 비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및장치

Country Status (6)

Country Link
US (1) US20080260046A1 (ko)
EP (1) EP1949700A2 (ko)
JP (1) JP2009510822A (ko)
KR (1) KR20080061379A (ko)
CN (1) CN101578883A (ko)
WO (1) WO2007034385A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
CN103167281B (zh) * 2011-12-14 2017-02-08 深圳光启高等理工研究院 一种图像处理方法及其装置
EP3285492B1 (en) 2015-04-13 2021-06-02 Sony Corporation Reproduction device and reproduction method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
US6078616A (en) * 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
JP2003259369A (ja) * 2002-02-28 2003-09-12 Techno Mathematical Co Ltd 動画像の電子透かしを用いたエラー隠蔽方法
BRPI0413988A (pt) * 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para decodificar blocos intra-inter codificador hìbridos

Also Published As

Publication number Publication date
WO2007034385A3 (en) 2009-05-07
CN101578883A (zh) 2009-11-11
EP1949700A2 (en) 2008-07-30
WO2007034385A2 (en) 2007-03-29
US20080260046A1 (en) 2008-10-23
JP2009510822A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
US10397575B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
CN110024398B (zh) 针对屏幕远程处理场景的局部的基于散列的运动估计
EP1528813B1 (en) Improved video coding using adaptive coding of block parameters for coded/uncoded blocks
US8953678B2 (en) Moving picture coding apparatus
KR101202630B1 (ko) 비디오 코딩에 대한 시간 압축에서의 프래그먼트된 기준
US8379723B2 (en) Chroma motion vector processing apparatus, system, and method
US20040136457A1 (en) Method and system for supercompression of compressed digital video
EP1853069A2 (en) Decoding macroblock type and coded block pattern information
US20090190655A1 (en) Moving picture encoding apparatus
US20100232504A1 (en) Supporting region-of-interest cropping through constrained compression
EP1725043A2 (en) Selection of and access to MPEG sub-frames without re-encoding
JP2007266970A (ja) 動画像復号方法及び装置
US7945103B2 (en) Method and apparatus for decoding compressed and encoded digital images
US11212536B2 (en) Negative region-of-interest video coding
WO2007027010A1 (en) Apparatus and method of encoding video and apparatus and method of decoding encoded video
KR20080061379A (ko) 비디오 에러 은폐를 개선하기 위한 코딩/디코딩 방법 및장치
JPH08251597A (ja) 動画像符号化/復号化装置
EP1482449A2 (en) Method and apparatus for error tolerant decoding of compressed and encoded digital images
KR100210124B1 (ko) 영상복호화기의 데이터 디포맷팅 회로
JP2001112009A (ja) 動画像符号化装置および復号装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid