KR20070083993A - 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및장치 - Google Patents

비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및장치 Download PDF

Info

Publication number
KR20070083993A
KR20070083993A KR1020077010230A KR20077010230A KR20070083993A KR 20070083993 A KR20070083993 A KR 20070083993A KR 1020077010230 A KR1020077010230 A KR 1020077010230A KR 20077010230 A KR20077010230 A KR 20077010230A KR 20070083993 A KR20070083993 A KR 20070083993A
Authority
KR
South Korea
Prior art keywords
picture
picture area
area
error
similar
Prior art date
Application number
KR1020077010230A
Other languages
English (en)
Inventor
다큉 장
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070083993A publication Critical patent/KR20070083993A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법은 에러 존재 화상 영역 및 이웃 화상 영역을 포함하는 비디오 화상의 프레임을 수신하는 단계; 상기 비디오 화상의 기준 화상 프레임에서 미리 결정된 조건에 따라 상기 이웃하는 화상 영역에 대해 유사한 화상 영역을 검색하는 단계; 만약 상기 유사한 화상 영역이 발견되지 않으면 상기 비디오 화상 정보를 사용하여 상기 존재하는 에러들을 은닉하거나, 만약 상기 유사한 화상 영역이 발견되면 상기 기준 화상의 정보를 사용하여 상기 존재하는 에러들을 은닉하는 단계를 포함한다.
에러, 에러 은닉, 화상, 프레임

Description

비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및 장치{METHOD AND APPARATUS FOR CONCEALING ERRORS IN A VIDEO DECODING PROCESS}
본 발명은 비디오 화상들에서 에러들을 은닉(concealing)하기 위한 방법 및 장치들, 특히 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및 장치에 관한 것이다.
비디오 화상들은 일반적으로 I 프레임 화상(인트라 코딩 화상), P 프레임 화상(예측된 화상) 및 B 프레임 화상(양방향 또는 양방향 예측 화상)을 포함한다. I 프레임 화상은 다른 화상들을 참조하지 않고 인코딩되고 디코딩 및 재구성을 위하여 요구되는 필요한 정보 자체를 포함하며, 따라서 압축률은 매우 낮다. P 프레임 화상은 움직임 보상 예측 기술에 의해 P 프레임 화상 또는 I 프레임 화상을 인코딩하여 얻어지며, 그 압축률은 I 프레임 화상에 비해 훨씬 높다. B 프레임 화상은 P 화상 및 I 프레임 화상 사이의 양방향 보간 인코딩을 통하여 얻어지고 가장 높은 압축률을 가지며, B 프레임 화상의 에러들을 인코딩하는 것은 다른 화상들로 확산되지 않을 것이다.
비디오 디코딩 처리 동안, 비디오 출력의 품질은 만약 비디오 화상들에 너무 많은 에러 존재 화상 영역들(예를 들어 에러 매크로 블록, 에러 슬라이스 등)이 있 다면 감소하고, 심지어 시청자들의 시청 관심에 영향을 미칠 것이다. 그러므로, 비디오 출력 품질을 증가시키고 비디오 화상들에 에러들이 발생할 때 사용자의 시청 관심을 개선하기 위하여 에러 존재 화상 영역들에서 에러들을 은닉하는 것이 매우 필요하다.
기존 에러 은닉 기술들은 주로 2000년 6월 4일 Sofia Tsekeridou 등에 의한 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR TECHNOLOGY, VOL. 10의 "블록 매칭 원리에 기반한 MPEG-2 에러 은닉(MPEG-2 Error Concealment Based on Block-Matching Principle)"에 언급된 바와 같이, 공간적 에러 은닉 기술들 및 시간적 에러 은닉 기술들이다.
여기서 공간 에러 은닉 기술들은 화상 프레임에 에러 화상 영역이 있을 때 화상 프레임 정보가 에러들을 은닉하기 위하여 사용되는 것을 말한다. 예를 들어, 에러 화상 영역들의 에러들은 화상 프레임의 에러 화상 영역으로서 동일한 크기의 유효한(에러없는) 이웃 화상 영역을 사용하여 은닉된다. 시간 에러 은닉 기술들은 화상 프레임에 에러 화상 영역이 있을 때 화소 프레임의 기준 화상 정보가 에러들을 은닉하기 위하여 사용되는 것을 말한다.
기준 화상은 하나의 프레임 또는 에러 화상 전 화상들의 다수의 프레임들 중 하나의 프레임, 또는 하나의 프레임 또는 에러 화상 후 다수의 프레임들 중 하나의 프레임일 수 있고, 이들 기준 화상들은 버퍼에 저장된다.
상기된 두 종류의 에러 은닉 기술들에서, 비록 시간 방법들을 사용하는 에러 은닉 효과가 공간 방법들을 사용하는 에러 은닉 효과보다 약간 더 양호할지라도, 여전히 각각 대응하는 결함들을 가진다.
그러므로, 상기된 인용문 "블록 매칭 원리에 기반한 MPEG-2 에러 은닉(MPEG-2 Error Concealment Based on Block-Matching Principle)"에서, 두 종류의 방법들이 가능한 한 많이 단일 에러 은닉 방법에서 존재하는 결함들을 감소시키기 위하여 에러 화상 영역들을 은닉하기 위하여 결합된다는 것이 언급된다.
에러 화상 영역들을 은닉하기 위한 두 종류의 방법들을 결합한 방법은 시간 정보가 상대적으로 액티브인 경우 공간 방법들이 에러 화상 영역들에서 에러들을 은닉하기 위하여 사용되고; 및 공간 정보가 상대적으로 액티브인 경우 시간 방법들이 에러 화상 영역들에서 에러들을 은닉하기 위하여 사용되는 것을 언급한다. 그러나, 상기 결합은 단지 시간 도메인이 액티브인지 공간 도메인이 액티브인지 여부를 기반으로 하여 제한되고, 이것은 시간 방법들이 에러들을 은닉하기 위하여 사용되어야 할 때 공간 방법들이 사용되게 하므로, 따라서 에러 은닉 효과는 감소된다.
그러므로, 시간 방법들 및 공간 방법들이 비디오 디코딩 처리시 비디오 화상들에서 에러들을 보다 효과적으로 은닉하기 위하여 결합되도록, 비디오 디코딩 처리시 에러들을 은닉하기 위한 새로운 장치 및 방법을 제공하기 위한 필요성이 존재한다.
본 발명의 목적은 디코딩 처리시 비디오 화상들에서 에러들을 보다 효과적으로 은닉하기 위해 시간 방법들 및 공간 방법들을 결합하도록 비디오 디코딩 처리시 에러들을 은닉하기 위한 장치 및 방법을 제공하는 것이다.
본 발명에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법은 에러 존재 화상 영역 및 이웃하는 화상 영역을 포함하는 비디오 화상의 하나의 프레임을 수신하는 단계; 비디오 화상의 기준 화상의 하나의 프레임에서 미리 결정된 조건에 따라 이웃 화상 영역에 대해 유사한 화상 영역을 검사하는 단계; 및 만약 유사한 화상 영역이 발견되지 않으면 비디오 화상의 정보를 사용하여 존재하는 에러들을 은닉하는 단계를 포함한다.
상기 방법은 만약 유사한 화상 영역이 발견되면 기준 화상의 정보를 사용하여 존재하는 에러들을 은닉하는 단계를 더 포함한다.
본 발명에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 장치는 수신 수단, 검색 수단 및 공간 에러 은닉 수단을 포함한다. 수신 수단은 에러 존재 화상 영역 및 이웃 화상 영역을 포함하는 비디오 화상의 프레임을 수신하기 위하여 사용된다. 검색 수단은 비디오 화사의 기준 화상의 하나의 프레임에서 미리 결정된 조건에 따라 이웃하는 화상 영역에 대해 유사한 화상 영역을 검색하기 위하여 사용된다. 공간 에러 은닉 수단은 유사한 화상 영역이 발견되지 않으면 비디오 화상의 정보를 사용하여 존재하는 에러들을 은닉하기 위하여 사용된다.
상기 장치는 또한 만약 유사한 화상 영역이 발견되면 기준 화상의 정보를 사용하여 존재하는 에러들을 은닉하기 위하여 사용되는 시간 에러 은닉 수단을 포함한다.
본 발명에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및 장치는 첫째 비디오 화상에서 에러 화상 영역을 은닉하기 위한 비디오 화상 중 기준 화상의 정보를 검색하고, 정보가 미리 결정된 조건에 따라 발견되지 않는 경우, 비디오 화상의 정보를 사용하여 에러들을 은닉하고; 및 정보가 미리 결정된 조건에 따라 발견되는 경우 비디오 화상의 기준 화상 정보를 사용하여 에러들을 은닉하는 것이다.
그러므로, 본 발명은 시간 방법들이 에러들을 은닉하기 위하여 사용되어야 하는 동안 공간 방법들이 에러들을 은닉하기 위하여 사용되는 결함을 방지한다. 본 발명의 방법으로, 시간 도메인이 액티브일 때조차(예를 들어, 장면 변화, 기준 화상 정보 및 에러 존재 비디오 화상 정보 사이에 너무 많은 차이 등), 에러들은 에러들을 은닉하기 위한 정보가 기준 화상에서 발견되는 한 시간 방법들을 사용하여 은닉될 수 있다. 예를 들어, 사막에서 대초원으로 변화하는 배경을 가진 두 개의 연속적인 화상 프레임들에 동일한 사람이 있다. 비록 장면이 완전히 변화되었지만(시간 도메인이 액티브임), 사람의 옷들이 동일한 경우, 에러들을 은닉하기 위한 정보는 만약 에러 화상이 사람의 옷들에서 발생하면 기준 화상(시간 에러 은닉 방법으로)에서 발견될 수 있다.
본 발명의 다른 목적들 및 달성들은 명백하고 본 발명은 또한 도면들 및 청구항들과 관련하여 취해진 다음 상세한 설명을 참조하여 보다 잘 이해될 것이다.
본 발명은 도면들을 참조하여 예로서 상세히 설명될 것이다.
도 1은 본 발명의 실시예에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 장치의 개략도이다.
도 2는 본 발명의 실시예에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 유사한 화상 영역에 대한 검색 흐름도이다.
도 4는 본 발명의 실시예에 따른 시간 방법을 사용하여 에러 화상을 은닉하는 개략도이다.
동일한 참조 번호들은 모든 도면들에서 유사하거나 동일한 특징부들 및 기능들을 나타낸다.
도 1은 본 발명의 실시예에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 장치의 개략도이다. 장치(100)는 수신된 비디오 화상 정보의 에러들을 은닉하기 위하여 사용된다.
장치(100)는 수신 수단(110), 검색 수단(120) 및 실행 수단(140)을 포함한다.
수신 수단(110)은 하나 이상의 에러 존재 화상 영역들 및 각각의 에러 존재 화상 영역들 중 하나 이상의 이웃 화상을 포함하는 비디오 화상의 프레임을 수신하기 위하여 사용된다.
이웃 화상 영역은 에러 화상 영역의 바로 위, 바로 아래, 좌측 또는 우측에 바로 인접한 화상 영역일 수 있다. 에러 화상 영역의 크기가 16*16인 것을 가정하면, 이웃하는 화상 영역은 16*16이고 이웃하는 화상 영역은 유효 이웃 화상 영역이며, 용어 "유효"는 에러가 없음을 의미한다.
검색 수단(120)은 미리 결정된 조건에 따라 비디오 화상의 기준 화상의 하나의 프레임에서 이웃하는 화상 영역에 대해 유사한 화상 영역을 검색하기 위하여 사용된다.
검색 수단(120)은 위치 결정 수단(122), 습득 수단(124), 비교 수단(126) 및 결정 수단(128)을 포함한다.
위치 결정 수단(122)은 기준 화상에 이웃하는 화상 영역의 대응하는 화상 영역을 결정하기 위하여 사용된다.
습득 수단(124)은 대응하는 화상 영역을 포함하는 미리 결정된 화상 구역의 각각의 특정 화상 영역과 이웃 화상 영역 사이의 화소 차의 절대값들의 합을 얻기 위하여 사용되고, 특정 화상 영역은 이웃하는 화상 영역과 동일한 크기이다.
비교 수단(126)은 미리 설정된 임계값과 절대값들의 모든 합들의 절대값들중 가장 작은 합을 비교하기 위하여 사용된다.
결정 수단(128)은 절대값들의 합을 가진 특정 화상 영역이 비교 결과 및 미리 결정된 조건에 따라 유사한 화상 영역인지를 결정하기 위하여 사용된다.
여기서, 미리 결정된 조건은 만약 절대값들의 가장 작은 합이 미리 설정된 임계값보다 크면, 절대값들의 가장 작은 합을 가진 특정 화상 영역이 유사한 화상 영역이 아니고; 만약 절대값들의 가장 작은 합이 미리 설정된 임계값보다 작으면 절대값들의 가장 작은 합을 가진 특정 화상이 유사한 화상 영역인 것일 수 있다.
미리 설정된 임계값은 검사를 통하여 제공자에 의해 미리 제공되고 일반적으로 에러 존재 화상 영역의 크기에 따라 설정된다. 예를 들어, 에러 화상 영역의 크기는 16*16이고 미리 설정된 임계값은 4*16*16으로 설정될 수 있다.
여기서 미리 결정된 화상 구역은 대응하는 화상 영역 상에 집중되고 주변으로 확장하는 미리 결정된 구역이고, 상기 구역의 크기는 제공자에 의해 미리 설정되고 일반적으로 128*128이다. 대응하는 크기의 미리 결정된 구역은 또한 에러 존재 화상 영역의 크기에 따라 선택될 수 있다. 예를 들어, 16*16의 크기를 가진 에러 화상 영역에 대해, 미리 결정된 구역은 128*128로 설정될 수 있다. 전체 기준 화상에서 검색이 이루어질 수 있지만, 이 경우 검색 시간이 너무 오래 걸린다.
기준 화상은 하나의 프레임 또는 에러 화상 전 화상들의 다수의 프레임들 중 하나의 프레임, 또는 하나의 프레임 또는 주로 I 프레임 화상 또는 P 프레임 화상인 에러 화상 후 화상들의 다수의 프레임들 중 하나의 프레임일 수 있고, 이들 기준 화상들은 버퍼에 저장된다.
실행 수단(140)은 공간 에러 은닉 수단(141) 및 시간 에러 은닉 수단(142)을 포함한다. 공간 에러 은닉 수단(141)은 상기된 유사한 화상 영역이 발견되지 않는 경우 에러 비디오 화상의 정보를 사용하여 존재하는 에러들을 은닉하기 위하여 사용된다. 시간 에러 은닉 수단(142)은 상기된 유사한 화상 영역이 발견되는 경우 기준 화상 정보를 사용하여 존재하는 에러들을 은닉하기 위하여 사용된다.
공간 에러 은닉 기술들은 화상 프레임에 에러 화상 영역이 있을 때 화상 프레임의 정보가 에러들을 은닉하기 위하여 사용되는 것을 말한다. 예를 들어, 에러 화상 영역의 에러들은 화상 프레임의 에러 화상 영역과 동일한 크기의 유효(에러 없는) 이웃 화상 영역을 사용하여 은닉된다. 시간 에러 은닉 기술들은 화상 프레 임에 에러 화상 영역이 있을 때 화상 중 기준 화상의 정보가 에러들을 은닉하기 위하여 사용되는 것을 말한다.
공간 에러 은닉 수단(141) 및 시간 에러 은닉 수단(142)의 상세한 에러 은닉 과정들을 위하여 상기된 "블록 매칭 원리에 기반한 MPEG-2 에러 은닉(MPEG-2 Error Concealment Based on Block Matching Principle)" 및 도 4의 다음 도입을 참조하자.
장치(100)는 또한 에러 은닉 후 비디오 화상들을 디코딩하기 위한 디코딩 수단(150)을 포함한다. 디코딩 수단(150)은 종래 디코딩 수단의 일종일 수 있다.
도 2는 본 발명의 실시예에 따른 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법의 흐름도이다. 첫째, 비디오 화상은 수신되고 비디오 화상은 에러 존재 화상 영역 및 이웃 화상 영역을 포함한다(단계 S120). 비디오 화상은 또한 하나 이상의 에러 화상 영역들 및 에러 존재 화상 영역들 각각의 하나 이상의 이웃 화상 영역들을 포함할 수 있다.
이웃 화상 영역은 에러 화상 영역의 바로 위, 바로 아래, 좌측 또는 우측에 바로 인접한 화상 영역일 수 있다. 물론, 이웃 화상 영역은 또한 다른 방식으로 에러 화상 영역에 인접할 수 있다. 에러 화상 영역의 크기가 16*16인 것을 가정하면, 이때 이웃 영역은 또한 16*16이고, 이웃 화상 영역은 유효 이웃 화상 영역이며, 용어 "유효"는 에러가 없음을 의미한다.
게다가, 이웃 화상 영역은 또한 크기면에서 에러 화상 영역과 상이할 수 있다. 본 실시예에서, 이웃 화상 영역은 에러 화상 영역 바로 위에 바로 인접한 16*16 매크로 블록이다.
둘째, 미리 결정된 조건에 따라 비디오 화상 중 기준 화상의 프레임에서 이웃하는 화상 영역에 대해 유사한 화상 영역을 검색하는 단계이다(단계 S220, 상세한 처리 및 미리 결정된 조건의 설명을 위하여 도 3의 도입부를 참조하자). 기준 화상은 하나의 프레임 또는 에러 화상 전 화상들의 다수의 프레임들 중 하나의 프레임, 또는 하나의 프레임 또는 주로 I 프레임 화상 또는 P 프레임 화상인 에러 화상 후 화상들의 다수의 프레임들 중 하나의 프레임일 수 있고, 이들 화상들은 버퍼에 저장된다.
다음, 유사한 화상 영역이 상기된 단계에서 발견되는지 여부가 결정된다(단계 S230, 결정이 이루어지는 방법에 관해 도 3의 도입부를 상세히 참조하자).
만약 단계(S230)의 결과가 음이면, 즉 유사한 화상 영역이 발견되지 않으면, 비디오 화상의 정보는 존재하는 에러들을 은닉하기 위하여 사용된다(단계 S250). 예를 들어, 에러 화상 영역의 에러들은 화상 프레임에서 에러 화상 영역과 동일한 크기의 유효한(에러 없는) 이웃 화상 영역을 사용하여 은닉된다.
만약 단계(S230)의 결과가 양이면, 즉 유사한 화상 영역이 발견되면, 기준 화상의 정보는 존재하는 에러들을 은닉하기 위하여 사용된다(단계 S240). 유사한 화상 영역은 일반적으로 에러 존재 화상 영역 및 이웃 화상 영역 사이의 이웃 관계에 따라 기준 화상의 유사한 화상 영역에 대응하는 에러 정정 화상 영역을 발견하기 위하여 일반적으로 사용되고, 에러 정정 화상 영역의 정보는 존재하는 에러들을 은닉하기 위하여 사용된다. 에러들을 은닉하는 상세한 처리들에 대하여 도 4의 도 입부를 참조하자.
마지막으로, 에러 은닉 비디오 화상이 디코딩되고 출력된다(단계 S260).
도 3은 본 발명의 일 실시예에 따른 유사한 화상 영역을 검색하는 과정의 흐름도이다. 흐름도는 도 2의 유사한 화상 영역을 검색하는 단계(S220)의 분해 흐름도이다.
첫째, 이웃하는 화상 영역의 대응하는 화상 영역은 기준 화상에서 결정된다(단계 S221). 대응하는 화상 영역은 비디오 화상의 이웃 화상 영역 위치가 시프트되는 이전 기준 비디오 화상의 대응 위치에 배치된다.
본 실시예에서, 이웃하는 화상 영역의 크기들, 대응하는 화상 영역, 특정 화상 영역 및 유사한 화상 영역은 에러 화상 영역과 동일하며, 예를 들어 모두 16*16 등이다.
다음, 이웃하는 화상 영역에 따라, 유사한 화상 영역은 미리 결정된 조건에 따라 대응하는 화상 영역을 포함하는 미리 결정된 화상 구역에서 검색된다(단계 S222).
미리 결정된 화상 구역은 대응하는 화상 영역에 집중되고 주변들로 확장하는 미리 결정된 구역이고, 그 크기는 제공자에 의해 미리 설정되며 일반적으로 128*128이고; 대응하는 크기의 미리 결정된 구역은 또한 에러 존재 화상 영역, 예를 들어 16*16의 크기를 가진 에러 화상 영역의 크기에 따라 선택되며, 미리 결정된 구역은 128*128이고; 그것은 전체 기준 화상에서 검색되지만, 이 경우, 검색은 너무 많은 시간이 걸린다. 미리 결정된 구역은 본 실시예에서 128*128이다.
그 후, 미리 결정된 화상 구역의 각각의 특정 화상 영역 및 이웃하는 화상 영역 사이의 화소 차이의 절대값들의 합이 획득되고, 특정 영역의 크기는 이웃하는 화상 영역의 크기와 동일하다(단계 S223). 여기서 특정 영역은 이웃하는 영역과 동일한 크기의 몇 개의 영역들로 미리 결정된 화상 구역을 분할하여 형성된다.
상기된 단계들에 따라, 이웃하는 화상 영역 및 각각의 특정 화상 영역 사이의 화소 차이의 절대값들의 합을 얻는 방법을 설명하기 위한 예로서 Y(휘도), U(컬러 정보에서 채도 정보), V(컬러 정보에서 채도수차 정보) 포맷으로 Y를 취하자. 예를 들어, 만약 이웃하는 화상 영역의 크기가 16*16이고 특정 화상 영역의 크기가 또한 16*16이면, 두 개의 영역들 사이의 모든 화소 차들의 절대값들의 합은 다음 방식으로 얻어진다: 이웃하는 화상 영역에서 256 화소들의 각각의 화소 값으로부터 유사한 화상 영역에서 256 화소들의 하나의 대응하는 화소 값을 감산함으로써 차이 값을 얻는 단계; 그 다음 각각의 상이한 값의 절대값을 취하여 256 절대값들을 얻는 단계; 256 절대값들을 가산하는 단계를 포함하고, 그 다음 상기 차이의 절대값들의 합인 DIFF가 얻어질 수 있다.
상기 단계(S222) 및 단계(S223)는 움직임 평가 알고리즘의 지원으로 모두 구현된다. 움직임 평가시, DIFF는 다음 방정식의 SAD(절대 차의 합)에 의해 표현될 수 있다:
Figure 112007033533255-PCT00001
DIFF는 또한 모든 화소 차들의 제곱값들의 합에 의해 표현될 수 있다.
상기된 움직임 평가 알고리즘의 상세사항들을 위하여, 2002년 10월, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 12권 10번, Lexis M. Tourapis, Oscar C. Au 및 Ming L. Liou에 의한 "빠른 블록 매칭 움직임 평가를 위한 고 효율 예측 구역 알고리즘들(Highly Efficient Predictive Zonal Algorithms for Fast Block-Matching Motion Estimation)"을 참조하자.
각각의 특정 화상 영역에 대응하여 획득된 DIFF에 따라, 모든 DIFF 값들 중 가장 작은 DIFF는 미리 설정된 임계값과 비교된다(단계 S224). 미리 설정된 임계값은 검사를 통해 제공자에 의해 미리 제공되고 일반적으로 에러 존재 화상 영역의 크기에 의해 결정된다. 예를 들어, 16*16의 크기를 가진 에러 화상 영역에서, 미리 설정된 임계값은 4*16*16으로 설정될 수 있고, 여기서 4는 평균 휘도(Y 포맷) 차이다.
마지막으로, DIFF가 대응하는 특정 영역이 비교 결과에 따라 이웃하는 화상 영역의 유사 화상 영역인지 여부가 결정된다(단계 S225).
상기된 단계들에서, 절대값들중 가장 작은 합을 가진 특정 화상 영역은 만약 절대값들의 가장 작은 합(DIFF)이 미리 설정된 임계값보다 크면 유사 화상 영역이 아니다. 절대값들의 가장 작은 합을 가진 특정 화상 영역은 만약 절대값들의 가장 작은 합(DIFF)이 미리 설정된 임계값보다 작으면 유사한 화상 영역이다.
그러므로, 미리 결정된 조건은 만약 절대값들중 가장 작은 합이 미리 설정된 임계값 보다 크면 절대값들의 가장 작은 합을 가진 특정 화상이 유사한 화상 영역이 아니고; 만약 절대값들의 가장 작은 합이 미리 설정된 임계값보다 작으면 절대 값들의 가장 작은 합을 가진 특정 화상 영역이 유사한 화상 영역인 것이다.
절대값들의 가장 작은 합(DIFF)이 미리 설정된 임계값보다 작을 때, 벡터 및 위치 관계는 벡터에 따라 에러 정정 화상 영역을 발견하기 위하여 유사한 화상 영역 및 그것의 대응하는 이웃 화상 영역 사이에서 얻어지고, 시간 에러 은닉 방법이 존재하는 에러들을 은닉하기 위하여 사용되는 경우 에러 화상 영역 및 이웃 화상 영역 사이의 위치 관계 및 이웃 관계가 얻어지고, 존재하는 에러들은 에러 정정 화상 영역의 정보에 따라 은닉된다.
본 발명에 따른 비디오 디코딩 처리에서 에러들을 은닉하기 위한 방법 및 장치는 첫째 비디오 화상의 에러 화상 영역을 은닉하기 위한 정보를 위해 비디오 화상의 기준 화상을 검색하고, 정보가 미리 결정된 조건에 따라 발견되지 않는 경우, 비디오 화상의 정보를 사용하여 에러들을 은닉하고; 및 정보가 미리 결정된 조건에 따라 발견되는 경우 비디오 화상의 기준 화상에서의 정보를 사용하여 에러들을 은닉한다.
그러므로, 본 발명은 시간 방법들이 에러들을 은닉하기 위하여 사용되어야 하는 동안 공간 방법들이 에러들을 은닉하기 위하여 사용되는 결함을 방지한다. 본 발명의 방법으로, 시간 도메인이 액티브일 때 조차(예를 들어, 장면 변화, 기준 화상 정보 및 에러 존재 비디오 화상 정보 사이의 너무 큰 차 등), 에러들은 에러들을 은닉하기 위한 정보가 기준 화상에서 발견될 수 있는 한 시간적 방법들을 사용하여 은닉될 수 있다. 예를 들어, 사막에서 대초원으로 변화하는 배경을 가진 화상들의 두 개의 연속 프레임들에 동일한 사람이 있다. 비록 장면은 완전하게 변 화되지만(시간 도메인이 액티브임), 그러나 사람의 옷들이 동일한 경우, 에러들을 은닉하기 위한 정보는 만약 에러 화상 영역이 사람의 옷들에서 발생하면, 기준 화상(시간 에러 은닉 방식)에서 발견될 수 있다.
도 4는 본 발명의 실시예의 비디오 디코딩 처리시 공간 방법을 사용하여 에러 화상 영역을 은닉하기 위한 개략적인 도면이다. 도면은 그래픽 방식으로 도 2의 단계(S220, S230, S240)를 수행하는 방법을 개략적으로 설명한다. 다음 설명은 기준 화상으로서 P 프레임 화상을 취함으로써 이루어질 것이다.
에러 I 프레임 비디오 화상(401)의 프레임에서 에러 존재 화상 영역은 401A이다. 에러 화상 영역의 이웃 화상 영역은 401B이다. 에러 I 프레임 비디오 화상(401)의 P 프레임 기준 화상(402)에서, 이웃 화상 영역에 대응하는 유사한 화상 영역(401B')은 이웃 화상 영역(401B)이 시프트된 기준 화상의 대응하는 화상 영역에 집중된 미리 결정된 구역에서 발견된다. 그 다음 움직임 벡터(mv)는 대응하는 화상 영역 및 유사한 화상 영역(401B') 사이의 위치 관계를 통하여 결정된다.
미리 결정된 구역에서 유사한 화상 영역(401B')에 대한 검색 과정은 다음 방식으로 구현된다: 첫째 미리 결정된 구역이 이웃하는 화상 영역과 동일한 크기의 다수의 특정 화상 영역들로 분할되고; 그 다음 각각의 특정 화상 영역 및 이웃 화상 영역 사이의 화소 차들의 절대값들의 합이 얻어지고; 그 후, 절대값들 중 가장 작은 합은 절대값들의 합들로부터 선택되고 미리 설정된 임계값과 비교되며; 비교 후, 절대값들의 가장 작은 합이 미리 설정된 임계값보다 작으면 절대값들의 가장 작은 합계가 대응하는 특정 화상 영역은 유사한 화상 영역(401B')이다.
에러 정정 화상 영역(401A')은 에러 존재 화상 영역(401A) 및 이웃 화상 영역(401B) 사이의 움직임 벡터 및 이웃 위치 관계에 따라 결정된다. 에러 정정 화상 영역(401A')은 에러 존재 화상 영역(401A)을 은닉하기 위하여 복제된다.
본 발명에서, 에러 존재 화상 영역의 위, 아래 좌측 및 우측에 상기 화상 영역들 같은 두 개 이상의 유효 이웃 영역들이 있을 수 있다. 상기 설명은 예로서 하나의 이웃 화상 영역을 취함으로써만 행해진다. 만약 두 개 이상의 이웃 화상 영역들이 검색을 위하여 사용되고 각각의 이웃 화상 영역들에 일 대 일 대응을 가진 하나 이상의 유사한 화상 영역들이 검색 과정에서 발견되면, 화소 차이들의 절대값들 중 가장 작은 합을 가진 유사한 화상 영역은 최종 에러 정정 화상 영역을 결정하기 위해 사용되며, 또한 대응하는 움직임 벡터들의 평균 또는 중간값이 대응하는 유사한 화상 영역은 최종 에러 정정 화상 영역을 결정하기 위하여 사용될 수 있다.
상기된 이웃 화상 영역 및 대응하는 유사한 화상 영역 사이의 화소 차이들의 절대값들의 합은 화소 차들의 제곱 합에 의해 대체될 수 있다.
상기된 바와 같이 얻어진 다수의 이웃 화상 영역들의 경우, 만약 얻어진 유사한 화상 영역들의 수 및 검색을 위하여 사용된 이웃 화상 영역들의 수가 너무 상이하면, 예를 들면 대응하는 유사 화상 영역은 검색에 사용된 4개의 이웃 화상 영역들 중 하나의 이웃 화상 영역에 대해서만 발견되고, 일반적으로 그것은 기준 화상 및 에러 화상이 너무 상이하고 따라서 공간 방법이 에러들을 은닉하기 위해 선택된다고 고려될 수 있다. 대조하여, 만약 발견된 유사한 화상 영역들의 수가 검 색을 위하여 사용되는 이웃하는 화상 영역들의 수와 유사하면, 예를 들어 4중 3이 발견되면, 일반적으로 기준 화상 및 에러 화상이 유사하다는 것이 고려되고, 시간 방법은 에러들을 은닉하기 위하여 선택된다.
비록 본 발명이 특정 실시예들과 관련하여 기술되었지만, 당업자가 상기 설명에 따라 다수의 치환들, 변형들 및 변화들을 행한다는 것이 명백하다. 그러므로, 상기 대체들, 변형들 및 변화들은 첨부된 청구항들의 사상 및 범위 내에 속할 때 본 발명에 포함되어야 한다.

Claims (12)

  1. 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법에 있어서,
    (a) 에러 존재 화상 영역 및 이웃 화상 영역을 포함하는 비디오 화상의 프레임을 수신하는 단계;
    (b) 상기 비디오 화상의 기준 화상 프레임에서 미리 결정된 조건에 따라 대응하는 상기 이웃 영역에 대해 유사한 화상을 검색하는 단계; 및
    (c) 상기 유사한 화상 영역이 발견되지 않는다면, 상기 비디오 화상의 정보를 사용하여 존재하는 에러들을 은닉하는 단계를 포함하는, 에러 은닉 방법.
  2. 제 1 항에 있어서,
    (d) 상기 유사한 화상 영역이 발견되면, 상기 기준 화상 정보를 사용하여 상기 존재하는 에러들을 은닉하는 단계를 더 포함하는, 에러 은닉 방법.
  3. 제 2 항에 있어서,
    상기 단계(d)는,
    상기 에러 존재 화상 영역 및 상기 이웃 화상 영역 사이의 이웃 관계에 따라 상기 기준 화상에서 상기 유사한 화상 영역에 대응하는 에러 정정 화상 영역을 발견하는 단계; 및
    상기 에러 정정 화상 영역의 정보에 따라 상기 존재하는 에러들을 은닉하는 단계를 포함하는, 에러 은닉 방법.
  4. 제 1 항에 있어서,
    상기 단계(b)는,
    (ⅰ) 상기 기준 화상에서 상기 이웃 화상 영역에 대응하는 화상 영역을 결정하는 단계; 및
    (ⅱ) 상기 미리 결정된 조건에 따라 상기 대응하는 화상 영역을 포함하는 미리 결정된 화상 구역에서 상기 유사한 화상 영역을 검색하는 단계를 포함하는, 에러 은닉 방법.
  5. 제 4 항에 있어서,
    상기 단계(ⅱ)는,
    (ⅲ) 상기 미리 결정된 화상 구역에서 각각의 특정 화상 영역 및 상기 이웃 화상 영역 사이의 화소 차들의 절대값들의 합을 얻는 단계로서, 상기 특정 화상 영역의 크기는 상기 이웃하는 화상 영역의 크기와 동일한, 상기 절대값들의 합을 얻는 단계;
    (ⅳ) 미리 설정된 임계값과 상기 절대값들의 가장 작은 합을 비교하는 단계; 및
    (ⅴ) 상기 절대값들의 상기 합을 가진 상기 특정 화상 영역이 상기 비교 결과 및 상기 미리 결정된 조건에 따라 상기 유사한 화상 영역인지를 결정하는 단계 를 포함하는, 에러 은닉 방법.
  6. 제 5 항에 있어서,
    상기 미리 결정된 조건은, 상기 절대값들의 가장 작은 합이 상기 미리 설정된 임계값보다 크면, 상기 절대값들의 가장 작은 합을 가진 특정 화상 영역이 상기 유사한 화상 영역이 아닌, 에러 은닉 방법.
  7. 제 5 항에 있어서,
    상기 미리 결정된 조건은, 절대값들의 가장 작은 합이 상기 미리 설정된 임계값보다 작으면, 상기 절대값들의 가장 작은 합을 가진 특정 화상 영역이 상기 유사한 화상 영역인 것인, 에러 은닉 방법.
  8. 비디오 디코딩 처리시 에러들을 은닉하기 위한 장치에 있어서,
    에러 존재 화상 영역 및 이웃 화상 영역을 포함하는 비디오 화상의 프레임을 수신하기 위한 수신 수단;
    상기 비디오 화상의 기준 화상의 프레임에서 미리 결정된 조건에 따라 대응하는 상기 이웃 화상 영역에 대해 유사한 화상 영역을 검색하기 위한 검색 수단; 및
    상기 유사한 화상 영역이 발견되지 않으면, 상기 비디오 화상의 정보를 사용하여 존재하는 에러들을 은닉하기 위한 공간 에러 은닉 수단을 포함하는, 에러 은 닉 장치.
  9. 제 8 항에 있어서,
    상기 유사한 화상 영역이 발견되면, 상기 기준 화상의 정보를 사용하여 상기 존재하는 에러들을 은닉하기 위한 시간 에러 은닉 수단을 더 포함하는, 에러 은닉 장치.
  10. 제 8 항에 있어서,
    상기 검색 수단은,
    상기 기준 화상에서 상기 이웃 화상 영역의 대응하는 화상 영역을 결정하기 위한 위치 결정 수단;
    상기 대응하는 화상 영역을 포함하는 미리 결정된 화상 구역에서 각각의 특정 화상 영역 및 상기 이웃 화상 영역 사이의 화소 차들의 절대값들의 합을 얻기 위한 습득 수단으로서, 상기 특정 화상 크기가 상기 이웃 화상 영역의 크기와 동일한, 상기 습득 수단;
    미리 설정된 임계값과 상기 절대값들의 가장 작은 합을 비교하기 위한 비교 수단; 및
    상기 절대값들의 합을 가진 특정 화상 영역이 비교 결과 및 상기 미리 결정된 조건에 따라 상기 유사한 화상 영역인 지를 결정하기 위한 결정 수단을 포함하는, 에러 은닉 장치.
  11. 제 10 항에 있어서,
    상기 미리 결정된 조건은, 절대값들의 상기 가장 작은 합이 상기 미리 설정된 임계값보다 크면, 절대값들의 상기 가장 작은 합을 가진 특정 화상이 상기 유사한 화상 영역이 아닌, 에러 은닉 장치.
  12. 제 11 항에 있어서,
    상기 미리 결정된 조건은, 절대값들의 상기 가장 작은 합이 상기 미리 설정된 임계값보다 작으면, 절대값들의 상기 가장 작은 합을 가진 특정 화상 영역이 상기 유사한 화상인, 에러 은닉 장치.
KR1020077010230A 2004-11-04 2005-10-20 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및장치 KR20070083993A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200410092533.3 2004-11-04
CN200410092533 2004-11-04

Publications (1)

Publication Number Publication Date
KR20070083993A true KR20070083993A (ko) 2007-08-24

Family

ID=35432764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077010230A KR20070083993A (ko) 2004-11-04 2005-10-20 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및장치

Country Status (5)

Country Link
US (1) US20090060056A1 (ko)
EP (1) EP1813120A1 (ko)
JP (1) JP2008519480A (ko)
KR (1) KR20070083993A (ko)
WO (1) WO2006048788A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
CN100586193C (zh) * 2006-12-12 2010-01-27 华为技术有限公司 误码掩盖方法和系统
US20080285651A1 (en) * 2007-05-17 2008-11-20 The Hong Kong University Of Science And Technology Spatio-temporal boundary matching algorithm for temporal error concealment
US9386326B2 (en) * 2012-10-05 2016-07-05 Nvidia Corporation Video decoding error concealment techniques
JP2014192564A (ja) * 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法及びコンピュータプログラム
US9756356B2 (en) * 2013-06-24 2017-09-05 Dialogic Corporation Application-assisted spatio-temporal error concealment for RTP video
FR3041194B1 (fr) * 2015-09-16 2017-09-01 Vogo Procede d'optimisation de transmission de flux de donnees video dans un reseau sans fil

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치

Also Published As

Publication number Publication date
WO2006048788A1 (en) 2006-05-11
EP1813120A1 (en) 2007-08-01
JP2008519480A (ja) 2008-06-05
US20090060056A1 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
US11039136B2 (en) Moving image coding apparatus and moving image decoding apparatus
CN108012155B (zh) 预拼接图像的视频编码方法、视频解码方法和相关的装置
US5801778A (en) Video encoding with multi-stage projection motion estimation
US6483874B1 (en) Efficient motion estimation for an arbitrarily-shaped object
US5751378A (en) Scene change detector for digital video
JP4001400B2 (ja) 動きベクトル検出方法及び動きベクトル検出装置
US6690729B2 (en) Motion vector search apparatus and method
US7212573B2 (en) Method and/or apparatus for determining minimum positive reference indices for a direct prediction mode
US20030112873A1 (en) Motion estimation for video compression systems
KR20070083993A (ko) 비디오 디코딩 처리시 에러들을 은닉하기 위한 방법 및장치
JPH08228356A (ja) 画像を表す信号を処理するシステム
US20080002774A1 (en) Motion vector search method and motion vector search apparatus
JPH07193822A (ja) 動き予測プロセッサ及び動き予測装置
TW201622422A (zh) 分散式視訊編碼系統及應用於分散式視訊編碼系統之解碼器
US9438925B2 (en) Video encoder with block merging and methods for use therewith
JPH06311502A (ja) 動画像伝送装置
US8165211B2 (en) Method and apparatus of de-interlacing video
CN101822058A (zh) 使用像素抽取的视频编码
US6754278B1 (en) Method for recovering moving picture by extending a damaged region in which an error occurs
KR20140026397A (ko) 이미지 블록을 복원하고 코딩하는 방법
US6754270B1 (en) Encoding high-definition video using overlapping panels
US20070153909A1 (en) Apparatus for image encoding and method thereof
Chu et al. Hierarchical global motion estimation/compensation in low bitrate video coding
JP5701018B2 (ja) 画像復号装置
KR0185841B1 (ko) 영상 부호기에서의 움직임 추정 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid