KR101126055B1 - 디지털 비디오에 대한 에러 은닉을 수행하는 방법 - Google Patents

디지털 비디오에 대한 에러 은닉을 수행하는 방법 Download PDF

Info

Publication number
KR101126055B1
KR101126055B1 KR1020097022172A KR20097022172A KR101126055B1 KR 101126055 B1 KR101126055 B1 KR 101126055B1 KR 1020097022172 A KR1020097022172 A KR 1020097022172A KR 20097022172 A KR20097022172 A KR 20097022172A KR 101126055 B1 KR101126055 B1 KR 101126055B1
Authority
KR
South Korea
Prior art keywords
digital video
delete delete
frame
error concealment
scene change
Prior art date
Application number
KR1020097022172A
Other languages
English (en)
Other versions
KR20090122490A (ko
Inventor
치아-위안 텅
사라스 만주나스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090122490A publication Critical patent/KR20090122490A/ko
Application granted granted Critical
Publication of KR101126055B1 publication Critical patent/KR101126055B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지털 비디오 정보 내에서 검출된 에러의 효과를 숨기기 위해 에러 은닉이 이용된다. 공간적 에러 은닉 (SEC) 이 이용되어야 하는지 또는 시간적 에러 은닉 (TEC) 이 이용되어야 하는지 여부를 결정하기 위해 복잡한 에러 은닉 모드 판정이 개시된다. 에러 은닉 모드 판정 시스템은, 손상된 프레임이 인트라-프레임인지 또는 인터-프레임인지 여부에 따라 상이한 방법을 이용한다. 비디오 프레임이 인트라-프레임이면, 유사성 메트릭이 이용되어, 인트라-프레임이 씬 변경을 나타내는지 여부를 결정한다. 비디오 프레임이 인트라-프레임이면, 복잡한 다항식이 이용되어, SEC 가 이용되어야 하는지 또는 TEC 가 이용되어야 하는지 여부를 결정한다. 재구성을 위해 공간적 에러 은닉이 이용되어야 하는 것으로 에러 은닉 모드 판정에서 결정한 경우에 이용하기 위한 신규한 공간적 에러 은닉 기술이 개시된다. 이 신규한 공간적 에러 은닉 기술은 손상된 매크로블록을 4 개의 상이한 영역, 즉, 코너 영역, 그 코너 영역에 인접한 행, 그 코너 영역에 인접한 열, 및 나머지 주요 영역으로 분할한다. 그 후, 이 영역들은 상기 순서대로 재구성되고, 미리 재구성된 영역들로부터의 정보가 나중에 재구성되는 영역에 이용될 수도 있다. 마지막으로, 에러 전파가 비-손상 인터-블록을 손상시키는 것을 방지하는 매크로블록 리프레시 기술이 개시된다. 더 상세하게는, 인터-블록으로 하여금 에러를 전파하게 할 수도 있는 심각한 에러 유발 대미지가 존재하면, 공간적 에러 은닉을 이용하여 인터-매크로블록이 리프레시될 수도 있다.
에러 은닉, SEC, TEC, 디지털 비디오

Description

디지털 비디오에 대한 에러 은닉을 수행하는 방법{METHODS OF PERFORMING ERROR CONCEALMENT FOR DIGITAL VIDEO}
본 발명의 기술분야
본 발명은 디지털 비디오 디코딩 및 디스플레이 분야에 관련된다. 더 상세하게는, 본 발명은, 손상되거나 손실된 디지털 비디오 정보에 의해 유발되는 디지털 비디오에서의 에러를 은닉하는 기술을 개시한다.
본 발명의 배경기술
최근, 다수의 새로운 디지털 무선 통신 프로토콜의 빠른 진보 및 채택에 기인한 무선 전자 기기의 혁명이 있어왔다. 예를 들어, 코드 분할 다중 접속 (CDMA) 및 GSM (Global System for Mobile communication) 은 디지털 셀룰러 전화의 대중성을 크게 증가시켰고, Wi-Fi 로컬 영역 네트워크 (LAN) 프로토콜 (예를 들어, 802.11b, 802.11g, 802.11a 등) 은 무선 컴퓨터 네트워크를 급격히 변화시켰고, 블루투스는 다수의 상이한 디지털 디바이스에 대해 매우 유용한 단거리 무선 디지털 프로토콜을 제공하였다.
이들 새로운 디지털 무선 프로토콜들은 에러에 저항력이 있도록 설계되었지만, 무선 신호에 대한 다양한 물리적 효과에 기인하여, 디지털 무선 통신은 항상 정보의 손실을 겪는다. 예를 들어, 무선 간섭, 다중 경로 반사에 의해 유발되는 에러, 무선 신호 차폐, 범위 제한, 및 기타 문제들이 송신된 무선 신호를 열화 시켜 정보가 손실되게 할 수 있다.
디지털 무선 프로토콜을 이용하는 비-실시간 통신 애플리케이션은 단순히 손실된 정보의 재송신을 요청함으로써 이들 이유 중 임의의 이유에 기인한 정보의 손실을 용이하게 처리할 수 있다. 그러나, 실시간 통신 애플리케이션은, 디지털 무선 채널을 통해 송신된 정보의 우발적인 손실 또는 손상을 처리하기에 충분할만큼 강인해야 할 필요가 있다.
하나의 특정한 실시간 통신 애플리케이션은 무선 디지털 통신 채널을 통해 송신된 디지털 비디오 정보를 수신 및 즉시 디스플레이하는 것이다. 몇몇 정보가 디지털 비디오의 송신 동안 손실된 경우, 재송신은, 비디오 전화 및 비디오 스트리밍과 같은 실시간 애플리케이션에 적합하지 않은 현저한 지연을 유발하기 때문에, 그 손실된 정보의 재송신을 요청 및 수신하기에 충분한 시간이 존재하지 않는다. 따라서, 디지털 비디오 정보가 손실된 경우, 디지털 비디오 수신기는 그 수신된 불완전한 디지털 비디오 정보를 이용하여 하나 이상의 비디오 프레임을 디스플레이하려 시도해야 한다.
몇몇 디지털 비디오 정보의 손실에도 불구하고, 디지털 비디오 프레임들을 가능한 한 최상으로 디코딩 및 디스플레이하기 위한 다수의 상이한 기술들이 개발되고 있다. 불완전한 디지털 비디오 정보를 가능한 최상의 방식으로 디스플레이하기 위해 개발된 이 기술들은 일반적으로, 에러에 의해 유발된 정확한 비디오 정보의 결핍을 은닉하려 시도하기 때문에 에러 은닉 (EC) 기술로 지칭된다.
기존의 디지털 비디오 에러 은닉 (EC) 기술들은 주로 다음의 2 가지 카테고 리: 시간적 에러 은닉 (TEC) 및 공간적 에러 은닉 (SEC) 에 속한다. 시간적 에러 은닉 (TEC) 은 (시간 차원에서) 인접한 비디오 프레임들 사이의 시간적 상관을 이용한다. TEC 는 손상된 매크로블록 (MB) 을, 이전에 재구성된 비디오 프레임으로부터 프로세싱된 매크로블록으로 대체한다. 한편, 공간적 에러 은닉 (SEC) 은 단일한 비디오 프레임 내에서 공간적 상관을 이용한다. 공간적 에러 은닉은 잘못된 픽셀을 인접한 픽셀들 (또는 변환 계수들) 로부터 예측함으로써 에러를 은닉한다.
블록 대체 에러 은닉 (BREC) 은 가장 단순하고 가장 직접적인 타입의 시간적 에러 은닉 (TEC) 이다. 블록 대체 에러 은닉은, 잘못된 매크로블록을, 이전에 재구성된 비디오 프레임으로부터의 같은 위치의 매크로블록으로 대체함으로써 에러를 은닉한다. 시간적 에러 은닉에 대한 이 단순한 접근법은, 은닉될 잘못된 매크로블록에 대한 제로 모션 벡터를 가정한다. 제로 모션 벡터보다 더 정확한 모션 벡터를 이용하여 성능이 개선될 수도 있다. 모션 벡터 프로세싱 (MVP) 은 이러한 일예이다.
매우 단순한 공간적 에러 은닉 (SEC) 구현예에서는 잘못된 픽셀을 가장 근접한 가용 픽셀로부터의 정보로 단순히 대체할 수도 있다. 보간 및 공간적 예측을 이용함으로써 개선이 달성될 수 있다. 공간적 에러 은닉 (SEC) 은 픽셀 도메인에서 수행될 수도 있고, 또는 주파수 도메인에서 수행될 수도 있다.
통신 스트림에서 에러가 발생한 경우 사용자에게 최상의 비디오를 제공하기 위해, 디지털 비디오 수신기는 최적의 에러 은닉 시스템을 선택해야 한다. 따 라서, 최상의 에러 은닉 시스템을 신중하게 선택하여, 불완전한 디지털 비디오 정보로부터 가능한 최상의 비디오 이미지를 디스플레이하는 방식으로 에러 은닉 시스템을 구현하는 디지털 비디오 수신기를 생성하는 것이 바람직할 것이다.
본 발명의 개요
본 발명은, 디지털 비디오 정보 내에서 에러가 검출된 경우 에러 은닉을 수행하는 방법을 도입한다. 매우 높은 품질의 디지털 비디오 에러 은닉을 수행하기 위해 다수의 상이한 기술들이 제공된다.
개시된 제 1 기술은, 공간적 에러 은닉 (SEC) 이 이용되어야 하는지 또는 시간적 에러 은닉 (TEC) 이 수행되어야 하는지 여부를 결정하는 매우 정교한 방법이다. 이 주요 기술은, 씬 (scene) 변경이 발생했는지 여부 및 씬 변경이 언제 발생했는지를 결정하여, (공간적 에러 은닉을 수행하기에 너무 많은 에러가 존재하지는 않는다면) 공간적 에러 은닉이 이용되는 것이다. 에러 은닉 모드 판정 시스템은, 손상된 프레임이 인트라-프레임인지 또는 인터-프레임인지 여부에 따라 서로 다른 방법을 이용한다. 비디오 프레임이 인트라-프레임이면, 유사성 메트릭이 이용되어, 그 인트라-프레임이 씬 변경을 나타내는지 여부를 결정한다. 비디오 프레임이 인트라-프레임이면, 복잡한 다항식이 이용되어, SEC 가 이용되어야 하는지 TEC 가 이용되어야 하는지 여부를 결정한다.
재구성을 위해 공간적 에러 은닉이 이용되어야 하는 것으로 에러 은닉 모드 판정에서 결정하는 경우에 이용하기 위한 신규한 공간적 에러 은닉 기술이 개시된다. 신규한 공간적 에러 은닉 기술은 손상된 매크로블록을 4 개의 서로 다른 영역들, 즉, 코너 영역, 그 코너 영역에 인접한 행, 그 코너 영역에 인접한 열, 및 나머지 주요 영역으로 분할한다. 먼저, 코너 영역은 인접한 매크로블록들을 이용하여 재구성된다. 다음으로, 인접한 매크로블록, 또는 인접한 매크로블록에 부가하여 재구성된 코너 영역을 이용하여, 열 및 행 영역이 재구성된다. 마지막으로, 인접한 매크로블록, 열 영역, 행 영역 및 코너 영역을 이용하여, 나머지 영역이 보간된다.
마지막으로, 에러 전파가, 비-손상 인터-블록을 손상시키는 것을 방지하는 매크로블록 리프레시먼트 기술이 개시된다. 더 상세하게는, 인터-블록이 에러를 전파하게 유발할 수도 있는 심각한 에러 유발 대미지가 존재하면, 공간적 에러 은닉 기술을 이용하여 인터-매크로블록이 '리프레시'될 수도 있다. 인터-매크로블록이 리프레시되어야 하는 시점을 결정하기 위해, 대미지 계산이 수행된다. 대미지 계산은 손상된 매크로블록의 수, 모션의 양, 씬 변경이 발생했는지 여부, 및 비 손상 인트라-매크로블록의 수를 고려한다.
본 발명의 다른 목적, 특징 및 이점은 첨부한 도면 및 다음의 상세한 설명으로부터 명백해질 것이다.
도면의 간단한 설명
본 발명의 목적, 특징 및 이점은 다음의 첨부된 도면의 관점에서 당업자에게 자명할 것이다.
도 1 은 디지털 비디오 수신기/디코더에서 씬 변경 기반 에러 은닉 모드 판정을 수행하는 일반적인 흐름을 도시한다.
도 2 는 검출된 에러 이후에 음영 영역이 손상된 매크로블록을 나타내는 디지털 비디오 프레임 매크로블록 맵의 일예를 도시한다.
도 3 은 전체 슬라이스가 손상된 것으로 보이는 경우 음영 영역이 손상된 매크로블록을 나타내는 디지털 비디오 프레임 매크로블록 맵의 일예를 도시한다.
도 4 는 개선된 씬 변경 기반 에러 은닉 시스템이 이용되는, 도 1 의 흐름도의 정정된 버전을 도시한다.
도 5 는 개선된 공간적 에러 은닉 방법으로 개별적으로 처리되는 서로 다른 영역들로 분할된 매크로블록을 도식적으로 도시한다.
도 6a 는 매크로블록에서 영역 F 에 가장 근접한 3 개의 픽셀 α, β, 및 γ 를 도시한다.
도 6b 는 중앙 적응형 예측기 (median adaptive predictor) 에 대한 픽셀 맵을 도시한다.
도 7 은 개선된 공간적 에러 은닉 방법에서 이용되는 인접한 매크로블록의 하단 최우측의 픽셀을 도시한다.
도 8a, 도 8b 및 도 8c 는 개선된 공간적 에러 은닉 방법이 손상된 매크로블록 내의 픽셀의 바닥 행을 재구성하는 방법을 도시한다.
도 9a 및 도 9b 는 개선된 공간적 에러 은닉 방법이 손상된 매크로블록 내의 픽셀의 중심 영역을 재구성하는 방법을 도시한다.
상세한 설명
디지털 비디오에 대해 에러 은닉 시스템을 선택 및 구현하는 방법이 개시된 다. 다음의 설명에서는, 설명을 위해, 본 발명의 철저한 이해를 제공하도록 특정한 용어들이 기술된다. 그러나, 본 발명을 실시하기 위해 그 특정한 세부사항들이 반드시 요구되지는 않는 것은 당업자에게 자명할 것이다. 또한, 본 발명은 주로 MPEG 디지털 비디오 인코딩 프로토콜을 참조하여 설명되었지만, 이와 동일한 기술들은 다른 타입의 디지털 비디오 인코딩 프로토콜에도 용이하게 적용될 수 있다.
에러 은닉 모드 선택의 개관
배경기술에서 설명한 바와 같이, 불완전한 디지털 비디오 정보를 갖는 손상된 디지털 비디오 스트림을 수신하는 디지털 비디오 수신기/디코더는, 그 손실된 정보없이 행할 수 있는 최상으로 비디오 이미지를 디스플레이해야 한다. 손실된 정보의 재송신은 비디오 전화 및 비디오 스트리밍과 같은 실시간 애플리케이션에 적합하지 않은 현저한 지연을 초래하기 때문에, 디지털 비디오 수신기/디코더는 그러한 재송신을 요청할 수 없다. 따라서, 디지털 비디오 정보의 일부의 손실 또는 손상에도 불구하고, 가능한 한 최상으로 디지털 비디오 정보를 디스플레이하기 위한 다수의 기술들이 개발되고 있다. 불완전한 디지털 비디오 정보를 가능한 최상의 방식으로 디스플레이하기 위한 이 기술들은 일반적으로 에러 은닉 (EC) 기술로 지칭된다.
송신 동안 손상된 디지털 비디오 프레임을 재구성 및 디스플레이하기 위한 다양한 서로 다른 에러 은닉 기술들이 존재한다. 에러 은닉의 주요한 2 가지 카테고리는 시간적 에러 은닉 (TEC) 및 공간적 에러 은닉 (SEC) 이다. 시간적 에러 은닉 (TEC) 은 (시간 차원에서) 인접한 디지털 비디오 프레임들 사이의 시간적 상관을 이용한다. 시간적 에러 은닉은 종종, 손상된 매크로블록 (MB) 을, 이전에 재구성된 비디오 프레임으로부터의 프로세싱된 매크로블록으로 대체함으로써 에러를 은닉한다. 공간적 에러 은닉 (SEC) 은 단일한 비디오 프레임 내의 공간적 상관을 이용한다. 공간적 에러 은닉은 잘못된 픽셀을 인접한 픽셀 (또는 변환 계수) 로부터 예측함으로써 디지털 비디오 프레임 에러를 은닉한다.
각각의 서로 다른 에러 은닉 기술은 고유한 이점 및 단점을 갖는다. 따라서, 최상의 결과를 제공하는 것이 시간적 에러 은닉일지 또는 공간적 에러 은닉일지 여부는 현재의 환경에 의존할 것이다. 시간적 에러 은닉 (TEC) 을 이용할지 공간적 에러 은닉 (SEC) 을 이용할지 여부에 대한 결정은 에러 은닉 (EC) 모드 판정으로 공지되어 있다. 에러 은닉 모드 판정에 대한 최적의 솔루션은, 소정의 왜곡 메트릭을 최소화하는 에러 은닉 방법을 선택하는 것이다. 예를 들어,
Figure 112009064859768-pct00001
여기서, DSEC 는 SEC 은닉 프레임과 기준 프레임 사이의 왜곡이고, DTEC 는 TEC 은닉 프레임과 기준 프레임 사이의 왜곡이다.
그러나, 실제로는, 일반적으로 일 기준이 이용가능하지 않기 때문에, 왜곡을 측정하는 것은 매우 어렵다. 따라서, 디지털 비디오 수신기/디코더가 공간적 에러 은닉을 이용해야 하는지 시간적 에러 은닉을 이용해야 하는지 여부를 결정하기 위해 다른 방법이 이용되어야 한다.
씬 변경에 기초한 에러 은닉 모드
통상적인 비디오 시퀀스는, 상당한 퍼센티지의, 시간적으로 고도로 상관된 비디오 프레임, 및 이전의 비디오 프레임과 시간적으로 양호하게 상관되지 않는 주기적인 "씬 변경" 비디오 프레임으로 이루어진다. 따라서, 대부분의 비디오 프레임들이 시간적으로 고도로 상관되기 때문에, 대부분의 환경에서 시간적 에러 은닉 시스템이 공간적 에러 은닉 시스템보다 우월할 것이다. 그러나, 비디오 프레임이, 이전의 디지털 비디오 프레임들과 양호하게 상관되지 않는 새로운 씬을 포함하는 비디오 프레임인 씬 변경 비디오 프레임에 있어서는, 비디오 프레임들 사이의 유사성이 낮기 때문에, 시간 기반 에러 은닉 시스템은 일반적으로 불만족스러운 결과를 제공한다. 따라서, 씬 변경이 발생하는 경우, 공간적 에러 은닉이 에러 은닉을 위한 더 좋은 선택이다.
도 1 은 디지털 비디오 수신기/디코더에서 씬 변경 기반 에러 은닉 모드 판정을 수행하는 일반적인 흐름을 도시한다. 단계 110 에서, 디지털 비디오 수신기/디코더는 비디오 프레임에 대한 디지털 비디오 정보를 확인한다. 단계 115 에서, 디지털 비디오 정보 내에서 에러가 발견되지 않으면, 단계 150 에 나타낸 바와 같이, 디지털 비디오 수신기/디코더는 에러 은닉 방법으로부터의 어떠한 도움없이 그 비디오 프레임을 렌더링할 수 있다.
디지털 비디오 프레임 정보 내에서 에러가 발견되면, 단계 120 에서, 디지털 비디오 수신기/디코더는 그 디지털 비디오 프레임 정보를 분석하여, 손상된 비디오 프레임이 씬 변경 프레임을 나타내는지 여부를 결정하려 시도한다. 단계 125 에서, 씬 변경이 발생한 것으로 디지털 비디오 수신기/디코더가 결정하면, 단계 160 에 기술된 바와 같이, 그 비디오 프레임은 공간적 에러 은닉 기술의 도움으로 재구성된다. 이와 달리, 씬 변경이 발생하지 않은 것으로 시스템이 결정하면, 단계 170 에 기술된 바와 같이, 그 손상된 비디오 프레임은 시간적 에러 은닉 기술의 도움으로 재구성된다.
도 1 에 개시된 에러 은닉 시스템의 대부분의 난점 중 하나는, 단계 120 및 단계 125 에 기술된 바와 같이, 씬 변경이 발생했는지 여부에 대한 판정을 수행하기 위해 손상된 디지털 비디오 프레임 정보를 분석하는 것이다. 더 상세하게는, 씬 변경이 언제 발생했는지를 디지털 비디오 수신기/디코더가 어떻게 정확하게 결정할 것인가이다.
씬 변경 에러 은닉 모드 판정을 구현하는 하나의 가장 단순한 방법은, 디코딩중인 비디오 프레임의 타입에 기초하여 에러 은닉 기술을 단순히 선택하는 것이다. 더 상세하게는, 매우 단순한 씬 변경 기반 에러 은닉 모드 판정 방법은, 모든 인트라-프레임 (I-프레임) 에 대해서는 공간적 에러 은닉 (SEC) 을 선택하고, 인트라-프레임이 아닌 모든 프레임 (P-프레임 및 B-프레임) 에 대해서는 시간적 에러 은닉 (TEC) 를 선택하는 것이다. 이 매우 단순한 접근법은, 씬 변경이 발생한 경우에는 디지털 비디오 인코더가 인트라-프레임을 인코딩한다는 가정에 기초한다.
이 가장 단순한 씬 변경 기반 에러 은닉 모드 판정 방법이 갖는 문제점은, 이 방법이 매우 정확하지는 않은 가정을 포함한다는 점이다. 예를 들어, 모든 씬 변경이 인트라-프레임으로 처리되지는 않을 것이다. 또한, 디지털 비디오 인코더는 일반적으로 씬 변경이 없는 경우에도 주기적으로 인트라-프레임을 의도적으로 발생시킨다. 랜덤 액세스 및 에러 복원을 위해 인트라-프레임은 주기적으로 삽입된다. 모든 씬 변경이 인트라-프레임으로 마킹되지는 않으며 모든 인트라-프레임이 씬 변경은 아니라는 사실은, 이 매우 단순한 프레임 타입 기반 씬 변경 에러 은닉 모드 판정 방법이 준최적이 되게 한다.
약간 더 정교하고 효과적인 씬 변경 검출 방법은, 디지털 비디오 프레임을 나타내는데 이용되는 매크로블록들의 타입을 분석함으로써 씬 변경을 검출한다. 이러한 씬 변경 검출 방법에서는, 디지털 비디오 프레임 내에 다수의 매크로블록들이 인트라-코딩되어 있으면 그 프레임은 '씬 변경' 프레임으로 결정된다. 이 에러 은닉 모드 판정의 일 구현은 다음과 같은 수식;
Figure 112009064859768-pct00002
(1)
으로 표현될 수도 있으며, 여기서,
Nintra,rcv = 수신된 (프레임 내의) 비-손상 인트라-매크로블록의 수
Ntotal,rcv = 수신된 (프레임 내의) 비-손상 매크로블록의 총 수; 및
THD = 임계량
이다. 몇몇 매크로블록은 패킷 손실 또는 채널 에러에 기인하여 미싱되거나 손 상되기 때문에, Ntotal,rcv 은 프레임 내의 매크로블록의 총 수가 아닐 수도 있음을 유의해야 한다.
수식 (1) 의 씬 변경 에러 은닉 모드 판정 방법은 가장 단순한 프레임 타입 판정 방법에 대한 개선이다. 그러나, 수식 (1) 의 에러 은닉 모드 판정 방법은 여전히 다수의 문제점을 갖는다. 수식 (1) 의 에러 은닉 모드 판정 방법의 4 개의 문제점이 다음의 표에 제공된다.
표 1 - 수식 1 의 에러 은닉 모드 판정의 문제점
문제점 1. 오직 씬 변경에 대한 표시로서 매크로블록 타입을 이용하는 것은 충분히 정확하지 않을 수도 있다. 매크로블록 타입은 디지털 비디오 인코더에 의해 결정된다. 각각의 서로 다른 디지털 비디오 인코더는 서로 다른 설계를 갖기 때문에, 디지털 비디오 인코더가 예상대로 동작할 것으로 가정할 수 없다. 예를 들어, 모션 보상 후의 잔여 에러가 현저함에도 불구하고 디지털 비디오 인코더는 다수의 매크로블록을 "인터" 로서 코딩할 수도 있다. 따라서, 씬 변경이 발생한 경우에도 인터 블록들이 이용될 수도 있다.
문제점 2. (매크로블록 타입을 포함하는 헤더를 포함한) 몇몇 중요한 정보가 손상 또는 손실될 수도 있기 때문에, 나머지 정보는 신뢰할만한 판정을 수행하기에 충분하지 않을 수도 있다. 예를 들어, 프레임 내의 매크로블록의 97% 가 손실되고 몇몇 나머지 매크로블록들이 모두 인트라-코딩되면, 수식 (1) 의 에러 은닉 모드 판정 방법은 그 프레임이 씬 변경을 나타낸다고 결론지을 것이고 SEC 가 선택된다. 그러나, 다수의 손실된 매크로블록들의 매크로블록 타입은 미지이다. TEC 가 이용되었어야 하도록, 그 손실된 매크로블록들의 대부분이 인터-코딩되었을 가능성이 있다.
문제점 3. 에러 은닉 모드 판정을 수행하는 경우, 모션은 더 상세하게 고려되어야 하는 팩터이다. TEC 는 매우 큰 모션을 갖는 프레임보다 손상된 정적인 씬의 프레임을 은닉하는 경우에 더 양호한 성능을 갖는다. 단순한 씬 변경 검출은 모션을 고려하지 않는다.
문제점 4. 수식 (1) 에 기술된 에러 은닉 모드 판정 방법은 인트라-프레임에 대해서는 양호하게 동작하지 않는다. 더 상세하게는, 인트라-프레임 내의 모든 매크로블록이 인트라-코딩되는 경우, 수식 (1) 의 에러 은닉 모드 판정 방법은 인트라-프레임에 대해 항상 SEC 를 선택할 것이다. 씬 변경이 실제로 발생했든지 발생하지 않았든지 인트라-프레임이 주기적으로 삽입되기 때문에, TEC 가 더 양호한 결과를 제공할 수도 있는 경우에도 SEC 가 이용될 것이다.
에러 은닉 모드 판정을 위한 개선된 씬 변경 검출기
디지털 비디오 수신기/디코더에서 더 양호한 결과를 제공하기 위해, 본 발명은, 에러 은닉 모드 판정을 수행하는데 이용될 수도 있는 정교한 씬 변경 검출 시스템을 도입한다. 본 발명의 씬 변경 검출 시스템은 표 1 에 제공된 문제점들 모두를 해결한다.
문제점 1: 큰 잔여 에러를 갖는 인터-프레임
표 1 에서의 첫번째 문제점을 해결하기 위해, 잔여 에러의 인터 매크로블록 에 대한 영향을 반영하는 팩터가 수식 (1) 에 부가될 수도 있다. 인터-프레임 인코딩으로부터 큰 잔여 에러를 갖는 프레임이 씬 변경으로 결정될 수도 있다. 일 실시형태에서, 수식 (1) 의 에러 은닉 모드 판정 방법은 다음과 같이 변형되며:
Figure 112009064859768-pct00003
(2)
여기서,
k1 = 제 1 항에 대한 가중치 팩터 (인터-매크로블록의 퍼센티지)
QP = 프레임의 평균 양자화 파라미터
Bits = 손상된 비디오 프레임 내의 비트의 수; 및
T = 임계값
이다.
수식 (2) 의 정정된 에러 은닉 모드 판정 방법에서는, 가산된 QP*Bits 가 인터 매크로블록 상의 잔여 에러의 팩터에 가산된다. 이러한 변경의 배후의 아이디어는, 씬 변경 프레임 내의 인터 매크로블록이 이전의 기준 프레임으로부터 양호한 매칭을 발견하지 못하기 때문에, 그 인터 매크로블록에 대한 잔여 에러가 통상적으로 매우 크다는 것이다. 따라서, 잔여 에러들을 인코딩하기 위해 더 많은 비트들이 요구될 것이다.
통신 네트워크에서, 디지털 비디오 정보는 통상적으로 작은 패킷들 (또는 셀 들) 로 분할되고, 그 패킷들에 의해 송신된다. 디지털 비디오 패킷은, 송신 동안 손실될 수도 있고, 또는 CRC (또는 체크섬) 실패에 기인하여 디지털 비디오 수신기/디코더에 의해 폐기될 수도 있다. 따라서, 디지털 비디오 수신기/디코더는 손상된 데이터를 획득하지 못할 수도 있어서, 수식 (2) 의 "Bits" 항 (손상된 프레임 내의 비트의 수) 은 디지털 비디오 디코더에게 미지일 수도 있다. 이를 처리하기 위해, "Bits" 항은 2 개의 부분: 수신기/디코더가 수신한 비트의 수 (Bitsrecv 로 표기됨) 및 손실된 비트의 수 (Bitslost 로 표기됨) 로 분할될 수도 있다. 이러한 변경으로, 수식 (2) 는,
Figure 112009064859768-pct00004
(3)
로 변형된다.
일반적으로 디지털 비디오 디코더에는 송신 동안 손실된 비트의 수량이 통지되지 않는다. 디지털 비디오 디코더는 손실된 데이터의 양을 모르기 때문에, Bitslost 항은 하위층 (예를 들어, RTP) 에 의해 추정 및 제공되어야 한다. 일 실시형태에서, Bitslost 항은 다음의 수식:
Bits = Plost × Slost (4)
을 이용하여 추정될 수 있으며, 여기서,
Plost = 손실된 패킷의 수; 및
Slost = 그 손실된 패킷의 추정된 사이즈
이다. Plost 항은 패킷 헤더 내의 시퀀스 넘버로부터 유도될 수 있다. Slost 항은 이전에 수신된 디지털 비디오 패킷의 평균 페이로드 사이즈를 이용하여 추정될 수 있다. 수식 (4) 를 수식 (3) 에 대입하면, 에러 은닉 모드 판정 수식은:
Figure 112009064859768-pct00005
(5)
이 된다.
문제점 2: 과도한 데이터 손실
표 1 로 돌아가서, 수식 (1) 의 두번째 문제점은, 대량의 디지털 비디오 정보가 손상되거나 또는 이용불가능한 경우의 수식의 부정확성이다. 이 두번째 문제점은, 대량의 디지털 비디오 정보가 이용불가능하면 에러 은닉 모드 판정 방법을 시간적 에러 은닉 쪽으로 편향 (bias) 시키는 스케일링 "에러 팩터" 를 수식의 좌측에 부가함으로써 해결될 수 있다. 스케일링 팩터를 수식 (5) 에 부가하는 일 구현은:
Figure 112009064859768-pct00006
(6)
으로 제공되며, 여기서,
Ncorrupt = 비디오 프레임 내의 (손실을 포함한) 손상된 매크로블록의 수
Ntotal = 비디오 프레임 내의 매크로블록의 총 수; 및
S() = 편향 함수
이다.
편향 함수 S(.) 는 S(0) = 0 및 S(1) = 1 을 충족시켜야 한다. 일 실시형태에서, 수식 (6) 의 S(.) 함수는 서로 다른 손상 레이트에 대해 서로 다른 스케일링을 부여하는 비선형 편향 함수이다. 일반적으로 씬 변경 프레임의 수는 씬이 변경되지 않는 프레임의 수보다 훨씬 적기 때문에, 이 모드 판정은, 손상된 매크로블록의 수가 증가함에 따라 시간적 에러 정정 (TEC) 을 선호하는 편향을 갖도록 설계된다. 또한, 디지털 비디오 프레임 내의 대부분의 매크로블록이 손상된 경우 공간적 에러 정정 (SEC) 은 양호하게 수행될 수 없다. 극단적인 예로, Ncorrupt = Ntotal 이면, 수식 (6) 의 좌측은 0 이 되고, 시간적 에러 정정 (TEC) 이 항상 선택된다.
비디오 프레임 내의 손상된 매크로블록의 수를 계산하는 다른 방법들이 존재한다. 이 방법들은, 디지털 비디오 디코더가 슬라이스 내의 에러의 위치를 하위층으로부터 수신하는지 여부에 의존하여 달라질 것이다. 이하, 이 2 가지 상황을 각각 설명한다.
디지털 비디오 디코더가 비디오 프레임 내에 에러가 있는 장소를 통지받으면, 일 매크로블록 및 이전의 시작 코드 또는 재동기화 마커까지의 모든 이전 매크 로블록에서 에러가 발견되지 않는 경우에 그 매크로블록이 "비-손상" 으로 마킹되도록 에러 매크로블록 맵이 생성된다. 반대로, 현재의 매크로블록, 또는 이전의 시작 코드 또는 재동기화 마커까지의 임의의 이전 매크로블록에서 에러가 발견되면, 그 매크로블록은 "손상" 으로 마킹된다. 마킹 이후, 매크로블록 맵은 에러 세그먼트들로 이루어지며, 각각의 에러 세그먼트는 연속적인 수의 손상된 매크로블록을 포함한다. 에러 세그먼트를 포함하는 매크로블록 에러 맵의 일예가 도 2 에 도시되어 있으며, 여기서, 음영 영역이 손상된 매크로블록을 나타낸다. 용어 "슬라이스" 는 비디오 프레임 내의 독립적인 디코딩가능 데이터 구조를 나타냄을 유의해야 한다. 예로는, MPEG4 비디오 코딩 방법의 "비디오 패킷" 및 H.263 및 AVC 비디오 코딩 방법의 "슬라이스" 가 포함된다. 슬라이스 내의 첫번째 매크로블록의 번호가 슬라이스 헤더로부터 획득될 수 있다.
하위층이 에러 위치 정보를 디지털 비디오 디코더에 제공하지 않으면, 디지털 비디오 디코더는 에러를 스스로 검출하려 시도할 수도 있다. 일반적으로, 이러한 에러 검출은 신뢰할 수 없으며, 최초의 손상된 매크로블록을 미싱할 수도 있다. 손상된 매크로블록을 미싱함으로써 유발되는 이 문제점을 방지하기 위해, "비-손상 매크로블록" 에 대한 보수적인 정의가 이용된다. 매크로블록이 상주하는 슬라이스 내에서 에러가 검출되지 않으면, 그 매크로블록은 매크로블록 에러 맵에서 "비-손상" 으로 마킹된다. 반대로, 슬라이스 내에서 임의의 에러가 검출되면, 그 슬라이스 내의 모든 매크로블록이 "손상" 으로 마킹된다. 손상된 매크로블록에 대한 이러한 보수적인 정의에 의해, 슬라이스 내의 임의의 검출 된 에러는 그 슬라이스 전체를 이용하지 못하게 한다. 이러한 보수적인 에러 매크로블록 맵 및 이러한 경우의 에러 세그먼트들의 일예가 도 3 에 도시되어 있다.
문제점 3: 모션 레벨 팩터
표 1 로 돌아가서, 수식 (1) 의 씬 변경 검출 시스템이 갖는 세번째 문제점은, 수식 (1) 이 현저한 모션을 고려하지 못한다는 것이다. 더 상세하게는, 현저한 양의 모션이 존재하는 경우, 시간적 에러 정정은 덜 유용해진다.
이 문제점을 해결하기 위해, "모션 레벨" 파라미터가 수식 (6) 의 우측 끝에 부가될 수도 있다. 이 새롭게 부가된 모션 레벨 파라미터는, 씬에 현저한 모션이 존재하는 경우, 시간적 에러 정정을 이용하는 것에 대해 부가된 편향을 생성한다. 수식 (6) 에 부가된 모션 레벨 파라미터를 갖는 에러 은닉 판정 모드 수식의 일예는:
Figure 112009064859768-pct00007
(7)
로 표현되며, 여기서,
MVx(i,j) = 매크로블록 (i,j) 의 수평 모션 벡터;
MVy(i,j) = 매크로블록 (i,j) 의 수직 모션 벡터; 및
k2 = 스케일링 상수
이다.
인트라-매크로블록 및 손실된 매크로블록에 대한 모션 벡터는 이용가능하지 않음을 유의해야 한다. 미싱된 모션 벡터에 대해 단순하게 제로 모션을 가정하는 것은 일반적으로 적절하지 않다. 일 실시형태에서는, 손상되고 인트라-코딩된 매크로블록에 대해 "최신의 가용" 모션 벡터가 이용된다. "최신의 가용" 모션 벡터는, 각각의 인입되는 손상되지 않은 인터-매크로블록에 대해 모션 정보가 업데이트되는 "모션 벡터 맵" 으로부터 획득된다. 더 상세하게는, 모션 벡터 (MV) 맵은 M×N 개의 엔트리로 이루어진다 (M 및 N 은 각각 열당 블록의 수 및 행당 블록의 수이다). 각각의 엔트리는 블록에 대한 최신의 모션 벡터 MVx(i,j) 및 MVy(i,j) 를 포함한다. 모션 벡터 맵은 제로로 초기화될 수도 있고, 수신되는 모든 비-손상 인터 블록에 대해 업데이트될 수도 있다.
문제점 4: 인트라-프레임
표 1 에 리스트된 네번째이자 마지막 문제점은, 주기적으로 삽입된 인트라-프레임들이, 실제로는 씬 변경이 발생하지 않은 경우에도 씬 변경이 발생한 것으로 수식 (1) 을 속일 수도 있다는 것이다. 더 상세하게는, 랜덤 액세스 및 에러 복원을 위해 디지털 프레임들의 스트림에 삽입된 인트라-프레임이 디지털 비디오 수신기/디코더로 하여금 씬 변경이 발생한 것으로 믿게 할 수도 있다. 이 네번 째 문제점을 해결하기 위해, 매크로블록 타입 정보 대신 유사성에 기초하는 특수한 씬 변경 판정 방법은 I-프레임에 대해서만 이용되도록 설계된다. 손상에 기인하여 TEC 를 선호하는 편향 코스트 (cost) 가 판정 메트릭에 부가된다. 유사하게, 모션에 대해 SEC 를 선호하는 편향 또한 부가된다. 다음의 수식은 씬 변경 검출을 수행하고, 유사성 항을 포함하며:
Figure 112009064859768-pct00008
(8)
이고, 여기서,
C = 모션에 대한 스케일링 상수
τ = 임계값
SIMY = 휘도 도메인에 대한 유사성 메트릭; 및
SIMU 및 SIMV = 2 개의 색차 도메인에 대한 유사성 메트릭
이다.
일 실시형태에서, 유사성 메트릭은:
Figure 112009064859768-pct00009
(9)
Figure 112009064859768-pct00010
(10)
Figure 112009064859768-pct00011
(11)
으로 정의될 수도 있으며, 여기서,
Figure 112009064859768-pct00012
및
Figure 112009064859768-pct00013
는 현재의 재구성된 프레임에 대한 휘도 (Y) 및 이전의 재구성된 프레임에 대한 휘도 (Y) 히스토그램을 나타낸다. 색차에 대한 부호
Figure 112009064859768-pct00014
,
Figure 112009064859768-pct00015
,
Figure 112009064859768-pct00016
및
Figure 112009064859768-pct00017
는 유사한 정의를 갖는다. 또한, 'ⓧ' 는 "내적" 을 나타낸다.
도 4 는 디지털 비디오 디코더에서 에러 은닉을 위한 씬 변경 검출을 수행하는, 도 1 의 흐름도의 정정된 버전을 도시한다. 도 4 의 흐름도에서, 판정 단계 420 은, 디지털 비디오 프레임이 인트라-프레임 (I-프레임) 인지 여부를 결정하기 위해 추가되었다. 디지털 비디오 프레임이 인트라-프레임이면, 단계 433 에 기술된 바와 같이, 씬 변경 검출을 위해 수식 (8) 이 이용될 것이다. 그렇지 않으면, 단계 430 에 기술된 바와 같이, 씬 변경 검출을 위해 수식 (7) 이 이용될 것이다.
개선된 공간적 에러 은닉
본 발명은, 미싱되거나 손상된 디지털 비디오 정보에 의해 유발된 에러를 은닉하기 위해 공간적 에러 은닉 (SEC) 이 선택된 경우에 이용되는 개선된 공간적 에러 은닉 (SEC) 방법을 도입한다. 본 발명의 개선된 공간적 에러 은닉 방법은, 계층적 보간을 갖는, 가장 근접한 가용 픽셀 기반 중앙 적응형 예측기를 포함한다.
제안된 공간적 에러 은닉 접근법은 매크로블록 기반 은닉 방법이며, 정확하게 수신된 모든 매크로블록이 미리 디코딩되었다고 가정한다. 일 실시형태에서, 매크로블록은, 주지된 ITU 및 MPEG 표준에서 기술되는 바와 같이, 휘도 도메인에서 16×16 이고, 색차 도메인에서 8×8 이다. 공간적 에러 은닉 방법은 손상된 매크로블록에 대해 표준 래스터 순서로 수행된다. 따라서, 은닉될 매크로블록의 좌측 및 위에 있는 모든 매크로블록 및 픽셀은 디코더에 의해 이미 생성되었으며, 그 손상된 매크로블록을 은닉하는데 이용될 수 있다.
제안된 공간적 에러 은닉 방법은 손상된 매크로블록을 4 개의 상이한 영역으로 분할한다. 그 후, 제안된 공간적 에러 은닉 방법은, 서로 다른 영역들 각각을, 매크로블록의 그 영역에 대한 특수한 공간적 에러 은닉 방식으로 처리한다. 16×16 매크로블록에 대한 4 개의 영역 및 대응 픽셀 좌표는:
영역 F (하위 우측 코너, 1 픽셀): (15, 15)
영역 B (바닥 행, 15 픽셀): (i, 15), 0≤i≤14
영역 R (최우측 열, 15 픽셀): (15, j), 0≤j≤14
영역 M (중간 부분, 225 픽셀): (i, j), 0≤i,j≤14
로 정의된다.
도 5 는 매크로블록의 4 개의 매크로블록 영역 F, B, R 및 M 으로의 분할을 도시한다.
제안된 공간적 에러 은닉 방법은 4 개의 서로 다른 매크로블록 영역을 다음 의 순서로 처리하며:
1. 영역 F (하위 우측 코너) 의 재구성: x(15, 15).
2. 영역 B (바닥 행) 의 재구성 : x(i, 15), 0≤i≤14.
3. 영역 R (최우측 열) 의 재구성 : x(15, j), 0≤j≤14.
4. 영역 M (중간 부분) 의 재구성 : x(i, j), 0≤i,j≤14.
여기서, x(i, j) 는 픽셀 위치 (i, j) 에서 재구성된 픽셀값을 나타낸다. (영역 B 및 영역 R 의 재구성은 유사한 결과를 갖는 역순으로 수행되어야 함을 유의해야 한다.) 4 개의 서로 다른 영역 각각에 대한 공간적 에러 은닉 방법은 다음의 4 개의 섹션에서 각각 설명된다.
영역 F (하위 우측 코너) 의 재구성: x(15, 15)
F 영역 (하위 우측 코너) 은 다음의 3 개의 방법: 중앙 적응형 예측, 픽셀 평균화, 또는 픽셀 카피 중 하나로 가장 근접한 "가용" 픽셀들을 프로세싱함으로써 재구성된다. 픽셀이 비-손상 매크로블록에 위치하고 있으면 "가용" 으로 지칭된다.
영역 F 로부터 그 가장 근접한 가용 픽셀들까지의 거리에 따라, 재구성 과정은 다음과 같은 케이스 1 또는 케이스 2 에 속한다.
케이스 1: 케이스 1 은, 3 개의 인접하는 매크로블록 (아래, 우측 및 우측 아래) 내의 인접한 3 개의 픽셀들 중 적어도 하나가 가용일 것을 요구한다. 더 상세하게는, 도 6a 를 참조하면, 영역 F 의 3 개의 가장 근접한 이웃 α, β, 및 γ 중 하나는 비-손상 매크로블록 내에 존재해야 한다. 케이스 1 은 다음의 4 개의 서브-케이스 1.1 내지 1.4 로 더 세분화된다.
케이스 1.1: 케이스 1.1 은, 3 개의 주위의 픽셀들 α, β, 및 γ 모두가 가용인 경우 (픽셀들 모두가 비-손상 매크로블록 내에 있는 경우) 에 발생한다. 3 개의 주위의 픽셀들 α, β, 및 γ 가 가용인 경우, 영역 F 의 코너 픽셀은 중앙 적응형 예측기:
Figure 112009064859768-pct00018
(12)
를 이용하여 재구성된다.
이미지를 손실없이 압축하도록 설계된 원래의 중앙 적응형 예측기는, 도 6b 에 도시된 바와 같이, 3 개의 주위의 픽셀 p, q 및 r 에 의해 현재의 픽셀 x 를 예측하는 비선형 예측기이다. 이 예측기는, r≥q≥p 또는 r≤q≤p 이면, x 위에 수직 에지가 존재하고, r≥p≥q 또는 r≤p≤q 이면, x 위에 수평 에지가 존재하는 것으로 가정한다. 영역 F 를 재구성하는데 이용된 3 개의 주위의 픽셀은 원래의 중앙 적응형 예측기에서의 픽셀들과 상이함을 유의해야 한다.
케이스 1.2: 케이스 1.2 는, 도 6a 의 픽셀 α 및 β 모두가 비-손상 매크로블록 내에 있는 경우 (γ 가 가용이면 케이스 1.1 일 것이므로, γ 는 가용이 아님) 에 이용된다. 케이스 1.2 에서, 영역 F 의 코너 픽셀은 다음의 수식:
Figure 112009064859768-pct00019
(13)
에 의한 픽셀 평균화를 이용하여 재구성되며, 여기서, 2 로 제산하는 연산은 우측 시프트 연산 (>>1) 으로 수행될 수도 있다.
케이스 1.3: 케이스 1.3 은, α 또는 β 중 (둘 모두가 아닌) 어느 하나만이 비-손상 매크로블록인 경우에 이용된다 (γ 의 상태는 무관함). 케이스 1.3 에서, 영역 F 는:
x(15,15) = x(16,15) 또는 x(15,16) (14)
와 같은 픽셀 카피로 재구성된다.
케이스 1.4: 마지막으로, 케이스 1.4 는, 오직 γ 만이 비-손상 매크로블록 내에 있는 경우 이용된다. 케이스 1.4 에서, 영역 F 는:
x(15,15) = x(16,16) (15)
와 같은 픽셀 카피로 재구성된다.
케이스 2: 도 6a 로 돌아가서, 케이스 2 는, 영역 F 의 3 개의 가장 근접한 이웃 α, β 및 γ 모두가 손상된 매크로블록 내에 있는 경우 발생한다. 도 6a 의 α, β 및 γ 가 가용이 아니기 때문에, 영역 F 는 현재 은닉되고 있는 매크로블록에 인접한 다른 3 개의 매크로블록 (위, 좌측 및 좌측 위) 으로부터의 픽셀을 이용하여 재구성되어야 한다. 현재의 매크로블록이 에지 상에 위치되면, 상기 다른 3 개의 매크로블록들은 가용이 아닐 수도 있다. 현재의 매크로블록이 에지 상에 위치되지 않으면, 상기 다른 3 개의 매크로블록들은 도 5 에 도시된 바와 같이, 에러 없이 수신되거나 이미 은닉되었기 때문에 이미 재구성되었다. 케이스 2 에서는, 도 7 의 픽셀 α, β 및 γ 로 도시된 바와 같이, 인접한 매크로블록의 최우측 바닥 픽셀이 영역 F 를 재구성하는데 이용될 것이다. 에지 상황에 기인하여, 케이스 2 는 다음의 4 개의 서브 케이스 2.1 내지 2.4 로 더 세분화된다.
케이스 2.1: 케이스 2.1 은, 매크로블록이 프레임의 좌측 위 코너에 위치된 경우에 발생한다. 이 경우, 어떠한 인접 픽셀 정보도 이용할 수 없어서, 영역 F 는 단지 평균 또는 중앙 픽셀 값으로 설정된다. 일 실시형태에서, 영역 F 는 다음의 수식:
x(15,15) = 128 (16)
으로 재구성된다.
케이스 2.2: 케이스 2.2 는, 매크로블록이 프레임의 상단 행에 위치된 경우에 발생한다. 케이스 2.2 에서, 영역 F 는 다음의 수식:
x(15,15) = x(-1,15) (17)
으로 도 7 의 α 를 픽셀 카피함으로써 재구성된다.
케이스 2.3: 케이스 2.3 은, 매크로블록이 프레임의 최좌측 열에 위치된 경우 발생한다. 케이스 2.3 에서, 영역 F 는 다음의 수식:
x(15,15) = x(15,-1) (18)
으로 도 7 의 β 를 픽셀 카피함으로써 재구성된다.
케이스 2.4: 케이스 2.4 는, 상기 케이스들 모두가 적용되지 않을 경우에 (위 및 좌측의 매크로블록들 모두가 가용인 경우에) 발생한다. 케이스 2.4 에서, 영역 F 는 다음의 수식:
Figure 112009064859768-pct00020
(19)
으로 x(-1,15), x(15,-1) 및 x(-1,-1) (도 7 에 도시된 픽셀 α, β 및 γ) 에 대한 중앙 적응형 예측기를 적용함으로써 재구성된다.
영역 B (바닥 행) 의 재구성: x(i,15), 0≤i≤14
도 6a 로 돌아가서, 바닥 행 영역 B 를 복원하기 위해 2 개의 상이한 재구성 방식이 이용된다. 더 상세하게는, 행 영역 B 의 아래의 매크로블록이 가용인지 또는 손상되었는지 또는 다른 이유로 가용이 아닌지 여부에 따라, 이하 설명하는 케이스 1 또는 케이스 2 가 선택될 것이다.
케이스 1: 케이스 1 은 행 영역 B 의 아래의 매크로블록이 비-손상인 경우 이용된다. 이 경우, 영역 B 내의 각각의 픽셀은 다음의 수식:
x(i,15) = x(i,16), 0≤i≤14 (20)
을 이용하여, 자신의 아래에 있는 픽셀과 동일한 값으로 재구성된다.
케이스 2: 케이스 2 는, 행 영역 B 의 아래의 매크로블록이 손상되거나 가용이 아닌 경우 이용된다. 이 경우, 행 영역 B 내의 각각의 픽셀들은 바닥 행의 중간부터 시작하여, 2 개의 이전에 재구성된 픽셀의 평균으로 재구성된다. 초기의 2 개의 이전에 재구성된 픽셀은, 영역 F 로부터의 픽셀, 및 좌측에 대한 매크로블록의 바닥 최우측 픽셀이다. 픽셀들의 재구성은 다음의 수식:
Figure 112009064859768-pct00021
(21)
을 이용하여 수행되고, 여기서, 재구성 순서 및 i 와 k 의 관계는 다음의 표 2 에 기술되어 있다. 2 로 제산하는 연산은 우측 시프트 연산 (>>1) 으로 수행될 수 있음을 유의해야 한다.
Figure 112009064859768-pct00022
재구성 과정은 도 8a 내지 8c 에 도식적으로 도시되어 있다. 바닥 행의 각각의 픽셀 x(i,15) 는 2 개의 가장 근접한 이전에 재구성된 픽셀의 평균에 의해 재구성된다. 각각의 픽셀은 재구성을 위해 2 개의 가산 연산 (+) 및 하나의 시프트 연산 (>>) 을 요구한다.
R (최우측 열) 의 재구성: x(15,i),0≤i≤14
도 6a 에 도시된 최우측 열 R 영역의 재구성은 바닥 행 영역 B 에 대한 재구 성 과정과 동일한 방식으로 진행된다. 더 상세하게는, 열 영역 R 의 우측의 매크로블록이 손상되었는지 여부에 따라, 손상된 매크로블록의 최우측 열 R 영역을 은닉하는데 2 개의 상이한 방식이 이용된다.
케이스 1: 케이스 1 은, 열 영역 R 의 우측의 매크로블록이 비-손상인 경우 이용된다. 이 경우, 영역 R 의 각각의 픽셀은 다음의 수식:
x(15,i) = x(16,i), 0≤i≤14 (22)
으로 자신의 인접한 픽셀과 동일한 값으로 재구성된다.
케이스 2: 케이스 2 는, 열 영역 R 의 우측의 매크로블록이 손상되거나 가용이 아닌 경우 이용된다. 케이스 2 에서, 영역 R 의 각각의 픽셀은 다음의 수식:
Figure 112009064859768-pct00023
(23)
으로 최우측 열의 중간으로부터 시작하여 2 개의 이전에 재구성된 픽셀의 평균으로 재구성된다. 재구성 순서 및 i 와 k 의 관계는 행 영역 B 의 재구성에 대한 이전 섹션의 것과 동일하다. 2 로 제산하는 연산은 우측 시프트 연산 (>>1) 으로 수행될 수도 있다.
영역 M (중간 부분) 의 재구성: x(i,j), 0≤i,j≤14
이 시점에, 매크로블록의 바닥 행 및 최우측 열 내의 픽셀들은 재구성되어 있다. 나머지 픽셀들 (도 6a 에 영역 M 으로 도시된 매크로블록의 중간 부분) 은 그 매크로블록의 중간으로부터 시작하여 4 개의 이전에 재생성된 픽셀들의 평균 으로 재구성된다. 더 상세하게는, 영역 M 의 픽셀들을 채우기 위해 다음의 수식:
Figure 112009064859768-pct00024
(24)
이 이용될 수 있으며, 여기서, n = 0 또는 m 이다. 수식 (24) 에서 4 로 제산하는 것은 2 칸 우측 시프트 연산 (>>2) 으로 수행될 수 있다. 최초 25 개의 픽셀에 대한 재구성 순서, 및 (i,j), m 및 n 의 관계가 표 3 에 나타나 있다. 나머지 픽셀들의 순서는 그에 따라서 유도될 수 있다.
Figure 112009067272333-pct00041
각각의 픽셀 재구성은 4 개의 가산 연산 (+) 및 하나의 2 칸 우측 시프트 (>>2) 연산을 취한다. 영역 M 에 대한 재구성 과정은 도 9a 및 도 9b 에 도식적으로 도시되어 있다.
손상되지 않은 프레임에 전파되는 에러
디지털 비디오 프레임에 대한 정보가 송신되고 에러 없이 수신되는 경우에도, 미리 수신된 디지털 비디오 프레임 내의 에러에 기인하여, 디스플레이되는 디 지털 비디오 프레임은 시각적으로 열화될 수도 있다. 더 상세하게는, 현재의 디지털 비디오 프레임은, 미리 송신된 디지털 비디오 프레임 내의 손상된 매크로블록에 대한 참조를 포함할 수도 있다. 이 손상된 매크로블록들이 에러 은닉 방법으로 재구성되면, 그 재구성된 매크로블록을 참조하는 현재의 디지털 비디오 프레임은 시각적인 결함을 포함할 것이다.
이 문제점을 해결하기 위해, 본 발명은 특정한 조건 하에서 "리프레시" 매크로블록을 제안한다. 용어 "리프레시" 는 공간적 에러 은닉 (SEC) 에 의해 매크로블록을 재생성하는 것을 의미한다. SEC 에 의해 도입되는 오버슈팅 (예를 들어, 번짐) 을 방지하기 위해, "리프레시" 방식은 오직 색차 (U 및 V) 도메인에 대해서만 적용된다.
본 발명의 리프레시 과정은 다음의 3 개의 단계: 준비, 판정 및 프로세싱을 포함한다. 각각의 단계를 상세히 설명한다.
준비: 리프레시 테이블
시스템은 M×N 개의 엔트리로 이루어지는 리프레시 테이블을 생성하며, 각각의 엔트리는 매크로블록에 대한 "리프레시" 상태를 나타낸다 (M 및 N 은 디지털 프레임 내의 매크로블록의 행 및 열의 수를 나타낸다). 시스템은, 대응하는 매크로블록이 손상되고 공간적 에러 정정에 의해 은닉된 경우 엔트리의 초기값을 '2' 로 설정한다. 그렇지 않으면, 초기값을 '0' 으로 설정한다.
판정: 비 손상 블록에 대해 공간적 에러 은닉을 이용할 것인가?
다음으로, 시스템은, 디지털 비디오 프레임을 스캔하여, 대응하는 매크로블 록이 다음의 모든 조건들을 만족하면, 리프레시 테이블의 엔트리 값을 '0' 으로부터 '1' 로 변경한다.
1. 비 손상 매크로블록이다 (매크로블록이 손상이면, 에러 은닉이 트리거링될 것이다).
2. 인터-매크로블록이다 (인트라 매크로블록은 에러 전파 문제를 갖지 않는다).
3. 비-손상 매크로블록의 수가 임계값보다 크다 (너무 많은 손상 매크로블록의 조건에서 SEC 는 양호하게 수행되지 못한다).
그렇지 않으면, 시스템은 엔트리값을 그대로 남겨둔다.
제안된 알고리즘의 목적은 비 손상 인터-매크로블록에 대한 에러 전파의 영향을 감소시키는 것이기 때문에, 판정은 에러 조건에 기초하여 행해져야 한다. 따라서, 조건 3 에서의 임계값은 대미지의 함수로서 설정되어야 한다. 임계값은, 대미지가 더 심각할 경우 더 많은 매크로블록이 리프레시되도록 낮게 설정되어야 한다. 실제 영향을 반영하기 위해, 대미지는, 손상된 매크로블록의 수뿐만 아니라 다른 팩터들, 예를 들어, 모션의 양, 씬 변경이 발생했는지 여부, 비-손상 인트라-매크로블록, 과거의 대미지 등에 의해 계산된다. 대량의 모션 및 씬 변경 발생과 같은 팩터들은 대미지를 더욱 악화시키는 경향이 있다. 한편, 비-손상 인트라-매크로블록은 대미지를 감소시키는 경향이 있다. 일 실시형태에서, 대미지 팩터는 다음의 수식:
Figure 112009064859768-pct00026
(25)
으로 계산되고, 여기서,
Figure 112009064859768-pct00027
= 모션 벡터 크기
Ni = 새로운 대미지 (손상된 매크로블록의 수)
Di-1 = 과거의 대미지
k1, k2 = 모션에 의해 유발되는 대미지 확대를 반영하는 상수 (k1, k2 ≥ 1).
정적인 씬에 대해서는 k1 = k2 = 1.
I = 에러 정정 팩터 (비-손상 인트라-매크로브록으로부터 획득되는 이득). I ≤ 1 (1 은 비-손상 인트라-매크로블록이 없음을 나타냄).
s = 씬 변경 팩터, s ≥ 1 (1 은 씬 변경이 발생하지 않았음을 나타냄)
프로세싱: 공간적 에러 은닉을 수행함
'1' 로 마킹된 대응하는 리프레시 테이블 엔트리를 갖는 매크로블록에 대한 색차 도메인에 대해 공간적 에러 은닉 방법을 적용한다. '2' 로 마킹된 각각의 매크로블록에 대한 휘도 도메인 및 색차 도메인 모두에 대해 공간적 에러 은닉 알고리즘을 적용한다. 다양한 서로 다른 공간적 에러 은닉 방법이 이용될 수도 있다. 일 실시형태에서, 전술한 섹션에서 기술한 공간적 에러 은닉 방법은 실제 "리프레시" 를 위한 공간적 에러 은닉으로서 기능한다.
디지털 비디오에서 에러 은닉을 수행하는 다수의 기술들을 설명하였다. 본 발명의 범주를 벗어나지 않으면서, 당업자에 의해 본 발명의 구성요소 및 배열에 대한 변경 및 변형이 행해질 수도 있음을 고려해야 한다.

Claims (51)

  1. 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 (scene) 변경을 나타내는지 여부를 결정하는 방법으로서,
    상기 디지털 비디오 프레임이 인트라-프레임인지 여부를 결정하는 단계; 및
    상기 디지털 비디오 프레임이 인트라-프레임이면, 현재의 재구성된 프레임과 이전의 재구성된 프레임 간의 유사성과 관련된 유사성 메트릭을 포함하는 제 1 수식을 적용하여 씬 변경이 발생했는지 여부를 결정하는 단계; 및
    상기 디지털 비디오 프레임이 인트라-프레임이 아니면, 인트라-매크로블록 비율 항, 모션의 양을 특정하는 모션 레벨 항 및 시간적 에러 은닉 쪽으로 편향시키는 데이터 손실 스케일링 팩터를 포함하는 제 2 수식을 적용하여 씬 변경이 발생했는지 여부를 결정하는 단계로서, 상기 인트라-매크로블록 비율은 수신된 비-손상 매크로블록의 총 수에 대한 수신된 비-손상 인트라-매크로블록의 수의 비율인, 상기 제 2 수식을 적용하여 씬 변경이 발생했는지 여부를 결정하는 단계를 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  2. 제 1 항에 있어서,
    상기 제 2 수식은 프레임 비트 사이즈 항을 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  3. 제 2 항에 있어서,
    상기 프레임 비트 사이즈 항은, 상기 디지털 비디오 프레임에 대한 비트의 수가 승산된 양자화 파라미터를 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  4. 제 3 항에 있어서,
    상기 디지털 비디오 프레임에 대한 상기 비트의 수는, 상기 디지털 비디오 프레임에 대한 수신된 비트의 수와 손실된 패킷의 수의 합에 평균 패킷 사이즈를 곱한 것을 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 (scene) 변경을 나타내는지 여부를 결정하는 방법으로서,
    인트라-매크로블록 비율 항, 모션의 양을 특정하는 모션 레벨 항 및 시간적 에러 은닉 쪽으로 편향시키는 데이터 손실 스케일링 팩터를 포함하는 다항식을 계산하여, 씬 변경이 발생했는지 여부를 결정하는 단계로서, 상기 인트라-매크로블록 비율은 수신된 비-손상 매크로블록의 총 수에 대한 수신된 비-손상 인트라-매크로블록의 수의 비율인, 상기 결정하는 단계를 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  9. 제 8 항에 있어서,
    상기 다항식은 프레임 사이즈 항을 더 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  10. 제 9 항에 있어서,
    상기 프레임 사이즈 항은, 상기 디지털 비디오 프레임에 대한 비트의 수가 승산된 양자화 파라미터를 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경을 나타내는지 여부를 결정하는 방법.
  11. 제 10 항에 있어서,
    상기 디지털 비디오 프레임에 대한 상기 비트의 수는, 상기 디지털 비디오 프레임에 대한 수신된 비트의 수와 손실된 패킷의 수의 합에 평균 패킷 사이즈를 곱한 것을 포함하는, 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 변경 을 나타내는지 여부를 결정하는 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 (scene) 변경을 나타내는지 여부를 결정하기 위한 일련의 명령들을 포함하며,
    상기 일련의 명령들은,
    인트라-매크로블록 비율 항, 모션의 양을 특정하는 모션 레벨 항 및 시간적 에러 은닉 쪽으로 편향시키는 데이터 손실 스케일링 팩터를 포함하는 다항식을 계산하여, 씬 변경이 발생했는지 여부를 결정하는 단계로서, 상기 인트라-매크로블록 비율은 수신된 비-손상 매크로블록의 총 수에 대한 수신된 비-손상 인트라-매크로블록의 수의 비율인, 상기 결정하는 단계를 구현하는, 컴퓨터 판독가능 매체.
  16. 제 15 항에 있어서,
    상기 다항식은 프레임 사이즈 항을 더 포함하는, 컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서,
    상기 프레임 사이즈 항은, 상기 디지털 비디오 프레임에 대한 비트의 수가 승산된 양자화 파라미터를 포함하는, 컴퓨터 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 디지털 비디오 프레임에 대한 상기 비트의 수는, 상기 디지털 비디오 프레임에 대한 수신된 비트의 수와 손실된 패킷의 수의 합에 평균 패킷 사이즈를 곱한 것을 포함하는, 컴퓨터 판독가능 매체.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 디지털 비디오 프레임이 디지털 비디오 스트림 내의 씬 (scene) 변경을 나타내는지 여부를 결정하기 위한 디지털 비디오 디코더로서,
    상기 디지털 비디오 디코더는,
    인트라-매크로블록 비율 항, 모션의 양을 특정하는 모션 레벨 항 및 시간적 에러 은닉 쪽으로 편향시키는 데이터 손실 스케일링 팩터를 포함하는 다항식을 계산하여, 씬 변경이 발생했는지 여부를 결정하는 수단으로서, 상기 인트라-매크로블록 비율은 수신된 비-손상 매크로블록의 총 수에 대한 수신된 비-손상 인트라-매크로블록의 수의 비율인, 상기 결정하는 수단;
    씬 변경이 발생한 것으로 상기 다항식에서 결정되면, 공간적 에러 은닉을 수행하는 수단; 및
    씬 변경이 발생하지 않은 것으로 상기 다항식에서 결정되면, 시간적 에러 은닉을 수행하는 수단을 포함하는, 디지털 비디오 디코더.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
KR1020097022172A 2007-03-23 2008-03-21 디지털 비디오에 대한 에러 은닉을 수행하는 방법 KR101126055B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/690,132 US8379734B2 (en) 2007-03-23 2007-03-23 Methods of performing error concealment for digital video
US11/690,132 2007-03-23
PCT/US2008/057890 WO2008118801A2 (en) 2007-03-23 2008-03-21 Methods of performing error concealment for digital video

Publications (2)

Publication Number Publication Date
KR20090122490A KR20090122490A (ko) 2009-11-30
KR101126055B1 true KR101126055B1 (ko) 2012-03-29

Family

ID=39719242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097022172A KR101126055B1 (ko) 2007-03-23 2008-03-21 디지털 비디오에 대한 에러 은닉을 수행하는 방법

Country Status (7)

Country Link
US (3) US8379734B2 (ko)
EP (3) EP2140686A2 (ko)
JP (2) JP5242669B2 (ko)
KR (1) KR101126055B1 (ko)
CN (1) CN101641957A (ko)
TW (1) TW200845768A (ko)
WO (1) WO2008118801A2 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062312A1 (en) * 2004-09-22 2006-03-23 Yen-Chi Lee Video demultiplexer and decoder with efficient data recovery
US8605797B2 (en) * 2006-02-15 2013-12-10 Samsung Electronics Co., Ltd. Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium
US8379733B2 (en) * 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US8379734B2 (en) 2007-03-23 2013-02-19 Qualcomm Incorporated Methods of performing error concealment for digital video
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
US8842739B2 (en) * 2007-07-20 2014-09-23 Samsung Electronics Co., Ltd. Method and system for communication of uncompressed video information in wireless systems
US8243823B2 (en) * 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
US20100104003A1 (en) * 2008-10-24 2010-04-29 Manufacturing Resources International Inc. System and method for securely transmitting video data
US20100195742A1 (en) * 2009-02-02 2010-08-05 Mediatek Inc. Error concealment method and apparatus
JP2010226376A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 画像復号装置およびコンピュータが実行可能なプログラム
US8743970B2 (en) * 2009-04-13 2014-06-03 Freescale Semiconductor, Inc. Video decoding with error detection and concealment
US9369759B2 (en) 2009-04-15 2016-06-14 Samsung Electronics Co., Ltd. Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
EP2285122B1 (en) 2009-07-17 2013-11-13 Canon Kabushiki Kaisha A method and device for reconstructing a sequence of video data after transmission over a network
GB2475739A (en) * 2009-11-30 2011-06-01 Nokia Corp Video decoding with error concealment dependent upon video scene change.
KR101390620B1 (ko) * 2010-03-31 2014-04-30 인텔 코포레이션 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
CN104125457B (zh) * 2011-01-14 2018-01-09 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
CN104113753B (zh) * 2011-01-14 2017-09-12 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
CN102595124B (zh) * 2011-01-14 2014-07-16 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
US8804820B2 (en) * 2011-04-21 2014-08-12 Dialogic Corporation Rate control with look-ahead for video transcoding
KR20140097199A (ko) * 2011-11-24 2014-08-06 톰슨 라이센싱 비디오 품질 측정
MX339675B (es) * 2011-11-25 2016-06-01 Thomson Licensing Evaluacion de calidad de video considerando los artefactos de corte de escena.
GB2502620B (en) * 2012-06-01 2020-04-22 Advanced Risc Mach Ltd A parallel parsing video decoder and method
JP2015530034A (ja) * 2012-08-23 2015-10-08 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ・ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法および装置
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US9407923B2 (en) * 2013-05-20 2016-08-02 Gamefly Israel Ltd. Overconing lost IP packets in streaming video in IP networks
CN104519358B (zh) * 2013-09-27 2018-07-20 兴唐通信科技有限公司 一种对i条带丢失或误码进行恢复的方法和装置
EP3061252A1 (en) * 2013-10-22 2016-08-31 VID SCALE, Inc. Error concealment mode signaling for a video transmission system
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
US9807339B2 (en) * 2015-06-12 2017-10-31 Sharp Laboratories Of America, Inc. Frame rate conversion system
EP3184071A1 (de) * 2015-12-22 2017-06-28 SpineMind AG Vorrichtung für die intraoperative bildgesteuerte navigation bei chirurgischen eingriffen im bereich der wirbelsäule und im daran angrenzenden thorax-, becken- oder kopfbereich
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
AU2017273560B2 (en) 2016-05-31 2019-10-03 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
US10510304B2 (en) 2016-08-10 2019-12-17 Manufacturing Resources International, Inc. Dynamic dimming LED backlight for LCD array
US10291936B2 (en) 2017-08-15 2019-05-14 Electronic Arts Inc. Overcoming lost or corrupted slices in video streaming
CN109542853B (zh) * 2018-11-28 2021-11-02 深圳市瑞云科技有限公司 一种解决本地渲染出错的方法
CN110853061B (zh) * 2019-11-15 2022-12-02 侯宇红 一种城市管理视频处理系统及工作方法
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283785A (ja) * 1990-03-30 1991-12-13 Hitachi Ltd ブロック符号化信号復号化装置
JPH04219074A (ja) * 1990-08-31 1992-08-10 Toshiba Corp 画像符号化装置
JPH06292174A (ja) * 1993-03-31 1994-10-18 Canon Inc 画像信号再生装置
KR100196872B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 복화화 시스템의 영상 에러 복구 장치
JPH114450A (ja) * 1997-06-13 1999-01-06 Kokusai Electric Co Ltd デジタル動画像データの伝送システム
US6266369B1 (en) * 1998-06-09 2001-07-24 Worldgate Service, Inc. MPEG encoding technique for encoding web pages
US7974775B1 (en) 1999-11-05 2011-07-05 Angela Masson Electronic kit bag
KR100750092B1 (ko) * 2000-01-28 2007-08-21 삼성전자주식회사 가변장 코딩방법 및 장치
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
KR100380229B1 (ko) 2000-07-19 2003-04-16 엘지전자 주식회사 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법
JP2002247588A (ja) 2001-02-21 2002-08-30 Sony Corp 動きベクトル変換方法及び変換装置
JP2005503722A (ja) 2001-09-21 2005-02-03 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 輻輳制御用に伝送レートを計算するためにバッファサイズの受領を用いるデータ通信方法とシステム
US7020203B1 (en) * 2001-12-21 2006-03-28 Polycom, Inc. Dynamic intra-coded macroblock refresh interval for video error concealment
US7020207B1 (en) * 2002-12-02 2006-03-28 Hitachi, Ltd. Video error concealment mechanism for block based video decompression
US7324698B2 (en) * 2003-11-20 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Error resilient encoding method for inter-frames of compressed videos
US7882421B2 (en) * 2004-05-06 2011-02-01 Seyfullah Halit Oguz Method and apparatus for joint source-channel map decoding
TWI254879B (en) * 2004-12-17 2006-05-11 Quanta Comp Inc System and method for video encoding
US20060251177A1 (en) * 2005-05-09 2006-11-09 Webb Jennifer L H Error concealment and scene change detection
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
US8379734B2 (en) 2007-03-23 2013-02-19 Qualcomm Incorporated Methods of performing error concealment for digital video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Novel Error Concealment Method With Adaptive Prediction to the Abrupt and Gradual Scene Changes(Chou Y-Z et al. IEEE Trans. on Multimedia, vol.6, no.1, 2004년 2월 1일 공개)

Also Published As

Publication number Publication date
EP2140686A2 (en) 2010-01-06
US8526507B2 (en) 2013-09-03
KR20090122490A (ko) 2009-11-30
US20130251048A1 (en) 2013-09-26
JP5242669B2 (ja) 2013-07-24
CN101641957A (zh) 2010-02-03
US8379734B2 (en) 2013-02-19
JP2013048447A (ja) 2013-03-07
EP2458866A1 (en) 2012-05-30
WO2008118801A2 (en) 2008-10-02
US20130010876A1 (en) 2013-01-10
TW200845768A (en) 2008-11-16
EP2458867A1 (en) 2012-05-30
WO2008118801A3 (en) 2008-11-20
US20080232478A1 (en) 2008-09-25
JP2010522514A (ja) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101126055B1 (ko) 디지털 비디오에 대한 에러 은닉을 수행하는 방법
JP4908522B2 (ja) 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
KR100587280B1 (ko) 오류 은폐방법
Xu et al. H. 264 video communication based refined error concealment schemes
JP5456106B2 (ja) ビデオ誤り隠蔽法
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
KR100301833B1 (ko) 오류은폐방법
KR101032017B1 (ko) 무선 비디오 통신에서 에러 리질리언스 알고리즘의 방법 및장치
US20100260269A1 (en) Video decoding with error detection and concealment
CN1455596A (zh) 基于运动向量外推及运动向量搜索的视频差错掩盖方法
Chen et al. Spatio-temporal boundary matching algorithm for temporal error concealment
KR100388802B1 (ko) 오류은폐장치및방법
KR100774453B1 (ko) 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법
KR100318475B1 (ko) 움직임 정보를 이용한 에러 은닉 장치 및 그 방법
KR100312418B1 (ko) 동영상부호화장치에서인트라모드부호화선택방법
Pyun et al. Error concealment aware error resilient video coding over wireless burst-packet-loss network
Gatimu et al. Weighted nearest valid motion vector averaging for spatial motion vector recovery in wireless HD video transmission using H. 264 over WLANs
Shin et al. An improved error concealment for mobile IPTV
Garg et al. Variable complexity motion compensated error concealment in video coding
Behera FEC for efficient video transmission over CDMA

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20091022

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20101130

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110531

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20111208

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120306

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120306

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150227

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170209