KR101075860B1

KR101075860B1 - 비디오 시퀀스에서 오류 은폐 방법

Info

Publication number: KR101075860B1
Application number: KR1020107018472A
Authority: KR
Inventors: 미스카 한눅셀라; 예-쿠이 왕
Original assignee: 노키아 코포레이션
Priority date: 2002-07-15
Filing date: 2003-07-15
Publication date: 2011-10-25
Also published as: RU2005103827A; JP2005533422A; EP1535467A4; MXPA05000559A; EP1535467B1; WO2004008733A3; CN1669322A; JP4373329B2; AU2003281127A1; AU2003281127B2; WO2004008733A2; CN102291585A; KR20100108442A; US8107539B2; EP1535467A2; US20040139462A1; RU2321967C2

Abstract

비디오 시퀀스에서 오류 은폐를 위한 방법 및 장치가 개시된다. 비디오 시퀀스에 장면 전환이 존재하고, 상기 장면 전환에 속하는 픽쳐에 오류가 있을때, 장면 전환의 유형에 기반하여 오류를 은폐하기 위하여 오류 은폐 절차가 사용된다. 상기 장면 전환은 그 장면 전환의 유형에 대한 정보와 함께 추가적 개선 정보 메시지로 비디오 디코더에 제공된다. 만약, 장면 전환이 점진적 장면 전환이라면, 시공간적 오류 은폐 알고리즘이 상기 픽쳐를 은폐하기 위하여 사용된다. 만약, 장면 전환이 장면 컷이고, 단지 상기 픽쳐의 일부분이 손실되거나 손상된 경우라면, 공간적 오류 은폐가 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 사용된다. 만약 장면 컷에 속하는 전체 픽쳐가 손실되거나 손상되고, 상기 픽쳐가 새로운 장면을 시작한다면, 은폐되지 않는다.

Description

비디오 시퀀스에서 오류 은폐 방법{Method for error concealment in video sequences}

본 발명은 일반적으로 비디오 부호화에 관한 것으로, 보다 상세히는, 오류에 의하여 발생한 화질의 손상(artifact)을 은폐하는 것에 관련된다.

비디오 시퀀스는 정지 픽쳐 또는 프레임들로 구성된다. 비디오 압축 방법은 중복적이고 지각적으로 무관계한 비디오 시퀀스의 부분들을 감소시키는 데에 기반하고 있다. 비디오 시퀀스에서의 중복성(redundancy)은 스펙트럼(spectral), 공간적(spatial) 및 시간적(temporal) 중복성으로 분류될 수 있다. 스펙트럼 중복성은 같은 픽쳐의 다른 색 성분 사이의 유사성을 말한다. 공간적 중복성은 하나의 픽쳐에서 인접한 화소들(pixels) 사이의 유사성으로부터 기인한다. 시간적 중복성은 이전 이미지 프레임에 나타난 객체들이 또한 현재 이미지 프레임에서 나타날 개연성 때문에 존재한다. 압축은 이러한 시간적 중복성을 이용하고, 참조 픽쳐라고 불리는 다른 픽쳐로부터 현재의 픽쳐를 예측함으로써 달성될 수 있다. 더 이상의 압축은 현재 픽쳐와 참조 픽쳐 사이의 동작을 설명하는 동작 보상 데이터(motion compensation data)를 발생함으로써 달성될 수 있다.

비디오 압축 방법은 전형적으로, 시간적 중복성 감축을 이용하는 픽쳐들과 그렇지 않은 픽쳐들 사이에서 구별된다. 시간적 중복성 감축 방법을 이용하지 않는 압축된 픽쳐들은 보통 인트라-(INTRA, 또는 I-) 프레임 또는 픽쳐라고 불린다. 시간적으로 예측된 이미지들은 일반적으로 현재 픽쳐 이전에 발생한 픽쳐로부터 순방향으로(forwardly) 예측되고, 인터-(INTER-) 또는 P-프레임이라고 불린다. 압축 비디오 클립은 전형적으로 일련의 픽쳐들로 구성되며, 상기 일련의 픽쳐들은 대략 시간적으로 독립적인 인트라 픽쳐들과, 시간적으로 차분 부호화된 인터 픽쳐들로 분류될 수 있다. 인트라 픽쳐들은 전형적으로 재구성된 비디오 신호에서 전송 오류의 시간적 전달을 중지하고, 비디오 비트스트림에 임의적 접근 지점을 제공하기 위하여 사용된다. 인트라 픽쳐에 의해 제공되는 압축 효율은 인터 픽쳐에 의하여 제공되는 압축 효율보다 일반적으로 더 낮기 때문에, 상기 인트라 픽쳐는 드물게, 특히 낮은 비트 레이트(bit-rate) 응용에서는 드물게 사용된다.

비디오 시퀀스는 다수의 카메라 장면들(scenes) 또는 샷(shot)으로 구성될 수 있다. 샷은 하나의 카메라로 촬영된 연속적인 프레임 또는 픽쳐들의 집합으로 정의된다. 일반적으로, 하나의 샷 내부의 프레임들은 높은 상관관계(correlated)를 갖는다. 그러나, 전형적인 비디오 시퀀스에서, 픽쳐 컨텐츠는 한 장면으로부터 다른 장면으로 넘어갈 때 상당히 다르며, 따라서 장면의 첫 번째 픽쳐는 일반적으로 인트라 부호화된다. 비디오 시퀀스에서 다른 샷들 사이의 변화는 "장면 전환(scene transitions)"이라고 언급된다. 장면 전환은 많은 수의 다른 형태를 갖을 수 있다. 예를 들면, "장면 컷(scene cut)"에서, 어느 한 샷은 끝나고, 다른 샷은 갑작스럽게 시작될 지도 모른다. 다른 경우로, 장면 전환은 점진적이고, 한 프레임 이상에 대하여 발생한다. 점진적 장면 전환(gradual scene transitions)의 예로는 "디졸브(dissoves)", "페이드(fades:fade-in,fade-out)" 및 "와이프(wipes)" 등이 있다.

압축 비디오는 주로 다음과 같은 두 가지 이유로, 전송 오류에 의하여 쉽게 손상된다. 첫 번째, 시간 예측적 차분 코딩(인터 프레임)의 사용으로 인해, 오류가 시간적 및 공간적으로 전달된다. 두 번째, 가변 길이 부호(variable length codes)의 사용은 오류에 대한 비디오 비트스트림의 감응성(susceptibility)를 증가시킨다. 수신기(비디오 디코더)가 전송 경로상에서 야기된 손상을 나타내기 위한 많은 방법이 있다. 일반적으로, 신호의 수신시, 전송 오류가 먼저 검출되고, 다음 디코더에 의하여 수정되거나 은폐된다. "오류 수정(error correction)"이라는 단어는, 마치 처음부터 아무런 오류도 발생하지 않은 것처럼, 잘못된 데이터를 완벽하게 회복하는 과정을 말하며, 반면 "오류 은폐(error concealment)"는 재구성된 비디오 시퀀스에서 좀처럼 인식할 수 없도록 전송 오류의 효과를 은폐하는 과정을 말한다.

현재, ISO/IEC 동영상 전문가 그룹(Motion Picture Expert Group)의 Joint Video Team(JVT)과 ITU-T H.264/MPEG-4 part 10 AVC 비디오 코덱을 위한 ITU-T 비디오 코딩 전문가 그룹(ITU-T Video Coding Expert Group)에 의하여 개발된 비디오 디코더는, 인트라 부호화된 프레임들 및 장면 전환 프레임들의 전송 오류를 어떻게 은폐될 것인지를 결정하는 방법이 부족하며, 본 발명은 이러한 문제점을 해결하기 위하여 개발되었다.

본 발명은 비디오 시퀀스의 장면 전환에 속하는 프레임들에 대하여 적절한 형태의 오류 은폐가 선택될 수 있는 방법을 제공하는 데에 목적이 있다. 상기 방법은 갑작스런 장면 전환(예를 들어, 장면 컷) 및 점진적 장면 전환, 예를 들어 페이드, 와이프 및 디졸브 등에 동일하게 적용될 수 있다.

장면 전환에 속하는 프레임들의 효과적인 오류 은폐를 수행하기 위해서는 두 가지 종류의 정보가 필요하다: 1) 샷 변화가 시작되고 끝나는 프레임들에 대한 정보; 및 2) 관련된 장면 전환(컷, 디졸브, 페이드, 와이프 등등)의 유형에 관한 정보가 필요하다. 전술한 두 가지 유형의 정보는 비디오 부호화 계층(Video Coding Layer:VLC) 데이터의 정확한 디코딩을 위해서 반드시 필요하지는 않기 때문에, 본 발명은 장면 전환에 관련된 정보가 추가적 개선 정보(Supplemental Enhancement Information:SEI)로서 제공되고, 추가적 개선 정보(SEI) 메시지로서 인코딩된 비디오 비트스트림에 포함되는 것을 제안한다. 장면 전환에 속하는 프레임들에서 발생하는 오류의 은폐를 위해 모든 필요한 정보는, 그러면 상기 SEI 메시지로부터 추측될 수 있다.

본 발명에 따르면, 비디오 시퀀스의 각 장면은 장면 식별자 값(scene indentifier value)과 결합된다. 연속적인 장면들의 상기 장면 식별자 값은 서로 다르고, 따라서 비디오 디코더는 이전에 수신한 것과 다른 장면 식별자를 수신하였을 때 장면 변화가 발생하였다고 결론지을 수 있다. 장면 전환 기간에서 프레임들은 두 개의 장면 식별자 값, 즉 전환시 양 장면으로부터의 장면 식별자 값들과 결합된다. 부가적으로, 점진적 장면 전환들은, 디졸브, 페이드-인, 페이드-아웃, 와이프, 또는 기타 언급되지 않은 유형들(예를 들어, 전환의 다른 유형) 등의 특별한 전환 유형과 관련된다. 이러한 대략적인 분류는, 디코더에게 충분한 안내를 제공하여, 상기 디코더가 장면 전환동안 데이터 손실 또는 손상을 은폐하기 위한 적합한 오류 은폐 알고리즘을 선택할 수 있도록 한다.

따라서, 본 발명의 첫 번째 측면에 따르면, 비디오 시퀀스 프레임의 오류를 은폐하는 방법이 제공되며, 상기 비디오 시퀀스는 적어도 첫 번째 장면과 두 번째 장면을 포함하고, 상기 두 번째 장면은 첫 번째 장면으로부터 장면 전환된 것이며, 상기 장면 전환은 다수의 프레임들을 포함하고 상기 장면 전환은 많은 유형 중 어느 하나이다. 상기 방법은,

상기 장면 전환의 유형을 식별하는 단계; 및

상기 장면 전환의 식별된 유형에 근거하여 전환에 속하는 프레임의 오류를 은폐하는 오류 은폐 절차를 적용하는 단계를 포함한다.

상기 장면 전환의 식별된 유형은 장면 컷 또는 점진적 장면 전환일 수 있다.

바람직하게는, 상기 장면 컷에 속하는 전체 픽쳐가 손실된 경우, 상기 손실된 픽쳐는 은폐되지 않는다.

바람직하게는, 상기 장면 컷에 속하는 픽쳐의 일부가 손실되거나 손상된 경우, 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 공간적(spatial) 오류 은폐 알고리즘이 적용된다.

바람직하게는, 상기 점진적 전환에 속하는 전체 픽쳐가 손실되거나 손상된 경우, 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 시공간적(spatio-temporal) 오류 은폐 알고리즘이 적용된다.

바람직하게는, 상기 점진적 전환에 속하는 픽쳐의 일부가 손실되거나 손상된 경우, 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 시공간적 오류 은폐 알고리즘이 적용된다.

바람직하게는, 식별된 장면 전환을 표시하는 정보는, 디코더가 상기 정보에 근거하여 상기 오류를 은폐하도록 하기 위해서, 추가적 개선 정보 메시지(supplemental enhancement information message)로 상기 디코더에 제공된다.

유익하게, 상기 식별된 장면 전환을 표시하는 정보는 장면 전환 유형의 표시를 포함하며, 상기 식별된 장면 전환을 표시하는 정보는 상기 전환에 속하는 각 프레임에 대하여 제공된다.

본 발명의 두 번째 측면에 따르면, 비디오 시퀀스를 데이터 스트림으로 인코딩하는 비디오 부호화 장치가 제공되며, 상기 비디오 시퀀스는 적어도 첫 번째 장면 및 두 번째 장면을 구비하고, 첫 번째 장면으로부터의 장면 전환을 구비하며, 상기 장면 전환은 다수의 프레임들을 구비하고 상기 장면 전환은 다수의 유형 중 어느 하나이다. 상기 비디오 부호화 장치는,

상기 전환에 관련된 프레임들을 식별하는 수단;

상기 전환의 유형에 대한 정보를 제공하는 수단을 포함한다.

본 발명의 세 번째 측면에 따르면, 비디오 시퀀스를 데이터 스트림으로 디코딩하는 비디오 디코딩 장치가 제공되며, 상기 비디오 시컨스는 적어도 첫 번째 장면과 두 번째 장면을 구비하고, 상기 첫 번째 장면으로부터의 장면 전환을 구비하며, 상기 장면 전환은 다수의 프레임들을 구비하고 상기 장면 전환은 다수의 유형 중 어느 하나이다. 상기 비디오 디코딩 장치는,

상기 데이터 스트림을 수신하는 수단; 및

상기 장면 전환의 유형에 근거하여 상기 전환에 속하는 프레임의 오류를 은폐하는 오류 은폐 알고리즘을 포함한다.

본 발명은 도 1 내지 도 3을 참조하여 행해진 설명을 읽음에 따라서 명백해 질 것이다.

본 발명에 따르면, 현재 ISO/IEC 동영상 전문가 그룹(MPEG)의 Joint Video Team(JVT)과 ITU-T H.264/MPEG-4 part 10 AVC 비디오 코덱을 위한 ITU-T 비디오 코딩 전문가 그룹(ITU-T Video Coding Expert Group)에 의하여 개발된 비디오 디코더의 문제점, 즉 인트라 부호화된 프레임들 및 장면 전환 프레임들의 전송 오류를 어떻게 은폐될 것인지를 결정하는 방법에 대해 보다 효과적인 방법을 제공한다.

도 1은 본 발명에 따른 오류 은폐 방법을 도시한 플로우 차트로, 어떻게 장면 전환의 유형에 따라서 장면 전환시 픽쳐를 위한 적합한 오류 은폐 방법이 선택되는지를 보여주고 있다.
도 2는 본 발명에 따라서, 오류 은폐의 목적으로 장면 전환을 표시하는 정보를 포함하는 인코딩된 데이터 스트림을 제공하기 위하여 구현된 비디오 인코더를 도시한 블록도이다.
도 3은 본 발명에 따라 구현되어, 도 2에 도시된 비디오 인코더에 대응되는 비디오 디코더를 도시한 블록도이다.

전술한 바와 같이, 인코딩된 비디오 비트스트림에 포함된 추가적 개선 정보(SEI)는 인코딩된 비디오 데이터를 정확하게 디코드하기 위해서 필요한 것은 아니지만, 그럼에도 불구하고 디코딩 또는 프리젠테이션 목적을 위해 도움이 된다. 따라서, SEI 정보는 비디오 시퀀스의 특별한 프레임이 속하는 장면에 대한 정보를 운반하고, 장면 전환에 대한 정보를 제공하는 이상적인 운반수단이다.

ITU-T H.264/MPEG-4 part 10 AVC 비디오 부호화 표준안에 따르면, SEI 구성요소(element)는 하나 또는 그 이상의 SEI 메시지를 포함한다. 각 SEI 메시지는 SEI 헤더 및 SEI 페이로드로 구성된다. SEI 페이로드의 유형 및 크기는 확장가능한 신택스를 사용하여 부호화된다. 상기 SEI 페이로드의 크기는 바이트로 표시된다. 유효한 SEI 페이로드 유형은 JVT 위원회 초안의 부록 C에 나열되었다(문서 JVT_D015d5 참조).

SEI 페이로드는 SEI 페이로드 헤더일 수 있다. 예를 들면, 페이로드 헤더는 특별한 데이터가 속하는 픽쳐를 표시할 수 있다. 페이로드 헤더는 각 페이로드 유형에 따라 개별적으로 정의된다. SEI 페이로드들의 정의들은 JVT 위원회 초안 부록 C에 구체화되어 있다(다시, 문서 JVT_D015d5 참조).

SEI 유닛의 전송은 다른 NAL(Network Abstraction Layer) 유닛과 관련되어 동시에 일어난다. SEI 메시지는 슬라이스, 픽쳐의 일부, 픽쳐, 어떠한 픽쳐들의 그룹, 과거의 시퀀스, 현재 디코딩되는 시퀀스, 또는 장래에 디코딩될 시퀀스와 관련될 수 있다. SEI 메시지는 또한 전송 순서상 이전의 또는 다음의 하나 또는 그 이상의 NAL 유닛과 관련될 수 있다.

아래의 표 1은 ITU-T H.264/MPEG-4 part 10 AVC 비디오 코딩 표준안에서 사용되는 SEI 페이로드 신택스를 정의하고, 표 2는 본 발명에 따라 제안되는 바와 같이, 장면 정보에 관한 신호와 연관되어 사용되는 특별한 신택스를 나타낸다.

: SEI 페이로드 신택스

sei_payload(Payload,PayloadSize){	분류(category)	기술자(Descriptor)
if(PayloadType==1)
temporal_reference(PayloadSize,PayloadSize)	7
else if(PayloadType==2)
clock_timestamp(PayloadSize,PayloadSize)	7
else if(PayloadType==3)
panscan_rect(PayloadSize,PayloadSize)	7
else if(PayloadType==4)
scene_information(PayloadSize,PayloadSize)	7
else
reserved		variable
if(!byte_aligned()){
bit _ equal _ to _ one		f(1)
while(!byte_aligned())
bit _ equal _ to _ zero		f(1)
}
}

: SEI 장면 정보 신택스

scene_information(PayloadType,PayloadSize){	분류(category)	기술자(Descriptor)
scene _ identifier		u(8)
if(more_sei_payload_data()){
second _ scene _ identifier		u(8)
if(more_sei_payload_data())
scene _ transition _ type		e(v)
}
}

상기 표 2에 주어진 장면 정보 파라메터들은 전송 순서상 부호화된 매크로블록 데이터를 포함하는 다음 NAL 유닛과 관계된다.

scene _ identifier: 장면은 하나의 카메라로 촬영된 연속적인 프레임들의 집합으로 정의된다. 일반적으로, 하나의 장면 내부의 프레임들은 높은 상관관계를 갖는다. 본 발명에 따르면, 주어진 장면에서의 프레임들은 동일한 scene_identifier 파라메터 값을 공유하며, 부호화 순서상 연속적인 장면들은 동일한 scene _ identifier 파라메터 값을 갖어서는 안된다.

second _ scene _ identifier: 만약 존재한다면, second _ scene _ identifier 파라메터는 두 장면들로부터의 픽처 데이터를 포함하는 하나의 프레임에 속하는 부호화된 매크로블록 데이터를 포함하는 다음 NAL 유닛을 표시한다. 다시 말해서, 상기 프레임은 점진적 장면 변화에 속한다. 상기 second _ scene _ identifier 파라메터는 부호화 순서상 뒷 장면의 장면 식별자이다.

scene _ transition _ type: 만약 SEI 장면 정보에 scene _ transition _ type 파라메터가 존재하지 않는다면, 이것은 장면 변화 유형을 알 수 없거나, 정의되지 않았거나, 또는 무관계한 것을 가리킨다. 만약 존재한다면, 다음의 표 3에 주어진 값들이 유효하다:

: 본 발명의 바람직한 실시예에 따른 장면 전환 유형들

값	설명
0	디졸브
1	페이드-아웃
2	페이드-인
3	와이프(Wipe)
기타	예약

데이터 손실 또는 손상을 다루기 위해서 상기와 같이 기술된 장면 정보가 디코더 절차에서 사용되는 방식이 이제 설명된다.

만약, 현재 픽쳐의 바로 이전에 전체 픽쳐가 손실되고 이전에 수신된 픽쳐 이래로 장면이 변화하였다면, 손실된 픽쳐는 새로운 장면을 시작하기 때문에 상기 손실된 픽쳐는 은폐되어서는 안된다. 만약, 현재 픽쳐 바로 이전에 전체 픽쳐가 손실되고 이전에 수신된 픽쳐 이래로 장면 변화가 없다면, 디코더는 손실된 픽쳐를 은폐한다. 만약, 전환 기간 동안에 전체 픽쳐가 손실되었다면, 디코더는 손실된 픽쳐를 은폐할 때, 표시된 장면 전환 유형을 이용한다.

만약, 현재 픽쳐의 일부분이 손실되거나 손상되었고, 장면 정보 SEI 메시지가 상기 픽쳐와 결합되었다면, 디코더는 다음과 같은 동작을 수행한다:

1) 만약 이전의 픽처가 수신된 이래로 장면이 변화하였다면, 디코더는 현재 픽처의 손실되거나 손상된 부분을 은폐하기 위하여 공간적 오류 은페 알고리즘을 적용한다.

2) 만약 이전에 수신된 픽처 이래로 장면이 변화하지 않았다면, 디코더는 시공간적 오류 은폐 알고리즘을 사용한다.

3) 만약 현재의 픽쳐가 장면 전환에 속한다면, 디코더는 손실된 픽쳐를 은폐할 때, 표시된 장면 전환 유형을 사용한다.

본 발명에 따르면, 인코더는 만약 오류가 발생하기 쉬운 전송 환경, 또는 인코딩된 비디오 신호에 기반한 비디오 컨텐츠 기술(description)을 생성할 필요가 있다면, 장면 정보 SEI 메시지를 발생해야 한다. 컨텐츠 기술에 대한 즉각적인 필요가 없는 경우일지라도, 엔터테인먼트 비디오와 같은 일부 유형의 비디오 컨텐츠에 대해서 상기 후자의 필요(인코딩된 비디오 신호에 기반한 비디오 컨텐츠 기술을 생성할 필요)가 발생할 수 있다. 따라서, 본 발명에 따르면, 인코더는 가능하다면 항상 장면 정보 SEI 메시지를 생성하는 것이 바람직하다.

그러므로, 인코더는 각 장면 컷 및 점진적 전환에 대한 장면 정보 SEI 메시지를 생성한다. 각각의 장면-컷 픽쳐에 대해서, 오류 복원성(error resilience)을 위해서 후에 반복될 수 있는 관련 장면 정보 SEI 메시지가 존재한다. 각각의 점진적 장면 전환에 대해서, 첫 번째 전환 픽쳐(예를 들어, 전환 전(transit-from) 및 전환되는(transit-to) 장면 양자로 구성되는 첫 번째 픽쳐)와 관련된 (바람직하게는 반복되는) 장면 정보 SEI 메시지가 존재한다. 각각의 점진적 장면 전환에 대해서, 또한 마지막 전환 픽쳐(상기 마지막 전환 픽쳐는 전환 전(transit-from) 및 전환되는(transit) 장면의 양자로 구성되는 마지막 픽쳐를 말한다) 다음의 첫 번째 픽쳐와 관련된 (바람직하게는 반복되는) 장면 정보 SEI 메시지가 존재한다. 전술한 바와 같이, scene _ identifier 파라메터의 값은 연속적인 장면들에서 다르다.

패킷 기반(packet-oriented) 전송 환경에서, 전송 패킷화부는 적어도 하나의 메시지 발생의 정확한 수신을 보장하기 위하여, 가능하다면 적어도 2개의 패킷들에서 각 장면 정보 SEI 메시지를 복사한다. RTP 전송에서, 상기 패킷화부는 장면 정보 SEI 메시지를 부호화된 픽쳐 컨텐츠와 결합하기 위하여, 합성 패킷을 사용한다. 바이트-스트림-기반(byte-stream-oriented) 전송 환경에서, 각 장면 정보 SEI 메시지는 적어도 복사된다.

본 발명에 따라, 샷 변화 신호에 의하여 비디오 시퀀스에서의 오류 은폐 방법이 도 1의 플로우 차트 100에 도시되었다.

디코더가 디코딩 과정 중에 데이터 손실 또는 손상을 마주쳤을 때, 상기 디코더는 단계 110에서 손실 또는 손상된 픽쳐가 전체 픽쳐인지 또는 픽쳐의 일부분인지를 결정한다. 만약 전체 픽쳐가 손실되었다면, 상기 디코더는 어떤 유형의 손실 상황이 발생하였는지를 결정한다(단계 120). 만약 전체 픽쳐가 현재 픽쳐 바로 이전에 손실되었고, 이전에 수신된 픽쳐 이래로 장면이 변화(예를 들면, 수신된 SEI 정보의 scene_identifier 파라메터 값에 의하여 표시되는 바와 같이)하였다면, 이 경우, 전술한 바와 같이, 손실된 픽쳐는 새로운 장면의 시작을 나타내기 때문에 손실된 픽쳐는 은폐되어서는 안된다(단계 124). 만약 현재 픽쳐 바로 이전에 전체 픽쳐가 손실되고 이전에 수신된 픽쳐 이래로 아무런 장면 변화가 발생하지 않았다면, 상기 디코더는 단계 122에 도시된 바와 같이, 손실된 픽쳐를 은폐한다. 만약, 전환 기간 동안에 전체 픽쳐가 손실되었다면, 상기 디코더는 단계 126에 도시된 바와 같이, 손실된 픽쳐를 은폐할 때, (수신된 SEI 정보로부터 얻어지는) 표시된 장면 전환 유형을 이용한다.

만약 픽쳐 일부분이 손실되었다면, 상기 디코더는 어떤 유형의 손실 상황이 발생하였는지를 결정한다(단계 130). 만약 현재 픽쳐의 일부분이 손실되었거나 손상되었고, 장면 정보 SEI 메시지가 상기 픽쳐와 관련되었다면, 상기 디코더는 다음과 같은 동작을 수행하여야 한다: 만약 이전에 수신된 픽쳐 이래로 장면이 변화하였다면, 상기 디코더는 단계 134에 도시된 바와 같이, 현재 픽쳐의 손실 또는 손상된 부분을 은폐하기 위하여 공간적 오류 은폐 알고리즘을 적용한다. 만약 이전에 수신된 픽쳐 이래로 장면이 변화하지 않았다면, 상기 디코더는 단계 132에 도시된 바와 같이, 시공간적 오류 은폐 알고리즘을 이용한다. 만약 현재 픽쳐가 장면 전환에 속한다면, 상기 디코더는 단계 136에 도시된 바와 같이, 손실된 픽쳐를 은폐할 때 상기 표시된 장면 전환 유형을 이용한다.

도 1의 플로우 차트 100에서 도시된 바와 같이 오류 은폐 방법을 실행하기 위하여, 본 발명에 따라 구현된 비디오 인코더는 장면 변화를 감시하고 상기 인코더에 의하여 발생된 비트스트림에 장면 변화를 표시하는 정보를 전달할 수 있어야 한다. 도 2에 상기와 같은 비디오 인코더(200)의 블록도가 도시되었다. 도시된 바와 같이, 본 발명에 따라 구현된 비디오 인코더는 장면 전환 모니터(210), 인코딩 엔진(220), 제어부(230) 및 멀티플렉서/패킷화부(mutiplexer/packetizer)(240)를 포함한다. 비디오 시퀀스를 나타내는 비디오 입력 신호가 비디오 인코더의 입력단에 인가되고 장면 전환 모니터(210)를 경유하여, 비디오 시퀀스의 개별적인 프레임들이, 예를 들어, 인트라- 또는 인터- 포맷으로 부호화되는 비디오 코딩 엔진(220)으로 공급된다. 상기 장면 전환 모니터는 비디오 시퀀스를 구성하는 다양한 장면들을 식별하기 위해서, 예를 들어 시퀀스의 연속적인 프레임들의 화소들 사이의 절대값 차이(absolute differences)를 누적한 합산값을 계산하거나 또는 종래 기술로부터 알려진 다른 장면 검출 방법을 적용함으로써, 프레임들을 검사한다. 장면 전환 모니터(210)는 각 프레임이 속하는 장면의 표시를 제어부(230)에 제공한다. 장면들 사이의 전환(예를 들어, 장면 컷, 페이드, 디졸브, 와이프 등)이 검출되었을 때, 장면 전환 모니터(210)는 또한 전환 유형의 표시를 제어부(230)에 제공한다. 상기 제어부는 상기 장면 전환 모니터에 의하여 식별된 각 장면에 식별자(예를 들어, 숫자)를 할당하고, 문제의 장면에 속하는 것으로 식별된 각 프레임에 상기 식별자를 결합시킨다. 또한, 장면 전환이 검출되었을 때, 제어부(230)는 비디오 코딩 엔진(220)에게 인트라 부호화 포맷으로 새로운 장면의 첫 번째 프레임을 인코딩할 것을 지시한다. 유익하게 그러면, 소정의 이유로 주어진 프레임을 다른 포맷으로 인코딩해야 되는 경우가 아닌 한, 상기 새로운 장면에 속하는 모든 다음의 프레임들은 인터 부호화 포맷으로 인코딩된다. 본 발명의 바람직한 실시예에 있어서, 상기 제어부(230)는 추가적 개선 정보(SEI 정보)를 장면 전환에 속하는 각 프레임과 결합시키고, 상기 SEI 정보를 멀티플렉서/패킷화부(240)에 전달한다. 유익하게, 장면 전환의 부분을 형성하는 프레임들에 대한 상기 SEI 정보는, 상기 본 발명의 바람직한 실시예에서 설명한 바와 같이 형성된다. 상기 멀티플렉서/패킷화부는 또한 비디오 인코딩 엔진(220)으로부터 인코딩된 비디오 데이터를 수신하고, 상기 인코딩된 비디오 데이터 및 상기 SEI 정보로부터 단일 비트스트림을 형성한다. 상기 비트스트림은 다음, 예를 들어 전송 채널을 경유하여 대응되는 비디오 디코더(도 3 참조)로, 또는 나중의 재생 및 시청을 위한 저장 장치(미도시)로 전송된다. 도 3은 도 2와 관련되어 설명된 비디오 인코더에 대응되는, 본 발명에 따라 구현된 비디오 디코더(300)를 나타낸 블록도이다. 도 3에서 볼 수 있는 바와 같이, 본 발명에 따른 비디오 디코더는 디패킷화부/디멀티플렉서(depacketizer/demultiplexer)(310), 제어부(320), 에러 은폐부(330) 및 비디오 디코딩 엔진(340)을 포함한다. 상기 디패킷화부/디멀티플렉서는 전송 채널로부터 데이터 패킷 형태로, 비디오 시퀀스를 나타내는 인코딩된 비트스트림을 수신한다. 상기 디패킷화부/디멀티플렉서는 수신된 데이터 패킷으로부터 인코딩된 비디오 비트스트림을 재구성하고, 비디오 비트스트림을 그 구성 부분(예를 들어, 상기 시퀀스의 인코딩된 비디오 프레임들과 관련된 다른 유형의 정보)으로 분리한다. 본 발명에 따르면, 상기 디패킷화부/디멀티플렉서는, 다른 것들 중에서, 인코딩된 비디오 비트스트림으로부터 장면 전환에 관련된 정보를 포함하는 추가적 개선 정보(SEI 정보)를 추출하고, 상기 SEI 정보를 제어부(320)로 전달한다. 인코딩된 비디오 프레임들을 디코딩하기 위해 필요한 데이터는 디패킷화부/디멀티플렉서(310)로부터 비디오 인코딩 엔진(340)으로 전달되며, 상기 비디오 인코딩 엔진에서는 비디오 시퀀스의 개별적인 프레임들이 예를 들어, 인트라 및 인터 디코딩 기술을 사용하여 재구성된다. 각 프레임이 디코딩됨에 따라서, 비디오 디코딩 엔진(340)은 인코더로부터의 전송 채널상에서 인코딩된 비디오 비트스트림의 전송 동안에 야기되었을 수 있는 오류를 위해 수신된 비디오 데이터를 검사한다. 만약, 특별한 프레임이 그러한 오류, 또는 프레임이 매우 심하게 손상되어 전혀 디코딩될 수 없다는 것(예를 들어, 프레임이 완전히 손상됨)을 상기 비디오 디코딩 엔진이 검출하면, 상기 비디오 디코딩 엔진은 적절한 오류 은폐 알고리즘을 이용하여 상기 오류 또는 상기 전체 프레임을 은폐하도록 시도한다. 본 발명에 따르면, 적절한 오류 은폐 방법의 선택은 오류 은폐부(330)에 의하여 수행된다. 상기 오류 은폐부는 제어부(320)로부터 각 프레임이 속하는 장면들에 대한 정보를 수신한다. 장면 전환의 부분인 프레임들의 경우에는, 제어부(320)는 또한 장면 전환의 유형에 관련된 정보를 상기 오류 은폐부에 전달한다. 따라서, 디코딩 엔진(340)이 장면 전환의 일부분인 프레임에 영향을 미치는 오류를 검출하였을 때, 오류 은폐부(330)는 상기 프레임이 속하는 장면과, 장면 전환의 유형을 고려함으로써 오류를 은폐하는 적합한 방법은 선택할 수 있다. 바람직하게, 이러한 선택을 함에 있어서, 오류 은폐부(330)는 전술한 본 발명의 바람직한 실시예에서 설명한 바와 같은 선택 방법을 적용한다. 비디오 디코딩 엔진(340)은 그러면 상기 선택된 오류 은폐 알고리즘을 사용하여 프레임의 에러를 은폐하고, 예를 들어 디스플레이 장치(미도시)상의 표시를 위해 디코딩된 프레임을 출력한다.

본 발명에 따라서 장면 컷 및 장면 전환 프레임들에 대한 오류 은페 방법의 효과를 확인하기 위해서, ITU-T H.264/MPEG part 10 AVC 비디오 코딩 표준안에 따라 구현되고, 본 발명에 따른 방법에 의하여 동작하도록 변형된 비디오 인코더와 디코더를 이용하여 일련의 시뮬레이션 실험이 수행되었다. 이러한 시뮬레이션 실험은 아래에 자세히 기술되었다.

A. 랜덤 액세스 프레임들 및 장면 컷들에서의 오류 은폐 시뮬레이션

이 시뮬레이션에서, 문서 VCEG-N79r1에서 제안된 시퀀스들과 비트 레이트가 이용되었고, (VCEG-N79r1에서 정의된 바와 같은) 패킷-손실 환경을 위한 공통 조건이 적용되었다. 부가적으로, 장면-컷 프레임들에 대한 오류 은폐의 효과를 시뮬레이션하기 위해서, 잘 알려진 시퀀스들인 "뉴스(News)", "십장(Foreman)", "해안경비대(coastguard)", "카폰(carphone)", 및 "침묵(silent)" 으로부터 일반적인 장면 컷들을 갖는 30개의 프레임들의 인공적인 시퀀스가 구성되었다. 다음에서, 상기 인공적인 시퀀스들은 "혼합시퀀스(MixedSeq)"로 언급된다. 모든 경우에 있어서빈번한 랜덤 액세스를 가능하게 하기 위해서, 약 1초의 인트라-프레임 기간이 사용되었다. 혼합시퀀스에 있어서, 상기 인트라 기간은 모든 장면 컷들이 인트라 부호화되도록 했다. 손실 인식 R/D 최적화(Loss-Aware R/D Optimization:LA-RDO)가 또한 사용되었다. 시퀀스들을 인코딩하는데 사용되는 다른 부호화 파라메터들은 다음 표 4에 나타내었다.

: 랜덤 액세스 프레임들 및 장면 컷들에서 오류 은폐 시뮬레이션에 사용되는 인코더 파라메터들

비트스트림 모드	RTP
움직임 벡터 해상도	1/4 pel
하다마드 변환	사용됨
최대 탐색 범위	16
인터 움직임 검색을 위해 사용되는 이전 프레임들의 수	5
가능한 블록 유형	모두
슬라이스 모드	고정 크기, 1400 bytes/slice
B-프레임 및 SP-프레임	사용되지 않음
심볼 모드	UVLC
데이터 분할	슬라이스당 1개의 분할
시퀀스 헤더	시퀀스 헤더 없음
검색 범위 제한	없음
제한된 인트라 예측	사용됨
제한된 참조 프레임	사용됨
LA-RDO를 위한 디코더의 수	30

오류 은폐( Error Concealment )

본 발명에 따른 인코더에서 장면 정보 SEI 메시지의 생성은, 전술한 바와 같은, 본 발명의 최선의 실시예에서 나타낸 가이드 라인에 따라 시뮬레이션 되었으며, 다음과 같은 두개의 디코더 절차가 비교된다:

1. JVT 워킹 초안(JVT-C039 문서 참조)의 부록 D에 설명된 오류 은폐 방법을 포함하는 표준 결합 모델 디코더(standard Joint Model decoder).

2. 본 발명에 따른 디코더 절차에 의하여 개선된 결합 모델 디코더.

비트 레이트 및 PSNR 계산

문서 VCEG-N79r1에서 구체화된 공통 조건에서 언급되는 바와 같이, 양자화 파라메터와 같은 부호화 파라메터들은 패킷당 40바이트의 IP/UDP/RTP 헤더들을 고려하여, 결과적인 비트 레이트가 가능한 채널 비트 레이트에 근접할 수 있도록 선택된다. PSNR 값은 스킵 및 손실된 프레임들들 포함하여 소스 시퀀스의 각 프레임을 사용하여 계산된다. 첫 번째 프레임들에 의한 전체 결과에 영향을 미치는 효과를 감소시키기 위하여(첫 번째 인코딩되는 프레임들은 전체 시퀀스의 평균 크기보다 더 큰 평균 크기를 갖는다), 비트 레이트 및 평균 PSNR 값은 여섯 번째 부호화된 프레임들로부터 계산된다. 이러한 방법은 짧은 시퀀스들이 공정한 결과로 부호화될 수 있도록 한다. 4000개의 프레임들을 부호화하는 대신에, 적어도 100개의 프레임들이 부호화되고 적어도 300개의 프레임들이 사용된다는 것을 보장하기 위해서, 각 지정된 시퀀스의 300-400프레임들이 사용된다.

패킷 손실 시뮬레이션

시뮬레이션에서, 파라메터 집합(표 4)을 포함하는 패킷은 신뢰성있게 전달되고(예를 들어 세션 셋업 동안 대역외(out-of-band)에 의해서), 따라서 오류 패턴 파일로부터 상기 패킷에 대한 아무런 오류 패턴도 읽혀지지 않는다고 가정된다. 적어도 첫 번째 프레임의 하나의 패킷은 디코더 충돌을 피하기 위해서 수신되어야 한다. 이러한 조건을 만족하기 위해서, 첫 번째 프레임의 첫 번째 패킷은 대응되는 오류 패턴에 상관없이 항상 수신된다.

대표 디코딩 런( Representative Decoding Run )

부호화된 비트스트림은 여러 회 디코딩된다(각각을 디코딩 런이라고 함). n+1 순서인 런의 시작 손실 위치는 n번째 런의 마지막 손실 위치를 연속적으로 뒤따른다. 디코딩 런의 수는 전체적으로 적어도 8000개의 패킷이 존재하도록 선택된다. 전체 평균 PSNR은 모든 디코딩 런들의 평균 PSNR 값들을 평균하여 얻어진다. 대표 디코딩 런은 그것의 평균 PSNR이 전체 평균 PSNR에 가장 근접하도록 선택되어진다. 순시 PSNR 값들과 대표 런의 디코딩된 시퀀스는 순시 PSNR 플롯(plots)을 얻고, 주관적인 품질 평가를 위해서 저장된다.

결과

다음 표 11에 나타낸, 144kbps에서의 혼합시퀀스(MixedSeq)에 대한 시뮬레이션 결과에서 보여지는 바와 같이, 장면 컷에 대한 인트라 오류 은폐의 사용은 객관적 및 주관적인 품질의 관점에서 인터 오류 은폐를 사용하는 것에 비하여 더 나은 성능을 제공한다.

반대로, 표 5 내지 10에 나타낸 다른 6 개의 코딩 경우로부터 알 수 있는 바와 같이, 장면 컷이 아닌 프레임들에 대해서는 인터 오류 은폐를 사용하는 것이 인트라 오류 은폐을 사용하는 것보다 일관되게 더 좋다. 이것은 본 발명의 유용성을 보여준다.

B. 페이드의 오류 은폐에 대한 시뮬레이션

페이드-아웃 및 페이드-인 프레임들에 대한 오류 은폐의 효과를 시뮬레이션 하기 위해서, 10개의 페이드-아웃 프레임들, 10개의 페이드-인 프레임들 및 10개의 일반적인 프레임들을 갖는 2 개의 인공적인 시퀀스들이 만들어졌다. 하나는 "뉴스(News)" 및 "아키요(Akiyo)"(낮은 동작을 갖음)의 조합으로부터 만들어졌고, 다른 것은 "카폰(Carphone)" 및 "십장(Foreman)"(적절한 동작을 갖음)으로부터 만들어졌다. JVT 조인트 모델 인코더 및 I-P-P-P 부호화 패턴을 이용하여 인코딩한 후에, 페이딩 프레임들 중 일부의 손실이 시뮬레이션되었으며, 손실 비트스트림은 디코더로 공급되었다. 2개의 다른 오류 은폐 방법이 페이딩 프레임의 손실에 의하여 유발되는 오류를 은폐하기 위하여 사용되었다:

1. JVT 코덱( JVT 워킹 초안(JVT-C039)의 부록 D에 설명된 바와 같음)에서의 종래의 오류 은폐 방법; 및

2. 아래에 설명되는 바와 같이, 본 발명에 따른 페이드에 대한 특별한 오류 은폐 방법.

오류 은폐 방법

페이드시 유실된 프레임은 이전 프레임의 화소값을 복사하고 스케일링(scaling)함으로써 은폐된다. 그러나, 만약 장면 전환 기간에 오직 하나의 이전 프레임만이 존재한다면, 스케일링이 실행되지 않는다. 만약, Mn'을 이전 프레임의 평균 Y(휘도,luminance) 화소값, Mn''을 이전 프레임 전의 프레임의 평균 Y 화소값이라 하면, 스케일링 팩터 f는 다음과 같이 계산될 수 있다:

화소의 은폐된 Y,U 및 V 값 ( Ys , Us , Vs )는 이전 픽쳐의 공간적으로 대응되는 값 (Y,U,V)로부터 다음과 같이 계산된다:

시뮬레이션 결과에 보여지는 바와 같이, 본 발명에 따른 페이드를 위한 특별한 오류 은폐 방법을 사용하는 것은, JVT 비디오 코딩 권고안의 부록 D에 정의된 종래의 오류 은폐 방법에 비하여 객관적 및 주관적인 품질 모두에서 상당히 더 좋은 성능을 제공한다. 점진적인 장면 전환의 시각적 품질은 중요하지 않다고 주장될 지도 모른다. 그러나, 장면 전환 동안의 불량한 오류 은폐는 불량한 품질의 전환 프레임들을 초래할 뿐만 아니라, 또한 시간적 오류 전달 때문에, 장면 전환 뒤의 일반적인 프레임들에도 나쁜 품질을 초래하게 된다.

디졸브의 오류 은폐( Error Concealment of Dissolves )

디졸브 동안 손실 프레임의 오류 은폐에 대한 아래의 두가지 방법이 아래에 나타내어진다. 만약, 디코더가 디코딩 이전에 충분한 수의 프레임들을 버퍼할 수 있다면, 알고리즘 A가 사용되어야 한다. 그렇지 않다면, 알고리즘 B가 사용되어야 한다.

알고리즘 A

만약, 전치-디코더 버퍼(pre-decoder buffer)가 두 번째 장면(전환 기간 후의 프레임)의 어떤 인트라 부호화된 프레임을 포함한다면, 상기 인트라 프레임은 오류 은폐시 두 번째 앵커(anchor) 프레임으로 사용된다. 만약, 그러한 인트라 프레임이 이용가능하지 않다면, 알고리즘 B가 사용되어야 한다. 첫 번째 앵커 프레임은 가장 마지막으로 재구성된 프레임이다. dt1을 프리젠테이션시 첫 번째 앵커 프레임과 유실된 프레임 사이의 시간적 거리, dt2를 두 번째 앵커 프레임과 유실된 프레임 사이의 시간적 거리, (y1,u1,v1)을 첫 번째 앵커 프레임의 화소이고 (y2,u2,v2)를 두 번째 앵커 프레임의 공간적으로 대응되는 화소라고 한다면, 은폐된 화소 (y,u,v)는 다음과 같이 주어진다:

여기서 , u 및 v는 유사하게 계산되지만, 그들의 부호는 고려되어야 한다:

여기서, 수학적 함수 "clip1"은 다음과 같이 정의된다:

알고리즘 B

일반적인 시공간적 오류 은폐.

*와이프의 오류 은폐( Error concealment of Wipes )

디코더는 다음을 검출해야 한다:

1. 와이프에 포함된 두 장면들 사이의 경계의 외형(shape); 및

2. 시작 장면에 의하여 마지막 장면이 얼마나 빨리 덮어지는지를 정의하는 비율.

*상기 검출은 , 예를 들면, 재구성된 픽처들을 비교하고, 블록과 블록 사이의 상관관계를 계산함으로써 수행될 수 있다. 만약, 시간적으로 연속적인 픽쳐들로부터 2개의 공간적으로 대응되는 블록들이 상관관계가 있다면, 상기 블록들은 같은 장면으로부터의 것이다. 그렇지 않다면, 상기 블록들은 다른 장면들로부터의 것이다.

추측된 외형(shape) 및 비율에 근거하여, 상기 디코더는 유실된 픽쳐 또는 지역에서 경계의 위치 및 외형의 추측을 계산할 수 있다. 이전 픽쳐의 마지막 장면에 속했고, 손실된 픽쳐/지역의 마지막 장면에 속했던 것으로 추측되는 유실 지역은 이전 픽쳐로부터 상기 지역을 복사함으로써 은폐될 수 있다. 유사하게, 이전 픽쳐의 시작 장면에 속하고, 손실 픽쳐/지역의 시작 장면에 속하는 것으로 추측되는 유실 지역은 이전 픽쳐로부터 상기 지역을 복사함으로써 은폐될 수 있다. 이전 픽쳐의 마지막 장면에 속하고, 손실 픽쳐/지역의 시작 장면에 속하는 것으로 추측되는 유실 지역은 인접한 시작 장면의 컨텐츠로부터 공간적으로 은폐된다. 유실 지역을 은폐할 때, 인접의 정확하게 재구성된 블록들에 매칭되는 경계가, 오류 은폐에서 종종 행하여지는 것처럼 이용될 수 있다.

다른 전환 유형의 오류 은폐

일반적인 시공간적 오류 은폐 방법이 사용되어야 한다.

이상, 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형, 삭제된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

Claims

비디오 시퀀스 프레임의 오류를 은폐하는 방법에 있어서, 상기 비디오 시퀀스는 적어도 첫 번째 장면과 두 번째 장면을 포함하고, 상기 두 번째 장면은 첫 번째 장면으로부터 장면 전환된 것이며, 상기 장면 전환은 다수의 프레임들을 포함하고 상기 장면 전환은 다수의 점진적 장면 전환(gradual scene transitions)의 유형 중 하나이며, 상기 다수의 점진적 장면 전환의 유형은 페이드(fade), 디졸브(dissolve), 와이프(wipe) 중 적어도 하나인, 상기 방법은,
상기 장면 전환의 유형을 식별하기 위해서 인코딩된 비디오 비트스트림으로부터 장면 전환의 유형을 나타내는 정보를 획득하는 단계를 포함하는 오류 은폐 방법.
제1항에 있어서,
상기 장면 전환의 식별된 유형에 근거하여 장면 전환에 속하는 프레임의 오류를 은폐하는 오류 은폐 절차를 적용하는 단계를 더 포함하는 오류 은폐 방법.
제1항에 있어서,
상기 장면 전환의 식별된 유형은 장면 컷(scene cut)인 것을 특징으로 하는오류 은폐 방법.
제3항에 있어서,
상기 장면 컷에 속하는 전체 픽쳐가 손실된 경우, 상기 손실된 픽쳐는 은폐되지 않는 것을 특징으로 하는 오류 은폐 방법.
제3항에 있어서,
상기 장면 컷에 속하는 픽쳐의 일부가 손실되거나 손상된 경우, 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 공간적(spatial) 오류 은폐 알고리즘을 적용하는 것을 특징으로 하는 오류 은폐 방법.
제1항에 있어서,
상기 점진적 장면 전환에 속하는 전체 픽쳐가 손실되거나 손상된 경우, 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 시공간적(spatio-temporal) 오류 은폐 알고리즘이 적용되는 것을 특징으로 하는 오류 은폐 방법.
제1항에 있어서,
상기 점진적 장면 전환에 속하는 픽쳐의 일부가 손실되거나 손상된 경우, 상기 픽쳐의 손실되거나 손상된 부분을 은폐하기 위하여 시공간적 오류 은폐 알고리즘이 적용되는 것을 특징으로 하는 오류 은폐 방법.
제1항에 있어서,
상기 식별된 장면 전환을 표시하는 정보는, 디코더가 상기 정보에 근거하여 상기 오류를 은폐하도록 하기 위해서, 추가적 개선 정보 메시지(supplemental enhancement information message)로 상기 디코더에 제공되는 것을 특징으로 하는 오류 은폐 방법.
제8항에 있어서,
상기 식별된 장면 전환을 표시하는 정보는 장면 전환 유형의 표시를 포함하는 것을 특징으로 하는 오류 은폐 방법.
제8항에 있어서,
상기 식별된 장면 전환을 표시하는 정보는 상기 전환에 속하는 각 프레임에 대하여 제공되는 것을 특징으로 하는 오류 은폐 방법.
비디오 시퀀스를 데이터 스트림으로 인코딩하는 비디오 부호화 장치에 있어서, 상기 비디오 시퀀스는 적어도 첫 번째 장면 및 두 번째 장면을 구비하고, 첫 번째 장면으로부터의 장면 전환을 구비하며, 상기 장면 전환은 다수의 프레임들을 구비하고 상기 장면 전환은 다수의 점진적 장면 전환 유형 중 하나이며, 상기 다수의 점진적 장면 전환의 유형은 페이드(fade), 디졸브(dissolve), 와이프(wipe) 중 적어도 하나인, 상기 비디오 부호화 장치는,
상기 장면 전환에 관련된 프레임들을 식별하는 식별자 모듈(identifier module); 및
상기 장면 전환의 유형에 대한 정보를 제공하는 멀티플렉서 모듈을 포함하는 비디오 부호화 장치.
제11항에 있어서,
상기 정보는 추가적 개선 정보 메시지에서 제공되는 것을 특징으로 하는 비디오 부호화 장치.
제12항에 있어서,
상기 정보는 상기 전환에 속하는 각 프레임들에 대하여 제공되는 것을 특징으로 하는 비디오 부호화 장치.
인코딩된 비디오 데이터 스트림으로부터 비디오 시퀀스를 디코딩하는 비디오 디코딩 장치에 있어서, 상기 비디오 시퀀스는 적어도 첫 번째 장면과 두 번째 장면을 구비하고, 상기 첫 번째 장면으로부터의 장면 전환을 구비하며, 상기 장면 전환은 다수의 프레임들을 포함하고 상기 장면 전환은 다수의 점진적 장면 전환(gradual scene transitions)의 유형 중 하나이며, 상기 다수의 점진적 장면 전환의 유형은 페이드(fade), 디졸브(dissolve), 와이프(wipe) 중 적어도 하나인, 상기 비디오 디코딩 장치는,
상기 인코딩된 비디오 데이터 스트림을 수신하고 상기 인코딩된 비디오 데이터 스트림으로부터 장면 전환의 유형을 식별하는 정보를 획득하는 디멀티플렉서 모듈을 포함하고,
상기 디멀티플렉서 모듈은, 상기 식별된 장면 전환의 유형을 나타내는 정보를 제공하여, 오류 은폐 알고리즘으로 하여금 디코딩 프로세스에서 상기 장면 전환의 유형에 근거하여 상기 장면 전환에 속하는 프레임의 오류를 은폐하도록 하는 것을 특징으로 하는 비디오 디코딩 장치.
제14항에 있어서,
상기 장면 전환의 유형은 상기 인코딩된 비디오 데이터 스트림 내의 추가적 개선 정보로부터 획득되는 것을 특징으로 하는 비디오 디코딩 장치.
제15항에 있어서,
상기 점진적 장면 전환에 속하는 전체 픽쳐는 손실되었거나 손상되었으며, 상기 오류 은폐 알고리즘은 상기 손실 또는 손상된 픽쳐를 은폐하기 위한 시공간적 오류 은폐 알고리즘을 포함하는 것을 특징으로 하는 비디오 디코딩 장치.
제15항에 있어서,
상기 점진적 장면 전환에 속하는 픽쳐의 일부는 손실 또는 손상되었으며, 상기 오류 은폐 알고리즘은 상기 손실 또는 손상된 픽쳐의 일부를 은폐하기 위한 시공간적 오류 은폐 알고리즘을 포함하는 것을 특징으로 하는 비디오 디코딩 장치.
제15항에 있어서,
상기 장면 전환의 유형은 장면 컷이고, 상기 장면 컷에 속하는 픽쳐의 일부는 손실 또는 손상되었으며, 상기 오류 은폐 알고리즘은 상기 손실 또는 손상된 픽쳐의 오류를 은폐하기 위한 공간적 오류 은폐 알고리즘을 포함하는 것을 특징으로 하는 비디오 디코딩 장치.
제15항에 있어서,
상기 장면 전환의 유형은 장면 컷이고, 상기 장면 컷에 속하는 전체 픽쳐가 손실 또는 손상되었으며, 상기 오류 은폐 알고리즘은 상기 손실 또는 손상된 픽쳐를 무시하는 것을 특징으로 하는 비디오 디코딩 장치.
비디오 시퀀스를 인코딩된 비디오 데이터 스트림으로 인코딩하는 방법에 있어서, 상기 비디오 시퀀스는 적어도 첫 번째 장면과 두 번째 장면을 구비하고, 상기 첫 번째 장면으로부터의 장면 전환을 구비하며, 상기 장면 전환은 다수의 프레임들을 포함하고 상기 장면 전환은 다수의 점진적 장면 전환(gradual scene transitions)의 유형 중 하나이며, 상기 다수의 점진적 장면 전환의 유형은 페이드(fade), 디졸브(dissolve), 와이프(wipe) 중 적어도 하나인, 상기 비디오 시퀀스 인코딩 방법은,
상기 장면 전환과 관련된 프레임들을 식별하는 단계; 및
상기 인코딩된 비디오 데이터 스트림에서 장면 전환의 유형에 대한 정보를 제공하는 단계를 포함함을 특징으로 하는 비디오 시퀀스 인코딩 방법.
제20항에 있어서,
상기 정보는 추가적 개선 정보 메시지로 제공되는 것을 특징으로 하는 비디오 시퀀스 인코딩 방법.
제21항에 있어서,
상기 정보는 상기 장면 전환에 속하는 각각의 프레임에 대해 제공되는 것을 특징으로 하는 비디오 시퀀스 인코딩 방법.