KR20020020937A - 비디오 코딩 - Google Patents

Abstract

코딩될 비디오 신호를 수신하는 단계와, 비디오 신호의 프레임을 나타내는 데이터를 코딩하는 단계 및 상기 데이터의 전부는 아닌 일부를 반복하는 단계를 포함하며, 상기 반복된 부분은 상기 프레임의 화상 헤더를 포함하는 비디오 인코딩 방법이 개시된다. 비디오 신호의 프레임들을 나타내는 코딩된 데이터를 수신하는 단계와, 헤더 데이터 및 화상 데이터를 검출하기 위하여 상기 코딩된 데이터를 검사하는 단계와, 상기 화상 데이터에서 에러가 검출될 때, 상기 화상 데이터를 임시 화상 데이터 저장부에 저장하고 상기 헤더의 반복을 검출하는 단계 및 상기 반복된 헤더 데이터를 사용하여 상기 저장된 화상 데이터를 디코딩하는 단계를 포함하는 인코딩된 비디오 신호의 디코딩 방법이 개시된다.

Description

비디오 코딩{Video coding}

이동 원격통신에서의 최근의 목표들중 하나는 이동 네트워크들에 대한 멀티미디어 서비스의 통합을 가능하게 하는 데이터 전송 속도를 증가시키는 것이었다. 멀티미디어의 중요한 구성요소들중 하나는 디지털 비디오이다. 비디오의 전송은 동 화상들을 나타내는 데이터의 상당히 연속적인 트랙픽을 포함한다. 일반적으로 알려진 바와 같이, 화상들을 전송하는데 필요한 데이터의 양은 많은 다른 유형의 매체와 비교하여 높고, 지금까지는 저 비트율 단말기들에서 비디오의 사용은 무시해도 좋았다. 그러나, 중대한 프로세스가 저 비트율 비디오 압축의 영역에서 달성되었다. 허용가능한 비디오 품질이 초당 약 20 킬로비트의 비트율에서 획득될 수 있다. 이러한 비트율의 진보적인 감축의 결과로, 비디오는 이동 통신 채널들과 같은 채널들을 통해 제공하기 위한 실행가능한 서비스가 될 것이다.

비디오 시퀀스는 일련의 정지 영상들 또는 프레임들로 이루어져 있다. 비디오 압축 방법들은 비디오 시퀀스들의 리던던시 및 지각적으로 관련없는 부분들을 감축시키는 것에 기초한다. 비디오 시퀀스들의 리던던시는 공간, 시간 및 스펙트럼 리던던시로 분류될 수 있다. 공간 리던던시는 프레임내의 이웃하는 화소들 간의 상관관계를 의미한다. 시간 리던던시는 연속하는 프레임들의 영역 간의 상관관계를 의미한다. 시간 리던던시는 이전 영상에서 나타나는 객체들이 또한 현재 영상에서 나타나는 가능성에 기인한다. 압축은 상기 현재 및 이전 영상의 유사한 영역들 간의 움직임(즉, 변위)을 설명하는 움직임 보상 데이터를 발생시킴으로써 달성될 수 있다. 따라서 상기 현재 영상은 상기 이전 영상으로부터 예측된다. 스펙트럼 리던던시는 동일한 영상의 상이한 색 성분들 간의 상관관계를 의미한다.

비디오 압축 방법들은 전형적으로 시간 리던던시 감축을 이용하거나 이용하지 않는 영상들을 식별한다. 시간 리던던시 감축 방법들을 이용하지 않는 압축된 영상들은 보통 인트라(INTRA) 프레임 또는 I-프레임이라고 불리우는 반면에, 시간적으로 예측된 영상들은 인터(INTER) 프레임 또는 P-프레임이라고 불리운다(그리고 상기 인터 프레임들이 순방향 또는 역방향 방식으로 예측될 수 있을 때 또한 B-프레임들이라고 불리움). 상기 인터 프레임의 경우에 있어서, 상기 예측된(움직임-보상된) 영상은 좀처럼 충분히 정밀하지 않아서 공간적으로 압축된 예측 에러 화상이 또한 각 인터 프레임의 일부가 된다.

그러나, 보통 충분한 압축은 상기 비디오 시퀀스의 리던던시를 단지 감축시킴으로써 달성될 수 없다. 따라서, 비디오 인코더들은 주관적으로 가장 중요하지 않은 비디오 시퀀스의 부분들의 품질을 저하시키려고 한다. 더욱이, 인코딩된 비트스트림의 리던던시는 압축 파라미터들과 계수들의 효과적인 무손실 코딩에 의해 감축된다. 주된 기술은 가변장 코드들(variable length codes)을 사용하는 것이다.

압축된 비디오는 주로 2가지 이유 때문에 전송 에러들에 의해 쉽게 손상된다. 첫번째로 시간 예측 차동 코딩(인터 프레임들)의 이용에 기인하여, 에러가 공간적으로 그리고 시간적으로 모두 전파된다. 실제로 이것은 일단 에러가 발생되면 상대적으로 긴 시간동안 인간의 눈에 쉽게 보일 수 있다는 것을 의미한다. 특히 그것은 소수의 인트라-코딩된 프레임들만이 존재하는 저 비트율에서의 전송에 민감하다(인트라-코딩된 프레임들의 전송은 상기 시간 에러 전파를 종결시킬 것이다). 두번째로, 가변장 코드들의 사용은 에러들의 영향을 더 받기 쉽다. 비트 에러가 코드워드를 다른 길이의 다른 코드 워드로 변경시킬 때 상기 디코더는 코드워드 동기를 잃고 또한 다음 동기 또는 시작 코드까지 (몇몇 비트들을 포함하는) 에러없는 코드워드들을 부정확하게 디코딩한다. (동기 코드는 다른 코드워드들의 어떤 적법한 결합으로부터 발생될 수 없는 비트 패턴이다.)

무선 데이터 전송의 고유한 특성들 중 하나는 비교적 높은 비트 에러 가능성이다. 이 문제는 다양한 트랜스포트, 네트워크 및 링크 계층 재전송 스킴들에 의해 다루어질 수 있다. 그러나 이러한 스킴들의 단점은 제한없고 수시로 변동되는 전송 지연들의 가능성이다. 종래의 오디오-비디오 서비스에 있어서, 큰 종단간 지연을 갖는 것은 허용될 수 없다. 따라서 재전송 스킴들은 이러한 서비스들에서 사용될 수 없다. 그대신 상기 전송 에러들을 검출하고 숨기려는 시도가 있어야 한다. 오디오-비디오 검색 서비스를 스트리밍하는데 있어서, 상기 전송 지연은 몇몇 초기 버퍼링이 재생의 시작전에 일어난다는 사실에 기인하여 다소 변할 수 있다. 그러나, 최대 허용가능 전송 지연은 고정되고, 초과되는 경우, 상기 재생에 성가신 중지(pause)가 존재한다. 실제로 신뢰성있는 그리고 신뢰성없는 트랜스포트 채널들은 모두 검색 서비스에서 사용된다.

압축된 비디오 비트스트림내의 모든 비트가 상기 압축해제된 영상들에 대해 동일한 중요도를 가지지는 않는다. 몇몇 비트들은 화상 유형(예를 들어 인트라 또는 인터), 사용되었던 양자화 값 및 선택적인 코딩 모드들과 같은 핵심적인 정보를 정의한다. ITU-T 권고 H.263은 저 비트율 전송을 위한 비디오 코딩에 관한 것이다. H.263에 있어서, 가장 중요한 핵심적인 정보는 상기 화상 헤더에 집결된다. 상기 화상 헤더내의 전송 에러는 전형적으로 상기 화상 내용을 정의하는 후속 비트들의 전체 오해석(misinterpretation)을 야기한다. 시간 예측 차동 코딩(인터 프레임들)의 이용에 기인하여, 상기 에러는 공간적으로 그리고 시간적으로 모두 전파된다. 따라서, 화상 헤더 손상에 대한 정상적인 접근 방법은 상기 스크린상에 이전 화상을 고정시키고 전송 단말기에 인트라 화상 요청을 송신하며 요청된 인트라 프레임을 기다리는 것이다. 이것은 수신된 비디오, 특히 실시간 대화식 비디오 시퀀스에서 성가신 중지를 야기한다.

전송 에러들은 기본적인 네트워크에 따라 다른 성향을 가진다. 인터넷 등과 같은 패킷-교환 네트워크에 있어서, 전송 에러들은 전형적으로 패킷 손실들이다(네트워크 요소들의 정체에 기인하여). 이동 네트워크들(예를 들어 GSM용 HSCSD)과 같은 회선-교환 네트워크에 있어서, 전송 에러들은 전형적으로 비트 에러들인데, 이 경우 '1'이 '0'으로 손상되거나 '0'이 '1'로 손상된다.

전송 에러들에 의해 소개되는 영상들에서의 저하를 방해하기 위하여, 재전송이 사용될 수 있고, 에러 검출 및/또는 에러 정정 방법들이 적용될 수 있으며, 또는 수신된 손상된 데이터로부터의 영향이 감춰질 수 있다. 일반적으로 재전송은 비디오 데이터 스트림들을 에러들로부터 보호하는 합당한 방법을 제공하지만, 저 비트율 전송과 관련된 큰 라운드-트립(round-trip) 지연들 및 적당하거나 높은 에러율들은 특히 실시간 비디오폰 애플리케이션들을 가지고 재전송을 사용하는 것을 실제로 불가능하게 한다. 에러 검출 및 정정 방법들은 보통 그들이 몇몇 리던던시를 상기 데이터에 부가하기 때문에 큰 전송 오버헤드를 필요로 한다. 따라서, 저 비트율 애플리케이션들을 위하여, 에러 은닉은 전송 에러들로부터 영상들을 보호하고 복구하는데 바람직한 방법으로 간주될 수 있다. 비디오 에러 은닉 방법들은 전형적으로 패킷 손실 및 비트 손상을 일으키는 전송 에러들에 적용가능하다.

H.263은 일반적으로 64 kbps 미만의 데이터 율들을 의미하는 저 비트율 통신을 위한 비디오 코딩의 ITU-T 권고이다. 상기 권고는 비트스트림 신택스와 상기 비트스트림의 디코딩을 명시한다. 현재, 2가지 버전의 H.263이 존재한다. 버전 1은 핵심 알고리즘과 4개의 선택적인 코딩 모드들로 이루어져 있다. H.263 버전 2는 12개의 새로운 협상가능한 코딩 모드들을 제공하는 버전 1의 확장이다. H.263은 현재 이동 무선 애플리케이션들을 위해 제안된 가장 선호되는 코딩 방법들 중의 하나인데, 비트율은 초당 28.8 비트 정도이고 176 ×144의 쿼터(1/4) 공통 중간 포맷(Quarter Common Intermediate Format, QCIF) 화상들이 보통 사용된다. 현재 3세대 무선 제품들을 위한 예상 비트율은 약 64kbps이고 영상 해상도는 더 높을 수 있다.

화상들은 휘도(Y) 및 두개의 색차(크로미넌스, chrominance)성분들()로 코딩된다. 크로미넌스 화상들은 좌표축들을 따라 상기 휘도 화상의 해상도의 절반에서 샘플링된다. 화상 데이터는 블록별로 코딩되는데, 각 블록은 휘도 또는 크로미넌스의 8 ×8 화소들을 나타낸다.

대응하는 코딩된 비트스트림 뿐만 아니라 각 코딩된 화상은, 하부에서 상부까지 블록층, 매크로블록층, 화상 세그먼트층 및 화상층인 네 층들을 가진 계층 구조로 배열된다. 상기 화상 세그먼트층은 일그룹의 블록들 또는 슬라이스(slice)로서 배열될 수 있다.

블록은 휘도 또는 크로미넌스의 8 ×8 화소들과 관련된다. 블록층 데이터는 균일하게 양자화된 이산 코사인 변환 계수들로 이루어져 있는데, 상기 변환 계수들은 지그재그 순서로 스캐닝되고 런-렝스 인코더(run-length encoder)로 처리되며 가변장 코드들을 가지고 코딩된다.

각 매크로블록은 휘도의 16 ×16 화소들과 두 크로미넌스 성분들의 공간적으로 대응하는 8 ×8 화소들과 관련된다. 바꾸어 말하면, 매크로블록은 8 ×8 휘도 블록들 및 2개의 공간적으로 대응하는 8 ×8 색차 블록들로 이루어져 있다. 각 인터 매크로블록(INTER macroblock)은 현재의 인터 매크로블록의 화소들과 비슷한 상기 기준 프레임내의 대응하는 영역의 위치를 정의하는 움직임 벡터와 관련된다. 상기 인터 매크로블록 데이터는 상기 매크로블록의 화소들에 대한 코딩된 예측 에러 데이터를 포함한다.

일반적으로, 각 화상은 블록들의 그룹들(groups of blocks, GOBs)로서 알려진 세그먼트들로 분할된다. QCIF 화상에 대한 GOB는 전형적으로 한 줄의 매크로블록들(즉, 11 매크로블록들)을 포함한다. 각 GOB에 대한 데이터는 상기 GOB내의 매크로블록들에 대한 데이터가 다음에 오는 선택적인 GOB 헤더로 이루어져 있다.

선택적인 슬라이스 구조의 모드가 사용된다면, 각 화상은 GOB들 대신에 슬라이스들로 분할된다. 슬라이스는 스캔-순서로 다수의 연속되는 매크로블록들을 포함한다. 각 슬라이스에 대한 데이터는 상기 슬라이스의 매크로블록들에 대한 데이터가 다음에 오는 슬라이스 헤더로 이루어져 있다.

상기 화상층 데이터는 상기 전체 화상 영역과 상기 화상 데이터의 디코딩에 영향을 미치는 파라미터들을 포함한다. 상기 코딩된 파라미터 데이터는 소위 화상 헤더에 배열된다. QCIF 포맷에서 화상은 11 매크로블록들의 9줄에 대응하는 176 ×144 화소들로 분할된다.

화상 및 GOB(또는 슬라이스) 헤더들은 동기 또는 시작 코드로 시작한다. 어떤 다른 코드 워드 또는 코드 워드들의 합법적인 결합도 상기 동기 코드들과 동일한 비트 패턴을 형성할 수 없다. 따라서, 상기 동기 코드들은 비트스트림 에러 검출 및 비트 에러들 후의 재동기를 위해 사용될 수 있다.

H.263은 PSTN 및 이동 네트워크들을 통한 비디오폰 통신을 정의하는, 1998년 2월의 ITU-T 권고 H.324 "저 비트율 통신을 위한 단말기"에서 사용되는 비디오 압축 표준이다. H.324 접속이 무선 채널상에서 실행될 때, 수신된 비트스트림은 전송 에러들을 포함할 가능성이 있다. H.263 비디오 비트스트림에서, 이들 에러들은 그들이 화상 헤더들에서 발생되는 경우 극도로 해롭다. 이러한 에러는 상기 화상 내용들의 디코딩을 방해할 수 있다. 인트라 화상 헤더들내의 에러들은 가장 심각한영향을 일으킬 수 있는데, 이것은 이들 화상들이 최초의 시간 예측 소스들로서 사용되기 때문이다. 인트라 화상 헤더내의 에러들은 대응하는 디코딩된 인트라 화상 및 상기 인트라 화상으로부터 초기에 예측된 각 후속 화상에 유해한 영향을 미친다.

본 발명은 비디오 인코딩 및 디코딩에 관한 것이다.

도 1은 멀티미디어 이동 통신 시스템을 도시한 것이다.

도 2는 멀티미디어 단말기의 멀티미디어 구성요소들의 예를 도시한 것이다.

도 3은 H.263에 따라 인코딩된 비디오 신호의 전형적인 데이터 구조를 도시한 것이다.

도 4는 본 발명에 의한 비디오 코덱의 예를 도시한 것이다.

도 5는 본 발명의 제1 실시예에 의한 인코더에 의해 출력된 인코딩된 비디오 신호의 데이터 구조를 도시한 것이다.

도 6은 본 발명의 제2 실시예에 의한 인코더에 의해 출력된 인코딩된 비디오 신호의 데이터 구조를 도시한 것이다.

도 7은 본 발명의 제3 실시예에 의한 비디오 인코더의 동작을 도시한 흐름도이다.

도 8은 본 발명의 제1 실시예에 의한 비디오 인코더의 동작을 도시한 흐름도이다.

도 9는 본 발명의 제3 실시예에 의한 비디오 인코더의 동작을 도시한 흐름도이다.

본 발명에 의하면 첨부된 청구항들에 청구된 바와 같은 비디오 인코딩 및 디코딩 방법이 제공된다. 또한 첨부된 청구항들에 청구된 바와 같은 인코더 및 디코더가 제공된다.

본 발명의 제1 실시예는 비디오 스트림들에서 인트라 화상 헤더들을 반복시키는 새로운 방법을 소개하는데, 이것은 상기 ITU-T H.263 권고를 완전히 준수한다. 본 발명은 상기 비트스트림에서 화상 헤더들의 여분의 복사본들을 소개한다. 주 화상 헤더가 손상되는 경우, 디코더는 화상 내용들의 디코딩을 가능하게 하기 위하여 상기 주 화상 헤더의 복사본을 사용할 수 있다. 본 발명은 H.263의 표준 신택스와 의미를 사용하는 인트라 화상 헤더 반복 방법을 도입한다. 그러므로, 모든 표준 준수 디코더들은 상기 방법을 이용할 수 있다.

적어도 인트라 프레임들을 위한 화상 헤더의 반복의 포함은 수신 디코더가 화면 표시를 정지시키고 상기 인코더에 반복 요청을 송신하며 상기 인코더가 상기 반복된 정보를 송신하는 것을 기다릴 필요가 없다는 것을 의미한다. 따라서 화상 정지에 기인한 성가신 중지가 회피되고 최종 사용자는 더 좋은 품질의 비디오를 인지해야 한다.

본 발명은 실시간 애플리케이션들 및 또한 수신 디코더로부터의 인트라 반복 요청들에 응답할 수 없는 검색 서비스들과 같은 비 실시간 애플리케이션들에 적용가능하다.

이제 본 발명이 첨부된 도면들을 참조하여 단지 예시로서 설명될 것이다.

상기 H.324 및 H.263 권고들을 참조하여 본 발명이 더 설명될 것이다. 그러나 그것은 본 발명의 적용을 이들 프로토콜들 또는 관련된 프로토콜들에 제한하는 것을 의도하지는 않는다.

도 1은 전형적인 멀티미디어 이동 통신 시스템을 보여준다. 제1 멀티미디어 단말기(1)는 통신 링크(3) 및 통신 네트워크(4)를 통하여 제2 멀티미디어 단말기(2)와 통신한다. 멀티미디어 데이터 뿐만 아니라 제어 데이터가 상기 두 단말기들(1, 2) 간에 송신된다. 설명될 본 발명의 실시예들에 있어서, 상기 멀티미디어 단말기들(1, 2)은 이동/무선 비디오폰들이고 상기 통신 네트워크는 GSM 네트워크와 같은 이동 통신 네트워크이다. 상기 장치에서 상기 통신 링크(3)는 무선 링크이다. 본 발명의 다른 실시예들에 있어서, 상기 멀티미디어 단말기들 양자는 공중 교환 전화망(Public Switched Telephone Network, PSTN) 비디오폰들 일 수 있거나 하나는 이동 멀티미디어 단말기이고 다른 하나는 PSTN 멀티미디어 단말기일 수 있다. 상기 단말기들(1,2)은 비디오-전화와 같은 실시간 애플리케이션을 위해 사용될 수 있거나 검색 서비스들과 같은 비 실시간 애플리케이션들을 위해 사용될 수 있다.

도 2는 H.324를 준수하는 단말기(1)의 전형적인 멀티미디어 구성요소들을 보여준다. 상기 단말기는 H.263을 준수하는 비디오 코덱(10)과, T.120을 준수하는 데이터 프로토콜 매니저(30)와, 상기 H.245 제어 프로토콜에 의한 신호를 출력하는 제어 매니저(40)와, H.223을 준수하는 멀티플렉서/디멀티플렉서(50) 및 (필요하다면) 모뎀(60)을 포함한다. 상기 비디오 코덱(10)은 코딩을 위하여 상기 단말기의 비디오 캡쳐 장치(예를 들어 카메라(미도시))로부터 신호들을 수신하며 디코딩 및 디스플레이(70)상에 상기 단말기(1)에 의한 표시를 위하여 원격 단말기(2)로부터 신호들을 수신한다. 상기 오디오 코덱(20)은 상기 단말기(1)의 마이크로폰(미도시)으로부터 코딩을 위한 신호들을 수신하고 디코딩 및 상기 단말기(1)의 라우드스피커(미도시)에 의한 재생을 위하여 원격 단말기(2)로부터 신호들을 수신한다. 상기에 언급된 이들 표준들은 단지 예시적인 목적을 위하여 설명되며 한정하는 것을 의도하지는 않는다.

상기 제어 매니저(40)는 상기 비디오 코덱(10), 상기 오디오 코덱(20), 상기 데이터 프로토콜 매니저(30) 및 상기 멀티플렉서/디멀티플렉서(50)의 동작을 제어한다. 그러나, 본 발명은 상기 비디오 코덱(10)의 동작과 관련되기 때문에, 상기 단말기의 다른 부분들에 관한 추가 논의는 더 제공되지 않을 것이다.

상기 비디오 코덱(10)은 신호원(미도시)으로부터 디지털 입력 비디오 신호를 수신한다. 상기 비디오 신호는 각 프레임이 정지 영상인 프레임들의 시퀀스를 나타낸다. 순차적으로 표시될 때, 상기 프레임들은 움직임을 포함하는 영상의 인상을 제공한다. 따라서 프레임들의 시퀀스는 여기에서 동영상으로서 지칭된다. 상기 코덱(10)은 상기 신호원(미도시)으로부터 동영상을 인코딩하고 상기 디스플레이(70)상에 디스플레이하기 위하여 동영상을 나타내는 수신된 신호를 디코딩한다.

도 3은 H.263에 따라 인코딩된 비디오 신호의 프레임(또는 화상)에 대한 데이터 구조를 보여준다. 각 프레임은 보통 약 50비트로 된 화상 헤더(80)로 시작한다. 상기 화상 헤더(80)는 다음을 포함한다:

동기를 위한 화상 시작 코드(Picture Start Code, PSC);

시간적으로 이전의 기준 화상(예를 들어 I-프레임) 헤더내의 시간 기준(Temporal Reference, TR)의 값을 1 더하기 상기 이전에 전송된 기준 화상 이래 스킵되거나 비-기준 화상들의 수 만큼 증가시킴으로써 형성된 시간 기준(TR);

특히 상기 프레임이 인트라 프레임 또는 인터 프레임인지, 그리고 상기 화상의 포맷(CIF, QCIF 등등)을 나타내는 유형 정보(PTYPE); 및

상기 화상의 나머지를 위해 사용될 DCT 양자화기를 나타내는 양자화기 정보(PQUANT).

상기 화상 헤더(80) 다음에 오는 것은 상기 화상의 제1 세그먼트(GOB, 슬라이스 등등)에 대한 화상 데이터(82)이다. 상기 화상 헤더(80)의 존재때문에, 상기 제1 세그먼트에 대한 세그먼트 헤더는 불필요하다. 따라서 상기 화상 헤더(80) 다음에 오는 상기 화상 데이터(82)는 (적용가능한 경우) 매크로블록 움직임 벡터(821) 및 블록 데이터(822)를 포함한다.

상기 화상의 제1 세그먼트에 대한 상기 데이터(82) 다음에 다음 세그먼트에 대한 세그먼트 헤더(84)(예를 들어 GOB 헤더)가 온다. 상기 GOB 헤더는 다음을 포함한다:

동기를 위한 GOB 시작 코드(GBSC);

상기 화상내의 상기 GOB의 번호를 나타내는 그룹 번호(Group Number, GN);

주어진 화상의 모든 세그먼트에서 동일한 값을 가지며 두 화상들이 동일한유형(I, P 등등)인 경우 이전에 코딩된 화상에서와 같은 동일한 값을 갖는 GOB 프레임 ID(GFID); 및

(상기 비트스트림에서 다음에 변하지 않는다면) 상기 화상의 나머지를 위해 사용될 상기 양자화기를 나타내는 양자화기 정보(GQUANT).

상기 제2 세그먼트에 대한 상기 세그먼트 헤더(84) 다음에 상기 세그먼트에 대한 화상 데이터(86)(즉 (적용가능한 경우) 매크로블록 움직임 벡터 및 블록 데이터)가 온다. 상기 프레임 데이터는 상기 전체 프레임이 인코딩될 때까지 세그먼트 헤더들(84) 및 화상 데이터(86)를 가지고 계속된다. 그다음 다음 프레임에 대한 화상 헤더(80)가 송신된다.

화상 헤더의 손실이 화상의 디코딩에 심각한 영향을 미칠 수 있다는 것은 독자에게 명백할 것이다. 상기 디코더는 상기 화상에 동기화될 수 없을 것이고, 상기 화상이 어떻게 인코딩되었는지(I 또는 P), 등등을 알지 못할 것이다. 종래에는 상기 화상 헤더가 손상될 때, 상기 데이터의 전부가 버려지고 인트라 화상 갱신에 대한 요청이 상기 송신 장치로 송신된다. 응답으로, 상기 송신 장치는 인트라 모드로 프레임을 코딩하고 상기 현재 화상은 새로운 인트라 코딩된 데이터가 수신되고 디코딩될 때까지 상기 디스플레이 상에서 정지된다.

도 4는 본 발명에 의한 비디오 코덱(10)의 예를 보여준다. 상기 비디오 코덱은 인코더부(100) 및 디코더부(200)를 포함한다.

코딩된 비디오 데이터를 단말기(2)로 전송하는 것으로서 상기 단말기(1)를 고려하면, 상기 비디오 코덱(10)의 동작이 그 인코딩 역할을 참조하여 이제 설명될것이다. 상기 인코더부(100)는 상기 단말기(1)의 카메라 또는 비디오 소스(미도시)로부터 비디오 신호를 수신하기 위한 입력(101)을 포함한다. 스위치(102)는 코딩의 인트라 모드와 인터 모드 사이에서 상기 인코더를 전환시킨다. 인트라 모드에 있어서, 상기 입력(101)으로부터의 비디오 신호는 상기 화소 데이터를 DCT 계수들로 변환하는 DCT 변환기(103)에 직접 입력된다. 그다음 상기 DCT 계수들은 상기 계수들을 양자화하는 양자화기(104)에 전달된다. 상기 스위치(102) 및 상기 양자화기(104) 양자는 상기 H.245 제어 매니저(40)에 의해 상기 수신 단말기(2)로부터 피드백 제어를 또한 수신하는 상기 비디오 코덱의 인코딩 제어 매니저(105)에 의해 제어된다. 상기 양자화기(104)로부터 출력된 데이터는 역 양자화기(108) 및 역 DCT 변환기(109)를 통해 전달된다. 결과로 생기는 데이터는 가산기(110)에 의해 화상 저장부(107)의 내용에 가산된다. 인트라 모드에 있어서, 상기 스위치(115)는 상기 화상 저장부(107)의 내용이 상기 역 DCT 변환기(109)의 출력에 의해 중복기입되도록 개방된다.

인터 모드에 있어서, 상기 스위치(102)는 상기 입력(101)으로부터의 신호와 상기 화상 저장부(107)에 저장된 이전 화상 간의 차이를 감산기(106)로부터 받아들이도록 동작된다. 상기 감산기(106)에서 출력된 차이 데이터는 현재 화상과 상기 화상 저장부(107)에 저장된 이전 화상 간의 예측 에러를 나타낸다. 상기 예측 에러는 DCT 변환되고 양자화된다. 그다음 상기 화상 저장부(107)내의 데이터는 상기 양자화기(104)에 의해 출력된 데이터를 상기 역 양자화기(108) 및 상기 역 DCT 변환기(109)를 통해 전달함으로써 그리고 가산기(110)에 의해 상기 결과로 생기는 데이터를 상기 화상 저장부(107)의 내용에 가산함으로써 갱신되며, 상기 스위치(115)는 닫혀진다. 움직임 추정기(111)는 종래의 방식으로 상기 화상 저장부(107)내의 데이터로부터 움직임 보상 데이터를 발생시킬 수 있다.

상기 비디오 코더(100)는 헤더 정보(예를 들어 코딩되는 상기 프레임의 번호를 나타내는 시간 기준 플래그(TR)(112a), 수행된 코딩 모드(I 또는 P/B)를 나타내는 인트라/인터 플래그(112b), 양자화 인덱스(112c)(즉 사용된 상기 양자화기의 상세)), 상기 양자화된 DCT 계수들(122d) 및 코딩되는 상기 화상에 대한 움직임 벡터들(112e)을 생성한다. 이들은 가변장 코더(variable length coder, VLC)(113)에 의해 함께 코딩되고 다중화된다. 그다음 상기 인코더의 출력이 멀티플렉서(50)에 의해 다른 신호들과 멀티플렉싱된다.

본 발명의 제1 실시예에 있어서, 상기 인코더는 매 인트라 프레임 후에 상기 화상 헤더의 반복을 송신하도록 정해진다. 그러므로 반복될 상기 데이터를 임시로 저장하기 위해 데이터 저장부(114)가 제공된다. 상기 제1 실시예에 있어서, 매 인트라 프레임에 대해, 상기 화상 헤더(80) 및 상기 데이터의 제1 세그먼트(82)가 수신 디코더로 전송을 위해 반복된다. 따라서 상기 인코더는 도 5에 도시된 형태로 데이터를 출력한다.

도 5에 도시된 바와 같이, 상기 코딩된 신호는 상기 비디오 신호의 제1 화상(510)에 대한 데이터로 시작한다. 이 프레임은 인트라 코딩된다. 상기 데이터는 상기 화상 헤더(80), 상기 제1 세그먼트에 대한 데이터(82), 헤더들(84) 및 상기 제1 화상의 다음 세그먼트들에 대한 데이터(86)를 포함한다. 그다음 상기 화상헤더(80) 및 상기 제1 화상(510)의 제1 세그먼트에 대한 데이터(82)가 데이터(512)로서 반복되고, 상기 반복된 화상 헤더는 원래의 프레임과 같은 동일한 시간 기준(TR)을 갖는다. 이 반복된 데이터 다음에 다음 인터 코딩된 프레임들에 대한 데이터(520, 522, 524)가 온다. 다음 인트라 프레임이 코딩될 때, 상기 프레임에 대한 데이터(510') 다음에 상기 화상 헤더(80) 및 상기 인트라 프레임(510')에 대한 제1 세그먼트 데이터(82)의 반복(512')이 온다.

이러한 배열은 28.8 kbps 접속 및 QCIF 화상에 대해 인트라-프레임당 약 227 바이트의 오버헤드를 초래한다.

그러므로 수신 디코더는 상기 헤더 정보의 사본을 수신할 것이다. 이러한 시나리오에 있어서, 상기 디코더는 기준 화상 선택(Reference Picture Selection, RPS)을 참조하여 H.263의 부록 N에서 설명된 바와 같이 동작되도록 정해진다. H.263 부록 N에 의하면, 디코더가 동일한 시간 기준(TR)을 갖는 2 이상의 화상 헤더들을 수신한다면, 상기 제2 및 다음 화상 헤더들(및 그들의 관련된 데이터)은 상기 디코더에 의해 무시된다. 따라서, 수신 디코더가 상기 화상 헤더의 제1 발생을 정확하게 이럭저럭 디코딩해낸다면(그래서 상기 헤더의 TR을 독출한다면), 상기 디코더는 상기 화상 헤더의 반복을 무시할 것이다. 따라서, 본 발명의 제1 실시예에 의한 인코더는, 그러한 구성이 본 발명에 유익하지 않을지라도 종래의 디코더와 함께 동작할 수 있을 것이다. 그러나 호환성이 제공된다.

상술된 제1 실시예에 있어서, 상기 반복된 데이터는 프레임의 불완전한 부분과 관련되며 특히 상기 화상 헤더 및 상기 화상의 제1 세그먼트에 대한 데이터와관련된다. 그러므로 본 발명에 의한 디코더는 불완전한 프레임에 대한 데이터가 수신되었는지를 탐지함으로써 반복된 데이터의 존재를 검출하고 상기 프레임을 완성시키기 위하여 저장된 데이터를 사용한다.

본 발명에 의한 인코더의 제2 실시예에 있어서, 여분의 비디오 프레임들이 상기 인코딩된 비트스트림에 부가된다. 이러한 여분의 프레임은 어떤 부가적인 정보를 상기 전송된 비디오 시퀀스로 가져오는데 사용되지 않는다. 그대신 상기 여분의 프레임은 이전 화상의 화상 헤더를 반복하는데 사용된다. 상기 여분의 프레임들은 본 발명에 의한 인코더에 의해 상기 비디오 스트림에 부가된다. 여분의 프레임의 존재는 디코더에게 명백히 알려지거나 상기 디코더는 이러한 여분의 프레임의 존재를 검출하기 위하여 상기 여분의 프레임들의 암시적인 특성을 사용할 수 있다.

도 6은 본 발명의 제2 실시예에 의한 인코더에 의해 출력된 신호의 프레임 구조를 보여준다. 상기 인코더는 각 인트라 프레임(610) 이후에 여분의 프레임(612)을 생성하고 송신하도록 정해진다. H.263에 의하면, 연속적인 압축된 화상들은 기준 화상 선택(RPS) 모드가 선택되지 않는 한 동일한 압축되지 않은 화상을 나타낼 수 없다(부록 N). 본 발명의 제2 실시예는 선택되는 RPS에 의존하지 않는다. 이 경우, 상기 화상 헤드만 상기 데이터 저장부(114)에 저장된다. 상기 제어부(115)의 제어하에서 PTYPE 필드내의 화상 코딩 유형이 I에서 P로 변경되고 TR 필드가 증가되는 것을 제외하고 새로운 화상 헤더(80')가 상기 인트라 프레임(610)에 대한 것과 동일하도록 원래의 화상 헤더(80)가 변경된다. 또한 상기 제어부(105)는 전체 프레임에 대한 데이터에 아무런 변경도 없었다는 것을 나타내는 필드(88)를 설정한다. H.263에서, 이 필드는 코딩된 매크로블록 표시(Coded Macroblock Indication, COD) 플래그를 포함하는데, 이것은 인터 코딩된 매크로블록에 대해서 설정되고, 설정될 때 아무런 추가 정보도 상기 매크로블록을 위해 송신되지 않는다는 것을 나타낸다(즉 변경없음). 도 5에 도시된 프레임들(520, 522, 524)과 같은 동일한 방식으로 인코딩된 다음 인터 프레임들(620, 622, 624)은 다음 인트라 프레임(610')까지 전송된다.

본 발명의 다른 실시예에 의하면, 여분의 프레임들이 인트라 프레임들 뿐만아니라 인터 프레임들 이후에 포함된다.

반복된 데이터(612)의 여분의 프레임은 약 50비트의 화상 헤더(80'), 99 COD 비트들(QCIF 화상내의 99 매크로블록들 각각에 대한 것) 및 완전한 프레임을 위하여 정수 비트를 구성하기 위한 몇몇 채워넣기 비트들을 포함한다. 전체적으로 이러한 여분의 프레임은 전형적으로 19 바이트로 이루어져 있어서 28.8 kbps H.263 접속 및 QCIF 화상에 대해 데이터 스트림에 약 8%의 오버헤드를 부가한다. 이러한 오버헤드 값은 각 인트라 프레임 및 각 인터 프레임이 여분의 프레임과 관련되는 경우에만 적용된다. 명백히 상기 오버헤드는 여분의 프레임이 각 인트라 프레임 이후에만 인코딩되는 경우 감소될 수 있다.

도 5 및 도 6을 참조하여 설명된 바와 같이, 프레임에 대한 반복된 화상 헤더가 화상의 프레임에 대한 원래의 데이터 다음에 그리고 다음 프레임에 대한 데이터 이전에 제공된다.

이제 상기 인코더의 제3 실시예가 설명될 것이다. 본 실시예는 H.263의 보충증강 정보 필드(부록 L)에 대한 새로운 부가에 기초한다. 상기 부가는 현재 화상의 보충 증강 정보 필드들내의 이전 화상의 어떤 화상층 필드들의 반복을 가능하게 한다. (화상층 필드들은 그들이 상기 화상층 데이터 자체와 동시에 손상되는 위험에 있기 때문에 동일한 화상내에 반복되지 않는다.)

화상 헤더내의 보충 증강 정보의 포함은 플래그 PEI에 의해 H.263에 따라 표시된다. PEI가 설정되는 경우, 이것은 보충적인 정보가 8비트 필드 PSUPP에서 뒤따른다는 것을 나타낸다. 추가 PEI는 추가 PSUPP 필드가 추가 정보를 가지고 뒤따른다는 것을 나타낸다. 기타 등등.

부록 L에서 설명된 확장 능력을 지원하지 않는 디코더들은 PEI가 1로 설정되는 경우 PSUPP를 버리도록 설계된다. 이것은 확장된 능력을 사용하는 비트스트림이 또한 상기 능력을 지원하지 않는 디코더들에 의해 변경없이 사용될 수 있도록 부록 L의 확장된 능력에 대한 역 호환성을 가능하게 한다.

H.263의 부록 L은 이 권고의 화상층의 상기 PSUPP 필드에 송신된 상기 보충 증강 정보의 포맷을 설명한다. 상기 보충 증강 정보의 존재는 PEI에 표시되고, 부가적인 PEI 비트가 PSUPP 데이터의 매 옥텟(octet) 사이에 삽입된다.

상기 PSUPP 데이터는 4비트 유형 표시 FTYPE으로 이루어져 있으며, 그 다음에 4비트 파라미터 데이터 크기 명세 DSIZE가 오고, 그다음에 기능 파라미터 데이터의 DSIZE 옥텟이 오며, 선택적으로 그다음에 다른 기능 유형 표시가 온다. 기타 등등. 지원하지 않는 기능 유형 표시를 수신하는 디코더는 상기 기능에 대한 기능 파라미터 데이터를 버릴 수 있고 그다음 지원될 수 있는 다음 기능 유형 표시에 대해 검사할 수 있다. 정의되었던 상기 FTYPE 값들이 H.263의 표 L.1에 도시된다. 본 발명의 본 실시예는 H.263의 부록 L에 몇몇 변경을 필요로 할 것이다. 이들 변경들은 다음과 같다:

1. H.263의 표 L.1내의 새로운 기능 유형 표시(FTYPE)의 정의 예를 들어 엔트리 13-화상층 데이터 반복; 및

2. 상기 FTYPE 코드의 효과에 관한 설명의 부록 L내의 포함 예를 들어:

상기 화상층 데이터 반복 기능은 상기 이전 화상의 상기 화상층 데이터의 코딩된 표시의 어떤 필드들을 반복하는데 사용될 것이다. 상기 반복된 필드들은 상기 시간 기준(TR) 필드에서 시작하는 자연적인 문장 구성 순서로 나타날 것이다. 바꾸어 말하면, 상기 PEI 비트들이 상기 반복된 화상층 데이터에서 제거되었다면, 상기 반복의 비트스트림은 대응하는 위치의 원래의 비트스트림과 정확히 동일할 것이다. 상기 SEI의 상기 DSIZE 필드는 반복된 바이트들의 수를 나타낸다. 0과 같은 DSIZE는 장래 사용을 위해 예약된다. 그다음 상기 화상 헤더 정보가 상기 FTYPE/DSIZE 옥텟 다음에 온다.

제안되는 본 방법은 손상된 화상 헤더를 복구할 때 이전 실시예들에 비해 상당한 지연을 나타내는데, 이것은 상기 복구가 다음 화상의 시작부가 도착될 때까지 일어날 수 없기 때문이다. 그러나, 디코더의 동작은 전형적으로 적어도 저 프레임율에서 실시간 비디오 데이터 전송보다 더 빠르기 때문에, 상기 디코더는 다음 화상이 도착할 때까지 기다리는데 소요되는 시간을 벌충할 가능성이 있다.

제3 실시예에 의한 인코더를 구현하는 한가지 가능한 방법이 도 7에 도시된흐름도에 제시된다. 이 실시예에 대해서, 화상 헤더는 상기 비트스트림 신택스에서의 보충 증강 정보에 선행하는 화상층 데이터를 지칭한다.

상기 압축되지 않은 신호는 어떤 프레임율로 상기 인코더(700)에 입력된다. 비트율 제어 알고리즘은 특정 프레임(702)을 코딩할 것인지 또는 스킵할 것인지를 결정한다. 프레임이 코딩될 것이라면, 상기 화상 헤더가 우선 코딩된다(704). 상기 화상 헤더는 또한 데이터 저장부(114)에 저장된다(708). 불과 3개의 화상 헤더들, 즉 현재 화상으로부터의 헤더와 이전의 두 코딩된 화상들로부터의 헤더들이 언제든지 필요하다. 상기 인코더는 상기 GFID가 현재 및 이전 화상들의 상기 화상 헤더들에 기초하여 (이전 화상과 비교하여) 상기 화상에서 변경될 것인지를 결정한다(706). 상기 이전 화상의 GFID가 또한 그 이전의 화상의 GFID와 다른 경우(710), 보충 증강 정보로서 상기 이전 화상의 화상 헤더를 반복할 필요가 있다. 그렇지 않으면, 상기 수신기는 상기 현재 화상 또는 상기 이전 화상 이전의 화상의 GFID를 사용하여 상기 이전 화상의 화상 헤더를 복구할 수 있다(712). 마지막으로, 상기 화상의 나머지가 인코딩된다(714). 그다음 상기 코딩 루프가 처음부터 계속된다(700).

상기 반복된 화상 헤더는 상기 PSC없이 반복될 수 있다. 대안적으로 상기 헤더는 체계적인 에러-정정 코드에 의해 조작될 수 있다. 체계적인 에러-정정 코드는 k 제1 심볼들이 실제 메시지이고 상기 심볼들의 나머지가 에러 검사를 위해 사용되도록 하는 것이다. 이러한 특별한 경우에 있어서, k 제1 비트들은 화상 헤더이고, 상기 비트들의 나머지는 다음 프레임에 보충 증강 정보로서 전송된다. 따라서, 상기 에러-정정 코드의 선택은 얼마나 많은 비트 반전 에러들이 검출될 수 있고 정정될 수 있는지 그리고 얼마나 많은 보충 비트들이 상기 에러 방지를 제공하는데 필요한지에 영향을 미친다.

상술된 인코더(100)의 실시예들에 있어서, 상기 인코더는 화상 헤더 반복들을 송신하도록 미리 프로그램되어 있었다. 그러나, 상기 인코더(100)는 부가적으로 디코더로부터의 명령에 응답하여 상기 화상 데이터를 반복하거나 리프레시하도록 정해질 수 있다.

부가적으로 또는 대안적으로 상기 인코더는 상기 GFID 파라미터가 상태를 변경시킬 때마다 반복 화상 헤더를 송신하도록 정해질 수 있다.

상기 단말기(1)를 단말기(2)로부터 코딩된 비디오 데이터를 수신하는 것으로 고려하면, 본 발명에 의한 상기 비디오 코덱(10)의 동작이 이제 그것의 디코딩 역할을 참조하여 설명될 것이다. 상기 단말기(1)는 송신 단말기(2)로부터 멀티미디어 신호를 수신한다. 상기 디멀티플렉서(50)는 상기 멀티미디어 신호를 디멀티플렉싱하고 디멀티플렉싱된 신호들을 상기 수신기의 정확한 부분들에 전달하는데, 예를 들어 상기 비디오 데이터를 상기 비디오 코덱(10)에, 그리고 상기 오디오 데이터를 상기 오디오 코덱(20)에 그리고 H.245 제어 데이터를 H.245 제어부(40)에 전달한다. 상기 비디오 코덱의 디코더(200)는 상기 데이터를 역 양자화, 역 DCT 변환 및 움직임 보상을 행함으로써 상기 인코딩된 비디오 데이터를 디코딩한다. 그다음 상기 비디오 데이터는 상기 수신 단말기(1)의 디스플레이(70)상에 재생을 위하여 출력된다.

도 4에 도시된 바와 같이, 상기 비디오 코덱(10)의 디코더부(200)는 가변장 디코더(218), 역 양자화기(220), 역 DCT변환기(221), 움직임 보상기(222), 화상 저장부(223), 제어기(224), 임시 화상 저장부(228) 및 스위치들(230 및 232)을 포함한다. 상기 제어기(224)는 상기 디멀티플렉서(50)에 의해 상기 인코딩된 멀티미디어 스트림으로부터 디멀티플렉싱된 비디오 코덱 제어 신호들을 수신한다. 실제로 상기 인코더의 제어기(105)와 상기 디코더의 제어기(224)는 동일한 프로세서일 수 있다.

상기 디코더의 제어기(224)는 수신된 데이터의 무결성을 검사한다. 상기 화상 헤더내의 에러는 상기 화상이 디코딩될 수 없어서 완전히 유실된다는 것을 의미할 수 있거나 그것이 매우 손상되어 실제로 유실된다는 것을 의미할 수 있다.

상기 디코더의 제1 실시예가 이제 설명될 것이다. 정상 동작에 있어서, 상기 디코더(200)는 인코딩된 데이터를 수신한다. 상기 가변장 디코더(Variable Length Decoder, VLD)(218)는 도 3에 도시된 바와 같은 포맷을 가진 원래 프레임 구조를 재생하려고 수신된 데이터를 디코딩한다. 즉, 상기 VLD(218)는 인코딩된 데이터를 디멀티플렉싱하고 상기 제어기(224)는 상기 수신된 데이터내의 화상 시작 코드(Picture Start Code, PSC)를 검출한다. 그다음 상기 제어기(224)는 상기 역 양자화기(220) 및 상기 스위치(230)를 제어하기 위하여 상기 화상 헤더내의 정보를 사용한다. 상기 PTYPE 정보가 인트라-프레임을 나타낼 때, 상기 스위치(230)는 개방되고 역 DCT 장치(221)의 출력이 상기 화상 저장부(223)에 입력된다. 상기 PTYPE 정보가 인터-프레임을 나타낼 때, 상기 스위치(230)는 닫히고 상기 화상저장부(223)의 내용들이 가산기(234)에 의해 상기 역 DCT 장치(221)의 출력(디코딩된 예측 에러)에 더해진다.

상기 디코더가 상기 제1 화상 헤더를 디코딩할 수 없는 경우, 그러나 상기 화상의 다른 세그먼트들(예를 들어 상기 제2 세그먼트(84)의 GBSC)을 검출할 수 있는 경우, 상기 디코더는 상기 데이터를 상기 임시 화상 데이터 저장부(228)에 저장한다. 상기 디코더가 상기 반복된 헤더 데이터(및 상기 제1 세그먼트 데이터(82))를 수신하고 디코딩하며 식별할 때, 상기 디코더는 상기 화상의 나머지를 재생하기 위하여 상기 임시 화상 저장부내의 데이터를 사용한다.

따라서, 상기 제어기(224)가 프레임의 시작에서 PSC를 검출하지 않은 경우(또는 그렇지 않으면 상기 화상 헤더가 손상된 것을 결정한 경우) 하지만 세그먼트 헤더를 검출한 경우(예를 들어 GOB 시작 코드 GBSC를 검출함으로써), 상기 제어기(224)는 VLD(218)로부터 출력된 데이터가 상기 임시 화상 데이터 저장부(228)에 입력되도록 스위치(232)의 상태를 변경시킨다. 상기 데이터는 상기 VLD가 상기 화상의 시작과 동기화될 수 없을 것이기 때문에 검출된 GBSC 코드에서 시작할 것이다.

도 5를 참조하면, 상기 디코더가 프레임(510)의 제2 세그먼트에 대한 헤더(84)에서 상기 GBSC를 검출했다고 가정하자. 그러므로, 상기 임시 화상 데이터 저장부(228)에 저장된 데이터는 앞으로 헤더(84), 즉 상기 제2 세그먼트에 대한 헤더, 상기 제2 세그먼트에 대한 데이터, 상기 제3 세그먼트에 대한 헤더, 프레임(510)의 상기 제3 세그먼트 등에 대한 데이터를 포함한다.

상기 유실된/손상된 화상 헤더가 인트라-프레임에 속한 경우, 상기 디코더에 의해 수신되는 다음 데이터는 그러므로 상기 반복된 화상 헤더 및 제1 세그먼트 데이터(512)가 될 것이다. 상기 디코더는 상기 반복된 화상 헤더(80) 및 반복된 제1 세그먼트 데이터(82)와 관련된 데이터(512)를 수신한다. 상기 제어기는 상기 반복된 데이터(512)에서 PSC를 검출하고, 상기 헤더내의 PTYPE 필드를 독출하며 그다음 양자화기에 대해 상기 양자화기(220)에게 사용될 것을 지시하고 인트라 프레임을 나타내는 상기 헤더내의 PTYPE 필드에 응답하여 스위치(230)를 개방한다. 상기 반복된 정보의 나머지(즉 상기 데이터의 반복된 제1 세그먼트)가 상기 역 양자화기(220) 및 상기 IDCT 변환기(221)에 의해 디코딩되고 상기 디코딩되고 반복된 제1 화상 세그먼트가 IDCT(222)에서 상기 화상 저장부(223)로 출력된다.

상기 디코더는 상기 데이터가 전체 화상에 대한 것이 아님을 인지한다. 즉 예를 들어 상기 디코더가 상기 반복된 데이터(512)를 디코딩하고 그다음 다음 시작 코드가 다른 프레임 즉 프레임(520)에 대한 것임을 탐지함으로써, 그것이 다음에 제1 세그먼트에 대한 화상 데이터(82)가 오고 그다음에 다음 프레임에 대한 화상 헤더가 오는 단지 화상 헤더(80)임을 인지한다. 상기 디코더에 의한 상기 검출에 응답하여, 상기 제어기(224)는 상기 임시 화상 저장부(228)에 저장된 프레임(510)으로부터의 데이터가 상기 역 양자화기(220) 및 상기 IDCT 변환기(221)에 출력되도록 스위치(232)의 상태를 변경시킨다. 그다음 상기 디코딩된 데이터는 현재 화상에 대한 디코딩된 데이터의 나머지를 가지고 상기 화상 저장부의 내용들을 갱신하기 위하여 상기 화상 저장부(223)에 출력된다.

상기한 바와 같이, 본 발명에 의한 디코더의 제1 실시예에서, 상기 디코더는 전체 화상에 대한 데이터(예를 들어 상기 화상의 하나의 세그먼트에 대한 데이터가 다음에 오는 화상 하지만 더 이상은 아닌 화상)가 다음에 오지 않는 화상 헤더의 발생을 검출함으로써 반복된 화상 헤더의 수신을 검출한다. 다른 방법들이 헤더 정보의 반복을 검출하는데 사용될 수 있다.

일찍이 설명된 바와 같이, 상기 디코더가 상기 프레임(510)을 정확하게 디코딩할 수 있는 경우, 상기 디코더는 상기 신호가 도 5에 도시된 바와 같이 포맷될 때 상기 헤더(512)의 반복을 단순히 버린다.

도 8은 본 발명의 제1 실시예에 의한 디코더를 동작시키는 방법을 도시한 흐름도이다. 우선 상기 디코더(200)는 화상 시작 코드(PSC)가 들어오는 데이터에서 다음 코드인지를 검사함으로써 수신된 신호를 디코딩하는 것을 시작한다(400). 상기 화상 헤더가 손상되는 것으로 여겨진다면(402), 상기 제어기는 상기 화상의 나머지 세그먼트들과 관련된 화상 데이터를 임시 화상 데이터 저장부(228)에 저장한다(404).

상기 화상이 손상되었는지를 결정하는데 다양한 방법들이 사용될 수 있다. 몇몇 예시적인 방법들은 상기 디코더가 상기 PSC를 검출할 수 없는지, 또는 에러 검출 방법(H.223 CRC 체크섬과 같은)이 에러가 존재한다는 것을 나타내는지, 또는 있을 법하지 않은 파라미터가 상기 화상 헤더에서 발견되는지(예를 들어 인터 플래그는 상기 화상 헤더의 코딩 유형이 인트라일 때 세그먼트내에 설정된다)에 대한 것이다.

그다음 상기 디코더(200)는 다음 에러없는 헤더를 찾는다. 상기 헤더가 인트라 프레임에 대한 것이라면, 상기 디코더는 상기 프레임을 디코딩하려고 시도한다. 상기 화상 세그먼트들 중 몇몇이 분실된 것으로 발견된 경우, 이전 프레임의 대응하는 세그먼트들이 상기 임시 화상 저장부(228)로부터 독출되고 디코딩된다. 상기 유실된/손상된 화상 헤더가 인트라-프레임에 속한 경우, 상기 디코더에 의해 수신되는 다음 데이터는 상기 반복된 화상 헤더 및 제1 세그먼트 데이터(512)일 것이다. 상기 디코더는 상기 화상 헤더 및 상기 화상의 제1 세그먼트에 대한 데이터를 디코딩한다(408). 상기 디코더는 상기 데이터가 전체 프레임에 대한 것이 아닌지를 탐지하고(406), 그다음 응답으로 상기 디코더는 상기 반복된 화상 헤더에 기초하여 상기 임시 화상 데이터 저장부(228)에 저장된 데이터를 디코딩한다(408).

그다음 정상 에러 은닉 기술들이 전송에 기인했던 상기 화상내의 에러들 또는 디코딩 에러들을 감추는데 사용될 수 있다. 종래와 같이, 상기 디코더는 또한 디코딩된 프레임이 너무 잘못된 것으로 간주된 경우 상기 인코더에 갱신 요청을 송신할 수 있다.

종래의 디코더는 불완전한 프레임 데이터를 수신할 때 분실한 데이터가 전송시 유실되었다고 결론지을 것이다. 따라서 상기 디코더는 기지의 방식으로 인트라 화상 요청을 요청할 것이다. 따라서 본 발명에 의한 인코더는 본 발명에 의하지 않은 디코더와 동작할 수 있다.

본 발명에 의한 디코더의 제2 실시예가 이제 설명될 것이다. 도 6에 도시된 바와 같이 포맷된 신호를 참조하면, 상기 디코더가 프레임(610)의 원래 헤더를 디코딩할 수 없는 경우, 상기 디코더는 상기 프레임에 대한 나머지 화상 데이터(84, 86)를 상기 임시 화상 저장부(228)에 저장한다. 상기 프레임의 제1 세그먼트는 상기 디코더에 의해 식별될 수 없기 때문에 저장되지 않는다. 여분의 프레임(612)이 수신될 때, 상기 디코더는 상기 데이터를 인터 코딩되는 것으로 독출하지만 아무런 변경없이 독출한다. 종래 기술에 의한 인코더는 보통 상기 정보(그것은 명백히 100% 여분이다)를 공급하지 않을 것이다. 본 발명에 의한 디코더는 변경이 없다는 것을 나타내는 필드가 다음에 오는 인터 화상 헤더의 발생을 검출함으로써 반복된 화상 헤더의 수신을 검출한다. 이러한 데이터의 수신시, 상기 디코더는 상기 디코더를 형성하기 위하여 상기 인터 화상 헤더를 사용하고 그다음 상기 저장부(228)에 저장된, 이전 프레임으로부터의 정보를 검출한다.

본 실시예에 있어서, 상기 화상의 제1 세그먼트에 대한 데이터는 반복되지 않으므로 유실된 것으로 간주될 수 있다. 그러므로 상기 디코더는 상기 반복된 헤더 데이터의 수신시, 상기 화상 데이터의 내용들이 앞으로 상기 제2 세그먼트로부터 리프레시되도록 상기 스위치(232)가 상태를 변경시키도록 한다. 대안적으로, 상기 디코더는 상기 제1 세그먼트 화상 데이터가 손상된 데이터에서 시작해야 하는 곳과 상기 지점에서 상기 데이터를 디코딩하는 곳을 추정할 수 있다. 예를 들어, 원래 화상의 화상 헤더에 1비트 반전 에러가 존재해서 상기 화상 헤더가 디코딩될 수 없다고 가정하자. 그러나 상기 PSC는 여전히 유효하고 상기 프레임의 시작은 신뢰성있게 검출될 수 있다. 그러므로 전체 화상(610)은 상기 임시 화상 저장부(228)에 저장되고 그다음 반복된 헤더가 수신될 때, 상기 디코더(200)는 상기 화상 헤더가 종료될 것으로 예상되는 그리고 상기 제1 세그먼트에 대한 데이터가 시작될 것으로 예상되는 위치에서 상기 저장된 데이터를 디코딩하기 시작한다.

따라서, 상기 디코더는 들어오는 데이터를 검사한다. 상기 화상 헤더가 유실되거나 손상되는 경우, 상기 프레임의 나머지에 대한 데이터가 상기 임시 화상 데이터 저장부(228)에 저장된다. 그다음 후속 데이터가 디코딩되고, 상기 데이터가 인터-프레임과 관련되며 상기 화상에서 아무런 변경도 없는 것을 나타내는 경우, 상기 화상 헤더가 디코딩되고 상기 임시 화상 데이터 저장부(228)로부터의 데이터가 상기 여분의 프레임의 화상 헤더내의 정보를 사용하여 디코딩된다.

상기 신호가 도 6에 도시된 바와 같이 포맷될 때, 상기 디코더가 이럭저럭 프레임(610)의 화상 헤더를 정확히 디코딩하는 경우, 상기 디코더는 상기 헤더(612)의 반복을 계속 디코딩할 것이다. 도 6을 참조하여 설명된 바와 같이, 상기 반복된 정보(612)는 화상 헤더(82)(증가된 TR을 포함하여) 및 아무런 데이터도 이전에 코딩된 프레임에 대해 변경되지 않았다는 것을 나타내는 필드(88)를 포함한다. 상기 임시 화상 데이터 저장부(228)에 아무런 저장된 데이터도 존재하지 않기 때문에, 상기 디코더는 여분의 프레임 데이터(612)를 버릴 것이고 다음 프레임(620)을 디코딩할 것이다.

본 발명의 제3 실시예에 따라 인코딩된 신호의 수신시, 본 발명에 의한 디코더는 상기 임시 화상 저장부(228)에 저장된 데이터를 디코딩하기 위하여 다음 프레임에서 보충 증강 정보의 FTYPE/DSIZE 옥텟 다음에 오는 데이터를 사용한다.

상기 디코더의 제3 실시예가 이제 도 9를 참조하여 설명될 것이다. 본 실시예는 일찍이 상기 디코더와 도 7을 참조하여 설명된 바와 같이 상기 SEI 방법을 사용한다.

상기 디코더는 다음과 같이 동작한다. 우선, 상기 디코더는 다음 전송되는 화상의 화상 헤더를 수신한다(900). 상기 헤더가 에러가 없다면(901), 상기 디코더는 문제없이 상기 헤더를 디코딩할 수 있다(902). 그다음 상기 디코더는 상기 화상의 나머지를 계속 디코딩할 수 있다(904). 몇몇 에러들이 상기 화상 헤더에서 검출된 경우(901), 상기 디코더는 상기 화상의 에러없는 화상 세그먼트(GOB 또는 슬라이스) 헤더를 찾는다(906). 이 비트 스트림 위치를 제1 재동기 위치라 하자. 그 헤더의 GFID가 이전 화상의 것과 동일한 경우(908), 상기 디코더는 상기 화상 헤더의 결정적인 부분들을 복구할 수 있고(910) 특정 화상 세그먼트로부터 시작하여, 디코딩을 계속한다(904). 상기 GFID가 이전 화상내의 것과 다른 경우(908), 상기 디코더는 다음 화상 시작 코드를 찾는다(912). 상기 화상의 화상층 데이터가 SEI 화상 헤더 반복을 포함하는 경우(914), 상기 디코더는 현재 화상의 화상 헤더를 복구할 수 있다(916). 또한 상기 디코더는 상기 비트 스트림내의 디코딩 위치를 상기 제1 재동기 위치로 되돌려 설정해야 한다(918). 상기 화상층 데이터가 SEI 화상 헤더 반복을 포함하지 않은 경우, 상기 디코더는 다음 화상 세그먼트 시작 코드를 찾고 상기 헤더내의 GFID가 디코딩되고 있는 화상의 GFID와 동일한지를 검사한다(920). 상기 GFID들이 동일한 경우, 상기 디코더는 상기 화상 헤더를 복구할 수 있고(910) 상기 제1 재동기 위치에서 디코딩을 계속한다. 상기 GFID들이 서로 다른 경우, 상기 디코더는 손상된 화상 헤더를 복구할 아무런 수단도 가지지 않는다. 이경우(922), 상기 디코더는 예를 들어 인트라 갱신을 요청할 수 있다.

상기 임시 화상 저장부는 복수의 프레임들에 대한 코딩된 데이터를 저장할 수 있다. 저 비트율 애플리케이션들에서 대부분의 프레임들은 인터 프레임 방식으로 코딩되기 때문에, 상기 임시 화상 데이터 저장부에 저장된 대부분의 데이터는 예측 에러 데이터를 나타낼 가능성이 있고 따라서 상당히 컴팩트할 가능성이 있다. 그러므로 상기 임시 화상 저장부는 적어도 하나의 인트라 프레임에 대한 데이터 및 하나의 인터 프레임 데이터를 저장하기에 충분해야 하며, 인터 프레임은 전형적으로 28.8 kbps로 QCIF 화상에 대해 약 250 바이트로 코딩된다.

상기 비디오의 후속 프레임들에 대한 어떤 데이터가 또한 상기 임시 화상 데이터 저장부(228)에 저장되는 경우, 이들은 또한 상기 화상 저장부(223)의 내용들이 전송 장치의 대응하는 화상 저장부의 내용들과 정렬되도록 디코딩되고 상기 화상 저장부(223)에 출력된다.

Claims (17)

1. 인코딩된 비디오 신호를 디코딩하는 방법에 있어서,

   비디오 신호의 프레임들을 나타내는 코딩된 데이터를 수신하는 단계;

   헤더 데이터 및 화상 데이터를 검출하기 위하여 상기 코딩된 데이터를 검사하는 단계;

   상기 화상 헤더에서 에러가 검출될 때, 상기 화상 데이터를 임시 화상 데이터 저장부에 저장하고 상기 헤더 데이터의 반복을 검출하는 단계; 및

   상기 반복된 헤더 데이터를 사용하여 상기 저장된 화상 데이터를 디코딩하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
2. 제1항에 있어서, 상기 헤더 데이터의 반복을 검출하는 단계는, 다음에 수신된 데이터가 상기 비디오 신호의 전체 프레임에 관련된 것인지 또는 프레임의 불완전한 부분에 관련된 것인지를 확인하는 단계와 상기 수신된 데이터가 프레임의 불완전한 부분에 관련될 때 헤더의 반복을 검출하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
3. 제1항에 있어서, 상기 헤더 데이터의 반복을 검출하는 단계는, 다음에 수신된 데이터가 화상 데이터 및 추가 데이터를 포함하는지를 확인하는 단계를 포함하고, 추가 데이터는 상기 비디오 신호의 프레임이 상기 비디오 신호의 기준 프레임에 대해 변경되지 않음을 알리고 만약 그렇다면 상기 헤더 데이터의 반복이 검출되었다고 결정하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
4. 제1항 내지 제3항 중의 어느 한 항에 있어서, 상기 헤더 데이터의 반복을 검출하는 단계는 데이터가 상기 임시 화상 데이터 저장부에 저장될 때마다 수행되는 것을 특징으로 하는 디코딩 방법.
5. 제1항 내지 제4항 중의 어느 한 항에 있어서, 상기 반복된 헤더 데이터를 검출하는 단계는, 상기 다음 프레임의 화상 헤더가 이전 프레임의 화상 헤더와 관련한 데이터를 포함하는지를 결정하기 위하여 다음 프레임의 화상 헤더를 검사하는 단계를 포함하고 만약 그렇다면 상기 화상 헤더의 반복을 검출하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
6. 제5항에 있어서, 상기 반복된 데이터를 검출하는 단계는 다음 프레임의 헤더의 보충 증강 지시자(Supplemental Enhancement Indicator, SEI)를 검사하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
7. 인코딩될 비디오 신호를 수신하는 단계;

   상기 비디오 신호의 프레임을 나타내는 데이터를 인코딩하는 단계; 및

   상기 데이터의 전부는 아닌 일부를 반복하는 단계를 포함하며, 상기 반복된부분은 상기 프레임의 화상 헤더를 포함하는 것을 특징으로 하는 비디오 인코딩 방법.
8. 제7항에 있어서, 상기 데이터의 부분은 인트라-프레임 방식으로 코딩된 프레임들을 위해서만 반복되는 것을 특징으로 하는 비디오 인코딩 방법.
9. 제7항 또는 제8항에 있어서, 상기 반복된 데이터는 화상 헤더 및 상기 프레임의 화상 데이터의 제1 세그먼트를 포함하는 것을 특징으로 하는 비디오 인코딩 방법.
10. 제7항 또는 제8항에 있어서, 상기 반복된 데이터는 아무런 화상 데이터도 이전 프레임이래 변경되지 않았던 지시자 및 화상 헤더로 이루어져 있는 것을 특징으로 하는 비디오 인코딩 방법.
11. 제7항 내지 제10항 중의 어느 한 항에 있어서, 상기 헤더 데이터를 반복하는 단계는 상기 반복된 데이터를 다음 프레임의 화상 헤더에 추가하는 단계를 포함하는 것을 특징으로 하는 비디오 인코딩 방법.
12. 제1항에 있어서, 상기 반복된 데이터는 다음 프레임의 상기 보충 증강 지시자(Supplemental Enhancement Indicator, SEI)에 포함되는 것을 특징으로 하는 비디오 인코딩 방법.
13. 코딩될 비디오 신호를 수신하기 위한 입력;

    상기 비디오 신호의 프레임을 나타내는 데이터를 인코딩하기 위한 수단; 및

    상기 데이터의 전부는 아닌 일부를 반복하도록 정해지는 데이터를 인코딩하기 위한 수단을 포함하며, 상기 반복된 부분은 상기 프레임에 대한 화상 헤더를 포함하는 것을 특징으로 하는 비디오 인코더.
14. 인코딩된 비디오 신호를 디코딩하기 위한 비디오 디코더에 있어서,

    비디오 신호의 프레임들을 나타내는 코딩된 데이터를 수신하기 위한 입력; 및

    헤더 데이터 및 화상 데이터를 검출하기 위하여 상기 코딩된 데이터를 검사하기 위한 디코딩 수단을 포함하며,

    상기 화상 헤더에서 에러가 검출될 때 상기 헤더 데이터의 반복을 검출하기 위하여 상기 화상 데이터를 임시 화상 데이터 저장부에 저장하고 상기 반복된 헤더 데이터를 사용하여 상기 저장된 화상 데이터를 디코딩하도록 정해지는 것을 특징으로 하는 비디오 디코더.
15. 제13항에 의한 인코더를 통합하는 무선 통신 장치.
16. 제14항에 의한 디코더를 통합하는 무선 통신 장치.
17. 제13항에 의한 인코더 및 제14항에 의한 디코더를 포함하는 비디오 코덱.