KR100368342B1 - 동화상 복호화 방법, 동화상 복호화 장치 및 프로그램기록 매체 - Google Patents

Abstract

본 발명은 동화상 복호화 방법, 동화상 복호화 장치 및 프로그램을 기록한 기록 매체에 관한 것으로서, 복호 화상 데이터의 수정 처리에 의한 큰 화질 열화를 초래하지 않고 이 수정 처리에 의해 에러에 기인하는 화질 열화를 배제해서 복호 화상의 화질을 향상시키기 위해, 입력 스트림을 매크로 블럭마다 복호화하여 복호 화상 데이터를 생성하는 복호화기(1), 입력 스트림의 전송 에러를 검출하는 전송 에러 검출기(3) 및 입력 스트림의 스트림 에러를 검출하는 스트림 에러 검출기(6)를 구비하고, 전송 에러가 검출되었을 때에 복호 화상 데이터를 매크로 블럭 단위로 수정하고, 스트림 에러가 검출되었을 때에 복호 화상 데이터를 비디오 패킷 단위로 수정하도록 하였다.

이것에 의해, 입력 스트림에 포함되는 에러에 대한 복호 화상 데이터의 수정 처리를 효과적으로 실행하여 복호 화상의 화질을 향상시킬 수 있다는 등의 효과가 얻어진다.

Description

동화상 복호화 방법, 동화상 복호화 장치 및 프로그램 기록 매체{MOVING PICTURE DECODING METHOD, MOVING PICTURE DECODING APPARATUS AND PROGRAM RECORDING MEDIUM}

본 발명은 동화상 복호화 방법, 동화상 복호화 장치 및 프로그램을 기록한 기록 매체에 관한 것으로서, 특히 에러를 포함하는 비트 스트림의 복호화에 의해 얻어지는 복호 화상 데이터를 복호 화상이 시각적으로 바람직한 화상으로 되도록 수정하는 처리에 관한 것이다.

최근, 음성, 화상, 그 밖의 표현 미디어를 통합적으로 취급하는 멀티미디어시대를 맞이하여 종래로부터의 정보 미디어 즉 신문, 잡지, 텔레비전, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티 미디어의 대상으로 취급되게 되었다. 일반적으로, 멀티 미디어라는 것은 문자 뿐만 아니라 도형, 음성, 특히 화상 등을 동시에 관련시켜 나타내는 것을 말하지만, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는 그 정보를 디지털 형식에 의해 나타내는 것이 필수 조건으로 된다.

그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로서 예상해 보면, 문자의 정보량(1문자당)은 1∼2 바이트인데 반해, 전화 품질의 음성에 대해서는 1초당 64Kbits(비트), 더 나아가서는 현행 텔레비전 수신 품질의 동화상(움직임화상)에 대해서는 1초당 100Mbits 이상의 정보량이 필요하게 되며, 상기 전화나 텔레비전 등의 정보 미디어에서는 디지털 형식의 팽대한(방대한) 정보를 그대로 취급(처리)하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는 64kbps∼1. 5Mbps의 전송 속도를 갖는 서비스 종합 디지털망(ISDN:Integrated Services Digital Network)에 의해서 이미 실용화되어 있지만, 텔레비전 카메라에 의해 얻어지는 영상 정보를 디지털 데이터로서 그대로 ISDN으로 보내는 것은 불가능하다.

그래서, 필요하게 되는 것이 정보의 압축 기술이며, 예를 들면 텔레비전 전화의 경우 ITU-T(국제 전기통신 연합 전기통신 표준화 부문)에 의해 국제 표준화된 H.261이나 H.263 규격의 동화상 압축 기술이 이용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 함께 화상 정보를 저장하는 것도 가능하게 된다.

여기서, MPEG(Moving Picture Experts Group)라는 것은 동화상 데이터의 압축 처리에 관한 국제 규격으로서, MPEG-1은 동화상 데이터를 1.5Mbps까지 즉 텔레비전 신호의 정보를 약 100분의 1로까지 압축하는 규격이다. 또, MPEG-1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbps로 제한되고 있기 때문에, 한층더 고화질화의 요구를 만족시키도록 규격화된 MPEG-2에서는 동화상 데이터가 2∼15Mbps로 압축된다.

또, 현 상태에서는 MPEG-1, MPEG-2와 동화상 데이터의 압축 처리의 표준화를 진행시켜 온 작업그룹(ISO/IEC JTC1/SC29/WG11)에 의해서 물체 단위로의 화상 데이터의 부호화 및 화상 데이터의 조작을 가능하게 하고, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG-4가 규격화되고 있다. MPEG-4에서는 당초 저비트율의 부호화 처리의 표준화를 지향해 왔지만, 현재로는 표준화의 대상이 인터레이스(비월) 화상에 대응한 고비트율의 더욱 범용적인 부호화 처리로 확장되고 있다.

그런데, MPEG-4의 특징의 하나로서 여러 개의 화상 계열(즉, 여러 개의 동화상)에 대응하는 화상 데이터를 동시에 부호화하여 전송하는 기구가 있다. 이 기구는 여러 개의 화상의 합성에 의해서 1개의 장면을 구성할 수 있게 하는 것이다. 또한, 여기서 화상은 화상 계열(동화상)의 각 화면의 화상(정지 화상)으로서, 1장면은 여러 개의 화상을 포함하는 합성 화상이다.

예를 들면, MPEG-4에서는 1개의 장면을 구성하는 전경과 배경을 별도의 화상계열의 화상(물체)으로서 분리하고, 각 화상 계열마다 독립해서 프레임 주파수, 화질, 비트율(bit rate) 등을 변경하는 것이 가능하다. 또, MPEG-4에서는 여러 개의 화상 계열의 화상을 멀티화면과 같이 수평 또는 수직 방향으로 배열해서 사용자가 원하는 화상 계열의 화상만을 추출하거나 확대 표시할 수가 있다.

배경에 대해서는 MPEG-2와 마찬가지로 휘도 및 색조를 나타내는 화소값 신호(텍스쳐 신호)만에 대한 부호화 처리가 일반적이지만, 전경에 대해서는 물체의휘도 및 색조를 나타내는 화소값 신호뿐만 아니라 물체의 형상을 나타내는 형상 신호도 동시에 부호화하는 처리가 실행된다. 일반적으로, 이 전경에 대한 부호화 처리는 물체 단위의 부호화 처리로서 알려져 있다.

또한, 이 MPEG-4에서는 표시되는 화상 전체(합성 화상)는 여러 개의 화상 계열의 화상(물체)에 의해 구성되므로, 각 화상 계열의 각 표시 시각에 있어서의 화면을 VOP(Video 0bject Plane)이라 불러 MPEG-1, 2에 있어서의 프레임과 구별하고 있다. 또한, 표시 화상의 전체가 1개의 화상 계열의 화상에 의해 구성되는 경우에는 VOP와 프레임은 일치하게 된다.

도 8은 MPEG-4에 있어서의 물체 단위의 부호화 처리를 설명하기 위한 모식도이다.

MPEG-4에 의해 규정되어 있는 화상 신호는 물체(VOP)의 형상 Sob(도 8a)를 나타내는 형상 신호와 물체(VOP)의 도안 Tob (도 8b)를 나타내는 휘도 신호와 색차 신호로 이루어지는 화소값 신호(텍스쳐 신호)로 구성되어 있다.

상기 물체 단위의 부호화 처리에서는 물체의 형태와 물체의 위치를 화상 표시를 위한 기준의 좌표계에 대해서 정할 필요가 있고, 이 때문에 물체 Ob를 포함하는 여러 개의 매크로 블럭에 의해 구성되는 직사각형 영역(바운딩박스) Box(도 8c)가 상기 기준 좌표계에 의해 설정된다. 또한, 매크로 블럭은 부호화 처리의 단위로 되는 화상 공간으로서, 16×16 화소로 구성되어 있다. 또, 상기 직사각형 영역 Box는 여러 개의 매크로 블럭에 의해 구성되기 때문에, 이 직사각형 영역의 수평 방향 및 수직 방향의 화소수는 16의 배수로 되고 있다.

그리고, 1개의 화상 계열의 개개의 직사각형 영역 Box에 대해서 화상 신호를 매크로 블럭마다 부호화하는 부호화 처리가 실시된다.

예를 들면, 도 8c에서는 상기 직사각형 영역 Box는 5 ×4개의 매크로 블럭으로 구성되어 있고, 매크로 블럭 MB1, MB2는 물체 Ob의 외측에 위치하는 물체외측 매크로 블럭, 매크로 블럭 MB3은 물체 Ob의 경계상에 위치하는 경계 매크로 블럭, 매크로 블럭 MB13은 물체 Ob의 내측에 위치하는 물체내측 매크로 블럭이다. MPEG-4에서는 물체외측의 화소는 복호화 후에는 표시되지 않기 때문에, 복호화 후에 표시되는 물체내측의 화소를 포함하는 매크로 블럭 즉 경계 매크로 블럭 및 물체내측 매크로 블럭에 대해서만 부호화 처리가 실행된다.

도 9는 MPEG-4 대응의 비트 스트림에 있어서의 각종 처리 단위에 대해서 설명하기 위한 모식도이다.

또, 물체(VOP)를 포함하는 직사각형 영역(바운딩박스) Box는 이 물체와 1대 1로 대응하기 때문에, 이하의 설명에서는 직사각형 영역(바운딩박스) Box와 물체(VOP)를 구별하지 않고 이들을 VOP로서 설명한다.

일반적으로, 가변 길이 부호에 의해 구성되는 부호열(비트 스트림)에서는 그의 복호시의 에러 전파를 저지하기 위해서, 특정 비트 패턴에 의해 구성되는 고정길이 부호가 배치되어 있다. MPEG-4에서는 이 고정길이 부호는 Resync Marker (이하, 단지 마커라고 간략하게 기재한다)로 불리고 있고, 1개의 동기 신호로 되어있다. 그리고, 이 마커와 이것에 계속되는 가변 길이 부호에 의해 구성되는 부호열은 비디오 패킷이라 불리는 1개의 부호화 단위로 되어 있다.

MPEG-4에서는 도 9a에 도시하는 바와 같이, 1개의 VOP(10)에 대응하는 부호열(VOP 비트 스트림) Svop는 여러 개의 비디오 패킷으로 구성할 수 있고, 여기서는 VOP 비트 스트림 Svop는 4개의 비디오 패킷 Svp1∼Svp4로 구성되어 있다. 여기서, 각 비디오 패킷 Svp1∼Svp4에는 VOP(10)에 있어서의 각 영역 Rvp1∼Rvp4에 대응하는 부호화 데이터가 저장되어 있다. 또, 상기 각 비디오 패킷 Svp1∼Svp4에는 여러 개의 매크로 블럭에 대응하는 부호화 데이터를 저장할 수 있다.

또한, 여기서는 상기 비디오 패킷 Svp1에 대응하는 영역 Rvp1은 도 9b에 도시하는 바와 같이 5개의 매크로 블럭 MB1∼MB5로 구성되어 있고, 다른 비디오 패킷 Svp2∼Svp4에 대응하는 영역 Rvp2∼Rvp4도 상기 비디오 패킷 Svp1에 대응하는 영역 Rvp1과 마찬가지로 5개의 매크로 블럭으로 구성되어 있다. 또, 상기 각 매크로 블럭은 상술한 바와 같이 16화소×16화소로 이루어지는 화상 공간으로서, 4개의 블럭으로 구성되어 있다. 각 블럭은 8화소×8화소로 이루어지는 화상 공간이다. 예를 들면, 매크로 블럭 MB1은 도 9c에 도시하는 바와 같이 블럭 B1∼B4로 이루어지고, 또 블럭 B1은 도 9d에 도시하는 바와 같이 8화소×8화소로 이루어진다.

또, 1개의 매크로 블럭에 대응하는 부호화 데이터(이하, 매크로 블럭 정보라고도 한다)에는 1개의 매크로 블럭을 구성하는 4개의 블럭에 대응하는 휘도 정보(Y) 및 1개의 매크로 블럭에 대응하는 색차 정보(U), (V)가 포함되어 있다. 또, 물체가 형상을 갖는 경우에는 1개의 매크로 블럭에 대응하는 부호화 데이터에는 상기 휘도 정보(Y) 및 색차 정보(U), (V)와 함께 1개의 매크로 블럭에 대응하는 형상 정보가 포함되게 된다.

여기서, 1개의 매크로 블럭의 휘도 정보(Y)는 1개의 매크로 블럭을 구성하는 4개의 블럭의 화소값 신호를 부호화해서 이루어지는 것, 1개의 매크로 블럭의 색차 정보(U) 및 색차 정보(V)는 각각 1매크로 블럭을 구성하는 8×8화소의 색차 신호(U), (V)를 부호화해서 이루어지는 것, 1개의 매크로 블럭의 형상 정보는 1매크로 블럭을 구성하는 16×16화소의 형상 신호를 부호화해서 이루어지는 것이다.

또한, 상기 VOP(10)에 있어서의 비디오 패킷 대응 영역을 구성하는 매크로 블럭의 수는 도 9a에 도시하는 바와 같이 일정할 필요는 없고, 예를 들면 도 9(e)에 도시하는 바와 같이 VOP 비트 스트림 Svopa에 있어서의 각 비디오 패킷 Svp1a∼Svp5a의 부호량이 일정하게 되도록, VOP(1Oa)에 있어서의 비디오 패킷 대응 영역 Rvp1a∼Rvp5a를 구성하는 매크로 블럭의 수를 결정해도 좋다. 이 경우는 각 비디오 패킷 대응 영역 Rvp1a∼Rvp5a에 포함되는 매크로 블럭의 수는 일정하게는 되지 않는다.

도 10은 MPEG-4에 있어서의 물체 단위의 부호화 처리를 설명하기 위한 모식도로서, 도 8에 도시하는 형상을 갖는 물체(VOP)에 대응하는 화상 신호의 부호화 처리를 도시하고 있다.

여기서, 물체 Ob로서의 VOP(10)(엄밀하게는, 물체를 포함하는 BBOX)은 각각 5개의 매크로 블럭으로 이루어지는 4개의 비디오 패킷 영역 Rvp1∼Rvp4로 구성되어 있다. 예를 들면, 상기 비디오 패킷 영역 Rvp1은 매크로 블럭 MB1∼MB5에 의해 구성되어 있다.

상기 매크로 블럭 MB1 및 MB2는 물체외측에 위치해 있기 때문에, 이들 매크로 블럭 MB1, MB2에 대해서는 형상 신호의 부호화 처리로서 이 매크로 블럭이 물체외측에 위치해 있는 것을 나타내는 형상 신호를 부호화하는 처리가 실행되고, 화소값 신호의 부호화 처리는 생략된다. 또, 매크로 블럭 MB3에 대해서는 이 매크로 블럭은 물체내측의 화소를 포함하는 매크로 블럭이므로, 형상 신호에 대한 부호화 처리와 화소값 신호의 부호화 처리가 실행된다.

일반적으로, 형상을 갖는 전경으로서의 물체에는 배경으로서의 물체와는 달리 시시각각으로 그의 형태나 크기가 변화하는 것이 많다. 또, MPEG-4에서는 형상 신호나 화소값 신호의 부호화 알고리듬이 부호화 처리의 대상으로 되는 화상의 형상에 크게 의존한다. 예를 들면, 물체가 형상을 갖는 경우, 형상 신호에 의해 물체외측에 위치하는 것이 표시되는 부분(매크로 블럭)에 대해서는 화소값 신호의 부호화 처리가 생략되기 때문에, 1개의 화상 계열의 1화면(VOP)에 대응하는 화소값 신호의 부호화 처리가 실시된 매크로 블럭의 수가 변화하는 경우가 있다. 이 때문에, MPEG-4 대응의 복호화 처리는 MPEG-2와 같이 형태나 크기가 변화하지 않는 화상의 부호화 처리에 대한 복호화 처리에 비해 비트 스트림의 전송 에러에 약하고, 또 이 복호화 처리에서는 화면간의 상관을 이용한 화상 수복이나 화상 처리 등의 화상 수정도 곤란하다. 이 결과, MPEG-4 대응의 복호 시스템에서는 전송 에러가 발생하면, 복호 화상에 있어서의 화질이 크게 열화하게 된다.

도 11의 (a) 내지 도 11의 (c)는 MPEG-4 대응의 비트 스트림의 구성을 상세하게 설명하기 위한 모식도이다.

VOP 비트 스트림 Svop는 도 10에 도시한 물체 Ob로서의 VOP(10)에 대응하는부호화 데이터를 포함하는 것으로서, 이 VOP 비트 스트림 Svop의 선두에는 VOP 전체에 관련된 중요한 데이터인 VOP 헤더 Svoph가 배치되고, 이 VOP 헤더 Svoph에 계속해서 비디오 패킷 Svp1∼Svp4가 배치되어 있다(도 11의 (a) 참조).

또, 상기 비디오 패킷 Svp1에서는 그의 선두에 비디오 패킷 전체에 관련된 중요한 데이터인 비디오 패킷 헤더 Svph가 배치되고, 이 비디오 패킷 헤더 Svph에 계속해서 매크로 블럭 MB1∼MB5에 대응하는 부호화 데이터(매크로 블럭 정보) Smb1∼Smb5가 배치되어 있다(도 11의 (b) 참조).

또, 상기 매크로 블럭 정보 Smb1의 선두에는 매크로 블럭 전체에 관련된 중요한 데이터인 매크로 블럭 헤더 Smbh가 배치되어 있고, 이 매크로 블럭 헤더 Smbh에 계속해서 대응하는 매크로 블럭의 형상 정보 Ssb, 대응하는 매크로 블럭을 구성하는 4개의 블럭의 휘도 정보 Spb1∼Spb4 및 대응하는 매크로 블럭의 색차 정보(U) Spbu, 색차 정보(V) Spbv가 배치되어 있다(도 11의 (c) 참조).

이와 같이, VOP 비트 스트림 Svop에서는 부호화 단위로서의 매크로 블럭에 상당하는 매크로 블럭 정보가 제 1 처리 단위로 되고, 또 여러 개의 매크로 블럭 정보로 이루어지는 비디오 패킷이 제 2 처리 단위로 되고 있으며, VOP 비트 스트림은 이것에 포함되는 부호화 데이터가 제 1 및 제 2 처리 단위에 의해 구분된 2계층의 데이터 구조를 갖고 있다.

여기서, 상기 VOP 헤더 Svoph 및 비디오 패킷 헤더 Svph에는 비트 스트림의 복호화 처리의 동기를 취하기 위한 동기 신호가 포함되어 있다. 이 때문에, 비트 스트림의 에러 비트에 의해 비트 스트림의 복호화 처리가 중단된 경우에는 VOP 헤더 Svoph 또는 비디오 패킷 헤더 Svph에서 복호화 처리를 재개할 수 있다. 한편, 매크로 블럭 헤더 Smbh에는 복호화 처리에 있어서의 동기를 취하기 위한 동기 신호는 포함되어 있지 않다. 또한, 비디오 패킷 헤더 Svph에 있어서의 동기 신호는 상기 고정길이 부호(Resync Marker)이다.

그런데, 일반적으로 동화상 복호화 처리에 있어서의 비트 스트림의 에러에는 스트림 에러와 전송 에러의 2종류가 있다.

이 스트림 에러는 스트림에 문법상 정확하지 않은 부호가 포함되는 에러(구문(syntax) 에러), 사용 가능한 값의 범위를 초과한 부정한 값의 부호가 포함되는 에러(의미론적(semantic) 에러)등이다. 또, 전송 에러는 기록 매체에서 비트 스트림을 리드할 때 또는 통신 매체를 거쳐서 비트 스트림을 전송할 때에 데이터 결락(缺落) 등에 의해 비트 스트림이 파손되는 에러(오류)이다.

통상, 각 VOP에 대응하는 부호화된 화상 데이터는 헤더 정보를 갖는 전송 패킷에 저장해서 전송 패킷 단위로 VOP 비트 스트림으로서 전송되기 때문에, 패킷의 결락 등의 전송 에러가 발생한 경우에는 수신측에서는 비트 스트림에 있어서의 전송 패킷의 결락 위치를 검출할 수 있다. 이 때문에, 전송 에러에 대해서는 비트 스트림에 있어서의 복호화 처리가 파탄한 위치(에러 발생위치)도 대부분 특정할 수 있다.

또한, 복호화 처리에 있어서의 에러 발생 위치를 특정하기 위한 구체적인 방법으로서는 비트 스트림에 있어서의 패킷의 결락을 검출해서 비트 스트림의 패킷의 결락 위치에 패킷 결락을 나타내는 마크(마커 부호)를 부가하는 방법이 고려된다.

이러한 전송 에러에 대해서 스트림 에러는 예를 들면 가변 길이 부호화시에 발생하는 구문 에러 등에 기인하는 것이기 때문에, 가변 길이 복호화 처리 등의 복호화 과정이 파탄한 시점에서 비로소 복호 에러로서 검출할 수 있는 것이다. 바꿔 말하면, 스트림 에러는 본질적으로 비트 스트림(부호화 데이터)의 복호화 과정이 파탄하지 않는 한 이것을 검출할 수 없는 것이다.

단, 1개의 비디오 패킷의 선두에는 동기 신호가 배치되어 있고 또 이 비디오 패킷 직후에는 후속하는 비디오 패킷의 동기 신호가 배치되어 있기 때문에, 이들 2개의 동기 신호 사이에 위치하는 비트 스트림의 구조 및 내용을 엄밀히 복호화 과정에서 검사하면, 비트 스트림의 복호화 과정의 파탄에 의존하지 않고 스트림 에러를 포함하는 비디오 패킷만을 검출할 수 있다. 이와 같이, 비트 스트림의 구조 및 내용을 엄밀히 복호화 과정에서 검사하는 경우, 비트 스트림의 복호화 과정의 파탄을 검출하는 경우에 비해 스트림 에러를 검출할 수 있는 가능성은 매우 높아진다.

이하, 종래의 동화상 복호화 장치에 대해서 구체적으로 설명한다.

도 12는 종래의 일반적인 동화상 복호화 장치를 설명하기 위한 블럭도이다.

이 동화상 복호화 장치(100)는 기록 매체에서 리드된 비트 스트림 또는 전송 매체를 거쳐서 송신되어 온 비트 스트림을 입력 스트림 Vin으로서 수신하고, 이 입력 스트림 Vin에 대한 복호화 처리를 실행하는 것이다. 여기서, 상기 비트 스트림은 동화상의 화상 신호에 대해 이 동화상을 구성하는 여러 개의 화상 계열마다 따로따로(별도로) 부호화 처리를 실시해서 얻어지는 화상 부호화 데이터를 포함하는 것이다. 또, 상기 1개의 화상 계열의 화상 신호에 대한 부호화 처리는 이 화상 계열의 1화면(VOP)마다 실행되고, 또한 각 VOP에 대응하는 화상 신호는 이 VOP를 구성하는 매크로 블럭을 단위로 해서 부호화된다. 또, 형상을 갖지 않는 물체의 화상 신호는 휘도 신호 및 색차 신호만을 포함하고, 형상을 갖는 물체의 화상 신호는 상기 휘도 정보 및 색차 정보와 함께 형상 신호를 포함하고 있는 것은 물론이다.

또, 상기 동화상에 대응하는 비트 스트림에는 통상 각 물체에 대응하는 화상 부호화 데이터가 다중화되어 포함되어 있지만, 이하의 설명에서는 이 비트 스트림은 화상 정보로서 1개의 물체에 대응하는 화상 부호화 데이터만 포함하는 것으로 한다.

이하 상세하게 기술하면, 상기 동화상 복호화 장치(100)는 처리 대상으로 되는 피처리 VOP에 대응하는 입력 스트림 Vin의 복호화 처리를 복호화 처리가 완료된 처리완료 VOP에 있어서의 참조 영역의 복호 화상 데이터(참조 화상 데이터) Vref를 참조하여 매크로 블럭마다 실행하고 복호 화상 데이터 Vd를 출력하는 복호화기(101) 및 상기 참조 화상 데이터 Vref를 피처리 VOP에 있어서의 처리 대상으로 되는 매크로 블럭(대상 매크로 블럭)에 대한 복호화 처리와 동기시켜 출력함과 동시에 처리완료 VOP에 대한 상대위치가 피처리 VOP에 대한 대상 매크로 블럭의 상대위치와 동일한 처리완료 VOP의 매크로 블럭에 대응하는 복호 화상 데이터(치환 화상 데이터) Vrep를 상기 대상 매크로 블럭에 대한 복호화 처리와 동기시켜 출력하는 메모리(102)를 갖고 있다.

또, 상기 동화상 복호화 장치(100)는 상기 입력 스트림 Vin에 따라서 이 입력 스트림 Vin의 에러 및 그 위치를 검출해서 에러 통지 신호 Terr을 출력하는 에러 검출기(120), 상기 대상 매크로 블럭에 대응하는 복호 화상 데이터 Vd와 치환 화상 데이터 Vrep 중의 한쪽을 제어 신호 Cmb에 따라서 선택하고 선택된 화상 데이터(MB 선택 화상 데이터) Emb를 대상 매크로 블럭의 재생 화상 데이터 Vout로서 출력하는 선택 스위치(105) 및 상기 에러 통지 신호 Terr에 따라서 상기 선택 스위치(105)에 대한 제어 신호 Cmb를 발생하는 매크로 블럭 단위 수정기(104)를 갖고 있다.

여기서, 상기 에러 검출기(120)는 상기 입력 스트림 Vin의 에러의 검출을 입력 스트림 Vin의 아날로그 신호로서의 레벨이나 입력 스트림에 포함되는 에러 정정 부호에 의해 실행하는 구성으로 되어 있다. 따라서, 이 에러 검출기(120)에서는 전송 에러의 검출이 실행되도록 되어 있다.

또, 상기 매크로 블럭 단위 수정기(104)는 상기 에러 통지 신호 Terr에 따라서 상기 입력 스트림 Vin의 에러 부분을 포함하는 매크로 블럭 정보에서 그 후의 동기 신호까지의 사이의 매크로 블럭 정보를 복호화하여 얻어지는 복호 화상 데이터 Vd 대신에, 이 복호 화상 데이터에 대응하는 처리완료 VOP의 복호 화상 데이터(치환 화상 데이터) Vrep가 재생 화상 데이터 Vout로서 출력되도록, 상기 선택 스위치(105)를 제어하는 구성으로 되어 있다.

다음에, 동작에 대해서 설명한다.

기록 매체에서 리드된 비트 스트림 또는 전송 매체를 거쳐서 송신되어 온 비트 스트림이 입력 스트림 Vin으로서 이 동화상 복호화 장치(100)에 입력되면, 이 동화상 복호화 장치(100)에서는 상기 입력 스트림에 대한 복호화 처리가 매크로 블럭을 단위로 해서 각 VOP마다 실행된다. 또한, 이 동화상 복호화 장치(100)에서는 복호화 처리시에 상기 복호화기(101), 메모리(102) 및 매크로 블럭 단위 수정기(104)는 이들 사이에서 각 매크로 블럭에 대한 처리가 동기해서 실행되도록, 이 장치(100)의 제어부(도시하지 않음)에 의해 제어된다.

즉, 상기 복호화기(101)에서는 피처리 VOP에 있어서의 대상 매크로 블럭의 부호화 데이터에 대해서 이 대상 매크로 블럭에 대응하는 참조 화상 데이터 Vref를 참조하는 복호화 처리가 실시되고, 대상 매크로 블럭의 복호 화상 데이터 Vd가 출력된다. 또한, 입력 스트림 Vin에 에러가 포함되어 있는 경우에는 상기 복호화기(101)에서는 부호화 데이터의 복호화가 가능한 매크로 블럭에 대응하는 복호 화상 데이터 Vd만이 출력된다.

또, 이 때 메모리(102)에서는 대상 매크로 블럭에 대응하는 참조 화상 데이터 Vref와 함께 대상 매크로 블럭에 대응하는 치환 화상 데이터 Vrep가 출력된다.

또, 에러 검출기(120)에서는 입력 스트림 Vin에 따라서 전송 에러를 검출하는 에러 검출 처리가 실행된다. 그리고, 입력 스트림의 에러가 검출되었을 때에 이 에러 검출기(120)에서는 상기 입력 스트림의 에러 부분의 위치로서 이 에러 부분을 포함하는 매크로 블럭 정보를 나타내는 에러 통지 신호 Terr이 매크로 블럭 단위 수정기(104)로 출력된다.

그러면, 매크로 블럭 단위 수정기(104)에서는 에러 통지 신호 Terr에 따라서 상기 대상 매크로 블럭의 복호 화상 데이터 Vd와 이 대상 매크로 블럭에 대응하는 치환 화상 데이터 Vrep 중의 한쪽을 선택하는 선택 스위치(105)로 그의 제어 신호Cmb가 출력된다. 즉, 이 선택 스위치(105)는 상기 에러 통지 신호 Terr에 의해 표시되는 매크로 블럭 정보에서 그 후의 동기 신호까지의 사이의 각 매크로 블럭 정보에 대응하는 매크로 블럭에 대해서는 복호화기(101)로부터의 복호 화상 데이터 Vd 대신에 메모리(102)로부터의 치환 화상 데이터 Vrep가 선택되고, 그 밖의 매크로 블럭에 대해서는 복호화기(101)에서 출력되는 복호 화상 데이터 Vd가 선택되도록 제어된다.

그리고, 상기 선택 스위치(105)에 의해 선택된 선택 화상 데이터 Emb가 피처리 VOP의 대상 매크로 블럭에 대응하는 재생 화상 데이터 Vout로서 출력된다. 또, 상기 선택 화상 데이터 Emb는 이 피처리 VOP의 다음의 VOP에 대한 참조 화상 데이터로서 상기 메모리(102)에 기록된다.

이 때, 에러 매크로 블럭 (매크로 블럭 정보가 비트 스트림의 에러 부분을 포함하는 매크로 블럭)의 복호 화상 데이터 뿐만 아니라 비디오 패킷내의 이 에러 매크로 블럭 이후의 모든 매크로 블럭의 복호 화상 데이터 Vd를 처리완료 VOP에 있어서의 대응하는 매크로 블럭의 복호 화상 데이터(치환 화상 데이터) Vrep와 치환하도록 하고 있는 것은 입력 스트림이 화상 데이터의 가변 길이 부호화 처리에 의해 얻어진 것이기 때문이다. 즉, 입력 스트림의 가변 길이 복호화 처리에서는 입력 스트림에 에러가 포함되는 경우, 에러의 영향이 입력 스트림에 있어서의 에러 발생 위치에서 동기 신호까지의 사이의 모든 매크로 블럭 정보에 대한 복호화 처리에 미치기 때문이다.

도 13은 종래의 그 밖의 동화상 복호화 장치를 설명하기 위한 블럭도이다.

이 동화상 복호화 장치(110)는 에러를 포함하는 입력 스트림의 복호화 처리에 의해 얻어지는 복호 화상 데이터를 상기 동화상 복호화 장치(100)와 같이 매크로 블럭 단위로 수정하는 것이 아니라, 비디오 패킷 단위로 수정하도록 한 것이다.

즉, 이 동화상 복호화 장치(110)는 도 12에 도시한 동화상 복호화 장치(100)와 마찬가지로, 피처리 VOP에 대응하는 입력 스트림 Vin의 복호화 처리를 참조 화상 데이터 Vref를 참조해서 실행하고, 각 매크로 블럭에 대응하는 복호 화상 데이터 Vd를 출력하는 복호화기(101)와 대상 매크로 블럭에 대한 참조 화상 데이터 Vref 및 치환 화상 데이터 Vrep를 대상 매크로 블럭의 복호화 처리와 동기시켜 출력하는 메모리(102)를 갖고 있다.

그리고, 이 동화상 복호화 장치(110)는 상기 동화상 복호화 장치(100)에 있어서의 선택 스위치(105) 대신에 복호 화상 데이터 Vd를 처리 대상으로 되고 있는 비디오 패킷의 복호화 처리에 요하는 시간만큼 지연시키는 제 1 지연 회로(103), 메모리(102)에서 각 매크로 블럭의 복호화 처리와 동기해서 출력되는 치환 화상 데이터 Vrep를 처리 대상으로 되고 있는 비디오 패킷의 복호화 처리에 요하는 시간만큼 지연시키는 제 2 지연 회로(104) 및 상기 제 1 지연 회로(103)의 출력(지연 복호 데이터) DVd와 제 2 지연 회로(104)의 출력(지연 치환 데이터) DVrep 중의 한쪽을 제어 신호 Cvp에 따라서 선택하는 선택 스위치(108)를 갖고 있다.

또, 이 동화상 복호화 장치(110)는 상기 동화상 복호화 장치(100)에 있어서의 에러 검출기(120) 대신에 복호화기(101)의 내부 신호 Si에 따라서 이 복호화기에서의 정상적인 복호화 처리가 파탄한 것을 검출하고 에러 검출을 나타내는 에러통지 신호 Nerr을 출력하는 에러 검출기(121)를 갖고 있다. 또한, 이 에러 검출기(121)는 정상적인 복호화 처리의 파탄을 검출하는 처리 대신에 비디오 패킷내의 비트 스트림의 구조 및 내용을 엄밀히 검사하는 처리에 의해서 비트 스트림의 이상을 검출하고, 에러 검출을 나타내는 에러 통지 신호 Nerr을 출력하는 구성으로 해도 좋다.

또, 이 동화상 복호화 장치(110)는 상기 동화상 복호화 장치(100)에 있어서의 매크로 블럭 단위 수정기(104) 대신에 상기 선택 스위치(108)를 이것이 제 1 지연 회로(103)로부터의 지연 복호 데이터 DVd와 제 2 지연 회로(104)로부터의 지연치환 데이터 DVrep 중의 한쪽을 각 매크로 블럭마다 선택하도록, 에러 통지 신호 Nerr에 따라서 제어하는 비디오 패킷 단위수정기(107)를 구비하고 있다.

이 비디오 패킷 단위 수정기(107)는 구체적으로는 상기 에러 통지 신호 Nerr에 따라서 상기 복호화기(101)에서의 복호화 처리가 파탄한 비디오 패킷 (에러 비디오 패킷)에 대응하는 지연 복호 데이터 DVd 대신에 이 에러 비디오 패킷에 대응하는 처리완료 VOP의 비디오 패킷의 지연 치환 데이터 DVrep가 재생 화상 데이터 Vout로서 출력되도록, 상기 선택 스위치(108)를 제어하는 구성으로 되어 있다.

또한, 도 13에 도시하는 동화상 복호화 장치(110)에 있어서의 복호화기(101) 및 메모리(102)는 도 12에 도시하는 동화상 복호화 장치(100)에 있어서의 복호화기(101) 및 메모리(102)와 동일한 구성으로 되어 있다.

다음에, 동작에 대하여 설명한다.

이 동화상 복호화 장치(110)에서는 복호화기(101)에 있어서의 입력 스트림Vin의 복호화 처리와 메모리(102)로부터의 참조 화상 데이터 Vref 및 치환 화상 데이터 Vrep의 출력은 상기 동화상 복호화 장치(100)와 마찬가지로 실행된다.

그리고, 이 동화상 복호화 장치(110)에서는 복호화기(101)로부터의 복호 화상 데이터 Vd가 제 1 지연 회로(103)에 의해 복호화 처리의 대상으로 되는 대상 비디오 패킷에 대한 복호화 처리에 요하는 시간만큼 지연되고, 또 메모리(102)로부터의 치환 화상 데이터 Vrep가 제 2 지연 회로(104)에 의해 상기 대상 비디오 패킷에 대한 복호화 처리에 요하는 시간만큼 지연된다.

또, 에러 검출기(121)에서는 복호화기(101)에 있어서의 내부 신호 Si에 따라서 입력 스트림에 대한 복호화 처리의 파탄을 검출하는 처리가 실행되고, 복호화 처리의 파탄이 검출되었을 때에 이 에러의 검출을 나타내는 에러 통지 신호 Nerr이 비디오 패킷 단위 수정기(107)로 출력된다. 이 비디오 패킷 단위 수정기(107)에서는 상기 에러 통지 신호 Nerr에 따라서 상기 선택 스위치(108)로 제어 신호 Cvp가 출력된다. 상기 선택 스위치(108)에서는 이 제어 신호 Cvp에 따라서 상기 제 1 지연 회로(103)로부터의 지연 복호 데이터 DVd와 제 2 지연 회로(104)로부터의 지연 치환 데이터 DVrep 중의 한쪽이 선택되고, 선택된 데이터(VP 단위 선택 데이터) Evp가 재생 화상 데이터 Vout로서 출력된다.

구체적으로는, 상기 선택 스위치(108)는 에러가 검출된 비디오 패킷(에러 비디오 패킷)에 대응하는 지연 복호 데이터 DVd 대신에 이 에러 비디오 패킷에 대응하는 처리완료 VOP의 비디오 패킷의 지연 치환 데이터 DVrep가 재생 화상 데이터 Vout로서 출력되도록, 상기 비디오 패킷 단위 수정기(107)에 의해 제어된다.

그리고, 상기 피처리 VOP의 재생 화상 데이터 Vout는 이 피처리 VOP의 다음의 VOP에 대한 참조 화상 데이터로서 상기 메모리(102)에 기록된다.

이러한 구성의 동화상 복호화 장치(110)에서는 복호화 처리의 파탄을 검출하고 복호화 처리가 파탄한 비디오 패킷의 복호 화상 데이터 Vd를 처리완료 VOP에 있어서의 대응하는 비디오 패킷의 복호 화상 데이터로 대체하므로, 상기 복호화 처리가 통상 입력 스트림에 에러가 포함되어 있으면 파탄하는 것이기 때문에, 전송 에러 또는 스트림 에러를 포함하는 비트 스트림이 입력되었을 때에는 복호 화상 데이터의 수정이 실행되게 된다.

그런데, 상술한 종래의 동화상 복호화 장치 즉 복호 화상 데이터를 매크로 블럭 단위로 수정하는 종래의 동화상 복호화 장치(100)(도 12 참조) 및 복호 화상 데이터를 비디오 패킷 단위로 수정하는 종래의 화상 복호화 장치(110)(도 13 참조)에서는 각각 이하와 같은 문제가 있었다.

즉, 도 12에 도시한 동화상 복호화 장치(100)에서는 에러를 입력 스트림의 아날로그 신호 레벨이나 에러 정정 부호에 의해 검출하고 복호 화상 데이터를 매크로 블럭 단위로 수정하므로, 복호 화상 데이터의 수정을 아주 세밀하게 실행할 수 있지만 입력 스트림의 아날로그 신호 레벨이나 에러 정정 부호에 의해서 스트림 에러의 검출을 실행하는 것은 불가능하고, 이 때문에 스트림 에러에 기인하는 복호 화상의 화질 열화를 개선할 수가 없었다.

또, 도 13에 도시하는 동화상 복호화 장치(110)에서는 에러를 복호화 처리에 있어서의 파탄의 발생에 의해 검출하고 복호 화상 데이터를 비디오 패킷 단위로 수정하므로, 에러 매크로 블럭 이전의 에러 부분을 포함하지 않는 정상적인 매크로 블럭 정보에 대응하는 복호 화상 데이터도 처리완료 VOP의 복호 화상 데이터로 치환되어 버리게 된다. 이 때문에, 복호 화상 데이터의 수정에 기인하는 복호 화상의 화질 열화가 현저하게 되어 전송 에러나 스트림 에러에 대한 복호 화상의 수정을 효과적으로 실행할 수 없다는 문제점이 있었다.

따라서, 종래는 용도에 따라서 도 12에 도시하는 매크로 블럭 단위로 복호 화상의 수정을 실행하는 동화상 복호화 장치와 도 13에 도시하는 비디오 패킷 단위로 복호 화상의 수정을 실행하는 동화상 복호화 장치를 구별해서 사용하도록 하고있었다.

또, 상술한 종래의 동화상 복호화 장치는 모두 복호 화상의 수정 처리를 입력 스트림이 형상 정보를 갖는 경우와 입력 스트림이 형상 정보를 갖지 않는 경우에서 구별하지 않고 실행하는 구성으로 되어 있기 때문에, 입력 스트림이 형상 정보를 갖는 경우에는 화상 수정을 실행해도 양호한 화질이 얻어지지 않는다는 문제점이 있었다.

즉, 물체 단위의 부호화 처리의 대상으로 되는 물체는 그 형상이 시시각각 대폭으로 변화하는 경우가 많은 것이기 때문에, 피처리 VOP의 일부의 화상을 처리완료 VOP 내의 화상을 이용하여 수정하면 피처리 VOP에 있어서의 수정된 부분과 수정되어 있지 않은 부분 사이에서 상기 피처리 VOP 내에서의 형상의 연속성이 손상되는 경우가 많다. 이와 같이 형상의 연속성이 손상되면, 수정 부분이 눈에 띄게 되어 대폭적인 화질 열화를 초래하게 된다.

본 발명의 목적은 상기한 바와 같은 문제점을 해소하기 위해서 이루어진 것으로서, 입력 스트림의 복호화 처리에 의해 얻어지는 복호 화상에 있어서의 전송 에러나 스트림 에러에 기인하는 화질 열화를 복호 화상의 수정 처리에 의해 효과적으로 개선할 수 있는 동화상 복호화 방법 및 동화상 복호화 장치와 이 동화상 복호화 방법을 소프트웨어에 의해 실현하기 위한 동화상 복호화 프로그램을 기록한 기록 매체를 제공하는 것이다.

도 1은 본 발명의 실시예 1에 따른 동화상 복호화 장치를 설명하기 위한 도면으로서, 이 동화상 복호화 장치의 구성(도 1a) 및 이 동화상 복호화 장치에 입력되는 VOP 비트 스트림의 데이터 구조(도 1b)를 도시한 도면,

도 2는 상기 실시예 1의 동화상 복호화 장치에 의해 입력 스트림을 복호화하는 처리의 흐름을 도시한 도면,

도 3은 본 발명의 실시예 2에 따른 동화상 복호화 장치를 설명하기 위한 블럭도,

도 4는 상기 실시예 2의 동화상 복호화 장치에 따른 복호화 처리의 흐름을 도시한 도면,

도 5는 본 발명의 실시예 3에 따른 동화상 복호화 장치를 설명하기 위한 블럭도,

도 6은 상기 실시예 3의 동화상 복호화 장치에 따른 복호화 처리의 흐름을 도시한 도면,

도 7은 상기 각 실시예에 있어서의 동화상 복호 처리를 동화상 복호 프로그램을 저장한 플로피 디스크(도 7a, 도 7b)를 이용하여 컴퓨터 시스템(도 7c)에 의해 실시하는 경우를 설명하기 위한 도면,

도 8은 상기 MPEG-4 대응의 부호화 처리에 있어서의 각종 처리 단위에 대해서 설명하기 위한 모식도로서, 물체의 형상(도 8a), 물체의 도안(도 8b) 및 물체를 포함하는 직사각형 영역(도 8c)을 도시한 도면,

도 9는 MPEG-4 대응의 비트 스트림에 있어서의 각종 처리 단위를 설명하기 위한 모식도로서, 비디오 패킷(도 9a), VOP에 있어서의 비디오 패킷 대응 영역(도 9b), 매크로 블럭(도 9c), 블럭(도 9d) 및 비디오 패킷의 변형예(도 9e)를 도시한 도면,

도 10은 MPEG-4에 있어서의 물체 단위의 부호화 처리를 설명하기 위한 모식도,

도 11은 MPEG4에 있어서의 비트 스트림의 구성을 상세하게 설명하기 위한 모식도로서, VOP 스트림(도 11의 (a)), 비디오 패킷(도 11의 (b)) 및 매크로 블럭 정보(도 11의 (c))를 도시한 도면,

도 12는 종래의 일반적인 동화상 복호화 장치를 설명하기 위한 블럭도,

도 13은 종래의 그 밖의 동화상 복호화 장치를 설명하기 위한 블럭도.

도면의 주요 부분에 대한 부호의 설명

1 : 복호화기 1a, 2a : 제 1, 제 2 VP 지연 회로

1b, 2b : 제 1,제 2 VOP 지연 회로

2: 메모리 3 : 전송 에러 검출기

4 : 매크로 블럭 단위 수정기 5 : MB 선택 스위치

6 : 스트림 에러 검출기 7 : 비디오 패킷 단위 수정기

8 : VP 선택 스위치 9 : 논리합 회로

10 : 형상 유무 검출기 11 : 논리곱 회로

12 : VOP 단위 수정기 13 : VOP 선택 스위치

18 : 에러 검출기

100a, 100b, 10Oc : 동화상 복호화 장치

Aerr, TSerr : 에러 통지 신호 Cm : 마커 부호

Cmb : MB 단위 치환 제어 신호 Cs : 컴퓨터 시스템

Cvp : VP 단위 치환 제어 신호 Cvop : VOP 단위 치환 제어 신호

D : 플로피 디스크 본체 DEmb : VP 지연 선택 데이터

DVd : VP 지연 복호 데이터 DVref1 : VP 지연 치환 데이터

DEvp : VOP 지연 선택 데이터 DVref2 : VOP 지연 치환 데이터

Emb : MB 단위 선택 화상 데이터 Evp : VP 단위 선택 화상 데이터

Evop : VOP 단위 선택 화상 데이터

FC : 플로피 디스크 케이스 FD : 플로피 디스크

FDD : 플로피 디스크 드라이브 Se : 섹터

Serr : 스트림 에러 통지 신호

Smb(1), Smb(i-1), Smb(i), Svp(i+1), Svp(m) : 비디오 패킷

Svop : VOP 비트 스트림

Svp(1), Svp(k), Svp(k+1), Svp(m) : VOP 비트 스트림

Svph(1), Svph(k), Svph(k+1), Svph(m) : VOP 헤더

Terr : 전송 에러 통지 신호 Tr : 트랙

Vd : 복호 화상 데이터 Vin : 입력 스트림

Vref : 참조 화상 데이터 Vrep: 치환 화상 데이터

본 발명(제 1 특징)에 따른 동화상 복호화 방법은 동화상에 대응하는 화상 데이터를 제 1 처리 단위마다 순차 부호화해서 이루어지는 부호화 데이터와 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 비트 스트림에 대해서, 상기 부호화 데이터를 상기 제 1 처리 단위마다 복호화하여 복호 화상 데이터를 생성하는 복호화 처리를 실시하는 동화상 복호화 방법으로서, 상기 비트 스트림의 전송시에 발생한 제 1 에러와 이 제 1 에러 이외의 제 2 에러를 구별해서 검출하는 에러 검출 처리 및; 상기 제 1 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하고, 상기 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 수정 처리를 포함하는 것이다.

본 발명(제 2 특징)에 따른 동화상 복호화 방법은 동화상에 대응하는 화상 데이터를 이 동화상의 1화면을 구성하는 단위 영역마다 순차 부호화해서 이루어지는 부호화 데이터를 포함하는 비트 스트림에 대해서, 상기 부호화 데이터를 상기 단위 영역마다 복호화하여 복호 화상 데이터를 생성하는 복호화 처리를 실시하는 동화상 복호화 방법으로서, 상기 비트 스트림의 에러를 검출하는 에러 검출 처리; 상기 비트 스트림이 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정 처리 및; 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에 상기 복호 화상 데이터의 수정을 상기 단위 영역을 1이상 포함하는 상기 화면보다 작은 처리 영역을 수정 단위로 해서 실행하는 수정 처리를 포함하는 것이다.

본 발명(제 3 특징)은 제 2 특징에 기재된 동화상 복호화 방법에 있어서, 상기 비트 스트림을 상기 단위 영역에 대응하는 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 구성으로 하고, 상기 에러 검출 처리를 상기 스트림의 전송시에 발생한 제 1 에러와 이 제 1 에러 이외의 제 2 에러를 구별해서 검출하는 처리로 하고, 상기 수정 처리를 상기 형상 정보를 갖고 있지 않은 스트림의 제 1 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하고, 상기 형상정보를 갖고 있지 않은 스트림의 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 처리로 한 것이다.

본 발명(제 4 특징)에 따른 동화상 복호화 장치는 동화상에 대응하는 화상 데이터를 제 1 처리 단위마다 순차 부호화해서 이루어지는 부호화 데이터와 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 비트 스트림에 대해서 복호화 처리를 실시하는 동화상 복호화 장치로서, 상기 비트 스트림에 포함되는 부호화 데이터를 상기 제 1 처리 단위마다 복호화하여 복호 화상 데이터를 생성하는 복호화기; 상기 비트스트림의 전송시에 발생한 제 1 에러를 검출하는 제 1 에러 검출기; 상기 제 1 에러 이외의 제 2 에러를 검출하는 제 2 에러 검출기; 상기 제 1 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하는 제 1 수정부 및; 상기 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 제 2 수정부를 구비한 것이다.

본 발명(제 5 특징)에 따른 동화상 복호화 장치는 동화상에 대응하는 화상 데이터를 상기 동화상의 1화면을 구성하는 단위 영역마다 순차 부호화해서 이루어지는 부호화 데이터를 포함하는 비트 스트림에 대해서 복호화 처리를 실시하는 동화상 복호화 장치로서, 상기 비트 스트림에 포함되는 부호화 데이터를 상기 단위 영역마다 복호화하여 복호 화상 데이터를 생성하는 복호화기; 상기 비트 스트림의 에러를 검출하는 에러 검출부; 상기 비트 스트림이 상기 동화상의 형상을 나타내는형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정부 및; 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에 상기 복호 화상 데이터의 수정을 상기 단위 영역을 1개 이상 포함하는 상기 화면보다 작은 처리 영역을 수정 단위로 해서 실행하는 복호 화상 수정부를 구비한 것이다.

본 발명(제 6 특징)은 제 5 특징에 기재된 동화상 복호화 방법에 있어서, 상기 비트 스트림을 상기 단위 영역에 대응하는 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 구성으로 하고, 상기 에러 검출부를 상기 비트 스트림의 전송시에 발생한 제 1 에러를 검출하는 제 1 에러 검출기 및 상기 제 1 에러 이외의 제 2 에러를 검출하는 제 2 에러 검출기를 갖는 구성으로 하고, 상기 복호 화상 수정부를 상기 형상 정보를 갖고 있지 않은 스트림의 제 1 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하는 제 1 수정기, 상기 형상 정보를 갖고 있지 않은 스트림의 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 제 2 수정기 및 상기 형상 정보를 갖는 비트 스트림의 제 1 에러 또는 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하는 제 3 수정기를 갖는 구성으로 한 것이다.

본 발명(제 7 특징)에 따른 프로그램 기록 매체는 동화상에 대응하는 화상 데이터를 제 1 처리 단위마다 순차 부호화해서 이루어지는 부호화 데이터와 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 비트 스트림에 대한 데이터 처리를 컴퓨터에 의해 실행하기 위한 프로그램을 저장한 프로그램 기록 매체로서, 상기 데이터 처리를 상기 비트 스트림에 포함되는 부호화 데이터를 상기 제 1 처리 단위마다 복호화하여 복호 화상 데이터를 생성하는 복호화 처리; 상기 비트 스트림의 전송시에 발생한 제 1 에러와 이 제 1 에러 이외의 제 2 에러를 구별해서 검출하는 에러 검출 처리 및; 상기 제 1 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하고, 상기 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 수정 처리를 포함하는 처리로 한 것이다.

본 발명(제 8 특징)에 따른 프로그램 기록 매체는 동화상에 대응하는 화상 데이터를 상기 동화상의 1화면을 구성하는 단위 영역마다 순차 부호화해서 이루어지는 부호화 데이터를 포함하는 비트 스트림에 대한 데이터 처리를 컴퓨터에 의해 실행하기 위한 프로그램을 저장한 프로그램 기록 매체로서, 상기 데이터 처리를 상기 비트 스트림에 포함되는 부호화 데이터를 상기 단위 영역마다 복호화하여 복호 화상 데이터를 생성하는 복호화 처리; 상기 비트 스트림의 에러를 검출하는 에러 검출 처리; 상기 비트 스트림이 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정 처리 및; 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에 상기 복호 화상 데이터의 수정을 상기 단위 영역을 1개 이상 포함하는 상기 화면보다 작은 처리 영역을 수정 단위로 해서 실행하는 수정 처리를 포함하는 처리로 한 것이다.

본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.

이하, 본 발명의 실시예에 대해서 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 따른 동화상 복호화 장치를 설명하기 위한 도면으로서, 도 1a는 상기 동화상 복호화 장치의 구성을 도시한 것이고, 도 1b는 상기 동화상 복호화 장치에 입력되는 VOP 비트 스트림의 데이터 구조를 도시한 것이다.

이 실시예 1의 동화상 복호화 장치(100a)는 화상 부호화 정보로서 입력된 비트 스트림을 복호화하여 복호 화상 데이터를 생성하는 복호화 처리를 실행하고, 이 복호화 처리에서는 전송 에러를 검출했을 때에 상기 복호 화상 데이터를 매크로 블럭 단위로 수정하고, 전송 에러 이외의 스트림 에러를 검출했을 때에는 상기 복호화상 데이터를 비디오 패킷 단위로 수정하는 것이다.

여기서, 상기 비트 스트림을 구성하는 1개의 화상 계열의 각 VOP에 대응하는 VOP 비트 스트림은 동기 신호로서의 특정 비트 패턴의 고정길이 부호(마커 부호)와 이것에 계속되는 부호화 정보로 이루어지는 여러 개의 데이터 단위(비디오 패킷)로 구분되어 있고, 각 비디오 패킷의 부호화 정보에는 매크로 블럭에 대응하는 데이터단위인 매크로 블럭 정보가 여러 개 포함되어 있다. 이와 같이, VOP 비트 스트림은 비디오 패킷에 대응하는 데이터 처리 단위 (제 2 처리 단위) 및 매크로 블럭에 대응하는 데이터 처리 단위(제 1 처리 단위)에 의해 구분된 2계층의 데이터 구조를 갖고 있다.

이하, 상세하게 기술하면 이 실시예 1의 동화상 복호화 장치(100a)는 화상 부호화 정보로서 입력된 비트 스트림(이하, 입력 스트림이라고 한다) Vin을 구성하는 VOP 비트 스트림에 대해서 가변 길이 복호화 처리를 포함하는 복호화 처리를 실시하는 복호화기(1)와 복호화 처리가 완료된 처리완료 VOP에 대응하는 복호 화상 데이터 Vout를 일시적으로 저장하고 이 저장된 복호 화상 데이터의 일부를 상기 복호화 처리시에 참조되는 참조 화상 데이터 Vref 및 수정 처리에 이용되는 치환 화상 데이터 Vrep로서 출력하는 메모리(2)를 갖고 있다. 여기서, 상기 복호화기(1) 및 메모리(2)는 종래의 동화상 복호화 장치(100) 및 (110)에 있어서의 복호화기(101) 및 메모리(102)와 완전히 동일한 구성으로 되어 있다.

또, 이 동화상 복호화 장치(1OOa)는 상기 복호화기(1)로부터의 복호 화상 데이터 Vd와 상기 메모리(2)로부터의 치환 화상 데이터 Vrep 중의 한쪽을 MB 선택 제어 신호 Cmb에 따라서 선택하고 이 선택한 화상 데이터를 MB 선택 화상 데이터 Emb로서 출력하는 MB 선택 스위치(5), 상기 MB 선택 화상 데이터 Emb를 처리 대상으로 되고 있는 비디오 패킷의 복호화 처리에 요하는 시간만큼 지연시키는 제 1 VP 지연 회로(1a), 메모리(2)에서 각 매크로 블럭의 복호화 처리와 동기해서 출력되는 치환 화상 데이터 Vrep를 처리 대상으로 되고 있는 비디오 패킷의 복호화 처리에 요하는 시간만큼 지연시키는 제 2 VP 지연 회로(2a) 및 상기 제 1 지연 회로(1a)의 출력(MB 지연 선택 데이터) DEmb와 제 2 지연 회로(2a)의 출력(지연 치환 데이터) DVrep 중의 한쪽을 VP 선택 제어 신호 Cvp에 따라서 선택하고 선택한 화상 데이터를 VP 선택 화상 데이터 Evp로서 출력하는 VP 선택 스위치(8)를 갖고 있다.

여기서, 상기 MB 선택 스위치(5)는 상기 복호화기(1)로부터의 복호 화상 데이터 Vd가 공급되는 제 1 입력단자(5a), 상기 메모리(2)로부터의 치환 화상 데이터Vrep가 공급되는 제 2 입력 단자(5b) 및 상기 MB 선택 화상 데이터 Emb를 출력하기 위한 출력 단자(5c)를 갖고 있고, 상기 MB 선택 제어 신호 Cmb에 의해 상기 제 1 입력 단자(5a)가 출력 단자(5c)에 접속된 상태와 상기 제 2 입력 단자(5b)가 출력 단자(5c)에 접속된 상태가 전환되도록 되어 있다. 또, 상기 VP 선택 스위치(8)는 상기 제 1 VP 지연 회로(1a)로부터의 MB 지연 선택 데이터 DEmb가 공급되는 제 1 입력 단자(8a), 상기 제 2 VP 지연 회로(2a)로부터의 지연 치환 데이터 DVrep가 공급되는 제 2 입력 단자(8b) 및 상기 VP 선택 화상 데이터 Evp를 출력하기 위한 출력 단자(8c)를 갖고 있고, 상기 VP 선택 제어 신호 Cvp에 의해 상기 제 1 입력 단자(8a)가 출력 단자(8c)에 접속된 상태와 상기 제 2 입력 단자(8b)가출력 단자(8c)에 접속된 상태가 전환되도록 되어 있다.

또, 이 동화상 복호화 장치(100a)는 입력 스트림 Vin의 전송 에러를 검출해서 전송 에러 통지 신호 Terr을 출력하는 전송 에러 검출기(3)와 상기 전송 에러 검출기(3)로부터의 전송 에러 통지 신호 Terr 및 상기 복호화기(1)의 내부 신호 Si에 따라서 입력 스트림 Vin의 스트림 에러를 검출하고 스트림 에러 통지 신호 Serr을 출력하는 스트림 에러 검출기(6)를 갖고 있다.

여기서, 상기 전송 에러 검출기(3)는 종래의 동화상 복호화 장치(100)에 있어서의 에러 검출기(120)와 마찬가지로, 입력 스트림 Vin에 있어서의 패킷 결락을 나타내는 마커 부호에 따라서 전송 에러를 검출하는 구성으로 되어 있다. 또한, 상기 마커 부호는 이 동화상 복호화 장치(1OOa) 전단에 마련된 에러 체크부(도시하지 않음)에 의해 입력 스트림에 삽입된 것이다. 이 에러 체크부는 입력 스트림의 아날로그 신호 레벨이나 에러정정 부호에 따라서 입력 스트림에 있어서의 전송 에러에 기인하는 결함개소를 특정하고, 이 결함개소에 상기 마커 부호를 삽입하는 것이다.

또, 상기 스트림 에러 검출기(6)는 구체적으로는 상기 복호화기(1)의 내부 신호 Si에 따라서 입력 스트림 Vin에 대한 복호화 처리의 파탄을 검출하고, 또한 전송 에러 통지 신호 Terr에 의해 전송 에러가 발생하지 않고 있는 것을 검출했을 때에만 상기 스트림 에러 통지 신호 Serr을 스트림 에러를 검출한 것을 나타내는 신호로서 출력하는 구성으로 되어 있다. 또한, 스트림 에러 검출기(6)는 상기 복호화 처리의 파탄 대신에 비디오 패킷내의 비트 스트림의 구조 및 내용을 엄밀히검사하고, 비트 스트림의 이상이 검출되고 또한 전송 에러가 발생하지 않고 있는 것을 검출했을 때에만 스트림 에러 통지 신호 Serr을 출력하는 구성으로 해도 좋다.

또, 상기 동화상 복호화 장치(100a)는 상기 전송 에러 통지 신호 Terr에 따라서 상기 MB 선택 스위치(5)를 MB 선택 제어 신호 Cmb에 의해 제어하고 피처리 VOP의 복호 화상 데이터 Vd에 있어서의 전송 에러의 영향을 받고 있는 부분을 매크로 블럭 단위로 처리완료 VOP의 복호 화상 데이터(치환 화상 데이터) Vrep로 치환하는 매크로 블럭 단위 수정기(4) 및 상기 스트림 에러 통지 신호 Serr에 따라서 상기 VP 선택 스위치(8)를 VP 선택 제어 신호 Cvp에 의해 제어하고 피처리 VOP의 지연 화상 데이터 DVd에 있어서의 스트림 에러의 영향을 받고 있는 부분을 비디오 패킷 단위로 처리완료 VOP의 지연 치환 데이터 DVrep로 치환하는 비디오 패킷 단위 수정기(7)를 갖고 있다.

또한, 상기 매크로 블럭 단위 수정기(4)는 도 12에 도시하는 종래의 동화상 복호화 장치(100)에 있어서의 매크로 블럭 단위 수정기(104)와 동일한 구성으로 되어 있다.

다음에, 동작에 대해서 설명한다.

우선, 본 실시예 1의 동화상 복호화 장치에 의한 복호화 처리의 개략을 설명한다.

도 2는 상기 실시예 1의 동화상 복호화 장치에 의한 복호화 처리의 흐름을 도시한 도면이다.

이 실시예 1의 동화상 복호화 장치(1OOa)에 화상 신호의 부호화 정보로서 비트 스트림(입력 스트림) Vin이 입력되면, 피처리 VOP의 스트림에 대해서 처리완료 VOP의 복호 화상 데이터 Vref를 참조하는 복호화 처리가 매크로 블럭마다 실시되고, 각 매크로 블럭에 대응하는 복호 화상 데이터 Vd가 생성된다(스텝 S1a).

다음에, 입력 스트림 Vin의 전송 에러를 검출하는 처리가 실행된다(스텝 S2a) .

이 전송 에러 검출 처리에 의해 전송 에러가 검출된 경우, 복호 화상 데이터의 수정 처리가 매크로 블럭 단위로 실행된다(스텝 S3a). 즉, 전송 에러를 포함하는 매크로 블럭 정보에서 얻어지는 에러 매크로 블럭의 복호 화상 데이터는 처리완료 VOP에 있어서의 이 에러 매크로 블럭에 대응하는 매크로 블럭의 복호 화상 데이터 Vrep로 치환된다. 한편, 상기 에러 검출 처리의 결과, 전송 에러가 검출되지 않는 경우에는 입력 스트림 Vin의 스트림 에러를 검출하는 처리가 실행된다(스텝 S4a).

이 스트림 에러 검출 처리에 의해 스트림 에러가 검출된 경우에만 복호 화상 데이터의 수정 처리가 비디오 패킷 단위로 실행된다. 즉, 스트림 에러를 포함하는 에러 비디오 패킷에 대응하는 지연 복호 데이터 DVd가 이 에러 비디오 패킷에 대응하는 지연 치환 데이터 DVrep로 치환된다(스텝 S5a).

이하, 동작에 대해서 상세하게 설명한다.

기록 매체에서 리드된 비트 스트림 또는 전송 매체를 거쳐서 송신되어 온 비트 스트림이 입력 스트림 Vin으로서 이 동화상 복호화 장치(1OOa)에 입력되면, 이동화상 복호화 장치(1OOa)에서는 복호화기(1)에 의해 입력 스트림 Vin의 복호화 처리가 메모리(2)로부터의 처리완료 VOP의 복호 화상 데이터 Vref를 참조해서 실행된다. 이 때, 전송 에러 검출기(3)에서는 입력 스트림 Vin에 따라서 전송 에러의 검출이 실행되고, 입력 스트림에 있어서의 마커 부호가 검출되었을 때에 전송 에러 통지 신호 Terr이 매크로 블럭 단위 수정기(4) 및 스트림 에러 검출기(6)로 출력된다.

상기 매크로 블럭 단위 수정기(4)에서는 전송 에러 통지 신호 Terr에 따라서 상기 MB 선택 스위치(5)로 MB 선택 제어 신호 Cmb가 출력된다. 이것에 의해, 이 MB 선택 스위치(5)에서는 복호화기(1)로부터의 피처리 VOP의 복호 화상 데이터 Vd와 메모리(2)로부터의 처리완료 VOP의 복호 화상 데이터 Vrep 중의 한쪽이 매크로 블럭마다 선택되고, 이 선택된 화상 데이터가 MB 선택 화상 데이터 Emb로서 출력된다.

구체적으로는, 상기 전송 에러가 검출되었을 때에는 VOP 비트 스트림에 있어서의 선두의 매크로 블럭 정보에서 상기 마커 부호를 포함하는 에러 매크로 블럭 정보 직전의 매크로 블럭 정보까지의 매크로 블럭 정보에 대응하는 복호 화상 데이터 Vd는 상기 MB 선택 스위치(5)에 의해 선택되고, MB 선택 화상 데이터 Emb로서 출력된다. 그리고, 상기 에러 매크로 블럭 정보에서 다음의 동기 신호의 바로 앞(직전)까지의 매크로 블럭 정보에 대응하는 복호 화상 데이터 Vd는 상기 MB 선택 스위치(5)에 의해서는 선택되지 않고, 상기 복호 화상 데이터 Vd에 대응하는 처리완료 VOP의 복호 화상 데이터 Vrep가 치환 화상 데이터로서 상기 MB 선택 스위치(5)에 의해 선택되며, 선택된 데이터가 상기 MB 선택 화상 데이터 Emb로서 출력된다.

이하, 도 1b를 이용해서 상기 MB 선택 스위치(5)의 동작을 더욱 구체적으로 설명한다. 여기서는, 입력된 VOP 비트 스트림 Svop의 k번째의 비디오 패킷 Svp(k)에 있어서의 i번째의 매크로 블럭 정보 Smb(i)에 마커 부호 Cm이 포함되어 있는 경우, 즉 비디오 패킷 Svp(k)에 있어서의 매크로 블럭 정보 Smb(i)에 전송 에러에 의한 결함이 있는 경우에 대해서 설명한다.

이 경우, k번째의 비디오 패킷 Svp(k)의 제 1 번째의 매크로 블럭 정보 Smb(1)에서 제(i-1)번째의 매크로 블럭 정보 Smb(i-1)까지의 각 매크로 블럭 정보에 대응하는 복호 화상 데이터는 상기 MB 선택 스위치(5)에 의해 선택된다. 제k 번째의 비디오 패킷 Svp(k)의 제i 번째의 매크로 블럭 정보 Smb(i) 이후의 매크로 블럭 정보에 대응하는 복호 화상 데이터는 상기 MB 선택 스위치(5)에 의해 선택되지 않고, 이 MB 선택 스위치(5)에서는 이들의 매크로 블럭의 복호 화상 데이터 Vd에 대응하는 처리완료 VOP에 있어서의 매크로 블럭의 복호 화상 데이터 Vrep가 치환 화상 데이터로서 선택된다. 여기서, 제k 번째의 비디오 패킷 Svp(k)의 제(i+1)번째의 매크로 블럭 정보는 전송 에러로 인해서 결락되어 있다. 또, 제k 번째의 비디오 패킷 Svp(k)의 제(i+2)번째, 제(i+3)번째, …,제(n) 번째의 매크로 블럭 정보 Smb(i+2), Smb(i+3), …, Smb(n)은 제k 번째의 비디오 패킷 Svp(k)의 제(i+2)번째, 제(i+3)번째, …, 제(n) 번째의 매크로 블럭 정보이며, 여기서는 이들 매크로 블럭 정보 Smb(i+2)∼Smb(n)은 전송 에러없이 수신할 수 있었던 것으로 되어 있다. 단, 제(i+1) 번째의 매크로 블럭 정보를 정확하게 복호화할 수 없으면, 제(i+2) 번째, 제(i+3)번째, …,제(n) 번째의 매크로 블럭 정보도 정확하게 복호화할 수 없기 때문에, 제(i+1)번째에서 제(n) 번째까지의 모든 매크로 블럭 정보에 대응하는 복호 화상 데이터 Vrep가 치환 화상 데이터에 의해 치환된다.

또한, 도 1b중 Svoph는 VOP 비트 스트림의 헤더(선두)로서, 동기 신호가 포함되어 있다. 또, Svp(1), Svp(k+1), Svp(m)은 각각 VOP 비트 스트림 Svoph를 구성하는 제 1 번째, 제(k+1) 번째, 최후의 비디오 패킷이며, Svph(1), Svph(k), Svph(k+1), Svph(m)은 각 비디오 패킷 Svp(1), Svp(k), Svp(k+1), Svp(m)의 헤더이다.

또, 스트림 에러 검출기(6)에서는 상기 전송 에러 검출기(3)로부터의 전송 에러 통지 신호 Terr에 따라서 입력 스트림에 전송 에러가 포함되어 있는지의 판정이 실행되고, 복호화기(1)의 내부 신호 Si에 의해 입력 스트림에 대한 복호화 처리가 파탄했는지의 여부가 판정된다. 그리고, 이들의 판정에 따라서 입력 스트림 Vin의 스트림 에러를 검출하는 처리가 실행된다.

예를 들면, 입력 스트림에 대한 복호화 처리가 파탄한 경우, 상기 스트림 에러 검출기(6)에서는 상기 복호화 처리의 파탄이 복호화기(1)의 내부 신호 Si에 의해 검출된다. 그리고, 이 때 전송 에러 통지 신호 Terr에 의해 전송 에러의 검출이 통지되어 있으면, 복호화 처리의 파탄은 전송 에러에 기인하는 것이다. 따라서, 이 경우는 스트림 에러 통지 신호 Serr은 출력되지 않는다. 한편, 전송 에러 통지 신호 Terr에 의한 전송 에러의 발생의 통지가 없으면, 복호화 처리의 파탄은 스트림 에러에 기인하는 것이다. 따라서, 이 경우에는 스트림 에러가 입력 스트림에 포함되어 있다고 판정되고, 스트림 에러 통지 신호 Serr이 비디오 패킷 단위 수정기(7)로 출력된다.

또한, 스트림 에러 검출기(6)에서는 전송 에러 검출기(3)가 전송 에러를 검출한 상태에서는 전송 에러를 포함하는 비디오 패킷에 대해서는 스트림 에러의 검출 처리는 실행하지 않도록 해도 좋다.

그리고, 상기 비디오 패킷 단위 수정기(7)에서는 스트림 에러 통지 신호 Serr에 따라서 상기 VP 선택 스위치(8)로 VP 선택 제어 신호 Cvp가 출력된다. 이것에 의해, VP 선택 스위치(8)에서는 제 1 VP 지연 회로(1a)로부터의 피처리 VOP의 지연 선택 데이터 DEmb와 제 2 VP 지연 회로(2a)로부터의 처리완료 VOP의 지연 치환 데이터 DVrep 중의 한쪽이 비디오 패킷마다 선택되고, 이 VP 선택 스위치(8)에서는 VP 선택 화상 데이터 Evp가 재생 화상 데이터 Vout로서 출력된다.

구체적으로는, 입력 스트림 Vin에 스트림 에러가 포함되어 있는 경우, VOP 비트 스트림에 있어서의 복호화 처리가 파탄한 에러 비디오 패킷에 대응하는 지연 복호 데이터 DVd는 상기 VP 선택 스위치(8)에 의해 선택되지 않고, 이 지연 복호 데이터 DVd에 대응하는 지연 치환 데이터(처리완료 VOP의 비디오 패킷의 복호 화상 데이터) DVrep가 상기 VP 선택 스위치(8)에 의해 선택되며, 선택된 화상 데이터가 상기 VP 선택 화상 데이터 Evp로서 출력된다. 한편, VOP 스트림에 있어서의 복호화 처리가 파탄한 비디오 패킷 이외의 비디오 패킷에 대응하는 지연 복호 데이터 DVd는 상기 VP 선택 스위치(8)에 의해 선택되고, 선택된 화상 데이터가 VP 선택 화상 데이터 Evp로서 출력된다.

그리고, 이 VP 선택 화상 데이터 Evp는 재생 화상 데이터 Vout로서 출력됨과 동시에, 피처리 VOP에 계속되는 후속 VOP에 대한 참조 화상 데이터로서 상기 메모리(2)에 저장된다.

이와 같이, 본 실시예 1에서는 입력 스트림을 매크로 블럭마다 복호화하여 복호 화상 데이터를 생성하는 복호화기(1), 입력 스트림에 포함되는 전송 에러를 검출하는 전송 에러 검출기(3) 및 입력 스트림에 포함되는 스트림 에러를 검출하는 스트림 에러 검출기(6)를 구비하고, 전송 에러의 영향을 받는 매크로 블럭의 복호 화상 데이터를 처리완료 VOP의 대응하는 매크로 블럭의 복호 화상 데이터로 치환하고, 스트림 에러를 포함하는 비디오 패킷에 대응하는 복호 화상 데이터를 처리완료 VOP에 있어서의 대응하는 비디오 패킷의 복호 화상 데이터로 치환하도록 했으므로, 전송 에러에 대한 복호 화상 데이터의 수정이 매크로 블럭 단위로 실행되고, 스트림 에러에 대한 복호 화상 데이터의 수정이 비디오 패킷 단위로 실행되게 된다.

이것에 의해, 전송 에러가 발생한 경우에는 전송 에러의 영향을 받는 매크로 블럭의 복호 화상 데이터만이 수정되게 되어, 전송 에러의 영향을 받고 있지 않은 매크로 블럭의 복호 화상 데이터를 수정하는 것에 의한 복호 화상의 화질 열화를 회피할 수 있다. 또, 스트림 에러가 발생한 경우에는 스트림 에러가 포함되는 비디오 패킷에 대응하는 모든 매크로 블럭의 복호 화상 데이터가 수정되게 되어, 스트림 에러의 영향을 받고 있는 매크로 블럭의 복호 화상 데이터가 출력되는 것에 의한 복호 화상의 화질 열화를 방지할 수 있다. 이 결과, 입력 스트림에 포함되는 에러에 대한 복호 화상 데이터의 수정 처리를 효과적으로 실행하여 복호 화상의 화질을 향상시킬 수 있다.

또한, 상기 실시예 1에서는 입력 스트림이 2계층의 데이터 구조를 갖는 경우, 즉 입력 스트림을 구성하는 VOP 비트 스트림이 비디오 패킷 단위로 구분되고 또 비디오 패킷이 부호화 처리의 단위인 매크로 블럭을 단위로 해서 구분되어 있는 경우에 대해서 설명했지만, 입력 스트림의 2계층 데이터 구조는 상기 실시예 1의 것에 한정되지 않는다.

예를 들면, 상기 입력 스트림은 VOP 비트 스트림이 비디오 패킷을 단위로 해서 구분되고 또 비디오 패킷이 상기 매크로 블럭이 아니라 부호화 처리의 최소단위인 블럭(8×8 화소)을 단위로 해서 구분되어 있는 데이터 구조를 갖는 것이어도 좋다. 이 경우, 전송 에러에 대한 복호 화상 데이터의 수정은 블럭 단위로 실행되는 것에 의해, 상기 실시예 1과 마찬가지 효과가 얻어진다.

이와 같이, 상기 입력 스트림의 2계층 데이터 구조는 화상 계열의 1화면(VOP)에 대응하는 VOP 비트 스트림이 동기 신호와 이것에 계속되는 부호화 정보로 이루어지는 데이터 단위마다 구분되고, 이 데이터 단위가 VOP를 구획하는 부호화 처리의 단위로 되는 영역에 대응하도록 구분된 데이터 구조이면, 어떠한 2계층의 데이터 구조라도 좋다. 이 경우, 전송 에러에 대한 복호 화상 데이터의 수정을 부호화 처리의 단위에 상당하는 데이터 단위(제 1 처리 단위)로 실행하고, 스트림 에러에 대한 복호 화상 데이터의 수정을 상기 동기 신호를 포함하는 데이터 단위(제 2 처리 단위)로 실행하는 것에 의해, 상기 실시예 1과 마찬가지 효과가 얻어진다.

또, 상기 실시예 1에서는 입력 스트림으로서 2계층의 데이터 구조를 갖는 것을 설명했지만, 입력 스트림에 있어서의 데이터의 계층 구조는 3계층 이상의 데이터 구조이어도 좋고, 입력 스트림이 동기 신호와 이것에 계속되는 부호화 정보로 이루어지는 데이터 단위(제 2 처리 단위)마다 구분되고 이 데이터 단위가 부호화 처리의 단위에 상당하는 데이터 단위(제 1 처리 단위)에 대응하도록 구분되어 있는 것이면, 어떠한 다계층의 데이터 구조를 갖는 것이어도 좋다.

또, 상기 실시예 1에서는 비디오 패킷을 구분하는 데이터 단위(제 1 처리 단위)에 상당하는 매크로 블럭을 16×16 화소로 이루어지는 화상 공간으로서 설명했지만, 매크로 블럭을 구성하는 수평 방향 및 수직 방향의 화소수는 동화상의 부호화 방법에 따라 변경해도 좋다.

(실시예 2)

도 3은 본 발명의 실시예 2에 따른 동화상 복호화 장치를 설명하기 위한 블럭도이다.

이 실시예 2의 동화상 복호화 장치(100b)는 형상을 갖지 않는 물체에 대응하는 비트 스트림의 복호화 처리에서는 상기 실시예 1과 마찬가지로 전송 에러를 검출했을 때에 복호 화상 데이터의 수정을 매크로 블럭 단위로 실행하고, 또 스트림 에러를 검출했을 때에 복호 화상 데이터의 수정을 비디오 패킷 단위로 실행하고, 형상을 갖는 물체에 대응하는 비트 스트림의 복호화 처리에서는 에러를 검출했을 때에는 복호 화상 데이터를 VOP 단위로 수정하도록 한 것이다.

이 실시예 2의 동화상 복호화 장치(100b)는 상기 실시예 1의 동화상 복호화 장치(1OOa)의 구성에 부가해서, 상기 VOP 단위로의 복호 화상 데이터의 수정을 실행하기 위한 회로 구성을 구비한 것이다.

이하 상세하게 기술하면, 이 실시예 2의 동화상 복호화 장치(100b)는 상기 실시예 1과 마찬가지로 상기 복호화기(1), 메모리(2), 검출기(3) 및 (6), 수정기(4) 및 (7), 선택 스위치(5) 및 (8), 지연 회로(1a) 및 (2a)를 갖고 있다.

그리고, 이 실시예 2의 동화상 복호화 장치(100b)는 상기 전송 에러 검출기(3)로부터의 전송 에러 통지 신호 Terr과 스트림 에러 검출기(6)로부터의 스트림 에러 통지 신호 Serr의 논리합 연산에 의해 입력 스트림에 전송 에러 또는 스트림 에러가 포함되어 있는 것을 나타내는 에러 검출 신호 TSerr을 출력하는 논리합 회로(9) 및 입력 스트림 Vin에 따라서 이 입력 스트림이 형상 정보를 갖는지의 여부를 판정하고 이 판정 결과에 따라 형상 유무 통지 신호 Sdet를 출력하는 형상 유무 검출기(1O)를 갖고 있다.

또, 이 동화상 복호화 장치 (100b)는 상기 VP 선택 스위치(8)에서 출력되는 VP 선택 화상 데이터 Evp를 처리 대상으로 되고 있는 피처리 VOP의 복호화 처리에 요하는 시간만큼 지연시켜 VOP 지연 선택 데이터 DEvp를 출력하는 제 1 VOP 지연 회로 (1b)와 상기 제 2 VP 지연 회로(2a)에서 출력된 VP 지연 치환 데이터(제 1 지연 치환 데이터) DVrep1을 1VOP의 복호화 처리에 요하는 시간만큼 지연시켜 VOP 지연 치환 데이터(제 2 지연 치환 데이터) DVrep2를 출력하는 제 2 VOP 지연 회로(2b)를 갖고 있다.

또, 이 동화상 복호화 장치(10Ob)는 상기 제 1 VOP 지연 회로(1b)로부터의 VOP 지연 선택 데이터 DEvp와 제 2 VOP 지연 회로(2b)로부터의 VOP 지연 치환 데이터 DVrep2 중의 한쪽을 VOP 선택 제어 신호 Cvop에 따라서 선택하고 선택한 화상 데이터를 VOP 선택 화상 데이터 Evop로서 출력하는 VOP 선택 스위치(13), 상기 에러 검출 신호 TSerr과 형상 유무 통지 신호 Sdet의 논리곱 연산에 의해 형상 정보를 갖는 입력 스트림에 에러가 포함되어 있는 것을 나타내는 스트림 정보 Istr을 출력하는 논리곱 회로(11) 및 상기 스트림 정보 Istr에 따라서 형상 정보를 갖는 입력 스트림에 포함되는 에러가 검출되었을 때에 상기 제 1 VOP 지연 회로(1b)로부터의 VOP 지연 선택 데이터 DEvp가 VOP 단위로 수정되도록 상기 VOP 선택 스위치(13)를 제어하는 VOP 단위 수정기(12)를 갖고 있다.

여기서, 상기 VOP 선택 스위치(13)는 상기 제 1 VOP 지연 회로(1b)로부터의 VOP 지연 선택 데이터 DEvp가 공급되는 제 1 입력 단자(13a), 상기 제 2 VOP 지연 회로(2b)로부터의 VOP 지연 치환 데이터 DVrep2가 공급되는 제 2 입력 단자(13b) 및 상기 VOP 선택 화상 데이터 Evop를 출력하기 위한 출력 단자(13c)를 갖고 있고, 상기 VOP 선택 제어 신호 Cvop에 의해 상기 제 1 입력 단자(13a)가 출력 단자(13c)에 접속된 상태와 상기 제 2 입력 단자(13b)가 출력 단자(13c)에 접속된 상태가 전환되도록 되어 있다.

다음에, 작용 효과에 대해서 설명한다.

우선, 본 발명의 실시예 2의 기본 원리에 대해서 설명한다.

통상, 물체의 형상 정보를 갖는 복호 화상 데이터를 매크로 블럭 단위 또는비디오 패킷 단위로 수정하면, 화면내에 있어서의 물체 형상의 연속성이 손상된다. 이 때문에, 비트 스트림이 형상 정보를 갖는 경우에는 에러를 포함하는 비트 스트림에 대응하는 복호 화상 데이터를 매크로 블럭 단위 또는 비디오 패킷 단위로 수정하는 것보다 VOP 단위로 수정하는 쪽이 시각적으로 바람직한 복호 화상이 얻어지는 경우가 많다.

한편, 형상 정보를 갖지 않는 화상에서는 형상의 시간적인 변화가 적고 또 화소값의 화면간 상관이 강한 경우가 많으므로, 복호 화상 데이터의 수정을 처리완료 VOP의 복호 화상 데이터를 이용해서 매크로 블럭 단위 또는 비디오 패킷 단위로 실행하는 것이 바람직하다.

그래서, 본 실시예 2에서는 입력 스트림 Vin에 따라서 입력 스트림이 형상 정보를 갖는지의 여부를 판정하고, 입력 스트림이 형상 정보를 갖는 경우에는 그 복호 화상 데이터에 대해서 VOP 단위의 수정 처리를 실시하고, 입력 스트림이 형상 정보를 갖지 않는 경우에는 그 복호 화상 데이터에 대해서는 매크로 블럭 단위 또는 비디오 패킷 단위로 수정 처리를 실시하도록 하고 있다.

우선, 본 실시예 2에 따른 동화상 복호화 장치에 의한 복호화 처리의 개략을 설명한다.

도 4는 이 본 실시예 2의 동화상 복호화 장치에 의한 복호화 처리의 흐름을 도시한 도면이다.

이 실시예 2의 동화상 복호화 장치(100b)에 동화상에 대응하는 부호화 정보를 포함하는 비트 스트림이 입력 스트림 Vin으로서 입력되면, 복호화기(1)에서는입력 스트림에 있어서의 피처리 VOP에 대응하는 부호화 정보(피처리 VOP 비트 스트림)를 매크로 블럭마다 복호화하는 처리가 순차 실행된다(스텝 S1b).

다음에, 상기 입력 스트림 Vin이 형상 신호를 포함하는 것인지의 여부가 형상 유무 검출기(10)에 의해 판정된다(스텝 S2b). 이 판정의 결과, 상기 입력 스트림 Vin이 형상 정보를 포함하지 않는 비트 스트림인 경우에는 상기 실시예 1에 있어서의 스텝 S2a 내지 S5a의 처리와 마찬가지 처리가 각각 대응하는 스텝 S3b 내지 S6b에서 실행된다. 한편, 상기 입력 스트림이 형상 정보를 포함하는 비트 스트림인 경우에는 입력 스트림 Vin에 전송 에러가 포함되어 있는지의 여부의 판정(스텝 S7b) 및 입력 스트림 Vin에 스트림 에러가 포함되어 있는지의 여부의 판정(스텝 S8b)이 실행된다.

그리고, 상기 입력 스트림 Vin에 전송 에러와 스트림 에러 중의 어느 1개가 포함되어 있는 경우에는 입력 스트림 Vin의 복호화 처리에 의해 얻어지는 복호 화상 데이터를 VOP 단위로 수정하는 처리가 실행된다(스텝 S9b).

구체적으로는, 이 피처리 VOP 비트 스트림에 에러가 포함되어 있는 경우에는 이 피처리 VOP 비트 스트림의 복호화 처리에 의해 얻어지는 복호 화상 데이터 DEvp가 처리완료 VOP에 대응하는 복호 화상 데이터 DVrep2로 치환되고, 복호 화상 데이터 DVrep2가 재생 화상 데이터 Vout로서 이 동화상 복호화 장치(10Ob)에서 출력된다.

한편, 스텝 S7b 및 스텝 S8b에서의 판정의 결과, 입력 스트림 Vin의 에러가 검출되지 않는 경우에는 이 피처리 VOP 비트 스트림의 복호화 처리에 의해 얻어지는 복호 화상 데이터 Vd가 재생 화상 데이터 Vout로서 이 동화상 복호화 장치(10Ob)에서 출력된다.

이하, 동작에 대해서 상세하게 설명한다.

상기 실시예 1의 동화상 복호화 장치(1OOa)와 마찬가지의 입력 스트림 Vin이 이 실시예 2의 동화상 복호화 장치(100b)에 입력되면, 이 동화상 복호화 장치(1OOb)에서는 복호화기(1)에 의해 입력 스트림 Vin의 복호화 처리, 에러 검출기(3)에 의한 전송 에러의 검출 및 에러 검출기(6)에 의한 스트림 에러의 검출이 실행된다.

이 때, 복호화기(1)에서는 입력 스트림 Vin에 대한 복호화 처리가 매크로 블럭마다 실행되고, 복호 화상 데이터 Vd가 매크로 블럭마다 출력된다. 또, 메모리(2)에서는 복호화기(1)에서 처리 대상으로 되는 피처리 VOP에 있어서의 매크로 블럭에 대응하는 처리완료 VOP에 있어서의 매크로 블럭의 복호 화상 데이터(치환 화상 데이터) Vrep가 상기 피처리 VOP의 각 매크로 블럭의 복호 화상 데이터 Vd와 동기해서 출력된다. 또, 매크로 블럭 단위 수정기(4)로는 상기 에러 검출기(3)로부터의 전송 에러 통지 신호 Terr이 출력되고, 비디오 패킷 단위 수정기(6)로는 상기 에러 검출기(6)로부터의 스트림 에러 통지 신호 Serr이 출력되고, 논리합 회로(9)로는 상기 전송 에러 통지 신호 Terr 및 스트림 에러 통지 신호 Serr이 출력된다.

또, 형상 유무 검출기(10)에서는 상기 입력 스트림 Vin에 따라서 이 입력 스트림 Vin에 형상 정보가 포함되어 있는지의 여부가 판정되고, 판정 결과를 나타내는 형상 유무 통지 신호 Sdet가 논리곱 회로(11)로 출력된다.

통상, 형상 정보를 포함하는 VOP 비트 스트림에서는 그의 시퀀스 헤더 등에 형상 정보를 포함하는 것을 나타내는 플래그 정보 등이 부가되어 있기 때문에, 이 플래그 정보에 따라서 형상 정보가 포함되는지의 여부의 판정이 실행된다.

그러면, MB 선택 스위치(5)의 개폐 제어가 매크로 블럭 단위 수정기(4)에 의해 실행되고, VP 선택 스위치(8)의 개폐 제어가 비디오 패킷 단위 수정기(6)에 의해 실행된다. 또, 논리합 회로(9)에서는 전송 에러 통지 신호 Terr 및 스트림 에러 통지 신호 Serr의 논리합 연산에 의해, 입력 스트림에 전송 에러 및 스트림 에러 중의 어느 1개가 포함되어 있는 것을 나타내는 에러 통지 신호 TSerr이 상기 논리곱 회로(11)로 출력된다.

이 논리곱 회로(11)에서는 에러 통지 신호 TSerr 및 상기 형상 유무 통지 신호 Sdet의 논리곱 연산에 의해, 입력 스트림이 형상 정보를 갖는 비트 스트림으로서 에러를 포함하고 있는 것을 나타내는 스트림 정보 Istr이 VOP 단위 수정기(12)로 출력된다.

그리고, MB 선택 스위치(5)에서는 매크로 블럭 단위 수정기(4)로부터의 MB 선택 제어 신호 Cmb에 따라서 상기 복호 화상 데이터 Vd와 치환 화상 데이터 Vrep 중의 한쪽이 선택되고, 선택된 화상 데이터가 MB 선택 화상 데이터 Emb로서 출력된다.

상기 MB 선택 스위치(5)로부터의 MB 선택 화상 데이터 Emb 및 메모리(2)로부터의 치환 화상 데이터 Vrep는 각각 제 1, 제 2 VP 지연 회로(1a), (2a)에 의해 피처리 비디오 패킷에 대응하는 복호화 처리 시간만큼 지연되고, VP 지연 선택 데이터 DEmb, VP 지연 치환 데이터(제 1 지연 치환 데이터) DVref1로서 출력된다.

또, VP 선택 스위치(8)에서는 비디오 패킷 단위 수정기(7)로부터의 VP 선택 제어 신호 Cvp에 따라서 상기 VP 지연 선택 데이터 DEmb와 VP 지연 치환 데이터 DVrep1 중의 한쪽이 선택되고, 선택된 지연 데이터가 VP 선택 화상 데이터 Evp로서 출력된다.

상기 VP 선택 스위치(8)로부터의 VP 선택 화상 데이터 Evp 및 제 2 VP 지연 회로(2a)로부터의 VP 지연 치환 데이터 DVrep1은 각각 제 1,제 2 VOP 단위 지연 회로(1b), (2b)에 의해 피처리 VOP에 대응하는 복호화 처리 시간만큼 지연되고, VOP 지연 선택 데이터 DEvp, VOP 지연 치환 데이터(제 2 지연 치환 데이터) DVrep2로서 출력된다.

그리고, VOP 선택 스위치(13)에서는 VOP 단위 수정기(12)로부터의 VOP 선택 제어 신호 Cvop에 따라서 상기 VOP 지연 선택 데이터 DEvp와 VOP 지연 치환 데이터 DVrep2 중의 한쪽이 선택되고, 선택된 지연 데이터가 VOP 선택 화상 데이터 Evop로서 출력된다. 이 VOP 선택 화상 데이터 Evop는 상기 메모리(2)에 저장됨과 동시에, 재생 화상 데이터 Vout로서 출력된다.

구체적으로는, 상기 VOP 선택 스위치(13)는 입력 스트림이 형상 정보를 포함하지 않는 것인 경우 또는 입력 스트림에 에러가 포함되어 있지 않는 경우에는 제 1 VOP 지연 회로(1b)로부터의 VP 지연 선택 데이터 Evp가 그대로 출력되고, 입력 스트림이 형상 정보를 갖고 또한 에러가 포함되어 있는 경우에는 제 1 VOP 지연 회로(1b)로부터의 VP 지연 선택 데이터 Evp가 제 2 VOP 지연 회로(2b)로부터의 VOP 지연 치환 데이터 DVrep2에 의해 치환되도록, VOP 단위수정기(12)에 의해 제어된다.

이와 같이, 본 실시예 2에서는 상기 실시예 1의 구성에 부가해서 입력 스트림 Vin이 형상 정보를 갖는 것인지의 여부를 판정하는 형상 유무 검출기(1O)를 구비하고, 입력 스트림 Vin이 형상 정보를 갖는 경우에는 입력 스트림 Vin에 전송 에러 또는 스트림 에러가 포함되어 있을 때에 이 입력 스트림 Vin의 복호화 처리에 의해 얻어진 복호 화상 데이터를 VOP 단위로 수정하고, 반면에 상기 입력 스트림 Vin이 형상 정보를 갖고 있지 않을 때에는 상기 실시예 1과 마찬가지로 입력 스트림 Vin에 포함되는 에러의 종류에 따라서 매크로 블럭 단위 또는 비디오 패킷 단위로 복호 화상 데이터의 수정을 실행하도록 했으므로, 상기 실시예 1의 효과뿐만 아니라 형상 정보를 갖는 입력 스트림 Vin에서 얻어지는 복호 화상에 있어서의 에러에 기인하는 화질 열화를 복호 화상 데이터의 수정에 수반하는 화질 열화를 억제하면서 배제할 수 있다는 효과가 얻어진다.

또한, 상기 실시예 1 및 2에서는 전송 에러 검출기(3)로서 비트 스트림에 삽입되어 있는 패킷 결락을 나타내는 마크 (마커 부호)를 검출하는 것에 의해 전송 에러를 검출하는 구성의 것을 설명했지만, 상기 전송 에러 검출기는 전송 시스템에서 별도의 방법에 의해 입력 스트림에 있어서의 전송 에러 발생 위치에 관한 정보를 취득하여 전송 에러 통지 신호 Terr을 출력하는 구성의 것이어도 된다.

(실시예 3)

도 5는 본 발명의 실시예 3에 따른 동화상 복호화 장치를 설명하기 위한 블럭도이다.

이 실시예 3의 동화상 복호화 장치(100c)는 형상을 갖지 않는 물체에 대응하는 비트 스트림의 복호화 처리에서는 입력 스트림의 에러를 검출했을 때에 복호 화상 데이터를 비디오 패킷 단위로 수정하고, 형상을 갖는 물체에 대응하는 비트 스트림의 복호화 처리에서는 입력 스트림의 에러를 검출했을 때에 복호 화상 데이터를 VOP 단위로 수정하도록 한 것이다.

이 실시예 3의 동화상 복호화 장치(100c)는 상기 실시예 2의 동화상 복호화 장치(100b)와 마찬가지로 상기 복호화기(1), 메모리(2), 수정기(7) 및 (12), 지연 회로(1a), (2a), (1b), (2b), 선택 스위치(8) 및 (13), 논리곱 회로(11), 형상 유무 검출기(10)를 갖고 있다.

그리고, 이 동화상 복호화 장치 (100c)는 상기 실시예 2의 동화상 복호화 장치(100b)에 있어서의 전송 에러 검출기(3), 스트림 에러 검출기(6), 논리합 회로(9) 대신에, 입력 스트림 Vin 및 복호화기(1)의 내부 신호 Si에 따라서 전송 에러 및 스트림 에러를 검출하는 처리를 실행하고 어느 하나의 에러가 검출되었을 때에 에러 통지 신호 Aerr을 출력하는 에러 검출기(18)를 구비하고 있다.

또, 이 동화상 복호화 장치(100c)에서는 상기 비디오 패킷 단위 수정기(7)에는 상기 에러 통지 신호 Aerr이 입력되고, 상기 논리곱 회로(11)에는 상기 에러 통지 신호 Aerr이 상기 형상 유무 검출기(10)로부터의 형상 유무통지 신호 Sdet와 함께 입력되도록 되어 있다.

또, 이 동화상 복호화 장치(100c)에서는 상기 실시예 2의 동화상 복호화 장치(100b)에 있어서의 매크로 블럭 단위 수정기(4) 및 MB 선택 스위치(5)가 생략되어 있고, 상기 복호화기(1)의 출력 Vd가 직접 제 1 VP 지연 회로(1a)에 입력되도록 되어 있다.

다음에, 작용 효과에 대해서 설명한다.

상기 실시예 2에서는 형상을 갖지 않는 물체에 대응하는 비트 스트림의 복호화 처리에서는 전송 에러가 검출되었을 때의 수정 처리를 매크로 블럭 단위로 실행하고 스트림 에러가 검출되었을 때의 수정 처리를 비디오 패킷 단위로 실행하도록 하고 있지만, 비디오 패킷에 대응하는 매크로 블럭수가 적은 경우 즉 비디오 패킷에 포함되는 매크로 블럭 정보의 개수가 적은 경우에는 형상 정보를 갖고 있지 않은 복호 화상 데이터에 대한 수정 처리를 항상 비디오 패킷 단위로 실행하도록 해도 복호 화상에 있어서의 수정 처리에 수반하는 화질의 열화가 적다.

또, 복호 화상 데이터에 대한 매크로 블럭 단위의 수정 처리를 생략하는 것에 의해 수정 처리를 간단화할 수 있다.

그래서, 본 실시예 3에서는 상기 실시예 2와는 달리 입력 스트림이 형상 정보를 갖고 있지 않은 경우에는 입력 스트림의 에러로서 전송 에러와 스트림 에러 중의 어느 한쪽의 에러가 검출되었을 때라도 복호 화상에 대한 수정 처리를 비디오 패킷 단위로 실행하도록 하고 있다.

우선, 본 실시예 3의 동화상 복호화 장치에 의한 복호화 처리의 개략을 설명한다. 도 6은 이 본 실시예 3의 동화상 복호화 장치에 의한 복호화 처리의 흐름을 도시한 도면이다.

동화상에 대응하는 부호화 정보를 포함하는 비트 스트림이 이 동화상 복호화 장치(1OOc)에 입력 스트림 Vin으로서 입력되면, 복호화기(1)에서는 입력 스트림에 있어서의 피처리 VOP에 대응하는 부분(피처리 VOP 비트 스트림)을 매크로 블럭마다 복호화하는 처리가 순차 실행된다(스텝 S1c).

다음에, 상기 입력 스트림 Vin이 형상 신호를 포함하는 것인지의 여부가 형상 유무 검출기(10)에 의해 판정된다(스텝 S2c).

이 판정의 결과, 상기 입력 스트림 Vin이 형상 정보를 포함하지 않는 비트 스트림인 경우에는 입력 스트림 Vin의 에러를 검출하는 처리가 에러 검출기(18)에 의해 실행된다(스텝 S3c). 그리고, 상기 입력 스트림 Vin의 에러가 검출되었을 때에는 입력 스트림 Vin의 복호화 처리에 의해 얻어지는 복호 화상 데이터를 비디오 패킷 단위로 수정하는 처리가 실행된다(스텝 S4c).

한편, 상기 스텝 S2c에서의 판정의 결과, 상기 입력 스트림이 형상 정보를 포함하는 비트 스트림인 경우에는 입력 스트림 Vin의 전송 에러를 검출하는 처리가 상기 에러 검출기(18)에 의해 실행된다(스텝 S5c). 그리고, 상기 입력 스트림 Vin의 에러가 검출되었을 때에는 입력 스트림 Vin의 복호화 처리에 의해 얻어지는 복호 화상 데이터를 VOP 단위로 수정하는 처리가 실행된다(스텝 S6c).

상기 스텝 S3c 및 스텝 S6c에서의 판정의 결과, 입력 스트림 Vin의 에러가 검출되지 않는 경우에는 피처리 VOP 스트림의 복호화 처리에 의해 얻어진 복호 화상 데이터 Vd가 재생 화상 데이터 Vout로서 이 동화상 복호화 장치(100c)에서 출력된다.

이하, 동작에 대해서 상세하게 설명한다.

상기 실시예 1의 동화상 복호화 장치(1OOa)와 마찬가지의 입력 스트림 Vin이 이 실시예 3의 동화상 복호화 장치(100c)에 입력되면, 이 동화상 복호화 장치(100c)에서는 형상 유무 검출기(10)에 의해 실시예 2와 마찬가지로 입력 스트림 Vin이 형상 정보를 포함하는지의 여부를 검출하는 처리가 실행되고, 형상 유무통지 신호 Sdet가 출력된다. 또, 이 동화상 복호화 장치(1OOc)의 복호화기(1)에서는 실시예 2와 마찬가지로 입력 스트림 Vin의 복호화 처리가 실행되고, 피처리 VOP에 대응하는 복호 화상 데이터가 각 매크로 블럭마다 출력된다. 이 때, 메모리(2)에서는 복호화기(1)에서 처리 대상으로 되는 피처리 VOP에 있어서의 매크로 블럭에 대응하는 처리완료 VOP에 있어서의 매크로 블럭의 복호 화상 데이터(치환 화상 데이터) Vrep가 상기 피처리 VOP의 각 매크로 블럭의 복호 화상 데이터 Vd와 동기해서 출력된다.

그리고, 이 실시예 3의 에러 검출기(18)에서는 상기 입력 스트림 Vin 및 복호화기(1)의 내부 신호 Si에 따라서 입력 스트림 Vin의 에러를 검출하는 처리가 실행되고, 에러가 검출되었을 때에 에러 통지 신호 Aerr가 비디오 패킷 단위 수정기(7) 및 논리곱 회로(11)로 출력된다. 이 논리곱 회로(11)에서는 에러 통지 신호 Aerr 및 상기 형상 유무 통지 신호 Sdet의 논리곱 연산이 실행되고, 입력 스트림이 형상 정보를 갖는 비트 스트림으로서 에러를 포함하고 있는 것을 나타내는스트림 정보 Istr가 VOP 단위수정기(12)로 출력된다.

또, 상기 복호화기(1)H부터의 복호 화상 데이터 Vd 및 메모리(2)로부터의 치환 화상 데이터 Vrep는 각각 제 1, 제 2 VP 단위 지연 회로(1a), (2a)에 의해 피처리 비디오 패킷에 대응하는 복호화 처리 시간만큼 지연되고, VP 지연 복호 데이터 DVd, VP 지연 치환 데이터 DVrep1로서 출력된다.

상기 VP 선택 스위치(8)에서는 비디오 패킷 단위 수정기(7)로부터의 VP 선택 제어 신호 Cvp에 따라서 상기 VP 지연 복호 데이터 DVd와 VP 지연 치환 데이터 DVrep1 중의 한쪽이 선택되고, 선택된 지연 데이터가 VP 선택 화상 데이터 Evp로서 출력된다.

또한, 상기 VP 선택 스위치(8)로부터의 VP 선택 화상 데이터 Evp 및 제 2 VP 지연 회로(2a)로부터의 VP 지연 치환 데이터 Vrep1은 각각 제 1, 제 2 VOP 지연 회로(1b), (2b)에 의해 피처리 VOP에 대응하는 복호화 처리 시간만큼 지연되고, VOP 지연 선택 데이터 DEvp, VOP 지연 치환 데이터 DVrep2로서 출력된다.

그리고, VOP 선택 스위치(13)에서는 VOP 단위 수정기(12)로부터의 VOP 선택 제어 신호 Cvop에 따라서 상기 VOP 지연 선택 데이터 DEvp와 VOP 지연 치환 데이터 DVrep2 중의 한쪽이 선택되고, 선택된 지연 데이터가 VOP 지연 선택 데이터 Evop로서 출력된다. 이 VOP 지연 선택 데이터 Evop는 상기 메모리(2)에 저장됨과 동시에, 재생 화상 데이터 Vout로서 출력된다.

여기서, 상기 VOP 선택 스위치(13)는 입력 스트림이 형상 정보를 포함하지 않는 것으로 판정되었을 때 또는 입력 스트림의 에러가 검출되지 않을 때에는 제 1VOP 지연 회로(1b)로부터의 VOP 지연 선택 데이터 DEvp가 그대로 출력되고, 입력 스트림이 형상 정보를 갖는 것으로 판정되고 또한 입력 스트림의 에러가 검출되었을 때에는 제 1 VOP 지연 회로(1b)로부터의 VOP 지연 선택 데이터 DEvp가 제 2 VOP 지연 회로(2b)로부터의 VOP 지연 치환 데이터 DVrep2에 의해 치환되도록, VOP 단위 수정기(12)에 의해 제어된다.

이와 같이, 본 실시예 3에서는 형상 정보를 포함하는 입력 스트림 Vin의 복호화 처리에 의해 얻어지는 복호 화상 데이터에 대해서는 VOP 단위로 복호 화상의 수정 처리를 실시하고, 형상 정보를 포함하지 않는 입력 스트림 Vin의 복호화 처리에 의해 얻어지는 복호 화상 데이터에 대해서는 비디오 패킷 단위로 복호 화상의 수정 처리를 실시하도록 했으므로, 입력 스트림 Vin이 형상 정보를 포함하는 경우에는 복호 화상의 수정 처리에 의한 큰 화질 열화를 초래하지 않고 에러에 기인하는 화질 열화를 배제할 수 있고, 또 입력 스트림 Vin이 형상 정보를 포함하지 않는 경우에는 간단한 수정 처리에 의해 에러에 기인하는 화질 열화를 배제할 수 있다.

또한, 상기 실시예 3에서는 입력 스트림 Vin이 형상 정보를 포함하지 않는 경우에는 비디오 패킷 단위로 복호 화상의 수정을 실행하도록 한 것에 대하여 설명했지만, 입력 스트림 Vin이 형상 정보를 포함하지 않는 경우의 복호 화상의 수정 처리는 매크로 블럭 단위로 실행하도록 해도 좋다.

또, 상기 실시예 3에서는 에러 검출기(18)를 전송 에러와 스트림 에러의 양쪽을 검출하는 구성으로 하고 있지만, 상기 에러 검출기는 전송 에러와 스트림 에러중의 어느 한쪽만을 검출하는 구성으로 해도 좋다.

또, 상기 실시예 2 및 3에서는 매크로 블럭 단위의 화상 수정이나 비디오 패킷 단위의 화상 수정을 실행한 후에 VOP 단위의 화상 수정을 하도록 하고 있지만, VOP 단위의 화상 수정을 매크로 블럭 단위의 화상 수정이나 비디오 패킷 단위의 화상수 정보다도 먼저 실행하도록 해도 좋다.

또, 상기 각 실시예에서는 복호 화상의 구체적인 수정 처리로서 복호화 처리의 대상으로 되는 피처리 VOP에 대응하는 복호 화상 데이터를 이 피처리 VOP보다 이전에 복호화 처리가 완료된 처리완료 VOP의 복호 화상 데이터에 의해 치환하는 처리를 설명했지만, 복호 화상의 수정 처리는 상기 각 실시예에 있어서의 것에 한정되지 않는다.

예를 들면, 상기 복호 화상의 수정 처리는 상기한 바와 같이 피처리 VOP의 복호 화상 데이터를 처리완료 VOP의 복호 화상 데이터에 움직임 보상 처리를 실시해서 얻어지는 참조 화상 데이터에 의해 치환하는 것에 의해 실행해도 좋다. 또, 상기 복호 화상의 수정 처리는 피처리 VOP의 복호 화상 데이터에 대해서 화면내의 내삽 보간 처리를 실시하는 것에 의해 실행해도 좋다.

또, 상기 각 실시예에서는 부호화 처리 및 복호화 처리로서 MPEG-4규격 대응의 것을 설명했지만, 상기 부호화 처리 및 복호화 처리는 MPEG-4규격 대응 이외의 것이어도 좋다.

또, 상기 각 실시예의 동화상 복호화 처리를 컴퓨터에 의해 실행하기 위한 동화상 복호화 프로그램을 플로피 디스크 등의 데이터 기억 매체에 기록하도록 하는 것에 의해, 상기 각 실시예의 동화상 복호화 처리를 독립된 컴퓨터 시스템에 있어서 간단히 실행하는 하는 것이 가능하게 된다.

도 7은 상기 각 실시예에 있어서의 동화상 복호화 처리를 상기 동화상 복호화 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.

도 7a에는 플로피 디스크의 정면에서 본 외관, 단면 구조 및 플로피 디스크 본체를 도시하고, 도 7b에는 이 플로피 디스크 본체의 물리 포맷의 예를 도시하고 있다.

상기 플로피 디스크 FD는 상기 플로피 디스크 본체 D를 플로피 디스크 케이스 FC 내에 수용한 구조로 되어 있고, 이 플로피 디스크 본체 D의 표면에는 동심원형상으로 외주에서 내주를 향해 여러 개의 트랙 Tr이 형성되고, 각 트랙 Tr은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 FD에서는 상기 플로피 디스크 본체 D는 그 위에 할당된 영역(섹터) Se에 상기 프로그램으로서의 데이터가 기록된 것으로 되어 있다.

또, 도 7c에는 플로피 디스크 FD에 대한 상기 동화상 복호화 프로그램의 기록 및 플로피 디스크 FD에 저장한 동화상 복호화 프로그램을 이용한 소프트웨어에 의한 동화상 복호화 처리를 실행하기 위한 시스템 구성을 도시하고 있다.

상기 동화상 복호화 프로그램을 플로피 디스크 FD에 기록하는 경우에는 컴퓨터 시스템 Cs에서 상기 동화상 복호화 프로그램으로서의 데이터를 플로피 디스크 드라이브 FDD를 거쳐서 플로피 디스크 FD에 라이트한다. 또, 플로피 디스크 FD에 기록된 프로그램에 의해 상기 동화상 복호화 장치를 컴퓨터 시스템 Cs 중에 구축하는 경우에는 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD에서 리드하고 컴퓨터 시스템 Cs로 로드한다.

또한, 상기 도 7에서는 프로그램의 기억 매체로서 플로피 디스크를 설명했지만, 프로그램의 기록 매체로서 광디스크를 이용해도 좋고, 이 경우도 상기 플로피 디스크의 경우와 마찬가지로 소프트웨어에 의한 동화상 복호화 처리를 실행할 수 있다. 또, 상기 프로그램 기억 매체는 상기 광디스크나 플로피 디스크에 한정되는 것은 아니고, IC 카드, ROM 카세트 등 프로그램을 기록할 수 있는 것이면 어떠한 것이어도 좋으며, 이들 데이터 기록 매체를 이용하는 경우에서도 상기 플로피 디스크 등을 이용하는 경우와 마찬가지로 소프트웨어에 의한 각 실시예의 동화상 복호화 처리를 실시할 수 있다.

이상과 같이, 본 발명(제 1 특징)에 따른 동화상 복호화 방법에 따르면, 동화상에 대응하는 부호화 데이터를 포함하는 비트 스트림에 대한 복호화 처리를 실행할 때에 상기 비트 스트림의 전송시에 발생한 제 1 에러와 이 제 1 에러 이외의 제 2 에러를 구별해서 검출하고, 상기 제 1 에러가 검출되었을 때에는 상기 복호화 처리에 의해 얻어진 복호 화상 데이터를 부호화 처리 단위인 제 1 처리 단위로 수정하고, 상기 제 2 에러가 검출되었을 때에는 상기 복호 화상 데이터를 1개의 동기 신호가 부여된 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위로 수정하므로, 전송 에러와 스트림 에러 중의 어느 한쪽의 에러에 대해서도 복호 화상 데이터의 수정을 실행하는 것이 가능하게 된다.

또, 전송 에러가 발생한 경우에는 전송 에러의 영향을 받는 제 1 처리 단위에 대응하는 복호 화상 데이터만이 수정되게 되어, 전송 에러의 영향을 받고 있지 않은 제 1 처리 단위에 대응하는 복호 화상 데이터를 수정하는 것에 의한 복호 화상의 화질 열화를 회피할 수 있다. 또, 전송 에러 이외의 스트림 에러가 발생한 경우에는 1개의 동기 신호가 부여된 제 2 처리 단위에 대응하는 복호 화상 데이터가 수정되게 되어, 스트림 에러의 영향을 받고 있는 제 1 처리 단위에 대응하는 복호 화상 데이터가 출력되는 것에 의한 복호 화상의 화질 열화를 방지할 수 있다.

이 결과, 입력 비트 스트림의 에러를 검출한 경우에는 복호 화상 데이터의 수정 처리를 효과적으로 실행하여 복호 화상의 화질 열화를 크게 저감할 수 있다는 효과가 얻어진다.

본 발명(제 2 특징)에 따른 동화상 복호화 방법에 따르면, 동화상에 대응하는 부호화 데이터를 포함하는 비트 스트림에 대한 복호화 처리를 실행할 때에 상기 비트 스트림의 에러를 검출함과 동시에 상기 비트 스트림이 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하고, 상기 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에는 상기 복호 화상 데이터의 수정을 부호화 처리의 단위 영역을 수정 단위로 해서 실행하고, 상기 에러가 검출되고 또한 상기 스트림이 형상 정보를 갖고 있을 때에는 상기 복호 화상 데이터의 수정을 상기 동화상을 구성하는 화면을 수정 단위로 해서 실행하므로, 상기 비트 스트림이 형상 정보를 포함하는 경우에는 복호 화상의 수정 처리에 의한큰 화질 열화를 초래하지 않고 에러에 기인하는 화질 열화를 배제할 수 있으며, 또 상기 스트림이 형상 정보를 포함하지 않는 경우에는 간단한 수정 처리에 의해 에러에 기인하는 화질 열화를 배제할 수 있다.

본 발명(제 3 특징)에 따르면 제 2 특징에 기재된 동화상 복호화 방법에 있어서, 상기 비트 스트림의 전송시에 발생한 제 1 에러와 이 제 1 전송 에러 이외의 제 2 에러를 구별해서 검출하고, 상기 형상 정보를 갖고 있지 않은 비트 스트림의 제 1 에러가 검출되었을 때에는 상기 복호 화상 데이터를 부호화 처리의 단위 영역에 대응하는 제 1 처리 단위로 수정하고, 상기 형상 정보를 갖고 있지 않은 비트 스트림의 제 2 에러가 검출되었을 때에는 상기 복호 화상 데이터를 1개의 동기 신호가 부여된 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위로 수정하므로, 형상 정보를 갖는 스트림의 복호화 처리에 의해 얻어지는 복호 화상에 있어서의 전송 에러 또는 스트림 에러에 기인하는 화질 열화를 복호 화상 데이터의 수정에 수반하는 화질 열화를 억제하면서 배제할 수 있는 효과에 부가해서, 비트 스트림이 형상 정보를 갖지 않는 경우에는 에러에 대한 복호 화상 데이터의 수정 처리를 에러의 종류에 따라 효과적으로 실행하여 복호 화상의 화질을 향상시킬 수 있다는 효과가 얻어진다.

본 발명(제 4 특징)에 따른 동화상 복호화 장치에 따르면, 동화상에 대응하는 부호화 데이터와 동기 신호를 포함하는 비트 스트림에 대한 복호화 처리에 의해 복호 화상 데이터를 생성하는 복호화기, 상기 비트 스트림의 전송시에 발생한 제 1 에러를 검출하는 제 1 에러 검출기 및 상기 제 1 전송 에러 이외의 제 2 에러를 검출하는 제 2 에러 검출기를 구비하고, 상기 제 1 에러가 검출되었을 때에는 상기 복호 화상 데이터를 부호화 처리의 단위인 제 1 처리 단위로 수정하고, 상기 제 2 에러가 검출되었을 때에는 상기 복호 화상 데이터를 1개의 동기 신호가 부여된 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위로 수정하므로, 제 1 특징의 동화상 복호화 방법과 마찬가지로 에러가 전송 에러인지 스트림 에러인지에 따라서 복호 화상 데이터의 수정을 적절한 처리 단위로 실행하는 것이 가능하게 되고, 입력 비트 스트림의 에러를 검출했을 때에는 복호 화상 데이터의 수정 처리를 효과적으로 실행하여 복호 화상의 화질 열화를 크게 저감할 수 있다는 효과가 얻어진다.

본 발명(제 5 특징)에 따른 동화상 복호화 장치에 따르면, 동화상에 대응하는 부호화 데이터와 동기 신호를 포함하는 비트 스트림에 대한 복호화 처리에 의해 복호 화상 데이터를 생성하는 복호화기, 상기 비트 스트림에 포함되는 에러를 검출하는 에러 검출부 및 상기 비트 스트림이 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정부를 구비하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에는 상기 복호 화상 데이터의 수정을 상기 동화상을 구성하는 화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에는 상기 복호 화상 데이터의 수정을 부호화 처리의 단위 영역을 1개 이상 포함하는 처리 영역을 수정 단위로 해서 실행하도록 했으므로, 상기 제 2 특징의 동화상 복호화 방법과 마찬가지로 상기 스트림이 형상 정보를 포함하는 경우에는 복호 화상의 수정 처리에 의한 큰 화질 열화를초래하지 않고 에러에 기인하는 화질 열화를 배제할 수 있으며, 또 상기 스트림이 형상 정보를 포함하지 않는 경우에는 간단한 수정 처리에 의해 에러에 기인하는 화질 열화를 배제할 수 있다.

본 발명(제 6 특징)에 따르면, 제 5 특징에 기재된 동화상 복호화 장치에 있어서, 상기 에러 검출부에서는 상기 비트 스트림의 전송시에 발생한 제 1 에러와 이 제 1 에러 이외의 제 2 에러를 구별해서 검출하고, 상기 복호 화상 수정부에서는 상기 제 1 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에는 상기 복호 화상 데이터를 부호화 처리의 단위 영역에 대응하는 제 1 처리 단위로 수정하고, 상기 제 2 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에는 상기 복호 화상 데이터를 1개의 동기 신호가 부여된 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위로 수정하므로, 상기 제 3 특징의 동화상 복호화 방법과 마찬가지로 형상을 갖는 복호 화상에 있어서의 전송 에러 또는 스트림 에러에 기인하는 화질 열화를 복호 화상 데이터의 수정에 수반하는 화질 열화를 억제하면서 배제할 수 있다는 효과에 부가해서, 비트 스트림이 형상 정보를 갖지 않는 경우에는 에러에 대한 복호 화상 데이터의 수정 처리를 에러의 종류에 따라 효과적으로 실행하여 복호 화상의 화질을 향상시킬 수 있다는 효과가 얻어진다.

본 발명(제 7 특징)에 따른 프로그램 기록 매체에 따르면, 동화상에 대응하는 부호화 데이터와 동기 신호를 포함하는 비트 스트림에 대한 처리를 컴퓨터에 의해 실행하기 위한 프로그램으로서, 상기 비트 스트림의 복호화 처리시 상기 비트스트림의 전송시에 발생한 제 1 에러와 이 제 1 에러 이외의 제 2 에러를 구별해서 검출하고, 상기 제 1 에러가 검출되었을 때에는 상기 복호 화상 데이터를 부호화 처리 단위인 제 1 처리 단위로 수정하고, 상기 제 2 에러가 검출되었을 때에는 상기 복호 화상 데이터를 1개의 동기 신호가 부여된 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위로 수정하는 프로그램을 저장했으므로, 에러가 전송 에러인지 스트림 에러인지에 따라 복호 화상 데이터의 수정 처리를 효과적으로 실행하여 복호 화상의 화질을 향상시킬 수 있는 동화상 복호화 방법을 소프트웨어에 의해 실현할 수 있다.

본 발명(제 8 특징)에 따른 프로그램 기록 매체에 따르면, 동화상에 대응하는 부호화 데이터와 동기 신호를 포함하는 비트 스트림에 대한 처리를 컴퓨터에 의해 실행하기 위한 프로그램으로서, 상기 비트 스트림의 복호화 처리시 상기 스트림의 에러를 검출함과 동시에 상기 비트 스트림이 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에는 상기 복호 화상 데이터의 수정을 상기 동화상을 구성하는 화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에는 상기 복호 화상 데이터의 수정을 부호화 처리의 단위 영역을 1개 이상 포함하는 처리 영역을 수정 단위로 해서 실행하는 프로그램을 저장했으므로, 상기 비트 스트림이 형상 정보를 포함하는 경우에는 복호 화상의 수정 처리에 의한 큰 화질 열화를 초래하지 않고 에러에 기인하는 화질 열화를 배제할 수있으며, 또 상기 비트 스트림이 형상 정보를 포함하지 않는 경우에는 간단한 수정 처리에 의해 에러에 기인하는 화질 열화를 배제할 수 있는 동화상 복호화 방법을 소프트웨어에 의해 실현할 수가 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

Claims (8)

1. 동화상에 대응하는 화상 데이터를 제 1 처리 단위마다 순차 부호화해서 이루어지는 부호화 데이터와, 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 비트 스트림에 대해서, 해당 부호화 데이터를 상기 제 1 처리 단위마다 복호화하여 복호 화상 데이터를 생성하는 복호화 처리를, 상기 동화상의 1화면마다 실시하는 동화상 복호화 방법에 있어서,

   상기 비트 스트림의 전송시에 발생한 제 1 에러와, 해당 제 1 에러 이외의 제 2 에러를 구별해서 검출하는 에러 검출 단계와,

   상기 제 1 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하고, 상기 제 2 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 수정 단계를 포함하되,

   상기 수정 단계는, 상기 비트 스트림의 에러를 수정하는 부분에 상당하는, 복호 대상 화면의 복호 화상 데이터를, 데이터 저장부에 저장되어 있는 복호 처리 완료 화면의 복호 화상 데이터와 치환하는 것을 특징으로 하는 동화상 복호화 방법.
2. 동화상에 대응하는 화상 데이터를 해당 동화상의 1화면을 구성하는 단위 영역마다 순차 부호화해서 이루어지는 부호화 데이터를 포함하는 비트 스트림에 대해서, 상기 부호화 데이터를 상기 단위 영역마다 복호화하여 복호 화상 데이터를 생성하는 복호화 처리를, 상기 1화면마다 실시하는 동화상 복호화 방법에 있어서,

   상기 비트 스트림의 에러를 검출하는 에러 검출 단계와,

   상기 비트 스트림이, 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정 단계와,

   상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에, 상기 복호 화상 데이터의 수정을, 상기 동화상의 1화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에, 상기 복호 화상 데이터의 수정을, 상기 단위 영역을 1이상 포함하는, 상기 화면보다 작은 처리 영역을 수정 단위로 해서 실행하는 수정 단계를 포함하되,

   상기 수정 단계는, 상기 비트 스트림의 에러를 수정하는 부분에 상당하는, 복호 대상 화면의 복호 화상 데이터를, 데이터 저장부에 저장되어 있는 복호 처리 완료 화면의 복호 화상 데이터와 치환하는 것을 특징으로 하는 동화상 복호화 방법.
3. 제 2 항에 있어서,

   상기 비트 스트림은, 상기 단위 영역에 대응하는 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하며,

   상기 에러 검출 단계는, 상기 스트림의 전송시에 발생한 제 1 에러와, 해당 제 1 에러 이외의 제 2 에러를 구별해서 검출하며,

   상기 수정 단계는, 상기 형상 정보를 갖고 있지 않은 스트림의 제 1 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하고, 상기 형상 정보를 갖고 있지 않은 스트림의 제 2 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 것을 특징으로 하는 동화상 복호화 방법.
4. 동화상에 대응하는 화상 데이터를 제 1 처리 단위마다 순차 부호화해서 이루어지는 부호화 데이터와, 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 비트 스트림에 대해서 복호화 처리를, 상기 동화상의 1화면마다 실시하는 동화상 복호화 장치에 있어서,

   상기 비트스트림에 포함되는 부호화 데이터를 상기 제 1 처리 단위마다 복호화하여 복호 화상 데이터를 생성하는 복호화기와,

   상기 복호화기에서 생성된 복호 화상 데이터를 저장하는 데이터 저장부와,

   상기 비트스트림의 전송시에 발생한 제 1 에러를 검출하는 제 1 에러 검출기와,

   상기 제 1 에러 이외의 제 2 에러를 검출하는 제 2 에러 검출기와,

   상기 제 1 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하는 제 1 수정부와,

   상기 제 2 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 제 2 수정부를 구비하되,

   상기 각 수정부는, 상기 비트 스트림의 에러를 수정하는 부분에 상당하는, 복호 대상 화면의 복호 화상 데이터를, 상기 데이터 저장부에 저장되어 있는 복호 처리 완료 화면의 복호 화상 데이터와 치환하여, 상기 복호 화상 데이터의 수정을 실행하는 것을 특징으로 하는 동화상 복호화 장치.
5. 동화상에 대응하는 화상 데이터를 해당 동화상의 1화면을 구성하는 단위 영역마다 순차 부호화해서 이루어지는 부호화 데이터를 포함하는 비트 스트림에 대해서 복호화 처리를, 1화면마다 실시하는 동화상 복호화 장치에 있어서,

   상기 비트 스트림에 포함되는 부호화 데이터를 상기 단위 영역마다 복호화하여 복호 화상 데이터를 생성하는 복호화기와,

   상기 복호화기에서 생성된 복호 화상 데이터를 저장하는 데이터 저장부와,

   상기 비트 스트림의 에러를 검출하는 에러 검출부와,

   상기 비트 스트림이, 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정부와,

   상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에, 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에, 상기 복호 화상 데이터의 수정을, 상기 단위 영역을 1개 이상 포함하는, 상기 화면보다 작은 처리 영역을 수정 단위로 해서 실행하는 복호 화상 수정부를 구비하되,

   상기 복호 화상 수정부는, 상기 비트 스트림의 에러를 수정하는 부분에 상당하는, 복호 대상 화면의 복호 화상 데이터를, 상기 데이터 저장부에 저장되어 있는 복호 처리 완료 화면의 복호 화상 데이터와 치환하여, 상기 복호 화상 데이터의 수정을 실행하는 것을 특징으로 하는 동화상 복호화 장치.
6. 제 5 항에 있어서,

   상기 비트 스트림은 상기 단위 영역에 대응하는 제 1 처리 단위를 여러 개포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하며,

   상기 에러 검출부는,

   상기 비트 스트림의 전송시에 발생한 제 1 에러를 검출하는 제 1 에러 검출기와,

   상기 제 1 에러 이외의 제 2 에러를 검출하는 제 2 에러 검출기를 구비하며,

   상기 복호 화상 수정부는,

   상기 형상 정보를 갖고 있지 않은 스트림의 제 1 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하는 제 1 수정기와,

   상기 형상 정보를 갖고 있지 않은 스트림의 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 제 2 수정기와,

   상기 형상 정보를 갖는 비트 스트림의 제 1 에러 또는 제 2 에러가 검출되었을 때에 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하는 제 3 수정기를 구비하는 것

   을 특징으로 하는 동화상 복호화 장치.
7. 동화상에 대응하는 화상 데이터를 제 1 처리 단위마다 순차 부호화해서 이루어지는 부호화 데이터와, 상기 제 1 처리 단위를 여러 개 포함하는 제 2 처리 단위마다 상기 부호화 데이터에 부여된 동기 신호를 포함하는 비트 스트림에 대한 데이터 처리를 컴퓨터에 의해 실행하기 위한 프로그램을 저장한 프로그램 기록 매체에 있어서,

   상기 데이터 처리는,

   상기 비트 스트림에 포함되는 부호화 데이터를 상기 제 1 처리 단위마다 복호화하여 복호 화상 데이터를 생성하는 복호화 단계와,

   상기 비트 스트림의 전송시에 발생한 제 1 에러와, 해당 제 1 에러 이외의 제 2 에러를 구별해서 검출하는 에러 검출 단계와,

   상기 제 1 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 1 처리 단위를 수정 단위로 해서 실행하고, 상기 제 2 에러가 검출되었을 때에, 상기 복호 화상 데이터의 수정을 상기 제 2 처리 단위를 수정 단위로 해서 실행하는 수정 단계를 포함하는 것

   을 특징으로 하는 프로그램 기록 매체.
8. 동화상에 대응하는 화상 데이터를 해당 동화상의 1화면을 구성하는 단위 영역마다 순차 부호화해서 이루어지는 부호화 데이터를 포함하는 비트 스트림에 대한 데이터 처리를 컴퓨터에 의해 실행하기 위한 프로그램을 저장한 프로그램 기록 매체에 있어서,

   상기 데이터 처리는,

   상기 비트 스트림에 포함되는 부호화 데이터를 상기 단위 영역마다 복호화하여 복호 화상 데이터를 생성하는 복호화 단계와,

   상기 비트 스트림에 포함되는 에러를 검출하는 에러 검출 단계와,

   상기 비트 스트림이 상기 동화상의 형상을 나타내는 형상 정보를 갖는지의 여부를 판정하는 형상 유무 판정 단계와,

   상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖는다고 판정되었을 때에, 상기 복호 화상 데이터의 수정을 상기 동화상의 1화면을 수정 단위로 해서 실행하고, 상기 비트 스트림의 에러가 검출되고 또한 상기 비트 스트림이 형상 정보를 갖고 있지 않다고 판정되었을 때에, 상기 복호 화상 데이터의 수정을, 상기 단위 영역을 1개 이상 포함하는, 상기 화면보다 작은 처리 영역을 수정 단위로 해서 실행하는 수정 단계를 포함하는 것

   을 특징으로 하는 프로그램 기록 매체.