KR100269882B1

KR100269882B1 - 영화부호화 및 복호화방법 및 그 장치(image coding and decoding method and related apparatus)

Info

Publication number: KR100269882B1
Application number: KR1019970031113A
Authority: KR
Inventors: 고지 이무라
Original assignee: 모리시타 요이찌; 마쯔시다덴기산교 가부시키가이샤
Priority date: 1996-07-05
Filing date: 1997-07-04
Publication date: 2000-10-16
Also published as: AU2850897A; EP0817500A2; AU699401B2; US6091770A; NO972857D0; KR980013424A; NO972857L; JPH1023415A; EP0817500A3

Abstract

송신부에서, 동작 검출기(202)는 부호화 블록의 동작량을 검출한다. 버퍼(205)는 검출된 동작량을 기억한다. 버퍼 제어기(101)는 쓰기 순서와 반대로 동작량을 읽도록 버퍼(205)를 제어한다. 스위치(215)는 출력 중 하나를 선택한다. 수신부에서, 동기어 검출기(220)는 제1 및 제2 동기어를 식별한다. 주된 프레임 메모리(229)는 실제 복호화된 영상을 기억한다. 제2 프레임 메모리(225)는 실제 복호화된 영상에 해당하는 예측영상을 기억한다. 메모리 제어기(102, 103)는 쓰기 순서와 반대 순서로 해당 프레임 메모리로부터의 부호화 블록에 대한 영상 정보를 읽는다. 스위치(230)는 주 프레임 메모리 또는 제2 메모리(229, 225)의 정보 중 하나를 선택한다.

Description

영상 부호화 및 복호화방법 및 그 장치(IMAGE CODING AND DECODING METHOD AND RELATED APPARATUS)

본 발명은 디지털화된 동영상 신호의 압축 및 전개(compressing and expanding)를 실행하는 동영상 부호화 및 복호화 방법과 그 장치에 관한 것으로, 특히 전송 중에 발생하는 오류에 대하여 내성(耐性)을 가지는 방법 및 장치에 관한 것이다.

우선 종래의 영상 부호화 및 복호화 방법을 개략적으로 설명한다. 동영상 부호화의 기본적인 기술로서, 동작 보상/예측 부호화(motion compensate/predict coding)와 가변길이 부호화(variable-length coding)가 있다. 전송로(transmission line)에서의 전송 오류에 대한 내성(耐性)을 증가시킬 수 있는 전송 기술로서, 복사정보 방식(copy information method)이 있다. 동영상에 대한 표준형식으로서 세계적으로 사용되는 QCIF(Quarter Common Input Format)가 도 6에 나타나 있다. 도 6에 나타낸 QCIF는 휘도 신호(bringhtness singnal)가 가로 176화소 x 세로 144화소로서 구성되어 있다. 일반적으로 입력영상을 16 x 16 화소의 다수의 블록으로 분할하여 이것을 부호화 단위로 한다. 분할된 각 블록을 매크로 블록(macro block)이라 한다. 1 프레임(frame)은 99 매크로 블록으로 구성된다.

다음으로 동작 보상/예측 부호화 방식에 대하여 설명한다. 각 매크로 블록마다, 1 프레임 선의 재생영상과 현재의 매크로 블록을 비교해서 현재의 매크로 블록이 1 프레임 전의 재생영상에 대해 수평 및 수직 방향으로 이동한 양을 계산한다.

이렇게 구해진 이동량을 동작벡터(motion vector)라고 한다.

이 때, 이동 동작(shift operation)은 예측영상을 생성하는 각 매크로 블록에서 독립적으로 실행된다. 더욱 상세하게는, 상기 1 프레임 전의 재생영상이 현재매크로 블록의 동작벡터와 동일한 길이로 평행 이동한다. 이동된 영상은 현재 매크로 블록을 대신하여 예측영상을 만든다.

각 매크로 블록에서 입력영상과 예측영상의 차이가 계산된다. 이러한 차이를 예측오차(predicted differential value)라고 한다. 상기 예측오차를 주파수 영역으로 변환한다. 이러한 변환 방식으로서 이산 코사인변환(Discrete Cosine Transform)이 사용된다. 상기 이산 코사인 변환 계수(이하 코사인 계수)는 양자화시켜 전송한다.

양자화된 값은 역양자화 및 역이산 코사인 변환 처리되어 예측오차로 재생된다. 상기 예측오차는 상기 예측영상에 가산된다. 이와 같이 얻어진 재생영상은 다음의 입력영상에 대한 동작벡터를 계산하거나 예측영상 생성을 위하여 사용된다.

다음으로 가변길이 부호화의 동작을 설명한다. 가변길이 부호화는 계산된 동작벡터 값이나 양자화된 코사인 계수에 대한 처리를 수행한다. 여기서는 동작벡터에서 실행되는 가변길이 부호화를 예로써 설명한다. 각 동작벡터의 발생빈도(occurrence frequency)는 통계적으로 구해진다. 발생빈도가 높은 동작벡터는 짧은 비트(short bit)로 표현하고, 발생빈도가 낮은 동작벡터는 긴 비트(large bit)로 표현한다. 이와 같이 함으로서 전체 발생 부호량을 억제할 수 있다. 상기한 코사인 계수나 기타의 제어정보에 대해서도 마찬가지로, 통계적인 발생빈도를 기준으로 처리함으로서 발생 부호량을 억제할 수가 있다.

다음으로 복사정보 전송에 관하여 설명한다. 복사정보 전송은 각각의 특정정보 전송을 근거로 하고 있다. 더욱 상세하게는, 1 프레임 영상을 표현하기 위하여 중요한 정보를 여러 번 전송하여 전송 중에 발생한 오류에 의한 화질의 열화(deterioration)를 억제하는 것이다. 처음에 전송한 영상정보가 전송오류에 의하여 복호기(decoder)에서 재생할 수 없었을 경우, 두 번째 이후에 전송된 정보를 사용하여 잘못된 영상정보를 대신한다. 따라서 화질의 열화를 효과적으로 억제할 수 있다.

다음으로, 상기 개개의 기술을 사용한 영상 부호화 및 복호화 장치의 종래예에 대하여 도 5를 사용하여 설명한다. 도 5의 송신부에서, 래스터(raster) 매크로변환기(201)는 입력영상을 다수의 매크로 블록으로 변환한다 동작 검출기(202)는 현재 매크로 블록 영상과 이에 대응하는 이전 영상(past image)을 비교해서 현재매크로 블록의 이동량(shift amount)을 나타내는 동작벡터를 검출한다. 1 프레임전의 재생영상을 저장하고 있는 프레임 메모리(203)는 동작벡터를 검출하는 동작검출기(202)로 저장된 영상을 공급한다. 메모리 제어기(204)는 프레임 메모리(203)의 읽기와 쓰기 동작을 제어한다. 버퍼(205)는 동작 검출기(202)로부터 제공된 동작벡터 정보를 저장한다. 버퍼 제어기(206)는 버퍼(205)의 읽기 및 쓰기 동작을 제어한다. 감산기(207)는 래스터 매크로 블록 변환기(201)의 출력과 프레임 메모리(203)의 출력의 차이를 계산한다. 이산 코사인 변환기(208)는 감산기(207)의 출력을 주파수 영역으로 변환한다. 양자화기(quantizer)(209)는 감산기(207)의 출력을 양자화 한다.

양자화기(209)의 출력은 한편으로 역양자화기(210)로 보내진다. 역양자화기(210)의 출력은 역이산 코사인 변환기(211)에 의해 처리된다. 가산기(212)는 역이산 코사인 변환기(211)의 출력을 수신하여 프레임 메모리(203)의 출력에 더한다. 한편으로, 양자화기(209)의 출력은 코사인 계수의 부호화를 위해 가변길이 부호기(213)로 보내진다. 동기어 발생기(sync word generator)(214)는 동기어를 발생하여 송신부로부터 보내진 각 비트열(bit string)의 헤드(head)에 준다. 스위치(215)는 선택적으로 이동 단자를 동작 검출기(202) 또는 버퍼에 연결한다. 가변길이 부호기(216)는 선택된 동작벡터를 부호화 하기 위해 스위치(215)에 연결된다. 멀티플렉서(multiplexor)(217)는 가변길이 부호기(213), 동기어 발생기(217) 및 가변길이 부호기(216)에 각각 연결되어, 가변길이 부호기(213)로부터 발생된 부호화 코사인 계수, 가변길이 부호기(216)로부터 발생된 부호화 동작벡터 및 동기어 발생기(214)로부터 발생된 동기어를 멀티플렉싱(multiplexing) 한다.

도 5에 나타낸 수신부는 송신부로부터 전송된 비트열에 포함되는 동기어의 형태를 검출하는 동기어 검출기(220)로 이루어진다. 가변길이 복호기(221)는 비트열을 수신하여 복호화 코사인 계수와 복호화 동작벡터로 복호화 한다. 역양자화기(222)는 가변길이 복호기(221)로부터 복호화 코사인 계수를 수신하여 이를 양자화한다. 역양자화기(222)의 양자화 출력은 역이산 코사인 변환기(223)로 보내져서 예측오차를 재생한다.

한편, 가변길이 복호기(222)로부터 발생된 복호화 동작벡터는 메모리 제어기(224)로 보내진다. 메모리 제어기(224)의 출력은 1 프레임 전의 재생영상을 저장하는 프레임 메모리(225)로 보내진다. 프레임 메모리(225)의 출력은 2 개의 출력 단자에 선택적으로 연결되는 이동 접점을 가지는 스위치(226)로 보내진다. 스위치(226)의 한 출력 단자는 가산기(227)에 연결된다. 가산기(227)는 역이산 코사인 변환기(223)로부터 생성된 예측오차를 스위치를 통해 보내진 프레임 메모리(225)의 출력에 더한다.

메모리 제어기(228)는 동기어 검출기(220)에 연결되어 동기어 검출기(220)에의해 검출된 동기어에 응답하여 프레임 메모리(229)를 제어한다. 프레임 메모리(229)는 재생된 영상을 저장한다. 이동 접점을 가지는 스위치(230)는 2개의 입력 단자에 선택적으로 연결되어, 한 단자는 프레임 메모리(229)에 연결되어 있고 다른 단자는 스위치(226)의 출력단자에 연결되어 있어서, 프레임 메모리(225)에 저장된 영상 또는 프레임 메모리(229)에 저장된 영상을 선택적으로 출력한다.

다음으로, 도 5에 나타낸 송신부의 각 부분의 동작을 설명한다. 우선 스위치(215)는 1 프레임에 대한 처리가 종료할 때까지, 단자 "a"에 연결되어 있다.

래스터 매크로 블록 변환기(201)는 입력영상을 도 6에 나타낸 16 x 16 화소의 매크로 블록으로 변환한다. 동작 검출기(202)는 래스터 매크로 블록 변환기(201)로부터의 현재의 매크로 블록과 이에 대응하는 프레임 메모리(203)로부터의 저장된 화소값을 받는다. 상기한 바와 같이, 프레임 메모리(203)는 1 프레임 전의 재생영상을 저장하고 있다. 이러한 2 입력 데이터를 근거로 동작 검출기(202)는 현재의 매크로 블록의 동작벡터를 만든다. 이러한 동작벡터는 메모리 제어기(204)와 버퍼(205)에 각각 공급된다. 버퍼 제어기(206)의 제어로, 동작 검출기(202)로부터 보내진 동작벡터는 수신 순서로 버퍼(205)에 연속해서 쓰기가 수행된다.

메모리 제어기(204)는 프레임 메모리(203)로부터의 예측영상을 읽는다. 이러한 예측영상은 동작벡터를 사용하여 만들어진다. 더욱 상세하게, 현재의 매크로 블록은 입력된 동작벡터의 길이와 동일한 양으로 평행 이동한다. 이 때, 상기 이동된 위치에서, 현재의 매크로 블록과 동일한 크기를 가지는 영상이 예측영상으로 읽혀진다.

감산기(207)는 래스트 블록 변환기(201)로부터 입력된 실제 매크로 블록과 이에 대응하는 프레임 메모리(203)로부터 입력된 예측영상 사이의 차(예측오차)를 계산한다. 구해진 예측오차는 이산코사인 변환기(208)에서 코사인 계수에 변환되고, 양자화기(209)에서 양자화 된다. 양자화기(209)의 양자화 출력은 가변길이 부호기(213)와 역양자화기(210)에 입력된다. 양자화 코사인 계수는 역양자화기(210)에 의해 처리되고 가산기(212)에 제공된다. 따라서, 역이산 코사인 변환기(211)의 출력은 프레임 메모리(203)로부터 발생된 예측영상과 더해져서 재생영상을 형성한다. 프레임 메모리(203)는 다음 프레임의 처리를 위해 재생영상을 저장한다.

양자화기(209)로부터 제공된 양자화 코사인 계수는 가변길이 부호기(213)에 의해 가변길이 부호로 변환되고, 동작 검출기(202)로부터 제공된 동작벡터는 가변길이 부호기(216)에서 가변길이 부호로 변환된다. 멀티플렉서(217)는 가변길이 부호기(213), 동기어 발생기(214), 가변길이 부호기(216)의 출력을 멀티플렉싱하고, 가변길이 부호화 코사인 계수와 가변길이 부호화 동작벡터로 이루어지는 1 프레임의 헤드(head)에 주어진 제1 동기어를 가지는 멀티플렉스 출력을 만든다.

상기한 처리가 종료된 후, 스위치(215)는 단자 "b"로 스위칭 된다. 버퍼 제어기(206)는 입력된 순서에 따라 버퍼(205)로부터의 동작벡터 데이터를 읽는다. 읽혀진 동작벡터는 가변길이 부호기(216)에서 가변길이 부호로 변환된다. 제1 동기어와는 다른 제2 동기어가 가변길이 부호화 동작벡터의 헤드에 주어진다. 이러한 동작벡터는 복사정보로서 전송된다. 이러한 실시예에서는 동작벡터가 복사정보로 사용되었으나 다른 정보로 사용하는 것도 가능하다.

상기한 시스템에 의해 전송된 영상정보의 구성을 도 7에서 나타내었다. 도 7에서 M1, M2, M3, ...는 가변길이 부호화 동작벡터 데이터를 나타내고 C1, C2, C3, ...는 가변길이 부호화 코사인 계수 데이터를 나타낸다. 도 7에서와 같이, 제1동기어(즉, 동기어 1)는 제1 에서 제99까지의 매크로 블록의 동작벡터 데이터와 코사인 계수 데이터로 연속적으로 구성된다. 복사정보 전송으로서, 제2 동기어(동기어 2)는 제1 에서 제99의 동작벡터 데이터로 연속적으로 구성된다.

다음으로, 도 5에 나타낸 시스템의 수신부에서의 각 부분의 동작을 설명한다. 수신된 비트열은 동기어 검출기(220)와 가변길이 복호기(221)에 각각 입력된다. 동기어 검출기(220)가 제1 동기어를 검출했을 경우, 스위치(226)는 단자 "a"에 연결된다. 동기어 검출기(220)가 제2 동기어를 검출했을 경우, 스위치(226)는 단자 "b"에 연결된다.

다음으로 제1 동기어 검출 이후의 처리에 대하여 설명한다. 가변길이 복호기(221)는 복호화 코사인 계수와 복호화 동작벡터를 만든다. 복호화 코사인 계수는, 역양자화기(222) 및 역이산 코사인 변환기(223)로 보내져서 예측오차를 재생한다. 한편, 복호화 동작벡터는 메모리 제어기(224)에 입력된다. 메모리 제어기(224)는 프레임 메모리(225)를 제어해서 각 매크로 블록에서 동작벡터와 동일한 양만큼 평행 이동한 위치에 해당하는 영상(예측영상)을 출력한다. 이렇게 구한 예측영상은 가산기(227)에서 예측오차와 더해진다. 메모리 제어기(228)의 제어에 따라, 상기 더해진 데이터는 수신된 순서로 프레임 메모리(229)에 쓰여진다.

다음으로 제2 동기어 검출 이후의 처리에 대하여 설명한다. 제2 동기어를 검출하면, 스위치(226)는 단자 "b"에 연결된다. 메모리 제어기(224)는 복사정보로서 전송된 동작벡터 데이터를 사용하여 제1 매크로 블록으로부터 각 매크로 블록에 해당하는 예측영상을 차례로 출력하도록, 프레임 메모리(225)를 제어한다.

또한, 메모리 제어기(228)는 제1 매크로 블록으로부터 차례로 매크로 블록의 재생영상이 출력되도록 프레임 메모리(229)를 제어한다. 스위치(230)는 프레임 메모리(229)에서의 재생영상 또는 프레임 메모리(225)에서 예측영상 중 하나를 다음의 방법에 따라 선택한다.

즉, 제1 동기어 검출 이후에 재생된 매크로 블록이 전송 오류 등에 의하여 복호화 되지 않았을 때, 스위치(230)는 프레임 메모리(225)에 연결되어 예측영상이 출력되도록 한다. 선택된 영상은 프레임 메모리(225)에 기억되고, 다음 프레임의 예측영상 생성을 위하여 사용된다.

이와 같이, 제1 동기어 검출 이후에 발생된 전송 오류 때문에 특정 매크로 블록의 복호화가 불가능한 경우에도, 실패한 재생영상을 해당 예측영상으로 대치시키는 것이 가능하다. 따라서, 화질의 열화를 억제할 수 있다. 동작벡터가 복사정보로 전송되었을 경우에, 상기 예측영상은 배타적으로 선택될 수 있다. 그러나, 코사인 계수가 복사정보의 일부로 포함될 경우, 재생영상을 선택할 수가 있을 것이다. 따라서 화질의 열화는 발생하지 않을 것이다.

그러나, 상기한 종래 기술에서는 다음과 같은 문제점이 있다. 도 7과 같이, 도 8에는 상기한 시스템의 송신부로부터 전송된 비트열의 구성이 나타나 있고, 여기에는 오류가 포함되어 있다. 비트열을 구성하는 가변길이 부호의 특성으로부터, 오류가 발생한 후의 비트열 복호화는 불가능하게 된다. 도 8에서, 제51 매크로 블록에 오류가 발생했을 때, 다음 매크로 블록(52-99)은 복호화가 불가능한 매크로 블록 정보가 되며, 빗금으로 나타내었다.

또한 당연한 것이지만 복사정보에도 오류가 발생할 수 있다. 동작벡터가 가변길이 부호로 부호화 되기 때문에, 오류 발생 이후의 비트열은 복호화 할 수 없다. 도 8에서, 제75 매크로 블록에서 오류가 발생했을 때, 다음의 매크로 블록(76-99)은 복호화가 불가능한 영역이 되며, 빗금으로 표시하였다.

도 9는 상기한 상황에서 도 5에서의 시스템에 의해 재생된 영상의 공간적 위치를 나타낸다. 백색 또는 빈 영역은, 영상이 오류 없이 정상으로 복호화된 매크로블록을 나타낸다. 우측으로 경사진 빗금 영역은, 실패한 영상을 해당 예측영상으로 대치할 수 있는 매크로 블록을 나타낸다. 좌측으로 경사진 빗금 영역은 복사정보도 없고 복호화도 불가능한 매크로 블록을 나타낸다.

이와 같이 오류가 발생하면, 가변길이 부호화열은 오류 발생 이후의 영역에서 복호화될 가능성이 없다. 따라서, 가변길이 부호화열의 후방에서 정보가 정확하게 복호화될 가능성은, 전방에서의 정보에 비하여 낮게 된다. 이것은 전송된 정보를 효과적으로 사용할 수 없다는 점에서 단점이 된다.

본 발명은, 이와 같은 종래의 과제를 해결하는 것으로서, 전송 오류로 인한 화질 열화를 역제할 수 있는 영상 부호화/복호화 방법 및 그 장치를 제공하는 것을 목적으로 한다.

본 발명은 상기 목적을 달성하기 위하여, 입력영상에 포함된 부호화 정보가 다수 회 전송될 때, 부호화 블록의 전송 순서를 반대로 하는 것을 특징으로 하는, 영상 부호화 및 복호화 방법과 이와 관련된 장치를 제안한다. 이러한 방법은 전송오류에 의한 화질 열화를 억제하는데 효과적이다. 부호화 정보는 가변길이 부호화를 근거로 하고 있다. 가변길이 부호화의 특성에 따라, 오류발생 이후의 비트열의 나머지 부분은 복호화가 불가능하다. 따라서, 비트열의 후방에 위치하는 부호화 블록은 복호화에 실패할 가능성이 높다. 상기한 관점에서, 입력영상이 포함된 정보를 복수 회 전송할 경우에 제N 출력 동작에서 전송되는 부호화 블록의 출력 순서를 제N-1 출력 동작에서의 출력 순서와는 반대로 되게 한다. 이러한 구성으로, 복호화 동작이 실패할 가능성이 높은 부호화 블록의 정보를 비트열의 전방에 위치하게 할수 있다. 따라서, 본 발명은 각 부호화 블록을 정상적으로 복호화할 가능성을 증가시킨다. 이것은 화질 열화를 방지하는데 효과적이다.

제1도는 본 발명의 실시예에 따른 영상 부호화 및 복호화 장치의 구성을 나타내는 블록도.

제2도는 본 발명의 실시예에 따른 제1도에 나타낸 시스템에서 재생된 비트열구성도.

제3도는 제2도의 비트열에 오류가 포함된 상태를 나타내는 비트열 구성도.

제4도는 본 발명의 실시예에 따른, 전송오류에 의해 복호화 할 수는 없으나 해당 복사 정보로 대치된 영역으로 형성된 재생영상의 공간적 위치를 나타내는 도면.

제5도는 본 발명의 영상 부호화 및 복호화 장치에 대한 기본 구성을 나타내는 블록도.

제6도는 동영상에 대한 표준 형식을 나타내는 도면.

제7도는 제5도의 시스템에서 재생된 비트열의 구성도.

제8도는 제5도에 나타낸 비트열에 오류가 포함된 상태를 나타내는 비트열 구성도.

제9도는 제5도의 시스템에서 전송오류에 기인한 복호 불능영역을 형성하는 재생영상의 공간적 위치를 나타내는 도면.

* 도면의 주요부분에 대한 부호의 설명

101 : 1 프레임에 해당하는 영상정보를 기억하는 버퍼를 제어하는 버퍼제어기.

102 : 1 프레임 전의 영상을 기억하고 있는 메모리를 제어하는 메모리 제어기.

103 : 복호화된 영상을 기억하고 있는 메모리를 제어하는 메모리 제어기.

201 : 래스터 매크로 블록 변환기 202 : 동작검출기

203 : 프레임 메모리 204 : 메모리 제어기

205 : 버퍼 206 : 버퍼제어기

207 : 감산기 208 : 이산 코사인 변환기

209 : 양자화기 210 : 역양자화기

211 : 역이산 코사인 변환기 212 : 가산기

213 : 코사인 계수의 가변길이 부호기

214 : 동기어 발생기 215 : 스위치

216 : 동작벡터의 가변길이 부호기 217 : 멀티플렉서

220 : 동기어 검출기 221 : 가변길이 복호기

222 : 역양자화기 223 : 역이산 코사인 변환기

224 : 메모리 제어기 225 : 프레임 메모리

226 : 스위치 227 : 가산기

228 : 메모리 제어기 229 : 프레임 메모리

230 : 스위치

본 발명의 제1 양태에서는 다음과 같은 단계로 이루어지는 영상 부호화 방법을 제공한다. 즉, 입력영상을 다수의 부호화 블록으로 분할하여 이것을 부호화 동작의 단위로 하며(도 6 참조), 각 부호화 블록에 포함된 가변길이 부호화 정보에 대해 각 부호화 블록에서 독립적으로 부호화 동작을 수행하고, 제N-1 출력 동작에서의 출력 순서의 역순으로 제N 출력동작에서의 부호화 블록의 출력 동작을 실행하는 방법과 같이, 입력영상의 부호화 블록에 포함되는 모든 정보 또는 일부의 정보를 출력하는 출력 동작을 반복한다. 이러한 구성으로, 전송로에서 발생되는 오류로 인한 화질 열화를 억제할 수가 있다.

본 발명의 제2 양태에서는 다음과 같은 단계로 이루어지는 영상 복호화 방법을 제공한다. 즉, 각 부호화 블록에 포함된 영상 정보를 복호화하기 위해 입력된 가변길이 부호화 신호를 복호화 하고, 각 부호화 블록에 포함된 복호화 영상 정보를 근거로 재생영상을 재구성하며, 송신부로부터 입력영상에 관한 정보를 복수회수신하고, 이 때 공간적 위치에 있어서 제N 입력 동작에서 입력 및 복호화된 부호화 블록의 순서와 제N-1 입력 동작에서 입력 및 복호화된 부호화 블록의 순서가 서로 반대되는 방법으로 복호화 동작이 실행된다. 이러한 구성으로, 전송로에서 발생하는 오류로 인한 화질 열화를 억제할 수가 있다.

본 발명의 제3 양태에서는 다음과 같은 단계로 이루어지는 영상 부호화 방법을 제공한다. 즉, 입력영상을 다수의 부호화 블록으로 분할하여 이것을 부호화 동작의 단위로 하고, 각 부호화 블록에 포함된 가변길이 부호화 정보에 대해 각 부호화 블록에서 독립적으로 부호화 동작을 수행하고, 복호기에서 유일하게 인식할 수 있으며 부호화 블록의 가변길이 부호화 정보를 수반하는 제1 동기어를 출력하고, 제1 동기어와 다르며 입력영상의 부호화 블록에 포함된 정보의 전부 또는 일부에 대한 가변길이 부호화 정보를 수반하는 제2 동기어를 출력하고(도 2 참조), 이 때 제1 동기어 후의 부호화 블록 출력 순서와 반대되는 순서에 따라 제2 동기어 후의 부호화 블록의 정보가 출력되는 것과 같은 방법으로 출력 동작이 수행된다. 이러한 구성에 따라, 제1 동기어 다음의 블록의 출력 순서는 제2 동기어 다음의 블록의 출력 순서에 대해 공간적 위치가 반대로 될 수가 있다.

본 발명의 제4 양태에서는 다음과 같은 단계로 이루어지는 영상 복호화 방법을 제공한다. 즉, 입력된 비트열에 포함된 서로 다른 제1 및 제2 동기어를 검출하고, 제1 동기어 다음의 가변길이 부호화 정보를 다수의 부호화 블록의 영상 정보로 복호화하고, 부호화 블록에서의 영상 정보를 바탕으로 재생영상을 재구성하며, 이 때 공간적인 위치에 있어서 제2 동기어 이후에 복호화된 부호화 블록의 순서가 제1동기어 이후에 복호화된 부호화 블록의 순서에 반대되게 하는 방법으로 복호화 동작이 수행된다. 이러한 구성으로, 제1 동기어 다음의 블록의 출력 순서가 제2 동기어 다음의 블록의 출력에 대해 공간적 위치가 반대로 되게 할 수 있다. 제1 동기어 다음의 비트열의 후방에 있는 블록은 복호화에 실패할 가능성이 높다. 그러나, 본 발명의 제4 양태에 따르면, 동일한 블록이 제2 동기어 다음의 다른 비트열의 전방에 있다. 따라서, 오류로 인한 비트열 모두에서의 복호화 동작 실패 가능성을 줄일수 있다. 만일 제1 동기어 다음의 블록이 오류로 인하여 복호화할 수 없을지라도, 제2 동기어 다음의 비트열에서 복호화된 정보로 대치할 수 있는 가능성이 높아진다. 따라서, 화질 열화를 효과적으로 억제할 수가 있다.

본 발명의 제5 양태에서는 다음과 같이 형성되는 영상 부호화 장치를 제공한다. 즉, 입력영상을 다수의 부호화 블록으로 분할하는 블록분할 수단(201)과, 부호화 블록에 포함된 입력영상의 정보를 부호화 하는 부호화 수단(209)과, 부호화된 정보를 가변길이 부호로 변환하는 가변길이 부호화 수단(213)과, 부호화된 정보를 기억하는 메모리 수단(205)과 기억된 순서와는 역순으로 메모리 수단에서 정보를 읽어내도록 제어하는 읽기제어 수단(101)과, 부호화된 입력영상의 정보의 헤드에 제1 동기어를 부여함과 동시에, 메모리 수단으로부터 읽은 정보에서 제1 동기어와 다른 제2 동기어를 부여하는 동기어 부여 수단(214)과, 부호화된 정보와 메모리 수단에서 읽은 정보를 선택적으로 출력하는 스위칭 수단(215)으로 이루어진다. 본 발명의 제5 양태에 따라, 메모리 수단은 부호화 정보를 기억하고 읽기제어 수단은 메모리 수단이 기억된 순서의 역순으로 정보를 읽도록 제어한다. 이러한 상호 동작으로, 블록의 정보는 공간적 위치의 순서가 역순으로 읽혀진다. 따라서, 제1 동기어다음의 블록의 순서는 제2 동기어 다음의 블록의 순서에 대해 공간적 위치를 반대로 할 수 있다.

본 발명의 제6 양태에서는, 다음과 같이 형성되는 영상 복호화 장치를 제공한다. 즉, 입력된 신호에 포함되고 서로 다른 제1 및 제2 동기어를 검출하는 동기어 검출 수단(220)과 가변길이 부호열을 복호화 하는 가변길이 복호화 수단(221)과, 가변길이 복호열에 포함되는 정보로부터 부호화 블록을 재구성하는 복호화 수단(222)과, 한 프레임에 해당하는 부호화 블록의 복호화된 정보를 기억하는 제1 메모리 수단(229)과, 1 프레임 전에 재생된 영상을 기억하는 제2 메모리 수단(225)과, 제1 동기어 다음의 부호화 블록의 쓰기 순서 및 읽기 순서가 제2 동기어 다음의 부호화 블록의 쓰기 순서 및 읽기 순서와 반대되게 하는 방법으로 제1 및 제2 메모리 수단을 제어하는 제어 수단(102, 103)과, 제1의 동기어 검출 후에 복호화된 부호화 블록과 제2 동기어 검출 후에 복호화된 부호화 블록을 스위칭 하는 스위칭수단(230)으로 이루어진다. 본 발명의 제6 양태에 따라, 제어 수단은 제1 동기어 다음의 부호화 블록의 쓰기 순서 및 읽기 순서가 제2 동기어 다음의 부호화 블록의 쓰기 순서 및 읽기 순서와 반대되게 하는 방법으로 제1 및 제2 메모리 수단을 제어 한다. 제2 동기어가 검출되었을 때, 1 프레임 앞선 재생영상과 복호화 영상 모두의 블록은 공간적 위치에서 반대되는 순서로 읽혀질 수 있다. 또한, 스위칭 수단은 제1 동기어를 검출한 후에 복호화된 부호화 블록과 제2 동기어를 검출한 후에 복호화된 부호화 블록을 스위칭 한다. 따라서 제1 동기어 다음의 복호화된 블록에서 오류가 있었을 때, 본 발명에서는 제2 동기어 다음의 복호화된 블록으로부터의 해당 블록 정보를 출력한다. 따라서, 화질 열화를 효과적으로 억제할 수가 있다.

이하 본 발명의 실시예를 도면을 사용하여 설명한다.

도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 장치의 구성을 나타낸 것이다. 이러한 구성은 기본적으로 도 5에 나타낸 종래예와 같은 구성이다. 동일 구성 부분에는 동일 번호를 사용하고 있다. 도 1의 송신부에서, 래스터 매크로블록 변환기(201)는 입력영상을 다수의 매크로 블록으로 변환하는 블록 분할 수단의 역할을 한다. 동작 검출기(202)는 현재 매크로 블록 영상과 이전의 영상을 비교하여 현재 매크로 블록의 이동량을 나타내는 동작벡터를 검출한다. 프레임 메모리(203)는 1 프레임 전에 재생된 영상을 저장하고 동작벡터를 검출하는 동작 검출기(202)에 저장된 영상을 제공한다. 메모리 제어기(204)는 프레임 메모리(203)의 읽기 및 쓰기 동작을 제어한다. 버퍼(205)는 메모리 수단의 역할을 하고, 동작 검출기(202)로부터 제공된 동작벡터 정보를 저장한다.

버퍼 제어기(101)는 버퍼(205)의 읽기 및 쓰기 동작을 제어하는 수단의 역할을 한다. 감산기(207)는 래스터 매크로 블록 변환기(201)의 출력과 프레임 메모리(203)의 출력 사이의 차를 구한다. 이산 코사인 변환기(208)는 감산기(207)의 출력을 주파수 영역으로 변환한다. 양자화기(209)는 부호화 수단의 역할을 하며, 감산기(207)의 출력을 양자화 한다.

양자화기(209)의 출력은 또한 역양자화기(210)로 보내진다. 역양자화기(210)의 출력은 역이산 코사인 변환기(211)에 의해 처리된다. 가산기(212)는 역이산 코사인 변환기(211)의 출력을 수신하여 프레임 메모리(203)의 출력에 더한다. 한편, 양자화기(209)의 출력은 가변길이 부호기(213)로 보내지는데, 이것은 코사인 계수를 부호화 하는 가변길이 부호화 수단의 역할을 한다.

동기어 부여 수단의 역할을 하는 동기어 발생기(214)는, 송신부로부터 보내진 각 비트열의 헤드에 부여되는 동기어를 발생한다. 스위칭 수단의 역할을 하는 스위치(215)는 그 이동 단자를 동작 검출기(202) 또는 버퍼(205)에 선택적으로 연결한다. 멀티플렉서(217)는 가변길이 부호기(213), 동기어 발생기(214) 및 가변길이 부호기(213)에 각각 연결되어 가변길이 부호기(213)로부터 발생된 부호화 코사인 계수, 가변길이 부호기(216)로부터 발생된 부호화 동작벡터 및 동기어 발생기로 부터 발생된 동기어를 멀티플렉싱 한다.

도 1에 나타난 수신부는 동기어 검출 수단의 역할을 하는 동기어 검출기(220)를 포함하여 송신부로부터 전송된 비트열에오후 4:27 00-10-02 포함된 동기어의 형태를 검출한다. 가변길이 복호화 수단의 역할을 하는 가변길이 복호기(221)는 상기 비트열을 수신하고 이것을 복호화 코사인 계수와 복호화 동작벡터로 복호화 한다. 복호화 수단의 역할을 하는 역양자화기(222)는 복호화 코사인 계수를 가변길이 복호기(221)로부터 수신하여 양자화 한다. 역양자화기(222)의 양자화 출력은 역이산 코사인 변환기(223)로 보내져서 예측오차를 재생한다.

한편, 가변길이 복호기(221)로부터 발생된 복호화 동작벡터는, 읽기 순서와 쓰기 순서를 반대로 하는 제어 수단의 역할을 하는 메모리 제어기(102)에 보내진다. 메모리 제어기(102)의 출력은 제2 메모리 수단으로서 1 프레임 전에 재생된 영상을 저장하는 프레임 메모리(225)로 보내진다. 프레임 메모리(225)의 출력은 2 개의 출력 단자와 선택적으로 연결되는 이동 접점을 가지는 스위치(226)로 보내진다.

스위치의 한 출력 단자(226)는 가산기(227)에 연결된다. 가산기(227)는 스위치(226)를 통해 보내진 프레임 메모리(225)의 출력에 역이산 코사인 변환기(223)로부터 생성된 예측오차를 더한다.

읽기 순서와 쓰기 순서를 반대로 하는 제어 수단의 역할을 하는 메모리 제어기(103)는 동기어 검출기(220)에 연결되어 프레임 메모리(229)를 동기어 검출기(220)에 의해 검출된 동기어에 따라 제어한다. 주메모리 수단으로서 프레임 메모리(229)는 재생영상을 저장한다. 이동 접점을 가지는 스위치(230)는 2 개의 단자에 선택적으로 연결되는데 하나는 프레임 메모리(229)에 연결되고 다른 하나는 스위치(226)의 출력 단자에 연결되어, 프레임 메모리(225)에 저장된 영상 또는 프레임 메모리(229)에 저장된 영상 중 하나를 선택적으로 출력시킨다.

본 실시예는 버퍼 제어기(101), 메모리 제어기(102) 및 메모리 제어기(103)에서 제어가 수행된다는 점에서 도 5의 시스템과는 다르다. 버퍼 제어기(101)의 제어는 입력 또는 수신 순서로 버퍼(205)에 쓰여진 동작벡터가 쓰여진 순서와는 반대의 순서로 읽혀진다는 점에서 도 5에 나타낸 버퍼 제어기와 다르다. 이러한 제어로서, 복사 정보가 복호화될 때, 읽기 순서가 반대로 된다. 더욱 상세하게는, 제1 매크로 블록에 대한 제99 동작벡터가 이러한 순서로 연속적으로 읽혀지고, 이것들은 공간적 위치에서 반대로 위치하고 있다.

이와 같이, 메모리 제어기(102)는 제1 동기어 검출에 응답하고 해당 동작벡터를 사용하여 제1에서 제99 매크로 블록의 순서로 예측영상을 생성하도록 프레임 메모리(225)를 제어한다. 한편, 제2 동기어가 검출되었을 때, 메모리 제어기(102)는 해당 동작벡터를 사용하여 제99에서 제1 매크로 블록의 순서(즉 반대 순서)로 예측영상을 생성하도록 프레임 메모리(225)를 제어한다.

이와 같이, 메모리 제어기(103)는 제1 동기어 검출에 응답하고 제1에서 제99매크로 블록의 순서로 복호화 영상의 쓰기를 실행하도록 프레임 메모리(229)를 제어한다. 한편, 제2 동기어가 검출되었을 때, 메모리 제어기(103)는 제99에서 제1매크로 블록의 반대 순서로 복호화 영상의 쓰기를 수행하도록 프레임 메모리(229)를 제어한다. 이러한 제어를 수행함으로서, 오류로 인하여 복호화에 실패할 확률이 높은 매크로 블록을 복사정보를 사용하여 대치 가능성을 높일 수 있다. 그 결과, 화질 열화를 효과적으로 억제할 수 있다. 도 2는 상기한 본 발명에 따른 시스템에 의해 전송된 비트열의 구성을 나타낸다. 도 2에서 알 수 있듯이, 제1 동기어(동기어 1)에서는 동작 벡터(M1, M2, M3, ...)와 코사인 계수(C1, C2, C3, ...)가 제1에서 제99 매크로 블록의 순서에 따라 교대로 구성되어 있다. 첨부한 숫자는 도 6에 주어진 영상 공간에서 각각의 매크로 블록의 공간적인 위치를 나타내고 있다. 제2 동기어(동기어 2)에서는 제99에서 제1 매크로 블록까지의 반대 순서로 구성된 동작벡터만으로 이루어진 복사 정보가 있다. 이와 같이 동기어 2의 비트열은 동기어 1의 비트열과 비교해서 매크로 블록의 공간적 위치가 반대로 되어 있다.

이와 같은 비트열의 구성을 적용함으로서, 도 8에서 나타낸 것과 같은 오류가 발생했을 경우에 화질 열화를 효과적으로 억제할 수 있다. 도 3은 오류가 포함된 비트열의 구성을 나타낸다. 제51 매크로 블록에 오류가 발생했을 경우에, 다음의 매크로 블록(52-99)은 복호화할 수 없는 매크로 블록 정보로서 빗금으로 나타내고 있다.

이러한 실시예에 따라, 복사 정보는 공간적 위치가 반대 순서로 구성된 매크로 블록으로 이루어진다. 도 3의 예에서는, 복사 정보의 제31 매크로 블록에 오류가 발생했을 경우를 나타내고 있다. 따라서, 제99에서 제32 매크로 블록의 동작벡터는 정확히 복호화되고 대치가 가능하다. 즉, 동기어 2의 비트열의 바르게 복호화된 매크로 정보 중에서, 제52에서 제99 매크로 블록에 대한 동작벡터는 동기어 1의 비트열의 실패한 매크로 블록 정보를 위해 대치되는 예측영상을 생성하는데 사용될 수 있다.

도 3과 같은 상황에서 도 5에 나타낸 시스템으로 재생된 영상의 공간적 위치가 도 4에 나타나 있다. 백색 또는 빈 영역은 오류 없이 영상이 정상으로 복호화된 매크로 블록을 나타낸다. 빗금 영역은 실패한 영상이 예측영상으로 대치되는 매크로 블록을 나타내고 있다. 도 4와 도 9의 비교로부터, 본 발명에서는 복호화 동작이 실패한 영역이 없고, 또한 복사정보를 이용할 수 있는 영역도 없음을 명백히 알 수 있다.

이와 같이 전송 오류에 의해 정보가 정확히 복호화될 수 없을 가능성은 비트열의 후방에 위치하는 매크로 블록에서 일반적으로 증가한다. 그러나, 본 발명에 따르면, 실패한 매크로 블록 정보에 해당하는 복사 정보가 비트열의 전방에 배치되어 있다. 그러므로, 오류에 의해 매크로 블록 정보가 복호화될 수 없을 가능성은 감소될 수 있다. 따라서 화질의 열화를 효과적으로 억제할 수 있다.

상기한 실시예에서 알 수 있듯이, 오류로 인해 복호화 할 수 없을 가능성이 높은 매크로 블록에 대해서 복사 정보로의 대치 가능성을 높일 수 있다. 이것은 화질 열화를 억제하는데 효과적이다.

Claims

영상 부호화 방법에 있어서, 입력영상을 다수의 부호화 블록(도 6에서 매크로 블록 #1에서 #99까지)으로 분할하여 부호화 동작의 단위로 사용하는 단계, 각 부호화 블록에 포함된 가변길이 부호화 정보에 대해 각 부호화 블록에서, 독립적으로 부호화 동작을 수행하는 단계, 및 상기 입력영상의 상기 부호화 블록에 포함되는 모든 또는 일부의 정보를 출력하는 출력 동작을 반복하는 단계를 포함하며, 제N 출력 동작에서의 상기 부호화 블록의 출력 동작은 제N-1 출력 동작에서의 출력 순서의 역순으로 실행되는 것을 특징으로 하는 영상 부호화 방법.
영상 복호화 방법에 있어서, 입력영상의 각 부호화 블록에 포함된 영상 정보를 복호화하기 위해 입력 가변길이 부호화 신호를 복호화하는 단계, 각 부호화 블록에 포함된 복호화 영상 정보를 근거로 재생영상을 재구성하는 단계, 및 송신부로부터 상기 입력영상에 관한 정보를 다수 횟수로 수신하는 단계를 포함하며, 공간적 위치에 있어서 제N 입력 동작에서 입력 및 복호화된 부호화 블록의 순서가 제N-1 입력 동작에서 입력 및 복호화된 부호화 블록의 순서와 서로 반대되는 방법으로 복호화 동작이 실행되는 것을 특징으로 하는 영상 복호화 방법.
제1항에서, 상기 부호화 불록의 가변길이 부호화 정보를 수반하며 복호기에서 유일하게 인식할 수 있는, 제1 동기어를 출력하는 하나의 출력동작을 실행하고, 상기 입력영상의 부호화 블록에 포함된 정보의 전부 또는 일부에 대한 가변길이 부호화 정보를 수반하며 상기 제1 동기어와는 다른, 제2 동기어를 출력하는 다른 출력동작을 실행하며, 상기 제2 동기어 다음의 부호화 블록의 정보는 상기 제1 동기어 다음의 부호화 블록의 출력 순서와 반대되는 순서에 따라 출력되는 것을 특징으로 하는 영상부호화 방법.
제2항에서, 입력 비트열에 포함된 서로 다른 제1 및 제2 동기어를 검출하는 단계, 상기 제1 동기어 다음의 가변길이 부호화 정보를 다수의 부호화 블록의 영상 정보로 복호화하는 단계, 및 상기 부호화 블록에서의 영상 정보를 바탕으로 재생영상을 재구성하는 단계를 더 포함하며, 공간적 위치에 있어서 상기 제2 동기어 이후에 복호화된 부호화 블록의 순서가 상기 제1 동기어 이후에 복호화된 부호화 블록의 순서에 반대되게 하는 방법으로 복호화 동작이 수행되는 것을 특징으로 하는 영상 복호화 방법.
영상 부호화 장치에 있어서, 입력영상을 다수의 부호화 블록으로 분할하는 블록분할 수단(201), 상기 부호화 블록에 포함된 입력영상의 정보를 부호화 하는 부호화 수단(209), 부호화된 정보를 가변길이 부호로 변환하는 가변길이 부호화 수단(213), 부호화된 정보를 기억하는 메모리 수단(205), 상기 메모리 수단에서 기억된 순서와는 역순으로 정보를 읽어내도록 제어하는 읽기제어 수단(101), 부호화된 입력영상의 정보의 헤드에 제1 동기어를 부여함과 동시에, 상기 메모리 수단으로부터 읽은 정보에서 상기 제1 동기어와 다른 제2 동기어를 부여하는 동기어 부여 수단(214), 및 상기 부호화된 정보와 상기 메모리 수단에서 읽은 상기 정보를 선택적으로 출력하는 스위칭 수단(215)을 포함하는 것을 특징으로 하는 영상 부호화 장치.
영상 복호화 장치에 있어서, 입력된 신호에 포함되고 서로 다른 제1 및 제2 동기어를 검출하는 동기어 검출 수단(220), 가변길이 부호열을 복호화하는 가변길이 복호화 수단(221), 상기 가변길이 복호열에 포함되는 정보로부터 부호화 블록을 재구성하는 복호화 수단(222), 한 프레임에 해당하는 부호화 블록의 복호화된 정보를 기억하는 제1 메모리수단(229), 한 프레임 전에 재생된 영상을 기억하는 제2 메모리 수단(225), 제1 동기어 다음의 부호화 블록의 쓰기 순서 및 읽기 순서가 제2 동기어 다음의 부호화 블록의 쓰기 순서 및 읽기 순서와 반대되게 하는 방법으로 상기 제1 및 제2 메모리 수단을 제어하는 제어 수단(102, 103), 및 상기 제1 동기어 검출 후에 복호화된 부호화 블록과 상기 제2 동기어 검출후에 복호화된 부호화 블록을 스위칭 하는 스위칭 수단(230)을 포함하는 것을 특징으로 하는 영상 복호화 장치.