KR100372127B1 - 화상부호화방법및화상부호화장치 - Google Patents

Abstract

리프레시로 인해 부호량이 무모하게 증가시키지 않으며, 복호 불가능한 경우에 화질악화가 현저한 분할구획에 대해, 복호측으로의 전송에서 전송 데이터의 오류나 결핍이 발생해도, 복호화상의 화질악화를 극히 단시간으로 억제한다.

1 프레임을 복수로 분할하여, 분할구획마다, 시간상관이용 부호화방식, 또는 동일화상내 부호화방식의 어느 한 방식으로 부호화하는 화상부호화장치 또는 방법으로, 각 프레임 또는 수 프레임마다, 복수의 분할구획을 리프레시 대상인 분할구획으로 정하고, 리프레시 대상으로 정해진 분할구획을 동일화상내 부호화장치로 부호화하는 화상부호화장치 또는 방법에 관한 것이다.

그리고, 각 분할구획에 대해, 그 화상내용의 시간변화 특징량을 계산하고, 여기서 구한 각 분할구획마다의 시간변화 특징량을 기초로 하여, 리프레시 대상인 분할구획을 정하는 것을 특징으로 한다.

Description

화상부호화방법 및 화상부호화장치{PICTURE CODING METHOD AND PICTURE CODER}

본 발명은 화상부호화방법 및 화상부호화장치에 관하여, 특히 복호오류가 복수 장의 연속화상에 영향을 주는 것을 방지하기 위한 리프레시 기능의 개선에 관한 것이다.

디지털통신에서, 방대한 정보량을 갖는 동화상 데이터를 송신할 경우, 동화상데이터는 정보를 압축하고 용장성 (冗長性) 을 없애준다. 일반적으로, 표준화되어 있는 동화상 부호화방식 (예를 들어, ITU-T/H. 261 이나 MPG 2 등에서의 동화상 부호화방식) 에서는, 시간적으로 전 (前) 프레임과의 차분을 부호화 (이하, 프레임간 부호화 또는 INTER 모드부호화라고 함) 하여 시간방향의 용장성을 없애거나, 전후의 프레임간의 차분을 취하지 않고, 부호화대상 화상으로 직교 교환하여 부호화 (이하, 프레임내 부호화 또는 INTRA 모드부호화라고 함) 함으로써, 공간방향의 용장성을 없애거나 하는 압축방법을 병용하고 있다.

현재 표준화되어 있는 ITU-T/H. 261 이나 MPG 2 등의 동화상 부호화방식에서는, 1 장의 화상 (프레임) 을 특정 크기 (예를 들어, 16 화소 ×16 화소) 의 구획으로 나누고 (이하, 이 분할구획을 마크로블록이라고 함), 마크로블록단위로 부호화한다. 이렇게 부호화된 마크로블록을 소정 수씩 모아 (예를 들어, 도 2 에서 점선으로 구획된 부분), 이 마크로블록군 간에는, 가변장 (可變長) 부호의 동기를 취하기 위한 동기부호어가 삽입된다. 이러한 구획 단위 (마크로블록군) 는, ITU-T/H. 261 에서는 GOB (Group of Block) 라고 하고, MPEG 2 에서는 슬라이스라고 한다. 이하, 이 명세서에서는, GOB 나 슬라이스와 같은 구획 단위를 슬라이스로 일괄하여 표기한다.

이처럼 압축데이터에는 슬라이스 단위로 동기부호어가 삽입되어 있기 때문에, 데이터의 오류나 결핍이 있었던 슬라이스는 복호할 수 없게 되나, 동기부호어에 의해 그 이후의 슬라이스부터는 복호가 가능해진다.

그러나, INTER 모드로 부호화된 동화상 압축데이터에 오류가 발생하거나, 데이터가 도중에 없어져 버리는 경우에는 복호화상이 크게 왜곡되고, INTER 모드에서는 시간적으로 전 프레임과의 차분이 부호화되어 있으므로, 그 왜곡의 영향은, 후 프레임에도 그대로 연속적으로 전달되어 간다. 예를 들어, 압축데이터에 오류가 발생하지 않은 경우, 도 2 (a) 에서와 같이 복호되는 화상에서도, 4 번째의 슬라이스에 어떠한 오류가 발생하여 제 2 프레임의 일부분이 복호될 수 없는 경우에는, 도 2(b) 에서와 같이, 제 2 프레임뿐만 아니라, 제 3 프레임 이후에도 그 오류의 영향이 전달되게 된다.

이러한 오류에 수반되는 왜곡 (화질악화) 의 후속 프레임으로의 전달을 방지하기 위하여, 부호측에서 일정주기로 이전 프레임을 참조하지 않는 프레임 내의 부호화 (INTRA 모드 부호화) 가 강제적으로 이루어지도록 하는 것이다. 이러한 강제적 INTRA 모드에서의 부호화 동작을 리프레시라고 한다. 리프레시에는, 문헌 『마치다 유타카 (町田豊), 교오부 츠요시 (行武剛) 공저, 「셀 폐기내성 (廢葉耐性) 을 갖는 ATM 화상부호화방식」, 1992 년 화상부호화심포지움』 (1) 에 기재되어 있듯이, 슬라이스 단위로 리프레시하는 INTRA 슬라이스라고 하는 것과, 프레임 단위로 리프레시하는 INTRA 프레임이라고 하는 것이 있고, 문헌명은 생략하나, 마크로블록 단위로 리프레시하는 방법도 있다.

도 3 은 종래의 INTRA 슬라이스의 설명도이다. INTRA 슬라이스에서는, 도 3 에서와 같이, 리프레시하는 소정 수 (도시한 것은 2 개) 의 슬라이스를 프레임마다 순차적으로 변화시킨다. 또한, 도 4 는 종래의 마크로블록 단위에서의 리프레시 방법에 대한 설명도이다. 마크로블록 단위에서의 리프레시에서도, 도 4 에서와 같이, 리프레시하는 소정 수 (도시한 것은 3 개) 의 마크로블록을 프레임마다 순차적으로 변화시킨다.

그러나, 리프레시 단위가 프레임, 슬라이스, 마크로 블록의 어느 것이든, 종래의 리프레시 방법은, 하기의 과제를 안고 있는 것들이었다.

(1) INTER 부호화는, 프레임 상관에 의하여 동적 범위가 축소된 프레임간의 차분신호를 부호화한 것으로, INTRA 부호화와 비교할 때, 부호화의 효율이 양호한 것이다. 리프레시 기능으로 INTRA 를 부호화하는 것은, 그 화상구획 (리프레시 단위) 을 INTER 의 부호화와 비교하여 부호량을 증대시킨다. 이러한 결점을 갖고 있는 리프레시를 실행하려면, 리프레시의 실행에 의한 화질보상이 높아야만 한다.

그런데, 압축데이터에 오류가 있거나, 데이터가 결핍되어 있을 경우, 일반적으로는 정상으로 복호된 과거의 프레임의 그 분할구획 데이터를 사용한다. 이러한 분할구획이 정지면 (停止面) 일 경우, 이러한 데이터의 오류나 결핍에 대한 보상으로 충분한 화질을 얻을 수 있으며, 리프레시를 필요로 하지 않는다.

그러나, 종래의 리프레시 방법에서는, 화상내용과 관계없이, 프레임마다 순차적으로 정해진 분할구획이나 프레임을 리프레시 (INTRA 부호화) 했었기 때문에, 리프레시를 하지 않아도 데이터 오류나 결핍에 대한 화질보상이 충분한 화질 (예를 들어, 정지면) 에 대해서도 리프레시를 하게 될 경우도 발생한다. 이러한 점에서 부호량을 필요 이상으로 증가시키고, 전송효율을 저하시키고 있었다.

(2) 상기의 도 2 (b) 에서와 같이, 동화상영역에 관련되는 압축데이터 부분에 데이터의 오류나 결핍이 발생했을 경우, 데이터의 오류나 결핍에 의한 화질악화가 현저하게 나타난다. 따라서, 화질영역에 발생한 데이터의 오류나 결핍의 후속 프레임으로의 전달은, 신속히 차단하는 것이 바람직하다. 이런 점에서 볼 때, 동일한 화상구획에 대한 리프레시 주기를 짧게 해주는 것이 바람직하다. 그러나, 리프레시 주기를 짧게 할 경우, 전송부호량이 증대하므로, 이러한 해결방법을 채용할 수는 없다.

그래서, 동화상 영역에 관련되는 압축데이터 부분에 데이터의 오류나 결핍이 발생하여 화질이 현저하게 악화되어도, 그 화상구획에 대한 리프레시가 이루어지는 것을 기다려야 하며, 경우에 따라서는 화질악화 시간이 상당히 길어질 수도 있다.

도 1 은 제 1 실시예의 장치구성을 나타내는 블록도.

도 2 는 리프레시 동작의 필요성에 대한 설명도.

도 3 은 종래의 리프레시 방법 (1) 에 대한 설명도.

도 4 는 종래의 리프레시 방법 (2) 에 대한 설명도.

도 5 는 제 1 실시예인 정보원부호기의 상세구성예에 대한 블록도.

도 6 은 제 1 실시예에서의 리프레시 처리에 대한 플로우차트.

도 7 은 제 1 실시예에서의 리프레시 대상의 변화예에 대한 설명도.

도 8 은 제 1 의 실시예의 효과에 대한 설명도.

도 9 는 제 2 의 실시예의 장치구성에 대한 블록도.

도 10 은 제 2 의 실시예의 리프레시 처리에 대한 플로우차트.

도 11 은 제 2 의 실시예의 주위의 마크로블록의 인식방법 (1) 에 대한 설명도.

도 12 는 제 2 의 실시예의 주위의 마크로블록의 인식방법 (2) 에 대한 설명도.

도 13 은 제 2 의 실시예에서의 리프레시 대상의 변화예에 대한 설명도.

도 14 는 제 2 의 실시예의 효과에 대한 설명도.

도 15 는 다른 실시예의 설명도 (1).

도 16 은 다른 실시예의 설명도 (2).

※ 도면의 주요부분에 대한 부호의 설명.

100, 100A …… 화상부호화장치

101 …… 정보원부호기

102 …… 상위 n 선택기

105 ……일치판정기

107 ……부호화모드판정기

110 ……SAD 분류기

111 ……주위화상위치선택기

이러한 과제를 해결하기 위해, 제 1 의 본 발명에 있어서는, 1 프레임을 복수로 분할하고, 분할구획마다 시간상관이용 부호화방식 또는 동화상내 부호화방식의 어느 하나로 부호화하는 화상부호화방법으로, 각 프레임 또는 프레임마다, 몇 개의 분할구획을 리프레시 대상의 분할구획으로 정하고, 리프레시 대상으로 결정된 분할구획은 동일화상내 부호화방식으로 부호화되는 화상부호화방법에 있어서, (1) 각 분할구획에 대해, 그 화상내용의 시간변화 특징량을 계산하고, (2) 얻어진 각 분할구획마다의 시간변화 특징량을 기초로하여, 리프레시 대상의 분할구획을 정하는 것을 특징으로 한다.

또한 제 2 의 본 발명에 있어서는, 1 프레임을 복수로 분할하고 분할구획마다 시간상관이용 부호화방식 또는 동일화상내 부호화방식의 어느 하나로 화상부호화수단이 부호화되는 화상부호화장치로, 리프레시 대상 결정수단이 각 프레임 또는 수 프레임마다, 몇 개의 분할구획을 리프레시 대상의 분할구획으로 정하고, 화상부호화수단이 리프레시 대상으로 정해진 분할구획을 동일화상내 부호화방식으로 부호화하는 화상부호화장치에 있어서, 리프레시 대상 결정수단을, 아래와 같이 구성한 것을 특징으로 한다.

즉, 리프레시 대상 결정수단을, (1) 각 분할구획에 대하여, 그 화상내용의 시간변화 특징량을 계산하는 특징량 계산부와, (2) 얻어진 각 분할구획마다의 시간변화 특징량에 따라, 리프레시 대상의 분할구획을 결정하는 리프레시 대상 결정부로 구성된 것을 특징으로 한다.

제 1 과 제 2 의 본 발명에 있어서는, 화상내용의 시간변화의 특징을 기초로하여, 리프레시 대상의 분할구획을 결정하도록 한 것이므로, 복호 불가능한 경우에 화질악화가 현저한 분할구획에 대하여, 복호측으로의 전송으로 데이터의 오류나 결핍이 발생해도, 리프레시로 악화된 화질을 신속히 회복할 수 있게 되며, 리프레시로 인해 전송효율을 저하시키는 일도 없다.

(A) 제 1 의 실시예

이하, 본 발명에 의한 화상부호화방법 및 화상부호화장치의 제 1 의 실시예를 도면을 참조하면서 상술한다. 또한, 이 제 1 의 실시예는 MPEG 2 에 따르는 방법과 장치를 전제로 하는 것이다.

도 1 은 제 1 의 실시예의 화상부호화장치의 기능적 구성을 나타내는 블록도이다.

도 1 에서 이 화상부호화장치 (100) 는, 정보원부호기 (101), 비디오신호 다중화부호기 (102), 송신버퍼 (103), 운송로부호기 (104), 부호화제어기 (109) 와 SAD 분류기 (110) 로 구성되어 있다. 여기에서, 부호화제어기 (109) 는, 상위 n 선택기 (105), 일치판정기 (106), 부호화모드 판정기 (107) 와 양자화 스텝사이즈 판정기 (108) 로 구성되어 있다.

예를 들어, 비디오카메라가 촬영되거나, 기록매체로부터 읽혀지거나 한 비디오신호 (디지털신호) 가 정보원부호기 (101) 로 입력된다. 정보원부호기 (101) 는, 입력된 비디오신호를 INTER 부호화 또는 INTRA 부호화에 의하여 정보원부호화 한다.

도 5 는, 정보원부호기 (101) 의 상세구성예를 나타내는 블록도이다. 또한, 정보원부호기 (101) 는, 입력비디오신호를 슬라이스나 마크로블록으로 분리하며, 그 분할구획마다 부호화처리한다. 따라서, 도시는 생략되어 있으나, 현재, 어떤 슬라이스, 어떤 마크로블록을 처리하고 있는가를 인식하는 처리회로가 존재하고 있다.

도 5에서, 입력된 비디오신호는, 감산기 (200), 신호선택기 (201), 이동벡터검출기 (208) 로 보내어진다. 감산기 (200) 는, 입력된 비디오신호와, 프레임메모리 (207) 에서 들어온 이동보상되기 전의 프레임인 비디오신호와의 차분신호를 반아 신호선택기 (201) 로 보낸다. 신호선택기 (201) 에서는, 부호화모드판정기 (107) 로부터 모드종류신호가 들어오고, 신호선택기 (201) 는, 모드종류신호가 INTER 모드를 지시할 때는, 감산기 (200) 로부터의 차분신호를 선택하고, INTRA 모드를 지시할 때는, 입력된 비디오신호 자체를 선택한다. 신호선택기 (201) 로부터의 출력신호는, 직교변환기의 일종인 DCT 변환기 (이산 코싸인 변환기; 202) 에 의하여 DCT 변환되고, 또한 양자화기 (203) 에 의하여 양자화되며, 압축비디오신호 (부호화데이터) 로서 비디오신호 다중화부호기 (102) 로 들어감과 동시에, 역양자화기 (204) 로 보내어진다.

또한, 양자화기 (203) 와 역양자화기 (204) 가 필요로 하는 양자화스텝 사이즈는, 양자화 스텝사이즈 결정기 (108) 로부터 보내어진다.

압축비디오신호 (부호화데이터) 는, 역양자화기 (204) 와 역 DCT 변환기 (205) 를 거쳐서, 신호선택기 (201) 로부터의 출력신호에 대응한 신호로 국부복호되어 가산기 (206) 로 들어간다. 이 가산기 (206) 에도, 신호선의 도시는 생략되어 있으나, 부호화모드판정기 (107) 로부터의 모드종류신호가 보내어지고 있으며, 모드종류신호가 INTER 모드를 지시하고 있을 때에는, 역 DCT 변환기 (205) 로부터의 출력신호에, 프레임메모리 (207) 로부터의 전 프레임에서의 국부재생 비디오신호를 가산하고, 모드종류신호가 INTRA 모드일 때에는 역 DCT 변환기 (205) 로부터의 출력신호를 그대로 통과시켜 프레임메모리 (207) 로 보낸다. 프레임메모리 (207) 는, 가산기 (206) 로부터의 신호를 다음 프레임의 부호화 처리시에 필요로 하는 전 프레임의 신호 (예측 비디오신호) 로서 격납된다.

이동벡터검출기 (208) 는, 입력비디오신호로부터 이동벡터를 검출하고, 그 검출신호를 프레임메모리 (207) 와 비디오신호 다중화부호기 (102) 로 보낸다. 예를 들어, 종횡으로 ±15 화소만을 이동한 범위 내를 탐색범위로 하고, 감산기(200) 로부터의 차분신호의 분산값이 가장 작아지는 이동벡터를 검출한다. 프레임메모리 (207) 는, 격납동작시 또는 해독동작시의 어느 한쪽에서, 들어온 이동벡터에 기초하는 보상동작을 실행한다.

도 5 는, 부호화라는 관점에서 기능블록으로 나타낸 것이며, 도 5 에 나타난 것 이외에도 정보원보호기 (101) 는 처리기능부를 갖고 있다. 전술한 처리에 필요한 슬라이스나 마크로블록을 인식하는 기능부나, 후술하게 될 INTER 모드, INTRA 모드의 결정처리에 사용하는 정보를 산출하는 기능부를 갖고 있다.

도 1에서, 비디오신호 다중화부호기 (102) 는, 양자화기 (203) 로부터의 압축신호 (부호화데이터) 를 다시 가변장부호화하고, 또한 동기부호어 등의 헤더를 다중화하여 송신하려고 하는 부호열을 완성하여 송신버퍼 (103) 로 보낸다. 헤더를 다중화할 때는, 부호화모드판정기 (107) 로부터의 모드종류신호나, 양자화 스텝사이즈 결정기 (108) 로부터의 양자화 스텝사이즈나, 이동벡터검출기 (208) 로부터의 이동벡터신호 등의 정보도 다중화된다. 송신 버퍼 (103) 에 격납된 송신부호열은, 전송로부호기 (104) 에 의해 전송로부호화되어 송신된다. 전송로부호로는, 예를 들어 BCH 부호 등의 오류정정부호가 사용된다.

송신부호량을 제어하기 위해, 버퍼 속의 격납상태가 송신버퍼 (103) 에서 양자화 스텝사이즈 결정기 (107) 로 통지된다. 양자화 스텝사이즈 결정기 (107) 는, 송신버퍼 (103) 의 격납상태를 토대로 하여, 그 시점에서의 최적의 양자화 스텝사이즈를 결정하고, 상기의 정보원부호기 (101) (양자화기 (203) 및 역양자화기 (204)) 와 비디오신호 다중화부호기 (102) 로 제어신호로서 보낸다.

이상으로 설명한 정보원부호기 (101) 내지 전송로 부호기 (104) 와 양자화 스텝사이즈 결정기 (108) 는, 종래와 같다.

이 제 1 의 실시예의 경우, 이하 상술할 상위 n 선택기 (105), 일치판정기 (106), 부호화모드판정기 (107) 과 SAD 분류기 (110) 로 구성되는 리프레시 기능을 담당하는 구성부분을 특징으로 한다.

즉, 종래에는 화상내용에 관계없이 순차적으로 리프레시하는 프레임 또는 분할구획 (슬라이스 또는 마크로블록) 을 지정했으나, 이 제 1 의 실시예에서는 리프레시하는 분할구획 또는 프레임의 결정에 화상내용을 반영시키는 점이 특징이며, 이러한 특징을 상위 n 선택기 (105), 일치판정기 (106), 부호화모드판정기 (107) 와 SAD 분류기 (110)에서 실시하고 있다. 이하에서는 프레임마다 3 개의 마크로블록을 리프레시하는 것을 설명하기로 한다.

부호화모드판정기 (107) 에는, 종래와 같이 그 마크로블록이 리프레시 대상이 아닐 경우, INTER 모드, 또는 INTRA 모드로의 부호화판정을 할 수 있도록 하는 정보가, 정보원부호기 (101) 로부터 주어지고 있다. 즉, 마크로블록에 대한 모든 화소 (N ×M 화소; 예를 들어 16 ×16 화소) 의 입력비디오신호 (원데이터) 의 값의 분산값 (이하, 원데이터분산값이라고 함) 과, 이동보상이 가장 양호하게 이루어진 상태에서 감산기 (200) 로부터 출력된, 그 마크로블록에 대한 모든 화소의 차분신호 (예측오류데이터) 의 값의 분산값 (최적의 이동벡터의 탐색시에 얻어지는 차분신호의 분산값 중의 최소값으로, 이하, 이동보상차분 데이터분산값이라고 함) 이 부호화모드판정기 (107) 로 보내어진다. 따라서, 리프레시 대상이 아닌 마크로블록을, 이 원데이터 분산값과 이동보상차분 데이터분산값의 비교 (각각, 소정 수를 곱셈 또는 덧셈한 후에 비교해도 무방함) 에 의해, INTER 모드와 INTRA 모드의 어느 모드로 부호화할 것인지를 결정한다. 비디오신호는, 프레임과의 관계가 높은 것으로, 대개의 경우, 이동보상차분 데이터분산값 쪽이 매우 작아지며, INTER 모드로의 부호화에 의해 결정된다.

이 제 1 의 실시예의 경우, 이상과 같은 원데이터 분산값과 이동보상차분 데이터분산값에 더하여, 이동벡터를 0 으로 할 경우에 감산기 (200) 에서 출력될 차분신호 (예측오류데이터) 의 각 마크로블록에서의 분산값 (이하, 위치고정차분 데이터분산값으로 표기하고, 필요시 SAD 로 약기함) 도, 부호화모드판정기 (107) 로 보내어진다. 이 점이 종래와 다르게 되어 있다.

이 위치고정차분 데이터분산값 (SAD) 은, 이동벡터를 0 으로 한 전후의 프레임간의 차분신호의 분산값이므로, 대상인 마크로블록 화상이 동화상부분이면 큰 값을, 대상인 마크로블록 화상이 정지화상 부분이면 작은 값 (이동보상차분 데이터분산값과 같은 것으로 생각됨) 을 취하는 것이 된다. 환언하면, 이 위치고정차분 데이터분산값 (SAD) 이 크다는 것은 그 값이 클수록, 다음 프레임의 마크로블록 화상에 전 프레임과 동일위치에서의 마크로블록의 화상을 적용했을 경우에, 이상한 화상이 된다는 것을 의미한다. 또한, 위치고정차분 데이터분산값 (SAD) 으로서, 통계학상의 분산정의식에 의해 구한 값을 이용하는 대신, 그와 동일한 성격을 갖는 계산된 값을 이용할 수도 있다. 이것은 후술하기로 한다.

부호화모드판정기 (107) 는, 정보원부호기 (101) 로부터 각각 마크로블록에대한 위치고정차분 데이터분산값 (SAD) 을, SAD 분류부 (110) 로 보낸다.

SAD 분류부 (110) 는, 부호화모드판정기 (107) 로부터 주어진 위치고정차분 데이터분산값을 받거나, 1 프레임의 부호화가 종료되었을 때에는, 그 프레임의 모든 마크로블록에 관련된 위치고정차분 데이터분산값을 큰 순서대로 분류한다. 그리고 분류한 결과는 상위 n 선택기 (105) 로 출력한다.

상위 n 선택기 (105) 는, 위치고정차분 데이터분산값 (SAD) 이 큰 쪽의 n 개 (여기서는 n 이 3 이 됨) 의 마크로블록 번호를 인식하여, 일치판정기 (106) 로 출력한다.

일치판정기 (106) 는, 상위 n 선택기 (105) 로부터 주어진 n 개의 마크로블록 번호를 내부에 보유하고, 앞으로 정보원부호기 (101) 가 부호화처리할 마크로블록 번호가, 내장된 n 개의 마크로블록 번호의 어느 것에 일치하는가를 판정한다. 일치판정기 (106) 는, 보유된 n 개의 마크로블록 번호의 어느 것에도 일치하지 않을 경우 불일치를, 보유되어 있을 경우에는 일치를 표시하고, 이 일치 불일치의 신호를 부호화모드판정기 (107) 로 보낸다.

부호화모드판정기 (107) 는, 불일치의 일치불일치 신호가 보내어졌을 때에는, 상기한 대로, 원데이터분산값과 이동보상차분 데이터분산값의 비교하에, INTER 모드와 INTRA 모드 중 어느 모드로 부호화할 것인가를 결정한다. 이에 대해, 부호화모드판정기 (107) 는 일치의 일치불일치 신호가 보내어졌을 때에는, 원데이터 분산값과 이동보상차분 데이터 분산값과의 대소에 관계없이, INTRA 모드로 부호화하기 (즉, 리프레시하기) 로 정하고, 이렇게 하여 정해진 모드의 종류를, 모드종류별신호로서 정보원부호기 (101) 로 보낸다.

실제상으로, 화상부호화처리 (100) 는, 1 또는 2 이상의 반도체칩으로 구성될 때가 많으며, 도 1 에서와 같이 각 기능부가 명확하게 분리된 하드웨어로 구성되는 일은 적고, 하드웨어와 소프트웨어로 조합되어 구성되는 일이 많다.

그러므로, 제 1 의 실시예의 화상부호화장치 (100) 의 동작, 환언하면, 제 1 의 실시예의 화상부호화방법의 처리, 즉 블록 (101~110) 의 처리에 대한 명확한 구별없이, 도 6 의 플로우차트에 따라 설명한다. 도 6 은, 각 프레임에서 3 개의 마크로블록을 리프레시 대상인 마크로블록으로 결정하는 예를 나타내고 있다. 또한, 이것은, 화상부호화 전체를 나타내는 것이 아니라, 제 1 의 실시예의 특징을 이루는 리프레시 동작에 관련된 처리만을 나타내고 있다.

도 6 에서의 처리가 시작되면, 리프레시 대상의 마크로블록의 번호를 지시하는 3 개의 파라메타 UPD 1, UPD 2 와 UPD 3 을 각각, 실제의 마크로 블록 번호로서는 존재하지 않는 값 (도 6 에서는, 「-1」을 사용함) 으로 설정한다 (단계 301). 이러한 설정처리는, 파라메타 UPD 1, UPD 2 와 UPD 3 에 유효한 값이 설정되기까지는, 어떠한 마크로블록에 대해서도 리프레시를 실행시키지 않을 것을 확실히 해놓는다.

한 프레임에서의 처리가 시작되면, 먼저 처리대상인 마크로블록을 규정하는 파라메타 MBK 를 초기치 (「0」; 최초의 마크로블록을 지시함) 로 설정한다 (단계 302).

다음으로 부호화할 프레임이 최초의 프레임인지 아닌지를 판정한다 (단계303).

최초의 프레임이라면, 파라메타 MBK 가 지시하는 마크로블록을 INTRA 모드로 부호화한다 (단계 306). 최초의 프레임이면, 전 프레임과의 차분을 구할 수 없으므로, INTER 모드로 부호화할 수가 없다.

이에 대해, 최초의 프레임이 아니면, 처리대상인 마크로블록에 대한 위치고정차분 데이터분산값 SAD [MBK] 를 계산하여 격납한다 (단계 304). 여기에서, 위치고정차분 데이터분산값 SAD [i] 로서는, 상기한 바와 같이, 현 프레임과 전 프레임의 동일위치인 화소신호의 차분값에 대해여 통계학상의 분산값 정의에 따라 구한 것이어도 관계없으나, 동일기능의 달성을 담보로 한 상태에서 연산의 간단화를 생각할 때, 현 프레임과 전 프레임의 동일위치에서의 화소신호의 차분의 절대값의 총합 (마크로블록의 화소의 총합) 을 이용하는 것이 실제적이다.

위치고정차분 데이터분산값 SAD [MBK] 의 계산, 격납동작이 종료되면, 파라메타 MBK 와, 파라메타 UPD 1, UPD 2 와 UPD 3 와의 일치판정을 행한다 (단계 305). 즉, 파라메타 MBK 에서 규정하고 있는 처리대상인 마크로블록이, 현시점에서의 리프레시 대상인 마크로블록에 해당하는지의 여부를 판정한다.

처리대상 마크로블록이, 현시점에서의 리프레시 대상인 마크로블록에 해당되면, 처리대상 마크로블록을 INTRA 모드로 부호화하고 (단계 306), 리프레시 대상인 마크로블록에 해당되지 않으면, 원데이터 분산값과 이동보상차분 데이터분산값에 따라서 부호화모드를 결정하고, 결정한 INTER 모드 또는 INTRA 모드로 처리대상인 마크로블록을 부호화한다 (단계 307).

또한, 상기한 바와 같이, 종래와 동일한 부호화모드의 결정방법에 의하지 않고 부호화모드를 결정하도록 할 수도 있다. 즉, 이 제 1 의 실시예의 경우, 위치고정차분 데이터분산값 SAD [MBK] 가 이미 얻어진 상태이므로, 이동보상차분 데이터분산값을 이용하지 않고, 다른 방법으로써, 이동보상차분 데이터분산값을 이용하면서, 다시 위치고정차분 데이터분산값 SAD [MBK] 를 이용하여 INTER 모드와 INTRA 모드의 어느 부호화가 적합한지를 설정하도록 할 수도 있다. 위치고정차분 데이터분산값 SAD [MBK] 가 크면 클수록, 현 프레임과 전 프레임의 상관성이 약하다는 것을 나타내므로, 전술한 바와 같이 부호화모드의 결정에 이용할 수가 있다.

이상과 같이 하여, 한 마크로블록에 대한 부호화처리가 종료되면, 파라메타 MBK 와, 1 프레임당의 마크로블록의 값인 MBKS 에서 1 이 작은 MBKS - 1 을 대소비교함으로써, 현재까지의 처리대상이었던 프레임의 모든 마크로블록에 대한 부호화의 종료 여부를 판정한다 (단계 308). 처리 종료 직후인 마크로블록이, 그 프레임의 최후의 마크로블록이 아닐 경우에는, 처리대상인 마크로블록을 규정하는 파라메타 MBK 를 1 증가하여 다음의 마크로블록을 지시하도록 수정한 후 (단계 309), 상기의 단계 303 으로 돌아가, 다음의 마크로블록 처리를 이행한다.

단계 303 내지 단계 308 로 이루어진 처리 루프 (loop) 를 반복 실행함으로써, 현재의 처리대상인 프레임의 최후의 마크로블록에 대한 부호화처리도 마침내 종료한다. 이렇게 하여, 현재의 처리대상인 프레임의 최후의 마크로블록에 대한 부호화처리가 종료되면 (상기의 단계 308에서 긍정 결과), 그 프레임이 최후인지 아닌지, 즉 부호화하는 입력화상이 마지막인지 아닌지의 여부를 판정한다 (단계 310).

최후의 프레임이 아니라면, 계산된 모든 위치고정차분 데이터분산값 SAD [i] (i=0~MBK-1) 를 큰 순서로 재배열하고, 이 재배열된 위치고정차분 데이터분산값 SAD [j] 에 대응하는 마크로블록 번호를 파라메타 SADNO [j] 에 대입한다 (단계 (311)). 예를 들어, SADNO [0] 는 현재 부호화된 프레임 내에서 가장 큰 위치고정차분 데이터분산값 SAD를 갖는 마크로블록 번호이며, SADNO [MBKS-1] 는, 가장 작은 위치고정차분 데이터분산값 SAD를 갖는 마크로블록 번호이다.

그 후, 리프레시 대상인 마크로블록을 규정하는 3 개의 파라메타 UPD 1, UPD 2 와 UPD 3 에 각각, 파라메타 SADNO [0], SADNO [1] 또는 SADNO [2] 를 세트시켜 상기의 단계 302 로 돌아가고 (단계 312), 다음 프레임을 처리한다. 즉, 다음 프레임에서 리프레시해야 하는 마크로블록 번호로서, 현재 부호화가 막 끝난 리프레시에 위치고정차분 데이터분산값 (SAD) 가 큰 3 개의 마크로블록을 설정한 후, 다음 프레임의 부호화 처리로 이행한다.

한편, 도 6 에는 명확한 기재가 되어 있지 않으나, 최초의 프레임은, 단계 304에서 위치고정차분 데이터분산값 (SAD) 가 계산된 것이 아니므로, 단계 311 과 312 의 처리를 생략하고 단계 302 로 돌아가도록 되어 있다.

이상과 같은 단계 311 와 단계 312 의 처리에 의해, 이 제 1 의 실시예에선,S 종래와 같이 (도 6 에서와 같이), 리프레시 대상인 마크로블록이 프레임마다 순차적으로 변화하는 것이 아니라, 화상 내에서 자주 움직이는 부분 등의위치고정차분 데이터분산값 (SAD) 이 큰 부분인 마크로블록을, 즉 오류에 의해 데이터가 없어지는 경우에, 상당히 왜곡되어 버리는 부분의 마크로블록을, 도 8 에서와 같이, 각 프레임에서의 리프레시 대상으로 설정할 수 있다. 바꾸어 말하면, 배경과 같이 화상의 움직임이 없는 부분 등의 위치고정차분 데이터분산값 (SAD) 이 작은 부분을, 리프레시 대상으로 하는 일이 없도록 되어 있다.

상기의 단계 302 내지 단계 312 로 이루어지는 처리 루프를 반복함으로써, 최후의 프레임의 부호화처리도 종료되는데, 이 때는 (단계 310에서 긍정 결과), 도 6 에서의 일련의 부호화처리를 종료시킨다.

이상과 같이, 제 1 의 실시예에 의하면, 리프레시 대상인 마크로블록을, 화상내용에 따라 유연하게 변경시키도록 했기 때문에, 복호장치에서 데이터의 오류나 결핍에 의해 복호 불가능한 마크로블록이 발생해도, 그 마크로블록의 화상으로 복호할 수 있었던 과거의 동일위치의 신호를 이용함으로써 좋은 화질을 얻을 수 있다.

즉, 데이터의 오류나 결핍으로 복호 불가능한 마크로블록이 정지화상 부분이라면, 과거의 신호를 이용함으로써 좋은 화질을 얻을 수 있으며, 데이터의 오류나 결핍으로 복호 불가능한 마크로블록이 그 영향이 현저한 동화상 부분이었더라도 곧바로 리프레시되어 그 영향이 장시간에 이르지 못하므로, 아주 짧은 시간에 화질악화를 억제할 수 있다.

도 8 은, 이러한 제 1 의 실시예의 효과를 설명하기 위한 도면이다. 여기에서, 도 8 (a) 는 종래의 화상부호화방법 (리프레시 방법) 에 관한 것이며, 도8 (b) 는 이 제 1 의 실시예의 화상부호화방법 (리프레시 방법) 에 관한 것이다.

종래의 방법으로는, 한 마크로블록에서 일정주기의 마크로블록을 리프레시하기 위해, 복호측에서, 2 프레임의 5 번째의 슬라이스의 일부분 (선두측의 5 개의 마크로블록으로, 일부는 동화상 부분으로 되어 있음) 이, 오류나 결핍으로 인해 복호가 불가능하고, 과거의 복호신호를 이용함으로써 화상이 왜곡되어 버리면, 그 왜곡 부분의 리프레시까지 장시간의 지연이 초래되고, 도 8 (a) 에서와 같이, 복호신호의 왜곡이 장시간 계속된다.

이에 반해, 상기의 제 1 의 실시예에서는 화상에서 자주 움직이는 부분 등의 위치고정차분 데이터분산값 (SAD) 이 큰 부분인 마크로블록을 리프레시 대상으로 하므로, 상기와 마찬가지로 과거의 복호신호를 이용하여 동화상 부분에 왜곡이 발생해도, 그 동화상부분에 왜곡이 발생해도, 그 동화상 부분은 다음의 프레임 (3 프레임) 에서의 리프레시 대상으로서 INTRA 모드로 부호화되어 있으므로, 도 8 (b) 에서와 같이 다음의 프레임 (3 프레임) 에서는 바르게 복호할 수 있으며, 3 프레임의 경우에서부터는 왜곡이 수정된다. 즉, 화질악화 프레임을 아주 적은 수의 프레임 (도 8 의 예에서는 1 프레임) 으로 줄일 수 있다.

한편, 제 1 의 실시예의 경우, 1 프레임당 리프레시 대상 수를 종래보다 증대시킨 것은 아니므로, 부호량의 증대 (전송효율의 저하)를 초래하는 일은 없다.

(B) 제 2 의 실시예

이하, 본 발명에 의한 화상부호화방법 및 화상부호화장치의 제 2 의 형태를 도면을 참조하면서 상술키로 한다. 이것은 이 제 2 의 실시예도 MPEG 2 에 따른 방법 및 장치를 전제로 한 것이다.

도 9 는, 이 제 2 의 실시예인 화상부호화장치의 기능적 구성을 나타내는 블록도로, 상기의 도 1 과 동일하거나 대응하는 부분에는 동일부호를 사용했다.

도 9에서, 이 제 9 의 실시예인 화상부호화장치 (100A) 도, 정보원부호기 (101), 비디오신호 다중화부호기 (102), 송신버퍼 (103), 전송로부호기 (104), 부호화제어기 (109A) 및 SAD 분류기 (110) 로 구성되어 있다. 그러나, 부호화제어기 (109A) 의 상세한 구성은, 제 1 의 실시예와 다르게 되어 있다. 즉, 이 부호화제어기 (109A) 에는, 제 1 의 실시예와 마찬가지로, 일치판정기 (106), 부호화모드판정기 (107) 와 양자화 스텝사이즈 결정부 (108) 로 구성되어 있으나, 상위의 n 선택기 (105) 는 장착되어 있지 않고, 상위의 n 선택기 (105) 대신에, 주위화상위치선택기 (111) 가 장착되어 있다.

주위화상위치선택기 (111) 는, 위치고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록의 번호를 인식함과 동시에, 그 마크로블록 주위의 8 개의 마크로블록의 번호를 인식하여, 일치판정기 (106) 로 출력한다. 또한, 위치고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록이 그 프레임화상 주위의 마크로블록으로 주위에 8 개의 마크로블록이 존재하지 않을 경우에는, 고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록과, 그 주위에 존재하는 마크로블록 번호를 일치판정기 (106) 로 출력한다.

일치판정기 (106) 는, 주위화상위치선택기 (111)에서 들어오는, 기본적으로는 총 9 개의 마크로블록 번호가, 저장된 9 개의 마크로블록의 어느 것에 일치하는가의 여부를 판정한다. 일치판정기 (106) 는, 저장된 9 개의 마크로블록 번호의 어느 것에도 일치하지 않을 경우에는 불일치를 표시하고, 일치하는 마크로블록 번호가 저장되어 있을 경우에는 일치를 표시하는 일치 불일치의 신호를 부호화모드판정기 (107) 로 보낸다.

이상의 것들을 제외하면, 각 기능부는, 제 1 의 실시예와 같이 작동하여 비디오신호를 부호화한다.

이상과 같이, 제 1 의 실시예는, 주로 상위 n 선택기 (105) 의 기능에 의해, 위치고정차분 데이터분산값 (SAD) 이 큰 쪽인 n 개의 마크로블록을 리프레시 대상으로 하는데 비하여, 제 2 의 실시예는, 위치고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록과 그 주위의 마크로 블록을 리프레시 대상으로 하는 점이 다르다.

다음으로, 제 2 의 실시예인 화상부호화장치의 동작, 즉 제 2 의 실시예인 화상부호화방법의 처리에 대하여, 어느 블록 (101~111) 의 처리인가를 약술하기로 하고, 도 10 의 플로우차트에 따라서 설명한다. 도 10 에서는, 도 6 과 동일하거나 대응하는 단계에서는, 동일, 대응부호를 붙였다. 또한, 도 10 에서는, 화상부호화처리의 전체보다는 , 제 2 의 실시예의 특징을 이루는 리프레시 동작에 관련되는 처리만을 나타냈다.

도 10 과 도 6 의 비교를 통해 알 수 있듯이, 제 1 의 실시예에서의 처리와 제 2 의 실시예의 처리는 개략적으로는 동일하다. 단 제 1 의 실시예에 있어서의 단계 301, 305 및 312 의 처리가, 제 2 의 실시예에서는, 다소 변경되어 있다 (각각 단계 301A, 305A, 312A 로 표기한다).

도 10 에서의 처리가 시작되면, 리프레시 대상인 마크로블록 번호를 표시하는 9 개의 파라메타 UPD 1~UPD 9 를 각각, 실제의 마크로블록 번호로서는 존재하지 않는 값 (「-1」) 로 설정한다 (단계 301A). 상기한 대로, 제 2 의 실시예의 경우, 1 프레임당 최대 9 개의 마크로블록이 리프레시 대상이 될 수 있으므로, 리프레시 대상인 마크로블록 번호를 지시하는 파라메타도 9 개 준비되어 있다.

이러한 파라메타 UPD 1~UPD 9 의 최초의 초기설정이 종료되면, 최초의 프레임이 부호화 처리되고, 처리대상인 마크로블록 번호를 규정하는 파라메타 MBK 를 1 증가시키는 것을 통하여 처리대상인 마크로블록을 순차적으로 바꾸면서, 최초의 프레임의 각 마크로블록을 INTRA 모드로 부호화한다 (단계 302 와, 단계 303-306-308-309-303 의 루프). 최초의 프레임의 모든 마크로블록이 부호화처리가 종료되어도, 이 때는 위치고정차분 데이터분산값 (SAD) 이 계산되어 있지 않으므로, 분류처리와 그 결과에 따라 리프레시 대상인 마크로블록을 정하는 처리 (단계 311, 312A) 는 실행되지 않고, 2 번째의 프레임의 처리로 이행한다.

2 번째 이후의 각 프레임의 부호화 처리를 이행하면, 처리대상인 마크로블록 번호를 규정하는 파라메타 MBK 를 1 인크리멘트시킴으로써, 처리대상인 마크로블록을 순차적으로 바꾸고, 각 마크로블록에 위치고정차분 데이터분산값 (SAD) 의 계산 및 리프레시 대상인지를 확인하고, INTER 모드 또는 INTRA 모드로의 부호화를 행한다 (단계 302 와, 단계 303-304-305A-306(또는 307)-308-309-303 의 루프). 또한, 이 제 2 의 실시예의 경우, 1 프레임당의 리프레시 대상인 마크로블록의 값이 9 이므로, 리프레시 대상인가의 확인처리 (단계 305A) 가 제 1 의 실시예와는 약간다르다.

2 번째의 프레임의 경우에는, 파라메타 UPD 1~UPD 9 가 초기설정 그대로이므로, 단계 305A에서 긍정 결과를 얻을 수 있는 것이 아니며, 일반적인 방법에 의해, 부호화모드가 결정된다 (단계 307).

이에 비해, 3 번째 이후의 프레임의 경우에는, 파라메타 UPD 1~UPD 9 에는 유효한 값이 설정되어 있으며, 리프레시가 실행되는 경우도 있을 수 있다 (단계 306).

2 번째 이후의 각 프레임에 대해, 모든 마크로블록의 부호화처리가 종료되었을 때에는, 제 1 의 실시예에서와 같이, 분류처리가 실행된다 (단계 311). 그러나, 그 분류의 결과 (SADNO [j]) 에 따라서, 다음의 프레임에서의 리프레시 대상인 마크로블록을 결정하는 처리가 제 1 의 실시예와는 다르다 (단계 312A).

즉, 제 2 의 실시예의 경우, 기본적으로는, 위치고정차분 데이터분산값이 가장 큰 마크로블록의 번호 SADNO [0] 를 파라메타 UPD 0 의 값으로 설정하고, 번호가 SADNO [0] 인 마크로블록의 주위의 8 개의 마크로블록의 번호를 각각, 파라메타 UPD 1~UPD 8 로 설정한다. 도 11 (a)~(e) 및 도 12 (f)~(i) 는, 단계 312A 에 의한 분류 결과 (SADNO [0]) 에 따른 파라메타 UPD 1~UPD 9 의 수정처리를 보다 정확히 나타내는 것이다. 그러나, 이 경우, 구분하는 그 자체에는 의미가 없으므로, 이 이상의 설명은 생략한다.

여하튼, 이 단계에서 312A 의 처리를 통해서, 위치고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록이 되고, 다음의 프레임 처리에서, 이 마크로블록들은INTRA 모드로의 부호화 (리프레시) 가 실행된다.

이 제 2 의 실시예에서도, 리프레시 대상인 마크로블록마다 순차적으로 변화하는 것이 아니고, 도 13 에서와 같이, 리프레시 대상인 마크로블록이 동적으로 변화한다.

동화상 부분은 1 개의 마크로블록보다 넓은 것이 많으므로, 위치고정차분 데이터분산값 (SAD) 에 따라서, 데이터의 오류나 결핍에 의한 왜곡의 영향이 큰 1 개의 마크로블록을 발견해도 불충분한 것이 많고, 따라서, 이 제 2 의 실시예에 있어서는, 위치고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록 주위의 마크로블록도 리프레시 대상으로 하기로 했다.

이상과 같이, 제 2 의 실시예에 의해서도, 리프레시 대상인 마크로블록을 화상내용과 맞도록 유연하게 변경시키려고 한 것이므로, 복호장치에서 데이터의 오류나 결핍으로 인해 복호 불가능한 마크로블록이 발생해도, 그 마크로블록의 화상으로 복호할 수 있었던 과거의 동일위치의 신호를 이용함으로써 좋은 화질을 얻을 수 있다. 즉, 데이터의 오류나 결핍에 의해 복호 불가능한 마크로블록이 정지화상 부분이면, 과거의 신호를 이용함으로써 좋은 화질을 얻을 수 있으며, 데이터의 오류나 결핍에 의해 복호 불가능한 마크로블록이 그 영향이 현저한 동화상 부분일지라도 즉시 리프레시되어 그 영향이 장시간에 걸치지 않으므로, 화질악화를 아주 단시간에 억제할 수 있다.

특히, 이 제 2 의 실시예의 경우에는, 위치고정차분 데이터분산값 (SAD) 이 가장 큰 마크로블록 뿐만 아니라, 그 주위의 마크로블록도 리프레시 대상이 되므로복호 오류에 의한 화질악화도 최소한으로 할 수 있다.

즉, 데이터의 오류나 결핍에 의해 복호 불가능한 마크로블록 (과거의 신호를 이용해야만 하는 마크로블록) 이 발생했을 경우, 그 주위의 복호는 가능하나, 복호 오류에 의해 화질이 저하된 마크로블록 (오류에 주의하지 않고, 복호해 버린 마크로블록) 이 발생하는 경우가 실제로 많이 일어난다. 리프레시 기능으로, 이러한 복호 오류에 의한 화질악화도 즉시 방지할 수 있다.

도 14 는, 이상과 같은 제 2 의 실시예의 효과를 시각적인 개략도로 나타낸 것으로, 도 14 (a) 가 종래의 방법에 관한 것이고, 도 14 (b) 가 이 제 2 의 실시예에 관한 것이다. 도 14에서, 검게 칠해진 마크로블록이, 복호 오류의 마크로블록을 나타낸다. 이 도 14를 통해, 종래의 방법과 비교해 볼 때, 복호 오류의 마크로블록도 리프레시에 의해 신속하게 화질이 회복되는 것을 알 수 있다.

또한, 이 제 2 의 실시예도, 리프레시 대상 수의 증대를 의도한 것이 아니고, 주위의 마크로블록 수의 선정에 따라서는, 리프레시에 의한 부호량의 증대를 종래와 같은 정도로 할 수 있다.

(C) 기타의 실시예

상기의 각 실시예에서는, 리프레시 단위가 마크로블록이었으나, 슬라이스 등의 다른 분할구획 (마크로블록보다 작은 것도 무관) 의 크기를 리프레시 단위로 할 수도 있다. 또한, 1 프레임당 리프레시 대상의 분할구획도, 상기의 실시예에만 한정되지 않는 것은 물론이다. 또한, 1 프레임당 리프레시 단위의 분할구획도, 물론 상기의 실시예에 한정되는 것은 아니다. 그리고 리프레시 단위가 프레임인 경우에도 본 발명을 적용할 수 있다. 특허청구범위의 표현에서는, 이 리프레시 단위가 프레임인 경우를 제외하고 있는 것처럼 해석될 수 있으나, 특허청구범위의 표현에서는 이 리프레시 단위가 프레임인 경우를 포함하는 것이다.

또한, 상기의 각 실시예에 있어서는, 리프레시 대상 수를 고정시킨 것 (제 2 의 실시예의 경우에도 원칙적으로 고정되어 있음) 으로 보이나, 각 프레임에서 리프레시 대상 수를 변화시킬 수도 있다. 예를 들어, 제 1 의 실시예의 변형으로서, 위치고정차분 데이터분산값 (SAD) 이 한계값을 초과할 수 있는 분할구획을 모두 리프레시 대상으로 할 수도 있다. 또한, 제 2 의 실시예의 변형으로서, 위치고정차분 데이터분산값 (SAD) 이 최대의 분할구획과, 그 주위의 분할구획 중, 위치고정차분 데이터분산값 (SAD) 이 한계값을 초과하는 분할구획을 리프레시 대상으로 할 수도 있다.

다시, 상기의 제 1 의 실시예에서의 리프레시 방법의 기술적 사상을, 종래의 리프레시 방법의 기술적 사상과 결합시킬 수도 있으며, 또한, 제 2 의 실시예에서의 리프레시 방법의 기술적 사상과 결합시킬 수도 있다. 마찬가지로, 상기의 제 2 의 실시예에서의 리프레시 방법을, 종래의 리프레시 방법의 기술적 사상과 결합시킬 수도 있다. 이런 결합의 일례를 도 15에서 보여주고 있다. 도 15 에서는, 제 1 및 제 2 의 실시예에서의 리프레시 방법의 기술적 사상과, 종래의 리프레시 방법의 기술적 사상과의 3 종류를 결합시킨 경우의, 리프레시 대상의 분할구획 (마크로블록) 의 변화를 보여주고 있다.

게다가 상기의 각 실시예에서는, 리프레시 대상인지 아닌지를 결정하는 값인위치고정차분 데이터분산값 (SAD) 을, 부호화하려는 프레임 직전의 2 개의 프레임들의 데이터들로부터 생성되는 것을 보여주고 있을 뿐만 아니라, 부호화하려는 프레임과 그 직전의 프레임의 2 개의 프레임으로 형성할 수도 있으며, 혹은 3 개의 프레임 이상의 정보로 형성할 수도 있다. 또한, 위치고정차분 데이터분산값 (SAD) 도, 통계학상의 분산값에만 한정되지 않는다는 것은 상기한 바와 같고, 그 값도 차분절대값의 총계에 한정되는 것은 아니다. 예를 들어, 원프레임의 마크로블록의 데이터 평균치와, 전 프레임의 동일위치의 마크로블록의 데이터 평균치의 차분절대값 등일 수도 있다. 중요한 것은, 복호시에 데이터의 오류나 결핍으로 인해 과거의 복호신호를 사용했을 경우, 화질을 현저하게 악화시키는 마크로블록을, 다른 마크로블록과 구별할 수 있는 지표값으로하며, 값이 클수록 리프레시 대상으로 하기 힘든 지표값일 수도 있다는 것이다.

또한, 상기의 제 2 의 실시예는, 위치고정차분 데이터분산값 (SAD) 이 최대의 분할구획과, 그 주위의 8 개의 분할구획을 리프레시 대상으로 하는 것을 보여주는 것으로, 주위의 분할구획이 이보다 많거나 적어도 상관없다. 예를 들어, 주위의 분할구획을 한 겹만이 아니고, 두 겹으로 할 수도 있으며, 반대로 주위의 분할구획 중, 특정 방향 (예를 들어, 수직방향이나 수평방향) 의 것만을 리프레시 대상으로 할 수도 있다. 도 16 은, 이러한 일례로서, 수평방향으로 인접하는 주위의 분할구획만을 리프레시 대상으로 하는 경우를 나타낸 것이다.

다시, 상기의 각 실시예에서는, 프레임마다 리프레시 방향을 정하는 것을 나타낸 것으로, 수 프레임마다 리프레시 대상을 정할 수도 있다.

그리고 다시, 상기의 실시예에 있어서는, 리프레시 대상이 아님을 확인한 후, 그 마크로블록을 어느 부호화모드로 부호화할 것인가를 결정하는 것을 나타낸 것이다. 이와 반대로 마크로블록을 어느 부호화모드로 부호화할 것인가를 먼저 결정하고, INTER 모드로 부호화하기로 결정된 마크로블록이 리프레시 대상인지 아닌지를 확인할 수도 있다. 또한, 이 변형예의 연장선상의 변형예로서는, INTER 모드로 부호화하기로 결정된 마크로블록이 리프레시 대상인지 아닌지를 확인할 수도 있다. 또한, 이 변형예의 연장선상의 변형예로서는, INTER 모드로 부호화하기로 결정된 마크로블록 중에서 몇 개를, 위치고정차분 데이터분산치 (SAD) 에 따라 리프레시 대상으로 결정하는 것을 예로 들 수 있다.

또한, 상기의 실시예는, MPEG 2 에 준거한 화상부호화장치와 방법을 의식한 것으로, 본 발명은, 여기에 한정되지 않고 프레임간의 상관성을 이용한 부호화방식 (특허청구범위에서는 시간상관이용 부호화방식으로 기술됨) 과 과거의 프레임 정보를 이용하지 않고, 부호화하는 부호화 방식 (특허청구범위에서는 동일화상내 부호화방식으로 기술됨) 을 병용하고 있는 화상부호화장치와 방법에 널리 적용할 수 있다.

이 경우, 시간상관이용 부호화방식이나 동일화상내 부호화방식도 또한, 상기의 실시예와 같은 것으로 한정시킬 수는 없다. 예를 들어, 시간상관이용 부호화방식으로서, 1 프레임뿐만 아니라, 과거의 수 프레임 정보로부터 예측정보를 형성하는 부호화방식이나, 프레임 상관이 아닌 필드 상관 (또한, 특허청구범위에서의 프레임 용어는, 일반적 정의와 다르나, 경우에 따라서는 필드 개념을 포함하는 것으로 함) 을 이용한 부호화방식 등을 적용할 수도 있고, 동일화상내 부호화방식으로서, 라인 상관을 이용한 부호화방식 등을 적용할 수도 있다. 따라서, 화상프레임의 분할방식이나, 이동벡터의 탐색범위 등이 상기의 실시예에 한정되지 않는 것은 물론이다.

그리고, 리프레시 동작시 이외에는, 항상 시간상관이용 부호화방식으로 부호화하는 것을 원칙으로 하는 화상부호화장치와 방법에도 본 발명을 적용할 수 있다.

이상과 같이, 본 발명의 화상부호화장치와 방법에 의하면, 각 분할구획에 대해, 그 화상내용의 시간상관 특징량을 계산하고, 이 때 얻어진 각 분할구획마다의 시간변화 특징량을 기초로 하여, 리프레시 대상의 분할구획을 결정하도록 한 것이므로, 복호 불가능한 경우에 화질악화가 현저한 분할구획에 대해, 복호측으로의 전송시, 데이터의 오류나 결핍이 발생해도 리프레시로 화질악화를 신속히 회복할 수 있으며, 또한 리프레시로 인해 부호량이 무모하게 증가되는 일도 없다.

Claims (10)

1 프레임을 복수로 분할하고, 분할구획마다, 시간상관이용 부호화방식 또는 동일화상내 부호화방식의 어느 한 방식으로 부호화하는 화상부호화방법으로, 각 프레임 또는 수 프레임마다, 복수의 분할구획을 리프레시 대상의 분할구획으로 결정하고, 이 리프레시 대상으로 결정된 분할구획이 동일화상내 부호화방식으로 부호화되는 화상부호화방법에 있어서,

각 분할구획에 대하여 화상내용의 시간변화 특징량을 계산하고,

구해진 상기 각 분할구획마다의 상기 시간변화 특징량을 기초로 하여, 리프레시 대상의 분할구획을 결정하는 것을 특징으로 하는 화상부호화방법.

제 1 항에 있어서,

상기 시간변화 특징량은,

앞으로 부호화하려고 하는 프레임과 부호화가 종료되기 직전의 프레임의 2 개의 프레임들의 화소데이터들 사이의 차분 절대값, 또는 앞으로 부호화하려고 하는 프레임 직전의 2 개의 프레임들의 화소데이터들 사이의 차분 절대값을 그 분할구획의 모든 화소위치에 대해 누적한 값임을 특징으로 하는 화상부호화방법.

제 1 항 또는 제 2 항에 있어서,

상기 시간변화 특징량이 나타내는 시간변화의 정도가 큰 쪽의 소정 개수의분할구획을 리프레시 대상의 분할구획으로 결정하는 것을 특징으로 하는 화상부호화방법.

제 1 항 또는 제 2 항에 있어서,

상기 시간변화 특징량이 나타내는 시간변화의 정도가 소정의 한계값보다 큰 모든 분할구획을 리프레시 대상의 분할구획으로서 결정하는 것을 특징으로 하는 화상부호화방법.

제 1 항 또는 제 2 항에 있어서,

상기 시간변화 특징량이 나타내는 시간변화의 정도가 큰 쪽의 1 또는 2 이상의 분할구획과, 상기 분할구획의 주위의 분할구획을 리프레시 대상 분할구획으로 결정하는 것을 특징으로 하는 화상부호화방법.

1 프레임을 복수로 분할하고, 분할구획마다 시간상관이용 부호화방식 또는 동일화상내 부호화방식의 어느 한 방식으로 화상부호화수단이 부호화되는 화상부호화장치로서, 리프레시 대상 결정수단이, 각 프레임 또는 수 프레임마다, 여러 분할구획을 리프레시 대상의 분할구획으로 결정하고, 상기 화상부호화수단이 리프레시 대상으로 결정된 분할구획을 동일화상내 부호화 방식으로 부호화하는 화상부호화 장치에 있어서,

상기 리프레시 대상 결정수단은,

상기 각 분할구획에 대하여 그 화상 내용의 시간변화 특징량을 계산하는 특징량 계산부와,

얻어진 상기 각 분할구획마다의 상기 시간변화 특징량을 기초로 하여, 리프레시 대상의 분할구획을 결정하는 리프레시 대상결정부로 이루어진 것을 특징으로 하는 화상부호화 장치.

제 6 항에 있어서,

상기 특징량 계산부가 구하는 상기 시간변화 특징량은,

앞으로 부호화하려고 하는 프레임과 부호화가 종료되기 직전의 프레임의 2 개의 프레임들의 화소데이터들 사이의 차분 절대값, 또는 앞으로 부호화하려고 하는 프레임 직전의 2 개의 프레임들의 화소데이터들 사이의 차분 절대값을 상기 분할구획의 모든 화소 위치에 대해 누적한 값임을 특징으로 하는 화상부호화장치.

제 6 항 또는 제 7 항에 있어서,

상기 리프레시 대상결정부는, 상기 시간변화 특징량이 나타내는 시간변화의 정도가 큰 쪽의 소정 개수의 분할구획을 상기 리프레시 대상의 분할구획으로서 결정하는 것을 특징으로 하는 화상부호화장치.

제 6 항 또는 제 7 항에 있어서,

상기 리프레시 대상결정부는, 상기 시간변화 특징량이 나타내는 시간변화의정도가 소정의 한계값보다 큰 모든 분할구획을 리프레시 대상의 분할구획으로서 결정하는 것을 특징으로 하는 화상부호화장치.

제 6 항 또는 제 7 항에 있어서,

상기 리프레시 대상 결정부는, 상기 시간변화 특징량이 나타내는 시간변화의 정도가 큰 쪽의 1 또는 2 이상의 분할구획과, 상기 분할구획 주위의 분할구획을 리프레시 대상의 분할구획으로서 결정하는 것을 특징으로 하는 화상부호화장치.

Images