KR101078038B1

KR101078038B1 - 영상 부호화 방법 및 복호 방법, 그 장치와 그 프로그램, 및 프로그램을 기록한 기억 매체

Info

Publication number: KR101078038B1
Application number: KR1020097006463A
Authority: KR
Inventors: 유키히로 반도; 가즈토 가미쿠라; 요시유키 야시마
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2006-10-10
Filing date: 2007-10-05
Publication date: 2011-10-28
Also published as: JPWO2008044637A1; EP2448270A1; BRPI0719239A2; US20100067579A1; CN101523923A; JP5106408B2; CA2665182A1; EP2448269A1; CN101523923B; CN103188492A; CN103188492B; EP2066134A1; TWI372565B; US9055303B2; WO2008044637A1; TW200824467A; KR20090057297A; RU2430485C2; EP2066134A4; RU2009111880A

Abstract

2신호 성분 이상으로 이루어진 영상 신호를 부호화 대상으로 하는 영상 부호화 방법으로서, 프레임 내의 성질에 따라 프레임의 사전에 결정된 신호 성분에 대한 다운샘플링비를 설정하는 과정과, 상기 설정한 다운샘플링비에 따라 프레임의 사전에 결정된 신호 성분을 다운샘플링함으로써 부호화 대상 영상 신호를 생성하는 과정을 구비한다. 프레임 내의 국소적인 성질에 따라 프레임을 부분 영역으로 분할하고 각 부분 영역 내의 성질에 따라 해당 부분 영역의 사전에 결정된 신호 성분에 대한 다운샘플링비를 설정하도록 해도 좋다.

영상, 부호화, 복호화

Description

영상 부호화 방법 및 복호 방법, 그 장치와 그 프로그램, 및 프로그램을 기록한 기억 매체{Video encoding method and decoding method, their device, their program, and storage medium containing the program}

본 발명은 2신호 성분 이상으로 이루어진 영상 신호를 부호화 대상으로 하는 영상 부호화 방법 및 그 장치와, 그 영상 부호화 방법에 의해 생성된 부호화 데이터를 복호하는 영상 복호 방법 및 그 장치와, 그 영상 부호화 방법의 실현에 사용되는 영상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체와, 그 영상 복호 방법의 실현에 사용되는 영상 복호 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.

본원은, 2006년 10월 10일에 출원된 일본특원2006-276074호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

H.264/AVC를 비롯한 동영상의 표준 부호화 방식에서 입력 영상의 색차 성분은 휘도 성분에 비해 다운샘플링된(즉, 휘도 성분의 샘플링 주파수보다 낮은 주파수로 리샘플링된) 신호가 사용되었다. 4:2:2,4:2:0,4:1:1포맷이라고 불리는 영상 포맷이 이에 해당한다.

이러한 색차 성분을 리샘플링한 영상 포맷은 휘도 성분에 비해 색차 성분에 대한 시각 감도가 낮다는 생리학적인 식견에 기초한 것으로서, 영상의 정보량 삭감, 촬상 디바이스의 저비용화 목적으로 도입되었다(예를 들면, 비특허문헌 1, 2 참조).

한편, 영상의 고화질화에 대한 기대가 상승함에 따라 색차 신호를 리샘플링하지 않은 4:4:4포맷 영상이 주목을 모으고 있다. 예를 들면 JVT(Joint Video Team)에서는 H.264에 대한 신profile(advanced 4:4:4profile)의 책정이 진행되고 있다.

비특허문헌 1:“YUV4:2:0포맷 컬러 화상의 색차 성분 보간법“, 스기타 히로시, 다구치 료, 신학론(信學論), Vol.J88-A, No.6, pp.751-760, 2005

비특허문헌 2:“적응적 직교 변환에 의한 컬러 화상 압축―소트(sort)된 사전에 의한 고속화-“, 미우라 다카시, 이타가키 후미히코, 요코야마 아키히코, 야마구치 모모에, 신용학론, Vol.J85-D2, No.11, pp.1672-1682, November 2002

색차 성분의 다운샘플링은, 주관 화질의 저하를 억제하면서 부호량을 줄이는 유효한 수단이다. 그러나 화상의 내용에 따라서는 주관적인 화질 열화 없이 더 다운샘플링할 수 있는 경우도 있다. 반면 화상의 내용에 따라서는 프레임 내의 색차 성분을 똑같이 다운샘플링했어도 4:4:4포맷 영상의 고화질이 손상되는 경우도 있다.

화상 신호의 성질은 프레임마다 변화되며 나아가 프레임 내에서도 국소적인 변화를 동반한다. 이러한 변화에 따라 색차 성분에 대한 시각 감도도 변화된다. 예를 들면 화소값이 작은(어두운) 프레임(혹은 영역)에서는 화소값이 큰(밝은) 프레임(혹은 영역)에 비해 색차 성분에 대한 시각 감도는 저하된다.

따라서 각 프레임마다의 성질 혹은 프레임 내의 국소적인 성질에 따라 색차 성분의 다운샘플링 비율을 변화시킴으로써 주관 화질은 유지하면서 효율적으로 부호량을 줄일 수 있다.

그러나 종래의 색차 성분에 대한 다운샘플링은 모든 프레임에 대해 똑같은 비율로 수행되고 있어 부호화 효율에 관하여 개선의 여지를 남긴다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 프레임마다 적응되는 다운샘플링 처리나 각 프레임 내의 영역마다 적응되는 다운샘플링 처리를 도입함으로써 효율적으로 부호량을 줄이는 새로운 영상 부호화·복호기술의 확립을 목적으로 한다.

[1]다운샘플링비를 적응적으로 변화시키는 본 발명의 영상 부호화 장치

[1-1]프레임을 단위로 하여 적응적으로 변화시키는 구성

상기 목적을 달성하기 위해 본 발명의 영상 부호화 장치는, 2신호 성분 이상으로 이루어진 영상 신호를 부호화 대상으로 하는 경우에 (1)프레임 내의 성질에 따라 프레임의 특정 신호 성분에 대한 다운샘플링비를 설정하는 설정 수단과, (2)설정 수단이 설정한 다운샘플링비에 따라 프레임의 특정 신호 성분을 다운샘플링함으로써 부호화기로의 입력 대상이 되는 영상 신호를 생성하는 생성 수단을 구비하도록 구성한다.

여기에서 이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 영상 부호화 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은 적절한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되며 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어수단 상에서 동작함으로써 본 발명을 실현하게 된다.

이와 같이 구성되는 본 발명의 영상 부호화 장치에서는, 예를 들면 변이량이 큰 프레임과 변이량이 작은 프레임을 비교한 경우, 전자는 시각 감도가 상대적으로 낮아지기 때문에 변이량이 큰 프레임에서는 변이량이 작은 프레임과 비교하여 큰 다운샘플링을 실행해도 주관 화질은 저하되지 않는다는 점에 착안하여, 예를 들면 프레임 내의 변이량 크기에 따라 프레임마다 색차 신호 등의 특정 신호 성분에 대한 다운샘플링비를 설정하고 그 설정한 다운샘플링비에 따라 프레임을 단위로 하여 특정 신호 성분을 다운샘플링함으로써 부호화기로의 입력 대상이 되는 영상 신호를 생성한다.

이 구성에 따라서 본 발명의 영상 부호화 장치에 의하면, 주관 화질은 유지하면서 효율적으로 부호량을 줄일 수 있게 된다.

[1-2]프레임 내의 부분 영역을 단위로 하여 적응적으로 변화시키는 구성

상기 영상 부호화 장치에서 상기 다운샘플링비를 설정하는 수단은,

프레임 내의 국소적인 성질에 따라 프레임을 부분 영역으로 분할하는 수단과,

각 부분 영역 내의 성질에 따라 해당 부분 영역의 특정 신호 성분에 대한 다운샘플링비를 설정하는 수단을 가지고,

상기 설정한 다운샘플링비에 따라 상기 부분 영역의 특정 신호 성분을 다운샘플링함으로써 상기 부호화 대상 영상 신호를 생성

하도록 해도 좋다.

이와 같이 구성되는 영상 부호화 장치에서는, 예를 들면 변이량이 큰 부분 영역과 변이량이 작은 부분 영역을 비교한 경우, 전자는 시각 감도가 상대적으로 낮아지므로 변이량이 큰 부분 영역에서는 변이량이 작은 부분 영역과 비교하여 큰 다운샘플링을 실행해도 주관 화질은 저하되지 않는다는 점에 착안하여, 예를 들면 프레임의 부분 영역 내의 변이량의 크기에 따라 프레임 내의 부분 영역마다 색차 신호 등 특정 신호 성분에 대한 다운샘플링비를 설정하고, 그 설정한 다운샘플링비에 따라 프레임 내의 부분 영역을 단위로 하여 특정 신호 성분을 다운샘플링함으로써 부호화기로의 입력 대상이 되는 영상 신호를 생성한다.

이 구성의 경우에도 마찬가지로 주관 화질은 유지하면서 효율적으로 부호량을 줄일 수 있게 된다.

[2]다운샘플링비를 적응적으로 변화시킴으로써 발생하는 부호화 블럭 패턴의 변화에 대처하기 위한 본 발명의 영상 부호화 장치 및 영상 복호 장치

본 발명의 영상 부호화 장치는, 2신호 성분 이상으로 이루어진 영상 신호를 부호화 대상으로 하여 프레임마다 혹은 프레임 내의 부분 영역마다 설정된 다운샘플링비에 따라 특정 신호 성분이 다운샘플링됨으로써 생성된 영상 신호를 부호화하는 것을 기본적인 구성으로 한다.

한편, 표준화된 영상 부호화 장치에서는 부호화에 의해 얻어진 양자화 후의 각 신호 성분에 대해서 일정 크기의 블럭마다 그 블럭에 대해 의미 있는 계수를 포함하는지 여부를 나타내는 정보를 부여하는 구성을 채용할 수 있다. 이와 같은 구성을 채용하면, 의미 있는 계수를 포함하지 않은 블럭에 대해서는 변환 계수의 부여를 생략함으로써 부호량의 삭감을 꾀할 수 있기 때문이다.

그러나 본 발명의 영상 부호화 장치에서는 특정 신호 성분의 다운샘플링비를 적응적으로 변화시키기 때문에 각 신호 성분에 관한 블럭의 조합 패턴이 고정적이지 않다.

그래서 본 발명에서 상기 부호화 대상 영상 신호의 부호화에 의해 얻어진 양자화 후의 각 신호 성분에 대해서 일정 크기의 블럭마다 그 블럭에 대해 의미 있는 계수를 포함하는지 여부를 나타내는 정보를 부여하는 경우에 어느 위치의 블럭의 집합이 상기 특정 신호 성분을 공유하고 있는지에 대해 나타내는 정보를 해당 블럭의 집합에 대해 부여하는 수단을 더 구비하도록 해도 좋다.

그리고 본 발명은 이 영상 부호화 장치에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 장치로서,

상기 어느 위치의 블럭의 집합이 상기 특정 신호 성분을 공유하고 있는지에 대해서 나타내는 정보의 부호화 데이터를 복호함으로써 복호 대상의 블럭 집합이 상기 특정 신호 성분을 공유하고 있는 블럭 집합인지 아닌지를 판정하는 수단과,

상기 판정 수단이, 상기 특정 신호 성분을 공유하고 있는 블럭 집합이라고 판정한 블럭 집합에 대해서, 그것이 공유하는 상기 특정 신호 성분의 부호화 데이터를 복호함으로써 부호화쪽에서 설정된 다운샘플링비에 따라 다운샘플링된 신호 성분을 복호하는 수단

을 구비한 영상 복호 장치를 제공한다.

여기에서 이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 영상 부호화 방법이나 본 발명의 영상 복호 방법 또한 컴퓨터 프로그램에서도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은 적절한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어수단상에서 동작함으로써 본 발명을 실현하게 된다.

이와 같이 구성되는 본 발명의 영상 부호화 장치에서는, 어느 위치의 블럭의 집합이 특정 신호 성분을 공유하고 있는지에 대해서 나타내는 정보를 해당 블럭 집합에 대해 부여한다.

상기 판정 수단이 상기 특정 신호 성분을 공유하고 있는 블럭 집합이라고 판정한 블럭 집합에 대해서, 그것이 공유하는 상기 특정 신호 성분의 부호화 데이터를 복호함으로써 부호화쪽에서 설정된 다운샘플링비에 따라 다운샘플링된 신호 성분을 복호하는 수단

을 구비한 영상 복호 장치를 제공한다.

이 구성에 따라서, 본 발명에 의하면 프레임이나 프레임 내의 슬라이스를 단위로 하여 다운샘플링비를 적응적으로 변화시키는 구성을 채용할 때, 그 구성에 따라서 각 신호 성분에 관한 블럭의 조합 패턴이 변화된다고 해도 일정 크기의 블럭에 대해 양자화 신호가 의미 있는 계수를 포함하는지 여부를 나타내는 정보를 부여하는 표준화된 영상 부호화 장치에서 사용되고 있는 구성을, 그 구성을 무너뜨리지 않고 사용할 수 있게 된다.

[3]다운샘플링비를 적응적으로 변화시킴으로써 발생하는 참조 프레임의 보간 정밀도의 변화에 대처하기 위한 본 발명의 영상 부호화 장치 및 영상 복호 장치

[3-1]다운샘플링비가 프레임을 단위로 하여 적응적으로 변화되는 경우

본 발명의 영상 부호화 장치는, 2신호 성분 이상으로 이루어진 영상 신호를 부호화 대상으로 하여 프레임마다 설정된 다운샘플링비에 따라 특정 신호 성분이 다운샘플링됨으로써 생성된 영상 신호를 부호화하는 것을 기본적인 구성으로 한다.

한편, 영상 부호화 장치에서는 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용하는 경우가 있다. 이와 같은 구성을 채용하면 고정밀도의 움직임 보상을 실현할 수 있기 때문이다.

그러나 본 발명의 영상 부호화 장치에서는 프레임을 단위로 하여 특정 신호 성분의 다운샘플링비를 적응적으로 변화시키기 때문에 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 필요한 참조 프레임의 보간 정밀도가 고정적이지 않다.

그래서 본 발명의 상기 영상 부호화 장치에서,

상기 부호화 대상 영상 신호의 부호화에서 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라 상기 참조 프레임에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키는 수단과,

상기 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임의 보간 화상을 생성하는 수단

을 더 구비하도록 해도 좋다.

이에 대응하는 것으로서 본 발명은 상기 영상 부호화 장치에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 장치로서,

프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 복호 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라, 상기 참조 프레임에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키는 수단과,

상기 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임의 보간 화상을 생성하는 수단을 구비한 영상 복호 장치를 제공한다.

여기에서 이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 영상 부호화 방법이나 본 발명의 영상 복호 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은 적절한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어수단상에서 동작함으로써 본 발명을 실현하게 된다.

이와 같이 구성되는 본 발명의 영상 부호화 장치에서는, 부호화 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라 참조 프레임에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키고 그 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임의 보간 화상을 생성한다.

또 이에 대응한 구성을 가진 본 발명의 영상 복호 장치에서는 복호 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라 참조 프레임에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키고 그 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임의 보간 화상을 생성한다.

이 구성에 따라서, 본 발명에 의하면 프레임을 단위로 하여 다운샘플링비를 적응적으로 변화시키는 구성을 채용할 때, 그 구성에 따라서 참조 프레임의 보간 정밀도가 변화된다고 해도 요구되는 움직임 보상을 실현하는 참조 프레임의 보간 화상을 생성할 수 있게 된다.

[3-2]다운샘플링비가 프레임 내의 부분 영역을 단위로 하여 적응적으로 변화되는 경우

본 발명의 영상 부호화 장치는 더욱 세밀하게 프레임 내의 부분 영역마다 설정된 다운샘플링비에 따라 특정 신호 성분이 다운샘플링됨으로써 생성된 영상 신호를 부호화할 수도 있다.

상술한 바와 같이 영상 부호화 장치에서는 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 수 있다. 이와 같은 구성을 채용하면 고정밀도의 움직임 보상을 실현할 수 있기 때문이다.

그러나 상기 영상 부호화 장치에서는 프레임 내의 부분 영역을 단위로 하여 특정 신호 성분의 다운샘플링비를 적응적으로 변화시키기 때문에 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 필요한 참조 프레임의 보간 정밀도가 고정적이지 않다.

그래서 상기 영상 부호화 장치에서,

상기 부호화 대상 영상 신호의 부호화에서 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임 내의 각 부분 영역의 다운샘플링비와 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 상기 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키는 수단과,

상기 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임 내의 부분 영역의 보간 화상을 생성하는 수단을

더 구비하도록 해도 좋다.

프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 복호 대상 프레임 내의 각 부분 영역의 다운샘플링비와 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 상기 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키는 수단과,

상기 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임 내의 부분 영역의 보간 화상을 생성하는 수단

을 구비한 영상 복호 장치를 제공한다.

여기에서 이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 영상 부호화 방법이나 본 발명의 영상 복호 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것으로서 이 컴퓨터 프로그램은 적절한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어수단상에서 동작함으로써 본 발명을 실현하게 된다.

이와 같이 구성되는 본 발명의 영상 부호화 장치에서는, 부호화 대상 프레임 내의 부분 영역의 다운샘플링비와 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키고 그 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임 내의 부분 영역의 보간 화상을 생성한다.

또 이에 대응한 구성을 가진 본 발명의 영상 복호 장치에서는, 복호 대상 프레임 내의 부분 영역의 다운샘플링비와 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분의 보간 정밀도를 변화시키고 그 변화시킨 보간 정밀도에 기초하여 상기 참조 프레임 내의 부분 영역의 보간 화상을 생성한다.

이 구성에 따라서 본 발명에 의하면, 프레임 내의 슬라이스를 단위로 하여 다운샘플링비를 적응적으로 변화시키는 구성을 채용할 때, 그 구성에 따라서 참조 프레임의 보간 정밀도가 변화된다 해도 요구되는 움직임 보상을 실현하는 참조 프레임의 보간 화상을 생성할 수 있게 된다.

본 발명에 의하면, 영상을 부호화할 때 프레임마다의 성질 혹은 프레임 내의 국소적인 성질에 따라 특정 신호 성분의 다운샘플링비를 적응적으로 변화시킬 수 있게 되고, 이로써 시각 감도 등에 따른 효율적인 부호량 절감을 달성할 수 있게 된다.

또 본 발명에 의하면, 다운샘플링비를 적응적으로 변화시킴으로써 각 신호 성분에 관한 블럭의 조합 패턴이 변화된다 해도 일정 크기의 블럭에 대해 양자화 신호가 의미 있는 계수를 포함하는지 여부를 나타내는 정보를 부여한다는 표준화된 영상 부호화 장치에서 사용되고 있는 구성을, 그 구성을 무너뜨리지 않고 사용할 수 있게 된다.

그리고 본 발명에 의하면 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 다운샘플링비를 적응적으로 변화시킴으로써 참조 프레임의 보간 정밀도가 변화하는 경우가 있다 해도 요구되는 움직임 보상을 실현하는 참조 프레임의 보간 화상을 생성할 수 있게 된다.

도 1은, 본 발명에 의한 다운샘플링 처리 설명도이다.

도 2는, 본 발명에 의한 다운샘플링 처리 설명도이다.

도 3은, 본 발명에 의한 다운샘플링 처리 설명도이다.

도 4는, 본 발명에 의한 다운샘플링 처리 설명도이다.

도 5는, CBP의 설명도이다.

도 6은, 휘도 성분과 다운샘플링된 색차 성분의 일례를 도시한 도면이다.

도 7a는, 색차 공유 블럭 세트의 설명도이다.

도 7b는, 동일하게 색차 공유 블럭 세트의 설명도이다.

도 7c는, 동일하게 색차 공유 블럭 세트의 설명도이다.

도 7d는, 동일하게 색차 공유 블럭 세트의 설명도이다.

도 8은, 참조 프레임의 보간 정밀도의 설명도이다.

도 9는, 본 발명에 의한 부호화 처리 흐름도의 일실시예이다.

도 10은, 도 9의 흐름도의 계속되는 부분이다.

도 11은, 본 발명에 의한 복호 처리 흐름도의 일실시예이다.

도 12는, 도 11의 흐름도의 계속되는 부분이다.

도 13은, 본 발명의 영상 부호화 장치의 일실시예이다.

도 14는, 본 발명의 영상 복호 장치의 일실시예이다.

도 15는, 본 발명의 참조 프레임 보간 화상 생성 장치의 일실시예이다.

도 16은, 영상 부호화 장치의 장치 구성예를 도시한 도면이다.

도 17은, 영상 복호 장치의 장치 구성예를 도시한 도면이다.

도 18은, 본 발명의 참조 프레임 보간 화상 생성 처리 흐름도의 일실시예이다.

<부호의 설명>

100 적응 처리 플래그 설정부

101 적응 처리 플래그 기억부

102 휘도 신호 독취부

103 휘도 신호 기억부

104 색차 신호 독취부

105 색차 신호 기억부

106 다운샘플링비 설정부

107 다운샘플링비 기억부

108 색차 신호 다운샘플링 처리부

109 색차 신호 기억부

110 유색차 매크로 블럭 위치 정보 설정부

110-1 시퀀스 적응 처리부

110-2 슬라이스 적응 처리부

110-3 색차 적응 처리부

111 부호화 스트림 생성부

111-1 헤더 정보 부호화부

111-2 헤더 정보 부호화 스트림 기억부

111-3 휘도 신호·색차 신호 부호화 처리부

111-4 휘도 신호·색차 신호 부호화 스트림 기억부

111-5 부호화 스트림 다중화부

112 부호화 스트림 기억부

113 최종 슬라이스 판정부

이하 실시형태에 따라서 본 발명을 상세히 설명하기로 한다.

본 발명에서는 프레임마다 적응되는 다운샘플링 처리나 각 프레임 내의 영역마다 적응되는 다운샘플링 처리를 도입함으로써 효율적으로 부호량을 삭감하는 새로운 영상 부호화·복호기술을 실현한다

이러한 적응적인 다운샘플링 처리 도입에 필요한 부호화기·복호기에서의 기능을 이하에 나타내기로 한다.

또한 이하의 예에서는 휘도 신호(Y)와 2개의 색차 성분(Cb,Cr)으로 이루어진 색공간에서의 색차 성분을 다운샘플링의 대상으로 하였으나, 본 발명의 대상은 이 색공간의 신호에 한정되지 않는다.

예를 들면, 본 발명은 4:4:4포맷의 영상 신호에 대해 임의의 색변환을 하여 얻어지는 3성분에 대해서도 동일하게 수행할 수 있다. 또한 적응적 다운샘플링 처리를 하는 성분의 수도 특정 수에 한정되지 않는다. 예를 들면, 색변환으로서 KL변환을 사용하여 제1 주성분, 제2 주성분, 제3 주성분을 얻은 경우에 어느 한 성분을 대상으로 할 수도 있다. 또 세 성분 중 두 성분(예를 들면, 제2 주성분, 제3 주성분)을 대상으로 하는 것도 일례이다. 또 세 성분 모두를 대상으로 하는 것도 물론 가능하다.

또한 본 발명은 색공간의 신호 이외의 신호를 다운샘플링 대상으로 하는 경우에도 동일하게 적용할 수 있는 것이다.

[1]프레임 단위의 적응 처리

본 발명의 제1태양에서는 프레임 내의 성질에 따라 색차 성분에 대한 프레임 다운샘플링비를 적응적으로 변화시킨다.

프레임 다운샘플링비란, 4:4:4포맷 영상의 제t프레임의 사이즈를 W[t]×H[t][화소]로 하고, 다운샘플링 후의 색차 성분의 프레임 사이즈를 W'[t]×H'[t][화소]로 한 경우,

r_f[t]=W'[t]/W[t]=H'[t]/H[t]

라는 식으로 정의되는 r_f[t](<1)이다.

도 1에 도시한 예는, 프레임 다운샘플링비를 선두 프레임부터 순서대로 1/2, 1/4, 1/4로 설정한 예이다.

여기에서는 2개의 색차 성분(Cb,Cr성분)의 프레임 다운샘플링비를 동일값으로 한다.

여기에서 2개의 색차 성분(Cb,Cr성분)에 대해 독립적으로 프레임 다운샘플링비를 설정하는 것도 가능하다.

도 2에 이 예를 도시한다. 여기에서는 선두 프레임부터 순서대로 Cb성분의 프레임 다운샘플링비를 1/2, 1/4, 1/2로 설정하고 Cr성분의 프레임 다운샘플링비를 1/2, 1/2, 1/4로 설정한 예를 도시하였다.

각 프레임에 대한 다운샘플링비의 설정 방법에 대해서는 다운샘플링을 수행하는 기구와는 별도로 마련되는 외부의 기구에서 주어지는 것으로 한다.

예를 들면, 프레임 내의 변이(변화)량의 크기에 따라 각 프레임에 대한 다운샘플링비를 설정할 수 있다.

변이량이 큰 프레임과 변이량이 작은 프레임을 비교한 경우, 전자에서는 시각 감도가 상대적으로 낮아진다. 따라서 변이량이 큰 프레임에서는 변이량이 작은 프레임과 비교하여 큰 다운샘플링이 수행되도록 다운샘플링비를 적게 설정할 수 있다.

앞으로 이 경우에는 다운샘플링비를 설정하는 기구는 프레임에 대해서 변이량의 크기를 검출하여 그에 따른 다운샘플링비를 결정하고 다운샘플링을 수행하는 기구에 대해 그 결정한 다운샘플링비에 따라서 그 프레임을 다운샘플링할 것을 지시하게 된다.

[2]슬라이스 단위의 적응 처리

본 발명의 제2태양에서는 프레임 내의 성질에 따라 색차 성분에 대한 슬라이스 다운샘플링비를 적응적으로 변화시킨다.

슬라이스 다운샘플링비란, 4:4:4포맷 영상의 색차 성분의 제t프레임을 여러 개의 부분 영역(이것을 슬라이스라고 부른다)으로 분할하여 제i슬라이스의 사이즈를 w[t,i]×h[t,i][화소]로 하고 다운샘플링 후의 제i슬라이스의 사이즈를 w'[t,i]×m2[t,i][화소]로 한 경우,

r_s[t,i]=w'[t,i]/w[t,i]=h'[t,i]/h[t,i]

라는 식으로 정의되는 r_s[t,i](<1)이다.

여기에서 i=0, 1,..., I-1이고, I는 프레임 내의 슬라이스의 총 수이다.

도 3의 상단은 색차 성분의 프레임을 2개의 슬라이스로 분할한 경우의 예를 도시하고 있다. 이하에서는 편의상 2개의 슬라이스 중 위에 위치하는 것을 제1 슬라이스, 아래에 위치하는 것을 제2 슬라이스라고 부른다.

이 예에서는 도 3의 하단에 도시한 바와 같이 제1 슬라이스의 슬라이스 다운샘플링비를 1/2로 설정하고, 제2 슬라이스의 슬라이스 다운샘플링비를 1/4로 설정하였다. 여기에서는 2개의 색차 성분(Cb,Cr성분)의 슬라이스 다운샘플링비는 동일값으로 하였다.

여기에서 2개의 색차 성분(Cb,Cr성분)에 대해 독립적으로 슬라이스 다운샘플링비를 설정하는 것도 가능하다.

도 4에 이 예를 도시한다. 상단에 도시한 바와 같이 도 3과 동일한 슬라이스 분할 설정에서 Cb성분의 제1 슬라이스와 제2 슬라이스의 슬라이스 다운샘플링비를 각각 1/2, 1/4로 설정하고, Cr성분의 제1 슬라이스와 제2 슬라이스의 슬라이스 다운샘플링비를 각각 1/4, 1/2로 설정하였다.

상술한 프레임 다운샘플링비가 프레임마다 다운샘플링비를 가변적으로 한 것인 데 반해, 이 슬라이스 다운샘플링비는 프레임 내에서 더 국소적으로 다운샘플링비를 가변적으로 한 것이다.

프레임에 대한 슬라이스에의 분할 방법 및 각 슬라이스에 대한 슬라이스 다운샘플링비의 설정 방법에 대해서는 슬라이스 다운샘플링을 수행하는 기구와는 별도로 마련되는 외부의 기구에서 주어지는 것으로 한다.

예를 들면, 변이(변화)량의 크기에 따라 슬라이스로 영역 분할할 수 있다. 변이량이 큰 슬라이스와 변이량이 작은 슬라이스를 비교한 경우, 전자에서는 시각 감도가 상대적으로 낮아진다. 따라서 변이량이 큰 슬라이스에서는 변이량이 작은 슬라이스와 비교하여 큰 슬라이스 다운샘플링이 수행되도록 슬라이스 다운샘플링비를 적게 설정할 수 있다.

앞으로, 이 경우에는 슬라이스 다운샘플링비를 설정하는 기구는 프레임 내의 각 소영역에 대해서 변이량의 크기를 검출하고 거기에 기초하여 프레임을 슬라이스로 영역 분할함과 동시에 각 슬라이스에 대해 그 슬라이스 내의 변이량에 따른 슬라이스 다운샘플링비를 결정하고 그 결정한 슬라이스 다운샘플링비에 따라서 대응하는 슬라이스를 슬라이스 다운샘플링할 것을, 슬라이스 다운샘플링을 수행하는 기구에 대해 지시하게 된다.

[3]부호화 블럭 패턴

다음으로 본 발명에 의한 적응적인 프레임 다운샘플링이나 슬라이스 다운샘플링을 수행할 때의 CBP(후술)에 관한 비트 할당에 대해서 설명하기로 한다.

H.264에서는 16×16[화소]의 휘도 성분 및 2개의 8×8[화소]의 색차 성분을 매크로 블럭이라고 부르고 이 매크로 블럭 단위로 변환 계수를 부호화 스트림으로 변환한다.

이 때 도 5에 도시한 바와 같이 휘도 성분의 4개의 8×8[화소]의 서브 블럭 및 동일 사이즈의 2개의 색차 성분의 서브 블럭으로 이루어진 6개의 서브 블럭에 대해 각 서브 블럭 내의 변환 계수가 의미 있는 계수(비(非)제로의 계수)를 포함하 는지 여부를 나타내는 6비트의 정보를 부여하였다. 이 정보를 “Coded Block Pattern(CBP)"이라고 부른다.

도 5에서의 서브 블럭 내의 숫자는 각 서브 블럭에 대한 CBP내의 비트의 위치를 나타낸다.

CBP 내의 대응하는 비트가 0이 되는 서브 블럭에 대해서는 CBP 이외의 변환 계수의 부호화 정보는 부가되지 않는다. 이것은 부호량 삭감을 노린 처리이다. 한편 동(同)비트가 1이 되는 서브 블럭에 대해서는 변환 계수의 정보가 부가된다.

H.264에서는 이와 같은 CBP를 사용하여 부호량의 삭감을 꾀하고 있으며 본 발명에 의한 적응적인 프레임 다운샘플링이나 슬라이스 다운샘플링을 수행할 때에는 이 CBP를 사용할 수 있는 구성을 구축할 필요가 있다.

앞으로 본 발명에서는 색차 성분의 다운샘플링비가 가변적일 경우에 이 CBP에 관한 비트 할당을 변경하도록 한다.

다음으로 본 발명에 의한 CBP에 관한 비트 할당에 대해서 설명하기로 한다.

예로서 매크로 블럭에서의 휘도 성분의 사이즈를 16×16으로 하고 프레임 다운샘플링비(혹은 슬라이스 다운샘플링비)를 r(<1/2)로 한 경우를 생각하기로 한다.

이 경우 구성 요소가 다른 2종류의 매크로 블럭이 발생한다.

즉, 휘도 성분의 4개의 8×8[화소]의 서브 블럭과 동일 사이즈의 2개의 색차 성분의 서브 블럭으로 구성된 6개의 서브 블럭으로 이루어진 매크로 블럭과, 휘도 성분의 4개의 8×8[화소]의 서브 블럭으로만 이루어진 매크로 블럭의 2종류이다.

전자의 경우, CBP는 종래와 같이 6비트로 표시된다. 반면 후자의 경우 CBP는 4비트로 표시된다.

도 6에 r=1/4의 예를 도시한다. 이 경우, 색차 성분과 휘도 성분의 조합에 관해서는 도 7a∼도 7d에 도시한 4가지를 생각할 수 있다. 따라서 어느 위치의 매크로 블럭이 색차 성분을 보유하고 있는지를 나타내는 정보가 필요하게 된다.

색차 성분 및 그 색차 성분을 공유하는 휘도 성분으로 이루어진 화소 집합을 색차 공유 블럭 세트라고 부른다. 즉, 도 7a∼도 7d 모두 소정 매크로 블럭이 보유한 색차 성분(도면 중의 음영 표시된 부분)이 다른 3개의 매크로 블럭(휘도 성분만을 가진)에 공유된다.

또 색차 공유 블럭 세트에서 색차 성분을 보유한 매크로 블럭의 위치를 유색차 매크로 블럭 위치라고 부른다.

이 유색차 매크로 블럭 위치의 표현 방법에 대해서 본 발명이 사용하는 표현 방법에 대해서 이하에서 설명하기로 한다.

[3-1]본 발명의 제3태양

미리 유색차 매크로 블럭 위치를 정해 놓는 방법이다.

예를 들면, 주사 순서대로 선두에 가장 가까운 매크로 블럭만이 색차 성분을 보유하도록 정하는 것은 이 일례이다. 이 위치를 사전에 부호화기·복호기에 공유해두면 복호기에서는 부가 정보 없이 복호할 수 있다.

[3-2]본 발명의 제4태양

시퀀스(압축된 영상 전체)마다 부호화기쪽에서 유색차 매크로 블럭 위치를 설정하는 방법이다.

이 경우, 유색차 매크로 블럭 위치는 시퀀스 내에서 일정 값을 취한다. 이에 따라 이하의 정보를 부호화 정보로 하여 부호화 스트림에 부여할 필요가 있다.

우선, 본 적응 처리 적용 유무를 나타내는 플래그(chroma-position-sequence-adaptive)를 헤더 정보로서 부호화 스트림에 부여한다. 본 적응 처리를 할 경우 동플래그는 1로 세팅되고 그렇지 않은 경우 동플래그는 0으로 세팅된다.

또한 유색차 매크로 블럭 위치는 시퀀스마다 변화하기 때문에 각 시퀀스에 대해 유색차 매크로 블럭 위치를 시퀀스의 헤더 정보로서 부호화 스트림에 부여한다. 본 처리를 시퀀스 적응 유색차 매크로 블럭 위치 가변 처리라고 부른다.

[3-3]본 발명의 제5태양

슬라이스마다 부호화기쪽에서 유색차 매크로 블럭 위치를 설정하는 방법이다.

여기에서 슬라이스란, 상술한 바와 같이 각 프레임 내를 분할한 부분 영역을 가리킨다. 구체적인 분할 방법에 대해서는 외부에 설치되는 슬라이스 분할을 결정하는 기구로부터 주어지는 것으로 한다.

이 경우, 유색차 매크로 블럭 위치는 슬라이스 내에서 일정 값을 취한다. 이에 따라 이하의 정보를 부호화 정보로 하여 부호화 스트림에 부여할 필요가 있다.

우선, 본 적응 처리 적용 유무를 나타내는 플래그(chroma-position-slice-adaptive)를 헤더 정보로서 부호화 스트림에 부여한다. 본 적응 처리를 할 경우 동플래그는 1로 세팅되고, 그렇지 않은 경우 동플래그는 0로 세팅된다.

또한 유색차 매크로 블럭 위치는 슬라이스마다 변화하기 때문에 각 슬라이스 에 대해 유색차 매크로 블럭 위치를 슬라이스의 헤더 정보로서 부호화 스트림에 부여할 필요가 있다. 본 처리를 슬라이스 적응 유색차 매크로 블럭 위치 가변 처리라고 부른다.

[3-4]본 발명의 제6태양

색차 공유 블럭 세트마다 부호화기쪽에서 유색차 매크로 블럭 위치를 설정하는 방법이다. 이 경우, 색차 공유 블럭 세트마다 유색차 매크로 블럭 위치를 변화시킬 수 있게 된다. 따라서 이하의 정보를 부호화 정보로서 부호화 스트림에 부여할 필요가 있다.

우선, 본 적응 처리 적용 유무를 나타내는 플래그(chroma-position-MBs-adaptive)를 헤더 정보로서 부호화 스트림에 부여한다. 본 적응 처리를 할 경우 동플래그는 1로 세팅되고 그렇지 않은 경우 동플래그는 0으로 세팅된다.

또한 유색차 매크로 블럭 위치는 색차 공유 블럭 세트마다 변화되기 때문에 각 색차 공유 블럭 세트에 대해 유색차 매크로 블럭 위치를 색차 공유 블럭 세트의 헤더 정보로서 부호화 스트림에 부여할 필요가 있다. 본 처리를 색차 공유 블럭 세트 적응 유색차 매크로 블럭 위치 가변 처리라고 부른다.

[4]움직임 벡터의 부호화 형식

다음으로 본 발명에 의한 적응적인 프레임 다운샘플링이나 슬라이스 다운샘플링을 수행할 때의 움직임 벡터의 부호화 형식에 대해서 설명하기로 한다.

색차 공유 블럭 세트 내에서 휘도 성분과 색차 성분은 동일한 움직임 벡터 정보를 공유하는 것으로 한다. 단, 색차에 관해서는 다운샘플링비에 따라 움직임 벡터를 스케일링할 필요가 있다.

예를 들면 부호화 스트림에 부여된 움직임 벡터가 v-(4,8)이고 다운샘플링비가 1/4인 경우, 휘도 성분의 움직임 벡터는 v=(4,8)이고 색차 성분의 움직임 벡터는(1/4)×v=(1, 2)이다.

[4-1]본 발명의 제7태양

부호화 대상 프레임(제t프레임) 및 참조 프레임(제t-1프레임)의 프레임 다운샘플링비에 따라 이하에 나타내는 식(1)에 기초하여 참조 프레임의 색차 성분의 보간 정밀도를 변화시키고 거기에 기초하여 참조 프레임의 색차 성분의 보간 화상을 생성한다.

이하에서는 부호화 대상 프레임의 프레임 다운샘플링비를 r_f[t]로 하고 참조 프레임의 프레임 다운샘플링비를 r_f[t-1]로 한다.

제t프레임의 휘도 성분의 움직임 추정 정밀도(움직임 보상 정밀도)가 1/M인 경우, 참조 프레임의 색차 성분의 보간 정밀도(A)는,

A=(r_f[t-1]/r_f[t])×(1/M) 식(1)

이라는 식에 따라 구해진다.

예를 들면, 부호화 대상 프레임의 휘도 성분의 움직임 추정이 1/4화소 정밀도이고, 부호화 대상 프레임의 색차 성분의 다운샘플링비가 1/4, 참조 프레임의 색차 성분의 다운샘플링비가 1/2인 경우, 참조 프레임의 색차 성분의 움직임 보간 정밀도(A)는 이 식(1)에 따라서

A=(1/2)÷(1/4)×(1/4)=1/2

과 같이 1/2화소 정밀도가 된다.

이것은 이하의 이유 때문이다. 부호화 대상 프레임의 색차 성분의 다운샘플링비가 1/4인 경우, 색차 성분의 움직임 벡터는 휘도 성분의 움직임 벡터를 1/4로 스케일링한 것이 사용된다. 이 스케일링에 의해 움직임 벡터의 1화소 미만의 정보는 파기되고 부호화 대상 프레임의 색차 성분의 움직임 추정 정밀도는 1화소 정밀도가 된다.

반면 참조 프레임은 다운샘플링비가 1/2로서 휘도 신호의 반 정도의 해상도로 되어 있다. 따라서 부호화 대상 프레임의 색차 성분이 요구하는 정수 화소 위치의 정보를 얻기 위해서는 참조 프레임에서 1/2화소에 해당하는 위치의 정보를 보간에 의해 얻을 필요가 있다.

도 8에, 휘도 성분의 움직임 추정 정밀도를 1/4화소 정밀도로 하여 부호화 대상 프레임·참조 프레임의 다운샘플링비를 1, 1/2, 1/4로 변화시킨 경우의 참조 프레임의 보간 정밀도(식(1)에 의해 구해지는 보간 정밀도(A))를 정리한 결과를 도시한다.

여기에서 도 8 중에 도시한 부호화 대상 프레임(의 색차 성분)에 필요한 움직임 추정 정밀도는

(1/r_f[t])×(1/M)

라는 식으로 구해지는 것이다.

[4-2]본 발명의 제8태양

부호화 대상 프레임(제t프레임) 및 참조 프레임(제t-1프레임)의 슬라이스 다운샘플링비에 따라, 이하에 도시한 식(2)에 기초하여 참조 프레임의 색차 성분의 슬라이스에서의 보간 정밀도를 변화시키고 거기에 기초하여 참조 프레임의 색차 성분의 슬라이스에서의 보간 화상을 생성한다.

이하에서는 부호화 대상 프레임의 제i슬라이스 내의 블럭이 참조 프레임의 제j슬라이스 내의 영역을 움직임 보상시의 참조 신호로 하는 경우를 생각하기로 한다.

이 때 부호화 대상 프레임의 제i슬라이스의 슬라이스 다운샘플링비를 r_s[t,i]으로 하고, 참조 프레임의 제j슬라이스의 슬라이스 다운샘플링비를 r_s[t-1,j]로 한다.

제t프레임의 휘도 성분의 움직임 추정 정밀도가 1/M인 경우, 참조 프레임의 색차 성분의 제j슬라이스에서의 보간 정밀도(A)[j]는,

A[j]=(r_s[t-1,j]/r_s[t,i])×(1/M) 식(2)

라는 식이 된다.

다음으로, 실시예에 따라서 본 발명을 상세히 설명하기로 한다.

도 9 및 도 10에 본 발명이 실행하는 부호화 처리 흐름도의 일실시예를 도시한다. 이 흐름도에 따라서 본 발명이 실행하는 부호화 처리에 대해서 상세히 설명하기로 한다.

단계S1OO: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive, chroma-position-slice-adaptive, chroma-position-MBs-adaptive)를 읽어들여 레지스터에 기록한다. 상술한 시퀀스 적응 유색차 매크로 블럭 위치 가변 처리를 사용할 것인지, 상술한 슬라이스 적응 유색차 매크로 블럭 위치 가변 처리를 사용할 것인지, 상술한 색차 공유 블럭 세트 적응 유색차 매크로 블럭 위치 가변 처리를 사용할 것인지를 설정하는 것이다.

단계S101: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값(즉 Y)인 경우 단계S102로 진행한다. 그렇지 않으면(즉 N), 단계S103로 진행한다.

단계S102: 유색차 매크로 블럭 위치 정보를 설정하는 처리를 하여 유색차 매크로 블럭 위치 정보를 레지스터에 기록한다.

여기에서 설정되는 유색차 매크로 블럭 위치 정보는 시퀀스 전체의 부호화를 통해 사용된다. 이것은 상술한 제4태양에 해당한다.

구체적인 설정값에 대해서는 외부에 설치되는 유색차 매크로 블럭 위치 정보를 설정하는 기구로부터 주어지는 것으로 한다. 예를 들면, 부호화 왜곡과 부호량의 가중합을 비용 함수로 하여 동비용 함수를 최소화하도록 유색차 매크로 블럭 위치 정보를 설정하는 방법 등이 있다.

단계S103: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S106로 진행한다. 그렇지 않으면 단계S104로 진행한다.

단계S104: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S105로 진행한다. 그렇지 않으면 단계S106로 진행한다.

단계S105: 유색차 매크로 블럭 위치 정보를 설정하는 처리를 하여 유색차 매크로 블록 위치 정보를 레지스터에 기록한다.

여기에서 설정되는 유색차 매크로 블럭 위치 정보는 슬라이스 내의 부호화를 통해 사용된다. 이것은 상술한 제5태양에 해당한다.

단계S106: 현재 착안되고 있는 슬라이스의 휘도 신호, 색차 신호를 읽어들여 레지스터에 기록한다.

단계S107: 색차 신호에 대한 다운샘플링비를 설정한다. 여기에서 설정되는 다운샘플링비는 슬라이스 다운샘플링비이다.

구체적인 설정값에 대해서는 외부에 설치되는 슬라이스 다운샘플링비를 설정하는 기구로부터 주어지는 것으로 한다. 예를 들면, 휘도값이 낮은 슬라이스에서는 색차 성분에 대해 큰 다운샘플링이 수행되도록 작은 다운샘플링비를 설정하는 방법 등이 있다.

단계S108: 레지스터에 기록한 색차 신호와 설정한 다운샘플링비를 입력하고 입력한 다운샘플링비에 따른 색차 성분의 다운샘플링 처리를 하여 다운샘플링 후의 색차 성분을 레지스터에 기록한다.

다운샘플링에 사용하는 필터의 계수에 대해서는 다운샘플링비에 따라 외부에 설치되는 필터 계수를 결정하는 기구로부터 주어지는 것으로 한다.

단계S109: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive 혹은 chroma-position-slice-adaptive) 중 적어도 하나가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S112로 진행한다. 그렇지 않으면 단계S110로 진행한다.

단계S11O: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-MBs-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S111로 진행한다. 그렇지 않으면 단계S112로 진행한다.

단계S1l1: 유색차 매크로 블럭 위치 정보를 설정하는 처리를 하여 유색차 매크로 블럭 위치 정보를 레지스터에 기록한다. 여기에서 설정되는 유색차 매크로 블럭 위치 정보는 색차 공유 블럭 세트의 부호화를 통해 사용된다. 이것은 상술한 제6태양에 해당한다.

단계S112: 설정된 유색차 매크로 블럭 위치 정보 및 다운샘플링비를 읽어들 여 레지스터에 기록한다.

단계S113: 단계S112에 레지스터에 기록한 유색차 매크로 블럭 위치 정보를 입력하고 부호화 대상의 매크로 블럭이 유색차 매크로 블럭 위치에 있는지 여부를 판정하여 판정 결과인 진위값을 출력한다.

출력이 참값인 경우 단계S114로 진행한다. 출력이 거짓값인 경우 단계S115의 처리로 이동한다.

단계S114: 색차 신호를 입력하여 부호화 처리를 하고 부호화 결과를 레지스터에 기록한다.

구체적인 부호화 방법은 사용하는 부호화 알고리즘에 따라 다르다. 예를 들면 H.264, MPEG-2에서는 움직임 보상, 이산 코사인 변환이라는 처리로 이루어진다.

단계S115: 부호화시에 발생하는 헤더 정보를 레지스터에 기록한다.

구체적인 부호화 대상 심볼 등은 사용하는 부호화 알고리즘에 따라 다르다. 예를 들면 H.264인 경우 동기 부호가 부호화 대상 심볼이다(여기에서 심볼이란, 정보의 구성 단위이다).

단계S116: 휘도 신호를 입력하여 부호화 처리를 하고 부호화 결과를 레지스터에 기록한다.

단계S117, 단계S118: 단계S113∼단계S116의 처리를 색차 공유 블럭 세트 내의 모든 매크로 블럭에 대해서 반복한다.

단계S119: 단계S109∼단계S118의 처리를 슬라이스 내의 모든 색차 공유 블럭 세트에 대해서 반복한다.

단계S120: 단계S103∼단계S119의 처리를 시퀀스 내의 모든 슬라이스에 대해서 반복한다.

이와 같이 하여 본 실시예에서는 적응적으로 설정되는 슬라이스 다운샘플링비에 따라 색차 성분에 대해 슬라이스 다운샘플링을 수행하면서 휘도 성분 및 색차 성분을 부호화함과 동시에 어떤 매크로 블럭이 색차 성분을 보유하고 있는지를 나타내는 유색차 매크로 블럭 위치 정보를 설정하여 헤더 정보로서 부호화하도록 처리하는 것이다.

도 11 및 도 12에 도 9 및 도 10의 흐름도의 부호화 처리에 의해 생성된 부호화 데이터를 복호 대상으로 하는 본 발명에 의한 복호 처리 흐름도의 일실시예를 도시한다. 이 흐름도에 따라서 본 발명이 실행하는 복호 처리에 대해서 상세히 설명하기로 한다.

단계S200: 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive, chroma-position-slice-adaptive, chroma-position-MBs-adaptive)를 복호하는 처리를 하고 얻어진 플래그의 값을 레지스터에 기록한다.

단계S201: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S202로 진행한다. 그렇지 않으면 단계S203로 진행한다.

단계S202: 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보를 복호하는 처리를 하고 얻어진 유색차 매크로 블럭 위치 정보의 값을 레지스터에 기록한다. 이것은 상술한 제4태양을 사용할 경우의 처리가 된다.

단계S203: 부호화 스트림을 입력하여 다운샘플링비를 복호하는 처리를 하고 다운샘플링비의 값을 레지스터에 기록한다.

단계S204: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S205로 진행한다. 그렇지 않으면 단계S206로 진행한다.

단계S205: 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보를 복호하는 처리를 하고 얻어진 유색차 매크로 블럭 위치 정보의 값을 레지스터에 기록한다. 이것은 상술한 제5태양을 사용할 경우의 처리가 된다.

단계S206: 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-MBs-adaptive)가 1인지 여부를 판정하여 판정 결과가 참값인 경우 단계S207로 진행한다. 그렇지 않으면 단계S208로 진행한다.

단계S207: 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보를 복호하는 처리를 하고 얻어진 유색차 매크로 블럭 위치 정보의 값을 레지스터에 기록한다. 이것은 상술한 제6태양을 사용할 경우의 처리가 된다.

단계S208: 유색차 매크로 블럭 위치 정보를 입력하여 부호화 대상의 매크로 블럭이 유색차 매크로 블럭 위치에 있는지 여부를 판정하고 판정 결과인 진위값을 출력한다. 출력이 참값인 경우 단계S209로 진행한다. 출력이 거짓값인 경우 단계 S210의 처리로 이동한다.

단계S209: 부호화 스트림을 입력하여 색차 성분을 복호하는 처리를 하고 복호 결과를 레지스터에 기록한다.

단계S210:부호화 스트림을 입력하여 휘도 성분을 복호하는 처리를 하고 복호 결과를 레지스터에 기록한다.

단계S211, 단계S212: 단계S208∼단계S210의 처리를 색차 공유 블럭 세트 내의 모든 매크로 블럭에 대해서 반복한다.

단계S213: 단계S203에서 복호된 다운샘플링비를 입력하여 다운샘플링비를 업샘플링비로 환산하는 처리를 하고 산출된 값을 레지스터에 기록한다.

이 업샘플링비는 다운샘플링비의 역수이다.

단계S214: 단계S213에서 얻어진 업샘플링비와, 단계S209에서 복호된 색차 성분을 입력하여 동색차 성분에 대한 업샘플링 처리를 하고 처리 후의 색차 성분을 레지스터에 기록한다.

단계S215: 단계S206∼단계S214의 처리를 슬라이스 내의 모든 색차 공유 블럭 세트에 대해서 반복한다.

단계S216: 단계S203∼단계S215의 처리를 시퀀스 내의 모든 슬라이스에 대해서 반복한다.

이와 같이 하여 본 발명에서는 도 9 및 도 10의 흐름도의 부호화 처리에 의해 생성된 부호화 데이터를 복호 대상으로 하여 영상 신호를 복호하도록 처리하는 것이다.

도 13에, 도 9 및 도 10의 흐름도의 부호화 처리를 실행하는 본 발명의 영상 부호화 장치의 일실시예를 도시한다. 이 도 13에 따라서 본 영상 부호화 장치의 장치 구성에 대해서 설명하기로 한다.

여기에서 도 13 중, 100은 적응 처리 플래그 설정부, 101은 적응 처리 플래그 기억부, 102는 휘도 신호 독취부, 103은 휘도 신호 기억부, 104는 색차 신호 독취부, 105는 색차 신호 기억부, 106은 다운샘플링비 설정부, 107은 다운샘플링비 기억부, 108은 색차 신호 다운샘플링 처리부, 109는 색차 신호 기억부, 110은 유색차 매크로 블럭 위치 정보 설정부, 111은 부호화 스트림 생성부, 112는 부호화 스트림 기억부, 113은 최종 슬라이스 판정부이다.

이 유색차 매크로 블럭 위치 정보 설정부(110)는 시퀀스 적응 처리부(110-1)와 슬라이스 적응 처리부(110-2)와 색차 적응 처리부(110-3)를 구비한다.

또 부호화 스트림 생성부(111)는 헤더 정보 부호화부(111-1)와, 헤더 정보 부호화 스트림 기억부(111-2)와, 휘도 신호·색차 신호 부호화 처리부(111-3)와, 휘도 신호·색차 신호 부호화 스트림 기억부(111-4)와, 부호화 스트림 다중화부(111-5)를 구비한다.

다음으로 이러한 각 처리부가 실행하는 처리에 대해서 설명하기로 한다.

적응 처리 플래그 설정부(100): 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive, chroma-position-slice-adaptive, chroma-position-MBs-adaptive)를 읽어들여 적응 처리 플래그 기억부(101)에 기록한다.

휘도 신호 독취부(102): 휘도 신호를 읽어들여 휘도 신호 기억부(103)에 기록한다. 휘도 신호를 읽어들이는 단위는 본 실시예에서는 슬라이스로 되어 있는데 슬라이스보다 큰 단위 혹은 작은 단위로 읽어들일 수도 있다.

색차 신호 독취부(104): 색차 신호를 읽어들여 색차 신호 기억부(105)에 기록한다. 색차 신호의 읽어들이는 단위는 본 실시예에서는 슬라이스로 되어 있는데 슬라이스보다 큰 단위 혹은 작은 단위로 읽어들일 수도 있다.

다운샘플링비 설정부(106): 다운샘플링비를 설정하는 처리를 하고 설정한 값을 다운샘플링비 기억부(107)에 기록한다. 여기에서 설정되는 다운샘플링비는 슬라이스 다운샘플링비이다.

구체적인 설정값에 대해서는 외부에 설치되는 슬라이스 다운샘플링비를 설정하는 기구로부터 주어지는 것으로 한다. 예를 들면 휘도값이 낮은 슬라이스에서는 색차 성분에 대해 큰 다운샘플링이 수행되도록 작은 다운샘플링비를 설정하는 방법 등이 사용된다.

색차 신호 다운샘플링 처리부(108): 색차 신호 기억부(105)에서 독출한 색차 신호와 다운샘플링비 기억부(107)에서 독출한 다운샘플링비를 입력하고, 입력한 다운샘플링비에 따른 색차 성분의 다운샘플링 처리를 하여 다운샘플링 후의 색차 성분을 색차 신호 기억부(109)에 기록한다.

유색차 매크로 블럭 위치 정보 설정부(110): 휘도 신호 기억부(103)에서 독 출한 휘도 신호와, 색차 신호 기억부(105)에서 독출한 다운샘플링 전의 색차 신호와, 색차 신호 기억부(109)에서 독출한 다운샘플링 후의 색차 신호와, 다운샘플링비 기억부(107)에서 독출한 다운샘플링비를 입력하여 유색차 매크로 블럭 위치 정보를 설정하는 처리를 하고, 얻어진 유색차 매크로 블럭 위치 정보를 부호화 스트림 생성부(111)에 준다.

또 얻어진 유색차 매크로 블럭 위치 정보에 기초하여 색차 신호 기억부(109)에서 출력되는 다운샘플링 후의 색차 신호를 부호화 스트림 생성부(111)에 준다.

유색차 매크로 블럭 위치 정보의 설정 상세에 대해서는 도 9 및 도 10의 흐름도에서 설명한 바와 같다.

부호화 스트림 생성부(1l1): 이하에 기재하는 헤더 정보 부호화부(111-1)∼부호화 스트림 다중화부(111-5)의 처리로 이루어진다.

헤더 정보 부호화부(111-1): 유색차 매크로 블럭 위치 정보, 다운샘플링비를 기타의 헤더 정보와 함께 입력하여 읽어들여 부호화 처리를 하고, 얻어진 부호화 스트림을 헤더 정보 부호화 스트림 기억부(111-2)에 기록한다.

휘도 신호·색차 신호 부호화 처리부(111-3): 휘도 신호 기억부(103)에서 독출한 휘도 신호와, 색차 신호 기억부(109)에서 독출한 다운샘플링 후의 색차 신호를 입력하여 부호화 처리를 하고, 얻어진 부호화 스트림을 휘도 신호·색차 신호 부호화 스트림 기억부(111-4)에 기록한다.

부호화 스트림 다중화부(111-5): 헤더 정보 부호화 스트림 기억부(111-2)에서 독출한 헤더 정보의 부호화 스트림과 휘도 신호·색차 신호 부호화 스트림 기억 부(111-4)에서 독출한 휘도 성분과 색차 성분에 대한 부호화 스트림을 입력하여 양 스트림을 다중화하고 부호화 스트림 기억부(112)에 기록한다.

최종 슬라이스 판정부(113): 이상의 처리를 시퀀스 내의 모든 슬라이스에 대해서 수행하기 때문에 현재 처리한 슬라이스가 최종 슬라이스인지를 판정함과 동시에 부호화 스트림 기억부(112)에 기억된 부호화 스트림을 출력한다.

이와 같이 하여 도 13에 도시한 영상 부호화 장치는, 이 도 13에 도시한 장치 구성에 따라서 도 9 및 도 10의 흐름도의 부호화 처리를 실행하는 것이다.

도 14에, 도 11 및 도 12의 흐름도의 복호 처리를 실행하는 본 발명의 영상 복호 장치의 일실시예를 도시한다. 이 도 14에 따라서 본 영상 복호 장치의 장치 구성에 대해서 설명하기로 한다.

여기에서 도 14 중, 200은 헤더 정보 복호부, 201은 휘도 신호복 호처리부, 202는 휘도 신호 기억부, 203은 다운샘플링비 기억부, 204는 유색차 매크로 블럭 위치 정보 기억부, 205는 유색차 매크로 블럭 위치 정보 판정부, 206은 색차 신호복 호처리부, 207은 색차 신호 기억부, 208은 색차 신호 업샘플링 처리부, 209는 색차 신호 기억부이다.

이 헤더 정보 복호부(200)는 다운샘플링비 복호 처리부(200-1)와, 유색차 매크로 블럭 위치 정보 복호 처리부(200-2)를 구비한다.

그리고, 이 유색차 매크로 블럭 위치 정보 복호 처리부(200-2)는 시퀀스 적응 처리 플래그 검출부(200-3)와, 시퀀스 적응 처리 플래그 기억부(200-4)와, 시퀀스 적응 처리 판정부(200-5)와, 슬라이스 적응 처리 플래그 검출부(200-6)와, 슬라 이스 적응 처리 플래그 기억부(200-7)와, 슬라이스 적응 처리 판정부(200-8)와, 색차 공유 블럭 세트 적응 처리 플래그 검출부(200-9)와, 색차 공유 블럭 세트 적응 처리 플래그 기억부(200-10)와, 색차 공유 블럭 세트 적응 처리 판정부(200-11)와, 스트림 기억부(200-12)와, 유색차 매크로 블럭 위치 정보 복호부(200-13)를 구비한다.

다음으로, 이러한 각 처리부가 실행하는 처리에 대해서 설명하기로 한다.

헤더 정보 복호부(200): 부호화 스트림을 입력하여 헤더 정보를 복호하는 처리를 한다. 복호 대상이 되는 것은, 다운샘플링비, 유색차 매크로 블럭 위치 정보 및 기타 헤더 정보(휘도 신호 복호 처리부(201), 색차 신호 복호 처리부(206)에서 복호 처리 대상이 되지 않는 신호)이다.

다운샘플링비 복호 처리부(200-1): 부호화 스트림을 입력하여 다운샘플링비를 복호하는 처리를 하고 다운샘플링비 기억부(203에 기록한다.

유색차 매크로 블럭 위치 정보 복호 처리부(200-2): 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보를 복호하는 처리를 하고 유색차 매크로 블럭 위치 정보 기억부(204)에 기록한다.

이 유색차 매크로 블럭 위치 정보 복호 처리부(200-2)의 처리는, 이하에 기재하는 시퀀스 적응 처리 플래그 검출부(200-3)∼유색차 매크로 블럭 위치 정보 복호부(200-13)의 처리를 포함한다.

시퀀스 적응 처리 플래그 검출부(200-3): 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive) 를 검출하여 얻어진 플래그의 값을 시퀀스 적응 처리 플래그 기억부(200-4)에 기록한다.

시퀀스 적응 처리 판정부(200-5): 시퀀스 적응 처리 플래그 기억부(200-4)에서 독출한 chroma-position-position-adaptive의 값을 입력하고 그 값이 1인지 판정 처리를 하여 진위값을 출력하고 출력이 참값인 경우, 부호화 스트림에서 플래그(chroma-position-position-adaptive)의 뒤를 이어 유색차 매크로 블럭 위치 정보의 부호화 스트림을 스트림 기억부(200-12)에 기록한다.

그렇지 않으면 슬라이스 적응 처리 플래그 검출부(200-6)에 부호화 스트림이 입력되도록 한다.

슬라이스 적응 처리 플래그 검출부(200-6): 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-position-adaptive)를 검출하고 얻어진 플래그의 값을 슬라이스 적응 처리 플래그 기억부(200-7)에 기록한다.

슬라이스 적응 처리 판정부(200-8): 슬라이스 적응 처리 플래그 기억부(200-7)에서 독출한 chroma-position-slice-adaptive의 값을 입력하고 그 값이 1인지 판정 처리를 하여 진위값을 출력하고 출력이 참값인 경우, 부호화 스트림에서 플래그(chroma-position-position-adaptive)의 뒤를 이어 유색차 매크로 블럭 위치 정보의 부호화 스트림을 스트림 기억부(200-12)에 기록한다.

그렇지 않으면, 색차 공유 블럭 세트 적응 처리 플래그 검출부(200-9)에 부호화 스트림이 입력되도록 한다.

색차 공유 블럭 세트 적응 처리 플래그 검출부(200-9): 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보의 설정에 관한 플래그(chroma-position-MBs-adaptive)를 검출하여 얻어진 플래그의 값을 색차 공유 블럭 세트 적응 처리 플래그 기억부(200-10)에 기록한다.

색차 공유 블럭 세트 적응 처리 판정부(200-11): 색차 공유 블럭 세트 적응 처리 플래그 기억부(200-10)에서 독출한 chroma-position-MBs-adaptive의 값을 입력하고 그 값이 1인지 판정 처리를 하여 진위값을 출력하고 출력이 참값인 경우, 부호화 스트림에서 플래그(chroma-position-MBs-adaptive)의 뒤를 이어 유색차 매크로 블럭 위치 정보의 부호화 스트림을 스트림 기억부(200-12)에 기록한다.

유색차 매크로 블럭 위치 정보 복호부(200-13): 스트림 기억부(200-12)에서 독출한 부호화 스트림을 입력하여 유색차 매크로 블럭 위치 정보를 복호하는 처리를 하고 복호 결과를 유색차 매크로 블럭 위치 정보 기억부(204)에 기록한다.

휘도 신호 복호 처리부(201): 부호화 스트림을 입력하여 휘도 신호를 복호하는 처리를 하고 휘도 신호 기억부(202)에 기록한다.

유색차 매크로 블럭 위치 정보 판정부(205): 유색차 매크로 블럭 위치 정보 기억부(204)에서 독출한 유색차 매크로 블럭 위치 정보를 입력하고 부호화 대상인 매크로 블럭이 유색차 매크로 블럭 위치에 있는지 여부를 판정하여 동위치에 있다고 판정된 경우, 제어 신호를 보내어 색차 신호 복호 처리부(206)의 처리를 한다.

색차 신호 복호 처리부(206): 부호화 스트림을 입력하여 색차 신호를 복호하는 처리를 하고 색차 신호 기억부(207)에 기록한다.

색차 신호 업샘플링 처리부(208): 다운샘플링비 기억부(203)에서 독출한 다운샘플링비와, 색차 신호 기억부(207)에서 독출한 색차 신호를 입력하여 다운샘플링비를 토대로 업샘플링비를 산출하고 동색차 신호에 대한 업샘플링 처리를 하여 처리 후의 색차 신호를 색차 신호 기억부(209)에 기록한다.

이와 같이 하여 도 14에 도시한 영상 복호 장치는, 이 도 14에 도시한 장치 구성에 따라서 도 11 및 도 12의 흐름도의 복호 처리를 실행하는 것이다.

다음으로, 상술한 제7태양에서 설명한 바와 같이, 본 발명에서는 프레임을 단위로 하여 적응적으로 다운샘플링비를 변화시킬 때 요구되는 움직임 보상을 실현하는 참조 프레임의 보간 화상을 생성할 수 있도록 되어 있다.

도 15에, 이 제7태양을 실현하는 본 발명의 참조 프레임 보간 화상 생성 장치의 일실시예를 도시한다.

이와 같이 구성되는 본 발명에 의한 참조 프레임 보간 화상 생성 장치는 색차 신호의 움직임 추정에 사용하는 참조 신호를 생성할 때에 사용되는 것으로서, 도 16에 도시한 구성을 채용하는 영상 부호화 장치가 구비한 참조 신호 생성 처리부(1000)에 적용되거나, 도 17에 도시한 구성을 채용하는 영상 복호 장치가 구비한 참조 신호 생성 처리부(2000)에 적용되는 것이다.

여기에서 도 15 중, 300,301은 보간 필터 계수 기억부, 302는 참조 프레임 신호 기억부, 303,304는 다운샘플링비 기억부, 305는 참조 프레임 보간 정밀도 산출부, 306은 참조 프레임 보간 정밀도 기억부, 307은 참조 프레임 보간 처리 판정부, 308은 참조 프레임 보간 화소값 생성부, 309는 참조 프레임 보간 화소값 기억 부, 310은 출력 제어부, 311은 참조 프레임 보간 처리 상태 기억부이다.

보간 필터 계수 기억부(300): 움직임 보상시의 참조 프레임에 대한 보간 필터 계수를 저장한다.

보간 필터 계수 기억부(301): 동일하게 움직임 보상시의 참조 프레임에 대한 보간 필터 계수를 저장한다. 본 실시예에서는 2종류의 필터 계수를 선택적으로 사용하는 예를 나타내기 위해 2가지의 필터 계수를 개별적인 기억부에 각각 저장하였다.

예를 들면, 이러한 필터 계수는 움직임 보상시의 보간 위치(1/2화소 위치, 1/4화소 위치)에 따라 바꾼다. 본 발명은 2종류 이상의 필터 계수를 사용한 경우에도 동일하게 적용할 수 있다.

참조 프레임 신호 기억부(302): 움직임 보상시의 참조 프레임 신호를 저장한다.

다운샘플링비 기억부(303): 움직임 보상시의 참조 프레임에 대한 다운샘플링비를 저장한다.

다운샘플링비 기억부(304): 움직임 보상시의 대상 프레임(부호화 대상 프레임이나 복호 대상 프레임)에 대한 다운샘플링비를 저장한다.

참조 프레임 보간 정밀도 산출부(305): 다운샘플링비 기억부(303)에서 독출한 참조 프레임에 대한 다운샘플링비와, 다운샘플링비 기억부(304)에서 독출한 대상 프레임에 대한 다운샘플링비를 입력하여 참조 프레임에 필요한 보간 정밀도를 산출하는 처리를 하고 참조 프레임 보간 정밀도 기억부(306)에 기록한다. 구체적인 산출 방법은 식(1)에 따른다.

참조 프레임 보간 처리 판정부(307): 참조 프레임 보간 정밀도 기억부(306)에서 독출한 참조 프레임의 보간 정밀도와, 참조 프레임 보간 처리 상태 기억부(311)에서 독출한 이미 보간 처리를 마친 화소 위치를 나타내는 정보(예를 들면, 1/2화소 위치에 관해서는 이미 보간 처리 완료되었다는 정보)를 입력하여 참조 프레임의 보간 화소값을 전부 생성했는지 여부를 판정하고 이 판정 결과가 참인 경우, 출력 제어부(310)를 구동하여 참조 프레임 보간 화소값 기억부(309)의 값을 출력한다(즉, 최종적인 참조 프레임 보간 화상의 출력).

반면 이 판정 결과가 거짓인 경우, 참조 프레임 보간 화소값 생성부(308)의 처리로 이동한다. 이 때, 보간 대상이 되는 화소 위치를 나타내는 정보를 참조 프레임 보간 화소값 생성부(308)에 준다.

참조 프레임 보간 화소값 생성부(308): 보간 대상이 되는 화소 위치를 나타내는 정보를 입력하고 동정보에 따라 보간 필터 계수 기억부(300) 또는 보간 필터 계수 기억부(301)에서 필터 계수를 입력하여 읽어들인다.

다음으로, 참조 프레임 신호 기억부(302)에서 독출한 참조 프레임의 화소값 혹은 참조 프레임 보간 화소값 기억부(309)에서 독출한 보간 위치도 포함시킨 참조 프레임의 화소값을 입력하여 보간 처리를 하고 그 결과를 참조 프레임 보간 화소값 기억부(309)에 기록한다.

참조 프레임 보간 화소값 기억부(309)는 처음에는 제로값으로 초기화되어 있다. 또 각 참조 프레임의 처리가 종료될 때마다 마찬가지로 제로값으로 초기화된 다. 이와 같이 초기값이 저장되어 있는 경우, 본 처리에서 참조 프레임 보간 화소값 기억부(309)에서 읽어들이지 않는다.

또한 이미 보간 처리를 마친 화소 위치를 나타내는 정보(예를 들면, 1/2화소 위치에 관해서는 보간은 이미 실행되었다는 정보)를 참조 프레임 보간 처리 상태 기억부(311)에 기록한다.

이와 같이 하여 도 15에 도시한 본 발명의 참조 프레임 보간 화상 생성 장치는, 도 16에 도시한 구성을 채용하는 영상 부호화 장치나, 도 17에 도시한 구성을 채용하는 영상 복호 장치에서 프레임을 단위로 하여 다운샘플링비를 적응적으로 변화시키는 구성을 채용할 때, 그 구성에 따라서 참조 프레임의 보간 정밀도가 변화되는 것에 맞추어 요구되는 움직임 보상을 실현하는 참조 프레임의 보간 화상을 생성하도록 처리하는 것이다.

도 18에, 도 15의 장치 구성을 채용하는 참조 프레임 보간 화상 생성 장치가 실행하는 흐름도의 일실시예를 도시한다. 이 흐름도에 따라서 본 참조 프레임 보간 화상 생성 장치가 실행하는 처리에 대해서 설명하기로 한다.

단계S300·BR>F 움직임 보상시의 참조 프레임에 대한 보간 필터 계수를 입력하여 읽어들이고 레지스터에 기록한다. 본 발명은 여러 종류의 필터 계수를 사용할 수도 있다.

단계S301: 움직임 보상시의 참조 프레임에 대한 다운샘플링비를 입력하여 읽어들이고 레지스터에 기록한다.

단계S302: 움직임 보상시의 대상 프레임에 대한 다운샘플링비를 입력하여 읽 어들이고 레지스터에 기록한다.

단계S303: 움직임 보상시의 참조 프레임 신호를 입력하여 읽어들이고 레지스터에 기록한다.

단계S304: 참조 프레임에 대한 다운샘플링비와, 대상 프레임에 대한 다운샘플링비를 입력하여 참조 프레임에 필요한 보간 정밀도를 산출하는 처리를 하고 레지스터에 기록한다. 구체적인 산출 방법은 식(1)에 따른다.

단계S305: 단계S304에서 산출한 참조 프레임의 보간 정밀도를 입력하여 그 값이 1화소 미만인지 아닌지 판정 처리를 하여 진위값을 출력하고, 출력이 참값인 경우 단계S306의 처리로 이동하고, 출력이 거짓값인 경우 보간을 할 필요가 없기 때문에 처리를 종료한다.

단계S306: 참조 프레임의 현재의 보간 정밀도와 단계S304에서 산출한 참조 프레임의 보간 정밀도를 입력하여 참조 프레임의 현재 보간 정밀도가 단계S304에서 산출한 참조 프레임의 보간 정밀도보다 낮은지 여부를 판정 처리하여 진위값을 출력하고, 출력이 참값인 경우 단계S307의 처리로 이동하고, 출력이 거짓값인 경우 처리를 종료한다.

단계S307: 참조 프레임의 현재 보간 정밀도를 입력하여 동정밀도에서의 보간 필터 계수를 선택하여 동필터 계수를 레지스터에 기록한다.

구체적인 필터 계수(보간 필터 계수 기억부(300,301)에 기억되는)에 대해서는 외부에 설치되는 필터 계수를 결정하는 기구로부터 주어지는 것으로 한다.

단계S308: 참조 프레임 신호와 참조 프레임의 현재 보간 정밀도와 단계S307 에서 선택한 동정밀도에서의 보간 필터 계수를 입력하여 보간 처리를 하고 참조 프레임의 보간 화상을 생성한다.

단계S309: 단계S308에서의 참조 프레임의 보간 정밀도를 입력하여 동보간 정밀도를 한층 세밀하게 한다.

보간 정밀도의 단계에 대해서는, 예를 들면 1/8화소 정밀도에 대한 보간 화상을 얻으려고 하는 경우, 보간 정밀도의 필터 계수를 순차적으로 세밀하게 함으로써 1/2, 1/4, 1/8화소 정밀도의 순서에 대응하는 위치에서의 보간 화상을 생성한다.

이와 같이 하여 도 15에 도시한 참조 프레임 보간 화상 생성 장치는, 도 18에 도시한 흐름도의 참조 프레임 보간 화상 생성 처리를 실행함으로써 프레임을 단위로 하여 다운샘플링비를 적응적으로 변화시키는 구성을 채용할 때, 그 구성에 따라서 참조 프레임의 보간 정밀도가 변화된다 해도 요구되는 움직임 보상을 실현하는 참조 프레임의 보간 화상을 생성하도록 처리하는 것이다.

본 발명은, 2신호 성분 이상으로 이루어진 영상 신호를 부호화 대상으로 하는 경우에 적용할 수 있는 것으로서, 영상을 부호화할 때 특정 신호 성분의 다운샘플링비를 적응적으로 변화시킴으로써 시각 감도 등에 따른 효율적인 부호량 절감을 달성할 수 있게 된다.

Claims

색 공간에 있어서 2 이상의 성분을 갖는 영상 신호를 부호화 대상으로 하는 영상 부호화 방법으로서,

프레임 내의 변이량의 크기에 따라 프레임에 있어서 상기 2 이상의 성분 중 사전에 결정된 성분에 대하여 다운샘플링비를 설정하는 과정,

상기 설정된 다운샘플링비에 따라, 프레임에 있어서 상기 사전에 결정된 성분을 다운샘플링함으로써 부호화 대상 영상 신호를 생성하는 과정,

을 구비한 영상 부호화 방법.
제1항에 있어서, 상기 다운샘플링비를 설정하는 과정은,

프레임 내의 국소적인 변이량의 크기에 따라 프레임을 화소의 집합인 블록의 집합인 부분 영역으로 분할하는 과정,

각 부분 영역 내의 성질에 따라 해당 부분 영역에 있어서 상기 사전에 결정된 신호 성분에 대한 다운샘플링비를 설정하는 과정을 가지고,

상기 영상 신호를 설정하는 과정은,

상기 설정한 다운샘플링비에 따라 상기 부분 영역에 있어서 상기 사전에 결정된 신호 성분을 다운샘플링함으로써 상기 부호화 대상 영상 신호를 생성

하는 영상 부호화 방법.
제1항에 있어서, 상기 부호화 대상 영상 신호의 부호화에 의해 얻어진 양자화 후의 각 신호 성분에 대해서 사전에 결정된 일정 수의 화소의 집합인 블럭마다 그 블럭에 대해 영이 아닌 계수인 의미 있는 계수를 포함하는지 여부를 나타내는 정보를 부여할 경우에, 어느 위치의 블록의 집합이 상기 사전에 결정된 신호 성분을 공유하고 있는지에 대해 나타내는 정보를 해당 블럭의 집합에 대해 부여하는 과정

을 더 구비한 영상 부호화 방법.
제1항에 있어서, 상기 부호화 대상 영상 신호의 부호화에서 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라 상기 참조 프레임에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 과정,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임을 보간하여 보간 화상을 생성하는 과정

을 더 구비한 영상 부호화 방법.
제2항에 있어서, 상기 부호화 대상 영상 신호의 부호화에서 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 복호 대상 프레임의 각 부분 영역의 다운샘플링비와, 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 상기 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 과정,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 과정

을 더 구비한 영상 부호화 방법.
제3항에 기재된 영상 부호화 방법에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 방법으로서,

상기 어느 위치의 블럭의 집합이 상기 사전에 결정된 성분을 공유하고 있는지에 대해서 나타내는 정보의 부호화 데이터를 복호함으로써 복호 대상의 블럭 집합이 상기 사전에 결정된 성분을 공유하고 있는 블럭 집합인지 아닌지를 판정하는 과정,

상기 판정 과정에서 상기 사전에 결정된 성분을 공유하고 있는 블럭 집합이라고 판정한 블럭 집합에 대해서, 그것이 공유하는 상기 사전에 결정된 성분의 부호화 데이터를 복호함으로써 부호화쪽에서 설정된 다운샘플링비에 따라 다운샘플링된 신호 성분을 복호하는 과정

을 구비한 영상 복호 방법.
제1항에 기재된 영상 부호화 방법에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 방법으로서,

프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라 상기 참조 프레임에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 과정,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 과정

을 구비한 영상 복호 방법.
제2항에 기재된 영상 부호화 방법에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 방법으로서,

프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 복호 대상 프레임 내의 각 부분 영역의 다운샘플링비와, 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 상기 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 과정,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 과정

을 구비한 영상 복호 방법.
색 공간에 있어서 2 이상의 성분을 갖는 영상 신호를 부호화 대상으로 하는 영상 부호화 장치로서,

프레임 내의 변이량의 크기에 따라 프레임에 있어서 상기 2 이상의 성분 중 사전에 결정된 성분에 대한 다운샘플링비를 설정하는 수단과,

상기 설정한 다운샘플링비에 따라 프레임에 있어서 상기 사전에 결정된 성분을 다운샘플링함으로써 부호화 대상 영상 신호를 생성하는 수단을 구비한 영상 부호화 장치.
제9항에 있어서, 상기 다운샘플링비를 설정하는 수단은,

프레임 내의 국소적인 변이량의 크기에 따라 프레임을 화소의 집합인 블록의 집합인 부분 영역으로 분할하는 수단,

각 부분 영역 내의 성질에 따라 해당 부분 영역에 있어서 상기 사전에 결정된 성분에 대한 다운샘플링비를 설정하는 수단을 가지고,

상기 설정한 다운샘플링비에 따라 상기 부분 영역에 있어서 상기 사전에 결정된 성분을 다운샘플링함으로써 상기 부호화 대상 영상 신호를 생성하는

영상 부호화 장치.
제9항에 있어서, 상기 부호화 대상 영상 신호의 부호화에 의해 얻어진 양자화 후의 각 신호 성분에 대해서 사전에 결정된 일정 수의 화소의 집합인 블럭마다 그 블럭에 대해 영이 아닌 계수인 의미 있는 계수를 포함하는지 여부를 나타내는 정보를 부여하는 경우에 어느 위치의 블럭의 집합이 상기 사전에 결정된 성분을 공유하고 있는지에 대해 나타내는 정보를 해당 블럭의 집합에 대해 부여하는 수단

을 더 구비한 영상 부호화 장치.
제9항에 있어서, 상기 부호화 대상 영상 신호의 부호화에서 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라 상기 참조 프레임에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 수단,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 수단

을 더 구비한 영상 부호화 장치.
제10항에 있어서, 상기 부호화 대상 영상 신호의 부호화에서 프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임 내의 각 부분 영역의 다운샘플링비와, 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 상기 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 수단,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 수단을

더 구비한 영상 부호화 장치.
제11항에 기재된 영상 부호화 장치에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 장치로서,

상기 어느 위치의 블럭의 집합이 상기 사전에 결정된 성분을 공유하고 있는지에 대해서 나타내는 정보의 부호화 데이터를 복호함으로써 복호 대상의 블럭 집합이 상기 사전에 결정된 성분을 공유하고 있는 블럭 집합인지 아닌지를 판정하는 수단과,

상기 판정 수단이, 상기 사전에 결정된 성분을 공유하고 있는 블럭 집합이라고 판정한 블럭 집합에 대해서 그것이 공유하는 상기 사전에 결정된 성분의 부호화 데이터를 복호함으로써 부호화쪽에서 설정된 다운샘플링비에 따라 다운샘플링된 신호 성분을 복호하는 수단

을 구비한 영상 복호 장치.
제9항에 기재된 영상 부호화 장치에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 장치로서,

프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 복호 대상 프레임의 다운샘플링비와 참조 프레임의 다운샘플링비의 비율값에 따라, 상기 참조 프레임에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 수단,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 수단

을 구비한 영상 복호 장치.
제10항에 기재된 영상 부호화 장치에 의해 생성된 영상 신호의 부호화 데이터를 복호하는 영상 복호 장치로서,

프레임간 예측에 소수 화소 정밀도의 움직임 보상을 사용할 경우에 부호화 대상 프레임 내의 각 부분 영역의 다운샘플링비와, 그 부분 영역이 움직임 보상시에 참조하는 참조 프레임 내의 부분 영역의 다운샘플링비의 비율값에 따라 상기 참조 프레임 내의 부분 영역에서의 다운샘플링된 신호 성분에 대하여, 보간에 의하여 화소값을 구하는 각 위치 간의 간격을 나타내는 보간 정밀도를 변화시키는 수단,

상기 변화시킨 보간 정밀도가 정하는 화소값의 보간 간격마다, 상기 참조 프레임 내의 부분 영역을 보간하여 보간 화상을 생성하는 수단

을 구비한 영상 복호 장치.
삭제
제1항에 기재된 영상 부호화 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
삭제
제6항 내지 제8항 중 어느 한 항에 기재된 영상 복호 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 복호 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.