KR101683434B1

KR101683434B1 - 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치

Info

Publication number: KR101683434B1
Application number: KR1020167001770A
Authority: KR
Inventors: 세이지 모찌즈끼; 유따까 후나바시; 준이찌 기무라; 마사까즈 에하마
Original assignee: 르네사스 일렉트로닉스 가부시키가이샤
Priority date: 2009-01-15
Filing date: 2009-01-15
Publication date: 2016-12-06
Also published as: CN102282851A; US9503728B2; EP3376768B1; JP5170800B2; EP3376768A1; JPWO2010082231A1; EP2378776A1; WO2010082231A1; KR20110117082A; US20110280305A1; EP2378776A4; KR101605220B1; KR20160014108A; TW201031221A; EP2378776B1; TWI521948B; CN102282851B

Abstract

데이터 스트림으로부터 추출된 벡터 정보에 의해 나타내어지는 예측 블록과 복호 대상 블록과의 사이에서 화소에 겹침이 있는 경우에, 그 겹침 부분 대신에, 겹침 부분으로부터 상기 벡터 정보에 의한 벡터의 체배의 위치에 있고, 또한, 복호 처리가 종료되어 있는 부분의 화소 정보를 예측 신호로 하고, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는 디코더를 채용한다. 이 디코더는 프레임 내 복호 장치, 부호화 장치의 로컬 디코더 등에 채용된다. 화상의 반복 패턴의 원리로부터 체배의 위치의 화소는 유사한 화소로 되어 있기 때문에, 효율이 좋은 복호 처리를 행할 수 있다.

Description

화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치{IMAGE PROCESSING DEVICE, DECODING METHOD, INTRA-FRAME DECODER, INTRA-FRAME DECODING METHOD, AND INTRA-FRAME ENCODER}

본 발명은 동화상 또는 정지 화상의 프레임 내를 복호하는 프레임 내 복호 장치, 또한 그 복호 방법을 프레임 내의 예측 부호화에 적용한 프레임 내 부호화 장치 등의 부호화ㆍ복호 기술에 관한 것이다.

종래, 동화상 부호화의 분야의 기술에서는, MPEG(Moving Picture Experts Group)에 의해 규격화된 MPEG-2, MPEG-4나, ITU-T(International Telecommunication Union, Telecommunication Standardization Sector)가 규격화한 H.264(상기 MPEG-4 Part.10과 공통 문서) 규격으로 대표되는 부호화 방식이 알려져 있다.

동화상의 부호화는, 크게 나누어, 시간적으로 전후의 화상(이하, 부호화 혹은 복호 처리에서의, 동화상을 구성하는 1매의 화면을 「화상」이라고 칭한다. 「화상」은, 프로그레시브 신호, 인터레이스 신호에서의 「프레임」, 「필드」 중 어느 것이나 나타낼 수 있고, 예를 들면, 부호화가 프레임 단위로 행해지고 있을 때는 「화상」은 「프레임」을 나타내고, 처리가 필드 단위인 경우에는 「필드」를 나타낸다. 또한, 부호화 분야에서 일반 명칭화되어 있는 「프레임간」, 「프레임간」, 「프레임 메모리」는, 그대로 이용하지만, 인터레이스 신호의 「프레임」으로 특정한 것이 아니라, 그때의 처리 모드에 따라서 「프레임」「필드」 중 어느 것이나 의미함)으로부터의 차분을 부호화하는 프레임간 부호화와, 1개의 화상을 단독으로 부호화하는 프레임 내 부호화가 있다. 일반적으로, 프레임 내 부호화한 화상의 부호량은, 프레임간 부호화한 화상의 부호량보다도 커진다. 그러나, 프레임 내 부호화는, 영상 콘텐츠(시퀀스)의 선두에 필요한 것 외에, 재생 시의 랜덤 액세스성의 향상이나, 에러 시의 복귀용으로 필요한 방식이며, 통상적으로, 0.5초 내지 2초 간격, 즉 15프레임 내지 60프레임마다 주기적으로 선택된다.

부호화 처리는 화상을 세분화한 블록(통상 16화소×16라인, MPEG에서는 「매크로 블록」이라고 부른다. 이하, 「블록」은, 본 발명의 처리를 행하는 처리 단위의 총칭으로서 이용한다. 만약, 본 발명의 처리 단위가, MPEG에서의 매크로 블록의 사이즈와 상이한 경우는, 매크로 블록과 명확하게 구별하기 위해서 상기 정의의 블록을 「서브 블록」이라고 칭하는 경우도 있음)이 처리 단위로 된다. 프레임 내 부호화에서는, 블록마다, 동일 화상 내에 있고 또한 이미 부호화된 화상 신호(화소)의 값을 이용하여 예측 신호가 생성되고, 부호화하는 블록의 신호와 예측 신호와의 차분값이, 직교 변환 및 양자화되고, 부호로 변환되어, 부호화 처리가 행해진다. 동시에, 예측 신호를 생성하는 데 있어서의 식별 신호가 아울러 부호화된다.

하기 비특허 문헌 1 및 2에는, 예측 신호의 생성 방법으로서 도 1에 도시한 8종류의 방법과, 부호화하는 블록의 주위 화소의 평균값을 이용하는 방법의 9종류의 방법이 기재되어 있다. 도 1에 도시된 방법에서는, 앞으로 부호화되는 부호화 블록(200)의 예측 신호로서, 화상의 내용의 방향에 따라서 8방향의 예측 방법을 정의하고 있다. 예를 들면 도 1의 (1)은 화상의 내용이 세로 방향으로 상관이 강한, 즉 종선의 경우에 바람직한 방법이고, 부호화 블록(200)에 인접하는 부호화 완료된 신호(211)를 카피 방향(212)의 방향으로 반복하여 카피함으로써 예측 신호를 생성한다. 여기서, 예측에 이용하는 화소 신호(211)는 세로 방향이 1화소폭, 가로 방향이 블록의 가로 방향과 동일 화소수의 영역이다. 마찬가지로, 도 1의 (2)∼(8)은 부호화 완료된 신호(각각 사선 부분)로부터 화살표의 방향으로 화소 신호값을 카피함으로써 예측 신호를 생성한다. 도 1의 (2)∼(8) 중 어느 것의 예측에 이용하는 화소 신호(사선부)의 영역은 1화소폭이고, 부호화 완료된 화소 신호의 영역에 속하고, 또한, 미부호화 영역과 접하고 있다(해당 화소의 8근방 중 어느 하나에, 미복호 영역에 속하는 화소가 존재함). 부호화의 이들 처리에 맞추어, 어느 방향의 예측을 이용했는지를 나타내는 식별 신호를 부호화한다.

특허 문헌 1 및 특허 문헌 2에는, 예측 방법으로서, 벡터(이하, 특별히 지정하지 않은 경우, 화면 내의 화소 위치를 나타내는 정보를 간단히 「벡터」 혹은 「예측 벡터」라고 칭한다. 소위 움직임 보상 프레임간 부호화에 이용하는 「움직임 벡터」로 구별하는 것이 필요한 경우에는 「화면 내 벡터」라고 칭함)를 이용하여 예측 신호를 생성하는 위치를 지시하는 방법이 기재되어 있다. 도 2에서, 1화상이 부호화 완료 영역(130)과 미부호화 영역(140)으로 이루어지고, 부호화 블록(100)을 부호화할 때에, 예측 신호로 하기에 바람직한 블록 신호[예측 블록(110)]를 부호화 완료 영역(130)으로부터 선택하고, 그 위치를 부호화 블록(100)으로부터의 2차원 상대 위치[예측 벡터(120)]로 나타낸다. 도면에서는 블록의 좌상(左上)의 화소(작은 사각으로 도시)의 상대 위치로 벡터(120)를 나타내고 있다. 이때, 부호화 블록(100) 내의 각 화소 신호는, 대응하는 예측 블록(120) 내의 화소 신호와의 차분이 취해지고, 이 차분 신호가 직교 변환ㆍ양자화된 신호와, 예측 벡터가 부호화된다. 복호 처리의 경우도 그것과 마찬가지이며, 미부호화 영역(140)을 미복호 영역으로 하고, 부호화 블록(100)을 복호 대상으로 하는 복호화 블록으로 하고, 부호화 완료 영역(130)을 복호 완료 영역으로 하고, 벡터 정보에 의해 복호 완료 영역으로부터 얻어지는 예측 신호에, 차분 정보를 가하여 재생 화상을 형성하면 된다.

또한, 특허 문헌 1 및 특허 문헌 2에서는, 도 3에 도시한 바와 같이, 예측 블록(110)과 부호화 블록(100)이 겹쳐 있는 경우의 예측 방법을 나타내고 있다. 이때, 예측 블록(110)의 우하(右下) 부분[중복부(200)]은 부호화 처리가 완료되어 있지 않기 때문에, 예측 신호로 되는 데이터가 존재하지 않는다. 특허 문헌 1에서는, 이 중복부(200)의 신호로서, 고정값(예를 들면, 회색을 나타내는 신호값), 주위 화소(210)의 화소값의 평균값, 주위 화소(210)로부터 예측한 신호값(예를 들면 도 1의 (2)의 방법)을 나타내고 있다. 여기서, 주위 화소(210)는, 부호화 완료 영역(130)에 속하고, 또한, 중복부(200)와 접하고 있다(해당 화소의 8근방 중 어느 하나에, 중복부 화소에 속하는 화소가 존재함). 도 3에서 복호 처리의 경우에는, 복호 완료 영역(130)의 예측 블록(110)과 미복호 영역(140)에서의 복호 대상의 부호화 블록(100)과의 겹침 부분(200)은, 복호 처리가 완료되어 있지 않기 때문에, 예측 신호로 되는 데이터가 존재하지 않게 된다.

특허 문헌 1 : 미국 특허 출원 공개 제2003/0202588호 명세서 특허 문헌 2 : 일본 특개평 6-351001호 공보

비특허 문헌 1 : ITU-T H.264, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video, Advanced video coding for generic audiovisual services 비특허 문헌 2 : ISO/IEC 14496-10, Information technology-Coding of audio-visual objects-Part 10 : Advanced Video Coding(비특허 문헌 1과 동일한 내용)

상기, 비특허 문헌 1, 2의 예측 방법은, 부호화 완료 영역(복호 완료 영역)의 화상과 부호화 블록 내의 화상이 연속하고 있고[예를 들면, 부호화 완료 영역(복호 완료 영역)의 화상과 부호화 블록 내를 연결하는 직선이나 엣지의 화상], 또한, 그 방향이 도 1의 8방향과 일치하였을 때에 예측 효율이 향상된다. 반대로, 예를 들면 주기적인 이산 패턴과 같이 연속하지 않는 화상이나, 연속의 방향이 도 1의 8방향에 일치하지 않는 경우에는 부호화 효율 압축율이 향상되지 않는 문제가 있었다.

한편, 특허 문헌 1의 방법에서는, 화상에 주기적인 패턴이 존재한 경우에도 대응을 할 수 있고, 또한, 그 방향도 세세하게 지정할 수 있지만, 이하의 과제가 있다. 즉, 도 3과 같이 부호화 블록(100)과 예측 블록(110)이 중복된 경우에, 중복부의 처리가 비특허 문헌 1, 2의 방법과 마찬가지의 방법을 취하고 있기 때문에, 부호화 효율(압축율)이 향상되지 않는다. 일반적으로, 화상 신호는 화소간의 거리가 가까울수록, 상관이 높게 되어 있어, 부호화 블록(100)의 근방에 최적의 예측 블록(110)이 존재할 확률이 높지만, 특허 문헌 1의 방법, 혹은, 특허 문헌 1의 방법과 비특허 문헌 1, 2를 조합한 방법에서는, 예측 벡터(120)의 크기가 작아질수록, 예측이 들어맞지 않는 중복 영역(200)이 커진다고 하는 문제가 있었다.

본 발명의 목적은, 예측 벡터를 이용하여, 부호화 블록의 근방으로부터 예측 신호를 생성한 경우에서도, 예측 효율을 저하시키지 않는 화상 부호화 및 복호 기술을 제공하는 것에 있다.

더욱 구체적인 목적은, 예측 블록과 부호화 블록과의 겹침 부분에 대한 예측 효율을 향상시킬 수 있어, 화질의 향상에 이바지할 수 있는 화상 부호화 및 복호 기술을 제공하는 것에 있다.

본 발명의 상기 및 그 밖의 목적과 신규의 특징은 본 명세서의 기술 및 첨부 도면으로부터 명백하게 될 것이다.

본원에서 개시되는 발명 중 대표적인 것에 대하여 간단히 설명하면 하기와 같다.

즉, 데이터 스트림으로부터 추출된 벡터 정보에 의해 나타내어지는 예측 블록과 복호 대상 블록과의 사이에서 화소에 겹침이 있는 경우에, 그 겹침 부분 대신에, 겹침 부분으로부터 상기 벡터 정보에 의한 벡터의 체배의 위치에 있고, 또한, 복호 처리가 종료되어 있는 부분의 화소 정보를 예측 신호로 하고, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는 디코더를 채용한다. 이 디코더는 프레임 내 복호 장치, 부호화 장치의 로컬 디코더 등에 채용된다. 이 수단은, 화상의 반복 패턴의 원리로부터 체배의 위치의 화소는 유사의 화소로 되어 있다고 하는 점에 착안하고 있다.

본원에서 개시되는 발명 중 대표적인 것에 의해 얻어지는 효과를 간단히 설명하면 하기와 같다.

즉, 프레임 내 부호화의 예측 효율을 향상시킬 수 있고, 그 결과, 차분 신호의 데이터량(예를 들면 예측 오차 전력)을 저감하고, 해당 화상의 부호량을 저감시킬 수 있다. 일반적으로, 프레임 내 부호화는 프레임간 부호화에 비해 부호량이 많기 때문에, 영상 스트림 전체로서도, 부호량을 삭감할 수 있어, 일정한 화질을 얻기 위한 부호량이 감소하는 효과, 혹은 일정한 부호량에 의해 고화질의 영상을 재생하는 효과가 있다.

도 1은 종래의 프레임 내 예측을 도시하는 도면.
도 2는 종래의 벡터를 이용한 프레임 내 예측을 도시하는 도면.
도 3은 벡터를 이용한 프레임 내 예측에서, 부호화 블록과 예측 블록에 중복이 있는 것을 도시하는 도면.
도 4는 본 발명에서의, 부호화 블록과 예측 블록과의 중복부의 처리를 도시하는 도면.
도 5는 본 발명에서의, 예측 벡터의 위치에 의한 분류를 도시하는 도면.
도 6은 본 발명에서의, 예측 벡터의 위치에 따른 중복부의 처리를 도시하는 도면.
도 7은 본 발명의 제1 실시 형태에 따른 화상 복호 장치의 블록 구성도.
도 8은 도 7에서의 예측 신호 생성 회로(1040)의 상세 블록 구성도.
도 9는 도 8의 예측 신호 생성 회로(1040)의 변형예의 상세 블록 구성도.
도 10은 본 발명의 제2 실시 형태에 따른 예측 신호 생성 알고리즘의 플로우차트.
도 11은 본 발명에서의, 예측 벡터의 위치에 의한 다른 1개의 분류를 도시하는 도면.
도 12는 도 11에서의 영역 (F) (G)에서의 예측 신호 생성 처리를 도시하는 도면.
도 13은 본 발명에서의, 복호 완료 영역의 변형예를 도시하는 도면.
도 14는 도 13에서의 영역 (F') (G') (D')에서의 예측 신호 생성 처리를 도시하는 도면.
도 15는 본 발명의 처리를 행하는 블록의 처리순을 도시하는 도면.
도 16은 본 발명의 하프 픽셀 예측을 도시하는 도면.
도 17은 도 16의 처리를 실현하는 예측 신호 생성 회로의 블록 구성도.
도 18은 도 17의 처리의 타이밍차트.
도 19는 제3 실시 형태에 따른 화상 부호화 장치의 블록 구성도.
도 20은 본 발명에 따른 스트림의 구성도.
도 21은 본 발명을 적용한 광 디스크 재생 장치의 블록 구성도.

1. 실시 형태의 개요

우선, 본원에서 개시되는 발명의 대표적인 실시 형태에 대하여 개요를 설명한다. 대표적인 실시 형태에 대한 개요 설명에서 괄호를 붙여서 참조하는 도면 중의 참조 부호는 그것이 붙여진 구성 요소의 개념에 포함되는 것을 예시하는 것에 불과하다.

〔1〕본 발명의 대표적인 실시 형태에 따른 화상 처리 장치(도 7, 8, 9)는, 데이터 스트림으로부터 추출된 벡터 정보에 의해 나타내어지는 예측 블록과 복호 대상 블록과의 사이에서 화소에 겹침이 있는 경우에, 그 겹침 부분 대신에, 겹침 부분으로부터 상기 벡터 정보에 의한 거리의 체배의 위치에 있고 또한 복호 처리가 종료되어 있는 부분의 화소 정보를, 예측 신호로 하고, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는 디코더를 갖는다.

상기에 의하면, 예측 블록과 복호 대상 블록과의 사이에서 화소에 겹침이 있는 경우에, 복호 미완료의 그 겹침 부분 대신에, 복호 처리가 종료되어 있는 부분의 화소 정보를, 예측 신호로서 이용하기 때문에, 예측 효율의 향상, 부호량의 저감, 및 고화질화를 가능하게 한다. 또한, 상기 벡터 정보에 의한 거리의 체배에 의해 복호 처리가 종료되어 있는 부분의 화소 정보를 취득하기 때문에 그 제어가 용이하다. 복호뿐만 아니라, 부호화의 로컬 디코드에도 용이하게 적용할 수 있다.

〔2〕본 발명의 대표적인 실시 형태에 따른 디코드 방법(도 10)은, 데이터 스트림으로부터 추출된 벡터 정보에 의해 나타내어지는 예측 블록과 복호 대상 블록과의 사이에서 화소에 겹침이 있는 경우에, 그 겹침 부분 대신에, 겹침 부분으로부터 상기 벡터 정보에 의한 거리의 체배의 위치에 있고 또한 복호 처리가 종료되어 있는 부분의 화소 정보를, 예측 신호로 하는 처리와, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는 처리를 포함한다.

〔3〕본 발명의 다른 실시 형태에 따른 프레임 내 복호 장치(도 7, 8, 9)는, 데이터 스트림(1010)으로부터 예측 블록을 나타내는 벡터 정보를 추출하는 추출부(1020)와, 상기 벡터 정보에 의해 나타내어지는 각 화소 데이터가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역의 어느 것에 포함되는지를 판정하는 판정부(1250)와, 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소 데이터로부터 상기 벡터 정보에 의한 크기의 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부(1300, 1320, 1400, 1420)와, 상기 벡터 정보에 의해 나타내어지는 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부(1450, 1460)와, 상기 예측 화상 데이터에, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 화상 재생부를 구비한다.

〔4〕항 3의 프레임 내 복호 장치는, 상기 벡터 정보에 의한 벡터를 체배하는 체배부(1200)를 더 갖고, 상기 화소 위치 계산부는, 상기 체배된 벡터를 이용하여, 복호 처리가 종료되어 있는 영역의 화소 데이터의 화소 위치를 계산한다.

〔5〕항 3의 프레임 내 복호 장치에 있어서, 상기 예측 신호 생성부(1461, 3000)는, 상기 계산된 화소 위치의 화소 데이터와, 상기 벡터 정보에 의해 나타내어지는 화소 데이터 중 상기 복호 처리가 종료되어 있는 영역의 화소 데이터에 대하여, 복수의 화소의 사이를 보간하는 화소 데이터를 연산하여 예측 화상 데이터를 생성한다(도 17, 하프 픽셀).

〔6〕항 3의 프레임 내 복호 장치에 있어서, 상기 화소 위치 계산부는, 소정의 범위 내에서 화소 위치를 계산한다(도 14, 액세스 범위의 제한).

〔7〕항 6의 프레임 내 복호 장치에 있어서, 소정의 범위는, 상기 데이터 스트림으로부터 추출된 신호에 기초하여 설정된다(데이터 스트림에 의한 액세스 범위의 지정).

〔8〕항 3의 프레임 내 복호 장치에 있어서, 상기 데이터 스트림은 정지 화상 또는 동화상의 데이터 스트림이다.

〔9〕본 발명의 다른 실시 형태에 따른 디코드 방법(도 10)은, 데이터 스트림으로부터 예측 블록을 나타내는 벡터 정보를 추출하는 추출 처리와, 상기 벡터 정보에 의해 나타내어지는 각 화소 데이터가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역의 어느 것에 포함되는지를 판정하는 판정 처리와, 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소 데이터로부터 상기 벡터 정보에 의한 크기의 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산 처리와, 상기 벡터 정보에 의해 나타내어지는 화소 데이터에 대하여, 상기 화소 위치 계산 처리에 의해 상기 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성 처리와, 상기 예측 화상 데이터에, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 화상 재생 처리를 포함한다.

〔10〕 더욱 구체적인 디코드 방법(도 10)은, 데이터 스트림으로부터 예측 블록을 나타내는 벡터 정보를 추출하는 제1 처리와, 상기 벡터 정보에 의해 나타내어지는 각 화소 데이터가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역의 어느 것에 포함되는지를 판정하는 제2 처리와, 상기 벡터 정보에 의한 벡터를 체배하는 제3 처리와, 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소 데이터로부터 상기 체배된 벡터의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 제4 처리와, 상기 제4 처리에 의해 계산된 화소 위치의 화소 데이터와, 상기 제2 처리에 의해 상기 복호 처리가 종료되어 있다고 판정된 영역에 포함되는 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 제5 처리와, 상기 예측 화상 데이터에, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 제6 처리를 포함한다.

〔11〕본 발명의 또 다른 실시 형태에 따른 화상 부호화 장치(도 19, 인코더)는, 화상 데이터를 복수의 블록으로 분할하고, 부호화 처리를 행하는 블록에 유사한 블록을 동일 화면 데이터 내의 이미 부호화된 영역으로부터 선택하여 예측 신호로 하고, 상기 부호화 처리를 행하는 블록에 유사한 블록과 예측 신호와의 상대적인 위치를 나타내는 벡터 정보와, 상기 부호화 처리를 행하는 블록에 유사한 블록과 예측 신호와의 차분 신호를 부호화한다. 이 화상 부호화 장치는, 상기 벡터 정보에 의해 나타내어지는 각 화소 데이터가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역의 어느 것에 포함되는지를 판정하는 판정부와, 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소 데이터로부터 상기 벡터 정보에 의한 크기의 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부와, 상기 벡터 정보에 의해 나타내어지는 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부를 로컬 디코더로서 구비한다.

〔12〕본 발명의 또 다른 실시 형태에 따른 프레임 내 복호 장치는, 프레임간 부호화된 블록과 프레임 내 부호화된 블록이 혼재하는 장치이다. 이 프레임간 복호 장치는, 데이터 스트림에 의해 생기는 블록이 프레임 내 모드인 것이 판정된 경우, 데이터 스트림으로부터 예측 블록을 나타내는 벡터 정보를 추출하는 추출부와, 상기 벡터 정보에 의해 나타내어지는 각 화소 데이터가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역의 어느 것에 포함되는지를 판정하는 판정부와, 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소 데이터로부터 상기 벡터 정보에 의한 크기의 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부와, 상기 벡터 정보에 의해 나타내어지는 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부와, 상기 예측 화상 데이터에, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 화상 재생부를 구비한다.

〔13〕본 발명의 또 다른 실시 형태에 따른 프레임 내 복호 장치(예측 신호의 변형을 가능하게 하는)는, 데이터 스트림으로부터 예측 블록을 나타내는 벡터 정보를 추출하는 추출부와, 상기 벡터 정보에 의해 나타내어지는 각 화소 데이터가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역의 어느 것에 포함되는지를 판정하는 판정부와, 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소 데이터로부터 상기 벡터 정보에 의한 크기의 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부와, 상기 벡터 정보에 의해 나타내어지는 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부와, 상기 예측 신호 생성부에서 생성된 예측 화상 데이터를 데이터 스트림에 의해 나타내어지는 방법에 의해 변환하는 예측 신호 변환부와, 상기 예측 신호 변환부에서 변환된 예측 화상 데이터에, 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 화상 재생부를 구비한다.

2. 실시 형태의 상세

실시 형태에 대하여 더욱 상술한다. 또한, 발명을 실시하기 위한 형태를 설명하기 위한 전체 도면에서, 동일한 기능을 갖는 요소에는 동일한 부호를 붙이고, 그 반복 설명을 생략한다.

실시 형태의 상세한 설명에 앞서서, 본 발명의 원리를 개략적으로 설명한다. 이하에서는 프레임 내의 복호를 주체로 하여 설명한다.

도 4는 본 발명의 원리를 설명하기 위해서, 도 3의 예측 블록(110)과, 부호화되어 있는 복호 대상으로서의 부호화 블록(이하 간단히 부호화 블록이라고도 칭함)(100)을 분리하고, 또한, 생성하는 예측 신호(130)와 맞추어 그린 것이다. 예측 블록(110) 중 참조 부호 210의 영역은 미복호 영역에 속하는 결손 영역이다. 결손 영역은, 즉, 부호화 영역의 좌상부의 영역(220)과 동일한 영역이다. 따라서, 예측 블록에 의한 예측이 올바르게 행해지고 있는 것으로 하면, 부호화 블록 중의 영역(220)의 예측 신호는 예측 블록 내의 영역(200)에 해당한다. 즉, 영역(220)과 영역(200)의 화소마다의 차분 신호가 작아, 2개의 영역의 데이터가 유사하다. 한편, 앞에서 설명한 바와 같이, 결손 영역(210)의 신호와 영역(220)의 신호는 동일하기 때문에, 결손 영역(210)과 예측 블록 내의 영역(200)이 유사하게 된다. 본 발명에서는, 이들 성질을 이용하여, 이하와 같이 예측 신호(130)를 생성한다. (1) 복호 완료 영역의 신호가 존재하는 영역[영역(200) 및 영역(230)]은 해당하는 화소 신호를 예측 신호로 하고, (2) 미복호 영역에 해당하는 영역[영역(220)]은 영역(200)의 신호를 카피하여 예측 신호로 한다.

이것은, 즉, 예측 블록 내의 영역(220)은, 벡터(121)에 의해 나타내어지는 바와 같이 본래의 벡터(120)의 2배의 벡터의 위치로부터의 예측에 해당한다.

도 5, 도 6은 벡터가 지시하는 위치와, 그때의 예측 신호의 생성 방법을 도시한 것이다. 부호화 블록을 수평 W화소, 수직 W화소로 하였을 때에, 벡터가 지시하는 위치가, 도 5의 영역(500, 510, 520, 530, 540)에 있을 때에, 예측 블록 내에 결손 영역이 생긴다. 이들 영역을 순서대로 (A), (B), (C), (D), (E)로 하였을 때의, 각각의 영역에서의 예측 신호의 생성예를 도시한 것이 도 6이다. 또한, 도 5에서는 벡터가 지시하는 위치로서, 부호화 블록의 좌상의 화소(사각으로 도시)에 대응하는 화소의 위치로서 표시하고 있다. 또한, 벡터가 영역(590) (H)를 나타내고 있을 때에는 예측 블록에 결손 영역은 생기지 않기 때문에, 종래의 예측 방법을 적용할 수 있다.

도 6의 (A) (B) (E)는, 벡터가 도 5 영역(500, 510, 540)을 나타내고 있는 경우의 예이다. 이 예에서는, 예측 신호는 참조 부호 201, 211, 212의 3개의 영역으로 나누어진다. 영역(201)은 예측 블록 내의 복호 완료 영역부의 화소 신호(111), 영역(211)은, 영역(211)의 위치로부터 본래의 예측 벡터(120)를 2배로 한 움직임 벡터(121)에 의해 지시되는 위치, 즉, 영역(111)의 해당 부분, 영역(212)은 마찬가지로 영역(212)의 위치로부터 예측 벡터(120)의 3배의 벡터(122)에 의해 지시되는 영역(111)의 해당 부분이다. 영역(211) 및 영역(212)의 예측 신호는, 각각, 예측 블록 상기 예에서는 본래의 예측 벡터의 3배까지의 벡터를 사용하는 예를 나타냈지만, 3배 벡터의 위치의 화소가 미복호 영역인 경우에는, 이하, 4배, 5배로 체배수를 늘려 가서, 복호 완료 영역의 화소에 해당하는 최소의 체배수를 사용한다.

여기서, 도 6에서, (C) (D)의 패턴의 경우에는, (A) (B) (E)의 경우와 특성이 상이하다. (A) (B) (E)의 경우는, 예측 블록의 영역(211), 영역(212)을 생성할 때에, 각각 벡터를 2배, 3배한 화소를 사용하였지만, 실질적으로는 예측 블록의 영역(201)의 신호를 이용할 수 있었다. 그러나, (C) (D)의 경우는, 영역(200)의 신호는 그대로 사용할 수는 없고, 복호 완료 영역의 해당하는 영역(112) 및 영역(113)의 신호를 취득할 필요가 있다. 이것은, 예측 벡터가 도 5의 영역(520, 530)에 해당하는 경우이고, 부호화 블록의 우측 즉 도 5의 영역(530)의 하부가 미복호 영역인 것에 기인한다.

도 7은 본 발명에 따른 프레임 내 화상 복호 장치의 일 실시 형태의 구성을 도시하는 블록도이다.

입력되는 데이터 스트림(1010)에는, 화상을 구성하는 각 블록마다 예측 벡터와, 예측 신호에 대한 차분 신호의 정보가 포함되어 있다. 복호 회로(1020)에서는 데이터 스트림(1010)으로부터 예측 벡터(1030)와, 차분 정보(1100)를 추출한다. 차분 정보(1100)는 역양자화 회로(1110), 역직교 변환 회로(1120)에서 차분 신호(1125)로 변환된다. 이것과 병행하여, 본 발명에 따른 예측 신호 생성 회로(1040)에서는, 예측 벡터(1030)에 기초하여, 프레임 메모리(1070)의 복호 완료 영역의 지정 어드레스(1050)를 생성하고, 해당 어드레스의 화소 신호(1060)를 취득하고, 도 5, 도 6을 이용하여 설명한 원리에 따라서 예측 블록의 화소 신호(1080)를 생성한다. 생성한 예측 블록의 화소 신호(1080)는 화상 재생 회로(1130)에서, 차분 신호(1125)에 가산되어, 해당하는 블록의 화상이 재생된다. 재생된 화상은 프레임 메모리(1070)에 기입되고, 이후의 블록의 화상 재생 시의 예측 화상 생성의 후보로서 사용된다. 1화면분의 복호 처리가 종료된 후, 생성된 화상의 신호는 출력 신호(1150)로서 출력되어, 텔레비전 등의 표시 장치 등에 표시된다.

도 8은 도 7에서의 예측 신호 생성 회로(1040)의 상세 회로이다. 예측 신호 생성 회로(1040) 내에서는, 화소 위치 정보 생성 회로(1300)에 의해, 부호화 블록 내에서의 앞으로 처리를 행하는 화소의 화소 위치 정보(1310)가 생성된다. 여기서 생성되는 위치 정보(1310)는, 블록 내의 수평 화소 위치 X와 수직 화소 위치 Y의 정보이고, 예를 들면, 블록 좌상의 화소에서는 X=0, Y=0으로 된다. 벡터 체배 회로(1200)에서는, 입력된 예측 벡터(1030)를 신호(1210)에 의해 지시되는 배수(N배)로 한 체배 벡터(1230)를 생성한다. 초기 상태에서의 N의 값은 1이다. 체배 벡터(1230)(초기 상태에서는 예측 벡터(1030)와 동일함)는 가산 회로(1320)에서 화소 위치 정보(1310)와 가산되어, 예측 블록의 화소 위치(1330)가 계산된다. 이때, 예측 벡터의 수평 성분을 Vx, 수직 성분을 Vy로 하면, 체배 벡터의 수평 성분 N×Vx와 수평 화소 위치 정보 X, 수직 성분 N×Vy와 수직 화소 위치 정보 Y가, 각각 독립적으로 가산되고, 예측 블록의 화소 위치는, 부호화 블록의 좌상의 화소를 기준으로, 수평 X+N×Vx, 수직 Y+N×Vy로 된다. 또한, 이들 값은 마이너스의 값으로도 될 수 있다.

한편, 제어 회로(1250)는, 초기 상태에서는 체배 신호(1210)로서 1(N=1)을 출력하고 있다. 제어 회로(1250)는 체배 벡터(1230)와 화소 위치 정보(1310)로부터, 해당하는 예측 블록의 화소가 복호 완료 영역에 있는지의 여부를 판정한다. 판정은 이하의 방법에 의해 행한다.

X+N×Vx<0 또한 Y+N×Vy<Wy-1일 때, 복호 완료 영역,

X+N×Vx>=0 또한 Y+N×Vy<0일 때, 복호 완료 영역,

상기 이외일 때, 미복호 영역,

여기서 Wx는 블록의 수평 방향의 크기, Wy는 수직 방향의 크기이다.

판정 결과가 「미복호 영역」이었던 경우, 제어 회로(1250)는, 판정 결과가 「복호 완료 영역」으로 될 때까지 체배 신호(1210)를 스테핑(步進; stepping)시킨다. 즉, 예를 들면 도 6에서, (A)∼(E) 중 어느 경우에서도, 화소가 영역(211)에 있을 때에는 N=2를, 화소가 영역(212)에 있을 때에는 N=3을 출력한다.

예측 블록의 화소 위치(1330)는, 화면 내에서의 해당 블록의 블록 위치 생성 회로(1400)가 생성하는 블록 위치(1410)와, 어드레스 생성 회로(1420)에서 가산되고, 또한, 프레임 메모리 상의 해당 어드레스(1050)로 변환된다. 변환된 어드레스(1050)가 지시하는 화소 신호(1060)가 입력되면, 화소 신호는 일단 버퍼(1450)에 저장된 후, 적절한 타이밍에 예측 신호(1080)로서 출력된다.

1개의 화소의 처리가 종료되면, 화소 위치 정보 생성 회로(1300)는, 부호화 블록 내에서의 앞으로 처리를 행하는 화소의 화소 위치 정보(1310)를 다음의 화소 위치로 스테핑시키고, 제어 회로(1250)는 체배 신호(1210)를 1(N=1)로 리세트하고, 다음의 화소의 처리를 행한다.

블록 내의 모든 화소의 처리가 종료되면, 블록 위치 생성 회로(1400)는, 블록 위치(1410)를 다음의 블록 위치로 스테핑시킨다.

도 8의 설명에서, 체배 회로(1200)에서, 움직임 벡터의 N배의 계산을 하는 것으로 설명하였지만, 체배 회로(1200)에 승산기를 구비할 필요는 없고, 왜냐하면, 체배(N의 값)는 1, 2, 3으로 1씩 스테핑하기 때문에, 체배 회로 내에, 일단 예측 벡터를 유지해 놓고, 체배수가 1 증가하였을 때에는, 유지하고 있는 벡터값에, 예측 벡터를 가산함으로써 실현할 수 있다. 이에 의해 회로의 저감을 도모할 수 있다.

또한, 체배 회로(1200)부 대신에, 베이스로 되는 벡터의 크기와 체배수 N을 입력으로 하고, 입력에 해당하는 새로운 벡터를 출력하는 변환 테이블을 배치해도 된다. 변환 테이블을 이용함으로써 비선형 처리, 즉, 임의의 일정 범위에서는 베이스의 벡터를 체배하고, 그 이외의 범위에서는 상이한 배율이나 고정값(클립핑)으로 하는 처리를 행하는 것도 가능하게 된다.

또한, 예측 신호를 생성하기 위한 화소 위치가, 화면 밖의 위치를 가리키는 경우에는, 이하의 방법 중 어느 하나를 미리 정해 둠으로써 대응한다.

(1) 화면 밖의 화소를 참조하는 예측을 금지한다(부호화측에서 제한을 행하고, 복호측은 특별한 대응은 행하지 않음).

(2) 화면 밖의 화소를 참조하는 경우에는, 미리 정해진 소정의 방법에 의해 해당 화소를 생성한다. 예를 들면, MPEG-4와 같이, 참조하는 좌표 (x, y)가 x<0으로 되었을(화면 좌단 밖) 때에는, (0, y)의 화소를 이용한다.

(3) 화면 밖의 화소를 참조하는 상태에서는, 다른 예측 화소 생성 방법을 이용한다(도 14의 (D')의 설명 참조).

도 9는 도 7의 예측 신호 생성 회로(1040)의 다른 실시 형태이다. 도 8의 예측 신호 생성 회로와 상이한 점은, 버퍼(1450) 대신에, 블록 메모리(1460)가 설치되어 있는 점이다. 도 6의 설명에서, 도 6의 (A) (B) (E)에서 설명한, 결손 영역의 예측 신호 생성 시에, 예측 블록의 영역(201)의 신호를 이용하는 실시 형태이다. 즉, 예측 블록의 신호를 블록 메모리(1460)에 저장하고, 예측 블록 내의 화소 액세스에 의해 완료되는 예측의 경우에는, 프레임 메모리(1070)의 액세스를 행하지 않고, 블록 메모리(1460)에 저장된 신호를 출력하는 것이다.

도 9에서, 프레임 메모리(1070)에 액세스하여 얻어진 신호, 즉 복호 완료 영역으로부터 취득하는 신호(1060)는, 블록 메모리(1460)의 블록 내의 위치에 대응한 어드레스에 저장된다. 이때, 제어 회로(1301)는 체배 신호(1210)로서 0(N=0)을 출력함으로써, 블록 메모리의 어드레스(1330)는, 블록 내의 화소 위치 정보(1310)와 동일하게 되어, 소정의 위치에 신호(1060)를 기입할 수 있다.

한편 읽어내기 시, 복호 완료 영역으로부터 취득된 화소의 경우에는, 상기 기입 시와 마찬가지로 N=0으로서 블록 메모리로부터 읽어낸다. 미복호 영역의 화소를 출력하는 경우에는, 본래 프레임 메모리로부터 읽어낼 때의 N의 값보다 1 감한 값을 체배수(1210)로 하여 블록 메모리의 어드레스(1330)를 생성함으로써, 일단 읽어들인 화소, 즉 도 7의 영역(211)의 해당 위치의 데이터를 읽어낼 수 있다. 이에 의해, 프레임 메모리(1070)에의 액세스수를 저감할 수 있어, 프레임 메모리의 액세스에 수반되는 전력 삭감이나, 프레임 메모리의 버스 폭의 저감을 도모할 수 있다. 또한, 블록 메모리에의 액세스가, 프레임 메모리의 액세스에 비해 고속인 경우에는, 처리 시간의 단축 혹은, 동작 주파수의 저주파수화를 행할 수 있어, 더욱 전력 저감에 기여한다.

또한, 도 6의 (C) (D)의 경우에는, 해당 데이터가 블록 메모리 내에 존재하지 않기 때문에, 일부 조건을 제외하고 도 9에서의 프레임 메모리(1070)에의 액세스는 생략할 수 없다.

이상의 실시 형태의 설명은 본 발명을 하드웨어로 실장한 예이지만, 본 발명은 소프트웨어로 실장하는 것도 가능하다. 도 10에 의해, 본 발명에 따른 예측 화소 생성 알고리즘을 설명한다.

도 10은 본 발명에서의 1개의 블록의 예측 화소 신호를 생성하기 위한 알고리즘의 플로우차트이다. 블록 내의 1개의 화소를 처리할 때에, 1500에서 변수 VEC에 입력된 예측 벡터의 값을 유지한다. 1510에서, 변수 VEC의 값(벡터값)과 해당 화소의 위치를 가산하여 예측 신호 위치를 얻는다. 이때, 화소 위치, 예측 신호 위치 모두 2차원의 좌표이고, 벡터값과의 가산에서는, 수평 성분, 수직 성분 각각 독립적으로 계산된다. 계산된 예측 화소 위치를 이용하여 예측 화소 위치가 복호 완료 영역인지의 여부를 조사한다. 조사의 방법은 도 8의 설명 시에 기재한 부등식에 의해 실시한다. 예측 화소 위치가 복호 완료 영역 내가 아니면, 1540에서 변수 VEC에 예측 벡터값을 더한다. 즉, 하드웨어의 설명 시에 이용한 체배수 N을 N+1로 스테핑시키는 처리에 대응한다. 새로운 VEC를 이용하여, 재차, 복호 완료 영역 내외의 판정을 행하고, 예측 화소 위치가 복호 완료 영역 내로 될 때까지 처치(1540)에서 VEC의 변경을 계속한다(N을 스테핑한다). 예측 화소 위치가 복호 완료 영역 내로 되었다고 판정 처리(1530)에서 판정되면, 1550에서, 예측 화소 위치의 신호를 읽어내고, 읽어낸 화소를 해당 화소의 예측 신호로 한다. 이들 처리를 블록 내의 모든 화소에 대하여 실시하고, 판정(1560)에서, 블록 내 전체 화소의 처리가 종료된 시점에서, 1개의 블록의 예측 화소 신호 생성 처리를 종료한다.

도 11 및 도 12는 본 발명의 변형예를 설명하는 도면이다. 도 11에서는, 도 5에서는 대응하고 있지 않았던, 도 11 영역(600) (F) 및 영역(610) (G)의 처리를 허가하는 변형예이다. (F) (G)에서는, 예측 벡터가 도면의 하(下)방향으로 되기 때문에, 이미 설명한 예측 벡터를 체배하는 방법으로는 대응할 수 없다.

도 12는 예측 벡터가 하방향을 향하였을 때, 즉, 예측 벡터가 도 11 영역(600) 및 영역(610)을 지시하였을 때의 처리의 설명도이다. 도 12에서, 동그라미 표시는 복호 완료 영역의 화소를, 사각 표시는 부호화 블록 내의 화소의 위치를 나타낸다. 도 12의 (F)의 경우, 도면의 부호화 블록(100)의 A 내지 M에 대응하는 예측 화상은, 복호 완료 영역의 화소 a 내지 l(엘)로 생성 가능하다. 그러나, 부호화 블록(100)의 P, Q, R, S에 대응하는 화소를 구할 때에는, 복호 완료 영역을 지시하게 될 때까지, 예측 벡터를 하기의 식에 따라서 축퇴해 간다.

여기서, max(u, v)는 u와 v 중 큰 쪽의 값을 취하고, "/"는 소수를 0방향으로 잘라 버리는 제산, 2^N은 2의 N승이다.

또한, 도 11에서, 수평 방향의 오른쪽이 X의 플러스 방향, 수직 방향의 아래가 Y의 플러스 방향으로 한다. 즉, 영역(600) 및 영역(610)을 나타내는 예측 벡터의 경우에는, Vx<0, Vy>0으로 된다.

N의 값을 1부터 1씩 스테핑해 가서, Vx', Vy'에 의해 지시하는 화소가 복호 완료 영역의 화소를 나타내게 되었을 때의 화소 신호를 예측 신호로 한다. 예를 들면, 도 12의 (F)의 화소 P의 예에서는, 초기의 예측 벡터(120)를 (Vx, Vy)=(-3, 1)로 하면, N=1일 때에 축퇴 벡터(141)는 (Vx', Vy')=(1, 0)으로 되어, 화소 l(엘)을 지시하기 때문에, 화소 l의 값을 예측값으로 한다.

예측 벡터가 영역(610)의 경우도, 도 12의 (G)에 도시한 바와 같이, 마찬가지의 처리에 의해 예측 신호를 생성한다. 도 12의 (G)의 예에서는, 예측 벡터(120)를 (Vx, Vy)=(-5, 2)로 하면, 화소 K는 N=1일 때에 축퇴 벡터(142)가 (Vx', Vy')=(-2, 1)로 되어, 화소 h가 예측 화소로 되고, 화소 P는 N=2일 때에 축퇴 벡터(143)가 (Vx', Vy')=(-1, 0)으로 되어, 화소 t가 예측 화소로 된다.

이와 같이, 축퇴시킨 벡터를 사용함으로써, 예측 벡터가 도 11 영역(600) 및 영역(610)을 지시하였을 때, 주기적인 화상 패턴에의 대응은 할 수 없게 되지만, 화면의 우상 방향을 향한 연속성이 있는 화상(직선 등)의 예측은 올바르게 행할 수 있어, 앞의 실시 형태보다도, 보다 높은 부호화 효율이 얻어진다.

도 13 및 도 14는 본 발명의 다른 실시 형태를 설명하는 도면이다. 도 5, 도 11에서는, 부호화 블록 좌측에서는, 부호화 블록 하변과 복호 완료 영역의 경계는 수직 방향에서 동일한 높이이고, 또한, 우방향에서는 복호 완료 영역은 무한히 연속하고 있다고 가정하고 있었다. 그러나, 실제의 부호화ㆍ복호에서는, 도 13에 도시한 바와 같이, 부호화 블록 하변과 복호 완료 영역의 경계의 수직 위치가 상이하거나, 복호 완료 영역 우측이 제한되는 경우가 있다. 좌측 수직 위치 어긋남은, 예를 들면, 도 13의 부호화 블록을 부호화(100)한 다음에, 부호화 블록의 아래 부분을 먼저 부호화한 경우에 해당한다(이 경우, 도 10의 dY=W로 된다). 또한, 우측 제한은 화면 끝에 해당한다.

도 14의 (F') (G')는 예측 벡터가 영역(620) 및 영역(630)일 때의 예이다. 이 경우에는 이하의 방법에 의해 예측 블록의 화소 신호를 계산한다.

스텝 1 : 하기 식에 따라서 N0을 1, 2, …로 스테핑시켜, 해당하는 화소가 복호 완료 영역의 화소인지의 여부를 판정한다. 복호 완료 영역에 속하는 화소이면, 그 화소의 신호값을 예측값으로 하고, 이하의 모든 스텝 2를 생략한다.

스텝 1에서, N0이 하기의 부등식을 충족시켰을 때, 스텝 1을 종료하고 스텝 2로 이행한다.

여기서, X는 처리 화소의 부호화 블록 내에서의 블록 좌상 화소로부터의 수평 상대 위치, Y는 수직 상대 위치이다.

스텝 2 : 상기 부등식을 충족시키는 N0에 대하여, 블록 좌상 화소로부터 상대적으로 이하의 위치의 화소값을 예측값으로 한다.

여기서, min(a, b)는 a, b 중의 작은 쪽의 값을 취한다. 또한, 영역 (F') (G')에서는 Vx<0이다.

상기 식은, 도 14의 (F') (G')에서, 예를 들면, 부호화 블록 내 화소(151)의 경우, 화소(151)로부터 예측 벡터(120)의 방향으로 연장된 점이, 복호 완료 영역과 최초로 교차하는 화소(153)에 해당한다. 또한, 부호화 블록 내 화소(152)의 예측 화소 신호는, 화소(152)로부터 예측 벡터(120)의 연장 방향에 복호 완료 영역이 존재하지 않는, 즉, 상기 식의 min의 ( ) 내에서 W+dY-1의 항이 선택되어, 화소(154)가 이용된다.

도 14의 (D')는 움직임 벡터가 영역 (D')에 있을 때의 예측 화소 신호 생성을 설명하고 있다. 도 14의 (D')의 예에서는, 본래, 영역(211) 및 영역(212)의 예측으로서 사용되는 영역(215) 및 영역(216)이 미복호 영역에 속해 있다. 이 경우에는, 영역(211) 및 영역(212)에, 영역(110)의 화소값을 예측값으로서 이용한다.

도 14의 (D')는, 화면 우단이 있는 경우 등 불가항력으로 우측의 복호 완료 영역이 제한되는 경우를 설명하였지만, 화면 우방향으로의 화소 액세스를 제한하기 위해서, 도 13에서의 우측 경계(660)를 가상적으로 설정하는 것도 가능하다. 도 13에서, dX의 값을 항상 고정값(예를 들면 8)으로 함으로써, 1개의 블록에 대한, 예측 신호의 생성에 이용하는 화소의 범위를 제한할 수 있어, 메모리 액세스의 부가를 경감할 수 있다.

예측 신호의 생성에 이용하는 화소의 제한 범위는, 예를 들면 입력되는 데이터 스트림에 기술된다. 복호의 처리에 앞서서, 스트림으로부터 제한 범위의 정보가 추출되고, 추출된 제한 범위의 정보가 이후의 스트림의 복호 처리에서 이용된다. 이와 같이, 데이터 스트림에 제한 범위를 기술함으로써, 데이터 스트림을 복호하는 장치의 처리 능력에 따라서, 제한 범위를 바꿀 수 있다. 예를 들면, 처리 능력이 높은 복호 장치에서 재생되는 데이터 스트림에서는, 보다 넓은 제한 범위를 설정하여 부호화 효율을 향상시키는 것이 가능하게 된다. 또한, 제한 범위의 정보는, 도 20의 스트림 정보(4000) 혹은 프레임 정보(4100)에 기술된다. 스트림 정보(4000)에 기술된 경우에는, 해당 스트림 전체에서 동일한 제한 범위가 취해지고, 프레임 정보(4100)에 기술된 경우에는, 프레임마다 제한 범위를 바꿀 수 있다.

도 15는 블록 예측의 순서를 도시한 도면이다. MPEG 등의 화상 부호화에서는, 휘도 신호가 16화소×16라인의 매크로 블록이 부호화 처리 단위로 된다. 도 15는 본 발명에 따른 화면 내 벡터 예측을 행하는 블록(서브 블록) 사이즈가 매크로 블록보다도 작은 경우의 처리 순서를 도시하고 있다. 도 15는 서브 블록 사이즈가 매크로 블록의 종횡 1/4, 즉 4화소×4라인의 예를 나타내고 있다. 도 15의 (1)에서는, 매크로 블록 내의 서브 블록을 도면 중에 도시한 바와 같이, 좌상으로부터 우방향으로 스캔하는 예이다. 또한, 도 15의 (2)는 서브 블록의 처리를 8화소×8라인마다 완결시키는 스캔순이며, 각각, 서브 블록 4, 8, 12가 종료된 시점에서 이들을 포함하는 8화소×8라인의 데이터가 구비되기 때문에, 8화소×8라인 단위의 처리와 병용하였을 때의 처리 효율이 높아진다. 한편, 도 15의 (1), 예를 들면 서브 블록 5의 예측 신호를 작성하는 경우, 해당 서브 블록의 우방향[도 13 영역(650) (D')]에 해당하는 부분은 서브 블록 2, 3으로 되는 것에 대하여, 도 15의 (2)의 동위치 서브 블록 3의 예측 신호를 작성하는 경우, 영역 D'에 해당하는 영역은 서브 블록 2의 좌단 1화소폭의 영역만으로 되어, 도 15의 (2)쪽이, 높은 예측 효율을 실현 가능하다.

예측 벡터의 정보는 서브 블록마다 복호된다. 인접한 서브 블록에서는 예측 벡터도 유사한 경우가 많기 때문에, 예측 벡터 정보는, 인접한 서브 블록의 예측 벡터와의 차분이 보내어진다. 예를 들면, 도 15의 (1)의 서브 블록 6에서는, 인접하고, 또한, 이미 복호 완료된 서브 블록으로서 서브 블록 5, 서브 블록 2, 서브 블록 3의 벡터가 이용된다. 이들 3개의 서브 블록의 벡터를 각각 (Vax, Vay) (Vbx, Vby) (Vcx, Vcy)로 하였을 때에, 앞으로 복호하는 서브 블록 6의 벡터의 예측 신호 (Vpx, Vpy)는 이하로 된다.

여기서 Median(a, b, c)는 a, b, c를 큰 순서로 배열하였을 때의 2번째(중앙)의 값이다.

이 벡터의 예측 신호 (Vpx, Vpy)에, 복호된 차분 신호를 더하여 예측 벡터 신호가 얻어진다. 또한, 서브 블록이 매크로 블록의 경계에 위치하는 경우(예, 서브 블록 1)에는, 주변 매크로 블록의 서브 블록의 예측 벡터를 유지해 놓고, 그들을 이용하여 벡터의 예측 신호를 생성하여 예측 벡터값을 얻는다. 또한, 매크로 블록이 화면 경계에 접하고 있어, 해당하는 위치의 서브 블록이 존재하지 않는 경우에는, 존재하지 않는 벡터값을 (0, 0)으로 함으로써 마찬가지로 구해진다. 또한, 해당하는 위치의 서브 블록이 존재하지 않는 경우는, 존재하지 않는 서브 블록수가 1개인 경우는 존재하지 않는 벡터를 (0, 0)으로 하고, 존재하지 않는 서브 블록수가 2일 때는 존재하는 서브 블록(1개)의 벡터를 예측 신호로 하고, 존재하지 않는 서브 블록수가 3(1개도 존재하지 않음)인 경우에는 예측 신호를 (0, 0)으로 해도 된다.

도 16 및 도 17은 예측 블록의 신호값을 계산하는 변형예이다. 도 16 및 도 17에서는, MPEG 등의 움직임 보상 프레임간 예측에서 사용되는 하프 픽셀 예측에 상당하는 예측, 즉 화소 간격의 1/2의 정밀도의 벡터를 사용하는 예이다.

도 16은 화면 내 벡터가 하프 픽셀 정밀도의 경우의 처리의 예이다. 벡터(120)는 도면에서는 (-2.5, -1.5)에 상당하고, 예를 들면 부호화 블록(100) 내의 화소 A의 예측 화소의 위치는 화소 위치(700)로 된다. 이때의 예측 신호값 A'는 이하로 된다.

여기서, a, b, f, g는 각각 도 16에 도시한 화소의 신호값, >>는 비트 시프트 연산이다. >>2는 2비트 우(右)시프트 즉 1/4의 연산을 의미한다. 상기 식에서의 +2는 1/4의 제산을 행했을 때 그 몫이 (a+b+f+g)>>2에 대하여 사사오입되도록 하기 위한 것이다.

블록의 중복부에서는, 예를 들면 화소 위치(701), 즉 화소 T의 예측 신호값 T'는 이하로 된다.

A', B', F', G'는 화소 A, B, F, G의 각 화소의 예측값이다.

하프 픽셀 예측을 행하는 경우, 예측에 필요한 화소는, 정수 정밀도의 벡터를 이용한 예측의 경우에 비해, 수평 혹은 수직 혹은 수평 수직 쌍방에서, 1화소폭분 많은 화소를 이용한다. 이 때문에, 앞서 설명한 예측 화소 생성 방법의 각종 판정에서는, 1개의 예측 화소를 생성하기 위해서 필요한 화소가 모두 복호 완료 영역 내에 있는 것을 판정 기준으로 할 필요가 있다.

도 17은 도 16의 처리를 행하는 예측 신호 생성 회로(1041)의 블록도, 도 18은 도 16의 처리를 행할 때의 예측 신호 생성 회로(1041)의 동작 타이밍차트이다. 화소 위치 정보 생성 회로(1301)는 도 18 타이밍차트의 신호(1310)로 나타내는 화소 위치 정보를 출력한다. 도 16의 예의 경우, 부호화 블록의 사이즈는 4화소×4라인이기 때문에, 도 8, 도 9의 회로의 경우에는 화소 위치 정보(1310)는 수평ㆍ수직 성분 모두 0 내지 3의 범위의 값으로 되지만, 하프 픽셀 예측 처리를 행하기 위해서는, 도 16에 도시한 바와 같이 부호화 블록의 사이즈보다도 수평ㆍ수직 각각 1화소 큰 영역의 정보가 필요로 된다. 이 입력에 의해 예측 신호 생성 회로(1041)는, 앞서 도 8, 도 9에서 설명한 처리와 마찬가지의 처리를 행하고, 그 결과, 도 16의 예측 신호 생성에 관계되는 복호 완료 영역의 화소, 즉, 화소 a, b, c, d, e, f, g, h, i, j, k, l, m, q, r, s, u, w, z를 도 18의 참조 부호 1060으로 나타낸 타이밍에 얻는다. 이들 화소 신호(1060)는 블록 메모리(1461)에 저장된다. 블록 메모리(1461)는, 예의 경우 5화소×5라인의 25화소분의 용량을 갖고, 2계통의 입력(1060, 3021) 중 어느 하나의 신호를 기입하고, 독립된 2계통의 신호(3040, 3070)를 동시에 출력한다. 또한, 2계통의 입력 중 어느 것의 정보를 기입할지를 선택하는 신호선 등은 생략되어 있다. 또한, 여기서 「동시」라는 의미는, 예를 들면 도 18의 시각(3100) 내지 시각(3110)의 처리 단위 기간에서, 읽어내기 혹은 기입의 처리가 완료된다는 의미이며, 상기의 단위 기간을 복수의 기간(예를 들면 3기간)으로 구획하고, 각각의 기간에서, 기입, 판독1, 판독2를 순차적으로 행해도 무방하다.

블록 메모리(1461)로부터는, 도 18의 참조 부호 3040 및 3070으로 나타낸 타이밍에서 기입된 2개의 화소 신호가 읽어내어진다, 예를 들면 시각(3100)에서는, 신호(3040)에는, 도 16의 화소 a의 신호, 신호(3070)에는 화소 f의 신호가 읽어내어진다. 이들 신호는 지연 회로(3050, 3080)에서 각각 처리 단위 기간 지연되어, 신호(3060, 3090)로 된다. 즉, 시각(3110)에는, 신호(3060, 3040, 3090, 3070)에는, 각각 화소 a, b, f, g의 신호가 출력되어 있고, 하프 픽셀 처리 회로(3000)에서는 이 4화소를 이용하여, 도 16의 화소 A의 예측에 이용하는 예측 신호 A'가 예측 신호(1080)로서 생성된다. 또한, 예측 벡터의 수평, 수직 중 어느 한쪽의 성분이 정확히 정수 정밀도의 값이었던 경우, 상기 4화소 중 필요한 2화소가 사용되고, 또한, 수평ㆍ수직 쌍방이 정수 정밀도이었던 경우에는 신호(3060)만이 사용된다. 이와 같이 예측 벡터의 수평ㆍ수직 중 한쪽 혹은 쌍방이 정수 정밀도의 신호이었던 경우에는, 예측 신호 생성에 사용하지 않는 화소가 존재하기 때문에 이들 화소는 프레임 메모리로부터 읽어내지 않아도 무방하다.

생성된 예측 신호(1080)는, 예측 신호로서 출력됨과 함께, 그 중, 다른 예측 신호의 생성에 필요한 신호는 지연 회로(3020)에서 필요한 시간(이 예에서는 처리 단위 기간의 5배) 지연된 후에 신호(3021)로서, 블록 메모리(1461)에 기입된다. 기입되는 타이밍은 도 18의 참조 부호 3021로 나타내는 타이밍이고, 화소 m에 이어서, 정확히 도 16의 화면 상에서 연속하는 화소 위치의 타이밍으로서 기입된다. 또한, 신호(3021)로부터 기입되는 신호는 화소 A', B', F', G', K', L'이다. 이들 신호(3021) 경유로 기입된 신호도, 신호(1060) 경유로 기입된 신호와 마찬가지로 이후의 예측 신호 생성 처리에 이용된다.

이러한 하프 픽셀 예측에서는, 예측 위치로서 보다 정확한 정밀도를 지정할 수 있기 때문에, 예측 효율이 보다 향상된다. 또한, 부호화 블록과 예측 블록의 중복 부분이 큰 경우, 예측 블록의 우하 부분의 화소(예를 들면, 도 16, 도 18의 참조 1080에서는 M', P', S', T')는, 실재의 화소가 아니기 때문에 다른 예측 신호에 비해 오차가 포함될 확률이 높아지지만, 본 발명의 방법에서는, 예를 들면 화소 T의 예측 신호 T'의 생성에는 A', B', F', G'가 이용되고, 또한, 이들 신호의 생성에는 화소 a, b, c, f, g, h, k, l, m의 9화소의 신호가 이용되기 때문에, 개개의 화소에 의한 예측의 오차가 저감되어, 예측 효율의 저하를 방지하고 있다.

도 19는 본 발명의 제2 실시 형태이고, 본 발명을 부호화 장치에 적용하였을 때의 구성을 도시하고 있다.

입력된 화상 신호(2010)는 블록으로 분할되어 입력된다. 입력된 신호(2010)는, 차분 회로(2020)에서, 후술하는 예측 신호(2200)와 화소마다 차분이 취해지고, 이후, 직교 변환 회로(2030), 양자화 회로(2040)에서 신호(2100)로 변환된 후, 부호 회로(2050)에서 부호로 변환되어 데이터 스트림(2060)으로서 출력된다. 동시에, 신호(2100)는, 역양자화 회로(2110), 역직교 변환 회로(2120)에서 차분 신호로 역변환된 후, 가산 회로(2130)에서, 앞의 예측 신호(2200)와 화소마다 가산되어, 복호 장치에서 얻어지는 것과 동일한 화상 신호(로컬 디코드 화상)가 얻어진다. 로컬 디코드 화상은 프레임 메모리(2140)에 기입되고, 이후의 예측 신호(2200) 생성 처리에 이용한다.

예측 신호(2200)는, 예측 모드 결정 회로(2150)에서, 이하와 같이 생성된다. 입력된 화상 신호(부호화 블록)(2010)는 예측 모드 결정 회로(2150)에 입력된다. 예측 모드 결정 회로(2150)는, 해당하는 부호화 블록의 예측 신호의 후보로 되는 예측 벡터를 복수 준비하고, 이들을 예측 후보 벡터(2220)로서 순차적으로, 예측 신호 생성 회로(2240)에 입력한다. 예측 신호 생성 회로는 이미 앞의 실시 형태에서 설명한 예측 신호 생성 회로(1040, 1041)와 동일한 처리를 행하여, 프레임 메모리의 부호화 완료 영역(앞의 실시 형태의 복호 완료 영역에 상당)의 화소 신호로부터, 지정된 예측 후보 벡터에 의한 예측 신호(2230)를 생성한다. 예측 모드 결정 회로(2150)는 입력 신호(2010)(부호화 블록 신호)와, 예측 블록 신호(2230)를 화소마다 차분을 취하여, 예측 오차를 계산한다. 그리고, 모든 예측 후보 벡터의 예측 오차를 계산한 후에, 가장 예측 오차가 작은(가장 유사한) 것을 예측 벡터(2160)로 함과 함께, 예측 벡터(2160)에 대응하는 예측 신호(2200)를 출력한다. 또한, 예측 벡터(2160)는 부호 회로(2050)에서, 데이터 스트림(2060)에 정보가 중첩된다.

또한, 가장 예측 오차가 작은 예측 벡터(2160)를 계산할 때에, 예측 신호는 프레임 메모리(2140)에 저장된 로컬 디코드 화상을 이용하였지만, 로컬 디코드 화상 대신에, 입력된 화상 신호(2010)를 이용해도 무방하다. 단, 이 경우도, 예측 신호(2200)는, 복호 장치에서의 오차의 축적을 방지하기 위해서, 로컬 디코드 화상으로부터 생성할 필요가 있다. 입력 화상을 이용하여 최적의 벡터의 탐색 방법은, 고화질의 부호화일수록, 로컬 디코드 화상과 입력 화상이 가까워지기 때문에 예측의 효율이 높아진다. 또한, 임의의 블록을 처리하는 경우, 벡터의 탐색에 로컬 디코드 화상을 사용하면, 그 직전에 부호화 처리된 블록의 로컬 디코드 화상 생성이 완료, 즉, 직전의 블록의 부호화 처리가 모두 완료될 때까지, 다음의 블록의 벡터의 탐색을 개시할 수 없다. 한편, 벡터의 탐색에 입력 화상을 사용하면, 직전의 블록의 부호화 처리 완료를 대기하지 않고, 다음의 벡터 탐색을 개시할 수 있기 때문에, 벡터 탐색 처리와, 그 이후의 부호화 처리의 병렬 실행이 가능하게 되어, 각 처리에 허용되는 처리 허용 시간이 길어진다(예를 들면 벡터 탐색 처리와 그 이후의 부호화 처리가 동일한 시간이 걸리는 것으로 하면, 이들을 병렬 처리함으로써, 처리 허용 시간은 2배로 된다). 처리 허용 시간이 길어지면, 동일한 처리를 보다 낮은 클록 주파수에서 실행할 수 있기 때문에, 소비 전력이 작아지고, 또한, 회로의 삭감이 가능하게 된다. 또한, 동일한 클록 주파수에서 실행하면, 단위 시간에 보다 많은 화소를 처리할 수 있기 때문에, 보다 해상도가 높은 화상의 처리, 혹은, 보다 프레임 레이트가 높은 화상의 처리, 혹은, 복수의 화상의 동시 처리, 혹은 이들의 조합을 실현할 수 있다.

도 20은 도 19의 부호화 장치(2001)가 생성하는 데이터 스트림(2060)의 구성예이고, 도 7의 입력 데이터 스트림(1010)에 해당한다. 데이터 스트림은 계층적으로 되어 있고, 최상위 계층에서는 스트림 전체에 관계되는 정보(4000)에 이어서, 프레임 데이터가 배치된다. 프레임 데이터, 예를 들면 프레임 데이터(4002)는, 도 20 중단에 있는 바와 같이 매크로 블록(MB) 데이터(4100∼4104)로 구성되고, 선두에 프레임 정보(4100)가 배치된다. MB 데이터, 예를 들면 참조 부호 4102는 도 20 하단에 있는 바와 같이, 매크로 블록의 모드 정보 MB 모드 정보(4200)로부터 시작된다. MB 모드가 본 발명에서 설명한 방법의 모드인 경우에는, 예측 신호를 생성하기 위한 벡터 정보가 소정수 배치된다(4201∼4204). 이 벡터의 수는, 예를 들면 도 15와 같이 매크로 블록이 16분할되어 있는 경우에는 16개의 벡터로 된다. 분할수는 MB 정보에 의해 지정된다. 소정수의 벡터에 이어서, 매크로 블록의 차분 정보가 배치된다.

도 21은 본 발명을 적용한 기기의 예이며, 영상을 기록한 광 디스크의 재생 장치의 블록도이다. 본 발명에 의해 생성된 데이터 스트림은 광 디스크(1)에 기록되어 있다. 광 디스크 드라이브(2)는 광 디스크(1)로부터 읽어내어진 영상의 데이터 스트림(1010)을 디코더(1001)에 공급한다. 디코더(1001)는 앞서 설명한 방법에 의해 입력 데이터 스트림(1010)으로부터 재생한 영상 정보를, 출력 신호(1150)로서 출력한다. 출력된 출력 신호(1150)는 모니터(3)에서 재생된다.

이상 본 발명자에 의해 이루어진 발명을 실시 형태에 기초하여 구체적으로 설명하였지만, 본 발명은 그것에 한정되는 것이 아니라, 그 요지를 일탈하지 않는 범위에서 다양하게 변경 가능한 것은 물론이다.

이미 설명한 실시 형태, 및 각 실시 형태의 변형예에 대하여, 하기의 변형예, 혹은 하기의 변형예의 조합을 적용하는 경우도 본 발명에 포함된다.

본 실시 형태는, 프레임 내 부호화에 적용한 예를 나타내고 있지만, 프레임간 부호화와 프레임 내 부호화가 혼재하는 부호화 및 복호에도 적용 가능하다.

또한, 프레임간 부호화에서의, 프레임 내 부호화 모드의 블록에도 적용 가능하다. 즉, 프레임간 부호화에서, 임의의 블록(또는 매크로 블록)이, 움직임 보상 프레임간 예측에 의한 예측보다도, 본 발명에 따른 화면 내 벡터 예측쪽이 바람직하다고 판단된 블록은, 화면 내 벡터 예측을 선택한 정보를 데이터 스트림에 부가한 후에, 본 발명의 실시 형태에 설명한 방법에 의해, 동일 화면에서 이미 부호화된 영역의 화소를 이용하여 예측 신호를 생성하고, 그 차분 신호를 변환ㆍ부호 처리한다. 이에 의해, 해당 블록을 통상의 프레임 내 부호화하는 경우에 비해, 적은 부호량으로 부호화하는 것이 가능하게 된다. 이 경우, 벡터의 예측 신호 생성에서, 인접하는 블록의 예측 벡터가 존재하지 않는 경우에는 도 15의 항에서 설명한 부호 방법을 적용할 수 있다.

또한, 복호 처리에서는, 화면 내 벡터 예측을 선택한 정보를 데이터 스트림으로부터 추출하여 판정한 후, 해당 블록을 본 실시 형태와 마찬가지로 복호 처리할 수 있다. 이때, 해당 블록이 화면 내 벡터 예측에 의해 부호화된 것은, 도 20의 MB 모드(4200)에 나타내어진다.

본 발명은, 동화상 부호화뿐만 아니라, 정지 화상 부호화에도 적용할 수 있다.

본 발명의 실시 형태에서는, 프로그레시브 화상을 전제로 설명하였지만, 인터레이스 신호에도 적용 가능하다. 이때, 실시 형태에서 「화상」이 프레임 화상, 혹은 필드 화상을 나타내는 것으로 된다.

프레임 화상 단위의 부호화, 혹은 복호에서, 블록(매크로 블록)마다, 프레임 모드와 필드 모드를 절환하여 처리를 하는 프레임/필드 적응 부호화와, 본 발명을 조합하는 것도 가능하다. 본 발명의 화면 내 벡터로서, 프레임 벡터(프레임 단위의 블록을 나타내는 벡터)/필드 벡터(필드 단위의 블록을 나타내는 벡터)를 절환하여 사용함으로써 실시 형태를 그대로 적용하는 것이 가능하다. 프레임 벡터/필드 벡터를 절환하는 신호는, 블록(서브 블록)마다 부가해도 무방하고, 매크로 블록 전체에서 1개의 절환 신호를 지정해도 무방하고, 또한, 매크로 블록의 부호화 모드 정보에 연동해도 무방하다.

인터레이스 신호에서의 프레임 화상에서는, 시각이 상이한 1개의 필드 화상을 1라인마다 배치하여 화면을 구성하고 있기 때문에, 화면에 움직임이 있으면, 화면 내의 엣지부 등이 1라인마다 교대로 빗형으로 어긋나는 화상으로 된다. 본 발명에서는, 이러한 주기적인 패턴을 효율적으로 예측할 수 있기 때문에, 주기적 패턴에 대응하고 있지 않은 종래 방법에 비해, 보다 부호화 효율이 높아진다.

앞의 실시 형태에서는, 예측 블록은, 그대로 예측 신호로서 사용하는 것을 전제로 하고 있지만, 이하의 경우도 본 발명에 포함된다.

(1) 예측 블록의 신호에 계수를 곱하여 예측 신호로 한다. 이것은, 화면 내에서의 휘도 변화에 대응하는 것으로, 예를 들면, 주기적 패턴의 화상이 조명의 관계로 서서히 어두워지고 있는 화상의 경우에도, 예측 효율을 떨어뜨리는 일이 없다. 또한, 이 처리를 중복부의 예측 화소에 적용함으로써, 보다 높은 예측 효율을 실현할 수 있다.

(2) 예측 블록의 신호에 확대 혹은 축소의 처리를 실시하여 예측 신호로 한다. 확대ㆍ축소의 배율에 따라서, 예측 블록의 사이즈를 변화시킬 필요가 있다(2배로 확대하는 경우는, 예측 블록의 크기는 통상적인 1/2이어도 된다). 예측 블록의 확대ㆍ축소는, 화상 내의 물체의 폭(선폭) 등이 변화하고 있는 경우에, 보다 높은 부호화 효율이 얻어진다. 또한, 보다 큰 블록에서 처리를 행해도 화상의 변환에 대응할 수 있기 때문에, 부호화 효율이 저하되지 않고, 반대로 예측 벡터를 부호화하는 오버헤드가 작아져, 부호화 효율이 향상된다.

(3) 예측 블록의 신호를 회전하여 예측 신호로 한다. 회전은 임의 각도의 회전과, 각도를 한정한 회전이 가능하다. 예를 들면 각도를, 90도, 180도, 270도로 한정함으로써, 회전 처리는 임의 각도에 비해 용이해지고, 또한, 회전의 도수(度數)를 나타내는 정보의 부호량도 작아진다. 예측 블록의 회전은, 종횡 복잡한 모양이 조합된 화상이나, 수목의 작은 잎과 같은 다양한 방향을 향한 부정형의 물체가 포함되는 화상의 부호화에 대하여 유효하다.

본 발명은 동화상이나 정지 화상에 대한 부호화ㆍ복호 기술에 널리 적용할 수 있다.

100 : 부호화 블록
110 : 예측 블록
120 : 예측 벡터
130 : 복호 완료 영역
140 : 미복호 영역
200 : 중복 영역
1001 : 화상 복호 장치
1010 : 입력 데이터 스트림
1020 : 복호 회로
1030 : 예측 벡터
1040 : 예측 신호 생성 회로
1080 : 예측 신호
1200 : 벡터 체배 회로
1250 : 제어 회로
1460 : 블록 메모리
3000 : 하프 픽셀 처리 회로

Claims

화면 내 예측 복호 장치를 갖는 화상 처리 장치로서,
상기 화면 내 예측 복호 장치는, 화면 내 예측 벡터와 차분 화상 데이터를 포함하는 데이터 스트림이 입력되고, 복호 대상 화면에 있어서 복호 대상 블록의 재생 화상 데이터를 생성하는 복호 처리를 실행 가능하고,
상기 복호 대상 화면은, 상기 복호 처리가 종료되어 있는 제1 영역과 상기 복호 처리가 종료되어 있지 않은 제2 영역으로 이루어지고, 상기 복호 대상 블록은 상기 제1 영역과 상기 제2 영역의 경계의 상기 제2 영역 측에 위치하고,
상기 화면 내 예측 복호 장치는, 상기 복호 대상 블록의 각 화소를 상기 화면 내 예측 벡터의 기점으로 하여, 상기 화면 내 예측 벡터의 방향과 크기로 지시되는 좌표의 화소가 상기 제2 영역에 위치하는 경우에, 상기 화면 내 예측 벡터와 같은 방향에서 크기가 체배의 위치에 있고 또한 상기 제1 영역에 위치하는 화소의 화상 데이터를 예측 신호로 하고, 상기 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는, 화상 처리 장치.
화면 내 예측 벡터와 차분 화상 데이터를 포함하는 데이터 스트림에 기초하여, 복호 대상 화면에 있어서 복호 대상 블록의 재생 화상 데이터를 생성하는 화면 내 예측 복호 방법으로서,
상기 복호 대상 화면은, 복호 처리가 종료되어 있는 제1 영역과 복호 처리가 종료되어 있지 않은 제2 영역으로 이루어지고, 상기 복호 대상 블록은 상기 제1 영역과 상기 제2 영역의 경계의 상기 제2 영역 측에 위치하고,
상기 화면 내 예측 복호 방법은, 상기 복호 대상 블록의 각 화소를 상기 화면 내 예측 벡터의 기점으로 하여, 상기 화면 내 예측 벡터의 방향과 크기로 지시되는 좌표의 화소가 상기 제2 영역에 위치하는 경우에, 상기 화면 내 예측 벡터와 동일한 방향에서 크기가 체배의 위치에 있고 또한 상기 제1 영역에 위치하는 화소의 화상 데이터를 예측 신호로 하고, 상기 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는, 화면 내 예측 복호 방법.
복호 처리 대상인 블록을 기점으로 하여 예측 블록의 상대적 위치를 나타내는 화면 내 예측 벡터를 데이터 스트림으로부터 추출하는 제1 처리와,
상기 화면 내 예측 벡터에 의해 나타내어지는 상기 예측 블록 내의 각 화소 위치가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역 중 어느 것에 포함되는지를 판정하는 제2 처리와,
상기 화면 내 예측 벡터의 방향을 유지한 채로 크기를 체배하는 제3 처리와,
상기 예측 블록 내의 화소 위치가 상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소에 대응하는, 상기 복호 처리 대상인 블록의 화소의 화소 위치로부터 상기 제3 처리가 실시된 벡터의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 제4 처리와,
상기 제4 처리에 의해 계산된 화소 위치의 화소 데이터와, 상기 제2 처리에 의해 상기 복호 처리가 종료되어 있다고 판정된 영역에 포함되는 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 제5 처리와,
상기 예측 화상 데이터에, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 제6 처리
를 포함하는 프레임 내 복호 방법.
화상 데이터를 복수의 블록으로 분할하고,
부호화 처리를 행할 블록과 유사한 블록을 동일 화면 데이터 내의 이미 부호화된 영역으로부터 선택하여 예측 신호로 하고,
상기 부호화 처리를 행할 블록과 유사한 블록과 예측 신호와의 상대적인 위치를 나타내는 화면 내 예측 벡터와,
상기 부호화 처리를 행할 블록과 유사한 블록과 예측 신호와의 차분 신호를 부호화하는 화상 부호화 장치로서,
상기 부호화 처리를 행할 블록에 포함되는 각 화소를 기점으로 하여 상기 화면 내 예측 벡터의 방향과 크기에 의해 나타내어지는 상기 예측 신호의 각 화소 위치가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역 중 어느 것에 포함되는지를 판정하는 판정부와,
상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소에 대응하는, 상기 부호화 처리를 행할 상기 블록에 포함되는 화소의 화소 위치로부터 상기 화면 내 예측 벡터가 나타내는 방향에서 크기가 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부와,
상기 화면 내 예측 벡터에 의해 나타내어지는 화소 위치의 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부를 로컬 디코더로서 구비하는 프레임 내 부호화 장치.
프레임간 부호화된 블록과 프레임 내 부호화된 블록이 혼재하는 프레임간 복호 장치로서,
데이터 스트림에 의해 생기는 블록이 프레임 내 모드인 것이 판정된 경우, 복호 처리 대상인 블록을 기점으로 하여 예측 블록의 상대적 위치를 나타내는 화면 내 예측 벡터를 데이터 스트림으로부터 추출하는 추출부와,
상기 화면 내 예측 벡터에 의해 나타내어지는 상기 예측 블록 내의 각 화소 위치가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역 중 어느 것에 포함되는지를 판정하는 판정부와,
상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소에 대응하는, 상기 복호 처리 대상인 상기 블록에 포함되는 화소의 화소 위치로부터 상기 화면 내 예측 벡터가 나타내는 방향에서 크기가 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부와,
상기 화면 내 예측 벡터에 의해 나타내어지는 화소 위치의 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부와,
상기 예측 화상 데이터에, 상기 데이터 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 화상 재생부
를 구비하는 프레임 내 복호 장치.
복호 처리 대상인 블록을 기점으로 하여 예측 블록의 상대적 위치를 나타내는 화면 내 예측 벡터를 데이터 스트림으로부터 추출하는 추출부와,
상기 화면 내 예측 벡터에 의해 나타내어지는 상기 예측 블록 내의 각 화소 위치가, 복호 처리가 종료되어 있는 영역과, 복호 처리가 종료되어 있지 않은 영역 중 어느 것에 포함되는지를 판정하는 판정부와,
상기 복호 처리가 종료되어 있지 않은 영역에 포함된다고 판정된 화소에 대응하는, 상기 복호 처리 대상인 상기 블록에 포함되는 화소의 화소 위치로부터 상기 화면 내 예측 벡터가 나타내는 방향에서 크기가 체배의 위치에 있고 또한 상기 복호 처리가 종료되어 있는 영역에 있는 화소 위치를 계산하는 화소 위치 계산부와,
상기 화면 내 예측 벡터에 의해 나타내어지는 화소 위치의 화소 데이터에 대하여, 상기 화소 위치 계산부에서 계산된 화소 위치의 화소 데이터와, 상기 복호 처리가 종료되어 있는 영역에 포함된다고 판정된 화소 데이터에 기초하여 예측 화상 데이터를 생성하는 예측 신호 생성부와,
상기 예측 신호 생성부에서 생성된 예측 화상 데이터를 데이터 스트림에 의해 나타내어지는 방법에 의해 변환하는 예측 신호 변환부와,
상기 예측 신호 변환부에서 변환된 예측 화상 데이터에, 스트림으로부터 얻어지는 차분 화상 데이터를 가하여 재생 화상 데이터를 생성하는 화상 재생부
를 구비하는 프레임 내 복호 장치.
제1항에 있어서,
상기 화면 내 예측 벡터로 지시되는 좌표의 화소가 상기 제1 영역에 위치하는 경우에는, 상기 화면 내 예측 벡터로 지시되는 좌표의 화소의 화상 데이터를 예측 신호로 하고, 상기 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는, 화상 처리 장치.
제1항에 있어서,
상기 화면 내 예측 복호 장치는, 소정의 범위 내에서 상기 화면 내 예측 벡터와 방향이 같고 크기가 체배인 화소 위치를 계산하는, 화상 처리 장치.
제8항에 있어서,
상기 소정의 범위는, 상기 데이터 스트림으로부터 추출되는 신호에 기초하여 설정되는, 화상 처리 장치.
제1항에 있어서,
상기 데이터 스트림은 정지 화상 또는 동화상의 데이터 스트림인, 화상 처리 장치.
제2항에 있어서,
상기 화면 내 예측 벡터로 지시되는 좌표의 화소가 상기 제1 영역에 위치하는 경우에는, 상기 화면 내 예측 벡터로 지시되는 좌표의 화소의 화상 데이터를 예측 신호로 하고, 상기 차분 화상 데이터에 상기 예측 신호를 가하여 재생 화상 데이터를 생성하는, 화면 내 예측 복호 방법.
제2항에 있어서,
소정의 범위 내에서 상기 화면 내 예측 벡터와 방향이 같고 크기가 체배인 화소 위치를 계산하는, 화면 내 예측 복호 방법.
제12항에 있어서,
상기 소정의 범위는, 상기 데이터 스트림으로부터 추출되는 신호에 기초하여 설정되는, 화면 내 예측 복호 방법.
제2항에 있어서,
상기 데이터 스트림은 정지 화상 또는 동화상의 데이터 스트림인, 화면 내 예측 복호 방법.