KR20050090377A

KR20050090377A - 화상 부호화 방법

Info

Publication number: KR20050090377A
Application number: KR1020057007142A
Authority: KR
Inventors: 유지 노토야; 신야 가도노
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2003-01-20
Filing date: 2004-01-16
Publication date: 2005-09-13
Also published as: JP2004248265A; WO2004066636A1; CN1739299A; US20060153463A1; EP1589768A1

Abstract

신속한 랜덤 액세스를 가능하게 하는 화상 부호화 신호(Str)를, 압축 효율의 저하를 방지하여 생성하는 화상 부호화 방법은, 처리 대상의 액세스 유닛(RAU)에서, 포스트 엔트리 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 프리 엔트리 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 단계(단계 S106)와, 직후에 있는 액세스 유닛(RAU)에서, 프리 엔트리 픽처에 대해서, 처리 대상의 액세스 유닛(RAU)의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 처리 대상의 액세스 유닛(RAU)의 프리 엔트리 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 단계(단계 S114 또는 단계 S116)를 포함한다.

Description

화상 부호화 방법{IMAGE ENCODING METHOD}

본 발명은, 화상을 부호화하는 화상 부호화 방법에 관한 것이다.

최근, 음성이나, 화상 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래로부터의 정보 미디어, 요컨대 신문이나 잡지, 텔레비전, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이, 멀티미디어의 대상으로 거론되어져 왔다.

일반적으로, 멀티미디어란, 문자뿐만 아니라, 도형이나, 음성, 특히 화상 등을 동시에 관련지어서 나타내는 것을 말하지만, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로서 어림잡아 보면, 문자의 경우에는 1문자당의 정보량은 1∼2바이트인 것에 반해서, 음성의 경우에는 1초당 64Kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전 수신 품질) 이상의 정보량이 필요해져서, 상기 정보 미디어의 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는, 64Kbits/s∼1.5Mbits/s의 전송 속도를 갖는 서비스 총합 디지털망(ISDN : Integrated Services Digital Network)에 의해서 이미 실용화되어 있지만, 텔레비전·카메라의 영상을 그대로 ISDN로 보내는 것은 불가능하다.

그래서, 필요해져 오는 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에서 권고된 H.261이나 H.263 규격의 동화상 압축 기술이 이용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(콤팩트·디스크)에 음성 정보와 함께 화상 정보를 넣은 것도 가능해진다.

여기에서, MPEG(Moving Picture Experts Group)이란, ISO/IEC(국제 표준화 기구 국제 전기 표준 회의)에서 표준화된 동화상 신호 압축의 국제 규격이고, MPEG-1은 동화상 신호를 1.5Mbps까지, 요컨대 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또, MPEG-1 규격에서는 대상으로 하는 품질을 전송 속도가 주로 약 1.5Mbps로 실현할 수 있을 정도의 중간 정도의 품질로 하였기 때문에, 한층 더 고화질화의 요구를 만족시키기 위해서 규격화된 MPEG-2에서는, 동화상 신호를 2∼15Mbps로 TV 방송 품질을 실현한다.

또한 현 상황에서는, MPEG-1, MPEG-2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, MPEG-1, MPEG-2를 상회하는 압축율을 달성하고, 또한 물체 단위로 부호화·복호화·조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG-4가 규격화되었다. MPEG-4에서는, 당초, 저 비트 레이트의 부호화 방법의 표준화를 목표로 하여 진행되었지만, 현재는 인터레이스 화상도 포함하는 고 비트 레이트도 포함하는, 보다 범용적인 부호화로 확장되어 있다. 또한, 현재는, ISO/IEC와 ITU-T가 공동으로 보다 고압축율의 차세대 화상 부호화 방식으로서, MPEG-4 AVC 및 ITU H.264의 표준화 활동이 진행되고 있다. 2002년 8월의 시점에서, 차세대 화상 부호화 방식은 커미티·드래프트(CD)라고 불리는 것으로 발행되어 있다.

일반적으로 동화상의 부호화에서, 시간 방향 및 공간 방향의 장황성을 삭감함으로써 정보량의 압축을 행한다. 그래서 시간적인 장황성의 삭감을 목적으로 하는 화면간 예측 부호화에서는, 전방 또는 후방의 픽처를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 행하여, 얻어진 예측 화상과 부호화 대상 픽처의 차분값에 대해서 부호화를 행한다. 여기에서, 픽처란 1장의 화면을 나타내는 용어이고, 프로그레시브 화상에서는 프레임을 의미하며, 인터레이스 화상에서는 프레임 또는 필드를 의미한다. 여기에서, 인터레이스 화상이란, 1개의 프레임이 시각이 다른 2개의 필드로 구성되는 화상이다. 인터레이스 화상의 부호화나 복호화 처리에서는, 1개의 프레임을 프레임인 채로 처리하거나, 2개의 필드로서 처리하거나, 프레임 내의 블록마다 프레임 구조 또는 필드 구조로서 처리하거나 할 수 있다.

참조 픽처를 갖지 않고 화면내 예측 부호화를 행하는 것을 I픽처라고 부른다. 또, 1장의 픽처만을 참조하여 화면간 예측 부호화를 행하는 것을 P픽처라고 부른다. 또, 동시에 2장의 픽처를 참조하여 화면간 예측 부호화를 행할 수 있는 것을 B픽처라고 부른다. B픽처는 표시 시간이 전방 또는 후방으로부터 임의의 조합으로서 2장의 픽처를 참조하는 것이 가능하다. 참조 픽처는 부호화 및 복호화의 기본 단위인 블록마다 지정할 수 있지만, 부호화를 행한 비트 스트림 중에 먼저 기술되는 쪽의 참조 픽처를 제1 참조 픽처, 뒤에 기술되는 쪽을 제2 참조 픽처로서 구별한다. 단, 이들의 픽처를 부호화 및 복호화하는 경우의 조건으로서, 참조하는 픽처가 이미 부호화 및 복호화 되어 있을 필요가 있다.

P픽처 또는 B픽처의 부호화에는, 움직임 보상 화면간 예측 부호화가 이용되고 있다. 움직임 보상 화면간 예측 부호화란, 화면간 예측 부호화에 움직임 보상을 적용한 부호화 방식이다. 움직임 보상이란, 단순히 참조 픽처의 화소값으로부터 예측하는 것이 아니라, 픽처 내의 각 부의 움직임량(이하, 이것을 움직임 벡터라고 부른다)을 검출하고, 그 움직임 벡터를 고려한 예측을 행함으로써 예측 정밀도를 향상하는 동시에, 데이터량을 줄이는 방식이다. 예를 들면, 부호화 대상 픽처의 움직임 벡터를 검출하고, 그 움직임 벡터분만큼 시프트한 예측값과 부호화 대상 픽처의 예측 잔차를 부호화함으로써 데이터량을 줄이고 있다. 이 방식의 경우에는, 복호화시에 움직임 벡터의 정보가 필요해지기 때문에, 움직임 벡터도 부호화되어 기록 또는 전송된다.

움직임 벡터는 블록 단위로 검출되어 있고, 구체적으로는, 부호화 대상 픽처측의 블록을 고정해 두고, 참조 픽처측의 블록을 탐색 범위 내에서 이동시켜서, 기준 블록과 가장 비슷한 참조 블록의 위치를 찾아냄으로써, 움직임 벡터가 검출된다.

도 1은, 종래의 화상 부호화 장치의 구성을 도시하는 블록도이다.

화상 부호화 장치(900)는, 화상 신호(Vin)를 픽처마다 부호화하여 비트 스트림인 화상 부호화 신호(Str9)를 출력하는 것으로서, 움직임 검출부(901)와, 움직임 보상부(902)와, 선택부(903)와, 메모리(904∼906)와, 가산기(907)와, 감산기(908)와, 부호화부(909)와, 복호화부(910)와, 픽처 메모리(911)를 구비하고 있다.

픽처 메모리(911)는, 화상 신호(Vin)를 취득하여 일시적으로 보존하고, 화상 신호(Vin)에 포함되는 픽처를 부호화순으로 재배열하여, 그 픽처가 재배열된 화상 신호(Vin)를 움직임 검출부(901)와 감산기(908)에 출력한다.

감산기(908)는, 화상 신호(Vin)와 예측 화상(Pre)의 차분을 계산하여 그 계산 결과를 차분 화상 신호(Dif)로서 부호화부(909)에 출력한다.

부호화부(909)는, 감산기(908)로부터 출력된 차분 화상 신호(Dif)와, 움직임 검출부(901)로부터 출력된 움직임 벡터(MV)를 부호화한다. 그 결과, 부호화부(909)는, 부호화 데이터(Cod)와, 부호화 데이터(Cod)에 대해서 가변길이 부호화 등의 처리가 이루어진 화상 부호화 신호(Str9)를 생성하고, 이 부호화 데이터(Cod)와 화상 부호화 신호(Str9)를 출력한다.

복호화부(910)는, 부호화 데이터(Cod)를 복호화하여 복호 차분 화상 신호(RDif)를 생성한다.

가산기(907)는, 예측 화상(Pre)에 복호 차분 화상 신호(RDif)를 가산하여 복호 화상 신호(Rec)를 생성한다.

선택부(903)는, 복호 화상 신호(Rec)를 후속 픽처의 부호화로 참조 픽처로서 이용 가능하게 하기 위해서, 메모리(904∼906) 중 어느 하나를 선택하여 그 메모리에 대해서 복호 화상 신호(Rec)를 출력한다. 예를 들면, 선택부(903)는, 메모리(904∼906) 중 가장 오래된 복호 화상 신호(Rec)를 격납하고 있는 것을 선택한다.

메모리(904∼906)는, 선택부(903)로부터 복호 화상 신호(Rec)를 취득하여, 이것을 참조 픽처의 후보가 되는 후보 픽처(Ref)로서 격납한다. 또 메모리(904∼906)는, 새로운 후보 픽처(Ref)를 격납할 때에는, 이미 격납되어 있는 가장 오래된 후보 픽처(Ref)를 소거한다.

움직임 검출부(901)는, 메모리(904∼906)에 격납되어 있는 후보 픽처(Ref) 중, 화상 신호(Vin)에 가장 가까운 화상 영역을 갖는 것을 참조 픽처로서 선택한다. 그리고, 움직임 검출부(901)는, 그 화상 영역의 위치를 가리키는 움직임 벡터(MV)를 검출한다.

또한, 움직임 검출부(901)는, 참조 픽처를 지정하기 위한 지정 정보(RF)를 이용함으로써, 메모리(904∼906)의 각각에 격납된 복수의 후보 픽처(Ref) 중에서, 어느 쪽이 화상 신호(Vin)에 근접하는지, 요컨대 어느 쪽이 참조 픽처로서 적절한지를 지정한다.

여기에서, 씬 체인지 등에 의해 화상간의 상관이 손실되는 경우에는, 참조 픽처를 참조하여 부호화하는 쪽이, 화면내 예측 부호화하는 것보다도 압축율이 저하하는 경우가 있다. 이와 같이, 화상 신호(Vin)에 가까운 후보 픽처(Ref)가 없는 경우에는, 움직임 검출부(901)는 화면내 예측 부호화하도록 지정 정보(RF)로 움직임 보상부(902)에 지시한다.

또, 에러 전파 방지나 화상 부호화 신호의 도중에서 재생을 가능하게 하기 위해서는, 소정의 픽처수마다 그 픽처만으로 복호 가능한 화면내 예측 부호화를 행할 필요가 있다. 그래서, 움직임 검출부(901)는, 외부로부터 화면내 예측 부호화를 지시하는 화면내 지시 신호(IT)를 취득하였을 때에도, 화면내 예측 부호화하도록 지정 정보(RF)로 움직임 보상부(902)에 지시한다.

움직임 보상부(902)는, 움직임 검출부(901)로부터 출력되는 지정 신호(RF)에 기초하여, 메모리(904∼906)에 격납되어 있는 3개의 후보 픽처(Ref)와, 0의 값을 갖는 후보 픽처(Ref0) 중 어느 하나를, 참조 픽처로서 취급한다. 즉, 움직임 보상부(902)는, 지정 신호(RF)가 화상 신호(Vin)에 가까운 후보 픽처(Ref)를 지정하고 있는 경우에는, 그 지정 신호(RF)가 지정하는 후보 픽처(Ref)를 격납하고 있는 메모리로부터 그 후보 픽처(Ref)를 참조 픽처로서 취득한다. 한편, 지정 신호(RF)가 화면내 예측 부호화를 지시하고 있는 경우에는, 움직임 보상부(902)는 0의 값을 갖는 후보 픽처(Ref0)를 취득한다. 그리고 움직임 보상부(902)는, 참조 픽처로서의 후보 픽처(Ref)를 취득하였을 때에는, 취득한 참조 픽처로부터 움직임 벡터(MV)를 이용하여 예측 화상(Pre)에 적합한 화상 영역을 취출하고, 그 취출한 화상 영역으로부터 예측 화상(Pre)을 생성하여 출력한다. 한편, 후보 픽처(Ref0)를 취득하였을 때에는, 0의 값을 갖는 예측 화상(Pre)을 생성하여 출력한다.

도 2는, 종래의 화상 부호화 장치(900)가 출력하는 화상 부호화 신호(Str9)의 구성을 도시하는 구성도이다.

화상 부호화 신호(Str9)는, 복수의 랜덤 액세스 유닛(이하, 간단히 액세스 유닛이라고 한다)으로 구성되고, 도 2에서는, 액세스 유닛(RAU0)의 일부와, 액세스 유닛(RAU1, RAU2)이 도시되어 있다.

액세스 유닛은, 복수의 픽처를 포함하여 구성되고, 그 중에는 다른 픽처에 의존하지 않고 복호화 가능한 특별한 I픽처가 포함되어 있다. 또, 액세스 유닛에 포함되는 다른 픽처는, P픽처 또는 B픽처이다. 요컨대, 이와 같은 액세스 유닛은, 복수의 픽처로 구성되는 화상 부호화 신호(Str9)가 I픽처마다 분할된 1개의 단위로서 인식된다.

여기에서, 도 2에 도시하는 바와 같이, 화상 부호화 신호(Str9)에 포함되는 각 픽처는, 각각이 부호화된 순서, 요컨대 복호화되는 순서로 배열되어 있고, 각 픽처가 표시되는 순서는, 이와 같은 배열 순서와 다르다.

도 3은, 종래의 화상 복호화 장치의 구성을 도시하는 블록도이다.

화상 복호화 장치(950)는, 화상 부호화 신호(Str9)를 복호화하는 것으로, 부호화부(951)와, 가산기(953)와, 선택부(954)와, 메모리(955∼957)와, 움직임 보상부(958)를 구비하고 있다.

복호화부(951)는, 화상 부호화 신호(Str9)를 복호화하여, 복호 차분 화상 신호(RDif)와, 움직임 벡터(MV)와, 지정 정보(RF)를 출력한다.

가산기(953)는, 복호 차분 화상 신호(RDif)에 예측 화상(Pre)을 가산하여, 복호 화상 신호(Vo)를 출력한다.

선택부(954)는, 복호 화상 신호(Vo)를 후속의 픽처의 복호화에서 참조 픽처로서 이용하기 위해서, 메모리(955∼957) 중 어느 하나를 선택하여 그 메모리에 대해서 복호 화상 신호(Vo)를 출력한다. 예를 들면, 선택부(954)는, 메모리(955∼957) 중 가장 오래된 복호 화상 신호(Vo)를 격납하고 있는 것을 선택한다.

메모리(955∼957)는, 선택부(954)로부터 복호 화상 신호(Vo)를 취득하고, 이것을 참조 픽처의 후보가 되는 후보 픽처(Ref)로서 격납한다. 또 메모리(955∼957)는, 새로운 후보 픽처(Ref)를 격납할 때에는, 이미 격납되어 있는 가장 오래된 후보 픽처(Ref)를 소거한다.

움직임 보상부(958)는, 복호화부(951)로부터 출력되는 지정 신호(RF)에 기초하여, 메모리(955∼957)에 격납되어 있는 3개의 후보 픽처(Ref)와, 0의 값을 갖는 후보 픽처(Ref0) 중 어느 하나를, 참조 픽처로서 취급한다. 즉, 움직임 보상부(958)는, 지정 신호(RF)가 화상 신호(Vin)에 가까운 후보 픽처(Ref)를 지정하고 있는 경우에는, 그 지정 신호(RF)가 지정하는 후보 픽처(Ref)를 격납하고 있는 메모리로부터 그 후보 픽처(Ref)를 참조 픽처로서 취득한다. 한편, 지정 신호(RF)가 화면내 예측 부호화를 지시하고 있는 경우에는, 움직임 보상부(958)는 0의 값을 갖는 후보 픽처(Ref0)를 취득한다. 그리고 움직임 보상부(958)는, 참조 픽처로서 후보 픽처(Ref)를 취득하였을 때에는, 취득한 참조 픽처로부터 움직임 벡터(MV)를 이용하여 예측 화상(Pre)에 적합한 화상 영역을 취출하고, 그 취출한 화상 영역으로부터 예측 화상(Pre)을 생성하여 출력한다. 한편, 후보 픽처(Ref0)를 취득하였을 때에는, 0의 값을 갖는 예측 화상(Pre)을 생성하여 출력한다.

그러나, 상기 종래의 화상 부호화 장치(900)의 화상 부호화 방법에서는, 소정의 액세스 유닛 및 그 직후에 있는 액세스 유닛에 포함되는 픽처가, 그 소정의 액세스 유닛보다도 앞의 액세스 유닛에 포함되는 픽처를 참조하여 부호화되는 경우가 있기 때문에, 화상 복호화 장치(950)에서는, 그 소정의 액세스 유닛으로부터의 재생(랜덤 액세스)을 용이하게 행할 수 없다는 문제가 있다.

요컨대, 도 2에 도시하는 바와 같이, 화상 복호화 장치(950)가 화상 부호화 장치(900)로부터 화상 부호화 신호(Str9)를 취득하고, 그 액세스 유닛(RAU1)으로부터 화상 부호화 신호(Str9)에 대해서 랜덤 액세스를 개시하려고 해도, 액세스 유닛(RAU1, RAU2)에 포함되는 픽처가, 직접적 또는 간접적으로 액세스 유닛(RAU0) 이전의 픽처를 참조하고 있을 때에는, 그 액세스 유닛(RAU0) 이전의 픽처를 표시하지 않음에도 불구하고 일부러 복호화하지 않으면 안되기 때문에, 용이하고 또한 신속하게 랜덤 액세스할 수 없는 것이다.

구체적으로, 이하의 참조 관계(Rr1, Rr2, Rr3, Rr4)가 있는 경우에는, 기준으로 하는 액세스 유닛(RAU1)으로부터의 랜덤 액세스가 곤란해진다. 또한, 설명을 알기 쉽게 하기 위해서, 각 액세스 유닛 내에서, 화면내 예측 부호화되는 I픽처를 엔트리 픽처라고 칭하고, 표시순으로 엔트리 픽처보다도 앞에 있는 B픽처 또는 P픽처를 프리 엔트리 픽처라고 칭하며, 표시순으로 엔트리 픽처보다도 뒤에 있는 B픽처 또는 P픽처를 포스트 엔트리 픽처라고 칭한다.

(1) 참조 관계 Rr1

참조 관계 Rr1이란, 기준으로 하는 액세스 유닛에서, 포스트 엔트리 픽처가 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처를 참조하여 부호화되어 있는 관계이다. 예를 들면, 도 2에 도시하는 바와 같이, 기준으로 하는 액세스 유닛(RAU1)에 포함되는 I픽처보다도 표시순으로 뒤의 B픽처가, 액세스 유닛(RAU0)의 픽처를 참조하여 부호화되어 있는 관계이다.

(2) 참조 관계 Rr2

참조 관계 Rr2란, 기준으로 하는 액세스 유닛에서, 포스트 엔트리 픽처가 프리 엔트리 픽처를 참조하여 부호화되고, 또한 그 프리 엔트리 픽처는 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처를 참조하여 부호화되어 있는 관계이다. 예를 들면, 도 2에 도시하는 바와 같이, 액세스 유닛(RAU1)에 포함되는 I픽처보다도 표시순으로 뒤의 B픽처가, 그 I픽처보다도 표시순으로 앞의 B픽처를 참조하여 부호화되어 있고, 또한 그 표시순으로 앞의 B픽처가 액세스 유닛(RAU0)의 픽처를 참조하여 부호화되어 있는 관계이다.

(3) 참조 관계 Rr3

참조 관계 Rr3이란, 상기 기준으로 하는 액세스 유닛의 직후의 액세스 유닛에서, 프리 엔트리 픽처가 기준으로 하는 액세스 유닛의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하여 부호화되어 있는 관계이다. 예를 들면, 도 2에 도시하는 바와 같이, 액세스 유닛(RAU2)에 포함되는 I픽처보다도 표시순으로 앞의 B픽처가, 기준으로 하는 액세스 유닛(RAU1)의 I픽처보다도 부호화순으로 앞에 있는 액세스 유닛(RAU0)의 픽처를 참조하여 부호화되어 있는 관계이다.

(4) 참조 관계 Rr4

참조 관계 Rr4란, 상기 기준으로 하는 액세스 유닛의 직후의 액세스 유닛에서, 프리 엔트리 픽처가 기준으로 하는 액세스 유닛의 프리 엔트리 픽처를 참조하여 부호화되고, 또한 그 기준으로 하는 액세스 유닛의 프리 엔트리 픽처는 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처를 참조하여 부호화되어 있는 관계이다. 예를 들면, 도 2에 도시하는 바와 같이, 액세스 유닛(RAU2)에 포함되는 I픽처보다도 표시순으로 앞의 B픽처가, 기준으로 하는 액세스 유닛(RAU1)의 I픽처보다도 표시순으로 앞의 B픽처를 참조하여 부호화되어 있고, 또한 그 표시순으로 앞의 B픽처가 액세스 유닛(RAU0)의 픽처를 참조하여 부호화되어 있는 관계이다.

그런데, 다른 화상 부호화 방법에서는, 소정의 액세스 유닛에 포함되는 픽처를 부호화할 때에는, 다른 액세스 유닛에 포함되는 픽처로부터 독립하여 부호화한다.

도 4는, 상기 다른 화상 부호화 방법에 의해서 생성된 화상 부호화 신호의 구성을 도시하는 구성도이다.

이 화상 부호화 신호(Str10)는, 복수의 액세스 유닛(RAU)으로 구성되어 있고, 각 액세스 유닛(RAU)의 선두에는 특별한 픽처인 IDR1이 배치되어 있다. 이 IDR1은, 화면내 예측 부호화된 픽처이고, 그 IDR1보다도 뒤의 픽처는, 그 IDR1보다도 앞의 픽처를 참조하지 않고 다른 픽처를 참조하여 부호화되어 있다.

즉, 이와 같은 IDR1이 배치된 화상 부호화 신호(Str10)에서는, 각 액세스 유닛(RAU)이 독립하여 존재하기 때문에, 화상 복호화 장치는, 어떤 액세스 유닛(RAU)으로부터나 화상 부호화 신호(Str10)에 대해서 랜덤 액세스를 신속하게 행할 수 있다. 그러나, 이와 같은 화상 부호화 신호(Str10)를 생성하는 화상 부호화 방법에서는, 액세스 유닛(RAU)을 걸치는 것과 같은 픽처의 참조 관계가 모두 금지되기 때문에, 압축 효율이 저하해 버린다는 문제가 있다.

또, 또 다른 화상 부호화 방법(MPEG-2)에서도, 상술한 화상 부호화 신호(Str10)를 생성하는 화상 부호화 방법과 동일한 문제가 생긴다.

도 5는, MPEG-2의 화상 부호화 방법에 의해서 생성된 화상 부호화 신호의 구성을 도시하는 구성도이다.

이 화상 부호화 신호(Str11)는, 복수의 그룹·오브·픽처(GOP)로 구성되어 있고, 각 그룹·오브·픽처(GOP)는 복수의 픽처로 구성되어 있다. 각 그룹·오브·픽처(GOP)에 포함되는 픽처는 각각, I픽처, P픽처, 또는 B픽처이다.

여기에서, MPEG-2의 화상 부호화 방법에서는, P픽처는 표시순으로 직전의 I픽처 또는 P픽처를 1장만 참조하여 부호화되고, B픽처는 표시순으로 직전의 I픽처 또는 P픽처와 직후의 I픽처 또는 P픽처를 각 1장씩 참조하여 부호화된다.

즉, 이와 같은 P픽처 및 B픽처가 배치된 화상 부호화 신호(Str11)에서는, 참조하는 픽처가 비교적 좁은 범위로 제한되어 있기 때문에, 화상 복호화 장치는, I픽처로부터의 표시를 행하는 것으로 하면, 어떤 그룹·오브·픽처(GOP)로부터나 화상 부호화 신호(Str11)에 대해서 랜덤 액세스를 신속하게 행할 수 있다. 그러나, 이와 같은 화상 부호화 신호(Str11)를 생성하는 화상 부호화 방법에서는, 픽처의 참조 관계가 좁은 범위로 제한되기 때문에, 화상 부호화 신호의 압축 효율이 저하해 버린다는 문제가 있다.

그래서, 본 발명은, 이러한 문제를 감안하여 이루어진 것으로, 신속한 랜덤 액세스를 가능하게 하는 화상 부호화 신호를, 압축 효율의 저하를 방지하여 생성하는 화상 부호화 방법을 제공하는 것을 목적으로 한다.

도 2는, 상기와 동일한 화상 부호화 장치가 출력하는 스트림의 구성을 도시하는 구성도이다.

도 4는, 다른 화상 부호화 방법에 의해서 생성된 화상 부호화 신호의 구성을 도시하는 구성도이다.

도 6은, 본 발명의 제1 실시 형태에서의 화상 부호화 장치의 구성을 도시하는 블록도이다.

도 7은, 상기와 동일한 움직임 검출부에 의해서 제한되는 픽처의 참조 관계를 설명하기 위한 설명도이다.

도 8은, 상기와 동일한 움직임 검출부의 개략적인 일련의 동작을 도시하는 흐름도이다.

도 9는, 상기와 동일한 움직임 검출부의 도 8 중에 도시하는 단계 S106의 상세한 동작을 도시하는 흐름도이다.

도 10은, 상기와 동일한 움직임 검출부의 도 8 중에 도시하는 단계 S116의 상세한 동작을 도시하는 흐름도이다.

도 11은, 상기와 동일한 움직임 검출부의 도 8 중에 도시하는 단계 S114의 상세한 동작을 도시하는 흐름도이다.

도 12는, 상기와 동일한 화상 부호화 장치가 출력하는 화상 부호화 신호의 구성을 도시하는 구성도이다.

도 13은, 상기와 동일한 변형예 1에 따른 화상 부호화 신호의 구성을 도시하는 구성도이다.

도 14는, 상기와 동일한 변형예 1에 따른 화상 부호화 신호를 생성하는 화상 부호화 장치의 동작을 도시하는 흐름도이다.

도 15는, 상기와 동일한 변형예 1에 따른 다른 화상 부호화 신호를 생성하는 화상 부호화 장치의 동작을 설명하는 흐름도이다.

도 16은, 상기와 동일한 변형예 2에 따른 참조 구조 정보에 포함되는 내용을 도시하는 정보 내용 표시도이다.

도 17은, 상기와 동일한 변형예 2에 따른 참조 구조 정보를 포함하는 화상 부호화 신호의 구성을 도시하는 구성도이다.

도 18은, 상기와 동일한 변형예 2에 따른 참조 구조 정보가, 자신의 속하는 액세스 유닛에 포함되는 픽처의 참조 범위와 다른 액세스 유닛에 포함되는 픽처의 참조 범위를 나타내는 모양을 설명하기 위한 설명도이다.

도 19는, 상기와 동일한 변형예 3에 따른, 기억 매체에 기억되어 있는 미디어 데이터의 구성을 도시하는 구성도이다.

도 20은, 상기와 동일한 변형예 4에 따른 화상 부호화 신호와 참조 테이블의 구성을 도시하는 구성도이다.

도 21은, 상기와 동일한 변형예 5에 따른 참조 식별 정보를 포함하는 화상 부호화 신호의 구성을 도시하는 구성도이다.

도 22는, 상기와 동일한 변형예 6에 따른 식별 테이블의 구성을 도시하는 구성도이다.

도 23은, 본 발명의 제2 실시 형태에서의 화상 복호화 장치의 구성을 도시하는 블록도이다.

도 24는, 상기와 동일한 화상 복호화 장치의 개략적인 동작을 도시하는 흐름도이다.

도 25는, 상기와 동일한 화상 복호화 장치가 포인트 정보 및 파라미터 세트를 포함하는 화상 부호화 신호를 복호화하는 동작을 도시하는 흐름도이다.

도 26은, 상기와 동일한 변형예 1에 따른 화상 복호화 장치의 결정부의 동작을 도시하는 흐름도이다.

도 27은, 상기와 동일한 변형예 2에 따른 화상 부호화 장치의 결정부의 동작을 도시하는 흐름도이다.

도 28은, 상기와 동일한 변형예 3에 따른 화상 복호화 장치의 구성을 도시하는 블록도이다.

도 29는, 본 발명의 제3 실시 형태에서의, 실시 형태 1의 화상 부호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하는 기억 매체에 대한 설명도이다.

도 30은, 본 발명의 제4 실시 형태에서의 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템의 전체 구성을 도시하는 블록도이다.

도 31은, 상기와 동일한 화상 부호화 방법 및 화상 복호화 방법을 이용한 휴대 전화를 도시하는 도면이다.

도 32는, 상기와 동일한 휴대 전화의 내부 구성을 도시하는 블록도이다.

도 33은, 상기와 동일한 디지털 방송용 시스템의 구성을 도시하는 구성도이다.

상기 목적을 달성하기 위해서, 본 발명에 따른 화상 부호화 방법은, 화상 신호에 포함되는 복수의 픽처 중, 소정의 픽처를 엔트리 픽처로 하여 다른 픽처를 참조하지 않고 부호화하고, 엔트리 픽처 이외의 픽처를 다른 이미 부호화된 픽처를 참조하여 부호화하여 화상 부호화 신호를 생성하는 화상 부호화 방법으로서, 상기 화상 신호를, 엔트리 픽처를 포함하는 복수의 픽처로 이루어지는 액세스 단위로 취급하고, 처리해야 할 대상의 액세스 단위에 있어서, 표시순으로 상기 엔트리 픽처보다도 뒤에 있는 후치(後置) 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치(前置) 픽처이고, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 단계와, 상기 처리 대상의 액세스 단위의 직후에 있는 액세스 단위에 있어서, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처에 대해서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처로서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 단계를 포함하는 것을 특징으로 한다.

이것에 의해, 처리 대상의 액세스 단위의 후치 픽처는, 부호화순으로 엔트리 픽처보다 앞의 픽처, 요컨대 처리 대상의 액세스 단위보다도 앞의 액세스 단위와는 독립하여 부호화되고, 처리 대상의 액세스 단위의 직후의 액세스 단위의 전치 픽처는, 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처, 요컨대 처리 대상의 액세스 단위보다도 앞의 액세스 단위와는 독립하여 부호화되기 때문에, 이와 같이 부호화된 신호를 취득한 화상 복호화 장치는, 그 처리 대상의 액세스 단위의 앞의 액세스 단위에 포함되는 픽처를 일부러 복호화하지 않고, 부호화된 신호를 처리 대상의 액세스 단위로부터 신속하게 랜덤 액세스할 수 있다. 또, 처리 대상의 액세스 단위의 전치 픽처는, 부호화순으로 엔트리 픽처보다도 앞의 픽처, 요컨대 처리 대상의 액세스 단위보다도 앞의 액세스 단위에 포함되는 픽처를 참조해도 되고, 배경 기술에서 설명한 바와 같이 IDR을 배치하여 액세스 단위를 걸치는 것과 같은 픽처의 참조 관계를 금지하지 않으며, 또한, 참조하는 픽처를 직전이나 직후에 있는 픽처에 한정하지 않기 때문에, 화상 신호의 부호화에서의 압축 효율의 저하를 방지할 수 있다.

또, 상기 제1 참조 제한 단계에서는, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처를 제외한, 다른 픽처를 참조하고, 상기 제2 참조 제한 단계에서는, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처를 제외한, 다른 픽처를 참조하는 것을 특징으로 해도 된다.

이것에 의해, 제1 참조 제한 단계에서는, 전치 픽처가 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하는지의 여부에 상관없이, 그 전치 픽처는 참조의 대상으로부터 제외되고, 또한, 제2 참조 제한 단계에서는, 전치 픽처가 처리 대처(對處)의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하는지의 여부에 상관없이, 그 전치 픽처는 참조의 대상으로부터 제외되기 때문에, 부호화 처리를 간단하고 또한 신속하게 행할 수 있다.

또, 상기 화상 부호화 방법은, 또한, 어떤 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지를 나타내는 참조 구조 정보를 부호화하는 참조 구조 정보 부호화 단계와, 상기 화상 부호화 신호 중에, 부호화된 참조 구조 정보를 삽입하는 삽입 단계를 포함하는 것을 특징으로 해도 된다.

이것에 의해, 어떤 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지를 나타내는 참조 구조 정보가 화상 부호화 신호에 포함되어 있기 때문에, 이와 같은 화상 부호화 신호를 취득한 화상 복호화 장치는, 그 참조 구조 정보에 기초하여, 신속한 랜덤 액세스를 개시하는 것이 가능한 액세스 단위를 용이하게 특정할 수 있다.

또, 상기 화상 부호화 방법은, 또한, 각 액세스 단위마다, 해당 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지의 여부를 나타내는 참조 구조 정보를 부호화하는 참조 구조 정보 부호화 단계와, 상기 화상 부호화 신호 중의 각 액세스 단위에, 해당 액세스 단위에 대응하는 상기 참조 구조 정보를 삽입하는 삽입 단계를 포함하는 것을 특징으로 해도 된다.

이것에 의해, 제1 및 제2 참조 제한 단계를 행하였는지의 여부를 나타내는 참조 구조 정보가 화상 부호화 신호에 각 액세스 단위마다 포함되어 있기 때문에, 이와 같은 화상 부호화 신호를 취득한 화상 복호화 장치는, 그 참조 구조 정보에 기초하여, 각 액세스 단위마다, 해당 액세스 단위로부터 신속한 랜덤 액세스가 가능한지의 여부를 특정할 수 있다.

여기에서, 상기 화상 부호화 방법은, 또한, 각 액세스 단위마다, 해당 액세스 단위에 포함되는 각 픽처의 참조 범위를 나타내는 참조 구조 정보를 부호화하는 참조 구조 정보 부호화 단계와, 상기 화상 부호화 신호 중의 각 액세스 단위에, 해당 액세스 단위에 대응하는 상기 참조 구조 정보를 삽입하는 삽입 단계를 포함하는 것을 특징으로 해도 된다.

이것에 의해, 참조 범위를 나타내는 참조 구조 정보가 화상 부호화 신호에 각 액세스 단위마다 포함되어 있기 때문에, 이와 같은 화상 부호화 신호를 취득한 화상 복호화 장치는, 그 참조 구조 정보에 기초하여, 각 액세스 단위마다, 해당 액세스 단위로부터 신속한 랜덤 액세스가 가능한지의 여부를 특정할 수 있다.

또한, 본 발명은, 상기 화상 부호화 방법을 이용하는 화상 부호화 장치 및 프로그램이나, 그 프로그램을 기억한 기억 매체나, 그 화상 부호화 방법에 의해 생성된 화상 부호화 신호로서도 실현할 수 있다.

이하, 본 발명의 실시 형태에 대해서, 도면을 참조하여 설명한다.

(실시 형태 1)

본 실시 형태에서의 화상 부호화 장치(100)는, 화상 신호(Vin)를 픽처마다 부호화하여, 신속한 랜덤 액세스를 가능하게 하는 화상 부호화 신호(Str)를, 압축 효율의 저하를 방지하여 생성하는 것이다.

이와 같은 화상 부호화 장치(100)는, 움직임 검출부(101)와, 움직임 보상부(102)와, 선택부(103)와, 메모리(104∼106)와, 가산기(107)와, 감산기(108)와, 부호화부(109)와, 복호화부(110)와, 카운터(111)와, 순서 메모리(112)와, 참조 제어부(113)와, 픽처 메모리(114)를 구비하고 있다.

픽처 메모리(114)는, 화상 신호(Vin)를 취득하여 일시적으로 보존하고, 화상 신호(Vin)에 포함되는 픽처를 부호화순으로 재배열하여, 그 픽처가 재배열된 화상 신호(Vin)를, 움직임 검출부(101), 감산기(108), 및 카운터(111)에 출력한다. 또한, 픽처 메모리(114)는, 화상 신호(Vin)에 포함되는 픽처의 표시순을 나타내는 내용의 표시순 정보(Poc)를 움직임 검출부(101), 순서 메모리(112), 및 참조 제어부(113)에 출력한다.

감산기(108)는, 화상 신호(Vin)와 예측 화상(Pre)의 차분을 계산하여 그 계산 결과를 차분 화상 신호(Dif)로서 부호화부(109)에 출력한다.

부호화부(109)는, 감산기(108)로부터 출력된 차분 화상 신호(Dif)와, 움직임 검출부(101)로부터 출력된 움직임 벡터(MV)와, 참조 제어부(113)로부터 출력되는 참조 구조 정보(Rsi)를 부호화한다. 그 결과, 부호화부(109)는, 부호화 데이터(Cod)와, 부호화 데이터(Cod)에 대해서 가변길이 부호화 등의 처리가 이루어진 화상 부호화 신호(Str)를 생성하고, 이 부호화 데이터(Cod)와 화상 부호화 신호(Str)를 출력한다.

복호화부(110)는, 부호화 데이터(Cod)를 복호화하여 복호 차분 화상 신호(RDif)를 생성한다.

가산기(107)는, 예측 화상(Pre)에 복호 차분 화상 신호(RDif)를 가산하여 복호 화상 신호(Rec)를 생성한다.

선택부(103)는, 복호 화상 신호(Rec)를 후속 픽처의 부호화에서 참조 픽처로서 이용 가능하게 하기 위해서, 메모리(104∼106) 중 어느 하나를 선택하여 그 메모리에 대해서 복호 화상 신호(Rec)를 출력한다. 예를 들면, 선택부(103)는, 메모리(104∼106) 중 가장 오래된 복호 화상 신호(Rec)를 격납하고 있는 것을 선택한다.

메모리(104∼106)는, 선택부(103)로부터 복호 화상 신호(Rec)를 취득하고, 이것을 참조 픽처의 후보가 되는 후보 픽처(Ref)로서 격납한다. 또 메모리(104∼106)는, 새로운 후보 픽처(Ref)를 격납할 때에는, 이미 격납되어 있는 가장 오래된 후보 픽처(Ref)를 소거한다.

참조 제어부(113)는, 표시순 정보(Poc)를 픽처 메모리(114)로부터 취득하고, 그 취득한 표시순 정보(Poc)에 기초하여, 화상 신호(Vin)에 포함되는 액세스 유닛 중, 신속한 랜덤 액세스가 개시 가능한 액세스 유닛으로서 처리해야 할 대상을 가리키는 내용의 참조 구조 정보(Rsi)를 작성한다. 그리고, 참조 제어부(113)는, 그 작성한 참조 구조 정보(Rsi)를 움직임 검출부(101) 및 부호화부(109)에 대해서 출력한다. 여기에서, 참조 구조 정보(Rsi)는, 부호화되어 화상 부호화 신호(Str)에 삽입된 후에는, 화상 부호화 신호(Str) 중 어느 액세스 유닛으로부터 신속한 랜덤 액세스가 가능한지를 나타낸다.

또, 참조 제어부(113)는, 화면내 예측 부호화를 지시하는 화면내 지시 신호(IT)를 주기적으로 순서 메모리(112)에 대해서 출력한다.

카운터(111)는, 픽처 메모리(114)로부터 화상 신호(Vin)를 취득하고, 그 화상 신호(Vin)에 포함되는 각 픽처를 카운트함으로써, 각 픽처에 대한 부호화의 순서를 나타내는 부호화순 정보(Doc)를 순서 메모리(112)와 움직임 검출부(101)에 대해서 출력한다.

순서 메모리(112)는, 카운터(111)로부터 각 픽처의 부호화순 정보(Doc)를 순차적으로 취득하고, 픽처 메모리(114)로부터 각 픽처의 표시순 정보(Poc)를 순차적으로 취득한다. 그리고, 순서 메모리(112)는, 참조 제어부(113)로부터 화면내 지시 신호(IT)를 취득하면, 그 화면내 지시 신호(IT)에 대응하는 픽처의 부호화순과 표시순을, 부호화순 정보(Doc) 및 표시순 정보(Poc)로부터 특정하고, 그 특정한 부호화순을 특정 부호화순 정보(Id1)로서 기억하는 동시에, 그 특정한 표시순을 특정 표시순 정보(Ip1)로서 기억한다.

즉, 순서 메모리(112)는, 화면내 예측 부호화되는 I픽처의 부호화순 및 표시순을 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)로서 기억한다.

또, 이와 같은 순서 메모리(112)는, 2개의 I픽처에 대한 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)를 소위 선입 선출 방식으로 기억한다. 즉, 순서 메모리(112)는, 최신의 I픽처와 그 I픽처의 직전에 있는 I픽처에 대한 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)를 기억하고 있다.

그리고 이와 같은 순서 메모리(112)는, 기억하고 있는 2개의 I픽처에 대한 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)를 움직임 검출부(101)에 출력한다.

움직임 검출부(101)는, 메모리(104∼106)에 격납되어 있는 후보 픽처(Ref) 중, 화상 신호(Vin)에 가장 가까운 화상 영역을 갖는 것을 참조 픽처로서 선택한다. 그리고, 움직임 검출부(101)는, 그 화상 영역의 위치를 가리키는 움직임 벡터(MV)를 검출한다.

또한, 움직임 검출부(101)는, 참조 픽처를 지정하기 위한 지정 정보(RF)를 이용함으로써, 메모리(104∼106)의 각각에 격납된 복수의 후보 픽처(Ref) 중에서, 어느 화상 신호(Vin)에 가까운지, 요컨대 어느 참조 픽처로서 적절한지를 지정한다.

움직임 보상부(102)는, 움직임 검출부(101)로부터 출력되는 지정 신호(RF)에 기초하여, 메모리(104∼106)에 격납되어 있는 3개의 후보 픽처(Ref)와, 0의 값을 갖는 후보 픽처(Ref0) 중 어느 하나를, 참조 픽처로서 취급한다. 즉, 움직임 보상부(102)는, 지정 신호(RF)가 화상 신호(Vin)에 가까운 후보 픽처(Ref)를 지정하고 있는 경우에는, 그 지정 신호(RF)가 지정하는 후보 픽처(Ref)를 격납하고 있는 메모리로부터 그 후보 픽처(Ref)를 참조 픽처로서 취득하고, 지정 신호(RF)가 화면내 예측 부호화를 지시하고 있는 경우에는, 0의 값을 갖는 후보 픽처(Ref0)를 취득한다. 그리고 움직임 보상부(102)는, 참조 픽처로서 후보 픽처(Ref)를 취득하였을 때에는, 취득한 참조 픽처로부터 움직임 벡터(MV)를 이용하여 예측 화상(Pre)에 적합한 화상 영역을 취출하고, 그 취출한 화상 영역으로부터 예측 화상(Pre)을 생성하여 출력한다. 한편, 후보 픽처(Ref0)를 취득하였을 때에는, 0의 값을 갖는 예측 화상(Pre)을 생성하여 출력한다.

여기에서, 본 실시 형태에서의 움직임 검출부(101)는, 참조 제어부(113)로부터 취득한 참조 구조 정보(Rsi)와, 픽처 메모리(114)로부터 취득한 표시순 정보(Poc)와, 순서 메모리(112)로부터 취득한 2개의 I픽처에 대한 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)에 기초하여, 부호화 대상 픽처가 참조하는 픽처를 제한한다.

도 7은, 움직임 검출부(101)에 의해서 제한되는 픽처의 참조 관계를 설명하기 위한 설명도이다.

움직임 검출부(101)는, 상기 배경 기술에서 설명한 4개의 참조 관계(Rr1, Rr2, Rr3, Rr4)를 금지한다.

구체적으로, 움직임 검출부(101)는, 참조 제어부(113)로부터 취득한 참조 구조 정보(Rsi)에 기초하여, 액세스 유닛(RAU1)으로부터 신속한 랜덤 액세스를 가능하게 해야 한다고 판단한다. 요컨대, 움직임 검출부(101)는, 그 액세스 유닛(RAU1)이, 신속한 랜덤 액세스가 개시 가능하게 되도록 처리해야 할 대상이다고 판단한다. 그리고, 움직임 검출부(101)는, 최신의 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)에 기초하여 특정되는 액세스 유닛(RAU1)의 엔트리 픽처(E1)의 표시순 및 부호화순과, 표시순 정보(Poc) 및 부호화순 정보(Doc)에 기초하여 특정되는 액세스 유닛(RAU1)의 부호화 대상 픽처의 표시순 및 부호화순을 비교한다.

그 결과, 부호화 대상 픽처가 포스트 엔트리 픽처(Po11, Po12)일 때에는, 움직임 검출부(101)는, 부호화순으로 엔트리 픽처(E1)보다도 앞의 픽처, 즉 액세스 유닛(RAU0) 이전의 픽처를 참조 픽처로서 선택하지 않고, 다른 픽처를 참조 픽처로서 선택한다. 이것에 의해, 액세스 유닛(RAU1)에서, 도 7 중에 나타내는 참조 관계(Rr1)가 금지된다.

또, 움직임 검출부(101)는, 부호화 대상 픽처가 포스트 엔트리 픽처(Po11, Po12)일 때에는, 부호화순으로 엔트리 픽처(E1)보다도 앞의 픽처를 참조하고 있는 액세스 유닛(RAU1) 내의 프리 픽처(Pr11)를 참조 픽처로서 선택하지 않고, 다른 픽처를 참조 픽처로서 선택한다. 이것에 의해, 액세스 유닛(RAU1)에서, 도 7 중에 나타내는 참조 관계(Rr2)가 금지된다.

또한, 움직임 검출부(101)는, 액세스 유닛(RAU2) 내의 엔트리 픽처(E2)와, 그 엔트리 픽처(E2)에 대응하는 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)를 취득하여, 그 엔트리 픽처(E2)를 부호화 대상 픽처로서 처리한 후에는, 그 특정 부호화순 정보(Id1) 및 특정 표시순 정보(Ip1)에 의해 특정되는 엔트리 픽처(E2)의 표시순 및 부호화순과, 표시순 정보(Poc) 및 부호화순 정보(Doc)에 기초하여 특정되는 액세스 유닛(RAU2)의 다른 부호화 대상 픽처의 표시순 및 부호화순을 비교한다.

그 결과, 액세스 유닛(RAU2)의 부호화 대상 픽처가 프리 엔트리 픽처(Pr21)일 때에는, 움직임 검출부(101)는, 부호화순으로 액세스 유닛(RAU1)의 엔트리 픽처(E1)보다도 앞의 픽처, 즉 액세스 유닛(RAU0) 이전의 픽처를 참조 픽처로서 선택하지 않고, 다른 픽처를 참조 픽처로서 선택한다. 이것에 의해, 액세스 유닛(RAU2)에서, 도 7 중에 나타내는 참조 관계(Rr3)가 금지된다.

또, 움직임 검출부(101)는, 액세스 유닛(RAU2)의 부호화 대상 픽처가 프리 엔트리 픽처(Pr21)일 때에는, 부호화순으로 엔트리 픽처(E1)보다도 앞의 픽처를 참조하는 액세스 유닛(RAU1) 내의 프리 엔트리 픽처(Pr11)를 참조 픽처로서 선택하지 않고, 다른 픽처를 참조 픽처로서 선택한다. 이것에 의해, 액세스 유닛(RAU2)에서, 도 7 중에 나타내는 참조 관계(Rr4)가 금지된다.

도 8은, 움직임 검출부(101)의 개략적인 일련의 동작을 도시하는 흐름도이다. 또한 도 8 중, 액세스 유닛을 RAU로서 나타낸다.

우선, 움직임 검출부(101)는, 참조 제어부(113)로부터 참조 구조 정보(Rsi)를 취득하고, 어떤 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스를 가능하게 해야할지를 파악한다(단계 S100).

그리고, 움직임 검출부(101)는, 부호화 대상의 액세스 유닛(RAU)의 엔트리 픽처를 취득하면, 그 엔트리 픽처에 대해서 화면내 예측 부호화하도록 지시하는 지정 정보(RF)를 출력하는 등의 처리를 행한다(단계 S102).

여기에서, 움직임 검출부(101)는, 취득한 참조 구조 정보(Rsi)에 기초하여, 그 부호화 대상의 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스를 가능하게 해야 할지의 여부를 판별한다(단계 S104).

랜덤 액세스를 가능하게 해야한다고 판별하였을 때에는(단계 S104의 Y), 움직임 검출부(101)는, 부호화 대상의 액세스 유닛(RAU)을, 랜덤 액세스의 처리 대상으로서 취급하고, 그 액세스 유닛(RAU)의 각 픽처에 대해서 참조 관계(Rr1, Rr2)를 성립시키지 않고 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등을 행한다(단계 S106).

다음에 움직임 검출부(101)는, 미처리의 액세스 유닛(RAU)이 존재하는지의 여부를 판별하여(단계 S108), 존재한다고 판별하였을 때에는(단계 S108의 Y), 그 액세스 유닛(RAU)(즉, 단계 S102에서 부호화 대상으로 되어 있었던 액세스 유닛(RAU)의 직후의 액세스 유닛(RAU))을 부호화 대상으로서 취급하고, 부호화 대상 액세스 유닛(RAU)에 포함되는 엔트리 픽처를 취득하여, 그 엔트리 픽처에 대한 처리를 행한다(단계 S110). 또, 단계 S108에서 움직임 검출부(101)가 미처리의 액세스 유닛(RAU)은 존재하지 않는다고 판별하였을 때에는(단계 S108의 N), 움직임 검출부(101)는 처리 동작을 종료한다.

여기에서, 움직임 검출부(101)는, 단계 S110의 후, 취득한 참조 구조 정보(Rsi)에 기초하여, 그 부호화 대상 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스를 가능하게 해야할지의 여부를 판별한다(단계 S112).

랜덤 액세스를 가능하게 해야한다고 판별하였을 때에는(단계 S112의 Y), 움직임 검출부(101)는, 부호화 대상 액세스 유닛(RAU)의 각 픽처에 대해서 참조 관계(Rr1∼Rr4)를 성립시키지 않고 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등을 행한다(단계 S114). 그 후, 움직임 검출부(101)는, 단계 S108로부터의 동작을 반복하여 실행한다.

또, 단계 S112에서 움직임 검출부(101)가, 신속한 랜덤 액세스를 가능하게 해서는 안된다고 판별하였을 때에는(단계 S112의 N), 움직임 검출부(101)는, 부호화 대상 액세스 유닛(RAU)의 각 픽처에 대해서 참조 관계(Rr3, Rr4)를 성립시키지 않고 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등을 행한다(단계 S116). 그 후, 움직임 검출부(101)는, 미처리의 액세스 유닛(RAU)이 존재하는지의 여부를 판별하여(단계 S118), 존재한다고 판별하였을 때에는(단계 S118의 Y), 단계 S102로부터의 동작을 반복하여 실행하고, 존재하지 않다고 판별하였을 때에는(단계 S118의 N), 처리 동작을 종료한다.

또한, 단계 S104에서 움직임 검출부(101)가, 부호화 대상의 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스를 가능하게 해서는 안된다고 판별하였을 때에는(단계 S104의 N), 그 액세스 유닛(RAU)의 각 픽처에 대해서 제한을 두지 않고 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등을 행하고(단계 S120), 그 후, 단계 S118로부터의 동작을 실행한다.

도 9는, 움직임 검출부(101)의 도 8 중에 나타내는 단계 S106의 상세한 동작을 도시하는 흐름도이다.

우선, 움직임 검출부(101)는, 부호화 대상 픽처가 포스트 엔트리 픽처인지의 여부를 판별한다(단계 S200).

포스트 엔트리 픽처라고 판별하였을 때에는(단계 S200의 Y), 움직임 검출부(101)는 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하는 것을 금지한다. 요컨대, 움직임 검출부(101)는 참조 관계(Rr1)를 금지한다(단계 S202).

한편, 포스트 엔트리 픽처가 아니라고 판별하였을 때에는(단계 S200의 N), 움직임 검출부(101)는 참조 관계(Rr1, Rr2)의 제한을 두지 않고 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S208).

또, 단계 S202의 후, 움직임 검출부(101)는, 부호화 대상의 액세스 유닛(RAU)에서, 프리 엔트리 픽처가 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는지의 여부를 판별한다(단계 S204).

여기에서, 앞의 픽처를 참조하고 있다고 판별하였을 때에는(단계 S204의 Y), 움직임 검출부(101)는, 그 프리 엔트리 픽처를 참조하는 것을 금지한다. 요컨대 움직임 검출부(101)는, 참조 관계(Rr2)를 금지한다(단계 S206). 또, 앞의 픽처를 참조하고 있지 않다고 판별하였을 때에는(단계 S204의 N), 움직임 검출부(101)는, 참조 관계(Rr1)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S208).

또, 단계 S206의 후에는, 움직임 검출부(101)는, 참조 관계(Rr1, Rr2)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S208).

도 10은, 움직임 검출부(101)의 도 8 중에 나타내는 단계 S116의 상세한 동작을 도시하는 흐름도이다.

우선, 움직임 검출부(101)는, 부호화 대상 픽처가 프리 엔트리 픽처인지의 여부를 판별한다(단계 S300).

프리 엔트리 픽처라고 판별하였을 때에는(단계 S300의 Y), 움직임 검출부(101)는 직전에 있는 액세스 유닛(RAU)의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하는 것을 금지한다. 요컨대, 움직임 검출부(101)는 참조 관계(Rr3)를 금지한다(단계 S302).

한편, 프리 엔트리 픽처가 아니라고 판별하였을 때에는(단계 S300의 N), 움직임 검출부(101)는 참조 관계(Rr3, Rr4)의 제한을 두지 않고 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S308).

또, 단계 S302의 후, 움직임 검출부(101)는, 직전의 액세스 유닛(RAU)에서, 프리 엔트리 픽처가 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는지의 여부를 판별한다(단계 S304).

여기에서, 앞의 픽처를 참조하고 있다고 판별하였을 때에는(단계 S304의 Y), 움직임 검출부(101)는, 그 프리 엔트리 픽처를 참조하는 것을 금지한다. 요컨대 움직임 검출부(101)는, 참조 관계(Rr4)를 금지한다(단계 S306). 또, 앞의 픽처를 참조하고 있지 않다고 판별하였을 때에는(단계 S304의 N), 움직임 검출부(101)는, 참조 관계(Rr3)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S308).

또, 단계 S306의 후에는, 움직임 검출부(101)는, 참조 관계(Rr3, Rr4)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S308).

도 11은, 움직임 검출부(101)의 도 8 중에 나타내는 단계 S114의 상세한 동작을 도시하는 흐름도이다.

움직임 검출부(101)는 전체적으로, 도 9에 도시하는 단계 S200∼S208의 동작과, 도 10에 도시하는 단계 S300∼S308의 동작을 행한다.

구체적으로, 움직임 검출부(101)는, 부호화 대상 픽처가 프리 엔트리 픽처인지 포스트 엔트리 픽처인지를 판별한다(단계 S400).

부호화 대상 픽처가 포스트 엔트리 픽처라고 판별하였을 때에는, 움직임 검출부(101)는, 부호화 대상 액세스 유닛(RAU)에서, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하는 것을 금지한다. 요컨대, 움직임 검출부(101)는 참조 관계(Rr1)를 금지한다(단계 S402).

다음에, 움직임 검출부(101)는, 부호화 대상의 액세스 유닛(RAU)에서, 프리 엔트리 픽처가 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는지의 여부를 판별한다(단계 S404).

여기에서, 앞의 픽처를 참조하고 있다고 판별하였을 때에는(단계 S404의 Y), 움직임 검출부(101)는, 그 프리 엔트리 픽처를 참조하는 것을 금지한다. 요컨대 움직임 검출부(101)는, 참조 관계(Rr2)를 금지한다(단계 S406). 또, 앞의 픽처를 참조하고 있지 않다고 판별하였을 때에는(단계 S404의 N), 움직임 검출부(101)는, 참조 관계(Rr1)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S414).

또, 단계 S406의 후에는, 움직임 검출부(101)는, 참조 관계(Rr1, Rr2)를 금지한다는 제약 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S414).

한편, 단계 S400에서 부호화 대상 픽처가 프리 엔트리 픽처라고 판별하였을 때에는, 움직임 검출부(101)는, 직전의 액세스 유닛(RAU)에서, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하는 것을 금지한다. 요컨대, 움직임 검출부(101)는 참조 관계(Rr3)를 금지한다(단계 S408).

다음에, 움직임 검출부(101)는, 직전의 액세스 유닛(RAU)에서, 프리 엔트리 픽처가 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는지의 여부를 판별한다(단계 S410).

여기에서, 앞의 픽처를 참조하고 있다고 판별하였을 때에는(단계 S410의 Y), 움직임 검출부(101)는, 그 프리 엔트리 픽처를 참조하는 것을 금지한다. 요컨대 움직임 검출부(101)는, 참조 관계(Rr4)를 금지한다(단계 S412). 또, 앞의 픽처를 참조하고 있지 않다고 판별하였을 때에는(단계 S410의 N), 움직임 검출부(101)는, 참조 관계(Rr3)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S414).

또, 단계 S412의 후에는, 움직임 검출부(101)는, 참조 관계(Rr3, Rr4)를 금지한다는 제한 하에서, 부호화 대상 픽처에 대해서 참조 픽처를 선택하여, 움직임 벡터(MV)의 검출 등의 처리를 행한다(단계 S414).

도 12는, 본 실시 형태에서의 화상 부호화 장치(100)가 출력하는 화상 부호화 신호(Str)의 구성을 도시하는 구성도이다.

화상 부호화 신호(Str)는, 선두로부터 순서대로, 동기를 취하기 위해서 필요한 동기 신호(syn)와, 참조 구조 정보(Rsi)와, 복수의 액세스 유닛(RAU)을 포함하여 구성된다. 그리고, 액세스 유닛(RAU)은, 선두로부터 순서대로, 동기 신호(syn)와, 복수의 픽처(Pic)로 구성된다.

이와 같이, 본 실시 형태에서는, 처리 대상의 액세스 유닛에 포함되는 포스트 엔트리 픽처가 참조 관계(Rr1, Rr2)를 갖지 않고, 또한 직후의 액세스 유닛에 포함되는 프리 엔트리 픽처가 참조 관계(Rr3, Rr4)를 갖지 않도록 참조 관계가 제한되기 때문에, 화상 부호화 신호(Str)를 취득한 화상 복호화 장치는, 그 처리 대상의 액세스 유닛의 앞에 있는 픽처를 복호화할 필요가 없고, 그 처리 대상의 액세스 유닛으로부터 신속하게 랜덤 액세스를 개시할 수 있다.

또, 처리 대상의 액세스 유닛의 프리 엔트리 픽처는, 부호화순으로 엔트리 픽처보다도 앞의 픽처, 요컨대 처리 대상의 액세스 유닛보다도 앞의 액세스 유닛에 포함되는 픽처를 참조해도 되고, 배경 기술에서 설명한 바와 같이 IDR1을 배치하여 액세스 유닛을 걸치는 것과 같은 픽처의 참조 관계를 금지하지 않으며, 또한, MPEG-2와 같이 참조하는 픽처를 직전이나 직후에 있는 픽처에 한정하지 않기 때문에, 화상 신호(Vin)의 부호화에서의 압축 효율의 저하를 방지할 수 있다.

또한, 본 실시 형태에서는, 참조 관계(Rr2, Rr4)를 금지한 바와 같이, 프리 엔트리 픽처가 부호화순으로 엔트리 픽처의 앞의 픽처를 참조하고 있는 경우에, 그 프리 엔트리 픽처를 참조 픽처로서 선택하지 않도록 하였지만, 프리 엔트리 픽처가 부호화순으로 엔트리 픽처의 앞의 픽처를 참조하고 있는지의 여부에 상관없이, 그 프리 엔트리 픽처를 참조 픽처로서 선택하지 않도록 해도 된다.

또, 본 실시 형태에서는, 순서 메모리(112)를 구비하였지만, 움직임 검출부(101)에 순서 메모리(112)의 기능을 겸비하여, 순서 메모리(112)를 생략해도 된다.

또한, 본 실시 형태에서는, 후보 픽처(Ref)를 격납하는 메모리를 예시적으로 3개만 구비하였지만, 4개 이상의 메모리를 구비해도 된다.

(변형예 1)

본 변형예에 따른 화상 부호화 신호는, 액세스 유닛마다 참조 구조 정보를 포함하고, 그 참조 구조 정보는, 대응하는 액세스 유닛으로부터 신속하게 랜덤 액세스를 개시할 수 있는지의 여부를 나타낸다.

도 13은, 상기 본 변형예에 따른 화상 부호화 신호의 구성을 도시하는 구성도이다.

본 변형예에 따른 화상 부호화 신호(Str1)는, 선두로부터 순서대로, 동기 신호(syn)와, 복수의 액세스 유닛(RAU01)을 포함하여 구성되어 있다.

그리고, 액세스 유닛(RAU01)은, 선두로부터 순서대로, 동기 신호(syn)와, 참조 구조 정보(Rsi1)와, 복수의 픽처(Pic)를 포함하여 구성된다. 그리고, 참조 구조 정보(Rsi1)는, 그 액세스 유닛(RAU01)으로부터 신속한 랜덤 액세스를 개시할 수 있는지의 여부를 나타낸다. 즉, 참조 제어부(113)는, 각 액세스 유닛(RAU01)에 대해서, 신속한 랜덤 액세스가 개시 가능한 유닛으로서 처리해야 할 대상인지의 여부를 나타내는 참조 구조 정보(Rsi1)를 출력한다.

도 14는, 화상 부호화 신호(Str1)를 생성하는 화상 부호화 장치(100)의 동작을 도시하는 흐름도이다.

우선, 화상 부호화 장치(100)는, 화상 신호(Vin)를 취득하여, 엔트리 픽처를 부호화하는 타이밍인지의 여부를 판별한다(단계 S500).

엔트리 픽처를 부호화하는 타이밍이라고 판별하였을 때에는(단계 S500의 Y), 그 엔트리 픽처가 속하는 액세스 유닛(RAU01)으로부터 신속한 랜덤 액세스를 개시할 수 있는지의 여부를 나타내는 참조 구조 정보(Rsi1)를 부호화한다(단계 S502).

또, 엔트리 픽처를 부호화하는 타이밍이 아니라고 판별하였을 때(단계 S500의 N), 및 단계 S502의 후에는, 화상 부호화 장치(100)는 픽처의 부호화를 행한다(단계 S504).

다음에, 화상 부호화 장치(100)는, 부호화 처리를 하고 있지 않은 픽처가 있는지의 여부를 판별하고(단계 S506), 있다고 판별하였을 때에는(단계 S506의 Y), 단계 S500로부터의 동작을 반복하여 실행하고, 없다고 판별하였을 때에는(단계 S506의 N), 처리 동작을 종료한다.

또한, 본 변형예에 따른 화상 부호화 장치(100)는, 화상 부호화 신호(Str1)의 각 액세스 유닛(RAU01)에, 참조 구조 정보(Rsi1)를 포함하는 랜덤 액세스 포인트 정보(이하, 간단히 포인트 정보라고 한다)와, 액세스 유닛(RAU01)에 포함되는 각 픽처의 부호화에 필요한 정보인 파라미터 세트를 포함시켜도 된다. 또한, 포인트 정보란, 액세스 유닛(RAU01)의 선두측에 배치되는 것으로서, 복호해야 할 픽처나 표시해야 할 픽처를 나타낸다.

도 15는, 포인트 정보와 파라미터 세트를 포함하는 화상 부호화 신호(Str1)를 생성하는 화상 부호화 장치(100)의 동작을 설명하는 흐름도이다.

우선, 화상 부호화 장치(100)는, 화상 신호(Vin)를 취득하여, 엔트리 픽처를 부호화할 타이밍인지의 여부를 판별한다(단계 S520).

엔트리 픽처를 부호화할 타이밍이라고 판별하였을 때에는(단계 S520의 Y), 화상 부호화 장치(100)는, 참조 구조 정보(Rsi1)를 포함하는 포인트 정보를 부호화하고(단계 S522), 또한, 파라미터 세트를 부호화한다(단계 S524). 그리고, 화상 부호화 장치(100)는, 엔트리 픽처를 화면내 예측 부호화한다(단계 S526).

또, 엔트리 픽처를 부호화하는 타이밍이 아니라고 판별하였을 때에는(단계 S520의 N), 엔트리 픽처 이외의 픽처를 부호화한다(단계 S528).

단계 S526 및 단계 S528의 후, 화상 부호화 장치(100)는 부호화 처리를 하고 있지 않은 픽처인지의 여부를 판별하고(단계 S530), 있다고 판별하였을 때에는(단계 S530의 Y), 단계 S520으로부터의 동작을 반복하여 실행하고, 없다고 판별하였을 때에는(단계 S530의 N), 처리 동작을 종료한다.

이와 같이 본 변형예에서는, 참조 구조 정보(Rsi)보다도 정보량이 적은 참조 구조 정보(Rsi1)를 부호화할 때마다 화상 부호화 신호(Str1)의 액세스 유닛(RAU01)에 배치하기 때문에, 참조 구조 정보(Rsi1)를 기억하기 위한 기억 영역을, 참조 구조 정보(Rsi)를 기억하기 위한 기억 영역보다도 작게 할 수 있고, 그 결과, 화상 부호화 장치(100) 전체의 소형화를 도모할 수 있다.

(변형예 2)

본 변형예에 따른 참조 구조 정보는, 변형예 1과 같이, 간단히 대응하는 액세스 유닛으로부터 신속한 랜덤 액세스를 개시할 수 있는지의 여부를 나타내는 것이 아니라, 대응하는 액세스 유닛에 포함되는 각 픽처의 참조 범위를 나타낸다.

도 16은, 본 변형예에 따른 참조 구조 정보에 포함되는 내용을 도시하는 정보 내용 표시도이다.

도 16중의 (a)∼(c)에 도시하는 참조 구조 정보(Rsi2)는, 액세스 유닛(RAU12)에 대응하는 것이다.

도 16 중의 (a)에 도시하는 참조 구조 정보(Rsi2)는, 프리 엔트리 픽처(Pr21)에 대해서 참조 관계(Rr1, Rr2)가 금지된 참조 범위와, 포스트 엔트리 픽처(Po21, Po22)에 대해서 참조 관계(Rr3, Rr4)가 금지된 참조 범위를 나타낸다.

즉, 참조 구조 정보(Rsi2)로 나타낸 프리 엔트리 픽처(Pr21)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2)와, 엔트리 픽처(E1)와, 포스트 엔트리 픽처(Po11, Po12) 중 어느 하나이다. 참조 구조 정보(Rsi2)로 표시된 포스트 엔트리 픽처(Po21)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2)이다. 참조 구조 정보(Rsi2)로 표시된 포스트 엔트리 픽처(Po22)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2)와, 포스트 엔트리 픽처(Po21) 중 어느 하나이다.

도 16중의 (b)에 나타내는 참조 구조 정보(Rsi2)는, 프리 엔트리 픽처(Pr21)에 대해서 참조 관계(Rr1)가 금지된 참조 범위와, 포스트 엔트리 픽처(Po21, Po22)에 대해서 참조 관계(Rr4)가 금지된 참조 범위를 나타낸다.

즉, 참조 구조 정보(Rsi2)로 표시된 프리 엔트리 픽처(Pr21)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2)와, 엔트리 픽처(E1)와, 포스트 엔트리 픽처(Po11, Po12)와, 액세스 유닛(RAU10) 이전의 픽처 중 어느 하나이다. 참조 구조 정보(Rsi2)로 표시된 포스트 엔트리 픽처(Po21)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2)와 프리 엔트리 픽처(Pr21) 중 어느 하나이다. 참조 구조 정보(Rsi2)로 표시된 포스트 엔트리 픽처(Po22)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2)와, 포스트 엔트리 픽처(Po21)와, 프리 엔트리 픽처(Pr21) 중 어느 하나이다.

도 16중의 (c)에 도시하는 참조 구조 정보(Rsi2)는, 프리 엔트리 픽처(Pr21)에 대해서 참조 관계에 대한 제한을 두지 않는 참조 범위와, 포스트 엔트리 픽처(Po21, Po22)에 대해서 참조 관계에 대한 제한을 두지 않는 참조 범위를 나타낸다.

즉, 참조 구조 정보(Rsi2)로 표시된 프리 엔트리 픽처(Pr21)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2, E1)와, 포스트 엔트리 픽처(Po11, Po12)와, 프리 엔트리 픽처(Pr11)와, 액세스 유닛(RAU10) 이전의 픽처 중 어느 하나이다. 참조 구조 정보(Rsi2)로 표시된 포스트 엔트리 픽처(Po21)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2, E1)와, 프리 엔트리 픽처(Pr21, Pr11)와, 포스트 엔트리 픽처(Po11, Po12)와, 액세스 유닛(RAU10) 이전의 픽처 중 어느 하나이다. 참조 구조 정보(Rsi2)로 표시된 포스트 엔트리 픽처(Po22)의 참조의 대상이 되는 픽처는, 엔트리 픽처(E2, E1)와, 프리 엔트리 픽처(Pr21, Pr11)와, 포스트 엔트리 픽처(Po11, Po12, Po21)와, 액세스 유닛(RAU10) 이전의 픽처 중 어느 하나이다. 또한, 도 16에서는, 각 픽처의 참조 범위를 표시순으로 나타내었지만 부호화순으로 나타내어도 된다.

도 17은, 상기 참조 구조 정보(Rsi2)를 포함하는 화상 부호화 신호의 구성을 도시하는 구성도이다.

이 참조 구조 정보(Rsi2)를 포함하는 화상 부호화 신호(Str2)는, 선두로부터 순서대로, 동기 신호(syn)와, 액세스 유닛(RAU10, RAU11, RAU12)을 포함하여 구성되어 있다.

액세스 유닛(RAU11)은, 선두로부터 순서대로, 동기 신호(syn)와, 참조 구조 정보(Rsi2)와, 엔트리 픽처(E1)와, 프리 엔트리 픽처(Pr11)와, 포스트 엔트리 픽처(Po11, Po12)를 포함하여 구성되어 있다. 액세스 유닛(RAU12)은, 선두로부터 순서대로, 동기 신호(syn)와, 참조 구조 정보(Rsi2)와, 엔트리 픽처(E2)와, 프리 엔트리 픽처(Pr21)와, 포스트 엔트리 픽처(Po21, Po22)를 포함하여 구성되어 있다.

그리고, 액세스 유닛(RAU11)에 포함되는 참조 구조 정보(Rsi2)는, 프리 엔트리 픽처(Pr11)와 포스트 엔트리 픽처(Po11, Po12)에 대한 참조 범위를 나타내고 있다. 또, 액세스 유닛(RAU12)에 포함되는 참조 구조 정보(Rsi2)는, 프리 엔트리 픽처(Pr21)와 포스트 엔트리 픽처(Po21, Po22)에 대한 참조 범위를 나타내고 있다.

즉, 본 변형예에 따른 화상 부호화 신호(Str2)를 취득한 화상 복호화 장치는, 액세스 유닛(RAU11)의 참조 구조 정보(Rsi2)에 기초하여, 포스트 엔트리 픽처(Po11, Po12)의 참조 범위를 파악하는 동시에, 액세스 유닛(RAU12)의 참조 구조 정보(Rsi2)에 기초하여, 프리 엔트리 픽처(Pr21)의 참조 범위를 파악한다. 그리고, 화상 복호화 장치는, 그 참조 범위의 파악 결과로부터, 포스트 엔트리 픽처(Po11, Po12)에 대해서 참조 관계(Rr1, Rr2)가 성립하지 않고, 프리 엔트리 픽처(Pr21)에 대해서 참조 관계(Rr3, Rr4)가 성립하지 않는다고 판단하였을 때에는, 액세스 유닛(RAU11)으로부터 신속하게 랜덤 액세스하는 것이 가능하다고 판단한다.

또한, 본 변형예에서는, 참조 구조 정보(Rsi2)는, 그 참조 구조 정보(Rsi2)가 속하는 액세스 유닛에 포함되는 각 픽처의 참조 범위를 나타내었지만, 다른 액세스 유닛에 포함되는 픽처의 참조 범위를 나타내어도 된다.

도 18은, 참조 구조 정보(Rsi2)가, 자신이 속하는 액세스 유닛에 포함되는 픽처의 참조 범위와 다른 액세스 유닛에 포함되는 픽처의 참조 범위를 나타내는 모양을 설명하기 위한 설명도이다.

액세스 유닛(RAU11)에 포함되는 참조 구조 정보(Rsi2)는, 포스트 엔트리 픽처(Po11, Po12)에 대한 참조 범위와, 액세스 유닛(RAU12)에 포함되는 프리 엔트리 픽처(Pr21)에 대한 참조 범위를 나타내고 있다.

이것에 의해, 화상 부호화 신호(Str2)를 취득한 화상 복호화 장치는, 액세스 유닛(RAU11)의 참조 구조 정보(Rsi2)만에 기초하여, 포스트 엔트리 픽처(Po11, Po12)의 참조 범위를 파악하는 동시에, 프리 엔트리 픽처(Pr21)의 참조 범위를 파악하고, 액세스 유닛(RAU11)으로부터 신속하게 랜덤 액세스하는 것이 가능한지의 여부를 판단할 수 있다.

또한, 본 변형예에서는, 참조 구조 정보(Rsi2)는 각 픽처의 참조 범위를 나타내었지만, 각 픽처에 대한 참조 관계의 제한 레벨을 나타내어도 된다. 예를 들면, 소정의 포스트 엔트리 픽처에 대해서, 참조 구조 정보(Rsi2)는 제한 레벨 0, 제한 레벨 1, 또는 제한 레벨 2를 나타낸다. 제한 레벨 0은, 그 포스트 엔트리 픽처가 참조 관계(Rr1, Rr2)를 갖고 있지 않은 것을 의미하고, 제한 레벨 1은, 그 포스트 엔트리 픽처가 참조 관계(Rr1)를 갖고 있지 않은 것을 의미하며, 제한 레벨 2는, 그 포스트 엔트리 픽처가 참조의 제한을 받고 있지 않은 것을 의미한다. 또, 소정의 프리 엔트리 픽처에 대해서, 참조 구조 정보(Rsi2)는 제한 레벨 0, 제한 레벨 1, 또는 제한 레벨 2를 나타낸다. 제한 레벨 0은, 그 프리 엔트리 픽처가 참조 관계(Rr3, Rr4)를 갖고 있지 않은 것을 의미하고, 제한 레벨 1은, 그 프리 엔트리 픽처가 참조 관계(Rr3)를 갖고 있지 않은 것을 의미하며, 제한 레벨 2는, 그 프리 엔트리 픽처가 참조의 제한을 받고 있지 않은 것을 의미한다.

이와 같은 참조 구조 정보(Rsi2)를 취득한 화상 복호화 장치는, 그 참조 구조 정보(Rsi2)에 기초하여, 포스트 엔트리 픽처가 참조 관계(Rr1, Rr2)를 갖고 있는지의 여부를 판별하는 동시에, 프리 엔트리 픽처가 참조 관계(Rr3, Rr4)를 갖고 있는지의 여부를 판별한다.

(변형예 3)

본 변형예에 따른 화상 부호화 신호는, 참조 구조 정보를 포함하지 않고 구성되고, 미디어 데이터를 구성하는 신호로서 기억 매체에 기억되어 있다.

도 19는, 기억 매체에 기억되어 있는 미디어 데이터의 구성을 도시하는 구성도이다.

미디어 데이터(med)는, 선두로부터 순서대로, 헤더(hed)와, 참조 구조 정보(Rsi)와, 복수의 화상 부호화 신호(Str3)를 포함하여 구성되어 있다.

화상 부호화 신호(Str3)는, 선두로부터 순서대로, 동기 신호(syn)와, 복수의 액세스 유닛(RAU)을 포함하여 구성되어 있다.

액세스 유닛(RAU)은, 선두로부터 순서대로, 동기 신호(syn)와, 복수의 픽처(Pic)를 포함하여 구성되어 있다.

즉, 화상 복호화 장치는, 기억 매체에 기억되어 있는 미디어 데이터(med)로부터 참조 구조 정보(Rsi)를 취득하고, 그 참조 구조 정보(Rsi)에 기초하여 각 화상 부호화 신호(Str3)의 어떤 액세스 유닛(RAU)으로부터 신속하게 랜덤 액세스하는 것이 가능한지를 특정한다.

(변형예 4)

본 변형예에 따른 화상 부호화 장치(100)는, 참조 구조 정보를 포함하지 않은 화상 부호화 신호(Str3)와, 화상 부호화 신호(Str3)의 각 액세스 유닛(RAU)에 대응하는 참조 구조 정보(Rsi2)로 구성되는 참조 테이블을 생성하여 출력한다.

도 20은, 화상 부호화 신호(Str3)와 참조 테이블의 구성을 도시하는 구성도이다.

참조 테이블(RsiT)은, 화상 부호화 신호(Str3)의 각 액세스 유닛(RAU)에 각각 1대 1로 대응하는 복수의 참조 구조 정보(Rsi2)를 포함하여 구성되어 있다. 예를 들면, 화상 부호화 신호(Str3)의 각 액세스 유닛(RAU)과, 참조 테이블(RsiT)의 각 참조 구조 정보(Rsi2)는 각각 선두로부터의 순서로 대응하고 있다. 요컨대, 화상 부호화 신호(Str3)의 1번째의 액세스 유닛(RAU)은, 참조 테이블(RsiT)의 1번째의 참조 구조 정보(Rsi2)에 대응하고 있고, 2번째의 액세스 유닛(RAU)은, 2번째의 참조 구조 정보(Rsi2)에 대응하고 있다.

또한, 본 변형예에서는, 참조 테이블(RsiT)을 복수의 참조 구조 정보(Rsi2)로 구성하였지만, 참조 구조 정보(Rsi2) 대신에 참조 구조 정보(Rsi1)로 구성해도 된다. 또, 화상 부호화 장치(100)는, 참조 구조 정보를 부호화하지 않고, 그 부호화하고 있지 않은 참조 구조 정보로부터 참조 테이블(RsiT)을 생성해도 된다.

(변형예 5)

본 변형예에 따른 화상 부호화 장치(100)는, 참조 구조 정보(Rsi2)를 식별하기 위한 참조 식별 정보를 포함하는 화상 부호화 신호와, 참조 테이블(RsiT)을 출력한다.

도 21은, 참조 식별 정보를 포함하는 화상 부호화 신호의 구성을 도시하는 구성도이다.

이 화상 부호화 신호(Str4)는, 선두로부터 순서대로, 동기 신호(syn)와, 액세스 유닛(RAU21)과, 액세스 유닛(RAU22)을 포함하여 구성되어 있다.

액세스 유닛(RAU22)은, 선두로부터 순서대로, 동기 신호(syn)와, 참조 구조 정보(Rsi2)를 식별하기 위한 참조 식별 정보(RID)와, 복수의 픽처(Pic)를 포함하여 구성되어 있다.

참조 식별 정보(RID)는, 예를 들면, 참조 테이블(RsiT)의 선두로부터 2번째의 참조 구조 정보(Rsi2)를 가리킨다.

즉, 화상 부호화 신호(Str4)와 참조 테이블(RsiT)을 취득한 화상 복호화 장치는, 액세스 유닛(RAU22)에 포함되는 참조 식별 정보(RID)로부터, 참조 테이블(RsiT)의 2번째의 참조 구성 정보(Rsi2)를 특정한다. 그리고 화상 복호화 장치는, 그 특정한 참조 구성 정보(Rsi2)에 기초하여 액세스 유닛(RAU22)에 포함되는 각 픽처의 참조 범위를 파악한다.

또, 액세스 유닛(RAU21)의 참조 식별 정보(RID)가, 액세스 유닛(RAU22)의 참조 식별 정보(RID)와 동일 선두로부터 2번째의 참조 구조 정보(Rsi2)를 가리켜도 된다.

이와 같이 본 변형예에서는, 액세스 유닛에 참조 식별 정보(RID)를 포함시킴으로써, 복수의 액세스 유닛에 1개의 참조 구조 정보(Rsi2)를 대응시킬 수 있기 때문에, 참조 테이블(RsiT)에 동일 내용의 참조 구조 정보(Rsi2)를 포함시키는 것을 필요로 하지 않고, 참조 테이블(RsiT)의 정보량을 적게 할 수 있다.

(변형예 6)

본 변형예에 따른 화상 부호화 장치(100)는, 참조 구조 정보를 포함하지 않은 화상 부호화 신호(Str3)와, 참조 테이블(RsiT)과, 참조 식별 정보(RID)로 구성되는 식별 테이블을 출력한다.

도 22는, 식별 테이블의 구성을 도시하는 구성도이다.

식별 테이블(RIDT)은, 복수의 참조 식별 정보(RID)를 포함하여 구성된다. 선두의 참조 식별 정보(RID)는, 예를 들면, 참조 테이블(RsiT)의 선두로부터 3번째의 참조 구성 정보(Rsi2)를 가리키고, 선두로부터 2번째의 참조 식별 정보(RID)는, 예를 들면, 참조 테이블(RsiT)의 선두로부터 2번째의 참조 구성 정보(Rsi2)를 가리킨다.

또, 식별 테이블(RIDT)에 포함되는 각 참조 식별 정보(RID)는, 선두로부터 순서대로 각각, 화상 부호화 신호(Str3)의 선두측으로부터 순서대로 2개의 액세스 유닛(RAU)에 대응하고 있다. 요컨대, 선두의 참조 식별 정보(RID)는, 화상 부호화 신호(Str3)의 선두로부터 1번째 및 2번째의 액세스 유닛(RAU)에 대응하고, 2번째의 참조 식별 정보(RID)는, 화상 부호화 신호(Str3)의 선두로부터 3번째 및 4번째의 액세스 유닛(RAU)에 대응하고 있다.

즉, 화상 부호화 신호(Str3)와 참조 테이블(RsiT)과 식별 테이블(RIDT)을 취득한 화상 복호화 장치는, 화상 부호화 신호(Str3)의 선두의 액세스 유닛(RAU)에 대응하는 식별 테이블(RIDT)의 선두의 참조 식별 정보(RID)에 기초하여, 참조 테이블(RsiT)의 3번째의 참조 구조 정보(Rsi2)를 특정한다. 그리고 화상 복호화 장치는, 그 특정한 참조 구조 정보(Rsi2)에 기초하여, 선두의 액세스 유닛(RAU)에 포함되는 각 픽처의 참조 범위를 파악한다.

(실시 형태 2)

본 실시 형태에서의 화상 복호화 장치(150)는, 실시 형태 1의 화상 부호화 장치(100)에 의해서 생성된 화상 부호화 신호(Str)를 복호화하는 것으로서, 부호화부(151)와, 가산기(153)와, 선택부(154)와, 메모리(155∼157)와, 움직임 보상부(158)와, 결정부(159)와, 추출부(160)를 구비하고 있다.

추출부(160)는, 화상 부호화 장치(100)로부터 화상 부호화 신호(Str)를 취득하면 이것을 일시적으로 축적한다. 그리고, 추출부(160)는, 우선, 취득한 화상 부호화 신호(Str) 중 참조 구조 정보(Rsi)를 복호화부(151)에 출력한다. 다음에 추출부(160)는, 결정부(159)로부터의 지시에 기초하여 화상 부호화 신호(Str)에 포함되는 액세스 유닛(RAU)을 복호화부(151)에 출력한다.

복호화부(151)는, 추출부(160)로부터 참조 구조 정보(Rsi)를 취득하면, 그 참조 구조 정보(Rsi)를 복호화하여 결정부(159)에 출력한다. 또한, 복호화부(151)는, 추출부(160)로부터 화상 부호화 신호(Str)에 포함되는 각 액세스 유닛(RAU)을 취득하면, 그 각 액세스 유닛을 복호화하여, 복호 차분 화상 신호(RDif)와, 움직임 벡터(MV)와, 지정 정보(RF)를 출력한다.

결정부(159)는, 복호화부(151)로부터 복호화된 참조 구조 정보(Rsi)를 취득하면, 그 참조 구조 정보(Rsi)에 기초하여, 화상 부호화 신호(Str)에 포함되는 액세스 유닛(RAU) 중, 어느 쪽으로부터 신속하게 랜덤 액세스하는 것이 가능한지를 특정한다. 즉, 결정부(159)는, 신속한 랜덤 액세스를 개시하는 것이 가능한 액세스 유닛(RAU)을 결정한다.

그리고, 결정부(159)는, 예를 들면 유저의 조작에 따라서, 랜덤 액세스의 개시 위치가 되는 액세스 유닛(RAU)을 지정하는 지정 신호(EM)를 추출부(159)에 출력한다.

즉, 상술한 추출부(160)는, 이 지정 신호(EM)에 의해서 지정된 액세스 유닛(RAU)으로부터 순서대로, 화상 부호화 신호(Str)에 포함되는 각 액세스 유닛(RAU)을 복호화부(151)에 출력하는 것이다.

가산기(153)는, 복호 차분 화상 신호(RDif)에 예측 화상(Pre)을 가산하여, 복호 화상 신호(Vout)를 출력한다.

선택부(154)는, 복호 화상 신호(Vout)를 후속 픽처의 복호화에서 참조 픽처로서 이용하기 위해서, 메모리(155∼157) 중 어느 하나를 선택하여 그 메모리에 대해서 복호 화상 신호(Vout)를 출력한다. 예를 들면, 선택부(154)는, 메모리(155∼157) 중 가장 오래된 복호 화상 신호(Vout)를 격납하고 있는 것을 선택한다.

메모리(155∼157)는, 선택부(154)로부터 복호 화상 신호(Vout)를 취득하고, 이것을 참조 픽처의 후보가 되는 후보 픽처(Ref)로서 격납한다. 또 메모리(155∼157)는, 새로운 후보 픽처(Ref)를 격납할 때에는, 이미 격납되어 있는 가장 오래된 후보 픽처(Ref)를 소거한다.

움직임 보상부(158)는, 복호화부(151)로부터 출력되는 지정 신호(RF)에 기초하여, 메모리(155∼157)에 격납되어 있는 3개의 후보 픽처(Ref)와, 0의 값을 갖는 후보 픽처(Ref0) 중 어느 하나를, 참조 픽처로서 취급한다. 즉, 움직임 보상부(158)는, 지정 신호(RF)가 화상 신호(Vin)에 가까운 후보 픽처(Ref)를 지정하고 있는 경우에는, 그 지정 신호(RF)가 지정하는 후보 픽처(Ref)를 격납하고 있는 메모리로부터 그 후보 픽처(Ref)를 취득한다. 한편, 지정 신호(RF)가 화면내 예측 부호화를 지시하고 있는 경우에는, 움직임 보상부(158)는, 0의 값을 갖는 후보 픽처(Ref0)를 취득한다. 그리고 움직임 보상부(158)는, 참조 픽처로서 후보 픽처(Ref)를 취득하였을 때에는, 취득한 참조 픽처로부터 움직임 벡터(MV)를 이용하여 예측 화상(Pre)에 적합한 화상 영역을 취출하고, 그 취출한 화상 영역으로부터 예측 화상(Pre)을 생성하여 출력한다. 한편, 후보 픽처(Ref0)를 취득하였을 때에는, 0의 값을 갖는 예측 화상(Pre)을 생성하여 출력한다.

도 24는, 화상 복호화 장치(150)의 개략적인 동작을 도시하는 흐름도이다.

우선, 화상 복호화 장치(150)는, 화상 부호화 신호(Str)에 포함되는 참조 구조 정보(Rsi)를 취득하여 복호화한다(단계 S600). 이 참조 구조 정보(Rsi)에 기초하여, 화상 복호화 장치(150)는, 신속한 랜덤 액세스를 개시 가능한 액세스 유닛(RAU)을 특정한다(단계 S602). 그리고, 화상 복호화 장치(150)는, 특정된 액세스 유닛(RAU) 중, 유저로부터 지정된 액세스 유닛(RAU)으로부터 각 픽처의 복호화를 행한다(단계 S604).

이와 같이 본 실시 형태에서의 화상 복호화 장치(150)는, 화상 부호화 신호(Str)에 포함되는 참조 구조 정보(Rsi)에 기초하여, 신속한 랜덤 액세스를 개시 가능한 액세스 유닛(RAU)을 특정할 수 있는 동시에, 그 특정된 액세스 유닛(RAU)으로부터, 그 전의 픽처를 복호하지 않고, 신속하게 랜덤 액세스할 수 있다.

또한, 화상 복호화 장치(150)는, 실시 형태 1의 변형예 1에 따른 화상 부호화 신호(Str1)에 대해서 복호화를 행해도 된다.

이 경우, 참조 구조 정보(Rsi1)가 액세스 유닛(RAU01)마다 포함되어 있기 때문에, 추출부(160)는, 우선 각 액세스 유닛(RAU01)에 포함되는 참조 구조 정보(Rsi1)를 복호화부(151)에 출력한다. 그리고, 결정부(159)는, 복호화된 각 참조 구조 정보(Rsi1)에 기초하여, 신속한 랜덤 액세스를 개시하는 것이 가능한 액세스 유닛(RAU01)을 결정한다.

또, 상기 결정, 요컨대 신속한 랜덤 액세스가 가능한지의 여부의 판별을 복호화부(151)에 시켜도 된다. 이 경우에는, 결정부(159)가 소정의 액세스 유닛(RAU01)을 추출부(160)에 지시하면, 추출부(160)는, 그 액세스 유닛(RAU01)에 포함되는 참조 구조 정보(Rsi1)를 복호화부(151)에 출력한다. 그리고, 복호화부(151)는, 그 참조 구조 정보(Rsi1)를 복호하고, 그 복호한 참조 구조 정보(Rsi1)에 기초하여, 그 참조 구조 정보(Rsi1)를 포함하는 액세스 유닛(RAU01)으로부터의 신속한 랜덤 액세스가 가능한지의 여부를 판별한다. 랜덤 액세스 가능하다고 판별하였을 때에는, 복호화부(151)는, 그 액세스 유닛(RAU01) 이후에 있는 각 액세스 유닛(RAU01)을 추출부(160)로부터 출력시켜서 복호화를 행한다.

여기에서 또한, 그 액세스 유닛(RAU01)에, 참조 구조 정보(Rsi1)를 포함하는 상술한 포인트 정보와, 파라미터 세트가 포함되어 있는 경우에는, 화상 복호화 장치(150)는 그들의 복호화도 행한다.

도 25는, 화상 복호화 장치(150)가 포인트 정보 및 파라미터 세트를 포함하는 화상 부호화 신호(Str1)를 부호화하는 동작을 도시하는 흐름도이다. 또한, 도 25 중, 액세스 유닛(RAU01)을 RAU로서 나타낸다.

우선, 화상 복호화 장치(150)는, 복호화의 대상이 되는 액세스 유닛(RAU01)을 특정하고(단계 S610), 그 액세스 유닛(RAU01)의 포인트 정보를 복호화한다(단계 S612). 그리고, 화상 복호화 장치(150)는, 파라미터 세트를 복호화하고(단계 S614), 그 액세스 유닛(RAU01)에 포함되는 모든 픽처를 복호화한다(단계 S616). 다음에, 화상 복호화 장치(150)는, 미부호의 액세스 유닛(RAU01)이 있는지의 여부를 판별하여(단계 S618), 있다고 판별하였을 때에는(단계 S618의 Y), 단계 S610으로부터의 동작을 반복하여 실행하고, 없다고 판별하였을 때에는(단계 S618의 N), 복호화 처리를 종료한다.

(변형예 1)

본 변형예에 따른 화상 복호화 장치(150)는, 실시 형태 1의 변형예 2에 따른 화상 부호화 신호(Str2)에 대해서 복호화를 행한다.

이 경우, 참조 구조 정보(Rsi2)가 액세스 유닛(RAU10, RAU11, …)의 각각에 포함되어 있기 때문에, 추출부(160)는, 우선 각 액세스 유닛(RAU10, RAU11, …)에 포함되는 참조 구조 정보(Rsi2)를 복호화부(151)에 출력한다. 그리고, 결정부(159)는, 복호화된 각 참조 구조 정보(Rsi2)에 기초하여, 신속한 랜덤 액세스를 개시하는 것이 가능한 액세스 유닛을 결정한다.

구체적으로, 참조 구조 정보(Rsi2)는, 자신이 속하는 액세스 유닛에 포함되는 각 픽처에 대한 참조 범위를 나타내기 위해서, 결정부(159)는, 신속한 랜덤 액세스가 개시 가능한지의 여부의 판별 대상이 되는 액세스 유닛의 참조 구조 정보(Rsi2)에 의해 표시되는 참조 범위와, 그 직후의 액세스 유닛의 참조 구조 정보(Rsi2)에 의해서 표시되는 참조 범위에 기초하여, 그 판별 대상의 액세스 유닛에 참조 관계(Rr1, Rr2)를 갖는 픽처가 포함되고, 또한 직후의 액세스 유닛에 참조 관계(Rr3, Rr4)를 갖는 픽처가 포함되어 있는지의 여부를 판별한다. 그 결과, 참조 관계(Rr1, Rr2)를 갖는 픽처와 참조 관계(Rr3, Rr4)를 갖는 픽처가 포함되어 있지 않다고 판단하였을 때에는, 결정부(159)는, 그 판별 대상의 액세스 유닛으로부터 신속한 랜덤 액세스를 개시하는 것이 가능하다고 인식한다.

그런데, 결정부(159)가, 판별 대상의 액세스 유닛으로부터 신속한 랜덤 액세스를 개시하는 것이 가능하다고 인식한 경우에도, 그 판별 대상의 액세스 유닛의 프리 엔트리 픽처가, 부호화순으로 엔트리 픽처보다도 앞의 픽처(직전의 액세스 유닛 이후의 픽처)를 참조하고 있는 경우가 있다.

이와 같은 경우에는, 그 프리 엔트리 픽처를 포함하는 액세스 유닛으로부터 랜덤 액세스를 개시하려고 해도, 그 프리 엔트리 픽처를 복호할 수 없다. 그러나, 그와 같은 프리 엔트리 픽처는 다른 픽처에 참조되는 경우가 없기 때문에, 그 프리 엔트리 픽처를 복호화할 필요성이 없고, 또 표시할 필요성도 없다.

그래서, 본 변형예에 따른 결정부(159)는, 랜덤 액세스의 개시 위치가 되는 액세스 유닛에 포함되는 프리 엔트리 픽처의 복호화의 필요성의 유무를, 직후의 액세스 유닛의 참조 구조 정보(Rsi2)에 의해 표시되는 참조 범위에 기초하여 판별한다. 즉, 결정부(159)는, 직후의 액세스 유닛의 프리 엔트리 픽처의 참조 범위에, 개시 위치가 되는 액세스 유닛의 프리 엔트리 픽처가 포함되어 있는 경우에는, 그 프리 엔트리 픽처의 복호화의 필요성이 있다고 판별하고, 참조 범위에 포함되어 있지 않은 경우에는, 복호화의 필요성이 없다고 판별한다.

그리고 결정부(159)는, 복호화의 필요성이 없다고 판별하였을 때에는, 화상 부호화 신호(Str2)에 포함되는 액세스 유닛 중, 개시 위치가 되는 액세스 유닛에 포함되는 프리 엔트리 픽처를 제외하고, 그 액세스 유닛 이후의 각 액세스 유닛을 출력하도록 추출부(160)에 지시한다.

이것에 의해, 본 변형예에 따른 화상 복호화 장치(150)는, 부적당한 픽처의 처리를 생략하여 복호화 처리의 효율을 향상할 수 있다.

도 26은, 본 변형예에 따른 화상 복호화 장치(150)의 결정부(159)의 동작을 도시하는 흐름도이다.

우선, 결정부(159)는, 복호화부(151)로부터 각 액세스 유닛에 포함되는 참조 구조 정보(Rsi2)를 취득한다(단계 S620). 다음에, 결정부(159)는, 취득한 참조 구조 정보(Rsi2)에 기초하여, 신속한 랜덤 액세스를 개시하는 것이 가능한 액세스 유닛을 특정한다(단계 S622).

그리고, 결정부(159)는, 단계 S622에서 특정한 액세스 유닛으로부터 또한, 랜덤 액세스의 개시 위치가 되는 액세스 유닛을 특정한다(단계 S624).

다음에, 결정부(159)는, 상기 개시 위치가 되는 액세스 유닛의 직후에 있는 액세스 유닛의 참조 구조 정보(Rsi2)에 기초하여, 개시 위치가 되는 액세스 유닛의 프리 엔트리 픽처의 복호화가 불필요한지의 여부를 판별한다(단계 S626).

여기에서, 복호화는 불필요하다고 판별하였을 때에는(단계 S626의 Y), 결정부(159)는, 화상 부호화 신호(Str2)에 포함되는 액세스 유닛 중, 개시 위치가 되는 액세스 유닛에 포함되는 프리 엔트리 픽처를 제외하고, 그 액세스 유닛 이후의 각 액세스 유닛을 출력하도록 추출부(160)에 지시한다(단계 S628). 또, 복호화는 불필요하지 않다고 판별하였을 때에는(단계 S626의 N), 결정부(159)는, 화상 부호화 신호(Str2)에 포함되는 액세스 유닛 중, 그 개시 위치가 되는 액세스 유닛 이후의 각 액세스 유닛을 모두 출력하도록 추출부(160)에 지시한다(단계 S630).

또한, 도 18에 도시하는 바와 같이, 신속한 랜덤 액세스의 개시가 가능한지의 여부의 판별 대상으로 하는 액세스 유닛의 참조 구조 정보(Rsi2)에, 그 액세스 유닛의 포스트 엔트리 픽처의 참조 범위와, 직후의 액세스 유닛의 프리 엔트리 픽처의 참조 범위가 표시되어 있는 경우에는, 결정부(159)는, 판별 대상으로 하는 액세스 유닛의 참조 구조 정보(Rsi2)만에 기초하여, 그 액세스 유닛으로부터 신속한 랜덤 액세스가 가능한지의 여부, 및 그 액세스 유닛에 포함되는 프리 엔트리 픽처의 복호화의 필요성이 있는지의 여부를 판별한다.

(변형예 2)

본 변형예에 따른 화상 복호화 장치(150)는, 실시 형태 1의 변형예 3에 따른 화상 부호화 신호(Str3)를 복호화한다.

여기에서, 기억 매체에 기억되어 있는 미디어 데이터(med)의 헤더(hed)에는, 미디어 데이터(med)의 각 화상 부호화 신호(Str3)에 대한 관련 정보가 포함되어 있다.

이 관련 정보는, 각 화상 부호화 신호(Str3)의 어떤 액세스 유닛(RAU)으로부터나 신속한 랜덤 액세스를 개시하는 것이 가능한지의 여부를 나타내는 동시에, 가능한 경우에는, 신속한 랜덤 액세스의 개시 위치가 되는 액세스 유닛의 프리 엔트리 픽처에 대해서 복호화는 불필요한 것을 나타낸다.

본 변형예에 따른 화상 복호화 장치(150)는, 기억 매체에 기억되어 있는 미디어 데이터(med)의 헤더(hed)를 참조하여, 신속한 랜덤 액세스가 가능한 것을 나타내는 관련 정보가 헤더(hed)에 있으면, 참조 구조 정보(Rsi)를 참조하지 않고, 화상 부호화 신호(Str3)에 대해서 어떤 액세스 유닛(RAU)으로부터나 신속하게 랜덤 액세스를 행할 수 있다고 판별한다.

도 27은, 본 변형예에 따른 화상 복호화 장치(150)의 결정부(159)의 동작을 도시하는 흐름도이다.

우선 결정부(159)는, 추출부(160) 및 복호화부(151)을 통해서 헤더(hed)를 취득하고(단계 S640), 그 헤더(hed)에 포함되는 관련 정보에 기초하여, 미디어 데이터(med)에 포함되는 각 화상 부호화 신호(Str3)에 대해서, 모든 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스가 가능한지의 여부를 판별한다(단계 S642).

여기에서, 결정부(159)는, 모든 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스가 가능하다고 판별하였을 때에는(단계 S642의 Y), 그 모든 액세스 유닛(RAU)으로부터, 랜덤 액세스의 개시 위치가 되는 액세스 유닛(RAU)을 특정한다(단계 S644).

그리고, 결정부(159)는, 개시 위치로 하는 액세스 유닛(RAU)의 프리 엔트리 픽처를 제외하고, 그 액세스 유닛(RAU) 이후의 액세스 유닛(RAU)을 출력하도록 추출부(160)에 지시한다(단계 S646).

또, 단계 S642에서 모든 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스는 불가능하다고 판별하였을 때에는(단계 S642의 N), 결정부(159)는, 참조 구조 정보(Rsi)를 복호화부(151)로부터 취득하고(단계 S648), 신속한 랜덤 액세스가 가능한 액세스 유닛(RAU)을 특정한다(단계 S650).

다음에, 결정부(159)는, 그 랜덤 액세스 가능한 액세스 유닛(RAU)으로부터 또한, 랜덤 액세스의 개시 위치가 되는 액세스 유닛(RAU)을 특정한다(단계 S652).

그리고, 결정부(159)는, 그 개시 위치가 되는 액세스 유닛(RAU) 이후의 액세스 유닛(RAU)을 출력하도록 추출부(160)에 지시한다(단계 S654).

또한, 본 변형예에서는, 미디어 데이터(med)의 헤더(hed)에 기초하여, 모든 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스를 개시할 수 있는지의 여부를 판별하였지만, 예를 들면, 미디어 데이터(med)를 기억하고 있는 기억 매체의 종별을 물리적인 특성 등으로부터 식별하고, 그 식별 결과에 기초하여, 모든 액세스 유닛(RAU)으로부터 신속한 랜덤 액세스를 개시할 수 있는지의 여부를 판별해도 된다.

(변형예 3)

본 변형예에 따른 화상 복호화 장치는, 실시 형태 1의 변형예 4에 따른 화상 부호화 장치(100)에 의해서 생성된 화상 부호화 신호(Str3)와, 참조 테이블(RsiT)을 취득하여, 화상 부호화 신호(Str3)의 복호화를 행한다.

도 28은, 본 변형예에 따른 화상 복호화 장치의 구성을 도시하는 블록도이다.

이 화상 복호화 장치(150a)는, 가산기(153)와, 선택부(154)와, 메모리(155∼157)와, 움직임 보상부(158)와, 추출부(161)와, 복호화부(162)와, 결정부(163)와, 취득부(164)를 구비하고 있다.

여기에서, 화상 복호화 장치(150a)에 포함되는 구성 요소 중, 화상 복호화 장치(150)의 구성 요소와 동일한 부호가 붙여진 것은, 화상 복호화 장치(150)의 동일한 부호가 붙여진 구성 요소와 동일한 기능을 갖기 때문에, 설명을 생략한다.

취득부(164)는, 참조 테이블(RsiT)을 취득하고, 그 참조 테이블(RsiT)에 포함되는 참조 구조 정보(Rsi2)를 선두로부터 순서대로 결정부(163)에 출력한다.

결정부(163)는, 취득부(164)로부터 참조 구조 정보(Rsi2)를 취득하면, 그 참조 구조 정보(Rsi2)에 기초하여, 화상 부호화 신호(Str3)에 포함되는 액세스 유닛(RAU) 중, 어느 쪽으로부터 신속하게 랜덤 액세스하는 것이 가능한지를 특정한다. 즉, 결정부(163)는, 신속한 랜덤 액세스를 개시하는 것이 가능한 액세스 유닛(RAU)을 결정한다. 그리고, 결정부(163)는, 예를 들면 유저의 조작에 따라서, 랜덤 액세스의 개시 위치가 되는 액세스 유닛(RAU)을 지정하는 지정 신호(EM)를 추출부(161)에 출력한다.

추출부(161)는, 화상 부호화 신호(Str3)를 취득하면 이것을 일시적으로 축적한다. 그리고, 추출부(160)는, 화상 부호화 신호(Str3)에 포함되는 액세스 유닛(RAU) 중, 지정 신호(EM)에 의해서 지정된 액세스 유닛(RAU) 이후의 액세스 유닛(RAU)을 복호화부(162)에 출력한다.

복호화부(162)는, 추출부(161)로부터 화상 부호화 신호(Str3)에 포함되는 각 액세스 유닛(RAU)를 취득하면, 그 각 액세스 유닛(RAU)을 복호화하여, 복호 차분 화상 신호(RDif)와, 움직임 벡터(MV)와, 지정 정보(RF)를 출력한다.

(실시 형태 3)

또한, 상기 각 실시 형태에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법을 실현하기 위한 프로그램을, 플렉서블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를 독립된 컴퓨터 시스템에서 간단하게 실시하는 것이 가능해진다.

도 29는, 상기 실시 형태 1 또는 2의 화상 부호화 방법 또는 화상 복호화 방법을 컴퓨터 시스템에 의해 실시하기 위한 프로그램을 격납하는 기억 매체에 대한 설명도이다.

도 29 중 (b)는, 플렉서블 디스크(FD)의 정면 및 측면에서 본 외관과, 기록 매체의 본체인 디스크 본체(FD1)의 정면에서 본 외관을 도시하고, 도 29 중의 (a)는, 디스크 본체(FD1)의 물리 포맷의 예를 도시하고 있다.

디스크 본체(FD1)는 케이스(F) 내에 내장되고, 디스크 본체(FD1)의 표면에는, 동심원 형상으로 외주로부터는 내주를 향해서 복수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉서블 디스크(FD)에서는, 상기 디스크 본체(FD1) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.

또, 도 29 중 (c)는, 플렉서블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다.

상기 프로그램을 플렉서블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)이 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉서블 디스크 드라이브(FDD)를 통해서 기입한다. 또, 플렉서블 디스크(FD) 내의 프로그램에 의해 상기 화상 부호화 방법 또는 화상 복호화 방법을 컴퓨터 시스템(Cs) 중에 구축하는 경우에는, 플렉서블 디스크 드라이브(FDD)에 의해 프로그램이 플렉서블 디스크(FD)로부터 독출되어 컴퓨터 시스템(Cs)에 전송된다.

또한, 상기 설명에서는, 기록 매체로서 플렉서블 디스크(FD)를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

(실시 형태 4)

또한 여기에서, 상기 실시 형태에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법의 응용예와 그것을 이용한 시스템을 설명한다.

도 30은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체구성을 도시하는 블록도이다. 통신 서비스의 제공 영역를 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex107∼ex110)을 통해서, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 카메라가 부착된 휴대 전화(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 30과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이라도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통하여 접속되어 있고, 카메라(ex113)를 이용하여 유저가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또, 카메라(116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행해도 컴퓨터(ex111)로 행해도 어느 쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 장착해도 된다. 또한, 카메라가 부착된 휴대 전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI로 부호화 처리된 데이터이다.

이 콘텐츠 공급 시스템(ex100)에서는, 유저가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하고 복호화하여, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 화상 부호화 장치 또는 화상 복호화 장치를 이용하도록 하면 된다.

그 일례로서 휴대 전화에 대해서 설명한다.

도 31은, 상기 실시 형태에서 설명한 화상 부호화 방법 또는 화상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대 전화(ex115)에 대해서 도 32를 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다.

전원 회로부(ex310)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.

휴대 전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다. 또 휴대 전화기(ex115)는 음성 통화 모드시에 안테나(ex201)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.

또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부 (ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 본원 발명에서 설명한 화상 부호화 장치 또는 화상 복호화 장치를 구비한 구성으로, 카메라부(ex203)에서 공급된 화상 데이터를 상기 실시 형태에서 나타낸 화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는 화상 부호화부(ex312)에서 공급된 부호화 화상 데이터와 음성 처리부(ex305)에서 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다.

데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 버스(ex313)를 통해서 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성으로, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하여, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex208)에 공급하여, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 33에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 화상 부호화 장치 또는 화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은 방송용의 전파를 발신하여, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)에서 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 판독하여, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 화상 복호화 장치를 실장하여, 이것을 텔레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex415)로 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시 형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록할 수도 있다. 구체적으로는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시 형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.

또, 카 네비게이션(ex413)의 구성은 예를 들면 도 32에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다.

또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기·복호화기를 양쪽 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시 형태에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법을 상술한 어느 기기·시스템에 이용하는 것은 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않는 범위 내에서 다양한 변형 또는 수정이 가능하다.

본 발명에 따른 화상 부호화 방법은, 신속한 랜덤 액세스가 가능한 화상 부호화 신호를 압축 효율의 저하를 방지하여 생성할 수 있고, 비디오 카메라나 녹화 기능이 첨부된 휴대 전화 등의 화상 부호화 장치로서 적용할 수 있다.

Claims

화상 신호에 포함되는 복수의 픽처 중, 소정의 픽처를 엔트리 픽처로 하여 다른 픽처를 참조하지 않고 부호화하고, 엔트리 픽처 이외의 픽처를 다른 이미 부호화된 픽처를 참조하여 부호화하여 화상 부호화 신호를 생성하는 화상 부호화 방법으로서,

상기 화상 신호를, 엔트리 픽처를 포함하는 복수의 픽처로 이루어지는 액세스 단위로 취급하고,

처리해야 할 대상의 액세스 단위에서, 표시순으로 상기 엔트리 픽처보다도 뒤에 있는 후치(後置) 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치(前置) 픽처이며, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 단계와,

상기 처리 대상의 액세스 단위의 직후에 있는 액세스 단위에서, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처에 대해서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처로서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제1항에 있어서, 상기 제1 참조 제한 단계에서는,

부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처를 제외한, 다른 픽처를 참조하고,

상기 제2 참조 제한 단계에서는,

상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처를 제외한, 다른 픽처를 참조하는 것을 특징으로 하는 화상 부호화 방법.
제2항에 있어서, 상기 화상 부호화 방법은,

상기 처리 대상의 액세스 단위를 선택하는 선택 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서, 상기 화상 부호화 방법은,

어떤 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지를 나타내는 참조 구조 정보를 부호화하는 참조 구조 정보 부호화 단계와,

상기 화상 부호화 신호 중에, 부호화된 참조 구조 정보를 삽입하는 삽입 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서, 상기 화상 부호화 방법은,

각 액세스 단위마다, 해당 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지의 여부를 나타내는 참조 구조 정보를 부호화하는 참조 구조 정보 부호화 단계와,

상기 화상 부호화 신호 중의 각 액세스 단위에, 해당 액세스 단위에 대응하는 상기 참조 구조 정보를 삽입하는 삽입 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서, 상기 화상 부호화 방법은,

각 액세스 단위마다, 해당 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지의 여부를 나타내는 참조 구조 정보를 생성하는 참조 구조 정보 생성 단계와,

상기 화상 부호화 신호에 부수하여, 상기 참조 구조 정보 생성 단계에서 생성된 참조 구조 정보를 출력하는 참조 구조 정보 출력 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제6항에 있어서, 상기 화상 부호화 방법은,

상기 화상 부호화 신호 중의 각 액세스 단위에, 해당 액세스 단위에 대응하는 상기 참조 구조 정보를 식별하기 위한 식별 정보를 부호화하여 삽입하는 부호화 삽입 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서, 상기 화상 부호화 방법은,

각 액세스 단위마다, 해당 액세스 단위에 포함되는 각 픽처의 참조 범위를 나타내는 참조 구조 정보를 부호화하는 참조 구조 정보 부호화 단계와,

상기 화상 부호화 신호 중의 각 액세스 단위에, 해당 액세스 단위에 대응하는 상기 참조 구조 정보를 삽입하는 삽입 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서, 상기 화상 부호화 방법은,

각 액세스 단위마다, 해당 액세스 단위에 포함되는 각 후치 픽처의 참조 범위와, 해당 액세스 단위의 직후에 있는 액세스 단위에 포함되는 각 전치 픽처의 참조 범위를 나타내는 참조 구조 정보를 부호화하는 참조 구조 부호화 단계와,

상기 화상 부호화 신호 중의 각 액세스 단위에, 해당 액세스 단위에 대응하는 상기 참조 구조 정보를 삽입하는 삽입 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
화상 신호에 포함되는 복수의 픽처 중, 소정의 픽처를 엔트리 픽처로 하여 다른 픽처를 참조하지 않고 부호화하고, 엔트리 픽처 이외의 픽처를 다른 이미 부호화된 픽처를 참조하여 부호화하는 화상 부호화 방법에 의해 생성된 화상 부호화 신호로서,

상기 화상 부호화 방법은,

상기 화상 신호를, 엔트리 픽처를 포함하는 복수의 픽처로 이루어지는 액세스 단위로 취급하고,

처리해야 할 대상의 액세스 단위에서, 표시순으로 상기 엔트리 픽처보다도 뒤에 있는 후치 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처이며, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 단계와,

상기 처리 대상의 액세스 단위의 직후에 있는 액세스 단위에서, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처에 대해서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처로서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 단계를 포함하는 것을 특징으로 하는 화상 부호화 신호.
제10항에 있어서, 상기 화상 부호화 신호에는,

어떤 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지를 나타내는 참조 구조 정보가 포함되어 있는 것을 특징으로 하는 화상 부호화 신호.
제10항에 있어서, 상기 화상 부호화 신호에는,

각 액세스 단위마다, 해당 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지의 여부를 나타내는 참조 구조 정보가 포함되어 있는 것을 특징으로 하는 화상 부호화 신호.
제10항에 있어서, 상기 화상 부호화 신호에는,

각 액세스 단위마다, 해당 액세스 단위를 처리 대상으로 하여 상기 제1 및 제2 참조 제한 단계를 행하였는지의 여부를 나타내는 참조 구조 정보를 식별하기 위한 식별 정보가 포함되어 있는 것을 특징으로 하는 화상 부호화 신호.
제10항에 있어서, 상기 화상 부호화 신호에는,

각 액세스 단위마다, 해당 액세스 단위에 포함되는 각 픽처의 참조 범위를 나타내는 참조 구조 정보가 포함되어 있는 것을 특징으로 하는 화상 부호화 신호.
제10항에 있어서, 상기 화상 부호화 신호에는,

각 액세스 단위마다, 해당 액세스 단위에 포함되는 각 후치 픽처의 참조 범위와, 해당 액세스 단위의 직후에 있는 액세스 단위에 포함되는 각 전치 픽처의 참조 범위를 나타내는 참조 구조 정보가 포함되어 있는 것을 특징으로 하는 화상 부호화 신호.
화상 신호에 포함되는 복수의 픽처 중, 소정의 픽처를 엔트리 픽처로 하여 다른 픽처를 참조하지 않고 부호화하고, 엔트리 픽처 이외의 픽처를 다른 이미 부호화된 픽처를 참조하여 부호화하여 화상 부호화 신호를 생성하기 위한 프로그램으로서,

상기 화상 신호를, 엔트리 픽처를 포함하는 복수의 픽처로 이루어지는 액세스 단위로 취급하고,

처리해야 할 대상의 액세스 단위에서, 표시순으로 상기 엔트리 픽처보다도 뒤에 있는 후치 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처이며, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 단계와,

상기 처리 대상의 액세스 단위의 직후에 있는 액세스 단위에서, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처에 대해서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처로서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
화상 신호에 포함되는 복수의 픽처 중, 소정의 픽처를 엔트리 픽처로 하여 다른 픽처를 참조하지 않고 부호화하고, 엔트리 픽처 이외의 픽처를 다른 이미 부호화된 픽처를 참조하여 부호화하여 화상 부호화 신호를 생성하기 위한 프로그램을 격납하는 기억 매체로서,

상기 프로그램은,

상기 화상 신호를, 엔트리 픽처를 포함하는 복수의 픽처로 이루어지는 액세스 단위로 취급하고,

처리해야 할 대상의 액세스 단위에서, 표시순으로 상기 엔트리 픽처보다도 뒤에 있는 후치 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처이며, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 단계와,

상기 처리 대상의 액세스 단위의 직후에 있는 액세스 단위에서, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처에 대해서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처로서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 기억 매체.
화상 신호에 포함되는 복수의 픽처 중, 소정의 픽처를 엔트리 픽처로 하여 다른 픽처를 참조하지 않고 부호화하고, 엔트리 픽처 이외의 픽처를 다른 이미 부호화된 픽처를 참조하여 부호화하여 화상 부호화 신호를 생성하는 화상 부호화 장치로서,

상기 화상 신호를, 엔트리 픽처를 포함하는 복수의 픽처로 이루어지는 액세스 단위로 취급하고,

처리해야 할 대상의 액세스 단위에서, 표시순으로 상기 엔트리 픽처보다도 뒤에 있는 후치 픽처에 대해서, 부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처이며, 부호화순으로 엔트리 픽처보다도 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제1 참조 제한 수단과,

상기 처리 대상의 액세스 단위의 직후에 있는 액세스 단위에서, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처에 대해서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처로서, 상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞의 픽처를 참조하고 있는 픽처를 제외한, 다른 픽처를 참조하는 제2 참조 제한 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제18항에 있어서, 상기 제1 참조 제한 수단은,

부호화순으로 엔트리 픽처보다도 앞에 있는 픽처와, 표시순으로 엔트리 픽처보다도 앞에 있는 전치 픽처를 제외한, 다른 픽처를 참조하고,

상기 제2 참조 제한 수단은,

상기 처리 대상의 액세스 단위의 엔트리 픽처보다도 부호화순으로 앞에 있는 픽처와, 상기 처리 대상의 액세스 단위의 전치 픽처를 제외한, 다른 픽처를 참조하는 것을 특징으로 하는 화상 부호화 장치.