KR20040074635A

KR20040074635A - 동화상 부호화 방법 및 동화상 복호화 방법

Info

Publication number: KR20040074635A
Application number: KR1020040011010A
Authority: KR
Inventors: 노토야유우지; 가도노신야
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2003-02-19
Filing date: 2004-02-19
Publication date: 2004-08-25
Also published as: US20040161033A1; US8194751B2; CN1523892A; EP1450564A3; EP1450564A2; CN1523892B

Abstract

동화상 부호화 장치는, 편집 등에 의해서, 표시순 정보(POC)가 불연속이 되는 경우, 표시순 정보(POC)가 불연속인 것을 나타내는 플래그를 생성하는 플래그 정보 생성부(112)와, 입력된 부호화 신호에 대해서 가변길이 부호화 등을 행하고, 또한 플래그 정보 생성부(112)에 의해서 생성된 플래그 등의 정보를 부가함으로써 부호화 스트림(Str)을 생성하는 가변길이 부호화부(113)를 구비한다.

Description

동화상 부호화 방법 및 동화상 복호화 방법{MOVING PICTURE ENCODING METHOD AND MOVING PICTURE DECODING METHOD}

본 발명은, 동화상 신호를 픽처 단위로 부호화하는 동화상 부호화 방법과, 상기 부호화된 동화상 신호를 복호화하는 동화상 복호화 방법, 및 그것을 소프트웨어로 실시하기 위한 프로그램에 관한 것이다.

최근, 음성, 화상, 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래로부터의 정보 미디어, 요컨대 신문, 잡지, 텔레비전, 라디오, 전화 등의 정보를 인간에게 전달하는 수단이 멀티미디어의 대상으로서 받아들여지고 있다. 일반적으로, 멀티미디어란, 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 나타내는 것을 말하지만, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로 하여 어림잡아 보면, 문자의 경우 1문자당 정보량은 1∼2바이트인 것에 반해서, 음성의 경우 1초당 64Kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전수신 품질) 이상의 정보량이 필요해져서, 상기 정보 미디어로 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는, 64Kbit/s∼1.5Mbits/s의 전송 속도를 갖는 서비스 종합 디지털망(ISDN : lntegrated Services Digital Network)에 의해서 이미 실용화되어 있지만, 텔레비전·카메라의 영상을 그대로 ISDN으로 보내는 것은 불가능하다.

그래서, 필요해지는 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에서 권고된 H.261이나 H.263 규격의 동화상 압축 기술이 이용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(콤팩트·디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능해진다.

여기에서, MPEG(Moving Picture Experts Group)이란, ISO/IEC(국제 표준화 기구 국제 전기 표준 회의)에서 표준화된 동화상 신호 압축의 국제 규격이고, MPEG-1은, 동화상 신호를 1.5Mbps까지, 요컨대 텔레비전 신호의 정보를 약 100분의 1까지로 압축하는 규격이다. 또, MPEG-1 규격에서는, 대상으로 하는 품질을 전송 속도를 주로 약 1.5Mbps에서 실현할 수 있는 정도의 중간 정도의 품질로 하였기 때문에, 한층더 고화질화의 요구를 만족시키도록 규격화된 MPEG-2에서는, 동화상 신호를 2∼15Mbps에서 TV 방송 품질을 실현한다. 또한 현재 상황에서는, MPEG-1, MPEG-2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, MPEG-1, MPEG-2를 상회하는 압축율을 달성하고, 또한 물체 단위로 부호화·복호화·조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG-4가 규격화되었다. MPEG-4에서는, 당초, 낮은 비트 레이트의 부호화 방법의 표준화를 목표로 하여 진행시켰지만, 현재는 인터레이스 화상도 포함하는 높은 비트 레이트도 포함하는, 보다 범용적인 부호화로 확장되어 있다. 또한, 현재는, ISO/IEC와 ITU-T가 공동으로 보다 고압축율의 차세대 화상 부호화 방식으로서, MPEG-4 AVC 및 ITU H.264의 표준화 활동이 진행되고 있다. 2002년 8월의 시점에서, 차세대 화상 부호화 방식은 커미티·드래프트(CD)이라고 불리는 것이 발행되어 있다(또한, 예를 들면, ISO/IEC 14496-10 Editor's Proposed Changes Relative to JVT-E146d37ncm, revision 4, 2002-12 참조).

일반적으로 동화상의 부호화에서는, 시간 방향 및 공간 방향의 장황성을 삭감함으로써 정보량의 압축을 행한다. 그래서 시간적인 장황성의 삭감을 목적으로 하는 화면간 예측 부호화에서는, 전방 또는 후방의 픽처를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 행하여, 얻어진 예측 화상과 부호화 대상 픽처의 차분값에 대해서 부호화를 행한다. 여기에서, 픽처란 1장의 화면을 나타내는 용어이고, 프로그레시브 화상에서는 프레임을 의미하며, 인터레이스 화상에서는 프레임 또는 필드를 의미한다. 여기에서, 인터레이스 화상이란, 1개의 프레임이 시각이 다른 2개의 필드로 구성되는 화상이다. 인터레이스 화상의 부호화나 복호화 처리에서는, 1개의 프레임을 프레임 그대로 처리하거나, 2개의 필드로서 처리하거나, 프레임 내의 블록마다 프레임 구조 또는 필드 구조로서 처리하거나 할 수 있다.

참조 화상을 갖지 않고 화면 내 예측 부호화를 행하는 것을 I픽처라고 부른다. 또, 1장의 픽처만을 참조하여 화면간 예측 부호화를 행하는 것을 P픽처라고 부른다. 또, 동시에 2장의 픽처를 참조하여 화면간 예측 부호화를 행할 수 있는 것을 B픽처라고 부른다. B픽처는 표시 시간이 전방 또는 후방으로부터 임의의 조합으로서 2장의 픽처를 참조하는 것이 가능하다. 참조 화상(참조 픽처)은 부호화 및 복호화의 기본 단위인 블록마다 지정할 수 있지만, 부호화를 행한 비트 스트림 중에 먼저 기술되는 쪽의 참조 픽처를 제1 참조 픽처, 후에 기술되는 쪽을 제2 참조 픽처로서 구별한다. 단, 이들 픽처를 부호화 및 복호화 하는 경우의 조건으로서, 참조하는 픽처가 이미 부호화 및 복호화되어 있을 필요가 있다.

P픽처 또는 B픽처의 부호화에는, 움직임 보상 화면간 예측 부호화가 이용되고 있다. 움직임 보상 화면간 예측 부호화란, 화면간 예측 부호화에 움직임 보상을 적용한 부호화 방식이다. 움직임 보상이란, 단순히 참조 프레임의 화소값으로부터 예측하는 것이 아니라, 픽처 내의 각 부의 움직임량(이하, 이것을 움직임 벡터라고 부른다)을 검출하여, 해당 움직임량을 고려한 예측을 행함으로써 예측 정밀도를 향상시키는 동시에, 데이터량을 저감하는 방식이다. 예를 들면, 부호화 대상 픽처의 움직임 벡터를 검출하여, 그 움직임 벡터의 정도만큼 시프트한 예측값과 부호화 대상 픽처의 예측 잔차를 부호화함으로써 데이터량을 저감하고 있다. 이 방식의 경우에는, 복호화시에 움직임 벡터의 정보가 필요하게 되기 때문에, 움직임 벡터도 부호화되어 기록 또는 전송된다.

움직임 벡터는 매크로 블록 단위로 검출되어 있고, 구체적으로는, 부호화 대상 픽처측의 매크로 블록을 고정해 두고, 참조 픽처측의 매크로 블록을 탐색 범위내에서 이동시켜서, 기준 블록과 가장 비슷한 참조 블록의 위치를 찾아 냄으로써, 움직임 벡터가 검출된다.

도 1은, 종래의 동화상 부호화 장치의 구성을 도시하는 블록도이다.

동화상 부호화 장치는, 움직임 검출부(103), 감산 연산부(104), 부호화부(105), 움직임 보상부(106), 가변길이 부호화부(107), 복호화부(108), 가산 연산부(109), 및 메모리(110, 111)를 구비하고 있다.

동화상 신호(Vin)는, 감산 연산부(104)와, 움직임 검출부(103)에 입력된다.

움직임 검출부(103)는, 메모리(110)로부터 독출한 부호화가 완료된 복호화 화상 데이터를 참조 픽처로서 이용하고, 그 픽처 내의 탐색 영역에서 최적이라고 예측되는 위치를 나타내는 움직임 벡터(MV)의 검출을 행하여, 움직임 보상부(106)로 출력한다.

움직임 보상부(106)는, 움직임 검출부(103)에 의해 검출된 움직임 벡터(MV)를 이용하여 움직임 보상 화상 신호(MCRef)를 생성하고, 감산 연산부(104) 및 가산 연산부(109)로 출력한다.

감산 연산부(104)는, 입력된 동화상 신호(Vin)와, 움직임 보상부(106)로부터 입력된 움직임 보상 화상 신호(MCRef)의 차분을 연산하여, 차분 신호(Dif)를 부호화부(105)로 출력한다.

부호화부(105)는, 입력된 차분 신호(Dif)에 대해서 주파수 변환이나 양자화 등의 부호화 처리를 행하여, 부호화 신호를 생성하고, 가변길이 부호화부(107) 및 복호화부(108)로 출력한다. 가변길이 부호화부(107)는, 입력된 부호화 신호에 대해서 가변길이 부호화 등을 행하고, 또한 움직임 보상부(106)로부터 입력된 움직임 벡터(MV) 등을 부가함으로써 부호화 스트림(Str)를 생성하여, 동화상 부호화 장치의 외부로 출력한다.

복호화부(108)는, 입력된 부호화 신호에 대해서 역양자화나 역주파수 변환 등의 복호화 처리를 행하여, 복호한 차분 신호(RecDif)를 가산 연산부(109)로 출력한다.

가산 연산부(109)는, 복호화부(108)로부터 입력된 차분 신호(RecDif)와, 움직임 보상부(106)로부터 입력된 화상 신호(RecMCRef)를 가산하여, 로컬 복호 화상(LocalRecon)을 생성한다. 생성된 로컬 복호 화상(LocalRecon)은, 메모리(111)로 출력된다.

로컬 복호 화상은, 동화상 복호화 장치에서 복호화된 결과와 일치하는 화상으로, 다음 시각의 동화상 신호(Vin)를 부호화할 때에는, 참조 화상으로서 사용된다. 따라서, 메모리(111)에 기입된 로컬 복호 화상(LocalRecon)은, 다음의 동화상 신호(Vin)를 입력할 때까지 메모리(110)로 카피되거나, 혹은 메모리(110)와 메모리(111)는 교환된다.

도 2는 JVT의 표시순 정보(Picture Order Count : POC)와 프레임 번호(Frame Number : FN)의 개념을 설명하는 도면이다. 표시순 정보(POC)는 픽처의 표시의 순서를 도시하고 있다. 단, 실제의 표시 시간을 의미하고 있는 것은 아니다. 예를 들면, 도면 중의 픽처(IDR19)의 표시순 정보(POC)는 “0”이고, 다음 픽처(B20)의 POC는 “1”이기 때문에, 픽처(B20)는 픽처(IDR19)의 다음에 표시해야 하는 것은알 수 있지만, 어느 만큼의 시간을 경과한 후에 표시해야 하는지는 알 수 없다. 실제의 표시 시간은, 각 픽처에 관련된, 비디오 이외의 데이터로부터 얻어지고, 비디오 디코더(동화상 복호화 장치)가 관여하지 않는 장치에서 관리된다. 표시순 정보(POC)는 특별한 인트라 픽처인 IDR 픽처로 항상 “0”으로 리셋되고, 표시순으로 픽처 단위에 1씩 증가하도록 부여된다. 미리 정해진 최대값이 되면, 다시 “0”으로 리셋된다. 도면의 예에서는, IDR 픽처인 픽처(IDR19)와 픽처(IDR29)로 표시순 정보(POC)가 “0”으로 되돌가는 모양을 나타내고, 또, 표시순 정보(POC)의 최대값을 “4”로 설정하여, 픽처(B24)로 순환하여 “0”으로 되돌아가는 모양을 나타내고 있다.

FN은 피참조 픽처에 부여되는 번호이다. 도면 중 (A)는, 픽처(B21)를 디코드하기 전의 메모리의 상태를 나타내고 있고, 3장의 참조 픽처가 격납되어 있다. 도면 중 (B)는, 픽처(B21)를 디코드하여, 메모리에 격납한 후의 상태를 나타내고 있다. 여기에서 픽처(B21)의 FN은, 다음에 디코드하는 픽처(P25)와 동일 값을 갖고 있지만, 이와 같이 디코드 순으로 연속하는 다수의 픽처가 동일 FN을 갖는 경우, 디코드 순으로 최후의 픽처가 참조 픽처이고, 그 이외의 픽처는 참조 픽처가 아닌 것을 의미하고 있다. 이 예에서는, 픽처(B21)는 참조 픽처가 아니기 때문에, 메모리에 격납되면, “참조 픽처로서 불사용”으로 마크된다(마크된 상태를 unused라고 생략하여 쓴다). 참조 픽처가 메모리에 격납되는 경우에는, “참조 픽처로서 사용”으로 마크된다(마크된 상태를 used라고 생략하여 쓴다). 또한, 도면에서는 “unused”만을 기재하고 있다. 또, 참조 픽처인지의 여부는 부호화 스트림 중의nal_ref_idc라는 필드로부터도 알 수 있지만, 본 발명의 설명에 직접 관계되지 않기 때문에 여기에서는 설명하지 않는다. 또, 프레임 번호(FN)도 표시순 정보(POC)와 동일하게 IDR 픽처에서 항상 “0”으로 리셋되고, 미리 정해진 최대값이 되면, 다시 “0”으로 되돌아간다. 이 예에서는, 픽처(IDR19)와 픽처(IDR29)에서 “0”으로 리셋되고, 픽처(B24)에서 “0”으로 되돌아가고 있는 모양을 나타내고 있다.

도 3과 도 4를 이용하여, 메모리로부터, 빈 영역을 확보하기 위해서, 픽처를 소거하는 동작을 설명한다. 도 3은 unused된 픽처가 있는 경우의, 소거 동작을 설명하는 도면이다. 픽처(P23)를 디코드하기 직전의 메모리에는 픽처(IDR19, P22, B20, B21)를 디코드한 픽처가 격납되고, 픽처(B20)는 참조되지 않는 픽처이기 때문에, 미리 unused되어 있는 것으로 한다(도면 중 (A) 참조). 다음에, 메모리 관리를 행하는 MMCO(Memory management control operation) 또는 오래된 것으로부터 순서대로 불필요한 것으로 하는 슬라이딩 윈도우 등의 수법을 이용하여 필요에 따라서 픽처를 unused한다. 이들 조작을 본 명세서에서는 불사용 마킹 처리라 부른다. 여기에서는, 픽처(P22)가 unused된 것으로 한다(도면 중 (B) 참조). 다음에, 빈 영역을 확보하기 위해서 픽처를 소거하지만, 이와 같이 unused 픽처가 있는 경우에는, unused 픽처 중에서, 표시순(POC)이 가장 빠른 픽처를 소거한다. 여기에서는, 픽처(P22)의 표시순이 “3”이고, 픽처(B20)의 표시순이 “1”이기 때문에, 픽처(B20)를 소거한다(도면 중 (C) 참조). 이 소거하여 빈 영역으로 픽처(P23)를 격납한다(도면 중 (D) 참조).

또한, 픽처에는 프레임과 필드가 있고, 본 명세서에서는 픽처로서 설명하고있지만, 메모리에 격납할 때에는, 프레임 단위(동일 시각의 홀수 필드와 짝수 필드)에 격납해도 좋다. 또, 메모리에 빈 영역을 확보하기 위해서 소거할 때에도, 프레임 단위로 소거해도 좋다.

또한, 도면 중 stage로 도시한 번호는, 메모리의 천이 단계를 도시하고 있고, stage1은 그 픽처의 처리에서 불사용 마크 처리를 하기 전의 단계, stage2는 불사용 마크 처리가 된 후의 단계, stage3은 빈 영역을 확보한 후의 단계, stage4는 픽처를 격납한 후의 단계를 의미하고 있다.

도 4는 unused된 픽처가 메모리에 없는 경우의, 소거 동작을 설명하는 도면이다. 도면에 도시하는 바와 같이 픽처는, 픽처(IDR19, P22, B20, B21, P23)의 순으로 디코드된다. 도면 중 (A)에 도시하는 바와 같이, 픽처(P23)를 디코드하기 전의 단계에서, 메모리에 IDR19, P22, B20, B21의 픽처가 격납되고, 모두 unused가 아닌 것으로 한다. 그리고, 도면 중 (B)에 도시하는 바와 같이, 불사용 마킹 처리에서도, 모두 unused되지 않은 것으로 한다. 이와 같이, unused된 픽처가 없는 경우에, 빈 영역을 확보할 때에는, 메모리에 격납되어 있는 픽처 중에서, 최초로 디코드한 픽처를 소거한다. 도면 중 (C)에 도시하는 바와 같이, 여기에서는, 메모리에 격납되어 있는 픽처 중에서는 IDR19가 최초로 디코드한 픽처이기 때문에 IDR19를 소거한다. 마지막으로 도면 중 (D)에 도시하는 바와 같이, 빈 영역으로 디코드한 픽처(P23)를 격납한다.

도 5는 종래의 동화상 복호화 장치의 구성을 도시하는 블록도이다.

동화상 복호화 장치는, 가변길이 복호화부(402), 화상 복호화부(202), MMCO복호화부(204), 메모리(206), 및 메모리 관리부(401)를 구비하고 있다.

동화상 부호화 신호(Str)를 입력으로 하여, 가변길이 복호화부(402)로 가변길이 복호화를 행하고, 부호화되어 있는 픽처 데이터(comp_pic)를 화상 복호화부(202)로 복호화하여 복호 화상 신호(Recon)를 메모리(206)로 격납한다. 화상 복호화부(202)는, 픽처가 화면간 부호화되어 있는 경우에는, 복호화할 때, 움직임 정보(MV)를 메모리(206)로 보내어 움직임 보상이 완료된 참조 화상(MCPic)을 작성하여, 움직임 보상을 행한다. 픽처의 격납 영역의 결정, 빈 영역의 확보 등의, 메모리 관리의 지시(mctrl)는 메모리 관리부(401)에 의해 출력된다. 표시순 정보(POC)가 가변길이 복호화부(402)로부터 메모리 관리부(401)로 출력되어 유지된다. 또, 전술한 불사용 마킹 처리의 하나인 MMCO 코맨드(MMCO)는 가변길이 복호화부(402)로부터 MMCO 복호화부(204)로 입력되고, 디코드되어 메모리 관리부(401)로 unused의 지시가 입력된다. 또, 메모리(206)로부터 표시되는 복호 화상 신호(Vout)가 출력된다.

도 6은 종래의 동화상 복호화 장치의 메모리 관련의 동작 흐름도이다. 본 흐름은 픽처 단위의 동작을 단계 S1 내지 단계 S2로 도시하고 있다. 불사용 마킹 처리를 행하여, 메모리의 각 픽처에 대해서 필요에 따라서 unused로 마킹한다(단계 S13). 다음에, 빈 영역 확보 처리를 행하여, 빈 영역을 메모리에 확보한다(단계 S14). 다음에, 빈 영역으로 복호 화상 신호(Vout)를 격납한다(단계 S15).

도 7은 종래의 동화상 복호화 장치의 빈 영역 확보 처리의 동작 흐름도로, 도 6의 단계 S14를 상세하게 설명하는 흐름도이다. 빈 영역을 확보하는 처리(단계S14)는, unused로 마크된 픽처가 메모리(206)에 있는지를 조사하여(단계 S141), 있는 경우에는, 메모리(206)에 격납된 unused로 마크된 픽처 중에서 표시순이 가장 오래된 픽처를 삭제하고(단계 S143), 없는 경우에는, 메모리(206)에 격납된 픽처 중에서 최초로 디코드한 픽처를 삭제한다(단계 S142).

도 9는 무효 픽처 처리의 동작을 설명하는 개념도이다. JVT에서는 동화상 복호화 장치에 입력되는 시퀀스의 일부의 픽처를 로스트하였을 때, 로스트한 장수분만큼 무효 픽처를 삽입한다는 메모리 관리의 동작이 규정되어 있다. 이 동작은 시퀀스 파라미터 세트 내의 required-frame-num-update-behaviour-flag가 “1”일 때 동화상 복호화 장치에서 행해진다. 무효 픽처란 실제의 복원 화상 신호를 갖지 않고, 특별히 마킹된 픽처의 것으로, 참조 픽처로서 참조해서는 안되게 되어 있다. 상기 도면에 도시하는 바와 같은, 픽처(I19, P20, P21, P22, P23)를 디코드한 후의 메모리의 상태는 상기 도면 (A)에 도시하는 상태인 것으로 한다. 다음에 픽처(B24)를 디코드할 때, 디코드 순으로 새로운 unused가 아닌 픽처에 참조 인덱스(ref-idx)의 값이 작아지도록, 참조 픽처를 특정하기 위해서 이용하는 참조 인덱스를 할당한다. 이 할당은 일례이고, 픽처 타입 등에 따라서 방법이 다르지만, 메모리에 격납되어 있는 픽처에 의존하여 참조 관계의 인덱스가 할당되는, 의존 성질이 있는 것은 동일하다. 이 도면의 예에서는, 마지막으로 디코드한 unused가 아닌 픽처(P22)를 ref_idx=0, 그 전에 디코드한 unused가 아닌 픽처(P21)를 ref_idx=1과 같이 할당한다.

여기에서, 픽처(P21)와 픽처(P23)가 전송의 도중 등에서 분실되고, 디코더에입력되지 않은 경우, 무효 픽처를 삽입하지 않으면, 픽처(B24)를 디코드할 때에는, 상기 도면 (B)에 도시하는 바와 같이, 참조 인덱스(ref-idx)가 할당된다. 원래, 픽처(B24)가 참조하는 픽처(P22)와 픽처(P20)는 각각, ref_idx=0과, ref_idx=2로 할당되지만, ref_idx=0은 픽처(P22)로, ref_idx=2는 픽처(I19)로 할당되기 때문에, 픽처(P20)와 틀리게 픽처(I19)를 참조하여 버린다는 문제가 있다. 이것을 회피하기 위해서, 무효 픽처가 삽입된다.

무효 픽처를 삽입한 경우의, 픽처(B24)를 디코드하기 전의 메모리 모양을 나타낸 것이 상기 도면 (C)이다. 프레임 넘버(FN)의 불연속을 검출한다면, 불연속의 장수분만큼 무효 픽처를 삽입한다. 이 예에서는, FN=3인 픽처(P22)를 디코드할 때, 그 직전에 디코드한 픽처(P20)는 FN=1이기 때문에, 원래 1이상 증가하지 않는 것이 2 증가하고 있기 때문에, 1장 로스트한 것을 알 수 있다. 따라서, 픽처(P22)를 디코드하기 전에, 무효 픽처를 1장 삽입한다. 전술한 바와 같이 무효 픽처는 특별한 픽처이고, 실제의 복원된 화상 신호를 갖지 않지만 used로 마크되고, 참조 픽처의 할당시에는 참조 픽처로서 취급되지만, 실제로 참조해서는 안되기 때문에, 또한, “존재하지 않는다(non-exist)”로 마크된다.

도 10은 종래의 동화상 복호화 장치의 구성을 도시하는 블록도이다. 도 5에서 설명한 종래의 동화상 부호화 장치와의 차이는, FN 갭 검출부(211)가 있는 것과, 메모리 관리부(412)의 동작이 다른 것이다. FN 갭 검출부(211)는 가변길이 복호화부(411)로부터 프레임 넘버(FN)를 취득하여, 갭이 있는 경우에는, 필요한 장수분만큼 무효 픽처를 삽입하도록, 메모리 관리부(412)로 지시한다. 메모리관리부(412)는 지시된 장수분만큼 무효 픽처를 메모리(206)로 격납한다.

도 11은 종래의 동화상 복호화 장치의 무효 픽처 처리의 동작 흐름도이다. 도 6에서 설명한 종래의 동화상 복호화 장치의 메모리 관련의 동작과 다른 점은, 불사용 마킹 처리(단계 S13)의 전에, 프레임 넘버(FN)의 갭을 조사하여(단계 S11), 갭이 있는 경우에는, 갭의 장수분만큼 무효 픽처를 메모리(206)로 격납(단계 S12)한 후, 불사용 마킹 처리(단계 S13)로 진행하고, 갭이 없는 경우에는, 불사용 마킹 처리(단계 S13)로 진행한다. 단계 S12에서는, 갭의 장수분만큼 무효 픽처를 격납하지만, 1장을 삽입하도록 할 때마다, 도 6에서 도시하는 통상의 픽처를 격납하는 것과 동일한 처리를 행한다.

도 13은 종래의 MPEG-2 스트림의 구조를 설명하는 개념도이다. 도면에 도시하는 바와 같이 MPEG2의 스트림은 이하와 같은 계층 구조를 갖고 있다. 스트림(Stream)은 다수의 그룹·오브·픽처(Group Of Picture)로 구성되어 있고, 이것을 부호화 처리의 기본 단위로 함으로써 동화상의 편집이나 랜덤 액세스가 가능하게 되어 있다. 그룹·오브·픽처는, 다수의 픽처로 구성되고, 각 픽처는, I픽처, P픽처 또는 B픽처가 있다. 스트림, GOP 및 픽처는 또한 각각의 단위의 구분을 나타내는 동기 신호(sync)와 해당 단위에 공통의 데이터인 헤더(header)로 구성되어 있다. MPEG-2에서는, P픽처는 표시 시각이 직전 1장의 I픽처 또는 P픽처만을 참조한 예측 부호화가 가능하다. 또, B픽처는 표시 시각이 직전 1장과 직후 1장의 I픽처 또는 P픽처를 참조한 예측 부호화가 가능하다. 또한, 스트림에 배치되는 순서도 결정되어 있고, I픽처 또는 P픽처의 직후에 배치된다. 따라서, 랜덤 액세스일 때, I픽처로부터 복호를 개시하면, I픽처 이후에 배치되는 픽처는 모두 복호·표시가 가능하였다. 또, 참조 픽처는 최대로도 2장까지밖에 메모리에 격납할 수 없기 때문에, 참조 구조의 자유도는 한정되어 있었다.

도 14는 종래의 JVT의 동화상 부호화 방법을 설명하는 개념도이다. JVT에서는 특별한 인트라 픽처인 IDR 픽처를 걸치지 않는 한, 임의로 떨어진 픽처를 참조하는 것도 가능하다. 따라서, 예를 들면, 부호화 효율을 크게 하기 위해서, 다수의 픽처의 부호화 순을 재배열하여 부호화하는 것도 가능하다. 도면에서는 픽처(19, 20, 21, 25, 26, 27)의 화상간의 상관이 대단히 강하고, 또한 픽처(22, 23, 24, 28, 29, 30)의 화상간의 상관이 대단히 강한 것으로 한다. 이 경우에는, 픽처(19, 20, 21, 25, 26, 27)를 먼저 화면간 부호화하고(GOP1), 픽처(22, 23, 24, 28, 29, 30)를 화면간 부호화(GOP2)함으로써, 부호화 효율을 높게 하는 것을 기대할 수 있다.

도 15는 종래의 JVT의 동화상 부호화 방법의 동작 흐름도이다. JVT의 동화상 부호화 방법에서는, 모든 미부호화 픽처를 부호화 후보로 할 수 있다(단계 S55). 그리고, 부호화 후보로부터, 어떠한 관점에서 픽처를 선택하여 부호화한다(단계 S56). 예를 들면, 미부호화의 픽처가 10장 있을 때, 이 10장을 모두 부호화 후보로 하여, 표시순으로 10장째의 픽처를 선택하여 부호화해도 좋다. 부호화한 후, 미부호화의 픽처가 있으면, 다시 단계 S55로 되돌아간다. 단계 S56에서는, 부호화하지 않고, 또한 미부호화의 픽처가 입력되는 것을 기다려도 좋다.

그런데, 이와 같은 종래의 동화상 복호화 장치, 및 종래의 동화상 복호 장치에서는, 전술한 바와 같이 특별한 인트라 픽처인 IDR 픽처의 장소 이외에서는, 부호화된 스트림을 편집할 수 없었다. 이 문제를 이하에 설명한다.

도 8은 시퀀스의 불연속이 표시순 정보(POC)의 불연속을 일으켜서, 미표시의 픽처를 소거해 버리는 문제를 설명하는 개념도이다. 어느 시퀀스의 2개 부분(Clip1과 Clip2)을 서로 연결하여 디코드하는 경우를 도시하고 있다. 이와 같이 편집 등에 의해서 발생한 시퀀스의 불연속이 발생하고 있는 장소를 편집 포인트라고 부르기로 한다. 이 예에서는 표시순 정보(POC)의 순회는 생각하지 않아도 좋은 표시순 정보(POC)의 최대값이 설정되어 있는 것으로 한다. 도면 중 (A)는 Clip1을 디코드한 후의 메모리의 상태를 나타내고 있고, 픽처(I19, P22, B20, B21)가 격납되어 있다. 각각의 표시순 정보(POC)는 도면에 도시하는 바와 같이 각각 “4”,“7”,“5”,“6”이고, 픽처(I19, B20, B21)가 unused로 마크되어 있는 것으로 한다. 다음에 Clip2의 최초의 픽처(I85)를 디코드하고, 2장째의 픽처(P86)를 디코드하기 전의 상태를 도면 중 (B)에 도시한다. 여기에서는, 픽처(I85)는 픽처(B20)가 있었던 위치로 격납된 것으로 한다. 다음에, 불사용 마킹 처리를 행하지만, 이 Clip2의 경우, 픽처(I85)가 unused로 마크된 것으로 한다(도면 중 (B)). 다음에, 빈 영역 확보 처리를 행하지만, 전술한 바와 같이, unused의 픽처가 있기 때문에, unused의 픽처 중에서, 최초의 표시순을 갖는 픽처를 삭제하므로, 픽처(I85)를 삭제한다. 여기에서, 디코드한 후 표시할 때까지의 지연이 평균하여 3장이라고 하면, 픽처(B21, P22, I85)는 아직 표시되어 있지 않다. 그러나, 픽처(I85)는 아직 표시되어 있지 않음에도 불구하고, 메모리로부터 소거되어 버린다.

도 12는 시퀀스의 불연속이 프레임 넘버(FN)의 불연속을 일으켜서, 무효 픽처가 미표시의 픽처를 소거하여 버리는 문제를 설명하는 개념도이다. 이 예에서는, 어느 시퀀스의 불연속인 별도의 부분(Clip1과 Clip2)을 서로 연결하여 디코드한 모양을 도시하고 있다. 상기 도면 (A)는 픽처(P25)를 디코드한 후의 메모리의 모양을 도시하고 있고, 픽처(P21)로부터 픽처(P25)까지 5장의 픽처가 격납되어 있다. 다음에 Clip2의 최초의 픽처(I60)를 디코드할 때에, 무효 픽처를 삽입한 후의 상태를, 상기 도면 (B)가 도시하고 있다. 픽처(I60)는 FN=12이고, 직전에 디코드한 픽처(P25)는 FN=5이기 때문에, 6장의 픽처를 로스트하였다고 판정되어 6장의 무효 픽처가 삽입된다. 이 경우, 메모리의 픽처는 모두 소거되기 때문에, 예를 들면 상기 도면 (A)의 상태로, 픽처(P23, P24, P25)를 아직 표시하지 않고 있다고 해도, 소거되어 버린다는 문제가 있다.

도 16은 JVT의 부호화의 자유도가, 편집시나 랜덤 액세스시에 일으키는 문제를 설명하는 개념도이다. 상기 도면 (B)는 오리지널 스트림이고, 도 14의 스트림과 동일하다. 상기 도면 (A)는, GOP1가 없고 GOP2만을 디코드하는 모양을 도시하고 있다. 이 경우, 픽처(25, 26, 27)가 얻어지지 않기 때문에, 픽처(22)로부터 픽처(24)까지 재생한 후, 픽처(25)로부터 픽처(27)를 재생할 수 없다는 재생의 불연속이 발생한다. 이것은 편집에 의해서 GOP1를 삭제한 경우, GOP2로부터 랜덤 액세스하는 경우 등에 문제가 된다. 상기 도면 (C)는, GOP2가 없고, GOP1까지를 디코드하는 모양을 도시하고 있다. 이 경우, 역시 픽처(22, 23, 24)가 얻어지지 않기때문에, 재생의 불연속이 발생한다. 이것은 편집에 의해 GOP2를 삭제한 경우에 문제가 된다.

따라서, 본 발명은 상기의 사정을 감안하여 이루어진 것으로, 특별한 인트라 픽처인 IDR 픽처 이외의 픽처의 장소에서도 편집을 행할 수 있는 동화상 부호화 방법 및 동화상 복호화 방법 등을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명에 관한 동화상 부호화 방법은, 동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법에 있어서, 상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 작성하는 플래그 정보 작성 단계와, 상기 플래그 정보를 상기 부호화 스트림에 부가하는 정보 부가 단계를 포함하는 것을 특징으로 한다.

이에 의해서, 픽처의 순서가 불연속인 것을 나타내는 정보를 부호화 스트림에 부가할 수 있다.

또, 본 발명에 관한 동화상 부호화 방법은, 동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법에 있어서, 다수의 픽처에 의해 구성되는 소정의 부호화 단위에서의 최초의 화면 내 부호화 픽처보다 표시순이 뒤가 되는 픽처는, 해당 부호화 단위 이후의 부호화 단위에 포함되도록 부호화하는 부호화 단계를 포함하는 것을 특징으로 한다.

이에 의해서, 어느 부호화 단위 이후를 복호화해도, 재생의 불연속이 발생하지 않고, 재생을 행할 수 있다.

또, 본 발명에 관한 동화상 복호화 방법은, 부호화 스트림을 픽처 단위로 복호화하는 동화상 복호화 방법에 있어서, 상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 추출하는 정보 추출 단계와, 상기 플래그 정보에 기초하여 복호화가 완료된 픽처를 격납하는 영역을 관리하는 관리 단계를 포함하는 것을 특징으로 한다.

또, 상기 플래그 정보는, 픽처의 표시순 정보가 불연속인 것을 나타내는 정보이고, 상기 관리 단계에서는, 상기 표시순 정보 및 상기 플래그 정보에 기초하여, 상기 영역에 격납되어 있는 복호화가 완료된 픽처 중에서 표시순이 가장 앞인 픽처를 결정하여, 결정된 픽처를 삭제 대상 픽처로 해도 좋다.

이에 의해서, 픽처의 표시순 정보가 불연속인 것에 기인하여 비표시 픽처를 소거하여 버리는 것을 방지할 수 있다.

또, 상기 동화상 복호화 방법은, 또한, 픽처의 부호화순 정보가 불연속인 경우에, 상기 영역에 무효 픽처를 격납하는 무효 픽처 격납 단계를 포함하고, 상기 플래그 정보는, 상기 부호화순 정보가 불연속인 것을 나타내는 정보이고, 상기 관리 단계에서는, 상기 플래그 정보 및 상기 부호화순 정보에 기초하여, 상기 영역에 무효 픽처를 격납하는지의 여부를 판정하며, 상기 무효 픽처 격납 단계에서는, 상기 관리 단계에서의 판정 결과에 기초하여 상기 영역에 무효 픽처를 격납해도 좋다.

이에 의해서, 픽처의 부호화순 정보가 불연속인 것에 기인하여 미표시 픽처를 소거하여 버리는 것을 방지할 수 있다.

또한, 본 발명은, 이와 같은 동화상 부호화 방법 및 동화상 복호화 방법으로서 실현할 수 있을 뿐만 아니라, 이와 같은 동화상 부호화 방법 및 동화상 복호화 방법이 포함하는 특징적인 단계를 수단으로서 구비하는 동화상 부호화 장치 및 동화상 복호화 장치로서 실현하거나, 그들의 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나 할 수도 있다. 그리고, 그와 같은 프로그램은, CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해서 배송할 수 있는 것은 말할 필요도 없다.

이상의 설명으로부터 명확하게 알 수 있는 바와 같이, 본 발명에 관한 동화상 부호화 방법에 의하면, 특별한 인트라 픽처인 IDR 픽처 이외의 픽처의 장소에서도 편집이 가능하게 된다.

도 1은, 종래의 동화상 부호화 장치의 구성을 도시하는 블록도,

도 2는, 표시순(POC)과 피참조 픽처 번호의 개념을 설명하는 도면,

도 3은, 불사용과 마크된 픽처가 있는 경우, 메모리에 빈 영역을 확보하기 위해서, 픽처를 소거하는 동작을 설명하는 도면,

도 4는, 불사용과 마크된 픽처가 없는 경우, 메모리에 빈 영역을 확보하기 위해서, 픽처를 소거하는 동작을 설명하는 도면,

도 5는, 종래의 동화상 복호화 장치의 구성을 도시하는 블록도,

도 6은, 종래의 동화상 복호화 장치의 메모리 관련의 동작 흐름도,

도 7은, 종래의 동화상 복호화 장치의 빈 영역 확보 처리의 동작 흐름도,

도 8은, 시퀀스의 불연속이 표시순 정보(POC)의 불연속을 일으켜서, 미표시의 픽처를 소거하여 버리는 문제를 설명하는 개념도,

도 9는, 무효 픽처의 동작을 설명하는 개념도,

도 10은, 종래의 동화상 복호화 장치의 구성을 도시하는 블록도,

도 11은, 종래의 동화상 복호화 장치의 무효 픽처의 동작 흐름도,

도 12는, 시퀀스의 불연속이 프레임 넘버(FN)의 불연속을 일으켜서, 무효 픽처가 미표시의 픽처를 소거하여 버리는 문제를 설명하는 개념도,

도 13은, 종래의 MPEG-2 스트림의 구조를 설명하는 개념도,

도 14는, 종래의 JVT의 동화상 부호화 방법을 설명하는 개념도,

도 15는, 종래의 JVT의 동화상 부호화 방법의 동작 흐름도,

도 16은, JVT의 부호화의 자유도가, 편집시나 랜덤 액세스시에 일으키는 문제를 설명하는 개념도,

도 17은, 본 발명의 동화상 부호화 장치의 구성을 도시하는 블록도(실시 형태 1),

도 18은, 본 발명의 동화상 복호화 방법의 개념을 설명하는 도면(실시 형태1),

도 19는, 본 발명의 동화상 복호화 장치의 구성을 도시하는 블록도(실시 형태 1),

도 20은, 본 발명의 동화상 복호화 방법의 동작 흐름도(실시 형태 1),

도 21은, 본 발명의 동화상 복호화 방법의 빈 영역 확보 처리의 동작 흐름도(실시 형태 1),

도 22는, 본 발명의 동화상 복호화 장치의 구성을 도시하는 블록도(실시 형태 2),

도 23은, 본 발명의 동화상 복호화 방법의 동작 흐름도(실시 형태 2),

도 24는, 본 발명의 동화상 부호화 방법이 출력하는 데이터의 구조, 본 발명의 동화상 복호화 방법이 입력하는 데이터의 구조를 도시하는 도면,

도 25는, 본 발명의 동화상 부호화 장치의 구성을 도시하는 블록도(실시 형태 3),

도 26은, 본 발명의 동화상 부호화 방법의 개념을 설명하는 도면(실시 형태 3),

도 27은, 본 발명의 동화상 부호화 방법의 동작 흐름도(실시 형태 3),

도 28은, 본 발명의 동화상 부호화 방법의 개념을 설명하는 도면(실시 형태 4),

도 29는, 본 발명의 동화상 부호화 방법의 동작 흐름도(실시 형태 4),

도 30은, 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하기 위한 기록 매체에 대한 설명도로, (a) 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시한 설명도, (b) 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시한 설명도, (c) 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한 설명도,

도 31은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템의 전체 구성을 도시하는 블록도,

도 32는, 휴대 전화의 일례를 도시하는 도면,

도 33은, 휴대 전화의 내부 구성을 도시하는 블록도,

도 34는, 디지털 방송용 시스템의 전체 구성을 도시하는 블록도이다.

<도면의 주요부분에 대한 부호의 설명>

POC : 픽처 표시순 정보

FN : 프레임 넘버

Cs : 컴퓨터 시스템

FD : 플렉시블 디스크

이하, 본 발명의 실시 형태에 대해서, 도면을 참조하여 설명한다.

(실시 형태 1)

도 17은, 본 실시 형태의 동화상 부호화 장치의 구성을 도시하는 블록도이다.

동화상 부호화 장치는, 움직임 검출부(103), 감산 연산부(104), 부호화부(105), 움직임 보상부(106), 가변길이 부호화부(113), 복호화부(108), 가산 연산부(109), 메모리(110, 111), 및 플래그 정보 생성부(112)를 구비하고 있다.

종래의 동화상 부호화 장치(도 1)와의 차이는, 플래그 정보 생성부(112)와, 가변길이 부호화부(107)가 동작이 상위한 가변길이 부호화부(113)를 구비하고 있는 점이다.

플래그 정보 생성부(112)는, 편집 등에 의해서, 표시순 정보(POC)가 불연속이 되는 경우, 표시순 정보(POC)가 불연속인 것을 나타내는 플래그를 생성한다.

가변길이 부호화부(113)는, 입력된 부호화 신호에 대해서 가변길이 부호화 등을 행하고, 또한 플래그 정보 생성부(112)에 의해서 생성된 플래그, 및 움직임 보상부(106)로부터 입력된 움직임 벡터(MV) 등의 정보를 부가함으로써 부호화 스트림(Str)을 생성하여, 동화상 부호화 장치의 외부로 출력한다.

도 18은 본 발명의 동화상 부호화 방법 및 동화상 복호화 방법의 개념을 설명하는 도면이다. 이 도면은 종래의 과제를 설명한 도 8의 경우를 해결하는 모양을 설명하고 있다. 먼저 편집 등에 의해서, 표시순 정보(POC)가 불연속으로 되어 있는 것을 부호화시에 부가된 플래그에 의해서 검출한다. 이 플래그를 플래그(A)라고 부른다. 플래그(A)란, 편집 등에 의해서 표시순 정보(POC)가 불연속인 것을 나타내는 플래그이다.

이 플래그(A)는 도면 중에 도시하는 바와 같이, Clip의 직전에 두는 특별한 정보로 한다. JVT에서는 Supplemental enhancement information(이하, SEI라고 생략하여 쓴다)라고 불리는 비디오 디코드의 부가적인 정보를 격납하는 단위가 정의되어 있기 때문에 이것에 격납하는 것으로 한다. 사용자가 독자적으로 정의 가능한 User data registered SEI에 격납해도 좋고, 또는 랜덤 액세스를 위한 정보를 격납하는 Random access point SEI(이하, RAP SEI라고 생략하여 쓴다)에 격납해도 좋다. RAP SEI에는 편집 등에 디코드한 동화상이 원래의 동화상과는 다를지도 모르는 것을 나타내는 broken_link_flag, RAP SEI가 있는 위치로부터 표시순으로 n장째 이후의 픽처를 디코드한 동화상이 원래의 동화상과 동등 또는 거의 동등이 되는 경우, 그 n장을 나타내는 recovery_frame_cnt 등의 정보가 격납되어 있다. 본 발명에서는, RAP SEI의 broken_link_flag가 “1”일 때에는, 편집이 행해지고 있는 것으로 검출하고, RAP SEI 이후의 최초의 픽처의 직전을 편집 포인트로 한다. 또는, recovery_frame_cnt가 가리키는 픽처의 직전을 편집 포인트로 한다. 또는, RAP SEI 이후의 최초의 독립으로 디코드 가능한 픽처(예를 들면 Intra Picture)를 편집 포인트로 한다. 또한, 편집 포인트란 픽처의 경계만을 가리키고 있으며, SEI의 경계를 정하고 있는 것은 아니다. 그 외에도, 시퀀스를 격납하고 있는 파일 포맷에는, 각 픽처의 랜덤 액세스 정보를 격납하고 있는 경우가 있고, 그들 정보에는 편집되어 있는 것을 나타내는 정보, 또한 편집 포인트의 정보가 격납되어 있는 경우도 있다. 그 경우에는, 파일 포맷의 정보에 따라서, 편집의 검출과 편집 포인트의 특정을 행하면 좋다. 이들의 격납 형식을 플래그 형식(A)의 격납 형식이라고 부른다.

도 19는 본 실시 형태의 동화상 복호화 장치의 구성을 도시하는 블록도이다. 종래의 동화상 복호화 장치(도 5)와의 차이는, 편집 검출부(203)가 추가된 것, 메모리 관리부(401)와는 동작이 상이한 메모리 관리부(205)를 구비하고 있는 것이다.

편집 검출부(203)는 가변길이 복호화부(201)로부터 표시순 정보(POC)가 불연속으로 되어 있는 것을 나타내는 플래그, 또는 편집 포인트 정보를 격납하는 정보를 취득하고 해석하여, 메모리 관리부(205)로 제어 신호(mctrlc)를 출력한다. 메모리 관리부(205)는 편집을 의미하는 제어 신호(mctrlc)가 입력되면, 편집 포인트보다 앞의 픽처가, 편집 포인트보다 뒤의 픽처보다도 표시순이 앞이 되도록 관리한다. 요컨대, unused 픽처 중에서 삭제하는 픽처를 선택할 때에, 편집 포인트 앞의 픽처의 표시순은, 편집 포인트 뒤의 픽처보다도 앞인 것으로 한다.

메모리 관리부(205)는, 표시순을 관리하기 위해서, 편집 포인트를 넘을 때마다 1씩 증가하는 Clip 카운터를 각 픽처에 유지시킨다. 도면 중 (B)에 도시하는 바와 같이, 픽처(B20, P22, B21)는 Clip=1로 기록되고, 편집 포인트보다 뒤의 픽처(I85)는 Clip=2로 기록된다. 이 상태에서의 불사용 마킹 처리의 처리에서는, unused 픽처의 최초로 디코드한 클립의 픽처(Clip=1로 마크되어 있는 픽처(B20, P22, B21))로부터 가장 표시순이 앞인 픽처(B20)를 삭제한다. 이것에 의해서, 미표시 픽처(종래의 과제에서는 픽처(I85))를 삭제하여 버린다는 문제를 해결할 수 있다.

도 20은 본 실시 형태의 동화상 복호화 방법의 동작 흐름도이다. 종래의 동화상 복호화 방법(도 6)과의 차이는, 단계 S31과 단계 S32를 추가한 것, 단계 S14를 수정하여 단계 S14B로 한 것이다. 픽처 단위의 처리 개시(단계 S1) 후, 편집되어 있는지를 조사하여(단계 S31), 편집되어 있으면 편집 포인트에서의 처리를 행한다(단계 S32). 편집을 검출하지 않으면, 종래와 동일한 바와 같이 불사용 마킹 처리(단계 S13)를 행하여, 편집 포인트 전후의 디코드 순을 고려한 빈 영역 확보 처리(단계 S14B)를 행한다. 편집 포인트에서의 처리란, 편집 포인트의 전후를 구별할 수 있도록 하는 것으로, 메모리 관리부(205)는, 편집 포인트를 넘을 때마다 Clip 카운터를 1개 증가시킨다.

도 21은 본 실시 형태의 동화상 복호화 방법의 빈 영역 확보 처리의 동작 흐름도이다. 종래의 빈 영역 확보의 방법(도 6)과의 차이는, 단계 S43를 수정한 단계 S43B이다. unused의 픽처가 메모리에 격납되어 있는 경우(단계 S41)에는, 디코드 순으로 앞의 클립을 우선하여 unused 픽처를 포함하는 클립을 찾아내어, 그 클립의 unused 픽처 중에서, 최초 표시순의 픽처를 삭제한다. 바꿔 말하면, 디코드 순으로 최초로 unused의 픽처를 포함하는 Clip에 있는 unused 픽처에서, 그들 픽처 중에서 최초의 표시순의 픽처를 삭제한다. 또는, 바꿔 말하면, 디코드 순으로 최초 unused의 픽처의 직전, 직후의 편집 포인트 사이에 포함되는 unused 픽처 중에서, 최초 표시순의 픽처를 삭제한다.

상기한 바와 같이, 편집 등에 의해서 표시순 정보(POC)가 불연속으로 되어 있는 것을 부호화시에 부가된 플래그에 의해 검출한 뒤에, 삭제할 픽처를 결정하고 있기 때문에, 미표시의 픽처(종래의 도 8에 도시하는 예에서는 픽처(I85))를 삭제해 버린다는 문제를 해결할 수 있다.

이와 같은 본 발명의 동화상 복호화 방법(도 18, 도 19, 도 20, 도 21)으로 편집의 불연속을 해결할 수 있기 때문에, 편집 포인트를 나타내는 정보가 필요하다. 따라서, 편집 포인트 정보가 포함되어 있는 것을 나타내는 정보가 복호화 장치에 있어서 입수하기 쉬운 장소에 있는 것이 바람직하다.

본 실시 형태에서는, 표시순 정보(POC)가 불연속으로 되어 있는 것을 나타내는 부호화시에 부가된 플래그를, 표시순 정보(POC)가 불연속으로 되어 있는 픽처의 사이에 부가하고 있지만, 이것에 한정되는 것이 아니다. 예를 들면, 플래그 정보생성부(112)가, 표시순 정보(POC)가 불연속으로 되어 있는 것을 나타내는 플래그와, 표시순 정보(POC)가 불연속으로 되어 있는 위치(편집 포인트)를 특정하는 정보를 생성해도 상관없다. 그리고, 이들 정보를 시퀀스 파라미터 세트로 격납하거나, 또는 사용자가 독자적으로 정의 가능한 User data registered SEI로 격납하여, 시퀀스를 입수하기 쉬운 장소, 예를 들면, 선두에 배치하거나, 또는 시퀀스를 기록하는 매체에 격납하거나, 또는 시퀀스를 관리하는 파일 포맷에 격납한다. 이들의 격납 형식을 플래그 형식(A2)이라고 부른다.

이 경우, 복호화시에는, 편집 검출부(203)는 이들 장소로부터 플래그(A2)를 취득하여 편집 포인트 정보가 얻어지면, 본 발명의 동화상 복호화 방법(도 18, 도 19, 도 20, 도 21)을 행한다.

(실시 형태 2)

본 실시 형태에서의 동화상 부호화 장치의 구성은, 도 17에 도시하는 실시 형태 1의 블록도와 동일하다.

본 실시 형태에서는, 플래그 정보 생성부(112)는, 편집 등에 의해서 프레임 넘버(FN)가 불연속이 되는 경우, 프레임 넘버(FN)가 불연속으로 되어 있는 것을 나타내는 플래그(B)를 생성한다.

또한, 플래그 정보 생성부(112)가 생성하는 플래그(B)는, 무효 픽처의 삽입을 행하지 않도록 지시하는 플래그여도 좋다. 플래그(B)의 부여의 형식은 실시 형태 1에 나타내는 플래그(A)의 형식과 동등하다.

도 22는 본 실시 형태의 동화상 복호화 장치의 구성을 도시하는 블록도이다.이 도면은 도 10에서 설명한 종래의 동화상 복호화 장치에 대해, 편집 검출부(214)를 추가하여, 메모리 관리부(212)를 변경한 것이다.

편집 검출부(214)는, 가변길이 복호화부(201)로부터 프레임 넘버(FN)가 불연속으로 되어 있는 것을 나타내는 플래그를 취득하여, 메모리 관리부(212)로 제어 신호(ctrl_c)를 출력한다. 메모리 관리부(212)는, FN 갭 검출부(211)로부터 제어 신호(ctrl_c)에 의해서 무효 픽처의 삽입의 요구가 입력된 경우에도, 편집 검출부(214)로부터 편집되어 있는 것이 통지된 경우에는, 무효 픽처의 삽입을 행하지 않는 것으로 한다.

도 23은 본 발명의 동화상 복호화 방법의 동작 흐름도이다. 종래의 동화상 복호화 방법(도 11)과의 차이는, 단계 S31를 추가한 것과, 단계 S14를 수정하여 단계 S14B로 한 것이다. 이 이외의 단계는 도 11과 동일 부호를 갖는 단계와 동일 동작을 행하기 때문에, 설명을 생략한다. 또, 단계 S31과 단계 S14B는 실시 형태 1에서 설명한 본 발명의 복호화 장치의 단계 S31 및 단계 S14B와 동일하기 때문에, 설명을 생략한다.

상기한 바와 같이, 편집 등에 의해서 프레임 넘버(FN)가 불연속으로 되어 있는 것을 부호화시에 부가된 플래그에 의해 검출한 후에, 무효 픽처의 삽입을 결정하고 있기 때문에, 미표시의 픽처(종래의 도 12에 도시하는 예에서는 픽처(P23, P24, P25))를 삭제해 버린다는 문제를 해결할 수 있다.

또한, 본 실시 형태에서는, 실시 형태 1과 동일하게 프레임 넘버(FN)가 불연속으로 되어 있는 것을 나타내는 부호화시에 부가된 플래그를, 프레임 넘버(FN)가불연속으로 되어 있는 픽처의 사이에 부가하고 있지만, 이것에 한정되는 것이 아니다. 예를 들면, 실시 형태 1과 동일하게, 플래그 정보 생성부(112)가, 프레임 넘버(FN)가 불연속으로 되어 있는 것을 나타내는 플래그와, 프레임 넘버(FN)가 불연속으로 되어 있는 위치(편집 포인트)를 특정하는 정보를 생성해도 상관없다. 그리고, 이들 정보를 실시 형태 1과 동일하게 격납한다.

이 경우, 복호화시에는, 편집 검출부(203)는 이들 장소로부터 실시 형태 1과 동일하게, 플래그(B2)를 취득하여 편집 포인트 정보가 얻어지면, 본 발명의 동화상 복호화 방법(도 22, 도 23)의 처리를 행한다.

도 24는, 실시 형태 1과 실시 형태 2에서의, 본 발명의 동화상 부호화 방법이 출력하는 데이터의 구조, 본 발명의 동화상 복호화 방법이 입력하는 데이터의 구조를 도시하는 도면이다. 부호화된 동화상 신호인 시퀀스는, 동일 도면 (A)에 도시하는 바와 같이, RAP, MMCO, PICTURE의 데이터를 포함한다. RAP는 Random access point SEI의 것이고, 그 중의 broken_link_field 가 실시 형태 1의 플래그(A)이며, 또 실시 형태 2에서의 플래그(B)이다. PICTURE는 픽처 단위로 부호화된 동화상 신호이고, PICTURE의 앞에는 MMCO가 있는 경우도 있다(없는 경우도 있다). MMCO란 Memory management control operation의 지시 정보이다. 또, 상기 도면 (B)에 도시하는 바와 같이, 시퀀스의 내부, 또는 시퀀스에 관련된 파일 포맷의 소정의 위치, 또는 시퀀스를 기록하는 기록 매체 등에, 실시 형태 1의 플래그(A2)이고, 또, 실시 형태 2에서의 플래그(B2)가 격납되어 있다.

(실시 형태 3)

도 25는, 본 실시 형태에 관한 동화상 부호화 장치의 구성을 도시하는 블록도이다.

동화상 부호화 장치는, 재배열 메모리(101), 부호화 스케쥴링부(102), 움직임 검출부(103), 감산 연산부(104), 부호화부(105), 움직임 보상부(106), 가변길이 부호화부(107), 복호화부(108), 가산 연산부(109), 및 메모리(110, 111)를 구비하고 있다.

재배열용 메모리(101)는, 표시 시간 순으로 픽처 단위로 입력된 동화상을 격납한다. 부호화 스케쥴링부(102)는 재배열용 메모리(101)에 격납된 각 픽처를 부호화가 행해지는 순서로 재배열을 행한다.

도 26은 본 실시 형태의 동화상 부호화 방법의 개념을 설명하는 도면이다. 도 16에 도시하는 문제를 해결하는, 본 실시 형태의 동화상 부호화 방법은, 어느 GOP에는 표시순의 연속하는 픽처밖에 격납하지 않는 것, 그리고, 어느 GOP의 임의의 픽처의 표시순은, 다음에 디코드하는 GOP의 임의의 픽처의 표시순보다도 앞이 되도록 부호화하는 것이다. 이와 같이 부호화함으로써, GOP1, GOP2 모두 도 16에 도시하는 케이스에서, 재생의 불연속은 발생하지 않는다.

도 27은 본 실시 형태의 동화상 부호화 방법의 동작 흐름도이다. 상기 도면 (a)를 이용하여 동작을 설명한다. 미부호화의 픽처 중에서, 표시순으로 가장 앞쪽으로부터 연속하는 픽처를 표시 기본 단위로 한다(단계 S61). 요컨대, 표시순으로 불연속이 되지 않는 1장 이상의 픽처를 표시 기본 단위로 하고, 이 표시 기본 단위보다도, 표시가 앞인 미부호화 픽처는 없도록, 표시 기본 단위를 정한다. 다음에,표시 기본 단위 중에 미부호화의 픽처가 있는지를 조사하여(단계 S62), 있으면(단계 S62에서 Yes), 표시 기본 단위 중의 미부호화 픽처를 부호화 후보로 하고, 이 부호화 후보로부터 선택하여 부호화한다(단계 S63). 미부호화의 픽처가 있는지를 조사하여(단계 S64), 있으면(단계 S64에서 Yes), 단계 S62로 진행한다. 없으면(단계 S64에서 No) 종료한다. 또한, 표시 기본 단위는, 조건「미부호화의 픽처 중에서, 표시순이 가장 앞인 픽처로부터, 부호화가 완료된 픽처 중에서 표시순이 가장 뒤인 픽처까지는, 적어도 표시 기본 단위에 포함된다」를 만족하는 한에 있어서, 임의의 타이밍으로 변경 가능하다.

또, 상기 도면 (B)도, 본 실시 형태의 동화상 부호화 방법의 동작 흐름도이지만, 이 방법에서는, 미부호화의 픽처 중에서, 표시순으로 가장 앞의 픽처로부터, 부호화가 완료된 픽처 중에서 표시순이 가장 뒤인 픽처까지를, 필수의 부호화 후보로 하고(단계 S71), 필수의 부호화 후보를 포함시켜서, 미부호화의 픽처로부터 선택하여 부호화한다(단계 S72). 다음에 I픽처 이외의 미부호화의 픽처가 있는지를 조사하여(단계 S73), 있으면(단계 S73에서 Yes), 단계 S71로 진행하고, 없으면(단계 S73에서 No) 종료한다. 또한, 여기에서는 다음의 I픽처까지를 GOP의 후보로 하고 있지만, 이것에 한정되는 것이 아니라, 예를 들면 파일 포맷에서의 GOP의 기재에 의해서, GOP의 최후를 결정해도 좋다.

상기한 바와 같이 GOP를 결정하고 있기 때문에, 예를 들면 도 16에 도시하는 경우와 같이 GOP1, GOP2 각각에서 재생의 불연속이 발생하는 것을 방지할 수 있다.

또한, 본 실시 형태에서 설명한 바와 같이 부호화된 것을 나타내는 플래그를부호화 스트림에 부가해도 상관없다.

(실시 형태 4)

도 28은 본 실시 형태의 동화상 부호화 방법의 개념을 설명하는 도면이다. 실시 형태 3에서는, 편집의 문제 해결과 랜덤 액세스시의 문제 해결을 동시에 행하는 방법이었지만, 본 실시 형태에서의 본 동화상 부호화 방법은, 랜덤 액세스시의 문제를 해결하는 방법이다. 실시 형태 3의 방법보다도, 제약이 완화되기 때문에, 부호화 효율 등을 향상시킬 수 있다.

도 28의 GOP2를 예로서 설명하면, 이 동화상 부호화 방법에서는, 1) 어느 GOP의 인트라 픽처(I25)보다도 표시 시간이 뒤인 픽처(B26, B27, P28)는, 그 인트라 픽처를 포함하는 GOP(GOP2)의 직전의 GOP(GOP1)에서 부호화하지 않는다. 이와 같이 제어함으로써, 도면 중 CaseA로 도시하고 있는 바와 같이, GOP2의 최초의 픽처(I25)로부터 디코드를 개시해도, 최초의 픽처 이후의 픽처를 모두 정확하게 표시하는 것이 가능해진다.

2) 또한, 어느 GOP의 인트라 픽처(I25)보다도 표시 시간이 앞이고, 또한, 그 GOP의 직전 GOP의 인트라 픽처(I19)보다도 표시 시간이 뒤인 픽처(I19, B20, B21, B22, B23, P24)는, 그 GOP(GOP2) 또는 직전 GOP(GOP1) 내에서 부호화한다. 이와 같이 제어함으로서, GOP1의 최초의 픽처(I19)로부터 디코드를 개시해도, GOP1의 최초의 픽처(I19) 이후의 픽처를 모두 정확하게 표시하는 것이 가능해진다.

또는, 바꾸어 말하면, 1) GOP1을 예로 들어서, 어느 GOP의 마지막에 표시하는 픽처는, 다음 GOP의 I픽처(I25)보다도 앞에 표시되는 픽처를 선택하여 부호화한다(요컨대, 픽처(P24) 이전을 선택하고 있지 않으면 안된다). 2) GOP2를 예로 들어서, 어느 GOP 내의 최초로 표시하는 픽처는, 직전 GOP의 I픽처(I19)보다도 뒤에 표시되는 픽처로부터 선택하여 부호화한다(요컨대, 픽처(B20) 이후를 선택하지 않으면 안된다).

또는, 바꾸어 말하면, 어느 GOP의 최초로 표시하는 픽처의 표시순은 직전 GOP의 I픽처보다도 표시순이 뒤이고, 그 GOP의 마지막에 표시하는 픽처의 표시순은 직후의 GOP의 I픽처보다도 표시순이 앞이 되도록, 부호화하는 동화상 부호화 방법이다. 또한 여기에서, I픽처로서 설명하고 있지만, 독립으로 디코드 가능한 픽처에 대해서도 동등하게 적용 가능하다.

도 29는 본 실시 형태의 동화상 부호화 방법의 동작 흐름도이다. 먼저, 미부호화의 픽처를 선택하여, 엔트리 픽처로서 부호화한다(단계 S81). 엔트리 픽처란 독립으로 디코드 가능한 픽처이다. 다음에, 미부호화의 픽처 중에서, 마지막으로 부호화한 엔트리 픽처보다도 표시순이 앞인 픽처를, 필수의 부호화 후보로 하고, 다음에 부호화 예정의 엔트리 픽처보다도 표시순이 앞인 미부호화의 픽처를 생략 가능한 부호화 후보로 한다(단계 S82). 다음에, 필수의 부호화 후보에게 미부호화의 픽처가 있는지를 조사하여(단계 S83), 있으면(단계 S83에서 Yes), 필수의 부호화 후보, 및 생략 가능한 부호화 후보로부터 선택하여 부호화한다(단계 S85). 다음에, 미부호화의 픽처가 있는지를 조사하여(단계 S86), 있으면 단계 S83으로 진행하고, 없으면 처리를 종료한다. 단계 S83에서, 필수의 부호화 후보에 미부호화의 픽처가 없는 경우(단계 S83에서 No)에는, 단계 S84에서 다음 엔트리 픽처의 부호화를 하는지를 판정한다(단계 S84). 엔트리 픽처의 부호화를 하는 경우(단계 S84에서 Yes)에는 단계 S81로 진행하고, 부호화를 하지 않는 경우(단계 S84에서 No)에는 단계 S85로 진행한다.

상기한 바와 같이 GOP에서의 최초의 인트라 픽처보다 표시순이 뒤가 되는 픽처는, 이 GOP 이후의 GOP에 포함되도록 부호화하고 있기 때문에, 어느 GOP 이후를 복호화해도, 재생의 불연속이 발생하지 않고, 재생을 행할 수 있다.

또한, 본 실시 형태에서 설명한 바와 같이 부호화된 것을 나타내는 플래그를 부호화 스트림에 부가해도 상관없다.

(실시 형태 5)

또한, 상기 각 실시 형태에서 나타낸 동화상 부호화 방법 또는 동화상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를, 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.

도 30은, 상기 각 실시 형태의 동화상 부호화 방법 또는 동화상 복호화 방법을 격납한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 30(b)는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 30(a)는, 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는, 동심원 형상으로 외주로부터는 내주를 향해서 다수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 동화상 부호화 방법 및 동화상 복호화 방법이 기록되어 있다.

또, 도 30(c)는, 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 동화상 부호화 방법 또는 동화상 복호화 방법을 플렉시블 디스크 드라이브를 통해서 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템 중에 구축하는 경우에는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하여, 컴퓨터 시스템에 전송한다.

또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

또한 여기에서, 상기 실시 형태에서 나타낸 동화상 부호화 방법이나 동화상 복호화 방법의 응용예와 그것을 이용한 시스템을 설명한다.

도 31은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해서, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라가 장착된 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 31과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 좋다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 좋다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 좋다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 좋다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의부호화는 카메라(ex116)로 행해도 컴퓨터(ex111)로 행해도 어느 쪽이어도 좋다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 동화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 독해 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착해도 좋다. 또한 카메라가 부착된 휴대전화(ex115)로 동화상 데이터를 송신해도 좋다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI로 부호화 처리된 데이터이다.

이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하고 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 동화상 부호화 장치 또는 동화상 복호화 장치를 이용하도록 하면 좋다.

그 일례로서 휴대전화에 대해서 설명한다.

도 32는, 상기 실시 형태에서 설명한 동화상 부호화 방법과 동화상 복호화 방법을 이용한 휴대전화(ex115)를 도시하는 도면이다. 휴대전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)에서 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐 쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대전화(ex115)에 대해서 도 33을 이용하여 설명한다. 휴대전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다.

전원 회로부(ex310)는, 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 송신한다. 또 휴대전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 행하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.

또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주제어부(ex311)에 송출된다. 주제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 본원 발명에서 설명한 동화상 부호화 장치를 구비한 구성으로, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 동화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하여, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대전화기(ex115)는, 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 송신한다.

데이터 통신 모드시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 패스(ex313)를 통해서 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는, 본원 발명에서 설명한 동화상 복호화 장치를 구비한 구성으로, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호화함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 34에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 동화상 부호화 장치 또는 동화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하여, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나 (ex406)에서 수신하고, 텔레비전(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 독해하여, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 동화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 동화상 복호화 장치를 실장하고, 이것을 텔레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 동화상 복호화 장치를 장착해도 좋다. 또, 안테나(ex411)를 갖는 차(ex412)로 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시 형태에서 나타낸 동화상 부호화 장치로 부호화하여, 기록 매체에 기록할 수도 있다. 구체적으로는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 리코더(ex420)가 상기 실시 형태에서 나타낸 동화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.

또한, 카 네비게이션(ex413)의 구성은 예를 들면 도 33에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다.

또, 상기 휴대전화(ex114) 등의 단말은, 부호화기·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시 형태에서 나타낸 동화상 부호화 방법 또는 동화상 복호화 방법을 상술한 어느 기기·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.

이상과 같이, 본 발명에 관한 동화상 부호화 방법 및 동화상 복호화 방법은, 예를 들면 휴대전화, DVD 장치 및 퍼스널 컴퓨터 등으로, 동화상을 구성하는 각 픽처를 부호화하여 부호화 스트림을 생성하거나, 생성된 부호화 스트림을 복호화하거나 하기 위한 방법으로서 유용하다.

Claims

동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법에 있어서,

상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 작성하는 플래그 정보 작성 단계와,

상기 플래그 정보를 상기 부호화 스트림에 부가하는 정보 부가 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
제1항에 있어서, 상기 플래그 정보 작성 단계에서는, 픽처의 표시순 정보가 불연속인 경우에, 상기 픽처의 순서가 불연속인 것으로 하는 것을 특징으로 하는 동화상 부호화 방법.
제1항에 있어서, 상기 플래그 정보 작성 단계에서는, 픽처의 부호화순 정보가 불연속인 경우에, 상기 픽처의 순서가 불연속인 것으로 하는 것을 특징으로 하는 동화상 부호화 방법.
제1항에 있어서, 상기 정보 부가 단계에서는, 상기 부호화 스트림 중의 상기 픽처의 순서가 불연속인 2개의 픽처의 사이에, 상기 플래그 정보를 부가하는 것을 특징으로 하는 동화상 부호화 방법.
제1항에 있어서, 상기 동화상 부호화 방법은, 또한,

상기 픽처의 순서가 불연속인 위치를 특정하는 위치 정보를 작성하는 위치 정보 작성 단계를 포함하고,

상기 정보 부가 단계에서는, 상기 플래그 정보와 함께, 상기 위치 정보를 부가하는 것을 특징으로 하는 동화상 부호화 방법.
동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법에 있어서,

다수의 픽처에 의해 구성되는 소정의 부호화 단위에서의 최초의 화면 내 부호화 픽처보다 표시순이 뒤가 되는 픽처를, 해당 부호화 단위 이후의 부호화 단위에 포함하도록 부호화하는 부호화 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
제6항에 있어서, 상기 부호화 단계에서는, 또한, 상기 소정의 부호화 단위 내에서의 픽처의 표시순은, 연속되고, 또한, 부호화순으로 해당 소정의 부호화 단위의 직후의 소정의 부호화 단위 내의 픽처의 표시순보다도 앞이 되도록 부호화하는 것을 특징으로 하는 동화상 부호화 방법.
부호화 스트림을 픽처 단위로 복호화하는 동화상 복호화 방법에 있어서,

상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 추출하는 정보 추출 단계와,

상기 플래그 정보에 기초하여 복호화가 완료된 픽처를 격납하는 영역을 관리하는 관리 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
제8항에 있어서, 상기 플래그 정보는, 픽처의 표시순 정보가 불연속인 것을 나타내는 정보이고,

상기 관리 단계에서는, 상기 표시순 정보 및 상기 플래그 정보에 기초하여, 상기 영역에 격납되어 있는 복호화가 완료된 픽처 중에서 표시순이 가장 앞인 픽처를 결정하고, 결정된 픽처를 삭제 대상 픽처로 하는 것을 특징으로 하는 동화상 복호화 방법.
제9항에 있어서, 상기 관리 단계에서는, 상기 영역에 격납되어 있는 복호화가 완료된 픽처에 대해서, 상기 플래그 정보가 추출되었을 때에 갱신하는 클립 정보를 부여하고, 상기 표시순 정보 및 상기 클립 정보에 기초하여, 상기 영역에 격납되어 있는 복호화가 완료된 픽처 중에서 표시순이 가장 앞인 픽처를 결정하여, 결정된 픽처를 삭제 대상 픽처로 하는 것을 특징으로 하는 동화상 복호화 방법.
제8항에 있어서, 상기 동화상 복호화 방법은, 또한,

픽처의 부호화순 정보가 불연속인 경우에, 상기 영역에 무효 픽처를 격납하는 무효 픽처 격납 단계를 포함하고,

상기 플래그 정보는, 상기 부호화순 정보가 불연속인 것을 나타내는 정보이며,

상기 관리 단계에서는, 상기 플래그 정보 및 상기 부호화순 정보에 기초하여, 상기 영역에 무효 픽처를 격납하는지의 여부를 판정하고,

상기 무효 픽처 격납 단계에서는, 상기 관리 단계에서의 판정 결과에 기초하여 상기 영역에 무효 픽처를 격납하는 것을 특징으로 하는 동화상 복호화 방법.
동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 장치에 있어서,

상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 작성하는 플래그 정보 작성 수단과,

상기 플래그 정보를 상기 부호화 스트림에 부가하는 정보 부가 수단을 구비하는 것을 특징으로 하는 동화상 부호화 장치.
부호화 스트림을 픽처 단위로 복호화하는 동화상 복호화 장치에 있어서,

상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 추출하는 정보 추출 수단과,

상기 플래그 정보에 기초하여 복호화가 완료된 픽처를 격납하는 영역을 관리하는 관리 수단을 구비하는 것을 특징으로 하는 동화상 복호화 장치.
동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하기 위한 프로그램에 있어서,

상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 작성하는 플래그 정보 작성 단계와,

상기 플래그 정보를 상기 부호화 스트림에 부가하는 정보 부가 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
부호화 스트림을 픽처 단위로 복호화하기 위한 프로그램에 있어서,

상기 픽처의 순서가 불연속인 것을 나타내는 플래그 정보를 추출하는 정보 추출 단계와,

상기 플래그 정보에 기초하여 복호화가 완료된 픽처를 격납하는 영역을 관리하는 관리 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.