KR100996043B1 - 화상 부호화 방법 및 화상 복호화 방법 - Google Patents

화상 부호화 방법 및 화상 복호화 방법 Download PDF

Info

Publication number
KR100996043B1
KR100996043B1 KR20057008438A KR20057008438A KR100996043B1 KR 100996043 B1 KR100996043 B1 KR 100996043B1 KR 20057008438 A KR20057008438 A KR 20057008438A KR 20057008438 A KR20057008438 A KR 20057008438A KR 100996043 B1 KR100996043 B1 KR 100996043B1
Authority
KR
South Korea
Prior art keywords
picture
memory management
memory
management command
image
Prior art date
Application number
KR20057008438A
Other languages
English (en)
Other versions
KR20050104333A (ko
Inventor
신야 가도노
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20050104333A publication Critical patent/KR20050104333A/ko
Application granted granted Critical
Publication of KR100996043B1 publication Critical patent/KR100996043B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

오동작의 발생을 방지하는 화상 부호화 방법은, 소정의 픽처 번호의 제1 픽처에 대한 메모리 관리 커맨드를, 제1 픽처와 다른 제2 픽처에 부호화하여 부가하는 부가 단계(단계 S203)와, 그 메모리 관리 커맨드를 재부호화하여 화상 부호화 스트림(VSt)의 제2 픽처 이외의 부가 대상 부위에 재부가하는 재부가 단계(단계 S205∼S208)를 포함하고, 그 재부가 단계에서는, 화상 부호화 스트림(VSt)에 포함되는 그 소정의 픽처 번호의 픽처 중에서, 제1 픽처가 부호화 순으로 직전에 없을 때에는, 그 메모리 관리 커맨드의 재부가를 금지한다.

Description

화상 부호화 방법 및 화상 복호화 방법{VIDEO ENCODING METHOD AND VIDEO DECODING METHOD}
본 발명은, 동화상 신호를 각 픽처마다 부호화하는 화상 부호화 방법, 및 그 부호화된 신호를 복호화하는 화상 복호화 방법에 관한 것이다.
최근, 음성, 화상 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래로부터의 정보 미디어, 요컨대 신문, 잡지, 텔레비전, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이, 멀티미디어의 대상으로 거론되어져 왔다. 일반적으로, 멀티미디어란, 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어서 나타내는 것을 말하지만, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수 조건이 된다.
그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로서 어림잡아 보면, 문자의 경우에는 1문자당의 정보량은 1∼2 바이트인 것에 반해서, 음성의 경우에는 1초당 64kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전 수신 품질) 이상의 정보량이 필요해져서, 상기 정보 미디어에서 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는, 64kbps∼1.5Mbps의 전송 속도를 갖는 종합 정보 통신망(ISDN: Integrated Services Digital Network)에 의해서 이미 실용화되어 있지만, 텔레비전·카메라의 영상을 그대로 ISDN로 보내는 것은 불가능하다.
그래서, 필요해져 오는 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에서 국제 표준화된 H.261이나 H.263 규격의 동화상 압축 기술이 이용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(콤팩트·디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능해진다.
여기에서, MPEG(Moving Picture Experts Group)이란, 동화상 신호의 디지털 압축의 국제 규격이고, MPEG-1은 동화상 신호를 1.5Mbps까지, 요컨대 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또, MPEG-1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbps로 실현되어 있기 때문에, 한층 더 고화질화의 요구를 만족시키기 위해서 규격화된 MPEG-2에서는, 동화상 신호가 2∼15Mbps로 압축된다.
또한, 현 상황에서는, MPEG-1, MPEG-2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, 보다 압축율이 높은 MPEG-4가 규격화되었다. MPEG-4에서는, 당초, 낮은 비트 레이트로 효율이 높은 부호화가 가능하게 될 뿐만 아니라, 전송로 오류가 발생해도 주관적인 화질 열화를 작게 할 수 있는 강력한 오류 내성 기술도 도입되어 있다. 또, ISO/IEC와 ITU-T의 공동으로 차세대 화상 부호화 방식으로서, JVT(Joint Video Team)로 ITU H.264｜AVC라고 불리는 표준화 활 동이 진행되고 있고, 현시점에서는 스터디·오브 FCD(SoFCD)라고 불리는 것이 최신이다(“Study of Final Committee Draft of Joint Video Specification”, Joint Video Team(JVT) of ISO/IEC and ITU-T VCEG, JVT-F100, 15 Feb., 2003 참조).
H. 264｜AVC에서는, 종래의 동화상 부호화와 달리, 복수의 픽처로부터 임의의 픽처를 전방 참조 픽처로서 선택 가능하다. 여기에서, 픽처란 프레임 또는 필드의 것을 나타낸다.
참조 픽처 등은, 메모리에 보존된다.
메모리는, 단시간 보존 메모리와 장시간 보존 메모리로 구성된다. 단시간 보존 메모리는 직전에 복호화된 복수의 픽처를 기억하는 것으로, 소위 MPEG-1이나 MPEG-2의 P픽처(전방 예측 부호화 픽처) 및 B픽처(쌍방향 예측 부호화 픽처)와 같은 참조 픽처가 기억된다. 장시간 보존 메모리는 단시간 보존 메모리보다도 픽처를 장시간 보존하기 위해서 이용된다.
통상은, 단시간 보존 메모리는 FIFO(선입 선출) 메모리이고, 기억 영역에 픽처가 채워진 상태로, 또한 픽처를 단시간 보존 메모리에 보존하는 경우에는, 단시간 보존 메모리 내의 가장 오래된 시각으로 보존된 픽처가 제거되고, 그 제거된 영역에 새로운 화상이 보존된다. 따라서, 통상은 단시간 보존 메모리로부터 제거되는 참조 픽처를 장시간에 걸쳐서 참조할 필요가 있는 경우에는, 그 참조 픽처를 미리 단시간 보존 메모리로부터 장시간 보존 메모리로 이동하여 장시간 보존 메모리 내에 보존해 둔다. 이것에 의해 장시간의 참조가 가능해진다. 장시간 보존 메모리는, 명시된 영역에 픽처를 보존한다. 이것에 의해, 동일 영역을 지정하여 덮어 쓰기 하지 않는 한 그 영역에 보존된 픽처를 참조할 수 있다.
또한, 복호화된 픽처는 표시될 때까지 일시적으로 표시용 메모리에 보존된다. 이 표시용 메모리는, 표시의 순서로 오래된 픽처로부터 순서대로 덮어쓰기 되는 FIFO 구성으로 되어 있다.
이와 같은 메모리를 효율적으로 사용하기 위해서는 고도의 메모리 관리가 필요하고, 메모리를 관리하기 위한 시스템이 H.264｜AVC에 도입되어 있다.
상기 관리에 이용되는 메모리 관리 커맨드는, 예를 들면 이하의 지령을 나타낸다.
1. 참조 가능한 픽처를 선택하는 지령
2. 단시간 보존 메모리에서 예측 부호화의 참조 픽처로서 불필요하게 된 픽처가 보존되어 있는 메모리 영역을 개방하는 지령
3. 단시간 보존 메모리의 픽처를 장시간 보존 메모리로 이동하는 지령
4. 메모리 내의 픽처를 모두 개방하여 픽처 복호화에 관한 정보를 초기화하는 지령
화상 부호화·복호화에서는 참조 가능한 픽처 중에서 블록 단위로 예측 오차가 작은 픽처를 참조 픽처로서 선택하기 위해서, 블록 단위로 참조 픽처를 지시하는 신호(참조 화상 지시 신호)가 필요하다. 미리 참조 가능한 픽처를 선택함으로써, 참조 픽처의 후보수를 적절한 값으로 압축하여, 블록 단위로 필요한 참조 화상 지시 신호의 비트수를 절약할 수 있다.
또, 단시간 보존 메모리로부터 장시간 보존 메모리로 픽처가 이동된 경우에 는, 동일 픽처가 단시간 보존 메모리와 장시간 보존 메모리의 양쪽에 보존되어 있어도 쓸모없을 뿐이므로, 단시간 보존 메모리 내의 픽처는 제거된다.
이와 같은 화상 부호화 방법 및 화상 복호화 방법에서는 불필요한 픽처를 메모리로부터 제거하도록 지령하는 메모리 관리 커맨드나, 픽처를 단시간 보존 메모리로부터 장시간 보존 메모리로 이동하도록 지령하는 메모리 관리 커맨드를, 화상 부호화 장치에서 부호화하여 출력하여, 화상 복호화 장치에 전송하여 복호화한다. 이와 같은 메모리 관리 커맨드는, 부호화된 픽처에 부가되어 전송되지만, 그 메모리 관리 커맨드를 따른 픽처가 전송 에러 등으로 소실된 경우에는, 화상 복호화 장치측의 메모리 내의 화상 배치를 정확하게 복원할 수 없기 때문에, 픽처를 복호화할 수 없게 된다.
이와 같은 문제를 고려하여, 메모리 관리 커맨드(MMCO)를 재송하는 것을 생각할 수 있다. 이와 같이 메모리 관리 커맨드를 재송함으로써, 메모리 관리 커맨드를 따른 픽처가 전송 에러 등으로 소실된 경우에, 재송한 메모리 관리 커맨드에 의해, 메모리 내의 화상 배치가 정확하게 복원된다.
메모리 관리 커맨드를 적용하는 픽처(메모리 관리 커맨드의 관리 대상이 되는 픽처)나, 메모리 관리용 커맨드를 재송하는 경우에 어느 픽처에 대해서 부가된 메모리 관리용 커맨드의 재송인지를 나타내기 위해서, 각 픽처에 대해서 픽처 번호가 부여된다. 이 픽처 번호에 의해서, 관리 대상의 픽처나, 최초로 메모리 관리 커맨드가 부가된 픽처가 표시된다.
픽처 번호는, 화상 부호화 스트림으로 오름차순(부호화순)으로 할당된 번호 이고, 표시용 메모리로 픽처의 표시 순서를 도출하기 위해서도 사용된다. 또한, 픽처수가 증가하면 픽처 번호는 대단히 커지기 때문에, 픽처 번호는, 소정수(MaxFrameNum)의 잉여로서 부호화되어 있다.
한편, 화상 부호화 스트림의 픽처 레이트 등을 도중에 전환해도, 그 이후의 화상 부호화 스트림을 정확하게 복호화할 수 있는 것을 보증하기 위해서, IDR 픽처가 도입된다. 이 IDR 픽처는, 이것을 넘어서 전방의 픽처의 참조가 행해지지 않도록 하기 위한 픽처로서, 이 IDR 픽처가 부호화되는 시점에서, 메모리 내의 픽처가 개방되어 픽처 복호화에 관한 정보가 초기화된다. 그 때문에, IDR 픽처의 부호화, 복호화의 전후에서 메모리 내에 보존되어 있는 픽처가 다르다. 또, IDR 픽처가 아니라, 초기화 커맨드가 이용되는 경우도 있다. IDR 픽처는, 픽처 번호를 포함시켜서 모든 픽처에 관한 복호화 정보를 초기화하는 것에 반해서, 초기화 커맨드는, 일부의 정보(픽처 번호 등)만을 초기화한다.
또, 화상 부호화 스트림이 편집되는 경우, 즉 복수의 화상 부호화 스트림의 각각의 일부를 추출하여 결합하고, 새롭게 별도의 화상 부호화 스트림이 생성되는 경우에는, 결합부(편집점)에서 픽처 번호 등의 부정합이 발생한다.
그러나, 상기 화상 부호화 방법 및 화상 복호화 방법에서는, 재송된 메모리 관리 커맨드가 관리 대상이 되는 픽처를 픽처 번호로 나타내어도, 그 재송된 메모리 관리 커맨드를 받은 화상 복호화 장치측에서는, 어느 픽처에 대한 메모리 관리 커맨드인지가 불명확하게 되어, 오동작을 유발해 버린다는 문제가 있다.
즉, 픽처 번호가 소정수의 잉여로서 표현되는 것이나, IDR 픽처나 초기화 커 맨드에 의해 픽처 번호가 0으로 초기화됨으로써, 다른 픽처에 동일한 픽처 번호가 부여되게 되기 때문에, 픽처 번호에 의한 1개의 픽처의 특정이 곤란해져서, 오동작을 유발해 버리는 것이다.
예를 들면, 표시용 메모리는, 각 픽처의 표시 순서의 정보에 기초하여 각 픽처를 표시 순서가 빠른 것으로부터 순서대로 제거하여, 표시용에 필요한 새로운 영역을 확보한다. IDR 픽처 또는 초기화 커맨드 후의 픽처 번호가 최소값 0으로 리셋되면, 표시 순서를 나타내는 정보도 초기화된다. 그 결과, 화상 부호화 장치가, IDR 픽처 또는 초기화 커맨드의 부호화 후에, IDR 픽처 등의 앞에 있는 픽처를 관리 대상으로 하는 메모리 관리 커맨드를 재송하였다고 해도, 그것을 수신한 화상 복호화 장치는, 메모리 관리 커맨드를 적용하는 픽처가 존재하지 않기 때문에, 오동작을 생성한다.
본 발명은, 이러한 문제를 감안하여 이루어진 것으로, 커맨드의 재송에 기인하는 오동작의 발생을 방지하는 화상 부호화 방법 및 화상 복호화 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서, 본 발명의 화상 부호화 방법은, 동화상 신호에 포함되는 각 픽처에 대해서 소정의 픽처수 단위로 부호화 순으로 픽처 번호를 할당하고, 각 픽처마다 부호화를 행함으로써 화상 부호화 신호를 생성하는 화상 부호화 방법에 있어서, 소정의 픽처 번호의 제1 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드를, 상기 제1 픽처와 다른 제2 픽처에 부가하는 부가 단계와, 상기 메모리 관리 커맨드를 상기 화상 부호화 신호 중의 상기 제2 픽처 이외의 부가 대상 부위에 재부가하는 재부가 단계를 포함하고, 상기 재부가 단계는, 상기 부가 대상 부위까지의 화상 부호화 신호에 포함되는 상기 소정의 픽처 번호의 픽처 중에서, 상기 제1 픽처가 부호화 순으로 상기 부가 대상 부위의 직전에 있는지의 여부를 판별하는 판별 서브 단계와, 상기 판별 서브 단계에서 직전에 없다고 판단되었을 때에는, 상기 메모리 관리 커맨드의 재부가를 금지하는 금지 서브 단계를 포함하는 것을 특징으로 한다.
이것에 의해, 재부가된 메모리 관리 커맨드의 관리 대상이 되는 픽처는 항상 직전의 픽처이기 때문에, 이와 같이 재부가되어 재송된 메모리 관리 커맨드를 취득한 화상 복호화 장치측에서는, 그 메모리 관리 커맨드에 의해 표시되는 소정의 픽처 번호의 픽처가 복수 있었다고 해도, 직전의 픽처를 그 메모리 관리 커맨드의 관리 대상이 되는 픽처로서 특정할 수 있어, 재송된 메모리 관리 커맨드에 기인하는 화상 복호화 장치측에서의 오동작의 발생을 방지할 수 있다.
또, 상기 판별 서브 단계에서는, 또한, 상기 제1 픽처가, 화상 부호화 신호 중의 기준점보다도 부호화 순으로 전방에 있는지의 여부를 판별하고, 상기 금지 서브 단계에서는, 또한, 상기 판별 서브 단계에서 전방에 있다고 판별되었을 때에는, 상기 메모리 관리 커맨드의 재부가를 금지하는 것을 특징으로 해도 된다. 예를 들면, 상기 판별 서브 단계에서는, 상기 화상 부호화 신호의 연속성이 편집에 의해서 소실된 편집점을 상기 기준점으로서 취급한다. 또는, 상기 판별 서브 단계에서는, 메모리를 초기화하도록 재촉하는 정보를 포함시켜서 부호화된 픽처를 상기 기준점으로서 취급한다.
이것에 의해, 기준점보다도 전방에 있는 픽처를 관리 대상으로 하는 메모리 관리 커맨드는 재부가되지 않기 때문에, 이와 같이 재부가되어 재송된 메모리 관리 커맨드를 취득한 화상 복호화 장치측에서는, 기준점보다도 뒤의 픽처를 그 메모리 관리 커맨드의 관리 대상으로서 취급할 수 있고, 기준점보다도 앞에서 예를 들면 이미 소거된 픽처에 대해서 메모리 관리 커맨드를 적용함으로써 생기는 오동작의 발생을 방지할 수 있다.
또, 상기 목적을 달성하기 위해서, 본 발명의 화상 복호화 방법은, 동화상 신호가 픽처 단위로 부호화된 화상 부호화 신호를, 각 픽처에 대해서 소정의 픽처수 단위로 복호화 순으로 할당된 픽처 번호를 이용하여 복호화하는 화상 복호화 방법에 있어서, 소정의 픽처 번호의 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드가 상기 화상 부호 신호 중에 부가되어 있는지의 여부를 판별하는 판별 단계와, 상기 판별 단계에서 메모리 관리 커맨드가 부가되어 있다고 판별되었을 때에는, 상기 메모리 관리 커맨드까지의 화상 부호화 신호에 포함되는 상기 소정의 픽처 번호의 픽처 중에서, 복호화 순으로 상기 메모리 관리 커맨드의 직전에 있는 픽처를 선택하는 선택 단계와, 상기 선택 단계에서 선택된 픽처에 대해서, 상기 메모리 관리 커맨드에 의해 표시되는 관리 내용을 실행하는 실행 단계를 포함하는 것을 특징으로 한다.
이것에 의해, 그 메모리 관리 커맨드에 의해 표시되는 소정의 픽처 번호의 픽처가 복수 있었다고 해도, 직전의 픽처에 대해서 그 메모리 관리 커맨드가 적용되기 때문에, 직전의 픽처를 관리 대상으로 하는 메모리 관리 커맨드를 화상 부호화 장치로부터 재송시킴으로써, 부호화측 및 복호화측에서 그 관리 대상을 일치시킬 수 있어, 화상 부호화 장치측에서 재송된 메모리 관리 커맨드에 기인하는 오동작의 발생을 방지할 수 있다.
또한, 본 발명은, 이와 같은 화상 부호화 방법 및 화상 복호화 방법으로서 실현할 수 있을 뿐만 아니라, 이와 같은 방법을 이용한 화상 부호화 장치 및 화상 복호화 장치로서 실현하거나, 화상 부호화 방법에 의해 부호화된 화상 부호화 스트림이 기록된 기록 매체로서 실현하거나, 화상 부호화 방법 및 화상 복호화 방법에서의 각 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나 할 수도 있다. 그리고, 그와 같은 프로그램은, CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해서 배송할 수 있는 것은 말할 필요도 없다.
도 1은, 본 발명의 실시 형태 1에 따른 화상 부호화 방법을 실현하는 화상 부호화 장치의 구성을 도시하는 블록도이다.
도 2의 (a) 및 (b)는, 모두 본 발명의 실시 형태 1을 설명하기 위해서 이용하는 각 픽처를 도시하는 도면이다.
도 3은, 본 발명의 실시 형태 1에서의 스트림의 편집을 설명하기 위해서 이용하는 각 픽처를 도시하는 도면이다.
도 4는, 본 발명의 실시 형태 1에서의 화상 부호화 장치가 IDR 픽처에 기초하여 메모리 관리 커맨드의 재부호화를 행하는 동작을 도시하는 흐름도이다.
도 5는, 본 발명의 실시 형태 1에서의 화상 부호화 장치가 IDR 픽처 및 최근인지의 여부의 판단에 기초하여 메모리 관리 커맨드의 재부호화를 행하는 동작을 도시하는 흐름도이다.
도 6은, 본 발명의 실시 형태 1에서의 화상 부호화 장치가 화상 부호화 신호의 편집을 행하는 동작을 도시하는 흐름도이다.
도 7은, 본 발명의 실시 형태 1에서의 화상 부호화 장치가, IDR 픽처 및 최근인지의 여부의 판단 및 편집점에 기초하여, 메모리 관리 커맨드의 재부호화를 행하는 동작을 도시하는 흐름도이다.
도 8은, 본 발명의 실시 형태 2에서의 화상 복호화 방법을 실현하는 화상 복호화 장치의 구성을 도시하는 블록도이다.
도 9는, 본 발명의 실시 형태 2에서의 화상 복호화 장치가, 최근인지의 여부의 판단에 기초하여 메모리 관리 커맨드를 취급하는 동작을 도시하는 흐름도이다.
도 10은, 본 발명의 실시 형태 2에서의 화상 복호화 장치가, IDR 픽처 및 최근인지의 여부의 판단에 기초하여, 메모리 관리 커맨드를 취급하는 동작을 도시하는 흐름도이다.
도 11은, 본 발명의 실시 형태 2에서의 화상 복호화 장치가, IDR 픽처 및 편집점 및 최근인지의 여부의 판단에 기초하여, 메모리 관리 커맨드를 취급하는 동작을 도시하는 흐름도이다.
도 12의 (a) 및 (b) 및 (c)는, 본 발명의 실시 형태 3에서의 기억 매체에 대한 설명도이다.
도 13은, 본 발명의 실시 형태 4에서의 콘텐츠 공급 시스템의 전체 구성을 도시하는 블록도이다.
도 14는, 본 발명의 실시 형태 4에서의 휴대 전화의 일례를 도시하는 외관도이다.
도 15는, 본 발명의 실시 형태 4에서의 휴대 전화의 구성을 도시하는 블록도이다.
도 16은, 본 발명의 실시 형태 4에서의 디지털 방송용 시스템의 구성을 도시하는 구성도이다.
이하, 본 발명의 실시 형태에 대해서, 도면을 이용하여 설명한다.
(실시 형태 1)
도 1은, 본 실시 형태에서의 화상 부호화 방법을 실현하기 위한 화상 부호화 장치의 구성을 도시하는 블록도이다.
화상 부호화 장치(100)는, 메모리 정보 제어부(101)와, 단시간 보존 메모리 관리부(102)와, 장시간 보존 메모리 관리부(103)와, 비보존 메모리 관리 정보부(104)와, 관리 정보 부호화부(105)와, 참조 화상 선택부(106)와, 보존 영역 지정부(107)와, 참조 영역 지정부(108)와, 화상 메모리(109)와, 화상 복호화부(111)와, 화상 부호화부(110)와, 가변길이 부호화부(112)와, 카운터(113)와, 카운터(114) 등으로 구성된다.
참조 화상 선택부(106)는 외부로부터 입력되는 중요도 지시 신호(Pri) 및 픽 처 타입 정보(PT)로부터 참조 픽처의 후보를 선택하고, 그 선택 결과를 메모리 정보 제어부(101)에 통지한다.
메모리 정보 제어부(101)는, 픽처 타입 정보(PT)에 의해서 전방 및 후방 중 어느 한쪽의 픽처, 또는 양쪽의 픽처가 참조 가능한지의 여부를 판단한다. 또한, 메모리 정보 제어부(101)는, 참조 영역 지정부(108)에 지령함으로써, 그 판단 결과에 대응하는 참조 픽처를 화상 메모리(109)로부터 화상 부호화부(110)에 출력시킨다.
화상 부호화부(110)는, 화상 메모리(109)로부터 출력되는 참조 픽처를 참조하여 입력 화상 신호(Vin)를 픽처마다 부호화한다. 가변길이 부호화부(112)는, 화상 부호화부(110)로부터의 출력을 더 가변길이 부호화하여 화상 부호화 스트림(VSt)을 출력한다. 또, 가변길이 부호화부(112)는, 화상 부호화 스트림(VSt)이 편집된 경우, 편집된 화상 부호화 스트림(VSt)의 편집점을 나타내는 정보의 부호화도 행한다. 화상 부호화부(110)의 출력은, 또, 화상 복호화부(111)에서 복호화되어 복호화 화상이 되고, 화상 메모리(109)에 참조 픽처로서 격납된다.
이 때, 화상 메모리(109)에서의 복호화 화상의 격납 가능한 메모리 영역은, 보존 영역 지정부(107)로부터의 지시에 의해서 결정된다. 즉, 메모리 정보 제어부(101)는, 단시간 보존 메모리 관리부(102)에 문의하여, 화상 메모리(109) 내의 단시간 보존 메모리에서 픽처가 제거된 메모리 영역을 특정한다. 보존 영역 지정부(107)는, 그 특정된 메모리 영역에 복호화 화상을 기록하도록, 화상 메모리(109)에 대해서 지시를 내린다.
단시간 보존 메모리 관리부(102)는, 단시간 보존 메모리 내의 불필요한(참조되지 않은) 픽처를 검출하여, 그 픽처를 관리 대상으로 하여 이것을 제거(메모리를 개방한다)하도록 지시하는 내용의 메모리 관리 커맨드를 메모리 정보 제어부(101)에 통지한다. 또, 장시간 보존 메모리 관리부(103)는, 단시간 보존 메모리 내의 픽처를 관리 대상으로 하여, 이것을 화상 메모리(109) 내의 장시간 보존 메모리로 이동하도록 지시하는 내용의 메모리 관리 커맨드를 메모리 정보 제어부(101)에 통지한다. 이와 같은 메모리 관리 커맨드는, 관리 정보 부호화부(105)에서 부호화되어, 메모리 관리 정보 스트림(CSt)이 된다. 또, 이와 같은 메모리 관리 정보 스트림(CSt)에 포함되는 메모리 관리 커맨드는, 화상 부호화 스트림(VSt)에 부가되어 화상 복호화 장치에 송신된다.
단시간 보존 메모리용의 카운터(113) 및 장시간 보존 메모리용의 카운터(114)는, 불필요한 픽처의 제거를 지시하는 메모리 관리 커맨드나, 단시간 보존 메모리 내의 픽처를 장시간 보존 메모리로 이동하도록 지시하는 메모리 관리 커맨드의 부호화 횟수를 계측한다.
비보존 메모리 관리 정보부(104)는, 불필요한 픽처의 제거를 지시하는 메모리 관리 커맨드나, 단시간 보존 메모리 내의 픽처를 장시간 보존 메모리로 이동하도록 지시하는 메모리 관리 커맨드가 부호화되어, 화상 부호화 스트림(VSt) 중의 중요도가 낮고 복호화되기 어려운 픽처에 부가되었는지의 여부를 관리한다. 그리고, 비보존 메모리 관리 정보부(104)는, 중요도가 낮은 픽처에 부가되어 있는 경우에는, 메모리 관리 커맨드를 재차 부호화하여 화상 부호화 스트림(VSt)에 부가하도 록 메모리 정보 제어부(101)에 지시한다.
이것에 의해, 화상 부호화 장치(100)는, 필요에 따라서 상기 메모리 관리 커맨드를 복수회 전송함으로써, 메모리 관리 정보 스트림(CSt)의 메모리 관리 커맨드가 전송로 에러에 의해서 소실되는 것을 방지한다.
또한, 메모리 정보 제어부(101)는, 메모리 관리 커맨드의 2회째 이후의 전송시(재송시)에는, 메모리 관리 커맨드를 적용하는 메모리에 보존되어 있는 픽처(관리 대상의 픽처)가, IDR 픽처보다 이전에 부호화되어 있는 픽처인지를 검출하여, IDR 픽처보다 이전에 부호화되어 있는 픽처인 경우에는, 메모리 관리 커맨드를 부호화하고 재송은 하지 않는다. 또, 메모리 정보 제어부(101)는, 동일한 픽처 번호를 갖는(순회하는 번호가 부여되어 있기 때문에) 픽처 중, 관리 대상의 픽처가 부호화 순으로 최근의 픽처인지의 여부를 검출하여, 최근의 픽처인 경우에만 메모리 관리 커맨드를 부호화하여 재송한다. 또한, 메모리 정보 제어부(101)는, 화상 부호화 스트림(VSt)의 편집에 의해 불연속이 된 편집점보다, 관리 대상의 픽처가 부호화 순으로 앞에 있는지의 여부를 검출하여, 편집점보다 앞인 경우에는 메모리 관리 커맨드를 부호화하고 재송은 하지 않는다.
여기에서, 본 실시의 특징에 대해서 설명한다.
도 2의 (a)는, 부호화된 각 픽처를 도시하는 도면이다.
이 도 2의 (a)에 도시하는 바와 같이, 각 픽처에는 부호화 순으로 픽처 번호가 부여되어 있다. 픽처 번호는 미리 정해진 최대값(예를 들면 15)이 되면 다시 0으로 되돌아온다. 이와 같이 픽처 번호는 번호가 순회하고 있다.
현시점에서 부호화되는 픽처(부호화 대상 픽처)가 픽처(A)인 것으로 한다. 본 실시 형태에서는, 픽처(A)보다 이전에 부호화된 픽처에 부수시킨 메모리 관리 커맨드(MMCO)를 재차 부호화하여 픽처(A)의 개소에서 부가하는 경우, 이하와 같이 된다.
픽처(A) 이전에 부호화된 각 픽처를 픽처(B0, B1…B15, C0, C1…C11)로 한다. 픽처(B0∼B15)의 픽처 번호가 0∼15이고, 픽처(C0∼C11의) 픽처 번호는 0∼11이다. 픽처(C0, C1…C11)은, 동일하게 순회한 픽처 번호가 부여된 픽처(B0, B1…B15)에 비해서 부호화된 순서가 픽처(A)에 가깝다. 그래서, 본 실시 형태의 화상 부호화 장치(100)는, 픽처(C0, C1…C11)에 대해서 적용하는 메모리 관리 커맨드를 재차 부호화하여 픽처(A의) 개소에서 부호화하여 전송하지만, 픽처(B0, B1…B15)에 대해서 적용하는 메모리 관리 커맨드는 재차 부호화하지는 않는다.
예를 들면, 픽처 번호 2의 픽처(B2)가 보존된 메모리를 개방하는(재이용 가능하게 한다) 것을 나타내는 메모리 관리 커맨드가 이전에 부호화된 경우에도, 본 실시 형태의 화상 부호화 장치(100)는, 그 메모리 관리 커맨드를 픽처(A)에서 재차 부호화하지 않고, 픽처 번호 2의 픽처(C2)가 보존된 메모리 영역을 개방하는 것을 나타내는 메모리 관리 커맨드가 이전에 부호화된 경우이면, 그 메모리 관리 커맨드를 픽처(A)의 개소에서 재차 부호화(재부가)한다.
이와 같이 함으로써, 화상 복호화 장치는, 메모리 영역의 개방을 지시하는 메모리 관리 커맨드를 복호화하였을 때에, 동일한 픽처 번호 2가 부여된 픽처(B2)와 픽처(C2)가 보존된 메모리 중 어느 것을 개방해야 할지를 일의적(一意的)으로 결정할 수 있다. 즉, 화상 복호화 장치는, 부호화 대상의 픽처(A)와 가장 가까운 시각에 부호화된 픽처(C2)의 보존된 메모리 영역을, 개방해야 할 메모리 영역으로서 특정할 수 있다. 그 결과, 화상 부호화 장치와 화상 복호화 장치에서 메모리의 상태에 불일치가 발생하지 않고, 화상 복호화 장치에서 메모리 관리 커맨드의 재송에 기인하는 오동작이 발생하는 것을 방지할 수 있다.
또한, 본 실시 형태에서의 다른 특징에 대해서 설명한다.
도 2의 (b)는, 도 2의 (a)에서의 픽처(C4)가 IDR 픽처인 경우의 각 픽처를 도시하는 도면이다.
IDR 픽처란, 그 개소로부터 화상 부호화 스트림(VSt)의 복호화를 개시해도 화상 부호화 스트림(VSt)을 정확하게 복호화할 수 있거나, 그 직전에, 화상 부호화 스트림(VSt)의 픽처 레이트 등을 전환해도, IDR 픽처 이후의 스트림을 정확하게 복호화할 수 있는 것을 보증하기 위해서, 도입된 픽처이다. 이 IDR 픽처는, 이것을 넘어서 전방의 픽처의 참조가 행해지지 않도록 하여, 이 IDR 픽처가 부호화되는 시점에서, 메모리 내의 전체 픽처가 개방되어 복호화에 관한 정보가 초기화된다.
본 실시 형태에서는, 현시점에서 부호화되는 픽처(A)보다 이전에 부호화된 픽처에 부수시킨 메모리 관리 커맨드(MMCO)를 재차 부호화하여 픽처(A)의 개소에서 부호화하는 경우, IDR 픽처 이전에 부호화된 픽처에 대해서 적용하는 메모리 관리 커맨드를 재차 부호화하지 않도록 한다.
예를 들면, IDR 픽처인 픽처(C4) 이전의 픽처(C1)가 보존된 메모리를 개방하는(재이용 가능하게 하는) 것을 나타내는 메모리 관리 커맨드가 이전에 부호화된 경우이면, 본 실시 형태의 화상 부호화 장치(100)는, 그 메모리 관리 커맨드를 재차 부호화하지 않는다.
IDR 픽처는, 그 시점에서 메모리에 보존되어 있는 픽처와 픽처 번호를 초기화한다. 그 때문에, 재송하는 메모리 관리 커맨드의 관리 대상이 되는 픽처가, IDR 픽처보다 앞의 픽처인 경우에는, 그 메모리 관리 커맨드가 재송된 시점에서, 이미 화상 복호화 장치의 메모리 내에 그 메모리 관리 커맨드의 관리 대상이 되는 픽처가 존재하지 않는다. 이 때, 화상 복호화 장치에서는, 에러로 인식되어 소실된 픽처가 새롭게 생성되어 메모리에 보존되고, 그 결과, 메모리 내의 다른 픽처가 소실되는 것과 같은 오동작이 생길 가능성이 있다.
그 때문에, 본 실시 형태의 화상 부호화 장치(100)는, IDR 픽처 이전에 부호화된 픽처에 대해서 적용하는 메모리 관리 커맨드를 재차 부호화하지 않도록 함으로써, 오동작의 발생을 방지할 수 있다.
또, 본 실시 형태에서의 또 다른 특징을, 도 3을 이용하여 설명한다.
도 3은, 화상 부호화 스트림(VSt)의 편집을 설명하기 위한 설명도이다.
예를 들면, 이 도 3에 도시하는 바와 같이, 픽처(E0∼E13)를 포함하는 화상 부호화 스트림과 픽처(F0∼F13)를 포함하는 화상 부호화 스트림이, 각각의 도중에서 결합(편집)된다. 또한, 이와 같은 화상 부호화 스트림의 편집은, DVD 등의 편집을 행하는 경우에 행해진다.
픽처(E0∼E13)를 포함하는 화상 부호화 스트림은, 픽처(E11)와 픽처(E12)의 사이에서 분할되고, 픽처(F0∼F13)를 포함하는 화상 부호화 스트림은, 픽처(F11)와 픽처(F12)의 사이에서 분할된다. 픽처(E0∼E11)의 화상 부호화 스트림과 픽처(F12∼F13)의 화상 부호화 스트림이 연결되고, 1개의 화상 부호화 스트림(Y)으로 편집된다. 이와 같이 픽처(E11)와 픽처(F12)가 연결되어 픽처 번호가 불연속이 된 부분을 편집점(H)이라고 부른다.
본 실시 형태의 화상 부호화 장치(100)는, 현시점에서 부호화되는 픽처(F13)보다 이전에 부호화된 픽처에 부수시킨 메모리 관리 커맨드(MMCO)를 재차 부호화하여 픽처(F13)에 부수시키도록 하는 경우, 그 메모리 관리 커맨드의 관리 대상이 되는 픽처가 편집점(H) 이전에 부호화된 픽처인지의 여부를 판별한다. 그리고, 편집점(H) 이전에 부호화된 픽처이면, 화상 부호화 장치(100)는, 그 메모리 관리 커맨드의 재차의 부호화를 금지한다.
예를 들면, 편집점(H) 이전의 픽처(F1)가 보존된 메모리를 개방하는(재이용 가능하게 하는) 것을 나타내는 메모리 관리 커맨드가 이전에 픽처 번호(m-2)의 픽처(F10)에 부수시켜서 부호화된 경우이면, 화상 부호화 장치(100)는, 그 메모리 관리 커맨드를 재차 부호화하지 않는다.
즉, 픽처(F13)를 포함하는 화상 부호화 스트림은, 편집되어 화상 부호화 스트림(Y)으로 되어 있기 때문에, 메모리에 보존되는 픽처에는 편집점(H) 이전의 픽처(F0∼F11)는 메모리 내에 존재하지 않는다. 그래서, 편집점(H) 이전의 픽처인 픽처(F0∼F11)에 적용하는 메모리 관리 커맨드가 재차 부호화되어 버리면, 화상 복호화 장치는, 그 메모리 관리 커맨드의 실행시에, 그 메모리 관리 커맨드를 적용하는 픽처가 존재하지 않기 때문에, 소실된 픽처를 새롭게 생성하여 메모리에 보존하 고, 다른 픽처를 메모리로부터 소거하는 것과 같은 오동작을 행할 가능성이 있다. 따라서, 본 실시 형태의 화상 부호화 장치(100)는, 그와 같은 메모리 관리 커맨드를 재차 부호화하는 것을 금지하는 것이다.
여기에서, 본 실시 형태의 화상 부호화 장치(100)의 동작을 설명한다.
도 4는, 본 실시 형태의 화상 부호화 장치(100)가 IDR 픽처에 기초하여 메모리 관리 커맨드의 재부호화를 행하는 동작을 도시하는 흐름도이다.
우선, 화상 부호화 장치(100)의 화상 부호화부(110)는, 입력 화상 신호(Vin)의 부호화를 개시한다(단계 S100). 단시간 보존 메모리 관리부(102) 및 장시간 보존 메모리 관리부(103)는, 화상 부호화부(110)의 부호화 처리 중, 메모리 내에서 불필요한 영역(금후의 부호화에서 참조되지 않은 픽처)을 조사하여(단계 S101), 불필요한 메모리 영역이 있는지의 여부를 판정한다(단계 S102). 여기에서, 단시간 보존 메모리 관리부(102) 및 장시간 보존 메모리 관리부(103)가 불필요한 메모리 영역이 있다고 판정하였을 때에는(단계 S102의 Yes), 화상 부호화 장치(100)의 관리 정보 부호화부(105)는, 불필요한 메모리 영역을 개방하도록 지시하는 메모리 관리 커맨드를 부호화한다(단계 S103). 그리고, 단시간 보존 메모리 관리부(102) 및 장시간 보존 메모리 관리부(103)는, 그 불필요한 메모리 영역을 개방한다(단계 S104). 또, 단시간 보존 메모리 관리부(102) 및 장시간 보존 메모리 관리부(103)에 의해서 불필요한 메모리 영역이 없다고 판정되었을 때에는(단계 S102의 No), 화상 부호화 장치(100)는, 단계 S103, S104의 동작을 실행하지 않는다.
다음에, 메모리 정보 제어부(101)는, 비보존 메모리 관리 정보부(104)의 동 작에 기초하여, 불필요한 메모리 영역을 개방하도록 지시하는 메모리 관리 커맨드가 부호화되어, 이전에 부호화한 픽처(부호화 대상 픽처보다 앞의 픽처)에 부가되어 있는지의 여부를 판정하고(단계 S105), 메모리 관리 커맨드가 부호화되어 있지 않다고 판정한 경우에는(단계 S105의 No), 화상 부호화 장치(100)는 처리를 종료한다.
한편, 메모리 관리 커맨드가 부호화되어 있다고 판정한 경우에는(단계 S105의 Yes), 메모리 정보 제어부(101)는, 메모리 관리 커맨드의 관리 대상이 되는 픽처(개방된 불필요한 메모리 영역에 보존되어 있었던 픽처)가 IDR 픽처보다 부호화 순으로 앞에 있는지의 여부를 판정한다(단계 S106). 여기에서, 메모리 정보 제어부(101)는, 앞에 있다고 판정하였을 때에는(단계 S106의 Yes), 메모리 관리 커맨드를 재부호화(재부가)하지 않고 처리를 종료하고, 앞에는 없다고 판정하였을 때에는(단계 S106의 No), 메모리 관리 커맨드를 재부호화(재부가)하여(단계 S107), 처리를 종료한다.
도 5는, 본 실시 형태의 화상 부호화 장치(100)가 IDR 픽처 및 최근인지의 여부의 판단에 기초하여 메모리 관리 커맨드의 재부호화를 행하는 동작을 도시하는 흐름도이다.
화상 부호화 장치(100)는, 우선, 도 4에 나타내는 단계 S100∼S106과 동일한 동작을 실행한다(단계 S200∼S206).
메모리 정보 제어부(101)는, 메모리 관리 커맨드의 관리 대상이 되는 픽처가 IDR 픽처보다도 앞에는 없다고 판정하였을 때에는(단계 S206의 No), 또한, 관리 대 상의 픽처와 동일한 픽처 번호가 부여된 픽처 중, 관리 대상의 픽처가 최근의 픽처인지를 판정한다(단계 S207). 즉, 메모리 정보 제어부(101)는, 관리 대상의 픽처와 동일한 픽처 번호가 부여된 픽처 중에서, 그 관리 대상의 픽처가 부호화 순으로, 화상 부호화 스트림(VSt) 중의 메모리 관리 커맨드가 재부가될 예정의 부위의 직전에 있는지의 여부를 판정한다.
그 결과, 메모리 정보 제어부(101)는, 최근의 픽처가 아니라고 판정하였을 때에는(단계 S207의 No), 메모리 관리 커맨드를 재부호화(재부가)하지 않고 처리를 종료하고, 최근의 픽처라고 판정하였을 때에는(단계 S207의 Yes), 메모리 관리 커맨드를 재부호화(재부가)하여(단계 S208), 처리를 종료한다.
도 6은, 본 실시 형태의 화상 부호화 장치(100)가 화상 부호화 신호의 편집을 행하는 동작을 도시하는 흐름도이다.
우선, 화상 부호화 장치(100)는, 화상 부호화 스트림(VSt)의 편집을 행한다(단계 S300).
다음에, 화상 부호화 장치(100)의 메모리 정보 제어부(101)는, 메모리 관리 커맨드가 부호화되어, 편집 후의 화상 부호화 스트림(VSt)에 부가되어 있는지의 여부를 판별한다(단계 S301).
여기에서, 메모리 관리 커맨드가 부호화되어 있다고 판별하였을 때에는(단계 S301의 Yes), 화상 부호화 장치(100)는, 또한, 그 메모리 관리 커맨드의 관리 대상이 되는 픽처가 부호화 순으로 편집점보다도 앞에 있는지의 여부를 판별한다(단계 S302).
한편, 단계 S301에서 메모리 관리 커맨드가 부호화(부가)되어 있지 않다고 판별되었을 때나(단계 S301의 No), 단계 S302에서 관리 대상의 픽처가 편집점보다도 앞에 있다고 판별되었을 때에는(단계 S302의 Yes), 화상 부호화 장치(100)는, 그 화상 부호화 스트림(VSt)의 편집 처리를 종료한다.
또, 화상 부호화 장치(100)의 메모리 정보 제어부(101)는, 단계 S302에서 관리 대상의 픽처가 편집점보다도 앞에는 없다고 판별하였을 때에는(단계 S302의 No), 다시 그 메모리 관리 커맨드를 관리 정보 부호화부(105)에 부호화시켜, 화상 부호화 스트림(VSt)에 재부가시킨다(단계 S303).
도 7은, 본 실시 형태의 화상 부호화 장치(100)가, IDR 픽처 및 최근인지의 여부의 판단 및 편집점에 기초하여, 메모리 관리 커맨드의 재부호화를 행하는 동작을 도시하는 흐름도이다.
화상 부호화 장치(100)는, 우선, 도 5에 도시하는 단계 S200∼S207과 동일한 동작을 실행한다(단계 S400∼S407).
메모리 정보 제어부(101)는, 메모리 관리 커맨드의 관리 대상의 픽처가 최근의 픽처가 아니라고 판정하였을 때에는(단계 S407의 No), 처리를 종료하지만, 최근의 픽처라고 판정하였을 때에는(단계 S407의 Yes), 또한, 그 메모리 관리 커맨드의 관리 대상이 되는 픽처가 부호화 순으로 편집점보다도 앞에 있는지의 여부를 판별한다(단계 S408).
메모리 정보 제어부(101)는, 편집점보다도 앞에 있다고 판별하였을 때에는(단계 S408의 Yes), 처리를 종료하고, 편집점보다도 앞에는 없다고 판별하였을 때에 는(단계 S408의 No), 메모리 관리 커맨드를 재부호화(재부가)하여(단계 S409), 처리를 종료한다.
이상과 같이, 본 실시 형태에서는, 메모리 영역을 개방(그 메모리 영역의 픽처를 제거한다)하도록 지시하는 메모리 관리 커맨드를 반복하여 부호화하고 있기 때문에, 1개의 메모리 관리 커맨드가 전송로 에러로 소실되어도, 다른 메모리 관리 커맨드가 화상 복호화 장치로 그 지시 내용을 전달하기 때문에, 전송로 에러가 있어도 화상 복호화 장치에서 픽처를 정확하게 복호할 수 있다.
또한, 본 실시 형태의 화상 부호화 장치(100)는, 메모리 관리 커맨드를 적용하는 대상의 픽처가, 편집점보다 앞인 경우나, IDR 픽처보다 앞인 경우나, 최근의 픽처가 아닌 경우에는, 메모리 관리 커맨드를 재부호화하지 않기 때문에, 화상 복호화 장치에서, 메모리 관리 커맨드가 실행될 때에, 메모리 관리 커맨드의 관리 대상의 픽처가 존재하지 않는 등의 이유에 의해 생기는 오동작을 방지한다.
또한, 본 실시 형태에서는, 불필요한 메모리를 개방하도록 지시하는 내용의 메모리 관리 커맨드를 예로 들어서 설명하였지만, 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드이면, 단시간 보존 메모리에 보존되어 있는 픽처를 장시간 보존 메모리로 이동시키도록 지시하는 내용의 메모리 관리 커맨드이어도 된다.
또, 본 실시 형태에서는, 메모리 관리 커맨드의 관리 대상으로 하는 픽처가 부호화 순으로 IDR 픽처보다도 앞에 있을 때에, 그 메모리 관리 커맨드의 재송을 금지하였지만, 관리 대상의 픽처가 부호화 순으로 메모리 초기화 커맨드보다도 앞 에 있을 때에, 재송을 금지해도 된다. 이 메모리 초기화 커맨드는, 메모리에 보존되어 있는 전체 픽처를 소거하여 메모리를 초기화하여, 픽처 번호를 0으로 리셋하도록 지시하는 커맨드이다.
또한, 도 7의 흐름도에서는, 화상 부호화 장치(100)가 단계 S406, 단계 S407, 단계 S408의 처리를 이 순서로 모두 실행하는 것으로 하여 설명하였지만, 이들의 단계는 순서 부동으로 실행의 순서를 교체해도 되고, 또 실현 간단화를 위해서 일부의 단계를 생략해도 된다.
또한, 도 4∼도 7의 흐름도에서는, 재송이 아닌 메모리 관리 커맨드를, 재송하는 메모리 관리 커맨드보다도 먼저 부호화하는 예를 도시하였지만, 이 부호화의 순서를 반대로 하여, 재송하는 메모리 관리 커맨드를 먼저 부호화한 후, 재송이 아닌 메모리 관리 커맨드를 부호화해도 된다.
(실시 형태 2)
다음에, 본 발명의 실시 형태 2에 대해서 설명한다.
도 8은, 실시 형태 2에서의 화상 복호화 방법을 실현하기 위한 화상 복호화 장치의 블록도이다.
화상 복호화 장치(200)는, 메모리 정보 제어부(201)와, 단시간 보존 메모리 관리부(202)와, 장시간 보존 메모리 관리부(203)와, 관리 정보 복호화부(205)와, 보존 영역 지정부(207)와, 참조 영역 지정부(208)와, 화상 메모리(209)와, 화상 복호화부(210)와, 가변길이 복호화부(212) 등으로 구성된다.
메모리 정보 제어부(201)는, 픽처 타입 정보(PT)에 기초하여, 복호화 화상의 픽처에 대해서 전방 및 후방 중 어느 한쪽의 픽처, 또는 양쪽의 픽처가 참조 가능한지의 여부를 판단한다. 또한 메모리 정보 제어부(201)는, 참조 영역 지정부(208)에 지령하여, 그 판단 결과에 대응하는 참조 픽처를 화상 메모리(209)로부터 화상 복호화부(210)에 출력시킨다.
가변길이 복호화부(212)는, 화상 부호화 스트림(VSt)을 가변길이 복호화한다. 화상 복호화부(210)는, 가변길이 복호화부(212)로부터의 출력을 더욱 복호화하여 복호 화상 신호(Vout)를 출력하고, 그 출력을 화상 메모리(209)에 참조 픽처로서 격납한다.
이 때, 화상 메모리(209)에서의 참조 픽처의 격납 가능한 메모리 영역은, 보존 영역 지정부(207)로부터의 지시에 의해서 결정된다. 즉, 메모리 정보 제어부(201)는, 단시간 보존 메모리 관리부(202)에 문의하여, 화상 메모리(209) 내의 단시간 보존 메모리에서 픽처의 제거된 메모리 영역을 특정한다. 보존 영역 지정부(207)는, 그 특정된 메모리 영역에 참조 픽처를 기록하도록, 화상 메모리(209)에 대해서 지시를 내린다.
편집 검출부(215)는, 가변길이 복호화부(212)의 출력에 기초하여, 화상 부호화 스트림(VSt)의 편집점을 검출하고, 그 편집점을 나타내는 정보를 메모리 정보 제어부(201)에 출력한다.
관리 정보 복호화부(205)는, 메모리 관리 정보 스트림(CSt)을 복호화하고, 메모리 정보 제어부(201)를 통해서, 단시간 보존 메모리 내의 불필요한(참조되지 않은) 픽처를 제거하도록 지시하는 내용의 메모리 관리 커맨드를, 단시간 보존 메 모리 관리부(202)에 통지한다. 또, 관리 정보 복호화부(205)는, 단시간 보존 메모리 내의 픽처를 화상 메모리(209) 내의 장시간 보존 메모리로 이동하도록 지시하는 메모리 관리 커맨드를, 장시간 보존 메모리 관리부(203)에 통지한다.
여기에서, 메모리 정보 제어부(201)는, 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처가 IDR 픽처보다도 복호화 순으로 앞에 있으면, 그 메모리 관리 커맨드를 무효로 한다. 또, 메모리 정보 제어부(201)는, 그 메모리 관리 커맨드의 관리 대상이 되는 픽처가 편집점보다도 복호화 순으로 앞에 있으면, 그 메모리 관리 커맨드를 무효로 한다. 또, 메모리 정보 제어부(201)는, 그 메모리 관리 커맨드에 의해 표시되는 픽처 번호와 동일한 픽처 번호가 부여된 픽처 중, 최근에 복호화된 픽처를 관리 대상으로 하여, 그 픽처에 대해서 메모리 관리 커맨드의 관리 내용을 적용한다.
이와 같은 본 실시 형태의 화상 복호화 장치(200)의 특징에 대해서, 실시 형태 1에서 이용한 도 2의 (b)를 이용하여 설명한다.
예를 들면, 화상 복호화 장치(200)는, 복호화된 메모리 관리 커맨드가 재송된 것으로서, IDR 픽처(C4) 이전에 복호화된 픽처(예를 들면 C1)가 보존된 메모리 영역을 개방(재이용 가능하게 한다)하도록 지시하는 것과 같은 경우에는, 이 메모리 관리 커맨드를 무효로 한다. 즉, 화상 복호화 장치(200)는, 이 메모리 관리 커맨드에 의해 지시되는 관리 내용을 픽처(C1)에 대해서 실행하지 않는다.
IDR 픽처는, 그 복호화의 시점에서 메모리에 보존되어 있는 픽처를 초기화한다. 그 때문에, 재송하는 메모리 관리 커맨드의 관리 대상이 되는 픽처가, IDR 픽 처보다 앞의 픽처인 경우에는, 그 재송된 메모리 관리 커맨드를 실행하는 시점에서, 이미 화상 복호화 장치의 메모리 내에 그 메모리 관리 커맨드의 관리 대상이 되는 픽처가 존재하지 않는 사태가 발생한다. 이 때, 화상 복호화 장치에서는, 에러로 인식되어 소실된 픽처가 새롭게 생성되어 메모리에 보존되고, 그 결과, 메모리 내의 다른 픽처가 소실되는 것과 같은 오동작이 생길 가능성이 있다.
그 때문에, 본 실시 형태의 화상 복호화 장치(200)는, IDR 픽처 이전에 복호화된 픽처를 관리 대상으로 하는 메모리 관리 커맨드가 재송되어도, 그 메모리 관리 커맨드의 재송은 에러로 간주하여, 그 메모리 관리 커맨드의 관리 내용을 실행하지 않는다. 이것에 의해, 상술한 바와 같은 오동작을 방지할 수 있다.
실시 형태 1의 화상 부호화 장치(100)는, 이와 같은 메모리 관리 커맨드를 재송하지 않도록 화상 부호화 스트림을 생성하기 때문에, 종래의 화상 복호화 장치이어도, 이 화상 부호화 스트림을, 상술한 바와 같은 오동작을 발생시키지 않고 복호화할 수 있다. 그러나, 종래의 화상 복호화 장치는, 종래의 화상 부호화 장치에서 생성된 화상 부호화 스트림을 복호화할 때에는, 상술한 바와 같은 오동작을 해 버린다. 그래서, 본 실시 형태의 화상 복호화 장치는, 종래의 화상 부호화 장치에서 생성된 화상 부호화 스트림이어도, 오동작을 발생시키지 않고 이것을 복호화할 수 있는 것이다.
본 실시 형태에서의 다른 특징을 설명한다.
또, 본 실시 형태의 화상 복호화 장치(200)는, 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처의 픽처 번호와 동일한 픽처 번호가 부여된 픽처 중, 최근에 복호화된 픽처에 그 메모리 관리 커맨드를 적용한다. 이와 같은 동작은, 화상 부호화 장치와 화상 복호화 장치에서 일치시킬 필요가 있다. 따라서, 실시 형태 1의 화상 부호화 장치(100)가, 이와 같이 최근의 픽처를 관리 대상으로 하지 않는 메모리 관리 커맨드의 재송을 금지하여 화상 부호화 스트림을 작성한 경우이어도, 본 실시 형태의 동작은 필요하다.
이와 같은 본 실시 형태의 화상 복호화 장치(200)의 특징에 대해서, 실시 형태 1에서 이용한 도 2의 (a)를 이용하여 설명한다.
화상 복호화 장치(200)는, 복호화한 메모리 관리 커맨드가 재송된 것으로, 예를 들면, 픽처 번호 2인 픽처가 보존된 메모리 영역을 개방하도록 지시하는 메모리 관리 커맨드인 경우, 복호화 순이 현시점에 가장 가까운 픽처(C2)의 보존된 메모리 영역을 개방하고, 픽처(B2)의 보존된 메모리를 개방하지 않는다.
이것에 의해, 본 실시 형태의 화상 복호화 장치(200)는, 픽처 번호 2의 픽처가 보존된 메모리 영역을 개방하는 것을 나타내는 메모리 관리 커맨드를 복호화하였을 때에, 동일한 픽처 번호 2가 부여된 픽처(B2)와 픽처(C2)의 각각이 보존된 메모리 영역 중 어느 것을 개방하면 되는지를 용이하게 판단할 수 있다. 즉, 화상 복호화 장치(200)는, 복호화 대상의 픽처(A)와 가장 가까운 시각에 복호화된 픽처(C2)의 보존된 메모리 영역을, 개방하는 메모리 영역으로서 특정할 수 있다. 여기에서, 픽처(C2)는, 픽처 번호 2의 픽처 중, 재송된 메모리 관리 커맨드의 복호화 순으로 직전의 픽처이다.
또, 본 실시 형태의 화상 복호화 장치(200)는, 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처가 편집점보다 앞에 복호화되어 있으면, 그 메모리 관리 커맨드를 그 픽처에 대해서 적용하지 않는다.
이와 같은 본 실시 형태의 화상 복호화 장치(200)의 특징적인 동작에 대해서, 도 3을 이용하여 설명한다.
화상 복호화 장치(200)는, 복호화한 메모리 관리 커맨드가 재송된 것으로, 메모리 관리 커맨드가 적용되는 대상의 메모리에 보존된 픽처가 편집점(H) 이전에 복호화된 픽처인 경우에는, 그 메모리 관리 커맨드의 관리 내용을 실행하지 않는다.
예를 들면, 복호화된 메모리 관리 커맨드가, 재송된 메모리 관리 커맨드이고, 편집점(H)보다 앞의 픽처(F1)의 보존된 메모리 영역을 개방하도록 지시하는 경우에는, 그 메모리 영역의 개방을 실행하지 않는다.
즉, 픽처(F13)를 포함하는 화상 부호화 스트림은, 편집되어 화상 부호화 스트림(Y)으로 되어 있기 때문에, 메모리에 보존되는 픽처에는 편집점(H) 이전의 픽처(F0∼F11)는 메모리 내에 존재하지 않는다. 그래서, 가령, 화상 복호화 장치가, 편집점(H) 이전의 픽처인 픽처(F0∼F11)에 적용하는 메모리 관리 커맨드를 실행해 버리면, 그 메모리 관리 커맨드의 실행시에, 관리 대상의 픽처가 메모리에 존재하지 않기 때문에, 소실된 픽처를 새롭게 생성하여 메모리에 보존하고, 다른 픽처를 메모리로부터 소거하는 것과 같은 오동작을 행할 가능성이 있다. 또, 가령, 그 메모리 관리 커맨드의 실행시에 실행 대상의 픽처와 동일 픽처 번호의 픽처가 메모리에 존재한다면, 본래 적용되지 않은(메모리 관리 커맨드로 조작되지 않은) 픽처에 대해서 잘못 메모리 관리 커맨드가 적용되게 되어, 편집점보다 뒤의 화상 부호화 스트림을 정확하게 복호화할 수 없게 될 가능성이 있다. 따라서, 본 실시 형태의 화상 복호화 장치(200)는, 편집점보다 앞에 있는 픽처를 관리 대상으로 하는 메모리 관리 커맨드를 실행하지 않는 것이다.
여기에서, 본 실시 형태의 화상 복호화 장치(200)의 동작을 설명한다.
도 9는, 본 실시 형태의 화상 복호화 장치(200)가, 최근인지의 여부의 판단에 기초하여 메모리 관리 커맨드를 취급하는 동작을 도시하는 흐름도이다.
우선, 화상 복호화 장치(200)의 관리 정보 복호화부(205)는, 메모리 관리 정보 스트림(CSt) 중에 포함되는 메모리 관리 커맨드를 복호화한다(단계 S500). 이 메모리 관리 커맨드의 복호화 단계(단계 S500)에서는, 재송된 메모리 관리 커맨드와, 처음으로 수신한(재송이 아니다) 메모리 관리 커맨드의 양쪽의 복호화를 행한다. 다음에, 가변길이 복호화부(212) 및 화상 복호화부(210)는, 화상 부호화 스트림(VSt)을 복호화한다(단계 S501).
다음에, 메모리 정보 제어부(201)는, 복호화된 메모리 관리 커맨드에, 재송된 메모리 관리 커맨드(예를 들면, 불필요한 메모리를 개방하도록 지시하는 내용의 메모리 관리 커맨드)가 있는지의 여부를 판정한다(단계 S502). 재송된 메모리 관리 커맨드가 없다고 판정하였을 때에는(단계 S502의 No), 메모리 정보 제어부(201)는, 재송이 아닌 다른 메모리 관리 커맨드를 실행한다(단계 S503). 한편, 재송된 메모리 관리 커맨드가 있다고 판정하였을 때에는(단계 S502의 Yes), 메모리 정보 제어부(201)는, 재송된 메모리 관리 커맨드를, 그 메모리 관리 커맨드에 의해 표시 되는 픽처 번호와 동일한 픽처 번호가 부여된 픽처 중, 복호화 순으로 최근의 픽처에 대해서 실행한다(단계 S504). 즉, 메모리 정보 제어부(201)는, 화상 부호화 스트림(VSt)의 메모리 관리 커맨드까지 복호화 순으로 포함되어 있었던 상기 픽처 번호의 픽처 중, 메모리 관리 커맨드의 직전에 있는 픽처에 대해서 그 메모리 관리 커맨드를 실행한다.
도 10은, 본 실시 형태의 화상 복호화 장치(200)가, IDR 픽처 및 최근인지의 여부의 판단에 기초하여, 메모리 관리 커맨드를 취급하는 동작을 도시하는 흐름도이다.
화상 복호화 장치(200)는, 도 9에 나타내는 단계 S500∼S503과 동일한 동작을 실행한다(단계 S600∼S603).
화상 복호화 장치(200)의 메모리 정보 제어부(201)는, 단계 S602에서, 재송된 메모리 관리 커맨드가 있다고 판별하였을 때에는(단계 S602의 Yes), 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처가 IDR 픽처보다 앞에 복호화된 픽처인지의 여부를 판정한다(단계 S604). 이 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처란, 재송된 메모리 관리 커맨드가 예를 들면 불필요한 메모리 영역을 개방(재이용 가능하게 한다)하도록 지시하는 커맨드인 경우, 그 개방되는 메모리 영역에 보존된 픽처인 것이다.
여기에서, 메모리 정보 제어부(201)는, IDR 픽처보다 앞인 것으로 판정하였을 때에는(단계 S604의 Yes), 재송된 메모리 관리 커맨드를 실행하지 않고, 처리를 종료한다. 한편, IDR 픽처보다 앞이 아니라고 판정하였을 때에는(단계 S604의 No), 메모리 정보 제어부(201)는, 도 9에 나타내는 단계 S504와 동일하게, 재송된 메모리 관리 커맨드에 의해 표시되는 픽처 번호와 동일한 픽처 번호가 부여된 픽처 중, 복호화 순으로 최근의 픽처에 대해서 그 메모리 관리 커맨드를 실행하여(단계 S605), 처리를 종료한다.
도 11은, 본 실시 형태의 화상 복호화 장치(200)가, IDR 픽처 및 편집점 및 최근인지의 여부의 판단에 기초하여, 메모리 관리 커맨드를 취급하는 동작을 도시하는 흐름도이다.
화상 복호화 장치(200)는, 도 10에 나타내는 단계 S600∼S604와 동일한 동작을 실행한다(단계 S700∼S704).
화상 복호화 장치(200)의 메모리 정보 제어부(201)는, 단계 S704에서, 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처가 IDR 픽처보다도 복호화 순으로 앞에는 없다고 판정하였을 때에는(단계 S704의 No), 또한, 그 관리 대상이 되는 픽처가 편집점보다도 복호화 순으로 앞에 있는지의 여부를 판정한다(단계 S705). 즉, 메모리 정보 제어부(201)는, 관리 대상이 되는 픽처가 편집점보다 앞에 복호화된 픽처인지의 여부를 판정한다.
여기에서, 메모리 정보 제어부(201)는, 편집점보다도 앞에 있다고 판정하였을 때에는(단계 S705의 Yes), 재송된 메모리 관리 커맨드를 실행하지 않고 처리를 종료한다. 한편, 편집점보다 앞에는 없다고 판정하였을 때에는(단계 S705의 No), 메모리 정보 제어부(201)는, 도 9에 나타내는 단계 S504와 동일하게, 재송된 메모리 관리 커맨드에 의해 표시되는 픽처 번호와 동일한 픽처 번호가 부여된 픽처 중, 복호화 순으로 최근의 픽처에 대해서 그 메모리 관리 커맨드를 실행하여(단계 S706), 처리를 종료한다.
이상과 같이, 본 실시 형태의 화상 복호화 장치(200)는, 재송된 메모리 관리 커맨드의 관리 대상이 되는 픽처가, 편집점보다 앞인 경우나, IDR 픽처보다 앞인 경우에는, 그 메모리 관리 커맨드를 적용(실행)하지 않기 때문에, 메모리 관리 커맨드의 관리 대상이 되는 픽처가 존재하지 않는 것에 기인하는 오동작의 발생을 방지할 수 있다.
또, 본 실시 형태의 화상 복호화 장치(200)는, 동일한 픽처 번호가 부여된 픽처 중, 현시점의 부호화 대상 픽처까지의 최근의 픽처에 대해서 메모리 관리 커맨드를 적용하기 때문에, 관리 대상의 픽처를 확실하게 특정할 수 있다.
또한, 본 실시 형태에서는, 불필요한 메모리를 개방하도록 지시하는 내용의 메모리 관리 커맨드를 예로 들어서 설명하였지만, 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드이면, 단시간 보존 메모리에 보존되어 있는 픽처를 장시간 보존 메모리로 이동시키도록 지시하는 내용의 메모리 관리 커맨드이어도 된다.
또, 본 실시 형태에서는, 재송된 메모리 관리 커맨드의 관리 대상으로 하는 픽처가 부호화 순으로 IDR 픽처보다도 앞에 있을 때에, 그 메모리 관리 커맨드의 적용을 금지하였지만, 관리 대상의 픽처가 부호화 순으로 메모리 초기화 커맨드보다도 앞에 있을 때에, 적용을 금지해도 된다. 이 메모리 초기화 커맨드는, 메모리에 보존되어 있는 전체 픽처를 소거하여 메모리를 초기화하여, 픽처 번호를 0으로 리셋하도록 지시하는 커맨드이다.
또한, 도 11의 흐름도에서는 단계 S704, 단계 S705, 단계 S706을 이 순서로 모두 실행하는 것으로서 설명하였지만, 이들의 단계는 순서 부동으로 실행의 순서를 교체해도 되고, 또 실현 간단화를 위해서 일부의 단계를 생략해도 된다.
(실시 형태 3)
다음에, 본 발명의 실시 형태 3에 대해서 설명한다.
본 실시 형태에서는, 또한, 실시 형태 1과 실시 형태 2에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 실시 형태에서 나타낸 처리를, 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.
도 12는, 상기 실시 형태의 화상 부호화 방법 또는 화상 복호화 방법을 격납한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 12의 (b)는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 12의 (a)는, 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD1)는 케이스 내에 내장되고, 이 디스크의 표면에는, 동심원 형상으로 외주로부터 내주를 향해서 복수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD1) 상이 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.
또, 도 12의 (c)는, 플렉시블 디스크(FD1)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD1)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉시블 디스크 드라이브(FDD)를 통해서 기입한다. 또, 플렉시블 디스크(FD1) 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템 중에 구축하는 경우에는, 플렉시블 디스크 드라이브(FDD)에 의해 프로그램을 플렉시블 디스크(FD1)로부터 독출하여 컴퓨터 시스템(Cs)에 전송한다.
또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
또, 상기 실시 형태에 나타낸 화상 부호화 방법·화상 복호화 방법은, 휴대 전화나 카 네비게이션 시스템 등의 이동체 통신 기기나 디지털 비디오 카메라나 디지털 스틸 카메라 등의 촬영 기기에 LSI 등의 반도체에 의해서 실장하는 것이 가능하다. 또, 실장 형식으로서는, 부호화기·복호화기를 양쪽 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류를 생각할 수 있다.
또한 여기에서, 상기 실시 형태에서 나타낸 화상 부호화 방법이나 화상 복호화 방법의 응용예와 그것을 이용한 시스템을 설명한다.
도 13은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.
이 콘텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex107∼ex110)을 통해서, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 카메라가 부착된 휴대 전화(ex115) 등의 각 기기가 접속된다.
그러나, 콘텐츠 공급 시스템(ex100)은 도 13과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이라도 상관없다.
또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 유저가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또, 카메라(116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행해도 컴퓨터(ex111)로 행해도 어느 쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착해도 된다. 또한, 카메라가 부착된 휴대 전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI로 부호화 처리된 데이터이다.
이 콘텐츠 공급 시스템(ex100)에서는, 유저가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하고 복호화하여, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.
이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 화상 부호화 장치 또는 화상 복호화 장치를 이용하도록 하면 된다.
그 일례로서 휴대 전화에 대해서 설명한다.
도 14는, 상기 실시 형태에서 설명한 화상 부호화 방법과 화상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.
또한, 휴대 전화(ex115)에 대해서 도 15를 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동 기 버스(ex313)를 통해서 서로 접속되어 있다.
전원 회로부(ex310)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 베터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.
휴대 전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다. 또 휴대 전화기(ex115)는 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.
또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부 (ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.
데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는, 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성으로, 카메라부(ex203)에서 공급된 화상 데이터를 상기 실시 형태에서 나타낸 화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.
다중 분리부(ex308)는 화상 부호화부(ex312)에서 공급된 부호화 화상 데이터와 음성 처리부(ex305)에서 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 송신한다.
데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데 이터를 다중 분리부(ex308)에 송출한다.
또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 버스(ex313)를 통해서 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.
다음에, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성으로, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하여, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 16에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 화상 부호화 장치 또는 화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은 방송용의 전파를 발신하여, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)에서 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 판독하여, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 화상 복호화 장치를 실장하여, 이것을 텔레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex415)로 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.
또한, 화상 신호를 상기 실시 형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록할 수도 있다. 구체적으로는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 리코더(ex420)가 상기 실시 형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.
또, 카 네비게이션(ex413)의 구성은 예를 들면 도 15에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다.
또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기·복호화기를 양쪽 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 실장 형식을 생각할 수 있다.
이와 같이, 상기 실시 형태에서 나타낸 화상 부호화 방법 혹은 화상 복호화 방법을 상술한 어느 기기·시스템에 이용하는 것은 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.
또, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않는 범위 내에서 다양한 변형 또는 수정이 가능하다.
본 발명에 따른 화상 부호화 방법 및 화상 복호화 방법은, 커맨드의 재송에 기인하는 오동작의 발생을 방지할 수 있고, 본 화상 부호화 방법으로 화상을 부호화하는 예를 들면 비디오 카메라나 녹화 기능을 갖는 휴대 전화 등의 화상 부호화 장치나, 본 화상 복호화 방법으로 부호화 신호를 복호화하는 퍼스널 컴퓨터나 휴대 전화 등의 화상 복호화 장치에 적용할 수 있다.

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 동화상 신호가 픽처 단위로 부호화된 화상 부호화 신호를, 각 픽처에 대해서 소정의 픽처수 단위로 복호화 순으로 할당된 픽처 번호를 이용하여 복호화하는 화상 복호화 방법에 있어서,
    소정의 픽처 번호의 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드가 상기 화상 부호 신호 중에 부가되어 있는지의 여부를 판별하는 판별 단계와,
    상기 판별 단계에서 메모리 관리 커맨드가 부가되어 있다고 판별되었을 때에는, 상기 메모리 관리 커맨드까지의 화상 부호화 신호에 포함되는 상기 소정의 픽 처 번호의 픽처 중에서, 복호화 순으로 상기 메모리 관리 커맨드의 직전에 있는 픽처를 선택하는 선택 단계와,
    상기 선택 단계에서 선택된 픽처에 대해서, 상기 메모리 관리 커맨드에 의해 표시되는 관리 내용을 실행하는 실행 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 동화상 신호가 픽처 단위로 부호화된 화상 부호화 신호를, 각 픽처에 대해서 소정의 픽처수 단위로 복호화 순으로 할당된 픽처 번호를 이용하여 복호화하는 화 상 복호화 장치에 있어서,
    소정의 픽처 번호의 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드가 상기 화상 부호 신호 중에 부가되어 있는지의 여부를 판별하는 판별 수단과,
    상기 판별 수단으로 메모리 관리 커맨드가 부가되어 있다고 판별되었을 때에는, 상기 메모리 관리 커맨드까지의 화상 부호화 신호에 포함되는 상기 소정의 픽처 번호의 픽처 중에서, 복호화 순으로 상기 메모리 관리 커맨드의 직전에 있는 픽처를 선택하는 선택 수단과,
    상기 선택 수단에서 선택된 픽처에 대해서, 상기 메모리 관리 커맨드에 의해 표시되는 관리 내용을 실행하는 실행 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  11. 삭제
  12. 동화상 신호가 픽처 단위로 부호화된 화상 부호화 신호를, 각 픽처에 대해서 소정의 픽처수 단위로 복호화 순으로 할당된 픽처 번호를 이용하여 복호화하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 있어서,
    소정의 픽처 번호의 픽처에 대한 메모리 상의 관리 내용을 나타내는 메모리 관리 커맨드가 상기 화상 부호 신호 중에 부가되어 있는지의 여부를 판별하는 판별 단계와,
    상기 판별 단계에서 메모리 관리 커맨드가 부가되어 있다고 판별되었을 때에는, 상기 메모리 관리 커맨드까지의 화상 부호화 신호에 포함되는 상기 소정의 픽처 번호의 픽처 중에서, 복호화 순으로 상기 메모리 관리 커맨드의 직전에 있는 픽처를 선택하는 선택 단계와,
    상기 선택 단계에서 선택된 픽처에 대해서, 상기 메모리 관리 커맨드에 의해 표시되는 관리 내용을 실행하는 실행 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR20057008438A 2003-03-03 2004-02-19 화상 부호화 방법 및 화상 복호화 방법 KR100996043B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00056135 2003-03-03
JP2003056135 2003-03-03

Publications (2)

Publication Number Publication Date
KR20050104333A KR20050104333A (ko) 2005-11-02
KR100996043B1 true KR100996043B1 (ko) 2010-11-22

Family

ID=32958684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057008438A KR100996043B1 (ko) 2003-03-03 2004-02-19 화상 부호화 방법 및 화상 복호화 방법

Country Status (12)

Country Link
US (2) US8223833B2 (ko)
EP (3) EP2306728B1 (ko)
JP (1) JP5256243B2 (ko)
KR (1) KR100996043B1 (ko)
CN (3) CN100589575C (ko)
AT (1) ATE542371T1 (ko)
AU (1) AU2004218397B2 (ko)
BR (1) BRPI0406424B1 (ko)
CA (1) CA2507825C (ko)
ES (1) ES2379265T3 (ko)
MX (1) MXPA05005087A (ko)
WO (1) WO2004080083A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240045690A (ko) 2022-09-30 2024-04-08 인하대학교 산학협력단 초저함량 백금 및 이의 합금과 탄소쉘을 포함하는 산소 환원 반응용 서브나노클러스터 촉매

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608953B2 (ja) * 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
CA2633819C (en) 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
US8160156B2 (en) * 2006-02-01 2012-04-17 Verint Systems, Inc. System and method for controlling the long term generation rate of compressed data
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
CA2674710C (en) 2007-01-09 2016-02-23 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
US7933372B2 (en) * 2007-03-08 2011-04-26 Freescale Semiconductor, Inc. Successive interference cancellation based on the number of retransmissions
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258025A (ja) 2000-03-09 2001-09-21 Sanyo Electric Co Ltd マルチメディア受信システム
JP2003289544A (ja) 2002-03-27 2003-10-10 Sony Corp 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899578A (en) 1995-12-25 1999-05-04 Sony Corporation Digital signal processor, processing method, digital signal recording/playback device and digital signal playback method
JP4190594B2 (ja) 1995-12-28 2008-12-03 ソニー株式会社 電子機器及び信号処理方法
US5847762A (en) * 1995-12-27 1998-12-08 Thomson Consumer Electronics, Inc. MPEG system which decompresses and then recompresses MPEG video data before storing said recompressed MPEG video data into memory
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
US6823016B1 (en) * 1998-02-20 2004-11-23 Intel Corporation Method and system for data management in a video decoder
CN1266942C (zh) * 1998-12-15 2006-07-26 松下电器产业株式会社 图像处理装置
US20010027468A1 (en) 2000-03-09 2001-10-04 Sanyo Electric Co., Ltd. Transmission system, reception system, and transmission and reception system capable of displaying a scene with high quality
JP4215197B2 (ja) * 2002-04-12 2009-01-28 パナソニック株式会社 画像符号化方法および画像復号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258025A (ja) 2000-03-09 2001-09-21 Sanyo Electric Co Ltd マルチメディア受信システム
JP2003289544A (ja) 2002-03-27 2003-10-10 Sony Corp 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240045690A (ko) 2022-09-30 2024-04-08 인하대학교 산학협력단 초저함량 백금 및 이의 합금과 탄소쉘을 포함하는 산소 환원 반응용 서브나노클러스터 촉매

Also Published As

Publication number Publication date
CN100589575C (zh) 2010-02-10
AU2004218397A1 (en) 2004-09-16
BRPI0406424A (pt) 2005-11-22
EP2306728A2 (en) 2011-04-06
US20080063050A1 (en) 2008-03-13
CA2507825C (en) 2013-01-22
CN101765017A (zh) 2010-06-30
WO2004080083A1 (ja) 2004-09-16
EP1601207A1 (en) 2005-11-30
CN101771881B (zh) 2012-08-29
CN101765017B (zh) 2013-09-18
MXPA05005087A (es) 2005-07-01
CN101771881A (zh) 2010-07-07
ATE542371T1 (de) 2012-02-15
CN1757239A (zh) 2006-04-05
EP1601207A4 (en) 2007-10-24
AU2004218397B2 (en) 2008-09-18
EP3122044A1 (en) 2017-01-25
ES2379265T3 (es) 2012-04-24
EP1601207B1 (en) 2012-01-18
US8223833B2 (en) 2012-07-17
JP5256243B2 (ja) 2013-08-07
CA2507825A1 (en) 2004-09-16
EP2306728B1 (en) 2016-09-21
KR20050104333A (ko) 2005-11-02
JP2010226743A (ja) 2010-10-07
US20060018377A1 (en) 2006-01-26
EP2306728A3 (en) 2011-08-31
BRPI0406424B1 (pt) 2018-11-21
US8194731B2 (en) 2012-06-05

Similar Documents

Publication Publication Date Title
JP5256243B2 (ja) 画像復号化方法、画像復号化装置およびプログラム
KR100980964B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
JP5355807B2 (ja) 符号化データ配信方法および配信システム
KR20040074635A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP4215197B2 (ja) 画像符号化方法および画像復号化方法
JP4544879B2 (ja) 画像符号化方法、画像符号化装置及びプログラム
JP4531846B2 (ja) 符号化方法および符号化装置
KR100962815B1 (ko) 화상 부호화 방법 및 화상 복호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181113

Year of fee payment: 9