KR20000064898A - 동화상 예측 방식 - Google Patents

동화상 예측 방식

Info

Publication number
KR20000064898A
KR20000064898A KR1019980708155A KR19980708155A KR20000064898A KR 20000064898 A KR20000064898 A KR 20000064898A KR 1019980708155 A KR1019980708155 A KR 1019980708155A KR 19980708155 A KR19980708155 A KR 19980708155A KR 20000064898 A KR20000064898 A KR 20000064898A
Authority
KR
South Korea
Prior art keywords
memory
image
prediction
memories
predictive
Prior art date
Application number
KR1019980708155A
Other languages
English (en)
Other versions
KR100309086B1 (ko
Inventor
순이치 세키구치
고타로 아사이
도쿠미치 무라카미
히로후미 니시카와
시니치 구로다
요시미 이스
유리 하세가와
Original Assignee
다니구찌 이찌로오, 기타오카 다카시
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=12260195&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20000064898(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 다니구찌 이찌로오, 기타오카 다카시, 미쓰비시덴키 가부시키가이샤 filed Critical 다니구찌 이찌로오, 기타오카 다카시
Publication of KR20000064898A publication Critical patent/KR20000064898A/ko
Application granted granted Critical
Publication of KR100309086B1 publication Critical patent/KR100309086B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

동화상의 신 내용이나 중요도, 움직임의 성질 등에 따라서, 높은 정밀도의 예측을 할 수 있는 부호화 방식을 얻기 위해서, 참조하는 화상 데이터가 축적되는 복수의 메모리(a, b, c)와, 피예측 화상 영역의 움직임을 표현하는 임의의 변형 파라미터에 대응 가능하고 상기 변형 파라미터에 근거하여 상기 복수의 메모리(a, b, c)의 임의의 데이터를 사용하여 예측 화상을 생성하는 움직임 보상부(5)와, 상기 복수의 메모리(a, b, c) 중 1개 이상의 메모리의 내용을 임의의 시간 간격으로 갱신 가능하게 하는 메모리 갱신부(15)를 구비한다.

Description

동화상 예측 방식
종래 동화상의 부호화/복호 방식에 있어서 예측 부호화/복호의 예로서, ISO/IEC JTC1/SC29/WG11로써 표준화 작업이 진행되고 있는 MPEG-4(Moving Picture Experts Group Phase-4)의 비디오 부호화/복호 참조 방식(Verification Model, 이하 VM)을 들 수 있다. VM은 MPEC-4의 표준화 작업의 진행에 따라 방식의 내용이 변화하지만, 여기서는 VM Version5.0을 상정하여, 이하 간단히 VM이라고 표현한다.
VM은 동화상 시퀀스를 시간/공간적으로 임의의 형상을 갖는 화상 오브젝트(object)의 집합체로서 파악하고, 각 화상 오브젝트를 단위로서 부호화/복호를 행하는 방식이다. VM에 있어서의 비디오 데이터 구조를 도 29에 도시한다. VM에 있어서는 시간축을 포함시킨 동화상 오브젝트를 Vidio Object(VO)라고 부르며, VO의 각 시각의 상태를 나타내어 부호화의 단위가 되는 화상 데이터를 Video Object Plane(VOP)라고 부른다. VO가 시간적/공간적으로 계층성을 갖는 경우, 특별하게 VO와 VOP의 사이에 Video Object Layer(VOL)이라는 단위를 설정하여 VO내의 계층 구조를 표현하도록 되어 있다. 각 VOP는 형상 정보와 텍스쳐(texture) 정보로 분리된다. 단, 동화상 시퀀스중에서 VO가 하나인 경우, 각 VOP는 프레임과 같은 의미가 된다. 이 경우는 형상 정보는 존재하지 않고, 텍스쳐 정보만이 부호화/복호된다.
VOP는 도 30에 도시된 바와 같이, 형상 정보를 나타내는 알파 데이터와 텍스쳐 정보를 나타내는 텍스쳐 데이터로 이루어지는 구조를 갖는다. 각 데이터는 각각 16x16 샘플로 이루어지는 블록(알파 블록, 매크로 블록(macroblock))의 집합체로서 정의된다. 알파 블록내의 각 샘플은 8비트로 표현된다. 매크로 블록은 16x16 샘플의 휘도 신호에 부수하여 그것에 대응하는 색차 신호를 포함한다. 동화상 시퀀스로부터 VOP 데이터를 만들어내는 처리는 본 부호화 장치외에서 행해지는 것으로 한다.
도 31은 VM 부호화/복호화 방식에 의한 VOP 부호화 장치의 구성을 도시한 것이다. 상기 도면에 있어서, P1은 입력이 되는 원VOP 데이터, P2는 VOP의 형상 정보를 나타내는 알파 블록, P3a는 입력된 원VOP 데이터의 형상 정보의 유무를 전하기 위한 스위치, P4는 알파 블록을 압축 부호화하는 형상 부호화부, P5는 압축 알파 블록 데이터, P6은 국소 복호 알파 블록, P7은 텍스쳐 데이터(매크로 블록), P8은 움직임 검출부, P9는 움직임 파라미터, P10은 움직임 보상부, P11은 예측 화상 후보, P12는 예측 모드 선택부, P13은 예측 모드, P14는 예측 화상, P15는 예측 오차 신호, P16은 텍스쳐 부호화부, P17은 텍스쳐 부호화 정보, P18은 국소 복호 예측 오차 신호, P19는 국소 복호 매크로 블록, P20은 스프라이트 메모리 갱신부, P21은 VOP 메모리, P22는 스프라이트 메모리, P23은 가변장 부호화·다중화부, P24는 버퍼, P25는 부호화 비트 스트림이다.
또한, 도 32에 상기 부호화 장치의 동작을 요약한 흐름도를 도시한다.
도 31의 부호화 장치에 있어서, 원VOP 데이터(P1)는 우선 알파 블록(P2), 매크로 블록(P7)으로 분리되며(스텝 PS2, 스텝 PS3), 알파 블록(P2)은 형상 부호화부(P4)로, 매크로 블록(P7)은 움직임 검출부(P8)로 보내진다. 형상 부호화부(P4)는 알파 블록(P2)의 데이터 압축을 행하는 처리 블록(스텝 PS4)이며, 본 발명은 형상 정보의 압축 방법에 관계되는 것이 아니므로, 여기서는 그 처리의 상세한 것은 생략한다.
형상 부호화부(P4)의 출력은 압축 알파 블록 데이터(P5)와 국소 복호 알파 블록(P6)에서, 전자는 가변장 부호화·다중화부(P23)에 보내지고, 후자는 움직임 검출부(P8), 움직임 보상부(P10), 예측 모드 선택부(P12), 텍스쳐 부호화부(P16)에 각각 보내진다.
움직임 검출부(P8, 스텝 PS5)는 매크로 블록(P7)을 수신하고, VOP 메모리(P21)에 축적되어 있는 참조 화상 데이터와 국소 복호 알파 블록(P6)을 사용하여, 매크로 블록마다 로우컬(국소)(local) 움직임 벡터를 검출한다. 여기서, 움직임 벡터는 움직임 파라미터의 일 예이다. VOP 메모리(P21)에는 이미 부호화된 VOP의 국소 복호 화상이 축적된다. VOP 메모리(P21)의 내용은 매크로 블록의 부호화가 종료할 때마다 순차 그 국소 복호 화상으로 갱신된다. 또한 움직임 검출부(P8)는 원VOP의 텍스쳐 데이터 전체를 수신하고, 스프라이트 메모리(P22)에 축적되어 있는 참조 화상 데이터와 국소 복호 알파 데이터를 사용하여 광역의 와핑 파라미터(warping parameter)를 검출하는 기능도 더불어 가진다. 스프라이트 메모리(P22)에 대해서는 상세히 후술한다.
움직임 보상부(P10, 스텝 PS6)는 움직임 검출부(P8)에서 검출한 움직임 파라미터(P9)와 국소 복호 알파 블록(P6)을 사용하여 예측 화상 후보(P11)를 생성한다. 이어서, 예측 모드 선택부(P12)에 있어서, 예측 오차 신호 전력과 원신호 전력을 사용하여 해당 매크로 블록의 최종적인 예측 모드(P13) 및 예측 화상(P14)을 결정한다(스텝 PS7). 예측 모드 선택부(P12)에서는 인트라 프레임 부호화/인터프레임 부호화의 어느 한 부호화인지와 같은 판정도 행하여진다.
텍스쳐 부호화부(P16)에서는, 예측 모드(P13)에 근거하여, 예측 오차 신호(P15) 또는 원매크로 블록 자체를 DCT(Discrete Cosine Transform), 양자화하여, 얻어진 양자화 DCT 계수를 예측후, 또는 직접, 가변장 부호화·다중화부(P23)로 보내어 부호화한다(스텝 PS8, 스텝 PS9). 가변장 부호화부·다중화부(P23)는 미리 정해진 신택스와 가변장 부호화 코드에 따라서, 수신된 데이터를 비트 스트림으로 변환하여 다중화한다(스텝 PS10). 양자화 DCT 계수는 역양자화, 역DCT를 거쳐서 국소 복호 예측 오차 신호(P18)로 된 후, 예측 화상(P14)으로 가산되어 국소 복호 매크로 블록(P19)을 얻는다(스텝 PS11). 국소 복호 매크로 블록(P19)은 VOP 메모리(P21) 및 스프라이트 메모리(P22)에 기록되고, 이후의 VOP의 예측에 사용된다(스텝 PS12).
이하에서는 예측을 행하는 부분, 특히 예측 방식과 움직임 보상, 스프라이트 메모리(P22) 및 VOP 메모리(P21)의 갱신 제어에 대해서 상세하게 설명한다.
(1) VM에 있어서의 예측 방식
VM에서는 통상, 도 33에 도시된 바와 같이 4종류의 VOP의 부호화 타입이 있으며, 각각의 타입마다 ○로 나타나는 예측 방식을 매크로 블록마다 선택할 수 있다. I-VOP에서는 예측을 전혀 하지 않고, 모두 인트라 프레임 부호화한다. P-VOP는 과거의 VOP로부터의 예측을 할 수 있다. B-VOP는 과거 및 미래의 VOP를 예측에 사용할 수 있다.
이상의 예측은 모두 움직임 벡터에 의한 예측이다. 한편, Sprite-VOP는 스프라이트 메모리를 사용한 예측이 가능하다. 스프라이트(Sprite)란, 아래 수학식
x'=(a x +b y +c)/(g x + h y + 1)
y'=(d x + e y + f)/(g x + h y + 1)
으로 나타내는 와핑 파라미터 세트
= (a, b, c, d, e, f, g, h)
를 VOP 단위로 검출하며(→는 벡터를 나타낸다. 이하, 동일함), 이것에 근거하여 VOP를 순차 혼합해 감에 따라 생성되는 화상 공간이고, 스프라이트 메모리(P22)에 축적된다.
여기서, (x, y)는 원VOP의 2차원 좌표상에서의 화소 위치, (x', y')는 와핑 파라미터에 의해서 (x, y)에 대응되는 스프라이트 메모리중의 화소 위치이다. Sprite-VOP의 각 매크로 블록에는, 이 와핑 파라미터 세트를 통일적으로 사용하여, 스프라이트 메모리중의 (x', y')를 결정하여 예측 화상을 생성하고 예측할 수 있다. 엄밀하게는, 스프라이트에는, 예측에 사용되는 「다이나믹 스프라이트」와, 예측에 사용하는 동시에, 복호측에서 근사적으로 VOP를 합성할 목적으로 사용하는 「스태틱 스프라이트」의 구별이 있지만, 아래에 설명하는 도 34 내지 도 37에서는 다이나믹 스프라이트를 「스프라이트」의 의미로 쓴다.
움직임 검출부(P8)에서는 이상의 예측에 사용하는 움직임 벡터 및 와핑 파라미터를 검출한다. 움직임 벡터 및 와핑 파라미터를 움직임 파라미터(P9)라는 말로 총칭한다.
(2)움직임 보상부
움직임 보상부(P10)는 예를 들어 도 34에 도시된 바와 같은 내부 구성을 갖는다. 상기 도면에 있어서, P26은 와핑 파라미터, P27은 움직임 벡터, P28은 글로벌 움직임 보상부, P29는 로우컬 움직임 보상부, P30은 와핑 파라미터에 의한 예측 화상 후보, P31은 움직임 벡터에 의한 예측 화상 후보이다. 예측 화상 후보(P11)를 와핑 파라미터에 의한 예측 화상 후보(P30) 및 움직임 벡터에 의한 예측 화상 후보(P31)를 총칭하는 말로 한다.
움직임 보상부(P10)의 동작을 요약하는 흐름도를 도 35의 스텝 PS14 내지 스텝 PS21에 도시한다.
움직임 보상부(P10)에서는 매크로 블록(P7)마다 움직임 검출부(P8)에서 검출된 VOP 전체의 와핑 파라미터(P26) 또는 매크로 블록 단위의 움직임 벡터(P27)를 사용하여 예측 화상 후보(P11)를 생성한다. 글로벌 움직임 보상부(P28)에 있어서 와핑 파라미터(P26)를 사용한 움직임 보상을 하고, 로우컬 움직임 보상부(P29)에 있어서 움직임 벡터(P27)를 사용한 움직임 보상을 한다.
I-VOP에서는 움직임 보상부(P10)는 동작하지 않는다(스텝 PS14 내지 스텝 PS21로 간다). I-VOP 이외일 때, 로우컬 움직임 보상부(P29)가 동작하며, 움직임 벡터(P27)를 사용하여 VOP 메모리(P21)내의 과거의 VOP 국소 복호 화상으로부터 예측 화상 후보(PR1)를 인출한다(스텝 PS15). P-VOP에서는 이 예측 화상 후보(PR1)만을 사용하게 된다.
스텝 PS16에서 B-VOP로 된 경우는, 또한 로우컬 움직임 보상부(P29)에 있어서, 움직임 벡터(P27)를 사용하여 VOP 메모리(P21)내의 미래의 VOP 국소 복호 화상으로부터 예측 화상 후보(PR2)를 인출하는 동시에(스텝 PS17), 과거 및 미래의 VOP 국소 복호 화상으로부터 얻은 예측 화상 후보를 가산 평균하여 예측 화상 후보(PR3)를 얻는다(스텝 PS18).
또한, 직접 예측(ITU-T권고 H.263 부호화 방식에 있어서의 B 프레임 상당의 예측 방식에 근거하는 예측. 조를 이루는 P-VOP의 벡터로부터 B 프레임용의 벡터를 만든다. 여기서는 상세한 기술은 생략한다)에 대해서도 마찬가지로 예측 화상 후보(PR4)를 생성한다(스텝 PS19). 도 34에 있어서, 움직임 벡터에 의한 예측 화상 후보(P31)는 상기 예측 화상 후보(PR1 내지 PR4)의 일부 또는 전부를 총칭하는 것으로 한다.
I-VOP도 B-VOP도 아닌 경우는 Sprite-VOP이며, VOP 메모리로부터 움직임 벡터를 사용하여 예측 화상 후보(PR1)를 인출하는 동시에, 스텝 PS20에서 글로벌 움직임 보상부(P28)에 있어서 와핑 파라미터(P26)를 사용하여 스프라이트 메모리(P22)로부터 예측 화상 후보(P300)를 수신한다.
글로벌 움직임 보상부(P28)는 와핑 파라미터(P26)로부터 스프라이트 메모리(P22)중의 예측 화상 후보가 존재하는 어드레스를 계산하고, 이것에 근거하여 스프라이트 메모리(P22)로부터 예측 화상 후보(P30)를 인출하여 출력한다. 로우컬 움직임 보상부(P29)는 움직임 벡터(P27)로부터 VOP 메모리(P21)중의 예측 화상이 존재하는 어드레스를 계산하여, 이것에 근거하여 VOP 메모리(P21)로부터 예측 화상 후보(P31)를 인출하여 출력한다.
이러한 예측 화상 후보(P11)는 예측 모드 선택부(P12)에 있어서 텍스쳐 데이터(P7)의 인트라 프레임 부호화 신호를 포함하여 평가되며, 가장 예측 오차 신호 전력이 작은 예측 화상 후보와 예측 모드가 선택된다.
(3) 메모리 갱신
메모리 갱신 제어(스텝 PS12)는 메모리 갱신부(P20)에서 행해지고, VOP 메모리(P21) 및 스프라이트 메모리(P22)의 갱신을 한다. 이들 메모리 내용의 갱신은 매크로 블록 단위로 선택된 예측 모드(P13)에 관계없이 행해진다.
메모리 갱신부(P20)의 내부 구성을 도 36에, 메모리 갱신부(P20)의 동작을 나타내는 흐름도를 도 37의 스텝 PS22 내지 스텝 PS28에 나타낸다.
도 36에 있어서, P32는 외부로부터 주어지는 VOP 부호화 타입, P33은 스프라이트 메모리를 사용한 예측을 하는지의 여부를 나타낸다, 외부로부터 주어지는 스프라이트 예측 식별 플래그, P34는 스프라이트 메모리를 사용한 예측에 사용되는, 외부로부터 주어지는 블렌드 계수, P35는 스위치, P36은 스위치, P37은 스프라이트 합성부, P38은 스프라이트 변형 처리부, P39는 VOP 메모리 갱신 신호, P40은 스프라이트 메모리 갱신 신호이다.
먼저, 스프라이트 예측 식별 플래그(P33)에 의해, 해당 VO 또는 VOL에서 스프라이트를 사용하면 지정되어 있는지의 여부가 체크되며(스텝 PS22), 스프라이트를 사용하지 않는 경우, B-VOP가 체크되고(스텝 PS27), B-VOP이면 VOP 메모리(P21)의 갱신은 전혀 행해지지 않는다. I-VOP 또는 P-VOP에서는, 매크로 블록마다 국소 복호 매크로 블록(P19)을 VOP 메모리(P21)에 덮어쓰기한다(스텝 PS28).
한편, 스텝 PS22의 체크에 있어서 스프라이트를 사용하는 경우는, 먼저 상기 와 같은 VOP 메모리(P21)의 갱신이 행해진 후(스텝 PS23, 스텝 PS24), 이하의 순서에 따라 스프라이트 메모리(P22)의 갱신이 행해진다.
a) 스프라이트의 와핑(스텝 PS25)
먼저, 스프라이트 변형 처리부(P38)에 있어서, 스프라이트 메모리상의 영역(해당 VOP의 시간을 t로 하였을 때의, 스프라이트 메모리상의 위치를 원점으로 하는 VOP와 동일 면적의 영역)
M( , t-1)
을 와핑 파라미터
=(a, b, c, d, e, f, g, h)
에 의해서 와핑(변형)시킨다.
b) 스프라이트의 블렌드(blend) (스텝 PS26)
상기 a)의 결과 얻어진 와핑 화상을 사용하여, 스프라이트 합성부(P37)에 있어서, 아래 수학식에 따라서 새로운 스프라이트 메모리 영역
M( , t) = (1-α)·Wb[M( , t-1), ]
+α·VO( , t)
를 구한다. 여기서,
α: 블렌드 계수 P34
Wb[M, ]: 상기 (a)의 결과 얻어지는 와핑 화상
VO( , t): 국소 복호 VOP의 위치 및 시간 t에서의 화소치이다.
단, 국소 복호 매크로 블록중에서 VOP에 속하지 않는 영역에 대해서는
VO( , t)=0
으로 간주한다. 블렌드 계수(α)는 VOP 단위로 주어지므로, 국소 복호 VOP는, VOP 영역의 내용 여하에 관계없이, α에 근거하는 비중으로, 일괄해서 스프라이트 메모리에 합성된다.
이상과 같은 종래의 부호화 방식에 있어서의 예측 방식에서는, 동화상 오브젝트의 예측시에, 움직임 벡터의 검출밖에 하지 않는 메모리와 와핑 파라미터의 검출밖에 하지 않는 메모리를 최대 1화면씩밖에 사용할 수 없는 구성으로 되어 있기 때문에, 예측에 사용할 수 있는 참조 화상을 극히 한정된 방법으로밖에 사용할 수 없으며, 예측 효율을 충분히 향상시킬 수 없다.
또한, 복수의 동화상 오브젝트를 동시에 부호화할 수 있는 시스템에 있어서도, 이들 메모리에는, 예측되는 동화상 오브젝트 자체의 이력을 나타내는 참조 화상밖에 포함되지 않기 때문에, 참조 화상의 다양성이 한정되는 동시에, 동화상 오브젝트간의 상관을 이용하여 예측할 수 없다.
또한, 메모리의 갱신시에도, 동화상 오브젝트의 내부 구조나 성질, 이력 등에 관계 없이 메모리가 재기록되기 때문에, 동화상 오브젝트를 예측하는 데에 있어서 중요한 지식을 충분히 메모리에 축적할 수 없으며, 예측 효율의 향상을 꾀할 수 없는 문제가 있었다.
본 발명은 상기 문제점을 해결하기 위해서 이루어진 것으로, 화상 데이터를 부호화/복호하는 경우, 복수의 메모리를 마련하여, 동화상 시퀀스의 내부 구조, 성질 등을 고려하여, 복수의 메모리에 효과적으로 동화상 시퀀스의 이력을 축적하며, 예측 및 부호화/복호의 효율을 높이는 동시에, 복수의 동화상 오브젝트간에서 예측 할 수 있는 구조를 형성하여 보다 유연한 예측 방식을 제공하는 것을 목적으로 한다.
본 발명은 예컨대, 텔레비젼 전화·텔레비젼 회의 등의 화상 통신 용도로 사용되는 휴대 및 거치형 화상 통신 기기 등에서 사용되는 동화상 부호화/복호 장치, 디지털 VTR, 비디오 서버 등의 화상 축적·기록 장치 등에 사용되는 동화상 부호화/복호 장치, 단독 소프트웨어 또는 DSP(Digital Signal Processor)의 펌웨어 형으로 설치되는 동화상 부호화/복호 프로그램 등에 사용되는 동화상의 예측에 관한 것이다.
도 1은 본 발명의 실시예에 있어서의 동화상 부호화 장치를 나타내는 구성도.
도 2는 본 발명의 실시예에 있어서의 동화상 부호화 장치의 동작을 나타내는 흐름도.
도 3은 본 발명의 실시예에 있어서의 동화상 부호화 장치의 움직임 보상부의 구성을 나타내는 구성도.
도 4는 움직임 보상부의 동작을 나타내는 흐름도.
도 5는 본 발명의 실시예에 있어서의 동화상 부호화 장치의 메모리 갱신부의 구성을 나타내는 구성도.
도 6은 메모리 갱신부의 동작을 나타내는 흐름도.
도 7은 본 발명의 실시예에 있어서의 동화상 부호화 장치의 움직임 보상부의 구성을 나타내는 구성도.
도 8은 도 7의 움직임 보상부의 동작을 나타내는 흐름도.
도 9는 본 발명의 실시예에 있어서의 동화상 부호화 장치의 움직임 보상부의 구성을 나타내는 구성도.
도 10은 도 9의 움직임 보상부의 동작을 나타내는 흐름도.
도 11은 본 발명의 실시예에 있어서의 동화상 부호화 장치를 나타내는 구성도.
도 12는 본 발명의 실시예에 있어서의 동화상 부호화 장치의 움직임 보상부의 구성을 나타내는 구성도.
도 13은 도 12의 움직임 보상부의 동작을 나타내는 흐름도.
도 14는 본 발명의 실시예에 있어서의 동화상 부호화 장치의 메모리 갱신부의 구성을 나타내는 구성도.
도 15는 도 14의 메모리 갱신부의 동작을 나타내는 흐름도.
도 16은 본 발명의 실시예에 있어서의 동화상 부호화 장치를 나타내는 구성도.
도 17은 본 발명의 실시예에 있어서의 동화상 부호화 장치를 나타내는 구성도.
도 18은 본 발명의 실시예에 있어서의 동화상 부호화 장치를 나타내는 구성도.
도 19는 본 발명의 실시예에 있어서의 동화상 부호화 장치를 나타내는 구성도.
도 20은 본 발명의 실시예 1의 비트 스트림(21)을 나타내는 도면.
도 21은 본 발명의 실시예 2의 비트 스트림(21)을 나타내는 도면.
도 22는 본 발명의 실시예 3의 비트 스트림(21)을 나타내는 도면.
도 23은 본 발명의 실시예 6의 비트 스트림(21)을 나타내는 도면.
도 24는 본 발명의 실시예에 있어서의 동화상 복호 장치를 나타내는 구성도.
도 25는 본 발명의 실시예에 있어서의 동화상 복호 장치의 움직임 보상부의 구성을 나타내는 구성도.
도 26은 움직임 보상부의 동작을 나타내는 흐름도.
도 27은 보간 처리를 설명하는 도면.
도 28은 본 발명의 실시예에 있어서의 동화상 복호 장치의 메모리 갱신부의 동작을 나타내는 흐름도.
도 29는 VM 부호화 방식에 있어서의 비디오 데이터 구조를 나타내는 설명도.
도 30은 VOP 데이터의 구성을 나타내는 설명도.
도 31은 VM 부호화 장치의 구성을 나타내는 구성도.
도 32는 도 31의 부호화 장치의 동작을 나타내는 흐름도.
도 33은 VOP 부호화 타입과 대응하는 예측의 종류를 나타내는 설명도.
도 34는 도 31의 부호화 장치에 있어서의 움직임 보상부의 구성을 나타내는 구성도.
도 35는 도 34의 움직임 보상부의 동작을 나타내는 흐름도.
도 36은 도 31의 부호화 장치에 있어서의 메모리 갱신부의 구성을 나타내는 구성도.
도 37은 도 36의 메모리 갱신부의 동작을 나타내는 흐름도.
본 발명은 예측시에 참조하는 화상 데이터를 축적하는 동시에, 각각 개별의 변형 수법이 대응되어 있는 복수의 메모리와, 피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하고, 상기 피예측 화상 영역의 예측에 사용한 메모리에 축적된 화상 데이터를 사용하여, 상기 파라미터와, 상기 메모리에 대응된 변형 수법에 근거하여 예측 화상을 생성하는 예측 화상 생성부를 구비하며, 적어도 부호화 장치 및 복호 장치중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 동화상 예측 방식이다.
상기 부호화 장치는 상기 예측 화상의 생성에 사용한 상기 메모리를 나타내는 예측 메모리 지시 정보 신호를 생성하며, 복호측에서도 상기 메모리에 축적된 화상 데이터를 사용하여, 상기 메모리에 대응된 변경 수법에 근거하여 상기 예측 화상을 생성할 수 있도록, 상기 예측 메모리 지시 정보 신호와 상기 파라미터를 복호측으로 송신하는 것을 특징으로 한다.
상기 복호 장치는 상기 파라미터와 상기 예측 화상의 생성에 사용된 메모리를 나타내는 예측 메모리 지시 정보를 부호화측에서 수신하고, 상기 예측 화상 생성부는, 상기 파라미터와 상기 메모리에 대응된 변형 수법에 근거하여, 상기 메모리에 축적된 화상 데이터를 사용하여 상기 예측 화상을 생성하는 것을 특징으로 한다.
또한, 본 발명은 예측시에 참조하는 화상 데이터를 축적하는 동시에, 각각 개별의 파라미터 유효치 영역이 대응되고 있는 복수의 메모리와, 피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하고, 상기 파라미터의 값을 포함하는 상기 파라미터 유효치 영역이 대응된 메모리를 선택하며, 선택된 메모리에 축적된 화상 데이터를 사용하여 예측 화상을 생성하는 예측 화상 생성부를 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 동화상 예측 방식이다.
또한, 본 발명은 예측시에 참조하는 화상 데이터를 축적하는 복수의 메모리와, 피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하고, 상기 파라미터에 근거하여 상기 복수의 메모리에 축적된 화상 데이터를 사용하여, 예측 화상을 생성하는 움직임 보상부와, 상기 복수의 메모리의 적어도 1개의 메모리에 축적되는 화상 데이터를 임의의 타이밍으로 갱신하는 메모리 갱신부를 갖는 예측 화상 생성부를 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 동화상 예측 방식이다.
상기 동화상 예측 방식은, 제 1 과 제 2 동화상 오브젝트를 갖는 동화상 시퀀스상의 동화상을 예측하며, 상기 복수의 메모리는, 상기 제 1 과 제 2 동화상 오브젝트에 대응하는 제 1 과 제 2의 개별 복수 메모리를 구비하며, 상기 예측 화상 생성부는, 상기 제 1 과 제 2 동화상 오브젝트에 대응하는 제 1 과 제 2의 개별 생성부를 구비하고 있으며, 상기 제 1 생성부는, 상기 제 1 오브젝트를 예측하는 경우에, 적어도 상기 제 1 과 제 2 복수의 메모리중 어느 하나에 축적되어 있는 화상 데이터를 사용하여 상기 예측 화상을 생성하는 동시에, 제 2 복수의 메모리를 제 1 오브젝트의 예측에 사용하는지의 여부를 나타내는 정보를 예측 화상에 부가하기 위해서 생성하는 것을 특징으로 한다.
상기 예측 화상 생성부는 동화상의 각 시간에서의 변화에 따라, 상기 복수의 메모리의 수와 사이즈중 어느 하나를 증감시킴으로써 예측 화상을 생성하는 것을 특징으로 한다.
상기 예측 화상 생성부는 동화상의 각 시간에서의 변화에 따라, 예측에 사용되는 메모리를 한정함으로써 예측 화상을 생성하는 것을 특징으로 한다.
상기 예측 화상 생성부는 상기 복수의 메모리에 축적된 상기 화상 데이터를 사용하여 각각에 생성된 복수의 예측 화상을 연산함으로써 예측 화상을 생성하는 것을 특징으로 한다.
상기 동화상 예측 방식은 피예측 화상 영역의 중요도를 나타내는 특징량 파라미터를 검출하는 중요도 검출부를 구비하며, 상기 예측 화상 생성부는 상기 특징량 파라미터에 근거하여, 적어도 복수의 예측 방식과, 복수의 메모리와, 복수의 메모리 갱신 방법중 어느 하나에 대해서, 복수의 선택요소중에서 적어도 1개를 선택함으로써 예측 화상을 생성하는 것을 특징으로 한다.
상기 동화상 예측 방식은 적어도, 피예측 화상 영역이 사용 가능한 부호량과, 각 시간에 있어서의 상기 화상 영역의 변화량과, 상기 화상 영역의 중요도중 어느 하나를 나타내는 파라미터를 검출하는 중요도 검출부를 구비하며, 상기 예측 화상 생성부는, 상기 파라미터에 근거하여, 적어도 복수의 예측 방식과 복수의 메모리와, 복수의 메모리 갱신 방법중 어느 하나에 대하여, 복수의 선택요소중 적어도 1개를 선택함으로써 예측 화상을 생성하는 것을 특징으로 한다.
상기 동화상 예측 방식은, 동화상을 동화상 오브젝트 단위로 예측하며, 상기 동화상 예측 방식은, 적어도, 피예측 동화상 오브젝트가 사용 가능한 부호량과, 각 시간에 있어서의 상기 동화상 오브젝트의 변화량과, 상기 동화상 오브젝트의 중요도중 어느 하나를 나타내는 파라미터를 검출하는 중요도 검출부를 구비하며, 상기 예측 화상 생성부는, 상기 파라미터에 근거하여, 적어도 복수의 예측 방식과, 복수의 메모리와, 복수의 메모리 갱신 방법중 어느 하나에 대하여, 복수의 선택요소중 적어도 1개를 선택함으로써 예측 화상을 생성하는 것을 특징으로 한다.
상기 동화상 예측 방식은, 동화상의 부호화에 있어서, 예측에 관계되는 정보를 부호화하는 예측 정보 부호화부를 구비하며, 상기 예측 화상 생성부는, 예측에 사용되는 메모리의 사용 빈도수를 카운트하고, 카운트한 사용 빈도수에 근거하여 상기 복수의 메모리의 랭크를 결정하고, 상기 예측 정보 부호화부는 예측에 사용되는 메모리의 랭크에 따라서, 예측에 관계되는 정보에 부호 길이를 할당함으로써 예측에 관계되는 정보를 부호화하는 것을 특징으로 한다.
상기 복수의 메모리는 적어도, 화상 데이터를 프레임 단위로 축적하는 프레임 메모리와, 스프라이트 화상을 축적하는 스프라이트 메모리를 갖는 것을 특징으로 한다.
상기 스프라이트 메모리는 적어도, 순차 갱신을 수반하는 다이나믹 스프라이트 메모리와 순차 갱신을 수반하지 않는 스태틱 스프라이트 메모리중 어느 하나를 갖는 것을 특징으로 한다.
상기 복수의 메모리는 적어도, 평행 이동, 어핀 변환, 원근법 변환 내의 어느 한 변형 수법이 변경 가능하게 대응되는 것을 특징으로 한다.
또한, 본 발명은 예측시에 참조하는 화상 데이터를 복수의 메모리에 축적하는 공정과, 상기 복수의 메모리에 각각 개별의 변형 수법을 대응시키는 공정과, 피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하는 공정과, 상기 피예측 화상 영역의 예측에 사용한 메모리에 축적된 화상 데이터를 사용하여, 상기 파라미터와 상기 메모리에 대응된 변형 수법에 근거하여 예측 화상을 생성하는 공정을 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법이다.
상기 동화상을 예측하는 방법은, 또한, 상기 예측 화상 생성에 사용한 상기 메모리를 나타내는 예측 메모리 지시 정보 신호를 생성하는 공정과, 상기 예측 메모리 정보 신호와 상기 파라미터를 복호측으로 송신하는 공정을 구비한 것을 특징으로 한다.
상기 동화상을 예측하는 방법은, 또한, 예측 화상의 생성에 사용한 메모리를 나타내는 예측 메모리 지시 정보 신호와 피예측 화상 영역의 움직임을 표현하는 파라미터를 부호화측으로부터 수신하는 공정을 구비하고, 복호에 사용되는 것을 특징으로 한다.
또한, 본 발명은 예측시에 참조하는 화상 데이터를 복수의 메모리에 축적하는 공정과, 상기 복수의 메모리에 각각 개별의 파라미터 유효치 영역을 대응시키는 공정과, 피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하는 공정과, 상기 파라미터의 값을 포함하는 상기 파라미터 유효치 영역이 대응된 메모리를 선택하는 공정과, 선택된 메모리에 기억된 화상 데이터를 사용하여, 예측 화상을 생성하는 공정을 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법이다.
또한, 본 발명은 예측시에 참조하는 화상 데이터를 복수의 메모리에 축적하는 공정과, 피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하는 공정과, 상기 파라미터에 근거하여, 상기 복수의 메모리에 축적된 화상 데이터를 사용하여 예측 화상을 생성하는 공정과, 상기 복수의 메모리의 적어도 1개의 메모리에 기억되는 화상 데이터를 임의의 타이밍으로 갱신하는 공정을 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법이다.
실시예 1
도 1은 실시예 1 및 후술하는 실시예에 있어서의 부호화 장치의 구성을 도시하는 블록도이다. 상기 도면에 있어서, 1은 입력 동화상 신호, 2는 텍스쳐 데이터, 3은 움직임 검출부, 4는 움직임 파라미터, 5는 움직임 보상부, 6은 예측 화상 후보, 7은 예측 모드 선택부, 8은 예측 모드, 9는 예측 화상, 10은 예측 오차 화상, 11은 텍스쳐 부호화부, 12는 양자화 DCT 계수, 13은 국소 복호된 예측 오차 화상, 14는 국소 복호 화상, 15은 메모리 갱신부, 16은 메모리(a), 17은 메모리(b), 18은 메모리(c), 19는 가변장 부호화·다중화부, 20은 송신 버퍼, 21은 비트 스트림, 80은 신 체인지(scene-change) 검출부, 81은 타이머이다. 이 중 움직임 보상부(5) 및 메모리 갱신부(15)가 예측 방식을 실현하는 예측 화상 생성부(100)이다. 또한, 메모리(a, b, c)가 메모리 영역(200)이다. 도면중 이 실시예에서 문제삼지 않는 부분에 대해서는 뒤의 실시예에서 설명한다. 도 2는 상기 부호화 장치의 동작의 흐름을 도시하는 흐름도이다.
이 실시예에서는 다수, 예를 들어 3개의 메모리를 입력 동화상의 이동량·색도와 같은 화상의 특징에 근거하는 중요도에 따라서 구별하여 사용하고, 또한 임의의 시간 간격으로 임의의 메모리(영역), 예를 들어 메모리(a)의 내용을 갱신하는 기구를 설치한다. 또한, 동화상 시퀀스는 프레임 단위로 입력되는 것으로 한다.
(1)입력 신호
상술한 바와 같이, 상기 부호화 장치는 동화상 시퀀스의 각 시간의 화상을 나타내는 프레임을 단위로 입력되고, 프레임은 피예측 화상 영역의 일 예인 부호화단위가 되는 매크로 블록으로 분할된다(스텝 S1).
(2)메모리의 적절한 사용 방법
메모리에는 과거에 복호가 끝난 화상이나, 또는 미리 고정적으로 주어진 화상이 축적되지만, 이 실시예에서는, 프레임중의 부분 영역의 중요도에 따라서, 3개의 메모리를 아래와 같이 구별하여 사용한다.
메모리(a): 중요도가 작은 화상 영역(=움직임이 정지 또는 균일하고, 또한 텍스쳐가 균일한 배경적 화상 영역)을 축적한다.
메모리(b): 중요도가 중간인 화상 영역(=피사체의 움직임으로, 비교적 움직임이 작은 화상 영역)을 축적한다.
메모리(c): 중요도가 큰 화상 영역(=피사체의 움직임으로, 움직임이 큰 화상 영역을 축적한다.
메모리(a)에 축적되는 중요도가 작은 화상 영역은, 텔레비젼 회의의 신 등에 나오는 배경 화상 영역이라고 생각할 수 있다. 또한, 어떤 미소한 움직임이 동반되는 피사체를 포함하여, 카메라 조작에 의해서 화면 전체의 균일한 움직임이 포함되는 신에서의 배경 영역에도 상당한다. 이러한 움직임은 매크로 블록이라는 작은 단위로부터 미리 프레임 전체의 움직임을 구하여, 그것을 매크로 블록의 움직임으로서 대용하면 효율적이다. 즉, 종래 예에 설명한 스프라이트에 있어서의 와핑 파라미터에 상당하는 변형 파라미터를 구하고, 프레임 전체의 변형 파라미터를 각 매크로 블록의 움직임 파라미터라고 간주하기로 한다. 움직임 파라미터는 단순한 평행 이동 파라미터(=움직임 벡터와 같은 의미)라도 좋고, 변형을 포함한 어핀(affine), 원근법 움직임 파라미터 등이라도 좋다. 여기서, 움직임 벡터는 움직임 파라미터의 일 예이다.
메모리(b)에 축적되는 중요도가 중간인 화상 영역은 예를 들어 텔레비젼 회의의 신에서 발언하지 않고 몸만 움직이는 인물의 화상 영역에서, 화면속의 주목도가 낮은 피사체 영역이라고 생각할 수 있다. 메모리(c)에 축적되는 중요도가 큰 화상 영역은 예를 들어 텔레비젼 회의의 신 중, 발언자 등 가장 주목도가 높은 피사체 영역이라고 생각할 수 있다.
메모리(b, c)에 축적되는 영역은 피사체 고유의 움직임을 가지기 때문에, 매크로 블록마다 다른 움직임 파라미터를 가진다고 생각하는 것이 자연스럽다. 이 때의 움직임 파라미터는, 단순한 평행 이동 파라미터(=움직임 벡터와 같은 의미)라도 좋고, 변형을 포함한 어핀, 원근법 움직임 파라미터 등이라도 좋다.
(3)움직임 검출(스텝 S2)
본 실시예에 있어서의 움직임 검출부(3)는 종래 예와 같이 벡터와 와핑 파라미터와 같은 구별을 없애고, 3개의 메모리 전부에 대해서 임의의 변형 파라미터를 매크로 블록 단위로 검출할 수 있도록 한다. 또한, 움직임 검출부(3)는 메모리(a)를 사용하여 프레임 전체의 변형 파라미터를 검출하는 글로벌 움직임 파라미터 검출과, 메모리(a 내지 c)를 사용하여 매크로 블록마다 변형 파라미터를 검출하는 로우컬 움직임 파라미터 검출의 기능을 구비한다.
(4) 움직임 보상(스텝 S3)
이 실시예에 있어서의 움직임 보상부(5)의 내부 구성을 도 3에 도시한다. 상기 도면에 있어서, 22는 예측 화상 메모리 어드레스 산출부, 23은 예측 화상 메모리 어드레스, 24는 메모리 판독부, 25는 외부로부터 주어지는 참조 메모리 지시 신호이다. 여기서, 참조 메모리 지시 신호(25)는 메모리(a, b, c)를 사용하는 것을 지시하고 있는 것으로 한다. 이 움직임 보상부(5)의 동작을 기록한 흐름도를 도 4의 스텝 S11 내지 스텝 S16에 나타낸다.
우선 I(Intra)-프레임이라면, 움직임 보상을 행하지 않는다(스텝 S11). I-프레임이 아니면, 움직임 검출부(3)에서 검출된 글로벌 움직임 파라미터 및 각 메모리에 근거하는 로우컬 움직임 파라미터를 바탕으로 예측 화상 후보를 생성한다(스텝 S12 내지 스텝 S15). 구체적으로는 예측 화상 메모리 어드레스 산출부(22)에 있어서, 참조 메모리 지시 신호(25)에서 지시되는 메모리중의 예측 화상 후보가 존재하는 예측 화상 메모리 어드레스(23)를 움직임 파라미터(4)에 근거하여 계산하고, 예측 화상 메모리 어드레스(23)에 의해서 메모리 판독부(24)가 대응하는 메모리로부터 예측 화상 후보(6)를 인출하여 출력한다.
이 실시예에 있어서는 글로벌 움직임 파라미터도 로우컬 움직임 파라미터도 동일한 변형 방식에 근거하므로, 어떠한 예측 화상 생성도 도 3의 움직임 보상부(5)를 공유하여 사용할 수 있다. 또, 글로벌 움직임 파라미터에 의해 예측 화상 후보(6)를 생성하는 경우(스텝 S15)는 항상 메모리(a)가 참조 메모리로서 사용된다.
(5) 예측 모드의 선택(스텝 S4)
이 실시예에 있어서의 예측 모드는,
(a) 메모리(a)를 사용하는 모드,
(b) 메모리(b)를 사용하는 모드,
(c) 메모리(c)를 사용하는 모드,
(d) 인트라 프레임 부호화 신호를 사용하는 모드
가 있는 것으로 한다. 예측 모드 선택부(7)는 예를 들어 종래 예에 나타낸 바와 같이, 움직임 보상부(5)에 의해서 생성되는 모든 예측 화상 후보(6)와 인트라 프레임 부호화 신호를 포함해서, 예측 오차 신호의 전력(진폭)이 가장 작은 예측 화상 후보(6)를 선택하여 예측 화상(9)으로서 출력한다. 또한, 선택한 예측 화상(9)에 대응하는 예측 모드(8)를 출력한다. 이 예측 모드(8)의 정보의 중에는, 선택한 예측 화상(9)을 예측한 메모리를 나타내는 메모리 선택 정보도 포함되어 있다. 예측 모드(8)는 가변장 부호화·다중화부(19)로 보내지고, 할당된 부호 길이로 예측 메모리 지시 정보(800)로서 비트 스트림(21) 중에 부호화된다.
(6) 메모리의 갱신
메모리의 갱신은 메모리 갱신부(15)에서 제어된다. 이 실시예에 있어서의 메모리 갱신부(15)의 내부 구성을 도 5에 도시한다. 상기 도면에 있어서, 26은 메모리(a)의 갱신에 사용되는 액티비티(상세한 것은 후술함), 27은 메모리(a) 갱신 판정부, 28은 참조 메모리 선택부, 29,30은 스위치, 31은 메모리(a)를 갱신하는 화상 데이터, 32는 메모리(b)를 갱신하는 화상 데이터, 33은 메모리(c)를 갱신하는 화상 데이터, 34는 메모리(a)를 갱신하는 글로벌 예측 화상 데이터이다. 또한, 메모리 갱신의 동작 플로를 도 6에 도시한다.
이 실시예에 있어서의 메모리 갱신은 이하의 순서를 밟는다. 메모리 갱신 부(15)는 국소 복호 화상(14)을 입력하면, 메모리(a) 갱신 판정부(27)에 있어서 상기 국소 복호 화상(14)이 속하는 프레임에 대한 메모리(a) 갱신의 필요성을 판정하며(스텝 S17), 참조 메모리 선택부(28)에 있어서 예측 모드(8)에 근거하여 예측에 사용한 메모리를 선택하고(스텝 S18, S19), 선택된 메모리내의 참조 화상을 상기 국소 복호 화상(14)의 메모리(a)를 갱신하는 화상 데이터(31), 메모리(b)를 갱신하는 화상 데이터(32), 메모리(c)를 갱신하는 화상 데이터(33), 메모리(a)를 갱신하는 글로벌 예측 화상 데이터(34)중 어느 하나를 사용하여 하기의 룰로써 갱신한다. 또, 상기 메모리 갱신은 예측 단위(매크로 블록 단위)로 프레임마다 행해진다.
(1)메모리(b, c) 마다 프레임 갱신(스텝 S20, S21)
상기 화상의 예측에 사용한 메모리(b) 또는 메모리(c)에, 국소 복호 화상(14)을 기록한다.
(2)메모리(a)의 임의 프레임 갱신(스텝 S22, S23)
상기 화상의 예측에 사용한 메모리(a)에 스텝 S17의 메모리(a) 갱신 판정 결과(1000)에 근거하여, 임의의 프레임에 대해서만, 또는 임의의 시간 간격으로 국소 복호 화상(14)을 기록한다.
메모리(a)의 내용은 말하자면 배경 화상 등의 시불변 화상 영역의 이력이며, 신 체인지나 화면 전체의 큰 움직임 등에 의해서 영역의 내용이 크게 변화하지 않는 한, 메모리 내용을 갱신할 필요가 없다.
상술한 바와 같이 피사체 등의 어떤 동영역에 대해서는 프레임 단위로 순차 갱신하며, 메모리(a)의 내용은 보다 긴 시간 간격으로 갱신하는 기구를 구비해 두면, 피사체의 움직임에 의해서 보였다 안 보였다 하는 배경 화상 등의 예측에 효과적이다. 이 실시예에서는, 이상의 관점에서 메모리(a)의 갱신을 임의의 시간 간격으로 행하는 기구를 설치한다. 구체적으로는 예를 들면,
a.글로벌 움직임 파라미터의 크기에 근거하여, 움직임이 큰 경우는 화면 전체의 내용을 일제히 갱신하며, 움직임이 작은 경우는 내용을 갱신하지 않는 방법.
b.프레임간의 시간 간격에 한정되지 않고, 어떤 일정 시간마다 화면 전체의 내용을 일제히 갱신하는 방법,
c.신 체인지를 검출한 경우, 신 체인지 직후의 프레임으로 화면 전체의 내용을 일제히 갱신하는 방법 등의 임의 갱신 판정 기준이 생각된다.
이 실시예에서는, 이상과 같은 임의 갱신 판정 기준이 되는 데이터를 메모리(a)의 갱신에 사용하는 액티비티(26)라는 말로 총칭한다. 먼저, 메모리(a) 갱신 판정부(27)는 액티비티(26)를 사용하여 메모리(a)의 내용을 갱신하는지의 여부를 판정한다(스텝 S17). 상기 임의 갱신 판정 기준(a)의 경우는 움직임 검출부(3)에서 검출된 글로벌 움직임 파라미터의 값이 액티비티가 되며, 임의 갱신 판정 기준(b)의 경우는 타이머(81)로부터의 상기 프레임의 타임 스탬프가, 임의 갱신 판정 기준(c)의 경우는 신 체인지 검출부(80)로부터 출력되는 신 체인지 검출을 알리는 플래그가 액티비티(26)에 상당한다.
메모리(a)의 내용을 갱신한다고 판단된 경우는, 국소 복호 화상(14)의 내용이 글로벌 예측 화상 데이터(34)로서 출력되어 메모리(a)의 내용을 재기록한다(스텝 S23). 메모리(a)의 내용을 갱신한다고 판단되지 않는 경우는, 메모리(a)의 갱신을 하지 않는다.
또, 상기 프레임에 있어서의 메모리(a) 갱신 판정 결과(1000)는 복호측에서 동일한 임의 갱신을 할 수 있도록, 비트 스트림(21)에 다중화되어 복호측으로 전송된다.
도 20은 이 실시예의 비트 스트림(21)을 나타내는 도면이다.
도 20에 있어서는, 프레임 데이터가 차례로 부호화되어 전송되는 양태를 개념적으로 나타내고 있다. 각 프레임 데이터의 선두에는 프레임 단위의 부가 정보로서 헤더 정보가 부가되어 있다. 또한, 헤더 정보에는 메모리(a) 갱신 판정 결과(1000)가 다중화되어 복호측으로 전송된다. 헤더 정보의 뒤로부터는, 그 프레임을 구성하는 매크로 블록 데이터가 연속되고 있다. 매크로 블록 데이터의 내부에는, 그 매크로 블록 데이터를 예측하기 위해서 사용된 메모리를 나타내는 예측 메모리 지시 정보(800)가 포함되어 있다. 복호 장치에 있어서는, 각 매크로 블록 데이터의 예측 메모리 지시 정보(800)에 근거하여, 예측 화상을 예측하는 메모리를 특정하여 예측 화상을 생성한다.
도시하지 않고 있지만, 메모리(a) 갱신 판정 결과(1000)와 함께, 또는, 그 대신에, 메모리(b) 갱신 정보, 및/또는 메모리(c) 갱신 정보를 복호측으로 전송하도록 해도 상관없다.
이상 설명한 부호화 장치에 의해, 동화상 시퀀스의 내용에 따라서 복수의 메모리를 효율적으로 구별하여 사용하는 기구가 공급되어, 예측 효율을 향상시킬 수 있다. 즉, 동화상 시퀀스의 예측시에, 동화상 시퀀스의 내용이나 성질에 따라서 복수의 메모리를 구별지어 사용하여 임의의 변형 파라미터에 근거한 예측을 하기 때문에, 복잡한 움직임까지도 커버하여 국소적인 화상의 성질에 추종한 효율적인 동화상 예측을 할 수 있으며, 예측 효율이 향상되어, 부호화 화상의 품질을 유지하면서 부호화 데이터의 발생량을 감소시키는 부호화 장치를 구성할 수 있다. 또한, 본 발명의 예측 방식에 근거하여 부호화된 비트 스트림을 복호하는 복호 장치에 있어서도 동일한 예측 방식에 의해 구성할 수 있다.
이 실시예에서는 프레임마다 부호화하는 장치에 대해서 설명하였지만 임의의 형상을 갖는 동화상 오브젝트(VOP)를 부호화하는 장치에 대해서도 동일한 효과를 기대할 수 있다.
또한, 이 실시예에서는 피예측 화상 영역의 일 예로서 매크로 블록을 단위로 한 부호화 장치에 대해서 설명하였지만, 임의의 형상을 가지는 부분 화상 등의 화상 단위 또는 복수의 고정 사이즈 블록의 조합에 의해서 구성되는 가변 형상의 블록 등의 화상 단위로 화상을 부호화하는 장치에 대해서도, 동일한 효과를 기대할 수 있다.
또한, 이 실시예에서는, 메모리(a)를 사용한 글로벌 움직임 파라미터 검출을 사용하였지만, 이것을 사용하지 않고서 로우컬 움직임 검출만을 사용하는 구성도 적용 가능한 것은 물론이다. 글로벌 움직임 검출을 하지 않는 경우는, 예측 모드로서 글로벌/로우컬 예측의 판별 정보는 전송할 필요가 없다.
또한, 이 실시예에 있어서, 미리 동화상 시퀀스의 내용에 근거하여 생성된 참조 화상 데이터를 축적하여 부호화중에 갱신하지 않는 메모리를 형성하고, 그것을 예측에 사용하는 구성도 갖출 수 있다.
또한, 이 실시예에 있어서는, 메모리(a, b, c) 에 대하여 각각 부분 영역을 축적하도록 하여 메모리 갱신부(15)에 의한 메모리 갱신은, 메모리(a, b, c)중 어느 하나의 메모리에 대해 행하는 경우를 나타내었지만, 메모리(a, b, c)가 화상의 일부분, 또는, 전부를 공유하여 화상을 축적하는 경우에는, 메모리 갱신부(15)는 메모리(a, b, c) 중 2개의 메모리, 또는, 모든 메모리를 갱신한다. 예컨대, 메모리(a)가 1 프레임의 참조 화상 데이터를 축적하는 프레임 메모리이고, 메모리(b)가 차차 갱신을 수반하지 않는 스태틱 스프라이트 메모리이고, 메모리(c)가 차차 갱신을 동반하는 다이나믹 스프라이트 메모리인 경우에는, 스태틱 스프라이트 메모리는, 미리 고정적인 데이터를 참조 화상 데이터로서 축적하고 있기 때문에, 메모리(b)는 메모리 갱신부(15)에 의해서는 갱신되지 않지만, 메모리(a)와 메모리(c)가 동일 영역의 참조 화상 데이터를 축적하고 있는 경우에는, 메모리 갱신부(15)는, 메모리(a)와 메모리(c)를 동시에 갱신하게 된다. 이와 같이, 메모리(a, b, c)가 참조 화상 데이터를 중복하여 축적하는 경우에는, 중복된 영역을 각각 메모리 갱신부(15)가 갱신한다.
이상의 사항은, 이하에 설명하는 실시예에 있어서도 동일하다.
또한, 이 실시예에서는, 3개의 메모리(a, b, c)를 사용하는 경우를 나타내었지만, 어느 2개의 메모리를 사용하는 경우라도 상관없다.
또한, 이 실시예에서 설명한 움직임 보상부(5), 메모리 갱신부(15)와 완전히 동일한 부재를 갖는 예측 화상 생성부(100)를 사용한 복호 장치를 구성하는 것도 가능하다. 복호 장치에 사용되는 경우는, 움직임 보상부는 3개의 모든 예측 화상 후보를 생성할 필요는 없으며 복호된 움직임 파라미터에 관계되는 예측 화상만을 생성하면 된다.
실시예 2
다음에, 도 1에 도시된 구성의 부호화 장치에 있어서, 움직임 보상부(5)의 구성만 다른 구성으로 한 부호화 장치의 실시예를 나타내며, 실시예 2의 움직임 보상부(5a)의 구성과 동작에 대해서 설명한다.
이 실시예에 있어서의 움직임 보상부(5a)의 내부 구성을 도 7에 도시한다. 상기 도면에 있어서, 35는 참조 메모리 결정부이다. 또한 이 움직임 보상부(5a)의 상세한 동작을 기록한 흐름도를 도 8에 도시한다.
우선, I-프레임이라면 움직임 보상을 하지 않는다(스텝 S24). I-프레임이 아니면, 참조 메모리 결정부(35)는 움직임 파라미터(4)의 값에 근거하여 참조 메모리를 결정한다(스텝 S25). 참조 메모리 결정부(35)는 각 메모리(a, b, c)에 할당되어 있는 유효 움직임 파라미터치 영역(상세한 것은 후술함)을 보유하고 있으며, 움직임 파라미터(4)의 값과 비교함으로써, 상기 움직임 파라미터(4)가 어떤 메모리를 가리키고 있는지를 판단하여, 메모리(a, b, c)를 식별하는 참조 메모리 지시 신호(25a)를 출력한다.
유효 움직임 파라미터치 영역이란, 예컨대 움직임 벡터를 검출하는 경우, 그 탐색범위가 ±15화소라고 하면, ±0으로부터 3화소의 범위에서는 메모리(a)를, ±4로부터 8화소의 범위에서는 메모리(b)를, ±9로부터 15화소의 범위에서는 메모리(c)를 예측에 사용하도록 할 수 있는, 각 메모리마다의 유효 탐색 범위를 의미한다. 단, 글로벌 움직임 파라미터에서 예측 화상을 생성하는 경우는 참조 메모리는 메모리(a)로 정해져 있으므로, 참조 메모리 결정부(35)를 기동하는 것은 로우컬 움직임 파라미터를 사용할 때만으로 한다. 이와 같이, 움직임 벡터의 값으로 예측에 사용하는 메모리를 특정하는 것은, 배경 화상은 움직임이 적고, 주목도가 높은 화상일수록 움직임이 커진다는 전제에 의거하는 것이다. 이와 같이, 움직임 벡터의 값으로 예측에 사용하는 메모리를 특정하는 경우는, 예측 모드를 부호화하여 전송할 필요가 없다.
이어서, 선택된 참조 메모리 지시 신호(25a)에 따라서 예측 화상 후보(6)가 생성된다(스텝 S26 내지 스텝 S30). 구체적으로는, 예측 화상 메모리 어드레스 산출부(22)에 있어서, 참조 메모리 지시 신호(25a)에서 지시되는 메모리중의 예측 화상 후보(6)가 존재하는 예측 화상 메모리 어드레스(23)를 움직임 파라미터(4)에 근거하여 계산하고, 예측 화상 메모리 어드레스(23)에 의해서 메모리 판독부(24)가 대응하는 메모리로부터 예측 화상 후보(6)를 인출하여 출력한다.
이 실시예에 있어서는 글로벌 움직임 파라미터도 로우컬 움직임 파라미터도 동일한 변형 방식에 근거하기 때문에, 어느 쪽의 예측 화상 생성도 도 7의 움직임 보상부(5a)를 공유하여 사용할 수 있다. 또, 글로벌 움직임 파라미터에 의해 예측 화상 후보(6)를 인출하는 경우(스텝 S31)는, 항상 메모리(a)가 참조 메모리로서 사용된다.
유효 움직임 파라미터치 영역은, 동화상 시퀀스마다 일정치 영역이라도 되지만, 예를 들어, 각 프레임마다 변경해도 된다. 각 프레임마다 변경하는 경우는, 상기 프레임에 있어서의 각 메모리의 유효 움직임 파라미터치 영역은, 복호측에서 동일한 메모리 선택을 할 수 있도록, 비트 스트림으로 다중화되어 복호측으로 전송된다.
도 21은 이 실시예의 비트 스트림(21)을 도시하는 도면이다.
이 비트 스트림의 선두에는, 동화상 시퀀스 단위로 부가된 헤더 정보가 있다. 이 헤더 정보는, 각 메모리의 유효 움직임 파라미터치 영역 지시 정보를 갖고 있다. 이와 같이, 동화상 시퀀스의 선두에 유효 움직임 파라미터치 영역 지시 정보를 지정함으로써, 그 동화상 시퀀스에 대하여 일정치 영역의 유효 움직임 파라미터치 영역을 사용한 예측 방식을 복호 장치로 할 수 있다.
프레임마다 유효 움직임 파라미터치 영역을 변경하는 경우는, 프레임 단위로 부가된 헤더 정보 중에 유효 움직임 파라미터 치역 지시 정보를 포함시키면 된다.
이상 설명한 움직임 보상부(5a)의 구성을 가지는 부호화 장치에 의해, 프레임이 국소적인 움직임의 정도에 따라서 복수의 메모리를 효율적으로 구별하여 사용하는 기구가 공급되어, 예측 효율을 향상시킬 수 있다.
이 실시예에서는 프레임마다 부호화하는 장치에 대해서 설명하였지만 임의의 형상을 가지는 동화상 오브젝트(VOP)를 부호화하는 장치에 대해서도 동일한 효과를 기대할 수 있다.
또한, 이 실시예에서는 매크로 블록을 단위로 한 부호화 장치에 대해서 설명하였지만, 임의의 형상을 가지는 부분 화상 등의 화상 단위 또는 다수개의 고정 사이즈 블록의 조합에 의해서 구성되는 가변 형상의 블록 등의 화상 단위로 화상을 부호화하는 장치에 대해서도, 동일한 효과를 기대할 수 있다.
또한, 이 실시예에서는, 메모리(a)를 사용한 글로벌 움직임 파라미터 검출을 사용하였지만, 이것을 사용하지 않고 로우컬 움직임 검출만을 사용하는 구성이라도 적용 가능한 것은 말할 필요도 없다. 글로벌 움직임 검출을 하지 않는 경우는, 예측 모드로서 글로벌/로우컬 예측의 판별 정보는 전송할 필요가 없다.
또한, 이 실시예에서 설명한 움직임 보상부(5a)와 완전히 동일의 부재를 갖는 예측 화상 생성부(100)를 사용한 복호 장치를 구성하는 것도 가능하다. 복호 장치에 사용되는 경우는, 움직임 보상부는 복호된 움직임 파라미터에 관계되는 예측 화상만 생성하면 된다
실시예 3
다음에, 도 1에 도시된 구성의 부호화 장치에 있어서, 움직임 보상부(5)의 구성만을 다른 구성으로 한 부호화 장치의 실시예를 나타내며, 움직임 보상부(5b)의 구성과 동작에 대해서 설명한다. 이 실시예에 있어서의 움직임 검출부(3a)는 움직임 파라미터(4a)로서 평행 이동량, 어핀 파라미터, 원근법 파라미터를 각각 출력하는 것으로 한다.
또한, 이 실시예에 있어서의 메모리(a)는 참조 화상을 1프레임분 기억하는 프레임 메모리이고, 메모리(b)는 스태틱 스프라이트 메모리이며, 메모리(c)는 다이나믹 스프라이트 메모리인 것으로 한다.
이 실시예에 있어서의 움직임 보상부(5b)의 내부 구성을 도 9에 도시한다. 상기 도면에 있어서, 36은 평행 이동량(=움직임 벡터), 37은 어핀 파라미터, 38은 원근법 파라미터, 39는 평행 이동량에 근거하는 예측 화상 메모리 어드레스 산출부, 40은 어핀 파라미터에 근거하는 예측 화상 메모리 어드레스 산출부, 41은 원근법 파라미터에 근거하는 예측 화상 메모리 어드레스 산출부이다. 또한 이 움직임 보상부(5b)의 상세한 동작을 기록한 흐름도를 도 10에 도시한다.
우선, I-프레임이라면 움직임 보상을 하지 않는다(스텝 S33). I-프레임이 아닌 경우, 예측 화상 메모리 어드레스 산출부(39 내지 41)는 각각 움직임 파라미터(4a)의 값에 근거하여 예측 화상 메모리 어드레스(23)를 계산한다(스텝 S34).
각 예측 화상 메모리 어드레스 산출부는, 대응하는 각 메모리에 할당되어 있는 화상 변형 방식에 근거하여 어드레스 계산을 한다. 이 실시예에 있어서는, 메모리(a)에 평행 이동, 메모리(b)에 어느 정도 회전이나 확대·축소와 같은 단순한 변형을 동반하는 어핀 파라미터, 메모리(c)에 3차원적이고 복잡한 움직임을 동반하는 원근법 파라미터를 사용한다. 이들 변형 방식은 이하와 같은 변환식으로 나타낼 수 있다.
〔평행이동〕
평행이동량(a, b):
x'= x + a
y'= y + b
〔어핀 변환〕
어핀 파라미터(a, b, c, θ):
x'= a(cos θ)x + a(sinθ)y + b
y'= a(-sinθ)x + a(cosθ)y + c
〔원근법 변환〕
원근법 파라미터(a, b, c, d, e, f):
x'=(a x + b y + c)/(g x + h y + 1)
y'=(d x + e y + f)/(g x + h y + 1)
여기서, 2차원 좌표상의(x, y)는 원매크로 블록의 화소 위치, (x', y')는 각 파라미터에 의해서 (x, y)에 대응되는 메모리중의 화소 위치이다. 즉, 이들 파라미터를 바탕으로 (x', y')의 메모리상의 위치를 계산한다. 이 기구를 갖는 것에 의해, 각 매크로 블록마다 움직임의 성질이 가장 적합한 메모리로부터 예측을 할 수 있게 된다. 각 움직임 파라미터(36, 37, 38)로부터 계산한 예측 화상 메모리 어드레스(23)에 의해서, 메모리 판독부(24)가 대응하는 메모리로부터 예측 화상 후보(6)를 인출하여 출력한다(스텝 S35로부터 스텝 S39).
또, 상기 프레임에 있어서의 각 메모리의 변형 방식의 타입은 복호측에서 동일한 움직임 보상을 할 수 있도록, 움직임 검출 수법 지시 정보로서 비트 스트림(21)으로 다중화되어 복호측으로 전송된다.
도 22는 이 실시예의 비트 스트림(21)을 도시하는 도면이다.
동화상 시퀀스의 선두에 부가되는 헤더 정보 중에는, 움직임 검출 수법 지시 정보가 포함되어 있다. 부호화 장치에서는, 각 메모리에서 사용하는 변형 방식의 타입을 변경할 수 있고, 이 대응 관계를 나타내는 움직임 검출 수법 지시 정보를 동화상 시퀀스의 헤더 정보로서 복호 장치로 보낸다. 이렇게 하여 복호 장치에 있어서는, 각 메모리에서 사용하는 변형 방식의 타입을 식별할 수 있다.
복호 장치에 있어서는, 식별된 변형 방식의 타입이 동적으로 각 메모리에 대응되도록 된다.
이상 설명한 움직임 보상부(5b)의 구성을 가지는 부호화 장치에 의해, 프레임이 국소적인 움직임의 성질에 따라서 복수의 메모리를 효율적으로 구별지어 사용하는 기구가 공급되어, 예측 효율을 향상시킬 수 있다.
이 실시예에서는 프레임마다 부호화하는 장치에 대해서 설명하였지만, 임의의 형상을 가지는 동화상 오브젝트(VOP)를 부호화하는 장치에 대해서도 같은 효과를 기대할 수 있다.
또한, 이 실시예에서는 매크로 블록을 단위로 한 부호화 장치에 대해서 설명하였지만, 임의의 형상을 가지는 부분 화상 등의 화상 단위 또는 복수의 고정 사이즈 블록의 조합에 의해서 구성되는 가변 형상의 블록 등의 화상 단위로 화상을 부호화하는 장치에 대해서도, 같은 효과를 기대할 수 있다.
또한, 이 실시예에서는, 메모리(a)를 사용한 글로벌 움직임 파라미터 검출을 사용하였지만, 이것을 사용하지 않고서 로우컬 움직임 검출만을 사용하는 구성이라도 적용 가능한 것은 물론이다. 글로벌 움직임 파라미터 검출을 하지 않는 경우는, 예측 모드로서 글로벌/로우컬 예측의 판별 정보는 전송할 필요가 없다.
또한, 이 실시예에서는, 메모리(a, b, c)를 사용하는 경우를 나타내었지만, 메모리(a)와 메모리(b)만을 사용하는 경우, 또는 메모리(a)와 메모리(c)를 사용하는 경우, 또는 메모리(b)와 메모리(c)만을 사용하는 경우라도 상관없다.
또한, 이 실시예에서 설명한 움직임 보상부(5b)와 완전히 동일한 부재를 갖는 예측 화상 생성부(100)를 사용한 복호 장치를 구성하는 것도 가능하다. 복호 장치에 사용되는 경우는, 움직임 보상부는 복호된 움직임 파라미터에 관계되는 예측 화상만을 생성하면 된다.
실시예 4
다음에, 형상 정보를 가진 다수, 예를 들어 2개의 다른 동화상 오브젝트가 혼재하는 동화상 시퀀스를 대상으로 하고, 이들 동화상 오브젝트를 일괄해서 부호화하는 장치의 실시예를 설명한다. 도 11에 이 실시예에 있어서의 부호화 장치의 구성을 도시한다.
상기 도면에 있어서, 42는 입력 화상 프레임, 43은 오브젝트 분리부, 44a, 44b는 오브젝트 데이터, 45a, 45b는 형상 블록, 46a, 46b는 스위치, 47a, 47b는 형상 부호화부, 48a, 48b는 압축 형상 블록 데이터, 49a, 49b는 국소 복호 형상 블록, 50a, 50b는 텍스쳐 데이터(매크로 블록), 51a, 51b는 움직임 검출부, 52a, 52b는 움직임 파라미터, 53a, 53b는 움직임 보상부, 54a, 54b는 예측 화상 후보, 55a, 55b는 예측 모드 선택부, 56a, 56b는 예측 모드 정보, 57a, 57b는 예측 화상, 58a, 58b는 예측 오차 신호, 59a, 59b는 텍스쳐 부호화부, 60a, 60b는 압축 텍스쳐 데이터, 61a, 61b는 국소 복호 예측 오차 신호, 62a, 62b는 국소 복호 매크로 블록, 63은 메모리 갱신부, 64는 메모리(a), 65는 메모리(b), 66은 메모리(c), 67은 메모리(d), 68은 메모리(e), 69는 메모리(f), 70a, 70b는 가변장 부호화부, 71은 다중화부, 72는 버퍼, 73은 비트 스트림, 94는 메모리부, 88a는 A 오브젝트를 부호화하는 A 오브젝트 부호화부, 88b는 B 오브젝트를 부호화하는 B 오브젝트 부호화부이다. 오브젝트 부호화부(88a, 88b)는 동일한 부재에 의한 동일한 내부 구성을 갖는다.
이 부호화 장치는 화상 프레임(42)을 입력하고, 이것이 오브젝트 분리부(43)에 있어서 부호화 단위의 오브젝트로 나누어진다. 오브젝트 분리부(43)의 처리는 임의의 방법을 취할 수 있는 것으로 한다.
오브젝트의 형상 정보는 형상 블록(45a, 45b)의 형식으로 형상 부호화부(47a, 47b)에 보내지고 부호화되며, 압축 형상 블록 데이터(48a, 48b)로서 가변장 부호화부(70a, 70b)에 보내진다.
움직임 검출부(51a, 51b)는 VM 부호화 방식과 같이 국소 복호 형상 블록(49a, 49b)을 고려하여 움직임 파라미터의 검출을 한다. 움직임 파라미터 검출은 매크로 블록 단위로 메모리(a 내지 f)의 전부를 사용하여 수행할 수 있다.
단, 원칙으로서 A 오브젝트 부호화부(88a)에 있어서 부호화되는 A 오브젝트에 대해서는 메모리(a 내지 c)를, B 오브젝트 부호화부(88b)에 있어서 부호화되는 B 오브젝트에 대해서는 메모리(d 내지 f)를 각각 사용하는 것으로 한다.
또한, 움직임의 종류로서는, 움직임 벡터와 와핑 파라미터와 같은 구별을 없애고, 메모리부(94)의 모든 메모리에 대해서 임의의 변형 파라미터를 매크로 블록단위로 검출할 수 있는 것으로 한다.
움직임 보상부(53a, 53b)에서 각 움직임 파라미터(52a, 52b)에 근거하여 모든 예측 화상 후보(54a, 54b)를 생성한 후, 예측 모드 선택부(55a, 55b)에서 예측 화상(57a, 57b) 및 예측 모드 정보(56a, 56b)를 얻는다. 원신호 또는 텍스쳐 데이터(50a, 50b)와 예측 화상(57a, 57b)과의 차분을 취하여 예측 오차 신호(58a, 58b)를 얻고, 이것이 텍스쳐 부호화부(59a, 59b)에서 부호화되어 가변장 부호화부(70a, 70b)에 보내진다. 또한, 국소 복호된 예측 오차 신호(61a, 61b)가 예측 화상(57a, 57b)로 가산되어 국소 복호 매크로 블록(62a, 62b)이 되며, 메모리 갱신부의 지시에 따라서 메모리(a 내지 f)에 기록된다.
상기 A/ B 오브젝트 부호화부(88a, 88b)에 있어서 부호화된 A/B 오브젝트 데이터는 다중화부(71)에서 1개의 비트 스트림(73)으로 다중화되어, 버퍼(72)를 통하여 전송된다.
이하, 이 실시예에 있어서의 예측에 대해서 주요한 동작을 하는 움직임 보상부(53a, 53b)를 중심으로 설명한다.
이 실시예에 있어서의 움직임 보상부(53a, 53b)는 움직임 검출부(51a, 51b)에서 검출한 움직임 파라미터(52a, 52b)에 근거하여 예측 화상 후보를 생성한다. 움직임 보상부(53a)의 내부 구성을 도 12에 도시한다. 또한, A 오브젝트 부호화부(88a)에서의 움직임 보상부(53a)의 동작의 흐름도를 도 13에 도시한다. 또, 움직임 보상부(53b)에서도 동일하게 구성되며 동일하게 조작한다.
도 12에 있어서, 74a는 B 오브젝트 참조 판정부, 75a는 B 오브젝트 참조 지시 플래그이다.
여기서 움직임 파라미터(52a)는 검출에 사용한 메모리 정보도 포함하는 것으로 한다. 파라미터의 값으로부터 실시예 1과 마찬가지로, 예측 화상 메모리 어드레스 산출부(22a), 메모리 판독부(24a)를 기록하여 예측 화상 후보를 생성한다(스텝 S44내지 스텝 S49). 또한, B 오브젝트 참조 판정부(74a)는 움직임 파라미터(52a)중의 참조하는 메모리 정보로부터, 상기 매크로 블록의 예측에 B 오브젝트용 메모리를 사용하고 있는지의 여부를 판정한다(스텝 S43).
B 오브젝트 참조 판정부(74a)는 판정 결과를 B 오브젝트 참조 지시 플래그(75a)로서 출력하며, 복호측에서 상기 오브젝트가 단독으로, 자신의 메모리(a, b, c)만을 사용하여 재생할 수 있는지 여부의 판정에 사용되기 때문에, 비트 스트림(73)에 다중화되어 복호측으로 전송된다. 부호화시에는, 외부로부터 주는 신호(85a)에 의해, 항상 복호측에서 상기 오브젝트의 단독 재생이 가능하도록, 움직임 파라미터의 검출에 있어서, 자신의 예측용 메모리(a, b, c, 만)밖에 사용하지 않도록 제어하는 것도 가능하게 한다.
이상 설명한 움직임 보상부(53a, 53b)의 구성을 가지는 부호화 장치에 의해, 프레임의 국소적인 움직임의 성질에 따라서 복수의 메모리를 효율적으로 구별지어 사용하는 기구가 공급되어, 예측 효율을 향상시킬 수 있다.
또한, 이 실시예에서는 오브젝트를 매크로 블록 단위로 부호화하는 장치에 대해서 설명하였지만, 임의의 형상을 가지는 부분 화상 또는 다수개의 고정 사이즈 블록의 조합에 의해서 구성되는 가변 형상의 블록 등의 단위로 부호화하는 장치에 대해서도, 동일한 효과를 기대할 수 있다.
또, 이 실시예에서 설명한 움직임 보상부(53a, 53b)와 동일한 부재를 사용한 복호 장치를 구성하는 것도 가능하다. 복호 장치에 사용되는 경우는, 움직임 보상부(53)는 복호된 움직임 파라미터에 관계되는 예측 화상만을 생성하면 된다. 또한, 비트 스트림으로부터 타(他) 오브젝트 참조 지시 플래그(75a, 75b) 상당의 비트를 복호하여, 복호중의 오브젝트가 단독으로 재생할 수 있는지의 여부를 인식할 수 있는 구성으로 하면, 오브젝트 데이터를 오류 없이 복호 재생할 수 있게 된다.
실시예 5
다음에, 동화상 오브젝트의 시간적 변화에 대응하여, 메모리의 수 또는 용량을 자유 자재로 변화 시킬 수 있는 구성의 부호화 장치의 실시예를 설명한다. 실시예 5에 있어서는, 도 1에 도시된 구성의 부호화 장치에 있어서의 메모리 갱신부(15)의 구성을 바꿔놓은 부호화 장치를 고려할 수 있다.
도 14에 이 실시예에 있어서의 메모리 갱신부(15a)의 내부 구성을 도시한다. 상기 도면에 있어서, 76은 메모리 확장 판정부, 77은 메모리 확장 지시 신호, 78은 메모리 축퇴 판정부, 79는 메모리 축퇴 지시 신호이다. 도 15에 메모리 갱신부(15a)의 동작 플로(스텝 S51 내지 스텝 S63)를 도시한다.
신 체인지 등에 의해 메모리에 축적되어 있던 동화상 시퀀스의 이력과는 현저하게 다른 화상이 나타난 경우, 신 체인지 후의 예측에 있어서는, 기존 메모리에 포함되는 참조 화상만으로서는 예측 효율이 열화될 경우가 있다. 그와 같은 경우, 신 체인지 검출부(80)에 의해 신 체인지를 검출하며, 신 체인지 직후의 프레임은 인트라 프레임 부호화하는 등으로, 그것을 새로운 참조 화상으로서 메모리에 추가 축적해 두는 것이 가능하다면, 그 이후의 예측 효율을 향상시킬 수 있다.
또한, 추가할 수 있는 메모리의 용량에는 물리적 한계가 있기 때문에, 메모리상의 참조 화상중, 거의 예측에 사용되지 않는 부분을 순차 축퇴할 수 있는 기구도 갖게 한다. 메모리(a, b, c)의 각 메모리 영역 예측에 사용되는 빈도를 예측 모드(8)에 근거하여 메모리 갱신부(15a)에서 계측해 두고, 메모리 갱신부에 빈도가 작은 메모리 영역을 사용 영역으로부터 개방하는 기구를 갖게 한다. 이 실시예에 의하면, 예를 들어 소프트웨어에서 부호화 장치를 구성하는 경우, 한정된 RAM(랜덤액세스 메모리) 자원을 유효하게 활용할 수 있다.
이상의 관점으로부터, 이 실시예에 있어서의 메모리 갱신부(15a)는, 동화상 시퀀스의 시간적 변화의 상황에 따라서 메모리 영역을 증가시키거나, 예측에 그다지 사용되지 않는 참조 화상을 포함하는 메모리 영역을 축퇴하는 기능을 갖는다.
메모리(a)에 대해서는, 실시예 1과 마찬가지로, 메모리(a) 갱신 판정부(27)에 있어서 갱신의 가부가 결정되며(스텝 S50), 갱신하는 경우는 국소 복호 화상(14)을 메모리(a)에 기록한다(스텝 S56, 스텝 S57). 또한, 예측 모드(8)에 따라서 각 메모리로 국소 복호 화상(14)이 기록된다(스텝 S51로부터 스텝 S55).
이들 메모리 내용 갱신은, 메모리 확장/축퇴의 판정을 동반하여 행해진다. 메모리 확장 판정부(76)에 있어서는, 메모리(a)의 갱신에 사용하는 액티비티(26)를 바탕으로 메모리(a) 또는 메모리(b, c)의 용량을 늘리는지를 판정한다(스텝 S58 내지 스텝 S60). 신 체인지 등에 의해 용량을 늘리는 편이 좋다고 판정되면, 메모리 확장 지시 신호(77)에 의해서 메모리의 확장이 지시된다. 또한, 메모리 축퇴 판정부(78)에 있어서는, 예측 모드(8)를 바탕으로 예측에 사용되는 메모리 영역의 카운트를 해두고, 소정의 회수 이하밖에 예측에 사용되지 않는 메모리 영역에 대해서는, 메모리 축퇴 지시 신호(79)에 의해서 메모리의 축퇴가 지시된다(스텝 S61 내지 스텝 S63).
이상 설명한 메모리 갱신부(15a)의 구성을 갖는 부호화 장치에 의해, 동화상 시퀀스의 시간적 변화에 추종하여 효율성 높은 예측을 할 수 있는 동시에, 예측에 필요한 메모리 영역을 다이나믹하게 할당하는 기구가 공급되어, 예측 효율을 향상시키는 동시에 메모리 자원의 유효한 활용이 가능하다.
이 실시예에서는 프레임마다 부호화하는 장치에 대해서 설명하였지만 임의의 형상을 갖는 동화상 오브젝트(VOP)를 부호화하는 장치에 대해서도 동일한 효과를 기대할 수 있다.
또한, 이 실시예에서는 프레임을 매크로 블록 단위로 부호화하는 장치에 대해서 설명하였지만, 임의의 형상을 가지는 부분 화상 등의 화상 단위 또는 복수의 고정 사이즈 블록의 조합에 의해서 구성되는 가변 형상의 블록 영역 등의 화상 단위로 화상을 부호화하는 장치에 대해서도, 동일한 효과를 기대할 수 있다.
또한, 이 실시예에서 설명한 메모리 갱신부(15a)와 완전히 동일한 부재를 사용한 복호 장치를 구성하는 것도 가능하다.
실시예 6
상기 각 실시예에 있어서는 매크로 블록 단위로 예측에 사용하는 메모리를 변경하는 경우를 나타내었지만, 프레임 또는 동화상 오브젝트 단위로, 예측에 사용하는 메모리를 변경하여 예측하는 구성을 취할 수 있다. 이것에 의해, 프레임 또는 동화상 오브젝트의 단위로 부호화해야 할 메모리 관련의 정보 및 매크로 블록 단위로 부호화해야 할 메모리 선택 정보(예측 모드(8)에 포함된다)를 부호화할 필요가 없어져, 효율적인 부호화를 행할 수 있다.
예컨대 실시예 1에 있어서의 도 1의 부호화 장치에 있어서는, 매크로 블록 단위로 예측에 사용하는 메모리를 바꾸는 것이 가능하게 되기 때문에, 매크로 블록 단위로 어떤 메모리를 예측에 사용하였는지를 나타내는 부가 정보를 전송할 필요가 있다. 이에 대하여, 본 실시예에서는 이 사용 메모리의 전환 단위를 프레임 또는 동화상 오브젝트로 제한하여 예측함으로써, 매크로 블록 단위로 전송해야 할 부가 정보를 효과적으로 삭감하는 것을 가능하다. 도 23에, 도 20에 도시된 실시예 1의 전송 비트 스트림(21)과 본 실시예의 전송 비트 스트림(21)의 차이를 도시한다. 도 23에 도시하는 예는 프레임 단위로 예측에 사용하는 메모리를 변경하는 경우를 나타내며, 예측 메모리 지시 정보(800)가 프레임 단위의 헤더 정보에 포함되어 있다. 도 23에 도시된 예는, 예를 들어, 동화상 시퀀스의 영상의 성질이 정상적으로 변화하지 않고, 매크로 블록 레벨의 국소적인 변화가 적은 경우에 유효하다. 또한, 이상과 같이 하여 부호화된 비트 스트림을 복호하여 프레임 또는 동화상 오브젝트를 재생하는 복호 장치를 구성하는 것도 가능하다.
실시예 7
상기 각 실시예에 있어서, 복수의 메모리중, 임의의 다수, 예를 들어 2개, 의 메모리(예를 들어 메모리(a와 b))로부터 인출된 2개의 예측 화상 후보를 가산 평균한 화상을 예측 화상 후보(6)의 1개로 하는 구성 또는 예측 화상(9)으로서 사용하는 구성으로 할 수 있다. 또한, 이상과 같이 하여 부호화된 비트 스트림을 복호하여 프레임 또는 동화상 오브젝트를 재생하는 복호 장치를 구성하는 것도 가능하다.
실시예 8
상기 각 실시예에 나타낸 부호화 장치에 있어서, 예측을 하는 단위가 되는 화상 영역의 공간적인 복잡함, 주시도 등을 규정하는 특징량 파라미터를 미리 검출해두고, 이들을 예측 모드 결정, 메모리 갱신시의 판정 척도로서 사용하는 구성을 취할 수 있다.
예를 들면, 복잡한 움직임을 포함하여, 주어진 부호량내에서 허용 품질을 달성하는 부호화를 행하는 것이 곤란한 동화상을 상정한다. 이러한 경우는, 피예측 화상 영역(매크로 블록, 임의 형상 화상 영역, 임의 형상 블록 등)마다 중요도를 확인하여, 중요도가 낮은 영역은 어느 정도 품질을 떨어뜨려 부호량을 감소시키고, 그 분량을 중요도가 높은 영역에 할당하여 전체의 품질을 향상시킨다. 본 발명과 같이 복수의 메모리를 임의의 타이밍으로 바꾸어 예측하는 장치에서는, 피예측 화상 영역의 중요도를 나타내는 특징량 파라미터를 검출하고, 이것에 근거하여 동적으로 메모리 사용 방법을 결정함으로써, 보다 화상의 성질에 적응한 예측을 할 수 있다. 예컨대, 도 16에 도시된 바와 같이, 영역마다 특징량 파라미터를 검출하여 중요도를 결정하는 영역 중요도 검출부(95)를 형성한다. 영역 중요도 검출부(95)는 영역 중요도를 예측 모드 선택부(7a)로 전하는 동시에 영역 중요도에 근거하는 양자화 파라미터를 텍스쳐 부호화부(11a)로 전한다. 영역 중요도 검출부(95)에서 중요도가 높다고 판정된 영역은, 다수 준비된 예측 모드중, 가장 복잡한 모드를 사용하여 예측한다. 예를 들어, 각 메모리(a, b, c)로부터의 참조 화상을 사용하여 각각 복잡한 움직임 모델에 근거한 움직임 파라미터와 예측 화상을 구하고, 이들 예측 화상의 임의의 조합(가산 평균 등)도 포함시켜 가장 예측 효율이 높은 예측 모드를 예측 모드 선택부(7a)에서 선택한다. 이 때, 예측에 사용한 모든 메모리에 대하여 참조 화상을 갱신한다. 또한, 텍스쳐 부호화부(11a)에서는, 양자화 스텝폭이 세밀한 양자화 파라미터에 의해 부호화한다.
한편, 중요도가 낮은 영역에서는, 간이한 예측 모드(1개의 메모리만을 사용한 평행 이동량 검출)에 의해서 예측하고, 얻어진 예측 오차 신호의 진폭에 관계 없이 적은 부호량이 되도록, 양자화 스텝을 성긴 양자화 파라미터를 사용하여 부호화한다. 이상의 제어를 함에 따라, 중요도가 낮은 영역은 어느 정도 품질을 떨어뜨리더라도, 중요도가 높은 영역은 고도의 예측에 의해서 품질이 유지되고, 주어진 부호량으로 전체의 품질을 향상시킬 수 있다.
실시예 9
복수의 메모리를 사용하여 동화상 시퀀스를 예측, 부호화하는 장치에 있어서, 동화상 시퀀스의 각 시간에 있어서 사용 가능한 부호량, 또는 상기 시간에서의 신의 변화량(신 체인지 검출 등), 실시예 8에서 설명한 바와 같은 피예측 화상 영역의 특징량이나 중요도 등의 파라미터를 검출해두고, 이들 값을, 상기 시간에 있어서의 화상의 예측에 사용할 수 있는 예측 방식, 또는 참조 메모리 영역의 선택 시의 판정 척도로서 이용하는 구성을 취할 수 있다. 예를 들어, 도 17과 같이, 프레임 단위로 중요도를 결정하는 프레임 중요도 검출부(96)를 형성하고, 전프레임에 대한 상기 프레임의 변화량(신 체인지 검출부(80)로부터의 신 체인지를 검출), 새로운 오브젝트의 출현·은폐의 유무 등을 검출하여, 송신 버퍼(20)로부터 통지되는 상기 프레임에서 사용할 수 있는 부호량을 고려하여 최종적인 프레임 중요도를 결정한다. 이에 근거하여, 중요도가 높은 프레임에서는 준비된 모든 예측 방식과 참조 메모리 영역을 사용하여 최대한 예측 효율을 향상시키며, 중요도가 낮은 프레임에서는 예측 방식이나 참조 메모리 영역을 한정하여 사용하고, 부호화 처리를 간소화하여 처리량을 저감시키는 장치 구성이 고려된다. 또한, 신 체인지시에 예측을 하지 않고서 모두 인트라 프레임 부호화하는 장치도 고려된다. 또한, 실시예 8에서 설명한 영역 중요도 검출부(95)와 병용하면, 보다 섬세하고 치밀한 품질 제어를 할 수 있다. 이상의 제어를 함에 따라, 중요도가 낮은 프레임은 어느 정도 품질을 떨어뜨리더라도, 중요도가 높은 프레임은 고도의 예측에 의해서 품질이 유지되고, 주어진 부호량으로 전체의 품질을 향상시킬 수 있다.
본 실시예의 사고 방식은, 처리 프로세스나 사용 가능한 메모리량이 유동적인 소프트웨어에 의한 부호화시에, 이용할 수 있는 자원을 최대한으로 활용하여 효율성 높게 부호화 처리를 하는 경우에도 적용 가능하다. 중요도가 낮은 프레임에서는 처리량을 저감할 수 있고, 전체의 처리 속도를 향상시킬 수 있다.
실시예 10
도 11에 도시된 바와 같이 복수의 메모리를 사용하여 복수의 동화상 오브젝트로 구성되는 동화상 시퀀스를 예측, 부호화하는 장치에 있어서, 시퀀스로서 사용할 수 있는 총부호량, 각 동화상 오브젝트의 각 시간에 있어서 사용 가능한 부호량, 또는 상기 시간에서의 동화상 오브젝트의 변화량(오브젝트의 출현, 은폐 등),각 동화상 오브젝트의 신(scene) 중에서의 중요도/주시도의 레벨, 실시예 8이나 9에서 설명한 바와 같은 피예측 화상 영역의 특징량이나 중요도 등의 파라미터를 검출해 두고, 이들 값을, 상기 시간에 있어서의 동화상 오브젝트의 예측에 사용할 수 있는 예측 방식, 또는 참조 메모리 영역의 선택시의 판정 척도로서 사용하는 구성을 취할 수 있다.
예를 들어, 도 18과 같이, 각 오브젝트(1 내지 n)에 대응하는 중요도 검출부(97a 내지 97n)를 형성하여, 오브젝트의 각 시간에 있어서의 변화량이나 오브젝트의 출현·은폐의 유무 등을 나타내는 파라미터를 검출하는 동시에, 모든 오브젝트의 부호화 데이터가 축적되는 전체 버퍼(72x)의 점유율, 각 오브젝트의 가상 버퍼(72a 내지 72n)의 점유율을 고려하여, 각 시간에 있어서 오브젝트의 중요도를 결정한다. 예를 들어, 오브젝트내에 다른 오브젝트의 일부가 겹치는 등의 결과로서 새로운 타입의 영역이 출현한 경우, 이것은 이후의 예측 효율에 크게 영향을 주기 때문에, 어느 정도 오브젝트의 가상 버퍼에 여유가 없는 경우라도 중요도를 높게 하여, 부호화 화상을 깨끗하게 해두는 등의 제어가 생각된다. 중요도 검출부(97a 내지 97n)에서 검출된 중요도는 오브젝트 1 내지 N 부호화부(98a 내지 98n)에 건네지고, 중요도가 높은 오브젝트에서는 준비된 모든 예측 방식과 참조 메모리 영역을 사용하여 최대한 예측 효율을 향상시키며, 중요도가 낮은 오브젝트에서는 예측 방식이나 참조 메모리 영역을 한정하여 사용하고, 부호화 처리를 간소화하여 처리량을 저감시키는 장치 구성이 고려된다. 또한, 프레임으로부터 실시간에 오브젝트 분리하여 부호화하는 장치에서는, 새로운 오브젝트의 출현이나, 기존 오브젝트의 은폐 등에 의해서 상기 오브젝트의 내용이 현저하게 변화한 경우에, 예측을 하지 않고서 모두 인트라 프레임 부호화하는 장치도 고려된다. 또한, 오브젝트 1 내지 N 부호화부(98a 내지 98n)에 있어서 실시예 8에서 설명한 영역 중요도 검출부(95)도 병용하면, 오브젝트내의 각 피예측 대상 영역 단위에 의해 섬세하고 치밀한 품질 제어를 할 수 있다. 이상의 제어를 함에 따라, 중요도가 낮은 오브젝트는 어느 정도 품질을 떨어뜨리더라도, 중요도가 높은 오브젝트는 고도의 예측에 의해서 품질이 유지되고, 주어진 부호량으로 전체의 품질을 향상시킬 수 있다.
실시예 11
또한, 도 19에 도시된 바와 같이, 예측에 관한 부호화 정보(참조 메모리 번호 등)의 부호 할당하여 (부호화)를 행하는 예측 정보 부호화부(91)를 형성하는 경우가 있다.
복수의 메모리(a, b, c)를 사용하여 동화상 시퀀스 또는 동화상 오브젝트를 예측, 부호화하는 장치에 있어서, 예측에 사용되는 메모리의 사용 빈도에 따라서 복수의 메모리의 랭크 부여를 하고, 또한 이 랭크 부여를 부호화중에 다이나믹하게 변경할 수 있도록 하여, 상기 예측 정보 부호화부(91)에 있어서의 예측에 관한 부호화 정보(참조 메모리 번호 등)의 부호 할당을, 예측에 사용하는 복수의 메모리의 랭크에 따라서 행하도록 하는 구성을 취할 수 있다.
예를 들어, 도 19의 부호화 장치에 있어서, 메모리 갱신부(15b)에, 메모리(a, b, c) 각각의 예측에 사용되는 빈도를 카운트하는 카운터(92)를 설치해 두고, 그 카운트치에 따라서 메모리(a, b, c)를 랭크 부여하여, 랭크 정보(90)를 출력한다. 이 랭크 부여는 예를 들어 1프레임 또는 동화상 오브젝트의 일정 시간에 있어서의 화상(VOP)을 단위로 행해도 좋고, 보다 세밀한 단위인 피예측 화상 영역(매크로 블록, 임의 형상 영역, 임의 형상 블록 등)마다 행할 수도 있다.
이것에 의해, 어떤 메모리가 어느 정도 빈번하게 예측에 사용되는지를 인식할 수 있다. 빈번하게 예측에 사용되는 메모리는, 예측을 함에 있어서 중요도가 높은 메모리이며, 참조 빈도가 높을수록 랭크를 높게 한다.
이렇게 하여, 각 피예측 화상 영역 단위로 예측에 사용한 메모리의 빈도 정보를 부호화하는 경우, 빈번하게 참조하는 메모리(=랭크가 높은 메모리)에는 짧은 부호 길이를 할당하는 쪽이 부호화 효율이 높아진다.
또한, 각 피예측 화상 영역 단위로 검출한 움직임 파라미터도, 참조한 메모리의 랭크에 대응하여 부호 길이를 할당할 수 있으면, 빈번하게 발생하는 움직임 파라미터치에 대하여 짧은 부호 길이를 할당할 수 있으며, 효율적인 예측 정보의 부호화가 가능하게 된다. 이들 기구는, 가변장 부호화·다중화부(19)의 예측 정보 부호화부(91)가 메모리 갱신부(15b)의 카운터(92)로부터 각 메모리의 랭크를 수신하도록 해두고, 이 랭크 정보(90)에 근거하여 부호 길이를 가변 예측 정보의 부호화를 행하는 구성으로 실현할 수 있다.
실시예 12
도 24는 본 실시예에 있어서의, 압축 부호화된 디지털 화상을 신장 재생하는 화상 복호 장치의 구성을 나타낸 것이다. 상기 도면에 있어서 21은 부호화된 비트 스트림, 119는 가변장 복호부, 12는 양자화 DCT 계수, 12a는 양자화 직교 변환 계수, 12b는 양자화 스텝, 111은 텍스쳐 복호부, 111a는 역양자화부, 111b는 역직교 변환부, 190은 복호 가산부, 101은 복호 화상, 191은 표시 제어부, 8은 예측 모드, 1001은 메모리(b) 갱신 정보, 1002는 메모리(c) 갱신 정보, 4는 움직임 벡터(움직임 파라미터), 800은 예측 메모리 지시 정보, 195는 피예측 화상 영역의 화면내 위치, 105는 움직임 보상부, 116은 메모리(a), 117은 메모리(b), 118은 메모리(c), 115는 메모리 갱신부, 106은 예측 화상이다. 움직임 보상부(105)와 메모리 갱신부(115)에 의해 예측 화상 생성부(100a)를 구성하고 있다. 또한, 메모리(a, b, c)에 의해 메모리 영역(200a)을 구성하고 있다.
이 실시예에서는, 메모리(a)는 1프레임분의 화상 데이터를 축적하는 프레임 메모리이고, 메모리(b)는 스태틱 스프라이트 메모리이며, 메모리(c)는 다이나믹 스프라이트 메모리인 것으로 한다. 또한, 이 실시예의 복호 장치는, 도 22에 도시된 비트 스트림(21)을 입력하는 것으로 한다. 또한, 도 22에는 도시되어 있지 않지만, 메모리(b) 갱신 정보(1001) 및 메모리(c) 갱신 정보(1002)가 비트 스트림의 내에서 보내지는 것으로 한다. 메모리(b) 갱신 정보(1001)에는, 스태틱 스프라이트 메모리를 전면 갱신하기 위한 갱신 지시와 전면 갱신하기 위한 화상 데이터가 포함되어 있는 것으로 한다. 마찬가지로, 메모리(c) 갱신 정보(1002)에는, 다이나믹 스프라이트 메모리를 전면 갱신하는 갱신 지시와 전면 갱신하기 위한 화상 데이터가 포함되어 있는 것으로 한다.
이하, 상기 구성의 장치의 동작을 설명한다. 우선, 가변장 복호부(119)에 있어서 비트 스트림(21)이 해석되어, 개개의 부호화 데이터로 잘라 나누어진다. 양자화 직교 변환 계수(12a)는 역양자화부(119a)에 보내지고, 양자화 스텝(12b)을 사용하여 역양자화된다. 이 결과가 역직교 변환부(111b)에 있어서 역직교 변환되어 텍스쳐가 복호되고, 복호 가산부(190)에 보내진다. 직교 변환은 DCT(이산 코사인 변환) 등, 부호화 장치측에서 사용하는 것과 동일한 것을 사용한다.
움직임 보상부(105)에는, 가변장 복호부(119)에서 비트 스트림(21)으로부터 복호된 움직임 벡터(4), 예측 메모리 지시 정보(800)와, 피예측 화상 영역의 화면내 위치(195)를 나타내는 정보가 입력된다. 움직임 보상부(105)는 이들 3종류의 정보에 따라서 복수의 메모리(a, b, c)에 기억되어 있는 참조 화상으로부터 원하는 예측 화상을 인출한다. 피예측 화상 영역의 화면내 위치(195)는 비트 스트림에 포함되어 있는 정보가 아닌 매크로 블록의 수를 카운트함으로써 계산할 수 있다. 예측 화상 생성의 처리에 대해서는 이하의 움직임 보상부(105)의 동작 설명의 개소에서 상술한다.
복호 가산부(190)는 예측 모드(8)의 정보에 근거하여, 인트라 프레임 부호화된 블록이면 역직교 변환부(111b)의 출력을 그대로 복호 화상(101)으로서 출력하며, 인터프레임 부호화된 블록이면 역직교 변환부(111b)의 출력에 예측 화상(106)을 가산하여 복호 화상(101)으로서 출력한다. 복호 화상(101)은 표시 제어부(191)에 보내지고, 표시 디바이스에 출력되는 동시에, 이후의 복호 처리에 있어서 참조 화상으로서 사용하기 위해서 메모리(a 내지 c)에 기록된다. 메모리로의 기록은 예측 모드(8)에 근거하여, 메모리 갱신부(115)에서 제어된다.
다음에, 예측 화상 생성부(100a)의 움직임 보상부(105)에 있어서의 예측 화상 생성 처리에 대해서 설명한다. 본 실시예에서는, 화상의 예측 방식은 예측 메모리 지시 정보(800)에 근거하여 결정된다. 본 실시예에 의한 복호 장치에서는 예측 화상을 생성함에 있어서, 움직임 벡터(4)와 예측 메모리 지시 정보(800)에 근거하여, 소정의 좌표 변환 처리 및 보간 처리에 의해 참조 화상으로부터 예측 화상을 생성한다. 좌표 변환 처리 방법은 미리 예측에 사용하는 메모리에 대응되어 있는 것으로 한다. 예를 들어, 실시예 3에서 설명한 화상 변형 방식과 동일한 이하와 같은 변형 수법의 예를 생각할 수 있다.
(1)메모리(a)를 예측에 사용하는 경우 (=예측 메모리 지시 정보(800)가 메모리(a)의 사용을 지시하고 있는 경우)
움직임 벡터에 의해서 피예측 대상 영역의 각 화소의 좌표를 평행 이동시키고, 메모리(a) 중의 대응하는 위치의 화상 데이터를 예측 화상으로서 인출한다.
(2)메모리(b)를 예측에 사용하는 경우 (=예측 메모리 지시 정보가 메모리(b)의 사용을 지시하고 있는 경우)
움직임 벡터에 근거하여 어핀 변환식을 구하고, 변환식에 의해서 피예측 대상 영역의 각 화소의 좌표를 변위시켜, 메모리(b) 중의 대응하는 위치의 화상 데이터를 예측 화상으로서 인출한다.
(3)메모리(c)를 예측에 사용하는 경우 (=사용 메모리 지시 정보가 메모리(c)의 사용을 지시하고 있는 경우)
움직임 벡터에 근거하여 원근법 변환식을 구하고, 변환식에 의해서 피예측 대상 영역의 각 화소의 좌표를 변위시키며, 메모리(c) 중의 대응하는 위치의 화상 데이터를 예측 화상으로서 인출한다.
움직임 보상부(105)의 내부 구성을 도 25에 도시한다. 상기 도면에 있어서, 161은 스위치, 162는 메모리(a)용 대응점 결정부, 163은 메모리(b)용 대응점 결정부, 164는 메모리(c)용 대응점 결정부, 165는 메모리 판독 어드레스 생성부, 166은 스위치, 167은 보간 처리부이다. 또한, 도 26은 그 동작의 양태를 나타내는 흐름도이다.
이하, 도 25 및 도 26을 바탕으로, 본 실시예에 있어서의 움직임 보상부(105)의 동작을 설명한다.
1)대응점의 결정
먼저, 예측 메모리 지시 정보(800)에 근거하여, 스위치(161)에 의해서 대응하는 메모리용의 대응점 결정부를 선택하고, 선택된 대응점 결정부에 움직임 벡터(4)를 입력한다. 여기서는, 각 메모리에 대응한 예측 화상 위치의 산출을 한다. 이하, 메모리 대응으로 설명한다.
1-1)예측 메모리 지시 정보(800)가 메모리(a)를 지시하고 있는 경우(스텝 S100)
움직임 벡터에 의한 평행 이동에 의해서, 예측 화상 위치를 산출한다(스텝 S101). 구체적으로는, 움직임 벡터(a,b)에 의해서, 피예측 화상 영역의 위치(x, y)의 화소에 대한 예측 화상 위치(x', y')를 아래 수학식에 의해서 결정한다.
x' = x + a
y' = y + b
결정된 예측 화상 위치를 메모리 판독 어드레스 생성부(165)에 출력한다.
1-2)예측 메모리 지시 정보(800)가 메모리(b)를 지시하고 있는 경우(스텝 S103)
움직임 벡터(4)에 근거하여 어핀 변환식을 결정한다. 구체적으로는, 피예측 화상 영역을 둘러싸는 직사각형 영역의 정점의 움직임 벡터를 사용하여, 아래 수학식의 어핀 파라미터(a, b, c, e)를 결정한다.
x'=a(cosθ)x + a(sinθ)y + b
y'=a(-sinθ)x + a(cosθ)y + c
이것에 의해, 피예측 화상 영역의 위치(x, y)의 화소에 대하는 예측 화상 위치(x', y')를 구하고, 메모리 판독 어드레스 생성부(165)에 출력한다(스텝 S104). 1-3)예측 메모리 지시 정보(800)가 메모리(c)를 지시하고 있는 경우(스텝 S106)
움직임 벡터에 근거하여 원근법 변환식을 결정한다. 구체적으로는, 피예측 화상 영역을 둘러싸는 구형 영역의 정점의 움직임 벡터를 사용하여, 아래 수학식의 원근법 파라미터(a, b, c, d, e, f)를 결정한다.
x' = (a x + b y + c)/(g x + h y + 1)
y' = (d x + e y + f)/(g x + h y + 1)
이것에 의해, 피예측 화상 영역의 위치(x, y)의 화소에 대한 예측 화상 위치(x', y') 를 구하고, 메모리 판독 어드레스 생성부에 출력한다(스텝 S107).
2)예측 화상 생성용 데이터의 판독
선택된 대응점 결정부로부터 출력되는 예측 화상 위치(x' y')를 기초로, 메모리 판독 어드레스 생성부(165)가 메모리에 축적되어 있는 참조 화상중의 예측 화상 생성에 필요한 화상 데이터의 위치를 특정하는 메모리 어드레스를 생성하여, 예측 화상 생성용 데이터를 판독한다(스텝 S102, S105, S108).
3)예측 화상의 생성
예측 화상을 구성하는 화소 중, 정수 화소 위치의 화소이면, 예측 화상 생성용 데이터가 그대로 예측 화상 구성 화소가 된다. 한편, 실수 정밀도의 화소 위치의 화소인 경우, 보간 처리부(167)에 의해서 예측 화상 생성용 데이터의 보간 처리에 의해서 보간 화소치가 생성된다(스텝 S109, S110, S111). 보간 화소치의 생성은 도 27에 따른다. 도 27에 있어서, (ip, jp)는 정수 화소 위치를 나타내며, (i', j')는 실수 정밀도의 화소 위치를 나타내고, w는 무게를 나타낸다.
4)메모리(참조 화상)의 갱신
도 28에, 메모리 갱신부(115)의 제어의 흐름도를 나타낸다. 메모리 갱신부(115)에서는, 예측 모드(8)(또는, 예측 메모리 지시 정보 80O)에 근거하여 예측 화상 인출 단위(예를 들어 매크로 블록 단위)로 각 메모리의 갱신을 제어한다. 메모리(a)를 기록하여 예측한 경우(스텝 S112)는, 복호 화상(101)에 의해서 순차, 메모리(a 및 c)의 내용을 갱신한다(스텝 S113). 메모리(b)를 기록하여 예측한 경우(스텝 S114)는, 메모리(b)는 스태틱 스프라이트 메모리이기 때문에, 메모리(b)의 참조 화상은 예측 화상 인출의 단위로서는 갱신하지 않는다. 그러나, 복호 화상(101)에 의해서 차차, 메모리(a 및 c)의 내용을 갱신한다(스텝 S115). 한편, 메모리(b) 갱신 정보(1001)에 의한 갱신 지시를 받은 경우, 메모리(b) 갱신 정보(1001)에 포함되는 화상 데이터를 수취 메모리(b)의 내용을 전면 갱신한다(스텝 S116). 또한, 메모리(c)를 기록하여 예측한 경우(스텝 S117)는 복호 화상(101)에 의해서 차차, 메모리(a 및 c)의 내용을 갱신한다(스텝 S118). 또한, 메모리 갱신 정보에 의해 갱신지시를 받은 경우에, 메모리(c) 갱신 정보(1002)에 포함되는 화상 데이터를 수취 메모리(c)의 내용을 갱신한다(스텝 S119).
이 실시예에 있어서는, 메모리(a, b, c)의 3개의 메모리를 사용하는 경우를 나타내었지만, 2개의 메모리를 사용하는 경우라도 상관없다. 예를 들어, 메모리(a와 b), 즉, 프레임 메모리와 스태틱 스프라이트 메모리를 사용하는 경우라도 상관없다. 또는 메모리(a와 c), 즉, 프레임 메모리와 다이나믹 스프라이트 메모리를 사용하는 경우라도 상관없다.
이상과 같이, 본 실시예의 복호 장치에 의하면, 화상의 움직임에 대응하여 여러가지 종류의 움직임 파라미터를 사용하여 효율성 높게 예측을 한 부호화된 비트 스트림(21)을 복호할 수 있는 동시에, 부호화측에서 정해지는 타이밍으로 참조 화상의 내용을 임의로 갱신하는 기구에 대응할 수 있으므로, 보다 화상의 성질에 적응한 복호 처리를 할 수 있다.
본 실시예에서는, 직교 변환 부호화 이외의 별도의 부호화 방식에 의해서 예측 오차 신호를 부호화한 비트 스트림이라도, 움직임 보상부·메모리 갱신부 이외의, 예측 오차 신호 복호 처리를 위한 부재를 변경함으로써 동일한 효과를 얻을 수 있다.
또한, 본 실시예는, 고정 사이즈 블록을 단위로서 복호 처리를 할 수 있는 통상의 텔레비젼 신호의 프레임을 단위로 하는 복호 장치에 적용될 수 있을 뿐만 아니라, 피예측 대상 영역을 고정 사이즈 블록에 한정하지 않고, 임의 형상 화상 오브젝트(예:ISO/IEC JTC1/SC29/WG11/N1902로 개시되는 Video Object Plane 등)를 단위로 하는 복호 장치에도 적용 가능하다.
이상 설명한 바와 같이, 본 발명에 의하면, 참조용 화상을 축적하는 메모리영역을 다수 가지므로, 동화상 시퀀스의 성질에 따라서 메모리로 나누어 축적할 수 있으며, 또한, 복수의 메모리 영역중 1개 이상의 메모리 영역의 내용을 임의의 타이밍으로 갱신 가능하기 때문에, 배경 화상 등의 시불변인 화상 내용은 장시간 내용의 갱신을 하지 않고, 국소적으로 변화하는 화상 영역은 빈번하게 메모리 내용을 갱신하는 등의 제어가 가능해져, 동화상 시퀀스의 이력을 살린 효율적인 예측을 할 수 있다.
또한, 복수의 메모리 영역 각각에, 각 메모리 영역이 유효하게 되는 변형 파라미터치 영역을 설정하여, 피예측 화상 영역의 변형 파라미터의 값에 따라서 메모리 영역을 바꾸어 예측에 사용하므로, 동화상 시퀀스의 국소적/대역적인 움직임의 크기에 따라서 효율적인 예측을 할 수 있다. 동시에, 피예측 화상 영역마다 부호화해야 할 움직임 파라미터는 참조 메모리 영역의, 유효 움직임 파라미터치 영역의 범위내에서 효율적으로 부호화할 수 있다.
또한, 복수의 메모리 영역 각각에, 각 메모리에서 유효하게 되는 변형수법을 설정하여, 피예측 화상 영역의 변형 파라미터의 종류에 따라서 메모리를 바꾸어 예측할 수 있기 때문에, 동화상 시퀀스의 국소적/대역적인 움직임이 복잡함에 따라서 효율적인 예측을 할 수 있다. 동시에, 피예측 화상 영역의 움직임의 성질에 맞추어서 변형 수법을 적절히 선택할 수 있으며, 움직임 파라미터를 효율적으로 부호화할 수 있다.

Claims (21)

  1. 예측시에 참조하는 화상 데이터를 축적하는 동시에, 각각 개별의 변형 수법이 대응되어 있는 복수의 메모리와,
    피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하고, 상기 피예측 화상 영역의 예측에 사용한 메모리에 축적된 화상 데이터를 사용하며, 상기 파라미터와, 상기 메모리에 대응된 변형 수법에 근거하여 예측 화상을 생성하는 예측 화상 생성부를 구비하며,
    적어도 부호화 장치 및 복호 장치중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 동화상 예측 방식.
  2. 제 1 항에 있어서, 상기 부호화 장치는, 상기 예측 화상의 생성에 사용한 상기 메모리를 나타내는 예측 메모리 지시 정보 신호를 생성하며, 복호측에서도 상기 메모리에 축적된 화상 데이터를 사용하여, 상기 메모리에 대응된 변경 수법에 근거하여 상기 예측 화상을 생성할 수 있도록, 상기 예측 메모리 지시 정보 신호와 상기 파라미터를 복호측으로 송신하는 것을 특징으로 하는 동화상 예측 방식.
  3. 제 1 항에 있어서, 상기 복호 장치는, 상기 파라미터와 상기 예측 화상의 생성에 사용한 메모리를 나타내는 예측 메모리 지시 정보를 부호화측에서 수신하고,
    상기 예측 화상 생성부는, 상기 파라미터와 상기 메모리에 대응된 변형 수법에 근거하여, 상기 메모리에 축적된 화상 데이터를 사용하여 상기 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  4. 예측시에 참조하는 화상 데이터를 축적하는 동시에, 각각 개별의 파라미터 유효치 영역이 대응되어 있는 복수의 메모리와,
    피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하며, 상기 파라미터의 값을 포함하는 상기 파라미터 유효치 영역이 대응된 메모리를 선택하고, 선택된 메모리에 축적된 화상 데이터를 사용하여 예측 화상을 생성하는 예측 화상 생성부를 구비하며,
    적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 동화상 예측 방식.
  5. 예측시에 참조하는 화상 데이터를 축적하는 복수의 메모리와,
    피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하며, 상기 파라미터에 근거하여 상기 복수의 메모리에 축적된 화상 데이터를 사용하여 예측 화상을 생성하는 움직임 보상부와, 상기 복수의 메모리의 적어도 1개의 메모리에 축적되는 화상 데이터를 임의의 타이밍으로 갱신하는 메모리 갱신부를 갖는 예측 화상 생성부를 구비하며,
    적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 동화상 예측 방식.
  6. 제 1 항, 제 4 항 제 5항 중 어느 한 항에 있어서, 상기 동화상 예측 방식은, 제 1 과 제 2 동화상 오브젝트를 갖는 동화상 시퀀스상의 동화상을 예측하고,
    상기 복수의 메모리는, 상기 제 1 과 제 2 동화상 오브젝트에 대응하는 제 1과 제 2의 개별 복수 메모리를 구비하며, 상기 예측 화상 생성부는, 상기 제 1 과 제 2 동화상 오브젝트에 대응하는 제 1 과 제 2의 개별 생성부를 구비하고 있고,
    상기 제 1 생성부는, 상기 제 1 동화상 오브젝트를 예측하는 경우에, 적어도 상기 제 1과 제 2의 복수의 메모리중 어느 하나에 축적되어 있는 화상 데이터를 사용하여 상기 예측 화상을 생성하는 동시에, 제 2의 복수의 메모리를 제 1 동화상 오브젝트의 예측에 사용하고 있는지의 여부를 나타내는 정보를 예측 화상에 부가하기 위해서 생성하는 것을 특징으로 하는 동화상 예측 방식.
  7. 제 1 항, 제 4 항 제 5 항중 어느 한 항에 있어서, 상기 예측 화상 생성부는, 동화상의 각 시간에 있어서의 변화에 따라서, 상기 복수의 메모리의 수와 사이즈중 어느 하나를 증감하는 것에 의해 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  8. 제 1 항, 제 4 항 제 5 항중 어느 한 항에 있어서, 상기 예측 화상 생성부는, 동화상의 각 시간에 있어서의 변화에 따라서, 예측에 사용하는 메모리를 한정하는 것에 의해 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  9. 제 1 항에 있어서, 상기 예측 화상 생성부는, 상기 복수의 메모리에 축적된 상기 화상 데이터를 사용하여 각각 생성된 복수의 예측 화상을 연산함으로써 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  10. 제 1 항에 있어서, 상기 동화상 예측 방식은, 피예측 화상 영역의 중요도를 나타내는 특징량 파라미터를 검출하는 중요도 검출부를 구비하며,
    상기 예측 화상 생성부는, 상기 특징량 파라미터에 근거하여, 적어도 복수의 예측 방식과, 복수의 메모리와, 복수의 메모리 갱신 방법중 어느 하나에 대해서, 복수의 선택요소중 속에서 적어도 1개를 선택함으로써 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  11. 제 1 항 또는 제 5 항에 있어서, 상기 동화상 예측 방식은, 적어도, 피예측 화상 영역이 이용 가능한 부호량과, 각 시간에 있어서의 상기 화상 영역의 변화량과, 상기 화상 영역의 중요도중 어느 하나를 나타내는 파라미터를 검출하는 중요도 검출부를 구비하며,
    상기 예측 화상 생성부는, 상기 파라미터에 근거하여, 적어도 복수의 예측 방식과, 복수의 메모리와, 복수의 메모리 갱신 방법중 어느 하나에 대하여, 복수의 선택요소중 적어도 1개를 선택함으로써 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  12. 제 1 항 또는 제 5 항에 있어서, 상기 동화상 예측 방식은, 동화상을 동화상 오브젝트 단위로 예측하고,
    상기 동화상 예측 방식은, 적어도, 피예측 동화상 오브젝트가 이용 가능한 부호량과, 각 시간에 있어서의 상기 동화상 오브젝트의 변화량과, 상기 동화상 오브젝트의 중요도중 어느 하나를 나타내는 파라미터를 검출하는 중요도 검출부를 구비하며,
    상기 예측 화상 생성부는, 상기 파라미터에 근거하여, 적어도 복수의 예측 방식과, 복수의 메모리와, 복수의 메모리 갱신 방법중 어느 하나에 대하여, 복수의 선택요소중 적어도 1개를 선택함으로써 예측 화상을 생성하는 것을 특징으로 하는 동화상 예측 방식.
  13. 제 1 항 또는 제 5 항에 있어서, 상기 동화상 예측 방식은, 동화상의 부호화에 있어서, 예측에 관계되는 정보를 부호화하는 예측 정보 부호화부를 구비하며,
    상기 예측 화상 생성부는, 예측에 사용되는 메모리의 사용 빈도수를 카운트하고, 카운트한 사용 빈도수에 근거하여 상기 복수의 메모리의 랭크를 결정하고, 상기 예측 정보 부호화부는, 예측에 사용되는 메모리의 랭크에 따라서, 예측에 관계되는 정보에 부호 길이를 할당함으로써 예측에 관계되는 정보를 부호화하는 것을 특징으로 하는 동화상 예측 방식.
  14. 제 1 항에 있어서, 상기 복수의 메모리는, 적어도, 화상 데이터를 프레임 단위로 축적하는 프레임 메모리와, 스프라이트(sprite) 화상을 축적하는 스프라이트 메모리를 갖는 것을 특징으로 하는 동화상 예측 방식.
  15. 제 14 항에 있어서, 상기 스프라이트 메모리는, 적어도, 순차 갱신을 수반하는 다이나믹 스프라이트 메모리와 순차 갱신을 수반하지 않는 스태틱 스프라이트 메모리중 어느 하나를 갖는 것을 특징으로 하는 동화상 예측 방식.
  16. 제 14 항에 있어서, 상기 복수의 메모리는, 적어도, 평행 이동, 어핀(affine) 변환, 원근법 변환 중의 어느 하나의 변형 수법이 변경 가능하게 대응되는 것을 특징으로 하는 동화상 예측 방식.
  17. 예측시에 참조하는 화상 데이터를 복수의 메모리에 축적하는 공정과,
    상기 복수의 메모리에 각각 개별의 변형수법을 대응시키는 공정과,
    피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하는 공정과,
    상기 피예측 화상 영역의 예측에 사용한 메모리에 축적된 화상 데이터를 사용하여, 상기 파라미터와 상기 메모리에 대응된 변형 수법에 근거하여 예측 화상을 생성하는 공정을 구비하며,
    적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법.
  18. 제 17 항에 있어서, 상기 동화상을 예측하는 방법은, 상기 예측 화상 생성에 사용한 상기 메모리를 나타내는 예측 메모리 지시 정보 신호를 생성하는 공정과,
    상기 예측 메모리 지시 정보 신호와 상기 파라미터를 복호측으로 송신하는 공정을 더 구비한 것을 특징으로 하는 동화상을 예측하는 방법.
  19. 제 17 항에 있어서, 상기 동화상을 예측하는 방법은, 예측 화상의 생성에 사용한 메모리를 나타내는 예측 메모리 지시 정보 신호와 피예측 화상 영역의 움직임을 표현하는 파라미터를 부호화측으로부터 수신하는 공정을 더 구비하며, 복호에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법.
  20. 예측시에 참조하는 화상 데이터를 복수의 메모리에 축적하는 공정과,
    상기 복수의 메모리에 각각 개별의 파라미터 유효치 영역을 대응시키는 공정과,
    피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하는 공정과,
    상기 파라미터의 값을 포함하는 상기 파라미터 유효치 영역이 대응된 메모리를 선택하는 공정과,
    선택된 메모리에 기억된 화상 데이터를 사용하여 예측 화상을 생성하는 공정을 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법.
  21. 예측시에 참조하는 화상 데이터를 복수의 메모리에 축적하는 공정과,
    피예측 화상 영역의 움직임을 표현하는 파라미터를 입력하는 공정과,
    상기 파라미터에 근거하여, 상기 복수의 메모리에 축적된 화상 데이터를 사용하여 예측 화상을 생성하는 공정과,
    상기 복수의 메모리의 적어도 1개의 메모리에 기억되는 화상 데이터를 임의의 타이밍으로 갱신하는 공정을 구비하며, 적어도 부호화 및 복호중 어느 하나에 사용되는 것을 특징으로 하는 동화상을 예측하는 방법.
KR1019980708155A 1997-02-13 1998-01-22 동화상예측시스템및방법 KR100309086B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2886297 1997-02-13
JP97-28862 1997-02-13
PCT/JP1998/000232 WO1998036576A1 (en) 1997-02-13 1998-01-22 Moving picture prediction system

Publications (2)

Publication Number Publication Date
KR20000064898A true KR20000064898A (ko) 2000-11-06
KR100309086B1 KR100309086B1 (ko) 2001-12-17

Family

ID=12260195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980708155A KR100309086B1 (ko) 1997-02-13 1998-01-22 동화상예측시스템및방법

Country Status (8)

Country Link
US (7) US6775326B2 (ko)
EP (12) EP2173103A3 (ko)
JP (10) JP3748895B2 (ko)
KR (1) KR100309086B1 (ko)
CN (5) CN1217852A (ko)
HK (3) HK1109001A1 (ko)
TW (1) TW376650B (ko)
WO (1) WO1998036576A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030042115A (ko) * 2001-11-21 2003-05-28 정한승 다중 레퍼런스 프레임 기반의 동영상 부호화 방법
KR100720851B1 (ko) * 2004-04-16 2007-05-25 가부시키가이샤 엔티티 도코모 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 기록한 기록 매체, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 기록한 기록 매체

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1217852A (zh) * 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP4805518B2 (ja) * 2000-04-14 2011-11-02 シーメンス アクチエンゲゼルシヤフト 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置
EP1156678A3 (en) * 2000-05-15 2007-07-11 Matsushita Electric Industrial Co., Ltd. Video decoding method, video decoding apparatus, and video decoding program storage medium
EP2373035B1 (en) * 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
EP1670259A3 (en) 2002-01-23 2010-03-03 Nokia Corporation Grouping of image frames in video coding
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
JP4007594B2 (ja) * 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
KR20050120699A (ko) * 2003-04-04 2005-12-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 엔코딩 및 디코딩 방법 및 대응 디바이스들
DE602004028927D1 (de) * 2003-05-06 2010-10-14 Nxp Bv Videokodierungs- und dekodierungsverfahren und entsprechende kodierungs- und dekodierungsvorrichtungen
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US20050105621A1 (en) * 2003-11-04 2005-05-19 Ju Chi-Cheng Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
US7521174B2 (en) * 2003-12-05 2009-04-21 Albert Einstein College Of Medicine Of Yeshiva University Universal red blood cells, methods of preparing same, and uses thereof
EP1667464B1 (en) * 2003-12-22 2013-03-06 NEC Corporation Method and apparatus for encoding moving pictures
JP2007524309A (ja) * 2004-02-20 2007-08-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ復号の方法
KR100994773B1 (ko) 2004-03-29 2010-11-16 삼성전자주식회사 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치
US8902971B2 (en) * 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
DE102004049156B4 (de) * 2004-10-08 2006-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codierschema für einen ein zeitlich veränderliches Graphikmodell darstellenden Datenstrom
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
JP4257655B2 (ja) * 2004-11-04 2009-04-22 日本ビクター株式会社 動画像符号化装置
JP4501676B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP4480156B2 (ja) * 2005-02-02 2010-06-16 キヤノン株式会社 画像処理装置及び方法
US7822121B2 (en) * 2005-03-17 2010-10-26 Lsi Corporation Method and/or apparatus for implementing global motion compensation in a video system
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
US8908766B2 (en) 2005-03-31 2014-12-09 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US7769274B2 (en) * 2005-05-06 2010-08-03 Mediatek, Inc. Video processing and optical recording using a shared memory
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
CN101815224A (zh) * 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
JP4514666B2 (ja) * 2005-07-25 2010-07-28 シャープ株式会社 動画像符号化装置
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US8059719B2 (en) * 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US7924914B2 (en) * 2005-09-20 2011-04-12 Intel Corporation Dynamically configuring a video decoder cache for motion compensation
JP4666255B2 (ja) * 2005-12-27 2011-04-06 日本電気株式会社 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
EP2041982A2 (en) * 2006-07-11 2009-04-01 Thomson Licensing Methods and apparatus using virtual reference pictures
US7957601B2 (en) * 2006-08-30 2011-06-07 Siemens Medical Solutions Usa, Inc. Systems and methods of inter-frame compression
KR100678410B1 (ko) * 2006-11-13 2007-02-02 (주)아이팝엔지니어링종합건축사사무소 공동주택용 조립식 계단 설치구조
JP4875007B2 (ja) * 2007-02-09 2012-02-15 パナソニック株式会社 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
JP5187531B2 (ja) * 2007-02-20 2013-04-24 ソニー株式会社 画像表示装置
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
JP5281839B2 (ja) * 2008-07-23 2013-09-04 パナソニック株式会社 画像合成符号化方法、画像合成符号化装置、撮像システム
EP2315447A1 (en) * 2008-08-21 2011-04-27 Panasonic Corporation Motion detection device
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
US9253496B2 (en) * 2008-12-12 2016-02-02 Qualcomm Incorporated Intelligent decoded picture buffering
JP2012080151A (ja) * 2009-02-09 2012-04-19 Toshiba Corp 幾何変換動き補償予測を用いる動画像符号化及び動画像復号化の方法と装置
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
JP5927117B2 (ja) * 2009-07-23 2016-05-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化及び復号化のための適応的変換選択のための方法及び装置
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
JPWO2011048764A1 (ja) * 2009-10-19 2013-03-07 パナソニック株式会社 復号装置、復号方法、プログラム、及び集積回路
CN101783958B (zh) * 2010-02-10 2011-10-05 中国科学院计算技术研究所 Avs视频标准中时域直接模式运动矢量的计算方法和装置
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
WO2012002039A1 (ja) * 2010-06-29 2012-01-05 富士フイルム株式会社 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) * 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
JP2012244437A (ja) * 2011-05-19 2012-12-10 Canon Inc 画像処理装置、画像処理方法
US8989256B2 (en) * 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5729825B2 (ja) * 2011-09-26 2015-06-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5898924B2 (ja) * 2011-11-10 2016-04-06 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置および動画像予測復号プログラム
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
KR20130108949A (ko) * 2012-03-26 2013-10-07 한국전자통신연구원 영상부호 및 복호화 단계에서의 이중 객체검출 및 이동경로 정보를 이용한 영상 압축 방법
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
JP2015002462A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像圧縮回路、画像圧縮方法、および伝送システム
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
JP2017126896A (ja) * 2016-01-14 2017-07-20 株式会社東芝 監視システム、監視装置、および再生装置
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20190045213A1 (en) * 2017-08-03 2019-02-07 Intel Corporation Reference frame reprojection for improved video coding
JP7315821B2 (ja) * 2019-04-01 2023-07-27 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
US11095901B2 (en) * 2019-09-23 2021-08-17 International Business Machines Corporation Object manipulation video conference compression
JP7397360B2 (ja) * 2019-11-15 2023-12-13 日本電信電話株式会社 映像符号化方法、映像符号化装置及びコンピュータープログラム
US20240089460A1 (en) * 2022-09-13 2024-03-14 Ati Technologies Ulc Scene-change detection at server for triggering client-side temporal frame buffer reset

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886A (en) * 1848-10-31 Shihgle-machine
US4218704A (en) 1979-03-16 1980-08-19 Bell Telephone Laboratories, Incorporated Method and apparatus for video signal encoding with motion compensation
CA1175557A (en) 1981-06-01 1984-10-02 Akira Hirano Predictive coding system for television signals
JPS58127488A (ja) * 1982-01-25 1983-07-29 Kokusai Denshin Denwa Co Ltd <Kdd> テレビジヨン信号の適応予測符号化方式
GB8724789D0 (en) 1987-10-19 1987-11-25 British Telecomm Signal coding
JP2810052B2 (ja) * 1987-11-18 1998-10-15 株式会社日立製作所 伝送装置
FR2623955B1 (fr) * 1987-11-27 1990-04-27 Labo Electronique Physique Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition
JPH02171093A (ja) 1988-12-23 1990-07-02 Nec Corp 動画像の予測符号化方式
US5151754A (en) * 1989-10-06 1992-09-29 Kabushiki Kaisha Toshiba Method and an apparatus for measuring a displacement between two objects and a method and an apparatus for measuring a gap distance between two objects
JPH04127689A (ja) 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
US5205177A (en) * 1991-01-23 1993-04-27 Research-Cottrell, Inc. Method and apparatus for gas monitoring
US5353062A (en) * 1991-04-25 1994-10-04 Canon Kabushiki Kaisha Method and apparatus for decoding moving images encoded by inter-frame prediction and displaying it
US5185819A (en) * 1991-04-29 1993-02-09 General Electric Company Video signal compression apparatus for independently compressing odd and even fields
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5647049A (en) * 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
US5428396A (en) 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
US5231384A (en) * 1991-08-26 1993-07-27 General Electric Company Apparatus for splitting video signal between two channels
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US5488482A (en) 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
JP2636622B2 (ja) * 1992-03-13 1997-07-30 松下電器産業株式会社 ビデオ信号の符号化方法及び復号化方法ならびにビデオ信号の符号化装置及び復号化装置
US5420638A (en) * 1992-04-14 1995-05-30 U.S. Philips Corporation Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind
JPH05344493A (ja) * 1992-06-10 1993-12-24 Victor Co Of Japan Ltd 動画像符号化装置
JP3245977B2 (ja) * 1992-06-30 2002-01-15 ソニー株式会社 ディジタル画像信号の伝送装置
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
AU6099594A (en) * 1993-02-03 1994-08-29 Qualcomm Incorporated Interframe video encoding and decoding system
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5515388A (en) * 1993-03-19 1996-05-07 Sony Corporation Apparatus and method for preventing repetitive random errors in transform coefficients representing a motion picture signal
US5815646A (en) * 1993-04-13 1998-09-29 C-Cube Microsystems Decompression processor for video applications
BE1007252A3 (nl) * 1993-06-29 1995-05-02 Philips Electronics Nv Bewegingscompensator.
US5329365A (en) * 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
DE69430617T2 (de) * 1993-07-12 2002-12-05 Sony Corp Dekoder und verfahren zur dekodierung
DE69435245D1 (de) * 1993-07-12 2009-11-26 Sony Corp Verarbeitung von digitalen Bilddaten
JPH0799658A (ja) * 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
KR0122745B1 (ko) * 1993-10-28 1997-11-17 배순훈 개선된 메모리 구조를 갖는 동영상 복호화장치
US5625656A (en) * 1993-10-29 1997-04-29 General Electric Company Method for monitoring noble metal distribution in reactor circuit during plant application
JP3031152B2 (ja) * 1993-12-24 2000-04-10 日本電気株式会社 動き予測プロセッサ及び動き予測装置
JPH07184206A (ja) 1993-12-24 1995-07-21 Mitsubishi Electric Corp 画像符号化装置
KR950024600A (ko) * 1994-01-31 1995-08-21 김광호 휘도신호적응 움직임 평가방법
JPH07226917A (ja) 1994-02-14 1995-08-22 Toshiba Corp 画像再生方式及び装置
US5576765A (en) * 1994-03-17 1996-11-19 International Business Machines, Corporation Video decoder
JPH07336461A (ja) 1994-06-03 1995-12-22 Canon Inc 画像通信装置
KR0134483B1 (ko) * 1994-06-14 1998-05-15 배순훈 디코더에 있어서 어드레스 보정 회로(address correction circuit of the decoder)
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
DE69533870T2 (de) * 1994-10-19 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Bilddekodierung
KR100396971B1 (ko) * 1994-11-29 2003-11-03 산요덴키가부시키가이샤 인코드된비디오데이터의에러검출및처리기능을구비한비디오디코더
JP3334384B2 (ja) * 1994-12-20 2002-10-15 松下電器産業株式会社 画像予測符号化方法
DE69535007T2 (de) * 1994-12-20 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur objektbasierten prädiktiven Kodierung und Übertragung von digitalen Bildern und Dekodierungsvorrichtung
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
JP3694912B2 (ja) * 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US6064803A (en) * 1995-03-01 2000-05-16 Matsushita Electric Industrial Co., Ltd. Image information decoder with a reduced capacity frame memory
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
KR0171118B1 (ko) * 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
JP3824678B2 (ja) * 1995-05-09 2006-09-20 株式会社ルネサステクノロジ 画像復号表示装置
KR100203243B1 (ko) 1995-07-31 1999-06-15 윤종용 에스디알에이엠에 프레임의 영상신호를 기록하는 방법
JPH0955941A (ja) 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
EP1274254B1 (en) * 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
EP0789973B1 (en) * 1995-09-06 2002-01-23 Koninklijke Philips Electronics N.V. Method and system for coding a sequence of segmented images, corresponding coded signal and storage medium, and method and system for decoding such a coded signal
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JPH0997425A (ja) * 1995-09-29 1997-04-08 Kao Corp 磁気記録媒体の製造方法
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
JPH0998425A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 画像符号化装置および画像復号化装置
JPH09121358A (ja) 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
IL116060A (en) * 1995-11-19 2000-02-17 Israel State Method for compression and decompression of a video signal
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
CN1125568C (zh) * 1996-01-22 2003-10-22 松下电器产业株式会社 预测图像解码方法以及预测图像编码方法
US5764553A (en) * 1996-02-28 1998-06-09 Lsi Logic Corporation Generalized data processing path for performing transformation and quantization functions for video encoder systems
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
US5719966A (en) * 1996-03-29 1998-02-17 David Sarnoff Research Center, Inc. Apparatus for assessing the visiblity of differences between two image sequences
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
JP3426092B2 (ja) * 1996-09-12 2003-07-14 シャープ株式会社 動画像符号化装置における動き補償フレーム間予測方法
US6205178B1 (en) * 1996-09-20 2001-03-20 Hitachi, Ltd. Method and synthesizing a predicted image, video coding device and video coding method
US5870087A (en) 1996-11-13 1999-02-09 Lsi Logic Corporation MPEG decoder system and method having a unified memory for transport decode and system controller functions
CN1217852A (zh) * 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
JP3094944B2 (ja) * 1997-04-25 2000-10-03 日本電気株式会社 アービトレーション方法及びその装置
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
US6425056B2 (en) * 1998-10-26 2002-07-23 Micron Technology, Inc. Method for controlling a direct mapped or two way set associative cache memory in a computer system
SG75189A1 (en) * 1998-12-04 2000-09-19 Canon Kk Image processing apparatus method therefor and recording medium storing image processing program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030042115A (ko) * 2001-11-21 2003-05-28 정한승 다중 레퍼런스 프레임 기반의 동영상 부호화 방법
KR100720851B1 (ko) * 2004-04-16 2007-05-25 가부시키가이샤 엔티티 도코모 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 기록한 기록 매체, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 기록한 기록 매체
US7702017B2 (en) 2004-04-16 2010-04-20 Ntt Docomo, Inc. Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
US8243802B2 (en) 2004-04-16 2012-08-14 Ntt Docomo, Inc. Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program

Also Published As

Publication number Publication date
US6775326B2 (en) 2004-08-10
CN101026762A (zh) 2007-08-29
EP2352298A1 (en) 2011-08-03
EP2352300A1 (en) 2011-08-03
US20080144718A1 (en) 2008-06-19
EP2357829A1 (en) 2011-08-17
JP2012120243A (ja) 2012-06-21
EP1887806A3 (en) 2009-04-08
CN1992900A (zh) 2007-07-04
US8553772B2 (en) 2013-10-08
EP1511325A2 (en) 2005-03-02
JP4963520B2 (ja) 2012-06-27
JP2006262528A (ja) 2006-09-28
JP3748895B2 (ja) 2006-02-22
JP2012120244A (ja) 2012-06-21
EP0898427A1 (en) 1999-02-24
US20080152007A1 (en) 2008-06-26
US20020114392A1 (en) 2002-08-22
US9232198B2 (en) 2016-01-05
JP4963526B2 (ja) 2012-06-27
EP1887806A2 (en) 2008-02-13
EP1887806B1 (en) 2014-04-30
JP5258991B2 (ja) 2013-08-07
CN1992900B (zh) 2010-06-23
WO1998036576A1 (en) 1998-08-20
JP2009071879A (ja) 2009-04-02
CN1510928A (zh) 2004-07-07
CN101005624B (zh) 2011-11-16
EP2364024A1 (en) 2011-09-07
EP2352297A1 (en) 2011-08-03
US20040146107A1 (en) 2004-07-29
HK1109687A1 (en) 2008-06-13
EP0898427A4 (en) 2004-04-28
CN1217852A (zh) 1999-05-26
JP4963496B2 (ja) 2012-06-27
US20080063073A1 (en) 2008-03-13
EP2352297B1 (en) 2016-04-13
EP1511325A3 (en) 2006-07-19
JP2009071877A (ja) 2009-04-02
CN101026762B (zh) 2015-08-19
EP2369847B1 (en) 2016-04-20
JP3836827B2 (ja) 2006-10-25
JP2006060840A (ja) 2006-03-02
EP2173103A2 (en) 2010-04-07
CN101005624A (zh) 2007-07-25
JP4260786B2 (ja) 2009-04-30
TW376650B (en) 1999-12-11
EP2320664A1 (en) 2011-05-11
JP2009071878A (ja) 2009-04-02
US20050100092A1 (en) 2005-05-12
US20080144719A1 (en) 2008-06-19
KR100309086B1 (ko) 2001-12-17
WO1998036576A8 (en) 1999-12-16
US9225945B2 (en) 2015-12-29
JP4755242B2 (ja) 2011-08-24
JP2004088801A (ja) 2004-03-18
EP2369847A1 (en) 2011-09-28
EP2173103A3 (en) 2010-09-08
HK1109001A1 (en) 2008-05-23
JP4819865B2 (ja) 2011-11-24
CN1284376C (zh) 2006-11-08
HK1109278A1 (en) 2008-05-30
EP2352299A1 (en) 2011-08-03
JP2011250470A (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
KR100309086B1 (ko) 동화상예측시스템및방법
JP2009071878A5 (ko)
KR19990065274A (ko) 격행주사를 위한 모양정보 부호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20140825

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee