KR20050098979A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20050098979A
KR20050098979A KR1020057017969A KR20057017969A KR20050098979A KR 20050098979 A KR20050098979 A KR 20050098979A KR 1020057017969 A KR1020057017969 A KR 1020057017969A KR 20057017969 A KR20057017969 A KR 20057017969A KR 20050098979 A KR20050098979 A KR 20050098979A
Authority
KR
South Korea
Prior art keywords
picture
data
variable length
vop
image
Prior art date
Application number
KR1020057017969A
Other languages
English (en)
Other versions
KR100606588B1 (ko
Inventor
데루히코 스즈키
요이치 야가사키
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20050098979A publication Critical patent/KR20050098979A/ko
Application granted granted Critical
Publication of KR100606588B1 publication Critical patent/KR100606588B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

비디오 오브젝트(VO)의 스케일러빌리티를 획득하기 위한 장치 및 방법으로서, 위치 및/또는 크기가 시간에 따라서 변동한다. 절대 좌표 시스템에서 상위 계층 화상의 위치 및 하위 계층 화상의 위치가 결정되어 확장된 화상 및 상위 계층 화상내의 대응하는 화소들이 절대 좌표 시스템에서 동일한 위치들에 배치될 수 있다.

Description

화상 처리 장치 및 화상 처리 방법{Picture processing device and picture processing method}
본 발명은 화상 인코딩 및 디코딩 기술, 화상 처리 기술, 기록 기술 및 기록매체에 관한 것으로서, 특히, 동화상 데이터를 자기 광 디스크 또는 자기 테이프와 같은 기록 매체 상에 기록하며, 디스플레이 시스템에서 디스플레이하기 위해 기록된 데이터를 재생하거나, 전송 채널 상에서 동화상 데이터를 전송기로부터 수신기로 전송하며, 수신기에 의해서 전송된 데이터를 수신 및 디스플레이하며, 원격회의 시스템(teleconferencing system), 비디오 전화 시스템, 방송 설비, 또는 다중 매체 데이터 베이스 검색 시스템에서와 같이 기록하기 위해 수신된 데이터를 편집하는데 사용하기 위한 이와 같은 기술 및 기록 매체에 관한 것이다.
원격회의 시스템 또는 비디오 전화 시스템에서와 같이, 동화상 데이터를 원격 장소로 전송하기 위한 시스템에서, 화상 데이터는 라인 교정 및 인터 프레임(inter-frame) 교정을 이용 또는 활용함으로써 인코딩(압축)될 수 있다. 화상들을 이동시키기 위한 고효율의 인코딩 시스템이 MPEG(Moving Picture Experts Group)에 의해서 제안되었다. 그러한 시스템은 ISO-1EC/JTC1/SC2/WG11에서 논의한 후에 표준 드레프트(draft)로서 제안되었으며, 움직임 보상 예측 코딩 및 이산 코사인 변환(DCT)으로부터 결합된 하이브리드 시스템이다.
MPEG에서, 여러 타입들의 애플리케이션들 및 기능들을 복사하는데 여러 프로파일들 및 레벨들이 정의되어 있다. 가장 기본적인 것은 메인 프로파일 메인 레벨(MOVING PICTURE ML(Main Profile @ at main level)이다.
도 1은 MPEG 시스템내의 MP＠ML 인코딩 장치를 도시한다. 그러한 인코딩 장치에서, 인코딩될 화상 데이터는 임시 저장을 위해서 프레임 메모리(31)로 공급된다. 움직임 벡터 검출기(32)는 그 움직임 벡터를 검출하기 위해서 1616 화소 매크로 블록에 기초해서 프레임 메모리(31)내에 저장된 출력 화상 데이터를 판독한다. 움직임 벡터 검출기(32)는 I 화상, P 화상 또는 B 화상으로서 각 프레임의 화상 데이터를 처리한다. 순차적으로 입력된 프레임들의 화상들 각각은 I, B, P, B, P,...B, P의 시퀀스와 같은 순서로, 미리 설정된(pre-set) 방식으로서 I-, P- 또는 B-화상들 중 하나로서 처리된다. 즉, 움직임 벡터 검출기(32)는 프레임 메모리(31)내에 저장된 일련의 화상들 내의 미리 설정된 기준 프레임을 일컬으며, 매크로 블록의 움직임 벡터를 검출하는데, 즉, 매크로 블록의 움직임 벡터를 검출하기 위해서 매크로 블록과 기준 프레임 사이의 패턴 매칭(블록 매칭)에 의해 인코딩되는 프레임의 16 화소 x 16 라인의 작은 블록을 검출한다.
MPEG에는, 네 개의 화상 예측 모드들, 즉, 인트라-코딩(intra-coding)(인트라 프레임 코딩), 순방향 예측 코딩, 역방향 예측 코딩, 및 양방향 예측 코딩이 있다. I-화상은 인트라 코딩된 화상이며, P-화상은 인트라 코딩되거나 순방향 예측 코딩된 또는 역방향 예측 코딩된 화상이며, B-화상은 인트라 코딩되거나, 순방향 예측 코딩되거나, 양방향 예측 코딩된 화상이다.
도 1로 돌아가면, 움직임 벡터 검출기(32)는 그 움직임 벡터를 검출하기 위해서 P-화상에서 순방향 예측을 수행한다. 움직임 벡터 검출기(32)는 순방향 예측을 수행함으로써 발생된 예측 에러, 예를 들어 인코딩되는 매크로 블록(P-화상의 매크로 블록)의 변화를 비교한다. 매크로 블록의 변화가 예측 블록 에러보다 더 작으면, 인트라 코딩 모드는 예측 모드로서 설정되며, 가변 길이 코딩(VLC) 장치(36) 및 움직임 보상기(42)에 출력된다. 한편, 순방향 예측 코딩에 의해서 발생된 예측 에러가 더 작으면, 움직임 벡터 검출기(32)는 예측 모드로서 순방향 예측 코딩 모드를 설정하며, 검출된 움직임 벡터와 함께 설정 모드를 VLC 장치(36) 및 움직임 보상기(42)로 출력한다. 이에 더해서, 움직임 벡터 검출기(32)는 각각의 움직임 벡터들을 검출하기 위해서 B-화상에 대한 순방향 예측, 역방향 예측, 및 양방향 예측을 수행한다. 움직임 벡터 검출기(32)는 순방향 예측, 역방향 예측, 및 양방향 예측의 가장 작은 예측 에러(여기서 최소의 예측 에러로서 일컬어짐)를 검출하여, 최소의 예측 에러, 예를 들어, 인코딩되는 매크로 블록(B-화상의 매크로 블록)의 변화를 비교한다. 그러한 비교의 결과로서, 매크로 블록의 변화가 최소의 예측 에러보다 더 작으면, 움직임 벡터 검출기(32)는 예측 모드로서 인트라-코딩 모드를 설정하며, 설정 모드를 VLC 장치(36) 및 움직임 보상기(42)로 출력한다. 한편, 최소의 예측 에러가 더 작으면, 움직임 벡터 검출기(32)는 최소의 예측 에러가 획득된 예측 모드를 설정하며, 연관된 움직임 벡터와 함께 VLC 장치(36) 및 움직임 보상기(42)에 이와 같이 설정된 예측 모드를 출력한다.
움직임 벡터 검출기(32)로부터 예측 모드 및 움직임 벡터를 수신할 때, 움직임 보상기(42)는 예측 모드 및 움직임 벡터에 따라서 프레임 메모리(41)내에 저장된 인코딩되며 이미 국부적으로 디코딩된 화상 데이터를 판독할 수 있으며 예측 화상으로서 판독된 데이터를 연산 장치(33,40)로 공급할 수 있다. 연산 장치(33)는 또한 프레임 메모리(31)로부터 움직임 벡터 검출기(32)에 의해서 판독된 화상 데이터와 같은 매크로 블록을 수신하며, 움직임 보상기(42)로부터 예측 화상 및 매크로 블록 사이의 차이를 계산한다. 그러한 차이 값은 이산 코사인 변환(DCT) 장치(34)에 공급된다.
단지 예측 모드가 움직임 벡터 검출기(32)로부터 수신되면, 즉, 예측 모드가 인트라 코딩 모드이면, 모드 보상기(42)는 예측 화상을 출력할 수 없다. 그러한 상태에서, 연산 장치(33)는 전술된 처리를 수행할 수 없지만, 그 대신에 프레임 메모리(31)로부터 판독된 매크로 블록을 DCT 장치(34)로 직접 출력할 수 있다. 또한, 그러한 상태에서, 연산 장치(40)는 유사한 방식으로 수행될 수 있다.
DCT 장치(34)는 양자화기(35)에 공급되는 DCT 계수들을 얻기 위해서 연산 장치(33)로부터 출력 신호 상에서 DCT 처리를 수행한다. 양자화기(35)는 버퍼 피드백으로서 수신된 버퍼(37)내의 데이터 저장량(버퍼(37)내에 저장된 데이터 용량)에 따라서 양자화 단계(양자화 스케일)를 설정하며, 양자화 단계를 이용하여 DCT 장치(34)로부터 DCT 계수를 양자화한다. 양자화된 DCT 계수들(때때로 여기서 양자화 계수들로서 일컬어짐)은 설정된 양자화 단계와 함께 VLC 장치(36)에 공급된다.
VLC 장치(36)는 양자화기(35)로부터 공급된 양자화 계수들을 양자화기(35)로부터 공급된 양자화 단계에 따라서, 그러한 허프만 코드와 같이 가변 길이 코드로 변환한다. 그 결과로 변환된 양자화 계수들은 버퍼(37)로 출력된다. VLC 장치(36)는 양자화기(35)로부터 양자화 단계, 움직임 벡터 검출기(32)로부터 예측 모드, 및 움직임 벡터 검출기(32)로부터 움직임 벡터를 가변 길이로 인코딩하며, 인코딩된 데이터를 버퍼(37)로 출력한다. 예측 모드는 인트라-코딩, 순방향 예측 코딩, 역방향 예측 코딩, 또는 양방향 예측 코딩 중 어느 것이 설정되었는지를 규정하는 모드임을 알 수 있다.
버퍼(37)는 임시로 VLC 장치(36)로부터 데이터를 저장하여 스무드된(smoothed) 데이터가 그로부터 출력되게 하며 전송 채널로 공급되게 하거나 기록 매체 또는 그와 같은 것에 기록되게 하기 위해서 데이터 용량을 스무드되게 한다. 버퍼(37)는 또한 그에 따라서 양자화 단계를 설정하는 양자화기(35)에 저장된 데이터 용량을 공급할 수 있다. 그와 같이, 버퍼의 오버플로우가 임박한 경우에, 양자화기(35)는 양자화 계수들의 데이터 용량을 감소시키기 위해서 양자화 단계 크기를 증가시킨다. 역으로, 버퍼(37)의 언더플로우가 임박한 경우에, 양자화기(35)는 양자화 계수들의 데이터 용량을 증가시키기 위해서 양자화 단계 크기를 감소시킨다. 인식되어진 바와 같이, 이러한 절차는 버퍼(37)의 오버플로우 및 언더플로우를 방지할 수 있다.
양자화기(35)에 의해서 출력된 양자화 계수들 및 양자화 단계는 VLC 장치(36)에 공급될 뿐 아니라, 동일한 것을 DCT 계수들로 변환하기 위해서 양자화 단계에 따라서 양자화 계수들을 역양자화하는(dequantize) 역양자화기(38)에도 공급된다. 그러한 DCT 계수들은 DCT 계수들 상에서 역 DCT를 수행하는 IDCT(역 DCT) 장치(39)에 공급된다. 획득된 역 DCT된 계수들은 연산 장치(40)에 공급된다.
연산 장치(40)는 IDCT 장치(39)로부터 역 DCT 계수들을 수신하며, 움직임 보상기(42)로부터, 연산 장치(33)로 전송된 예측 화상과 같은 데이터를 수신한다. 연산 장치(40)는 원래의 화상을 국부적으로 디코딩하기 위해서 동작 보상기(42)로부터의 예측 화상과 IDCT 장치(39)로부터의 신호(예측 잉여들)를 합산한다. 그러나, 예측 모드가 인트라-코딩을 표시하면, IDCT 장치(39)의 출력은 프레임 메모리(41)로 직접 공급될 수 있다. 연산 장치(40)에 의해서 획득된 디코딩된 화상(국부적으로 디코딩된 화상)은 인터-코딩된 화상, 순방향 예측 코딩된 화상, 역방향 예측 코딩된 화상, 또는 양방향 예측 코딩된 화상에 대한 참조 화상으로서 나중에 사용되도록 프레임 메모리(41)에 전송 및 저장된다.
연산 장치(40)로부터 획득된 디코딩된 화상은 수신기 또는 디코딩 장치(도 1에는 도시되지 않음)로부터 획득될 수 있는 것과 같다.
도 2는 도 1의 인코더에 의해서 출력된 것과 같은 인코딩된 데이터를 디코딩하기 위한 MPEG 시스템내의 MP＠ML 디코더를 도시한다. 그러한 디코더에서, 전송 경로를 통해 전송된 인코딩된 데이터는 수신기(도시되지 않음)에 의해서 수신될 수 있거나 또는 기록 매체 상에 기록된 인코딩된 데이터는 재생 장치(도시되지 않음)에 의해서 재생되어 버퍼(101)로 공급되며 그곳에 저장될 수 있다. IVLC 장치(역 VLC 장치)(102)는 버퍼(101)내에 저장된 인코딩된 데이터를 판독하며 가변 길이는 인코딩된 데이터를 움직임 벡터, 예측 모드, 양자화 단계 및 양자화 계수들로 분리하기 위해서 그것을 디코딩한다. 물론, 움직임 벡터 및 예측 모드는 움직임 보상기(107)에 공급되며, 한편 양자화 단계 및 양자화 계수들은 역양자화기(103)로 공급된다. 역양자화기(103)는 IDCT(역 DCT) 장치(104)에 공급되는 DCT 계수들을 획득하기 위해서 양자화 단계에 따라서 양자화 계수들을 역양자화한다. IDCT 장치(104)는 수신된 DCT 계수들 상에서 역DCT 동작을 수행하며 그 결과로 생긴 신호를 연산 장치(105)에 공급한다. IDCT 장치(104)의 출력에 더하여, 연산 장치(105)는 움직임 보상기(107)로부터 출력을 수신한다. 즉, 움직임 보상기(107)는 도 1의 움직임 보상기(42)와 유사한 방식으로 IVLC 장치(102)로부터 움직임 벡터 및 예측 모드에 따라서 프레임 메모리(106)에 저장된 이전에 디코딩된 화상을 판독하며, 연산 장치(105)에 예측 화상으로서 판독된 디코딩된 화상을 공급한다. 연산 장치(105)는 원래의 화상을 디코딩하기 위해서 움직임 보상기(107)로부터 예측 화상과 IDCT 장치(104)로부터의 신호를 합산한다. IDCT 장치(104)의 출력이 인트라 코딩되면, 그 출력은 프레임 메모리(106)에 직접 공급되며 저장될 수 있다. 프레임 메모리(106)내에 저장된 디코딩된 화상은 연속적으로 디코딩된 화상들에 대한 참조 화상으로서 사용될 수 있으며, 또한 그 위에 디스플레이되도록 디스플레이(도시되지 않음)에 판독되며 공급될 수 있다. 그러나, 디코딩된 화상이 B-화상이면, 그러한 B-화상은 인코딩 장치 또는 디코더내의 프레임 메모리들(41)(도 1) 또는 (106)(도 2)에 저장되지 않는다. 왜냐하면, B-화상은 MPEG1 및 MPEG2내의 참조 화상으로서 사용되지 않기 때문이다.
MPEG에는, 다양한 도구들뿐만 아니라 다양한 프로파일들 및 레벨들이 전술된 MP＠ML에 추가되어 정의된다. MPEG 도구의 예는 스케일러빌리티(scalability)이다. 특히, MPEG는 다양한 화상 크기들 또는 다양한 프레임 크기들을 복사하기 위해서 스케일가능한 인코딩 시스템을 채택한다. 공간 스케일러빌리티에서, 단지 더 낮은 층의 비트스트림이 디코딩되면, 예를 들어, 단지 작은 화상 크기를 갖는 화상만이 획득되며, 반면에, 양쪽의 하위 계층 및 상위 계층 비트스트림들은 디코딩되며, 큰 화상 크기를 갖는 화상이 획득된다.
도 3은 공간 스케일러빌리티를 제공하기 위한 인코딩 장치를 도시한다. 공간 스케일러빌리티에서, 하위 및 상위 계층들은 작은 화상 크기의 화상 신호들 및 큰 화상 크기를 갖는 화상 신호들과 연관된다. 상위 계층 인코딩 장치(201)는 인코딩을 위해서 상위 계층 화상을 수신할 수 있으며, 반면에, 하위 계층 인코딩 장치(202)는 하위 계층 화상으로서 화소들의(따라서 그 크기를 줄이기 위해서 해상도가 낮아진 화상) 수를 감소시키기 위해서 공정을 줄이는 것으로부터 나오는 화상을 수신할 수 있다. 하위 계층 인코딩 장치(202)는 하위 계층 비트스트림을 형성 및 출력하기 위해서 도 1의 그것과 유사한 방식으로 하위 계층 화상을 예측 인코딩한다. 하위 계층 인코딩 장치(202)는 또한 상위 계층 화상 크기와 같은 크기로 확장된 국부적으로 디코딩된 하위 계층 화상(때로는 여기서 확장된 화상으로도 일컬어짐)에 대응하는 화상을 발생한다. 이러한 확장된 화상은 상위 계층 인코딩 장치(201)에 공급된다. 상위 계층 인코딩 장치(201)는 상위 계층 비트스트림을 형성 및 출력하기 위해서 도 1의 그것과 유사한 방식으로 상위 계층 화상을 예측 인코딩한다. 상위 계층 인코딩 장치(201)는 또한 예측 코딩을 실행하기 위해서 참조 화상으로서 하위 계층 인코딩 장치(202)로부터 수신된 확장된 화상을 이용한다. 상위 계층 비트스트림 및 하위 계층 비트스트림은 출력되는 인코딩된 데이터를 형성하기 위해서 다중화된다.
도 4는 도 3의 하위 계층 인코딩 장치(202)의 예를 도시한다. 그러한 하위 계층 인코딩 장치(202)는 업샘플링 장치(211)를 제외하고는 도 1의 인코더와 유사하게 구성된다. 따라서, 도 4에서, 도 1에 도시된 것에 대응하는 부품들 또는 구성 성분들은 동일한 참조 번호들로 표시된다. 업샘플링 장치(211)는 화상을 상위 계층 화상 크기와 동일한 크기로 확장시키기 위해서 연산 장치(40)에 의해서 출력된 국부적으로 디코딩된 하위 계층 화상을 업샘플링하며(보간하며), 그 결과로 생긴 확장된 화상을 상위 계층 인코딩 장치(201)에 공급한다.
도 5는 도 3의 상위 계층 인코딩 장치(201)의 예를 도시한다. 그러한 상위 계층 인코딩 장치(201)는 부가 장치들(221, 222) 및 연산 장치(223)를 가중시키는 것을 제외하고는 도 1의 인코더와 유사하게 구성된다. 따라서, 도 5에서, 도 1의 그것에 대응하는 부품들 또는 구성 요소들은 동일한 기준 번호들에 의해서 표시된다. 가중 부가 장치(221)는 가중(W)에 의해서 움직임 보상기(42)에 의해서 출력된 예측 화상을 증배하며 연산 장치(223)에 결과 신호를 출력한다. 가중 부가 장치(222)는 가중(1-W)을 갖는 하위 계층 인코딩 장치(202)로부터 공급된 확장된 화상을 증배하며 결과 생성물을 연산 장치(223)에 공급한다. 연산 장치(223)는 중량 부가 회로(221, 222)로부터의 수신된 출력들을 합산하며 예측된 화상으로서 연산 장치(33,40)에 결과 합산을 출력한다. 가중 부가 장치(221)에서 사용된 가중(W)은 가중 부가 장치(222)에서 사용된 가중(1-W)에서와 같이 미리 설정된다. 가중(W)은 가변 길이 인코딩을 위해 VLC 장치(36)에 공급된다. 상위 계층 인코딩 장치(201)는 도 1의 그것과 유사한 처리를 수행한다.
그러므로 상위 계층 인코딩 장치(201)는 상위 계층 화상을 이용할 뿐만 아니라, 하위 계층 인코딩 장치(202)로부터 확장된 화상, 즉, 참조 화상으로서 하위 계층 화상을 이용하는 예측 인코딩을 수행한다.
도 6은 공간 스케일러빌리티를 구현하기 위한 디코더의 예를 도시한다. 도 3의 인코더로부터 출력된 인코딩된 데이터는 상위 계층 디코딩 장치(231) 및 하위 계층 디코딩 장치(232)에 각각 공급되는 상위 계층 비트스트림 및 하위 계층 비트스트림으로 분리된다. 하위 계층 디코딩 장치(232)는 도 2에서와 같이 하위 계층 비트스트림을 디코딩하며 하위 계층의 결과로서 디코딩된 화상을 출력한다. 이에 더해서, 하위 계층 디코딩 장치(232)는 확장된 화상을 발생하기 위해서 상위 계층 화상과 같은 크기로 하위 계층 디코딩된 화상을 확장시키며 상위 계층 디코딩 장치(231)와 동일한 것을 공급한다. 상위 계층 디코딩 장치(231)는 유사하게 도 2에서와 같이, 상위 계층 비트스트림을 디코딩한다. 그러나, 상위 계층 디코딩 장치(231)는 참조 화상으로서 하위 계층 디코딩 장치(232)로부터 확장된 화상을 이용하여 비트스트림을 디코딩한다.
도 7은 하위 계층 디코딩 장치(232)의 예를 도시한다. 하위 계층 디코딩 장치(232)는 업샘플링 장치(241)를 제외하고는 도 2의 디코더와 유사하게 구성된다. 따라서, 도 7에서, 도 2의 그것에 대응하는 부품들 또는 구성 요소들은 동일한 참조 번호들로 표시된다. 업샘플링 장치(241)는 하위 계층 화상을 상위 계층 화상 크기와 같은 크기로 확장시키기 위해서 연산 장치(105)에 의해서 출력된 디코딩된 하위 계층 화상을 업샘플링하며(보간하며), 상위 계층 디코더(231)에 확장된 화상을 출력한다.
도 8은 도 6의 상위 계층 디코딩 장치(231)의 예를 도시한다. 상위 계층 디코딩 장치(231)는 가중 부가 장치들(251, 252) 및 연산 장치(253)를 제외하고는 도 2의 인코더와 유사하게 구성된다. 따라서, 도 7에서, 도 2의 그것에 대응하는 부품들 또는 구성 요소들은 동일 참조 번호들로 표시된다. 도 2를 참조하여 설명된 처리를 수행하는 것에 더하여, IVLC 장치(102)는 인코딩된 데이터로부터 가중(W)을 추출하며, 추출된 가중(W)을 가중 부가 장치들(251, 252)에 출력한다. 가중 부가 장치(251)는 가중(W)만큼 움직임 보상기(107)에 의해서 출력된 예측 화상을 증배하며 연산 장치(253)에 결과 생성물을 출력한다. 연산 장치(253)는 또한 가중 부가 장치(252)로부터의 출력을 수신한다. 그러한 출력은 가중(1-W)만큼 하위 계층 디코딩 장치(232)로부터 공급된 확장된 화상을 증배함으로서 획득된다. 연산 장치(253)는 가중 합산 장치들(251, 252)의 출력들을 합산하며 예측 화상으로서 합산된 출력을 연산 장치(105)로 공급한다. 그러므로, 연산 장치(253)는 하위 계층 인코딩 장치(232)로부터 상위 계층 화상 및 확장된 화상, 즉, 디코딩하기 위해 참조 화상들로서 하위 계층 화상을 이용한다. 그러한 처리는 휘도 신호들 및 색도 신호들에서 수행된다. 색도 신호들에 대한 움직임 벡터는 휘도 신호들에 대한 움직임 벡터의 반이 될 수 있다.
전술된 MPEG 시스템에 더해서, 다양한 고효율 인코딩 시스템들은 움직임 화상들을 위해 표준화되었다. 예를 들면, ITU-T에서는, 주로 통신용 인코딩 시스템들로서 H.261 또는 H.263과 같은 시스템이 규정되어 있다. MPEG 시스템과 유사하게, 이 H.261 및 H.263 시스템들은 기본적으로 움직임 보상 예측 인코딩 및 DCT 인코딩의 조합을 포함한다. 특히, H.261 및 H.263 시스템들은, 그것의 구조에서 또는 헤더 정보와 같은 세부 사항에서 차이들이 존재한다 하더라도, MPEG 시스템의 인코더 또는 디코더에 대한 구조와 기본적으로 유사하다.
복수의 화상들을 합성함으로서 화상을 구성하기 위한 화상 합성 시스템에서, 소위 색도 키 기술이 사용될 수 있다. 이러한 기술은 청색과 같은 특정한 균일한 색상의 배경 정면의 물체를 촬영하며, 그로부터 청색이 아닌 영역을 추출하며, 추출된 영역을 또 다른 화상으로 합성한다. 추출된 영역을 규정하는 신호는 키 신호라고 한다.
도 9는 F1이 배경 화상이며, F2가 전경 화상인 화상을 합성하기 위한 방법을 도시한다. 화상 F2는 물체, 여기서는 인물을 촬영하고, 이러한 색상이외의 영역을 추출함으로서 획득된다. 색도 신호 K1은 추출된 영역을 규정한다. 화상 합성 시스템에서, 배경 화상 F1 및 전경 화상 F2는 합성된 화상 F3을 발생하기 위해서 키 신호 K1에 따라서 합성된다. 이러한 합성된 화상은 MPEG 기술에 의한 것과 같이 인코딩되어 전송된다.
합성된 화상 F3가 전술된 바와 같이 인코딩되어 전송되면, 합성된 화상 F3상의 인코딩된 데이터만이 전송되어, 키 신호 K1와 같은 정보가 손실될 수 있다. 그와 같이, 전경 화상 F2를 손대지 않고 배경 F1만을 변경하기 위한 화상 재편집 또는 재합성은 수신측에서 수행하는데 어렵게 된다.
화상들 F1,F2 및 키 신호들 K1이 개별적으로 인코딩되며 그 결과로 생긴 각각의 비트스트림들이 예를 들어 도 10에 도시된 바와 같이 다중화되는 방법을 고려해보자. 그러한 경우에, 수신측은 각각의 비트스트림들을 디코딩하며, 화상들 F1, F2 또는 키 신호 K1을 생성하기 위해서 다중화된 데이터를 역다중화한다. 화상들 F1, F2 또는 키 신호 K1의 디코딩된 결과들은 합성된 화상 F3을 발생하기 위해서 합성될 수 있다. 그러한 경우에, 수신 측은 화상 재편집 또는 재합성을 수행하여 전경 F2는 손대지 않고 단지 배경 F1만 변경되게 한다.
그러므로, 합성된 화상 F3은 화상들 F1 및 F2로 구성된다. 유사한 방식으로, 어떤 화상은 복수의 화상들 또는 오브젝트들로 이루어지는 것으로 생각될 수 있다. 화상을 작성하는데 도움을 주는 유닛이 비디오 오브젝트들(VOs)이라고 불린다면, MPEG4로서 VO 기반 인코딩 시스템을 표준화하기 위한 활동이 ISO-IEC/JTC1/SC29/WG11에서 진행되고 있다. 그러나, 현재, VO를 효율적으로 인코딩하거나 또는 키 신호들을 효율적으로 인코딩하는 방법은 아직 확립되지 않았으며, 미결정 상태로 있다. 어떤 경우든, MPEG4가 스케일러빌리티(scalability) 기능을 규정한다 할지라도, 위치 및 크기가 시간에 따라 변동하는 VO에 대한 스케일러빌리티의 실행을 위해 특정된 기술은 제안되어 있지 않다. 예로서, VO가 먼 곳에서 다가오는 사람이라면, VO의 위치 및 크기는 시간에 따라 변동한다. 그러므로, 상위 계층 화상의 예측 인코딩시 하위 계층의 화상이 참조 화상으로서 사용되면, 참조 화상으로서 사용된 하위 계층 화상 및 상위 계층 화상 사이의 상대 위치를 명확히 하는 것이 필요할 수 있다. 한편, VO에 기초한 스케일러빌리티를 이용할 때에, 하위 계층의 스킵 매크로블록에 대한 조건을 상위 계층의 스킵 매크로-블록에 대한 조건에 직접 적용할 필요는 없다.
따라서, 본 발명의 목적은 VO 기반 인코딩이 쉽게 달성될 수 있도록 하는 기술을 제공하는 것이다.
본 발명의 양태에 따라서, 화상 인코딩 장치가 제공되는데, 이는 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 또는 축소하기 위한 확장/축소 수단(도 15에 도시된 해상도 변환기(24)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 예측 코딩하기 위한 제 1 화상 인코딩 수단(도 15에 도시된 상위 계층 인코딩 장치(23)와 같음)과, 제 2 화상을 인코딩하기 위한 제 2 화상 인코딩 수단(하위 계층 인코딩 장치(25)와 같음)과, 미리 설정된 절대 좌표 시스템에서 제 1 화상 및 제 2 화상의 위치들을 설정하며 제 1 또는 제 2 화상의 위치에서 제 1 또는 제 2 위치 정보를 출력하기 위한 위치 설정 수단(도 15에 도시된 화상 계층화(layering) 장치(21)와 같음)과, 제 1 화상 인코딩 수단, 제 2 화상 인코딩 수단, 및 위치 설정 수단의 출력들을 다중화하기 위한 다중화 수단(도 15에 도시된 다중화기(26)와 같음)을 포함한다. 제 1 화상 인코딩 수단은 제 1 위치 정보 상에 기초한 제 1 화상의 위치를 인식하며, 확장/축소 수단이 제 2 화상을 확장하거나 또는 축소한 확장 비 또는 축소 비에 응답하여 제 2 위치 정보를 변환한다. 제 1 화상 인코딩 수단은 또한 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 변환의 결과에 대응하는 위치를 인식한다.
본 발명의 다른 양태에 따라서, 인코딩하기 위한 화상 인코딩 장치가 제공되는데, 이는 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 또는 축소하기 위한 확장/축소 수단(도 15에 도시된 해상도 변환기(24)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 예측 코딩하기 위한 제 1 화상 인코딩 수단(도 15에 도시된 상위 계층 인코딩 장치(23)와 같음)과, 제 2 화상을 인코딩하기 위한 제 2 화상 인코딩 수단(하위 계층 인코딩 장치(25)와 같음)과, 미리 설정된 절대 좌표 시스템에서 제 1 화상 및 제 2 화상의 위치들을 설정하며 제 1 또는 제 2 화상의 위치에서 제 1 또는 제 2 위치 정보를 출력하기 위한 위치 설정 수단(도 15에 도시된 화상 계층화 장치(21)와 같음)과, 제 1 화상 인코딩 수단, 제 2 화상 인코딩 수단, 및 위치 설정 수단의 출력들을 다중화하기 위한 다중화 수단(도 15에 도시된 다중화기(26)와 같음)을 포함한다. 제 1 화상 인코딩 수단은 제 1 위치 정보 상에 기초한 제 1 화상의 위치를 인식하게 하며 확장/축소 수단이 제 2 화상을 확장하거나 또는 축소한 확장 비 또는 축소 비에 응답하여 제 2 위치 정보를 변환한다. 제 1 화상 인코딩 수단은 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 변화의 결과들에 대응하는 위치를 인식한다.
전술된 화상 인코딩 장치 및 화상 인코딩 방법에 따라서, 확장/축소 수단은 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장 또는 축소하며, 제 1 화상 인코딩 수단은 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 예측 인코딩한다. 위치 설정 수단은 미리 설정된 절대 좌표 시스템내의 제 1 화상 및 제 2 화상의 위치들을 설정하며 제 1 또는 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 각각 출력한다. 제 1 화상 인코딩 수단은 제 1 위치 정보에 기초한, 제 1 화상의 위치를 인식하며, 확장/축소 수단이 제 2 화상을 확장하거나 축소한 확장비 또는 축소비에 응답하는 제 2 위치 정보를 변환한다. 제 1 화상 인코딩 수단은 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 변환의 결과들에 대응하는 위치를 인식한다.
본 발명의 또 다른 양태에 따라서, 화상 디코딩 장치가 제공되는데, 이는 제 2 화상을 디코딩하기 위한 제 2 화상 디코딩 수단(도 29에 도시된 하위 계층 디코딩 장치(95)와 같음)과, 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상 디코딩 수단에 의해서 디코딩된 제 2 화상을 확장/축소하기 위한 확장/축소 수단(도 29에 도시된 해상도 변환기(94)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 디코딩하기 위한 제 1 화상 디코딩 수단(도 29에 도시된 상위 계층 디코딩 장치(93)와 같음)을 포함한다. 인코딩된 데이터는 미리 설정된 절대 좌표 시스템내의 제 1 및 제 2 화상의 위치에서 제 1 또는 제 2 위치 정보를 각각 포함한다. 제 1 화상 디코딩 수단은 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하게 하며 확장/축소 수단이 제 2 화상을 확장 또는 축소한 확장비 또는 축소비에 응답하여 제 2 위치 정보를 변환하도록 한다. 제 1 화상 디코딩 수단은 또한 제 1 화상을 디코딩하기 위해서 참조 화상의 위치로서 변환의 결과들에 대응하는 위치를 인식한다.
전술된 화상 디코딩 장치는 제 1 화상 디코딩 수단의 디코딩 결과들을 표시하기 위한 디스플레이를 포함할 수 있다(도 27에 도시된 모니터(74)와 같음).
본 발명의 또 다른 양태에 따라서, 화상 디코딩 장치가 제공되는데, 이는 제 2 화상을 디코딩하기 위한 제 2 화상 디코딩 수단(도 29에 도시된 하위 계층 디코딩 장치(95)와 같음)과, 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상 디코딩 수단에 의해서 디코딩된 제 2 화상을 확장/축소하기 위한 확장/축소 수단(도 29에 도시된 해상도 변환기(94)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 디코딩하기 위한 제 1 화상 디코딩 수단(상위 계층 디코딩 장치(93)와 같음)을 포함한다. 인코딩된 데이터는 미리 설정된 절대 좌표 시스템내의 제 1 및 제 2 화상의 위치에서 제 1 및 제 2 위치 정보를 각각 포함한다. 제 1 화상 디코딩 수단은 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하게 하며, 확장/축소 수단이 제 2 화상을 확장 또는 축소한 확장비 또는 축소비에 응답하여 제 2 위치 정보를 변환하도록 한다. 제 1 화상 인코딩 수단은 제 1 화상을 디코딩하기 위해서 참조 화상의 위치로서 변환의 결과들에 대응하는 위치를 인식한다.
전술된 화상 디코딩 장치 및 화상 디코딩 방법에 따라서, 확장/축소 수단은 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상 디코딩 수단에 의해서 디코딩된 제 2 화상을 확장 또는 축소한다. 제 1 화상 디코딩 수단은 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 디코딩한다. 인코딩된 데이터가 미리 설정된 절대 좌표 시스템내의 제 1 화상 위치 및 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 포함하면, 제 1 화상 디코딩 수단은 제 1 위치 정보에 기초한, 제 1 화상의 위치를 인식하며, 확장/축소 수단이 제 2 화상을 확장 또는 축소한 확장비 또는 축소비에 응답하여 제 2 위치 정보를 변환한다. 제 1 화상 디코딩 수단은 제 1 화상을 디코딩하기 위해서, 참조 화상의 위치로서 변환의 결과들에 대응하는 위치를 인식한다.
본 발명의 또 다른 양태에 따라서, 기록 매체가 제공되는데, 이는 참조 화상으로서 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 축소할 때 획득된 확장 또는 축소된 결과들을 이용하여 제 1 화상을 예측 인코딩할 때 획득된 제 1 데이터와, 제 2 화상을 인코딩할 때 획득된 제 2 데이터와, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상들의 위치들을 설정할 때 획득된 제 1 위치 정보 또는 제 2 위치 정보를 포함하는 인코딩된 데이터를 그 위에 기록한다. 제 1 데이터는 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하며, 제 2 화상이 확장 또는 축소된 확장비 또는 축소비에 응답하여 제 2 위치 정보를 변환하며, 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 변환의 결과들에 응답하여 위치를 인식할 때 획득된다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 기록하기 위한 방법이 제공되는데, 여기서, 인코딩된 데이터는 참조 화상으로서 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 축소할 때 획득된 확장 또는 축소된 결과들을 이용하여 제 1 화상을 예측 인코딩할 때 획득된 제 1 데이터와, 제 2 화상을 인코딩할 때 획득된 제 2 데이터와, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상들의 위치들을 설정할 때 획득된 제 1 위치 정보 또는 제 2 위치 정보를 포함한다. 제 1 데이터는 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하며, 제 2 화상이 확장 또는 축소된 확장비 또는 축소비에 응답하여 제 2 위치 정보를 변환하며, 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 변환의 결과들에 대응하는 위치를 인식할 때 획득된다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩 장치가 제공되는데, 이는 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 또는 축소하기 위한 확장/축소 수단(도 15에 도시된 해상도 변환기(24)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 예측 코딩하기 위한 제 1 화상 인코딩 수단(도 15에 도시된 상위 계층 인코딩 장치(23)와 같음)과, 제 2 화상을 인코딩하기 위한 제 2 화상 인코딩 수단(도 15에 도시된 하위 계층 인코딩 장치(25)와 같음)과, 미리 설정된 절대 좌표 시스템에서 제 1 화상 및 제 2 화상의 위치들을 설정하며 제 1 또는 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 각각 출력하기 위한 위치 설정 수단(도 15에 도시된 화상 계층화 장치(21)와 같음)과, 제 1 화상 인코딩 수단, 제 2 화상 인코딩 수단, 및 위치 설정 수단의 출력들을 다중화하기 위한 다중화 수단(도 15에 도시된 다중화기(26)와 같음)을 포함한다. 위치 설정 수단은 제 1 및 제 2 화상들의 위치들을 설정하여 미리 설정된 절대 좌표 시스템의 참조 화상의 위치가 미리 설정된 위치와 일치하게 될 것이다. 제 1 화상 인코딩 수단은 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하며, 또한 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 미리 설정된 위치를 인식한다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩을 수행하기 위한 화상 인코딩 장치가 제공되는데, 이는 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 또는 축소하기 위한 확장/축소 수단(도 15에 도시된 해상도 변환기(24)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 예측 코딩하기 위한 제 1 화상 인코딩 수단(도 15에 도시된 상위 계층 인코딩 장치(23)와 같음)과, 제 2 화상을 인코딩하기 위한 제 2 화상 인코딩 수단(도 15에 도시된 하위 계층 인코딩 장치(25)와 같음)과, 미리 설정된 절대 좌표 시스템에서 제 1 화상 및 제 2 화상의 위치들을 설정하며, 제 1 또는 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 각각 출력하기 위한 위치 설정 수단(도 15에 도시된 화상 계층화 장치(21)와 같음)과, 제 1 화상 인코딩 수단, 제 2 화상 인코딩 수단, 및 위치 설정 수단의 출력들을 다중화하기 위한 다중화 수단(도 15에 도시된 다중화기(26)와 같음)을 포함한다. 위치 설정 수단은 제 1 및 제 2 화상들의 위치들이 설정되도록 하여 미리 설정된 절대 좌표 시스템에서 참조 화상의 위치가 미리 설정된 위치와 일치될 것이다. 제 1 화상 인코딩 수단은 제 1 위치 정보에 기초한 참조 화상의 위치로서 제 1 화상의 위치를 인식하며 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 미리 설정된 위치를 인식한다.
상기 화상 인코딩 장치 및 화상 인코딩 방법에 따라, 확장/축소 수단은 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장 또는 축소하고, 반면에 제 1 화상 인코딩 수단은 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 예측 인코딩한다. 위치 설정 수단은 미리 설정된 절대 좌표 시스템에서 제 1 화상 및 제 2 화상의 위치들을 설정하고 제 1 또는 제 2 화상의 위치 상에서 제 1 위치 정보 또는 제 2 위치 정보를 각각 출력한다. 위치 설정 수단은 제 1 및 제 2 화상들의 위치들을 설정하여 미리 설정된 절대 좌표 시스템에서 참조 화상의 위치가 미리 설정된 위치와 일치하게 될 것이다. 제 1 화상 인코딩 수단은 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하고 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 미리 설정된 위치를 인식한다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 디코딩하기 위한 화상 디코딩 장치가 제공되는데, 이는 제 2 화상을 디코딩하기 위한 제 2 화상 디코딩 수단(도 29에 도시된 상위 계층 디코딩 장치(93)와 같음)과, 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상 디코딩 수단에 의해서 디코딩된 제 2 화상을 확장/축소하기 위한 확장/축소 수단(도 29에 도시된 해상도 변환기(94)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 디코딩하기 위한 제 1 화상 디코딩 수단(도 29에 도시된 하위 계층 디코딩 장치(95)와 같음)을 포함한다. 인코딩된 데이터는 미리 설정된 절대 좌표 시스템에서, 제 1 화상의 위치 또는 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 각각 포함하며, 여기서 미리 설정된 절대 좌표 시스템에서 참조 화상의 위치는 미리 설정된 위치와 일치하도록 설정되었다. 제 1 화상 디코딩 수단은 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하며 제 1 화상을 디코딩하기 위해서 참조 화상의 위치로서 이전 위치(pre-position)를 인식한다.
전술된 화상 디코딩 장치는 제 1 화상 디코딩 수단의 디코딩 결과들을 표시하기 위한 디스플레이를 포함할 수 있다(도 27에 도시된 모니터(74)와 같음).
본 발명의 또 다른 양태에 따라서, 화상 디코딩 장치가 제공되는데, 이는 제 2 화상을 디코딩하기 위한 제 2 화상 디코딩 수단(도 29에 도시된 상위 계층 디코딩 장치(93)와 같음), 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상 디코딩 수단에 의해서 디코딩된 제 2 화상을 확장/축소하기 위한 확장/축소 수단(도 29에 도시된 해상도 변환기(94)와 같음)과, 참조 화상으로서 확장/축소 수단의 출력을 이용하여 제 1 화상을 디코딩하기 위한 제 1 화상 디코딩 수단(도 29에 도시된 하위 계층 디코딩 장치(94)와 같음)을 포함한다. 인코딩된 데이터는 미리 설정된 좌표 시스템에서 제 1 화상의 위치 및 제 2 화상의 위치 상의 제 1 위치 정보 또는 제 2 위치 정보를 포함하며, 여기서 미리 설정된 좌표 시스템내의 참조 화상의 위치는 미리 설정된 위치와 일치하게 하기 위해서 설정되었다. 제 1 화상 디코딩 수단은 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하게 되며, 제 1 화상을 디코딩하기 위해서 참조 화상의 위치로서 미리 설정된 위치를 인식하게 된다.
전술된 화상 디코딩 장치 및 화상 디코딩 방법에 따라서, 확장/축소 수단은 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상 디코딩 수단에 의해서 디코딩된 제 2 화상을 확장 또는 축소한다. 인코딩된 데이터가 미리 설정된 절대 좌표 시스템에서, 제 1 화상의 위치 또는 제 2 화상의 위치상의 제 1 위치 정보 또는 제 2 위치 정보를 포함하며, 여기서 미리 설정된 절대 좌표 시스템에서 참조 화상의 위치는 미리 설정된 위치와 일치하도록 하기 위해 설정되며, 제 1 화상 디코딩 수단은 제 1 위치 정보에 기초한, 제 1 화상의 위치를 인식하며, 제 1 화상을 디코딩하기 위해서, 참조 화상의 위치로서 이전 위치를 인식한다.
본 발명의 또 다른 양태에 따라서, 기록 매체가 제공되는데, 이는 참조 화상으로서 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 축소할 때 획득된 확장 또는 축소된 결과들을 이용하여 제 1 화상을 예측 인코딩할 때 획득된 제 1 데이터와, 제 2 화상을 인코딩할 때 획득된 제 2 데이터와, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상들의 위치들을 설정할 때 획득된 제 1 위치 정보 또는 제 2 위치 정보를 포함하는 인코딩된 데이터를 그 위에 기록한다. 제 1 위치 정보 및 제 2 정보가 설정되어 미리 설정된 좌표 시스템내의 참조 화상의 위치가 미리 설정된 위치와 일치되게 할 것이다.
본 발명의 또 다른 양태에 따라서, 인코딩 데이터를 기록하기 위한 기록 매체가 제공되는데, 여기서 인코딩된 데이터는 참조 화상으로서, 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 축소할 때 획득된 확장 또는 축소된 결과들을 이용하여 제 1 화상을 예측 인코딩할 때 획득된 제 1 데이터와, 제 2 화상을 인코딩할 때 획득된 제 2 데이터와, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상들의 위치들을 설정할 때 획득된 제 1 위치 정보 또는 제 2 위치 정보를 포함한다. 제 1 위치 정보 및 제 2 위치 정보가 설정되어 미리 설정된 절대 좌표 시스템에서 참조 화상의 위치는 미리 설정된 위치와 일치되게 할 것이다.
본 발명의 또 다른 양태에 따라서, 인코딩 데이터를 기록하기 위한 기록 방법이 제공되는데, 여기서 인코딩된 데이터는 참조 화상으로서 제 1 및 제 2 화상들 사이의 해상도에서의 차이에 기초한 제 2 화상을 확장하거나 축소할 때 획득된 확장 또는 축소된 결과들을 이용하여 제 1 화상을 예측 인코딩할 때 획득된 제 1 데이터와, 제 2 화상을 인코딩할 때 획득된 제 2 데이터와, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상들의 위치들을 설정할 때 획득된 제 1 위치 정보 또는 제 2 위치 정보를 포함한다. 제 1 위치 정보 및 제 2 위치 정보가 설정되어 미리 설정된 절대 좌표 시스템에서 참조 화상의 위치는 미리 설정된 위치와 일치하게 될 것이다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩 장치가 제공되는데 이는 화상을 예측 코딩하기 위한 제 1 예측 코딩 수단(도 15에 도시된 하위 계층 인코딩 장치(25)와 같음)과, 제 1 예측 코딩 수단에 의해서 예측 코딩의 결과들을 국부적으로 디코딩하기 위한 로컬 디코딩 수단(하위 계층 인코딩 장치(25)와 같음)과, 참조 화상으로서 로컬 디코딩 수단에 의해서 출력된 국부적으로 디코딩된 화상을 이용하여 화상을 예측 코딩하기 위한 제 2 예측 코딩 수단(도 15에 도시된 상위 계층 인코딩 장치(23)와 같음)과, 예측 코딩을 수행하는데 제 1 예측 코딩 수단에 의해서 사용된 움직임 벡터만을 갖는 제 1 및 제 2 예측 코딩 수단에 의해서 예측 코딩한 결과들을 다중화하기 위한 다중화 수단(도 15에 도시된 다중화기(26)와 같음)을 포함한다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩 방법이 제공되는데, 이는 제 1 인코딩된 데이터를 출력하기 위한 화상을 예측 코딩하는 단계와, 제 2 인코딩된 데이터를 출력하기 위해서 로컬 디코딩의 결과로서 획득된 국부적으로 디코딩된 화상을 이용하여 화상을 예측 코딩하는 단계와, 제 1 인코딩된 데이터를 획득하기 위해서 사용된 움직임 벡터만을 갖는 제 1 인코딩된 데이터 및 제 2 인코딩된 데이터를 다중화하는 단계를 포함한다.
전술된 화상 인코딩 장치 및 화상 인코딩 방법에 따라서, 화상은 제 1 인코딩된 데이터를 출력하기 위해서 예측 인코딩되며, 제 1 인코딩된 데이터는 국부적으로 디코딩되며, 화상은, 참조 화상으로서, 제 2 인코딩된 데이터를 출력하기 위해서 로컬 디코딩 상에서 획득된 국부적으로 디코딩된 화상을 이용하여, 예측 인코딩된다. 제 1 및 제 2 인코딩된 데이터는 제 1 인코딩된 데이터를 획득하기 위해서 사용된 움직임 벡터만을 이용하여 다중화된다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 디코딩하기 위한 화상 디코딩 장치가 제공되는데, 이는 인코딩된 데이터로부터 제 1 및 제 2 데이터를 분리하기 위한 분리 수단(도 29에 도시된 디멀티플렉서(91)와 같음)과, 제 1 데이터를 디코딩하기 위한 제 1 디코딩 수단(도 29에 도시된 하위 계층 디코딩 장치(95)와 같음)과, 참조 화상으로서 제 1 디코딩 수단의 출력을 이용하여 제 2 데이터를 디코딩하기 위한 제 2 디코딩 수단(도 29에 도시된 상위 계층 디코딩 장치(93)와 같음)을 포함한다. 인코딩된 데이터는 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터만을 포함한다. 제 2 디코딩 수단은 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터에 따라서 제 2 데이터를 디코딩한다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 디코딩하기 위한 화상 디코딩 장치가 제공되는데, 이는 인코딩된 데이터로부터 제 1 및 제 2 데이터를 분리하기 위한 분리 수단(도 29에 도시된 디멀티플렉서(91)와 같음)과, 제 1 데이터를 디코딩하기 위한 제 1 디코딩 수단(도 29에 도시된 하위 계층 디코딩 장치(95)와 같음)과, 참조 화상으로서 제 1 디코딩 수단의 출력을 이용하여 제 2 데이터를 디코딩하기 위한 제 2 디코딩 수단(도 29에 도시된 상위 계층 디코딩 장치(93)와 같음)을 포함한다. 인코딩된 데이터가 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터만을 포함하면, 제 2 디코딩 수단은 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터에 따라서 제 2 데이터를 디코딩하게 된다.
전술된 화상 디코딩 장치 및 화상 디코딩 방법에 따라서, 제 1 디코딩 수단은 제 1 데이터를 디코딩하며 제 2 디코딩 수단은 참조 화상으로서 제 1 디코딩 수단의 출력을 이용하여 제 2 데이터를 디코딩한다. 인코딩된 데이터가 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터만을 포함하면, 제 2 디코딩 수단은 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터에 따라서 제 2 데이터를 디코딩한다.
본 발명의 또 다른 양태에 따라서, 기록 매체가 제공되는데, 이는 제 1 인코딩된 데이터를 출력하며, 제 1 인코딩된 데이터를 국부적으로 디코딩하고, 제 2 인코딩된 데이터를 출력하기 위해서 로컬 디코딩의 결과로서 획득된 국부적으로 디코딩된 화상을 이용하여 화상을 예측 코딩하며, 제 1 인코딩된 데이터를 획득하는데 사용된 움직임 벡터만을 갖는 제 1 인코딩된 데이터 및 제 2 인코딩된 데이터를 다중화하기 위한 화상을 예측 코딩하여 획득된 인코딩된 데이터가 그 위에 기록된다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 기록하기 위한 방법이 제공되는데, 여기서 인코딩된 데이터는 화상을 예측 코딩하며 제 1 인코딩된 데이터를 출력하며, 제 1 인코딩된 데이터를 국부적으로 디코딩하며, 제 2 인코딩된 데이터를 출력하기 위해서 로컬 디코딩의 결과로서 획득된 국부적으로 디코딩된 화상을 이용하여 화상을 예측 코딩하며, 제 1 인코딩된 데이터를 획득하는데 사용된 움직임 벡터만으로 제 1 인코딩된 데이터 및 제 2 인코딩된 데이터를 다중화하여 획득된다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩 장치가 제공되는데, 여기서 매크로 블록이 스킵 매크로 블록인지 여부는 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하는데 사용된 참조 화상을 규정하는 참조 화상 정보에 기초해서 결정된다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩 방법이 제공되는데, 여기서 매크로 블록이 스킵 매크로 블록인지 여부는 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하는데 사용된 참조 화상을 규정하는 참조 화상 정보에 기초해서 결정된다.
본 발명의 또 다른 양태에 따라서, 화상 디코딩 장치가 제공되는데, 여기서 매크로 블록이 스킵 매크로 블록인지 여부는 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하는데 사용된 참조 화상을 규정하는 참조 화상 정보에 기초해서 결정된다.
본 발명의 또 다른 양태에 따라서, 화상 디코딩 방법이 제공되는데, 여기서 매크로 블록이 스킵 매크로 블록인지 여부는 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하는데 사용된 참조 화상을 규정하는 참조 화상 정보에 기초해서 결정된다.
본 발명의 또 다른 양태에 따라서, 기록된 인코딩된 데이터를 갖는 기록 매체가 제공되는데, 여기서 매크로 블록은 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하는데 사용된 참조 화상을 규정하는 참조 화상 정보에 기초한 스킵 매크로 블록이다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 기록하는 기록 방법이 제공되는데, 여기서 매크로 블록은 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하는데 사용된 참조 화상을 규정하는 참조 화상 정보에 기초한 스킵 매크로 블록이다.
본 발명의 또 다른 양태에 따라서, 화상 처리 장치가 제공되는데, 여기서 가변 길이 인코딩 또는 가변 길이 디코딩을 위해 사용된 미리 설정된 테이블이 화상의 크기 변화를 유지시키도록 변형된다.
본 발명의 또 다른 양태에 따라서, 화상 처리 방법이 제공되는데 여기서 화상이 가변 길이 인코딩 또는 가변 길이 디코딩을 위해서 사용된 크기 및 미리 설정된 테이블에서 변경되는지 여부는 화상의 크기 변화를 유지시키도록 변형된다.
본 발명의 또 다른 양태에 따라서, 화상 처리 장치가 제공되는데, 여기서 가변 길이 인코딩 또는 가변 길이 디코딩에서 사용된 미리 설정된 테이블은 인코딩되는 화상의 층과 같은 타이밍을 가지며 그와는 다른 층의 화상이 참조 화상으로서 사용되는지에 따라서 변형된다.
본 발명의 또 다른 양태에 따라서, 화상 처리 방법이 제공되는데, 여기서 가변 길이 인코딩 또는 가변 길이 디코딩을 위해서 사용된 미리 설정된 테이블은 인코딩되는 화상의 층과 같은 타이밍을 가지며 그와는 다른 층의 화상이 참조 화상으로서 사용되는지에 따라서 변형된다.
본 발명의 또 다른 양태에 따라서, 화상 인코딩 장치가 제공되는데, 여기서 화상의 미리 설정된 블록내의 화소 값의 모든 양자화 결과들이 모두 동일 값이 아닐 경우에만 미리 설정된 양자화 단계가 양자화된다.
미리 설정된 양자화 단계에 의해서 화상을 적어도 양자화하기 위한 전술된 화상 인코딩 장치는 화상의 양자화의 결과들과 미리 설정된 양자화 단계를 다중화하기 위한 다중화 수단을 포함한다(도 22 및 도 23에 도시된 VLC 장치(11)와 같음).
본 발명의 또 다른 양태에 따라서, 화상 인코딩 방법이 제공되는데, 여기서 화상의 미리 설정된 블록내의 화소 값들의 모든 양자화 결과들이 모두 동일한 값이 아닐 경우에만 미리 설정된 양자화 단계가 양자화된다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 디코딩하기 위한 화상 디코딩 장치가 제공되는데, 여기서 화상의 미리 설정된 블록내의 화소 값들의 모든 양자화 결과들이 모두 동일한 값이 아닐 경우에만 인코딩된 데이터는 미리 설정된 양자화 단계를 포함한다.
본 발명의 또 다른 양태에 따라서, 인코딩 데이터를 디코딩하기 위한 화상 디코딩 방법이 제공되는데, 여기서 화상의 미리 설정된 블록내의 화소 값들의 모든 양자화 결과들이 모두 동일한 값이 아닐 경우에만 인코딩된 데이터는 미리 설정된 양자화 단계를 포함한다.
본 발명의 또 다른 양태에 따라서, 그 위에 기록된 인코딩된 데이터를 갖는 기록 매체가 제공되는데, 여기서 화상의 미리 설정된 블록내의 화소 값들의 모든 양자화 결과들이 모두 동일한 값이 아닐 경우에만 인코딩된 데이터는 미리 설정된 양자화 단계를 포함한다.
본 발명의 또 다른 양태에 따라서, 인코딩된 데이터를 기록하기 위한 기록 방법이 제공되는데, 여기서 화상의 미리 설정된 블록내의 화소 값들의 모든 양자화 결과들이 모두 동일한 값이 아닐 경우에만 인코딩된 데이터는 미리 설정된 양자화 단계를 포함한다.
도 12는 본 발명의 실시예에 따른 인코더를 도시한다. 그러한 인코더에서, 인코딩하기 위한 화상 데이터는 VO (비디오 오브젝트) 구성 장치(1)로 들어가는 것으로서 이는 VO를 구성하기 위해서 공급되는 화상의 오브젝트를 추출한다. VO 구성 장치(1)는 각각의 VO에 대해서 키 신호를 발생하며 결합된 VO 신호와 함께 발생된 키 신호를 VOP(비디오 오브젝트 평면) 구성 장치 21 내지 2N에 출력할 수 있다. 즉, VOs(VO1 내지 VO#N)의 N 번호가 VO 구성 장치(1)에서 구성되면, 그러한 N VOs는 결합된 키 신호를 따라서 VO 구성 장치(21 내지 2N)로 출력된다. 특히, 인코딩하기 위한 화상 데이터는 배경 F1, 전경 F2 및 키 신호 K1을 포함할 수 있다. 더욱이, 합성된 화상이 색도 키를 이용함으로서 그로부터 발생될 수 있다고 가정해 본다. 이 경우에, VO 구성 장치(1)는 VO1으로서 전경 F2 및 VO1에 대한 키 신호로서 키 신호 K1을 VOP 구성 장치(21)에 출력하며, VO 구성 장치(1)는 VO2로서 배경 F1을 VOP 구성 장치(22)로 출력할 수 있다. 배경으로서, 키 신호는 요구되지 않으며, 그와 같이, 발생되거나 출력되지 않는다.
인코딩을 위한 화상 데이터가 키 신호를 포함하지 않으면, 예를 들어, 인코딩을 위한 화상 데이터가 이미 합성된 화상이면, 화상은 하나 이상의 영역을 추출하기 위해서 그리고 추출된 영역과 결합된 키 신호를 발생하기 위해서 미리 설정된 알고리즘에 따라서 분할된다. VO 구성 장치(1)는 VO에 추출된 영역의 순서를 설정하며, 이 순서는 발생된 키 신호를 따라서 결합된 VOP 구성 장치(2N)로 출력되며, 여기서 n= 1,2,...N 이다.
VOP 구성 장치(2N)는 VO 구성 장치(1)의 출력으로부터 VO 평면(VOP)을 구성하여 수평 화소 및 수직 화소의 수가 각각 선정된 배수 예를 들면 16과 같아진다. VOP가 구성되면, VOP 구성 장치(2N)는 휘도 또는 색도 신호와 같은 VOP내에 포함된 물체 부분의 화상 데이터를 추출하기 위해서 키 신호와 함께 VOP를 인코딩 장치(3N)에 출력한다(여기서 n=1,2 ...n). 이러한 키 신호는 전술된 바와 같이, VO 구성 장치(1)로부터 공급된다. VOP 구성 장치(2N)는 VOP의 크기(길이 방향 및 횡방향과 같은)를 표시하는 크기 데이터(VOP 크기)와, 프레임내의 VOP의 위치를 표시하는 오프셋 데이터(VOP 오프셋)(예를 들면, 원점으로서 프레임의 최좌측 점을 갖는 좌표)를 검출하며, VOP 인코딩 장치(3N)에 그러한 데이터를 공급한다.
VOP 인코딩 장치(3N)는 MPEG 또는 H.263과 같은 선정된 표준에 따른 VOP 구성 장치(2N)의 출력을 인코딩하며, 다중화 장치(4)에 결과 비트스트림을 출력한다. 다중화 장치(4)는 VOP 인코딩 장치(31 내지 3N)로부터 비트스트림을 다중화하며 지상파로서 또는 위성 회로, CATV 회로 또는 유사한 전송 경로(5)를 통해서 결과로서 다중화된 데이터를 전송하거나, 기록 매체(6)(자기 디스크, 광자기디스크, 광 디스크, 자기 테이프와 같은 것)에 다중화된 데이터를 기록한다.
이제 VO 및 VOP가 더 상세히 설명된다.
VO는 합성을 위한 화상 순서가 있을 때 합성된 화상을 구성하는 각각의 물체의 순서가 되며, 한편, VOP는 주어진 시점에서 VO이다. 즉, 화상 F1 및 F2로부터 합성된 화상 F3가 있으면, 시간대별로 배열된 화상 F1 또는 F2는 각각 VO이며, 한편, 주어진 시점에서 화상 F1 또는 F2는 각각 VOP이다. 그러므로, VO는 다른 시점에서 동일 물체의 일련의 VOP가 될 수 있다.
화상 F1이 배경이며 화상 F2가 전경 화상이면, 합성된 화상 F3은 화상 F2를 추출하기 위해서 키 신호를 이용하여 화상 F1 및 F2를 합성함으로서 획득된다. 이 상태에서, 화상 F2의 VOP는 화상 F2(휘도 및 색도 신호)를 구성하는 화상 데이터뿐 아니라 결합된 키 신호를 포함한다.
화상 프레임(스크린 프레임)의 순서가 크기나 위치가 변화되지 않는다 할지라도, VO는 크기 및/또는 위치가 변화될 수 있다. 즉, 동일 VO를 구성하는 VOP는 크기 및/또는 위치에서 시간에 따라서 변화될 수 있다. 예를 들어, 도 13은 배경으로서 화상 F1을 구성하는 합성 화상 및 전경으로서 화상 F2를 도시한다. 화상 F1은 사진화된 랜스케이프이며, 여기서 전체 화상의 순서는 VO(VO0로 일컬어짐)를 표시하며 화상 F2는 사진으로 표시된 것으로서 걸어가는 사람인데 여기서 사람을 에워싸는 최소의 사각형 순서는 VO(VO1으로 일컬어짐)를 표시한다. 이 예에서, VO0(이는 랜스케이프임)은 평상의 화상이나 스크린 프레임에서와 같이 기본적으로 위치나 크기가 변화되지 않았다. 한편, VO1(사람의 화상)은 사람이 도면의 정변 또는 후방으로 이동할 때 크기나 위치가 변한다. 그러므로, 도 13이 동일 시점에서 VO0 및 VO1을 도시한다 할지라도, 두 개의 위치 및 크기는 반드시 같을 필요는 없다. 그 결과로서, VOP 인코딩 장치(3N)(도 12)는 출력 비트스트림 내에서 인코딩된 VOP의 데이터뿐 아니라 미리 설정된 절대 좌표 시스템내의 VOP의 위치(좌표) 및 크기를 포함하는 정보를 제공한다. 도 13은 주어진 시점에서 VO0(VOP)의 위치를 규정하는 OST0 및 동일 시점에서 VO1(VOP)의 위치를 규정하는 벡터 OST1을 도시한다.
도 14는 도 12의 VOP 인코딩 장치(3N)의 기본 구성을 도시한다. 도 14에 도시된 바와 같이, VOP 구성 장치(2N)(VOP를 구성하는 휘도 신호 및 색도 신호)로부터 화상 신호(화상 데이터)가 화상 신호 인코딩 장치(11)에 공급되며, 이는 도 1의 상부 인코더에 유사하게 구성될 수 있으며, 여기서 VOP는 MPEG 또는 H.263 표준에 적응되는 시스템에 따라서 인코딩된다. 화상 신호 인코딩 장치(11)에 의해서 VOP를 인코딩할 때 획득되는, 움직임 및 구성 정보는 다중화기(13)에 공급된다. 도 14에 도시된 바와 같이, VOP 구성 장치(2N)로부터 키 신호는 키 신호 인코딩 장치(12)로 공급되며 여기서 그것은 예를 들어, 차이 펄스 코드 변조(DPCM)에 의해서 인코딩된다. 키 신호 인코딩 장치(12)에 의해서 인코딩으로부터 획득된 키 신호 정보는 다중화기(13)에 공급된다. 화상 신호 인코딩 장치(11) 및 키 신호 인코딩 장치(12)의 출력에 더해서, 다중화기(13)는 VOP 구성 장치(2N)로부터 크기 데이터(VOP 크기) 및 오프셋 데이터(VOP 오프셋)를 요구한다. 다중화기(13)는 수신된 데이터를 다중화하며 버퍼(14)에 다중화된 데이터를 출력하며 이 버퍼는 스무드된 데이터를 출력하기 위해서 그러한 출력 데이터를 일시적으로 저장하며 데이터 용량을 스무드한다.
키 신호 인코딩 장치(12)는, 예를 들어, 키 신호를 인코딩하기 위해 움직임 보상 전 후에 일시적으로 키 신호와의 차를 계산하기 위해서, 화상 신호 인코딩 장치(11)에 의해서 수행된 예측 코딩에 의해서 검출된 움직임 벡터에 따라서 키 신호의 DPCM은 물론 움직임 보상을 수행할 수 있다. 더욱이, 키 신호 인코딩 장치(12)(버퍼 피드백)내의 키 신호의 인코딩 결과의 데이터 용량은 화상 신호 인코딩 장치(11)에 공급될 수 있다. 양자화 단계는 그렇게 수신된 데이터 용량으로부터 화상 신호 인코딩 장치(11)에서 결정될 수 있다.
도 15는 스케일러빌리티를 실현하기 위해 구성되는 도 12의 VOP 인코딩 장치(3N)의 구성을 도시한다. 도 15에 도시된 바와 같이, VOP 구성 장치(2N)로부터의 VOP 화상 데이터, 그 키 신호, 크기 데이터(VOP 크기) 및 오프셋 데이터(VOP 오프셋)는 모두 다수의 층 즉, VOP 층의 화상 데이터를 발생하는 화상 계층화 장치(21)에 공급된다. 특히, 공간 스케일러빌리티를 인코딩할 때, 화상 층 형성 장치(21)는 상위 계층(상부 순서 계층)의 화상 데이터 및 키 신호로서 직접 공급되는 화상 데이터 및 키 신호를 출력하며 한편 하위 계층(하부 계층 순서)의 결과로서 나오는 화상 데이터 및 키 신호를 출력하기 위해서 해상도를 낮추는 화상 데이터 및 키 신호를 구성하는 화소를 줄인다. 입력 VOP는 하위 계층 데이터가 될 수 있으며, 한편, 그 해상도는 상위 계층 데이터가 되도록 상승될 수 있다(그 화소 수가 증가될 수 있다).
전술된 스케일러빌리티 동작의 또 다른 설명이 제공된다. 이 설명에서, 층수가 세 개 또는 그 이상일지라도, 단지 두 개의 층만이 사용 및 설명된다.
일시적인 스케일러빌리티를 인코딩하는 경우에, 화상 층 형성 장치(21)는 시점에 따라서 상위 계층 데이터 또는 하위 계층 데이터로서 화상 신호 및 키 신호를 교번해서 출력한다. VO를 형성하는 VOPs가 VOP0, VOP1, VOP2, VOP3,...의 순서로 화상 층 형성 장치(21)로 들어가면, 후자는 하위 계층 데이터로서 VOPs VOP0, VOP2, VOP4, VOP6,...를 출력하며, 한편, 상위 계층 데이터로서 VOPs VOP1, VOP3, VOP5, VOP7, ...를 출력한다. 일시적인 스케일러빌리티에서, 단순히 VOPs를 줄이는 것은 하위 계층 데이터와 상위 계층 데이터가 될 수 있으며, 한편, 화상 데이터는 확장되거나 축소되지 않는데, 즉, 그러한 해상도 변환이 수행될 수 있다 할지라도, 해상도 변환이 수행되지 않는다.
SNR(신호 대 잡음 비) 스케일러빌리티를 이용하는 경우에, 입력 화상 신호 및 키 신호는 상위 계층 데이터 및 하위 계층 데이터로서 직접 출력된다. 즉, 이 경우에, 상부 및 하위 계층의 입력 화상 신호 및 키 신호는 동일 데이터가 될 수 있다.
다음 세가지 형태의 공간 스케일러빌리티는 VOP 기초에서 인코딩 경우에 발생될 수 있다.
도 13에 도시된 화상 F1 및 F2로 이루어지는 합성된 화상이 VOP로서 공급되면, 제 1 공간 스케일러빌리티는 도 16A에 도시된 바와 같이, 그 전체가 입력 VOP를 상위 계층(향상 층)으로 전환하며, 한편, 도 16B에 도시된 바와 같이, 그 전체가 구성된 VOP를 하위 계층으로 전환한다.
제 2 공간 스케일러빌리티는 화상 F2에 대응하는 입력 VOP의 일부를 구성하는 물체를 추출하며 그것을 도 17A에 도시된 바와 같이 상위 계층에 전환하는 것이며, 한편, 전체적으로 VOP를 도 17B에 도시된 바와 같이 하위 계층(기본 층)에 전환한다. 이러한 추출은 VOP 구성 장치(2N)에서 수행될 수 있으며 따라서 이러한 방식으로 추출된 물체는 VOP로서 생각된다.
제 3 공간 스케일러빌리티는 도 18A, 18B, 19A 및 19B에 도시된 바와 같이, VOP에 기초한 상위 계층 및 하위 계층을 발생하기 위해서 입력 VOP를 구성하는 물체들(VOPs)을 추출하는 것이다. 도 18A, 18B에서, 상부 및 하위 계층은 도 13의 VOP를 구성하는 배경(화상 F1)으로부터 발생되며, 한편, 도 19A, 19B에서, 상부 및 하위 계층은 도 13의 VOP를 구성하는 전경 화상(화상 F2)으로부터 발생된다.
소정의 공간 스케일러빌리티는 전술된 세 개의 형태로부터 선택되거나 미리 결정될 수 있으며, 따라서 화상 층 형성 장치(21)는 미리 설정된 스케일러빌리티에 의해서 인코딩을 가능하게 하기 위해서 VOPs를 층 형성한다.
화상 층 형성 장치(21)에 공급된 VOP들의 크기 데이터 및 오프셋 데이터로부터(때로는 초기 크기 데이터 및 초기 오프셋 데이터로 불린다), 화상 층 형성 장치(21)는 발생된 하위 계층 및 상위 계층 VOP들의 미리 설정된 절대 좌표 시스템에서 위치 및 크기를 규정하는 오프셋 데이터 및 크기 데이터를 계산한다(설정한다).
상위 및 하위 계층의 오프셋 데이터(위치 정보) 및 크기 데이터를 설정하기 위한 방식은 전술된 제 2 스케일러빌리티를 참조하여 설명된다(도 17A, 17B). 이 경우에, 하위 계층의 오프셋 데이터 FPOS_B가 설정되어, 하위 계층의 화상 데이터가 상위 계층으로부터 해상도 및 해상도 차에 기초해서 확장될 때(보간될 때), 즉, 하위 계층의 화상이 확장 비(증배 인수 FR)로 확장될 때, 확장된 화상의 절대 좌표 시스템내의 오프셋 데이터는 초기 오프셋 데이터와 일치한다. 확장 비는 하위 계층의 화상을 발생하기 위해서 상위 계층 화상이 축소되는 축소비와 일치한다. 유사하게, 하위 계층의 크기 데이터 FSZ_B가 설정되어 증배 인수 FR에 의해서 하위 계층의 화상을 확장할 때 획득된 확장된 화상의 크기 데이터가 초기 크기 데이터와 일치하게 된다. 한편, 상위 계층의 오프셋 데이터 FPOS_E는 좌표의 값에 설정되는데, 예를 들면, 도 20b에 도시된 바와 같이, 초기 오프셋 데이터에 기초해서, 입력 VOP로부터 추출된 물체를 에워싸는 16 터플된(tupled) 최소 사각형(VOP)의 상부 좌측 정점과 같다. 이에 더해서, 상위 계층의 크기 데이터 FSZ_E는 입력 VOP로부터 추출된 물체를 에워싸는 16 터플된 최소 사각형(VOP)의 횡축 길이 및 길이 방향 길이로 설정될 수 있다.
그러므로, 하위 계층의 오프셋 데이터 FPOS_B 및 크기 데이터 FSZ_B가 증배 인수 FR에 따라서 변환되면, 변환된 크기 데이터 FSZ_B에 대응하는 크기의 화상 프레임은 절대 좌표 시스템내의 변환된 오프셋 데이터 FPOS_B에 대응하는 위치로 생각되며, FR에 의해서 하위 계층 화상 데이터를 증배할 때 획득된 확장된 화상은 도 20a에 도시된 바와 같이 배치될 수 있으며, 상위 계층의 화상은 절대 좌표 시스템(도 20b)에서 상위 계층의 오프셋 데이터 FPOS_E 및 크기 데이터 FSZ_E에 따라서 유사하게 배치되며, 여기서 확장된 화상 및 상위 계층의 결합된 화소는 일대일 관계이다. 즉, 이 경우에, 상위 계층 화상의 사람은 도 20A 및 20B에 도시된 바와 같이, 확장된 화상내의 사람과 같은 위치에 있게 된다.
제 1 및 제 3 형태의 스케일러빌리티를 이용할 때, 오프셋 데이터 FPOS_B 또는 FPOS_E 및 크기 데이터 FZS_B 및 FZS_E가 결정되어 하위 계층 확장된 화상 및 상위 계층 확장된 화상의 결합된 화소가 절대 좌표 시스템내의 동일 위치에서 배치되게 된다.
오프셋 데이터 FPOS_B, FPOS_E 및 크기 데이터 FZS_B, FZS_E가 다음과 같이 결정될 수 있다. 즉, 하위 계층의 오프셋 데이터 FPOS_B가 결정되어 하위 계층의 확장된 화상의 오프셋 데이터가 도 21a에 도시된 바와 같이, 원점과 같은 절대 좌표 시스템의 미리 설정된 위치와 일치한다. 한편, 상위 계층의 오프셋 데이터 FPOS_E는 도 21b 에서 예로서 도시된 바와 같이, 초기 오프셋 데이터 상에 기초해서 알 수 있듯이 입력 VOP로부터 추출된 물체를 에워싸는 16 터블된 최소 사각형(VOP)의 상부 좌측 정점과 같은, 좌표의 값에 설정된다. 도 21a, 21b에서, 하위 계층의 크기 데이터 FSZ_B 및 상위 계층의 크기 데이터 FZS_E는 도 20a, 20b를 참조하여 설명된 바와 유사하게 설정될 수 있다.
오프셋 데이터 FPOS_B 및 FPOS_E가 전술된 바와 같이 설정될 때, 하위 계층의 확장된 화상 및 상위 계층의 화상을 구성하는 결합된 화소가 절대 좌표 시스템에서 결합된 위치에서 배열된다.
도 15로 돌아가서, 화상 층 형성 장치(21)에서 발생된 상위 계층의 화상 데이터, 키 신호, 오프셋 데이터 FPOS_E, 및 크기 데이터 FSZ_E는 후술되듯이 하위 계층 인코딩 장치(25)에서 처리 시간에 대응하는 량만큼 지연되도록 지연 회로(22)에 공급된다. 지연 회로(22)로부터 출력 신호는 상위 계층 인코딩 장치(23)에 공급된다. 하위 계층의 화상 데이터, 키 신호, 오프셋 데이터 FPOS_B, 및 크기 데이터 FSZ_B는 하위 계층 인코딩 장치(25)로 공급된다. 증배 인수 FR은 지연 회로(22)를 통해서 상위 계층 인코딩 장치(23) 및 해상도 변환기(24)에 공급된다.
하위 계층 인코딩 장치(25)는 화상 데이터(제 2 화상) 및 하위 계층의 키 신호를 인코딩한다. 오프셋 데이터 FPOS_B 및 크기 데이터 FSZ_B는 다중화기(26)에 공급되는 결과로서 나오는 인코딩된 데이터(비트스트림)에 포함된다. 하위 계층 인코딩 장치(25)는 인코딩된 데이터를 국부적으로 디코딩하며 하위 계층의 국부적으로 결과적으로 디코딩된 화상 데이터를 해상도 변환기(24)로 출력한다. 해상도 변환기(24)는 원래의 크기로 변화하기 위해서 증배 인수 FR에 따라서 하위 계층 인코딩 장치(25)로부터 수신된 하위 계층의 화상 데이터를 확장 또는 축소한다. 확장된 화상이 될 수 있는, 결과로서 나오는 화상은, 상위 계층 인코딩 장치(23)에 출력된다.
상위 계층 인코딩 장치(23)는 상위 계층의 화상 데이터(제 1 화상) 및 키 신호를 인코딩한다. 오프셋 데이터 FPOS_E 및 크기 데이터 FSZ_E는 다중화기(26)에 공급되는 결과로서 나오는 인코딩된 데이터(비트스트림)에 포함된다. 상위 계층 인코딩 장치(23)는 해상도 변환기(24)로부터 공급된 확장된 화상을 이용하여 화상 데이터를 인코딩한다.
하위 계층 인코딩 장치(25) 및 상위 계층 인코딩 장치(23)는 크기 데이터 FSZ_B, 오프셋 데이터 FPOS_B, 움직임 벡터 MV, 및 플래그 COD가 공급된다. 상위 계층 인코딩 장치(23)는 후에 더 상세히 기술되듯이, 처리되는 동안에, 적당한 또는 필요한 데이터 또는 정보를 참조하거나 이용한다.
다중화기(26)는 상위 계층 인코딩 장치(23) 및 하위 계층 인코딩 장치(25)로부터 출력을 다중화하며 결과로서 나오는 다중화된 신호를 공급한다.
도 22는 하위 계층 인코딩 장치(25)의 일례를 도시한다. 도 22에서, 도 1에 대응하는 부품 및 구성 요소는 동일 참조 번호로 표시된다. 즉, 하위 계층 인코딩 장치(25)는 새롭게 공급된 키 신호 인코딩 장치(43) 및 키 신호 디코딩 장치(44)를 제외하고는 도 1의 인코더와 유사하게 구성된다.
도 22의 하위 계층 인코딩 장치(25)에서, 층 형성 장치(21)(도 15)로부터의 화상 데이터, 즉, 하위 계층의 VOPs는 프레임 메모리(31)로 공급되어 저장된다. 움직임 벡터는 움직임 벡터 검출기(32)에서 매크로 블록에 기초하여 검출된다. 그러한 움직임 벡터 검출기(32)는 하위 계층 VOP의 오프셋 데이터 FPOS_B 및 크기 데이터 FSZ_B를 수신하며, 그러한 데이터에 기초해서 매크로 블록의 움직임 벡터를 검출한다. VOP의 크기 및 위치가 시간(프레임)에 따라서 변화되므로, 움직임 벡터를 검출할 때, 좌표 시스템은 검출을 위한 기준과 좌표 시스템에서 검출된 이동으로서 설정되어야 한다. 이러한 목적으로, 전술된 절대 좌표 시스템은 움직임 벡터 검출기(32)를 위한 기준 좌표 시스템 및 인코딩을 위한 VOP로서 사용되며 참조 화상으로서 VOP는 움직임 벡터를 검출하기 위한 절대 좌표 시스템에 배치될 수 있다.
움직임 벡터 검출기(32)는 하위 계층의 키 신호를 인코딩함으로서 그리고 인코딩 결과를 디코딩함으로서 획득된 키 신호 디코딩 장치(44)로부터 디코딩된 키 신호를 수신한다. 움직임 벡터 검출기(32)는 움직임 벡터를 검출하기 위해서 디코딩된 키 신호를 이용함으로서 VOP로부터 물체를 추출한다. 디코딩된 키 신호는 물체를 추출하기 위해서 원래의 키 신호(인코딩 전의 키 신호) 대신에 사용된다. 왜냐하면 디코딩된 키 신호가 수신 측에서 사용되기 때문이다.
한편, 검출된 움직임 벡터(MV)는 예측 모드와 함께 VLC 장치(36) 및 움직임 보상기(42)뿐 아니라 상위 계층 인코딩 장치(23)(도 15)로도 공급된다.
움직임 보상기에서, 이동은 전술된바와 유사하게 기준 좌표 시스템에서 검출되어야 한다. 따라서, 크기 데이터 FSZ_B 및 오프셋 데이터 FPOS_B는 움직임 보상기(42)로 공급되며, 이는 움직임 벡터 검출기(32)와 관련하여 설명된바와 같은 이유로 키 신호 디코딩 장치(44)로부터 디코딩된 키 신호를 수신한다.
그 움직임 벡터가 검출된 VOP는 도 1에서와 같이 결과로서 나오는 양자화된 데이터가 VLC 장치(36)에 공급될 때 양자화된다. 이러한 VLC 장치는 양자화된 데이터, 양자화 단계, 움직임 벡터 및 예측 모드뿐 아니라 화상 층 형성 장치(21)(도 15)로부터의 오프셋 데이터 FPOS_B 및 크기 데이터 FSZ_B를 수신하여 데이터가 양자화된다. VLC 장치(36)는 또한 키 신호 인코딩 장치(43)(키 신호의 비트스트림)로부터 인코딩된 키 신호를 수신하여 인코딩된 키 신호가 가변 길이 인코딩으로 인코딩된다. 즉, 키 신호 인코딩 장치(43)는 도 14를 참조하여 설명된 바와 같이 화상 층 형성 장치(21)로부터 키 신호를 인코딩한다. 인코딩된 키 신호는 VLC 장치(36) 및 키 신호 디코딩 장치(44)에 출력된다. 키 신호 디코딩 장치(44)는 인코딩된 키 신호를 디코딩하며 디코딩된 키 신호를 움직임 벡터 검출기(32), 움직임 보상기(42) 및 해상도 변환기(24)로 출력한다(도 15).
키 신호 인코딩 장치(43)는 하위 계층의 키 신호뿐 아니라 크기 데이터 FSZ_B 및 오프셋 데이터 FPOS_B가 공급되어 움직임 벡터 검출기(32)와 유사하게, 키 신호 인코딩 장치(43)가 그러한 데이터에 기초한 절대 좌표 시스템내의 키 신호의 위치 및 범위를 인식한다.
검출된 움직임 벡터인, VOP는 프레임 메모리(41)에 저장하기 위해서 전술된 바와 같이 인코딩되며 도 1에서와 같이 국부적으로 디코딩된다. 디코딩된 화상은 전술된 바와 같이 참조 화상으로서 사용되며 해상도 변환기(24)로 출력된다.
MPEG1 및 2와는 달리, MPEG4는 참조 화상으로서 B-화상을 이용하며, 따라서 B-화상이 프레임 메모리(41)에 국부적으로 디코딩되며 저장된다. 그러나, 현 시점에서, B-화상은 상위 계층만을 위한 참조 화상으로서 사용된다.
VLC 장치(36)는 이러한 매크로 블록이 스킵 매크로 블록으로 전환되어야 하는지 여부에 대해서 I-, P- B-화상의 매크로-블록을 체크하며, 그 결과에 따라서 플래그 COD 및 MODB를 설정한다. 플래그 COD 및 MODB는 유사하게 전송을 위해서 인코딩된 가변 길이이다. 플래그 COD는 상위 계층 인코딩 장치(23)에 공급된다.
도 23은 도 15의 상위 계층 인코딩 장치(23)의 구조를 도시한다. 도 23에서, 도 1 및 22에 도시된 것과 같은 부품 또는 구성 요소는 동일 참조 번호로 표시된다. 즉, 상위 계층 인코딩 장치(23)는 새로운 장치로서 키 신호 인코딩 장치(51), 프레임 메모리(52), 키 신호 디코딩 장치(53)를 갖는 것을 제외하고는 도 22의 하위 계층 인코딩 장치(25) 또는 도 1의 인코더로 유사하게 구성된다.
도 15의 상위 계층 인코딩 장치(23)에서, 화상 층 형성 장치(21)(도 15)로부터의 화상 데이터, 즉, 상위 계층의 VOP는 움직임 벡터 검출기(32)에서 매크로 블록에 기초한 움직임 벡터를 검출하기 위해서, 도 1에서와 같이, 프레임 메모리(31)로 공급된다. 움직임 벡터 검출기(32)는 도 22에서와 유사한 방식으로, 상위 계층 VOP에 더해서, 상위 계층의 VOP, 크기 데이터 FSZ_E, 및 오프셋 데이터 FPOS_E를 수신하며, 키 신호 디코더(53)로부터 디코딩된 키를 수신한다. 움직임 벡터 검출기(32)는 전술된 경우와 같이, 크기 데이터 FSZ_E 및 오프셋 데이터 PPOS_E에 기초한 절대 좌표 시스템에서 상위 계층의 VOP의 배열 위치를 인식하며, 매크로 블록에 기초해서 움직임 벡터를 검출하기 위해서 디코딩된 키 신호에 기초한 VOP에 포함된 물체를 추출한다.
상위 계층 인코딩 장치(23) 및 하위 계층 인코딩 장치(25)내의 움직임 벡터 검출기(32)는 도 1을 참조하여 설명된 바와 같이 미리 설정된 순서로 VOP를 처리한다. 이러한 순서는 다음과 같이 설정된다.
공간 스케일러빌리티의 경우에, 상부 또는 하위 계층 VOP는 도 24A 또는 24B에 도시된 바와 같이, P, B, B, B, ... 또는 I, P, P, P...의 순서로 처리될 수 있다. 상위 계층에서, 상위 계층의 제 1의 VOP로서 P-화상은 참조 화상으로서, 동일 시점에서 하위 계층의 VOP, 여기서는 I-화상을 이용하는 이러한 경우에, 인코딩된다. B-화상, 상위 계층의 제 2 및 다음 VOP인 화상은 상위 계층의 바로 전의 VOP 및 참조 화상과 동일한 시점에서 하위 계층의 VOP를 이용하여 인코딩된다. 하위 계층의 P-화상과 유사하게, 상위 계층의 B-화상은 다른 VOPs를 인코딩시 참조 화상으로서 사용된다. 하위 계층은 MPEG1 또는 2 또는 H.263의 경우와 같이 인코딩된다.
SNR 스케일러빌리티는 공간 스케일러빌리티와 같으며, 여기서 증배 인수 FR은 전술된 공간 스케일러빌리티와 같은 방식으로 처리된다.
일시적인 스케일러빌리티를 이용하는 경우에, 즉, VOP0, VOP1, VOP2, VOP3, ...으로서 구성되어, VO가 VOP1, VOP3, VOP5, VOP7,...으로, 상위 계층(도 25A)이 되며 VOP0, VOP2, VOP4, VOP6,...으로, 하위 계층(도 25B)이 되면, 상부 및 하위 계층의 VOP는 도 25A 및 25B에 도시된 바와 같이, B, B, B,... 또는 I, P, P의 순서로 처리된다. 이러한 경우에, 상위 계층의 제 1의 VOP1(B-화상)은 참조 화상으로서 하위 계층의 VOP0(I-화상) 및 VOP2(P-화상)를 이용하여 인코딩된다. 상위 계층의 제 2의 VOP3(B-화상)은, 참조 화상으로서 VOP3의 다음 타이밍(프레임)의 화상인 하위 계층의 B-화상 및 VOP4(P-화상)으로서 금방 인코딩된 상위 계층 VOP1를 이용하여 인코딩된다. VOP3와 유사하게, 상위 계층(B-화상)의 제 3의 VOP5는 B-화상으로서 금방 인코딩된 상위 계층의 VOP3 및 VOP5 다음 타이밍의 화상(프레임)인 하위 계층의 VOP6(P-화상)를 이용하여 인코딩된다.
전술된 바와 같이, 다른 층의 VOP로서, 여기서는 하위 계층(스케일가능한 층)은 인코딩을 위해서 참조 화상으로서 사용된다. 즉, 상위 계층 VOP를 예측 코딩하기 위해서, 다른 층의 VOP가 참조 화상으로서 사용되면(즉, 상위 계층의 VOP를 예측 인코딩하기 위해서 하위 계층의 VOP가 참조 화상으로서 사용되면), 상위 계층 인코딩 장치(23)(도 23)의 움직임 벡터 검출기(32)가 설정되며 그러한 용도를 위해서 규정되는 플래그를 출력한다. 예를 들면, 플래그(ref_layer_id)는 세 개 이상의 층이 있을 때 참조 화상으로서 사용된 VOP가 속하는 층을 규정할 수 있다. 이에 더해서, 상위 계층 인코딩 장치(23)의 움직임 벡터 검출기(32)는 VOP를 위한 플래그 ref_layer_id에 따라서 플래그 ref_select_code(참조 화상 정보)를 설정 및 출력하기 위해서 적응된다. 플래그 ref_select_code는 순방향 예측 코딩 또는 역방향 예측 코딩을 실행하는데 참조 화상으로서 어떤 층 VOP가 사용되는지를 규정한다.
도 26a 및 26b는 P- 및 B-화상을 위한 플래그 ref_select_code의 값을 규정한다.
도 26a에 도시된 바와 같이, 예를 들어, 상위 계층(향상(enhancement) 층)의 P-화상이 참조 화상으로서 직전에 디코딩된(국부적으로 디코딩된) 상위 계층의 P-화상과 동일한 층에 속하는 VOP를 이용하여 인코딩되면, 플래그 ref_select_code는 '00'로 설정된다. 또한, P-화상이 참조 화상으로 디스플레이된 상위 계층의 P-화상과 동일한 층에 속하는 VOP를 사용하여 인코딩되면, 플래그 ref_select_code는 '01'로 설정된다. P-화상이 참조 화상으로서 순차적으로 직전에 디스플레이되며 다른 층에 속하는 VOP를 참조 화상으로서 사용하여 인코딩되면, 플래그 ref_select_code는 '10'로 설정된다. P-화상이 기준 신호로서 동시에 발생되며 일치하는 다른 층에 속하는 VOP를 사용하여 인코딩되면, 플래그 ref_select_code는 '11'로 설정된다.
한편, 도 26b에 도시된 바와 같이, 예를 들어 상위 계층의 B-화상이 순방향 예측을 위한 기준 신호로서 다른 층의 일치하는 VOP를 이용하여 인코딩되거나 직전에 디코딩되며 역방향 예측의 참조 화상과 같은 층에 속하는 일치하는 VOP를 이용하여 인코딩되면, 플래그 ref_select_code는 '00'로 설정된다. 또한, 상위 계층의 B-화상이 순방향 예측을 위한 참조 화상과 동일한 층에 속하는 VOP를 이용하여 인코딩되거나 바로 직전에 디스플레이되며. 역방향 예측을 위한 기준 신호로서 다른 층에 속하는 VOP를 이용하여 인코딩되면, 플래그 ref_select_code는 '01'로 설정된다. 이에 더해서, 상위 계층의 B-화상이 순방향 예측을 위한 참조 화상과 동일한 층에 속하는 VOP를 이용하여 인코딩되거나 바로 직전에 디스플레이되며. 역방향 예측을 위한 기준 신호로서 다른 층에 속하는 VOP를 이용하여 인코딩되면, 플래그 ref_select_code는 '10'로 설정된다. 마지막으로, 상위 계층의 B-화상이 계속해서 직접 디스플레이되며 순방향 예측을 위한 참조 화상으로서 다른 층에 속하며 역방향 예측을 위한 기준 신홀서 다른 층에 속하는 VOP를 이용하여 인코딩되면, 플래그 ref_select_code는 '11'로 설정된다.
도 24A, 24B, 25A 및 25B를 참조하여 설명된 예측 코딩을 위한 방법이 단순히 예시되며, 알 수 있듯이, 그것은 그 층의 VOP가 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩을 위한 참조 화상으로서 사용되는 도 26a 및 26b를 참조하여 설명된 범위내에서 자유롭게 설정된다.
전술된 설명에서, 용어 공간 스케일러빌리티, 일시적인 스케일러빌리티 및 SNR 스케일러빌리티는 편의를 위해서 사용되었다. 그러나, 도 26a, 26b를 참조하여 설명된 바와 같이, 예측 인코딩을 위해서 사용된 참조 화상이 설정되면, 즉, 도 26a, 26b에 도시된 바와 같이 신택스가 사용되면, 공간 스케일러빌리티, 일시적인 스케일러빌리티 및 플래그 ref_select_code를 갖는 SNR 스케일러빌리티의 명백한 구분을 갖는 것이 어렵다. 역으로 말하면, 전술된 스케일러빌리티 구분은 플래그 ref_select_code를 사용함으로서 수행될 필요가 없다. 그러나, 스케일러빌리티 및 플래그 ref_select_code는 예를 들면, 후술되듯이 서로 결합될 수 있다.
P-화상의 경우에, 플래그 ref_select_code '11'는 플래그 ref_select_code에 의해서 규정된 층의 일치하는 VOP의 참조 화상(순방향 예측을 위한 참조 화상)으로서 사용과 결합되며, 여기서 스케일러빌리티는 공간 스케일러빌리티 또는 SNR 스케일러빌리티이다. 플래그 ref_select_code가 '11'이 아니면, 스케일러빌리티는 일시적인 스케일러빌리티이다.
B-화상의 경우에, 플래그 ref_select_code '00'는 플래그 ref_select_id에 의해서 규정된 층의 일치하는 VOP의 참조 화상(순방향 예측을 위한 참조 화상)으로서 사용과 결합되며, 여기서 스케일러빌리티는 공간 스케일러빌리티 또는 SNR 스케일러빌리티이다. 플래그 ref_select_code가 '00'이 아니면, 스케일러빌리티는 일시적인 스케일러빌리티이다.
다른 층의 일시적인 VOP가 여기서는, 하위 계층이 상위 계층의 VOP의 예측 코딩을 위한 참조 화상으로서 사용되면, 두 개의 VOPs 사이의 이동이 없으며, 움직임 벡터는 항상 0(0,0)이다.
도 23으로 돌아가서, 전술된 플래그 ref_layer_id 및 ref_select_code는 상위 계층 인코딩 장치(23)의 움직임 검출기(32)에서 설정되며 움직임 보상기(42)와 VLC 장치(36)로 공급된다. 움직임 벡터 검출기(32)는 프레임 메모리(31)뿐만 아니라 플래그 ref_layer_id 및 ref_select_code에 따른 프레임 메모리(52)의 사용에 의해서 움직임 벡터를 검출한다. 프레임 메모리(52)로, 하위 계층의 국부적으로 디코딩된 확장 화상은 해상도 변환기(24)(도 15)로부터 공급될 수 있다. 즉, 해상도 변환기(24)는, 하위 계층의 VOP와 연관된 상위 계층의 VOP와 같은 크기를 갖는 확장된 화상인 FR 인수에 의해서 확장되는 VOP에 대응하는 확장된 화상을 발생하기 위해서 보간 필터에 의해서 하위 계층의 국부적으로 디코딩된 VOP를 확장시킬 수 있다. 프레임 메모리(52)는 해상도 변환기(24)로부터 공급된 확장된 화상을 저장한다. 그러나, 증배 인수가 1 이면, 해상도 변환기(24)는 특정한 처리를 수행하지 않고 하위 계층 인코딩 장치(25)로부터 상위 계층 인코딩 장치(23)로 국부적으로 디코딩된 VOP를 직접 공급한다.
움직임 벡터 검출기(32)는 하위 계층 인코딩 장치(25)로부터 크기 데이터 FSZ_B 및 오프셋 데이터 FPOS_B를 수신하며, 지연 회로(22)(도 15)로부터 증배 인수 FR를 수신한다. 따라서, 프레임 메모리(52)에 저장된 확장된 화상이 참조 화상으로서 사용되면, 즉, 상위 계층 VOP와 일치하는 더 낮은 층 VOP이 상위 계층의 VOP 예측 코딩을 위한 참조 화상으로서 사용되면, 움직임 벡터 검출기(32)는 증배 인수 FR을 갖는 확장된 화상에 대응하는 크기 데이터 FSZ_B 및 오프셋 데이터 FPOS_B를 증배한다. 이 경우에, 플래그 ref_select_code는 도 26a를 참조하여 설명된 바와 같이 '11'로 설정되며 도 26b를 참조하여 설명된 바와 같이 P-화상 및 B-화상을 위한 '00'로 설정된다. 움직임 벡터 검출기(32)는 움직임 벡터를 검출하기 위한 증배의 결과에 기초해서 절대 좌표 시스템에서 확장된 화상의 위치를 인식한다.
움직임 벡터 검출기(32)는 예측 모드 및 하위 계층의 움직임 벡터를 수신한다. 이것은 다음과 같이 사용된다. 상위 계층의 B-화상을 위한 플래그 ref_select_code가 '00'이며, 증배 인수 FR이 1이면, 즉, 스케일러빌리티가 SNR 스케일러빌리티으로서, 이 경우에 상위 계층 VOP가 상위 계층의 예측 코딩을 위해서 사용되어 SNR 스케일러빌리티가 MPEG2에 기술된 것과 다르면, 상위 계층 및 하위 계층은 동일 화상이며 따라서 일치하는 하위 계층 화상의 움직임 벡터 및 예측 모드가 상위 계층의 B-화상의 예측 코딩을 위해 직접 사용될 수 있다. 이 경우에, 움직임 벡터나 예측 모드나 움직임 벡터 검출기(32)로부터 VLC 장치(36)로 출력되거나 전송되지 않는다. 왜냐하면 수신 측이 하위 계층의 디코딩 결과로부터 상위 계층의 예측 모드 및 움직임 벡터를 인식할 수 있기 때문이다.
전술된 바와 같이, 움직임 벡터 검출기(32)는 상위 계층의 VOP뿐만 아니라 움직임 벡터를 검출하기 위한 참조 화상으로서 확장된 화상도 이용할 수 있다. 이에 더해서, 움직임 벡터 검출기(32)는 도 1을 참조하여 설명된 바와 같이 예측 에러나 변동을 최소화하는 예측 모드를 설정할 수 있다. 더욱이, 움직임 벡터 검출기(32)는, 플래그 ref_select_code 및/또는 ref_layer_id와 같은, 다른 정보를 설정하며 출력할 수 있다.
도 15 및 23에 도시된 바와 같이, 하위 계층의 I- 또는 P-화상을 구성하는 매크로 블록이 스킵 매크로 블록인지 여부를 규정하는 플래그 COD는 계속해서 설명되듯이, 하위 계층 인코딩 장치(25)로부터 VLC 장치(36) 및 움직임 보상기(42)로부터 움직임 벡터 검출기(32)로 공급된다.
검출된 매크로 블록, 움직임 벡터는, 전술된 바와 같이 인코딩되며, 여기서 VOL 장치(36)는 인코딩 결과로서 가변 길이 코드를 출력한다. 하위 계층 인코딩 장치(25)에서와 같이, 상위 계층 인코딩 장치(23)의 VLC 장치(36)는 I- 또는 P-화상 매크로 블록이 스킵 매크로 블록인지를 규정하는 플래그 COD와 B-화상의 매크로 블록이 스킵 매크로 블록인지를 규정하는 플래그 MODB를 설정 및 출력한다. VLC 장치(36)는, 양자화 계수, 양자화 단계, 움직임 벡터, 및 예측 모드에 더해서, 증배 인수 FR, 플래그 ref_layer_id 및 ref_secret_code, 크기 데이터 FSZ_E, 오프셋 데이터 FPOS_E, 및 키 신호 인코딩 장치(51)의 출력을 수신한다. VLC 장치(36)는 가변 길이로 인코딩하며 그러한 데이터 모두를 출력한다.
더욱이, 검출되는 움직임 벡터는 인코딩되며 전술된 바와 같이 국부적으로 디코딩되며 프레임 메모리(41)에 저장된다. 움직임 보상기(42)에서, 움직임 보상은 프레임 메모리(41)에 저장된 상위 계층의 국부적으로 디코딩된 VOP 뿐만 아니라 프레임 메모리(52)내에 저장된 하위 계층의 국부적으로 디코딩되며 확장된 VOP를 이용하여 예측 화상을 발생하기 위해서 수행된다. 즉, 움직임 보상기(42)는 움직임 벡터 및 예측 모드뿐 아니라 플래그 ref_layer_id 및 ref_secret_code, 디코딩된 키 신호, 증배 인수 FR, 크기 데이터 FSZ_B 및 FSZ_E 및, 오프셋 데이터 FPOS_B 및 FPOS_E를 수신한다. 움직임 보상기(42)는 플래그 ref_layer_id 및 ref_secret_code에 기초한 움직임 보상을 위한 참조 화상을 인식한다. 상위 계층 또는 확장된 화상의 국부적으로 디코딩된 VOP가 참조 화상으로 사용되면, 움직임 보상기(42)는 예측 화상을 발생하기 위해서 크기 데이터 FZS_E 및 오프셋 데이터 FPOS_E 또는 크기 데이터 FZS_B 및 오프셋 데이터 FPOS_B에 기초한 절대 좌표 시스템의 화상 위치 및 크기를 인식하며 증배 인수 FR 및 디코딩된 키 신호를 이용할 수 있다.
상위 계층의 VOP의 키 신호는, 키 신호(도 22의 키 신호 인코딩 장치(43)과 유사한 방식으로)를 인코딩하며 인코딩된 키 신호를 VLC 장치(36) 및 키 신호 디코딩 장치(53)에 공급하는 키 신호 인코딩 장치(51)에 공급된다. 키 신호 디코딩 장치(53)는 수신된 인코딩 키 신호를 디코딩하며 상위 계층의 VOP를 추출하는데 사용하기 위해서 전술된 바와 같이 움직임 벡터 검출기(32) 및 움직임 보상기(42)에 디코딩된 키 신호를 공급한다.
도 27은 도 12의 인코더에 의해서 출력된 비트스트림을 디코딩하기 위한 디코더의 실시예를 도시한다.
도 12의 인코더에 의해서 출력된 비트스트림은 전송 경로(5) 상에서 전송될 수 있으며 여기서 그것은 수신 장치(도시되지 않음)에 의해서 수신되거나 또는 그러한 출력된 비트스트림은 기록 매체(6)상에서 기록될 수 있으며 여기서 그것은 재생 장치(도시되지 않음)에 의해서 재생된다. 어느 경우에든, 수신된 비트스트림은 디멀티플렉서(71)에 공급되며 여기서 그것은 VO에 기초한 비트스트림 VO1, VO2...로 분리되며, 결합된 VOP 디코더 72N로 공급된다. VOP 디코더72N는 VO를 구성하는 VOP(화상 데이터), 키 신호, 크기 데이터(VOP 크기), 오프셋 데이터(VOP 오프셋)를 디코딩하며 디코딩된 데이터 또는 신호를 여상 재구성 장치(73)로 공급한다. VOP 디코더 721 내지72N 의 출력에 기초해서, 화상 재구성 장치(73)는 디스플레이를 위한 모니터(74)에 공급되어 전달된 원래의 화상을 재구성한다.
도 28은 도 27의 VOP 디코더 72N의 기본 구성을 도시한다. 도 25에 도시된 바와 같이, 디멀플렉서(71)(도 27)로부터의 비트스트림은 디멀티플렉서(81)로 공급되며 여기서 키 신호 정보 및 움직임 및 구성상의 정보가 추출된다. 키 신호 정보는 키 신호 디코딩 장치(82)로 전달되며, 움직임 및 구성상의 정보는 화상 신호 디코딩 장치(83)로 공급된다. 키 신호 디코딩 장치(82) 및 화상 신호 디코딩 장치(83)는 키 신호 정보와 움직임 및 구성상의 정보를 디코딩하며 결과로서 나오는 키 신호 및 VOP 화상 데이터(휘도 및 색도 신호)를 화상 재구성 장치(73)로 공급한다. 더욱이, 크기 데이터(VOP 크기) 및 오프셋 데이터(VOP 오프셋)는 입력 비트스트림으로부터 추출되며 화상 재구성 장치(73)(도 27)에 공급된다.
키 신호 인코딩 장치(12)(도 14)가 키 신호를 인코딩하기 위해서 화상 신호 인코딩 장치(11)(도 14)내에서 검출된 움직임 벡터에 따라서 키 신호를 움직임 보상하면, 화상 신호 디코딩 장치(83)를 디코딩하기 위해 사용된 움직임 벡터는 움직임 벡터를 이용하여 키 신호를 디코딩하기 위해서 키 신호 디코딩 장치(82)로 전달된다.
도 29는 스케일러빌리티를 수행하기 위해서 도 27의 VOP 디코딩 장치 72N의 구성을 도시한다. 도 29에 도시된 바와 같이, 디멀티플렉서(71)(도 27)로부터 공급된 비트스트림은 디멀티플렉서(91)로 공급되며 여기서 비트스트림은 상위 계층 VOP 비트스트림 및 하위 계층 VOP 비트스트림으로 분리된다. 하위 계층 VOP 비트스트림은 하위 계층 디코딩 장치(95)로 공급되며 상기 장치는 하위 계층 비트스트림을 디코딩하며 하위 계층의 결과로서 나오는 디코딩된 화상 데이터 및 키 신호를 해상도 변환기(94)로 공급한다. 부가적으로, 하위 계층 디코딩 장치(95)는, 하위 계층 비트스트림을 디코딩하여 획득된 크기 데이터 FSZ_B, 오프셋 데이터 FPOS_B, 움직임 벡터 MV, 예측 모드 및/또는 플래그 CCD와 같은 상위 계층 VOP를 인코딩하기 위한 정보를 상위 계층 디코딩 장치(93)로 공급한다. 디멀티플렉서(91)로부터의 상위 계층 VOP 비트스트림은 하위 계층 디코딩 장치(95)에서 처리 시간에 대응하는 지연 시간동안 지연 회로(92)에서 지연되며 그후 상부 순서 디코딩 장치(93)로 공급된다. 상위 계층 디코딩 장치(93)는 필요로 하면, 하위 계층 디코딩 장치(95) 및 해상도 변환기(94)의 출력을 이용함으로서 지연 회로(92)를 통해서 공급된 상위 계층 비트스트림을 디코딩하며, 결과로서 나오는 상위 계층 디코딩된 화상, 키 신호, 크기 데이터 FSZ_E 및 오프셋 데이터 FPOS_E를 출력한다. 상위 계층 디코딩 장치(93)는 증배 인수 FR(상위 계층의 비트스트림을 디코딩하여 획득함)을 해상도 변환기(94)로 출력한다. 수신된 증배 인수 FR을 이용함으로서, 해상도 변환기(94)는 해상도 변환기(24)(도 15)에서와 같이, 하위 계층의 디코딩된 화상을 확장된 화상으로 변환할 수 있다. 이러한 변환으로부터 확장된 화상은 상위 계층 비트스트림을 디코딩하기 위해서 사용되도록 상위 계층 디코딩 장치(93)에 전달된다.
도 30은 도 29에 도시된 하위 계층 디코딩 장치(95)의 구조를 도시한다. 하위 계층(95)은 새로운 장치로서 키 신호 디코딩 장치(108)를 갖는 것을 제외하고는 도 2의 디코더로 유사하게 구성된다. 따라서, 도 30에서, 도 2의 디코더에 대응하는 부품 또는 구성 요소는 동일 참조 번호로 표시된다.
도 30에 도시된 바와 같이, 디멀티플렉서(91)(도 29)로부터의 하위 계층 비트스트림은 저장을 위해서 버퍼(101)로 공급된다. IVLC 장치(102)는 버퍼(101)로부터 비트스트림을 판독하며 가변 길이는 양자화 계수, 움직임 벡터, 예측 모드, 양자화 단계, 인코딩된 키 신호, 크기 데이터 FSZ_B, 오프셋 데이터 FPOS_B, 및 플래그 COD를 인코딩한다. 양자화 계수 및 양자화 단계는 역양자화기(103)로 전달되며, 움직임 벡터 및 예측 모드는 움직임 보상기(107) 및 상위 계층 디코딩 장치(93)(도 29)로 전달되며, 크기 데이터 FSZ_B 및 오프셋 데이터 FPOS_B는 움직임 보상기(107), 키 신호 디코딩 장치(108), 화상 재구성 장치(73)(도 27) 및 상위 계층 디코딩 장치(93)로 전달되며, 플래그 COD는 상위 계층 디코딩 장치(93)로 전달되며, 인코딩된 키 신호 데이터는 키 신호 디코딩 장치(108)로 전달된다.
역양자화기(103), IDCT 장치(104), 연산 장치(105), 프레임 메모리(106), 및 움직임 보상기(107)는 하위 계층 VOP를 디코딩하기 위해서 도 22의 역양자화기(38), IDCT 장치(37), 연산 장치(40), 프레임 메모리(41), 및 움직임 보상기(42)에 의해서 수행된 것과 유사하게 처리를 수행한다. 디코딩된 하위 계층 VOP는 화상 재구성 장치(73)(도 27), 상위 계층 디코딩 장치(93)(도 29) 및 해상도 변환기(94)(도 29)로 전달된다.
키 신호 디코딩 장치(108)는 인코딩된 키 신호 데이터를 디코딩하기 위해서 도 22의 하위 계층 인코딩 장치(25)의 키 신호 디코딩 장치(44)에 의해서 수행된 것과 유사하게 처리를 수행한다. 결과로서 나오는 디코딩된 키 신호는 화상 재구성 장치(73), 상위 계층 디코딩 장치(93), 및 해상도 변환기(94)로 전달된다.
도 31은 도 29의 상위 계층 디코딩 장치(93)의 구성을 도시한다. 그러한 상위 계층 디코딩 장치(93)는 도 2의 인코더에 유사하게 구성된다. 따라서, 도 2에 도시된 것에 대응하는 부품 또는 구성 요소는 동일 참조 번호로 표시된다.
도 31에 도시된 바와 같이, 디멀티플렉서(91) 및 지연 회로(92)(도 29)로부터의 상위 계층 비트스트림은 버퍼(101)를 통해서 IVLC 장치(102)로 전달된다. IVLC 장치(102)는 양자화 계수, 움직임 벡터, 예측 모드, 양자화 단계, 인코딩된 키 신호 데이터, 크기 데이터 FSZ_E, 오프셋 데이터 FPOS_E, 증배 인수 FR, 플래그 ref_layer_id 및 ref_select_code, COD, 및 MODB를 분리하기 위해서 수신된 비트스트림을 가변 길이 디코딩한다. 양자화 계수 및 양자화 단계는 도 30에 도시된 바와 같이, 역양자화기(103)로 전달되며, 움직임 벡터 및 예측 모드는 움직임 보상기(107), 크기 데이터 FSZ_E 및 오프셋 데이터 FPOS_E는 움직임 보상기(107), 키 신호 디코딩 장치(111) 및 화상 재구성 장치(73)(도 27)로 전달되며, 플래그 COD, MODB, 플래그 ref_layer_id 및 ref_select_code는 움직임 보상기(107)로 전달되며, 인코딩된 키 신호 데이터는 키 신호 디코딩 장치(111)로 전달되며, 증배 인수 FR은 움직임 보상기(107) 및 해상도 변환기(94)(도 29)로 전달된다.
움직임 보상기(107)는 전술된 데이터뿐 아니라 움직임 벡터, 플래그 COD, 크기 데이터 FSZ_B, 및 하위 계층 디코딩 장치(95)(도 29)로부터의 하위 계층의 오프셋 데이터 FPOS_B를 수신한다. 프레임 메모리(112)는 해상도 변환기(94)로부터 확장된 화상을 수신한다. 역양자화기(103), IDCT 장치(104), 연산 장치(105), 프레임 메모리(106), 움직임 보상기(107) 및 프레임 메모리(112)는 상위 계층 VOP를 디코딩하기 위해서 역양자화기(38), IDCT 장치(39), 연산 장치(40), 프레임 메모리(41), 움직임 보상기(42), 및 상위 계층 인코딩 장치(23)(도 23)의 프레임 메모리(52)에 의해서 수행된 것과 유사한 처리를 수행한다. 디코딩된 하위 계층 VOP는 화상 재구성 장치(73)로 전달된다. 키 신호 디코딩 장치(111)는 인코딩된 키 신호 데이터를 디코딩하기 위해서 상위 계층 인코딩 장치(23)(도 23)의 키 신호 디코딩 장치(53)에 의해서 수행된 것과 유사한 처리를 수행한다. 그 결과로 얻어진 키 신호는 화상 재구성 장치(73)로 전달된다.
VOP 디코딩 장치(72N)의 전술된 상위 계층 디코딩 장치(93) 및 하위 계층 디코딩 장치(95)에서, 상위 계층 데이터로 불리는 디코딩된 화상, 키 신호, 크기 데이터 FSZ_E, 및 오프셋 데이터 FPOS_E, 하위 계층 데이터로 불리는 디코딩된 화상, 키 신호, 크기 데이터 FSZ_B, 및 오프셋 데이터 FPOS_B가 발생된다. 화상 재구성 장치(73)는 전술된 상위 계층 데이터 및/또는 하위 계층 데이터로부터 화상을 재구성한다.
도 16A 및 도 16B에 도시된 제 1 공간 스케일러빌리티를 이용하는 경우에, 즉, 전체적으로 입력 VOP가 상위 계층이며 크기가 축소되거나 감소된 전체 VOP가 하위 계층이면, 즉, 하위 계층 데이터 및 상위 계층 데이터가 디코딩되면, 화상 재구성 장치(73)는 키 신호에 의해서, 상위 계층 데이터에만 기초한 크기 데이터 FSZ_E에 대응하는 크기의 디코딩된 상위 계층 화상(VOP)을 추출하며, 오프셋 데이터 FPOS_E에 의해서 규정된 위치에서 추출된 화상을 배치한다. 모니터(74)가 낮은 해상도 화상으로 동작할 수 있으므로 에러가 하위 계층 비트스트림에서 발생되거나 단지 하위 계층 데이터가 디코딩되면, 화상 재구성 장치(73)는 필요하면, 키 신호에 의해서 하위 계층 데이터에 기초한 크기 데이터 FSZ_B에 대응하는 크기의 상위 계층 디코딩된 화상(VOP)을 추출하며, 오프셋 데이터 FPOS_B에 의해서 규정된 위치에서 추출된 화상을 배열한다.
도 17A, 17B에 도시된 제 2 공간 스케일러빌리티를 이용하는 경우에, 즉, 전체적으로 입력 VOP의 일부가 상위 계층이며 크기가 축소되거나 감소된 전체 VOP 가 하위 계층이면, 즉, 하위 계층 데이터 및 상위 계층 데이터가 디코딩되면, 화상 재구성 장치(73)는 대응하는 확장된 화상을 발생하기 위해서 증배 인수 FR을 이용함으로서 크기 데이터 FSZ_B에 대응하는 크기의 하위 계층 디코딩된 화상을 확장한다. 화상 재구성 장치(73)는 FR에 의해서 오프셋 데이터 FPOS_B를 증배하며 결과로서 나오는 값에 대응하는 위치에서 확장된 화상을 배치한다. 이에 더해서, 화상 재구성 장치(73)는 오프셋 데이터 FPOS_E에 의해서 규정된 위치에서 크기 데이터 FSZ_E에 대응하는 크기를 갖는 상위 계층 디코딩된 화상을 배치한다. 이 경우에, 디코딩된 화상의 상위 계층 위치는 다른 부분 보다 더 높은 해상도를 갖도록 표시된다.
상위 계층 디코딩된 화상을 배치하는데, 디코딩된 화상은 확장된 화상으로 합성된다. 이러한 합성은 상위 계층의 키 신호를 이용하여 수행된다.
전술된 데이터 및 증배 인수 FR은 상위 계층 디코딩 장치(93)(VOP 디코딩 장치 72N)로부터 화상 재구성 장치(73)로 공급된다. 그러한 데이터를 이용하여, 화상 재구성 장치(73)는 확장된 화상을 발생한다.
제 2 공간 스케일러빌리티를 적용하는 경우에, 하위 계층 데이터가 디코딩되면, 화상 재구성은 전술된 공간 스케일러빌리티를 적용하는 경우에와 같이 수행된다.
제 2 공간 스케일러빌리티를 적용하는 경우에(도 18A, 18B, 19A, 19B), 즉, 전체적으로 입력 VOP를 구성하는 각각의 물체가 하위 계층이 줄어듦에 따라서 상위 계층 및 전체 물체이면, 화상은 전술된 공간 스케일러빌리티를 적용하는 경우에 재구성된다.
전술된 바와 같이, 오프셋 데이터 FPOS_B 및 FPOS_E에서, 확장된 하위 계층 화상 및 상위 계층 화상의 대응하는 화소는 절대 좌표 시스템의 동일 위치에 배치된다. 부가적으로, 전술된 화상 재구성은 교정 화상으로 유도된다(즉, 위치 변경이 대체로 없는 화상).
스케일러빌리티의 신택스는 MPEG4VM 확인 방법과 관련되어 설명된다.
도 32는 스케일러빌리티 인코딩에서 획득된 비트스트림 구조를 도시한다. 특히, 비트스트림은 하나의 장치로서 비디오 세션(VS) 클래스에 의해서 구성되며 각각의 VO는 하나 이상의 비디오 오브젝트 층(VOL) 클래스로 구성된다. 화상이 층으로 형성되지 않으면, VOL은 단일 VOL이 되며, 한편, 화상이 층으로 형성되면, 층의 수와 같은 다수의 VOLs로 이루어진다.
도 33 및 34는 VS 및 VO를 위한 신택스를 도시한다. VO는 그(물체) 전체 화상 또는 일부의 순서에 대응하는 비트스트림이며, 따라서 VS는 그러한 일련의 순서에 의해서 구성된다. 예를 들어, VS는 비트스트림 프로그램에 대응한다.
도 35는 VOL 신택스를 도시한다. VOL은 스케일러빌리티를 위한 클래스이며 video_object_layer_id(도 35의 A1으로 도시된 부분)에 의해서 확인된다. 즉, 하위 계층의 VOL에 대한 video_object_id가 0가 되며, 한편 상위 계층의 VOL에 대한 video_object_layer_id는 1이다. 스케일가능한 층의 수는 2로 제한되지 않고, 3 이상의 수가 될 수 있다. 각각의 VOL이 전체 화상이거나 그 부분인 것은 VOL의 형태를 규정하는 video_object_layer_shape에 의해서 판별되거나 결정된다. 그러한 video_object_layer_shape는 다음과 같이 설정된다. VOL의 형태가 사각형이면, video_object_layer_shape는 '00'이다. VOL이 하드 키(값 0 또는 1의 이진 신호)에 의해서 추출된 영역의 형태이면, video_object_layer_shape는 '01'이다. VOL이 하드 키(연속되는 값 0에서 1을 갖는 신호(그레이 스케일))에 의해서 추출되면, 즉, VOL이 소프트 키를 이용하여 합성될 수 있으면, video_object_layer_shape는 '10'이다.
VOL의 형태가 사각형이며 절대 좌표 시스템에서 VOL의 위치 및 크기가 시간에 따라서 일정하거나 변하지 않을 때 video_object_layer_shape가 '00'인 경우를 고려해 본다. 이 경우에, 크기(횡측 길이 및 길이 방향 길이)는 video_object_ layer_width 및 video_object_layer_height (도 35의 A7으로 도시된 부분)에 의해서 규정된다. video_object_layer_width 및 video_object_layer_height 이 각각 10비트 고정된 길이 플래그이며, 예를 들어, video_object_layer_shape가 '00'이면, 10비트 플래그는 단지 한번만 아웃셋에서 전송된다. 왜냐하면, VOL이 절대 좌표 시스템에서 고정된 크기이기 때문이다(즉, video_object_layer_shape가 '00'이기 때문이다).
더욱이, 일 비트 플래그 스케일러빌리티(도 35의 A3에 의해서 도시된 위치)가 하부 및 상부 중 어떤 것이 VOL인지를 규정한다. 예를 들면, VOL이 하위 계층이면, 플래그 스케일러빌리티는 0로 설정되며, 한편, VOL이 상위 계층이면, 플래그 스케일러빌리티는 1로 설정된다.
VOL이 참조 화상으로서 또 다른 VOL의 화상을 사용하면, 참조 화상이 속하는 VOL은 상위 계층에 대해서만 전송되는 ref_layer_id(도 35의 A4에 의해서 도시된 부분)에 의해서 표시된다.
도 35에서, 도 35의 A5에 도시된 hor_sampling_factor_n 및 hor_sampling _factor_m은 하위 계층의 VOP의 수평 길이에 대응하는 값과 상위 계층의 VOP의 수평 길이에 대응하는 값을 규정한다. 그러므로, 하위 계층(수직 방향으로 해상도의 증배 요인)에 대한 상위 계층의 수평 방향 길이가 hor_sampling_factor_n/hor_sampling _factor_m에 의해서 주어진다. 이에 더해서, 도 35의 A6에 도시된 ver_sampling_ factor_n 및 ver_sampling_factor_m은 상위 계층의 VOP의 수직 길이에 대응하는 하위 계층 값의 VOP의 수직 길이에 대응하는 값을 규정한다. 그러므로, 하위 계층(수직 방향으로 해상도의 증배 요인)에 대한 상위 계층의 수평 방향 길이가 ver_sampling_factor _n/ver_sampling_factor_m에 의해서 주어진다.
도 36은 비디오 오브젝트 평면(VOP) 클래스의 신택스의 일례를 도시한다. VOP의 크기(횡방향 및 길이 방향 길이)는 도 36의 B1에 의해서 도시된 바와 같이, 각각 10 비트로 고정된 길이를 갖는, VOP_width 및 VOP_height에 의해서 표시된다. VOP의 절대 좌표 시스템내의 위치는 10 비트로 고정된 길이의 VOP_horizontal_spatial_ mc_ref(도 36에 도시된 부분 B2) 및 VOP_vertical_mc_ref(도 36에 도시된 부분 B3)에 의해서 표시된다. 전술된 VOP_width 및 VOP_height는 전술된 크기의 데이터 FSZ_B 및 FSZ_E에 대응하는, 수평 방향으로 길이 및 수직 방향으로 길이를 표시한다. 한편, VOP_horizontal_spatial_mc_ref 및 VOP_vertical_mc_ref는 FPOS_B 및 FPOS_E에 대응하는 수령 및 수직 방향(x 및 y 좌표)의 좌표를 표시한다.
VOP_width, VOP_height, VOP_horizontal_spatial_mc_ref 및 VOP_vertical_ mc_ref는 video_object_layer_shape가 '00'이 아닐 때만 전송된다. video_object_layer _shape가 '00'면, VOP의 크기 및 위치는 일정하여, VOP_width 및 VOP_height, VOP_horizontal_spatial_mc_ref 또는 VOP_vertical_mc_ref는 video_object_layer_ shape를 전송하는 것이 불필요하다. 수신측에서, VOP는 절대 좌표 시스템의 원점과 일치하게 배치된 상부 좌측 정점을 갖으며, 한편 그 크기는 도 35를 참조하여 기술된 video_object_layer_width 및 video_object_layer_height로부터 인식될 수 있다.
도 36의 B4에 도시된 ref_select_code는 도 26a, 26b를 참조하여 설명된 바와 같이 참조 화상으로서 사용된 화상을 표시한다. ref_select_code는 도 36에 도시된 바와 같은 VOP 신택스에서 기술된다.
도 37은 비디오 오브젝트 평면(VOP) 클래스의 신택스의 또 다른 예를 도시한다. 도 36의 실시예와 유사한, 본 실시예에서, video_object_layer_shape가 '00'가 아니면 VOP의 정보 크기 및 위치가 전송된다. 그러나, 본 실시예에서, video_object _layer_shape은 '00'이 아니면, 1-bit 플래그 load_VOP_size(도 37의 C1에 의해서 도시된 부분)가 전송되며 이는 현재 전송된 VOP의 크기가 이전에 전송된 VOP의 크기와 같은지 여부를 표시한다. load_VOP_size는 현재의 VOP가 전에 디코딩된 VOP의 크기와 같거나 같지 않으면 0에서 1로 설정된다. load_VOP_size가 0 이면, VOP_width 또는 VOP_height(도 37의 C2에 도시됨)는 전송되지 않으며, 한편 load_VOP 크기가 1 이면VOP_width, VOP_height 가 전송된다. 그러한 VOP_width 또는 VOP_height는 도 36을 참조하여 설명된 것과 유사하다.
도 36 및 37에서, 현재의 VOP의 횡방향 길이 또는 종방향 길이와 직전에 디코딩된 VOP의 횡방향 길이 또는 종방향 길이 사이의 차 (때때로 크기 차이라고도 함)는 VOP_width 또는 VOP_height로서 사용된다. 실제의 화상에서, VOP 크기는 자주 변동하지 않으며, 따라서 load_VOP_size가 1 일 때만 용장 비트가 VOP_width, VOP_height에 의해서 감소될 수 있다. 크기 차이가 사용되면, 정보량은 더 감소된다.
그러한 크기 차이는 계산되어 도 22 및 23의 VLC 장치(36)에 의해서 가변 길이 인코딩되며 그로부터 출력된다. 본 경우에, IVLC 장치(102)는 현재 디코딩된 VOP의 크기를 인식 또는 판단하기 위해서 직전에 디코딩된 VOP의 크기에 크기 차를 합산한다.
VOP 위치 정보에 대해서, 절대 좌표 시스템의 좌표 값과 절대 좌표 시스템의 좌표 대신에 직전에 디코딩된 VOP(이전 VOP)(때때로 위치 차로서 일컬어 짐)의 좌표 값 사이의 차는 diff_VOP_horizontal_ref 및 diff_VOP_vertical_ref(도 37의 C3에 도시된 부분)에 의해서 전송된다.
직전에 디코딩된 VOP의 절대 좌표 시스템에서 x 및 y 좌표가 VOP_horizontal_mc_spatial_ref_prev 또는 VOP_vertical_mc_spatial_ref_ prev로 표시되면, diff_VOP_horizontal_ref 또는 diff_VOP_vertical_ref는 다음 식에 따라서 VLC 장치(36)(도 22, 23)에 의해서 계산된다. 도 36에서 diff_VOP_horizontal_mc_spatial_ref 또는 VOP_vertical_mc_ spatial_ref를 이용하여,
diff_VOP_horizontal_ref=VOP_horizontal_mc_spatial_ref-VOP_horizontal_mc_spactial_ref_prev
diff_VOP_verticall_ref=VOP_vertical_mc_spatial_ref-VOP_vertical_mc_spatial_ref_prev가 된다. 더욱이, VLC 장치(36)는 계산된 diff_VOP_horizontal_ref 및 diff_VOP_vertical_ref를 가변 길이로 인코딩하며 그것을 출력한다. 특히, VLC 장치(36)는 도 38에 도시된 테이블에 따라서 그리고 diff_VOP_horizontal_ref 및 diff_VOP_vertical_ref와 연관되어 도 37의 C4의 diff_size_horizontal 또는diff_size_vertical을 가변 길이 인코딩하며, diff_size_horizontal 또는 diff_ size_vertical을 가변 길이 인코딩한다. 또한, VLC 장치(36)는 diff_VOP_ horizontal_ref 또는 diff_VOP_vertical_ref를 도 39에 도시된 테이블에 따라서 그리고 diff_size_horizontal 또는 diff_size_vertical과 연관하여 가변 길이 코드로 변환한다. 가변 길이 코드로 변환된 diff_VOP_horizontal_ref, diff_VOP_ vertical_ref, diff_size_horizontal 또는 diff_size_vertical는 전송을 위해서 다른 데이터 상에서 다중화될 수 있다. 이 경우에, 도 30 및 31의 IVLC 장치(102)는 diff_size_horizontal 또는 diff_size_vertical로부터 diff_VOP_horizontal_ref 또는 diff_VOP_vertical_ref의 가변 길이 코드의 길이를 인식하며 그러한 인식의 결과에 기초한 가변 길이 디코딩을 수행한다.
위치 차이가 전송되면, 정보 용량은 도 36의 경우에 비해서 감소될 수 있다.
도 37의 C5에 도시된 ref_select_code는 도 36을 참조하여 설명된 바와 유사하다.
도 40a 및 도 40b는 매크로 블록의 신택스를 도시한다.
도 40a는 I-또는 P-화상(VOP)의 매크로 블록의 신택스를 도시한다. 플래그 CCD로서 리딩 first_MMR_code 다음에 배치되는 것으로서, 어떤 데이터가 CCD 다음에 오는지 여부를 규정한다. I-화상 또는 P-화상의 매크로 블록으로부터 획득된 DCT 계수(DCT 계수들의 양자화의 결과)가 모두 제로이며 움직임 벡터가 제로이면, 하위 계층 인코딩 장치(25)(도 22)의 VLC 장치(36) 및 상위 계층 인코딩 장치(23)(도 23)는 스킵 매크로 블록으로서 I-화상 및 P-화상의 매크로 블록을 설정하며 COD를 1로 설정한다. 그러므로, COD가 1 이면, 매크로 블록에 대해서 데이터가 전달되게 하며, 따라서 I-플래그 다음의 데이터는 전송되지 않는다. 한편, 0 이 아닌 ac 성분이 I-또는 P-화상의 DCT 계수에 존재하면, VLC 장치(36)는 플래그 COD를 0 로 설정하며 후속되는 데이터를 전송한다. 더욱이, 플래그 COD 다음에 배치된 MCBPC는 매크로 블록 형태를 규정하며 다음에 이어지는 데이터는 MCBPC에 따라서 전송된다. 더욱이, I-화상이 기본적으로 스킵 매크로 블록이 되지 않으면, I-화상에 대한 COD는 전송되지 않거나 또는 전송되지 않도록 설계된다.
"COD"는 VOP_prediction_type이 P-VOPs를 표시하며 대응하는 매크로 블록이 투명하지 않는 VOP내에 존재한다. 매크로블록 층 구조는 도 40a에 도시된다. "COD"는 "0"로 설정될 때 매크로블록이 코딩되는 것을 표시하는 매크로블록 층에서 하나의 비트 플래그가 될 수 있다. "1"로 설정되면, 또 다른 정보가 이러한 매크로블록, 이 경우에는, P-VOP에 대해서 전송되지 않으며, 디코더는 제로와 같은 전체 매크로블록의 움직임 벡터와 계수 데이터를 갖는 않는 'P(인터)' 매크로블록으로서 매크로블록을 처리한다. B-VOP의 매크로블록 층 구조(VOP_prediction_type='10')는 도 40b에 도시된다. COD가 가장 최근에 디코딩된 I-또는 P-VOP내의 MB에 대한 스킵된(COD=='1') COD를 표시하면, B-VOP내의 콜레이트된 MB는 스킵된다(비트스트림내에 어떤 정보도 포함되지 않는다). 이와 달리, 매크로블록 층은 도 40b에 도시된 바와 같다. 그러나, 공간 스케일러빌리티의 향상 층의 경우에(ref_select_code=='00' && scalability=='1'), 가장 최근에 디코딩된 I- 또는 P-VOP내의 MB에 대한 COD에 관계없이, 매크로블록 층은 도 40b에 도시된 바와 같다.
도 40b는 B-화상(VOP)의 매크로블록의 신택스를 도시한다. 플래그 MODB는, 리딩 first_MMR_code 다음에 배치되며, 도 40a내의 플래그 COD와 연관되며, 어떤 데이터가 MODB 다음에 비치되는지 여부를 규정한다(즉, B-화상의 매크로블록 형태를 규정한다).
"MODB" 플래그는 B-VOP내의 모든 코드된 (비스킵된) 매크로블록에 대해서 존재한다. 그것은 MBTYPE 및/또는 CBPB 정보가 존재하는지에 관계없이 가변 길이 코드워드가 될 수 있다. MBTYPE가 존재하지 않는 경우에, 결함은 "Direct(H.263B)"로 설정된다. 공간 스케일러빌리티의 향상 층(ref_select_code=='00' && scalability=='1')인 경우에, MBTYPE의 결함은 "Forward MC"로 설정된다(동일 참고 층에서 마지막으로 디코딩된 VOP로부터 예측). MODB에 대한 코드워드는 도 41a 및 41b에서 규정된다.
VLC 장치(36)(도 22 및 23)는 전송을 위해서 도 41a, 41b에서 도시된 바와 같이, 가변 길이 인코딩에 의해서 MODB를 인코딩한다. 즉, 본 실시예에서, MODB의 두 종류의 가변 길이 인코딩이 도 41a, 41b에 도시된 바와 같이 제공된다("가변 길이 테이블"이라는 용어는 가변 길이 인코딩을 위한 테이블과 가변 길이 디코딩을 위한 테이블을 가리키는 것으로 사용된다). 도 41a의 가변 길이 테이블(때로는 MODB 테이블 A로서 일컬어진다)은 MODB에 대한 가변 길이 코드를 할당하며 도 41b의 가변 길이 테이블(때로는 MODB 테이블 B로 일컬어진다)은 MODB의 두 개의 가변 길이 코드를 할당한다. MODB 테이블 A를 이용하여, B-화상의 매크로 블록은 B-화상을 디코딩하기 전에 디코딩된 또 다른 프레임의 매크로 블록의 데이터(양자화 계수 또는 움직임 벡터와 같은)만을 이용하여 디코딩될 수 있거나, 또는 직전에 디코딩된 I-또는 P-화상(즉, 처리되는 매크로블록과 동일 위치에서 I-또는 P-화상의 매크로 블록)의 대응하는 위치에서 매크로 블록은 제로인 COD를 갖는 스킵 매크로블록이며, VLC 장치(36)(도 22 및 23)는 제로인 MODB를 갖는 스킵 매크로블록으로서 B-화상의 매크로블록을 설정한다. 이 경우에, MBTYTE 및 CBPB와 같은, MODB에 후속되는 데이터는 전송되지 않는다.
그러나, 매크로 블록에 대한 DCT 계수들(양자화된 DCT 계수)이 모두 동일한 값(0 과 같은 값)을 갖지만 매크로블록에 대한 움직임 벡터가 존재하면, 즉, 움직임 벡터가 전송되어야 하면, MODB는 '10'로 설정되며 다음에 이어지는 MBTYPE가 전송된다. 한편, 매크로 블록중 적어도 하나의 DCT 계수가 제로가 아니며(즉, DCT계수가 존재하면) 매크로 블록에 대한 움직임 벡터가 존재하면, MODB는 '11'로 설정되며 다음 MBTYPE 및 CBPB가 전송된다.
MBTYPE는 매크로블록의 예측 모드와 매크로블록 내에 포함된 데이터(플래그)를 규정하며, CBPB는 매크로블록내의 블록을 규정하는 6-비트 플래그이며 여기서 DCT 계수가 존재한다. 특히, 각각의 매크로 블록은 도 42에 도시된 바와 같이 휘도 신호에 대한 4개의 88 화소 블록, 색도 신호 Cb에 대한 8 화소 블록, 색도 신호 Cr에 대한 88 화소 블록, 전체 6개의 블록을 포함한다. DCT 장치(34)(도 22,23)는 각각의 블록에 대한 DCT 처리를 수행하며 VLC 장치(36)(도 22,23)는 DCT 계수가 각각의 여섯 개의 블록인지 여부에 따라서 CBPB의 6 비트를 0 또는 1로 설정한다. 즉, 도 42에 도시된 바와 같이, 1 내지 6의 블록 번호가 매크로블록을 이루는 6개의 블록에 설정되었다. VLC 장치(36)는 DCT 계수가 블록 번호 N을 갖는 블록이거나 아니면 CBPB의 N번째 비트를 1 또는 0로 설정한다. LSB 및 MSB는 제 1 비트 및 제 6 비트라고 각각 가정한다. 그러므로, CBPB가 0('000000')이면, 매크로블록에는 DCT 계수가 없다.
한편, MODB 테이블 B(도 41b) 또는 MODB 테이블 A가 VLC 장치(36)(도 22,23)내에서 사용되면 플래그 MODB는 '0' 또는 '1'로 설정된다. 그러므로, MODB 테이블 B가 사용되면, 스킵 매크로 블록이 발생되지 않는다.
다음으로, MBTYPE는 VLC 장치(36)(도 22,23)에 의해서 가변 길이 인코딩함으로 인코딩되며 전송된다. 즉, 본 실시예에서, 두 종류의 MBTYPE 가변 길이 인코딩이 도 43a,도 43b에 도시된 바와 같이 제공된다. 도 43a의 가변 길이 테이블 (때로는 MBTYPE 테이블 A로 일컬어 짐)은 MBTYPE에 대해 네 개의 가변 길이 코드를 할당하며 도 43b의 가변 길이 테이블(때로는 MBTYPE 테이블 B로 일컬어 짐)은 MBTYPE에 대한 세 개의 가변 길이 코드를 할당한다.
MBTYPE 테이블A가 사용되며, 예측 모드가 양방향성 예측 인코딩 모드이면(보간 MC+Q), VLC 장치(36)는 MBTYPE를 '01'로 가변 길이 인코딩한다. 그러한 경우에, DQUANT, MVDf, 및 MVDb가 전송되며, 여기서 DQUANT는 양자화 단계를 지정하며, MVDf 및 MVDb는 순방향 예측을 위해 사용된 움직임 벡터와 역방향 예측을 위해 사용된 이동벡터를 지정한다. 그 대신에, 양자화 단계를 대체해서, 현재의 양자화 단계와 이전 양자화 단계 사이의 차는 DQUANT로서 사용될 수 있다. 예측 모드가 역방향 예측 인코딩 모드(역방향 MC+q)이면, MBTYPE는 '001'로 가변 길이 인코딩되며, DQUANT 및 MVDb가 전송된다. 예측 모드가 순방향 예측 인코딩 모드(순방향 MC+q)이면, MBTYPE는 '0001'로 순방향 길이 인코딩되며, DQUANT 및 MVDb가 전송된다. 예측 모드가 H.263에 기술된 직접 모드(직접 코딩 모드)이면, MBTYPE는 '1'로 설정되며, MVDB가 전송된다.
이전의 경우에, 인터코딩 모드중 세 가지 형태(즉, 순방향 예측 인코딩 모드, 역방향 예측 인코딩 모드, 및 양방향 예측 인코딩 모드)만이 설명되었다. 그러나, MPEG4 는 네 개의 형태를 제공하는데, 즉, 전술된 세 가지 형태와 직접 모드를 제공한다. 그러므로, 도 22 및 23의 움직임 벡터 검출기(32)는 예측 에러를 최소화하는 예측 모드로서 인트라-코딩 모드 중 하나를 설정한다(즉, 정방 예측 인코딩 모드, 역방향 예측 인코딩 모드, 양방향 예측 인코딩 모드, 및 직접 모드). 직접 모드는 후에 더 상세히 설명된다.
VLC 장치(36)(도 22,23)에서 MBTYPE는 MBTYPE 테이블 B(도 43b)가 사용될 때 '1', '01' 또는 '001'이 되며 MBTYPE 테이블A가 사용될 때 '1','01', '001' 또는 '0001'이 된다. 그러므로, MBTYPE 테이블 B가 사용되면, 직접 모드는 예측 모드로서 설정되지 않는다.
직접 모드는 도 44를 참조하여 설명된다.
4개의 VOPs가 존재하며(즉, VOP0, VOP1, VOP2, VOP3) 이러한 순서로 표시되며, VOP0 및 VOP3가 P-화상(P-VOP)이며, VOP1 및 VOP2가 B-화상(B-VOP)이 된다고 가정한다. 이에 더해서, VOP0, VOP1, VOP2, VOP3가 VOP0, VOP3, VOP1, VOP2의 순서로 인코딩/디코딩된다고 가정한다.
전술된 가정 조건에서, 직접 모드하의 VOP1의 예측 코딩은 다음과 같이 발생된다. 즉, VOP1 직전에 인코딩된 P-화상에서(즉, 도 44의 실시예의 VOP3), 인코딩되는 VOP1의 매크로 블록과 같은 위치에서 매크로 블록(매크로블록은 인코딩된다)의 움직임 벡터는 MV이며, 인코딩되는 매크로블록의 순방향 예측 인코딩을 위한 움직임 벡터 MVF 및 인코딩되는 매크로블록을 역방향 예측 인코딩하기 위한 움직임 벡터 MVB는 다음 식에 따라서 움직임 벡터(MV) 및 이미 설정된 벡터 MVDB로부터 계산된다. 즉,
MVF= (TRB X MV)/ TRD + MVDB
MVB= (TRB-TRD) X MV/TRD
그러나, 움직임 벡터 MVB는 벡터 MVDB가 0 일 때 전술된 식에 의해서 계산될 수 있다. 벡터 MVDB가 0가 아니면, 움직임 벡터 MVB는 다음 식에 따라서 계산된다.
MVB= MVF-MV
TRB는 직전에 디스플레이된 I-또는 P-화상까지 거리를 표시하며(도 44의 실시예에서 VOP0), TRD는 디스플레이 순서에서 VOP1의 직전 또는 직후에 배치된 I-또는 P-화상 사이의 간격을 표시한다(도 44의 실시예의 VOP1 및 VOP3 사이).
도 22 및 23의 움직임 벡터 검출기(32)는, B-화상의 VOP의 벡터 MVDB가 값이 변할 때, 전술된 식에 따라서 획득된 움직임 벡터 MVF 및 MVB를 이용하여 예측 코딩시에 발생된 예측 에러가 인트라 코딩 모드에서(순방향 예측 인코딩 모드, 역방향 예측 인코딩 모드 또는 양방향 예측 인코딩 모드) 획득된 것 보다 작으면, 예측 모드로서 직접 모드를 설정한다. 이상에서, 벡터 MVDB는 움직임 벡터 MV와 동일 방향을 갖는다.
도 44의 실시예에서, TRB=1 그리고 TRD=3 이며, 따라서 움직임 벡터 MVF는 MV/3 + MVDB이다. 한편, 움직임 벡터 MVB가 2MV/3이며 -2MV/3 + MVDB에 의해서 MVDB 가 0이면 0가 아니다.
예측 모드가 직접 모드이면, 장래에 인코딩/디코딩된 가장 가까운 P-화상에서 대응하는 매크로 블록의 움직임 벡터 MV(도 44의 실시예에서 VOP3)가 인코딩되는 매크로 블록을 인코딩/디코딩하는데 사용된다.
전술된 바와 같이, VOP는 크기 또는 이치가 변화된다(video_object_layer_shape가 '10' 또는 '01' 일 때). 그러한 경우에, 대응하는 매크로 블록은 사용되지 않는다. 그러므로, 직접 모드가 크기 또는 위치에서 변화된 VOP를 인코딩/디코딩하는데 사용되면, 처리는 실행이 불가능해 진다. 따라서, 본 실시예에서, 직접 모드는 인코딩되는 매크로 블록을 갖는 VOP(B-화상의 VOP)가 장래에 디코딩된 가장 가까운 P-화상의 VOP와 같은 크기일 때만 사용 가능하다. 특히, 직접 모드의 사용은 전술된 바와 같은 VOP_width 및 VOP_height로 표시된 VOP 크기가 변하지 않을 때만 허용된다.
그러므로, 직접 모드의 MBTYPE의 가변 길이 코드를 포함하는 MBTYPE 테이블 A(도 43a)는 인코딩되는 매크로 블록을 갖는 B-화상의 VOP가 장래에 디코딩되는 가장 가까운 P-화상의 VOP와 같은 크기를 가질 때 사용된다.
부가적으로, MODB 테이블 A(도 41a)는 MPEG4에 제공되며, 이는 이러한 MODB 테이블 A가 사용될 때 예측 모드가 직접 모드이며 MODB가 '0'일 때 도 26a 및 26b의 ref_select_code가 '00'가 아님을 설명한다. 그러므로, MODB 테이블 A는 인코딩되는 매크로블록을 갖는 B-화상의 VOP가 장래에 디코딩되는 가장 가까운 P-화상의 VOP와 같은 크기를 가질 때 사용된다.
MODB 테이블 A 및 MBTYPE 테이블 A가 사용될 때, 그리고 MODB가 '0'거나 MBTYPE가 '1'이면, 예측 모드는 직접 모드이다.
video_object_layer_shape가 '00'이면, VOP는 크기가 변화되지 않으며 따라서 MODB 테이블 A 및 MBTYPE 테이블 A이 사용된다.
한편, 인코딩되는 매크로블록을 갖는 B-화상의 VOP가 장래에 디코딩되는 가장 가까운 P-화상의 VOP와 크기가 다르면, 직접 모드는 사용되지 않는다. 이 경우에, MBTYPE는 MBTYPE 테이블 B를 사용하여 인코딩/디코딩되는 가변 길이이다.
인코딩되는 매크로블록을 갖는 B-화상의 VOP가 장래에 디코딩된 가장 가까운 P-화상의 VOP와 크기가 다르면, 적어도 MBTYPE가 전송되어야 한다. 다시 말해서, 그러한 상황에서, MBTYPE 및 CBPB를 전송하는 것이 필요치 않다. 그러므로, MODB는, MBTYPE 및 CBPB를 전송하지 않는 경우를 제공하는 MODB 테이블 A(도 41a)를 이용하지 않고도, MBTYPE 및 CBPB를 전송하지 않는 경우를 제공하지 않는 MODB 테이블 B(도 41b)를 이용하여 인코딩/디코딩되는 가변 길이가 될 수 있다.
VOP 크기의 변화에 따라 사용되는 가변 길이 테이블을 선택하거나 변화시킴으로서, 인코딩의 결과로서 획득되는 데이터의 용량은 감소된다. 즉, 단지 MODB 테이블 A(도 41a)가 사용되면, MODB는 1 비트 가변 길이 코드 또는 두 개의 2-비트 가변 길이 코드로 인코딩된다. 한편, MODB 테이블 B(도 41b)가 사용되면, MODB는 1 비트 가변 길이 코드 또는 2-비트 가변 길이 코드로 인코딩된다. 그러므로, MODB 테이블 A 및 B가 사용되면, MODB가 두 개의 비트 가변 길이 코드에서 인코딩되는 주파수가 감소되며 그 결과 데이터 용량이 감소된다.
유사하게, MBTYPE는 MBTYPE 테이블 A(도 43a)에서 표시된 바와 같이 4 비트 가변 길이 코드 또는 그 이하로 인코딩된다. 그러나, MBTYPE 테이블 B(도 43b)에서 표시된 바와 같이, MBTYPE는 3 비트 가변 길이 코드나 그 이하로 인코딩되어, 데이터 용량이 감소된다.
다수의 MODB 테이블 및 MBTYPE 테이블이 전술된 바와 같이 '00' 이 아닌 ref_select_code를 갖는 하위 계층 또는 상위 계층에 대해서 사용된다. 그러나, '00'인 ref_select_code를 갖는 상위 계층에 대해서 문제가 발생된다. 특히, '00'로 처리되는 B-화상 매크로 블록에 대한 플래그 ref_select_code으로, 동일 층(여기서는 상위 계층)의 I-또는 P-화상 및 도 45에 도시된 바와 같은 동일 시점에서 다른 층(여기서는 하위 계층)의 화상이 도 26a, 26b에 도시된 바와 같이, 참조 화상으로서 사용된다. 한편, 직접 모드는 직전에 디코딩된 P-화상의 움직임 벡터를 이용하여 다른 시점에서 두 개의 I-또는 P-화상 사이의 B-화상을 예측 인코딩한다. 그러므로, ref_select_code가 '00'면, 직접 모드는 적용되지 않는다. 그럼에도 불구하고, MBTYPE 테이블 A이 사용되면, 직접 모드는 예측 모드로서 설정된다.
본 실시예에서, 상위 계층에서 처리되는 B-화상 매크로 블록에 대한 플래그 ref_select_code가 '00'면, MBTYPE는 다음 두 가지 방법 중 하나에 의해서 인코딩/디코딩되는 가변 길이이다.
제 1 방법에서, 상위 계층에서 처리되는 B-화상 매크로 블록의 플래그 ref_select_code가 '00'면, MBTYPE 테이블 B가 MBTYPE 테이블 A 대신에 사용된다. 직접 모드가 MBTYPE 테이블 B에서 정의되지 않았으므로, 직접 모드는 도 45에 도시된 경우에서 예측 모드로서 설정되지 않는다.
제 2 모드에서, 의사-직접 모드는 예측 모드와 같이 사용될 수 있다. 그러한 경우에, 상위 계층에서 처리되는 B-화상 매크로 블록에 대한 플래그 ref_select_code가 '00'이며 MBTYPE 테이블 A가 사용되면, 의사 직접 모드(직접 모드 대신에)는 MBTYPE에 대한 가변 길이 코드 '1'을 갖는다. 의사 직접 모드에서, 순방향 예측은 참조 화상(예측을 위한 참조 화상)으로서 인수 FR을 증배함으로서 확장된 하위 계층(다른 층)의 화상을 이용하여 도 45의 경우에서 수행되며, 배경 예측은 참조 화상으로서 상위 계층(동일 층) 직전에 인코딩된 디코딩 화상을 이용하여 수행된다.
정방 예측을 위한 참조 화상으로서 사용된 확장된 화상에서 대응하는 매크로 블록에 대한 움직임 벡터(인코딩되는 매크로 블록과 같은 위치의 매크로 블록)가 MV이면, 움직임 벡터 MVB는 MVB가 다음 식으로 정의되는 역방향 예측을 위해 사용된다.
MVB=MV X FR + MVDB
즉, 하위 계층의 대응하는 매크로 블록의 움직임 벡터 MV를 FR로 증배하며 벡터 MVDB를 결과 적에 가산함으로서 획득된 벡터는 역방향 예측을 위한 움직임 벡터 MVB로서 사용된다. 이 경우에, 벡터 MVDB는 전송되지 않는다. 왜냐하면, 움직임 벡터 MVB가 움직임 벡터 MV, 증배 인수 FR, 및 MVDB로부터 획득가능하기 때문이다. 따라서, 수신 측(디코딩 측)에서, 상위 계층에서 처리도는 B-화상 매크로 블록을 위한 플래그 ref_select_code가 '00'이며 MBTYPE 테이블 A가 가변 길이 디코딩으로 사용되면, '1'인 MBTYPE를 갖는 매크로 블록의 움직임 벡터 MVB가 하위 계층의 대응하는 매크로 블록의 움직임 벡터 MV, 증배 인수 FR, 및 벡터 MVDB로부터 발견된다.
그러므로, 용장 데이터로 고려되는 벡터 MVDB가 전송되지 않으면, 인코딩 효율을 개선한다.
도 22,23의 VLC 장치(36) 및 도 30,31의 IVLC 장치(102)에서 사용된 가변 길이 테이블을 결정하기 위한 방법(MODB 테이블 A 또는 B 중 어느 것이 그리고 MBTYPE A 또는 B중 어느 것이 사용되는지를 결정하는 방법)이 도 47 및 48의 플로우챠트를 참조하여 설명된다.
도 47은 하위 계층에서 사용된 가변 길이 테이블을 결정하기 위한 방법을 도시한다. 단계 S31에서, (도 36을 참조하여 설명된 video_object_layer_shape, VOP_width 또는 VOP_height 나 도 31을 참조하여 설명된 load_VOP_size를 참조함으로서) VOP크기가 변화되는지 여부가 판단된다. VOP 크기가 변화되지 않았으면, 처리는 단계 S32로 가며 여기서 MODB 테이블 A 및 MBTYPE 테이블 A가 사용된다. 그후 처리는 종결된다. 역으로, 단계 S31이 VOP 크기가 변화되었음을 표시하면, 처리는 단계 S33으로 가며, 여기서 MODB 테이블 B 및 MBTYPE B가 사용된다. 그후 처리는 종결된다.
도 48은 상위 계층에 사용된 가변 길이 테이블을 결정하기 위한 방법을 도시한다. 단계 S41에서, ref_select_code 가 '00'인지가 결정된다. ref_select_code가 '00'면(즉, 동일 시점에서 하위 계층의 VOP가 처리되려고 하는 상위 계층의 VOP에 대한 참조 화상으로서 사용된다) 처리는 단계 S42로 가며 여기서 MODB 테이블 A 및 MBTYPE 테이블 B가 사용될 수 있다. 의사 직접 모드가 사용되면, MBTYPE 테이블 A가 MBTYPE 테이블 B 대신에 사용될 수 있다. 즉, 단계 S42에서, MBTYPE 테이블 B 또는 MBTYPE 테이블 A가 제 1 또는 제 2 방법이 적용되는지에 따라서 선택된다. 그후 처리는 종결된다. 한편, 단계 S41에서, ref_select_code가 '00'가 아니면, 처리는 단계 S43으로 진행된다. 도 47의 단계 S31 내지 S33에서 처리된 것과 유사한 처리가 MODB 테이블 및 MBTYPE 테이블이 사용되어야 하는지를 결정하기 위해서 단계 S43 내지 S45에서 수행된다.
도 22의 하위 계층 인코딩 장치(25)의 스킵 매크로 블록, 도 23의 상위 계층 인코딩 장치(23), 도 30의 하위 계층 디코딩 장치(95) 및 도 31의 상위 계층 디코딩 장치(93)의 처리는 도 49 내지 51A, 51B, 51C를 참조하여 설명된다.
I-화상 매크로 블록이 기본적으로 스킵 매크로 블록이라고 가정한다. 그러한 가정에 기초해서, 다음 설명이 P- 및 B-화상에 포함된다. 또한, MODB 테이블 B가 사용되면, 전술된 바와 같이, 스킵 매크로 블록이 발생되지 않는다. 그러므로, 스킵 매크로 블록은 MODB 테이블 A를 이용할 때만 처리된다.
도 49는 도 22의 하위 계층 인코딩 장치(25) 및 도 30의 하위 계층 디코딩 장치(95)의 스킵 매크로 블록의 처리를 예시하는 플로우챠트를 도시한다.
단계 S1에서, 처리되는 매크로 블록이 P-화상 또는 B-화상인지가 판단된다. 그러한 매크로 블록이 P-화상이면, 매크로 블록을 위한 COD가 1 인지를 판단하기 위해서 처리는 단계 S2로 진행된다. 그러한 COD가 1 이면, 처리는 단계 S3로 진행되며 여기서 매크로 블록이 스킵 매크로 블록인지가 판단되며, 여기서 매크로 블록은 그와 같이 처리된다. 즉, 이 경우에, 처리되는 매크로 블록의 양자화 계수(DCT 계수)는 모두가 제로로 가정되며, 그 움직임 벡터는 제로가 된다고 가정된다.
한편, 단계 S2에서 처리되는 매크로 블록에 대한 COD가 1이 아니면, 처리는 단계 S4로 진행되며, 여기서 매크로 블록은 일상적으로 처리된다. 즉, 이 경우에, P-화상의 매크로 블록은 DCT 계수가 0가 아니거나 움직임 벡터가 0이 아닐 때와 같이 처리된다.
단계 S1으로 돌아가면, 처리되는 매크로 블록이 B-화상이라고 판단되면, 처리는 B-화상의 매크로 블록을 디코딩하기 직전에 디코딩된 I-또는 P-화상의 동일 위치의 매크로 블록의 COD가 1 인지 여부를 판단하기 위해서 단계 S5로 진행된다. (주의-동일 위치의 매크로 블록은 대응하는 매크로 블록으로서 일컬어진다). 단계 S5에서, 처리되는 매크로 블록에 대한 대응하는 매크로 블록의 COD는 1로 되며, 처리는 단계 S6으로 진행되며 여기서 처리되는 매크로 블록이 스킵 매크로 블록이라고 결정되며 역서 이러한 매크로 블록은 그와 같이 처리된다.
즉, 처리되는 화상(VOPs)이 도 51a에 도시된 바와 같이 I/P, B, I/P (여기서 I/P는 I-또는 P-화상을 표시한다)의 순서에 의해서 규정되며 이러한 화상은 도 51a에서 최좌측 I/P, 최우측 I/P, 좌측 단부로부터 제 2의 B의 순서로 인코딩/디코딩된다고 가정된다. 좌측으로부터 제 2의 B-화상의 매크로 블록이 처리된다고 가정한다. 그러한 상태에서, 최우측 I/P 화상은 참조 화상으로서 최좌측 I/P 화상을 이용하여 인코딩/디코딩된다. 처리되는 B-화상의 매크로 블록에 대한 최우측 I/P 화상의 대응하는 매크로 블록의 COD가 1 이면(즉, 대응하는 매크로 블록이 스킵 매크로 블록이면) 최좌측 I/P 화상으로부터 최우측 I/P 화상 사이에는 화상 변화가 없다. 그러므로, 처리되는 매크로블록이 B-화상이며 대응하는 매크로블록의 COD가 1 이면, 처리되는 매크로 블록이 스킵 매크로블록이다. 이 경우에, 처리되는 B-화상의 매크로 블록의 처리는(예측 코딩/디코딩) 최우측 I/P 화상의 대응하는 매크로 블록과 유사하게 수행되어 그 벡터 및 DCT 계수가 모두가 제로로 처리된다. 인코더 측은 전술된 바와 같이 MODB만을 전송하며 연속되는 CBPB 또는 MBTYPE는 전송되지 않는다.
도 49로 돌아가면, 대응하는 매크로 블록의 COD가 1이 되지 않는 단계 S5에서 발견되면, 처리되는 B-화상의 매크로 블록의 MODB가 0 인지 여부를 판단하기 위한 단계 S7로 진행된다. 그러한 MODB가 0로 발견되면, 처리는 단계 S8로 이어지며 여기서 처리되는 매크로 블록은 스킵 매크로 블록이라고 결정되며, 여기서 매크로 블록은 그와 같이 처리된다.
특히, 도 51b에 도시된 바와 같이, 처리되는 화상(VOP)이 표시되며 도 51a에서와 같은 순서로 인코딩/디코딩되며, 좌측 단부로부터 제 2 화상의 매크로블록이 처리되는 것으로 가정된다. 이 경우에, 처리되는 B-화상의 매크로 블록을 위한 최우측 I/P 화상의 대응하는 매크로 블록의 COD가 1 이 아니므로(즉, 대응하는 매크로 블록이 스킵 매크로 블록이 아니다) 최좌측 I/P 화상 및 최우측 I/P 화상 사이에서 발생된 화상 변화가 있다. 한편, 처리되는 B-화상의 매크로 블록의 플래그 MODB가 0이므로, 이러한 매크로 블록은 B-화상의 매크로 블록을 디코딩하기 전에 디코딩된 다른 프레임의 매크로 블록의 데이터만을 이용하여 디코딩되거나 또는 직전에 디코딩된 I- 또는 P-화상에서 대응하는 매크로 블록이 스킵 매크로 블록이다(즉, COD가 1 이다). 그러나, COD가 1과 동일하지 않으므로, 전술된 바와 같이, 처리되는 B-화상의 매크로 블록은 매크로 블록을 디코딩하기 전에 디코딩된 다른 프레임의 매크로 블록의 데이터를 이용하여 디코딩될 수 있다. 매크로 블록을 디코딩하기 전에 디코딩된 다른 프레임의 매크로 블록 데이터는 미리 디코딩된 데이터로서 표시될 수 있다.
그러한 상태(여기서 화상 변화는 최좌측 I/P 화상과 최우측 I/P 화상 사이에서 발생되었으며, 여기서 처리되는 B-화상의 매크로 블록은 미리 디코딩된 데이터만을 사용하여 디코딩될 수 있다)가 이제 고려된다. 이것은, 도 51b에 도시된 바와 같이, 최좌측 I/P 화상 또는 최우측 I/P 화상이 예측 화상을 발생하기 위해서 움직임 벡터 MV2 또는 MV3를 이용하여 움직임 보상되며, 도 51b에서 점선으로 도시된 부분은 처리되는 매크로 블록과 일치하는 평균값을 갖으며, 예측 에러가 발생되지 않는 상황에 대응한다. 움직임 벡터 MV2 및 MV3는 예를 들면, 1/2 또는 1-1/2로 움직임 벡터 MV1을 증배하여 획득된다. 그러한 움직임 벡터 MV1은 참조 화상으로서 최좌측 I/P 화상을 이용하여 최우측 I/P 화상(도 51b에 실선으로 도시됨)내의 대응하는 매크로 블록을 처리할 때 사용된다.
이러한 관점에서, 도 49의 단계S8에서 처리되는 B-화상의 매크로 블록상에서 처리는 움직임 벡터로서 최우측 I/P 화상내의 대응하는 매크로 블록의 움직임 벡터 MV1으로부터 발견될 때 움직임 벡터 MV2(MVF) 및 MV3(MVB)를 이용하며, 화소 값(화소 데이터)으로서 예측 화상의 전술된 평균값을 이용하여, 수행된다.
그러한 상태에서, 처리되는 매크로 블록에 대한 예측 모드는 전술된 직접 모드가 될 수 있다. H.263에서, 직접 모드는 PB 화상에만 적용될 수 있다. 그러므로, 본 실시예에서, B-화상은 MPEG1 및 MPEG2내의 B-화상 및 H.263내의 PB 화상을 커버하거나 포함할 수 있다.
한편, 단계 S7에서 처리되는 B-화상의 매크로 블록에 대한 MODB가 0가 아닌 것으로 발견되면, 처리는 단계 S9으로 진행되며 여기서 처리는 단계 s4 에서와 같은 일상의 방식으로 발생된다.
도 50은 도 23의 상위 계층 인코딩 장치(23) 및 도 31의 상위 계층 디코딩 장치(93)에 의해서 스킵 매크로 블록상의 처리를 예시하는 플로우챠트를 도시한다.
단계 S11 내지 S14에서, 도 49의 단계 S1 내지 S4와 유사한 처리가 수행된다. 다시 말해서, 유사한 처리가 P화상의 상부 및 하위 계층에서 수행된다.
단계 S11에서, 처리되는 매크로 블록이 B 화상으로 발견되면, 처리는 단계 S15로 진행되며 이는 처리되는 매크로 블록의 플래그 ref_select_code가 '00'인지 여부를 판단하기 위한 것이다. 매크로 블록의 그러한 플래그 ref_select_code가 '00'가 아닌 것으로 발견되면(즉, B-화상의 매크로 블록이 참조 화상과 동일한 하위 계층의 기점에서 화상을 이용하여 처리되지 않으면), 처리는 단계 S16 내지 S20으로 진행되며 여기서 도 49의 단계 S5 내지 S9과 유사한 처리가 수행된다.
단계 S15에서, 처리되는 B-화상의 매크로 블록의 플래그 ref_select_code는 '00'로 발견되면(즉, 참조 화상과 같은 시점에서 하위 계층의 화상을 이용하여 처리되는 B-화상의 매크로 블록이 처리되면), 처리는 단계 S21로 진행되어 처리되는 B-화상의 매크로 블록에 대한 MODB가 0인지 여부를 결정하기 위한 것이다. 그러한 MODB가 0로 발견되면, 처리는 단계 S22로 진행되며 여기서 처리되는 매크로블록은 스킵 매크로 블록이 되도록 결정되어 그와 같이 조절된다. 역으로, MODB가 단계 S21에서 발견되어 0이 되지 않으면, 처리는 단계 S23으로 진행되며 여기서 처리는 도 49의 단계 S3에서와 같이 일상의 방식으로 발생된다.
즉, 이제 처리되는 상위 계층의 화상(VOP)이 도 51c에 도시된 바와 같이 I/P, B, B ....의 순서로 표시된 것이며 하위 계층의 화상은 유사한 순서로 표시되는 것으로 가정된다. 하위 계층 및 상위 계층의 화상이 교번해서 인코딩/디코딩되는 것으로 가정된다. 상위 계층의 B-화상의 ref_select_code가 '00'이면, 전술된 것이 화상 인코딩/디코딩 순서와 같다.
그러한 상황에서, ref_select_code의 값이 단계 S15에서 판단되지 않는다고 가정된다(즉, 도 49를 참조하여 설명된 것과 유사한 처리가 수행된다). 즉, 처리되는 상위 계층의 B-화상의 매크로블록이, 참조 화상으로서, B-화상에 이어지는 프레임을 참조하지 않고 상위 계층의 동일 시점(확장된 화상) 또는 직전에 디코딩된 화상(최좌측 I/P 화상)의 하위 계층의 화상을 이용하여 인코딩/디코딩되며, 그러한 후속되는 프레임의 대응하는 매크로 블록의 COD 또는 MODB의 값이 처리되는 매크로 블록이 스킵 매크로 블록인지 여부를 결정한다. 그러나, 처리되는 매크로 블록이 그러한 매크로 블록을 인코딩/디코딩할 때 참조되지 않는 프레임에 기초한 스킵 매크로 블록이 되어야 하는지를 판단하는 것이 바람직하다.
그러므로, 도 50의 실시예에서, 상위 계층의 B-화상을 위한 ref_select_code가 '00'이면 (즉, 도 51c에 도시된바와 같이, 참조 화상과 하위 계층의 동일 시점 도는 상위 계층의 직전에 디코딩된 화상을 이용하여 B-화상을 위한 매크로 블록이 처리되면), 처리되는 매크로 블록은 후속되는 프레임내의 대응하는 매크로 블록을 위한 COD 또는 MODB에 의존하지 않고 처리되는 B-화상의 매크로 블록에 관한 MODB에 의존하여 스킵 매크로 블록으로 결정될 수 있다.
ref_select_code가 '00'이면, 처리되는 B-화상의 매크로 블록의 MODB는 사용되는 참조 화상이 상위 계층(최좌측 I/P 화상)에서 직전에 디코딩된 화상이며 동일 시점의 하위 계층의 화상이 아닐 때 보통은 0이다. 그러므로, 이러한 상황에서, 그러한 매크로 블록의 처리(예측 디코딩/인코딩)는 제로로 설정되는 움직임 벡터를 갖는 참조 화상으로서 직전에 디코딩된 화상을 이용하여 수행된다.
스킵 매크로 블록은 여기서 기술된 바와 같이 처리될 수 있다. 그러한 처리에서, 처리되는 매크로 블록이 상위 계층 또는 하위 계층에 속하는지에 대한 결정은 도 35를 참조하여 설명된 스케일러빌리티 플래그에 기초해 있다.
하위 계층 COD가 도 23의 벡터 검출기(32), VLC 장치(36), 움직임 보상기(42)에 공급되는 이유가 여기서 설명된다. 즉, 도 25A, 25B에 도시된 일시적인 스케일러빌리티의 경우에, 하위 계층의 화상은 전에 설명된 바와 같이, 상위 계층의 예측을 위해서 참조 화상으로서 사용된다. 하위 계층의 VOP0, 상위 계층의 VOP1, 하위 계층의 VOP2는 일시적으로 연속되는 화상이므로, 상위 계층의 VOP1의 매크로 블록은 이러한 세 개의 VOPs(VOP1, VOP2, 및 VOP3)가 도 51a를 참조하여 설명된 조건을 만족시키면 스킵 매크로 블록이 된다. 매크로 블록이 스킵 매크로 블록이면, 매크로 블록은 특별히 처리될 필요가 없다. 한편, 하위 계층의 VOP2의 COD는 도 51a을 참조하여 설명된 조건이 만족되었는지 여부에 대한 결정 정보를 제공하기 위해서 이용된다. 그러므로, 하위 계층의 COD는 도 23에 도시된 움직임 벡터 검출기(32), VLC 장치(36), 및 움직임 보상기(42)에 공급된다.
MPEG4는 양자화의 결과로서(즉, DCT 계수가 존재하지 않으면) 매크로 블록의 모든 DCT 계수가 0와 같은 미리 설정된 값이 되는 경우에도 양자화 단계의 DQUANT가 전송되도록(예측 모드가 직접 모드인 경우는 제외) 제공한다. 그러나, 매크로 블록의 DCT 계수가 없는 경우에 DQUANT를 전송하는 것은 여분의 일이다. 그러므로, 도 22 및 23의 VLC 장치(36) 및 도 30 및 31의 IVLC 장치(102)에서, 양자화 단계 DQUANT는 도 52를 참조하여 설명된 바와 같이 조절된다.
단계 S51에서, CBPB가 0가 되는 것이 결정된다. CBPB가 0로 발견되면, 매크로 블록의 DCT 계수가 존재하지 않는다. 이 경우에, 처리는 단계 S56으로 진행되며, 여기서 양자화 단계는 폐기되며 처리가 종결된다. 즉, 인코더 측은 양자화 단계 DQUANT를 전달하지 않으며, 한편 디코더 측은 수신된 비트스트림으로부터 양자화 단계 DQUANT를 추출하지 않는다. 그러므로, 처리는 종료된다.
도 41a, 41b에 도시된 바와 같이, CBPB가 전달되지 않는 경우가 있다. 그러한 경우에, 처리는 단계 S51을 스킵하며 단계 S52에서 재개된다.
단계 S51에서, CBPB가 제로가 아닌 것으로 발견되면, 처리는 단계 S52로 진행되어 MODB가 제로인지를 결정한다. 그러한 MODB가 0로 결정되면, CBPB는 전달되지 않으며(도 41a, 41b를 참조하여 설명된 바와 같다) 매크로 블록의 DCT 계수가 존재하지 않는다. 그 결과, 처리는 단계 S56로 진행되며 여기서 양자화 단계는 폐기되며 처리는 종결된다.
단계 S52에서, MODB가 '0'가 되지 않는 것으로 발견되면, 처리는 단계 S53으로 진행되며 MODB 테이블 A 또는 B가 MODB의 가변 길이 인코딩/디코딩에 사용된다. 단계 S53에서, MODB 테이블 B이 사용되는 것으로 결정되면, 처리는 단계 S54로 스킵되며 단계 S55로 진행된다. 단계 S53에서, MODB 테이블 A 가 사용되는 것으로 판단되면, 처리는 단계 S54로 진행되며 여기서 MODB가 '10' 인지가 결정된다.
단계 S54에서, MODB가 '10'로 판단되면,(즉, MODB 테이블 A가 사용되며 MODB가 '10'이면), CBPB는 도 41a, 41b를 참조하여 설명된 바와 같이, 전달되지 않는다. 결국, 매크로 블록의 DCT 계수가 존재하지 않으며, 따라서 처리는 단계 S56으로 진행되며 여기서 양자화 단계는 폐기되며 처리는 종결된다.
한편, MODB가 단계 S54에서 '10'가 아니라고 판단되면, 처리는 단계 S55로 진행되며 여기서 양자화 단계 DQUANT가 인코더 측상에 전달되며 양자화 단계 DQUANT는 수신된 비트스트림으로부터 디코더 측상에서 추출된다. 그후에, 처리는 종결된다.
전술된 바와 같이, 매크로 블록의 DCT 계수가 없으면 (즉, MODB가 '0'이거나 MODB 테이블 A가 사용되며 MODB가 '0' 또는 '10'이며 MODB 테이블 B가 사용되는 경우에 MODB가 '0'이며 CBPB가 '000000'이면) 양자화 단계는 폐기되며 따라서 데이터 용장을 감소시킨다.
더욱이, CBPB가 그 값이 '0'라 할지라도 전송되는 상태에서, MODB는 MODB 테이블 A 또는 B를 이용하여 '11' 또는 '10'으로 설정된다. MODB에 '10' 또는 '0'이 사용될 수 있으므로 그러한 상태는 발생되지 않는다. 그러므로, 도 52의 실시예의 초기 단계 S51에서 CBPB의 값이 판단된다 할지라도, 결정 처리는 처리 효율의 관점에서 단계 S55 직전에 수행된다.
도 52의 처리는 전술된 제 1 또는 제 2 방법이 사용된다 할지라도 적용된다.
위치 또는 크기에서 변화된 VO가 처리를 위한 절대 좌표 시스템에 배치되므로, VO에 기초한 예측 코딩/디코딩은 실행되지 않으며, 한편 VO로 유도된 스케일러빌리티도 실행되지 않는다.
더욱이, 스킵 매크로 블록의 처리가 스킵 매크로 블록을 위해서 사용되는 참조 화상을 규정하는 플래그 ref_select_code을 고려하여 결정되므로, 효과적인 처리가 실행되지 않는다.
상위 계층의 화상이 하위 계층과 같으며, 동일 시점의 하위 계층의 디코딩된 화상이 상위 계층의 예측 코딩을 위한 참조 화상으로서 사용되면, 상위 계층을 위한 움직임 벡터를 전달하지 않고 하위 계층을 위한 이동만이 전달되며, 따라서 데이터 용량을 감소시킨다.
전술된 설명에서 매크로블록을 기초로 해서 처리가 설명된다 할지라도, 그러한 처리는 매크로 블록이 아닌 장치로 수행될 수도 있다.
전술된 설명에서 두 종류의 MODB 테이블이 제공되었으며 그중 하나가 선택적으로 사용되었다 할지라도, 세 개 또는 그 이상의 MODB 테이블이 이용될 수 있다. 유사하게, 전술된 것에 더해서, 다른 수의 MBTYPE 테이블이 이용될 수 있다.
본 화상 인코딩 장치 또는 방법에서, 제 2 화상은 제 1 및 제 2 화상 사이의 해상도에서 차이에 기초해서 확장 또는 축소될 수 있으며 제 1 화상은 참조 화상으로서 확장된 또는 축소된 화상을 이용하여 예측 인코딩된다. 한편, 미리 설정된 좌표내의 제 1 화상 및 제 2 화상의 위치는 제 1 또는 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 출력하기 위해서 설정된다. 이 경우에, 제 1 화상의 위치는 제 1 위치 정보에 기초해서 인식되며, 한편, 제 2 위치 정보는 제 2 화상이 확장 또는 축소되는 확장비 또는 축소비에 응답해서 변환되며, 변환의 결과에 대응하는 위치는 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 인식된다. 그와 같이, 스케일러빌리티는 시간에 따라서 변동하는 위치를 갖는 화상에 대해서 수행된다.
본 화상 디코딩 장치 또는 방법에서, 디코딩된 제 2 화상은 제 1 및 제 2 화상 사이의 해상도 차에 기초해서 확장되거나 축소되며 제 1 화상은 참조 화상으로서 확장되거나 축소된 제 2 화상을 이용하여 디코딩된다. 인코딩된 데이터가 미리 설정된 절대 좌표 시스템에서, 제 1 화상의 위치에서 그리고 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보를 포함하며, 제 1 화상의 위치는 제 1 위치 정보에 기초하며, 한편 제 2 위치 정보는 제 2 화상이 확장되거나 축소되는 확장비 또는 축소비에 응답하여 변환된다. 변환의 결과에 대응하는 위치는 제 1 화상을 디코딩하기 위해서 참조 화상의 위치로서 인식된다. 그 결과, 스케일러빌리티는 시간에 따라서 변동하는 위치를 갖는 화상에 대해서 획득된다.
본 기록 매체 및 기록 방법에서, 인코딩된 데이터는 적어도, 참조 화상으로서, 제 1 및 제 2 화상 사이의 해상도 차에 기초한 제 2 화상을 확장 또는 축소하여 획득된 확장 또는 축소된 결과를 이용하여 제 1 화상을 예측 인코딩하여 획득된 제 1 데이터를 포함하며, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상의 위치를 설정하여 획득된 제 1 위치 정보 또는 제 2 위치 정보를 인코딩하여 획득된 제 2 데이터를 포함한다. 제 1 데이터는 제 1 위치 정보에 기초한 제 1 화상의 위치를 인식하며, 제 2 화상이 확장되거나 축소된 확장비 또는 축소비에 응답하여 제 2 위치 정보를 변환하며, 한편, 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 변환한 결과에 대응하는 위치를 인식한다.
본 화상 인코딩 장치 및 화상 인코딩 방법에서, 제 2 화상은 제 1 및 제 2 화상 사이의 해상도의 차에 기초해서 확장되거나 축소되며, 제 1 화상은 기준 신호로서 확장되거나 축소된 제 2 화상을 이용하여 디코딩된다. 한편, 미리 설정된 절대 좌표 시스템의 제 1 화상 및 제 2 화상의 위치가 설정되며 제 1 또는 제 2 화상의 위치에서 제 1 위치 정보 또는 제 2 위치 정보가 출력된다. 이 경우에, 제 1 및 제 2 화상의 위치가 설정되어 미리 설정된 절대 좌표 시스템의 참조 화상 위치가 미리 설정된 위치와 일치한다. 제 1 화상의 위치는 제 1 위치 정보에 기초해서 설정되며 미리 설정된 위치는 예측 코딩을 수행하기 위해서 참조 화상의 위치로서 인식된다. 그 결과, 스케일러빌리티는 시간에 따라서 변동되는 위치를 갖는 화상에 대해서 획득된다.
본 화상 디코딩 장치 및 화상 디코딩 방법에서, 디코딩된 제 2 화상은 제 1 및 제 2 화상 사이의 해상도 차에 기초해서 확장되거나 축소되며, 제 1 화상은 참조 화상으로서 확장되거나 축소된 제 2 화상을 이용하여 디코딩된다. 인코딩된 데이터가 제 1 화상의 위치 또는 제 2 화상의 위치 상에서 제 1 위치 정보 또는 제 2 위치 정보로 포함하며, 미리 설정된 절대 좌표 시스템에서, 미리 설정된 절대 좌표 시스템의 참조 화상의 위치가 미리 설정된 위치와 일치하도록 설정되면, 제 1 화상의 위치는 제 1 위치 정보에 기초해서 인식되며, 전의 위치는 제 1 화상을 디코딩하기 위해서 참조 화상의 위치로서 인식된다. 그 결과로서, 스케일러빌리티는 시간에 따라서 변동하는 위치를 갖는 화상을 위해 획득된다.
본 기록 매체 및 기록 방법에서, 인코딩된 데이터는 적어도, 참조 화상으로서, 제 1 및 제 2 화상 사이의 해상도 차에 기초한 제 2 화상을 확장 또는 축소하여 획득된 확장 또는 축소된 결과를 이용하여 제 1 화상을 예측 인코딩하여 획득된 제 1 데이터를 포함하며, 미리 설정된 절대 좌표 시스템에서 제 1 및 제 2 화상의 위치를 설정하여 획득된 제 1 위치 정보 또는 제 2 위치 정보를 인코딩하여 획득된 제 2 데이터를 포함한다. 제 1 위치 정보 및 제 2 정보는 설정되어 미리 설정된 좌표 시스템의 참조 화상의 위치가 미리 설정된 위치와 일치하게 된다.
그 결과, 스케일러빌리티는 시간에 따라서 변동하는 위치를 갖는 화상에 대해 획득된다.
본 화상 인코딩 장치 및 화상 인코딩 방법에서, 화상은 예측 코드되며 제 1 인코딩된 데이터는 로컬 디코딩을 위해 출력된다. 화상은 제 1 인코딩된 데이터를 발생하기 위해 사용된 움직임 벡터만으로 다중화되는 제 2 인코딩된 데이터를 출력하기 위해서 참조 화상으로서 국부적으로 디코딩된 화상을 이용하여, 예측 인코딩된다. 그 결과, 디코딩 효율은 개선되거나, 다시 말해서, 데이터 용량은 감소된다.
화상 디코딩 장치 및 화상 디코딩 방법에 있어서, 제 1 데이터가 디코딩되고 제 2 데이터가 참조 화상으로서 디코딩된 제 1 데이터를 사용하여 디코딩된다. 인코딩된 데이터가 제 1 데이터를 예측 디코딩하는데 사용된 움직임 벡터만을 포함하면, 제 2 데이터는 제 1 데이터를 예측 코딩하는데 사용된 움직임 벡터에 따라서 디코딩된다. 이것은 화상이 작은 데이터 용량을 갖는 데이터로부터 디코딩되게 한다.
본 기록 매체 및 기록 방법에서, 인코딩된 데이터는 제 1 인코딩된 데이터를 출력하기 위해서 화상을 예측 코딩하며, 제 1 인코딩된 데이터를 국부적으로 디코딩하며, 제 2 인코딩된 데이터를 출력하기 위해서 로컬 디코딩의 결과로서 획득된 국부적으로 디코딩된 화상을 이용하여 화상을 예측 코딩하며, 제 1 인코딩된 데이터를 획득하기 위해서 사용된 움직임 벡터만으로 제 1 인코딩된 데이터와 제 2 인코딩된 데이터를 다중화하여 획득된다. 이것은 여러 데이터 조각의 기록을 용이하게 한다.
본 화상 인코딩 장치, 화상 인코딩 방법, 화상 디코딩 장치, 및 화상 디코딩 방법에서, 매크로 블록이 스킵 매크로 블록인지 여부는 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하여 사용된 참조 화상을 규정하는 참조 화상 정보에 기초해서 결정된다. 이것은 스킵 매크로 블록 처리가 참조 화상으로서 사용되지 않는 화상에 기초해서 수행되지 않게 한다.
본 기록 매체 및 기록 방법에서, 매크로 블록은 순방향 예측 코딩, 역방향 예측 코딩 또는 양방향 예측 코딩 중 하나에 의해서 B-화상의 매크로 블록을 인코딩하여 사용된 참조 화상을 규정하는 참조 화상 정보에 기초해서 스킵 매크로 블록으로서 설정된다. 이것은 스킵 매크로 블록 처리가 참조 화상으로서 사용되지 않는 화상에 기초해서 수행되지 않게 한다.
본 화상 처리 장치 및 화상 처리 방법에서, 가변 길이 인코딩 또는 가변 길이 디코딩에 사용된 미리 설정된 테이블은 화상 크기의 변화를 유지하도록 수정된다. 이것은 가변 길이 인코딩에 의해서 획득된 데이터의 데이터 용량을 감소시키며 한편 그러한 데이터의 가변 길이 디코딩을 가능하게 한다.
본 화상 처리 장치 및 화상 처리 방법에서, 가변 길이 인코딩 또는 가변 길이 디코딩에 사용되는 미리 설정된 테이블은 인코딩되는 화상의 층과 타이밍이 같으며 다른 층을 갖는 화상이 참조 화상으로서 사용되는지 여부에 따라서 수정된다. 이것은 가변 길이 인코딩에 의해서 획득된 데이터의 데이터 용량을 감소시킨다.
본 화상 인코딩 장치 및 화상 인코딩 방법에서, 미리 설정된 양자화 단계는 미리 설정된 화상의 블록내 화소 값 모든 양자화 결과가 모두 동일 값이 아닐 때만 양자화된다. 이것은 데이터 용량을 감소시킨다.
본 화상 디코딩 장치, 화상 디코딩 방법, 화상 기록 매체, 및 화상 기록 방법에서, 인코딩된 데이터는 미리 설정된 화상의 블록내 화소 값의 모든 양자화 결과가 모두 동일 값이 아닐 때만 미리 설정된 양자화를 포함한다. 이것은 데이터 용량을 감소시킨다.
도 1은 종래의 인코더를 도시한 도면.
도 2는 종래의 디코더를 도시한 도면.
도 3은 종래의 스케일가능한 인코딩을 수행하기 위한 인코더의 예를 도시한 도면.
도 4는 도 3의 하위 계층 인코딩 장치(202)의 예시적인 구조를 도시한 도면.
도 5는 도 3의 상위 계층 인코딩 장치(202)의 예시적인 구조를 도시한 도면.
도 6은 종래의 스케일가능한 디코딩을 수행하기 위한 디코더의 예를 도시한 도면.
도 7은 도 6의 하위 계층 디코딩 장치(232)의 예시적인 구조를 도시한 도면.
도 8은 도 6의 상위 계층 디코딩 장치(231)의 예시적인 구조를 도시한 도면.
도 9는 종래의 화상 합성 방법을 설명하기 위해서 참조된 도면.
도 10은 화상 재편집 및 재 합성을 가능하게 하는 인코딩 방법을 설명하기 위해서 참조된 도면.
도 11은 화상 재편집 및 재 합성을 가능하게 하는 인코딩 방법을 설명하기 위해서 참조된 도면.
도 12는 본 발명의 실시예에 따른 인코더의 도면.
도 13은 VO의 위치 및 사이즈가 시간에 의해 변화하는 것을 설명하기 위해서 참조된 도면.
도 14는 도 12의 VOP 인코딩 장치들 31 내지 3N의 예시적인 구조를 도시한 도면.
도 15는 도 12의 VOP 인코딩 장치들 31 내지 3N의 예시적인 또 다른 구조를 도시한 도면.
도 16A 및 16B는 공간 스케일러빌리티를 설명하기 위해서 참조된 도면.
도 17A 및 17B는 공간 스케일러빌리티를 설명하기 위해서 참조된 도면.
도 18A 및 18B는 공간 스케일러빌리티를 설명하기 위해서 참조된 도면.
도 19A 및 19B는 공간 스케일러빌리티를 설명하기 위해서 참조된 도면.
도 20a 및 20b는 VOP 크기 데이터 및 오프셋 데이터를 결정하기 위한 방법을 설명하기 위해서 참조된 도면.
도 21a 및 21b는 VOP 크기 데이터 및 오프셋 데이터를 결정하기 위한 방법을 설명하기 위해서 참조된 도면.
도 22는 도 15의 하위 계층 인코딩 장치(25)의 도면.
도 23은 도 15의 하위 계층 인코딩 장치(23)의 도면.
도 24A 및 24B는 공간 스케일러빌리티를 설명하기 위해서 참조된 도면.
도 25A 및 25B는 공간 스케일러빌리티를 설명하기 위해서 참조된 도면.
도 26a 및 26b는 기준 선택 코드(ref_select_code)를 도시한 도면.
도 27은 본 발명의 실시예에 따른 디코더의 도면.
도 28은 VOP 디코딩 장치들 721 내지 72N의 도면.
도 29는 VOP 디코딩 장치들 721 내지 72N의 또 다른 예시적인 구조를 도시한 도면.
도 30은 도 29의 하위 계층 디코딩 장치(95)의 도면.
도 31은 도 29의 상위 계층 디코딩 장치(93)의 도면.
도 32는 스케일가능한 인코딩에서 획득된 비트스트림의 신택스를 도시한 도면.
도 33은 VS 신택스를 도시한 도면.
도 34는 VO 신택스를 도시한 도면.
도 35는 VOL 신택스를 도시한 도면.
도 36은 VOP 신택스를 도시한 도면.
도 37은 VOP 신택스를 도시한 도면.
도 38은 diff_size_horizontal 및 diff_size_vertical의 가변 길이 코드를 도시한 도면.
도 39는 diff_VOP_horizontal_ref 및 diff_VOP_vertical_ref의 가변 길이 코드를 도시한 도면.
도 40a 및 40b는 매크로-블록 신택스를 도시한 도면.
도 41a 및 41b는 MODV 가변 길이 코드를 도시한 도면.
도 42는 매크로-블록을 도시한 도면.
도 43a 및 도 43b는 MBTYPE의 가변 길이 코드를 도시한 도면.
도 44는 직접 모드에 의한 예측 코딩을 도시한 도면.
도 45는 상위 계층의 B-PICTURE의 예측 코딩을 도시한 도면.
도 46a 및 46b는 의사-직접 모드(quasi-direct mode)를 설명하기 위해서 참조된 도면.
도 47은 하위 계층을 위해 사용되는 가변 길이 테이블을 결정하기 위한 방법을 설명하는데 참조된 플로우챠트.
도 48은 상위 계층을 위해 사용되는 가변 길이 테이블을 결정하기 위한 방법을 설명하는데 참조된 플로우챠트.
도 49는 하위 계층의 스킵 매크로-블록을 위한 처리를 설명하기 위해서 참조된 플로우챠트.
도 50은 상위 계층의 스킵 매크로-블록을 위한 처리를 설명하기 위해서 참조된 플로우챠트.
도 51a 내지 51c는 스킵 매크로-블록을 위한 처리를 예시한 도면,
도 52는 양자화 단계 DQUANT를 위한 처리를 설명하기 위해 참조된 플로우챠트.
* 도면의 주요 부분에 대한 부호의 설명 *
11: 화상 신호 인코딩 장치 24: 해상도 변환기
32: 움직임 벡터 검출기 36: VLC 장치
41: 프레임 메모리 43: 키신호 인코딩 장치

Claims (8)

  1. 화상을 형성하는 임의 형상 오브젝트들의 데이터를 인코딩하는 화상 처리 장치에 있어서, 상기 화상 처리 장치는,
    순방향 예측, 역방향 예측, 양방향 예측, 직접 또는 인트라 코딩 모드 중 하나를 사용하여 각 오브젝트의 데이터를 예측 코딩하여 제 1 인코딩된 신호를 출력하는 예측 코딩 수단과,
    2개 이상의 가변 길이 테이블들을 사용하여 상기 제 1 인코딩된 신호를 가변 길이 코딩하는 가변 길이 코딩 수단을 포함하며,
    상기 가변 길이 코딩 수단은 인코딩되는 오브젝트가 가장 최근에 디코딩된 기준 오브젝트와 동일한 크기인지 여부에 따라 상기 가변 길이 테이블들을 선택하는, 화상 처리 장치.
  2. 화상을 형성하는 임의 형상 오브젝트들의 인코딩된 데이터를 디코딩하는 화상 처리 장치에 있어서, 상기 화상 처리 장치는,
    2개 이상의 가변 길이 테이블들을 사용하여 각 오브젝트의 상기 인코딩된 데이터를 역가변 길이 코딩하는 역 가변 길이 코딩 수단과,
    순방향 예측, 역방향 예측, 양방향 예측, 직접 또는 인트라 코딩 모드 중 하나를 사용하여 예측 인코딩되었던 각 오브젝트의 역 가변 길이 코딩된 데이터를 예측 디코딩하는 예측 디코딩 수단을 포함하며,
    상기 역가변 길이 코딩 수단은 인코딩되는 오브젝트가 가장 최근에 디코딩된 기준 오브젝트와 동일한 크기인지 여부에 따라 상기 가변 길이 테이블들을 변경하는, 화상 처리 장치.
  3. 화상을 형성하는 오브젝트들의 데이터를 인코딩하는 화상 처리 장치에 있어서, 상기 화상 처리 장치는,
    상기 오브젝트들을 하위 계층 및 상위 계층으로 계층화하는 화상 계층 수단과,
    하위 계층 오브젝트의 데이터를 예측 코딩하는 제 1 예측 코딩 수단과,
    상위 계층 오브젝트의 데이터를 예측 코딩하는 제 2 예측 코딩 수단과,
    2개 이상의 가변 길이 테이블들을 사용하여 각 오브젝트의 상기 예측 코딩된 데이터를 가변 길이 코딩하는 가변 길이 코딩 수단을 포함하며,
    상기 가변 길이 코딩 수단은 상기 하위 계층의 오브젝트가 상기 제 2 예측 코딩에서 기준 오브젝트로서 동시에 사용되는지 여부에 따라 상기 가변 길이 테이블을 변경하는, 화상 처리 장치.
  4. 화상을 형성하는 오브젝트들의 인코딩된 데이터를 디코딩하는 화상 처리 장치에 있어서, 상기 화상 처리 장치는,
    2개 이상의 가변 길이 테이블들을 사용하여 복수의 화상들의 상기 인코딩된 데이터를 역가변 길이 코딩하는 역가변 길이 코딩 수단과,
    하위 계층 오브젝트의 역가변 길이 코딩된 데이터를 예측 디코딩하는 제 1 예측 디코딩 수단과,
    상위 계층 오브젝트의 역가변 길이 코딩된 데이터를 예측 디코딩하는 제 2 예측 디코딩 수단을 포함하며,
    상기 역가변 길이 코딩 수단은 상기 하위 계층의 오브젝트가 상기 제 2 예측 코딩에서 기준 오브젝트로서 동시에 사용되는지 여부에 따라 상기 가변 길이 테이블을 변경하는, 화상 처리 장치.
  5. 화상을 형성하는 임의 형상 오브젝트들의 데이터를 인코딩하는 화상 처리 방법에 있어서, 상기 화상 처리 방법은,
    순방향 예측, 역방향 예측, 양방향 예측, 직접 또는 인트라 코딩 모드 중 하나를 사용하여 각 오브젝트의 데이터를 예측 코딩하여 제 1 인코딩된 신호를 출력하는 단계와,
    2개 이상의 가변 길이 테이블들을 사용하여 상기 제 1 인코딩된 신호를 가변 길이 코딩하는 단계를 포함하며,
    상기 가변 길이 테이블들은 인코딩되는 오브젝트가 가장 최근에 디코딩된 기준 오브젝트와 동일한 크기인지 여부에 따라 선택되는, 화상 처리 방법.
  6. 화상을 형성하는 임의 형상 오브젝트들의 인코딩된 데이터를 디코딩하는 화상 처리 방법에 있어서, 상기 화상 처리 방법은,
    2개 이상의 가변 길이 테이블들을 사용하여 각 오브젝트의 상기 인코딩된 데이터를 역가변 길이 코딩하는 단계와,
    순방향 예측, 역방향 예측, 양방향 예측, 직접 또는 인트라 코딩 모드 중 하나를 사용하여 예측 인코딩되었던 각 오브젝트의 상기 역 가변 길이 코딩된 데이터를 예측 디코딩하는 단계를 포함하며,
    상기 가변 길이 테이블들은 인코딩되는 오브젝트가 가장 최근에 디코딩된 기준 오브젝트와 동일한 크기인지 여부에 따라 변경되는, 화상 처리 방법.
  7. 화상을 형성하는 오브젝트들의 데이터를 인코딩하는 화상 처리 방법에 있어서, 상기 화상 처리 방법은,
    상기 오브젝트들을 하위 계층 및 상위 계층으로 계층화하는 단계와,
    제 1 예측 코딩 수단을 사용하여 하위 계층 오브젝트의 데이터를 예측 코딩하는 단계와,
    제 2 예측 코딩 수단을 사용하여 상위 계층 오브젝트의 데이터를 예측 코딩하는 단계와,
    2개 이상의 가변 길이 테이블들을 사용하여 각 오브젝트의 상기 예측 코딩된 데이터들을 가변 길이 코딩하는 단계를 포함하며,
    상기 가변 길이 테이블들은 상기 하위 계층의 오브젝트가 상기 제 2 예측 코딩에서 기준 오브젝트로서 동시에 사용되는지 여부에 따라 변하는, 화상 처리 방법.
  8. 화상을 형성하는 오브젝트들의 인코딩된 데이터를 디코딩하는 화상 처리 방법에 있어서, 상기 화상 처리 방법은,
    2개 이상의 가변 길이 테이블들을 사용하여 복수의 화상들의 상기 인코딩된 데이터를 역가변 길이 코딩하는 단계와,
    제 1 예측 디코딩 수단을 사용하여 하위 계층 오브젝트의 상기 역가변 길이 코딩된 데이터를 예측 디코딩하는 단계와,
    제 2 예측 디코딩 수단을 사용하여 상위 계층 오브젝트의 상기 역가변 길이 코딩된 데이터를 예측 디코딩하는 단계를 포함하며,
    상기 가변 길이 테이블들은 상기 하위 계층의 오브젝트가 상기 제 2 예측 코딩에서 기준 오브젝트로서 동시에 사용되는지 여부에 따라 변하는, 화상 처리 방법.
KR1020057017969A 1996-09-09 1997-09-09 화상 처리 장치 및 화상 처리 방법 KR100606588B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-1996-00260312 1996-09-09
JP26031296 1996-09-09
JPJP-P-1996-00271512 1996-09-20
JP27151296A JP3263807B2 (ja) 1996-09-09 1996-09-20 画像符号化装置および画像符号化方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019980703511A Division KR100572130B1 (ko) 1996-09-09 1997-09-09 데이터 인코딩 장치 및 방법, 화상 디코딩장치 및 방법, 기록매체 및 기록방법

Publications (2)

Publication Number Publication Date
KR20050098979A true KR20050098979A (ko) 2005-10-12
KR100606588B1 KR100606588B1 (ko) 2006-08-01

Family

ID=26544548

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020057017969A KR100606588B1 (ko) 1996-09-09 1997-09-09 화상 처리 장치 및 화상 처리 방법
KR1019980703511A KR100572130B1 (ko) 1996-09-09 1997-09-09 데이터 인코딩 장치 및 방법, 화상 디코딩장치 및 방법, 기록매체 및 기록방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1019980703511A KR100572130B1 (ko) 1996-09-09 1997-09-09 데이터 인코딩 장치 및 방법, 화상 디코딩장치 및 방법, 기록매체 및 기록방법

Country Status (7)

Country Link
US (4) US6097842A (ko)
EP (2) EP0860086A3 (ko)
JP (1) JP3263807B2 (ko)
KR (2) KR100606588B1 (ko)
CN (3) CN1254111C (ko)
RU (1) RU2189120C2 (ko)
WO (1) WO1998010593A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714706B1 (ko) * 2005-09-26 2007-05-04 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
KR101382101B1 (ko) * 2006-08-25 2014-04-07 톰슨 라이센싱 감소된 해상도의 파티셔닝을 위한 방법 및 장치

Families Citing this family (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233356B1 (en) 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
EP0933939A4 (en) * 1997-07-18 1999-12-22 Sony Corp METHOD AND SYSTEM FOR MULTIPLEXING AN IMAGE SIGNAL, METHOD AND SYSTEM FOR DEMULTIPLEXING AN IMAGE SIGNAL, AND TRANSMISSION MEDIUM
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
US7177355B1 (en) * 1997-12-01 2007-02-13 Samsung Electronics Co., Ltd. Method for representing encoding upon coding information
JP3382173B2 (ja) * 1998-03-10 2003-03-04 株式会社ハイニックスセミコンダクター 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置
US7298425B2 (en) * 1998-03-26 2007-11-20 Micron Technology, Inc. Method for assisting video compression in a computer system
JP4366725B2 (ja) 1998-04-01 2009-11-18 ソニー株式会社 画像信号処理装置及び方法並びに画像信号記録装置及び方法
US7630570B1 (en) 1998-05-06 2009-12-08 At&T Intellectual Property Ii, L.P. Method and apparatus to prioritize video information during coding and decoding
JP2000013792A (ja) * 1998-06-24 2000-01-14 Toppan Printing Co Ltd カラー画像情報データ処理装置
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
US6650705B1 (en) * 2000-05-26 2003-11-18 Mitsubishi Electric Research Laboratories Inc. Method for encoding and transcoding multiple video objects with variable temporal resolution
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
JP4681757B2 (ja) * 2001-05-16 2011-05-11 株式会社リコー 画像処理装置及び画像処理方法
FR2824988B1 (fr) * 2001-05-21 2003-08-01 Thomson Licensing Sa Procede et dispositif de codage video utilisant la norme mpeg4
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US6904176B1 (en) * 2001-09-19 2005-06-07 Lightsurf Technologies, Inc. System and method for tiled multiresolution encoding/decoding and communication with lossless selective regions of interest via data reuse
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
JP2005506815A (ja) 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
CN100562112C (zh) * 2001-11-06 2009-11-18 松下电器产业株式会社 运动图像编码方法
EP2302929B1 (en) * 2001-11-27 2015-03-25 Samsung Electronics Co., Ltd. Coding and decoding of a bitstream with a coordinate interpolator
JP2003299103A (ja) 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
KR100944544B1 (ko) * 2001-12-20 2010-03-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 부호화 및 복호화 방법
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US20030151753A1 (en) * 2002-02-08 2003-08-14 Shipeng Li Methods and apparatuses for use in switching between streaming video bitstreams
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP2003224846A (ja) * 2002-01-29 2003-08-08 Matsushita Electric Ind Co Ltd 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
TWI247531B (en) * 2002-03-11 2006-01-11 Winbond Electronics Corp Digital data processing and storage method and device thereof
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
PT3525465T (pt) * 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US20030202590A1 (en) * 2002-04-30 2003-10-30 Qunshan Gu Video encoding using direct mode predicted frames
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
CN1666532A (zh) * 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
CN100367802C (zh) 2002-07-02 2008-02-06 松下电器产业株式会社 运动矢量导出方法和装置
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
DE10230812B4 (de) * 2002-07-08 2004-11-25 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Informationen bei Verwendung eines Verfahrens zur Komprimierung von Daten mittels einer priorisierenden Pixelübertragung
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
PL375706A1 (en) * 2002-10-01 2005-12-12 Thomson Licensing S.A. Implicit weighting of reference pictures in a video decoder
BRPI0307197B1 (pt) 2002-11-25 2018-06-19 Godo Kaisha Ip Bridge 1 Método de compensação de movimento, método de codificação de imagem e método de decodificação de imagem
US7286721B2 (en) * 2003-09-11 2007-10-23 Leadtek Research Inc. Fast edge-oriented image interpolation algorithm
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
JP4409897B2 (ja) * 2003-09-19 2010-02-03 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
FR2860678A1 (fr) * 2003-10-01 2005-04-08 Thomson Licensing Sa Procede de codage differentiel
BR0318528A (pt) * 2003-10-09 2006-09-12 Thomson Licensing processo de derivação de modo direto para encobrimento de erros
US20050111545A1 (en) 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
KR20050078099A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
KR101084462B1 (ko) * 2004-06-02 2011-11-21 파나소닉 주식회사 화상 부호화 장치 및 화상 복호화 장치
WO2006003232A1 (en) * 2004-07-01 2006-01-12 Oy Gamecluster Ltd A method and a device for transferring predictive and non-predictive data frames
US7664176B2 (en) * 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
KR20060043118A (ko) * 2004-10-07 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
WO2006042612A1 (de) * 2004-10-15 2006-04-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen einer codierten videosequenz und zum decodieren einer codierten videosequenz unter verwendung einer zwischen-schicht-restwerte-praediktion
EP1800490A1 (de) * 2004-10-15 2007-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen einer codierten videosequenz unter verwendung einer zwischen-schicht-bewegungsdaten-prädiktion
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR20060059764A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 앞서 변환된 에이취-픽처를 기준픽처로 이용하는 영상신호의 엔코딩 방법 및 장치와 그 영상신호를 디코딩하는 방법및 장치
US20060120454A1 (en) * 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR20060059769A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
WO2006058921A1 (en) * 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
FR2879066B1 (fr) * 2004-12-03 2007-04-06 Thomson Licensing Sa Procede et dispositif de codage hierarchique inter couches
KR20060069227A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
KR101233854B1 (ko) 2005-02-18 2013-02-15 톰슨 라이센싱 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR100728222B1 (ko) * 2005-03-25 2007-06-13 한국전자통신연구원 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치
CN101147399B (zh) * 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
TWI284855B (en) * 2005-04-29 2007-08-01 Sunplus Technology Co Ltd Image processing method and method for detecting difference between different image macro-blocks
KR100878811B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
KR100746006B1 (ko) * 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
WO2007029945A1 (en) * 2005-09-06 2007-03-15 Samsung Electronics Co., Ltd. Method and apparatus for enhancing performance of entropy coding, video coding method and apparatus using the method
CN105049894B (zh) * 2005-12-08 2018-03-16 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
CN101356820B (zh) * 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
TW200806040A (en) 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
US8595281B2 (en) 2006-01-11 2013-11-26 Qualcomm Incorporated Transforms with common factors
US8705630B2 (en) * 2006-02-10 2014-04-22 Nvidia Corporation Adapting one type of encoder to another type of encoder
US7966361B1 (en) 2006-02-10 2011-06-21 Nvidia Corporation Single-cycle modulus operation
KR100846787B1 (ko) * 2006-02-15 2008-07-16 삼성전자주식회사 트랜스포트 스트림을 임포트하는 방법 및 장치
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US8401082B2 (en) 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
US8761263B2 (en) * 2006-03-27 2014-06-24 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
US7778472B2 (en) 2006-03-27 2010-08-17 Qualcomm Incorporated Methods and systems for significance coefficient coding in video compression
AU2012202123B2 (en) * 2006-03-27 2014-01-30 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
US8849884B2 (en) 2006-03-29 2014-09-30 Qualcom Incorporate Transform design with scaled and non-scaled interfaces
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US9319700B2 (en) 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8565314B2 (en) 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US7991236B2 (en) 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
EP2077038B1 (en) * 2006-10-18 2013-01-30 Apple Inc. Scalable video coding with filtering of lower layers
CN101198052B (zh) * 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
SI3758380T1 (sl) * 2007-04-12 2021-04-30 Dolby International AB Apollo Building, 3E Razpostavljanje pri kodiranju in dekodiranju videa
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
JP2009016934A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
EP2048887A1 (en) * 2007-10-12 2009-04-15 Thomson Licensing Encoding method and device for cartoonizing natural video, corresponding video signal comprising cartoonized natural video and decoding method and device therefore
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8934539B2 (en) * 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US8205148B1 (en) 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
JP5181294B2 (ja) * 2008-03-31 2013-04-10 富士フイルム株式会社 撮像システム、撮像方法、およびプログラム
JP5231284B2 (ja) * 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US8948822B2 (en) 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8908763B2 (en) 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8948270B2 (en) 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8964828B2 (en) 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
JP2010187116A (ja) * 2009-02-10 2010-08-26 Toshiba Corp 動画処理装置
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US8718142B2 (en) * 2009-03-04 2014-05-06 Entropic Communications, Inc. System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR20110007838A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 영상 처리 방법 및 장치
JP5369982B2 (ja) * 2009-08-06 2013-12-18 株式会社リコー 画像処理装置および画像処理方法
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
EP2326091B1 (en) * 2009-11-13 2015-08-12 NTT DoCoMo, Inc. Method and apparatus for synchronizing video data
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
EP2536148B1 (en) 2010-02-09 2021-10-27 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
WO2011099468A1 (ja) 2010-02-09 2011-08-18 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
MX337875B (es) * 2010-12-17 2016-03-22 Mitsubishi Electric Corp Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
UA109312C2 (uk) 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
US20120236940A1 (en) * 2011-03-16 2012-09-20 Texas Instruments Incorporated Method for Efficient Parallel Processing for Real-Time Video Coding
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
WO2012140821A1 (ja) 2011-04-12 2012-10-18 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP3614665B1 (en) 2011-05-27 2022-03-23 Sun Patent Trust Apparatus, method and program for decoding moving pictures
TW201304552A (zh) 2011-05-31 2013-01-16 Panasonic Corp 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
CN106851269B (zh) 2011-06-30 2019-11-15 太阳专利托管公司 图像解码方法及装置、图像编码方法及装置、编解码装置
IN2014CN00729A (ko) 2011-08-03 2015-04-03 Panasonic Corp
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
DE102011119177A1 (de) * 2011-11-23 2013-05-23 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Verfahren zum Erstellen eines ersten Parametersatzes
FR2985139B1 (fr) * 2011-12-23 2014-01-03 Thales Sa Procede de compression selective bas debit de flux video et codeur mettant en eouvre le procede
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
ES2850223T3 (es) 2012-04-16 2021-08-26 Samsung Electronics Co Ltd Procedimiento y aparato para determinar un conjunto de imágenes de referencia de una imagen
JP6231560B2 (ja) * 2012-06-19 2017-11-15 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法およびビデオ信号処理装置
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US20150334389A1 (en) * 2012-09-06 2015-11-19 Sony Corporation Image processing device and image processing method
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
RU2533852C2 (ru) * 2012-12-26 2014-11-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе адаптивной компенсации локальных различий яркости при межкадровом предсказании (варианты)
US9380324B2 (en) 2013-01-23 2016-06-28 Steven Schoenwald Video content distribution package
US9767854B2 (en) 2013-01-23 2017-09-19 Steven Schoenwald Video content distribution package
CN103297778B (zh) * 2013-05-27 2017-04-19 华为技术有限公司 一种对图像进行编、解码的方法及设备
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
GB2538196A (en) * 2014-03-04 2016-11-09 Mitsubishi Electric Corp Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and program
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
KR20180053028A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 계층 구조를 구성하는 프레임들에 대한 인코딩을 수행하는 비디오 처리 장치
CN110049339B (zh) * 2018-01-16 2023-02-17 腾讯科技（深圳）有限公司 图像编码中的预测方向选取方法、装置和存储介质
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
US11321904B2 (en) 2019-08-30 2022-05-03 Maxon Computer Gmbh Methods and systems for context passing between nodes in three-dimensional modeling
WO2021061571A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Picture timing and decoding unit information for temporal scalability
US11714928B2 (en) 2020-02-27 2023-08-01 Maxon Computer Gmbh Systems and methods for a self-adjusting node workspace
US11373369B2 (en) 2020-09-02 2022-06-28 Maxon Computer Gmbh Systems and methods for extraction of mesh geometry from straight skeleton for beveled shapes

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9405914D0 (en) * 1994-03-24 1994-05-11 Discovision Ass Video decompression
US4897855A (en) * 1987-12-01 1990-01-30 General Electric Company DPCM system with adaptive quantizer having unchanging bin number ensemble
US4939515A (en) * 1988-09-30 1990-07-03 General Electric Company Digital signal encoding and decoding apparatus
JPH04358486A (ja) * 1991-06-04 1992-12-11 Toshiba Corp 高能率符号化信号処理装置
US5475501A (en) * 1991-09-30 1995-12-12 Sony Corporation Picture encoding and/or decoding method and apparatus
DE4138517A1 (de) * 1991-11-23 1993-05-27 Univ Hannover Einrichtung zur objekt-orientierten codierung von bildsignalen
US5384665A (en) * 1992-02-21 1995-01-24 Mitsubushi Denki Kabushiki Kaisha Data dividing apparatus
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
GB2288520B (en) * 1994-03-24 1998-10-14 Discovision Ass Pipeline
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
US5414780A (en) * 1993-01-27 1995-05-09 Immix Method and apparatus for image data transformation
WO1994022268A1 (en) * 1993-03-25 1994-09-29 Sony Corporation Method for coding or decoding time-varying image, and apparatuses for coding/decoding
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
US5805914A (en) * 1993-06-24 1998-09-08 Discovision Associates Data pipeline system and data encoding method
EP0664650B1 (en) * 1993-07-12 2002-05-15 Sony Corporation Decoding method and apparatus
JP3364281B2 (ja) * 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
US5767986A (en) * 1993-08-30 1998-06-16 Sony Corporation Picture encoding apparatus and method
JPH07226917A (ja) * 1994-02-14 1995-08-22 Toshiba Corp 画像再生方式及び装置
JP3244399B2 (ja) * 1994-03-25 2002-01-07 三洋電機株式会社 圧縮動画像符号信号の情報量変換回路、及び方法
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
JP3013698B2 (ja) * 1994-04-20 2000-02-28 松下電器産業株式会社 ベクトル量子化符号化装置と復号化装置
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
JP3711571B2 (ja) * 1994-09-29 2005-11-02 ソニー株式会社 画像符号化装置及び画像符号化方法
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
US5768438A (en) * 1994-10-19 1998-06-16 Matsushita Electric Industrial Co., Ltd. Image encoding/decoding device
US5751377A (en) * 1994-11-04 1998-05-12 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and decoding apparatus
EP1271957B1 (en) * 1994-12-20 2006-05-24 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus
US5886743A (en) * 1994-12-28 1999-03-23 Hyundai Electronics Industries Co. Ltd. Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3783238B2 (ja) * 1995-07-31 2006-06-07 ソニー株式会社 撮像システム、画像処理装置、符号化装置、符号化方法及びランダムノイズを除去する方法
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
TW303570B (ko) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
TW305043B (ko) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
US5768536A (en) * 1995-10-26 1998-06-16 Advanced Micro Devices, Inc. Generation of a secondary video bitstream from a compressed video bitstream to enhance playback performance
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
KR100714706B1 (ko) * 2005-09-26 2007-05-04 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
KR101382101B1 (ko) * 2006-08-25 2014-04-07 톰슨 라이센싱 감소된 해상도의 파티셔닝을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR100606588B1 (ko) 2006-08-01
CN1254111C (zh) 2006-04-26
EP0860086A2 (en) 1998-08-26
EP0860086A3 (en) 1999-09-22
WO1998010593A3 (en) 1998-06-04
JP3263807B2 (ja) 2002-03-11
US6427027B1 (en) 2002-07-30
CN1476251A (zh) 2004-02-18
KR100572130B1 (ko) 2006-12-13
US6097842A (en) 2000-08-01
RU2189120C2 (ru) 2002-09-10
EP2012546A2 (en) 2009-01-07
CN1482809A (zh) 2004-03-17
JPH10136372A (ja) 1998-05-22
US20020001411A1 (en) 2002-01-03
US6389173B1 (en) 2002-05-14
KR20000064356A (ko) 2000-11-06
WO1998010593A2 (en) 1998-03-12
EP2012546A3 (en) 2009-01-14
CN1133328C (zh) 2003-12-31
CN1298170C (zh) 2007-01-31
CN1207228A (zh) 1999-02-03
US6459812B2 (en) 2002-10-01

Similar Documents

Publication Publication Date Title
KR100572130B1 (ko) 데이터 인코딩 장치 및 방법, 화상 디코딩장치 및 방법, 기록매체 및 기록방법
US6330280B1 (en) Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
KR100417932B1 (ko) 영상 인코더, 영상 부호화 방법, 영상 디코더 및 영상 복호화 방법
US6608935B2 (en) Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
JP3413721B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
US20060133475A1 (en) Video coding
JP3440830B2 (ja) 画像符号化装置及び方法、並びに記録媒体
US6535558B1 (en) Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
JP3371191B2 (ja) 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置
JP3344577B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法
JP3263901B2 (ja) 画像信号符号化方法及び装置、画像信号復号化方法及び装置
JP3344576B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP3301375B2 (ja) 画像信号符号化装置及び方法、画像信号復号装置及び方法
AU731425B2 (en) Picture encoding and decoding
JPH06276481A (ja) 画像信号符号化及び復号化方法、並びに記録媒体
AU759435B2 (en) Picture encoding and decoding
JP3263812B2 (ja) 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
JPH1141558A (ja) 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130712

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140711

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee