KR20060027779A - 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 - Google Patents

영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 Download PDF

Info

Publication number
KR20060027779A
KR20060027779A KR1020040116899A KR20040116899A KR20060027779A KR 20060027779 A KR20060027779 A KR 20060027779A KR 1020040116899 A KR1020040116899 A KR 1020040116899A KR 20040116899 A KR20040116899 A KR 20040116899A KR 20060027779 A KR20060027779 A KR 20060027779A
Authority
KR
South Korea
Prior art keywords
block
pixel
image
frame
image block
Prior art date
Application number
KR1020040116899A
Other languages
English (en)
Inventor
전병문
윤도현
박지호
박승욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US11/231,814 priority Critical patent/US20060062299A1/en
Publication of KR20060027779A publication Critical patent/KR20060027779A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, MCTF (Motion Compensated Temporal Filter) 방식에 의한 스케일러블 압축 시에 임의 시점의 영상프레임 블록을 시간상(temporal) 및 공간상(spatial) 상관관계(correlation)를 이용하여 엔코딩/디코딩하는 방법 및 장치에 관한 것으로서, 본 발명은, 영상신호를 MCTF 방식으로 스케일러블하게 엔코딩할 때, 상기 영상신호를 구성하는 영상 프레임 시퀀스에서 임의의 프레임에 포함되어 있는 영상 블록에 대한 기준(reference) 블록을, 시간상으로 인접된 프레임에서 찾고, 기준블록이 찾아지면 상기 영상블록과 그 기준 블록과의 이미지 차( 각 대응화소의 차값 )를 구하고, 찾아지지 않으면 동일 프레임상에서 상기 영상블록에 인접된 적어도 하나의 화소를 기준으로 하여 상기 영상블록의 각 화소의 차값을 구하며, 기준블록이 찾아지는 경우에는 상기 구해진 각 화소의 차값을 상기 기준 블록에 더하여 출력한다. 이로써, 엔코딩시에 영상블록의 공간상 상관관계가 이용되어 코딩율이 높아진다.
MCTF, 엔코딩, 공간상, 압축, 상관관계, spatial, correlation, intra

Description

영상 블록의 시간상 및 공간상 상관관계를 이용한 영상신호의 엔코딩 및 디코딩 방법과 장치 {Method and apparatus for encoding/decoding video signal using temporal and spatial correlations between macro blocks}
도 1은 본 발명에 따른 영상신호 압축방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,
도 2는 도 1의 MCTF 엔코더내의 영상추정/예측과 갱신동작을 수행하는 필터의 구성을 도시한 것이고,
도 3은 본 발명에 따라, 도 2의 필터에 의해 만들어지는 하나의 매크로 블록에 대한 다양한 모드를 도시한 것이고,
도 4는 매크로 블록 헤더내에 포함되는 블록 모드 필드를 예시한 것이고,
도 5는 본 발명에 따라, 도 2의 필터에 의해 '내부모드'(Intra mode)의 매크로 블록이 만들어지는 과정을 예시적으로 보여주는 것이고,
도 6은 도 1의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이고,
도 7은 도 6의 MCTF 디코더내의 역추정/역예측 그리고 역갱신동작을 수행하는 역필터의 구성을 도시한 것이다.
<도면의 주요부분에 대한 부호의 설명>
100: MCTF 엔코더 101: 분리기
102: 추정/예측기 103: 갱신기
110: 텍스처 엔코더 120: 모션 코딩부
130: 먹서 200: 디먹서
210: 텍스처 디코더 220: 모션 디코딩부
230: MCTF 디코더 231: 역갱신기
232: 역추정기 233: 역예측기
234: 배열기 235: 모션벡터 디코더
본 발명은, 영상신호의 스케일러블(scalable) 엔코딩 및 디코딩에 관한 것으로, 특히, MCTF (Motion Compensated Temporal Filter) 방식에 의한 스케일러블 코딩 시에 임의 시점의 영상프레임 블록을 시간상(temporal) 및 공간상(spatial) 상관관계(correlation)를 이용하여 엔코딩하고 그에 따라 엔코딩된 영상데이터를 디코딩하는 방법 및 장치에 관한 것이다.
영상신호를 디지털화하는 여러가지 표준이 제안되어 있는 데, MPEG 이 그 중 대표적이다. 이 MPEG 표준은 현재 DVD와 같은 기록매체에 영화 컨텐츠 등을 수록하는 표준으로 채택되어 널리 사용되고 있다. 또한, 대표적인 표준으로서 H.264가 있는 데, 이는 앞으로 고품질의 TV 방송신호에 표준으로 사용될 것으로 예상되고 있다.
그런데, TV 방송신호는 광대역을 필요로 하는 데, 현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV 와 핸드 PC 등이 무선으로 송수신하는 영상에 대해서는 TV신호를 위한 대역폭과 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대장치를 위한 영상 압축방식에 사용될 표준은 좀 더 영상신호의 압축 효율이 높아야만 한다.
더욱이, 상기와 같은 이동성 휴대장치는 자신이 처리 또는 표현 (presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.
이러한 이유로, 컨텐츠 제공자는 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 압축 영상을 디코딩한 다음, 요청한 장치의 영상처리 능력(capability)에 맞는 영상 데이터로 다시 엔코딩하는 과정을 수행하여 제공한다. 하지만 이와 같은 방식에는 트랜스코딩(transcoding)(디코딩+엔코딩) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 엔코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.
이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC:Scalable Video Codec)이다. 이 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 제공해도 저화질의 영상 표현이 가능하도록 하는 방식이다.
MCTF (Motion Compensated Temporal Filter)가 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 엔코딩 방식이다. 그런데, 이 MCTF 방식은 앞서 언급한 바와 같이 대역폭이 제한된 이동 통신에 적용될 가능성이 현저히 높으므로 초당 전송되는 비트 수를 낮추기 위해 높은 압축 효율, 즉 높은 코딩 율(coding rate)을 필요로 한다.
본 발명은 상기한 필요성에 의해 창작된 것으로서, 그 목적은 영상을 MCTF방식으로 스케일러블하게 엔코딩함에 있어서 영상 신호의 시간상(temporal) 상관관계(correlation)외에 공간상(spatial) 상관관계를 이용하여 영상 프레임내의 블록을 엔코딩하는 과정을 통해 블록에 대한 엔코딩 데이터 량을 감소시킴으로써 코딩율을 높이는 방법 및 장치를 제공함에 있다.
본 발명은 또한, 시간상 상관관계외에 공간상 상관관계를 이용하여 엔코딩된 데이터 스트림을 디코딩하는 방법 및 장치를 제공함을 목적으로 한다.
상기한 목적을 달성하기 위해 본 발명은, 영상신호를 MCTF 방식으로 스케일러블하게 엔코딩할 때, 상기 영상신호를 구성하는 영상 프레임 시퀀스에서 임의의 프레임에 포함되어 있는 영상 블록에 대한 기준(reference) 블록을, 시간상으로 인접된 전 후 프레임에서 찾고, 기준블록이 찾아지면 상기 영상 블록과 그 기준 블록과의 차이값을 구하고, 또한 그 기준블록에 대해서는 상기 구해진 차이값을 더하며, 찾아지지 않으면 동일 프레임상에서 상기 영상블록에 인접된 적어도 하나의 화소를 기준으로 하여 상기 영상블록의 차이값을 구하는 것을 특징으로 한다.
또한 본 발명은, 상기와 같은 방식으로 엔코딩된 데이터 스트림을 디코딩할 때, 차이값을 갖는 제 1프레임 시퀀스내의 한 프레임에 포함되어 있는 영상 블록이 갖고 있는 차이값이, 상기 제 1프레임 시퀀스와는 다른 제 2프레임 시퀀스내의 프레임에 있는 다른 블록을 기준으로 구해진 것인지 상기 영상 블록에 인접된 적어도 하나의 화소를 기준으로 구해진 것인지를 판단하그, 그 결과에 따라, 상기 다른 블록의 이미지 값에서 상기 영상 블록의 차이값을 차감하고, 차이값이 차감된 다른 블록내의 이미지 값과 상기 영상 블록내의 차이값을 사용하여 상기 영상 블록의 원래의 이미지 값을 복원하거나, 또는 상기 영상 블록에 인접된 적어도 하나의 화소값과 상기 영상 블록내의 차이값을 이용하여 상기 영상 블록의 원래의 이미지 값을 복원하는 것을 특징으로 한다.
본 발명에 따른 일 실시예에서는, 하나의 영상블록에 대하여, 그 기준블록이 시간상으로 인접된 전 후프레임 또는 그 프레임이 분할된 슬라이스에서 찾아지지 않는 '내부모드'(intra mode)의 경우에는, 시간상으로 인접된 프레임( 또는 슬라이스 )에서 기준블록이 찾아지는 '상호간 모드'(inter mode)의 경우와 구분케하는 정보를 상기 영상블록의 헤더 정보에 기록하여 엔코딩 후 전송되도록 하고, 디코딩할 때는, 상기 정보에 근거하여, 차이값을 갖는 상기 영상 블록의 원래의 이미지 값을 복원하기 위해 인접된 전 후 프레임( 또는 슬라이스 )에 있는 다른 블록을 사용할 것인지 아니면 그 영상블록에 인접된 적어도 하나의 화소를 사용할 것인지를 결정한다.
이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 영상신호의 스케일러블 압축방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다.
도 1의 영상신호 엔코딩 장치는, 본 발명이 적용되는, 입력 영상신호를 MCTF 방식에 의해 각 매크로 블록(macro block)단위로 엔코딩하고 적절한 관리정보를 생성하는 MCTF 엔코더(100), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 엔코더(100)에 의해 얻어지는 영상블럭들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(120), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 데이터 스트림으로 출력하는 먹서(130)를 포함하여 구성된다.
상기 MCTF 엔코더(100)는, 임의 영상 프레임의 인접 영상 프레임과의 관계를 추출하기 위해 각 영상 프레임에 대한 모션 추정(motion estimation)과 동일 프레임내에서의 예측(prediction)동작을 수행하며, 또한 인접 프레임과의 영상 에러값( 즉, 차이값 )을 더하는 갱신(update) 동작을 수행하는 데, 도 2는 이를 수행하기 위한 필터의 구성을 도시한 것이다.
도 2의 필터는, 입력 영상 프레임 시퀀스를 전후 프레임, 예를 들어 홀수(odd) 짝수(even) 프레임으로 분리하는 분리기(101), 임의 프레임내의 각 매크로 블록에 대하여, 전과 후로 인접된 프레임에서 기준블록을 찾아서 그 기준블록과의 이미지 차( 각 대응화소의 차값 )와 모션 벡터를 산출하는 모션 추정동작을 수행하거나, 동일 프레임내에서 해당 매크로블록에 인접된 화소(pixel)를 이용하여 이미지 차이값을 구하는 예측 동작(prediction)을 수행하는 추정/예측기(102), 상기 모션 추정에 의해 그 기준 블록이 찾아진 경우의 매크로 블록에 대해서는 상기 산출된 에러량을 정규화(normalize)한 후, 해당 기준 블록에 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다.
상기 갱신기(103)가 수행하는 동작을 'U' 동작(opeation)이라 하며, 이 'U' 동작에 의해 만들어진 프레임을 L프레임이라 한다. 도 2의 필터는 프레임 단위가 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있다. 이하의 실시예에서 사용되는 '프레임'의 용어는 '슬라이스'의 의미를 포함하는 것으로 사용된다.
상기 추정/예측기(102)는 입력되는 영상 프레임들의 각각에 대해서, 기 정해진 크기의 매크로블럭(macro-block)으로 분할하고 각 분할된 매크로 블록의 이미지와 가장 유사한 이미지의 블록을 인접된 전/후 프레임에서 각각 찾는다. 즉 시간상(temporal) 높은 상관관계(correlation)를 갖는 매크로 블록을 찾는다. 가장 유사한 이미지의 블록은 대상 이미지 블록과 이미지 차가 가장 적은 블록이다. 이미지 차의 크기는, 예를 들어 pixel-to-pixel의 차이값 총합 또는 그 평균값 등으로 정해지며 따라서, 그 크기가 소정 문턱값이하가 되는 블록들 중에서 그 크기가 가장 작은 블록이며, 즉 이미지 차가 가장 적은 블록이며, 이 매크로 블록 또는 블록들( 전 후 프레임에서 각각 1블록 )을 기준(reference)블록(들)이라 한다.
상기 추정/예측기(102)는 기준 블록이 찾아진 경우에는 현재 블록의 그 블록으로의 모션 벡터값을 구하고 그 기준블록( 전 또는 후의 한 프레임에만 있는 )의 각 화소값과, 또는 기준블록들( 인접 양 프레임 모두에 있는 )의 각 평균 화소값과 현재 블록내의 각 화소의 에러값, 즉 차이값을 산출하여 출력한다. 만약, 상기의 모션 추정동작에서 현재 매크로 블록과의 이미지 차에 대한 값이 소정 문턱값이하가 되는 블록이 인접 양 프레임에서 찾아지지 않으면 현재 매크로 블록과 인접되어 있는 화소값을 이용하여 현재 블록의 차이값을 구하고 모션 벡터는 구하지 않는다. 이와 같이 기준 블록이 찾아지지 않은 매크로 블록에 대해서는 '내부 모드(Intra mode)'로 지정하여 모션 벡터가 구해진 앞서의 매크로 블록들의 '상호간 모드(Inter mode)'와는 구분케한다. 상기와 같이 추정/예측기(102)에 의해 수행되는 동작을 'P' 동작(opeation)이라 하며, 이 P 동작에 의해 만들어진 이미지 차를 갖는 프레임을 H프레임이라 한다. 이는 이 프레임이 고주파(High-frequency) 성분을 포함하고 있기 때문이다.
상기의 과정에 의해 하나의 매크로 블록에 대해 도 3에 제시된 다양한 상호간 모드와 1개의 내부모드중 하나가 정해지고 선택적으로 구해지는 모션 벡터값은 상기 모션 코딩부(120)에 전송되며, 상기 블록에 대한 모드값은 도 4에 도시한 바와 같이 상기 MCTF 엔코더(100)에 의해 해당 매크로 블록에 대한 헤더영역의 정해진 위치의 필드(MB_type)에 삽입된 다음 상기 텍스처 코딩부(110)로 전송된다.
도 3의 '상호간 모드'에 대해 설명하면, 상기 추정/예측기(102)는, 현재 매 크로 블록의 기준블록에 대한 모션 벡터가 이웃 또는 주변의 매크로 블록의 모션 벡터로부터 유도(derivation)가 가능한 경우, 예를 들어 좌측 매크로 블록의 모션 벡터와 상단 매크로 블록의 모션 벡터의 평균이 현재 매크로 블록의 모션 벡터가 되는 경우 등에는 현재 매크로 블록의 블록모드값을 도 3의 스킵(skip) 모드로서 정하게 된다. 스킵 모드의 경우에는 모션 벡터가 상기 모션 코딩부(120)에 제공되지 않는데, 이는 디코더에서 해당 매크로블록의 모션 벡터를 충분히 유도해내기 때문이다. 그리고, 현재 매크로 블록의 기준블록이 전과 후 프레임에 모두 존재하면 도 3의 양방향(Bid) 모드로 정하며, 만약, 두 모션 벡터가 크기가 동일하고 방향이 반대이면 특히 dirInv 모드로 정한다. 그리고, 현재 매크로 블록의 기준블록이 전 프레임에만 있으면 도 3의 전방(Fwd) 모드로, 후 프레임에만 있으면 후방(Bwd) 모드로 정하게 된다.
그런데, 상기 추정/예측기(102)는 'P' 동작을 수행할 때, 현재 매크로 블록의 기준블록이 시간상으로 이웃한 전 및/또는 후 프레임에 없으면, 즉, 현재 매크로 블록과의 이미지 차에 대한 값이 기 설정된 문턱값이하로 되는 매크로 블록이 전 과 후 프레임에 없으면, 현재 블록의 상단 및/또는 좌측의 화소를 사용하여 현재 블록의 각 화소의 차값을 구한다. 예를 들어 매크로 블록이 16x16이라면 현재 블록의 직상단 16픽셀의 수평라인 또는 바로좌측의 16픽셀의 수직라인을 공통적으로 사용하여 현재 매크로 블록의 각 화소의 차값을 구한다. 픽셀라인을 사용하는 대신, 인접된 좌측상단의 하나의 화소를 사용할 수도 있고 또 몇 개 화소들의 평균값을 사용할 수도 있다. 어떤 화소를 사용하여 현재 블록의 각 화소의 차값을 구할 것인지는 몇가지 정해진 화소의 선택방법 중, 현재 블록의 이미지차에 대한 값을 최소로 만드는 방법이 선택된다. 바람직하게는, 상단과 좌측의 매크로 블록에 있는 화소들을 사용하여 에러값을 구하게 되는 데 그 이유는, 디코더의 입장에서 볼 때, 현재 매크로 블록을 디코딩하는 시점에 상단 및 좌측의 매크로 블록은 이미 디코딩되어 있으므로 디코딩된 각 픽셀값을 이용하여 현재 블록의 각 화소값을 복구하기가 용이하기 때문이다.
이와 같이 동일 프레임에서 인접된 화소군을 사용하여 각 화소의 차값이 구해진 현재 매크로 블록(301)의 모드값은 도 3에 제시된 '상호간 모드'(Skip, DirInv, Bid, Fwd, Bwd)들과는 그 값이 구별되는 '내부) 모드'로 지정된다. 이 모드는 블록간 모션 추정이 수행된 것이 아니므로 모션 벡터값은 구해지지 않는다.
앞서 언급한 바와 같이, 상기 추정/예측기(102)의 'P' 동작에 있어서, 기 지정된 화소의 선택방법 중, 현재 매크로 블록의 이미지 차값을 최소로 만드는 하나의 화소선택 방법이 결정되므로, 내부 모드에 대해서 화소의 선택 경우수에 대응하는 서브 모드(sub-mode)를 매크로 블록의 헤더에 추가로 기록하여 디코더에 선택된 화소군 또는 그 조합을 알릴 수 있다.
상기와 같이 매크로 블록에 대해 내부 모드를 지정함으로써 공간상(spatial) 인접된 화소간의 상관관계(correlation)를 이용하여 해당 매크로 블록의 데이터 값을 감소시켜 이후 텍스처 코딩부(110)에 의한 코딩 데이터 양을 줄일 수 있다.
도 5는 도 2의 필터에 의해 내부모드의 매크로 블록이 만들어지는 과정을 예시적으로 보여준다.
도 5에 예시된 내부모드의 매크로 블록(401)의 각 화소는, 상기 추정/예측기(102)의 'P' 동작에 의해 이미지 차가 만들어지는 대상 H프레임(FH1)내에 있는 인접된 화소군을 기준으로한 차값을 가진다. 이는 상기 매크로 블록(401)이 있는 프레임(FH1)의 전후 인접 프레임(FL1,FL2)에서, 소정 문턱값 이하로 이미지 차에 대한 값을 만드는 매크로 블록이 찾아지지 않았기 때문이다.
상기 대상 프레임(FH1)내에서, 내부모드가 아닌 매크로 블록들은, 물론 다른 모드, 즉 양방향, 전방 및/또는 후방 모드 등의 상호간 모드를 가질 수 있으며, 이러한 블록모드의 매크로 블록들은, 'U' 동작에 의해 만들어지는 L프레임(FL1 및/또는 FL2)내에 기준 블록을 갖는다. 또한, 'P'동작에 의해 구해진 상기 내부 모드의 매크로 블록(401)의 에러값은, 모션 추정되는 기준블록을 갖지 않으므로 갱신 동작에 사용되지 않으나, 내부 모드가 아닌 매크로 블록의 이미지 에러값은 갱신 동작에 사용되어 기준 블록의 이미지 값에 정규화된 후 더해짐으로써 L프레임( 또는 슬라이스 )(FL1 및/또는 FL2)을 만들게 된다.
지금까지 설명한 방법에 의해 엔코딩된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 영상신호를 복원하게 된다.
도 6는 도 1의 장치에 의해 엔코딩된 데이터 스트림을 디코딩하는 장치의 블록도이다. 도 6의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상신호로 역변환하는 MCTF 디코더(230)를 포함하여 구성된다.
상기 MCTF 디코더(230)는, 입력되는 스트림으로부터 원래의 프레임 시퀀스로 복원하기 위해 도 7의 역(inverse) 필터를 내부 구성으로 포함한다.
도 7의 역필터는, 입력되는 매크로 블록 정보 스트림을 H프레임들과 L프레임들로 구분 구성하고, 또한 매크로 블록의 헤더 정보를 해석하는 전단 프로세서(236), 입력되는 H 프레임의 각 화소의 차값을 입력되는 L프레임에서 감하는 역갱신기(231), H프레임의 이미지 차가 감해진 L프레임과 그 H프레임을 사용하여 원래의 이미지를 갖는 프레임을 복원하는 역추정기(232), 입력되는 H 프레임내의 내부모드의 매크로 블록에 대해, 인접의 화소를 이용하여 원래의 이미지를 갖는 블록으로 복원하는 역예측기(233), 상기 역예측기(233)와 역추정기(232)에 의해 완성된 프레임을 상기 역갱신기(231)의 출력 L프레임 사이에 간삽시켜 정상적인 영상 프레임 시퀀스로 만드는 배열기(234), 입력되는 모션 벡터 스트림을 디코딩하여 각 블록의 모션벡터 정보를 상기 역추정기(232)에 제공하는 모션 벡터 디코더(235)를 포함하고 있다.
상기 전단 프로세서(236)는 입력되는 매크로 블록 정보 스트림을 해석하여 L프레임 시퀀스와 H프레임 시퀀스로 구별출력하고 또한 매크로 블록의 헤더정보를 이용하여 H프레임내의 내부모드와 상호간모드의 블록을 상기 역추정기(232)와 역예측기(233)에 알려준다. 이로써, 상기 역추정기(232)는, 하나의 H프레임내에서 상호 간 모드의 매크로 블록을 특정하고 상기 모션벡터 디코더(235)로부터 제공되는 모션 벡터를 이용하여 그 매크로 블록의 L프레임에 있는 기준블록을 파악한 다음 해당 매크로 블록내의 각 화소의 차값에 기준블록의 화소값을 더함으로써 원래 이미지를 복원할 수 있으며, 상기 역예측기(233)는 하나의 H프레임에 대해 내부 모드의 매크로 블록을 특정하여 그 매크로 블록의 원래 이미지를 복원할 수 있다. 상기 역추정기(232)와 역예측기(233)에 의해 원래의 화소값으로 복원된 상호간모드와 내부 모드의 매크로 블록들이 상호 조합됨으로써 하나의 완전한 영상 프레임을 구성하게 된다.
특히, 상기 역예측기(233)는 하나의 매크로 블록의 이미지 차를 원래의 이미지로 복원하기 위해 사용할 인접 화소군을 결정하기 위해 상기 전단 프로세서(236)로부터 내부모드의 서브모드를 통지받는다. 서브모드가 확인되면 상기 역예측기(233)는 그 서브모드가 지정하는 방식에 따라, 화소군과 기준값 설정방법, 예를 들어 화소값 그대로 사용할 것인지 평균값을 사용할 것인지 등을 정한 다음, 그 결정된 기준값을 해당 매크로 블록의 화소값에 더함으로써 매크로블록의 원래 이미지를 복구한다.
한편, 상기 역갱신기(231)가 입력되는 L프레임에서 H프레임의 이미지 차를 감하는 동작을 수행할 때도, 그 H프레임내에서 내부모드로 정의된 매크로 블록의 경우에는 기준블록이 없으므로 그 매크로 블록의 이미지 차를 L프레임에서 감하는 동작을 행하지 않고, 상호간 모드로 지정된 매크로 블록에 대해서만 그 매크로 블록의 이미지 차를 L프레임내에 있는 하나의 기준블록 또는 양 기준블록들( H프레임 전후의 양 L프레임내의 )에서 감하는 동작을 수행한다.
전술한 방법에 따라, MCTF방식으로 엔코딩된 데이터 스트림이 완전한 영상 프레임 시퀀스로 복구된다. 특히, 전술한 MCTF 엔코딩에서의 추정/예측과 갱신동작이 한 GOP에 대해서 N회 이상 수행한 경우, 상기 역추정/역예측 그리고 역갱신 동작을 N회 수행하여 영상프레임 시퀀스를 구하면 원래 영상신호의 화질을 얻을 수 있고, 그 보다 작은 횟수로 수행하면 화질이 다소 저하되지만 비트 레이트는 보다 낮은 영상 프레임 시퀀스를 얻을 수 있다. 따라서, 디코딩 장치는 자신의 성능에 맞는 정도로 상기 역추정/역예측 그리고 역갱신 동작을 수행하도록 설계된다.
전술한 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.
본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
상술한 바와 같이, MCTF 엔코딩에 있어서, 영상신호의 시간상 상관관계외에 공간상 상관관계를 이용하게 되면, 공간상 상관관계를 갖는 영상 프레임내의 매크로 블록에 대해서는 코딩된 데이터 량이 줄어들므로 전체적인 MCTF의 코딩율이 향상하게 된다.

Claims (30)

  1. 프레임 시퀀스로 구성된 영상신호를 엔코딩하는 장치에 있어서,
    상기 시퀀스 중 임의의 프레임 또는 그 프레임이 분할된 슬라이스에 포함되어 있는 영상 블록에 대한 기준 블록을 시간상으로 인접된 프레임 또는 슬라이스에서 찾고, 기준블록이 찾아지면 상기 영상 블록과 그 기준 블록과의 이미지 차를 구하고, 찾아지지 않으면 동일 프레임 또는 슬라이스상에서 상기 영상블록에 인접된 적어도 하나의 화소를 기준으로 하여 상기 영상블록의 각 화소의 차값을 구하는 1수단과,
    상기 1수단에 의해 상기 영상블록의 기준블록이 찾아지면 상기 구해진 이미지 차를 상기 기준 블록에 더하는 2수단을 포함하여 구성되는 장치.
  2. 제 1항에 있어서,
    상기 기준 블록은, 상기 영상 블록과의 이미지 차에 대한 값이 기 지정된 문턱값 이하가 되는 블록중에서 그 값이 최소인 블록인 것을 특징으로 하는 장치.
  3. 제 1항에 있어서,
    상기 1수단은, 상기 영상블록의 각 화소의 차값이 인접된 프레임 또는 슬라이스에 있는 기준블록에 의해 구해진 것인지 상기 영상블록의 인접 화소에 의해 구해진 것인지를 나타내는 블록모드 정보를 상기 영상블록의 헤더 정보에 기록하는 것을 특징으로 하는 장치.
  4. 제 3항에 있어서,
    상기 블록모드 정보는, 상기 영상 블록의 인접 화소가 각 화소의 차값을 구하는 데 사용된 경우, 어떤 화소가 사용되었는 지를 나타내는 서브 정보를 더 포함하는 것을 특징으로 하는 장치.
  5. 제 1항에 있어서,
    상기 1수단은, 상기 영상 블록에 대한 기준 블록이 찾아지면 그 기준블록으로의 모션 벡터를 또한 구하여 출력하는 것을 특징으로 하는 장치.
  6. 제 1항에 있어서,
    상기 적어도 하나의 화소는, 상기 영상 블록의 상단 또는 좌측에 위치하는 화소인 것을 특징으로 하는 장치.
  7. 프레임 시퀀스로 구성된 영상신호를 엔코딩하는 장치에 있어서,
    상기 시퀀스 중 임의의 프레임 또는 그 프레임이 분할된 슬라이스에 포함되어 있는 영상 블록에 대해, 다른 프레임 또는 슬라이스에 있는 다른 블록 또는 상기 영상 블록에 공간적으로 인접되어 있는 적어도 하나의 화소를 기준으로 하여 상기 영상블록의 각 화소의 차값을 구하고, 공간적으로 인접되어 있는 적어도 하나의 화소를 기준으로 상기 차값이 구해진 경우에는 다른 블록이 기준으로 사용된 경우와 구별되게 하는 정보를 상기 영상 블록의 헤더정보에 기록하는 1수단과,
    상기 1수단에 의해 상기 차값이 다른 블록을 기준으로 하여 구해진 경우에는 상기 구해진 각 화소의 차값을 상기 다른 블록에 더하는 2수단을 포함하여 구성되는 장치.
  8. 제 7항에 있어서,
    상기 각 화소의 차값을 구하는 데 사용되는 다른 블록은, 상기 영상 블록과의 이미지 차에 대한 값이 기 지정된 문턱값 이하가 되는 블록중에서 그 값이 최소인 블록인 것을 특징으로 하는 장치.
  9. 제 7항에 있어서,
    상기 각 화소의 차값을 구하는 데 사용되는 적어도 하나의 화소는, 상기 영상 블록의 상단 또는 좌측에 위치하는 화소인 것을 특징으로 하는 장치.
  10. 제 7항에 있어서,
    상기 다른 프레임 또는 슬라이스는, 상기 영상블록이 있는 프레임 또는 슬라이스의 직전 또는 직후 프레임 또는 슬라이스인 것을 특징으로 하는 장치.
  11. 프레임 시퀀스로 구성된 영상신호를 엔코딩하는 방법에 있어서,
    상기 시퀀스 중 임의의 프레임 또는 그 프레임이 분할된 슬라이스에 포함되어 있는 영상 블록에 대한 기준 블록을 시간상으로 인접된 프레임 또는 슬라이스에서 찾고, 기준블록이 찾아지면 상기 영상 블록과 그 기준 블록과의 이미지 차를 구하고, 찾아지지 않으면 동일 프레임 또는 슬라이스상에서 상기 영상블록에 인접된 적어도 하나의 화소를 기준으로 하여 상기 영상블록의 각 화소의 차값을 구하는 1단계와,
    상기 기준블록을 사용하여 구해진 상기 영상블록의 이미지 차가 구해지면 그 이미지 차를 상기 기준 블록에 더하는 2단계를 포함하여 이루어지는 방법.
  12. 제 11항에 있어서,
    상기 기준 블록은, 상기 영상 블록과의 이미지 차에 대한 값이 기 지정된 문턱값 이하가 되는 블록중에서 그 값이 최소인 블록인 것을 특징으로 하는 방법.
  13. 제 11항에 있어서,
    상기 1단계는, 상기 영상블록의 각 화소의 차값이 인접된 프레임 또는 슬라이스에 있는 기준블록에 의해 구해진 것인지 상기 영상블록의 인접 화소에 의해 구해진 것인지를 나타내는 블록모드 정보를 상기 영상블록의 헤더 정보에 기록하는 것을 특징으로 하는 방법.
  14. 프레임 시퀀스로 구성된 영상신호를 엔코딩하는 방법에 있어서,
    상기 시퀀스 중 임의의 프레임 또는 그 프레임이 분할된 슬라이스에 포함되어 있는 영상 블록에 대해, 다른 프레임 또는 슬라이스에 있는 다른 블록 또는 그 블록에 공간적으로 인접되어 있는 적어도 하나의 화소를 기준으로 하여 상기 영상블록의 각 화소의 차값을 구하고, 공간적으로 인접되어 있는 적어도 하나의 화소를 기준으로 각 화소의 차값이 구해진 경우에는 다른 블록이 기준으로 사용된 경우와 구별되게 하는 정보를 상기 영상 블록의 헤더정보에 기록하는 1단계와,
    상기 각 화소의 차값이 다른 블록을 기준으로 하여 구해진 경우에는 상기 구해진 각 화소의 차값을 상기 다른 블록에 더하는 2단계를 포함하여 이루어지는 방법.
  15. 제 14항에 있어서,
    상기 각 화소의 차값을 구하는 데 사용되는 적어도 하나의 화소는, 상기 영상 블록의 상단 또는 좌측에 위치하는 화소인 것을 특징으로 하는 방법.
  16. 차값의 화소를 가진 제 1프레임 시퀀스와 제 2프레임 시퀀스를 수신하여 영상신호로 디코딩하는 장치에 있어서,
    상기 제 1프레임 시퀀스내의 한 프레임 또는 그 프레임이 분할된 슬라이스에 포함되어 있는 영상 블록이 갖고 있는 각 화소의 차값이, 상기 제 2프레임 시퀀스내의 프레임에 있는 다른 블록을 기준으로 구해진 것인지 상기 영상 블록에 인접된 적어도 하나의 화소를 기준으로 구해진 것인지를 판단하는 1수단과,
    상기 1수단의 판별결과에 따라, 상기 다른 블록에서 상기 영상 블록의 각 화소의 차값을 차감하고, 차값이 차감된 다른 블록내의 각 화소 값과 상기 영상 블록내의 각 화소의 차값을 사용하여 상기 영상 블록의 원래의 이미지를 복원하는 2수단과,
    상기 1수단의 판별결과에 따라, 상기 영상 블록에 인접된 적어도 하나의 화소값과 상기 영상 블록내의 각 화소의 차값을 이용하여 상기 영상 블록의 원래의 이미지를 복원하는 3수단을 포함하여 구성되는 장치.
  17. 제 16항에 있어서,
    상기 1수단은 상기 영상 블록의 헤더정보에 포함되어 있는 블록모드 정보에 근거하여, 상기 영상블록이 갖고 있는 각 화소의 차값이 다른 블록을 기준으로 구해진 것인지 인접 화소를 기준으로 구해진 것인지를 판별하는 것을 특징으로 하는 장치.
  18. 제 17항에 있어서,
    상기 3수단은, 상기 적어도 하나의 화소를 상기 블록 모드정보에 근거하여 특정하는 것을 특징으로 하는 장치.
  19. 제 16항에 있어서,
    상기 2수단은 자신에 의해 복원되는 영상블록과 상기 3수단에 의해 복원되는 영상블록을 조합하여 하나의 완전한 영상 프레임으로 구성하는 것을 특징으로 하는 장치.
  20. 제 16항에 있어서,
    상기 2수단은, 입력되는 모션 벡터 정보에 근거하여 상기 제 2프레임 시퀀스내에서 상기 다른 블록을 특정하는 것을 특징으로 하는 장치.
  21. 차값의 화소를 가진 제 1프레임 시퀀스와 제 2프레임 시퀀스를 수신하여 영상신호로 디코딩하는 장치에 있어서,
    상기 제 1프레임 시퀀스내의 한 프레임내의 영상 블록의 헤더 정보에 포함되어 있는 블록모드 정보에 근거하여, 상기 제 2프레임 시퀀스내의 프레임에 있는 다른 블록에서 상기 영상 블록의 각 화소의 차값을 차감하고, 차값이 차감된 상기 다른 블록내의 각 화소 값과 상기 영상 블록내의 각 화소의 차값을 사용하여 상기 영상 블록의 원래의 이미지를 복원하는 1수단과,
    상기 블록모드 정보에 근거하여, 상기 영상 블록에 인접된 적어도 하나의 화소값과 상기 영상 블록내의 각 화소의 차값을 이용하여 상기 영상 블록의 원래의 이미지를 복원하는 2수단을 포함하여 구성되는 장치.
  22. 제 21항에 있어서,
    상기 블록 모드정보는, 상기 영상 블록이 갖고 있는 각 화소의 차값이, 상기 제 2프레임 시퀀스내의 프레임에 있는 다른 블록을 기준으로 구해진 것인지 상기 영상 블록에 인접된 적어도 하나의 화소를 기준으로 구해진 것인지를 나타내는 정보인 것을 특징으로 하는 장치.
  23. 제 22항에 있어서,
    상기 블록 모드정보는, 상기 영상블록이 갖고 있는 각 화소의 차값이 상기 적어도 하나의 화소를 기준으로 구해진 것인지를 표시하는 경우에, 그 적어도 하나의 화소를 특정하는 정보를 더 포함하고 있는 것을 특징으로 하는 장치.
  24. 제 21항에 있어서,
    상기 1수단은 자신에 의해 복원되는 영상블록과 상기 2수단에 의해 복원되는 영상블록을 조합하여 하나의 완전한 영상 프레임으로 구성하는 것을 특징으로 하는 장치.
  25. 차값의 화소를 가진 제 1프레임 시퀀스와 제 2프레임 시퀀스를 수신하여 영상신호로 디코딩하는 방법에 있어서,
    상기 제 1프레임 시퀀스내의 한 프레임 또는 그 프레임이 분할된 슬라이스에 포함되어 있는 영상 블록이 갖고 있는 각 화소의 차값이, 상기 제 2프레임 시퀀스내의 프레임에 있는 다른 블록을 기준으로 구해진 것인지 상기 영상 블록에 인접된 적어도 하나의 화소를 기준으로 구해진 것인지를 판단하는 1단계와,
    상기 판별결과에 따라, 상기 다른 블록에서 상기 영상 블록의 각 화소의 차값을 차감하고, 차값이 차감된 다른 블록내의 각 화소 값과 상기 영상 블록내의 각 화소의 차값을 사용하여 상기 영상 블록의 원래의 이미지를 복원하거나, 또는 상기 영상 블록에 인접된 적어도 하나의 화소값과 상기 영상 블록내의 각 화소의 차값을 이용하여 상기 영상 블록의 원래의 이미지를 복원하는 2단계를 포함하여 이루어지는 방법.
  26. 제 25항에 있어서,
    상기 1단계는, 상기 영상 블록의 헤더정보에 포함되어 있는 블록모드 정보에 근거하여, 상기 영상블록이 갖고 있는 각 화소의 차값이 다른 블록을 기준으로 구해진 것인지 인접 화소를 기준으로 구해진 것인지를 판별하는 것을 특징으로 하는 방법.
  27. 제 25항에 있어서,
    상기 1단계는, 상기 영상블록이 갖고 있는 각 화소의 차값이 인접 화소를 기준으로 구해진 것으로 판별되는 경우, 상기 영상블록의 헤더에 포함되어 있는 정보에 근거하여 상기 적어도 하나의 화소를 특정하여 사용하는 것을 특징으로 하는 방법.
  28. 제 25항에 있어서,
    상기 2단계는, 입력되는 모션 벡터 정보에 근거하여 상기 제 2프레임 시퀀스내에서 상기 다른 블록을 특정하여 사용하는 것을 특징으로 하는 방법.
  29. 제 25항에 있어서,
    상기 1단계에서 복원되는 영상블록과 상기 2단계에서 복원되는 영상블록을 조합하여 하나의 완전한 영상 프레임으로 구성하는 3단계를 더 포함하는 것을 특징으로 하는 방법.
  30. 제 29항에 있어서,
    상기 영상 프레임을, 상기 차값이 차감된 상기 다른 블록을 포함하는 상기 제 2프레임 시퀀스내의 프레임의 전 또는 후에 삽입하는 4단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020040116899A 2004-09-23 2004-12-30 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 KR20060027779A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/231,814 US20060062299A1 (en) 2004-09-23 2005-09-22 Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61218204P 2004-09-23 2004-09-23
US60/612,182 2004-09-23

Publications (1)

Publication Number Publication Date
KR20060027779A true KR20060027779A (ko) 2006-03-28

Family

ID=37138732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040116899A KR20060027779A (ko) 2004-09-23 2004-12-30 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치

Country Status (2)

Country Link
US (1) US20060062299A1 (ko)
KR (1) KR20060027779A (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060043118A (ko) * 2004-10-07 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
WO2007008286A1 (en) * 2005-07-11 2007-01-18 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
AU2006303886B2 (en) * 2005-10-12 2011-11-17 Interdigital Vc Holdings, Inc. Region of interest H .264 scalable video coding
US7885469B2 (en) * 2006-05-22 2011-02-08 Microsoft Corporation Encoded high dynamic range textures
WO2008004816A1 (en) * 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Scalable video encoding/decoding method and apparatus thereof
KR101352979B1 (ko) 2006-07-04 2014-01-23 경희대학교 산학협력단 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치
KR20080004340A (ko) * 2006-07-04 2008-01-09 한국전자통신연구원 영상 데이터의 스케일러블 코딩 방법 및 그 장치
US8358693B2 (en) * 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
US7636098B2 (en) * 2006-09-28 2009-12-22 Microsoft Corporation Salience preserving image fusion
US7388521B2 (en) * 2006-10-02 2008-06-17 Microsoft Corporation Request bits estimation for a Wyner-Ziv codec
US8416851B2 (en) * 2006-12-20 2013-04-09 Intel Corporation Motion detection for video processing
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
US20100104022A1 (en) * 2008-10-24 2010-04-29 Chanchal Chatterjee Method and apparatus for video processing using macroblock mode refinement
WO2010048544A1 (en) * 2008-10-24 2010-04-29 Transvideo, Inc. Method and apparatus for video processing using macroblock mode refinement
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
SI3595303T1 (sl) 2010-11-25 2022-01-31 Lg Electronics Inc. Postopek za dekodiranje informacije o sliki, naprava za dekodiranje, postopek za kodiranje informacije o sliki, naprava za kodiranje in pomnilniški medij
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100679011B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100878809B1 (ko) * 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
US20090080519A1 (en) * 2004-10-18 2009-03-26 Electronics And Telecommunications Research Institute Method for encoding/decoding video sequence based on mctf using adaptively-adjusted gop structure
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US7929606B2 (en) * 2005-01-21 2011-04-19 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal using block prediction information
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising

Also Published As

Publication number Publication date
US20060062299A1 (en) 2006-03-23

Similar Documents

Publication Publication Date Title
US7379501B2 (en) Differential coding of interpolation filters
US9338453B2 (en) Method and device for encoding/decoding video signals using base layer
JP5118127B2 (ja) 適応符号器支援フレーム・レート・アップコンバージョン
KR20060027779A (ko) 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
KR101055738B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
US8433184B2 (en) Method for decoding image block
US20140269919A1 (en) Systems and Methods for Guided Conversion of Video from a First to a Second Compression Format
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20060043115A (ko) 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR20060043051A (ko) 영상 신호의 인코딩 및 디코딩 방법
US7822123B2 (en) Efficient repeat padding for hybrid video sequence with arbitrary video resolution
KR20060043118A (ko) 영상 신호의 인코딩 및 디코딩 방법
CN117560505A (zh) 一种双向帧间预测方法及装置
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR20060059774A (ko) 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR101102393B1 (ko) 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
KR20060043120A (ko) 영상 신호의 인코딩 및 디코딩 방법
JP4909592B2 (ja) 動画像再生方法及び装置並びにプログラム
US20060133499A1 (en) Method and apparatus for encoding video signal using previous picture already converted into H picture as reference picture of current picture and method and apparatus for decoding such encoded video signal
US20060072675A1 (en) Method for encoding and decoding video signals
Bhattacharyya et al. A novel frame skipping method in transcoder, with motion information, buffer fullness and scene change consideration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application