KR100694137B1 - 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 - Google Patents

동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR100694137B1
KR100694137B1 KR1020050061780A KR20050061780A KR100694137B1 KR 100694137 B1 KR100694137 B1 KR 100694137B1 KR 1020050061780 A KR1020050061780 A KR 1020050061780A KR 20050061780 A KR20050061780 A KR 20050061780A KR 100694137 B1 KR100694137 B1 KR 100694137B1
Authority
KR
South Korea
Prior art keywords
image
error image
error
generated
decoding
Prior art date
Application number
KR1020050061780A
Other languages
English (en)
Other versions
KR20070006446A (ko
Inventor
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050061780A priority Critical patent/KR100694137B1/ko
Priority to US11/371,105 priority patent/US7961788B2/en
Publication of KR20070006446A publication Critical patent/KR20070006446A/ko
Application granted granted Critical
Publication of KR100694137B1 publication Critical patent/KR100694137B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 부호화 및 복호화에서의 압축 효율을 향상시키기 위한 방법에 관한 것으로서, 본 발명에 따른 부호화 방법은 현재 영상(n번째 프레임)에 대해 이전 영상(n-1번째 프레임)을 참조하여 움직임 예측 및 보상을 수행함으로써 1차 에러 영상을 생성하고, 생성된 현재 영상의 1차 에러 영상에 대해, 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상을 생성하고, 생성된 2차 에러 영상을 복호화부로 전송하도록 함으로써, 종래의 인터 부호화 과정 후에 남아 있는 프레임 간의 리던던시를 제거하여, 압축 효율 및 전송율을 개선하는 효과가 있다.

Description

동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록 매체{Apparatus for encoding or decoding motion image, method therefor, and recording medium storing a program to implement thereof}
도 1은 일반적인 동영상 부호기를 도시하는 도면이다.
도 2는 도 1의 동영상 부호기에 대응하는 동영상 복호기의 블록도이다.
도 3은 종래의 부호화 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 부호화 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 동영상 부호화 장치를 도시하는 블록도이다.
도 6은 도 5에 도시된 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 부호화 장치를 도시하는 도면이다..
도 8은 본 발명의 일 실시예에 따른 복호화 장치를 도시하는 도면이다.
도 9는 도 8에 도시된 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 도면이다.
본 발명은 동영상 부호화 및 복호화에 관한 것으로, 구체적으로는 영상 압축율을 향상시키기 위한 개선된 인터 부호화 방식이 채용된 동영상 부호화 및 복호화 방법 및 그 장치에 관한 것이다.
디지털 TV와 DVD-비디오가 등장함에 따라서 방송 서비스 및 홈 엔터테인먼트(home entertainment) 서비스가 크게 변화하였다. 이러한 방송 서비스 및 홈 엔터테인먼트 서비스에서 제공되는 여러 가지 응용 서비스는 비디오 압축 기술의 표준화에 의해 가능하게 되었다. 이러한, 비디오 압축 기술에 관한 표준들에는 MPEG 2, MPEG 4, H.264, VC 1 등이 있다. 하지만, 보다 고품질(high-quality) 및 저속 비트율(low-bitrate)의 비디오 서비스를 제공하기 위해서는, 기존의 압축 효율을 향상시킨 개선된 동영상 압축 기법이 필요하게 되었다.
아래 도시된 도 1 내지 도 3은 종래의 동영상 압축 및 복호화 방법을 설명하기 위한 도면이다.
도 1은 일반적인 동영상 부호기를 도시하는 도면이다.
먼저, DCT(Discrete Cosine Transform) 변환부(110)는 공간적 상관성을 제거하기 위해 8 ×8 화소 블록 단위로 입력되는 영상 데이터에 대해 DCT 연산을 수행하고, 양자화부(Quantization: Q)(120)는 변환부(110)에서 얻어진 DCT 계수에 대해 양자화를 수행하여, 몇 개의 대표 값으로 표현함으로써, 고효율 손실 압축을 수행한다.
역양자화부(Inverse Quantization: IQ)(130)는 양자화부(120)에서 양자화된 영상 데이터를 역양자화한다. 역변환부(140)는 역양자화부(130)에서 역양자화된 영상 데이터에 대해 IDCT(Inverse Discrete Cosine Transform), 즉 역변환을 수행한다. 프레임 메모리부(150)는 IDCT부(140)에서 역변환된 영상 데이터를 프레임 단위로 저장한다.
움직임 추정 및 보상부(Motion Estimation and Compensation: ME/MC)(160)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(150)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 블록정합오차(block matching error)에 해당하는 SAD(sum of absolute difference)를 추정한다.
가변 길이 부호화부(variable length coding: VLC)(170)는 DCT 및 양자화 처리된 데이터에서 통계적 중복성을 제거한다.
이러한, 동영상 부호화기는 미국특허공보 제6,480,539호에도 또한 개시되어 있다.
도 2는 도 1의 동영상 부호기에 대응하는 동영상 복호기의 블록도이다.
동영상 복호화기의 동영상 부호화기에서 인코딩된 비트스트림을 수신하여, 제1 가변 길이 복호화부(210)에서 가변 길이 복호화하고, 제1 역양자화부(220) 및 제1 역변환부(230)에서 역양자화 및 역변환을 수행한 후, 움직임 보상부(240)에서의 움직임 보상 또는 인트라 예측부(도시되지 않음)에서의 인트라 예측이 수행된 기준 픽처 정보를 이용하여 디코딩을 수행한다.
기존의 동영상 압축 기법들, 예를 들어 MPEG 2, H.264, VC1 등 널리 알려진 모든 코덱들이 모두 블록 단위 MC-DCT 방법에 기반한다. 예를 들어, GOP(group of picture)의 맨 처음 나오는 I-프레임에 대해서는 모든 매크로블록들이 인트라 모드를 가짐으로써 인트라 코딩이 수행된다. 이 후에 나오는 P-프레임들의 경우, 매크로블록 단위로 인트라 또는 인터 모드를 가질 수 있으며, 인트라의 경우, I 프레임의 인트라 MB과 동일한 방식으로 부호화된다. 반면, 인터 모드의 경우, 인접한 I 프레임 또는 P 프레임에 대해 움직임 추정 및 보상을 통해 움직임 벡터와 차분 정보만을 부호화하여 전송한다.
도 3은 부호화되는 동영상이 IPPP 구조의 GOP 구조인 경우 부호화 방법을 설명하기 위한 도면이다.
첫번째 I 프레임(프레임 1)에 대해서는 인트라 부호화가 수행된다. 뒤따르는 P 프레임 (프레임 2)에 대해서는 앞선 부호화 및 복호화가 수행된 I 프레임(프레임 1)을 참조하여 인터 부호화가 수행된다. P 프레임의 경우, 매크로블록 단위로 적응적으로 인터/인트라 모드가 존재하지만, 대부분의 P-프레임에 대해서는 인터 부호화가 수행된다. 뒤따르는 P 프레임 (프레임 3)에 대해서는 부호화 및 복호화가 수행된 P 프레임 (프레임 2)을 참조하여 인터 부호화가 수행된다. 또한, 뒤따르는 P 프레임 (프레임 4)에 대해서는 앞선 부호화 및 복호화가 수행된 P 프레임 (프레임 3)을 참조하여 인터 부호화가 수행된다.
도 3에 따른 동영상 부호화시 사용되는 인트라 부호화를 위한 인트라 예측의 경우, VC1의 AC 예측이나 H.264의 인트라 예측 등 다양한 예측 기반 압축 기법이 적용되고 있으나, 여전히 인트라 압축 효율의 향상이 필요한 상황이다. 또한, 인터 부호화를 위한 인터 예측의 경우도 H.264에서처럼 다중 참조 움직임 보상 (multiple reference motion compensation) 방법을 사용하지만 인터 압축 효율을 보다 개선할 필요성이 제기되어 왔다.
본 발명이 이루고자 하는 기술적 과제는, 이러한 문제점을 해소하기 위해, 움직임 예측 및 보상을 통해 얻어진 에러 영상들 간에 움직임 추정 및 보상을 수행하여 동영상 부호화 및 복호화 효율을 향상시키기 위한 동영상 부호화 및 복호화 방법을 제공하는데 있다.
상기의 과제를 이루기 위하여, 본원 발명에 따른 동영상 부호화 방법은 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 1차 에러 영상을 생성하는 단계와, 상기 생성된 현재 영상의 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상을 생성하는 단계를 포함하며, 상기 이전 영상의 에러 영상은 상기 이전 영상의 부호호시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상이다.
상기 과제를 이루기 위해서는, 상기 1차 에러 영상을 생성하는 단계는 상기 생성된 1차 에러 영상에 대해 제1 부호화를 수행하는 단계와, 상기 부호화된 1차 에러 영상에 대해 상기 제1 부호화에 대응하는 제1 복호화를 수행하는 단계를 더 포함하며, 상기 2차 에러 영상을 생성하는 단계는 상기 제1 복호화가 수행된 상기 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하는 움직임 예측 및 보상을 수행하여 2차 에러 영상을 생성하는 단계를 더 포함하는 것이 바람직하다.
상기 과제를 이루기 위해서는, 상기 생성된 2차 에러 영상, 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터, 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터에 대해 엔트로피 부호화를 수행하는 단계를 더 포함하는 것이 바람직하다.
상기 과제를 이루기 위해서는, 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상, 또는 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상에 대해 선택적으로 엔트로피 부호화를 수행하는 단계를 더 포함하는 것이 바람직하다.
상기 과제를 이루기 위해서는, 상기 선택적인 엔트로피 부호화는 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상의 데이터량 및 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상의 데이터량에 기초하여 수행되는 것이 바람직하다.
상기 과제를 이루기 위하여, 본 발명에 따른 영상 부호화 장치는 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 1차 에러 영상을 생성하는 1차 에러 영상 생성부와, 상기 생성된 현재 영상의 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상을 생성하는 2차 에러 영상 생성부를 포함하며, 상기 이전 영상의 에러 영상은 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상이다.
상기 과제를 이루기 위하여, 본 발명에 따른 영상 복호화 방법은 엔트로피 복호화된 현재 영상의 2차 에러 영상에 움직임 예측 및 보상된 이전 영상의 에러 영상을 가산하여, 현재 영상의 1차 에러 영상을 복원하는 단계와, 상기 복원된 현재 영상의 1차 에러 영상에 움직임 예측 및 보상된 이전 영상을 가산하여 복원된 현재 영상을 생성하는 단계를 포함하며, 상기 1차 에러 영상은 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이며, 상기 2차 에러 영상은 상기 생성된 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이다.
상기 과제를 이루기 위해서는, 상기 현재 영상의 1차 에러 영상을 생성하는 단계는, 상기 이전 영상의 1차 에러 영상을 엔트로피 복호화하는 단계와, 상기 엔트로피 복호화된 이전 영상의 1차 에러 영상에 대해 제1 복호화를 수행하는 단계와, 상기 제1 복호화가 수행된 이전 영상의 1차 에러 영상을 저장하는 단계와, 상기 엔트로피 복호화된 2차 에러 영상에 대해 제2 복호화를 수행하는 단계와, 상기 제2 복호화가 수행된 2차 에러 영상에, 상기 제1 복호화후 저장된 이전 영상의 에러 영상에 대해 움직임 예측 및 보상을 수행한 후, 가산하는 단계를 더 포함하는 것이 바람직하다.
상기의 과제를 이루기 위하여, 본원 발명에 따른 영상 복호화 장치는 엔트로피 복호화된 현재 영상의 2차 에러 영상에 움직임 예측 및 보상된 이전 영상의 에러 영상을 가산하여, 현재 영상의 1차 에러 영상을 복원하는 1차 에러 영상 복원부와, 상기 복원된 현재 영상의 1차 에러 영상에 움직임 예측 및 보상된 이전 영상을 가산하여 복원된 현재 영상을 생성하는 영상 복원부를 포함하며, 상기 1차 에러 영상은 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이며, 상기 2차 에러 영상은 상기 생성된 1차 에러 영상에 대해, 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이다.
상기 과제는 또한 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 1차 에러 영상을 생성하는 단계와, 상기 생성된 현재 영상의 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상을 생성하는 단계를 포함하며, 상기 이전 영상의 에러 영상은 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상인, 동영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
상기 과제는 또한, 엔트로피 복호화된 현재 영상의 2차 에러 영상에 움직임 예측 및 보상된 이전 영상의 에러 영상을 가산하여, 현재 영상의 1차 에러 영상을 복원하는 단계와, 상기 복원된 현재 영상의 1차 에러 영상에 움직임 예측 및 보상된 이전 영상을 가산하여 복원된 현재 영상을 생성하는 단계를 포함하며, 상기 1차 에러 영상은 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이며, 상기 2차 에러 영상은 상기 생성된 1차 에러 영상에 대해, 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상인 동영상 복호화 방 법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
상기 과제를 이루기 위해서는, 상기 부분 영상은 상기 영상의 블록의 경계에 해당하는 영상인 것이 바람직하다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 4는 본 발명에 따른 부호화 방법을 설명하기 위한 도면이다.
아래에서는, 설명의 용이성을 위해 도 4에 도시된 IPPP의 GOP 구조를 참조한다.
첫번째 I 프레임(프레임 1)에 대해서는 종래의 인트라 부호화가 수행된다. 뒤따르는 P 프레임 (프레임 2)에 대해서는 부호화 및 복호화가 수행된 I 프레임(프레임 1)을 참조하여 종래의 인터 부호화를 수행하여 인터 프레임 2을 얻는다.
그 다음, P 프레임 (프레임 3)에 대해서는 본 발명에 따른 부호화 방법이 적용된다. 우선, P 프레임 (프레임 3)에 대해 앞선 부호화 및 복호화가 수행된 P 프레임 (프레임 2)을 참조하여 인터 부호화를 수행하여 인터 프레임 3을 얻는다.
이후, 얻어진 인터 프레임 3에 대해, 앞선 P 프레임 (프레임 2)에 대해 인터 부호화를 수행하여 얻어진 인터 프레임 2를 참조하여 움직임 추정 및 보상을 수행하여 인터-인터 프레임 3을 얻는다. 즉, 인터 프레임 3의 각 매크로블록은 인터 프레임 2를 참조로 하여 한번 더 MC-DCT를 수행하는 것이다.
이와 같이, 프레임 3에 대해, 매크로 블록 단위로 2차에 걸쳐 MC-DCT를 수행 하고, 최종적으로 얻어진 인터-인터 프레임 3을 매크로블록 단위로 부호화하여 전송한다. 이때, 전송되는 최소한의 데이터는 최종적으로 얻어진 인터-인터 프레임 3의 에러 데이터와 인터 프레임 3을 얻을때의 움직임 벡터와 인터-인터 프레임 3을 얻을 때의 움직임 벡터이다.
한편, 경우에 따라서는, 최종적인 인터-인터 프레임 3은 두 개의 움직임 벡터가 필요하기 때문에, 인터 프레임 3을 부호화하여 전송할 때 보다 전송되는 정보량이 더 많을 수가 있다. 따라서, 부호화부에서 전송되는 정보량을 비교하고, 비교 결과에 따라 인터-인터 프레임 3에 대한 데이터 또는 인터 프레임 3에 대한 데이터 중 하나를 선택적으로 전송하고, 전송되는 데이터의 종류를 나타내는 모드 정보를 전송하도록 할 수 있다. 이러한 모드 정보는 매크로블록 단위로 생성 및 전송될 수 있다. 또한, 선택적으로 이러한 모드 정보는 다른 소정의 블록 크기 단위로 생성 및 전송될 수 있다.
선택적으로, 이 모드 정보는 비트 스트림에 추가되어 복호화부로 전송된다.
동일한 방식이 후속하는 P 프레임들 (프레임 4 및 5)에도 적용될 수 있다.
도 5는 본 발명에 따른 동영상 부호기를 도시하는 블록도이다.
본 발명에 따른 동영상 부호기는 감산부(510), 제1 부호화부(520), 제1 복호화부(530), 제1 가산부(512), 제1 프레임 메모리부(540), 제1 움직임 추정/보상부(542), 제2 프레임 메모리부(550), 제2 움직임 추정/보상부(552), 제2 부호화부(560), 제2 복호화부(570), 제2 가산부(514), 및 가변장 부호화부(580)를 포함한다. 제1 부호화부(520)는 제1 변환부(522) 및 제1 양자화부(524)를 포함하며, 제1 복호화부는 제1 역양자화부(532) 및 제1 역변환부(534)를 포함한다. 또한, 제2 부호화부(560)는 제2 변환부(562) 및 제2 양자화부(564)를 포함하며, 제2 복호화부(570)는 제2 역양자화부(572) 및 제2 역변환부(574)를 포함한다.
도 5의 감산부(510), 제1 변환부(520), 제2 변환부(522), 제1 역양자화부(530), 제1 역변환부(532), 제1 가산부(512), 제1 프레임 메모리부(540), 제1 움직임 추정/보상부(542)는 도 1에 도시된 종래의 동영상 부호화 장치의 대응 기능부와 동일한 기능을 수행하므로 상세한 설명은 생략한다. 예를 들어, 제1 변환부(520), 제2 변환부(522), 제1 역양자화부(530), 제1 역변환부(532) 등은 소정의 코덱, 예를 들어 MPEG 2, H.264, VC1, MPEG 4 등과 같은 코덱의 부호화기의 기능부들을 사용할 수 있다.
이하에서는, 입력 영상이 도 4에 도시된 IPPP 구조의 GOP 구조, 즉, 입력 영상이 I1, P2, P3, P4 ,P5인 경우를 예를 들어 설명한다.
I1 프레임의 경우, 종래의 인트라 부호화부(도시되지 않음)에 의해 인트라 부호화가 수행된 후, 차분 영상을 구하고, 제1 변환부(520) 및 제1 양자화부(522)에서 변환 및 양자화를 수행하여 Ie 1 영상을 생성한다. 생성된 Ie 1 영상에 대해 제1 역양자화부(530) 및 제1 역변환부(532)에서 역양자화 및 역변환을 수행하고, 제1 가산부(512)를 거쳐 복원된 I1 영상, 즉 Ir 1 영상을 생성하여 제1 프레임 메모리부 (540)에 저장한다. 한편, 인트라 부호화 결과 얻어진 Ie 1 영상은 가변 길이 부호화부(580)로 입력된다.
뒤따르는 P2 프레임 (프레임 2)은 제1 프레임 메모리부(540)에 저장된 부호화 및 복호화가 수행된 I 프레임, 즉 Ir 1 영상을 참조하여 움직임 추정 및 보상을 수행하여 에러 영상을 생성하고, 생성된 에러 영상에 대해 제1 변환부(520) 및 제1 양자화(530)에서의 영상 변환 및 양자화를 수행하여 Pe 2 영상을 생성한다. 생성된 Pe 2 영상에 대해 제1 역양자화부(530) 및 제1 역변환부(532)에서 역양자화 및 역변환을 수행하고, 제1 가산부(512)를 거쳐 복원된 P2 영상, 즉 Pr 2 영상을 생성하여 제1 프레임 메모리부(540)에 저장한다. 한편, 부호화 결과 얻어진 Pe 2 영상은 가변 길이 부호화부(580)로 입력된다. 인터 부호화 결과 얻어진 Pe 2 영상에 대해 제1 역양자화부(530) 및 제1 역변환부(532)에서 제1 역양자화 및 제1 역변환이 수행된 Pe' 2 영상은 제2 프레임 메모리부(550)에 저장된다.
그 다음, P3 프레임에 대해서는 본 발명에 따른 부호화 방법이 적용된다. 우선, 제1 움직임 추정/보상부(542)에서는 입력된 P3 프레임 및 제1 프레임 메모리 (540)에 저장된 Pr 2 영상을 참조하여 움직임 추정 및 보상을 수행하여 에러 영상을 생성하고, 생성된 에러 영상에 대해 제1 변환부(520) 및 제1 양자화(530)에서의 영상 변환 및 양자화를 수행하여 Pe 3 영상을 생성한다.
생성된 Pe 3 영상에 대해 제1 역양자화부(530) 및 제1 역변환부(532)에서 제1 역양자화 및 제1 역변환을 수행하여 Pe' 3 영상을 생성하고, 생성된 Pe' 3 영상은 제2 움직임 추정/보상부(552)로 입력된다.
제2 움직임 추정/보상 및 2차 에러 영상 생성부(552)에서는 입력된 Pe' 3 영상과 제2 프레임 메모리(550)에 저장된 이전 프레임의 Pe' 2 영상에 대해 움직임 추정/보상을 수행하여, 2차 에러 영상을 생성하고, 생성된 2차 에러 영상에 대해 제2 변환부(560) 및 제2 양자화(562)에서 제2 영상 변환 및 제2 양자화를 수행하여 제2 부호화된 2차 에러 영상, 즉 Pe'e 3 영상을 생성한다.
생성된 Pe'e 3 영상은 가변 길이 부호화부(580) 및 제2 역양자화부(570)로 입력된다.
가변 길이 부호화부(580)로 입력된 Pe'e 3 영상은 가변 길이 부호화후 제1 움 직임 추정/보상부(542)에서 얻어진 제1 움직임 벡터 및 제2 움직임 추정/보상부(552)에서 얻어진 제2 움직임 벡터와 함께 디코더 (도시되지 않음)로 전송된다.
한편, 제2 역양자화부(570)로 입력된 Pe'e 3 영상은 제2 역양자화부(570)에서의 제2 역양자화 및 제2 역변환부(572)에서의 제2 역변환을 거쳐 복원된 2차 에러 영상, 즉 Pe'e' 3 영상을 생성한다.
생성된 Pe'e' 3 영상은 제2 가산부(518)에서, 제2 움직임 추정/보상 및 2차 에러 영상 생성부(552)에서 입력된 참조 영상과 가산되어, 복원된 에러 영상, 즉 Pre' 3 영상을 생성하고, 생성된 Pre' 3 영상을 다음 프레임의 2차 에러 영상 생성을 위해 제2 프레임 메모리(550)에 저장한다. 또한, 생성된 Pre' 3 영상은 제1 가산부(512)로 입력되어, 다음 프레임의 제1 움직임 추정/보상을 위한 참조 영상, 즉 Pr 3를 생성하고, 생성된 참조 영상 Pr은 제1 프레임 메모리(540)에 저장된다.
이와 같이, 프레임 P3에 대해, 매크로 블록 단위로 2차에 걸쳐 MC-DCT를 수행, 즉 생성된 에러 영상들 간에 다시 한번 움직임 추정 및 보상을 수행함으로써 에러 영상에 남아있는 리던던시(redundancy)를 추가적으로 제거할 수 있다는 효과가 있다.
또한, 본 실시예에서는 2차 에러 영상, 즉 2차에 걸친 MC-DCT를 하여 생성된 에러 영상들을 이용하여 움직임 추정 및 보상을 수행함으로써 압축 효율을 개선하는 방식을 예를 들어 설명하였다. 하지만, 동일한 방식으로 3차 이상의 에러 영상에 대해 움직임 추정 및 보상을 수행하여 압축 효율을 개선하는 것도 가능하다.
도 6은 도 5에 도시된 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다. 이하에서는, 설명을 간단을 위해 도 5의 부호화 장치에서 수행되는 부호화 단계 중, 본 발명에 따른 부호화 방법이 적용되는 P3 프레임에 대한 부호화 과정에 대해서만 설명한다.
단계 620에서는 현재 영상(P3 프레임)에 대해 이전 영상(P2 프레임)을 참조하여 움직임 예측 및 보상을 수행하여 1차 에러 영상, 즉 Pe' 3를 생성한다. 도 5의 부호화 장치에 대해서는, 움직임 예측 및 보상을 수행하여 얻어진 에러 영상에 대해 제1 부호화 및 제2 복호화를 수행하여, 1차 에러 영상을 얻었지만, 선택적으로 제1 부호화 및 제2 복호화 과정을 생략하는 것도 가능하다.
단계 640에서는 단계 620에서 생성된 현재 영상의 1차 에러 영상에 대해, 상기 이전 영상(P2 프레임)의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상, 즉 Pe'e' 3를 생성한다. 도 5의 부호화 장치에 대해서는, 움직임 예측 및 보상을 수행하여 얻어진 2차 에러 영상에 대해 제2 부호화 및 제2 복호화를 수행하여, 2차 에러 영상을 얻었지만, 선택적으로 제2 부호화 및 제2 복호화 과정을 생략하는 것도 가능하다. 여기에서, 이전 영상의 에러 영상은 상기 이전 영상(P2 프레임)에 대해 상기 이전 영상(P2 프레임)의 이전 영상(I1 프레임)을 참조하여 움직임 예측 및 보상을 수행하여 얻어진 에러 영상, 즉 Pe 2이다.
단계 660에서는 단계 640에서 얻어진 2차 에러 영상, 단계 620에서의 움직임 예측/보상시 얻어진 제1 움직임 벡터, 단계 640에서의 움직임 예측/보상시 얻어진상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터에 대해 엔트로피 부호화를 수행한다.
여기에서, 2차 에러 영상을 디코더로 전송하는 경우, 1차 에러 영상 생성시 얻어진 제1 움직임 벡터 및 2차 에러 영상 생성시 얻어진 제2 움직임 벡터 모두가 필요하기 때문에, 경우에 따라서는, 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 1차 에러 영상 만을 디코더로 전송하는 것이 압축 효율 면에서 보다 더 바람직할 수 있다.
따라서, 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상의 데이터량 및 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상의 데이터량을 비교하여, 압축 효율이 보다 나은 데이터만을 엔트로피 부호화하여 디코더로 전송하도록 하는 것도 가능하다. 이 경우, 어떤 데이터가 부호화되어 전송되는 지를 나타내는 모드 정보를 전송하는 것이 필요하다. 이에 대한, 실시예는 도 7을 참조하여 아래에서 설명한다.
도 7은 본 발명의 또 다른 실시예에 따른 부호화 장치를 도시하는 도면이다.
본 발명에 따른 동영상 부호기는 감산부(710), 제1 부호화부(720), 제1 복호화부(730), 제1 가산부(712), 제1 프레임 메모리부(740), 제1 움직임 추정/보상부(742), 제2 프레임 메모리부(750), 제2 움직임 추정/보상부(752), 제2 부호화부(760), 제2 복호화부(770), 제2 가산부(714), 가변장 부호화부(780), 및 모드 결정부(790)를 포함한다. 제1 부호화부(720)는 제1 변환부(722) 및 제2 변환부(724)를 포함하고, 제2 복호화부(730)는 제1 역양자화부(732) 및 제1 역변환부(734)를 포함하다. 또한, 제2 부호화부(760)는 제2 변환부(762) 및 제2 양자화부(764)를 포함하고, 제2 복호화부(770)는 제2 역양자화부(772) 및 제2 역변환부(774)를 포함한다.
모드 결정부(790)을 제외한 나머지 기능부는 도 5에 도시된 부호화 장치의 대응 기능부와 동일한 기능을 수행하므로 상세한 설명은 생략한다.
본 발명에 따른 모드 결정부(790)는 제1 움직임 추정/보상부(742) 및 제2 움직임 추정/보상 및 2차 에러 정보 생성부(752)로부터 입력된 제1 움직임 벡터, 제2 움직임 벡터, 제1 SAD(sum of absolute difference), 및 제2 SAD에 기초하여 입력된 영상 데이터에 대한 부호화 모드를 결정하고, 결정된 모드 정보를 가변장 부호화부(580)로 전송한다. 모드 결정부(790)에서는 상기 모드들 중 어떤 모드에 따른 데이터량이 최소가 되는지, 즉 압축율이 향상될 수 있는지에 따라 모드를 결정한다.
예를 들어, 제1 모드 정보는 비트스트림에 포함된 정보가 부호화된 1차 에러 정보 및 제1 움직임 벡터임을 나타낸다. 또한, 제2 모드 정보는 비트스트림에 포함된 정보가 부호화된 2차 에러 정보, 제1 움직임 벡터, 및 제2 움직임 벡터임을 나타낸다.
결국, 결정된 모드에 따라 매크로블록 별로 가변길이 부호화될 대상이 정해진다. 본 발명의 일 실시예로서, 모드 선택은 움직임 벡터의 비트 발생량과 SAD의 선형 조합(linear combination)을 측정자(measure)로 채택하여 이루어질 수 있다. 또 다른 실시예로는 SAD 대신 에러 정보에 대해 실제 가변장 부호화시의 비트 발생량을 사용할 수 있다.
도 8은 도 5의 부호화 장치에 대응하는 본 발명에 따른 복호화 장치를 도시하는 블록도이다.
본 발명에 따른 복호화 장치는 가변장 복호화부(810), 제1 복호화부(820), 제2 복호화부(830),제1 가산부(840), 제2 가산부(842), 제2 프레임 메모리부(850), 제2 움직임 보상부(852), 제1 프레임 메모리부(860), 및 제1 움직임 보상부(862)를 포함한다. 제1 복호화부(820)는 제1 역양자화부(822) 및 제2 역변환부(824)를 포함하고, 제2 복호화부(830)는 제2 역양자화부(832) 및 제2 역변환부(834)를 포함한다.
이하에서는, 입력 비트 스트림에 부호화된 영상이 I1, P2, P3, P4, P5인 경우를 예를 들어 설명한다.
우선, 가변 길이 복호화된 I1 프레임에 대해 제1 역양자화부(820) 및 제1 역 변환부(822)를 거쳐 복호화된 에러 영상을 생성하고, 종래의 인트라 복호화 과정을 통해 복원된 Ir 1 영상을 생성하고, 생성된 Ir 1 영상은 다음 프레임의 복호화를 위해 제1 프레임 메모리(860)에 저장된다.
다음으로, 가변 길이 복호화된 P2 프레임에 대해 제1 역양자화부(820) 및 제1 역변환부(822)를 거쳐 복호화된 에러 영상 Pe' 2를 생성한다. 생성된 에러 영상 Pe' 2는 다음 프레임의 복호화를 위해 제2 프레임 메모리(850)에 저장된다. 또한, 생성된 복호화된 에러 영상 Pe' 2과 제1 프레임 메모리(860)에 저장된 Ir 1 영상에 기초하여 복원된 Pr 2 영상을 생성하고, 생성된 Pr 2 영상은 다음 프레임의 복호화를 위해 제1 프레임 메모리(860)에 저장된다.
다음으로, 가변 길이 복호화된 P3 프레임에 대해서는 제2 역양자화부(830) 및 제2 역변환부(832)를 거쳐 복호화된 2차 에러 영상 Pe'e' 3를 생성한다. 한편, 가변 길이 복호화된 프레임에 대한 복호화를 제1 역양자화부 및 제1 역변환부에서 수행할 지, 또는 가변 길이 복호화된 프레임에 대한 복호화를 제2 역양자화부 및 제2 역변환부에서 수행할 지 여부는 비트 스트림을 가변 길이 복호화하여 얻어진 모드 정보에 따라 결정된다.
생성된 2차 에러 영상 Pe'e' 3과 제2 프레임 메모리(850)에 저장된 생성된 에러 영상 Pe' 2에 기초하여, 복원된 에러 영상 Pre' 3을 생성하고, 생성된 1차 에러 영상 Pe'r 3은 다음 프레임의 복호화를 위해 제2 프레임 메모리(850)에 저장된다. 또한, 생성된 복호화된 에러 영상 Pre' 3과 제1 프레임 메모리(860)에 저장된 Pr 2 영상에 기초하여 복원된 Pr 3 영상을 생성하고, 생성된 Pr 3 영상은 다음 프레임의 복호화를 위해 제1 프레임 메모리(860)에 저장된다.
다음 프레임들에 대해서도 I1, P2, 및 P3와 동일한 방식으로 복호화가 수행되므로 설명의 간단을 위해 상세한 설명은 생략한다.
도 9는 도 8에 도시된 본 발명에 따른 동영상 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다. 이하에서는, 설명을 간단을 위해 도 8의 부호화 장치에서 수행되는 복호화 단계 중, 본 발명에 따른 부호화 방법이 적용되는 P3 프레임에 대한 복호화 과정에 대해서만 설명한다.
단계 940에서는 엔트로피 복호화된 현재 영상(P3 프레임)의 2차 에러 영상에 움직임 예측 및 보상된 이전 영상(P2 프레임)의 에러 영상을 가산하여, 현재 영상의 1차 에러 영상을 복원한다. 여기에서, 복원된 1차 에러 영상은 부호화부에서 현재 영상(P3 프레임)에 대해 이전 영상(P2 프레임)을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상에 대응한다. 또한, 2차 에러 영상은 생성된 1차 에러 영상에 대해, 이전 영상(P2 프레임)의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이다. 도 8의 부호화 장치에 대해서는, 엔트로피 복호화를 수행하여 얻어진 에러 영상에 대해 복호화를 수행하여, 2차 에러 영상을 얻었지만, 선택적으로 복호화 과정을 생략하는 것도 가능하다.
단계 960에서는 단계 920에서 복원된 현재 영상(P3 프레임)의 1차 에러 영상에 움직임 예측 및 보상된 이전 영상(P2 프레임)을 가산하여 복원된 현재 영상을 생성한다.
선택적으로, 입력 비트스트림을 엔트로피 복호화하고, 모드 정보를 추출하고, 추출된 모드 정보에 기초하여, 복호화를 적응적으로 수행하도록 하는 단계 920을 더 포함하는 것도 가능하다.
한편, 유사한 방법을 B-프레임에 대해 적용하는 것도 가능하다. 현재 프레임과 인접한 프레임들의 에러 영상들 중 두 개의 에러 영상을 참조하여 현재 에러 프레임에 대해 움직임 추정 및 보상을 수행하여 2차 에러 영상을 구하는 것도 가능하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이, 본 발명에 따른 부호화 및 복호화 방법에서는, 이전의 인터 프레임과 현재 인터 프레임 간에 2차 움직임 추정 및 보상을 수행하여, 인터 프레임 영상들 간에 남아 있는 리던던시를 제거함으로써, 압축 효율을 개선할 수 있다는 효과가 있다.

Claims (22)

  1. 동영상 부호화 방법에 있어서,
    현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 1차 에러 영상을 생성하는 단계와,
    상기 생성된 현재 영상의 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상을 생성하는 단계를 포함하며,
    상기 이전 영상의 에러 영상은 상기 이전 영상에 대해 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상인 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 1차 에러 영상을 생성하는 단계는
    상기 생성된 1차 에러 영상에 대해 제1 부호화를 수행하는 단계와,
    상기 부호화된 1차 에러 영상에 대해 상기 제1 부호화에 대응하는 제1 복호화를 수행하는 단계를 더 포함하며,
    상기 2차 에러 영상을 생성하는 단계는
    상기 제1 복호화가 수행된 상기 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하는 움직임 예측 및 보상을 수행하여 2차 에러 영상을 생성하는 단 계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 제1 부호화는 소정의 변환 단계 및 양자화 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 생성된 2차 에러 영상, 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터, 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터에 대해 엔트로피 부호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상, 또는 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상에 대해 선택적으로 엔트로피 부호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 선택적인 엔트로피 부호화는 상기 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상의 데이터량 및 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상의 데이터량에 기초하여 수행되는 것을 특징으로 하는 방법.
  7. 동영상 부호화 장치에 있어서,
    현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 1차 에러 영상을 생성하는 1차 에러 영상 생성부와,
    상기 생성된 현재 영상의 1차 에러 영상에 대해, 상기 이전 영상의 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 2차 에러 영상을 생성하는 2차 에러 영상 생성부를 포함하며,
    상기 이전 영상의 에러 영상은 상기 이전 영상에 대해 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상인 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 1차 에러 영상 생성부는
    상기 생성된 1차 에러 영상에 대해 제1 부호화를 수행하는 제1 부호화부와,
    상기 부호화된 1차 에러 영상에 대해 상기 제1 부호화에 대응하는 제1 복호화를 수행하는 제1 복호화부를 포함하며,
    상기 2차 에러 영상 생성부는
    상기 제1 복호화가 수행된 상기 1차 에러 영상에 대해, 상기 이전 영상의 에 러 영상을 참조하는 움직임 예측 및 보상을 수행하여 2차 에러 영상을 생성하고, 제2 부호화를 수행하는 것을 특징으로 하는 장치.
  9. 제8항에 있어서,
    상기 제1 부호화는 소정의 영상 변환을 수행하는 제1 변환부 및 양자화를 수행하는 제1 양자화부를 포함하는 것을 특징으로 하는 장치.
  10. 제7항에 있어서,
    상기 생성된 2차 에러 영상, 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터, 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터에 대해 엔트로피 부호화를 수행하는 엔트로피 부호화부를 더 포함하는 것을 특징으로 하는 장치.
  11. 제7항에 있어서,
    상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상, 또는 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상에 대해 선택적으로 엔트로피 부호화를 수행하는 엔트로피 부호화부를 더 포함하는 것을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 엔트로피 부호화부는 상기 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 1차 에러 영상의 데이터량 및 상기 1차 에러 영상 생성시 얻어진 제1 움직임 벡터와 상기 2차 에러 영상 생성시 얻어진 제2 움직임 벡터와 상기 2차 에러 영상의 데이터량에 기초하여 엔트로피 부호화를 선택적으로 수행하는 것을 특징으로 하는 장치.
  13. 동영상 복호화 방법에 있어서,
    엔트로피 복호화된 현재 영상의 2차 에러 영상에 움직임 예측 및 보상된 이전 영상의 에러 영상을 가산하여, 현재 영상의 1차 에러 영상을 복원하는 단계와,
    상기 복원된 현재 영상의 1차 에러 영상에 움직임 예측 및 보상된 이전 영상을 가산하여 복원된 현재 영상을 생성하는 단계를 포함하며,
    상기 1차 에러 영상은 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이며,
    상기 2차 에러 영상은 상기 생성된 1차 에러 영상에 대해, 상기 이전 영상의 부호화시l 움직임 예측 및 보상을 수행하여 얻어진 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상임을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 현재 영상의 1차 에러 영상을 생성하는 단계는,
    상기 이전 영상의 1차 에러 영상을 엔트로피 복호화하는 단계와,
    상기 엔트로피 복호화된 이전 영상의 1차 에러 영상에 대해 제1 복호화를 수 행하는 단계와,
    상기 제1 복호화가 수행된 이전 영상의 1차 에러 영상을 저장하는 단계와,
    상기 엔트로피 복호화된 2차 에러 영상에 대해 제2 복호화를 수행하는 단계와,
    상기 제2 복호화가 수행된 2차 에러 영상에, 상기 제1 복호화후 저장된 이전 영상의 에러 영상에 대해 움직임 예측 및 보상을 수행한 후, 가산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 제1 복호화 단계는
    제1 역양자화를 수행하는 단계와, 상기 제1 역양자화가 수행된 영상에 대해, 제1 역변환을 수행하는 단계를 포함하며,
    상기 제2 복호화 단계는
    제2 역양자화를 수행하는 단계와, 상기 제2 역양자화가 수행된 영상에 대해, 제2 역변환을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제13항에 있어서,
    입력 비트스트림을 엔트로피 복호화하고, 모드 정보를 추출하는 단계를 더 포함하며,
    상기 추출된 모드 정보에 기초하여, 상기 엔트로피 복호화된 비트스트림에 대해, 제1 복호화를 수행할 지 또는 제2 복호화를 수행할지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 동영상 복호화 장치에 있어서,
    엔트로피 복호화된 현재 영상의 2차 에러 영상에 움직임 예측 및 보상된 이전 영상의 에러 영상을 가산하여, 현재 영상의 1차 에러 영상을 복원하는 1차 에러 영상 복원부와,
    상기 복원된 현재 영상의 1차 에러 영상에 움직임 예측 및 보상된 이전 영상을 가산하여 복원된 현재 영상을 생성하는 영상 복원부를 포함하며,
    상기 1차 에러 영상은 현재 영상에 대해 이전 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상이며,
    상기 2차 에러 영상은 상기 생성된 1차 에러 영상에 대해, 상기 이전 영상의 부호화시 움직임 예측 및 보상을 수행하여 얻어진 에러 영상을 참조하여 움직임 예측 및 보상을 수행함으로써 생성된 영상임을 특징으로 하는 장치.
  18. 제17항에 있어서,
    상기 1차 에러 영상 복원부는,
    상기 이전 영상의 1차 에러 영상을 엔트로피 복호화하고, 상기 엔트로피 복호화된 이전 영상의 1차 에러 영상에 대해 제1 복호화를 수행하여 복호화된 1차 에러 영상을 생성하는 제1 복호화부와,
    상기 제1 복호화부에서 얻어진 복호화된 1차 에러 영상을 저장하기 위한 제1 저장부와,
    상기 엔트로피 복호화된 2차 에러 영상에 대해 제2 복호화를 수행하는 제2 복호화부와,
    상기 제2 복호화가 수행된 2차 에러 영상에, 상기 제1 복호화를 수행하여 얻어진 이전 영상의 에러 영상에 대해 움직임 예측 및 보상을 수행한 후, 가산하는 1차 에러 영상 복원부를 포함하는 것을 특징으로 하는 장치.
  19. 제18항에 있어서,
    상기 제1 복호화부는
    제1 역양자화를 수행하는 제1 역양자화부와, 상기 제1 역양자화가 수행된 영상에 대해, 제1 역변환을 수행하는 제1 역변환부를 포함하며,
    상기 제2 복호화부는
    제2 역양자화를 수행하는 제2 역양자화부와, 상기 제2 역양자화가 수행된 영상에 대해, 제2 역변환을 수행하는 제2 역변환을 수행하는 제2 역변환부를 포함하는 것을 특징으로 하는 장치.
  20. 제17항에 있어서,
    입력 비트스트림을 엔트로피 복호화하고, 모드 정보를 추출하는 모드 정보 추출부와,
    상기 추출된 모드 정보에 기초하여, 상기 엔트로피 복호화된 비트스트림에 대해, 제1 복호화를 수행할 지 또는 제2 복호화를 수행할지 여부를 결정하는 모드 결정부를 더 포함하는 것을 특징으로 하는 장치.
  21. 제1항 내지 제6항 중 어느 한 항에 기재된 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  22. 제13항 내지 제16항 중 어느 한 항에 기재된 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020050061780A 2005-07-08 2005-07-08 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 KR100694137B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050061780A KR100694137B1 (ko) 2005-07-08 2005-07-08 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
US11/371,105 US7961788B2 (en) 2005-07-08 2006-03-09 Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050061780A KR100694137B1 (ko) 2005-07-08 2005-07-08 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체

Publications (2)

Publication Number Publication Date
KR20070006446A KR20070006446A (ko) 2007-01-11
KR100694137B1 true KR100694137B1 (ko) 2007-03-12

Family

ID=37618298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050061780A KR100694137B1 (ko) 2005-07-08 2005-07-08 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체

Country Status (2)

Country Link
US (1) US7961788B2 (ko)
KR (1) KR100694137B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375770A (zh) * 2011-01-21 2017-02-01 Sk电信有限公司 视频解码方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100598093B1 (ko) * 2003-01-29 2006-07-07 삼성전자주식회사 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
KR101054644B1 (ko) * 2008-11-25 2011-08-08 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법
CN103888780B (zh) * 2009-03-04 2017-06-16 瑞萨电子株式会社 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
US8958479B2 (en) * 2009-03-04 2015-02-17 Renesas Electronics Corporation Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method
KR101694399B1 (ko) * 2009-10-07 2017-01-09 에스케이 텔레콤주식회사 적응적 부호화 패턴 정보를 생성/이용하는 동영상 부호화/복호화 방법, 장치 및 기록 매체
WO2011065735A2 (ko) * 2009-11-24 2011-06-03 에스케이텔레콤 주식회사 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체
US9288495B2 (en) 2009-11-24 2016-03-15 Sk Telecom Co., Ltd. Adaptive secondary prediction-based image encoding/decoding method, device and recording medium
KR101614781B1 (ko) * 2009-11-24 2016-04-22 에스케이 텔레콤주식회사 왜곡 블록 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체
JP2014527778A (ja) 2011-08-29 2014-10-16 アイ．シー．ブイ．ティー リミテッド ビデオコンテンツシステムの制御
IL235431B (en) * 2014-10-30 2019-05-30 Verint Systems Ltd System and method for improved decoding by identified repetitive party information
US10694204B2 (en) 2016-05-06 2020-06-23 Vid Scale, Inc. Systems and methods for motion compensated residual prediction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304383A (ja) 1997-04-25 1998-11-13 Victor Co Of Japan Ltd 動き補償符号化装置、動き補償符号化方法及び符号化記録媒体
JPH1175198A (ja) 1997-08-28 1999-03-16 Sony Corp 画像信号圧縮装置及び方法、並びに記録媒体
JP2000059789A (ja) 1998-08-04 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
KR20010072769A (ko) * 1998-08-19 2001-07-31 추후제출 다채널 데이터 압축 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4142180B2 (ja) * 1998-10-29 2008-08-27 富士通株式会社 動きベクトル符号化装置および復号装置
GB2366464A (en) 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
KR100479255B1 (ko) 2001-08-16 2005-03-30 이상욱 동영상 부호화 시스템의 동영상 움직임 추정 장치
US7760950B2 (en) * 2002-09-26 2010-07-20 Ntt Docomo, Inc. Low complexity and unified transforms for video coding
JP2004241984A (ja) * 2003-02-05 2004-08-26 Toshiba Corp データ伝送装置
FR2857205B1 (fr) 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304383A (ja) 1997-04-25 1998-11-13 Victor Co Of Japan Ltd 動き補償符号化装置、動き補償符号化方法及び符号化記録媒体
JPH1175198A (ja) 1997-08-28 1999-03-16 Sony Corp 画像信号圧縮装置及び方法、並びに記録媒体
JP2000059789A (ja) 1998-08-04 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
KR20010072769A (ko) * 1998-08-19 2001-07-31 추후제출 다채널 데이터 압축 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375770A (zh) * 2011-01-21 2017-02-01 Sk电信有限公司 视频解码方法
CN106375770B (zh) * 2011-01-21 2019-05-31 Sk电信有限公司 视频解码方法

Also Published As

Publication number Publication date
US20070009030A1 (en) 2007-01-11
US7961788B2 (en) 2011-06-14
KR20070006446A (ko) 2007-01-11

Similar Documents

Publication Publication Date Title
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
JP5620109B2 (ja) 動きベクトル推定方法、動きベクトル推定装置、ビデオエンコーダ、ビデオデコーダ及びデコーディング方法
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR100772391B1 (ko) 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
EP1737243A2 (en) Video coding method and apparatus using multi-layer based weighted prediction
US9392280B1 (en) Apparatus and method for using an alternate reference frame to decode a video frame
JP2004343774A (ja) 映像のレジデュー予測を利用した映像符号化／復号化方法および装置
KR20080073157A (ko) 인터 예측 부호화, 복호화 방법 및 장치
US8781004B1 (en) System and method for encoding video using variable loop filter
US8306114B2 (en) Method and apparatus for determining coding for coefficients of residual block, encoder and decoder
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100728011B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
KR100827091B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
US20080159394A1 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
KR20080084890A (ko) 동영상 부호화 및 재생 방법 및 장치
JP4169767B2 (ja) 符号化方法
Elarabi et al. Hybrid wavelet-DCT intra prediction for H. 264/AVC interactive encoder
KR100676772B1 (ko) 휴대용 기기에 적용된 ｄ―ｖｏｐ 디코딩이 가능한 엠펙-4디코더
KR100827094B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
Lai et al. A quantized transform-domain motion estimation technique for H. 264 secondary SP-Frames

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee