KR101347749B1 - 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법 - Google Patents

분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법 Download PDF

Info

Publication number
KR101347749B1
KR101347749B1 KR1020120021430A KR20120021430A KR101347749B1 KR 101347749 B1 KR101347749 B1 KR 101347749B1 KR 1020120021430 A KR1020120021430 A KR 1020120021430A KR 20120021430 A KR20120021430 A KR 20120021430A KR 101347749 B1 KR101347749 B1 KR 101347749B1
Authority
KR
South Korea
Prior art keywords
block
encoding
pmv
frame
distributed video
Prior art date
Application number
KR1020120021430A
Other languages
English (en)
Other versions
KR20130099719A (ko
Inventor
전병우
한종기
김상효
서덕영
심동규
이재영
박종빈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020120021430A priority Critical patent/KR101347749B1/ko
Publication of KR20130099719A publication Critical patent/KR20130099719A/ko
Application granted granted Critical
Publication of KR101347749B1 publication Critical patent/KR101347749B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

분산 비디오 복호 과정의 보조 정보를 기반으로 블록 기반 부호화의 움직임 벡터를 효율적으로 예측하며 블록 기반 부호화의 예측 모드를 결정함으로써 개선된 복잡도를 가지는 변환 부호화 장치 및 방법이 제공된다. 변환 부호화 장치는 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부 및 상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 부호화부를 포함할 수 있다. 따라서, 기존의 변환 부호화에 비해 복잡도를 크게 낮추며 향상된 압축 효율을 제공할 수 있다.

Description

분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법{METHOD OF TRANSCODING FROM DVC TO BLOCK-BASED VIDEO ENCODING AND APPARATUS FOR PERFORMING THE SAME}
본 발명은 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법에 관한 것으로서, 더욱 상세하게는 효율적인 변환 부호화를 위한 움직임 벡터 선택 및 모드 결정 방법에 관한 것이다.
비디오 플레이어, 맞춤 영상 정보 서비스(VoD), 영상 전화, 디지털 멀티미디어 브로드캐스팅(DMB), 무선 모바일 환경에서의 영상 전송 등에 효율적인 압축 기술로서 VC-1이나 MPEG, H.26x 등의 압축 표준이 널리 사용되고 있다. 상기 압축 표준들은 블록 기반으로 시간적인 중복성(Temporal redundancy)을 제거함으로써 부호화 효율에서 큰 이득이 있는데, 상기 시간적인 중복성을 줄이기 위한 대표적인 방법으로 움직임 예측 및 보상 기술이 있다.
한편, Slepian-Wolf 이론과 Wyner-Ziv 이론에 근거한 분산 비디오 부호화( Distributed Video Coding, DVC) 기술은 비디오 부호화 장치의 복잡도를 획기적으로 줄일 수 있는 방법으로 주목받고 있다. Slepian-Wolf 이론은 상관성이 있는 소스들을 독립적으로 부호화하여도 복호화를 서로 연계하여 수행하면 각 소스를 같이 예측 부호화하여 얻을 수 있는 부호화 이득을 동일하게 얻을 수 있음을 수학적으로 증명한 것이다. Wyner-Ziv 이론은 무손실 압축에 해당하는 Slepian-Wolf 이론을 손실 압축의 경우로 확장한 것이다. 이 두 가지 이론은 비디오 부호화의 중요 요소인 프레임간 시간 중복성을 제거하는 움직임 예측 및 보상을 부호화 이득의 손실 없이 복호화 장치 쪽으로 옮길 수 있는 가능성을 이론적으로 제시하고 있다.
Wyner-Ziv 부호화 기술은 복호화 장치에서 복원된 이웃 프레임간의 유사도를 이용하여 현재 프레임에 대한 보조 정보(Side Information)을 생성하고, 생성된 보조 정보와 현재 프레임 사이의 차이를 가상의 채널 잡음(virtual channel noise)으로 간주한 후, 부호화 장치에서 채널 부호화로 생성된 패리티 비티를 전송 받아 보조 정보에 포함된 잡음을 제거하여 현재 프레임을 복원한다.
보다 구체적으로, 분산 비디오 부호화 방법은 입력 영상을 키 프레임과 WZ (Wyner-Ziv) 프레임으로 나눈 후, 키 프레임은 H.264/AVC 또는 VC-1 등 기존의 인트라 부호화 방식으로, WZ 프레임은 Wyner-Ziv 방식으로 부호화한다. Wyner-Ziv 부호화는 입력 영상을 DCT(Discrete Cosine Transform) 변환과 양자화한 후, Turbo 코드나 LDPC(Low-Density Parity-Check Accumulate) 코드 등으로 채널 부호화를 수행한다. 분산 비디오 복호화 방법은 키 프레임을 이용하여 보조 정보를 생성하고, 이 보조 정보와 전송받은 패리티 비트를 채널 복호화를 수행한다.
즉, 분산 비디오 부호화 기술은 부호화기에서 계산량을 가장 많이 차지하는 움직임 예측을 복호화기에서 실행하도록 함으로써 부호화기의 복잡도를 낮추는 방법으로, 부호화기에서는 비디오 프레임들을 서로 독립적으로 부호화하며 기존 기술과 같이 비디오 프레임들 사이의 유사도를 검출하기 위해 비디오 프레임들을 스캔하지 않기 때문에 부호화기의 연산량을 줄일 수 있다. 따라서, 낮은 배터리 소비와 짧은 부호화 시간이 소요되어, 이동식 비디오 장치에 적합하다.
다만, 전술한 바와 같이 블록 기반으로 시간적인 중복성(Temporal redundancy)을 제거하는 HEVC, H.26x, VC-1 등과 같은 압축 기술이 통상적으로 사용되고 있어, 분산 비디오 부호화(DVC)에서 블록 기반 비디오 부호화로의 변환 부호화가 필요할 수 있다. 또한, 영상 부호화기의 복잡도를 고려하지 않고, 최대한의 부호화 효율을 나타낼 수 있도록 종래의 블록 기반 비디오 부호화 방식으로 변환 부호화를 수행할 수 있다.
그러나, 분산 비디오 복호화의 보조 정보 생성 및 채널 복호화의 수행은 복잡도가 상당히 높으며, 블록 기반 비디오 부호화 또한 복잡도가 높기 때문에 상기 변환 부호화는 매우 높은 복잡도를 요구하는 문제가 있다.
한국 공개 특허 제 10-2011-0054804 호("비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치", 경희대학교 산학협력단, 2011.05.25 공개)
전술한 바와 같이, 분산 비디오 복호화의 보조 정보 생성 및 채널 복호화의 수행과 블록 기반 비디오 부호화는 매우 높은 복잡도를 요구하며, 일반적으로 분산 비디오 부호화에서는 GOP의 크기를 두 프레임으로 설정하여 부호화를 수행하나, 블록 기반 비디오 부호화에서는 GOP의 크기가 작아지면 화면 내 예측 방법으로 부호회된 프레임의 주기가 증가되면서 압축 효율이 감소하는 문제가 있다.
따라서 전술한 문제점을 해결하기 위한 본 발명의 목적은 분산 비디오 부호화의 GOP 크기와 독립적으로 블록 기반 부호화의 GOP 크기를 증가시키고, 분산 비디오 복호 과정의 보조 정보를 기반으로 블록 기반 부호화의 움직임 벡터를 효율적으로 예측하며 블록 기반 부호화의 예측 모드를 결정함으로써 개선된 복잡도를 가지는 변환 부호화 장치를 제공하는 것이다.
또한, 본 발명의 다른 목적은 분산 비디오 부호화의 GOP 크기와 독립적으로 블록 기반 부호화의 GOP 크기를 증가시키고, 분산 비디오 복호 과정의 보조 정보를 기반으로 블록 기반 부호화의 움직임 벡터를 효율적으로 예측하며 블록 기반 부호화의 예측 모드를 결정함으로써 개선된 복잡도를 가지는 변환 부호화 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변환 부호화 장치는 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치에 있어서, 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부; 및 상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 부호화부를 포함할 수 있다. 여기서, 상기 변환 부호화 장치는 상기 보조 정보를 기반으로 예측 움직임 벡터(Predicted Motion Vector, PMV)를 생성하는 PMV 생성부를 더 포함하고, 상기 부호화부는 상기 PMV를 기반으로 움직임 예측을 수행하는 것을 특징으로 할 수 있다. 또한, 상기 부호화부는 상기 PMV 주변의 미리 설정된 범위 내에서만 움직임 예측을 수행할 수 있다. 여기서, 상기 미리 설정된 범위는 상기 PMV의 주변 ±1 영역일 수 있다. 또한, 상기 부호화부는 분산 비디오 부호화된 영상의 GOP(Group of Pictures) 구조 또는 크기와 독립적으로 블록 기반 비디오 부호화를 수행할 수 있다. 여기서, 상기 PMV 생성부는 상기 분산 비디오 복호화부에서 사용되는 블록 크기와 상기 부호화부에서 사용되는 블록 크기가 다를 경우, 상기 부호화부에서 사용되는 블록과 상응하는 상기 분산 비디오 복호화부에서 사용되는 블록들의 움직임 정보를 병합하여 PMV를 생성할 수 있다. 또한, 상기 PMV 생성부는 하기의 수학식
Figure 112012017080014-pat00001
- 단, 여기서
Figure 112012017080014-pat00002
는 상기 분산 비디오 복호화부에서 사용되는 블록들의 움직임 정보,
Figure 112012017080014-pat00003
는 상기 부호화부에서 사용되는 PMV를 나타내고
Figure 112012017080014-pat00004
를 나타냄 - 을 기반으로 상기 움직임 정보를 병합하여 PMV를 생성할 수 있다. 상기 PMV 생성부는 상기 분산 비디오 복호화부에서 사용되는 GOP의 크기 또는 구조와 상기 부호화부에서 사용되는 GOP의 크기 또는 구조가 다를 경우, 부호화 대상 프레임과 인접하지 않은 프레임을 참조로 움직임 예측을 수행함에 있어, 상기 분산 비디오 복호화부에서 수신한 인접 프레임 간의 움직임 정보를 합산하여 PMV를 생성할 수 있다. 상기 PMV 생성부는 하기의 수학식
Figure 112012017080014-pat00005
- 단, 여기서
Figure 112012017080014-pat00006
는 n번째 프레임에서 n-2번째 프레임으로의 PMV,
Figure 112012017080014-pat00007
는 n-1번째 프레임에서 n-2번째 프레임 방향으로의 움직임 정보 중에서 선택된 최적의 움직임 정보를 나타냄 - 및 하기의 수학식
Figure 112012017080014-pat00008
- 단, 여기서 k는 PMV 주변의 블록의 번호를 나타냄 - 및 하기의 수학식
Figure 112012017080014-pat00009
-단, 여기서
Figure 112012017080014-pat00010
는 i번째 프레임의 블록을 나타냄 - 을 기반으로 상기 PMV를 생성할 수도 있다.
본 발명의 다른 실시예에 따른 변환 부호화 장치는 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치에 있어서, 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부; 및 상기 생성된 보조 정보를 기반으로 예측 모드를 결정하여 상기 복호화된 키 프레임 및 WZ 프레임 중 적어도 하나를 블록 기반의 비디오 부호화하는 부호화부를 포함할 수 있다. 여기서, 상기 예측 모드는 상기 부호화부에서 사용하는 블록의 크기를 나타내는 것을 특징으로 할 수 있다. 상기 부호화부는 상기 부호화부의 부호화 대상 블록과 상응하는 분산 비디오 복호화부의 블록 및 상기 복호화부의 블록의 주변 블록들의 움직임 정보의 분산을 기반으로 상기 예측 모드를 결정할 수 있다. 또한, 상기 부호화부는 하기의 수학식
Figure 112012017080014-pat00011
-단, 여기서 Modec는 상기 부호화 대상 블록의 예측 모드, Mode(1MV)는 크기가 16×16인 블록을 이용하는 모드, Mode(4MV)는 크기가 8×8인 블록을 이용하는 모드,
Figure 112012017080014-pat00012
는 상기 부호화 대상 블록과 상응하는 분산 비디오 복호화부의 블록의 움직임 정보 분산, α는 제 1 임계값, β는 제 2 임계값을 나타냄 - 을 기반으로 상기 예측 모드를 결정할 수 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변환 부호화 방법은 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 방법에 있어서, 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화 단계; 및 상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 단계를 포함할 수 있다. 상기 변환 부호화 방법은 상기 보조 정보를 기반으로 예측 움직임 벡터(Predicted Motion Vector, PMV)를 생성하는 단계를 더 포함하고, 상기 부호화하는 단계는 상기 PMV를 기반으로 움직임 예측을 수행하는 것을 특징으로 할 수 있다. 또한, 상기 부호화하는 단계는 상기 PMV 주변의 미리 설정된 범위 내에서만 움직임 예측을 수행할 수 있고, 상기 미리 설정된 범위는 상기 PMV의 주변 ±1 영역인 것을 특징으로 할 수 있다. 여기서, 상기 부호화하는 단계는 분산 비디오 부호화된 영상의 GOP(Group of Pictures) 구조 또는 크기와 독립적으로 블록 기반 비디오 부호화를 수행할 수 있다. 또한, 상기 PMV를 생성하는 단계는 상기 분산 비디오 복호화 단계에서 사용되는 블록 크기와 상기 부호화하는 단계에서 사용되는 블록 크기가 다를 경우, 상기 부호화 단계에서 사용되는 블록과 상응하는 상기 분산 비디오 복호화 단계에서 사용되는 블록들의 움직임 정보를 병합하여 PMV를 생성할 수 있다. 여기서, 상기 PMV를 생성하는 단계는 하기의 수학식
Figure 112012017080014-pat00013
- 단, 여기서
Figure 112012017080014-pat00014
는 상기 분산 비디오 복호화 단계에서 사용되는 블록들의 움직임 정보,
Figure 112012017080014-pat00015
는 상기 부호화하는 단계에서 사용되는 PMV를 나타내고
Figure 112012017080014-pat00016
를 나타냄 - 을 기반으로 상기 움직임 정보를 병합하여 PMV를 생성할 수 있다. 또한, 상기 PMV를 생성하는 단계는 상기 분산 비디오 복호화 단계에서 사용되는 GOP의 크기 또는 구조와 상기 부호화하는 단계에서 사용되는 GOP의 크기 또는 구조가 다를 경우, 부호화 대상 프레임과 인접하지 않은 프레임을 참조로 움직임 예측을 수행함에 있어, 상기 분산 비디오 복호화 단계에서 수신한 인접 프레임 간의 움직임 정보를 합산하여 PMV를 생성할 수 있다. 상기 PMV를 생성하는 단계는 하기의 수학식
Figure 112012017080014-pat00017
- 단, 여기서
Figure 112012017080014-pat00018
는 n번째 프레임에서 n-2번째 프레임으로의 PMV,
Figure 112012017080014-pat00019
는 n-1번째 프레임에서 n-2번째 프레임 방향으로의 움직임 정보 중에서 선택된 최적의 움직임 정보를 나타냄 - 및 하기의 수학식
Figure 112012017080014-pat00020
- 단, 여기서 k는 PMV 주변의 블록의 번호를 나타냄 - 및 하기의 수학식
Figure 112012017080014-pat00021
-단, 여기서
Figure 112012017080014-pat00022
는 i번째 프레임의 블록을 나타냄 - 을 기반으로 상기 PMV를 생성할 수 있다.
본 발명의 다른 실시예에 따른 변환 부호화 방법은 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 방법에 있어서, 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화 단계; 및 상기 생성된 보조 정보를 기반으로 예측 모드를 결정하여 상기 복호화된 키 프레임 및 WZ 프레임 중 적어도 하나를 블록 기반의 비디오 부호화하는 단계를 포함할 수 있다. 여기서, 상기 예측 모드는 상기 부호화하는 단계에서 사용하는 블록의 크기를 나타내는 것을 특징으로 할 수 있다. 또한, 상기 부호화하는 단계는 상기 부호화하는 단계의 부호화 대상 블록과 상응하는 분산 비디오 복호화 단계의 블록 및 상기 상응하는 분산 비디오 복호화 단계의 블록 주변의 블록들의 움직임 정보의 분산을 기반으로 상기 예측 모드를 결정하는 것을 특징으로 할 수 있다. 또한, 상기 부호화하는 단계는 하기의 수학식
Figure 112012017080014-pat00023
-단, 여기서 Modec는 상기 부호화 대상 블록의 예측 모드, Mode(1MV)는 크기가 16×16인 블록을 이용하는 모드, Mode(4MV)는 크기가 8×8인 블록을 이용하는 모드,
Figure 112012017080014-pat00024
는 상기 부호화 대상 블록과 상응하는 분산 비디오 복호화 단계의 블록의 움직임 정보 분산, α는 제 1 임계값, β는 제 2 임계값을 나타냄 - 을 기반으로 상기 예측 모드를 결정할 수 있다.
본 발명의 일 실시예에 따른 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법에 따르면 DVC에서의 GOP와 독립적으로 블록 기반 비디오 부호화의 GOP를 결정함으로써, 부호화되는 프레임의 주기를 감소시켜 압축 효율이 개선된다.
또한, 분산 비디오 복호 과정에서 생성되는 보조 정보를 기반으로 블록 기반 부호화에서의 화면 간 예측을 위한 움직임 벡터를 결정하고, 블록 기반 비디오 부호화의 예측 모드를 결정함으로써 기존의 변환 부호화에 비해 복잡도를 크게 낮추며 향상된 압축 효율을 제공할 수 있다.
도 1은 기존의 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 변환 부호화 장치의 구성을 나타내는 블록도이다.
도 3은 분산 비디오 부호화 방식 및 블록 기반 비디오 부호화 방식의 GOP(Group of Pictures) 구조를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 움직임 정보의 병합을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 GOP 구조와 크기가 상이한 경우의 움직임 정보 선택 방법을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 모드 결정 방법을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 변환 부호화 방법의 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 변환 부호화 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 기존의 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치의 구성을 나타내는 블록도이다.
도 1에 도시된 바와 같이, 기존의 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치(100)는 분산 소스 부호화 방식으로 부호화된 영상을 복호화하는 복호화부(110)와 상기 복호화된 영상을 분산 비디오 부호화 방식을 사용하지 않고, HEVC나 H.26x, 또는 VC-1과 같이 블록 기반으로 화면 내 예측 또는 화면 간 예측을 통해 부호화하는 부호화부(120)를 포함할 수 있다. 이하, '블록 기반 비디오 부호화'는 분산 비디오 부호화 방식을 사용하지 않고, HEVC나 H.26x, 또는 VC-1과 같이 블록 기반으로 화면 내 예측 또는 화면 간 예측을 통해 부호화하는 부호화를 의미한다.
상기 복호화부(110)는 먼저 키 프레임을 복호화하고(111), 상기 키 프레임으로부터 보조 정보(Side Information)을 추출하여(112) DCT 변환을 거쳐(113) WZ 프레임 복원부(LDPC Decoder, 114)에 제공한다. WZ 프레임 복원부(114)는 WZ 프레임의 패리티 비트 및 상기 보조 정보를 기반으로 WZ 프레임을 복원한다(115). 상기 복원된 프레임의 역 변환(116)을 거쳐 분산 소스 부호화된 영상의 복호화를 완료할 수 있다.
상기 부호화부(120)는 상기 복호화된 영상을 분산 비디오 부호화 방식을 사용하지 않고, HEVC나 H.26x, 또는 VC-1과 같이 블록 기반으로 화면 내 예측 또는 화면 간 예측을 통해 부호화할 수 있다. 상기 복호화된 영상을 DCT(Discreste Cosine Transform) 변환 및 양자화한 후, 화면 내 예측 또는 화면 간 예측을 통해 부호화한다.
그러나, 전술한 바와 같이 상기 복호화부(110)의 보조 정보 생성 및 WZ 프레임의 복원은 높은 복잡도를 가지며, 상기 부호화부(120)의 경우, 특히 화면 간 예측을 하는 경우의 움직임 예측 또한 높은 복잡도를 가지므로 상기 변환 부호화 장치(100)는 전체적으로 매우 높은 복잡도를 가지게 되어 오랜 시간이 소요되고, 소비 전력이 커지게 된다.
또한, 일반적으로 분산 소스 부호화에서는 GOP(Group of Pictures)의 크기를 두 프레임으로 설정하는데 반해, 기존의 블록 기반 비디오 부호화에서는 GOP의 크기가 작아질수록 압축 효율이 감소하게 된다.
변환 부호화 장치
전술한 문제점을 해결하기 위해, 본 발명의 일 실시예에 따른 변환 부호화 장치는 분산 소스 복호화 과정에서 생성되는 보조 정보(Side Information)를 기반으로 블록 기반 부호화 과정에서 예측 모드를 결정하거나 움직임 예측을 수행함으로써 복잡도를 감소시키고 압축 효율을 증가시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 변환 부호화 장치의 구성을 나타내는 블록도이다.
도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 변환 부호화 장치(200)는 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치로서, 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부(210) 및 상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 부호화부(230)를 포함할 수 있다. 또한, 상기 변환 부호화 장치(200)는 상기 보조 정보를 기반으로 예측 움직임 벡터(Predicted Motion Vector, PMV)를 생성하는 PMV 생성부(220)를 더 포함하고, 상기 부호화부(230)는 상기 PMV를 기반으로 움직임 예측을 수행할 수 있다.
본 발명의 일 실시예에 따른 변환 부호화 장치(200)는 화면 내 예측 방법으로 부호화된 프레임을 화면 간 예측으로 변경함으로써, 부호화 효율을 증가시킬 수 있다. 또한, 분산 비디오 복호화 과정에서 생성된 보조 정보의 움직임 벡터를 이용하여 WZ 프레임 또는 키 프레임의 화면 간 예측 부호화를 수행할 수 있다.
또한 본 발명의 일 실시예에 따른 변환 부호화 장치는 기존 기술들과는 다르게 분산 비디오 부호화 방식으로 부호화된 영상의 GOP 크기와 상관없이 블록 기반 부호화 방식에서의 GOP 크기를 증가시킴으로써 기존의 변환 부호화 기술과 비교하여 부호화 효율을 증가시킬 수 있다. 즉, 상기 부호화부(230)는 분산 비디오 부호화된 영상의 GOP(Group of Pictures) 구조 또는 크기와 독립적으로 블록 기반 비디오 부호화를 수행할 수 있다.
이하 상기 변환 부호화 장치의 효과적인 움직임 예측과, 빠른 모드 결정 방법을 상세히 설명한다.
도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 변화 부호화 장치(200)는 분산 비디오 복호화부(210)에서 보조 정보를 생성할 때 발생하는 움직임 정보를 기반으로 PMV 생성부(220)에서 PMV(Predicted Motion Vector)를 생성하고,부호화부(230)는 상기 PMV를 기반으로 움직임 예측을 수행함으로써 변환 부호화의 복잡도를 기존의 방법보다 낮출 수 있다.
또한, 상기 부호화부(230)는 상기 PMV 주변의 미리 설정된 범위 내에서만 움직임 예측을 수행하는 것을 특징으로 할 수 있고, 상기 미리 설정된 범위는 상기 PMV의 주변 ±1 영역인 것을 특징으로 할 수 있다. 즉, 부호화 대상 블록의 주변 ±1 영역만을 탐색함으로써 블록 기반 비디오 부호화의 복잡도를 상당히 낮출 수 있다.
도 3은 분산 비디오 부호화 방식 및 블록 기반 비디오 부호화 방식의 GOP(Group of Pictures) 구조를 나타낸다.
도 3에 도시된 바와 같이, 서로 다른 GOP 구조 또는 크기를 가지는 변환 부호화 장치에서, 분산 비디오 복호화부(210)의 보조 정보를 생성하는 과정에서 얻어지는 움직임 정보를 부호화부(230)에서 그대로 사용할 경우 실제 움직임 벡터와 차이가 많이 발생하기 때문에 부호화 성능 및 복잡도가 크게 저하될 수 있으므로, 분산 비디오 부호화부(210)의 보조 정보로부터 얻어지는 움직임 정보 중에 가장 적합한 정보를 부호화부(230)의 움직임 예측에서 사용하는 것이 유리하다. 따라서, 상기 PMV 생성부(220)는 가장 적합한 움직임 정보를 PMV로 생성하는 것이 중요하다.
도 4는 본 발명의 일 실시예에 따른 움직임 정보의 병합을 나타낸다.
도 4에 도시된 바와 같이, 분산 비디오 복호화부(210)에서 사용되는 블록(410)의 크기와 부호화부(230)에서 사용하는 블록(420)의 크기가 다를 경우 움직임 정보의 병합을 이용하여 부호화부(230)의 움직임 예측을 위한 움직임 정보로 사용할 수 있다. 즉, 상기 PMV 생성부(220)는 상기 분산 비디오 복호화부(210)에서 사용되는 블록(410)의 크기와 상기 부호화부(230)에서 사용되는 블록(420)의 크기가 다를 경우, 상기 부호화부(230)에서 사용되는 블록(420)과 상응하는 상기 분산 비디오 복호화부(210)에서 사용되는 블록(410)들의 움직임 정보를 병합하여 PMV를 생성할 수 있다.
예를 들면, 도 4에 도시된 바와 같이 부호화부(230)에서 사용되는 블록(420)이 16×16 크기의 블록이고, 분산 비디오 복호화부(210)에서 사용되는 블록(410)들이 8×8 크기의 블록인 경우, 상기 분산 비디오 복호화부(210)에서 사용되는 블록(410)들인 블록 a,b,c 및 d의 움직임 정보를 병합하여 상기 부호화부(230)에서 사용되는 블록(420)의 PMV를 생성할 수 있다.
여기서, 상기 PMV 생성부(210)는 하기의 수학식 1 및 수학식 2를 기반으로 상기 움직임 정보를 병합하여 PMV를 생성하는 것을 특징으로 할 수 있다.
Figure 112012017080014-pat00025
단, 여기서
Figure 112012017080014-pat00026
는 상기 분산 비디오 복호화부에서 사용되는 블록들의 움직임 정보,
Figure 112012017080014-pat00027
는 상기 부호화부에서 사용되는 PMV를 나타낸다.
Figure 112012017080014-pat00028
단, 여기서 a,b,c,d는 각각 블록 a, 블록 b, 블록 c 및 블록 d의 움직임 정보를 나타낸다.
따라서, 상기 변환 부호화 장치(200)는 가장 적합한 움직임 정보를 부호화부(230)에서의 움직임 예측을 수행하기 위해 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 GOP 구조와 크기가 상이한 경우의 움직임 정보 선택 방법을 나타낸다.
분산 비디오 부호화 방식에서와 블록 기반 부호화 방식에서의 GOP 구조와 크기가 같다면 키 프레임은 블록 기반 비디오 부호화 방식에서의 화면 내 예측 부호화를 하고 WZ 프레임은 블록 기반 비디오 부호화 방식에서의 화면 간 예측 부호화를 수행할 수 있다. 그러나 상기 두 영상 부호화 방식의 GOP 구조와 크기가 다를 경우에는 도 5에 도시된 바와 같이 분산 비디오 복호화부(210)의 움직임 정보를 부호화부(230)의 움직임 예측에서 사용할 수 있는 정보로 변환해 주어야 한다.
도 5에 도시된 바와 같이 분산 비디오 부호화 방식에서와 블록 기반 부호화 방식에서의 GOP 구조와 크기가 다른 경우 상기 부호화부(230)에서 부호화하려는 부호화 대상 프레임(510)과 인접한 프레임(520)이 아닌 시간상 더 멀리 있는 프레임(530)을 참조 프레임으로 선택할 수 있다. 여기서 상기 n번째 프레임(510)의 움직임 예측을 위해 n-2번째 프레임(530)을 참조 프레임으로 할 경우, n번째 프레임(510)과 n-1번째 프레임(520)간의 움직임 정보(515) 및 n-1번째 프레임(520)와 n-2번째 프레임(530)간의 움직임 정보(525)를 기반으로 상기 n번째 프레임(510)과 n-2번째 프레임(530) 간의 움직임 예측을 수행할 수 있다.
즉, 상기 PMV 생성부(220)는 상기 분산 비디오 복호화부(210)에서 사용되는 GOP의 크기 또는 구조와 상기 부호화부(230)에서 사용되는 GOP의 크기 또는 구조가 다를 경우, 부호화 대상 프레임과 인접하지 않은 프레임을 참조로 움직임 예측을 수행함에 있어, 상기 분산 비디오 복호화부(230)에서 수신한 인접 프레임 간의 움직임 정보를 합산하여 PMV를 생성할 수 있다.
여기서, 상기 PMV 생성부(220)는 하기의 수학식 3 내지 5를 기반으로 상기 PMV를 생성할 수 있다.
Figure 112012017080014-pat00029
단, 여기서
Figure 112012017080014-pat00030
는 n번째 프레임에서 n-2번째 프레임으로의 PMV,
Figure 112012017080014-pat00031
는 n-1번째 프레임에서 n-2번째 프레임 방향으로의 움직임 정보 중에서 선택된 최적의 움직임 정보를 나타낸다.
Figure 112012017080014-pat00032
단, 여기서 k는 PMV 주변의 블록의 번호를 나타낸다.
Figure 112012017080014-pat00033
단, 여기서
Figure 112012017080014-pat00034
는 i번째 프레임의 블록을 나타낸다.
즉, 상기 PMV 생성부(220)는 인접하지 않은 n번째 프레임(510)과 n-2번째 프레임(530) 간의 움직임 예측을 수행함에 있어서, n번째 프레임(510)과 n-1번째 프레임(510)간의 가장 적합한 움직임 정보와, n-1번째 프레임(520)과 n-2번째 프레임(530)간의 가장 적합한 움직인 정보를 결합하는 것이 아니라, n번째 프레임(510)과 n-1번째 프레임(510)간의 가장 적합한 움직임 정보와, n번째 프레임(510)과의 관계를 고려한 n-1번째 프레임(520)과 n-2번째 프레임(530) 간의 가장 적합한 움직임 정보를 결합한 움직임 정보를 PMV로서 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 모드 결정 방법을 나타낸다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 변환 부호화 장치(200)는 분산 비디오 복호화부(210)에서 생성된 움직임 정보를 기반으로 부호화부(230)에서의 예측 모드를 결정할 수 있다. 즉, 상기 변환 부호화 장치(200)는 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부(210) 및 상기 생성된 보조 정보를 기반으로 예측 모드를 결정하여 상기 복호화된 키 프레임 및 WZ 프레임 중 적어도 하나를 블록 기반의 비디오 부호화하는 부호화부(230)를 포함할 수 있다. 여기서, 상기 예측 모드는 상기 부호화부에서 사용하는 블록의 크기를 나타낼 수 있다. 블록의 크기에 따라, 움직임 벡터의 개수가 달라질 수 있다.
도 6에 도시된 바와 같이, 부호화부(230)의 부호화 대상 블록(610)은 예를 들면, 크기가 16×16인 블록을 이용하는 1MV 모드 또는 크기가 8×8인 블록을 이용하는 4MV 모드를 사용할 수 있다. 1MV 모드의 경우 상기 부호화 대상 블록(610)은 1개의 움직임 벡터를 가지게 되며, 4MV 모드의 경우 상기 부호화 대상 블록(610)은 4개의 움직임 벡터를 가지게 된다.
상기 부호화부(230)는 상기 부호화부(230)의 부호화 대상 블록(610)과 상응하는 분산 비디오 복호화부(210)의 블록(620) 및 상기 복호화부의 블록(620)의 주변 블록들(621, 622, 623, 624)의 움직임 정보의 분산을 기반으로 상기 예측 모드를 결정할 수 있다.
여기서, 상기 부호화부는 하기의 수학식 6을 기반으로 상기 예측 모드를 결정할 수 있다.
Figure 112012017080014-pat00035
단, 여기서 Modec는 상기 부호화 대상 블록의 예측 모드, Mode(1MV)는 크기가 16×16인 블록을 이용하는 모드, Mode(4MV)는 크기가 8×8인 블록을 이용하는 모드,
Figure 112012017080014-pat00036
는 상기 부호화 대상 블록과 상응하는 분산 비디오 복호화부의 블록의 움직임 정보 분산, α는 제 1 임계값, β는 제 2 임계값을 나타낸다.
상기 부호화 대상 블록과 상응하는 분산 비디오 복호화부의 블록의 움직임 정보 분산
Figure 112012017080014-pat00037
는 하기의 수학식 7을 기반으로 산출한다.
Figure 112012017080014-pat00038
여기서, j는 도 6에 도시된 바와 같이 주변 블록들(621,622, 623, 624)의 인덱스 번호를 의미한다. 상기 주변 블록은 도 6에 도시된 바에 한정되지 아니하며, 설정에 따라 자유롭게 배치될 수 있다.
상기 수학식 7에서 구한
Figure 112012017080014-pat00039
가 임계값 α보다 작거나 같다면 예측 모드는 1MV 모드로 결정될 수 있고, 임계값 α보다 크고 β보다 작거나 같다면 기존의 방법으로 모든 예측 모드에 대해 RD-Cost를 계산하여 최적의 모드를 결정할 수 있다. 그리고
Figure 112012017080014-pat00040
가 임계값 β보다 크다면 예측 모드는 4MV 모드로 결정될 수 있다. 여기서 임계값 α와 β는 주변 블록의 움직임 정보의 분산으로 결정되며 하기의 수학식 8과 수학식 9을 기반으로 결정될 수 있다.
Figure 112012017080014-pat00041
Figure 112012017080014-pat00042
상기 수학식 8과 9의 i는
Figure 112012017080014-pat00043
를 계산하는 블록의 주변 블록들의 번호를 의미한다. 주변 블록의 움직임 정보의 분산값 중 가장 작은 값은 임계값을 α라하고 가장 큰 값을 β라고 할 수 있다.
따라서, 상기 변환 부호화 장치(200)는 가장 적합한 움직임 정보를 PMV로서 사용할 수 있다.
변환 부호화 방법
도 7은 본 발명의 일 실시예에 따른 변환 부호화 방법의 흐름도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 변환 부호화 방법은 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 방법으로서, 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화 단계(S710) 및 상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 단계(S730)를 포함할 수 있다. 또한, 상기 변환 부호화 방법은 상기 보조 정보를 기반으로 예측 움직임 벡터(Predicted Motion Vector, PMV)를 생성하는 단계(S720)를 더 포함하고, 상기 부호화하는 단계(S730)는 상기 PMV를 기반으로 움직임 예측을 수행하는 것을 특징으로 할 수 있다.
여기서, 상기 부호화하는 단계(S730)는 상기 PMV 주변의 미리 설정된 범위 내에서만 움직임 예측을 수행하는 것을 특징으로 할 수 있고, 상기 미리 설정된 범위는 상기 PMV의 주변 ±1 영역인 것을 특징으로 할 수 있다. 또한, 상기 부호화하는 단계(S730)는 분산 비디오 부호화된 영상의 GOP(Group of Pictures) 구조 또는 크기와 독립적으로 블록 기반 비디오 부호화를 수행하는 것을 특징으로 할 수 있다.
상기 PMV를 생성하는 단계(S720)는 상기 분산 비디오 복호화 단계에서 사용되는 블록 크기와 상기 부호화하는 단계에서 사용되는 블록 크기가 다를 경우, 상기 부호화 단계에서 사용되는 블록과 상응하는 상기 분산 비디오 복호화 단계에서 사용되는 블록들의 움직임 정보를 병합하여 PMV를 생성할 수 있다. 여기서, 상기 PMV를 생성하는 단계(S720)는 상기의 수학식 1 내지 2를 기반으로 상기 움직임 정보를 병합하여 PMV를 생성할 수 있다.
또한, 상기 PMV를 생성하는 단계(S720)는 상기 분산 비디오 복호화 단계(S710)에서 사용되는 GOP의 크기 또는 구조와 상기 부호화하는 단계(S730)에서 사용되는 GOP의 크기 또는 구조가 다를 경우, 부호화 대상 프레임과 인접하지 않은 프레임을 참조로 움직임 예측을 수행함에 있어, 상기 분산 비디오 복호화 단계에서 수신한 인접 프레임 간의 움직임 정보를 합산하여 PMV를 생성할 수 있다. 여기서, 상기 PMV를 생성하는 단계(S730)는 상기의 수학식 3 내지 5를 기반으로 상기 PMV를 생성할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 변환 부호화 방법의 흐름도이다.
도 8에 도시된 바와 같이 본 발명의 다른 실시예에 따른 변환 부호화 방법은 키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화 단계(S810) 및 상기 생성된 보조 정보를 기반으로 예측 모드를 결정하여 상기 복호화된 키 프레임 및 WZ 프레임 중 적어도 하나를 블록 기반의 비디오 부호화하는 단계(S820)를 포함할 수 있다. 여기서, 상기 예측 모드는 상기 부호화하는 단계(S820)에서 사용하는 블록의 크기를 나타낼 수 있다.
상기 부호화하는 단계(S820)는 상기 부호화하는 단계의 부호화 대상 블록과 상응하는 분산 비디오 복호화 단계의 블록 및 상기 상응하는 분산 비디오 복호화 단계의 블록 주변의 블록들의 움직임 정보의 분산을 기반으로 상기 예측 모드를 결정할 수 있다. 여기서, 상기 부호화하는 단계(S820)는 상기의 수학식 6을 기반으로 상기 예측 모드를 결정할 수 있다.
본 발명의 실시예에 따른 변환 부호화 방법의 구체적인 특징은 전술한 변환 부호화 장치의 구성과 동일하다.
110 : 분산 비디오 복호화부 120: 부호화부
200 : 변환 부호화 장치 210 : 분산 비디오 복호화부
220 : PMV 생성부 230 : 부호화부
410 : 분산 비디오 복호화부의 블록 420 : 부호화부의 블록
610 : 부호화 대상 블록
620 : 부호화 대상 블록과 상응하는 블록
621 : 주변 블록

Claims (26)

  1. 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치에 있어서,
    키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부; 및
    상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 부호화부를 포함하되, 상기 부호화부는 분산 비디오 부호화된 영상의 GOP(Group of Pictures) 구조 또는 크기와 독립적으로 블록 기반 비디오 부호화를 수행하는 것을 특징으로 하는 변환 부호화 장치.
  2. 제 1항에 있어서, 상기 변환 부호화 장치는
    상기 보조 정보를 기반으로 예측 움직임 벡터(Predicted Motion Vector, PMV)를 생성하는 PMV 생성부를 더 포함하고,
    상기 부호화부는 상기 PMV를 기반으로 움직임 예측을 수행하는 것을 특징으로 하는 변환 부호화 장치.
  3. 제 2항에 있어서, 상기 부호화부는
    상기 PMV 주변의 미리 설정된 범위 내에서만 움직임 예측을 수행하는 것을 특징으로 하는 변환 부호화 장치.
  4. 제 3항에 있어서, 상기 미리 설정된 범위는
    상기 PMV의 주변 ±1 영역인 것을 특징으로 하는 변환 부호화 장치.
  5. 삭제
  6. 제 2항에 있어서, 상기 PMV 생성부는
    상기 분산 비디오 복호화부에서 사용되는 블록 크기와 상기 부호화부에서 사용되는 블록 크기가 다를 경우, 상기 부호화부에서 사용되는 블록과 상응하는 상기 분산 비디오 복호화부에서 사용되는 블록들의 움직임 정보를 병합하여 PMV를 생성하는 것을 특징으로 하는 변환 부호화 장치.
  7. 제 6항에 있어서, 상기 PMV 생성부는
    하기의 수학식
    Figure 112012017080014-pat00044

    - 단, 여기서
    Figure 112012017080014-pat00045
    는 상기 분산 비디오 복호화부에서 사용되는 블록들의 움직임 정보,
    Figure 112012017080014-pat00046
    는 상기 부호화부에서 사용되는 PMV를 나타내고
    Figure 112012017080014-pat00047
    를 나타냄 - 을 기반으로 상기 움직임 정보를 병합하여 PMV를 생성하는 것을 특징으로 하는 변환 부호화 장치.
  8. 제 2항에 있어서, 상기 PMV 생성부는
    상기 분산 비디오 복호화부에서 사용되는 GOP의 크기 또는 구조와 상기 부호화부에서 사용되는 GOP의 크기 또는 구조가 다를 경우, 부호화 대상 프레임과 인접하지 않은 프레임을 참조로 움직임 예측을 수행함에 있어, 상기 분산 비디오 복호화부에서 수신한 인접 프레임 간의 움직임 정보를 합산하여 PMV를 생성하는 것을 특징으로 하는 변환 부호화 장치.
  9. 제 8항에 있어서, 상기 PMV 생성부는
    하기의 수학식
    Figure 112012017080014-pat00048

    - 단, 여기서
    Figure 112012017080014-pat00049
    는 n번째 프레임에서 n-2번째 프레임으로의 PMV,
    Figure 112012017080014-pat00050
    는 n-1번째 프레임에서 n-2번째 프레임 방향으로의 움직임 정보 중에서 선택된 최적의 움직임 정보를 나타냄 - 및 하기의 수학식
    Figure 112012017080014-pat00051

    - 단, 여기서 k는 PMV 주변의 블록의 번호를 나타냄 - 및 하기의 수학식
    Figure 112012017080014-pat00052

    -단, 여기서
    Figure 112012017080014-pat00053
    는 i번째 프레임의 블록을 나타냄 - 을 기반으로 상기 PMV를 생성하는 것을 특징으로 하는 변환 부호화 장치.
  10. 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 장치에 있어서,
    키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화부; 및
    상기 생성된 보조 정보를 기반으로 예측 모드를 결정하여 상기 복호화된 키 프레임 및 WZ 프레임 중 적어도 하나를 블록 기반의 비디오 부호화하는 부호화부를 포함하는 것을 특징으로 하는 변환 부호화 장치.
  11. 제 10항에 있어서, 상기 예측 모드는
    상기 부호화부에서 사용하는 블록의 크기를 나타내는 것을 특징으로 하는 변환 부호화 장치.
  12. 제 10항에 있어서, 상기 부호화부는
    상기 부호화부의 부호화 대상 블록과 상응하는 분산 비디오 복호화부의 블록 및 상기 복호화부의 블록의 주변 블록들의 움직임 정보의 분산을 기반으로 상기 예측 모드를 결정하는 것을 특징으로 하는 변환 부호화 장치.
  13. 제 12항에 있어서, 상기 부호화부는
    하기의 수학식
    Figure 112012017080014-pat00054

    -단, 여기서 Modec는 상기 부호화 대상 블록의 예측 모드, Mode(1MV)는 크기가 16×16인 블록을 이용하는 모드, Mode(4MV)는 크기가 8×8인 블록을 이용하는 모드,
    Figure 112012017080014-pat00055
    는 상기 부호화 대상 블록과 상응하는 분산 비디오 복호화부의 블록의 움직임 정보 분산, α는 제 1 임계값, β는 제 2 임계값을 나타냄 - 을 기반으로 상기 예측 모드를 결정하는 것을 특징으로 하는 변환 부호화 장치.
  14. 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 방법에 있어서,
    키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화 단계; 및
    상기 복호화된 WZ 프레임 및 키 프레임 중 적어도 하나를 상기 생성된 보조 정보를 기반으로 움직임 예측을 수행하여 블록 기반의 비디오 부호화하는 단계를 포함하되, 상기 부호화하는 단계는
    분산 비디오 부호화된 영상의 GOP(Group of Pictures) 구조 또는 크기와 독립적으로 블록 기반 비디오 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 변환 부호화 방법.
  15. 제 14항에 있어서, 상기 변환 부호화 방법은
    상기 보조 정보를 기반으로 예측 움직임 벡터(Predicted Motion Vector, PMV)를 생성하는 단계를 더 포함하고,
    상기 부호화하는 단계는 상기 PMV를 기반으로 움직임 예측을 수행하는 것을 특징으로 하는 변환 부호화 방법.
  16. 제 15항에 있어서, 상기 부호화하는 단계는
    상기 PMV 주변의 미리 설정된 범위 내에서만 움직임 예측을 수행하는 것을 특징으로 하는 변환 부호화 방법.
  17. 제 16항에 있어서, 상기 미리 설정된 범위는
    상기 PMV의 주변 ±1 영역인 것을 특징으로 하는 변환 부호화 방법.
  18. 삭제
  19. 제 15항에 있어서, 상기 PMV를 생성하는 단계는
    상기 분산 비디오 복호화 단계에서 사용되는 블록 크기와 상기 부호화하는 단계에서 사용되는 블록 크기가 다를 경우, 상기 부호화 단계에서 사용되는 블록과 상응하는 상기 분산 비디오 복호화 단계에서 사용되는 블록들의 움직임 정보를 병합하여 PMV를 생성하는 것을 특징으로 하는 변환 부호화 방법.
  20. 제 19항에 있어서, 상기 PMV를 생성하는 단계는
    하기의 수학식
    Figure 112012017080014-pat00056

    - 단, 여기서
    Figure 112012017080014-pat00057
    는 상기 분산 비디오 복호화 단계에서 사용되는 블록들의 움직임 정보,
    Figure 112012017080014-pat00058
    는 상기 부호화하는 단계에서 사용되는 PMV를 나타내고
    Figure 112012017080014-pat00059
    를 나타냄 - 을 기반으로 상기 움직임 정보를 병합하여 PMV를 생성하는 것을 특징으로 하는 변환 부호화 방법.
  21. 제 15항에 있어서, 상기 PMV를 생성하는 단계는
    상기 분산 비디오 복호화 단계에서 사용되는 GOP의 크기 또는 구조와 상기 부호화하는 단계에서 사용되는 GOP의 크기 또는 구조가 다를 경우, 부호화 대상 프레임과 인접하지 않은 프레임을 참조로 움직임 예측을 수행함에 있어, 상기 분산 비디오 복호화 단계에서 수신한 인접 프레임 간의 움직임 정보를 합산하여 PMV를 생성하는 것을 특징으로 하는 변환 부호화 방법.
  22. 제 21항에 있어서, 상기 PMV를 생성하는 단계는
    하기의 수학식
    Figure 112012017080014-pat00060

    - 단, 여기서
    Figure 112012017080014-pat00061
    는 n번째 프레임에서 n-2번째 프레임으로의 PMV,
    Figure 112012017080014-pat00062
    는 n-1번째 프레임에서 n-2번째 프레임 방향으로의 움직임 정보 중에서 선택된 최적의 움직임 정보를 나타냄 - 및 하기의 수학식
    Figure 112012017080014-pat00063

    - 단, 여기서 k는 PMV 주변의 블록의 번호를 나타냄 - 및 하기의 수학식
    Figure 112012017080014-pat00064

    -단, 여기서
    Figure 112012017080014-pat00065
    는 i번째 프레임의 블록을 나타냄 - 을 기반으로 상기 PMV를 생성하는 것을 특징으로 하는 변환 부호화 방법.
  23. 분산 비디오 부호화 방식의 영상을 블록 기반 비디오 부호화 방식의 영상으로 변환하기 위한 변환 부호화 방법에 있어서,
    키 프레임을 복호화하고 상기 키 프레임을 기반으로 보조 정보를 생성하며 상기 보조 정보를 이용하여 WZ 프레임을 복호화하는 분산 비디오 복호화 단계; 및
    상기 생성된 보조 정보를 기반으로 예측 모드를 결정하여 상기 복호화된 키 프레임 및 WZ 프레임 중 적어도 하나를 블록 기반의 비디오 부호화하는 단계를 포함하는 것을 특징으로 하는 변환 부호화 방법.
  24. 제 23항에 있어서, 상기 예측 모드는
    상기 부호화하는 단계에서 사용하는 블록의 크기를 나타내는 것을 특징으로 하는 변환 부호화 방법.
  25. 제 23항에 있어서, 상기 부호화하는 단계는
    상기 부호화하는 단계의 부호화 대상 블록과 상응하는 분산 비디오 복호화 단계의 블록 및 상기 상응하는 분산 비디오 복호화 단계의 블록 주변의 블록들의 움직임 정보의 분산을 기반으로 상기 예측 모드를 결정하는 것을 특징으로 하는 변환 부호화 방법.
  26. 제 25항에 있어서, 상기 부호화하는 단계는
    하기의 수학식
    Figure 112012017080014-pat00066

    -단, 여기서 Modec는 상기 부호화 대상 블록의 예측 모드, Mode(1MV)는 크기가 16×16인 블록을 이용하는 모드, Mode(4MV)는 크기가 8×8인 블록을 이용하는 모드,
    Figure 112012017080014-pat00067
    는 상기 부호화 대상 블록과 상응하는 분산 비디오 복호화 단계의 블록의 움직임 정보 분산, α는 제 1 임계값, β는 제 2 임계값을 나타냄 - 을 기반으로 상기 예측 모드를 결정하는 것을 특징으로 하는 변환 부호화 방법.
KR1020120021430A 2012-02-29 2012-02-29 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법 KR101347749B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120021430A KR101347749B1 (ko) 2012-02-29 2012-02-29 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120021430A KR101347749B1 (ko) 2012-02-29 2012-02-29 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130099719A KR20130099719A (ko) 2013-09-06
KR101347749B1 true KR101347749B1 (ko) 2014-01-14

Family

ID=49450970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021430A KR101347749B1 (ko) 2012-02-29 2012-02-29 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101347749B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101071725B1 (ko) * 2010-05-11 2011-10-11 한국항공대학교산학협력단 움직임 정보 피드백을 이용한 분산 비디오 코덱

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101071725B1 (ko) * 2010-05-11 2011-10-11 한국항공대학교산학협력단 움직임 정보 피드백을 이용한 분산 비디오 코덱

Also Published As

Publication number Publication date
KR20130099719A (ko) 2013-09-06

Similar Documents

Publication Publication Date Title
KR101920354B1 (ko) 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
JP6518274B2 (ja) 映像復号化方法および映像符号化方法
KR100678911B1 (ko) 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4819024B2 (ja) 画像符号化・復号化方法及びシステム
JP6210948B2 (ja) 画像推定方法
KR101462637B1 (ko) 영상 부호화/복호화 방법 및 장치
Zhou et al. Distributed video coding using interval overlapped arithmetic coding
Chiu et al. Hybrid distributed video coding with frame level coding mode selection
KR101673025B1 (ko) 전 방위 기반의 인트라 예측 부호화/복호화 장치 및 방법
Abou-Elailah et al. Improved side information generation for distributed video coding
KR101347749B1 (ko) 분산 비디오 부호화에서 블록 기반 비디오 부호화로의 변환 부호화 장치 및 방법
Abou-Elailah et al. Successive refinement of motion compensated interpolation for transform-domain distributed video coding
KR20080013843A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR101075776B1 (ko) 트랜스코딩 방법 및 그 장치
Badem et al. Transform domain residual coding technique for distributed video coding
Park et al. Multiple channel division for efficient distributed video coding
Nguyen et al. Artificial Intelligence Based Adaptive GOP Size Selection for Effective Wyner-Ziv Video Coding
Li et al. Multi-hypothesis based multi-view distributed video coding
KR101653827B1 (ko) 비디오 부호화 장치, 비디오 복호화 장치, 비디오 부호화 방법 및 비디오 복호화 방법
Reddy et al. Syndrome coding of video with LDPC codes
KR101059318B1 (ko) 분산 비디오 부호화/복호화 방법, 분산 비디오 부호화/복호화 장치 및 변환 부호화 장치
KR20110049586A (ko) 툴 셋을 이용한 영상 부호화/복호화 방법 및 장치
KR20120041440A (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 6