KR100958342B1 - 비디오 부호화/복호화 방법 및 장치 - Google Patents

비디오 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR100958342B1
KR100958342B1 KR1020080100623A KR20080100623A KR100958342B1 KR 100958342 B1 KR100958342 B1 KR 100958342B1 KR 1020080100623 A KR1020080100623 A KR 1020080100623A KR 20080100623 A KR20080100623 A KR 20080100623A KR 100958342 B1 KR100958342 B1 KR 100958342B1
Authority
KR
South Korea
Prior art keywords
image
subsampled
encoding
decoding
predictive
Prior art date
Application number
KR1020080100623A
Other languages
English (en)
Other versions
KR20100041441A (ko
Inventor
허재호
한동훈
이영렬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020080100623A priority Critical patent/KR100958342B1/ko
Publication of KR20100041441A publication Critical patent/KR20100041441A/ko
Application granted granted Critical
Publication of KR100958342B1 publication Critical patent/KR100958342B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 저비트율 비디오 부호화에서 다상 분해(polyphase decomposition)를 이용한 이산여현변환 기반 화면내 예측 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명에 의한 비디오 부호화 방법은 2차원의 원래 영상을 표본화 위치에 따라 분해하여 복수개의 부표본화 영상(subsampled image)을 생성하는 단계와, 상기 복수개의 부표본화 영상 중 적어도 하나를 다른 부표본화 영상에 대해 예측 부호화하는 단계를 포함한다. 이러한 본 발명에 의하면 하나의 화면내에서도 예측 부호화를 수행하여 복원된 영상과 원래 영상간의 왜곡을 줄일 수 있다.
비디오, 부호화, 다상 분해, 이산여현변환, 예측 부호화, 부표본화 영상

Description

비디오 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING VIDEO}
본 발명은 비디오 부호화/복호화 방법 및 장치에 관한 것으로서, 특히 저비트율 비디오 부호화에서 다상 분해(polyphase decomposition)를 이용한 이산여현변환 기반 화면내 예측 부호화/복호화 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)의 부호화 툴 중에서 움직임 보상(motion compensation)은 쌍방향 예측을 사용한다. 쌍방향 예측을 수행하기 위해 MPEG은 I 픽처, P 픽처, B 픽처 등의 세가지 타입을 규정하고 있다. I 픽처는 프레임내(Intra) 부호화 영상, P 픽처는 프레임간 순방향 예측(Predictive) 부호화 영상, B 픽처는 쌍방향 예측(Bidirectionally Predictive) 부호화 영상의 약칭이다. I 픽처는 GOP(Group of Pictures)의 독립성을 유지하기 위한 것이지만, P 픽처와 B 픽처도 화면 내의 매크로블록 단위의 어떤 부분에서는 인트라(Intra)로 부호화될 수 있다. 화면 모두를 인트라 부호화하는 화면이 I 픽처이고, I 픽처와 P 픽처는 원래 영상과 같은 순서로 부호화된다. 그러나 B 픽처의 처리는 좀 달라서, I 픽처와 P 픽처를 먼저 처리한 후 곧이어 그 사이에 삽입되는 B 픽처를 부호화한다.
그런데 이러한 I, P, B 픽처는 하나의 화면(또는 프레임)을 단위로 하므로 기존의 예측 부호화는 P 픽처와 B 픽처에 대해 수행되는 화면간 예측 부호화이다.
따라서 본 발명은 하나의 화면내에서 예측 부호화를 수행하여 복원된 영상과 원래 영상간의 왜곡을 줄이는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 바와 같은 목적을 달성하기 위한 본 발명은 비디오 부호화 방법에 있어서, 2차원의 원래 영상을 표본화 위치에 따라 분해하여 복수개의 부표본화 영상(subsampled image)을 생성하는 단계와, 상기 복수개의 부표본화 영상 중 적어도 하나를 다른 부표본화 영상에 대해 예측 부호화하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 비디오 복호화 방법에 있어서, 복수의 부표본화 영상 중 하나의 부표본화 영상에 대해 화면내 복호화를 수행하는 단계와, 상기 하나의 부표본화 영상의 복호화된 영상을 이용하여 다른 부표본화 영상에 대해 예측 복호화를 수행하는 단계와, 상기 복호화된 부표본화 영상들을 표본화 위치에 따라 조립하여 2 차원의 원래 영상을 생성하는 단계를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 비디오 부호화 장치에 있어서, 2차원의 원래 영상을 표본화 위치에 따라 분해하여 복수개의 부표본화 영상(subsampled image)을 생성하는 영상 분해부와, 상기 복수개의 부표본화 영상 중 적어도 하나를 다른 부표본화 영상에 대해 예측 부호화하는 예측 부호화부를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 비디오 복호화 장치에 있어서, 복수의 부표본화 영상 중 하나의 부표본화 영상에 대해 화면내 복호화를 수행하는 화면내 복호화부와, 상기 하나의 부표본화 영상의 복호화된 영상을 이용하여 다른 부표본화 영상에 대해 예측 복호화를 수행하는 예측 복호화부와, 상기 복호화된 부표본화 영상들을 표본화 위치에 따라 조립하여 2차원의 원래 영상을 생성하는 영상 합성부를 포함하는 것을 또 다른 특징으로 한다.
이러한 구성의 본 발명에 의하면 하나의 화면내에서도 예측 부호화를 수행하여 복원된 영상과 원래 영상간의 왜곡을 줄일 수 있다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명 과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 의한 비디오 부호화 장치의 구성도이다. 도시된 바와 같이, 비디오 부호화 장치(100)는 영상 분해부(102), 부호화 제어부(104), 화면내 부호화부(106), 화면내 복호화부(108), 메모리부(110), 예측 부호화부(112), 스위치(114), 엔트로피 부호화부(114)를 구비하고 있다. 도 2 내지 도 6를 함께 참조하여 비디오 부호화 장치(100)의 동작을 설명한다.
도 2는 본 발명의 일 실시예에 의한 비디오 부호화 방법의 흐름도이다.
먼저, 영상 분해부(102)는 2차원의 원래 영상을 표본화 위치에 따라 분해하여 복수개의 부표본화 영상(subsampled image)을 생성한다(202). 도 3은 도 2에서의 단계 202의 상세 흐름도이다.
영상 분해부(102)는 2차원의 원래 영상을 표본화 위치에 따라 블록 단위로 다상 분해한다(302). 본 실시예에서는 4가지의 위치에 따라 영상 표본(sample)을 다상 분해하며, 다음의 수학식 1을 이용하여 다상 분해된 영상 신호를 얻는다.
Figure 112008071455981-pat00001
여기서 C는 영상 신호의 각 성분을 나타내며, 휘도 신호(Y)와 색차 신호(Cb, Cr)가 대상이 될 수 있다. SC[x,y]는 원점 (0,0) 이 좌측 상단인 좌표계의 원래 영상 C 성분의 수평 위치 x, 수직 위치 y에 존재하는 블록의 화소값을 나타낸다. SC,M (m,n)는 원점 (0,0) 이 좌측 상단인 좌표계의 수평 위치 m, 수직 위치 n을 시작점으로 하여 각각 M의 주기로 부표본화된 영상의 C 성분의 수평 위치 x, 수직 위치 y에 존재하는 블록의 화소값을 나타낸다. W와 H는 각각 원영상의 수평과 수직 크기를 나타낸다.
단계 302에서 생성된 블록을 주기적인 패턴으로 조립한다(304). 본 실시예에서는 2차원 영상을 각 성분에 대하여 4가지의 위치에 따라 다상 분해를 수행하며, 따라서 M은 2로 설정된다. 결과적으로 다음의 수학식 2를 통하여 4개의 다상 분해된 부표본화 영상 신호를 얻을 수 있다.
Figure 112008071455981-pat00002
도 4는 2차원의 원래 영상을 4개의 부표본화된 영상으로 분해하는 방법을 설명하는 도면으로서, W와 H가 각각 8인 영상 신호의 경우이다.
다음에는 단계 202에서 생성된 부표본화 영상들을 순차적으로 부호화한다. 본 실시예에서는 M=2의 다상 분해 방법을 통하여 얻어진 4개의 부표본화된 영상들을 순차적으로 부호화 하는데, 이 4개의 부표본화된 영상들은 총 24가지 방법으로 부호화 순서가 결정될 수 있다. 여기서는 설명의 단순화를 위해 수학식 3과 같이 부호화 순서를 결정한다.
Figure 112008071455981-pat00003
여기서 SC n은 n번째 부표본화된 영상의 C 성분을 나타낸다.
부호화 순서가 결정되면, 첫번째 부표본화된 영상(SC 1)을 위한 부호화 방법과 나머지 3개의 부표본화된 영상들(SC 2,SC 3,SC 4)을 위한 부호화 방법으로 수행된다.
먼저, 첫번째 부표본화된 영상(SC 1)에 대해서는 화면내 부호화부(106)에서 모든 블록에 대해 기존의 화면내 부호화 방식을 그대로 사용하여 부호화한다.예를 들면, JPEG이나 MPEG의 화면내 부호화 방식(Intra Coding)이 그대로 이용될 수 있다. 본 실시예에서는 기존의 블록 이산여현변환 기반 화면내 부호화 방식으로 첫번째 부표본화된 영상(SC 1)에 대해 부호화를 수행한 후, 다음 부표본화 영상의 예측 부호화를 위해서 화면내 복호화부(108)에서 복호화를 수행하여 복원 영상을 메모리부(110)에 저장한다(204).
다음에는 나머지 3개의 부표본화된 영상들(SC 2,SC 3,SC 4)에 대해 부호화를 수행한다(206).
기존의 화면내 부호화 방식과 바로 이전에 부호화된 후 다시 복호화된 부표본화 영상을 예측 신호로 사용하여 부호화하는 새로운 방식을 각 블록에 대하여 적응적으로 수행한다. 따라서 각 블록에 대하여 기존의 화면내 부호화 방식에서 정의된 블록 모드에 새로운 부호화 방식의 사용을 나타내는 블록 모드가 추가된다. 여기서 새로운 부호화 방식을 나타내는 모드를 POLYPHASE_PRED_MODE라고 정의한다.
POLYPHASE_PRED_MODE에서는 이전에 부호화된 후 다시 복호화되어 복원된 부표본화 영상을 예측 신호로 사용을 하는데, 복원된 부표본화 영상이 그대로 사용되는 것이 아니라, 도 5에 도시된 바와 같이 4분의 1화소까지 보간(4배 확장)되어 사용된다. 보간을 위하여 기존의 여러가지 보간필터(interpolation filter)들이 사용될 수 있다.
이전에 복원된 부표본화 영상을 보간한 후, 현재 부호화하고자 하는 부표본화 영상 내의 현재 블록을 대상으로 보간된 부표본화 영상에 대하여 미리 정의된 각 지점들을 블록 단위로 탐색하여 현재 블록과 최소의 왜곡을 갖는 2차원(수평, 수직) 변위를 구해낸다. 여기서 탐색 지점의 영역은 현재 부호화하고자 하는 부표본화 영상의 블록과 동일 위치를 갖는 복원된 부표본화 영상내 블록 위치의 주변 1/2 화소와 1/4 화소들의 위치로서, 즉 수평 및 수직에 대하여 1/4 화소 단위의 ±3으로 정의된다.
도 6은 블록의 좌측 상단 화소를 기준으로 하여 각 탐색 지점을 도시한다.
탐색을 위하여 MSE(Mean Square Error)를 포함한 다양한 척도가 사용될 수 있으며, 휘도 신호와 색차 신호 모두에 적용되는 1개의 2차원 변위를 구한다.
상기의 탐색 과정에 따라, 현재 블록과 비교하여 최소 왜곡을 갖는 지점의 보간된 부표본화 영상내의 블록을 최종적인 예측 블록으로 사용하며, 수학식 4와 같이, 현재 블록과 예측 블록을 차분한 잔여 블록을 이산여현변환과 양자화하여 부호화한다.
Figure 112008071455981-pat00004
여기서
Figure 112008071455981-pat00005
는 n 번째의 복원된 부표본화 영상의 C 성분을 나타내며, RC n,i은 n 번째의 부표본화 영상의 C 성분에 대한 i 번째 블록의 잔여 신호를 나타낸다. DCT(·)와 Q(·)는 각각 블록 단위의 이산여현변환 함수와 양자화 함수를 나타내며,
Figure 112008071455981-pat00006
은 RC n,i의 이산여현변환 및 양자화된 잔여 신호이다. Δx와 Δy는 각각 2차원 변위의 수평 및 수직 성분을 나타낸다.
결과적으로, 새로운 부호화 방식을 사용하는 블록 모드의 경우, 보간된 이전 부표본화 영상내 예측 블록의 위치를 나타내는 2차원 변위와 잔여 신호를 함께 엔 트로피 부호화 한다. 또한, 사용의 여부에 따라서 다수의 이전에 복호화된 부표본화 영상들을 선택적으로 예측에 사용하는 경우, 어떠한 부표본화 영상을 예측에 사용하였는지에 대한 지시자가 함께 포함될 수 있다.
추가적으로 POLYPHASE_SKIP_MODE는 POLYPHASE_PRED_MODE와 함께 선택적으로 사용되는 모드로써, POLYPHASE_PRED_MODE와 유사하게 이전 부표본화 영상으로부터 예측 블록을 얻는다. 하지만, 2차원 변위를 주변 블록으로부터 예측하여 사용하며, 잔여 블록을 부호화하지 않는다. 기존의 H.264/AVC의 화면간 부호화에서 사용되는 SKIP 모드와 거의 동일한 방식이다.
상기의 부호화 과정을 통하여 생성된 4개의 부호화된 부표본화 영상들은 부호화 순서대로 비트스트림에 위치하게 된다.
두번째 부표본화된 영상에 대해 부호화 제어부(104)는 스위치(114)를 제어하여 화면내 부호화부(106)에서의 블록 이산여현변환(Discrete Cosine Transform: DCT) 기반 부호화, 또는 예측 부호화부(112)에서의 이전에 복호화된 첫번째 부표본화 영상을 예측 신호로 이용한 예측 부호화 및 화면내 부호화부(106)에서의 블록 이산여현변환 기반 부호화를 블록마다 적응적으로 수행한다. 그 후 부표본화 영상의 예측 부호화를 위해서 화면내 복호화부(108)에서 복호화를 수행하여 복원된 부표본화 영상을 메모리부(110)에 저장한다. 부호화 장치(100)는 현재 블록이 상기의 두가지 방법 가운데 어느 방법을 사용하였는지에 대한 모드 정보를 생성하고 함께 부호화하여 복호화 장치에 전달할 수 있다(208).
세번째 부표본화된 영상에 대해서는 블록 이산여현변환 기반 화면내 부호화, 또는 이전에 복호화된 첫번째 또는 두번째 부표본화 영상을 예측 신호로 이용한 예측 부호화 및 블록 이산여현변환 기반 부호화를 블록마다 적응적으로 수행한다. 그 후 다음 부표본화 영상의 예측 부호화를 위해서 복호화를 수행하여 복원된 부표본화 영상을 저장한다. 부호화 장치(100)는 현재 블록이 상기의 두가지 방법 가운데 어느 방법을 사용하였는지에 대한 모드 정보와, 복원된 부표본화 영상들 가운데 어느 것을 사용하여 예측하였는지에 대한 인덱스 정보를 함께 부호화하여 복호화 장치에 전달할 수 있다(208).
네번째 부표본화된 영상에 대해서는 블록 이산여현변환 기반 화면내 부호화, 또는 이전의 복호화된 첫번째 또는 두번째 또는 세번째 부표본화 영상을 예측 신호로 이용한 예측 부호화 및 블록 이산여현변환 기반 부호화를 블록마다 적응적으로 수행한다. 부호화 장치(100)는 현재 블록이 상기의 두가지 방법 가운데 어느 방법을 사용하였는지에 대한 모드 정보와, 복원된 부표본화 영상들 가운데 어느 것을 사용하여 예측하였는지에 대한 인덱스 정보를 함께 부호화하여 복호화 장치에 전달할 수 있다.
다음에는 엔트로피 부호화부(116)에서 엔트로피 인코딩을 수행하여 비트스트림을 생성하고(210) 부호화를 종료한다.
도 7은 본 발명의 일 실시예에 의한 비디오 복호화 장치의 구성도이다. 도시된 바와 같이, 비디오 복호화 장치(700)는 엔트로피 복호화부(702), 복호화 제어부(704), 화면내 부호화부(706), 예측 부호화부(708), 메모리부(710), 스위치(712), 영상 합성부(714)를 구비하고 있다. 도 8를 함께 참조하여 비디오 복호화 장치(700)의 동작을 설명한다.
도 8은 본 발명의 일 실시예에 의한 비디오 복호화 방법의 흐름도이다.
먼저 비디오 부호화 장치(100)으로부터 생성된 비트 스트림에 대해 엔트로피 복호화부(702)에서 엔트로피 디코딩을 수행하고, 비트 스트림을 해석한다(802).
다음에는 4개의 부표본화된 영상의 압축된 비트 스트림에 대해 부표본화된 영상 단위로 순차적으로 복호화를 수행한다. 우선 첫번째 부표본화된 영상에 대해 화면내 복호화부(706)에서 기존의 블록 이산여현변환 기반 화면내 복호화를 수행한 후, 다음 부표본화된 영상의 예측 신호로 사용하기 위하여 복원된 부표본화 영상을 메모리부(710)에 저장한다(804).
첫번째 부표본화된 영상에 대해서는 모든 블록에 대하여 기존의 화면내 복호화 방식을 그대로 사용한다. 예를 들면, JPEG 이나 MPEG의 화면내 복호화 방식이 그대로 이용될 수 있다.
다음에는 나머지 3개의 부표본화된 영상들에 대해 복호화를 수행한다. 현재 복호화하고자 하는 블록이 POLYPHASE_PRED_MODE인 경우, 비디오 부호화 장치(100)로부터 전달받은 2차원 변위(사용 여부에 따라 예측에 사용되는 이전에 복원된 부표본화 영상을 선택하기 위한 지시자 또한 사용 가능)를 사용하여 현재 블록의 복호화를 위한 예측 블록을 생성한다. 부호화 과정에서의 보간과 동일한 방식으로 이전에 복호화된 부표본화 영상을 보간하며, 2차원 변위가 가리키는 위치의 블록을 예측 블록으로 사용한다. 그리고 전달된 잔여 블록에 대하여 역양자화와 역이산여현변환을 수행하며, 잔여 블록과 예측 블록을 더함으로써 현재 블록을 복원한다. 이러한 과정을 수학식 5와 같이 나타낼 수 있다.
Figure 112008071455981-pat00007
여기서 IQ(·)와 IDCT(·)는 각각 역양자화 함수와 역이산여현변환 함수를 나타내며,
Figure 112008071455981-pat00008
은 n 번째의 부표본화 영상의 C 성분에 대한 i 번째 블록의 역양자화 및 역이산여현변환된 잔여 블록을 나타낸다.
현재 복호화하고자 하는 블록이 POLYPHASE_SKIP_MODE인 경우, 2차원 변위를 주변 블록으로부터 예측(기존의 움직임 변위 예측 방법 사용)하여 사용하며, 예측된2차원 변위를 이용하여 예측 블록을 얻어내며, 그 예측 블록 그대로를 복원 블록으로 사용한다.
우선 두번째 부표본화된 영상에 대해 복호화를 수행한다. 비디오 부호화 장치(100)로부터 생성되어 전달된 비트 스트림으로부터 엔트로피 복호화부(702)에 의해 생성된 모드 정보는 복호화 제어부(704)에 제공되며(804), 복호화 제어부(704)는 모드 정보에 따라 스위치(712)를 제어하여 화면내 복호화부(706)에서의 두번째 부표본화된 영상에 대해 블록 이산여현변환 기반 화면내 복호화, 또는 예측 복호화부(708)에서의 이전에 복호화된 첫번째 부표본화 영상을 이용한 예측 부호화 및 화면내 복호화부(706)에서의 이산여현변환 기반 복호화가 블록마다 적응적으로 수행 되도록 한다. 두번째 부표본화된 영상의 복원된 영상은 다음 부표본화 영상의 예측 신호로 사용하기 위하여 메모리부(710)에 저장된다(808).
다음에는 세번째 부표본화된 영상에 대해 복호화를 수행한다. 비디오 부호화 장치(100)로부터 생성되어 전달된 비트 스트림으로부터 엔트로피 복호화부(702)에 의해 생성된 모드 정보와 인덱스 정보는 복호화 제어부(704)에 제공되며(804), 복호화 제어부(704)는 모드 정보와 인덱스 정보에 따라 세번째 부표본화된 영상에 대해 블록 이산여현변환 기반 화면내 복호화, 또는 첫번째 또는 두번째의 복원된 부표본화 영상을 이용한 예측 부호화 및 이산여현변환 기반 복호화가 블록마다 적응적으로 수행되도록 한다. 세번째 부표본화된 영상의 복원된 영상은 다음 부표본화 영상의 예측 신호로 사용하기 위하여 메모리부(710)에 저장된다(808).
다음에는 네번째 부표본화된 영상에 대해 복호화를 수행한다. 비디오 부호화 장치(100)로부터 생성되어 전달된 비트 스트림으로부터 엔트로피 복호화부(702)에 의해 생성된 모드 정보와 인덱스 정보는 복호화 제어부(704)에 제공되며(804), 복호화 제어부(704)는 모드 정보와 인덱스 정보에 따라 네번째 부표본화된 영상에 대해 블록 이산여현변환 기반 화면내 복호화, 또는 첫번째 또는 두번째 또는 세번째의 복원된 부표본화 영상을 이용한 예측 부호화 및 이산여현변환 기반 복호화가 블록마다 적응적으로 수행되도록 한다.
다음에는 영상 합성부(714)에서 4개의 복원된 부표본화 영상을 표본화 위치에 따라 합성(또는 조립)하여 2차원의 원래 영상을 생성한다(810).
4개의 복원된 부표본화된 영상들(
Figure 112008071455981-pat00009
)을 수학식 6을 통하여 최종적인 하나의 영상으로 합성한다.
Figure 112008071455981-pat00010
여기서
Figure 112008071455981-pat00011
는 복원된 현재 프레임의 C 성분을 나타낸다.
이하에서는 본 발명의 일 실시예에 의한 비디오 부호화 성능을 H.264/AVC 에서의 비디오 부호화 성능과 비교한다.
본 발명에 대한 실험은 H.264/MPEG-4 AVC의 참조부호화기인 JM(Joint Model)11을 이용하여 실행하였다. 첫번째 부표본화 영상은 기존의 H.264/MPEG-4 AVC의 화면내 예측 부호화 방법과 동일하게 부호화 하였으며, 나머지 부표본화 영상들을 부호화를 위해서 H.264/AVC의 화면간 예측 방법에서 사용되는 보간 여파기(6-tap Wiener filter, bi-linear filter)와 정수 변환 및 양자화를 그대로 사용하였다. 여기서 첫번째 부표본화 영상을 위한 양자화 파라미터와 나머지 부표본화 영상을 위한 양자화 파라미터를 다음의 수학식 7과 같이 결정하였다.
Figure 112008071455981-pat00012
여기서 QPAVC는 H.264/MPEG-4 AVC에서 사용되는 양자화 파라미터이며, QPn은 n 번째 부표본화 영상에 사용되는 양자화 파라미터를 나타낸다. 율-왜곡 곡선(rate-distortion curve)을 나타내기 위해서 QPAVC를 30, 34, 38, 42로 조정하여 실험하였다.
엔트로피 부호화는 H.264/MPEG-4 AVC에서 사용하는 CAVLC(Context-based Adaptive Variable Length Coding)를 사용하였다. 실험 영상은 MVC(Multi-view Video Coding) 표준화에서 사용중인 6개의 VGA(640×480) 시퀀스와 2개의 XVGA(1024×768) 시퀀스를 사용하였으며, 각 시퀀스마다 10장에 대해 화면내 예측 부호화하였다. 모든 실험에는 미리 설정된 율 왜곡 최적화 기술을 사용하여 블록 모드를 선택하였다.
도 9a 내지 도 9h는 본 발명의 일 실시예에 의한 비디오 부호화 성능을 H.264/AVC 에서의 비디오 부호화 성능과 비교하는 율-왜곡 곡선의 그래프이다. 그래프에서 ▲은 본 발명의 일 실시예에 의해 제안된 방법의 비디오 부호화 성능을 나타내고, ■는 H.264/AVC 에서의 비디오 부호화 성능을 나타낸다.
제안된 방법을 통하여 실험 영상 전반적으로 고비트율에서는 기존의 방법보 다 성능이 저하되는 반면에, 저비트율에 대해서는 기존의 방법보다 더 높은 객관적 및 주관적 화질 보인다.
표 1은 각 시퀀스에 대해서 기존의 방법과 제안된 방법의 성능 비교를 나타낸 표이다. 표 1에서 나타낸 바와 같이, 제안된 방법은 전반적으로 QPAVC가 34보다 큰 저비트율에서 높은 성능을 보인다.
Figure 112008071455981-pat00013
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명의 일 실시예에 의한 비디오 부호화 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 의한 비디오 부호화 방법의 흐름도이다.
도 3은 도 2의 단계 202의 상세 흐름도이다.
도 4는 본 발명의 일 실시예에 의해 2차원의 원래 영상을 4개의 부표본화된 영상으로 분해하는 방법을 설명하는 도면이다.
도 5는 본 발명에서의 예측 부호화를 수행하기 위해 부표본화 영상의 복원 영상을 보간하는 방법을 설명하는 도면이다.
도 6은 본 발명에서의 예측 부호화에 필요한 변이를 구하기 위한 탐색 영역을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 의한 비디오 복호화 장치의 구성도이다.
도 8은 본 발명의 일 실시예에 의한 비디오 복호화 방법의 흐름도이다.
도 9a 내지 도 9h는 본 발명의 일 실시예에 의한 비디오 부호화 성능을 H.264/AVC 에서의 비디오 부호화 성능과 비교하는 그래프이다.

Claims (15)

  1. 비디오 부호화 방법에 있어서,
    2차원의 원래 영상을 표본화 위치에 따라 분해하여 복수개의 부표본화 영상(subsampled image)을 생성하는 단계와,
    상기 복수개의 부표본화 영상 중 적어도 하나를 다른 부표본화 영상에 대해 예측 부호화하는 단계를
    포함하며,
    상기 부표본화 영상을 예측 부호화하는 단계는
    상기 다른 부표본화 영상을 화면내 부호화한 후 복호화하는 단계와,
    상기 다른 부표본화 영상의 복호화된 영상을 이용하여 상기 적어도 하나의 부표본화 영상에 대해 예측 부호화를 수행하는 단계를
    포함하는 것을 특징으로 하는 비디오 부호화 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 부표본화 영상을 생성하는 단계는
    상기 2차원의 원래 영상을 표본화 위치에 따라 블록 단위로 분해하는 단계와,
    상기 블록을 주기적인 패턴으로 조립하는 단계를
    포함하는 것을 특징으로 하는 비디오 부호화 방법.
  4. 제 3 항에 있어서,
    상기 부표본화 영상에 대해 예측 부호화를 수행하는 단계는
    상기 부표본화 영상을 구성하는 블록에 따라 화면내 부호화, 또는 화면내 부호화 및 예측 부호화를 선택적으로 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  5. 제 4 항에 있어서,
    상기 블록에 대한 부호화 방법을 표시하는 모드 정보를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  6. 제 1 항에 있어서,
    상기 예측 부호화에 사용된 상기 다른 부표본화 영상을 표시하는 인덱스 정보를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  7. 제 1 항에 있어서,
    상기 다른 부표본화 영상은 보간(interpolation)되어 상기 예측 부호화에 사용되는 것을 특징으로 하는 비디오 부호화 방법.
  8. 비디오 복호화 방법에 있어서,
    복수의 부표본화 영상 중 하나의 부표본화 영상에 대해 화면내 복호화를 수행하는 단계와,
    상기 하나의 부표본화 영상의 복호화된 영상을 이용하여 다른 부표본화 영상에 대해 예측 복호화를 수행하는 단계와,
    상기 복호화된 부표본화 영상들을 표본화 위치에 따라 조립하여 2차원의 원래 영상을 생성하는 단계를
    포함하는 것을 특징으로 하는 비디오 복호화 방법.
  9. 제 8 항에 있어서,
    상기 부표본화 영상에 대한 복호화는 상기 부표본화 영상을 구성하는 블록 단위로 수행되는 것을 특징으로 하는 비디오 복호화 방법.
  10. 제 9 항에 있어서,
    상기 부표본화 영상에 대해 예측 복호화를 수행하는 단계는
    상기 부표본화 영상을 구성하는 블록에 따라 화면내 복호화, 또는 화면내 복호화 및 예측 복호화를 선택적으로 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  11. 제 10 항에 있어서,
    상기 블록에 대한 복호화 방법을 표시하는 모드 정보를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  12. 제 8 항에 있어서,
    상기 예측 복호화에 이용되는 상기 하나의 부표본화 영상을 표시하는 인덱스 정보를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  13. 제 8 항에 있어서,
    상기 하나의 부표본화 영상의 복호화된 영상은 보간(interpolation)되어 상기 예측 부호화에 이용되는 것을 특징으로 하는 비디오 복호화 방법.
  14. 비디오 부호화 장치에 있어서,
    2차원의 원래 영상을 표본화 위치에 따라 분해하여 복수개의 부표본화 영상(subsampled image)을 생성하는 영상 분해부와,
    상기 복수개의 부표본화 영상 중 적어도 하나를 다른 부표본화 영상에 대해 예측 부호화하는 예측 부호화부를
    포함하며,
    상기 예측 부호화부는, 상기 다른 부표본화 영상을 화면내 부호화한 후 복호화하며, 상기 다른 부표본화 영상의 복호화된 영상을 이용하여 상기 적어도 하나의 부표본화 영상에 대해 예측 부호화를 수행하는 것을 특징으로 하는 비디오 부호화 장치.
  15. 비디오 복호화 장치에 있어서,
    복수의 부표본화 영상 중 하나의 부표본화 영상에 대해 화면내 복호화를 수행하는 화면내 복호화부와,
    상기 하나의 부표본화 영상의 복호화된 영상을 이용하여 다른 부표본화 영상에 대해 예측 복호화를 수행하는 예측 복호화부와,
    상기 복호화된 부표본화 영상들을 표본화 위치에 따라 조립하여 2차원의 원래 영상을 생성하는 영상 합성부를
    포함하는 것을 특징으로 하는 비디오 복호화 장치.
KR1020080100623A 2008-10-14 2008-10-14 비디오 부호화/복호화 방법 및 장치 KR100958342B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080100623A KR100958342B1 (ko) 2008-10-14 2008-10-14 비디오 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080100623A KR100958342B1 (ko) 2008-10-14 2008-10-14 비디오 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100041441A KR20100041441A (ko) 2010-04-22
KR100958342B1 true KR100958342B1 (ko) 2010-05-17

Family

ID=42217180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080100623A KR100958342B1 (ko) 2008-10-14 2008-10-14 비디오 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100958342B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030081442A (ko) * 2001-02-13 2003-10-17 큐비스, 인크. 스케일링 가능 동화상 시스템
KR20070047522A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20070047523A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
KR20080069888A (ko) * 2007-01-24 2008-07-29 퍼듀 리서치 파운데이션 이미지 처리장치 및 그 이미지 처리방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030081442A (ko) * 2001-02-13 2003-10-17 큐비스, 인크. 스케일링 가능 동화상 시스템
KR20070047522A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20070047523A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
KR20080069888A (ko) * 2007-01-24 2008-07-29 퍼듀 리서치 파운데이션 이미지 처리장치 및 그 이미지 처리방법

Also Published As

Publication number Publication date
KR20100041441A (ko) 2010-04-22

Similar Documents

Publication Publication Date Title
JP6716611B2 (ja) スライスレベルのイントラブロックコピーおよび他のビデオコーディングの改善
US9900610B2 (en) Method and device for encoding/decoding image by inter prediction using random block
KR101732767B1 (ko) 비디오 코딩에서의 양자화된 펄스 코드 변조
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US8818114B2 (en) Method and apparatus for image encoding/decoding
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US20110150072A1 (en) Encoding method, decoding method and apparatus thereof
WO2009088038A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US20190098319A1 (en) Method and apparatus for motion compensation prediction
WO2013001730A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
KR20130016172A (ko) 인터 예측 부호화된 동영상 복호화 방법
JP2006246474A (ja) カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化／復号化する方法およびその装置
KR20190110159A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US8462851B2 (en) Video encoding method and apparatus and video decoding method and apparatus
KR20110100912A (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
US8768083B2 (en) Apparatus and method for encoding images, and apparatus and method for decoding images
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR100958342B1 (ko) 비디오 부호화/복호화 방법 및 장치
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
KR20140129418A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JP2023086397A (ja) イントラ予測装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130402

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140410

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee