KR101346474B1 - 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법 - Google Patents

영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법 Download PDF

Info

Publication number
KR101346474B1
KR101346474B1 KR1020120020010A KR20120020010A KR101346474B1 KR 101346474 B1 KR101346474 B1 KR 101346474B1 KR 1020120020010 A KR1020120020010 A KR 1020120020010A KR 20120020010 A KR20120020010 A KR 20120020010A KR 101346474 B1 KR101346474 B1 KR 101346474B1
Authority
KR
South Korea
Prior art keywords
block
interpolation filter
transform
discrete sine
prediction
Prior art date
Application number
KR1020120020010A
Other languages
English (en)
Other versions
KR20130098465A (ko
Inventor
한기훈
금대교
이영렬
김정필
곽재희
Original Assignee
세종대학교산학협력단
(주)필링크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, (주)필링크 filed Critical 세종대학교산학협력단
Priority to KR1020120020010A priority Critical patent/KR101346474B1/ko
Publication of KR20130098465A publication Critical patent/KR20130098465A/ko
Application granted granted Critical
Publication of KR101346474B1 publication Critical patent/KR101346474B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

본 발명은 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법에 관한 것이다. 본 발명의 일 실시 형태에 따른 영상 부호화 장치는, 비트율 왜곡 비용을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 선택하고, 상기 선택된 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 예측부와, 상기 현재 블록에서 예측 블록을 감산하여 제1 잔차 블록을 생성하는 제1 감산부와, 상기 제1 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환부와, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부와, 상기 양자화된 주파수변환블록과 상기 선택된 보간필터에 대한 정보를 비트스트림으로 부호화하는 비트스트림 생성부를 포함한다.

Description

영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법{VIDEO ENCODING APPARATUS AND METHOD THEREOF, AND VIDEO DECODING APPARATUS AND METHOD THEREOF}
본 발명은 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법에 관한 것으로서, 중소기업청에서 지원하는 2011년도 산학연공동기술개발사업(No. 00044957)의 연구수행으로 인한 결과물이다.
움직임 보상(Motion Compensation) 기술은 움직임 추정 과정에서 결정된 움직임 벡터를 이용하여 참조 블록으로부터 예측 블록(즉, 참조 블록을 움직임 보상한 블록)을 생성하고, 상기 예측 블록과 현재 블록 간 차이 데이터(즉, 잔차 블록)를 결정하는 기술로서, 화소 정밀도가 높을수록 보다 우수한 부호화 성능의 움직임 보상을 할 수 있다. 이에 따라 MPEG-2와 MPEG-4의 영상 압축 기술에서는 1/2 화소 정밀도, H.264, HEVC(High Efficiency Video Coding)에서는 1/4 화소 정밀도까지의 움직임 보상을 수행한다. 즉, HEVC의 경우, 움직임 벡터값을 1/4 화소 정밀도까지 예측함으로써 정밀한 움직임을 예측하여 부호화 성능을 올릴 수 있다. 이를 위해서는, 예측 블록 생성 시, 보간 방법을 통해 참조 블록 내 정수화소값을 1/4 화소 정밀도까지 보간해야 한다. 이때, 종래 기술에서는 영상의 특징을 고려하지 않은 고정된 보간 방법을 사용하여 보간하며, 이는 영상의 압축률을 떨어뜨리는 요인이 된다.
당해 기술분야에서는, 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법이 요구되고 있다.
상기 과제를 해결하기 위해서, 본 발명의 제1 태양은 영상 부호화 장치를 제공한다. 상기 영상 부호화 장치는, 비트율 왜곡 비용을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터(DCT-IF: Discrete Cosine Transform-based Interpolation Filter)와 이산 정현 변환을 기반으로 하는 보간 필터(DST-IF: Discrete Sine Transform-based Interpolation Filter) 중 하나의 보간필터를 선택하고, 상기 선택된 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 예측부와, 상기 현재 블록에서 예측 블록을 감산하여 제1 잔차 블록을 생성하는 제1 감산부와, 상기 제1 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환부와, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부와, 상기 양자화된 주파수변환블록과 상기 선택된 보간필터에 대한 정보를 비트스트림으로 부호화하는 비트스트림 생성부를 포함한다.
본 발명의 제2 태양은 영상 복호화 장치를 제공한다. 상기 영상 복호화 장치는, 비트스트림으로부터, 양자화된 주파수변환블록 및 보간필터에 대한 정보를 추출하는 비트스트림 복호부와, 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 역양자화부와, 상기 복원된 주파수변환블록을 역 변환하여 잔차 블록을 복원하는 역변환부와, 상기 보간필터에 대한 정보를 기반으로 영상 부호화 장치에 의해 선택된 보간 필터를 확인하고, 확인 결과에 따라 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 예측부와, 상기 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함한다.
본 발명의 제3 태양은 영상 부호화 장치의 영상 부호화 방법을 제공한다. 상기 영상 부호화 방법은, 비트율 왜곡 비용을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 선택하는 과정과, 상기 선택된 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 과정과, 상기 현재 블록에서 예측 블록을 감산하여 제1 잔차 블록을 생성하는 과정과, 상기 제1 잔차 블록을 변환하여 주파수변환블록을 생성하는 과정과, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 과정과, 상기 양자화된 주파수변환블록과 상기 선택된 보간필터에 대한 정보를 비트스트림으로 부호화하는 과정을 포함한다.
본 발명의 제4 태양은 영상 복호화 장치의 영상 복호화 방법을 제공한다. 상기 영상 복호화 방법은, 비트스트림으로부터, 양자화된 주파수변환블록 및 보간필터에 대한 정보를 추출하는 과정과, 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 과정과, 상기 복원된 주파수변환블록을 역 변환하여 잔차 블록을 복원하는 과정과, 상기 보간필터에 대한 정보를 기반으로, 영상 부호화 장치에 의해 선택된 보간 필터를 확인하는 과정과, 확인 결과에 따라 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 과정과, 상기 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 과정을 포함한다.
덧붙여 상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시 형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법이 제공될 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 영상 부호화 장치의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시 형태에 따른 영상 부호화 장치 내 예측부의 상세 구성을 도시한 블럭도,
도 3은 본 발명의 일 실시 형태에 따른 영상 복호화 장치의 구성을 도시한 블럭도,
도 4는 본 발명의 일 실시 형태에 따른 영상 부호화 장치의 영상 부호화 방법을 도시한 흐름도,
도 5는 본 발명의 일 실시 형태에 따른 영상 부호화 장치의 보간 필터 선택 방법을 도시한 흐름도, 및
도 6은 본 발명의 일 실시 형태에 따른 영상 복호화 장치의 영상 복호화 방법을 도시한 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 본 발명은 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법에 대해 설명한다. 특히, 이산 여현 변환을 기반으로 하는 보간 필터(DCT-IF: Discrete Cosine Transform-based Interpolation Filter)와 이산 정현 변환을 기반으로 하는 보간 필터(DST-IF: Discrete Sine Transform-based Interpolation Filter)를 선택적으로 사용함으로써, 참조 프레임을 움직임 보상한 프레임과 현재 프레임 간 차이 데이터를 줄여 부호화 시 영상의 압축률을 극대화하기 위한 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법에 대해 설명한다.
이하 설명에서 영상 부호화 장치 및 영상 복호화 장치는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나, 응용 서버, 서비스 서버 등의 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상의 부호화 또는 복호화를 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나, 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송 및 복호화되어 영상으로 복원 및 재생될 수 있다.
통상적으로 동영상은 일련의 영상(Picture)으로 구성될 수 있으며, 각 영상은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우, 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 의미한다. 여기서, 인트라 예측 부호화란, 현재 부호화를 수행하는 영상 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소값을 이용하여 현재 블록의 화소값을 예측함으로써 예측 블록을 생성하고 현재 블록의 화소값과의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding) 방식을 사용하여 부호화되는 블록을 의미한다. 여기서, 인터 예측 부호화란, 하나 이상의 과거 영상 또는 미래 영상을 참조하여 현재 영상 내 현재 블록의 화소값을 예측함으로써 예측 블록을 생성하고 현재 블록의 화소값과의 차분값을 부호화하는 방식이다. 여기서, 현재 영상을 부호화하거나 복호화하는데 참조되는 블록을 참조 블록(Reference Block)이라 한다.
이하 설명은, HEVC(High Efficiency Video Coding) 기반 영상 부호화 장치 및 영상 복호화 장치를 예로 들어 설명할 것이나, 움직임 추정 시 다양한 화소 정밀도의 움직임 벡터값을 사용할 수 있는 모든 영상 압축 기술에 적용 가능함은 물론이다. HEVC 기반 영상 부호화 장치의 경우, 부호화하고자 하는 입력 영상은 코딩단위(CU: Coding Unit)(즉, CTB(Coding Tree Block))로 입력된다. 상기 코딩단위는 N×N 블록 형태를 가지며, 여기서, N은 2n의 크기를 가진다. 상기 코딩단위는 쿼드트리(Quad Tree)의 형태로 이루어지며, 최대 크기의 코딩단위(Largest Coding Unit)로부터 지정된 크기의 코딩단위까지 귀납적으로 최적의 예측단위(PU: Prediction Unit)를 찾아 부호화를 수행한다. 예측의 기본 단위는 예측단위(Prediction Unit)로 정의되며, 하나의 코딩단위는 다수 개의 블록으로 분할되어 예측에 사용된다. 상기 예측단위는 NxM 블록 형태를 가지며, 여기서 N과 M은 각각 2n의 크기를 가진다.
도 1은 본 발명의 일 실시 형태에 따른 영상 부호화 장치의 구성을 도시한 블럭도이다.
도시된 바와 같이, 영상 부호화 장치는, 예측부(100), 제1 감산부(110), 변환부(120), 양자화부(130), 비트스트림 생성부(140), 역양자화부(150), 역변환부(160), 가산부(170), 프레임 메모리(180)를 포함한다.
상기 도 1을 참조하면, 상기 예측부(100)는, 비트율 왜곡 비용(Rate Distortion Cost)을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 선택하고, 상기 선택된 보간필터를 사용하여 참조 블록을 보간한 후, 상기 보간된 참조 블록 및 움직임 벡터를 기반으로, 부호화하고자 하는 입력 영상 내 현재 블록에 대한 예측 블록을 생성한다. 예를 들어, 상기 예측부(100)는, 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터의 비트율 왜곡 비용을 비교하고, 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택적으로 사용하여 예측 블록을 생성할 수 있다. 이와 같이 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터를 선택적으로 사용할 경우, 종래 이산 여현 변환을 기반으로 하는 보간 필터만을 고정 사용하는 경우보다 높은 압축 성능을 얻을 수 있다. 여기서, 상기 예측부(100)의 상세 구성에 대해 추후 도 2를 기반으로 다시 설명하기로 한다.
상기 제1 감산부(110)는, 현재 블록에서 상기 생성된 예측 블록을 감산하여 제1 잔차 블록을 생성한다.
상기 변환부(120)는, 상기 제1 잔차 블록을 주파수 영역으로 변환하여 주파수변환블록을 생성한다.
상기 양자화부(130)는, 상기 주파수변환블록을 양자화(Quantization)하여 양자화된 주파수변환블록을 생성한다. 이에 적용 가능한 양자화 기법으로서, 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 기법이 사용될 수 있으나, 반드시 이에 한정하지는 않는다.
상기 비트스트림 생성부(140)는, 상기 양자화된 주파수변환블록을 비트스트림으로 부호화한다. 이와 같이 부호화된 비트스트림은 영상 복호화 장치로 전송된다. 이에 적용 가능한 부호화 기법으로서, 엔트로피 부호화(Entropy Encoding) 기법이 사용될 수 있으나, 반드시 이에 한정하지는 않는다. 상기 비트스트림 생성부(140)는, 상기 양자화된 주파수변환블록 외에도, 현재 블록을 복원하기 위해 필요한 다양한 정보들, 예를 들어, 블록 타입에 대한 정보, 예측에 필요한 정보, 변환 및 양자화 타입에 대한 정보를 비트스트림에 포함시킬 수 있다. 여기서, 예측에 필요한 정보로는, 움직임 벡터값에 대한 정보, 상기 선택된 보간필터를 구분하기 위한 정보가 포함되며, 상기 보간필터 구분 정보는 프레임 단위 또는 코딩단위 또는 예측단위로 비트스트림에 포함될 수 있다.
상기 역양자화부(150)는, 상기 양자화부(130)와 동일한 양자화 타입을 적용하며, 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원한다.
상기 역변환부(160)는, 상기 변환부(120)와 동일한 변환 타입을 적용하며, 상기 복원된 주파수변환블록을 역 변환하여 제1 잔차 블록을 복원한다.
상기 가산부(170)는, 상기 복원된 제1 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원한다.
상기 프레임 메모리(180)는, 상기 복원된 현재 블록을 저장하며, 이와 같이 저장된 블록은 다른 블록을 예측하기 위한 참조 블록으로서 활용된다.
도 2는 본 발명의 일 실시 형태에 따른 영상 부호화 장치 내 예측부의 상세 구성을 도시한 블럭도이다.
도시된 바와 같이, 영상 부호화 장치 내 예측부(200)는, 보간부(210), 제2 감산부(220), 계산부(230), 선택부(240), 생성부(250)를 포함한다.
상기 도 2를 참조하면, 상기 보간부(210)는, 이산 여현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간하고, 이산 정현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간한다.
여기서, 상기 이산 정현 변환을 기반으로 하는 보간 필터는, 이산 정현 변환(DST: Discrete Sine Transform)을 통해 주변 정수 단위 좌표의 화소값(이하, '정수화소값'이라 칭함)을 변환계수로 변환하고, 역-이산 정현 변환을 통해 역 변환할 때 정수화소값 대신 소수 단위 좌표의 화소값(이하, '부화소값'이라 칭함)을 대입함으로써, 부화소값을 보간한다.
여기서, 상기 이산 정현 변환과 역-이산 정현 변환은 하기 <수학식 1>과 같이 표현할 수 있다.
[수학식 1]
Figure 112012016099518-pat00001
Figure 112012016099518-pat00002
여기서, x는 정수 단위의 좌표를 나타내고, p(x)는 참조 블록 내 이산 정현 변환될 정수 단위 좌표의 화소값(즉, 정수화소값)을 나타내며, u는 정수 단위의 좌표를 나타내고, c(u)는 이산 정현 변환된 변환계수를 나타낸다. N은 이산 정현 변환의 단위 크기를 나타낸다. 상기 <수학식 1>의 역-이산 정현 변환에서, 정수화소값 대신 부화소값을 대입하면, 하기 <수학식 2>와 같이 표현할 수 있다.
[수학식 2]
Figure 112012016099518-pat00003
여기서, α는 소수 단위의 좌표를 나타내고, p(α)는 참조 블록 내 보간하고자 하는 소수 단위 좌표의 화소값(즉, 부화소값)을 나타낸다. 상기 <수학식 2>의 c(u)에 상기 <수학식 1>의 c(u) 연산과정을 대입하면, 하기 <수학식 3>과 같이 표현할 수 있으며, 이를 통해 각 부화소값에 대한 필터계수를 계산할 수 있다. 이와 같이 계산된 각 부화소값에 대한 필터계수는 메모리에 저장되어 사용된다.
[수학식 3]
Figure 112012016099518-pat00004
여기서,
Figure 112012016099518-pat00005
는 참조 블록 내 보간하고자 하는 부화소값 p(α)에 대한 필터계수를 나타낸다.
상기 제2 감산부(220)는, 현재 블록에서 상기 보간된 참조 블록들을 각각 감산하여 제2 잔차 블록들을 생성한다.
상기 계산부(230)는, 상기 생성된 제2 잔차 블록들의 비트율 왜곡 비용을 계산한다. 여기서, 상기 비트율 왜곡 비용은, 예를 들어, 상기 제2 잔차 블록의 비트량과 상기 제2 잔차 블록을 실제로 부호화할 경우 발생되는 비트량의 합으로 계산될 수 있다.
상기 선택부(240)는, 상기 계산된 비트율 왜곡 비용 중 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택한다.
상기 생성부(250)는, 상기 선택된 보간 필터로 보간된 참조 블록을 기반으로 현재 블록의 예측 블록을 생성한다.
도 3은 본 발명의 일 실시 형태에 따른 영상 복호화 장치의 구성을 도시한 블럭도이다.
도시된 바와 같이, 영상 복호화 장치는, 비트스트림 복호부(300), 역양자화부(310), 역변환부(320), 예측부(330), 가산부(340), 프레임 메모리(250)를 포함한다.
상기 도 3을 참조하면, 상기 비트스트림 복호부(300)는, 영상 부호화 장치로부터 수신되는 비트스트림을 복호화하여, 양자화된 주파수변환블록과, 현재블록을 복원하기 위해 필요한 다양한 정보들, 예를 들어, 블록 타입에 대한 정보, 예측에 필요한 정보, 변환 및 양자화 타입에 대한 정보를 추출한다. 여기서, 예측에 필요한 정보로는, 움직임 벡터값에 대한 정보, 보간필터를 구분하기 위한 정보가 포함되며, 상기 보간필터 구분 정보는 프레임 단위 또는 코딩단위 또는 예측단위로 추출할 수 있다. 상기 비트스트림 복호부(300)에는 영상 부호화 장치 내 비트스트림 생성부와 동일한 부호화 기법이 적용된다.
상기 역양자화부(310)는, 상기 추출된 양자화 타입에 대한 정보를 기반으로, 상기 추출된 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원한다.
상기 역변환부(320)는, 상기 추출된 변환 타입에 대한 정보를 기반으로, 상기 복원된 주파수변환블록을 역 변환하여 제1 잔차 블록을 복원한다.
상기 예측부(330)는, 상기 추출된 보간필터를 구분하기 위한 정보를 기반으로, 영상 부호화 장치 내 예측부에 의해 선택 및 사용된 보간 필터를 확인하고, 확인 결과에 따라 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 사용하여 참조 블록을 보간한 후, 상기 보간된 참조 블록 및 상기 추출된 움직임 벡터값을 기반으로, 현재 블록에 대한 예측 블록을 생성한다.
상기 가산부(340)는, 상기 복원된 제1 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원한다.
상기 프레임 메모리(250)는 상기 복원된 현재 블록을 저장하며, 이와 같이 저장된 블록은 다른 블록을 예측하기 위한 참조 블록으로서 활용된다.
도 4는 본 발명의 일 실시 형태에 따른 영상 부호화 장치의 영상 부호화 방법을 도시한 흐름도이다.
상기 도 4를 참조하면, 영상 부호화 장치는 401단계에서 비트율 왜곡 비용을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 선택한다. 예를 들어, 상기 영상 부호화 장치는, 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터의 비트율 왜곡 비용을 비교하여, 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 선택할 수 있다.
이후, 상기 영상 부호화 장치는 403단계에서 상기 선택된 보간필터를 사용하여 참조 블록을 보간한 후, 상기 보간된 참조 블록 및 움직임 벡터를 기반으로, 부호화하고자 하는 입력 영상 내 현재 블록에 대한 예측 블록을 생성한다.
이후, 상기 영상 부호화 장치는 405단계에서 현재 블록에서 상기 생성된 예측 블록을 감산하여 제1 잔차 블록을 생성한다.
이후, 상기 영상 부호화 장치는 407단계에서 상기 제1 잔차 블록을 주파수 영역으로 변환하여 주파수변환블록을 생성한다.
이후, 상기 영상 부호화 장치는 409단계에서 상기 주파수변환블록을 양자화(Quantization)하여 양자화된 주파수변환블록을 생성한다.
이후, 상기 영상 부호화 장치는 411단계에서 상기 양자화된 주파수변환블록을 비트스트림으로 부호화하고, 413단계로 진행하여 상기 비트스트림을 영상 복호화 장치로 전송한다. 상기 영상 부호화 장치는 상기 양자화된 주파수변환블록 외에도, 현재 블록을 복원하기 위해 필요한 다양한 정보들, 예를 들어, 블록 타입에 대한 정보, 예측에 필요한 정보, 변환 및 양자화 타입에 대한 정보를 비트스트림에 포함시킬 수 있다. 여기서, 예측에 필요한 정보로는, 움직임 벡터값에 대한 정보, 상기 선택된 보간필터를 구분하기 위한 정보가 포함되며, 상기 보간필터 구분 정보는 프레임 단위 또는 코딩단위 또는 예측단위로 비트스트림에 포함될 수 있다.
이후, 상기 영상 부호화 장치는 415단계에서 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원한다.
이후, 상기 영상 부호화 장치는 417단계에서 상기 복원된 주파수변환블록을 역 변환하여 제1 잔차 블록을 복원한다.
이후, 상기 영상 부호화 장치는 419단계에서 상기 복원된 제1 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원한다.
이후, 상기 영상 부호화 장치는 421단계에서 상기 복원된 현재 블록을 저장하며, 이와 같이 저장된 블록은 다른 블록을 예측하기 위한 참조 블록으로서 활용된다.
이후, 상기 영상 부호화 장치는 본 발명에 따른 알고리즘을 종료한다.
도 5는 본 발명의 일 실시 형태에 따른 영상 부호화 장치의 보간 필터 선택 방법을 도시한 흐름도이다.
상기 도 5를 참조하면, 영상 부호화 장치는 501단계에서 이산 여현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간하고, 503단계에서 이산 정현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간한다. 여기서, 상기 이산 정현 변환을 기반으로 하는 보간 필터를 이용한 필터 계수는, 상기 <수학식 3>을 이용하여 미리 계산될 수 있다.
이후, 상기 영상 부호화 장치는 505단계에서 현재 블록에서 상기 보간된 참조 블록들을 각각 감산하여 제2 잔차 블록들을 생성한다.
이후, 상기 영상 부호화 장치는 507단계에서 상기 생성된 제2 잔차 블록들의 비트율 왜곡 비용을 계산한다. 여기서, 상기 비트율 왜곡 비용은, 예를 들어, 상기 제2 잔차 블록의 비트량과 상기 제2 잔차 블록을 실제로 부호화할 경우 발생되는 비트량의 합으로 계산될 수 있다.
이후, 상기 영상 부호화 장치는 509단계에서 상기 계산된 비트율 왜곡 비용 중 가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 결정한다. 이와 같이 결정된 보간 필터를 기반으로 현재 블록의 예측 블록을 생성할 수 있다.
이후, 상기 영상 부호화 장치는 본 발명에 따른 알고리즘을 종료한다.
도 6은 본 발명의 일 실시 형태에 따른 영상 복호화 장치의 영상 복호화 방법을 도시한 흐름도이다.
상기 도 6을 참조하면, 영상 복호화 장치는 601단계에서 영상 부호화 장치로부터 비트스트림을 수신하고, 603단계에서 상기 수신된 비트스트림을 복호화하여, 양자화된 주파수변환블록과, 현재블록을 복원하기 위해 필요한 다양한 정보들, 예를 들어, 블록 타입에 대한 정보, 예측에 필요한 정보, 변환 및 양자화 타입에 대한 정보를 추출한다. 여기서, 예측에 필요한 정보로는, 움직임 벡터값에 대한 정보, 보간필터를 구분하기 위한 정보가 포함되며, 상기 보간필터 구분 정보는 프레임 단위 또는 코딩단위 또는 예측단위로 추출할 수 있다.
이후, 상기 영상 복호화 장치는 605단계에서 상기 추출된 양자화 타입에 대한 정보를 기반으로, 상기 추출된 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원한다.
이후, 상기 영상 복호화 장치는 607단계에서 상기 추출된 변환 타입에 대한 정보를 기반으로, 상기 복원된 주파수변환블록을 역 변환하여 제1 잔차 블록을 복원한다.
이후, 상기 영상 복호화 장치는 609단계에서 상기 추출된 보간필터를 구분하기 위한 정보를 기반으로, 영상 부호화 장치 내 예측부에 의해 선택 및 사용된 보간 필터를 확인한다.
이후, 상기 영상 복호화 장치는 611단계에서 상기 확인 결과에 따라 이산 여현 변환을 기반으로 하는 보간 필터와 이산 정현 변환을 기반으로 하는 보간 필터 중 하나의 보간필터를 사용하여 참조 블록을 보간한 후, 상기 보간된 참조 블록 및 상기 추출된 움직임 벡터값을 기반으로, 현재 블록에 대한 예측 블록을 생성한다.
이후, 상기 영상 복호화 장치는 613단계에서 상기 복원된 제1 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원한다.
이후, 상기 영상 복호화 장치는 615단계에서 상기 복원된 현재 블록을 저장하며, 이와 같이 저장된 블록은 다른 블록을 예측하기 위한 참조 블록으로서 활용된다.
이후, 상기 영상 복호화 장치는 본 발명에 따른 알고리즘을 종료한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 예측부
110: 제1 감산부
120: 변환부
130: 양자화부
140: 비트스트림 생성부
150: 역양자화부
160: 역변환부
170: 가산부
180: 프레임 메모리

Claims (8)

  1. 삭제
  2. 비트율 왜곡 비용을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터(DCT-IF: Discrete Cosine Transform-based Interpolation Filter)와 이산 정현 변환을 기반으로 하는 보간 필터(DST-IF: Discrete Sine Transform-based Interpolation Filter) 중 하나의 보간필터를 선택하고, 상기 선택된 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 예측부와,
    상기 현재 블록에서 예측 블록을 감산하여 제1 잔차 블록을 생성하는 제1 감산부와,
    상기 제1 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환부와,
    상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부와,
    상기 양자화된 주파수변환블록과 상기 선택된 보간필터에 대한 정보를 비트스트림으로 부호화하는 비트스트림 생성부를 포함하며,
    상기 예측부는, 이산 여현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간하고, 이산 정현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간하는 보간부와,
    현재 블록에서 상기 보간된 참조 블록들을 각각 감산하여 제2 잔차 블록들을 생성하는 제2 감산부와,
    상기 생성된 제2 잔차 블록들의 비트율 왜곡 비용을 계산하는 계산부와,
    가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 결정하는 선택부를 포함하는 영상 부호화 장치.
  3. 제 2 항에 있어서,
    상기 이산 정현 변환을 기반으로 하는 보간 필터를 이용한 필터 계수는, 하기 <수학식 4>를 이용하여 계산되는 영상 부호화 장치.
    [수학식 4]
    Figure 112012016099518-pat00006

    여기서, x는 정수 단위의 좌표를 나타내고, p(x)는 참조 블록 내 이산 정현 변환될 정수 단위 좌표의 화소값을 나타내며, α는 소수 단위의 좌표를 나타내고, p(α)는 참조 블록 내 보간하고자 하는 소수 단위 좌표의 화소값을 나타낸다. N은 이산 정현 변환의 단위 크기를 나타내고, u 는 정수 단위의 좌표를 나타내며,
    Figure 112012016099518-pat00007
    는 필터 계수를 나타냄.
  4. 삭제
  5. 삭제
  6. 비트율 왜곡 비용을 기반으로, 이산 여현 변환을 기반으로 하는 보간 필터(DCT-IF: Discrete Cosine Transform-based Interpolation Filter)와 이산 정현 변환을 기반으로 하는 보간 필터(DST-IF: Discrete Sine Transform-based Interpolation Filter) 중 하나의 보간필터를 선택하는 과정과,
    상기 선택된 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 과정과,
    상기 현재 블록에서 예측 블록을 감산하여 제1 잔차 블록을 생성하는 과정과,
    상기 제1 잔차 블록을 변환하여 주파수변환블록을 생성하는 과정과,
    상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 과정과,
    상기 양자화된 주파수변환블록과 상기 선택된 보간필터에 대한 정보를 비트스트림으로 부호화하는 과정을 포함하며,
    상기 보간 필터 선택 과정은,
    이산 여현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간하는 과정과,
    이산 정현 변환을 기반으로 하는 보간 필터를 이용하여 미리 계산된 필터 계수로 참조 블록을 보간하는 과정과,
    현재 블록에서 상기 보간된 참조 블록들을 각각 감산하여 제2 잔차 블록들을 생성하는 과정과,
    상기 생성된 제2 잔차 블록들의 비트율 왜곡 비용을 계산하는 과정과,
    가장 낮은 비트율 왜곡 비용을 가지는 보간 필터를 결정하는 과정을 포함하는 영상 부호화 장치의 영상 부호화 방법.
  7. 제 6 항에 있어서,
    상기 이산 정현 변환을 기반으로 하는 보간 필터를 이용한 필터 계수는, 하기 <수학식 5>를 이용하여 계산되는 영상 부호화 장치의 영상 부호화 방법.
    [수학식 5]
    Figure 112012016099518-pat00008

    여기서, x는 정수 단위의 좌표를 나타내고, p(x)는 참조 블록 내 이산 정현 변환될 정수 단위 좌표의 화소값을 나타내며, α는 소수 단위의 좌표를 나타내고, p(α)는 참조 블록 내 보간하고자 하는 소수 단위 좌표의 화소값을 나타낸다. N은 이산 정현 변환의 단위 크기를 나타내고, u 는 정수 단위의 좌표를 나타내며,
    Figure 112012016099518-pat00009
    는 필터 계수를 나타냄.
  8. 비트스트림으로부터, 양자화된 주파수변환블록 및 보간필터에 대한 정보를 추출하는 과정과,
    상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 과정과,
    상기 복원된 주파수변환블록을 역 변환하여 잔차 블록을 복원하는 과정과,
    상기 보간필터에 대한 정보를 기반으로, 영상 부호화 장치에 의해 선택된 보간 필터를 확인하는 과정과,
    확인 결과에 따라 이산 여현 변환을 기반으로 하는 보간 필터(DCT-IF: Discrete Cosine Transform-based Interpolation Filter)와 이산 정현 변환을 기반으로 하는 보간 필터(DST-IF: Discrete Sine Transform-based Interpolation Filter) 중 하나의 보간필터를 사용하여 현재 블록의 예측 블록을 생성하는 과정과,
    상기 복원된 잔차 블록과 예측 블록을 가산하여 현재 블록을 복원하는 과정을 포함하는 영상 복호화 장치의 영상 복호화 방법.
KR1020120020010A 2012-02-28 2012-02-28 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법 KR101346474B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120020010A KR101346474B1 (ko) 2012-02-28 2012-02-28 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020010A KR101346474B1 (ko) 2012-02-28 2012-02-28 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20130098465A KR20130098465A (ko) 2013-09-05
KR101346474B1 true KR101346474B1 (ko) 2014-01-10

Family

ID=49450250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020010A KR101346474B1 (ko) 2012-02-28 2012-02-28 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법

Country Status (1)

Country Link
KR (1) KR101346474B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013363A1 (ko) * 2017-07-10 2019-01-17 엘지전자 주식회사 영상 코딩 시스템에서 주파수 도메인 잡음 감소 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
KR20100038060A (ko) * 2008-10-02 2010-04-12 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
KR20100038060A (ko) * 2008-10-02 2010-04-12 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
KR20130098465A (ko) 2013-09-05

Similar Documents

Publication Publication Date Title
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
US20170188042A1 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
KR101681303B1 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
US20120307906A1 (en) Adaptive secondary prediction-based image encoding/decoding method, device and recording medium
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
US9420281B2 (en) Method and apparatus for encoding/decoding video using high-precision filter
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
US20110200113A1 (en) Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same
KR20130003718A (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20100036583A (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20120201296A1 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR20130051029A (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR102072124B1 (ko) 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치
KR20120066741A (ko) 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20120015495A (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR20110045912A (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR20160078318A (ko) 영상 부호화/복호화 방법 및 장치
KR20110048004A (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20110023023A (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20110066888A (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR20130023444A (ko) 다단계 화면간 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101346474B1 (ko) 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법
KR20100009718A (ko) 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법
KR100939358B1 (ko) 픽셀 도메인에서 영상을 부호화, 복호화하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20191220

Year of fee payment: 7