KR101432767B1 - 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101432767B1
KR101432767B1 KR1020090099501A KR20090099501A KR101432767B1 KR 101432767 B1 KR101432767 B1 KR 101432767B1 KR 1020090099501 A KR1020090099501 A KR 1020090099501A KR 20090099501 A KR20090099501 A KR 20090099501A KR 101432767 B1 KR101432767 B1 KR 101432767B1
Authority
KR
South Korea
Prior art keywords
block
current block
neighboring
current
prediction
Prior art date
Application number
KR1020090099501A
Other languages
English (en)
Other versions
KR20110042705A (ko
Inventor
김수년
임정연
최재훈
이규민
김해광
전병우
문주희
이영렬
한종기
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090099501A priority Critical patent/KR101432767B1/ko
Priority to US13/497,928 priority patent/US9571851B2/en
Priority to PCT/KR2010/006518 priority patent/WO2011037420A2/ko
Publication of KR20110042705A publication Critical patent/KR20110042705A/ko
Application granted granted Critical
Publication of KR101432767B1 publication Critical patent/KR101432767B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화 방법 및 장치에 관한 것이다.
본 발명은현재 블록의 움직임을 추정하여 현재 블록의 움직임 정보를 결정하고, 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하며, 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하며, 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하며, 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 것을 특징으로 하는 인터 예측 방법을 제공한다.
본 발명에 의하면, 부호화하고자 하는 블록을 더욱 정확하게 예측함으로써 실제 블록과 예측된 블록 간의 차이를 줄여 압축 효율을 향상시킬 수 있다.
영상, 부호화, 복호화, 움직임, 주변 블록, 보상, 계수, 인터, 예측

Description

움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치{Inter Prediction Method and Apparatus Using Motion Information Based Adjacent Pixels and Video Coding Method and Apparatus Using Same}
본 발명은 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 인터 예측 부호화하는 데 있어서, 현재 블록과 예측 블록 간의 차이를 최소화하여 예측 정확도를 향상시키고 그에 따라 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 호칭하고 MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
H.264/AVC(이하 'H.264'라 약칭함) 표준안에서는 다양한 형태의 서브블록(Subblock)을 갖는 매크로블록(Macroblock) 단위로 인트라 예측(Intra Prediction) 및/또는 인터 예측(Inter Prediction)을 수행하여 잔여 신호(Residual Signal)를 생성하며, 생성된 잔여 신호에 대해 변환(Transform) 및 양자화(Quantization)을 수행하고 부호화한다. 여기서, 인터 예측은 영상의 프레임 간의 시간적 중복성을 제거하여 영상을 압축하는 방법으로서, 하나 이상의 참조 픽처(Reference Frame)을 이용하여 부호화하고자 하는 블록(이하 '현재 블록(Current Block)'이라 칭함)의 움직임을 블록 단위로 추정(Estimation)하고, 움직임 추정 결과에 기초하여 현재 블록의 예측 블록(Predicted Block)을 생성하여 움직임을 보상(Compensation)한다.
통상적인 인터 예측 부호화에서는, 예측 블록을 생성하기 위해 현재 블록의 움직임을 추정할 때, 소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 블록을 참조 픽처의 정해진 검색 범위에서 검색한다. 현재 블록과 유사한 블록이 검색되면, 해당 블록을 이용하여 예측 블록을 생성하고 현재 블록과 예측 블록의 화소 신호들의 차이인 잔여 신호만을 부호화하여 전송함으로써 데이터의 압축률을 높인다.
하지만, 전술한 통상적인 인터 예측 부호화와 같이 움직임 보상을 수행한다면 각 프레임에서 지역적인 조명 변화나 시점 변화가 발생할 경우 효율적인 부호화가 어렵다. 즉, 현재 블록의 위치에서 조명 변화 또는 시점 변화가 발생하여 화소값이 커질 경우, 기존의 방식으로 생성된 예측 블록을 이용하여 움직임 보상을 하면 잔여 신호의 크기가 커지기 때문에 부호화 효율이 저하되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 인터 예측 부호화할 때, 부호화하고자 하는 블록과 예측 블록의 차이를 줄여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 예측 부호화를 위한 인터 예측 방법에 있어서, 현재 블록의 움직임을 추정하여 현재 블록의 움직임 정보를 결정하는 단계; 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하는 단계; 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 단계; 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하는 단계; 및 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 단계를 포함하는 것을 특징으로 하는 인터 예측 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 예측 부호화를 위한 인터 예측 장치에 있어서, 현재 블록의 움직임을 추정하여 현재 블록의 움직임 정보를 결정하는 움직임 추정기; 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하고, 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 평균 보상 계수 계산기; 및 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하고, 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 움직임 보상기를 포함하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성하는 단계; 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 단계; 및 잔여 블록을 부호화하여 부호화 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성하는 예측기; 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 감산기; 및 잔여 블록을 부호화하여 부호화 데이터를 생성하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 예측 복호화를 위한 인터 예측 방법에 있어서, 부호화 데이터를 복호화하여 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하는 단계; 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 단계; 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하는 단계; 및 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 단계를 포함하는 것을 특징으로 하는 인터 예측 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 예측 복호화를 위한 인터 예측 장치에 있어서, 부호화 데이터를 복호화하여 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하고, 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 평균 보상 계수 계산기; 및 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하고, 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 움직임 보상기를 포함하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 복호화하여 현재 블록의 움직임 정보 및 잔여 블록을 복원하는 단계; 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성하는 단계; 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 복호화하여 현재 블록의 움직임 정보 및 잔여 블록을 복원하는 복호화기; 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성하는 예측기; 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 부호화하고자 하는 블록을 더욱 정확하게 예측함으로써 실제 블록과 예측된 블록 간의 차이를 줄여 압축 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus) 또는 인터 예측 장치(Inter Prediction Apparatus)는 개인용 컴퓨터(PC: Personal Computer), TV, 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등과 같은 사용자 단말기이거나 서버 컴퓨터 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 인터 예측을 수행하거나 그를 이용하여 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
영상 부호화 장치와 영상 복호화 장치에는 움직임 추정 및 움직임 보상을 이용한 인터 예측뿐만 아니라 인트라 예측을 수행하기 위한 기능이 구비될 수 있지만, 본 발명의 실시예와 직접적인 관계가 없기 때문에, 혼란을 방지하기 위해 상세한 설명을 생략한다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)으로 분할된다. 각 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
한편, 통상적인 방식의 인터 예측 부호화에서는 현재 블록과 동일한 크기의 예측 블록을 생성하고, 현재 블록과 예측 블록에서 동일한 위치의 화소 값끼리 감산하여 잔여 블록을 생성한다. 예를 들어, 16x16 크기의 현재 블록을 동일한 크기 의 예측 블록과 감산하여 잔여 블록을 생성하는 경우, 잔여 블록은 수학식 1과 같이 나타낼 수 있다.
residual ij = original ij - reference ij
수학식 1에서, original은 현재 블록을 나타내고, reference는 움직임 보상을 수행하여 생성되는 예측 블록을 나타내며, residual은 현재 블록에서 예측 블록을 감산하여 생성되는 잔여 블록을 나타낸다. 그리고 i와 j는 각 블록의 화소 위치를 나타낸다.
H.264에서는 인터 예측 부호화를 사용하기 때문에, 인터 예측 부호화를 사용하지 않는 다른 예측 부호화 방식과 비교할 때 압축 효율을 향상시킬 수 있다. 하지만, H.264와 같은 통상적인 인터 예측 부호화에서는 현재 블록과 예측 블록의 화소만을 이용하여 잔여 블록을 생성하기 때문에, 예측 블록을 생성하는 참조 픽처와 현재 픽처에서 시점 또는 조명의 변화가 발생하는 경우 효율적인 예측 부호화를 수행할 수 없다. 예를 들어, 현재 블록을 포함한 영역에서 지역적으로 밝기가 어두워지거나 밝아질 경우, 기존의 방법과 같이 움직임 보상을 수행하여 인터 예측하고 잔여 블록을 생성한다면 밝기 변화를 반영한 움직임 보상을 수행할 수 없기 때문에 잔여 블록의 값이 상대적으로 커져서 효율적인 예측 부호화가 어렵게 된다.
본 발명의 일 실시예에서는 현재 블록과 예측 블록만을 이용하여 움직임 보상 수행하는 기존의 인터 예측 부호화 방식과는 달리, 현재 블록 인접 화소와 예측 블록 인접 화소를 이용하여 블록의 특성이 반영된 움직임 보상을 수행함으로써 인터 예측 부호화를 수행한다. 이때, 블록의 특성이란 지역적인 조명 변화 혹은 시점 변화일 수 있는데, 이러한 블록 특성을 고려하기 위해 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 현재 블록의 움직임을 더욱 정확하게 보상하여 예측의 정확도를 높이고 그에 따라 압축 효율을 향상시킬 수 있다.
부호화하고자 하는 입력 영상(Input Video)의 각 픽처(Picture)는 매크로블록(Macroblock) 단위로 입력될 수 있다. 본 발명의 일 실시예에서, 매크로 블록은 MxM 형태이며, M과 N은 2n의 크기를 가지고 M과 N이 동일할 수도 있고 동일하지 않을 수도 있다. 따라서, 본 발명의 일 실시예에 따른 매크로블록은 H.264의 매크로블록과 동일하거나 클 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 예측기(Predictor, 110), 감산기(Subtracter, 130), 변환기 및 양자화기(Transformer and Quantizer, 130), 부호화기(Encoder, 140), 역 양자화기 및 역 변환기(Inverse Quantizer and Inverse Transformer, 150), 가산기(Adder, 160) 및 참조 픽처 메모리(Reference Picture Memory, 170)를 포함하여 구성될 수 있다.
예측기(110)는 부호하고자 하는 블록(이하에서는 '현재 블록(Current Block)'이라 약칭함)을 인터 예측하여 예측 블록(Predicted Block)을 생성한다. 즉, 예측기(110)는 이미 부호화하고 다시 복호화하여 복원된 이전 픽처에서 인터 예측 모드(Inter Prediction Mode)에 따라 현재 블록의 움직임을 추정하여 움직임 벡터(Motion Vector)와 참조 픽처 인덱스(Reference Picture Index)를 포함하는 현재 블록의 움직임 정보를 결정하고, 현재 블록의 움직임 정보를 이용하여 현재 블록의 움직임을 보상함으로써 예측 블록을 생성한다.
또한, 예측기(110)는 현재 블록의 움직임을 보상하여 예측 블록을 생성할 때, 현재 블록의 움직임 정보와 현재 블록의 주변 블록(Neighbor Block)의 움직임 정보를 기초로 선택되는 현재 블록의 인접 화소(이하 '현재 블록 인접 화소(Current Block Adjacent Pixel)'라 칭함)와 참조 블록의 인접 화소(이하 '참조 블록 인접 화소(Reference Block Adjacent Pixel'이라 칭함)를 이용하여 예측 블록을 생성할 수 있다. 즉, 예측기(110)는 현재 블록의 움직임을 추정하여 결정되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수(Average Compensation Coefficient)를 반영하여 변경 참조 블록(Changed Reference Block)을 생성하고, 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
여기서, 현재 블록은 매크로블록일 수도 있지만, 매크로블록으로부터 변환 단위로 분할된 서브블록일 수도 있다. 변환 단위란 변환기 및 양자화기(130)가 잔여 블록을 변환하고 양자화하는 화소의 크기를 말하며, 16x16, 8x16, 16x8, 8x8, 8x4, 4x8, 4x4 등과 같은 다양한 크기가 될 수 있다. 주변 블록은 현재 블록과 인 접한 블록 중에서 기 부호화되고 복호화되어 복원된 블록일 수 있다.
또한, 예측기(110)는 참조 블록과 변경 참조 블록 중에 더욱 효율적인 블록을 현재 블록의 예측 블록으로 결정할 수 있다. 즉, 예측기(110)는 평균 보상 계수의 사용을 결정하기 위해, 율-왜곡 최적화와 같은 방식을 사용하거나 인접 화소의 특성을 분석하여 참조 블록과 변경 참조 블록 중 현재 블록의 예측 블록으로 사용할 블록을 결정할 수 있다. 예측기(110)에 대해서는 후술하는 과정에서 도 2를 통해 상세히 설명한다.
감산기(120)는 현재 블록에서 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산기(130)는 현재 블록의 화소값과 예측기(110)에서 생성된 예측 블록의 화소값을 감산하여 잔여 신호(Residual Signal)를 가지는 잔여 블록을 생성한다.
변환기 및 양자화기(130)는 감산기(120)에서 생성된 잔여 블록을 주파수 영역으로 변환하고 양자화한다. 즉, 변환기 및 양자화기(130)는 감산기(130)에 의해 생성된 잔여 블록의 잔여 신호를 주파수 영역으로 변환하여 변환 계수(Transform Coefficient)를 가지는 변환된 잔여 블록을 생성하고 변환된 잔여 블록의 변환 계수를 양자화하여 양자화된 잔여 블록을 생성한다. 이때, 사용되는 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform) 등과 같은 공간 영역의 화상 신호를 주파수 영역으로 변환하는 기법이 사용되고, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
부호화기(140)는 변환기 및 양자화기(130)에 의해 변환되고 양자화된 잔여 블록의 양자화된 변환 계수를 부호화하여 부호화 데이터를 생성한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.
또한, 부호화기(140)는 양자화된 변환 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화된 변환 계수가 부호화 된 비트열이 포함되는 제 1 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 제 2 필드를 포함할 수 있다.
이때, 부호화기(140)는 평균 보상 계수를 사용함을 나타내는 평균 보상 계수 사용 정보를 부호화 데이터에 포함시킬 수 있다. 하지만, 이러한 평균 보상 계수 사용 정보는 반드시 부호화 데이터에 포함되어야 하는 것은 아니며, 어떠한 조건을 이용하여 평균 보상 계수가 반영된 변경 참조 블록이 현재 블록의 예측 블록으로 결정되는지 여부에 따라 부호화 데이터에 포함되거나 포함되지 않을 수 있다. 이에 대해서는 후술하는 과정에서 도 2를 통해 상세히 설명한다.
한편, 이러한 변환기 및 양자화기(130)의 기능이 부호화기(140)에 통합되어 구현될 수도 있다. 즉, 하나의 부호화기로 구현되는 경우, 부호화기는 잔여 블록을 부호화하여 부호화 데이터를 생성한다.
역 양자화기 및 역 변환기(150)는 변환기 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원한다. 즉, 역 양자화기 및 역 변환기(150)는 변환기 및 양자화기(130)로부터 전달되는 양자화된 잔여 블록을 역 양자화하고 변환 계수를 가지는 잔여 블록을 복원하고, 변환 계수를 가지는 잔여 블록을 다시 역 변환하여 잔여 신호를 가지는 잔여 블록을 복원한다.
가산기(160)는 예측기(110)에서 생성된 예측 블록과 역 양자화기 및 역 변환기(150)에 의해 복원된 잔여 블록을 가산하여 현재 블록을 복원한다.
참조 픽처 메모리(170)는 가산기(160)에서 복원된 현재 블록을 픽처 단위로 누적하여 참조 픽처로서 저장하며, 저장되는 참조 픽처는 예측기(110)에서 다음 블록 또는 다음 픽처를 예측할 때 이용된다.
도 1에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 인트라 예측(Intra Prediction)을 위한 인트라 예측기, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터 등을 추가로 포함할 수 있다. 또한, 변환기 및 양자화기(130) 및 역 양자화기 및 역 변환기(150)는 특정 픽처(예를 들어, 인트라 픽처)에 대한 변환 및 양자화(또는 역 변환 및 역 양자화) 연산을 추가로 수행할 수도 있다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계 에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 예측 부호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 예측 부호화를 위한 인터 예측 장치는 도 1을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(100)에서는 예측기(110)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 예측기(110)라 칭한다.
예측기(110)는 움직임 추정기(Motion Estimator, 210), 평균 보상 계수 계산기(Average Compensation Coefficient Calculator, 220) 및 움직임 보상기(Motion Compensator, 230)를 포함하여 구성될 수 있다.
움직임 추정기(210)는 현재 블록의 움직임을 추정하여 현재 블록의 움직임을 추정하여 현재 블록의 움직임 정보를 결정한다. 즉, 움직임 추정기(210)는 이전에 부호화되고 복호화되어 복원된 픽처를 확장(Up-Sampling)한 픽처에서 현재 블록과의 차이가 최소인 참조 블록의 위치를 찾아냄으로써 현재 블록의 움직임을 추정한다. 이때 픽처의 확장을 위해 화소와 화소 사이를 보간(Interpolation)할 수 있는데, 보간에 사용되는 필터는 고정된 6-탭(Tap) 필터일 수도 있고, 픽처 또는 블록 단위로 최적화된 적응적 보간 필터(Adaptive Interpolation Filter)일 수도 있다. 현재 블록과의 차이가 최소인 참조 블록을 지시하는 움직임 벡터가 현재 블록의 움직임 벡터터로서 얻어지고, 해당 참조 블록이 포함된 참조 픽처를 지시하는 인덱스 가 참조 픽처 인덱스로서 얻어진다.
평균 보상 계수 계산기(220)는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하고, 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산한다. 즉, 평균 보상 계수 계산기(220)는 현재 블록의 움직임을 더욱 정확하게 보상하기 위한 평균 보상 계수를 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산한다.
여기서, 평균 보상 계수 계산기(220)는 현재 블록 인접 화소와 참조 블록 인접 화소를 선택할 때, 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록이 참조 블록이 포함되는 참조 픽처에서 참조 블록의 주변 블록인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
예를 들어, 평균 보상 계수 계산기(220)는 현재 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인과 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인이 동일하고 현재 블록의 움직임 정보에 의해 식별되는 움직임 벡터와 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 움직임 벡터의 차이가 기준 임계치 이하인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 벡터 에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다. 이때, 평균 보상 계수 계산기(220)는 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터 간의 거리가 거리 임계치 이하인 경우, 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터의 차이가 기준 임계치 이하인 것으로 판단할 수 있다. 또한, 평균 보상 계수 계산기(220)는 유클리드 거리(Euclidean Distance) 또는 시티 블록 거리(City Block Distance)와 같은 다양한 기하학적 거리 측정 방식을 이용하여 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터 간의 거리를 계산할 수 있다.
도 3은 본 발명의 일 실시예에 따라 평균 보상 계수를 계산하기 위한 인접 화소들을 나타낸 예시도이다.
도 3에서는 현재 블록이 매크로블록인 경우, 현재 블록 인접 화소와 참조 블록 인접 화소로 이용될 수 있는 화소들을 예시적으로 나타내었다. 평균 보상 계수는 현재 블록 인접 화소(350)의 평균과 참조 블록 인접 화소(330)의 평균의 차로 계산될 수 있다. 현재 픽처 내의 현재 블록(340)과의 차이가 최소가 되는 참조 블록(320)을 찾아 현재 블록(340)의 움직임을 추정하면 현재 블록의 움직임 벡터(310)와 참조 픽처 인덱스를 얻을 수 있다. 도 3에 도시한 바와 같이, 현재 블록 인접 화소(350)는 현재 블록(340)에 인접한 화소들이 될 수 있으며, 참조 블록 인접 화소(330)는 참조 블록(320)에 인접한 화소들이 될 수 있다.
도 4는 본 발명의 일 실시예에 따라 평균 보상 계수를 계산하기 위해 선택되는 현재 블록의 주변 블록과 참조 블록의 주변 블록과 그에 따른 인접 화소들을 나 타낸 예시도이다.
도 4에서는 현재 블록이 16x16 크기의 매크로블록으로부터 변환 단위 중 하나인 4x4 크기로 분할된 4x4 크기의 서브블록인 경우, 평균 보상 계수를 계산하기 위해 이용되는 주변 블록들과 인접 화소들을 예시적으로 나타내었다. 다만, 도 4에 도시한 것은 예시적인 것일 뿐, 다른 크기의 매크로블록과 다른 크기의 서블블록에 대해서도 도 4와 유사하게 적용될 수 있다.
4A는 현재 픽처의 현재 블록, 현재 블록의 주변 블록과 현재 블록의 인접 화소를 예시적으로 나타낸 것이다. 4A에 나타낸 바와 같이, 현재 픽처의 현재 블록을 블록 C라고 가정할 때, 현재 블록의 주변 블록으로서는 블록 A, 블록 B, 블록 D가 선택될 수 있다. 따라서, 현재 블록 인접 화소는 현재 블록의 주변 블록인 블록 A, 블록 B, 블록 D 내에서 현재 블록인 블록 C와 인접한 화소들이 선택될 수 있다. 현재 블록의 인접 화소들은 ▩, ▧, ▨와 같이 빗금친 부분의 화소들이 선택될 수 있는데, 블록 A에서 현재 블록과 인접한 인접 화소는 ▩로 나타내었고, 블록 B에서 현재 블록과 인접한 인접 화소는 ▧로 나타내었으며, 블록 D에서 현재 블록과 인접한 인접 화소는 ▨로 나타내었다. 블록 E는 현재 픽처에서 현재 블록의 주변 블록으로 선택되지는 않은 블록을 대표적으로 나타낸 것이다. 나머지 빈 블록들도 각자 움직임 벡터를 가질 수 있지만 설명의 편의를 위해 생략하였다.
이때, 4A에 나타낸 바와 같이, 블록 A, 블록 B, 블록 C, 블록 D, 블록 E의 참조 픽처 인덱스가 모두 동일하고, 각 블록의 움직임 벡터가 각각 (0,1), (0,0), (0,0), (0,0), (0,-1)이라고 가정하면, 참조 픽처 인덱스가 지시하는 참조 픽처에 서 각 블록들은 4B와 같이 나타내어 질 수 있다. 여기서, 현재 블록인 블록 A의 움직임 정보는 움직임 추정기(210)에 의해 결정되는 움직임 벡터와 참조 픽처 인덱스를 이용할 수 있으며, 현재 블록의 주변 블록인 블록 A, 블록 B, 블록 D는 현재 블록을 부호화하기 전에 이미 부호화되고 복호화되어 복원된 블록이어서 각 블록의 움직임 벡터와 참조 픽처 인덱스는 미리 결정되어 저장되어 있으므로 추가적인 계산이나 작업 없이도 이용할 수 있다. 또한, 후술할 영상 복호화 장치에서도 현재 블록의 주변 블록에 대해서는 현재 블록을 복호화하기 전에 미리 복호화하여 복원할 수 있으므로 영상 부호화 장치(100)와 동일하게 현재 블록 인접 화소와 참조 블록 인접 화소를 선택할 수 있다.
4B는 참조 픽처의 참조 블록, 참조 블록의 주변 블록과 참조 블록의 인접 화소를 예시적으로 나타낸 것이다. 4B와 나타낸 바와 같이, 현재 블록인 블록 C의 움직임 벡터 (0,0)이 지시하는 참조 블록은 C'으로 나타낼 수 있고, 현재 블록의 주변 블록인 블록 A, 블록 B, 블록 D 각각의 움직임 벡터 (0,1), (0,0), (0,0)이 지시하는 주변 참조 블록은 각각 블록 A', 블록 B', 블록 D'로 나타낼 수 있다. 또한, 현재 블록의 주변 블록이 아닌 블록 E의 움직임 벡터 (0,-1)이 지시하는 블록은 E'로 나타낼 수 있다.
4A와 4B를 통해 알 수 있듯이, 현재 블록인 블록 C의 주변 블록인 블록 B와 블록 D의 경우, 그 움직임 벡터에 의해 지시되는 주변 참조 블록인 블록 B'과 블록 D'도 참조 블록인 블록 C'의 주변 블록이 되었지만, 현재 블록의 주변 블록인 블록 A의 경우, 그 움직임 벡터가 지시하는 블록인 블록 A'이 참조 블록인 블록 C'의 주 변 블록이 되지 못하였고, 오히려 현재 블록의 주변 블록으로 선택되지 못한 블록 E의 움직임 벡터가 지시하는 블록 E'이 참조 블록인 블록 C'의 주변 블록이 되었음을 알 수 있다.
따라서, 4A에서는, 현재 블록의 주변 블록들의 참조 픽처 인덱스와 움직임 벡터에 의해 지시되는 블록들이 여전히 참조 블록의 주변 블록이 되는 블록 B와 블록 D 내에서 현재 블록인 블록 C와 인접하는 ▧, ▨으로 빗금친 부분의 화소들이 현재 블록 인접 화소로 선택될 수 있으며, 마찬가지로 4B에서는, 블록 B'과 블록 D' 내에서 참조 블록인 블록 C'과 인접하는 ▧, ▨으로 빗금친 부분의 화소들이 참조 블록 인접 화소로 선택될 수 있다.
이를 위해, 평균 보상 계수 계산기(220)는 현재 블록의 움직임 정보와 현재 블록의 움직임 정보를 비교하여 동일 또는 유사한지 여부에 따라 현재 블록의 주변 블록들의 참조 픽처 인덱스와 움직임 벡터에 의해 지시되는 블록들이 여전히 참조 블록의 주변 블록이 되는지 여부를 판단할 수 있다. 즉, 평균 보상 계수 계산기(220)는 참조 픽처 인덱스가 현재 블록의 주변 블록의 참조 픽처 인덱스와 동일하고 현재 블록의 움직임 벡터가 현재 블록의 주변 블록의 움직임 벡터와 동일하면, 현재 블록의 주변 블록들의 참조 픽처 인덱스와 움직임 벡터에 의해 지시되는 블록들이 여전히 참조 블록의 주변 블록이 되는 것으로 판단할 수 있다. 또한, 평균 보상 계수 계산기(220)는 참조 픽처 인덱스가 현재 블록의 주변 블록의 참조 픽처 인덱스와 동일하고 현재 블록의 움직임 벡터가 현재 블록의 주변 블록의 움직임 벡터와 동일하지는 않지만 그 차이가 기 설정된 기준 임계치 이하인 경우, 움직임 정보가 유사한 것으로 판단하여 현재 블록의 주변 블록들의 참조 픽처 인덱스와 움직임 벡터에 의해 지시되는 블록들이 여전히 참조 블록의 주변 블록이 되는 것으로 판단할 수 있다.
이때, 평균 보상 계수 계산기(220)는 현재 블록의 움직임 벡터가 현재 블록의 주변 블록의 움직임 벡터와 동일한지 여부와 동일하지는 않지만 그 차이가 기 설정된 기준 임계치 이하인지 여부를 판단하기 위해, 움직임 벡터의 거리를 이용할 수 있다. 즉, 유클리드 거리 또는 시티 블록 거리 등과 같은 벡터의 거리 측정 방식을 이용하여 현재 블록의 움직임 벡터의 거리와 현재 블록의 주변 블록의 움직임 벡터의 거리를 계산하고 그 거리의 차이가 기준 임계치 이하인지 여부를 판단할 수 있다.
다만, 현재 블록 인접 화소와 주변 블록 인접 화소는 반드시 도 4를 통해 설명한 바와 같은 방식으로 선택되어야 하는 것은 아니며 다른 다양한 방식을 이용하여 선택될 수 있다. 일 예로, 현재 블록의 주변 블록으로서 반드시 블록 A, 블록 B, 블록 D만이 선택되어야 하는 것은 아니며 블록 B의 오른쪽 옆의 블록 F(미도시)를 추가로 현재 블록의 주변 블록으로서 선택할 수 있으며, 그에 따라 현재 블록 인접 화소와 참조 블록 인접 화소가 다르게 선택될 수 있을 것이다.
한편, 전술한 바와 같이 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수는 수학식 2와 같이 현재 블록 인접 화소의 평균과 참조 블록 인접 화소의 평균의 차이로 계산될 수 있다. 이러한 현재 블록 인접 화소 및 참조 블록 인접 화소는 현재 블록을 부호화하기 전에 이미 부호화되 고 복호화되어 복원된 화소이다.
mc coeff = m r - m c
수학식 2에서, m r 은 참조 블록 인접 화소들의 평균을 나타내고, m c 는 현재 블록 인접 화소들의 평균을 나타내며, mc coeff 는 평균 보상 계수를 나타낸다.
다시 도 2를 참조하면, 움직임 보상기(230)는 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하고, 변경 참조 블록을 현재 블록의 예측 블록으로 결정한다. 즉, 움직임 보상기(230)는 움직임 추정기(210)에서 얻은 현재 블록의 움직임 정보에 의해 지시되는 참조 블록과 참조 블록에 평균 보상 계수 계산기(220)에 의해 계산된 평균 보상 계수를 반영하여 생성되는 변경 참조 블록 중 하나를 현재 블록의 예측 블록으로서 결정한다.
일 예로, 움직임 보상기(230)는 참조 블록에 대한 부호화 비용과 변경 참조 블록에 대한 부호화 비용을 기초로 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 이를 위해, 움직임 보상기(230)는 참조 블록에 대한 부호화 비용과 변경 참조 블록에 대한 부호화 비용을 계산하고, 참조 블록에 대한 부호화 비용이 변경 참조 블록에 대한 부호화 비용보다 큰 경우에는 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있으며, 참조 블록에 대한 부호화 비용이 변경 참조 블록에 대한 부호화 비용보다 작거나 같은 경우에는 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
여기서, 참조 블록에 대한 부호화 비용이란 참조 블록을 현재 블록의 예측 블록으로 사용하여 현재 블록을 예측 부호화하는 데 소요되는 부호화 비용을 말하며, 변경 참조 블록에 대한 부호화 비용이란 변경 참조 블록을 현재 블록의 예측 블록으로 사용하여 현재 블록을 예측 부호화하는 데 소요되는 부호화 비용을 말한다. 부호화 비용으로서는 율-왜곡 비용이 이용될 수 있는데, 반드시 이에 한정되지 않고 참조 블록 또는 변경 참조 블록을 예측 블록으로 사용하여 현재 블록을 인터 예측 부호화하는 데 소요되는 비용이라면 어떠한 비용이라도 이용될 수 있다.
다른 예로, 움직임 보상기(230)는 평균 보상 계수의 값을 기초로 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 이를 위해, 움직임 보상기(230)는 평균 보상 계수가 '0'이 아닌 경우에는 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있으며, 평균 보상 계수가 '0'인 경우에는 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 평균 보상 계수가 '0'인 경우에는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로 사용하여 부호화하는 경우와 평균 보상 계수를 반영하지 않은 참조 블록을 현재 블록의 예측 블록으로 사용하여 부호화하는 경우의 결과가 동일하므로, 평균 보상 계수를 사용할 필요가 없기 때문이다. 또한, 움직임 보상기(230)는 평균 보상 계수가 기 설정된 범위 내인 경우에는 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있으며, 평균 보상 계수가 기 설정된 범위 밖인 경우에는 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 여기서, 기 설정된 범위는 상한 임계값보다 작고 하한 임계값보다 큰 범위일 수 있는데, 상한 임계값과 하한 임계값은 현재 블록 인 접 화소와 참조 블록 인접 화소의 분산, 표준편차 및 상관계수 중 하나 이상을 이용하여 결정될 수 있다. 즉, 움직임 보상기(230)는 수학식 3에 나타낸 바와 같이, 평균 보상 계수가 기 설정된 범위 내인 경우에만 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
Thd a < mc coeff < Thd b
수학식 3에서, mc coeff 는 평균 보상 계수를 나타내며, Thd a 는 하한 임계값을 나타내며, Thd b 는 상한 임계값을 나타낸다.
전술한 바와 같이, 평균 보상 계수의 값을 기초로 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 경우, 평균 보상 계수의 값이 '0'인지 여부와 평균 보상 계수의 값이 기 설정된 범위 내에 있는지 여부를 각각 판단하여 각각에 따라 변경 참조 블록을 현재 블록의 예측 블록으로 결정할 수도 있지만, 두 가지 조건을 결합하여 변경 참조 블록을 현재 블록의 예측 블록으로 결정할 수도 있을 것이다. 즉, 평균 보상 계수의 값이 '0'이 아니고 기 설정된 범위 내에 있는 경우에만 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수의 값이 '0'이거나 평균 보상 계수의 값이 '0'이 아니지만 기 설정된 범위 밖에 있는 경우에는 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
또 다른 예로, 움직임 보상기(230)는 현재 블록 인접 화소와 참조 블록 인접 화소의 분산, 표준편차 및 상관계수 중 하나 이상을 계산하여 계산된 값이 특정 조 건을 만족하는 경우에만 변경 참조 블록을 현재 블록의 예측 블록으로 결정하거나 만족하지 않는 경우에는 참조 블록을 현재 블록의 예측 블록으로 결정할 수 있다.
움직임 보상기(230)는 참조 블록의 각 화소에서 평균 보상 계수를 감산하여 변경 참조 블록을 생성할 수 있다. 즉, 변경 참조 블록의 각 화소는 참조 블록의 각 화소의 화소값에서 평균 보상 계수를 뺀 차이값을 가진다. 이때, 각 화소의 화소값에서 평균 보상 계수를 뺀 차이값이 화소가 표현되는 값의 범위를 벗어날 수 있으므로, 움직임 보상기(230)는 참조 블록의 각 화소에서 평균 보상 계수를 감산한 값을 화소가 표현되는 값의 범위 내로 제한하여 변경 참조 블록을 생성할 수 있다.
예를 들어, 현재 블록, 참조 블록, 변경 참조 블록 등의 각 화소가 8 비트로 표현되는 값을 가지는 경우, 화소가 가질 수 있는 값은 0 내지 255 중 하나이다. 만약, 참조 블록의 각 화소 중 어느 화소가 '1'의 값을 가지고 평균 보상 계수가 '3'으로 계산된다면, 변경 참조 블록에서 해당 화소는 '-2'의 값을 가지게 되어 화소가 표현되는 값의 범위를 벗어나게 된다. 따라서, 이 경우에는 0 내지 255 중 하나의 값으로 제한해서 그 중 최소값을 가지는 '0'의 값을 가지도록 변경 참조 블록의 해당 화소의 화소값을 변경한다.
이와 같이 생성되는 변경 참조 블록을 현재 블록의 예측 블록으로 결정하여 잔여 블록을 계산하면, 잔여 블록은 수학식 4와 같이 계산될 수 있다.
residual ij = original ij - clip(reference ij - mc coeff )
수학식 4에서, original ij 는 현재 블록의 각 화소를 나타내고, referencek ij 는 참조 블록의 각 화소를 나타내며, residual ij 는 잔여 블록의 각 화소를 나타낸다. 여기서, clip(reference ij - mc coeff )은 변경 참조 블록의 각 화소를 나타내는데, clip() 함수는 변경 참조 블록의 각 화소인 reference ij - mc coeff 의 값이 화소가 표현되는 값의 범위(예를 들어, 화소값이 8비트로 표현되는 경우, 0 이상 255 이하) 내의 값을 갖도록 최소값과 최대값을 제한한다.
움직임 보상기(230)는 평균 보상 계수를 적용하여 현재 블록의 움직임을 추가로 추정하여 현재 움직임 벡터를 재조정(Refinement)할 수 있다. 즉, 움직임 보상기(230)는 움직임 추정기(210)에서 결정된 현재 움직임 벡터가 지시하는 화소 주변의 임의의 범위(예를 들어, ±α 화소)에 대해 평균 보상 계수를 적용하여 움직임 추정을 추가로 수행함으로써 지역적인 조명 변화나 시점 변화가 발생한 영역의 블록(또는 매크로블록)에 대해 더욱 정확한 예측을 수행하여 부호화 효율을 더욱 높일 수 있다.
예를 들어, 현재 움직임 벡터가 (2, 4)이고, 임의의 범위를 결정하는 α를 '1'로 설정한 경우, (1, 3), (1, 4), (1, 5), (2, 3), (2, 4), (2, 5), (3, 3), (3, 4), (3, 5)의 위치에 대하여 평균 보상 계수를 사용한 움직임 보상을 수행하고, 각 위치에 대한 부호화 비용(예를 들어, 율-왜곡 비용, SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference) 또는 SSD(Sum of Squared Difference) 등)을 비교하여 최적의 움직임 벡터를 구함으로써 구해진 최적의 움직임 벡터를 현재 움직임 벡터로서 최종적으로 결정할 수 있다. 여기서, α는 구현 방식이나 조건에 따라 적합하게 설정될 수 있으며, α가 커질수록 부호화 효율이 높아질 수 있다.
또한, 움직임 보상기(230)는 변경 참조 블록을 현재 블록의 예측 블록으로 결정할지 여부를 블록 단위가 아닌 픽처 단위로 결정할 수 있다. 이를 위해, 움직임 보상기(230)는 부호화하고자 하는 현재 픽처를 평균 보상 계수를 사용하여 부호화한 경우에 대한 부호화 비용과 평균 보상 계수를 사용하지 않고 부호화한 경우에 대한 부호화 비용을 계산하여 부호화 비용이 작은 방식으로 현재 픽처를 부호화함으로써, 각 픽처를 적응적으로 부호화할 수 있다. 이때, 각 픽처마다 평균 보상 계수를 적용하여 부호화했는지 여부를 식별하기 위한 평균 보상 계수 사용 정보를 추가로 부호화 데이터에 포함시킨다.
도 5는 본 발명의 일 실시예에 따른 예측 부호화를 위한 인터 예측 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 예측 부호화를 위한 인터 예측 방법에 따르면, 영상 부호화 장치(100)의 예측기(110)는 현재 블록의 움직임을 추정하여 현재 블록의 움직임 정보를 결정하고(S510), 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하며(S520), 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하 여 평균 보상 계수를 계산하며(S530), 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하며(S540), 변경 참조 블록을 현재 블록의 예측 블록으로서 결정한다(S550).
여기서, 현재 블록은 다양한 크기의 매크로블록이 될 수도 있으며, 매크로블록으로부터 변환 단위로 분할된 서브블록일 수도 있다. 현재 블록의 주변 블록은 현재 블록과 인접한 블록 중 기 부호화되고 복호화되어 복원된 블록일 수 있다. 평균 보상 계수는 현재 블록 인접 화소의 평균과 참조 블록 인접 화소의 평균의 차일 수 있다.
단계 S530에서, 예측기(110)는 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록이 참조 블록이 포함되는 참조 픽처에서 참조 블록의 주변 블록인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
예를 들어, 예측기(110)는 현재 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인과 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인이 동일하고 현재 블록의 움직임 정보에 의해 식별되는 움직임 벡터와 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 움직임 벡터의 차이가 기준 임계치 이하인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 벡터에 의해 지시 되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다. 이를 위해, 예측기(110)는 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터 간의 거리가 거리 임계치 이하인 경우, 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터의 차이가 기준 임계치 이하인 것으로 판단할 수 있다.
단계 S550에서, 예측기(110)는 참조 블록의 각 화소에서 평균 보상 계수를 감산하여 변경 참조 블록을 생성할 수 있으며, 필요에 따라서는 참조 블록의 각 화소에서 평균 보상 계수를 감산한 값을 화소가 표현되는 값의 범위 내로 제한하여 변경 참조 블록을 생성할 수도 있다.
또한, 단계 S550에서, 예측기(110)는 참조 블록에 대한 부호화 비용을 계산하고, 변경 참조 블록에 대한 부호화 비용을 계산하며, 참조 블록에 대한 부호화 비용이 변경 참조 블록에 대한 부호화 비용보다 큰 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하며, 참조 블록에 대한 부호화 비용이 변경 참조 블록에 대한 부호화 비용보다 작거나 같은 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
또한, 단계 S550에서, 예측기(110)는 평균 보상 계수가 '0'이 아닌 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수가 '0'인 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
또한, 단계 S550에서, 예측기(110)는 평균 보상 계수가 기 설정된 범위 내인 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수가 기 설정된 범위 밖인 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 여기서, 기 설정된 범위는 상한 임계값보다 작고 하한 임계값보다 큰 범위이며, 상한 임계값과 하한 임계값은 현재 블록 인접 화소와 참조 블록 인접 화소의 분산, 표준편차 및 상관계수 중 하나 이상을 이용하여 결정될 수 있다.
또한, 단계 S550에서, 예측기(110)는 평균 보상 계수를 적용하여 현재 블록의 움직임을 추가로 추정하여 현재 블록의 움직임 정보의 움직임 벡터를 재조정할 수 있다.
도 5를 통해 전술한 각 단계는 모두 반드시 수행되어야 하는 것은 아니며, 일부의 단계가 선택적으로 생략되거나 추가될 수도 있다. 또한, 각 단계의 순서도 반드시 도시된 바와 같이 정해지는 것은 아니며, 일부 또는 전분의 단계의 순서가 변경되거나 심지어는 병행적으로 수행될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(100)는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 움직임 벡터에 의해 지시되는 참조 블록에 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성하고(S610), 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하며(S620), 잔여 블록을 부호화하여 부호화 데이터를 생성한다(S630).
또한, 영상 부호화 장치(100)는 평균 보상 계수를 사용함을 나타내는 평균 보상 계수 사용 정보를 부호화 데이터에 포함시킬 수 있다.
또한, 단계 S610에서, 영상 부호화 장치(100)는 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록이 참조 블록이 포함되는 참조 픽처에서 참조 블록의 주변 블록인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
예를 들어, 영상 부호화 장치(100)는 현재 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인과 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인이 동일하고 현재 블록의 움직임 정보에 의해 식별되는 움직임 벡터와 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 움직임 벡터의 차이가 임계치 이하인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 벡터에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 복호화기(Decoder, 710), 역 양자화기 및 역 변환기(720), 예측기(730), 가산기(740) 및 참조 픽처 메모리(750)를 포함하여 구성될 수 있다.
복호화기(710)는 부호화 데이터를 복호화하여 현재 블록의 움직임 정보 및 양자화된 변환 계수를 가지는 잔여 블록을 복원한다. 즉, 복호화기(710)는 부호화 데이터를 복호화하여 양자화 변환 계수열을 추출하고, 양자화 변환 계수열을 역 지그재그 스캔 등 다양한 역 스캐닝 방식으로 역 스캐닝하여 양자화 변환 계수를 가지는 잔여 블록을 복원한다. 이때, 복호화기(710)는 부호화 데이터에 포함된 제 1 필드에서 부호화된 잔여 블록을 추출하여 복호화할 수 있고, 부호화 데이터에 포함된 제 2 필드에서 예측에 필요한 정보를 추출하거나 추출된 정보를 복호화할 수 있으며, 추출되거나 추출되어 복호화된 예측에 필요한 정보를 예측기(730)로 전달하여, 예측기(730)가 영상 부호화 장치(100)의 예측기(110)와 동일 또는 유사한 방식으로 현재 블록을 예측하도록 할 수 있다. 또한, 복호화기(730)는 부호화 데이터의 제 2 필드에 평균 보상 계수 사용 정보가 포함된 경우에는 평균 보상 계수 사용 정보를 추출하여 예측기(730)로 전달할 수 있다.
역 양자화기 및 역 변환기(720)는 복호화기(710)에 의해 복호화되어 복원되는 양자화된 변환 계수를 가지는 잔여 블록을 역 양자화하여 변환 계수를 가지는 잔여 블록을 생성하고 변환 계수를 가지는 잔여 블록을 역 변환하여 잔여 신호를 가지는 잔여 블록을 복원한다.
도 7에서는 복호화기(710)와 역 양자화기 및 역 변환기(720)가 각각 독립적으로 구현되는 것으로 도시하고 설명했지만, 복호화기(710)와 역 양자화기 및 역 변환기(720) 각각의 기능이 통합되어 하나의 복호화기로서 구현될 수도 있다. 이와 같이 복호화기(710)와 역 양자화기 및 역 변환기(720) 각각의 기능이 통합되어 통 합된 복호화기로 구현되는 경우, 복호화기는 부호화 데이터를 복호화하여 현재 움직임 벡터 및 잔여 블록을 복원할 수 있으며, 필요한 경우 부호화 데이터로부터 평균 보상 계수 사용 정보를 추출할 수 있다.
예측기(730)는 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성한다. 즉, 예측기(730)는 복호화기(710)로부터 복원되는 현재 블록의 움직임 정보 움직임 벡터, 평균 보상 계수 사용 정보 등과 같은 예측에 필요한 정보를 이용하여 현재 블록에 대한 예측 블록을 생성한다. 이때, 예측기(730)는 복호화기(710)로부터 평균 보상 계수 사용 정보를 전달받으면, 예측 블록을 생성할 때 전달된 평균 보상 계수 사용 정보를 기초로 평균 보상 계수를 적용하여 현재 블록의 움직임을 보상할지 여부를 결정하여 예측 블록을 생성할 수 있다. 예측기(730)에 대해서는 후술하는 과정에서 도 9를 통해 상세히 설명한다.
가산기(740)는 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원한다. 가산기(740)는 역 양자화기 및 역 변환기(720)에 의해 복원되는 잔여 블록과 예측기(730)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다. 가산기(740)에 의해 복원되는 현재 블록은 참조 픽처 메모리(750)로 전달되어 참조 픽처 메모리(750)에서 픽처 단위로 누적되어 참조 픽처로서 저장될 수 있으며, 참조 픽처는 예측기(730)에서 다른 블록 또는 다른 픽처를 예측하는 데 활용될 수 있 다.
또한, 도 7에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 인트라 예측을 위한 인트라 예측기, 복원된 현재 블록을 디블로킹 필터링하는 디블록킹 필터기 등을 추가로 포함할 수 있다. 또한, 역 양자화기 및 역 변환기(720)는 특정 픽처(예를 들어, 인트라 픽처)에 대한 역 변환 및 역 양자화 연산을 추가로 수행할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 예측 복호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 예측 복호화를 위한 인터 예측 장치는 도 7을 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(700)에서는 예측기(730)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 예측기(730)라 칭한다.
예측기(730)는 평균 보상 계수 계산기(810) 및 움직임 보상기(820)를 포함하여 구성될 수 있다.
평균 보상 계수 계산기(810)는 부호화 데이터를 복호화하여 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하고, 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산한다. 즉, 평균 보상 계수 계산기(810)는 복호화기(710)로부터 또는 움직임 보상기(820)로부터 복호화기(710)에 의해 복원되는 현재 블록의 움직임 정보를 전달받으면, 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하고, 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 현재 블록의 주변 블록들의 움직임 정보에 의해 지시되는 블록들이 참조 블록이 포함되는 참조 픽처에서도 참조 블록의 주변 블록들이 되는지 여부를 판단하여 현재 블록 인접 화소와 참조 블록 인접 화소를 선택하고 선택된 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산한다. 평균 보상 계수 계산기(810)가 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 과정은 도 2 내지 도 4를 통해 전술한 평균 보상 계수 계산기(220)에서 평균 보상 계수를 계산하는 과정과 동일 또는 유사하므로 이에 대한 상세한 설명은 생략한다.
움직임 보상기(820)는 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하고, 변경 참조 블록을 현재 블록의 예측 블록으로서 결정한다. 여기서, 움직임 보상기(820)는 평균 보상 계수 사용 정보 또는 평균 보상 계수를 기초로 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 예를 들어, 움직임 보상기(820)는 복호화기(810)로부터 평균 보상 계수 사용 정보를 전달받으면, 평균 보상 계수 사용 정보가 평균 보상 계수를 사용함을 나타내는 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수 사용 정보가 평균 보상 계수를 사용하지 않음을 나타내는 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 즉, 부호화 데이터에 평균 보상 계수 사용 정보가 포함된 경우에는 영상 부호화 장치(100)에서 참조 블록에 대한 부호화 비용과 변경 참조 블록에 대한 부호화 비용을 기초로 평균 보상 계수를 적용하여 현재 블록의 움직임을 보상 할지 여부를 결정한 경우이므로, 평균 보상 계수 사용 정보가 평균 보상 계수를 사용함을 나타내는지(예를 들어, 플래그 '1') 또는 평균 보상 계수를 사용하지 않음을 나타내는지(예를 들어, 플래그 '0') 여부를 판단하여 그에 따라 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할지 또는 참조 블록을 현재 블록의 예측 블록으로서 결정할지 여부를 결정할 수 있다.
다른 예로, 움직임 보상기(920)는 평균 보상 계수가 '0'이 아닌 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고 평균 보상 계수가 '0'인 경우 참조 블록을 현재 블록의 예측 블록으로서 결정하거나, 평균 보상 계수가 기 설정된 범위 내인 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고 평균 보상 계수가 기 설정된 범위 밖인 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다. 즉, 부호화 데이터에 평균 보상 계수 사용 정보가 포함되지 않은 경우에는 영상 부호화 장치(100)에서 평균 보상 계수의 값을 기초로 평균 보상 계수를 적용하여 현재 블록의 움직임을 보상할지 여부를 결정한 경우이므로, 영상 부호화 장치(100)와 미리 약속된 방식으로 평균 보상 계수의 값이 기 설정된 조건에 만족하는지 여부(즉, 평균 보상 계수가 '0'인지 여부 및/또는 평균 보상 계수가 기 설정된 범위 내인지 여부)를 판단하여 그에 따라 변경 참조 블록을 현재 블록의 예측 블록으로서 결정할지 또는 참조 블록을 현재 블록의 예측 블록으로서 결정할지 여부를 결정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 예측 복호화를 위한 인터 예측 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 예측 복호화를 위한 인터 예측 방법에 따르면, 예측기(730)는 부호화 데이터를 복호화하여 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하고(S910), 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하며(S920), 참조 블록에 평균 보상 계수를 반영하여 변경 참조 블록을 생성하여 변경 참조 블록을 현재 블록의 예측 블록으로서 결정한다(S930).
여기서, 현재 블록은 다양한 크기의 매크로블록이 될 수도 있으며, 매크로블록으로부터 변환 단위로 분할된 서브블록이 될 수도 있다. 현재 블록의 주변 블록은 현재 블록과 인접한 블록 중 기 복호화되어 복원된 블록일 수 있으며, 평균 보상 계수는 현재 블록 인접 화소의 평균과 참조 블록 인접 화소의 평균의 차일 수 있다.
단계 S920에서, 예측기(730)는 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록이 참조 블록이 포함되는 참조 픽처에서 참조 블록의 주변 블록인 경우 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
예를 들어, 예측기(730)는 복원되는 현재 블록의 움직임 정보에 의해 식별되는 현재 블록의 참조 픽처 색인과 현재 블록의 주변 블록의 참조 픽처 색인이 동일 하고 복원되는 현재 블록의 움직임 정보에 의해 식별되는 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터의 차이가 기준 임계치 이하인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 벡터에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다. 이를 위해, 예측기(730)는 복원되는 현재 블록의 움직임 정보에 의해 식별되는 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터 간의 거리가 거리 임계치 이하인 경우, 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터의 차이가 기준 임계치 이하인 것으로 판단할 수 있다.
단계 S930에서, 예측기(730)는 참조 블록의 각 화소에서 평균 보상 계수를 감산하여 변경 참조 블록을 생성할 수 있으며, 필요에 따라서는 참조 블록의 각 화소에서 평균 보상 계수를 감산한 값을 화소가 표현되는 값의 범위 내로 제한하여 변경 참조 블록을 생성할 수 있다.
또한, 단계 S930에서, 예측기(730)는 부호화 데이터로부터 추출되는 평균 보상 계수 사용 정보가 평균 보상 계수를 사용함을 나타내는 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수 사용 정보가 평균 보상 계수를 사용하지 않음을 나타내는 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
또한, 단계 S930에서, 예측기(730)는 평균 보상 계수가 '0'이 아닌 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수가 '0'인 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
또한, 단계 S930에서, 예측기(730)는 평균 보상 계수가 기 설정된 범위 내인 경우 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하고, 평균 보상 계수가 기 설정된 범위 밖인 경우 참조 블록을 현재 블록의 예측 블록으로서 결정할 수 있다.
한편, 도 9를 통해 전술한 각 단계는 모두 반드시 수행되어야 하는 것은 아니며, 일부의 단계가 선택적으로 생략되거나 추가될 수도 있다. 또한, 각 단계의 순서도 반드시 도시된 바와 같이 정해지는 것은 아니며, 일부 또는 전분의 단계의 순서가 변경되거나 심지어는 병행적으로 수행될 수도 있다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
영상 복호화 장치(700)는 부호화 데이터를 복호화하여 현재 블록의 움직임 정보 및 잔여 블록을 복원하고(S1010), 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록에 복원되는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 계산되는 평균 보상 계수를 반영한 변경 참조 블록을 현재 블록의 예측 블록으로서 생성하며(S1020), 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원한다(S1030).
또한, 영상 복호화 장치(700)는 부호화 데이터로부터 평균 보상 계수 사용 정보를 추가로 추출할 수 있으며, 이 경우 단계 S1020에서 영상 복호화 장치(700) 는 평균 보상 계수 사용 정보가 평균 보상 계수를 사용함을 나타내는 경우 변경 참조 블록을 현재 블록의 예측 블록으로 결정하고, 평균 보상 계수 사용 정보가 평균 보상 계수를 사용하지 않음을 나타내는 경우 참조 블록을 현재 블록의 예측 블록으로 결정할 수 있다. 물론, 이뿐만 아니라 영상 복호화 장치(700)는 도 8 및 도 9를 통해 전술한 바와 같이, 평균 보상 계수의 값에 기초하여 참조 블록 또는 변경 참조 블록을 선택적으로 현재 블록의 예측 블록으로서 결정할 수도 있다.
또한, 단계 S1020에서, 영상 복호화 장치(700)는 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록이 참조 블록이 포함되는 참조 픽처에서 참조 블록의 주변 블록인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
예를 들어, 영상 복호화 장치(700)는 복원되는 현재 블록의 움직임 정보에 의해 식별되는 현재 블록의 참조 픽처 색인과 현재 블록의 주변 블록의 참조 픽처 색인이 동일하고 복원되는 현재 블록의 움직임 정보에 의해 식별되는 현재 블록의 움직임 벡터와 현재 블록의 주변 블록의 움직임 벡터의 차이가 기준 임계치 이하인 경우, 현재 블록의 주변 블록 내에서 현재 블록과 인접한 인접 화소를 현재 블록 인접 화소로서 선택하고, 현재 블록의 주변 블록의 움직임 벡터에 의해 지시되는 주변 참조 블록 내에서 참조 블록과 인접한 인접 화소를 참조 블록 인접 화소로서 선택할 수 있다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 영상의 특성에 따라 평균 보상 계수를 적응적으로 계산하고 예측 블록에 반영하여 부호화하고자 하는 블록을 더욱 정확하게 예측함으로써 실제 블록과 예측된 블록 간의 차이를 줄여 압축 효율을 향상시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하고 복호화하는 압축 처리 분야에 적용되어, 부호화하고자 하는 블록을 더욱 정확하게 예측함으로써 실제 블록과 예측된 블록 간의 차이를 줄여 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 예측 부호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따라 평균 보상 계수를 계산하기 위한 인접 화소들을 나타낸 예시도,
도 4는 본 발명의 일 실시예에 따라 평균 보상 계수를 계산하기 위해 선택되는 현재 블록의 주변 블록과 참조 블록의 주변 블록과 그에 따른 인접 화소들을 나타낸 예시도,
도 5는 본 발명의 일 실시예에 따른 예측 부호화를 위한 인터 예측 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 8은 본 발명의 일 실시예에 따른 예측 복호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도,
도 9는 본 발명의 일 실시예에 따른 예측 복호화를 위한 인터 예측 방법을 설명하기 위한 순서도,
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

Claims (38)

  1. 예측 부호화를 위한 인터 예측 방법에 있어서,
    현재 블록의 움직임을 추정하여 상기 현재 블록의 움직임 정보를 결정하는 단계;
    상기 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하는 단계;
    상기 현재 블록의 움직임 정보와 상기 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 단계;
    상기 참조 블록에 상기 평균 보상 계수를 반영하여 변경 참조 블록을 생성하는 단계; 및
    상기 변경 참조 블록을 현재 블록의 예측 블록으로서 결정하는 단계
    를 포함하고,
    상기 현재 블록은,
    부호화 단위의 블록으로부터 분할된 서브블록인 것을 특징으로 하는 인터 예측 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 현재 블록의 주변 블록은,
    상기 현재 블록과 인접한 블록 중 기 부호화되고 복호화되어 복원된 블록인 것을 특징으로 하는 인터 예측 방법.
  4. 제 1 항에 있어서, 상기 평균 보상 계수를 계산하는 단계는,
    상기 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록이 상기 참조 블록이 포함되는 참조 픽처에서 상기 참조 블록의 주변 블록인 경우, 상기 현재 블록의 주변 블록 내에서 상기 현재 블록과 인접한 인접 화소를 상기 현재 블록 인접 화소로서 선택하고, 상기 현재 블록의 주변 블록의 움직임 정보에 의해 지시되는 주변 참조 블록 내에서 상기 참조 블록과 인접한 인접 화소를 상기 참조 블록 인접 화소로서 선택하는 것을 특징으로 하는 인터 예측 방법.
  5. 제 1 항에 있어서, 상기 평균 보상 계수를 계산하는 단계는,
    상기 현재 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인과 상기 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 참조 픽처 색인이 동일하고 상기 현재 블록의 움직임 정보에 의해 식별되는 움직임 벡터와 상기 현재 블록의 주변 블록의 움직임 정보에 의해 식별되는 움직임 벡터의 차이가 기준 임계치 이하인 경우, 상기 현재 블록의 주변 블록 내에서 상기 현재 블록과 인접한 인접 화소를 상기 현재 블록 인접 화소로서 선택하고, 상기 현재 블록의 주변 블록의 움직임 벡터에 의해 지시되는 주변 참조 블록 내에서 상기 참조 블록과 인접한 인접 화소를 상기 참조 블록 인접 화소로서 선택하는 것을 특징으로 하는 인터 예측 방법.
  6. 제 5 항에 있어서, 상기 평균 보상 계수를 계산하는 단계는,
    상기 현재 블록의 움직임 벡터와 상기 현재 블록의 주변 블록의 움직임 벡터 간의 거리가 거리 임계치 이하인 경우, 상기 현재 블록의 움직임 벡터와 상기 현재 블록의 주변 블록의 움직임 벡터의 차이가 상기 기준 임계치 이하인 것으로 판단하는 것을 특징으로 하는 인터 예측 방법.
  7. 제 1 항에 있어서, 상기 평균 보상 계수는,
    상기 현재 블록 인접 화소의 평균과 상기 참조 블록 인접 화소의 평균의 차인 것을 특징으로 하는 인터 예측 방법.
  8. 제 1 항에 있어서, 상기 변경 참조 블록을 생성하는 단계는,
    상기 참조 블록의 각 화소에서 상기 평균 보상 계수를 감산하여 상기 변경 참조 블록을 생성하는 것을 특징으로 하는 인터 예측 방법.
  9. 제 1 항에 있어서, 상기 변경 참조 블록을 생성하는 단계는,
    상기 참조 블록의 각 화소에서 상기 평균 보상 계수를 감산한 값을 화소가 표현되는 값의 범위 내로 제한하여 상기 변경 참조 블록을 생성하는 것을 특징으로 하는 인터 예측 방법.
  10. 제 1 항에 있어서, 상기 현재 블록의 예측 블록으로서 결정하는 단계는,
    상기 참조 블록에 대한 부호화 비용을 계산하는 단계;
    상기 변경 참조 블록에 대한 부호화 비용을 계산하는 단계;
    상기 참조 블록에 대한 부호화 비용이 상기 변경 참조 블록에 대한 부호화 비용보다 큰 경우, 상기 변경 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계; 및
    상기 참조 블록에 대한 부호화 비용이 상기 변경 참조 블록에 대한 부호화 비용보다 작거나 같은 경우, 상기 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 방법.
  11. 제 1 항에 있어서, 상기 현재 블록의 예측 블록으로서 결정하는 단계는,
    상기 평균 보상 계수가 '0'이 아닌 경우, 상기 변경 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계; 및
    상기 평균 보상 계수가 '0'인 경우, 상기 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 방법.
  12. 제 1 항에 있어서, 상기 현재 블록의 예측 블록으로서 결정하는 단계는,
    상기 평균 보상 계수가 기 설정된 범위 내인 경우, 상기 변경 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계; 및
    상기 평균 보상 계수가 상기 기 설정된 범위 밖인 경우, 상기 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 방법.
  13. 제 12 항에 있어서, 상기 기 설정된 범위는,
    상한 임계값보다 작고 하한 임계값보다 큰 범위이며, 상기 상한 임계값과 상기 하한 임계값은 상기 현재 블록 인접 화소와 상기 참조 블록 인접 화소의 분산, 표준편차 및 상관계수 중 하나 이상을 이용하여 결정되는 것을 특징으로 하는 인터 예측 방법.
  14. 제 1 항에 있어서, 상기 현재 블록의 예측 블록으로서 결정하는 단계는,
    상기 평균 보상 계수를 적용하여 상기 현재 블록의 움직임을 추가로 추정하여 상기 현재 블록의 움직임 정보의 움직임 벡터를 재조정하는 것을 특징으로 하는 인터 예측 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 예측 복호화를 위한 인터 예측 방법에 있어서,
    부호화 데이터를 복호화하여 복원되는 현재 블록의 움직임 정보에 의해 지시되는 참조 블록을 생성하는 단계;
    상기 복원되는 현재 블록의 움직임 정보와 상기 현재 블록의 주변 블록의 움직임 정보를 기초로 선택되는 현재 블록 인접 화소와 참조 블록 인접 화소를 이용하여 평균 보상 계수를 계산하는 단계;
    상기 참조 블록에 상기 평균 보상 계수를 반영하여 변경 참조 블록을 생성하는 단계; 및
    상기 변경 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계
    를 포함하고,
    상기 현재 블록은,
    부호화 단위의 블록으로부터 분할된 서브블록인 것을 특징으로 하는 인터 예측 방법.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 제 21 항에 있어서, 상기 현재 블록의 예측 블록으로서 결정하는 단계는,
    상기 부호화 데이터로부터 추출되는 평균 보상 계수 사용 정보가 상기 평균 보상 계수를 사용함을 나타내는 경우, 상기 변경 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계; 및
    상기 평균 보상 계수 사용 정보가 상기 평균 보상 계수를 사용하지 않음을 나타내는 경우 상기 참조 블록을 상기 현재 블록의 예측 블록으로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 방법.
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
KR1020090099501A 2009-09-25 2009-10-20 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 KR101432767B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090099501A KR101432767B1 (ko) 2009-10-20 2009-10-20 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US13/497,928 US9571851B2 (en) 2009-09-25 2010-09-24 Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
PCT/KR2010/006518 WO2011037420A2 (ko) 2009-09-25 2010-09-24 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099501A KR101432767B1 (ko) 2009-10-20 2009-10-20 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110042705A KR20110042705A (ko) 2011-04-27
KR101432767B1 true KR101432767B1 (ko) 2014-08-26

Family

ID=44048076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099501A KR101432767B1 (ko) 2009-09-25 2009-10-20 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101432767B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019212223A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 dmvr을 사용하는 영상 디코딩 방법 및 그 장치
WO2020040623A1 (ko) * 2018-08-24 2020-02-27 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069976A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치
KR101960761B1 (ko) 2011-11-24 2019-03-22 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
WO2013077659A1 (ko) * 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
MX340482B (es) * 2012-07-11 2016-07-08 Lg Electronics Inc Metodo y aparato para el procesamiento de señal de video.
WO2019078427A1 (ko) * 2017-10-19 2019-04-25 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090034697A (ko) * 2007-10-04 2009-04-08 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090034697A (ko) * 2007-10-04 2009-04-08 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019212223A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 dmvr을 사용하는 영상 디코딩 방법 및 그 장치
WO2020040623A1 (ko) * 2018-08-24 2020-02-27 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210036312A (ko) * 2018-08-24 2021-04-02 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102366262B1 (ko) * 2018-08-24 2022-02-23 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11546602B2 (en) 2018-08-24 2023-01-03 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
US12015781B2 (en) 2018-08-24 2024-06-18 Samsung Electronics Co., Ltd. Image encoding and decoding of chroma block using luma block

Also Published As

Publication number Publication date
KR20110042705A (ko) 2011-04-27

Similar Documents

Publication Publication Date Title
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101418096B1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR101441905B1 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
KR101939699B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101432775B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR101432767B1 (ko) 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101648065B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20080088039A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101479123B1 (ko) 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
KR101768865B1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101449683B1 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101575635B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575605B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6