KR101353304B1 - 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101353304B1
KR101353304B1 KR1020080104515A KR20080104515A KR101353304B1 KR 101353304 B1 KR101353304 B1 KR 101353304B1 KR 1020080104515 A KR1020080104515 A KR 1020080104515A KR 20080104515 A KR20080104515 A KR 20080104515A KR 101353304 B1 KR101353304 B1 KR 101353304B1
Authority
KR
South Korea
Prior art keywords
flag
coefficient
interpolation filter
frame
current frame
Prior art date
Application number
KR1020080104515A
Other languages
English (en)
Other versions
KR20100045549A (ko
Inventor
김하윤
한동훈
김기오
김대연
이영렬
문주희
김해광
전병우
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080104515A priority Critical patent/KR101353304B1/ko
Priority to PCT/KR2009/005963 priority patent/WO2010047498A2/ko
Priority to US13/125,956 priority patent/US8897357B2/en
Publication of KR20100045549A publication Critical patent/KR20100045549A/ko
Application granted granted Critical
Publication of KR101353304B1 publication Critical patent/KR101353304B1/ko
Priority to US14/552,085 priority patent/US9609324B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 현재 프레임의 적응적 보간 필터 계수를 계산하는 계수 계산기; 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 보간된 참조 프레임을 이용하여 현재 프레임을 부호화하는 영상 부호화기; 현재 프레임의 적응적 보간 필터 계수에 따라 계수 삽입 플래그 또는 계수 미삽입 플래그를 필터 플래그로서 생성하고 부호화하는 필터 플래그 부호화기; 필터 플래그가 계수 삽입 플래그인 경우, 현재 프레임의 적응적 보간 필터 계수를 부호화하는 계수 부호화기; 및 부호화된 현재 프레임 및 부호화된 필터 플래그를 포함하되, 부호화된 현재 프레임의 적응적 보간 필터 계수를 추가로 포함하는 비트스트림을 생성하여 출력하는 비트스트림 생성기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
본 발명에 의하면, 적응적으로 보간 필터 계수를 결정하여 영상을 부호화하면서도 적응적으로 결정되는 필터 계수에 대한 정보를 부호화하기 위한 비트량을 줄여 부호화 효율 또는 압축 효율을 향상시킬 수 있다.
영상, 부호, 복호, 적응, 보간, 필터, 계수, 참조, 프레임, 플래그

Description

적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치{Video Encoding/Decoding Method and Apparatus Using Adaptive Interpolation Filter Coefficient}
본 발명은 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 프레임마다 적응적으로 보간 필터 계수를 결정하여 참조 프레임을 보간하고 보간된 참조 프레임을 이용하여 현재 프레임을 부호화하거나 복호화하여 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
H.264/AVC(이하 'H.264'라 약칭함)에서는 인터 예측에 사용되는 참조 프레임을 보간하기 위해 6탭 필터와 평균값 필터를 사용하여 1/4 분수 화소 정밀도로 보간된 참조 프레임을 생성한다. 더욱 상세하게는, 1/2 분수 화소를 생성하기 위해 6 탭 필터를 사용하며, 1/4 분수 화소를 생성하기 위해 평균값 필터를 사용한다. H.264에서는 인터 예측을 수행할 때 전술한 바와 같이, 분수 화소 정밀도로 보간된 참조 프레임을 이용하여 1/4 분수 화소 정밀도로 움직임 예측과 보상을 수행하기 때문에, 정수 화소 정밀도를 갖는 참조 프레임만을 사용하는 이전의 방법에 비해 높은 압축 효율을 얻을 수 있다.
또한, H.264에서는, 참조 영상을 분수 화소 정밀도로 보간할 때, 고정된 필터 계수를 이용하여 보간할 수도 있지만, 매 프레임마다 보간 필터의 계수를 적응적으로 결정하여 참조 영상을 보간할 수도 있다. 이를 위해, H.264에서는 기존의 고정된 필터 계수를 이용하여 매 프레임마다의 영상을 부호화함으로써, 각 블록 모드(블록 타입 또는 블록 형태 등의 의미를 포함함) 정보와 움직임 정보를 찾아낸다. 이때, 블록 모드가 인터 블록 모드인 경우, 보간 필터의 계수를 구하는데 필요한 정보를 누적하고, 부호화된 정보를 비트스트림에 포함시키지 않는다. 하나의 프레임에 대한 부호화가 완료되면, 누적된 정보를 이용하여 보간 필터의 계수를 생성하고 생성된 계수를 이용하여 참조 영상을 보간한 후 보간된 참조 영상을 이용하여 영상을 부호화한다.
하지만, 이렇게 구해진 매 프레임마다의 필터 계수가 모든 인터 블록 모드에 대해 최적이지는 않기 때문에, 부호화 효율의 저하를 초래할 뿐만 아니라, 영상 부호화 장치가 매 프레임마다 결정되는 필터 계수를 영상 복호화 장치로 전송해야 하기 때문에, 비트율이 증가하는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 적응적으로 보간 필터 계수를 결정하여 영상을 부호화하면서도 적응적으로 결정되는 필터 계수에 대한 정보를 부호화하기 위한 비트량을 줄여 부호화 효율 또는 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 현재 프레임의 적응적 보간 필터 계수를 계산하는 계수 계산기; 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 보간된 참조 프레임을 이용하여 현재 프레임을 부호화하는 영상 부호화기; 현재 프레임의 적응적 보간 필터 계수에 따라 계수 삽입 플래그 또는 계수 미삽입 플래그를 필터 플래그로서 생성하고 부호화하는 필터 플래그 부호화기; 필터 플래그가 계수 삽입 플래그인 경우, 현재 프레임의 적응적 보간 필터 계수를 부호화하는 계수 부호화기; 및 부호화된 현재 프레임 및 부호화된 필터 플래그를 포함하되, 필터 플래그가 계수 삽입 플래그인 경우에는 부호화된 현재 프레임의 적응적 보간 필터 계수를 추가로 포함하는 비트스트림을 생성하여 출력하는 비트스트림 생성기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현재 프레임의 적응적 보간 필터 계수를 계산하는 계수 계산 단계; 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 보간된 참조 프레임을 이 용하여 현재 프레임을 부호화하는 영상 부호화 단계; 현재 프레임의 적응적 보간 필터 계수에 따라 계수 삽입 플래그 또는 계수 미삽입 플래그를 필터 플래그로서 생성하고 부호화하는 필터 플래그 부호화 단계; 필터 플래그가 계수 삽입 플래그인 경우, 현재 프레임의 적응적 보간 필터 계수를 부호화하는 계수 부호화 단계; 및 부호화된 현재 프레임 및 부호화된 필터 플래그를 포함하되, 필터 플래그가 계수 삽입 플래그인 경우에는 부호화된 현재 프레임의 적응적 보간 필터 계수를 추가로 포함하는 비트스트림을 생성하여 출력하는 비트스트림 생성 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 부호화된 필터 플래그를 추출하고 복호화하여 필터 플래그를 복원하는 필터 플래그 복호화기; 복원된 필터 플래그가 계수 삽입 플래그인 경우, 비트스트림으로부터 부호화된 현재 프레임의 적응적 보간 필터 계수를 추출하고 복호화하여 현재 프레임의 적응적 보간 필터 계수를 복원하는 계수 복호화기; 및 비트스트림으로부터 부호화된 현재 프레임을 추출하고, 필터 플래그에 따라 다른 프레임의 보간 필터 계수 또는 복원된 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하며, 보간된 참조 프레임을 이용하여 부호화된 현재 프레임을 복호화함으로써 현재 프레임을 복원하고 출력하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 부호화된 필터 플래그를 추출하고 복호화하여 필터 플래그를 복원하는 필터 플래그 복호화 단계; 복원된 필터 플래그가 계수 삽입 플래그인 경우, 비트스트림으로부터 부호화된 현재 프레임의 적응적 보간 필터 계수를 추출하고 복호화하여 현재 프레임의 적응적 보간 필터 계수를 복원하는 계수 복호화 단계; 및 비트스트림으로부터 부호화된 현재 프레임을 추출하고, 필터 플래그에 따라 다른 프레임의 보간 필터 계수 또는 복원된 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하며, 보간된 참조 프레임을 이용하여 부호화된 현재 프레임을 복호화함으로써 현재 프레임을 복원하고 출력하는 영상 복호화 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 적응적으로 보간 필터 계수를 결정하여 영상을 부호화하면서도 적응적으로 결정되는 필터 계수에 대한 정보를 부호화하기 위한 비트량을 줄여 부호화 효율 또는 압축 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 분수 화소 단위로 보간된 참조 프레임과 정수 화소의 화소 위치에 대한 관계를 나타낸 예시도이다.
도 1을 참조하면, An, Bn, Cn, Dn, En, Fn는 정수 화소를 나타내며(단, n=1, 2, 3, 4, 5), b, h, j는 정수 화소를 6탭 필터링하여 생성한 1/2 분수 화소들이다. 6탭 필터링을 위한 6탭 필터의 계수는 (1, -5, 20, 20, -5, 1)/32이며, 수직 혹은 수평 방향으로 6개의 정수 화소에 6탭 필터를 적용하여 6탭 필터링함으로써 1/2 분수 화소를 생성한다. 예를 들어, 1/2 분수 화소 b는 수평 방향의 정수 화소인 C1, C2, C3, C4, C5, C6에 6탭 필터를 적용하여 얻을 수 있는데, 이를 수식으로 나타내면 수학식 1과 같이 나타낼 수 있다.
Figure 112008073816175-pat00001
여기서, round()는 정수로의 반올림 연산을 나타낸다. b, h, j를 제외한 나머지 1/4 분수 화소들(a, c, d, e, f, g, i, k, l, m, n, o)은 정수 화소와 1/2 분 수 화소를 평균값 필터링하여 생성된다. 예를 들어, 1/4 분수 화소 a는 정수 화소 C3과 1/2 분수 화소 b를 평균값 필터링함으로써 선형적으로 보간하여 생성된다. 이를 수식으로 나타내면, 수학식 2와 같이 나타낼 수 있다.
Figure 112008073816175-pat00002
H.264와 같은 압축 기술에서는 전술한 바와 같이, 정수 화소들을 이용하여 1/2 분수 화소를 생성하고, 정수 화소와 1/2 분수 화소를 이용하여 1/4 분수 화소를 생성하는 과정을 거쳐, 도 1에 나타낸 바와 같은 1/4 분수 화소 단위로 보간된 참조 프레임을 생성하고, 보간된 참조 프레임을 이용하여 인터 예측을 위한 움직임 예측을 수행한다.
H.264에서는 인터 블록을 예측할 때, 전술한 바와 같이 보간된 참조 프레임을 이용하여 분수 화소 정밀도로 움직임 예측과 보상을 수행함으로써, 정수 화소 정밀도로 움직임 예측과 보상을 수행하는 기존 방법보다 압축 효율을 향상시킬 수 있었다. 하지만, 전술한 6탭 필터와 같은 고정된 필터 계수를 이용하여 참조 프레임을 보간하는 경우, 엘리어싱(Aliasing), 카메라 잡음, 블록 모드(또는 블록 모드에 따른 특성) 등을 고려하지 않기 때문에 최적의 성능을 나타낼 수 없다.
이를 위해, 적응적 보간 필터 기술이 개발되었는데, 적응적 보간 필터 기술이란 고정된 필터 계수가 아니라 매 프레임마다 결정되는 최적의 보간 필터의 계수를 이용하여 참조 프레임을 보간하는 기술을 말한다. 이러한 적응적 보간 필터 기 술을 이용하면, 고정된 필터 계수를 사용함으로써 발생하는 문제점뿐만 아니라, 예측 오류를 최소화함으로써 더욱 높은 압축 효율을 나타낼 수 있다.
하지만, 적응적 보간 필터 기술의 경우에도, 매 프레임마다 결정되는 보간 필터의 계수가 모든 인터 블록 모드에 대해 최적인 것은 아니기 때문에 압축 효율이 저하될 뿐만 아니라, 매 프레임마다 결정되는 보간 필터의 계수를 영상 복호화 장치로 전송해야 하기 때문에 비트율이 증가하여 압축 효율을 저하되는 문제점이 있다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 계수 계산기(210), 영상 부호화기(220), 필터 플래그 부호화기(230), 계수 부호화기(240) 및 비트스트림 생성기(250)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
계수 계산기(210)는 현재 프레임의 적응적 보간 필터 계수를 계산한다. 즉, 계수 계산기(210)는 입력 영상의 매 프레임이 입력되면 현재 부호화하고자 하는 현재 프레임의 보간 필터 계수를 적응적으로 계산하여 적응적 보간 필터 계수를 출력한다.
이를 위해, 계수 계산기(210)는 입력 영상의 현재 프레임에 대한 보간 필터 계수를 계산하기 위한 정보를 누적하고 누적된 정보를 이용하여 현재 프레임의 보간 필터 계수를 계산한다. 일 예로, 계수 계산기(210)는 현재 프레임에서 현재 부호화하고자 하는 현재 블록의 움직임 벡터가 가리키는 참조 프레임의 화소간의 곱을 나타내는 NxM 매트릭스(Matrix)와 현재 블록의 움직임 벡터가 가리키는 참조 프레임의 화소와 현재 화소의 곱을 나타내는 N 벡터(Vector)를 현재 프레임에 대한 보간 필터 계수를 계산하기 위한 정보로서 누적한다. 이때, 움직임 벡터는 H.264에서 사용하는 고정 보간 필터를 사용하여 참조 프레임을 보간한 후 결정될 수 있다.
현재 프레임의 현재 블록과 참조 프레임의 분수 화소 단위로 보간된 블록을 예시적으로 나타낸 도 3을 참조하면, H.264에서 사용하는 고정 필터 계수로 보간된 참조 프레임을 이용하여 현재 프레임의 4x4 서브블록(Subblock)인 현재 블록의 움직임 벡터를 결정했을 때, 1/4 분수 화소 단위로 결정되는 움직임 벡터가 (-3,0)로 결정된다고 가정한 경우, 현재 블록과 가장 유사한 화소는 도 3에 도시한 바와 같이 나타낼 수 있다.
도 3에 도시한 현재 블록의 1/4 분수 화소 단위의 움직임 벡터를 정수 화소 단위로 변환하면 (-1,0)이 되고, 6개의 필터 계수를 구하기 위해 6개의 화소 정보가 필요하다. 따라서, NxM 매트릭스와 N 벡터를 이용하여 보간 필터 계수를 계산하 는 과정을 예시적으로 설명하기 위한 도 4를 참조하면, 4A에 나타낸 현재 프레임의 (32,0)의 위치에 있는 화소와 참조 프레임의 (29, 0) ~ (34, 0)의 위치에 있는 화소의 화소값을 이용하여, 4B에 나타낸 바와 같은 NxM 매트릭스와 N 벡터를 계산하여 정보로서 누적할 수 있다. 이와 마찬가지로, 현재 프레임의 (33,0)의 위치에 있는 화소는 참조 프레임에서 (30, 0) ~ (35, 0)의 위치에 있는 6개의 화소의 화소값을 이용하여 NxM 매트릭스와 N 벡터를 계산하여 정보로서 누적할 수 있다.
즉, 참조 프레임의 화소들 간의 화소값의 곱을 계산하여 NxM 매트릭스로서 누적하고, 현재 프레임의 화소와 움직임 벡터가 가리키는 참조 프레임의 화소 간의 화소값의 곱을 계산하여 N 벡터로서 누적한 후 모든 화소에 대한 값이 누적되면 보간 필터 계수를 계산한다. 이상에서는, NxM 매트릭스와 N 벡터를 누적하고 이용하여 현재 프레임의 적응적 보간 필터 계수를 계산하는 것으로 설명했지만, 보간 필터 계수를 계산하기 위한 정보라면 다른 정보를 누적하여 적응적 보간 필터 계수를 계산할 수 있을 것이다.
또한, 계수 계산기(210)는 현재 프레임의 블록 모드 및 블록 모드의 집합 중 하나 이상에 따라 현재 프레임의 적응적 보간 필터 계수를 계산할 수 있다. 즉, 계수 계산기(210)는 전술한 적응적 보간 필터 계수를 계산하기 위한 정보를 현재 프레임의 각 블록 모드 또는 블록 모드의 집합에 따라서 누적하고, 누적된 정보를 이용하여 현재 프레임의 적응적 보간 필터 계수를 계산할 수 있다. 여기서, 블록 모드의 집합이란 복수 개의 블록 모드들을 하나의 집합으로 묶은 것을 말하며, 현재 프레임의 전체의 블록 모드들을 하나 또는 그 이상의 집합으로 구분하고, 집합마다 적응적 보간 필터 계수를 계산할 수 있으며, 각 블록 모드별로 적응적 보간 필터 계수를 계산할 수도 있다. 여기서, 블록 모드는 H.264/AVC 표준에 따라, SKIP 모드, 인터 16x16 모드, 인터 16x8 모드, 인터 8x16 모드, 인터 8x8 모드, 인터 8x4 모드, 인터 4x8 모드, 인터 4x4 모드, 인트라 16x16 모드, 인터 4x4 모드 등의 인터 블록 모드가 될 수도 있지만, 반드시 이에 한정되지 않고 다양한 블록 모드일 수 있다.
영상 부호화기(220)는 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 보간된 참조 프레임을 이용하여 현재 프레임을 부호화한다. 즉, 영상 부호화기(220)는 계수 계산기(210)로부터 출력되는 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고, 보간된 참조 프레임을 이용하여 현재 프레임의 각 블록들을 움직임을 예측하고 보상하여 각 블록의 예측 블록을 생성하고 각 블록과 예측 블록을 감산하여 생성한 각 잔차 블록을 부호화함으로써, 현재 프레임을 부호화하여 부호화된 현재 프레임을 출력한다. 영상 부호화기(220)가 계수 계산기(210)에 의해 계산된 현재 프레임의 적응적 보간 필터 계수를 이용하여 현재 프레임을 부호화하는 것은 당업자에게 자명하므로, 이에 대한 상세한 설명을 생략한다.
필터 플래그 부호화기(230)는 현재 프레임의 적응적 보간 필터 계수에 따라 계수 삽입 플래그 또는 계수 미삽입 플래그를 필터 플래그로서 생성하고 부호화한다. 즉, 필터 플래그 부호화기(230)는 계수 계산기(210)로부터 출력되는 현재 프레임의 적응적 보간 필터 계수에 따라 현재 프레임의 적응적 보간 필터 계수를 부호 화하여 영상 복호화 장치로 전송할지 여부를 결정하고, 전송하기로 결정하는 경우에는 계수 삽입 플래그를 필터 플래그로서 생성하며, 전송하지 않는 것으로 결정하는 경우에는 계수 미삽입 플래그를 필터 플래그로서 생성하고, 생성된 필터 플래그를 부호화한다.
일 예로, 필터 플래그 부호화기(230)는 현재 프레임의 적응적 보간 필터 계수와 다른 프레임의 보간 필터 계수 간의 차인 보간 필터 계수 차이값이 기 설정된 임계값보다 작거나 같은 경우에는 계수 미삽입 플래그를 필터 플래그로서 생성할 수 있으며, 현재 프레임의 적응적 보간 필터 계수와 다른 프레임의 보간 필터 계수 간의 차인 보간 필터 계수 차이값이 기 설정된 임계값보다 큰 경우에는 계수 삽입 플래그를 필터 플래그로서 생성할 수 있다. 여기서, 다른 프레임이란 현재 프레임을 부호화하기 이전에 부호화된 프레임일 수 있다.
즉, 전술한 일 예와 같이, 이전 프레임에서 생성된 적응적 보간 필터 계수가 현재 프레임의 적응적 보간 필터 계수와 유사하여 이전 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 부호화해도 압축 효율에 큰 차이가 없다고 판단되는 경우에는, 현재 프레임의 적응적 보간 필터 계수를 영상 복호화 장치로 전송하지 않음으로써, 비트율을 줄여 압축 효율을 향상시킬 수 있다.
여기서, 필터 플래그가 '0' 또는 '1'과 같은 1비트의 이진수로 설정되는 경우(예를 들어, 계수 삽입 플래그가 '1', 계수 미삽입 플래그가 '0', 또는 그 반대), 필터 플래그는 추가로 부호화되지 않을 수 있지만, 필터 플래그가 '000' 또는 '111'과 같이 복수 개의 비트 또는 기타 다른 정보로 설정되는 경우에는, 필터 플 래그는 이진수로 부호화될 수 있다. 또한, 필터 플래그 부호화기(230)는 블록 모드별로 필터 플래그를 설정하거나 블록 모드의 집합별로 필터 플래그를 설정할 수도 있으며, 현재 프레임의 블록 모드의 집합이 하나인 경우에는 하나의 프레임에 하나의 필터 플래그를 설정할 수도 있다.
계수 부호화기(240)는 필터 플래그가 계수 삽입 플래그인 경우, 현재 프레임의 적응적 보간 필터 계수를 부호화한다. 즉, 필터 플래그 부호화기(230)에 의해 현재 프레임 또는 현재 플레임의 각 블록(또는 각 블록의 집합)의 필터 플래그가 계수 삽입 플래그로 설정되는 경우, 계수 계산기(210)에 의해 출력되는 현재 프레임의 적응적 보간 필터 계수를 부호화하여 부호화된 현재 프레임의 적응적 보간 필터 계수를 출력한다. 여기서, 계수 부호화기(240)는 현재 프레임의 적응적 보간 필터 계수를 부호화하는 데 있어서, 엔트로피 부호화 기법을 이용할 수 있으나 반드시 이에 한정되지 않고 다양한 부호화 기법을 이용하여 부호화할 수 있다.
비트스트림 생성기(250)는 부호화된 현재 프레임 및 부호화된 필터 플래그를 포함하되, 필터 플래그가 계수 삽입 플래그인 경우에는 부호화된 현재 프레임의 적응적 보간 필터 계수를 추가로 포함하는 비트스트림을 생성하여 출력한다. 즉, 비트스트림 생성기(250)는 영상 부호화기(220)로부터 출력되는 부호화된 현재 프레임과 필터 플래그 부호화기(230)로부터 출력되는 부호화된 필터 플래그를 포함하는 비트스트림을 생성하여 출력하는데, 필터 플래그 부호화기(230)에 의해 필터 플래그가 계수 미삽입 플래그로 설정되는 경우에는 생성된 비트스트림을 그대로 출력하고, 필터 플래그 부호화기(230)에 의해 필터 플래그가 계수 삽입 플래그로 설정되 는 경우에는 계수 부호화기(240)에 의해 출력되는 부호화된 현재 프레임의 적응적 보간 계수 필터를 비트스트림에 포함시켜 출력한다.
여기서, 비트스트림 생성기(250)는 부호화된 필터 플래그 및 부호화된 현재 프레임의 적응적 보간 필터 계수 중 하나 이상을 비트스트림의 슬라이스 헤더에 포함시킬 수 있다. 또한, 비트스트림 생성기(250)는 블록 모드별로 적응적 보간 필터 계수가 계산된 경우에는, 부호화된 필터 플래그 및 부호화된 현재 프레임의 적응적 보간 필터 계수 중 하나 이상을 비트스트림의 블록 헤더에 포함시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(200)는 입력 영상이 입력되면 현재 부호화하고자 하는 현재 프레임의 참조 프레임을 고정된 보간 필터 계수를 이용하여 부호화함으로써, 적응적 보간 필터 계수를 계산하기 위한 정보를 누적하고 누적된 정보를 이용하여 현재 프레임의 적응적 보간 필터 계수를 계산하며(S510), 계산된 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고(S520), 보간된 참조 프레임을 이용하여 현재 프레임을 부호화한다(S530).
영상 부호화 장치(200)는 필터 플래그를 설정하기 위해, 단계 S510에서 계산된 현재 프레임의 적응적 보간 필터 계수와 기 저장된 다른 프레임의 보간 필터 계수를 비교하여 두 계수 간의 차이값 또는 차이값의 절대값이 기 설정된 임계값보다 작거나 같은지 여부를 확인하고(S540), 기 설정된 임계값보다 작거나 같은 경우에는 계수 미삽입 플래그를 필터 플래그로서 생성하여 부호화하며(S550), 기 설정된 임계값보다 큰 경우에는 계수 삽입 플래그를 필터 플래그로서 생성하여 부호화하고(S560), 현재 프레임의 적응적 보간 필터 계수를 부호화한다(S570).
영상 부호화 장치(200)는 필터 플래그가 계수 삽입 플래그인지 또는 계수 미삽입 플래그인지 여부에 따라, 단계 S530에서 부호화된 현재 프레임과 단계 S550에서 부호화된 필터 플래그를 포함하는 비트스트림을 생성하여 출력하거나, 단계 S530에서 부호화된 현재 프레임과 단계 S560에서 부호화된 필터 플래그와 단계 S570에서 부호화된 현재 프레임의 적응적 보간 필터 계수를 포함하는 비트스트림을 생성하여 출력한다(S580).
이상에서 전술한 바와 같이, 영상 부호화 장치(200)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 필터 플래그 복호화기(610), 계수 복호화기(620) 및 영상 복호화기(630)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(1000)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
필터 플래그 복호화기(610)는 비트스트림으로부터 부호화된 필터 플래그를 추출하고 복호화하여 필터 플래그를 복원하여 출력한다. 필터 플래그 복호화기(610)는 부호화된 필터 플래그를 비트스트림의 슬라이스 헤더로부터 추출할 수 있으나, 블록 헤더로부터 추출할 수도 있다.
계수 복호화기(620)는 복원된 필터 플래그가 계수 삽입 플래그인 경우, 비트스트림으로부터 부호화된 현재 프레임의 적응적 보간 필터 계수를 추출하고 복호화하여 현재 프레임의 적응적 보간 필터 계수를 복원하여 출력한다. 여기서, 계수 복호화기(620)는 부호화된 현재 프레임의 적응적 보간 필터 계수를 비트스트림의 슬라이스 헤더로부터 추출할 수 있다. 또한, 계수 복호화기(620)에 의해 복원된 현재 프레임의 적응적 보간 필터 계수는 현재 프레임의 블록 모드 및 블록 모드의 집합 중 하나 이상에 따라 계산된 것일 수 있으며, 현재 프레임의 블록 모드 및 블록 모드의 집합 중 하나 이상에 따라 누적된 NxM 매트릭스 및 N 벡터를 이용하여 계산된 것일 수 있다.
영상 복호화기(630)는 비트스트림으로부터 부호화된 현재 프레임을 추출하 고, 필터 플래그에 따라 다른 프레임의 보간 필터 계수 또는 복원된 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하며, 보간된 참조 프레임을 이용하여 부호화된 현재 프레임을 복호화함으로써 현재 프레임을 복원하고 출력한다.
일 예로, 영상 복호화기(630)는 필터 플래그 복호화기(610)에서 출력되는 필터 플래그가 계수 삽입 플래그인 경우에는 계수 복호화기(620)로부터 출력되는 복원된 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고, 보간된 참조 프레임을 이용하여 부호화된 현재 프레임을 복호화하며, 필터 플래그 복호화기(610)에서 출력되는 필터 플래그가 계수 미삽입 플래그인 경우에는 기 설정된 다른 프레임의 보간 필터 계수를 이용하여 참조 프레임을 보간하고 보간된 참조 프레임을 이용하여 부호화된 현재 프레임을 복호화한다. 여기서, 기 설정된 다른 프레임은 현재 프레임을 복호화하기 이전에 복호화된 프레임일 수 있다. 한편, 영상 복호화기(630)가 보간된 참조 프레임을 이용하여 부호화된 현재 프레임을 복호화하는 것은 당업자에게 자명하므로 상세한 설명을 생략한다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(600)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(600)는 비트스트림으로부터 부호화된 필터 플 래그를 추출하고 복호화하여 필터 플래그를 복원하고(S710), 필터 플래그가 계수 삽입 플래그인지 여부를 확인하여(S720), 계수 삽입 플래그인 경우에는 비트스트림으로부터 부호화된 현재 프레임의 적응적 보간 필터 계수를 추출하고 복호화하여 현재 프레임의 적응적 보간 필터 계수를 복원하고(S730), 복원된 현재 프레임의 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하며(S740), 계수 미삽입 플래그인 경우에는 다음 프레임(예를 들어, 현재 프레임 이전에 복호화된 이전 프레임)의 보간 필터 계수를 이용하여 참조 프레임을 보간하며(S750), 비트스트림으로부터 부호화된 현재 프레임을 추출하고 단계 S740 또는 단계 S750에서 보간된 참조 프레임을 이용하여 현재 프레임을 복호화하여 현재 프레임을 복원하고 복원 영상으로서 출력한다(S760).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 영상 처리 분야에 적용되어, 적응적으로 보간 필터 계수를 결정하여 영상을 부호화하면서도 적응적으로 결정되는 필터 계수에 대한 정보를 부호화하기 위한 비트량을 줄여 부호화 효율 또는 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 분수 화소 단위로 보간된 참조 프레임과 정수 화소의 화소 위치에 대한 관계를 나타낸 예시도,
도 2는 도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 3은 현재 프레임의 현재 블록과 참조 프레임의 분수 화소 단위로 보간된 블록을 나타낸 예시도,
도 4는 NxM 매트릭스와 N 벡터를 이용하여 보간 필터 계수를 계산하는 과정을 설명하기 위한 예시도,
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 7은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,

Claims (17)

  1. 영상을 부호화하는 장치에 있어서,
    블록 모드 또는 블록 모드 집합마다 현재 프레임의 적응적 보간 필터 계수를 계산하는 계수 계산기;
    상기 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 상기 보간된 참조 프레임을 이용하여 상기 현재 프레임을 부호화하는 영상 부호화기;
    상기 현재 프레임의 적응적 보간 필터 계수와 다른 프레임의 보간 필터 계수와의 비교결과에 따라 계수 삽입 플래그 또는 계수 미삽입 플래그를 필터 플래그로서 비트스트림으로 부호화하는 필터 플래그 부호화기; 및
    상기 필터 플래그가 상기 계수 삽입 플래그인 경우, 상기 적응적 보간 필터 계수를 상기 비트스트림으로 부호화하는 계수 부호화기;
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 필터 플래그 부호화기는,
    상기 적응적 보간 필터 계수와 다른 프레임의 보간 필터 계수와의 차인 보간 필터 계수 차이값이 기 설정된 임계값보다 작거나 같은 경우, 상기 계수 미삽입 플래그를 상기 필터 플래그로서 생성하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1 항에 있어서, 상기 필터 플래그 부호화기는,
    상기 적응적 보간 필터 계수와 다른 프레임의 보간 필터 계수와의 차인 보간 필터 계수 차이값이 기 설정된 임계값보다 큰 경우, 상기 계수 삽입 플래그를 상기 필터 플래그로서 생성하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2 항 또는 제 3 항에 있어서, 상기 다른 프레임은,
    상기 현재 프레임을 부호화하기 이전에 부호화된 프레임인 것을 특징으로 하는 영상 부호화 장치.
  5. 삭제
  6. 제 1 항에 있어서, 상기 계수 계산기는,
    상기 현재 프레임에서 부호화하고자 하는 블록의 움직임 벡터가 가리키는 참조 프레임의 화소값 및 상기 블록의 화소값에 대한 정보를 이용하여 상기 블록 모드 또는 상기 블록 모드 집합에 따라 상기 적응적 보간 필터 계수를 계산하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 1 항에 있어서, 상기 비트스트림 생성기는,
    상기 부호화된 필터 플래그 및 상기 부호화된 적응적 보간 필터 계수 중 하나 이상을 상기 비트스트림의 슬라이스 헤더에 포함시키는 것을 특징으로 하는 영상 부호화 장치.
  8. 영상을 부호화하는 방법에 있어서,
    블록 모드 또는 블록 모드 집합마다 현재 프레임의 적응적 보간 필터 계수를 계산하는 계수 계산 단계;
    상기 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하고 상기 보간된 참조 프레임을 이용하여 상기 현재 프레임을 부호화하는 영상 부호화 단계;
    상기 현재 프레임의 적응적 보간 필터 계수와 다른 프레임의 보간 필터 계수와의 비교결과에 따라 계수 삽입 플래그 또는 계수 미삽입 플래그를 필터 플래그로서 비트스트림으로 부호화하는 필터 플래그 부호화 단계; 및
    상기 필터 플래그가 상기 계수 삽입 플래그인 경우, 상기 적응적 보간 필터 계수를 상기 비트스트림으로 부호화하는 계수 부호화 단계;
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 부호화된 필터 플래그를 추출하고 복호화하여 필터 플래그를 복원하는 필터 플래그 복호화기;
    상기 복원된 필터 플래그가 계수 삽입 플래그인 경우, 블록 모드 또는 블록 모드 집합마다 상기 비트스트림으로부터 부호화된 적응적 보간 필터 계수를 추출하고 복호화하여 적응적 보간 필터 계수를 복원하는 계수 복호화기; 및
    상기 비트스트림으로부터 부호화된 현재 프레임을 추출하고, 상기 필터 플래그에 따라 다른 프레임의 보간 필터 계수 또는 상기 복원된 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하며, 상기 보간된 참조 프레임을 이용하여 상기 부호화된 현재 프레임을 복호화하여 상기 현재 프레임을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9 항에 있어서, 상기 영상 복호화기는,
    상기 필터 플래그가 계수 삽입 플래그인 경우, 상기 복원된 적응적 보간 필터 계수를 이용하여 상기 참조 프레임을 보간하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제 9 항에 있어서, 상기 영상 복호화기는,
    상기 필터 플래그가 계수 미삽입 플래그인 경우, 상기 다른 프레임의 보간 필터 계수를 이용하여 상기 참조 프레임을 보간하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 9 항에 있어서, 상기 다른 프레임은,
    상기 현재 프레임을 복호화하기 이전에 복호화된 프레임인 것을 특징으로 하는 영상 복호화 장치.
  13. 제 9 항에 있어서, 상기 필터 플래그 복호화기는,
    상기 부호화된 필터 플래그를 상기 비트스트림의 슬라이스 헤더로부터 추출하는 것을 특징으로 하는 영상 복호화 장치.
  14. 제 9 항에 있어서, 상기 계수 복호화기는,
    상기 부호화된 적응적 보간 필터 계수를 상기 비트스트림의 슬라이스 헤더로부터 추출하는 것을 특징으로 하는 영상 복호화 장치.
  15. 삭제
  16. 삭제
  17. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 부호화된 필터 플래그를 추출하고 복호화하여 필터 플래그를 복원하는 필터 플래그 복호화 단계;
    상기 복원된 필터 플래그가 계수 삽입 플래그인 경우, 블록 모드 또는 블록 모드 집합에 따라 상기 비트스트림으로부터 부호화된 적응적 보간 필터 계수를 추출하고 복호화하여 적응적 보간 필터 계수를 복원하는 계수 복호화 단계; 및
    상기 비트스트림으로부터 부호화된 현재 프레임을 추출하고, 상기 필터 플래그에 따라 다른 프레임의 보간 필터 계수 또는 상기 복원된 적응적 보간 필터 계수를 이용하여 참조 프레임을 보간하며, 상기 보간된 참조 프레임을 이용하여 상기 부호화된 현재 프레임을 복호화하여 현재 프레임을 복원하는 영상 복호화 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
KR1020080104515A 2008-10-24 2008-10-24 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치 KR101353304B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080104515A KR101353304B1 (ko) 2008-10-24 2008-10-24 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
PCT/KR2009/005963 WO2010047498A2 (ko) 2008-10-24 2009-10-16 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
US13/125,956 US8897357B2 (en) 2008-10-24 2009-10-16 Image encoding/decoding method and device using coefficients of adaptive interpolation filter
US14/552,085 US9609324B2 (en) 2008-10-24 2014-11-24 Image encoding/decoding method and device using coefficients of adaptive interpolation filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080104515A KR101353304B1 (ko) 2008-10-24 2008-10-24 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100045549A KR20100045549A (ko) 2010-05-04
KR101353304B1 true KR101353304B1 (ko) 2014-01-21

Family

ID=42119812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080104515A KR101353304B1 (ko) 2008-10-24 2008-10-24 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (2) US8897357B2 (ko)
KR (1) KR101353304B1 (ko)
WO (1) WO2010047498A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
KR20120090740A (ko) 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20130098122A (ko) 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2013129822A1 (ko) 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
JP6262455B2 (ja) * 2013-06-28 2018-01-17 株式会社メガチップス 係数テーブルの作成方法および画像の拡大縮小処理装置
KR102249819B1 (ko) 2014-05-02 2021-05-10 삼성전자주식회사 시스템 온 칩과 이를 포함하는 데이터 처리 시스템
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
KR102511546B1 (ko) * 2017-02-24 2023-03-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP7010683B2 (ja) * 2017-12-08 2022-01-26 キオクシア株式会社 データ処理装置、メモリシステム及びデータ処理方法
CN114556923B (zh) 2019-10-03 2023-03-10 华为技术有限公司 编码器、解码器和使用插值滤波的对应方法
CN113709483B (zh) * 2021-07-08 2024-04-19 杭州微帧信息科技有限公司 一种插值滤波器系数自适应生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20050105809A1 (en) * 2002-08-08 2005-05-19 Kiyofumi Abe Moving picture encoding method and decoding method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733161B2 (ja) * 1995-08-01 2006-01-11 キヤノン株式会社 画像処理装置および方法
JP2005532725A (ja) * 2002-07-09 2005-10-27 ノキア コーポレイション ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
KR100750128B1 (ko) 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
US8090031B2 (en) * 2007-10-05 2012-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Method for motion compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050105809A1 (en) * 2002-08-08 2005-05-19 Kiyofumi Abe Moving picture encoding method and decoding method
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding

Also Published As

Publication number Publication date
WO2010047498A3 (ko) 2010-08-05
WO2010047498A2 (ko) 2010-04-29
US20110200099A1 (en) 2011-08-18
KR20100045549A (ko) 2010-05-04
US20150078437A1 (en) 2015-03-19
US9609324B2 (en) 2017-03-28
US8897357B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
KR101353304B1 (ko) 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101441903B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
US9137545B2 (en) Image encoding and decoding apparatus and method
KR101681303B1 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101462052B1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR20100048435A (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101441879B1 (ko) 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
KR101318869B1 (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101346474B1 (ko) 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101658585B1 (ko) 툴 셋을 이용한 영상 부호화/복호화 방법 및 장치
KR101582504B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101575636B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101316710B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101314632B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7