KR101503611B1 - 영상 부호화 및 복호화 방법과 이를 이용한 장치 - Google Patents

영상 부호화 및 복호화 방법과 이를 이용한 장치 Download PDF

Info

Publication number
KR101503611B1
KR101503611B1 KR1020137000268A KR20137000268A KR101503611B1 KR 101503611 B1 KR101503611 B1 KR 101503611B1 KR 1020137000268 A KR1020137000268 A KR 1020137000268A KR 20137000268 A KR20137000268 A KR 20137000268A KR 101503611 B1 KR101503611 B1 KR 101503611B1
Authority
KR
South Korea
Prior art keywords
block
merge
current block
information
mode
Prior art date
Application number
KR1020137000268A
Other languages
English (en)
Other versions
KR20130043651A (ko
Inventor
임재현
박승욱
김정선
전용준
박준영
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130043651A publication Critical patent/KR20130043651A/ko
Application granted granted Critical
Publication of KR101503611B1 publication Critical patent/KR101503611B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 인터 예측 방법은 현재 블록의 인터 예측에 관한 모드 정보를 수신하는 단계, 수신한 모드 정보를 복호화하는 단계 및 복호화된 모드 정보를 이용하여 인터 예측을 수행하는 단계를 포함한다. 본 발명에 의하면, 영상 압축 효율이 향상될 수 있다.

Description

영상 부호화 및 복호화 방법과 이를 이용한 장치{METHOD FOR ENCODING AND DECODING IMAGES, AND DEVICE USING SAME}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 인터 예측 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다. 이러한 문제들을 해결하기 위해서 고효율의 영상 압축 기술들이 이용될 수 있다.
영상 압축 기술에는 현재 픽쳐의 이전 및/또는 이후 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터 예측(inter prediction) 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라 예측(intra prediction) 기술, 출현 빈도가 높은 값에 짧은 코드워드를 할당하고 출현 빈도가 낮은 값에 긴 코드워드를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재한다. 이러한 영상 압축 기술을 이용해 영상 데이터가 효과적으로 압축되어 전송 또는 저장될 수 있다.
본 발명의 기술적 과제는 영상 압축 효율을 높일 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 압축 효율을 높일 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 압축 효율을 높일 수 있는 영상 정보 전송 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 압축 효율을 높일 수 있는 인터 예측 방법 및 장치를 제공함에 있다.
(1) 본 발명의 일 실시 형태는 영상 정보 전송 방법이다. 상기 방법은 현재 블록에 대한 인터 예측을 수행하는 단계, 상기 현재 블록의 인터 예측에 관한 모드 정보를 부호화하는 단계 및 상기 부호화된 모드 정보를 전송하는 단계를 포함하고, 상기 모드 정보는 상기 현재 블록에 대한 레지듀얼 신호가 존재하는지 여부를 지시하는 레지듀얼 플래그 정보 및 상기 현재 블록에 대해 머지 모드가 적용되는지 여부를 지시하는 머지 플래그 정보를 포함한다.
(2) 본 발명의 다른 실시 형태는 인터 예측 방법이다. 상기 방법은 현재 블록의 인터 예측에 관한 모드 정보를 수신하는 단계, 상기 수신된 모드 정보를 복호화하는 단계 및 상기 복호화된 모드 정보를 기반으로 상기 현재 블록에 대한 인터 예측을 수행하는 단계를 포함하고, 상기 모드 정보는, 상기 현재 블록에 대한 레지듀얼 신호가 존재하는지 여부를 지시하는 레지듀얼 플래그 정보 및 상기 현재 블록에 대해 머지 모드가 적용되는지 여부를 지시하는 머지 플래그 정보를 포함한다.
(3) (2)에 있어서, 상기 인터 예측 수행 단계는, 상기 복호화된 모드 정보를 이용하여, 후보 블록 리스트를 구성하는 복수의 후보 블록 중에서, 상기 현재 블록의 움직임 정보 도출에 사용되는 블록을 선택하는 단계 및 상기 선택된 블록을 이용하여 상기 현재 블록의 움직임 정보를 도출하는 단계를 더 포함할 수 있고, 상기 후보 블록 리스트는 상기 현재 블록에 대한 레지듀얼 신호의 존재 여부에 관계 없이 동일하게 구성될 수 있다.
(4) (3)에 있어서, 상기 후보 블록 리스트는, 상기 현재 블록에 인접한 좌측 주변 블록, 상기 현재 블록에 인접한 상단 주변 블록, 상기 현재 블록의 우측 상단 코너 블록, 좌측 상단 코너 블록, 좌측 하단 코너 블록 및 상기 현재 블록에 대한 동일 위치 블록(co-located block)으로 구성될 수 있다.
(5) (4)에 있어서, 상기 후보 블록 리스트는, 상기 현재 블록의 좌측에 인접한 주변 블록 중 최하단에 위치한 블록, 상기 현재 블록의 상단에 인접한 주변 블록 중 최우측에 위치한 블록, 상기 현재 블록의 우측 상단 코너 블록, 좌측 상단 코너 블록, 좌측 하단 코너 블록 및 상기 현재 블록에 대한 동일 위치 블록으로 구성될 수 있다.
(6) (3)에 있어서, 상기 도출된 움직임 정보는, L0 움직임 정보, L1 움직임 정보 및 Bi 움직임 정보 중 하나일 수 있다.
(7) (2)에 있어서, 상기 현재 블록에 대한 레지듀얼 신호가 존재하지 않는 경우에, 상기 모드 정보 복호화 단계에서는 루마(luma) 성분에 대한 레지듀얼 값 및 크로마(chroma) 성분에 대한 레지듀얼 값을 0으로 도출할 수 있다.
(8) (2)에 있어서, 상기 모드 정보 복호화 단계에서는, 상기 레지듀얼 플래그 정보를 상기 머지 플래그 정보보다 먼저 복호화할 수 있다.
(9) (2)에 있어서, 상기 모드 정보 복호화 단계에서는, 상기 머지 플래그 정보를 상기 레지듀얼 플래그 정보보다 먼저 복호화하고, 상기 레지듀얼 플래그 정보는 상기 복호화된 머지 플래그 정보가 상기 현재 블록에 대한 예측 모드가 머지 모드임을 지시하는 경우에만 복호화할 수 있다.
(10) 본 발명의 또 다른 실시 형태는 영상 복호화 방법이다. 상기 방법은 현재 블록의 인터 예측에 관한 모드 정보를 수신하는 단계, 상기 수신된 모드 정보를 복호화하는 단계, 상기 복호화된 모드 정보를 기반으로 상기 현재 블록에 대한 인터 예측을 수행하여 예측 블록을 생성하는 단계 및 상기 생성된 예측 블록을 이용하여 복원 블록을 생성하는 단계를 포함하고, 상기 모드 정보는, 상기 현재 블록에 대한 레지듀얼 신호가 존재하는지 여부를 지시하는 레지듀얼 플래그 정보 및 상기 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 지시하는 머지 플래그 정보를 포함한다.
(11) (10)에 있어서, 상기 인터 예측 수행 단계는, 상기 복호화된 모드 정보를 이용하여, 후보 블록 리스트를 구성하는 복수의 후보 블록 중에서, 상기 현재 블록의 움직임 정보 도출에 사용되는 블록을 선택하는 단계 및 상기 선택된 블록을 이용하여 상기 현재 블록의 움직임 정보를 도출하는 단계를 더 포함할 수 있고, 상기 후보 블록 리스트는 상기 현재 블록에 대한 레지듀얼 신호의 존재 여부에 관계 없이 동일하게 구성될 수 있다.
(12) (11)에 있어서, 상기 후보 블록 리스트는, 상기 현재 블록에 인접한 좌측 주변 블록, 상기 현재 블록에 인접한 상단 주변 블록, 상기 현재 블록의 우측 상단 코너 블록, 좌측 상단 코너 블록, 좌측 하단 코너 블록 및 상기 현재 블록에 대한 동일 위치 블록(co-located block)으로 구성될 수 있다.
(13) (12)에 있어서, 상기 후보 블록 리스트는, 상기 현재 블록의 좌측에 인접한 주변 블록 중 최하단에 위치한 블록, 상기 현재 블록의 상단에 인접한 주변 블록 중 최우측에 위치한 블록, 상기 현재 블록의 우측 상단 코너 블록, 좌측 상단 코너 블록, 좌측 하단 코너 블록 및 상기 현재 블록에 대한 동일 위치 블록으로 구성될 수 있다.
(14) (10)에 있어서, 상기 모드 정보 복호화 단계에서는, 상기 레지듀얼 플래그 정보를 상기 머지 플래그 정보보다 먼저 복호화할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 압축 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 압축 효율이 향상될 수 있다.
본 발명에 따른 영상 정보 전송 방법에 의하면, 영상 압축 효율이 향상될 수 있다.
본 발명에 따른 인터 예측 방법에 의하면, 영상 압축 효율이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치의 예측부를 개략적으로 나타낸 개념도이다.
도 5는 머지 모드에서의 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 머지 후보 리스트에 포함되는 머지 후보들의 실시예를 개략적으로 나타내는 개념도이다.
도 7은 머지 후보 리스트에 포함되는 머지 후보들의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 8은 머지 후보 리스트에 포함되는 머지 후보들의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 9는 부호화기에서의 머지 정보 전송 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 10은 복호화기에서의 인터 예측 방법의 실시예를 개략적으로 나타내는 개념도이다.
도 11은 통합 모드에서의 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 12는 부호화기에서의 통합 모드 정보 전송 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 13은 복호화기에서의 인터 예측 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리 범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 포함한다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit: PU)일 수도 있고, 변환 유닛(Transform Unit: TU)일 수도 있으며, 부호화 유닛(Coding Unit: CU)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함할 수 있다. 예측부(110)는, 픽쳐 분할부(105)에서의 픽쳐의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성할 수 있다. 예측부(110)에서 픽쳐의 처리 단위는 부호화 유닛일 수도 있고, 변환 유닛일 수도 있고, 예측 유닛일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 유닛 단위로 결정되고, 예측의 수행은 변환 유닛 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록: residual block)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터(motion vector) 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달될 수 있다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환(transform)을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 변환 유닛일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 부호화 유닛의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 유닛 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽쳐 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화에는 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법들이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(130)에는 가변길이 부호화(VLC: Variable Length Coding, 이하 ‘VLC’라 함.) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(130)는 저장된 VLC 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 다른 예로서 CABAC 엔트로피 부호화 방법에서, 엔트로피 부호화부(130)는 심볼을 이진화하여 빈(bin)으로 변환한 후 빈의 발생 확률에 따라 빈에 대한 산술 부호화(arithmetic encoding)를 수행하여 비트스트림을 생성할 수도 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 낮은 값의 인덱스(index) 및 이에 대응하는 짧은 코드워드(codeword)가 할당되고, 낮은 발생 확률을 갖는 심볼에 높은 값의 인덱스 및 이에 대응하는 긴 코드워드가 할당될 수 있다. 따라서 부호화 대상 심볼들에 대한 비트량이 감소될 수 있고, 엔트로피 부호화에 의해 영상 압축 성능이 향상될 수 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환할 수 있다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼(Residual) 값은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터 및/또는 ALF(Adaptive Loop Filter)를 복원된 픽쳐에 적용할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는, 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
부호화 유닛(Coding Unit: CU)은 픽쳐의 부호화/복호화가 수행되는 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기반으로 깊이(Depth)를 가지며 분할될 수 있다. 부호화 유닛은 64x64, 32x32, 16x16, 8x8 등의 여러 크기를 가질 수 있다.
부호화기는 최대 부호화 유닛(Largest Coding Unit: LCU)과 최소 부호화 유닛(Smallest Coding Unit: SCU)에 관한 정보를 복호화기에 전송할 수도 있다. 최대 부호화 유닛 및/또는 최소 부호화 유닛에 관한 정보와 함께 분할 가능한 회수에 관한 정보(깊이 정보)가 복호화기에 전송될 수 있다. 부호화 유닛이 쿼드 트리 구조를 기반으로 분할되는지에 관한 정보는 분할 플래그(Split Flag)와 같은 플래그 정보를 통해 부호화기로부터 복호화기로 전달될 수 있다.
하나의 부호화 유닛은 복수 개의 예측 유닛으로 분할될 수 있다. 인트라 예측이 수행되는 경우에는 예측 유닛 단위로 예측 모드가 결정되어 예측 유닛 단위로 예측이 수행될 수 있다. 이 때, 예측 유닛 단위로 예측 모드가 정해지고 변환 유닛 단위로 인트라 예측이 수행될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다. 도 2를 참조하면 예측부(200)는 인터 예측부(210) 및 인트라 예측부(220) 를 포함할 수 있다.
인터 예측부(210)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측부(220)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측부(210)는 예측 유닛에 대하여, 참조 픽쳐를 선택하고 예측 유닛과 동일한 크기의 참조 블록을 정수 픽셀 샘플 단위로 선택할 수 있다. 이어서, 인터 예측부(210)는 1/2 픽셀 샘플 단위와 1/4 픽셀 샘플 단위와 같이 정수 이하 샘플 단위로 현재 예측 유닛과 가장 유사하여 레지듀얼 신호가 최소화되며 부호화되는 움직임 벡터 크기 역시 최소가 될 수 있는 예측 블록을 생성할 수 있다. 이때, 움직임 벡터는 정수 픽셀 이하의 단위로 표현될 수 있으며, 예컨대 루마 픽셀에 대해서는 1/4 픽셀 단위로, 크로마 픽셀에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측부(210)가 선택한 참조 픽쳐의 인덱스와 움직임 벡터에 관한 정보는 부호화되어 복호화기에 전달될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다. 도 3을 참조하면, 영상 복호화기(300)는 엔트로피 복호화부(310), 재정렬부(315), 역양자화부(320), 역변환부(325), 예측부(330), 필터부(335) 및 메모리(340)를 포함할 수 있다.
영상 부호화기에 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
엔트로피 복호화부(310)는 입력된 비트스트림에 대하여 엔트로피 복호화를 수행할 수 있으며, 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다. 예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(VLC: Variable Length Coding, 이하 'VLC' 라 함)가 사용된 경우에는 엔트로피 복호화부(310)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블을 구현하여 엔트로피 복호화를 수행할 수 있다. 영상 부호화기에서 엔트로피 부호화를 수행하기 위해, CABAC이 이용된 경우에도, 엔트로피 복호화부(310)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 낮은 값의 인덱스(index) 및 이에 대응하는 짧은 코드워드(codeword)가 할당되고, 낮은 발생 확률을 갖는 심볼에 높은 값의 인덱스 및 이에 대응하는 긴 코드워드가 할당될 수 있다. 따라서 부호화 대상 심볼들에 대한 비트량이 감소될 수 있고, 엔트로피 부호화에 의해 영상 압축 성능이 향상될 수 있다.
엔트로피 복호화부(310)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(330)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(315)로 입력될 수 있다.
재정렬부(315)는, 엔트로피 복호화부(310)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(315)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(315)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(320)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(325)는, 영상 부호화기에서 수행된 양자화 결과에 대해 부호화기의 변환부가 수행한 DCT 및 DST에 대해, 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(325)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(330)는 엔트로피 복호화부(310)에서 제공된 예측 블록 생성 관련 정보와 메모리(340)에서 제공된 이전에 복호화된 블록 및/또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(330)에서 생성된 예측 블록과 역변환부(325)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다.
복원된 블록 및/또는 픽쳐는 필터부(335)로 제공될 수 있다. 필터부(335)는 복원된 블록 및/또는 픽쳐에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링(ALF) 등을 적용할 수 있다.
메모리(340)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치의 예측부를 개략적으로 나타낸 개념도이다.
도 4를 참조하면, 예측부(400)는 인트라 예측부(410) 및 인터 예측부(420)를 포함할 수 있다.
인트라 예측부(410)는 해당 예측 유닛에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다.
인터 예측부(420)는 해당 예측 유닛에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 영상 부호화기에서 제공된 현재 예측 유닛의 인터 예측에 필요한 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보를 이용해 현재 예측 유닛이 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 유닛에 대한 인터 예측을 수행할 수 있다.
이때, 움직임 정보는, 부호화기로부터 수신되는 부호화 유닛의 스킵 플래그, 머지 플래그 등이 확인된 경우, 이에 대응하여 유도될 수 있다.
이하, 발명의 구성 또는 표현에 따라 "영상" 또는 "화면"이 "픽쳐"와 같은 의미를 나타낼 수 있는 경우,"픽쳐"는 "영상" 또는 "화면"으로 기술될 수 있다. 또한 인터 예측(inter prediction)과 화면 간 예측은 동일한 의미를 가지며, 인트라 예측(intra prediction)과 화면 내 예측은 동일한 의미를 가진다.
한편, 현재 블록에 대한 인터 예측이 수행되는 경우, 예측에 따른 전송 정보량을 감소시키기 위해 머지(merge) 모드, 다이렉트(direct) 모드 및/또는 스킵(skip) 모드 등의 예측 모드가 이용될 수 있다.
머지 모드에서 현재 블록은 수직 또는 수평의 인접한 다른 블록에 머지될 수 있다. 여기서, 머지(merge)된다는 것은, 현재 블록의 인터 예측에 있어서, 움직임 정보가 인접한 블록의 움직임 정보로부터 얻어지는 것을 말한다. 이하, 현재 블록에 인접한 블록은 현재 블록의 주변 블록이라 한다.
현재 블록의 머지 관련 정보에는, 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 나타내는 정보, 현재 블록이 현재 블록에 인접한 주변 블록들 중 어떤 주변 블록에 머지되는지를 나타내는 정보 등이 있을 수 있다. 이하, 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 나타내는 정보는 머지 플래그라 하고, 현재 블록이 인접한 주변 블록들 중 어떤 주변 블록에 머지되는지를 나타내는 정보는 머지 인덱스라 한다. 예를 들어, 머지 플래그는 merge_flag에 의해 나타내어질 수 있고, 머지 인덱스는 merge_index에 의해 나타내어질 수 있다. 이 때 머지 인덱스는, 머지 플래그가 현재 블록에 대한 예측 모드가 머지 모드임을 지시하는 경우(예를 들어, merge_flag=1)에만 획득되도록 할 수 있다.
머지 모드에서의 인터 예측은 예를 들어 CU 단위로 수행될 수 있으며, 이러한 경우의 머지는 CU 머지로 불릴 수 있다. 다른 예로서, 머지 모드에서의 인터 예측은 PU 단위로 수행될 수도 있으며, 이러한 경우의 머지는 PU 머지로 불릴 수 있다.
스킵 모드는 예측 블록과 현재 블록의 차이인 레지듀얼 신호의 전송이 생략되는 예측 모드이다. 스킵 모드에서는 예측 블록과 현재 블록의 레지듀얼 신호의 값이 0일 수 있다. 따라서, 스킵 모드에서 부호화기는 복호화기로 레지듀얼 신호를 전송하지 않을 수 있으며, 복호화기는 레지듀얼 신호와 움직임 정보 중 움직임 정보만을 이용하여 예측 블록을 생성할 수 있다. 스킵 모드에서 부호화기는 움직임 정보를 복호화기로 전송할 수 있다. 이 때, 움직임 정보는 현재 블록에 인접한 주변 블록들 중에서 어느 한 블록을 지정하여 해당 블록의 움직임 벡터 정보를 현재 블록에 이용하도록 하는 방식으로 전송될 수도 있다.
다이렉트 모드는 현재 블록에 인접한 주변 블록들 중 부호화/복호화가 완료된 블록을 이용하여 움직임 정보가 도출되는 예측 모드이다. 이 때, 부호화기는 움직임 정보 자체를 복호화기로 전송하지 않을 수 있다.
도 5는 머지 모드에서의 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 5의 실시예는 부호화기 및 복호화기에 적용될 수 있으며, 이하 도 5의 실시예는 편의상 복호화기를 중심으로 서술된다.
도 5를 참조하면, 복호화기는 머지 후보 리스트를 구성하는 머지 후보들 중 현재 블록의 움직임 정보 도출에 사용되는 머지 후보를 선택할 수 있다(S510). 일 실시예로, 복호화기는 부호화기로부터 전송된 머지 인덱스가 지시하는 머지 후보를 현재 블록의 움직임 정보 도출에 사용되는 머지 후보로 선택할 수 있다. 머지 후보 리스트에 포함되는 머지 후보들의 실시예는 도 6 내지 도 8의 실시예에서 후술한다.
복호화기는 선택된 머지 후보를 이용하여 현재 블록의 움직임 정보를 도출할 수 있다(S520). 예를 들어, 복호화기는 선택된 머지 후보의 움직임 정보를 현재 블록의 움직임 정보로서 사용할 수 있다.
인터 예측에는 두 개의 참조 픽쳐 리스트가 사용될 수 있으며, 두 개의 참조 픽쳐 리스트는 각각 참조 픽쳐 리스트0(reference picture list0), 참조 픽쳐 리스트1(reference picture list1)으로 불릴 수 있다. 참조 픽쳐 리스트0 으로부터 선택된 참조 픽쳐를 사용하는 인터 예측을 L0 예측이라 하며, L0 예측은 주로 순방향 예측에 사용된다. 참조 픽쳐 리스트1 으로부터 선택된 참조 픽쳐를 사용하는 인터 예측을 L1 예측이라 하며, L1 예측은 주로 역방향 예측에 사용된다. 또한 각각 참조 픽쳐 리스트0과 참조 픽쳐 리스트1 으로부터 선택된 두 개의 참조 픽쳐를 사용하는 인터 예측은 쌍예측(bi prediction)이라 한다. L0 예측에 사용되는 움직임 정보는 L0 움직임 정보, L1 예측에 사용되는 움직임 정보는 L1 움직임 정보, 쌍예측에 사용되는 움직임 정보는 Bi 움직임 정보라 할 수 있다.
선택된 머지 후보 블록의 움직임 정보는 L0 움직임 정보, L1 움직임 정보 또는 Bi 움직임 정보일 수 있다. 따라서, 머지 후보 블록의 L0 움직임 정보, L1 움직임 정보 또는 Bi 움직임 정보가 현재 블록의 움직임 정보로 사용될 수 있다.
현재 블록의 움직임 정보가 도출되면, 부호화기는 도출된 움직임 정보를 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다(S530).
도 6은 머지 후보 리스트에 포함되는 머지 후보들의 실시예를 개략적으로 나타내는 개념도이다.
상술한 바와 같이 머지 모드가 적용되는 경우, 머지 후보 리스트에 포함된 후보 블록들 중 어느 하나의 움직임 정보를 이용하여 현재 블록의 움직임 정보가 도출될 수 있다. 예를 들어, 머지 후보 리스트에 포함된 후보 블록들 중 어느 하나의 움직임 정보가 현재 블록의 움직임 정보로 사용될 수 있다. 이 때, 움직임 정보와 함께 레지듀얼 신호가 전송될 수도 있고, 예측 블록의 픽셀값이 그대로 현재 블록의 픽셀값으로 사용되는 경우에는 레지듀얼 신호가 전송되지 않을 수도 있다.
도 6의 610을 참조하면, 현재 블록의 좌측 주변 블록(A) 및 현재 블록의 상단 주변 블록(B)이 머지 후보로 이용될 수 있다. 이 때, 도시된 바와 같이, 현재 블록의 좌측 주변 블록은 현재 블록의 좌측에 인접한 블록들 중 가장 상단에 위치한 블록일 수 있고, 현재 블록의 상단 주변 블록은 현재 블록의 상단에 인접한 블록들 중 가장 좌측에 위치한 블록일 수 있다.
도 6의 620을 참조하면, 610에서와 같이 현재 블록의 좌측 주변 블록(A) 및/또는 현재 블록의 상단 주변 블록(B)이 머지 후보로 이용될 수 있다. 이 때, 도시된 바와 같이, 현재 블록의 좌측 주변 블록은 현재 블록의 좌측에 인접한 블록들 중 가장 상단에 위치한 블록일 수 있고, 현재 블록의 상단 주변 블록은 현재 블록의 상단에 인접한 블록들 중 가장 좌측에 위치한 블록일 수 있다. 그리고, 좌측 하단 코너 블록(C) 및/또는 우측 상단 코너 블록(D)이 머지 후보 리스트에 포함되는 머지 후보로 이용될 수 있다. 또한, 동일 위치 블록(col)이 머지 후보 리스트에 포함되는 머지 후보로 이용될 수 있다. 여기서 동일 위치 블록(co-located block)은 참조 픽쳐 내의 블록들 중 현재 블록과 동일 위치에 있는 블록을 의미한다.
도 7은 머지 후보 리스트에 포함되는 머지 후보들의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 7을 참조하면, 현재 블록의 좌측 주변 블록(A) 및/또는 현재 블록의 상단 주변 블록(B)이 머지 후보로 이용될 수 있다. 이 때, 도시된 바와 같이, 현재 블록의 좌측 주변 블록은 현재 블록의 좌측에 인접한 블록들 중 가장 상단에 위치한 블록일 수 있고, 현재 블록의 상단 주변 블록은 현재 블록의 상단에 인접한 블록들 중 가장 좌측에 위치한 블록일 수 있다. 그리고, 좌측 하단 코너 블록(C-1), 우측 상단 코너 블록(C) 및/또는 좌측 상단 코너 블록(C-2)이 머지 후보 리스트에 포함되는 머지 후보로 이용될 수 있다. 또한, 동일 위치 블록(D)이 머지 후보 리스트에 포함되는 머지 후보로 이용될 수 있다.
머지 후보 리스트에는, 현재 블록의 상단에 인접한 블록들 중에서 선택된 블록(B-1)이 머지 후보로서 포함될 수도 있다. 예를 들어, 상기 선택된 블록은 현재 블록 상단에 인접한 주변 블록들 중 유효한(available) 블록으로서 현재 블록과 동일한 참조 픽쳐 인덱스를 가지는 블록일 수 있다. 머지 후보 리스트에는, 현재 블록의 좌측에 인접한 블록들 중에서 선택된 블록(A-1)이 머지 후보로서 포함될 수 있다. 예를 들어, 상기 선택된 블록은 현재 블록의 좌측에 인접한 주변 블록들 중 유효한 블록으로서 현재 블록과 동일한 참조 픽쳐 인덱스를 가지는 블록일 수 있다.
도 8은 머지 후보 리스트에 포함되는 머지 후보들의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 8을 참조하면, 머지 후보 리스트에는 좌측 하단 코너 블록(A0), 우측 상단 코너 블록(B0) 및/또는 좌측 상단 코너 블록(B2)이 머지 후보로서 포함될 수 있다. 또한 머지 후보 리스트에는 현재 블록의 좌측 주변 블록(A1) 및/또는 현재 블록의 상단 주변 블록(B1)이 머지 후보로 포함될 수 있다. 이 때, 좌측 주변 블록(A1)은 현재 블록의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록일 수 있으며, 상단 주변 블록(B1)은 현재 블록의 상단에 인접한 블록들 중 가장 우측에 위치한 블록일 수 있다. 머지 후보 리스트에는 동일 위치 블록(col)이 머지 후보로 포함될 수도 있다.
도 6 내지 도 8의 실시예를 참조하면, 머지 후보 리스트에 포함되는 머지 후보들의 선택 방법은 다양하게 확장될 수 있다. 부호화기 및 복호화기는 상술한 도 6 내지 도 8의 실시예에 따라 머지 후보들을 선택하여 머지 후보 리스트를 구성할 수 있다. 이 때, 부호화기 및 복호화기는 머지 후보들이 선택되면, 중복성(redundancy)을 줄이기 위해 중복되는 후보들을 배제하고, 머지 후보 리스트를 구성할 수도 있다.
상술한 도 6 내지 도 8의 실시예들에서, 머지 후보 리스트를 구성하는 머지 후보의 최대 개수는 소정의 개수 이하로 제한될 수 있다.
예를 들어, 도 7의 실시예에서 머지 후보의 최대 개수가 4개이고, 머지 후보 리스트에 머지 후보가 {A, B, C, C-1, D, …}의 순서로 추가 및/또는 삽입된다고 가정한다. 이 때, A, B, C, C-1, D 블록이 모두 유효(available)하면, A, B, C, C-1 블록만이 머지 후보 리스트에 포함되는 머지 후보들로 결정될 수 있다. 만일 A, B, C-1, D 블록이 유효하고 C 블록이 유효하지 않은 경우, A, B, C-1, D 블록만이 머지 후보 리스트에 포함되는 머지 후보들로 결정될 수 있다.
다른 예로서, 도 8의 실시예에서 머지 후보의 최대 개수가 5개이고, 머지 후보 리스트에 머지 후보가 {A0, A1, B0, B1, B2, col}의 순서로 추가 및/또는 삽입된다고 가정한다. 이 때, A0, A1, B0, B1, B2, col 블록이 모두 유효하면, A0, A1, B0, B1, B2 블록만이 머지 후보 리스트에 포함되는 머지 후보들로 결정될 수 있다. 만일 A0, A1, B0, B2, col 블록이 유효하고 B1 블록이 유효하지 않은 경우, A0, A1, B0, B2, col 블록만이 머지 후보 리스트에 포함되는 머지 후보들로 결정될 수 있다.
또 다른 예로서, 도 8의 실시예에서 현재 픽쳐 내에서 선택되는 공간적(spatial) 머지 후보의 최대 개수가 4개로 제한되고, 참조 픽쳐 내에서 선택되는 동일 위치 블록(col)은 항상 머지 후보로 사용될 수 있다고 가정한다. 또한 공간적 머지 후보는 머지 후보 리스트에 A1, B1, B0, A0, B2의 순서로 추가 및/또는 삽입된다고 가정한다. 이 때, 공간적 머지 후보 중 B1, B0, A0, B2 블록이 유효하고 A1 블록이 유효하지 않은 경우, B1, B0, A0, B2 블록만이 머지 후보 리스트에 포함되는 공간적 머지 후보들로 결정될 수 있다. 따라서, 동일 위치 블록을 포함하여 B1, B0, A0, B2, Col 블록이 머지 후보 리스트에 포함되는 머지 후보들로 결정될 수 있다.
도 9는 부호화기에서의 머지 정보 전송 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 머지 정보에는 머지 플래그, 머지 인덱스 및/또는 레지듀얼 정보 등이 있을 수 있다. 머지 정보가 생성되면, 부호화기는 생성된 머지 정보를 복호화기로 전송할 수 있다.
도 9를 참조하면, 부호화기는 머지 정보를 생성할 수 있다(S910).
머지 정보에는 머지 플래그가 포함될 수 있다. 상술한 바와 같이, 머지 플래그는 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 지시할 수 있다. 일 실시예로 머지 플래그는 merge_flag에 의해 나타내어질 수 있다. 부호화기는 현재 블록에 대한 예측 모드가 머지 모드이면 merge_flag에 1을 할당하고, 현재 블록에 대한 예측 모드가 머지 모드가 아니면 merge_flag에 0을 할당할 수 있다.
머지 정보에는 머지 인덱스도 포함될 수 있다. 상술한 바와 같이, 머지 인덱스는 현재 블록이 인접한 주변 블록들 중 어떤 주변 블록에 머지되는지를 지시할 수 있다. 일 실시예로 머지 인덱스는 merge_index에 의해 나타내어질 수 있다. 머지 플래그가, 현재 블록에 대한 예측 모드가 머지 모드가 아님을 지시하는 경우, 현재 블록에 대한 머지 인덱스 정보는 생성되지 않을 수 있다.
상술한 도 6의 실시예의 610과 같이 머지 후보의 개수가 2개인 경우, 머지 인덱스는 2개의 머지 후보 중 1개를 지시하면 되므로, 머지 인덱스가 두 개의 값을 갖는 플래그(flag)처럼 사용될 수 있다. 이 때, 예를 들어 머지 인덱스는 0과 1의 값만을 가질 수 있다.
그러나, 도 6 내지 도 8의 실시예들 중 도 6의 610을 제외한 나머지 실시예들에서와 같이 머지 후보가 확장된 경우, 두 개의 값만을 가질 수 있는 플래그 정보는 현재 블록이 머지 후보 블록들 중 어떤 블록에 머지되는지를 지시할 수 없다. 따라서, 이 때에는 후술되는 바와 같이 머지 인덱스의 사용 방법이 달라질 수 있다.
일 실시예로, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 머지 후보 리스트를 구성하는 머지 후보의 개수에 따라 다르게 설정될 수 있다.
예를 들어, 현재 블록에 대해 유효한 머지 후보의 개수가 3개인 경우, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 3개일 수 있다. 이 때, 머지 인덱스에는 0, 1, 2 중 하나의 값이 할당될 수 있다. 머지 인덱스는 할당된 값을 이용하여 3개의 머지 후보 중 현재 블록의 움직임 정보 도출에 사용되는 머지 후보를 지시할 수 있다.
다른 예로, 현재 블록에 대해 유효한 머지 후보의 개수가 2개인 경우, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 2개일 수 있다. 이 때, 머지 인덱스에는 0, 1 중 하나의 값이 할당될 수 있으며, 머지 인덱스는 할당된 값을 이용하여 2개의 머지 후보 중 현재 블록의 움직임 정보 도출에 사용되는 머지 후보를 지시할 수 있다.
다른 실시예로, 머지 후보 리스트를 구성하는 머지 후보의 최대 개수가 소정의 개수 이하로 제한되는 경우, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 상기 최대 개수로 설정될 수 있다.
예를 들어, 머지 후보의 최대 개수가 4개인 경우 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 4개일 수 있다. 이 때, 머지 인덱스에는 0, 1, 2, 3 중 하나의 값이 할당될 수 있다. 머지 인덱스는 할당된 값을 이용하여 4개의 머지 후보 중 현재 블록의 움직임 정보 도출에 사용되는 머지 후보를 지시할 수 있다.
만일, 유효한 머지 후보의 개수가 상기 최대 개수보다 작으면, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 유효한 머지 후보의 개수에 따라 다르게 설정될 수 있다. 예를 들어, 머지 후보의 최대 개수가 4개로 제한되고, 유효한 머지 후보의 개수가 2개인 경우, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 2개일 수 있다.
머지 정보에는 레지듀얼 정보도 포함될 수 있다. 레지듀얼 정보는 머지 모드에서 루마(Y), 크로마(U, V) 성분 블록 각각에 대해, 0이 아닌 변환 계수를 포함하는지 여부를 지시할 수 있다. 상기 레지듀얼 정보는 코디드 블록 플래그(Coded Block Flag: cbf)에 의해 나타내어질 수 있다. 예를 들어, 루마 성분에 대한 레지듀얼 정보는 cbf_luma에 의해 나타내어질 수 있고, 크로마 성분에 대한 레지듀얼 정보는 각각 cbf_chromaU, cbf_chromaV에 의해 나타내어질 수 있다. 또한, 머지 모드에서 인터 예측이 수행되는 블록에 대한 전체 레지듀얼 정보는 예를 들어 merge_cbf에 의해 나타내어질 수 있다. 이하, 상기 머지 모드 블록에 대한 전체 레지듀얼 정보는 머지 레지듀얼 정보라 한다.
일 실시예로, merge_cbf가 1일 때 머지 레지듀얼 정보는, merge_flag=1, cbf_luma=0, cbf_chromaU=0, cbf_chromaV=0 임을 지시할 수 있다. 즉, merge_cbf가 1이면, 현재 블록에 대한 예측 모드가 머지 모드이고 루마 성분 및 크로마 성분에 대한 레지듀얼 값이 0으로 도출될 수 있다. 또한 merge_cbf가 0일 때 머지 레지듀얼 정보는, merge_cbf가 1인 경우에 해당되지 않는 일반적인 머지 모드임을 지시할 수 있다.
상기 머지 레지듀얼 정보는 복호화기 측에서 머지 플래그보다 먼저 복호화될 수 있다. 이러한 경우, 부호화기는 머지 플래그의 값에 관계 없이 머지 레지듀얼 정보를 생성하여 복호화기로 전송해야 한다. 그러나, 현재 블록의 예측 모드가 머지 모드가 아닌 경우에도 머지 레지듀얼 정보가 생성되어 전송될 수 있으므로, 전송 비트량의 낭비가 발생할 수 있다.
따라서, 부호화기는 현재 블록의 예측 모드가 머지 모드인 경우, 예를 들어 merge_flag가 1인 경우에만 머지 레지듀얼 정보(예를 들어, merge_cbf)를 생성하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 머지 플래그를 먼저 복호화한 후, 현재 블록의 예측 모드가 머지 모드인 경우에만 머지 레지듀얼 정보를 복호화할 수 있다. 따라서, 불필요한 오버헤드(overhead)가 감소될 수 있다.
다시 도 9를 참조하면, 부호화기는 생성된 머지 정보를 부호화할 수 있다(S920). 머지 정보가 부호화되면, 부호화기는 부호화된 머지 정보를 복호화기로 전송할 수 있다(S930).
CU 머지에서는, 머지 플래그 및 머지 인덱스 등을 포함한 머지 정보가 부호화 유닛 단위로 전송될 수 있다. PU 머지에서는, 머지 플래그 및 머지 인덱스 등을 포함한 머지 정보가 예측 유닛 단위로 전송될 수 있다. 또한 상술한 바와 같이 현재 블록의 예측 모드가 머지 모드가 아닌 경우, 부호화기는 머지 레지듀얼 정보를 복호화기로 전송하지 않을 수 있다.
도 10은 복호화기에서의 인터 예측 방법의 실시예를 개략적으로 나타내는 개념도이다. 복호화기는 머지 정보를 수신하고, 수신된 머지 정보를 이용하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
도 10을 참조하면, 복호화기는 부호화기로부터 머지 정보를 수신할 수 있다(S1010). 도 9의 실시예에서 상술한 바와 같이, 머지 정보에는 머지 플래그, 머지 인덱스 및 레지듀얼 정보 등이 포함될 수 있다.
머지 플래그는 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 지시할 수 있고, 머지 인덱스는 현재 블록이 인접한 주변 블록들 중 어떤 주변 블록에 머지되는지를 지시할 수 있다.
상술한 바와 같이 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 머지 후보 리스트를 구성하는 머지 후보의 개수에 따라 다르게 설정될 수 있다. 머지 후보 리스트를 구성하는 머지 후보의 최대 개수가 소정의 개수 이하로 제한되는 경우, 머지 인덱스가 지시할 수 있는 머지 후보의 개수는 상기 최대 개수로 설정될 수 있다.
머지 플래그 및 머지 인덱스의 구체적인 실시예들은 도 9의 실시예에서 상술한 바와 같다.
레지듀얼 정보는 머지 모드에서 루마(Y), 크로마(U, V) 성분 블록 각각에 대해, 0이 아닌 변환 계수를 포함하는지 여부를 지시할 수 있다. 상기 레지듀얼 정보는 코디드 블록 플래그(Coded Block Flag: cbf)에 의해 나타내어질 수 있다. 머지 모드에서 인터 예측이 수행되는 블록에 대한 전체 레지듀얼 정보는 머지 레지듀얼 정보로 불릴 수 있으며, 머지 레지듀얼 정보에 대한 구체적인 실시예들은 도 9의 실시예에서 상술한 바와 같다.
다시 도 10을 참조하면, 복호화기는 수신된 머지 정보를 복호화할 수 있다(S1020).
부호화기는 머지 플래그의 값에 관계 없이 머지 레지듀얼 정보를 생성하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 머지 레지듀얼 정보를 머지 플래그보다 먼저 복호화할 수 있다.
부호화기는 현재 블록의 예측 모드가 머지 모드인 경우에만 머지 레지듀얼 정보를 생성하여 복호화기로 전송할 수도 있다. 이 경우, 복호화기는 머지 플래그를 먼저 복호화한 후, 현재 블록의 예측 모드가 머지 모드인 경우에만 머지 레지듀얼 정보를 복호화할 수 있다. 이 때, 현재 블록의 예측 모드가 머지 모드가 아닌 경우에는 머지 레지듀얼 정보가 전송되지 않으므로, 부호화기로부터 복호화기로 전송되는 비트량이 감소될 수 있다.
복호화기는 복호화된 머지 정보를 이용하여 인터 예측을 수행할 수 있다(S1030).
부호화기로부터 수신된 머지 플래그가, 현재 블록의 예측 모드가 머지 모드임을 지시하는 경우, 복호화기는 머지 모드에서 인터 예측을 수행할 수 있다. 복호화기는, 머지 인덱스를 이용하여, 머지 후보 리스트를 구성하는 머지 후보들 중 현재 블록의 움직임 정보 도출에 사용되는 머지 후보를 선택할 수 있다. 복호화기는 선택된 머지 후보로부터 현재 블록의 움직임 정보를 도출할 수 있으며, 도출된 움직임 정보를 이용하여 예측 블록을 생성할 수 있다.
이 때, 머지 레지듀얼 정보에 의해 루마 성분 및 크로마 성분에 대한 레지듀얼 값이 0으로 도출되는 경우, 복호화기는 레지듀얼 신호에 대한 복호화 과정을 생략할 수 있다.
한편, 상술한 머지 모드, 스킵 모드 및 다이렉트 모드는 필요에 따라 서로 결합 및/또는 통합되어 적용될 수 있다.
예를 들어 상술한 머지 모드는, 현재 블록에 인접한 주변 블록으로부터 현재 블록의 움직임 정보가 도출되고 레지듀얼 신호가 부호화기에서 복호화기로 전송될 수 있다는 점에서, 다이렉트 모드와 유사성을 가진다. 따라서, 머지 모드와 다이렉트 모드를 하나로 통합하여 적용하는 방법이 고려될 수 있다. 이하, 머지 모드와 다이렉트 모드가 하나로 통합된 모드는 통합 머지/다이렉트 모드라 한다.
다른 예로, 스킵 모드와 머지 모드를 통합하여 적용하는 방법이 고려될 수도 있다. 스킵 모드에서는 현재 블록의 움직임 정보를 획득하기 위해, 상기 머지 모드에서 사용되는 방법과 동일한 방법이 사용될 수 있다. 이 때, 스킵 모드와 머지 모드에서는 동일한 주변 블록들이 움직임 정보 도출을 위한 후보 블록으로 사용될 수 있다. 예를 들어, 스킵 모드에서도, 머지 후보 리스트에 포함된 머지 후보들 중 머지 인덱스에 의해 지시된 머지 후보 블록의 움직임 정보가, 그대로 현재 블록의 움직임 정보로 사용될 수 있다. 이러한 경우의 스킵 모드는 머지 스킵(merge skip) 모드로도 불릴 수 있다.
또 다른 예로, 상술한 머지 모드, 스킵 모드 및 다이렉트 모드를 모두 통합하여 적용하는 방법이 고려될 수도 있다.
이하, 상술한 실시예에서와 같이 머지 모드와 다이렉트 모드가 통합된 모드, 머지 모드와 스킵 모드가 통합된 모드 및 머지 모드, 스킵 모드, 다이렉트 모드가 모두 통합된 모드를 총칭하여 통합 모드라 한다. 또한, 통합 모드에서 사용되는 후보 블록을 통합 모드 후보라 한다. 또한, 통합 모드 후보들로 구성된 리스트는 통합 모드 후보 리스트라 한다.
도 11은 통합 모드에서의 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 11의 실시예는 부호화기 및 복호화기에 적용될 수 있으며, 이하 도 11의 실시예는 편의상 복호화기를 중심으로 서술된다.
도 11을 참조하면, 복호화기는 통합 모드 후보 리스트를 구성하는 통합 모드 후보들 중 현재 블록의 움직임 정보 도출에 사용되는 통합 모드 후보를 선택할 수 있다(S1110). 일 실시예로, 머지 스킵 모드에서 복호화기는 부호화기로부터 전송된 머지 인덱스가 지시하는 머지 후보를 현재 블록의 움직임 정보 도출에 사용되는 후보 블록으로 선택할 수 있다. 통합 모드 후보 리스트에 포함되는 통합 모드 후보들의 실시예는 도 6 내지 도 8에 도시된 머지 후보들의 실시예와 동일할 수 있다.
복호화기는 선택된 통합 모드 후보를 이용하여 현재 블록의 움직임 정보를 도출할 수 있다(S1120).
일 실시예로, 통합 머지/다이렉트 모드가 사용되는 경우, 레지듀얼 신호가 전송되는 통합 머지/다이렉트 모드와 레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드가 존재할 수 있다. 이 때, 레지듀얼 신호가 전송되는지 여부에 관한 정보는 별도의 플래그를 통해 부호화기로부터 복호화기로 전송될 수 있다. 예를 들어 상기 플래그는 residual_skip_flag 또는 skip_flag로 나타내어질 수 있다.
레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드에서는 L0 움직임 정보, L1 움직임 정보 및/또는 Bi 움직임 정보가 현재 블록의 움직임 정보로 도출될 수 있다. 즉, 레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드에서는 L0 예측, L1 예측 및/또는 쌍예측이 수행될 수 있다.
이 때, L0 예측, L1 예측 및 쌍예측 중 어떤 예측이 수행되는지는 부호화기 및 복호화기에서 경우에 따라 적응적으로 결정될 수 있다. 예를 들어, 부호화기 및 복호화기는 선택된 통합 모드 후보가 갖는 움직임 정보의 종류(예를 들어, L0 움직임 정보, L1 움직임 정보, Bi 움직임 정보)에 따라 현재 블록에 대해 적용되는 예측 종류 및/또는 예측 방향을 결정할 수 있다. 다른 예로서, 부호화기는 L0 예측, L1 예측 및 쌍예측 중 어떤 예측이 수행되는지에 관한 정보를 복호화기로 전송할 수 있다. 이 때, 복호화기는 부호화기로 전송받은 상기 정보를 이용하여 현재 블록에 대해 적용되는 예측 종류 및/또는 예측 방향을 결정할 수도 있다.
이 때, 레지듀얼 신호가 전송되지 않는 별도의 스킵 모드가 존재할 수도 있다. 스킵 모드에서는 항상 레지듀얼 신호가 전송되지 않을 수 있다. 이 때, 스킵 모드가 적용되는 블록에 대해서는 항상 쌍예측(bi prediction)만이 수행될 수도 있다.
현재 블록의 움직임 정보가 도출되면, 부호화기는 도출된 움직임 정보를 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다(S1130).
도 12는 부호화기에서의 통합 모드 정보 전송 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 12를 참조하면, 부호화기는 통합 모드 정보를 생성할 수 있다(S1210).
통합 모드 정보에는 현재 블록에 대한 예측 모드가 상기 통합 모드에 해당되는지 여부를 지시하는 정보가 포함될 수 있다. 이하, 현재 블록에 대한 예측 모드가 상기 통합 모드에 해당되는지 여부를 지시하는 정보는 통합 모드 플래그라 한다.
통합 모드 정보에는 레지듀얼 정보도 포함될 수 있다.
일 실시예로 통합 머지/다이렉트 모드가 사용되는 경우, 상술한 바와 같이 레지듀얼 신호가 전송되는 통합 머지/다이렉트 모드와 레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드가 존재할 수 있다. 이 때, 상기 레지듀얼 정보는 레지듀얼 신호가 전송되는지 여부에 관한 정보에 해당될 수 있다.
예를 들어 레지듀얼 신호가 전송되는지 여부는 소정의 플래그에 의해 지시될 수 있으며, 상기 플래그는 residual_skip_flag 또는 skip_flag에 의해 나타내어질 수 있다. residual_skip_flag 또는 skip_flag가 1인 경우, 루마 성분 블록 및 크로마 성분 블록이 0이 아닌 변환 계수를 포함하지 않을 수 있다. 즉, 루마 성분 및 크로마 성분에 대해 부호화기로부터 복호화기로 전송되는 레지듀얼 신호가 존재하지 않을 수 있다. 여기서, 루마 성분에 대한 레지듀얼 정보는 cbf_luma에 의해 나타내어질 수 있고, 크로마 성분에 대한 레지듀얼 정보는 각각 cbf_chromaU, cbf_chromaV에 의해 나타내어질 수 있다. residual_skip_flag 또는 skip_flag가 1인 경우, 부호화기는 레지듀얼 신호를 복호화기로 전송하지 않을 수 있다.
residual_skip_flag 또는 skip_flag가 1인 경우, 부호화기는 레지듀얼 신호를 복호화기로 전송하지 않을 수 있으므로, 복호화기에서는 레지듀얼 신호의 복호화 과정이 생략될 수 있다. 이 때, 복호화기는 현재 블록에 대한 레지듀얼 신호가 존재하지 않는 것으로 추정 및/또는 간주할 수 있고, 루마 성분에 대한 레지듀얼 값(예를 들어, cbf_luma) 및 크로마 성분에 대한 레지듀얼 값(예를 들어, cbf_chromaU, cbf_chromaV)을 모두 0으로 도출할 수도 있다.
상기 레지듀얼 정보는 복호화기 측에서 통합 모드 플래그보다 먼저 복호화될 수 있다. 이러한 경우, 부호화기는 통합 모드 플래그의 값에 관계 없이 레지듀얼 정보를 생성하여 복호화기로 전송해야 하므로, 전송 비트량의 낭비가 발생할 수 있다.
전송 비트량을 감소시키기 위해, 부호화기는 현재 블록의 예측 모드가 상기 통합 모드에 해당되는 경우에만 레지듀얼 정보를 생성하여 복호화기로 전송할 수도 있다. 이 때, 복호화기는 통합 모드 플래그를 먼저 복호화한 후, 현재 블록의 예측 모드가 상기 통합 모드에 해당되는 경우에만 통합 모드 레지듀얼 정보를 복호화할 수 있다.
레지듀얼 정보의 전송에 사용되는 비트량을 감소시키기 위해, 현재 블록에 인접한 주변 블록의 정보를 참조하여 현재 블록의 레지듀얼 정보를 도출하는 방법이 사용될 수도 있다. 예를 들어, 통합 모드 후보 리스트를 구성하는 통합 모드 후보 블록들의 residual_skip_flag가 모두 1이거나, 통합 모드 후보 블록들 다수의 residual_skip_flag가 1인 경우, 현재 블록의 residual_skip_flag도 1로 도출될 수 있다. 주변 블록의 정보를 참조하여 현재 블록의 레지듀얼 정보가 도출되는 경우, 부호화기는 현재 블록에 대한 레지듀얼 정보를 생성, 전송하지 않을 수 있다.
다른 실시예로, 머지 스킵 모드가 사용되거나 머지 모드, 스킵 모드, 다이렉트 모드가 모두 통합되어 사용되는 경우, 부호화기는 현재 블록의 예측 모드가 스킵 모드인지 여부에 관한 정보를 생성할 수 있다. 이 때, 통합 모드 정보에 포함되는 레지듀얼 정보는 현재 블록의 예측 모드가 스킵 모드인지 여부에 관한 정보에 해당될 수 있다.
예를 들어 현재 블록의 예측 모드가 스킵 모드인지 여부에 관한 정보는 residual_skip_flag 또는 skip_flag에 의해 나타내어질 수 있다. residual_skip_flag 또는 skip_flag가 1인 경우, 부호화기에서 복호화기로 전송되는 레지듀얼 신호가 존재하지 않는 것으로 추정(infer)될 수 있으며, 복호화기는 레지듀얼 신호에 대한 복호화 과정을 생략할 수 있다.
또한, 상술한 통합 머지/다이렉트 모드에서의 실시예들은, 필요에 따라 머지 스킵 모드가 사용되는 경우 및/또는 머지 모드, 스킵 모드, 다이렉트 모드가 모두 통합되어 사용되는 경우에 대해서도 적용될 수 있다.
다시 도 12를 참조하면, 부호화기는 생성된 통합 모드 정보를 부호화할 수 있다(S1220). 통합 모드 정보가 부호화되면, 부호화기는 부호화된 통합 모드 정보를 복호화기로 전송할 수 있다(S1230).
도 13은 복호화기에서의 인터 예측 방법의 다른 실시예를 개략적으로 나타내는 개념도이다. 복호화기는 통합 모드 정보를 수신하고, 수신된 통합 모드 정보를 이용하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
도 13을 참조하면, 복호화기는 부호화기로부터 통합 모드 정보를 수신할 수 있다(S1310). 도 12의 실시예에서 상술한 바와 같이, 통합 모드 정보에는 통합 모드 플래그, 레지듀얼 정보 등이 포함될 수 있다.
통합 모드 플래그는 현재 블록에 대한 예측 모드가 상기 통합 모드에 해당되는지 여부를 지시할 수 있다.
통합 머지/다이렉트 모드가 사용되는 경우, 상술한 바와 같이 레지듀얼 신호가 전송되는 통합 머지/다이렉트 모드와 레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드가 존재할 수 있다. 이 때, 상기 레지듀얼 정보는 레지듀얼 신호가 전송되는지 여부에 관한 정보에 해당될 수 있다.
머지 스킵 모드가 사용되거나 머지 모드, 스킵 모드, 다이렉트 모드가 모두 통합되어 사용되는 경우, 부호화기는 현재 블록의 예측 모드가 스킵 모드인지 여부에 관한 정보를 생성할 수 있다. 이 때, 통합 모드 정보에 포함되는 레지듀얼 정보는 현재 블록의 예측 모드가 스킵 모드인지 여부에 관한 정보에 해당될 수 있다.
통합 모드 플래그 및 레지듀얼 정보에 대한 구체적인 실시예들은 도 12의 실시예에서 상술한 바와 같다.
다시 도 13을 참조하면, 복호화기는 수신된 통합 모드 정보를 복호화할 수 있다(S1320).
통합 머지/다이렉트 모드가 사용되는 경우, 레지듀얼 신호가 존재하는지 여부에 관한 정보는 별도의 플래그를 통해 부호화기로부터 복호화기로 전송될 수 있다. 상기 플래그는 residual_skip_flag 또는 skip_flag에 의해 나타내어질 수 있다. 이 때, 복호화기는 상기 플래그 정보를 복호화할 수 있고, 복호화된 플래그 정보에 의해, 레지듀얼 신호가 전송되는 통합 머지/다이렉트 모드인지 또는 레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드인지 여부를 판단할 수 있다.
통합 머지/다이렉트 모드가 사용되는 경우, 레지듀얼이 존재하는 통합 머지/다이렉트 모드와 레지듀얼이 존재하지 않는 통합 머지/다이렉트 모드는 레지듀얼의 존부에 따른 복호화 과정을 제외하고 동일하게 취급될 수 있다. 예를 들어, 레지듀얼이 존재하지 않는 통합 머지/다이렉트 모드에서 통합 모드 후보 리스트를 구성하는 통합 모드 후보는, 레지듀얼이 존재하는 통합 머지/다이렉트 모드에서와 동일할 수 있다. 따라서, 복호화기는 레지듀얼의 존재 여부에 관계 없이 움직임 도출을 위해 동일한 통합 모드 후보를 사용할 수 있다. 이 때, 도 11의 실시예에서 상술한 바와 같이, 통합 모드 후보 리스트에 포함되는 통합 모드 후보들의 실시예는 도 6 내지 도 8에 도시된 머지 후보들의 실시예와 동일할 수 있다.
다만, 레지듀얼 신호가 전송되지 않는 통합 머지/다이렉트 모드에서는 복호화기로 전송되는 레지듀얼 신호가 존재하지 않으므로, 복호화기는 레지듀얼 신호를 복호화하는 과정을 생략할 수 있다. 예를 들어 residual_skip_flag 또는 skip_flag가 1인 경우, 복호화기는 레지듀얼 신호가 존재하지 않는 것으로 추정(infer) 및/또는 간주하여 레지듀얼 신호의 복호화 과정을 생략할 수 있다. residual_skip_flag 또는 skip_flag가 1인 경우, 복호화기는 루마 성분에 대한 레지듀얼 값(예를 들어, cbf_luma) 및 크로마 성분에 대한 레지듀얼 값(예를 들어, cbf_chromaU, cbf_chromaV)을 모두 0으로 도출할 수도 있다. 이 때에도 복호화기는 레지듀얼 신호의 복호화 과정을 생략할 수 있다.
부호화기는 통합 모드 플래그의 값에 관계 없이 레지듀얼 정보를 생성하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 레지듀얼 정보를 통합 모드 플래그보다 먼저 복호화할 수 있다.
부호화기는 현재 블록의 예측 모드가 상기 통합 모드에 해당되는 경우에만 레지듀얼 정보를 생성하여 복호화기로 전송할 수도 있다. 이 때, 복호화기는 통합 모드 플래그를 먼저 복호화한 후, 현재 블록의 예측 모드가 상기 통합 모드에 해당되는 경우에만 통합 모드 레지듀얼 정보를 복호화할 수 있다.
도 12의 실시예에서 상술한 바와 같이, 복호화기는 주변 블록의 정보를 참조하여 현재 블록의 레지듀얼 정보를 도출할 수도 있다. 주변 블록의 정보를 참조하여 현재 블록의 레지듀얼 정보가 도출될 수 있는 경우, 부호화기는 현재 블록에 대한 레지듀얼 정보를 생성, 전송하지 않을 수 있다. 따라서 부호화기에서 복호화기로 전송되는 정보량이 감소될 수 있다. 주변 블록의 정보를 참조하여 현재 블록의 레지듀얼 정보가 도출되는 경우의 실시예는 도 12에서 서술된 바와 같다.
머지 스킵 모드가 사용되거나 머지 모드, 스킵 모드, 다이렉트 모드가 모두 통합되어 사용되는 경우, 예를 들어 현재 블록의 예측 모드가 스킵 모드인지 여부에 관한 정보는 residual_skip_flag 또는 skip_flag에 의해 나타내어질 수 있다. residual_skip_flag 또는 skip_flag가 1인 경우, 복호화기는 부호화기로부터 전송되는 레지듀얼 신호가 존재하지 않는 것으로 추정(infer)할 수 있으며, 레지듀얼 신호에 대한 복호화 과정을 생략할 수 있다.
또한, 상술한 통합 머지/다이렉트 모드에서의 실시예들은, 필요에 따라 머지 스킵 모드가 사용되는 경우 및/또는 머지 모드, 스킵 모드, 다이렉트 모드가 모두 통합되어 사용되는 경우에 대해서도 적용될 수 있다.
다시 도 13을 참조하면, 복호화기는 복호화된 통합 모드 정보를 이용하여 인터 예측을 수행할 수 있다(S1330).
상술한 도 11 내지 도 13의 실시예들은 통합 모드의 관점에서 서술되고 있으나, 필요에 따라 통합 모드가 아닌 예측 모드에도 적용될 수 있으며, 예를 들어 머지 모드에도 적용될 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능합을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (14)

  1. 현재 블록의 예측에 관한 모드 정보를 수신하는 단계;
    상기 수신된 예측에 대한 모드 정보를 기반으로 상기 현재 블록에 대한 인터 예측을 수행하는 단계를 포함하고,
    상기 예측에 대한 모드 정보는, 상기 현재 블록에 대한 레지듀얼 신호가 존재하지 않는지 여부를 지시하는 정보 및 상기 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 지시하는 머지 플래그 정보를 포함하고,
    상기 인터 예측을 수행하는 단계는 상기 현재 블록의 인터 예측을 위한 후보 블록 리스트를 구성하는 단계를 포함하고,
    상기 후보 블록 리스트는 상기 현재 블록의 좌측에 인접한 주변 블록 중 최하단에 위치한 블록, 상기 현재 블록의 상단에 인접한 주변 블록 중 최우측에 위치한 블록, 상기 현재 블록의 우측 상단 코너 블록, 상기 현재 블록의 좌측 상단 코너 블록, 상기 현재 블록의 좌측 하단 코너 블록 및 상기 현재 블록에 대한 동일 위치 블록에 기초하여 구성되는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 예측에 대한 모드 정보는 상기 후보 블록 리스트를 구성하는 복수의 후보 블록 중에서 상기 현재 블록의 움직임 정보 도출에 사용되는 블록을 지시하는 머지 인덱스를 더 포함하고,
    상기 인터 예측을 수행하는 단계는,
    상기 머지 인덱스를 용하여, 상기 후보 블록 리스트를 구성하는 복수의 후보 블록 중에서 상기 현재 블록의 움직임 정보 도출에 사용되는 블록을 선택하는 단계;
    상기 선택된 블록으로부터 도출된 상기 현재 블록의 움직임 정보를 이용하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 삭제
  4. 제2항에 있어서,
    상기 선택된 블록으로부터 도출된 상기 현재 블록의 움직임 정보는 L0 움직임 정보, L1 움직임 정보 및 Bi 움직임 정보 중 하나를 포함하는 것을 특징으로 영상 복호화 방법.
  5. 제2항에 있어서,
    상기 후보 블록 리스트는,
    상기 현재 블록에 인접한 좌측 주변 블록 중 어느 한 블록, 상기 현재 블록에 인접한 상단 주변 블록 중 어느 한 블록, 상기 현재 블록의 우측 상단 코너 블록, 상기 현재 블록의 좌측 상단 코너 블록, 상기 현재 블록의 좌측 하단 코너 블록 및 상기 현재 블록에 대한 동일 위치 블록(co-located block)에 기초하여 구성되는 것을 특징으로 하는 영상 복호화 방법.
  6. 삭제
  7. 제1항 또는 제5항에 있어서,
    상기 후보 블록 리스트에 포함되는 머지 후보의 최대 개수는 5개 인 것을 특징으로 하는 영상 복호화 방법.
  8. 제1항 또는 제5항에 있어서,
    상기 후보 블록 리스트는 공간적 머지 후보를 포함하고,
    상기 공간적 머지 후보는 상기 현재 블록의 좌측에 인접한 주변 블록 중 최하단에 위치한 블록, 상기 현재 블록의 상단에 인접한 주변 블록 중 최우측에 위치한 블록, 상기 현재 블록의 우측 상단 코너 블록, 상기 현재 블록의 좌측 하단 코너 블록, 상기 현재 블록의 좌측 상단 코너 블록이 순서로 유효성이 판단되고, 유효한 블록이 상기 후보 블록 리스트에 순차적으로 추가되는 것을 특징으로 하는 영상 복호화 방법.
  9. 제1항 또는 제5항에 있어서,
    상기 후보 블록 리스트에 상기 현재 블록에 대한 동일 위치 블록이 포함되는 경우,
    상기 현재 블록의 좌측에 인접한 주변 블록 중 최하단에 위치한 블록, 상기 현재 블록의 상단에 인접한 주변 블록 중 최우측에 위치한 블록, 상기 현재 블록의 우측 상단 코너 블록, 상기 현재 블록의 좌측 하단 코너 블록, 상기 현재 블록의 좌측 상단 코너 블록이 순서로 유효성이 판단되고, 유효한 블록이 상기 후보 블록 리스트에 순차적으로 추가되는 것을 특징으로 하는 영상 복호화 방법.
  10. 제1항에 있어서,
    상기 정보는 상기 머지 플래그 정보보다 먼저 복호화되는 것을 특징으로 하는 영상 복호화 방법.
  11. 제1항 또는 제10항에 있어서,
    상기 현재 블록에 대한 레지듀얼 신호가 존재하지 않는 경우에,
    루마(luma) 성분에 대한 레지듀얼 값 및 크로마(chroma) 성분에 대한 레지듀얼 값은 0으로 도출되는 것을 특징으로 하는 영상 복호화 방법.
  12. 제1항에 있어서,
    상기 정보는 상기 현재 블록의 레지듀얼 신호가 존재하는지 여부를 지시하는 스킵 플래그 정보이고,
    상기 스킵 플래그 정보가 1이면, 상기 후보 블록 리스트에서 상기 후보 블록 리스트를 구성하는 복수의 후보 블록 중에서 상기 현재 블록의 움직임 정보 도출에 사용되는 블록을 지시하는 머지 인덱스를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제1항에 있어서,
    상기 정보는 상기 현재 블록의 레지듀얼 신호가 존재하는지 여부를 지시하는 스킵 플래그 정보이고,
    상기 스킵 플래그 정보가 0이면, 상기 머지 플래그 정보를 복호화하는 단계; 및 상기 머지 플래그 정보가 상기 현재 블록에 대한 예측 모드가 상기 머지 모드인 것을 지시하면 상기 후보 블록 리스트에서 상기 후보 블록 리스트를 구성하는 복수의 후보 블록 중에서 상기 현재 블록의 움직임 정보 도출에 사용되는 블록을 지시하는 머지 인덱스를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 삭제
KR1020137000268A 2010-11-23 2011-11-22 영상 부호화 및 복호화 방법과 이를 이용한 장치 KR101503611B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41630210P 2010-11-23 2010-11-23
US61/416,302 2010-11-23
PCT/KR2011/008898 WO2012070827A2 (ko) 2010-11-23 2011-11-22 영상 부호화 및 복호화 방법과 이를 이용한 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147007387A Division KR101425772B1 (ko) 2010-11-23 2011-11-22 영상 부호화 및 복호화 방법과 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20130043651A KR20130043651A (ko) 2013-04-30
KR101503611B1 true KR101503611B1 (ko) 2015-03-18

Family

ID=46146270

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147007387A KR101425772B1 (ko) 2010-11-23 2011-11-22 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR1020137000268A KR101503611B1 (ko) 2010-11-23 2011-11-22 영상 부호화 및 복호화 방법과 이를 이용한 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020147007387A KR101425772B1 (ko) 2010-11-23 2011-11-22 영상 부호화 및 복호화 방법과 이를 이용한 장치

Country Status (5)

Country Link
US (9) US9172956B2 (ko)
EP (1) EP2645720A4 (ko)
KR (2) KR101425772B1 (ko)
CN (6) CN105847831B (ko)
WO (1) WO2012070827A2 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
JP5963446B2 (ja) * 2011-01-13 2016-08-03 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
CN106713910B (zh) * 2011-06-14 2019-12-10 三星电子株式会社 对图像进行解码的设备
WO2013005966A2 (ko) * 2011-07-01 2013-01-10 한국전자통신연구원 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR20130004173A (ko) * 2011-07-01 2013-01-09 한국항공대학교산학협력단 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
RU2719375C2 (ru) * 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
MX340434B (es) 2012-09-10 2016-07-08 Panasonic Ip Corp America Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
TWI662831B (zh) 2012-10-12 2019-06-11 韓國電子通信研究院 視訊編碼及解碼方法及使用該方法之裝置
KR101663230B1 (ko) * 2013-07-12 2016-10-06 삼성전자주식회사 잔차 예측을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2015055245A1 (en) * 2013-10-16 2015-04-23 Huawei Technologies Co., Ltd. A method for determining a corner video part of a partition of a video coding block
EP3107290B1 (en) * 2014-03-14 2021-07-28 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US20150271491A1 (en) * 2014-03-24 2015-09-24 Ati Technologies Ulc Enhanced intra prediction mode selection for use in video transcoding
WO2015176683A1 (en) * 2014-05-23 2015-11-26 Mediatek Inc. Method and apparatus for palette table prediction and signaling
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR101895429B1 (ko) 2014-10-07 2018-09-05 삼성전자주식회사 뷰 병합 예측을 이용하여 영상을 부호화 또는 복호화 하는 방법 및 그 장치
US10721467B2 (en) * 2015-05-05 2020-07-21 Lg Electronics Inc. Method and device for processing coding unit in image coding system
KR20170019544A (ko) 2015-08-11 2017-02-22 삼성디스플레이 주식회사 곡면 액정표시장치 및 이의 제조방법
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
CN117221576A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
KR20180021941A (ko) * 2016-08-22 2018-03-06 광운대학교 산학협력단 부호화 유닛들의 병합을 사용하는 비디오 부호화 방법 및 장치, 그리고 비디오 복호화 방법 및 장치
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CN117425006A (zh) * 2017-03-22 2024-01-19 韩国电子通信研究院 使用参考块的预测方法和装置
CN107426573B (zh) * 2017-08-08 2020-11-06 鄂尔多斯应用技术学院 基于运动同质性的自适应快速预测单元划分方法及装置
WO2019050115A1 (ko) * 2017-09-05 2019-03-14 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN115037931A (zh) 2017-10-18 2022-09-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
CN115002460A (zh) * 2018-01-05 2022-09-02 Sk电信有限公司 视频解码设备、视频编码设备和非暂时性计算机可读介质
CN118200549A (zh) * 2018-03-19 2024-06-14 株式会社Kt 对图像进行解码或编码的方法以及非暂态计算机可读介质
US20220038734A1 (en) * 2018-09-20 2022-02-03 Lg Electronics Inc. Method and device for processing image signal
CN111294601A (zh) 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置
WO2020114509A1 (zh) * 2018-12-07 2020-06-11 华为技术有限公司 视频图像解码、编码方法及装置
US11234007B2 (en) 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
CN118317105A (zh) * 2019-03-18 2024-07-09 华为技术有限公司 基于三角预测单元模式的处理方法及装置
WO2020238837A1 (en) 2019-05-25 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Coding of block vectors for intra block copy-coded blocks
CN113497936A (zh) * 2020-04-08 2021-10-12 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244704A (ja) 2002-01-25 2003-08-29 Microsoft Corp 改良型のビデオコーディング方法および装置
KR20060007786A (ko) * 2004-07-22 2006-01-26 삼성전자주식회사 컨텍스트 적응형 이진 산술 부호화 방법 및 그 장치
KR20080022055A (ko) * 2006-09-05 2008-03-10 엘지전자 주식회사 비디오 신호 디코딩 방법 및, 비디오 신호 디코딩 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951341B4 (de) 1999-10-25 2012-02-16 Robert Bosch Gmbh Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildern sowie Einrichtung hierzu
JP2005503736A (ja) * 2001-09-18 2005-02-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化及び復号化方法並びに対応する信号
US7589788B1 (en) * 2003-02-28 2009-09-15 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
US7961783B2 (en) * 2005-07-07 2011-06-14 Mediatek Incorporation Methods and systems for rate control in video encoder
JP2007180808A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 映像符号化装置、映像復号化装置、及び映像符号化方法
WO2007114368A1 (ja) 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
ES2533765T3 (es) 2006-03-30 2015-04-15 Lg Electronics Inc. Un método y un aparato para descodificar/codificar una señal de video
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
AU2007243586B2 (en) 2006-04-27 2010-12-23 Dolby Laboratories Licensing Corporation Audio gain control using specific-loudness-based auditory event detection
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
TWI375469B (en) 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US7655986B2 (en) 2006-12-21 2010-02-02 Intel Corporation Systems and methods for reducing contact to gate shorts
CN101227601B (zh) * 2007-01-15 2011-09-14 飞思卡尔半导体公司 在视频再现中进行几何变换的方法和设备
CN101617537A (zh) * 2007-01-17 2009-12-30 Lg电子株式会社 用于处理视频信号的方法和装置
JP4788649B2 (ja) * 2007-04-27 2011-10-05 株式会社日立製作所 動画像記録方法及びその装置
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JP2011501555A (ja) 2007-10-16 2011-01-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
JP5014195B2 (ja) * 2008-02-25 2012-08-29 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
BR122020007921B1 (pt) * 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
CN101835044B (zh) * 2010-04-23 2012-04-11 南京邮电大学 一种频率域分布式视频编码中的分类组合方法
RS57809B1 (sr) * 2010-07-09 2018-12-31 Samsung Electronics Co Ltd Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova
KR101454133B1 (ko) * 2010-09-02 2014-10-23 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
CN107525859B (zh) 2017-07-26 2020-04-10 中国人民解放军第二军医大学 一种筛选保健品中非法添加化合物衍生物快速检测条件的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244704A (ja) 2002-01-25 2003-08-29 Microsoft Corp 改良型のビデオコーディング方法および装置
KR20060007786A (ko) * 2004-07-22 2006-01-26 삼성전자주식회사 컨텍스트 적응형 이진 산술 부호화 방법 및 그 장치
KR20080022055A (ko) * 2006-09-05 2008-03-10 엘지전자 주식회사 비디오 신호 디코딩 방법 및, 비디오 신호 디코딩 장치

Also Published As

Publication number Publication date
CN105847831B (zh) 2019-08-09
CN105847829B (zh) 2019-08-09
WO2012070827A3 (ko) 2012-07-19
US20190387243A1 (en) 2019-12-19
KR101425772B1 (ko) 2014-08-06
EP2645720A2 (en) 2013-10-02
US20130230103A1 (en) 2013-09-05
CN105847831A (zh) 2016-08-10
EP2645720A4 (en) 2015-12-16
US10440381B2 (en) 2019-10-08
CN105812817A (zh) 2016-07-27
US10757436B2 (en) 2020-08-25
US20150382008A1 (en) 2015-12-31
CN105847829A (zh) 2016-08-10
US9172956B2 (en) 2015-10-27
KR20130043651A (ko) 2013-04-30
US9369729B2 (en) 2016-06-14
CN105791856B (zh) 2019-07-12
US20190068988A1 (en) 2019-02-28
US20170163996A1 (en) 2017-06-08
CN103081475B (zh) 2016-04-27
CN105791856A (zh) 2016-07-20
US20160255361A1 (en) 2016-09-01
CN103081475A (zh) 2013-05-01
US9800888B2 (en) 2017-10-24
CN105847830B (zh) 2019-07-12
US11234013B2 (en) 2022-01-25
US11627332B2 (en) 2023-04-11
US9621911B2 (en) 2017-04-11
CN105812817B (zh) 2019-07-12
KR20140044403A (ko) 2014-04-14
US20220109867A1 (en) 2022-04-07
CN105847830A (zh) 2016-08-10
US20200351512A1 (en) 2020-11-05
WO2012070827A2 (ko) 2012-05-31
US10148975B2 (en) 2018-12-04
US20180027254A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
KR101503611B1 (ko) 영상 부호화 및 복호화 방법과 이를 이용한 장치
US11616989B2 (en) Entropy decoding method, and decoding apparatus using same
US11924441B2 (en) Method and device for intra prediction
KR101876173B1 (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR101645787B1 (ko) 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기
KR101549911B1 (ko) 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
KR102362841B1 (ko) 영상 정보 시그널링 방법 및 장치와 이를 이용한 디코딩 방법 및 장치
KR102546142B1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
WO2012138032A1 (ko) 영상 정보 부호화 방법 및 복호화 방법
KR20130040414A (ko) 인트라 예측 모드에 따른 변환 및 역변환 방법과 이를 이용한 부호화 및 복호화 장치
WO2012086963A1 (ko) 영상 부호화 및 복호화 방법과 이를 이용한 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190214

Year of fee payment: 5