KR102355933B1 - 비디오 신호의 처리 방법 및 장치 - Google Patents

비디오 신호의 처리 방법 및 장치 Download PDF

Info

Publication number
KR102355933B1
KR102355933B1 KR1020217029395A KR20217029395A KR102355933B1 KR 102355933 B1 KR102355933 B1 KR 102355933B1 KR 1020217029395 A KR1020217029395 A KR 1020217029395A KR 20217029395 A KR20217029395 A KR 20217029395A KR 102355933 B1 KR102355933 B1 KR 102355933B1
Authority
KR
South Korea
Prior art keywords
prediction
information
unit
prediction block
merge
Prior art date
Application number
KR1020217029395A
Other languages
English (en)
Other versions
KR20210115063A (ko
Inventor
박준영
임재현
박승욱
전병문
전용준
최영희
성재원
김정선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020227002357A priority Critical patent/KR102415787B1/ko
Publication of KR20210115063A publication Critical patent/KR20210115063A/ko
Application granted granted Critical
Publication of KR102355933B1 publication Critical patent/KR102355933B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 비디오 신호를 인코딩 또는 디코딩 하는 방법 및 장치를 개시한다. 본 발명에 따른 비디오 신호 처리 방법에서는 코딩 효율을 높이기 위하여 현재 유닛의 예측 정보를 전송하는 대신 이웃 유닛의 예측 정보를 이용하는 병합 모드를 사용할 수 있다. 이 경우 정해진 위치의 유닛들 중에서 이용 가능한 병합 후보 유닛들의 수를 결정하고, 상기 이용 가능한 병합 후보 유닛들의 수를 기초로 하여 병합 모드를 위한 정보를 획득한다. 상기 병합 정보를 이용하여 상기 병합 대상 유닛을 결정하고, 상기 병합 대상 유닛의 예측 정보를 획득한다. 상기 병합 대상 유닛의 예측 정보를 이용하여 상기 현재 유닛의 예측값을 획득하고 이를 이용하여 상기 현재 유닛을 복원하게 된다.

Description

비디오 신호의 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL}
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명은 상기와 같은 요구를 해결하기 위해 고안된 것으로서, 현재 유닛의 화면간 예측에 있어서, 이미 복원된 다른 유닛의 예측 정보를 사용하는 병합 모드를 통해 현재 유닛을 복원함으로써 전송되는 예측 정보를 줄이고 하는데 목적이 있다.
본 발명은 또한, 효율적으로 예측 모드를 구현하고, 현재 블록의 예측 정보를 보다 정확하게 예측하려는데 그 목적이 있다.
본 발명은 또한, 현재 유닛 및 병합되는 이웃 영역들의 특성을 고려하여, 적절한 병합 후보 유닛들을 선정하고, 효율적으로 병합 대상 유닛을 결정하는데 목적이 있다.
본 발명은 또한, 예측 모드를 구현하기 위한 시그널링 방법에 있어서 보다 효율을 높일 수 있는 방법을 제공하는데 그 목적이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로써, 본 발명에 따른 비디오 신호의 처리 방법은 하나의 코딩 유닛을 다시 여러 개의 코딩 유닛으로 재귀적으로 분할하는 구조 및 그 방법을 이용한다. 또한 이러한 코딩 유닛 다양한 형태의 예측 유닛으로 분할되어 모션 예측 보상에서의 정확도를 높일 수 있다.
본 발명은 코딩 효율을 높이기 위한 병합 모드를 사용할 수 있다. 이 때, 다양한 위치에서의 병합 후보 유닛들을 선택하는 방법을 제시한다.
본 발명은 병합 후보 유닛들 중 병합 대상 유닛을 특정하기 위한 효율적인 시그널링 방법을 제시한다. 또한, 해당 정보를 전송하지 않고 병합 대상 유닛을 유도하는 방법을 제시한다. 이를 위하여, 현재 유닛 및 이웃 유닛들의 위치 및 유닛 크기, 모션 정보 등 다양한 조건들을 고려하여 병합 대상 유닛을 적응적으로 결정할 수 있는 방법을 이용할 수 있다.
본 발명에 따른 비디오 신호 처리 방법에 따르면, 화면간 예측에 있어서 유닛 간의 병합에 의하여 현재 유닛의 모션 정보 획득에 필요한 복잡도를 감소 시킬 수 있고, 현재 유닛의 예측 정보를 전송하지 않음으로써 코딩 효율을 높일 수 있다.
또한, 다양한 유닛 크기 및 파티션 단위로 예측 및 병합을 수행하여 영상이나 영상 내 오브젝트들의 특성을 잘 반영할 수 있고, 보다 정확한 예측을 가능하게 한다.
또한, 다양한 위치의 이웃 유닛들을 병합 대상 유닛으로 선정함으로써 병합의 유연성을 확장시키고 보다 정확한 예측 정보를 획득할 수 있다.
또한, 현재 유닛 및 이웃 유닛들의 위치 및 유닛 크기, 모션 정보 등 다양한 조건들을 고려하여 병합 후보 유닛 및/또는 병합 대상 유닛을 효율적이고 적응적으로 결정할 수 있도록 한다.
또한, 필요한 경우에만 병합 모드에 필요한 정보들 전송하게 하고, 불필요하게 중복되는 경우를 제거함으로써, 코딩 효율을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 비디오 신호 인코더 장치의 개략적인 블록도.
도 2는 본 발명의 실시예에 따른 비디오 신호 디코더 장치의 개략적인 블록도.
도 3은 본 발명의 실시 예에 따라 코딩 유닛을 분할하는 일 예
도 4는 예측 유닛의 여러가지 파티션 방법 및 해당 파티션 타입 이름의 일 예.
도 5는 예측 유닛을 비대칭적(Asymmetric)으로 파티션 하는 경우의 일 예.
도 6은 예측 유닛을 기하학적(Geometric)으로 파티션 하는 경우의 일 예.
도 7은 현재 유닛에 대하여 다양한 위치의 병합 후보들을 나타낸 도면.
도 8은 유닛의 크기를 고려하여 병합 후보들을 선택하는 방법을 설명하기 위한 도면.
도 9는 병합 후보가 2개인 경우에 병합 대상을 선택하기 위한 방법에 대한 순서도.
도 10은 이용 가능한 병합 후보들의 수를 이용하여 병합 모드에 필요한 정보를 획득하는 과정을 도시한 순서도.
도 11은 분할 모드가 NxN 타입인 경우, 주변 파티션의 모션 정보를 이용하여 병합 가능한 유닛 결정 방법을 설명하기 위한 도면.
도 12 내지 13은 병합 대상 유닛을 유도하는 방법을 설명하기 위한 도면.
도 14 내지 17은 특정 파티션에서의 병합 대상 유닛 유도 방법을 설명하기 위한 도면.
발명의 실시를 위한 최선의 형태
상기와 같은 목적을 달성하기 위해 본 발명에 따른 비디오 신호의 처리 방법은, 이용 가능한 병합 후보 유닛 개수를 결정하는 단계, 상기 이용 가능한 병합 후보 유닛 개수가 0보다 클 경우, 현재 유닛이 병합 모드를 사용하는지 여부를 나타내는 병합 플래그를 획득하는 단계, 상기 병합 플래그가 상기 현재 블록이 병합 모드임을 나타내고, 상기 이용 가능한 병합 후보 유닛 개수가 1보다 큰 경우, 상기 현재 유닛의 병합 정보를 획득하는 단계, 상기 병합 정보를 이용하여 병합 대상 유닛을 결정하는 단계, 상기 병합 대상 유닛의 예측 정보를 획득하는 단계, 상기 병합 대상 유닛의 예측 정보를 이용하여 상기 현재 유닛의 픽셀 예측값을 획득하는 단계; 및 상기 현재 유닛의 픽셀 예측값을 이용하여 상기 현재 유닛의 픽셀값을 복원하는 단계를 포함하여 구성된다.
이 때, 이용 가능한 병합 후보 유닛 개수를 결정하는 단계에서는, 상기 현재 유닛의 위치를 기초로 하여 선택된 복수개의 후보 유닛들 중에서 이용 가능한 유닛의 수를 결정하게 된다.
본 발명에 따른 비디오 신호의 처리 방법에 있어서, 상기 후보 유닛들은, 상기 현재 유닛의 상단 외곽선에 인접한 유닛으로 구성된 제 1그룹, 상기 현재 유닛의 좌측 외곽선에 인접한 유닛으로 구성된 제 2그룹, 상기 현재 유닛의 코너에 인접한 유닛으로 구성된 제 3 그룹 및 상기 현재 유닛이 포함되지 않은 다른 영상에 위치한 유닛으로 구성된 제 4 그룹 중 적어도 하나 이상을 포함하여 선택될 수 있다.
본 발명에 따른 비디오 신호 처리 방법은 상기 그룹들 중에서 각각 하나의 유닛을 상기 병합 후보 유닛들으로 결정하는 단계를 더 포함하며, 상기 병합 후보 유닛들을 결정하는 단계에서는 상기 유닛들이 상기 현재 유닛에 인접한 외곽선의 길이, 상기 유닛들의 넓이 또는 상기 유닛들의 모션 벡터를 고려할 수 있다.
본 발명에 따른 비디오 신호의 처리 방법에 있어서, 상기 이용 가능한 병합 후보 유닛 개수를 결정하는 단계에서는, 상기 후보 유닛들 중 인터 모드로 코딩되어 예측 정보를 가지고 있고, 상기 현재 유닛 보다 먼저 복호화 된 유닛들의 개수를 셀 수 있다.
본 발명에 따른 비디오 신호의 처리 방법에 있어서, 상기 병합 정보는 상기 병합 후보들의 수가 2인 경우, 상기 현재 유닛의 특정 방향 이웃 유닛이 상기 병합 대상 유닛인지를 나타내는 병합 방향 플래그이고, 상기 병합 후보들의 수가 2보다 큰 경우, 상기 병합 대상 유닛을 나타내는 인덱스가 될 수 있다. 또한, 상기 예측 정보는 참조 영상의 인덱스 및 모션 벡터 정보를 포함한다.
발명의 실시를 위한 형태
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 적절한 의미로 해석될 수 있다. '화면' 또는 '픽쳐(picture)'는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, '슬라이스(slice)', '프레임(frame)' 등은 실제 비디오 신호에의 코딩에 있어서 픽쳐의 일부를 구성하는 단위이기는 하나, 필요에 따라서는 서로 혼용되어 사용 될 수 있다. '픽셀(pixel)', '화소' 또는 'pel'은 하나의 영상을 구성하는 최소의 단위를 의미하는 것이다. 특정한 픽셀의 값을 나타내는 용어로써 '샘플(sample)'을 사용할 수 있다. 샘플은 휘도(Luma) 및 색차(Chroma) 성분으로 나누어질 수 있으나, 일반적으로는 이를 모두 포함하는 용어로써 사용되었다. 상기에서 색차 성분은 정해진 색상들간의 차이를 나타내는 것으로 일반적으로 Cb 및 Cr로 구성된다. '유닛(unit)'은 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하는 의미로 사용되었으며, 경우에 따라서는 '블록(block)' 또는 '영역(area)' 등의 용어와 서로 혼용하여 사용될 수 있다.
본 발명은 비디오 신호를 인코딩 또는 디코딩 하는 방법 및 장치에 대한 것이다. 도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및/또는 엔트로피 코딩부(160)를 포함하여 구성된다.
변환부(110)는 입력받은 비디오 신호에 대한 화소값을 변환하여 변환 계수 값을 획득한다. 이러한 변환 방법으로는, 예를 들어, 이산 코사인 변환 (Discrete Cosine Transform, DCT), 이산 사인 변환 (Discrete Sine Transform, DST) 및/또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 변환부에서는 입력된 영상 신호를 일정 크기의 유닛으로 나누어 변환을 수행하게 된다. 변환에 있어서 기본적인 유닛 단위를 변환 유닛(Transform Unit)이라고 한다. 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다.
양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 화소값을 복원한다.
필터링부(130)에서는 영상의 객관적 또는 주관적 품질 개선을 위한 필터링 연산을 수행한다. 필터링부에서 사용되는 필터로는 예를 들어, 디블록킹 필터(deblocking filter) 및/또는 적응적 루프 필터(adaptive loop filter) 등이 포함될 수 있다. 저장부(156)은 필터링이 적용된 영상을 출력하거나 참조 영상으로 이용하기 위하여 저장한다.
일반적인 비디오 코딩에서는 코딩 효율을 높이기 위하여 영상 신호를 그대로 코딩 하는 것이 아니라, 이미 코딩된 영역을 이용하여 영상을 예측하고, 예측된 영상에 원 영상과 예측 영상간의 레지듀얼 값을 더하여 복원 영상을 획득하는 방법이 사용된다. 영상을 예측하는 방법으로는 화면 내 예측 (intra prediction), 화면 간 예측 (inter prediction) 등이 사용될 수 있으며, 따라서 예측부는 인트라 예측부(152)와 인터 예측부(154)를 포함할 수 있다. 인트라 예측부(152)는 현재 영상 내의 복원된 영역들로부터 화면내 예측을 수행하여, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 현재 영역의 모션 벡터값을 획득하고, 이를 이용하여 복원된 다른 영상의 특정 영역, 즉 참조 영역을 참조하여 화면간 움직임 보상을 수행한다. 한편 인터 예측부(164)는 참조 영역의 위치 정보(참조 프레임 정보, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다.
엔트로피 코딩부(160)는 양자화된 변환 계수, 화면간 부호화 정보, 화면내 부호화 정보 및/또는 참조 영역 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(VLC: Variable Length Coding) 방식과 산술 코딩(arithmetic coding) 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(CAVLC: Context-based Adaptive Variable Length Coding) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(CABAC: Context-based Adaptive Binary Arithmetic Code)가 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 디코딩 장치의 동작은 인코더에서의 각 부분들의 동작에 대응되며, 그 역과정을 수행하게 된다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및/또는 예측부(250) 등을 포함하여 구성될 수 있다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수, 예측 정보 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 영상에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 영상 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 출력되거나 다음 프레임에 대한 참조 영상으로 이용하기 위하여 저장부(256)에 저장된다.
또한, 본 발명의 예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함하고, 전술한 엔트로피 디코딩부(210)를 통해 디코딩된 부호화 타입, 각 영역에 대한 변환 계수, 모션 벡터 등의 정보를 활용하여 예측 영상을 복원하게 된다.
이와 관련하여, 상기 인트라 예측부(252)에서는 현재 영상 내의 디코딩된 샘플로부터 화면내 예측을 수행하여 예측 영상을 생성하게 된다. 인터 예측부(254)는 모션 벡터 및 저장부(256)에 저장된 참조 영상을 이용하여 예측 영상을 생성한다. 모션 벡터를 획득함에 있어서, 모션 벡터 예측 및 모션 벡터 경쟁 등의 방법이 사용될 수 있다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측 영상에 역변환부로부터 복원된 각 화소에 대한 레지듀얼값이 더해져서 복원된 비디오 프레임이 생성된다. 인터 예측부(254)에서의 동작, 특히 병합 모드(Merge Mode)에 있어서의 다양한 처리 방법에 대하여는 후술한다.
이하에서는, 상기 인코더 장치(100)와 디코더 장치(200)의 동작에 있어서, 도 3 내지 도 5를 참조하여 코딩 유닛 및 예측 유닛 등을 분할하는 방법을 설명하기로 한다. 코딩 유닛이란 상기에서 설명한 비디오 신호의 처리 과정, 예를 들어 화면내(intra)/화면간(inter) 예측, 변환(transform), 양자화(quantization) 및/또는 엔트로피 코딩(entropy coding) 등의 과정에서 영상을 처리하기 위한 기본 단위를 의미한다. 하나의 영상을 코딩하는 데 있어서 사용되는 코딩 유닛의 크기는 일정하지 않을 수 있다. 코딩 유닛은 사각형 형태를 가질 수 있고, 하나의 코딩 유닛은 다시 여러 개의 코딩 유닛으로 분할 가능하다.
도 3은 본 발명의 실시 예에 따라 코딩 유닛을 분할하는 일 예를 나타낸 것이다. 예를 들어, 2N x 2N 크기를 가지는 하나의 코딩 유닛은 다시 네 개의 NxN 크기를 가지는 코딩 유닛으로 분할될 수 있다. 이러한 코딩 유닛의 분할은 재귀적으로 이루어질 수 있으며, 모든 코딩 유닛들이 동일한 형태로 분할될 필요는 없다. 다만, 코딩 및 처리과정에서의 편의를 위하여 코딩 유닛의 최대 크기(310) 또는 최소 크기(320)에 대한 제한이 있을 수 있다. 코딩 유닛의 최대 크기가 정해졌다면 그것을 최대 코딩 유닛 크기라고 하며, 최소 크기가 정해졌다면 그것을 최소 코딩 유닛 크기라고 한다.
하나의 코딩 유닛에 대하여, 해당 코딩 유닛이 분할 되는지 여부를 나타내는 정보를 지정할 수 있다. 예를 들어, 분할 여부를 나타내는 플래그 값이 1이면 해당 노드에 대응하는 블록은 다시 4개의 블록으로 나누어지고, 0이면 더 이상 나누어지지 않고 해당 코딩 유닛에 대한 처리 프로세스가 수행될 수 있다.
블록이 반드시 4개의 정방향 영역으로만 나누어질 수 있는 것은 아니다. 이러한 경우에는 분할 정보에 미리 정해진 분할 방식에 대한 코드를 매핑시켜서 나타낼 수 있다. 예를 들어, 해당 정보 값이 1이면 해당 블록은 2개의 수평 직사각형 서브 블록으로 나누어지고, 2이면 해당 블록은 2개의 수직 직사각형 서브 블록으로 나누어지고, 3이면 4개의 정사각형 서브 블록으로 나누어지도록 설정할 수도 있다. 이러한 방법은 분할 방식의 몇 가지 실시 예를 나타낸 것으로, 본 발명을 한정하는 것은 아니다.
상기에서 설명한 코딩 유닛의 구조는 재귀적인 트리 구조를 이용하여 나타낼 수 있다. 즉, 하나의 영상 또는 최대 크기 코딩 유닛을 루트(root)로 하여, 다른 코딩 유닛으로 분할되는 코딩 유닛은 분할된 코딩 유닛의 개수만큼의 자식(child) 노드를 가지게 된다. 따라서, 더 이상 분할되지 않는 코딩 유닛이 리프(leaf) 노드가 된다. 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정할 때, 하나의 코딩 유닛은 최대 4개의 다른 코딩 유닛으로 분할될 수 있으므로 코딩 유닛을 나타내는 트리는 쿼드 트리(Quard tree) 형태가 될 수 있다. 편의상 이하에서는, 최대 코딩 유닛 크기를 가지는 코딩 유닛을 최대 코딩 유닛(Largest Coding Unit, LCU)라고 하며 최소 코딩 유닛 크기를 가지는 코딩 유닛을 최소 코딩 유닛(Smallest Coding Unit, SCU)라고 한다.
인코더에서는 비디오 영상의 특성(예를 들어, 해상도)에 따라서 혹은 코딩의 효율을 고려하여 최적의 코딩 유닛의 크기를 선택하고 이에 대한 정보 또는 이를 유도할 수 있는 정보가 비트스트림에 포함될 수 있다. 예를 들면, 최대 코딩 유닛의 크기 및 트리의 최대 깊이를 정의할 수 있다. 정방형 분할을 할 경우, 코딩 유닛의 높이 및 너비는 부모 노드의 코딩 유닛의 높이 및 너비의 반이 되므로, 상기와 같은 정보를 이용하면 최소 코딩 유닛 크기를 구할 수 있다. 혹은 역으로, 최소 코딩 유닛 크기 및 트리의 최대 깊이를 미리 정의하여 이용하고, 이를 이용하여 필요할 경우에 최대 코딩 유닛의 크기를 유도하여 이용할 수 있다. 정방형 분할에서 유닛의 크기는 2의 배수 형태로 변화하기 때문에, 실제 코딩 유닛의 크기는 2를 밑으로 하는 로그값으로 나타내어 전송 효율을 높일 수 있다.
디코더에서는 상기에서 설명한 현재 코딩 유닛이 분할되었는지 여부를 나타내는 정보를 획득할 수 있다. 이러한 정보는 특정 조건 하에만 획득하게(전송되게) 하면 효율을 높일 수 있다. 예를 들어 현재 코딩 유닛이 최소 코딩 유닛 크기라면 더 이상 작은 코딩 유닛으로 분할되지 않으므로, 이러한 경우에는 분할되었는지 나타내는 정보를 획득할 필요가 없다.
만약 상기 정보가 코딩 유닛이 분할되었음을 나타내는 경우, 분할될 코딩 유닛의 크기는 현재 코딩 유닛의 반이 되고, 현재 처리 위치를 기준으로 하여 4개의 정방형 코딩 유닛들로 분할된다. 각 분할된 코딩 유닛들에 대해서 상기와 같은 처리를 반복할 수 있다.
코딩을 위한 영상 예측은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)을 대상으로 이루어진다. 코딩 유닛은 하나 이상의 예측 유닛(prediction unitmm PU), 예측 블록(prediction block) 또는 파티션(partition)으로 나뉘어지며 이러한 분할 자체 역시 파티션(partition)이라고 일컫는다. 하나의 유닛이 어떤 방식으로 파티션 되었는지는 예측 유닛 타입 정보 또는 파티션 타입 정보 등으로 나타낼 수 있다. 도 4는 예측 유닛의 여러가지 파티션 방법 및 해당 파티션 타입 이름의 일 예를 도시한 것이다. 도 4를 참조하면, 2Nx2N 크기를 가지는 하나의 예측 유닛은, 분할되지 않거나(타입 2Nx2N), 2NxN 크기의 두개의 직사각형 파티션으로 분할되거나(타입 2NxN), Nx2N 크기의 두개의 직사각형 파티션으로 분할되거나(타입 Nx2N), 또는 NxN 크기의 4개의 사각형 파티션으로 분할될 수 있다(타입 NxN). 예측 유닛은 예측을 수행하는 기본 단위로써, 가능한 예측 유닛의 분할 형태는 인트라 코딩 유닛과 인터 코딩 유닛에서 각기 다르게 정의될 수 있다. 예를 들면 인트라 코딩 유닛에서는 2Nx2N 또는 NxN 형태의 분할만 가능하고, 인터 코딩 유닛에서는 2Nx2N, 2NxN, Nx2N 또는 NxN 형태의 분할이 가능하도록 설정할 수 있다.
한편, 현재 코딩 유닛의 크기가 미리 정해진 최소 코딩 유닛의 크기보다 크다면, NxN 타입의 파티션은 허용되지 않도록 할 수 있다. 이 경우는 코딩 유닛을 다시 분할 하는 경우와 동일한 결과를 가져오기 때문이다.
분할은 반드시 대칭적으로만 이루어질 수 있는 것은 아니다. 도 5는 예측 유닛을 비대칭적(Asymmetric)으로 파티션 하는 경우의 실시예를 나타낸 것이다.
한편, 예측 유닛 분할은 기하학적으로도 가능하다. 도 6에서 도시하는 바와 같이, 사각형 형태가 아닌 다양한 형태로의 파티션 생성이 가능하다. 이 경우 예측 유닛은 임의의 분할선(600)을 통하여 두개의 파티션(610 및 620)으로 분할 되게 된다. 분할 정보는 중심으로부터의 거리(ρ) 및 중심(O)에서 분할선으로의 수선 및 기준축(예를 들어 x축)간의 각도(θ) 등으로 표현할 수 있다. 이와 같은 예측 유닛 분할의 다양한 형태는 영상에 포함된 여러 형태의 객체(Object)들에 대하여 좀 더 정확한 예측을 가능하게 할 수 있다는 장점이 있다.
본 명세서에서는 코딩의 대상이 되는 유닛을 현재 유닛(current unit) 이라고 하고, 현재 유닛이 포함된 영상을 현재 영상이라고 한다. 현재 유닛을 복원하기 위해서 현재 영상 내의 복호화된 정보를 이용하거나 또는 다른 영상들의 복호화된 부분을 이용할 수 있다. 복원에 현재 영상만을 이용하는, 즉 화면내 예측만을 수행하는 영상(슬라이스)을 인트라 픽쳐 또는 I 픽쳐(슬라이스), 각 유닛을 예측하기 위하여 최대 하나의 모션 벡터 및 레퍼런스 인덱스를 이용하는 영상(슬라이스)을 예측 픽쳐(predictive picture) 또는 P 픽쳐(슬라이스), 최대 두 개의 모션 벡터 및 레퍼런스 인덱스를 이용하는 영상(슬라이스)을 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(슬라이스) 라고 한다.
인트라 예측부에서는 현재 영상 내의 복원된 영역들로부터 대상 유닛의 픽셀값을 예측하는 화면내 예측(Intra prediction)을 수행한다. 예를 들어, 현재 유닛을 중심으로, 상단, 좌측, 좌측 상단 및/또는 우측 상단에 위치한 유닛들의 부호화된 픽셀로부터 현재 유닛의 픽셀값을 예측할 수 있다.
인트라 모드는 픽셀값 예측에 사용되는 참조 픽셀들이 위치한 참조 영역의 방향 및 예측 방식에 따라 크게 수직(Vertical), 수평(Horizontal), DC, Angular 모드 등으로 나눌 수 있다. 수직 모드는 대상 유닛의 수직으로 인접한 영역의 값을 현재 유닛의 예측값으로, 수평 모드는 수평으로 인접한 영역을 참조 영역으로 이용한다. DC 모드에서는 참조 영역들의 평균값을 예측값으로 이용하게 된다. 한편, Angular 모드는 참조 영역이 임의의 방향에 위치한 경우로, 현재 픽셀과 참조 픽셀 간의 각도로 해당 방향을 나타낼 수 있다. 편의를 위하여, 기 정해진 각도 및 예측 모드 번호를 사용할 수 있고, 사용되는 각도의 수는 대상 유닛의 크기에 따라서 달라질 수 있다.
이렇게 다양한 예측 방법들에 대하여 몇 가지 특정 모드들을 정의하여 이용할 수 있다. 예측 모드는 그 모드를 나타내는 값 자체로 전송될 수도 있으나, 전송 효율을 높이기 위하여, 현재 유닛의 예측 모드 값을 예측하는 방법을 이용할 수 있다. 이때 디코더에서는 예측 모드에 대한 예측값이 그대로 사용되는지, 실제 값과의 차이가 얼마인지를 이용한 정보로 현재 유닛의 예측 모드를 획득할 수 있다.
인터 예측부에서는 현재 영상이 외의 이미 복원된 다른 영상들의 정보를 이용하여 대상 유닛의 픽셀값을 예측하는 화면간 예측(Inter prediction)을 수행한다. 예측에 이용되는 영상을 참조 영상(reference picture)라고 한다. 화면간 예측 과정에서 현재 유닛을 예측하는데 어떤 참조 영역을 이용하는지는, 해당 참조 영역이 포함된 참조 영상을 나타내는 인덱스(이하 레퍼런스 인덱스) 및 모션 벡터(motion vector) 정보 등을 이용하여 나타낼 수 있다.
화면간 예측에는 순방향 예측(forward direction prediction), 역방향 예측(backward direction prediction) 및 쌍예측(Bi-prediction)이 있을 수 있다. 순방향 예측은 시간적으로 현재 픽쳐 이전에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측이고, 역방향 예측은 시간적으로 현재 픽쳐 이후에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1개의 모션 정보 (예를 들어 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 두 개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다. 쌍예측 방식에서는 최대 2개의 모션 정보(예를 들어 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있다.
현재 예측 유닛의 모션 정보(motion information)는 모션 벡터 정보(motion vector information)와 참조 픽쳐 인덱스(reference picture index)를 포함할 수 있다. 상기 모션 벡터 정보는 모션 벡터, 모션 벡터 예측값(motion vector prediction) 또는 차분 모션 벡터(differential motion vector)를 의미할 수 있고, 상기 모션 벡터 예측값을 특정하는 인덱스 정보를 의미할 수도 있다. 차분 모션 벡터는 상기 모션 벡터와 모션 벡터 예측값 간의 차분값을 의미한다.
모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 예측 유닛의 참조 블록을 획득할 수 있다. 상기 참조 블록은 상기 참조 픽쳐 인덱스를 가진 참조 픽쳐 내에 존재한다. 또한, 상기 모션 벡터에 의해서 특정된 블록의 픽셀값이 상기 현재 예측 유닛의 예측값(predictor)으로 이용될 수 있다. 즉, 이전에 디코딩된 픽쳐로부터 모션을 추정하여 현재 예측 유닛의 영상을 예측하는 모션 보상(motion compensation)이 이용된다.
현재 영상에 대하여, 화면간 예측을 위하여 사용되는 영상들로 참조 영상 리스트를 구성할 수 있다. B 슬라이스의 경우에는 두 개의 참조 영상 리스트를 필요로 하며, 이하에서는 각각을 레퍼런스 리스트 0(reference list 0), 레퍼런스 리스트 1(reference list 1)로 지칭한다. B 슬라이스 중에서 레퍼런스 리스트 0 및 레퍼런스 리스트 1이 같은 슬라이스를 특히 GPB slice라고 지칭한다.
모션 벡터와 관련한 전송량을 줄이기 위하여, 코딩된 유닛들의 모션 정보를 이용하여 모션 벡터 예측값을 획득하고, 이에 대한 차분값(motion vector difference)만을 전송하는 방법을 이용할 수 있다. 디코더에서는 디코딩된 다른 유닛들의 모션 정보들을 이용하여 현재 유닛의 모션 벡터 예측값을 구하고, 전송된 차분값을 이용하여 현재 유닛에 대한 모션 벡터값을 획득하게 된다. 모션 벡터 예측값을 획득함에 있어서는, 이미 코딩된 유닛들의 모션 정보을 이용하여 다양한 모션 벡터 후보 값들을 획득하고 그 중 하나의 모션 벡터 예측값을 획득하는 모션 벡터 경쟁(Motion vector competition) 방법을 이용할 수 있다.
현재 유닛의 화면간 예측에 필요한 예측 정보(예를 들어 레퍼런스 인덱스, 모션 벡터, 예측 방향 등)는 직접 비트스트림에 포함되어 전송되지 않고, 주변 유닛을 이용하여 유도할 수 있다. 이러한 방법을 사용하면 예측 정보에 할당되는 비트 수를 줄여 압축률을 높일 수 있는 효과가 있다. 보다 구체적으로, 화면간 예측을 이용하여 코딩된 이웃 유닛의 예측 정보를 현재 유닛의 예측 정보로써 이용할 수 있다. 이러한 방식이 사용되는 경우를 현재 유닛이 예측 정보를 가져온 이웃 유닛과 병합(Merge) 되었다고 하고, 이러한 예측 방식을 병합 모드(Merge Mode)라고 한다
병합 모드를 위하여 비트스트림은 현재 유닛이 병합이 되었는지 여부를 나타내는 정보(예를 들면 merge_flag 와 같은 플래그), 어느 이웃 유닛과 병합되었는지를 나타내는 병합 정보(예를 들어 특정 이웃과의 병합 여부를 나타내는 플래그 또는 특정 이웃을 나타내는 인덱스 정보 등) 등을 포함할 수 있다. 어느 유닛과의 병합인지를 나타내는 정보는 현재 유닛이 병합되었음을 지시하는 경우(상기 예에서, merge_flag가 TRUE 또는 1인 경우)에만 획득하게 할 수 있다.
한편 화면간 예측 모드를 사용할 때에는, 코딩 유닛 단위로 스킵 모드(Skip Mode)가 적용될 수 있다. 스킵 모드란 현재 유닛들의 예측 복원을 위한 정보들 중 특정한 정보(예를 들면, 여러 개의 모션 벡터 예측값 후보들 중 어떤 것을 이용할 것인지를 나타내는 정보)를 제외하고는 전송하지 않는 예측 방식을 의미한다. 이 경우 이미 코딩된 다른 유닛의 정보들을 그대로 이용할 수 있다. 스킵 모드를 사용할 경우 전송되는 정보량을 줄일 수 있으므로, 코딩 유닛에 대하여 먼저 스킵 모드인지를 확인하고 그렇지 않은 경우에 다른 모드 (예를 들면 병합 모드, 직접 예측 모드 또는 일반 화면간 예측 모드) 방식을 사용하게 된다.
병합 모드는 코딩 유닛 단위로 적용될 수도 있고, 예측 유닛 단위로 적용될 수도 있다. 병합 모드를 코딩 유닛 단위로 적용될 경우에는 화면간 예측 모드를 이용하는 각 최소 코딩 유닛 마다 병합을 적용할지 여부를 알려주는 플래그가 전송 된다. 상기에서 설명한 바와 같이 코딩 유닛에는 스킵 모드가 적용될 수 있으므로, 최소 코딩 유닛 단위로 먼저 스킵 모드의 적용 여부를 확인하고(예를 들면, 스킵 모드 적용 여부를 나타내는 플래그를 파싱하여 확인하는 등의 방법을 이용하여), 스킵 모드가 아닐 경우에만 상기 병합 모드 적용 플래그를 획득할 수 있다.
상기에서 설명한 바와 같이 예측 유닛 단위에서는 코딩 유닛이 여러가지 형태로 파티션 될 수 있다. 병합 모드를 예측 유닛 단위로 적용할 경우에는, 스킵 모드(또는 직접 예측 모드)가 적용되지 않은 모든 인터 모드 파티션에 대하여 각각 병합 플래그가 획득된다.
이하에서는 병합 모드의 구체적인 동작에 대하여 설명한다. 병합 모드의 동작에 있어서 대상이 되는 유닛이라는 용어는 코딩 유닛 및 예측 유닛(파티션) 단위를 모두 포함할 수 있다.
현재 유닛과의 병합 가능성이 있는 유닛들을 병합 후보(Merge candidate) 라고 한다. 병합 후보들은 이미 복원된 유닛들 중 현재 유닛에 인접한 유닛들로 선택될 수 있다. 이 중 현재 유닛과 병합되는 유닛, 즉 예측 정보를 가져오는 유닛을 병합 대상 유닛이라고 한다. 병합 대상 유닛을 결정하기 위하여, 비트 스트림으로부터 획득된 어느 이웃 유닛과 병합되었는지를 나타내는 정보를 이용할 수도 있고, 특정 규칙을 사용하여 병합 대상 유닛을 유도할 수도 있다.
이하에서는 도 7내지 도 8을 참조하여 현재 유닛을 중심으로 병합 후보들이 될 수 있는 유닛들의 종류에 대하여, 도 9 내지 도 10을 참조하여 병합에 필요한 정보들을 전달하는 방법에 대하여, 도 11 내지 17을 참조하여 병합 후보 유닛들 중 병합 대상 유닛을 유도하는 다양한 실시예에 대하여 상술한다.
도 7은 현재 유닛을 위한 다양한 위치의 병합 후보들을 나타낸다. 병합 후보들은 현재 유닛이 위치한 현재 영상(700) 내에 존재할 수도 있고, 이미 복원된 다른 영상(750) 내에 존재할 수도 있다. 현재 영상 내의 유닛들을 공간적(spatial) 병합 후보, 다른 영상 내의 유닛들을 시간적(temporal) 병합 후보라고 한다. 공간적 병합 후보로는 현재 유닛과 인접한 좌측 영역의 유닛들(710) 및 상단 영역의 유닛들(720) 및/또는 코너 영역의 유닛들(C, C-1, C-2)이 될 수 있다. 시간적 병합 후보들은 다른 영상의 특정 위치, 예를 들면 현재 유닛과 대응 되는 위치(co-located)에 있는 유닛(D) 등이 될 수 있다. 비록 도 7이 특정 크기의 유닛들을 도시하고 있다고 하더라도, 상기 설명한 바와 같이 각 유닛들의 크기는 분할 정도에 따라 다양할 수 있음은 물론이다.
코딩 효율을 위해서 병합 후보들은 상기 위치들 중에서 코딩 효율 및 계산 복잡도를 고려하여 일정 수의 유닛들로 선택될 수 있다.
예를 들어, 좌측 영역의 유닛들 중 최상단의 유닛(A), A를 제외한 좌측 영역 중 선택된 유닛(A-1), 상단 영역들 중 최좌측의 유닛(B), B를 제외한 상단 영역 중 선택된 유닛(B-1), 우측 상단 코너 유닛(C), 좌측 하단 코너 유닛(C-1), 좌측 상단 코너 유닛(C-2) 및 다른 영상의 대응 유닛(D) 등이 병합 후보들이 될 수 있다. 이 경우 병합 후보의 최대 개수는 8개가 될 것이다. 물론 좌측 또는 상단 영역에 현재 유닛과 인접하는 하나의 유닛만이 존재할 경우 추가로 선택되는 유닛이 없게 됨은 자명하다.
이와 유사하게, 좌측 영역 중 선택된 유닛, 상단 영역 중 선택된 유닛, 코너 영역 유닛들 (C, C-1, C-2) 및 다른 영상의 대응 유닛(D) 등으로 병합 후보를 구성할 수도 있다. 이 때 좌측 또는 상단 영역에서의 선택되는 유닛의 수는 바람직하게는 하나일 수 있으며(이 경우 병합 후보의 최대 개수는 6개가 될 것이다), 또는 미리 정해진 특정 개수가 될 수 있다. 코너 영역 유닛들도 필요에 따라 일부 유닛만 선택하여 사용할 수 있음은 물론이다.
단순화를 위하여 좀 더 적은 개수의 유닛들을 병합 후보로 결정할 수도 있다. 예를 들어, 좌측 영역의 유닛들 중 최 상단의 유닛(A), 상단 영역의 유닛들 중 최 좌측의 유닛 (B), 우측 상단 코너에 인접한 유닛(C), 좌측 하단 코너에 인접한 유닛(C-1) 및 다른 영상의 대응 위치의 유닛(D) 등이 병합 후보로 될 수 있다. 이 경우 병합 후보의 최대 개수는 5개가 될 것이다.
가장 단순하게는 단 2 개의 유닛, 예를 들어 좌측 영역의 유닛들 중 최 상단의 유닛(A, 이하 상단 이웃 유닛) 및 상단 영역의 유닛들 중 최 좌측의 유닛(B, 이하 좌측 이웃 유닛)이 병합 후보가 될 수 있다.
상기 언급한 바와 같이 유닛의 크기는 분할 정도나 파티션 모드에 따라서 각기 달라질 수 있다. 따라서 단순히 위치 (최좌측 또는 최상단 등) 뿐만 아니라 유닛의 크기를 고려하여 병합 후보를 결정할 수도 있다. 예를 들면, 현재 유닛과 인접한 외곽선(Border)의 길이를 기준으로 선택할 수 있다. 즉, 현재 유닛에 인접한 좌측 또는 상단 영역의 유닛들 중에서 가장 긴 외곽선을 접하고 있는 유닛을 선택하게 된다. 도 8을 참조하여 예를 들면, 현재 유닛 X와 인접한 상단 영역에는 유닛 B, C 및 D가 위치한다. 상기 설명한 바와 같이, 유닛 B와 C는 유닛 D에 비하여 한번 더 분할된 코딩 유닛이거나, 유닛 D의 모드(2Nx2N)과 다른 모드(NxN)로 파티션 되었다고 볼 수 있다. 유닛 B, C 및 D 중에서 유닛 D가 현재 유닛 X과 가장 긴 외곽선을 접하고 있으므로 상단 이웃 유닛들 중에서 D를 병합 후보로 선택한다. 물론, 상단 이웃 유닛들(B, C 및 D) 중에서 상기 순서로 하나 이상의 유닛을 선택할 수도 있다. 인접한 외곽선 길이 외에 유닛의 넓이를 고려하여 선택할 수도 있다.
병합 후보가 최대 2 개인 경우에는, 둘 중 어느 유닛과 병합되는지에 대한 정보를 1bit의 플래그 형태로 나타낼 수 있다. 도 9는 좌측 이웃 유닛(A) 또는 상단 이웃 유닛(B)이 병합의 후보가 되는 상기의 예에서, 병합 대상 유닛을 선택하는 과정을 나타낸 순서도이다. 우선 현재 유닛이 병합 모드인지를 나타내는 병합 플래그(merge_flag)를 획득한다(S901). 상기 병합 플래그 정보에 기초하여 현재 유닛이 병합 모드라면(즉, merge_flag = TRUE 또는 1)(S920), 어느 쪽 유닛과 병합되었는지를 나타내는 병합 방향 플래그(merge_left_flag)를 획득한다(S930). 병합 방향 플래그는 좌측 이웃 유닛과 병합된 경우에는 TRUE (또는 1), 그렇지 않고 상단 이웃 유닛과 병합된 경우에 FALSE(또는 0)의 값을 가지게 된다. 따라서 병합 방향 플래그 값이 1인 경우에는(S940) 좌측 이웃 유닛(A)과 병합, 즉 좌측 이웃 유닛(A)의 예측 정보를 현재 유닛(X)의 예측 정보로 사용하고(S950), 0인 경우에는 상단 이웃 유닛(B)과 병합, 즉 상단 이웃 유닛(B)의 예측 정보를 현재 유닛(X)의 예측 정보로 사용한다(S970). 상기 병합 플래그가 병합 모드가 아닌 경우를 나타내는 경우에는 일반 예측 모드를 이용하여 현재 유닛의 예측 정보를 획득하게 된다(S960). 상기에서 병합 방향 플래그는 특정한 실시예에 불과한 것으로, 이러한 플래그가 항상 좌측 이웃 유닛과의 병합을 나타내야만 하는 것은 아니고, 병합 후보 중 하나의 특정 유닛과의 병합 여부를 지시하는 형태로 사용될 수 있음은 물론이다.
병합 후보가 최대 2 개 이상인 경우에는, 플래그 정보만으로 병합 대상을 특정할 수 없으므로, 다른 방법을 이용할 필요가 있다. 예를 들어, 병합 후보들 중 어느 유닛과 병합할 것인지, 즉 병합 대상 유닛을 특정하는 인덱스 정보(merge index)를 사용할 수 있다. 인덱스는 일정한 순서로 고정될 수도 있고, 상황에 따라서 적응적으로 변화할 수도 있다.
한편, 본 발명의 실시예에 따르면 상기와 같은 정보들의 전송을 경우에 따라 좀 더 효율적으로 할 수 있다. 즉, 위와 같은 정보들을 전송할 필요가 없는 특정 조건의 경우 정보 전송을 생략하는 것이다.
도 10은 이용 가능한 병합 후보들의 수를 이용하여 병합 모드에 필요한 정보를 획득하는 과정을 도시한 순서도이다. 우선 상기에서 설명한 병합 대상 후보들의 위치들을 확인하여 현재 유닛이 이용할 수 있는 병합 후보들의 수(NumCandidate)를 결정한다(S1010). 여기에서 이용할 수 있다는 것은, 현재 유닛이 병합 후보 유닛으로부터 예측 정보를 획득할 수 있다는 것을 의미한다. 즉, 해당 위치에 유닛이 존재하고, 해당 유닛이 화면간 예측 방식(Inter Mode)로 코딩 되어 예측 정보를 가지고 있으며, 이미 복호화 되어있는 경우이다. 만약 이용할 수 있는 병합 후보들의 수가 0이면, 병합 모드가 적용될 수 없으므로 병합 여부를 지시하는 병합 플래그(merge_flag)는 전송될 필요가 없다. 이 경우에는 일반적인 인터 예측 모드를 이용하여 현재 유닛의 예측 정보를 획득한다(S1070). 따라서 이용 가능한 병합 후보들의 수(NumCandidate)의 크기를 확인하여(S1020) 상기 병합 후보들의 수가 0 이상일 때만 상기 병합 플래그(merge_flag)를 획득한다(S1030). 만약 상기 병합 후보들의 수가 1인 경우에는 그 하나의 병합 후보가 병합 대상으로 결정될 수 있다. 따라서, 현재 유닛이 어떠한 유닛과 병합하는를 나타내는 정보(플래그 또는 인덱스)는 별도로 전송될 필요가 없을 것이므로, 병합 여부를 지시하는 플래그가 1이고, 병합 후보들의 수가 1보다 큰 경우에만(S1040) 이러한 병합 정보를 획득하게 된다(S1050). 획득된 병합 정보에 기초하여 병합 대상 유닛을 결정하고, 이 병합 대상 유닛의 예측 정보를 현재 유닛의 예측 정보로 사용하게 된다(S1060).
현재 2Nx2N 크기의 코딩 유닛의 파티션 타입이 2Nx2N일 경우, 즉 코딩 유닛이 하나의 파티션으로 구성되는 경우에는, 직접 예측 모드를 이용할 수 있다. 따라서 이 경우 병합 후보들의 수(NumCandidates)를 주변 유닛의 움직임 정보에 상관없이 0으로 설정하여, 해당 코딩 유닛에 병합 모드가 적용되지 않고, 이와 관련된 정보들도 전송되지 않도록 할 수 있다.
다만 이 경우, 현재 유닛의 예측 정보 (예측 방향, 레퍼런스 인덱스, 모션 벡터 등)이 2Nx2N 직접 예측 모드로는 표현이 불가능한 경우가 생길 수 있다. 이러한 경우 발생하는 손해를 보상하기 위한 개선된 직접 예측 모드를 함께 사용할 필요가 있을 수 있다.
본 발명의 일 실시예에 따르면, 병합 후보의 수에 따라서 가변적인 시그널링을 할 수 있다. 예를 들어, 현재 유닛에 대해 가능한 병합 후보가 3개인 경우, 0~2까지 구분할 수 있는 정보를 보내고, 가능한 병합 후보가 2개인 경우에는 0, 1만을 구분할 수 있는 정보를 보내게 된다. 이 경우 가능한 병합 후보의 수가 적을 때에는 인덱스에 할당하는 비트 수를 줄일 수 있다는 장점이 있다.
최대 후보 수를 미리 정해 놓고 병합 후보에 속하는 변화시키는 방법을 사용할 수도 있다. 예를 들어, 미리 정해진 위치들을 순서대로 확인하되, 최대 후보 수만큼의 유닛들만 병합 후보가 되고 그 중에서만 병합 대상이 선택되게 된다. 예를 들어, 최대 후보 수를 4라고 하고, 병합 후보들을 확인하는 순서를 A, B, C, C-1, D 라고 하자. 상기의 모든 유닛이 이용 가능할 경우, 상기 순서에 따라서 A, B, C, C-1까지의 4개의 유닛이 병합 후보가 된다. 만약 상기 예에서 유닛 C가 이용 가능하지 않을 경우, A, B, C-1, D의 4개의 유닛이 병합 후보들로 결정될 것이다. 사용 가능한 병합 후보의 수가 최대 후보 수보다 적은 경우, 상기에서 설명한 병합 후보의 수에 따른 가변적인 시그널링 방법을 함께 사용하는 방법도 가능하다.
분할 모드가 NxN 타입인 경우, 즉 코딩 유닛이 4개의 사각형 모양의 파티션으로 구성되는 경우에, 4번째 파티션에서는 이용 가능한 병합 후보를 판단하는 조건이 추가될 수 있다. 이러한 조건은 이용 가능한 병합 후보 수를 세거나, 병합 대상을 유도하는 과정에서 사용될 수 있다. 도 11을 참조하여 예를 들면, 3번 파티션의 경우, 다른 3개 파티션(0번 내지 2번 파티션)의 모션 정보에 따라 적응적으로 현재 파티션이 병합 가능한 파티션이 결정된다.
예를 들면, 0번 파티션 및 1번 파티션이 동일한 모션 정보를 가지고 있고, 2번이 다른 모션 정보를 가지고 있는 경우, 3번 파티션은 2번 파티션과 병합될 수 없다. 왜냐하면 이러한 경우 2NxN 형태의 파티션과 중복되는 결과이기 때문이다. 따라서 이 경우 2번 파티션은 병합 후보에서 제외된다.
0번 파티션 및 2번 파티션이 동일한 모션 정보를 가지고 있고, 1번 파티션이 다른 모션 정보를 가지고 있을 경우, 3번 파티션은 1번 파티션과 병합될 수 없다. 이러한 경우 Nx2N 형태의 파티션과 중복되는 결과이기 때문이다. 따라서 이 경우 3번 파티션은 병합 후보에서 제외된다.
0번 파티션, 1번 파티션 및 2번 파티션이 모두 동일한 모션 정보를 가지고 있다면, 3번 파티션은 1번 및 2번 파티션 중 어느 것과도 병합될 수 없다. 이러한 경우에는 2Nx2N 형태의 파티션과 중복되는 결과이기 때문이다. 따라서 이 경우 1번 및 2번 파티션은 병합 후보에서 제외된다.
한편, 병합 대상 유닛을 결정하기 위한 정보 전송을 위한 비트 수를 줄이기 위하여 이를 전송하는 대신에, 현재 유닛을 병합 후보들 중의 어떠한 유닛과 병합할 것인지, 병합 대상 유닛을 특정 규칙에 따라서 유도하는 방법을 이용할 수 있다. 이하에서는 도 12를 참조하여 상기에서 설명한 이용 가능한 병합 후보 유닛들 중에서 병합 대상 유닛을 결정하는 방법을 설명한다. 비록 도 12에서는 편의를 위하여 도면의 유닛 A, B만이 병합 후보 유닛이라고 가정하였으나, 상기에서 설명한 다양한 위치들의 유닛이 병합 후보가 될 수가 있음은 물론이다.
본 발명의 일 실시예에 따르면, 현재 유닛 및 이웃 유닛간에 인접하고 있는 외곽선의 길이를 기준으로 병합 대상을 선택할 수 있다. 도 12 (a)를 참조하여 예를 들면, 현재 유닛(X)이 상단 이웃 유닛(A)와 인접한 외곽선이 좌측 이웃 유닛(B)과 인접한 외곽선보다 길이가 길기 때문에, 병합 대상 유닛은 상단 이웃 유닛(A)으로 선택된다. 즉, 현재 유닛(X)은 상단 이웃 유닛(A)과 병합되며, 상단 이웃 유닛(A)의 예측 정보가 현재 유닛(X)의 예측 정보로 사용된다.
본 발명의 일 실시예에 따르면, 현재 유닛의 이웃 유닛들 중에서 특정 위치(예를 들면, 좌측 상단) 이웃 유닛과 가장 유사한 모션 벡터를 가진 유닛을 현재 유닛의 병합 대상으로 선택할 수 있다. 도 12(b)를 참조하여 예를 들면, 이 중 상단 이웃 유닛(A)이 좌측 이웃 유닛(B)보다, 좌측 상단 이웃 유닛(C)과 더 유사한 모션 벡터를 가지므로, 상단 이웃 유닛(A)가 병합 대상으로 선택된다.
본 발명의 일 실시예에 따르면, 병합 후보들 중 더 넓은 면적의 유닛을 병합 대상으로 선택할 수 있다. 도 12(c)를 참조하여 예를 들면, 상단 유닛(A)보다 좌측 이웃 유닛(B)의 면적이 더 크므로, 좌측 이웃 유닛(B)가 병합 대상으로 선택된다.
또한, 상기 실시예들을 일정 우선 순위를 두고 조합하여 사용할 수도 있다.
본 발명의 일 실시예에 따르면, 병합 모드를 사용할 경우 현재 유닛은 자동적으로 기하학적으로 분할되고(geometrically partition) 분할 영역 각각은 인접한 이웃 유닛과 병합한다. 도 13을 참조하여 예를 들면, 현재 유닛은 분할선(1300)에 따라 X1 및 X2로 분할된다. 이 때 분할선(1300)은 병합 후보인 이웃 유닛 A 및 B의 유클리디안 거리(Euclidean distance)를 이용하여 결정된다. 결과적으로 X1은 A와, X2는 B와 각각 병합된다.
한편, 분할된 유닛에 있어서, 인접한 영역이 없거나 인접한 영역이 하나만 있는 경우 특정 정보를 보내지 않고도 병합 대상을 유도할 수 있다.
본 발명의 실시예에 따르면, 기하학적 파티션의 경우 인접하는 복원된 영역이 존재하지 않을 수 있다. 도 14는 현재 유닛이 기하학적 파티션 된 경우를 도시한 도면이다. 이 경우 현재 유닛은 X1 및 X2의 두개의 파티션으로 분할되고, X2는 복원된 영역(1400)과 인접하지 않는다. 이 때 파티션 X2의 경우 X1과의 병합은 허용되지 않을 수 있다. 왜냐하면 동일한 코딩 유닛에 속하는 X1 및 X2가 병합으로 인하여 같은 예측 정보를 가지는 경우 이를 굳이 파티션할 필요가 없기 때문이다. 따라서 이러한 상황에서 파티션 X2는 병합 모드를 적용할 수 없다. 이 경우 상기에서 이용 가능한 병합 후보의 수가 0인 경우와 마찬가지로, 병합 여부를 나타내는 플래그 및 병합 대상을 나타내는 정보를 모두 획득하지 않을 수 있다.
도 15는 현재 유닛이 두개의 직사각형 파티션으로 분할된 경우를 도시한 도면이다. 도 15(a)를 참조하면, 파티션 X2의 경우 상단 영역은 복원된 영역과 인접하지만 좌측 영역은 같은 코딩 유닛에 속하는 파티션 X1과 인접하게 된다. 상기에서 설명한 바와 유사하게 파티션 X2가 같은 코딩 유닛에 속하는 파티션 X1과 병합 되어 동일한 예측 정보를 같게 되는 것은, 분할을 하지 않은 경우와 중복되므로 이러한 경우를 제외할 필요가 있다. 따라서 X2의 경우 병합 모드가 적용될 수는 있으나, 좌측 영역의 유닛들은 병합 후보가 될 수 없다. 따라서 이용 가능한 병합 후보의 수를 셀 때 이러한 사항을 고려할 수 있다. 상기에서 설명한 바와 같이 좌측 유닛 및 상단 유닛, 2가지 만이 병합 후보가 될 수 있는 경우(즉, 병합 대상을 지시하기 위하여 플래그 정보를 전송하는 경우)라면, X2에 대하여는 병합 대상 지시 플래그 전송이 불필요하게 된다. 병합 후보의 수가 많고 상기에서 설명한 적응적 인덱스 정보를 사용하는 경우에는 인덱스에 사용할 정보량이 줄어든다는 장점이 있다.
한편, 현재 유닛과 동일한 코딩 유닛에 속하는 다른 파티션 (X1)의 예측 정보와 동일한 예측 정보를 가지는 유닛은 이용 가능한 병합 후보가 될 수 없다. 동일한 코딩 유닛이 X1 및 X2의 두개의 파티션으로 분할된다고 할 때, X2가 특정 유닛과 병합되어 X1의 예측 정보와 같은 값을 가지게 되는 것은, 결국 X1과의 병합과 동일한 결과를 가져오게 된다. 그러므로, 이 경우 하나의 코딩 유닛을 X1 및 X2로 분할한 의미가 없어지기 때문이다. 따라서 본 발명에서는 상기에서 예측 후보가 될 수 있는 여러 위치의 병합 후보 유닛 중에서 X1와 동일한 예측 정보를 찾는 유닛들은 이용 가능한 병합 유닛 후보에서 삭제한다. 즉, 현재 파티션(X2)과 동일한 코딩 유닛에 속하는 또다른 파티션(X1)의 예측 정보와 동일한 예측 정보를 갖는 병합 후보들의 수만큼, 현재 파티션이 이용 가능한 병합 유닛 후보의 수는 줄어들게 된다. 이와 같은 방식으로 이용 가능한 병합 후보 유닛의 수가 0이 되면 병합 모드 적용 여부를 나타내는 병합 플래그 자체를 전송할 필요가 없게 될 수도 있다. 예를 들어, 도 15(a)를 참조하면, 상단 이웃 유닛(A)과 X1의 예측 정보가 같을 경우, X2는 A 및 X1 중 어느 유닛과도 병합될 수 없다. 따라서 이 경우에는 이용 가능한 병합 후보 유닛이 없으므로, 병합 모드 적용 여부를 나타내는 플래그 및 병합 대상을 나타내는 정보 모두가 전송될 필요가 없다. 즉, 상기에서 설명한 이용 가능한 병합 후보의 수가 0인 경우와 마찬가지이다.
반대로 도 15(b)의 경우에는, 파티션 X2의 좌측은 복원된 영역과 인접하나 상단은 그렇지 않고, 동일한 코딩 유닛에 속하는 다른 파티션 X1과 인접하게 된다. 따라서 이 경우 X2는 X1과의 병합이 되지 않고, 좌측 영역만이 이용 가능한 병합 후보가 된다. 도 15(b)에서의 예의 경우에는, 병합 후보가 유닛 A 하나만 남게 되므로 병합 대상을 지정하기 위한 플래그 정보는 전송할 필요가 없을 것이다. 마찬가지로, X1과 동일한 예측 정보를 갖는 유닛들은 X2와 병합될 수 없으므로, X2의 좌측 인접 영역 A가 X1과 동일한 예측 정보를 갖는 경우에는 이용 가능한 병합 후보 유닛들이 없게 되고, 병합 모드 적용 여부를 나타내는 병합 플래그 정보도 전송할 필요가 없게 된다.
도 16은 유닛이 두개의 파티션으로 비대칭적으로 분할된 경우의 여러 예를 도시한 도면이다. 이 경우, 작은 면적을 차지하는 파티션의 경우에는 긴 측면과 인접한 유닛과만 병합되도록 할 수 있다. 도 16(a)의 경우 X1의 긴 측면은 좌측 영역이고, 만약 좌측과 상단 중 하나를 선택하는 경우라면 이를 지정하는 플래그(merge_left_flag)를 전송할 필요 없이 병합 대상은 유닛 A로 결정된다. 도 16(b)의 경우, X1의 긴 측면은 우측 영역이고 상기와 마찬가지 상황에서 병합 대상은 유닛 A로 결정된다.
도 17은 유닛이 두개의 파티션으로 기하학적으로 분할된 경우의 여러 예를 도시한 도면이다. 이 경우 분할 형태에 따라서 병합 대상 유닛을 유도할 수 있다. 이 때, 해당 파티션이 인접한 복원된 영역과의 경계선의 길이를 이용하여 분할 형태를 고려할 수 있다. 도 17을 참조하면, 첫번째 기하학적 파티션 X1에 대하여, X1이 좌측 복원 영역과 인접한 경계선의 길이를 a, 상단 복원 영역과 인접한 경계선의 길이를 b라고 하고, c1 및 c2는 이미 정해진 특정 임계치(threshold)라고 하자. 도 17(a)내지 (b)는 다양한 기하학적 파티션의 분할 형태를 나타내는데, 이는 a 및 b를 이용한 특정한 값, 예를 들어 a/b 와 같은 값으로 특정할 수 있다. 그리고 이 값과 임계치와의 관계를 이용하여 병합 대상 유닛을 결정한다.
예를 들어, 도 17 (a)에서 도시하는 바와 같이, a/b가 c1보다 큰 값(a/b>c1)인 경우에는 X1의 병합 대상 유닛은 A로 결정된다. 반대로 도 17(b)에서 도시하는 바와 같이 a/b가 c2보다 작은 값(a/b<c2)인 경우에는 X1의 병합 대상 유닛은 B로 결정된다. 이 두 경우에는 A 또는 B중 어느 유닛과 병합하는지를 나타내는 정보는 전송될 필요가 없다. 도 17(c)에서 도시하는 바와 같이, a/b가 c1 및 c2 사이의 값인 경우(c2<=a/b<=c1)이면 A 또는 B중 어느 유닛이 병합 대상 유닛인지를 나타내는 별도의 정보를 전송해준다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 실행될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
산업상 이용가능성
본 발명은 비디오 신호를 인코딩 또는 디코딩 하는데 적용될 수 있다.

Claims (15)

  1. 인코딩 장치에서 복수의 예측 블록으로 분할되는 적어도 하나의 코딩 블록을 포함하는 비디오 신호를 위한 비트스트림을 인코딩하기 위한 방법에 있어서,
    상기 복수의 예측 블록에 대한 현재 예측 블록의 예측 정보가 병합 후보들로부터 선택된 병합 후보의 예측 정보에 의해 결정되는지 여부를 나타내는 병합 플래그(merge flag) 정보를 상기 비트스트림으로 인코딩하는 단계, 상기 병합 후보들은 상기 현재 예측 블록에 인접한 적어도 하나의 이웃 예측 블록을 포함함; 및
    상기 병합 플래그 정보가 상기 현재 예측 블록의 상기 예측 정보가 상기 선 택된 병합 후보의 상기 예측 정보로부터 결정되는 것을 나타내면, 상기 선택된 병 합 후보의 예측 정보에 기초하여 현재 예측 블록을 인코딩하고,
    상기 코딩 블록이 2개의 세로가 긴 직사각형 예측 블록으로 분할되고, 상기 현재 예측 블록이 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 우측 예측 블록인 경우, 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 좌측 예측 블록은 상기 병합 후보들에서 제외되는, 방법.
  2. 청구항 1에 있어서,
    상기 예측 정보 각각은 참조 인덱스 정보(reference index information) 및 모션 벡터(motion vector) 정보를 포함하는, 방법.
  3. 청구항 1에 있어서,
    상기 코딩 블록은 2개의 가로가 긴 직사각형 예측 블록으로 분할되고, 상기 현재 예측 블록이 상기 2개의 가로가 긴 직사각형 예측 블록 중에서 하단 예측 블록인 경우, 상기 2개의 가로가 긴 직사각형 예측 블록 중 상단 예측 블록은 상기 병합 후보들에서 제외되는 방법.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 이웃 예측 블록은 좌측 이웃 예측 블록, 상단 이웃 예측 블록, 좌측 상단 이웃 예측 블록, 우측 상단 이웃 예측 블록 또는 좌측 하단 이웃 예측 블록 중에서 적어도 하나를 포함하는, 방법.
  5. 청구항 4에 있어서,
    상기 상단 이웃 예측 블록의 예측 정보가 상기 좌측 이웃 예측 블록의 예측 정보와 동일하면, 상기 상단 이웃 예측 블록은 상기 병합 후보들에서 제외되는, 방법.
  6. 청구항 1에 있어서,
    상기 병합 후보들에 포함된 적어도 하나의 이웃 예측 블록의 수가 1보다 크면 병합 인덱스 정보는 인코딩되는, 방법.
  7. 청구항 6에 있어서,
    상기 선택된 병합 후보는 상기 병합 후보들 중 상기 병합 인덱스 정보에 의해 나타내지는, 방법.
  8. 복수의 예측 블록으로 분할되는 적어도 하나의 코딩 블록을 포함하는 비디오 신호를 위한 비트스트림을 인코딩하기 위한 장치에 있어서,
    상기 장치는 프로세서를 포함하고,
    상기 프로세서는:
    상기 복수의 예측 블록에 대한 현재 예측 블록의 예측 정보가 병합 후보들로부터 선택된 병합 후보의 예측 정보에 의해 결정되는지 여부를 나타내는 병합 플래그(merge flag) 정보를 인코딩하되, 상기 병합 후보들은 상기 현재 예측 블록에 인 접한 적어도 하나의 이웃 예측 블록을 포함하고,
    상기 병합 플래그 정보가 상기 현재 예측 블록의 상기 예측 정보가 상기 선 택된 병합 후보의 상기 예측 정보로부터 결정되는 것을 나타내면, 상기 선택된 병 합 후보의 예측 정보에 기초하여 현재 예측 블록을 인코딩하고,
    상기 코딩 블록이 2개의 세로가 긴 직사각형 예측 블록으로 분할되고, 상기 현재 예측 블록이 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 우측 예측 블록인 경우, 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 좌측 예측 블록은 상 기 병합 후보들에서 제외되는, 장치.
  9. 청구항 8에 있어서,
    상기 예측 정보 각각은 참조 인덱스 정보(reference index information) 및 모션 벡터(motion vector) 정보를 포함하는, 장치.
  10. 청구항 8에 있어서,
    상기 코딩 블록이 2개의 가로가 긴 직사각형 예측 블록으로 분할되고, 상기 현재 예측 블록이 상기 2개의 가로가 긴 직사각형 예측 블록 중에서 하단 예측 블록인 경우, 상기 2개의 가로가 긴 직사각형 예측 블록 중에서 상단 예측 블록은 상 기 병합 후보들에서 제외되는, 장치.
  11. 청구항 8에 있어서,
    상기 이웃 예측 블록은 좌측 이웃 예측 블록, 상단 이웃 예측 블록, 좌측 상단 이웃 예측 블록, 우측 상단 이웃 예측 블록 또는 좌측 하단 이웃 예측 블록 중에서 적어도 하나를 포함하는, 장치.
  12. 청구항 11에 있어서,
    상기 상단 이웃 예측 블록의 예측 정보가 상기 좌측 이웃 예측 블록의 예측 정보와 동일하면, 상기 상단 이웃 예측 블록은 상기 병합 후보들에서 제외되는, 장치.
  13. 디코딩 장치에서 적어도 하나의 코딩 블록을 포함하는 비디오 신호를 위한 비트스트림을 디코딩하기 위한 방법에 있어서,
    상기 코딩 블록으로부터 분할되는 복수의 예측 블록을 획득하는 단계;
    상기 복수의 예측 블록에 대한 현재 예측 블록의 예측 정보가 병합 후보들로부터 선택된 병합 후보의 예측 정보에 의해 결정되는지 여부를 나타내는 병합 플래그(merge flag) 정보를 획득하는 단계, 상기 병합 후보들은 상기 현재 예측 블록에 인접한 적어도 하나의 이웃 예측 블록을 포함함; 및
    상기 병합 플래그 정보가 상기 현재 예측 블록의 상기 예측 정보가 상기 선택된 병합 후보의 상기 예측 정보로부터 결정되는 것을 나타내면, 상기 선택된 병 합 후보의 예측 정보에 기초하여 현재 예측 블록을 디코딩하고,
    상기 코딩 블록이 2개의 세로가 긴 직사각형 예측 블록으로 분할되고, 상기 현재 예측 블록이 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 우측 예측 블록인 경우, 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 좌측 예측 블록은 상 기 병합 후보들에서 제외되는, 방법.
  14. 적어도 하나의 코딩 블록을 포함하는 비디오 신호를 위한 비트스트림을 디코딩하기 위한 장치에 있어서,
    상기 장치는 프로세서를 포함하고,
    상기 프로세서는:
    상기 코딩 블록으로부터 분할되는 복수의 예측 블록을 획득하고,
    상기 복수의 예측 블록에 대한 현재 예측 블록의 예측 정보가 병합 후보들로부터 선택된 병합 후보의 예측 정보에 의해 결정되는지 여부를 나타내는 병합 플래그(merge flag) 정보를 획득하고, 상기 병합 후보들은 상기 현재 예측 블록에 인접한 적어도 하나의 이웃 예측 블록을 포함함; 및
    상기 병합 플래그 정보가 상기 현재 예측 블록의 상기 예측 정보가 상기 선 택된 병합 후보의 상기 예측 정보로부터 결정되는 것을 나타내면, 상기 선택된 병 합 후보의 예측 정보에 기초하여 현재 예측 블록을 디코딩하고,
    상기 코딩 블록이 2개의 세로가 긴 직사각형 예측 블록으로 분할되고, 상기 현재 예측 블록이 상기 2개의 세로가 긴 직사각형 예측 블록 중에서 우측 예측 블록인 경우, 상기 상이한 2개의 세로가 긴 직사형 예측 블록 중에서 좌측 예측 블록은 상기 병합 후보들에서 제외되는, 장치.
  15. 청구항 1에 따른 방법에 의해 생성된 비트스트림을 저장하고 있는, 컴퓨터가 읽을 수 있는 기록 매체.
KR1020217029395A 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치 KR102355933B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227002357A KR102415787B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US33090210P 2010-05-04 2010-05-04
US61/330,902 2010-05-04
US33327310P 2010-05-11 2010-05-11
US61/333,273 2010-05-11
US41280110P 2010-11-12 2010-11-12
US61/412,801 2010-11-12
US41443610P 2010-11-17 2010-11-17
US61/414,436 2010-11-17
KR1020217004960A KR102303515B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
PCT/KR2011/003350 WO2011139099A2 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217004960A Division KR102303515B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002357A Division KR102415787B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210115063A KR20210115063A (ko) 2021-09-24
KR102355933B1 true KR102355933B1 (ko) 2022-01-25

Family

ID=44904230

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020127031002A KR101789635B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020217004960A KR102303515B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020227002357A KR102415787B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020187019460A KR101988327B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020187024926A KR102158700B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020227022060A KR102521802B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020217029395A KR102355933B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020207026429A KR102219985B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020177029857A KR101878148B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020127031002A KR101789635B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020217004960A KR102303515B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020227002357A KR102415787B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020187019460A KR101988327B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020187024926A KR102158700B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020227022060A KR102521802B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020207026429A KR102219985B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치
KR1020177029857A KR101878148B1 (ko) 2010-05-04 2011-05-04 비디오 신호의 처리 방법 및 장치

Country Status (13)

Country Link
US (8) US9363520B2 (ko)
EP (4) EP3429205B1 (ko)
KR (9) KR101789635B1 (ko)
CN (7) CN104811734B (ko)
DK (2) DK2568706T3 (ko)
ES (3) ES2936323T3 (ko)
FI (1) FI3739883T3 (ko)
HR (1) HRP20230139T1 (ko)
HU (3) HUE043816T2 (ko)
PL (3) PL2568706T3 (ko)
PT (2) PT2568706T (ko)
SI (1) SI3739883T1 (ko)
WO (1) WO2011139099A2 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619972B1 (ko) 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
KR101789635B1 (ko) * 2010-05-04 2017-10-25 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
EP2897365B1 (en) 2010-07-09 2017-02-01 Samsung Electronics Co., Ltd Apparatus for decoding video by using block merging
US9398308B2 (en) 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
CN105338364B (zh) * 2010-10-06 2018-07-24 株式会社Ntt都科摩 图像预测解码装置、图像预测解码方法
US9066102B2 (en) * 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
US10171813B2 (en) * 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
JP5982734B2 (ja) 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
PL2698999T3 (pl) 2011-04-12 2017-10-31 Sun Patent Trust Sposób kodowania ruchomych obrazów, urządzenie do kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, urządzenie do dekodowania ruchomych obrazów, oraz urządzenie do kodowania/dekodowania ruchomych obrazów
US8891889B2 (en) 2011-04-13 2014-11-18 Huawei Technologies Co., Ltd. Image encoding and decoding methods and related devices
CA2833893C (en) * 2011-05-24 2024-02-27 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
PL3614665T3 (pl) 2011-05-27 2022-07-04 Sun Patent Trust Sposób kodowania obrazów, urządzenie do kodowania obrazów, sposób dekodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) * 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
CA2834191C (en) * 2011-05-31 2019-04-09 Panasonic Corporation Video encoding method, video encoding device, video decoding method, video decoding device, and video encoding/decoding device
EP2723076A4 (en) 2011-06-14 2015-03-04 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MOVEMENT INFORMATION, AND METHOD AND APPARATUS FOR DECODING THE SAME
EP2721825A4 (en) * 2011-06-15 2014-12-24 Mediatek Inc METHOD AND DEVICE FOR MOTION AND DISPARITY VECTOR PREDICTION AND COMPENSATION IN 3D VIDEO CODING
JP5318292B2 (ja) 2011-06-23 2013-10-16 パナソニック株式会社 画像復号方法及び画像復号装置
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
WO2012176464A1 (ja) * 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN106878723B (zh) 2011-06-24 2019-11-12 太阳专利托管公司 编码方法及编码装置
RU2608244C2 (ru) 2011-06-27 2017-01-17 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
BR112013030181B1 (pt) 2011-06-28 2022-09-27 Sun Patent Trust Método de decodificação para decodificar um parâmetro de controle para controlar decodificação de uma imagem, e método de codificação para codificar um parâmetro de controle para controlar codificação de uma imagem
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
JP5905884B2 (ja) 2011-06-30 2016-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法及び復号装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR101900986B1 (ko) 2011-06-30 2018-09-20 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치
WO2013005966A2 (ko) * 2011-07-01 2013-01-10 한국전자통신연구원 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR20130004173A (ko) * 2011-07-01 2013-01-09 한국항공대학교산학협력단 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
CA2838575C (en) 2011-07-11 2018-06-12 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
IN2014CN00729A (ko) 2011-08-03 2015-04-03 Panasonic Corp
KR101210894B1 (ko) * 2011-08-29 2012-12-11 주식회사 아이벡스피티홀딩스 머지 모드 움직임 정보 복호화 장치
ES2713477T3 (es) * 2011-09-09 2019-05-22 Lg Electronics Inc Método de predicción inter y aparato correspondiente
EP3179723B1 (en) * 2011-09-09 2023-01-25 KT Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
JP5976658B2 (ja) * 2011-09-29 2016-08-24 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
KR101999869B1 (ko) 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
CN107682704B (zh) * 2011-12-23 2020-04-17 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
CN110809157B (zh) * 2012-01-18 2023-05-02 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
CN104282030A (zh) * 2013-07-12 2015-01-14 富士通株式会社 图像压缩装置及方法
US9281611B2 (en) 2013-08-14 2016-03-08 Lear Corporation Electric connector with wire retainer tube
CN106105191B (zh) * 2014-03-19 2018-08-10 株式会社Kt 用于处理多视图视频信号的方法和装置
USD794050S1 (en) 2014-08-19 2017-08-08 Fujifilm Corporation Display screen for digital camera with transitional graphical user interface
KR20170065503A (ko) * 2014-10-08 2017-06-13 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
WO2016068685A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
CN116506600A (zh) * 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116506597A (zh) * 2016-08-03 2023-07-28 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
WO2018056703A1 (ko) 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3525460A4 (en) * 2016-10-06 2020-06-17 LG Electronics Inc. -1- METHOD FOR PROCESSING A VIDEO BASED ON AN INTRAPREDICATION MODE AND DEVICE THEREFOR
JP6895247B2 (ja) * 2016-10-06 2021-06-30 日本放送協会 符号化装置、復号装置及びプログラム
CN117119179A (zh) * 2016-11-18 2023-11-24 株式会社Kt 视频解码方法、视频编码方法和压缩视频数据发送设备
CN111213379B (zh) * 2017-10-16 2023-11-21 数字洞察力有限公司 用于将图像编码/解码的方法、装置和存储比特流的记录介质
CN111886861B (zh) 2018-02-22 2023-12-22 Lg电子株式会社 根据图像编码系统中的块划分结构的图像解码方法和设备
WO2019219066A1 (zh) * 2018-05-16 2019-11-21 华为技术有限公司 一种编解码方法及装置
CN110505482B (zh) * 2018-05-16 2021-10-26 华为技术有限公司 一种编解码方法及装置
US10616574B2 (en) * 2018-06-04 2020-04-07 Tencent America LLC Methods and apparatus for extended merge mode with adaptive grid size in video coding
KR20190139786A (ko) 2018-06-08 2019-12-18 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11490077B2 (en) * 2018-06-27 2022-11-01 Digitalinsights Inc. Image encoding/decoding method and apparatus involving merge candidate list and triangular shape partitions
WO2020003255A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Mer improvements
US11671619B2 (en) 2018-07-02 2023-06-06 Intellectual Discovery Co., Ltd. Video coding method and device using merge candidate
CN117241039A (zh) * 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
WO2020094074A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position-depending ordering of motion candidate list for geometric partitioning mode
SG11202105354YA (en) * 2018-11-22 2021-06-29 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods for inter prediction
WO2020114407A1 (en) * 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Partial pruning method for hmvp mode
EP3906676A4 (en) * 2018-12-31 2022-03-16 Beijing Dajia Internet Information Technology Co., Ltd. SYSTEM AND METHOD FOR SIGNALING MOTION BLENDING MODES DURING VIDEO CODING
CN113056908B (zh) * 2019-01-29 2024-04-05 深圳市欢太科技有限公司 视频字幕合成方法、装置、存储介质及电子设备
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
US20200288175A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Signaling of triangle merge mode indexes in video coding
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
DK3915254T3 (da) * 2019-03-12 2024-01-08 Beijing Dajia Internet Information Tech Co Ltd Videokodning til forudberegning af geometrisk inter-partition
WO2020198172A1 (en) * 2019-03-23 2020-10-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for triangle prediction
WO2020220037A1 (en) * 2019-04-25 2020-10-29 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for video coding with triangle prediction
WO2020227678A1 (en) * 2019-05-08 2020-11-12 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for signaling of merge modes in video coding
WO2020251421A2 (en) * 2019-10-03 2020-12-17 Huawei Technologies Co., Ltd. Method and apparatus of high-level syntax for non-rectangular partitioning modes
CN114762349B (zh) 2019-11-05 2024-04-12 Lg电子株式会社 用于图像/视频编译的高级别语法信令方法和装置
JP7443513B2 (ja) * 2019-11-05 2024-03-05 エルジー エレクトロニクス インコーポレイティド 映像／ビデオコーディング方法及び装置
WO2021091254A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 영상/비디오 코딩 시스템에서 픽처 헤더에서 슬라이스 타입에 관한 정보를 시그널링하는 방법 및 장치
US11496755B2 (en) * 2019-12-28 2022-11-08 Tencent America LLC Method and apparatus for video coding
WO2021136349A1 (en) * 2019-12-30 2021-07-08 FG Innovation Company Limited Device and method for coding video data
CN115996296A (zh) * 2020-01-14 2023-04-21 华为技术有限公司 指示融合模式候选数量的方法和装置
WO2021196211A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 一种帧间预测方法、编码器、解码器及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
KR100513732B1 (ko) 2002-12-05 2005-09-08 삼성전자주식회사 3차원 객체 데이터 부호화 및 복호화 방법 및 장치
EP1431919B1 (en) 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
EP1582063B1 (en) 2003-01-07 2018-03-07 Thomson Licensing DTV Mixed inter/intra video coding of macroblock partitions
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
US8660180B2 (en) 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
EP1878249B1 (en) 2005-04-01 2020-03-04 LG Electronics, Inc. Method for scalably decoding a video signal
KR100880640B1 (ko) 2005-04-01 2009-01-30 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 2005-04-01 2009-02-13 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
WO2006109988A1 (en) 2005-04-13 2006-10-19 Lg Electronics Inc. Method and apparatus for decoding video signal using reference pictures
US7996041B2 (en) 2005-04-15 2011-08-09 Nokia Corporation Apparatus and method for requesting initiation of a communication session using capability configuration parameters with card application toolkit
CN101163490B (zh) 2005-04-19 2012-11-21 株式会社大塚制药工场 人工髓液
US8755434B2 (en) 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
BRPI0715770B1 (pt) * 2006-08-25 2020-03-10 Interdigital Vc Holdings, Inc. Método, aparelho e mídia de armazenamento para particionamento com menor resolução
CN104822062B (zh) 2007-01-08 2018-11-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
KR101165212B1 (ko) * 2007-01-08 2012-07-11 노키아 코포레이션 비디오 코딩에서 확장된 공간 스케일러빌러티를 위한 개선된 계층 예측
BRPI0809512A2 (pt) * 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
WO2008156548A1 (en) 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
WO2009032255A2 (en) 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
CN101472174A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 视频解码器中用于复原原始图像数据的方法及装置
KR101789635B1 (ko) * 2010-05-04 2017-10-25 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR102034004B1 (ko) 2010-10-08 2019-10-18 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
JP5976658B2 (ja) * 2011-09-29 2016-08-24 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
TWI658725B (zh) * 2011-12-28 2019-05-01 日商Ｊｖｃ建伍股份有限公司 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
TWI653878B (zh) * 2011-12-28 2019-03-11 Ｊｖｃ建伍股份有限公司 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Video Coding technology proposal by France Telecom, NTT, NTT DoCoMo, Panasonic and Technicolor", JCT-VC Meeting, DRESDEN,15-4-2010, JCTVC-A114.
JCT-VC: "Test Model under Consideration (TMuC)", JCT-VC Meeting, DRESDEN, 15-4-2010, JCTVC-A205.

Also Published As

Publication number Publication date
US9357218B2 (en) 2016-05-31
KR20210115063A (ko) 2021-09-24
CN104811736A (zh) 2015-07-29
PT3429205T (pt) 2020-08-28
CN104811734A (zh) 2015-07-29
US20210250588A1 (en) 2021-08-12
KR20200109386A (ko) 2020-09-22
CN104811735B (zh) 2018-11-09
KR102303515B1 (ko) 2021-09-16
EP3429205A1 (en) 2019-01-16
CN102870414A (zh) 2013-01-09
KR20210021152A (ko) 2021-02-24
HUE052059T2 (hu) 2021-04-28
KR20130105783A (ko) 2013-09-26
CN104811732A (zh) 2015-07-29
FI3739883T3 (fi) 2023-01-13
CN104811736B (zh) 2018-06-26
SI3739883T1 (sl) 2023-03-31
KR20180100261A (ko) 2018-09-07
WO2011139099A3 (ko) 2012-03-01
CN104811732B (zh) 2018-04-20
EP3739883A1 (en) 2020-11-18
EP2568706A4 (en) 2016-03-02
CN104811735A (zh) 2015-07-29
DK3429205T3 (da) 2020-09-07
CN102870414B (zh) 2015-05-20
KR20220013472A (ko) 2022-02-04
US9936202B2 (en) 2018-04-03
DK2568706T3 (en) 2019-03-11
US10397580B2 (en) 2019-08-27
EP2568706A2 (en) 2013-03-13
CN104811737A (zh) 2015-07-29
ES2823480T3 (es) 2021-05-07
ES2711614T3 (es) 2019-05-06
US11006123B2 (en) 2021-05-11
KR101878148B1 (ko) 2018-07-13
US10666947B2 (en) 2020-05-26
PL3429205T3 (pl) 2021-02-08
PL3739883T3 (pl) 2023-04-11
CN104811733B (zh) 2018-06-26
KR102415787B1 (ko) 2022-06-30
PL2568706T3 (pl) 2019-06-28
EP3739883B1 (en) 2022-11-16
EP2568706B1 (en) 2018-12-19
EP4135328A1 (en) 2023-02-15
HUE061303T2 (hu) 2023-06-28
CN104811734B (zh) 2018-04-13
US9363520B2 (en) 2016-06-07
US20190124336A1 (en) 2019-04-25
HUE043816T2 (hu) 2019-09-30
KR20170122280A (ko) 2017-11-03
ES2936323T3 (es) 2023-03-16
CN104811733A (zh) 2015-07-29
US20160249054A1 (en) 2016-08-25
KR101988327B1 (ko) 2019-06-12
KR20220093407A (ko) 2022-07-05
KR20180081838A (ko) 2018-07-17
WO2011139099A2 (ko) 2011-11-10
KR102521802B1 (ko) 2023-04-13
US20200244967A1 (en) 2020-07-30
CN104811737B (zh) 2018-06-15
EP3429205B1 (en) 2020-07-15
KR102219985B1 (ko) 2021-02-25
KR101789635B1 (ko) 2017-10-25
US20180227582A1 (en) 2018-08-09
KR102158700B1 (ko) 2020-09-22
PT2568706T (pt) 2019-02-13
US20150163494A1 (en) 2015-06-11
US20130107959A1 (en) 2013-05-02
US11553185B2 (en) 2023-01-10
US20230135855A1 (en) 2023-05-04
HRP20230139T1 (hr) 2023-03-31

Similar Documents

Publication Publication Date Title
KR102355933B1 (ko) 비디오 신호의 처리 방법 및 장치
KR102108078B1 (ko) 비디오 신호의 처리 방법 및 장치
KR20240028404A (ko) 화면내 예측 모드 부호화/복호화 방법 및 장치
KR20190043482A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20190106804A (ko) 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR102546142B1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
KR20200119744A (ko) 화면 내 예측에서 예측 모드 관련 신호를 시그널링하는 방법 및 장치
KR20150048637A (ko) 색 성분 간 예측 방법 및 장치
KR20220115971A (ko) 리프 노드의 재설정된 예측 모드 타입에 기반하여 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant