KR101526914B1 - 비디오 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치 - Google Patents

비디오 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치 Download PDF

Info

Publication number
KR101526914B1
KR101526914B1 KR1020097002021A KR20097002021A KR101526914B1 KR 101526914 B1 KR101526914 B1 KR 101526914B1 KR 1020097002021 A KR1020097002021 A KR 1020097002021A KR 20097002021 A KR20097002021 A KR 20097002021A KR 101526914 B1 KR101526914 B1 KR 101526914B1
Authority
KR
South Korea
Prior art keywords
parametric model
partition
block
curve
model
Prior art date
Application number
KR1020097002021A
Other languages
English (en)
Other versions
KR20090046815A (ko
Inventor
오스카 디보라 에스코다
펭 잉
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090046815A publication Critical patent/KR20090046815A/ko
Application granted granted Critical
Publication of KR101526914B1 publication Critical patent/KR101526914B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 인코딩 및 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치가 제공된다. 상기 장치는 적어도 하나의 파라메트릭 모델에 응답하여 화상의 적어도 부분을 적응적으로 파티셔닝함으로써 화상에 대응하는 이미지 데이터를 인코딩하는 인코더(900)를 포함한다. 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선의 암시적 및 명시적 공식 중 적어도 하나를 수반한다.

Description

비디오 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치{METHODS AND APPARATUS FOR ADAPTIVE GEOMETRIC PARTITIONING FOR VIDEO DECODING}
본 출원은 본 명세서에 참고용으로 병합되는 2006년 8월 2일에 출원된 미국 가출원 번호 제 60/834,993의 이익을 주장한다. 더욱이, 본 출원은, 본 명세서에 참고용으로 병합되고 본 출원과 공동 출원되고 공동 양수된 "비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치(METHODS AND APPARATUS FOR ADAPTIVE GEOMETRIC PARTITIONING FOR VIDEO ENCODING)"라는 명칭의 가출원되지 않은 관리 번호(PU060147)와 관계있다.
본 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 더 구체적으로 비디오 인코딩 및 디코딩을 위한 적응성 기하학적 파티셔닝(partitioining)을 위한 방법 및 장치에 관한 것이다.
대부분의 비디오 코딩 기술은 비디오 이미지를 모델링하기 위한 예측 플러스 잔여 코딩을 이용한다. 다른 접근법은, 또한 리프팅(lifting) 방식이 (움직임 보상을 하거나 또는 하지 않는) 웨이브릿(wavelet) 변환을 생성하는데 사용될 때와 같이, 신호 변환의 몇몇 프로세스로의 단계로서 예측을 고려할 수 있다. 예측은 파티션에 기초하여 각 프레임 상에서 수행된다. 즉, 각 프레임은 블록들, 또는 트리 구 조에서 네스팅된(nested) 블록들의 세트로 파티셔닝되고, 그런 후에 각 블록 파티션은 인트라 또는 인터 예측자 플러스 몇몇 잔여 코딩을 이용함으로써 코딩된다. 블록들로의 프레임 파티셔닝은 통상적으로 프레임 전체에 걸쳐 있는 블록들(소위 매크로블록이라 불림)인 영역의 그리드를 한정함으로써 수행되고, 그런 후에, 각 매크로블록은 또한 추가로 더 작은 블록들(또한 서브블록 또는 서브-매크로블록이라 불림)로 파티셔닝될 수 있다. 일반적으로, 상이한 텍스처, 칼라, 부드러움(smoothness) 및/또는 상이한 움직임을 갖는 객체(object) 및/또는 프레임 영역의 경계 상의 매크로블록은 가능한 한 동일한 객관적 및/또는 주관적인 품질을 가지고, 매크로블록의 코딩을 가능한 한 효과적으로 만들기 위해 서브블록으로 추가로 분할되는 경향이 있다.
최근의 연구에 있어서, 트리 구조는 이미지 정보를 코딩하는데 표준 이하로-최적화(sub-optimal)되는 것으로 알려져 왔다. 이러한 연구는, 이미지의 트리-기반의 코딩이 규칙적인 에지 또는 윤곽(contour)으로 분리된 이종의 영역(여기서 영역은 평평한, 부드럽고, 또는 고정적인 텍스처와 같은 잘-한정된 그리고 균일한 특성을 갖는 것으로 간주된다)을 최적으로 코딩할 수 없다는 것을 확증한다. 이러한 문제는, 트리 구조가 에지, 윤곽 또는 지향된 텍스처를 따라 존재하는 기하학적 중복(redundancy)을 최적으로 포착할 수 없다는 점에서 발생한다. 이러한 개념은, 매크로블록의 적응형 트리 파티셔닝이 심지어 간단한 고정된-크기의 프레임 파티셔닝보다 더 우수할지라도, 효과적인 방식으로 코딩 목적을 위해 2D 데이터에 포함된 기하학적 정보를 포착할 정도로 충분히 최적화되지 않다는 것을 의미한다.
프레임 파티셔닝은 효과적인 비디오 코딩에서 핵심적인 중요한 프로세스이다. 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 개선된 비디오 코딩(AVC) 표준/국제 원격 통신 연합, 원격 통신 섹터(ITU-T) H.264 권고(이후부터 "MPEG-4 AVC 표준"이라 지칭)와 같은 최근의 비디오 압축 기술은 트리-기반의 프레임 파티션을 이용한다. 이것은, 일반적으로 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC) 동화상 전문가 그룹-2(MPEG-2) 표준 및 국제 원격 통신 연합, 원격 통신 섹터(ITU-T) H.263 권고(이후부터 "H.263 권고"라고 지칭함)와 같은 더 오래된 비디오 코딩 표준 및 권고에 사용된 간단한 균일한 블록 파티션보다 더 효과적인 것으로 여겨진다. 그러나, 트리 기반의 프레임 파티셔닝은 여전히 가능한 한 효과적으로 비디오 정보를 코딩하지 않는데, 이는 2차원(2D) 데이터의 기하학적 구조를 효과적으로 포착할 수 없기 때문이다.
트리-구조의 매크로블록 파티셔닝은 현재의 주요한 비디오 코딩 표준에서 채택된다. 국제 원격 통신 연합, 원격 통신 섹터(ITU-T)H.261 권고(이후부터 "H.261 권고"라고 지칭함), 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC) 동화상 전문가 그룹-1(MPEG-1) 표준, 및 ISO/IEC MPEG-2 표준/ITU-T H.263 권고(이후부터 "MPEG-2 표준"이라 지칭함)는 단지 16x16 매크로블록(MB) 파티션만을 지원한다. ISO/IEC 동화상 전문가 그룹-4(MPEG-4) 파트 10 개선된 비디오 코딩(AVC) 표준/ITU-T H.264 권고(이후부터 "MPEG-4 AVC 표준"이라 지칭함) 간단한 프로파일 또는 ITU-T H.263(+) 권고는 16x16 MB에 대해 16x16 및 8x8 파티션 양쪽 모두를 지원한다. MPEG-4 AVC 표준은 트리-구조로 된 계층형 매크로블록 파티션을 지원한다. 16x16 MB는 크기 16x8, 8x16, 또는 8x8의 매크로블록 파티션으로 파티셔닝될 수 있다. 8x8 파티션은 또한 서브-매크로블록으로 알려져 있다. 서브-매크로블록은 크기 8x4, 4x8, 및 4x4의 서브-매크로블록 파티션으로 추가로 분리될 수 있다. 도 1을 참조하면, MPEG-4 AVC 표준 매크로블록 분할(division) 세트는 일반적으로 참조 번호(100)로 표시된다. 특히, 매크로블록 파티션은 참조 번호(110)로 표시되고, 서브-매크로블록 파티션은 참조 번호(120)로 표시된다. 최근의 연구에서, 트리 구조는 이미지 정보를 코딩하는데 표준 이하로-최적화되는 것으로 알려져 왔다. 이러한 연구 의 일부는, 트리-기반의 코딩 시스템이 규칙적인 에지 또는 윤곽에 의해 분리된 이종의 영역을 최적으로 코딩할 수 없다는 것을 설명한다.
그 주제에 대한 이전의 몇몇 작업은, 움직임 보상을 위한 간단한 트리 기반의 파티셔닝에 의해 공급된 것 이외의 다른 유형의 블록 파티셔닝에 대한 필요성을 실험적으로 확인했다. 이러한 기술은, 트리 기반의 블록 파티션 이외에, 움직임 추정 및 보상을 위해 움직임 에지에 더 잘 적응될 수 있는 몇몇 추가적인 매크로블록 파티션의 이용을 제안한다.
H.263 코덱의 프레임워크 내에서 하나의 종래 기술의 접근법(이후부터 "제 1의 종래 기술의 접근법"이라 지칭함)에서, 2개의 추가 대각선 움직임 보상 모드를 이용하는 것이 제안된다. 이러한 모드 중 하나가 선택될 때, 해당 매크로블록은 대각선 세그먼트에 의해 분리된 2개의 유사한 삼각형으로 파티셔닝된다. 코딩 모드에 따라, 이것은 하나의 모드에 대해 하단 좌측 코너로부터 상단 우측 코너로 가고, 제 2 모드에 대해 상단 좌측 코너로부터 하단 우측 코너로 간다. 도 2a 및 도 2b를 참조하면, 본 명세서에 기재된 지정된 "제 1 종래 기술의 접근법"에 대응하는 추가 움직임 보상 코딩 모드는 일반적으로 각각 참조 번호(200 및 250)로 표시된다. 움직임 보상 코딩 모드(200)는 우측-상부 대각선 에지 코딩 모드에 대응하고, 움직임 보상 코딩 모드(250)는 좌측-상부 대각선 에지 코딩 모드에 대응한다.
제 1 종래 기술의 접근법은, 이들 모드가 고정된 대각선 방향에 의해 16x8 또는 8x16 움직임 보상 모드의 간단한 변형이라는 점에서 매우 제한된다. 이들이 한정하는 에지는 매우 조잡하고, 비디오 프레임에서 발견된 매우 다양한 에지에 맞출 정도로 충분히 정밀하지 않다. 기하학적 정보의 명시적(explicit) 코딩은 없는데, 이것은 인코더에서 이러한 정보의 적응된 처리를 나쁘게 한다. 2개의 모드는 코딩 모드의 목록에 도입되며, 이것은 모드 목록에 있는 이들 2개의 모드 뒤에 위치한 다른 코딩 모드의 코딩 오버헤드(overhead)를 증가시킨다.
제 1 종래 기술의 접근법으로부터의 직접적인 전개는, 본 명세서에서 각각 제 2, 제 3, 및 제 4 종래 기술의 접근법이라 지칭된 3개의 다른 종래 기술의 접근법에 관련된다. 이들 작업에서 집합적으로, 제 1 종래 기술의 접근법에 설명된 것보다 움직임 보상 코딩 모드의 더 큰 세트가 도입된다. 제 2, 제 3, 및 제 4 종래 기술의 접근법에 대해 설명된 시스템은 지향된 파티션을 포함하는 추가 코딩 모드의 큰 집합(collection)을 도입한다. 이들 모드는 16x8, 8x16 모드의 상이한 평행 이동된(translated) 버전 뿐 아니라 지그재그 프로파일을 갖는 제 1 종래 기술의 접근법에 제안된 모드의 상이한 평행 이동된 버전이다. 도 3을 참조하면, 지정된 "제 2", "제 3", 및 "제 4 종래 기술의 접근법"에 관련된 움직임 보상 코딩 모드는 일반적으로 참조 번호(300)로 표시된다. 18개의 움직임 보상 코딩 모드가 도시된다.
제 1 종래 기술의 접근법의 경우에서와 같이, 움직임 보상에 대한 제 2, 제 3, 및 제 4 종래 기술의 접근법에 한정된 파티션은 비디오 프레임 컨텐츠에 대해 매우 거칠고 부정확하다. 지향된 파티션의 세트가 제 1 종래 기술의 접근법에서의 세트보다 수적으로 우세하더라도, 비디오 프레임에서 발견된 매우 다양한 에지의 효과적인 코딩을 위해 여전히 충분히 정밀하지 않다. 이 경우에, 기하학적 정보의 명시적 코딩이 없는데, 이것은 인코더에서 기하학적 정보의 적응된 처리를 갖는 것에 손해를 준다. 더욱이, 모드의 훨씬 더 큰 세트를 코딩하기 위해 도입된 오버헤드는 모드의 목록에서 지향된 모드에 따르는 비-방향 모드에 더 많은 악영향을 끼친다.
제 4 종래 기술의 접근법은, 움직임 보상 기반의 예측을 위한 이전의 목적 이외에, 제 2, 제 3, 및 제 4 종래 기술의 접근법으로부터 지향된 모드의 파티션 내에서 인트라 예측의 이용을 제안한다. 제 5 종래 기술의 접근법의 한계는 제 2, 제 3, 및 제 4 종래 기술의 접근법으로부터 물려받고, 이에 따라 이전 단락에 언급된 모든 접근법도 또한 제 5 종래 기술의 접근법에 적용된다.
제 6 종래 기술의 접근법은 문헌에서 발견된 작업으로부터 가장 유연한 프레임워크를 제안한다. 제 6 종래 기술의 접근법은, 2개의 경계점을 연결하는 세그먼트가 블록 파티션을 생성하는데 사용되는 단지 2개만의 모드의 도입을 제안한다. 제안된 움직임 보상 코딩 모드 중 첫 번째 모드는 하나의 매크로블록을, 2개의 매 크로블록 경계점을 연결하는 세그먼트에 의해 분리된 2개의 파티션으로 분할한다. 도 4a를 참조하면, 본 명세서에 기재된 지정된 "제 6 종래 기술의 접근법"의 제 1 움직임 보상 코딩 모드에 따른 매크로블록 파티셔닝은 일반적으로 참조 번호(400)로 표시된다.
제안된 제 2 모드는 매크로블록을 서브블록으로 분할하는 1차 분할에 기초하고, 그런 후에, 각 서브블록은 각 서브블록의 경계 상의 2개의 지점을 연결하는 세그먼트를 이용하여 분할된다. 도 4b를 참조하면, 본 명세서에 기재된 지정된 "제 6 종래 기술의 접근법"의 제 2 움직임 보상 코딩 모드에 따른 매크로블록 파티셔닝은 일반적으로 참조 번호(450)로 표시된다.
몇몇 한계는 여전히 제 6 종래 기술의 접근법에 개설된 방식에 대해 존재하고, 다음을 포함한다.
제 6 종래 기술의 접근법에 관련된 제 1 한계에서, 세그먼트에 의해 2개의 경계점의 연결로서 한정된 블록 파티셔닝은 더 복잡한 경계 또는 윤곽의 경우를 효과적으로 다룰 수 없다. 이로 인해, 제 6 종래 기술의 접근법은 매크로 블록을 서브블록으로 분할하는 것과, 모든 서브블록마다 점 연결 세그먼트의 이용을 제안하여, 더 복잡한 형태에 근사되는데, 이것은 효과적이지 않다.
제 6 종래 기술의 접근법에 관련된 제 2 한계에서, 움직임 보상에 대한 파티션만이 인식되어, 생성된 파티션 내에 몇몇 인트라 코딩 기술의 이용을 무시한다. 이것은 제안된 기술이 노출 효과(uncovering effect)(새로운 데이터가 시퀀스 동안 객체 뒤로부터 나타나는 상황)를 다룰 수 없게 하거나, 간단히 임의의 비디오 프레 임에서 비-시간 예측 방식으로 정보를 코딩할 수 없게 한다.
제 6 종래 기술의 접근법에 관련된 제 3 한계에서, 경계점을 코딩함으로써 파티션 코딩은 왜곡 및 코딩 비용에 관해 충분히 효과적이지 않다. 이것은, 파티션 경계의 기하학적 특성을 적절히 나타낼 수 없고; 이에 따라 비디오 프레임에서 데이터의 기하학적 특성을 적절히 보여주지 않기 때문이다. 더욱이, 비디오 프레임에서의 데이터는 일반적으로 상이한 비디오 성분 및/또는 객체의 국부적인 배향 및 국부적인 위치와 같은 기하학적 정보에 대한 상이한 통계를 제공한다. 경계점의 간단한 이용은 그러한 정보를 반영할 수 없다. 따라서, 코딩 목적을 위해 그러한 통계를 이용할 수 없다.
제 6 종래 기술의 접근법에 관련된 제 4 한계에서, 상이한 비디오 압축 품질은 최상의 왜곡 대 코딩 비용 절충(trade-off)을 달성하기 위해 상이한 기하학적 정보 정밀도 요건을 갖는다. 제 6 종래 기술의 접근법은 비디오 압축 품질에 따라 블록 파티션을 인코딩하기 위해 송신된 정보에 적응하지 않는다. 더욱이, 제 6 종래 기술의 접근법이 파티션 기하학적 정보의 적절한 표현을 갖지 않고 및/또는 다른 방식으로도 나타내지 않기 때문에, 제 6 종래 기술의 접근법은 필요시, 몇몇 다른 종류의 기하학적 정보보다 더 높은 정밀도를 가진 몇몇 종류의 기하학적 정보의 인코딩을 장려할 수 없다.
제 6 종래 기술의 접근법에 관련된 제 5 한계에서, 제 6 종래 기술의 접근법은, 부분적으로 경계의 일측 상에 그리고 부분적으로 타측 상에 있는 파티션의 경계 상에 놓이는 그러한 픽셀을 다루는 것으로 여겨지지 않는다. 이들 픽셀은 필요 시, 파티션 양측으로부터 정보를 혼합할 수 있어야 한다.
도 8을 참조하면, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더는 일반적으로 참조 번호(800)로 표시된다.
비디오 인코더(800)는 조합기(885)의 비-반전 입력과 신호 통신하는 출력을 갖는 프레임 순서 매김(ordering) 버퍼(810)를 포함한다. 조합기(885)의 출력은 변환기(transformer) 및 양자화기(825)의 제 1 입력과 신호 통신하도록 연결된다. 변환기 및 양자화기(825)의 출력은 엔트로피 코더(845)의 제 1 입력, 및 역 변환기 및 역 양자화기(850)의 제 1 입력과 신호 통신하도록 연결된다. 엔트로피 코더(845)의 출력은 조합기(890)의 제 1 비반전 입력과 신호 통신하도록 연결된다. 조합기(890)의 출력은 출력 버퍼(835)의 제 1 입력과 신호 통신하도록 연결된다.
인코더 제어기(805)의 제 1 입력은 프레임 순서 매김 버퍼(810)의 제 2 입력, 역 변환기 및 역 양자화기(850)의 제 2 입력, 화상-유형 결정 모듈(815)의 입력, 매크로블록-유형(MB-유형) 결정 모듈(820)의 입력, 인트라 예측 모듈(860)의 제 2 입력, 디블록킹(deblocking) 필터(865)의 제 2 입력, 움직임 보상기(870)의 제 1 입력, 움직임 추정기(875)의 제 1 입력, 기준 화상 버퍼(880)의 제 2 입력과 신호 통신하도록 연결된다.
인코더 제어기(805)의 제 2 출력은 보충 개선 정보(SEI: Supplemental Enhancement Information) 삽입기(830)의 제 1 입력, 변환기 및 양자화기(825)의 제 2 입력, 엔트로피 코더(845)의 제 2 입력, 출력 버퍼(835)의 제 2 입력, 시퀀스 파라미터 세트(SPS: Sequence Parameter Set) 및 화상 파라미터 세트(PPS: Picture Parameter Set) 삽입기(840)의 입력과 신호 통신하도록 연결된다.
화상-유형 결정 모듈(815)의 제 1 출력은 프레임 순서 매김 버퍼(810)의 제 3 입력과 신호 통신하도록 연결된다. 화상-유형 결정 모듈(815)의 제 2 출력은 매크로블록-유형 결정 모듈(820)의 제 2 입력과 신호 통신하도록 연결된다.
시퀀스 파라미터 세트(SPS) 및 화상 파라미터 세트(PPS) 삽입기(840)의 출력은 조합기(890)의 제 3 비반전 입력과 신호 통신하도록 연결된다.
역 양자화기 및 역 변환기(850)의 출력은 조합기(825)의 제 1 비반전 입력과 신호 통신하도록 연결된다. 조합기(825)의 출력은 인트라 예측 모듈(860)의 제 1 입력 및 디블록킹 필터(865)의 제 1 입력과 신호 통신하도록 연결된다. 디블록킹 필터(865)의 출력은 기준 화상 버퍼(880)의 제 1 입력과 신호 통신하도록 연결된다. 기준 화상 버퍼(880)의 출력은 움직임 추정기(875)의 제 2 입력과 신호 통신하도록 연결된다. 움직임 추정기(875)의 제 1 출력은 움직임 보상기(870)의 제 2 입력과 신호 통신하도록 연결된다. 움직임 추정기(875)의 제 2 출력은 엔트로피 코더(845)의 제 3 입력과 신호 통신하도록 연결된다.
움직임 보상기(870)의 출력은 스위치(897)의 제 1 입력과 신호 통신하도록 연결된다. 인트라 예측 모듈(860)의 출력은 스위치(897)의 제 2 입력과 신호 통신하도록 연결된다. 매크로블록-유형 결정 모듈(820)의 출력은 스위치(897)의 제 3 입력과 신호 통신하도록 연결된다. 스위치(897)의 출력은 조합기(825)의 제 2 비반전 입력과 신호 통신하도록 연결된다.
프레임 순서 매김 버퍼(810) 및 인코더 제어기(805)의 입력은 입력 화 상(801)을 수신하기 위해 인코더(800)의 입력으로서 이용가능하다. 더욱이, 보충 개선 정보(SEI) 삽입기(830)의 입력은 메타데이터를 수신하기 위해 인코더(800)의 입력으로서 이용가능하다. 출력 버퍼(835)의 출력은 비트스트림을 출력하기 위해 인코더(800)의 출력으로서 이용가능하다.
도 10을 참조하면, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더는 일반적으로 참조 번호(1000)로 표시된다.
비디오 디코더(1000)는 엔트로피 디코더(1045)의 제 1 입력과 신호 통신하도록 연결된 출력을 갖는 입력 버퍼(1010)를 포함한다. 엔트로피 디코더(1045)의 제 1 출력은 역 변환기 및 역 양자화기(1050)의 제 1 입력과 신호 통신하도록 연결된다. 역 변환기 및 역 양자화기(1050)의 출력은 조합기(1025)의 제 2 비반전 입력과 신호 통신하도록 연결된다. 조합기(1025)의 출력은 디블록킹 필터(1065)의 제 2 입력과 인트라 예측 모듈(1060)의 제 1 입력과 신호 통신하도록 연결된다. 디블록킹 필터(1065)의 제 2 출력은 기준 화상 버퍼(1080)의 제 1 입력과 신호 통신하도록 연결된다. 기준 화상 버퍼(1080)의 출력은 움직임 보상기(1070)의 제 2 입력과 신호 통신하도록 연결된다.
엔트로피 디코더(1045)의 제 2 출력은 움직임 보상기(1070)의 제 3 입력 및 디블록킹 필터(1065)의 제 1 입력과 신호 통신하도록 연결된다. 엔트로피 디코더(1045)의 제 3 출력은 디코더 제어기(1005)의 입력과 신호 통신하도록 연결된다. 디코더 제어기(1005)의 제 1 출력은 엔트로피 디코더(1045)의 제 2 입력과 신호 통신하도록 연결된다. 디코더 제어기(1005)의 제 2 출력은 역 변환기 및 역 양자화 기(1050)의 제 2 입력과 신호 통신하도록 연결된다. 디코더 제어기(1005)의 제 3 출력은 디블록킹 필터(1065)의 제 3 입력과 신호 통신하도록 연결된다. 디코더 제어기(1005)의 제 4 출력은 인트라 예측 모듈(1060)의 제 2 입력과, 움직임 보상기(1070)의 제 1 입력과, 기준 화상 버퍼(1080)의 제 2 입력과 신호 통신하도록 연결된다.
움직임 보상기(1070)의 출력은 스위치(1097)의 제 1 입력과 신호 통신하도록 연결된다. 인트라 예측 모듈(1060)의 출력은 스위치(1097)의 제 2 입력과 신호 통신하도록 연결된다. 스위치(1097)의 출력은 조합기(1025)의 제 1 비반전 입력과 신호 통신하도록 연결된다.
입력 버퍼(1010)의 입력은 입력 비트스트림을 수신하기 위해 디코더(1000)의 입력으로서 이용가능하다. 디블록킹 필터(1065)의 제 1 출력은 출력 화상을 출력하기 위해 디코더(1000)의 출력으로서 이용가능하다.
종래 기술의 이들 및 다른 결점 및 단점은 비디오 인코딩 및 디코딩을 위한 적응성 기하학적 파티셔닝을 위한 방법 및 장치와 관련있는 본 원리에 의해 다루어진다.
본 원리의 양상에 따라, 장치가 제공된다. 상기 장치는 적어도 하나의 파라메트릭 모델(parametric model)에 응답하는 화상의 적어도 부분을 적응성 파티셔닝함으로써 화상에 대응하는 이미지 데이터를 인코딩하기 위한 인코더를 포함한다. 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선의 암시적(implicit) 및 명시적(explicit) 공식 중 적어도 하나를 수반한다.
본 원리의 다른 양상에 따라, 방법이 제공된다. 상기 방법은 적어도 하나의 파라메트릭 모델에 응답하는 화상의 적어도 부분을 적응성 파티셔닝함으로써 화상에 대응하는 이미지 데이터를 인코딩하는 단계를 포함한다. 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선의 암시적 및 명시적 공식 중 적어도 하나를 수반한다.
본 원리의 또 다른 양상에 따라, 장치가 제공된다. 상기 장치는 적어도 하나의 파라메트릭 모델을 이용하여 파티셔닝된 화상의 적어도 부분을 재구성함으로써 화상에 대응하는 이미지 데이터를 디코딩하기 위한 디코더를 포함한다. 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선의 암시적 및 명시적 공식 중 적어도 하나를 수반한다.
본 원리의 또 다른 양상에 따라, 방법이 제공된다. 상기 방법은, 적어도 하나의 파라메트릭 모델을 이용하여 파티셔닝된 화상의 적어도 부분을 재구성함으로써 화상에 대응하는 이미지 데이터를 디코딩하는 단계를 포함한다. 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선의 암시적 및 명시적 공식의 적어도 하나를 수반한다.
본 원리의 이들 및 다른 양상, 특징 및 장점은 첨부 도면과 관련하여 읽혀질 예시적인 실시예에 대한 다음의 상세한 설명으로부터 명백해질 것이다.
본 원리는 다음의 예시적인 도면에 따라 더 잘 이해될 수 있다.
도 1은 본 원리가 적용될 수 있는 MPEG-4 AVC 표준 매크로블록 분할 세트를 도시한 도면.
도 2a 및 도 2b는 본 명세서에 기재된 지정된 "제 1 종래 기술의 접근법"에 대응하는 추가 움직임 보상 코딩 모드를 도시한 도면.
도 3은 본 명세서에 기재된 지정된 "제 2", "제 3", 및 "제 4 종래 기술의 접근법"에 관련된 움직임 보상 코딩 모드를 도시한 도면.
도 4a는 본 명세서에 기재된 지정된 "제 6 종래 기술의 접근법"의 제 1 움직임 보상 코딩 모드에 따른 매크로블록 파티셔닝을 도시한 도면.
도 4b는 본 명세서에 기재된 지정된 "제 6 종래 기술의 접근법"의 제 2 움직임 보상 코딩 모드에 따른 매크로블록 파티셔닝을 도시한 도면.
도 5는 본 원리의 일실시예에 따라 파티션(P0 및 P1)을 갖는 다항식 모델에 기초한 부드러운 경계 파티션을 도시한 도면.
도 6은 본 원리의 일실시예에 따라, 파라메트릭 모델로서 사용하기 위한 파라미터 기재된 기하학적 구조(각도 및 위치)를 갖는 1차 다항식을 이용하는 일례를 도시한 도면.
도 7은 본 원리의 일실시예에 따라, 1차 다항식을 이용하여 파라메트릭 모델{f(x,y)}로부터 생성된 파티션 마스크를 도시한 도면.
도 8은 MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더를 도시한 블록도.
도 9는 본 원리의 일실시예에 따라, 본 원리와의 사용을 위해 확장된, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더를 도시한 블록 도.
도 10은 MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더를 도시한 블록도.
도 11은 본 원리의 일실시예에 따라, 본 원리와의 사용을 위해 확장된, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더를 도시한 블록도.
도 12는 본 원리의 일실시예에 따라, 디블록킹 절차와 함께 파라메트릭 모델 기반으로 파티셔닝된 매크로블록 및 그 이용을 도시한 도면.
도 13은 본 원리의 일실시예에 따라, 좌측 블록의 파라미터로부터 우측 블록에 대한 파티션 파라미터 예측의 일례를 도시한 도면.
도 14는 본 원리의 일실시예에 따라, 상부 블록의 파라미터로부터 하부 블록에 대한 파티션 파라미터 예측의 일례를 도시한 도면.
도 15는 본 원리의 일실시예에 따라, 상부 및 좌측 블록의 파라미터로부터 우측 블록에 대한 파티션 파라미터 예측의 일례를 도시한 도면.
도 16은 본 원리의 일실시예에 따라, 모델-기반의 파티션 파라미터 및 예측 검색을 이용한 기하학적 모드 추정을 위한 예시적인 방법을 도시한 도면.
도 17은 본 원리의 일실시예에 따라, 기하학적으로 파티셔닝된 예측 블록을 코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 18a는 본 원리의 일실시예에 따라, 기하학적으로 파티셔닝된 인터 예측 블록을 코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 18b는 본 원리의 일실시예에 따라, 기하학적으로 파티셔닝된 인트라 예측 블록을 코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 19는 본 원리의 일실시예에 따라, 다수의 유형의 모델을 가지고 코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 20은 본 원리의 일실시예에 따라, 기하학적으로 파티셔닝된 예측 블록을 디코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 21a는 본 원리의 일실시예에 따라, 기하학적으로 파티셔닝된 인터 예측 블록을 디코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 21b는 본 원리의 일실시예에 따라, 기하학적으로 파티셔닝된 인트라 예측 블록을 디코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 22는 본 원리의 일실시예에 따라, 다수의 유형의 모델을 가지고 디코딩하기 위한 예시적인 방법을 도시한 흐름도.
도 23은 본 원리의 일실시예에 따라, 슬라이스 헤더 신택스(syntax) 코딩을 위한 예시적인 방법을 도시한 흐름도.
도 24는 본 원리의 일실시예에 따라, 기하학적 파라미터 정밀도를 도출하기 위한 예시적인 방법을 도시한 흐름도.
도 25는 본 원리의 일실시예에 따라, 기하학적 블록을 재구성하기 위한 예시적인 방법을 도시한 흐름도.
도 26은 본 원리의 일실시예에 따라, 현재 블록에 대한 최상의 모드를 검색하기 위한 예시적인 방법을 도시한 흐름도.
도 27은 본 원리의 일실시예에 따라, 슬라이스 헤더 신택스 디코딩을 위한 예시적인 방법을 도시한 흐름도.
본 원리는 비디오 인코딩 및 디코딩을 위한 적응성 기하학적 파티셔닝을 위한 방법 및 장치에 관한 것이다.
본 설명은 본 원리를 예시한다. 따라서, 당업자는 본 명세서에 명백히 설명되거나 도시되지 않았지만, 본 원리를 구현하고 본 원리의 사상 및 범주 내에 포함되는 다양한 장치를 구상할 수 있다는 것이 인식될 것이다.
본 명세서에 언급된 모든 예 및 조건부 언어는, 종래 기술을 촉진시키기 위해 본 발명자(들)에 의해 제공된 본 원리 및 개념을 이해하는데 있어서 독자에게 도움을 주기 위해 교육적인 목적을 위해 의도되고, 그러한 특히 언급된 예 및 조건에 한정되지 않는 것으로 해석되어야 한다.
더욱이, 본 원리의 원리, 양상, 및 실시예를 언급한 모든 진술 뿐 아니라 특정 예는 구조적 및 기능적 등가물 모두를 포함하도록 의도된다. 추가적으로, 그러한 등가물이 현재 알려진 등가물 및 미래에 개발될 등가물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함하도록 의도된다.
따라서, 예를 들어, 본 명세서에 제시된 블록도가 본 원리를 구현하는 예시적인 회로의 개념도를 나타낸다는 것임을 당업자가 인식할 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사 코드 등은 실질적으로 컴퓨터 판독가능 매체에서 표현될 수 있고, 컴퓨터 또는 프로세스가 명백히 도시되는 지에 관계없이 컴퓨터 또는 프로세스에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 인식될 것이다.
도면에 도시된 다양한 요소의 기능은 전용 하드웨어 뿐 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 프로세스에 의해 제공될 때, 그 기능은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 몇몇이 공유될 수 있는 복수의 개별적인 프로세서에 의해 제공될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명백한 이용은 전적으로 소프트웨어를 실행할 수 있는 하드웨어만을 언급하도록 해석되지 않아야 하고, 제한 없이 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 엑세스 메모리("RAM"), 및 비휘발성 저장부를 암시적으로 포함할 수 있다.
종래 및/또는 관습적인 다른 하드웨어도 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 단지 개념적이다. 그 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해 수행될 수 있으며, 또는 심지어 수동으로, 특정 기술이 문맥으로부터 더 구체적으로 이해될 때 구현자에 의해 선택가능하다.
청구범위에서, 특수한 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는, 예를 들어 a) 그 기능을 수행하는 회로 요소의 조합, 또는 b) 그러므로 그 기능을 수행하기 위해 그러한 소프트웨어를 실행하기 위한 적절한 회로와 조합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 그 기능 을 수행하는 임의의 방식을 포함하도록 의도된다. 그러한 청구범위에 의해 한정된 본 원리는, 다양하게 언급된 수단에 의해 제공된 기능성이 청구범위가 청구하는 방식으로 조합되고 연관된다는 점에 있다. 따라서, 그러한 기능성을 제공할 수 있는 임의의 수단이 본 명세서에 도시된 수단과 동등하다고 간주된다.
본 원리의 "일실시예" 또는 "실시예"에 대한 본 명세서에서의 참조는, 실시예와 연계하여 설명된 특정한 특징, 구조, 특성 등이 본 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 여러 장소에 나타나는 구문 "일실시예" 또는 "실시예"의 출현은 반드시 동일한 실시예를 언급하지는 않는다.
"블록" 및 "영역"이라는 용어는 본 명세서에 상호 교환적으로 사용된다는 것이 인식될 것이다.
"기존의 비디오 코딩 표준" 및 "비디오 코딩 권고"라는 구문은, 아직 개발되지 않지만 본 원리의 응용 시간 내에 존재하는 것을 포함하는 임의의 기존의 비디오 코딩 표준 및 권고를 언급할 수 있다는 것이 추가로 인식될 것이다. 그러한 표준 및 권고는 H.261, H.262, H.263, H.263+, H.263++, MPEG-1, MPEG-2, MPEG-4 AVC 등을 포함하지만 여기에 한정되지 않는다.
더욱이, 비디오 코딩 표준 및/또는 권고에 대해 사용될 때 "확장된 버전"이라는 용어는 변형되고, 발전되거나, 그 밖의 방식으로 확장된 버전을 나타낸다.
또한, "이미지 데이터"라는 구문은 임의의 정지(still) 이미지 및 이동 이미지(즉, 움직임을 포함하는 이미지의 시퀀스)에 대응하는 데이터를 언급하도록 의도 되는 것이 인식될 것이다.
추가적으로, 본 명세서에 사용된 바와 같이, "고 레벨 신택스"는 매크로블록 층 위에 계층적으로 존재하는 비트스트림에 있는 신택스를 언급한다. 예를 들어, 본 명세서에 사용된 바와 같이, 고 레벨 신택스는 슬라이스 헤더 레벨, 보충 개선 정보(SEI) 레벨, 화상 파라미터 세트 레벨, 시퀀스 파라미터 세트 레벨 및 NAL 유닛 헤더 레벨을 언급하지만 여기에 한정되지 않는다.
예를 들어 "A 및/또는 B"의 경우에서, "및/또는"이라는 용어의 이용은 제 1 기록된 옵션(A)의 선택, 제 2 기록된 옵션(B)의 선택, 또는 양쪽 옵션(A 및 B)의 선택을 포함하도록 의도된다는 것이 인식될 것이다. 추가 예로서, "A, B, 및/또는 C"의 경우에, 그러한 구문 기재는 제 1 기록된 옵션(A)의 선택, 제 2 기록된 옵션(B)의 선택`, 제 3 기록된 옵션(C)의 선택, 제 1 및 제 2 기록된 옵션(A 및 B)의 선택, 제 1 및 제 3 기록된 옵션(A 및 C)의 선택, 제 2 및 제 3 기록된 옵션(B 및 C)의 선택, 또는 모든 3개의 옵션(A 및 B 및 C)의 선택을 포함하도록 의도된다. 이것은 기록된 항목만큼, 당업자에 의해 쉽게 명백한 바와 같이 확장될 수 있다.
전술한 바와 같이, 본 원리는 비디오 인코딩 및 디코딩을 위한 적응성 기하학적 파티셔닝을 위한 방법 및 장치에 관한 것이다.
본 원리의 하나 이상의 실시예는 트리 기반의 접근법의 비효율성을 극복하기 위해 국부적인 신호 기하학적 구조를 포착하고 나타낼 수 있는, 프레임 영역 파티셔닝을 위한 파라메트릭 모델을 이용한다. 본 원리의 다양한 실시예에 사용된 파라메트릭 모델링은 적어도 하나의 곡선(1차 다항식의 특정한 경우에, 직선이 되는)의 암시적 또는 명시적 공식에 의해 이미지 부분(또는 매크로블록) 내에 적어도 하나의 파티션을 한정할 때, 그리고 이것의 특정한 실시예가 소위 "암시적 곡선" 공식에 따라 파티션 및 곡선을 결합하여 한정하는 경우 한정된다. 본 원리에 따라 사용된 일반적인 곡선의 공식은, 제 6 종래 기술의 접근법이 블록의 외주(periphery) 상에 위치된 2개의 주어진 점 사이에 직선 연결로서 블록 내에 슬라이싱된 파티션 사이의 경계를 한정한다는 점에서 전술한 제 6 종래 기술의 접근법과 구별된다.
예측될 프레임의 영역 또는 블록이 주어지면, 기하학적 파티션 모드는 고전적인 트리 파티셔닝에 근거한 모드에 더하여 테스트된다. 관련된 블록 또는 영역은 파라메트릭 모델의 하나 또는 세트에 의해 기재된 몇몇 영역으로 파티셔닝된다. 특히, 이것의 형태는 2개의 파티션으로의 블록 또는 영역의 파티션일 수 있으며, 여기서 그 경계는 파라메트릭 모델 또는 함수{f(x,y,
Figure 112014106579917-pct00001
)}에 의해 기재되고, 여기서 x 및 y는 좌표축을 나타내고,
Figure 112014106579917-pct00002
는 파티션의 형태를 나타내는 정보를 포함하는 파라미터 세트를 나타낸다. 일단 프레임 블록 또는 영역이 {f(x,y,
Figure 112014106579917-pct00003
)}을 이용하여 파티션으로 분할되면, 각 생성된 파티션은 몇몇 왜곡 및 코딩 비용 측정 절충에 근거하여, 가장 적절한 예측자에 의해 예측된다.
그러한 파티션 설명이 관심 있는 이유는, 최근의 연구에서, 트리 구조가 이미지 정보를 코딩하기 위해 부분 최적화되는 것으로 드러났기 때문이다. 이러한 연구는, 이미지의 트리-기반의 코딩이 규칙적인 에지 또는 윤곽선에 의해 분리된 이종의 영역을 최적으로 코딩할 수 없다는 것을 주장한다. 이러한 문제는, 트리 구조 가 에지, 윤곽선 또는 지향된 텍스처를 따라 존재하는 기하학적 중복을 최적으로 포착할 수 없다는 점에서 발생한다. 비디오 시퀀스에서, 에지 및/또는 윤곽선이 코딩될 필요가 있는 상황의 상이한 경우는 흔하다. 이러한 경우 중 하나는, 인트라 코딩된 데이터가 인코딩될 때이다. 상이한 종류의 시각적 데이터 사이의 경계는 가장 관련된 종류의 정보, 예를 들어 에지 및 객체 윤곽선 중 하나이다. 인터 코딩된 데이터에서, 이동 객체 주위에 그리고 상이한 움직임의 영역 사이의 윤곽선은 또한 관련 중요성이 있다.
본 원리의 일실시예는 2차원(2D) 데이터의 기하학적 구조에 적응된 일반적인 기하학적 프레임 파티셔닝에 대한 기술을 제공한다. 그런 후에, 생성된 영역의 각 하나는 예측의 가장 효과적인 유형, 예를 들어 인터 및/또는 인트라 예측 유형을 이용함으로써 인코딩된다. 일실시예는 블록 또는 프레임 영역에서 기하학적 파티션의 생성을 포함한다. 고전적인 트리 대신에, 기하학적으로 적응된 파티션으로의 블록 또는 프레임 영역의 파티션은 송신될 정보의 양 뿐 아니라 예측 절차에 의해 생성된 잔여량의 감소를 허용한다. 본 원리에 따라, 파라메트릭 모델은 각 블록 내의 파티션 경계를 생성, 근사 및/또는 코딩하는데 사용된다. 그러한 접근법은 2D 데이터의 주요 기하학적 특성의 더 우수한 포착을 허용한다. 예를 들어, 모델 파라미터(model parameter)는, 예를 들어 파티션 경계 각도, 위치, 불연속성(discontinuity), 및/또는 심지어 곡률을 수반하지만 여기에 한정되지 않은 정보를 독립적으로 운반하도록 한정될 수 있다. 파티션 코딩을 위한 파라메트릭 모델의 이용은 매우 간결한 파티션 에지 묘사를 허용하고, 이것은 코딩될 파라미터의 수를 최소화한다. 더욱이, 파티션 모델 파라미터는 통계 및 특성에 따라 파라미터 각각을 최상으로 코딩하기 위해 독립적인 또는 상이한 기하학적 정보를 분리(decouple)하는 것과 같이 한정될 수 있다. 기하학적 정보의 그러한 모델-기반의 처리는 또한 기하학적 파라미터당 부여된 코딩 정보의 양에 대한 선택적인 감소 또는 증가를 허용한다. 코딩 효율에 더하여, 그러한 특징은 코딩 효율에 대한 영향을 최소화하는 한편 계산상 복잡도를 제어하는데 유용하다.
파라메트릭 모델 기반의 파티션 묘사를 이용하는 것의 장점 중 하나는, 블록에서 2개의 파티션 사이의 부드러운 파티션 경계를 효과적으로 설명할 가능성이다. 여러 번, 인트라 프레임에서 2개의 상이한 이동 객체, 또는 에지 사이의 경계는 몇몇 종류의 다항식{
Figure 112014106579917-pct00004
}에 의해 모델링될 수 있고, 미세하게 근사될 수 있다. 도 5를 참조하면, 파티션(P0 및 P1)을 갖는 다항식 모델에 근거한 부드러운 경계 파티션은 일반적으로 참조 번호(500)로 표시된다.
기하학적 이미지 및 비디오 코딩의 목적을 위해,
Figure 112009006016297-pct00005
(또한 다음에서 f(x,y)로 표현됨) 파라미터는, 이들 파라미터가 국부적인 각도, 위치 및/또는 몇몇 곡률 크기와 같은 기하학적 정보를 나타내도록 작용될 수 있다. 따라서, 1차 다항식(
Figure 112009006016297-pct00006
)의 특정한 경우에, 블록 파티션은, 좌표축의 주어진 세트에 대해 각도 및 거리를 나타내도록 표현될 수 있다:
f(x,y) = xcosθ+ysinθ-ρ,
여기서 파티션 경계는 f(x,y)=0이 되도록 그러한 위치(x,y)에 걸쳐 한정된 다.
도 6을 참조하면, 파라메트릭 모델로서 사용하기 위해 파라미터 기재된 기하학적 구성(각도 및 위치)을 갖는 1차 다항식을 이용하는 일례는 일반적으로 참조 번호(600)로 표시된다.
매 블록으로부터 2개의 영역의 생성에 관한 실시예에서, 다음과 같은 암시적인 공식은 파티션을 나타내는데 사용될 수 있다:
Figure 112009006016297-pct00007
제로 라인(f(x,y)=0))의 일측 상에 위치한 모든 픽셀은 하나의 파티션 영역(예를 들어, 파티션 1)에 속하는 것으로 분류된다. 다른 측 상에 위치한 모든 픽셀은 교대 영역(예를 들어, 파티션 0)에서 분류된다.
파티션 경계 상의 픽셀을 다루는 선택적인 방법:
파티션의 별개의 특성을 고려하면, 분리 라인 또는 곡선의 이웃 상에서, 몇몇 픽셀이 하나 또는 다른 파티션에 부분적으로 속하는 것으로 단지 고려될 수 있다는 것을 발견했다. 이것은, 파라메트릭 모델 구성이 연속적이고, 파티션 실현이 별개라는 점 때문이다.
그러한 픽셀은 파티션 측의 각 하나를 나타내는데 사용된 예측자의 영향을 받을 수 있다. 따라서, 픽셀은 파티션 1 및 0의 라벨과 다른 라벨을 가지고, "부분 표면"이라고 라벨이 붙여질 수 있다. 간략함을 위해, 하나 또는 다른 파티션에서 의 픽셀을 1 또는 0으로 라벨을 붙이는 규약을 채택한다. 이에 따라 "부분 표면" 픽셀은 그 사이에 몇몇 값으로 식별될 수 있고, 이것은 또한 해당 픽셀이 얼마나 파티션 0이 되는지에 대한 정보를 포함할 수 있다(예를 들어, 1의 값은 완전함을 나타내고, 0.5는 절반-절반을 나타내고, 0은 없음을 나타낸다). 물론, 이전의 그리고 전체에 걸친 전술한 번호 매김 배열은 예시 및 명확함을 위해 제공되고, 본 명세서에 제공된 본 원리의 기술이 주어지면, 당업자는 본 원리의 사상을 유지하면서, 본 원리와 사용하기 위한 이들 및 다양한 다른 번호 매김 배열을 구상할 것이다. 전술한 내용은 파티션 0에 대한 라벨 붙임의 다음의 정의로 통상 표현된다:
Figure 112009006016297-pct00008
Label(x,y)=1은, 픽셀이 제 1 파티션 내에 포함되는지를 나타낸다. Label(x,y)=0은, 제 2 파티션에서, 부분적으로 분류되는 특정한 픽셀에 대해 값 상태의 나머지라는 것을 나타내며, 이것은 또한 제 1 파티션으로부터 그 예측 값에 대한 기여의 가중치를 나타낸다. 제 2 파티션으로부터의 예측은 가중치(1-Label(x,y))를 가지고 "부분 표면" 픽셀의 값에 기여한다. 이러한 일반적인 픽셀 분류는 파티션 마스크의 형태 하에 생성된다. 도 7을 참조하면, 1차 다항식을 이용하여 파라메트릭 모델(f(x,y))로부터 생성된 파티션 마스크는 일반적으로 참조 번호(700)로 표시된다. 전술한 바와 같이, 전술한 부동 소수점 숫자는 단지 가능한 선택 값의 예에 불과하다. 게다가, f(x,y)에 따라, 0.5 이외의 임계값이 가능하다. "부분 표면"으로서 분류된 모든 픽셀은, 또한 중첩하는 파티션 중 하나 내에 하나 이상의 이웃 픽셀의 함수, 또는 중첩하는 2 이상의 파티션의 함수의 조합으로서 예측될 수 있다. 또한, 본 명세서에 기재된 본 원리의 임의의 양상이 정수 구현, 및/또는 룩업 테이블의 이용에 적응될 수 있다는 것을 당업자는 인식할 것이다.
샘플링 파티션 함수, f(x,y), 파라미터 공간에 대한 고려사항:
모델 파라미터는 디코더가 해당 블록 또는 영역의 파티션을 결정하게 하도록 인코딩되고 송신될 필요가 있다. 이러한 목적을 위해, 파티션 파라미터의 정밀도는 블록 또는 파티션 영역을 나타내기 위해 부여하려고 하는 코딩 비용의 최대량에 따라 제한된다.
일반성의 손실 없이, 가능한 파티션(또는 기하학적 모델)의 사전(dictionary)은 f(x,y)의 각 파라미터에 대한 값 범위 및 샘플링 정밀도를 결정함으로써 선험적으로(a priori) 정의된다. 예를 들어, 기하학적 1차 다항식 경계의 경우에, 이것은 다음이 되도록 정의될 수 있다:
Figure 112009006016297-pct00009
및
Figure 112009006016297-pct00010
여기서 △ρ 및 △θ는 선택된 양자화(파라미터 정밀도) 단계이다. 그럼에도 불구하고, 선택된 값에서의 오프셋이 확립될 수 있다. θ 및 ρ에 대한 양자화된 지수는 파티션 형태를 코딩하도록 송신된 정보이다. 그러나, 수직 및 수평 방향 모드(MPEG-4 AVC 표준에 대해 정의된 바와 같이)가 개별적인 코딩 모드로서 사용되는 경우에, ρ=0 및 각도 0 및 90을 갖는 기하학적인 파티션은 가능한 파티션 구성 세트로부터 제거된다. 이것은 비트를 절약할 뿐 아니라 복합성을 감소시킬 수 있다.
디코더는 인코더에 의해 사용된 파라미터 정밀도를 알 필요가 있다. 이것은 이미 존재하는 몇몇 데이터(예를 들어, MPEG-4 AVC 표준에서 양자화 파라미터)의 함수로서 명시적으로 또는 암시적으로 파티션 파라미터의 모든 유형에 대해 송출될 수 있다. 파라미터 정밀도는 시퀀스, 화상, 및/또는 슬라이스 레벨과 같은 몇몇 고 레벨 신택스에 따라 적응될 수 있다.
본 원리에 대해 본 명세서에 기재된 영역 파티셔닝을 이용하는 비디오 통신 시스템은, 영역 파티셔닝을 이용하는 모든 영역에 대해, 파티션의 형태를 나타내기 위해 필요한 인코딩된 파라미터 세트를 송신해야 한다. 모든 기하학적인 인코딩된 영역에 대해, 송신된 데이터의 나머지는 트리 기반의 파티션 모드에 의해 송신된 종류와 유사한 종류일 것이다. 더욱이, 각 모델-기반의 파티션에 대해, 예측 정보는 송신되어야 한다. 더욱이, 잔여 예측 에러는 또한 결국 예측 이후에 인코딩될 수 있다.
파라메트릭 모델 기반의 기하학적 영역 파티셔닝의 이용은 프레임의 파티셔닝에 종속하는 비디오 인코더/디코더에서의 모든 프로세스에 영향을 끼친다. 본 원리로부터 유리할 수 있고 본 원리에 적응될 수 있는 비디오 시스템에서의 더 흔한 프로세스/모듈의 몇몇은, 인코더/디코더의 일반적인 제어; 영역 예측(움직임 보상/인트라 데이터 예측); 움직임 추정; 엔트로피 코딩/디코딩; 및 결점 감소를 위한 인-루프(in-loop) 필터링을 포함하지만, 여기에 한정되지 않는다.
이후부터, MPEG-4 AVC 표준 프레임워크에 대한 일실시예가 설명된다. 그러나, 본 원리가 단지 MPEG-4 AVC에만 한정되지 않고, 본 원리의 사상을 유지하면서 다른 비디오 코딩 표준 및 권고에 대해 쉽게 이용될 수 있음이 인식될 것이다.
본 원리에 따라 파라메트릭 모델 파티션을 고려하기 위해 MPEG-4 AVC 표준 비디오 인코더 및 디코더의 확장:
이제, 본 원리에 따라 MPEG-4 AVC 표준의 확장에 관련된 일실시예가 설명될 것이다. MPEG-4 AVC 표준은 코딩 성능을 최적화하기 위해 트리-기반의 프레임 파티셔닝에 의존한다. 본 원리의 일실시예에 따라 MPEG-4 AVC 표준을 확장하는 것은 MPEG-4 AVC 표준이 적용되는 트리-기반의 프레임 파티셔닝에 고유한 한계를 극복하는데 도움을 준다.
파라메트릭 모델-기반의 영역 파티셔닝의 이용은 새로운 블록 코딩 모드의 형태 하에 MPEG-4 AVC 표준에 포함될 수 있다. MPEG-4 AVC 표준 트리-기반의 프레임 파티셔닝은 필요시 각 화상을 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 및 4x4 블록으로 분할한다. 이들 파티션 유형의 각각은, 동시에 모드에 따라 인터 또는 인트라 유형일 수 있는 코딩 모드와 연관된다. 이들 블록 파티션 모드 이외에, 파라메트릭 모델(f(x,y))이 블록 내에 파티션을 나타내는데 사용되도록 추가 파티션 블록 모드를 도입한다. 파라메트릭 모델로 분할된 그러한 블록 모드는 본 명세서에서 "기하학적 모드"로 언급된다. 그 목적은 파티션을 가능한 한 크게 생성하는 것이고; 따라서, 파라메트릭 모델의 목적은 16x16 크기 블록, 또는 트리-기반의 파티션의 리프들(leaves) 집합에 적용되는 것이다. 그러나, 압축 효율이 중요할 때, 8x8 "기하학적모드" 블록도 또한 고려된다. 8x8 "기하학적 모드" 블록의 이용은 또한 복잡성 인자에 따라 인에이블될 수 있거나 디스에이블될 수 있다. 고 레벨 신택스는 8x8 "기하학적 모드"가 사용되는 지의 여부를 나타내기 위해 신호 발신(signaled)될 수 있다. 이것은 그러한 모드가 사용되지 않을 때 코딩 오버헤드를 절약할 수 있다. 신택스 레벨의 특정 예는 시퀀스, 화상 및/또는 슬라이스 레벨을 포함하지만 여기에 한정되지 않는다.
코딩 모드의 새로운 집단을 삽입하기 위해, 인코더 및/또는 디코더는 변형될 수 있다. 도 8, 9, 10 및 11에 도시된 바와 같이, MPEG-4 AVC 표준에서 주요 빌딩 블록의 기능성은 기하학적 정보를 포착하고 코딩할 수 있는 새로운 모드를 다루기 위해 변형되고 확장될 수 있다.
도 9를 참조하면, 본 원리와 함께 사용하기 위해 확장된, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더는 일반적으로 참조 번호(900)로 표시된다.
비디오 인코더(900)는 조합기(985)의 비반전 입력과 신호 통신할 수 있는 출력을 갖는 프레임 순서 매김 버퍼(910)를 포함한다. 조합기(985)의 출력은 기하학적 확장부를 갖는 변환기 및 양자화기(927)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 변환기 및 양자화기(927)의 출력은 기하학적 확장부를 갖는 엔트로피 코더(945)의 제 1 입력 및 역 변환기 및 역 양자화기(950)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 엔트로피 코더(945)의 출력은 조합기(990)의 제 1 비반전 입력과 신호 통신하도록 연결된다. 조합기(990)의 출력은 출력 버퍼(935)의 제 1 입력과 신호 통신하도록 연결된다.
기하학적 확장부를 갖는 인코더 제어기(905)의 제 1 출력은 프레임 순서 매김 버퍼(910)의 제 2 입력과, 역 변환기 및 역 양자화기(950)의 제 2 입력과, 화상-유형 결정 모듈(915)의 입력과, 기하학적 확장부를 갖는 매크로블록-유형(MB-유형) 결정 모듈(920)의 입력과, 기하학적 확장부를 갖는 인트라 예측 모듈(960)의 제 2 입력과, 기하학적 확장부를 갖는 디블록킹 필터(965)의 제 2 입력과, 기하학적 확장부를 갖는 움직임 보상기(970)의 제 1 입력과, 기하학적 확장부를 갖는 움직임 추정기(975)의 제 1 입력과, 기준 화상 버퍼(980)의 제 2 입력과 신호 통신하도록 연결된다.
기하학적 확장부를 갖는 인코더 제어기(905)의 제 2 출력은 보충 개선 정보(SEI) 삽입기(930)의 제 1 입력과, 기하학적 확장부를 갖는 변환기 및 양자화기(927)의 제 2 입력과, 기하학적 확장부를 갖는 엔트로피 코더(945)의 제 2 입력과, 출력 버퍼(935)의 제 2 입력과, 시퀀스 파라미터 세트(SPS) 및 화상 파라미터 세트(PPS) 삽입기(940)의 입력과 신호 통신하도록 연결된다.
화상-유형 결정 모듈(915)의 제 1 출력은 프레임 순서 매김 버퍼(910)의 제 3 입력과 신호 통신하도록 연결된다. 화상-유형 결정 모듈(915)의 제 2 출력은 기하학적 확장부를 갖는 매크로블록-유형 결정 모듈(920)의 제 2 입력과 신호 통신하도록 연결된다.
시퀀스 파라미터 세트(SPS) 및 화상 파라미터 세트(PPS) 삽입기(940)의 출력은 조합기(990)의 제 3 비반전 입력과 신호 통신하도록 연결된다.
역 양자화기 및 역 변환기(950)의 출력은 조합기(925)의 제 1 비반전 입력과 신호 통신하도록 연결된다. 조합기(925)의 출력은 기하학적 확장부를 갖는 인트라 예측 모듈(960)의 제 1 입력과, 기하학적 확장부를 갖는 디블록킹 필터(965)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 디블록킹 필터(965)의 출력은 기준 화상 버퍼(980)의 제 1 입력과 신호 통신하도록 연결된다. 기준 화상 버퍼(980)의 출력은 기하학적 확장부를 갖는 움직임 추정기(975)의 제 2 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 움직임 추정기(975)의 제 1 출력은 기하학적 확장부를 갖는 움직임 보상기(970)의 제 2 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 움직임 추정기(975)의 제 2 출력은 기하학적 확장부를 갖는 엔트로피 코더(945)의 제 3 입력과 신호 통신하도록 연결된다.
기하학적 확장부를 갖는 움직임 보상기(970)의 출력은 스위치(997)의 제 1 입력과 신호 통신하도록 연결된다. 인트라 예측 모듈(860)의 출력은 스위치(997)의 제 2 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 매크로블록-유형 결정 모듈(920)의 출력은 스위치(997)의 제 3 입력과 신호 통신하도록 연결된다. 스위치(997)의 출력은 조합기(925)의 제 2 비반전 입력과, 조합기(985)의 반전 입력과 신호 통신하도록 연결된다.
프레임 순서 매김 버퍼(910) 및 기하학적 확장부를 갖는 인코더 제어기(905)의 입력은 입력 화상(901)을 수신하기 위해 인코더(900)의 입력으로서 이용가능하 다. 더욱이, 보충 개선 정보(SEI) 삽입기(930)의 입력은 메타데이터를 수신하기 위해 인코더(900)의 입력으로서 이용가능하다. 출력 버퍼(935)의 출력은 비트스트림을 출력하기 위해 인코더(900)의 출력으로서 이용가능하다.
도 11을 참조하면, 본 원리와 함께 사용하기 위해 확장된, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더는 일반적으로 참조 번호(1100)로 표시된다.
비디오 디코더(1100)는 기하학적 확장부를 갖는 엔트로피 디코더(1145)의 제 1 입력과 신호 통신하도록 연결된 출력을 갖는 입력 버퍼(1110)를 포함한다. 기하학적 확장부를 갖는 엔트로피 디코더(1145)의 제 1 출력은 기하학적 확장부를 갖는 역 변환기 및 역 양자화기(1150)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 역 변환기 및 역 양자화기(1150)의 출력은 조합기(1125)의 제 2 비반전 입력과 신호 통신하도록 연결된다. 조합기(1125)의 출력은 기하학적 확장부를 갖는 디블록킹 필터(1165)의 제 2 입력과, 기하학적 확장부를 갖는 인트라 예측 모듈(1160)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 디블록킹 필터(1165)의 제 2 출력은 기준 화상 버퍼(1180)의 제 1 입력과 신호 통신하도록 연결된다. 기준 화상 버퍼(1180)의 출력은 기하학적 확장부를 갖는 움직임 보상기(1170)의 제 2 입력과 신호 통신하도록 연결된다.
기하학적 확장부를 갖는 엔트로피 디코더(1145)의 제 2 출력은 기하학적 확장부를 갖는 움직임 보상기(1170)의 제 3 입력과, 기하학적 확장부를 갖는 디블록킹 필터(1165)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 엔트로피 디코더(1145)의 제 3 출력은 기하학적 확장부(1105)를 갖는 디코더 제어기의 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 디코더 제어기(1105)의 제 1 출력은 기하학적 확장부를 갖는 엔트로피 디코더(1145)의 제 2 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 디코더 제어기(1105)의 제 2 출력은 기하학적 확장부를 갖는 역 변환기 및 역 양자화기(1150)의 제 2 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 디코더 제어기(1105)의 제 3 출력은 기하학적 확장부를 갖는 디블록킹 필터(1165)의 제 3 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 디코더 제어기(1105)의 제 4 출력은 기하학적 확장부를 갖는 인트라 예측 모듈(1160)의 제 2 입력과, 움직임 보상기(1170)의 제 1 입력과, 기준 화상 버퍼(1180)의 제 2 입력과 신호 통신하도록 연결된다.
기하학적 확장부를 갖는 움직임 보상기(1170)의 출력은 스위치(1197)의 제 1 입력과 신호 통신하도록 연결된다. 기하학적 확장부를 갖는 인트라 예측 모듈(1160)의 출력은 스위치(1197)의 제 2 입력과 신호 통신하도록 연결된다. 스위치(1197)의 출력은 조합기(1125)의 제 1 비반전 입력과 신호 통신하도록 연결된다.
입력 버퍼(1110)의 입력은 입력 비트스트림을 수신하기 위해 디코더(1100)의 입력으로서 이용가능하다. 기하학적 확장부를 갖는 디블록킹 필터(1165)의 제 1 출력은 출력 화상을 출력하기 위해 디코더(1100)의 출력으로서 이용가능하다.
MPEG-4 AVC 표준에 대해 본 원리의 이용에 관련된 가능한 변형/확장에 관해, 인코더 및/또는 디코더 제어 모듈은 "기하학적 모드"에 필요한 모든 결정 규칙 및 코딩 프로세스 구조를 포함하도록 변형/확장될 수 있다.
MPEG-4 AVC 표준에 대해 본 원리의 이용에 관련된 다른 가능한 변형/확장에 관해, 움직임 보상 모듈은 f(x,y) 및 그 파라미터에 의해 나타낸 임의의 파티션을 갖는 블록을 보상하기 위해 적응될 수 있다.
MPEG-4 AVC 표준에 대해 본 원리의 이용에 관련된 또 다른 가능한 변형/확장에 관해, 움직임 추정 모듈은 파라메트릭 모델-기반의 코딩 모드에서 이용가능한 파티션의 상이한 종류에 대해 가장 적절한 움직임 벡터를 테스트하고 선택하기 위해 적응될 수 있다.
MPEG-4 AVC 표준에 대해 본 원리의 이용에 관련된 또 다른 가능한 변형/확장에 관해, 인트라 프레임 예측은 각 파티션에서 가장 적절한 예측 모드를 선택할 가능성으로 파라메트릭 모델-기반의 블록 파티셔닝을 고려하기 위해 적응될 수 있다.
MPEG-4 AVC 표준에 대해 본 원리의 이용에 관련된 추가로 가능한 변형/확장에 관해, 디블록킹 인-루프 필터 모듈은 파라메트릭 모델-기반의 파티션을 갖는 블록 내의 움직임 영역의 더 복잡한 형태를 다루기 위해 적응될 수 있다.
MPEG-4 AVC 표준에 대해 본 원리의 이용에 관련된 또 다른 변형/확장에 관해, 엔트로피 코딩 및/또는 디코딩은 파라메트릭 모델-기반의 모드와 연관된 새로운 데이터를 코딩 및/또는 디코딩하기 위해 적응되고 확장될 수 있다. 더욱이, 움직임 예측은 움직임 영역의 더 복잡한 형태를 다루기 위해 적응될 수 있다. 효과적인 코딩 파라메트릭 모델-기반의 파티션 파라미터에 대한 예측자가 또한 생성되고 사용될 수 있다.
인코더 특정 블록:
- 인코더 제어:
인코더 제어 모듈은 파라메트릭 모델-기반의 블록 파티션을 기초로 한 새로운 모드를 고려하기 위해 확장될 수 있다. 이들 모드(기하학적 모드라 불림)는 MPEG-4 AVC 표준에서 기존의 모드 내에 삽입된다. 움직임 보상을 위한 인터 모드의 특정한 경우에, 16x16 및 8x8 파라메트릭 모델-기반의 파티셔닝된 블록이 있다. 이들 각 모드는 각각 매크로블록-크기 모드 및 서브-매크로블록-크기 모드 내에 삽입된다. 구조적 유사성에 의해, 이들 모드는 기하학적 16x16 모드에 대해 16x8 및/또는 8x16 이전, 사이, 또는 이후에, 그리고 기하학적 8x8 모드에 대해 8x4 및/또는 4x8 이전, 사이, 또는 이후에 논리적으로 삽입된다. 예시적인 구현에서, 16x8 및 8x16 뿐 아니라 낮은 비트율에 대해 8x4 및 4x8의 저비용의 이용을 허용하기 위해, 16x16 및 8x8 기하학적 모드는 MPEG-4 AVC 방향 동족체(homologue) 바로 뒤에 삽입된다. 범용 이용 통계에 따라, 표 1 및 표 2에 도시된 바와 같이, 16x16 및 8x8 기하학적 모드는 MEPG-4 AVC 방향 모드( 및 서브-모드) 바로 앞에 삽입될 수 있다.
매크로블록 모드 서브-매크로블록 모드:
16x16 블록 8x8 블록
16x8 블록 8x4 블록
8x16 블록 4x8 블록
16x16 기하학적 블록 8x8 기하학적 블록
8x8 서브-매크로블록 4x4 블록
...
매크로블록 모드 서브-매크로블록 모드:
16x16 블록 8x8 블록
16x16 기하학적 블록 8x8 기하학적 블록
16x8 블록 8x4 블록
8x16 블록 4x8 블록
8x8 서브-매크로블록 4x4 블록
...
- 움직임 추정:
움직임 추정 모듈은, 필요시 기하학적 구성에 적응된 블록 파티션을 다루도록 적응될 수 있다. 일례로서, 기하학적 모드에서, 움직임은, 고전적인 트리 기반의 파티션 모드 16x8, 8x16, 8x4 또는 4x8에 대해 동일한 방식으로 설명된다. 더욱이, 이들 모드는 본 파라메트릭 모델-기반의 파티션 모드의 몇몇 특정한 경우와 같이 기능할 수 있다. 이와 같이, 이들 모드는 사용 중인 파라메트릭 모델의 가능한 구성으로부터 배제된다. 파티션마다 그 필요성, 및 P 또는 B 블록이 코딩되는 지에 따라, 하나 또는 다수의 기준으로 모델링될 수 있다.
P-모드 예: 전체 P-모드 파라메트릭 모델-기반의 파티셔닝된 블록에서, 파티션 양쪽은 기준 프레임으로부터 선택된 매칭 패치(patch)에 의해 모델링된다. 각 패치는 선택된 기하학적 파티션에 맞춰지도록 적합한 형태를 가져야 한다. P 매크로블록 및 P 서브-매크로블록에서와 동일한 방식으로, 움직임 벡터는 파티션마다 송신된다. 이것의 일례에서, 움직임 벡터 뿐 아니라 f(x,y) 모델 파라미터는, 블록에 포함된 정보가 몇몇 왜곡 측정치(D) 및 몇몇 코딩 비용 측정치(R)에 관해 가장 잘 설명되도록 선택된다. 이 목적을 위해, 모든 파라미터는, D 및 R이 협력하여 최소화되도록 각 블록에 대해 협력하여 최적화된다:
Figure 112009006016297-pct00011
여기서 λ은 곱셈 인자이고, MV1 및 MV0은 파티션에서 움직임 벡터 양쪽을 나타내고, e 및 ρ는 1차 다항식의 특정 경우에 대해 파티션 파라미터를 나타내고, 각 Ωx는 각 종류의 정보에 대한 유효 값의 세트를 나타낸다.
본 원리의 하나 이상의 실시예와 함께 사용하기 위해 왜곡 측정치의 적응의 일례는 각 파티션에 대한 생성된 마스크의 이용이다(도 7에서 마스크 예를 참조). 그런 후에, 임의의 고전적인 블록-기반의 왜곡 측정치는 파티션을 고려하기 위해 변형될 수 있는데, 이는 그 결과가 다음이 되도록 하기 위해서이다:
Figure 112009006016297-pct00012
상기 수학식에서, MASKP1(x,y) 및 MASKP0(x,y) 각각은 f(x,y) 파티션 각각을 나타낸다. 이것의 빠른 구현은, 매우 작은{예를 들어, 주어진 임계치(예를 들어 0.5와 같은)보다 작은} 마스크 값에 대한 덧셈 연산의 수를 0으로 감소시킴으로써 가능하다. 그러한 간략화의 일례는 또한 0.5 이하의 모든 값이 0으로 반올림(rounded)되고, 0.5보다 큰 모든 값은 1로 반올림되는 간략화된 마스크를 생성하기 위해서일 수 있다. 그런 후에, 일실시예에서, 마스크가 1인 그러한 위치만이 왜곡을 계산하도록 합산된다. 그러한 경우에, 덧셈 연산만이 필요하고, 각 마스크에서 0의 값을 갖는 모든 위치는 무시될 수 있다.
일실시예에서, 파티션 마다 움직임 검색을 수행하는 것 이외에, 파티션 자체는 움직임 정보와 함께 결정되어야 한다. 따라서, 검색은 f(x,y) 파라미터 상에서도 수행된다. 도 16을 참조하면, 모델-기반의 파티션 파라미터를 갖는 기하학적 모드 추정 및 예측 검색(예를 들어, 움직임 추정을 위한 움직임 벡터 검색)을 위한 예시적인 방법은 일반적으로 참조 번호(1600)로 표시된다.
상기 방법(1600)은 제어를 루프 제한 블록(1610)에 귀속시키는 시작 블록(1605)을 포함한다. 루프 제한 블록(1610)은 가능한 에지의 총 개수에 대해 루프를 수행하고(에지의 양은 기하학적 정밀도에 종속된다), 변수(i)를 초기화하고, 제어를 기능 블록(1615)에 귀속시킨다. 기능 블록(1615)은 파라미터 세트(i)를 갖는 파티션을 생성하고, 제어를 기능 블록(1620)에 귀속시킨다. 기능 블록(1620)은 최상의 예측자가 주어진 파티션 세트(i)를 검색하고, 제어를 결정 블록(1625)에 귀속시킨다. 결정 블록(1625)은 최상의 파티션 및 최상의 예측이 결정되었는지를 결정한다. 만약 결정되었다면, 제어는 기능 블록(1630)에 귀속된다. 그렇지 않다면, 제어는 루프 제한 블록(1635)에 귀속된다.
기능 블록(1630)은 최상의 기하학적 파라미터 및 예측자 선택을 저장하고, 제어를 루프 제한 블록(1635)에 귀속시킨다.
루프 제한 블록(1635)은 가능한 에지의 총 개수에 대해 루프를 종료하고, 제어를 종료 블록(1640)에 귀속시킨다.
블록 파티션에 대한 몇몇 가능한 유형의 모델의 이용이 바람직한 경우에, 움직임 추정은 데이터에 적응된 최상의 모델을 찾기 위해 상이한 모델을 테스트하는 것을 수반할 수 있다. 디코더 측에서의 최상의 모델의 선택은 필요한 측 정보를 송출함으로써 다루어질 수 있다.
- 엔트로피 코딩:
통계 뿐 아니라 기하학적 파티션 정보를 자체적으로 포함할 수 있는 이웃하는 인코딩된-디코딩된 블록으로부터의 예측 모델에 따라 기하학적 파라미터를 코딩하기 위해 엔트로피 코딩이 확장될 수 있다. 파라메트릭 모델로 파티셔닝된 블록에 대한 움직임 벡터 예측자는 각 파티셔닝된 블록의 기하학적 구성 뿐 아니라 이웃하는 이미 인코딩된 블록의 기하학적 구성에 적응된다. 각 기하학적 파티션 움직임 벡터는 공간 및/또는 시간 이웃 블록으로부터 움직임 벡터의 적응적으로 선택된 세트로부터 예측된다. 이것의 실시예는 현재 블록 파티션의 기하학적 구성에 따라, 1 또는 3 공간 이웃의 이용이다. 움직임 벡터의 수가 3일 때, 이들은 중간 필터링(median filtered)된다. 그런 후에, 예측된 움직임 벡터는 가변 길이 코딩(VLC) 또는 수치 코딩(AC) 기반의 코딩을 이용하여 MPEG-4 AVC 표준에 따라 코딩된다.
모델-기반의 파티션 파라미터에 대한 2개의 예시적인 코딩 접근법이 이제 설명될 것이다.
모델-기반의 파티션 파라미터에 대한 제 1 예시적인 코딩 접근법에서, 그러한 파라미터는, 어떠한 이웃 모델-기반의(또는 기하학적) 블록도 존재하지 않을 때 예측 없이 코딩된다. 그런 후에, 1차 다항식 경우에 대해, 가변 길이 코딩의 일실시예에서, 각도는 균일한 코드로 코딩될 수 있고, 그 반경은 골롬(Golomb) 코드를 이용할 수 있다.
모델-기반의 파티션 파라미터에 대한 제 2 예시적인 코딩 접근법에서, 그러한 파라미터는 적어도 하나의 이웃 모델-기반의(또는 기하학적) 블록이 존재할 때 예측을 통해 코딩된다. 파라미터 예측의 일실시예는 이전의 이웃 블록으로부터 파라메트릭 모델을 현재 블록으로 투사함으로써 수행된다. 더욱이, 1차 다항식 경우에서, 이전 블록의 라인을 현재 블록으로 계속 이어지게 함으로써 파라미터를 예측하는 것이다. 2개의 블록이 이용가능할 때, 예측된 라인은 매크로블록 경계와의 이웃 라인의 양쪽 교차점을 연결하는 라인이다.
도 13을 참조하면, 좌측 블록의 파라미터로부터 우측 블록에 대한 파티션 파라미터 예측의 일례는 일반적으로 참조 번호(1300)로 표시된다.
도 14를 참조하면, 상부 블록의 파라미터로부터 하부 블록에 대한 파티션 파라미터 예측의 일례는 일반적으로 참조 번호(1400)로 표시된다.
도 15를 참조하면, 상부 및 좌측 블록의 파라미터로부터 우측 블록에 대한 파티션 파라미터 예측의 일례는 일반적으로 참조 번호(1500)로 표시된다.
그런 후에, 예측된 파라미터는 골롬 코드를 이용하여 차동적으로 코딩된다. 각도의 특정 경우에서, 주기성은 후치(posterior) VLC 또는 AC 코딩에 대한 최상의 가능한 통계를 갖기 위해 적절히 이용될 수 있다. VLC의 일례에서, 골롬 코드를 사용할 수 있다.
기하학적 블록 모드의 코딩 절차 구조에 관련하여, 도 17, 18 및 19는 일반적인 파라메트릭 모델 기반의 블록에 대한 코딩 흐름도의 특정 실시예를 도시한다. 더욱이, 파라메트릭 모델-기반의 블록을 코딩하기 위해, 움직임 데이터 이외에, 블록 코딩 절차의 몇몇 지점에서, 파티션 파라미터가 인코딩될 것이다.
도 17을 참조하면, 기하학적으로 파티셔닝된 예측 블록을 코딩하는 예시적인 방법은 일반적으로 참조 번호(1700)로 표시된다.
방법(1700)은 제어를 결정 블록(1710)에 귀속시키는 시작 블록(1705)을 포함한다. 결정 블록(1710)은 현재 모드 유형이 기하학적 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(1715)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(1730)에 귀속된다.
기능 블록(1715)은 기하학적 모드 유형을 코딩하고, 제어를 기능 블록(1720)에 귀속시킨다. 기능 블록(1720)은 기하학적 파티션 파라미터를 코딩하고, 제어를 기능 블록(1725)에 귀속시킨다. 기능 블록(1725)은 파티션 예측을 코딩하고, 제어를 종료 블록(1730)에 귀속시킨다.
도 18a를 참조하면, 기하학적으로 파티셔닝된 인터 예측 블록을 코딩하는 예시적인 방법은 일반적으로 참조 번호(1800)로 표시된다.
방법(1800)은 제어를 결정 블록(1804)에 귀속시키는 시작 블록(1802)을 포함한다. 결정 블록(1804)은 현재 모드 유형이 기하학적 인터 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(1806)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(1812)에 귀속된다.
기능 블록(1806)은 기하학적 인터모드 유형을 코딩하고, 제어를 기능 블록(1808)에 귀속시킨다. 기능 블록(1808)은 기하학적 파티션 파라미터(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 기하학적 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)를 코딩하고, 제어를 기능 블록(1810)에 귀속시킨다. 기능 블록(1810)은 파티션 인터 예측(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 디코딩된 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)을 코딩하고, 제어를 종료 블록(1812)에 귀속시킨다.
도 18b를 참조하면, 기하학적으로 파티셔닝된 인트라 예측 블록을 코딩하는 예시적인 방법은 일반적으로 참조 번호(1850)로 표시된다.
방법(1850)은 제어를 결정 블록(1854)에 귀속시키는 시작 블록(1852)을 포함한다. 결정 블록(1854)은 현재 모드 유형이 기하학적 인터 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(1856)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(1862)에 귀속된다.
기능 블록(1856)은 기하학적 인터 모드 유형을 코딩하고, 제어를 기능 블록(1858)에 귀속시킨다. 기능 블록(1858)은 기하학적 파티션 파라미터(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 기하학적 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)를 코딩하고, 제어를 기능 블록(1860)에 귀속시킨다. 기능 블록(1860)은 파티션 인터 예측(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 디코딩된 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)을 코딩하고, 제어를 종료 블록(1862)에 귀속시킨다.
도 19를 참조하면, 다수의 유형의 모델로 코딩하는 예시적인 방법은 일반적으로 참조 번호(1900)로 표시된다.
방법(1900)은 제어를 결정 블록(1910)에 귀속시키는 시작 블록(1905)을 포함한다. 결정 블록(1910)은 현재 모드 유형이 기하학적 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(1915)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(1950)에 귀속된다.
기능 블록(1915)은 기하학적 모드 유형을 코딩하고, 제어를 준비 블록(1920)에 귀속시킨다. 준비 블록(1920)은 현재 파티션에 대한 파라메트릭 모델 A 또는 B를 선택한다. 파라메트릭 모델 A가 선택되면, 제어는 기능 블록(1935)에 귀속된다. 이와 달리, 파라메트릭 모델 B가 선택되면, 제어는 기능 블록(1925)에 귀속된다.
기능 블록(1935)은 파라메트릭 모델 A에 대응하도록 코드를 지정하고, 제어를 기능 블록(1940)에 귀속시킨다. 기능 블록(1940)은 파라메트릭 모델 A에 대한 기하학적 파티션 파라미터를 코딩하고, 제어를 기능 블록(1945)에 귀속시킨다.
기능 블록(1925)은 파라메트릭 모델 B에 대응하도록 코드를 지정하고, 제어를 기능 블록(1930)에 귀속시킨다. 기능 블록(1930)은 파라메트릭 모델 B에 대한 기하학적 파티션 파라미터를 코딩하고, 제어를 기능 블록(1945)에 귀속시킨다.
기능 블록(1945)은 파티션 예측을 코딩하고, 제어를 종료 블록(1950)에 귀속시킨다.
인코더/디코더 공유된 블록:
- 움직임 보상:
움직임 보상 모듈은 파라메트릭 모델-기반의 파티셔닝된 블록에서 비-정사각형/비-직사각형 파티션을 보상하기 위해 확장될 수 있다. 움직임 보상 절차에 대한 블록 재구성은 본 명세서에 설명된 움직임 추정 절차로부터 직접 따른다. 더욱이, 보상은 움직임 벡터와 연관된 2개의 파티션 형태의 픽스맵(pixmap)과 함께 파티션의 최상의 세트를 예측자로서 사용하는 것에 대응한다. 위에서 정의된 바와 같이, "부분 표면"은 주어진 규칙에 따라, 움직임 벡터와 연관된 픽스맵의 조합으로서 계산된다.
-인트라 예측:
인트라 예측은 블록의 파라메트릭 모델 기반의 파티션에 따라 인트라 데이터를 예측하기 위해 갱신된다. 파라메트릭 모델-기반의 파티션을 갖는 인트라 예측은, 생성된 파티션의 각 하나를 채우기 위해, 그 대신 인트라 예측이 사용된다는 기본적인 차이점을 가지고, 파라메트릭 모델-기반의 파티션을 갖는 움직임 보상 및 움직임 추정과 동일한 방식으로 한정된다.
- 인-루프 디블록킹 필터:
인-루프 디블록킹 필터링은 예측의 블록 구조에 의해, 그리고 잔여 코딩 이산 코사인 변환(DCT)에 의해 유도된 블록킹 결점을 감소시킨다. 인-루프 디블록킹 필터링은 인코딩된 비디오 데이터에 따라, 그리고 블록 경계를 가로지르는 픽셀 사이의 국부적인 세기 차이에 따라 필터 세기를 적응시킨다. 본 원리의 실시예는 비디오 데이터 표현의 새로운 형태를 도입한다. 파라메트릭 모델-기반의 파티션을 포함하는 블록은 4x4 블록마다 일정한 움직임 벡터 값, 또는 일정한 기준 프레임 값을 가질 필요가 없다. 더욱이, 파라메트릭 모델-기반의 파티션을 통해, 그러한 임의의 파티셔닝된 블록에서, 주어진 움직임 벡터에 의해 영향이 미치는 영역, 블록 경계는 파라메트릭 모델에 의해 실시된 형태에 의해 한정된다. 따라서, 4x4 블록은, 주어진 위치에서 사용된 움직임 벡터 및 사용된 기준 프레임에 관해, 이것이 갖는 모든 암시를 통해, 하나의 파티션 내로 절반이 되도록, 그리고 다른 파티션 내로 다른 절반이 되도록 나타날 수 있다. 인-루프 디블록킹 필터 모듈은 이에 따라 필터 세기 결정 프로세스에 적응함으로써 확장된다. 이러한 프로세스는 내부 블록 파티션의 특정 형태를 고려하여 필터 세기를 결정할 수 있어야 한다. 필터에 대한 블록 경계의 부분에 따라, 다른 MPEG-4 AVC 모드에 의해 이루어진 바와 같이, 4x4 블록에 따르지 않고 파티션 형태에 따라 적절한 움직임 벡터 및 기준 프레임을 취할 필요가 있다. 도 12를 참조하면, 파라메트릭 모델 기반의 파티셔닝된 매크로블록은 일반적으로 참조 번호(1200)로 표시된다. 파라메트릭 모델 기반의 파티셔닝된 매크로블록은, 디블록킹 필터링을 받는 각 4x4 블록 측마다 한 번 계산되는 디블록킹 필터링 세기 결정 필터링 세기에 대해 정보가 어떻게 선택되는지의 표시를 갖는 디블록킹 영역의 몇몇 예를 포함한다.
필터링 세기 계산에 대해 고려된 파티션은 필터링을 위해 대부분 블록 측과 중첩하는 파티션을 선택함으로써 선택된다. 그러나, 코너 블록에서의 계산을 간략화하기 위해, 제 2 대안적인 방법은, 필터링되는 블록 에지 양쪽 모두의 최대 부분을 포함하는 파티션으로부터 움직임 및 기준 프레임 정보를 갖도록 전체 변환 블록을 고려하는 것이다.
파라메트릭 모델-기반의 블록 파티셔닝의 이용과 디블록킹 인-루프 필터링을 조합하는 제 3 대안적인 방법은, 블록 경계가 모델-기반의 블록 파티셔닝된 모드(예를 들어 기하학적 모드)에 의해 영향을 미칠 때마다 블록 경계를 통해 어느 정도의 필터링을 항상 허용하는 것이다. 기하학적 모드는 경계에 영향을 미치고/이웃하는 임의의 블록일 수 있다. 동시에, 디블록킹 필터링은 그러한 변환 블록에 적용될 수 있거나 적용되지 않을 수 있으며, 이러한 변환 블록은 기하학적 모드에서, 매크로블록의 경계 상에 위치되지 않는다.
디블록킹 인-루프 필터링을 조합하는 제 4 대안은, 처음 2가지 방법 중 임의의 방법을 고려하지만, 변환 블록에서 어느 정도의 필터링의 이용을 유발하는 조건 세트에 다음을 추가한다: 블록 경계가 모델-기반의 파티션 곡선과 매크로블록 경계 사이의 접합을 포함하는 변환 블록에 의해 영향을 받는 경우, 어느 정도의 디블록킹을 이용한다.
디코더 특정 블록:
- 디코더 제어 모듈:
디코더 제어 모듈은 파라메트릭 모델-기반의 블록 파티션에 기초한 새로운 모드를 고려하기 위해 확장될 수 있다. 이들 모드(기하학적 모드)는 인코더 단부에서 수행된 것과 동일한 방식으로 MPEG-4 AVC 표준에서 기존의 모드 내에 삽입된다. 디코더 제어 모듈은 인코더 측에서 인코딩된 정보를 정확히 복구하기 위해 그 구조와 인코더의 디코딩 절차 시퀀스를 완벽히 매칭시키도록 변형될 수 있다.
-엔트로피 디코딩:
엔트로피 디코딩은 모델-기반의 블록 파티셔닝 이용을 위해 확장될 수 있다. 전술한 엔트로피 코딩 절차에 따라, 엔트로피 디코딩은 전술한 인코딩 절차에 매칭하도록 확장될 필요가 있다. 도 20, 21, 및 22는, 일단 어떤 블록 모드가 사용되는지를 나타내는 코드워드가 이미 디코딩되었고 디코더 제어를 위해 이용가능하면, 파라메트릭 모델-기반의 코딩 모드에 관련된 정보를 디코딩하기 위해 이것의 가능한 특정한 실시예를 도시한다.
도 20을 참조하면, 기하학적으로 파티셔닝된 예측 블록을 디코딩하는 예시적인 방법은 일반적으로 참조 번호(2000)로 표시된다.
방법(2000)은 제어를 기능 블록(2010)에 귀속시키는 시작 블록(2005)을 포함한다. 기능 블록(2010)은 현재 모드 유형이 기하학적 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(2015)에 귀속된다. 그렇지 않으면, 제어는 종료 블록(2025)에 귀속된다.
기능 블록(2015)은 기하학적 파티션 파라미터를 디코딩하고, 제어를 기능 블록(2020)에 귀속시킨다. 기능 블록(2020)은 파티션 예측을 디코딩하고, 제어를 종료 블록(2025)에 귀속시킨다.
도 21a를 참조하면, 기하학적으로 파티셔닝된 인터 예측 블록을 디코딩하는 예시적인 방법은 일반적으로 참조 번호(2100)로 표시된다.
방법(2100)은 제어를 기능 블록(2114)에 귀속시키는 시작 블록(2112)을 포함한다. 기능 블록(2114)은 현재 모드 유형이 기하학적 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(2116)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(2120)에 귀속된다.
기능 블록(2116)은 기하학적 파티션 파라미터(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 기하학적 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)를 디코딩하고, 제어를 기능 블록(2118)에 귀속시킨다. 기능 블록(2118)은 파티션 인터 예측(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 디코딩된 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)을 디코딩하고, 제어를 종료 블록(2120)에 귀속시킨다.
도 21b를 참조하면, 기하학적으로 파티셔닝된 인트라 예측 블록을 디코딩하는 예시적인 방법은 일반적으로 참조 번호(2150)로 표시된다.
방법(2150)은 제어를 기능 블록(2164)에 귀속시키는 시작 블록(2162)을 포함한다. 기능 블록(2164)은 현재 모드 유형이 기하학적 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(2166)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(2170)에 귀속된다.
기능 블록(2166)은 기하학적 파티션 파라미터(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 기하학적 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)를 디코딩하고, 제어를 기능 블록(2168)에 귀속시킨다. 기능 블록(2168)은 파티션 인트라 예측(예를 들어, 예측을 위해 이용가능한 경우 이웃하는 디코딩된 데이터를 이용하고, 이에 따라 코딩 표에 적응시키는)을 디코딩하고, 제어를 종료 블록(2170)에 귀속시킨다.
도 22를 참조하면, 다수의 유형의 모델로 디코딩하는 예시적인 방법은 일반적으로 참조 번호(2200)로 표시된다.
방법(2200)은 제어를 결정 블록(2210)에 귀속시키는 시작 블록(2205)을 포함한다. 결정 블록(2210)은 현재 모드 유형이 기하학적 모드 유형인지를 결정한다. 만약 그렇다면, 제어는 기능 블록(2215)에 귀속된다. 그렇지 않다면, 제어는 종료 블록(2240)에 귀속된다.
기능 블록(2215)은 파라메트릭 모델 선택을 디코딩하고, 제어를 준비 블록(2220)에 귀속시킨다. 준비 블록(2220)은 현재 파티션에 대한 파라메트릭 모델 A 또는 B를 선택한다. 파라메트릭 모델 A가 선택되면, 제어는 기능 블록(2225)에 귀속된다. 그렇지 않으면, 파라메트릭 모델 B가 선택되면, 제어는 기능 블록(2230)에 귀속된다.
기능 블록(225)은 파라메트릭 모델 A에 대한 기하학적 파티션을 디코딩하고, 제어를 기능 블록(2235)에 귀속시킨다.
기능 블록(2230)은 파라메트릭 모델 B에 대한 기하학적 파티션 파라미터를 디코딩하고, 제어를 기능 블록(2235)에 귀속시킨다.
기능 블록(2235)은 파티션 예측을 디코딩하고, 제어를 종료 블록(2240)에 귀속시킨다.
도 23을 참조하면, 슬라이스 헤더 신택스 코딩을 위한 예시적인 방법은 일반적으로 참조 번호(2300)로 표시된다.
방법(2300)은 제어를 기능 블록(2310)에 귀속시키는 시작 블록을 포함한다. 기능 블록(2310)은 슬라이스 관련 정보 Ⅰ을 코딩하고, 제어를 기능 블록(2315)에 귀속시킨다. 기능 블록(2315)은 슬라이스 품질(QP) 코딩 정보를 코딩하고, 제어를 기능 블록(2320)에 귀속시킨다. 기능 블록(2320)은 기하학적 파라미터 정밀도 정보를 코딩하고, 제어를 기능 블록(2325)에 귀속시킨다. 기능 블록(2325)은 슬라이스 관련 정보 Ⅱ를 코딩하고, 제어를 종료 블록(230)에 귀속시킨다. "슬라이스 관련 정보 Ⅰ" 및 "슬라이스 관련 정보"라는 구문은, 기하학적 정밀도 파라미터가 슬라이스 헤더의 기존의 신택스 내에 삽입되도록 슬라이스 헤더 관련 정보를 나타낸다.
도 24를 참조하면, 기하학적 파라미터 정밀도를 유도하는 예시적인 방법은 일반적으로 참조 번호(2400)로 표시된다.
방법(2400)은 제어를 기능 블록(2410)에 귀속시키는 시작 블록(2405)을 포함한다. 기능 블록(2410)은 본(즉, 현재) 매크로블록에 대한 QP 파라미터를 취하고, 제어를 기능 블록(2415)에 귀속시킨다. 기능 블록(2415)은 기하학적 파라미터 정밀도를 계산하고, 제어를 종료 블록(2420)에 귀속시킨다.
도 25를 참조하면, 기하학적 블록을 재구성하는 예시적인 방법은 일반적으로 참조 번호(2500)로 표시된다.
방법(2500)은 제어를 기능 블록(2510)에 귀속시키는 시작 블록(2505)을 포함한다. 기능 블록(2510)은 파라미터로부터 기하학적 파티션을 결정하고, 제어를 기능 블록(2515)에 귀속시킨다. 기능 블록(2515)은 파티션 예측을 재조직화(recomposes)하고, 제어를 기능 블록(2520)에 귀속시킨다. 기능 블록(2520)은 안티-얼라이싱(anti-aliasing) 절차를 적용하고, 제어를 기능 블록(2525)에 귀속시킨다. 기능 블록(2525)은 재구성된 잔여물을 추가하고, 제어를 종료 블록(2530)에 귀속시킨다.
도 26을 참조하면, 현재 블록에 대한 최상의 모드를 검색하는 예시적인 방법은 일반적으로 참조 번호(2600)로 표시된다.
방법(2600)은 제어를 기능 블록(2610), 기능 블록(2615), 기능 블록(2620), 기능 블록(2625), 및 기능 블록(2630)에 귀속시키는 시작 블록(2605)을 포함한다. 기능 블록(2610)은 16x16 블록 모드를 테스트하고, 제어를 기능 블록(2635)에 귀속시킨다. 기능 블록(2615)은 16x8 블록 모드를 테스트하고, 제어를 기능 블록(2635)에 귀속시킨다. 기능 블록(2620)은 8x16 블록 모드를 테스트하고, 제어를 기능 블록(2635)에 귀속시킨다. 기능 블록(2625)은 16x16 기하학적 블록 모드를 테스트하고, 제어를 기능 블록(2635)에 귀속시킨다. 기능 블록(2630)은 8x8 블록 모드를 테스트하고, 제어를 기능 블록(2635)에 귀속시킨다.
기능 블록(2635)은 현재 블록에 대한 최상의 모드를 선택하고, 제어를 종료 블록(2640)에 귀속시킨다.
도 27을 참조하면, 슬라이스 헤더 신택스 디코딩을 위한 예시적인 방법은 일반적으로 참조 번호(2700)로 표시된다.
방법(2700)은 제어를 기능 블록(2710)에 귀속시키는 시작 블록(2705)을 포함한다. 기능 블록(2710)은 슬라이스 관련 정보 Ⅰ를 디코딩하고, 제어를 기능 블록(2715)에 귀속시킨다. 기능 블록(2715)은 슬라이스 품질(QP) 코딩 정보를 디코딩하고, 제어를 기능 블록(2720)에 귀속시킨다. 기능 블록(2720)은 기하학적 파라미터 정밀도 정보를 디코딩하고, 제어를 기능 블록(2725)에 귀속시킨다. 기능 블록(2725)은 슬라이스 관련 정보 Ⅱ를 디코딩하고, 제어를 종료 블록(2730)에 귀속시킨다.
이제 몇몇이 위에서 언급된 본 발명의 많은 부수적인 장점/특징 중 몇몇에 대한 설명이 주어질 것이다. 예를 들어, 하나의 장점/특징은 적어도 하나의 파라메트릭 모델에 응답하여 화상의 적어도 부분을 적응적으로 파티셔닝함으로써 화상에 대응하는 이미지 데이터를 인코딩하기 위한 인코더를 포함하는 장치이다. 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선의 암시적 및 명시적 공식 중 적어도 하나를 수반한다.
다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나는 기하학적 신호 모델로부터 유도된다.
또 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나는 하나 이상의 이미지 윤곽 및 하나 이상의 경계 중 적어도 하나를 나타낸다.
또 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 다항식은 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나로서 사용된다.
더욱이, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 1차 다항식 모델은 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나로서 사용된다.
더욱이, 다른 장점/특징은 인코더를 갖는 장치인데, 여기서 1차 다항식 모델은 전술한 바와 같이 사용되고, 1차 다항식 모델은 각도 파라미터 및 거리 파라미터를 포함한다.
또한, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 주어진 이미지 부분에 대한 적어도 하나의 파라메트릭 모델은 하나보다 많은 파라메트릭 모델이 이용가능한 경우 모델 세트로부터 적응적으로 선택되고, 그 선택은 명시적으로 또는 암시적으로 코딩된다.
추가적으로, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 인코더는 적어도 하나의 고 레벨 신택스 요소를 이용하여 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도의 명시적 또는 암시적 코딩을 수행한다.
더욱이, 다른 장점/특징은 전술한 적어도 하나의 고 레벨 신택스 요소를 이용하는 인코더를 갖는 장치인데, 여기서 적어도 하나의 고 레벨 신택스 요소는 슬라이스 헤더 레벨, 보충 개선 정보(SEI) 레벨, 화상 파라미터 세트 레벨, 시퀀스 파라미터 세트 레벨, 및 네트워크 추상(abstraction) 층 유닛 헤더 레벨 중 적어도 하나에 위치된다.
더욱이, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도는 압축 효율 및 인코더 복잡성 중 적어도 하나를 제어하기 위해 적응된다.
또한, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도는 압축 품질 파라미터에 따라 적응된다.
추가적으로, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 화상의 적어도 하나의 파티션과 연관된 예측자 데이터는 공간 이웃 블록 및 시간 이웃 블록 중 적어도 하나로부터 예측된다.
더욱이, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 대한 파티션 모델 파라미터는 공간 이웃 블록 및 시간 이웃 블록 중 적어도 하나로부터 예측된다.
더욱이, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 인코더는, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 따라, 하나보다 많은 파티션에 부분적으로 놓이는 픽셀에 대한 예측 값을 계산하는데, 안티-얼라이싱 절차와, 픽셀의 대응하는 위치에 대한 예측 값의 부분의 조합, 및 픽셀의 대응하는 위치에 대한 총 예측 값과, 이웃과, 상이한 파티션의 예측자 중 적어도 하나를 이용하여, 하나보다 많은 파티션으로부터 계산하며, 여기서 픽셀이 부분적으로 놓이는 것으로 간주된다.
또한, 다른 장점/특징은 전술한 인코더를 갖는 장치인데, 여기서 인코더는 기존의 비디오 코딩 표준 또는 비디오 코딩 권고의 기존의 하이브리드 예측 인코더의 확장된 버전이다.
추가적으로, 다른 장점/특징은 전술한 기존의 비디오 코딩 표준 또는 비디오 코딩 권고의 기존의 하이브리드 예측 인코더의 확장된 버전인 인코더를 갖는 장치인데, 여기서 인코더는 각각 매크로블록 및 서브-매크로블록 중 적어도 하나에 대한 코딩 모드로서 화상의 매크로블록 및 서브-매크로블록 중 적어도 하나에 파라메트릭 모델 기반의 파티션을 적용한다.
더욱이, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 파라메트릭 모델-기반의 코딩 모드는 기존의 비디오 코딩 표준 또는 비디오 코딩 권고의 기존의 매크로블록 및 서브-매크로블록 코딩 모드 내에 삽입된다.
더욱이, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 인코더는 파티션 예측 데이터와 함께 파라메트릭 모델-기반의 파티션을 생성하기 위해 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 모델 파라미터를 인코딩한다.
또한, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 인코더는 왜곡 측정치 및 코딩 비용 측정치 중 적어도 하나를 협력하여 최소화하기 위해 적어도 하나의 파라메트릭 모델, 적어도 하나의 곡선, 및 파티션 예측 중 적어도 하나의 모델 파라미터를 선택한다.
추가적으로, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 적어도 2개의 파라메트릭 모델-기반의 파티션과 겹치는 적어도 하나의 화상의 픽셀은 적어도 2개의 파라메트릭 모델-기반의 파티션의 예측으로부터 가중된 선형 평균이다.
더욱이, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 파티션 예측은 인터 및 인트라 유형 중 적어도 하나이다.
더욱이, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 인코더는 파티션 모델 파라미터 코딩을 위해 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 대한 파라미터 예측을 선택적으로 사용한다.
또한, 다른 장점/특징은 전술한 파라미터 예측을 선택적으로 사용하는 인코더를 갖는 장치인데, 여기서 화상들의 특정한 화상의 현재 블록에 대한 예측은 이웃한 블록으로부터 현재 블록으로의 곡선 외삽법에 기초한다.
추가적으로, 다른 장점/특징은 전술한 파라미터 예측을 선택적으로 사용하는 인코더를 갖는 장치인데, 여기서 인코더는 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터가 예측되는 지에 따라 이미지 데이터를 인코딩하기 위해 상이한 콘텍스트(context) 또는 코딩 표를 사용한다.
더욱이, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 인코더는 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 개선된 비디오 코딩(AVC) 표준/국제 원격 통신 연합, 원격 통신 섹터(ITU-T) H.264 권고를 위한 인코더의 확장된 버전이다.
더욱이, 다른 장점/특징은 전술한 파라메트릭 모델 기반의 파티션을 적용하는 인코더를 갖는 장치인데, 여기서 인코더는, 파라메트릭 모델-기반의 파티션 모드가 사용될 때 매크로블록 및 서브-매크로블록 중 적어도 하나의 비-트리-기반의 파티셔닝으로 인해 적어도 하나의 파라메트릭 모델-기반의 파티션에 의해 영향을 받는 변환-크기 블록을 다루도록 적응된 디블록킹 필터링 및 기준 프레임 필터링 중 적어도 하나를 적용한다.
본 원리의 이들 및 다른 특징 및 장점은 본 명세서에 가르침에 기초하여 당업자에 의해 쉽게 확인될 수 있다. 본 원리의 가르침이 하드웨어, 소프트웨어, 펌웨어, 특수 목적의 프로세서, 또는 이들의 조합의 다양한 형태로 구현될 수 있음이 이해될 것이다.
더 바람직하게, 본 원리의 가르침은 하드웨어와 소프트웨어의 조합으로서 구현된다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에서 실체적으로 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적합한 아키텍처를 포함하는 기계로 업로딩되고, 이러한 기계에 의해 실행될 수 있다. 바람직하게, 그 기계는 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 엑세스 메모리("RAM"), 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령 코드를 포함할 수 있다. 본 명세서에 기재된 다양한 프로세스 및 기능은 CPU에 의해 실행될 수 있는, 마이크로명령 코드의 부분 또는 애플리케이션 프로그램의 부분, 또는 이들의 임의의 조합 중 어느 하나일 수 있다. 더욱이, 추가 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변 유닛은 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 구성 시스템 성분 및 방법의 몇몇이 바람직하게 소프트웨어로 구현될 수 있기 때문에, 시스템 성분 또는 프로세스 기능 블록 사이의 실제 연결은 본 원리가 프로그래밍되는 방식에 따라 달라질 수 있음이 추가로 이해될 것이다. 본 명세서에 가르침이 주어지면, 당업자는 본 원리의 이들 및 유사한 구현 또는 구성을 구상할 수 있을 것이다.
예시적인 실시예가 첨부 도면을 참조하여 본 명세서에 설명되었지만, 본 원리가 이러한 정확한 실시예에 한정되지 않고, 다양한 변화 및 변형이 본 원리의 범주 또는 사상에서 벗어나지 않고도 당업자에 의해 달성될 수 있음이 이해될 것이다. 모든 그러한 변화 및 변형은 첨부된 청구범위에서 설명된 본 원리의 범주 내에 포함되도록 의도된다.
상술한 바와 같이, 본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 비디오 인코딩 및 디코딩을 위한 적응성 기하학적 파티셔닝 방법 및 장치 등에 이용된다.

Claims (53)

  1. 디코딩 장치로서,
    적어도 하나의 파라메트릭 모델(parametric model)을 이용하여 파티셔닝된(partitioned) 화상의 적어도 부분을 재구성함으로써 화상에 대응하는 이미지 데이터를 디코딩하는 디코더(1100)를 포함하고,
    상기 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선에 관한 암시적 공식(implicit formulation)을 수반하고,
    적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나는 기하학적 신호 모델로부터 유도되고,
    주어진 이미지 부분에 대한 적어도 하나의 파라메트릭 모델은, 하나보다 많은 파라메트릭 모델이 이용가능할 때, 모델의 세트에 따라 적응적으로 디코딩되는(1900), 디코딩 장치.
  2. 삭제
  3. 제 1항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나는 하나 이상의 이미지 윤곽(contour) 및 하나 이상의 움직임 경계 중 적어도 하나를 나타내는, 디코딩 장치.
  4. 제 1항에 있어서, 적어도 하나의 다항식은 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나로서 사용되는, 디코딩 장치.
  5. 제 1항에 있어서, 1차 다항식 모델은 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나로서 사용되는, 디코딩 장치.
  6. 제 5항에 있어서, 1차 다항식 모델은 각도 파라미터 및 거리 파라미터를 포함하는, 디코딩 장치.
  7. 삭제
  8. 제 1항에 있어서, 상기 디코더(1100)는 적어도 하나의 고 레벨 신택스(syntax) 요소를 이용하여 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도에 대한 명시적 또는 암시적 디코딩을 수행하는, 디코딩 장치.
  9. 제 8항에 있어서, 적어도 하나의 고 레벨 신택스 요소는 슬라이스 헤더 레벨, 보충 개선 정보(SEI: Supplemental Enhancement Information) 레벨, 화상 파라미터 세트 레벨, 시퀀스 파라미터 세트 레벨 및 네트워크 추상(abstraction) 층 유닛 헤더 레벨 중 적어도 하나로부터 디코딩되는, 디코딩 장치.
  10. 제 1항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도는 압축 해제 효율 및 디코더 복잡성 중 적어도 하나를 제어하기 위해 적응되는, 디코딩 장치.
  11. 제 10항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도는 압축 해제 품질 파라미터에 따라 적응되는, 디코딩 장치.
  12. 제 1항에 있어서, 적어도 하나의 화상의 적어도 하나의 파티션과 연관된 예측자(predictor) 데이터는 공간 이웃 블록 및 시간 이웃 블록 중 적어도 하나로부터 예측되는, 디코딩 장치.
  13. 제 1항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 대한 파티션 모델 파라미터(partition model parameter)는 공간 이웃 블록 및 시간 이웃 블록 중 적어도 하나로부터 예측되는, 디코딩 장치.
  14. 제 1항에 있어서, 상기 디코더(1100)는, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 따라, 하나보다 많은 파티션에 부분적으로 놓이는 픽셀에 대한 예측 값을 계산하는데, 안티-얼라이싱(anti-aliasing) 절차, 픽셀의 대응하는 위치에 대한 예측 값의 부분의 조합, 픽셀의 대응하는 위치에 대한 총 예측 값, 이웃, 상이한 파티션의 예측자를 이용하여, 하나보다 많은 파티션으로부터 계산하며, 여기서, 픽셀이 부분적으로 놓이는 것으로 간주되는, 디코딩 장치.
  15. 삭제
  16. 제 1항에 있어서, 상기 디코더(1100)는 각각 매크로블록 및 서브-매크로블록 중 적어도 하나에 대한 코딩 모드로서 화상의 매크로블록 및 서브-매크로블록 중 적어도 하나에 파라메트릭 모델 기반의 파티션을 적용하는, 디코딩 장치.
  17. 삭제
  18. 제 16항에 있어서, 상기 디코더(1100)는 파티션 예측 데이터와 함께 파라메트릭 모델-기반의 파티션을 결정하기 위해 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 모델 파라미터(model parameter)를 디코딩하는, 디코딩 장치.
  19. 제 16항에 있어서, 적어도 2개의 파라메트릭 모델-기반의 파티션과 겹치는 화상의 적어도 하나의 픽셀은 적어도 2개의 파라메트릭 모델-기반의 파티션의 예측과, 적어도 2개의 파라메트릭 모델-기반의 파티션 중 하나의 예측 중 적어도 하나로부터의 이웃한 픽셀 중 적어도 하나로부터 가중된 선형 평균인, 디코딩 장치.
  20. 제 16항에 있어서, 파티션 예측은 인터 및 인트라 유형 중 적어도 하나인, 디코딩 장치.
  21. 제 16항에 있어서, 상기 디코더(1100)는 파티션 모델 파라미터 코딩을 위해 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 대한 파라미터 예측을 선택적으로 사용하는, 디코딩 장치.
  22. 제 21항에 있어서, 화상들 중 특정한 화상의 현재 블록에 대한 예측은 이웃 블록으로부터 현재 블록으로의 곡선 외삽법에 기초하는, 디코딩 장치.
  23. 제 21항에 있어서, 상기 디코더(1100)는, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터가 예측되는지에 따라 이미지 데이터를 디코딩하기 위해 상이한 콘텍스트(context) 또는 코딩 표를 사용하는, 디코딩 장치.
  24. 제 16항에 있어서, 상기 디코더(1100)는 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 개선된 비디오 코딩(AVC) 표준/국제 원격 통신 연합, 원격 통신 섹터(ITU-T) H.264 권고를 위한 디코더의 확장된 버전인, 디코딩 장치.
  25. 제 16항에 있어서, 상기 디코더(1100)는, 파라메트릭 모델-기반의 파티션 모드가 사용될 때 매크로블록 및 서브-매크로블록 중 적어도 하나의 비-트리-기반의 파티셔닝으로 인해 적어도 하나의 파라미터 모드-기반의 파티션에 의해 영향을 받은 변환-크기 블록을 다루도록 적응된 디블록킹 필터링 및 기준 프레임 필터링 중 적어도 하나를 적용하고, 상기 디블록킹 필터링 및 기준 프레임 필터링은, 적어도 하나의 파라메트릭 모델-기반의 파티션 중 사용되는 어느 하나와 적어도 하나의 파라메트릭 모델-기반의 파티션의 선택된 형태 중 적어도 하나에 의존하는, 디코딩 장치.
  26. 제 1항에 있어서, 상기 디코더(1100)는, 선택된 파라메트릭 모델-기반의 파티션이 사용중인 경우, 이 선택된 파라메트릭 모델-기반의 파티션에 따라, 역 잔여 변환 및 역 양자화 절차(1150) 중 적어도 하나에 적응하는, 디코딩 장치.
  27. 디코딩 방법으로서,
    적어도 하나의 파라메트릭 모델을 이용하여 파티셔닝된 화상의 적어도 부분을 재구성함으로써(2000, 2500) 화상에 대응하는 이미지 데이터를 디코딩하는 단계를 포함하고,
    상기 적어도 하나의 파라메트릭 모델은 적어도 하나의 곡선에 관한 암시적 공식을 수반하고,
    적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나는 기하학적 신호 모델(500, 600)로부터 유도되고,
    주어진 이미지 부분에 대한 파라메트릭 모델은, 하나보다 많은 파라메트릭 모델이 이용가능할 때(2200), 모델의 세트에 따라 적응적으로 디코딩되는, 디코딩 방법.
  28. 삭제
  29. 제 27항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나는 하나 이상의 이미지 윤곽 및 하나 이상의 움직임 경계(500) 중 적어도 하나를 나타내는, 디코딩 방법.
  30. 제 27항에 있어서, 적어도 하나의 다항식은 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선(500) 중 적어도 하나로서 사용되는, 디코딩 방법.
  31. 제 27항에 있어서, 1차 다항식 모델은 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선(600) 중 적어도 하나로서 사용되는, 디코딩 방법.
  32. 제 31항에 있어서, 상기 1차 다항식 모델은 각도 파라미터 및 거리 파라미터(600)를 포함하는, 디코딩 방법.
  33. 삭제
  34. 제 27항에 있어서, 상기 디코딩 단계는 적어도 하나의 고 레벨 신택스 요소(2720)를 이용하여 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도에 대한 명시적 또는 암시적 디코딩을 수행하는, 디코딩 방법.
  35. 제 34항에 있어서, 상기 적어도 하나의 고 레벨 신택스 요소는 슬라이스 헤더 레벨, 보충 개선 정보(SEI) 레벨, 화상 파라미터 세트 레벨, 시퀀스 파라미터 세트 레벨 및 네트워크 추상 층 유닛 헤더 레벨 중 적어도 하나로부터 디코딩되는, 디코딩 방법.
  36. 제 27항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도는 압축 해제 효율 및 디코더 복잡성 중 적어도 하나를 제어하기 위해 적응되는, 디코딩 방법.
  37. 제 36항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터의 정밀도는 압축 해제 품질 파라미터(2410, 2415)에 따라 적응되는, 디코딩 방법.
  38. 제 27항에 있어서, 적어도 하나의 화상의 적어도 하나의 파티션과 연관된 예측자 데이터는 공간 이웃 블록 및 시간 이웃 블록(2118, 2168) 중 적어도 하나로부터 예측되는, 디코딩 방법.
  39. 제 27항에 있어서, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 대한 파티션 모델 파라미터는 공간 이웃 블록 및 시간 이웃 블록(2116, 2166) 중 적어도 하나로부터 예측되는, 디코딩 방법.
  40. 제 27항에 있어서, 상기 디코딩 단계는, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 따라, 하나보다 많은 파티션에 부분적으로 놓이는 픽셀에 대한 예측 값을 계산하는데, 안티-얼라이싱 절차(700), 픽셀의 대응하는 위치에 대한 예측 값의 부분의 조합, 픽셀의 대응하는 위치에 대한 총 예측 값, 이웃, 상이한 파티션의 예측자를 이용하여, 하나보다 많은 파티션으로부터 계산하며, 여기서, 픽셀이 부분적으로 놓이는 것으로 간주(2520)되는, 디코딩 방법.
  41. 삭제
  42. 제 27항에 있어서, 상기 디코딩 단계는 각각 매크로블록 및 서브-매크로블록 중 적어도 하나에 대한 코딩 모드로서 화상의 매크로블록 및 서브-매크로블록 중 적어도 하나에 파라메트릭 모델 기반의 파티션을 적용하는, 디코딩 방법.
  43. 삭제
  44. 제 42항에 있어서, 상기 디코딩 단계는, 파티션 예측 데이터와 함께 파라메트릭 모델-기반의 파티션을 결정하기 위해 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 모델 파라미터를 디코딩하는(2000), 디코딩 방법.
  45. 제 42항에 있어서, 적어도 2개의 파라메트릭 모델-기반의 파티션과 겹치는 적어도 하나의 화상의 픽셀은, 적어도 2개의 파라메트릭 모델-기반의 파티션의 예측과, 적어도 2개의 파라메트릭 모델-기반의 파티션 중 하나의 예측 중 적어도 하나로부터의 이웃한 픽셀 중 적어도 하나로부터 가중된 선형 평균인, 디코딩 방법.
  46. 제 42항에 있어서, 파티션 예측은 인터(2100) 및 인트라(2150) 유형 중 적어도 하나인, 디코딩 방법.
  47. 제 42항에 있어서, 상기 디코딩 단계는 파티션 모델 파라미터 코딩(2100, 2150)을 위해 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나에 대한 파라미터 예측을 선택적으로 사용하는, 디코딩 방법.
  48. 제 47항에 있어서, 화상들 중 특정한 화상의 현재 블록에 대한 예측은 이웃 블록으로부터 현재 블록으로의 곡선 외삽법에 기초하는(1300, 1400, 1500), 디코딩 방법.
  49. 제 47항에 있어서, 상기 디코딩 단계는, 적어도 하나의 파라메트릭 모델 및 적어도 하나의 곡선 중 적어도 하나의 파라미터가 예측되는지에 따라 이미지 데이터를 디코딩하기 위해 상이한 콘텍스트 또는 코딩 표를 사용하는(1808, 1858), 디코딩 방법.
  50. 제 42항에 있어서, 상기 디코딩 단계는, 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 개선된 비디오 코딩(AVC) 표준/국제 원격 통신 연합, 원격 통신 섹터(ITU-T) H.264 권고를 위한 디코더의 확장된 버전에서 수행되는, 디코딩 방법.
  51. 제 42항에 있어서, 상기 디코딩 단계는, 파라메트릭 모델-기반의 파티션 모드가 사용될 때 매크로블록 및 서브-매크로블록 중 적어도 하나의 비-트리-기반의 파티셔닝으로 인해 적어도 하나의 파라미터 모드-기반의 파티션에 의해 영향을 받은 변환-크기 블록을 다루도록 적응된 디블록킹 필터링 및 기준 프레임 필터링 중 적어도 하나를 적용하고, 상기 디블록킹 필터링 및 기준 프레임 필터링은, 적어도 하나의 파라메트릭 모델-기반의 파티션 중 사용되는 어느 하나와 적어도 하나의 파라메트릭 모델-기반의 파티션의 선택된 형태 중 적어도 하나에 의존하는, 디코딩 방법.
  52. 제 38항에 있어서, 상기 디코딩 단계는 선택된 파라메트릭 모델-기반의 파티션이 사용중인 경우에 따라, 잔여 역 변환 및 역-양자화 절차(1150) 중 적어도 하나를 적응시키는, 디코딩 방법.
  53. 삭제
KR1020097002021A 2006-08-02 2007-07-31 비디오 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치 KR101526914B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US83499306P 2006-08-02 2006-08-02
US60/834,993 2006-08-02
PCT/US2007/017114 WO2008016605A2 (en) 2006-08-02 2007-07-31 Adaptive geometric partitioning for video decoding

Publications (2)

Publication Number Publication Date
KR20090046815A KR20090046815A (ko) 2009-05-11
KR101526914B1 true KR101526914B1 (ko) 2015-06-08

Family

ID=38997679

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097002021A KR101526914B1 (ko) 2006-08-02 2007-07-31 비디오 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
KR1020097002015A KR101380580B1 (ko) 2006-08-02 2007-07-31 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097002015A KR101380580B1 (ko) 2006-08-02 2007-07-31 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치

Country Status (7)

Country Link
US (6) US20090196342A1 (ko)
EP (2) EP2047687B1 (ko)
JP (5) JP2009545919A (ko)
KR (2) KR101526914B1 (ko)
CN (2) CN101502120B (ko)
BR (2) BRPI0714859A2 (ko)
WO (2) WO2008016605A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224279A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 기하학적 움직임 예측을 사용하는 비디오 코딩을 위한 방법 및 장치

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196342A1 (en) 2006-08-02 2009-08-06 Oscar Divorra Escoda Adaptive Geometric Partitioning For Video Encoding
WO2008042127A2 (en) * 2006-09-29 2008-04-10 Thomson Licensing Geometric intra prediction
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
CN101731012B (zh) * 2007-04-12 2013-10-16 汤姆森特许公司 用于视频编码器中的快速几何模式判定的方法和设备
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
KR101555617B1 (ko) * 2007-10-12 2015-09-24 톰슨 라이센싱 기하학적으로 분할된 쌍방 예측 모드 분할들을 비디오 인코딩 및 디코딩하기 위한 방법 및 장치
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
KR101496324B1 (ko) * 2007-10-17 2015-02-26 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN101965732B (zh) * 2008-01-07 2015-03-25 汤姆森特许公司 用于使用参数滤波进行视频编码和解码的方法和装置
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
EP2279620B1 (fr) * 2008-04-15 2019-08-07 Orange Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
EP2277318B1 (fr) * 2008-04-15 2020-11-04 Orange Codage et decodage d'une image ou d'une sequence d'images decoupees selon des partitions de pixels de forme lineaire
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
KR101597253B1 (ko) * 2008-10-27 2016-02-24 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
JP2012089905A (ja) * 2009-01-13 2012-05-10 Hitachi Ltd 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
BRPI1007869B1 (pt) * 2009-03-12 2021-08-31 Interdigital Madison Patent Holdings Métodos, aparelhos e mídia de armazenamento legível por computador para seleção de parâmetro de filtro baseado em região para filtragem de remoção de artefatos
AU2010228415B2 (en) * 2009-03-23 2016-01-07 Ntt Docomo, Inc. Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
KR101455579B1 (ko) * 2009-05-29 2014-10-29 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR101740039B1 (ko) 2009-06-26 2017-05-25 톰슨 라이센싱 적응형 기하학적 분할을 이용한 비디오 인코딩 및 디코딩 방법 및 장치
EP2449784A1 (fr) * 2009-07-03 2012-05-09 France Telecom Prédiction d'un vecteur mouvement d'une partition d'image courante de forme géometrique ou de taille différente de celle d'au moins une partition d'image de référence voisine, codage et décodage utilisant une telle prédiction
EP2457377A1 (en) * 2009-07-23 2012-05-30 Thomson Licensing Methods and apparatus for adaptive transform selection for video encoding and decoding
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
US10178396B2 (en) 2009-09-04 2019-01-08 Stmicroelectronics International N.V. Object tracking
US8848802B2 (en) * 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
KR101629475B1 (ko) * 2009-09-23 2016-06-22 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
KR101807886B1 (ko) 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
USRE47243E1 (en) 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US20110249734A1 (en) * 2010-04-09 2011-10-13 Segall Christopher A Methods and Systems for Intra Prediction
US20110249743A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
DK3301648T3 (da) 2010-04-13 2020-04-06 Ge Video Compression Llc Nedarvning i samplearraymultitræsunderinddeling
KR102282803B1 (ko) 2010-04-13 2021-07-28 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
KR102145722B1 (ko) 2010-04-13 2020-08-20 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
CN106231336B (zh) 2010-04-13 2020-06-12 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
US8521006B2 (en) 2010-05-06 2013-08-27 Intel Corporation Boundary detection in media streams
US9020043B2 (en) 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
TWI508534B (zh) * 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
US8855205B2 (en) 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
CN105120280B (zh) 2010-07-20 2018-04-20 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
KR101681303B1 (ko) * 2010-07-29 2016-12-01 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
EP2421266A1 (en) * 2010-08-19 2012-02-22 Thomson Licensing Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream
US9202289B2 (en) * 2010-09-30 2015-12-01 Electronics And Telecommunications Research Institute Method for coding and decoding target block partition information using information about neighboring blocks
JP2012080369A (ja) * 2010-10-01 2012-04-19 Sony Corp 画像処理装置及び画像処理方法
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
KR101712156B1 (ko) * 2010-12-06 2017-03-06 에스케이 텔레콤주식회사 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
KR102086145B1 (ko) * 2010-12-13 2020-03-09 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR101438471B1 (ko) * 2011-01-03 2014-09-16 미디어텍 인크. 필터 유닛 기반 인-루프 필터링 방법
DE102011006036B4 (de) * 2011-01-14 2012-12-27 Siemens Aktiengesellschaft Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes
CN102611884B (zh) 2011-01-19 2014-07-09 华为技术有限公司 图像编解码方法及编解码设备
CN102884794B (zh) 2011-03-07 2016-08-10 松下知识产权经营株式会社 运动补偿装置、运动图像编码装置、运动图像解码装置、运动补偿方法、以及集成电路
US8718389B2 (en) * 2011-04-13 2014-05-06 Huawei Technologies Co., Ltd. Image encoding and decoding methods and related devices
WO2012144876A2 (ko) * 2011-04-21 2012-10-26 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US9338476B2 (en) 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US8964833B2 (en) 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding
EP4017006B1 (en) * 2011-09-22 2023-09-20 LG Electronics, Inc. Method and apparatus for signaling image information, and decoding method and apparatus using same
US9838692B2 (en) * 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
EP2916553A3 (en) * 2011-11-08 2015-10-14 Samsung Electronics Co., Ltd Method and apparatus for motion vector determination in video encoding or decoding
KR102588425B1 (ko) 2011-11-11 2023-10-12 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
ES2664746T3 (es) * 2011-11-11 2018-04-23 Ge Video Compression, Llc Predicción eficaz usando codificación de particiones
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
KR101718894B1 (ko) 2011-11-29 2017-03-23 삼성전자주식회사 기기 제어를 위한 유저 인터페이스 제공 시스템 및 방법
US20130136180A1 (en) * 2011-11-29 2013-05-30 Futurewei Technologies, Inc. Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
GB2504069B (en) 2012-07-12 2015-09-16 Canon Kk Method and device for predicting an image portion for encoding or decoding of an image
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
CN103634612A (zh) * 2012-08-22 2014-03-12 成都爱斯顿测控技术有限公司 工业级音频视频处理平台
CN102833551B (zh) * 2012-09-25 2014-10-29 中南大学 一种Slice级编解码端联合时间最小化方法
JP5841670B2 (ja) 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
KR101369174B1 (ko) * 2013-03-20 2014-03-10 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치
CN103313053B (zh) * 2013-05-14 2016-05-25 浙江万里学院 一种面向视觉对象的形状编码方法
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
JP6337380B2 (ja) * 2013-07-31 2018-06-06 サン パテント トラスト 画像符号化方法および画像符号化装置
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
JPWO2015194669A1 (ja) * 2014-06-19 2017-04-20 シャープ株式会社 画像復号装置、画像符号化装置および予測画像生成装置
CN104036510A (zh) * 2014-06-20 2014-09-10 常州艾格勒信息技术有限公司 一种新型图像分割系统及方法
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
US20170332092A1 (en) * 2014-10-31 2017-11-16 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image
KR101624659B1 (ko) 2015-01-05 2016-05-27 삼성전자주식회사 영상의 복호화 방법 및 장치
KR101624660B1 (ko) 2015-04-14 2016-05-27 삼성전자주식회사 영상의 복호화 방법 및 장치
JP2018519719A (ja) * 2015-05-12 2018-07-19 サムスン エレクトロニクス カンパニー リミテッド イントラ予測を行う映像復号方法及びその装置、並びにイントラ予測を行う映像符号化方法及びその装置
JP6510902B2 (ja) * 2015-06-15 2019-05-08 日本放送協会 符号化装置、復号装置及びプログラム
CN116915995A (zh) 2016-04-29 2023-10-20 世宗大学校产学协力团 视频信号编码/解码方法和设备
KR102365937B1 (ko) * 2016-04-29 2022-02-22 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
CN106331706B (zh) * 2016-05-03 2019-04-30 上海兆芯集成电路有限公司 基于曲线拟合的率失真优化方法以及使用该方法的装置
CN117221591A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
EP3469793A1 (en) 2016-06-24 2019-04-17 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN109565592B (zh) 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
EP3301931A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra prediction
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
KR20190052129A (ko) 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR20180045530A (ko) 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
KR102664196B1 (ko) * 2016-12-28 2024-05-20 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
WO2018141416A1 (en) 2017-02-06 2018-08-09 Huawei Technologies Co., Ltd. Video encoder and decoder for predictive partitioning
US20200137422A1 (en) * 2017-06-30 2020-04-30 Sharp Kabushiki Kaisha Systems and methods for geometry-adaptive block partitioning of a picture into video blocks for video coding
EP3632106A1 (en) * 2017-06-30 2020-04-08 Huawei Technologies Co., Ltd. Encoder, decoder, computer program and computer program product for processing a frame of a video sequence
IL271770B2 (en) * 2017-06-30 2024-03-01 Huawei Tech Co Ltd Search area for motion vector refinement
CN115118992B (zh) * 2017-08-22 2024-02-06 松下电器（美国）知识产权公司 图像编码器、图像解码器、和比特流生成设备
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
WO2019069782A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11159793B2 (en) 2017-10-16 2021-10-26 Digitalinsights Inc. Method, device, and recording medium storing bit stream, for encoding/decoding image
WO2019151284A1 (ja) 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019164031A1 (ko) * 2018-02-22 2019-08-29 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
US10708625B2 (en) * 2018-06-12 2020-07-07 Alibaba Group Holding Limited Adaptive deblocking filter
EP3811611A4 (en) 2018-06-22 2022-06-15 OP Solutions, LLC BLOCK LEVEL GEOMETRIC PARTITIONING
US10382772B1 (en) * 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
KR20210049822A (ko) * 2018-09-07 2021-05-06 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 비디오 코딩 시스템 및 방법
KR20210089654A (ko) * 2018-10-01 2021-07-16 오피 솔루션즈, 엘엘씨 지수 파티셔닝의 방법들 및 시스템들
EP3854092A4 (en) * 2018-11-02 2021-11-17 Beijing Bytedance Network Technology Co. Ltd. KEEPING TABLES FOR THE STORAGE OF HMVP CANDIDATES
KR20210089131A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 위치 기반 인트라 예측
CN117768658A (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
CN113170183B (zh) 2018-11-22 2024-04-02 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的修剪方法
WO2020108591A1 (en) * 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN117880495A (zh) * 2018-12-03 2024-04-12 北京字节跳动网络技术有限公司 候选的最大数量的指示方法
CN113228656B (zh) 2018-12-21 2023-10-31 北京字节跳动网络技术有限公司 使用多项式模型的帧间预测
CN112468825B (zh) 2018-12-28 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
EP3918791A4 (en) * 2019-01-28 2022-03-16 OP Solutions, LLC INTER PREDICTION IN AN EXPONENTIAL DIVISION
CN113647104A (zh) 2019-01-28 2021-11-12 Op方案有限责任公司 在以自适应区域数量进行的几何分区中的帧间预测
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
CN113796070A (zh) * 2019-06-10 2021-12-14 Oppo广东移动通信有限公司 预测值的确定方法、编码器以及计算机存储介质
CN114026864B (zh) * 2019-06-21 2023-07-07 华为技术有限公司 用于几何分割模式的色度样本权重推导
MX2021000350A (es) * 2019-06-21 2021-03-25 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes para modo de division de sub-bloque.
US11190777B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding
WO2021008514A1 (en) * 2019-07-14 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Indication of adaptive loop filtering in adaptation parameter set
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11985325B2 (en) 2019-07-23 2024-05-14 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using geometric partitioning
US11317090B2 (en) * 2019-08-12 2022-04-26 Tencent America LLC Method and apparatus for video coding
AU2020358175A1 (en) 2019-10-03 2022-04-14 Huawei Technologies Co., Ltd. Coding process for geometric partition mode
US11533498B2 (en) * 2019-11-21 2022-12-20 Tencent America LLC Geometric partitioning mode in video coding
US11317094B2 (en) * 2019-12-24 2022-04-26 Tencent America LLC Method and apparatus for video coding using geometric partitioning mode
MX2022007973A (es) * 2019-12-30 2022-07-05 Fg innovation co ltd Dispositivo y metodo para codificar datos de video.
CN113473141A (zh) * 2020-03-31 2021-10-01 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及计算机可读存储介质
WO2022047117A1 (en) * 2020-08-28 2022-03-03 Op Solutions, Llc Methods and systems of adaptive geometric partitioning
WO2022047099A1 (en) * 2020-08-28 2022-03-03 Op Solutions, Llc Methods and systems of adaptive geometric partitioning
US20230237612A1 (en) * 2022-01-26 2023-07-27 Intuitive Research And Technology Corporation Determining volume of a selectable region using extended reality
WO2023158765A1 (en) * 2022-02-16 2023-08-24 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2500439B2 (ja) * 1993-05-14 1996-05-29 日本電気株式会社 動画像の予測符号化方式
JPH08205172A (ja) * 1995-01-26 1996-08-09 Mitsubishi Electric Corp 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置
JPH0965338A (ja) * 1995-08-28 1997-03-07 Graphics Commun Lab:Kk 画像符号化装置および画像復号化装置
JP3392628B2 (ja) * 1996-03-29 2003-03-31 富士通株式会社 輪郭抽出方法及びシステム
KR100324610B1 (ko) * 1996-05-28 2002-02-27 모리시타 요이찌 화상예측 복호화장치 및 방법
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
CN101232618B (zh) * 2002-04-23 2013-03-27 诺基亚有限公司 用于在视频编码系统中指示量化器参数的方法与设备
US20040091047A1 (en) 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
EP1602242A2 (en) * 2003-03-03 2005-12-07 Koninklijke Philips Electronics N.V. Video encoding
KR100513014B1 (ko) * 2003-05-22 2005-09-05 엘지전자 주식회사 비디오 코딩 시스템 및 비디오 코딩 방법
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
JP4142563B2 (ja) * 2003-12-12 2008-09-03 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP4313710B2 (ja) * 2004-03-25 2009-08-12 パナソニック株式会社 画像符号化方法および画像復号化方法
CN100473161C (zh) * 2005-09-09 2009-03-25 海信集团有限公司 基于avs的4×4离散余弦变换的快速并行装置及其方法
US20090196342A1 (en) 2006-08-02 2009-08-06 Oscar Divorra Escoda Adaptive Geometric Partitioning For Video Encoding
JP6327003B2 (ja) 2014-06-20 2018-05-23 三菱ケミカル株式会社 イミノジ酢酸型キレート樹脂の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KONDO. S. et al., A Motion Compensation Technique Using Sliced Blocks in Hybrid Video Coding, Proceedings of the 2005 International Conference on Image Processing, vol.2, 11 September 2005. pp.305-308 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224279A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 기하학적 움직임 예측을 사용하는 비디오 코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
US11895327B2 (en) 2024-02-06
BRPI0714859A2 (pt) 2013-05-21
CN101502119B (zh) 2012-05-23
WO2008016609A3 (en) 2008-10-09
US20210044826A1 (en) 2021-02-11
KR20090046814A (ko) 2009-05-11
US20240129524A1 (en) 2024-04-18
US20170280156A1 (en) 2017-09-28
EP2047687A2 (en) 2009-04-15
CN101502120B (zh) 2012-08-29
JP2009545919A (ja) 2009-12-24
CN101502120A (zh) 2009-08-05
BRPI0715507A2 (pt) 2013-06-18
JP2009545920A (ja) 2009-12-24
US11252435B2 (en) 2022-02-15
KR101380580B1 (ko) 2014-04-02
US20120177106A1 (en) 2012-07-12
JP2014060764A (ja) 2014-04-03
US20220132162A1 (en) 2022-04-28
EP2050279A2 (en) 2009-04-22
CN101502119A (zh) 2009-08-05
JP2014060763A (ja) 2014-04-03
EP2050279B1 (en) 2018-08-29
JP6109712B2 (ja) 2017-04-05
WO2008016605A3 (en) 2008-10-23
WO2008016605A2 (en) 2008-02-07
WO2008016609A2 (en) 2008-02-07
US20090196342A1 (en) 2009-08-06
KR20090046815A (ko) 2009-05-11
EP2047687B1 (en) 2018-05-16
JP2015144487A (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
KR101526914B1 (ko) 비디오 디코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
KR101524394B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치 및 컴퓨터 판독가능한 저장 매체
KR20170093833A (ko) 인트라 모드들의 코딩

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 4